Nothing Special   »   [go: up one dir, main page]

CN114880958A - 一种基于多气象因子智能深度学习的能见度预报模型 - Google Patents

一种基于多气象因子智能深度学习的能见度预报模型 Download PDF

Info

Publication number
CN114880958A
CN114880958A CN202210812014.8A CN202210812014A CN114880958A CN 114880958 A CN114880958 A CN 114880958A CN 202210812014 A CN202210812014 A CN 202210812014A CN 114880958 A CN114880958 A CN 114880958A
Authority
CN
China
Prior art keywords
neural network
meteorological
visibility
model
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210812014.8A
Other languages
English (en)
Other versions
CN114880958B (zh
Inventor
慕熙昱
张强
陈志豪
刘端阳
成孝刚
徐琪
胡斐
王宏斌
严殊祺
朱寿鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute Of Meteorological Science And Technology Innovation
Original Assignee
Nanjing Institute Of Meteorological Science And Technology Innovation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute Of Meteorological Science And Technology Innovation filed Critical Nanjing Institute Of Meteorological Science And Technology Innovation
Priority to CN202210812014.8A priority Critical patent/CN114880958B/zh
Publication of CN114880958A publication Critical patent/CN114880958A/zh
Application granted granted Critical
Publication of CN114880958B publication Critical patent/CN114880958B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/10—Devices for predicting weather conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Development Economics (AREA)
  • Computing Systems (AREA)
  • Environmental & Geological Engineering (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Marketing (AREA)
  • Data Mining & Analysis (AREA)
  • Atmospheric Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Primary Health Care (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Ecology (AREA)
  • Quality & Reliability (AREA)
  • Environmental Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)

Abstract

本发明公开了一种基于多气象因子智能深度学习的能见度预报模型，主要包括数值预报模式选取、空间网格点多气象因子建模、特征提取与能见度映射、神经网络模型训练和能见度预报与模型参数更新等步骤，本发明利用深度学习技术结合数值预报及多气象因子建模，能实现对关键地区的精细化能见度预报。

Description

一种基于多气象因子智能深度学习的能见度预报模型
技术领域
本发明属于人工智能与气象预报技术领域，特别涉及气象因子的预测、气象因子特征的提取、气象因子与能见度的检测、精细化能见度的预报等技术，具体是一种将深度学习方法与物理要素结合的精细化能见度预报方法。
背景技术
目前的能见度预报方法主要有基于数值模式的能见度预报方法、基于统计的能见度预报方法以及基于机器学习的能见度预报方法。数值模式预报方法是根据当前的大气状态以及数学和物理原理，构建气象数值模式系统，从而对各种气象要素进行模拟、预报。近年来，随着观测技术以及计算机技术的发展，数值模式预报的准确率越来越高，发挥的作用也越来越重要。然而，基于数值模式的预报数据是格点数据，由于大气演变过程的复杂性以及能见度对地表风、低空稳定性和露点等要素的微小差异具有高度敏感性，格点型的预报数据无法预报处于非格点的关键地区的能见度，例如机场、码头等对能见度数据要求准确的地点。另外，数值模式的预报方法也存在着一些无法避免的误差，对于某些关键地区，这些误差可能造成极其严重的影响。
基于统计的预报方法属于传统的预报方法，即通过构建关键气象因子与能见度之间的固定映射关系来对能见度进行预报。由于大气运动具有极强的非线性关系，固定模式的映射关系难以描述复杂的大气运动，因此此类方法只能针对特定的情况进行能见度的预报，具有很强的局限性。近年来，机器学习技术迅猛发展，其开始应用于各行各业，气象领域也有了许多相关的应用。例如综合多元线性回归、随机森林、支持向量机、极端梯度提升等机器学习方法，其都证明了机器学习算法在气象预报方面的优越性。
随着近年来深度学习技术的发展以及相关气象数据的剧增，深度学习也被用于气象领域进行相关的气象预报。深度学习是机器学习的一个重要分支，相较于机器学习，深度学习需要更多的数据作为支撑以对更高维度的数据构建非线性映射关系。
在基于深度学习的能见度预报方面，BP神经网络、循环神经网络、遗传神经网络等深度学习算法已经被广泛使用。尽管已有大量的方法进行能见度的预报，但利用深度学习技术，针对关键地区的精细化能见度预报方法还较少。目前的基于深度学习的能见度预报方法大多为大尺度的同时预测，即根据网格型的气象因子得到网格型的大尺度能见度预报值。基于大量气象数据的支撑以及更加复杂的神经网络结构，深度学习算法具有更强的非线性拟合能力，因此基于深度学习的能见度预报方法相较于其它预报方法有了一定的提高。
发明内容
发明目的：针对上述现有存在的问题和不足，本发明的目的是提供了一种基于多气象因子智能深度学习的能见度预报模型。
技术方案：为实现上述发明目的，本发明采用以下技术方案：一种基于多气象因子智能深度学习的能见度预报模型，包括以下步骤：
步骤S1，数值预报模式选取：根据地区气象和地理条件选择数值预报模式；
步骤S2，气象因子建模：以空间同一网格点上的多个气象因子作为一个通道项，将空间多个网格点的特征作为多通道项进行补充，建立能见度预报的神经网络模型；所述多个气象因子包括温度、风速、湿度、大气层结；
步骤S3，特征提取与能见度映射：对数值预报模式输出的气象因子预报值进行提高分辨率的降尺度操作，从而得到关键地区的高分辨率气象因子数值，进而得到高分辨率气象因子的深层特征；
步骤S4，神经网络模型训练：获取历史数据并通过步骤S1所述数值预报模式处理得到预报值数据，并与气象观测站的能见度观测值对应后，对神经网络模型进行训练，得到收敛后的神经网络模型；
步骤S5，能见度预报与模型参数更新：通过步骤S4得到收敛后神经网络模型对步骤S1所述数值预报模式的实时输出数据进行处理得到能见度预报，同时对神经网络模型的参数进行更新。
进一步，步骤S1所述数值预报模式采用中尺度天气预报模式WRF。
进一步，步骤S3采用D2 Block结构进行特征提取，D2 Block结构的第i层输出结果 通过式（1）和（2）得到
Figure 21404DEST_PATH_IMAGE001
，
Figure 26269DEST_PATH_IMAGE002
（1）
Figure 775788DEST_PATH_IMAGE003
（2）
式中，
Figure 258722DEST_PATH_IMAGE004
代表膨胀因子为
Figure 278762DEST_PATH_IMAGE005
的空洞卷积运算，
Figure 454528DEST_PATH_IMAGE006
为神经网络第i层输出结果对于 神经网络第
Figure 176497DEST_PATH_IMAGE007
层输出结果的贡献的参数，
Figure 805117DEST_PATH_IMAGE007
表示神经网络总层数。
进一步，步骤S4中利用历史数据对神经网络模型训练的具体步骤如下：
首先，本发明神经网络模型采用式3所示损失函数Loss对参数进行约束以防止出现过拟，
Figure 663351DEST_PATH_IMAGE008
(3)
式中，Loss为损失函数的值，V为神经网络输出的能见度预报值，
Figure 760751DEST_PATH_IMAGE009
为气象观测站观 测的能见度值，
Figure 235595DEST_PATH_IMAGE010
为神经网络参数的L2范数，
Figure 309599DEST_PATH_IMAGE011
为正则化调节系数，且
Figure 819078DEST_PATH_IMAGE012
；
接着，利用反向传播算法与梯度下降算法对模型进行训练，反向传播的过程如下：
（1）通过式（4）的前向运算得到神经网络第N层的输出结果
Figure 556221DEST_PATH_IMAGE013
，
Figure 252781DEST_PATH_IMAGE014
(4)
式中，
Figure 133406DEST_PATH_IMAGE013
为神经网络第N层的输出结果，
Figure 231812DEST_PATH_IMAGE015
为神经网络第N层的参数，tanh为神 经网络的激活函数，
Figure 405436DEST_PATH_IMAGE016
为神经网络第N层的偏置项参数；
（2）继续通过神经网络第N层梯度信息的计算式（5），得到神经网络第N层的梯度值
Figure 854872DEST_PATH_IMAGE017
，
Figure 21411DEST_PATH_IMAGE018
(5)
式中，
Figure 223591DEST_PATH_IMAGE017
为神经网络第N层的梯度值，
Figure 82962DEST_PATH_IMAGE019
为神经网络中损失函数对激活 函数的梯度项，e为矩阵的点乘运算，
Figure 504848DEST_PATH_IMAGE020
为神经网络中激活函数对于输出值的梯度 项；
（3）进而利用反向传播计算神经网络浅层项梯度的式（6）得到神经网络第N-1层的 梯度值
Figure 740657DEST_PATH_IMAGE021
，
Figure 65852DEST_PATH_IMAGE022
(6)
式中，
Figure 830546DEST_PATH_IMAGE021
为神经网络第N-1层的梯度值，
Figure 474148DEST_PATH_IMAGE023
为神经网络第N层参数的转置表 示；
（4）通过反向传播算法得到模型的梯度值后，使用梯度下降法进行迭代训练，得到由第i次到第i+1次迭代时产生的参数，如式（7）所示，
Figure 248069DEST_PATH_IMAGE024
(7)
式中，
Figure 159262DEST_PATH_IMAGE025
为神经网络第N层、第i+1次迭代时产生的参数，
Figure 360436DEST_PATH_IMAGE026
为第i+1次迭代时 的学习率，通过梯度下降算法可以不断对模型进行训练，直至模型收敛；
（5）最后，通过收敛的模型对实时气象因子预报值进行预处理后，利用完整的神经 网络模型对预处理后的气象因子进行运算，如式（8）所示，得到未来时刻关键地区的能见度 预报值
Figure 756914DEST_PATH_IMAGE027
，
Figure 803367DEST_PATH_IMAGE028
(8)
式中，
Figure 850958DEST_PATH_IMAGE027
为t时刻能见度的预报值，F为完整的神经网络模型，P为气象因子的预处 理操作，
Figure 475230DEST_PATH_IMAGE029
为WRF模型输出的t时刻气象因子的预报值集合。
进一步，步骤S5中神经网络模型的参数进行更新的过程如下：
首先，将神经网络模型输出的能见度预报值进行缓存；
然后，当达到下次预报时刻时，通过气象观测站的观测值与缓存值进行损失计算，利用方向传播与梯度下降对神经网络模型中的全连接层参数进行更新。
有益效果：与现有技术相比，本发明具有以下优点：
（1）本发明将同一网格点不同高度层上的多个气象因子预报值置于同一通道，将空间其它位置的网格点数据置于不同通道，本阀门考虑了多个高度层、多个气象要素对能见度的综合影响，更符合影响能见度的物理机制，从而增强对气象因子的建模能力。
（2）本发明考虑了数值预报产品网格点与实际需要预报点之间存在的空间差异，采用D2 Block网络结构进行数值模式结果的特征提取，从而能充分空洞卷积与密集连接的优点，充分考虑气象因子之间的关联性，同时也可以综合各通道的空间信息，完成预报产品的降尺度及特征提取。
附图说明
图1为本发明所述基于多气象因子智能深度学习的能见度预报模型的流程示意图；
图2为现有技术中气象因子数据建模方式示意图；
图3为本发明具体实施方式中气象因子数据建模方式示意图；
图4为本发明具体实施方式中特征提取示意图；
图5为本发明具体实施方式中采用的D2 Block结构示意图
图6为本发明具体实施方式中所述神经网络模型的参数更新流程示意图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示，为本发明基于深度学习技术的精细化能见度预报方法示意图。本发明基于多气象因子智能深度学习的能见度预报模型的流程方法，主要包括：数值预报模式选择、数据建模、特征提取、能见度映射与神经网络训练、能见度预报与实时更新等步骤。本实施案例以南京市禄口机场能见度的预报为例，详细介绍本发明方法的技术思路及流程：
步骤S1:数值预报模式选择
依据本案例针对地区的天气气候特征、地理特征、时空分辨率及针对低能见度的物理特征，本发明选取使用区域数值预报模式WRF进行网格型的气象因子预报。WRF是一种中尺度天气预报模式，该模式输出的网格型气象因子预报值有利于数据的建模以及针对具体地区的精细化能见度预报。
步骤S2:数据预处理
图2为现有技术中心常见的气象因子数据建模方式。使用此种方式对数据进行建模，则卷积操作提取的特征主要为不同网格点单一气象因子的空间相关性，位于同一网格点不同气象因子之间的关系则难以进行提取。
图3为本实施案例使用的数据建模方式。该建模方式创新的将同一网格点的多个气象因子置于同一通道，将其它位置的网格点数据置于不同通道，以建立神经网络模型。除此之外，本建模方式还使用不同高度的数据对平面数据进行扩充（即采用的是空间网格点对应多个气象因子，相对于常规技术采用的是地表气象因子）。与以往常用的建模方式相比，本案例中采用的建模方式更加关注于气象因子之间的关系以及能见度与气象因子之间的关系，空间信息则作为补充数据。此建模方式更加适用于输出单通道的针对目标点的精细化能见度预报。建模之后，原本是分散的、无规律的、不符合深度学习输入格式的气象数据，变成了深度学习网络可识别的、类图像数据。
步骤S3:特征提取与能见度映射
对WRF产品输出的气象因子预报值进行数据预处理后，便可利用深度学习方法提取气象因子的深层特征。由于中尺度数值预报模式的水平分辨率并不能满足能见度预报的精细化要求，因此在特征提取的过程中，需要进行提高分辨率的降尺度操作，得到关键地区的高分辨率气象因子深层特征。已有的特征降尺度操作大多只考虑单个气象因子的空间性，即根据空间插值或统计方法进行降尺度。然而数值预报产品具有一定的误差且不同的气象因子之间可能会相互影响，因此在特征提取的过程中，需要综合考虑气象因子的空间分布及不同气象因子之间的关联性。另外，影响低能见度的天气主要是边界层过程，具有明显的三维结构特征，以往的工作中大多只考虑近地面层的气象因子，这种做法忽略了大气的层结特征，是不全面的。本案例特征提取的示意图如图4所示，其综合考虑了气象因子的三维空间特征以及不同气象因子之间的相互关系。
本实施案例采用D2 Block结构进行气象因子的深层特征提取，D2 Block是2021年Naoya Takahashi与Yuki Mitsufuji提出的一种神经网络结构（Takahashi N, MitsufujiY. Densely connected multi-dilated convolutional networks for denseprediction tasks[C]//Proceedings of the IEEE/CVF Conference on ComputerVision and Pattern Recognition. 2021: 993-1002.），图5为D2 Block结构的示意图。使用普通卷积操作对同一通道的不同气象因子进行特征提取，仅能提取部分气象因子之间的关系，剩余气象因子之间的关系则需要不断的进行卷积，直到神经网络的层数足够多才可以提取到；使用全连接操作可以同时对所有的气象因子进行特征提取，但此操作会导致参数过多，难以训练，并且神经网络极易受到干扰气象因子的影响。通常，空洞卷积可以扩大卷积的感受野，密集连接可以加强层级之间的特征融合能力，但直接对两种操作进行融合则会造成严重的混叠误差。本发明选用D2 Block通过在神经网络的不同位置设置不同的膨胀率将两项操作进行了融合，即使用密集连接的多空洞卷积进行气象因子的特征提取。密集连接的多空洞卷积将神经网络不同深度的特征使用不同膨胀率的空洞卷积进行融合以得到新的特征，该操作既可以充分利用密集连接与空洞卷积的优点，又可以避免直接使用空洞卷积与密集连接所造成的混叠误差。
D2 Block的计算方法如公式（1）和（2）所示，其中代表D2 Block第层的输出结果，此时的输出结果为气象因子的中间特征，
Figure 342692DEST_PATH_IMAGE030
(1)
Figure 209148DEST_PATH_IMAGE031
(2)
式中，
Figure 111245DEST_PATH_IMAGE032
代表D2 Block第i层的输出结果，
Figure 637910DEST_PATH_IMAGE033
代表膨胀因子为
Figure 727089DEST_PATH_IMAGE034
的空洞卷积运 算，
Figure 397236DEST_PATH_IMAGE035
为神经网络第i层输出结果对于神经网络第
Figure 888260DEST_PATH_IMAGE036
层输出结果的贡献的参数。膨胀率
Figure 108196DEST_PATH_IMAGE037
的计算方法如公式2所示，其中i代表神经网络中对于第
Figure 950250DEST_PATH_IMAGE036
层输出结果有贡献的中间层。
通过重复D2 Block结构的运算即得到气象因子的深层特征。将此深层特征作为输入，进行全连接结构的映射后便可以得到关键地区的能见度预报值。
本步骤确定了神经网络的具体结构，利用此结构可以对预处理后的气象因子进行计算，得到能见度预报值。但此时神经网络结构中的参数还未确定，完整的神经网络模型还需要利用历史数据对神经网络进行训练，详见下述步骤。
步骤S4:神经网络训练
确定了神经网络的结构后，便可利用历史数据对神经网络进行训练，得到神经网络各部分的参数值。将历史数据中的WRF输出值与气象观测站的能见度观测值在时间上进行对应后即可对神经网络进行训练。
首先，由于气象数据具有很强的时间、空间连续性，同一段时间内的气象数据可能具有极大的相似性，本发明神经网络模型的损失函数在均方误差的基础上使用L2正则化对参数进行约束以防止出现过拟合。如式3所示，本发明采用均方误差函数的形式损失函数Loss，
Figure 407776DEST_PATH_IMAGE038
(3)
式中，Loss为损失函数的值，V为神经网络输出的能见度预报值，
Figure 769618DEST_PATH_IMAGE039
为气象观测站观 测的能见度值，
Figure 919977DEST_PATH_IMAGE040
为神经网络参数的L2范数，
Figure 233016DEST_PATH_IMAGE041
为0至1之间的正则化调节系数。
接着，利用反向传播算法与梯度下降算法对模型进行训练，反向传播的过程如公式4-6所示，
（1）通过下 式（4）的前向运算得到神经网络第N层的输出结果
Figure 494233DEST_PATH_IMAGE042
，
Figure 445002DEST_PATH_IMAGE043
(4)
式中，
Figure 766262DEST_PATH_IMAGE042
为神经网络第N层的输出结果，
Figure 569526DEST_PATH_IMAGE044
为神经网络第N层的参数，tanh为神经 网络的激活函数，
Figure 368855DEST_PATH_IMAGE045
为神经网络第N层的偏置项参数。
（2）继续通过神经网络第N层梯度信息的计算式（5），得到神经网络第N层的梯度值
Figure 705290DEST_PATH_IMAGE046
，
Figure 197451DEST_PATH_IMAGE047
(5)
式中，
Figure 970235DEST_PATH_IMAGE046
为神经网络第N层的梯度值，
Figure 822522DEST_PATH_IMAGE048
为神经网络中损失函数对激活 函数的梯度项，e为矩阵的点乘运算，
Figure 528310DEST_PATH_IMAGE049
为神经网络中激活函数对于输出值的梯度 项。
（3）进而利用反向传播计算神经网络浅层项梯度的式（6）得到神经网络第N-1层的 梯度值
Figure 410946DEST_PATH_IMAGE050
，
Figure 202185DEST_PATH_IMAGE051
(6)
式中，
Figure 595514DEST_PATH_IMAGE050
为神经网络第N-1层的梯度值，
Figure 890229DEST_PATH_IMAGE052
为神经网络第N层参数的转置表 示。
（4）通过反向传播算法得到模型的梯度值后，使用梯度下降法进行迭代训练，得到由第i次到第i+1次迭代时产生的参数，如式（7）所示，
Figure 209346DEST_PATH_IMAGE053
(7)
式中，
Figure 222301DEST_PATH_IMAGE054
为神经网络第N层、第i+1次迭代时产生的参数，
Figure 416391DEST_PATH_IMAGE055
为第i+1次迭代时 的学习率。通过梯度下降算法可以不断对模型进行训练，直至模型收敛。
（5）最后，通过收敛的模型对实时气象因子预报值进行预处理后，利用完整的神经 网络模型对预处理后的气象因子进行运算，如式（8）所示，得到未来时刻关键地区的能见度 预报值
Figure 831192DEST_PATH_IMAGE056
，
Figure 586789DEST_PATH_IMAGE057
(8)
式中，
Figure 821461DEST_PATH_IMAGE056
为t时刻能见度的预报值，F为完整的神经网络模型，P为气象因子的预处 理操作，
Figure 304395DEST_PATH_IMAGE058
为WRF模型输出的t时刻气象因子的预报值集合。
步骤S5: 能见度预报与模型参数更新
将神经网络训练至收敛后，便可以利用神经网络与实时输出的WRF数据进行能见度的预报。此时的神经网络是利用历史数据得到的，因此其泛化性可能较差，对于与历史数据偏差较大的情况可能无法进行准确的能见度预报，因此本案例使用Finetune的策略对神经网络的参数进行实时更新。具体做法为神经网络输出预报值时，可以对预报值进行缓存，当时间点到达预报的时刻时，可以通过气象观测站的观测值与缓存值进行损失计算，利用反向传播与梯度下降对神经网络中的全连接层的参数进行更新。更新的流程图如图6所示，首先对模型特征提取部分的参数进行冻结，其次利用损失函数计算出预报值与观测值之间的损失值，最后利用反向传播与梯度下降算法对模型的全连接层进行参数更新。不断产生的气象数据会逐步优化神经网络全连接模块的参数，使其适用于更多的天气情况。
本实施案例完整的模型运算流程如公式9所示，
Figure 91479DEST_PATH_IMAGE059
（9）
其中
Figure 1666DEST_PATH_IMAGE060
为c时刻的能见度预报模型，P为气象因子的预处理操作，
Figure 474367DEST_PATH_IMAGE061
为WRF模 型输出的t+c时刻气象因子的预报值集合，
Figure 760992DEST_PATH_IMAGE062
为c时刻模型输出的t+c时刻的能见度预报 值。用来训练的数据拥有很强的局限性，为了让模型适用于更多的情况，需要尽可能地使用 更多的数据。因此在模型的实际使用中需要基于Finetune微调策略，不断利用新产生的数 据以及过去的预报值对模型的全连接层参数进行更新，增强模型的能见度预报能力。

Claims (5)

1.一种基于多气象因子智能深度学习的能见度预报模型，其特征在于包括以下步骤：
步骤S1，数值预报模式选取：根据地区气象和地理条件选择数值预报模式；
步骤S2，气象因子建模：以空间同一网格点上的多个气象因子作为一个通道项，将空间多个网格点的特征作为多通道项进行补充，建立能见度预报的神经网络模型；所述多个气象因子包括温度、风速、湿度、大气层结；
步骤S3，特征提取与能见度映射：对数值预报模式输出的气象因子预报值进行提高分辨率的降尺度操作，从而得到关键地区的高分辨率气象因子数值，进而得到高分辨率气象因子的深层特征；
步骤S4，神经网络模型训练：获取历史数据并通过步骤S1所述数值预报模式处理得到预报值数据，并与气象观测站的能见度观测值对应后，对神经网络模型进行训练，得到收敛后的神经网络模型；
步骤S5，能见度预报与模型参数更新：通过步骤S4得到收敛后神经网络模型对步骤S1所述数值预报模式的实时输出数据进行处理得到能见度预报，同时对神经网络模型的参数进行更新。
2.根据权利要求1所述基于多气象因子智能深度学习的能见度预报模型，其特征在于：步骤S1所述数值预报模式采用中尺度天气预报模式WRF。
3.根据权利要求2所述基于多气象因子智能深度学习的能见度预报模型，其特征在于：步骤S3采用D2 Block结构进行特征提取，D2 Block结构的第i层输出结果通过式（1）和（2）得到，
Figure 13285DEST_PATH_IMAGE001
（1）
Figure 753095DEST_PATH_IMAGE002
（2）
式中，
Figure 211627DEST_PATH_IMAGE003
代表膨胀因子为
Figure 583834DEST_PATH_IMAGE004
的空洞卷积运算，
Figure 740316DEST_PATH_IMAGE005
为神经网络第i层输出结果对于神经 网络第
Figure 648098DEST_PATH_IMAGE006
层输出结果的贡献的参数，
Figure 610238DEST_PATH_IMAGE006
表示神经网络总层数。
4.根据权利要求2所述基于多气象因子智能深度学习的能见度预报模型，其特征在于：步骤S4中利用历史数据对神经网络模型训练的具体步骤如下：
首先，本发明神经网络模型采用式3所示损失函数Loss对参数进行约束以防止出现过拟，
Figure 287600DEST_PATH_IMAGE007
(3)
式中，Loss为损失函数的值，V为神经网络输出的能见度预报值，
Figure 386006DEST_PATH_IMAGE008
为气象观测站观测的 能见度值，
Figure 28471DEST_PATH_IMAGE009
为神经网络参数的L2范数，
Figure 743486DEST_PATH_IMAGE010
为正则化调节系数，且
Figure 113288DEST_PATH_IMAGE011
；
接着，利用反向传播算法与梯度下降算法对模型进行训练，反向传播的过程如下：
（1）通过式（4）的前向运算得到神经网络第N层的输出结果
Figure 846626DEST_PATH_IMAGE012
，
Figure 705998DEST_PATH_IMAGE013
(4)
式中，
Figure 127883DEST_PATH_IMAGE012
为神经网络第N层的输出结果，
Figure 566955DEST_PATH_IMAGE014
为神经网络第N层的参数，tanh为神经网络的 激活函数，
Figure 892150DEST_PATH_IMAGE015
为神经网络第N层的偏置项参数；
（2）继续通过神经网络第N层梯度信息的计算式（5），得到神经网络第N层的梯度值
Figure 922423DEST_PATH_IMAGE016
，
Figure 831604DEST_PATH_IMAGE017
(5)
式中，
Figure 605525DEST_PATH_IMAGE016
为神经网络第N层的梯度值，
Figure 1872DEST_PATH_IMAGE018
为神经网络中损失函数对激活函数的 梯度项，e为矩阵的点乘运算，
Figure 452313DEST_PATH_IMAGE019
为神经网络中激活函数对于输出值的梯度项；
（3）进而利用反向传播计算神经网络浅层项梯度的式（6）得到神经网络第N-1层的梯度 值
Figure 98058DEST_PATH_IMAGE020
，
Figure 426403DEST_PATH_IMAGE021
(6)
式中，
Figure 677255DEST_PATH_IMAGE022
为神经网络第N-1层的梯度值，
Figure 301528DEST_PATH_IMAGE023
为神经网络第N层参数的转置表示；
（4）通过反向传播算法得到模型的梯度值后，使用梯度下降法进行迭代训练，得到由第i次到第i+1次迭代时产生的参数，如式（7）所示，
Figure 700148DEST_PATH_IMAGE024
(7)
式中，
Figure 566604DEST_PATH_IMAGE025
为神经网络第N层、第i+1次迭代时产生的参数，
Figure 468701DEST_PATH_IMAGE026
为第i+1次迭代时的学 习率，通过梯度下降算法可以不断对模型进行训练，直至模型收敛；
（5）最后，通过收敛的模型对实时气象因子预报值进行预处理后，利用完整的神经网络模型对预处理后的气象因子进行运算，如式（8）所示，得到未来时刻关键地区的能见度预报值，
Figure 260946DEST_PATH_IMAGE027
(8)
式中，
Figure 818966DEST_PATH_IMAGE028
为t时刻能见度的预报值，F为完整的神经网络模型，P为气象因子的预处理操 作，
Figure 738380DEST_PATH_IMAGE029
为WRF模型输出的t时刻气象因子的预报值集合。
5.根据权利要求2所述基于多气象因子智能深度学习的能见度预报模型，其特征在于：步骤S5中神经网络模型的参数进行更新的过程如下：
首先，将神经网络模型输出的能见度预报值进行缓存；
然后，当达到下次预报时刻时，通过气象观测站的观测值与缓存值进行损失计算，利用方向传播与梯度下降对神经网络模型中的全连接层参数进行更新。
CN202210812014.8A 2022-07-12 2022-07-12 一种基于多气象因子智能深度学习的能见度预报方法 Active CN114880958B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210812014.8A CN114880958B (zh) 2022-07-12 2022-07-12 一种基于多气象因子智能深度学习的能见度预报方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210812014.8A CN114880958B (zh) 2022-07-12 2022-07-12 一种基于多气象因子智能深度学习的能见度预报方法

Publications (2)

Publication Number Publication Date
CN114880958A true CN114880958A (zh) 2022-08-09
CN114880958B CN114880958B (zh) 2022-10-11

Family

ID=82683249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210812014.8A Active CN114880958B (zh) 2022-07-12 2022-07-12 一种基于多气象因子智能深度学习的能见度预报方法

Country Status (1)

Country Link
CN (1) CN114880958B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116070676A (zh) * 2023-03-28 2023-05-05 南京气象科技创新研究院 基于注意力机制和自编码器的高速公路路面温度预报方法
CN116108761A (zh) * 2023-04-12 2023-05-12 中国科学院地理科学与资源研究所 一种耦合深度学习和hasm的区域气候模拟方法和系统
CN117034780A (zh) * 2023-08-31 2023-11-10 江苏省气候中心 一种基于深度学习的多尺度次季节降水量预测方法
CN117269011A (zh) * 2023-11-13 2023-12-22 珠海光焱科技有限公司 基于激光光路测量系统的气象能见度判断方法
CN117609738A (zh) * 2024-01-19 2024-02-27 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 集合多因素的大气能见度预测方法、计算机设备及介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150106315A1 (en) * 2013-10-16 2015-04-16 University Of Tennessee Research Foundation Method and apparatus for providing random selection and long-term potentiation and depression in an artificial network
CN106527958A (zh) * 2015-09-09 2017-03-22 阿里巴巴集团控股有限公司 用于分布式存储系统的写入数据、获取数据的方法和设备
CN108227039A (zh) * 2017-12-12 2018-06-29 南京理工大学 一种大气湍流强度和能见度测量装置
CN110471131A (zh) * 2019-08-16 2019-11-19 中国海洋大学 高空间分辨率的精细化大气水平能见度自动预报方法及系统
CN110659593A (zh) * 2019-09-09 2020-01-07 南京邮电大学 基于改进DiracNet的城市雾霾能见度检测方法
CN110705115A (zh) * 2019-10-10 2020-01-17 北京北科融智云计算科技有限公司 一种基于深度置信网络的气象预报方法和系统
CN111738314A (zh) * 2020-06-09 2020-10-02 南通大学 基于浅层融合的多模态图像能见度检测模型的深度学习方法
CN111898693A (zh) * 2020-08-06 2020-11-06 上海眼控科技股份有限公司 能见度分类模型的训练方法、能见度估计方法、装置
CN111967332A (zh) * 2020-07-20 2020-11-20 禾多科技（北京）有限公司 用于自动驾驶的能见度信息生成方法和装置
CN112285807A (zh) * 2019-11-12 2021-01-29 北京嘉韵楷达气象科技有限公司 一种气象信息预测方法及装置
KR102283968B1 (ko) * 2020-11-27 2021-07-30 한국해양과학기술원 이미지 학습 기반 시정 관측 정보 생성 및 공유 시스템과 그 방법
WO2021204226A1 (zh) * 2020-04-09 2021-10-14 国网江苏省电力有限公司苏州供电分公司 基于雷云轨迹跟踪的雷电条件下的光伏功率预测方法
CN114169445A (zh) * 2021-12-09 2022-03-11 河海大学 基于cae和gan混合网络的日前光伏功率预测方法、装置与系统
CN114511061A (zh) * 2021-12-29 2022-05-17 青岛市气象台 基于深度神经网络的岸滨地区海雾能见度预报方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150106315A1 (en) * 2013-10-16 2015-04-16 University Of Tennessee Research Foundation Method and apparatus for providing random selection and long-term potentiation and depression in an artificial network
CN106527958A (zh) * 2015-09-09 2017-03-22 阿里巴巴集团控股有限公司 用于分布式存储系统的写入数据、获取数据的方法和设备
CN108227039A (zh) * 2017-12-12 2018-06-29 南京理工大学 一种大气湍流强度和能见度测量装置
CN110471131A (zh) * 2019-08-16 2019-11-19 中国海洋大学 高空间分辨率的精细化大气水平能见度自动预报方法及系统
CN110659593A (zh) * 2019-09-09 2020-01-07 南京邮电大学 基于改进DiracNet的城市雾霾能见度检测方法
CN110705115A (zh) * 2019-10-10 2020-01-17 北京北科融智云计算科技有限公司 一种基于深度置信网络的气象预报方法和系统
CN112285807A (zh) * 2019-11-12 2021-01-29 北京嘉韵楷达气象科技有限公司 一种气象信息预测方法及装置
WO2021204226A1 (zh) * 2020-04-09 2021-10-14 国网江苏省电力有限公司苏州供电分公司 基于雷云轨迹跟踪的雷电条件下的光伏功率预测方法
CN111738314A (zh) * 2020-06-09 2020-10-02 南通大学 基于浅层融合的多模态图像能见度检测模型的深度学习方法
CN111967332A (zh) * 2020-07-20 2020-11-20 禾多科技（北京）有限公司 用于自动驾驶的能见度信息生成方法和装置
CN111898693A (zh) * 2020-08-06 2020-11-06 上海眼控科技股份有限公司 能见度分类模型的训练方法、能见度估计方法、装置
KR102283968B1 (ko) * 2020-11-27 2021-07-30 한국해양과학기술원 이미지 학습 기반 시정 관측 정보 생성 및 공유 시스템과 그 방법
CN114169445A (zh) * 2021-12-09 2022-03-11 河海大学 基于cae和gan混合网络的日前光伏功率预测方法、装置与系统
CN114511061A (zh) * 2021-12-29 2022-05-17 青岛市气象台 基于深度神经网络的岸滨地区海雾能见度预报方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHAO YANG等: "Airport Arrival Flow Prediction considering Meteorological Factors Based on Deep-Learning Methods", 《HINDAWI》 *
刘旗洋 等: "不同场景下的交通能见度估算模型的应用", 《大气科学学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116070676A (zh) * 2023-03-28 2023-05-05 南京气象科技创新研究院 基于注意力机制和自编码器的高速公路路面温度预报方法
CN116070676B (zh) * 2023-03-28 2023-06-30 南京气象科技创新研究院 基于注意力机制和自编码器的高速公路路面温度预报方法
CN116108761A (zh) * 2023-04-12 2023-05-12 中国科学院地理科学与资源研究所 一种耦合深度学习和hasm的区域气候模拟方法和系统
CN117034780A (zh) * 2023-08-31 2023-11-10 江苏省气候中心 一种基于深度学习的多尺度次季节降水量预测方法
CN117034780B (zh) * 2023-08-31 2024-04-19 江苏省气候中心 一种基于深度学习的多尺度次季节降水量预测方法
CN117269011A (zh) * 2023-11-13 2023-12-22 珠海光焱科技有限公司 基于激光光路测量系统的气象能见度判断方法
CN117269011B (zh) * 2023-11-13 2024-01-30 珠海光焱科技有限公司 基于激光光路测量系统的气象能见度判断方法
CN117609738A (zh) * 2024-01-19 2024-02-27 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 集合多因素的大气能见度预测方法、计算机设备及介质

Also Published As

Publication number Publication date
CN114880958B (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
CN114880958B (zh) 一种基于多气象因子智能深度学习的能见度预报方法
CN111223301B (zh) 一种基于图注意力卷积网络的交通流量预测方法
CN113313947A (zh) 短期交通预测图卷积网络的路况评估方法
CN113393032B (zh) 基于重采样下的航迹循环预测方法
CN112862090A (zh) 一种基于深度时空神经网络的气温预报方法
CN112446559A (zh) 一种基于深度学习的大范围地面沉降时空预测方法和系统
CN112182063A (zh) 一种基于时空特征的水文预报模型的构建方法
CN116702627B (zh) 一种基于深度卷积神经网络的城市暴雨内涝快速模拟方法
CN117319231A (zh) 一种基于蜣螂算法优化vmd的网络流量预测方法与系统
CN115421117B (zh) 一种基于深度学习的雷达回波外推方法
CN115471016B (zh) 一种基于cisso与daed的台风预测方法
CN116108761B (zh) 一种耦合深度学习和hasm的区域气候模拟方法和系统
CN114814776B (zh) 基于图注意力网络和迁移学习的pd雷达目标检测方法
CN116152206A (zh) 一种光伏输出功率预测方法、终端设备及存储介质
CN115438841A (zh) 基于人工智能精准预测降雨模型的训练方法及预测方法
CN113988415A (zh) 一种中长期电力负荷预测方法
CN117332227A (zh) 一种多时空尺度注意力机制的环境变量预测方法及设备
CN117593877A (zh) 一种基于集成图卷积神经网络的短时交通流预测方法
CN113933915B (zh) 一种基于时空扰动信息交互集成嵌套的短临外推预报方法
CN115357862A (zh) 一种狭长空间中的定位方法
CN115861563A (zh) 一种图拓扑刚性点云配准的三维重建方法
CN115797557A (zh) 基于图注意力网络的自监督3d场景流估计方法
CN114004421B (zh) 一种基于时空集成学习的交通数据缺失值插补方法
CN112784477A (zh) 一种基于WRF-LES和BP-PSO-Bagging相结合的风功率预测方法
CN110780604A (zh) 一种基于空时平滑性和时间相关性的空时信号恢复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant