CN108921039A - 基于多尺寸卷积核的深度卷积模型的森林火灾检测方法 - Google Patents

Abstract

本发明公开了一种基于多尺寸卷积核的深度卷积模型的森林火灾检测方法，涉及深度学习视频识别技术领域，包括视频图像信息采集、数据无线传输、光流场形成、深度学习中卷积神经网络模型建立以及结果预测等步骤。本发明通过训练不同尺寸卷积核的深度卷积神经网络模型，改进了现有的算法并结合现有的硬件条件，加快了森林火灾判断的速度，提高了整个模型的预测精度，有效帮助解决现有森林火灾发现不及时、经济损失较为严重的问题，具有一定的实用价值。

Description

基于多尺寸卷积核的深度卷积模型的森林火灾检测方法

技术领域

本发明属于视频网络技术识别技术与人工智能领域，具体涉及到建立一种基于多尺寸卷积核的深度卷积神经网络模型，使用光流场作为模型的输入对森林的监控视频进行火灾情况判断并预测火灾趋势的方法。

背景技术

1.视频识别技术由于效果好、数据采集方便而被广泛使用，其主要包括前段视频信息的采集和传输、中间视频检测和后端的视频分析处理三个阶段。视频识别技术构成的视频流网络是大规模、无人值守、高效精准的信息采集方式，通过森林中固定或移动位置的网络高清摄像头自动采集森林中的空气中光流的成像、异常光以及空气中可见粒子的漂浮情况等对判断火灾的有利信息。采集到的信息通过网络传输至监控中心形成较为准确的实时监控。

2.人工智能是目前各个领域都较为热门的研究方向，其中包含了多种学科及算法。其中取得良好效果的人工神经网络是基于生物学中神经网络的基本原理，在理解和抽象了人脑结构和外界刺激响应机制后，以网络拓扑为理论基础，模拟人脑的神经系统对复杂信息的处理机制的一种数学模型，不需要任何先验公式就能从已有的数据中获取内在的规律，具有一定的聚类和预测的能力。但是近年来，单纯的人工神经网络已不能满足人类的需求，卷积神经网络模型逐渐被学者用于图像识别等方面的研究。

3.森林火灾对整个生态系统是一个需要引起高度重视的灾害之一，不论其起因是自然还是人为，都有着极高的危险性。由于森林的特殊性，一旦发生火灾，火势蔓延速度快且不易被扑灭，所以森林火灾的预防就显得十分重要。因此，对森林火灾的预测可以做到防患未然，相关部门可以更快地采取相应的应对决策。目前，我国进行森林火灾监测的措施主要使用的是卫星遥感以及人工巡逻的方法，但是卫星遥感的费用高、定位不够精确；当使用人工巡逻的方法，若森林占地面积十分广阔时，需要耗费大量的人力物力，时效性较差。

发明内容

为解决森林火灾发现速度慢、处理效果较差的问题，本发明提供一种基于多尺寸卷积核的深度卷积神经网络模型的森林火灾检测方法，能在一定程度上节省人力物力。

本发明解决上述技术问题采用的技术方案是：

一种基于多尺寸卷积核的深度卷积模型的森林火灾检测方法，其特征在于包括如下步骤：

【1】采集森林的视频图像；

【2】利用光流法，每相邻两帧视频图像生成一幅光流场图像，并将生成的光流场图像集按比例分为训练集和测试集；

【3】建立多尺寸卷积核的深度卷积神经网络模型，将步骤【2】得到的训练集作为神经网络模型的输入，对模型进行训练，将步骤【2】得到的测试集用于检验模型的预测精度，不断优化模型；

【4】生成待预测区域的光流场图像，利用优化后的模型对火灾发生情况进行检测。

优选地，所述多尺寸卷积核的深度卷积神经网络模型包括输入层、若干的卷积层、若干池化层、全连接层以及输出层；所述输入层用于接收光流场图像；所述卷积层用于将输入层接收的光流场图像通过卷积核进行一次特征提取；每个卷积层连接一个池化层进行下采样，卷积层得到的特征图像全部作为池化层的输入进行二次特征提取，池化层对特征图像不同位置的特征进行聚合统计，从而得到维度更低的图像；上一层池化层与下一层卷积层连接，反复进行特征提取，直到最后一层池化层输出最终特征图像到全连接层；全连接层连接所有特征，并输送给输出层进行分类；输出层利用分类器最终得到分类结果。

本发明使用神经网络与光流场结合的检测方法能够高效、准确的判断是否发生火灾并分析火灾的规模、类型并预测其发展趋势，有关部门可提前做好相应的防范措施或在火灾发生时尽快控制火情。基于视频的图像采集网络能够有效地采集森林的高清图像，将数据实时传送给指挥中心再进行数据处理，该系统成本低、易于实现并具有准确度高的特点。因此该方法可以十分有效地解决大范围森林的火灾监控、火灾预案生成以及火灾发生后的实施问题。

与现有的技术相比，本发明显著的优势在于：(1)使用深度学习自动检测代替现有的人工检测，省时省力，提高了检测效率；(2)输入层使用光流法得到的光流场图像，减少了神经网络判断移动或漂浮物体位置的时间，提高了整个模型的训练及预测速度，使模型在运动物体辨别方面精度更高。(3)针对基本的卷积神经网络模型进行改进，使用不同尺寸的卷积核，使整个模型更快的到达迭代结束条件、改善陷入局部最小问题、解决收敛速度慢等模型的常见问题。(4)本发明结合了视频信息采集、无线网络数据传输以及实时管理响应系统，能更快速地发现火源位置、预测火灾走势以及迅速采取相应的灭火措施。

附图说明

图1是基于多尺寸卷积核的深度卷积模型的森林火灾检测方法的系统结构示意图。

图2是模型的训练集和测试集的建立过程图。

图3是多尺寸卷积核的深度卷积神经网络的模型训练流程图。

图4是基于多尺寸卷积核的深度卷积模型的森林火灾检测方法的流程图。

具体实施方式

下面结合附图对本发明进行具体实施方式的说明。

图1是基于多尺寸卷积核的深度卷积模型的森林火灾检测方法的系统结构示意图，主要包括视频监控网络及森林火灾检测模型两部分。前者用于拍摄森林中的实时状态并将视频传输至控制中心；后者依据采集到的数据判断是否发生火灾以及发生火灾的趋势。

监控网络主要由安装在森林中合适位置的网络高清摄像头实现，摄像头所拍摄的内容需涵盖整片森林，主要拍摄森林中动态物质或物体，如：烟雾火焰等，并将采集到的视频保存、传输到控制中心。网络高清摄像头所拍摄到的视频图像通过无线网桥的传输方式传输到各个网络的关键协调节点，继而转发给控制中心，森林火灾检测模型建立在控制中心的主机中。

该方法的核心在于形成图像的光流场以及建立基于多尺寸卷积核的深度卷积神经网络建模两部分。具体地说，就是森林区域的高清摄像头将所拍摄的画面通过无线网络传输至控制中心，后者将图像处理后形成光流场与其他数据一同提供给预测模型，经过模型的预测判断，获得该时间点火灾发生的概率，当该概率大于某一阈值时则表示该区域极大可能发生森林火灾，需要有关部门尽快采取相关措施。

系统底层由安置在森林监测区域内的摄像头以及传感器构成，用于采集森林的基本数据，并使用无线网桥进行数据的传输。无线网桥是无线射频技术和传统的有限网桥技术相结合的产物。由于其适应性好、传输距离较远，因此该种无线网桥的传输方式可以很好的适应森林中的监控视频及其他数据的传输业务。由于传输距离可能较远所以采用带有中继站的无线网桥传输，采集点将数据首先传输给中继站，再通过中继站传输给控制中心，方便相关的管理人员处理。

光流表达图像的变化，由于它包含了目标运动信息，因此可以被观察者用来确定目标的运动情况。本实施例根据采集的森林图像形成光流场，由于火焰烟雾在空气中的扩散与其他物质的扩散有所区别，光流场恰好能记录物体在图像中的运动变化。使用光流法形成光流场的基本思路：观察视频的图像可以发现，时间相邻的图像存在着一定的时间相关性和位置相关性，利用该相关性可以计算出物体的运动信息。具体来说，设(u,v)为图像点(x,y)的光流，则把(x,y,u,v)称为光流点，所有光流点的集合称为光流场。因此光流场可以看做是二维的瞬时速度场，从而表述物体在某个时间段内的运动情况。

光流场的引用可以很明显地判断出相邻两幅图像中是否存在运动的物体，光流场图像经过卷积神经网络模型的分类后，大幅度增加了对于森林火灾预测的精确度。

本发明基于多尺寸卷积核的深度卷积模型的森林火灾检测方法，所述方法包括如下步骤：

步骤1：安装设备。在森林中选取合适的位置安装网络高清摄像头，通过无线网络将数据传输到中继站，再由中继站传输至控制中心。

步骤2：视频图像光流场形成。网络高清摄像头实时采集的视频按帧保存为时间连续的图片，对图片进行灰度化等预处理操作。再使用基于梯度的Horn-Schunck算法来计算相邻图像的光流，详细的算法如下：

假设图像上一个像素点(x,y)，在t时刻图像的亮度为E(x,y,t)，同时用u(x,y)和v(x,y)来表示该点光流，其在水平和垂直方向上的分量分别用下式子表示：

u＝dx/dt

v＝dy/dt

在经过一段时间间隔Δt后，即在本实施例中对应多帧后的图像，对应该点的亮度为E(x+Δx,y+Δy,t+Δt)，其中Δx,Δy为在Δt时间段内两个方向上的变化值。当Δt很小并趋近于0时，可认为该点的亮度不变，所以有如下公式：

E(x,y,t)＝E(x+Δx,y+Δy,t+Δt)

若当该点的亮度有变化时，则说明该点在该段时间内发生了移动或变化，将移动后点的亮度由泰勒公式展开，可得到：

其中可忽略二阶无穷小ε，由于Δt→0，则有：

故上式为基本的光流约束方程，若令：

表示灰度图中像素点沿x,y,t方向上的梯度，因此可以将Horn-Schunck光流计算方法的光流约束方程改写为：

E_xu+E_yv+E_t＝0

根据上述算法可以得到视频中相邻两帧图像的光流场图像。将所得的图像按比例(本实施例按7:3的比例)分成训练集和测试集，训练集作为后续建立的模型的输入，优化模型中的各项参数；测试集用于判断模型的预测精度是否符合要求。

步骤3：设计多尺寸卷积核的深度卷积神经网络。

多尺寸卷积核的深度卷积神经网络模型依次由输入层、若干的卷积层、若干池化层、全连接层以及输出层构成。其中输入层用于接收所形成的光流场图像；卷积层是将输入层接收的光流场图像通过卷积核形成特征图像的过程，卷积层将N个输入特征转化为M(M＞N)个输出特征图，层神经元之间使用卷积核连接，即为权重参数矩阵，一般为K*K的方阵，K为正整数，且每张特征图像共用同样的权重参数矩阵以及偏置。在该层的输入图像中滑动卷积核，将卷积核所在区域与卷积核中的权值加权求和并加入偏置量再通过ReLu激活函数形成输出的特征图像一个单元。同一卷积层中使用相同尺寸的卷积核进行卷积操作得到多个特征图像，但每个卷积核的权重参数有所区别，因此能更充分地提取特征。为了能使卷积核适应图像的大小，不同卷积层所使用的卷积核尺寸随着输入特征图像的缩小而缩小，从而提高整个模型的精度，且每个卷积层所使用的卷积核数量一般情况下均不相同。整个过程由公式表达：

其中l表示当前为第几层，j为当前层卷积核的数量，即输出图像的数量，N为输入到该层的图像数量，表示第l层第j个特征图像中某一单元的值，表示上一层中第i张图像中的对应的矩阵，表示第l层第j个卷积核矩阵，每一层都有唯一的偏置B^l以及ReLu激活函数f。

进一步地，卷积层所使用的激活函数为ReLu函数，其收敛速度比传统神经网络中的sigmoid激活函数快很多。相比于其他激活函数，ReLu只需要一个阈值就可以得到激活函数，使得激活过程更加简单，模型的训练及运行速度大大增加。

每个卷积层后都需要连接池化层进行下采样，其操作仅在同一个特征图像内完成，不同特征图像之间不影响，不改变特征图像数量但改变每个特征图像的大小。卷积层得到的M个特征图像全部作为池化层的输入进行二次的特征提取。池化层的作用是对图像不同位置的特征进行聚合统计，从而得到维度更低的图像，使图像的特征更加明显。池化层常用的下采样方法有均值池化和最大池化。本实施例统一使用最大池化对特征图像进行下采样操作，即下采样窗口中所有单元的最大值作为输出层对应位置神经元的值。假设最大池化的滑动矩阵大小为m*m，下采样后输出的特征图像在两个维度上分别缩小了m倍，再将输出结果经过激活函数做非线性变换，整个池化过程可用下面的公式表达：

y＝f(max(x_i)+B)

其中x_i表示某个下采样窗口中的某单元i的值，B表示偏置量，f表示池化层的ReLu激活函数，y表示下采样之后的图像中对应单元的值。

深度卷积神经网络中有多层卷积层与池化层，其余卷积层与池化层与上述操作一致。上一层池化层连接下一层卷积层，反复进行特征提取，因此称为深度卷积。所有的卷积和池化操作结束后，最后一层池化层输出最终特征图像到全连接层，全连接层的作用是连接所有特征，负责将特征输送给输出层；输出层为softmax分类器，根据最终分类数目确定分类器中神经元个数，最终得到分类结果，判断当前的视频图像是否发生火灾。

步骤4：反向传播优化多尺寸卷积核的深度卷积神经网络模型。使用训练集对建立好的模型进行训练，使用反向传播的优化方法逐层对每层中所使用到的权重参数及偏置值进行合理优化，使其能够达到更高的精度和更好的预测效果。错误信号从子采样层的特征图往前面卷积层的特征图传播，经过一次卷积过程完成参数的优化。但训练集的预测精度不易过高，尽量避免过拟合的效果，使其能在实际应用中发挥出更好的效果。

至此，完成整个多尺寸卷积核的深度卷积神经网络的建立，经过训练后并有较高精度的模型可用于实际的系统主机中，将网络高清摄像头采集回的图像数据进行火灾预测。

本发明使用了改进的卷积神经网络，使用不同尺寸的卷积核达到了精确提取特征的效果，通过形成视频图像的光流场更便于显示图像中运动物体的位置和形态，再将其作为模型的输入，进而预测出图像中是否存在火焰、烟以及其他可能引发火灾的物质，相比于其他火灾预测方法，本发明所建立的模型预测精度更高、预测更快。本发明在一定程度上加快了火灾发现速度、减少了人力物力的使用，并能根据火灾发展情况提供给管理部门合理的灭火策略，有效降低经济损失及人员伤亡。

Claims (8)

1.一种基于多尺寸卷积核的深度卷积模型的森林火灾检测方法，其特征在于包括如下步骤：

【1】采集森林的视频图像；

【2】利用光流法，每相邻两帧图像生成一幅光流场图像，并将生成的光流场图像集按比例分为训练集和测试集；

【3】建立多尺寸卷积核的深度卷积神经网络模型，将步骤【2】得到的训练集作为神经网络模型的输入，对模型进行训练，将步骤【2】得到的测试集用于检验模型的预测精度，不断优化模型；

【4】生成待预测区域的光流场图像，利用优化后的模型对火灾发生情况进行检测。

2.如权利要求1所述的基于多尺寸卷积核的深度卷积模型的森林火灾检测方法，其特征在于：使用网络高清摄像头采集森林的视频图像，通过无线网桥结构将数据传输给控制中心。

3.如权利要求1所述的基于多尺寸卷积核的深度卷积模型的森林火灾检测方法，其特征在于：使用基于梯度的Horn-Schunck算法计算相邻两帧视频图像上每一个像素点的光流，得到相邻两帧图像的光流场图像。

4.如权利要求1所述的基于多尺寸卷积核的深度卷积模型的森林火灾检测方法，其特征在于：多尺寸卷积核的深度卷积神经网络模型包括输入层、若干卷积层、若干池化层、全连接层以及输出层；所述输入层用于接收光流场图像；所述卷积层用于将输入层接收的光流场图像通过卷积核进行一次特征提取；每个卷积层连接一个池化层进行下采样，卷积层得到的特征图像全部作为池化层的输入进行二次特征提取，池化层对特征图像不同位置的特征进行聚合统计，从而得到维度更低的图像；上一层池化层与下一层卷积层连接，反复进行特征提取，直到最后一层池化层输出最终特征图像到全连接层；全连接层连接所有特征，并输送给输出层进行分类；输出层利用分类器最终得到分类结果。

5.如权利要求4所述的基于多尺寸卷积核的深度卷积模型的森林火灾检测方法，其特征在于：同一卷积层使用相同尺寸的卷积核进行卷积操作得到多个特征图像，每个卷积层所使用的卷积核大小随输入特征图像的大小而变化，每个卷积核为权重参数矩阵，且每张特征图像共用同样的权重参数矩阵以及偏置。

6.如权利要求4所述的基于多尺寸卷积核的深度卷积模型的森林火灾检测方法，其特征在于：池化层使用最大池化方法。

7.如权利要求4所述的基于多尺寸卷积核的深度卷积模型的森林火灾检测方法，其特征在于：所有卷积层和池化层均采用ReLu激活函数，提供模型鲁棒性，加快模型收敛。

8.如权利要求1所述的基于多尺寸卷积核的深度卷积模型的森林火灾检测方法，其特征在于：使用BackForward反向传播修改模型中权重参数及偏置的值，提高模型精度；错误信号从子采样层的特征图往前面卷积层的特征图传播，经过一次卷积过程完成参数的优化。