CN117253120A - 火灾的识别方法、装置及存储介质 - Google Patents
火灾的识别方法、装置及存储介质 Download PDFInfo
- Publication number
- CN117253120A CN117253120A CN202311247325.5A CN202311247325A CN117253120A CN 117253120 A CN117253120 A CN 117253120A CN 202311247325 A CN202311247325 A CN 202311247325A CN 117253120 A CN117253120 A CN 117253120A
- Authority
- CN
- China
- Prior art keywords
- layer
- convolution
- image
- feature
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 126
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 42
- 238000011176 pooling Methods 0.000 claims description 60
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000009499 grossing Methods 0.000 claims description 6
- 238000003707 image sharpening Methods 0.000 claims description 6
- 238000012423 maintenance Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 34
- 238000005516 engineering process Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 7
- 239000000779 smoke Substances 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000002779 inactivation Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种火灾的识别方法、装置及存储介质，涉及图像处理技术领域，用于提高对火灾的识别效率。该方法包括：将待识别图像输入至卷积神经网络CNN模型，输出特征图集合；将特征图集合输入至协调注意力CA模型，输出特征图集合对应的注意力特征数据；将注意力特征数据集合输入至全连接层和软最大Softmax层，输出火灾识别结果，火灾识别结果用于指示待识别图像对应的位置区域是否发生火灾。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种火灾的识别方法、装置及存储介质。
背景技术
火灾一直以来都是公共安全和财产安全的重大威胁，甚至会危及人们的生命。随着互联网技术的迅速发展，火灾识别技术也在不断取得进步，以帮助人们更快的发现火灾。
在目前比较先进的技术中，机器学习模型通过对实时画面的监测来进行火灾的识别，相较于传统的识别方法，机器学习模型具备更强大的识别能力，能够更加准确地判断火灾的发生，从而减少误报的可能性。
然而，机器学习模型在应用中也存在一些挑战。在现有的机器学习模型中，需要基于多张图像或其他大量数据才能完成火灾的识别，识别时长较长，识别效率较低，可能无法及时的识别火灾的发生。因此，如何提高对火灾的识别效率，是亟待解决的问题。
发明内容
本申请提供一种火灾的识别方法、装置及存储介质，用于提高火灾的识别效率。
第一方面，提供一种火灾的识别方法，包括：获取待识别图像；将待识别图像输入至卷积神经网络(convolutional neural network，CNN)模型，输出特征图集合；将特征图集合输入至协调注意力(coordinate attention，CA)模型，输出特征图集合对应的注意力特征数据；将注意力特征数据集合输入至全连接层和软最大(Softmax)层，输出火灾识别结果，火灾识别结果用于指示待识别图像对应的位置区域是否发生火灾。
本申请提供的技术方案至少带来以下有益效果：在获取到待识别图像后，通过使用卷积神经网络CNN模型快速提取待识别图像中的特征数据，以提高处理待识别图像的速度，进而提高火灾的识别效率，并以特征图集合的形式输出，进一步通过协调注意力CA模型加强待识别图像中的特征数据，保障了火灾识别的准确率，并以注意力特征数据的形式输出，最终全连接层和软最大Softmax层根据注意力特征数据判断待识别图像对应的位置区域是否发生火灾，能够在保障火灾识别的准确度的基础上，提高火灾的识别效率，以使得及时识别火灾的发生。
作为一种可能的实现方式，卷积神经网络CNN模型包括依次连接的第一特征处理层、第二特征处理层、第三特征处理层以及第四特征处理层；第一特征处理层包括第一卷积层、第一池化层、第一激活ReLU函数以及第一随机失活Dropout层；第一卷积层包括16个卷积核，第一卷积层中的卷积核的大小均为3×3，第一池化层包括1个卷积核，第一池化层中的卷积核的大小为2×2；第二特征处理层包括第二卷积层、第二池化层、第二激活ReLU函数以及第二随机失活Dropout层；第二卷积层包括32个卷积核，第二卷积层中的卷积核的大小均为3×3，第二池化层包括1个卷积核，第二池化层中的卷积核的大小为2×2；第三特征处理层包括第三卷积层、第三池化层、第三激活ReLU函数以及第三随机失活Dropout层；第三卷积层包括32个卷积核，第三卷积层中的卷积核的大小均为3×3，第三池化层包括1个卷积核，第三池化层中的卷积核的大小为2×2；第四特征处理层包括第四卷积层和第四激活ReLU函数；第四卷积层包括128个卷积核，第四卷积层中的卷积核的大小均为6×6。
作为一种可能的实现方式，CA模型包括通道注意力模块和空间注意力模块；通道注意力模块用于对特征图集合进行通道注意力处理；空间注意力模块用于对特征图集合进行空间注意力处理。
作为一种可能的实现方式，上述获取待识别图像，包括：采集待编码视频；对待编码视频进行编码处理，以获取初始图像；对初始图像进行预处理，以获取待识别图像，预处理包括图像增强处理、平滑滤波处理以及图像锐化处理。
作为一种可能的实现方式，上述方法还包括：在火灾识别结果指示待识别图像对应的位置区域发生火灾的情况下，发出告警信息，告警信息用于指示对待识别图像对应的位置区域进行维护。
第二方面，提供一种火灾的识别装置，包括：获取模块，用于获取待识别图像；处理模块，用于将待识别图像输入至卷积神经网络CNN模型，输出特征图集合；处理模块，还用于将特征图集合输入至协调注意力CA模型，输出特征图集合对应的注意力特征数据；处理模块，还用于将注意力特征数据集合输入至全连接层和软最大Softmax层，输出火灾识别结果，火灾识别结果用于指示待识别图像对应的位置区域是否发生火灾。
作为一种可能的实现方式，卷积神经网络CNN模型包括依次连接的第一特征处理层、第二特征处理层、第三特征处理层以及第四特征处理层；第一特征处理层包括第一卷积层、第一池化层、第一激活ReLU函数以及第一随机失活Dropout层；第一卷积层包括16个卷积核，第一卷积层中的卷积核的大小均为3×3，第一池化层包括1个卷积核，第一池化层中的卷积核的大小为2×2；第二特征处理层包括第二卷积层、第二池化层、第二激活ReLU函数以及第二随机失活Dropout层；第二卷积层包括32个卷积核，第二卷积层中的卷积核的大小均为3×3，第二池化层包括1个卷积核，第二池化层中的卷积核的大小为2×2；第三特征处理层包括第三卷积层、第三池化层、第三激活ReLU函数以及第三随机失活Dropout层；第三卷积层包括32个卷积核，第三卷积层中的卷积核的大小均为3×3，第三池化层包括1个卷积核，第三池化层中的卷积核的大小为2×2；第四特征处理层包括第四卷积层和第四激活ReLU函数；第四卷积层包括128个卷积核，第四卷积层中的卷积核的大小均为6×6。
作为一种可能的实现方式，CA模型包括通道注意力模块和空间注意力模块；通道注意力模块用于对特征图集合进行通道注意力处理；空间注意力模块用于对特征图集合进行空间注意力处理。
作为一种可能的实现方式，上述获取模块，具体用于：采集待编码视频；对待编码视频进行编码处理，以获取初始图像；对初始图像进行预处理，以获取待识别图像，预处理包括图像增强处理、平滑滤波处理以及图像锐化处理。
作为一种可能的实现方式，上述处理模块，还用于：在火灾识别结果指示待识别图像对应的位置区域发生火灾的情况下，发出告警信息，告警信息用于指示对待识别图像对应的位置区域进行维护。
第三方面，提供一种火灾的识别装置，包括处理器，处理器执行计算机程序时实现如第一方面所述的火灾的识别方法。
第四方面，提供一种计算机可读存储介质，计算机可读存储介质包括计算机指令；其中，当计算机指令被执行时，实现如第一方面所述的火灾的识别方法。
本发明中第二方面至第四方面的描述的有益效果，可以参考第一方面的有益效果分析，此处不再赘述。
附图说明
附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本申请实施例提供的一种火灾的识别系统的结构示意图；
图2为本申请实施例提供的一种火灾的识别方法的流程示意图；
图3为本申请实施例提供的又一种火灾的识别方法的流程示意图；
图4为本申请实施例提供的一种深流工具包的工作流程图；
图5为本申请实施例提供的一种网络模型的架构示意图；
图6为本申请实施例提供的一种火灾的识别装置的结构示意图；
图7为本申请实施例提供的又一种火灾的识别装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，除非另有说明，“/”表示“或”的意思，例如，A/B可以表示A或B。本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。此外，“至少一个”是指一个或多个，“多个”是指两个或两个以上。“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。需要说明的是，本申请中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。
本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。在本申请实施例中，“指示”可以包括直接指示和间接指示。例如，以下文中第一控制信息为例，第一控制信息可以直接携带信息A的本身或者其索引，以实现直接指示信息A的目的。或者，第一控制信息也可以携带与信息A存在关联关系的信息B，从而在指示信息B的同时实现间接指示信息A的目的。
目前，火灾识别的相关技术主要分为以下四类：
1、烟雾识别技术，其技术内容为通过烟雾检测器监测区域内的烟雾浓度变化，识别烟雾特征，以判断是否发生火灾。该技术投入成本较小，但识别精准度较低，烟雾检测器易受到其他气体的影响而导致误报的情况。
2、光学识别技术，其技术内容为通过红外线传感器和光传感器监测区域内的光线变化判断是否发生火灾。该技术易受到光线遮挡而导致漏报的情况。
3、热成像技术，其技术内容为通过监测区域内的温度变化，进而利用红外线摄像头获取温度图像，不仅能够判断区域内是否发生火灾，还能根据温度图像，确定火源的位置和规模。但是，该技术投入成本较高，并且由于不同材料的发热性质不同，其识别准确度相对较低。
4、机器学习模型识别技术，如背景技术，该技术为相关技术中较为先进的识别技术，虽然识别的精准度能够达到正常需求，但是由于需要大量数据用于判断区域内是否发生火灾，导致处理时间较长，识别效率较低，无法及时识别区域内是否有火灾发生。
基于此，本申请提供一种火灾的识别方法，其思路在于：在获取到待识别图像后，通过使用卷积神经网络CNN模型快速提取待识别图像中的特征数据，以提高处理待识别图像的速度，进而提高火灾的识别效率，并以特征图集合的形式输出。进一步通过协调注意力CA模型加强待识别图像中的特征数据，保障了火灾识别的准确率，并以注意力特征数据的形式输出，最终全连接层和软最大Softmax层根据注意力特征数据判断待识别图像对应的位置区域是否发生火灾，能够在保障火灾识别的准确度的基础上，提高火灾的识别效率，以使得及时识别火灾的发生。
下面将结合附图对本申请实施例进行介绍。
图1为本申请实施例提供的一种火灾的识别系统的结构示意图。该火灾的识别系统包括：火灾的识别装置10和拍摄装置20。其中，火灾的识别装置10和拍摄装置20之间可以通过有线或者无线的方式进行连接。
拍摄装置20可以设置于监督区域附近。例如，以监督区域为数字园区为例，拍摄装置20可以安装于电路和通信线路所在区域的建筑物的顶部等能够拍摄到通信线路和电路所在区域的图像的位置。本申请实施例不限制拍摄装置20的具体安装方式以及具体安装位置。
拍摄装置20可用于拍摄监督区域的待识别图像。
在一些实施例中，拍摄装置20可以采用彩色摄像头来拍摄彩色图像。
示例性的，彩色摄像头可以为RGB摄像头。其中，RGB摄像头采用RGB色彩模式，通过红(red，R)、绿(greed，G)、蓝(blue，B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色。通常，RGB摄像头由三根不同的线缆给出了三个基本彩色成分，用三个独立的电荷耦合器件(charge coupled device，CCD)传感器来获取三种彩色信号。
在一些实施例中，拍摄装置20可以采用深度摄像头来拍摄深度图像。
示例性的，深度摄像头可以为飞行时间(time of flight，TOF)摄像头。TOF摄像头采用TOF技术，TOF摄像头的成像原理如下：根据激光光源发出经调制的脉冲红外光，遇到物体后反射，光源探测器接收经物体反射的光源，通过计算光源发射和反射的时间差或相位差，来换算TOF摄像头与被拍摄物体之间的距离，进而根据TOF摄像头与被拍摄物体之间的距离，得到场景中各个点的深度值。
火灾的识别装置10用于获取拍摄装置20所拍摄到的待识别图像，并基于拍摄装置20所拍摄到的待识别图像，确定待识别图像对应的位置区域是否发生火灾。
在一些实施例中，火灾的识别装置10可以是独立的服务器，也可以是多个服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络、大数据服务网等基础云计算服务的云服务器。
在一些实施例中，火灾的识别装置10可以是手机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本，以及蜂窝电话、个人数字助理(personal digital assistant，PDA)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备等。
在一些实施例中，火灾的识别装置10可以通过有线或无线的方式与其他终端设备进行通信，例如与工作人员的终端设备进行通信，以向工作人员的终端设备发送告警信息。
应理解，图1是示例性的示意图，图1所示的火灾的识别系统所包括的设备的数量不受限制，例如拍摄装置的数量不受限制。并且，除图1所示的设备外，图1示的火灾的识别系统还可以包括其他设备，对此不予限定。
本申请实施例提供的火灾的识别方法的执行主体为火灾的识别装置。可选地，该火灾的识别装置可以是上述火灾的识别装置10；或者，该火灾的识别装置也可以是上述火灾的识别装置10中的处理器；再或者，该火灾的识别装置还可以是上述火灾的识别装置10中安装的用于执行火灾的识别方法的应用程序(application，APP)；又或者，该火灾的识别装置还可以是上述火灾的识别装置10中具有图像处理功能的功能模块。本申请实例对此不作限制。
接下来，如图2所示，为本申请实施例提供的一种火灾的识别方法的流程示意图，该方法包括以下步骤：
S101、获取待识别图像。
其中，待识别图像为图1中的拍摄装置20对监督区域进行拍摄而得到的图像。监督区域为需要监督是否发生火灾的区域。例如数字园区内通信线路和电路所在的区域等。
可选的，如图3所示，获取待识别图像，可具体实现为以下步骤：
S1011、采集待编码视频。
可选的，本申请中通过图1中的拍摄装置20对监督区域进行拍摄，以获取监督区域对应的待编码视频。
其中。待编码视频为经压缩和编码处理后的视频文件，示例性的，待编码视频为视频流格式，由一系列时间有序的视频帧组成，每个视频帧都是一副图像。
S1012、对待编码视频进行编码处理，以获取初始图像。
可选的，本申请通过预设的深流工具包(DeepStream SDK)对待编码视频进行编码处理，能够将待编码视频还原为多张不同时间对应的监督图像。其中，每张监督图像都可以作为监督区域对应的初始图像。
S1013、对初始图像进行预处理，以获取待识别图像。
可选的，本申请通过预设的深流工具包(DeepStream SDK)对初始图像进行预处理，以得到处理后的初始图像，即待识别图像。示例性的，待识别的图像大小可以为64*64*3，也可以为其他大小格式，本申请对此不予限制。
其中，预处理包括图像增强处理、平滑滤波处理以及图像锐化处理。
如图4所示，为本申请提供的一种深流工具包的工作流程图。首先，对采集到的待编码视频进行编码处理，以得到初始图像。紧接着，对初始图像进行预处理，以得到待识别图像。
这样一来，通过对初始图像进行预处理操作，能够提高图像质量，使图像更加平滑和连续，使得图像更适合进行分析和识别，以提高火灾的识别准确度和识别效率。
S102、将待识别图像输入至卷积神经网络CNN模型，输出特征图集合。
其中，卷积神经网络CNN模型包括依次连接的第一特征处理层、第二特征处理层、第三特征处理层以及第四特征处理层；示例性，特征处理层也可以被称为卷积块，如第一卷积块、第二卷积块以及第三卷积块。
第一特征处理层包括第一卷积层、第一池化层、第一激活ReLU函数以及第一随机失活Dropout层；第一卷积层包括16个卷积核，第一卷积层中的卷积核的大小均为3×3，第一池化层包括1个卷积核，第一池化层中的卷积核的大小为2×2；
第二特征处理层包括第二卷积层、第二池化层、第二激活ReLU函数以及第二随机失活Dropout层；第二卷积层包括32个卷积核，第二卷积层中的卷积核的大小均为3×3，第二池化层包括1个卷积核，第二池化层中的卷积核的大小为2×2；
第三特征处理层包括第三卷积层、第三池化层、第三激活ReLU函数以及第三随机失活Dropout层；第三卷积层包括32个卷积核，第三卷积层中的卷积核的大小均为3×3，第三池化层包括1个卷积核，第三池化层中的卷积核的大小为2×2；
第四特征处理层包括第四卷积层和第四激活ReLU函数；第四卷积层包括128个卷积核，第四卷积层中的卷积核的大小均为6×6。
需要说明的是，CNN模型用于提取待识别图像中的数据特征，并将数据特征以特征图集合的形式输出。在相关技术中所使用的CNN模型为满足识别的精准度，可能会包括十个甚至数百个特征处理层，即使仅处理少量待识别图像的情况下，也需要耗费较长的处理时间，进而导致火灾的识别效率较低。
本申请提供的CNN模型仅包括三个特征处理层和一个卷积层，与现有技术中的CNN模型相比较，本申请提供的CNN模型是轻量型的，针对于待识别图像的处理速度，本申请提供的CNN模型相较于现有技术中的CNN模型具有较大提升，提高了待识别图像的处理效率，进而提高了火灾的识别效率。
示例性的，以本申请提供的CNN模型为例，对CNN模型的工作流程进行介绍。当待识别图像进入到第一特征处理层中时，第一卷积层对待识别图像进行卷积处理，得到第一初始特征图集合，其中，第一初始特征图集合包括16张第一初始特征图。紧接着，第一激活ReLU函数对第一初始特征图集合进行激活处理，第一池化层对激活处理后的第一初始特征图集合进行平均池化处理，最终将经过上述处理后的第一初始特征图集合输入至第一随机失活Dropout层，以得到第一特征图集合，避免了过度拟合问题。
当第一特征图集合进入到第二特征处理层中时，第二卷积层对第一特征图集合进行卷积处理，得到第二初始特征图集合，其中，第二初始特征图集合包括32张第二初始特征图。紧接着，第二激活ReLU函数对第二初始特征图集合进行激活处理，第二池化层对激活处理后的第二初始特征图集合进行平均池化处理，最终将经过上述处理后的第二初始特征图集合输入至第二随机失活Dropout层，以得到第二特征图集合。
当第二特征图集合进入到第三特征处理层中时，第三卷积层对第二特征图集合进行卷积处理，得到第三初始特征图集合，其中，第三初始特征图集合包括64张第三初始特征图。紧接着，第三激活ReLU函数对第三初始特征图集合进行激活处理，第三池化层对激活处理后的第三初始特征图集合进行平均池化处理，最终将经过上述处理后的第三初始特征图集合输入至第三随机失活Dropout层，以得到第三特征图集合。
当第二特征图集合进入到第四特征处理层中时，第四卷积层对第二特征图集合进行卷积处理，得到第四初始特征图集合，其中，第四初始特征图集合包括128张第四初始特征图。紧接着，第四激活ReLU函数对第四初始特征图集合进行激活处理，以得到特征图集合。
可以理解的是，特征图集合中的特征强度大于第三特征图集合中的特征强度，第三特征图集合中的特征强度大于第二特征图集合中的特征强度，第二特征图集合中的特征强度大于第一特征图集合中的特征强度，特征图集合的特征强度越大，越适合进行分析识别，其识别准确度就越高。
S103、将特征图集合输入至协调注意力CA模型，输出特征图集合对应的注意力特征数据。
其中，CA模型包括通道注意力模块和空间注意力模块；通道注意力模块用于对特征图集合进行通道注意力处理；空间注意力模块用于对特征图集合进行空间注意力处理。
需要说明的是，CA模型用于提取并增强特征图集合中的特征数据，对特征图集合进行通道注意力处理和空间注意力处理后，得到的注意力特征数据的特征强度，高于特征图集合中的特征强度，能够提高火灾的识别效率的准确性。
S104、将注意力特征数据集合输入至全连接层和软最大Softmax层，输出火灾识别结果。
其中，全连接层能够将接收到的注意力特征数据转化为高级特征，进而使得软最大Softmax层通过注意力特征数据进行判断，得到待识别图像对应的位置区域发生火灾的概率和不发生火灾的概率，并将较高概率的事件结果作为火灾识别结果输入，火灾识别结果用于指示待识别图像对应的位置区域是否发生火灾。
如图5所示，为本申请实施例提供的一种网络模型的架构示意图。以待识别图像的图像大小为64*64*3为例，将待识别图像输入至第一特征处理层后，首先对待识别图像进行卷积处理(Conv)，在使用激活(ReLU)函数进行激活处理，紧接着对其进行平均化处理(Av-pool)，最终对其进行随机失活处理(Dropout)。其中，第二处理层至第四处理层的处理流程，可参考S102中对于待处理图像的处理流程，在此不予赘述。在第四处理层处理完毕后，将处理得到的特征图集合输入至协调注意力CA模型中，得到注意力特征数据，将其输入至全连接层(FC)，紧接着输入至软最大层(Softmax)，最终输出火灾识别结果。
这样一来，在获取到待识别图像后，通过使用卷积神经网络CNN模型快速提取待识别图像中的特征数据，以提高处理待识别图像的速度，进而提高火灾的识别效率，并以特征图集合的形式输出。进一步通过协调注意力CA模型加强待识别图像中的特征数据，保障了火灾识别的准确率，并以注意力特征数据的形式输出，最终全连接层和Softmax层根据注意力特征数据判断待识别图像对应的位置区域是否发生火灾，能够在保障火灾识别的准确度的基础上，提高火灾的识别效率，以使得及时识别火灾的发生。
基于图2所示的实施例，在S104之后，方法还包括：在火灾识别结果指示待识别图像对应的位置区域发生火灾的情况下，发出告警信息。
其中，告警信息用于指示对待识别图像对应的位置区域进行维护。
示例性的，告警信息可以为信息格式，可直接发送至工作人员的终端设备。告警信息也可以为音频格式，可直接在与其连接的音频设备上播放告警信息。
这样一来，在待识别图像对应的位置区域发生火灾的情况下，能够及时提醒工作人员对其进行维护，以减少火灾带来的损害。
上述主要从方法的角度对本申请实施例提供的方案进行了介绍。为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对火灾的识别装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。可选的，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图6为本申请实施例提供的一种火灾的识别装置的结构示意图，如图6所示，该火灾的识别装置60包括：获取模块601和处理模块602。
获取模块601，用于获取待识别图像；
处理模块602，用于将待识别图像输入至卷积神经网络CNN模型，输出特征图集合；
处理模块602，还用于将特征图集合输入至协调注意力CA模型，输出特征图集合对应的注意力特征数据；
处理模块602，还用于将注意力特征数据集合输入至全连接层和Softmax层，输出火灾识别结果，火灾识别结果用于指示待识别图像对应的位置区域是否发生火灾。
在一些实施例中，卷积神经网络CNN模型包括依次连接的第一特征处理层、第二特征处理层、第三特征处理层以及第四特征处理层；第一特征处理层包括第一卷积层、第一池化层、第一激活ReLU函数以及第一随机失活Dropout层；第一卷积层包括16个卷积核，第一卷积层中的卷积核的大小均为3×3，第一池化层包括1个卷积核，第一池化层中的卷积核的大小为2×2；第二特征处理层包括第二卷积层、第二池化层、第二激活ReLU函数以及第二随机失活Dropout层；第二卷积层包括32个卷积核，第二卷积层中的卷积核的大小均为3×3，第二池化层包括1个卷积核，第二池化层中的卷积核的大小为2×2；第三特征处理层包括第三卷积层、第三池化层、第三激活ReLU函数以及第三随机失活Dropout层；第三卷积层包括32个卷积核，第三卷积层中的卷积核的大小均为3×3，第三池化层包括1个卷积核，第三池化层中的卷积核的大小为2×2；第四特征处理层包括第四卷积层和第四激活ReLU函数；第四卷积层包括128个卷积核，第四卷积层中的卷积核的大小均为6×6。
在一些实施例中，CA模型包括通道注意力模块和空间注意力模块；通道注意力模块用于对特征图集合进行通道注意力处理；空间注意力模块用于对特征图集合进行空间注意力处理。
在一些实施例中，上述获取模块601，具体用于：采集待编码视频；对待编码视频进行编码处理，以获取初始图像；对初始图像进行预处理，以获取待识别图像，预处理包括图像增强处理、平滑滤波处理以及图像锐化处理。
在一些实施例中，上述处理模块，还用于：在火灾识别结果指示待识别图像对应的位置区域发生火灾的情况下，发出告警信息，告警信息用于指示对待识别图像对应的位置区域进行维护。
在采用硬件的形式实现上述集成的模块的功能的情况下，本申请实施例提供了图7所示的火灾的识别装置。如图7所示，火灾的识别装置70包括：处理器702，总线704。可选的，该火灾的识别装置70还可以包括存储器701；可选地，该火灾的识别装置70还可以包括通信接口703。
处理器702，可以是实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。该处理器702可以是中央处理器，通用处理器，数字信号处理器，专用集成电路，现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器702也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
通信接口703，用于与其他设备通过通信网络连接。该通信网络可以是以太网，无线接入网，无线局域网(wireless local area networks，WLAN)等。
存储器701，可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
作为一种可能的实现方式，存储器701可以独立于处理器702存在，存储器701可以通过总线704与处理器702相连接，用于存储指令或者程序代码。处理器702调用并执行存储器701中存储的指令或程序代码时，能够实现本申请实施例提供的火灾的识别方法。
另一种可能的实现方式中，存储器701也可以和处理器702集成在一起。
总线704，可以是扩展工业标准结构(extended industry standardarchitecture，EISA)总线等。总线704可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质包括计算机执行指令，当计算机执行指令在计算机上运行时，使得计算机执行如上述实施例提供的方法。
本申请实施例还提供一种计算机程序产品，该计算机程序产品可直接加载到存储器中，并含有软件代码，该计算机程序产品经由计算机载入并执行后能够实现上述实施例提供的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (12)
1.一种火灾的识别方法，其特征在于，所述方法包括：
获取待识别图像；
将所述待识别图像输入至卷积神经网络CNN模型，输出特征图集合；
将所述特征图集合输入至协调注意力CA模型，输出所述特征图集合对应的注意力特征数据；
将所述注意力特征数据集合输入至全连接层和软最大Softmax层，输出火灾识别结果，所述火灾识别结果用于指示所述待识别图像对应的位置区域是否发生火灾。
2.根据权利要求1所述的方法，其特征在于，所述卷积神经网络CNN模型包括依次连接的第一特征处理层、第二特征处理层、第三特征处理层以及第四特征处理层；
所述第一特征处理层包括第一卷积层、第一池化层、第一激活ReLU函数以及第一随机失活Dropout层；所述第一卷积层包括16个卷积核，所述第一卷积层中的卷积核的大小均为3×3，所述第一池化层包括1个卷积核，所述第一池化层中的卷积核的大小为2×2；
所述第二特征处理层包括第二卷积层、第二池化层、第二激活ReLU函数以及第二随机失活Dropout层；所述第二卷积层包括32个卷积核，所述第二卷积层中的卷积核的大小均为3×3，所述第二池化层包括1个卷积核，所述第二池化层中的卷积核的大小为2×2；
所述第三特征处理层包括第三卷积层、第三池化层、第三激活ReLU函数以及第三随机失活Dropout层；所述第三卷积层包括32个卷积核，所述第三卷积层中的卷积核的大小均为3×3，所述第三池化层包括1个卷积核，所述第三池化层中的卷积核的大小为2×2；
所述第四特征处理层包括第四卷积层和第四激活ReLU函数；所述第四卷积层包括128个卷积核，所述第四卷积层中的卷积核的大小均为6×6。
3.根据权利要求1所述的方法，其特征在于，所述CA模型包括通道注意力模块和空间注意力模块；所述通道注意力模块用于对所述特征图集合进行通道注意力处理；所述空间注意力模块用于对所述特征图集合进行空间注意力处理。
4.根据权利要求1所述的方法，其特征在于，所述获取待识别图像，包括：
采集待编码视频；
对所述待编码视频进行编码处理，以获取初始图像；
对所述初始图像进行预处理，以获取所述待识别图像，所述预处理包括图像增强处理、平滑滤波处理以及图像锐化处理。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
在所述火灾识别结果指示所述待识别图像对应的位置区域发生火灾的情况下，发出告警信息，所述告警信息用于指示对所述待识别图像对应的位置区域进行维护。
6.一种火灾的识别装置，其特征在于，所述装置包括：
获取模块，用于获取待识别图像；
处理模块，用于将所述待识别图像输入至卷积神经网络CNN模型，输出特征图集合；
处理模块，还用于将所述特征图集合输入至协调注意力CA模型，输出所述特征图集合对应的注意力特征数据；
处理模块，还用于将所述注意力特征数据集合输入至全连接层和软最大Softmax层，输出火灾识别结果，所述火灾识别结果用于指示所述待识别图像对应的位置区域是否发生火灾。
7.根据权利要求6所述的装置，其特征在于，所述卷积神经网络CNN模型包括依次连接的第一特征处理层、第二特征处理层、第三特征处理层以及第四特征处理层；
所述第一特征处理层包括第一卷积层、第一池化层、第一激活ReLU函数以及第一随机失活Dropout层；所述第一卷积层包括16个卷积核，所述第一卷积层中的卷积核的大小均为3×3，所述第一池化层包括1个卷积核，所述第一池化层中的卷积核的大小为2×2；
所述第二特征处理层包括第二卷积层、第二池化层、第二激活ReLU函数以及第二随机失活Dropout层；所述第二卷积层包括32个卷积核，所述第二卷积层中的卷积核的大小均为3×3，所述第二池化层包括1个卷积核，所述第二池化层中的卷积核的大小为2×2；
所述第三特征处理层包括第三卷积层、第三池化层、第三激活ReLU函数以及第三随机失活Dropout层；所述第三卷积层包括32个卷积核，所述第三卷积层中的卷积核的大小均为3×3，所述第三池化层包括1个卷积核，所述第三池化层中的卷积核的大小为2×2；
所述第四特征处理层包括第四卷积层和第四激活ReLU函数；所述第四卷积层包括128个卷积核，所述第四卷积层中的卷积核的大小均为6×6。
8.根据权利要求6所述的装置，其特征在于，所述CA模型包括通道注意力模块和空间注意力模块；所述通道注意力模块用于对所述特征图集合进行通道注意力处理；所述空间注意力模块用于对所述特征图集合进行空间注意力处理。
9.根据权利要求6所述的装置，其特征在于，所述获取模块，具体用于：
采集待编码视频；
对所述待编码视频进行编码处理，以获取初始图像；
对所述初始图像进行预处理，以获取所述待识别图像，所述预处理包括图像增强处理、平滑滤波处理以及图像锐化处理。
10.根据权利要求6-9任一项所述的装置，其特征在于，所述处理模块，还用于：
在所述火灾识别结果指示所述待识别图像对应的位置区域发生火灾的情况下，发出告警信息，所述告警信息用于指示对所述待识别图像对应的位置区域进行维护。
11.一种火灾的识别装置，其特征在于，包括处理器，所述处理器执行计算机程序时实现如权利要求1至5任一项所述的火灾的识别方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机指令；其中，当所述计算机指令被执行时，实现如权利要求1至5任一项所述的火灾的识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311247325.5A CN117253120A (zh) | 2023-09-25 | 2023-09-25 | 火灾的识别方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311247325.5A CN117253120A (zh) | 2023-09-25 | 2023-09-25 | 火灾的识别方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117253120A true CN117253120A (zh) | 2023-12-19 |
Family
ID=89130805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311247325.5A Pending CN117253120A (zh) | 2023-09-25 | 2023-09-25 | 火灾的识别方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117253120A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118279816A (zh) * | 2024-02-27 | 2024-07-02 | 中国矿业大学 | 一种基于深度学习的隧道火灾态势预测方法 |
-
2023
- 2023-09-25 CN CN202311247325.5A patent/CN117253120A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118279816A (zh) * | 2024-02-27 | 2024-07-02 | 中国矿业大学 | 一种基于深度学习的隧道火灾态势预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109299703B (zh) | 对鼠情进行统计的方法、装置以及图像采集设备 | |
| CN113052029A (zh) | 基于动作识别的异常行为监管方法、装置及存储介质 | |
| US11195010B2 (en) | Smoke detection system and method | |
| CN108830208A (zh) | 视频处理方法和装置、电子设备、计算机可读存储介质 | |
| CN113887412B (zh) | 污染排放的检测方法、检测终端、监控系统及存储介质 | |
| CN113012383B (zh) | 火灾检测报警方法、相关系统、相关设备及存储介质 | |
| WO2023025010A1 (zh) | 频闪条带信息识别方法、装置和电子设备 | |
| CN110796580B (zh) | 智能交通系统管理方法及相关产品 | |
| Fawzi et al. | Embedded real-time video surveillance system based on multi-sensor and visual tracking | |
| CN117253120A (zh) | 火灾的识别方法、装置及存储介质 | |
| CN116320292A (zh) | 基于大数据的水利监控控制系统 | |
| KR101236266B1 (ko) | 주차공간정보 관리시스템 | |
| CN110728212B (zh) | 一种基于计算机视觉的道路井盖监控装置及监控方法 | |
| CN116246416A (zh) | 一种用于安防的智能分析预警平台及方法 | |
| CN107547839A (zh) | 基于图像分析的远程控制平台 | |
| CN114627388B (zh) | 输电线路异物检测设备及其异物检测方法 | |
| CN114095725B (zh) | 一种判断摄像头是否异常的方法和系统 | |
| CN112016380A (zh) | 野生动物监测方法及系统 | |
| CN112435240B (zh) | 一种面向工人违规使用手机的深度视觉手机检测系统 | |
| CN113158963B (zh) | 一种高空抛物的检测方法及装置 | |
| JP2006174468A (ja) | 画像の分散解析の方法及び装置 | |
| CN105933676A (zh) | 基于图像分析的远程控制平台 | |
| CN113283273A (zh) | 基于视觉技术的前方障碍物实时检测方法及系统 | |
| CN114241401B (zh) | 异常判定方法、装置、设备、介质及产品 | |
| CN106921846A (zh) | 视频移动终端遗留物检测装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |