CN111753597A - 基于图像识别的喷溅预警系统 - Google Patents

Abstract

本申请公开了一种基于图像识别的喷溅预警系统。该系统包括：图像采集模块：设置在冶炼设备的作业现场，用于拍摄作业现场的视频，并提取作业现场图像；数据传输模块：与图像采集模块连接；数据存储模块，用于存储早期喷溅场景图像，用于训练卷积神经网络；数据处理模块：分别与数据传输模块和数据存储模块连接，用于利用卷积神经网络对作业现场图像进行分析，得到喷溅事故发生的概率，在概率大于或等于第一阈值的情况下，生成报警启动信息；报警模块：接收数据处理模块发送的报警启动信息，生成报警信息。该系统能够对作业现场的情况进行自动监控，通过卷积神经网络识别喷溅早期场景并及时通知工作人员，监控范围广，降低了人力成本。

Description

基于图像识别的喷溅预警系统

技术领域

本申请涉及工业视频监控领域，特别是涉及一种基于图像识别的喷溅预警系统。

背景技术

在冶金生产过程中，熔池内碳氧反应不均衡或遇水常常产生大量气体，导致熔融金属外溢，进而发生喷溅事故，造成人员伤亡及财产损失。传统的监控方式是采用人员在作业现场进行监管，一旦发现早期喷溅现象就启动报警。但是，该方法监测预警效率低下、危险性高，并且，随着企业生产规模的不断扩大，需要更多人员进行现场监管才能实现全面的监督。因此，该方法已经不能满足当今生产安全的需求。

发明内容

本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。

根据本申请的一个方面，提供了一种基于图像识别的喷溅预警系统，包括：

图像采集模块：设置在冶炼设备的作业现场，用于拍摄作业现场的视频，并从所述视频中提取作业现场图像；

数据传输模块：与所述图像采集模块连接；

数据存储模块，用于存储早期喷溅场景图像，其中，所述早期喷溅场景图像用于训练卷积神经网络；

数据处理模块：分别与所述数据传输模块和所述数据存储模块连接，用于利用所述卷积神经网络对所述作业现场图像进行分析，得到喷溅事故发生的概率，在所述概率大于或等于第一阈值的情况下，生成报警启动信息；

报警模块：接收所述数据处理模块发送的报警启动信息，生成报警信息。

该系统能够通过视频监控和图像分析的方式对作业现场的情况进行监控，通过卷积神经网络自动识别喷溅事故前的场景图像，从而能够及时通知工作人员，防止出现生产安全事故，该系统采用自动化的管理方式，监控范围广，降低了人力成本。

可选地，所述图像采集模块包括：便携式图像采集装置和/或设置在作业现场周围的图像采集装置。

可选地，该系统还包括：

喷溅事故确认模块，与所述数据处理模块连接，用于在喷溅事故发生后，响应于用户对所述报警信息的确认生成用户确认信息。

可选地，所述数据处理模块还用于：接收所述用户确认信息，将所述作业现场图像存储在所述数据存储模块中作为早期喷溅场景图像。

可选地，该系统还包括：

控制模块，分别与所述数据处理模块和喷溅防控设备连接，用于接收所述数据处理模块发送的所述报警启动信息，基于所述报警启动信息生成控制命令，基于所述控制命令启动所述喷溅防控设备。

可选地，所述卷积神经网络模型包括：

依次连接的输入层、判断层、全连接层和输出层，其中，所述输入层的输入是作业现场图像，所述判断层包括交替连接的卷积层和池化层，所述输出层的输出为该作业现场图像中喷溅事故发生的概率。

可选地，所述输入层将该作业现场图像分成第一通道、第二通道和第三通道，将所述第一通道、所述第二通道和所述第三通道均输入到所述判断层。

可选地，所述判断层：包括四个相同的子网络，所述子网络包括依次连接的第一卷积层、第一池化层、第二卷积层和第二池化层，所述第一通道、所述第二通道和所述第三通道的输出端分别与四个子网络的第一卷积层的输入端连接。

可选地，所述早期喷溅场景图像包括：发生喷溅事故前的作业现场图像以及该作业现场图像的衍生图像，所述衍生图像包括通过对所述发生喷溅事故前的作业现场图像进行数据增强和/或几何变换后得到的图像。

可选地，对所述卷积神经网络模型采用以下方法进行训练：

图像分割步骤：基于阈值分割方法对所述早期喷溅场景图像进行分割，得到喷溅早期的火焰图像；

无监督特征提取步骤：对所述火焰图像进行无监督的特征提取，得到第二数量的特征；

训练步骤：将第二数量的特征对所述卷积神经网络进行训练。

根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解的是，这些附图未必是按比例绘制的。在附图中：

图1是根据本申请一个实施例的基于图像识别的喷溅预警系统的示意性框图；

图2是根据本申请另一个实施例的基于图像识别的喷溅预警系统的示意性框图；

图3是根据本申请基于图像识别的喷溅预警系统的卷积神经网络的示意性框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请的实施例提供了一种基于图像识别的喷溅预警系统。图1是根据本申请一个实施例的基于图像识别的喷溅预警系统的示意性框图。该系统可以包括：

图像采集模块100：设置在冶炼设备的作业现场，用于拍摄作业现场的视频，并从所述视频中提取作业现场图像。图像采集模块可以为一个，也可以为多个。提取方式可以定期从视频中进行采样，以提取视频帧，例如，每隔10秒采样一次。这样可以减少对图像分析的数量，减小数据处理量，减轻服务器压力。

数据传输模块200：与所述图像采集模块连接。

数据存储模块300，用于存储早期喷溅场景图像，其中，所述早期喷溅场景图像用于训练卷积神经网络。

数据处理模块400：分别与所述数据传输模块和所述数据存储模块连接，用于利用所述卷积神经网络对所述作业现场图像进行分析，得到喷溅事故发生的概率，在所述概率大于或等于第一阈值的情况下，生成报警启动信息。

报警模块500：接收所述数据处理模块发送的报警启动信息，生成报警信息。

该系统能够通过视频监控和图像分析的方式对作业现场的情况进行监控，通过卷积神经网络自动识别发生喷溅事故前的场景图像，从而能够及时通知工作人员，防止出现生产安全事故，该系统采用自动化的管理方式，监控范围广，降低了人力成本。

其中，冶炼设备可以是冶金设备，例如转炉等。所述图像采集模块包括：便携式图像采集装置和/或设置在作业现场周围的图像采集装置。可选地，图像采集装置为摄像头。针对同一转炉平台作业场景，可以冶炼设备周围固定设置三个图像采集装置，例如，可以采用三点式方法布局图像采集装置，以便从多个角度采集转炉火焰图像信息。便携式图像采集装置可设置在作业人员的服装上，灵活采集转炉火焰的图像信息。

工作现场可以包括多个冶炼设备，对于不同冶炼设备，设置不同的图像采集模块。图像采集模块具有唯一标识，并且与该冶炼设备关联。

所述数据传输模块可以采用WIFI、移动网络、局域网络等方式搭建厂区局域网络，实现图像采集模块、数据存储模块、数据处理模块以及报警模块等模块之间的数据传输。

可选地，数据存储模块300和数据处理模块400可以设置在云计算服务器中。由图像采集模块获取的图像信息经数据传输模块传输于数据存储模块与数据处理模块，采用云计算方法将实施冶炼设备图像信息与数据存储模块中原有数据信息进行匹配分析，计算事故发生概率。

数据处理模块400还可以和调度中心连接，调度中心用于在接收到报警启动信息的情况下通知相关人员并启动应急预案和防护措施。早期喷溅事故是指喷溅事故发生的早期时刻。例如，冶炼设备中出现火焰，如亮白色火焰。根据经验，在这种情况下该冶炼设备马上会发生喷溅事故，此时通过图像检测和识别，一方面能够提早采取防控措施，另一方面为相关人员应急逃生进行提示。

当数据处理模块400检测到喷溅事故发生概率大于或等于第一阈值，例如，60％，将预警信息通过数据传输模块传输至报警模块及调度中心。

在一个可选实施方案中，报警模块500可以是硬件设备，例如，固定在作业现场或监控平台的报警器、设置在作业人员或监控管理人员的服装上的蜂鸣器，也可以是手环或移动终端等便携设备。在另一个可选实施方案中，报警模块500也可以是软件设备，例如，设置在监控管理人员的移动设备中的基于图像识别的喷溅预警应用程序(APP)的一个功能模块。其中，监控平台用于对整个作业现场进行监控，或者对作业现场的所有图像采集模块进行监控。

因此，本申请的报警方式可以分为两种，一种为防爆声光报警器，采用多个报警器设置于冶炼设备上或者作业场所内。另外一种为语音报警装置，提示事故发生概率及事故防控措施，例如，设置在便携设备上或者佩戴于相关人员的服装上。

报警模块500还可以与显示模块连接，显示模块用于显示喷溅事故发生的概率及相应的防控措施。喷溅事故可以包括高温喷溅、低温喷溅等情况。

该系统还可以包括：喷溅事故确认模块，与所述数据处理模块连接，用于在喷溅事故发生后，响应于用户对所述报警信息的确认生成用户确认信息。喷溅事故确认模块还可以用于在喷溅事故发生后，响应于用户对所述报警信息的否认生成用户否认信息。喷溅事故确认模块可以设置在监控平台，也可以设置在作业人员或监控管理人员的服装上、手环、移动终端。喷溅事故确认模块可以是通过硬件实现的按键，也可以是程序中的一个按钮。在报警模块发出报警信息后，相关人员通过喷溅事故确认模块对喷溅事故的预测结果进行确认。设置喷溅事故确认模块，可以为卷积神经网络提供更多的样本数据，提高卷积神经网络模型的准确性。

在相关人员进行确认的情况下，所述数据处理模块还用于：接收所述用户确认信息，将所述作业现场图像存储在所述数据存储模块中作为早期喷溅场景图像。经过相关人员确认的图像可以作为数据存储模块中的正样本。

可选地，所述数据处理模块还用于：接收所述用户确认信息，将所述作业现场图像存储在所述数据存储模块中作为早期喷溅场景图像。经过相关人员确认的图像可以作为数据存储模块中的正样本。可选地，如果喷溅事故没有发生，所述数据处理模块还用于：接收所述用户否认信息，将所述作业现场图像存储在所述数据存储模块中作为早期喷溅场景图像。经过相关人员否认的图像可以作为数据存储模块中的负样本。

可选地，该系统还包括：控制模块，分别与所述数据处理模块和喷溅防控设备连接，用于响应于所述报警启动信息生成控制命令，基于所述控制命令启动所述喷溅防控设备。其中，控制模块可以设置在喷溅防控设备内部，或者可以设置在监控平台或调度中心。

高温喷溅防控措施包括：针对具体情况采取必要的措施，或提枪促使FeO增加来加速化渣，或加冷料来降温，或两者兼用来防止和减少喷溅的发生。低温喷溅防控措施包括：及时降低枪位以求快速升温及降低FeO含量，同时延迟加入冷料，预防喷溅发生。在这两种情况下，控制模块可以控制提枪装置、加料装置中的一个或多个。

图2是根据本申请另一个实施例的基于图像识别的喷溅预警系统的示意性框图。在一个可选实施方案中，本申请的基于图像识别的喷溅预警系统可以包括：

第一图像采集模块：设置在冶炼设备的作业现场，用于拍摄作业现场的视频，并从所述视频中提取作业现场图像；

数据传输模块：与所述图像采集模块连接；

云计算服务器，与数据传输模块连接，其中，云计算服务器可以包括数据存储模块和数据处理模块，其中，数据存储模块用于存储早期喷溅场景图像，用于训练卷积神经网络；数据处理模块：分别与所述数据传输模块和所述数据存储模块连接，用于利用所述卷积神经网络对所述作业现场图像进行分析，得到喷溅事故发生的概率，在所述概率大于或等于第一阈值的情况下，生成报警启动信息；

便携终端，与云计算服务器连接，包括：第二图像采集模块、第一喷溅事故确认模块、第一报警模块和第一显示模块，第一报警模块分别与第二图像采集模块、第一喷溅事故确认模块和第一显示模块连接，第一报警模块与所述数据处理模块连接，第一报警模块包括第一处理器。第一报警模块用于接收所述数据处理模块发送的报警启动信息，生成第一报警信息。第一报警信息可以是声音信息和/或光信息。第一显示模块用于显示喷溅事故发生的概率及相应的防控措施。便携终端还包括第一喷溅事故否认模块，与第一报警模块连接。相关人员对喷溅事故的确认结果和否认结果传送回云计算服务器的数据处理模块。第二图像采集模块：用于拍摄作业现场的视频，并从所述视频中提取作业现场图像。第二图像采集模块可以设置在便携终端的本体中，也可以设置为便携终端的本体分开，如在图2所示。实际中，作业人员可以仅仅佩戴第二图像采集模块，也可以携带或佩戴有便携终端。

监控平台，与图像采集模块和云计算服务器连接，包括第二喷溅事故确认模块、第二报警模块和第二显示模块，第二报警模块分别与第二喷溅事故确认模块、第二显示模块和图像采集模块连接，第二报警模块与所述数据处理模块连接，第二报警模块包括第二处理器。第二报警模块用于接收所述数据处理模块发送的报警启动信息，生成第二报警信息。第二报警信息可以是声音信息和/或光信息。第二显示模块用于显示作业现场图像和/或视频，以及显示喷溅事故发生的概率及相应的防控措施。监控平台还包括第二喷溅事故否认模块，与第二报警模块连接。第二喷溅事故确认模块和第二喷溅事故否认模块可以是按钮或按键。监控平台可以是计算机，第二显示模块可以是计算机显示屏。相关人员对喷溅事故的确认结果和否认结果传送回云计算服务器的数据处理模块。第二报警模块可以与设置在监控平台所在空间或设备中，也可以设置在作业现场的某个位置，例如，墙壁或桁架上。

调度中心，与云计算服务器连接，用于在接收到报警启动信息的情况下通知相关人员并启动应急预案和防护措施。调度中心还与监控平台和/或便携终端连接，用于向监控平台和/或便携终端发送指令。

控制模块，分别与所述数据处理模块和喷溅防控设备连接，用于接收所述数据处理模块发送的所述报警启动信息，基于所述报警启动信息生成控制命令，基于所述控制命令启动所述喷溅防控设备。

图3是根据本申请基于图像识别的喷溅预警系统的卷积神经网络的示意性框图。在一个可选实施方案中，所述卷积神经网络模型可以包括：

依次连接的输入层、判断层、全连接层和输出层，其中，所述输入层的输入是作业现场图像，所述判断层包括交替连接的卷积层和池化层，所述输出层的输出为该作业现场图像中喷溅事故发生的概率。

所述输入层将该作业现场图像分成第一通道、第二通道和第三通道，将所述第一通道、所述第二通道和所述第三通道均输入到所述判断层。第一通道、第二通道和第三通道可以分别是R通道、G通道和B通道。

所述判断层：包括四个相同的子网络，所述子网络包括依次连接的第一卷积层、第一池化层、第二卷积层和第二池化层，所述第一通道、所述第二通道和所述第三通道的输出端分别与四个子网络的第一卷积层的输入端连接。

全连接层可以为两层，第一全连接层和第二全连接层。第一全连接层为8个节点，每个第二池化层分出两个输出端，分别与第一全连接层的两个节点连接；对于第二全连接层的每一个节点，第一全连接层的8个节点均与其连接。在判断时，可以将作业现场图像进行分割，例如分成3*3个子图像，将每个子图像依次输入到卷积神经网络中进行判断。图像分割的目的在于由于早期喷溅火焰较小，如果将整个图像输入到卷积神经网络中，容易使得火焰特征淹没在背景图像中，因此影响判断的准确性。将图像进行分割，能够减少火焰所在子图像中背景对火焰特征的干扰。

在一个可选实施方案中，所述卷积神经网络模型的数学表示如下：

卷积神经网络的输入为作业现场图像。对于卷积层，用F_i表示卷积神经网络第i层的特征图：

其中：W_i表示第i层卷积核的权值向量；运算符号

代表卷积核与第i-1层图像或者特征图进行卷积操作，然后与第i层的偏移量b_i相加，最终通过非线性的激励函数f(x)得到第i层的特征图。

对于池化层，对特征图进行降维与保持特征的尺度不变特性。对F_i进行池化：

F_i＝pooling(F_i-1)

本申请利用2个卷积层和2个池化层的交替传递，并且采用全连接网络对针对提取的特征进行分类或打分，得到基于输入的作业现场图像的概率分布P(i)：

P(i)＝P(C＝C_i|F₀；(W,b))

其中，C_i表示第i个分类类别，W表示权值向量；b表示偏移量；F₀表示作业现场图像的特征图。

基于该早期喷溅场景图像的集合对所述卷积神经网络模型训练时。所述早期喷溅场景图像可以包括：发生喷溅事故前的作业现场图像以及该作业现场图像的衍生图像，所述衍生图像包括通过对所述发生喷溅事故前的作业现场图像进行数据增强和/或几何变换后得到的图像。例如，Keras是一种高级神经网络API，可以通过Keras的一些功能函数基于作业现场图像生成衍生图像。在一个可选实施方案中，卷积神经网络模型可以经过200个转炉平台兑铁水和加入废钢过程中的早期喷溅图像样本进行训练，训练样本包括高温引起喷溅的早期图像(火焰白亮、浓厚不透明)和低温引起喷溅的早期图像(暗青、稀薄透明)两种，各100个样本。

对所述卷积神经网络模型采用以下方法进行训练：

图像分割步骤：基于阈值分割方法对所述早期喷溅场景图像进行分割，得到喷溅事故早期的火焰图像。

无监督特征提取步骤：对所述火焰图像进行无监督的特征提取，得到第二数量的特征。例如，第二数量的特征为三个，例如，可以分别为R、G、B三个通道的特征。

训练步骤：将第二数量的特征对所述卷积神经网络进行训练。所述卷积神经网络训练过程包括前向传播阶段和反向传播阶段。即利用链式求导计算损失函数对每个权重的偏导数(梯度)，然后根据梯度下降公式更新权重。例如，采用xavier初始化方法对网络进行权值初始化，卷积神经网络前向传播，计算误差，卷积神经网络反向传播，权值更新，误差率达0.03以下，训练结束。

本申请采用20个高温引起喷溅的早期图像样本、20个低温引起喷溅的早期图像样本以及40个转炉平台兑铁水和加入废钢正常作业图像样本对卷积神经网络模型进行测试，准确率达98.5％。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种基于图像识别的喷溅预警系统，包括：

图像采集模块：设置在冶炼设备的作业现场，用于拍摄作业现场的视频，并从所述视频中提取作业现场图像；

数据传输模块：与所述图像采集模块连接；

数据存储模块，用于存储早期喷溅场景图像，其中，所述早期喷溅场景图像用于训练卷积神经网络；

数据处理模块：分别与所述数据传输模块和所述数据存储模块连接，用于利用所述卷积神经网络对所述作业现场图像进行分析，得到喷溅事故发生的概率，在所述概率大于或等于第一阈值的情况下，生成报警启动信息；和

报警模块：用于接收所述数据处理模块发送的报警启动信息，生成报警信息。

2.根据权利要求1所述的系统，其特征在于，所述图像采集模块包括：便携式图像采集装置和/或设置在作业现场周围的图像采集装置。

3.根据权利要求1所述的系统，其特征在于，该系统还包括：

喷溅事故确认模块，与所述数据处理模块连接，用于在喷溅事故发生后，响应于用户对所述报警信息的确认生成用户确认信息。

4.根据权利要求3所述的系统，其特征在于，所述数据处理模块还用于：接收所述用户确认信息，将所述作业现场图像存储在所述数据存储模块中作为早期喷溅场景图像。

5.根据权利要求3所述的系统，其特征在于，该系统还包括：

控制模块，分别与所述数据处理模块和喷溅防控设备连接，用于接收所述数据处理模块发送的所述报警启动信息，基于所述报警启动信息生成控制命令，基于所述控制命令启动所述喷溅防控设备。

6.根据权利要求1所述的系统，其特征在于，所述卷积神经网络模型包括：

依次连接的输入层、判断层、全连接层和输出层，其中，所述输入层的输入是作业现场图像，所述判断层包括交替连接的卷积层和池化层，所述输出层的输出为该作业现场图像中喷溅事故发生的概率。

7.根据权利要求6所述的系统，其特征在于，所述输入层将该作业现场图像分成第一通道、第二通道和第三通道，将所述第一通道、所述第二通道和所述第三通道均输入到所述判断层。

8.根据权利要求6所述的系统，其特征在于，所述判断层：包括四个相同的子网络，所述子网络包括依次连接的第一卷积层、第一池化层、第二卷积层和第二池化层，所述第一通道、所述第二通道和所述第三通道的输出端分别与四个子网络的第一卷积层的输入端连接。

9.根据权利要求1所述的系统，其特征在于，所述早期喷溅场景图像包括：发生喷溅事故前的作业现场图像以及该作业现场图像的衍生图像，所述衍生图像包括通过对所述发生喷溅事故前的作业现场图像进行数据增强和/或几何变换后得到的图像。

10.根据权利要求1至9中任一项所述的系统，其特征在于，对所述卷积神经网络模型采用以下方法进行训练：

图像分割步骤：基于阈值分割方法对所述早期喷溅场景图像进行分割，得到喷溅早期的火焰图像；

无监督特征提取步骤：对所述火焰图像进行无监督的特征提取，得到第二数量的特征；和

训练步骤：将第二数量的特征对所述卷积神经网络进行训练。

Images