CN111046880A - 一种红外目标图像分割方法、系统、电子设备及存储介质 - Google Patents
一种红外目标图像分割方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111046880A CN111046880A CN201911195519.9A CN201911195519A CN111046880A CN 111046880 A CN111046880 A CN 111046880A CN 201911195519 A CN201911195519 A CN 201911195519A CN 111046880 A CN111046880 A CN 111046880A
- Authority
- CN
- China
- Prior art keywords
- infrared target
- infrared
- target image
- candidate frame
- roi
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000003709 image segmentation Methods 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000010586 diagram Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000012986 modification Methods 0.000 claims abstract description 12
- 230000004048 modification Effects 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000009466 transformation Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 238000013434 data augmentation Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000009966 trimming Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 5
- 238000001914 filtration Methods 0.000 abstract 1
- 238000003672 processing method Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 14
- 238000002372 labelling Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种红外目标图像分割方法、系统、电子设备及存储介质，该方法包括：采集多种场景下的红外目标图像作为训练数据集，对红外目标图像进行预处理，对目标实例标注并制作像素级二值掩膜，提取红外目标图像的多级分辨率大小特征图，并逐个像素点预设不同大小的候选框，将候选框输入区域提名网络二值分类和边界框修饰，过滤背景的候选框，对前景候选框进行ROI Align操作得到ROI区域，并对ROI区域进行N类别分类、边界框回归和二值掩膜生成，最后得到训练完的红外目标图像分割模型。通过该方案解决了现有图像处理方法在复杂场景下难以保障实时性的问题，既能适应多种复杂场景下红外图像中的目标检测，同时实现红外图像处理的实时性，降低计算量。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种红外目标图像分割方法、系统、电子设备及存储介质。
背景技术
在计算机视觉领域，目标检测作为经典研究方向，广泛应用于交通监控、图像检索以及人机交互等方面。红外目标检测作为计算机图像处理中的重要分支，适用于目标的颜色、形态与周围环境相似的情况下，可运用于安防监控、军事侦查、夜间行车、航运等领域。红外图像反应的是物体的相对温度信息，受天气因素的影响较小，相对于照明摄像头、夜视等设备红外光谱成像具有探测距离远、探测可靠性高等优势，但红外成像具有分辨率较低，细节模糊等缺点。
目前，常见的可见光目标分割方法中，基于阈值分割的方法极易工程实现，计算量小，但难以处理背景较为复杂，干扰较多的场景，容易存在误检与漏检；而复杂的方法，如卷积神经网络等，可以取得较好的检测结果，但都有计算量大,难以满足实时处理的要求。
因此，有必要提出一种能处理复杂场景，且实现实时处理的红外目标图像分割方法。
发明内容
有鉴于此，本发明实施例提供了一种红外目标图像分割方法，以解决的现有图像分割方法难以在适应复杂应用场景的同时保障图像实时性处理的问题。
在本发明实施例的第一方面，提供了一种红外目标图像分割方法，包括：
根据待检测红外目标特征属性，采集多种场景下的红外目标图像；
对所述红外目标图像进行预处理，通过标注工具标注所述红外目标图像中的目标实例，并制作像素级二值掩膜；
通过预训练的ResNet网络提取所述红外目标图像中的多级分辨率大小特征图，并为所述多级分辨率大小特征图中逐个像素点预设预定数量的不同大小的先验框；
将所述先验框作为候选框输入至区域提名网络进行前景或背景的二值分类和边界框修饰，去除属于背景类别的候选框，并对得到的前景类别的候选框进行ROI Align操作得到ROI区域；
分别对所述ROI区域进行N类别分类、边界框回归和二值掩膜生成，得到训练完的红外目标图像分割模型。
在本发明实施例的第二方面，提供了一种红外目标图像分割系统，包括：
采集模块，用于根据待检测红外目标特征属性，采集多种场景下的红外目标图像；
标注模块，用于对所述红外目标图像进行预处理，通过标注工具标注所述红外目标图像中的目标实例，并制作像素级二值掩膜；
提取模块，用于通过预训练的ResNet网络提取所述红外目标图像中的多级分辨率大小特征图，并为所述多级分辨率大小特征图中逐个像素点预设预定数量的不同大小的先验框；
输入模块，用于将所述先验框作为候选框输入至区域提名网络进行前景或背景的二值分类和边界框修饰，去除属于背景类别的候选框，并对得到的前景类别的候选框进行ROI Align操作得到ROI区域；
处理模块，用于分别对所述ROI区域进行N类别分类、边界框回归和二值掩膜生成，得到训练完的红外目标图像分割模型。
在本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。
在本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。
本发明实施例中，根据待检测红外目标特征属性采集多种场景下的红外目标图像作为训练数据集，对所述红外目标图像进行预处理，采用标注工具进行目标实例标注并制作像素级二值掩膜，通过预训练的ResNet网络提取红外目标图像的多级分辨率大小特征图，并为所述多级分辨率大小特征图中逐个像素点预设一定数量的不同大小的先验框，将所述先验框作为候选框输入至区域提名网络进行前景或背景的二值分类和边界框修饰，过滤背景的候选框，并对提名区域进行对齐操作，得到ROI区域，分别对所述ROI区域进行N类别分类、边界框回归和二值掩膜生成，最后训练得到红外目标图像分割模型以进行红外图像中的目标检测分割，能适应多种复杂场景下红外图像中的目标检测，具有较强的抗干扰能力，同时可以保证检测的准确度，检测识别过程简单快速，解决了现有红外图像目标检测方法在复杂场景下计算过程复杂，能以保障实时性的问题，可以降低计算量，提高红外图像处理分析能力，在复杂场景下实现目标的实时检测，并提供像素级的目标获取分割，具有较高实用价值。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图。
图1为本发明的一个实施例提供的红外目标图像分割方法的流程示意图；
图2为本发明的一个实施例提供的红外目标图像分割系统的结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
本发明的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述，意指覆盖不排他的包含，如包含一系列步骤或单元的过程、方法或系统、设备没有限定于已列出的步骤或单元。
请参阅图1，本发明实施例提供的一种红外图像目标检测方法的流程示意图，包括：
S101、根据待检测红外目标特征属性，采集多种场景下的红外目标图像；
所述待检测红外目标为通过探测到的目标辐射的红外信号检测到的目标物，一般可以为人、车辆、动物等。红外目标的特征属性可以是目标的尺寸大小、辐射强度等。所述多种场景是指多个复杂场景，如人流、车流密集的区域场景，最少可以采集三个复杂场景下的红外目标图像，为提高红外目标检测的准确率，可以增加采集的场景。
可选的，通过红外热成像仪拍摄不同复杂场景下，不同目标的红外图像，并不断改变红外热成像仪的对焦、变焦参数以及曝光参数，形成红外目标图像数据集。
在红外目标数据集中红外图像的拍摄场景、目标、焦距参数、曝光参数等均可以不同，保证数据集的多样性。
S102、对所述红外目标图像进行预处理，通过标注工具标注所述红外目标图像中的目标实例，并制作像素级二值掩膜；
所述预处理过程具体可包括图像旋转平移、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动等方法，对所述红外目标图像进行数据增强。通过LabelImg标注工具对红外目标图像中的目标实例进行标注。
所述二值掩膜指由0和1组成的二进制图像中，对图像局部或去不进行遮挡来控制图像处理过程。具体可以通过指定数据值、数据范围、无限或有限值、感兴趣区及注释文件等来定义图像掩膜。
具体的，分别通过图像旋转平移、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动的方法对所述红外目标图像进行数据增强；基于数据类别不平衡采用类别平衡策略进行数据增广；对所述红外目标图像进行随机排序。
分类学习算法中，不同类别样本比例相差悬殊容易影响分类的准确度，通过数据增广可以使数据集多样化，提高模型泛化能力。数据增强过程中同一目标图片会连续出现，会导致模型在训练过程中对同一目标的特征进行连续学习，出现过拟合现象，本实施例中将数据样本顺序打乱后在进行随机排序，从而在训练过程中达到提升模型性能的作用。
S103、通过预训练的ResNet网络提取所述红外目标图像中的多级分辨率大小特征图，并为所述多级分辨率大小特征图中逐个像素点预设预定数量的不同大小的先验框；
所述ResNet网络模型为一种用于特征提取的残差学习网络，通过ImageNet分类数据集对ResNet网络进行预训练，利用训练后的ResNet网络提取红外目标图像的特征图。
可选的，基于卷积神经网络结构输出包含二分类(前景和背景)和边框修饰回归的二分支结构。具体的，首先利用一个3×3的卷积核在多级分辨率特征图上生成维度为256维或512维长度的全连接特征，然后利用产生的256维或512维的特征生成2个全连接层分支；回归层预测候选框的中心点的坐标和宽高，分类层判定该候选框属于前景还是背景；
RPN(Region Proposal Network，即区域生长网络)网络的损失函数是由softmax损失和regression损失两者按一定权重组成的。Softmax损失通过候选框对应的背景标定结果和预测结果计算得到，regression损失的计算如下；
tx＝(x-xa)/wa,ty＝(y-ya)/ha
tw＝log(w/wa),th＝log(h/ha)
RPN网络的损失函数计算如下：
其中，x,y为RPN网络预测出的候选框中心点坐标，w和h为候选框宽和高，先验框的位置信息为(xa,ya,wa,ha)，真实标注框的位置信息为(x*,y*,w*,h*)。
S104、将所述先验框作为候选框输入至区域提名网络进行前景或背景的二值分类和边界框修饰，去除属于背景类别的候选框，并对得到的前景类别的候选框进行ROI Align操作得到ROI区域；
区域提名网络(或称区域生长网络，即RPN)可以对候选框中对应的目标或非目标进行分类，并对候选框进行边框修饰。其中，分类的候选框可以分为前景候选框和背景候选框。ROI区域即图像处理中的感兴趣区域。
所述ROI Align操作是通过双线性插值确定原图RoI区域中每个像素点的特征值，然后进行最大或平均池化等操作提升精度，解决了池化过程直接采样带来的偏差对齐问题。
具体的，将ROI区域划分成预定数量的bin区域，如7×7个bin区域，在每个bin区域中选择4个采样点，获取距离每个采样点最近的4个特征点的像素值，通过双线性插值确定每个采样点的像素值；
计算每个bin区域的平均或最大池化，生成ROI区域的特征图，即7×7大小的特征图。
S105、分别对所述ROI区域进行N类别分类、边界框回归和二值掩膜生成，得到训练完的红外目标图像分割模型。
重复S104中将候选框输入至区域提名网络，去除属于背景候选框，并获取ROI区域，以及S105中对ROI区域分类、边框回归及二值掩膜生成操作，可以基于红外目标图像数据完成对红外目标图像分割模型的训练，通过所述红外目标图像分割模型可以快速准确的对待检测红外图像进行目标检测分割。
可选的，分类分支结构利用两个全连接层提取全连接特征，分类分支生成N维特征表示N类别得分
回归分支结构利用两个全连接层提取全连接特征，并生成Nnum*4维特征表示生成的边界框坐标；
掩膜分支结构利用五个全卷积层提取卷积特征，掩膜分支生成N*28*28维特征表示生成的N类别掩膜；
其中，损失函数为：
L＝Lcls+Lbox+Lmask
Lcls为分类分支损失，Lbox为回归分支损失，Lmask为掩模分支损失。
通过本实施例提供的方法，可以解决现有红外图像检测方法在复杂场景下计算过程复杂，能以保障实时性的问题，能更好地适应复杂的背景，增强了对地面等景物的抗干扰能力，扩大了该方法的应用范围。
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
图2为本发明实施例提供的一种红外目标图像分割系统的结构示意图，该系统包括：
采集模块210，用于根据待检测红外目标特征属性，采集多种场景下的红外目标图像；
可选的，所述根据待检测红外目标特征属性，采集多种场景下的红外目标图像包括：
通过红外热成像仪拍摄不同复杂场景下，不同目标的红外图像，并不断改变红外热成像仪的对焦、变焦参数以及曝光参数，形成红外目标图像数据集。
标注模块220，用于对所述红外目标图像进行预处理，通过标注工具标注所述红外目标图像中的目标实例，并制作像素级二值掩膜；
可选的，所述对所述红外目标图像进行预处理包括：
分别通过图像旋转平移、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动的方法对所述红外目标图像进行数据增强；
基于数据类别不平衡采用类别平衡策略进行数据增广；
对所述红外目标图像进行随机排序。
提取模块230，用于通过预训练的ResNet网络提取所述红外目标图像中的多级分辨率大小特征图，并为所述多级分辨率大小特征图中逐个像素点预设预定数量的不同大小的先验框；
可选的，所述通过预训练的ResNet网络提取所述红外目标图像中的多级分辨率大小特征图，并为所述多级分辨率大小特征图中逐个像素点预设预定数量的不同大小的先验框包括：
首先用一个3×3的卷积核在多级分辨率特征图上生成维度为256维或512维长度的全连接特征，然后利用产生的256维或512维的特征生成2个全连接层分支；
回归层预测候选框的中心点的坐标和宽高，分类层判定该候选框属于前景还是背景；
RPN网络的损失函数是由softmax损失和regression损失两者按一定权重组成的。Softmax损失通过候选框对应的背景标定结果和预测结果计算得到，regression损失的计算如下；
tx＝(x-xa)/wa,ty＝(y-ya)/ha
tw＝log(w/wa),th＝log(h/ha)
RPN网络的损失函数计算如下：
其中，x,y为RPN网络预测出的候选框中心点坐标，w和h为候选框宽和高，先验框的位置信息为(xa,ya,wa,ha)，真实标注框的位置信息为(x*,y*,w*,h*)。
输入模块240，用于将所述先验框作为候选框输入至区域提名网络进行前景或背景的二值分类和边界框修饰，去除属于背景类别的候选框，并对得到的前景类别的候选框进行ROI Align操作得到ROI区域；
可选的，所述将所述先验框作为候选框输入至区域提名网络进行前景或背景的二值分类和边界框修饰，去除属于背景类别的候选框，并对得到的前景类别的候选框进行ROIAlign操作得到ROI区域包括：
将ROI区域划分成预定数量的bin区域，在每个bin区域中选择4个采样点，获取距离每个采样点最近的4个特征点的像素值，通过双线性插值确定每个采样点的像素值；
计算每个bin区域的平均或最大池化，生成ROI区域的特征图。
处理模块250，用于分别对所述ROI区域进行N类别分类、边界框回归和二值掩膜生成，得到训练完的红外目标图像分割模型。
可选的，所述分别对所述ROI区域进行N类别分类、边界框回归和二值掩膜生成，得到训练完的红外目标图像分割模型包括：
分类分支结构利用两个全连接层提取全连接特征，分类分支生成N维特征表示N类别得分
回归分支结构利用两个全连接层提取全连接特征，并生成Nnum*4维特征表示生成的边界框坐标；
掩膜分支结构利用五个全卷积层提取卷积特征，掩膜分支生成N*28*28维特征表示生成的N类别掩膜；
其中，损失函数为：
L＝Lcls+Lbox+Lmask
Lcls为分类分支损失，Lbox为回归分支损失，Lmask为掩模分支损失。
在本发明的一个实施例中提供了一种用于红外目标图像分割的电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例中S101至S105步骤。
在本发明的一个实施例中还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述实施例提供的红外目标图像分割方法，所述非暂态计算机可读存储介质包括如：ROM/RAM、磁碟、光盘等。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种红外目标图像分割方法，其特征在于，包括：
根据待检测红外目标特征属性，采集多种场景下的红外目标图像；
对所述红外目标图像进行预处理，通过标注工具标注所述红外目标图像中的目标实例，并制作像素级二值掩膜；
通过预训练的ResNet网络提取所述红外目标图像中的多级分辨率大小特征图，并为所述多级分辨率大小特征图中逐个像素点预设预定数量的不同大小的先验框；
将所述先验框作为候选框输入至区域提名网络进行前景或背景的二值分类和边界框修饰，去除属于背景类别的候选框，并对得到的前景类别的候选框进行ROI Align操作得到ROI区域；
分别对所述ROI区域进行N类别分类、边界框回归和二值掩膜生成，得到训练完的红外目标图像分割模型。
2.根据权利要求1所述的方法，其特征在于，所述根据待检测红外目标特征属性，采集多种场景下的红外目标图像包括：
通过红外热成像仪拍摄不同复杂场景下，不同目标的红外图像，并不断改变红外热成像仪的对焦、变焦参数以及曝光参数，形成红外目标图像数据集。
3.根据权利要求1所述的方法，其特征在于，所述对所述红外目标图像进行预处理包括：
分别通过图像旋转平移、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动的方法对所述红外目标图像进行数据增强；
基于数据类别不平衡采用类别平衡策略进行数据增广；
对所述红外目标图像进行随机排序。
4.根据权利要求1所述的方法，其特征在于，所述通过预训练的ResNet网络提取所述红外目标图像中的多级分辨率大小特征图，并为所述多级分辨率大小特征图中逐个像素点预设预定数量的不同大小的先验框包括：
利用一个3×3的卷积核在多级分辨率特征图上生成维度为256维或512维长度的全连接特征，然后利用产生的256维或512维的特征生成2个全连接层分支；
回归层预测候选框的中心点的坐标和宽高，分类层判定该候选框属于前景还是背景；
RPN网络的损失函数是由softmax损失和regression损失两者按一定权重组成的。Softmax损失通过候选框对应的背景标定结果和预测结果计算得到，regression损失的计算如下；
tx＝(x-xa)/wa,ty＝(y-ya)/ha
tw＝log(w/wa),th＝log(h/ha)
RPN网络的损失函数计算如下：
其中，x,y为RPN网络预测出的候选框中心点坐标，w和h为候选框宽和高，先验框的位置信息为(xa,ya,wa,ha)，真实标注框的位置信息为(x*,y*,w*,h*)。
5.根据权利要求1所述的方法，其特征在于，所述将所述先验框作为候选框输入至区域提名网络进行前景或背景的二值分类和边界框修饰，去除属于背景类别的候选框，并对得到的前景类别的候选框进行ROI Align操作得到ROI区域包括：
将ROI区域划分成预定数量的bin区域，在每个bin区域中选择4个采样点，获取距离每个采样点最近的4个特征点的像素值，通过双线性插值确定每个采样点的像素值；
计算每个bin区域的平均或最大池化，生成ROI区域的特征图。
6.根据权利要求1所述的方法，其特征在于，所述分别对所述ROI区域进行N类别分类、边界框回归和二值掩膜生成，得到训练完的红外目标图像分割模型包括：
分类分支结构利用两个全连接层提取全连接特征，分类分支生成N维特征表示N类别得分；
回归分支结构利用两个全连接层提取全连接特征，并生成Nnum*4维特征表示生成的边界框坐标；
掩膜分支结构利用五个全卷积层提取卷积特征，掩膜分支生成N*28*28维特征表示生成的N类别掩膜；
其中，损失函数为：
L＝Lcls+Lbox+Lmask
Lcls为分类分支损失，Lbox为回归分支损失，Lmask为掩模分支损失。
7.一种红外图像目标检测系统，其特征在于，包括：
采集模块，用于根据待检测红外目标特征属性，采集多种场景下的红外目标图像；
标注模块，用于对所述红外目标图像进行预处理，通过标注工具标注所述红外目标图像中的目标实例，并制作像素级二值掩膜；
提取模块，用于通过预训练的ResNet网络提取所述红外目标图像中的多级分辨率大小特征图，并为所述多级分辨率大小特征图中逐个像素点预设预定数量的不同大小的先验框；
输入模块，用于将所述先验框作为候选框输入至区域提名网络进行前景或背景的二值分类和边界框修饰，去除属于背景类别的候选框，并对得到的前景类别的候选框进行ROIAlign操作得到ROI区域；
处理模块，用于分别对所述ROI区域进行N类别分类、边界框回归和二值掩膜生成，得到训练完的红外目标图像分割模型。
8.根据权利要求7所述的系统，其特征在于，所述根据待检测红外目标特征属性，采集多种场景下的红外目标图像包括：
通过红外热成像仪拍摄不同复杂场景下，不同目标的红外图像，并不断改变红外热成像仪的对焦、变焦参数以及曝光参数，形成红外目标图像数据集。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述红外目标图像分割方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述红外目标图像分割方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911195519.9A CN111046880B (zh) | 2019-11-28 | 2019-11-28 | 一种红外目标图像分割方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911195519.9A CN111046880B (zh) | 2019-11-28 | 2019-11-28 | 一种红外目标图像分割方法、系统、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111046880A true CN111046880A (zh) | 2020-04-21 |
| CN111046880B CN111046880B (zh) | 2023-12-26 |
Family
ID=70234017
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911195519.9A Active CN111046880B (zh) | 2019-11-28 | 2019-11-28 | 一种红外目标图像分割方法、系统、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111046880B (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111597920A (zh) * | 2020-04-27 | 2020-08-28 | 东南大学 | 一种自然场景下的全卷积单阶段的人体实例分割方法 |
| CN111598951A (zh) * | 2020-05-18 | 2020-08-28 | 清华大学 | 一种识别空间目标的方法、装置和存储介质 |
| CN111627033A (zh) * | 2020-05-30 | 2020-09-04 | 郑州大学 | 一种难样本实例分割方法、设备及计算机可读存储介质 |
| CN111627029A (zh) * | 2020-05-28 | 2020-09-04 | 北京字节跳动网络技术有限公司 | 图像实例分割结果的获取方法及装置 |
| CN111652930A (zh) * | 2020-06-04 | 2020-09-11 | 上海媒智科技有限公司 | 一种图像目标检测方法、系统及设备 |
| CN112150471A (zh) * | 2020-09-23 | 2020-12-29 | 创新奇智(上海)科技有限公司 | 基于少样本的语义分割方法及装置、电子设备、存储介质 |
| CN112200115A (zh) * | 2020-10-21 | 2021-01-08 | 平安国际智慧城市科技股份有限公司 | 人脸识别训练方法、识别方法、装置、设备及存储介质 |
| CN112307991A (zh) * | 2020-11-04 | 2021-02-02 | 北京临近空间飞行器系统工程研究所 | 一种图像识别方法、装置及存储介质 |
| CN112614136A (zh) * | 2020-12-31 | 2021-04-06 | 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） | 一种红外小目标实时实例分割方法及装置 |
| CN112907616A (zh) * | 2021-04-27 | 2021-06-04 | 浙江大学 | 一种基于热成像背景滤除的行人检测方法 |
| CN113177947A (zh) * | 2021-04-06 | 2021-07-27 | 广东省科学院智能制造研究所 | 基于多模块卷积神经网络的复杂环境目标分割方法及装置 |
| CN114034390A (zh) * | 2021-11-08 | 2022-02-11 | 山东大学 | 一种基于红外检测的设备温度异常检测系统 |
| CN114332566A (zh) * | 2021-12-28 | 2022-04-12 | 中国航天空气动力技术研究院 | 水下图像的目标检测方法、系统及装置 |
| CN114693918A (zh) * | 2022-03-30 | 2022-07-01 | 北京沃东天骏信息技术有限公司 | 一种图像识别方法及装置、计算机可读存储介质 |
| CN114782460A (zh) * | 2022-06-21 | 2022-07-22 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像分割模型的生成方法及图像的分割方法、计算机设备 |
| CN116486259A (zh) * | 2023-04-04 | 2023-07-25 | 自然资源部国土卫星遥感应用中心 | 遥感图像中的点目标的提取方法和装置 |
| CN117132777A (zh) * | 2023-10-26 | 2023-11-28 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、电子设备及存储介质 |
| CN118351189A (zh) * | 2024-06-13 | 2024-07-16 | 速度科技股份有限公司 | 一种基于精细化分割的空间测距方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170124415A1 (en) * | 2015-11-04 | 2017-05-04 | Nec Laboratories America, Inc. | Subcategory-aware convolutional neural networks for object detection |
| CN107480730A (zh) * | 2017-09-05 | 2017-12-15 | 广州供电局有限公司 | 电力设备识别模型构建方法和系统、电力设备的识别方法 |
| CN108629354A (zh) * | 2017-03-17 | 2018-10-09 | 杭州海康威视数字技术股份有限公司 | 目标检测方法及装置 |
| CN109584248A (zh) * | 2018-11-20 | 2019-04-05 | 西安电子科技大学 | 基于特征融合和稠密连接网络的红外面目标实例分割方法 |
| CN109711295A (zh) * | 2018-12-14 | 2019-05-03 | 北京航空航天大学 | 一种光学遥感图像近岸舰船检测方法 |
-
2019
- 2019-11-28 CN CN201911195519.9A patent/CN111046880B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170124415A1 (en) * | 2015-11-04 | 2017-05-04 | Nec Laboratories America, Inc. | Subcategory-aware convolutional neural networks for object detection |
| CN108629354A (zh) * | 2017-03-17 | 2018-10-09 | 杭州海康威视数字技术股份有限公司 | 目标检测方法及装置 |
| CN107480730A (zh) * | 2017-09-05 | 2017-12-15 | 广州供电局有限公司 | 电力设备识别模型构建方法和系统、电力设备的识别方法 |
| CN109584248A (zh) * | 2018-11-20 | 2019-04-05 | 西安电子科技大学 | 基于特征融合和稠密连接网络的红外面目标实例分割方法 |
| CN109711295A (zh) * | 2018-12-14 | 2019-05-03 | 北京航空航天大学 | 一种光学遥感图像近岸舰船检测方法 |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111597920A (zh) * | 2020-04-27 | 2020-08-28 | 东南大学 | 一种自然场景下的全卷积单阶段的人体实例分割方法 |
| CN111598951A (zh) * | 2020-05-18 | 2020-08-28 | 清华大学 | 一种识别空间目标的方法、装置和存储介质 |
| CN111598951B (zh) * | 2020-05-18 | 2022-09-30 | 清华大学 | 一种识别空间目标的方法、装置和存储介质 |
| CN111627029A (zh) * | 2020-05-28 | 2020-09-04 | 北京字节跳动网络技术有限公司 | 图像实例分割结果的获取方法及装置 |
| CN111627033B (zh) * | 2020-05-30 | 2023-10-20 | 郑州大学 | 一种难样本实例分割方法、设备及计算机可读存储介质 |
| CN111627033A (zh) * | 2020-05-30 | 2020-09-04 | 郑州大学 | 一种难样本实例分割方法、设备及计算机可读存储介质 |
| CN111652930A (zh) * | 2020-06-04 | 2020-09-11 | 上海媒智科技有限公司 | 一种图像目标检测方法、系统及设备 |
| CN111652930B (zh) * | 2020-06-04 | 2024-02-27 | 上海媒智科技有限公司 | 一种图像目标检测方法、系统及设备 |
| CN112150471A (zh) * | 2020-09-23 | 2020-12-29 | 创新奇智(上海)科技有限公司 | 基于少样本的语义分割方法及装置、电子设备、存储介质 |
| CN112150471B (zh) * | 2020-09-23 | 2023-09-05 | 创新奇智(上海)科技有限公司 | 基于少样本的语义分割方法及装置、电子设备、存储介质 |
| CN112200115A (zh) * | 2020-10-21 | 2021-01-08 | 平安国际智慧城市科技股份有限公司 | 人脸识别训练方法、识别方法、装置、设备及存储介质 |
| CN112200115B (zh) * | 2020-10-21 | 2024-04-19 | 平安国际智慧城市科技股份有限公司 | 人脸识别训练方法、识别方法、装置、设备及存储介质 |
| CN112307991A (zh) * | 2020-11-04 | 2021-02-02 | 北京临近空间飞行器系统工程研究所 | 一种图像识别方法、装置及存储介质 |
| CN112614136B (zh) * | 2020-12-31 | 2024-05-14 | 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） | 一种红外小目标实时实例分割方法及装置 |
| CN112614136A (zh) * | 2020-12-31 | 2021-04-06 | 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） | 一种红外小目标实时实例分割方法及装置 |
| CN113177947B (zh) * | 2021-04-06 | 2024-04-26 | 广东省科学院智能制造研究所 | 基于多模块卷积神经网络的复杂环境目标分割方法及装置 |
| CN113177947A (zh) * | 2021-04-06 | 2021-07-27 | 广东省科学院智能制造研究所 | 基于多模块卷积神经网络的复杂环境目标分割方法及装置 |
| CN112907616B (zh) * | 2021-04-27 | 2022-05-03 | 浙江大学 | 一种基于热成像背景滤除的行人检测方法 |
| CN112907616A (zh) * | 2021-04-27 | 2021-06-04 | 浙江大学 | 一种基于热成像背景滤除的行人检测方法 |
| CN114034390A (zh) * | 2021-11-08 | 2022-02-11 | 山东大学 | 一种基于红外检测的设备温度异常检测系统 |
| CN114034390B (zh) * | 2021-11-08 | 2023-11-03 | 山东大学 | 一种基于红外检测的设备温度异常检测系统 |
| CN114332566A (zh) * | 2021-12-28 | 2022-04-12 | 中国航天空气动力技术研究院 | 水下图像的目标检测方法、系统及装置 |
| CN114693918A (zh) * | 2022-03-30 | 2022-07-01 | 北京沃东天骏信息技术有限公司 | 一种图像识别方法及装置、计算机可读存储介质 |
| CN114782460A (zh) * | 2022-06-21 | 2022-07-22 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像分割模型的生成方法及图像的分割方法、计算机设备 |
| CN116486259A (zh) * | 2023-04-04 | 2023-07-25 | 自然资源部国土卫星遥感应用中心 | 遥感图像中的点目标的提取方法和装置 |
| CN116486259B (zh) * | 2023-04-04 | 2024-06-04 | 自然资源部国土卫星遥感应用中心 | 遥感图像中的点目标的提取方法和装置 |
| CN117132777B (zh) * | 2023-10-26 | 2024-03-22 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、电子设备及存储介质 |
| CN117132777A (zh) * | 2023-10-26 | 2023-11-28 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、电子设备及存储介质 |
| CN118351189A (zh) * | 2024-06-13 | 2024-07-16 | 速度科技股份有限公司 | 一种基于精细化分割的空间测距方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111046880B (zh) | 2023-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111046880B (zh) | 一种红外目标图像分割方法、系统、电子设备及存储介质 | |
| Bhalla et al. | A fuzzy convolutional neural network for enhancing multi-focus image fusion | |
| CN113065558A (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| CN108898065B (zh) | 候选区快速筛选与尺度自适应的深度网络舰船目标检测方法 | |
| CN112598713A (zh) | 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法 | |
| CN105930822A (zh) | 一种人脸抓拍方法及系统 | |
| CN112614136B (zh) | 一种红外小目标实时实例分割方法及装置 | |
| CN109034184B (zh) | 一种基于深度学习的均压环检测识别方法 | |
| CN104299006A (zh) | 一种基于深度神经网络的车牌识别方法 | |
| CN110334703B (zh) | 一种昼夜图像中的船舶检测和识别方法 | |
| CN113435407B (zh) | 一种输电系统的小目标识别方法及装置 | |
| CN113223614A (zh) | 一种染色体核型分析方法、系统、终端设备和存储介质 | |
| CN109977899B (zh) | 一种物品识别的训练、推理以及增加新种类的方法和系统 | |
| CN111695373A (zh) | 斑马线的定位方法、系统、介质及设备 | |
| CN113177956B (zh) | 一种面向无人机遥感影像的语义分割方法 | |
| CN113569981A (zh) | 一种基于单阶段目标检测网络的电力巡检鸟窝检测方法 | |
| Aarathi et al. | Vehicle color recognition using deep learning for hazy images | |
| CN109284752A (zh) | 一种车辆的快速检测方法 | |
| CN111832508A (zh) | 基于die_ga的低照度目标检测方法 | |
| CN116612272A (zh) | 一种图像处理智能数字化的检测系统及其检测方法 | |
| CN114140698A (zh) | 一种基于FasterR-CNN的水系信息提取算法 | |
| CN113963178A (zh) | 地空背景下红外弱小目标检测方法、装置、设备及介质 | |
| Kiruthika Devi et al. | A deep learning-based residual network model for traffic sign detection and classification | |
| CN117058657B (zh) | 汽车可行驶区域识别方法和装置 | |
| CN111476129A (zh) | 一种基于深度学习的土壤杂质检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |