Nothing Special   »   [go: up one dir, main page]

CN112507777A - 一种基于深度学习的光学遥感图像舰船检测与分割方法 - Google Patents

一种基于深度学习的光学遥感图像舰船检测与分割方法 Download PDF

Info

Publication number
CN112507777A
CN112507777A CN202011080445.7A CN202011080445A CN112507777A CN 112507777 A CN112507777 A CN 112507777A CN 202011080445 A CN202011080445 A CN 202011080445A CN 112507777 A CN112507777 A CN 112507777A
Authority
CN
China
Prior art keywords
ship
detection
resolution
mask
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011080445.7A
Other languages
English (en)
Inventor
黄波
吴了泥
何伯勇
林宇兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202011080445.7A priority Critical patent/CN112507777A/zh
Publication of CN112507777A publication Critical patent/CN112507777A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的光学遥感图像舰船检测与分割方法，其包括以下步骤：步骤一、读入图像数据，根据迁移学习方法对图像进行预处理；步骤二、搭建多分辨率并行卷积的骨干网络HRFPN提取图像特征图；步骤三、基于RPN生成舰船候选区域；步骤四、借鉴多任务级联检测的思想，添加语义分割分支，获取舰船的分类概率值、定位框和掩膜，并计算损失函数；步骤五、利用NMS方法得到精炼的检测结果。本发明的优点：本发明在深度神经网络目标检测和分割的基础上添加多分辨率并行卷积模块和多任务级联检测模块，有效的提高了光学遥感图像舰船检测和分割的精度，特别地，本发明对于小目标有较好的检测能力。

Description

一种基于深度学习的光学遥感图像舰船检测与分割方法
技术领域
本发明涉及一种基于深度学习的光学遥感图像舰船检测与分割方法，属于遥感图像智能识别技术领域。
背景技术
近年来，随着航空航天技术的发展，高分辨光学遥感影像逐渐成为检测海上舰船的重要手段之一。相对于红外和SAR图像，光学遥感影像具有高空间分辨率的特征，从而能够对物体有更明显的几何表征。通过高分辨率光学遥感影像获取的观测目标场景具有充足的特征信息。近年来，越来越多的学者和研究机构聚焦高分辨率遥感影像在海上目标的识别和定位，进一步促进了海洋商业活动的发展。
随着深度学习技术和GPU计算力的发展，深度卷积神经网络在计算机视觉任务上展现了强大的目标特征提取能力。目前大部分方法只做舰船的检测，而忽视对目标进行像素级的分割。现有的基于矩形框的舰船检测方法存在的问题之一是获取的局部候选区域边界框存在背景像素，这不利于对候选区域进行分类；通过对图像做实例分割，获取没有包含背景像素的舰船掩膜图，从而实现对舰船目标精确的分类和精细的定位。
Kaiming He在其发表的论文“Mask R-CNN”(16th IEEE InternationalConference on Computer Vision,ICCV 2017)提出了一种在网络中同时做目标检测和实例分割的方法。该方法首先利用基础网络ResNet-50或者ResNet-101提取图像特征，并通过特征金字塔网络(Feature Pyramid Network)进行图像特征融合；然后通过区域生成网络RPN获取舰船的候选区域，并对候选区域特征图进行感兴趣区域ROI(Region of Interest)对齐操作；对于分类和边界框预测分支，对齐后的特征向量经过全连接层操作，分别预测候选框的类别和位置信息；对于分割分支，对齐后的特征向量经过全卷积网络(FullyConvolutional Network)，预测目标的掩膜信息。该方法通过对掩膜信息监督，提升了目标检测效果。但是，该方法仍然存在不足之处是，由于光学遥感图像尺寸大，同时舰船的尺寸和方向变化范围大，舰船目标，尤其是小目标，常常无法有效地被检测。
发明内容
本发明要解决的技术问题，在于提供一种基于深度学习的光学遥感图像舰船检测与分割方法。
本发明通过下述方案实现：一种基于深度学习的光学遥感图像舰船检测与分割方法，其包括以下步骤：
步骤一、读入图像数据，根据迁移学习方法对图像进行预处理；
步骤二、搭建多分辨率并行卷积的骨干网络HRFPN提取图像特征图；
步骤三、基于RPN生成舰船候选区域；
步骤四、借鉴多任务级联检测的思想，添加语义分割分支，获取舰船的分类概率值、定位框和掩膜，并计算损失函数；
步骤五、利用NMS方法得到精炼的检测结果。
所述步骤一中将卷积神经网络在大型数据集上训练得到的模型参数作为网络提取特征层的参数初始值，然后再进行模型微调。
所述步骤一中在ImageNet数据集上训练得到的HRNETV2-W40模型，该模型在训练过程中对数据进行了减均值处理，同时将训练好的HRNETV2-W40模型迁移到舰船检测和分割任务时也应对图像进行相同的减均值预处理。
所述步骤二中的整体网络包含四个阶段：通过两个步长为2的3×3卷积将图像的分辨率下采样为原图的1/4，作为第一阶段的输入，这也是第1阶段的特征图的分辨率尺寸，第2、3、4阶段分别包含2、3、4种分辨率特征图，第1阶段包含4个残差单元，每个残差单元由一个通道64的瓶颈模块组成，然后通过1个3×3卷积将特征图的通道数缩放为C，第2、3、4阶段分别由1、4和3个重复的模块化多分辨率块组成，多分辨率块由多分辨率组卷积和多分辨率卷积组成，多分辨率组卷积中的每个分支包含4个残差单元，对于每种分辨率，每个单元中包含2个3×3卷积，输入和输出分别是不同分辨率的特征图，特征图融合时为了保证特征图分辨率尺寸和通道数一致，高分辨率特征图向低分率特征图融合时经过i个步长为2的3×3卷积，低分辨率特征图向高分辨率特征图融合时经过j个双线性上采样操作，根据特征图的尺寸大小，i和j可取值范围为[1，3]，4种分辨率的特征图通道数分别为C、2C、4C和8C，设置C为40。
所述步骤二中网络通过连接多分辨率的并行卷积，并在并行卷积之间进行重复的信息交换而形成特征图C2、C3、C4和C5，融合{C2，C3，C4，C4}形成最终的特征图{P2，P3，P4，P5}，具体计算公式如下：
Figure BDA0002718532100000031
Figure BDA0002718532100000032
Figure BDA0002718532100000033
Figure BDA0002718532100000034
其中，Conv1×1和Conv3×3分别表示1×1卷积层和3×3卷积层；Upsample表示双线性上采样，然后1×1卷积操作；Downsample表示步长为2的3×3卷积层；
Figure BDA0002718532100000035
表示特征图相加操作，P6有P5经过1个步长为2的3×3卷积生成，{P2，P3，P4，P5，P6}的输出通道都为256。
所述步骤三中针对{P2，P3，P4，P5，P6}分别设置anchor尺寸为{322、642、1282、2562、5122}，每层特征图上舰船候选区域的长宽比设置为{1∶1、1∶2、2∶1}，特征金字塔总共有15个舰船候选区域设置值，根据舰船候选区域与对应标签框的IoU重叠率来分配训练的正负样本，当IoU大于0.7，该舰船候选区域为正样本；当IoU小于0.3，该舰船候选区域为负样本，一张图像中正负样本的总数不超过2000个。
所述步骤四为搭建多任务级联网络获取舰船定位框和掩膜，对所有的舰船候选区域采用RoIAlign调整为固定特征向量，分类和回归分支的特征向量尺寸是7×7，分割分支的特征向量尺寸是14×14，借鉴多任务级联检测的思想，通过在每个阶段结合级联和多任务处理来改善信息流，并利用空间上下文来进一步提高准确性，整个网络有3个检测头，CLS、BOX和MASK分别代表分类、边界框预测、掩膜预测分支，3个检测头的IoU阈值分别为0.5、0.6、0.7，将每一个阶段的预测输入下一个阶段，得到高质量的预测结果，当前边界框的预测特征是由上一阶段的预测回归后的边界框通过RoIAlign获得的。
所述步骤四中在相邻阶段的掩膜预测分支之间进行连接，提供了mask分支的信息流，两个相邻阶段的掩膜计算过程由4个3×3卷积层和1个反卷积层构成，首先将FPN的5个层级的特征图缩放到相同尺寸进行多尺度特征融合，再通过4个3×3卷积层提取特征，通过1×1卷积得到固定尺寸的语义特征。
所述步骤四中，对于单张图像，训练过程中的多任务损失函数定义如下：
Figure BDA0002718532100000041
其中，Lcls、Lbox、和Lmask分别表示t阶段的分类损失、定位框回归损失和掩膜预测损失，t的可取值为1、2和3，Lseg表示语义分割损失；分类损失定义如下：
Figure BDA0002718532100000047
其中，i表示anchor的索引，
Figure BDA0002718532100000042
表示第i个anchor的标签值，pi表示第i个anchor的预测值，预测为舰船时pi＝1，非舰船pi＝0，对于回归损失，定义ti＝{tx，ty，tw，th}为舰船预测矩形框的参数值，
Figure BDA0002718532100000043
为一个舰船anchor矩形框的标签值，四个参数值的计算公式定义如下：
tx＝(x-xa)/wa，ty＝(y-ya)/ha，
tw＝log(w/wa)，th＝log(h/ha)，
Figure BDA0002718532100000044
Figure BDA0002718532100000045
其中，x，y，w和h分别表示矩形框的中心点坐标值，以及宽和高，变量x，xa和x*分表对应了预测框、舰船候选区域框和标签框的中心点x坐标值(y，w，h同理)；回归损失函数定义如下：
Figure BDA0002718532100000046
Figure BDA0002718532100000051
具体地，对于掩膜预测分支，设置每个anchor输出分辨率为m×m二值化掩膜图，则掩膜预测损失函数定义为：
Figure BDA0002718532100000052
其中，mi表示物体被预测为目标的置信度，
Figure BDA0002718532100000053
表示第i个掩膜中每个像素经过sigmoid后的输出，对于语义分割分支，设置每个anchor输出的语义分割图为s，标签语义分割图为s*，则语义分割损失函数定义为：Lseg＝-[s×log(s*)+(1-s)log(1-s*)]。
所述步骤五中，对所有检测框按照得分从高到低进行排序，保留检测框之间重叠度低和得分高的候选框，丢弃检测框之间重叠度高和得分低的候选框。
本发明的有益效果为：本发明在深度神经网络目标检测和分割的基础上添加多分辨率并行卷积模块和多任务级联检测模块，有效的提高了光学遥感图像舰船检测和分割的精度，特别地，本发明对于小目标有较好的检测能力。
附图说明
图1是舰船检测流程图。
图2是特征提取骨干网络HRFPN结构图。
图3为多分辨率组卷积结构图。
图4为多分辨率卷积结构图。
图5为基于RPN的舰船候选区域(anchor)生成过程图。
图6为多任务级联网络结构图。
图7为最终检测结果图。
具体实施方式
下面结合图1-7对本发明进一步说明，但本发明保护范围不局限所述内容。
为了清楚，不描述实际实施例的全部特征，在下列描述中，不详细描述公知的功能和结构，因为它们会使本发明由于不必要的细节而混乱，应当认为在任何实际实施例的开发中，必须做出大量实施细节以实现开发者的特定目标，例如按照有关系统或有关商业的限制，由一个实施例改变为另一个实施例，另外，应当认为这种开发工作可能是复杂和耗费时间的，但是对于本领域技术人员来说仅仅是常规工作。
一种基于深度学习的光学遥感图像舰船检测与分割方法，其包括以下步骤：
步骤一、读入图像数据，根据迁移学习方法对图像进行预处理
迁移学习，该处主要指卷积神经网络在大型数据集(如ImageNet数据集)上训练，具有一定的特征提取能力后，在针对其他图像训练任务时，不再采用对网络参数随机初始化的方式，而是将上述训练得到的模型参数作为网络提取特征层的参数初始值，然后再进行模型微调；本发明采用在ImageNet数据集上训练得到的HRNETV2-W40模型，该模型在训练过程中对数据进行了减均值处理；故此处，将训练好的HRNETV2-W40模型迁移到舰船检测和分割任务时也应对图像进行相同的减均值预处理。
步骤二：搭建多分辨率并行卷积的骨干网络HRFPN提取图像特征图
整体网络包含四个阶段：通过两个步长为2的3×3卷积将图像的分辨率下采样为原图的1/4，作为第一阶段的输入，这也是第1阶段的特征图的分辨率尺寸；第2、3、4阶段分别包含2、3、4种分辨率特征图。
具体地，类似ResNet-50结构，第1阶段包含4个residual unit(残差单元)，每个unit有一个通道64的bottleneck(瓶颈模块)组成，然后通过1个3×3卷积将特征图的通道数缩放为C。
具体地，第2、3、4阶段分别由1、4和3个重复的模块化多分辨率块组成。多分辨率块由多分辨率组卷积和多分辨率卷积组成。
具体地，多分辨率组卷积结构图如图3所示，多分辨率组卷积中的每个分支包含4个残差单元，对于每种分辨率，每个单元中包含2个3×3卷积。
具体地，多分辨率卷积结构图如图4所示，输入和输出分别是不同分辨率的特征图，特征图融合时为了保证特征图分辨率尺寸和通道数一致，高分辨率特征图向低分率特征图融合时经过i个步长为2的3×3卷积，低分辨率特征图向高分辨率特征图融合时经过j个双线性上采样操作，根据特征图的尺寸大小，i和j可取值范围为[1，3]。
具体地，4种分辨率的特征图通道数分别为C、2C、4C和8C，设置C为40。
具体地，网络通过连接多分辨率(从高分辨率到低分辨率)的并行卷积，并在并行卷积之间进行重复的信息交换而形成特征图C2、C3、C4和C5。
具体地，类似FPN特征金字塔网络，如图2，融合{C2，C3，C4，C4}形成最终的特征图{P2，P3，P4，P5}，具体计算公式如下：
Figure BDA0002718532100000071
Figure BDA0002718532100000072
Figure BDA0002718532100000073
Figure BDA0002718532100000074
具体地，Conv1×1和Conv3×3分别表示1×1卷积层和3×3卷积层；Upsample表示双线性上采样，然后1×1卷积操作；Downsample表示步长为2的3×3卷积层；
Figure BDA0002718532100000075
表示特征图相加操作。
具体地，P6有P5经过1个步长为2的3×3卷积卷积生成。
具体地，{P2，P3，P4，P5，P6}的输出通道都为256。
步骤三：基于RPN生成舰船候选区域
具体地，针对{P2，P3，P4，P5，P6}分别设置anchor尺寸为{322、642、1282、2562、5122}，每层特征图上anchor的长宽比设置为{1∶1、1∶2、2∶1}，特征金字塔总共有15个anchor设置值。
具体地，根据anchor与对应标签框的IoU重叠率来分配训练的正负样本。当IoU大于0.7，该anchor为正样本；当IoU小于0.3，该anchor为负样本，一张图像中正负样本的总数不超过2000个。
步骤四、搭建多任务级联网络获取舰船定位框和掩膜
具体地，对所有的anchor采用RoIAlign调整为固定特征向量，分类和回归分支的特征向量尺寸是7×7，分割分支的特征向量尺寸是14×14。
具体地，如图6，借鉴多任务级联检测的思想，通过在每个阶段结合级联和多任务处理来改善信息流，并利用空间上下文来进一步提高准确性。
具体地，多任务级联网络的特点有：a交错地使用目标定位框回归预测；b通过将前一阶段的掩膜特征反馈给当前阶段的掩膜分支，引入一个直接路径来加强掩膜分支之间的信息流，c通过添加额外的语义分割分支，并将其与box和mask分支融合，探索更多的上下文信息。
具体地，如图6，整个网络有3个检测头，CLS、BOX和MASK分别代表分类、边界框预测、掩膜预测分支。3个检测头的IoU阈值分别为0.5、0.6、0.7，将每一个阶段的预测输入下一个阶段，得到高质量的预测结果。
具体地，当前边界框的预测特征是由上一阶段的预测回归后的边界框通过RoIAlign获得的。
具体地，在相邻阶段的掩膜预测分支之间进行连接，提供了mask分支的信息流。两个相邻阶段的掩膜计算过程由4个3×3卷积层和1个反卷积层构成。
具体地，将语义分割引入到多任务级联网络中，因为语义分割需要对全图进行精细的像素级分类，从而获取较强的空间位置信息，首先将FPN的5个层级的特征图缩放到相同尺寸进行多尺度特征融合，再通过4个3×3卷积层提取特征，通过1×1卷积得到固定尺寸的语义特征。
具体地，对于单张图像，训练过程中的多任务损失函数定义如下：
Figure BDA0002718532100000081
Figure BDA0002718532100000091
其中，Lcls、Lbox、和Lmask分别表示t阶段的分类损失、定位框回归损失和掩膜预测损失，t的可取值为1、2和3。Lseg表示语义分割损失。
具体地，分类损失定义如下：
Figure BDA00027185321000000911
其中，i表示anchor的索引，
Figure BDA0002718532100000092
表示第i个anchor的标签值，pi表示第i个anchor的预测值，预测为舰船时pi＝1，非舰船pi＝0。
具体地，对于回归损失，定义ti＝{tx，ty，tw，th}为舰船预测矩形框的参数值，
Figure BDA0002718532100000093
Figure BDA0002718532100000094
为一个舰船anchor矩形框的标签值，四个参数值的计算公式定义如下：
tx＝(x-xa)/wa，ty＝(y-ya)/ha，
tw＝log(w/wa)，th＝log(h/ha)，
Figure BDA0002718532100000095
Figure BDA0002718532100000096
其中，x，y，w和h分别表示矩形框的中心点坐标值，以及宽和高；变量x，xa和x*分表对应了预测框、anchor框和标签框的中心点x坐标值(y，w，h同理)；回归损失函数定义如下：
Figure BDA0002718532100000097
Figure BDA0002718532100000098
具体地，对于掩膜预测分支，设置每个anchor输出分辨率为m×m二值化掩膜图，则掩膜预测损失函数定义为：
Figure BDA0002718532100000099
其中，mi表示物体被预测为目标的置信度，
Figure BDA00027185321000000910
表示第i个掩膜中每个像素经过sigmoid后的输出。
具体地，对于语义分割分支，设置每个anchor输出的语义分割图为s，标签语义分割图为s*，则语义分割损失函数定义为：Lseg＝-[s×log(s*)+(1-s)log(1-s*)]。
步骤五、利用NMS方法得到精炼的检测结果
非极大值抑制NMS具体是指：对所有检测框按照得分从高到低进行排序，保留检测框之间重叠度低和得分高的候选框，丢弃检测框之间重叠度高和得分低的候选框。
最终的检测结果如图7所示。
下面使用准确率(AP)和召回率(AP)两个指标，分别将本发明与现有技术Mask R-CNN的光学遥感图像舰船目标结果进行评价，利用下式，分别计算本发明与现有技术MaskR-CNN(特征提取骨干网络ResNet-101)的光学遥感图像舰船目标检测和分割结果的准确率和召回率。
准确率AP＝总检测目标正确数/总检测目标数。
召回率AR＝总检测正确目标数/总实际目标数。
具体地，实验里采用的数据集是Kaggle光学遥感舰船检测竞赛的Airbus-ship数据集，该数据集包含42615张带有舰船位置及掩膜标签的图像数据，按照里面的舰船实例个数，分别将数据集按照8:1:1的比例分成训练集、验证集和测试集。
具体地，对于两种网络训练时的参数设置保持一致，初始学习率设置为0.001，训练epoch总数为24，在第16和22个epoch时，将学习率下降0.1倍，在训练过程中采用动量值为0.9和权重衰减为0.0001的随机梯度下降法(SGD)优化整个模型。
具体地，实验采用的操作系统是Ubuntu18.04，采用单张GTX-2080Ti GPU训练和测试，深度学习架构采用Pytorch1.5.0。
表1中分别列出了本发明与现有技术Mask R-CNN的舰船检测准确率和召回率指标。
表1仿真实验测试结果一览表
测试指标 Mask R-CNN 本发明方法
AP 70.0％ 80.7％
AR 71.6％ 82.2％
从表1中可见现有Mask R-CNN的AP和AR值分别为70.0％和71.6％，本发明方法的AP和AR值分别为80.7％和82.2％,本发明的仿真实验舰船目标检测结果较好。
表1中分别列出了本发明与现有技术Mask R-CNN的舰船分割准确率和召回率指标。
表2仿真实验测试结果一览表
测试指标 Mask R-CNN 本发明方法
AP 64.1％ 78.2％
AR 67.1％ 80.8％
从表2中可见现有Mask R-CNN的AP和AR值分别为64.1％和67.1％，本发明方法的AP和AR值分别为78.2％和80.8％，本发明的仿真实验舰船分割结果较好。
考虑到遥感下的舰船目标尺寸变化大，故将AP和AR细分为APL，APM，APS，ARL，ARM，ARS，其中APL，APM，APS为大目标、中等目标和小目标的准确率，ARL，ARM，ARS为大目标、中等目标和小目标的召回率。具体地，大目标是指目标尺寸大于96×96像素值，中等目标是指目标尺寸介于32×32和96×96像素值之间，小目标是指目标尺寸小于32×32像素值。
表3中分别列出了本发明与现有技术Mask R-CNN的舰船检测APL，APM，APS，ARL，ARM和ARS指标。
表3仿真实验测试结果一览表
测试指标 Mask R-CNN 本发明方法
AP<sub>L</sub> 94.8％ 96.0％
AP<sub>M</sub> 95.9％ 97.5％
AP<sub>S</sub> 56.7％ 71.9％
AR<sub>L</sub> 97.4％ 97.4％
AR<sub>M</sub> 97.2％ 98.5％
AR<sub>S</sub> 58.4％ 73.8％
从表3中可见现有Mask R-CNN的APS和ARS值分别为56.7％和58.3％，本发明方法的APS和ARS值分别为71.9％和73.8％，相比于Mask R-CNN，本发明对小目标的检测效果更好。
表4中分别列出了本发明与现有技术Mask R-CNN的舰船分割APL，APM，APS，ARL，ARM和ARS指标。
表4仿真实验测试结果一览表
测试指标 Mask R-CNN 本发明方法
AP<sub>L</sub> 85.0％ 91.1％
AP<sub>M</sub> 84.3％ 94.0％
AP<sub>S</sub> 48.6％ 70.4％
AR<sub>L</sub> 88.5％ 94.6％
AR<sub>M</sub> 87.0％ 95.6％
AR<sub>S</sub> 51.7％ 73.1％
从表4中可见现有Mask R-CNN的APS和ARS值分别为48.6％和51.7％，本发明方法的APS和ARS值分别为70.4％和73.1％，相比于Mask R-CNN，本发明对小目标的分割效果更好。
综上所述，本发明在深度神经网络目标检测和分割的基础上添加多分辨率并行卷积模块和多任务级联检测模块，有效的提高了光学遥感图像舰船检测和分割的精度，特别地，本发明对于小目标有较好的检测能力。
尽管已经对本发明的技术方案做了较为详细的阐述和列举，应当理解，对于本领域技术人员来说，对上述实施例做出修改或者采用等同的替代方案，这对本领域的技术人员而言是显而易见，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种基于深度学习的光学遥感图像舰船检测与分割方法，其特征在于：其包括以下步骤：
步骤一、读入图像数据，根据迁移学习方法对图像进行预处理；
步骤二、搭建多分辨率并行卷积的骨干网络HRFPN提取图像特征图；
步骤三、基于RPN生成舰船候选区域；
步骤四、借鉴多任务级联检测的思想，添加语义分割分支，获取舰船的分类概率值、定位框和掩膜，并计算损失函数；
步骤五、利用NMS方法得到精炼的检测结果。
2.根据权利要求1所述的一种基于深度学习的光学遥感图像舰船检测与分割方法，其特征在于：所述步骤一中将卷积神经网络在大型数据集上训练得到的模型参数作为网络提取特征层的参数初始值，然后再进行模型微调。
3.根据权利要求1所述的一种基于深度学习的光学遥感图像舰船检测与分割方法，其特征在于：所述步骤一中在ImageNet数据集上训练得到的HRNETV2-W40模型，该模型在训练过程中对数据进行了减均值处理，同时将训练好的HRNETV2-W40模型迁移到舰船检测和分割任务时也应对图像进行相同的减均值预处理。
4.根据权利要求1所述的一种基于深度学习的光学遥感图像舰船检测与分割方法，其特征在于：所述步骤二中的整体网络包含四个阶段：通过两个步长为2的3×3卷积将图像的分辨率下采样为原图的1/4，作为第一阶段的输入，这也是第1阶段的特征图的分辨率尺寸，第2、3、4阶段分别包含2、3、4种分辨率特征图，第1阶段包含4个残差单元，每个残差单元由一个通道64的瓶颈模块组成，然后通过1个3×3卷积将特征图的通道数缩放为C，第2、3、4阶段分别由1、4和3个重复的模块化多分辨率块组成，多分辨率块由多分辨率组卷积和多分辨率卷积组成，多分辨率组卷积中的每个分支包含4个残差单元，对于每种分辨率，每个单元中包含2个3×3卷积，输入和输出分别是不同分辨率的特征图，特征图融合时为了保证特征图分辨率尺寸和通道数一致，高分辨率特征图向低分率特征图融合时经过i个步长为2的3×3卷积，低分辨率特征图向高分辨率特征图融合时经过j个双线性上采样操作，根据特征图的尺寸大小，i和j可取值范围为[1，3]，4种分辨率的特征图通道数分别为C、2C、4C和8C，设置C为40。
5.根据权利要求4所述的一种基于深度学习的光学遥感图像舰船检测与分割方法，其特征在于：所述步骤二中网络通过连接多分辨率的并行卷积，并在并行卷积之间进行重复的信息交换而形成特征图C2、C3、C4和C5，融合{C2，C3，C4，C4}形成最终的特征图{P2，P3，P4，P5}，具体计算公式如下：
Figure FDA0002718532090000021
Figure FDA0002718532090000022
Figure FDA0002718532090000023
Figure FDA0002718532090000024
其中，Conv1×1和Conv3×3分别表示1×1卷积层和3×3卷积层；Upsample表示双线性上采样，然后1×1卷积操作；Downsample表示步长为2的3×3卷积层；
Figure FDA0002718532090000025
表示特征图相加操作，P6有P5经过1个步长为2的3×3卷积生成，{P2，P3，P4，P5，P6}的输出通道都为256。
6.根据权利要求1所述的一种基于深度学习的光学遥感图像舰船检测与分割方法，其特征在于：所述步骤三中针对{P2，P3，P4，P5，P6}分别设置anchor尺寸为{322、642、1282、2562、5122}，每层特征图上舰船候选区域的长宽比设置为{1∶1、1∶2、2∶1}，特征金字塔总共有15个舰船候选区域设置值，根据舰船候选区域与对应标签框的IoU重叠率来分配训练的正负样本，当IoU大于0.7，该舰船候选区域为正样本；当IoU小于0.3，该舰船候选区域为负样本，一张图像中正负样本的总数不超过2000个。
7.根据权利要求1所述的一种基于深度学习的光学遥感图像舰船检测与分割方法，其特征在于：所述步骤四为搭建多任务级联网络获取舰船定位框和掩膜，对所有的舰船候选区域采用RoIAlign调整为固定特征向量，分类和回归分支的特征向量尺寸是7×7，分割分支的特征向量尺寸是14×14，借鉴多任务级联检测的思想，通过在每个阶段结合级联和多任务处理来改善信息流，并利用空间上下文来进一步提高准确性，整个网络有3个检测头，CLS、BOX和MASK分别代表分类、边界框预测、掩膜预测分支，3个检测头的IoU阈值分别为0.5、0.6、0.7，将每一个阶段的预测输入下一个阶段，得到高质量的预测结果，当前边界框的预测特征是由上一阶段的预测回归后的边界框通过RoIAlign获得的。
8.根据权利要求7所述的一种基于深度学习的光学遥感图像舰船检测与分割方法，其特征在于：所述步骤四中在相邻阶段的掩膜预测分支之间进行连接，提供了mask分支的信息流，两个相邻阶段的掩膜计算过程由4个3×3卷积层和1个反卷积层构成，首先将FPN的5个层级的特征图缩放到相同尺寸进行多尺度特征融合，再通过4个3×3卷积层提取特征，通过1×1卷积得到固定尺寸的语义特征。
9.根据权利要求8所述的一种基于深度学习的光学遥感图像舰船检测与分割方法，其特征在于：所述步骤四中，对于单张图像，训练过程中的多任务损失函数定义如下：
Figure FDA0002718532090000031
其中，Lcls、Lbox、和Lmask分别表示t阶段的分类损失、定位框回归损失和掩膜预测损失，t的可取值为1、2和3，Lseg表示语义分割损失；分类损失定义如下：
Figure FDA0002718532090000032
其中，i表示anchor的索引，
Figure FDA0002718532090000033
表示第i个anchor的标签值，pi表示第i个anchor的预测值，预测为舰船时pi＝1，非舰船pi＝0，对于回归损失，定义ti＝{tx，ty，tw，th}为舰船预测矩形框的参数值，
Figure FDA0002718532090000034
为一个舰船anchor矩形框的标签值，四个参数值的计算公式定义如下：
tx＝(x-xa)/wa，ty＝(y-ya)/ha，
tw＝log(w/wa)，th＝log(h/ha)，
Figure FDA0002718532090000035
Figure FDA0002718532090000036
其中，x，y，w和h分别表示矩形框的中心点坐标值，以及宽和高，变量x，xa和x*分表对应了预测框、舰船候选区域框和标签框的中心点x坐标值(y，w，h同理)；回归损失函数定义如下：
Figure FDA0002718532090000041
Figure FDA0002718532090000042
具体地，对于掩膜预测分支，设置每个anchor输出分辨率为m×m二值化掩膜图，则掩膜预测损失函数定义为：
Figure FDA0002718532090000043
其中，mi表示物体被预测为目标的置信度，
Figure FDA0002718532090000044
表示第i个掩膜中每个像素经过sigmoid后的输出，对于语义分割分支，设置每个anchor输出的语义分割图为s，标签语义分割图为s*，则语义分割损失函数定义为：Lseg＝-[s×log(s*)+(1-s)log(1-s*)]。
10.根据权利要求1所述的一种基于深度学习的光学遥感图像舰船检测与分割方法，其特征在于：所述步骤五中，对所有检测框按照得分从高到低进行排序，保留检测框之间重叠度低和得分高的候选框，丢弃检测框之间重叠度高和得分低的候选框。
CN202011080445.7A 2020-10-10 2020-10-10 一种基于深度学习的光学遥感图像舰船检测与分割方法 Pending CN112507777A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011080445.7A CN112507777A (zh) 2020-10-10 2020-10-10 一种基于深度学习的光学遥感图像舰船检测与分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011080445.7A CN112507777A (zh) 2020-10-10 2020-10-10 一种基于深度学习的光学遥感图像舰船检测与分割方法

Publications (1)

Publication Number Publication Date
CN112507777A true CN112507777A (zh) 2021-03-16

Family

ID=74954106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011080445.7A Pending CN112507777A (zh) 2020-10-10 2020-10-10 一种基于深度学习的光学遥感图像舰船检测与分割方法

Country Status (1)

Country Link
CN (1) CN112507777A (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111885A (zh) * 2021-04-14 2021-07-13 清华大学深圳国际研究生院 一种动态分辨率实例分割方法及计算机可读存储介质
CN113160246A (zh) * 2021-04-14 2021-07-23 中国科学院光电技术研究所 一种基于深度监督的图像语义分割方法
CN113239953A (zh) * 2021-03-30 2021-08-10 西安电子科技大学 基于有向高斯函数的sar图像旋转舰船检测方法
CN113256500A (zh) * 2021-07-02 2021-08-13 北京大学第三医院（北京大学第三临床医学院） 一种多模态图像合成的深度学习神经网络模型系统
CN113269734A (zh) * 2021-05-14 2021-08-17 成都市第三人民医院 一种基于元学习特征融合策略的肿瘤图像检测方法及装置
CN113312998A (zh) * 2021-05-19 2021-08-27 中山大学·深圳 基于高分辨率网络的sar图像目标识别方法、装置和存储介质
CN113343883A (zh) * 2021-06-22 2021-09-03 长光卫星技术有限公司 基于改进HRNetV2网络的港口矿堆分割方法
CN113378742A (zh) * 2021-06-21 2021-09-10 梅卡曼德（北京）机器人科技有限公司 图像识别方法、装置、电子设备和存储介质
CN113420641A (zh) * 2021-06-21 2021-09-21 梅卡曼德（北京）机器人科技有限公司 图像数据处理方法、装置、电子设备和存储介质
CN113436148A (zh) * 2021-06-02 2021-09-24 范加利 一种基于深度学习的舰载机轮廓关键点检测方法及系统
CN113468991A (zh) * 2021-06-21 2021-10-01 沈阳工业大学 一种基于全景视频的停车位检测方法
CN113505634A (zh) * 2021-05-24 2021-10-15 安徽大学 一种双流解码跨任务交互网络的光学遥感图像显著目标检测方法
CN113628208A (zh) * 2021-08-30 2021-11-09 北京中星天视科技有限公司 船舶检测方法、装置、电子设备和计算机可读介质
CN113762204A (zh) * 2021-09-17 2021-12-07 中国人民解放军国防科技大学 多方向遥感目标检测方法、装置及计算机设备
CN113850783A (zh) * 2021-09-27 2021-12-28 清华大学深圳国际研究生院 一种海面船舶检测方法及系统
CN113870286A (zh) * 2021-09-30 2021-12-31 重庆理工大学 一种基于多级特征和掩码融合的前景分割方法
CN113989665A (zh) * 2021-10-25 2022-01-28 电子科技大学 一种基于路由聚合感知fpn的sar船只检测方法
CN114092364A (zh) * 2021-08-12 2022-02-25 荣耀终端有限公司 图像处理方法及其相关设备
CN114155247A (zh) * 2021-08-26 2022-03-08 航天恒星科技有限公司 一种高分辨率遥感图像实例分割模型的训练方法及装置
CN114219989A (zh) * 2021-11-25 2022-03-22 哈尔滨工程大学 一种基于干扰抑制和动态轮廓的雾天场景船舶实例分割方法
CN114387492A (zh) * 2021-11-19 2022-04-22 西北工业大学 一种基于深度学习的近岸水面区域舰船检测方法及装置
CN114612769A (zh) * 2022-03-14 2022-06-10 电子科技大学 一种融入局部结构信息的集成感知红外成像舰船检测方法
CN115272242A (zh) * 2022-07-29 2022-11-01 西安电子科技大学 一种基于YOLOv5的光学遥感图像目标检测方法
CN116030351A (zh) * 2023-03-28 2023-04-28 南京信息工程大学 一种基于级联网络的航拍图像舰船分割方法
CN117876884A (zh) * 2024-01-09 2024-04-12 中国科学院自动化研究所 显著性信息引导的高分辨率可见光舰船检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491854A (zh) * 2018-02-05 2018-09-04 西安电子科技大学 基于sf-rcnn的光学遥感图像目标检测方法
CN108960143A (zh) * 2018-07-04 2018-12-07 北京航空航天大学 一种高分辨率可见光遥感图像中的舰船检测深度学习方法
CN109711295A (zh) * 2018-12-14 2019-05-03 北京航空航天大学 一种光学遥感图像近岸舰船检测方法
CN111461127A (zh) * 2020-03-30 2020-07-28 华南理工大学 基于一阶段目标检测框架的实例分割方法
CN111723748A (zh) * 2020-06-22 2020-09-29 电子科技大学 一种红外遥感图像舰船检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491854A (zh) * 2018-02-05 2018-09-04 西安电子科技大学 基于sf-rcnn的光学遥感图像目标检测方法
CN108960143A (zh) * 2018-07-04 2018-12-07 北京航空航天大学 一种高分辨率可见光遥感图像中的舰船检测深度学习方法
CN109711295A (zh) * 2018-12-14 2019-05-03 北京航空航天大学 一种光学遥感图像近岸舰船检测方法
CN111461127A (zh) * 2020-03-30 2020-07-28 华南理工大学 基于一阶段目标检测框架的实例分割方法
CN111723748A (zh) * 2020-06-22 2020-09-29 电子科技大学 一种红外遥感图像舰船检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
苏浩: ""基于深度学习的遥感图像目标检测方法"", 《CNKI硕士论文》, 15 July 2020 (2020-07-15), pages 1 - 107 *

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239953A (zh) * 2021-03-30 2021-08-10 西安电子科技大学 基于有向高斯函数的sar图像旋转舰船检测方法
CN113239953B (zh) * 2021-03-30 2024-02-09 西安电子科技大学 基于有向高斯函数的sar图像旋转舰船检测方法
CN113111885A (zh) * 2021-04-14 2021-07-13 清华大学深圳国际研究生院 一种动态分辨率实例分割方法及计算机可读存储介质
CN113160246A (zh) * 2021-04-14 2021-07-23 中国科学院光电技术研究所 一种基于深度监督的图像语义分割方法
CN113269734A (zh) * 2021-05-14 2021-08-17 成都市第三人民医院 一种基于元学习特征融合策略的肿瘤图像检测方法及装置
CN113312998A (zh) * 2021-05-19 2021-08-27 中山大学·深圳 基于高分辨率网络的sar图像目标识别方法、装置和存储介质
CN113505634A (zh) * 2021-05-24 2021-10-15 安徽大学 一种双流解码跨任务交互网络的光学遥感图像显著目标检测方法
CN113436148A (zh) * 2021-06-02 2021-09-24 范加利 一种基于深度学习的舰载机轮廓关键点检测方法及系统
CN113420641A (zh) * 2021-06-21 2021-09-21 梅卡曼德（北京）机器人科技有限公司 图像数据处理方法、装置、电子设备和存储介质
CN113378742A (zh) * 2021-06-21 2021-09-10 梅卡曼德（北京）机器人科技有限公司 图像识别方法、装置、电子设备和存储介质
CN113468991A (zh) * 2021-06-21 2021-10-01 沈阳工业大学 一种基于全景视频的停车位检测方法
CN113420641B (zh) * 2021-06-21 2024-06-14 梅卡曼德（北京）机器人科技有限公司 图像数据处理方法、装置、电子设备和存储介质
CN113468991B (zh) * 2021-06-21 2024-03-05 沈阳工业大学 一种基于全景视频的停车位检测方法
CN113343883A (zh) * 2021-06-22 2021-09-03 长光卫星技术有限公司 基于改进HRNetV2网络的港口矿堆分割方法
CN113343883B (zh) * 2021-06-22 2022-06-07 长光卫星技术股份有限公司 基于改进HRNetV2网络的港口矿堆分割方法
CN113256500A (zh) * 2021-07-02 2021-08-13 北京大学第三医院（北京大学第三临床医学院） 一种多模态图像合成的深度学习神经网络模型系统
CN114092364B (zh) * 2021-08-12 2023-10-03 荣耀终端有限公司 图像处理方法及其相关设备
CN114092364A (zh) * 2021-08-12 2022-02-25 荣耀终端有限公司 图像处理方法及其相关设备
CN114155247A (zh) * 2021-08-26 2022-03-08 航天恒星科技有限公司 一种高分辨率遥感图像实例分割模型的训练方法及装置
CN114155247B (zh) * 2021-08-26 2024-07-12 航天恒星科技有限公司 一种高分辨率遥感图像实例分割模型的训练方法及装置
CN113628208A (zh) * 2021-08-30 2021-11-09 北京中星天视科技有限公司 船舶检测方法、装置、电子设备和计算机可读介质
CN113628208B (zh) * 2021-08-30 2024-02-06 北京中星天视科技有限公司 船舶检测方法、装置、电子设备和计算机可读介质
CN113762204B (zh) * 2021-09-17 2023-05-12 中国人民解放军国防科技大学 多方向遥感目标检测方法、装置及计算机设备
CN113762204A (zh) * 2021-09-17 2021-12-07 中国人民解放军国防科技大学 多方向遥感目标检测方法、装置及计算机设备
CN113850783B (zh) * 2021-09-27 2022-08-30 清华大学深圳国际研究生院 一种海面船舶检测方法及系统
CN113850783A (zh) * 2021-09-27 2021-12-28 清华大学深圳国际研究生院 一种海面船舶检测方法及系统
CN113870286A (zh) * 2021-09-30 2021-12-31 重庆理工大学 一种基于多级特征和掩码融合的前景分割方法
CN113989665B (zh) * 2021-10-25 2023-04-07 电子科技大学 一种基于路由聚合感知fpn的sar船只检测方法
CN113989665A (zh) * 2021-10-25 2022-01-28 电子科技大学 一种基于路由聚合感知fpn的sar船只检测方法
CN114387492A (zh) * 2021-11-19 2022-04-22 西北工业大学 一种基于深度学习的近岸水面区域舰船检测方法及装置
CN114219989A (zh) * 2021-11-25 2022-03-22 哈尔滨工程大学 一种基于干扰抑制和动态轮廓的雾天场景船舶实例分割方法
CN114612769A (zh) * 2022-03-14 2022-06-10 电子科技大学 一种融入局部结构信息的集成感知红外成像舰船检测方法
CN115272242A (zh) * 2022-07-29 2022-11-01 西安电子科技大学 一种基于YOLOv5的光学遥感图像目标检测方法
CN115272242B (zh) * 2022-07-29 2024-02-27 西安电子科技大学 一种基于YOLOv5的光学遥感图像目标检测方法
CN116030351A (zh) * 2023-03-28 2023-04-28 南京信息工程大学 一种基于级联网络的航拍图像舰船分割方法
CN117876884A (zh) * 2024-01-09 2024-04-12 中国科学院自动化研究所 显著性信息引导的高分辨率可见光舰船检测方法及系统

Similar Documents

Publication Publication Date Title
CN112507777A (zh) 一种基于深度学习的光学遥感图像舰船检测与分割方法
CN111210443A (zh) 基于嵌入平衡的可变形卷积混合任务级联语义分割方法
CN111126472A (zh) 一种基于ssd改进的目标检测方法
CN111898432B (zh) 一种基于改进YOLOv3算法的行人检测系统及方法
Vo et al. Semantic image segmentation using fully convolutional neural networks with multi-scale images and multi-scale dilated convolutions
CN117253154B (zh) 一种基于深度学习的集装箱弱小序列号目标检测识别方法
CN111079739B (zh) 一种多尺度注意力特征检测方法
CN109446922B (zh) 一种实时鲁棒的人脸检测方法
CN112800955A (zh) 基于加权双向特征金字塔的遥感影像旋转目标检测方法及系统
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN113743505A (zh) 基于自注意力和特征融合的改进ssd目标检测方法
CN111798469A (zh) 基于深度卷积神经网络的数字图像小数据集语义分割方法
CN116721414A (zh) 一种医学图像细胞分割与跟踪方法
CN117456167A (zh) 一种基于改进YOLOv8s的目标检测算法
CN113177503A (zh) 基于yolov5的任意朝向目标十二参数检测方法
CN116758340A (zh) 基于超分辨率特征金字塔和注意力机制的小目标检测方法
CN111462090A (zh) 一种多尺度图像目标检测方法
CN112365451A (zh) 图像质量等级的确定方法、装置、设备及计算机可读介质
CN114241250A (zh) 一种级联回归目标检测方法、装置及计算机可读存储介质
CN117079095A (zh) 基于深度学习的高空抛物检测方法、系统、介质和设备
CN116363535A (zh) 基于卷积神经网络的无人机航拍影像中的船舶检测方法
CN114565824B (zh) 基于全卷积网络的单阶段旋转舰船检测方法
CN113657196B (zh) Sar图像目标检测方法、装置、电子设备和存储介质
CN115761552A (zh) 面向无人机机载平台的目标检测方法、系统、设备及介质
CN115861595A (zh) 一种基于深度学习的多尺度域自适应异源图像匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination