Nothing Special   »   [go: up one dir, main page]

CN113762204B - 多方向遥感目标检测方法、装置及计算机设备 - Google Patents

多方向遥感目标检测方法、装置及计算机设备 Download PDF

Info

Publication number
CN113762204B
CN113762204B CN202111093036.5A CN202111093036A CN113762204B CN 113762204 B CN113762204 B CN 113762204B CN 202111093036 A CN202111093036 A CN 202111093036A CN 113762204 B CN113762204 B CN 113762204B
Authority
CN
China
Prior art keywords
remote sensing
features
network
channel
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111093036.5A
Other languages
English (en)
Other versions
CN113762204A (zh
Inventor
邹焕新
李润林
曹旭
贺诗甜
李美霖
成飞
魏娟
孙丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202111093036.5A priority Critical patent/CN113762204B/zh
Publication of CN113762204A publication Critical patent/CN113762204A/zh
Application granted granted Critical
Publication of CN113762204B publication Critical patent/CN113762204B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种多方向遥感目标检测方法、装置及计算机设备。所述方法中多方向遥感目标检测网络是基于CenterNet改进的无锚框旋转目标检测网络，首先，在无锚框算法CenterNet中添加角度分支，以检测任意方向的目标；其次，添加了语义分割分支，并将语义分割分支的特征与输入检测头的特征融合，以强化前景区域的特征，弱化背景区域的特征；最后，添加注意力模块，以强化目标显著区域与通道的特征，提升检测精度。无锚框的设计避免了锚框冗余问题，提升了检测速度；同时，本方法将语义分割特征与输入检测头的特征进行融合，强化了目标区域的特征，使得目标的定位更加准确，检测精度更高。

Description

多方向遥感目标检测方法、装置及计算机设备
技术领域
本申请涉及遥感图像技术领域，特别是涉及一种多方向遥感目标检测方法、 装置及计算机设备。
背景技术
随着卫星航天技术与遥感技术的不断发展，高分辨率遥感影像被广泛应用 于对地观测、战场侦查以及情报获取等多种任务。从遥感影像中快速、精确地 检测目标是其中一项具有重要意义的研究内容。目前，在光学遥感影像中，目 标检测主要有以下三个难点：
1)排列密集。港口目标通常呈现密集排布，较大的长宽比导致目标边界框 之间的交并比(Intersection over Union,IoU)对角度的变化更加敏感。
2)方向多变。遥感影像中的目标因为拍摄角度的缘故，可能以任意方向出 现。这要求检测器具有精确的角度预测能力。
3)背景复杂。近岸的检测容易受到岸边复杂背景的干扰，岸上的集装箱区 域容易与近岸的货船混淆。
由Zhou等人于2019年无锚框的目标检测算法。CenterNet算法将预测目标 边界框问题转换为预测目标中心点问题，然后再对中心点位置处的目标类别、 目标尺寸以及由下采样引起的关键点偏移量进行关联，从而得到目标的预测框 结果。但是对于排列密集、方向多变、背景复杂情况，采用CenterNet算法进行目标检测时准确率不高。
发明内容
基于此，有必要针对上述技术问题，提供一种多方向遥感目标检测方法、 装置及计算机设备。
一种多方向遥感目标检测方法，所述方法包括：
获取目标的遥感图像，并对所述遥感图像进行预处理得到训练样本。
构建遥感多方向目标检测网络；所述遥感多方向目标检测网络是在 Centernet网络的基础上改进得到的，改进点包括：在骨干网络最后一层后边添 加卷积注意力模块提取更有意义的通道与空间位置特征；添加与检测头并行的 语义分割分支，并将所述语义分割分支的特征与输入检测头的特征进行融合， 并将融合特征输入到所述检测头中；在原检测头中添加用于准确预测目标的旋 转角度的角度预测分支形成新检测头；
根据所述训练样本对所述遥感多方向目标检测网络进行训练，得到训练好 的遥感多方向目标检测模型。
获取待测目标遥感图像，并对所述待测目标遥感图像进行预处理，将预处 理结果输入到所述遥感多方向目标检测模型中，得到遥感目标检测结果。
在其中一个实施例中，所述遥感多方向目标检测网络包括骨干网络、卷积 注意力模块、语义分割分支以及新检测头。
根据所述训练样本对所述遥感多方向目标检测网络进行训练，得到训练好 的遥感多方向目标检测模型，包括：
将所述训练样本输入到所述骨干网络中，将骨干网络最后一层输出的特征 图输入到所述卷积注意力模块中，得到通道与空间位置特征。
将得到的骨干网络各个阶段不同尺度的特征图与所述通道与空间位置特征 输入到所述语义分割分支中，得到语义分割特征。
将所述通道与空间位置特征和所述语义分割特征输入到所述新检测头中， 得到预测检测结果；根据所述预测检测结果和所述训练样本进行反向训练，得 到遥感多方向目标检测模型。
在其中一个实施例中，所述卷积注意力模块包括通道注意力模块和空间注 意力模块。
将所述训练样本输入到所述骨干网络中，将骨干网络最后一层输出的特征 图输入到所述卷积注意力模块中，得到通道与空间位置特征，包括：
将所述训练样本输入到所述骨干网络中，将骨干网络最后一层输出的特征 图输入到所述通道注意力模块，得到通道注意力特征。
将所述通道注意力特征与所述骨干网络最后一层输出的特征图进行融合 后，得到融合通道注意力特征。
将所述融合通道注意力特征输入到所述空间注意力模块中，得到空间注意 力特征。
将所述空间注意力特征与所述融合通道注意力特征进行融合，得到通道与 空间位置特征。
在其中一个实施例中，所述通道注意力模块包括共享全连接网络、最大值 池化层以及平均值池化层。
将所述训练样本输入到所述骨干网络中，将骨干网络最后一层输出的特征 图输入到所述通道注意力模块，得到通道注意力特征，包括：
将所述训练样本输入到所述骨干网络中，将骨干网络最后一层输出的特征 图分别输入到所述通道注意力模块的最大值池化层和所述通道注意力模块的平 均值池化层，得到最大值池化特征和平均值池化特征。
将所述最大值池化特征和所述平均值池化特征分别输入到所述共享全连接 网络中，并将得到的特征相加后进行激活，得到通道注意力特征。
在其中一个实施例中，所述空间注意力模块包括共享参数的卷积层、最大 值池化层以及平均值池化层。
将所述融合通道注意力特征输入到所述空间注意力模块中，得到空间注意 力特征，包括：
将所述融合通道注意力特征分别输入到所述空间注意力模块的最大值池化 层和所述空间注意力模块的平均值池化层，得到最大池化矩阵和均值池化矩阵。
将所述最大池化矩阵和所述均值池化矩阵沿通道串联，并将串联后的特征 输入到所述共享参数的卷积层，得到空间注意力特征。
在其中一个实施例中，所述语义分割分支包括全卷积网络。
将得到的骨干网络各个阶段不同尺度的特征图与所述通道与空间位置特征 输入到所述语义分割分支中，得到语义分割特征，包括：
将通道与空间位置特征进行多次上采样输入到全卷积网络中，将全卷积网 络各个阶段不同特征尺寸的特征图与骨干网络各个阶段不同尺度的特征图按元 素相加融合作为全卷积网络中下一卷积层的输入，直到全卷积网络的最后一层， 得到语义分割特征。
在其中一个实施例中，将得到的骨干网络各个阶段不同尺度的特征图与所 述通道与空间位置特征输入到所述语义分割分支中，得到语义分割特征，步骤 后还包括：
根据所述遥感图像生成与原图尺寸一致的像素值均为0的单通道图像。
采用五边形掩膜生成方式获得图中每个目标的掩膜位置；
将所有目标的掩膜对应位置以像素值1进行填充，得到语义分割图。
一种多方向遥感目标检测装置，所述装置包括：
数据获取模块，用于获取目标的遥感图像，并对所述遥感图像进行预处理 得到训练样本。
遥感多方向目标检测网络构建模块，用于构建遥感多方向目标检测网络； 所述遥感多方向目标检测网络是在Centernet网络的基础上改进得到的，改进 点包括：在骨干网络最后一层后边添加卷积注意力模块提取更有意义的通道与 空间位置特征；添加与检测头并行的语义分割分支，并将所述语义分割分支的 特征与输入检测头的特征进行融合，并将融合特征输入到所述检测头中；在原 检测头中添加用于准确预测目标的旋转角度的角度预测分支形成新检测头；
遥感多方向目标检测网络训练模块，用于根据所述训练样本对所述遥感多 方向目标检测网络进行训练，得到训练好的遥感多方向目标检测模型。
遥感目标检测结果确定模块，用于获取待测目标遥感图像，并对所述待测 目标遥感图像进行预处理，将预处理结果输入到所述遥感多方向目标检测模型 中，得到遥感目标检测结果。
上述多方向遥感目标检测方法、装置及计算机设备，所述方法中多方向遥 感目标检测网络是基于CenterNet改进的无锚框旋转目标检测网络，首先，在 无锚框算法CenterNet中添加角度分支，以检测任意方向的目标；其次，添加 了语义分割分支，并将语义分割分支的特征与输入检测头的特征融合，以强化 前景区域的特征，弱化背景区域的特征；最后，添加注意力模块，以强化目标 显著区域与通道的特征，提升检测精度。无锚框的设计避免了锚框冗余问题， 提升了检测速度；同时，本方法将语义分割特征与输入检测头的特征进行融合，强化了目标区域的特征，使得目标的定位更加准确，检测精度更高。
附图说明
图1为一个实施例中多方向遥感目标检测方法的流程示意图；
图2为一个实施例中多方向遥感目标检测网络结构及数据流向图；
图3为另一个实施例中卷积注意力模块结构示意图；
图4为另一个实施例中通道注意力模块结构示意图；
图5为另一个实施例中空间注意力模块结构示意图；
图6为另一个实施例中检测目标五边形掩膜构建示意图；
图7为另一个实施例中语义分割图生成过程，其中(a)为检测目标及其掩 膜，(b)为语义分割结果；
图8为另一个实施例中水平边界框与旋转边界框，其中(a)为水平边界框， (b)为旋转边界框；
图9为另一个实施例中旋转边界框表示方法，其中(a)、(b)均为旋转边 界框表示方法；
图10为一个实施例中多方向遥感目标检测装置的结构框图；
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅 用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种多方向遥感目标检测方法，该 方法包括以下步骤：
步骤100：获取目标的遥感图像，并对遥感图像进行预处理得到训练样本。
具体的，目标的遥感图像可以为港口停放的舰船的遥感图像、机场的飞机 的遥感图像或汽车的遥感图像。
步骤102：构建遥感多方向目标检测网络。
遥感多方向目标检测网络是在Centernet网络的基础上改进得到的，改进 点包括：在骨干网络最后一层后边添加卷积注意力模块提取更有意义的通道与 空间位置特征；添加与检测头并行的语义分割分支，并将语义分割分支的特征 与输入检测头的特征进行融合，并将融合特征输入到检测头中；在原检测头中添加用于准确预测目标的旋转角度的角度预测分支形成新检测头。
遥感多方向目标检测网络的结构图如图2所示。
步骤104：根据训练样本对遥感多方向目标检测网络进行训练，得到训练好 的遥感多方向目标检测模型；
步骤106：获取待测目标遥感图像，并对待测目标遥感图像进行预处理，将 预处理结果输入到遥感多方向目标检测模型中，得到遥感目标检测结果。
上述多方向遥感目标检测方法中，所述方法中多方向遥感目标检测网络是 基于CenterNet改进的无锚框旋转目标检测网络，首先，在无锚框算法CenterNet 中添加角度分支，以检测任意方向的目标；其次，添加了语义分割分支，并将 语义分割分支的特征与输入检测头的特征融合，以强化前景区域的特征，弱化 背景区域的特征；最后，添加注意力模块，以强化目标显著区域与通道的特征， 提升检测精度。无锚框的设计避免了锚框冗余问题，提升了检测速度；同时，本方法将语义分割特征与输入检测头的特征进行融合，强化了目标区域的特征， 使得目标的定位更加准确，检测精度更高。
在其中一个实施例中，遥感多方向目标检测网络包括骨干网络、卷积注意 力模块、语义分割分支以及新检测头。步骤104还包括：将训练样本输入到骨 干网络中，将骨干网络最后一层输出的特征图输入到卷积注意力模块中，得到 通道与空间位置特征；将得到的骨干网络各个阶段不同尺度的特征图与通道与 空间位置特征输入到语义分割分支中，得到语义分割特征；将通道与空间位置 特征和语义分割特征输入到新检测头中，得到预测检测结果；根据预测检测结 果和训练样本进行反向训练，得到遥感多方向目标检测模型。
在其中一个实施例中，卷积注意力模块包括通道注意力模块和空间注意力 模块。步骤104还包括：将训练样本输入到骨干网络中，将骨干网络最后一层 输出的特征图输入到通道注意力模块，得到通道注意力特征；将通道注意力特 征与骨干网络最后一层输出的特征图进行融合后，得到融合通道注意力特征； 将融合通道注意力特征输入到空间注意力模块中，得到空间注意力特征；将空 间注意力特征与融合通道注意力特征进行融合，得到通道与空间位置特征。
人类的眼睛在观察时，会自然地对具有显著性特征的区域进行关注而忽略 其他区域，考虑到特征图中并非所有通道和位置的元素都具有相同的重要性， 若重点关注显著性区域，可以有效提升网络性能。因此，在网络中添加卷积注 意力模块(ConvolutionalBlock Attention Module,CBAM)。CBAM模块由空间 注意力模块与通道注意力模块组成，CBAM模块具体结构如图3所示。输入特征 图先后经过通道注意力模块与空间注意力模块后，输出精炼特征图。
在其中一个实施例中，通道注意力模块包括共享全连接网络、最大值池化 层以及平均值池化层。步骤104还包括：将训练样本输入到骨干网络中，将骨 干网络最后一层输出的特征图分别输入到通道注意力模块的最大值池化层和通 道注意力模块的平均值池化层，得到最大值池化特征和平均值池化特征；将最 大值池化特征和平均值池化特征分别输入到共享全连接网络中，并将得到的特 征相加后进行激活，得到通道注意力特征。
具体的，通道注意力模块的具体结构如图4所示。通道注意力向量的计算 方式如下：首先，输入特征图F采用最大值池化与均值池化两种池化方式得到 压缩向量
Figure SMS_1
与
Figure SMS_2
以获得各个通道特征的空间信息；然后，压缩向量
Figure SMS_3
与
Figure SMS_4
分别输入共享的多层感知网络；最后，将多层感知网络输出的向量求和并激活 以获得通道注意力向量，计算公式如式(1)所示。
Figure SMS_5
其中，MLP(·)表示多层感知网络，AvgPoolS(·)表示空间维度上的全局均值池化， MaxPoolS(·)表示空间维度上的全局最大值池化，σ(·)表示激活函数，W0与W1表 示共享全连接层的参数。
在其中一个实施例中，空间注意力模块包括共享参数的卷积层、最大值池 化层以及平均值池化层。步骤104还包括：将融合通道注意力特征分别输入到 空间注意力模块的最大值池化层和空间注意力模块的平均值池化层，得到最大 池化矩阵和均值池化矩阵；将最大池化矩阵和均值池化矩阵沿通道串联，并将 串联后的特征输入到共享参数的卷积层，得到空间注意力特征。
具体的，通道注意力模块的具体结构如图5所示。空间注意力矩阵的计算 方式如下：首先，输入特征图F采用平均池化与最大值池化沿着通道维度进行 压缩以获得最大池化矩阵
Figure SMS_6
与均值池化矩阵
Figure SMS_7
然后，将
Figure SMS_8
与
Figure SMS_9
沿通道方向串联并输入共享参数的卷积层以获得二维空间注意力矩阵MS(F) ，如式(2)所示：
Figure SMS_10
其中，AvgPoolC(·)表示通道维度上的全局均值池化，MaxPoolC(·)表示通道 维度上的全局最大值池化，σ(·)表示激活函数，f3×3表示卷积层尺寸为3×3的卷 积核。
整个注意力模块的公式如式(3)所示。
Figure SMS_11
其中，
Figure SMS_12
表示对应元素相乘，F'为经过通道注意力模块的特征，F”为CBAM 模块输出的特征。
在其中一个实施例中，语义分割分支包括全卷积网络。步骤104还包括： 将通道与空间位置特征进行多次上采样输入到全卷积网络中，将全卷积网络各 个阶段不同特征尺寸的特征图与骨干网络各个阶段不同尺度的特征图按元素相 加融合作为全卷积网络中下一卷积层的输入，直到全卷积网络的最后一层，得 到语义分割特征。
具体的，在网络中添加与检测并行的语义分割分支，并将语义分割分支的 特征与骨干网络提取的特征进行融合以增强目标区域的特征，从而提高检测目 标检测的性能。
在遥感影像中，目标的掩膜具有丰富的语义信息。然而，获取检测目标的 精细掩膜是一个费时费力的过程。考虑到检测目标在遥感影像中通常呈现为长 条状形状，因此，为了在多方向遥感目标检测网络中简便高效地利用目标的掩 膜信息，在本实施例中，根据目标的基本物理形状，为每个目标构建五边形的 分割掩膜。构建检测目标五边形掩膜的具体方法如下，且如图6所示。
首先，获取目标的旋转边界框标注(cx,cy,w,h,θ)，以目标中心点为坐标原点建立坐标系，坐标横轴为w方向，坐标纵轴为h方向，则船头顶点坐标为
Figure SMS_13
左前点坐标为
Figure SMS_14
右前点坐标为
Figure SMS_15
左后点坐标为
Figure SMS_16
，右后点坐标为
Figure SMS_17
然后，按照坐标变换公式对五边形掩膜的顶点进 行旋转，旋转矩阵
Figure SMS_18
最后，对旋转后的五边形掩膜的顶点进 行平移变换，平移矩阵为D＝[cx,cy]，五点掩膜坐标生成如式(4)所示：
p＝p'×Mrotate+D (4)
语义分割图生成过程如图7所示。首先，生成与原图尺寸一致的像素值均 为0的单通道图像；其次，利用五边形掩膜生成方法获得图中每个目标的掩膜 位置；最后，将所有目标掩膜对应位置以像素值1进行填充。
将骨干网络最后一层输出的特征图进行多次上采样并与骨干网络各个阶段 不同尺度的特征图按元素相加融合。如图2所示，语义分割分支最后一层的特 征图除了用于预测前景和背景区域，同时将其与输入检测分支的特征进行融合。
在其中一个实施例中，将得到的骨干网络各个阶段不同尺度的特征图与通 道与空间位置特征输入到语义分割分支中，得到语义分割特征，步骤后还包括：根据遥感图像生成与原图尺寸一致的像素值均为0的单通道图像；采用五边形 掩膜生成方式获得图中每个目标的掩膜位置；将所有目标的掩膜对应位置以像 素值1进行填充，得到语义分割图。
角度预测分支的原理：
在原始的CenterNet网络中，物体的标注方式采用水平边界框标注，这种 标注方式在近景图像的目标检测中适用性更强。如图8所示，在遥感影像中， 影像的拍摄角度均为从顶至下拍摄，在检测目标排列密集的情况下，相邻目标的水平边界框之间的区域IoU较大，在非极大值抑制(Non-Maximal Suppression,NMS)后处理阶段，需要设置合适的NMS阈值。若阈值设置过大， 部分目标出现漏检；若阈值设置过小，则检测结果出现冗余。因此，采用旋转边界框进行标注更适合于遥感影像中多种方向的检测目标检测。
使用旋转边界框标注的表示方法为(cx,cy,w,h,θ)，其中(cx,cy)表示目标中心点的 坐标，w表示目标短边的长度，h表示目标长边的长度，θ表示长边与y轴正方 向的夹角，θ∈[0，π]。如图9所示。
如图2中的检测头部分所示，本发明在检测头中添加角度预测分支，并对 特征图中的每个点进行角度预测。需要说明的是，网络只对真实中心点位置处 的角度进行损失的计算，损失函数为Lang，如式(5)所示。
Figure SMS_19
其中，
Figure SMS_20
θk分别表示第k个目标的预测角度及其真实角度，N表示输入 图像I中包含的目标数量。此外，由于本文采用旋转边界框进行标注，因此，在 网络的尺寸预测分支中，sk＝(wk,hk)，其中的wk与hk分别代表旋转边界框的宽与 高，与原始的水平边界框的尺寸定义并不完全相同。
角度预测分支输出角度预测图
Figure SMS_21
联合检测头部分其余分支的输出， 热力图中第i个峰值点预测得到的旋转边界框为
Figure SMS_22
其中
Figure SMS_23
表示 第i个峰值点所在位置的角度预测值。
CenterNet算法原理：
(1)中心点热力图预测
基于CenterNet网络的目标检测通过热力图中的局部最大值点确定目标的 中心点位置。假设给定的输入图像为
Figure SMS_24
其中W、H分别表示图像的宽度 与高度，Ci表示输入图像的色彩通道数，通常情况下，Ci＝3。预测的热力图为
Figure SMS_25
其中R表示热力图相比于输入图像的下采样倍数,Co表示待预测的目 标类别数目。
Figure SMS_26
表示该点为目标中心点，
Figure SMS_27
表示该点为背景点。对输入图 像中的每一个属于某个类别C的中心点
Figure SMS_28
其在热力图中的对应位 置为
Figure SMS_29
假设热力图真值为
Figure SMS_30
将目标中 心点投影到热力图真值时采用高斯核公式，如式(6)所示：
Figure SMS_31
其中，σp表示目标尺寸自适应偏差。
当属于同一个类别的两个目标的高斯分布重叠时，取较大值作为热力图真 值。热力图的损失函数设置为像素级的焦点损失(Focal Loss)：
Figure SMS_32
其中，α和β表示焦点损失的超参数，N表示图像I中关键点的数目。在本发明 中，α设置为2，β设置为4。
(2)偏移量预测
由于热力图尺寸为原始输入图像尺寸的
Figure SMS_33
导致从热力图得到的中心点位置 映射到原始图像时，会产生一定的偏移。为了解决位置偏移问题，需要对偏移 量进行预测。针对每个中心点
Figure SMS_34
预测的局部偏移量为
Figure SMS_35
所有类别的 目标均共享相同的偏移预测。在进行偏移量预测时使用L1损失，如式(8)所示。
Figure SMS_36
需要说明的是，网络只针对目标中心点
Figure SMS_37
进行偏移量的预测，其它位置不参 与偏移量损失的计算。
(3)尺寸预测
设
Figure SMS_38
为目标k的边界框，其类别为ck。目标k的中心点坐标为
Figure SMS_39
在
Figure SMS_40
中预测所有的目标中心点位置。目标k的水平边界 框标注尺寸为
Figure SMS_41
损失函数为Lsize，如式(9)所示：
Figure SMS_42
其中，
Figure SMS_43
表示第k个目标的预测尺寸，N表示输入图像I中包含的目标数量 (中心点数量)。
综上所述，在基于CenterNet网络的目标检测算法中，总的损失函数如式(5) 所示：
Ldet＝Lk+λoffLoff+λsizeLsize (10)
其中，λoff和λsize分别为偏移量预测损失与尺寸预测损失的权重因子。在本实施例中，λoff设置为1，λsize设置为0.1。
(4)推理阶段
在推理阶段，CenterNet通过使用全卷积网络以输出中心点预测热力图
Figure SMS_44
偏移量预测
Figure SMS_45
以及尺寸预测
Figure SMS_46
具体过程为：首先，在预测的热力图
Figure SMS_47
中寻找局 部峰值点，峰值点处的预测值应该大于或等于其8-邻域内其它点处的预测值； 然后，根据预测值的数值大小进行降序排列，并保留前100个峰值点作为候选 的目标峰值点。记峰值点i在热力图中的坐标为(xi,yi,c)，则
Figure SMS_48
的值为检测到 的目标置信度。此外，与该峰值点对应的目标水平边界框Boxi按照下式(11)生成：
Figure SMS_49
其中，
Figure SMS_50
与
Figure SMS_51
为特征图位置第i个峰值点(xi,yi)在原始输入图像中的位置映射，
Figure SMS_52
表示网络预测的该中心点局部偏移量，
Figure SMS_53
表示网络预测以该点为 中心点的目标尺寸。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示， 但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的 说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执 行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些 子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或 者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图10所示，提供了一种多方向遥感目标检测装置，包 括：数据获取模块、遥感多方向目标检测网络构建模块、遥感多方向目标检测 网络训练模块以及遥感目标检测结果确定模块，其中：
数据获取模块，用于获取目标的遥感图像，并对遥感图像进行预处理得到 训练样本；
遥感多方向目标检测网络构建模块，用于构建遥感多方向目标检测网络； 遥感多方向目标检测网络是在Centernet网络的基础上改进得到的，改进点包 括：在骨干网络最后一层后边添加卷积注意力模块提取更有意义的通道与空间 位置特征；添加与检测头并行的语义分割分支，并将语义分割分支的特征与输 入检测头的特征进行融合，并将融合特征输入到检测头中；在原检测头中添加 用于准确预测目标的旋转角度的角度预测分支形成新检测头；
遥感多方向目标检测网络训练模块，用于根据训练样本对遥感多方向目标 检测网络进行训练，得到训练好的遥感多方向目标检测模型；
遥感目标检测结果确定模块，用于获取待测目标遥感图像，并对待测目标 遥感图像进行预处理，将预处理结果输入到遥感多方向目标检测模型中，得到 遥感目标检测结果。
在其中一个实施例中，遥感多方向目标检测网络包括骨干网络、卷积注意 力模块、语义分割分支以及新检测头。遥感多方向目标检测网络训练模块，还 用于将训练样本输入到骨干网络中，将骨干网络最后一层输出的特征图输入到 卷积注意力模块中，得到通道与空间位置特征；将得到的骨干网络各个阶段不同尺度的特征图与通道与空间位置特征输入到语义分割分支中，得到语义分割 特征；将通道与空间位置特征和语义分割特征输入到新检测头中，得到预测检 测结果；根据预测检测结果和训练样本进行反向训练，得到遥感多方向目标检 测模型。
在其中一个实施例中，卷积注意力模块包括通道注意力模块和空间注意力 模块。遥感多方向目标检测网络训练模块，还用于将训练样本输入到骨干网络 中，将骨干网络最后一层输出的特征图输入到通道注意力模块，得到通道注意 力特征；将通道注意力特征与骨干网络最后一层输出的特征图进行融合后，得 到融合通道注意力特征；将融合通道注意力特征输入到空间注意力模块中，得到空间注意力特征；将空间注意力特征与融合通道注意力特征进行融合，得到 通道与空间位置特征。
在其中一个实施例中，通道注意力模块包括共享全连接网络、最大值池化 层以及平均值池化层。遥感多方向目标检测网络训练模块，还用于将训练样本 输入到骨干网络中，将骨干网络最后一层输出的特征图分别输入到通道注意力 模块的最大值池化层和通道注意力模块的平均值池化层，得到最大值池化特征 和平均值池化特征；将最大值池化特征和平均值池化特征分别输入到共享全连接网络中，并将得到的特征相加后进行激活，得到通道注意力特征。
在其中一个实施例中，空间注意力模块包括共享参数的卷积层、最大值池 化层以及平均值池化层。遥感多方向目标检测网络训练模块，还用于将融合通 道注意力特征分别输入到空间注意力模块的最大值池化层和空间注意力模块的 平均值池化层，得到最大池化矩阵和均值池化矩阵；将最大池化矩阵和均值池 化矩阵沿通道串联，并将串联后的特征输入到共享参数的卷积层，得到空间注意力特征。
在其中一个实施例中，语义分割分支包括全卷积网络。遥感多方向目标检 测网络训练模块，还用于将通道与空间位置特征进行多次上采样输入到全卷积 网络中，将全卷积网络各个阶段不同特征尺寸的特征图与骨干网络各个阶段不 同尺度的特征图按元素相加融合作为全卷积网络中下一卷积层的输入，直到全 卷积网络的最后一层，得到语义分割特征。
在其中一个实施例中，遥感多方向目标检测网络训练模块后还包括语义分 割模块，用于根据遥感图像生成与原图尺寸一致的像素值均为0的单通道图像； 采用五边形掩膜生成方式获得图中每个目标的掩膜位置；将所有目标的掩膜对 应位置以像素值1进行填充，得到语义分割图。
关于多方向遥感目标检测装置的具体限定可以参见上文中对于多方向遥感 目标检测方法的限定，在此不再赘述。上述多方向遥感目标检测装置中的各个 模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式 内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设 备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其 内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、 存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提 供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。 该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存 储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一 种多方向遥感目标检测方法。该计算机设备的显示屏可以是液晶显示屏或者电 子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可 以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、 触控板或鼠标等。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关 的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定， 具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件， 或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储 器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步 骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程 序，计算机程序被处理器执行时实现上述方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于 一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述 各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、 存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。 非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM (EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存 取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形 式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据 率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动 态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述 实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特 征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细， 但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的 普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改 进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权 利要求为准。

Claims (9)

1.一种多方向遥感目标检测方法，其特征在于，所述方法包括：
获取目标的遥感图像，并对所述遥感图像进行预处理得到训练样本；
构建遥感多方向目标检测网络；所述遥感多方向目标检测网络是在Centernet网络的基础上改进得到的，改进点包括：在骨干网络最后一层后边添加卷积注意力模块提取显著性的通道与空间位置特征；添加与检测头并行的语义分割分支，并将所述语义分割分支的特征与输入检测头的特征进行融合，并将融合特征输入到所述检测头中；所述检测头是在原检测头中添加用于准确预测目标的旋转角度的角度预测分支形成的新检测头；
根据所述训练样本对所述遥感多方向目标检测网络进行训练，得到训练好的遥感多方向目标检测模型；
获取待测目标遥感图像，并对所述待测目标遥感图像进行预处理，将预处理结果输入到所述遥感多方向目标检测模型中，得到遥感目标检测结果；
其中，所述遥感多方向目标检测网络包括骨干网络、卷积注意力模块、语义分割分支以及新检测头；
根据所述训练样本对所述遥感多方向目标检测网络进行训练，得到训练好的遥感多方向目标检测模型，包括：
将所述训练样本输入到所述骨干网络中，将骨干网络最后一层输出的特征图输入到所述卷积注意力模块中，得到通道与空间位置特征；
将得到的骨干网络各个阶段不同尺度的特征图与所述通道与空间位置特征输入到所述语义分割分支中，得到语义分割特征；
将所述通道与空间位置特征和所述语义分割特征输入到所述新检测头中，得到预测检测结果；根据所述预测检测结果和所述训练样本进行反向训练，得到遥感多方向目标检测模型。
2.根据权利要求1所述的方法，其特征在于，所述卷积注意力模块包括通道注意力模块和空间注意力模块；
将所述训练样本输入到所述骨干网络中，将骨干网络最后一层输出的特征图输入到所述卷积注意力模块中，得到通道与空间位置特征，包括：
将所述训练样本输入到所述骨干网络中，将骨干网络最后一层输出的特征图输入到所述通道注意力模块，得到通道注意力特征；
将所述通道注意力特征与所述骨干网络最后一层输出的特征图进行融合后，得到融合通道注意力特征；
将所述融合通道注意力特征输入到所述空间注意力模块中，得到空间注意力特征；
将所述空间注意力特征与所述融合通道注意力特征进行融合，得到通道与空间位置特征。
3.根据权利要求2所述的方法，其特征在于，所述通道注意力模块包括共享全连接网络、最大值池化层以及平均值池化层；
将所述训练样本输入到所述骨干网络中，将骨干网络最后一层输出的特征图输入到所述通道注意力模块，得到通道注意力特征，包括：
将所述训练样本输入到所述骨干网络中，将骨干网络最后一层输出的特征图分别输入到所述通道注意力模块的最大值池化层和所述通道注意力模块的平均值池化层，得到最大值池化特征和平均值池化特征；
将所述最大值池化特征和所述平均值池化特征分别输入到所述共享全连接网络中，并将得到的特征相加后进行激活，得到通道注意力特征。
4.根据权利要求2所述的方法，其特征在于，所述空间注意力模块包括共享参数的卷积层、最大值池化层以及平均值池化层；
将所述融合通道注意力特征输入到所述空间注意力模块中，得到空间注意力特征，包括：
将所述融合通道注意力特征分别输入到所述空间注意力模块的最大值池化层和所述空间注意力模块的平均值池化层，得到最大池化矩阵和均值池化矩阵；
将所述最大池化矩阵和所述均值池化矩阵沿通道串联，并将串联后的特征输入到所述共享参数的卷积层，得到空间注意力特征。
5.根据权利要求1所述的方法，其特征在于，所述语义分割分支包括全卷积网络；
将得到的骨干网络各个阶段不同尺度的特征图与所述通道与空间位置特征输入到所述语义分割分支中，得到语义分割特征，包括：
将通道与空间位置特征进行多次上采样输入到全卷积网络中，将全卷积网络各个阶段不同特征尺寸的特征图与骨干网络各个阶段不同尺度的特征图按元素相加融合作为全卷积网络中下一卷积层的输入，直到全卷积网络的最后一层，得到语义分割特征。
6.权利要求1所述的方法，其特征在于，将得到的骨干网络各个阶段不同尺度的特征图与所述通道与空间位置特征输入到所述语义分割分支中，得到语义分割特征，步骤后还包括：
根据所述遥感图像生成与原图尺寸一致的像素值均为0的单通道图像；
采用五边形掩膜生成方式获得图中每个目标的掩膜位置；
将所有目标的掩膜对应位置以像素值1进行填充，得到语义分割图。
7.一种多方向遥感目标检测装置，其特征在于，所述装置包括：
数据获取模块，用于获取目标的遥感图像，并对所述遥感图像进行预处理得到训练样本；
遥感多方向目标检测网络构建模块，用于构建遥感多方向目标检测网络；所述遥感多方向目标检测网络是在Centernet网络的基础上改进得到的，改进点包括：在骨干网络最后一层后边添加卷积注意力模块提取显著性的通道与空间位置特征；添加与检测头并行的语义分割分支，并将所述语义分割分支的特征与输入检测头的特征进行融合，并将融合特征输入到所述检测头中；所述检测头是在原检测头中添加用于准确预测目标的旋转角度的角度预测分支形成的新检测头；
遥感多方向目标检测网络训练模块，用于根据所述训练样本对所述遥感多方向目标检测网络进行训练，得到训练好的遥感多方向目标检测模型；
遥感目标检测结果确定模块，用于获取待测目标遥感图像，并对所述待测目标遥感图像进行预处理，将预处理结果输入到所述遥感多方向目标检测模型中，得到遥感目标检测结果；
其中，所述遥感多方向目标检测网络包括骨干网络、卷积注意力模块、语义分割分支以及新检测头；
遥感多方向目标检测网络训练模块，还用于将所述训练样本输入到所述骨干网络中，将骨干网络最后一层输出的特征图输入到所述卷积注意力模块中，得到通道与空间位置特征；将得到的骨干网络各个阶段不同尺度的特征图与所述通道与空间位置特征输入到所述语义分割分支中，得到语义分割特征；将所述通道与空间位置特征和所述语义分割特征输入到所述新检测头中，得到预测检测结果；根据所述预测检测结果和所述训练样本进行反向训练，得到遥感多方向目标检测模型。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202111093036.5A 2021-09-17 2021-09-17 多方向遥感目标检测方法、装置及计算机设备 Active CN113762204B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111093036.5A CN113762204B (zh) 2021-09-17 2021-09-17 多方向遥感目标检测方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111093036.5A CN113762204B (zh) 2021-09-17 2021-09-17 多方向遥感目标检测方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN113762204A CN113762204A (zh) 2021-12-07
CN113762204B true CN113762204B (zh) 2023-05-12

Family

ID=78796235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111093036.5A Active CN113762204B (zh) 2021-09-17 2021-09-17 多方向遥感目标检测方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN113762204B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114429524B (zh) * 2022-04-07 2022-09-23 深圳市城市交通规划设计研究中心股份有限公司 单目视觉下的三维目标检测模型的构建方法及检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10248664B1 (en) * 2018-07-02 2019-04-02 Inception Institute Of Artificial Intelligence Zero-shot sketch-based image retrieval techniques using neural networks for sketch-image recognition and retrieval
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法
CN112507777A (zh) * 2020-10-10 2021-03-16 厦门大学 一种基于深度学习的光学遥感图像舰船检测与分割方法
CN112800964A (zh) * 2021-01-27 2021-05-14 中国人民解放军战略支援部队信息工程大学 基于多模块融合的遥感影像目标检测方法及系统
CN112966690A (zh) * 2021-03-03 2021-06-15 中国科学院自动化研究所 基于无锚框和提议框的场景文字检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10248664B1 (en) * 2018-07-02 2019-04-02 Inception Institute Of Artificial Intelligence Zero-shot sketch-based image retrieval techniques using neural networks for sketch-image recognition and retrieval
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法
CN112507777A (zh) * 2020-10-10 2021-03-16 厦门大学 一种基于深度学习的光学遥感图像舰船检测与分割方法
CN112800964A (zh) * 2021-01-27 2021-05-14 中国人民解放军战略支援部队信息工程大学 基于多模块融合的遥感影像目标检测方法及系统
CN112966690A (zh) * 2021-03-03 2021-06-15 中国科学院自动化研究所 基于无锚框和提议框的场景文字检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种整合语义对象特征的视觉注意力模型;李娜 等;哈尔滨工业大学学报;第52卷(第5期);99-105 *

Also Published As

Publication number Publication date
CN113762204A (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
KR102414452B1 (ko) 목표 검출 및 목표 검출 네트워크의 훈련
CN112446327B (zh) 一种基于无锚框的遥感图像目标检测方法
Gong et al. Context-aware convolutional neural network for object detection in VHR remote sensing imagery
Li et al. Cross-layer attention network for small object detection in remote sensing imagery
Lv et al. Iterative training sample augmentation for enhancing land cover change detection performance with deep learning neural network
Chen et al. A degraded reconstruction enhancement-based method for tiny ship detection in remote sensing images with a new large-scale dataset
CN111507271A (zh) 一种机载光电视频目标智能化检测与识别方法
CN114419467A (zh) 旋转船只目标检测模型的训练方法、训练装置和存储介质
Ran et al. Lightweight oriented object detection using multiscale context and enhanced channel attention in remote sensing images
Gao et al. Improved YOLOv4 based on attention mechanism for ship detection in SAR images
CN112766108B (zh) 基于上下文信息的sar图像目标检测方法
CN117745688B (zh) 一种多尺度sar影像变化检测可视化系统、电子设备及存储介质
CN112991537B (zh) 城市场景重建方法、装置、计算机设备和存储介质
Song et al. Fine-grained object detection in remote sensing images via adaptive label assignment and refined-balanced feature pyramid network
CN116109706B (zh) 基于先验几何约束的空间目标反演方法、装置和设备
CN113762204B (zh) 多方向遥感目标检测方法、装置及计算机设备
Yan et al. When vectorization meets change detection
CN111721283B (zh) 定位算法的精度检测方法、装置、计算机设备和存储介质
Zhao et al. Small-size target detection in remotely sensed image using improved multi-scale features and attention mechanism
Yang et al. GSDDet: Ground sample distance guided object detection for remote sensing images
Zhu et al. ROS-Det: Arbitrary-oriented ship detection in high resolution optical remote sensing images via rotated one-stage detector
Lan et al. Spatial-Transformer and Cross-Scale Fusion Network (STCS-Net) for Small Object Detection in Remote Sensing Images
CN115457120A (zh) 一种gps拒止条件下的绝对位置感知方法与系统
Cai et al. Rotating target detection for remote sensing images based on dense attention
CN114492622B (zh) 星载影像匹配方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant