CN111027511B - 基于感兴趣区块提取的遥感图像舰船检测方法 - Google Patents

Abstract

本发明公开了一种基于感兴趣区块提取的光学遥感图像舰船检测方法，主要解决现有技术检测精度低，虚警较多的问题。其实现方案为：构建光学遥感图像舰船检测数据集；对宽幅遥感图像下采样并去雾增强，利用上下文信息和图像全局特征进行水陆分割；用构建的数据集训练基于SCRDet的目标检测模型；根据水陆分割结果，用部分重叠的滑动窗口扫描原宽幅遥感图像提取感兴趣区块作为待检测区域，将待检测区域图像输入检测模型得到区域检测结果；将区域结果映射到原宽幅图像尺度上，作改进的非极大值抑制以优化初步检测结果；根据舰船的结构特征再次优化检测结果。本发明检测精度高，虚警率低，可用于获取大幅面遥感图像中感兴趣的舰船目标及其的位置。

Description

基于感兴趣区块提取的遥感图像舰船检测方法

技术领域

本发明属于图像处理技术领域，特别涉及一种光学遥感图像舰船检测方法，可用于大幅面遥感图像中的目标识别。

背景技术

光学遥感图像的目标检测是遥感影像研究领域的重要问题之一，而舰船目标检测由于其特殊性和关键性，在渔业管理、军事侦察和战略部署等方面有着极为重要的应用价值。舰船目标检测就是要从复杂的场景中确定水域或岸边是否存在舰船，并对其进行定位。

传统的舰船目标检测方法主要包括利用海陆分割和利用先验地理信息的方法，这些方法需要手动设计大量特征来定位舰船，并且在对靠岸舰船和离岸舰船这两种不同场景目标进行同时检测时适应性不强。

近年来，深度学习得到了快速发展，深度卷积神经网络因其能够自动提取图像浅层及深层特征，避免了传统方法的手动特征提取，在图像处理领域获得了先进的结果。目前，基于深度学习的方法是目标检测的主流方法。

基于深度学习的舰船目标检测方法按检测框形式可分为两类：基于水平检测框和基于倾斜检测框。其中：

基于水平检测框的方法，包括经典两阶段检测框架Faster-RCNN，单阶段检测框架Yolo、RetinaNet和SSD。

基于倾斜检测框的方法，包括R²CNN、ROI-Transformer、SCRDet等。

由于舰船方向任意、靠岸舰船密集等特点，倾斜检测框能够对舰船更精确的定位。在采用倾斜检测框的方法中，SCRDet(Towards More Robust Detection for Small,Cluttered and Rotated Objects)模型能充分融合底层特征和高层特征，对密集目标达到更优的检测结果。然而，基于深度学习的方法不会对图像进行水陆分割，而是直接将宽幅图像切片输入训练好的模型生成结果，将不包含水域的复杂陆地区域输入检测模型不仅降低了检测效率，同时还可能造成明显的陆地虚警，另外由于切分图像导致的船体残缺也会造成明显漏检，所以检测精度不高。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于感兴趣区块提取的光学遥感图像舰船检测方法，以优化遥感图像中舰船目标的定位，提高检测效率与精度。

为实现上述目的，本发明的技术方案包括如下步骤：

(1)构建光学遥感图像舰船检测数据集G：

1a)下载高分二号光学遥感数据，人工筛选出包含舰船目标的区域，用部分重叠的方式裁剪这些区域并保存；

1b)对1a)得到的所有图像随机进行上下左右翻转或旋转，得到扩增图像并保存；

1c)对扩增的图像用倾斜的矩形框进行标注，并将标注信息保存为xml格式文件，并用所有扩增图像和其对应的标注信息构成光学遥感图像舰船检测数据集G；

(2)对宽幅光学遥感图像进行下采样，利用基于暗通道先验的去雾算法减少图像上的云雾遮挡，得到增强图像I；

(3)利用上下文信息和图像全局特征对增强图像I进行水陆分割，提取感兴趣的水域区块，得到二值图：

(3a)利用像素的上下文特征信息对增强图像I作初步阈值分割，得到初步水陆分割二值图I₃；

(3b)标记初步水陆分割二值图I₃中水域连通域集合W＝{w₁,...,w_i,...,w_n}，其中w_i表示第i个水域联通域；标记初步水陆分割二值图I₃中陆地联通域集合L＝{l₁,...,l_j,...,l_m}，其中l_j表示第j个陆地联通域；提取每个水域联通域和陆地联通域的区域特征，根据判别规则对其类别进行重标定，得到增强图像I的优化水陆分割二值图I₄；

(3c)对优化水陆分割二值图I₄作形态学膨胀操作后，上采样恢复到原宽幅图像大小，得到最终水陆分割二值图I₅；

(4)采用随机多尺度策略训练基于卷积神经网络的SCRDet目标检测模型M₀，得到训练后的检测模型M；

(5)利用最终水陆分割二值图I₅，在原宽幅图像上用部分重叠的滑动窗口提取感兴趣区块作为待检测区域，构成待检测区域图像集合为F＝{f₁,...,f_i,...,f_n}、位置集合为S＝{s₁,...,s_i,...,s_n}，其中f_i表示第i个检测区域，s_i表示检测区域f_i的左上角坐标，将待检测区域图像集合F输入到检测模型M中，得到每个区域f_i的区域检测结果；

(6)根据位置集合S将区域检测结果映射到原宽幅图像尺度上，得到初步检测结果集合

其中Pⁱ、

分别表示初步检测的第i个检测框的类别、位置坐标、置信度分数；对初步检测结果集合A作改进的非极大值抑制，得到一次优化检测结果集合

其中Qⁱ、

分别表示一次优化的第i个检测框的类别、位置坐标、置信度分数；

(7)根据舰船的结构特征对一次优化检测结果集合B进行二次优化，得到最终检测结果集合

其中Rⁱ、

分别表示最终生成的的第i个检测框的类别、位置坐标、置信度分数。

本发明与现有的技术相比具有以下优点：

1.本发明根据宽幅遥感图像场景复杂、尺寸大的特点，利用下采样并去雾的增强图像的上下文信息和全局特征进行水陆分割，并进行形态学操作，能更有效地优化水陆分割结果，保留感兴趣区块内的舰船目标。

2、本发明通过部分重叠的滑动窗口扫描全图，并根据水陆分割结果提取感兴趣区块作为待检测区域，在降低陆地上的虚警的同时，有效地提高了目标检测效率；另外，在宽幅尺度上对检测结果作改进的非极大值抑制，有效地减少了图像切片造成的漏检，提高了检测精度。

附图说明

图1是本发明的实现流程示意图；

图2是用本发明对宽幅遥感图像进行水陆分割的仿真结果图像；

图3是用现有方法对宽幅遥感图像进行舰船检测的仿真结果图像；

图4是用本发明对宽幅遥感图像进行舰船检测的仿真结果图像。

具体实施方式

以下结合附图，对本发明的实施例和效果作进一步说明。

参照图1，本实施例的实现步骤如下：

步骤1，构建光学遥感图像舰船检测数据集G。

1.1)下载高分二号光学遥感数据，人工筛选出包含舰船目标的区域，用大小为832×832、步长为416的部分重叠滑动窗口裁剪这些区域并保存；

1.2)对1.1)得到的所有图像随机进行上下左右翻转或旋转，得到扩增图像并保存；

1.3)对1.2)得到的所有扩增图像用倾斜的矩形框进行标注，并将标注信息保存为xml格式文件，并用所有扩增图像和其对应的标注信息构成光学遥感图像舰船检测数据集G。

步骤2，宽幅光学遥感图像下采样并去雾增强。

对原宽幅光学遥感图像进行8倍的下采样，根据何恺明在《Single Image HazeRemoval Using Dark Channel Prior》中提出的基于暗通道先验的去雾算法，减少原宽幅光学遥感图像上的云雾遮挡，得到增强图像I。

步骤3，利用上下文信息和图像全局特征进行水陆分割。

3.1)利用像素的上下文特征信息对增强图像I作初步阈值分割；

3.1.a)对增强图像I的边缘作宽度为3的镜像拓展得到拓展图像I'，以增强图像I的每个像素点为7×7滑动窗口的中心，在拓展图像I'上提取对应窗口区域并计算区域方差v作为中心像素点的上下文特征值，得到增强图像I的特征图V，该增强图像I在坐标(i,j)处的特征值为V(i,j)；

3.1.b)以1为间隔统计特征图V的分布直方图，确定直方图峰值处所对应的峰值方差v_max，计算[v_max,+∞)范围内直方图的第一个谷值所对应的谷值方差g_t；

3.1.c)将增强图像I在坐标(i,j)处的特征值为V(i,j)与谷值方差g_t进行比较：

若V(i,j)≤g_t则更新V(i,j)＝1，

否则，更新V(i,j)＝0；

3.1.d)对更新后的特征图V作形态学的膨胀操作，得到特征二值图I₁；

3.1.e)用改进的拉普拉斯算子

对增强图像I作拉普拉斯灰度变换，利用OTSU自适应阈值法分割灰度变换后的增强图像I，得到灰度二值图I₂；

3.1.f)将特征二值图I₁和灰度二值图I₂逐像素对应作逻辑与操作，得到初步水陆分割二值图I₃，其中I₃中像素值0表示陆地，像素值1表示水域；

3.2)利用水域连通域和陆地联通域特征，对联通域进行类别重标定：

3.2.a)标记初步水陆分割二值图I₃中水域连通域集合W＝{w₁,...,w_i,...,w_n}，其中w_i表示第i个水域联通域，计算n个水域联通域的面积，取面积最大的三个联通域作为宽幅图像水域特征模板，并计算水域特征模板的方差σ²；

3.2.b)初始化面积阈值t₁＝35×35；

3.2.c)遍历水域联通域集合W，计算W中w_i的面积

和方差

若

且

则重标定w_i为水域，否则，重标定w_i为陆地；

3.2.d)标记初步水陆分割二值图I₃中陆地联通域集合L＝{l₁,...,l_j,...,l_m}，其中l_j表示第j个陆地联通域；

3.2.e)遍历陆地联通域集合L，计算L中l_j的面积为

若

则重标定l_j为水域，否则，重标定l_j陆地；

3.2.f)为重标定后的陆地联通域和水域联通域中的所有像素分别赋值0和1，得到优化水陆分割二值图I₄；

3.3)利用优化水陆分割二值图I₄得到最终水陆分割二值图I₅：

3.3.a)复制优化水陆分割二值图I₄，得到复制的结果图I₄'；

3.3.b)用15×15的椭圆结构元素逐像素扫描优化水陆分割二值图I₄，并将结构元素与I₄对应区域内的各像素点作逻辑与操作：

3.3.c)判断各像素点的结果，更新I₄'对应区域内的中心像素：

若各像素点的结果都为0，则更新该对应区域中心像素为0；

否则，更新该对应区域中心像素为1；

3.3.d)将更新后的I₄'进行8倍的上采样，将I₄'的大小恢复到原宽幅图像大小，得到最终水陆分割二值图I₅。

步骤4，随机多尺度训练基于卷积神经网络的SCRDet模型M₀。

4.1)将步骤一构建的光学遥感图像舰船检测数据集G的90％作为训练样本，剩余10％作为测试样本；

4.2)使用ResNet-50网络作为SCRDet模型M₀的骨干网络，并用数据集ImageNet预训练ResNet-50网络得到的模型参数，再用该模型参数对SCRDet模型M₀的骨干网络进行参数初始化；

4.3)随机选取训练样本中的一幅训练图像和其对应的标注，并随机上下或左右翻转图像及标注，得到变换图像X和真实标注Y；

4.4)随机从[600,700,832]中选定某一尺度作为图像的短边长度，将变换图像X和真实标注Y按比例放缩到选定的尺度后，输入到SCRDet模型M₀中，得到预测结果Y'；

4.5)计算预测结果Y'与真实标注Y之间的误差，使用优化器Adam最小化误差以更新SCRDet模型M₀的权重参数；

4.6)重复4.3)-4.5)，当训练轮数达到200000时，得到训练好的目标检测模型M。

步骤5，提取原宽幅图像上的待检测区域，输入到训练好的目标检测模型M中对区域进行检测。

5.1)初始化窗口参数p＝832，初始化待检测区域图像集合F和位置集合S为空集合；

5.2)用大小为p×p、步长为p/2的部分重叠的滑动窗口扫描原宽幅遥感图像，计算原宽幅遥感图像的窗口区域f所对应的最终水陆分割二值图I₅区域内的水域面积S_w；

5.3)根据水域面积S_w的大小，判断窗口区域f是否为感兴趣区块：

若S_w＞(p/8)²，则判别窗口区域f为感兴趣区块，将该窗口区域f加入到待检测区域图像集合F中，并将窗口区域f的左上角坐标s加入到位置集合S，得到待检测区域图像集合F＝{f₁,...,f_i,...,f_n}和位置集合S＝{s₁,...,s_i,...,s_n}；

否则，判别窗口区域f为非感兴趣区块，不进行任何操作；

5.5)将待检测区域图像集合F＝{f₁,...,f_i,...,f_n}输入到检测模型M中，得到每个区域f_i的所有检测框的类别、位置坐标、置信度分数。

步骤6，在原宽幅图像尺度上对初步检测结果作改进的非极大值抑制。

6.1)根据位置集合S＝{s₁,...,s_i,...,s_n}中待检测区域f_i的坐标s_i，将每个区域f_i的检测结果映射到原宽幅图像尺度上，得到初步检测结果集合：

其中Pⁱ、

分别表示初步检测的第i个检测框的类别、位置坐标、置信度分数；

6.2)初始化一次优化后的检测结果集合B为空；

6.3)将初步检测结果集合A中所有检测框的类别假设为同一类，令A中置信度最高的检测结果的索引

根据索引r从A中取出检测结果

加入集合B后，并将

从集合A中删除；

6.4)计算初步检测结果集合A中每个检测框与置信度最高的检测框的交并比

即两个检测框重叠区域面积与并集区域面积的比值；

6.5)判断交并比

与交并比阈值t₂的大小关系：

若

则更新置信度分数

否则，

不更新；

6.6)重复步骤6.3)-6.5)的操作，直到初步检测结果集合A为空，得到一次优化后的检测结果集合：

其中Qⁱ、

分别表示一次优化后的第i个检测框的类别、位置坐标、置信度分数。

步骤7，根据光学遥感图像中舰船的结构特征，对一次优化后的检测结果集合B中的所有检测结果

进行二次优化。

7.1)判断置信度分数

的大小：若

则将第i个检测框的类别lⁱ优化为背景，否则优化为舰船目标；

7.2)根据检测框位置坐标

得到检测框的最长边x，判断x的大小：若x＞450，则将第i个检测框的类别Qⁱ优化为背景，否则，优化为舰船目标；

7.3)根据检测框位置坐标

计算检测框的最长边与最短边之比y，判断y的大小：若y＞11，则将第i个检测框的类别Qⁱ优化为背景，否则，优化为舰船目标。

本发明的效果可以通过以下仿真实验进一步说明：

1.仿真条件:

仿真实验采用“高分二号”光学遥感卫星拍摄的中国主要城市的全色图像，地面分辨率1米或4米。

仿真所用的CPU为Intel(R)Core(TM)i7-8750H、主频2.20GHz，GPU为8G的GeForceGTX1080，仿真平台为UBUNTU 16.04操作系统，使用TensorFlow深度学习框架，采用Python3.6软件进行实验。

2.仿真内容及结果：

仿真1，用本发明对10000×10000的宽幅遥感图像进行水陆分割，根据水陆分割结果对陆地进行屏蔽，结果如图2所示，其中黑色代表陆地，其余均为感兴趣的水域。从图2可见，与陆地连接的靠岸舰船得到了很好的保留。

仿真2，用现有的基于卷积神经网络的方法直接对10000×10000的宽幅遥感图像进行切片式逐一检测，结果如图3所示，其中绿色框标注出检测到的舰船,蓝色数字为置信度分时。从图3可见，在对宽幅遥感图像直接切片检测时由于船体残缺造成了明显漏检，这是因为现有的方法未考虑到舰船的分布特征所致。

仿真3，用本发明对10000×10000的宽幅遥感图像进行舰船目标检测，结果如图4所示，其中绿色框标注出检测到的舰船，蓝色数字为置信度分数。

对比仿真2与仿真3，本发明在保留靠岸舰船信息前提下有效地进行了水陆分割，并根据水陆分割结果提取到感兴趣区域，在此基础上采用部分重叠检测策略及改进非极大值抑制进行优化，最后结合舰船结构信息再次优化检测结果，相比现有方法有效地提升了检测效率，提高了舰船目标检测精度，大大降低了陆地虚警。

Claims (6)

1.一种基于感兴趣区块提取的遥感图像舰船检测方法，其特征在于，包括如下：

(1)构建光学遥感图像舰船检测数据集G：

1a)下载高分二号光学遥感数据，人工筛选出包含舰船目标的区域，用部分重叠的方式裁剪这些区域并保存；

1b)对1a)得到的所有图像随机进行上下左右翻转或旋转，得到扩增图像并保存；

1c)对扩增的图像用倾斜的矩形框进行标注，并将标注信息保存为xml格式文件，并用所有扩增图像和其对应的标注信息构成光学遥感图像舰船检测数据集G；

(2)对宽幅光学遥感图像进行下采样，利用基于暗通道先验的去雾算法减少图像上的云雾遮挡，得到增强图像I；

(3)利用上下文信息和图像全局特征对增强图像I进行水陆分割，提取感兴趣的水域区块，得到二值图：

(3a)利用像素的上下文特征信息对增强图像I作初步阈值分割，得到初步水陆分割二值图I₃；

(3b)标记初步水陆分割二值图I₃中水域连通域集合W＝{w₁,...,w_i,...,w_n}，其中w_i表示第i个水域连通域；标记初步水陆分割二值图I₃中陆地连通域集合L＝{l₁,...,l_j,...,l_m}，其中l_j表示第j个陆地连通域；提取每个水域连通域和陆地连通域的区域特征，根据判别规则对其类别进行重标定，得到增强图像I的优化水陆分割二值图I₄；

(3c)对优化水陆分割二值图I₄作形态学膨胀操作后，上采样恢复到原宽幅图像大小，得到最终水陆分割二值图I₅；

(4)采用随机多尺度策略训练基于卷积神经网络的SCRDet目标检测模型M₀，得到训练后的检测模型M；具体实现如下：

4a)将构建的光学遥感图像舰船检测数据集G的90％作为训练样本，剩余10％作为测试样本；

4b)随机选取训练样本中的一幅训练图像和其对应的标注，随机上下或左右翻转图像及标注得到变换图像X和真实标注Y；

4c)随机从[600,700,832]中选定某一尺度作为图像的短边长度，将变换图像X和真实标注Y按比例放缩到选定的尺度后，输入到SCRDet模型M₀中，得到预测结果Y'；

4d)计算预测结果Y'与真实标注Y之间的误差，使用优化器Adam最小化误差以更新SCRDet模型M₀的权重参数；

4e)重复4b)-4d)，当训练轮数达到200000时，得到训练后的检测模型M；

(5)利用最终水陆分割二值图I₅，在原宽幅图像上用部分重叠的滑动窗口提取感兴趣区块作为待检测区域，构成待检测区域图像集合为F＝{f₁,...,f_i,...,f_u}、位置集合为

其中f_i表示第i个检测区域，s_i表示检测区域f_i的左上角坐标，将待检测区域图像集合F输入到检测模型M中，得到每个区域f_i的区域检测结果；

(6)根据位置集合S将区域检测结果映射到原宽幅图像尺度上，得到初步检测结果集合

其中Pⁱ、

分别表示初步检测的第i个检测框的类别、位置坐标、置信度分数；对初步检测结果集合A作改进的非极大值抑制，得到一次优化检测结果集合

其中Qⁱ、

分别表示一次优化的第i个检测框的类别、位置坐标、置信度分数；

(7)根据舰船的结构特征对一次优化检测结果集合B进行二次优化，得到最终检测结果集合

其中Rⁱ、

分别表示最终生成的第i个检测框的类别、位置坐标、置信度分数。

2.根据权利要求1所述的方法，其中(3a)中利用像素的上下文特征信息对增强图像I作初步阈值分割，具体实现如下：

3a1)对增强图像I的边缘作宽度为3的镜像拓展得到拓展图像I'，以增强图像I的每个像素点为7×7滑动窗口的中心，在拓展图像I'上提取对应窗口区域并计算区域方差v作为中心像素点的上下文特征值，得到增强图像I的特征图V，该增强图像I在坐标(i,j)处的特征值为V(i,j)；

3a2)以1为间隔统计特征图V的分布直方图，确定直方图峰值处所对应的峰值方差v_max，计算[v_max,+∞)范围内直方图的第一个谷值所对应的谷值方差g_t，若V(i,j)≤g_t则更新V(i,j)＝1，否则，更新V(i,j)＝0，对更新后的特征图V作形态学的膨胀操作，得到特征二值图I₁；

3a3)用改进的拉普拉斯算子对增强图像I作灰度变换，利用OTSU自适应阈值法分割增强图像I，得到灰度二值图I₂；

3a4)将特征二值图I₁和灰度二值图I₂逐像素对应作逻辑与操作，得到初步水陆分割二值图I₃，I₃中像素值0表示陆地，像素值1表示水域。

3.根据权利要求1所述的方法，其中(3c)中利用优化水陆分割二值图I₄得到最终水陆分割二值图I₅，实现如下：

3c1)复制优化水陆分割二值图I₄，得到复制的结果图I₄'；

3c2)用15×15的椭圆结构元素逐像素扫描优化水陆分割二值图I₄，并将结构元素与I₄对应区域内的各像素点作逻辑与操作：

3c3)判断各像素点的结果，更新I₄'对应区域内的中心像素：

若各像素点的结果都为0，则更新该对应区域中心像素为0；

否则，更新该对应区域中心像素为1；

3c4)将更新后的I₄'进行8倍的上采样，将I₄'的大小恢复到原宽幅图像大小，得到最终水陆分割二值图I₅。

4.根据权利要求1所述的方法，其中(5)中利用最终水陆分割二值图I₅在原始宽幅图像中提取感兴趣区块作为待检测区域，将待检测区域图像集合F输入到检测模型M中得到区域检测结果，具体实现如下：

5a)初始化待检测区域图像集合F和位置集合S为空集合；

5b)用大小为p×p、步长为p/2的部分重叠窗口扫描原宽幅遥感图像，计算原宽幅遥感图像的窗口区域f所对应的最终水陆分割二值图I₅区域内的水域面积，设水域面积为S_w；

5c)根据S_w的大小，判断窗口区域f是否为感兴趣区块：

若S_w＞(p/8)²，则判别窗口区域f为感兴趣区块，将窗口区域f加入待检测区域图像集合F，并将窗口区域f的左上角坐标s加入位置集合S；

否则，判别窗口区域f为非感兴趣区块，不进行任何操作；

5d)将待检测区域图像集合F＝{f₁,...,f_i,...,f_u}输入到检测模型M中，得到每个区域f_i的所有检测框的类别、位置坐标、置信度分数。

5.根据权利要求1所述的方法，其中(6)中将区域检测结果映射到原宽幅图像尺度上，对初步检测结果集合A作改进的非极大值抑制，具体实现如下：

6a)根据位置集合

中待检测区域f_i的坐标s_i，将每个区域f_i的检测结果映射到原宽幅图像尺度上，得到初步检测结果集合

其中Pⁱ、

分别表示初步检测的第i个检测框的类别、位置坐标、置信度分数；

6b)初始化一次优化后的检测结果集合B为空；

6c)将初步检测结果集合A中所有检测框的类别假设为同一类，令A中置信度最高的检测结果的索引

根据索引r从A中取出检测结果

加入集合B后，并将

从集合A中删除；

6d)计算初步检测结果集合A中每个检测框与置信度最高的检测框的交并比

6e)判断交并比

与交并比阈值t₂的大小关系：

若

则更新置信度分数

否则，

不更新；

6f)重复步骤6c)-6e)的操作，直到初步检测结果集合A为空，得到一次优化后的检测结果集合：

其中Qⁱ、

分别表示一次优化后的第i个检测框的类别、位置坐标、置信度分数。

6.根据权利要求1所述的方法，其中(7)中根据舰船的结构特征对一次优化后的检测结果集合B中的所有检测结果

进行二次优化，具体实现如下：

7a)判断置信度分数

的大小：若

则将第i个检测框的类别lⁱ优化为背景，否则优化为舰船目标；

7b)根据检测框位置坐标

得到检测框的最长边为x，判断x的大小：若x＞450，则将第i个检测框的类别Qⁱ优化为背景，否则，优化为舰船目标；

7c)根据检测框位置坐标

计算检测框的最长边与最短边之比为y，判断y的大小：若y＞11，则将第i个检测框的类别Qⁱ优化为背景，否则，优化为舰船目标。

Images