CN113343883A - 基于改进HRNetV2网络的港口矿堆分割方法 - Google Patents

Abstract

基于改进HRNetV2网络的港口矿堆分割方法，涉及光学遥感影像处理与深度学习领域，解决现有技术存在的特征融合利用不充分问题，本发明采用改进HRNetV2网络对港口矿堆光学遥感影像进行语义分割，改进HRNetV2网络可以使分割过程中不同分辨率特征图的特征有效融合，能准确地分割出港口堆矿区中的矿堆边缘。对HRNetV2网络进行改进，使用相加操作和后续的1×1卷积扩充特征图特征，使其每张低分辨率特征图特征都能融入高分辨率特征当中，增加语义分割的精度。

Description

基于改进HRNetV2网络的港口矿堆分割方法

技术领域

本发明涉及光学遥感影像处理与深度学习领域，具体涉及一种基于改进HRNetV2网络的港口矿堆分割方法。

背景技术

随着高空间分辨率光学遥感卫星技术的发展，光学遥感影像的应用被扩展到了诸多领域当中，其中光学遥感技术在金融期货领域的应用具有良好的发展前景。港口矿石堆放区是港口堆放待运输矿石的特定区域，堆矿区中一般有序堆放着各种不同矿石，这些矿石会根据不同倾倒及运输挖取方式形成矿堆。提取出遥感影像中的矿堆影像，就可以进一步估算出该港口堆放的矿石储量，矿石储量对金融期货领域的投资具有一定的指导作用。

图像语义分割是计算机视觉领域的一个重要研究方向，其目的是给图像的每一个像素标记一个分类标签，从而从像素层面将图像按类别划分，十分适用于港口矿堆遥感影像的分析研究。然而同一矿石堆放区的矿堆形状和颜色并不规则，传统的计算机视觉方法难以检测遥感影像当中的矿堆边缘。随着深度学习技术的发展，深度神经网络相比传统计算机视觉方法在图像语义分割领域有了更多进展与突破。

深度神经网络在图像语义分割方面的研究始于2015年提出的全卷积神经网络，同年Ronneberger等人提出的UNet网络采用编码器-解码器结构，将其用于医学图像的分割，由于其简单的结构和准确的分割能力，很快国内外的研究者们将其扩展到各个领域，其中遥感影像的分割研究中的建筑提取分类、变化检测、地物分类等问题都应用过UNet网络。

2015年Xuelei Li等人提出的残差网络为深度神经网络的设计提供了新思路。2018年Chaurasia等人基于残差网络提出了LinkNet分割网络，解决了降采样操作中丢失空间信息等问题。

2019年Ke Sun等人在研究人体姿态检测问题过程中提出了HRNetV1网络，随后又提出了将其扩展到图像语义分割领域的HRNetV2网络。不同于传统的串联分割网络，HRNet网络使用并行的多分辨率子网络反复交替连接交换信息进行多尺度重复融合，在网络的每一层中同时保有高分辨率与低分辨率的特征。HRNetV2网络利用HRNet输出的所有分辨率的特征图，对低分辨率特征图上采样后与高分辨率特征图进行拼接操作，再经过1*1卷积，生成分割预测图。

HRNetV2的特征主要来源于其并行特征提取部分，虽然在特征提取过程中始终保持了高分辨率与中低分辨率特征，但是最终使用了结构较为简单的特征融合结构，导致对这些特征的融合利用不够充分。

本发明使用了一种深度学习的方法对高空间分辨率光学遥感影像中的港口矿堆进行语义分割。

发明内容

本发明为解决现有技术存在的特征融合利用不充分问题，提供一种基于改进HRNetV2网络的港口矿堆分割方法。

基于改进HRNetV2网络的港口矿堆分割方法，该方法由以下步骤实现：

步骤一、获取基于高分辨率光学遥感影像的港口矿堆语义分割数据集图像；具体过程为：

步骤一一、选取不同地区矿堆影像作为港口矿堆语义分割的图像，包括不同形状、颜色、大小以及堆放方式的港口矿堆；

步骤一二、将步骤一一选取的图像采用深度学习标注工具进行人工标注，生成标签图像形式的分割标注结果；

步骤一三、将步骤一一选取的图像采用线性拉伸和单通道自动色彩增强算法进行数据集扩充，获得扩充后的图像，并同时复制步骤一二中生成的标签图像，使扩充后的图像与标签图像一一对应；

步骤一四、将步骤一三中获取的扩充后的图像与标签图像中对应标签进行切割，切割成512×512的图像，对于切割后大小不足512×512的部分，使用0值填充到512×512，将切割后的图像划分为80％的训练集和10％的验证集和10％的测试集，对于切割生成的训练集、验证集、测试集中的每一张图像，都有一张标签图像与其对应；

步骤二、对HRNetV2网络的上采样过程进行改进，具体过程为：

步骤二一、将HRNetV2网络中用于语义分割部分的连接上采样进行改进，取所有HRNetV2输出层特征图的通道数，找到最大通道数，设为c，将所有输出特征图的通道数通过1×1卷积均调整为c；

步骤二二、将所有调整后的特征图进行相加操作，然后使用1×1卷积将输出通道数调整为2c；

步骤三、采用步骤一四划分的训练集对步骤二改进的HRNetV2网络进行训练；

步骤三一、对数据集进行训练时，设定初始学习速率learning_rate＝0.001，批尺寸batch_size＝2，训练迭代次数epochs＝100，分割类别n_classes＝2；

步骤三二、训练后模型每次迭代后进行保存，并在验证集上记录交并比mIoU最高的模型参数，IoU定义如下：

式中，IoU为交并比mIoU的均值，P_gt为真实标签图像的像素集合，P_pred表示预测标签图像的像素集合，∩、∪、|·|分别表示交集操作、并集操作和取像素数量操作；

步骤四、采用训练后的改进HRNetV2网络对测试集数据进行图像语义分割；具体为：

步骤四一、使用步骤三二记录的模型参数对每一张测试集图像进行语义分割，获得512×512的灰度图像，灰度值范围为[0,n_classes)；

步骤四二、将步骤四一中测试集图像进行分割的结果与对应真实标签图像进行对比，计算mIOU，实现港口矿堆的分割。

本发明的有益效果：

本发明采用改进HRNetV2网络对港口矿堆光学遥感影像进行语义分割，改进HRNetV2网络可以使分割过程中不同分辨率特征图的特征有效融合，能准确地分割出港口堆矿区中的矿堆边缘。

本发明所述的方法对HRNetV2网络进行改进，使用相加操作和后续的1×1卷积扩充特征图特征，使其每张低分辨率特征图特征都能融入高分辨率特征当中，增加语义分割的精度。

本发明所述的方法制作了基于吉林一号高分辨率遥感影像的港口矿堆数据集，并使用该数据集进行了语义分割训练，给计算港口矿堆储量和相关金融期货分析提供基础。

附图说明

图1为本发明所述的基于改进HRNetV2网络的港口矿堆分割方法的流程图；

图2为本发明所述的基于改进HRNetV2网络的港口矿堆分割方法中HRNetV2网络上采样结构原理图；

图3为改进HRNetV2上采样结构原理图。

具体实施方式

结合图1至图3说明本实施方式，基于改进HRNetV2网络的港口矿堆分割方法包括以下步骤：

步骤1、制作基于高分辨率光学遥感影像的港口矿堆语义分割数据集；具体过程为：

选定用作分割的矿堆数据集图像，数据集图像选用吉林一号高分辨率遥感影像，抽选4张宁波市鼠浪湖地区矿堆影像与37张澳大利亚黑德兰港地区矿堆影像制作数据集，包括了不同形状、颜色、大小、堆放方式的港口矿堆。

将选定的图像使用深度学习标注工具进行人工标注，生成标签图像形式的分割标注结果。

将41张矿堆数据集遥感影像使用线性拉伸和单通道自动色彩增强算法进行数据集扩充，扩充为82张。

将矿石堆放区图像与对应标签图像进行切割，切割成512×512大小的图像，对于切割后大小不足512×512的部分，使用0值填充到512×512，然后去除不含有效标签的图像。将切割后的686张图像划分为80％的训练集和10％的验证集和10％的测试集。对于切割生成的训练集、验证集、测试集中的每一张图像，都有一张标签图像与其对应；

步骤2、对HRNetV2网络算法进行改进：优化分割网络使用的连接上采样部分；

首先，将HRNetV2中用于语义分割部分的连接上采样(如图2所示)进行改进，取所有HRNetV2输出层特征图的通道数，另其中最大通道数为c，将所有输出特征图的通道数通过1×1卷积调整为c。

然后，将所有调整后的特征图进行相加操作，之后使用1×1卷积将输出通道数调整为2c，整个过程如图3所示。

步骤3、对矿堆分割数据集使用改进HRNetV2网络进行训练；

程序将在CPU为Intel Core i7-9700，GPU为NVIDIA GeForce RTX 2060(ComputeCapability＝7.5,1920 CUDA Cores)，内存为16GB，操作系统为Windows10的机器上运行，使用Python版本为3.6，torch版本为1.2.0。

对数据集进行训练时超参数如下，初始学习速率learning_rate＝0.001，批尺寸batch_size＝2，训练代数epochs＝100，分割类别n_classes＝2，包括矿堆和裸地两种分割类别，训练损失函数使用交叉熵损失函数。

训练后模型每一代保存一次，并记录在验证集上交并比(mIoU)最高的模型参数。其中mIoU是交并比(简称IoU)的均值，IoU定义如下：

式中P_gt表示真实标签图像的像素集合，P_pred表示预测标签图像的像素集合，∩、∪、|·|分别表示交集操作、并集操作和取像素数量操作；

步骤4、使用训练后的网络对包含矿堆的图像测试数据进行图像语义分割；

对于每一张测试集原图像使用训练后的HRNetV2网络进行语义分割测试，得到512×512大小的灰度图像，灰度值范围是[0,n_classes)。

生成的即为网络分割结果，可以将该测试集的分割结果与对应真实标签图像进行对比，计算mIOU，mIOU的数值大小即代表分割结果的准确程度。

步骤5、与UNet、LinkNet、HRNetV2等语义分割网络的分割结果进行对比。

使用Unet、LinkNet和HRNetV2替换改进HRNetV2进行步骤3和步骤4中步骤。

参见表1，将4种网络分割结果的mIOU进行比较，其中分割结果的mIOU对比如表1所示的语义分割结果对比。

表1

根据表1的结果，证明改进HRNetV2网络在步骤1中制作的矿堆识别遥感数据集上有更好的效果。

Claims (1)

1.基于改进HRNetV2网络的港口矿堆分割方法，其特征是：该分割方法由以下步骤实现：

步骤一、获取基于高分辨率光学遥感影像的港口矿堆语义分割数据集图像；具体过程为：

步骤一一、选取不同地区矿堆影像作为港口矿堆语义分割的图像，包括不同形状、颜色、大小以及堆放方式的港口矿堆；

步骤一二、将步骤一一选取的图像采用深度学习标注工具进行人工标注，生成标签图像形式的分割标注结果；

步骤一三、将步骤一一选取的图像采用线性拉伸和单通道自动色彩增强算法进行数据集扩充，获得扩充后的图像，并同时复制步骤一二中生成的标签图像，使扩充后的图像与标签图像一一对应；

步骤一四、将步骤一三中获取的扩充后的图像与标签图像中对应标签进行切割，切割成512×512的图像，对于切割后大小不足512×512的部分，使用0值填充到512×512，将切割后的图像划分为80％的训练集和10％的验证集和10％的测试集，对于切割生成的训练集、验证集、测试集中的每一张图像，都有一张标签图像与其对应；

步骤二、对HRNetV2网络的上采样过程进行改进，具体过程为：

步骤二一、将HRNetV2网络中用于语义分割部分的连接上采样进行改进，取所有HRNetV2输出层特征图的通道数，找到最大通道数，设为c，将所有输出特征图的通道数通过1×1卷积均调整为c；

步骤二二、将所有调整后的特征图进行相加操作，然后使用1×1卷积将输出通道数调整为2c；

步骤三、采用步骤一四划分的训练集对步骤二改进的HRNetV2网络进行训练；

步骤三一、对数据集进行训练时，设定初始学习速率learning_rate＝0.001，批尺寸batch_size＝2，训练迭代次数epochs＝100，分割类别n_classes＝2；

步骤三二、训练后模型每次迭代后进行保存，并在验证集上记录交并比mIoU最高的模型参数，IoU定义如下：

式中，IoU为交并比mIoU的均值，P_gt为真实标签图像的像素集合，P_pred表示预测标签图像的像素集合，∩、∪、|·|分别表示交集操作、并集操作和取像素数量操作；

步骤四、采用训练后的改进HRNetV2网络对测试集数据进行图像语义分割；具体为：

步骤四一、使用步骤三二记录的模型参数对每一张测试集图像进行语义分割，获得512×512的灰度图像，灰度值范围为[0,n_classes)；

步骤四二、将步骤四一中测试集图像进行分割的结果与对应真实标签图像进行对比，计算mIOU，实现港口矿堆的分割。

Images