CN114494910A - 一种基于遥感图像的设施农用地多类别识别与分类方法 - Google Patents

Abstract

本发明属于设施农用地分布形态研究与优化领域，具体涉及一种基于遥感图像的设施农用地多类别识别与分类方法，解决现有神经网络对设施农用地识别精度低的问题。方法基于语义分割神经网络实现，语义分割神经网络包括依次设置的初始化模块、Encoder模块、金字塔池化模块和编码模块；利用该网络，对遥感图像进行设施农用地分类定位，实现了对于多分类结果准确率65%以上，单分类结果准确率90%以上的分类定位，减少了设施农用地实地调查所需人力物力，加快了设施农用地调查速度。

Description

一种基于遥感图像的设施农用地多类别识别与分类方法

技术领域

本发明属于设施农用地分布形态研究与优化领域，具体涉及一种基于遥感图像的设施农用地多类别识别与分类方法，该方法通过对遥感卫星图像及无人机航拍图像进行语义分割，自动划分不同类别，作为统计与规划的辅助手段。

背景技术

设施农业是采用具有特定结构和性能的设施，运用先进的工程技术和管理技术改善或创造局部环境，为种植业、养殖业及其产品的储藏保鲜等提供相对可控制的环境条件，以充分利用土壤、气候和生物潜能，在一定程度上摆脱对自然环境的依赖而进行有效生产的农业，是一种高投入高产出，资金、技术、劳动力密集型的产业。其利用人工建造的设施，使传统农业逐步摆脱自然的束缚，走向现代工厂化农业生产之路，同时使农产品打破传统农业的季节性，实现农产品的反季节上市，进一步满足多元化、多层次消费需求。其作为一种获得速生、高产、优质、高效的农产品的新型生产方式，已经成为世界各国用以提供新鲜农产品的主要技术措施。

设施农业是目前现代农业发展的主要方向之一。为此，科学、准确、快速的进行土地调查数据处理成为现有设施农用地调查统计的首要问题，分地区实地考察测绘是现今设施农用地调查的主流方法。

随着遥感技术日趋成熟，遥感图像中所包含的语义更加丰富，对遥感图像进行语义分割，快速准确的提取重要信息，在多种遥感图像检测领域正在快速发展。随着深度学习技术的发展，全卷积神经网络的提出为图像语义分割提供了全新的基础模型，将图像语义分割带入新的发展阶段。设施农用地的地块划分，现在主要基于人工标注的方法进行分类，因此，将先进语义分割技术引入该领域，将会带来巨大的实用价值。

基于遥感图像的设施农用地识别与分类，表观上属于遥感图像语义分割大类，遥感图像语义分割自2015年起，作为像素级图像识别的最有效方案，已经产生了多种类型的网络，优秀网络在相关研究中，均对特定数据表现出良好效果。但是针对农村地区遥感图像数据，如图4所示，设施农用地边界不明晰，与自然背景对比不突出，边界模糊与常见城市或海洋遥感图像相比更加突出，像素涵盖区间也远超一般遥感图像语言分割网络验证数据区间。导致在针对农村地区遥感图像识别任务中，现有神经网络识别精度低，难以达到实际工程所需的标注精度。

发明内容

针对现有神经网络对设施农用地识别精度低的问题，本发明提供一种基于遥感图像的设施农用地多类别识别与分类方法，通过结合基于特征融合方法与编解码方法，提供一种全新的语义分割神经网络结构，用来针对农用地图像边界特点、像素上下文特点进行特征提取与融合。基于实用角度，采用较大的编码器与较小的解码器结构，保证分割准度的情况下，减少模型参数量，为实际应用环节减小计算压力。

为实现上述目的，本发明采用以下技术方案：

一种基于遥感图像的设施农用地多类别识别与分类方法，其特殊之处在于，基于语义分割神经网络实现；

上述语义分割神经网络包括依次设置的初始化模块、Encoder模块、金字塔池化模块和编码模块；

上述初始化模块包括第一卷积单元和第二卷积单元；上述第一卷积单元为多通道卷积层，第二卷积单元为最大池化层；

上述Encoder模块采用VGG19网络encoder模块的1层、2层、3层、4层、5层，将2层、3层、4层、5层提取的结果分别作为金字塔池化模块的四层输入；

上述金字塔池化模块包括四个卷积层，分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层；其中，第一卷积层对encoder模块的2层提取结果进行通道数不变，数据量减少的卷积处理，得到数据P1；第二卷积层对encoder模块的3层提取结果进行通道数不变，数据量减少的卷积处理，得到数据P2；第三卷积层对encoder模块的4层提取结果进行通道数不变，数据量减少的卷积处理，得到数据P3；第四卷积层对encoder模块的5层提取结果进行通道数不变，数据量减少的卷积处理，得到数据P4；

上述编码模块包括四个反卷积层，分别为第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层；第一反卷积层对金字塔池化模块第一卷积层输出的数据P1进行反卷积操作，得到与金字塔池化模块第二卷积层输出数据P2大小相同的数据D1，将数据D1与数据P2进行合并，输入至第二反卷积层进行反卷积操作，得到与金字塔池化模块第三卷积层输出数据P3大小相同的数据D2，将数据D2与数据P3进行合并，输入至第三反卷积层进行反卷积操作，得到与金字塔池化模块第四卷积层输出数据P4大小相同的数据D3，将数据D3与数据P4进行合并，输入至第四反卷积层进行反卷积操作，第四反卷积层输出结果数据D4。

进一步地，第一卷积单元的步长为2，卷积核尺寸为3×3的卷积层，其通道数13；第二卷积单元为最大池化层，使用非重叠2×2窗口，通道数为3，与第一卷积单元合并后通道数为16。

进一步地，上述的基于遥感图像的设施农用地多类别识别与分类方法，具体包括以下步骤：

步骤一、对遥感图像和标签图像进行对应像素的分割，得到分割后对应的两组图像；

步骤二、对分割后的遥感图像进行图像增强，获得多个增强后的遥感图像，同时将分割后的标签图像转化为灰度图；

步骤三、利用步骤二中增强后的遥感图像和转化为灰度图的标签图像构建数据集；

数据集中的图像随机排布，并随机抽取部分图像作为训练集，其余图像作为测试集；

步骤四、将步骤三中的训练集样本输入到语义分割神经网络中进行训练，训练完成后，利用测试集进行测试，测试结果达到目标要求后进行模型保存，否则重新进行训练，最终得到训练好的网络模型；

步骤五、将待预测图像切割为多个图像，图像大小和训练集中图像大小相同；将切割后的多个图像输入至训练好的网络模型中，得到多个预测标签图像；

步骤六、根据预测置信度对多个预测标签图像进行染色，并进行噪声抑制处理；

步骤七、将噪声抑制处理后的多个图像拼接成为整张图像，若多个图像之间没有重叠，则执行下一步，若多个图像之间有重叠，则对整张图像拼接的接缝进行抑制处理；

步骤八、将步骤七处理后的图像与待预测图像坐标对准，获取设施农用地坐标及面积数据，完成遥感图像中设施农用地信息提取。

进一步地，步骤一中，标签图像为已有的调查结果中标注得到mask掩膜图像。

进一步地，步骤一中，分割后的遥感图像和标签图像的大小均为256×256像素。

进一步地，步骤二中，对分割后的遥感图像进行图像增强具体为：对分割后的多个遥感图像添加高斯噪声、校验噪声、旋转、模糊、翻转和/或双边滤波噪声。

进一步地，步骤二中，将分割后的标签图像转化为8-bit灰度图。

进一步地，步骤七中采用CRF模型将噪声抑制处理后的多个图像拼接成为整张图像。

进一步地，步骤三中，随机抽取75%的图像作为训练集。

与现有技术相比，本发明具有如下有益效果：

1、本发明针对农村地区设施农用地的特征，设计专用语义分割神经网络，利用语义分割神经网络，对遥感图像进行设施农用地分类定位，实现了对于多分类结果准确率65%以上，单分类结果准确率90%以上的分类定位，减少了设施农用地实地调查所需人力物力，加快了设施农用地调查速度。

2、本发明基于实用角度，采用较大的编码器与较小的解码器结构，保证分割准度的情况下，减少模型参数量，为实际应用环节减小计算压力。

3、本发明通过组织数据流，从encoder模块中不同位置取出不同等级特征的数据，将其进行合理组合，经过对不同等级特征的进一步计算，进入decoder模块统一编码，兼顾了实际数据中大特征与小特征的不同尺度，进一步提高了从农村地区遥感图像识别设施农用地的准确率。

4、本发明在网络结构与参数设计中，有意降低网络复杂度与参数量，使得网络在训练完成后，可以在笔记本电脑中运行，实地遥感图像拍摄后可以在现场进行快速推理，使得快速调查成为可能，极大的降低了人工工作量，提高了工作效率。

附图说明

图1为本发明基于遥感图像的设施农用地多类别识别与分类方法流程图；

图2为本发明语义分割神经网络模型示意图；

图3为本发明语义分割神经网络模型数据流向示意图；

图4为现有遥感图像实例图；

图5为本发明遥感图像增强实例图；

图6为本发明测试图像的全局示意图；

图7为本发明测试图像的局部分割结果示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

如图1所示，本发明提供一种基于遥感图像的设施农用地多类别识别与分类方法，该方法是一种基于深度学习图像语义分割，提取遥感图像中设施农用地经纬坐标及面积，快速准确进行设施农用地信息提取的方法，具体包括如下步骤：

步骤一、对遥感图像和标签图像进行对应像素的分割，得到分割后对应的两组图像；

遥感图像的分割具体为：将遥感图像进行切割，得到的图像大小均为256×256像素；

标签图像为已有的调查结果中标注得到mask掩膜图像，标签图像的分割具体为：将标注好的mask掩膜图像进行切割，得到的图像大小均为256×256像素。

步骤二、对分割后的遥感图像进行图像增强，获得多个增强后的遥感图像，同时将分割后的多个标签图像转化为灰度图；

分割后的标签图像具体可转化为8-bit灰度图；

图像增强具体方法为：对多个图像添加高斯噪声、校验噪声、旋转、模糊、翻转和/或双边滤波噪声，得到多个增强后的图像，增强后的图像如图5所示；模型的训练需要大量样本，图像增强算法的加入，一方面可以起到丰富数据集的作用，另一方面可以提高网络稳定性，以应对薄云层遮盖，阳光阴影，局部反光，树木遮挡等遥感影像常见噪声。

步骤三、利用步骤二中增强后的遥感图像和转化为灰度图的标签图像构建数据集；

数据集中的图像随机排布，随机抽取75%图像作为训练集，25%作为测试集。

步骤四、设计语义分割神经网络；

结合图2和图3，语义分割神经网络包括依次设置的初始化模块、Encoder模块、金字塔池化模块和编码模块；

初始化模块包括第一卷积单元、第二卷积单元；第一卷积单元为多通道卷积层；第二卷积单元为最大池化层，使用非重叠2×2窗口，通道数为3，与第一卷积单元合并后通道数达到16通道。

Encoder模块采用VGG19网络encoder模块的1层、2层、3层、4层、5层，将2层、3层、4层、5层提取的结果作为金字塔池化模块的四层输入。

金字塔池化模块包括四个卷积层，四个卷积层分别对encoder模块的2层、3层、4层、5层提取的结果各自进行通道数不变，数据量减少的卷积处理；四个卷积层分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层；其中，第一卷积层对encoder模块的2层结果进行处理得到数据P1；第二卷积层对encoder模块的3层结果进行处理得到数据P2；第三卷积层对encoder模块的4层结果进行处理得到数据P3；第四卷积层对encoder模块的5层结果进行处理得到数据P4。

编码模块包括四个反卷积层，对金字塔池化模块不同层的输出进行反卷积操作；四个反卷积层分别为第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层；第一反卷积层对第一卷积层的数据P1进行反卷积操作，得到与第二卷积层数据P2大小相同的数据D1，将数据D1与第二卷积层数据P2进行合并，输入至第二反卷积层进行反卷积操作，得到与第三卷积层数据P3大小相同的数据D2，将数据D2与第三卷积层数据P3进行合并，输入至第三反卷积层进行反卷积操作，得到与第四卷积层数据P4大小相同的数据D3，将数据D3与第四卷积层数据P4进行合并，输入至第四反卷积层进行反卷积操作，第四反卷积层输出结果数据D4。

上述初始化模块的作用是将输入数据进行初始化变换，增强整体基础特征，由两路支线组成，第一支路采用步长为2，卷积核尺寸为3×3的卷积层，通道数为13，用于自动特征提取；第二支路为最大池化层，使用非重叠2×2窗口，通道数为3，与第一卷积单元合并后通道数达到16通道；该模块可以在特征保留的基础上极大的减小网络初始参数量，对于加速网络计算起到正向作用，显著减小存储空间。

上述Encoder模块将图像分级别分割，区分大中小特征层，具体采用VGG19网络encoder模块的1层、2层、3层、4层、5层，其中，2层、3层、4层、5层提取出结果后，作为金字塔池化模块的四层输入，可以更加高效的利用VGG19网络的单层特征。

上述金字塔池化模块：该模块的数据流由四路组成，分别来自上述encoder模块的2、3、4、5层，金字塔池化模块接收数据后，数据首先进行不同尺度池化，池化后进行四路卷积。金字塔池化模块对于融合全局特征具有优异性能，通过对局部和全局的线索结合可以使该语义分割神经网络的预测结果更加可靠。

上述编码模块的主要作用是将上一层传递下来的固定维度稠密向量，将其解码至目标分类图，经过实际验证，该解码模块在单分类任务中可以达到染色目标。

步骤五、将步骤三中的训练集样本输入到步骤四中的语义分割神经网络中进行训练，利用测试集进行测试，测试结果达到目标要求后进行模型保存，否则重新进行训练，最终得到训练好的网络模型。

该步骤中，将步骤三中制作的训练集和测试集读入设计好的语义分割神经网络中进行训练，batch size为32，学习率为1×10^-6；最终，单分类情况平均并交比(mIou)稳定在96左右，迭代至20000～50000次停止。

步骤六、将待预测图像切割为256×256的多个图像，将切割后的多个图像输入至训练好的网络模型中，得到多个预测标签图像；

步骤七、根据预测置信度对多个预测标签图像进行染色，并进行噪声抑制处理；

该步骤中，分析待预测图像像素预测置信度，给予不同置信度像素块颜色，对像素块染色结果进行噪声抑制。

步骤八、将噪声抑制处理后的多个图像拼接成为整张图像，若多个图像之间没有重叠，则执行下一步，若多个图像之间有重叠，则对整张图像拼接的接缝进行抑制处理；

该步骤中，使用CRF模型将噪声抑制处理后的多个图像拼接成为整张图像，拼接后的全局示意图，如图6所示。拼接时，结合原始影像中所有像素之间的关系对深度学习得到的分类结果进行处理，优化分类图像中粗糙和不确定性的标记，修正细碎的错分区域，同时得到优化的分割边界，可以对预测结果有一定范围的提升。

步骤九、将步骤八处理后的图像与待预测图像坐标对准，获取设施农用地坐标及面积数据，完成遥感图像中设施农用地信息提取。

如图7所示，为实际分割结果的局部放大图，测试结果显示，本发明准确的将5块设施农用地的区块形状和位置进行了标注，标注线条无毛刺，非设施农用地无噪声，达到了工程使用标准。经预测后评价结果，本发明使分类准确率从60%提升至89%，大大提高了分类准确率。

Claims (9)

1.一种基于遥感图像的设施农用地多类别识别与分类方法，其特征在于，基于语义分割神经网络实现；

所述语义分割神经网络包括依次设置的初始化模块、Encoder模块、金字塔池化模块和编码模块；

所述初始化模块包括第一卷积单元和第二卷积单元；所述第一卷积单元为多通道卷积层，第二卷积单元为最大池化层；

所述Encoder模块采用VGG19网络encoder模块的1层、2层、3层、4层、5层，将2层、3层、4层、5层提取的结果分别作为金字塔池化模块的四层输入；

所述金字塔池化模块包括四个卷积层，分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层；其中，第一卷积层对encoder模块的2层提取结果进行通道数不变，数据量减少的卷积处理，得到数据P1；第二卷积层对encoder模块的3层提取结果进行通道数不变，数据量减少的卷积处理，得到数据P2；第三卷积层对encoder模块的4层提取结果进行通道数不变，数据量减少的卷积处理，得到数据P3；第四卷积层对encoder模块的5层提取结果进行通道数不变，数据量减少的卷积处理，得到数据P4；

所述编码模块包括四个反卷积层，分别为第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层；第一反卷积层对金字塔池化模块第一卷积层输出的数据P1进行反卷积操作，得到与金字塔池化模块第二卷积层输出数据P2大小相同的数据D1，将数据D1与数据P2进行合并，输入至第二反卷积层进行反卷积操作，得到与金字塔池化模块第三卷积层输出数据P3大小相同的数据D2，将数据D2与数据P3进行合并，输入至第三反卷积层进行反卷积操作，得到与金字塔池化模块第四卷积层输出数据P4大小相同的数据D3，将数据D3与数据P4进行合并，输入至第四反卷积层进行反卷积操作，第四反卷积层输出结果数据D4。

2.根据权利要求1所述的基于遥感图像的设施农用地多类别识别与分类方法，其特征在于：第一卷积单元的步长为2，卷积核尺寸为3×3的卷积层，其通道数13；第二卷积单元为最大池化层，使用非重叠2×2窗口，通道数为3，与第一卷积单元合并后通道数为16。

3.根据权利要求2所述的基于遥感图像的设施农用地多类别识别与分类方法，其特征在于，包括以下步骤：

步骤一、对匹配的遥感图像和标签图像进行对应像素的分割，得到分割后对应的两组图像；

步骤二、对分割后的遥感图像进行图像增强，获得多个增强后的遥感图像，同时将分割后的标签图像转化为灰度图；

步骤三、利用步骤二中增强后的遥感图像和转化为灰度图的标签图像构建数据集；

数据集中的图像随机排布，随机抽取部分图像作为训练集，其余图像作为测试集；

步骤四、将步骤三中的训练集样本输入到语义分割神经网络中进行训练，训练完成后，利用测试集进行测试，测试结果达到目标要求后进行模型保存，否则重新进行训练，最终得到训练好的网络模型；

步骤五、将待预测图像切割为多个图像，图像大小和训练集中图像大小相同；将切割后的多个图像输入至训练好的网络模型中，得到多个预测标签图像；

步骤六、根据预测置信度对多个预测标签图像进行染色，并进行噪声抑制处理；

步骤七、将噪声抑制处理后的多个图像拼接成为整张图像，若多个图像之间没有重叠，则执行下一步，若多个图像之间有重叠，则对整张图像拼接的接缝进行抑制处理；

步骤八、将步骤七处理后的图像与待预测图像坐标对准，获取设施农用地坐标及面积数据，完成遥感图像中设施农用地多类别识别与分类。

4.根据权利要求3所述的基于遥感图像的设施农用地多类别识别与分类方法，其特征在于，步骤一中，标签图像为已有的调查结果中标注得到mask掩膜图像。

5.根据权利要求4所述的基于遥感图像的设施农用地多类别识别与分类方法，其特征在于：步骤一中，分割后的遥感图像和标签图像的大小均为256×256像素。

6.根据权利要求5所述的基于遥感图像的设施农用地多类别识别与分类方法，其特征在于，步骤二中，对分割后的遥感图像进行图像增强具体为：对分割后的多个遥感图像添加高斯噪声、校验噪声、旋转、模糊、翻转和/或双边滤波噪声。

7.根据权利要求6所述的基于遥感图像的设施农用地多类别识别与分类方法，其特征在于：步骤二中，将分割后的标签图像转化为8-bit灰度图。

8.根据权利要求7所述的基于遥感图像的设施农用地多类别识别与分类方法，其特征在于：步骤七中采用CRF模型将噪声抑制处理后的多个图像拼接成为整张图像。

9.根据权利要求8所述的基于遥感图像的设施农用地多类别识别与分类方法，其特征在于：步骤三中，随机抽取75%的图像作为训练集。

Images