CN112580453A - 一种基于遥感影像和深度学习的土地利用分类方法及系统 - Google Patents

Abstract

本发明公开了一种基于遥感影像和深度学习的土地利用分类方法及系统，该方法包括：S1：获取城市和乡镇土地的遥感影像原始图像，并对其进行预处理；S2：通过深度神经网络，对预处理后的原始图像进行卷积和池化处理，提取特征；并将提取的特征与原始图像的原特征进行级联，得到级联后的特征集；S3：将所述级联后的特征集进行多尺度的池化得到多尺度的映射特征，及将所述多尺度的映射特征通过融合与上采样处理至与原始图像相同的像素，得到分类后的图像。本发明在编码阶段使用Res2Net的层级残余结构对小地物的特征加强学习，在解码阶段使用多尺度的池化来覆盖遥感图像的各个尺度，对特征进行加强和过滤，提升模型的精度。

Description

一种基于遥感影像和深度学习的土地利用分类方法及系统

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于遥感影像和深度学习的土地利用分类方法及系统。

背景技术

土地利用分类是区分土地利用空间地域组成单元的过程。这种空间地域单元是土地利用的地域组合单位，表现人类对土地利用、改造的方式和成果，反映土地的利用形式和用途(功能)。土地利用分类是为完成土地资源调查或进行统一的科学土地管理，从土地利用现状出发，根据土地利用的地域分异规律、土地用途、土地利用方式等，将一个国家或地区的土地利用情况，按照一定的层次等级体系划分为若干不同的土地利用类别。

高分辨率遥感影像的土地利用分类是遥感图像分析与应用的基础问题，由于遥感图像和自然图像之间的极大的差异性，目前将图像分析技术直接应用到遥感影像分析上的效果并不好，因为遥感影像中由于分辨率产生的小样本分类训练难度大，易产生过拟合现象，而如何进一步提高土地利用分类的精度是目前研究中一直面临的问题。

发明内容

本发明所要解决的技术问题是现有基于遥感影像的土地利用分类方法精度不高，效果不佳，因为遥感影像中由于分辨率产生的小样本分类训练难度大，易产生过拟合现象等问题。本发明目的在于提供一种基于遥感影像和深度学习的土地利用分类方法及系统，提高小样本数据在神经网络中训练效果，在数据扩充的基础上，基于细粒度的分类关注小样本特征，将局部特征与全局特征结合在一起，既关注整体的分类效果又对局部更精细的分类。本发明技术从像素级的尺度对遥感图像的土地利用分类问题进行研究，像素级的土地利用分类技术能够分析遥感影像自动化完成解译工作，提取不同类别的面积等信息，有助于对作物状态和国土资源的状况及时掌握。

本发明通过下述技术方案实现：

第一方面，本发明提供了一种基于遥感影像和深度学习的土地利用分类方法，该方法包括以下步骤：

S1：获取城市和乡镇土地的遥感影像原始图像，并对其进行预处理；

S2：通过深度神经网络，对预处理后的原始图像进行卷积和池化处理，提取特征；并将提取的特征与原始图像的原特征进行级联，得到级联后的特征集；

S3：将所述级联后的特征集进行多尺度的池化得到多尺度的映射特征，及将所述多尺度的映射特征通过融合与上采样处理至与原始图像相同的像素，得到分类后的图像。

工作原理是：基于现有基于遥感影像的土地利用分类方法精度不高，效果不佳，因为遥感影像中由于分辨率产生的小样本分类训练难度大，易产生过拟合现象等问题。本发明创新地设计了一种基于遥感影像和深度学习的土地利用分类方法，采用深度学习端到端的训练，方便模型的部署和应用；在特征提取网络中构造分层连接，为卷积神经网络提出了一种新的构建模块(即深度学习多尺度网络结构Res2Net)，以更细粒度表示小目标的多尺度特征，并增加每个网络层的感受野；同时，在上采样中采用多尺度特征融合来规避上采样结果模糊和平滑的弊端。

本发明为解决遥感图像在像素级的土地利用分类中存在的问题，提出在编码阶段使用Res2Net的层级残余结构对小地物的特征加强学习。同时，在解码阶段使用多尺度的池化来覆盖遥感图像的各个尺度，对特征进行加强和过滤，提升模型的精度。

本发明提高小样本数据在神经网络中训练效果，在数据扩充的基础上，基于细粒度的分类关注小样本特征，将局部特征与全局特征结合在一起，既关注整体的分类效果又对局部更精细的分类。本发明技术从像素级的尺度对遥感图像的土地利用分类问题进行研究，像素级的土地利用分类技术能够分析遥感影像自动化完成解译工作，提取不同类别的面积等信息，有助于对作物状态和国土资源的状况及时掌握。

进一步地，步骤S1中对获取的城市和乡镇土地的遥感影像原始图像进行预处理，包括：由于城市和乡镇土地的遥感图像较大，为了后面的深度神经网络模型训练，将遥感影像原始图像切割成512x512的小图，并以7：2：1的比例划分为训练集、验证集和测试集。

进一步地，步骤S2的具体步骤如下：

S21：采用深度学习多尺度网络结构Res2Net，对预处理后的原始图像提取图像特征的高维表达，即将步骤S1生成的训练集和验证集送入Res2Net提取图像特征的高维表达，在Resnet的基础上在每个残差单元增加层级残差链接，增加小目标特征提取的感受野。所述图像特征经过1x1卷积将特征分成4组特征x_i，i∈{1,2,3,4}，每个子集的分辨率大小和原特征相同，通道数减少为原来的1/4表示为K_i，输出提取的特征y_i的公式如下所示：

式中，x_i表示第i组的卷积特征，k_i表示第i组的3x3卷积，y_i-1表示第i组卷积特征的输出；

S22：将步骤S21提取的特征y_i和原特征x_i集成在一起，即将局部的特征和全局的特征级联在一起，丰富特征F的表达式为：

式中，∑为求和符号。

进一步地，步骤S3的具体步骤如下：

S31：为了提升步骤S22提取特征对像素的判别能力，在解码的部分，采用4种尺度的池化层来精炼特征的聚合能力，其中池化的stride分别为1×1，2×2，3×3，6×6，从这四个维度覆盖遥感影像的各个尺度特征，在每个尺度的到后面一次使用1x1的卷积将通道数降低为1/4得到通道双线程插值得到多尺度特征；

其中d_in是输入的卷积，采用大小可变的池内核d_kernel来抽象出不同的子区域，使用了padding技术，在图像周围额外添加一圈像素，使得卷积后的图像尺寸和卷积前的一样，stride池化的步调；

S32：将所述多尺度特征作为监督信息回传到各通道中，与解码器输入的特征每个像素对应相乘，学习各个特征的权重，得到加权后的原特征图信息，从而权重强的可以增强有用的特征，反之权重弱的可以削弱无效的信息；提高深度神经网络模型对像素的判别能力。其中，不同的尺度对应不同的上采样回原特征。

S33：将步骤S32得到融合后的特征，在通道维度上结合所述多尺度特征融合信息与加权后的原特征图信息，经过双线性插值上采样得到预测输出结果。

进一步地，所述步骤S2、S3中的使用过程中通过损失函数反向传播误差来优化神经网络模型的参数，即将训练图像和标签一起输入深度神经网络中训练，通过损失函数反向传播误差来优化模型的参数，针对不同类别的像素数量不均衡提出了改进方法，但有时还需要将像素分为难学习和容易学习这两种样本。容易学习的样本模型可以很轻松地将其预测正确，模型只要将大量容易学习的样本分类正确，loss就可以减小很多，从而导致模型不怎么顾及难学习的样本，使用focal loss让模型更加关注难学习的样本。损失函数的公式为：

式中，α和γ是可以调节的超参数；y_pred是模型的预测值，y是真实样本的类别。

第二方面，本发明还提供了一种基于遥感影像和深度学习的土地利用分类系统，该系统支持所述的一种基于遥感影像和深度学习的土地利用分类方法，该系统包括：

获取单元，用于获取城市和乡镇土地的遥感影像原始图像，并对其进行预处理；

处理单元包括第一处理单元和第二处理单元，所述第一处理单元，用于通过深度神经网络，对预处理后的原始图像进行卷积和池化处理，提取特征；并将提取的特征与原始图像的原特征进行级联，得到级联后的特征集；所述第二处理单元，用于将所述级联后的特征集进行多尺度的池化得到多尺度的映射特征，及将所述多尺度的映射特征通过融合与上采样处理至与原始图像相同的像素，得到分类后的图像；

输出单元，用于输出分类后的图像。

本发明系统为解决遥感图像在像素级的土地利用分类中存在的问题，提出在编码阶段(第一处理单元)使用Res2Net的层级残余结构对小地物的特征加强学习。同时，在解码阶段(第二处理单元)使用多尺度的池化来覆盖遥感图像的各个尺度，对特征进行加强和过滤，提升模型的精度。本发明和使用deeplab系列的网络相比精度提升了约5％，该土地利用分类能够快速准确的判断场景土地利用类型和位置，在地类检索、违章违建识别、土地资源管理等方面具有潜在应用价值。

进一步地，所述第一处理单元执行过程如下：

采用深度学习多尺度网络结构Res2Net，对预处理后的原始图像提取图像特征的高维表达，所述图像特征经过1x1卷积将特征分成4组特征x_i，i∈{1,2,3,4}，每个子集的分辨率大小和原特征相同，通道数减少为原来的1/4表示为K_i，输出提取的特征y_i的公式如下所示：

式中，x_i表示第i组的卷积特征，k_i表示第i组的3x3卷积，y_i-1表示第i组卷积特征的输出；

将提取的特征y_i和原特征x_i集成在一起，即将局部的特征和全局的特征级联在一起，丰富特征F的表达式为：

式中，∑为求和符号。

进一步地，所述第二处理单元执行过程如下：

采用4种尺度的池化层来精炼特征的聚合能力，其中池化的stride分别为1×1，2×2，3×3，6×6，从这四个维度覆盖遥感影像的各个尺度特征，在每个尺度的到后面一次使用1x1的卷积将通道数降低为1/4得到通道双线程插值得到多尺度特征；

其中d_in是输入的卷积，采用大小可变的池内核d_kernel来抽象出不同的子区域，使用了padding技术，在图像周围额外添加一圈像素，使得卷积后的图像尺寸和卷积前的一样，stride池化的步调；

将所述多尺度特征作为监督信息回传到各通道中，与解码器输入的特征每个像素对应相乘，学习各个特征的权重，得到加权后的原特征图信息，从而权重强的可以增强有用的特征，反之权重弱的可以削弱无用的信息；

将融合后的特征，在通道维度上结合所述多尺度特征融合信息与加权后的原特征图信息，经过双线性插值上采样得到预测输出结果。

第三方面，本发明还提供了一种设备，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行所述的一种基于遥感影像和深度学习的土地利用分类方法。

第四方面，本发明还提供了一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现所述的一种基于遥感影像和深度学习的土地利用分类方法。

本发明与现有技术相比，具有如下的优点和有益效果：

1、本发明方法提出在编码阶段使用Res2Net的层级残余结构对小地物的特征加强学习。

2、本发明方法在解码阶段使用多尺度的池化来覆盖遥感图像的各个尺度，对特征进行加强和过滤，提升模型的精度。

3、本发明网络使用深度学习端到端的结构，能够接收任意尺寸的原始影像，最后输出一张与原始影像相同大小且带有像素标注的分类图，即同时实现像素分类和定位的并存。

4、本发明提高小样本数据在神经网络中训练效果，在数据扩充的基础上，基于细粒度的分类关注小样本特征，将局部特征与全局特征结合在一起，既关注整体的分类效果又对局部更精细的分类。本发明技术从像素级的尺度对遥感图像的土地利用分类问题进行研究，像素级的土地利用分类技术能够分析遥感影像自动化完成解译工作，提取不同类别的面积等信息，有助于对作物状态和国土资源的状况及时掌握。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明一种基于遥感影像和深度学习的土地利用分类方法流程图。

图2为本发明遥感图像的土地利用网络示意图。

图3为本发明实施例中实验在准确率和召回率的精度示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

在以下描述中，为了提供对本发明的透彻理解阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的结构、电路、材料或方法。

在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“一个实施例”、“实施例”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和、或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的示图都是为了说明的目的，并且示图不一定是按比例绘制的。这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。

在本发明的描述中，需要理解的是，术语“前”、“后”、“左”、“右”、“上”、“下”、“竖直”、“水平”、“高”、“低”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。

实施例1

如图1至图3所示，本发明一种基于遥感影像和深度学习的土地利用分类方法，该方法包括以下步骤：

S1：获取城市和乡镇土地的遥感影像原始图像，并对其进行预处理；

S2：通过深度神经网络，对预处理后的原始图像进行卷积和池化处理，提取特征；并将提取的特征与原始图像的原特征进行级联，得到级联后的特征集；

S3：将所述级联后的特征集进行多尺度的池化得到多尺度的映射特征，及将所述多尺度的映射特征通过融合与上采样处理至与原始图像相同的像素，得到分类后的图像。

本实施例中，步骤S1中对获取的城市和乡镇土地的遥感影像原始图像进行预处理，包括：由于城市和乡镇土地的遥感图像较大，为了后面的深度神经网络模型训练，将遥感影像原始图像切割成512x512的小图，并以7：2：1的比例划分为训练集、验证集和测试集。

本实施例中，步骤S2的具体步骤如下：

S21：采用深度学习多尺度网络结构Res2Net，对预处理后的原始图像提取图像特征的高维表达，即将步骤S1生成的训练集和验证集送入Res2Net提取图像特征的高维表达，在Resnet的基础上在每个残差单元增加层级残差链接，增加小目标特征提取的感受野。所述图像特征经过1x1卷积将特征分成4组特征x_i，i∈{1,2,3,4}，每个子集的分辨率大小和原特征相同，通道数减少为原来的1/4表示为K_i，输出提取的特征y_i的公式如下所示：

式中，x_i表示第i组的卷积特征，k_i表示第i组的3x3卷积，y_i-1表示第i组卷积特征的输出；

S22：将步骤S21提取的特征y_i和原特征x_i集成在一起，即将局部的特征和全局的特征级联在一起，丰富特征F的表达式为：

式中，∑为求和符号。

本实施例中，步骤S3的具体步骤如下：

S31：为了提升步骤S22提取特征对像素的判别能力，在解码的部分，采用4种尺度的池化层来精炼特征的聚合能力，其中池化的stride分别为1×1，2×2，3×3，6×6，从这四个维度覆盖遥感影像的各个尺度特征，在每个尺度的到后面一次使用1x1的卷积将通道数降低为1/4得到通道双线程插值得到多尺度特征；

其中d_in是输入的卷积，采用大小可变的池内核d_kernel来抽象出不同的子区域，使用了padding技术，在图像周围额外添加一圈像素，使得卷积后的图像尺寸和卷积前的一样，stride池化的步调；

S32：将所述多尺度特征作为监督信息回传到各通道中，与解码器输入的特征每个像素对应相乘，学习各个特征的权重，得到加权后的原特征图信息，从而权重强的可以增强有用的特征，反之权重弱的可以削弱无效的信息；提高深度神经网络模型对像素的判别能力。其中，不同的尺度对应不同的上采样回原特征。

S33：将步骤S32得到融合后的特征，在通道维度上结合所述多尺度特征融合信息与加权后的原特征图信息，经过双线性插值上采样得到预测输出结果。

本实施例中，所述步骤S2、S3中的使用过程中通过损失函数反向传播误差来优化神经网络模型的参数，即将训练图像和标签一起输入深度神经网络中训练，通过损失函数反向传播误差来优化模型的参数，针对不同类别的像素数量不均衡提出了改进方法，但有时还需要将像素分为难学习和容易学习这两种样本。容易学习的样本模型可以很轻松地将其预测正确，模型只要将大量容易学习的样本分类正确，loss就可以减小很多，从而导致模型不怎么顾及难学习的样本，使用focal loss让模型更加关注难学习的样本。损失函数的公式为：

式中，α和γ是可以调节的超参数。y_pred是模型的预测值，y是真实样本的类别。

实施时：使用图像分割的技术对遥感影像快速、准确地获取农作物类别信息对农业部门的生产管理、政策制定具有重要作用。

本发明所采用的遥感图像包括36张高分二号(Gaofen-2，GF-2)影像，其空间分辨率均为1m/pixel。本发明对图像进行了人工标注，搭建了完整的数据集。实验在准确率和召回率上均有比较好的效果，准确率(precision)和召回率(recall)的精度如图3所示。

工作原理是：基于现有基于遥感影像的土地利用分类方法精度不高，效果不佳，因为遥感影像中由于分辨率产生的小样本分类训练难度大，易产生过拟合现象等问题。本发明创新地设计了一种基于遥感影像和深度学习的土地利用分类方法，采用深度学习端到端的训练，方便模型的部署和应用；在特征提取网络中构造分层连接，为卷积神经网络提出了一种新的构建模块(即深度学习多尺度网络结构Res2Net)，以更细粒度表示小目标的多尺度特征，并增加每个网络层的感受野；同时，在上采样中采用多尺度特征融合来规避上采样结果模糊和平滑的弊端。

本发明为解决遥感图像在像素级的土地利用分类中存在的问题，提出在编码阶段使用Res2Net的层级残余结构对小地物的特征加强学习。同时，在解码阶段使用多尺度的池化来覆盖遥感图像的各个尺度，对特征进行加强和过滤，提升模型的精度。

本发明提高小样本数据在神经网络中训练效果，在数据扩充的基础上，基于细粒度的分类关注小样本特征，将局部特征与全局特征结合在一起，既关注整体的分类效果又对局部更精细的分类。本发明技术从像素级的尺度对遥感图像的土地利用分类问题进行研究，像素级的土地利用分类技术能够分析遥感影像自动化完成解译工作，提取不同类别的面积等信息，有助于对作物状态和国土资源的状况及时掌握。

实施例2

如图1至图3所示，本实施例与实施例1的区别在于，本实施例提供了一种基于遥感影像和深度学习的土地利用分类系统，该系统支持实施例1所述的一种基于遥感影像和深度学习的土地利用分类方法，该系统包括：

获取单元，用于获取城市和乡镇土地的遥感影像原始图像，并对其进行预处理；

处理单元包括第一处理单元和第二处理单元，所述第一处理单元，用于通过深度神经网络，对预处理后的原始图像进行卷积和池化处理，提取特征；并将提取的特征与原始图像的原特征进行级联，得到级联后的特征集；所述第二处理单元，用于将所述级联后的特征集进行多尺度的池化得到多尺度的映射特征，及将所述多尺度的映射特征通过融合与上采样处理至与原始图像相同的像素，得到分类后的图像；

输出单元，用于输出分类后的图像。

本实施例中，所述获取单元中对获取的城市和乡镇土地的遥感影像原始图像进行预处理，包括：由于城市和乡镇土地的遥感图像较大，为了后面的深度神经网络模型训练，将遥感影像原始图像切割成512x512的小图，并以7：2：1的比例划分为训练集、验证集和测试集。

本实施例中，所述第一处理单元执行过程如下：

采用深度学习多尺度网络结构Res2Net，对预处理后的原始图像提取图像特征的高维表达，所述图像特征经过1x1卷积将特征分成4组特征x_i，i∈{1,2,3,4}，每个子集的分辨率大小和原特征相同，通道数减少为原来的1/4表示为K_i，输出提取的特征y_i的公式如下所示：

式中，x_i表示第i组的卷积特征，k_i表示第i组的3x3卷积，y_i-1表示第i组卷积特征的输出；

将提取的特征y_i和原特征x_i集成在一起，即将局部的特征和全局的特征级联在一起，丰富特征F的表达式为：

式中，∑为求和符号。

本实施例中，所述第二处理单元执行过程如下：

采用4种尺度的池化层来精炼特征的聚合能力，其中池化的stride分别为1×1，2×2，3×3，6×6，从这四个维度覆盖遥感影像的各个尺度特征，在每个尺度的到后面一次使用1x1的卷积将通道数降低为1/4得到通道双线程插值得到多尺度特征；

其中d_in是输入的卷积，采用大小可变的池内核d_kernel来抽象出不同的子区域，使用了padding技术，在图像周围额外添加一圈像素，使得卷积后的图像尺寸和卷积前的一样，stride池化的步调。

将所述多尺度特征作为监督信息回传到各通道中，与解码器输入的特征每个像素对应相乘，学习各个特征的权重，得到加权后的原特征图信息，从而权重强的可以增强有用的特征，反之权重弱的可以削弱无用的信息；

将融合后的特征，在通道维度上结合所述多尺度特征融合信息与加权后的原特征图信息，经过双线性插值上采样得到预测输出结果。

本实施例中，所述处理单元中通过损失函数反向传播误差来优化神经网络模型的参数，即将训练图像和标签一起输入深度神经网络中训练，通过损失函数反向传播误差来优化模型的参数，针对不同类别的像素数量不均衡提出了改进方法，但有时还需要将像素分为难学习和容易学习这两种样本。容易学习的样本模型可以很轻松地将其预测正确，模型只要将大量容易学习的样本分类正确，loss就可以减小很多，从而导致模型不怎么顾及难学习的样本，使用focal loss让模型更加关注难学习的样本。损失函数的公式为：

式中，α和γ是可以调节的超参数。y_pred是模型的预测值，y是真实样本的类别。

本发明系统为解决遥感图像在像素级的土地利用分类中存在的问题，提出在编码阶段(第一处理单元)使用Res2Net的层级残余结构对小地物的特征加强学习。同时，在解码阶段(第二处理单元)使用多尺度的池化来覆盖遥感图像的各个尺度，对特征进行加强和过滤，提升模型的精度。本发明和使用deeplab系列的网络相比精度提升了约5％，该土地利用分类能够快速准确的判断场景土地利用类型和位置，在地类检索、违章违建识别、土地资源管理等方面具有潜在应用价值。

实施例3

如图1至图3所示，本实施例与实施例1的区别在于，本实施例提供了一种设备，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行实施例1所述的一种基于遥感影像和深度学习的土地利用分类方法。

其中，一种基于遥感影像和深度学习的土地利用分类方法按照实施例1中的方法步骤执行。在此不再一一赘述。

实施例4

如图1至图3所示，本实施例与实施例1的区别在于，本实施例提供了一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现实施例1所述的一种基于遥感影像和深度学习的土地利用分类方法。

其中，一种基于遥感影像和深度学习的土地利用分类方法按照实施例1中的方法步骤执行。在此不再一一赘述。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于遥感影像和深度学习的土地利用分类方法，其特征在于，该方法包括以下步骤：

S1：获取城市和乡镇土地的遥感影像原始图像，并对其进行预处理；

S2：通过深度神经网络，对预处理后的原始图像进行卷积和池化处理，提取特征；并将提取的特征与原始图像的原特征进行级联，得到级联后的特征集；

S3：将所述级联后的特征集进行多尺度的池化得到多尺度的映射特征，及将所述多尺度的映射特征通过融合与上采样处理至与原始图像相同的像素，得到分类后的图像。

2.根据权利要求1所述的一种基于遥感影像和深度学习的土地利用分类方法，其特征在于，步骤S1中对获取的城市和乡镇土地的遥感影像原始图像进行预处理，包括：将遥感影像原始图像切割成512x512的小图，并以7：2：1的比例划分为训练集、验证集和测试集。

3.根据权利要求1所述的一种基于遥感影像和深度学习的土地利用分类方法，其特征在于，步骤S2的具体步骤如下：

S21：采用深度学习多尺度网络结构Res2Net，对预处理后的原始图像提取图像特征的高维表达，所述图像特征经过1x1卷积将特征分成4组特征x_i，i∈{1,2,3,4}，每个子集的分辨率大小和原特征相同，通道数减少为原来的1/4表示为K_i，输出提取的特征y_i的公式如下所示：

式中，x_i表示第i组的卷积特征，k_i表示第i组的3x3卷积，y_i-1表示第i组卷积特征的输出；

S22：将步骤S21提取的特征y_i和原特征x_i集成在一起，即将局部的特征和全局的特征级联在一起，丰富特征F的表达式为：

式中，∑为求和符号。

4.根据权利要求1所述的一种基于遥感影像和深度学习的土地利用分类方法，其特征在于，步骤S3的具体步骤如下：

S31：采用4种尺度的池化层来精炼特征的聚合能力，其中池化分别为1×1，2×2，3×3，6×6，从这四个维度覆盖遥感影像的各个尺度特征，在每个尺度的到后面一次使用1x1的卷积将通道数降低为1/4得到通道双线程插值得到多尺度特征；其表达式如下：

其中d_in是输入的卷积，采用大小可变的池内核d_kernel来抽象出不同的子区域，使用padding技术，在图像周围额外添加一圈像素，使得卷积后的图像尺寸和卷积前的一样，stride池化的步调；

S32：将所述多尺度特征作为监督信息回传到各通道中，与解码器输入的特征每个像素对应相乘，学习各个特征的权重，得到加权后的原特征图信息；

S33：将步骤S32得到融合后的特征，在通道维度上结合所述多尺度特征融合信息与加权后的原特征图信息，经过双线性插值上采样得到预测输出结果。

5.根据权利要求1所述的一种基于遥感影像和深度学习的土地利用分类方法，其特征在于，所述步骤S2、S3中的使用过程中通过损失函数反向传播误差来优化神经网络模型的参数，使用focal loss损失函数的公式为：

式中，α和γ是超参数；y_pred是模型的预测值，y是真实样本的类别。

6.一种基于遥感影像和深度学习的土地利用分类系统，其特征在于，该系统支持如权利要求1至5中任意一项所述的一种基于遥感影像和深度学习的土地利用分类方法，该系统包括：

获取单元，用于获取城市和乡镇土地的遥感影像原始图像，并对其进行预处理；

处理单元包括第一处理单元和第二处理单元，所述第一处理单元，用于通过深度神经网络，对预处理后的原始图像进行卷积和池化处理，提取特征；并将提取的特征与原始图像的原特征进行级联，得到级联后的特征集；所述第二处理单元，用于将所述级联后的特征集进行多尺度的池化得到多尺度的映射特征，及将所述多尺度的映射特征通过融合与上采样处理至与原始图像相同的像素，得到分类后的图像；

输出单元，用于输出分类后的图像。

7.根据权利要求6所述的一种基于遥感影像和深度学习的土地利用分类系统，其特征在于，所述第一处理单元执行过程如下：

采用深度学习多尺度网络结构Res2Net，对预处理后的原始图像提取图像特征的高维表达，所述图像特征经过1x1卷积将特征分成4组特征x_i，i∈{1,2,3,4}，每个子集的分辨率大小和原特征相同，通道数减少为原来的1/4表示为K_i，输出提取的特征y_i的公式如下所示：

式中，x_i表示第i组的卷积特征，k_i表示第i组的3x3卷积，y_i-1表示第i组卷积特征的输出；

将提取的特征y_i和原特征x_i集成在一起，即将局部的特征和全局的特征级联在一起，丰富特征F的表达式为：

式中，∑为求和符号。

8.根据权利要求6所述的一种基于遥感影像和深度学习的土地利用分类系统，其特征在于，所述第二处理单元执行过程如下：

采用4种尺度的池化层来精炼特征的聚合能力，其中池化的stride分别为1×1，2×2，3×3，6×6，从这四个维度覆盖遥感影像的各个尺度特征，在每个尺度的到后面一次使用1x1的卷积将通道数降低为1/4得到通道双线程插值得到多尺度特征；

将所述多尺度特征作为监督信息回传到各通道中，与解码器输入的特征每个像素对应相乘，学习各个特征的权重，得到加权后的原特征图信息；

将融合后的特征，在通道维度上结合所述多尺度特征融合信息与加权后的原特征图信息，经过双线性插值上采样得到预测输出结果。

9.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1-6任一所述的一种基于遥感影像和深度学习的土地利用分类方法。

10.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-6任一所述的一种基于遥感影像和深度学习的土地利用分类方法。

Images