CN109086668B - 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法 - Google Patents

Abstract

本发明公开了一种基于多尺度生成对抗网络的无人机影像道路信息提取方法，将遥感图像分别通过卷积和反卷积操作，得到长宽各缩小一倍和放大一倍的图像，然后通过一个端到端训练的图像分割网络，得到三种对应尺度的输出特征图，然后通过卷积和反卷积操作，统一到原始大小尺度，通过逐像素相加的方法，将融合在一起并输入到判别网络中与标签图像进行对比得到误差，并更新生成网络和判别网络参数。经过一定数量训练数据的训练，最终将对抗生成网络中的生成网络的生成结果作为应用中的分割结果即提取的道路区域图像。针对无人机图像中道路区域占单张图像比例过大或过小的情况，本发明能很好的提取到道路区域，同时提高了无人机遥感影像中道路区域分割精度。

Description

基于多尺度生成对抗网络的无人机遥感影像道路信息提取 方法

技术领域

本发明涉及无人机遥感图像自动化处理技术领域，具体地说是一种基于生成对抗网络，并且融合多尺度图像处理的高分辨率无人机遥感影像道路信息提取的方法。

背景技术

无人机遥感作为遥感的发展趋势之一，在数据获取过程中具有很强的时效性、针对性和高灵活性等优点，是获取遥感数据的重要途径。道路作为遥感影像中最常见的地物信息之一，道路信息的提取在军事战略、空间制图、城市建设、交通管理、通行导航等关乎国计民生的领域中有着重要的意义。

近年来，随着深度学习的快速发展，机器学习等各大领域包括计算机视觉迅速被深度学习占领，包括图像分类、目标检测以及图像语义分割。相较于传统的算法，深度学习往往有20％-30％成绩的提高，这主要归结于卷积神经网络对图像特征的强大的学习能力，这是传统的基于像素和边界识别等算法所不能比拟的。

尽管现有的很多卷积神经网络模型在图像语义分割上已经有了很成功的表现，但有时候并不能很好地学到训练数据中的一些特征，尤其是在图像语义分割任务中，分割模型在通常对每个像素的类别进行预测，像素级别的准确率可能会很高，但像素与像素之间的相互关系容易被忽略，使得分割结果中的物体不够完整或者分割结果中的某些物体的尺寸、形状在与标签中的尺寸、形状差别较大，并且现实场景的复杂多变总是导致卷积神经网络的通用型存在欠缺，目标对象的大量变化、不同场景中物体的遮挡和重叠、缺乏高辨识度的特征和光照变化等都是使分割模型缺少泛化能力的影响因素。

生成对抗网络就是为了解决上述问题而被提出来的一种方法，生成对抗网络中的生成模型，将随机噪声通过卷积神经网络学习产生一个与输入数据分布相似的图像，再通过判别网络控制生成的假图与原始输入图像的差异，让生成的假图尽可能与原始图片接近，最终以至于判别不出差异。

在图像语义分割任务中，生成对抗网络中的生成模型通过将输入的RGB图像特征学习，产生一个像素级别的标签类预测的概率图，经过判别网络，判别由生成模型产生的概率图与真实样本标签的差异。与传统卷积神经网络相比，生成对抗网络模型不但能提高图像语义分割结果中单个物体的完整性，还能保持物体间的相互独立性，提高分割精度。

由于无人机遥感平台的特性问题，不同架次无人机的飞行高度往往不一样，导致相同地物成像大小尺寸不一致，针对道路区域，当无人机飞行高度较低时，无人机的成像图像中，道路区域可能占据单张图像面积的90％以上，甚至达到100％；当无人机飞机高度较高时，道路区域的面积可能只占单张图像区域的10％甚至更少。而现有的卷积神经网络结构，当设计好网络模型之后，当利用较大的卷积核对图像进行卷积操作提取特征时，目标较小的对象往往会被忽略，当利用较小的卷积核对图像进行卷积操作提取特征时，目标较大的对象分割结果则容易出现不连续的现象，从而影响图像分割精度。

发明内容

本发明的目的在于针对由于无人机飞行高度不一致，导致摄像头成像时道路区域面积占单幅遥感影像面积比例过大或过小，从而影响道路区域提取精度的问题，提出了一种基于多尺度生成对抗网络的无人机影像道路信息提取方法，利用生成对抗网络在图像语义分割中的优势，同时结合多尺度图像处理的方法，以提高无人机遥感影像中道路区域的提取精度。

为实现上述发明目的，本发明基于多尺度生成对抗网络的无人机影像道路信息提取方法，其特征在于，包括以下步骤：

(1)、获取训练数据

将原始无人机遥感图像裁剪成n×n大小的一系列遥感图像，然后制作标记出道路区域的标签图像，将各遥感图像及其对应的标签图像作为训练数据；

(2)、构建生成网络

2.1)、在生成网络中，对于n×n大小的遥感图像的RGB三通道图像，分别通过卷积操作和反卷积操作，得到大小分别为0.5n×0.5n和2n×2n的RGB三通道图像；

2.2)、在生成网络中，将步骤2.1)中得到的大小为2n×2n的RGB三通道图像经过一个端到端训练的图像分割网络，得到一个大小为2n×2n的分类概率特征图，经过卷积操作，得到大小为n×n的概率特征图；

2.3)、在生成网络中，将步骤2.1)中得到的大小为0.5n×0.5n的RGB三通图像经过与步骤2.2)中相同结构的端到端训练的图像分割网络，得到一个大小为0.5n×0.5n的分类概率特征图，经过反卷积操作，得到大小为n×n的概率特征图；

2.4)、在生成网络中，将n×n大小的遥感图像的RGB图像经过与步骤2.2)中相同结构的图像分割网络，得到一个大小为n×n的分类概率特征图，即n×n的概率特征图；

2.4)、在生成网络中，最后将步骤2.2)、(2.3)、(2.4)得到的三个大小均为n×n的概率特征图，通过逐像素相加的方法，融合三个尺度的图像特征，得到生成网络的输出特征图；

(3)、将训练数据中n×n大小的遥感图像输入到步骤(2)构建的生成网络中，得到输出特征图，将输出特征图与n×n大小的遥感图像分别经过一次卷积操作，将卷积得到的特征图连接起来作为判别网络的输入，经过判别网络之后得到一个介于0和1之间的输出，判别网络将此输入当做是假图像的输入，此时判别网络的期望输出为0，判别网络输出与此时的期望输出相减得到误差；

(4)、将训练数据中n×n大小的遥感图像及其对应的标签图像分别经过一次卷积操作，然后将卷积得到的特征图连接起来作为判别网络的输入，经过判别网络之后得到一个介于0和1之间的输出，判别网络将此输入当做是真实图像的输入，此时判别网络的期望输出为1，判别网络输出与此时的期望输出相减得到误差；

(5)、将步骤(3)、(4)得到的误差反向传播，更新生成网络和判别网络参数，其中，步骤2.2)、2.3)、2.4)中的端到端训练的图像分割网络共用权值参数；

(6)、步骤(1)得到的训练数据中的所有遥感图像以及各自对应的标签图像，经过步骤(3)、(4)、(5)对生成网络进行训练，使生成对抗网络中的生成网络与判别网络达到一个平衡状态，生成网络产生的输出特征图即假图与标签图像差异很小，以至于判别网络也判别不了其输入的图像是来自于标签图像还是来自于生成网络所产生的输出特征图即假图；

(7)、将达到平衡状态下的生成对抗网络中的生成网络单独取出来进行应用，将实际无人机拍摄到的遥感图像剪成n×n大小的一系列遥感图像，并将其作为输入，将生成网络的输出特征图作为分割结果即提取的道路区域图像。

本发明的目的是这样实现的。

本发明基于多尺度生成对抗网络的无人机影像道路信息提取方法，首先，将遥感图像分别通过卷积和反卷积操作，得到长宽各缩小一倍和放大一倍的图像；其次，将三种尺度的图像通过一个端到端训练的图像分割网络，得到三种对应尺度的像素级别预测概率图即输出特征图；再次，通过卷积和反卷积操作，将三种尺度的像素级别输出特征图统一到原始训练数据图像大小尺度，通过逐像素相加的方法，将三种尺度图像特征融合在一起；最后，将融合了三种尺度特征的输出特征图输入到判别网络中，通过与真实样本标签进行对比，得到误差，并将误差反向传播，更新生成网络和判别网络参数。经过一定数量训练数据的训练，生成对抗网络中的生成网络与判别网络达到一个平衡，由生成网络生成的假图与真实标签图像差异很小，以至于判别网络判别不了其输入的图像是来自于标签图像还是由生成网络生成的假图。最终将对抗生成网络中的生成网络的生成结果作为应用中的分割结果即提取的道路区域图像。

本发明通过卷积神经网络学习无人机遥感影像特征，结合生成对抗网络的优势，同时融合多尺度图像处理的方法，针对道路区域占单幅影像面积比例过大或者过小的情况，本发明都能很好的提取到道路区域，同时提高了无人机遥感影像中道路区域分割精度。

附图说明

图1生成对抗网络总体结构图；

图2是本发明基于多尺度生成对抗网络的无人机影像道路信息提取方法一种具体实施方式流程图；

图3是本发明中融合多尺度的生成网络结构图；

图4是判别网络结构图；

图5是本发明与没有融合多尺度特征的生成网络输出的道路区域图像一组对照图；

图6是本发明与没有融合多尺度特征的生成网络输出的道路区域图像另一组对照图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

图1是生成对抗网络总体结构图。

如图1所示，在生成对抗网络中，遥感图像输入生成网络，得到输出特征图即假图，将标签图像或假图，以及遥感图像输入到判别网络，得到真/假概率，然后与期望输出1/0进行相减，得到误差。误差反向传播，更新生成网络和判别网络参数。不断输入作为训练的遥感图像及其对应的标签图像，使生成对抗网络中的生成网络与判别网络达到一个平衡状态，生成网络产生的输出特征图即假图与标签图像差异很小，以至于判别网络也判别不了其输入的图像是来自于标签图像还是来自于生成网络所产生的输出特征图即假图。这样，得到的生成网络可以应用于实际无人机拍摄到的遥感图像分割任务。

图2是本发明基于多尺度生成对抗网络的无人机影像道路信息提取方法一种具体实施方式流程图。

在本实施例中，如图1所示，本发明基于多尺度生成对抗网络的无人机影像道路信息提取方法包括以下步骤：

步骤S1：获取训练数据

将原始无人机遥感图像裁剪成n×n大小的一系列遥感图像，然后制作标记出道路区域的标签图像，将各遥感图像及其对应的标签图像作为训练数据。

在本实施例中，原始无人机遥感图像裁剪成500*500大小的一系列遥感图像，然后人工制作标记出道路区域的标签图像。为了验证本发明的对象分割能力，在本实施例中，将其中90％的遥感图像和其各自对应的标签图像作为训练数据，剩下10％遥感图像和其各自对应的标签图像作为测试数据。

步骤S2：构建生成网络

如图3所示，在生成网络中，对于n×n大小的遥感图像的RGB三通道图像I，分别通过卷积操作和反卷积操作，得到大小分别为0.5n×0.5n和2n×2n的RGB三通道图像I₁、I₂。在本实施例中，分别为1000×1000和250×250的RGB三通道图像I₁、I₂。

将得到的大小为2n×2n的RGB三通道图像I₁经过一个端到端训练的图像分割网络，得到一个大小为2n×2n的分类概率特征图I₃，经过卷积操作，得到大小为n×n的概率特征图I₄；

将得到的大小为0.5n×0.5n的RGB三通图像I₂经过一个相同结构的端到端训练的图像分割网络，得到一个大小为0.5n×0.5n的分类概率特征图I₅，经过反卷积操作，得到大小为n×n的概率特征图I₆；

将n×n大小的遥感图像的RGB图像I经过一个相同结构的图像分割网络，得到一个大小为n×n的分类概率特征图，即n×n的概率特征图I₇；

最后，将得到的三个大小均为n×n的概率特征图I₄、I₆、I₇通过逐像素相加的方法，融合三个尺度的图像特征，得到生成网络的输出特征图I₈。

步骤S3：将训练数据中n×n大小的遥感图像输入到步骤S2构建的生成网络中，得到输出特征图。如图4所示，将输出特征图与n×n大小的遥感图像分别经过一次卷积操作，将卷积得到的特征图连接起来作为判别网络的输入，经过判别网络之后得到一个介于0和1之间的输出，判别网络将此输入当做是假图像的输入，此时判别网络的期望输出为0，判别网络输出与此时的期望输出相减得到误差。

步骤S4：将训练数据中n×n大小的遥感图像及其对应的标签图像分别经过一次卷积操作，然后将卷积得到的特征图连接起来作为判别网络的输入，经过判别网络之后得到一个介于0和1之间的输出，判别网络将此输入当做是真实图像的输入，此时判别网络的期望输出为1，判别网络输出与此时的期望输出相减得到误差。

步骤S5：将步骤S3、S4得到的误差反向传播，更新生成网络和判别网络参数，其中，步骤S2中的三个端到端训练的图像分割网络共用权值参数。

步骤S6：将步骤S1得到的训练数据中的所有遥感图像以及各自对应的标签图像，经过步骤S3、S4、S5对生成网络进行训练，使生成对抗网络中的生成网络与判别网络达到一个平衡状态，生成网络产生的输出特征图即假图与标签图像差异很小，以至于判别网络也判别不了其输入的图像是来自于标签图像还是来自于生成网络所产生的输出特征图即假图。

步骤S7：将达到平衡状态下的生成对抗网络中的生成网络单独取出来进行应用，将实际无人机拍摄到的遥感图像剪成n×n大小的一系列遥感图像，并将其作为输入，将生成网络的输出特征图作为分割结果即提取的道路区域图像。

将测试数据输入生成网络，得到的道路区域图像与标签图像进行对比，提取效果都比较好。

图5是本发明与没有融合多尺度特征的生成网络输出的道路区域图像一组对照图。

图5中，第一列图像为输入的原始无人机遥感图像，第二列图像为对应的人工标记的标签图像，第三列数据为融合多尺度特征的生成网络输出的道路区域图像，第四列数据为没有融合多尺度特征的生成网络输出的道路区域图像。

通过对比可以发现在图像背景相对简单，且道路目标区域轮廓较明显的情况下，融合多尺度特征结构与没有融合多尺度特征结构的网络都较好的提取到道路区域信息；

图6是本发明与没有融合多尺度特征的生成网络输出的道路区域图像另一组对照图。

图6中，第一列图像为输入的原始无人机遥感图像，第二列图像为对应的人工标记的标签图像，第三列数据为融合多尺度特征的生成网络输出的道路区域图像，第四列数据为没有融合多尺度特征的生成网络输出的道路区域图像。

通过对比可以发现对于图像中道路区域有阴影遮挡、有与道路特征类似的其他对象存在的情况下，加入了多尺度特征结构的网络所提取到的道路信息比不加入多尺度特征结构的网络所提取到的道路区域信息要精确的多。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种基于多尺度生成对抗网络的无人机影像道路信息提取方法，其特征在于，包括以下步骤：

(1)、获取训练数据

将原始无人机遥感图像裁剪成n×n大小的一系列遥感图像，然后制作标记出道路区域的标签图像，将各遥感图像及其对应的标签图像作为训练数据；

(2)、构建生成网络

2.1)、在生成网络中，对于n×n大小的遥感图像的RGB三通道图像，分别通过卷积操作和反卷积操作，得到大小分别为0.5n×0.5n和2n×2n的RGB三通道图像；

2.2)、在生成网络中，将步骤2.1)中得到的大小为2n×2n的RGB三通道图像经过一个端到端训练的图像分割网络，得到一个大小为2n×2n的分类概率特征图，经过卷积操作，得到大小为n×n的概率特征图；

2.3)、在生成网络中，将步骤2.1)中得到的大小为0.5n×0.5n的RGB三通图像经过与步骤2.2)中相同结构的端到端训练的图像分割网络，得到一个大小为0.5n×0.5n的分类概率特征图，经过反卷积操作，得到大小为n×n的概率特征图；

2.4)、在生成网络中，将n×n大小的遥感图像的RGB图像经过与步骤2.2)中相同结构的图像分割网络，得到一个大小为n×n的分类概率特征图，即n×n的概率特征图；

2.5)、在生成网络中，最后将步骤2.2)、2.3)、2.4)得到的三个大小均为n×n的概率特征图，通过逐像素相加的方法，融合三个尺度的图像特征，得到生成网络的输出特征图；

(3)、将训练数据中n×n大小的遥感图像输入到步骤(2)构建的生成网络中，得到输出特征图，将输出特征图与n×n大小的遥感图像分别经过一次卷积操作，将卷积得到的特征图连接起来作为判别网络的输入，经过判别网络之后得到一个介于0和1之间的输出，判别网络将此输入当做是假图像的输入，此时判别网络的期望输出为0，判别网络输出与此时的期望输出相减得到误差；

(4)、将训练数据中n×n大小的遥感图像及其对应的标签图像分别经过一次卷积操作，然后将卷积得到的特征图连接起来作为判别网络的输入，经过判别网络之后得到一个介于0和1之间的输出，判别网络将此输入当做是真实图像的输入，此时判别网络的期望输出为1，判别网络输出与此时的期望输出相减得到误差；

(5)、将步骤(3)、(4)得到的误差反向传播，更新生成网络和判别网络参数，其中，步骤2.2)、2.3)、2.4)中的端到端训练的图像分割网络共用权值参数；

(6)、步骤(1)得到的训练数据中的所有遥感图像以及各自对应的标签图像，经过步骤(3)、(4)、(5)对生成网络进行训练，使生成对抗网络中的生成网络与判别网络达到一个平衡状态，判别网络也判别不了其输入的图像是来自于标签图像还是来自于生成网络所产生的输出特征图；

(7)、将达到平衡状态下的生成对抗网络中的生成网络单独取出来进行应用，将实际无人机拍摄到的遥感图像剪成n×n大小的一系列遥感图像，并将其作为输入，将生成网络的输出特征图作为分割结果即提取的道路区域图像。

2.根据权利要求1所述的基于多尺度生成对抗网络的无人机影像道路信息提取方法，其特征在于，n＝500。

Images