CN114758123B - 一种遥感影像目标样本增强方法 - Google Patents
一种遥感影像目标样本增强方法 Download PDFInfo
- Publication number
- CN114758123B CN114758123B CN202210288788.5A CN202210288788A CN114758123B CN 114758123 B CN114758123 B CN 114758123B CN 202210288788 A CN202210288788 A CN 202210288788A CN 114758123 B CN114758123 B CN 114758123B
- Authority
- CN
- China
- Prior art keywords
- image
- remote sensing
- target
- sensing image
- labeling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000002372 labelling Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 4
- 238000012360 testing method Methods 0.000 claims abstract description 4
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 3
- 230000009466 transformation Effects 0.000 claims abstract description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims 5
- 230000006870 function Effects 0.000 description 13
- 239000002910 solid waste Substances 0.000 description 13
- 238000001514 detection method Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Abstract
本发明涉及一种遥感影像目标样本增强方法，包括：步骤S1、获取遥感影像，并对遥感影像中的目标进行多边形标注和矩形框标注，并将数据集划分为训练集和测试集；步骤S2、将多边形标注后的分割图像和原始影像输入至基于生成对抗网络的pix2pix模型中进行循环训练，生成含有目标的第一遥感影像以及该影像为真实影像的概率；步骤S3、将多边形标注后的分割图像和原始影像输入至基于局部‑全局判别器的pix2pix模型中进行训练，生成第二遥感影像；步骤S4、在第二遥感影像数据集和原始数据集中随机各选择一张影像进行变换处理，采用复制‑粘贴策略进行影像混合，得到最终的目标增强影像。与现有技术相比，本发明能够生成高分辨率的且细节信息丰富影像，提高了样本的丰富性和多样性。
Description
技术领域
本发明涉及图像处理领域，尤其是涉及一种遥感影像目标样本增强方法。
背景技术
近年来，随着深度学习的发展，卷积神经网络在目标检测任务上取得了革命性的突破，基于卷积神经网络的检测算法需要在有充足标签样本为训练数据的前提下，才能达到较高的准确度。但是在一些场景下，尤其是遥感影像目标检测上，有标签的数据难以收集或获取这些数据成本较高。
为了获取高质量的标签，现阶段常用的方法是请专业的标注人员对每张影像进行标注，而繁琐的标注过程不仅会耗费大量的人力，还需要长时间的、大量的标注才能满足所需数量的数据集。因此，通常采用数据增强的方式来对其进行扩充，以满足训练的要求。
常见的传统数据增强方法扩充数量有限，不足以满足训练的要求。而现有的pix2pix模型生成的影像存在分辨率较低且模糊的缺陷。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供了一种遥感影像目标样本增强方法，解决了原始pix2pix模型生成影像分辨率较低且模糊的问题，生成的影像提高了数据集的数量和质量，使得细节信息更加丰富。
本发明的目的可以通过以下技术方案来实现：
本发明提供了一种遥感影像目标样本增强方法，该方法包括以下步骤：
步骤S1、获取遥感影像，并对遥感影像中的目标进行多边形标注和矩形框标注，并将数据集划分为训练集和测试集；
步骤S2、将多边形标注后的分割图像和原始影像输入至基于生成对抗网络的pix2pix模型中进行循环训练，生成含有目标的第一遥感影像以及该影像为真实影像的概率；
步骤S3、将多边形标注后的分割图像和原始影像输入至基于局部-全局判别器的pix2pix模型中训练，生成第二遥感影像；
步骤S4、在第二遥感影像数据集和原始数据集中随机各选择一张影像进行变换处理，采用基于IOU粘贴位置确定算法的复制-粘贴策略将其中一张影像的目标粘贴到另一张影像上，进行影像混合，得到最终的目标增强影像。
优选地，所述步骤S1中对遥感影像中的目标进行多边形标注和矩形框标注，具体为：
对遥感影像中的目标进行多边形标注，获取目标和背景的分割图像；
对遥感影像进行矩形框标注，获取包围目标的矩形框。
优选地，所述步骤S2中的基于生成对抗网络的改进pix2pix模型包括用于进行图像转换的生成器和用于判断输入影像是真实影像还是生成器生成影像的判别器；所述判别器为马尔可夫判别器PatchGAN。
优选地，所述生成器包括跳跃连接的8个卷积层和7个反卷积层。
优选地，所述基于生成对抗网络的pix2pix模型的损失函数表达式为：
式中，LcGAN(G，D)为对抗网络损失函数，L1(G)为图像差异损失函数，λ为设定的系数。
优选地，所述步骤S3包括以下子步骤：
步骤S31、将生成的第一遥感影像和真实影像分别进行k1倍下采样和k2倍下采样；
步骤S32、分别构建第一遥感影像和真实影像的原尺度、k1倍下采样和k2倍下采样影像金字塔；
步骤S33、将影像金字塔的每一层输入到一个判别器中；其中，每层对应的判别器结构相同；
步骤S33、粗略尺度的判别器引导生成器生成具有全局一致性的影像，精细尺度的判别器监督生成器在影像局部范围内生成细节信息，最终得到包含细节信息和全局一致性信息的第二遥感影像。
更加优选地，所述k1、k2分别为2和4。
优选地，所述基于局部-全局判别器的pix2pix模型的损失函数表达式为：
式中，LcGAN(G，Di)为对抗网络损失函数；LL1(G)为图像差异损失函数；、λ分别为对应的权重系数。
优选地，所述步骤S4中采用基于IOU粘贴位置确定算法的复制-粘贴策略将其中一张影像的目标粘贴到另一张影像上，进行影像混合，得到最终的目标增强影像，具体为：
1)在一个图像中随机选择任意数量的对象子集，粘贴到另一个图像随机的位置上；
2)调整图像的真实框，计算粘贴目标与影像上目标的交集与影像上目标的比值threshold，表达式为：
式中，bbox1为粘贴目标，bbox2为影像上目标，intersection为面积交集函数；
3)当比值threshold大于设定阈值时，移除遮挡的对象并更新部分遮挡对象的边界框，得到最终的目标增强影像。
更加优选地，所述步骤S41中对每张图片进行变换处理包括随机翻转、随机旋转以及尺度缩放。
与现有技术相比，本发明具有以下优点：
1)本发明使用基于生成式对抗网络的pix2pix模型生成影像，并构建影像金字塔，利用局部-全局判别器监督生成器生成高分辨率且富有细节信息的影像，解决了原始pix2pix模型生成影像分辨率较低且模糊的问题，生成的影像提高了数据集的数量和质量，使得细节信息更加丰富；
2)利用复制-粘贴策略对数据集的任一张影像进行随机旋转、随机水平翻转和任意尺度缩放，将目标粘贴在数据集中另一张影像上的任意位置上；通过随机的方式组合数据集中的影像，提高了数据集的复杂性，同时使各类目标的数量达到平衡，提高了目标检测模型识别的准确性和稳定性，减少过拟合；
3)本发明的方法避免了大量的样本标注工作，降低了人力和时间成本。
附图说明
图1为本发明方法流程图；
图2为基于生成对抗网络的pix2pix模型训练过程；
图3为局部-全局判别器结构；
图4为基于复制-粘贴策略图像生成过程；
图5为原始pix2pix和基于局部-全局判别器的pix2pix生成的影像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
本发明的工作原理和工作流程：
对遥感影像的目标进行多边形标注和矩形框标注，并将数据集划分为训练集和测试集。
使用基于生成对抗网络的pix2pix模型来生成含有目标的遥感影像，以实现数据增强效果。针对原始pix2pix模型生成影像分辨率较低且缺少局部细节信息，构建局部-全局判别器来引导生成器生成质量更高的遥感影像。
使用复制-粘贴策略将影像上不同规模的不同对象粘贴到新的遥感影像上，输出一张新的丰富且新颖的影像。
实施例
如图1所示，本实施例以固废垃圾遥感检测为例，给出了一种结合改进pix2pix模型与复制-粘贴策略的遥感影像目标样本增强方法，包括数据集制作、基于生成对抗网络的pix2pix模型的数据增强、基于局部-全局判别器的pix2pix模型的数据增强和复制-粘贴数据增强四个主要过程。
1、固废数据集的制作
对固废遥感影像进行多边形标注，获取固废目标和背景的分割图像，分割图像和原始影像作为影响对输入到pix2pix模型进行训练；在训练完成后，加载训练模型，并输入一张分割图像，即可生成含有该固废目标的遥感影像。对影像进行矩形框标注，获取包围目标的矩形框，保存为xml文件，xml文件和影像作为复制-粘贴策略的输入，以实现两张影像的组合，获取一张新的固废影像。
2、基于生成对抗网络的pix2pix模型的固废影像生成
pix2pix模型由生成器和判别器两部分组成，生成器对输入的分割图像进行转换，生成相应的固废影像。判别器采用PatchGAN，用来判断输入的影像是真实存在的影像还是生成器生成的影像。生成器和判别器循环训练后，生成一张固废影像以及该影像为真实影像的概率。图2为生成对抗网络的pix2pix模型训练过程。
所述生成器本质是一个U型网络，类似于解码-编码器，其编码器包含8层卷积层，解码器为7层反卷积，总共15个卷积层组成，并在此基础上引入了跳跃连接，使得每一个反卷积层的输入都是前一层卷积层的输出，从而使特征不断向下传递，保留较多的图像特征信息；
所述判别器采用马尔可夫判别器PatchGAN，用来判别是否是生成的图像。即将一张图像切割成不同的N×N大小的patch，判别器对每一个patch做真假判别，将一张图像所有patch的结果取平均作为最终的判别器输出。
Pix2pix网络中的条件生成对抗损失函数的输入是x，输出是y，随机噪声z为网络中的dropout层，则基于生成对抗网络的pix2pix模型的损失函数表达式为：
式中，LCGAN(G,D)为对抗网络损失函数，L1(G)为图像差异损失函数，λ为设定的系数。
3、基于局部-全局判别器的pix2pix模型的固废影像生成
针对原始pix2pix模型生成影像分辨率较低且缺少局部细节信息，本发明采用改进pix2pix模型，通过局部-全局判别器以监督生成器生成高质量影像，具体为：
首先将生成影像和真实影像分别下采样2倍和4倍；然后将原尺度、2倍下采样、4倍下采样的生成影像和真实影像分别构建影像金字塔；最后将金字塔的每一层输入到一个判别器中，且这三个尺度的判别器结构是相同的。粗略尺度的判别器引导生成器生成具有全局一致性的影像，精细尺度的判别器监督生成器在影像局部范围内的细节信息的生成。最终生成一张细节信息丰富且全局一致性强的影像。如图3所示。
4、基于复制-粘贴策略的固废影像生成
如图4所示，在固废数据集中基于局部-全局判别器的pix2pix模型生成的固废影像数据集中随机选择两张影像，首先对两张影像进行以下变换：在尺度为0.5～2.0之间随机选择一个尺度进行缩放；随机选择水平翻转、垂直翻转、对角翻转的翻转方式，并以0.5的概率进行翻转；在-25°～25°之间随机选择一个角度，进行旋转；然后从一个图像中随机选择任意数量的目标子集粘贴到另一个图像随机的位置上，计算粘贴目标与影像上目标的交集与影像上目标的比值，当比值大于阈值时，再选择任意位置进行粘贴，循环20次，若最后一次的位置调整仍大于阈值，移除遮挡的对象并更新部分遮挡对象的边界框。
其中，粘贴目标与影像上目标的交集与影像上目标的比值表达式为：
式中，bbox1为粘贴目标，bbox2为影像上目标，intersection为面积交集函数，面积函数。
图5为原始pix2pix和基于局部-全局判别器的pix2pix生成的影像，从结果可知，本发明遥感影像数据增强方法，通过结合基于局部-全局判别器的pix2pix模型与复制-粘贴策略，能够生成具有高分辨率的、细节信息丰富、纹理信息充足的影像，极大提高了样本的丰富性和多样性，避免了大量的样本标注工作，同时数据集的多样性避免了模型训练的过拟合，提高了基于深度学习的目标检测性能。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种遥感影像目标样本增强方法，其特征在于，该方法包括以下步骤：
步骤S1、获取遥感影像，并对遥感影像中的目标进行多边形标注和矩形框标注，并将数据集划分为训练集和测试集；
步骤S2、将多边形标注后的分割图像和原始影像输入至基于生成对抗网络的pix2pix模型中进行循环训练，生成含有目标的第一遥感影像以及该影像为真实影像的概率；
步骤S3、将多边形标注后的分割图像和原始影像输入至基于局部-全局判别器的pix2pix模型中训练，生成第二遥感影像，包括以下子步骤：
步骤S31、将生成的第一遥感影像和真实影像分别进行k1倍下采样和k2倍下采样；
步骤S32、分别构建第一遥感影像和真实影像的原尺度、k1倍下采样和k2倍下采样影像金字塔；
步骤S33、将影像金字塔的每一层输入到一个判别器中；其中，每层对应的判别器结构相同；
步骤S33、粗略尺度的判别器引导生成器生成具有全局一致性的影像，精细尺度的判别器监督生成器在影像局部范围内生成细节信息，最终得到包含细节信息和全局一致性信息的第二遥感影像；
步骤S4、在第二遥感影像数据集和原始数据集中随机各选择一张影像进行变换处理，采用基于IOU粘贴位置确定算法的复制-粘贴策略将其中一张影像的目标粘贴到另一张影像上，进行影像混合，得到最终的目标增强影像，具体为：
1)在一个图像中随机选择任意数量的对象子集，粘贴到另一个图像随机的位置上；
2)调整图像的真实框，计算粘贴目标与影像上目标的交集与影像上目标的比值threshold，表达式为：
式中，bbox1为粘贴目标，bbox2为影像上目标，intersection为面积交集函数；
3)当比值threshold大于设定阈值时，移除遮挡的对象并更新部分遮挡对象的边界框，得到最终的目标增强影像。
2.根据权利要求1所述的一种遥感影像目标样本增强方法，其特征在于，所述步骤S1中对遥感影像中的目标进行多边形标注和矩形框标注，具体为：
对遥感影像中的目标进行多边形标注，获取目标和背景的分割图像；
对遥感影像进行矩形框标注，获取包围目标的矩形框。
3.根据权利要求1所述的一种遥感影像目标样本增强方法，其特征在于，所述步骤S2中的基于生成对抗网络的改进pix2pix模型包括用于进行图像转换的生成器和用于判断输入影像是真实影像还是生成器生成影像的判别器；所述判别器为马尔可夫判别器PatchGAN。
4.根据权利要求3所述的一种遥感影像目标样本增强方法，其特征在于，所述生成器包括跳跃连接的8个卷积层和7个反卷积层。
5.根据权利要求1所述的一种遥感影像目标样本增强方法，其特征在于，所述基于生成对抗网络的pix2pix模型的损失函数表达式为：
式中，LcGAN(G,D)为对抗网络损失函数，L1(G)为图像差异损失函数，λ为设定的系数。
6.根据权利要求1所述的一种遥感影像目标样本增强方法，其特征在于，所述k1、k2分别为2和4。
7.根据权利要求1所述的一种遥感影像目标样本增强方法，其特征在于，所述基于局部-全局判别器的pix2pix模型的损失函数表达式为：
式中，LcGAN(G,Di)为对抗网络损失函数；LL1(G)为图像差异损失函数；λ分别为对应的权重系数。
8.根据权利要求1所述的一种遥感影像目标样本增强方法，其特征在于，对每张图片进行变换处理包括随机翻转、随机旋转以及尺度缩放。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210288788.5A CN114758123B (zh) | 2022-03-22 | 一种遥感影像目标样本增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210288788.5A CN114758123B (zh) | 2022-03-22 | 一种遥感影像目标样本增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114758123A CN114758123A (zh) | 2022-07-15 |
| CN114758123B true CN114758123B (zh) | 2024-11-12 |
Family
ID=
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110868598A (zh) * | 2019-10-17 | 2020-03-06 | 上海交通大学 | 基于对抗生成网络的视频内容替换方法及系统 |
| CN111724299A (zh) * | 2020-05-21 | 2020-09-29 | 同济大学 | 一种基于深度学习的超现实主义绘画图像风格迁移方法 |
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110868598A (zh) * | 2019-10-17 | 2020-03-06 | 上海交通大学 | 基于对抗生成网络的视频内容替换方法及系统 |
| CN111724299A (zh) * | 2020-05-21 | 2020-09-29 | 同济大学 | 一种基于深度学习的超现实主义绘画图像风格迁移方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113449594B (zh) | 一种多层网络组合的遥感影像地类语义分割与面积计算方法 | |
| CN110189255B (zh) | 基于两级检测的人脸检测方法 | |
| CN111986125B (zh) | 一种用于多目标任务实例分割的方法 | |
| CN108961235A (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
| CN114565594B (zh) | 基于软掩膜对比损失的图像异常检测方法 | |
| CN112800955A (zh) | 基于加权双向特征金字塔的遥感影像旋转目标检测方法及系统 | |
| CN110245683B (zh) | 一种少样本目标识别的残差关系网络构建方法及应用 | |
| CN111696079B (zh) | 一种基于多任务学习的表面缺陷检测方法 | |
| CN113628180A (zh) | 一种基于语义分割网络的遥感建筑物检测方法及系统 | |
| CN115587964A (zh) | 一种基于熵筛选的伪标签交叉一致性变化检测方法 | |
| CN113326734A (zh) | 一种基于YOLOv5的旋转目标检测方法 | |
| CN116433634A (zh) | 一种基于域自适应的工业图像异常检测方法 | |
| Yang et al. | Multi-category decomposition editing network for the accurate visual inspection of texture defects | |
| CN116168240A (zh) | 基于注意力增强的任意方向密集舰船目标检测方法 | |
| CN113837931B (zh) | 遥感图像的变换检测方法、装置、电子设备及存储介质 | |
| CN113610024B (zh) | 一种多策略的深度学习遥感影像小目标检测方法 | |
| CN114926826A (zh) | 场景文本检测系统 | |
| CN114758123B (zh) | 一种遥感影像目标样本增强方法 | |
| CN113920421A (zh) | 一种快速分类的全卷积神经网络模型 | |
| CN116433747B (zh) | 一种竹筒壁厚的检测模型构建方法及检测装置 | |
| CN114494698B (zh) | 一种基于边缘预测的传统文化图像语义分割方法 | |
| CN116363610A (zh) | 一种基于改进YOLOv5的航拍车辆旋转目标检测方法 | |
| CN112287938B (zh) | 一种文本分割方法、系统、设备以及介质 | |
| CN114758123A (zh) | 一种遥感影像目标样本增强方法 | |
| CN114882252A (zh) | 半监督遥感影像变化检测方法、装置和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |