Nothing Special   »   [go: up one dir, main page]

CN111242134A - 一种基于特征自适应学习的遥感影像地物分割方法 - Google Patents

一种基于特征自适应学习的遥感影像地物分割方法 Download PDF

Info

Publication number
CN111242134A
CN111242134A CN202010043580.8A CN202010043580A CN111242134A CN 111242134 A CN111242134 A CN 111242134A CN 202010043580 A CN202010043580 A CN 202010043580A CN 111242134 A CN111242134 A CN 111242134A
Authority
CN
China
Prior art keywords
network
segmentation
remote sensing
image
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010043580.8A
Other languages
English (en)
Inventor
朱磊
王畅
吴谨
邹才刚
王文武
向森
邓慧萍
刘劲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Science and Engineering WUSE
Wuhan University of Science and Technology WHUST
Original Assignee
Wuhan University of Science and Engineering WUSE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Science and Engineering WUSE filed Critical Wuhan University of Science and Engineering WUSE
Priority to CN202010043580.8A priority Critical patent/CN111242134A/zh
Publication of CN111242134A publication Critical patent/CN111242134A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于特征自适应学习的遥感影像地物分割方法。本发明运用基于生成对抗网络(GAN)的语义分割域自适应算法来解决不同特征域的分割问题,在分割空间解决像素级的域转换问题。本发明将特征域适应技术引入到了遥感影像的地物分割中,可以较为有效的分割遥感影像中的种植大棚。

Description

一种基于特征自适应学习的遥感影像地物分割方法
技术领域
本发明属于遥感影像处理技术领域,具体涉及一种基于特征域自适应学习的遥感大棚地物分割方法。
背景技术
随着人类社会的不断发展,科学技术的不断进步,资源问题已成为当今世界面临的严重问题。在面对全球资源如何继续支撑人类社会的生存与发展,以及人类如何尽快地掌握和利用它们等问题上,合理的利用遥感影像资源是当今解决它们最有效的技术手段之一。
遥感影像是指记录各种地物电磁波大小的胶片或照片,主要分为航空像片和卫星相片。已经被广泛地应用到林业、农业、地质、矿产、水文和水资源、海洋、环境监测等方面,为全球经济、社会的发展,以及资源的可持续发展做出了巨大贡献。
目前遥感影像的时间分辨率和空间分辨率的不断提升,并产生大量的多尺度遥感影像。遥感影像的大数据化正好符合深度学习需要大量数据的特点,利用卷积神经网络(Convolutional Neural Networks,CNN)处理遥感图像是分析遥感数据的重要手段。未来,在森林防火、军事战略、交通管理等方面,建立基于CNN对多尺度遥感影像的分析将是一个发展方向。
最近,基于卷积神经网络的方法在语义分割方面取得了显著进展,并应用于自动驾驶和图像编辑。基于CNN的方法的关键是注释大量的图像,这些图像覆盖了可能的场景变化。然而,这种训练模型可能无法很好地推广到未看到的图像,特别是当训练(源)图像和测试(目标)图像之间存在域差异时。此时,遥感影像中的地物,即使是单一类别的地物,也可能包括了多样的视觉呈现,例如:1)由于传感器差异,不同卫星拍摄得到的同类地物在影像中也存在不同的视觉特征;2)位于不同地域的同种地物,由于其所处的地理环境不一样,本身的视觉特征、以及周边地物的类型,纹理、颜色等特征也存在显著差别。同时,由于遥感影像通常具有大幅面的特质,针对各种环境进行人工标记则需要花费大量的人工成本。
发明内容
本发明提供一种基于特征自适应学习的遥感影像地物分割方法,目的在于克服现有方法中所存在的问题,将语义分割看作是包含源域和目标域空间相似性的结构化输出,在输出空间中采用对抗学习。为了进一步增强自适应模型,构建了一个多层次的对抗网络,在不同特征层上有效地完成输出空间的领域自适应。结果表明,该方法在分割精度和质量上得到较好的效果,可以大大减少人工标记所需花费的人工成本。
本发明的一种基于特征自适应学习的遥感影像地物分割方法,包括如下步骤:
步骤1,分别从成像设备获取大小一致的南北方大棚的遥感图片;
步骤2,对获取的遥感图片进行裁剪,将裁剪后的北方大棚遥感图片作为源集,裁剪后的南方大棚遥感图片作为目标集,并对两个数据集进行数据清理,去掉错误的数据;
步骤3,构建网络框架,该网络框架包括生成器网络和判别器网络两个部分,其中,选取Unet做生成器网络中的分割网络,判别器网络D由5个卷积层构成;
步骤4,训练生成器网络G,设带有人工标注的源域图像为Is,源域图像的人工标注为Ys,Ps=G(Is)是源域图像的分割输出,通过生成器网络G后得到的结果与人工标注之间的分割损失用交叉熵形式表示为:
Figure BDA0002368595720000021
设没有人工标注的目标域图像为It,Pt=G(It)是目标域图像的分割输出,其对抗损失用Logistic形式表示为:
Figure BDA0002368595720000022
生成器网络的目标是针对源域和目标域尽量生成准确的分割结果去欺骗判别器网络D,使其无法区分分割结果来自哪一个域,因此目的是最小化总的学习损失L(Is,It);
步骤5,训练判别器网络D,将源域分割输出Ps和目标域分割输出Pt两个分割结果经过sigmoid函数归一化处理后,输入判别器网络D中,按照如下方式计算交叉熵损失Ld
Figure BDA0002368595720000023
将源域影像的分割输出和目标域影像的分割输出加入判别网络中,利用源域和目标域的分割结果计算判别器的损失来监督判别器网络,在训练判别器网络的过程中,目的是最大化Ld,帮助训练生成器来尽可能的去学习好的分离源域和目标域;
步骤6,联合生成器网络G和判别器网络D,每次迭代中单独交替对于生成器G和判别器D两个网络进行训练;
结合公式(1)和公式(2),在生成器训练过程中总的学习损失如下:
L(Is,It)=Iseg(Is)+λadvLadv(It) (4)
其中,λadv是用于平衡这两个损失的权重;
生成器网络G和判别器网络D在训练过程中构成了一个动态的博弈过程,按照
Figure BDA0002368595720000031
的形式优化生成器网络G和判别器网络D中的参数;
步骤7,选取制作好的目标集图片输入到训练好的网络框架中进行测试。
进一步的,步骤2中按照512×512大小对获取的遥感图像进行裁剪,裁剪方式为采用10%的重合比例的滑窗操作。
进一步的,步骤3中5个卷积层的卷积核均是4×4,步幅是2,通道数量分别是64,128,256,512,1。
与现有技术相比,本发明的优点和有益效果:对于存在域不同的数据集,本发明运用基于生成对抗网络(GAN)的语义分割域自适应算法来解决不同特征域的分割问题,在分割空间解决像素级的域转换问题。本发明将特征域适应技术引入到了遥感影像的地物分割中,可以较为有效的分割遥感影像中的种植大棚。
附图说明
图1是本发明流程示意图;
图2是拍摄的一幅南方大棚遥感图片;
图3是拍摄的一幅北方大棚遥感图片;
图4所示是源集(北方大棚)图片;
图5所示为源集标签;
图6所示是目标集(南方大棚)图片;
图7所示为目标集标签;
图8为仅使用Unet进行分割后的南方大棚图片;
图9为使用本发明方法分割后的南方大棚图片。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步说明。
如图1所述,本发明提供的一种基于特征自适应学习的遥感影像地物分割方法,具体包括如下步骤:
(1)图像获取步骤,分别从成像设备获取大小一致的南北方大棚的遥感图片。图2所示是拍摄的南方大棚遥感图片;图3所示是拍摄的北方大棚遥感图片;
(2)图像预处理步骤,按照512×512大小对获取的遥感图像进行裁剪,裁剪方式为采用10%的重合比例的滑窗操作,将裁剪的北方大棚遥感图片做源集,并将裁剪的南方大棚遥感图片作为目标集,并对两个数据集进行数据清理,去掉错误的数据,包括错误的人工标记、不匹配的图像尺寸等。图4所示是源集(北方大棚)图片;图5所示为源集标签;图6所示是目标集(南方大棚)图片;图7所示为目标集标签;
(3)构建网络框架步骤,本大明的主要框架包括了生成器网络和判别器网络两个部分。进行多组实验,选取Unet做生成器网络G中的分割网络,判别器网络D则是由5个卷积层构成,他们的核是4×4,步幅是2,通道数量分别是64,128,256,512,1;
(4)生成器网络G训练步骤。设带有人工标注的源域图像为Is,源域图像的人工标注为Ys,Ps=G(Is)是源域图像的分割输出(图片的分割输出的长宽为H和W)。通过分割网络(即Unet)后得到的结果与人工标注之间的分割损失用交叉熵形式表示为:
Figure BDA0002368595720000041
设没有人工标注的目标域图像为It,Pt=G(It)是目标域图像的分割输出。考虑到判别器为简单的分类网络,其对抗损失用Logistic形式表示为:
Figure BDA0002368595720000042
生成器网络的目标是针对源域和目标域尽量生成准确的分割结果去欺骗判别器网络,使其无法区分分割结果来自哪一个域,因此目的是最小化总的学习损失L(Is,It);
(5)判别器网络D训练步骤,
将源域分割输出Ps和目标域分割输出Pt两个分割结果经过sigmoid函数归一化处理后,输入判别器网络D中,按照如下方式计算交叉熵损失Ld
Figure BDA0002368595720000043
将源域影像的分割输出和目标域影像的分割输出加入判别网络中,利用源域和目标域的分割结果计算判别器的损失来监督判别器网络。在训练判别器网络的过程中,目的是最大化Ld,帮助训练生成器来尽可能的去学习好的分离源域和目标域;
(6)对抗网络学习步骤,联合生成器网络和判别器网络,每次迭代中单独交替对于生成器G和判别器D两个网络进行训练。
结合公式(1)和公式(2),在生成器训练过程中总的学习损失如下:
L(Is,It)=Iseg(Is)+λadvLadv(It) (4)
其中,λadv是用于平衡这两个损失的权重。本发明中经过多次试验,取λadv为0.001。
对抗学习最终的目的是:
1使源域影像尽量生成准确的分割结果,即最小化源域影像在生成器网络G中的分割损失Iseg(Is);
2使目标域输出尽可能的接近源域的输出,即最大化目标域预测看作源域预测的概率Ladv(It);
生成器网络和判别器网络在训练过程中构成了一个动态的博弈过程,按照
Figure BDA0002368595720000051
的形式优化生成器网络和判别器网络中的参数;
(7)目标集图像测试步骤,选取制作好的目标集(南方大棚)图片做测试集来进行测试。图8为仅使用Unet进行分割后的南方大棚图片,图9为本文的实验结果,即使用了本文的基于特征自适应学习的遥感影像地物分割方法。
定性评估实验的分割结果,对于南北方大棚遥感图片,这两组数据集的图片在外观上有很大的差别,使用一般的分割网络来训练分割这两组数据集,得到的分割结果十分不佳,几乎得到分割图。而使用本文的基于特征自适应学习的遥感影像地物分割方法,可以得到测试图的大致分割轮廓,分割结果远远优于图8的分割结果。同时,定量评估实验的分割结果,对两组实验结果计算平均绝对误差(MAE,mean absolute error,MAE作为像素级绝对误差的平均值,可以更好地反映预测值误差的实际情况,MAE越小代表分割结果越好),实验结果如表1所示,本文提出方法的实验结果计算的平均绝对误差小于仅使用Unet分割的实验结果计算的平均绝对误差。从定性和定量两个方面评估,可以表明,相对于普通的分割网络,该方法在分割精度和质量上得到更好的效果;
表1实验结果
参考标准 仅使用Unet进行分割 使用本文提出的专利方法
MAE 0.838575940548 0.543762722675
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (3)

1.一种基于特征自适应学习的遥感影像地物分割方法,其特征在于,包括如下步骤:
步骤1,分别从成像设备获取大小一致的南北方大棚的遥感图片;
步骤2,对获取的遥感图片进行裁剪,将裁剪后的北方大棚遥感图片作为源集,裁剪后的南方大棚遥感图片作为目标集,并对两个数据集进行数据清理,去掉错误的数据;
步骤3,构建网络框架,该网络框架包括生成器网络和判别器网络两个部分,其中,选取Unet做生成器网络G中的分割网络,判别器网络D由5个卷积层构成;
步骤4,训练生成器网络G,设带有人工标注的源域图像为Is,源域图像的人工标注为Ys,Ps=G(Is)是源域图像的分割输出,通过生成器网络G后得到的结果与人工标注之间的分割损失用交叉熵形式表示为:
Figure FDA0002368595710000011
设没有人工标注的目标域图像为It,Pt=G(It)是目标域图像的分割输出,其对抗损失用Logistic形式表示为:
Figure FDA0002368595710000012
生成器网络的目标是针对源域和目标域尽量生成准确的分割结果去欺骗判别器网络D,使其无法区分分割结果来自哪一个域,因此目的是最小化总的学习损失L(Is,It);
步骤5,训练判别器网络D,将源域分割输出Ps和目标域分割输出Pt两个分割结果经过sigmoid函数归一化处理后,输入判别器网络D中,按照如下方式计算交叉熵损失Ld
Figure FDA0002368595710000013
将源域影像的分割输出和目标域影像的分割输出加入判别网络中,利用源域和目标域的分割结果计算判别器的损失来监督判别器网络,在训练判别器网络的过程中,目的是最大化Ld,帮助训练生成器来尽可能的去学习好的分离源域和目标域;
步骤6,联合生成器网络G和判别器网络D,每次迭代中单独交替对于生成器G和判别器D两个网络进行训练;
结合公式(1)和公式(2),在生成器训练过程中总的学习损失如下:
L(Is,It)=Iseg(Is)+λadvLadv(It) (4)
其中,λadv是用于平衡这两个损失的权重;
生成器网络G和判别器网络D在训练过程中构成了一个动态的博弈过程,按照
Figure FDA0002368595710000021
的形式优化生成器网络G和判别器网络D中的参数;
步骤7,选取制作好的目标集图片输入到训练好的网络框架中进行测试。
2.如权利要求1所述的一种基于特征自适应学习的遥感影像地物分割方法,其特征在于:步骤2中按照512×512大小对获取的遥感图像进行裁剪,裁剪方式为采用10%的重合比例的滑窗操作。
3.如权利要求1所述的一种基于特征自适应学习的遥感影像地物分割方法,其特征在于:步骤3中5个卷积层的卷积核均是4×4,步幅是2,通道数量分别是64,128,256,512,1。
CN202010043580.8A 2020-01-15 2020-01-15 一种基于特征自适应学习的遥感影像地物分割方法 Pending CN111242134A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010043580.8A CN111242134A (zh) 2020-01-15 2020-01-15 一种基于特征自适应学习的遥感影像地物分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010043580.8A CN111242134A (zh) 2020-01-15 2020-01-15 一种基于特征自适应学习的遥感影像地物分割方法

Publications (1)

Publication Number Publication Date
CN111242134A true CN111242134A (zh) 2020-06-05

Family

ID=70876150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010043580.8A Pending CN111242134A (zh) 2020-01-15 2020-01-15 一种基于特征自适应学习的遥感影像地物分割方法

Country Status (1)

Country Link
CN (1) CN111242134A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926585A (zh) * 2021-01-11 2021-06-08 深圳大学 一种基于再生核希尔伯特空间的跨域语义分割方法
CN114022762A (zh) * 2021-10-26 2022-02-08 三峡大学 对农作物种植区域面积进行提取的无监督域自适应方法
CN115830597A (zh) * 2023-01-05 2023-03-21 安徽大学 一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190707A (zh) * 2018-09-12 2019-01-11 深圳市唯特视科技有限公司 一种基于对抗学习的域自适应图像语义分割方法
GB201910720D0 (en) * 2019-07-26 2019-09-11 Tomtom Global Content Bv Generative adversarial Networks for image segmentation
CN110516539A (zh) * 2019-07-17 2019-11-29 苏州中科天启遥感科技有限公司 基于对抗网络的遥感影像建筑物提取方法、系统、存储介质及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190707A (zh) * 2018-09-12 2019-01-11 深圳市唯特视科技有限公司 一种基于对抗学习的域自适应图像语义分割方法
CN110516539A (zh) * 2019-07-17 2019-11-29 苏州中科天启遥感科技有限公司 基于对抗网络的遥感影像建筑物提取方法、系统、存储介质及设备
GB201910720D0 (en) * 2019-07-26 2019-09-11 Tomtom Global Content Bv Generative adversarial Networks for image segmentation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YI-HSUAN TSAI等: "Learning to Adapt Structured Output Space for Semantic Segmentation", 《ARXIV:1802.10349V1》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926585A (zh) * 2021-01-11 2021-06-08 深圳大学 一种基于再生核希尔伯特空间的跨域语义分割方法
CN112926585B (zh) * 2021-01-11 2023-07-28 深圳大学 一种基于再生核希尔伯特空间的跨域语义分割方法
CN114022762A (zh) * 2021-10-26 2022-02-08 三峡大学 对农作物种植区域面积进行提取的无监督域自适应方法
CN115830597A (zh) * 2023-01-05 2023-03-21 安徽大学 一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法
CN115830597B (zh) * 2023-01-05 2023-07-07 安徽大学 一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法

Similar Documents

Publication Publication Date Title
US11521379B1 (en) Method for flood disaster monitoring and disaster analysis based on vision transformer
CN109919108B (zh) 基于深度哈希辅助网络的遥感图像快速目标检测方法
CN110245709B (zh) 基于深度学习和自注意力的3d点云数据语义分割方法
CN111160311A (zh) 基于多注意力机制双流融合网络的黄河冰凌语义分割方法
CN104462494B (zh) 一种基于无监督特征学习的遥感图像检索方法及系统
CN114926511B (zh) 一种基于自监督学习的高分辨率遥感影像变化检测方法
CN108564115A (zh) 基于全卷积gan的半监督极化sar地物分类方法
CN104715251B (zh) 一种基于直方图线性拟合的显著目标检测方法
CN113592786B (zh) 一种基于深度学习的海洋中尺度涡检测方法
CN111242134A (zh) 一种基于特征自适应学习的遥感影像地物分割方法
CN114743109B (zh) 多模型协同优化高分遥感图像半监督变化检测方法及系统
CN114998603B (zh) 一种基于深度多尺度特征因子融合的水下目标检测方法
CN113221848B (zh) 基于多分类器域对抗网络的高光谱开放集领域自适应方法
CN107491734A (zh) 基于多核融合与空间Wishart LapSVM的半监督极化SAR图像分类方法
CN114913379B (zh) 基于多任务动态对比学习的遥感图像小样本场景分类方法
CN109543585A (zh) 基于卷积神经网络的水下光学目标检测与识别方法
CN110110679A (zh) 基于全卷积网络和条件随机场的地物覆盖率计算方法
CN115049841A (zh) 基于深度无监督多步对抗域自适应的高分辨sar图像地物要素提取方法
Wang et al. A feature-supervised generative adversarial network for environmental monitoring during hazy days
CN115810149A (zh) 基于超像素与图卷积的高分辨率遥感图像建筑物提取方法
CN113837191A (zh) 基于双向无监督域适应融合的跨星遥感图像语义分割方法
CN116524357A (zh) 高压线路鸟巢检测方法、模型训练方法、装置及设备
CN114299398B (zh) 一种基于自监督对比学习的小样本遥感图像分类方法
CN107292268A (zh) 快速脊波反卷积结构学习模型的sar图像语义分割方法
CN115115863A (zh) 水面多尺度目标检测方法、装置及系统和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200605

RJ01 Rejection of invention patent application after publication