Nothing Special   »   [go: up one dir, main page]

CN114743109B - 多模型协同优化高分遥感图像半监督变化检测方法及系统 - Google Patents

多模型协同优化高分遥感图像半监督变化检测方法及系统 Download PDF

Info

Publication number
CN114743109B
CN114743109B CN202210461115.5A CN202210461115A CN114743109B CN 114743109 B CN114743109 B CN 114743109B CN 202210461115 A CN202210461115 A CN 202210461115A CN 114743109 B CN114743109 B CN 114743109B
Authority
CN
China
Prior art keywords
labeled
training set
training
pseudo
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210461115.5A
Other languages
English (en)
Other versions
CN114743109A (zh
Inventor
李树涛
谢雨欣
方乐缘
付巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202210461115.5A priority Critical patent/CN114743109B/zh
Publication of CN114743109A publication Critical patent/CN114743109A/zh
Application granted granted Critical
Publication of CN114743109B publication Critical patent/CN114743109B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多模型协同优化高分遥感图像半监督变化检测方法及系统，包括将有标签训练集XL训练孪生神经网络模型S，得到有标签训练模型S(XL,θ)，加入蒙特卡罗移除层，对无标签训练集XU进行多模型协同预测并筛选生成伪标签训练集X'U；为有标签训练集XL选择显著变化区域并剪裁到伪标签训练集X'U中得到增强的伪标签数据集XM；将有标签训练集XL和增强的伪标签数据集XM共同训练孪生神经网络模型S。本发明只需要少量的标签就可完成较高精度的变化检测，能够结合真实标签与伪标签，利用监督学习改进半监督学习过程，增加了更多的边缘数据，并且使正负样本分布更平衡，提升了变化检测性能。

Description

多模型协同优化高分遥感图像半监督变化检测方法及系统
技术领域
本发明涉及高分遥感图像处理技术，具体涉及一种多模型协同优化高分遥感图像半监督变化检测方法及系统。
背景技术
遥感图像可以提供对地观测的宏观视图，反映观测区域内物体的类型和属性。变化检测是通过在不同时间观察同一物体来识别其状态差异的技术。覆盖同一场景的多时相遥感图像能够揭示地面的动态变化，因此多时间序列图像的变化检测技术变得越来越重要。目前，遥感图像变化检测已广泛应用于生态系统监测、资源管理、土地利用/土地覆盖变化分析、城市扩展研究和损害评估等领域。
深度学习方法在处理数量庞大、特征复杂的数据方面具有优势。近年来，全监督深度学习技术在中低分辨率遥感图像变化检测方面取得了巨大的成功。然而，全监督变化检测需要大量的标记样本，由于高分辨率遥感图像场景的复杂性，标记大规模的高分辨率变化检测数据集非常耗时和费力。不仅需要大量的技术人员提供丰富的经验和专业的判断，而且需要大量的时间来分析图像对的变化。在这种情况下，对于我们所关注的变化多样且快速的应急情景(如自然灾害评估和土地覆盖转换)，那些依赖于大量标签的耗时方法是不现实的。直接利用线性变换理论的无监督深度学习变化检测方法，在一定程度上缓解了上述问题。然而，基于无监督的方法由于没有标签的支持，需要许多人为设定的参数，并且检测结果中会产生大量的伪变化区域，检测精度较低。
半监督学习不仅能学习有标签数据，还能够从无标签数据中提取有用的特征，从而提高模型泛化性能，并使利用少标签数据集训练模型成为可能。现有的大多数半监督变化检测方法都集中在具有中低分辨率的高光谱图像、SAR图像或多光谱图像上。针对高分辨率遥感图像的半监督变化检测的工作很少，并且由于训练数据标注样本受限，检测结果存在不准确、边缘信息模糊等问题。因此，提出一个高效的半监督变化检测方法，对于提高变化检测的准确性和效率，促进变化检测的落地具有重要意义。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种多模型协同优化高分遥感图像半监督变化检测方法及系统，本发明旨在解决训练数据标注样本受限时检测结果存在不确定性的问题，通过蒙特卡罗移除层进行多模型协同预测，提高变化检测的精确度和性能。
为了解决上述技术问题，本发明采用的技术方案为：
一种多模型协同优化高分遥感图像半监督变化检测方法，包括对用于高分遥感图像变化检测的孪生神经网络模型S进行训练的步骤：
1)分别获取有标签和无标签的遥感图像，生成有标签训练集XL和无标签训练集XU；
2)将有标签训练集XL训练孪生神经网络模型S，得到有标签训练模型S(XL,θ)，其中θ为网络参数；
3)在有标签训练模型S(XL,θ)中加入蒙特卡罗移除层，多次采样得到多模型参数，对无标签训练集XU进行多模型协同预测，得到有标签训练模型S(XL,θ)对无标签训练集XU中任意第i个无标签训练样本的预测概率pi U以及二值预测结果yi U，协同多次预测结果得到不确定性估计Di，计算无标签训练样本i的预测概率pi U的置信度，根据设定的置信度阈值a筛选无标签训练样本并将二值预测结果yi U作为对应的伪标签，根据筛选出的无标签训练样本i及其对应的伪标签、不确定性估计结果Di得到伪标签训练集X'U；
4)计算有标签训练集XL在孪生神经网络模型S的注意力图的显著变化区域，选择显著变化区域并剪裁到伪标签训练集X'U中，从而得到结合真实标签与伪标签后的增强的伪标签数据集XM；
5)将有标签训练集XL和增强的伪标签数据集XM共同构成混合训练集X，通过混合训练集X训练孪生神经网络模型S，得到更新后的网络参数θ'，得到半监督训练后的孪生神经网络模型S(X,θ')；
6)判断预设的结束条件是否成立，若不成立，则跳转执行步骤3)以继续迭代训练更新孪生神经网络模型S的网络参数θ'，否则判定孪生神经网络模型S已完成训练。
可选地，步骤1)中生成有标签训练集XL包含NL个有标签训练样本，且每一个有标签训练样本包含不同时相的两幅有标签遥感图像以及一个相应的像素级标签；无标签训练集XU包含NU个无标签训练样本，且每一个无标签训练样本包含不同时相的两幅有标签遥感图像。
可选地，所述孪生神经网络模型S包括两个分支编码器和解码合并模块，所述两个分支编码器共享参数，所述分支编码器包括依次相连的两个编码模块以及三个含有注意力模块的编码模块，所述解码合并模块包括依次相连的三个含有注意力模块的解码模块、两个解码模块以及卷积层，两个分支编码器中的一个分支编码器的输出端与解码合并模块的输入端相连，且两个分支编码器中相同级别的编码模块或含有注意力模块的编码模块之间输出的特征图差的绝对值与解码合并模块中含有注意力模块的解码模块或解码模块的输出端相连。
可选地，步骤2)中将有标签训练集XL训练孪生神经网络模型S时，每一轮训练的步骤包括：将本轮的有标签训练样本输入孪生神经网络模型S进行训练，得到预测概率pi L；根据预设的损失函数LS对孪生神经网络模型S进行反向传播以得到孪生神经网络的网络参数θ，其中预设的损失函数LS的函数表达式为：
LS＝-[ω·yi Llogpi L+(1-yi L)log(1-pi L)]
上式中，ω为有标签训练集中变化类样本数与不变类样本数的比例，yi L为标签训练样本相应的像素级标签，pi L为孪生神经网络模型S得到的预测概率。
可选地，步骤3)中计算预测结果yU中预测结果的置信度的函数表达式为：
上式中，γi为第i个无标签训练样本的置信度，NP为第i个无标签训练样本的像素数，Lp(pi,j U)表示统计pi,j U大于预设的置信度上限阈值γp的像素个数，Ln(pi,j U)表示统计pi,j U大于预设的置信度下限阈值γn的像素个数，pi,j U为预测概率pU中第i个无标签训练样本中像素j的预测概率，NU为无标签训练集XU中的样本数量，且有：
可选地，步骤3)中协同多次预测结果得到不确定性估计结果Di的函数表达式为：
上式中，Npred为采用蒙特卡罗移除层生成的模型数，yi,n U为第i个无标签训练样本对第n次预测产生的二值预测结果，E(yi,n U)为第i个无标签训练样本的多模型N次预测产生的二值预测结果的均值。
可选地，步骤4)包括：
4.1)计算有标签训练集XL在孪生神经网络模型S的注意力图的显著变化区域；
4.2)选择显著变化区域并构成一个与原始有标签训练样本相同大小的二元掩膜矩阵M；
4.3)基于下式选择显著变化区域并剪裁到伪标签训练集X'U中以得到结合真实标签与伪标签后的增强的伪标签数据集XM；
上式中，其中表示不同时相的两幅增强的伪标签遥感图像，为增强的像素级伪标签，为伪标签对应的不确定性估计结果，NU′为增强的伪标签数据集XM的样本数目；和为第i个有标签训练样本中的不同时相的两幅有标签遥感图像，为第i个有标签训练样本的标签，M为二元掩膜，为无标签训练集XU中筛选出的无标签训练样本中的不同时相的两幅有标签遥感图像，为筛选出的无标签训练样本的伪标签，Di'为筛选出的无标签训练样本对应的不确定性估计结果，⊙算子表示相应位置相乘。
可选地，步骤5)中通过混合训练集X训练孪生神经网络模型S时，采用的损失函数L为：
L＝LS+LU
上式中，LS为步骤2)中将有标签训练集XL训练孪生神经网络模型S时采用的预设的损失函数，LU为不确定性-加权二元交叉熵损失，且有：
上式中，为混合训练集X中第i个不确定性估计结果，LWBCE为中间变量，ω为有标签训练集中变化类样本数与不变类样本数的比例，yi M为混合训练集X中第i个标签训练样本相应的伪标签，pi M为混合训练集X中第i个标签训练样本相应的预测概率。
此外，本发明还提供一种多模型协同优化高分遥感图像半监督变化检测系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行所述多模型协同优化高分遥感图像半监督变化检测方法的步骤。
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，且该计算机程序用于被计算机设备执行以实施所述多模型协同优化高分遥感图像半监督变化检测方法的步骤。
和现有技术相比，本发明具有下述优点：
第一，本发明针对高分辨率遥感图像训练数据标注样本受限的问题，使用半监督的方法，只需要少量的标签就可完成较高精度的变化检测。
第二，本发明将有标签训练集中显著变化区域剪裁到伪标签训练集中，能够结合真实标签与伪标签，利用监督学习改进半监督学习过程，增加了更多的边缘数据，并且使正负样本分布更平衡，进一步提升了变化检测性能。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例中孪生神经网络模型S的结构示意图。
图3为本发明实施例提出的编码器模块模型示意图。
图4为本发明实施例提出的解码器模块模型示意图。
图5为本发明实施例提出的注意力模块模型示意图。
图6为本发明实施例方法和其他现有方法的第一组变化检测结果对比示意图。
图7为本发明实施例方法和其他现有方法的第二组变化检测结果对比示意图。
图8为本发明实施例方法和其他现有方法的第二组变化检测结果对比示意图。
具体实施方式
如图1所示，本实施例提供一种多模型协同优化高分遥感图像半监督变化检测方法，包括对用于高分遥感图像变化检测的孪生神经网络模型S进行训练的步骤：
1)分别获取有标签和无标签的遥感图像，生成有标签训练集XL和无标签训练集XU；
2)将有标签训练集XL训练孪生神经网络模型S，得到有标签训练模型S(XL,θ)，其中θ为网络参数；
3)在有标签训练模型S(XL,θ)中加入蒙特卡罗移除层，多次采样得到多模型参数，对无标签训练集XU进行多模型协同预测，得到有标签训练模型S(XL,θ)对无标签训练集XU中任意第i个无标签训练样本的预测概率pi U以及二值预测结果yi U，协同多次预测结果得到不确定性估计结果Di，计算无标签训练样本i的预测概率pi U的置信度，根据设定的置信度阈值a筛选无标签训练样本并将二值预测结果yi U作为对应的伪标签，根据筛选出的无标签训练样本i及其对应的伪标签、不确定性估计结果Di得到伪标签训练集X'U；
4)计算有标签训练集XL在孪生神经网络模型S的注意力图的显著变化区域，选择显著变化区域并剪裁到伪标签训练集X'U中，从而得到结合真实标签与伪标签后的增强的伪标签数据集XM；
5)将有标签训练集XL和增强的伪标签数据集XM共同构成混合训练集X，通过混合训练集X训练孪生神经网络模型S，得到更新后的网络参数θ'，得到半监督训练后的孪生神经网络模型S(X,θ')；
6)判断预设的结束条件是否成立，若不成立，则跳转执行步骤3)以继续迭代训练更新孪生神经网络模型S的网络参数θ'，否则判定孪生神经网络模型S已完成训练。在孪生神经网络模型S完成训练后，将待检测的遥感图像输入孪生神经网络模型S，即可实现遥感图像的变化检测。
本实施例中，步骤1)中生成有标签训练集XL包含NL个有标签训练样本，且每一个有标签训练样本包含不同时相的两幅有标签遥感图像以及一个相应的像素级标签；有标签训练集XL可表示为：
上式中，表示不同时相的有标签遥感图像，为相应的像素级标签，NL为有标签训练集中样本数目。无标签训练集XU包含NU个无标签训练样本，且每一个无标签训练样本包含不同时相的两幅有标签遥感图像。无标签训练集XU可表示为：
上式中，表示不同时相的无标签遥感图像，NU为无标签训练集中样本数目。有标签训练集中样本数目NL、无标签训练集中样本数目NU两者的比重可根据需要仅配置，例如作为一种可选的实施方式，本实施例中有标签训练集中样本数目NL＝712，占全部训练集的10％；无标签训练集中样本数目NU＝6408，占全部训练集的90％。
如图2所示，孪生神经网络模型S包括两个分支编码器和解码合并模块，所述两个分支编码器共享参数，分支编码器包括依次相连的两个编码模块(Enc1和Enc2)以及三个含有注意力模块的编码模块(EAM1～EAM3)，所述解码合并模块包括依次相连的三个含有注意力模块的解码模块(DAM1～DAM3)、两个解码模块(Dec1和Dec2)以及卷积层，两个分支编码器中的一个分支编码器的输出端与解码合并模块的输入端相连，且两个分支编码器中相同级别的编码模块或含有注意力模块的编码模块之间输出的特征图差的绝对值与解码合并模块中含有注意力模块的解码模块或解码模块的输出端相连，例如作为一种可选的实施方式，参见图2，其中两个分支编码器的编码模块Enc1之间输出的特征图差的绝对值与解码模块Dec2的输出端相连，两个分支编码器的编码模块Enc2之间输出的特征图差的绝对值与解码模块Dec1的输出端相连，两个分支编码器的含有注意力模块的编码模块EAM1之间输出的特征图差的绝对值与含有注意力模块的解码模块DAM3的输出端相连，两个分支编码器的含有注意力模块的编码模块EAM2之间输出的特征图差的绝对值与含有注意力模块的解码模块DAM2的输出端相连，两个分支编码器的含有注意力模块的编码模块EAM3之间输出的特征图差的绝对值与含有注意力模块的解码模块DAM1的输出端相连。参见图2，本实施例中的卷积层包括Conv16和Conv1两个卷积模块，解码合并模块的输出依次通过Conv16和Conv1两个卷积模块，得到二值变化图。
其中，编码模块和含有注意力模块的编码模块的结构如图3所示，其区别为是否含有可选的注意力模块(Attention)。编码模块包括两个3×3卷积层(Conv)、批归一化层和修正线性单元(批归一化层和修正线性单元图中省略未绘出)，以及一个跨步卷积层(StridedConv)以对特征进行两倍下采样；含有注意力模块的编码模块则包括两个3×3卷积层、批归一化层和修正线性单元、注意力模块(Attention)以及一个跨步卷积层以对特征进行两倍下采样。
其中，解码模块和含有注意力模块的解码模块的结构如图4所示，其区别为是否含有可选的注意力模块(Attention)。解码模块包括两个3×3卷积层(Conv)、批归一化层和修正线性单元(批归一化层和修正线性单元图中省略未绘出)，以及一个反卷积层(TransposeConv)以对特征进行两倍上采样；含有注意力模块的解码模块则包括两个3×3卷积层、批归一化层和修正线性单元、注意力模块(Attention)以及一个反卷积层以对特征进行两倍下采样。
其中，注意力模块的结构如图5所示。每个注意力模块都包含了空间注意力模块以及通道注意力模块，空间注意力模块包括一个全局协方差池化层(GCP)和两个1×1卷积层(Conv1×1)，通道注意力模块包括两个扩张率为4的3×3扩张卷积层(Dilated Conv)、一个全局平均池化层(GAP)和一个1×1卷积层(Conv 1×1)。空间注意力模块的输入和输出叠加后作为通道注意力模块的输入，通道注意力模块的输入和输出叠加后作为最终输出。
本实施例中，步骤2)中将有标签训练集XL训练孪生神经网络模型S时，每一轮训练的步骤包括：将本轮的有标签训练样本输入孪生神经网络模型S进行训练，得到预测概率pi L；参见前文可知，本实施例中有标签训练样本包含不同时相的有标签遥感图像；根据预设的损失函数LS对孪生神经网络模型S进行反向传播以得到孪生神经网络的网络参数θ，其中预设的损失函数LS的函数表达式为：
LS＝-[ω·yi Llogpi L+(1-yi L)log(1-pi L)]
上式中，ω为有标签训练集中变化类样本数与不变类样本数的比例，yi L为标签训练样本相应的像素级标签，pi L为孪生神经网络模型S得到的预测概率。根据预设的损失函数LS对孪生神经网络模型S进行反向传播以得到孪生神经网络的网络参数θ，根据学习得到的网络参数θ，提取样本在孪生神经网络中的注意力图；将此时在有标签训练集上训练好的孪生神经网络模型S记为有标签训练模型S(XL,θ)。
本实施例中，步骤3)中计算预测结果yU中预测结果的置信度的函数表达式为：
上式中，γi为第i个无标签训练样本的置信度，NP为第i个无标签训练样本的像素数，Lp(pi,j U)表示统计pi,j U大于预设的置信度上限阈值γp的像素个数，Ln(pi,j U)表示统计pi,j U大于预设的置信度下限阈值γn的像素个数，pi,j U为预测概率pU中第i个无标签训练样本中像素j的预测概率，NU为无标签训练集XU中的样本数量，且有：
本实施例中，第i个无标签训练样本的像素数NP＝65536，预设的置信度上限阈值γp＝0.9，预设的置信度下限阈值γn＝0.1；毫无疑问，上述参数取值可根据需要设定。在此基础上，若γi>a，将此图像对相应的二值预测结果yi U视为伪标签，将此图像对、相应的伪标签yi U及不确定性估计结果Di加入伪标签训练集X'U，伪标签训练集X'U可表示为：
其中表示不同时相的伪标签遥感图像，为相应的像素级伪标签，D′i为伪标签相应的不确定性估计结果，NU'为伪标签训练集中样本数目，D′均为从D筛选得到，本实施例中，置信度阈值a＝0.9。
由于孪生神经网络模型S训练样本较少，网络训练的效果不是很好，模型得出来的预测结果存在不确定性；通过在多次预测过程中采用蒙特卡罗移除层，即在测试过程中也打开网络的移除层，让网络S的参数服从伯努利分布，每一次采样时得到的模型参数都不同，多次采样即得到多模型的预测结果。本实施例中，步骤3)中协同多次预测结果得到不确定性估计结果Di的函数表达式为：
上式中，Npred为采用蒙特卡罗移除层生成的模型数，yi,n U为第i个无标签训练样本对第n次预测产生的二值预测结果，E(yi,n U)为第i个无标签训练样本的多模型N次预测产生的二值预测结果的均值。其中采用蒙特卡罗移除层生成的模型数为Npred可根据需要选择取值，例如本实施例中，采用模型数Npred＝10。
本实施例中，步骤4)包括：
4.1)计算有标签训练集XL在孪生神经网络模型S的注意力图的显著变化区域；
4.2)选择显著变化区域并构成一个与原始有标签训练样本相同大小的二元掩膜矩阵M；
4.3)基于下式选择显著变化区域并剪裁到伪标签训练集X'U中以得到结合真实标签与伪标签后的增强的伪标签数据集XM；
上式中，其中表示不同时相的两幅增强的伪标签遥感图像，为增强的像素级伪标签，为伪标签对应的不确定性估计结果，NU′为增强的伪标签数据集XM的样本数目；和为第i个有标签训练样本中的不同时相的两幅有标签遥感图像，为第i个有标签训练样本的标签，M为二元掩膜，为无标签训练集XU中筛选出的无标签训练样本中的不同时相的两幅有标签遥感图像，为筛选出的无标签训练样本的伪标签，Di'为筛选出的无标签训练样本对应的不确定性估计结果，⊙算子表示相应位置相乘。
本实施例明协同多次预测结果得到不确定性估计，根据不确定性估计来设计损失函数，更有效的利用高质量的伪标签，避免模型发生过拟合，提高了模型检测边缘的准确性。具体地，步骤5)中通过混合训练集X训练孪生神经网络模型S时，采用的损失函数L为：
L＝LS+LU
上式中，LS为步骤2)中将有标签训练集XL训练孪生神经网络模型S时采用的预设的损失函数，LU为不确定性-加权二元交叉熵损失，且有：
上式中，为混合训练集X中第i个不确定性估计结果，LWBCE为中间变量，ω为有标签训练集中变化类样本数与不变类样本数的比例，yi M为混合训练集X中第i个标签训练样本相应的伪标签，pi M为混合训练集X中第i个标签训练样本相应的预测概率。
本实施例中，通过不断循环基于当前半监督模型进行预测、筛选伪标签样本、剪裁显著变化框、混合数据集重新训练更新模型参数的步骤，直至所有无标签样本都打上伪标签时循环结束，最终完成对孪生神经网络模型S的训练。在孪生神经网络模型S完成训练后，将待检测的遥感图像输入孪生神经网络模型S，即可实现遥感图像的变化检测。
本实施例中训练和测试采用的数据集为LEVIR-CD数据集(LEVIR buildingChange Detection dataset)。LEVIR-CD数据集包含637组数据，每一组数据包含两张不同时相的图像，每张图像大小为1024×1024。由于图像尺寸较大，将每张图像裁剪成大小为256×256的16张不重叠的图像，共10192张。选取其中的10％作为训练集；并将训练集中10％作为有标签训练集，90％作为无标签训练集。
为了对本实施例方法进行验证，本文将本实施例中提出的方法与5种现有的全监督方法进行对比，5种现有的全监督方法包括：双时态图像变换器(Bitemporal ImageTransformer，BIT)、双重注意力网络(Dual Attention Network，DANet)、时空注意力神经网络(Spatial-Temporal Attention Neural Network，STANet)、W网络(W-Net)和全卷积早期融合网络(Fully Convolutional Early Fusion Resnet，FC-EF-Res)。5种全监督方法均采用LEVIR-CD数据集的10％作为有标签训练集，最终得到的实验结果如表1、图6、图7以及图8所示。
表1：本实施例方法与现有全监督方法的对比结果
精度(％) 召回率(％) F1分数(％) 总体精度(％)
BIT 89.24 89.82 89.30 98.87
DANet 84.31 87.26 85.99 98.70
STANet 87.01 89.38 88.65 98.65
W-Net 84.53 83.31 83.52 98.61
FC-EF-Res 89.32 88.25 88.91 98.53
本实施例方法 89.48 89.21 89.31 98.95
参见表1，本文中采用的评价指标共有4种，分别为精度(Precision)、召回率(Recall)、F1分数(F1-score)、总体精度(OA)，其中F1分数是综合考虑了精度与召回率的评价指标。结合表1可以看出，与全监督方法相比，虽都采用LEVIR-CD数据集的10％作为训练集，但本实施例方法只利用了训练集中10％的数据标签进行半监督训练，达到媲美全监督的效果，并且在精度、F1分数与总体精度3种评价指标上效果好于DANet、STANet、W-Net以及FC-EF-Res四种全监督方法。值得一提的是，BIT方法与STANet方法的召回率略高于本实施例方法，这是因为这两种方法均采用注意力机制进行特征学习，虽将大部分的变化像素检测正确，但也将少部分的不变像素检测成了变化类，导致召回率的提高。本实施例方法在F1分数上优于所对比的5种全监督方法。
图6、图7和图8分别为本实施例方法和其他现有方法针对三个不同场景的三组变化检测结果对比示意图，其中T1图像和T2图像为不同时相的一对输入遥感图像；标签为像素级二进制标签，其中白色像素(值为1)代表变化类，黑色像素(值为0)代表不变类，由数据集作者进行标注；BIT、DANet、STANet、W-Net以及FC-EF-Res表示五种现有方法的变化检测结果，最后是本实施例的变化检测结果。结合图6～图8可以看出，本实施例方法的检测结果中边缘轮廓清晰，假阴性得到了明显的改善。由此可见，本实施例方法只需要少量的标签就可完成较高精度的变化检测，提高了模型检测边缘的准确性，进一步提升了变化检测性能。
综上所述，本实施例方法通过在少量的有标签训练集上进行模型训练，得到有标签训练模型；在有标签训练模型中加入蒙特卡罗移除层，多次采样得到多模型参数，对无标签训练集进行多模型预测，得到无标签样本的预测概率，并协同多次预测结果得到不确定性估计，根据设定的置信度阈值筛选出部分无标签样本打上伪标签；将有标签训练集中显著变化区域剪裁到伪标签训练集中，结合真实标签与伪标签，得到增强的伪标签数据集；根据不确定性估计结果设计损失函数，结合有标签数据集与伪标签数据集进行训练，得到多模型协同优化变化检测模型。本发明能够在训练数据标注样本受限的情况下进行半监督变化检测，通过协同多次预测结果来优化网络，学习更可靠的伪标签，并结合有标签图像与伪标签图像，利用监督学习改进半监督学习过程，进一步提升模型性能，有效改善了高分辨率遥感数据标注样本受限与变化检测结果轮廓不清晰的问题。
此外，本实施例还提供一种多模型协同优化高分遥感图像半监督变化检测系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述多模型协同优化高分遥感图像半监督变化检测方法的步骤。
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，且该计算机程序用于被计算机设备执行以实施前述多模型协同优化高分遥感图像半监督变化检测方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种多模型协同优化高分遥感图像半监督变化检测方法，其特征在于，包括对用于高分遥感图像变化检测的孪生神经网络模型S进行训练的步骤：
1)分别获取有标签和无标签的遥感图像，生成有标签训练集XL和无标签训练集XU；
2)将有标签训练集XL训练孪生神经网络模型S，得到有标签训练模型S(XL,θ)，其中θ为网络参数；
3)在有标签训练模型S(XL,θ)中加入蒙特卡罗移除层，多次采样得到多模型参数，对无标签训练集XU进行多模型协同预测，得到有标签训练模型S(XL,θ)对无标签训练集XU中任意第i个无标签训练样本的预测概率pi U以及二值预测结果yi U，协同多次预测结果得到不确定性估计Di，计算无标签训练样本i的预测概率pi U的置信度，根据设定的置信度阈值a筛选无标签训练样本并将二值预测结果yi U作为对应的伪标签，根据筛选出的无标签训练样本i及其对应的伪标签、不确定性估计结果Di得到伪标签训练集X'U；
4)计算有标签训练集XL在孪生神经网络模型S的注意力图的显著变化区域，选择显著变化区域并剪裁到伪标签训练集X'U中，从而得到结合真实标签与伪标签后的增强的伪标签数据集XM；
5)将有标签训练集XL和增强的伪标签数据集XM共同构成混合训练集X，通过混合训练集X训练孪生神经网络模型S，得到更新后的网络参数θ'，得到半监督训练后的孪生神经网络模型S(X,θ')；
6)判断预设的结束条件是否成立，若不成立，则跳转执行步骤3)以继续迭代训练更新孪生神经网络模型S的网络参数θ'，否则判定孪生神经网络模型S已完成训练；
所述孪生神经网络模型S包括两个分支编码器和解码合并模块，所述两个分支编码器共享参数，所述分支编码器包括依次相连的两个编码模块以及三个含有注意力模块的编码模块，所述解码合并模块包括依次相连的三个含有注意力模块的解码模块、两个解码模块以及卷积层，两个分支编码器中的一个分支编码器的输出端与解码合并模块的输入端相连，且两个分支编码器中相同级别的编码模块或含有注意力模块的编码模块之间输出的特征图差的绝对值与解码合并模块中含有注意力模块的解码模块或解码模块的输出端相连；
步骤2)中将有标签训练集XL训练孪生神经网络模型S时，每一轮训练的步骤包括：将本轮的有标签训练样本输入孪生神经网络模型S进行训练，得到预测概率pi L；根据预设的损失函数LS对孪生神经网络模型S进行反向传播以得到孪生神经网络的网络参数θ，其中预设的损失函数LS的函数表达式为：
LS＝-[ω·yi Llogpi L+(1-yi L)log(1-pi L)]
上式中，ω为有标签训练集中变化类样本数与不变类样本数的比例，yi L为标签训练样本相应的像素级标签，pi L为孪生神经网络模型S得到的预测概率；
步骤3)中计算预测结果yU中的置信度的函数表达式为：
上式中，γi为第i个无标签训练样本的置信度，NP为第i个无标签训练样本的像素数，Lp(pi,j U)表示统计pi,j U大于预设的置信度上限阈值γp的像素个数，Ln(pi,j U)表示统计pi,j U大于预设的置信度下限阈值γn的像素个数，pi,j U为预测概率pU中第i个无标签训练样本中像素j的预测概率，NU为无标签训练集XU中的样本数量，且有：
步骤3)中协同多次预测结果得到不确定性估计Di的函数表达式为：
上式中，Npred为采用蒙特卡罗移除层生成的模型数，yi,n U为第i个无标签训练样本对第n次预测产生的二值预测结果，E(yi,n U)为第i个无标签训练样本的多模型N次预测产生的二值预测结果的均值；
步骤4)包括：
4.1)计算有标签训练集XL在孪生神经网络模型S的注意力图的显著变化区域；
4.2)选择显著变化区域并构成一个与原始有标签训练样本相同大小的二元掩膜矩阵M；
4.3)基于下式选择显著变化区域并剪裁到伪标签训练集X'U中以得到结合真实标签与伪标签后的增强的伪标签数据集XM；
上式中，其中表示不同时相的两幅增强的伪标签遥感图像，为增强的像素级伪标签，为伪标签对应的不确定性估计结果，NU′为增强的伪标签数据集XM的样本数目；和为第i个有标签训练样本中的不同时相的两幅有标签遥感图像，为第i个有标签训练样本的标签，M为二元掩膜，为无标签训练集XU中筛选出的无标签训练样本中的不同时相的两幅有标签遥感图像，为筛选出的无标签训练样本的伪标签，Di'为筛选出的无标签训练样本对应的不确定性估计结果，⊙算子表示相应位置相乘。
2.根据权利要求1所述的多模型协同优化高分遥感图像半监督变化检测方法，其特征在于，步骤1)中生成有标签训练集XL包含NL个有标签训练样本，且每一个有标签训练样本包含不同时相的两幅有标签遥感图像以及一个相应的像素级标签；无标签训练集XU包含NU个无标签训练样本，且每一个无标签训练样本包含不同时相的两幅有标签遥感图像。
3.根据权利要求1所述的多模型协同优化高分遥感图像半监督变化检测方法，其特征在于，步骤5)中通过混合训练集X训练孪生神经网络模型S时，采用的损失函数L为：
L＝LS+LU
上式中，LS为步骤2)中将有标签训练集XL训练孪生神经网络模型S时采用的预设的损失函数，LU为不确定性-加权二元交叉熵损失，且有：
上式中，为混合训练集X中第i个不确定性估计结果，LWBCE为中间变量，ω为有标签训练集中变化类样本数与不变类样本数的比例，yi M为混合训练集X中第i个标签训练样本相应的伪标签，pi M为混合训练集X中第i个标签训练样本相应的预测概率。
4.一种多模型协同优化高分遥感图像半监督变化检测系统，包括相互连接的微处理器和存储器，其特征在于，该微处理器被编程或配置以执行权利要求1～3中任意一项所述多模型协同优化高分遥感图像半监督变化检测方法的步骤。
5.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有计算机程序，且该计算机程序用于被计算机设备执行以实施权利要求1～3中任意一项所述多模型协同优化高分遥感图像半监督变化检测方法的步骤。
CN202210461115.5A 2022-04-28 2022-04-28 多模型协同优化高分遥感图像半监督变化检测方法及系统 Active CN114743109B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210461115.5A CN114743109B (zh) 2022-04-28 2022-04-28 多模型协同优化高分遥感图像半监督变化检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210461115.5A CN114743109B (zh) 2022-04-28 2022-04-28 多模型协同优化高分遥感图像半监督变化检测方法及系统

Publications (2)

Publication Number Publication Date
CN114743109A CN114743109A (zh) 2022-07-12
CN114743109B true CN114743109B (zh) 2024-07-02

Family

ID=82283749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210461115.5A Active CN114743109B (zh) 2022-04-28 2022-04-28 多模型协同优化高分遥感图像半监督变化检测方法及系统

Country Status (1)

Country Link
CN (1) CN114743109B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115482418B (zh) * 2022-10-09 2024-06-07 北京呈创科技股份有限公司 基于伪负标签的半监督模型训练方法、系统及应用
CN116778239B (zh) * 2023-06-16 2024-06-11 酷哇科技有限公司 面向实例分割模型的半监督训练方法及设备
CN118015476B (zh) * 2024-04-09 2024-06-11 南京理工大学 基于低参数神经网络与标准化流的铁路外部环境遥感变化检测方法及系统
CN118570454B (zh) * 2024-08-02 2024-11-01 深圳清华大学研究院 一种基于检测器解耦的半监督遥感目标检测方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022042002A1 (zh) * 2020-08-31 2022-03-03 华为技术有限公司 一种半监督学习模型的训练方法、图像处理方法及设备
CN114359603A (zh) * 2022-02-18 2022-04-15 西北工业大学 一种多模态遥感图像领域自适应无监督匹配方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022042002A1 (zh) * 2020-08-31 2022-03-03 华为技术有限公司 一种半监督学习模型的训练方法、图像处理方法及设备
CN114359603A (zh) * 2022-02-18 2022-04-15 西北工业大学 一种多模态遥感图像领域自适应无监督匹配方法

Also Published As

Publication number Publication date
CN114743109A (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN114743109B (zh) 多模型协同优化高分遥感图像半监督变化检测方法及系统
Zhou et al. BOMSC-Net: Boundary optimization and multi-scale context awareness based building extraction from high-resolution remote sensing imagery
Yang et al. ST-LBAGAN: Spatio-temporal learnable bidirectional attention generative adversarial networks for missing traffic data imputation
Hess et al. Physically constrained generative adversarial networks for improving precipitation fields from Earth system models
CN111260055B (zh) 基于三维图像识别的模型训练方法、存储介质和设备
CN112183635A (zh) 一种多尺度反卷积网络实现植物叶部病斑分割与识别方法
Sang et al. Small-object sensitive segmentation using across feature map attention
CN113111716A (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN113505670A (zh) 基于多尺度cam和超像素的遥感图像弱监督建筑提取方法
CN116844041A (zh) 一种基于双向卷积时间自注意力机制的耕地提取方法
Fang et al. Multiscale CNNs ensemble based self-learning for hyperspectral image classification
Cui et al. CM-Unet: A novel remote sensing image segmentation method based on improved U-Net
Ma et al. Water index and Swin Transformer Ensemble (WISTE) for water body extraction from multispectral remote sensing images
Zhang et al. A survey of generative techniques for spatial-temporal data mining
CN116863384A (zh) 一种基于CNN-Transfomer的自监督视频分割方法和系统
Liu et al. Research on vehicle detection based on improved YOLOX_S
CN119599946A (zh) 一种路面裂缝检测方法、装置和电子设备
CN114973202A (zh) 一种基于语义分割的交通场景障碍物检测方法
CN118154555B (zh) 一种基于标签高效学习的植物多器官ct图像表型解析方法
Dawod et al. Assessing mangrove deforestation using pixel-based image: a machine learning approach
Mota et al. Multitemporal fuzzy classification model based on class transition possibilities
Guo et al. Remote sensing identification of green plastic cover in urban built-up areas
CN118071396A (zh) 数据处理方法、装置、计算机设备和存储介质
Wang et al. Semantic segmentation network for mangrove tree species based on UAV remote sensing images
Zhang et al. Saliency detection via sparse reconstruction and joint label inference in multiple features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant