CN115587964A

CN115587964A - 一种基于熵筛选的伪标签交叉一致性变化检测方法

Info

Publication number: CN115587964A
Application number: CN202211010881.6A
Authority: CN
Inventors: 骆春波; 徐加朗; 罗杨; 刘翔; 孙文健
Original assignee: Yangtze River Delta Research Institute of UESTC Huzhou
Current assignee: Yangtze River Delta Research Institute of UESTC Huzhou
Priority date: 2022-08-22
Filing date: 2022-08-22
Publication date: 2023-01-10

Abstract

本发明属于光学遥感图像变化检测技术领域，公开了一种基于熵筛选的伪标签交叉一致性变化检测方法，包括：构建基于熵筛选的伪标签交叉一致性变化检测模型EPCCDM；将有标签双时相图像对和无标签双时相图像对输入所述EPCCDM得到四张变化概率图；对变化概率图执行基于熵的动态阈值策略得到伪标签；联合使用监督损失和伪标签交叉一致性损失对所述EPCCDM进行训练；训练完成后对变化概率图执行Argmax处理，将概率最高的类别作为像素的类别，得到每个像素点属于的类别，生成预测变化图。本发明在仅使用少量有标签数据的前提下，利用无标签数据实现有效的超高清遥感图像变化检测。

Description

一种基于熵筛选的伪标签交叉一致性变化检测方法

技术领域

本发明属于光学遥感图像变化检测技术领域，尤其涉及一种基于熵筛选的伪标签交叉一致性变化检测方法。

背景技术

目前，光学遥感图像变化检测的目的是识别一对在同一区域不同时间拍摄的图像之间的显著变化，重点用于分析地球表面的变化情况，例如水体的演变、建筑的发展趋势、道路的变更等等。作为对地观测中一项重要且具有挑战性的任务，变化检测在自然灾害评估、城市规划、资源管理、森林砍伐监测等方面有着广泛的应用。

对于光学遥感图像变化检测任务而言，高质量的有标签数据集较少，这限制了深度学习模型在此任务上的实际应用。随着地球观测水平的提高，获取变化检测任务所需要的不同时相、同一地区的图像已经不是一件难事，但由于图像分辨率的显著提升，对这些图像对的细致化标注愈发困难。变化检测的训练数据需要同时对比不同时相的图像并进行像素级精度的标注，与其他任务(如图片分类、目标检测)相比成本更加昂贵。目前，有大量的双时相图像对不存在真实标签，如何有效地利用这些无标签的数据是近年来变化检测任务的一大重点。最近，随着半监督学习在深度学习领域的优异表现，它也被引入到变化检测任务中，这使得用少量有标签数据集来训练一个性能优秀的变化检测模型成为可能。

目前，面向变化检测的半监督学习工作主要分为两类：自训练和一致性正则化。自训练有三个步骤：(1)在有标签数据上训练一个模型；(2)在无标签数据集上用预训练模型生成伪标签；(3)使用有标签数据集、无标签数据集及其伪标签，再次训练模型。在这三个步骤中，伪标签是影响模型最终性能的关键因素，生成的伪标签质量越高，再次训练时模型的性能就越容易得到提升。例如，现有技术1首先将双时相图像对转换为图，包含有标签节点和无标签节点，然后训练一个对抗生成网络为无标签节点生成伪标签。

然而，自训练是离线的，需要分步骤进行训练。为了实现在线训练，一致性正则化被提出。一致性正则化的主要思想是：同一个样本经过扰动后，将扰动前的原样本和扰动后的样本输入到网络中，网络的两个输出应该相似的。一致性正则化基于两个假设：平滑性假设和集群假设，其中平滑性假设是指在特征空间中，距离相近的样本更倾向于具有相同的类别标签；集群假设是指模型用于预测的决策边界应当处于样本分布密度较低的区域。一致性正则化将一致性强加于每个扰动的样本上，鼓励网络为扰动前后的样本产生相似的分布，从而向缩小同类别样本之间距离的方向优化。现有技术2使用两个鉴别器在有标签数据和无标签数据集的熵之间施加特征一致性约束。在现有技术3中，基于 Mean Teacher的半监督变化检测方法被提出，该方法将扰动后的样本输入到学生网络，同时将扰动前的样本输入到教师网络并对教师网络的输出施加相同的扰动，最后通过降低学生网络和教师网络输出之间的均方误差来实现一致性正则化。

目前的半监督变化检测方法还存在两个关键问题：

(1)伪标签质量较低的问题。高质量的伪标签可以作为额外的监督信息，指导模型的训练，从而改善变化检测性能，然而，由于可用的有标签数据量较少，模型生成的伪标签质量往往较低，现有半监督变化检测方法不对伪标签进行筛选，使得低质量的伪标签直接参与模型训练，这引入了额外噪声，提升训练难度，导致性能的下降。

(2)一致性正则化与伪标签的结合问题。基于一致性正则化的半监督学习变化检测方法虽然实现了在线训练，但它们没有很好地利用伪标签信息。如图1 中的(a)所示，这类方法常使用随机高斯噪声、旋转、翻转、裁剪、缩放变换、 RGB偏移、亮度和对比度偏移等方式来扰动样本，其两个网络的结构和初始化参数值是相同的，并且通过直接约束两个网络的输出实现一致性正则化。

通过上述分析，现有技术存在的问题及缺陷为：现有的半监督学习变化检测方法伪标签质量较低、一致性正则化不能与伪标签结合，且不能实现、有效的超高清遥感图像变化检测；现有监督学习变化检测方法只能使用有标签数据进行训练。

发明内容

针对现有技术存在的问题，本发明提供了一种基于熵筛选的伪标签交叉一致性变化检测方法。

本发明是这样实现的，一种基于熵筛选的伪标签交叉一致性变化检测方法，所述基于熵筛选的伪标签交叉一致性变化检测方法包括：

步骤一，构建基于熵筛选的伪标签交叉一致性变化检测模型EPCCDM；

步骤二，将有标签双时相图像对和无标签双时相图像对输入所述EPCCDM 的两个变化检测分支中，并所述两个变化检测分支的输出进行SoftMax处理，得到四张变化概率图；

步骤三，对得到的四张变化概率图执行基于熵的动态阈值策略得到相应的伪标签；基于所述变化概率图、伪标签以及真实标签，联合使用监督损失和伪标签交叉一致性损失对所述EPCCDM进行训练；

步骤四，训练完成后，对变化概率图执行Argmax处理，将概率最高的类别作为像素的类别，得到每个像素点属于的类别，生成预测变化图。

进一步，所述基于熵筛选的伪标签交叉一致性变化检测模型EPCCDM包括：两个具有相同结构但初始化参数值θ不同的变化检测分支N_θ1、N_θ2，PLCC以及 EDT；

所述两个变化检测分支N_θ1、N_θ2基于编-解码器架构，包含两个共享权重的ResNet-18编码器和一个解码器；

所述每个编码器，用于输出5个层级的特征

其中t＝{T1,T2}， i＝{1,2,3,4,5}，{C₁,C₂,C₃,C₄,C₅}＝{64,64,128,256,512}；

所述解码器，用于获取编码器输出的特征，并利用1×1卷积层将所述特征的通道数都压缩为256；同时用于每个融合节点通过直接相加的方式融合不同特征，并在相加后通过一组3×3、1×1、3×3卷积层；所述卷积层的卷积核个数分别为256、16、256；

所述EPCCDM用不同的参数值初始化所述两个变化检测分支N_θ1和N_θ2的解码器。

进一步，所述步骤二包括：

首先，获取有标签双时相图像对(T1^l,T2^l)，以及无标签双时相图像对 (T1^ul,T2^ul)；

其次，通过所述EPCCDM的两个变化检测分支N_θ1、N_θ2和SoftMax处理

得到四张变化概率图

和

其中，

2表示类别数；所述类别数为变化/未变化；H_O和W_O分别表示输入图像的原始高度和宽度。

进一步，所述步骤三包括：

(1)对四个变化概率图

执行基于熵的动态阈值策略筛选得到可靠的像素点，并得到对应的伪标签

(2)所述EPCCDM的PLCC通过伪标签对变化概率图进行交叉监督，对两个变化检测分支N_θ1、N_θ2进行一致性正则化；同时所述EPCCDM将监督损失L_sup和伪标签交叉一致性损失L_plcc作为损失函数进行训练。

进一步，所述步骤(1)包括：

1)利用下式计算变化概率图中所有像素点的熵，得到熵图H_iter：

其中，

为变化概率图中第j个像素点位置上的两个值；

2)利用基于熵的动态阈值策略EDT将熵大于第β_iter百分位数的所有像素点位置作为不可靠位置进行排除，对变化概率图中余下的位置进行Argmax处理，得到伪标签P；

所述伪标签P中每个像素点j由下式计算：

其中，γ_iter表示第iter次迭代的阈值，取熵图H_iter中第β_iter百分位数的熵值作为γ_iter；

3)利用EDT对阈值γ_iter进行动态调整：

其中，iter表示当前训练迭代数,max_iter表示最大迭代次数。

进一步，所述步骤(2)包括：

(2.1)利用经过N_θ1和EDT后生成的伪标签(P₁ ^l,P₁ ^ul)监督N_θ2输出的变化概率图

并利用N_θ2的伪标签

监督N_θ1的变化概率图

(2.2)确定EPCCDM总损失函数L_PCCDM＝L_sup+L_plcc；

其中，L_plcc表示伪标签交叉一致性损失；L_sup表示两个变化检测分支N_θ1、N_θ2的两个交叉熵损失，所述两个变化检测分支N_θ1、N_θ2的两个交叉熵损失为

及其相应真实标签(Y^l,Y^l)计算得到的监督损失：

其中，

表示有标签训练集；

表示无标签训练集；L_CE表示交叉熵损失； {(T1,T2),Y}表示训练样本；J表示像素的总数量；(T1,T2)表示双时相图像对； Pr(Y_j＝c|(T1,T2)；θ)表示第j个像素属于第c个类的概率；所述第c个类为变化/未变化；Y表示真实标签。

进一步，所述步骤三中，联合使用监督损失和伪标签交叉一致性损失对所述EPCCDM进行训练包括：

首先，使用ImageNet预训练权重初始化所述EPCCDM的两个变化检测分支的编码器，对两个分支的解码器使用Kaiming随机初始化方法，令解码器之间的初始化参数不同；

其次，两个变化检测分支均采用Adam优化器并将初始学习率lr_o设置为 1×10^-4；使用多元学习率衰减策略，批大小设置为4，最大迭代次数设置为20000 次，进行训练：

其中，lr_n表示新的学习率，lr_o表示初始学习率，iter表示目前的迭代数， max_iter表示最大迭代数。

本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于熵筛选的伪标签交叉一致性变化检测方法的步骤。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于熵筛选的伪标签交叉一致性变化检测方法的步骤。

本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于执行所述基于熵筛选的伪标签交叉一致性变化检测方法。

结合上述的技术方案和解决的技术问题，请从以下几方面分析本发明所要保护的技术方案所具备的优点及积极效果为：

第一、针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：

本发明提出了一种基于熵筛选的伪标签交叉一致性变化检测方法，解决了半监督学习变化检测方法中伪标签质量较低、一致性正则化与伪标签结合的问题，在仅使用少量有标签数据的前提下，利用无标签数据实现有效的超高清遥感图像变化检测。

本发明使用少量有标签数据和大量无标签数据训练深度学习模型，实现双时态超高遥感图像对的变化检测。针对半监督学习变化检测方法中伪标签质量较低的问题，本发明的EPCCDM包含了基于熵的动态阈值策略即EDT，EDT 过滤熵较高的不可靠像素点，选取熵低于阈值的像素点作为相对可靠的伪标签 (这是因为熵描述了一个随机变量取值的不确定性，熵越低则代表不确定性越小)，并且该阈值会随着训练迭代次数的上升进行动态调整，能够减少伪标签信息的丢失。

本发明的EPCCDM包含了伪标签交叉一致性(Pseudo-labeling CrossConsistency,PLCC)，PLCC对两个结构相同、初始化参数值不同的变化检测分支进行互相约束，使得通过两个分支进行不同扰动后的两个输入产生趋于一致的变化图。

本发明EPCCDM能同时使用有标签数据和无标签数据进行训练，从而获得更好的变化检测性能，由实验结果可知，与三种现有技术相比，本发明在小样本基准数据集的四个比例上都获得了最高的F1和Kappa指标，同时本发明获得的变化图具有较好的细节、较为清晰的边界和较高的内部完整性。本发明 EPCCDM包含的基于熵的动态阈值策略，能在一定程度上忽略伪标签的错检区域，筛选出质量相对较高的伪标签，从而降低训练难度，使模型向正确的方向优化，并且在有标签数据量占全部训练数据的比例越小时，基于熵的动态阈值策略对变化检测性能的提升效果越显著。本发明EPCCDM包含的伪标签交叉一致性，能够较好的结合伪标签和一致性正则化，通过EDT筛选出高质量的伪标签使PLCC能更准确地执行一致性正则化，从而改善半监督学习变化检测的性能。

第二，把技术方案看做一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：

本发明与现有技术的区别如下：

本发明与现有技术提出的Cross Pseudo Supervision类似，不同之处为：现有技术的Cross Pseudo Supervision应用于语义分割任务，而本发明的伪标签交叉一致性应用于变化检测任务。现有技术的Cross Pseudo Supervision直接对网络的输出执行Argmax操作得到伪标签，而本发明的伪标签交叉一致性需要对网络的输出执行基于熵的动态阈值策略进行筛选后才得到伪标签。本发明的变化检测分支中的编码器直接使用去掉了最后的AvgPool、SoftMax和全连接层的 ResNet-18网络，解码器则是自己搭建的。整体上看，本发明所提出的基于熵筛选的伪标签交叉一致性变化检测方法作为一个整体，在变化检测任务中是原创的。

本发明设计了伪标签交叉一致性，如图2中的(b)所示，伪标签交叉一致性通过两个具有相同结构、不同初始化参数的网络分支为同一输入样本施加不同的扰动，通过基于熵的动态阈值策略筛选出高质量的伪标签，然后以交叉监督的方式利用伪标签来约束两个分支的输出。

第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：

本发明的技术方案填补了国内外业内技术空白：

本发明首次提出了基于熵的伪标签交叉一致性变化检测方法，该方法在使用基于熵的动态阈值策略对伪标签进行筛选后，使用伪标签交叉一致性将网络的输出和得到的较高质量伪标签进行一致性正则化，从而实现高性能的端到端的半监督变化检测，提升了半监督变化检测的性能，填补了变化检测领域中如何对伪标签进行合理筛选的空白，为如何有效利用无标签变化检测数据来提升变化检测性能提供了指导方法。

附图说明

图1是本发明实施例提供的一致性正则化变化检测方法的基本框架图；图中--→表示尾部所在数据对箭头所在数据进行损失监督，在→上有//表示不进行反向传播；

图1(a)是本发明实施例提供的一致性正则化变化检测方法的基本框架图；

图1(b)是本发明实施例提供的伪标签交叉一致性变化检测方法的基本框架图；

图2是本发明实施例提供的基于熵筛选的伪标签交叉一致性变化检测方法流程图；

图3是本发明实施例提供的EPCCDM的整体框架图；图中：融合节点的不同颜色代表其初始化参数值不同；在→上有//表示不进行反向传播；--→表示尾部所在数据对箭头所在数据进行损失监督；(T1^l,T2^l)和Y^l是有标签数据集中的双时相图像对及其真实标签；(T1^ul,T2^ul)是无标签数据集中的双时相图像；

和

为变化概率图；(P₁ ^l,P₁ ^ul)和

是生成的伪标签；

图4是本发明实施例提供的基于熵的动态阈值策略中β_iter随训练迭代次数 iter的变化曲线图；

图5是本发明实施例提供的对比方法Mean Teacher的整体框架；

图6是本发明实施例提供的在Google数据集上使用1/32有标签数据进行训练时的伪标签可视化结果示意图；图中：黑色表示未变化区域，白色表示变化区域，灰色表示忽略区域；

图6(a)是本发明实施例提供的真实标签示意图；

图6(b)是本发明实施例提供的训练前期(β_iter≈70)无EDT示意图；

图6(c)是本发明实施例提供的训练前期(β_iter≈70)有EDT示意图；

图6(d)是本发明实施例提供的训练中期(β_iter≈80)无EDT示意图；

图6(e)是本发明实施例提供的训练中期(β_iter≈80)有EDT示意图；

图6(f)是本发明实施例提供的训练后期(β_iter≈97)无EDT示意图；

图6(g)是本发明实施例提供的训练后期(β_iter≈97)有EDT示意图；

图7是本发明实施例提供的在Google数据集上使用1/8有标签数据进行训练后的预测结果示意图；

图7(a)是本发明实施例提供的T1图像结果示意图；

图7(b)是本发明实施例提供的T2图像结果示意图；

图7(c)是本发明实施例提供的真实标签结果示意图；

图7(d)是本发明实施例提供的EPCCDM结果示意图；

图7(e)是本发明实施例提供的对比方法EPCCDM_MET结果示意图；

图7(f)是本发明实施例提供的对比方法SNUNet-CD/48结果示意图；

图7(g)是本发明实施例提供的对比方法FC-Siam-conc结果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

一、解释说明实施例。为了使本领域技术人员充分了解本发明如何具体实现，该部分是对权利要求技术方案进行展开说明的解释说明实施例。

如图2所示，本发明实施例提供的基于熵筛选的伪标签交叉一致性变化检测方法包括：

S101，构建基于熵筛选的伪标签交叉一致性变化检测模型EPCCDM；

S102，将有标签双时相图像对和无标签双时相图像对输入所述EPCCDM的两个变化检测分支中，并所述两个变化检测分支的输出进行SoftMax处理，得到四张变化概率图；

S103，对得到的四张变化概率图执行基于熵的动态阈值策略得到相应的伪标签；基于所述变化概率图、伪标签以及真实标签，联合使用监督损失和伪标签交叉一致性损失对所述EPCCDM进行训练；

S104，训练完成后，对变化概率图执行Argmax处理，将概率最高的类别作为像素的类别，得到每个像素点属于的类别，生成预测变化图。

本发明实施例提供的基于熵筛选的伪标签交叉一致性变化检测方法具体包括：

1、整体框架

EPCCDM的整体框架如图3所示，包括两个具有相同结构但初始化参数值θ不同的变化检测分支N_θ1、N_θ2，PLCC以及EDT。

给定有标签双时相图像对(T1^l,T2^l)，以及无标签双时相图像对(T1^ul,T2^ul)，通过N_θ1、N_θ2和SoftMax操作

得到四张变化概率图

和

其中2表示类别数(变化/未变化)，H_O和W_O分别代表输入图像的原始高度和宽度。整体过程如下式所示：

然后对这四个变化概率图

执行EDT，筛选出可靠的像素点，得到对应的伪标签

PLCC通过伪标签对变化概率图进行交叉监督，从而对两个分支N_θ1、N_θ2实行一致性正则化。EPCCDM将监督损失L_sup和伪标签交叉一致性损失L_plcc作为损失函数进行训练。最后，对

应用Argmax操作，挑选出概率最高的类别作为该像素的类别，从而生成预测变化图。在测试阶段，仅使用EPCCDM其中的一个变化检测分支N_θ1进行结果预测。

2、变化检测分支N_θ1、N_θ2

为EPCCDM设计简单的变化检测分支，如图3所示。EPCCDM的变化检测分支基于编-解码器架构，包含两个共享权重的ResNet-18编码器和一个解码器。每个编码器输出5个层级的特征

其中t＝{T1,T2}，i＝{1,2,3,4,5}， {C₁,C₂,C₃,C₄,C₅}＝{64,64,128,256,512}。解码器接受来自编码器的特征，首先使用1×1 卷积层将特征的通道数都压缩为256。之后，每个融合节点通过直接相加的方式融合不同特征，并在相加后通过一组3×3、1×1、3×3卷积层，这组卷积层的卷积核个数分别为256、16、256。值得注意的是，EPCCDM用不同的参数值初始化了两个变化检测分支N_θ1和N_θ2的解码器，从而为输入样本添加了不同的扰动。

3、基于熵的动态阈值策略

伪标签的质量会影响半监督学习的效果，错误的伪标签会引入额外噪声，提升训练难度，甚至导致性能下降。为了获取高质量的伪标签，设计了一个基于熵的动态阈值策略(Entropy-based Dynamic Threshold,EDT)来筛选出可靠的像素点。具体而言，EDT选取熵低于阈值的像素点作为伪标签，并且该阈值会随着训练迭代次数的上升进行动态调整，以减少伪标签信息的丢失。熵描述了一个随机变量取值的不确定性，熵越低代表不确定性越小。由于变化概率图 CD是输入图像对(T1,T2)经过变化检测分支和SoftMax操作后得到的输出，其中每个像素点位置上有两个值，分别代表了该像素点属于变化和未变化类别的概率，于是，可以通过计算变化概率图中每个像素点位置上的熵来衡量该像素点的不确定性，具体而言，定义

为变化概率图中第j个像素点位置上的两个值，该像素点的熵的计算过程如下:

在每次训练迭代，计算变化概率图中所有像素点位置上的熵，得到熵图H_iter， EDT将熵大于第β_iter百分位数的所有像素点位置作为不可靠位置进行排除，对变化概率图中余下的位置进行Argmax操作，得到伪标签P，也就是说，伪标签P中每个像素点j的计算过程如下：

式中γ_iter代表第iter次迭代的阈值，取熵图H_iter中第β_iter百分位数的熵值作为γ_iter。

在损失函数的监督下，随着训练迭代次数的增多，预测结果会逐渐趋向于可靠。由于伪标签中被忽略的像素点不参与损失函数的计算，为了能在训练后期利用更多的伪标签信息，EDT对阈值γ_iter进行动态调整，即β_iter会随着训练迭代次数的增多而上升，上升曲线如图4所示，从而在训练后期将更多的像素点纳入考虑范围，计算过程如下：

其中iter为当前训练迭代数,max_iter为最大迭代次数。

综上所述，EDT的整体流程如算法1所示。

4、伪标签交叉一致性

如图3所示，PLCC对两个相同结构、不同初始化参数值的变化检测分支N_θ1、 N_θ2进行互相约束，使得通过两个分支进行不同扰动后的两个输入产生趋于一致的变化图。具体而言，使用经过N_θ1和EDT后生成的伪标签(P₁ ^l,P₁ ^ul)来监督N_θ2输出的变化概率图

同理，用N_θ2的伪标签

来监督N_θ1的变化概率图

考虑一个有标签训练集

和无标签训练集

伪标签交叉一致性损失L_plcc被定义为：

式中，L_CE为交叉熵损失，考虑一个训练样本{(T1,T2),Y}，L_CE被定义为：

式中J是像素的总数量，(T1,T2)是双时相图像对，Pr(Y_j＝c|(T1,T2)；θ)代表第 j个像素属于第c个类(即变化/未变化)的概率，Y是真实标签。

5、损失函数

对于给定的有标签训练集

和无标签训练集

所提EPCCDM的半监督训练包含两类损失：一是

及其相应真实标签(Y^l,Y^l)计算得到的监督损失 L_sup，即两个变化检测分支N_θ1、N_θ2的两个交叉熵损失；二是通过

及其相应伪标签

计算得到的伪标签交叉一致性损失L_plcc，L_plcc的计算过程如下：

综上，EPCCDM总损失函数L_PCCDM＝L_sup+L_plcc。

6、训练过程

在所提EPCCDM的训练阶段，使用ImageNet预训练权重初始化两个分支的编码器，对两个分支的解码器使用Kaiming随机初始化方法，使解码器之间的初始化参数不同。两个分支都采用Adam优化器并将初始学习率lr_o设置为1×10^-4。使用多元学习率衰减策略，也就是说，对于每次迭代，学习率的衰减公式如下：

式中lr_n代表新的学习率，lr_o代表初始学习率，iter代表目前的迭代数， max_iter代表最大迭代数。

批大小设置为4，即每次迭代读取4对有标签双时相图像和4对无标签双时相图像。训练的最大迭代次数设置为20000次。

二、应用实施例。为了证明本发明的技术方案的创造性和技术价值，该部分是对权利要求技术方案进行具体产品上或相关技术上的应用的应用实施例。

将本发明实施例提供的基于熵筛选的伪标签交叉一致性变化检测方法应用于计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于熵筛选的伪标签交叉一致性变化检测方法的步骤。

将本发明实施例提供的基于熵筛选的伪标签交叉一致性变化检测方法应用于计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于熵筛选的伪标签交叉一致性变化检测方法的步骤。

将本发明实施例提供的基于熵筛选的伪标签交叉一致性变化检测方法应用于信息数据处理终端，所述信息数据处理终端用于执行所述基于熵筛选的伪标签交叉一致性变化检测方法。

将本发明实施例提供的基于熵筛选的伪标签交叉一致性变化检测方法应用于计算机云端，本地只需要上传双时相图像对，就可以获得这两幅图像之间的变化情况(即变化图)。

将本发明实施例提供的基于熵筛选的伪标签交叉一致性变化检测方法应用于自动驾驶汽车，通过摄像头实时拍摄街道信息，使用本发明获得两个时刻之间的空间变化情况(即变化图)。

将本发明实施例提供的基于熵筛选的伪标签交叉一致性变化检测方法应用于遥感卫星，通过卫星拍摄不同时刻的图像，使用本发明获得同个区域不同时刻的变化情况(即变化图)。

三、实施例相关效果的证据。本发明实施例在研发或者使用过程中取得了一些积极效果，和现有技术相比的确具备很大的优势，下面内容结合试验过程的数据、图表等进行描述。

1、实验设置

1.1.1数据集及其预处理方法

实验采用Google数据集，该数据集由20对随季节变化的VHR遥感图像组成，它们的空间分辨率为55厘米/像素，大小分布在1006×1168到5184×6736 像素之间。该数据集涵盖了中国广州市的郊区，重点关注建筑物的变化情况。将每张图像划分为256×256不重叠的子图像，每对子图像至少包含一个像素的变化，从而生成了1156对子图像。这些子图像对按照7：2：1的比例随机划分，以生成训练、验证和测试集，即训练集、验证集、测试集分别包含808、232、 116对256×256的图像。将Google训练集的1/4、1/8、1/16、1/32作为有标签数据，剩下的作为无标签数据，即四组训练集中{有标签图像对，无标签图像对} 的数量分别为{202,606}、{101,707}、{50,758}、{24,784}。

1.1.2对比方法

为了从多个角度对比所提EPCCDM的性能，选取两种前沿的现有监督学习变化检测技术FC-Siam-conc、SNUNet-CD/48以及一种半监督学习变化检测技术 Mean Teacher作为对比方法。为了保障公平性，Mean Teacher使用EPCCDM的变化检测分支进行半监督学习，如图5所示。Mean Teacher是一个流行的半监督学习方法，包括教师网络N_θt和学生网络N_θs，它对两个网络施行一致性约束，旨在将学生网络的输出与教师网络的输出对齐。在训练阶段，每次迭代时，教师网络的参数θ_t只通过计算学生网络参数θ_s的指数滑动平均(ExponentialMoving Average,EMA)来更新，更新过程如下：

式中α是一个平滑超参数，设为0.99。

学生网络的参数θ_s则通过计算损失函数

进行更新，

包含两个部分的损失：一是有标签数据(T1^l,T2^l)通过学生网络得到预测结果

后与真实标签Y^l计算得到的监督损失部分L_sup；二是将扰动前/后的无标签数据(T1^ul,T2^ul)和有标签数据(T1^l,T2^l)输入到学生/教师网络中，得到学生/教师网络的预测结果

对

和

施加一致性约束，作为无监督损失部分L_unsup，损失函数

计算过程如下：

式中L_CE为交叉熵损失，L_MSE为均方误差损失。

1.1.3评价指标

通过变化检测任务中的常用评价指标：F1分数和Kappa系数，来衡量变化检测方法的性能。

(1)F1分数

F1是查准率和召回率的加权调和平均值，它同时考虑查准率和召回率来平衡这两者之间的矛盾，从而能够更好地反映方法的变化检测能力。F1的计算过程如下：

式中，TP、FP、TN和FN分别是真正例、假正性、真负性和假负性的数量， Precision和Recall分别为查准率和召回率。

(2)Kappa系数

Kappa反应出预测值与真实值的一致性，该值越大，代表预测值与真实值越接近，计算过程如下：

式中，OA和PRE分别代表整体准确率和期望准确率。

1.2结果分析

1.2.1消融实验结果

为了进行消融实验，将EDT和PLCC从EPCCDM中移除，由此得到的基准模型只进行监督学习。消融实验的结果如表1所示，可以看到在全部比例上， PLCC都带来了显著的性能提升，具体来说，在1/4、1/8、1/16、1/32比例上， PLCC的加入使性能分别提升了2.74％、3.12％、1.39％、2.45％F1(3.18％、5.13％、 4.03％、3.78％Kappa)。上述结果表明半监督学习在变化检测任务中具有很大的潜力，所设计的PLCC是有效的。

表1

EDT的加入进一步提升了性能，在1/4、1/8、1/16、1/32比例上，分别带来了0.53％、0.77％、2.47％、3.04％F1(0.85％、0.65％、3.1％、3.52％Kappa)的性能增益。值得注意的是，EDT在有标签训练集的比例较低时(即1/16和1/32 比例)带来的性能增益要远大于其在比例较高时带来的性能增益，这是因为当有标签数据过少(如1/16比例下的50对，1/32比例下的24对)时模型预测的伪标签质量往往相对较低，导致更多的伪标签噪声被引入到训练过程中，此时，依靠EDT过滤噪声并筛选出较为可靠的伪标签就更为关键，从而降低训练难度，使模型向正确的方向优化。图6可视化了在1/32比例上使用EDT前后的伪标签情况，可以看到，在训练的前期、中期和后期，使用EDT都能在一定程度上忽略伪标签的错检区域，获得更高质量的伪标签。上述这些实验结果说明了伪标签质量的重要性和EDT的有效性，通过EDT筛选出高质量的伪标签可以使 PLCC更准确地执行一致性正则化，从而有利于改善半监督学习变化检测方法的性能。

综上所述，所设计的PLCC和EDT显著提升了变化检测模型的性能，与基准模型相比，使用PLCC和EDT的EPCCDM分别在1/4、1/8、1/16、1/32比例上提升了3.27％、3.89％、3.86％、5.49％F1，和4.03％、5.78％、7.13％、7.3％Kappa 的性能。

1.2.2对比实验结果

为了进一步评估所提EPCCDM的有效性，在Google数据集上与第1.1.3中介绍三种前沿方法进行了对比，定量结果如表2所示。可以看到，EPCCDM在所有比例上都实现了最佳的性能。对比现有半监督学习技术Mean Teacher可知，本发明EPCCDM所使用的PLCC和EDT半监督学习方法超越了Mean Teacher，分别在1/4、1/8、1/16、1/32四个比例上，提升了0.93％、1.07％、2.8％、3.52％的F1指标和0.94％、1.93％、4.55％、4.33％的Kappa指标，这是因为PLCC通过经EDT筛选的高质量伪标签对模型进行了额外的交叉一致性约束。与使用监督学习的两个现有变化检测技术FC-Siam-conc和SNUNet-CD/48相比，EPCCDM 分别在四个比例上至少提升了2.09％(3.28％)、1.44％(2.05％)、3.21％(4.7％)、 4.03％(4.4％)F1(Kappa)，这表明所提方法能有效地利用无标签数据进行训练，并改善变化检测结果。

表2

为了进行直观比较，图7显示了以1/8比例进行训练后的典型预测结果。可以观察到，对比方法中存在许多漏检和误报，而所提出的EPCCDM实现了最佳的视觉性能，其预测的变化图更符合真实标签。具体来说，与半监督学习变化检测技术Mean Teacher相比，EPCCDM在很大程度上减少了建筑物变化区域的漏检和孔洞。与两个监督学习变化检测技术FC-Siam-conc和SNUNet-CD/48相比，EPCCDM对变化区域的检测更为精准，减少了误报和不确定区域，并生成了具有更精确边界的变化图。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。