CN108447057B - 基于显著性和深度卷积网络的sar图像变化检测方法 - Google Patents

Abstract

本发明公开了一种基于显著性和深度卷积网络的SAR图像变化检测方法，主要解决现有技术检测精度低及抗干扰能力弱的问题。其实现方案为：对同一区域不同时刻的两幅SAR图像预处理后，进行对数比值操作并归一化，得到归一化的对数比值差异图；对该差异图进行显著性特征提取，得到显著图；对显著图进行阈值化，并将差异图与阈值化的结果进行点乘，得到显著特征图；对差异图聚类得到预分类结果；从预分类结果中挑选出训练样例；构造深度卷积网络，用训练样例对网络进行训练；用训练好的网络对SAR图像做变化检测。本发明能有效地抑制背景区域信息的干扰，提高了变化检测的精确度，可用于自然灾害评估、环境资源检测和城市建模规划。

Description

基于显著性和深度卷积网络的SAR图像变化检测方法

技术领域

本发明属于图像处理技术领域，具体是涉及一种SAR图像变化检测方法，可用于自然灾害评估、环境资源检测和城市建设规划。

背景技术

合成孔径雷达SAR与可见光和红外遥感相比，具有全天时、全天候、穿透能力强的特性，因此无论在军事领域还是民用领域都得到了广泛的应用。随着SAR技术的快速发展，SAR图像变化检测技术变得日益重要。SAR图像变化检测是指通过比较和分析在同一区域所获得的不同时刻的两幅或多幅SAR图像，根据这些SAR图像之间的变化差异来获取所研究区域随时间而发生的变化信息。SAR图像变化检测的关键步骤在于生成相应的差异图像和对差异图像进一步的分析并提取变化信息。

M Gong等人在其发表的论文“Change Detection in Synthetic Aperture RadarImages Based on Deep Neural Networks(IEEE Transactions on Neural Networks&Learning Systems,2017,27(1):125-138.)”中采用了一种基于深度信念网络DBN的多时相SAR图像变化检测的方法，该方法从两时相的SAR图像中提取出图像块，并分别拉成向量，再将向量组合成输入特征，输入DBN中进行训练，并预测出最终的变化检测结果。该方法虽然在一定程度上提高了多时相SAR图像变化检测的精度，但是存在的不足之处是，没有很好地利用到图像邻域间的空间信息，而是直接将图像块拉成向量，限制了SAR图像变化检测精度的提高。

西北工业大学在申请的专利“基于双通道卷积神经网络的多时相SAR图像变化检测方法”(专利申请号：CN201610301686.7，公开号：CN106023154A)中公开了一种基于卷积神经网络的多时相SAR图像变化检测方法，该方法先构造两个结构相同的卷积网络CNN模型，随机挑选部分样本点，并人为标定这些样本点的变化检测结果，然后将这些样本点和标定检测结果作为训练CNN的训练数据，再使用训练好的CNN对未分类样本进行变化检测获得最终的变化检测结果。该方法存在的不足之处是，训练网络的训练样例是通过人为标定的，这对于高分辨率的SAR图像变化检测将是一种巨大的负担，同时人为标定的训练样例存在着一定的人工误差，影响了SAR图像变化检测的精度。

发明内容

本发明的目的在于针对上述现有SAR图像变化检测技术的不足，提出一种基于显著性和深度卷积网络的SAR图像变化检测方法，以有效地抑制差异图像中的干扰信息，增强图像的变化信息，利用深度卷积网络的特征提取能力，提高SAR图像变化信息结果提取的精确度。

本发明的技术方案是：先通过将显著性机制应用到差异图上，进一步区分差异图上的变化信息和不变化信息，然后利用深度卷积网络来对处理后的差异图进行分类，得到变化检测的结果。其实现步骤包括如下：

(1)输入同一区域t₁时刻的SAR图像X₁和t₂时刻的SAR图像X₂，并依次进行图像配准、几何校正，获得预处理后的两幅不同时刻的SAR图像I₁和I₂；

(2)对预处理后的两幅SAR图像I₁和I₂，通过对数比值法得到对数比值差异图，并对其进行归一化，得到归一化后的对数比值差异图I_L；

(3)利用显著检测方法，对归一化后的对数比值差异图I_L进行显著性检测，得到显著图S；

(4)设置阈值T为0.35，将显著图S中的每个像素值

与阈值T作比较，当

大于阈值T时，则将

设置为1.0，否则，设置为0，得到二值化图像S_bi；

(5)将对数比值差异图I_L与二值化图像S_bi进行点乘，得到显著特征图：D_s＝I_L·S_bi；

(6)对归一化后的对数比值差异图I_L进行K-means聚类，得到预分类结果R_pre；

(7)依据预分类结果挑选训练样例：

(7a)设置需要挑选的训练样例占总体样例的比例r为0.12，依据总体样例中变化像素点和不变化像素点所占的比重确定训练样例中变化像素点的个数N_c和不变化像素点的个数N_u：

N_u＝N×r-N_c，

其中，N表示总体样例的个数；M_c、M_u分别表示总体样例中变化像素点和不变化像素点的个数；

(7b)根据(7a)得到的N_c、N_u和预分类的结果R_pre，挑选训练样例；

(8)构建由1个输入层，4个卷积层和1个soft max层的深度卷积网络模型；

(9)用挑选好的训练样例对深度卷积网络模型进行训练，即将挑选好的训练样例输入深度卷积网络模型中，并用挑选的样例中对应的预分类的结果作为标签迭代训练30次网络，得到训练好的深度卷积网络；

(10)将步骤(5)得到的显著特征图D_s根据窗口大小进行延拓，并对延拓得到后的图像D_ms取块，逐个拉成向量，得到向量集合V_ms；再将该向量集合V_ms输入训练好的深度卷积网络中，预测出对应像素点的标签，将这些标签重新组合成矩阵的形式，即可得到最终的变化检测的结果。

本发明与现有技术相比具有以下优点：

第一，本发明根据显著性机制，对得到的对数比值差异图进行显著性特征提取，更进一步的凸显出变化区域的信息，并用阈值法以及点乘操作，直接将对数比值差异图中的显著性区域提取出来，降低了后续分类的复杂度。

第二，本发明由于采用了深度卷积网络来对经过显著性处理后的差异图进行了精确分类，可以有效的消除因阈值法和点乘操作带来的人工划分痕迹，并且由于深度卷积网络对于二维的图像具有很强的特征提取能力，使得变化信息提取的结果更加精确，因此整体提升了SAR图像变化检测的精确度。

第三，本发明由于依据总体样例中变化像素点和不变化像素点所占的比重来确定训练样例中变化像素点和不变化像素点的个数，使得挑选的训练样例更符合图像中原本的概率分布。

第四，本发明采用了K-means聚类的预分类方法，提高了后续变化检测的精度。

附图说明

图1是本发明的实现流程图；

图2是本发明仿真使用的farmlandC地区在不同时刻的两幅SAR图像；

图3是变化检测参考图和用本发明对farmlandC地区做的变化检测结果图；

图4是本发明仿真使用的farmlandD地区在不同时刻的两幅SAR图像；

图5是变化检测参考图和用本发明对farmlandD地区做的变化检测的结果图。

具体实施方案

下面结合附图对本发明的技术方案和效果做进一步的描述。

参照图1，本发明的实现步骤如下：

步骤1，输入两幅原始SAR图像并做预处理。

输入同一区域t₁时刻的SAR图像X₁和t₂时刻的SAR图像X₂，并依次进行图像配准、几何校正，获得预处理后的两幅不同时刻的SAR图像I₁和I₂，其中的SAR图像分别是于2008年6月和2009年6月在黄河口地区通过Radarsat-2获得的，原图为7666×7692像素。

步骤2，求对数比值差异图并归一化。

对预处理后的两幅SAR图像I₁和I₂，通过对数比值法得到对数比值差异图，并对其进行归一化，得到归一化后的对数比值差异图I_L：

其中，[·]表示归一化操作。

步骤3，对步骤2获得的I_L进行显著性检测，得到显著图。

3a)对I_L中的每个像素点按照如下公式计算出显著性值：

其中，

表示第i像素点在l尺度下的显著性值，L＝{r₁,r₂,...,r_m,...,r_M}表示所取图像块尺度的集合，r_m是第m个尺度，M表示尺度的个数，dis_foci(i)表示与图像块i最相近聚焦点邻域块位置之间的欧式距离，dis(·)定义了一种图像块与图像块之间的距离度量，其中，挑选了与图像块

最相似的K个图像块，

表示第i个像素点在l尺度下的图像块，

表示第m个像素点在l_m尺度下的图像块；

3b)根据计算出的每个像素点的显著性值，得到显著图

n为I_L中像素点的总个数。

步骤4，对显著图进行阈值化。

设置阈值T为0.35，将显著图S中的每个像素值

与阈值T作比较，当

大于阈值T时，则将

设置为1.0，否则，设置为0，得到二值化图像S_bi。

步骤5，计算显著特征图。

将对数比值差异图I_L与二值化图像S_bi进行点乘，得到显著特征图：D_s＝I_L·S_bi。

步骤6，采用K-means聚类，得到预分类结果。

6a)设置取块的窗口大小为5，将归一化后的对数比值差异图I_L按照窗口大小对边界进行延拓，得到延拓图像I_ml；

6b)对延拓图像I_ml根据窗口大小，每隔1个像素点进行取块，并将这些块逐个拉成向量，得到向量集合V＝{v₁,v₂,...,v_j,...,v_n}，其中v_j表示第j个像素所对应的向量；

6c)设置聚类中心个数为2，从向量集合V中随机挑选2个向量作为初始聚类中心；根据相似性度量，将向量集合V中的向量划分到与其最相似的聚类；然后再计算新的聚类中心，不断重复，直到达到终止条件，得到预分类结果R_pre。

步骤7，依据预分类结果挑选训练样例。

7a)设置需要挑选的训练样例占总体样例的比例r为0.12，依据总体样例中变化像素点和不变化像素点所占的比重确定训练样例中变化像素点的个数N_c和不变化像素点的个数N_u：

N_u＝N×r-N_c，

其中，N表示总体样例的个数；M_c、M_u分别表示总体样例中变化像素点和不变化像素点的个数；

7b)根据7a)得到的N_c、N_u和预分类的结果R_pre，挑选训练样例，其中挑选样例的规则采用M Gong等人在其发表的论文“Change Detection in Synthetic Aperture RadarImages Based on Deep Neural Networks(IEEE Transactions on Neural Networks&Learning Systems,2017,27(1):125-138.)提出的挑选方法，即将满足如下规则的像素点选为训练样例：

其中N_ij是像素点p的邻域，Ω_ij是(i,j)点的标签，N(p_αβ∈N_ij^Ω_αβ＝Ω_ij)表示像素点p邻域N_ij内等于中心像素点p的标签的数目，τ表示挑选样例的阈值，取值为τ＝0.6。

步骤8，搭建深度卷积网络。

本实例用1个输入层，4个卷积层和1个softmax层搭建共6层的深度卷积网络模型，每层的结构和参数设置如下：

输入层，以5×5的图像块作为输入；

4个卷积层结构相同，即每个卷积层均由大小为3×3的卷积核和10个特征映射图组成，其步长为1，激活函数为修正线性单元Relu；

softmax层，输出为两个神经元。

步骤9，用挑选的样例训练深度卷积网络。

9a)设置网络训练的参数：设置迭代次数为30，设置批大小batch size为50，设置网络训练的学习率为1e-4；

9b)将挑选好的训练样例，按照批大小batch size，批量输入到搭建好的深度卷积网络中，经过4个卷积层和softmax层，得到网络的输出，其中网络的输出为预测出的类别的概率；

9c)比较网络的输出与输入标签的差异，依据设置的学习率，采用Adam优化器，根据输出与输入标签的偏差，更新网络中每一层的权值和偏置；

9d)重复9b)-9c)共30次，得到训练好的网络。

步骤10，采用深度卷积网络对SAR图像做变化检测，得到变化检测结果。

10a)将步骤5得到的显著特征图D_s根据窗口大小进行延拓，并对延拓得到后的图像D_ms取块，逐个拉成向量，得到向量集合V_ms；

10b)将向量集合V_ms输入训练好的深度卷积网络中，预测出对应像素点的标签；

10c)将得到的标签按照显著特征图D_s的大小，重新组合成矩阵的形式，得到最终的变化检测的结果。

以下结合仿真试验，对本发明的技术效果作进一步说明：

1.仿真条件：

本发明的硬件测试平台是：处理器为Intel Core i5-6500，主频为3.20GHz，内存为8.00GB，软件平台为：Windows 7旗舰版64位操作系统和tensorflow平台。

2.仿真内容与结果：

仿真1，用本发明对图2所示的farmlandC数据集进行变化检测仿真实验，结果如图3(b)所示，其中图2(a)是2008年6月获取的SAR图像，图2(b)是2009年6月获取的SAR图像。

将图3(b)与图3(a)所示的参考图groundtruth相比较，本发明不仅能有效地克服SAR图像中相干斑噪声对变化检测的影响，并且能较好的分割出变化区域和不变化区域。

仿真2，用本发明对图4所示的farmlandD数据集进行变化检测仿真实验，结果如图5(b)所示，其中图4(a)是2008年6月获取的SAR图像，图4(b)是2009年6月获取的SAR图像。

将图5(b)与图5(a)所示的参考图groundtruth相比较，背景区域的噪声得到了有效的抑制，并且本发明能较好的检测出变化区域，取得较好的变化检测结果。

上述对farmlandC和farmlandD数据集做变化检测的仿真实验的具体实验指标如表1所示，其中：FP表示未变化像素被误检为变化像素的数目，也称为虚警数；FN表示变化像素被检测为未变化像素的数目，也称为漏检数；OE表示总错检数；PCC表示分类总正确率；Kappa是一个精确衡量分类准确度的指标，Kappa计算结果越大，说明分类性能越好。

表1

数据集	FP	FN	OE	PCC(％)	Kappa(％)
						farmlandC	467	684	1151	98.71	88.16
farmlandD	1495	2564	4059	94.54	80.96

从表中可以看出，本发明取得了较好的变化检测结果。

综上所述，本发明通过显著性特征提取和深度卷积网络实现SAR图像的变化检测，有效的抑制了差异图中的干扰信息，增强了图像中的变化信息，利用深度卷积网络对显著性特征提取后的差异图能分类出SAR图像中的变化信息和不变化信息，提高了SAR图像变化检测的精度。

Claims (6)

1.一种基于显著性和深度卷积网络的SAR图像变化检测方法，其特征在于，包括：

(1)输入同一区域t₁时刻的SAR图像X₁和t₂时刻的SAR图像X₂，并依次进行图像配准、几何校正，获得预处理后的两幅不同时刻的SAR图像I₁和I₂；

(2)对预处理后的两幅SAR图像I₁和I₂，通过对数比值法得到对数比值差异图，并对其进行归一化，得到归一化后的对数比值差异图I_L；

(3)利用显著检测方法，对归一化后的对数比值差异图I_L进行显著性检测，得到显著图S，按如下步骤进行：

(3a)对I_L中的每个像素点按照如下公式计算出显著性值：

其中，

表示第i像素点在l尺度下的显著性值，L＝{r₁,r₂,...,r_m,...,r_M}表示所取图像块尺度的集合，r_m是第m个尺度，M表示尺度的个数，dis_foci(i)表示与图像块i最相近聚焦点邻域块位置之间的欧式距离，dis(·)定义了一种图像块与图像块之间的距离度量，其中，挑选了与图像块

最相似的K个图像块，

表示第i像素点在l尺度下的图像块，

表示第m像素点在l_m尺度下的图像块；

(3b)根据计算出的每个像素点的显著性值，得到显著图

n为I_L中像素点的总个数；

(4)设置阈值T为0.35，将显著图S中的每个像素值

与阈值T作比较，当

大于阈值T时，则将

设置为1.0，否则，设置为0，得到二值化图像S_bi；

(5)将对数比值差异图I_L与二值化图像S_bi进行点乘，得到显著特征图：D_s＝I_L·S_bi；

(6)对归一化后的对数比值差异图I_L进行K-means聚类，得到预分类结果R_pre；

(7)依据预分类结果挑选训练样例：

(7a)设置需要挑选的训练样例占总体样例的比例r为0.12，依据总体样例中变化像素点和不变化像素点所占的比重确定训练样例中变化像素点的个数N_c和不变化像素点的个数N_u：

N_u＝N×r-N_c，

其中，N表示总体样例的个数；M_c、M_u分别表示总体样例中变化像素点和不变化像素点的个数；

(7b)根据(7a)得到的N_c、N_u和预分类的结果R_pre，挑选训练样例；

(8)构建由1个输入层，4个卷积层和1个softmax层的深度卷积网络模型；

(9)用挑选好的训练样例对深度卷积网络模型进行训练，即将挑选好的训练样例输入深度卷积网络模型中，并用挑选的样例中对应的预分类的结果作为标签迭代训练30次网络，得到训练好的深度卷积网络；

(10)将步骤(5)得到的显著特征图D_s根据窗口大小进行延拓，并对延拓得到后的图像D_ms取块，逐个拉成向量，得到向量集合V_ms；再将该向量集合V_ms输入训练好的深度卷积网络中，预测出对应像素点的标签，将这些标签重新组合成矩阵的形式，即可得到最终的变化检测的结果。

2.根据权利要求1所述的方法，其中步骤(2)中得到归一化后的对数比值差异图I_L，通过如下公式计算：

其中，[·]表示归一化操作。

3.根据权利要求1中所述的方法，其中步骤(6)中对归一化后的对数比值差异图I_L进行K-means聚类，按如下步骤进行：

(6a)设置取块的窗口大小为5，将归一化后的对数比值差异图I_L按照窗口大小对边界进行延拓，得到延拓图像I_ml；

(6b)对延拓图像I_ml根据窗口大小，每隔1个像素点进行取块，并将这些块逐个拉成向量，得到向量集合V＝{v₁,v₂,...,v_j,...,v_n}，其中v_j表示第j个像素所对应的向量；

(6c)设置聚类中心个数为2，从向量集合V中随机挑选2个向量作为初始聚类中心；根据相似性度量，将向量集合V中的向量划分到与其最相似的聚类；然后再计算新的聚类中心，不断重复，直到达到终止条件，得到预分类结果R_pre。

4.根据权利要求1中所述的方法，其中步骤(7b)中挑选训练样例，是将满足如下规则的像素点选为训练样例：

其中N_ij是像素点p的邻域，Ω_ij是(i,j)点的标签，N(p_αβ∈N_ij^Ω_αβ＝Ω_ij)表示像素点p邻域N_ij内等于中心像素点p的标签的数目，τ表示挑选样例的阈值。

5.根据权利要求1中所述的方法，其中步骤(8)中构建的深度卷积网络模型，其每层的结构与参数设置如下：

输入层，以5×5的图像块作为输入；

4个卷积层结构相同，即每个卷积层均由大小为3×3的卷积核和10个特征映射图组成，其步长为1，激活函数为修正线性单元Relu；

softmax层，输出为两个神经元。

6.根据权利要求1中所述的方法，其中步骤(9)中对深度卷积网络模型进行训练，按如下步骤进行：

(9a)设置网络训练的参数：设置迭代次数为30，设置批大小batch size为50，设置网络训练的学习率为1e-4；

(9b)将挑选好的训练样例，按照批大小batch size，批量输入搭建好的深度卷积网络中，经过多个卷积层和soft max层，得到网络的输出，其中网络的输出为预测出的类别的概率；

(9c)通过比较网络的输出与输入标签的差异，依据学习率，更新网络中每一层的权值和偏置，完成一次训练的过程；

(9d)重复(9b)-(9c)共30次，得到训练好的网络。

Images