CN110728324A - 基于深度复值全卷积神经网络的极化sar图像分类方法 - Google Patents

Abstract

本发明公开了一种基于深度复值全卷积神经网络的极化SAR图像分类方法，主要解决现有技术分类精度低的问题。其方案为：输入待分类极化SAR图像的极化相干矩阵T及其真实地物标记G，并对T归一化；提取归一化后矩阵的输入复值向量构造特征矩阵F；在G中选取像素点生成新的真实地物标记G'；在F和G'上通过滑动窗分别生成特征集和标记集，对该两者进行随机选取构成训练集；构造深度复值全卷积神经网络，并初始化；利用训练集对初始化后的深度复值全卷积网络进行训练；将待分类极化SAR图像输入到训练好的深度复值全卷积神经网络中，得到分类结果；本发明有效地抑制相干斑噪声干扰，提高了分类准确率，可用于实现极化SAR图像的目标检测或分类识别。

Description

基于深度复值全卷积神经网络的极化SAR图像分类方法

技术领域

本发明属于图像处理技术领域，更进一步涉及一种极化合成孔径雷达SAR图像分类方法，可用于实现极化SAR图像的目标检测与分类识别。

背景技术

极化SAR图像相对于SAR图像可以提供更加全面和丰富的信息，从而被广泛地应用在各个领域。在极化SAR图像分析与解译过程中，极化SAR图像分类技术是一个非常关键的步骤。目前，已经开发了许多用于极化SAR图像分类的传统方法，例如Wishart分类器、目标分解理论、支持矢量机SVM和基于随机场模型等。但这些传统方法依赖于手工提取的低级别特征，这些特征大部分通过对极化SAR数据的复杂分析获得，显然是耗时耗力的。

随着深度学习的快速发展，基于神经网络的极化SAR图像分类方法显著提高了分类准确率，并且能以端到端的方式自动学习判别特征，从而减少手工错误并节约成本。其中使用最多的是卷积神经网络CNN。但由于基于神经网络的极化SAR图像分类方法主要集中在实值神经网络，网络输入矢量是实值矢量。在处理复值的极化SAR数据时，要求将复值极化SAR数据投影到实值域中，因而这种投影处理会增加计算成本并且丢失有价值的信息，最显著的是相位信息的丢失。

鉴于上述问题，已有学者提出基于复值神经网络对极化SAR图像分类。复值神经网络直接使用复值极化SAR数据，不需要投影到实值域中，典型的如Zhang等人提出利用复值卷积神经网络对极化SAR图像进行分类，见Z.Zhang et al,“Complex-valuedconvolutional neural network and its application in polarimetric sar imageclassification,”IEEE Trans.Geosci.Remote Sens.,vol.55,no.12,pp.7177-7188,2017。但目前出现的对极化SAR图像分类的复值神经网络存在以下问题：

一是，已出现的复值神经网络结构较简单、层数有限，从而学习特征能力有限导致分类准确率低；

二是，已出现的复值神经网络未能充分考虑空间信息，不能较好地降低固有相干斑噪声对分类结果的影响；

三是，已出现的复值神经网络是基于块的分类，大部分像素点会在不同块中被重复预测分类，导致分类速度慢。

发明内容

本发明的目的在于针对上述技术中存在的问题和不足，提出一种基于深度复值全卷积神经网络的极化SAR图像分类方法，以降低固有相干斑噪声对分类结果的影响，提高极化SAR图像的分类精度。

为实现上述目的，本发明的技术方案包括如下步骤：

(1)输入一幅待分类的极化SAR图像相干矩阵T及其对应的真实地物标记图G，并对相干矩阵进行归一化，得到归一化后的相干矩阵

(2)从归一化后的相干矩阵

中提取每个像素点的复值特征向量I^(ij)，并用所有像素点的复值特征向量集合构成待分类极化SAR图像的特征矩阵F，其中，i＝1,2,...,a，j＝1,2,...,b，a和b分别表示待分类极化SAR图像的长和宽；

(3)从真实地物标记图G中的每个类别中选取1％个像素点，组成新的真实地物标记G'；

(4)利用大小为m×m的截取窗以步长为τ在F和G'上从左到右、从上到下滑动截取特征块d_i和标记块e_i，分别生成特征集D＝{d_i}和标记集E＝{e_i}，并构成样本对集Λ＝{(d_i,e_i)}，其中i∈{1,2,...,N}，N为截取块数；

(5)在样本对集Λ中随机选取10％构成训练集j∈{1,2,...,M}，其中M为选择的样本对个数；

(6)搭建深度复值全卷积神经网络：

该深度复值全卷积神经网络包括一个输入层、十一个复卷积层、十个复激活层、五个复最大池化层、五个复最大上池化层和一个复Softmax分类器输出层，其结构关系依次为：

输入层→第一复卷积层→第一复激活层→第一复最大池化层→第二复卷积层→第二复激活层→第二复最大池化层→第三复卷积层→第三复激活层→第三复最大池化层→第四复卷积层→第四复激活层→第四复最大池化层→第五复卷积层→第五复激活层→第五复最大池化层→第六复卷积层→第六复激活层→第一复最大上池化层→第七复卷积层→第七复激活层→第二复最大上池化层→第八复卷积层→第八复激活层→第三复最大上池化层→第九复卷积层→第九复激活层→第四复最大上池化层→第十复卷积层→第十复激活层→第五复最大上池化层→第十一复卷积层→复Softmax分类器输出层；

(7)用每个复卷积层中所有复值滤波器的复值权重构成复值权重集Θ，并利用复值权重初始化策略对该复值权重集进行初始化，即Θ＝{w}，其中一个复值权重w用极坐标形式表示为：w＝|w|e^jθ，|w|是w的幅值，θ是w的相位，j为虚数单元，e表示自然底数；利用参数为

的Rayleigh分布随机初始化幅值|w|，表示输入复卷积层中的复特征图个数；利用在区间(-π,π)的随机分布初始化相位θ，对复值权重集Θ的初始化，即完成对深度复值全卷积网络初始化；

(8)根据训练集和初始化后的深度复值全卷积网络，构建深度复值全卷积神经网络的复平均交叉熵损失函数J：

其中，O表示深度复值全卷积神经网络的复Softmax分类器输出层的输出复特征图数据，

表示取实部操作，

表示取虚部操作，d_j是训练集中的特征块，e_j是训练集中的特征块，M为选择的样本对个数，ln(·)表示自然对数运算；

(9)对初始化后的深度复值全卷积网络进行训练：

(9a)根据(8)构建的复平均交叉熵损失函数值J对复值权重集Θ中的每一个复值权重w求导数

(9b)根据Adam优化算法和(9a)中求得的导数

更新复值权重w，得到更新后的复值权重集Θ^*；

(9c)根据更新后的复值权重集Θ^*重新计算复平均交叉熵损失函数值J；

(9d)不断重复(9a)至(9c)，直到J收敛，得到训练好的深度复值全卷积网络；

(10)将待分类极化SAR图像的特征矩阵F输入到训练好的深度复值全卷积神经网络，输出分类后的极化SAR图像。

本发明与现有技术相比具有以下优点：

1.本发明将全卷积神经网络扩展至复数域中构造深度复值全卷积神经网络，网络的输入直接使用复值极化SAR数据，不需要数据映射，从而降低了计算成本，其在构造的深度复值全卷积神经网络中充分利用了极化SAR数据的相位信息；

2.本发明由于在深度复值全卷积神经网络上利用复最大上池化层，不仅能够充分恢复空间信息，降低相干斑噪声对极化SAR图像分类结果的影响，而且可使网络输出与输入图像具有相同尺寸，实现像素级分类；

3.本发明由于使用一种新的权重初始化方法初始化深度复值全卷积神经网络，能够实现深度复值全卷积神经网络的快速训练，缩短训练时间，降低计算成本；

4.本发现相对于已有的基于复值卷积神经网络的极化SAR图像分类方法，由于在深度复值全卷积神经网络中层数多，引入了多尺度深度复滤波器，能够提取更深层、多尺度的特征反映极化SAR数据的性质，从而提高了分类精度。

附图说明

图1是本发明的实现流程图；

图2是本发明仿真使用的极化SAR图像；

图3是本发明对图2的真实地物标记图；

图4是用现有基于复值卷积神经网络的极化SAR分类方法对图2的分类结果图；

图5是用本发明对图2的分类结果图。

具体实施方式

下面结合附图对本发明的具体实施例和效果作进一步详细说明。

参数图1，本实施例的实现步骤如下：

步骤1.输入一幅待分类的极化SAR图像的相干矩阵T及该图像对应的真实地物标记图G，并对相干矩阵进行归一化。

如图2所示，待分类的极化SAR图像是由NASA-JPL机载L波段AIRSAR系统于1989年8月16日获取的旧金山海湾地区的极化SAR数据合成图，该图像包含900×1024个像素，每一个像素用3×3的极化相干矩阵T^(ij)表示，该图像相干矩阵的大小为3×3×900×1024矩阵；

该待分类的极化SAR图像共包含4种地物类型，分别为水、植物、低密度城市区域和高密度城市区域，各地物类别号分别用{1,2,3,4}表示，

如图3所示，该待分类极化SAR图像对应的真实地物标记G的大小与待分类极化SAR图像大小相同，为900×1024，在G中已确定地物类别的像素点处的值为地物类别号，这样的像素点称为标记像素点，不确定地物类别像素点处的值为0；

对待分类的极化SAR图像的相干矩阵T进行归一化：

(1a)将待分类极化SAR图像中第i行第j列的像素点用3×3的极化相干矩阵T^(ij)表示：

其中，i＝1,2,...,a，j＝1,2,...,b，

为极化相干矩阵T^(ij)的第n行第m列的元素，n,m∈{1,2,3}；

(1b)计算极化相干矩阵T^(ij)中每个元素的平均值

为：

其中，·代表乘积操作；

(1c)计算极化相干矩阵每个元素

的方差值

为：

其中，

表示取共轭操作；

(1d)计算每个像素点处的相干矩阵T^(ij)中每个元素的归一化值为：

(1e)计算每个像素点处的相干矩阵T^(ij)的归一化值为：

(1f)由每个像素点的极化相干矩阵T^(ij)得到的归一化值得到待分类极化SAR图像的归一化相干矩阵

步骤2.构建待分类极化SAR图像的特征矩阵F。

(2a)根据(1f)中极化SAR图像中每个像素点的归一化相干矩阵

选取其上三角的6个元素构成该像素点的复值特征向量I^(ij)：

其中，(.)^T表示转置操作，i＝1,2,...,a，j＝1,2,...,b；

(2b)根据(2a)的复值特征向量I^(ij)，构造待分类极化SAR图像的特征矩阵F，表示如下：

F＝(I^(ij))_a×b。

步骤3.从真实地物标记图G中构建新的真实地物标记G'。

(3a)将新的真实地物标记G'初始化为900×1024大小的全0矩阵；

(3b)设地物类别c有K_c个标记像素点，其中c∈{1,2,3,4}，对应的标记像素点坐标集为：

D_c＝{(x_i,y_i)}，i＝1,2,...,K_c，

其中x_i为第i个标记像素点的横坐标，y_i为第i个标记像素点的纵坐标，在D_c中随机选取1％的标记像素点位置，构成选取位置集d_c；

(3c)根据(3b)的选取位置集d_c更新G'，其中G'在d_c处的像素点值与G在d_c处的像素点值相同，即：

G'{d_c}＝G{d_c}，

(3d)对每个地物类别c执行步骤(3b)和步骤(3c)，生成最终的新的真实地物标记G'。

步骤4.在F和新的真实地物标记G'上生成样本对集Λ。

(4a)初始特征集和初始标记集为空，分别用D与E表示；

(4b)在特征矩阵F左上角使用截取窗截取大小为128×128×6的特征块d，将其增加至特征集D中；

(4c)以步长为25向右滑动截取窗截取新的特征块增加至特征集D中，直至截取窗滑动超出特征矩阵F的宽度范围停止滑动；

(4d)从截取窗移至特征矩阵F的最左边开始截取处，再将截取窗以步长为25向下滑动，若截取窗未超出特征矩阵F的长度范围，则截取新的特征块，增加至特征集D中，若截取窗超出特征矩阵F的长度范围，则结束滑动；

(4e)重复步骤(4c)与(4d)，直至截取窗滑动超出特征矩阵F的长度范围，完成特征集D的生成，特征集D为：

D＝{d_i}，

其中i∈{1,2,...,N}，d_i为截取的特征块，

该特征集D中包含的特征块个数N为：

N＝(ceil(900-128)/25+1)·(ceil(1024-128)/25+1)＝1184，

其中ceil(·)表示向上取整函数；

(4f)在新的真实地物标记G'左上角使用截取窗截取大小为128×128的标记块e，增加至标记集E中；

(4g)以步长为25向右滑动截取窗截取新的标记块增加至标记集E中，直至截取窗滑动超出新的真实地物标记G'的宽度范围停止滑动；

(4h)从截取窗移至新的真实地物标记G'的最左边开始截取处，再将截取窗以步长为25向下滑动，若截取窗未超出新的真实地物标记G'的长度范围，则截取新的标记块，增加至标记集E中，若截取窗超出新的真实地物标记G'的长度范围，则结束滑动；

(4i)重复步骤(4g)与(4h)，直至截取窗滑动超出G'的长度范围，完成标记集E的生成，标记集E为：

E＝{e_i}，

其中，e_i为截取的标记块，该标记集E中包含的标记块个数与特征集D包含的特征块个数相同，i∈{1,2,...,N}，N＝1184；

(4j)将特征集D＝{d_i}与标记集E＝{e_i}中元素按顺序成对构成样本对集Λ，表示为：

Λ＝{(d_i,e_i)}；

步骤5.构建训练集

在样本对集中Λ中随机选取90％的样本对构成训练集，该训练集表示为

j∈{1,2,...,1066}，其中1066为选择的样本对个数。

步骤6.搭建深度复值全卷积神经网络。

(6a)构建深度复值全卷积神经网络结构：

该深度复值全卷积神经网络包括一个输入层、十一个复卷积层、十个复激活层、五个复最大池化层、五个复最大上池化层和一个复Softmax分类器输出层，其结构关系依次为：

输入层→第一复卷积层→第一复激活层→第一复最大池化层→第二复卷积层→第二复激活层→第二复最大池化层→第三复卷积层→第三复激活层→第三复最大池化层→第四复卷积层→第四复激活层→第四复最大池化层→第五复卷积层→第五复激活层→第五复最大池化层→第六复卷积层→第六复激活层→第一复最大上池化层→第七复卷积层→第七复激活层→第二复最大上池化层→第八复卷积层→第八复激活层→第三复最大上池化层→第九复卷积层→第九复激活层→第四复最大上池化层→第十复卷积层→第十复激活层→第五复最大上池化层→第十一复卷积层→复Softmax分类器输出层；

(6b)设置深度复值全卷积神经网络中每层的参数：

输入层，其输出的复特征映射图数目为6；

第一复卷积层，其输出的复特征映射图数目为12，复值滤波器大小为3×3，移动步幅为1，填充为1；

第一复最大池化层，其复最大池化窗口大小是2×2，移动步幅是2；

第二复卷积层，其输出的复特征映射图数目为24，复值滤波器大小为3×3，移动步幅为1，填充为1；

第二复最大池化层，其复最大池化窗口大小是2×2，移动步幅是2；

第三复卷积层，其输出的复特征映射图数目为48，复值滤波器大小为3×3，移动步幅为1，填充为1；

第三复最大池化层，其复最大池化窗口大小是2×2，移动步幅是2；

第四复卷积层，其输出的复特征映射图数目为96，复值滤波器大小为3×3，移动步幅为1，填充为1；

第四复最大池化层，其复最大池化窗口大小是2×2，移动步幅是2；

第五复卷积层，其输出的复特征映射图数目为192，复值滤波器大小为3×3，移动步幅为1，填充为1；

第五复最大池化层，其复最大池化窗口大小是2×2，移动步幅是2；

第六复卷积层，其输出的复特征映射图数目为192，复值滤波器大小为3×3，移动步幅为1，填充为1；

第一复最大上池化层，其复最大上池化窗口大小是2×2，移动步幅是2；

第七复卷积层，其输出的复特征映射图数目为96，复值滤波器大小为3×3，移动步幅为1，填充为1；

第二复最大上池化层，其复最大上池化窗口大小是2×2，移动步幅是2；

第八复卷积层，其输出的复特征映射图数目为48，复值滤波器大小为3×3，移动步幅为1，填充为1；

第三复最大上池化层，其复最大上池化窗口大小是2×2，移动步幅是2；

第九复卷积层，其输出的复特征映射图数目为24，复值滤波器大小为3×3，移动步幅为1，填充为1；

第四复最大上池化层，其复最大上池化窗口大小是2×2，移动步幅是2；

第十复卷积层，其输出的复特征映射图数目为12，复值滤波器大小为3×3，移动步幅为1，填充为1；

第五复最大上池化层，其复最大上池化窗口大小是2×2，移动步幅是2；

第十一复卷积层，其输出的复特征映射图数目为待分类极化SAR图像的分类类别数4，复值滤波器大小为3×3，移动步幅为1，填充为1；

复Softmax分类器输出层，其输出的复特征映射图数目为分类类别数4。

步骤7.利用复值权重初始化策略对复值权重集Θ进行初始化。

(7a)将复值权重集Θ＝{w}中一个复值权重w用极坐标形式表示为：w＝|w|e^jθ，|w|是w的幅值，θ是w的相位，j为虚数单元，e表示自然底数；

(7b)利用参数为

的Rayleigh分布随机初始化幅值|w|，

表示输入复卷积层中的复特征图个数，|w|的表达式为：

其中，A＝rand(0,1)表示在0到1之间产生的一个随机数，rand(.)表示随机操作；

(7c)利用在区间(-π,π)的随机分布初始化相位θ：

θ＝rand(-π,π)；

(7d)重复步骤(7b)和步骤(7c)完成对复值权重集Θ的初始化，即完成对深度复值全卷积网络初始化。

步骤8.构建深度复值全卷积神经网络的复平均交叉熵损失函数J。

(8a)将训练集

j∈{1,2,...,M}的所有特征块{d_j}作为深度复值全卷积神经网络中复输入层的复输出特征映射图，并输出至第一复卷积层；

(8b)根据(8a)的结果，按照下式计算深度复值全卷积神经网络中第一复卷积层的第n个输出复特征映射图数据

其中，

为第一复卷积层中的复值卷积滤波器矩阵，该矩阵中的元素是复值权重集Θ中复值权重，*表示复卷积操作；

(8c)将(8b)的结果作为深度复值全卷积神经网络中的第一复激活层的第n个输入复特征映射图数据，按照下式计算该层的第n个输出复特征映射图数据

其中，

是复值修正线性单元(ReLU)激活函数；

(8d)将(8c)的结果作为深度复值全卷积神经网络中的第一复最大池化层的第n个输入复特征映射图数据，按照下式计算该层的第n个复输出特征映射图数据

中第x行第y列的数据

和第n个复特征映射图位置数据

中第x行第y列的位置数据

其中

表示取在ν,υ＝0,...,g范围中所有复值数据里幅度值最大对应的复值数据，

表示取在ν,υ＝0,...,g范围中所有复值数据里幅度值最大的复值数据对应的在

中的位置，s表示数据移动步幅，s＝2，g表示窗口尺寸，g＝2；

(8e)将(8d)的结果作为深度复值全卷积神经网络中的第二复卷积层的第n个输入复特征映射图数据，按照下式计算该层的第m个输出复特征映射图数据

其中，

为第二复卷积层中的复值卷积滤波器矩阵，M₂表示第二复卷积层的输入复特征映射图个数；

(8f)将(8e)的结果作为深度复值全卷积神经网络中的第二复激活层的第m个输入复特征映射图数据，按照下式计算该层的第m个输出复特征映射图数据

其中，

是复值修正线性单元(ReLU)激活函数；

(8g)将(8f)的结果作为深度复值全卷积神经网络中的第二复最大池化层的第m个输入复特征映射图数据，按照下式计算该层的第m个复输出特征映射图数据中第x行第y列的数据

和第m个复特征映射图位置数据中第x行第y列的位置数据

其中

表示取在ν,υ＝0,...,g范围中所有复值数据里幅度值最大对应的复值数据，

表示取在ν,υ＝0,...,g范围中所有复值数据里幅度值最大的复值数据对应的在中的位置，s表示数据移动步幅，s＝2，g表示窗口尺寸，g＝2；

(8h)将(8g)的结果作为深度复值全卷积神经网络中的第三复卷积层的第m个输入复特征映射图数据，根据步骤(8e)到步骤(8g)中的计算公式，分别计算第三复卷积层的第m个输入复特征映射图数据

第三复激活层的第m个输入复特征映射图数据

第三复最大池化层的第m个复输出特征映射图数据

和第m个复特征映射图位置数据

(8i)将(8h)的结果

作为深度复值全卷积神经网络中的第四复卷积层的第m个输入复特征映射图数据，根据步骤(8e)到步骤(8g)中的计算公式，分别计算第四复卷积层的第m个输入复特征映射图数据

第四复激活层的第m个输入复特征映射图数据

第四复最大池化层的第m个复输出特征映射图数据

和第m个复特征映射图位置数据

(8j)将(8i)的结果

作为深度复值全卷积神经网络中的第五复卷积层的第m个输入复特征映射图数据，根据步骤(8e)到步骤(8g)中的计算公式，分别计算第五复卷积层的第m个输入复特征映射图数据

第五复激活层的第m个输入复特征映射图数据

第五复最大池化层的第m个复输出特征映射图数据

和第m个复特征映射图位置数据

(8k)将(8j)的结果

作为深度复值全卷积神经网络中的第六复卷积层的第m个输入复特征映射图数据，根据步骤(8e)到步骤(8f)中的计算公式，分别计算第六复卷积层的第m个输入复特征映射图数据

第六复激活层的第m个输入复特征映射图数据

(8l)将(8k)的结果Z⁶和(8j)的结果B⁵作为深度复值全卷积神经网络中第一复最大上池化层的输入数据，按照下式计算该层的第n个复输出特征映射图数据

中第x行第y列的数据：

其中，

表示向上取整操作，g表示窗口尺寸，g＝2；

(8m)将(8l)的结果作为深度复值全卷积神经网络中的第七复卷积层的第n个输入复特征映射图数据，按照下式计算该层的第n个输出复特征映射图数据

其中，

为第七复卷积层中的复值卷积滤波器矩阵，M₇表示第七复卷积层的输入复特征映射图个数；

(8n)将(8m)的结果作为深度复值全卷积神经网络中的第七复激活层的第n个输入复特征映射图数据，按照下式计算该层的第n个输出复特征映射图数据Z_n ⁷：

其中，

是复值修正线性单元(ReLU)激活函数；

(8o)将(8n)的结果Z⁷和(8i)的结果B⁴作为深度复值全卷积神经网络中第二复最大上池化层的输入数据，根据步骤(8l)到步骤(8n)中的计算公式，分别计算第二复最大上池化层的复输出特征映射图数据U²、第八复卷积层的复输出特征映射图数据Y⁸、第八复激活层的复输出特征映射图数据Z⁸；

(8p)将(8o)的结果Z⁸和(8h)的结果B³作为深度复值全卷积神经网络中第三复最大上池化层的输入数据，根据步骤(8l)到步骤(8n)中的计算公式，分别计算第三复最大上池化层的复输出特征映射图数据U³、第九复卷积层的复输出特征映射图数据Y⁹、第九复激活层的复输出特征映射图数据Z⁹；

(8q)将(8p)的结果Z⁹和(8g)的结果B²作为深度复值全卷积神经网络中第四复最大上池化层的输入数据，根据步骤(8l)到步骤(8n)中的计算公式，分别计算第四复最大上池化层的复输出特征映射图数据U⁴、第十复卷积层的复输出特征映射图数据Y¹⁰、第十复激活层的复输出特征映射图数据Z¹⁰；

(8r)将(8q)的结果Z¹⁰和(8d)的结果B¹作为深度复值全卷积神经网络中第五复最大上池化层的输入数据，根据步骤(8l)到步骤(8m)中的计算公式，分别计算第五复最大上池化层的复输出特征映射图数据U⁴、第十复卷积层的复输出特征映射图数据Y¹¹；

(8s)根据(8r)结果，按照下式计算深度复值全卷积神经网络的复Softmax分类器输出层的第n个输出复特征映射图数据O_n：

其中，g(.)表示复Softmax操作，

表示取实部操作，

表示取虚部操作，j为虚数单元；

(8t)根据训练集

的标记块{e_j}和(8s)计算的全部输出复特征映射图数据O，按照下式构造深度复值全卷积神经网络的复平均交叉熵损失函数：

其中，M为训练集

中的样本对个数，M＝1066。

步骤9.对初始化后的深度复值全卷积网络进行训练。

(9a)根据(8)构建的复平均交叉熵损失函数值J对复值权重集Θ中的每一个复值权重w求导数

(9b)根据Adam优化算法和(9a)中求得的导数更新复值权重w，得到更新后的复值权重集Θ^*；

(9c)根据更新后的复值权重集Θ^*重新计算复平均交叉熵损失函数值J；

(9d)不断重复(9a)至(9c)，直到J收敛，得到训练好的深度复值全卷积网络；

步骤10.根据训练好的深度复值全卷积神经网络对待分类极化SAR图像进行分类。

(10a)将待分类的极化SAR图像的特征矩阵F输入至步骤(9d)中训练好的深度复值全卷积神经网络；

(10b)利用训练好的深度复值全卷积神经网络，对待分类的极化SAR图像的每个像素点进行地物类别标签预测，得到每个像素点的地物类别标签，完成对待分类的极化SAR图像的分类。

本发明的效果可通过以下仿真进一步说明：

1.仿真条件：

硬件平台为：Intel(R)Core(TM)i5-6500@3.20GHZ、64.0GB RAM

软件平台为：Spyder，在Keras框架下以TensorFlow为后端。

仿真实验选取的极化SAR图像是一幅附有实际地物标记图的极化SAR图像，如图2所示，其由NASA-JPL机载L波段AIRSAR系统于1989年8月16日获取的旧金山海湾地区的极化SAR数据合成图，该图像包含900×1024个像素。该图像主要包括水、植物、低密度城市区域和高密度城市区域4种地物类型。

图2的真实地物标记图如图3所示，图3是由NASA-JPL机载L波段AIRSAR系统于1989年8月16日获取的旧金山海湾地区的极化SAR数据合成图的真实地物标记图。在真实地物标记图中，蓝色、绿色、黄色、红色分别上色的是水、植物、低密度城市区域、高密度城市区域4种地物类型，黑色上色的是不确定地物类型的像素点。

2.仿真内容：

仿真实验1，采用本发明方法对图2的极化SAR图像进行分类，在分类后的极化SAR图像上，将红色、绿色、蓝色三个颜色作为三基色，分别按照不同的比例混合三基色，取如下4组值：(0,0,255)、(0,255,0)、(255,255,0)、(255，0,0)对应水、植物、低密度城市区域、高密度城市区域共四种地物类别，得到上色后的极化SAR图像分类结果图并显示，结果如图5所示。

仿真实验2，采用现有技术的基于复值卷积神经网络的极化SAR分类方法对图2的极化SAR图像进行分类，在分类后的极化SAR图像上，将红色、绿色、蓝色三个颜色作为三基色，分别按照不同的比例混合三基色，取如下4组值：(0,0,255)、(0,255,0)、(255,255,0)、(255，0,0)对应水、植物、低密度城市区域、高密度城市区域共四种地物类别，得到上色后的极化SAR图像分类结果图并显示，结果如图4所示。

3.仿真结果分析：

将上色后的极化SAR图像中的每个像素所属地物类别与真实地物标记图G对比，统计每一地物正确分类标记的像素点个数，在真实地物标记图G中统计每一地物总标记的像素点个数，计算地物分类精度A^c和总体分类精度OA：

其中c＝{1,2,3,4}；

计算得到的两种仿真实验得到的分类精度结果如表1。其中CV-CNN为现有技术的基于复值卷积神经网络的极化SAR分类方法。

表1.两种方法在仿真中得到的地物分类精度(％)和总体分类精度(％)。

从表1可见，本发明与现有基于复值卷积神经网络的极化SAR分类方法CV-CNN相比，不仅在总体精度上有明显的提高，而且在每一地物的分类精度上也有大幅度提高，验证了本发明能提取更深层、多尺度的特征反映极化SAR数据的性质，且分类精度高。

分别将图4、图5与本发明仿真所用待分类极化SAR图像的真实地物标记图3对比可以看到，图5相比于对比方法图4，更接近于图3中分类极化SAR图像的真实地物标记图，而且图5的分类结果的区域一致性更好，这主要是由于考虑了更多的空间信息，大幅度地降低了相干斑噪声对分类结果的影响。

仿真结果表明，本发明采用的基于深度复值全卷积神经网络实现极化SAR图像分类，提取了极化SAR图像更丰富的特征，可以有效地抑制相干斑噪声的干扰，提高了极化SAR图像的分类精度，并且分类结果区域一致性也较好。

Claims (5)

1.一种基于深度复值全卷积神经网络的极化SAR图像分类方法，其特征在于，包括如下：

(1)输入一幅待分类的极化SAR图像相干矩阵T及其对应的真实地物标记图G，并对相干矩阵进行归一化，得到归一化后的相干矩阵

(2)从归一化后的相干矩阵

中提取每个像素点的复值特征向量I^(ij)，并用所有像素点的复值特征向量集合构成待分类极化SAR图像的特征矩阵F，其中，i＝1,2,...,a，j＝1,2,...,b，a和b分别表示待分类极化SAR图像的长和宽；

(3)从真实地物标记图G中的每个类别中选取1％个像素点，组成新的真实地物标记G'；

(4)利用大小为m×m的截取窗以步长为τ在F和G'上从左到右、从上到下滑动截取特征块d_i和标记块e_i，分别生成特征集D＝{d_i}和标记集E＝{e_i}，并构成样本对集Λ＝{(d_i,e_i)}，其中i∈{1,2,...,N}，N为截取块数；

(5)在样本对集Λ中随机选取90％构成训练集

其中M为选择的样本对个数；

(6)搭建深度复值全卷积神经网络：

该深度复值全卷积神经网络包括一个输入层、十一个复卷积层、十个复激活层、五个复最大池化层、五个复最大上池化层和一个复Softmax分类器输出层，其结构关系依次为：

输入层→第一复卷积层→第一复激活层→第一复最大池化层→第二复卷积层→第二复激活层→第二复最大池化层→第三复卷积层→第三复激活层→第三复最大池化层→第四复卷积层→第四复激活层→第四复最大池化层→第五复卷积层→第五复激活层→第五复最大池化层→第六复卷积层→第六复激活层→第一复最大上池化层→第七复卷积层→第七复激活层→第二复最大上池化层→第八复卷积层→第八复激活层→第三复最大上池化层→第九复卷积层→第九复激活层→第四复最大上池化层→第十复卷积层→第十复激活层→第五复最大上池化层→第十一复卷积层→复Softmax分类器输出层；

(7)用每个复卷积层中所有复值滤波器的复值权重构成复值权重集Θ，并利用复值权重初始化策略对该复值权重集进行初始化，即Θ＝{w}，其中一个复值权重w用极坐标形式表示为：w＝|w|e^jθ，|w|是w的幅值，θ是w的相位，j为虚数单元，e表示自然底数；利用参数为

的Rayleigh分布随机初始化幅值|w|，表示输入复卷积层中的复特征图个数；利用在区间(-π,π)的随机分布初始化相位θ，对复值权重集Θ的初始化，即完成对深度复值全卷积网络初始化；

(8)根据训练集

和初始化后的深度复值全卷积网络，构建深度复值全卷积神经网络的复平均交叉熵损失函数J：

其中，O表示深度复值全卷积神经网络的复Softmax分类器输出层的输出复特征图数据，

表示取实部操作，表示取虚部操作，d_j是训练集中的特征块，e_j是训练集中的特征块，M为选择的样本对个数，ln(·)表示自然对数运算；

(9)对初始化后的深度复值全卷积网络进行训练：

(9a)根据(8)构建的复平均交叉熵损失函数值J对复值权重集Θ中的每一个复值权重w求导数

(9b)根据Adam优化算法和(9a)中求得的导数

更新复值权重w，得到更新后的复值权重集Θ^*；

(9c)根据更新后的复值权重集Θ^*重新计算复平均交叉熵损失函数值J；

(9d)不断重复(9a)至(9c)，直到J收敛，得到训练好的深度复值全卷积网络；

(10)将待分类极化SAR图像的特征矩阵F输入到训练好的深度复值全卷积神经网络，输出分类后的极化SAR图像。

2.根据权利要求1所述的方法，其特征在于，(1)中对相干矩阵归一化，其实现如下：

(1a)设待分类极化SAR图像大小为a×b，其中a和b分别表示图像的长和宽，该待分类极化SAR图像共包含C个分类类别，各类别号分别用{1,2,...,C}表示；

(1b)将待分类极化SAR图像中第i行第j列的像素点用3×3的极化相干矩阵T^(ij)表示：

其中，i＝1,2,...,a，j＝1,2,...,b，

为极化相干矩阵T^(ij)的第n行第m列的元素，n,m∈{1,2,3}；

(1c)计算极化相干矩阵T^(ij)中每个元素

的平均值

为：

其中，·代表乘积操作；

(1d)计算极化相干矩阵每个元素

的方差值为：

其中，

表示取共轭操作；

(1e)计算每个像素点处的相干矩阵T^(ij)中每个元素

的归一化值为：

(1f)计算每个像素点处的相干矩阵T^(ij)的归一化值为：

(1g)由每个像素点的极化相干矩阵T^(ij)得到的归一化值

得到待分类极化SAR图像的归一化相干矩阵

3.根据权利要求1所述的方法，其特征在于，(2)中用所有像素点的复值特征向量集合构成待分类极化SAR图像的特征矩阵F，表示如下：

F＝(I^(ij))_a×b,

其中，I^(ij)表示从归一化后的相干矩阵

中提取的每个像素点的复值特征向量，其由归一化相干矩阵

的上三角的6个复值元素构成，表示为：

其中，(.)^T表示转置操作。

4.根据权利要求1所述的方法，其特征在于，所述(6)中构造的深度复值全卷积神经网络模型，参数设置如下：

输入层，其输出的复特征映射图数目为6；

第一复卷积层，其输出的复特征映射图数目为12，复值滤波器大小为3×3，移动步幅为1，填充为1；

第一复最大池化层，其复最大池化窗口大小是2×2，移动步幅是2；

第二复卷积层，其输出的复特征映射图数目为24，复值滤波器大小为3×3，移动步幅为1，填充为1；

第二复最大池化层，其复最大池化窗口大小是2×2，移动步幅是2；

第三复卷积层，其输出的复特征映射图数目为48，复值滤波器大小为3×3，移动步幅为1，填充为1；

第三复最大池化层，其复最大池化窗口大小是2×2，移动步幅是2；

第四复卷积层，其输出的复特征映射图数目为96，复值滤波器大小为3×3，移动步幅为1，填充为1；

第四复最大池化层，其复最大池化窗口大小是2×2，移动步幅是2；

第五复卷积层，其输出的复特征映射图数目为192，复值滤波器大小为3×3，移动步幅为1，填充为1；

第五复最大池化层，其复最大池化窗口大小是2×2，移动步幅是2；

第六复卷积层，其输出的复特征映射图数目为192，复值滤波器大小为3×3，移动步幅为1，填充为1；

第一复最大上池化层，其复最大上池化窗口大小是2×2，移动步幅是2；

第七复卷积层，其输出的复特征映射图数目为96，复值滤波器大小为3×3，移动步幅为1，填充为1；

第二复最大上池化层，其复最大上池化窗口大小是2×2，移动步幅是2；

第八复卷积层，其输出的复特征映射图数目为48，复值滤波器大小为3×3，移动步幅为1，填充为1；

第三复最大上池化层，其复最大上池化窗口大小是2×2，移动步幅是2；

第九复卷积层，其输出的复特征映射图数目为24，复值滤波器大小为3×3，移动步幅为1，填充为1；

第四复最大上池化层，其复最大上池化窗口大小是2×2，移动步幅是2；

第十复卷积层，其输出的复特征映射图数目为12，复值滤波器大小为3×3，移动步幅为1，填充为1；

第五复最大上池化层，其复最大上池化窗口大小是2×2，移动步幅是2；

第十一复卷积层，其输出的复特征映射图数目为待分类极化SAR图像的分类类别数C，复值滤波器大小为3×3，移动步幅为1，填充为1；

复Softmax分类器输出层，其输出的复特征映射图数目为分类类别数C。

5.根据权利要求1所述的方法，其特征在于，(8)中利用训练集

和初始化后的深度复值全卷积网络构建深度复值全卷积神经网络的复平均交叉熵损失函数J，其实现如下：

(8a)将训练集的所有特征块{d_j}作为深度复值全卷积神经网络中复输入层的复特征映射图，并输出至第一复卷积层；

(8b)按照下式计算深度复值全卷积神经网络中第l个复卷积层的第n个输出复特征映射图数据

其中，M_l表示该层的输入复特征映射图个数，

表示该复卷积层的第m个输入复特征映射图数据，

为复卷积层中的复值卷积滤波器矩阵，该矩阵中的元素即复值权重集Θ中复值权重，*表示复卷积操作；

(8c)按照下式计算深度复值全卷积神经网络中的第l个复激活层的第n个输出复特征映射图数据Z_n ^l：

其中，Y_n ^l表示该复激活层的第n个输入复特征映射图数据，

是复值修正线性单元(ReLU)激活函数；

(8d)根据(8c)的结果，按照下式计算深度复值全卷积神经网络中第l个复最大池化层的第n个复输出特征映射图数据

中第x行第y列的数据

和第n个复特征映射图位置数据

中第x行第y列的位置数据

其中

表示取在ν,υ＝0,...,g范围中所有复值数据里幅度值最大对应的复值数据，

表示取在ν,υ＝0,...,g范围中所有复值数据里幅度值最大的复值数据对应的在

中的位置，s表示数据移动步幅，s＝2，g表示窗口尺寸，g＝2；

(8e)根据(8c)和(8d)的结果，按照下式计算深度复值全卷积神经网络中第l个复最大上池化层的第n个复输出特征映射图数据

中第x行第y列的数据：

其中，

表示向上取整操作，

表示深度复值全卷积神经网络中第(6-l)个复最大池化层的第n个复特征映射图位置数据，g表示窗口尺寸，g＝2；

(8f)根据(8b)和(8e)求第11个复卷积层的第n个输出复特征映射图数据

其中，C为待分类极化SAR图像的分类类别数,

为第11个复卷积层中的卷积滤波器矩阵；

(8g)根据(8f)结果，按照下式计算深度复值全卷积神经网络的复Softmax分类器输出层的第n个输出复特征映射图数据O_n：

其中g(.)表示复Softmax操作，

表示取实部操作，

表示取虚部操作，j为虚数单元；

(8h)根据训练集

的标记块{e_j}和(8g)计算的全部输出复特征映射图数据O，按照下式构造深度复值全卷积神经网络的复平均交叉熵损失函数：

其中，M为训练集

中的样本对个数。

Images