CN112435177B - 基于sru与残差网络的递归红外图像非均匀校正方法 - Google Patents

Abstract

本发明公开了一种基于SRU与残差网络的递归红外图像非均匀校正方法，将原始非均匀噪声图与原始非均匀噪声图进行通道数拼接，进行初步特征提取；其次，将初步特征提取结果经过简单递归单元(SRU)完成特征提取；经过多层残差块与卷积层处理，获得一阶段的红外图像非均匀校正结果；将所述一阶段的红外图像非均匀校正结果与原始非均匀噪声图进行通道数拼接，进行下一步特征提取，如此进行共N个阶段，获得最终的红外图像非均匀校正结果。本发明通过残差模块和简单递归单元共同作用，在以6个阶段作为递归的情况下，网络共享每个阶段的参数，大大降低了整体网络参数量，对大多数场景的红外图像都具有良好的非均匀性校正效果。

Description

基于SRU与残差网络的递归红外图像非均匀校正方法

技术领域

本发明属于红外图像处理领域，具体涉及一种基于SRU与残差网络的递归红外图像非均匀校正方法。

背景技术

红外焦平面阵列(Infrared Focus Plane Array，IRFPA)的不断进步提升了红外探测器的灵敏度、降低了制造成本和工作功耗，红外探测器的应用性和普及性得以大大提升；但是，由于半导体材料制作时达到均匀的掺杂浓度难度较大，IRFPA存在每个像素响应不均匀的问题所以传感器输出的红外图像会出现明暗不一的条纹状非均匀性噪声，这严重影响了实际应用中红外成像系统的图像质量。

现有的传统非均匀性校正方式基本分为两种。第一种是基于参考辐射源的非均匀性校正算法。典型的基于参考辐射源的校正方式主要有一点校正、两点校正和多点校正。虽然这一类方法计算过程简单、图像校正成果良好，但是每次重新工作时都需要再进行一次校正，可应用场景不够灵活。第二种为基于场景的非均匀性校正算法；基于场景的校正算法可通过待测场景的不断变化更新校正参数，基于场景的合理假设和变化的统计规律设计校正模型，因而不需要提前对辐射源进行定标，场景适应灵活，在基于场景的校正算法中应用的比较多的目前有基于时域高通滤波的校正算法，基于恒定统计的校正算法，基于神经网络的校正算法等。

随着深度学习不同模型和框架的广泛应用，随着卷积神经网络结构日渐复杂，大量对于图像的不同领域处理算法层出不穷，对于图像的特征提取能力也愈加强大。

发明内容

鉴于此，本发明的主要目的在于提供一种基于SRU与残差网络的递归红外图像非均匀校正方法。

为达到上述目的，本发明实施例的技术方案是这样实现的：

本发明实施例提供一种基于SRU与残差网络的递归红外图像非均匀校正方法，该方法为：首先，将原始非均匀噪声图与原始非均匀噪声图进行通道数拼接，进行初步特征提取；其次，将初步特征提取结果经过简单递归单元(SRU)完成特征提取；最后，经过多层残差块与卷积层处理，获得一阶段的红外图像非均匀校正结果；将所述一阶段的红外图像非均匀校正结果与原始非均匀噪声图进行通道数拼接，进行下一步特征提取，如此进行共N个阶段，获得最终的红外图像非均匀校正结果。

上述方案中，所述将原始非均匀噪声图与原始非均匀噪声图进行通道数拼接，进行初步特征提取，具体为：在神经网络中将原始非均匀噪声图与原始非均匀噪声图进行concat操作，并进行卷积特征提取与Relu非线性激活，其中，卷积层的卷积核为3×3×32，步长为1，设Conv+Relu对应的映射函数为g_in，x^t-1和y为原始非均匀噪声图，则该步骤的初步特征提取过程可由下式所示：

x^t-0.5＝g_in(x^t-1,y) (1)。

上述方案中，将初步特征提取结果经过简单递归单元(SRU)完成特征提取，具体为：将初步特征提取结果输入到简单递归单元中的轻度递归模块与高速网络的模块中，经过其中的参数矩阵与参数向量计算，得到SRU的图像特征提取结果，单层SRU的计算公式如式(2)～(5)所示：

f_t＝σ(W_fx_t+v_f⊙c_t-1+b_f) (2)

c_t＝f_t⊙c_t-1+(1-f_t)⊙(Wx_t) (3)

r_t＝σ(W_rx_t+v_r⊙c_t-1+b_r) (4)

h_t＝r_t⊙c_t+(1-r_t)⊙x_t (5)

式中，其中，W、W_f和W_r是参数矩阵，v_f、v_r、b_f和b_r是要在训练期间学习的参数向量，完整的体系结构分解为两部分，其中公式(2)和公式(3)表示轻度递归，公式(4)和公式(5)表示高速网络。h_t为SRU的图像特征提取结果。设SRU对应的映射函数为g_recurrent，则该步骤的特征提取过程可由式(6)表示：h^t＝g_recurrent(h^t-1,x^t-0.5) (6)。

上述方案中，所述经过多层残差块与卷积层处理，获得一阶段的红外图像非均匀校正结果，具体为：将SRU单元的特征提取结果经过5层Resblock，每层Resblock中有两层卷积层和两层Relu激活层，卷积核大小均为3×3×32，采用跳连接的形式进行特征提取，最后再经过一层卷积进行特征提取，得到一阶段的红外图像非均匀校正结果，设Resblocks对应的映射函数为g_res，最后一层conv对应的映射函数为g_out，则该步骤的特征提取过程可由式(7)表示：

x^t＝g_out(g_res(h^t)) (7)。

上述方案中，所述将所述一阶段的红外图像非均匀校正结果与原始非均匀噪声图进行通道数拼接，进行下一步特征提取，如此进行共N个阶段，获得最终的红外图像非均匀校正结果，具体为：将1阶段的红外图像非均匀校正结果与原始非均匀噪声图进行concat操作，经过卷积层进行特征提取与Relu非线性函数激活，进行第2阶段的进一步特征提取，共进行N个阶段，获得最终的红外图像非均匀校正结果，该过程可由式(8)表示：

x^t+0.5＝g_in(x^t,y) (8)

网络损失函数为：采用多尺度结构相似性(MS-SSIM)，反映两幅图像相似度，可保留更多图像高频信息，损失函数由式(9)所示：

L_MS-SSIM＝1-[MS-SSIM(V'(p),V(p))] (9)

式中，V'、V分别表示目标图像和估计图像，p表示计算误差时图中像素的空间位置。

与现有技术相比，本发明通过残差模块和简单递归单元共同作用，在以6个阶段作为递归的情况下，网络共享每个阶段的参数，大大降低了整体网络参数量，于一阶段大幅度去除了图像的非均匀性噪声，在后5个阶段中，逐渐去除剩余的微量非均匀性噪声，并减少图像高频信息的损失值，网络具有精度高、收敛速度快等特点，对大多数场景的红外图像都具有良好的非均匀性校正效果。

附图说明

图1为本发明实施例提供一种基于SRU与残差网络的递归红外图像非均匀校正方法的流程图；

图2为本发明实施例提供一种基于SRU与残差网络的递归红外图像非均匀校正方法的网络结构示意图；

图3为本发明实施例提供一种基于SRU与残差网络的递归红外图像非均匀校正方法的室内场景原噪声图(图3(a))与非均匀性校正结果图(图3(b))；

图4为本发明实施例提供一种基于SRU与残差网络的递归红外图像非均匀校正方法的公开数据集原噪声图(图4(a))与非均匀性校正结果图4(图(b))；

图5为本发明实施例提供一种基于SRU与残差网络的递归红外图像非均匀校正方法的真实噪声原图一(图5(a))与非均匀性校正结果图5(图(b))；

图6为本发明实施例提供一种基于SRU与残差网络的递归红外图像非均匀校正方法的真实噪声原图二(图6(a))与非均匀性校正结果图(图6(b))。

图7为本发明实施例提供一种基于SRU与残差网络的递归红外图像非均匀校正方法的真实噪声原图三(图7(a))与非均匀性校正结果图(图7(b))。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明实施例提供一种基于SRU与残差网络的递归红外图像非均匀校正方法，如图1、2所示，该方法具体通过以下步骤实现：

步骤101：利用网络对训练数据集进行图像深层特征提取，并不断学习，自动调整网络参数。

具体地，以构造的网络作为模型，在已有配对数据集上进行训练，通过正向传播提取图像多层次特征，通过反向传播实现迭代学习与调整参数，采用Adam优化器自动调整学习率。

步骤102：将原始非均匀噪声图与原始非均匀噪声图进行通道数拼接，进行初步特征提取。

具体地，将原始非均匀性噪声图输入到已训练好的网络模型中，将原始非均匀噪声图与原始非均匀噪声图进行concat操作，并进行卷积特征提取与Relu非线性激活，其中，卷积层的卷积核为3×3×32，步长为1。设Conv+Relu对应的映射函数为g_in，x^t-1和y为原始非均匀噪声图，则该步骤的初步特征提取过程可由下式所示：

x^t-0.5＝g_in(x^t-1,y) (1)

步骤103：将初步特征提取结果经过简单递归单元完成特征提取。

具体地，将初步特征提取结果输入到简单递归单元中的轻度递归模块与高速网络的模块中，经过其中的参数矩阵与参数向量计算，得到SRU的图像特征提取结果。单层SRU的计算公式如式(2)～(5)所示：

f_t＝σ(W_fx_t+v_f⊙c_t-1+b_f) (2)

c_t＝f_t⊙c_t-1+(1-f_t)⊙(Wx_t) (3)

r_t＝σ(W_rx_t+v_r⊙c_t-1+b_r) (4)

h_t＝r_t⊙c_t+(1-r_t)⊙x_t (5)

式中，其中，W、W_f和W_r是参数矩阵，v_f、v_r、b_f和b_r是要在训练期间学习的参数向量。完整的体系结构分解为两部分，其中公式(2)和公式(3)表示轻度递归，公式(4)和公式(5)表示高速网络。h_t为SRU的图像特征提取结果。设SRU对应的映射函数为g_recurrent，则该步骤的特征提取过程可由式(6)表示：

h^t＝g_recurrent(h^t-1,x^t-0.5) (6)

步骤104：SRU的图像特征提取结果经过多层残差块与卷积层处理，得到一阶段的红外图像非均匀校正结果。

具体地，将SRU单元的特征提取结果经过5层Resblock，每层Resblock中有两层卷积层和两层Relu激活层，卷积核大小均为3×3×32，采用跳连接的形式进行特征提取，最后再经过一层卷积进行特征提取，得到一阶段的红外图像非均匀校正结果。设Resblocks对应的映射函数为g_res，最后一层conv对应的映射函数为g_out，则该步骤的特征提取过程可由式(7)表示：

x^t＝g_out(g_res(h^t)) (7)

步骤105：以一阶段的红外图像非均匀校正结果与原始非均匀噪声图进行通道数拼接，进行下一步特征提取，如此进行共6个阶段，得到最终的红外图像非均匀校正结果。

具体地，将1阶段的红外图像非均匀校正结果与原始非均匀噪声图进行concat操作，经过卷积层进行特征提取与Relu非线性函数激活，进行第2阶段的进一步特征提取，共进行6个阶段，得到最终的红外图像非均匀校正结果。该过程可由式(8)表示：

x^t+0.5＝g_in(x^t,y) (8)。

如图3～7所示，从主观视觉角度观察评价，本方法的去噪效果较好且没有出现伪影，图像干净，基本完全滤除影响观测的条纹噪声。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (4)

1.一种基于SRU与残差网络的递归红外图像非均匀校正方法，其特征在于，该方法为：首先，将原始非均匀噪声图与原始非均匀噪声图进行通道数拼接，进行初步特征提取；其次，将初步特征提取结果经过简单递归单元SRU完成特征提取；最后，经过5层残差块Resblock处理，获得一阶段的红外图像非均匀校正结果，每层Resblock中有两层卷积层和两层Relu激活层；将所述一阶段的红外图像非均匀校正结果与原始非均匀噪声图进行通道数拼接，再进行特征提取，如此进行通道数拼接和特征提取共N个阶段，获得最终的红外图像非均匀校正结果；

所述将所述一阶段的红外图像非均匀校正结果与原始非均匀噪声图进行通道数拼接，进行下一步特征提取，如此进行共N个阶段，获得最终的红外图像非均匀校正结果，具体为：将1阶段的红外图像非均匀校正结果与原始非均匀噪声图进行concat操作，经过卷积层进行特征提取与Relu非线性函数激活，进行第2阶段的进一步特征提取，共进行N个阶段，获得最终的红外图像非均匀校正结果，该过程可由式(8)表示：

x^t+0.5＝g_in(x^t,y) (8)

网络损失函数为：采用多尺度结构相似性MS-SSIM，反映两幅图像相似度，可保留更多图像高频信息，损失函数由式(9)所示：

L_MS-SSIM＝1-[MS-SSIM(V'(p),V(p))] (9)

式中，V'、V分别表示目标图像和估计图像，p表示计算误差时图中像素的空间位置。

2.根据权利要求1所述的基于SRU与残差网络的递归红外图像非均匀校正方法，其特征在于，所述将原始非均匀噪声图与原始非均匀噪声图进行通道数拼接，进行初步特征提取，具体为：在神经网络中将原始非均匀噪声图与原始非均匀噪声图进行concat操作，并进行卷积特征提取与Relu非线性激活，其中，卷积层的卷积核为3×3×32，步长为1，设Conv+Relu对应的映射函数为g_in，x^t-1和y为原始非均匀噪声图，则该步骤的初步特征提取过程可由下式所示：

x^t-0.5＝g_in(x^t-1,y) (1)。

3.根据权利要求2所述的基于SRU与残差网络的递归红外图像非均匀校正方法，其特征在于，将初步特征提取结果经过简单递归单元SRU完成特征提取，具体为：将初步特征提取结果输入到简单递归单元中的轻度递归模块与高速网络的模块中，经过其中的参数矩阵与参数向量计算，得到SRU的图像特征提取结果，单层SRU的计算公式如式(2)～(5)所示：

f_t＝σ(W_fx_t+v_f☉c_t-1+b_f) (2)

c_t＝f_t☉c_t-1+(1-f_t)☉(Wx_t) (3)

r_t＝σ(W_rx_t+v_r☉c_t-1+b_r) (4)

h_t＝r_t⊙c_t+(1-r_t)☉x_t (5)

式中，其中，W、W_f和W_r是参数矩阵，v_f、v_r、b_f和b_r是要在训练期间学习的参数向量，完整的体系结构分解为两部分，其中公式(2)和公式(3)表示轻度递归，公式(4)和公式(5)表示高速网络，h_t为SRU的图像特征提取结果，设SRU对应的映射函数为g_recurrent，则该步骤的特征提取过程可由式(6)表示：h^t＝g_recurrent(h^t-1,x^t-0.5) (6)。

4.根据权利要求3所述的基于SRU与残差网络的递归红外图像非均匀校正方法，其特征在于，所述经过5层残差块Resblock处理，获得一阶段的红外图像非均匀校正结果，每层Resblock中有两层卷积层和两层Relu激活层，具体为：将SRU单元的特征提取结果经过5层Resblock，每层Resblock中有两层卷积层和两层Relu激活层，卷积核大小均为3×3×32，采用跳连接的形式进行特征提取，最后再经过一层卷积进行特征提取，得到一阶段的红外图像非均匀校正结果，设Resblocks对应的映射函数为g_res，最后一层conv对应的映射函数为g_out，则该步骤的特征提取过程可由式(7)表示：

x^t＝g_out(g_res(h^t)) (7)。