CN101540045B - 基于同步正交匹配追踪的多源图像融合方法 - Google Patents

Abstract

本发明公开了一种基于同步正交匹配追踪的多源图像融合方法。它包括以下步骤：通过一固定尺寸大小的滑动窗口将源图像逐像素交叠的采样为大小相同的图像块，并将每一个图像块按列展开为列向量；通过同步正交匹配追踪算法求解每个对应向量在过完备原子库上的稀疏表示系数；利用绝对值最大法融合对应的系数；根据过完备原子库将融合的稀疏表示系数逆变换为对应向量的融合结果向量；将全部融合结果向量还原为图像块再重构得到融合图像。本发明充分考虑了图像的内在稀疏特性，采用稀疏表示的方法能够更有效地表达各源图像的有用信息，获得了较好的融合效果，对于各种应用系统的后续处理和图像显示具有重要意义和实用价值。

Description

基于同步正交匹配追踪的多源图像融合方法

技术领域

本方法涉及一种图像融合方法，特别涉及一种基于同步正交匹配追踪的多源图像融合方法。

背景技术

图像融合技术是多传感器信息融合中可视信息的融合。它利用各种成像传感器不同的成像方式，为不同的图像提供互补信息，增加图像信息量，减少原始图像数据量，提高对环境的适应性，以获得更可靠、更准确的有用信息供观察或进一步处理。它是一门综合了传感器、信号处理、图像处理和人工智能等的新兴技术。近年来，图像融合已成为一种十分重要和有用的图像分析与计算机视觉技术，在自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域有着广泛的应用前景。

目前具有代表性的图像融合方法是基于多尺度变换的方法。多尺度图像融合的过程是：首先将配准后的图像进行多尺度分解，分解方法包括拉普拉斯变换、方向金字塔变换、梯度金字塔变换、离散小波变换、双树复小波变换等；分解后图像的每一层看作图像在这一尺度或波段的特征，根据这些特征的能量(活性)测度对变换系数进行选择或加权平均，以达到融合的目的。图像多尺度分解是将信号分解为一组正交基函数的线性组合，然而，图像是一种复杂信号，用一组正交基不能够达到对图像最优的表示。

发明内容

为了解决现有图像融合中存在的上述技术问题，本发明提供一种基于同步正交匹配追踪的多源图像融合方法。本发明将稀疏表示理论引入图像融合技术，可提高融合后的图像质量，达到比较理想的融合效果。

本发明解决上述技术问题的技术方案包括以下步骤：

a)选取一固定大小的滑动窗口，依照从上至下、从左到右的顺序逐像素的对每一幅源图像进行交叠采样，将所有待融合的源图像采样为大小相同的图像块，并以列优先的方式将每一个图像块按列展开为向量；

b)采用变换基混合构造过完备原子库；

c)计算步聚a中同一位置各图像块对应向量在过完备原子库上的稀疏表示系数；

d)选择绝对值最大的稀疏表示系数作为融合的稀疏表示系数，将其还原为图像块，得到融合的图像块；

e)重复步骤c、d，直到得到每一位置的融合图像块，将融合图像块按照交叠采样的顺序放回图像的相应位置，图像块相交的部分像素值相加，再将每个叠加所得像素值除以其叠加次数即得融合图像。

本发明的技术效果在于：本发明采用了同步正交匹配追踪的稀疏表示求解算法将不同源图像分解到对应的稀疏表示过完备原子库上，使得我们能够利用常规的选择活跃度最大的融合规则完成图像融合。另外，本发明还引入了滑动窗口的融合策略，使得本方法具有移不变的特性，在源图像没有完全配准的情况下仍能得到非常好的融合效果。与传统的多分辨率方法相比，其具有更加稀疏的信号表示形式，更加符合人的视觉特性。因此，本发明提出的方法优于传统的图像融合方法，实验结果也证明了这一点。

下面结合附图对本发明作进一步描述。

附图说明

图1为本发明的流程图。

图2为本发明中多种变换基混合的过完备字典。

图3为仿真实验源图像，其中，图3(a)为颅腔计算机断层扫描图像(CT)，图3(b)为颅腔磁共振图像(MRI)。

图4各种融合方法所得融合图像，其中(a)-(e)分别是基于离散小波变换(DWT)、双树复小波变换(DTCWT)、静态小波变换(SWT)、曲波变换(CVT)和非下采样轮廓波变换(NSCT)方法所得融合图像，(f)为本发明方法所得融合图像。

具体实施方式

参见图1，图1为本发明的流程图。设J幅已配准的待融合源图像分别为I₁，I₂，…，I_J，其具体步骤如下：

1.源图像分块并向量化

将所有待融合源图像转化为一定大小的列向量的集合以满足稀疏表示计算需要。

首先采用一个大小为8×8的正方形滑动窗口，依照从上至下、从左到右的顺序逐像素的对待融合源图像进行交叠采样，将每幅源图像采样为若干个大小为8×8的图像块。再以列优先的方式将每个图像块按列展开成长度为64的列向量。对全部的J幅待融合源图像进行上述分块并向量化的过程。这样在第i个图像块处，得到J个对应列向量{p_i ^j}_j＝1 ^J，p_i ^j表示第j幅图像的第i个图像块向量化所得的列向量。

2.稀疏表示过完备原子库构建

本发明采用多种变换基混合来构造过完备原子库，所构造的过完备原子库包含四个部分：

1)与8×8图像块对应的标准离散余弦变换基，有64个64×1的列向量。

2)与8×8图像块对应的Haar小波变换基，有64个64×1的列向量。

3)与8×8图像块对应的ridgelet换基，有4个尺度，每个尺度上16个方向。一共有64个64×1的列向量。

4)与8×8图像块对应的Gabor基，有4个尺度，每个尺度上16个方向。一共有64个64×1的列向量。

将上述的四个部分的列向量组合成一个64×256矩阵，这个矩阵即稀疏表示过完备原子库D，D中的每一列称为一个原子。

3.采用同步正交匹配追踪算法求解步骤1所得源图像间全部对应列向量的稀疏表示系数

第i个图像块处，J个对应列向量{p_i ^j}_j＝1 ^J在D上的稀疏表示系数

通过采用同步正交匹配追踪算法依次求解式(1)得到。

${\hat{s}}_i^j=\underset{s}{\arg }\min {\left|\right|s_i^j\left|\right|}_0$ (1)

s.t. $D{s}_i^j=p_i^j$ 或 $\left|\right|{\mathrm{Ds}}_i^j-p_i^j\left|\right|<\mathrm{\&epsiv;},j=\mathrm{1,2},...J$

其中，||s_i ^j||0表示向量s_i ^j中非零元素个数；

为向量p_i ^j基于过完备字典D的稀疏表示系数；ε为误差常数，它将稀疏表示的解的精度控制在一定的范围内，其取值为0.01。

同步正交匹配追踪算法的具体实施步骤为：

初始化：计数器l＝1；r_j，l表示p_i ^j经过l次迭代后所得残差，其中 $r_{j,0}=p_i^j;$ 稀疏表示系数s_j＝0，s_j∈R²⁵⁶，j∈{1，2，…，J}。

重复下面迭代过程直至收敛，即||r_j，l||₂＜ε对所有j成立。

1)计算字典内每个原子d_i与J个残差r_j，l-1，j∈{1，2，…，J}的内积绝对值之和，选择和值最大的原子

记录其标号

到原子标号子集，具体计算如(2)所示。

${\hat{t}}_l=\arg \underset{t=\mathrm{1,2},...,256}{\max }\underset{j=1}{\overset{j}{\mathrm{\&Sigma;}}}|<r_{j,l-1},d_t>|---\left(2\right)$

2)根据原子标号集中标注的原子对稀疏表示系数和残差进行更新。稀疏表示系数按(3)式更新，残差按(4)式更新。

$s_j^{{\hat{t}}_l}=<r_{j,l},d_{{\hat{t}}_l}>,---\left(3\right)$

$r_{j,l+1}=p_i^j-P_{\mathrm{span}\{d_{{\hat{t}}_1},d_{{\hat{t}}_2},...,d_{{\hat{t}}_l}\}}{p}_i^j---\left(4\right)$

表示p_i ^j在由

张成的子空间中的投影分量。

3)计数器累加

l＝l+1。    (5)

即为第i个图像块处对应列向量的稀疏表示系数，以此类推，可得每个图像块处J个对应向量的稀疏表示系数向量。

4.融合每个图像块处的J个稀疏表示系数并将其还原为J个对应向量的融合结果向量p_i ^F

采用绝对值最大法对上一步所得的第i个图像块处J个对应向量的稀疏表示系数

进行融合，得融合的稀疏表示系数

具体计算见式(6)。然后根据融合的稀疏表示系数

确定待融合源图像间对应列向量{p_i ^j}_j＝1 ^J的融合结果向量，即根据式(7)将融合的稀疏表示系数

左乘稀疏表示过完备原子库得到融合结果向量p_i ^F。

${\hat{s}}_i^F\left(k\right)={\hat{s}}_i^{j^{*}}\left(k\right),$ $j^{*}=\arg \underset{j}{\max }\left(\right|{\hat{s}}_i^j\left(k\right)\left|\right)---\left(6\right)$

$p_i^F=D{\hat{s}}_i^F---\left(7\right)$

其中

是向量

的第k个元素值，k＝1，2，…，256。

将源图像间每个图像块处对应列向量的稀疏表示系数向量按照式(6)、(7)进行融合得到全部的融合结果向量。

5.图像重构

将步骤4所得融合结果向量以列优先方式还原为8×8图像块，即相应的融合图像块。将融合的图像块按照交叠采样的顺序从上至下、从左到右依次放回图像的相应位置，图像块相交的部分像素值相加，再将每个叠加所得像素值除以其叠加次数即得融合图像I_F。

对本发明方法进行了仿真实验，具体的仿真条件如下：

以颅腔计算机断层扫描图像(CT)和磁共振图像(MRI)为例进行说明，其融合源图像如图3所示。本发明提出的方法与基于下列变换的图像融合方法进行了比较：DWT、DTCWT、SWT、CVT、NSCT。对待融合图像进行三层分解，采用绝对值最大法融合分解系数，在基于DWT及基于SWT变换的融合方法中选用’db6’小波基。所有实验都是在MATLAB6.5软件上运行。

实验结果如下：

图像融合结果如图4所示，其中，(a)-(e)分别是基于DWT、DTCWT、SWT、CVT和NSCT的融合图像，(f)为多种变换基混合的过完备字典的融合图像，用SR表示。

图像融合结果性能评价在表1中列出，最好的结果已用粗体标出。从表1可知本发明所提出的方法明显优于其它六种，所有的客观评价结果都是最好的。表1中所采用的评价标准有：互信息(MI)是各源图像与融合图像的互信息之和，其值越大表示融合结果越好；Q^AB/F用于评价将源图像梯度信息转换到融合图像中的算法性能，其值越接近1表示融合结果越好，Q^AB/F＝1时为理想融合结果；Q_W、Q_E和Q₀是评价融合图像中视觉信息的标准，其值越大表示融合结果越好。

表1图像融合结果性能评价

Claims (3)

1.一种基于同步正交匹配追踪的多源图像融合方法，包括以下步骤：

a)选取一固定大小的滑动窗口，依照从上至下、从左到右的顺序逐像素的对每一幅源图像进行交叠采样，将所有待融合的源图像采样为大小相同的图像块，并以列优先的方式将每一个图像块展开为列向量；

b)采用变换基混合构造过完备原子库；

c)计算步聚a中同一位置各图像块对应向量在过完备原子库上的稀疏表示系数；

d)选择绝对值最大的稀疏表示系数作为融合的稀疏表示系数，将其还原为图像块，得到融合的图像块；

e)重复步骤c、d，获得到每一位置的融合图像块，将融合图像块按照交叠采样的顺序放回图像的相应位置，图像块相交的部分像素值相加，再将每个叠加所得像素值除以其叠加次数即得融合图像。

2.根据权利要求1所述的基于同步正交匹配追踪的多源图像融合方法，所述构造过完备原子库的步骤如下：

1)与8×8图像块对应的标准离散余弦变换基，有64个64×1的列向量；

2)与8×8图像块对应的Haar小波变换基，有64个64×1的列向量；

3)与8×8图像块对应的ridgelet换基，有4个尺度，每个尺度上16个方向，一共有64个64×1的列向量；

4)与8×8图像块对应的Gabor基，有4个尺度，每个尺度上16个方向，一共有64个64×1的列向量；

将上述的四个部分的列向量组合成一个64×256矩阵，这个矩阵即稀疏表示过完备原子库。

3.根据权利要求1所述的基于同步正交匹配追踪的多源图像融合方法，所述步骤c中稀疏表示系数计算公式为：

${\hat{s}}_i^j=\underset{s}{\arg }\min {\left|\right|s_i^j\left|\right|}_0$

$s.t.{\mathrm{Ds}}_i^j=p_i^j$ 或 $\left|\right|{\mathrm{Ds}}_i^j-p_i^j\left|\right|<\mathrm{\&epsiv;},j=\mathrm{1,2},...J$

表示向量

中非零元素个数，

为向量

基于过完备字典D的稀疏表示系数；

其具体计算步骤为：

初始化：计数器l＝1；r_j，l表示

经过l次迭代后所得残差，其中

稀疏表示系数s_j＝0，s_j∈R²⁵⁶，j∈{1，2，...，J}；

1)计算字典内每个原子d_t与J个残差r_j，l-1，j∈{1，2，...，J}的内积绝对值之和，选择和值最大的原子

记录其标号

到原子标号子集，计算如下

${\hat{t}}_l=\arg \underset{t=\mathrm{1,2},...,256}{\max }\underset{j=1}{\overset{J}{\mathrm{\&Sigma;}}}|<r_{j,l-1},d_t>|$

2)根据原子标号集中标注的原子对稀疏表示系数和残差进行更新，稀疏表示系数按式残差按

计算，

表示

在由

张成的子空间中的投影分量；

3)计数器累加l＝l+1；

重复步骤1)、2)、3)直至收敛，即||r_j，l||₂＜ε对所有j成立。

Images