CN104616274A - 一种基于显著性区域提取的多聚焦图像融合算法 - Google Patents

Abstract

本发明涉及一种基于显著性区域提取的多聚焦图像融合算法，其包括以下步骤：1、利用GBVS算法得到两幅源图像的显著图；2、二值化显著图并分别计算其空间频率，得到空间频率图；3、利用分水岭算法检测空间频率图的微弱边缘，得到封闭区域并分类，通过比较不同区域的空间频率，找到其中的伪聚焦区域并将其滤除，剩余区域利用形态学方法得到聚焦区域；4、将源图像聚焦区域直接融合，离焦区域通过Shearlet变换分解得到其高频和低频子带系数，分别基于PCNN和拉普拉斯金字塔变换融合；5、重构融合系数，得到融合图像。本发明融合算法灰度级分布更加分散，图像纹理较丰富，细节突出。

Description

一种基于显著性区域提取的多聚焦图像融合算法

技术领域

本发明涉及一种图像处理技术领域的方法，具体涉及一种基于显著性区域提取的多聚焦图像融合算法。

背景技术

光学系统有限的聚焦范围难以清晰地呈现场景中的所有目标，摄取的图像一般由聚焦区域和离焦区域组成。为了获取清晰真实的场景，得到包含图像不同聚焦区域特征信息的全聚焦融合图像，研究者不断提出各类多聚焦图像融合算法。

根据人的视觉注意机制，区域之间有不同的显著性,注视焦点通常会落在显著性较高的区域。从视觉角度分析,聚焦区域属于特殊的显著性区域，在多聚焦图像中，聚焦区域对应于图像中最能吸引人们注意、最能表现图像内容的显著部分.显著性检测得到的显著图可以较好地区分前景和背景，尤其在不同深度物体的边缘处更加准确。通过显著图可以准确定位聚焦区域的边缘，实现聚焦区域与离焦区域的精确分离。

自底向上的显著图计算模型，根据图像的颜色、亮度、方向三个特征信息，得到对应的多尺度显著图。GBVS模型简化了Itti显著图计算模型，该模型计算得到的显著图可以在复杂的背景中精确捕获目标物体所在位置及目标物体的轮廓。但是由于显著区域分布与图像的局域对比度相关，所以若模糊区域包含了部分对比度比较高的区域，在显著性分析中也会被划分为显著区域，影响对聚焦区域的判别。考虑到聚焦区域往往是清晰区域，而空间频率是区域清晰度度量，对清晰区域敏感，其值与边缘细节信息相关，而与像素的灰度值之间没有直接关系，可以计算局域空间频率检测并滤除这部分伪聚焦区域。

发明内容

本发明所要解决的技术问题是：提供一种基于显著性区域提取的多聚焦图像融合算法，丰富图像的背景信息，最大限度地保护图像中的细节。

本发明的技术方案是：一种基于显著性区域提取的多聚焦图像融合算法，包括以下步骤：

(1)利用GBVS算法分别计算源图像A和B的显著性分布图G₁和G₂；

(2)二值化显著性分布图G₁和G₂，并分别计算其空间频率，得到空间频率图S₁和S₂；

其中，求取显著性分布图G₁和G₂的灰度均值T_as和T_bs做为二值化阈值；

(3)利用分水岭算法检测空间频率图S₁和S₂的微弱边缘，连接边缘得到封闭区域 其中，s＝1,2,…n，n为封闭区域个数，并将分类，比较不同区域的空间频率通过公式(1)找到其中的伪聚焦区域F_t,其中，t＝1,2,…p,p<n，并将其滤除；利用形态学方法，先腐蚀后膨胀合并剩余封闭区域，即聚焦区域，将源图像分为聚焦区域M₁、M₂和离焦区域U₁、U₂；

$F_t=\left\{\begin{array}{c}{D}_s^A,\mathrm{if}(D_s^A<D_s^B)\\ D_s^B,\mathrm{if}(D_s^A>D_s^B)\end{array}\right.---\left(1\right)$

(4)将源图像聚焦区域直接融合，离焦区域通过Shearlet变换分别进行三层分解，获得各自的一个低频子带：A^l、B^l和三层高频子带：A^m,k、B^m,k，m＝1,2,3，其中1-3层分别包含10，10，18个方向子带；分别基于脉冲耦合神经网络PCNN和拉普拉斯金字塔变换融合，具体为：

分别建立融合规则：

低频子带A^l、B^l利用拉普拉斯金字塔分解，得到分解系数通过公式(2)的比较取大法选择低频融合系数L_F,ij；

$L_{F,\mathrm{ij}}=\left\{\begin{array}{c}{A}_{\mathrm{lap}}^l,\mathrm{if}(A_{\mathrm{lap}}^l\&GreaterEqual;B_{\mathrm{lap}}^l)\\ B_{\mathrm{lap}}^l,\mathrm{if}(A_{\mathrm{lap}}^l<B_{\mathrm{lap}}^l)\end{array}\right.---\left(2\right)$

其中，i,j分别表示L_F,ij的行数和列数；

通过基于脉冲耦合神经网络的融合规则融合高频子带A^m,k、B^m,k的系数，具体步骤如下：

①将A^m,k、B^m,k分别输入到PCNN的两个输入端，利用公式(3)计算系数的对比敏感度因子CSF作为PCNN的外部激励；

CSF(f)＝2.6×(0.0192+0.114f)exp[-(0.114f)^1.1](3)

其中，是空间频率，f_x、f_y分别是水平和竖直方向的空间频率，

$f_x=\sqrt{\frac{1}{\mathrm{MN}}\underset{i=0}{\overset{M-1}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N-1}{\mathrm{\&Sigma;}}}{[f(i,j)-f(i,j-1)]}^2}---\left(4\right)$

$f_y=\sqrt{\frac{1}{\mathrm{MN}}\underset{i=1}{\overset{M-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{[f(i,j)-f(i-1,j)]}^2}---\left(5\right)$

其中，M为源图像行数，N为源图像列数；

②根据公式(6)比较得到各方向子带的融合系数：

$H_{F,\mathrm{ij}}^m=\left\{\begin{array}{c}{A}_{\mathrm{ij}}^{m,k},\mathrm{if\; CSF}\left(A_{\mathrm{ij}}^{m,k}\right)>\mathrm{CSF}\left(B_{\mathrm{ij}}^{m,k}\right)\\ B_{\mathrm{ij}}^{m,k},\mathrm{if\; CSF}\left(A_{\mathrm{ij}}^{m,k}\right)<\mathrm{CSF}\left(B_{\mathrm{ij}}^{m,k}\right)\end{array}\right.---\left(6\right)$

其中，m指第m层分解，k指第k个方向子带；是A^m,k、B^m,k在(i,j)点的系数，A^m,k、B^m,k是高频子带。

③利用Shearlet反变换重构L_F,ij和得到融合系数F；

其中，i,j分别表示和的行数和列数；

(5)重构融合系数F，得到融合图像。

本发明与现有技术相比的优点在于：

本发明首先利用人眼视觉机制，通过GBVS算法在源图像中搜索聚焦区域，得到包含源图像边缘信息的显著图，再利用空间频率分布和分水岭算法去除显著图中的伪聚焦区域，精确定位聚焦区域，聚焦区域的像素直接融合，剩余区域通过shearlet变换分解为高频和低频系数，通过PCNN和拉普拉斯金字塔分别选择融合系数，最后重构获得融合图像。本方法所生成的融合图像具有较大的局部梯度，灰度级分布更加分散，图像纹理较丰富，细节突出。

附图说明

图1为聚焦区域提取流程图。

图2为本发明融合算法结构图。

图3为融合结果比较示意图。

具体实施方式

下面结合附图对本发明做进一步的详细描述。

聚焦区域提取流程如图1所示。

如图2所示，一种基于显著性区域提取的多聚焦图像融合算法，包括以下步骤：

(1)利用GBVS算法分别计算源图像A和B的显著性分布图G₁和G₂；

(2)二值化显著性分布图G₁和G₂，并分别计算其空间频率，得到空间频率图S₁和S₂；其中，求取显著性分布图G₁和G₂的灰度均值T_as和T_bs做为二值化阈值；

(3)利用分水岭算法检测空间频率图S₁和S₂的微弱边缘，连接边缘得到封闭区域 其中，s＝1,2,…n，n为封闭区域个数，并将分类，比较不同区域的空间频率通过公式(1)找到其中的伪聚焦区域F_t,其中，t＝1,2,…p,p<n，并将其滤除；利用形态学方法，先腐蚀后膨胀合并剩余封闭区域，即聚焦区域，将源图像分为聚焦区域M₁、M₂和离焦区域U₁、U₂；

$F_t=\left\{\begin{array}{c}{D}_s^A,\mathrm{if}(D_s^A<D_s^B)\\ D_s^B,\mathrm{if}(D_s^A>D_s^B)\end{array}\right.---\left(1\right)$

(4)将源图像聚焦区域直接融合，离焦区域通过Shearlet变换分别进行三层分解，获得各自的一个低频子带：A^l、B^l和三层高频子带：A^m,k、B^m,k，m＝1,2,3，其中1-3层分别包含10，10，18个方向子带；分别基于脉冲耦合神经网络PCNN和拉普拉斯金字塔变换融合，具体为：

分别建立融合规则：

低频子带A^l、B^l利用拉普拉斯金字塔分解，得到分解系数通过公式(2)的比较取大法选择低频融合系数L_F,ij；

$L_{F,\mathrm{ij}}=\left\{\begin{array}{c}{A}_{\mathrm{lap}}^l,\mathrm{if}(A_{\mathrm{lap}}^l\&GreaterEqual;B_{\mathrm{lap}}^l)\\ B_{\mathrm{lap}}^l,\mathrm{if}(A_{\mathrm{lap}}^l<B_{\mathrm{lap}}^l)\end{array}\right.---\left(2\right)$

其中，i,j分别表示L_F,ij的行数和列数；

通过基于脉冲耦合神经网络的融合规则融合高频子带A^m,k、B^m,k的系数，具体步骤如下：

①将A^m,k、B^m,k分别输入到PCNN的两个输入端，利用公式(3)计算系数的对比敏感度因子CSF作为PCNN的外部激励；

CSF(f)＝2.6×(0.0192+0.114f)exp[-(0.114f)^1.1](3)

其中，是空间频率，f_x、f_y分别是水平和竖直方向的空间频率，

$f_x=\sqrt{\frac{1}{\mathrm{MN}}\underset{i=0}{\overset{M-1}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N-1}{\mathrm{\&Sigma;}}}{[f(i,j)-f(i,j-1)]}^2}---\left(4\right)$

$f_y=\sqrt{\frac{1}{\mathrm{MN}}\underset{i=1}{\overset{M-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{[f(i,j)-f(i-1,j)]}^2}---\left(5\right)$

其中，M为源图像行数，N为源图像列数；

②根据公式(6)比较得到各方向子带的融合系数：

$H_{F,\mathrm{ij}}^m=\left\{\begin{array}{c}{A}_{\mathrm{ij}}^{m,k},\mathrm{if\; CSF}\left(A_{\mathrm{ij}}^{m,k}\right)>\mathrm{CSF}\left(B_{\mathrm{ij}}^{m,k}\right)\\ B_{\mathrm{ij}}^{m,k},\mathrm{if\; CSF}\left(A_{\mathrm{ij}}^{m,k}\right)<\mathrm{CSF}\left(B_{\mathrm{ij}}^{m,k}\right)\end{array}\right.---\left(6\right)$

其中，m指第m层分解，k指第k个方向子带；是_A^m,k、B^m,k在(i,j)点的系数，A^m,k、B^m,k是高频子带，由步骤(2)得到。

③利用Shearlet反变换重构L_F,ij和得到融合系数F；

其中，i,j分别表示和的行数和列数；

(5)重构融合系数F，得到融合图像。

如图3所示的本发明方法与其它几种融合方法的效果比较图。(a)为左聚焦图，(b)为(a)的显著图，(c)为右聚焦图，(d)为(c)的显著图，图3(e)-(j)分别为利用基于拉普拉斯金字塔变换(Laplacian)、离散小波变换(DWT)、平稳离散小波变换(SIDWT)、FSDpyramid、梯度信息(gradient)和本发明方法进行融合的效果图，通过效果比较可以看到，利用本发明方法进行融合不仅有效地丰富了图像的背景信息，而且最大限度地保护了图像中的细节，符合人眼视觉特性。

在表1所示的客观评价指标表中，通过相关系数(MI)，边缘梯度信息(Q^AB/F)衡量不同融合方法获得的融合图像质量，相关系数，边缘梯度信息越大，说明融合图像中特征信息越丰富，与源图像越接近，融合效果越好。由表1中数据可以看到，本发明方法指标和其他方法相比都有明显改善，显示本方法所生成的融合图像具有较大的局部梯度，灰度级分布更加分散，图像纹理较丰富，细节突出。

表1

Claims (1)

1.一种基于显著性区域提取的多聚焦图像融合算法，其特征在于，包括以下步骤：

(1)利用GBVS算法分别计算源图像A和B的显著性分布图G₁和G₂；

(2)二值化显著性分布图G₁和G₂，并分别计算其空间频率，得到空间频率图S₁和S₂；其中，求取显著性分布图G₁和G₂的灰度均值T_as和T_bs做为二值化阈值；

(3)利用分水岭算法检测空间频率图S₁和S₂的微弱边缘，连接边缘得到封闭区域 其中，s＝1,2,…n，n为封闭区域个数，并将分类，比较不同区域的空间频率通过公式(1)找到其中的伪聚焦区域F_t,其中，t＝1,2,…p,p<n，并将其滤除；利用形态学方法，先腐蚀后膨胀合并剩余封闭区域，即聚焦区域，将源图像分为聚焦区域M₁、M₂和离焦区域U₁、U₂；

$F_t=\left\{\begin{array}{ccc}{D}_s^A,& \mathrm{if}& (D_s^A<D_s^B)\\ D_s^B,& \mathrm{if}& (D_s^A>D_s^B)\end{array}\right.---\left(1\right)$

(4)将源图像聚焦区域直接融合，离焦区域通过Shearlet变换分别进行三层分解，获得各自的一个低频子带：A^l、B^l和三层高频子带：A^m,k、B^m,k，m＝1,2,3，其中1-3层分别包含10，10，18个方向子带；分别基于脉冲耦合神经网络PCNN和拉普拉斯金字塔变换融合，具体为：

分别建立融合规则：

低频子带A^l、B^l利用拉普拉斯金字塔分解，得到分解系数通过公式(2)的比较取大法选择低频融合系数L_F,ij；

$L_{F,\mathrm{ij}}=\left\{\begin{array}{ccc}{A}_{\mathrm{lap}}^l,& \mathrm{if}& (A_{\mathrm{lap}}^l\&GreaterEqual;B_{\mathrm{lap}}^l)\\ B_{\mathrm{lap}}^l,& \mathrm{if}& (A_{\mathrm{lpa}}^l<B_{\mathrm{lap}}^l)\end{array}\right.---\left(2\right)$

其中，i,j分别表示L_F,ij的行数和列数；

通过基于脉冲耦合神经网络的融合规则融合高频子带A^m,k、B^m,k的系数，具体步骤如下：

①将A^m,k、B^m,k分别输入到PCNN的两个输入端，利用公式(3)计算系数的对比敏感度因子CSF作为PCNN的外部激励；

CSF(f)＝2.6×(0.0192+0.114f)exp[-(0.114f)^1.1]   (3)

其中，是空间频率，f_x、f_y分别是水平和竖直方向的空间频率，

$f_x=\sqrt{\frac{1}{\mathrm{MN}}\underset{i=0}{\overset{M-1}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N-1}{\mathrm{\&Sigma;}}}{[f(i,j)-f(i,j-1)]}^2}---\left(4\right)$

$f_y=\sqrt{\frac{1}{\mathrm{MN}}\underset{i=1}{\overset{M-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{[f(i,j)-f(i-1,j)]}^2}---\left(5\right)$

其中，M为源图像行数，N为源图像列数；

②根据公式(6)比较得到各方向子带的融合系数：

$H_{F,\mathrm{ij}}^m=\left\{\begin{array}{ccc}{A}_{\mathrm{ij}}^{m,k},& \mathrm{if}& \mathrm{CSF}\left(A_{\mathrm{ij}}^{m,k}\right)>\mathrm{CSF}\left(B_{\mathrm{ij}}^{m,k}\right)\\ B_{\mathrm{ij}}^{m,k},& \mathrm{if}& \mathrm{CSF}\left(A_{\mathrm{ij}}^{m,k}\right)<\mathrm{CSF}\left(B_{\mathrm{ij}}^{m,k}\right)\end{array}\right.---\left(6\right)$

其中，m指第m层分解，k指第k个方向子带,是高频子带A^m,k，B^m,k在(i,j)点的系数；

③利用Shearlet反变换重构L_F,ij和得到融合系数F；

其中，i,j分别表示和的行数和列数；

(5)重构融合系数F，得到融合图像。