CN105023253A - 基于视觉底层特征的图像增强方法 - Google Patents

Abstract

本发明涉及一种基于视觉底层特征的图像增强方法,步骤是：1.提取图像的视觉底层特征；2.加权融合成计算显著图；3.与眼动仪测得的眼动显著图进行相关系数比较，以确定各视觉底层特征的最佳权重；4.根据权重的大小为不同类型的图像选择合适的图像增强方法。本发明与现有图像增强方法比较有以下优点：本发明首次将基于人眼注视点的眼动显著图融合进传统的图像增强方法，提出了一种优化的基于视觉底层特征的Itti视觉注意模型来提取出图像的计算特征显著图，改善了彩色图像在数字显示设备上再现时的视觉质量，针对不同图像类型，凸显了图像中的重要信息，削弱次要信息，使得最终的图像增强效果更加符合人眼视觉感知，在图像增强中发挥应用价值。

Description

基于视觉底层特征的图像增强方法

技术领域

本发明涉及一种数字图像处理方法，尤其是一种基于视觉底层特征的图像增强方法。

背景技术

在现实生活中,数字图像会因各种原因造成在显示设备上出现失真的情况。为了避免这一弊端，图像增强技术成为数字图像处理的研究重点之一。根据研究表明，复杂的人眼视觉系统在处理图像时是优先处理那些最吸引人眼视觉注意的区域(人眼视觉感兴趣区域)，而不是对图像的全局信息进行分析。

众所周知，传统图像增强的方法都是基于全局信息进行分析和处理，这不符合人眼视觉系统的特性，不仅造成了许多对次要信息处理分析上的计算浪费，降低了图像处理的效率，而且其最终的图像增强效果并不符合人眼视觉的感知。因此，为了克服传统图像增强方法带来的弊端，一种新型的基于人眼视觉感知的彩色图像增强方法成为了研究的热点。这种方法是综合考虑了人眼视觉特性和大量心里物理学的实验结论。

发明内容

本发明的目的是提出一种基于视觉底层特征的图像增强方法，使其最终的图像增强效果更符合人眼视觉感知。

为了实现上述目的，本发明采用的技术方案如下：

一种基于视觉底层特征的图像增强方法,该方法具有以下步骤：

(1)提取图像的视觉底层特征，包括颜色、亮度、方向、纹理和边缘特征；

(2)加权融合成计算显著图；

(3)与眼动仪测得的眼动显著图进行相关系数比较，以确定各视觉底层特征的最佳权重；

(4)根据权重的大小为不同类型的图像选择合适的图像增强方法。

所述步骤(1)进一步包括如下具体步骤:

(1.1)在HSV颜色空间中提取出亮度特征，将源图像转化成只有亮度信息的灰度图，最后把图像像素值重新归一化到[0，255]的范围；

(1.2)在符合人眼视觉感知的HSV颜色空间下提取颜色特征，提取完颜色特征后，将像素值重新归一化到[0，255]的范围；

(1.3)用Gabor变换来提取图像的方向特征；

(1.4)采用Gabor滤波器组提取纹理特征：首先利用Gabor滤波器组提取出图像的5个尺度、4个方向上的纹理特征，然后对这20幅纹理特征图进行归一化处理，最后把所有图像按相同权重叠加在一起，形成最后的纹理显著图；

(1.5)边缘特征最典型的提取方式是利用二阶微分的拉普拉斯算子，在HSV空间中提取图像的灰度边缘特征。

所述步骤(2)进一步包括如下具体步骤:

(2.1)采用高斯函数分别对输入图像的颜色、亮度、方向、纹理和边缘进行6个尺度的滤波；

(2.2)利用差值操作和拉普拉斯算子提取不同尺度下的图像视觉特征；

(2.3)分别进行中央周边差计算，将差值图像归一化求和，得到该特征的显著图；

(2.4)针对得到的5幅特征显著图进行权重配置，并保证5个视觉底层特征的权重值相加等于1；将5幅特征显著图进行叠加，形成1幅多特征组合后的显著图。

所述步骤(3)所采用的算法公式如下:

$\mathrm{\ρ}=\frac{{\mathrm{\Σ}}_x\left(H\right(x)-{\mathrm{\μ}}_H)\·\left(S\right(x)-{\mathrm{\μ}}_s)}{\sqrt{{\mathrm{\Σ}}_x{\left(H\right(x)-{\mathrm{\μ}}_H)}^2.{\mathrm{\Σ}}_x{\left(S\right(x)-{\mathrm{\μ}}_S)}^2}}$

式中，x代表图像中的像素，H(x)、S(x)分别是眼动显著图和计算显著图中当前像素的显著值，μ_H、μ_S分别表示两幅显著图中所有像素的平均显著值，ρ的取值范围是[-1,1]，当ρ＝1代表两幅显著图完全相关，ρ＝0代表两幅显著图完全不相关，ρ＝-1代表两幅图反相关，即一幅显著图中的显著区域在另一幅显著图中完全不显著。

所述步骤(4)进一步包括如下具体步骤:

(4.1)针对亮度特征占第1权重的图像，采用基于人眼显著图的优化直方图均衡化方法；

(4.2)针对颜色特征占第1权重的图像，则采取增强视觉感兴趣区域内的颜色饱和度和对比度的图像增强方法；

(4.3)针对纹理特征占第1权重的图像，这里采用小波变换的方法，对视觉感兴趣区域进行去噪增强，凸显出纹理部分的细节。

所述步骤(1.2)中采用的算法公式如下:

$f_c(x,y)=\frac{1}{(s_c+\exp (-\frac{saturation(x,y)}{{\mathrm{saturation}}_{a\mathrm{\ν}e}}\left)\right)\·(b_c+\exp (-\frac{brightness(x,y)}{{\mathrm{brightness}}_{a\mathrm{\ν}e}}\left)\right)}$

其中，saturation(x,y)和brightness(x,y)分别是指像素点(x,y)的饱和度和亮度值，saturation_ave和brightness_ave则表示整幅图像的饱和度和亮度的平均值，s_c和b_c是常量都取0.5。

所述步骤(1.3)所采用的算法公式如下:

$O=\exp (-\frac{x^2+y^2}{2{\mathrm{\σ}}^2})\·cos(w\·x\·cos(\mathrm{\θ})+w\·y\·sin(\mathrm{\θ})+\frac{\mathrm{\π}}{2})$

其中，w是常数，θ为滤波器的方向θ＝nπ/k(n＝0，1…k-1)，k是指Gabor滤波器的方向个数；用Gabor函数来提取图像的方向特征，其滤波器的方向设定为然后将4幅特征图按照相同权重叠加形成最终的方向显著图(O)。

所述步骤(1.4)所采用的算法公式如下:

$g(x,y)=\frac{k}{{\mathrm{\σ}}^2}\exp (-\frac{k^2(x^2+y^2)}{2{\mathrm{\σ}}^2})\exp \left(k\right(xcos\mathrm{\θ}+ysin\mathrm{\θ}\left)\right)$

其中，n是指尺度，θ是指方向。

所述步骤(2.4)所采用的算法公式如下:

S＝w₁C+w₂I+w₃O+w₄T+w₅E

式中，w₁、w₂、w₃、w₄、w₅分别是各视觉底层特征指标对应的权重值，相加为1；C、I、O、T、E分别表示颜色、亮度、方向、纹理和边缘特征的显著图；最后将S图像即计算显著图归一化到[0,255],并处理成二值图像。

本发明的有益效果是：

本发明与现有图像增强方法比较有以下优点：本发明首次将基于人眼注视点的眼动显著图融合进传统的图像增强方法，提出了一种优化的基于视觉底层特征的Itti视觉注意模型来提取出图像的计算特征显著图，改善了彩色图像在数字显示设备上再现时的视觉质量，针对不同图像类型，凸显了图像中的重要信息，削弱次要信息，使得最终的图像增强效果更加符合人眼视觉感知，在图像增强中发挥应用价值。

附图说明

图1是基于视觉底层特征的显著图计算模型整体流程图；

图2是两种显著图的最终效果图；

图3是最佳权重分析结果表；

图4是基于视觉感兴趣区域的直方图均衡化原理图；

图5是亮度特征图像增强方法对比图；

图6是颜色和亮度特征分步进行图像增强方法对比图；

图7是纹理和亮度特征分步进行图像增强方法对比图。

具体实施方法

以下结合附图对本发明所涉及的一种基于视觉底层特征的图像增强方法的优选实施例作详尽的阐述，但本发明不仅限于该实施例。为了使公众对本发明有彻底的了解，在以下优选实施例中进行了具体的细节说明。

1.基于视觉底层特征的显著图计算模型

如图1所示，基于视觉底层特征的显著图计算模型整体流程如下：

(1)亮度特征：选取在HSV颜色空间中提取出亮度特征，将源图像转化成只有亮度信息的灰度图，最后把图像像素值重新归一化到[0，255]的范围；

(2)颜色特征：颜色特征是在符合人眼视觉感知的HSV颜色空间下进行提取，提取完颜色特征后，要将像素值重新归一化到[0，255]的范围,其算法公式:

$f_c(x,y)=\frac{1}{(s_c+\exp (-\frac{saturation(x,y)}{{\mathrm{saturation}}_{a\mathrm{\ν}e}}\left)\right)\·(b_c+\exp (-\frac{brightness(x,y)}{{\mathrm{brightness}}_{a\mathrm{\ν}e}}\left)\right)}$

其中，saturation(x,y)和brightness(x,y)分别是指像素点(x,y)的饱和度和亮度值，saturation_ave和brightness_ave则表示整幅图像的饱和度和亮度的平均值，s_c和b_c是常量都取0.5。

(3)方向特征：方向特征是图像的局部特征，表现了图像中某些像素在一定的方向上存在着内在的排列关系，进而产生了一种视觉上的方向感。一般釆用Gabor变换来提取图像的方向特征,其计算公式:

$O=\exp (-\frac{x^2+y^2}{2{\mathrm{\σ}}^2})\·cos(w\·x\·\cos (\mathrm{\θ})+w\·y\·sin(\mathrm{\θ})+\frac{\mathrm{\π}}{2})$

其中，w是常数，θ为滤波器的方向θ＝nπ/k(n＝0，1…k-1)，k是指Gabor滤波器的方向个数。本文采用Gabor函数来提取图像的方向特征，其滤波器的方向设定为然后将4幅特征图按照相同权重叠加形成最终的方向显著图(O)。

(4)纹理特征：采用Gabor滤波器组提取纹理的特征。首先利用Gabor滤波器组提取出图像的5个尺度、4个方向上的纹理特征，然后对这20幅纹理特征图进行归一化处理，最后把所有图像按相同权重叠加在一起，形成最后的纹理显著图；采用的算法公式如下:

$g(x,y)=\frac{k}{{\mathrm{\σ}}^2}\exp (-\frac{k^2(x^2+y^2)}{2{\mathrm{\σ}}^2})\exp \left(k\right(xcos\mathrm{\θ}+ysin\mathrm{\θ}\left)\right)$

其中，n是指尺度，θ是指方向。

(5)边缘特征：边缘特征最典型的提取方式是利用二阶微分的拉普拉斯算子，在HSV空间中提取图像的灰度边缘特征。

得到5种视觉底层特征的特征图之后，利用Itti模型计算特征显著图的具体步骤如下所述。

(1)采用高斯函数分别对输入图像的颜色、亮度、方向、纹理和边缘进行6个尺度的滤波；

(2)利用差值操作和拉普拉斯算子提取不同尺度下的图像视觉特征；

(3)分别进行中央周边差计算，将差值图像归一化求和，得到该特征的显著图；(4)针对得到的5幅特征显著图进行权重配置(保证5个视觉底层特征的权重值相加等于1)。将5幅特征显著图进行叠加，形成1幅多特征组合后的显著图，公式为：

S＝w₁C+w₂I+w₃O+w₄T+w₅E

式中，w₁、w₂、w₃、w₄、w₅分别是各视觉底层特征指标对应的权重值，相加为1；C、I、O、T、E分别表示颜色、亮度、方向、纹理和边缘特征的显著图；最后将S图像即计算显著图归一化到[0,255],并处理成二值图像。

2.人眼注视点的高斯显著图计算模型

注视点一般是指人眼感兴趣区域的位置，通过高精密眼动仪捕获得到人眼的注视点，通过高斯函数对所有注视点模拟二维高斯分布，即当注视点所在位置的值最大，随着其领域不断地扩大，值就会不断减小接近为零。二维高斯分布函数为：

$H(x,y)=\frac{1}{2{\mathrm{\π\σ}}^2}\exp (-\frac{{(x-x_0)}^2+{(y-y_0)}^2}{2{\mathrm{\σ}}^2})$

式中，H(x,y)为注视点对其周边区域的影响程度；(x₀,y₀)为注视点的坐标；σ指高斯分布函数的方差参数。实验中根据实际观测距离和角度，参数σ＝37，把所有注视点都考虑进去。如图2所示的两种显著图的最终效果图，其中图2a为原图，图2b为计算显著图S，图2c为眼动显著图H。

3.基于不同图像视觉底层特征权重系数的确定

采用相关系数分析比较计算显著图与眼动显著图的相似性，从而进一步确定在计算显著图中各视觉底层特征的权重。

相关系数的公式如下所示：

$\mathrm{\ρ}=\frac{{\mathrm{\Σ}}_x\left(H\right(x)-{\mathrm{\μ}}_H)\·\left(S\right(x)-{\mathrm{\μ}}_S)}{\sqrt{{\mathrm{\Σ}}_x{\left(H\right(x)-{\mathrm{\μ}}_H)}^2\·{\mathrm{\Σ}}_x{\left(S\right(x)-{\mathrm{\μ}}_S)}^2}}$

式中，x代表图像中的像素，H(x)、S(x)分别是眼动显著图和计算显著图中当前像素的显著值，μ_H、μ_S分别表示两幅显著图中所有像素的平均显著值。ρ的取值范围是[-1,1]，当ρ＝1代表两幅显著图完全相关，ρ＝0代表两幅显著图完全不相关，ρ＝-1代表两幅图反相关，即一幅显著图中的显著区域在另一幅显著图中完全不显著。

4.最佳权重的计算结果与分析

实验中的眼动显著图是客观且固定不变的，而计算显著图可以通过视觉特征的权重分配而不断调整，直到一组特征权重使得计算显著图和眼动显著图之间的相关系数达到最大，这组权重值就是最佳权重。为了降低计算量，首先通过观察眼动仪实验获取的热点图，确定对各类型图片影响最深刻的几个特征指标，并相应给予较大权重，然后取权重精度值为0.05，即每个视觉特征的权重值范围为[0.05，0.75]，所有权重值相加为1。求出符合这些条件下的所有权重分配的可能，并计算相关系数，选择相关系数最大时的那组权重值。实验结果如图3所示。

从图3中可以看出，当取最佳权重值时，2幅显著图之间的相关系数均达到了80％以上，相关性很强。从权重值的分配上看，对于人物肖像类的图像，其纹理特征权重达到0.46，影响程度最大；而在自然风景图像中，亮度特征的权重达到0.42，对视觉感兴趣区域的影响最大；动物类图像中纹理特征的权重达到0.34，影响程度最大；在颜色类的图像中颜色特征被赋予了较大权重而达到0.34，影响程度最大。

对比结果表明，在不同类型的图像中，不同的视觉特征对图像感兴趣区域的影响程度是不同的；同一种视觉特征对不同类型的图像影响程度也是不一样的。

5.基于不同图像视觉底层特征的图像增强方法

由图3得出，颜色、亮度和纹理这3个特征在各类型图像中占主要权重。针对亮度特征占第1权重的图像，提出基于人眼显著图的优化直方图均衡化方法，原理见图4。首先构造出基于人眼显著图的灰度级直方图，然后对直方图中占主导的灰度级进行合理的限制幅度处理；将处理后节省下来的空间根据灰度级直方图的信息量分布情况，优化分配给非主导的灰度级。这样，就达到了所谓的优化配比的目的，实验证明此方法的图像增强效果更符合人眼视觉感知。

针对颜色特征占第1权重的图像，则采取增强视觉感兴趣区域内的颜色饱和度和对比度的图像增强方法。针对纹理特征占第1权重的图像，这里采用小波变换的方法，对视觉感兴趣区域进行去噪增强，凸显出纹理部分的细节。

考虑到会出现2个主要视觉底层特征权重接近的特殊情况，如海洋类图像中方向和亮度的权重值很接近。因而设定当2个权重的差值在0.05以内(包含0.05)，则按照第1、第2权重的对应增强方法分步进行。若2个权重的差值在0.05以上，则还是按照第1权重的对应增强方法进行处理。

图5-7是对比其他不考虑视觉感兴趣区域的图像增强方法的效果图

由图5可以看出，当单独对一种视觉底层特征进行增强时，提出的基于人眼视觉感知的直方图增强方法的效果更佳，避免了传统直方图均衡化过增强的问题。其中，图5a为原图1分量的灰度图，图5b为传统直方图均衡化增强效果图，图5c为优化直方图均衡化增强效果图。从图6和图7可以看出，提出的针对多个关键特征进行分步增强的效果，比传统增强方法只针对单一特征进行处理，最终增强后的效果图更能凸显人眼感兴趣区域内的重要视觉信息(如颜色饱和度、对比度都相应提高，纹理更清晰)，符合人眼视觉感知。其中，图6a、图7a为原图，图6b、图7b为传统图像增强方法，图6c、图7c为提出的图像增强方法。

Claims (9)

1.一种基于视觉底层特征的图像增强方法,其特征在于,该方法具有以下步骤：

(1)提取图像的视觉底层特征，包括颜色、亮度、方向、纹理和边缘特征；

(2)加权融合成计算显著图；

(3)与眼动仪测得的眼动显著图进行相关系数比较，以确定各视觉底层特征的最佳权重；

(4)根据权重的大小为不同类型的图像选择合适的图像增强方法。

2.根据权利要求1所述的基于视觉底层特征的图像增强方法，其特征在于,所述步骤(1)进一步包括如下具体步骤:

(1.1)在HSV颜色空间中提取出亮度特征，将源图像转化成只有亮度信息的灰度图，最后把图像像素值重新归一化到[0，255]的范围；

(1.2)在符合人眼视觉感知的HSV颜色空间下提取颜色特征，提取完颜色特征后，将像素值重新归一化到[0，255]的范围；

(1.3)用Gabor变换来提取图像的方向特征；

(1.4)采用Gabor滤波器组提取纹理特征：首先利用Gabor滤波器组提取出图像的5个尺度、4个方向上的纹理特征，然后对这20幅纹理特征图进行归一化处理，最后把所有图像按相同权重叠加在一起，形成最后的纹理显著图；

(1.5)边缘特征最典型的提取方式是利用二阶微分的拉普拉斯算子，在HSV空间中提取图像的灰度边缘特征。

3.根据权利要求1所述的基于视觉底层特征的图像增强方法，其特征在于,所述步骤(2)进一步包括如下具体步骤:

(2.1)采用高斯函数分别对输入图像的颜色、亮度、方向、纹理和边缘进行6个尺度的滤波；

(2.2)利用差值操作和拉普拉斯算子提取不同尺度下的图像视觉特征；

(2.3)分别进行中央周边差计算，将差值图像归一化求和，得到该特征的显著图；

(2.4)针对得到的5幅特征显著图进行权重配置，并保证5个视觉底层特征的权重值相加等于1；将5幅特征显著图进行叠加，形成1幅多特征组合后的显著图。

4.根据权利要求1所述的基于视觉底层特征的图像增强方法，其特征在于,所述步骤(3)所采用的算法公式如下:

$\mathrm{\ρ}=\frac{{\mathrm{\Σ}}_x\left(H\right(x)-{\mathrm{\μ}}_H)\·\left(S\right(x)-{\mathrm{\μ}}_s)}{\sqrt{{\mathrm{\Σ}}_x{\left(H\right(x)-{\mathrm{\μ}}_H)}^2\·{\Σ}_x{\left(S\right(x)-{\mathrm{\μ}}_S)}^2}}$

式中，x代表图像中的像素，H(x)、S(x)分别是眼动显著图和计算显著图中当前像素的显著值，μ_H、μ_S分别表示两幅显著图中所有像素的平均显著值，ρ的取值范围是[-1,1]，当ρ＝1代表两幅显著图完全相关，ρ＝0代表两幅显著图完全不相关，ρ＝-1代表两幅图反相关，即一幅显著图中的显著区域在另一幅显著图中完全不显著。

5.根据权利要求1所述的基于视觉底层特征的图像增强方法，其特征在于,所述步骤(4)进一步包括如下具体步骤:

(4.1)针对亮度特征占第1权重的图像，采用基于人眼显著图的优化直方图均衡化方法；

(4.2)针对颜色特征占第1权重的图像，则采取增强视觉感兴趣区域内的颜色饱和度和对比度的图像增强方法；

(4.3)针对纹理特征占第1权重的图像，这里采用小波变换的方法，对视觉感兴趣区域进行去噪增强，凸显出纹理部分的细节。

6.根据权利要求2所述的基于视觉底层特征的图像增强方法，其特征在于,所述步骤(1.2)中采用的算法公式如下:

$f_c(x,y)=\frac{1}{\left(s_c+\exp \left(-\frac{saturation(x,y)}{{\mathrm{saturation}}_{a\mathrm{\ν}e}}\right)\right)\·\left(b_c+\exp \left(-\frac{brightness(x,y)}{{\mathrm{brightness}}_{a\mathrm{\ν}e}}\right)\right)}$

其中，saturation(x,y)和brightness(x,y)分别是指像素点(x,y)的饱和度和亮度值，saturation_ave和brightness_ave则表示整幅图像的饱和度和亮度的平均值，s_c和b_c是常量都取0.5。

7.根据权利要求2所述的基于视觉底层特征的图像增强方法，其特征在于,所述步骤(1.3)所采用的算法公式如下:

$O=\exp (-\frac{x^2+y^2}{2{\mathrm{\σ}}^2})\·cos\left(w\·x\·cos\left(\mathrm{\θ}\right)+w\·y\·sin\left(\mathrm{\θ}\right)+\frac{\mathrm{\π}}{2}\right)$

其中，w是常数，θ为滤波器的方向θ＝nπ/k(n＝0，1…k-1)，k是指Gabor滤波器的方向个数；用Gabor函数来提取图像的方向特征，其滤波器的方向设定为然后将4幅特征图按照相同权重叠加形成最终的方向显著图(O)。

8.根据权利要求2所述的基于视觉底层特征的图像增强方法，其特征在于,所述步骤(1.4)所采用的算法公式如下:

$g(x,y)=\frac{k}{{\mathrm{\σ}}^2}\exp (-\frac{k^2(x^2+y^2)}{2{\mathrm{\σ}}^2})\exp \left(k\right(xcos\mathrm{\θ}+ysin\mathrm{\θ}\left)\right)$

其中，n是指尺度，θ是指方向。

9.根据权利要求3所述的基于视觉底层特征的图像增强方法，其特征在于,所述步骤(2.4)所采用的算法公式如下:

S＝w₁C+w₂I+w₃O+w₄T+w₅E

式中，w₁、w₂、w₃、w₄、w₅分别是各视觉底层特征指标对应的权重值，相加为1；C、I、O、T、E分别表示颜色、亮度、方向、纹理和边缘特征的显著图；最后将S图像即计算显著图归一化到[0,255],并处理成二值图像。