CN102521592B - 基于非清晰区域抑制的多特征融合显著区域提取方法 - Google Patents

Abstract

本发明公开了一种基于非清晰区域抑制的多特征融合显著区域提取方法，首先输入待处理的源图像，再进行如下处理：(1)预处理；(2)对经过预处理的图像进行低层特征提取，获得空间显著图和频域显著图；(3)对经过预处理的图像进行高层语义特征提取，获得人脸显著图；(4)对步骤(2)和步骤(3)获得的空间显著图、频域显著图和人脸显著图进行中心聚集化操作，获得综合显著图；(5)根据综合显著图对待处理的源图像进行分割处理，提取出显著区域。本发明解决了传统的显著区域检测方法中存在的对大尺度目标图像检测内容缺失问题和对背景复杂图像情况下检测的误检问题，是一种准确度更高的显著区域检测方法。

Description

基于非清晰区域抑制的多特征融合显著区域提取方法

技术领域

本发明涉及一种图像处理方法，具体涉及一种图像显著区域的提取分割方法。

背景技术

人眼在观察图像时，受视觉选择性注意机制的支配，能够迅速地把注意力集中在少数几个能够体现图像主要内容信息的关键区域，这些吸引人注意力的区域被称为显著区域。

随着信息技术的发展，图像成为一种主要的信息载体，越来越多的图像数据给处理和浏览带来了不便。图像检索技术是在海量图像数据库中查找用户所需要的或感兴趣的图像的方法，目前，很多图像检索工具是建立在与图像相关的文字信息的基础上的，需要大量人为标注，而基于内容的图像检索技术对图像内容本身进行分析，根据图像特征查找相关图像，是图像检索发展的方向。提取图像的显著区域，对于进行图像特征查找具有重要的意义。

近年来，国内外研究者提出了很多显著区域检测模型，总的来说，分为三大类：自底向上，自顶向下以及混合模型。其中自底向上的模型是研究的重点。

自底向上的模型以视觉注意机制作为底层数据来驱动视觉刺激，是对底层特征自动加工的过程。其中Itti等人以中心-周围强度、颜色和方向对比度特征提出了第一个也是最经典的基于生物的视觉注意的计算模型Itti98。随后该模型通过引入运动和闪变的对比度特征而扩展到视频显著性计算中。Walther和Koch在Itt’s98模型的基础上进行了扩展以便得到一个显著典型(proto)目标。谱参差方法，把图像变换到频域去除图像中的冗余信息，从全局角度抑制非显著区域。基于图论的GBVS模型借用图论的思想把提取的图像特征转换成图模型进而用于计算显著性。基于频率调整的FT模型利用多种低层特征通过调整不同的频率范围得到了不失图像分辨率的显著图。基于文本上下文Context-Aware(简称CA)的显著区域检测方法从全局与局部的角度总结出了显著区域具备的四条准则，然后分别根据四条准则做出了相应的计算，最后得到每个像素点局部范围内的显著度。

自顶向下的模型根据期望目标的先验信息在图像中寻找候选区域，是以先验高层语义知识来驱动的，是一个选择特征控制指导的加工过程。这种模型要根据观察任务的需要，确定期望知识信息和相应的特征，进而提取显著区域。混合模型即自底向上的模型和自顶向下模型的结合。

由于以上检测模型自身的局限性，使得检测结果对一些大尺度目标物体或背景复杂情况下的图像显著区域检测效果较差，存在显著目标缺失误检，漏检等问题，从而导致提取的显著区域不准确，不完整。

发明内容

本发明的目的在于提供一种基于非清晰区域抑制的多特征融合显著区域提取方法，以提高显著区域检测的准确性和完整性。

为达到上述发明目的，本发明采用的技术方案是：一种基于非清晰区域抑制的多特征融合显著区域提取方法，首先输入待处理的源图像，再进行如下处理：

(1)预处理；所述预处理包括，判断待处理的源图像中是否存在不同子区域之间的清晰度差异，如果存在，则定位图像中的清晰区域位置，所述子区域为以预先设定的分块尺度大小对原图像进行分割形成的区域；

(2)对经过预处理的图像进行低层特征提取；所述低层特征提取是，在空间域中利用Lab颜色计算图像显著值，获得空间显著图，在频率域中从颜色、亮度和边缘特征三个通道去除全局内的冗余信息，获得频域显著图；

(3)对经过预处理的图像进行高层语义特征提取；所述高层语义特征提取是，采用人脸检测方法获得人脸显著图；

(4)对步骤(2)和步骤(3)获得的空间显著图、频域显著图和人脸显著图进行中心聚集化操作，获得综合显著图；

(5)根据综合显著图对待处理的源图像进行分割处理，提取出显著区域。

上文中，所述分块尺度大小可以根据源图像的大小预先设定，一般地，可以以源图像较长边除以数值a作为分块尺度大小，a的取值可以取8至32之间的数。为处理方便，也可以设定一个定值大小进行子区域划分。

上述技术方案中，步骤(1)中，预处理的具体方法为，生成待处理的源图像的高频分量图，将高频分量图分割成多个块，提取高频分布向量并计算离散度；如果离散度大于1，则图像中存在子区域清晰度差异，根据像素的清晰度将图像分为清晰区域和非清晰区域，将非清晰区域的像素点设为背景颜色；如果离散度小于等于1，则图像中不存在子区域清晰度差异，直接进入步骤(2)。

优选的技术方案，高频分量图分割成块时，以图像的长、宽中较大的量除以16作为分块的尺度标准进行分块。

上述技术方案中，步骤(2)中，所述空间显著图采用Context-Aware方法获取。

步骤(4)中，所述中心聚集化操作为，对空间显著图、频域显著图和人脸显著图进行归一化处理；把频域显著图中大于0.2的显著点和空间显著图中大于0.2的显著点用于扩展人脸显著图中大于0.8的显著点的聚类中心，得到新的聚类中心集，根据该新的聚类中心集更新空间显著图，获得综合显著图。

由于上述技术方案运用，本发明与现有技术相比具有下列优点：

本发明考虑了综合图像的低层特征和高层语义特征信息，采用离散度准则判断图像中是否存在清晰度差异，从而抑制非清晰区域，从空间域和频率域角度分别提取低层特征计算局部和全局显著度，用中心聚集化操作综合二者的优势，并结合人脸信息作为高层语义特征增强显著性。本发明能够一定程度上解决传统的显著区域检测方法中存在的对大尺度目标图像检测内容缺失问题和对背景复杂图像情况下检测的误检问题，是一种准确度更高的显著区域检测方法。

附图说明

图1是本发明实施例中显著区域检测模型图；

图2是实施例中显著区域检测算法流程示意图；

图3是实施例中部分图像的HFM图；

图4是实施例中有清晰度差异的图像抑制非清晰区域后的结果图；

图5是实施例中生成的聚集化显著图示意图；

图6是实施例中提取的显著区域示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步描述。

实施例：参见图1所示，一种基于非清晰区域抑制的多特征融合显著区域提取方法，首先输入待处理的源图像，再进行如下处理：

1、非清晰区域抑制(预处理)：

清晰度是能够影响人眼视觉选择注意的一个重要特征。图像中的清晰区域是给人视觉反差较大的区域，同时也是首先吸引人注意力的区域。对于待检测的图像，首先判断其中是否存在不同子区域之间的清晰度差异，如果存在，则需要定位图像中的清晰区域位置，即对非清晰区域抑制，然后在清晰区域内根据低层特征和高层特征计算图像中物体的显著度。如果不存在清晰度的差异，则直接根据低层特征和高层特征计算显著度。

2、低层特征提取：

在抑制非清晰区域的前提下，为了符合人眼视觉选择显著目标时遵循的规律，即显著区域在局部范围内与周围其他区域有明显不同的特征，在全局范围内出现的频率相对较少。在低层特征的提取中，分别从空间域和频率域两个角度计算图像的局部和全局的显著度，增强显著区域的显著性。

3、高层语义特征提取：

人眼观察图像时，自然会收到其先验知识的影响，其中人脸区域是注意力首先集中的区域之一，用人脸区域作为先验知识知道人眼的视觉选择，从而结合高层语义特征，更符合人眼观察图像的规律。

4、经中心聚集化操作获得综合显著图。

5、后处理分割提取显著区域。

上述处理的具体算法的流程如图2所示，分为三大块：预处理，显著值计算和后处理。

算法步骤如表1所示。

表1显著区域检测算法

1、预处理

预处理阶段主要是判断输入图像是否存在子区域之间的清晰度差异，并对存在差异的图像进行非清晰区域的抑制。采用离散度作为判断图像中是否存在清晰度差异的标准。

(1)图像的高频分量图(High Frequency Map，HFM)的生成

采用小波变换方法。假设输入图像为f(i，j)＝{R，G，B}^t，小波变换后的垂直、水平和对角线高频分量分别为H_vf、H_hf和H_df，则输入图像的高频信息区域H_f为：

H_f＝H_vf+H_hf+H_df    (1)

把(1)得到的结果经过二值化处理得到HFM。图3所示为部分图像的HFM。其中，第1、3行分别为有和无清晰度差异图像，第2、4行分别为1、3行的HFM图。

(2)提取高频分布向量

并计算离散度λ

离散度λ反映的是图像数据分布以及聚集程度，以此标准作为衡量HFM中高频信息点的聚集程度。

假设把HFM图以合适的大小分成m×n块，统计每个块内的高频信息点分布，并将其转换为一维向量：

$\stackrel{r}{a}=(H_{f1},H_{f2},L,H_{\mathrm{fi}},L,H_{\mathrm{fm}\×n})---\left(2\right)$

对

归一化：

$\stackrel{r}{b}=\frac{H_{f1}}{\underset{i=1}{\overset{m\×n}{\mathrm{\Σ}}}{H}_{\mathrm{fi}}},\frac{H_{f2}}{\underset{i=1}{\overset{m\×n}{\mathrm{\Σ}}}{H}_{\mathrm{fi}}},L,\frac{H_{\mathrm{fm}\×n}}{\underset{i=1}{\overset{m\×n}{\mathrm{\Σ}}}{H}_{\mathrm{fi}}}---\left(3\right)$

HFM的离散度：

$\mathrm{\λ}=\frac{{\mathrm{\σ}}_b^r}{{\mathrm{\μ}}_b^r}=\frac{\mathrm{\σ}(\frac{H_{f1}}{\underset{i=1}{\overset{m\×n}{\mathrm{\Σ}}}{H}_{\mathrm{fi}}},\frac{H_{f2}}{\underset{i=1}{\overset{m\×n}{\mathrm{\Σ}}}{H}_{\mathrm{fi}}},...........,\frac{H_{\mathrm{fm}\×n}}{\underset{i=1}{\overset{m\×n}{\mathrm{\Σ}}}{H}_{\mathrm{fi}}})}{\mathrm{\μ}(\frac{H_{\mathrm{fi}}}{\underset{i=1}{\overset{m\×n}{\mathrm{\Σ}}}{H}_{\mathrm{fi}}},\frac{H_{f2}}{\underset{i=1}{\overset{m\×n}{\mathrm{\Σ}}}{H}_{\mathrm{fi}}},...........,\frac{H_{\mathrm{fm}\×n}}{\underset{i=1}{\overset{m\×n}{\mathrm{\Σ}}}{H}_{\mathrm{fi}}})}---\left(4\right)$

其中，H_fi表示原图像第i个子区域中所有高频信息点之和，

和

分别为

的标准方差和平均值，离散度λ反映的是向量中数据的分布和离散程度，λ值越大，数据的离散性越差，聚集性越好，反之λ值越小，数据的离散性越好，聚集性越差。经统计分析，当选取块尺度为size/16时，类间距离dist_Clarity达到最大。其中Size＝Max{Height，Width}，图像的大小为Height×Width。在该尺度下计算λ值，并依据λ按照以下规则对图像中是否存在子区域清晰度差异进行判断

λ＞1，图像中存在子区域清晰度差异；

λ≤1，图像中不存在子区域清晰度差异。

(3)非清晰区域抑制

经过(2)判断，如果确定了图像中存在清晰度差异，需要对其进行非清晰区域的抑制。首先需要计算基于像素的清晰度值；然后根据每个像素的清晰度值把图像分为两类：清晰区域和非清晰区域；最后对非清晰区域的像素点设为统一的背景颜色以达到抑制的效果，如图4所示为抑制的结果。

清晰区域特征在空域用梯度函数度量，在频域用小波变换来凸显。图像采取三种不同尺度{Scale1，Scale2，Scale3}分块。在以离散度指标计算中确定的一种合适分块尺度size/16的基础上，选取另外size/8和size/32两种尺度即scales＝{size/8，size/16，size/32}来综合评定块的清晰度值。每个分块尺度下的第i个子块像素清晰度定义为：

D_{i(m，n)Scalej}＝D_iScalej    (5)

其中(m，n)为第f子块像素坐标，D_iScalej为尺度j下第i子块清晰度，其定义为：

$D_{\mathrm{iScalej}}=\frac{1}{n_{\mathrm{iScalej}}}\left[\underset{(x,y)\∈D_{\mathrm{Scaleji}}}{\mathrm{\Σ}}\right|\frac{H_{\mathrm{vf}}(x,y)}{L_f(x,y)}|+\underset{(x,y)\∈D_{\mathrm{Scaleji}}}{\mathrm{\Σ}}|\frac{H_{\mathrm{hf}}(x,y)}{L_f(x,y)}|+\underset{(x,y)\∈D_{\mathrm{Scaleji}}}{\mathrm{\Σ}}|\frac{H_{\mathrm{df}}(x,y)}{L_f(x,y)}\left|\right]---\left(6\right)$

其中L_f、H_vf、H_hf和H_df分别为子块图像f小波变换后子图像的低频、垂直高频、水平高频和对角线高频分量。n_iScalej为尺度j下第i子块低频图像的像素数，(x，y)为第i子块的行列数。

将多尺度像素清晰度进行线性融合，可得到基于块的图像清晰度。

$\stackrel{\‾}{D}(m,n)=\underset{j=\mathrm{1,2,3}}{\mathrm{\Σ}}{D}_{(m,n)\mathrm{Scalej}}---\left(7\right)$

式(7)得到的图像清晰度块效应比较明显。为消除块效应对后续显著对象检测的影响，引入加权系数，最终加权图像清晰度为：

$D_{(m,n)}={\stackrel{\‾}{D}}_{(m,n)}\×{\mathrm{Weight}}_{(m,n)}---\left(8\right)$

${\mathrm{Weight}}_{(m,n)}=\sqrt{{[I(m+1,n)-I(m,n)]}^2+{[I(m,n+1)-I(m,n)]}^2}---\left(9\right)$

图4是有清晰度差异的图像抑制非清晰区域后的结果，第一行为原图像，第二行为抑制结果。

2、计算显著值

对图像分别在空间域和频率域内计算显著性，空间域内采用Context-Aware方法计算图像显著值得显著图SM_Space。频率域中在谱残差的基础上从颜色，亮度和边缘特征三个通道在多种尺度下去除全局内的冗余信息，得到频域显著图SM_Frequency。同时，为了结合高层语义特征，需要用人脸检测的方法计算人脸显著图SM_Face。

3、后处理

根据人眼视觉的聚集化观察特点，对得到的三个独立的显著图进行中心聚集化操作。对SM_Space，SM_Frequency和SM_Face进行归一化，把SM_Frequency＞0.2且SM_Face＞0.2的显著点用于扩展SM_Space＞0.8得到的聚类中心得新的聚类中心集foci，进而根据聚类中心通过(10)来更新SM_Space的值得到聚集化显著图SM。

$\widehat{S_{\mathrm{iSpace}}}=S_{\mathrm{iSpace}}(1-d_{\mathrm{foci}}\left(i\right))---\left(10\right)$

S_iSpace为SM_space得到的结果，

为更新后的显著值。d_foci(i)为SM_space非聚类中心像素i到与其最近的聚类中心的空间欧氏距离。

图5是生成的聚集化显著图(第一行是源图像，第二行为显著图)。

根据得到的显著图SM进行二值化去空洞等处理，对源图像分割提取得到最终的显著区域，如图6所示。

Claims (3)

1.一种基于非清晰区域抑制的多特征融合显著区域提取方法，首先输入待处理的源图像，其特征在于，再进行如下处理：

(1)预处理；所述预处理包括，判断待处理的源图像中是否存在不同块之间的清晰度差异，如果存在，则定位图像中的清晰区域位置，所述块为以预先设定的分块尺度大小对原图像进行分割形成的区域；预处理的具体方法为，生成待处理的源图像的高频分量图，将高频分量图分割成多个块，提取高频分布向量并计算离散度；如果离散度大于1，则图像中存在块清晰度差异，根据像素的清晰度将图像分为清晰区域和非清晰区域，将非清晰区域的像素点设为背景颜色；如果离散度小于等于1，则图像中不存在块清晰度差异；

(2)对经过预处理的图像进行低层特征提取；所述低层特征提取是，在空间域中利用Lab颜色计算图像显著值，获得空间显著图，在频率域中从颜色、亮度和边缘特征三个通道去除全局内的冗余信息，获得频域显著图；

(3)对经过预处理的图像进行高层语义特征提取；所述高层语义特征提取是，采用人脸检测方法获得人脸显著图；

(4)对步骤(2)和步骤(3)获得的空间显著图、频域显著图和人脸显著图进行中心聚集化操作，获得综合显著图；所述中心聚集化操作为，对空间显著图、频域显著图和人脸显著图进行归一化处理；把频域显著图中大于0.2的显著点和空间显著图中大于0.2的显著点用于扩展人脸显著图中大于0.8的显著点的聚类中心，得到新的聚类中心集，根据该新的聚类中心集更新空间显著图，获得综合显著图；

(5)根据综合显著图对待处理的源图像进行分割处理，提取出显著区域。

2.根据权利要求1所述的基于非清晰区域抑制的多特征融合显著区域提取方法，其特征在于：高频分量图分割成块时，以图像的长、宽中较大的量除以16作为分块的尺度标准进行分块。

3.根据权利要求1所述的基于非清晰区域抑制的多特征融合显著区域提取方法，其特征在于：步骤(2)中，所述空间显著图采用Context-Aware方法获取。

Images