CN114359244B - 一种基于超像素分割与多种颜色特征的图像显著性检测方法 - Google Patents

Abstract

本发明公开了一种基于超像素分割与多种颜色特征的图像显著性检测方法。本发明利用SLIC方法对实时图像进行超像素分割，获得超像素集合和对应的标签图；再基于标签图对超像素集合进行处理，获得超像素集合中各个超像素的像素集合、颜色特征和位置信息；接着计算各个超像素的对比度显著值，根据各个超像素的对比度显著值对对应的超像素进行灰度赋值后，获得显著图；然后利用主颜色描述方法对当前实时图像的边缘像素进行处理后，获得图像边缘主颜色，再计算得到背景先验图；最后将显著图与背景先验图进行线性融合，得到当前实时图像的最终显著图。本发明提高算法整体效率，提高复杂环境中显著性检测准确性。

Description

一种基于超像素分割与多种颜色特征的图像显著性检测方法

技术领域

本发明属于计算机视觉领域的一种图像的显著性检测方法，具体涉及了一种基于超像素分割与多种颜色特征的图像显著性检测方法。

背景技术

图像作为一个重要的信息载体，对图像的理解和处理一直是计算机视觉研究的重点，图像的显著性检测是计算机视觉对图像进行处理的分析的重点之一。显著性检测是指通过模型与算法模拟人类视觉系统的视觉注意机制，从图像中找出更有可能是感兴趣的目标的区域，从而将有限的计算资源更多地分配到该区域，提高计算效率并使图像处理的结果更接近人眼视觉的识别效果。

基于视觉注意机制，视觉显著性检测算法主要分为自底向上和自顶向上两种。自底向上的方法主要基于图像的底层视觉特征及其对比度，自顶向下的方法主要通过机器学习或深度学习实现，相对于自底向上的方法，需要人工标注图和大量的测试集进行训练，上述两种显著性检测技术虽然可以较好实现显著性检测，但是还存在一定问题：自底向上的方法主要依赖图像颜色和对比度，在背景和显著性目标颜色较为相似的复杂场景下检测效果较差；自顶向下的方法需要耗费大量时间进行模型训练，并且检测时对设备的计算能力要求较高。

发明内容

为了解决背景技术中存在的问题和需求，本发明提供了一种基于超像素分割与多种颜色特征的图像显著性检测方法。

为实现上述目的，本发明的技术方案具体内容如下：

本发明包括以下步骤：

第一步：通过简单线性迭代聚类(SLIC)算法对输入的实时图像进行超像素分割，获得当前实时图像的超像素集合和对应的标签图；

第二步：基于标签图对当前实时图像的超像素集合进行处理，获得当前实时图像的超像素集合中各个超像素的像素集合、颜色特征和位置信息；其中当前实时图像的各个超像素的颜色特征为各个超像素在CIELab颜色空间中各颜色分量的平均值以及在量化的HSV颜色空间中的平均颜色；

第三步：基于当前实时图像的各个超像素的像素集合、在CIELab颜色空间中各颜色分量的平均值和位置信息计算各个超像素的基于对比度的显著值，然后根据各个超像素的基于对比度的显著值，计算并获得当前实时图像的显著图；

第四步：基于当前实时图像的各个超像素在量化的HSV颜色空间中的平均颜色，利用基于量化的HSV颜色空间的主颜色描述方法对当前实时图像的边缘像素进行处理后，获得当前实时图像的图像边缘主颜色，根据当前实时图像的图像边缘主颜色计算得到当前实时图像的背景先验图；

第五步：将当前实时图像的显著图与背景先验图分别进行归一化后再进行线性融合，得到当前实时图像的最终显著图。

所述第三步具体为：

3.1)各个超像素的位置信息为各个超像素的几何中心；根据各个超像素的像素集合、各个超像素在CIELab颜色空间中各颜色分量的平均值和各个超像素的几何中心，计算每个超像素与各个超像素之间的对比度；

3.2)根据当前超像素的对比度计算当前超像素的基于对比度的显著值；

3.3)重复步骤3.2)，遍历剩余超像素，计算并获得剩余超像素的基于对比度的显著值；

3.4)根据各个超像素的基于对比度的显著值对对应的超像素进行灰度赋值后，获得当前实时图像的显著图。

所述第四步具体为：

4.1)将超像素集合中包含实时图像的边缘像素p_e的多个超像素作为边缘超像素集合E；基于量化的HSV颜色空间计算边缘超像素集合E的颜色直方图；

4.2)在边缘超像素集合E的颜色直方图中量化后的边缘颜色L^E满足L^E∈[0,71]，将当前量化后的边缘颜色L^E的邻域颜色{L^E-1,L^E,L^E+1}在边缘超像素集合E的颜色直方图中所占百分比的总和作为当前量化后的边缘颜色L^E在边缘超像素集合E的颜色直方图中所占百分比；

4.3)重复步骤4.2)，遍历计算所有量化后的边缘颜色L^E在边缘超像素集合E的颜色直方图中所占百分比；

4.4)在量化后的边缘颜色中取在边缘超像素集合E的颜色直方图中所占百分比大于等于20％作为当前实时图像的图像边缘主颜色；

4.5)基于当前实时图像的各个超像素的颜色特征中的在量化的HSV颜色空间中的平均颜色，结合当前实时图像的图像边缘主颜色计算各个超像素相对于背景信息的显著值；

4.6)基于各个超像素相对于背景信息的显著值对对应的超像素进行灰度赋值后，获得当前实时图像的背景先验图。

所述第五步中，线性融合的计算公式如下：

Sal(S_k)＝λ_Sal1Sal'_E(S_k)+λ_Sal2Sal'_C(S_k)

其中，Sal(S_k)表示当前实时图像的最终显著图中超像素S_k的最终显著值，Sal'_E(S_k)表示当前实时图像的显著图中归一化后的超像素S_k相对于背景信息的显著值，Sal'_E(S_k)表示当前实时图像的显著图中超像素S_k相对于背景信息的归一显著值，Sal'_C(S_k)表示当前实时图像的背景先验图中超像素S_k的基于对比度的归一显著值，λ_Sal1是第一权重系数，λ_Sal2是第二权重系数，且满足λ_Sal1+λ_Sal2＝1。

所述当前超像素的基于对比度的显著值的计算公式如下：

其中，Sal_C(S_k)表示超像素S_k的基于对比度的显著值，K表示超像素总数，w(S_k,S_i)代表超像素S_k与超像素S_i之间的权重系数，d_pos(S_k,S_i)代表超像素S_k与超像素S_i之间的空间距离系数，d_c(S_k,S_i)代表超像素S_k与超像素S_i之间的在CIELab颜色空间的颜色对比度，#{ }代表集合中的元素个数，λ_pos是调节空间距离对显著值计算影响的系数，分别表示超像素S_k在CIELab颜色空间的亮度以及第一、第二颜色通道的平均值，分别表示超像素S_i在CIELab颜色空间的亮度以及第一、第二颜色通道的平均值，表示超像素S_k的几何中心在实时图像中的坐标，表示超像素S_i的几何中心在实时图像中的坐标，λ_pos是调节空间距离影响对比度的显著值的系数，i是超像素集合中的超像素序号。

所述各个超像素相对于背景信息的显著值的计算公式如下：

其中，Sal_E(S_k)表示超像素S_k相对于背景信息的显著值，表示超像素S_k在量化的HSV颜色空间中的平均颜色，是图像边缘主颜色中第i个量化后的边缘颜色，||表示取绝对值操作，min表示取最小值操作，N是图像边缘主颜色的颜色数量。

与现有技术相比，本发明具有如下有益效果：

1、通过基于超像素分割和多种颜色空间特征的显著性检测方法，提升在背景和目标颜色相似的复杂环境中的检测效果。

2、基于超像素分割区域化描述图像信息，基于各个超像素的像素集合、各个超像素在CIELab颜色空间中各颜色分量的平均值、在量化的HSV颜色空间中的平均颜色和各个超像素的几何中心计算图像区域显著值，提高整体计算效率和准确性。

3、使用在颜色分割方面效果更好的HSV颜色空间对背景先验信息进行描述，提高复杂环境中显著性检测准确性。

附图说明

图1是本发明的基于超像素分割与多种颜色特征的显著性检测算法流程图。

图2是本发明的显著性检测原始图像。

图3是本发明的显著性检测结果图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

现结合实施例、附图对本发明作进一步描述：

本发明的实施技术方案为：

如图1所示，本发明包括以下步骤：

第一步：通过简单线性迭代聚类(SLIC)算法对输入的实时图像进行超像素分割，获得当前实时图像的超像素集合和对应的标签图；将实时图像分解为多个局部区域，减少后续计算的运算量，提高算法整体效率。输入的实时图像如图2所示。

第二步：基于标签图对当前实时图像的超像素集合进行处理，获得当前实时图像的超像素集合中各个超像素的像素集合、颜色特征和位置信息；其中当前实时图像的各个超像素的颜色特征为各个超像素在CIELab颜色空间中各颜色分量的平均值以及在量化的HSV颜色空间中的平均颜色；

第三步：基于当前实时图像的各个超像素的像素集合、在CIELab颜色空间中各颜色分量的平均值和位置信息计算各个超像素的基于对比度的显著值，然后根据各个超像素的基于对比度的显著值，计算并获得当前实时图像的显著图；

所述第三步具体为：

3.1)各个超像素的位置信息为各个超像素的几何中心；根据各个超像素的像素集合、各个超像素在CIELab颜色空间中各颜色分量的平均值和各个超像素的几何中心，计算每个超像素与各个超像素之间的对比度；

3.2)根据当前超像素的对比度通过以下公式计算当前超像素的基于对比度的显著值：

其中，Sal_C(S_k)表示超像素S_k的基于对比度的显著值，K表示超像素总数，本实施例中取K＝150。w(S_k,S_i)代表超像素S_k与超像素S_i之间的权重系数，d_pos(S_k,S_i)代表超像素S_k与超像素S_i之间的空间距离系数，d_c(S_k,S_i)代表超像素S_k与超像素S_i之间的在CIELab颜色空间的颜色对比度，#{ }代表集合中的元素个数，λ_pos是调节空间距离对显著值计算影响的系数，本实施例中λ_pos＝10。分别表示超像素S_k在CIELab颜色空间的亮度以及第一、第二颜色通道的平均值，分别表示超像素S_i在CIELab颜色空间的亮度以及第一、第二颜色通道的平均值，第一颜色通道为从深绿色(低亮度值)到灰色(中亮度值)再到亮粉红色(高亮度值)，第二颜色通道为从亮蓝色(低亮度值)到灰色(中亮度值)再到黄色(高亮度值)，表示超像素S_k的几何中心在实时图像中的坐标，表示超像素S_i的几何中心在实时图像中的坐标，λ_pos是调节空间距离影响对比度的显著值的系数，i是超像素集合中的超像素序号；

3.3)重复步骤3.2)，遍历剩余超像素，计算并获得剩余超像素的基于对比度的显著值；

3.4)根据各个超像素的基于对比度的显著值对对应的超像素进行灰度赋值后，获得当前实时图像的显著图。

第四步：基于当前实时图像的各个超像素在量化的HSV颜色空间中的平均颜色，利用基于量化的HSV颜色空间的主颜色描述方法对当前实时图像的边缘像素进行处理后，获得当前实时图像的图像边缘主颜色，使用图像边缘主颜色描述实时图像的背景信息；根据当前实时图像的图像边缘主颜色计算得到当前实时图像的背景先验图；

所述第四步具体为：

4.1)将超像素集合中包含实时图像的边缘像素p_e的多个超像素作为边缘超像素集合E；满足S_j表示边缘超像素集合E中的第j个超像素，P_j表示边缘超像素集合E中的第j个超像素的像素。基于量化的HSV颜色空间计算边缘超像素集合E的颜色直方图；

4.2)在边缘超像素集合E的颜色直方图中量化后的边缘颜色L^E满足L^E∈[0,71]，将当前量化后的边缘颜色L^E的邻域颜色{L^E-1,L^E,L^E+1}在边缘超像素集合E的颜色直方图中所占百分比的总和作为当前量化后的边缘颜色L^E在边缘超像素集合E的颜色直方图中所占百分比；

4.3)重复步骤4.2)，遍历计算所有量化后的边缘颜色L^E在边缘超像素集合E的颜色直方图中所占百分比；

4.4)在量化后的边缘颜色中取在边缘超像素集合E的颜色直方图中所占百分比大于等于20％作为当前实时图像的图像边缘主颜色D_EDC，使用图像边缘主颜色描述实时图像的背景信息；

其中，N是图像边缘主颜色的颜色数量且满足N∈{0,1,2,3,4,5}，表示图像边缘主颜色中第n个量化后的边缘颜色；

4.5)基于当前实时图像的各个超像素的颜色特征中的在量化的HSV颜色空间中的平均颜色，结合当前实时图像的图像边缘主颜色通过以下公式计算各个超像素相对于背景信息的显著值：

其中，Sal_E(S_k)表示超像素S_k相对于背景信息的显著值，表示超像素S_k在量化的HSV颜色空间中的平均颜色，是图像边缘主颜色中第i个量化后的边缘颜色，||表示取绝对值操作，min表示取最小值操作，N是图像边缘主颜色的颜色数量；

4.6)基于各个超像素相对于背景信息的显著值对对应的超像素进行灰度赋值后，获得当前实时图像的背景先验图。

第五步：将当前实时图像的显著图与背景先验图分别进行归一化后再进行线性融合，得到当前实时图像的最终显著图，如图3所示。

所述第五步中，线性融合的计算公式如下：

Sal(S_k)＝λ_Sal1Sal'_E(S_k)+λ_Sal2Sal'_C(S_k)

其中，Sal(S_k)表示当前实时图像的最终显著图中超像素S_k的最终显著值，Sal'_E(S_k)表示当前实时图像的显著图中超像素S_k相对于背景信息的归一显著值，Sal'_C(S_k)表示当前实时图像的背景先验图中超像素S_k的基于对比度的归一显著值，λ_Sal1是第一权重系数，λ_Sal2是第二权重系数，且满足λ_Sal1+λ_Sal2＝1。

以上内容仅为本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (5)

1.一种基于超像素分割与多种颜色特征的图像显著性检测方法，其特征在于，包括以下步骤：

第一步：通过简单线性迭代聚类算法对输入的实时图像进行超像素分割，获得当前实时图像的超像素集合和对应的标签图；

第二步：基于标签图对当前实时图像的超像素集合进行处理，获得当前实时图像的超像素集合中各个超像素的像素集合、颜色特征和位置信息；其中当前实时图像的各个超像素的颜色特征为各个超像素在CIELab颜色空间中各颜色分量的平均值以及在量化的HSV颜色空间中的平均颜色；

第三步：基于当前实时图像的各个超像素的像素集合、在CIELab颜色空间中各颜色分量的平均值和位置信息计算各个超像素的基于对比度的显著值，然后根据各个超像素的基于对比度的显著值，计算并获得当前实时图像的显著图；

所述超像素的基于对比度的显著值的计算公式如下：

其中，Sal_C(S_k)表示超像素S_k的基于对比度的显著值，K表示超像素总数，w(S_k,S_i)代表超像素S_k与超像素S_i之间的权重系数，d_pos(S_k,S_i)代表超像素S_k与超像素S_i之间的空间距离系数，d_c(S_k,S_i)代表超像素S_k与超像素S_i之间的在CIELab颜色空间的颜色对比度，#{}代表集合中的元素个数，λ_pos是调节空间距离对显著值计算影响的系数，分别表示超像素S_k在CIELab颜色空间的亮度以及第一、第二颜色通道的平均值，分别表示超像素S_i在CIELab颜色空间的亮度以及第一、第二颜色通道的平均值，表示超像素S_k的几何中心在实时图像中的坐标，表示超像素S_i的几何中心在实时图像中的坐标，λ_pos是调节空间距离影响对比度的显著值的系数，i是超像素集合中的超像素序号；

第四步：基于当前实时图像的各个超像素在量化的HSV颜色空间中的平均颜色，利用基于量化的HSV颜色空间的主颜色描述方法对当前实时图像的边缘像素进行处理后，获得当前实时图像的图像边缘主颜色，根据当前实时图像的图像边缘主颜色计算得到当前实时图像的背景先验图；

第五步：将当前实时图像的显著图与背景先验图分别进行归一化后再进行线性融合，得到当前实时图像的最终显著图。

2.根据权利要求1所述的一种基于超像素分割与多种颜色特征的图像显著性检测方法，其特征在于，所述第三步具体为：

3.1)各个超像素的位置信息为各个超像素的几何中心；根据各个超像素的像素集合、各个超像素在CIELab颜色空间中各颜色分量的平均值和各个超像素的几何中心，计算每个超像素与各个超像素之间的对比度；

3.2)根据当前超像素的对比度计算当前超像素的基于对比度的显著值；

3.3)重复步骤3.2)，遍历剩余超像素，计算并获得剩余超像素的基于对比度的显著值；

3.4)根据各个超像素的基于对比度的显著值对对应的超像素进行灰度赋值后，获得当前实时图像的显著图。

3.根据权利要求1所述的一种基于超像素分割与多种颜色特征的图像显著性检测方法，其特征在于，所述第四步具体为：

4.1)将超像素集合中包含实时图像的边缘像素p_e的多个超像素作为边缘超像素集合E；基于量化的HSV颜色空间计算边缘超像素集合E的颜色直方图；

4.2)在边缘超像素集合E的颜色直方图中量化后的边缘颜色L^E满足L^E∈[0,71]，将当前量化后的边缘颜色L^E的邻域颜色{L^E-1,L^E,L^E+1}在边缘超像素集合E的颜色直方图中所占百分比的总和作为当前量化后的边缘颜色L^E在边缘超像素集合E的颜色直方图中所占百分比；

4.3)重复步骤4.2)，遍历计算所有量化后的边缘颜色L^E在边缘超像素集合E的颜色直方图中所占百分比；

4.4)在量化后的边缘颜色中取在边缘超像素集合E的颜色直方图中所占百分比大于等于20％作为当前实时图像的图像边缘主颜色；

4.5)基于当前实时图像的各个超像素的颜色特征中的在量化的HSV颜色空间中的平均颜色，结合当前实时图像的图像边缘主颜色计算各个超像素相对于背景信息的显著值；

4.6)基于各个超像素相对于背景信息的显著值对对应的超像素进行灰度赋值后，获得当前实时图像的背景先验图。

4.根据权利要求1所述的一种基于超像素分割与多种颜色特征的图像显著性检测方法，其特征在于，所述第五步中，线性融合的计算公式如下：

Sal(S_k)＝λ_Sal1Sal'_E(S_k)+λ_Sal2Sal'_C(S_k)

其中，Sal(S_k)表示当前实时图像的最终显著图中超像素S_k的最终显著值，Sal'_E(S_k)表示当前实时图像的显著图中归一化后的超像素S_k相对于背景信息的显著值，Sal'_E(S_k)表示当前实时图像的显著图中超像素S_k相对于背景信息的归一显著值，Sal'_C(S_k)表示当前实时图像的背景先验图中超像素S_k的基于对比度的归一显著值，λ_Sal1是第一权重系数，λ_Sal2是第二权重系数，且满足λ_Sal1+λ_Sal2＝1。

5.根据权利要求3所述的一种基于超像素分割与多种颜色特征的图像显著性检测方法，其特征在于，所述各个超像素相对于背景信息的显著值的计算公式如下：

其中，Sal_E(S_k)表示超像素S_k相对于背景信息的显著值，表示超像素S_k在量化的HSV颜色空间中的平均颜色，是图像边缘主颜色中第i个量化后的边缘颜色，||表示取绝对值操作，min表示取最小值操作，N是图像边缘主颜色的颜色数量。