CN112541930A - 基于级联式的图像超像素目标行人分割方法 - Google Patents

Abstract

本发明属于图像分割技术领域，具体的说是一种基于级联式的图像超像素目标行人分割方法，其步骤包括：S1、以Mask R‑CNN作为粗粒度一阶段分割，结合能量滤波准则提取目标区域及分割结果；S2、将单目标区域送至超像素分割通道，输出带标签的超像素结果；S3、计算超像素分割图像中相邻超像素块的特征相似差异值，将超像素块聚集为一个超系数像素块，聚集出更精准的目标对象轮廓；S4、利用能量高低频融合规则将一阶段粗粒度分割提取的目标结果和二阶段细粒度分割提取的目标对象轮廓进行融合操作，重构出最终的融合图像。

Description

基于级联式的图像超像素目标行人分割方法

技术领域

本发明属于图像分割技术领域，具体的说是一种基于级联式超像素目标行人分割方法。

背景技术

目标行人分割技术是机器视觉领域中一个重要的研究课题，而随着自主汽车和辅助驾驶系统的发展，如何对行人及车辆安全进行保护也成为了当今的研究热点。图像分割技术是图像识别和计算机视觉系统中的预处理部分，对图像进行有效的分割能够为识别及跟踪提供目标特征，从而避免了冗余信息对后期图像处理的干扰。

目前，基于颜色特征的目标分割可以分为基于彩色图像与灰度图像两类，而基于生成方式的图像分割技术可以分为基于区域和特征两类。针对不同的领域，采用适合的图像分割方法可有效提高分割精度。目前较为主流的分割方法主要可以分为区域法、阈值法、边缘法及交互分割法。专利申请号为CN201910020730，名称为“一种图像分割方法及装置”，其公开了通过获取第一待分割图像和第二待分割图像并将其分割图像输入至预先训练好的图像分割模型中，通过提取分割图像的特征向量，来计算其相关性参数，从而预测分割图像，通过这种方法，可以提高图像分割的准确率和效率，但是此分割方法需要依赖于装置，受其硬件设备影响较大，使用便捷性大大受限。专利申请号为CN201811472018，名称为“胸片分割及处理方法、系统及电子设备”，其公开了先利用深度学习算法对图像数据集进行训练，得到基于深度学习的图像分割模型，再通过图像分割模型对待分割图像进行处理得到分割后的肺部区域和胸廓区域，最后根据肺部区域和胸廓区域计算肺胸比。该方法的侧重点在于计算肺胸比，但就其分割结果来看，其精度依然不够精确，若能对此精度进行提高，其计算的肺胸比结果显然可以更加准确。专利申请号为CN201810860392，名称为“融合图像分割特征的目标检测网络设计方法”，其公开了结合通用目标检测框架Mask-RCNN与图像分割特征，从而实现小目标图像分割。该方法应用于小目标时分割精度相对较高，但是对于大目标的分割精度依然不够精确。专利申请号为CN201810860454，名称为“基于Mask-RCNN的行人检测方法”，其针对将车内目标误检为行人的情况，该方法结合Mask-RCNN可以同时进行目标检测和目标分割的特性，提出一种结合目标分割结果的优化算法，由于单独使用Mask-RCNN可能导致结果会出现小目标错检、漏检、重合部分分割结果不精确等问题，若对其结果进行超像素分割，则精度会有很大的提升。

发明内容

为了解决提高目标行人图像分割的准确性，本发明提出了一种基于级联式的图像超像素目标行人分割方法，通过建立一种目标行人分割模型，对计算机视觉系统后续工作提供更精确的预处理信息。

本发明通过以下技术方案实现上述目标：一种基于级联式的图像超像素目标行人分割方法，包括如下步骤：

第1步，将源图像送至实例分割通道，输出实例分割图像，对实例分割图像拆分并提取单目标区域和分割结果：

(M，R，S₀)＝MASKRCNN(I₀) (1)

其中，MASKRCNN为实例分割函数，I₀为输入源图像，R为实例分割图像中拆分提取的单目标区域，S₀为实例分割图像中拆分并提取的分割结果，M为实例分割图像；

其中：

实例分割图像M为源图像经过实例分割之后不进行任何处理的图像；

单目标区域R为实例分割图像M进行拆分并提取后得到的单目标区域图，其范围大于目标检测框范围；式(2)为单目标区域R个数的计算公式：

B＝A±X(A∈(0，N⁺)，B∈(0，N⁺)，X∈(0，N⁺)) (2)

源图像含有A个目标对象，经过实例分割之后含有B个单目标区域R，式中X表示实例分割目标检测误差人数；

分割结果S₀为实例分割图像M经过拆分并提取得到的轮廓图像，式(3)为分割结果S₀个数的计算公式：

N＝J±X(N∈(0，N⁺)，J∈(0，N⁺)，X∈(0，N⁺)) (3)

实例分割图像M含有J个目标对象，经过拆分并提取之后含有N个分割结果S₀，式中X表示实例分割目标检测误差人数；

第2步，将单目标区域R送至超像素分割通道，输出带标签的超像素分割图像；

Q_GK＝SLIC(R) (4)

其中，SLIC为超像素分割函数，R为实例分割图像中的提取的单目标区域，Q_GK为含有K个带标签的超像素分割图像；

第3步，将超像素分割图像Q_GK中相邻超像素块中特征相似的超像素块进行合并，用N块超像素着色信息块代替超像素分割图像中的K个超像素块，最后重构出更精准的目标对象轮廓；

P_N＝C_slic(Q_GK) (5)

其中，C_slic为SLIC合并函数，Q_GK为含有K个带标签的超像素分割图像，P_N为重构的目标对象轮廓；

第4步，将分割结果S₀和目标对象轮廓P_N融合，重构出级联式分割融合图像E_i。

E_i＝NSST(P_N，S₀) (6)

其中，NSST为非下剪切波变换多尺度分析函数，P_N为目标对象轮廓，S₀为实例分割图像中拆分并提取的分割结果，E_i为重构的最终融合图像；

图像融合中使用能量滤波高低频融合规则：对经过配准的分割结果S₀和目标对象轮廓P采用能量滤波高低频融合规则进行预融合，低频信息融合采用基于图像引导滤波器的融合规则对低频系数进行融合，得到低频融合系数。高频信息融合对于超像素Q_GK中的所有像素点，利用其空间坐标找出与其对应的高频系数，并赋予其对应的标签超像素块，然后将具有相同标签的系数聚集为一个超系数块并求取每个超系数块的空间频率得到高频融合系数。最后对高频融合系数和低频融合系数进行NSST逆变换，重构出最终的融合图像E_i。

进一步的，超像素块特征合并步骤如下：

1)将超像素块设定排序，对图中相邻超像素块进行颜色与空间距离的特征差异计算，计算公式如下：

式(9)中，LAB向量采用的是CIELAB的色度空间模型，D_LAB(R_i)为超像素块间颜色空间距离，R′表示非目标区域，l_i与l_j为像素亮度的分量，a_i、a_j、b_i、b_j为颜色的分量，D_XY(R_i)为位置空间距离，x_i、x_j、y_i、y_j向量获取的是像素的空间坐标值，D(R_i)为超像素距离，δ是距离权值系数，且δ∈(0，1)；

2)将计算结果与预先设定的阈值进行比较，若特征结果小于阈值则将目标超像素块与相邻超像素块合并，若大于阈值则忽略该目标像素块，继续为下一超像素块进行特征检验；

根据超像素距离确定超像素区域相关度，计算公式如下：

C(R_i)＝1-exp(-D(R_i)) (10)

式(10)中，C(R_i)表示超像素区域相关度，D(R_i)为超像素距离，超像素距离与区域相关度成负相关。根据相关度，确定超像素块是否符合同一目标的特征信息；

根据计算所有超像素的区域相关度，利用最大类间差法求出区域相关度阈值，提取所有符合相关度阈值的超像素块作为目标超像素，计算公式如下：

式(11)中，R^*表示最终获取的目标超像素的集合，R_i为i处的目标超像素，C(R_i)表示超像素区域相关度，

为区域相关度阈值，ε为相关度阈值系数，取ε＝0.5，当ε为0.5时，特征信息能更好地划分为不同的像素集合，得到的每个子集形成一个与现实景物相对应的区域，各个区域内部具有一致的属性，而相邻区域不具有所述一致的属性；

3)迭代上述步骤，直到图像中所有超像素块都完成一次特征比较，此时生成首次合并结果图；

4)第二次合并前，刷新超像素块的特征信息及重新编排顺序，之后将首次合并结果作为本次合并操作的对象进行合并，直至第一次合并结果中的超像素块都完成特征比较，生成第二次合并结果图。

通过上述技术方案，本发明的有益效果是：现有的图像分割方法基本都是对源图像进行分割，提取的目标特征结果不够精确，尤其是分割的目标特征边缘轮廓效果不理想。本发明采用基于级联式超像素分割方法，对源图像进行级联式分割，最后使用能量滤波高低频融合规则在各个方向和各个尺度上对图像实现稀疏表示，克服伪吉布斯效应，最终实现提高图像预处理的分割精度，为后续的识别和跟踪提供了有益的分割基础

附图说明

图1是级联式超像素分割逻辑框图；

图2是车载摄像机成像简化模型图；

图3是车载视角单行人源图像；

图4是车载视角单行人实例分割图像

图5是车载视角单行人超像素分割图像；

图6是车载视角单目标行人融合标记示意图；

图7是车载视角双目标行人源图像；

图8是车载视角双目标行人实例分割图像；

图9是车载视角双目标行人融合标记示意图；

图10是昏暗双目标行人源图像；

图11是昏暗双目标行人实例分割图像；

图12是昏暗双目标行人融合标记示意图。

具体实施方式

接下来结合附图和具体分类过程对本发明做进一步的描述：

一种基于级联式的图像超像素目标行人分割方法，其逻辑框图如图1所示，该方法的具体实施步骤如下：

第1步：将源图像送至实例分割通道，输出实例分割图像，并在其基础上拆分提取单目标区域R和分割结果S₀；

第2步：将单目标区域R送至超像素分割通道，输出带标签的超像素分割图像Q_GK；

第3步：将超像素分割图像Q_GK中相邻超像素块中特征相似的超像素块进行合并重构出更精准的目标对象轮廓Q_GK；

第4步，将分割结果S₀和目标对象轮廓P_N融合，重构出最终的级联式分割融合图像E_i。

具体方案是：

本发明区别于现有的对目标行人分割算法，提出一种基于级联式超像素目标行人分割方法，通过建立一种目标行人分割模型，对计算机视觉系统后续工作提供更精确的预处理信息。

本发明通过以下技术方案实现上述目标：

第1步，将源图像送至实例分割通道，输出实例分割图像，并在其基础上拆分提取单目标区域和分割结果。

(M，R，S₀)＝MASKRCNN(I₀) (1)

其中，MASKRCNN为实例分割函数，I₀为输入源图像(长宽为2⁶倍数的源图像)，R为实例分割图像中的提取的单目标区域，S₀为实例分割中拆分提取的分割结果，M为实例分割图像。

定义1：实例分割图像M为源图像经过实例分割之后不进行任何处理的图像。

定义2：单目标区域R为实例分割图像M进行拆分提取后得到的图像，其范围一定大于目标检测框范围。式(2)为单目标区域R个数的计算公式：

B＝A±X(A∈(0，N⁺)，B∈(0，N⁺)，X∈(0，N⁺)) (2)

这里，源图像含有A个目标对象，经过实例分割之后含有B个单目标区域R，式中X表示实例分割目标检测误差人数。

定义3：分割结果S₀为实例分割图像M经过拆分提取得到的轮廓图像，式(3)为分割结果S₀个数的计算公式：

N＝J±X(N∈(0，N⁺)，J∈(0，N⁺)，X∈(0，N⁺)) (3)

这里，实例分割图像M含有J个目标对象，经过拆分提取之后含有N个分割结果S₀，式中X表示实例分割目标检测误差人数。

第2步，将单目标区域R送至超像素分割通道，输出带标签的超像素分割图像。

Q_GK＝SLIC(R) (4)

其中，SLIC为超像素分割函数，R为实例分割图像中的提取的单目标区域，Q_GK为含有K个带标签的超像素分割图像。

第3步，将超像素分割图像Q_GK中相邻超像素块中特征相似的超像素块进行合并，实现用N块超像素着色信息块代替超像素分割图像中的K个超像素块，最后重构出更精准的目标对象轮廓。

P_N＝C_slic(Q_GK) (5)

其中，C_slic为SLIC合并函数，Q_GK为含有K个带标签的超像素分割图像，P_N为重构的目标对象轮廓。

第4步，将分割结果S₀和目标对象轮廓P_N融合，重构出最终的级联式分割融合图像E_i。

E_i＝NSST(P_N，S₀) (6)

其中，NSST为非下剪切波变换多尺度分析函数，P_N为目标对象轮廓，S₀为实例分割中拆分提取的分割结果，E_i为重构的最终融合图像。

能量滤波高低频融合规则：对经过配准的分割结果S₀和目标对象轮廓P采用能量滤波高低频融合规则进行预融合，低频信息融合采用基于图像引导滤波器的融合规则对低频系数进行融合，得到低频融合系数。高频信息融合对于超像素Q_GK中的所有像素点，利用其空间坐标找出与其对应的高频系数，并赋予其对应的标签超像素块，然后将具有相同标签的系数聚集为一个超系数块并求取每个超系数块的空间频率得到高频融合系数。最后对高频融合系数和低频融合系数进行NSST逆变换，重构出最终的融合图像E_i。

超像素块特征合并步骤如下：

1)将超像素块设定排序，对图中相邻超像素块进行颜色与空间距离的特征差异计算，计算公式如下：

式(9)中，LAB向量采用的是CIELAB的色度空间模型，D_LAB(R_i)为超像素块间颜色空间距离，R′表示非目标区域，l_i与l_j为像素亮度的分量，a_i、a_j、b_i、b_j为颜色的分量，D_XY(R_i)为位置空间距离，x_i、x_j、y_i、y_j向量获取的是像素的空间坐标值，D(R_i)为超像素距离，δ是距离权值系数，且δ∈(0，1)；

2)将计算结果与预先设定的阈值进行比较，若特征结果小于阈值则将目标超像素块与相邻超像素块合并，若大于阈值则忽略该目标像素块，继续为下一超像素块进行特征检验；

根据超像素距离确定超像素区域相关度，计算公式如下：

C(R_i)＝1-exp(-D(R_i)) (10)

式(10)中，C(R_i)表示超像素区域相关度，D(R_i)为超像素距离，超像素距离与区域相关度成负相关。根据相关度，确定超像素块是否符合同一目标的特征信息；

根据计算所有超像素的区域相关度，利用最大类间差法求出区域相关度阈值，提取所有符合相关度阈值的超像素块作为目标超像素，计算公式如下：

式(11)中，R^*表示最终获取的目标超像素的集合，R_i为i处的目标超像素，C(R_i)表示超像素区域相关度，

为区域相关度阈值，ε为相关度阈值系数，取ε＝0.5，当ε为0.5时，特征信息能更好地划分为不同的像素集合，得到的每个子集形成一个与现实景物相对应的区域，各个区域内部具有一致的属性，而相邻区域不具有所述一致的属性；

3)迭代上述步骤，直到图像中所有超像素块都完成一次特征比较，此时生成首次合并结果图；

4)第二次合并前，刷新超像素块的特征信息及重新编排顺序，之后将首次合并结果作为本次合并操作的对象进行合并，直至第一次合并结果中的超像素块都完成特征比较，生成第二次合并结果图。

现有的图像分割方法基本都是对源图像进行分割，提取的目标特征结果不够精确，尤其是分割的目标特征边缘轮廓效果不理想。本发明采用基于级联式超像素分割方法，对源图像进行级联式分割，最后使用能量滤波高低频融合规则在各个方向和各个尺度上对图像实现稀疏表示，克服伪吉布斯效应，最终实现提高图像预处理的分割精度，为后续的识别和跟踪提供了有益的分割基础。也就是说，由于单独使用Mask-RCNN存在小目标错检、漏检、重合部分分割结果不精确等问题，本发明通过建立级联式超像素分割系统对图像进行分割。首先通过Mask-RCNN进行实例分割，分割之后拆分提取单目标区域R、分割结果S₀，然后对此单目标区域R进行超像素分割得到超像素分割图像Q_GK，最后制定相应的融合规则将超像素分割图像Q_GK和分割结果S₀进行融合，重构出最终的融合图像E_i。本发明通过在Mask-RCNN实例分割的结果上进行超像素单目标分割，可以提高分割精度，从而为计算机视觉系统后续工作提供更精确的预处理信息。

实施例1：

车载视角单目标行人分割情况

利用几何关系建立车载摄像机模型，其中，将目标在图像平面的高度设为h，现实世界中目标的高度为168cm，摄像机的焦距设定为12.25cm，目标与摄像机的实际距离为145cm，在视频中行人目标以1.5m/s左右的速度移动，且都保持直线移动、不改变移动速度。经过实例分割，可观察到图4中目标人物轮廓分割的不够精准。在其基础上对其精度进行提高，将其送至超像素输入通道，设置空间距离权重值为65，分割块数为225，初始步长为5，进行超像素分割。分割完成之后，使用能量滤波高低频融合规则对经过配准的单目标区域R和分割结果S₀进行融合，重构出最终的融合图像E_i，可观察到级联分割融合的图像轮廓精准度明显得到提高。

实施例2：

车载视角双目标行人分割情况

利用几何关系建立车载摄像机模型，其中，将目标在图像平面的高度设为h，现实世界中目标A的高度为168cm、目标B的高度为165cm，摄像机的焦距设定为11.25cm，目标A与摄像机的实际距离为120cm、目标B与摄像机的实际距离为195cm。在视频中含有双行人目标，以1.4m/s左右的速度对向移动，且都保持直线移动、不改变移动速度。经过实例分割，可观察到图8中目标人物轮廓分割的不够精准。在其基础上对其精度进行提高，将其送至超像素输入通道，设置空间距离权重值为75，分割块数为150，初始步长为5，进行超像素分割。分割完成之后，使用能量滤波高低频融合规则对经过配准的单目标区域R和分割结果S₀进行融合，重构出最终的融合图像E_i，可以观察到级联式分割融合的图像轮廓精准度明显得到提高。

实施例3：

昏暗环境双目标行人分割情况

利用几何关系建立摄像机模型，其中，将目标在图像平面的高度设为h，现实世界中目标A的高度为175cm、目标B的高度为165cm，摄像机的焦距设定为12.45cm，目标A与摄像机的实际距离为115cm、目标B与摄像机的实际距离为105cm。双行人目标A、B以0.5m/s左右的速度对向移动，且都保持直线移动、不改变移动速度。经过实例分割，可观察到图11中目标人物轮廓分割的不够精准。在其基础上对其精度进行提高，将其送至超像素输入通道，设置空间距离权重值为80，分割块数为200，初始步长为6，进行超像素分割。分割完成之后，使用能量滤波高低频融合规则对经过配准的单目标区域R和分割结果S₀进行融合，重构出最终的融合图像E_i，可以观察到级联式分割融合的图像轮廓精准度明显得到提高。

Claims (2)

1.一种基于级联式的图像超像素目标行人分割方法，其特征在于，包括如下步骤：

第1步，将源图像送至实例分割通道，输出实例分割图像，对实例分割图像拆分并提取单目标区域和分割结果：

(M,R,S₀)＝MASKRCNN(I₀) (1)

其中，MASKRCNN为实例分割函数，I₀为输入源图像，R为实例分割图像中拆分提取的单目标区域，S₀为实例分割图像中拆分并提取的分割结果，M为实例分割图像；

其中：

实例分割图像M为源图像经过实例分割之后不进行任何处理的图像；

单目标区域R为实例分割图像M进行拆分并提取后得到的单目标区域图，其范围大于目标检测框范围；式(2)为单目标区域R个数的计算公式：

B＝A±X(A∈(0，N⁺)，B∈(0，N⁺)，X∈(0，N⁺)) (2)

源图像含有A个目标对象，经过实例分割之后含有B个单目标区域R，式中X表示实例分割目标检测误差人数；

分割结果S₀为实例分割图像M经过拆分并提取得到的轮廓图像，式(3)为分割结果S₀个数的计算公式：

N＝J±X(N∈(0，N⁺)，J∈(0，N⁺)，X∈(0，N⁺)) (3)

实例分割图像M含有J个目标对象，经过拆分并提取之后含有N个分割结果S₀，式中X表示实例分割目标检测误差人数；

第2步，将单目标区域R送至超像素分割通道，输出带标签的超像素分割图像；

Q_GK＝SLIC(R) (4)

其中，SLIC为超像素分割函数，R为实例分割图像中的提取的单目标区域，Q_GK为含有K个带标签的超像素分割图像；

第3步，将超像素分割图像Q_GK中相邻超像素块中特征相似的超像素块进行合并，用N块超像素着色信息块代替超像素分割图像中的K个超像素块，最后重构出更精准的目标对象轮廓；

P_N＝C_slic(Q_GK) (5)

其中，C_slic为SLIC合并函数，Q_GK为含有K个带标签的超像素分割图像，P_N为重构的目标对象轮廓；

第4步，将分割结果S₀和目标对象轮廓P_N融合，重构出级联式分割融合图像E_i。

E_i＝NSST(P_N,S₀) (6)

其中，NSST为非下剪切波变换多尺度分析函数，P_N为目标对象轮廓，S₀为实例分割图像中拆分并提取的分割结果，E_i为重构的最终融合图像；

图像融合中使用能量滤波高低频融合规则：对经过配准的分割结果S₀和目标对象轮廓P采用能量滤波高低频融合规则进行预融合，低频信息融合采用基于图像引导滤波器的融合规则对低频系数进行融合，得到低频融合系数。高频信息融合对于超像素Q_GK中的所有像素点，利用其空间坐标找出与其对应的高频系数，并赋予其对应的标签超像素块，然后将具有相同标签的系数聚集为一个超系数块并求取每个超系数块的空间频率得到高频融合系数。最后对高频融合系数和低频融合系数进行NSST逆变换，重构出最终的融合图像E_i。

2.如权利要求1所述的基于级联式的图像超像素目标行人分割方法，其特征在于，超像素块特征合并步骤如下：

1)将超像素块设定排序，对图中相邻超像素块进行颜色与空间距离的特征差异计算，计算公式如下：

式(9)中，LAB向量采用的是CIELAB的色度空间模型，D_LAB(R_i)为超像素块间颜色空间距离，R′表示非目标区域，l_i与l_j为像素亮度的分量，a_i、a_j、b_i、b_j为颜色的分量，D_XY(R_i)为位置空间距离，x_i、x_j、y_i、y_j向量获取的是像素的空间坐标值，D(R_i)为超像素距离，δ是距离权值系数，且δ∈(0,1)；

2)将计算结果与预先设定的阈值进行比较，若特征结果小于阈值则将目标超像素块与相邻超像素块合并，若大于阈值则忽略该目标像素块，继续为下一超像素块进行特征检验；

根据超像素距离确定超像素区域相关度，计算公式如下：

C(R_i)＝1-exp(-D(R_i)) (10)

式(10)中，C(R_i)表示超像素区域相关度，D(R_i)为超像素距离，超像素距离与区域相关度成负相关。根据相关度，确定超像素块是否符合同一目标的特征信息；

根据计算所有超像素的区域相关度，利用最大类间差法求出区域相关度阈值，提取所有符合相关度阈值的超像素块作为目标超像素，计算公式如下：

式(11)中，R^*表示最终获取的目标超像素的集合，R_i为i处的目标超像素，C(R_i)表示超像素区域相关度，

为区域相关度阈值，ε为相关度阈值系数，取ε＝0.5，当ε为0.5时，特征信息能更好地划分为不同的像素集合，得到的每个子集形成一个与现实景物相对应的区域，各个区域内部具有一致的属性，而相邻区域不具有所述一致的属性；

3)迭代上述步骤，直到图像中所有超像素块都完成一次特征比较，此时生成首次合并结果图；

4)第二次合并前，刷新超像素块的特征信息及重新编排顺序，之后将首次合并结果作为本次合并操作的对象进行合并，直至第一次合并结果中的超像素块都完成特征比较，生成第二次合并结果图。

Images