CN107578419B - 一种基于一致性轮廓提取的立体图像分割方法 - Google Patents

Abstract

本发明实施例公开了一种基于一致性轮廓提取的立体图像分割方法，包括输入立体图像左视图、左视图分割图像及立体图像右视图；根据立体图像左右视图，计算立体匹配项；根据立体图像左视图、左视图分割图像及立体图像右图像预估立体图像右视图分割概率图，并提取及修正分割概率图的预估轮廓线条，且进一步计算基于图像补丁的轮廓项；根据立体匹配项及基于图像补丁的轮廓项，合成轮廓概率图；采用测地线距离计算出轮廓概率图的最优轮廓线；扫描最优轮廓线，获得立体图像的右视图分割图像。实施本发明，既能获得高质量的立体图像分割效果，又有较快的运行效率。

Description

一种基于一致性轮廓提取的立体图像分割方法

技术领域

本发明涉及计算机图形图像处理技术领域，尤其涉及一种基于一 致性轮廓提取的立体图像分割方法。

背景技术

最近几年，立体媒体越来越受到人们的关注，使得立体图像的编 辑也变得越来越重要。然而，立体图像分割是立体图像编辑的基础， 因此进行精确的立体图像分割就显得尤为迫切。

到目前位置，单个图像的分割方法已经非常成熟，例如Carsten Rother,VladimirKolmogorov,and Andrew Blake(2004)在ACM Trans. Graph.23(3):309-314上发表的论文“grabcut”:Interactive fore-ground extraction using iterated graph cuts，其提出的GrabCut方法，用户仅仅 需要在物体附近画一个矩形框或者使用着色线条表明要求的前景和 背景区域，就能获得高质量的图像分割结果，并已在OpenCV上采用 GPU加速获得了实时的性能。

但是，立体图像分割不仅仅局限于单个图像分割，而是建立在对 立体图像左右视图分别采用单个图像分割操作基础上，可是这种最直 接的立体图像分割方法不仅需要大量的用户交互，而且很难保证获得 左右一致性的立体分割结果。

为了克服上述方法所存在的问题，众多学者已开始研究采用立体 视差图同时对立体图像左右视图进行图像分割的方法。目前，众多学 者所研究出的立体图像分割方法大致可以分为三类：基于区域的立体 图像分割方法、基于着色线条的立体图像分割方法和基于轮廓提取的 立体图像分割方法。

基于区域的立体图像分割方法采用左右视图像中每个像素之间 的立体相关性，根据立体图像左视图的分割结果来推导出对应的立体 图像右视图分割结果，但是缺点在于：不仅分割效果严重依赖于立体 视差图的质量，而且计算立体视差图也将消耗大量的时间。例如， Wan-Yen Lo,Jeroen van Baar,Claude Knaus,Matthias Zwicker,and MarkusGross(2010)在ACM Trans.Graph.29(6):147:1-147:10上发 表的论文Stereoscopic 3dcopy&paste，通过立体视差图建立了立体图 像左右视图的一致性关系，并根据左视图分割结果来获得一致性的立 体图像右视图分割结果。

基于着色线条的立体图像分割方法不同于基于区域的立体图像 分割方法，该方法通过立体一致性，仅仅迁移用户的着色线条，然后 分别对立体图像左右视图单独进行立体图像分割，但是依然需要计算 立体相关性，以及分别对立体图像左右视图进行图像分割操作，需要 消耗大量的时间。例如，Wei Ma,Luwei Yang,Yu Zhang,and Lijuan Duan(2016)在Multimedia Tools and Applications,75(18):10935-10948 上发表的论文Fastinteractive stereo image segmentation，提出采用立 体图像的稀疏立体一致性来代替原先的稠密立体视差图来提高立体 图像分割的效率；又如，W H.Emrah Tasli andA.Aydin Alatan(2013) 在Image Commun,28(10):1374-1389上发表的论文User assisteddisparity remapping for stereo images，提出利用稀疏立体一致性，把立 体图像左视图中的着色线条自动迁移到立体图像右视图中，随后利用 基于图割的能量最优化模型对立体图像左右视图分别进行图像分割 操作来提高立体图像分割的效果。

基于轮廓提取的立体图像分割方法还是相对比较少。例如，Ran Ju,Tongwei Ren,and GangshanWu(2015)The IEEE International Conference on Computer Vision(ICCV)上发表的论文Stereosnakes: Contour based consistent object extractionfor stereo images，提出根据立 体图像左视图分割物体的轮廓，结合立体相关性和图像色彩直方图来 推导立体图像右视图分割物体轮廓，该方法虽然提高了图像分割的效 率，但是由于采用图像色彩直方图来预测图像遮挡区域，在遮挡区域 的图像分割结果很难获得满意的质量，而且该方法假设立体图像右视 图轮廓图的像素和左视图中的轮廓像素数量是一致的。由于存在遮挡 区域，这个假设是不成立的，因此，该方法在提取遮挡区域的轮廓效 果很难令人满意。

综上所述，众多学者所研究的立体图像分割方法都无法获得高质 量的立体图像分割效果，也无法具有较快的运行效率。因此，有必要 提供一种既能获得高质量的立体图像分割效果，又有较快的运行效率 的立体图像分割方法。

发明内容

本发明实施例的目的在于提供一种基于一致性轮廓提取的立体 图像分割方法，既能获得高质量的立体图像分割效果，又有较快的运 行效率。

为了解决上述技术问题，本发明实施例提供了一种基于一致性轮 廓提取的立体图像分割方法，包括步骤：

S1、输入立体图像左视图、左视图分割图像及立体图像右视图；

S2、根据所述立体图像左右视图，计算立体匹配项；

S3、根据所述立体图像左视图、左视图分割图像及立体图像右视 图，预估立体图像右视图分割概率图，并根据所述预估的立体图像右 视图分割概率图，提取及修正预估轮廓线条，且进一步根据所述修正 后的预估轮廓线条，计算基于图像补丁的轮廓项；

S4、根据所述计算出的立体匹配项及基于图像补丁的轮廓项，合 成轮廓概率图；

S5、采用测地线距离计算出所述合成的轮廓概率图的最优轮廓线；

S6、扫描所述计算出的最优轮廓线，获得立体图像的右视图分割 图像。

其中，所述步骤S2中立体匹配项是通过公式

来实现；

其中，p_i，p_j为像素位置索引，p_i为左视图分割图像轮廓线上的 像素，

为以p_i为中心的m×m的局部区域，m＝5，d(p_i)为像素p_i的视差值，C_AD为绝对误差和算法，且

c表示彩色图像的三个通道。

其中，所述步骤S3中“预估立体图像右视图分割概率图”的具体 步骤包括：

分别构建立体图像左视图和右视图立体图像的特征向量，特征向 量的构建如下：

式中，

为以p_i为中心的m×m的 局部区域，

为以p_i为中心的m×m图像补丁，m＝5；

采用预设的搜索策略在立体图像左视图中搜索与立体图像右视 图中每个像素点最相似的图像补丁；

通过公式I_Rmask(p_i)＝I_Lmask(p_j)，预估立体图像右视图分割概率图； 其中，I_Lmask为左视图分割图像，p_i，p_j为像素位置索引，p_j为右视图 中像素p_i在立体图像左视图中找到的最相似图像补丁的中心位置。

其中，所述采用预设的搜索策略在立体图像左视图中搜索与立体 图像右视图中每个像素点最相似的图像补丁的步骤具体包括：

在立体图像右视图中的被遮挡像素采用全局范围搜索策略搜索 最相似补丁；其中，所述全局范围搜索策略是将搜索范围确定为立体 图像左视图整个图像；

在立体图像右视图中的非遮挡像素采用扫描线搜索策略搜索最 相似补丁；其中，所述扫描线搜索策略是将搜索范围确定为立体图像 左视图沿着相同水平线在[0,d_max]视差范围内；d_max为预估立体图像最 大视差值；

其中，立体图像右视图中被遮挡像素和非遮挡像素的区分是通过 以下步骤实现，具体包括：采用扫描线搜索策略在立体图像左视图中 搜索和立体图像右视图中某一像素P_r最相似补丁的像素，搜索到的 像素设为P_l，然后同样采用扫描线搜索策略在立体图像右视图中搜索

其中，所述步骤S3中“根据所述预估的立体图像右视图分割概率 图，提取及修正预估轮廓线条”的具体步骤包括：

采用逐行扫描立体图像右视图分割概率图，并待扫描到立体图像 右视图分割概率图中某一像素为非零且以该像素为中心的3×3区域 内至少包含一个非零像素后，则保留该像素点为轮廓点，且进一步将 所保留的轮廓点绘制成预估轮廓线条；

统计预估轮廓线条中封闭曲线的个数，并按照封闭曲线围成的面 积从小到大排列；

设定面积阈值A_h＝βA_k，移除预估轮廓线条中面积小于阈值A_h的 封闭曲线，得到修正后的预估轮廓线条；其中，β为权重参数，设定 为0.8，A_k为已排完序的第k个封闭曲线的面积，k为左视图分割图 像中封闭曲线的个数。

其中，所述步骤S3中“根据所述修正后的预估轮廓线条，计算基于图像补 丁的轮廓项”是通过公式

来 实现；其中，d_c(q_i)为像素点q_i到预估轮廓线条的最短距离，D为权重参数，设 定为D＝10，T_d为阈值，设定为20；

C_r为修正后的预估轮 廓线条，d(q_i,q_j)为两个像素之间的欧拉距离。

其中，所述步骤S4中“轮廓概率图”是通过公式 C_C(p_i,d(p_i))＝C_S(p_i,d(p_i))×C_O(p_i,d(p_i))来实现；其中，C_S为立体匹配项，C_O为基 于图像补丁的轮廓项。

其中，所述步骤S5中的“最优轮廓线”是通过求解公式

最优解来实现；其中，C_m为 左视图分割图像轮廓线，N(p_i,p_i-1)为轮廓连续性项，当像素p_i-1为像 素p_i的8邻域时，轮廓连续性项的值为0，否则轮廓连续性项的值为 ∞。

其中，所述步骤S6具体包括：

依次逐行从左到右扫描，如果像素值为0，表示该点为背景，直 到扫描到像素值为1的点，表示该点为左轮廓点，继续扫描直到扫描 到像素值为0的点，表示左轮廓线结束，该点为前景，接着继续扫描 直到再次扫描到像素值为1的点且其对应下一个像素点的像素值为0 时，表示该点为右轮廓点，

将左轮廓点和右轮廓点之间的像素均填充为1，重复此步骤，直 到整个最优轮廓线填充完整，获得立体图像的右视图分割图像。

实施本发明实施例，具有如下有益效果：

本发明利用立体图像的极线约束，在能量最优化框架中除了加入 了立体匹配项，同时加入了基于图像补丁的轮廓项，根据这两项合成 了轮廓概率图，随后采用测地线距离计算最优轮廓线。提出的基于一 致性轮廓提取的立体图像分割方法能对立体图像进行一致性的图像 分割，特别是在图像遮挡区域，也能取得很好的立体分割效果，从而 达到既能获得高质量的立体图像分割效果，又有较快运行效率的目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面 将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而 易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域 普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图 获得其他的附图仍属于本发明的范畴。

图1为本发明实施例提供的一种基于一致性轮廓提取的立体图 像分割方法的流程图；

图2为本发明立体图像分割技术流程框架图；

图3为本发明提出的两种搜索最相似的图像补丁的策略图，全局 范围搜索策略和扫描线搜索策略；

图4为本发明采用不同代价匹配项的最优化结果图；

图5为本发明与目前主流的立体图像分割方法效果对比图；

图6为本发明对多组立体图像进行图像分割的结果图，其中第一 至三列依次为立体图像左视图、右视图和左视图分割图像，第四列和 第五列为本发明方法获得右视图最优轮廓图和最优右视图分割图像， 第六列为标准的右视图分割图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合 附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描 述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，为本发明实施例中，提出的一种基于一致性轮廓提 取的立体图像分割方法，包括步骤：

步骤S1、输入立体图像左视图、左视图分割图像及立体图像右 视图；

具体过程为，输入立体图像左视图I_L，左视图分割图像I_Lmask， 立体图像右视图I_R。

步骤S2、根据所述立体图像左右视图，计算立体匹配项；

具体过程为，通过公式

计算立体 匹配项C_S；

其中，p_i，p_j为像素位置索引，p_i为左视图分割图像轮廓线上的 像素，

为以p_i为中心的m×m的局部区域，m＝5，d(p_i)为像素p_i的视差值，C_AD为绝对误差和算法，且

c表示彩色图像的三个通道。

步骤S3、根据所述立体图像左视图、左视图分割图像及立体图 像右视图，预估立体图像右视图分割概率图，并根据所述预估的立体 图像右视图分割概率图，提取及修正预估轮廓线条，且进一步根据所 述修正后的预估轮廓线条，计算基于图像补丁的轮廓项；

具体过程为，(a)预估立体图像右视图分割概率图；

(i)分别构建立体图像左视图和右视图立体图像的特征向量， 特征向量的构建如下：

式中，

为以p_i为中心的m×m 的局部区域，

为以p_i为中心的m×m图像补丁，m＝5；

(ii)采用预设的搜索策略(两种搜索策略：全局范围搜索策略 和扫描线搜索策略)在立体图像左视图中搜索与立体图像右视图中每 个像素点最相似的图像补丁；

右视图中的被遮挡的像素采用全局范围搜索策略搜索最相似补 丁，右视图中的非遮挡像素采用扫描线搜索策略搜索最相似补丁；即 全局范围搜索策略是将搜索范围确定为立体图像左视图整个图像；扫 描线搜索策略是将搜索范围确定为立体图像左视图沿着相同水平线 在[0,d_max]视差范围内；d_max为预估立体图像最大视差值；

立体图像右视图中被遮挡像素和非遮挡像素的区分是通过以下 步骤实现，具体包括：采用扫描线搜索策略在立体图像左视图中搜索 和立体图像右视图中某一像素P_r最相似补丁的像素，搜索到的像素 设为P_l，然后同样采用扫描线搜索策略在立体图像右视图中搜索和立 体图像左视图中像素P_l最相似补丁的像素，搜索到的像素设为P′_r；如 果像素P_r和像素P′_r为同一点，则像素P_r为非遮挡像素；反之，如果 像素P_r和像素P′_r为不同点，则像素P_r为被遮挡像素。

(iii)通过公式I_Rmask(p_i)＝I_Lmask(p_j)，预估立体图像右视图分割概 率图；其中，I_Lmask为左视图分割图像，p_i，p_j为像素位置索引，p_j为 右视图中像素p_i在立体图像左视图中找到的最相似图像补丁的中心 位置。

(b)根据预估立体图像右视图分割概率图，提取预估轮廓线条 以及修正预估轮廓线条；

(i)采用逐行扫描立体图像右视图分割概率图，并待扫描到立 体图像右视图分割概率图中某一像素为非零且以该像素为中心的 3×3区域内至少包含一个非零像素后，则保留该像素点为轮廓点，且 进一步将所保留的轮廓点绘制成预估轮廓线条；

(ii)统计预估轮廓线条中封闭曲线的个数，并按照封闭曲线围 成的面积从小到大排列；

(iii)设定面积阈值A_h＝βA_k，移除预估轮廓线条中面积小于阈值 A_h的封闭曲线，得到修正后的预估轮廓线条；其中，β为权重参数， 设定为0.8，A_k为已排完序的第k个封闭曲线的面积，k为左视图分 割图像中封闭曲线的个数。

(c)根据预估轮廓线条，计算基于图像补丁的轮廓项；

根据预估轮廓线条，计算基于图像补丁的轮廓项C_O：

式中，d_c(q_i)为像素点q_i到预估轮廓线条的最短距离，D为权重 参数，设定为D＝10，T_d为阈值，设定为20；如果像素点q_i到预估轮 廓线条的最短距离超过了设定的阈值T_d，意味着该像素点不可能成为 最终的轮廓点，d_c(q_i)的值为无穷大；

像素点q_i到预估轮廓线条的最短距离d_c(q_i)的计算方式如下：

式中，C_r为立体图像右视图中修正后的预 估轮廓，d(q_i,q_j)为两个像素之间的欧拉距离。

步骤S4、根据所述计算出的立体匹配项及基于图像补丁的轮廓 项，合成轮廓概率图；

具体过程为，根据立体匹配项和基于图像补丁的轮廓项，合成轮 廓概率图C_C：

C_C(p_i,d(p_i))＝C_S(p_i,d(p_i))×C_O(p_i,d(p_i))

式中，C_S为立体匹配项，该项能精确的计算左右视图中未遮挡区 域一致性的轮廓，但是逐像素的匹配没有考虑到遮挡问题；C_O为基 于图像补丁的轮廓项，该项估计了右视图中像素成为轮廓点的概率， 特别是能很好的检测遮挡区域成为轮廓点的概率。

步骤S5、采用测地线距离计算出所述合成的轮廓概率图的最优 轮廓线；

具体过程为，采用测地线距离计算最优轮廓图为求解如下最优化 问题：

即通过求解公式

)最优解 来实现；其中，C_m为左视图分割图像轮廓线，N(p_i,p_i-1)为轮廓连续性 项，因为封闭轮廓具有连续性，因此当像素p_i-1为像素p_i的8邻域时， 轮廓连续性项的值为0，否则轮廓连续性项的值为∞，由此可见，最 优化问题的求解转化为找到视差值d(p_i)，使得能量值E(p_i,d(p_i))取得 最小值；需要说明的是，在本发明方法中左视图分割图像轮廓线上的 点和需要提取的右视图分割图像轮廓线上的点允许存在一对多的对 应关系。采用测地线距离计算轮廓概率图的最优轮廓线，其包括三个 步骤：

(i)确定轮廓起止点；修正后的每个封闭轮廓曲线的质心记为 M＝(M_L1,M_L2,…,M_Lm)，首先沿着质心的横坐标搜索合成轮廓概率图 的最小值，该点标记为轮廓线的起点p_m，为了确定轮廓的起始位置， 采用广度优先搜索策略进行搜索，该搜索策略分为四个步骤：(1)初 始化队列仅包含一个像素p_t＝p_m；(2)搜索像素p_t的8邻域中最小的 和次小的像素(不包括像素p_t)，分别标记为p_s和p_e；(3)如果三个像 素p_t，p_s和p_e的纵坐标互不相等，即p_t[y]≠p_s[y]≠p_e[y]，其中[y]为提 取像素的纵坐标；则轮廓线的起始点p_start设置为p_s，终点p_end设置为 p_e，程序结束；否则，删除队列队首像素，把像素p_s和p_e插入队列， 进入程序第4步；(4)队列队首像素出列赋值给像素p_t，重复步骤2 直到队列为空；

(ii)计算轮廓线的起点p_start到轮廓线的终点p_end的测地线距离；

在计算轮廓线的起点p_start到轮廓线的终点p_end的测地线距离之前， 轮廓概率图必须为非封闭区域，可以采用如下策略：如果像素和p_t邻近且该像素的纵坐标和p_t相同，则该点在轮廓概率图中的值设置为 无穷大；

合成轮廓概率图中两个相邻像素之间的距离计算如下：

d_H(p_i,p_j)＝|C_C(p_i,d(p_i))-C_C(p_j,d(p_j))|

沿着曲线C＝{p₁,p₂,L,p_m}(前后两点位于8邻域中)，轮廓线的起 点p_start到轮廓线的终点p_end的测地线距离计算如下：

测地线距离则定义为连接起点到终点所有曲线的距离的最小值

因为测地点距离获得的曲线是所有连接起点和终点曲线的能量 最小值，且曲线前后两点之间是连续的，所以计算获得的测地线距离 所经过的曲线则为右视图轮廓图；轮廓点的值标记为1，其它点的值 标记为0；

步骤S6、扫描所述计算出的最优轮廓线，获得立体图像的右视 图分割图像。

具体过程为，依次逐行从左到右扫描，如果像素值为0，表示该 点为背景，直到扫描到像素值为1的点，表示该点为左轮廓点，继续 扫描直到扫描到像素值为0的点，表示左轮廓线结束，该点为前景， 接着继续扫描直到再次扫描到像素值为1的点且其对应下一个像素 点的像素值为0时，表示该点为右轮廓点，

将左轮廓点和右轮廓点之间的像素均填充为1，重复此步骤，直 到整个最优轮廓线填充完整，获得立体图像的右视图分割图像。

如图2所示，对本发明实施例中的基于一致性轮廓提取的立体图 像分割方法工作原理做进一步说明，图2为立体图像分割技术流程框 架图，该方法可以概括为以下六个个步骤：首先用户输入立体图像左 右视图以及立体图像左视图分割图；然后根据输入的立体图像左右视 图，计算立体匹配项；以及根据输入的立体图像左右视图和左视图分 割图像，计算基于图像补丁的轮廓项；然后根据立体匹配项和基于图 像补丁的轮廓项，合成轮廓概率图；随后采用测地线距离计算最优轮 廓线；最后根据轮廓线，获得立体图像右视图分割图。

图3为本发明提出的两种搜索最相似的图像补丁策略的应用场 景图，包括全局范围搜索策略和扫描线搜索策略。

为了验证本发明方法能量最优化框架中立体匹配项和基于图像 补丁的轮廓项对提取立体图像右视图分割图的影响，图4显示了本发 明采用不同代价匹配项的最优化结果。从图4中可以看出，仅仅使用 立体匹配项的最优化能量框架针对未遮挡区域，立体图像左右视图的 轮廓线能很好的匹配，但是针对遮挡区域，因为右视图中的像素在左 视图中不能找到匹配点，因此立体匹配项在遮挡区域出现了很大的偏 差，相比较本发明方法提出的基于图像补丁的轮廓项能很好的处理遮 挡区域的轮廓线提取，而合并立体匹配项和基于图像补丁的轮廓项则 更进一步提升了右视图最优轮廓线的精度，获得了高质量的立体图像 右视图分割结果。

为了定量计算立体图像分割的效果，我们计算了本方法获得的最 优右视图分割图和标准右视图分割图之间的误判率，误判率 PUM(Percentage of unmatching pixels)的计算公式如下：

式中，p为像素位置索引，N为整个立体右视图像素的个数， M_S(p)为本方法获得的最优右视图分割图，M^G(p)为标准右视图分割 图，#为计数操作，统计满足条件|M_S(p)-M_G(p)|≠0的像素个数。误 判率越低，表示获得的最优右视图分割图和标准右视图分割图越接近。

图5显示了本发明与目前主流的立体图像分割方法效果对比。轮 廓跟踪方法，例如Contour tracking(CT)目标为跟踪物体的运动，该方 法对跟踪物体轮廓的要求不需要太精确；视频分割方法，例如 Snapcut(SN)是以视频中物体运动为特性进行的物体分割；协同分割 方法，例如Co-segmentation(CO)通过两个或者多个不同视角的图片， 进行协同分割，这三种方法都是以多张照片或者视频中物体运动的特 性进行图像分割，而立体图像则具有更加严格的限制，比如极线约束。 从图5中可以看出这三种方法的误判率都较高，相比较立体图像分割 方法，例如Stereo cut(SC)和Stereo snake(SS)在立体图像分割的时候都加入了极线约束，Stereo cut(SC)是基于区域的立体分割方法，该方 法的图像分割效果依赖于概率密度函数，而Stereo snake(SS)和本发明 方法则是基于轮廓提取的立体分割方法，相比于Stereo snake(SS)使用 简单的立体图像色彩直方图来推导立体图像右视图分割物体轮廓，本 发明方法提出的基于图像补丁的轮廓项能更好的处理图像遮挡区域 的轮廓线提取。

其中，Contour tracking(CT)方法由Chih-Yuan Chung and Homer H Chen 2010年发表在IEEE Transactions on Circuits and Systems for Video Technology 20卷1期149-155页上的论文Video object extraction via mrf-based contour tracking提出。

Snapcut(SN)方法由Xue Bai,Jue Wang,David Simons,and Guillermo Sapiro2009年发表在ACM Trans.Graph.28卷3期 70:1-70:11页上的论文Video snapcut:Robustvideo object cutout using localized classifiers提出。

Co-segmentation(CO)方法由D.Batra,A.Kowdle,D.Parikh,J.Luo, and T.Chen2010年发表在In Computer Vision and Pattern Recognition (CVPR),2010IEEEConference on,3169-3176页上的论文icoseg: Interactive co-segmentation withintelligent scribble guidance提出。

Stereo cut(SC)方法由B.L.Price and S.Cohen 2011年发表在In2011International Conference on Computer Vision,1148-1155页上的论 文Stereocut:Consistent interactive object selection in stereo image pairs 提出。

Stereo snake(SS)方法由Ran Ju,Tongwei Ren,and Gangshan Wu 2015年发表在In The IEEE International Conference on Computer Vision(ICCV),1724-1732页上的论文Stereosnakes:Contour based consistent object extraction for stereo images提出。

为了定量的计算本发明方法和主流的立体图像分割方法的误判 率，我们测试了31组立体图像对(立体图像左右视图以及标准的立体 图像左右视图分割图来源于Middlebury数据集(参见 http://vision.middlebury.edu/stereo/)和Adobe开放数据集(参见 https://sourceforge.net/adobe/adobedatasets/home/Home/)，这些数据集 具有非常强的纹理特性而且包换了不同深度的物体)，定量的立体图 像分割精度见表1。

表1

从表1中可以看出本发明方法、Stereo cut(SC)和Stereo snake(SS) 方法由于采用了更为严格的极线约束，因此误判率要低于其它三种方 法，需要特别说明的是，本发明方法的误判率是最低的。因此本发明 方法获得了最高质量的立体图像分割效果。

图6为本发明对多组立体图像进行图像分割的结果，其中第一至 三列依次为立体图像左视图、右视图和左视图分割图像，第四列和第 五列为本发明方法获得右视图最优轮廓图和最优右视图分割图像，第 六列为标准的右视图分割图像。从图6中可以看出，本发明方法针对 遮挡区域、色彩重叠以及摄像头运动的立体图像分割均取得了高质量 的立体分割结果。

实施本发明实施例，具有如下有益效果：

本发明利用立体图像的极线约束，在能量最优化框架中除了加入 了立体匹配项，同时加入了基于图像补丁的轮廓项，根据这两项合成 了轮廓概率图，随后采用测地线距离计算最优轮廓线。提出的基于一 致性轮廓提取的立体图像分割方法能对立体图像进行一致性的图像 分割，特别是在图像遮挡区域，也能取得很好的立体分割效果，从而 达到既能获得高质量的立体图像分割效果，又有较快的运行效率的目 的。

本领域普通技术人员可以理解实现上述实施例方法中的全部或 部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以 存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、 磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明， 凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等， 均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于一致性轮廓提取的立体图像分割方法，其特征在于，包括步骤：

S1、输入立体图像左视图、左视图分割图像及立体图像右视图；

S2、根据所述立体图像左右视图，计算立体匹配项；

S3、根据所述立体图像左视图、左视图分割图像及立体图像右视图，预估立体图像右视图分割概率图，并根据所述预估的立体图像右视图分割概率图，提取及修正预估轮廓线条，且进一步根据所述修正后的预估轮廓线条，计算基于图像补丁的轮廓项；

S4、根据所述计算出的立体匹配项及基于图像补丁的轮廓项，合成轮廓概率图；

S5、采用测地线距离计算出所述合成的轮廓概率图的最优轮廓线；

S6、扫描所述计算出的最优轮廓线，获得立体图像的右视图分割图像；

所述步骤S2中立体匹配项是通过公式

来实现；

其中，p_i为左视图分割图像轮廓线上的像素，

为以p_i为中心的m×m的局部区域，m＝5，d(p_i)为像素p_i的视差值，C_AD为绝对误差和算法，且

c表示彩色图像的三个通道；

所述步骤S3中“预估立体图像右视图分割概率图”的具体步骤包括：

分别构建立体图像左视图和右视图立体图像的特征向量，特征向量的构建如下：

式中，

为以p_i为中心的m×m的局部区域，

为以p_i为中心的m×m图像补丁，m＝5；

采用预设的搜索策略在立体图像左视图中搜索与立体图像右视图中每个像素点最相似的图像补丁；

通过公式I_Rmask(p_i)＝I_Lmask(p_j)，预估立体图像右视图分割概率图；其中，I_Lmask为左视图分割图像，p_j为右视图中像素p_i在立体图像左视图中找到的最相似图像补丁的中心位置；

所述采用预设的搜索策略在立体图像左视图中搜索与立体图像右视图中每个像素点最相似的图像补丁的步骤具体包括：

在立体图像右视图中的被遮挡像素采用全局范围搜索策略搜索最相似补丁；其中，所述全局范围搜索策略是将搜索范围确定为立体图像左视图整个图像；

在立体图像右视图中的非遮挡像素采用扫描线搜索策略搜索最相似补丁；其中，所述扫描线搜索策略是将搜索范围确定为立体图像左视图沿着相同水平线在[0,d_max]视差范围内；d_max为预估立体图像最大视差值；

其中，立体图像右视图中被遮挡像素和非遮挡像素的区分是通过以下步骤实现，具体包括：采用扫描线搜索策略在立体图像左视图中搜索和立体图像右视图中某一像素P_r最相似补丁的像素，搜索到的像素设为P_l，然后同样采用扫描线搜索策略在立体图像右视图中搜索和立体图像左视图中像素P_l最相似补丁的像素，搜索到的像素设为P′_r如果像素P_r和像素P′_r为同一点，则像素P_r为非遮挡像素；反之，如果像素P_r和像素P′_r为不同点，则像素P_r为被遮挡像素；

所述步骤S3中“根据所述预估的立体图像右视图分割概率图，提取及修正预估轮廓线条”的具体步骤包括：

采用逐行扫描立体图像右视图分割概率图，并待扫描到立体图像右视图分割概率图中某一像素为非零且以该像素为中心的3×3区域内至少包含一个非零像素后，则保留该像素点为轮廓点，且进一步将所保留的轮廓点绘制成预估轮廓线条；

统计预估轮廓线条中封闭曲线的个数，并按照封闭曲线围成的面积从小到大排列；

设定面积阈值A_h＝βA_k，移除预估轮廓线条中面积小于阈值A_h的封闭曲线，得到修正后的预估轮廓线条；其中，β为权重参数，设定为0.8，A_k为已排完序的第k个封闭曲线的面积，k为左视图分割图像中封闭曲线的个数；

所述步骤S3中“根据所述修正后的预估轮廓线条，计算基于图像补丁的轮廓项”是通过公式

来实现；其中，d_c(q_i)为像素点q_i到预估轮廓线条的最短距离，D为权重参数，设定为D＝10，T_d为阈值，设定为20；

C_r为修正后的预估轮廓线条，d(q_i,q_j)为两个像素之间的欧拉距离；

所述步骤S4中“轮廓概率图”是通过公式C_C(p_i,d(p_i))＝C_S(p_i,d(p_i))×C_O(p_i,d(p_i))来实现；其中，C_S为立体匹配项，C_O为基于图像补丁的轮廓项；

所述步骤S5中的“最优轮廓线”是通过求解公式

最优解来实现；其中，C_m为左视图分割图像轮廓线，N(p_i,p_i-1)为轮廓连续性项，当像素p_i-1为像素p_i的8邻域时，轮廓连续性项的值为0，否则轮廓连续性项的值为∞。

2.如权利要求1所述的立体图像分割方法，其特征在于，所述步骤S6具体包括：

依次逐行从左到右扫描，如果像素值为0，表示该点为背景，直到扫描到像素值为1的点，表示该点为左轮廓点，继续扫描直到扫描到像素值为0的点，表示左轮廓线结束，该点为前景，接着继续扫描直到再次扫描到像素值为1的点且其对应下一个像素点的像素值为0时，表示该点为右轮廓点，

将左轮廓点和右轮廓点之间的像素均填充为1，重复此步骤，直到整个最优轮廓线填充完整，获得立体图像的右视图分割图像。

Images