CN102831582B - 一种微软体感装置深度图像增强方法 - Google Patents

Abstract

本发明公开了一种微软体感装置深度图像增强方法。它包括以下步骤：对彩色图像和深度图像分别作边缘检测，并以两个边缘图像为输入，采用区域生长法得到错误像素所在的区域；移除错误像素深度值；用区域生长法在无效像素周围构建平滑区域；用双边滤波法估计平滑区域中无效像素深度值；用双边滤波法估计剩余无效像素深度值，得到增强后的深度图像。本发明首次指出深度图像和对应的彩色图像边缘不匹配的问题是由错误像素引起的，进而提出了错误像素的检测方法。本发明能够有效的填补Kinect深度图像的空洞，并且很好地解决了深度图像边缘不匹配的问题，极大地提高了Kinect深度图像的质量。

Description

一种微软体感装置深度图像增强方法

技术领域

本发明涉及一种深度图像增强方法，更具体的说是一种微软体感装置深度图像增强方法。

背景技术

Kinect是微软发布的一款廉价的深度图像获取设备。它能够以30fps的速度同时产生大小为640×480的彩色图像和深度图像。由于这种廉价和实时的特性，Kinect发布不久就被广泛用在了医院、图书馆、报告厅等互动场所。

由于测量原理的限制，Kinect的深度图像在物体的边缘附近和反射率较差的表面会产生空洞，并且，深度图像的边缘和对应的彩色图像的边缘往往不是匹配的。

为了解决空洞填补问题，研究人员尝试了一些填补方法。传统的方法主要分为基于像素的方法和基于点云的方法。基于像素方法的思想是将深度图像看成普通的灰度图像，将空洞看成是待修复的区域。这样，空洞填补的问题转化成了传统的图像修复问题。这类方法主要利用彩色信息作指导，通过插值、快速修复和置信度传播等图像修复的方法来估计无效点的深度值。但是，由于深度图像的边缘和彩色图像的边缘并不匹配，所以物体边缘的深度信息是不可靠的，估计出的深度值往往也不准确。

基于点云方法的思想是将深度图像当作描述物体表面的数据，这样，空洞填补的问题就转化为物体表面补全的问题。这类方法首先将深度图像数据转化为点云数据，通过点云重构出3D表面，然后依据表面结构的特性（如形状的相似性、表面法向量之间的关系等等）来找到与空洞最匹配的图像块。这类方法缓和了第一类方法中估计出的深度值不准确的问题，但并没有彻底解决这个问题。并且，这类方法需要重构出3D表面，对于不需要3D重构的应用来说，增加了不必要的计算量。

对于深度图像边缘和彩色图像边缘不匹配的问题，现有的方法主要是发掘深度图像序列的信息，用较长的时间窗口滤波来得到稳定的深度图像边缘。这种方法需要对相邻的图像进行运动估计，由于图像噪声等因素的影响，图像序列的运动估计并不十分准确，并且计算量也较大。

发明内容

为了解决Kinect深度图像中存在的上述问题，本发明提供了一种微软体感装置深度图像增强方法。本发明可以作为对Kinect深度数据的前处理而广泛地运用于各种kinect实际系统中。

本发明解决上述技术问题的技术方案包括以下步骤：

1）对Kinect彩色图像和深度图像分别作边缘检测，得到彩色图像边缘和深度图像边缘；

2）以两个边缘图像为输入，采用区域生长法得到两个边缘图像中间的区域，即错误像素所在的区域；

3）移除错误像素深度值；

4）用区域生长法在无效像素周围构建平滑区域；

5）用双边滤波法估计平滑区域中无效像素的深度值。

6）用双边滤波法估计剩余无效像素深度值，得到一幅边缘与彩色图像边缘一致的无空洞的深度图像；

上述的微软体感装置深度图像增强方法中，所述步骤1)为：

将从Kinect采集的彩色图像和深度图像分别转为8位灰度图像，然后对两幅8位灰度图像采用Canny边缘检测算法分别进行边缘检测。其中，Canny边缘检测的上限阈值和下限阈值分别为200和100。

上述的微软体感装置深度图像增强方法中，所述步骤2)包括以下步骤：

a)用区域生长法分别在彩色图像边缘和深度图像边缘构建区域，形成掩模图像mask1和掩模图像mask2。

其中深度图像边缘构建区域的方法为：以深度图像边缘上的所有的像素为种子进行区域生长，直到碰到彩色图像边缘或者达到指定距离为止。

其中彩色图像边缘构建区域的方法为：以彩色图像边缘上的所有的像素为种子进行区域生长，直到遇到深度图像边缘或者达到指定距离为止。

b)将深度边缘图像进行形态学膨胀操作。

c)将掩模图像mask1和掩模图像mask2按像素求与操作得到掩模图像mask4，然后将掩模图像mask4和掩模图像mask3按像素求或操作得到掩模图像mask5,此即为错误像素检测的结果，其中非零像素表示错误像素。

上述的微软体感装置深度图像增强方法中，所述步骤4)为：在以每一个无效像素P_i为中心的5×5窗口中进行区域生长，并在其周围构建平滑区域。

上述的微软体感装置深度图像增强方法中，所述步骤5)中双边滤波法为：

$D_i^E=\underset{C_i-C_j<T}{\underset{j\&Element;\mathrm{\&Omega;}{D}_j\&NotElement;0}{\mathrm{\&Sigma;}}}\frac{G_s(i-j)G_c(C_i-C_j)D_j}{G_s(i-j)G_c(C_i-C_j)}---\left(1\right)$

其中，Ω为P_i周围的平滑区域，为像素P_i的深度估计值，D_j为像素P_j的深度值，G_s和G_c为均值为0，方差为1.5和3的高斯函数。i-j为像素P_i与P_j的欧氏距离，C_i-C_j为像素P_i与P_j在彩色空间的欧氏距离。T为一个给定的阈值，其值为40。且参与计算的像素个数达到3时估计值才被采纳。

重复双边滤波，直至平滑区域内的没有无效像素或者虽有无效像素但其估计值均不被采纳为止。

上述的微软体感装置深度图像增强方法中，所述步骤6)中对于剩余无效像素采用的双边滤波法为：

$D_i^E=\underset{j\&Element;\mathrm{\&Omega;}{D}_j\&NotElement;0}{\mathrm{\&Sigma;}}\frac{G_s(i-j)G_c(C_i-C_j)D_j}{G_s(i-j)G_c(C_i-C_j)}---\left(2\right)$

其中，P_i为平滑区域外的无效像素，即剩余无效像素；Ω为像素P_i的一个邻域，大小为5×5，为像素P_i的深度估计值，D_j为像素P_j的深度值，G_s和G_c为均值为0，方差为1.5和3的高斯函数；i-j为像素P_i与P_j的欧氏距离；C_i-C_j为像素P_i与P_j在彩色空间的欧氏距离；T为一个给定的阈值，其值为40；且参与计算的像素个数达到3时，估计值才被采纳；重复双边滤波，直至没有剩余无效像素或者虽有无效像素但其估计值均不被采纳为止。

由于采用上述技术方案，本发明的技术效果在于：本发明采用去除错误像素的办法来避免用错误的深度值估计无效点的深度值，使得深度值估计更准确。此外，由于去除了错误像素，使得深度图像边缘与对应的彩色图像边缘相匹配。为了更精确地估计无效点的深度值，用区域生长法在无效点附近构建平滑区域，并用平滑区域中有效的像素来估计无效点的深度值，使得估计出的深度值的误差达到最小，从而得到一幅完整的高准确度的深度图像。本发明有效的填补Kinect深度图像的空洞，并且很好地解决了深度图像边缘不匹配的问题，极大地提高了Kinect深度图像的质量，并对深度图像的后续处理具有重大意义和实用价值。

下面结合附图对本发明作进一步的说明。

附图说明

图1为本发明的流程图。

图2为本发明实施例中检测错误像素所在区域示意图。

图3为本发明实施例中深度图像空洞填充示意图。

图4为图像增强实例，其中（a）为双边滤波法所得图像，（b）为本发明方法所得图像。

具体实施方式

参见图1，图1为本发明的流程图，其具体实施步骤如下:

1对Kinect彩色图像和深度图像分别作边缘检测，得到彩色图像边缘和深度图像边缘。

将从Kinect采集的彩色图像和深度图像分别转为8位灰度图像，然后对这两幅8位灰度图像分别进行边缘检测，得到彩色边缘图像和深度边缘图像。边缘检测方法具体采用Canny边缘检测算法（Canny边缘检测算法的具体实施细节参考于1986年发表在IEEE Transactions on Pattern Analysis andMachine Intelligence上的论文John Canny,“A computational approach toedge detection”.IEEE Trans.Pattern Analysis and Machine Intelligence,vol.8,no.6,pp.679-714.）。其中，Canny边缘检测的上限阈值和下限阈值分别为200和100。

2以两个边缘图像为输入，采用区域生长法得到两个边缘图像中间的区域，即错误像素所在区域，如图2所述，具体包含：

1）用区域生长法分别在彩色图像边缘和深度图像边缘构建区域，形成掩模图像mask1和掩模图像mask2。

其中，在深度图像边缘构建区域的方法为：对于每一个深度图像边缘上的像素，以此像素为种子进行区域生长，直到碰到彩色图像边缘或者达到窗口边界为止。具体步骤为：

步骤1：对于深度图像边缘上的每一个像素，如果它不在彩色图像边缘上，则将它放入待考察像素集A中；

步骤2：对A中的每一像素P，分别考察其四邻域，被考察点如果不在彩色图像边缘上且在以P为中心的9×9的考察窗口之内，则将该点放入待考察像素集A中，然后将P从A中移除，直到A为空集为止。

彩色图像边缘构建区域的方法为：以彩色图像边缘上的所有的像素为种子进行区域生长，直到遇到深度图像边缘或者达到指定的距离为止。

2）将深度边缘图像用3×3的模板进行形态学膨胀操作，得到掩模图像mask3。

3）将掩模图像mask1和掩模图像mask2按像素求与操作得到掩模图像mask4，然后将掩模图像mask4和掩模图像mask3按像素求或操作得到掩模图像mask5,此即为错误像素检测的结果，其中非零像素表示错误像素。

3移除错误像素深度值。

4用区域生长的方法在无效像素周围构建平滑区域。

如图3所示，对于每一个无效像素P_i，在以此像素为中心的5×5窗口中进行区域生长，并在其周围构建平滑区域。

5用双边滤波法估计平滑区域中无效像素的深度值。

如图3所示，采用以下双边滤波法来估计此无效像素的深度值：

$D_i^E=\underset{C_i-C_j<T}{\underset{j\&Element;\mathrm{\&Omega;}{D}_j\&NotElement;0}{\mathrm{\&Sigma;}}}\frac{G_s(i-j)G_c(C_i-C_j)D_j}{G_s(i-j)G_c(C_i-C_j)}---\left(1\right)$

其中Ω为P_i周围的平滑区域，为像素P_i的深度估计值，D_j为像素P_j的深度值，G_s和G_c为均值为0，方差为1.5和3的高斯函数。i-j为像素P_i与P_j在图像空间的欧氏距离，C_i-C_j为像素P_i与P_j在彩色空间的欧氏距离。T为一个给定的阈值，其值为40。

为了精确地估计无效点的深度值，只有参与计算的像素个数达到3时估计值才被采纳。为了填补较大的空洞，采取循环的方法实施双边滤波，直至平滑区域内的没有无效像素或者虽有无效像素但其估计值均不被采纳为止。

6用双边滤波法估计剩余无效像素的深度值，得到一幅边缘与彩色图像边缘一致的无空洞的深度图像。

如图3所示，采用以下双边滤波来估计它的深度值：

$D_i^E=\underset{j\&Element;\mathrm{\&Omega;}{D}_j\&NotElement;0}{\mathrm{\&Sigma;}}\frac{G_s(i-j)G_c(C_i-C_j)D_j}{G_s(i-j)G_c(C_i-C_j)}---\left(2\right)$

其中，P_i为平滑区域外的无效像素，即剩余无效像素；Ω为像素P_i的一个邻域，大小为5×5；为像素P_i的深度估计值，D_j为像素P_j的深度值，G_s和G_c为均值为0，方差为1.5和3的高斯函数；i-j为像素P_i与P_j的欧氏距离；C_i-C_j为像素P_i与P_j在彩色空间的欧氏距离；T为一个给定的阈值，其值为40；且参与计算的像素个数达到3时，估计值才被采纳；重复双边滤波，直至没有剩余无效像素或者虽有剩余无效像素但其估计值均不被采纳为止。

本发明所提供的方法与一般双边滤波法进行了比较，如图4所示。从图4中可以看出，本方法既有效的填补了空洞，也极大地增强了边缘的稳定性，使深度图像和彩色图像的边缘匹配良好。

Claims (1)

1.一种微软体感装置深度图像增强方法，包括以下步骤：

1）将从Kinect采集的彩色图像和深度图像分别转为8位灰度图像，然后对两幅8位灰度图像采用Canny边缘检测算法分别进行边缘检测，其中，Canny边缘检测的上限阈值和下限阈值分别为200和100，得到彩色图像边缘和深度图像边缘；

2）以两个边缘图像为输入，采用区域生长法得到两个边缘图像中间的区域，即错误像素所在的区域；具体步骤为：

a)用区域生长法分别在彩色图像边缘和深度图像边缘构建区域，形成掩模图像mask1和掩模图像mask2；

b)将深度边缘图像进行形态学膨胀操作；

c)将掩模图像mask1和掩模图像mask2按像素求与操作得到掩模图像mask4，然后将掩模图像mask4和掩模图像mask3按像素求或操作得到掩模图像mask5,此即为错误像素检测的结果，其中非零像素表示错误像素；

3）移除错误像素深度值；

4）用区域生长法在无效像素周围构建平滑区域；

5）用双边滤波法估计平滑区域中无效像素的深度值；

6）用双边滤波法估计剩余无效像素深度值，得到一幅边缘与彩色图像边缘一致的无空洞的深度图像。

2.根据权利要求1所述的微软体感装置深度图像增强方法，所述深度图像边缘构建区域的方法为：以深度图像边缘上的所有的像素为种子进行区域生长，直到碰到彩色图像边缘或者达到指定距离为止。

3.根据权利要求1所述的微软体感装置深度图像增强方法，所述彩色图像边缘构建区域的方法为：以彩色图像边缘上的所有的像素为种子进行区域生长，直到遇到深度图像边缘或者达到指定距离为止。

4.根据权利要求1所述的微软体感装置深度图像增强方法，所述步骤4)为：在以每一个无效像素                                               为中心的5×5窗口中进行区域生长，并在其周围构建平滑区域。