CN106875436B - 一种基于特征点密度由聚焦堆栈估计深度的方法和装置 - Google Patents

Abstract

本发明公开了一种基于特征点密度由聚焦堆栈估计深度的方法和装置，所述方法包括：提取聚焦堆栈中每个图像的特征点，建立基于特征点密度的聚焦测度；建立引入特征点密度的加权聚焦测度的估计深度的模型：以采用SML聚焦测度为例，建立SML与特征点密度的加权线性混合聚焦测度作为深度估计的目标函数，实现对场景深度的估计和全聚焦图。本发明的方案，建立关于特征点密度的聚焦测度及建立线性加权聚焦测度，并构建基于聚焦测度的深度估计模型，获取场景的深度信息，以实现场景的全聚焦与三维重构，可为现实三维重构提供精确的深度信息并获取全聚焦图像。

Description

一种基于特征点密度由聚焦堆栈估计深度的方法和装置

技术领域

本发明涉及计算机视觉与数字图像处理领域，尤其涉及一种基于特征点密度由聚焦堆栈估计深度的方法和装置。

背景技术

场景三维信息的数字化拓展了人类对三维空间的认知和表达方式，基于图像的三维重建一直是计算视觉的研究热点。场景深度信息重构可为虚拟现实、增强现实以及摄影测量等提供三维信息，是重构三维场景的关键。

目前，基于图像的场景深度估计的方法主要分为立体视觉方法和单目视觉方法。对于立体视觉方法，深度估算方法以视差法较为常见，视差法以不同视点图像间产生的视差作为深度估计的依据，其核心问题在于匹配，因此视差法在平滑区域和遮挡区域存在较大误差。

对于单目视觉方法而言，主要是利用聚焦和失焦信息。在同一场景不同聚焦深度图像的变焦数据实现对场景的深度估计，聚焦法核心问题在于聚焦度测量。图像中点距离聚焦平面距离的不同，相应地聚焦程度也不一样。目前，对图像上像素点的聚焦程度的刻画，大多采用散焦测度或聚焦测度，从而计算物点的深度。散焦测度的深度估计是利用系统点扩散函数反推求解，进行深度估计。对聚焦测度的刻画，应用比较广泛的有：Modifield-Laplacian、the Tenengard Algorithm和Gray-Level Variance、小波变换和信息熵等。但是，现有技术中的聚焦测度方法在图像纹理区域检测的准确性不高。

发明内容

本发明的目的在于提供一种基于特征点密度由聚焦堆栈估计深度的方法和装置，其能够弥补常规聚焦测度方法在纹理区域检测不准确的问题。

为实现上述目的，本发明提供一种基于特征点密度由聚焦堆栈估计深度的方法，所述方法包括：提取聚焦堆栈中每个图像的特征点，根据所述每个图像的特征点得到特征点密度的聚焦测度；利用特征点密度的聚焦测度和已有的聚焦测度，建立线性加权的聚焦测度，根据所述线性加权的聚焦测度得到图像中任意像素点的聚焦测度值；根据图像中任意像素点的聚焦测度值估计图像中物点的深度。

进一步地，所述提取聚焦堆栈中每个图像的特征点，具体根据透镜与探测器的相互运动或改变透镜的焦距，提取出聚焦堆栈中每个图像的特征点。

进一步地，所述建立特征点密度的聚焦测度具体为：

其中，R_(x,y)(d)为像素点(x,y)的特征点密度的聚焦测度，表示落入像素点(x,y)邻域Ω(x,y)内的特征点数，S_d(x_m,y_m)表示点m在深度d下的图像坐标。

进一步地，所述已有的聚焦测度具体为改进的拉普拉斯(SML)聚焦测度，相应的，所述利用特征点密度的聚焦测度和已有的聚焦测度，建立的线性加权的聚焦测度，具体为

其中，

for

表示SML聚焦测度，为改进的拉普拉斯算子，I_d(x,y)表示在d深度下所成图像，step表示SML算子中的步进值，参数N决定计算像素点(x,y)的聚焦测度的窗口大小，α∈[0,1]是平衡聚焦测度算子与特征点测度算子的权重。

进一步地，所述根据图像中任意像素点的聚焦测度值估计图像中物点的深度，具体包括：

计算图像中像素点(x,y)的聚焦测度{focus_(x,y)(d_k)|k＝1,2,…,N}；

深度估计方式为d(x,y)＝argmax_d{focus_(x,y)(d_k)}，其中，N表示聚焦堆栈图像的总数，focus_(x,y)(d_k)表示图像在d_k深度下像素点(x,y)的聚焦测度值。

本发明还提供一种基于特征点密度由聚焦堆栈估计深度的装置，所述装置包括：第一处理模块，用于提取聚焦堆栈中每个图像的特征点，根据所述每个图像的特征点得到特征点密度的聚焦测度；第二处理模块，用于根据所述第一处理模块得到的特征点密度的聚焦测度和已有的聚焦测度，建立线性加权的聚焦测度，根据所述线性加权的聚焦测度得到图像中任意像素点的聚焦测度值；深度估计模块，用于根据所述第二处理模块得到的图像中任意像素点的聚焦测度值估计图像中物点的深度。

进一步地，所述第一处理模块包括提取单元和处理单元；所述提取单元，用于根据透镜与探测器的相互运动或改变透镜的焦距，提取出聚焦堆栈中每个图像的特征点；所述处理单元，用于根据所述提取单元提取的所述每个图像的特征点得到特征点密度的聚焦测度。

进一步地，所述第一处理模块包括提取单元和处理单元；

所述处理单元建立的特征点密度的聚焦测度具体为：

式中，R_(x,y)(d)为像素点(x,y)的特征点密度的聚焦测度，表示落入像素点(x,y)邻域Ω(x,y)内的特征点数。

进一步地，所述已有的聚焦测度具体为SML聚焦测度，所述第二处理模块建立的线性加权的聚焦测度，具体为

其中，

for

表示SML聚焦测度，为改进的拉普拉斯算子，I_d(x,y)表示在d深度下所成图像，step表示SML算子中的步进值，参数N决定计算像素点(x,y)的聚焦测度的窗口大小，α∈[0,1]是平衡聚焦测度算子与特征点测度算子的权重。

进一步地，所述深度估计模块具体包括计算单元和深度估计单元；

所述计算单元，用于计算图像中像素点(x,y)的聚焦测度{focus_(x,y)(d_k)|k＝1,2,…,N}；

所述深度估计单元，采用的深度估计方式为d(x,y)＝argmax_d{focus_(x,y)(d_k)}，其中，N表示聚焦堆栈图像的总数，focus_(x,y)(d_k)表示图像在d_k深度下像素点(x,y)的聚焦测度值。

本发明提供的方案，考虑物点在不同深度下聚焦程度，利用聚焦测度和特征点的稠密度进行刻画。本发明以聚焦堆栈为数据，提取聚焦堆栈图像的特征点，建立关于特征点密度的聚焦测度函数。利用特征点密度的聚焦测度和已有的聚焦测度，建立线性加权聚焦测度。最后，建立基于聚焦测度的深度估计模型，获取场景的深度信息，以实现场景的全聚焦与三维重构，避免了现有技术的常规聚焦测度在图像纹理区域存在不准确的缺陷。

附图说明

图1是根据本发明第一实施例提供的基于特征点密度由聚焦堆栈估计深度的方法流程示意图。

图2是根据本发明第一实施例提供的成像设备拍摄聚焦堆栈原理图。

图3是根据本发明第一实施例提供的透镜成像的聚焦散焦原理图。

图4是根据本发明第二实施例提供的基于特征点密度由聚焦堆栈估计深度的装置结构示意图。

具体实施方式

在附图中，使用相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面结合附图对本发明的实施例进行详细说明。

在本发明的描述中，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。

如图1所示，本实施例所提供的基于特征点密度由聚焦堆栈估计深度的方法包括：

步骤101，通过成像设备获取聚焦堆栈。该步骤中，成像设备包括透镜和探测器，聚焦堆栈的生成过程是聚焦在不同成像面的过程，可根据透镜与探测器的相互运动或改变透镜的焦距完成聚焦堆栈中图像序列的采集，本实施例采用前者，即沿成像设备的光轴同步移动探测器和透镜，通过探测器采集场景中物点(物体由多个物点组成)聚焦在不同成像面的图像序列，这些图像序列形成聚焦堆栈，根据如下的透镜成像原理：

上述的“图像序列”中的各图像探测器沿成像设备的光轴从一端向另一端移动的过程中依次排序获得。容易理解的是，本发明实施例提供的方法同样可以应用于其它类似方式聚焦堆栈采集的场景。

如图2所示，图2的左侧包括Focus Plane1和Focus Plane2，示出的是场景中的两个物面位置(下文简称为“物点平面”)，Focus Plane1对应的物面位置是(x,y)平面，FocusPlane2对应的物面位置是(x′,y′)平面。右侧包括S1和S2，示出的是像方的两个平面。中间包括Lens1和Lens2，示出的是透镜所在的两个平面位置，Lens1对应的物面是(u,v)平面，Lens2对应的物面是(u‘,v’)平面。

该步骤的具体操作方法如图2所示，聚焦堆栈的获取过程如下：

通过沿着光轴移动透镜或探测器，即如图2中示出地，透镜从(u,v)平面移动到(u′,v′)平面，探测器对应的物面从(x,y)平面移动到(x′,y′)平面，(u,v)平面经由(u,v)平面在S1平面上成像，(u′,v′)平面经由(u′,v′)平面在S2平面上成像。当然，本实施例提供的方法同样可以应用于其他类似方式聚焦堆栈采集的场景。

步骤102，提取步骤101获得的聚焦堆栈中的所有特征点，建立关于特征点密度的聚焦测度。本步骤需要提取的特征点指的是聚焦堆栈中每一幅图像中的所有特征点。

如图3所示，图3中的Object表示场景中的物点，Focal plane表示物点平面，Lens表示透镜，sensor表示探测器，virtual表示Focal plane对应的虚拟聚焦面，即成像平面d₀为物点Object到透镜Lens的距离，d为透镜Lens与virtual之间的距离，f为透镜Lens的焦距，场景中的物点object在成像平面的成像素点为点Q，d′为成像平面I_δ(x,y)上成像为以r为半径的圆斑，即散焦，r表示散焦斑半径。

图像在不同深度下的聚焦程度，可利用聚焦测度、散焦测度或特征点稠密度进行刻画。聚焦测度值或特征点测度值最大时，则场景中的物点在图像上聚焦，从而能够获知物点所在深度具体方法如下：

提取聚焦堆栈在深度d下图像的特征点feature_1，feature_2，…，feature_M，记特征点feature_m在深度d下的图像坐标为S_d(x_m,y_m)，建立基于特征点密度的聚焦测度，该聚焦测度可表示为：

式中，Ω(x,y)表示点(x_m,y_m)的邻域。“其它”表示Ω(x,y)之外的范围。也就是说，如果点(x_m,y_m)落入像素点(x,y)邻域Ω(x,y)内，则(x_m,y_m)是特征点，此时的为1，否则为0。

R_(x,y)(d)记为像素点(x,y)的特征点密度，表示落入像素点(x,y)邻域Ω(x,y)内的特征点数。当图像聚焦时，R_(x,y)(d)的值达到最大。

根据光学成像原理，物点在聚焦平面上成像是最清晰的，随着聚焦面与透镜之间的距离的增加而逐渐变得模糊。成像的聚焦程度，基于数字图像分析处理的聚焦测度来判断，本发明场景深度估计的过程就是求取聚焦测度值最大的过程。

对于聚焦测度方法，一般有基于空域边缘的聚焦测度、基于变换域的聚焦测度、信息熵与统计学等。而基于空域边缘的聚焦测度有：梯度能量函数、灰度差分绝对值之和、Brenner函数、Tenengard函数、Laplacian函数、SML(Sum-Modified-Laplacian，改进的拉普拉斯)函数；基于变换域的聚焦测度有：傅里叶变换、离散余弦变换和小波变换。

本发明以SML(Sum-Modified-Laplacian)函数获得聚焦测度函数，建立引入特征点密度的聚焦测度。SML聚焦测度是常规的聚焦测度，对图像中每个像素点进行聚焦计算，计算公式如下：

for

式中，是常规的SML聚焦测度。参数N决定计算像素点(x,y)的聚焦测度的窗口大小。

为改进的拉普拉斯算子，其表达式为：

式中，I_d(x,y)表示在d深度下所成的图像，即步骤101中在深度d的图像；step表示SML算子中的步进值，可根据聚焦堆栈中图像的边缘信息进行选取。

步骤103：利用步骤102获得的特征点密度的聚焦测度R_(x,y)(d)和已有的聚焦测度，建立线性加权的聚焦测度，得到步骤101的聚焦堆栈中的每一幅图像中任意像素点的聚焦测度值。已有的聚焦测度的指的上面提及的常规聚焦测度

具体地，该步骤得到引入特征点密度和SML聚焦测度的线性加权的聚焦测度，其表达式为：

式中，参数α∈[0,1]，是平衡聚焦测度算子与特征点测度算子的权重。因此，步骤101的聚焦堆栈中各图像中的任意像素点的聚焦测度值均可利用上式计算得出。

步骤104：利用步骤103中线性加权的聚焦测度，即利用聚焦测度和聚焦判别算子的表达式，得到步骤101的聚焦堆栈中各图像中任意像素点的聚焦测度值，估计各图像中物点的深度。

计算场景中物点的深度，可利用图像中像素点(x,y)聚焦测度进行深度估算。对于一组N维聚焦堆栈{I_k|k＝1,2,…,N}，根据新建的聚焦测度，计算聚焦堆栈中每一幅图像中的像素点(x,y)的聚焦测度为{focus_(x,y)(d_k)|k＝1,2,…,N}。

该步骤得到像素点(x,y)的深度估计公式为：

式中，N表示聚焦堆栈中图像的总幅数，focus_(x,y)(d_k)表示图像在d_k深度下像素点(x,y)的聚焦测度值。

基于聚焦测度的深度估计的过程就是寻找像素点聚焦测度最大的过程。由于成像设备拍摄的聚焦堆栈具有深度不连续性，在本发明中，采用最小二乘法拟合曲线获取更精确的深度值，根据聚焦测度和已估算的深度信息，得到全聚焦图像，为三维重构提供深度信息和获取全聚焦图像。

参见图4，本发明实施例提供了一种基于特征点密度由聚焦堆栈估计深度的装置，装置包括：

第一处理模块201，用于提取聚焦堆栈中每个图像的特征点，根据每个图像的特征点得到特征点密度的聚焦测度；

第二处理模块202，用于根据第一处理模块201得到的特征点密度的聚焦测度和已有的聚焦测度，建立线性加权的聚焦测度，根据线性加权的聚焦测度得到图像中任意像素点的聚焦测度值；

深度估计模块203，用于根据第二处理模块202得到的图像中任意像素点的聚焦测度值估计图像中物点的深度。

其中，第一处理模块201包括提取单元和处理单元；

提取单元，用于根据透镜与探测器的相互运动或改变透镜的焦距，提取出聚焦堆栈中每个图像的特征点；

处理单元，用于根据提取单元提取的每个图像的特征点得到特征点密度的聚焦测度。

焦测度值或特征点测度值最大时，则场景中的物点在图像上聚焦，从而能够获知物点所在深度具体方法如下：

提取聚焦堆栈在深度d下图像的特征点feature_1，feature_2，…，feature_M，记特征点feature_m在深度d下的图像坐标为S_d(x_m,y_m)，建立基于特征点密度的聚焦测度，该聚焦测度可表示为：

式中，Ω(x,y)表示点(x_m,y_m)的邻域。“其它”表示Ω(x,y)之外的范围。也就是说，如果点(x_m,y_m)落入像素点(x,y)邻域Ω(x,y)内，则(x_m,y_m)是特征点，此时的为1，否则为0。

R_(x,y)(d)记为像素点(x,y)的特征点密度，表示落入像素点(x,y)邻域Ω(x,y)内的特征点数。当图像聚焦时，R_(x,y)(d)的值达到最大。

根据光学成像原理，物点在聚焦平面上成像是最清晰的，随着聚焦面与透镜之间的距离的增加而逐渐变得模糊。成像的聚焦程度，基于数字图像分析处理的聚焦测度来判断，本发明场景深度估计的过程就是求取聚焦测度值最大的过程。

本发明实施例中，已有的聚焦测度具体为SML聚焦测度，第二处理模块202建立的线性加权的聚焦测度，具体如上述实施例，此次不再赘述。

具体的，深度估计模块203具体包括计算单元和深度估计单元；

计算单元，用于计算图像中像素点(x,y)的聚焦测度{focus_(x,y)(d_k)|k＝1,2,…,N}；

深度估计单元，采用的深度估计方式为d(x,y)＝argmax_d{focus_(x,y)(d_k)}，其中，N表示聚焦堆栈中图像的总幅数，focus_(x,y)(d_k)表示图像在d_k深度下像素点(x,y)的聚焦测度值。

本发明提供的基于特征点密度由聚焦堆栈估计深度的装置，基于聚焦测度的深度估计的过程就是寻找像素点聚焦测度最大的过程。由于成像设备拍摄的聚焦堆栈具有深度不连续性，在本发明中，采用最小二乘法拟合曲线获取更精确的深度值，根据聚焦测度和已估算的深度信息，得到全聚焦图像，为三维重构提供深度信息和获取全聚焦图像。

最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种基于特征点密度由聚焦堆栈估计深度的方法，其特征在于，所述方法包括：

提取聚焦堆栈中每个图像的特征点，根据所述每个图像的特征点得到特征点密度的聚焦测度，建立特征点密度的聚焦测度具体为：

其中，R_(x,y)(d)为像素点(x,y)的特征点密度的聚焦测度，表示落入像素点(x,y)邻域Ω(x,y)内的特征点数，S_d(x_m,y_m)表示点m在深度d下的图像坐标；

利用特征点密度的聚焦测度和已有的聚焦测度，建立线性加权的聚焦测度，根据所述线性加权的聚焦测度得到图像中任意像素点的聚焦测度值；其中：所述已有的聚焦测度具体为改进的拉普拉斯聚焦测度，相应的，所述利用特征点密度的聚焦测度和已有的聚焦测度，建立的线性加权的聚焦测度，具体为

其中，

表示改进的拉普拉斯聚焦测度，为改进的拉普拉斯算子，I_d(x,y)表示在d深度下所成图像，step表示改进的拉普拉斯算子中的步进值，参数N决定计算像素点(x,y)的聚焦测度的窗口大小，α∈[0,1]是平衡聚焦测度算子与特征点测度算子的权重；

根据图像中任意像素点的聚焦测度值估计图像中物点的深度。

2.如权利要求1所述的方法，其特征在于，所述提取聚焦堆栈中每个图像的特征点，具体根据透镜与探测器的相互运动或改变透镜的焦距，提取出聚焦堆栈中每个图像的特征点。

3.如权利要求1所述的方法，其特征在于，所述根据图像中任意像素点的聚焦测度值估计图像中物点的深度，具体包括：

计算图像中像素点(x,y)的聚焦测度{focus_(x,y)(d_k)|k＝1,2,…,N}；

深度估计方式为d(x,y)＝argmax_d{focus_(x,y)(d_k)}，其中，N表示聚焦堆栈图像的总数，focus_(x,y)(d_k)表示图像在d_k深度下像素点(x,y)的聚焦测度值。

4.一种基于特征点密度由聚焦堆栈估计深度的装置，其特征在于，所述装置包括：

第一处理模块，用于提取聚焦堆栈中每个图像的特征点，根据所述每个图像的特征点得到特征点密度的聚焦测度，所述第一处理模块包括提取单元和处理单元；所述处理单元建立的特征点密度的聚焦测度具体为：

式中，R_(x,y)(d)为像素点(x,y)的特征点密度的聚焦测度，表示落入像素点(x,y)邻域Ω(x,y)内的特征点数；

第二处理模块，用于根据所述第一处理模块得到的特征点密度的聚焦测度和已有的聚焦测度，建立线性加权的聚焦测度，根据所述线性加权的聚焦测度得到图像中任意像素点的聚焦测度值，所述已有的聚焦测度具体为SML聚焦测度，所述第二处理模块建立的线性加权的聚焦测度，具体为

其中，

表示SML聚焦测度，为改进的拉普拉斯算子，I_d(x,y)表示在d深度下所成图像，step表示SML算子中的步进值，参数N决定计算像素点(x,y)的聚焦测度的窗口大小，α∈[0,1]是平衡聚焦测度算子与特征点测度算子的权重；

深度估计模块，用于根据所述第二处理模块得到的图像中任意像素点的聚焦测度值估计图像中物点的深度。

5.如权利要求4所述的装置，其特征在于，所述第一处理模块包括提取单元和处理单元；

所述提取单元，用于根据透镜与探测器的相互运动或改变透镜的焦距，提取出聚焦堆栈中每个图像的特征点；

所述处理单元，用于根据所述提取单元提取的所述每个图像的特征点得到特征点密度的聚焦测度。

6.如权利要求5所述的装置，其特征在于，所述深度估计模块具体包括计算单元和深度估计单元；

所述计算单元，用于计算图像中像素点(x,y)的聚焦测度{focus_(x,y)(d_k)|k＝1,2,…,N}；

所述深度估计单元，采用的深度估计方式为d(x,y)＝argmax_d{focus_(x,y)(d_k)}，其中，N表示聚焦堆栈图像的总数，focus_(x,y)(d_k)表示图像在d_k深度下像素点(x,y)的聚焦测度值。