CN105184857A - 基于点结构光测距的单目视觉重建中尺度因子确定方法 - Google Patents

Abstract

基于点结构光测距的单目视觉重建中尺度因子确定方法，该方法包括光斑质心中心定位、空间直线拟合、RANSAC排异、求取光斑三维空间点坐标、尺度因子的求取。针对传统的基于图像序列的单目视觉三维重建方法大多只能实现射影尺度或仿射尺度下的三维重建，本发明提出一种利用点结构光作为辅助来实现单目视觉的欧氏三维重建方法,使得利用图像序列重建后的三维场景与现实世界场景的尺度保持一致。本发明的技术特征如下：(1)单目重建引入结构光主动视觉实现欧氏三维重建，(2)质心法光斑定位，(3)加入RANSAC剔除机制的激光器射线方程拟合，(4)反投影优化的光斑空间点定位，(5)单目重建各种方法的欧氏重建不受限制。

Description

基于点结构光测距的单目视觉重建中尺度因子确定方法

技术领域

本发明属于计算机视觉领域，涉及利用点结构光实现基于图像序列的欧氏三维重建的方法。

背景技术

视觉是人类最重要的感知手段,大约有80％的外界信息是通过眼睛被人接收的。正是因为视觉对人类的重要性,随着数字计算机的飞速发展,让计算机也具有视觉,能够处理视觉信息就成了一项非常诱人的研究课题。这样,就导致了计算机视觉这一学科的产生和发展。

计算机视觉的研究中一个很重要的部分就是对获得的动态图像序列进行分析处理,以得到有用信息。动态图像是针对运动的物体或景物而言的,他们不仅是空间位置的函数,而且是随时间变化的,它为我们提供了比单一图像更丰富的信息。在对某一景物拍摄到的图像序列中,相邻两帧图像间至少有一部分像素的灰度及色彩发生了变化,这个图像序列就称之为动态图像序列。

近年来随着计算机视觉领域研究的迅速发展，利用图像序列中的二维信息来恢复真实世界三维结构的问题也是其中热点问题和重要研究方向之一。不管国内还是国际上相关领域的研究人员针对这些问题已经提出了一些较为有效的解决方法。其中,基于图像序列的单目视觉三维重建方法以其重建约束限制条件少、重建所需预知的信息量少、适宜对大尺度场景进行重建的优点,成为了解决该问题的一类最主要的方法。在多视图几何中一个重要的理论模式就是层次理论，它定义了一个关于从真实场景到其重建模型的等级层次，层次理论涉及的变换主要有射影变换、仿射变换、相似变换和欧氏变换。然而,传统的基于图像序列的单目视觉三维重建方法大多只能实现射影尺度或仿射尺度下的三维重建,即重建后的结果与现实世界场景尺度相差一个尺度因子,这样就会限制其在现实中的应用。针对于此,本发明提出一种利用点结构光作为辅助来实现单目视觉的欧氏三维重建方法,使得利用图像序列重建后的三维场景与现实世界场景的尺度保持一致,并与此同时提高三维重建算法的鲁棒性和精确性。

根据光学投射器所投射的光束模式的不同，结构光模式又可以分为点结构光模式、线结构光模式、多线结构光模式以及网格结构光模式等。单纯的利用单目视觉得到的三维场景无法达到欧氏三维场景真实重建效果，本发明利用点结构光和单目相机实现欧氏三维重建。激光器发出的光束投射到物体表面上产生一个光点，光点经摄像机的镜头成像在摄像机的像平面上，形成一个二维像点。摄像机的视线和光束线在空间中于光点处相交，并由其可以唯一确定光点在某一已知世界坐标系中的空间位置，进而求得空间尺度因子达到欧式三维重建的效果。

本发明通过设计以点结构光为辅助的单目立体视觉对真实场景实现真实尺度的欧氏三维重建。原理图如附图1所示。首先，固定靶标(8×11的黑白棋盘格)和激光器，将靶标放在相机视野范围内，拍摄一张图片(图中如靶标1位置所示)，然后打开激光器将激光打到靶标上再拍一张图片(图中如靶标2位置所示)，移动靶标重复多次上面的操作获得多幅图像(靶标3,4,5等)，对输入的图像进行预处理。然后，利用图像帧差法获取激光点光斑，利用质心法求取图像中光斑质心的坐标。根据靶标与图像之间的单应关系获得摄像机坐标系下所有光斑的空间点三维坐标，根据多个光斑空间点三维坐标拟合激光器投出的射线方程l₁，最后，从相机光心发出的经过光斑质心的射线l₂与激光器投出的射线的交点(由于误差存在，l₁和l₂会成为异面直线，实际应用中使用异面直线公垂线中点)即为真实的光斑空间三维点，这样即可求出尺度因子的大小。

发明内容

本发明从点结构光出发,提出一种以点结构光为辅助的单目视觉欧氏三维重建方法,包括光斑质心中心定位、加入RANSAC排异的空间直线拟合、求取光斑三维空间点坐标、尺度因子的求取。

本发明采用的技术方案为基于点结构光测距的单目视觉重建中尺度因子确定方法，尺度因子求取的整体流程图如附图2所示。整个标定均统一到摄像机坐标系上。摄像机内部参数使用基于2D平面靶标的摄像机标定方法进行标定，在标定结构光系统参数时，保持相机和激光器的空间位置不发生变化。然后将激光光斑投射于棋盘靶标所处的平面上，拍下此时的图像，然后关掉激光器再拍下此时的图像，按照此步骤重复将靶标摆放任意次获得一组数据图像，根据背景差分法可获得每个位置的靶标对应的光斑信息，如附图3所示。利用靶标上的角点信息得到每次摆放靶标平面的外参数矩阵，再加上每次标定图像中激光光斑的质心坐标信息，就得到每次摆放靶标时激光光斑质心的空间坐标。这样将多次摆放求得的激光光斑质心坐标的结果进行Levenberg-Marquardt拟合，即可得到激光光线的空间方程。通过标定好的敏感器内参数信息得到图像平面上激光光斑的空间坐标。理论上激光光线与相机光心和激光光斑在图像上的像点坐标直线会完全重合，但是，由于标定和计算的误差，这两条直线会形成异面直线，设定两条异面直线的公垂线中点为激光亮点的真实空间坐标，真实尺度因子即利用点结构光标定得到光斑的真实空间坐标与运用三维重建算法得到的光斑空间坐标之比，进而达到欧氏重建效果。

(1)质心法光斑定位

光斑图像是现有图像处理中较为常见的图像，光斑质心是光斑图像的重要特征之一。在视觉测量、卫星导航等诸多领域中，如何实现光斑中心的快速精确定位是现如今国内外研究的一个重要课题。

点状光斑的中心定位方法可分为基于灰度和基于边缘的两大类。基于灰度的方法一般利用目标的灰度分布信息，适用于半径较小且灰度分布均匀的光斑；基于边缘的方法一般利用目标的边缘形状信息，适用于半径较大的光斑。因此，小尺寸光斑通常采用基于灰度的方法进行中心定位。目前常用的基于灰度的中心定位方法包括三种：即质心法、Hessian矩阵法和高斯拟合法。质心法是用的最多的一种细分定位方法，它实现比较简单，运算速度快，而且有一定的定位精度，因此采用质心光斑定位法，具体实现方法在下文会有详细阐述。

(2)加入RANSAC剔除机制的激光器射线方程拟合

通过以上步骤可以获得多组质心光斑坐标，然后进行空间点激光器射线方程的拟合，本发明利用OpenCV中的空间直线拟合函数，能够较准确且方便的获得射线方程。然而，由于在求取质心坐标等步骤的误差，获得的光斑质心坐标可能会存在较大的误差，这样会使得拟合出来的空间直线方程与真实的直线方程存在较大误差，为了减小误差使求得的空间直线方程尽可能的准确，本发明提出使用RANSAC排异方法，剔除误差较大的空间点，结果如附图4所示，在具体实施方式中将详细介绍。

(3)反投影优化的光斑空间点定位

在根据以上步骤求得激光器射线方程后，摄像机的视线和光束线在空间中于光点处相交,然而，由于图像平面坐标的测量误差、噪声以及相机畸变等因素的影响，摄像机视线和光束线并不能完全交于一点，所以交汇定位问题就是求异面直线公垂线段中点的坐标。本发明采用将异面直线公垂线段中点算法求得的空间三维点作为图像光斑对应的空间点三维坐标，本文进一步提出利用反投影迭代法来优化求得的空间三维点坐标，具体实现方法在下文会有详细阐述。

与现有技术相比,本发明具有如下有益效果

(1)单目重建引入结构光主动视觉实现欧氏三维重建

本发明并不是传统的点结构光重建，而是在运用单目视觉实现三维重建的基础上通过点结构光引入真实尺度因子,从而实现真实尺度的欧氏三维重建。首先，运用基于光流反馈的单目视觉三维重建算法实现对环境快速准确的立体化建模，然而，图像序列重建后的三维场景与真实的三维场景之间缺少一个真实尺度因子，没有达到欧氏三维重建的效果，因此，求取真实尺度因子的方法就是利用点结构光标定得到的光斑的真实空间坐标标记为[X,Y,Z]与运用三维重建算法得到的光斑的空间坐标标记为[X₀,Y₀,Z₀]之比作为尺度因子λ，即λ＝[X,Y,Z]/[X₀,Y₀,Z₀]这样即可实现单目视觉的欧氏三维重建。

(2)单目重建各种方法的欧氏重建不受限制

基于多视图像的场景重建一直以来都是计算机视觉领域的研究热点，多视立体重建是利用在不同位置拍摄的关于某场景的一系列图像来恢复真实的三维场景。如今，主流的致密重建方法包括基于体素的方法，基于多边形网格变形的方法，基于多视深度图的方法，以及基于面片扩展的方法等。然而，以上方法重建的结果与真实场景的重建结果相差一个尺度因子，无法实现真实场景的欧氏重建，针对于此本发明提出的基于点结构光的单目视觉欧氏三维重建方法均不受重建方法的限制，都能够实现欧氏三维重建。只要根据点结构光确定激光器投射到靶标上光斑的真实空间点坐标，并且确定图像光斑坐标与真实空间点坐标的对应关系就能求得尺度因子，所以在使用其他方法的三维重建过程中不会受到重建方法的限制，都能够实现欧氏三维重建。

附图说明

图1激光器射线求取原理图。

图2整体流程图。

图3光斑质心求取。

图4加入RANSAC直线拟合。

具体实施方式

结合附图对本发明作进一步的详细说明。

本发明具体包括以下几个步骤。

(1)点状光斑的中心定位

先通过各种滤波或阈值选取方式对图像进行预处理，然后再对图像光斑进行质心定位。对整个图像像素处理结束后，根据各个光斑最终质心参数组累加值，按照如下的一阶矩质心计算公式计算其质心行列坐标：

$X_c=\frac{\underset{y=1}{\overset{m}{\Σ}}\underset{x=1}{\overset{n}{\Σ}}I(x,y)\×x}{\underset{y=1}{\overset{m}{\Σ}}\underset{x=1}{\overset{n}{\Σ}}I(x,y)},Y_c=\frac{\underset{y=1}{\overset{m}{\Σ}}\underset{x=1}{\overset{n}{\Σ}}I(x,y)\×y}{\underset{y=1}{\overset{m}{\Σ}}\underset{x=1}{\overset{n}{\Σ}}I(x,y)}$

上式中I(x,y)表示输入图像像素的灰度值，x,y是该像素对应的行列坐标，X_c,Y_c分别为光斑质心的行列坐标。

(2)加入RANSAC剔除机制的激光器射线方程拟合

RANSAC通过反复选择数据中的一组随机子集来达成目标。被选取的子集被假设为局内点，并用下述方法进行验证，其模型描述如下：

1)从所有光斑质心I中选取n个点作为内点，根据最小二乘法利用n个点可以估计空间直线方程L:Ax+By+Cz+D＝0，即方程的所有的未知参数(A,B,C,D)都能从假设的局内点计算得出。

2)用1)中得到的模型去测试所有的其它剩余的光斑质心(其光斑质心个数为I-n)，如果某个光斑质心点适用于估计的空间直线模型L，即如果某个光斑质心坐标(x’,y’,z’)满足Ax’+By’+Cz’+D<|σ|,认为此质心点也是局内点，其中σ为设定的阈值。

3)如果有足够多的光斑质心点被归类为假设的局内点，即有足够多的光斑质心点(假设有m个点满足)满足Ax’+By’+Cz’+D<|σ|,，那么估计的模型L就足够合理。

4)然后，用m个满足条件的局内点去重新估计模型，因为它仅仅被初始的假设局内点估计过。

5)最后，通过估计局内点与模型的错误率来评估模型。

这个过程被重复执行固定的次数t次，每次产生的模型要么因为局内点太少而被舍弃，要么因为比现有的模型更好而被选用。

(3)求取光斑三维空间点坐标

然而由相机光心发出经过光斑质心的射线与激光器投出的射线的交点由于误差原因并不能完全交于一点，因此，采用异面直线公垂线中点算法，实际应用中使用这个线间距的线段中点作为激光亮点的空间坐标，这样即可求得图像中光斑质心的图像坐标对应的空间点三维坐标。具体数学模型如下:通过相机光心发出的射线O₁P₁方向向量为V₁,相机坐标系下拟合的激光器发出光线O₂P₂的方程方向向量表示为V₂,则其公垂线的方向向量为V＝V₁×V₂,设公垂线与O₁P₁、O₂P₂的交点分别为M₁(x₁,y₁,z₁)和M₂(x₂,y₂,z₂)，则激光光斑的空间三维点坐标为M(x,y,z)，其中x＝(x₁+x₂)/2，y＝(y₁+y₂)/2，z＝(z₁+z₂)/2。

本文进一步提出利用反投影迭代法来优化求得的空间三维点坐标，具体方法如下：首先根据异面直线公垂线中点算法求得光斑质心的图像坐标[u,v]对应的空间点三维坐标[x,y,z]后，将此空间点反投影到图像，即求取空间三维点与相机光心连线与图像坐标的交点[u’,v’]，这样可以得到取光斑质心与反投影后图像坐标的中点[(u+u’)/2,(v+v’)/2],并将此作为光斑质心，根据异面直线公垂线中点算法求取空间三维点坐标，不断重复上述过程，计算空间点三维坐标M(x^*,y^*,z^*)与激光器投出直线l(空间直线方程为Ax+By+Cz+D＝0)的距离δ，计算公式为 若δ小于某个阈值，则至此迭代结束。

(4)实现欧氏三维重建

致密重建方法包括基于体素的方法，基于多边形网格变形的方法，基于多视深度图的方法，以及基于面片扩展的方法。其中前三种方法仅适用于单一三维实体的重构，因而不能满足机器人导航、虚拟现实等技术需求。面片扩展法精度较高，且能对建筑物等大场景进行重建。但面片之间的连接性，即重建的完整性难以保证。

针对上述问题，本文采用基于场景流反馈驱动的单目视觉大场景三维重建方法，具体步骤如下：手持自由移动式相机采集目标场景的多视图像，由相邻帧间光流场建立贯穿多视的像素匹配关系，继而利用五点算法求解多视间的欧氏空间转换关系。选取中央视图为参考帧，建立世界坐标系(O_w-X_wY_wZ_w)，求解相应像点对应的稀疏空间三维坐标。在稀疏重构的基础上生成原始网格面片，并反馈至各比较帧视角，由光流场定量评价反馈误差，并用各视图像的偏差驱动模型变形。由于光流矢量场蕴含了空间物体的运动矢量场信息，因而借助光流-场景流分析的方法，能够有效修正原始的多边形网格，在得到经过光流-场景流调整后的场景后，利用以上步骤得到的空间尺度因子，即可得到三维场景的欧氏重建。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.基于点结构光测距的单目视觉重建中尺度因子确定方法，其特征在于：尺度因子求取过程中；整个标定均统一到摄像机坐标系上；摄像机内部参数使用基于2D平面靶标的摄像机标定方法进行标定，在标定结构光系统参数时，保持相机和激光器的空间位置不发生变化；然后将激光光斑投射于棋盘靶标所处的平面上，拍下此时的图像，然后关掉激光器再拍下此时的图像，按照此步骤重复将靶标摆放任意次获得一组数据图像，根据背景差分法可获得每个位置的靶标对应的光斑信息；利用靶标上的角点信息得到每次摆放靶标平面的外参数矩阵，再加上每次标定图像中激光光斑的质心坐标信息，就得到每次摆放靶标时激光光斑质心的空间坐标；这样将多次摆放求得的激光光斑质心坐标的结果进行Levenberg-Marquardt拟合，即可得到激光光线的空间方程；通过标定好的敏感器内参数信息得到图像平面上激光光斑的空间坐标；理论上激光光线与相机光心和激光光斑在图像上的像点坐标直线会完全重合，但是，由于标定和计算的误差，这两条直线会形成异面直线，设定两条异面直线的公垂线中点为激光亮点的真实空间坐标，真实尺度因子即利用点结构光标定得到光斑的真实空间坐标与运用三维重建算法得到的光斑空间坐标之比，进而达到欧氏重建效果。

2.根据权利要求1所述的基于点结构光测距的单目视觉重建中尺度因子确定方法，其特征在于：本方法具体包括以下几个步骤；

(1)点状光斑的中心定位

先通过各种滤波或阈值选取方式对图像进行预处理，然后再对图像光斑进行质心定位；对整个图像像素处理结束后，根据各个光斑最终质心参数组累加值，按照如下的一阶矩质心计算公式计算其质心行列坐标：

$X_c=\frac{\underset{y=1}{\overset{m}{\&Sigma;}}\underset{x=1}{\overset{n}{\&Sigma;}}I(x,y)\&times;x}{\underset{y=1}{\overset{m}{\&Sigma;}}\underset{x=1}{\overset{n}{\&Sigma;}}I(x,y)},Y_c=\frac{\underset{y=1}{\overset{m}{\&Sigma;}}\underset{x=1}{\overset{n}{\&Sigma;}}I(x,y)\&times;y}{\underset{y=1}{\overset{m}{\&Sigma;}}\underset{x=1}{\overset{n}{\&Sigma;}}I(x,y)}$

上式中I(x,y)表示输入图像像素的灰度值，x,y是该像素对应的行列坐标，X_c,Y_c分别为光斑质心的行列坐标；

(2)加入RANSAC剔除机制的激光器射线方程拟合

RANSAC通过反复选择数据中的一组随机子集来达成目标；被选取的子集被假设为局内点，并用下述方法进行验证，其模型描述如下：

1)从所有光斑质心I中选取n个点作为内点，根据最小二乘法利用n个点可以估计空间直线方程L:Ax+By+Cz+D＝0，即方程的所有的未知参数(A,B,C,D)都能从假设的局内点计算得出；

2)用1)中得到的模型去测试所有的其它剩余的光斑质心(其光斑质心个数为I-n)，如果某个光斑质心点适用于估计的空间直线模型L，即如果某个光斑质心坐标(x’,y’,z’)满足Ax’+By’+Cz’+D<|σ|,认为此质心点也是局内点，其中σ为设定的阈值；

3)如果有足够多的光斑质心点被归类为假设的局内点，即有足够多的光斑质心点(假设有m个点满足)满足Ax’+By’+Cz’+D<|σ|,，那么估计的模型L就足够合理；

4)然后，用m个满足条件的局内点去重新估计模型，因为它仅仅被初始的假设局内点估计过；

5)最后，通过估计局内点与模型的错误率来评估模型；

这个过程被重复执行固定的次数t次，每次产生的模型要么因为局内点太少而被舍弃，要么因为比现有的模型更好而被选用；

(3)求取光斑三维空间点坐标

然而由相机光心发出经过光斑质心的射线与激光器投出的射线的交点由于误差原因并不能完全交于一点，因此，采用异面直线公垂线中点算法，实际应用中使用这个线间距的线段中点作为激光亮点的空间坐标，这样即可求得图像中光斑质心的图像坐标对应的空间点三维坐标；具体数学模型如下:通过相机光心发出的射线O₁P₁方向向量为V₁,相机坐标系下拟合的激光器发出光线O₂P₂的方程方向向量表示为V₂,则其公垂线的方向向量为V＝V₁×V₂,设公垂线与O₁P₁、O₂P₂的交点分别为M₁(x₁,y₁,z₁)和M₂(x₂,y₂,z₂)，则激光光斑的空间三维点坐标为M(x,y,z)，其中x＝(x₁₊x₂)/2，y＝(y₁₊y₂)/2，z＝(z₁₊z₂)/2；

本文进一步提出利用反投影迭代法来优化求得的空间三维点坐标，具体方法如下：首先根据异面直线公垂线中点算法求得光斑质心的图像坐标[u,v]对应的空间点三维坐标[x,y,z]后，将此空间点反投影到图像，即求取空间三维点与相机光心连线与图像坐标的交点[u’,v’]，这样可以得到取光斑质心与反投影后图像坐标的中点[(u+u’)/2,(v+v’)/2],并将此作为光斑质心，根据异面直线公垂线中点算法求取空间三维点坐标，不断重复上述过程，计算空间点三维坐标M(x^*,y^*,z^*)与激光器投出直线l(空间直线方程为Ax+By+Cz+D＝0)的距离δ，计算公式为 若δ小于某个阈值，则至此迭代结束；

(4)实现欧氏三维重建

本方法采用基于场景流反馈驱动的单目视觉大场景三维重建方法，具体步骤如下：手持自由移动式相机采集目标场景的多视图像，由相邻帧间光流场建立贯穿多视的像素匹配关系，继而利用五点算法求解多视间的欧氏空间转换关系；选取中央视图为参考帧，建立世界坐标系(O_w-X_wY_wZ_w)，求解相应像点对应的稀疏空间三维坐标；在稀疏重构的基础上生成原始网格面片，并反馈至各比较帧视角，由光流场定量评价反馈误差，并用各视图像的偏差驱动模型变形；由于光流矢量场蕴含了空间物体的运动矢量场信息，因而借助光流-场景流分析的方法，能够有效修正原始的多边形网格，在得到经过光流-场景流调整后的场景后，利用以上步骤得到的空间尺度因子，即可得到三维场景的欧氏重建。