CN104677330A - 一种小型双目立体视觉测距系统 - Google Patents

Abstract

一种小型双目立体视觉测距系统，其组成包括：标定摄像机（1）、图像采集模块（2）、图像预处理模块（3）、特征提取模块（4）、图像立体匹配模块（5）、三维重建测距模块（6），其特征在于各组成模块之间依次连接。通过两个摄像头同步获取两幅图像，对图像进行预处理以抑制噪声并突出有用信息。图像的预处理包括：第一，实验首先对图像进行灰度处理以减少图像的信息量；第二，利用高斯滤波器对图像进行平滑滤波以去除噪声对实验的影响；第三，利用canny边缘检测算子对图像的轮廓进行了检测，使角点检测更加简便和清晰；第四，利用腐蚀膨胀算法使图像的特征更加清晰并去除细小的纹理和噪声。经过图像的预处理，验证了双目测距的可行性。

Description

一种小型双目立体视觉测距系统

技术领域

本发明涉及一种计算机视觉系统，特别涉及一种双目立体视觉测距系统。

背景技术

视觉是一个古老的研究课题，人类主要通过包括视觉、听觉、嗅觉和触觉在内的四大感觉系统来感知外在的世界。其中最复杂也最重要的是视觉系统，人们从外界获得的信息超过80%来自视觉系统。因此视觉是人们认识世界的重要途径，随着计算机技术的发展，人们越来越期待用计算机来模拟生物的视觉体系，以期实现更为实用的功能。通过计算机分析获得的二维数字图像信息再现真实世界中物体的三维信息。

双目立体视觉是计算机视觉的一个重要的分支，双目立体视觉测距技术是双目立体视觉的一个重要应用。测距技术分为主动式测距和被动式测距两种。主动式测距必须对目标物体发射信号，而这个信号很容易被探测到，这样就做不到测距的隐蔽性，而且主动式测距由于受到外界环境的影响比较大，因此精度往往不是很理想。双目立体视觉测距是根据视差原理建立的被动测距系统，该系统是人类利用双目感知距离的原理设计的，即两眼从稍有不同的两个角度去观察客观三维世界的同一景物时，由于几何光学的投影，观察者观察到的点在左右两眼视网膜上成的像不在同一位置上，而存在一定的偏差，这个偏差就是双眼视差，客观物体的实际距离就是通过视差来体现的。两个摄像机从不同位置对同一物体拍摄得到两幅图像，通过匹配算法找出两幅图像中的对应点，并经过计算得出视差，然后基于三角测量原理恢复出物体在真实世界中距离信息。双目立体视觉测距在测量的过程中仅需要通过捕获图像就能得到相当精确的距离信息，而不用发射信号，这就在保证精度的情况下又兼具了隐蔽性，因此在各领域发挥着越来越大的作用，并且优势越来越明显。

发明内容

本发明的目的是提供一种基于双摄像头的双目立体视觉应用系统，验证了双目测距的可行性。

本发明的目的是这样实现的：

1、一种小型双目立体视觉测距系统，其组成包括：标定摄像机1、图像采集模块2、图像预处理模块3、特征提取模块4、图像立体匹配模块5、三维重建测距模块6，其特征在于各组成模块之间依次连接。

2、根据权利要求1所述的一种小型双目立体视觉测距系统，其特征在于改进了Harris角点检测算法直接计算两个特征值，然后对其直接进行分类。

3、根据权利要求1所述的一种小型双目立体视觉测距系统，其特征在于标定摄像机之间的位移很小，空间中的某一点在两幅图像中的成像点的灰度值变化很小。

首先通过两个摄像头同步获取两幅图像。接下来需要对图像进行预处理以抑制噪声并突出有用信息。图像的预处理包括以下四个步骤：第一，实验首先对图像进行灰度处理以减少图像的信息量；第二，利用高斯滤波器对图像进行平滑滤波以去除噪声对实验的影响；第三，利用canny边缘检测算子对图像的轮廓进行了检测，使角点检测更加简便和清晰；第四，利用腐蚀膨胀算法使图像的特征更加清晰并去除细小的纹理和噪声。经过图像的预处理，对所得图像进行角点检测和特征匹配。文中对Harris角点检测算子进行了详细的介绍，并利用Harris算子提取出两幅图像中轮廓的角点，然后基于极限约束原理实现两幅图像对应角点的匹配，进而得到视差，从而恢复出实际的深度信息。整个实验是在vs2010平台调用OpenCv2.4.3库函数实现的。

本发明还包括：

改进的Harris角点检测算法直接计算两个特征值，然后对其直接进行分类，从而避免计算Harris响应函数，也就不用考虑α的取值。另一方面，改进的Harris角点检测算法不用进行非极大值抑制，而是选取容忍距离，容忍距离内只有一个特征点，在容忍距离内只有最突出的角点可以被检测到，而且可以对图像中角点数进行控制。

该算法首先选取一个具有极大极小特征值的点，然后依次按照最大最小特征值顺序寻找余下的角点，和前一角点在容忍距离内的新的角点被忽略。

本发明中由于两摄像机之间的位移很小，空间中的某一点在两幅图像中的成像点的灰度值变化不是很大，对于比较远的物体来说更是如此，所以上述假设在本实验中是可以成立的。根据这样的假设进行灰度匹配，涉及的计算将在很大程度上得到简化，这也就在很大程度上降低问题的复杂度。

如果要对两幅图像中的一个点对P₁=[x₁y₁₁]^T和P₂=[x₂y₂₁]^T进行特征匹配，可以变换为以这两个点为中心的n×n窗口中的图像点间的匹配。判别原则为：两个向量v1和v2的夹角越小，则两个点的匹配度就越高，反之，越低。两个向量之间的夹角可以用下式来计算：

$\cos \mathrm{\θ}=\frac{{v1}^T{v}_2}{\left|v_1\right|\left|v_2\right|}$

其中，θ为两向量的夹角。当cosθ=1时，两向量具有最佳匹配。当cosθ=0时，为最差匹配。匹配时，应设定一定阈值，当大于某一阈值时，则认为是匹配点。

附图说明

图1为双目立体视觉测距流程图；

图2为平行双目立体视觉测距系统的对极几何；

图3为双目成像示意图；

图4平行双目成像中的视差。

具体实施方式

下面结合附图举例对本发明做更详细地描述：

一种小型双目立体视觉测距系统，其组成包括：标定摄像机1、图像采集模块2、图像预处理模块3、特征提取模块4、图像立体匹配模块5、三维重建测距模块6，其特征在于各组成模块之间依次连接。

其特征在于改进了Harris角点检测算法直接计算两个特征值，然后对其直接进行分类。

其特征在于标定摄像机之间的位移很小，空间中的某一点在两幅图像中的成像点的灰度值变化很小。

标定摄像机的目的是为了建立摄像机成像模型、确定摄像机的内外参数，从而确定目标物体在世界坐标系与图像平面坐标系之间的对应关系。

双目视觉系统实现其功能，首要任务就是要通过图像采集设备获得用于该系统计算三维世界中物体的物理信息的两幅同步图像。摄像机、视频采集卡等都是比较常用的图像采集设备。为了获得好的图像采集效果，以达到系统精确进行实验的目的，需要充分考虑图像清晰度、分辨率等因素，此外，对自然界光照的强弱、设备的性能等因素也都要进行认真考虑，只有充分考虑了所有可能存在的因素，才能获得效果更好的可用于处理的数字图像，为接下来的图像的预处理过程打下坚实的基础。

为了获得能用来进行特征匹配的图像特征，需要对图像进行特征点的提取。在此之前，需要对图像进行预处理与特征点检测与提取，得到图像的特征点的坐标，以便于对图像进行立体匹配。图像的预处理的具体流程如下：

确定场景中的同一物体在两幅图像上对应点关系，以此得到视差，是确定三维世界中物体的三维信息的关键。为了实现这个目标，可以对图像进行特征提取，然后对其进行特征匹配，以获取视差。图像的像素或抽象表达的像素集合都是所说的特征，常用的匹配方法有点状匹配、线状匹配和区域匹配。一般来说，大尺度的特征通常含有丰富的信息，相对的，本身数目也就变得很少，因此匹配速度很快，这是其优点。但与此同时，对这些特征的提取与描述却也显得很复杂，定位的精度也很不理想。然而，小尺度特征本身却有着较高的定位精度，表达描述也更为简单，虽然此类特征的数目很多，但是信息量很少，为了达到较高的匹配精度，在进行特征匹配时要寻找较强的约束准则，而且需要相应的匹配策略。

对图像进行立体匹配就是在两组图像之间建立一种对应关系，两台摄像机之间的极线约束关系需要被求取以进一步得出所需的基本矩阵，有了基本矩阵，就可以以此为基础得到更多的匹配点对，从而计算出最佳的极线约束关系。立体匹配会受到很多因素的影响，因为在自然界中往往存在着各种各样的噪声，而且光照的强弱、摄像机的视角等因素也都会对匹配噪声一定的影响，因此选择正确的匹配算法是匹配成功的关键，否则可能会出现误匹配的情况，甚至出现无匹配现象。

完成了对摄像机标定，计算出了摄像机内参数矩阵，并实现了对立体图像的匹配，就能计算出物体相对摄像机的距离，从而获得空间中物体的三维信息。系统的精度受很多因素的影响，包括摄像机标定的精度和由此带来的误差，基线的长度，以及匹配的精度等。

结合图2、图3、图4来说明双目测距原理。图2是平行双目立体视觉测距系统的对极几何。图2中，B为基线长度，它是两个摄像机光心之间的距离，也就是两个摄像机的摄像机坐标系在x方向的平移量。两个摄像机这样的摆放位置使得三维空间中物体的同一点在两个图像坐标系下只有u方向存在偏移量，u1与u2之间的差值就是视差在图像像素坐标系下的表达，而v1与v2是相等的。

如果满足前述条件，那么两摄像机对应的两条极线应该是共线的，这样就可以使得寻找匹配点的区域由二维图像平面压缩到一维的直线上，但是在实际的环境下，由于两个摄像机摆放的偏差或者是镜头存在一定畸变等原因，这两条线只是近似共线的关系。

如图3所示，B为基线，在双目立体视觉测距系统中，三维空间点W的在世界坐标系中的坐标可以由像平面坐标点x1，x2和x2，y2确定。

图4中XZ平面是两摄像机镜头连线所在的平面。将左摄像机的摄像机坐标系作为世界坐标系，则世界坐标系下W点的X轴坐标可以表示为：

$X_1=\frac{x_1}{f}(f-Z_1)---1$

其中，X₁、Z₁为空间点W在世界坐标系下X轴和Z轴的坐标值。同理，如果将右摄像机的摄像机坐标系作为世界坐标系，则在世界坐标系下W点的X轴坐标可以表示为：

$X_2=\frac{x_2}{f}(f-Z_2)---2$

因为B为基线长度，且三维空间点W的Z轴坐标在两摄像机的摄像机坐标系下是相同的，因此存在着下列关系：

X₂=X₁+B

Z₂=Z₁=Z       3

将式3分别带入1和2，得：

$X_1=\frac{x_1}{f}(f-Z)---\left(4\right)$

$X_1+B=\frac{x_2}{f}(f-Z)---5$

将式5减去4得：

$Z=f-\frac{\mathrm{fB}}{x_2-x_1}=f(1-\frac{B}{D})---6$

在式6中，Z为空间点与像平面的距离，这样深度信息就与视差D联系了起来，在这里，视差D为x₁与x₂的差值，为图像的物理坐标系下的x轴坐标的差值。深度取决于视差的大小，如果能够得到视差的大小，基于此可以计算出物体的三维信息，三维空间中的点距离摄像机平面的距离也就可以确定了。

Claims (3)

1.一种小型双目立体视觉测距系统，其组成包括：标定摄像机（1）、图像采集模块（2）、图像预处理模块（3）、特征提取模块（4）、图像立体匹配模块（5）、三维重建测距模块（6），其特征在于各组成模块之间依次连接。

2.根据权利要求1所述的一种小型双目立体视觉测距系统，其特征在于改进了Harris角点检测算法直接计算两个特征值，然后对其直接进行分类。

3.根据权利要求1所述的一种小型双目立体视觉测距系统，其特征在于标定摄像机之间的位移很小，空间中的某一点在两幅图像中的成像点的灰度值变化很小。