CN108534797A - 一种实时高精度视觉里程计方法 - Google Patents

Abstract

一种实时高精度视觉里程计方法，即通过交叉检验下的闭环角点匹配策略以及基于角点生存周期的目标函数权值设置，实时获得系统的里程信息。该方法如下：1)通过分块HARRIS角点检测，得到立体图像对中的角点位置；2)通过角点周围的像素信息，得到角点的归一化描述符；3)立体图像对之间进行角点交叉检验匹配，之后对立体图像对和前后图像对之间的角点进行闭环检测，得到匹配角点集合；4)通过匹配角点集合的重投影误差构造目标函数，并根据角点的生存周期设置权值；5)通过RANSAC算法以及高斯牛顿法求解里程信息。本发明的优点在于获得高精度的匹配点集，降低了RANSAC算法选择内点的时间，可进行实时里程信息计算。

Description

一种实时高精度视觉里程计方法

技术领域

本发明涉及一种实时高精度视觉里程计方法，适用针对自动驾驶系统和机器人导航系统进行里程计算，属于工程技术领域。

背景技术

智能移动机器人是目前人工智能方向发展最活跃的一个领域之一，受到了各国研究机构的广泛关注。随着硬件性能的提高与软件系统的完善，移动机器人已经成功用于工业、农业、医疗等行业。里程计作为其中最基本的系统之一，用于机器人导航与定位，是机器人完成其他任务的基础与前提。其结构总的设计要求是：速度快、精确度高、低成本，满足机器人的实时精确定位与导航的需求。

二十世纪八十年代以来，随着计算机视觉定位算法的发展，以视觉方法为基础的视觉里程计在机器人导航与定位中得到了飞速的发展和广泛的应用。视觉里程计是随着视觉定位方法的发展而迅速发展起来的一种以相机为载体，通过视觉方法进行定位与导航的新型里程计方法。视觉里程计包括对外界场景进行拍摄与里程计算，外界场景变化会引起相机拍摄图像中角点位置的改变，通过角点位置的改变，视觉方法可以提取出机器人当前的位置信息从而进行导航。

传统的视觉里程计在特征匹配中使用单向闭环策略，即从两对立体图像的其中一张出发，经过一轮单向匹配后，最终能回到特征点原来位置，认为是成功匹配的特征点；在解算时以特征点的重投影误差构造目标函数，使用基于重投影误差大小的权值。然而，单向匹配出现匹配错误的几率大，闭环中的任何一环出现错误都会导致整个闭环出现错误，影响解算精度，并使RANSAC算法寻找内点时间加长而不能满足实时性；目标函数只考虑重投影误差，忽略了前后帧的信息，导致误差逐渐累积增大。

为解决上述问题，本发明提出一种实时高精度视觉里程计方法，首先，通过HARRIS角点提取方法在前后立体图像对中进行角点检测，然后，根据图像像素信息构造角点的归一化描述符，之后，在窗口预测的基础上进行帧间角点交叉检验下的闭环匹配，最终根据匹配角点重投影误差构造目标函数并设置基于特征点生存周期的权值，通过求解目标函数得到里程信息。

发明内容

本发明的目的在于提供一种实时高精度视觉里程计方法，发明了通过交叉检验下闭环匹配策略获得高精度的匹配角点集合，并通过RANSAC算法进行快速内点筛选，根据内点的重投影误差构造目标函数，同时在权值设置中考虑特征点生存周期，最终实时得到帧间的高精度里程信息。

本发明所涉及的方法流程包括以下步骤：(1)对前后帧立体图像对进行HARRIS角点检测，得到角点位置；(2)根据角点周围的像素信息构造角点描述符；(3)根据角点描述符之间的相似性，对前后帧立体图像对四张图像中的角点进行基于交叉检验下的闭环匹配；(4)根据匹配点集的重投影误差构造目标函数，并设置基于角点生存周期的权值；(5)求解目标函数得到里程信息。

下面对该方法流程各步骤进行详细说明：

(1)使用HARRIS角点检测方法，设定好参数及块匹配的区域大小，计算图像中每个位置HARRIS响应值的大小，根据响应值对前后帧立体图像对分别进行分块角点提取，得到各角点的位置信息，具体步骤如下：

①和为前后帧立体图像对，其中t表示时间，上标l表示左视图，上标r表示右视图，计算图像中每个点的角点响应值H：

H＝λ₁λ₂-k(λ₁+λ₂)² (1)

其中，k是人为设置的参数，λ₁和λ₂是矩阵Q的特征值，矩阵Q的定义为：

矩阵Q中的I_x和I_y表示图像I在x方向和y方向的局部梯度；

②将每一幅图像分为若干20×20像素的图像块，由每个图像块i各自的最大角点响应值确定其阈值r是人为设置的参数，然后，通过图像块i中角点响应值大于Tⁱ _bin的像素确定候选特征点位置，并且在3×3窗口中对候选特征点进行非极大值抑制，通过非极大值抑制的像素点最终被选为HARRIS角点，记录角点的位置信息。

(2)根据得到的各角点位置信息，计算角点的归一化描述符，具体步骤如下：

①将图像中各角点周围15×15区域的像素值作为其原始特征描述符，记为D，其中(i,j)位置的像素值为D_ij；

②对于D中每个位置进行去均值化，得到去均值化的描述符，记为D′，D′_ij为描述符D′中(i,j)位置的去均值化后的灰度值，去均值化公式如下：

③对于去均值化的描述符D′进行归一化，将归一化后的描述符记为D^norm，其中(i,j)位置的归一化灰度值为D_ij ^norm，归一化公式如下：

(3)立体图像对和之间以及和之间的角点进行交叉检验下的匹配，具体步骤如下：

①针对中的角点在中沿极线搜索，根据的特征描述符与极线上各特征点描述符之间绝对误差和的值，寻找绝对误差和最小的角点作为其匹配角点点类似的，中角点P_t ^l可在中搜索到匹配角点P_t ^r；

②针对步骤①中的角点在中沿极线搜索，在中找到绝对误差和最小的匹配角点若与是同一点，则其通过交叉检验，认为与是一组匹配点对，将其加入匹配点对集合，否则与不是匹配点对；类似的可以在P_t ^l与P_t ^r之间进行交叉检验，判断P_t ^l与P_t ^r是否为匹配点对。

时间顺序上前后图像对和之间以及和之间的角点在预测窗口内进行交叉检验下的特征匹配，具体步骤如下：

①判断前一帧图像是否为第一帧图像，若是，则每个点的预测窗口都设定为其在匹配图像中以角点位置为中心200×200的矩形框，若不是，则使用前一帧计算的里程信息(R_t-1，T_t-1)计算其预测窗口位置，其中R_t-1为前一帧里程信息的旋转矩阵，T_t-1为前一帧里程信息的平移矩阵，假设前、后帧运动姿态的欧拉角变化很小，即R_t≈R_t-1，假设前、后帧运动姿态的平移向量的变化E不超过10％，T_t＝(1+E)T_t-1,|E|＜0.1，将前一帧立体图像对中的匹配角点由相机的内参进行三角化，得到其三维坐标(x,y,z)，则其在当前帧中的预测三维坐标为：

则在当前帧中预测的匹配角点位置(u,v)为：

其中f为相机的焦距，(cu,cv)为相机的主点位置。通过公式(5)与公式(6)，遍历E的范围[-0.1,0.1]，可以得到(u,v)的范围，即预测的匹配窗口位置。同样可以得到后一帧图像特征点在前一帧匹配时的预测特征点位置；

②针对中的角点在中的预测窗口中搜索，根据的特征描述符与预测窗口上各角点描述符之间绝对误差和的值，寻找绝对误差和最小的角点作为其匹配特征点P_t ^l；类似的，中角点可在中搜索到匹配角点P_t ^r；

③针对步骤②中的角点P_t ^l，在中的预测窗口中搜索，在中找到绝对误差和最小的匹配角点若与是同一点，则其通过交叉检验，认为与P_t ^l是一组匹配点对，将其加入匹配点对集合，否则与P_t ^l不是匹配点对；类似的可以在与P_t ^r之间进行交叉检验，判断与P_t ^r是否为匹配点对。

对于计算得到的四组匹配点对进行闭环匹配，验证从出发，经过P_t ^r和最终能否回到如果满足该情况，则认为通过闭环检测得到一组可用于之后解算的匹配点集否则舍弃该匹配点集。

(4)根据步骤(3)中匹配的角点集合构造前后帧基于重投影误差的目标函数：

其中为重投影误差：

π()为重投影函数，将三维点投影至二维平面，K^l与K^r分别为左右相机的内参。

根据角点的生存周期设置目标函数中每一项的权值，age_n为每个特征点的生存周期，则有w_n＝age_n，根据公式(7)与公式(8)，可将目标函数构造完毕。

(5)使用RANSAC算法配合高斯牛顿法解算目标函数，得到两帧之间的里程信息(R_t，T_t)。

具体实施方式

下面结合附图与实例进一步说明技术发明的应用方法

(1)使用HARRIS角点检测方法进行角点检测：

角点提取数据使用KITTI数据集中的数据序列0，图像分辨率为1241×376，采样频率为10Hz。参数k设置为0.04，r设置为0.1，进行分块HARRIS角点检测后可以得到图像中的角点。

(2)构造HARRIS角点的描述符：

根据得到的各角点位置信息，计算角点的归一化描述符。

(3)角点交叉检验下的闭环匹配：

①左右立体图像对中的角点根据描述符之间的绝对误差和进行交叉检验下的匹配；

②根据前一帧的里程信息，得到时间顺序上前后图像对中的角点匹配预测窗口，在预测窗口中根据描述符之间的绝对误差和进行交叉检验下的匹；

③对匹配的角点进行闭环检测，得到可用于后续计算的匹配角点集合。

(4)构造前后帧基于重投影误差的目标函数：

对匹配角点集合中的点进行重投影，根据每个角点生存时间设定权值。

(5)解算两帧之间的里程信息：

使用RANSAC算法配合高斯牛顿法解算目标函数，得到两帧之间的里程信息(R_t，T_t)。

本发明经过实例的具体实施，处理速度为10.2Hz,可以进行实时高精度的视觉里程计算，可用于为自动驾驶系统和机器人系统实时提供里程信息。

附图说明

图1为实时高精度视觉里程计方法流程图。

图2所示为使用HARRIS角点提取方法得到图像中角点的位置。

图3所示为角点交叉检验下闭环匹配的方法。

图4所示为图3中角点交叉检验下闭环匹配方法的结果。

图5所示为在KITTI上数据集数据序列0中视觉里程计的结果。

Claims (1)

1.一种实时高精度视觉里程计方法，其特征在于：通过交叉检验下的闭环匹配策略进行图像帧间的角点匹配，以及构造目标函数中使用基于特征点生存周期的权值，能够在提高匹配点内点概率的同时，实时进行视觉里程解算，具有角点提取模块、描述符构造模块、角点交叉检验下的闭环匹配模块、角点基于生存周期权值的目标函数构造模块及里程解算模块，包括如下步骤：

(1)使用HARRIS角点检测方法，设定参数及块匹配的区域大小，计算图像中每个位置HARRIS响应值的大小，根据响应值对前后帧立体图像对分别进行分块角点提取，得到各角点的位置信息；

(2)根据得到的各角点位置信息，计算角点的归一化描述符；

(3)根据描述之间的相似性大小，立体图像对之间的角点进行交叉检验下的匹配，时间顺序上前后图像对之间的角点进行匹配角点位置预测，在预测窗口内完成交叉检验下的匹配，在四张图像进行角点匹配的闭环检测，得到匹配角点集合，并记录每个角点的生存周期；

(4)根据匹配的角点构造前后帧基于重投影误差的目标函数，根据角点的生存周期设置目标函数中每一项的权值；

(5)使用RANSAC算法配合高斯牛顿法解算目标函数，实时获得高精度里程信息。