CN107917701A - 基于主动式双目立体视觉的测量方法及rgbd相机系统 - Google Patents

Abstract

本发明属于传感器技术领域，提供了一种基于主动式双目立体视觉的测量方法及RGBD相机系统。该系统包括前端成像子系统和FPGA计算子系统，前端成像子系统包括红外双目成像单元和彩色图像成像单元，FPGA计算子系统包括三目同步单元、数据采集单元、矫正单元、立体匹配单元和配准单元，红外双目成像单元和彩色图像成像单元均与三目同步单元连接，红外双目成像单元和彩色图像成像单元还均与数据采集单元连接，数据采集单元、矫正单元、立体匹配单元和配准单元依次连接。本发明基于主动式双目立体视觉的测量方法及RGBD相机系统，能够在弱纹理、暗光环境下，实时进行中高精度的三维环境深度感知，实现RGBD相机系统。

Description

基于主动式双目立体视觉的测量方法及RGBD相机系统

技术领域

本发明涉及传感器技术领域，具体涉及一种基于主动式双目立体视觉的测量方法及RGBD相机系统。

背景技术

目前，3D传感器主要包含被动3D测量和主动3D测量两种。

被动式三维感知技术主要为被动式双目立体视觉成像技术，该方案需要一对相机同时采集场景图像，通过复杂的匹配算法对比左右图像，恢复出视差信息，基于视差信息和三角测量原理，最终得到3D信息。

但是，现有的被动式双目系统主要存在几个方面的问题：

第一，运算平台的复杂性：

目前的双目立体视觉系统的常见方案分为两种：其一为双目相机+高性能PC方式；其二为双目相机+高性能GPU方式；主要原因在于双目立体视觉涉及到的匹配算法的复杂度很高，因此需要性能强大的运算单元，成本高，难以小型化，运算单元的动态负载使得实时性有限，很难保证一致的实时性。

第二，环境的适应性：

目前的双目系统双目立体匹配部分对于成像场景的要求比较高，由于低光和弱纹理区域不具有丰富的纹理信息，因此该类系统没有较好的表现。

而主动式三维感知技术还有基于结构光的三维感知技术、飞行时间法(Time ofFlight，ToF)三维感知技术。其中，结构光三维感知技术又细分为基于空间编码结构光的三维感知技术和基于时间编码结构光的三维感知技术。空间编码结构光技术通过光学系统向场景发射出具有编码信息的图案，通过图像传感器采集图像并对图像进行解码，解码信息将采集图像和发射信息进行精确匹配从而计算出空间三维结构。时间编码结构光技术通过光学系统连续发射一系列的具有周期性的条纹图案，通过图像传感器采集序列图像，对序列条纹图像求解相位信息，根据唯一性相位信息解算出空间三维结构。飞行时间法通过硬件控制使发光元器件发射出脉冲式或者光强周期性变化的光束，光电转换设备，如图像传感器，采集脉冲式光强信号或者周期性光强信号，通过计算脉冲信号的发射和反射信号的时间差，或者周期性光学信号的相位差来计算空间物体与发射器间的距离，从而构建空间三维结构。

但是，对于空间编码结构光系统方案，其工作范围有限：空间编码结构光系统利用光学投射系统向场景中投射具有编码信息的纹理图案，相机采集到图像后，对图像进行唯一性解码，从而得到高精度的三维模型。但是，该系统对于工作距离具有较高的要求，在特定环境对系统进行标定后，该系统只能在一定的空间距离内工作，对于超出有效工作距离的部分，由于不能够有效解码，所以无法测得有效的距离。

对于时间编码结构光方案，存在如下问题：

第一，实时性难以达到：时间编码结构光方案需要投射多张不同编码图案到场景中，并同时解算多帧图案才能够得到一帧深度信息。因此该方案难以达到较高的帧率与实时性。

第二，有效工作距离较短：时间编码结构光只能重构较小的三维空间，因为空间越大，物体离发射器越远，编码信息容易畸变，无法准确解码出有效信息，最终无法准确测量。

对于ToF系统方案，其环境适应性差：该方案是完全依赖于投射的编码光的飞行时间来求解深度信息，如果环境中和编码光处在同一波段的光较强，会直接影响到测量的最终精度，因此环境的适应性较差。

另外，在相机所采集的彩色图像中，每个彩色像素点只包括红(Red，R)、绿(Green，G)、蓝(Blue，B)三种颜色属性，不包括三维空间的深度信息(Depth，D)，无法将彩色信息和深度信息一一对应，不能实现彩色信息与深度信息匹配输出。

在弱纹理、暗光环境下，如何实时进行中高精度的三维环境深度感知，实现RGBD相机系统，提高系统实时性，降低时延，是本领域技术人员亟需解决的问题。

发明内容

针对现有技术中的缺陷，本发明提供了一种基于主动式双目立体视觉的测量方法及RGBD相机系统，能够在弱纹理、暗光环境下，实时进行中高精度的三维环境深度感知，实现RGBD相机系统，提高系统实时性，降低时延。

第一方面，本发明提供一种基于主动式双目立体视觉的测量方法，该方法包括：

同时对目标场景中的红外光和可见光进行成像，分别形成红外图像和彩色图像；

对红外图像和彩色图像进行矫正；

将矫正后的红外图像进行立体匹配，生成视差图；

将视差图与矫正后的彩色图像进行配准，确定每个彩色像素点的深度值。

进一步地，对目标场景中的红外光和可见光进行成像之前，该方法还包括：向目标场景中照射处于红外波段的纹理图案。

基于上述任意基于主动式双目立体视觉的测量方法实施例，进一步地，将矫正后的红外图像进行立体匹配，生成视差图，具体包括：

对矫正后的红外图像进行噪声抑制和纹理增强处理，红外图像包括左图像和右图像；

遍历左图像中特定区域的像素点，进行代价计算，确定每个像素点的匹配代价，左图像中特定区域是根据预置参数确定的区域；

对每个像素点的匹配代价进行去噪处理；

根据去噪后的匹配代价，确定左图像中每个像素点在右图像中的匹配点，并计算每个像素点的视差值；

检测每个像素点与匹配点的匹配度，滤除误匹配点的视差值，将匹配度检验合格的视差值构建视差图。

进一步地，遍历左图像中特定区域的像素点，进行代价计算，确定每个像素点的匹配代价，具体包括：

针对左图像中特定区域中任意一个像素点p_l，以像素点p_l为中心，建立邻域像素区间；

根据像素点p_l的位置坐标，在右图像中，确定相同位置坐标的像素点p_r，并以像素点p_r为中心，建立邻域像素区间；

根据像素点p_l的邻域像素区间和像素点p_r的邻域像素区间，确定匹配代价算法；

在右图像中，将像素点p_r向指定方向偏移i个像素点的距离，采用匹配代价算法，计算相应的代价值C_i，其中，i＝0,1,2,…,m-1，m为预置参数；

根据去噪后的匹配代价，确定左图像中每个像素点在右图像中的匹配点，并计算每个像素点的视差值，具体包括：

针对左图像中特定区域中任意一个像素点p_l，在去噪处理后的m个代价值中进行查找，确定最小的代价值；

将最小代价值所对应的像素点p'_r，作为像素点p_l在右图像中的匹配点；

计算像素点p_l和匹配点p'_r在水平像素位置的差值，以作为该像素点p_l的视差值d。

基于上述任意基于主动式双目立体视觉的测量方法实施例，进一步地，将视差图与矫正后的彩色图像进行配准，确定每个彩色像素点的深度值，具体包括：

根据标定的相机参数，将视差图中任意一个像素点坐标，转换为指定相机坐标系下的三维点坐标；

根据预获取的旋转变换量或平移变换量，将指定相机坐标系下的三维点坐标转换到RGB相机坐标系；

将RGB相机坐标系下的三维点坐标进行平面投影变换，计算在彩色图像上的坐标位置，确定配准的彩色像素点，并将RGB相机坐标系下三维点坐标的z轴坐标，作为该配准的彩色像素点的深度值。

进一步地，将指定相机坐标系下的三维点坐标转换到RGB相机坐标系之前，该方法还包括：

计算指定相机坐标系与RGB相机坐标系的空间位置关系，获取旋转变换量和平移变换量。

进一步地，根据标定的相机参数，将视差图中任意一个像素点坐标，转换为指定相机坐标系下的三维点坐标，具体包括：

根据双目三角法则，将视差图中任意一个像素点坐标P₀(u₀,v₀)，通过如下公式，转换为左相机坐标系下的三维点坐标P_l(x,y,z)，

z＝fb/d

x＝zu₀/f

y＝zv₀/f

其中，d表示视差图中像素点P₀(u₀,v₀)的视差值，f表示相机参数中的焦距，b表示相机参数中的基线，u₀表示视差图中像素点P₀的横轴坐标，v₀表示视差图中像素点P₀的纵轴坐标；

根据预获取的旋转变换量或平移变换量，将指定相机坐标系下的三维点坐标转换到RGB相机坐标系，具体包括：

根据预获取的旋转变换量R或平移变换量T，通过如下公式进行计算，将左相机坐标系下的三维点坐标P_l(x,y,z)转换到RGB相机坐标系下的三维点坐标P_rgb(x',y',z')，

P_rgb＝R*P₁+T

将RGB相机坐标系下的三维点坐标进行平面投影变换，计算在彩色图像上的坐标位置，具体包括：

将RGB相机坐标系下的三维点坐标P_rgb(x',y',z')进行平面投影变换，通过如下公式，计算在彩色图像上的坐标位置P(u,v)，

其中，u表示彩色图像上像素点P的横坐标，v表示彩色图像上像素点P的纵坐标，f_x表示相机参数中的横向焦距，f_y表示相机参数中的纵向焦距，c_u表示彩色图像上的原点横坐标，c_v表示彩色图像上的原点纵坐标。

进一步地，获取左相机坐标系下的三维点P_l(x,y,z)的竖轴坐标之后，该方法还包括：根据视差图中每个像素点的坐标和该像素点所对应的三维点P_l(x,y,z)的竖轴坐标，生成深度图。

由上述技术方案可知，本实施例提供的基于主动式双目立体视觉的测量方法，能够对红外图像进行矫正、立体匹配处理，获取视差图，并配合彩色图像，将视差图与彩色图像配准，实现高精度的三维环境深度感知，以及每个彩色像素点与深度值的匹配。

第二方面，本发明提供一种基于主动式双目立体视觉的RGBD相机系统，该系统包括前端成像子系统和FPGA计算子系统，前端成像子系统包括红外双目成像单元和彩色图像成像单元，FPGA计算子系统包括三目同步单元、数据采集单元、矫正单元、立体匹配单元和配准单元，红外双目成像单元和彩色图像成像单元均与三目同步单元连接，红外双目成像单元和彩色图像成像单元还均与数据采集单元连接，数据采集单元、矫正单元、立体匹配单元和配准单元依次连接，矫正单元还与配准单元连接，红外双目成像单元用于对目标场景中的红外光进行成像，形成红外图像，彩色图像成像单元用于对目标场景中的可见光进行成像，形成彩色图像，三目同步单元用于生成同步触发脉冲，使红外双目成像单元和彩色图像成像单元均同步触发，数据采集单元用于缓存红外双目成像单元和彩色图像成像单元的数据，进行时钟同步，再输出至矫正单元，矫正单元用于对红外图像和彩色图像进行矫正，立体匹配单元用于将矫正后的红外图像进行立体匹配，生成视差图，配准单元用于将视差图与矫正后的彩色图像进行配准，确定每个彩色像素点的深度值。

进一步地，前端成像子系统还包括衍射光学器件，衍射光学器件与三目同步单元连接，衍射光学器件用于根据同步触发脉冲，向目标场景中照射处于红外波段的纹理图案。

由上述技术方案可知，本实施例提供的基于主动式双目立体视觉的RGBD相机系统，采用FPGA计算子系统对红外图像进行矫正、立体匹配处理，获取视差图，并配合彩色图像，将视差图与彩色图像配准，高精度的三维环境深度感知，以及每个彩色像素点与深度值的匹配，实现RGBD相机系统，也使得系统获得最低的延时。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1示出了本发明所提供的一种基于主动式双目立体视觉的测量方法的方法流程图；

图2示出了本发明所提供的一种矫正后的红外图像；

图3示出了本发明所提供的畸变与立体矫正处理前后的坐标关系；

图4示出了本发明所提供的一种基于主动式双目立体视觉的RGBD相机系统的连接示意图；

图5示出了本发明所提供的数据采集单元的原理图；

图6示出了本发明所提供的三目同步单元的原理图；

图7示出了本发明所提供的同步触发脉冲生成的方法流程图；

图8示出了本发明所提供的立体匹配单元的原理图；

图9示出了本发明所提供的数据输出单元的原理图；

图10示出了本发明所提供的深度计算单元的原理图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

本发明实施例所提供的基于主动式双目立体视觉的测量方法及RGBD相机系统，能够在弱纹理、暗光环境下，实时进行中高精度的三维环境深度感知，实现RGBD相机系统。其中，中高精度是指可以达到1mm的精度，实时性是指每秒钟对30帧或30帧以上的数据进行深度测量。

第一方面，本发明实施例所提供的一种基于主动式双目立体视觉的测量方法，结合图1，该方法包括：

步骤S1，同时对目标场景中的红外光和可见光进行成像，分别形成红外图像和彩色图像。在此，同时对目标场景中不同波段的光线进行成像，如对红外波段的红外光进行成像，形成红外图像，对可见光波段的可见光进行成像，形成彩色图像。

步骤S2，对红外图像和彩色图像进行矫正。在成像过程中，原始图像会有畸变，并且，两个红外相机直接安装后，相机的成像平面不是共面的且光轴也不平行，因此需要进行标定与矫正。若红外图像中存在畸变，则对红外图像进行畸变矫正，若红外图像中存在不满足极线约束的特征，则对红外图像进行立体矫正，若彩色图像中存在畸变，则对彩色图像进行畸变矫正。

步骤S3，将矫正后的红外图像进行立体匹配，生成视差图，如采用立体匹配算法，对满足极线约束的左图像和右图像进行计算。

步骤S4，将视差图与矫正后的彩色图像进行配准，确定每个彩色像素点的深度值。

由上述技术方案可知，本实施例提供的基于主动式双目立体视觉的测量方法，能够对红外图像进行矫正、立体匹配处理，获取视差图，并配合彩色图像，将视差图与彩色图像配准，实现高精度的三维环境深度感知，以及每个彩色像素点与深度值的匹配。

为了进一步提高本实施例基于主动式双目立体视觉的测量方法的准确性，对目标场景中的红外光和可见光进行成像之前，该方法还能够向目标场景中照射处于红外波段的纹理图案，以丰富环境中的纹理图案，实现较高密度的纹理，以保证局部算法可行性。

在此，本实施例提供的基于主动式双目立体视觉的测量方法，能够丰富目标场景的纹理图案，即使处于弱纹理、暗光环境下，也能够实现高精度的三维环境深度感知，大大扩展该方法的适用性。

在视差图生成方面，将矫正后的红外图像进行立体匹配，生成视差图的具体过程如下：

第一，前处理步骤，即对矫正后的红外图像进行噪声抑制和纹理增强处理，通过上述前处理方式，以降低噪声对后续步骤的干扰，提升整体的测量精度，其中，红外图像包括左图像和右图像。

第二，匹配代价计算步骤，即遍历左图像中特定区域的像素点，进行代价计算，确定每个像素点的匹配代价，左图像中特定区域是根据预置参数确定的区域。

第三，匹配聚合步骤，即对每个像素点的匹配代价进行去噪处理。由于CMOS传感器成像的图片中具有大量的噪声，这些噪声会直接影响上一步计算的代价值，从而影响后续的视差计算。在此，添加代价聚合过程来优化上一步计算的代价，降低代价中噪声数据，为提升后续的视差精度奠定基础。

第四，视差计算步骤，即根据去噪后的匹配代价，确定左图像中每个像素点在右图像中的匹配点，并计算每个像素点的视差值。

第五，后处理步骤，即检测每个像素点与匹配点的匹配度，滤除误匹配点的视差值，将匹配度检验合格的视差值构建视差图，典型的后处理有左右视差检测、连通性检测等。

本实施例基于主动式双目立体视觉的测量方法，依次通过前处理、匹配代价计算、代价聚合、视差计算和后处理步骤，处理视差图，对双目数据进行立体匹配，以生成准确的视差图。

在此，以左图相中的任意一个像素点p_l为例，对匹配代价的计算过程进行说明。

其中，遍历左图像中特定区域的像素点，进行代价计算，确定每个像素点的匹配代价时，具体实现过程如下：

针对左图像中特定区域中任意一个像素点p_l，以像素点p_l为中心，建立邻域像素区间，如(2n+1)*(2n+1)的邻域像素区间。其中，左图像的特定区域可以是除去上、下、右边缘宽度n，左边缘宽度m的区域，具体如图2所示，m、n为预置参数。其中，图2为矫正后的红外图像。

根据像素点p_l的位置坐标，在右图像中，确定相同位置坐标的像素点p_r，并以像素点p_r为中心，建立邻域像素区间。以像素点p_r为中心的邻域像素区间需与以像素点p_l为中心的邻域像素区间同等大小，即仍为(2n+1)*(2n+1)的邻域像素区间，如图2所示。

根据像素点p_l的邻域像素区间和像素点p_r的邻域像素区间，确定匹配代价算法，如Hammingdistance。

在右图像中，将像素点p_r向指定方向偏移i个像素点的距离，采用匹配代价算法，计算相应的代价值C_i，其中，i＝0,1,2,…,m-1，m为预置参数。

其中，根据去噪后的匹配代价，确定左图像中每个像素点在右图像中的匹配点，并计算每个像素点的视差值时，具体实现过程如下：

针对左图像中特定区域中任意一个像素点p_l，在去噪处理后的m个代价值中进行查找，确定最小的代价值。

将最小代价值所对应的像素点p'_r，作为像素点p_l在右图像中的匹配点。

计算像素点p_l和匹配点p'_r在水平像素位置的差值，以作为该像素点p_l的视差值d。

在彩色图像配准方面，将视差图与矫正后的彩色图像进行配准，确定每个彩色像素点的深度值时，具体实现过程如下：

根据标定的相机参数，将视差图中任意一个像素点坐标，转换为指定相机坐标系下的三维点坐标。

根据预获取的旋转变换量或平移变换量，将指定相机坐标系下的三维点坐标转换到RGB相机坐标系。

将RGB相机坐标系下的三维点坐标进行平面投影变换，计算在彩色图像上的坐标位置，确定配准的彩色像素点，并将RGB相机坐标系下三维点坐标的z轴坐标，作为该配准的彩色像素点的深度值。

本实施例基于主动式双目立体视觉的测量方法，通过坐标转换、平面投影变换方式，实现视差图与彩色图像配准，以使彩色图像中每一个彩色像素点都能够获取准确的深度值。

并且，将指定相机坐标系下的三维点坐标转换到RGB相机坐标系之前，本实施例基于主动式双目立体视觉的测量方法还能够计算变换量，即旋转变换量和平移变换量，通过相关的双目标定方法，例如，张正友平面标定法，计算指定相机坐标系与RGB相机坐标系的空间位置关系，获取旋转变换量R和平移变换量T，为视差图与三维点云图之间的转换，提供准确的信息支持。

其中，根据标定的相机参数，将视差图中任意一个像素点坐标，转换为指定相机坐标系下的三维点坐标时，具体实现过程如下：

根据双目三角法则，将视差图中任意一个像素点坐标P₀(u₀,v₀)，通过如下公式，转换为左相机坐标系下的三维点坐标P_l(x,y,z)，

z＝fb/d

x＝zu₀/f

y＝zv₀/f

其中，d表示视差图中像素点P₀(u₀,v₀)的视差值，f表示相机参数中的焦距，b表示相机参数中的基线，u₀表示视差图中像素点P₀的横轴坐标，v₀表示视差图中像素点P₀的纵轴坐标。

根据预获取的旋转变换量或平移变换量，将指定相机坐标系下的三维点坐标转换到RGB相机坐标系时，具体实现过程如下：

根据预获取的旋转变换量R或平移变换量T，通过如下公式进行计算，将左相机坐标系下的三维点坐标P_l(x,y,z)转换到RGB相机坐标系下的三维点坐标P_rgb(x',y',z')，

P_rgb＝R*P₁+T

将RGB相机坐标系下的三维点坐标进行平面投影变换，计算在彩色图像上的坐标位置时，具体实现过程如下：

将RGB相机坐标系下的三维点坐标P_rgb(x',y',z')进行平面投影变换，通过如下公式，计算在彩色图像上的坐标位置P(u,v)，

其中，u表示彩色图像上像素点P的横坐标，v表示彩色图像上像素点P的纵坐标，f_x表示相机参数中的横向焦距，f_y表示相机参数中的纵向焦距，c_u表示彩色图像上的原点横坐标，c_v表示彩色图像上的原点纵坐标。

本实施例基于主动式双目立体视觉的测量方法还能够提供深度图，即获取左相机坐标系下的三维点P_l(x,y,z)的竖轴坐标之后，该方法还能够根据视差图中每个像素点的坐标和该像素点所对应的三维点P_l(x,y,z)的竖轴坐标，生成深度图。在此，本实施例基于主动式双目立体视觉的测量方法，根据三角测量原理，得到精度为1mm的深度图。

在实际应用过程中，畸变矫正的具体实现过程如下：

双目立体匹配的前端需保证图像无畸变且满足极线约束，因此，在数据到达立体匹配之前进行本步骤。

例如，对同一物体，若同时处于左图像和右图像，但并不在一条直线上，左图像偏上，不满足极线约束。或图像中物体的边缘存在比较大的畸变。

畸变参数及双目的外参数通过双目标定获取，标定后获取以下参数：

相机内参数和畸变参数，每个相机对应自己的内参和畸变参数：

初始内参数：

畸变参数：(k1,k2,p1,p2,k3)，k为径向畸变，p为切向畸变。

外部参数：基线b

立体矫正后的内参，两个相机一样，

两个相机的旋转矩阵R(3×3)。

根据这些标定后的参数，可以得到矫正后图像坐标(u,v)到矫正前图像(u”,v”)的映射关系，具体如下：

步骤1：归一化

步骤2：旋转图像平面

步骤3：加入畸变

步骤4：加入焦距

(u,v)为整数，(u”,v”)为浮点数，如图3中所示，α,β分辨为u”和v”的小数部分。

通过双线性差值可以得到矫正后的图像位置(u,v)处的像素值，具体计算方式为：d＝A(1-α)(1-β)+Bα(1-β)+C(1-α)β+Dαβ

第二方面，本发明实施例所提供的一种基于主动式双目立体视觉的RGBD相机系统，结合图4，该系统包括前端成像子系统和FPGA计算子系统，采用FPGA计算子系统对图像数据进行运算处理，使用流水和并行设计方法对算法进行FPGA电路化设计，使得系统获得了最低的延时，使得实时性得到保障。采用流水线技术以及并行处理的设计，使得运算量很大存储量很大的算法，在单芯片无需外部存储的情况下运算，减少了运算演示以及硬件冗余。

前端成像子系统包括红外双目成像单元11和彩色图像成像单元12，FPGA计算子系统包括三目同步单元21、数据采集单元22、矫正单元23、立体匹配单元24和配准单元25，红外双目成像单元11和彩色图像成像单元12均与三目同步单元21连接，红外双目成像单元11和彩色图像成像单元12还均与数据采集单元22连接，数据采集单元22、矫正单元23、立体匹配单元24和配准单元25依次连接，矫正单元23还与配准单元25连接。

红外双目成像单元11用于对目标场景中的红外光进行成像，形成红外图像。红外双目成像单元11模仿人的双眼，对附有随机斑点场景的红外波段的红外光进行成像。其中，红外双目成像单元11的分辨率为1280*800，以便于通过立体匹配，获得高精度的视差图。

结合图5，红外双目成像单元11主要用于获取两个CMOS传感器输出的图像数据，并且缓冲与进行同一时钟同步。CMOS1和CMOS2各自拥有自己的像素时钟，以不同的时钟分别向各自的fifo中输入数据，然后再通过同一个时钟同一时间逐个像素依次读出。

彩色图像成像单元12用于对目标场景中的可见光进行成像，形成彩色图像，截止红外波段的光线，感光波长小于等于760nm的光线，形成彩色图像。

三目同步单元21用于生成同步触发脉冲，使红外双目成像单元11和彩色图像成像单元12均同步触发，保证红外双目成像单元11曝光同步，红外双目成像单元11和彩色图像成像单元12的图像输出同步，该系统不是使用软件时间戳的方式进行同步，最大限度的保证了红外双目成像单元11曝光的一致性，接收图像和帧率的一致性。

结合图6，在实际应用过程中，可以采用计数器实现同步触发的功能，例如，使用一个高频计数时钟作为输入，到使能信号有效，即使能信号为1时，开始计数，达到计数上限时产生同步触发脉冲。图像的帧率通过设置计数上限值达到，比如时钟频率为FMhz，欲达到帧率为m帧/秒时，则需要的阈值，也即计数上限T为T＝F/m。其中，计数器的具体工作流程如图7所示。

数据采集单元22用于缓存红外双目成像单元11和彩色图像成像单元12的数据，进行时钟同步，再输出至矫正单元23。数据采集单元22与传统的软件端采集frame buffer机制不同，这里不做过多的图像缓存，传统的软件端仅缓存一帧。

矫正单元23用于对红外图像和彩色图像进行矫正。

立体匹配单元24用于将矫正后的红外图像进行立体匹配，生成视差图。通常立体匹配算法需要很大的存储空间，对此算法进行了针对于FPGA的设计，大大的减少了对存储的要求，整体设计框架如图8所示。

配准单元25用于将视差图与矫正后的彩色图像进行配准，确定每个彩色像素点的深度值，以同步获取环境的彩色信息和深度信息，保证彩色图像的每一个彩色像素点都有精确的深度值，最终呈现为RGBD相机系统。

由上述技术方案可知，本实施例提供的基于主动式双目立体视觉的RGBD相机系统，采用FPGA计算子系统对红外图像进行矫正、立体匹配处理，获取视差图，并配合彩色图像，将视差图与彩色图像配准，高精度的三维环境深度感知，以及每个彩色像素点与深度值的匹配，实现RGBD相机系统，也使得系统获得最低的延时。

为了进一步提高本实施例基于主动式双目立体视觉的RGBD相机系统的系统性能，前端成像子系统还包括衍射光学器件13，衍射光学器件13与三目同步单元21连接，衍射光学器件13用于根据同步触发脉冲，向目标场景中照射处于红外波段的纹理图案，即波长在830nm～950nm的纹理图案，以丰富环境中的纹理图案，实现较高密度的纹理，以保证局部算法可行性。三目同步单元21还能够控制衍射光学器件13，在曝光区间，增强照射到目标场景中的纹理，非曝光时间段，停止工作。在此，该系统不是使用软件时间戳的方式进行同步，最大限度的保证了双目红外相机曝光和衍射光学器件13工作的一致性。其中，衍射光学器件13为结构光发射器，以发射稳定的纹理图案。

在此，本实施例提供的基于主动式双目立体视觉的RGBD相机系统，能够采用衍射光学器件13丰富目标场景的纹理图案，即使处于弱纹理、暗光环境下，也能够实现高精度的三维环境深度感知，大大扩展该系统的适用性。

在成像单元硬件实现方面，对于红外双目成像单元，红外双目成像单元11包括第一镜头、可见光截止滤镜和红外图像CMOS传感器，第一镜头还与三目同步单元21连接，可见光截止滤镜贴附于第一镜头，红外图像CMOS传感器还与数据采集单元22连接，第一镜头用于根据三目同步单元21传输的同步触发信号，采集目标场景的光线，可见光截止滤镜用于截止可见光波段，透过红外波段，红外图像CMOS传感器用于感应红外波段，形成红外图像，传输至数据采集单元22。其中，可见光截止滤镜包括可见光截止膜和红外增透膜，可见光截止膜和红外增透膜均贴附于第一镜头。

在此，本实施例基于主动式双目立体视觉的RGBD相机系统，通过设置可见光截止滤镜，以使红外图像CMOS传感器感应红外波段，形成红外图像，并且，采用可见光截止膜截止可见光，采用红外增透膜，以透过更多的红外波段，有助于红外图像CMOS传感器形成清晰的红外图像。

对于彩色图像成像单元，彩色图像成像单元12包括第二镜头和彩色图像CMOS传感器，第二镜头还与三目同步单元21连接，且第二镜头镀有红外波段截止膜，彩色图像CMOS传感器还与数据采集单元22连接，镀有红外波段截止膜的第二镜头用于根据三目同步单元21传输的同步触发信号，采集目标场景的可见光波段，彩色图像CMOS传感器用于感应可见光波段，形成彩色图像，传输至数据采集单元22。

在此，本实施例基于主动式双目立体视觉的RGBD相机系统，通过设置镀有红外波段截止膜的第二镜头，以使彩色图像CMOS传感器感应可见光波段，形成彩色图像，并且，通过红外波段截止膜截止红外波段，有助于彩色图像CMOS传感器形成清晰的彩色图像。

在数据输出方面，本实施例基于主动式双目立体视觉的RGBD相机系统还包括数据输出单元，数据输出单元与配准单元25连接，其中，数据输出单元可以配置为LVDS，USB、MIPI、DVP，或根据实际业务需求，进行定制，满足实际应用需求。在实际应用过程中，能够根据用户的选择，输出相应的图示，如原始左图、原始右图等，具体如图9所示。

并且，本实施例基于主动式双目立体视觉的RGBD相机系统还能够进行深度计算，即该系统还包括深度计算单元，深度计算单元与立体匹配单元24连接，实现深度计算，并输出深度图。采用FPGA中的DSP资源进行浮点运算，计算为流水处理，因此对资源的消耗为一个乘法器与一个除法器，具体如图10所示。

在实际应用过程中，矫正单元23的工作流程如下：

图像缓存写逻辑不断将前端接收的图像写入图像缓存(双端口RAM)，当图像坐标递增单元接收到开始信号，开始从图像起始坐标开始触发实时坐标映射计算模块工作，计算出对应在原图的坐标，同时，将此坐标告知坐标地址映射模块和像素值读取模块，读取对应的四个像素，然后双线性插值模块根据获取到的值和小数点分量插值得到校正后图像对应坐标下的像素，以此类推。

实时坐标映射值计算的FPGA设计：

其中，图中的计算是首先将上文中描述的前两个步骤进行了融合，具体如下：

在整个FPGA电路设计，使用加减乘除基本单元进行计算。

在最终像素双线性差值环节根据FPGA资源和计算特性做了重新设计，将浮点计算转换为定点计算，使用了6位定点，将浮点运算转换为整数运算和移位运算，如下所述：

a＝64*α

b＝64*β

a＝64-a

b＝64-b

d＝abA+(64-a)bB+a(64-b)C+(64-a)(64-b)D

d＝d>>12

tmp1＝(A-B)*a+(B<<6)

tmp2＝(C-D)*a+(D<<6)

d＝(tmp1-tmp2)*b+(tmp2<<6)

d＝d>>12

本发明的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种基于主动式双目立体视觉的测量方法，其特征在于，包括：

同时对目标场景中的红外光和可见光进行成像，分别形成红外图像和彩色图像；

对所述红外图像和所述彩色图像进行矫正；

将矫正后的红外图像进行立体匹配，生成视差图；

将所述视差图与矫正后的彩色图像进行配准，确定每个彩色像素点的深度值。

2.根据权利要求1所述基于主动式双目立体视觉的测量方法，其特征在于，对目标场景中的红外光和可见光进行成像之前，该方法还包括：

向所述目标场景中照射处于红外波段的纹理图案。

3.根据权利要求1所述基于主动式双目立体视觉的测量方法，其特征在于，

将矫正后的红外图像进行立体匹配，生成视差图，具体包括：

对矫正后的红外图像进行噪声抑制和纹理增强处理，所述红外图像包括左图像和右图像；

遍历所述左图像中特定区域的像素点，进行代价计算，确定每个像素点的匹配代价，所述左图像中特定区域是根据预置参数确定的区域；

对每个像素点的匹配代价进行去噪处理；

根据去噪后的匹配代价，确定左图像中每个像素点在右图像中的匹配点，并计算每个像素点的视差值；

检测每个像素点与匹配点的匹配度，滤除误匹配点的视差值，将匹配度检验合格的视差值构建视差图。

4.根据权利要求3所述基于主动式双目立体视觉的测量方法，其特征在于，

遍历左图像中特定区域的像素点，进行代价计算，确定每个像素点的匹配代价，具体包括：

针对所述左图像中特定区域中任意一个像素点p_l，以所述像素点p_l为中心，建立邻域像素区间；

根据所述像素点p_l的位置坐标，在所述右图像中，确定相同位置坐标的像素点p_r，并以所述像素点p_r为中心，建立邻域像素区间；

根据像素点p_l的邻域像素区间和像素点p_r的邻域像素区间，确定匹配代价算法；

在右图像中，将像素点p_r向指定方向偏移i个像素点的距离，采用匹配代价算法，计算相应的代价值C_i，其中，i＝0,1,2,…,m-1，m为预置参数；

根据去噪后的匹配代价，确定左图像中每个像素点在右图像中的匹配点，并计算每个像素点的视差值，具体包括：

针对所述左图像中特定区域中任意一个像素点p_l，在去噪处理后的m个代价值中进行查找，确定最小的代价值；

将最小代价值所对应的像素点p'_r，作为像素点p_l在右图像中的匹配点；

计算所述像素点p_l和匹配点p'_r在水平像素位置的差值，以作为该像素点p_l的视差值d。

5.根据权利要求1所述基于主动式双目立体视觉的测量方法，其特征在于，

将所述视差图与矫正后的彩色图像进行配准，确定每个彩色像素点的深度值，具体包括：

根据标定的相机参数，将所述视差图中任意一个像素点坐标，转换为指定相机坐标系下的三维点坐标；

根据预获取的旋转变换量或平移变换量，将指定相机坐标系下的三维点坐标转换到RGB相机坐标系；

将RGB相机坐标系下的三维点坐标进行平面投影变换，计算在彩色图像上的坐标位置，确定配准的彩色像素点，并将RGB相机坐标系下三维点坐标的z轴坐标，作为该配准的彩色像素点的深度值。

6.根据权利要求5所述基于主动式双目立体视觉的测量方法，其特征在于，

将指定相机坐标系下的三维点坐标转换到RGB相机坐标系之前，该方法还包括：

计算所述指定相机坐标系与RGB相机坐标系的空间位置关系，获取旋转变换量和平移变换量。

7.根据权利要求5所述基于主动式双目立体视觉的测量方法，其特征在于，

根据标定的相机参数，将所述视差图中任意一个像素点坐标，转换为指定相机坐标系下的三维点坐标，具体包括：

根据双目三角法则，将所述视差图中任意一个像素点坐标P₀(u₀,v₀)，通过如下公式，转换为左相机坐标系下的三维点坐标P_l(x,y,z)，

z＝fb/d

x＝zu₀/f

y＝zv₀/f

其中，d表示视差图中像素点P₀(u₀,v₀)的视差值，f表示相机参数中的焦距，b表示相机参数中的基线，u₀表示视差图中像素点P₀的横轴坐标，v₀表示视差图中像素点P₀的纵轴坐标；

根据预获取的旋转变换量或平移变换量，将指定相机坐标系下的三维点坐标转换到RGB相机坐标系，具体包括：

根据预获取的旋转变换量R或平移变换量T，通过如下公式进行计算，将左相机坐标系下的三维点坐标P_l(x,y,z)转换到RGB相机坐标系下的三维点坐标P_rgb(x',y',z')，

P_rgb＝R*P₁+T

将RGB相机坐标系下的三维点坐标进行平面投影变换，计算在彩色图像上的坐标位置，具体包括：

将RGB相机坐标系下的三维点坐标P_rgb(x',y',z')进行平面投影变换，通过如下公式，计算在彩色图像上的坐标位置P(u,v)，

<mrow> <mi>u</mi> <mo>=</mo> <msub> <mi>f</mi> <mi>x</mi> </msub> <mo>*</mo> <mfrac> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <msup> <mi>z</mi> <mo>&amp;prime;</mo> </msup> </mfrac> <mo>+</mo> <msub> <mi>c</mi> <mi>u</mi> </msub> </mrow>

<mrow> <mi>v</mi> <mo>=</mo> <msub> <mi>f</mi> <mi>y</mi> </msub> <mo>*</mo> <mfrac> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> <msup> <mi>z</mi> <mo>&amp;prime;</mo> </msup> </mfrac> <mo>+</mo> <msub> <mi>c</mi> <mi>v</mi> </msub> </mrow>

其中，u表示彩色图像上像素点P的横坐标，v表示彩色图像上像素点P的纵坐标，f_x表示相机参数中的横向焦距，f_y表示相机参数中的纵向焦距，c_u表示彩色图像上的原点横坐标，c_v表示彩色图像上的原点纵坐标。

8.根据权利要求7所述基于主动式双目立体视觉的测量方法，其特征在于，获取左相机坐标系下的三维点P_l(x,y,z)的竖轴坐标之后，该方法还包括：根据所述视差图中每个像素点的坐标和该像素点所对应的三维点P_l(x,y,z)的竖轴坐标，生成深度图。

9.一种基于主动式双目立体视觉的RGBD相机系统，其特征在于，包括：前端成像子系统和FPGA计算子系统，

所述前端成像子系统包括红外双目成像单元和彩色图像成像单元，

所述FPGA计算子系统包括三目同步单元、数据采集单元、矫正单元、立体匹配单元和配准单元，

所述红外双目成像单元和所述彩色图像成像单元均与所述三目同步单元连接，

所述红外双目成像单元和所述彩色图像成像单元还均与所述数据采集单元连接，

所述数据采集单元、所述矫正单元、所述立体匹配单元和所述配准单元依次连接，

所述矫正单元还与所述配准单元连接，

所述红外双目成像单元，用于对目标场景中的红外光进行成像，形成红外图像，

所述彩色图像成像单元，用于对目标场景中的可见光进行成像，形成彩色图像，

所述三目同步单元，用于生成同步触发脉冲，使所述红外双目成像单元和所述彩色图像成像单元均同步触发，

所述数据采集单元，用于缓存所述红外双目成像单元和所述彩色图像成像单元的数据，进行时钟同步，再输出至所述矫正单元，

所述矫正单元，用于对所述红外图像和所述彩色图像进行矫正，

所述立体匹配单元，用于将矫正后的红外图像进行立体匹配，生成视差图，

所述配准单元，用于将所述视差图与矫正后的彩色图像进行配准，确定每个彩色像素点的深度值。

10.根据权利要求9所述基于主动式双目立体视觉的RGBD相机系统，其特征在于，所述前端成像子系统还包括衍射光学器件，

所述衍射光学器件与所述三目同步单元连接，

所述衍射光学器件，用于根据所述同步触发脉冲，向目标场景中照射处于红外波段的纹理图案。