CN211403487U - Rgb-d模组的校准设备 - Google Patents

Abstract

本实用新型提供了一种RGB‑D模组的校准设备，RGB‑D模组的校准设备包括用于定位RGB‑D模组的夹具、至少4个标定模组、主机和显示端；RGB‑D模组的校准设备还包括用于驱动夹具和至少4个标定模组相对移动的驱动机构；主机获取至少4个标定模组的位置和RGB‑D模组的拍摄图像，以实现对RGB‑D模组的校准；显示端与主机通信连接并显示校准信息。与现有技术相比，本实用新型提供的RGB‑D模组的校准设备中包括至少4个标定模组，通过驱动机构驱动至少4个标定模组相对夹具移动，以使得被夹具夹持的待校准RGB‑D模组能够获取符合校准要求的图像，以实现前述的RGB‑D模组的校准方法、进而提高RGB‑D模组的校准精度，进而优化RGB‑D相机的拍摄效果。

Description

RGB-D模组的校准设备

技术领域

本实用新型涉及摄影技术领域，特别涉及具有深度拍摄功能的摄像模组的参数校准设备。

背景技术

随着硬件计算的发展移动终端(例如手机、平板电脑等)的拍摄功能也越来越丰富和强大，目前，大部分移动终端都配置有较高性能的摄像头，尤其是双摄、三摄以及结构光+RGB和ToF+RGB等诸多RGB-D模组在移动终端上的出现，为用户提升拍照效果和体验以及其他扩展应用提供了可能性。

传统的摄像机标定方法一般都是基于2D平面靶标的摄像机标定(张正友标定法)。利用摄像机在两个以上不同的机位拍摄同一平面标定板，摄像机和2D平面标定板都可自由移动，且保证摄像机的内部参数始终不变，那么，通过线性分析计算摄像机参数的优化解，计算过程，考虑镜头畸变参数，可求解出所测摄像机的内外参数。但针对深度图像的校准，传统的2D平面靶标的摄像机标定方法是很难达到有效的深度校准，这也限制了市面上的带有RGB-D模组的移动终端的应用开发，进而限制了RGB-D相机在消费级市场的快速发展。

实用新型内容

本实用新型的目的是提供一种RGB-D模组的校准设备，用于实现RGB-D模组的参数校准，以优化RGB-D相机的拍摄效果。

为了实现上述目的，本实用新型提供了一种RGB-D模组的校准设备，所述RGB-D模组的校准设备包括用于定位RGB-D模组的夹具、至少4个标定模组、主机和显示端；所述RGB-D模组的校准设备还包括用于驱动所述夹具和至少4个所述标定模组相对移动的驱动机构；所述主机获取至少4个所述标定模组的位置和所述RGB-D模组的拍摄图像，以实现对所述RGB-D模组的校准；所述显示端与所述主机通信连接并显示校准信息。

与现有技术相比，本实用新型提供的RGB-D模组的校准设备中包括至少4个标定模组，通过驱动机构驱动至少4个标定模组相对夹具移动，以使得被夹具夹持的待校准RGB-D模组能够获取符合校准要求的图像，以实现前述的RGB-D模组的校准方法、进而提高RGB-D模组的校准精度，进而优化RGB-D相机的拍摄效果。

用于实现RGB-D模组的参数校准，以优化RGB-D相机的拍摄效果。

较佳的，至少三个所述标定模组可沿XY方向上在一定角度范围内进行旋转。

较佳的，所述驱动机构包括用于驱动所述夹具移动的第一动力机构、驱动至少4个所述标定模组移动的第二动力机构。

进一步的，所述RGB-D模组的校准设备包括底架和可相对所述底架上下移动的活动架；所述夹具设置于所述底架的上侧，至少4个所述标定模组设置于所述活动架的下侧并在所述活动架的带动下可相对所述夹具上下移动。

较佳的，用于驱动至少4个所述标定模组移动的第二动力机构，包括用于驱动所述活动架相对所述底架上下移动的竖向驱动单元、和分别用于驱动对应一所述标定模组于平面方向内旋转的旋转驱动单元。

较佳的，所述RGB-D模组的校准设备还包括外壳，所述底架和所述活动架设置于所述外壳内；所述外壳的侧面开设有用于取放RGB-D模组的取放口。

具体地，所述RGB-D模组的校准设备还包括用于取放RGB-D模组的取放架，所述取放架于所述取放口和所述夹具间移动，以从取放口处获取RGB-D模组并将RGB-D模组移动至所述夹具处，或将RGB-D模组从所述夹具取出并移动至所述取放口处。

较佳的，所述RGB-D模组为具有拍摄功能的移动通信终端。

附图说明

图1为RGB-D模组校准方法的流程图。

图2为本实用新型RGB-D模组校准设备的结构示意图。

图3为本实用新型RGB-D模组校准设备的内部结构示意图。

图4为本实用新型RGB-D模组校准设备的内部结构的侧视图。

图5为本实用新型RGB-D模组校准设备的校准流程示意图。

具体实施方式

为详细说明本实用新型的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。

为方便对本实用新型提供的RGB-D模组的校准设备进行说明，先行对RGB-D模组的校准方法进行详细的介绍。

如图1所示，RGB-D模组的校准方法具体包括步骤：S1.RGB-D模组拍摄采集RGB图像和Depth图像，以标定所述RGB-D模组的内参数和外参数；S2.RGB-D模组拍摄采集RGB-D图像，并根据N个不同的采集结果，校正所述RGB-D模组的参数；S3.将RGB模组和Depth模组的像素级参数融合，实现对RGB-D模组的空间标定校准。更具体地：

步骤S1：RGB-D模组拍摄采集RGB图像和Depth图像，以标定所述RGB-D模组的内参数和外参数。具体地，RGB-D模组分别获取至少三帧RGB图像和至少三帧Depth图像，计算获得RGB-D模组的内参矩阵K_RGB和K_Depth、外参旋转矩阵R和平移向量T。

可以理解的，RGB-D模组包括RGB模组和Depth模组，其中RGB模组拍摄的RGB图像为不包含深度信息的2D图像，Depth模组拍摄的Depth图像包含深度信息。通过将RGB模组和Depth模组分别拍摄的RGB图像和Depth图像进行融合，计算得到具有深度信息的RGB-D图像。

在步骤S1中，分别由RGB模组拍摄不包含深度信息的RGB图像、Depth模组拍摄包含深度信息的Depth图像，基于至少三帧RGB图像和至少三帧Depth图像，以获取并标定RGB-D模组的内参数和外参数。

其中，RGB-D模组的内参数具体包括RGB模组的内参矩阵K_RGB和Depth模组的内参矩阵K_Depth。相机模组的内参矩阵可以通过张正友标定算法计算获取，具体可以为编写张正友参数计算的程序代码，若相机模组内置有张正友标定算法的计算程序代码，亦可以直接调用进行计算。由于基于张正友标定算法利用图像获取相机模组的内参数为本领域的公知常识，在此不再多加说明。

对于，RGB-D模组的外参数包括外参旋转矩阵R和平移向量T，可以基于RGB模组外参旋转矩阵R_RGB和平移向量T_RGB、Depth模组的外参旋转矩阵R_Depth和平移向量T_Depth进行计算。RGB-D模组的外参数的计算方法具体为：针对FoV内的每一点P做单点的遍历计算，P为世界空间坐标系中某点坐标，RGB模组和Depth模组坐标下通过旋转矩阵R_RGB和R_Depth，以及RGB模组和Depth模组的平移向量T_RGB和T_Depth，得到分别在RGB模组和Depth模组下的P点的坐标为：

T_RGB＝R_RGB*P+T_RGB，P_Depth＝R_Depth*P+T_Depth；

其中P_RGB为P点在RGB图像中的坐标，P_Depth为P点Depth图像中的坐标；坐标计算可得到外参旋转矩阵和平移向量：

T＝T_RGB-RT_Depth。

可以理解的，目前通常采取2D平面标靶对相机的参数进行标定。基于该种标定方法标定出的RGB-D模组的内参数和外参数中，Depth模组的深度相关参数无法被准确计算，导致RGB-D模组拍摄出的RGB-D图像中RGB信息和Depth信息因没有对齐而影响成像效果。因此，在步骤S1之后，需要对Depth模组的深度相关参数进行校正，以提升成像效果。

步骤S2：RGB-D模组拍摄采集RGB-D图像，并根据N个不同的采集结果，校正RGB-D模组的参数。具体地，RGB-D模组拍摄采集RGB-D图像，并根据N个不同的采集结果，判断RGB模组和Depth模组是否对齐，若是则进入步骤S3，若否则调整平移向量T。

示例性的：RGB模组和Depth模组拍摄N个不同的实际场景，并基于步骤S1标定的内参数和外参数，对图像融合得到N个具有深度信息的RGB-D图像；判断N个RGB-D图像中的RGB信息和Depth信息的对齐情况，进而判断RGB模组和Depth模组是否对齐；若是则进入步骤S3，若否则微调平移向量T，直至RGB模组和Depth模组对齐。

调整平移向量T的具体步骤为：根据RGB-D模组拍摄采集的N个不同的RGB-D图像，采集平移向量微值

求解

最终调整平移向量为T＝T+T_tuning；在判断RGB-D模组拍摄的RGB-D图像中RGB像素和Depth像素未对齐时，则通过微调平移向量为T，以对齐RGB模组和Depth模组。

在步骤S2中，通过初步标定的RGB-D相机拍摄多个实际场景，并基于初步标定的内参数和外参数，对图像融合得到具有深度信息的RGB-D图像。通过对RGB-D模组的实际拍摄效果判断RGB模组和Depth模组是否对齐，若未对齐则对调整平移向量T，直至RGB模组和Depth模组实现像素级的对齐。可以理解的，判断RGB-D图像中RGB信息和Depth信息是否对齐，可以为人员肉眼判断，亦可以采用校正程序与标准图像进行比对判断。

S3.将RGB模组和Depth模组的像素级参数融合，实现对RGB-D模组的空间标定校准。具体地，将经过步骤S1初步标定并经过步骤S2校正后的内参数和外参数写入RGB-D模组，完成对RGB-D模组的空间标定校准。校正完成后的RGB-D模组，在拍摄时，会直接使用写入的内参数和外参数，对RGB模组拍摄的RGB图像和Depth模组拍摄的Depth图像进行融合，对用户显示融合后的具有深度信息的RGB-D图像。

本实用新型提供的RGB-D模组的校准设备，即为实现上述RGB-D模组的校准方法。

如图2-图4所示，本实用新型提供的RGB-D模组的校准设备包括用于定位RGB-D模组的夹具100、至少4个标定模组200、主机和显示端；RGB-D模组的校准设备还包括用于驱动夹具100和至少4个标定模组200相对移动的驱动机构；主机获取至少4个标定模组200的位置和RGB-D模组的拍摄图像，以实现对RGB-D模组的校准；显示端与主机通信连接并显示校准信息。更具体地：

如图2-图4所示的RGB-D模组的校准设备，没有显示主机和显示端。可以理解的，主机是为控制夹具100和标定模组200等按照预设的流程进行工作完成对RGB-D模组的校准，其可以为PC或其他控制装置；显示端用于显示校准过程或校准结果，其可以为显示屏幕，也可以为简单的能够指示校准状态或校准结果的指示灯等。

如图2和图3所示，RGB-D模组的校准设备包括底架300和可相对底架300上下移动的活动架400；夹具100设置于底架300的上侧，至少4个标定模组200设置于活动架400的下侧并在活动架400的带动下可相对夹具100上下移动。

在本实施例中，如图2所示，RGB-D模组的校准设备还包括外壳500，底架300和活动架400设置于外壳500内；外壳500的侧面开设有用于取放RGB-D模组的取放口510。外壳500的设置，可以使得在RGB-D模组的校准过程中，减少外界的干扰，提高校准的准确性。

前述的RGB-D模组的校准方法中，需要RGB-D模组在校准过程中拍摄标定模组200在不同的角度位置下的图像。为此，本实用新型提供的RGB-D模组的校准设备中，还包括用于驱动夹具100和标定模组200移动的驱动机构。驱动机构具体包括用于驱动夹具100移动的第一动力机构110、驱动至少4个标定模组200移动的第二动力机构210。

如图3和图4所示，在本实施例中，第一动力机构110包括用于驱动夹具100移动的两个夹持气缸。两个夹持气缸动作，以带动夹具100夹持待测的RGB-D模组，实现RGB-D模组的定位。

进一步的，本实用新型提供的RGB-D模组的校准设备中，至少三个标定模组200可沿XY方向上在一定角度范围内进行旋转。具体的，如图3和图4所示，用于驱动至少4个标定模组200移动的第二动力机构210，包括用于驱动活动架400相对底架300上下移动的竖向驱动单元211、和分别用于驱动对应一标定模组200于平面方向内旋转的旋转驱动单元212。其中竖向驱动单元211驱动活动架400相对底架300上下移动、带动至少4个标定模组200同时上下移动，竖向驱动单元211可以为直线驱动气缸或马达；旋转驱动单元212的数量至少有3个，每个旋转驱动单元212分别驱动对应一个标定模组200于平面方向内、以竖向轴为中心进行旋转。

较佳的，RGB-D模组的校准设备还包括用于取放RGB-D模组的取放架(图中未示)，取放架于取放口510和夹具100间移动，以从取放口510处获取RGB-D模组并将RGB-D模组移动至夹具100处，或将RGB-D模组从夹具100取出并移动至取放口510处。设置该取放架后，可以待取放架移动至取放口510处时再行将待校准的RGB-D模组放到取放架处或从取放架处取走校准完毕的RGB-D模组。

与现有技术相比，本实用新型提供的RGB-D模组的校准设备中包括至少4个标定模组200，通过驱动机构驱动至少4个标定模组200相对夹具100移动，以使得被夹具100夹持的待校准RGB-D模组能够获取符合校准要求的图像，以实现前述的RGB-D模组的校准方法、进而提高RGB-D模组的校准精度，进而优化RGB-D相机的拍摄效果。

结合图1-图5所示，对基于本实用新型提供的RGB-D模组的校准设备，实现上述RGB-D模组的校准方法的流程进行详细说明：

如图5所示，校准流程具体包括步骤：A1、将RGB-D模组放入夹具100中定位，并将RGB-D模组和主机通信连接；A2、主机控制夹具100移动以带动RGB-D模组移动至检测工位；A3、主机控制至少4个标定模组200相对RGB-D模组移动，RGB-D模组拍摄以完成RGB-D模组的参数校正；A4、校准结果写入RGB-D模组；A5、主机控制第一动力机构驱动夹具100带动RGB-D模组退出检测工位；A6、断开RGB-D模组和主机通信连接并取走RGB-D模组。

其中，对于步骤A3，具体包括：A31、主机控制RGB-D模组拍摄RGB图像和Depth图像并将RGB图像和Depth图像回传给主机，以标定RGB-D模组的内参数和外参数；A32、主机控制RGB-D模组拍摄RGB-D图像并将RGB-D图像回传给主机，判断RGB模组和Depth模组是否对齐，若未对齐则将对RGB-D模组进行校正；A33、主机控制RGB-D模组再次拍摄RGB-D图像并将RGB-D图像回传给主机，直至判断RGB模组和Depth模组对齐，得到最终的RGB-D模组的内参数和外参数。

对于步骤A1：将RGB-D模组放入夹具100中定位，并将RGB-D模组和主机通信连接；具体地，将RGB-D模组放入到夹具100中定位，RGB-D模组通过蓝牙或通讯连接线与主机通信连接。在实际工作中，步骤A1主要基于操作人员的操作实现。

在步骤A1操作结束、RGB-D模组放入到夹具100中并与主机通信连接后，步骤A2-步骤A5主要为在主机控制下自动实现，具体计算过程参见前述的RGB-D模组的校准方法内容。仅步骤A32中“判断RGB模组和Depth模组是否对齐”，对RGB-D图像的成像效果、是否需要校正RGB-D模组的参数，可以为操作人员根据RGB-D图像进行肉眼判断，亦可以无须人工、采用装载于主机中的校正程序与标准图像进行比对判断。

可以理解的，上述RGB-D模组可以为集成于移动通信终端内、具有深度信息拍摄功能的相机模块。在进行校准时，可以根据需要，对该相机模块进行校准，亦可以在移动通信终端完成后、对集成于移动通信终端内的相机模块进行拍摄校准。

以上所揭露的仅为本实用新型的优选实施例而已，当然不能以此来限定本实用新型之权利范围，因此依本实用新型申请专利范围所作的等同变化，仍属本实用新型所涵盖的范围。

Claims (8)

1.一种RGB-D模组的校准设备，其特征在于，所述RGB-D模组的校准设备包括用于定位RGB-D模组的夹具、至少4个标定模组、主机和显示端；所述RGB-D模组的校准设备还包括用于驱动所述夹具和至少4个所述标定模组相对移动的驱动机构；所述主机获取至少4个所述标定模组的位置和所述RGB-D模组的拍摄图像，以实现对所述RGB-D模组的校准；所述显示端与所述主机通信连接并显示校准信息。

2.如权利要求1所述的RGB-D模组的校准设备，其特征在于，至少三个所述标定模组可沿XY方向上在一定角度范围内进行旋转。

3.如权利要求1所述的RGB-D模组的校准设备，其特征在于，所述驱动机构包括用于驱动所述夹具移动的第一动力机构、驱动至少4个所述标定模组移动的第二动力机构。

4.如权利要求1-3任一项所述的RGB-D模组的校准设备，其特征在于，所述RGB-D模组的校准设备包括底架和可相对所述底架上下移动的活动架；所述夹具设置于所述底架的上侧，至少4个所述标定模组设置于所述活动架的下侧并在所述活动架的带动下可相对所述夹具上下移动。

5.如权利要求4所述的RGB-D模组的校准设备，其特征在于，用于驱动至少4个所述标定模组移动的第二动力机构，包括用于驱动所述活动架相对所述底架上下移动的竖向驱动单元、和分别用于驱动对应一所述标定模组于平面方向内旋转的旋转驱动单元。

6.如权利要求4所述的RGB-D模组的校准设备，其特征在于，所述RGB-D模组的校准设备还包括外壳，所述底架和所述活动架设置于所述外壳内；所述外壳的侧面开设有用于取放RGB-D模组的取放口。

7.如权利要求6所述的RGB-D模组的校准设备，其特征在于，所述RGB-D模组的校准设备还包括用于取放RGB-D模组的取放架，所述取放架于所述取放口和所述夹具间移动，以从取放口处获取RGB-D模组并将RGB-D模组移动至所述夹具处，或将RGB-D模组从所述夹具取出并移动至所述取放口处。

8.如权利要求1所述的RGB-D模组的校准设备，其特征在于，所述RGB-D模组为具有拍摄功能的移动通信终端。

Images