CN110827358A

CN110827358A - 一种应用于自动驾驶汽车的相机标定方法

Info

Publication number: CN110827358A
Application number: CN201910976445.6A
Authority: CN
Inventors: 晏子; 张宇超; 陶圣
Original assignee: Shenzhen Shuxiang Technology Co Ltd
Current assignee: Ordos Kal Power Technology Co.,Ltd.
Priority date: 2019-10-15
Filing date: 2019-10-15
Publication date: 2020-02-21
Anticipated expiration: 2039-10-15
Also published as: CN110827358B

Abstract

一种应用于自动驾驶汽车的相机标定方法，属于汽车自动驾驶领域。现有汽车自动驾驶技术中涉及的多传感器之间的融合技术不足。本发明的一种应用于自动驾驶汽车的相机标定方法，在自动驾驶的车辆前设置一块标定板，通过相机获取标定板的图像，利用lableme软件获取标定板图像的四个角点的图像坐标；测量标定板角点的物理坐标，结合图像坐标，利用pnp算法计算出将三维空间投影至二维投影位置的旋转平移矩阵；利用计算得到的旋转平移矩阵将激光雷达的三维点云空间投影到相机的二维图像上，实现相机和激光雷达的联合标定。本发明具有融合过程简单、融合结果精确的优点。

Description

一种应用于自动驾驶汽车的相机标定方法

技术领域

本发明涉及一种应用于自动驾驶汽车的相机标定方法。

背景技术

由于自动驾驶汽车可以降低交通事故的发生和减少人力成本等优点，目前是全世界的热门研究领域。并且随着各种传感器成本的下降和技术的发展，自动驾驶技术也逐渐趋于商用领域。目前在自动驾驶领域常用的车载传感器包括相机（camera）、激光雷达（lidar）和毫米波雷达等。由于单一的传感器有各自的优点与缺点，为了提高自动驾驶的可靠性与稳定性，主流技术通常采用多传感器融合的方案。

在进行多传感器融合之前，首先就是要对各个传感器进行标定。所谓标定，就是各个传感器协同工作时，需要统一坐标系，需要估计各个传感器的外参，即旋转平移变换矩阵。针对相机标定的问题，本文提出了一种基于标定板（一块2米×2米的正方形木板）的标定方法，通过提取标定板的四个角点的图像坐标，和测量四个角点在车体坐标系的物理坐标，再使用pnp算法进行坐标转换，即可实现对相机的标定。

发明内容

本发明的目的是为了解决现有汽车自动驾驶技术中涉及的多传感器之间的融合技术不足，而提出一种应用于自动驾驶汽车的相机标定方法。

一种应用于自动驾驶汽车的相机标定方法，所述方法通过以下步骤实现：

步骤一、在自动驾驶车辆前设置一块标定板，通过相机获取标定板的图像，利用lableme软件获取标定板图像的四个角点的图像坐标；

步骤二、测量标定板角点在车体坐标系的物理坐标，结合步骤一的图像坐标，利用pnp算法计算出相机坐标系到车体坐标系的旋转平移矩阵；

步骤三、计算提取激光雷达中标定板四个角点的三维数据，在激光雷达坐标系下，利用pnp算法计算出相机到激光雷达的旋转平移矩阵，使用旋转平移矩阵将激光雷达的三维点云数据投影到相机的二维图像上，实现相机和激光雷达的联合标定。

本发明的有益效果为：

本发明提出的应用于自动驾驶汽车的相机标定方法，具有操作简单，传感器间融合结果精确的优点。具体为，借助一块正方形木板，通过提取标定板的四个角点的图像坐标，测量四个角点在车体坐标系的物理坐标，再使用pnp算法进行坐标转换的步骤，即实现了对相机的标定。

附图说明

图1为本发明的方法流程图。

具体实施方式

具体实施方式一：

本实施方式的一种应用于自动驾驶汽车的相机标定方法，方法流程如图1所示，所述方法通过以下步骤实现：

步骤一、在静止状态的自动驾驶车辆前设置一块标定板，通过相机获取标定板的图像，利用lableme软件获取标定板图像的四个角点的图像坐标；

步骤二、测量标定板角点在车体坐标系的物理坐标，结合步骤一的图像坐标，利用pnp（Perspective-n-Point）算法计算出相机坐标系到车体坐标系的旋转平移矩阵；

具体实施方式二：

与具体实施方式一不同的是，本实施方式的一种应用于自动驾驶汽车的相机标定方法，步骤一所述的在静止状态的自动驾驶车辆前设置一块标定板，通过相机获取标定板的图像，利用lableme软件获取标定板图像的四个角点的图像坐标的过程为，

步骤一1、获取标定板的图像：

在自动驾驶汽车的相机前方，设置与相机光轴垂直的标定板，标定板与相机之间的距离约8~15m，启动相机驱动并拍照，获取标定板的图像；

步骤一2、获取标定板图像中角点的图像坐标：

利用第三方开源软件lableme软件依次手动标记标定板图像的四个角点，并保存，经保存操作此软件会生成相应的包含角点的图像坐标的json文件，即得到标定板图像中角点的图像坐标。本发明利用lableme来获取角点的图像坐标，这样能保证图像坐标更为精准。受光照和天气等因素的影响，若直接使用算法自动识别角点，将导致误差增大，从而不能精确的获取角点的图像坐标。

具体实施方式三：

与具体实施方式一或二不同的是，本实施方式的一种应用于自动驾驶汽车的相机标定方法，步骤二所述的利用PnP（Perspective-n-Point）算法计算出相机坐标系到车体坐标系的旋转平移矩阵的过程为，

步骤二1、获取角点的物理坐标：

利用卷尺、铅垂线和激光水平仪等的辅助工具，测量计算标定板四个角点在世界坐标系下的物理坐标；

步骤二2、计算旋转平移矩阵：

在得到标定板四个角点的图像坐标和车体坐标系下的物理坐标后，通过OpenCV的库函数solvePnP计算出相机坐标系到车体坐标系的旋转平移矩阵；其中，PnP算法全称Perspective-n-Point，其工作原理为当已知n个三维空间点及其二维投影位置时，用于估计相机的位姿。

即，用PnP算法，将像素坐标点和物理坐标点之间对应的旋转矩阵R和平移矩阵t求解出来，得到R和t以后，则相机标定完成。

具体实施方式四：

与具体实施方式三不同的是，本实施方式的一种应用于自动驾驶汽车的相机标定方法，所述的步骤三中，相机和激光雷达的联合标定的过程为，

解析激光雷达的标定板的点云数据，在激光雷达坐标系下获取标定板角点的三维坐标；

通过在步骤一中使用lableme获取标定板四个角点的图像坐标后，再调用OpenCV中的库函数solvePnP，并将角点相机的图像坐标和激光雷达的三维坐标传入OpenCV的库函数solvePnP中，即可得到其旋转平移矩阵；

最后利用将激光雷达的三维点云投影到相机的二维图像上的旋转平移矩阵，将旋转平移矩阵作为各传感器之间的外参，将激光雷达的三维点云数据投影到相机的二维图像上，完成相机和激光雷达的联合标定，从而为多传感器之间的融合做准备。

即，将激光雷达提取的角点的坐标输入PNP算法，即可计算出相机到激光雷达的旋转平移矩阵，使用旋转平移矩阵将激光雷达的点云投影到相机图像上。

Claims

1.一种应用于自动驾驶汽车的相机标定方法，其特征在于：所述方法通过以下步骤实现：

2.根据权利要求1所述一种应用于自动驾驶汽车的相机标定方法，其特征在于：步骤一所述的在静止状态的自动驾驶车辆前设置一块标定板，通过相机获取标定板的图像，利用lableme软件获取标定板图像的四个角点的图像坐标的过程为，

步骤一1、获取标定板的图像：

步骤一2、获取标定板图像中角点的图像坐标：

利用lableme软件依次手动标记标定板图像的四个角点，并保存，经保存操作生成相应的包含角点的图像坐标的json文件，即得到标定板图像中角点的图像坐标。

3.根据权利要求2所述一种应用于自动驾驶汽车的相机标定方法，其特征在于：步骤二所述的利用PnP算法计算出相机坐标系到车体坐标系的旋转平移矩阵的过程为，

步骤二1、获取角点的物理坐标：

利用卷尺、铅垂线和激光水平仪的辅助工具，测量计算标定板四个角点在世界坐标系下的物理坐标；

步骤二2、计算旋转平移矩阵：

4.根据权利要求3所述一种应用于自动驾驶汽车的相机标定方法，其特征在于：所述的步骤三中，相机和激光雷达的联合标定的过程为，

最后利用将激光雷达的三维点云投影到相机的二维图像上的旋转平移矩阵，将旋转平移矩阵作为各传感器之间的外参，将激光雷达的三维点云数据投影到相机的二维图像上，完成相机和激光雷达的联合标定。