CN112325796A - 基于辅助定位多视角点云拼接的大型工件型面测量方法 - Google Patents

Abstract

一种基于辅助定位多视角点云拼接的大型工件型面测量方法，通过大场景定位系统确定移动机器人在全局坐标系中的位姿，将高精度3D扫描系统固定于机器人末端操作器上，通过手眼标定与正运动学模型，将扫描点云数据实时转化到全局坐标系中，并利用基于迭代最近点的精配准算法，实现大型部件的型面点云拼接轮廓重建。本发明通过大场景定位系统与局部高精度扫描系统的结合，克服了测量精度与测量范围的矛盾关系，测量过程易于实现自动化，降低了大型部件型面测量的操作复杂程度。

Description

基于辅助定位多视角点云拼接的大型工件型面测量方法

技术领域

本发明涉及的是一种航空部件制造领域的技术，具体是一种基于辅助定位多视角点云拼接的大型工件型面测量方法。

背景技术

在航空、航天、船舶等复杂产品制造装配过程中，通常依赖特定的实物检验工装对某些关键特征进行制造质量检验。如针对某些箱底曲面构件，通过靠模和塞尺获得贴膜度进行曲面制造质量的评价。这类方法有以下几点不足：首先实体工装检具精度要求高，需要长期维护，造价和维护成本高。其次，检验过程工作量大，操作繁琐，自动化程度低，检验过程需要大量的人工决策时间，对误差的判断有较多不确定因素，效率难以提升。最后，专用的工装检具柔性差，难以适应多特征，多品种，多批次的柔性制造生产。

为了评价大部件制造装配过程中点、线、面等多类特征的制造质量，需要获得对接端面的型面信息。现有的三维结构光相机或激光扫描仪可以在局部小范围实现高精度的点云成像，获得较好的曲面信息，但是测量范围有限，无法直接获得大型面的整体点云图像。手持式便携三坐标激光扫描仪利用柔性三坐标测量臂在一定程度上扩大了测量范围，但增大程度有限，且测量过程繁琐，自动化程度不高，依然不适用与大型面的测量。联合标记物的三维扫描仪能够在标记物的辅助下，获得大型部件的型面信息，但该过程需要在被测物体上粘贴大量标记物，才能实现完整型面点云的提取，过程繁琐，效率低下。

发明内容

本发明针对现有针对大型机身、翼身、舱段制造装配过程中针对复杂轮廓无法测量、精度随着测量距离的增加而减小、需要依赖特定靶标的问题，提出一种基于辅助定位多视角点云拼接的大型工件型面测量方法，通过大场景定位系统与局部高精度扫描系统的结合，克服了测量精度与测量范围的矛盾关系，测量过程易于实现自动化，降低了大型部件型面测量的操作复杂程度。

本发明是通过以下技术方案实现的：

本发明涉及一种基于辅助定位多视角点云拼接的大型工件型面测量系统，包括：基于多激光跟踪仪或室内定位系统(indoor GPS，iGPS)的大场景定位模块、基于移动机器人的扫描作业模块、基于双目结构光的近景高精度3D扫描模块以及点云粗配准和精配准的数据处理模块，其中：大场景定位模块根据固定于移动机器人上的靶标进行机器人基坐标系与全局空间上坐标系的位姿变换处理，实时记录采集点云数据块时机器人的空间位置信息，并将得到的变换矩阵输出至数据处理模块；扫描作业模块根据预定轨迹信息进行待测量部件型面的多视角扫描，同时记录每一帧点云图像对应的机械臂的关节角数据，并输出至数据处理模块；近景高精度3D扫描模块根据拍摄指令进行部件的型面扫描，并将采集的点云图像输出至数据处理模块；数据处理模块根据每一帧点云图像对应的移动机器人空间位姿信息、机械臂关节角度信息，通过坐标变换、手眼标定结果和运动学正解确定每一帧点云在世界坐标系中的初始位姿，经过粗匹配后利用迭代最近点算法完成精确匹配最终输出大型部件表面轮廓的完整模型。

本发明基于上述系统的大型工件型面测量方法，通过大场景定位系统确定移动机器人在全局坐标系中的位姿，将高精度3D扫描系统固定于机器人末端操作器上，通过手眼标定与正运动学模型，将扫描点云数据实时转化到全局坐标系中，并利用基于迭代最近点的精配准算法，实现大型部件的型面点云拼接轮廓重建。

步骤1、基于数个激光跟踪仪或iGPS，借助物理靶标，建立室内大场景辅助定位系统，具体为：将数个物理靶标安装在移动测量机器人基座平台上从而在型面测量过程中实时记录移动平台上靶标点在全局坐标系中的位置，根据三个以上靶标的位置解算得到测量过程中移动机器人在全局坐标系中的相对位姿。

所述的全局坐标系在激光跟踪仪或iGPS初次布局时确定，在不改变布置位置时坐标系即保持不变。

步骤2、标定3D扫描系统相对移动机器人底座的相对位姿，具体为：将结构光相机或其他3D视觉传感器安装在移动机器人的工具坐标系，即机器人末端关节对应的坐标系中，通过手眼标定算法，计算得出视觉传感器的坐标系相对于工具坐标系的变换关系，从而将相机采集到的点云数据实时转化到机器人工具坐标系中。

所述的手眼标定算法是指：当3D扫描系统安装在机械臂工具头上时，为了得到扫描系统测量坐标系相对与机械臂工具坐标系的坐标转化关系，需要采用的标定算法，具体为：扫描系统与机械臂末端固结，标定过程通过让机器人处于不同的位置和姿态，获取扫描系统相对标定物的关系，然后结合机器人的位姿，就能建立标定方程AX＝XB，求解方程就能得到坐标转化关系矩阵。

步骤3：采集局部稠密点云并基于辅助定位的点云粗配准，具体为：

3.1)根据型面的测量要求，按照给定的轨迹利用3D视觉传感器依次采集大型部件的型面局部稠密点云，实时记录下每次采集点云数据时的小车位姿、机械臂各关节的转角；

3.2)基于步骤3.1得到的小车定位结果、步骤3.1得到的关节角度计算运动学正解和步骤2得到的手眼标定结果，计算得到3D视觉传感器测量坐标系，即视觉传感器自身坐标系相对于全局坐标系的变换关系；

3.3)逐次将步骤3.1测量获得的点云数据利用步骤3.2计算得到的坐标变换关系转化到全局坐标系下，获得具有较好初始位姿的点云模型。

步骤4：利用迭代最近点算法，完成多视角下点云数据的精匹配，获得大型工件的型面重建结果，具体为：

4.1)根据最近对应点原则搜索相邻两片点云的对应关系，具体为：基于八叉树建立点云结构，利用最近邻搜索算法建立两片点云逐点对应关系。

由于相邻点云只有部分重合，在搜索过程中设定最大搜索范围为重叠区域的尺度的1/5。

4.2)根据对应关系，采用基于奇异值分解的封闭解法求解点对的最小二乘距离问题，获取两片点云当前对应关系下的最优匹配解。

所述的最小二乘距离问题，其构建及求解过程包括：

①构建最小二乘距离问题

其中：p_i∈P,q_i∈Q分别为通过步骤4.1搜索得到的两片点云对应点对；

②分别计算两片点云质心：

进而获得矩阵：

③对W矩阵进行奇异值分解：W＝UΣV^T，得当前条件下最优匹配的旋转和平移矩阵为：R＝UV^T,t＝p-Rq。

4.3)重复步骤4.1和步骤4.2，直到根据最小二乘距离问题计算得到的对应点的误差值小于预设值或达到预设最大迭代次数时，即认为收敛。

4.4)针对所有的待配准点云，按照采集的先后关系，依次进行上述步骤4.1～步骤4.3的配准处理，最终就能得到目标型面完整的点云模型。

技术效果

本发明整体解决了现有技术无法对大型部件轮廓进行高精度柔性化高效测量的问题，现有3D视觉传感器虽然能够获得局部稠密点云，但测量范围有限；虽然激光跟踪仪或iGPS测量范围大，但只能获得稀疏特征点的数据。与现有技术相比，本发明通过大场景辅助定位系统获得局部点云的初始位姿，粗配准过程不依赖于特征点的提取，可以实现较大规格范围内的大型工件型面的完整点云模型，柔性程度高且不需要在被测物体上粘贴物理标记物，测量过程程序简单，所得模型可用来与理论模型比较或待装配部件型面信息比较，实现制造质量的准确评价，且测量过程可以实现高度自动化，减少操作的复杂度。

附图说明

图1为本发明系统示意图；

图2为相机与移动机器人手眼标定示意图；

图3为基于辅助定位多视角点云拼接的大型工件测量流程示意图。

具体实施方式

如图1所示，为本实施例涉及一种基于辅助定位多视角点云拼接的大型工件型面测量系统，包括：基于多激光跟踪仪或iGPS的大场景定位模块、基于移动机器人的扫描作业模块、基于双目结构光的近景高精度3D扫描模块以及点云粗配准和精配准的数据处理模块。

所述的大场景定位模块包括：坐标测量单元和位姿定位单元。

所述的坐标测量单元包括多个作为计量型发射器的信号发射器基站和接收器，信号发射器基站不断地发射不同频率的信号的同时通过接收器接受并判断与发射器的距离，多个信号发射器基站共同建立全坐标系。在工作范围内，每个接收器在任何时候都必须与两个以上发射器直接交换信息，从而可以通过三角测量原理实时解算出三维坐标信息。

所述的位姿定位单元包括至少三个设置于移动机器人基座上的接收器，其组成一个接收器组并根据移动机器人基座上三个以上定位点在全局坐标系中的坐标信息，实时解算出移动机器人基座相对与全局坐标系的位姿。这些位姿变换信息将实时传输到数据处理模块，作为点云粗配准的输入之一。

所述的扫描作业模块包括：底部移动平台和设置于其上的机械臂单元，其中：底部移动平台负载着机械臂在测量场景中运动，增大机械臂末端的可达空间；所述的坐标测量单元设置于底部移动平台上并测量和记录移动平台作业过程中的位姿信息；机械臂的末端与近景高精度3D扫描模块固定连接并按预设轨迹信息操控近景高精度3D扫描模块完成扫描作业，同时将信号采集过程中的关节角度信息实时传输到数据处理模块作为点云粗配准的输入之一。

所述的近景高精度3D扫描模块通过三维传感器如结构光相机实现，通过采集特定视角点下工件的局部轮廓信息并将得到的点云图像传输到数据处理模块。

所述的数据处理模块包括：点云粗配准和精配准模块，其中：点云粗配准模块接收来自近景高精度3D扫描模块的点云图像帧、来自扫描作业模块的当前机械臂的关节角度信息以及来自大场景定位模块的当前底部移动平台在全局坐标系中的位姿信息，通过位姿变化和运动学正解，获得点云在全局坐标系中的粗配准结果，并将该结果传递到精配准模块，利用ICP算法获得精确配准结果并输出作为大型工件的型面轮廓信息。

本实施例涉及上述系统的基于辅助定位多视角点云拼接的大型工件型面测量方法，包括以下步骤：

步骤1：大场景辅助定位系统建立。以某型号飞机翼身对接端面测量为例。为了保证翼身高效可靠高精度对接，需要完成翼身对接面的型面测量。由于部件尺度较大，为了扩展高精度3D视觉传感器的测量范围，提出采用点云拼接的形式完成整个型面扫描。

首先构建大场景的辅助定位系统，如图1所示，通过数个编号为①的激光跟踪仪或iGPS信号发射基站等其他辅助定位仪器，在测量场景中构建大范围测量场。经过标定，可以建立该测量场的统一坐标系，实现在特定范围内获取信号接收器或靶标③的三维坐标信息的功能，为后续编号为②的移动小车定位提供基础。

步骤2：标定3D扫描系统相对移动机器人底座的相对位姿。测量过程中，编号为⑤的3D传感器采集到的原生数据是记录在传感器坐标系CCS中，为了获得世界坐标系WCS中的点云信息，需要确定相机坐标系到世界坐标系的变换关系。

如图2所示，通过手眼标定方法，在编号为②的移动机器人的运动平台固定的情况下，根据运动平台与固定标定架⑦相对确定的位姿关系，可以标定出相机坐标系CCS与机械臂末端工具平台坐标系TCS的相对位姿T_tc。该转换矩阵在相机安装完毕后，如无特殊情况，不需要重新标定。

步骤3：采集局部稠密点云并基于辅助定位完成点云粗配准。

如图1所示，针对给定的机身部段，根据型面的测量需求，按照规定的轨迹利用3D视觉传感器逐次采集部件型面局部的稠密点云

实时记录下每次采集点云对应的小车②上各个靶标③在大场景中的坐标信息p_i1,p_i2,p_i3、测量臂④的各关节角度Θ_i＝{θ_i1,θ_i2,…,θ_i6}，通过正运动学与手眼标定结果，获得相机测量坐标系CCS到小车运动平台坐标系MCS的变换关系

以及小车到全局坐标系WCS的变换关系

进而得到相机测量坐标系到全局坐标系的变换

具体为：

由于全局坐标系与大型工件相对位姿在测量过程中保持不变，所有的测量点云块经过相应的位姿变换后，就能得到较为准确的型面点云轮廓，具体为：

步骤4：基于迭代最近点的精配准过程。大场景辅助定位系统为所采集的局部点云提供了较为准确的初始位姿，为了获得能够表征型面轮廓特征的精确模型，还需要对所有的点云块开展精确配准过程。针对稠密的点云模型，在较好初始位姿的情况下，可以通过基于迭代最近点的配准方法获得精确匹配结果。

本实施例中首先根据最近对应点原则搜索相邻两片点云的对应关系，由于相邻点云只有部分重合，因此还要设定最大搜索范围，按照经验可以设为重叠区域的尺度的1/5左右。其次根据对应关系采用基于奇异值分解的封闭解法，获取两片点云当前对应关系下的最优匹配解。针对所有的待配准点云，按照采集的先后关系，依次进行精配准，最终就能得到目标型面完整的点云模型，用于后期的制造质量评价或验证和指导装配过程。

综上，本发明针对大型工件型面测量中高精度和大场景的矛盾问题，提出了将高精度3D视觉传感器和大场景辅助定位仪器二者有机结合，通过辅助定位多视角点云拼接的形式，实现大型面完整轮廓的重建。整个系统依赖于移动机器人和数字化传感技术，能够在保证测量精度的前提下，提升有效测量范围，系统柔性程度高，可以实现高度的自动化，能够为大型部件的型面轮廓测量提供简单，高效，可行的测量方案。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (9)

1.一种基于辅助定位多视角点云拼接的大型工件型面测量系统，其特征在于，包括：基于多激光跟踪仪或iGPS的大场景定位模块、基于移动机器人的扫描作业模块、基于双目结构光的近景高精度3D扫描模块以及点云粗配准和精配准的数据处理模块，其中：大场景定位模块根据固定于移动机器人上的靶标进行机器人基坐标系与全局空间上坐标系的位姿变换处理，实时记录采集点云数据块时机器人的空间位置信息，并将得到的变换矩阵输出至数据处理模块；扫描作业模块根据预定轨迹信息进行待测量部件型面的多视角扫描，同时记录每一帧点云图像对应的机械臂的关节角数据，并输出至数据处理模块；近景高精度3D扫描模块根据拍摄指令进行部件的型面扫描，并将采集的点云图像输出至数据处理模块；数据处理模块根据每一帧点云图像对应的移动机器人空间位姿信息、机械臂关节角度信息，通过坐标变换、手眼标定结果和运动学正解确定每一帧点云在世界坐标系中的初始位姿，经过粗匹配后利用迭代最近点算法完成精确匹配最终输出大型部件表面轮廓的完整模型。

2.根据权利要求1所述的大型工件型面测量系统，其特征是，所述的大场景定位模块包括：坐标测量单元和位姿定位单元；

所述的坐标测量单元包括多个作为计量型发射器的信号发射器基站和接收器，信号发射器基站不断地发射不同频率的信号的同时通过接收器接受并判断与发射器的距离，多个信号发射器基站共同建立全坐标系，在工作范围内，每个接收器在任何时候都必须与两个以上发射器直接交换信息，从而可以通过三角测量原理实时解算出三维坐标信息；

所述的位姿定位单元包括至少三个设置于移动机器人基座上的接收器，其组成一个接收器组并根据移动机器人基座上三个以上定位点在全局坐标系中的坐标信息，实时解算出移动机器人基座相对与全局坐标系的位姿，这些位姿变换信息将实时传输到数据处理模块，作为点云粗配准的输入之一。

3.根据权利要求1所述的大型工件型面测量系统，其特征是，所述的扫描作业模块包括：底部移动平台和设置于其上的机械臂单元，其中：底部移动平台负载着机械臂在测量场景中运动，增大机械臂末端的可达空间；所述的坐标测量单元设置于底部移动平台上并测量和记录移动平台作业过程中的位姿信息；机械臂的末端与近景高精度3D扫描模块固定连接并按预设轨迹信息操控近景高精度3D扫描模块完成扫描作业，同时将信号采集过程中的关节角度信息实时传输到数据处理模块作为点云粗配准的输入之一。

4.根据权利要求1所述的大型工件型面测量系统，其特征是，所述的近景高精度3D扫描模块通过三维传感器如结构光相机实现，通过采集特定视角点下工件的局部轮廓信息并将得到的点云图像传输到数据处理模块。

5.根据权利要求1所述的大型工件型面测量系统，其特征是，所述的数据处理模块包括：点云粗配准和精配准模块，其中：点云粗配准模块接收来自近景高精度3D扫描模块的点云图像帧、来自扫描作业模块的当前机械臂的关节角度信息以及来自大场景定位模块的当前底部移动平台在全局坐标系中的位姿信息，通过位姿变化和运动学正解，获得点云在全局坐标系中的粗配准结果，并将该结果传递到精配准模块，利用迭代最近点算法获得精确配准结果并输出作为大型工件的型面轮廓信息。

6.一种基于权利要求1～5中任一所述系统的大型工件型面测量方法，其特征在于，通过大场景定位系统确定移动机器人在全局坐标系中的位姿，将高精度3D扫描系统固定于机器人末端操作器上，通过手眼标定与正运动学模型，将扫描点云数据实时转化到全局坐标系中，并利用基于迭代最近点的精配准算法，实现大型部件的型面点云拼接轮廓重建。

7.根据权利要求6所述的大型工件型面测量方法，其特征是，具体包括：

步骤1、基于数个激光跟踪仪或iGPS，借助物理靶标，建立室内大场景辅助定位系统，具体为：将数个物理靶标安装在移动测量机器人基座平台上从而在型面测量过程中实时记录移动平台上靶标点在全局坐标系中的位置，根据三个以上靶标的位置解算得到测量过程中移动机器人在全局坐标系中的相对位姿；

步骤2、标定3D扫描系统相对移动机器人底座的相对位姿，具体为：将结构光相机或其他3D视觉传感器安装在移动机器人的工具坐标系，即机器人末端关节对应的坐标系中，通过的手眼标定算法，计算得出视觉传感器的坐标系相对于工具坐标系的变换关系，从而将相机采集到的点云数据实时转化到机器人工具坐标系中；

步骤3：采集局部稠密点云并基于辅助定位的点云粗配准，具体为：

3.1)根据型面的测量要求，按照给定的轨迹利用3D视觉传感器依次采集大型部件的型面局部稠密点云，实时记录下每次采集点云数据时的小车位姿、机械臂各关节的转角；

3.2)基于步骤3.1得到的小车定位结果、步骤3.1得到的关节角度计算运动学正解和步骤2得到的手眼标定结果，计算得到3D视觉传感器测量坐标系，即视觉传感器自身坐标系相对于全局坐标系的变换关系；

3.3)逐次将步骤3.1测量获得的点云数据利用步骤3.2计算得到的坐标变换关系转化到全局坐标系下，获得具有较好初始位姿的点云模型；

步骤4：利用迭代最近点算法，完成多视角下点云数据的精匹配，获得大型工件的型面重建结果，具体为：

4.1)根据最近对应点原则搜索相邻两片点云的对应关系，具体为：基于八叉树建立点云结构，利用最近邻搜索算法建立两片点云逐点对应关系；

4.2)根据对应关系，采用基于奇异值分解的封闭解法求解点对的最小二乘距离问题，获取两片点云当前对应关系下的最优匹配解；

4.3)重复步骤4.1和步骤4.2，直到根据最小二乘距离问题计算得到的对应点的误差值小于预设值或达到预设最大迭代次数时，即认为收敛；

4.4)针对所有的待配准点云，按照采集的先后关系，依次进行上述步骤4.1～步骤4.3的配准处理，最终就能得到目标型面完整的点云模型。

8.根据权利要求7所述的大型工件型面测量方法，其特征是，所述的手眼标定算法是指：当3D扫描系统安装在机械臂工具头上时，为了得到扫描系统测量坐标系相对与机械臂工具坐标系的坐标转化关系，需要采用的标定算法，具体为：扫描系统与机械臂末端固结，标定过程通过让机器人处于不同的位置和姿态，获取扫描系统相对标定物的关系，然后结合机器人的位姿，就能建立标定方程AX＝XB，求解方程就能得到坐标转化关系矩阵。

9.根据权利要求7所述的大型工件型面测量方法，其特征是，所述的点云粗配准，具体包括：针对给定的机身部段，根据型面的测量需求，按照规定的轨迹利用3D视觉传感器逐次采集部件型面局部的稠密点云

实时记录下每次采集点云对应的小车上各个靶标在大场景中的坐标信息p_i1,p_i2,p_i3、测量臂的各关节角度Θ_i＝{θ_i1,θ_i2,…,θ_i6}，通过正运动学与手眼标定结果，获得相机测量坐标系CCS到小车运动平台坐标系MCS的变换关系

以及小车到全局坐标系WCS的变换关系

进而得到相机测量坐标系到全局坐标系的变换

具体为：

Z_i＝X_i×Y_i′,Y_i＝Z_i×X_i.

由于全局坐标系与大型工件相对位姿在测量过程中保持不变，所有的测量点云块经过相应的位姿变换后，就能得到较为准确的型面点云轮廓，具体为：

Images