CN113822946B - 一种基于计算机视觉的机械臂抓取方法 - Google Patents

Abstract

本发明涉及一种基于计算机视觉的机械臂抓取方法，本发明使用的是深度双目传感摄像头和优傲机械臂。该方法分为两个阶段，阶段一利用了特征提取和立体匹配技术进行物体识别和定位，阶段二则根据阶段一获取的空间坐标建立机械臂运动轨迹，实现物体抓取。实验表明，该方法识别率高达99.55％、抓取率99％，在工程应用及物流仓储管理领域具有较好的应用前景。

Description

一种基于计算机视觉的机械臂抓取方法

技术领域

本发明涉及一种机械臂抓取方法，具体涉及一种操作简单，定位率高，识别率好基于计算机视觉的机械臂抓取方法。

背景技术

机器人可以替代人类进行危险、复杂、重复的工作，如快递件的分拣、仓库货物的归置等；面对具有危险性、伤害性的工作，如高空作业、扫雷、喷漆等。机械臂的应用不仅能降低人力成本、保证生产安全，还能大幅提高生产效率，有广泛的应用前景。而随着计算机视觉的发展，促使机器人可完成多样化的工业任务变成了可能。传统工业机器人常按照预先设定程序进行重复、单一的动作，当环境变化或工作任务改变，需要对机器人程序进行重新编译。因此赋予机器人视觉感知能力是具有十分重大的意义，机器人可以根据视觉感知，调整自身的运动行为可以更好的满足更多的任务要求。

发明内容

针对上述问题，本发明的主要目的在于提供一种操作简单，定位率高，识别率好的基于计算机视觉的机械臂抓取方法。

本发明是通过下述技术方案来解决上述技术问题的：一种基于计算机视觉的机械臂抓取方法，所述基于计算机视觉的机械臂抓取方法包括如下步骤：

步骤1：采用张氏标定法根据成像原理获取深度双目传感摄像头内外参数；

步骤2：对机械臂进行手眼标定，采用眼在手外模式，确定基坐标系与世界坐标系的转换方式；

步骤3：通过深度双目传感摄像头完成图像采集，获取左右视图；

步骤4：对左右视图依次进行中值滤波、高斯滤波、均值滤波；

步骤5：利用尺度不变特征转换图像匹配算法进行匹配，具体包括：首先对基准物件和待抓取物体构建尺度空间，然后进行尺度不变特征转换算法特征点和边缘检测，接着将边缘检测的的边缘点删除，并通过确定特征点的主方向实现特征点匹配，最后采用随机抽样一致算法删除离群匹配对，实现待抓取物体的匹配，完成物件识别；

步骤6：确定待抓取物件的形心坐标，具体包括：首先对左右视图进行图像增强，然后进行边缘检测和形态学处理，接着确定待抓取物件区域，最后算出待抓取物件的形心位置；

步骤7：实现空间三维重建，具体包括：依次利用步骤1获取的摄像头内外参数和步骤2的坐标转换公式实现空间坐标转换；

步骤8：利用机器人操作系统下的初始化工具包调用优傲机械臂，设置运动学求解器和运动规划库，实现机械臂建模；

步骤9：读取基于机械臂底座的空间坐标；

步骤10：利用机器人操作系统下的机械臂控制模块根据步骤9确定的空间坐标规划机械臂路径，发布机械臂运动序列进行物件抓取和放置；

步骤11：再次初始化机械臂，末端执行器归位。

在本发明的具体实施例子中：步骤1的具体步骤如下：

根据相机成像原理，直接获取的图像会受到相机镜头畸变的影响；采用棋盘标定板进行标定，获取左右相机内外参。

在本发明的具体实施例子中：步骤2的具体步骤如下：

手眼标定求取相机坐标系与机械臂坐标系之间的转换关系，同样采用步骤1中使用的棋盘标定板，将标定板固定在机械臂末端；在保持二者的位姿的前提下，不断移动机械臂，获得不同位置下的标定板照片，记录各照片对应位姿下参数和摄像机外参；从而确定机械臂下标定板的变换矩阵。

在本发明的具体实施例子中：步骤4的具体步骤如下：

对获取的左右视图，依次进行中值滤波、高斯滤波、均值滤波；

其中，中值滤波是用像素点(x,y)邻域灰度值的中值代替该像素的灰度值，核函数为：

g(x,y)＝Mid_a,b{f(x-a,y-b)}

式中，m,n为以像素点(x,y)建立的矩阵区域的长宽；高斯滤波是通过设置像素点的邻域区域和卷积核，将邻域像素点与卷积核对应值进行甲醛，其中卷积核函数为：

式中σ为高斯函数宽度的参数；均值滤波则利用邻域中像素点的灰度均值代替中心点，核函数为：

在本发明的具体实施例子中：步骤5的具体步骤如下：

首先利用高斯卷积和函数建立尺度空间：

式中H(x,y)为输入的图像；

然后检测极值点，通过尺度空间构建高斯金字塔，高斯模型为：

D(x,y,σ)＝L(x,y,kσ)-L(x,y,σ)

式中k为比例系数；

接着定位特征点和分配特征点方向，通过求取上式的高斯模型极值，排除低对比点定位特征点，为进一步保证算法，通过精度梯度直方图对特征点进行统计，像素点梯度为：

像素点幅值为：

梯度方向为：

最后建立描述子和特征点匹配，计算特征点邻域的每个特征点幅值大小和梯度方向并进行梯度直方图统计；在特征点匹配过程则采用以欧氏距离为准则的相似度匹配。

在本发明的具体实施例子中：步骤6的具体步骤如下：

确定匹配之后的物体形心，依次进行图像增强、边缘检测、形态学处理、目标区域确定，确定形心像素坐标；

在本发明的具体实施例子中：步骤8的具体步骤如下：

由于步骤7获取的是二维平面坐标，无法进行直接抓取，需要转换为基于机械臂的空间坐标，利用在步骤2中求取的转换矩阵进行三维重建，得出空间三维坐标。

在本发明的具体实施例子中：步骤10的具体步骤如下：

对机械臂进行正逆运动学分析；首先计算每个关节的机械臂矩阵，假设机械臂由n个关节，则：

式中矩阵由实际机械臂的连杆求出；同理然后对机械臂进行逆运动学分析，与正运动学的解进行对比；利用求出的位姿解，输入步骤求出的三维坐标对机械臂进行运动规划实现抓取。

本发明的积极进步效果在于：本发明提供的基于计算机视觉的机械臂抓取方法有如下优点：本发明方法利用了尺度不变特征转换、边缘检测和形态学等算法，建立了一套实时抓取方法，提高了识别率；操作简单、定位率高、识别率好，工作效率得到大幅度提升。

附图说明

图1为本发明的整体结构示意图；

具体实施方式

下面结合附图给出本发明较佳实施例，以详细说明本发明的技术方案。

图1为本发明的整体结构示意图。如图1所示：本发明提供的基于计算机视觉的机械臂抓取方法包括如下步骤：

步骤1：采用张氏标定法根据成像原理获取深度双目传感摄像头内外参数；

步骤2：对机械臂进行手眼标定，采用眼在手外模式，确定基坐标系与世界坐标系的转换方式；

步骤3：通过深度双目传感摄像头完成图像采集，获取左右视图；

步骤4：对左右视图依次进行中值滤波、高斯滤波、均值滤波；

步骤5：利用尺度不变特征转换图像匹配算法进行匹配，具体地，首先对基准物件和待抓取物体构建尺度空间，然后进行尺度不变特征转换算法特征点和边缘检测，接着将边缘检测的的边缘点删除，并通过确定特征点的主方向实现特征点匹配，最后采用随机抽样一致算法删除离群匹配对，实现待抓取物体的匹配，完成物件识别；

步骤6：确定待抓取物件的形心坐标，具体地，首先对左右视图进行图像增强，然后进行边缘检测和形态学处理，接着确定待抓取物件区域，最后算出待抓取物件的形心位置；

步骤7：实现空间三维重建，具体地，依次利用步骤1获取的摄像头内外参数和步骤2的坐标转换公式实现空间坐标转换；

步骤8：利用机器人操作系统下的初始化工具包调用优傲机械臂，设置运动学求解器和运动规划库，实现机械臂建模；

步骤9：读取基于机械臂底座的空间坐标；

步骤10：利用机器人操作系统下的机械臂控制模块根据步骤9确定的空间坐标规划机械臂路径，发布机械臂运动序列进行物件抓取和放置；

步骤11：再次初始化机械臂，末端执行器归位。

步骤1的具体步骤如下：

根据相机成像原理，直接获取的图像会受到相机镜头畸变的影响。为此，采用棋盘标定板进行标定，获取左右相机内外参。具体实现在实例处详细展开。

步骤2的具体步骤如下：

手眼标定求取相机坐标系与机械臂坐标系之间的转换关系，同样采用步骤1中使用的棋盘标定板，将标定板固定在机械臂末端。在保持二者的位姿的前提下，不断移动机械臂，获得不同位置下的标定板照片，记录各照片对应位姿下参数和摄像机外参。从而确定机械臂下标定板的变换矩阵。

步骤4的具体步骤如下：

对获取的左右视图，依次进行中值滤波、高斯滤波、均值滤波。

其中，中值滤波是用像素点(x,y)邻域灰度值的中值代替该像素的灰度值，核函数为：

g(x,y)＝Mid_a,b{f(x-a,y-b)}

式中，m,n为以像素点(x,y)建立的矩阵区域的长宽；高斯滤波是通过设置像素点的邻域区域和卷积核，将邻域像素点与卷积核对应值进行甲醛，其中卷积核函数为：

式中σ为高斯函数宽度的参数；均值滤波则利用邻域中像素点的灰度均值代替中心点，核函数为：

步骤5的具体步骤如下：

首先利用高斯卷积和函数建立尺度空间：

式中H(x,y)为输入的图像。

然后检测极值点，通过尺度空间构建高斯金字塔，高斯模型为：

D(x,y,σ)＝L(x,y,kσ)-L(x,y,σ)

式中k为比例系数。

接着定位特征点和分配特征点方向，通过求取上式的高斯模型极值，排除低对比点定位特征点，为进一步保证算法，通过精度梯度直方图对特征点进行统计，像素点梯度为：

像素点幅值为：

梯度方向为：

最后建立描述子和特征点匹配，计算特征点邻域的每个特征点幅值大小和梯度方向并进行梯度直方图统计；在特征点匹配过程则采用以欧氏距离为准则的相似度匹配。

步骤6的具体步骤如下：

确定匹配之后的物体形心，依次进行图像增强、边缘检测、形态学处理、目标区域确定，确定形心像素坐标。

步骤8的具体步骤如下：

由于步骤7获取的是二维平面坐标，无法进行直接抓取，需要转换为基于机械臂的空间坐标，利用在步骤2中求取的转换矩阵进行三维重建，得出空间三维坐标。

步骤10的具体步骤如下：

对机械臂进行正逆运动学分析；首先计算每个关节的机械臂矩阵，假设机械臂由n个关节，则：

式中矩阵由实际机械臂的连杆求出；同理然后对机械臂进行逆运动学分析，与正运动学的解进行对比。利用求出的位姿解，输入步骤求出的三维坐标对机械臂进行运动规划实现抓取。

以下是具体的实施例子：

实施例1

实施例1中，操作系统为Ubuntu14.04LTS，电脑CPU型号为Intel Core TMi5-6500。20GHz，RAM为4GB。为了验证本发明的可靠性，采用TP(正样本被正确预测为正确的数量)和FP(负样本为错误预测为正样本的数量)来评估识别性能。启动ZED对视野内物件进行拍照，然后识别出物件的类别和坐标，启动机械臂进行抓取，抓取完毕，回到初始位。依次进行500次抓取，本发明方法动作的平均识别精度可达99.55％，抓取率可达99％。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内，本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种基于计算机视觉的机械臂抓取方法，其特征在于：所述基于计算机视觉的机械臂抓取方法包括如下步骤：

步骤1：采用张氏标定法根据成像原理获取深度双目传感摄像头内外参数；

步骤2：对机械臂进行手眼标定，采用眼在手外模式，确定基坐标系与世界坐标系的转换方式；

步骤3：通过深度双目传感摄像头完成图像采集，获取左右视图；

步骤4：对左右视图依次进行中值滤波、高斯滤波、均值滤波；

步骤5：利用尺度不变特征转换图像匹配算法进行匹配，具体包括：首先对基准物件和待抓取物体构建尺度空间，然后进行尺度不变特征转换算法特征点和边缘检测，接着将边缘检测的的边缘点删除，并通过确定特征点的主方向实现特征点匹配，最后采用随机抽样一致算法删除离群匹配对，实现待抓取物体的匹配，完成物件识别；

步骤6：确定待抓取物件的形心坐标，具体包括：首先对左右视图进行图像增强，然后进行边缘检测和形态学处理，接着确定待抓取物件区域，最后算出待抓取物件的形心位置；

步骤7：实现空间三维重建，具体包括：依次利用步骤1获取的摄像头内外参数和步骤2的坐标转换公式实现空间坐标转换；

步骤8：利用机器人操作系统下的初始化工具包调用优傲机械臂，设置运动学求解器和运动规划库，实现机械臂建模；

步骤9：读取基于机械臂底座的空间坐标；

步骤10：利用机器人操作系统下的机械臂控制模块根据步骤9确定的空间坐标规划机械臂路径，发布机械臂运动序列进行物件抓取和放置；

步骤11：再次初始化机械臂，末端执行器归位。

2.根据权利要求1所述的基于计算机视觉的机械臂抓取方法，其特征在于：步骤1的具体步骤如下：

根据相机成像原理，直接获取的图像会受到相机镜头畸变的影响；采用棋盘标定板进行标定，获取左右相机内外参。

3.根据权利要求1所述的基于计算机视觉的机械臂抓取方法，其特征在于：步骤2的具体步骤如下：

手眼标定求取相机坐标系与机械臂坐标系之间的转换关系，同样采用步骤1中使用的棋盘标定板，将标定板固定在机械臂末端；在保持二者的位姿的前提下，不断移动机械臂，获得不同位置下的标定板照片，记录各照片对应位姿下参数和摄像机外参；从而确定机械臂下标定板的变换矩阵。

4.根据权利要求1所述的基于计算机视觉的机械臂抓取方法，其特征在于：步骤4的具体步骤如下：

对获取的左右视图，依次进行中值滤波、高斯滤波、均值滤波；

其中，中值滤波是用像素点(x，y)邻域灰度值的中值代替该像素的灰度值，核函数为：

g(x，y)＝Mid_a，b{f(x-a，y-b)}

式中，m，n为以像素点(x，y)建立的矩阵区域的长宽；高斯滤波是通过设置像素点的邻域区域和卷积核，将邻域像素点与卷积核对应值进行甲醛，其中卷积核函数为：

式中σ为高斯函数宽度的参数；均值滤波则利用邻域中像素点的灰度均值代替中心点，核函数为：

5.根据权利要求1所述的基于计算机视觉的机械臂抓取方法，其特征在于：步骤5的具体步骤如下：

首先利用高斯卷积和函数建立尺度空间：

式中H(x，y)为输入的图像；

然后检测极值点，通过尺度空间构建高斯金字塔，高斯模型为：

D(x，y，σ)＝L(x，y，kσ)-L(x，y，σ)

式中k为比例系数；

接着定位特征点和分配特征点方向，通过求取上式的高斯模型极值，排除低对比点定位特征点，为进一步保证算法，通过精度梯度直方图对特征点进行统计，像素点梯度为：

像素点幅值为：

梯度方向为：

最后建立描述子和特征点匹配，计算特征点邻域的每个特征点幅值大小和梯度方向并进行梯度直方图统计；在特征点匹配过程则采用以欧氏距离为准则的相似度匹配。

6.根据权利要求1所述的基于计算机视觉的机械臂抓取方法，其特征在于：步骤6的具体步骤如下：

确定匹配之后的物体形心，依次进行图像增强、边缘检测、形态学处理、目标区域确定，确定形心像素坐标。

7.根据权利要求1所述的基于计算机视觉的机械臂抓取方法，其特征在于：步骤8的具体步骤如下：

由于步骤7获取的是二维平面坐标，无法进行直接抓取，需要转换为基于机械臂的空间坐标，利用在步骤2中求取的转换矩阵进行三维重建，得出空间三维坐标。

8.根据权利要求1所述的基于计算机视觉的机械臂抓取方法，其特征在于：步骤10的具体步骤如下：

对机械臂进行正逆运动学分析；首先计算每个关节的机械臂矩阵，假设机械臂由n个关节，则：

式中矩阵由实际机械臂的连杆求出；同理然后对机械臂进行逆运动学分析，与正运动学的解进行对比；利用求出的位姿解，输入步骤求出的三维坐标对机械臂进行运动规划实现抓取。