CN110533717A - 一种基于双目视觉的目标抓取方法及装置 - Google Patents

Abstract

本发明涉及计算机视觉技术领域，公开了一种基于双目视觉的目标抓取方法及装置，其中方法包括以下步骤：获取待抓取物体堆的双目视觉图像；匹配出所述双目视觉图像中所有目标物体；筛选出成像面积最大的目标物体作为抓取目标；对所述抓取目标进行抓取。本发明具有适应不同抓取场景，抓取路径优，抓取效率高的技术效果。

Description

一种基于双目视觉的目标抓取方法及装置

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于双目视觉的目标抓取方法及装置。

背景技术

随着物流市场的快速发展，物流机器人的应用加速普及。码垛机器人也是物流机器人的一种，主要用于仓储、码头、工厂等场所纸箱、袋装、罐装、箱体等各种形状的包装物品码垛及拆垛作业。

目前智能仓储的建立及智慧工厂的发展将为带来码垛机器人的带来更大规模的发展。人工智能的快速发展离不开机器视觉技术，和人眼类似，机器视觉是计算机接收外部信息的眼睛，与此同时，它还能对接收到的信息进行处理和判断。随着计算机视觉相关技术的不断突破，计算机视觉已是各个应用领域，如制造业、虚拟现实、智能安防、医疗诊断等领域中不可分割的一部分。双目立体视觉测量方法具有效率高、精度高、成本低等优点。双目立体视觉系统是计算机视觉的关键技术之一，相比与传统的单目相机，它可以通过计算左右双目图像对应点间的位置偏差，来获取物体三维几何信息的方法。图像处理是计算机视觉领域的基础研究，是用计算机对图像进行分析，以达到所需结果的技术。图像处理技术可以将相机采集的图像转换成具有突出特征的另一幅图像，方便了计算机对图像的处理。目前常用的图像处理多见于图像识别和图像匹配，图像中往往只有一个匹配的目标，当图像中同时存在多个匹配的目标时的处理较少涉及。

目前是市面上的码垛机器人是依靠内部设定的原始程序加上双目相机辅佐定位进行码垛或拆垛操作，当垛形不规整或发生变化，则需要修改机器的相关参数，影响码垛效率。且当码垛机器人用于不同垛形的堆场及仓库时，需要对抓取路线进行重新规划，导致其适应范围窄。

发明内容

本发明的目的在于克服上述技术不足，提供一种基于双目视觉的目标抓取方法及装置，解决现有技术中垛形不规整或发生变化需要修改参数，重新规划抓取路线，导致抓取效率低的技术问题。

为达到上述技术目的，本发明的技术方案提供一种基于双目视觉的目标抓取方法，包括以下步骤：

获取待抓取物体堆的双目视觉图像；

匹配出所述双目视觉图像中所有目标物体；

筛选出成像面积最大的目标物体作为抓取目标；

对所述抓取目标进行抓取。

本发明还提供基于双目视觉的目标抓取装置，包括控制终端、双目视觉相机以及工业机器人；

所述双目视觉相机用于获取待抓取物体堆的双目视觉图像；

所述控制终端用于匹配出所述双目视觉图像中所有目标物体；筛选出成像面积最大的目标物体作为抓取目标；

所述工业机器人用于对所述抓取目标进行抓取。

与现有技术相比，本发明的有益效果包括：本发明首先基于机器视觉技术获取双目视觉图像，匹配出目标物体，目标物体有多个，因此筛选出成像面积最大的目标物体作为抓取目标，然后进行抓取。由于是根据成像面积筛选获取的抓取目标，而不是根据设定的固有程序进行抓取，因此，即使待抓取的物体不规整也可实现抓取，不需要修改参数，提高抓取效率；同时，由于不是根据设定的固有程序进行抓取，因此可适用于不同的抓取场景，不需要对抓取路径进行重新规划。而且，根据成像面积筛选出的抓取目标是距离双目相机最近的目标物体，这有利于优化抓取路径，进一步提高抓取效率。

附图说明

图1是本发明提供的基于双目视觉的目标抓取方法一实施方式的流程图；

图2是本发明中阈值分割以及形状匹配一实施方式的流程图；

图3是本发明中根据成像面积筛选抓取目标的原理图；

图4是本发明中坐标转换的原理图；

图5是本发明提供的基于双目视觉的目标抓取一实施方式的结构示意图。

附图标记：

1、双目视觉相机，2、安装框架，10、待抓取物体堆。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

如图1所示，本发明的实施例1提供了基于双目视觉的目标抓取方法，以下简称本方法，包括以下步骤：

S1、获取待抓取物体堆的双目视觉图像；

S2、匹配出所述双目视觉图像中所有目标物体；

S3、筛选出成像面积最大的目标物体作为抓取目标；

S4、对所述抓取目标进行抓取。

本实施例首先基于机器视觉获取双目视觉图像，匹配出目标物体，目标物体有多个，因此筛选出成像面积最大的目标物体作为抓取目标，然后进行抓取。由于是根据成像面积筛选获取的抓取目标，而不是根据设定的固有程序进行抓取，因此，即使待抓取的物体不规整也可实现抓取，不需要修改参数，提高抓取效率；同时，由于不是根据设定的固有程序进行抓取，因此可适用于不同的抓取场景，场景转换时不需要对抓取路径进行重新规划。而且，根据成像面积筛选出的抓取目标是距离双目相机最近的目标物体，这有利于优化抓取路径，进一步提高抓取效率。

本方法基于现有双目视觉技术，不仅能够识别和定位目标，并在现有的双目图像处理方法的基础上进行了改进，当图像中同时存在多个匹配的目标时，能够自动找出距离双目视觉相机，即距离抓手最近的目标并进行定位，进而可根据距离最近的抓取目标对抓取路线进行优化，提高抓取效率，更具智能化。同时，由于抓取目标的选取时根据图像处理方法获取，不是预设的固定抓取路径程序，因此，本方法适用于不同垛形、堆场及仓库内物体的抓取。同时，对于图像面积的计算和筛选易于实现，图像处理函数简单，计算快，从而进一步提高了抓取效率。

优选的，获取待抓取物体堆的双目视觉图像，具体为：

建立抓取环境的环境图像模型；

获取双目视觉相机的位置信息；

对所述双目视觉相机进行标定；

通过所述双目视觉相机获取所述双目视觉图像。

环境图像模型的建立可采用Solidworks软件实现，本实施例中建立的环境图像模型如图5所示。获取双目视觉相机的位置信息即确定双目视觉相机位置，将双目视觉相机倒置放置在机架上，使双目视觉相机的镜头正视于水平面，能够识别整个工作区域。本实施例中，将双目视觉相机据地面高度设置为1.5m，因此位置信息为1.5m，具体安装高度可以根据实际工作要求及相机检测范围进行调整。双目视觉相机安装好后，对双目视觉相机进行标定，标定的意义是为了能够得到空间中所测目标的几何信息，如深度、宽度等。标定完后即可进行双目视觉图像的获取。

优选的，对所述双目视觉相机进行标定，具体为：

采用Halcon对所述双目视觉相机进行标定。

对双目视觉相机标定的意义是为了能够得到空间中所测目标对象的几何信息，如深度、宽度等。本实施例中选择用Halcon中自带的算子进行标定得到双目视觉相机的内部参数以及外部参数，通过以下步骤进行标定：

调用Open_Framegrabber算子和Grab_Image算子同时打开两个相机；

调用Create_Calib_Data算子产生标定数据模型；

调用Set_Calib_Data_Cam_Param算子向所述标定数据模型中添加相机的初始内部参数以及相机类型；

调用Set_Calib_Data_Calib_Object算子将标定板的描述文件输入至所述标定数据模型中；

分别通过两个相机拍摄多张标定板在不同位置的图片；

调用find_caltab算子标记标定板上的标识符；

调用find_marks_and_pose算子获取所述标识符的位姿，找对每个圆对应圆心并确定相应的坐标系；

调用disp_caltab算子，利用相机内外参数把标定板模型投影到图像平面，显示标定点和连接线；

调用binocular_calibration算子进行双目标定，得到左、右相机的内参数、纠正后的相机的主距、镜头畸变、图像中心点的坐标值、以及两个相机的相对位置。

优选的，匹配出所述双目视觉图像中所有目标物体，具体为：

对所述双目视觉图像进行阈值分割得到多个分割图块；

在多个分割图块中匹配出所述目标物体。

通过阈值分割将双目视觉图像中的各个独立的区域分离开，实现图像分割，保留有效区域，去除无关干扰区域。阈值分割针对灰度图像进行，因此，如果双目视觉图像为彩色图像，可通过灰度化算子即rgb_to_gray将彩色的双目视觉图像转化为灰度图像，灰度图像的阈值范围为0-255。图2中，(a)即为原始的双目视觉图像，(b)为进行灰度化后的图像，(c)即为进行阈值分割后的图像。这里进行阈值分割的阈值根据具体抓取场景的光照明暗度及抓取目标的外观而设定。

优选的，在多个分割图块中匹配出所述目标物体，具体为：

基于形状模板对多个所述分割图像进行匹配得到所述目标物体；或

基于局部可变性模板对多个所述分割图像进行匹配得到所述目标物体。

通过形状匹配得到满足要求的所有目标物体。本发明可采用两种不同的形状匹配方法。一种是基于形状模板匹配，这种匹配方法适用于目标物体具有标准化和固定的形状的情况，例如箱体、罐体等，能够对目标物体进行快速匹配，图像处理过程简单，但对于形状不固定的目标物体无法进行精准的匹配。另一种是基于局部可变形模板匹配，这种匹配方法适用于目标物体的形状可变、非标准化的情况，例如物料袋、水泥袋等，这种匹配方法不受限于目标物体的形态，适用面广，但是图像处理过程较复杂，反馈速度较慢。因此，本方法不仅对形状规整的物体适用，对形状不规则的物体同样适用，适用面广。用户可根据需要抓取的目标物体，选取相应的匹配方法以达到较好的匹配效果和匹配效率。

优选的，筛选出成像面积最大的目标物体作为抓取目标，具体为：

对所述目标物体进行连通操作以及膨胀腐蚀；

求取所述目标物体的面积，并筛选出面积最大的目标物体作为抓取目标。

图2中，(d)即为进行连通操作后的图像，(e)即为进行膨胀腐蚀后后的图像，(f)即为进行筛选后得到抓取目标的图像。在匹配得到的所有目标物体中寻找成像面积最大的目标物体进行抓取。筛选成像面积最大的目标物体为了找出距双目视觉相机直线距离最近的目标物体，根据面积数据进行抓取路线优化，从而提高抓取效率。根据相机成像原理可知，当物体距相机的距离越大时，成像面积越小，故成像面积最大的目标距离相机最近，此原理在双目视觉相机中同样适用。具体的，如图3所示，图3中示出了两个目标物体，两个目标物体距离相机的距离分别为S1、S2，S1<S2，距离相机S1处的目标物体成像面积大于距离相机S2处的目标物体的成像面积。根据成像面积进行筛选可使用函数select_obj实现。

优选的，对所述抓取目标进行抓取，具体为：

获取所述抓取目标的位置信息；

建立世界坐标系和双目视觉坐标系；

获取所述抓取目标在双目视觉坐标系下的坐标信息；

根据所述位置信息，将所述抓取目标在双目视觉坐标系下的坐标信息转换为所述世界坐标系下的坐标信息；

根据所述世界坐标系下的坐标信息对所述抓取目标进行抓取。

获取抓取目标的位置信息，位置信息包含抓取目标的旋转角度、深度信息及尺寸信息。由于双目视觉相机左右相机拍摄角度不一样，通过对比左右相机拍摄的两幅图像就可以知道视差大小，可依据双目三角测距原理得到抓取目标的深度信息，同理也可以得到抓取目标的尺寸信息。抓取目标的旋转角度则可根据仿射变换得到。

确定世界坐标系和双目视觉坐标系。由于双目视觉相机所测得的坐标信息是在双目视觉坐标系下的参数，所以还需将该坐标信息转换到世界坐标系下。本实施例中双目视觉坐标系以双目视觉相机左右相机连线的中点作为原点。构建世界坐标系是为了更好的描述相机的位置，在建立世界坐标系时，也可将世界坐标系的原点定在双目视觉相机的左相机或者右相机上。

定好了世界坐标系和双目视觉坐标系后，即可转换得到世界坐标系下的抓取目标的坐标信息，从而进行抓取目标的抓取。

优选的，将所述抓取目标在双目视觉坐标系下的坐标信息转换为所述世界坐标系下的坐标信息，具体为：

其中，R表示旋转矩阵，T表示偏移向量，为双目视觉坐标系下的坐标信息，为世界坐标系下的坐标信息。

坐标系的转换具体如图4所示，图4中XY为双目视觉坐标系，X’Y’为世界坐标系，把双目视觉相机得到的坐标信息、目标深度从双目视觉坐标系变换到世界坐标系，这种变换属于刚体变换，故物体不会发生形变，只会进行平移或旋转。根据双目视觉坐标系与世界坐标系的转换关系将抓取目标位置信息进行转换，进而实现抓取，解决了双目视觉相机测距范围小的问题。

实施例2

如图5所示，本发明的实施例2提供了基于双目视觉的目标抓取装置，以下简称本装置，包括控制终端、双目视觉相机1以及工业机器人；

所述双目视觉相机1用于获取待抓取物体堆10的双目视觉图像；

所述控制终端用于匹配出所述双目视觉图像中所有目标物体；筛选出成像面积最大的目标物体作为抓取目标；

所述工业机器人用于对所述抓取目标进行抓取。

本实施例提供的基于双目视觉的目标抓取装置，基于上述基于双目视觉的目标抓取方法，因此，上述基于双目视觉的目标抓取方法所具备的技术效果，基于双目视觉的目标抓取装置同样具备，在此不再赘述。

本装置中工业机器人可以试试抓取范围较小的码垛机器人，也可以是在大型堆场吊装货物的机械手。

优选的，如图5所示，本装置还包括安装框架2，待抓取物体堆10放置于所述安装框架2下方，所述双目视觉相机1安装于所述安装框架2上，并朝向待抓取物体堆10设置。

将双目视觉相机1安装于安装框架2，并朝向位于安装框架2下方的待抓取物体堆10设置，由于双目视觉相机1位于待抓取物体堆10上方，因此，根据成像面积筛选出的抓取目标，不仅是距离双目视觉相机1最近的目标物体，也是位于待抓取物体堆10最上方的目标物体，从而对抓取次序进行有效指导，实现从上层逐渐到下层的有序抓取，便于工业机器人有序高效的进行抓取操作。

以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (10)

1.一种基于双目视觉的目标抓取方法，其特征在于，包括以下步骤：

获取待抓取物体堆的双目视觉图像；

匹配出所述双目视觉图像中所有目标物体；

筛选出成像面积最大的目标物体作为抓取目标；

对所述抓取目标进行抓取。

2.根据权利要求1所述的基于双目视觉的目标抓取方法，其特征在于，获取待抓取物体堆的双目视觉图像，具体为：

建立抓取环境的环境图像模型；

获取双目视觉相机的位置信息；

对所述双目视觉相机进行标定；

通过所述双目视觉相机获取所述双目视觉图像。

3.根据权利要求2所述的基于双目视觉的目标抓取方法，其特征在于，对所述双目视觉相机进行标定，具体为：

采用Halcon对所述双目视觉相机进行标定。

4.根据权利要求1所述的基于双目视觉的目标抓取方法，其特征在于，匹配出所述双目视觉图像中所有目标物体，具体为：

对所述双目视觉图像进行阈值分割得到多个分割图块；

在多个分割图块中匹配出所述目标物体。

5.根据权利要求4所述的基于双目视觉的目标抓取方法，其特征在于，在多个分割图块中匹配出所述目标物体，具体为：

基于形状模板对多个所述分割图像进行匹配得到所述目标物体；或

基于局部可变性模板对多个所述分割图像进行匹配得到所述目标物体。

6.根据权利要求1所述的基于双目视觉的目标抓取方法，其特征在于，筛选出成像面积最大的目标物体作为抓取目标，具体为：

对所述目标物体进行连通操作以及膨胀腐蚀；

求取所述目标物体的面积，并筛选出面积最大的目标物体作为抓取目标。

7.根据权利要求1所述的基于双目视觉的目标抓取方法，其特征在于，对所述抓取目标进行抓取，具体为：

获取所述抓取目标的位置信息；

建立世界坐标系和双目视觉坐标系；

获取所述抓取目标在双目视觉坐标系下的坐标信息；

根据所述位置信息，将所述抓取目标在双目视觉坐标系下的坐标信息转换为所述世界坐标系下的坐标信息；

根据所述世界坐标系下的坐标信息对所述抓取目标进行抓取。

8.根据权利要求7所述的基于双目视觉的目标抓取方法，其特征在于，将所述抓取目标在双目视觉坐标系下的坐标信息转换为所述世界坐标系下的坐标信息，具体为：

其中，R表示旋转矩阵，T表示偏移向量，为双目视觉坐标系下的坐标信息，为世界坐标系下的坐标信息。

9.一种基于双目视觉的目标抓取装置，其特征在于，包括控制终端、双目视觉相机以及工业机器人；

所述双目视觉相机用于获取待抓取物体堆的双目视觉图像；

所述控制终端用于匹配出所述双目视觉图像中所有目标物体；筛选出成像面积最大的目标物体作为抓取目标；

所述工业机器人用于对所述抓取目标进行抓取。

10.根据权利要求9所述的基于双目视觉的目标抓取装置，其特征在于，还包括安装框架，待抓取物体堆放置于所述安装框架下方，所述双目视觉相机安装于所述安装框架上，并朝向待抓取物体堆设置。