CN115582827A - 一种基于2d和3d视觉定位的卸货机器人抓取方法 - Google Patents

Abstract

本发明提供一种基于2D和3D视觉定位的卸货机器人抓取方法，包括预先存储货箱的模板点云信息以及货箱的各面二维图像信息；获取堆垛的3D点云数据，并根据3D点云数据以及云台的控制角度，确定集装箱内堆垛在机器人坐标系下的3D点云位置信息；获取堆垛表面的2D图像，利用深度学习实例分割算法，确定货箱在2D图像中的像素位置以及货箱种类；根据货箱在2D图像中的像素位置，在3D点云中选择对应的点云数据，结合货箱种类以及货箱模板点云，经过点云配准，确定货箱的姿态信息以及位置信息，并生成机械手抓取货箱的抓取信息。本发明解决了普通平面相机以及3D相机视角较小以及3D点云分割集装箱杂乱、紧密货箱效果较差的问题，提高了集装箱自动化卸货的可靠性。

Description

一种基于2D和3D视觉定位的卸货机器人抓取方法

技术领域

本发明涉及自动化设备技术领域，具体而言，尤其涉及一种基于2D和3D视觉定位的卸货机器人抓取方法。

背景技术

目前，大批量集装箱卸货时，货箱种类繁多，货箱摆放位置较为复杂，并且集装箱尺寸有限，人工卸货费时费力。使用自动化机械手进行集装箱货箱的抓取，提高了工作效率，减少了出错概率。视觉引导逐渐应用于机械手抓取货箱，进一步提高了集装箱卸货的可靠性以及效率，采用2D视觉得出目标货箱图像信息，结合三维点云数据，再由机械手进行集装箱货箱的抓取。

集装箱冷链货箱的自动化卸货设备仅仅依靠单一传感器，如2D视觉、激光测距、双目立体相机，单一2D视觉存在无法获得货箱的深度信息，单一的激光测距，存在货箱摆放位置不对，容易打偏导致货箱位置信息丢失的问题。单一的双目立体相机，仅仅通过拍摄一次便可以获取货箱的2D/3D位置信息，但其测量精度与工作距离的平方成反比，双目立体视觉对于拍摄位置的要求较高，一旦引入旋转因素，测量精度大幅度下降。单一传感器无法准确得到货箱姿态信息，不能够根据货箱的姿态信息实时的改变抓取规划。采用2D/3D视觉引导的机械手自动化卸货不仅能够提高工作效率，还能够减少出错概率。

发明内容

根据上述提出的技术问题，提供一种基于2D和3D视觉定位的卸货机器人抓取方法。本发明主要利用2D/3D视觉系统引导自主行进式集装箱货箱自动抓取卸货装置进行卸货，根据货箱在2D图像中的像素位置和货箱的种类与形状，结合3D点云数据，获取货箱的位置与姿态信息。解决了普通2D相机以及3D相机视角较小的缺点以及3D点云分割集装箱杂乱、紧密货箱效果较差的问题，提高了集装箱自动化卸货可靠性和工作效率。

本发明采用的技术手段如下：

一种基于2D和3D视觉定位的卸货机器人抓取方法，包括：

预先存储货箱的模板点云信息以及货箱各面的二维图像信息；

获取堆垛的3D点云数据，并根据3D点云数据以及云台的控制角度，确定集装箱内堆垛在机器人坐标系下的3D点云位置信息；

获取堆垛表面的2D图像，利用深度学习实例分割算法，确定货箱在2D图像中的像素位置以及货箱种类；

根据货箱在2D图像中的像素位置，在3D点云中选择对应的点云数据，结合货箱种类以及货箱模板点云，经过点云配准，确定货箱姿态信息以及位置信息；

根据确定的货箱姿态信息以及位置信息，生成机械手抓取货箱的抓取信息。

进一步地，所述预先存储货箱的模板点云信息以及货箱各面的二维平面信息，包括：

对不同货箱建立点云模型，分别从货箱的六个面进行二维视觉拍摄，分别获取六个面的二维信息。

进一步地，所述获取堆垛的3D点云数据，并根据3D点云数据以及云台的控制角度，确定集装箱内堆垛在机器人坐标系下的3D点云位置信息，包括：

每次机械手抓取货箱完毕后，机械手进行放货操作，在机械手放货操作的同时，利用放货时机械手臂的移动关节位置信息以及云台移动部件，利用3D和2D视觉相结合的方式，生成下次机械手抓取货箱的抓取信息。

进一步地，所述获取集装箱内堆垛表面的2D图像，利用深度学习实例分割算法，确定货箱在2D图像中的像素位置以及货箱种类，包括：

利用深度学习算法对货箱进行识别，并在2D图像中将所识别像素进行处理，属于货箱的像素置为1，不属于货箱的像素置为0，生成货箱的二值图像，并对货箱种类进行储存。

进一步地，所述根据货箱在2D图像中的像素位置，在3D点云中选择对应的点云数据，结合货箱种类以及货箱模板点云，经过点云配准，确定货箱的姿态信息以及位置信息，包括：

仅将每个特殊标记的像素，利用像素与点云的对应关系，寻找像素在3D视觉中的空间位置，获取像素点对应的三维数据；

根据货箱种类信息，在已经存储的货箱模板点云数据库中寻找对应的货箱模板点云；

将单个货箱的点云信息与单个货箱的模板点云数据进行匹配，将匹配好的点云信息，利用点云匹配时产生的旋转与平移矩阵，计算出单个货箱的姿态信息和位置信息。

进一步地，所述根据确定的货箱姿态信息以及位置信息，生成机械手抓取货箱的抓取信息，包括：

将货箱的位置信息与相邻货箱的位置信息Y向进行对比，去除机械手臂抓取不到的后方货箱部分；

将货箱的位置信息与相邻货箱的位置信息Z向进行对比，仅保留最上层货箱的位置信息；

将货箱的位置信息与相邻货箱的位置信息X向进行对比，将货箱位置信息从左到右依次排序；

确定需要抓取的货箱，使用货箱的姿态信息和位置信息，生成机械手臂的抓取信息。

本发明还提供了一种自主行进式集装箱货箱自动抓取卸货装置视觉引导系统，应用于上述基于2D和3D视觉定位的卸货机器人抓取方法实现对货箱的抓取，包括：视觉相机模块、云台控制模块、抓取卸货模块、吸盘模块、机器人移动平台；视觉相机模块、云台控制模块、抓取卸货模块、吸盘模块全部固定在机器人移动平台上，机器人移动平台负责机器人的前进与后退的移动。

进一步地，所述视觉相机模块固定在云台控制模块之上，其搭载3D视觉相机和2D视觉相机，其中Y轴垂直于相机表面，指向堆垛；Z轴平行于相机表面，垂直向上；X轴垂直于Y轴和Z轴，指向Y轴正方向的右侧。

进一步地，所述云台控制模块通过连接支架连接在抓取卸货模块的侧面上。

进一步地，所述抓取卸货模块在机器人移动平台上平移运动，抓取卸货模块自身可以旋转90度；抓取卸货模块运动到待抓获货箱位置以后，吸盘模块进行货箱的吸取。

较现有技术相比，本发明具有以下优点：

1、本发明提供的基于2D和3D视觉定位的卸货机器人抓取方法，在集装箱货箱摆放杂乱、集装箱尺寸狭小且货箱整体高度超出图像获取装置的范围的情况下，充分利用图像像素信息，结合货箱点云信息，引导机械手臂进行准确的抓取，既克服了平面图像无深度信息的缺点，又克服了点云分割对堆垛分割不准确的问题，适用于已知集装箱货箱的抓取工作，提高了集装箱的卸货效率与稳定性。

2、本发明提供的基于2D和3D视觉定位的卸货机器人抓取方法，利用深度学习实例分割算法，对货箱的图像像素进行准确的分类，能够充分利用货箱所在像素的平面信息与点云信息，避免了抓取方式单一，提高了对摆放不规则箱子的适应性。

基于上述理由本发明可在自动化设备等领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于2D和3D视觉定位的卸货机器人抓取方法的集装箱卸货装置引导系统流程图。

图2为本发明实施例提供的集装箱卸货装置示意图。

图3为本发明实施例提供的集装箱货箱抓取顺序图。

图4为本发明实施例提供的集装箱货箱不规则摆放图。

图中：1、视觉相机模块；2、抓取卸货模块；3、云台控制模块；4、机器人移动平台；5、连接支架；6、吸盘模块。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当清楚，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员己知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任向具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

在本发明的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制：方位词“内、外”是指相对于各部件本身的轮廓的内外。

为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其位器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。

此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本发明保护范围的限制。

如图1所示，本发明提供了一种基于2D和3D视觉定位的卸货机器人抓取方法，包括：

步骤S1、预先存储货箱的模板点云信息以及货箱各面的二维图像信息；

步骤S2、获取堆垛的3D点云数据，并根据3D点云数据以及云台的控制角度，确定集装箱内堆垛在机器人坐标系下的3D点云位置信息；

步骤S3、获取堆垛表面的2D图像，利用深度学习实例分割算法，确定货箱在2D图像中的像素位置以及货箱种类；

步骤S4、根据货箱在2D图像中的像素位置，在3D点云中选择对应的点云数据，结合货箱种类以及货箱模板点云，经过点云配准，确定货箱姿态信息以及位置信息；

步骤S5、根据确定的货箱姿态信息以及位置信息，生成机械手抓取货箱的抓取信息。

具体实施时，作为本发明优选的实施方式，所述步骤S1包括：

对不同货箱建立点云模型，分别从货箱的六个面进行二维视觉拍摄，分别获取六个面的二维信息。

具体实施时，作为本发明优选的实施方式，所述步骤S2包括：

每次机械手抓取货箱完毕后，机械手进行放货操作，在机械手放货操作的同时，利用放货时机械手臂的移动关节位置信息以及云台移动部件，利用3D和2D视觉相结合的方式，生成下次机械手抓取货箱的抓取信息。

具体实施时，作为本发明优选的实施方式，所述步骤S3包括：

利用深度学习算法对货箱进行识别，并在2D图像中将所识别像素进行处理，属于货箱的像素置为1，不属于货箱的像素置为0，生成货箱的二值图像，并对货箱种类进行储存。

具体实施时，作为本发明优选的实施方式，所述步骤S4包括：

步骤S41、仅将每个特殊标记的像素，利用像素与点云的对应关系，寻找像素在3D视觉中的空间位置，获取像素点对应的三维数据；

步骤S42、根据货箱种类信息，在已经存储的货箱模板点云数据库中寻找对应的货箱模板点云；

步骤S43、将单个货箱的点云信息与单个货箱的模板点云数据进行匹配，将匹配好的点云信息，利用点云匹配时产生的旋转与平移矩阵，计算出单个货箱的姿态信息和位置信息。

具体实施时，作为本发明优选的实施方式，所述步骤S5包括：

步骤S51、将货箱的位置信息与相邻货箱的位置信息Y向进行对比，去除机械手臂抓取不到的后方货箱部分；

步骤S52、将货箱的位置信息与相邻货箱的位置信息Z向进行对比，仅保留最上层货箱的位置信息；

步骤S53、将货箱的位置信息与相邻货箱的位置信息X向进行对比，将货箱位置信息从左到右依次排序；

步骤S54、确定需要抓取的货箱，使用货箱的姿态信息和位置信息，生成机械手臂的抓取信息。

实施例1

如图2所示，本实施例提供的自主行进式集装箱货箱自动抓取卸货装置视觉引导系统由视觉相机模块1、云台控制模块3、抓取卸货模块2、吸盘模块6、机器人移动平台4共同组成。视觉相机模块1固定在云台控制模块3之上，云台控制模块3通过连接支架5连接在抓取卸货模块2的侧面上。视觉相机模块搭载3D视觉相机和2D视觉相机。其中Y轴垂直于相机表面，指向堆垛。Z轴平行于相机表面，垂直向上。X轴垂直于Y轴和Z轴，指向Y轴正方向的右侧。抓取卸货模块2可在机器人移动平台4上平移运动，抓取卸货模块2自身可以旋转90度。抓取卸货模块2运动到待抓获货箱位置以后，吸盘模块6进行货箱的吸取。视觉相机模块1和云台控制模3抓取卸货模块2、吸盘模块6全部固定在机器人移动平台4上，机器人移动平台4负责机器人的前进与后退的移动。

视觉相机模块1安装在云台控制模块3之前，采用现有的视觉标定方法，进行了相机标定，此过程不再赘述。根据云台控制模块的转动角度以及抓取卸货模块2的移动距离，可以将视觉相机模块1的相机坐标系转换为抓取卸货模块2基座坐标系。相机坐标与基座坐标系重合，用于处理二维图像和三维点云数据。

利用已知的货箱的外形信息和三维建模技术，进行货箱点云数据建模，进行数据库的搭建，存储所有货箱的点云信息和二维图像信息。

机器人移动平台4移动到距离堆垛适当距离，视觉相机模块1照射堆垛，获取集装箱内堆垛的二维图像和三维点云数据。将相机坐标系下的三维点云转换到基座坐标系下。计算出待抓取货箱的高度信息和距离信息。

本实施例提供了一种基于2D/3D视觉定位的卸货机器人抓取方法，该方法适用于上述的自主行进式集装箱货箱自动抓取卸货装置视觉引导系统将集装箱中的货箱进行抓取与卸货，该卸货方法包括：

步骤1：利用已知货箱的外形尺寸进行三维点数数据建模，将货箱的三位点云信息与二维信息进行存储。

步骤2：将视觉相机模块1朝向机器人移动正前方，拍摄一次获取移动机器人前方堆垛的三维点云数据和二维图像信息，根据抓取卸货模块2移动距离距离和云台控制模块3的角度信息，将三维点云坐标系，转换到基坐标系下。

步骤3：再根据二维图像信息，采用深度学习实例分割算法，进行货箱像素位置的确定，并且得出货箱的种类。在三维点云数据中，根据Y向距离将抓取卸货模块2达不到货箱像素位置去掉，此时，在二维图像中标记的像素点，抓取卸货模块2都可以顺利到达。

步骤4：在符合条件的点云中，利用二维信息以及像素点与点云数据的对应关系，寻找位于高层位置的货箱点云数据。具体地，根据点云信息中的Z向高度信息，找出最高货箱中其中一个作为最高点Z1，利用已知箱子种类信息得出箱子的高度值H，结合二维像素信息和三维点云的对应关系，在三维点云中寻找(Z1-H，Z1)范围内并且符合箱子像素点的点云数据。

步骤5：利用得出的货箱种类，根据二维像素点与点云的对应关系，找到二维图像中已经被标记的像素点的点云，将模板点云和得到的点云进行逐一匹配。

步骤6：将得到的匹配好的货箱点云数据，从左向右按照抓取顺序依次排序。利用匹配点云数据时产生的旋转和平移参数确定每个货箱的位置姿态，依次次确定每个货箱的抓取方式。具体地，根据货箱位置姿态信息，从左侧开始，依据货箱的位置姿态信息确定货箱的抓取方式，对于本机构而言，需要确定使用上吸盘抓取还是下吸盘抓取。

步骤7：根据每个货箱的抓取方式，生成一个抓取规划信息。如图3所示，为集装箱货箱抓取顺序图，具体地，从左侧开始，逐一对比相邻货箱的位置姿态信息，若两个货物位置姿态信息较为相近，那么则可以执行几个货箱同时抓取地操作。进行此抓取规划的目的是，较为相似情况地货箱，一起抓取，减少了抓取地次数，从而缩短了装备地运行时间。

步骤8：抓取卸货左侧货箱完毕后，移动抓取卸货模块2至集装箱右侧部分，进行堆垛数据获取后，重复步骤3到步骤6的操作。

步骤9：抓取卸货右侧货箱完毕后，移动抓取卸货模块2至集装箱左侧部分，则一层货箱抓取卸货完毕。进行堆垛数据获取，判断是否有货箱，若是，则重复步骤3到步骤的9操作，进入下一个工作循环，若否，则货箱全部抓取完毕。

实施例2

如图2所示，在实施例1的基础上，本发明还提供了一种集装箱自动化卸货装置，设置有云台控制模块、抓取卸货模块、吸盘模块、视觉相机模块，拆垛装置用于根据如上述实施例一中的2D与3D视觉结合地集装箱货箱卸货地方法，对集装箱货箱进行卸货。本实施例提出一种2D和3D视觉组合的集装箱货箱卸货方法，适用于视觉系统引导自动化卸货装置将集装箱内的货箱进行卸货操作，视觉相机模块包括平面二维相机和三维立体相机。

集装箱货箱卸货方法，包括：

步骤1，预先存储货箱的模板点云信息以及货箱各面的二维平面信息。

步骤2，利用云台移动装置、以及机械手臂移动装置带动立体视觉相机和平面视觉相机，获取堆垛的3D点云数据，并根据3D点云数据，以及云台的控制角度，确定集装箱整体货箱的空间位置信息；如图4所示，为集装箱货箱不规则摆放图之一。

步骤3，利用平面相机，获取堆垛上表面的2D图像，利用深度学习实例分割算法，确定货箱在2D图像中的位置，以及货箱种类；

步骤4，根据货箱在2D图像中的位置，在3D点云中选则对应的点云数据，结合货箱种类以及模板点云，经过点云配准，确定货箱姿态信息，以及位置信息，生成机械手抓取货箱的抓取信息。

通过本申请中的技术方案，克服了普通相机以及3D相机视角较小的缺点，克服了3D点云分割集装箱杂乱、紧密货物效果较差的问题，提高了集装箱自动化卸货可靠性和工作效率。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于2D和3D视觉定位的卸货机器人抓取方法，其特征在于，包括：

预先存储货箱的模板点云信息以及货箱各面的二维图像信息；

获取堆垛的3D点云数据，并根据3D点云数据以及云台的控制角度，确定集装箱内堆垛在机器人坐标系下的3D点云位置信息；

获取堆垛表面的2D图像，利用深度学习实例分割算法，确定货箱在2D图像中的像素位置以及货箱种类；

根据货箱在2D图像中的像素位置，在3D点云中选择对应的点云数据，结合货箱种类以及货箱模板点云，经过点云配准，确定货箱姿态信息以及位置信息；

根据确定的货箱姿态信息以及位置信息，生成机械手抓取货箱的抓取信息。

2.根据权利要求1所述的基于2D和3D视觉定位的卸货机器人抓取方法，其特征在于，所述预先存储货箱的模板点云信息以及货箱各面的二维平面信息，包括：

对不同货箱建立点云模型，分别从货箱的六个面进行二维视觉拍摄，分别获取六个面的二维信息。

3.根据权利要求1所述的基于2D和3D视觉定位的卸货机器人抓取方法，其特征在于，所述获取堆垛的3D点云数据，并根据3D点云数据以及云台的控制角度，确定集装箱内堆垛在机器人坐标系下的3D点云位置信息，包括：

每次机械手抓取货箱完毕后，机械手进行放货操作，在机械手放货操作的同时，利用放货时机械手臂的移动关节位置信息以及云台移动部件，利用3D和2D视觉相结合的方式，生成下次机械手抓取货箱的抓取信息。

4.根据权利要求1所述的基于2D和3D视觉定位的卸货机器人抓取方法，其特征在于，所述获取集装箱内堆垛表面的2D图像，利用深度学习实例分割算法，确定货箱在2D图像中的像素位置以及货箱种类，包括：

利用深度学习算法对货箱进行识别，并在2D图像中将所识别像素进行处理，属于货箱的像素置为1，不属于货箱的像素置为0，生成堆垛的二值图像，并对货箱种类进行储存。

5.根据权利要求1所述的基于2D和3D视觉定位的卸货机器人抓取方法，其特征在于，所述根据货箱在2D图像中的像素位置，在3D点云中选择对应的点云数据，结合货箱种类以及货箱模板点云，经过点云配准，确定货箱的姿态信息以及位置信息，包括：

仅将每个特殊标记的像素，利用像素与点云的对应关系，寻找像素在3D视觉中的空间位置，获取像素点对应的三维数据；

根据货箱种类信息，在已经存储的货箱模板点云数据库中寻找对应的货箱模板点云；

将单个货箱的点云信息与单个货箱的模板点云数据进行匹配，将匹配好的点云信息，利用点云匹配时产生的旋转与平移矩阵，计算出单个货箱的姿态信息和位置信息。

6.根据权利要求1所述的基于2D和3D视觉定位的卸货机器人抓取方法，其特征在于，所述根据确定的货箱姿态信息以及位置信息，生成机械手抓取货物的抓取信息，包括：

将货箱的位置信息与相邻货箱的位置信息Y向进行对比，去除机械手臂抓取不到的后方货箱部分；

将货箱的位置信息与相邻货箱的位置信息Z向进行对比，仅保留最上层货箱的位置信息；

将货箱的位置信息与相邻货箱的位置信息X向进行对比，将货箱位置信息从左到右依次排序；

确定需要抓取的货箱，使用货箱的姿态信息和位置信息，生成机械手臂的抓取信息。

7.一种自主行进式集装箱货箱自动抓取卸货装置视觉引导系统，其特征在于，应用于权利要求1-6中任意一项权利要求所述基于2D和3D视觉定位的卸货机器人抓取方法实现对货箱的抓取，包括：视觉相机模块(1)、云台控制模块(3)、抓取卸货模块(2)、吸盘模块(6)、机器人移动平台(4)；视觉相机模块(1)、云台控制模块(3)、抓取卸货模块(2)、吸盘模块(6)全部固定在机器人移动平台(4)上，机器人移动平台(4)负责机器人的行进与后退的移动。

8.根据权利要求7所述的自主行进式集装箱货箱自动抓取卸货装置视觉引导系统，其特征在于，所述视觉相机模块(1)固定在云台控制模块(3)之上，其搭载3D视觉相机和2D视觉相机，其中Y轴垂直于相机表面，指向堆垛；Z轴平行于相机表面，垂直向上；X轴垂直于Y轴和Z轴，指向Y轴正方向的右侧。

9.根据权利要求7所述的自主行进式集装箱货箱自动抓取卸货装置视觉引导系统，其特征在于，所述云台控制模块(3)通过连接支架(5)连接在抓取卸货模块(2)的侧面上。

10.根据权利要求7所述的自主行进式集装箱货箱自动抓取卸货装置视觉引导系统，其特征在于，所述抓取卸货模块(2)在机器人移动平台(4)上平移运动，抓取卸货模块(2)自身可以旋转90度；抓取卸货模块(2)运动到待抓获货箱位置以后，吸盘模块(6)进行货箱的吸取。

Images