CN112720464B - 基于机器人系统的目标拾取方法、电子设备、存储介质 - Google Patents

Abstract

本发明提供一种基于机器人系统的目标拾取方法、电子设备、存储介质，所述方法包括：获取图像数据；确定所述图像数据中存在的所有物体；从所述图像数据中存在的所有物体中确定出拾取目标；获取所述拾取目标的位置信息，并控制所述机器人系统的拾取装置拾取所述拾取目标。以此能够实现机器人自动拾取目标，满足用户需求。

Description

基于机器人系统的目标拾取方法、电子设备、存储介质

技术领域

本发明涉及智能机器人技术领域，尤其是涉及一种基于机器人系统的目标拾取方法、电子设备、存储介质。

背景技术

根据中国残疾人联合会调查结果数据显示，预计到2020年我国残疾人数将突破1亿，目前众多的残疾人中只有不到10％的人得到了不同程度的康复服务。如何在实现中国梦的奋斗进程中更好地为残疾人提供服务，已经成为全面建成小康社会决胜阶段时期，摆在广大残疾人工作者面前的重大课题。

目前轮椅的功能比较单一，主要功能集中在代步方面，但是对于上肢有缺陷的用户来说，并不适用。

发明内容

本发明提供一种基于机器人的目标拾取方法、电子设备、存储介质。能够实现机器人自动拾取目标，满足用户需求。

为解决上述技术问题，本发明提供的第一个技术方案为：提供一种基于机器人系统的目标拾取方法，包括：获取图像数据；确定所述图像数据中存在的所有物体；从所述图像数据中存在的所有物体中确定出拾取目标；获取所述拾取目标的位置信息，并控制所述机器人系统的拾取装置拾取所述拾取目标。

其中，所述确定所述图像数据中存在的所有物体包括：利用物体识别模型对所述图像数据进行处理，以得到所述图像数据中的物体的置信度参数；根据所述置信度参数确定所述图像数据中存在的所有物体。

其中，所述利用物体识别模型对所述图像数据进行处理，以得到所述图像数据中的物体的置信度参数包括：获取训练样本集，按照类别对所述训练样本集进行标注；利用所述训练样本集对初始深度学习网络进行训练，以得到物体检测模型。

其中，所述获取训练样本集，按照类别对所述训练样本集进行标注包括：采用one-hot标签按照类别对所述训练样本集进行标注。

其中，所述获取训练样本集，按照类别对所述训练样本集进行标注包括：对所述训练样本集进行数据增强处理。

其中，所述机器人系统为轮椅。

其中，所述方法还包括：根据所述图像数据以及激光扫描数据确定所述机器人的真实位姿信息；利用预设地图结合所述位姿信息判断机器人的行走方向上是否有障碍；若是，则重新规划所述机器人的行走方向，以实现避障。

其中，所述根据所述图像数据以及激光扫描数据确定所述机器人的真实位姿信息包括：对所述图像数据进行特征提取；基于提取的特征以及所述预设地图得到所述机器人的预测位姿信息；利用所述激光扫描数据以及所述预测位姿信息确定所述机器人的所述真实位姿信息。

其中，所述利用所述激光扫描数据以及所述预测位姿信息确定所述机器人的所述真实位姿信息还包括：利用回环检测算法基于图像数据计算位姿约束参数；利用所述激光扫描数据、所述位姿约束参数以及所述预测位姿信息确定所述机器人的所述真实位姿信息。

其中，所述重新规划所述机器人的行走方向之后还包括：根据所述图像数据以及所述激光扫描数据构建待更新地图；利用所述待更新地图更新所述预设地图。

为解决上述技术问题，本发明提供的第二个技术方案为：提供一种电子设备，包括：存储器和处理器，其中，所述存储器存储有程序指令，所述处理器从所述存储器调取所述程序指令以执行上述任一项所述的基于机器人系统的目标拾取方法。

为解决上述技术问题，本发明提供的第三个技术方案为：提供一种计算机可读存储介质，存储有程序文件，所述程序文件能够被执行以实现上述任一项所述的基于机器人系统的目标拾取方法。

本发明的有益效果，区别于现有技术，本发明通过获取图像数据；确定所述图像数据中存在的所有物体；从所述图像数据中存在的所有物体中确定出拾取目标；获取所述拾取目标的位置信息，并控制所述机器人系统的拾取装置拾取所述拾取目标。以此实现机器人自动拾取目标，满足用户需求。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：

图1为本发明基于机器人系统的目标拾取方法的第一实施例的流程示意图；

图2为本发明基于机器人系统的目标拾取方法的第一实施例的流程示意图；

图3为本发明电子设备的一实施例的结构示意图；

图4为本发明计算机可读存储介质的一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参见图1，为本发明基于机器人系统的目标拾取方法的第一实施例的流程示意图，包括：

步骤S11：获取图像数据。

具体的，为实现本申请的技术方案，机器人系统上设置有摄像头，摄像头用于获取图像数据。

在一实施例中，摄像头固定设置在机器人系统上，其不可旋转，仅可以拍摄机器人所及的预设区域，例如机器人系统前方的固定区域。在另一实施例中，摄像头可以旋转，其可以拍摄机器人系统周围的所有区域的图像数据。

在本发明的目标拾取方法中，若想要拾取果盘中的水果，则需要通过摄像头拍摄果盘的照片，以作为图像数据。

步骤S12：确定图像数据中存在的所有物体。

具体的，由于果盘中的水果数量不定，类型不定，为了准确拾取用户想要的目标，需要确定拍摄得到的图像数据中存在的所有物体。

以图像数据为果盘为例，在得到图像数据后，对图像数据进行处理，以分析图像数据中的果盘中的物体类型，例如，果盘中有什么水果。

在一具体实施例中，可以利用物体识别模型对图像数据进行处理，以得到图像数据中的物体的置信度参数。例如，物体识别模型对图像数据进行识别，识别出图像数据中具有苹果的置信度参数为0.8、具有梨的置信度参数为0.7，识别出果盘中有芒果的置信度参数为0.7，识别出果盘中有桃子的置信度参数为0.2。根据置信度参数确定图像数据中存在的所有物体。具体的，可以将物体识别模型得到的置信度参数与预设置信度参数进行比对，进而确定果盘中存在的水果。例如，若具有苹果的置信度参数、具有梨的置信度参数以及有芒果的置信度参数大于预设置信度参数，则说明果盘中具有苹果、芒果、梨。

在一具体实施例中，识别图像数据中所有物体所用的物体检测模型需要进行构建。具体的，在构建物体检测模型时，需要获取训练样本集，按照类别对训练样本集进行标注；利用训练样本集对初始深度学习网络进行训练，以得到物体检测模型。

具体的，考虑到初始深度学习网络需要大量、嘈杂的数据集，在本申请中，获取到训练样本集后，需要对训练样本集进行数据增强处理。例如，获取多个样本图像，将样本图像转化为灰度图像，然后进行高斯滤波去噪。再根据灰度阈值对样本图像进行二值化，最后在二值化图像上找出物体的轮廓。以此能够将不同拍摄角度拍摄的物体的轮廓转化为物体的标准轮廓。例如，盘子在拍摄时，若从侧面拍摄，则拍摄到的盘子的轮廓为椭圆形，通过上述处理，可以将盘子的轮廓转化为圆形。在另一实施例中，还可以使用仿射变换矩阵对样本图像进行仿射变换，将样本图像中的物体变换到没有平移、旋转的标准分辨率的图像。

在一实施例中，还可以在样本图像上添加高斯噪声、泊松噪声等；和/或，还可以人为的将每张样本图像再旋转预设角度后生成另一图像，并将其加入训练样本集中；和/或，还可以人为的将每张样本图像随机平移，并将其加入训练样本集中；和/或，还可以对样本图像做某一小范围尺度变化，并将其加入训练集中。可以通过上述任一方法对训练样本集进行数据增强处理，以使得其能够满足初始深度学习网络的需求。

本申请训练物体检测模型所用的初始深度学习网络为Tensorflow。具体的，初始深度学习网络包括两个卷积层，两个卷积层都用了5x5卷积核、最大化池化和Relu激活函数。卷积是为了学习相关性的特征，例如图像空域相关性特征，最大化池化能够使得深度学习网络学习到尺度特征和一定程度的形变，Relu激活函数可以让深度学习网络收敛很快。初始深度学习网络还包括全连接层以及正则化层、输出层，正则化层每次训练时随机丢弃一定比例的神经元来防止全连接层过拟合。输出层输出每个类别的置信度。

在一具体实施例中，采用one-hot标签按照类别对所述训练样本集进行标注。其中，只有一个维度的值用1标注，其他维度的值均用0标注。具体的，按照类别对训练样本集进行标注，例如，样本集中包括：苹果、梨、桃子、桌子、椅子、钢笔等，可以按照水果、家具、文具等类别进行标注，进一步的，还可以在水果的类别中，对不同类型的水果，例如苹果、梨、桃子进行标注。利用训练样本集对初始深度学习网络进行训练，使得初始深度学习网络学习到不同物体的特征，进而得到物体检测模型。

步骤S13：从图像数据中存在的所有物体中确定出拾取目标。

用户可以从确定出的所有物体中确定出拾取目标。例如，若用户想吃苹果，则可以将苹果确定为拾取目标。

步骤S14：获取拾取目标的位置信息，并控制机器人系统的拾取装置拾取拾取目标。

在确定拾取目标后，利用视觉定位系统获取拾取目标的位置信息，并控制机器人的拾取装置拾取拾取目标。

在一实施例中，以机器人系统为例对本申请进行举例说明。具体的，利用轮椅上设置的摄像头拍摄以得到图像数据，利用物体检测模型对图像数据进行处理，以识别出图像数据中存在的所有物体。在一具体实施例中，用户可控制摄像头的拍摄角度，已拍摄到想要的图像数据。在识别出图像数据中存在的所有物体后，可以通过设置在轮椅上的显示装置进行显示，或者，若用户目光所及之处即为拍摄得到的图像数据，也可以不进行显示，即轮椅上可以不设置显示装置。用户确定好需要拾取的目标后，向轮椅输入拾取指令，轮椅利用视觉定位系统获取拾取目标的位置信息，控制轮椅上的机械臂根据位置信息拾取拾取目标。

在一实施例中，采用6自由度轻量型机械臂Kinova来实现拾取等，也可以采用其他自由度或型号的机械臂来实现。Kinova机械臂通过连接件安装在轮椅上，通过用户发出指令，机械臂接收指令，根据自然语言理解的结果根据位置信息选择用户指定的食物，并使用机械臂末端夹持或抓取食物并向用户喂食。

机械臂接收到指令后，基于操控物体的位置以及任务类别，规划机械臂路径，并输出控制量，通过基于学习的方法，得到符合人类习惯的路径及控制。

在另一实施例中，用户还可以将轮椅与手机进行通信连接，例如蓝牙连接、wifi连接等，通过控制手机，进而控制轮椅以实现上述所述的拾取方法。本实施例所述的方法，还可以应用于其他系统，例如可以应用于厨房，在洗菜时，可以实现自动取菜等，或者，还可以应用于画板，在更换画笔时，可实现自动拾取，具体做限定。

通过本实施例的方法，能够有效的辅助残障人士，满足用户需求，减少看护人员的工作。

请参见图2，为本发明基于机器人系统的目标拾取方法的第二实施例的流程示意图，包括：

步骤S21：获取图像数据。

本实施例中，获取图像数据的步骤与上述图1所示的第一实施例中步骤S11相同，在次不再赘述。

步骤S22：根据图像数据以及激光扫描数据确定机器人的真实位姿信息。

具体的，机器人系统上除摄像头外，还设置有激光传感器。利用激光传感器获取的激光扫描数据以及图像数据确定机器人的真实位姿信息。

单一利用视觉数据进行机器人定位与地图绘制的方法虽然在定位方面有优势，但在特征较少的场景下容易匹配丢失，而且视觉数据构建的地图通常只适合定位，而不适合路径规划和导航；而单一激光数据进行机器人定位与地图绘制的方法构建的栅格地图固然有利于路径规划，但激光雷达的数据的信息量少，在回环检测方面存在困难，在构建较大地图时容易失败，而且也难以实现快速重定位。因此，本申请提出的方法将视觉数据与激光数据进行结合，进而实现机器人的定位与地图绘制。即根据图像数据以及激光扫描数据确定机器人的真实位姿信息。

具体的，在一实施例中，可以利用特征提取模块对图像数据进行特征提取，以得到数据图像中的特征。基于提取的特征以及预设地图得到机器人的预测位姿信息。具体的，预先在机器人系统中存储预设地图。即在机器人系统上线使用时，可以预先利用机器人系统上的摄像头和/或激光传感器对机器人工作的空间进行拍照或扫描，以构建出机器人系统所在空间的预设地图，将预设地图进行存储。

在根据数据图像提取到特征之后，结合该预设地图，可以确定机器人行走路线中是否具有障碍物。具体的，若提取的特征表明数据图像拍摄得到了一个物体的位置，则可以结合预设地图，以该物体为参照物，确定机器人系统此时的预测位姿信息，在确定出机器人系统的预测位姿信息之后，可以根据预设地图得到机器人周边的设施，进而为机器人规划行走路线，以躲避障碍物。可以理解的，预测位姿信息包括机器人的预测位置以及行走方向。

本申请中，为了准确的得到机器人的真实位姿信息，可以进一步利用激光扫描数据对预测位姿信息进行约束，进而确定机器人的真实位姿信息。具体的，在一实施例中，在获取激光扫描数据之后，可以进一步采用scan-to-scan或者scan-to-map的匹配方法根据激光扫描数据得到激光数据的预估位姿信息。在对图像数据进行特征提取后，采用EPnP算法利用提取的特征进行预测，得到预测位姿信息，然后采用图优化的方式利用激光数据的预估位姿信息以及预测位姿信息进行局部或全局优化，进而构建地图，并且得到机器人的真实位姿信息。在机器人的地图构建过程中，由于测量误差和噪声的存在，相邻帧之间最优的位姿估计通常不是局部小范围乃至全局大范围下的最优估计。在使用传统方法(如gmapping等)较大范围的建图过程中，我们通常会发现机器人运动一段时间后回到初始位置时，地图无法闭合，就是这一问题的典型体现。在这种情况下，我们联合了激光扫描数据对相邻帧之间的最优估计进行优化，使得得到的真实位姿信息更加准确。

在另一实施例中，为了使得得到的机器人的真实位姿信息更加准确，在利用所述激光扫描数据以及所述预测位姿信息确定所述机器人的所述真实位姿信息还包括：利用回环检测算法基于图像数据计算位姿约束参数；利用所述激光扫描数据、所述位姿约束参数以及所述预测位姿信息确定所述机器人的所述真实位姿信息。

具体的，对于需要在较大范围内构建地图的应用而言，回环检测是必不可少的核心部分。通过回环检测及起点和回环点之间的直接匹配，我们可以得到机器人运行较远距离之后起点和回环点之间的约束，该约束可以添加到位姿优化的框架中，进而消除累计误差，从而大幅度提升建图的精度与稳定性。

基于单一的激光数据进行地图构建的方法中，由于激光雷达采集的数据中蕴含场景唯一性的特征比较少，换句话说，激光数据在很多地方是相似的，例如，结构相似的房间、长走廊等等。因此，单一的激光数据是难以用于回环检测的。激光数据进行地图构建的全局回环检测，通常依赖地图构建过程中的odom估计探测到回到相近位置，当激光雷达的性能较差且地图较大时，这种方法效果一般。

与激光数据不同的是，图像数据蕴含了丰富的场景信息，而多数场景的图像特征集是唯一可辨识的，在快速确定相似位置上有优势。因此，本文提出一种结合视觉信息与激光信息的回环检测方法，该方法主要采用词袋模型来建立特征词典，并构建关键帧用于快速匹配与场景辨识。

由于地图构建过程中传感器采集的数据，尤其是图像数据是海量的，而且，相近的位置上，数据雷同性高。因此，在地图构建过程中，通常需要选择构建关键帧，用于快速的数据匹配。传统的视觉地图构建关键帧通常只包含图像数据或者图像特征数据。在本申请中，我们构建的关键帧包含四个部分信息：第一部分是图像特征点的特征信息，该信息已经过词袋模型处理成可用于快速匹配搜索的特征索引信息，又可以称之为特征词，一张图像包含多个特征词，用于快速匹配。第二部分是每个图像特征点对应的位置信息，可以是图像像素位置也可以是三维空间位置，该信息用于匹配后的校验以及位姿估计。第三部分是关键帧对应的激光扫描数据信息，该信息也可用于匹配后的位姿估计。第四部分是关键帧对应的建图过程中的机器人的原始位姿估计。在地图构建过程中，关键帧的选取遵循如下三条原则：与上一次全局重定位差距大于15帧数据；关键帧位置至少需要检测到不小于50个图像特征；与上一个关键帧的位置姿态差：移动距离大于0.5m或者旋转角度大于30°。

关键帧的提取过程为：对于地图构建过程的每一次数据输入，先判断其是否满足关键帧的条件；当满足条件时，提取图像特征，并在词袋模型中寻找索引，记录特征词；同时，通过匹配等方法，记录特征点的位置；记录预处理后的激光数据(当有地图时，也可以不记录激光数据)；最后，记录地图构建估算的当前机器的位置以及姿态。需要注意的是，关键帧对应的当前机器人位置姿态在每一次全局或者局部优化之后，都需要进行对应的调整。

回环检测算法的主要目的就是讲当前数据与已经存储的关键帧中的数据进行比对，具体的为：先基于地图构建时的图像数据计算得到的预测位姿信息与关键帧中计算的预测位姿信息进行比对，判断机器人是否曾经去过某一点附近；如果是，则提取当前图像的特征，并计算器特征词，将其与相邻的关键帧的特征词进行比对，对特征词匹配度较高的关键帧，采用特征点的位置信息，进一步匹配验证，并计算当前图像数据与匹配的关键帧中的相对位姿差。基于激光扫描数据进行匹配，进而得到最终的位姿转换，将其作为位姿约束参数；利用所述激光扫描数据、所述位姿约束参数以及所述预测位姿信息确定所述机器人的所述真实位姿信息。

步骤S23：利用预设地图结合位姿信息判断机器人的行走方向上是否有障碍。

具体的，在通过上述方式得到机器人的位姿信息，即具体位置以及行走方向后，利用预设地图可以判断机器人的行走方向上是否具有障碍物。

步骤S24：若是，则重新规划所述机器人的行走方向，以实现避障。

若具有障碍物，则可以重新规划机器人的行走方向，进而实现避障。

在一具体实施中，还可以利用图像数据以及激光扫描数据构建的待更新地图更新所述预设地图。具体的，由于空间内随时可增加其他的非固定的物体，例如玩具、椅子、桌子等，因此在一次地图构建完成后，利用新构建的地图替换原先存储的预设地图，以便于下一次判断是否具有障碍物时进行参照。

本实施例所示的方法，激光数据和图像数据同时作为系统的输入，基于激光数据，采用scan-to-scan或者scan-to-map的匹配方法，得到位置姿态预估计；基于图像数据，我们通过提取特征，一方面用于构建图像特征词典，用于回环检测，另一方面结合EPnP等算法，来预估计机器人的位置与姿态。当视觉与激光同时定位成功时，系统同时输出两个位姿，对二者位姿结果进行EKF融合；当视觉跟踪不成功时，采用激光的定位结果拼接深度相机的点云数据，获取三维地图。同时，继续在后续帧进行特征探测和匹配，重新初始化视觉地图构建中的地图点，若成功，则继续采用融合模式，否则一直使用激光的定位结果建立三维地图。以此能够建图的可靠性和定位的稳定性，进而准确的实现避障功能，防止前方存在的障碍物影响机器人的移动。

本申请的方法，增加了多传感器融合定位导航技术、机械臂智能控制技术、计算机视觉识别技术等关键核心技术，能够有效的辅助残障人士，提升其自身的自给自足能力，减少看护人员的工作，比现有的技术都更能满足人类的多方面需求。

请参见图3，为本发明电子设备的一实施例的结构示意图，电子设备包括相互连接的存储器202和处理器201。

存储器202用于存储实现上述任意一项的基于机器人系统的目标拾取方法的程序指令。

处理器201用于执行存储器202存储的程序指令。

其中，处理器201还可以称为CPU(Central Processing Unit，中央处理单元)。处理器201可能是一种集成电路芯片，具有信号的处理能力。处理器201还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器202可以为内存条、TF卡等，可以存储设备的电子设备中全部信息，包括输入的原始数据、计算机程序、中间运行结果和最终运行结果都保存在存储器中。它根据控制器指定的位置存入和取出信息。有了存储器，电子设备才有记忆功能，才能保证正常工作。电子设备的存储器按用途存储器可分为主存储器(内存)和辅助存储器(外存),也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等，能长期保存信息。内存指主板上的存储部件，用来存放当前正在执行的数据和程序，但仅用于暂时存放程序和数据，关闭电源或断电，数据会丢失。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，系统服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。

请参阅图4，为本发明计算机可读存储介质的结构示意图。本申请的存储介质存储有能够实现上述所有基于机器人系统的目标拾取方法的程序文件203，其中，该程序文件203可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种基于机器人系统的目标拾取方法，其特征在于，包括：

获取图像数据；

利用物体识别模型确定所述图像数据中存在的所有物体；

从所述图像数据中存在的所有物体中确定出拾取目标；

获取所述拾取目标的位置信息，并控制所述机器人系统的拾取装置拾取所述拾取目标；

所述利用物体识别模型确定所述图像数据中存在的所有物体的步骤，包括：

利用所述物体识别模型对所述图像数据进行处理，以得到所述图像数据中的物体的置信度参数；具体还包括：获取训练样本集，按照类别对所述训练样本集进行标注；利用所述训练样本集对初始深度学习网络进行训练，以得到所述物体识别模型；

根据所述置信度参数确定所述图像数据中存在的所有物体；

所述目标拾取方法还包括：

根据所述图像数据以及激光扫描数据确定所述机器人的真实位姿信息；

利用预设地图结合所述位姿信息判断机器人的行走方向上是否有障碍；

若是，则重新规划所述机器人的行走方向，以实现避障；

所述根据所述图像数据以及激光扫描数据确定所述机器人的真实位姿信息包括：对所述图像数据进行特征提取；

基于提取的特征以及所述预设地图得到所述机器人的预测位姿信息；

利用所述激光扫描数据以及所述预测位姿信息确定所述机器人的所述真实位姿信息；

所述利用所述激光扫描数据以及所述预测位姿信息确定所述机器人的所述真实位姿信息还包括：

利用回环检测算法基于图像数据计算位姿约束参数；

利用所述激光扫描数据、所述位姿约束参数以及所述预测位姿信息确定所述机器人的所述真实位姿信息。

2.根据权利要求1所述的方法，其特征在于，所述获取训练样本集，按照类别对所述训练样本集进行标注包括：

采用one-hot标签按照类别对所述训练样本集进行标注。

3.根据权利要求1所述的方法，其特征在于，所述获取训练样本集，按照类别对所述训练样本集进行标注包括：

对所述训练样本集进行数据增强处理。

4.根据权利要求1所述的方法，其特征在于，所述机器人系统为轮椅。

5.根据权利要求1所述的方法，其特征在于，所述重新规划所述机器人的行走方向之后还包括：

根据所述图像数据以及所述激光扫描数据构建待更新地图；

利用所述待更新地图更新所述预设地图。

6.一种电子设备，其特征在于，包括：存储器和处理器，其中，所述存储器存储有程序指令，所述处理器从所述存储器调取所述程序指令以执行如权利要求1-5任一项所述的基于机器人系统的目标拾取方法。

7.一种计算机可读存储介质，其特征在于，存储有程序文件，所述程序文件能够被执行以实现如权利要求1-5任一项所述的基于机器人系统的目标拾取方法。

Images