CN114495273A - 一种机器人手势遥操作方法及相关装置 - Google Patents

Abstract

本申请实施例公开了一种机器人手势遥操作方法，包括：采集用户的手势图像信息；根据所述手势图像信息得到手势方框信息、手势三维位置信息、手势置信度和手势姿态信息；通过所述手势图像信息估计出关键点中心信息和手势方向信息；根据所述手势方框信息、所述手势置信度和所述关键点中心信息得到手势类别信息，所述手势类别信息表示所述用户的手的左右类别；通过第一目标手势信息控制机器人的机械手动作。

Description

一种机器人手势遥操作方法及相关装置

技术领域

本申请实施例涉及视觉领域，尤其涉及一种机器人手势遥操作方法及相关装置。

背景技术

遥操作是指在人的控制和参与下，在远离操作对象的环境中控制远程设备完成复杂操作。在灾后救援现场，远程手术等特殊场景下，遥操作突显出了对社会的价值。其中，模拟人双手的手势遥操作既有人双手的灵活性优势，又能够远程控制机械设备完成复杂的操作。

目前已有的方案，基于数据手套和基于肌电手环的方法，能够很好地远程控制机器人完成相应的动作。基于视觉的双手检测和区分是视觉遥操作技术中一个难点。因为当双手展示不同的手势时，手势的区别要远远大于人手不对称性的区别，然而现有的方法只能提取人手的特征，这些方法并不能很好的对左右手进行区分，这样给用户带来不便。

发明内容

本申请实施例提供了一种机器人手势遥操作方法及相关装置。

一种机器人手势遥操作方法，包括：

采集用户的手势图像信息，所述手势图像信息为表示所述用户的手动作的图像信息；

根据所述手势图像信息得到手势方框信息、手势三维位置信息、手势置信度和手势姿态信息，所述手势方框信息为表示所述用户的手的范围的信息，所述手势置信度表示所述手势姿态信息与所述用户的手指姿态相符的概率，所述手势姿态信息为表示手势数据库中与所述用户的手指姿态相符的概率最大的姿态的信息；

通过所述手势图像信息估计出关键点中心信息和手势方向信息，所述关键点中心信息为表示预估的手的中心位置信息，所述手势方向信息为表示所述用户的手的朝向信息；

根据所述手势方框信息、所述手势置信度和所述关键点中心信息得到手势类别信息，所述手势类别信息表示所述用户的手的左右类别；

通过第一目标手势信息控制机器人的机械手动作，所述第一目标手势信息包括所述手势类别信息、所述手势三维位置信息、所述手势方向信息和所述手势姿态信息。

可选的，根据所述手势图像信息得到手势方框信息、手势三维位置信息、手势置信度和手势姿态信息，包括：

对色彩图像进行特征提取得到特征图，所述色彩图像为所述手势图像信息的部分信息；

基于深度图像，对所述特征图进行检测得到所述手势三维位置信息和所述手势方框信息，所述深度图像为所述手势图像信息的部分信息；

对所述手势方框信息进行归类得到所述手势姿态信息和所述手势置信度。

可选的，通过所述手势图像信息估计出关键点中心信息和手势方向信息，包括：

根据所述色彩图像确定关键点二维信息；

基于所述深度图像，通过所述关键点二维信息确定所述关键点三维信息；

通过所述关键点三维信息计算出所述关键点中心信息和所述手势方向信息。

可选的，根据所述手势方框信息、所述手势置信度和所述关键点中心信息得到手势类别信息，包括：

判断所述手势置信度是否大于置信度阈值，所述置信度阈值为预先设定的常值；

若是，则判断所述关键点中心信息是否与所述手势方框信息相匹配；

若匹配，则根据与所述手势方框信息相匹配的关键点中心信息确定所述手势类别信息；

若否，则判断所述关键点中心信息中预估的手的中心位置与所述手势三维位置信息中判定的手的中心位置的距离是否小于距离阈值；

若小于，则根据与判定的手的中心位置的距离小于所述距离阈值的预估的手的中心位置的类别确定所述手势类别信息。

可选的，通过第一目标手势信息控制机器人的机械手动作，包括：

通过所述手势三维位置信息进行计算得到机械手位置信息；

通过所述手势方向信息进行计算得到机械手方向信息；

通过第二目标手势信息控制所述机械手动作，所述第二目标手势信息包括所述手势类别信息、所述机械手位置信息、所述机械手方向信息和所述手势姿态信息。

可选的，基于所述深度图像，通过所述关键点二维信息确定所述关键点三维信息，包括：

通过以下公式计算得到所述关键点三维信息：

z_i、x_i和y_i为第i个关键点的三维坐标信息，即所述关键点三维信息；

d_i为第i个关键点的深度值，由所述深度图像得到；

s为所述深度图像的深度范围；

u_i和v_i为第i个关键点的二维坐标信息，即所述关键点二维信息；

cx，cy为所述深度图像的中心点坐标值；

fx为相机在x轴的焦距，fy为所述相机在y轴的焦距。

可选的，通过所述关键点三维信息计算出所述关键点中心信息，包括：

通过以下公式计算得到所述关键点中心信息：

X、Y和Z为预估的对应类别的手的中心坐标信息；

z_i、x_i和y_i为对应类别的手的第i个关键点的三维坐标信息；

k为对应类别的手的关键点总个数。

一种机器人手势遥操作装置，包括：

采集单元，用于采集用户的手势图像信息，所述手势图像信息为表示所述用户的手动作的图像信息；

处理单元，用于根据所述手势图像信息得到手势方框信息、手势三维位置信息、手势置信度和手势姿态信息，所述手势方框信息为表示所述用户的手的范围的信息，所述手势置信度表示所述手势姿态信息与所述用户的手指姿态相符的概率，所述手势姿态信息为表示手势数据库中与所述用户的手指姿态相符的概率最大的姿态的信息；

估计单元，用于通过所述手势图像信息估计出关键点中心信息和手势方向信息，所述关键点中心信息为表示预估的手的中心位置信息，所述手势方向信息为表示所述用户的手的朝向信息；

所述处理单元，还用于根据所述手势方框信息、所述手势置信度和所述关键点中心信息得到手势类别信息，所述手势类别信息表示所述用户的手的左右类别；

控制单元，用于通过第一目标手势信息控制机器人的机械手动作，所述第一目标手势信息包括所述手势类别信息、所述手势三维位置信息、所述手势方向信息和所述手势姿态信息。

一种机器人手势遥操作装置，包括：

中央处理器，存储器以及输入输出接口；

所述存储器为短暂存储存储器或持久存储存储器；

所述中央处理器配置为与所述存储器通信，并执行所述存储器中的指令操作以执行前述方法。

一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行前述方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

采集用户的手势图像信息后，根据手势图像信息得到手势方框信息、手势三维位置信息、手势置信度和手势姿态信息，接着通过手势图像信息估计出关键点中心信息和手势方向信息。然后根据手势方框信息、手势置信度和关键点中心信息得到手势类别信息。最后通过第一目标手势信息控制机器人的机械手动作。通过手势方框信息、手势置信度和关键点中心信息可以区分左右手，得到用户的手的左右类别，即手势类别信息。再结合其他信息对机器人的左右机械手进行对应的远程操作，提高了效率，给用户以较好的体验。

附图说明

图1为本申请实施例手势遥操作示意图；

图2为本申请实施例机器人手势遥操作方法一个实施例示意图；

图3为本申请实施例机器人手势遥操作方法另一实施例示意图；

图4为本申请实施例人体关键点拓扑图；

图5为本申请实施例机器人手势遥操作装置一个实施例示意图；

图6为本申请实施例机器人手势遥操作装置另一实施例示意图。

具体实施方式

本申请实施例提供了一种机器人手势遥操作方法及相关装置。

传统机器人的遥操作方式，可通过鼠标、键盘等设备对传统的机械臂进行控制。然而，传统的设备无法对装有机械手的双臂机器人进行简便有效的控制，且无法区分用户的左右手。对人双手和双臂进行模仿的双臂机器人的现有远程控制方法是基于穿戴式交互设备进行遥操作，而交互式设备限制了用户手的运动，且该方法只能提取人手的特征，这些方法并不能很好地对左右手进行区分。本申请实施例提供的手势遥操作方法可使得用户不再受限于交互式设备，且能够区分用户左右手以高效控制。

请参阅图1，本申请实施例的遥操作通过RGB-D相机对用户的手势图像信息进行采集，对采集的手势图像信息进行处理后，映射至双臂机器人的机械手，即五指灵巧手。五指灵巧手根据用户的手势操作抓取桌上的物体，完成远程操作。其中，双臂机器人可以是baxter机器人或其他机器人，具体此处不做限定。baxter双臂机器人的每个臂具有6个自由度，可实现基本的路径规划和运动控制功能，且双臂具有协作功能，在复杂操作中可避免双臂之间发生碰撞。其末端的机械手，也具有6个自由度，包括5根手指的5个弯曲自由度和大拇指的1个旋转自由度。可实现通过不同的手势姿态对不同的物体进行抓取或操作。

为对本申请实施例的手势遥操作方法进行具体描述，请参阅图2，本申请实施例机器人手势遥操作方法一个实施例包括：

201、采集用户的手势图像信息；

对用户的手势图像信息进行采集。其中，手势图像信息为表示用户的手动作的图像信息。具体的，用户无需穿戴交互设备，空手于RGB-D相机的摄影范围内比划动作，即可通过RGB-D相机进行采集相关图像信息。RGB-D相机能够采集用户的手的RGB色彩图像和深度图像，以生成相关三维信息，此处的手势图像信息包括色彩图像和深度图像。

可以理解的是，RGB-D相机的类型可以是realsense d435i相机，也可以是kinect相机等可采集深度图像和二维色彩图像的相机，具体此处不做限定。

202、根据所述手势图像信息得到手势方框信息、手势三维位置信息、手势置信度和手势姿态信息；

对手势图像信息进行处理得到手势方框信息、手势三维位置信息、手势置信度和手势姿态信息。具体的，对手势图像信息中的色彩图像进行特征提取得到特征图，结合深度图像对特征图进行检测得到手势方框信息和手势三维位置信息。将手势方框信息输入至EfficientNet-B5分类器进行分类，与手势姿态库中的手势姿态进行对比，挑出最相似的手势姿态，以确定手势姿态信息。根据手势姿态信息可得到对应的手势置信度。其中，手势方框信息为表示用户的手的范围的信息，手势置信度表示所述手势姿态信息与所述用户的手指姿态相符的概率，手势姿态信息为表示手势数据库中与用户的手指姿态相符的概率最大的姿态的信息。

203、通过所述手势图像信息估计出关键点中心信息和手势方向信息；

通过手势图像信息估计出关键点中心信息和手势方向信息。具体的，利用BlazePose算法网络可对色彩图像进行分析，以确定关键点二维信息，再结合深度图像可得到关键点三维信息。其中，BlazePose算法网络是一种轻量级卷积神经网络架构，用于人体姿态估计和实时推断。在推断过程中，该网络为人体产生33个身体关键点，以每秒30帧以上的速度运行。根据手的关键点的三维位置信息可预估的手的中心位置信息，即关键点中心信息。根据关键点三维信息可建立坐标系，利用四元数旋转原理可确定手势方向信息。手势方向信息为表示用户的手的朝向信息。

204、根据所述手势方框信息、所述手势置信度和所述关键点中心信息得到手势类别信息；

根据手势方框信息、手势置信度和关键点中心信息进行分析判断得到手势类别信息。其中，手势类别信息表示用户的手的左右类别，用于区分用户的左右手。具体的，通过将手势置信度和预设的置信度阈值进行对比，以及判断关键点中心信息是否与手势方框信息匹配或判断关键点中心信息中预估的手的中心位置与手势三维位置信息中判定的手的中心位置的距离是否小于距离阈值，得到手势类别信息。

205、通过第一目标手势信息控制机器人的机械手动作；

得到手势类别信息后，通过第一目标手势信息控制机器人的机械手动作。其中，第一目标手势信息包括手势类别信息、手势三维位置信息、手势方向信息和手势姿态信息。对第一目标手势信息进行处理后，得到第二目标手势信息，将第二目标手势信息映射至双臂机器人的机械手以控制机械手执行相应的动作。

本申请实施例中，采集用户的手势图像信息后，根据手势图像信息得到手势方框信息、手势三维位置信息、手势置信度和手势姿态信息，接着通过手势图像信息估计出关键点中心信息和手势方向信息。然后根据手势方框信息、手势置信度和关键点中心信息得到手势类别信息。最后通过第一目标手势信息控制机械手动作。通过手势方框信息、手势置信度和关键点中心信息可以区分左右手，得到用户的手的左右类别，即手势类别信息。再结合其他信息对机器人的左右机械手进行对应的远程操作，提高了效率。另外，由于是采集无穿戴交互设备的手的动作，即采集手势图像信息，再对该信息进行处理得到第一目标手势信息，根据第一目标手势信息远程控制机械手执行相应动作，使得在能够远程操作的情况下，手不受限制地比划动作，给用户以较好的体验。

请参阅图3，本申请实施例机器人手势遥操作方法另一实施例包括：

301、采集用户的手势图像信息；

对用户的手势图像信息进行采集。其中，手势图像信息为表示用户的手动作的图像信息。具体的，用户无需穿戴交互设备，空手于RGB-D相机的摄影范围内比划动作，即可通过RGB-D相机进行采集相关图像信息。RGB-D相机能够采集用户的手的RGB色彩图像和深度图像，以生成相关三维信息，此处的手势图像信息包括色彩图像和深度图像。

可以理解的是，RGB-D相机的类型可以是realsense d435i相机，也可以是kinect相机等可采集深度图像和二维色彩图像的相机，具体此处不做限定。

302、对色彩图像进行特征提取得到特征图；

对色彩图像进行特征提取得到特征图。具体的，将色彩图像输入至卷积神经网络的输入层，接着至卷积层进行特征提取，最后得到用户的手的特征图。可以理解的是，卷积神经网络的类型可以是DLA-34网络等可用于检测并进行特征提取的网络，具体此处不做限定。

303、基于深度图像，对所述特征图进行检测得到所述手势三维位置信息和所述手势方框信息；

基于深度图像，对所述特征图进行检测得到手势三维位置信息和手势方框信息。具体的，建立坐标系，对特征图检测得到手的二维中心坐标以及表示手的范围的方框的宽与高。根据实践经验可以设定偏置量。再利用深度图像进行坐标映射，即可得到手势三维位置信息和手势方框信息。例如，对特征图检测出的手的二维中心坐标为(x，y)，方框的宽为w，方框的高为h，偏置量为(Δx，Δy)，深度图像得到的深度值为z，则手的二维中心坐标为(x+Δx，y+Δy)，手的方框的一个对角点坐标为(x+Δx+w/2，y+Δy+h/2)，其他三个对角点坐标依次类推。手势三维位置信息即为(x+Δx，y+Δy，z)，手势方框信息H_box(x，y，z，w，h)表示以(x+Δx，y+Δy，z)为中心坐标，以w，h为宽高的手的坐标范围。

304、对所述手势方框信息进行归类得到所述手势姿态信息和所述手势置信度；

对手势方框信息进行归类得到手势姿态信息。具体的，确定了手的方框的范围后，根据方框对特征图进行裁剪，再将裁剪后的手的图像输入至EfficientNet-B5分类器中进行分类。其中，预先设置有手势姿态库，可包括多种现有手势姿态，例如用手比划出的24个英文字母或10个阿拉伯数字等。在手势姿态库中进行对比，找出与用户的手相似的概率最大的手势姿态，并将其确定为手势姿态信息，并将其概率确定为手势置信度。例如，裁剪后的图像中手势姿态为比划数字1的姿态，而手势姿态库中刚好没有数字1的姿态，仅有数字2、数字3、数字4和数字5的姿态，而数字2的概率为90％，数字3的概率为80％，数字4的概率为70％，数字5的概率为60％。通过对比，概率最大的数字2的姿态被确定为手势姿态信息，同时手势置信度被确定为90％。

305、根据所述色彩图像确定关键点二维信息；

根据色彩图像确定关键点二维信息。利用BlazePose算法网络可对色彩图像进行分析，以确定关键点二维信息。其中，BlazePose算法网络是一种轻量级卷积神经网络架构，用于人体姿态估计和实时推断。请参阅图4，该网络可根据人体关键点拓扑图生成关键点二维信息。在推断过程中，该网络为人体产生33个身体关键点，以每秒30帧以上的速度运行。实践中，人脸的10个关键点信息无需获取，只需获取22个关键点，尤其是左右手的关键点即可。

306、基于所述深度图像，通过所述关键点二维信息确定所述关键点三维信息；

基于深度图像，通过关键点二维信息确定关键点三维信息。具体的，通过以下公式计算得到关键点三维信息：

z_i、x_i和y_i为第i个关键点的三维坐标信息，即所述关键点三维信息；

d_i为第i个关键点的深度值，由所述深度图像得到；

s为所述深度图像的深度范围；

u_i和v_i为第i个关键点的二维坐标信息，即所述关键点二维信息；

cx，cy为所述深度图像的中心点坐标值；

fx为相机在x轴的焦距，fy为所述相机在y轴的焦距。

307、通过所述关键点三维信息计算出所述关键点中心信息和所述手势方向信息；

通过关键点三维信息计算出关键点中心信息和手势方向信息。具体的，通过以下公式计算得到所述关键点中心信息：

X、Y和Z为预估的对应类别的手的中心坐标信息；

z_i、x_i和y_i为对应类别的手的第i个关键点的三维坐标信息；

k为对应类别的手的关键点总个数。

以左手为例，请参阅图4，左手的关键点为第15点、第17点、第19点和第21点，则k的值为4，左手的中心坐标信息为：

右手依此类推。

根据关键点三维信息建立坐标系。具体的，定义z轴为第15点、第17点和第19点组成的平面的单位法向量，x轴定义为第15点到左手中心点的单位方向向量，y轴定义为x轴和z轴叉乘的单位方向向量。根据该坐标系，利用四元数旋转原理可求得手势方向信息。

308、判断所述手势置信度是否大于置信度阈值，若是，则执行步骤309，若否，则执行步骤310。其中，置信度阈值为预先设定的常值，取值范围为0.5至1，根据经验一般取0.85；

309、判断所述关键点中心信息是否与所述手势方框信息相匹配，若是，则执行步骤312，若否，则执行步骤311；

具体的，判断关键点中心信息中预估的手的中心位置是否处于手的方框内，若处于方框内，则可确定手的类别。

310、判断所述关键点中心信息中预估的手的中心位置与所述手势三维位置信息中判定的手的中心位置的距离是否小于距离阈值，若是，则执行步骤313，若否，则执行步骤311，其中，距离阈值为根据实践经验预先设定好的常值；

311、结束对所述机械手的控制；

结束对机械手的控制。无法确定出手的类别，结束远程控制，以防机械手执行错误动作。

312、根据与所述手势方框信息相匹配的关键点中心信息确定所述手势类别信息；

根据与手势方框信息相匹配的关键点中心信息确定手势类别信息。若与手势方框信息相匹配的关键点中心信息的类别为左，则手势类别信息表示左手的信息，若与手势方框信息相匹配的关键点中心信息的类别为右，则手势类别信息表示右手的信息。例如，预估的左手的中心位置处于手的方框内，则将手势类别信息确定为左类别，即用户的手为左手。预估的右手的中心位置处于手的方框内，则将手势类别信息确定为右类别，即用户的手为右手。

313、根据与判定的手的中心位置的距离小于所述距离阈值的预估的手的中心位置的类别确定所述手势类别信息；

根据与判定的手的中心位置的距离小于距离阈值的预估的手的中心位置的类别确定手势类别信息。例如，关键点中心信息中预估的左手的中心位置为点P1，预估的右手的中心位置为点P2，手势三维位置信息中判定的手的中心位置为点P3，设距离阈值为5。若P1和P3的距离为2，P2和P3的距离为7，2＜5＜7，确定手势类别信息为左类别，即用户的手为左手。

314、通过所述手势三维位置信息进行计算得到机械手位置信息；

通过手势三维位置信息进行计算得到机械手位置信息。为了对机械手进行高效控制，需对手势三维位置信息进行处理，得到机械手位置信息。具体的，通过以下公式进行计算得到机械手位置信息：

和

表示机械手于第i帧的三维中心坐标信息，即机械手位置信息，其中i≥2；

和

表示用户的手于第i帧的三维中心坐标信息，即手势三维位置信息；

k_p为位置增量系数，可根据实践经验预先设定，一般设定为1。

315、通过所述手势方向信息进行计算得到机械手方向信息；

通过手势方向信息进行计算得到机械手方向信息。为了对机械手进行高效控制，需对手势方向信息进行处理，得到机械手方向信息。具体的，通过以下公式进行计算得到机械手方向信息：

表示机械手于第i帧的方向信息，即机械手方向信息；

表示用户的手于第i帧的方向信息，即手势方向信息；

k_o为方向增量系数，可根据实践经验预先设定，一般设定为1。

316、通过第二目标手势信息控制所述机械手动作；

通过第二目标手势信息控制所述机械手动作。其中，第二目标手势信息包括手势类别信息、机械手位置信息、机械手方向信息和手势姿态信息。具体的，将第二目标手势信息增量映射到双臂机器人上的机械手，以远程控制机械手动作。

本实施例中，采集用户的手势图像信息后，根据手势图像信息得到手势方框信息、手势三维位置信息、手势置信度和手势姿态信息，接着通过手势图像信息估计出关键点中心信息和手势方向信息。然后根据手势方框信息、手势置信度和关键点中心信息得到手势类别信息。最后通过第二目标手势信息控制机械手动作。由于是采集无穿戴交互设备的手的动作，即采集手势图像信息，再对该信息进行处理得到第一目标手势信息，根据第一目标手势信息远程控制机械手执行相应动作，使得在能够远程操作的情况下，手不受限制地比划动作，给用户以较好的体验。引入关键点中心信息和手势置信度进行判断，可对手势方框信息和手势三维位置信息进行检测，判断左右手类别，且能提高动作准确率。

请参阅图5，本申请实施例机器人手势遥操作装置一个实施例包括：

采集单元501，用于采集用户的手势图像信息，所述手势图像信息为表示所述用户的手动作的图像信息；

处理单元502，用于根据所述手势图像信息得到手势方框信息、手势三维位置信息、手势置信度和手势姿态信息，所述手势方框信息为表示所述用户的手的范围的信息，所述手势置信度表示所述手势姿态信息与所述用户的手指姿态相符的概率，所述手势姿态信息为表示手势数据库中与所述用户的手指姿态相符的概率最大的姿态的信息；

估计单元503，用于通过所述手势图像信息估计出关键点中心信息和手势方向信息，所述关键点中心信息为表示预估的手的中心位置信息，所述手势方向信息为表示所述用户的手的朝向信息；

所述处理单元502，还用于根据所述手势方框信息、所述手势置信度和所述关键点中心信息得到手势类别信息，所述手势类别信息表示所述用户的手的左右类别；

控制单元504，用于通过第一目标手势信息控制机器人的机械手动作，所述第一目标手势信息包括所述手势类别信息、所述手势三维位置信息、所述手势方向信息和所述手势姿态信息。

本申请实施例中，采集单元501采集用户的手势图像信息后，处理单元502根据手势图像信息得到手势方框信息、手势三维位置信息、手势置信度和手势姿态信息，估计单元503接着通过手势图像信息估计出关键点中心信息和手势方向信息。然后根据手势方框信息、手势置信度和关键点中心信息得到手势类别信息。最后控制单元504通过第一目标手势信息控制机械手动作。通过手势方框信息、手势置信度和关键点中心信息可以区分左右手，得到用户的手的左右类别，即手势类别信息。再结合其他信息对机器人的左右机械手进行对应的远程操作，提高了效率.另外，由于是采集无穿戴交互设备的手的动作，即采集手势图像信息，再对该信息进行处理得到第一目标手势信息，根据第一目标手势信息远程控制机械手执行相应动作，使得在能够远程操作的情况下，手不受限制地比划动作，给用户以较好的体验。

本实施例机器人手势遥操作装置中各单元所执行的功能以及流程与前述图1至图5中手势遥操作装置所执行的功能和流程类似，此处不再赘述。

图6是本申请实施例提供的一种手势遥操作装置结构示意图，该手势遥操作装置600可以包括一个或一个以上中央处理器(central processing units，CPU)601和存储器605，该存储器605中存储有一个或一个以上的应用程序或数据。

其中，存储器605可以是易失性存储或持久存储。存储在存储器605的程序可以包括一个或一个以上模块，每个模块可以包括对手势遥操作装置中的一系列指令操作。更进一步地，中央处理器601可以设置为与存储器605通信，在手势遥操作装置600上执行存储器605中的一系列指令操作。

手势遥操作装置600还可以包括一个或一个以上电源602，一个或一个以上有线或无线网络接口603，一个或一个以上输入输出接口604，和/或，一个或一个以上操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等。

该中央处理器601可以执行前述图1至图5所示实施例中手势遥操作装置所执行的操作，具体此处不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种机器人手势遥操作方法，其特征在于，包括：

采集用户的手势图像信息，所述手势图像信息为表示所述用户的手动作的图像信息；

根据所述手势图像信息得到手势方框信息、手势三维位置信息、手势置信度和手势姿态信息，所述手势方框信息为表示所述用户的手的范围的信息，所述手势置信度表示所述手势姿态信息与所述用户的手指姿态相符的概率，所述手势姿态信息为表示手势数据库中与所述用户的手指姿态相符的概率最大的姿态的信息；

通过所述手势图像信息估计出关键点中心信息和手势方向信息，所述关键点中心信息为表示预估的手的中心位置信息，所述手势方向信息为表示所述用户的手的朝向信息；

根据所述手势方框信息、所述手势置信度和所述关键点中心信息得到手势类别信息，所述手势类别信息表示所述用户的手的左右类别；

通过第一目标手势信息控制机器人的机械手动作，所述第一目标手势信息包括所述手势类别信息、所述手势三维位置信息、所述手势方向信息和所述手势姿态信息。

2.根据权利要求1所述的手势遥操作方法，其特征在于，根据所述手势图像信息得到手势方框信息、手势三维位置信息、手势置信度和手势姿态信息，包括：

对色彩图像进行特征提取得到特征图，所述色彩图像为所述手势图像信息的部分信息；

基于深度图像，对所述特征图进行检测得到所述手势三维位置信息和所述手势方框信息，所述深度图像为所述手势图像信息的部分信息；

对所述手势方框信息进行归类得到所述手势姿态信息和所述手势置信度。

3.根据权利要求2所述的手势遥操作方法，其特征在于，通过所述手势图像信息估计出关键点中心信息和手势方向信息，包括：

根据所述色彩图像确定关键点二维信息；

基于所述深度图像，通过所述关键点二维信息确定所述关键点三维信息；

通过所述关键点三维信息计算出所述关键点中心信息和所述手势方向信息。

4.根据权利要求3所述的手势遥操作方法，其特征在于，根据所述手势方框信息、所述手势置信度和所述关键点中心信息得到手势类别信息，包括：

判断所述手势置信度是否大于置信度阈值，所述置信度阈值为预先设定的常值；

若是，则判断所述关键点中心信息是否与所述手势方框信息相匹配；

若匹配，则根据与所述手势方框信息相匹配的关键点中心信息确定所述手势类别信息；

若否，则判断所述关键点中心信息中预估的手的中心位置与所述手势三维位置信息中判定的手的中心位置的距离是否小于距离阈值；

若小于，则根据与判定的手的中心位置的距离小于所述距离阈值的预估的手的中心位置的类别确定所述手势类别信息。

5.根据权利要求4所述的手势遥操作方法，其特征在于，通过第一目标手势信息控制机器人的机械手动作，包括：

通过所述手势三维位置信息进行计算得到机械手位置信息；

通过所述手势方向信息进行计算得到机械手方向信息；

通过第二目标手势信息控制所述机械手动作，所述第二目标手势信息包括所述手势类别信息、所述机械手位置信息、所述机械手方向信息和所述手势姿态信息。

6.根据权利要求3所述的手势遥操作方法，其特征在于，基于所述深度图像，通过所述关键点二维信息确定所述关键点三维信息，包括：

通过以下公式计算得到所述关键点三维信息：

z_i、x_i和y_i为第i个关键点的三维坐标信息，即所述关键点三维信息；

d_i为第i个关键点的深度值，由所述深度图像得到；

s为所述深度图像的深度范围；

u_i和v_i为第i个关键点的二维坐标信息，即所述关键点二维信息；

cx，cy为所述深度图像的中心点坐标值；

fx为相机在x轴的焦距，fy为所述相机在y轴的焦距。

7.根据权利要求3所述的手势遥操作方法，其特征在于，通过所述关键点三维信息计算出所述关键点中心信息，包括：

通过以下公式计算得到所述关键点中心信息：

X、Y和Z为预估的对应类别的手的中心坐标信息；

z_i、x_i和y_i为对应类别的手的第i个关键点的三维坐标信息；

k为对应类别的手的关键点总个数。

8.一种机器人手势遥操作装置，其特征在于，包括：

采集单元，用于采集用户的手势图像信息，所述手势图像信息为表示所述用户的手动作的图像信息；

处理单元，用于根据所述手势图像信息得到手势方框信息、手势三维位置信息、手势置信度和手势姿态信息，所述手势方框信息为表示所述用户的手的范围的信息，所述手势置信度表示所述手势姿态信息与所述用户的手指姿态相符的概率，所述手势姿态信息为表示手势数据库中与所述用户的手指姿态相符的概率最大的姿态的信息；

估计单元，用于通过所述手势图像信息估计出关键点中心信息和手势方向信息，所述关键点中心信息为表示预估的手的中心位置信息，所述手势方向信息为表示所述用户的手的朝向信息；

所述处理单元，还用于根据所述手势方框信息、所述手势置信度和所述关键点中心信息得到手势类别信息，所述手势类别信息表示所述用户的手的左右类别；

控制单元，用于通过第一目标手势信息控制机器人的机械手动作，所述第一目标手势信息包括所述手势类别信息、所述手势三维位置信息、所述手势方向信息和所述手势姿态信息。

9.一种机器人手势遥操作装置，其特征在于，包括：

中央处理器，存储器以及输入输出接口；

所述存储器为短暂存储存储器或持久存储存储器；

所述中央处理器配置为与所述存储器通信，并执行所述存储器中的指令操作以执行权利要求1至7中任意一项所述的方法。

10.一种计算机可读存储介质，其特征在于，包括指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1至7中任意一项所述的方法。

Images