CN107656505A - 使用增强现实设备控制人机协作的方法、装置和系统 - Google Patents

Abstract

本发明公开了一种使用增强现实设备控制人机协作的方法、装置和系统。该方法包括：增强现实设备与工业机器人建立通讯连接；增强现实设备获取操作信息，响应于操作信息执行对应的操作；增强现实设备生成控制指令发送到工业机器人，其中，工业机器人根据控制指令执行对应操作。通过本发明，达到了通过增强现实设备辅助工业生产提高效率和安全性的效果。

Description

使用增强现实设备控制人机协作的方法、装置和系统

技术领域

本发明涉及增强现实领域，具体而言，涉及一种使用增强现实设备控制人机协作的方法、装置和系统。

背景技术

随着人类步入工业4.0时代，工业生产对效率和智能程度的需求越来越高。而在这个过程中，人机交互和数据呈现的及时性与高效性至关重要。

尽管在大多数现代化的工业厂房内，机器已经连入中央管理系统，工厂可以收集机器的数据并对机器加以控制，但是工业界依旧缺少让工人快速精准的获得信息、阅读信息、与信息交互的方案。

目前常用的技术方案包括：

1、为每一个生产设备配置显示和控制终端(如显示器、控制面板、手柄、键盘等)。

2、工人携带联网的手持移动设备(如笔记本电脑、平板电脑、手机或者其他设备)。

方案一：由于要为每一个设备布置显示设备和控制设备，硬件成本、安装成本、维护成本非常高，同时非常占用空间和能源。

方案二：工人要长时间手持显示设备，双手被占用，无法同时进行工业生产。

两个方案都有的缺陷：

1、显示信息的空间受到屏幕大小的限制，如果想要更大的空间就需要更大的屏幕，成本提高，便携性下降。

2、显示信息的方式不理想，信息只能呈现在屏幕上，工人需要频繁的低头或者转头查看显示屏幕，降低了操作效率。

3、目前的显示屏幕只能显示平面信息，不能显示3D信息。

4、交互方式受限，以上两种方案的交互都需要工人操作实体按键或者触碰显示屏幕，在不方便使用双手的情况下，操作很困难(比如在佩戴手套或者手上有油污的情况)。

5、以上方案均无法实现人机协作，也就是根据人的操作速度、操作状态等情况实时调节机器人的工作速度。

针对相关技术中工业生产中通过显示屏辅助操作时操作不便的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种使用增强现实设备控制人机协作的方法、装置和系统，以解决相关技术中工业生产中通过显示屏辅助操作时操作不便的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种使用增强现实设备控制人机协作的方法，该方法包括：增强现实设备与工业机器人建立通讯连接；所述增强现实设备获取操作信息，响应于所述操作信息执行对应的操作；所述增强现实设备生成控制指令发送到所述工业机器人，其中，所述工业机器人根据所述控制指令执行对应操作。

进一步地，所述增强现实设备获取操作信息包括以下任意一项或多项：所述增强现实设备获取用户发出的手势指令；所述增强现实设备获取用户发出的语音指令；所述增强现实设备通过识别用户眼球活动状态获取指令；所述增强现实设备获取所述工业机器人发送的操作信息；所述增强现实设备通过图像识别技术，解析实时采集的图像获取操作信息；所述增强现实设备获取生产线控制中心发出的操作信息。

进一步地，在所述增强现实设备获取操作信息之后，所述方法还包括：所述增强现实设备根据所述操作信息更新显示内容；所述增强现实设备根据所述操作信息，使用处理器模块，生成机器人运动控制指令；所述增强现实设备根据所述操作信息，使用处理器模块，生成生产线的操作者的工作数据，发送至生产线控制中心；所述增强现实设备根据所述操作信息确定所述工业机器人的工作速率，生成机器人速率控制指令，其中，所述工业机器人的工作速率用于配合当前生产线的操作者的操作速率。

进一步地，所述增强现实设备根据所述操作信息更新显示内容包括：所述增强现实设备根据所述操作信息确定下一步操作对象；所述增强现实设备生成并显示下一步操作的提示信息；所述增强现实设备更新并显示工业机器人的运动速度，当前位置和关节角度；所述增强现实设备显示工业机器人的电机温度。

进一步地，所述增强现实设备生成并显示下一步操作的提示信息包括：在待操作对象上显示下一步操作的提示图标或文字或3D模型；和/或在所述增强现实设备视野中显示下一步操作的提示图标或文字或3D模型。

进一步地，所述增强现实设备生成控制指令发送到所述工业机器人包括：所述增强现实设备生成开始、暂停、结束、变速、重启、复位、调节速度、改变模式的控制指令发送到所述工业机器人。

进一步地，所述增强现实设备生成的控制指令包括：控制所述工业机器人改变自身运动状态，其中，所述自身运动状态包括所述工业机器人的运动速度，当前位置和关节角度；控制所述工业机器人改变操作对象；控制所述工业机器人改变操作模式；控制所述工业机器人改变操作速率；控制所述工业机器人将操作结果发回给所述增强现实设备。

为了实现上述目的，根据本发明的另一方面，还提供了一种使用增强现实设备控制人机协作的装置，该装置包括：通讯单元，用于通过增强现实设备与工业机器人建立通讯连接；获取单元，用于通过所述增强现实设备获取操作信息，响应于所述操作信息执行对应的操作；处理单元，用于通过所述增强现实设备生成控制指令发送到所述工业机器人，其中，所述工业机器人根据所述控制指令执行对应操作。

进一步地，所述获取单元用于执行以下任意一项或多项：通过所述增强现实设备获取用户发出的手势指令；通过所述增强现实设备获取用户发出的语音指令；通过所述增强现实设备通过识别用户眼球活动状态获取指令；通过所述增强现实设备通过图像识别技术，解析实时采集的图像获取操作信息；通过所述增强现实设备获取生产线控制中心发出的操作信息；通过所述增强现实设备获取所述工业机器人发送的操作信息。

为了实现上述目的，根据本发明的另一方面，还提供了一种使用增强现实设备控制人机协作的控制系统，其特征在于，包括：工业设备；增强现实设备，所述增强现实设备用于本发明的使用增强现实设备控制人机协作的方法；工业机器人，用于与所述增强现实设备配合控制所述工业设备。

本发明通过增强现实设备与工业机器人建立通讯连接；增强现实设备获取操作信息，响应于操作信息执行对应的操作；增强现实设备生成控制指令发送到工业机器人，其中，工业机器人根据控制指令执行对应操作，解决了相关技术中工业生产中通过显示屏辅助操作时操作不便的问题，进而达到了通过增强现实设备辅助工业生产提高效率和安全性的效果。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的使用增强现实设备控制人机协作的方法的流程图；

图2是根据本发明实施例的使用增强现实设备控制人机协作的系统的示意图；以及

图3是根据本发明实施例的使用增强现实设备控制人机协作的装置的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了便于描述，以下对本申请实施例涉及的几个术语进行说明：

增强现实技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息，声音等)，通过计算机视觉等技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。

AR系统具有三个突出的特点：①真实世界和虚拟的信息集成；②具有实时交互性；③在三维尺度空间中增添定位虚拟物体。

本发明实施例提供了一种使用增强现实设备控制人机协作的方法。

图1是根据本发明实施例的使用增强现实设备控制人机协作的方法的流程图，如图1所示，该方法包括以下步骤：

步骤S102：增强现实设备与工业机器人建立通讯连接。

步骤S104：增强现实设备获取操作信息，响应于操作信息执行对应的操作。

步骤S106：增强现实设备生成控制指令发送到工业机器人，其中，工业机器人根据控制指令执行对应操作。

该实施例通过增强现实设备与工业机器人建立通讯连接；增强现实设备获取操作信息，响应于操作信息执行对应的操作；增强现实设备生成控制指令发送到工业机器人，其中，工业机器人根据控制指令执行对应操作，解决了相关技术中工业生产中通过显示屏辅助操作时操作不便的问题，进而达到了通过增强现实设备辅助工业生产提高效率和安全性的效果。

在本发明实施例中，增强现实设备可以通过多种方式与工业机器人建立通讯连接，包括但不限于蓝牙、无线网络、有线网络连接等方式，增强现实设备可以是增强现实显示眼镜(AR眼镜)，AR眼镜可以通过多种方式获取操作指令，操作指令可以是用户通过手势、语言、注视(gaze)等方式发出的对于AR眼镜的操作指令，操作信息(指令)也可以是根据用户对于工业设备的操作生成的指令。AR眼镜可以响应于操作指令执行对应的操作，例如，可以显示对应的提示信息等，AR眼镜还可以生成控制指令发送到工业机器人，以控制工业机器人配合完成更多操作，工业机器人在接收到控制指令后，根据控制指令控制工业设备。

可选地，在增强现实设备响应于操作指令执行对应的操作并生成控制指令发送到工业机器人之后，增强现实设备接收工业机器人返回的控制结果，其中，控制结果为工业机器人根据控制指令执行操作之后的控制结果；增强现实设备根据控制结果更新显示内容。工业机器人在根据控制指令控制工业设备之后，将控制结果发送到增强现实设备，增强现实设备在接收到工业机器人返回的控制结果之后，根据控制结果更新眼镜中的显示内容。

可选地，增强现实设备根据控制结果更新显示内容可以是：增强现实设备根据控制结果确定下一步操作对象；增强现实设备生成并显示下一步操作的提示信息；增强现实设备更新并显示工业机器人的运动速度，当前位置和关节角度；增强现实设备显示工业机器人的电机温度。

可选地，增强现实设备生成并显示下一步操作的提示信息可以是：在待操作对象上显示下一步操作的提示图标或文字或3D模型；和/或在增强现实设备视野中的周围空间中显示下一步操作的提示图标或文字或3D模型。显示位置可以是固定在待操作对象上，也可以是在其他位置固定显示下一步操作的提示。显示的除了提示信息还可以是其他的信息，比如总数量，总时间，当前效率，机器人状态等生产相关的信息。

增强显示设备可以根据当前操作的进程确定下一步操作和下一步操作对象等多个下一步操作的细节，可以根据下一步操作进行提示，增强显示设备中的显示内容包括下一步操作提示，下一步操作提示可以包括多种操作指导信息，为了更加方便操作工人操作，可以将下一步操作提示信息在AR眼镜中显示出来，显示的方式可以是在待操作对象上固定显示提示信息引导工人操作，这样可以使引导信息更加直观，更容易理解和操作，降低工人操作错误概率和学习记忆成本。提示信息也可以是在AR眼镜中跟随用户移动在眼镜中固定在视野的右上角或者左上角显示下一步操作的提示，可以是列表、文字或者视频的形式。

可选地，增强现实设备根据操作信息更新显示内容；增强现实设备根据操作信息，使用处理器模块，生成机器人运动控制指令；增强现实设备根据操作信息，使用处理器模块，生成生产线的操作者的工作数据，发送至生产线控制中心；增强现实设备根据操作信息确定工业机器人的工作速率，生成机器人速率控制指令，其中，工业机器人的工作速率用于配合当前生产线的操作者的操作速率。

可选地，增强现实设备获取操作指令包括以下任意一项：增强现实设备获取用户发出的手势指令；增强现实设备获取用户发出的语音指令；增强现实设备通过识别用户眼球或头部活动状态获取指令；增强现实设备通过实时采集被操作对象的状态获取操作指令，增强现实设备还可以读取获取生产线控制中心发出的操作指令，或者获取工业机器人发送的操作指令。增强现实设备可以通过图像识别技术，解析实时采集的图像获取操作信息；增强现实设备获取生产线控制中心发出的操作信息；增强现实设备获取工业机器人发送的操作信息，增强显示设备的指令也可以通过采集被操作对象的状态获取，例如，AR眼镜控制工业机器人操作工业设备之后，工业设备可以将当前的状态信息通过指令发送给AR眼镜。增强现实设备的操作指令的来源多种多样，在此不作限定，任何一种方式的指令来源都包含在本发明的保护范围之中。

可选地，增强现实设备响应于操作指令执行对应的操作并生成控制指令发送到工业机器人可以是：增强现实设备响应于操作指令执行对应的操作并生成开始、暂停、结束的控制指令发送到工业机器人。

增强现实设备向工业机器人发送的指令可以是多种类型的，例如，可以是开始、暂停、结束、变速、重启、复位、调节速度、改变模式等指令控制工业机器人执行开始、暂停、结束操作等。

可选地，增强现实设备生成的控制指令包括：控制工业机器人改变自身运动状态，其中，自身运动状态包括工业机器人的运动速度，当前位置和关节角度；控制工业机器人改变操作对象；控制工业机器人改变操作模式；控制工业机器人改变操作速率；控制工业机器人将操作结果发回给增强现实设备。关节角度包括机器人每个关节的角度，所有关节的角度可以确定当前机器人的姿态。

本发明实施例的技术方案还可以实现智能人机协作，在由增强现实设备、工业机器人以及工业设备组成的系统中，增强现实设备可以通过获取工人的动作或者工业设备反馈的信号来获取当前生产线操作者的操作速率，然后根据操作速率确定工业机器人的工作速率，然后将确定出的工作速率发送给工业机器人实时调整配合工人工作的速率，以使工业机器人对于人机协作过程的配合更加智能，感知更加灵敏。在一种应用场景中，每个生产线上的每个工人的工作状态不同时，操作速率不同，例如，经验比较丰富的工人操作速率快一些，经验比较少的工人操作速率慢一些，为了减少操作速率慢的工人的操作错误，可以降低工业机器人的配合速率，为了提高经验丰富的工人的工作效率，可以提高工业机器人的配合速率。或者在工人疲劳的情况下，及时降低配合速率以满足在不同场景下的需要。在接收到增强现实设备发送来的工作速率之后，工业机器人根据这一参数及时调整配合工作的工作速率，以实现真正的人机协作，提高工业机器人的智能性。

本发明实施例还提供了一种优选实施方式，下面结合该优选实施方式对本发明的技术方案进行说明。

增强现实设备(AR头部显示设备)包含以下主要部件：

光学显示模组、光学摄像头组、RGB-D深度摄像头、IMU惯性检测单元、语音采集麦克风、运算处理模组(芯片模组)、通讯模组。

1、信息呈现

AR头部显示设备的光学显示模组位于工人眼前，将需要显示的虚拟信息，直接投射在工人视野中。工人不需要转头或者扭头查看屏幕就能直接获取信息。

因为光学显示模组是位于头部设备上，所以工人不需要长时间手持显示设备(比如平板电脑等)，解放了工人的双手。

AR头部显示设备呈像不受物理显示屏大小的显示，信息内容直接投射到工人的视野空间中，可以有更大的显示范围和更好的显示效果。

通过左右眼图像的视差，AR头部显示设备可以使现实的内容有景深效果和立体效果，从而实现展示3D内容。

AR头部显示设备的光学摄像头组、IMU惯性检测单元将采集工人当前位置的视觉影像和工人的运动信息，通过运算处理模组计算出工人的位置变化，从而确定虚拟内容的正确显示位置，实现将虚拟内容固定在现实空间的某个位置上。

2、交互控制

光学摄像头组、IMU惯性检测单元能够检测到工人的头部运动，通过运算处理模组确定工人视线的关注点。

光学摄像头组、RGB-D深度摄像头可以捕捉工人手部的姿态和运动，通过运算处理模组处理得到工人的手势所发出的指令，包括点击、拖拽、触碰、翻转、滚动虚拟物体。

语音采集麦克风可以采集工人的语音，通过运算处理模组理解工人所发出的指令。

通过以上三个途径，AR头部显示设备将不需要使用者操纵实际的控制硬件(如按钮、屏幕、手柄等)，解决了双手被占用无法点击按钮，或者双手不洁净/佩戴手套无法点击触摸屏的问题。

3、通讯

AR头部显示设备作为智能设备，可以支持与其他设备的高质量通讯。通讯主要分为以下三个主要的部分：

(1)与工厂的控制中心/服务器通讯，获取信息，收发指令和数据。比如仓储货物的位置信息，厂区导航信息，事故设备位置信息，工作工序整体信息等。

(2)与有通讯功能的设备通讯(比如工业机器人，电子机床等)，将工人通过语音、眼球、手势所作出的操作指令发给实际的生产设备，同时也可以将设备的工作信息发送给工人。

(3)与其他的AR头部显示设备通讯，因为AR头部显示设备将会采集工人的视野、位置信息，AR设备之间的通讯可以很好地应用在远程指挥、培训教学、协同工作等方面。

4、图像物体识别

AR头部显示设备具有图像识别和物体识别的功能，其中的光学摄像头组和RGB-D深度摄像头除了能够检测到手部的姿态，还可以检测和识别图片与物体。通过这一个功能，AR头部显示设备可以快速的确定当前的应用场景，例如确定查看哪一个货物，确定工人在操作哪一个设备，确定当前是哪一个工序等。基于这个功能，AR头部显示设备会在特定场合显示特定信息，实现了显示的智能化，例如工人带着一个AR头部显示设备，但是走到不同的机器前会显示不同的机器数据。

AR头部显示设备可以利用图像和物体识别的功能来检查工人的操作结果是否正确。例如，对于装线或者安装零部件等工作，AR头部显示设备通过光学摄像头组可以采集当前的工作结果画面，运算处理模组将这些图像信息与正确的结果图像进行比对，来确定工人是不是漏掉什么东西没有安装，或者数据线(电源线)的顺序是不是正确。

本发明实施例的使用增强现实设备控制人机协作的方法，能够实现以下技术效果：

1、AR头部显示设备显示信息不需要外置的物理屏幕，能够显示的信息更多，能够显示空间更大，工人周围的实际空间都可以放置信息。同时成本大大降低。

2、AR头部显示设备佩戴在工人的头部，工人不需要手持其他设备，解放了双手，工人在获取信息、操控信息的同时，可以同步进行工业操作。

3、AR头部显示设备支持语音、眼球和手势控制，工人不需要为每一个操作手动点击按钮或者显示屏幕，工业应用场景大大增加。

4、AR头部显示设备将工人需要的信息直接呈现在工人的视野中，不需要频繁的查看屏幕，提高了操作效率。

5、AR头部显示设备可以显示2D或者3D的内容，这使得显示的信息更易于被工人理解，在工人培训、机器结构讲解、现场操作指导、机器装配、机器维护等多个场景下有突出的优势。

6、AR头部显示设备可以搜集工人的操作信息、运动信息和视野信息，为工业生产的智能化提供数据来源。

本发明实施例的增强现实设备的控制方法能够适应工业互联网的发展需求，AR头部显示设备是最理想的移动终端，在此基础上实现智能化工业生产，大大提高工业生产的效率(特别是工人的效率)，具体包括：

1、数据信息呈现

AR信息的呈现不需要物理屏幕，显示的空间大大扩展，显示的内容更丰富，同时成本大大降低。AR显示的内容直接出现在用户视野内，工人获取信息的方式更加直接，不需要频繁查看传统的显示屏幕，提高了操作的效率。AR头部显示设备使得信息的呈现不再受复杂的工业生产环境限制。

AR头部显示设备可以显示3D的内容，这使得显示的信息更易于被工人理解，在工人培训、机器结构讲解、现场操作指导、机器装配、机器维护等多个场景下有突出的优势。

2、人机协作与人机控制

AR头部显示设备重新定义了工人和信息的交互方式，绝大部分的操作将不需要操控实体部件(按钮，手柄，屏幕等)，而是通过工人的语音、眼球、手势直接与AR内容交互，大大扩展了工业交互的场景。同时由于使用AR头部显示设备，工人不需要手持设备(如平板电脑等)，解放了工人的双手，可以在双手进行工业操作的情况下，同时获取信息，操纵机器或者其他设备。

3、联网通讯&数据采集

AR头部显示设备可以与工厂的控制中心、厂区内的生产设备(例如机器人，，服务器，数字机床等)以及其他的AR头部显示设备进行通讯，进行信息的及时交换，将工人与机器联网。

AR头部显示设备同时是数据收集的终端。通过AR头部显示设备，工厂才可能搜集到每个员工的视野信息、操作信息、位置信息等。在这些数据的基础上，实现智能化生产。

本发明实施例的技术方案实现了AR头部显示设备和机器臂与工作站的模拟生产。

通过AR头部显示设备，工人可以实时获得工作的指导信息，机器臂通过与AR头部显示设备，可以调整自己的节奏与工人一致，工作站通过和AR头部显示设备的通讯可以合理安排工作进度。工人可以通过与视野中的物体、按钮交互，控制机器臂或者向工作站发布指令。通过使用AR头部显示设备，工人不再需要记住每一步繁琐的操作，同时工作站可以获得每一个工人的工作信息，更好更高效的安排工作。

具体地，在本发明实施例的一个应用场景中：

双目AR头部显示设备建立与工业机器人的通讯。

双目AR头部显示设备通过识别工人的手势指令、语音指令，开始进入操作界面。

双目AR头部显示设备将工作相关的信息显示在工作区域。

显示的方式可以是固定悬浮在空间中、固定在实际操作物体(工件、工具)上(不一定是贴在一起，可以在空间上有一定的布局)、跟随工人视野移动。

固定在实际操作物体上的信息具有实际的工序指导作用，可以使文字、按钮、箭头、图标、3D模型或其他指示性信息。

显示的位置可以由以下几种方式决定：双目AR头部显示设备识别工作位上的实际物体(光学摄像头组&运算处理模组做图像识别)的位置；双目AR头部显示设备识别工人眼球和手势确定的位置(光学摄像头组&IMU惯性检测单元&RGB-D深度摄像头&运算处理模组)。

双目AR头部显示设备识别工人的语音或者手势指令，并将指令发给工业机器人，控制机器人开始、暂停、结束工作；控制机器人抓取、摆放、加工部件。

双目AR头部显示设备接受机器人发回的指控，更新自己的显示内容，包括：更新计数、计时、当前步骤、提示信息等；更新实际操作物体附近的指示信息，比如按钮状态，箭头方向，指示信息的位置(从一个部分移动到另一个部分，代表下一步操作对象改变)。

双目AR头部显示设备检测工人的手势、语音或者实际操作物体的状态(比如等亮起)，将指令发送给机器臂，通知机器人进行之后的操作，实现人机的高效协作(也就是说机器人可以知道工人做到了哪一步，来决定机器人要如何工作)。

本发明实施例的技术关键点包括以下部分：

通过双目AR头部显示设备实现工业生产中工人与智能工业设备(实际使用的是柔性协作机器人，但也可以应用到一般的支持通讯和指令控制的工业机器人)高效协作的系统。

其高效性体现在：对于工人、操作者-工作的提示信息是直接显示在视野里，实际操作的信息是直接显示在操作物实体上，信息获取更直接，指示性更强；对于机器设备，双目AR头部显示设备可以实时获取操作空间的状态(包括操作者的语音指令、手势指令、操作物体的状态等)，通过通讯发送给机器人，帮助其更好的安排自己的工作。

双目AR头部显示设备对于显示位置的获取，可以使来自图像识别实际的操作物体，也可以是来至于操作者的手势控制(点击、拖拽、旋转等)。

双目AR头部显示设备对于显示信息的更新，可以来自于机器人发送的指令或者状态；可以来自于识别工人的语音或者手势；可以来自于识别实际操作物体的状态。

本发明实施例的AR构建了一套完整的工业界人机协作系统。AR显示的指示信息可以直接放置在实际需要操作的物体或组成部分上，让引导信息更直观，更容易理解，降低错误概率和学习记忆成本。工人通过AR头显可以实现对机器人的实时的控制，灵活的控制。构建的人机协作系统是一个可以实时通讯的系统，AR可以将人的状态发给机器，同时可以将机器的状态发给人，实现高效的协作。

需要说明的是，在本发明的技术方案中，通讯上：不只能和机器人通讯，还可以和控制中心通讯，和其他AR设备通讯。获取指令上，除了现在的还可以是机器人主动发来的指令，可以使控制中心发来的指令等。显示上，除了显示下一步的操作提示信息，还可以显示很多内容，比如机器人的状态，整体工作的数据(总数量，总时间，当前效率等)，辅助信息(比如提示机器人离的很近有碰撞危险，提醒工人应该休息，临时故障维修等)。在发出给机器人的指令上，除了开始暂停结束，还可以是很多样的指令，比如重启，复位，调节速度，改变模式等)。

本发明实施例还提供了一种使用增强现实设备控制人机协作的系统。

图2是根据本发明实施例的使用增强现实设备控制人机协作的系统的示意图。如图2所示，该系统包括：

工业设备10；

增强现实设备20，用于执行本发明实施例的使用增强现实设备控制人机协作的方法；

工业机器人30，用于与增强现实设备20配合控制所述工业设备10。

该实施例的增强现实设备的控制方法与上述实施例相同，在此不再赘述。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明实施例提供了一种使用增强现实设备控制人机协作的装置，该装置可以用于执行本发明实施例的使用增强现实设备控制人机协作的方法。

图3是根据本发明实施例的使用增强现实设备控制人机协作的装置的示意图，如图3所示，该装置包括：

通讯单元210，用于通过增强现实设备与工业机器人建立通讯连接；

获取单元220，用于通过增强现实设备获取操作信息，响应于操作信息执行对应的操作；

处理单元230，用于通过增强现实设备生成控制指令发送到工业机器人，其中，工业机器人根据控制指令执行对应操作。

可选地，获取单元用于执行以下任意一项或多项：通过增强现实设备获取用户发出的手势指令；通过增强现实设备获取用户发出的语音指令；通过增强现实设备通过识别用户眼球活动状态获取指令；通过增强现实设备通过图像识别技术，解析实时采集的图像获取操作信息；通过增强现实设备获取生产线控制中心发出的操作信息；通过增强现实设备获取工业机器人发送的操作信息。

该实施例采用通讯单元210通过增强现实设备与工业机器人建立通讯连接；获取单元220通过增强现实设备获取操作信息，响应于操作信息执行对应的操作；处理单元230通过增强现实设备生成控制指令发送到工业机器人，其中，工业机器人根据控制指令执行对应操作，解决了相关技术中工业生产中通过显示屏辅助操作时操作不便的问题，进而达到了通过增强现实设备辅助工业生产提高效率和安全性的效果。

所述增强现实设备的控制装置包括处理器和存储器，上述通讯单元、获取单元、处理单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来辅助工业生产提高效率和安全性。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种使用增强现实设备控制人机协作的方法，其特征在于，包括：

增强现实设备与工业机器人建立通讯连接；

所述增强现实设备获取操作信息，响应于所述操作信息执行对应的操作；

所述增强现实设备生成控制指令发送到所述工业机器人，其中，所述工业机器人根据所述控制指令执行对应操作。

2.根据权利要求1所述的方法，其特征在于，所述增强现实设备获取操作信息包括以下任意一项或多项：

所述增强现实设备获取用户发出的手势指令；

所述增强现实设备获取用户发出的语音指令；

所述增强现实设备通过识别用户眼球或头部活动状态获取指令；

所述增强现实设备获取所述工业机器人发送的操作信息；

所述增强现实设备通过图像识别技术，解析实时采集的图像获取操作信息；

所述增强现实设备获取生产线控制中心发出的操作信息。

3.根据权利要求2所述的方法，其特征在于，在所述增强现实设备获取操作信息之后，所述方法还包括：

所述增强现实设备根据所述操作信息更新显示内容；

所述增强现实设备根据所述操作信息，使用处理器模块，生成机器人运动控制指令；

所述增强现实设备根据所述操作信息，使用处理器模块，生成生产线的操作者的工作数据，发送至生产线控制中心；

所述增强现实设备根据所述操作信息确定所述工业机器人的工作速率，生成机器人速率控制指令，其中，所述工业机器人的工作速率用于配合当前生产线的操作者的操作速率。

4.根据权利要求3所述的方法，其特征在于，所述增强现实设备根据所述操作信息更新显示内容包括：

所述增强现实设备根据所述操作信息确定下一步操作对象；

所述增强现实设备生成并显示下一步操作的提示信息；

所述增强现实设备更新并显示工业机器人的运动速度，当前位置和关节角度；

所述增强现实设备显示工业机器人的电机温度。

5.根据权利要求4所述的方法，其特征在于，所述增强现实设备生成并显示下一步操作的提示信息包括：

在待操作对象上显示下一步操作的提示图标或文字或3D模型；和/或

在所述增强现实设备视野中显示下一步操作的提示图标或文字或3D模型。

6.根据权利要求1所述的方法，其特征在于，所述增强现实设备生成控制指令发送到所述工业机器人包括：

所述增强现实设备生成开始、暂停、结束、变速、重启、复位、调节速度、改变模式的控制指令发送到所述工业机器人。

7.根据权利要求6所述的方法，其特征在于，所述增强现实设备生成的控制指令包括：

控制所述工业机器人改变自身运动状态，其中，所述自身运动状态包括所述工业机器人的运动速度，当前位置和关节角度；

控制所述工业机器人改变操作对象；

控制所述工业机器人改变操作模式；

控制所述工业机器人改变操作速率；

控制所述工业机器人将操作结果发回给所述增强现实设备。

8.一种使用增强现实设备控制人机协作的装置，其特征在于，包括：

通讯单元，用于通过增强现实设备与工业机器人建立通讯连接；

获取单元，用于通过所述增强现实设备获取操作信息，响应于所述操作信息执行对应的操作；

处理单元，用于通过所述增强现实设备生成控制指令发送到所述工业机器人，其中，所述工业机器人根据所述控制指令执行对应操作。

9.根据权利要求8所述的装置，其特征在于，所述获取单元用于执行以下任意一项或多项：

通过所述增强现实设备获取用户发出的手势指令；

通过所述增强现实设备获取用户发出的语音指令；

通过所述增强现实设备通过识别用户眼球或头部活动状态获取指令；

通过所述增强现实设备获取所述工业机器人发送的操作信息；

通过所述增强现实设备通过图像识别技术，解析实时采集的图像获取操作信息；

通过所述增强现实设备获取生产线控制中心发出的操作信息。

10.一种使用增强现实设备控制人机协作的系统，其特征在于，包括：

工业设备；

增强现实设备，所述增强现实设备用于执行权利要求1-7中任一项所述的使用增强现实设备控制人机协作的方法；

工业机器人，用于与所述增强现实设备配合控制所述工业设备。