CN103399637B - 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法 - Google Patents

Abstract

本发明提供了一种基于kinect人体骨骼跟踪控制的智能机器人人机交互方法，3D深度传感器检测操作者的动作，获得数据帧，转化为图像，分割图像中类似于人体的物体与背景环境，获取景深数据；提取人体骨骼信息，识别人体不同部位，建立人体各关节3D坐标；识别人体双手骨骼节点转动信息，通过捕捉不同骨骼关节点角度的变化辨识是人体哪只手的触发；解析出操作者不同的动作特征，将相应字符作为控制指令发送给下位机机器人；AVR单片机主控器接收、处理字符，控制下位机机器人执行相应的动作，实现一个基于kinect人体骨骼跟踪控制的智能机器人人机交互。该方法摆脱传统外部设备对人机交互的约束，实现自然的人机交互。

Description

基于kinect人体骨骼跟踪控制的智能机器人人机交互方法

技术领域

本发明属于人机交互技术领域，涉及一种智能机器人人机交互方法，具体涉及一种基于kinect人体骨骼跟踪控制的智能机器人人机交互方法。

背景技术

人机交互技术是指通过计算机的输入输出设备，以便于人们使用的方式实现人与计算机之间有效交流的技术。骨骼跟踪技术是人机交互领域的一项重要技术，它在三维动画制作、网络游戏、医疗科学领域、手势捕捉以及自然人机交互环境中具有很广泛的应用前景。

键盘，鼠标和操纵杆等是传统的人机交互设备，但在使用的自然性和友好性等方面有一定的局限性。

发明内容

本发明的目的是提供一种基于kinect人体骨骼跟踪控制的智能机器人人机交互方法，舍弃传统的人机交互设备，实现自然的人机交互。

为实现上述目的，本发明所采用的技术方案是：一种基于kinect人体骨骼跟踪控制的智能机器人人机交互方法，具体按以下步骤进行：

步骤1：智能机器人上使用由kinect和PC机组成的追踪设备；启动追踪设备，初始化kinect，设置摄像头仰角，3D深度传感器检测操作者的动作，kinect从颜色流、深度流和骨架流中获得人体骨骼信息数据帧，并将获得的数据帧转化为OpenCV中的IplImage图像类型，将图像中类似于人体的物体与背景环境分割开，得到景深图像，Kinect获取该景深图像的景深数据；

步骤2：根据景深数据，提取出人体骨骼信息，以识别人体不同的部位，建立人体各个关节的3D坐标；具体为：从景深数据中优先提取出物体的主体和形状；用这些形状信息匹配人体的各个部分，计算匹配出的各个关节在人体中的位置；如果某个骨骼点位置相对于初始状态改变，初始状态是指操作者立正时的状态，则可以判断为操作者当前动作正在发生变化，骨骼点位置的改变可以通过与其对应关节转动角度的改变来追踪；

根据该人体各关节转动角度信息，识别出人体双手骨骼节点的转动信息，通过捕捉不同骨骼关节点角度的变化来辨识是人体哪只手的触发；

步骤3：根据步骤2识别的手部骨骼节点的转动信息，并且跟踪不同骨骼关节点相对于初始状态角度转动的变化，解析出操作者不同的动作特征，该动作特征触发相应的字符，将该字符作为控制指令发送给下位机机器人；

步骤4：下位机机器人接收步骤3发出的字符，AVR单片机主控器对接收到的字符进行处理，下位机机器人主控器AVR单片机控制下位机机器人执行相应的动作，如果未收到上位机发送的字符信号则继续等待；从而实现一个基于kinect人体骨骼跟踪控制的智能机器人人机交互。

本发明人机交互方法利用kinect获取人体三维骨骼点数据，通过骨骼跟踪技术处理数据，跟踪不同骨骼关节点相对于初始状态角度转动的变化，进而分解出不同动作，利用上位机软件强大的处理能力，把不同动作转化成控制字符，通过无线控制技术发送给下位机，下位机无线串口接收模块接收上位机发送的字符，通过AVR单片机主控器进行处理，控制机器人执行相应的动作，实现一种自然的人机交互，摆脱传统外部设备对人机交互的约束。

附图说明

图1是kinect能够捕捉的人体骨骼节点示意图。

图2是本发明人机交互方法流程示意图。

图3是本发明人机交互方法中采用的骨骼空间坐标系示意图。

图4是本发明的下位机处理流程示意图。

图5是本发明的人机交互示意图。

具体实施方式

下面结合附图和实施示例对本发明作进一步详细的描述：

本发明人机交互方法中的智能机器人由追踪设备和下位机机器人构成，追踪设备包括kinect和PC机，kinect用于捕获操作者骨骼节点的运动，并对获取的人体骨骼数据序列进行跟踪；PC机对kinect获取的骨骼节点进行分析，根据各骨骼节点角度变化分解出不同动作，利用自身强大的软件处理能力，把不同动作转化成控制字符，通过无线串口发送模块以字符形式发送给下位机，进而控制下位机机器人动作，实现人机交互。

kinect作为新一代的体感设备，能够实时地捕捉人体20个骨骼节点的三维空间位置，进而实现较为准确的人体骨骼节点追踪。因此，为了填补现有人机交互技术的缺陷，本发明提出了一种基于kinect人体骨骼跟踪控制的智能机器人人机交互方法，摆脱那些传统外部设备对人机交互的约束，提高人机交互的自然性与友好性。kinect能够捕捉的人体骨骼节点如图1所示，Kinect最多可以追踪人体20个骨骼节点，根据被控对象的需要，主要采用其中的左肩、左肘、左腕、左手、右肩、右肘、右腕、右手这8个骨骼节点的信息，其他骨骼节点信息在程序设计时可以用作一个辅助的阈值判断条件，以提高程序的性能。本发明人机交互方法流程图，如图2所示，具体按以下步骤进行：

步骤1：智能机器人上使用由kinect和PC机组成的追踪设备；Kinect有3颗镜头，依次为红外线发射器、普通RGB彩色摄像机和红外线CMOS摄像机；红外线发射器和红外线CMOS摄像机构成3D深度传感器；追踪设备启动后，首先完成kinect的初始化，设置摄像头仰角，3D深度传感器检测操作者的动作，打开颜色流、深度流和骨架流，从颜色流、深度流和骨架流中获得人体骨骼信息数据帧，并将获得的数据帧转化为OpenCV中的IplImage图像类型，最后对操作者骨骼进行追踪；其中，颜色流是利用普通RGB彩色摄像机完成对图像的采集；深度流则是用红外线CMOS红外摄像机通过黑白光谱来感知外部环境，CMOS红外摄像机可以计算出指定物体距离传感器的物理距离；骨架流则是将图像中类似于人体的物体与背景环境分割开，得到景深图像，然后Kinect获取该景深图像的景深数据；

由于Kinect采用了红外传感器，所以不管光照条件如何，都能准确的实现对人体骨架的识别和追踪。

步骤2：人体骨骼信息是通过处理景深数据获得的，而景深数据的获取则需要依赖Kinect传感器；Kinect传感器产生的景深数据作用有限，要利用Kinect创建真正意义上的交互，还需要在景深数据的基础上，提取出人体骨骼信息，以识别人体不同的部位，进而建立人体各个关节的3D坐标；通过景深数据提取出人体骨骼信息的过程，就是骨骼追踪，具体为：

从景深数据中优先提取出来的是物体主体和形状；然后用这些形状信息来匹配人体的各个部分，最后计算匹配出来的各个关节在人体中的位置；如果某个骨骼点位置相对于初始状态改变，初始状态是指操作者立正时的状态，则可以判断为操作者当前动作正在发生变化，骨骼点位置的改变可以通过与其对应关节转动角度的改变来追踪；具体各关节转动角度计算方法如下：

计算各关节转动角度时，先设立如图3所示的骨骼空间坐标系，操作者骨骼位置由x，y，z坐标系表示；不同于深度图像空间，这些坐标系是三维的；坐标系中的x轴、y轴和z轴表示深度传感器的主轴；

1）腰关节转动角度

利用左肩和右肩这两个骨骼节点的三维坐标（x,y,z）计算人体腰关节的转动角度；设左肩骨骼节点的三维坐标为（x ₁ ,y ₁ ,z ₁），右肩骨骼点的三维坐标为（x ₂ ,y ₂ ,z ₂），这两个骨骼节点在立体空间中构成一条直线l ₁；l ₁与x轴的夹角设为θ ₁。由于腰关节在转动时y坐标不变，故只考虑xoz平面，直线l ₁的方程为z=k ₁ x+b ₁；其中，b ₁由于在腰关节的转动角度中用不到，因此未给出其计算公式；θ ₁即为人体腰关节的转动角度，计算公式为：。

2）肩关节转动角度

利用右肩和右肘这两个骨骼节点的三维坐标（x,y,z）来计算人体肩关节的转动角度；设右肘骨骼节点的三维坐标为（x ₃ ,y ₃ ,z ₃），右肩骨骼点的三维坐标为（x ₂ ,y ₂ ,z ₂），这两个骨骼节点在立体空间中构成另一条直线l ₂，l ₂与y轴的夹角设为θ ₂；由于肩关节在转动时z坐标不变，故只考虑xoy平面，直线l ₂的方程为y ₂=k ₂ x+b ₂；其中，b ₂由于在肩关节的转动角度中用不到，因此未给出其计算公式；θ ₂即为人体肩关节的转动角度，计算公式为：；

3）肘关节转动角度

利用右肩、右肘和右腕这三个骨骼节点的三维坐标（x,y,z）计算人体肘关节的转动角度；设右腕骨骼节点的三维坐标为（x ₄,y ₄,z ₄），右肘骨骼节点的三维坐标为（x ₃,y ₃,z ₃），右肩骨骼节点的三维坐标为（x ₂,y ₂,z ₂），右肘骨骼节点和右腕骨骼节点构成直线l ₃，右肩骨骼节点和右肘骨骼节点构成直线l ₂；由于这三个骨骼节点在转动时z坐标不变，故只考虑xoy平面。直线l ₃的方程为y ₃=k ₃ x+b ₃，其中，b ₃由于在肘关节的转动角度计算中用不到，故此处未给出计算公式；直线l ₃与直线l ₂的夹角设为θ ₃，θ ₃即为人体肘关节的转动角度，计算公式为：。

4）腕关节转动角度

利用右手、右肘和右腕这三个骨骼节点的三维坐标（x,y,z）来计算人体腕关节的转动角度；设右手骨骼节点的三维坐标为（x ₅,y ₅,z ₅），右腕骨骼节点的三维坐标为（x ₄,y ₄,z ₄），右肘骨骼节点的三维坐标为（x ₃,y ₃,z ₃），其中右肘骨骼节点和右腕骨骼节点构成直线l ₃，右手骨骼点和右腕骨骼构成直线l ₄；直线l ₄的方程为y ₄=k ₄ x+b ₄，其中，b ₄由于在腕关节的转动角度计算中用不到，故此处未给出计算公式。直线l ₃和直线l ₄的夹角设为θ ₄ ，θ ₄ 即为人体腕关节的转动角度，计算公式为：。

Kinect自身的骨骼追踪系统可完成对操作者动作的捕捉并形成相应的人体各关节转动角度信息，根据该人体各关节转动角度信息，识别出人体双手骨骼节点的转动信息，通过捕捉不同骨骼关节点角度的变化来辨识是人体哪只手的触发；

步骤3：根据步骤2识别的手部骨骼节点的转动信息，按照步骤2计算人体腰、肩、肘和腕四个关节的转动角度的方法，并且跟踪不同骨骼关节点相对于初始状态角度转动的变化，解析出操作者不同的动作特征作为控制指令：

1）当操作者伸出左手时，也就是kinect摄像头检测到人体骨骼的左肩和左肘这2个骨骼点转动角度发生变化时，定义为伸左手，根据转动角度不同可分为左平伸和左前伸，同时把触发的左平伸和左前伸动作以字符的方式发送给下位机机器人，如将“左平伸动作”定义为字符A，如果下位机机器人接收到字符“A”，则下位机机器人也做出“左平伸动作”；

2）当操作者伸出右手时，也就是kinect摄像头检测到人体骨骼的右肩和右肘这2个骨骼点转动角度发生变化时，定义为伸右手，根据转动角度不同可分为右平伸和右前伸，同时把触发的右平伸和右前伸动作以字符的方式发送给下位机机器人；

3）当操作者伸出双手时，也就是kinect摄像头检测到人体骨骼的右肩、右肘、左肩和左肘这4个骨骼点转动角度发生变化时，定义为伸双手，根据转动角度不同可分为双手平伸和双手前伸，同时把触发的双手平伸和双手前伸动作以字符的方式发送给下位机机器人；

4）当操作者右手平伸并且右手手腕左右摇摆，也就是kinect摄像头检测到人体骨骼的右肘、右腕和右手这3个骨骼点转动角度发生变化且右腕这个骨骼点在一定角度范围内连续变化，定义为右手击打，同时把右手击打动作以字符的方式发送给下位机机器人；

5）当操作者左手平伸并且左手手腕左右摇摆，也就是kinect摄像头检测到人体骨骼的左肘、左腕、左手这3个骨骼点转动角度发生变化且左腕这个骨骼点在一定角度范围内连续变化，定义为左手击打，同时把左手击打动作以字符的方式发送给下位机机器人；

6）当操作者双手平伸并且双手手腕左右摇摆，也就是kinect摄像头检测到人体骨骼的右肘、右腕、右手、左肘、左腕和左手这6个骨骼点转动角度发生变化且左腕和右腕这两个骨骼点在一定角度范围内连续变化，定义为双手手击打，同时把双手击打动作以字符的方式发送给下位机机器人；

7）当操作者鞠躬，也就是kinect摄像头检测到人体骨骼的左肩和右肩这2个骨骼点转动角度发生变化，定义为鞠躬，同时把鞠躬动作以字符的方式发送给下位机机器人；

步骤4：下位机机器人主要是一台基于AVR单片机控制的类人型轮式机器人，通过控制该机器人躯体上舵机和脚板上的轮子使机器人完成不同动作和行走；下位机机器人通过无线串口发送模块接收步骤3发出的不同动作相对应的字符，AVR单片机主控器对接收到的字符进行处理，如图4所示，下位机机器人主控器AVR单片机程序初始化，等待上位机通过无线串口发送模块发送来的字符，如果下位机机器人通过无线串口接收模块接收到相应的字符，也就是接收到上位机的指令，下位机机器人执行相应的动作，如果未收到上位机发送的字符信号则继续等待；从而实现一个基于kinect人体骨骼跟踪控制的智能机器人人机交互，如图5所示。

实施例

初始化kinect设备，设置摄像头仰角，打开颜色流、深度流和骨架流，色彩信息处理的分辨率为640×480，深度信息处理的分辨率为320×240，采样率都为30帧每秒；通过视频流、深度流和骨架流获取图像类型，同时在PC机上启动VS2010，编译程序，编译完成后运行程序，显示人体骨骼跟踪MFC编程界面。然后打开智能机器人主控开关给机器人上电，同时给无线串口接收和发送模块上电，操作者站在距离摄像头1.2米到3.5米范围之间，当MFC编程界面检测到操作者人体骨骼节点时，操作者伸出双手，PC机收到双手触发信号，通过无线串口发送模块发送字符“C”，同时下位机无线串口接收模块收到字符“C”后，下位机机器人也做出“伸双手动作”；从而实现一个基于kinect人体骨骼跟踪控制的智能机器人人机交互。

Claims (1)

1.一种基于kinect人体骨骼跟踪控制的智能机器人人机交互方法，其特征在于，该交互方法具体按以下步骤进行：

步骤1：智能机器人上使用由kinect和PC机组成的追踪设备；启动追踪设备，初始化kinect，设置摄像头仰角，3D深度传感器检测操作者的动作，kinect从颜色流、深度流和骨架流中获得人体骨骼信息数据帧，并将获得的数据帧转化为OpenCV中的IplImage图像类型，将图像中类似于人体的物体与背景环境分割开，得到景深图像，Kinect获取该景深图像的景深数据；

步骤2：根据景深数据，提取出人体骨骼信息，以识别人体不同的部位，建立人体各个关节的3D坐标；具体为：从景深数据中优先提取出物体的主体和形状；用这些形状信息匹配人体的各个部分，计算匹配出的各个关节在人体中的位置；如果某个骨骼点位置相对于初始状态改变，初始状态是指操作者立正时的状态，则可以判断为操作者当前动作正在发生变化，骨骼点位置的改变可以通过与其对应关节转动角度的改变来追踪；

根据该人体各关节转动角度信息，识别出人体双手骨骼节点的转动信息，通过捕捉不同骨骼关节点角度的变化来辨识是人体哪只手的触发；

关节转动角度计算方法如下：

计算各关节转动角度时，先设立骨骼空间坐标系，操作者骨骼位置由x，y，z坐标系表示；不同于深度图像空间，这些坐标系是三维的；坐标系中的x轴、y轴和z轴表示深度传感器的主轴；

1）腰关节转动角度

利用左肩和右肩这两个骨骼节点的三维坐标（x,y,z）计算人体腰关节的转动角度；设左肩骨骼节点的三维坐标为（x ₁ ,y ₁ ,z ₁），右肩骨骼点的三维坐标为（x ₂ ,y ₂ ,z ₂），这两个骨骼节点在立体空间中构成直线l ₁；l ₁与x轴的夹角为θ ₁；由于腰关节在转动时y坐标不变，故直线l ₁的方程为z=k ₁ x+b ₁；其中；则人体腰关节的转动角度；

2）肩关节转动角度

利用右肩和右肘这两个骨骼节点的三维坐标（x,y,z）来计算人体肩关节的转动角度；设右肘骨骼节点的三维坐标为（x ₃ ,y ₃ ,z ₃），右肩骨骼点的三维坐标为（x ₂ ,y ₂ ,z ₂），这两个骨骼节点在立体空间中构成直线l ₂，l ₂与y轴的夹角为θ ₂；由于肩关节在转动时z坐标不变，故直线l ₂的方程为y ₂=k ₂ x+b ₂；其中；则人体肩关节的转动角度；

3）肘关节转动角度

利用右肩、右肘和右腕这三个骨骼节点的三维坐标（x,y,z）计算人体肘关节的转动角度；设右腕骨骼节点的三维坐标为（x ₄,y ₄,z ₄），右肘骨骼节点的三维坐标为（x ₃,y ₃,z ₃），右肩骨骼节点的三维坐标为（x ₂,y ₂,z ₂），右肘骨骼节点和右腕骨骼节点构成直线l ₃，右肩骨骼节点和右肘骨骼节点构成直线l ₂；由于这三个骨骼节点在转动时z坐标不变，故直线l ₃的方程为y ₃=k ₃ x+b ₃，其中；直线l ₃与直线l ₂的夹角θ ₃为人体肘关节的转动角度；

4）腕关节转动角度

利用右手、右肘和右腕这三个骨骼节点的三维坐标（x,y,z）来计算人体腕关节的转动角度；设右手骨骼节点的三维坐标为（x ₅,y ₅,z ₅），右腕骨骼节点的三维坐标为（x ₄,y ₄,z ₄），右肘骨骼节点的三维坐标为（x ₃,y ₃,z ₃），其中右肘骨骼节点和右腕骨骼节点构成直线l ₃，右手骨骼点和右腕骨骼构成直线l ₄；直线l ₄的方程为y ₄=k ₄ x+b ₄，其中；直线l ₃和直线l ₄的夹角θ ₄ 即为人体腕关节的转动角度；

步骤3：根据步骤2识别的手部骨骼节点的转动信息，并且跟踪不同骨骼关节点相对于初始状态角度转动的变化，解析出操作者不同的动作特征，该动作特征触发相应的字符，将该字符作为控制指令发送给下位机机器人；

步骤4：下位机机器人接收步骤3发出的字符，AVR单片机主控器对接收到的字符进行处理，下位机机器人主控器AVR单片机控制下位机机器人执行相应的动作，如果未收到上位机发送的字符信号则继续等待；从而实现一个基于kinect人体骨骼跟踪控制的智能机器人人机交互。