CN103376884A - 人机交互方法及其装置 - Google Patents

Abstract

本发明公开了一种人机交互方法及其装置依次包括：用于识别目标物体的步骤；用于探测所述目标物体，从而获得所述目标物体与人机交互装置之间的位置关系信息的步骤；用于根据所述位置关系信息构建场景的步骤；用于人机交互装置执行操作的步骤。本发明所提供的人机交互装置，包括：识别模块、探测模块、交互信息处理模块和执行模块。本发明所提供的方法可实现人机的非接触控制，避免了在接触式人机交互方式的终端使用中由于长时间触摸键盘、鼠标或屏幕，腕部等会出现的僵硬疼痛、麻木、痉挛等症状。

Description

人机交互方法及其装置

技术领域

本发明涉及电子通讯领域，尤其涉及人机交互技术领域。

背景技术

随着科学技术的发展，手机、个人电脑等装置被广泛使用，手机、个人电脑的人机交互的输入方式也已经从敲击键盘，发展到点击鼠标，又在这个基础上发展出了触摸屏幕。中国知识产权局于2008年2月27日公开了一种基于触摸屏的人机交互方案，公开号为CN 101133385A。本方案揭示了一种带有多个触感器件的手持设备。但此方案及其他现有的技术方案，无论是基于键盘、鼠标还是触摸屏幕的人机交互方案，都停留在控制二维的电脑屏幕图像中。这样长时间触摸键盘、鼠标或屏幕，腕部会由于需要键盘、鼠标或屏幕保持在一定的高度，而必须背屈一定角度，不能自然伸展，长时间会导致食指和中指僵硬疼痛、麻木与拇指肌肉无力感，严重的会导致腕部肌肉或关节麻痹、肿胀、疼痛、痉挛等症状。

发明内容

本发明的目的是提供一种人机交互方法及其装置，可实现人机的非接触控制。

本发明所提供的人机交互方法，依次包括：

步骤11）用于识别目标物体的步骤；

步骤12）用于探测所述目标物体，从而获得所述目标物体与人机交互装置之间的位置关系信息的步骤； 

步骤13）用于人机交互装置执行操作的步骤。

本发明所提供的人机交互装置，包括：

识别模块101，用于识别目标物体并在识别到目标物体时发送指令；

探测模块102，用于当收到所述识别模块101发送的指令时，探测出所述目标物体与所述人机交互装置之间的位置关系信息并进行发送；

交互信息处理模块103，用于对所述位置关系信息进行处理并根据处理结果发送控制指令；

执行模块104，用于根据所述交互信息处理模块103发送的控制指令执行操作。

本发明所提供的人机交互方法及其装置，可实现人机的非接触式交互，不但提升了用户体验，而且避免了在接触式人机交互方式的终端使用中由于长时间触摸键盘、鼠标或屏幕，腕部等会出现的僵硬疼痛、麻木、痉挛等。

附图说明

图1为本发明实施例一中应用所述人机交互的方法选中图层的流程图；

图2为本发明实施例一中应用所述人机交互的方法选中图标的流程图；

图3为本发明实施例一中应用所述人机交互的方法控制场景的流程图；

图4为本发明实施例一中应用所述人机交互的方法设置并执行快捷方式的流程图； 

图5为本发明实施例一中应用所述人机交互的方法提醒眼睛距离的流程图；

图6为本发明实施例三中所述人机交互的装置的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本实施例一提供一种人机交互的方法，依次包括：

步骤11）用于识别目标物体的步骤；

本领域技术人员可以理解，所述目标物体是指与人机交互装置建立交互关系的物体；例如，空间内存在第一物体、第二物体和第三物体，而只有第二物体与所述交互装置建立交互关系，则所述第二物体为目标物体。 

步骤12）用于探测所述目标物体，从而获得所述目标物体与人机交互装置之间的位置关系信息的步骤；

本领域技术人员可以理解，根据所述位置关系信息可判断出相对于所述人机交互装置，所述目标物体是静止状态或运动状态，以及运动的方向、速度和加速度。所述场景是指通过人机交互装置的位置关系信息、目标物体的位置关系信息、目标物体是静止状态或运动状态，以及运动的方向、速度和加速度的信息，利用二维或三维图形生成技术建立的数字化场景。对于二维的数字化场景，通过两个以上不同位置的距离探测元件同时探测目标物体与装置的距离，可以计算出目标物体相对于装置的位置坐标。对于三维的数字化场景，通过三个以上不同位置的距离探测元件同时探测目标物体与装置的距离，可以计算出目标物体相对于装置的位置坐标。这样就实现了识别并探测物体离手机的位置的功能和形成所述目标物体的模型和构建场景的功能。

步骤13）用于人机交互装置执行操作的步骤。

本领域技术人员可以理解，通过首先识别目标物体，再探测目标物体相对于人机交互装置的位置关系信息，根据探测得到的位置关系信息建立目标物体的模型和构建场景。不间断地重复上述步骤，可得到相对于所述人机交互装置，所述目标物体是静止状态或运动状态，以及运动的方向、速度和加速度的信息。根据物体在所述立体场景中的目标物体是静止状态或运动状态，以及运动的方向、速度和加速度执行相应的操作，从而实现了非接触的人机交互的功能。

进一步，所述步骤12）还可以包括：

步骤121）用于探测目标物体轮廓的位置关系信息的步骤。

本领域技术人员可以理解，在数字化场景中用几何图形来替代物体。通过目标物体轮廓的位置关系信息，利用二维或三维图形生成技术，可以构建几何图形，用以在场景中替代目标物体。所述几何图形即目标物体的模型。这样就实现了构建在场景中目标物体模型的功能。

进一步，所述步骤13）人机交互装置执行操作的步骤，包括：

步骤131）用于选中图层的步骤。

进一步，所述步骤131）用于选中图层的步骤，包括：

步骤1311）设置第一时间长度阈值的步骤；

步骤1312）根据所述位置关系信息，判断所述物体当前位置是否与非选中图层的非图标区域相对应，如果相对应，则执行步骤1313）；如果不相对应，则不执行用于选中图层的相关操作；

步骤1313）根据所述位置关系信息，记录所述物体停留在与所述与非选中图层的非图标区域相对应的位置的时间长度；

步骤1314）比较所述时间值与设定的第一时间长度阈值的大小关系，当所述时间值大于所述第一时间长度阈值时，执行选中该图层的操作。

本领域技术人员可以理解，不同用户的操作习惯不尽相同，所以对应的最佳第一时间长度阈值也通常需要根据不同用户的操作习惯设置不同的数值。通过设置第一时间长度阈值，实现了人机交互设备对不同用户的操作习惯的适应。人机交互装置的操作画面通常分为图标区域与非图标区域，用户可以通过选中图标来执行图标所对应的功能。人机交互装置的操作画面通常也设有一个以上图层，用户可以通过选中其中的图层来实现不同图层之间的切换。通过构建的场景和装置的操作画面的坐标映射，可以得到目标物体在装置的操作画面中的位置。如果在装置的操作画面中的目标物体所对应的位置为非选中图层的非图标区域，则开始记录物体停留在该区域的时间长度。如果物体停留的时间长度大于设定的第一时间长度阈值，执行选中该图层的操作。这样就实现了选中图层的步骤。

进一步，所述步骤13）人机交互装置执行操作的步骤，在步骤131）之后，还可以包括：

步骤132）用于移动图层的步骤。

本领域技术人员可以理解，通过构建的场景与装置的操作画面的坐标映射，可以把目标物体的移动轨迹转化成在装置的操作画面上的移动轨迹。在图层被选中的情况下，被选中图层也会按照装置的操作画面上的移动轨迹移动。这样就实现了移动图层的功能。

进一步，所述步骤13）人机交互装置执行操作的步骤，还可以包括：143）用于选中图标的步骤。

进一步，所述步骤133）用于选中图标的步骤，包括：

步骤1331）用于设置第二时间长度阈值的步骤；

步骤1332）根据所述位置关系信息，判断所述物体当前位置是否与图标区域相对应，如果相对应，则执行步骤1333）；如果不相对应，则不执行用于选中图标的相关操作；

步骤1333）根据所述位置关系信息，记录所述物体停留在与所述与图标区域相对应的位置的时间长度；

步骤1334）比较所述时间值与设定的第二时间长度阈值的大小关系，当所述时间值大于所述第二时间长度阈值时，执行选中该图标的操作。

本领域技术人员可以理解，不同用户的操作习惯不尽相同，所以对应的最佳第二时间长度阈值也通常需要根据不同用户的操作习惯设置不同的数值。通过设置第二时间长度阈值，实现了人机交互设备对不同用户的操作习惯的适应。人机交互装置的操作画面通常分为图标区域与非图标区域，用户可以通过选中图标来执行图标所对应的功能。通过构建的场景和装置的操作画面进行坐标映射，可以得到目标物体在装置的操作画面中的位置。如果在装置的操作画面中的目标物体所对应的位置为图标区域，则开始记录物体停留在该区域的时间长度。如果物体停留的时间长度大于设定的第二时间长度阈值，执行选中该图标的操作。这样就实现了选中图标的步骤。

进一步，所述步骤13）人机交互装置执行操作的步骤，在步骤133）之后，还可以包括：

步骤134）用于移动图标的步骤。

本领域技术人员可以理解，通过构建的场景与装置的操作画面的坐标映射，可以把目标物体的移动轨迹转化成在装置的操作画面上的移动轨迹。在图标被选中的情况下，被选中图标也会按照装置的操作画面上的移动轨迹移动。这样就实现了移动图标的功能。

本领域技术人员可以理解，用户在通过操作实现选中、移动图层，选中、移动图标的功能时不需要接触人机交互装置，这种非接触式交互，不但提升了用户体验，而且避免了在接触式人机交互方式的终端使用中由于长时间触摸键盘、鼠标或屏幕，腕部等会出现的僵硬疼痛、麻木、痉挛等。

进一步，所述步骤13）人机交互装置执行操作的步骤，还可以包括：

步骤135）用于在场景中进行控制的步骤。

进一步，所述步骤135）依次包括：

步骤1351）用于构建场景的步骤；

步骤1352）用于构建目标物体模型的步骤；

步骤1353）用于建立目标物体模型和场景的空间位置关系的步骤。

进一步，所述场景是立体场景。

本领域技术人员可以理解，随着3D技术的成熟，许多场景的数字化开始得到越来越广的应用。这样的立体场景有3D游戏场景，3D视频会议室，3D设计室。通过构建场景的步骤，构建目标物体模型，并在此基础上建立目标物体模型和场景的空间位置关系，可以把目标物体在构建的场景中静止或移动轨迹转化成在立体场景中的静止或移动轨迹，从而实现对立体场景的控制。

进一步，所述步骤13）人机交互装置执行操作的步骤，还可以包括：

步骤136）用于执行快捷方式的步骤。

进一步，所述步骤136）用于执行快捷方式的步骤，包括：

步骤1361）用于识别目标物体在构建的场景中静止或移动轨迹的步骤。

进一步，所述步骤136）用于执行快捷方式的步骤，包括：

步骤1362）用于识别目标物体在构建的场景中模型及其变化的步骤。

本领域技术人员可以理解，通过监控目标物体在所述立体场景中是静止状态或运动状态，以及运动的方向、速度和加速度的信息和目标物体的模型变化的信息，当该信息与快捷方式设置相匹配时，执行快捷方式所对应的命令，这样就实现了执行快捷方式的功能。例如，把手的画叉的运动与装置关机的装置控制命令相绑定，当用户用手再次做出画叉的动作时，装置会自动识别该命令并执行关机。又例如，把手由手掌捏拳头的动作与装置关机的装置控制命令相绑定，当识别到手在场景中的模型由掌形变化为拳头的时候，装置会自动识别该命令并执行关机。

进一步，所述的人机交互的方法，还包括：

步骤15）设置快捷方式的步骤。

这样就实现了快捷方式的设置。通过录制目标物体在所述立体场景中是静止状态或运动状态，以及运动的方向、速度和加速度的信息或目标物体的模型变化的信息，并把该信息与某一装置控制命令相绑定，当目标物体再次以相同或相近的静止或运动的状态或目标物体的模型变化被装置识别时，装置就自动执行所对应的装置控制命令，这样就实现了人机交互快捷方式的设置。例如，通过设置，把手的画叉的运动与装置关机的装置控制命令相绑定，当用户用手再次做出画叉的动作时，装置会自动识别该命令并执行关机。又例如，通过设置，把手由手掌捏拳头的动作与装置关机的装置控制命令相绑定，当识别到手在场景中的模型由掌形变化为拳头的时候，装置会自动识别该命令并执行关机。

实施例二

本实施例二提供一种人机交互的方法，依次包括：

步骤21）用于识别出眼睛的步骤；

步骤22）用于探测出眼睛离所述装置之间的当前距离L的步骤；

步骤23）用于判断所述距离L是否小于设定的阈值L0，当所述距离L小于所述阈值LO时，执行步骤24）；

步骤24）用于提示用户的步骤。

本领域技术人员可以理解，通过首先识别人体眼睛并探测眼睛相对于人机交互装置的位置关系信息。对比当前的距离L是否小于设定的阈值L0，如果当前的距离L小于设定的阈值L0，则提醒用户保持眼睛与装置的距离，这样就实现了一种非接触的提醒用户保持与装置间距离的功能，避免了用户用过度用眼而导致眼疲劳甚至视力下降。

进一步，所述的人机交互的方法，还包括：

步骤25）用于设置阈值L0数值的步骤。

本领域技术人员可以理解，由于不同人身高状况不同、视力状况，使用装置时的环境也各不相同，眼睛与装置间的提醒距离在不同的情况下的最佳数值各不相同。通过设置L0阈值，实现了人机交互设备对不同用户的操作习惯的适应。

实施例三

本实施例三提供实施实施例一和实施例二所述的人机交互的方法的一种人机交互装置，包括：

识别模块101，用于识别目标物体并在识别到目标物体时发送指令；

探测模块102，用于当收到所述识别模块101发送的指令时，探测出所述目标物体与所述人机交互装置之间的位置关系信息并进行发送；

交互信息处理模块103，用于对所述交互信息进行处理并根据处理结果发送控制指令；

执行模块104，用于根据所述交互信息处理模块103发送的控制指令执行操作。

本领域技术人员可以理解，这样可以实现用户利用物体在所述交互装置前运动，以控制所述人机交互装置执行操作的功能。如实施例一及实施例二中所述的选中图层、选中图标、移动图层、移动图标的操作。用户无需在依靠键盘或触摸屏输入控制指令，与被控的人机交互装置不产生接触，减少被控的人机交互装置的机械磨损。

进一步，所述执行模块104，包括：

建模单元1041，用于根据所述位置关系信息构建场景；

显示单元1042，用于显示所述场景。

这样，可模拟显示目标物体与所述人机交互装置所处的场景和位置关系，使用户更加直观的观察到目标物体对所述人机交互装置的控制，易用性更强。

进一步，所述探测模块102包括多个距离探测元件，距离探测元件的数量为至少三个。这样，可从不同方向探测所述目标物体与所述人机交互装置之间的三维位置关系。所述建模单元1041可构建三维场景并通过显示单元1042显示。

进一步，所述执行模块104包括提醒装置，用于根据交互信息处理模块103发送的控制指令执行提醒操作。

本领域技术人员可以理解，所述交互信息处理模块103可实现当所述位置关系信息小于设定的阈值时发送用于控制提醒操作的指令。如当用户的眼睛与所述人机交互装置之间的距离小于设定的阈值时，执行提醒操作，从而提示用户注意。所述阈值可根据用户的需要来设置。

本装置还可实现：用事先录制的快捷方式实现装置控制的功能。通过交互信息处理模块103录制目标物体在所述立体场景中是静止状态或运动状态，以及运动的方向、速度和加速度的信息或目标物体的模型变化的信息，把该信息与某一装置控制命令相绑定。当目标物体再次以相同或相近的静止或运动的状态或目标物体的模型变化被距离探测元件识别时，装置就自动执行所对应的装置控制命令。这样就实现了人机交互快捷方式的设置和用事先录制的快捷方式实现装置控制的功能。例如，通过设置，把手的画叉的运动与装置关机的装置控制命令相绑定，当用户用手再次做出画叉的动作时，装置会自动识别该命令并执行关机。又例如，通过设置，把手由手掌捏拳头的动作与装置关机的装置控制命令相绑定，当识别到手在场景中的模型由掌形变化为拳头的时候，装置会自动识别该命令并执行关机。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (20)

1.一种人机交互的方法，其特征在于，依次包括：

步骤11）用于识别目标物体的步骤；

步骤12）用于探测所述目标物体，从而获得所述目标物体与人机交互装置之间的实际位置关系信息的步骤；

步骤13）用于执行操作的步骤。

2.如权利要求1所述人机交互的方法，其特征在于，所述实际位置关系信息包括：目标物体轮廓的信息。

3.如权利要求1所述人机交互的方法，其特征在于，所述步骤13）用于执行操作的步骤，包括：

步骤131）用于选中图层的步骤。

4.如权利要求3所述人机交互的方法，其特征在于，所述步骤131）用于选中图层的步骤，包括：

步骤1311）用于设置第一时间长度阈值的步骤；

步骤1312）用于根据所述位置关系信息，判断所述物体当前位置是否与非选中图层的区域相对应，如果相对应，则执行步骤1312）；

步骤1313）用于根据所述位置关系信息，记录所述物体停留在与所述与非选中图层的非图标区域相对应的位置的时间长度；

步骤1314）用于比较所述时间值与设定的第一时间长度阈值的大小关系，当所述时间值大于所述第一时间长度阈值时，执行选中该图层的操作。

5.如权利要求3至4中任一项所述人机交互的方法，其特征在于，在所述步骤131）之后，还包括：

步骤132）用于移动图层的步骤。

6.如权利要求1所述人机交互的方法，其特征在于，所述步骤13）人机执行操作的步骤，包括：

步骤133）用于选中图标的步骤。

7.如权利要求6所述人机交互的方法，其特征在于，所述步骤133）用于选中图标的步骤，包括：

步骤1331）用于设置第二时间长度阈值的步骤；

步骤1332）用于根据所述位置关系信息，判断所述物体当前位置是否与图标区域相对应，如果相对应，则执行步骤1332）；

步骤1333）用于根据所述位置关系信息，记录所述物体停留在与所述与图标区域相对应的位置的时间长度；

步骤1334）用于比较所述时间值与设定的第二时间长度阈值的大小关系，当所述时间值大于所述第二时间长度阈值时，执行选中该图标的操作。

8.如权利要求6至7中任一项所述人机交互的方法，其特征在于，在所述步骤133）之后，还包括：

步骤134）用于移动图标的步骤。

9.如权利要求1所述人机交互的方法，其特征在于，所述步骤13）用于执行操作的步骤，包括：

步骤135）用于在场景中进行控制的步骤。

10.如权利要求9所述的人机交互的方法，其特征在于，所述步骤135）依次包括：

步骤1351）用于构建场景的步骤；

步骤1352）用于构建目标物体模型的步骤；

步骤1353）用于根据所述实际位置关系信息建立目标物体模型与场景之间的虚拟位置关系信息的步骤。

11.如权利要求9至10所述的人机交互的方法，其特征在于：还包括根据所述虚拟位置关系信息显示场景和目标物体模型的步骤。

12.如权利要求10所述的人机交互的方法，其特征在于，所述场景为立体场景。

13.如权利要求1至2中任一项所述人机交互的方法，其特征在于，所述步骤13）用于执行操作的步骤，还包括：

步骤136）用于执行快捷方式的步骤。

14.如权利要求13所述人机交互的方法，其特征在于，所述步骤136）用于执行快捷方式的步骤，包括：

步骤1361）用于识别目标物体的步骤；

步骤1362）用于建立目标物体的移动轨迹与操作的对应关系的步骤；

步骤1363）用于根据位置关系信息确定目标物体的移动轨迹的步骤；

步骤1364）用于根据所述移动轨迹执行对应的操作的步骤。

15.一种人机交互的方法，其特征在于，依次包括：

步骤21）用于识别眼睛的步骤；

步骤22）用于探测眼睛与所述装置之间的当前距离L的步骤；

步骤23）用于判断所述当前距离L是否小于设定的阈值L0，当所述距离L小于所述阈值L0时，执行步骤24）；

步骤24）用于提示用户的步骤。

16.如权利要求15所述人机交互的方法，所述的人机交互的方法，还包括：

步骤25）用于设置所述阈值L0的步骤。

17.一种人机交互装置，其特征在于，包括：

识别模块（101），用于识别目标物体并在识别到目标物体时发送指令；

探测模块（102），用于当收到所述识别模块（101）发送的指令时，探测出所述目标物体与所述人机交互装置之间的位置关系信息并进行发送；

交互信息处理模块（103），用于对所述位置关系信息进行处理并根据处理结果发送控制指令；

执行模块（104），用于根据所述控制指令执行操作。

18.如权利要求17所述人机交互装置，其特征在于，所述执行模块（104）包括：

建模单元（1041），用于根据所述位置关系信息构建场景和目标物体模型；

显示单元（1042），用于根据所述虚拟位置关系信息显示所述场景和所述目标物体模型。

19.如权利要求17所述人机交互装置，其特征在于：所述探测模块（102）包括至少两个距离探测元件。

20.如权利要求17至19中任一项所述的人机交互装置，其特征在于：所述执行模块（104）包括提醒装置，用于执行提醒操作。

Images