WO2018076523A1

WO2018076523A1 - 手势识别的方法、装置及车载系统

Info

Publication number: WO2018076523A1
Application number: PCT/CN2016/112336
Authority: WO
Inventors: 唐先红; 石林荣
Original assignee: 科世达（上海）管理有限公司
Priority date: 2016-10-25
Filing date: 2016-12-27
Publication date: 2018-05-03
Also published as: CN106502570A; CN106502570B

Abstract

一种手势识别的方法，通过判断所采集的图像信息中当前手势操作所在的区域是否位于预设触摸平面区域上，判定所述当前手势为触摸手势还是三维手势。如果为触摸手势，则根据所述触摸手势的触摸位置信息对操作手势进行识别；如果当前手势为三维手势，则调用预先建立的三维手势模型库，识别所述三维手势的操作手势，根据所述操作手势生成对应的操作指令。该方法实现了三维手势和二维手势识别一体化，更方便用户使用，提高用户人机交互的操控舒适性。此外，还针对手势识别的方法提供了相应的实现装置及车载系统，使得所述方法更具有实用性，所述的装置和系统具有相应的优点。

Description

手势识别的方法、装置及车载系统

本申请要求于2016年10月25日提交中国专利局、申请号为201610947837.6、发明名称为“一种手势识别的方法、装置及车载系统”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及人机交互和汽车制造领域，特别是涉及手势识别。

背景技术

随着计算机技术的发展，人机交互技术也得到了迅猛发展。从模式识别，如语音识别、汉字识别等，操作员和计算机在类似于自然语言或受限制的自然语言这一级上进行交互成为可能，到通过图形进行人机交互，越来越多的领域运用到人机交互技术。

人机交互技术领域的应用潜力已经开始展现，比如应用于可穿戴式计算机、隐身技术、浸入式游戏等的动作识别技术，应用于虚拟现实、遥控机器人及远程医疗等的触觉交互技术，应用于呼叫路由、家庭自动化及语音拨号等场合的语音识别技术等。人机交互解决方案供应商不断地推出各种创新技术，如，指纹识别技术，侧边滑动指纹识别技术，压力触控技术等。热点技术的应用开发是机遇也是挑战，基于视觉的手势识别是目前人机交互的热点。

手势识别技术是通过来自人的身体各部位的运动，但一般是指脸部和手的运动，实现控制的一种技术。手势识别主要分二维手势识别和三维手势识别。目前，手势控制是继语音控制之后另一项受到许多汽车厂商追捧的技术，手势控制可以让用户在驾驶的时候简单的挥挥手或做出几个动作就能对车载功能进行控制，与语音控制相比，准确率更高，同时也更方便。

现有的手势识别的实现原理有基于红外传感器实现的、基于摄像头检测的、基于电阻式的、基于电容式的。一般的，基于红外传感器和摄像头的为三维手势识别，基于电阻式和电容式的是二维手势识别。例如，现有的汽车中控面板的触控式液晶显示器的触摸面板通常是电阻式的或电容式的，用户只能使用手指或触摸笔在触摸屏上进行点击等操作，而不能远离触摸屏隔空操作，即实现对二维手势的识别；又例如，当汽车中使用红外传感器时，可以实现简单的三维空间的手势识别，例如检测挥手或接近、远离等，但无法识别二维手势。

可见，现有技术中三维手势和二维手势的控制和识别是分别通过两套体系实现的。对于只识别二维手势的，用户无法离开操作屏幕实施操作，在使用过程中会造成很大的不便，尤其是当触控屏坏掉时，整个手势识别无法使用；对于只能识别三维手势的，由于其识别的动作有限，大大的限制了手势控制的应用，同样会给用户操作带来不便。

发明内容

本发明实施例提供一种手势识别的方法、装置及车载系统，实现了三维手势识别和二维手势识别一体化，更方便用户使用，提高用户人机交互的操控舒适性。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种手势识别的方法，包括：

获取图像采集设备采集的图像信息；

检测所述图像信息中的当前手势；

判断所述当前手势所在的操作区域；

当所述当前手势所在的操作区域位于预设触摸平面区域时，判定所述当前手势为触摸手势，根据所述触摸手势的触摸位置信息对操作手势进行识别；

当所述当前手势所在的操作区域不位于所述预设触摸平面区域时，判定所述当前手势为三维手势，调用预先建立的三维手势模型库，识别所述三维手势的操作手势；

根据识别出的所述操作手势生成对应的操作指令。

优选的，所述图像信息为二维平面信息时，所述判断所述当前手势所在的操作区域的步骤包括：

检测所述预设触摸平面区域上用于指示是否存在触摸信号的按键是否导通，如果是，则判定所述当前手势所在的操作区域位于所述预设触摸平面区域；如果否，则判定不位于所述预设触摸平面区域。

优选的，所述图像信息包括二维平面信息和一维深度图像信息时，所述判断所述当前手势所在的操作区域的步骤包括：

计算所述图像采集设备与所述预设触摸平面区域内各像素点的深度值，确定最小深度值Lmin；

计算所述当前手势的触摸点与所述图像采集设备的距离L；

如果L-Lmin≤15mm，则判定所述当前手势所在的操作区域不位于所述预设触摸平面区域，反之，则判定位于所述预设触摸平面区域。

优选的，所述当前手势为以下任意一种或任意组合：

用手指指心、手指的侧面、指甲进行触摸或点击操作的手势。

优选的，所述调用预先建立的三维手势模型库为：

在时间序列上连续获取多帧包含所述当前手势的图像信息，如果多帧图像中的所述当前手势相同且所述当前手势的位置未发生变化，所述当前手势则为静态手势，调取三维静态手势模型库；反之，则调用三维动态手势模型库。

本发明实施例另一方面提供了一种手势识别的装置，包括：

图像获取模块，用于获取图像采集设备采集的图像信息；

图像检测模块，用于检测所述图像信息中的当前手势；

区域判断模块，用于判断所述当前手势所在的操作区域；

信息识别模块，用于识别所述当前手势：

当所述当前手势所在的操作区域位于预设触摸平面区域时，判定所述手势信息为触摸手势，根据所述触摸手势的触摸位置对操作手势进行识别；

当所述当前手势所在的操作区域不位于所述预设触摸平面区域时，判定所述手势信息为三维手势，调用预先建立的三维手势模型库，识别所述三维手势的操作手势；

指令生成模块，用于根据识别出的所述操作手势生成对应的操作指令。

优选的，所述判断区域模块包括：

第一判断单元，检测所述预设触摸平面区域上用于指示是否存在触摸信号的按键是否导通，如果是，则判定所述当前手势所在的操作区域位于所述预设触摸平面区域；如果否，则判定不位于所述预设触摸平面区域；和/或

第二判断单元，计算所述图像采集设备与所述预设触摸平面区域内各像素点的深度值，确定最小深度值Lmin；

计算所述当前手势的触摸点与所述图像采集设备的距离L；

本发明实施例还提供了一种手势识别的车载系统，包括图像采集设备、触摸面板以及上述任一种手势识别装置。

优选的，所述触摸面板包括触摸板和/或触摸开关，当所述图像采集设备为2D摄像头时，所述触摸板包括：

面板单元、电路板单元、按键单元和支撑件单元；

所述触摸开关包括：

带有信标的面板单元、电路板单元、导光板单元、按键单元、设置灯单元和支撑件单元。

优选的，所述触摸面板包括触摸板和/或触摸开关，当所述图像采集设备为3D摄像头时，所述触摸板包括：

面板单元和支撑件单元；

所述触摸开关包括：

带有信标的面板单元、导光板单元、电路板单元、设置灯单元和支撑件单元。

本发明实施例提供了一种手势识别的方法，通过判断所捕获的图像信息中的当前手势操作所在的区域是否位于预设触摸平面区域，判定所述当前手势为触摸手势还是三维手势。如果为触摸手势，则根据所述触摸手势的触摸位置信息对操作手势进行识别；如果当前手势为三维手势，则调用预先建立的三维手势模型库，识别所述三维手势的操作手势，实现了三维手势和二维手势识别一体化。

如果手势识别具有单一性，即只针对二维手势识别或只针对三维手势识别，对于只针对二维手势识别的，只能在带有感应功能的触摸屏上进行操作，不能远离屏幕操作；而对于只针对三维手势识别的，由于三维手势的识别动作有限，大大的限制了手势控制的应用。而本申请可以实现三维手势和二维手势识别一体化，这样既可以实现空中三维手势的识别，同时也可识别触摸平面区域的二维手势，更方便用户使用，提高用户人机交互的操控舒适性。

此外，本发明实施例还针对手势识别的方法提供了相应的实现装置及车载系统，进一步使得所述方法更具有实用性，所述装置和系统具有相应的优点。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种手势识别的车载系统结构框图；

图2为本发明实施例提供的一种手势识别方法的流程示意图；

图3为本发明实施例提供的三维动态模型库的部分三维手势；

图4为本发明实施例提供的一种图像处理与手势识别示意图；

图5为本发明实施例提供的另一种手势识别方法的流程示意图；

图6为本发明实施例提供的一种手势操作方式及位置示意图；

图7为本发明实施例提供的一种当前手势的定位示意图；

图8为本发明实施例提供的一种当前手势位置信息确定的示意图；

图9为本发明实施例提供的另一种手势识别方法的流程示意图；

图10为本发明实施例提供的一种手势识别装置的结构图；

图11为本发明实施例提供的一种手势识别的车载系统结构框图；

图12为本发明实施例提供的一种基于2D摄像头的触摸板的结构示意图；

图13为本发明实施例提供的一种基于2D摄像头的触控开关的结构示意图；

图14为本发明实施例提供的一种基于3D摄像头的触摸板的结构示意图；

图15为本发明实施例提供的一种基于3D摄像头的触控开关的结构示意图；

图16为本发明实施例提供的一种手势识别控制的车载系统结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语 “包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

现有技术中的手势识别具有单一性，即只针对二维手势识别或只针对三维手势识别。对于只针对二维手势识别的只能在带有感应功能的触摸屏上进行操作，不能远离屏幕操作；而对于只针对三维手势识别的还需要带有感应功能的触摸屏辅助进行识别二维手势。鉴于此，本申请实现了三维手势和二维手势识别一体化，这样既可以实现空中三维手势的识别，同时可识别触摸区域的二维手势，更方便用户使用，提高用户人机交互的操控舒适性，一定程度上节约了用户使用成本。

基于上述本发明实施例的技术方案，下面首先结合图1对本发明实施例的技术方案涉及的一些可能的应用场景进行举例介绍，图1为本发明实施例提供的一种手势识别的车载系统结构框图。

如图1所示，101为摄像头，安装于汽车顶灯模块内，102为摄像头的感应区域，103为手势，104为中控面板，所述中控面板包括矩形的触摸板ABCD和触摸开关EF。

现有技术中，101一般为红外摄像头，作为三维识别手势传感器，104为带有感应单元的触控面板。这样空中手势的检测和识别由红外摄像头检测并识别，中控面板的二维触摸手势由触控单元识别。

本申请提供的方案是摄像头可为2D摄像头，也可为3D摄像头，作为识别手势传感器，中控面板不需要携带感应触控单元。所有手势(二维、三维)皆由摄像头识别。

这样，不仅极大的提高了用户的操作舒适度，而且控制面板的结构得到了简化，可以节约一定的制造成本。

需要注意的是，上述应用场景仅是为了便于理解本申请的思想和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。

在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。

实施例一：

首先参见图2，图2为本发明实施例提供的一种手势识别方法的流程示意图，本发明实施例可包括以下内容：

S201：获取图像采集设备采集的图像信息。

S202：检测所述图像信息中的当前手势。

S203：判断所述当前手势所在的操作区域。

S204：当所述当前手势所在的操作区域位于预设触摸平面区域时，判定所述当前手势为触摸手势，根据所述触摸手势的触摸位置信息对操作手势进行识别。

S205：当所述当前手势所在的操作区域不位于所述预设触摸平面区域时，判定所述当前手势为三维手势，调用预先建立的三维手势模型库，识别所述三维手势的操作手势。

S206：根据识别出的所述操作手势生成对应的操作指令。

其中，S201具体为：

所述图像采集设备为2D摄像头或3D摄像头，相应的所述图像信息不同。所述2D摄像头捕获的图像信息为二维灰度平面图像信息或二维彩色平面图像信息；所述3D摄像头捕获的图像信息包括二维灰度平面图像信息和一维深度图像信息。

其中，S202具体为：

检测图像采集设备采集的图像信息时，需要判断图像信息中是否含有手的信息，当没有手时，将获取的图像信息丢掉，判断下一副图像；当所检测的图像信息中含有不完整的手的信息时，可进行提醒，可语音提醒用户，也可自动调整图像采集设备的角度，当前也可采用其他办法实现提醒功能，使其感应区域包含当前手的信息；当检测的图像中含有完整的手势信息时，进入S203。

需要说明的是，所述当前手势可以是静态手势，也可为动态手势。例如，在触摸区域，所述静态手势可为按键的动作，所述动态手势可为划的动作。可通过在时间序列上连续获取多帧包含当前手势的图像信息，如果多帧图像中的所述当前手势相同且所述当前手势的位置未发生变化，所述当前手势则为静态手势；反之，则为动态手势。

其中，S203具体为：

由于图像采集设备是在一定的区域内捕获图片信息，可为倒棱锥区域，所述区域是指预设触摸平面区域和空中感应区域，所述空中感应区域为倒棱锥区域的空中部分。所述预设触摸平面区域为二维手势操作的平面区域，一般可为触摸板，触摸手势(二维手势)可为触摸在触摸板的触摸手势，或触摸在触摸开关的触摸手势。

其中，所述触摸手势可用手指指心、手指的侧面、手指的指甲或其任意的组合进行触摸、点击操作，当然也可以用身体的任一部分进行操作。传统的电容式触摸屏如果想用手指的侧面、手指的指甲进行操作时，往往对其精度要求高，尤其是指甲的操作；而对于电阻式触摸屏，虽可识别指甲的操作，但是指甲对其触摸屏的伤害太大，导致触摸屏的触摸位置识别不准和寿命缩短，得不偿失。而本申请可采用不带感应功能的触摸屏，所述触摸屏可采用塑料面板、金属面板、也可采用液晶显示屏，当然，也可以采用其他任何一种材质的面板，这样，用指甲操作就不会对其精度有要求，不合适的材质选取会不可避免地损害屏的寿命。

具体判断当前手势所在的操作区域根据图像采集设备的不同，所采用的方法不同，具体介绍参见实施例二和实施例三，此处不再赘述。

其中，S204具体为：

所述预设触摸平面区域可为触摸板、也可为触摸开关、还可为二者的组合，同时所述触摸板的块数和触摸开关的个数并不受限，可为一块或任意几块拼接，开关可为一个或多个。其中所述触摸板和触摸开关的材质可为塑料面板、金属面板、也可采用液晶显示屏，当然也可采用其他材质，如果必要，也可为上述几种的组合。

所述触摸位置信息可为坐标信息，也可为具体的触摸点位置信息，具体依据采用的摄像头和具体的触摸区域决定，例如操作手势在触摸区域的触摸开关处，可根据建立的坐标将触摸点的坐标信息反馈，也可根据触摸点遮挡的位置，直接发送所述遮挡位置的信息，例如检测到触摸开关的a按键被遮挡，则将a按键的位置发送，表明用户此刻的操作是按a键。因为不同的位置对应的操作指令不同，这可以是厂家预设的，也可是用户根据需求预设的。例如a键代表的操作指令为打开天窗，当用户按a键时，则根据检测到的a键位置信息或坐标信息，将天窗打开。故可根据所述位置信息对操作手势进行识别。

其中，S205具体为：

空中的三维手势可为静态手势，也可为动态手势，例如直接作出’OK’的手势即为静态手势，而有由手掌变化为握拳的手势即为动态手势，相应的，静态手势对应三维静态手势模型库，动态手势调用三维动态手势模型库。这样就需要在调用时先识别所做的手势为动态还是静态，可通过在时间序列上连续获取多帧包含当前手势的图像信息，如果多帧图像中的所述当前手势相同且所述当前手势的位置未发生变化，所述当前手势则为静态手势，调取三维静态手势模型库；反之，则调用三维动态手势模型库。

所述模型库为预设的一系列手势，预设的手势动作对应的操作指令可为默认通用的，也可根据用户的要求定制，用户在使用手势进行操作时可按照模型库中的手势进行操作，从而实现人机交互。例如图3列出了三维动态模型库中一些常用的手势动作，301是由食指伸出状态到食指回收成握拳状态的手势；302是是由食指在伸出状态下逆时针旋转的手势；303是由食指在伸出状态下顺时针旋转的手势；304是手由手掌变化为握拳的手势；305是手掌从左至右的挥动手势；306是手掌从右至左的挥动手势。当然，上述图3中所列的仅为模型库中部分手势，实际应用中还有许多手势，而且不同的手势对应着不同的操作指令，例如驾驶者单指前后移动表示接听电话、选择、确定，手掌张开向右挥动表示挂电话、取消操作，V形手势表示暂停、播放和自定义操作，一根手指顺时针转动表示增大音量、缩小导航地图，一根手指逆时针转动表示减小、放大导航地图，五指收拢成圈向右移动表示下一曲、回到主菜单，而五指收拢成圈向左移动则表示上一曲、回到主菜单，如果用户在窗户附近的区域内做出扫手的动作，机动车会确定动作幅度，进而根据手势幅度决定车窗打开的程度。在方向盘附近打响指就可启动雨刷器或是指示灯，在汽车仪表盘前扭动手腕就可以打开空调或收音机；手指向天窗就会自动开启天窗，食指抵住嘴唇表示调低手机外放音量，手张成喇叭状表示使用手机拨打电话，类似思考着的攥下巴动作则表示“我想检索信息”，而点赞动作代表“同意”操作。当然，并不限于上述描述的手势和手势对应的操作，实际实现中可以根据用户的需要添加或修改。

需要说明的是，所述模型库中的信息可为所述三维手势信息，也可为三维手势相应的执行命令信息，或二者都有。例如模型库中可仅存手掌张开向右挥动这个手势，也可仅存手掌张开向右挥动这个手势对应的要执行的命令为挂电话、取消操作，也可都保存。

其中，S206具体为：

所述操作指令可以是位置信息，即直接将位置信息通过接口单元发送给电子功能模块，电子功能模块进一步根据预设的指令和位置对应关系对要进行的动作进行执行；也可是根据位置信息识别的要做的动作指令直接通过接口单元发送给电子功能模块，电子功能模块直接执行动作指令。对应的，此处涉及到位置信息和操作的对应关系的预设和识别可直接预设在电子功能模块或预设在信息识别模块中。例如，操作手势在预设触摸平面区域的触摸开关处时，所述操作指令可为a按键的坐标信息或具体位置信息，也可为a键代表的操作指令如打开天窗。

具体的，关于图像处理和手势识别的逻辑，请参见图3，图3为本申请提供的图像处理和手势识别示意图。其中，401为系统捕获实时图像信息，对于2D摄像头，可为二维灰度平面图像信号或二维彩色平面图像信号；对应3D摄像头，可为一种二维灰度平面图像信号和一维深度图像信号。

402为图像的预处理，通常是针对平面图像信号进行处理，即可通过在图像中提取手的轮廓、凸性、角或骨架，当然也可为其他的手势特征。

403为图像处理，即对图像预处理实时获取的手势的特征做进一步处理，例如压缩、优化，具体的依据不同类型的手势和不同的手势特征做不同的处理，例如对于静态手势提取手的轮廓时，对其手势特征做优化动作，而对于动态手势需要提取连续时间帧的多个手的轮廓，就需要先做压缩。

404为获取样本模型，即对当前手势在图像处理后根据不同类型的手势获取样本模型。例如静态手势模型可根据采集的样本，采取与步骤402和403相同的图像处理和特征提取方法，可经过样品训练运算得到静态手势的样本模型；类似地，动态手势模型可利用静态手势模型的方法，从时间序列上连续提取手势轮廓样本，并经过样品训练运算得到动态手势的样本模型。

405为手势的识别与跟踪，对于静态手势只需识别，而对于动态手势，由于需要采集连续时间内的多帧图像，故还需跟踪。将403实时获取的手势特征信号进行处理后与手势样本模型404一起，通过特定的算法进行实时识别，所述识别算法可以是以下的任意一种或任意几种的组合：提升(Boosting)算法、随机森林算法(Random Forest)、支持向量机算法(Support Vector Machine，简称SVM)、神经网络算法(Neural Network)、深度学习算法(Deep Learning),隐马尔可夫模型算法(Hidden Markov Model，简称HMM)，当然必要时，也可采用其他算法。

406为发送手势指令，即根据生成的操作指令将其发送给执行单元，例如可通过接口单元将当前识别出的手势信号实时发送给特定的电子功能模块，执行对应的手势指令，从而实现人机交互。

本发明实施例提供了一种手势识别的方法，通过判断所捕获的图像信息中的当前手势操作所在的区域是否位于预设触摸平面区域，判定所述当前手势为触摸手势还是三维手势。如果为触摸手势，则根据所述触摸手势的触摸位置信息对操作手势进行识别；如果当前手势为三维手势，则调用预先建立的三维手势模型库，识别所述三维手势的操作手势，实现了三维手势和二维手势识别一体化，既可以实现空中三维手势的识别，也可识别触摸区域的二维手势，更方便用户使用，提高用户人机交互的操控随意性和舒适性。

在实际操作过程中，如果是2D摄像头作为识别传感器，为了更方便使用，则对实施例一做进一步的改进。

实施例二：

参见图5，图5为本发明实施例提供的另一种手势识别方法的流程示意图，具体的可包括以下内容：

S501：获取2D摄像头采集的图像信息。

S502：检测所述图像信息中的当前手势。

S503：判断所述当前手势的操作区域是否为预设触摸平面区域，如果是，则进入S504，反之则进入S505。

S504：判定所述当前手势为触摸手势，根据所述触摸手势的触摸位置信息对操作手势进行识别。

S505：判定所述当前手势为三维手势，调用预先建立的三维手势模型库，识别所述三维手势的操作手势。

S506：根据识别出的所述操作手势生成对应的操作指令。

当检测到2D摄像头采集的图像信息中有完整的手势时，当预设的触摸区域分为触摸板和触摸开关时，当前手势为图6所示的三种类型，601为2D摄像头，记S为摄像头感应面的中心；602为三维手势操作，Q为手指在空中的操作位置；603为手背朝向触摸区域的触摸板ABCD且用手指的指甲进行点击、滑动等触摸操作，P为手指在触摸板ABCD上的触摸位置；604为手心朝向触摸区域的触摸开关EF的手指点击、滑动等触摸操作，M为手指在触摸开关EF的触摸位置。

具体的判断所述当前手势位于哪个操作区域的方法为：

判断所述图像信息中所述当前手势操作所在的区域是否和所述预设触摸平面区域重叠，如果否，则判定所述当前手势处于的区域为三维手势所在的空中区域；反之，则进一步检测所述预设触摸平面区域电路板的按键是否导通，如果是，则判定所述当前手势处于的区域为预设触摸平面区域，否则，则判定所述当前手势处于的区域为三维手势所在的空中区域。其中，所述按键可以为位于所述预设触摸平面区域的电路板上的一种开关，当预设触摸平面区域有触摸动作时，该开关导通，按键可为微行程非自锁式的弹性开关，当然也可为其他的器件，只要可实现当预设触摸平面区域有触摸动作时发送相应的信号的功能即可。当然，所述预设触摸平面区域可为触摸板ABCD，也可为触摸开关EF。

当确定所述当前手势是否位于预设触摸平面区域后，即可判定当前手势为触摸手势还是三维手势，当判定当前手势为触摸手势后，可通过对其触摸位置信息进行确定来实现对操作手势的识别，具体的位置信息确定可先对当前手势进行定位，即对触摸点或位置点的确定，具体如下：

举例来说，请参阅图7，图7为当前手势的定位示意图，当前手势可为在预设触摸平面区域的上方进行三维手势操作也可为触摸操作。701为使用手指食指的单指操作手势，例如图3模型库中的301手势、302手势或303手势。702为除了食指操作手势之外的其他手势，例如图3模型库中的304手势、305手势或306手势。

对于使用单根手指操作时，即701所代表的手势，其触摸点的定位具体如下：图中的T为手势701的手指在整幅图像中的顶点(最高点)，L和T分别为像素点T下移△时手指的左右两侧的边缘像素点，图中的G为同一行像素点L和R的中心位置，即当前手势的位置点或触摸点。其中，△的取值范围本装置设定在5mm-15mm，这是因为不同的人或不同国家和地区人的手指大小宽度不一样。而对于702所代表的手势，H是该手势在整幅图像中的顶点(最高像素点)，即当前手势的位置点或触摸点。

当前手势的位置信息的确定，可通过在所述图像信息和所述预设触摸平面区域建立二维笛卡尔坐标系，根据所述图像信息的所述当前手势的触摸点的二维坐标值计算相应所述预设触摸平面区域的实际坐标值，所述实际坐标值为所述当前手势的触摸位置信息。当所述触摸手势为触摸在所述预设触摸平面区域的触摸开关的所述触摸手势时，计算所述触摸位置信息还可通过检测所述触摸开关被遮挡的位置，所述被遮挡的位置为所述触摸手势的所述触摸位置信息。具体如下所述：

请参阅图8，图8为当前手势位置信息确定的示意图。801是摄像头捕获的预设触摸平面区域的图像；802是实际的预设触摸平面区域，其中预设触摸平面区域可分为触摸板ABCD和触摸开关EF。801中的矩形区域A′B′C′D′对应于实际预设触摸平面区域的触摸板ABCD；E′F′对应于实际预设触摸平面区域的触摸开关EF；图像中的触摸板的长和宽的尺寸分别是W1＇和H＇，而实际触摸板的长和宽尺寸是W1和H；图像中的触摸开关长度设为W2＇，而触摸开关的实际长度设为W2。为了便于触摸位置信息的确定，在图像801中，分别设立了两个坐标系O＇X＇Y＇和O1＇X1＇Y1＇，其中O＇X＇Y＇是以触摸板A＇B＇C＇D＇的左上角顶点A＇作为坐标原点O＇，以坐标原点O＇像素所在的行作为X＇轴，以坐标原点O＇像素所在的列作为Y＇轴而建立的；其中O1＇X1＇Y1＇是以图像中触摸开关E＇F＇区域的左侧边缘中心点E＇作为坐标原点O1＇，以坐标原点O1＇像素所在的行作为X1＇轴，以坐标原点O1＇像素所在的列作为Y1＇轴而建立的；对应的在实际的预设触摸平面区域上，也设定了两个坐标系OXY和O1X1Y1，其中OXY坐标系是以触摸板ABCD的左上角顶点A作为坐标原点O，以上侧水平边线作为X轴，以左侧边线作为Y轴而建立的；其中O1X1Y1坐标系是以触摸开关EF的左侧边线的中心点作为原点O1，以水平边线作为X1轴，以左侧边线作为Y1轴而建立的。图像801中的(x＇，y＇)是在O＇X＇Y＇坐标系中当前手势触摸点的图像坐标，对应的在实际的预设触摸平面区域802中的坐标用(x，y)表示；图像801中的(x1＇，0)是在O1＇X1＇Y1＇坐标系中当前手势触摸点的图像坐标，对应的在实际的预设触摸平面区域802中的坐标用(x1，0)表示。具体计算方法如下：

对于触摸板，首先在图像801中计算出当前手势触摸点在O＇X＇Y＇坐标系中的坐标(x＇，y＇)和触摸板A＇B＇C＇D＇的长W1＇和宽H＇；由于摄像头采集的触摸板的图像与实际预设触摸平面区域的触摸板，只有很小的图形扭曲，所以近似地按下式计算该触摸点在实际触摸板ABCD内相对于OXY 坐标系的坐标：

则

对于触摸开关，一种方法可按上述的坐标表示，即首先在图像801中计算出当前手势触摸点在O1＇X1＇Y1＇坐标系中的坐标(x1＇，0)和触摸开关长度W2＇；则该触摸点在实际触摸开关相对于O1X1Y1坐标系的坐标：

另一种方法为可通过检测图像801中触摸面板开关E＇F＇区域内具体哪个开关的信标被手指遮挡，则直接将所述信标的信息作为当前手势的位置信息反馈，例如图中的信标为‘e＇’的开关被遮挡，则判定当前手势的触摸点的实际开关即是信标为‘e’的开关。

当判定当前手势为三维手势时，可通过先判断所述当前手势为静态手势还是动态手势，进一步确定需要调用三维静态手势模型库还是三维动态手势模型库。根据模型库来识别所述三维手势的操作手势。具体的参见S205，此处就不再赘述。

由上可知，本发明实施例提供了一种手势识别的方法，通过判断2D摄像头捕获的图像信息中的当前手势操作所在的区域是否位于预设触摸平面区域，判定所述当前手势为触摸手势还是三维手势。如果为触摸手势，则根据所述触摸手势的触摸位置信息对操作手势进行识别；如果当前手势为三维手势，则调用预先建立的三维手势模型库，识别所述三维手势的操作手势，实现了三维手势和二维手势识别一体化，方便用户使用，提高用户人机交互的操控随意性和舒适性。

在实际操作过程中，如果是3D摄像头作为识别传感器，为了更方便使用，则对实施例二做进一步的改进。

实施例三：

参见图9，图9为本发明实施例提供的另一种手势识别方法的流程示意图，具体的可包括以下内容：

S901：获取3D摄像头采集的图像信息。

S902：检测所述图像信息中的当前手势。

S903：判断所述当前手势的操作区域是否为预设触摸平面区域，如果是，则进入S904，反之则进入S905。

S904：当所述当前手势所在的操作区域位于预设触摸平面区域时，判定所述当前手势为触摸手势，根据所述触摸手势的触摸位置信息对操作手势进行识别。

S905：当所述当前手势所在的操作区域不位于所述预设触摸平面区域时，判定所述当前手势为三维手势，调用预先建立的三维手势模型库，识别所述三维手势的操作手势。

S906：根据识别出的所述操作手势生成对应的操作指令。

本实施例与实施例二相比，2D摄像头换为3D摄像头，即采集的图像信息多了一维的深度信息，相应的S903判断当前手势位于的操作区域的判断方法不同，其他步骤与实施例二一样，故此处只针对S903具体阐述，其他就不再赘述。

判断所述图像信息中所述当前手势操作所在的区域是否和所述预设触摸平面区域重叠，如果否，则判定所述手势处于的区域为三维手势所在的空中区域；反之，则继续下述方法做进一步判断。

计算所述图像采集设备与所述预设触摸平面区域内各像素点的深度值，确定最小深度值Lmin。当然，所述预设触摸平面区域可为触摸板和/或触摸开关。举例来说，首先计算出矩形触摸板ABCD内各像素点的深度值和触摸开关EF区域内各个开关中心点的深度值La，Lb，Lc，Ld，Le，Lf，Lg，Lh，Li，并根据以上深度信息确定出摄像头距离预设触摸平面区域的最小深度值Lmin，例如在众多的深度值中，如果La为最小的值，则判定Lmin＝La。

通过实施例二中当前手势的定位方法确定出当前手势的触摸点，计算所述当前手势的触摸点与所述图像采集设备的距离L，例如触摸点为Q时，计算Q点与摄像头的距离LsQ；

假设L的允许误差为△，且△的取值范围设定在5mm-15mm，如果△取最大值时满足条件，则取范围内的任何值都可满足条件，故可有：

如果L-Lmin≤15mm，则判定所述当前手势所在的操作区域不位于所述预设触摸平面区域，反之，则判定位于所述预设触摸平面区域。例如LsQ≤Lmin+15mm，则判定当前手势为三维手势，反之则为触摸手势。

由上可知，本发明实施例提供了一种手势识别的方法，通过判断3D摄像头捕获的图像信息中的当前手势操作所在的区域是否位于预设触摸平面区域，判定所述当前手势为触摸手势还是三维手势。如果为触摸手势，则根据所述触摸手势的触摸位置信息对操作手势进行识别；如果当前手势为三维手势，则调用预先建立的三维手势模型库，识别所述三维手势的操作手势，实现了三维手势和二维手势识别一体化，方便用户使用，提高用户人机交互的操控舒适性。

本发明实施例还针对手势识别的方法提供了相应的实现装置，进一步使得所述方法更具有实用性。下面对本发明实施例提供的手势识别装置进行介绍，下文描述手势识别的装置与上文描述的手势识别的方法可相互对应参照。

实施例四：

参见图10，图10为本发明实施例提供的一种手势识别装置的结构图，该装置可包括：

图像获取模块1001，用于获取图像采集设备采集的图像信息。

图像检测模块1002，用于检测所述图像信息中的当前手势。

区域判断模块1003，用于判断所述当前手势所在的操作区域。

信息识别模块1004，用于识别所述当前手势：

当所述当前手势所在的操作区域不位于所述预设触摸平面区域时，判定所述手势信息为三维手势，调用预先建立的三维手势模型库，识别所述三维手势的操作手势。

指令生成模块1005，用于根据识别出的所述操作手势生成对应的操作指令。

作为优选的，区域判断模块1003可包括：

计算所述当前手势的触摸点与所述图像采集设备的距离L；

可选的，在本实施例的另一些实施方式中，所述装置例如还可以包括：

红外补光模块，用于发射特定的调制红外光，配合图像采集设备获取清晰的图像信号。这样在当前环境光照不充分时，仍然可以获取清晰图像，有助于更好的识别手势。

本发明实施例所述手势识别装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例提供了一种手势识别的装置，通过判断图像采集设备采集的图像信息中的当前手势操作所在的区域是否位于预设触摸平面区域，判定所述当前手势为触摸手势还是三维手势，实现了三维手势和二维手势识别一体化，更方便用户使用，提高用户人机交互的操控舒适性。

实施例五：

参见图11，本发明实施例还提供了一种车载系统，可以包括：

图像采集设备1101，用于采集图像信息；

触摸面板1102，用于实现二维手势的操作；

手势识别装置1103，用于识别当前手势，为上述实施例四所描述的手势识别装置。

其中，所述图像采集设备可设置于车顶灯模块，图像采集设备置于车顶，可以扩大其感应区域，设置于车顶灯可以避免单独设置地方安置图像采集设备的成本，当然也可不设置在车灯模块，可依据用户的爱好具体设置。需要说明的是，所述图像采集设备也可设置为旋转的，即可360度无死角的采集图像，但是因此而带来的问题是用户需要跟踪图像采集设备的旋转角度而做手势，会带来一些不方便，优选的可将图像采集设备固定，用户只需在其感应区域进行手势操作即可。图像采集设备可以用3D摄像头或2D摄像头，当然，必要的时候可以采用其他图像采集设备。

触摸面板1102可包括触摸板和/或触摸开关，所述触摸板和所述触摸开关可整体无缝设置于所述触摸面板，也就是说触摸板和触摸开关之间没有缝隙，整体为一块板，这样就可避免清理触摸板带来的困扰，而且美观，好看。

可选的，在本实施例的一些实施方式中，当所述图像采集设备为2D摄像头时，所述触摸面板例如包括触摸板和触摸开关，请参阅图12和图13，图12为本发明实施例提供的一种基于2D摄像头的触摸板的结构示意图，图13为本发明实施例提供的一种基于2D摄像头的触控开关的结构示意图，所述触摸板和所述触摸开关可以包括：

所述触摸板包括：

面板单元1201，可为液晶显示器或者塑料面板或金属面板或其他任何材质的面板；

电路板单元1202；

按键单元1203；

支撑件单元1204，所述支撑件单元包括支撑件及外壳，其材质优选的为塑料，当然也可为其他材质。

其中，1205表示手心朝向触摸板ABCD的手指点击、滑动等触摸操作；图中标号1206表示手背朝向触摸板ABCD用手指的指甲进行点击、滑动等触摸操作。

所述触摸开关包括：

带有信标的面板单元1301，可为液晶显示器或者塑料面板或金属面板或其他任何材质的面板；

导光板单元1302，优选的可为透明塑料材质，当然也可为其他材质，但是优选的应为透明的；

电路板单元1303，所述电路板上设置按键和灯；

按键单元1304，可为一种微行程非自锁式的弹性开关；

设置灯单元1305，灯一般为体积较小的、耗电量较小的灯，例如LED灯；

支撑件单元1306，所述支撑件单元包括支撑件及外壳，其材质优选的为塑料，当然也可为其他材质。

其中，1307表示手心朝向触摸开关EF的手指点击、滑动等触摸操作；图中标号1308表示手背朝向触摸开关EF用手指的指甲进行点击、滑动等触摸操作。

可选的，在本实施例的又一些实施方式中，当所述图像采集设备为3D摄像头时，所述触摸面板例如包括触摸板和触摸开关，请参阅图14和图15，图14为本发明实施例提供的一种基于3D摄像头的触摸板的结构示意图，图15为本发明实施例提供的一种基于3D摄像头的触控开关的结构示意图，所述触摸板和所述触摸开关可以包括以下单元。

所述触摸板包括：

面板单元1401，可为液晶显示器或者塑料面板或金属面板或其他任何材质的面板；

支撑件单元1402，所述支撑件单元包括支撑件及外壳，其材质优选的为塑料，当然也可为其他材质。

与图12所示的基于2D摄像头作为识别传感器时触摸板的结构示意图对比，可知，基于3D摄像头作为识别传感器时触摸板的结构更加简单，可不需要任何电子元件和电路板，即使用可不需要感应单元的触模面板，这样可以节省用户使用成本。

所述触摸开关包括：

带有信标的面板单元、导光板单元、设置灯单元和支撑件单元。

带有信标的面板单元1501，可为液晶显示器或者塑料面板或金属面板或其他任何材质的面板；

导光板单元1502，优选的可为透明塑料材质，当然也可为其他材质，但是优选的应为透明的；

电路板单元1503，所述电路板上设置灯；

支撑件单元1504，所述支撑件单元包括支撑件及外壳，其材质优选的为塑料，当然也可为其他材质；

设置灯单元1505，灯一般为体积较小的、耗电量较小的灯，例如LED灯。

与图13所示的基于2D摄像头作为识别传感器时触摸开关的结构示意图对比，可知，基于3D摄像头作为识别传感器时触摸开关缺少按键单元，使得结构、功能更加简化，而且一定程度上可节约用户使用成本。

需要说明的是，一种车载系统不仅仅包括上述描述的单元，还包括很多，本实施例只是针对现有技术有改进的单元做了相关详细说明。其中，手势识别装置为上述实施例四所描述的手势识别装置，具体实现过程可以参照上述方法实施例和装置实施例的相关描述，此处不再赘述。

由上可知，本发明实施例提供了一种手势识别的车载系统，通过判断图像采集设备采集的图像信息中的当前手势操作所在的区域是否位于预设触摸平面区域，判定所述当前手势为触摸手势还是三维手势，实现了三维手势和二维手势识别一体化，更方便用户使用，提高用户人机交互的操控舒适性，此外，本申请的触摸板结构、功能更加简化，一定程度上节约了用户使用成本。

为便于更好的理解和实施本发明实施例四和实施例五的上述方案，下面通过举例具体的应用场景进行说明。请参阅图16，图16为本发明实施例提供的一种可采用手势识别控制的车载系统结构框图。

控制单元1601，包括手势识别装置，为该车载系统的控制核心，所述控制单元1601可用于获取摄像头1602的图像信息，并根据获取的信息，实时检测操作者的手势，并通过手势识别单元对所检测的手势进行识别；

其中，当摄像头为2D摄像头时，所述控制单元1601是可用于实时检测中控面板触摸板内部的按键信号1608和中控面板触摸开关内部的按键信号1607，并根据按键信号来判断当前手指触摸操作所在的区域。

所述控制单元1601控制该红外补光模块1603来发射特定的调制红外光，配合图像采集设备获取清晰的图像信号。这样在当前环境光照不充分时，仍然可以获取清晰图像，有助于更好的识别手势。

所述控制单元1601还可用于检测汽车头灯开关信号1606，当检测到汽车头灯被打开时，对应地控制并点亮中控面板触摸开关背光1604；当检测到汽车头灯被关闭时，对应地控制并关闭中控面板触摸开关背光1604。

所述控制单元1601还可控制接口单元1605，并用于将实时检测出的三维手势和触摸手势的相关信息例如位置信息发送给特定的电子功能模块，执行对应的手势指令，实现人机交互。所述接口单元，是用于匹配特定的电子功能模块的接口，并与特定的电子功能模块进行通信，通常为CAN总线、Lin总线或者模拟电平信号接口。

通过在车载系统的控制单元内植入手势识别装置，所述手势识别装置为上述方法实施例、装置和系统实施例中描述的手势识别装置，在用户行车过程中可识别用户的三维手势或二维手势，大大的提高了用户人机交互操作的舒适性。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM，或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种手势识别的方法、装置以及车载系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims

一种手势识别的方法，其特征在于，包括：

获取图像采集设备采集的图像信息；

检测所述图像信息中的当前手势；

判断所述当前手势所在的操作区域；

当所述当前手势所在的操作区域位于预设触摸平面区域时，判定所述当前手势为触摸手势，根据所述触摸手势的触摸位置信息对操作手势进行识别；

当所述当前手势所在的操作区域不位于所述预设触摸平面区域时，判定所述当前手势为三维手势，调用预先建立的三维手势模型库，识别所述三维手势的操作手势；

根据识别出的所述操作手势生成对应的操作指令。
根据权利要求1所述的方法，其特征在于，所述图像信息为二维平面信息时，所述判断所述当前手势所在的操作区域的步骤包括：

检测所述预设触摸平面区域上用于指示是否存在触摸信号的按键是否导通，如果是，则判定所述当前手势所在的操作区域位于所述预设触摸平面区域；如果否，则判定不位于所述预设触摸平面区域。
根据权利要求1所述的方法，其特征在于，所述图像信息包括二维平面信息和一维深度图像信息时，所述判断所述当前手势所在的操作区域的步骤包括：

根据所述图像采集设备与所述预设触摸平面区域内各像素点的深度值，确定最小深度值Lmin；

计算所述当前手势的触摸点与所述图像采集设备的距离L；

如果L-Lmin≤15mm，则判定所述当前手势所在的操作区域不位于所述预设触摸平面区域，反之，则判定位于所述预设触摸平面区域。
根据权利要求1-3任意一项所述的方法，其特征在于，所述当前手势为以下任意一种或任意组合：

用手指指心、手指的侧面、指甲进行触摸或点击操作的手势。
根据权利要求4所述的方法，其特征在于，所述调用预先建立的三维手势模型库为：

在时间序列上连续获取多帧包含所述当前手势的图像信息，如果多帧图像中的所述当前手势相同且所述当前手势的位置未发生变化，所述当前手势则为静态手势，调取三维静态手势模型库；反之，则调用三维动态手势模型库。
一种手势识别的装置，其特征在于，包括：

图像获取模块，用于获取图像采集设备采集的图像信息；

图像检测模块，用于检测所述图像信息中的当前手势；

区域判断模块，用于判断所述当前手势所在的操作区域；

信息识别模块，用于识别所述当前手势：当所述当前手势所在的操作区域位于预设触摸平面区域时，判定所述手势信息为触摸手势，根据所述触摸手势的触摸位置对操作手势进行识别；当所述当前手势所在的操作区域不位于所述预设触摸平面区域时，判定所述手势信息为三维手势，调用预先建立的三维手势模型库，识别所述三维手势的操作手势；

指令生成模块，用于根据识别出的所述操作手势生成对应的操作指令。
根据权利要求6所述的装置，其特征在于，所述判断区域模块包括：

第一判断单元，用于检测所述预设触摸平面区域上用于指示是否存在触摸信号的按键是否导通，如果是，则判定所述当前手势所在的操作区域位于所述预设触摸平面区域；如果否，则判定不位于所述预设触摸平面区域；和/或

第二判断单元，用于计算所述图像采集设备与所述预设触摸平面区域内各像素点的深度值，确定最小深度值Lmin；计算所述当前手势的触摸点与所述图像采集设备的距离L；如果L-Lmin≤15mm，则判定所述当前手势所在的操作区域不位于所述预设触摸平面区域，反之，则判定位于所述预设触摸平面区域。
一种手势识别的车载系统，其特征在于，包括图像采集设备、触摸面板以及根据权利要求6或7所述的手势识别装置。
根据权利要求8所述的车载系统，其特征在于，所述触摸面板包括触摸板和/或触摸开关，当所述图像采集设备为2D摄像头时，所述触摸板包括：

面板单元、电路板单元、按键单元和支撑件单元；

所述触摸开关包括：

带有信标的面板单元、电路板单元、导光板单元、按键单元、设置灯单元和支撑件单元。
根据权利要求8所述的车载系统，其特征在于，所述触摸面板包括触摸板和/或触摸开关，当所述图像采集设备为3D摄像头时，所述触摸板包括：

面板单元和支撑件单元；

所述触摸开关包括：

带有信标的面板单元、电路板单元、导光板单元、设置灯单元和支撑件单元。