CN113460067B - 一种人车交互系统 - Google Patents

Abstract

本发明涉及一种人车交互系统，包括：视觉捕获装置，被配置成用于实时地监测驾驶员状态，并生成所述驾驶员状态的图像；预处理模块，被配置成用于对由所述视觉捕获装置所生成的所述图像进行预处理；算法模块，被配置成用于识别经预处理的图像中的驾驶员的嘴部模式所指示的指令；以及控制器，被配置成用于控制执行所述指令。

Description

一种人车交互系统

技术领域

本发明大体上涉及车辆领域，并且更具体地，本发明涉及一种人车交互系统。

背景技术

如今，在车辆内安装并应用摄像头已越来越普遍。摄像头广泛用于监测车辆内的人和物，以起到驾驶辅助和提醒的作用。另一方面，安全行车是第一要务。在行驶过程中，出于安全考虑，驾驶员的目光需要专注于前方道路，并且需要将双手放在方向盘上进行控制。期望的是车辆内的人车交互过程不会扰乱和分散驾驶员的注意力。

目前，车辆内广泛使用的人车交互方式主要包括以下几种：

1)通过实体按键/旋钮控制；

2)通过触摸屏/触摸板控制；

3)通过语音识别控制；

4)通过手势识别控制。

这些现有的人车交互方式存在一些缺陷：

1)实体按键/旋钮操控一般需要驾驶员将眼睛注意力转移到控制按键/旋钮，并腾出手来操作，容易分散驾驶员的注意力；

2)触摸屏/触摸板控制一般也需要驾驶员将眼睛注意力转移到触摸屏/触摸板的控制图标，并腾出手来操作，同样地容易分散驾驶员的注意力；

3)语音识别控制必须发出声音，对于一些嘈杂的环境很难保证有效的指令识别，对于一些不适合说话的场景、或者具有语音障碍的人而言无法有效利用这种人车交互方式；

4)手势识别控制需要用手作出特定手势，因此将增加驾驶风险，并不适合在驾驶过程中需要集中注意力的驾驶员。

因此，目前存在设计一种能够克服以上缺陷的人车交互模式，以兼顾驾驶安全和一些特殊应用场景。

发明内容

本发明涉及一种人车交互系统，包括：视觉捕获装置，被配置成用于实时地监测驾驶员状态，并生成所述驾驶员状态的图像；预处理模块，被配置成用于对由所述视觉捕获装置所生成的所述图像进行预处理；算法模块，被配置成用于识别经预处理的图像中的驾驶员的嘴部模式所指示的指令；以及控制器，被配置成用于控制执行所述指令。

如上所述的人车交互系统，所述预处理模块被配置成用于对所述图像进行预处理包括以下各项处理中的一项或多项：将模拟信号转换为数字信号；对信号进行滤波；对数据进行编码/解码；对数据进行压缩/解压缩。

如上所述的人车交互系统，所述算法模块包括：嘴部定位子模块，被配置成用于定位嘴部在相应图像中的位置；以及嘴部模式识别子模块，被配置成用于识别嘴部模式，并识别出所述嘴部模式所指示的指令。

如上所述的人车交互系统，所述嘴部定位子模块进一步被配置成用于基于图像的灰度变化来定位嘴部在所述相应图像中的位置。

如上所述的人车交互系统，所述嘴部模式包括不同的嘴部动作、特定嘴部动作的持续时间、特定嘴部动作的重复次数中的一项或多项的组合。

如上所述的人车交互系统，所述嘴部包括唇部和舌头；所述嘴部动作包括唇部的上唇和下唇之间的不同相对位置、和/或唇部与舌头之间的不同相对位置。

如上所述的人车交互系统，所述嘴部动作包括闭口、张口、伸舌头。

如上所述的人车交互系统，所述嘴部模式识别子模块被配置成用于识别嘴部模式并识别出所述嘴部模式所指示的指令包括：通过像素来计算所述唇部的上唇和下唇之间的相对位置、和/或所述唇部与舌头之间的不同相对位置；基于所述相对位置，确定对应的指令。

如上所述的人车交互系统，所述嘴部模式识别子模块被配置成用于识别嘴部模式并识别出所述嘴部模式所指示的指令包括：指定的唇部和舌头的基准位置；将相应图像中定位出的唇部和舌头位置与所述基准位置进行比较；基于该比较，计算所述相应图像中的唇部和舌头位置的变化，以及基于所述唇部和舌头位置的变化，确定对应的指令。

如上所述的人车交互系统，所述人车交互系统进一步包括：存储器，用于存储预定义的所述嘴部模式和所述指令之间的对应关系。

如上所述的人车交互系统，所述视觉捕获装置包括：具有监测所述驾驶员嘴部的功能的驾驶员状态监测系统(DMS)的一部分。

如上所述的人车交互系统，所述指令包括以下各项中的一项或多项：控制车辆功能的一个或多个指令；对车辆进行加密和/或解密的一个或多个指令。

与现有人车交互方式所使用的技术相比，本发明具有以下优点：

一、驾驶员可以利用嘴部动作来控制车辆功能，使驾驶员的眼睛和手可以专注于驾驶，从而提高驾驶安全性、舒适性；

二、本发明可以与现有的人车交互控制方式共存或作为其有效补充，弥补了手势/语音识别不适用的应用场景，尤其给具有语言障碍的驾驶员带来便利性；

三、本发明兼容扩展性强，人车交互系统的各个模块中的一些可以与车辆共享硬件设备，并且可以集成到车载监控系统(例如利用DMS技术的驾驶员疲劳监测系统等)，有效节约成本。

四、在车载电子产品控制方式日趋复杂的情况，本发明可以大大简化控制的复杂度，并且具有一定的趣味性。

附图说明

为了进一步阐明本发明的各实施例的以上和其他优点和特征，将参考附图来呈现本发明的各实施例的更具体的描述。应当理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对本发明所要求保护范围的限制。

图1示出了根据本发明的一个实施例的通过识别驾驶员的唇部模式所指示的指令来实现人车交互的系统；

图2a-图2g示出了根据本发明的一个实施例的不同的嘴部模式的示例；

图3示出了根据本发明的一个实施例的通过识别驾驶员的唇部模式所指示的指令来实现人车交互的流程图。

具体实施方式

下面的详细描述参照附图进行。附图以例示方式示出可实践所要求保护的主题的特定实施例。应当理解，以下具体实施例出于阐释的目的旨在对典型示例作出具体描述，但不应被理解成对本发明的限制；本领域技术人员在充分理解本发明精神主旨的前提下，可对所公开实施例作出适当的修改和调整，而不背离本发明所要求保护的主题的精神和范围。

在以下的详细描述中，阐述了众多具体细节以便提供对各个所描述的实施例的透彻理解。然而，对本领域的普通技术人员将显而易见的是，无需这些具体细节就可实践所描述的各种实施例。在其它实例中，并未对公知方法、程序、组件、电路以及网络进行详细描述以免不必要地模糊各实施例的各方面。除非另外定义，否则在本文中所使用的技术和科学术语应具有与本公开所属领域的普通技术人员所通常理解的相同含义。

本申请的实施例是示例性的实现或示例。说明书中对“实施例”、“一个实施例”、“一些实施例”、“各种实施例”或“其他实施例”的引用意味着结合实施例描述的特定特征、构造或特性包括在本技术的至少一些实施例中，但不必是全部实施例。“实施例”、“一个实施例”、或“一些实施例”的各种出现并不一定都指代相同的实施例。来自一个实施例的元素或方面可与另一实施例的元素或方面组合。

图1是根据本发明的一个实施例的通过识别驾驶员的唇部模式所指示的指令来实现人车交互的流程图100。如图1所示，人车交互系统100可以主要包括视觉捕获装置102、预处理模块104、算法模块106和控制器108。

视觉捕获装置102可以被配置成用于实时地监测驾驶员状态，并生成所述驾驶员状态的图像。在本发明的一个实施例中，视觉捕获装置102可以被实现为驾驶员状态监测系统(Driver Monitor System，DMS)的一部分，该DMS至少具有监测驾驶员嘴部的功能。视觉捕获装置102可以安装在车辆内的任何合适的位置，以用于监测驾驶员的状态，尤其是驾驶员的嘴部。

预处理模块104可以被配置成用于对由视觉捕获装置102所生成的驾驶员状态的图像进行预处理。预处理可以包括图像预处理领域通常所包括的步骤，包括但不限于：将模拟信号转换为数字信号；对信号进行滤波；对数据进行编码/解码；对数据进行压缩/解压缩中的一项或多项。因此，预处理模块104可以包括但不限于以下各个部件中的一个或多个，例如，模数转换器、滤波器、编解码器、压缩/解压缩器等。

算法模块106可以被配置成用于识别经预处理的图像中的嘴部模式所指示的指令。在本发明的一个优选实施例中，算法模块106可以包括嘴部定位子模块1062和嘴部模式识别子模块1064。在本发明的实施例中，嘴部可以主要包括唇部和舌头。

嘴部定位子模块1062可以被配置成用于定位嘴部在相应图像中的位置。在一个示例性的实施例中，嘴部定位子模块1062可以被配置成用于基于图像的灰度变化来定位嘴部在所述相应图像中的位置。例如，嘴部定位子模块1062可以基于嘴部的不同部分(例如，唇部、周围的皮肤等、舌头、牙齿中的一个或多个)不同的灰度，来识别它们在图像中的位置。

嘴部模式识别子模块1064可以被配置成用于识别图形中的嘴部模式，并识别出嘴部模式所指示的指令。在本发明的实施例中，嘴部模式可以包括不同的嘴部动作、特定嘴部动作的持续时间、特定嘴部动作的重复次数中的一项或多项的组合。嘴部动作可以包括唇部的上唇和下唇之间的不同相对位置、和/或唇部与舌头之间的不同相对位置。作为一个示例，嘴部模式包括以下各项中的一项或多项：闭口、张口、伸舌头，如以下将结合图2a-图2g所具体描述的。

嘴部模式识别子模块1064被配置成用于识别嘴部模式并识别出嘴部模式所指示的指令可以包括：通过像素来计算唇部的上唇和下唇之间的相对位置、和/或唇部与舌头之间的不同相对位置，并基于这些相对位置，确定对应的指令。作为补充或替代，嘴部模式识别子模块1064被配置成用于识别嘴部模式并识别出嘴部模式所指示的指令可以包括：指定的唇部和舌头的基准位置；将相应图像中定位出的唇部和舌头位置与所述基准位置进行比较；基于该比较，计算所述相应图像中的唇部和舌头位置的变化，以及基于所述唇部和舌头位置的变化，确定所指示的对应指令。

控制器108可以被配置成用于控制执行图像中特定嘴部模式所指示的指令。在本发明的一个实施例中，指令可以包括控制车辆功能的一个或多个指令。作为示例而非限制，控制车辆功能的一个或多个指令包括以下各项中的一个或多个：导航到一地理位置、播放歌曲、上一首、下一首、搜索歌曲、搜索停车场、查询天气、查询交通状况、打开车窗、打开天窗、打开空调。可以理解的是，这些车辆功能的列举仅仅是其中一部分，可以利用本发明的设计来实现通过嘴部模式控制任何合适的其他车辆功能，而不偏离本发明的设计思想。在本发明的另一实施例中，指令可以包括对车辆进行加密和/或解密的一个或多个指令。以上指令的示例将在下文结合图2a-图2g给出具体示例。控制器108可以通过例如车辆CAN总线来实现与车辆其他模块的通信，以实现对相应车辆部件的控制。

如图1所示，人车交互系统100可以进一步包括存储器110。存储器110可以用于存储预定义的嘴部模式和要执行的指令之间的对应关系。

本领域技术人员将理解的是，控制器108可以是分立的控制器，或者可以集成到现有的车辆中控系统中。存储器110可以是分立的控制器，或者可以集成到车辆系统的现有存储器中。类似地，预处理模块104和算法模块106可以是专用于本申请的功能的分立的模块，或者可以集成到车辆系统的现有图形处理模块中。控制器102可以是硬件、软件、固件或者它们的组合。预处理模块104和算法模块106的各项操作可以被实现为存储在机器可读存储介质中的指令。虽然图1中以各个框示出各个模块，但可以理解的是，这并不暗示着各个模块必须是独立的，而是可以将它们中的一些模块集合。此外，图1中未示出各个模块之间的通信，然而，应理解的是，可以根据本发明的方案以有线或者无线的任何合适方式与技术来实现各个模块之间的通信。

图2a-图2g示出了根据本发明的一个实施例的不同的嘴部模式的示例。在一个实施例中，上唇和下唇之间的不同相对位置、和/或唇部与舌头之间的不同相对位置可以指示不同的嘴部模式。作为一个非限制示例，嘴部模式包括图2a所示的闭口、图2b所示的张口、图2c所示的伸舌头。这些嘴部模式本身、特定嘴部模式的持续时间、特定模式的重复次数、特定模式的组合可以指示不同的指令。对于图2a所示的闭口模式，可以在算法模块106识别出图像中连续的上下唇灰度时，将其识别为闭口模式。在视觉捕获装置102的精度足够高的情况下，可以在算法模块106识别出图像中上下唇的距离小于阈值时，将其对应为闭口模式。类似地，对于图2b所示的张口模式，可以在算法模块106识别出图像中上下唇的距离大于一定阈值时(例如，大于嘴部张到最大的一半时)，将其对应为张口模式。对于图2c所示的伸舌头模式，可以在检测到舌头(例如，通过检测灰度)时，将其对应为伸舌头模式。可以理解的是，作为一个非限制性示例，以上的距离测量可以直接以像素的方式计算出，即单个像素的尺寸乘以所跨的像素数量来获得距离数据。在这种情况下，可以指定嘴部的各个部分(例如，上下唇、舌头)的中心位置、或其他任何位置作为参考点，并计算各个参考点之间的距离。

由于个体驾驶员的嘴部大小可能具有一定差异，因此，可以设定唇部和舌头的基准模式，并将相应图像中定位出的唇部和舌头位置与所述基准位置进行比较。作为一个非限制性示例，可以以图2a所示的闭口模式为基准模式，即，在这一基准模式中，上下唇之间的间距较小，或者上下唇之间无间距，并且没有舌头出现。在图像识别过程中，可以将相应图像中定位出的唇部和舌头位置与该基准位置进行比较。例如，通过差分的方法得出相应图像中的唇部和舌头位置的变化，并基于唇部和舌头位置的变化，确定所指示的对应指令，例如图2b和图2c分别所示的张口模式和伸舌头模式。

在视觉捕获装置102的精度足够高的情况下，还可以设定更多的嘴部模式，例如，图2d-图2e所示的下唇左移和右移模式，图2f-图2g所示的左下和右下伸舌头的模式。还可以构想其他更多的嘴部模式。例如上唇左移和右移模式、左上和右上伸舌头的模式、嘴部张开二分之一、嘴部张开三分之一等。这些嘴部模式以及其他嘴部模式的变型都在本申请的保护范围之内。

此外，各个嘴部模式的持续时间可以不同，由此，对于同一个嘴部动作，不同的持续时间可以指示不同的指令。或者，对于同一个嘴部模式，执行不同次数可以指示不同的指令。又或者，一个嘴部模式与其他的一个或多个相同或不同的嘴部模式的不同组合可以指示不同的指令。

以下是通过不同的嘴部模式来实现对车辆功能进行控制的两个具体实施例场景。

场景一，车辆功能控制：

1.进入嘴部模式控制方式；

2.保持张口(大于一半)2秒以上，对应于“暂停”或者车辆中的标志“■”；

3.保持伸舌头2秒以上，对应于“回到主页”；

4.先闭口，再伸舌头一次(小于2秒)，对应于“左”或者“上一个”或者车辆中的标志

5.先张口，再伸舌头一次(小于2秒)，对应于“右”或者“下一个”或者车辆中的标志

场景二，简单加解密：

1.进入嘴部模式控制方式；

2.通过闭口、张口(大于一半，小于2秒)，利用这两种配置的组合来设置密码；

3.保持伸舌头2秒以上，确认密码设置；

4.解密时，通过以上闭口和张口的组合输入密码，并伸舌头(大于2秒)进行确认密码输入。

可以理解的是，这两个具体实施例仅是为了便于理解本发明而列举的场景。可以根据对车辆的各种控制需求来设置不同的应用场景以及对应的嘴部模式控制方式，包括利用不同的嘴部动作、特定嘴部动作的持续时间、特定嘴部动作的重复次数中的一项或多项的组合。

图3示出了根据本发明的一个实施例的通过识别驾驶员的唇部模式所指示的指令来实现人车交互的流程图300。在本发明的实施例中，可以设定或不设定嘴部模式控制方式的启动，如图3的框302的虚线表示的。在设定嘴部模式控制方式的启动的实施例中，可以例如通过实体按键/旋钮启动、触摸屏/触摸板启动、语音关键字启动来启动嘴部模式控制方式。视觉捕获装置102可以持续地监测驾驶员的状态，以捕获并生成驾驶员状态的图像(框304)。随后预处理模块104在接收到该图像时，对其进行预处理(框306)。经预处理的图像传递给嘴部定位子模块1062，以定位嘴部在图像中的位置(框308)。随后，嘴部模式识别子模块1064可以识别嘴部模式，并识别出所述嘴部模式所指示的指令(框310)。嘴部模式识别子模块1064可以根据存储在存储器110中的嘴部模式与指令的对应关系来识别出特定嘴部模式所指示的指令。控制器108随后可以控制车辆的其他模块执行该指令。

因此，本发明的人车交互系统利用车辆内的视觉捕获装置监测驾驶员的状态，尤其是嘴部，并通过嘴部模式来与车辆进行交互，从而实现车辆各个部件的控制和加解密等功能。这种简单的操控模式可以提高行车的安全性，并且对于不适合与车辆进行语音交互、手势交互的场景以及对于具有语言障碍的驾驶员而言尤其有用。因此，本发明的人车交互系统可以替代现有交互系统，或者作为对现有交互方式的有效补充。

可以理解的是，在不背离本发明的精神和主旨的情况下，本领域技术人员可对以上具体描述的实施例作出适当修改和调整。因此，旨在使所要求保护的主题不仅限于所公开的特定示例，这些要求保护的主题也可包括落在所附权利要求书及其等效物范围内的所有实现。

Claims (11)

1.一种人车交互系统，包括：

视觉捕获装置，被配置成用于实时地监测驾驶员状态，并生成所述驾驶员状态的图像；

预处理模块，被配置成用于对由所述视觉捕获装置所生成的所述图像进行预处理；

算法模块，被配置成用于识别经预处理的图像中的驾驶员的嘴部模式所指示的指令；以及

控制器，被配置成用于控制执行所述指令，

其中，所述图像中用于确定驾驶员的嘴部模式的驾驶员嘴部包括唇部和舌头，所述嘴部模式包括以下一项或多项：特定嘴部动作的持续时间、特定嘴部动作的重复次数，

其中，所述算法模块包括嘴部模式识别子模块，被配置成用于识别嘴部模式，并识别出所述嘴部模式所指示的指令，其中，所述嘴部模式识别子模块被配置成用于识别嘴部模式并识别出所述嘴部模式所指示的指令包括：

指定的唇部和舌头的基准位置；

将相应图像中定位出的唇部和舌头位置与所述基准位置进行比较；

基于该比较，计算所述相应图像中的唇部和舌头位置相对于所述基准位置的变化量，以及

基于所述唇部和舌头位置相对于所述基准位置的变化量与一定阈值的比较，检测到特定的嘴部模式，并确定对应的指令。

2.如权利要求1所述的人车交互系统，其特征在于，所述预处理模块被配置成用于对所述图像进行预处理包括以下各项处理中的一项或多项：将模拟信号转换为数字信号；对信号进行滤波；对数据进行编码/解码；对数据进行压缩/解压缩。

3.如权利要求1所述的人车交互系统，其特征在于，所述算法模块包括：

嘴部定位子模块，被配置成用于定位嘴部在相应图像中的位置。

4.如权利要求3所述的人车交互系统，其特征在于，所述嘴部定位子模块进一步被配置成用于基于图像的灰度变化来定位嘴部在所述相应图像中的位置。

5.如权利要求3所述的人车交互系统，其特征在于，所述嘴部模式还包括相同或不同的特定嘴部模式的组合，所述嘴部模式包括不同的嘴部动作。

6.如权利要求5所述的人车交互系统，其特征在于，所述嘴部动作包括唇部的上唇和下唇之间的不同相对位置、和/或唇部与舌头之间的不同相对位置。

7.如权利要求6所述的人车交互系统，其特征在于，所述嘴部动作包括闭口、张口、伸舌头。

8.如权利要求6所述的人车交互系统，其特征在于，所述嘴部模式识别子模块被配置成用于识别嘴部模式并识别出所述嘴部模式所指示的指令包括：

通过像素来计算所述唇部的上唇和下唇之间的相对位置、和/或所述唇部与舌头之间的不同相对位置；

基于所述相对位置，确定对应的指令。

9.如权利要求1-8中任一项所述的人车交互系统，其特征在于，所述人车交互系统进一步包括：存储器，用于存储预定义的所述嘴部模式和所述指令之间的对应关系。

10.如权利要求1-8中任一项所述的人车交互系统，其特征在于，

所述视觉捕获装置包括：具有监测所述驾驶员嘴部的功能的驾驶员状态监测系统(DMS)的一部分。

11.如权利要求1-8中任一项所述的人车交互系统，其特征在于，

所述指令包括以下各项中的一项或多项：

控制车辆功能的一个或多个指令；

对车辆进行加密和/或解密的一个或多个指令。

Images