CN108334871A - 基于智能座舱平台的平视显示设备的交互方法及系统 - Google Patents
基于智能座舱平台的平视显示设备的交互方法及系统 Download PDFInfo
- Publication number
- CN108334871A CN108334871A CN201810252419.4A CN201810252419A CN108334871A CN 108334871 A CN108334871 A CN 108334871A CN 201810252419 A CN201810252419 A CN 201810252419A CN 108334871 A CN108334871 A CN 108334871A
- Authority
- CN
- China
- Prior art keywords
- facial expression
- action
- vehicle
- motion images
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000008921 facial expression Effects 0.000 claims abstract description 209
- 230000009471 action Effects 0.000 claims abstract description 98
- 230000033001 locomotion Effects 0.000 claims abstract description 93
- 239000012190 activator Substances 0.000 claims description 12
- 230000003213 activating effect Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 5
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 5
- 239000011521 glass Substances 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Mechanical Engineering (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
本发明涉及汽车行车安全领域,特别涉及一种基于智能座舱平台的平视显示设备的交互方法和系统,该方法包括:在平视显示仪工作状态下,获取用户的面部表情动作图像;将所述面部表情动作图像与预设的面部表情动作进行比对,判断所述面部表情动作图像与预设的面部表情动作是否匹配;如果所述面部表情动作图像与预设的面部表情动作相匹配,则获取与所述面部表情动作图像匹配的面部表情动作所对应的车辆数据;将所述车辆数据通过平视显示仪进行展示。本发明实现了在行车过程中,通过面部表情控制车辆数据在平视显示仪上显示,既能够对车辆进行快捷控制,又能降低安全隐患。
Description
技术领域
本发明涉及智能汽车技术领域,特别涉及一种基于智能座舱平台的平视显示设备的交互方法及系统。
背景技术
在汽车电子高速发展的今天,座舱电子和高级辅助驾驶系统ADAS,已经成为智能驾驶无可分割的一部分,汽车座舱作为人们与汽车进行人机交互的重要窗口平台,更多的数字化内容将被引用到座舱中来,为用户带来更加便捷、舒适的驾乘体验,智能座舱平台主要包括全液晶仪表、车载信息娱乐系统、车联网模块、车载HUD(Heads Up Display);其中车载HUD作为一种新型的显示系统,越来越多的被用于汽车的驾驶座舱平台中。
HUD抬头数字显示,又叫平视显示系统,它可以把重要的信息,如转速、导航、时间,利用光学镜面反射的原理投射到汽车挡风或立起来的小屏幕上让人感觉图像是在车头前方几米的距离内,使驾驶员不必低头,就能看清重要的信息。也有在原来挡风玻璃成像的基础上加入透镜,将显示的内容放大到更远的地方,驾驶员在行驶过程中可以不调节视线的焦距,向前看清路面情况的同时平行看到平视显示的车况信息。
现有的平视显示器大多是在汽车前挡风玻璃前面竖立起来的透明小屏幕,覆盖在平视显示器上的信息画面往往比较单一,比如只显示速度标识或者导航箭头等,内容单调,且需要相关画面信息显示输出的时候,需要人为的进行手动控制,在汽车行驶的过程中驾驶员的手会离开方向盘,这给汽车行驶带来一定的安全隐患;语音控制技术,在车内通讯中也已经得到广泛的应用,但是目前语音控制技术的操作方式需要用户声音信号来控制,对发音的清晰和准确度要求较高,操作不太方便,而且容易受到环境噪音干扰。
也就是说,目前的这些车载HUD显示屏控制手段普遍存在与行车安全方面的矛盾。即操作都要基于用户的双眼离开当前的关注方向,并要靠在要使手离开原来的驾驶位置,而这些附加的动作将导致行车安全方面的隐患。
发明内容
针对现有技术的上述问题,本发明的目的在于提供一种基于智能座舱平台的平视显示设备的交互方法及系统,用于解决现有技术中车载平视显示屏控制手段存在行车安全方面的隐患的问题。
本发明提供一种车用平视显示系统的面部识别交互方法,所述方法包括:
在平视显示仪工作状态下,获取用户的面部表情动作图像;
将所述面部表情动作图像与预设的面部表情动作进行比对,判断所述面部表情动作图像与预设的面部表情动作是否匹配;
如果所述面部表情动作图像与预设的面部表情动作相匹配,则获取与所述面部表情动作图像匹配的面部表情动作所对应的车辆数据;
将所述车辆数据通过平视显示仪进行展示。
进一步地,在获取用户的面部表情动作图像之前,还包括:
建立面部表情动作与车辆控制指令之间的一一对应关系;
获取与所述面部表情动作图像匹配的面部表情动作所对应的车辆数据包括:
确定与所述面部表情动作图像匹配的面部表情动作;
查找与所述面部表情动作对应的车辆控制指令;
执行所述车辆控制指令,以获取车辆数据。
优选地,所述获取用户的面部表情动作图像包括:
采集用户的面部图像;
对所述面部图像进行处理,提取生成面部表情动作图像。
优选地,所述将所述面部表情动作图像与预设的面部表情动作逐一进行比对,判断所述面部表情动作图像与预设的面部表情动作是否匹配包括:
将面部表情动作图像与预设的多个面部表情动作逐一进行比对,计算所述面部表情动作图像与各个面部表情动作之间的相似度,获得多个相似度;
从多个相似度中确定一个最大值作为候选相似度;
将所述候选相似度与预设的相似度阈值进行比对,判断所述候选相似度是否大于所述相似度阈值;
如果所述候选相似度大于所述相似度阈值,则确定所述面部表情动作图像与候选相似度所对应的面部表情动作相匹配;
如果所述候选相似度不大于所述相似度阈值,则确定所述面部表情动作图像与候选相似度所对应的面部表情动作不匹配。
进一步地,在采集用户的面部图像之前,还包括:
判断是否激活面部识别功能;
若未激活面部识别功能,则自动激活面部识别功能或者发出提示信息,所述提示信息用于提醒用户手动激活面部识别功能;
在面部识别功能被激活时,采集用户的面部图像。
优选地,所述面部表情动作包括眨眼、张嘴、皱眉和抿嘴。
本发明另一方面提供了一种基于智能座舱平台的平视显示设备的交互系统,所述系统包括平视显示仪、摄像头、图像处理器和车载微处理器,所述摄像头与图像处理器连接,所述车载微处理器分别与所述平视显示仪和图像处理器连接;
所述摄像头用于在平视显示仪工作状态下,采集用户的面部图像,并将采集的面部图像发送至图像处理器;
所述图像处理器用于对所述面部图像进行处理,提取生成面部表情动作图像,并将所述面部表情动作图像发送至车载微处理器;
所述车载微处理器用于将所述面部表情动作图像与预设的面部表情动作进行比对,判断所述面部表情动作图像与预设的面部表情动作是否匹配,以及在所述面部表情动作图像与预设的面部表情动作相匹配时,获取与所述面部表情动作图像匹配的面部表情动作所对应的车辆数据,并将所述车辆数据发送给平视显示仪;
所述平视显示仪用于展示所述车辆数据。
进一步地,所述系统还包括车载设备,所述车载设备与车载微处理器连接;
所述车载微处理器还用于在所述面部表情动作图像与预设的面部表情动作相匹配时,根据面部表情动作与车辆控制指令的映射关系,生成与所述面部表情动作对应的车辆控制指令并发送至车载设备;
所述车载设备用于执行所述车辆控制指令,并将执行车辆控制指令获得的车辆数据返回给车载微处理器。
优选地,所述车载微处理器还用于将面部表情动作图像与预设的多个面部表情动作逐一进行比对,计算所述面部表情动作图像与各个面部表情动作之间的相似度,获得多个相似度,以及从多个相似度中确定一个最大值作为候选相似度,并将所述候选相似度与预设的相似度阈值进行比对,判断所述候选相似度是否大于所述相似度阈值,当所述候选相似度大于所述相似度阈值时,确定所述面部表情动作图像与候选相似度所对应的面部表情动作相匹配,当所述候选相似度不大于所述相似度阈值时,确定所述面部表情动作图像与候选相似度所对应的面部表情动作不匹配。
优选地,所述系统还包括与摄像头连接的激活按钮,所述激活按钮用于激活面部识别功能;
所述激活按钮设置在车辆方向盘上或者转向杆末端;
所述摄像头安装在车辆仪表盘的遮光板上,且摄像头的镜头正对车辆内部,摄像头用于在激活面部识别功能时,采集用户的面部图像。
由于上述技术方案,本发明具有如下有益效果:
本发明通过获取用户的面部表情动作图像,将面部表情动作图像与预设的面部表情动作进行匹配,将匹配成功的面部表情动作所对应的车辆数据通过平视显示仪进行展示,实现了在行车过程中,通过面部表情控制车辆数据在平视显示仪上显示,这样,用户不必进行手动操作,尤其是驾驶员的双手无需离开方向盘,并且,平视显示仪可以设置在前挡风玻璃上与驾驶员正对的位置处,这样驾驶员在查看车辆数据时不必转移视线,本发明既能够对车辆进行快捷控制,又能降低安全隐患,这种友好的人机交互方式,大幅提升了用户体验。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本发明实施例提供的基于智能座舱平台的平视显示设备的交互方法的流程图;
图2是本发明实施例提供的判断面部表情动作图像与预设的面部表情动作是否匹配的方法流程图;
图3是本发明实施例提供的基于智能座舱平台的平视显示设备的交互方法的流程图;
图4是本发明实施例提供的基于智能座舱平台的平视显示设备的交互系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。
实施例一
本实施例提供一种基于智能座舱平台的平视显示设备的交互方法,图1是本发明实施例提供的基于智能座舱平台的平视显示设备的交互方法的流程图。请参见图1,该方法包括:
S101:在平视显示仪工作状态下,获取用户的面部表情动作图像;
S102:将所述面部表情动作图像与预设的面部表情动作进行比对,判断所述面部表情动作图像与预设的面部表情动作是否匹配;
S103:如果所述面部表情动作图像与预设的面部表情动作相匹配,则获取与所述面部表情动作图像匹配的面部表情动作所对应的车辆数据;
S104:将所述车辆数据通过平视显示仪进行展示。
其中,步骤S101中获取用户的面部表情动作图像具体包括:采集用户的面部图像;对所述面部图像进行处理,提取生成面部表情动作图像。并且,在采集用户的面部图像之前还包括:判断是否激活面部识别功能,若未激活面部识别功能,则自动激活面部识别功能或者发出提示信息,所述提示信息用于提醒用户手动激活面部识别功能;在面部识别功能被激活时,采集用户的面部图像。
图2是本发明实施例提供的判断面部表情动作图像与预设的面部表情动作是否匹配的方法流程图。请参见图2,上述步骤S102具体包括:
S201:将面部表情动作图像与预设的多个面部表情动作逐一进行比对,计算所述面部表情动作图像与各个面部表情动作之间的相似度,获得多个相似度;
S202:从多个相似度中确定一个最大值作为候选相似度;
S203:将所述候选相似度与预设的相似度阈值进行比对,判断所述候选相似度是否大于所述相似度阈值;
S204:如果所述候选相似度大于所述相似度阈值,则确定所述面部表情动作图像与候选相似度所对应的面部表情动作相匹配;
S205:如果所述候选相似度不大于所述相似度阈值,则确定所述面部表情动作图像与候选相似度所对应的面部表情动作不匹配。
所述步骤S101之前,建立面部表情动作与车辆控制指令之间的一一对应关系,其中面部表情动作可以包括眨眼、张嘴、皱眉和抿嘴等动作,车辆控制指令可以包括用于触发导航信息获取及显示的指令、用于触发速度仪表信息获取及显示的指令、用于触发车辆外周实时画面获取及显示的指令、用于触发娱乐多媒体画面获取及显示的指令等。优选地,可以根据用户喜好,预设面部表情动作触发的控制指令,具体而言,即由这些控制指令控制车载设备获取车辆实时数据,如眨眼动作可触发导航信息显示、张嘴动作可触发速度仪表显示、皱眉动作可触发车辆外周实时画面、抿嘴动作可触发娱乐多媒体的画面显示。
步骤S103具体包括:确定与所述面部表情动作图像匹配的面部表情动作;查找与所述面部表情动作对应的车辆控制指令;执行所述车辆控制指令,以获取车辆数据。
本发明通过获取用户的面部表情动作图像,将面部表情动作图像与预设的面部表情动作进行匹配,将匹配成功的面部表情动作所对应的车辆数据通过平视显示仪进行展示,实现了在行车过程中,通过面部表情控制车辆数据在平视显示仪上显示,这样,用户不必进行手动操作,尤其是驾驶员的双手无需离开方向盘,并且,平视显示仪可以设置在前挡风玻璃上与驾驶员正对的位置处,这样驾驶员在查看车辆数据时不必转移视线,本发明既能够对车辆进行快捷控制,又能降低安全隐患,这种友好的人机交互方式,大幅提升了用户体验。
实施例二
本实施例提供一种车用平视显示系统的面部识别交互方法,请参见图3,该方法包括以下步骤:
S301、开启平视显示仪。
具体的,初始状态下,在驾驶过程中或停止驾驶时,需要通过车载平视显示仪辅助显示路况、车速、娱乐多媒体等信息画面时,打开车载平视显示仪,可通过启动平视显示仪上的启动按键来开启平视显示仪。
进一步的,车载平视显示仪被打开后,初始界面为功能窗口,无执行任何车载功能。
S302、激活面部识别功能。
具体的,通过启动激活按钮激活面部表情识别功能,来控制车载设备传输相应的车辆数据到平视显示屏。其中,激活按钮可以设置在方向盘上或转向杆末端。
S303、采集用户的面部图像。
摄像头在接收到激活按钮启动的信号后,开始对驾驶员面部表情动作进行扫描,采集用户的面部图像。优选地,该摄像头可以安装在车辆仪表盘的遮光板上,且摄像头的镜头正对车辆内部,该摄像头优选为红外摄像头。
S304、对面部图像进行处理,提取生成面部表情动作图像。
其中,可以通过图像处理器对面部图像进行处理而获得面部表情动作图像。图像处理器与摄像头连接,接收摄像头发送的面部图像,然后对面部图像进行处理,对面部图像进行处理可以是对面部特征点进行标定,利用特征点反映面部表情动作。
S305、将面部表情动作图像与预设的面部表情动作进行比对,判断面部表情动作图像与预设的面部表情动作是否匹配。
本步骤可以由车载微处理器执行。在将面部表情动作图像与预设的面部表情动作进行比对之前,可以根据用户喜好,预先在车载微处理器中建立面部表情动作与车辆控制指令之间的一一对应关系,设置通过不同的面部表情动作触发不同的车辆控制指令,由这些控制指令控制与车载微处理器相连的各车载设备获取车辆实时数据并将这些数据传输至平视显示仪的平视显示屏。例如:眨眼动作可触发导航显示、张嘴动作可触发速度仪表显示、皱眉动作可触发车辆外周实时画面显示、抿嘴动作可触发娱乐多媒体的画面显示。
车载微处理器判断面部表情动作图像与预设的面部表情动作是否匹配包括如下步骤:
将面部表情动作图像与预设的多个面部表情动作逐一进行比对,计算所述面部表情动作图像与各个面部表情动作之间的相似度,获得多个相似度;从多个相似度中确定一个最大值作为候选相似度;将所述候选相似度与预设的相似度阈值进行比对,判断所述候选相似度是否大于所述相似度阈值;如果所述候选相似度大于所述相似度阈值,则确定所述面部表情动作图像与候选相似度所对应的面部表情动作相匹配;如果所述候选相似度不大于所述相似度阈值,则确定所述面部表情动作图像与候选相似度所对应的面部表情动作不匹配。
S306、如果面部表情动作图像与预设的面部表情动作相匹配,则确定与面部表情动作图像匹配的面部表情动作,查找与面部表情动作对应的车辆控制指令。
具体的,步骤S306可以由车载微处理器执行。由上述步骤S305可以与面部表情动作图像匹配的面部表情动作,继而根据面部表情动作与车辆控制指令之间的映射关系,可以查找得到与该确定的面部表情动作对应的车辆控制指令,将车辆控制指令发送给各车载设备。
S307、执行车辆控制指令,以获得车辆数据。
具体的,本步骤由车载设备及与车载设备连接的车载信息采集装置执行,车载设备接收车载微处理器发送的车辆控制指令,根据车辆控制指令控制相应的车载信息采集装置采集车辆数据,比如行车记录仪通过360°环视摄像头采集前方道路路况;仪表系统通过车速传感器采集车辆速度、转速、里程数;导航系统通过GPS采集车辆坐标位置等实时信息,最后,车载设备通过CAN总线将这些车辆数据传输给车载微处理器。
S308、将车辆数据通过平视显示仪进行展示。
车载微处理器接收车载设备发送的车辆数据,将车辆数据通过平视显示仪上的平视控制装置投影到平视显示屏上。
本发明通过获取用户的面部表情动作图像,将面部表情动作图像与预设的面部表情动作进行匹配,将匹配成功的面部表情动作所对应的车辆数据通过平视显示仪进行展示,实现了在行车过程中,通过面部表情控制车辆数据在平视显示仪上显示,这样,用户不必进行手动操作,尤其是驾驶员的双手无需离开方向盘,并且,平视显示仪可以设置在前挡风玻璃上与驾驶员正对的位置处,这样驾驶员在查看车辆数据时不必转移视线,本发明既能够对车辆进行快捷控制,又能降低安全隐患,这种友好的人机交互方式,大幅提升了用户体验。
实施例三
本实施例提供一种基于智能座舱平台的平视显示设备的交互系统,所述系统包括平视显示仪80、摄像头20、图像处理器30、车载微处理器40和激活按钮10,所述激活按钮10与摄像头20相连,所述摄像头20与图像处理器30连接,所述车载微处理器40分别与所述平视显示仪80和图像处理器30连接。
其中,所述激活按钮10用于激活面部识别功能。本发明中车辆不会一直支持面部识别功能,如果一直支持面部识别控制车载显示,有极大的误操作概念,例如驾驶员无意识的做了一个表情动作或多个动作,实际并没有想要操作车载终端的想法,此时便会产生误操作或平视显示混乱,所以,本发明设计为通过一定方式激活面部识别操作,具体为:只有按下激活按扭,在激活面部识别操作后,驾驶员才可以通过面部表情动作去控制车辆数据显示。
具体地,在本实施例中,所述激活按扭可以安装于方向盘上或转向杆末端,可以通过操作激活按扭来激活面部识别功能。通过设置在方向盘上或者转向杆上的激活按扭来激活面部识别功能,驾驶员的双手无需离开方向盘,这样在实现方便快捷控制的同时,又可以降低安全隐患。
所述摄像头20与激活按钮10相连,摄像头20可以安装在车辆仪表盘的遮光板上,且摄像头20的镜头正对车辆内部,摄像头20用于在激活面部识别功能时,采集用户的面部图像。优选地,摄像头20还可以以安装于车内后视镜上,摄像头20的镜头朝向车内;在激活面部识别操作后,驾驶员需抬头面向摄像头20做表情动作,若设置在于人眼水平方向,则可能出现一直进行面部识别工作,造成画面紊乱。优选地,所述摄像头20优选为红外摄像头20,红外摄像头20是利用红外线进行图像捕捉,具有高精度和高清晰图像拍摄的优势,例如在车内光线较暗时,传统摄像头20拍摄的图像不清楚,导致无法准确跟踪眼球的运动,获取的图像也不清晰,为识别眼球运动带来困难,而红外摄像头20则不存在此缺陷。所述摄像头20用于在平视显示仪80工作状态下,采集用户的面部图像,并将采集的面部图像发送至图像处理器30。
图像处理器30用于对所述面部图像进行处理,提取生成面部表情动作图像,并将所述面部表情动作图像发送至车载微处理器40。
具体的,车载微处理器40中预先建立了面部表情动作与车辆控制指令之间的一一对应关系,设置通过不同的面部表情动作触发不同的车辆控制指令,由这些控制指令控制与车载微处理器40相连的各车载设备70获取车辆实时数据并将这些数据传输至平视显示仪80的平视显示屏82。例如:眨眼动作可触发导航显示、张嘴动作可触发速度仪表显示、皱眉动作可触发车辆外周实时画面显示、抿嘴动作可触发娱乐多媒体的画面显示。
车载微处理器40用于将图像处理器30发送的面部表情动作图像与预设的面部表情动作进行比对,判断所述面部表情动作图像与预设的面部表情动作是否匹配,在所述面部表情动作图像与预设的面部表情动作相匹配时,根据面部表情动作与车辆控制指令的映射关系,生成与所述面部表情动作对应的车辆控制指令并发送至车载设备70。所述车载设备70用于执行所述车辆控制指令,并将执行车辆控制指令获得的车辆数据返回给车载微处理器40。
其中,所述车载设备70包括但不限定于:行车记录仪、仪表系统、导航、娱乐多媒体等。车载设备70通过CAN总线50与车载信息采集装置60连接,通过车载信息采集装置60获取车辆数据,比如行车记录仪通过360°环视摄像头20采集前方道路路况;仪表系统通过车速传感器采集车辆速度、转速、里程数;导航系统通过GPS采集车辆坐标位置等实时信息,车载设备70通过CAN总线50将这些实时数据传输到车载微处理器40中。
优选地,车载微处理器40还用于将面部表情动作图像与预设的多个面部表情动作逐一进行比对,计算所述面部表情动作图像与各个面部表情动作之间的相似度,获得多个相似度,以及从多个相似度中确定一个最大值作为候选相似度,并将所述候选相似度与预设的相似度阈值进行比对,判断所述候选相似度是否大于所述相似度阈值,当所述候选相似度大于所述相似度阈值时,确定所述面部表情动作图像与候选相似度所对应的面部表情动作相匹配,当所述候选相似度不大于所述相似度阈值时,确定所述面部表情动作图像与候选相似度所对应的面部表情动作不匹配。
所述平视显示仪80包括平视控制装置81和平视显示屏82,平视控制装置81用于接收车载微处理器40发送的车载数据,并将车载数据投影到平视显示屏82上进行展示。
本发明的有益效果是:在驾驶员驾驶过程中,在激活面部识别功能时,通过利用红外摄像头拍摄面部图像,然后通过图像处理模块将面部图像处理后传输到车载微处理器中,车载微处理器将面部表情动作图像与预设的面部表情动作对比,生成车辆控制指令,通过车辆控制指令控制各车载设备获取车辆数据,再将车辆数据通过平视显示仪上的平视控制装置投影到平视显示屏上。可实现对导航、速度仪表、实时路况、多媒体娱乐等应用的自由切换显示,驾驶员的双手无需离开方向盘,在实现方便快捷控制的同时,可以降低安全隐患,提升用户体验。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于智能座舱平台的平视显示设备的交互方法,其特征在于,所述方法包括:
在平视显示仪工作状态下,获取用户的面部表情动作图像;
将所述面部表情动作图像与预设的面部表情动作进行比对,判断所述面部表情动作图像与预设的面部表情动作是否匹配;
如果所述面部表情动作图像与预设的面部表情动作相匹配,则获取与所述面部表情动作图像匹配的面部表情动作所对应的车辆数据;
将所述车辆数据通过平视显示仪进行展示。
2.根据权利要求1所述的方法,其特征在于,在获取用户的面部表情动作图像之前,还包括:
建立面部表情动作与车辆控制指令之间的一一对应关系;
获取与所述面部表情动作图像匹配的面部表情动作所对应的车辆数据包括:
确定与所述面部表情动作图像匹配的面部表情动作;
查找与所述面部表情动作对应的车辆控制指令;
执行所述车辆控制指令,以获取车辆数据。
3.根据权利要求1所述的方法,其特征在于,所述获取用户的面部表情动作图像包括:
采集用户的面部图像;
对所述面部图像进行处理,提取生成面部表情动作图像。
4.根据权利要求1所述的方法,其特征在于,所述将所述面部表情动作图像与预设的面部表情动作逐一进行比对,判断所述面部表情动作图像与预设的面部表情动作是否匹配包括:
将面部表情动作图像与预设的多个面部表情动作逐一进行比对,计算所述面部表情动作图像与各个面部表情动作之间的相似度,获得多个相似度;
从多个相似度中确定一个最大值作为候选相似度;
将所述候选相似度与预设的相似度阈值进行比对,判断所述候选相似度是否大于所述相似度阈值;
如果所述候选相似度大于所述相似度阈值,则确定所述面部表情动作图像与候选相似度所对应的面部表情动作相匹配;
如果所述候选相似度不大于所述相似度阈值,则确定所述面部表情动作图像与候选相似度所对应的面部表情动作不匹配。
5.根据权利要求3所述的方法,其特征在于,在采集用户的面部图像之前,还包括:
判断是否激活面部识别功能,
若未激活面部识别功能,则自动激活面部识别功能或者发出提示信息,所述提示信息用于提醒用户手动激活面部识别功能;
在面部识别功能被激活时,采集用户的面部图像。
6.根据权利要求2所述的方法,其特征在于,所述面部表情动作包括眨眼、张嘴、皱眉和抿嘴。
7.一种基于智能座舱平台的平视显示设备的交互系统,其特征在于,所述系统包括平视显示仪、摄像头、图像处理器和车载微处理器,所述摄像头与图像处理器连接,所述车载微处理器分别与所述平视显示仪和图像处理器连接;
所述摄像头用于在平视显示仪工作状态下,采集用户的面部图像,并将采集的面部图像发送至图像处理器;
所述图像处理器用于对所述面部图像进行处理,提取生成面部表情动作图像,并将所述面部表情动作图像发送至车载微处理器;
所述车载微处理器用于将所述面部表情动作图像与预设的面部表情动作进行比对,判断所述面部表情动作图像与预设的面部表情动作是否匹配,以及在所述面部表情动作图像与预设的面部表情动作相匹配时,获取与所述面部表情动作图像匹配的面部表情动作所对应的车辆数据,并将所述车辆数据发送给平视显示仪;
所述平视显示仪用于展示所述车辆数据。
8.根据权利要求7所述的系统,其特征在于,所述系统还包括车载设备,所述车载设备与车载微处理器连接;
所述车载微处理器还用于在所述面部表情动作图像与预设的面部表情动作相匹配时,根据面部表情动作与车辆控制指令的映射关系,生成与所述面部表情动作对应的车辆控制指令并发送至车载设备;
所述车载设备用于执行所述车辆控制指令,并将执行车辆控制指令获得的车辆数据返回给车载微处理器。
9.根据权利要求7所述的系统,其特征在于,
所述车载微处理器还用于将面部表情动作图像与预设的多个面部表情动作逐一进行比对,计算所述面部表情动作图像与各个面部表情动作之间的相似度,获得多个相似度,以及从多个相似度中确定一个最大值作为候选相似度,并将所述候选相似度与预设的相似度阈值进行比对,判断所述候选相似度是否大于所述相似度阈值,当所述候选相似度大于所述相似度阈值时,确定所述面部表情动作图像与候选相似度所对应的面部表情动作相匹配,当所述候选相似度不大于所述相似度阈值时,确定所述面部表情动作图像与候选相似度所对应的面部表情动作不匹配。
10.根据权利要求7所述的系统,其特征在于,所述系统还包括与摄像头连接的激活按钮,所述激活按钮用于激活面部识别功能;
所述激活按钮设置在车辆方向盘上或者转向杆末端;
所述摄像头安装在车辆仪表盘的遮光板上,且摄像头的镜头正对车辆内部,摄像头用于在激活面部识别功能时,采集用户的面部图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810252419.4A CN108334871A (zh) | 2018-03-26 | 2018-03-26 | 基于智能座舱平台的平视显示设备的交互方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810252419.4A CN108334871A (zh) | 2018-03-26 | 2018-03-26 | 基于智能座舱平台的平视显示设备的交互方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108334871A true CN108334871A (zh) | 2018-07-27 |
Family
ID=62931406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810252419.4A Pending CN108334871A (zh) | 2018-03-26 | 2018-03-26 | 基于智能座舱平台的平视显示设备的交互方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108334871A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109835261A (zh) * | 2019-03-14 | 2019-06-04 | 上海擎感智能科技有限公司 | 基于控制器的汽车hud与车机的交互方法、交互装置 |
CN110502116A (zh) * | 2019-08-20 | 2019-11-26 | 广东远峰汽车电子有限公司 | 汽车情感机器人与乘车人员的互动方法及装置 |
CN110825216A (zh) * | 2018-08-10 | 2020-02-21 | 北京魔门塔科技有限公司 | 一种驾驶员驾驶时人机交互的方法和系统 |
CN111552431A (zh) * | 2019-02-12 | 2020-08-18 | 沃尔沃汽车公司 | 平视显示器上的显示和输入镜像 |
CN112078519A (zh) * | 2020-09-09 | 2020-12-15 | 上海仙塔智能科技有限公司 | 车载全息投影仪控制系统及车载全息投影仪 |
CN112738407A (zh) * | 2021-01-06 | 2021-04-30 | 富盛科技股份有限公司 | 一种操控多摄像机的方法和装置 |
CN112868058A (zh) * | 2018-11-02 | 2021-05-28 | 京瓷株式会社 | 无线通信平视显示器系统、无线通信设备、移动体以及程序 |
CN114845051A (zh) * | 2022-04-18 | 2022-08-02 | 重庆长安汽车股份有限公司 | 一种基于人脸识别的行车摄影系统及方法 |
US11830343B2 (en) | 2020-12-22 | 2023-11-28 | Toyota Jidosha Kabushiki Kaisha | Information processing apparatus, information processing method, and non-transitory storage medium |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070164990A1 (en) * | 2004-06-18 | 2007-07-19 | Christoffer Bjorklund | Arrangement, method and computer program for controlling a computer apparatus based on eye-tracking |
CN103871200A (zh) * | 2012-12-14 | 2014-06-18 | 深圳市赛格导航科技股份有限公司 | 用于汽车驾驶的安全提醒系统及方法 |
CN105527710A (zh) * | 2016-01-08 | 2016-04-27 | 北京乐驾科技有限公司 | 一种智能抬头显示系统 |
CN105654753A (zh) * | 2016-01-08 | 2016-06-08 | 北京乐驾科技有限公司 | 一种智能车载安全驾驶辅助方法及系统 |
CN105739705A (zh) * | 2016-02-04 | 2016-07-06 | 重庆邮电大学 | 一种车载系统人眼控制方法及装置 |
CN106627589A (zh) * | 2016-12-27 | 2017-05-10 | 科世达(上海)管理有限公司 | 一种车辆行驶安全辅助方法、系统及车辆 |
-
2018
- 2018-03-26 CN CN201810252419.4A patent/CN108334871A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070164990A1 (en) * | 2004-06-18 | 2007-07-19 | Christoffer Bjorklund | Arrangement, method and computer program for controlling a computer apparatus based on eye-tracking |
CN103871200A (zh) * | 2012-12-14 | 2014-06-18 | 深圳市赛格导航科技股份有限公司 | 用于汽车驾驶的安全提醒系统及方法 |
CN105527710A (zh) * | 2016-01-08 | 2016-04-27 | 北京乐驾科技有限公司 | 一种智能抬头显示系统 |
CN105654753A (zh) * | 2016-01-08 | 2016-06-08 | 北京乐驾科技有限公司 | 一种智能车载安全驾驶辅助方法及系统 |
CN105739705A (zh) * | 2016-02-04 | 2016-07-06 | 重庆邮电大学 | 一种车载系统人眼控制方法及装置 |
CN106627589A (zh) * | 2016-12-27 | 2017-05-10 | 科世达(上海)管理有限公司 | 一种车辆行驶安全辅助方法、系统及车辆 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110825216A (zh) * | 2018-08-10 | 2020-02-21 | 北京魔门塔科技有限公司 | 一种驾驶员驾驶时人机交互的方法和系统 |
CN112868058A (zh) * | 2018-11-02 | 2021-05-28 | 京瓷株式会社 | 无线通信平视显示器系统、无线通信设备、移动体以及程序 |
CN111552431A (zh) * | 2019-02-12 | 2020-08-18 | 沃尔沃汽车公司 | 平视显示器上的显示和输入镜像 |
CN109835261A (zh) * | 2019-03-14 | 2019-06-04 | 上海擎感智能科技有限公司 | 基于控制器的汽车hud与车机的交互方法、交互装置 |
CN109835261B (zh) * | 2019-03-14 | 2022-07-19 | 上海擎感智能科技有限公司 | 基于控制器的汽车hud与车机的交互方法、交互装置 |
CN110502116A (zh) * | 2019-08-20 | 2019-11-26 | 广东远峰汽车电子有限公司 | 汽车情感机器人与乘车人员的互动方法及装置 |
CN112078519A (zh) * | 2020-09-09 | 2020-12-15 | 上海仙塔智能科技有限公司 | 车载全息投影仪控制系统及车载全息投影仪 |
US11830343B2 (en) | 2020-12-22 | 2023-11-28 | Toyota Jidosha Kabushiki Kaisha | Information processing apparatus, information processing method, and non-transitory storage medium |
CN112738407A (zh) * | 2021-01-06 | 2021-04-30 | 富盛科技股份有限公司 | 一种操控多摄像机的方法和装置 |
CN114845051A (zh) * | 2022-04-18 | 2022-08-02 | 重庆长安汽车股份有限公司 | 一种基于人脸识别的行车摄影系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108334871A (zh) | 基于智能座舱平台的平视显示设备的交互方法及系统 | |
CN105527710B (zh) | 一种智能抬头显示系统 | |
KR20190030731A (ko) | 다중모드 신호 분석을 이용한 명령 프로세싱 | |
CN104875680B (zh) | 一种结合语音和视频识别的hud显示装置 | |
KR101659027B1 (ko) | 이동 단말기 및 차량 제어 장치 | |
US11524578B2 (en) | Control method and control device for vehicle display device | |
CN109917920A (zh) | 车载投射处理方法、装置、车载设备及存储介质 | |
CN105654753A (zh) | 一种智能车载安全驾驶辅助方法及系统 | |
CN108423004A (zh) | 一种双目识别驾驶员状态检测系统及方法 | |
CN108621942A (zh) | 车辆的显示系统及车辆的显示系统的控制方法 | |
CN205720871U (zh) | 一种智能抬头显示系统 | |
CN112026790B (zh) | 车载机器人的控制方法及装置、车辆、电子设备和介质 | |
WO2007074842A1 (ja) | 画像処理装置 | |
JP2005138755A (ja) | 虚像表示装置およびプログラム | |
CN109636924A (zh) | 基于现实路况信息三维建模的车载多模式增强现实系统 | |
CN104866106A (zh) | 一种结合hud与红外识别的人机交互方法和系统 | |
CN109522792A (zh) | 一种驾驶身份验证系统和方法 | |
CN109963144B (zh) | 一种基于ar-hud的车载识别系统 | |
US20200074060A1 (en) | User authentication device and method for triggering user-specific target operation | |
CN111240477A (zh) | 一种车载人机交互方法、系统和具有该系统的车辆 | |
CN105564343A (zh) | 用于连接移动照相机装置的装置和方法 | |
CN109421733A (zh) | 驾驶者状态掌握装置、驾驶者状态掌握系统及方法 | |
WO2022142331A1 (zh) | 车载显示屏的控制方法及装置、电子设备和存储介质 | |
CN107316542A (zh) | 一种应用于驾考、驾培的车载控制装置及系统 | |
CN110825216A (zh) | 一种驾驶员驾驶时人机交互的方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180727 |
|
RJ01 | Rejection of invention patent application after publication |