CN117227740B - 一种智能驾驶车辆的多模态感知系统及方法 - Google Patents
一种智能驾驶车辆的多模态感知系统及方法 Download PDFInfo
- Publication number
- CN117227740B CN117227740B CN202311185649.0A CN202311185649A CN117227740B CN 117227740 B CN117227740 B CN 117227740B CN 202311185649 A CN202311185649 A CN 202311185649A CN 117227740 B CN117227740 B CN 117227740B
- Authority
- CN
- China
- Prior art keywords
- data
- action
- eye movement
- training
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000009471 action Effects 0.000 claims abstract description 122
- 238000012549 training Methods 0.000 claims abstract description 69
- 230000004424 eye movement Effects 0.000 claims abstract description 64
- 238000010801 machine learning Methods 0.000 claims abstract description 41
- 238000007405 data analysis Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 17
- 238000007781 pre-processing Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 12
- 230000000875 corresponding effect Effects 0.000 claims description 11
- 230000006399 behavior Effects 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000002596 correlated effect Effects 0.000 claims description 4
- 239000012141 concentrate Substances 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 2
- 210000003128 head Anatomy 0.000 description 46
- 206010039203 Road traffic accident Diseases 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明属于多模态感知技术领域，本发明公开了一种智能驾驶车辆的多模态感知系统及方法，包括：采集眼动数据和头部姿态数据，将头部姿态数据与眼动数据相关联生成眼动综合数据；采集乘车成员动作训练数据；基于眼动综合数据分析生成视线调节指令和疲劳警告指令；基于乘车成员动作训练数据训练出实时识别危险动作概率的机器学习模型；基于机器学习模型输出结果生成动作警告指令并基于视线调节指令和疲劳警告指令进行处理。
Description
技术领域
本发明涉及多模态感知技术领域，更具体地说，本发明涉及一种智能驾驶车辆的多模态感知系统及方法。
背景技术
模态是指一些表达或感知事物的方式，每一种信息的来源或者形式，都可以称为一种模态。多模态数据涉及不同的传感器如视觉、听觉、触觉与嗅觉所接收到的信息。
授权公告号CN109910900B的中国专利公开了一种智能驾驶方法，根据驾驶员的人体综合疲劳状况和车辆所处的路况环境来智能地判断采用何种驾驶模式更合适，大大提高了车辆驾驶的安全性，减轻了驾驶员的驾驶压力。
但对于人体综合疲劳状况监测过程过于复杂繁琐，佩戴多种传感器在身上时间过长，不能达到快速上车启动车辆的目的，在有紧急事件情况下，启动车辆之前流程过慢，影响驾驶体验，未能考虑到驾驶员视线的注意力，未能多方面评估驾驶员危险驾驶状态，未考虑车辆上其他人员行为对驾驶员的影响。
鉴于此，本发明提出一种智能驾驶车辆的多模态感知系统及方法以解决上述问题。
发明内容
为了克服现有技术的上述缺陷，本发明的实施例提供一种智能驾驶车辆的多模态感知系统及方法。
为实现上述目的，本发明提供如下技术方案：一种智能驾驶车辆的多模态感知方法，包括：采集眼动数据和头部姿态数据，将头部姿态数据与眼动数据相关联生成眼动综合数据；
采集乘车成员动作训练数据；
基于眼动综合数据分析生成视线调节指令和疲劳警告指令；
基于乘车成员动作训练数据训练出实时识别危险动作概率的机器学习模型；
基于机器学习模型输出结果生成动作警告指令并基于视线调节指令和疲劳警告指令进行处理。
一种智能驾驶车辆的多模态感知系统，包括：
第一数据采集模块，采集眼动数据和头部姿态数据，将头部姿态数据与眼动数据相关联；
第二数据采集模块，采集乘车成员动作训练数据；
数据分析模块，基于眼动综合数据分析生成视线调节指令和疲劳警告指令；
模型训练模块，基于乘车成员动作训练数据训练出实时识别危险动作概率的机器学习模型；
控制模块，基于机器学习模型输出结果生成动作警告指令，并基于视线调节指令和疲劳警告指令进行处理。
一种电子设备，包括：处理器和存储器，其中，所述存储器中存储有可供处理器调用的计算机程序；所述处理器通过调用所述存储器中存储的计算机程序，执行上述的一种智能驾驶车辆的多模态感知方法。
一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行上述的一种智能驾驶车辆的多模态感知方法。
本发明一种智能驾驶车辆的多模态感知系统的技术效果和优点：
采集眼动数据和头部姿态数据，将头部姿态数据与眼动数据相关联生成眼动综合数据；采集乘车成员动作训练数据；基于眼动综合数据分析生成视线调节指令和疲劳警告指令；基于乘车成员动作训练数据训练出实时识别危险动作概率的机器学习模型；基于机器学习模型输出结果生成动作警告指令并基于视线调节指令和疲劳警告指令进行处理；实现了没有额外穿戴传感器的过程，节省启动车辆的时间，使用多模态多传感器对乘车成员的危险动作进行预测预警，实时对驾驶员的视线状态和疲劳状况进行评估分析，降低驾驶员驾驶不专心，驾驶疲劳以及车内危险动作导致的交通事故发生概率。
附图说明
图1为本发明的一种智能驾驶车辆的多模态感知系统示意图；
图2为本发明的一种智能驾驶车辆的多模态感知方法示意图；
图3为本发明的一种智能驾驶车辆的多模态感知系统电子设备示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
请参阅图1所示，本实施例所述一种智能驾驶车辆的多模态感知系统，包括，第一数据采集模块1、第二数据采集模块2、数据分析模块3、模型训练模块4与控制模块5，各个模块之间通过有线和/或无线网络方式连接。
第一数据采集模块1用于采集眼动数据和头部姿态数据。
眼动数据包括注视点坐标和眨眼信息；注视点坐标提供眼睛注视的具体位置坐标，具体的，注视点坐标相对于眼动仪的坐标系；注视点坐标可以用来分析驾驶员的目光在车内环境中的聚焦点和移动轨迹；
眨眼信息用于记录驾驶员的眨眼动作，包括眨眼的开始时间、结束时间、频率和持续时间；通过眨眼信息可以评估驾驶员的疲劳程度和注意力水平；
所述眼动数据由安装在车辆内部的眼动仪监测获取；眼动仪可以直接监测和获取注视点坐标和眨眼信息，是一种专门设计用于追踪和记录眼球运动的眼动追踪技术设备，可以实时地测量眼睛的位置、瞳孔大小与眼球运动等参数。
眼动追踪技术通过检测角膜反射光的强度变化来确定注视点的坐标，只能提供二维注视点的坐标，即只能在屏幕坐标系或目标平面的位置上进行定位；在驾驶员驾驶车辆中实用性不强，因为驾驶员需要实时的观测左右以及前后三维空间的来车来了解车辆路况，如果只对正前方平面进行眼动追踪，当驾驶员扭头观测其他方向来车时，可能会误判二维注视点坐标，因此第一数据采集模块1还采集头部姿态数据，将头部姿态数据与眼动数据相关联，获取驾驶员在三维空间中的注视方向。
头部姿态数据包括头部旋转角度；头部旋转角度为头部在三维空间中绕各轴旋转的角度，例如俯仰(上下)、横滚(倾斜)和偏航(左右)角度。
头部姿态数据是由红外传感器结合计算机视觉技术获取，示例性的，头部姿态数据获取方式如下：
步骤S1、使用红外传感器(例如红外摄像头或深度摄像头)对驾驶员的头部进行监测和跟踪，得到红外图像；红外传感器可以通过红外辐射和反射原理来检测物体的位置和形状。
步骤S2、人脸识别与关键特征点提取；通过计算机视觉技术对红外图像进行处理，进行人脸检测；在检测到人脸后，利用关键特征点提取算法，如形状模型或深度学习模型中的一种，识别人脸的关键特征点，如眼睛、嘴巴或鼻子等。
步骤S3、头部姿态估计；根据人脸的关键特征点，基于几何学估计头部的旋转角度；具体的，根据特征点之间的相对位置和变化情况，计算出头部的俯仰、横滚和偏航角度。
所述头部姿态数据与眼动数据相关联的过程如下：
将头部姿态数据和眼动数据进行时间上的关联，确保两组数据是在同一时间点采集到的；
对头部姿态数据进行数学转换，将其映射到与眼动数据相同的坐标系中；转换包括旋转、平移和缩放等操作；关联后的头部姿态数据与眼动数据作为眼动综合数据。
需要说明的是，头部姿态数据映射到眼动数据相同的坐标系中是为了消除头部姿态对眼动数据的影响，通过将头部姿态数据与眼动数据相关联得到眼动综合数据，可以更准确地确定驾驶员的视线方向；对于评估驾驶员的注意力分配以及疲劳状态等方面具有重要意义。
第一数据采集模块1将眼动综合数据发送给数据分析模块3。
动作数据采集模块2用于采集乘车成员动作训练数据。所述采集乘车成员动作训练数据的过程如下：
设置驾驶危险动作序列；危险动作包括：头伸出窗外、行驶过程中打开车门、驾驶员手离开方向盘与副驾驶成员伸手抢夺方向盘等影响驾驶安全的行为；
安排若干人员在车辆中的各个座位就座，依次实施每个危险动作；在某人员实施危险动作时，其他座位的人员保持静止状态，且实施危险动作的人员，除实施危险动作所必要的身体部位执行动作外，其余身体部位保持静止状态；
使用车载摄像头实时拍摄车辆内的视频数据，获得每个座位上人员实施每个危险动作的视频数据，将该视频数据标记为预处理视频数据；将危险动作序列中的危险动作编号标记为a；
收集若干与危险动作不同的其他行为视频数据并标记为预处理干扰视频数据，便于后续使用机器学习模型来区分危险动作。预处理干扰视频数据以及预处理视频数据共同构成乘车成员动作训练数据。
第二数据采集模块2将乘车成员动作训练数据发送给模型训练模块4。
数据分析模块3基于眼动综合数据分析。
使用眼动数据分析软件，在驾驶员视角图像上标记前挡风玻璃为一级感兴趣区域，侧车窗的区域为二级感兴趣区域；具体的，可以使用矩形、多边形或其他形状来表示感兴趣区域，以表示前挡风玻璃和侧车窗的边界。
眼动数据分析软件可以是Eye Tracking Analysis Software(ETAS)；ETAS用于标记和分析驾驶员的眼动数据并提供了图像标记工具，可以在驾驶员视角图像上创建和调整感兴趣区域。
驾驶员视角图像为安装在驾驶员座位的摄像头拍摄获取，驾驶员视角图像反应了驾驶员的实际视野。
当注视点坐标位于一级感兴趣区域时说明驾驶员正在专注于道路前方，当注视点坐标位于二级感兴趣区域说明驾驶员可能在观察侧窗后视镜，或观察侧方路况，但是注视点坐标位于二级感兴趣区域的时间不宜过长，当驾驶员注视点坐标位于二级感兴趣区域的时间过长时，注意力就会从前方道路转移，分散了注意力，可能导致驾驶员错过前方车辆、行人、交通信号灯等重要信息，增加交通事故发生的风险；过长时间观察侧窗会导致驾驶员的手部姿势变得不稳定，可能会影响对方向盘的控制，导致车辆偏离正常行驶轨迹，增加交通事故的风险。
通过公式计算注视偏移评估值eye_score；式中，t1表示注视点坐标不在一级感兴趣区域的时间，t2表示注视点坐标在二级感兴趣区域的时间，t3表示注视点坐标既不在一级感兴趣区域，也不在二级感兴趣区域的时间。
需要说明的是，当注视点坐标不在一级感兴趣区域，很可能错过前方车辆、行人、交通信号灯等重要信息，但是可能是在观察二级感兴趣区域，因此t1对eye_score影响能力中等，注视点坐标在二级感兴趣区域时，驾驶员可能在观察侧窗后视镜，或观察侧方路况，当过长时t2对eye_score也有影响，但不如t1的影响能力，当注视点坐标既不在一级感兴趣区域，也不在二级感兴趣区域，驾驶员视线未能在观察路况上，对道路驾驶安全影响能力最大，长时间未观察路况，提高了出现交通事故的概率。
eye_score综合考虑了驾驶员视线处于不同区域的情况，反映了驾驶过程中的视线偏移路况时的危险程度，eye_score越大，则危险程度越高。
设置注视偏移评估阈值eye_safe，当eye_score<eye_safe时，标记为视线正常状态，当eye_score≥eye_safe时，标记为视线危险状态，生成视线调节指令发送给控制模块5。
通过公式计算疲劳评估值tired；式中，V1表示实时每分钟驾驶员眨眼频率；V2表示正常情况每分钟驾驶员眨眼频率；U表示驾驶员每分钟偏头次数。
需要说明的是驾驶员每分钟偏头次数是根据头部姿态数据中的横滚角度得出，设置横滚角度阈值，当横滚角度大于横滚角度阈值时，标记为偏头，代表驾驶员可能驾驶中犯困疲劳；横滚角度阈值通常设置在8°-12°之间，具体由工作人员根据个人生理差异设置，如某人疲劳时，头部动作幅度小，横滚角度阈值设置为8°，某人疲劳时，头部动作幅度较大，横滚角度阈值设置为12°；驾驶员每分钟偏头次数越多，表示疲劳程度越严重。
正常情况下每分钟人的眨眼频率一般为10-20次，为取驾驶情况下的平均值，将正常情况每分钟驾驶员眨眼频率固定为每分钟15次；当长时间疲劳或缺乏充分休息的情况下，眨眼次数可能会增加；这是由于疲劳会导致身体和大脑的疲惫，从而影响到眼睛的正常活动；增加的眨眼次数为了保持眼睛湿润、减轻眼部疲劳感；当增加的眨眼次数越多，表示疲劳程度越严重。
tired综合考虑了疲劳状态下，驾驶员的眨眼频率和偏头次数，tired越高代表驾驶员疲劳程度越严重，越可能对路况反应不及时，导致造成交通事故。
设置疲劳评估阈值tired_go,当tired<tired_go时，不进行操作；当tired≥tired_go时生成疲劳警告指令发送给控制模块5。tired_go具体由工作人员根据地区路况设置，路况较好时，轻微疲劳对驾驶影响程度低，tired_go相对设置高，路况不良时则tired_go相对设置低，更灵敏的反应出驾驶员疲劳程度。
模型训练模块4基于乘车成员动作训练数据训练出实时识别危险动作概率的机器学习模型；所述机器学习模型的训练过程如下：
将第a个危险动作的预处理视频数据对应的标签设为1，将预处理干扰视频数据对应的标签设为0，将乘车成员动作训练数据构建为机器学习模型的数据集；所述数据集分为训练集、验证集和测试集，其中训练集占数据集的70％，验证集和测试集各占数据集的15％。
将所述训练集作为机器学习模型的输入，所述机器学习模型以第a个危险动作发生概率作为输出，第a个危险动作发生概率取值为0-1；以车载摄像头实时拍摄车辆内的视频数据中，第a个危险动作发生概率作为预测目标，以最小化机器学习模型损失函数值作为训练目标；当机器学习模型损失函数值小于等于预设的目标损失值时停止训练。
所述机器学习模型损失函数可以为均方误差(MSE)或交叉熵(CE)；示例性的，均方误差(MSE)通过将损失函数值最小化为目标来训练模型，使得机器学习模型更好地拟合数据，从而提高模型的性能和准确率；损失函数中mse为损失函数值，i为乘车成员动作训练数据组号；u为乘车成员动作训练数据组数；yi为第i组乘车成员动作训练数据对应的标签，/>为基于第i组乘车成员动作训练数据的第a个危险动作发生概率。
所述机器学习模型可以为双流卷积神经网络模型或3D卷积神经网络模型中的任意一种；所述机器学习模型的其他模型参数，例如目标损失值、网络模型的深度、每层的神经元数量、网络模型使用的激活函数以及损失函数的优化等均通过实际的工程实现，不断地进行实验调优后获得。
所述机器学习模型训练完成后，能够实时的分析车辆上驾驶员危险动作以及车辆上其他人员的危险动作，并生成不同危险动作发生概率，便于对危险动作进行预警和警告。
模型训练模块4将输出结果发送给控制模块5。
控制模块5基于输出结果生成动作警告指令，基于疲劳警告指令和视线调节指令进行相应处理。
设置危险动作发生概率阈值，当第a种危险动作发生概率大于等于危险动作发生概率阈值时，生成动作警告指令；危险动作发生概率阈值设置为80％，可由工作人员根据实际情况调整。
动作警告指令包括通过车载音响语音提醒车内成员，尽快停止第a种危险动作；需要说明的是，有时乘车成员并不清楚哪些动作是危险动作，动作警告指令将会告知具体识别到的第a种危险动作，方便乘车成员停止危险动作。
疲劳警告指令包括车载音响语音提醒驾驶员集中注意力，或靠边停车休息；视线调节指令包括车载音响语音提醒驾驶员视线集中。
实施例1实现了没有额外穿戴传感器的过程，节省启动车辆的时间，使用多模态多传感器对乘车成员的危险动作进行预测预警，实时对驾驶员的视线状态和疲劳状况进行评估分析，降低驾驶员驾驶不专心，驾驶疲劳以及车内危险动作导致的交通事故发生概率。
实施例2
请参阅图2所示，本实施例未详细叙述部分见实施例一描述内容，提供一种智能驾驶车辆的多模态感知系统。所述方法包括：
采集眼动数据和头部姿态数据，将头部姿态数据与眼动数据相关联生成眼动综合数据；
采集乘车成员动作训练数据；
基于眼动综合数据分析生成视线调节指令和疲劳警告指令；
基于乘车成员动作训练数据训练出实时识别危险动作概率的机器学习模型；
基于机器学习模型输出结果生成动作警告指令并基于视线调节指令和疲劳警告指令进行处理。
进一步的，眼动数据包括注视点坐标和眨眼信息；头部姿态数据包括头部旋转角度；
所述将头部姿态数据与眼动数据相关联的过程如下：将头部姿态数据和眼动数据进行时间上的关联，确保两组数据是在同一时间点采集到的；对头部姿态数据进行数学转换，将其映射到与眼动数据相同的坐标系中；关联后的头部姿态数据与眼动数据作为眼动综合数据。
进一步的，所述采集乘车成员动作训练数据的过程如下：
设置驾驶危险动作序列；安排若干人员在车辆中的各个座位就座，依次实施每个危险动作；在某人员实施危险动作时，其他座位的人员保持静止状态，且实施危险动作的人员，除实施危险动作所必要的身体部位执行动作外，其余身体部位保持静止状态；
使用车载摄像头实时拍摄车辆内的视频数据，获得每个座位上人员实施每个危险动作的视频数据，将该视频数据标记为预处理视频数据；收集若干与危险动作不同的其他行为视频数据并标记为预处理干扰视频数据，预处理干扰视频数据以及预处理视频数据共同构成乘车成员动作训练数据。
进一步的，使用眼动数据分析软件，在驾驶员视角图像上标记前挡风玻璃为一级感兴趣区域，侧车窗的区域为二级感兴趣区域；
通过公式计算注视偏移评估值eye_score；式中，t1表示注视点坐标不在一级感兴趣区域的时间，t2表示注视点坐标在二级感兴趣区域的时间，t3表示注视点坐标既不在一级感兴趣区域，也不在二级感兴趣区域的时间；
设置注视偏移评估阈值eye_safe，当eye_score<eye_safe时，标记为视线正常状态，当eye_score≥eye_safe时，标记为视线危险状态，生成视线调节指令。
进一步的，通过公式计算疲劳评估值tired；式中，V1表示实时每分钟驾驶员眨眼频率；V2表示正常情况每分钟驾驶员眨眼频率；U表示驾驶员每分钟偏头次数；
设置疲劳评估阈值tired_go,当tired<tired_go时，不进行操作；当tired≥tired_go时生成疲劳警告指令。
进一步的，所述机器学习模型的训练过程如下：
将第a个危险动作的预处理视频数据对应的标签设为1，将预处理干扰视频数据对应的标签设为0，将乘车成员动作训练数据构建为机器学习模型的数据集；所述数据集分为训练集、验证集和测试集，其中训练集占数据集的70％，验证集和测试集各占数据集的15％。
将所述训练集作为机器学习模型的输入，所述机器学习模型以第a个危险动作发生概率作为输出，第a个危险动作发生概率取值为0-1；以车载摄像头实时拍摄车辆内的视频数据中，第a个危险动作发生概率作为预测目标，以最小化机器学习模型损失函数值作为训练目标；损失函数中mse为损失函数值，i为乘车成员动作训练数据组号；u为乘车成员动作训练数据组数；yi为第i组乘车成员动作训练数据对应的标签，/>为基于第i组乘车成员动作训练数据的第a个危险动作发生概率；当机器学习模型损失函数小于等于预设的目标损失值时停止训练；
所述机器学习模型可以为双流卷积神经网络模型或3D卷积神经网络模型中的任意一种；
进一步的，设置危险动作发生概率阈值，当第a种危险动作发生概率大于等于危险动作发生概率阈值时，生成动作警告指令；
动作警告指令包括通过车载音响语音提醒车内成员，尽快停止第a种危险动作；疲劳警告指令包括车载音响语音提醒驾驶员集中注意力或靠边停车休息；视线调节指令包括车载音响语音提醒驾驶员视线集中。
实施例3
请参阅图3所示，根据示例性实施例示出的一种电子设备，包括：处理器和存储器，其中，所述存储器中存储有可供处理器调用的计算机程序；
所述处理器通过调用所述存储器中存储的计算机程序，执行上述的一种智能驾驶车辆的多模态感知方法。
实施例4
根据示例性实施例示出的一种计算机可读存储介质，其上存储有可擦写的计算机程序；
当所述计算机程序在计算机设备上运行时，使得所述计算机设备执行上述的一种智能驾驶车辆的多模态感知方法。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线网络或无线网络方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。
本领域普通技术人员可以意识到，结合本发明中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种智能驾驶车辆的多模态感知方法，其特征在于，包括：
采集眼动数据和头部姿态数据，将头部姿态数据与眼动数据相关联生成眼动综合数据；
采集乘车成员动作训练数据；
基于眼动综合数据分析生成视线调节指令和疲劳警告指令；
基于乘车成员动作训练数据训练出实时识别危险动作概率的机器学习模型；
基于机器学习模型输出结果生成动作警告指令并基于视线调节指令和疲劳警告指令进行处理；
眼动数据包括注视点坐标和眨眼信息；头部姿态数据包括头部旋转角度；
所述将头部姿态数据与眼动数据相关联的过程如下：将头部姿态数据和眼动数据进行时间上的关联，确保两组数据是在同一时间点采集到的；对头部姿态数据进行数学转换，将头部姿态数据映射到与眼动数据相同的坐标系中；关联后的头部姿态数据与眼动数据作为眼动综合数据；
所述采集乘车成员动作训练数据的过程如下：
设置驾驶危险动作序列；安排若干人员在车辆中的各个座位就座，依次实施每个危险动作；在某人员实施危险动作时，其他座位的人员保持静止状态，且实施危险动作的人员，除实施危险动作所必要的身体部位执行动作外，其余身体部位保持静止状态；
使用车载摄像头实时拍摄车辆内的视频数据，获得每个座位上人员实施每个危险动作的视频数据，将该视频数据标记为预处理视频数据；收集若干与危险动作不同的其他行为视频数据并标记为预处理干扰视频数据，预处理干扰视频数据以及预处理视频数据共同构成乘车成员动作训练数据；
使用眼动数据分析软件，在驾驶员视角图像上标记前挡风玻璃为一级感兴趣区域，侧车窗的区域为二级感兴趣区域；
通过公式计算注视偏移评估值eye_score；式中，t1表示注视点坐标不在一级感兴趣区域的时间，t2表示注视点坐标在二级感兴趣区域的时间，t3表示注视点坐标既不在一级感兴趣区域，也不在二级感兴趣区域的时间；
设置注视偏移评估阈值eye_safe，当eye_score<eye_safe时，标记为视线正常状态，当eye_score≥eye_safe时，标记为视线危险状态，生成视线调节指令；
通过公式计算疲劳评估值tired；式中，V1表示实时每分钟驾驶员眨眼频率；V2表示正常情况每分钟驾驶员眨眼频率；U表示驾驶员每分钟偏头次数；
设置疲劳评估阈值tired_go,当tired<tired_go时，不进行操作；当tired≥tired_go时生成疲劳警告指令；
所述机器学习模型的训练过程如下：
将第a个危险动作的预处理视频数据对应的标签设为1，将预处理干扰视频数据对应的标签设为0，将乘车成员动作训练数据构建为机器学习模型的数据集；所述数据集分为训练集、验证集和测试集，其中训练集占数据集的70％，验证集和测试集各占数据集的15％；
将所述训练集作为机器学习模型的输入，所述机器学习模型以第a个危险动作发生概率作为输出，第a个危险动作发生概率取值为0-1；以车载摄像头实时拍摄车辆内的视频数据中，第a个危险动作发生概率作为预测目标，以最小化机器学习模型损失函数值作为训练目标；损失函数中mse为损失函数值，i为乘车成员动作训练数据组号；u为乘车成员动作训练数据组数；yi为第i组乘车成员动作训练数据对应的标签，/>为基于第i组乘车成员动作训练数据的第a个危险动作发生概率；当机器学习模型损失函数小于等于预设的目标损失值时停止训练；
所述机器学习模型可以为双流卷积神经网络模型或3D卷积神经网络模型中的任意一种；
设置危险动作发生概率阈值，当第a种危险动作发生概率大于等于危险动作发生概率阈值时，生成动作警告指令；
动作警告指令包括通过车载音响语音提醒车内成员，尽快停止第a种危险动作；疲劳警告指令包括车载音响语音提醒驾驶员集中注意力或靠边停车休息；视线调节指令包括车载音响语音提醒驾驶员视线集中。
2.根据权利要求1所述的一种智能驾驶车辆的多模态感知系统，其特征在于，包括：
第一数据采集模块(1)，采集眼动数据和头部姿态数据，将头部姿态数据与眼动数据相关联；
第二数据采集模块(2)，采集乘车成员动作训练数据；
数据分析模块(3)，基于眼动综合数据分析生成视线调节指令和疲劳警告指令；
模型训练模块(4)，基于乘车成员动作训练数据训练出实时识别危险动作概率的机器学习模型；
控制模块(5)，基于机器学习模型输出结果生成动作警告指令，并基于视线调节指令和疲劳警告指令进行处理。
3.一种电子设备，其特征在于，包括：处理器和存储器，其中，所述存储器中存储有可供处理器调用的计算机程序；
所述处理器通过调用所述存储器中存储的计算机程序，执行权利要求1所述的一种智能驾驶车辆的多模态感知方法。
4.一种计算机可读存储介质，其特征在于：储存有指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1所述的一种智能驾驶车辆的多模态感知方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311185649.0A CN117227740B (zh) | 2023-09-14 | 2023-09-14 | 一种智能驾驶车辆的多模态感知系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311185649.0A CN117227740B (zh) | 2023-09-14 | 2023-09-14 | 一种智能驾驶车辆的多模态感知系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117227740A CN117227740A (zh) | 2023-12-15 |
| CN117227740B true CN117227740B (zh) | 2024-03-19 |
Family
ID=89081932
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311185649.0A Active CN117227740B (zh) | 2023-09-14 | 2023-09-14 | 一种智能驾驶车辆的多模态感知系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117227740B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118587961B (zh) * | 2024-08-07 | 2024-11-08 | 徐州九鼎机电总厂 | 基于注意力检测的装甲车驾驶操作模拟训练系统 |
| CN118614929B (zh) * | 2024-08-09 | 2024-11-05 | 中国民用航空飞行学院 | 一种基于眼动数据的飞行学员疲劳评估系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104574817A (zh) * | 2014-12-25 | 2015-04-29 | 清华大学苏州汽车研究院（吴江） | 一种适用于智能手机的基于机器视觉疲劳驾驶预警系统 |
| US9868352B1 (en) * | 2012-12-17 | 2018-01-16 | State Farm Mutual Automobile Insurance Company | Systems and methodologies for real-time driver gaze location determination and analysis utilizing computer vision technology |
| CN107697069A (zh) * | 2017-10-31 | 2018-02-16 | 上海汽车集团股份有限公司 | 汽车驾驶员疲劳驾驶智能控制方法 |
| KR20180100865A (ko) * | 2017-03-02 | 2018-09-12 | 경북대학교 산학협력단 | 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템 및 그 방법 |
| CN108647630A (zh) * | 2018-05-08 | 2018-10-12 | 北京优创新港科技股份有限公司 | 一种基于视频识别的危险驾驶行为监督方法与装置 |
| CN109044363A (zh) * | 2018-09-04 | 2018-12-21 | 华南师范大学 | 基于头部姿态和眼动的驾驶员疲劳检测方法 |
| CN109910900A (zh) * | 2019-04-01 | 2019-06-21 | 广东科学技术职业学院 | 一种智能驾驶系统及方法 |
| CN114387587A (zh) * | 2022-01-14 | 2022-04-22 | 东北大学 | 一种疲劳驾驶监测方法 |
| CN114821796A (zh) * | 2022-05-05 | 2022-07-29 | 上海东普信息科技有限公司 | 危险驾驶行为的识别方法、装置、设备及存储介质 |
| CN116279513A (zh) * | 2022-12-05 | 2023-06-23 | 航天重型工程装备有限公司 | 矿用车辆辅助驾驶方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220004754A (ko) * | 2019-05-13 | 2022-01-11 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 포토리얼리스틱 합성 데이터를 사용한 머리 포즈 및 응시 추정을 위한 신경망 |
-
2023
- 2023-09-14 CN CN202311185649.0A patent/CN117227740B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9868352B1 (en) * | 2012-12-17 | 2018-01-16 | State Farm Mutual Automobile Insurance Company | Systems and methodologies for real-time driver gaze location determination and analysis utilizing computer vision technology |
| CN104574817A (zh) * | 2014-12-25 | 2015-04-29 | 清华大学苏州汽车研究院（吴江） | 一种适用于智能手机的基于机器视觉疲劳驾驶预警系统 |
| KR20180100865A (ko) * | 2017-03-02 | 2018-09-12 | 경북대학교 산학협력단 | 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템 및 그 방법 |
| CN107697069A (zh) * | 2017-10-31 | 2018-02-16 | 上海汽车集团股份有限公司 | 汽车驾驶员疲劳驾驶智能控制方法 |
| CN108647630A (zh) * | 2018-05-08 | 2018-10-12 | 北京优创新港科技股份有限公司 | 一种基于视频识别的危险驾驶行为监督方法与装置 |
| CN109044363A (zh) * | 2018-09-04 | 2018-12-21 | 华南师范大学 | 基于头部姿态和眼动的驾驶员疲劳检测方法 |
| CN109910900A (zh) * | 2019-04-01 | 2019-06-21 | 广东科学技术职业学院 | 一种智能驾驶系统及方法 |
| CN114387587A (zh) * | 2022-01-14 | 2022-04-22 | 东北大学 | 一种疲劳驾驶监测方法 |
| CN114821796A (zh) * | 2022-05-05 | 2022-07-29 | 上海东普信息科技有限公司 | 危险驾驶行为的识别方法、装置、设备及存储介质 |
| CN116279513A (zh) * | 2022-12-05 | 2023-06-23 | 航天重型工程装备有限公司 | 矿用车辆辅助驾驶方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117227740A (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117227740B (zh) | 一种智能驾驶车辆的多模态感知系统及方法 | |
| Wang et al. | Driver fatigue detection: a survey | |
| Dong et al. | Driver inattention monitoring system for intelligent vehicles: A review | |
| CN107832748B (zh) | 一种共享汽车驾驶员更换系统及方法 | |
| Ji et al. | Real-time nonintrusive monitoring and prediction of driver fatigue | |
| US7839292B2 (en) | Real-time driving danger level prediction | |
| CA2649731C (en) | An unobtrusive driver drowsiness detection method | |
| EP1553872B1 (en) | Method for interpreting a subjects head and eye activity | |
| EP2032034B1 (en) | Method for determining and analyzing a location of visual interest | |
| KR102053794B1 (ko) | 생체신호를 이용한 차량 간 운전자의 주행의도정보 상호전달 시스템 및 그 제어방법 | |
| Hossain et al. | IOT based real-time drowsy driving detection system for the prevention of road accidents | |
| KR20130016606A (ko) | 사용자 적응형 특이행동 검출기반의 안전운전보조시스템 | |
| JP2019195377A (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
| CN111105594A (zh) | 车辆及驾驶员疲劳驾驶的识别方法、装置 | |
| CN111645694A (zh) | 一种基于姿态估计的驾驶员驾驶状态监测系统及方法 | |
| US10268903B2 (en) | Method and system for automatic calibration of an operator monitor | |
| Wang et al. | Driver fatigue detection technology in active safety systems | |
| CN108304745A (zh) | 一种驾驶员驾驶行为检测方法、装置 | |
| Mašanović et al. | Driver monitoring using the in-vehicle camera | |
| CN117842085A (zh) | 驾驶状态检测与预警方法、系统、电子设备及存储介质 | |
| Ahir et al. | Driver inattention monitoring system: A review | |
| Shome et al. | Driver drowsiness detection system using DLib | |
| CN112494045A (zh) | 一种驾驶员疲劳检测方法及装置 | |
| Zhan et al. | A Review of Driver Fatigue Detection and Warning Based on Multi-Information Fusion | |
| Srivastava | Driver's drowsiness identification using eye aspect ratio with adaptive thresholding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |