CN103770733B - 一种驾驶员安全驾驶状态检测方法及装置 - Google Patents

Abstract

一种驾驶员安全驾驶状态检测方法及装置，该方法的步骤为：（1）、实时检测驾驶员的当前视线方向及采集车辆行驶中驾驶员前方视野中的场景图像信号；（2）、根据视觉注意力计算模型，对采集到的当前场景图像信号进行处理，获得当前道路场景下驾驶员期望注意力分布；（3）、对步骤（1）中实时检测到的驾驶员当前视线方向与步骤（2）中计算得到的驾驶员期望注意力分布进行融合分析，判断当前驾驶员是否处于正常驾驶状态以及能否对突发的道路交通事件作出及时而适当的响应。该装置用来实施上述方法。本发明具有原理简单、易实现、可直接地反映出驾驶员真实驾驶状态、提高驾驶安全性等优点。

Description

一种驾驶员安全驾驶状态检测方法及装置

技术领域

本发明主要涉及到车辆主动安全设计领域，特指一种驾驶员安全驾驶状态检测方法及装置。

背景技术

随着汽车工业的发展，汽车越来越成为社会生产与日常生活中的重要组成部分；与此同时，汽车安全问题也逐渐成为人们关注的焦点。据统计，道路交通事故中大约有75%是由于人为失误导致的，也就是由于驾驶员的个人因素导致的。具体又包括驾驶员对车辆运行环境估计不准，驾驶员反应滞后等等。因此，通过技术手段来检测驾驶员的驾驶状态是否安全，能够有效地提高道路交通的安全性。

目前，针对驾驶员的安全驾驶状态的检测技术可以分为三大类：第一类是基于驾驶员生理疲劳特征检测的方法，第二类是基于车辆相对于道路的运行关系判断的方法，第三类是基于刺激-反应监测的心理反应监测方法。

第一类方法，基于驾驶员生理疲劳特征检测的方法工作原理基于一个基本的假设：当驾驶员的精神状态不佳时，其驾驶状态也会不佳，从而不能安全地完成驾驶任务。通常可以用于检测的生理疲劳特征包括眼睛闭合度、脑电波、方向盘握力等。有从业者公布了一种基于单目视觉的驾驶员疲劳检测方法，就是利用检测驾驶员眨眼的频率来判断驾驶员的精神状态的。该方法通过在驾驶室仪表盘上方安装一个面向驾驶员脸部的摄像机，利用摄像机采集驾驶员脸部图像，对采集得到的每帧图像进行人脸检测与跟踪，在检测得到的人脸区域中进行人眼检测与定位，并利用左右眼睛区域进行人眼睁闭状态识别，最后通过连续帧的检测状态进行疲劳检测。另有从业者公开了一种通过连续检测驾驶员头部的异常晃动来进行驾驶员精神状态检测的方法及系统，工作原理是利用安装在驾驶员头枕位置的传感器来检测驾驶员头部晃动的频率和模式，从而从异常的晃动模式中判断驾驶员的精神状态。综上所述，这类方法通过驾驶员的疲劳状态来推断驾驶员的安全驾驶状态，存在以下三方面的问题：一是本身是间接检测方法，效果不可靠。仅仅以驾驶员的疲劳状态作为驾驶员安全驾驶状态的检测手段，不仅很难给出疲劳状态与驾驶员驾驶行为的安全性的直接对应关系，而且通过外在的生理特征判断是否疲劳本身就存在一定的不确定性。二是从疲劳状态来推断驾驶员的驾驶状态是否安全，能够检测的不安全状态是局限的。驾驶员的处于不安全的驾驶状态时，未必一定是处于疲劳状态。三是从疲劳状态来推断驾驶员的驾驶状态是否安全，及时性是很难保证的。当驾驶员处于疲劳状态时，驾驶行为本身已经非常不安全了。

第二类方法，基于车辆相对于道路的运行关系判断的方法工作原理是直接测量当前车辆与其他车辆以及与道路的关系来对即将发生的碰撞等事故进行预测。有从业者公开了一种基于单芯片的车道偏离提醒装置，即通过对车辆的非正常越道行驶动作来检测驾驶员的驾驶状态。这类方法的缺点一是通常只能在危险的交通事件即将发生了才给出判断，二是很难对正常的交通事件和异常的交通事件之间给出明确而客观的判别方法，比如正常的超车越道行为和异常的车道跑偏行为。

第三类方法，基于刺激-反应检测的方法的工作原理是利用特定的刺激模式对驾驶员心理反应进行评价。有从业者近期公开了一种通过视线捕捉技术进行驾驶员精神状态检测的方法。该方法首先生成一个人造的视觉刺激，然后使用视线捕捉技术来检测驾驶员是否注意到该刺激，从而评价驾驶员对当前出现的突发事件的判断能力。这类方法虽然能够直接判断驾驶员是否能对突发刺激做出反应，但是这类方法同样有以下缺点：一是这样做本身很容易分散驾驶员的注意力。二是特定模式刺激本身对驾驶员的心理活动产生了额外的刺激，增加了驾驶员的负担。

随着对交通事故的成因的深入研究，人们逐渐认识到导致交通事故重要原因是驾驶员处于非安全的驾驶状态。而不安全驾驶状态至少包括两个类型：一是疲劳驾驶导致的反应迟钝；二是并非疲劳驾驶，仅仅是驾驶员的注意力未得到合理分配。比如驾驶员本身的驾驶经验不足，驾驶习惯不好，初学者过于紧张等，而未注意到应该被注意的交通事件。又比如被其他诸如广告牌等目标吸引，看短信，思想走神等等。现有的驾驶员的安全驾驶状态的检测技术很难对第二类不安全驾驶状态进行检测。

多年的研究，人们对驾驶员的视线方向（注视点相对与驾驶员自身的指向）与道路场景以及道路交通事件的关系的理解越来越深入。正常的驾驶状态中，驾驶员应该能够在不同的道路场景和道路交通事件中进行合理的注意力分配与转换。如果驾驶员不能对随时出现的重要交通事件进行迅速反应，则其就处于危险或者异常的驾驶状态。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种原理简单、易实现、可直接地反映出驾驶员真实驾驶状态、提高驾驶安全性的驾驶员安全驾驶状态检测方法及装置。

为解决上述技术问题，本发明采用以下技术方案：

一种驾驶员安全驾驶状态检测方法，其步骤为：

（1）、实时检测驾驶员的当前视线方向及采集车辆行驶中驾驶员前方视野中的场景图像

（2）、根据视觉注意力计算模型，对采集到的驾驶员前方视野中场景图像信号进行处理，获得当前驾驶员前方视野场景下驾驶员期望注意力分布；

（3）、对步骤（1）中实时检测到的驾驶员当前视线方向与步骤（2）中计算得到的驾驶员期望注意力分布进行融合分析，判断当前驾驶员是否处于正常驾驶状态以及能否对突发的道路交通事件作出及时而适当的响应。

作为本发明的进一步改进：采用定量的方式来评估驾驶员是否及时地对当前场景中的重要交通事件进行了反应；在任一时刻，定量评估具体是通过分析驾驶员的视线是否落在了场景中的重要的交通事件所在的区域，以及落入了比例和迅速程度来进行评判的。

作为本发明的进一步改进：利用一台视线捕捉设备实时检测驾驶员的当前视线方向，并通过一台车载前视摄像机实时采集车辆行驶中驾驶员前方视野中的场景图像信号。

作为本发明的进一步改进：所述步骤（2）中采用基于有意义交通事件和显著性的驾驶员注意力计算方法，具体步骤为：

（6.1）、启动图像采集，保存当前m×n大小的前视图像；

（6.2）、生成三个动态数组P1，P2，P3，以及用于存放中间数据的尺寸为m×n的三个矩阵：Map1，Map2，Map3；前视图像包含三种驾驶员注视区域：第一类是交通事件相关的注视区域R_O，第二类是前视图像中的显著区域R_S，第三类是驾驶员经常注视的固定区域R_OF，矩阵Map1，Map2，Map3用于存放着上述三类区域；

（6.3）、确定R_OF类型注意区域并生成第一幅注意分布图Map1；Map1(x)=1,else Map1(x)=0；

（6.4）、将Map1中的区域按照顺序将这些区域的索引存入数组P1中，其中

$P1=\{R_{\mathrm{OF}}^1,R_{\mathrm{OF}}^2,\·\·\·,R_{\mathrm{OF}}^N\};$

（6.5）、生成交通事件相关注意区域；使用计算机视觉方法检测并跟踪前方车道、车辆、行人、交通标志等R_O类型区域其中k=1,2,3,4，分别代表前方车道、车辆、行人以及交通标志等四类区域，并生成第二幅注意分布图：Map2(x)=1,else Map2(x)=0；

（6.6）、将Map2中的区域按照顺序将这些区域的索引存入数组P2中，其中

$P2=\{R_{O_1}^1,R_{O_1}^2,\·\·\·R_{O_1}^{M;}{R}_{O_2}^1,R_{O_2}^2,\·\·\·,R_{O_2}^N;\·\·\·;R_{O_4}^1,R_{O_4}^2,\·\·\·R_{O_4}^Q\}$

（6.7）、根据视觉显著性算法计算前视图像I（t）的显著区域，并生成二值化的区域的显著图Map3:Map3(x)=1,else Map3(x)=0；

（6.8）、将Map3中的区域所对应的索引按照顺序存入数组P3中，其中数组

$P3=\{R_S^1,R_s^2,\·\·\·,R_s^N\}.$

作为本发明的进一步改进：所述步骤（3）中，对交通相关区域和显著性区域与驾驶员注意力分配的互动过程进行统一建模，具体流程为：

用生理学中的神经元活性描述方法，将所述区域的“需要被关注”程度建模成区域的活性，用V表示；当驾驶员没有关注这些区域时，该区域的活性V会按照一定的规律升高；而当驾驶员将视线投入某一区域时，该区域的活性会被迅速拉低；所述第一类区域是需要驾驶员关注的，若这些区域长时间没有被关注时，活性V会升高很多，并在超出一定阈值的时候引起告警；所述第二类区域是不希望驾驶员长期关注的，若驾驶员长期关注这些区域，则其活性V会持续降低，并在低于一定阈值是引起告警；

对于第一类区域，将其活性随时间的演化规律建模成如下一个动态过程：

$\frac{\∂V}{\∂t}=-[{\mathrm{\α}}^{\′}+\mathrm{\φ\γ}](V-0)+\mathrm{\β}(1+\mathrm{\μ}-V)---\left(1\right)$

对于第二类区域，其活性随时间的演化规律建模如下：

$\frac{\∂V}{\∂t}=-[{\mathrm{\α}}^{\′}+\mathrm{\φ\γ}](V-0+v)+\mathrm{\β}(1-V)---\left(2\right)$

有上述方程（1），（2）可知，当方程（1）中的活性V的初始值处于0到1+μ之间或方程（2）中的活性V初始值处于-ν到1之间时，则活性V将在0到1+μ之间或者-ν到1之间演化；这里的μ，ν的取值为1；

在方程（1）中，V的演化初始值为0，告警阈值为1；在方程（2）中，V的演化初始值为1，告警阈值为0；在上述两个方程中，α'为活性泄漏因子，在本模型中取0；而φ,γ,β均为某一区域对应的正的演化参数；φ,γ对活性的演化具有抑制作用，而β具有活性增加的作用；其中γ,β的取值与该区域的类型有关；而φ的取值不仅与区域类型有关，还与当前驾驶员视线所落在的区域有关。

作为本发明的进一步改进：对前视摄像机获得的道路场景和视线捕捉设备捕捉到的驾驶员视线之间进行标定，使由视线捕捉设备捕捉得到的驾驶员视线所注视的场景目标的位置与该目标在前视摄像机中呈现的位置对应一致。

一种驾驶员安全驾驶状态检测装置，其特征在于，包括：

第一模块，用来实时检测驾驶员的当前视线方向及采集车辆行驶中驾驶员前方视野中的场景图像信号；

第二模块，用来根据视觉注意力计算模型，对采集到的当前道路场景图像信号进行处理，获得当前道路场景下驾驶员期望注意力分布；

第三模块，用来对实时检测到的驾驶员当前视线方向与计算得到的驾驶员期望注意力分布进行融合分析，判断当前驾驶员是否处于正常驾驶状态以及能否对突发的道路交通事件作出及时而适当的响应。

作为本发明装置的进一步改进：所述视线捕捉设备为眼动仪。

与现有技术相比，本发明的优点在于：

1、本发明的检测结果可直接地反映出驾驶员真实的安全驾驶状态。驾驶员的安全驾驶状态与驾驶员当前的注意力分布及反应灵敏度直接相关，而其他一些生理指标仅仅当前精神状态的表现，因而与安全驾驶状态属于间接对应关系。本发明通过检测驾驶员的注意力分配模式和注意力转换方式来直接判断驾驶员能否对当前道路交通事件做出正确而迅速的反应，检测结果直接对应当前驾驶员的驾驶状态。

2、本发明不仅能检测出驾驶员因为疲劳而导致的驾驶状态异常，也能检测出驾驶员非疲劳状态的走神、被其他事件吸引等非安全驾驶状态，以及检测由于服用某些药物、醉酒、驾驶经验缺乏等原因导致的反应变慢等非安全状态，进而大大提高了整体的安全性。

3、本发明的检测结果能及时发现驾驶行为的异常，属于“非滞后”。通常对疲劳程度的检测需要对驾驶员过去一段时间内的驾驶特性或生理指征进行检测，得到的结论是对前面一段时间的若干事件的驾驶员是否适合驾驶的判断（事实上，传统方法发现驾驶员疲劳的之前的相当长一段时间，驾驶员已经处于不安全驾驶状态，这些方法属于滞后检测），无法对当前正在发生的突发道路交通事件进行及时的反应甚至提醒。

4、本发明的检测结果更加准确。由于本发明没有利用疲劳状态或驾驶员对特定事件的反应来间接地判断驾驶员的驾驶状态，检测结果能够更加准确地反应驾驶员对当前道路交通事件的判断和处理能力。正常驾驶状态下，驾驶员必然会对当前道路场景中的显著区域进行注意力分配和投放，因此通过实际注意力情况和期望注意力情况之间的比对，可以有效地估计驾驶员的驾驶状态。同时对驾驶员的注意力实测和对场景注意力计算均具有很高的精度，因此可以精确地判断驾驶员的精神状态。

5、本发明的检测过程是非接触式的。本发明的检测方法和检测过程不需要对驾驶员提供额外的刺激，不会干扰驾驶员正常的驾驶行为。另一方面，本发明的检测过程不需要通过与驾驶员的直接接触来测量驾驶员的生理参数，测量过程是非接触式的。

附图说明

图1是本发明方法在应用后的原理示意图。

图2是本发明装置在应用后的框架结构示意图。

图3是本发明在具体应用实例中具体使用状态下的实际场景示意图。

图4是在实际场景中系统前视摄像机的视野以及三种注意分布区域示意图。

图5是本发明在具体应用实例中进行系统标定的流程示意图。

图6是本发明在具体应用实例中基于有意义交通事件和显著性的驾驶员注意力计算流程示意图。

图7是本发明在具体应用实例中进行驾驶员安全状态分析的流程示意图。

图8是本发明在具体应用实例中进行模型参数训练的流程示意图。

图9是本发明在具体应用实例中进行场景不同区域的活性程度分析的对比图。

具体实施方式

以下将结合说明书附图和具体实施例对本发明做进一步详细说明。

本发明是一种基于驾驶员视线跟踪与驾驶员期望注意力计算相融合的驾驶员安全驾驶状态的检测方法。本发明首先采用视线捕捉设备对驾驶员当前的视线进行跟踪。然后，利用场景理解技术和注意力计算技术对车载摄像机拍摄到的实时前方场景图像进行目标理解和显著性计算，得出当前场景下驾驶员应该注意或者可能注意的交通相关事件的区域和引人注意的显著区域。最后，将视线捕捉设备实时记录的驾驶员实际注意力和利用场景理解与注意力计算模型计算获得的基于当前场景预测的理想注意力分布进行融合分析，进而判断驾驶员当前的注意力分配是否合理，从而对当前驾驶员的驾驶状态以及驾驶员对突发交通事件的响应能力做出准确的判断。

如图1所示，本发明的驾驶员安全驾驶状态检测方法是基于视线跟踪与注意力计算相匹配的检测方法，其步骤为：

（1）、实时检测驾驶员的当前视线方向及采集车辆行驶中前方道路的场景图像信号。本实例中，利用一台视线捕捉设备实时检测驾驶员的当前视线方向，并通过一台车载前视摄像机实时采集车辆行驶中前方道路的场景图像信号。

（2）、根据视觉注意力计算模型，对采集到的当前道路场景图像信号进行处理，获得当前道路场景下驾驶员期望注意力分布（例如：交通事件相关区域与显著性区域的检测与跟踪）；本实例中，设置一台用于计算当前道路场景的期望注意力分布的嵌入式计算机系统，该嵌入式计算机对车载前视摄像机采集到的当前道路场景进行处理，得到当前道路场景下驾驶员期望注意力分布。

（3）、对步骤（1）中实时检测到的驾驶员当前视线方向与步骤（2）中计算得到的驾驶员期望注意力分布进行融合分析。具体而言，采用定量的方式来评估驾驶员是否及时地对当前场景中的重要交通事件进行了反应。例如，在任一时刻，定量评估具体是通过分析驾驶员的视线是否落在了场景中的重要的交通事件所在的区域，以及落入了比例和迅速程度来评判的。此刻的这一评估结果用来判断当前驾驶员是否处于正常驾驶状态以及能否对突发的道路交通事件作出及时而适当的响应。

如图2所示，本发明在实际应用时，本发明的装置包括：

第一模块，用来实时检测驾驶员的当前视线方向及采集车辆行驶中驾驶员前方视野中的场景图像信号；

第二模块，用来根据视觉注意力计算模型，对采集到的当前道路场景图像信号进行处理，获得当前道路场景下驾驶员期望注意力分布；

第三模块，用来对实时检测到的驾驶员当前视线方向与计算得到的驾驶员期望注意力分布进行融合分析，判断当前驾驶员是否处于正常驾驶状态以及能否对突发的道路交通事件作出及时而适当的响应。

其中，第一模块包括用于捕捉和记录人眼视线的视线捕捉设备、用于捕捉前方道路场景的前视摄像机、以及嵌入式计算机（主要用于驾驶员视线分析、交通事件相关区域计算以及根据本发明实现驾驶员精神状态评估）。视线捕捉设备应安装固定于类似驾驶面板上的适当位置，并保证可以正常捕捉驾驶员视线（为了提高捕捉驾驶员视线性能，在其他实施例中也可以采用多摄像机的方案。车载前视摄像机安装在车辆前挡风玻璃板内侧顶端，主光轴与车体平行，摄像机朝向前安装，用于拍摄车辆前方道路信息，前视摄像机可以安装固定于在驾驶室上方的车顶之下。

由于本发明需要对由视线捕捉设备（如眼动仪）获得驾驶员实测注意力分布与根据车载摄像机和注意力计算模型得到的驾驶员注意力分布之间进行比对，因此需要对前视摄像机获得的道路场景和视线捕捉设备捕捉到的驾驶员视线之间需要进行标定，从而使由视线捕捉设备捕捉得到的驾驶员视线所注视的场景目标的位置与该目标在摄像机中呈现的位置对应一致。在本发明中，初始标定过程的流程图如图5所示。本实例中，标定的具体步骤如下：

（4.1）、在停车状态下，在车辆（前视摄像机）前方一定距离（如：20米或者更远）处人工摆放一些物体，这些物体应该具有显著而便于描述的特征（如：红色的球形物体），以这些物体和场景中固有的其他远处物体作为标定基准。

（4.2）、在停车状态下，辅助人员通过指定呈现在前视摄像机拍摄内容的屏幕上的某一个物体（点），并引导驾驶员进行注视。此时，记录视线捕捉设备所记录的驾驶员此刻的视线方向。

（4.3）、通过改变被注意物体的位置或被注意物体本身，重复上述步骤（4.2）；例如，通常需要改变五至七次不同的物体（点）。

（4.4）、对标定结果进行验证。此时，引导驾驶员注意场景中不同的物体（点），将视线捕捉设备估计出的驾驶员视线显示在前视摄像机拍摄的实时图像上，观察并记录这些物体（点）与检测到的视线位置是否重合或者接近。如果误差满足预设要求（比如：小于1～1.5度），则结束初始标定过程结束；否则，重复步骤（4.2）至（4.3），开始重新标定。流程中存在一些参数以及参数k，E等，可以根据实验确定。本方法一般采用5点进行标定或者采用9点继续进行标定，因此，这里的k可以取5或者9即可。当标定结果不满足要求是，可以增加标定点的个数；这里的E，根据本方案中的驾驶员的视线容许误差（θ=1～1.5度）所对应的显示屏上的偏差距离而确定，可根据E≈D*cos(θ),这里的D是驾驶员的眼睛距离调试时所用的显示屏（放置在眼动仪处）之间的距离。

由于驾驶员眼睛高度与摄像机的安装高度不一致，会导致前方摄像机视野与驾驶员眼睛看到的实际视野有一定误差。具体而言，对驾驶员来说车辆前方同一视角下的不同物体（点）随着距离的不同而导致在摄像机视野内产生不同的视角。经过计算，如果安装高度差控制在20cm内，则车辆前方20m外的不同物体之间视角误差可以控制在0.6度内，这已经低于视线捕捉设备能够给出的精度（约1度）。通过以上标初始定过程，可以将驾驶员每一时刻所注视的物体在前视图像中呈现的位置，与视线捕捉设备观测到此刻的驾驶员的视线一一对应起来。因此，在任意时刻可以根据视线捕捉设备观测到的驾驶员视线方向推测出驾驶员注视的前方物体在前视图像中呈现的具体位置，由此可以知道驾驶员注意的实际场景中的位置。需要说明的是，为了保证标定的方便性和准确性，还可以进一步通过控制前视摄像机的畸变程度，或者通过算法对前视摄像机拍摄的图像进行去畸变处理。

上述标定方法是一种直接将驾驶员视线与图像坐标系标定在一起的方法。除此之外，在其他实施例中，还可以采用分布标定法，其步骤如下：

（5.1）、首先将人眼视线与世界坐标系进行标定：（a）在车前20米外摆放多个标志物，记录其位置{Pi}；（b）分别记录人眼注视这些物体时的视线方向{Di}；（c）根据常用的“张正友方法”，计算二者之间的标定结果。

（5.2）、将图像坐标系与世界坐标系标定，这是已有的技术，计算二者之间的标定结果；

（5.3）、根据步骤（5.1）和步骤（5.2）的结果，利用常用的标定方法可以获得最终的人眼视线与图像坐标系之间的转换矩阵。

在上述步骤（2）中，采用了基于有意义交通事件和显著性的驾驶员注意力预估方法。通常引起驾驶员注意的区域包括两大类：一类是环境中非常显著的区域，这些区域的显著性是有区域本身的特殊性（比如区域具有显著的颜色、纹理、形状等）决定的，并且可能与交通驾驶事件无关；而另一类显著区域是与驾驶任务相关的交通事件导致的。比如前方的运动车辆、行人、交通标志、仪表盘等。这些区域所对应的交通事件与驾驶任务密切相关，是一个处于正常驾驶状态的驾驶员必须密切关注的区域。第二类驾驶员的注意区域中有包含两种：第一种是动态的驾驶员注意区域，比如前方运动的车辆、行人、交通标志、车道等，这些区域随着时间的变化是与车体本身发生相对运动的；第二种是静态的驾驶员注意区域，比如观后镜区域，仪表盘区域等，这些区域与车辆不发生相对运动，而且在图像中的区域位置是固定不变的。

在本发明中，需要预估出驾驶员注意力的可能分布区域，从而可以进一步与实测的驾驶员注意力进行比对。如图6所示，基于有意义交通事件和显著性的驾驶员注意力计算方法，过程是基于采集的当前前视图像进行驾驶员注意力估计和计算。此计算结果是对驾驶员注意力的可能的分布区域的预测，因此可用于与实测的驾驶员注意力进行比对，从而判断驾驶员是否处与安全驾驶状态。其具体步骤如下：

（6.1）、启动图像采集，保存当前m×n大小的前视图像；本方案中采用常用的1024×768的图像；

（6.2）、生成三个动态数组P1，P2，P3，以及用于存放中间数据的尺寸为m×n的三个矩阵：Map1，Map2，Map3。由图4可以看出，前视图像大致包含三种驾驶员注视区域。第一类是交通事件相关的注视区域R_O，第二类是前视图像中的显著区域R_S，第三类是驾驶员经常注视的固定区域R_OF；矩阵Map1，Map2，Map3用于存放着上述三类区域。

（6.3）、由于R_OF区域是静态的，因此根据事先确定的标定结果即可以确定R_OF类型注意区域并生成第一幅注意分布图Map1；Map1(x)=1,else Map1(x)=0。当前视摄像机在车上安装固定后，可以很容易在前视图像中标出这些固定注视区域。

（6.4）、将Map1中的区域按照顺序将这些区域的索引存入数组P1中，其中在后续使用中，可以根据P1中的任意一个元素，索引Map1中对应的区域；

（6.5）、生成交通事件相关注意区域。使用现有的计算机视觉方法（本方法使用HOG+SVM方法对场景中的物体进行检测），检测并跟踪前方车道、车辆、行人、交通标志等R_O类型区域其中k=1,2,3,4，分别代表前方车道、车辆、行人以及交通标志等四类区域，并生成第二幅注意分布图：Map2(x)=1,else Map2(x)=0；

（6.6）、将Map2中的区域按照顺序将这些区域的索引存入数组P2中，其中 $P2=\{R_{O_1}^1,R_{O_1}^2,\·\·\·R_{O_1}^{M;}{R}_{O_2}^1,R_{O_2}^2,\·\·\·,R_{O_2}^N;\·\·\·;R_{O_4}^1,R_{O_4}^2,\·\·\·R_{O_4}^Q\}$ 在后续使用中，可以根据P2中的任意一个元素，索引Map2中对应的区域；

（6.7）、根据视觉显著性算法，计算前视图像I（t）的显著区域，并生成二值化的区域的显著图Map3:Map3(x)=1,else Map3(x)=0；

（6.8）、将Map3中的区域所对应的索引按照顺序存入数组P3中，其中数组在后续使用中，可以根据P3中的任意一个元素，索引Map3中对应的区域。

对驾驶员的安全驾驶造成威胁的主要有两个因素：一是驾驶员的生理疲劳，包括打瞌睡、醉酒、服用某些药物所导致的反应迟钝以及进入打盹状态，不能有效地注意到应该注意的交通事件；另一种是驾驶员并未处于生理导致的反应变慢状态，但是由于驾驶员由于某种原因未进行注意力合理分配（比如驾驶员长时间过多地注意不应该注意的事件，比如公路广告商的文字、图片等，或者长时间注意手机上的文字）。

因此，对于交通事件相关区域进行检测并跟踪，当跟踪到之后，这些区域如果长时间未有注意力投放，则表示驾驶员没有正确地注意到这些地方。因此，该区域的“需要被关注”的程度变得很高，若达到一定阈值，系统则应该告警。如果驾驶员的注意视线投放到了这些区域，则这些的“需要被关注”的程度的应该显著降低。

对于显著性区域（而非交通事件相关区域）则需要类似但稍有不同的处理。首先对显著性区域进行检测与跟踪。当驾驶员对这些区域关注意味着驾驶员能够对兴趣区域响应，说明驾驶员没有严重的生理疲劳。然而，当驾驶员持续长时间盯着该类区域看时，也是有问题的，这意味着驾驶员长时间被非交通事件吸引（比如广告牌上的文字和美女图片）。此时这些区域的“需要被关注”的程度持续降低，达到一定的低阈值时，也应该进行告警。

在具体介绍本发明的具体工作流程和结算过程（如图7）之前，先介绍本发明所建立的模型和参数设置。

问题建模：本发明对交通相关区域和显著性区域与驾驶员注意力分配的互动过程进行统一建模。首先，借用生理学中的神经元活性描述方法，将这些区域的“需要被关注”程度建模成区域的活性，用V表示。当驾驶员没有关注这些区域时，该区域的活性V会按照一定的规律升高；而当驾驶员将视线投入某一区域时，该区域（及其他相关区域）的活性会被迅速拉低。比如，场景中的交通事件相关区域（称为“第一类区域”）是需要驾驶员关注的。若这些区域长时间没有被关注时，活性V会升高很多，并在超出一定阈值的时候引起告警。而那些显著但非交通相关区域（称为“第二类区域”）是不希望驾驶员长期关注的。若驾驶员长期关注这些区域，则其活性V会持续降低，并在低于一定阈值是引起告警。在该模型中，系统不告警的前提是所有交通事件相关区域的活性低于其相应的阈值，并且所有非交通相关的显著区域的活性都高于某一阈值。当系统告警后，所有区域的活性V将会被重置到其初始位置。对于第一类区域，将其活性随时间的演化规律建模成如下一个动态过程：

$\frac{\∂V}{\∂t}=-[{\mathrm{\α}}^{\′}+\mathrm{\φ\γ}](V-0)+\mathrm{\β}(1+\mathrm{\μ}-V)---\left(1\right)$

对于第二类区域，其活性随时间的演化规律建模如下：

$\frac{\∂V}{\∂t}=-[{\mathrm{\α}}^{\′}+\mathrm{\φ\γ}](V-0+v)+\mathrm{\β}(1-V)---\left(2\right)$

有上述方程（1），（2）可知，当方程（1）中的活性V的初始值处于0到1+μ之间或方程（2）中的活性V初始值处于-ν到1之间时，则活性V将在0到1+μ之间或者-ν到1之间演化。这里的μ，ν的取值为1。

参数设置：在方程（1）中，V的演化初始值为0，告警阈值为1；在方程（2）中，V的演化初始值为1，告警阈值为0；在上述两个方程中，α′为活性泄漏因子，在本模型中取0。而φ,γ,β均为某一区域对应的正的演化参数。φ,γ对活性的演化具有抑制作用，而β具有活性增加的作用。其中γ,β的取值与该区域的类型有关；而φ的取值不仅与区域类型有关，还与当前驾驶员视线所落在的区域有关。这是考虑到若驾驶员将注意力投放到某一个有意义的区域，意味着驾驶员的精神状态在当前时刻是良好的，因此其他区域的活性也应该得到抑制。假设当前进行活性分析的区域是i，而驾驶员视线落在区域j，则当前区域对应的φ的取值按照下式进行取值：

$\mathrm{\φ}=\left\{\begin{array}{ccc}0& \left({\∪R}_j\right)\∩F=\mathrm{\Φ}& \\ {\mathrm{\φ}}_{\mathrm{ij}}& R_j\∩F\≠\mathrm{\Φ}& i\≠j\\ 1& R_j\∩F\≠\mathrm{\Φ}& i\≠j\end{array}\right.---\left(3\right)$

这里的含义是，当没有驾驶员视线投放时，φ取零，意味着区域的活性会一直增加；当驾驶员将实现投放到某个有意义的相关区域时，本区域的活性的增加会得到抑制；而当驾驶员的视线投放至该区域时，区域活性则迅速降低。φ的取值范围为[0,1]。这些涉及的参数γ，β，φ_ij均是通过训练所得到的，其训练过程参见图8以及后文中的参数训练部分的具体说明。在实际计算中，首先需要判断当前驾驶员视线落在的区域j，然后可以确定任意区域i的参数φ_ij。方程（1）和（2）中的μ，ν的取值为1。（注：由于μ，ν的取值与β的取值具有等价性，而β又是一个待训练的参数，因此的μ的具体取值无严格限定）。

进一步，在较佳的实施例中，安全驾驶状态检测模型还可以包括参数训练部分和在线工作部分。首先安全驾驶状态检测与监控的在线工作过程结合图7进行进一步说明。系统的工作过程包括三个主要步骤：

（7.1）、步骤一：交通事件相关区域、显著性区域的检测与跟踪。

（7.1.1）、交通事件相关区域进行检测、跟踪。

交通事件相关区域主要包括：车道（L）、行人（P）、车辆（V）、交通标志牌（R）、驾驶面板（D）、观后镜（M）。在本方法中这些区域（车道线、车辆、行人、交通标志灯）的检测与跟踪可以采用计算机视觉方法。而其中的仪表盘、观后镜在图像中的区域是固定不变的，因此可以直接事先确定，而不需要具体的检测与跟踪。

（7.1.2）、显著性区域的检测与跟踪。

显著性的区域属于可以引起人类注意力，但这些区域无法事先进行描述、训练的区域。因此可以采用常用的显著性检测方法对这些区域检测检测和跟踪。

（7.1.3）、活动区域列表的建立与管理。

首先，根据步骤（6.1-6.8）得到的三类区域

（a）确定交通事件相关区域：

（b）确定显著且交通事件相关区域：

（c）确定显著且非交通事件相关区域：

这里的（a），（b）两种区域均需要驾驶员关注，而（c）区域不希望驾驶员长期关注。因而将（a），（b）视为同一类区域，称之为第一类区域{R_R}，而（c）区域称之为第二类区域{R_S}。根据这些检测到区域，简历活动区域表：

$R_{\mathrm{active}}=\{R_R^1,R_R^2,\·\·\·,R_R^M,R_S^1,R_S^2,\·\·\·,R_S^N\}$

其中，这两类区域对应着两个活动列表。当某个区域消失后，则剔除该元素，并重排后面的区域编号；当某一个区域新出现时，则将该区域编在该类最后面。系统对这些区域进行检测与跟踪时，将严格按照此表进行。

（7.2）、步骤二：区域活性演化

对于不同的区域类型，其演化参数与告警机制略有不同。

（7.2.1）、对于第一类区域演化方式如下：

$\frac{\∂V}{\∂t}=-[{\mathrm{\α}}^{\′}+{\mathrm{\φ}}_R{\mathrm{\γ}}_R](V-0)+{\mathrm{\β}}_R(1+\mathrm{\μ}-V)---\left(5\right)$

其中1是告警阈值，μ的取值为0.1。V的初始值设置为0。对于某一交通事件相关区域，当φ为0时（驾驶员没有投放视线到该区域或者相关区域），则该区域的活性V将从初始值开始，朝着1+μ的方向逐渐增大。若V>1时，则系统会告警。这里意味着，对于交通事件相关的重要区域，若驾驶员长期没有关注该区域（或者相关区域），则说明驾驶员当前为集中注意力，因此系统可以告警提示。

（7.2.2）、对于第二类区域，与第一类显著且交通事件相关区域采用同一种演化方式。

$\frac{\∂V}{\∂t}=-[{\mathrm{\α}}^{\′}+{\mathrm{\φ}}_S{\mathrm{\γ}}_S](V-0+v)+{\mathrm{\β}}_S(1-V)---\left(6\right)$

这些区域的活性的演化初始值为1。上式中的0是告警阈值，而ν的取值为0.1。对于某一显著且非交通事件相关区域，是不希望驾驶员长时间关注的。如果驾驶员长时间关注该区域，则φ的取值较大，那么意味着活性V持续下降。

（7.3）、步骤三：区域活性过强或者过弱报警。

报警的准则如下：对于任意的交通事件相关区域，如果其活性程度值大于1，则进行告警；

对于任意的显著性区域且非交通事件相关区域，如果其活性程度值小于0，则进行告警。

在上述演化过程中，有一系列需要训练的参数：φ_ij，γ_i，β_i。本发明中采用最优化的方法进行参数训练和学习。下面结合图8介绍参数训练过程。

步骤一：采集训练样本。在本发明的实施实例中，采集了10名正常驾驶员每人各1小时的驾驶数据。训练数据的采集与系统正常工作时所采集数据的流程与格式是一样的（如图7所示）。数据包括驾驶员的眼动数据（每100ms采集一个视点），以及对应每一个视点的场景区域的活动列表（见公式（4）），这些活动列表可以直接索引到图6中所述的Map中的区域；

步骤二：数据演化计算。根据活动列表以及当前估计的参数，计算每一个区域的在该时刻的活性值；

步骤三：参数迭代优化。上述演化的活性值以及估计的参数带入到优化目标和约束条件中去：

优化目标： $\min {\left({\mathrm{\φ}}_R{\mathrm{\γ}}_R\right)}^2-{\mathrm{\β}}_R^2-{\left({\mathrm{\φ}}_S{\mathrm{\γ}}_S\right)}^2+{\mathrm{\β}}_S^2---\left(7\right)$

约束： $\left\{\begin{array}{c}-V_R^i({\mathrm{\φ}}_{\mathrm{ij}},{\mathrm{\γ}}_i,{\mathrm{\β}}_i)>-1\\ V_S^i({\mathrm{\φ}}_{\mathrm{ij}},{\mathrm{\γ}}_i,{\mathrm{\β}}_i)>0\\ {\mathrm{\γ}}_R^i>0\\ {\mathrm{\β}}_R^i>0\\ {\mathrm{\γ}}_S^i>0\\ {\mathrm{\β}}_S^i>0\\ {\mathrm{\φ}}_{\mathrm{ij}}>0\\ -{\mathrm{\φ}}_{\mathrm{ij}}>-1\end{array}\right.---\left(8\right)$ 检查当前参数是否满足约束并达到优化目标。如果是，则停止迭代；否则根据现有的优化方法计算出下一次的参数估计；这里的优化方法采用商用工具包（例如但不限于：遗传算法或模拟退火算法等）对该优化问题进行求解。

在本发明的一个具体应用实例中，第一类区域{R_R}包含两种固定的交通事件相关区域：仪表盘区域（D）和后视镜区域(M)，以及四种非固定的交通事件相关区域：车道线区域(L)、前方车辆区域(V)、前方行人区域(P)以及交通标志区域(R)；而第二类区域{_RS}不做进一步的细分，统称为显著且非交通事件相关区域（S），在本实例中，这区域是跟踪一个路边的广告牌区域。除此之外，将这些所有区域的补集（C）也视为一个区域。

在参数优化阶段，则根据上述步骤进行参数求解。考虑到自由参数较多，并且模型中活性演化过程的活性增加参数与活性抑制的过程是逆向的，并且均为自由参数，所以在不失一般性并且不违反公式（₈）约束的情况下固定活性增加参数β：

${\mathrm{\β}}_R^i={\mathrm{\β}}_S^i=0.1---\left(9\right)$

从而使得优化求解的搜索空间大大降低。

根据工具包求得的参数如下：

不同区域类型之间的影响矩阵φ_ij为：

	S	L	V	P	R	D	M	C
									S	1.0	0.14	0.22	0.15	0.17	0.04	0.07	0
L	0.01	1.0	0.51	0.47	0.43	0.31	0.45	0
									V	0.06	0.81	1.0	0.90	0.56	0.51	0.49	0
P	0.09	0.83	0.92	1.0	0.70	0.62	0.51	0
									R	0.10	0.81	0.95	0.92	1.0	0.71	0.52	0
D	0.02	0.53	0.47	0.39	0.40	1.0	0.92	0
									M	0.05	0.62	0.56	0.59	0.46	0.88	1.0	0
C	0	0	0	0	0	0	0	0

γ_i的参数为：

区域类型	S	L	V	P	R	D	M
								γi取值	0.31	0.82	0.97	1.22	1.36	0.92	0.85

有了上述通过优化方法获取的训练参数，系统则可以进行工作。这里通过一个具体的实例进行描述系统的有效性。

实例：在高速公路上10秒的行驶过程中，同时采集前视图像（每秒10帧）和驾驶员的注视点（每100ms采集1次）。根据图像内容，第一类区域包含车道区域，前方车辆区域（该段时间内没有行人和交通标志），仪表盘区域和后视镜区域。而第二类区域是一个广告牌区域。在该实例中，驾驶员的视线跟踪始终投放在广告牌上。

根据上述区域的跟踪情况和视线投放情况，可以计算所有区域的活性值。需要说明的是，在实际计算中，方程（1），（2）的动态方程是连续形式要改成差分形式。方程（1）改写成：

V(n+1)=V(n)-[(α'+φγ)(V(n)-0)+β(1+μ-V(n))]T （10）

方程（2）式改写成：

V(n+1)=V(n)-[(α'+φγ)(V(n)-0+ν)+β(1-V(n))]T （11）

其中n是计算的步数，T是采样时间间隔，这里是0.1s。根据公式（10）或者（11）的递推公式以及训练得到的参数，然后可以计算出任意一个区域在这些时刻内的活性值。下面以第二类区域的广告牌区域为例，计算其活性演化情况：代入参数后，演化方程（11）可以写为：

V(n+1)=V(n)-0.1*[0.31*(V(n)+1)+0.1*(1-V(n))] （12）根据模型克制，该区域的活性演化初始值V(0)=1，可以推算出该区域在此段时间内的活性变化情况。如图9所示。同样，对于第一类区域（车道、车辆、仪表盘以及观后镜等区域），其活性值的演化情况也可以根据相同的步骤进行计算。图9是以第二类区域的广告牌区域以及第一类区域的车道区域、前方车辆区域为例，进行演化情况对比。由图9可以看出，当计算至26帧图像（对应于2.6s）的时候，广告牌区域的活性V降低到了阈值以下(V=-0.0030<0)。着说明驾驶员注视该区域的时间过久。尽管此时的车道区域、车辆区域的活性V的值分别还在正常范围之内（V=0.4173<1，V=0.3895<1），此时系统会发出告警，提醒驾驶员集中注意力开车，不要错误分配注意力。

在具体应用中，本发明中的注意力计算部分可以在嵌入式计算机系统中实现，如基于DSP或者FPGA的单芯片系统上实现。本实施例中，选用可分离式视线捕捉设备，其中将用于捕捉驾驶员视线的传感器部分安装在车辆驾驶室内（如图3所示）。视线捕捉设备的屏幕部分仅仅在标定过程中使用，用于显示前方摄像机所拍摄得图像以及显示系统估计出的驾驶员注视点。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (6)

1.一种驾驶员安全驾驶状态检测方法，其特征在于，步骤为：

(1)、实时检测驾驶员的当前视线方向及采集车辆行驶中驾驶员前方视野中的场景图像信号；

(2)、根据视觉注意力计算模型，对采集到的当前道路场景图像信号进行处理，获得当前道路场景下驾驶员期望注意力分布；

(3)、对步骤(1)中实时检测到的驾驶员当前视线方向与步骤(2)中计算得到的驾驶员期望注意力分布进行融合分析，判断当前驾驶员是否处于正常驾驶状态以及能否对突发的道路交通事件作出及时而适当的响应；

所述步骤(2)中采用基于有意义交通事件和显著性的驾驶员注意力计算方法，具体步骤为：

(6.1)、启动图像采集，保存当前m×n大小的前视图像；

(6.2)、生成三个动态数组P1，P2，P3，以及用于存放中间数据的尺寸为m×n的三个矩阵：Map1，Map2，Map3；前视图像包含三种驾驶员注视区域：第一类是交通事件相关的注视区域R_O，第二类是前视图像中的显著区域R_S，第三类是驾驶员经常注视的固定区域R_OF，矩阵Map1，Map2，Map3用于存放着上述三类区域；

(6.3)、确定R_OF类型注意区域并生成第一幅注意分布图Map1；

(6.4)、将Map1中的区域按照顺序将这些区域的索引存入数组P1中，其中

(6.5)、生成交通事件相关注意区域；使用计算机视觉方法检测并跟踪前方车道、车辆、行人、交通标志，R_O类型区域其中k＝1,2,3,4，分别代表前方车道、车辆、行人以及交通标志四类区域，并生成第二幅注意分布图：

(6.6)、将Map2中的区域按照顺序将这些区域的索引存入数组P2中，其中

(6.7)、根据视觉显著性算法计算前视图像I(t)的显著区域，并生成二值化的区域的显著图Map3:Map3(x)＝1,ifelse Map3(x)＝0；

(6.8)、将Map3中的区域所对应的索引按照顺序存入数组P3中，其中数组

2.根据权利要求1所述的驾驶员安全驾驶状态检测方法，其特征在于，采用定量的方式来评估驾驶员是否及时地对当前场景中的重要交通事件进行了反应；在任一时刻，定量评估具体是通过分析驾驶员的视线是否落在了场景中的重要的交通事件所在的区域，以及落入了比例和迅速程度来进行评判的。

3.根据权利要求1所述的驾驶员安全驾驶状态检测方法，其特征在于，利用一台视线捕捉设备实时检测驾驶员的当前视线方向，并通过一台车载前视摄像机实时采集车辆行驶中驾驶员前方视野中的场景图像信号。

4.根据权利要求1所述的驾驶员安全驾驶状态检测方法，其特征在于，所述步骤(3)中，对交通相关区域和显著性区域与驾驶员注意力分配的互动过程进行统一建模，具体流程为：

用生理学中的神经元活性描述方法，将所述区域的“需要被关注”程度建模成区域的活性，用V表示；当驾驶员没有关注这些区域时，该区域的活性V会按照一定的规律升高；而当驾驶员将视线投入某一区域时，该区域的活性会被迅速拉低；所述第一类区域是需要驾驶员关注的，若这些区域长时间没有被关注时，活性V会升高很多，并在超出一定阈值的时候引起告警；所述第二类区域是不希望驾驶员长期关注的，若驾驶员长期关注这些区域，则其活性V会持续降低，并在低于一定阈值是引起告警；

对于第一类区域，将其活性随时间的演化规律建模成如下一个动态过程：

$\frac{\&part;V}{\&part;t}=-\&lsqb;{\mathrm{\&alpha;}}^{\&prime;}+\mathrm{\&phi;}\mathrm{\&gamma;}\&rsqb;(V-0)+\mathrm{\&beta;}(1+\mathrm{\&mu;}-V)---\left(1\right)$

对于第二类区域，其活性随时间的演化规律建模如下：

$\frac{\&part;V}{\&part;t}=-\&lsqb;{\mathrm{\&alpha;}}^{\&prime;}+\mathrm{\&phi;}\mathrm{\&gamma;}\&rsqb;(V-0+\mathrm{\&nu;})+\mathrm{\&beta;}(1-V)---\left(2\right)$

有上述方程(1)，(2)可知，当方程(1)中的活性V的初始值处于0到1+μ之间或方程(2)中的活性V初始值处于-ν到1之间时，则活性V将在0到1+μ之间或者-ν到1之间演化；这里的μ，ν的取值为1；

在方程(1)中，V的演化初始值为0，告警阈值为1；在方程(2)中，V的演化初始值为1，告警阈值为0；在上述两个方程中，α'为活性泄漏因子，在本模型中取0；而φ,γ,β均为某一区域对应的正的演化参数；φ,γ对活性的演化具有抑制作用，而β具有活性增加的作用；其中γ,β的取值与该区域的类型有关；而φ的取值不仅与区域类型有关，还与当前驾驶员视线所落在的区域有关。

5.根据权利要求3所述的驾驶员安全驾驶状态检测方法，其特征在于，对前视摄像机获得的道路场景和视线捕捉设备捕捉到的驾驶员视线之间进行标定，使由视线捕捉设备捕捉得到的驾驶员视线所注视的场景目标的位置与该目标在前视摄像机中呈现的位置对应一致。

6.一种驾驶员安全驾驶状态检测装置，其特征在于，包括：

第一模块，用来实时检测驾驶员的当前视线方向及采集车辆行驶中驾驶员前方视野中的场景图像信号；

第二模块，用来根据视觉注意力计算模型，对采集到的当前道路场景图像信号进行处理，获得当前道路场景下驾驶员期望注意力分布；所述第二模块采用基于有意义交通事件和显著性的驾驶员注意力计算方法，具体步骤为：

(6.1)、启动图像采集，保存当前m×n大小的前视图像；

(6.2)、生成三个动态数组P1，P2，P3，以及用于存放中间数据的尺寸为m×n的三个矩阵：Map1，Map2，Map3；前视图像包含三种驾驶员注视区域：第一类是交通事件相关的注视区域R_O，第二类是前视图像中的显著区域R_S，第三类是驾驶员经常注视的固定区域R_OF，矩阵Map1，Map2，Map3用于存放着上述三类区域；

(6.3)、确定R_OF类型注意区域并生成第一幅注意分布图Map1；

(6.4)、将Map1中的区域按照顺序将这些区域的索引存入数组P1中，其中

(6.5)、生成交通事件相关注意区域；使用计算机视觉方法检测并跟踪前方车道、车辆、行人、交通标志，R_O类型区域其中k＝1,2,3,4，分别代表前方车道、车辆、行人以及交通标志四类区域，并生成第二幅注意分布图：

(6.6)、将Map2中的区域按照顺序将这些区域的索引存入数组P2中，其中

(6.7)、根据视觉显著性算法计算前视图像I(t)的显著区域，并生成二值化的区域的显著图Map3:Map3(x)＝1,ifelse Map3(x)＝0；

(6.8)、将Map3中的区域所对应的索引按照顺序存入数组P3中，其中数组

第三模块，用来对实时检测到的驾驶员当前视线方向与计算得到的驾驶员期望注意力分布进行融合分析，判断当前驾驶员是否处于正常驾驶状态以及能否对突发的道路交通事件作出及时而适当的响应。