CN1680779A

CN1680779A - 驾驶员疲劳监测方法及装置

Info

Publication number: CN1680779A
Application number: CN 200510037771
Authority: CN
Inventors: 刘志强; 汪旸
Original assignee: Jiangsu University
Current assignee: Jiangsu University
Priority date: 2005-02-04
Filing date: 2005-02-04
Publication date: 2005-10-12

Abstract

本发明提出了针对驾驶员眼部疲劳特征的驾驶员疲劳监测方法及装置。利用红外光线对驾驶员眼部的照射，通过多个CMOS摄像头得到多幅在同一时刻只有视网膜图像不同的图像；采集到的图像信号由控制主板中内置的图像处理程序进行差分处理，得到瞳孔图像；同时利用神经网络辅助的Kalman滤波器对瞳孔进行实时跟踪预测，获得的瞳孔的特征参数由控制单元进行处理，通过统计处理得到瞳孔大小的最大值和实时的瞳孔闭合百分比，计算出PERCLOS值f，并同时利用BP网络分类器作为评价标准的辅助手段，来判断驾驶员的疲劳程度。

Description

驾驶员疲劳监测方法及装置

技术领域

本发明涉及交通运输工程，特指一种驾驶员疲劳监测方法及装置。

背景技术

目前针对驾驶员眼部疲劳特征的识别监测技术主要基于监控驾驶员的嘴部状态来了解其行为状态，为安全驾驶提供必要的辅助信息。相关文献有施树名，金本生，王荣本，童兵亮，吉林大学学报(工学版)第34卷第2期，2004年4月，“基于机器视觉的驾驶员嘴部状态检测方法”，由于驾驶员在正常驾驶、说话及打哈欠(瞌睡)三种状态下的嘴部张开程度有一定的区别。根据这一特点，作者利用Fisher分类器提取嘴唇的轮廓和位置，然后利用嘴唇区域的几何特征作为特征值，组成特征矢量，作为三层BP神经网络的输入，将正常驾驶、说话及打哈欠(瞌睡)三种不同精神状态作为输出。

但是，由于方法本身的限制，首先，受光照亮度等的影响，不能满足全天候的要求，其次，在背景技术中是针对嘴部的单帧图像进行识别，由于疲劳特征不明显，易与驾驶员的其它动作混淆，识别率不高。

发明内容

针对上述不足，本发明提出了针对驾驶员眼部疲劳特征的驾驶员疲劳监测方法及装置。利用红外光线对驾驶员眼部的照射，满足了全天候的要求，同时又不会影响驾驶员正常的驾驶；采用PERCLOS(Percentage of Eyelid Closure Over the Pupil Over Time)指标作为判断标准，并采用BP网络分类器作为评价标准的辅助，进一步提高评价的准确性，弥补了实验数据的局限性，从而可以更好的适应不同人群。

实现上述目的的技术方案基于红外光源、差分图像、KALMAN滤波器的方法，并设计出系统原型，试验表明，完全可以满足实时、全天候、高识别率的要求。

主要技术方案：

①图像采集：

利用红外光线对驾驶员眼部的照射，通过多个CMOS摄像头得到多幅在同一时刻只有视网膜图像不同的多幅图像。

实现上述方法的装置主要由红外光源，CMOS摄像头，控制主板及相应软件部分组成。其利用2个分离的摄像头，90°交叉。当图像经过一个光束分离器，分成2束分别进入2个摄像头的镜头中，然后，2个镜头分别用850nm和950nm波长的滤波器得到相应的红外图像。结果就得到2幅在同一时刻只有视网膜图像不同的2幅图像。

②图像处理、实时跟踪：

采集到的图像信号由控制主板中内置的图像处理程序进行差分处理，得到瞳孔图像。同时利用神经网络辅助的Kalman滤波器对瞳孔进行实时跟踪预测。

③计算匹配：

获得的瞳孔的特征参数交由控制单元进行处理，通过统计处理得到瞳孔大小的最大值和实时的瞳孔闭合百分比，计算出PERCLOS值f，继而进行判断驾驶员的疲劳程度。

PERCLOS是指眼睛闭合时间占某一特定时间的百分率，且PERCLOS的P80(单位时间内眼睛闭合程度超过80％以上的时间占总时间的百分比)与驾驶疲劳程度的相关性最好。

只要测量出t₁～t₄值就可以计算f：

f = \frac{t_{3} - t_{2}}{t_{4} - t_{1}}

其中，f为眼睛闭合超过80％的时间占某一特定时间的百分率。

④疲劳评价：

系统采用的评价标准是PERCLOS(Percentage of Eyelid Closure Over the Pupil OverTime)的P80标准。并同时利用BP网络分类器作为评价标准的辅助。基于区域几何特征神经网络算法的BP网络为3层结构，输入层有4个神经元，分别代表PERCLOS中的特征值t₁～t₄。隐层有10个神经元，输出层有3个神经元，代表PERCLOS中的特征值f的3种不同状态，隐层的传递函数为Sigmoid函数。网络的输出向量为Y₁＝[1，0，0]，Y₂＝[0，1，0]，Y₃＝[0，0，1]。其中X₁～X₄代表t₁～t₄，Y₁代表f值偏小，Y₂代表f值合适Y₃代表f值偏大。

本发明的有益效果是：

①采用了机器视觉的方法来对驾驶员的眼部进行跟踪、监测，避免了与驾驶员的直接身体接触；

②在目前通过检测瞳孔从而监测疲劳的研究中，采用了与Pearson相关性最好的一种的PERCLOS方法；

③利用红外成像，大大提高了装置的适用性，满足任何驾驶情况下对驾驶员状态的监测要求；

④利用神经网络辅助Kalman滤波器对采集的眼部特征参数进行处理，能够很好的实现对驾驶员眼部的跟踪和预测，有效地解决在驾驶员头部晃动的情况下识别眼部的问题；

⑤系统采用了集成度高的CMOS摄像传感器和基于DSP处理器的控制主板，便于与车内原有电路集成；

⑥BP网络分类器作为评价标准的辅助，可以进一步提高评价的准确性，弥补了实验数据的局限性，从而可以更好的适应不同人群。

附图说明

图1 装置组成及检测流程框图

图2 PERCLOS摄像头的结构图

图3 BP网络分类器结构图

图4 PERCLOS值f的测量原理示意图

1-风扇；2-控制主板；3-950nm滤镜；4-950nm滤镜；5-分光器

具体实施方式

如图所示，本实施例主要由红外光源，CMOS摄像头，控制主板及相应软件部分组成。其中摄像头安装在驾驶员的前方，以不影响司机的视野为准。摄像头采用CMOS互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor)作为传感器。

考虑到适用性，利用人眼的基本生理特点，即视网膜对不同波长的红外光能够反射量的不同。在850nm波长，能够反射90％的入射光，在950nm视网膜只能反射40％的入射光。在同样照度的情况下，2个摄像头同时测量人眼的图像，一个是850nm波长的图像，另一个是950nm的图像，2幅图像相减的结果，就只留下视网膜的位置的图像，然后再分析视网膜的大小和位置。

为了能够得到2幅不同波长光源而相同的图像，利用2个分离的摄像头，90°交叉。当图像经过一个光束分离器，分成2束分别进入2个摄像头的镜头中，然后，2个镜头分别用850nm和950nm波长的滤波器得到相应的红外图像。结果就得到2幅在同一时刻只有视网膜图像不同的2幅图像。摄像头的结构见图2。

由于采用的是红外光源，一方面不会影响到驾驶员的驾驶操作，另一方面，可以有效地满足全天候的要求。

获得的瞳孔的特征参数交由控制单元进行处理，通过统计处理得到瞳孔大小的最大值和实时的瞳孔闭合百分比，计算出PERCLOS值f，继而进行判断驾驶员的疲劳程度。PERCLOS值f的测量原理如图4。

只要测量出t₁～t₄值就可以计算f：

f = \frac{t_{3} - t_{2}}{t_{4} - t_{1}}

系统采用的评价标准是PERCLOS(Percentage of Eyelid Closure Over the Pupil OverTime)的P80标准。并同时利用BP网络分类器作为评价标准的辅助。基于区域几何特征神经网络算法的BP网络为3层结构，输入层有4个神经元，分别代表PERCLOS中的特征值t₁～t₄。隐层有10个神经元，输出层有3个神经元，代表PERCLOS中的特征值f的3种不同状态，隐层的传递函数为Sigmoid函数。网络的输出向量为Y₁＝[1，0，0]，Y₂＝[0，1，0]，Y₃＝[0，0，1]。其中X₁~X₄代表t₁～t₄，Y₁代表f值偏小，Y₂代表f值合适Y₃代表f值偏大，该神经网络的结构如图3所示。

系统采集波长为850nm/950nm的红外图像及眼部的差分图像。

Claims

1.一种驾驶员疲劳监测方法，其特征在于：利用红外光线对驾驶员眼部的照射，通过多个CMOS摄像头得到多幅在同一时刻只有视网膜图像不同的图像；采集到的图像信号由控制主板中内置的图像处理程序进行差分处理，得到瞳孔图像；同时利用神经网络辅助的Kalman滤波器对瞳孔进行实时跟踪预测；获得的瞳孔的特征参数由控制单元进行处理，通过统计处理得到瞳孔大小的最大值和实时的瞳孔闭合百分比，计算出PERCLOS值f，并同时利用BP网络分类器作为评价标准的辅助手段，来判断驾驶员的疲劳程度。

2.实现权利要求1所述的驾驶员疲劳监测方法的装置，其特征在于：装置由红外光源、CMOS摄像头、控制主板组成，2个分离的CMOS摄像头，90°交叉，安装在驾驶员的前方，CMOS摄像头通过信号线与主板相连。