Nothing Special   »   [go: up one dir, main page]

JP3012226B2 - Drowsy driving prevention device - Google Patents

Drowsy driving prevention device

Info

Publication number
JP3012226B2
JP3012226B2 JP10209827A JP20982798A JP3012226B2 JP 3012226 B2 JP3012226 B2 JP 3012226B2 JP 10209827 A JP10209827 A JP 10209827A JP 20982798 A JP20982798 A JP 20982798A JP 3012226 B2 JP3012226 B2 JP 3012226B2
Authority
JP
Japan
Prior art keywords
difference
area
blink
driver
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP10209827A
Other languages
Japanese (ja)
Other versions
JP2000040148A (en
Inventor
加州男 沖野
謙 石原
正一 玉川
正剛 有賀
Original Assignee
マルチメディアシステム事業協同組合
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マルチメディアシステム事業協同組合 filed Critical マルチメディアシステム事業協同組合
Priority to JP10209827A priority Critical patent/JP3012226B2/en
Publication of JP2000040148A publication Critical patent/JP2000040148A/en
Application granted granted Critical
Publication of JP3012226B2 publication Critical patent/JP3012226B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Image Processing (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、交通機関など移動
体の運転者の居眠り防止を、運転者の動画像から抽出さ
れる瞬目に基づいて行う居眠り運転防止装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a drowsy driving prevention device for preventing a driver of a moving body such as a transportation facility from falling asleep based on blinks extracted from a moving image of the driver.

【0002】[0002]

【従来の技術】自動車などの各種移動体の運転者が運転
中に居眠りしてしまうと、きわめて危険な状態となり、
重大な事故を引起こす可能性が生じる。自動車の交通事
故発生を抑止するためには、たとえば各種センサおよび
コンピュータ技術を応用して、自動車をより高機能化し
た先進安全自動車の研究開発が盛んになってきている。
先進安全自動車は、Advanced Safety VehicleからAS
Vと略称され、障害物センサ、車間距離センサ、路面セ
ンサ、衝突検知センサなどを備え、そして車外のドライ
ビング状況を自動的に把握し、危険な状況に至る前に警
告を発したり、回避動作を自動車の運転者の操作に優先
して自動的に行うようにしている。これに対し、車内の
ドライビング状況として、運転者の運転操作に対する注
意力や生理的な状況を監視し、適切な状況にない場合に
警告を発するシステムも考えられている。
2. Description of the Related Art If a driver of a moving object such as an automobile falls asleep while driving, it is extremely dangerous.
The possibility of causing a serious accident arises. In order to suppress the occurrence of traffic accidents in automobiles, for example, research and development of advanced safety automobiles, which have more advanced automobiles by applying various sensors and computer technologies, have become active.
Advanced safety vehicles are AS from Advanced Safety Vehicle
V, equipped with an obstacle sensor, an inter-vehicle distance sensor, a road surface sensor, a collision detection sensor, etc., automatically grasps the driving situation outside the vehicle, issues a warning before reaching a dangerous situation, The automatic operation is performed prior to the operation of the driver of the car. On the other hand, a system that monitors a driver's attention to driving operation and a physiological state as a driving situation in a vehicle and issues a warning when the situation is not appropriate is also considered.

【0003】自動車の運転に限らず、一般的に、対象物
の動画像を入力し、動画像上の変化成分を時系列情報と
して抽出して、人間の行動や生理的状態を把握する考え
方は、特開平7−129781に開示されている。この
先行技術の原理を、車両の運転者の居眠り防止に適用す
ることも可能である。人間のまばたきについて、たとえ
ば信学技報PRU95−30(1995年5月発行)に
は、「居眠り検知のためのまばたき検出と覚醒度推定」
という題名の論文が掲載されている。この考え方に基づ
いて、瞬目を動画像から検出することができれば、有効
な居眠り防止が可能であると期待される。
[0003] In general, the concept of not only driving a car but also inputting a moving image of an object, extracting a change component in the moving image as time-series information, and grasping the behavior and physiological state of a human is known. And Japanese Patent Application Laid-Open No. 7-129781. This principle of the prior art can also be applied to preventing a driver of a vehicle from falling asleep. Regarding human blinking, for example, IEICE Technical Report PRU95-30 (published in May 1995) states, "Blink detection and arousal level estimation for dozing detection."
There is a paper titled If blinks can be detected from a moving image based on this concept, it is expected that effective dozing prevention can be achieved.

【0004】[0004]

【発明が解決しようとする課題】自動車の運転者の居眠
り状態を、覚醒レベルを検出して判定するためには、各
種センサを運転者に直接装着あるいは接触させて、運転
者の生理的状態を監視する必要がある。覚醒レベル判定
に有効と考えられる生理的状態としては、脳波、心拍
数、心電図波形、呼吸数、皮膚抵抗、皮膚電位水準、眼
球運動などの項目が対象となる。これらの対象について
計測を行うためには、センサを運転者に直接接触させた
り装着させたりする必要がある。しかしながら、センサ
などを運転者に直接接触させたり装着させたりすると、
運転者の動作をある程度、物理的に拘束するので、実用
化の点では好ましくない。
In order to determine the dozing state of the driver of the automobile by detecting the arousal level, various sensors are directly attached to or brought into contact with the driver to determine the physiological state of the driver. Need to be monitored. The physiological states considered to be effective for determining the arousal level include items such as brain waves, heart rate, electrocardiogram waveform, respiratory rate, skin resistance, skin potential level, and eye movement. In order to measure these objects, it is necessary to directly contact or mount the sensor on the driver. However, if sensors or other devices are brought into direct contact with the driver or worn,
Since the movement of the driver is physically restricted to some extent, it is not preferable in practical use.

【0005】自動車の運転のための各種操作装置の操作
状況を監視し、運転操作状況から運転者の居眠り運転状
態を推定する考え方も提案されている。しかしながら、
運転操作状況の変化は、居眠り運転状態が開始されてか
ら生じるので、居眠りに至る前に警告したりすることは
困難である。
There has also been proposed a concept of monitoring the operating conditions of various operating devices for driving a car and estimating a driver's dozing driving state from the driving operation conditions. However,
Since a change in the driving operation state occurs after the drowsy driving state is started, it is difficult to give a warning before falling asleep.

【0006】特開平7−129781に開示されている
考え方を居眠り運転防止にも適用すれば、動画像の撮像
は運転者に直接接触することなく行うことができ、運転
者を物理的に拘束する必要がないので好ましい。しかし
ながら、特開平7−129781の先行技術では、幅広
い対象に対して共通に適用することができる時系列画像
情報の抽出について記載されているけれども、居眠り運
転をいかにして検出し、判定するかについての具体的な
示唆はなされていない。
If the concept disclosed in Japanese Patent Application Laid-Open No. 7-129781 is applied to the prevention of drowsy driving, a moving image can be captured without directly touching the driver, and the driver is physically restrained. It is preferable because there is no need. However, although the prior art of Japanese Patent Application Laid-Open No. 7-129781 describes extraction of time-series image information that can be commonly applied to a wide range of objects, it describes how to detect and determine dozing driving. No specific suggestion has been made.

【0007】本発明の目的は、動画像の時系列的な変化
に基づいて、居眠り状態の開始前に居眠り運転防止のた
めの処置を実行することができる居眠り運転防止装置を
提供することである。
[0007] It is an object of the present invention to provide a dozing driving prevention device capable of executing a measure for preventing dozing driving before starting a dozing state based on a chronological change of a moving image. .

【0008】[0008]

【課題を解決するための手段】本発明は、移動体の運転
者の居眠り運転を防止するための装置であって、運転者
の眼部を含む映像を、順次的に撮像して出力する撮像手
段と、撮像手段によって出力される映像を記憶する映像
記憶手段と、撮像手段によって撮像される映像F(n)
と、映像記憶手段によって記憶されている先行する映像
F(n−1)とで対応する領域間の輝度の差を演算し、
輝度が増加する領域と輝度が減少する領域との面積の差
を演算する面積差演算手段と、面積差演算手段によって
演算される面積の差の演算結果を、時系列的に記憶する
面積差記憶手段と、面積差記憶手段に記憶されている面
積差演算結果の時系列パターンと、予め設定される標準
瞬目パターンとの相関係数を求め、相関係数が予め定め
る基準値を超える時点を瞬目として抽出する瞬目抽出手
段と、瞬目抽出手段によって抽出される瞬目の時点で、
瞬目の動作速度および時間間隔に基づき動作が低速にな
り、時間間隔が短くなっているときに、運転者の覚醒状
態が低下していると判定する覚醒判定手段と、覚醒判定
手段によって、運転者の覚醒状態が低下していると判定
されるとき、予め定める居眠り防止処置を実行する居眠
り防止手段とを含むことを特徴とする居眠り運転防止装
置である。
SUMMARY OF THE INVENTION The present invention relates to an apparatus for preventing a driver of a mobile body from falling asleep, and sequentially captures and outputs images including the driver's eyes. Means, an image storage means for storing an image output by the imaging means, and an image F (n) imaged by the imaging means
And a preceding image F (n-1) stored by the image storage means to calculate a luminance difference between corresponding areas,
Area difference calculating means for calculating the area difference between the area in which the luminance increases and the area in which the luminance decreases, and an area difference storage for storing, in time series, the calculation result of the area difference calculated by the area difference calculating means Means, a time series pattern of the area difference calculation result stored in the area difference storage means, and a correlation coefficient between a predetermined standard blink pattern and a time point at which the correlation coefficient exceeds a predetermined reference value. A blink extracting means for extracting as a blink, and a blink extracted by the blink extracting means,
When the operation becomes slow based on the blinking operation speed and the time interval, and the time interval is short, the awakening determination unit that determines that the awake state of the driver is decreasing, and the awakening determination unit, A drowsiness prevention means for executing a predetermined drowsiness prevention measure when it is determined that the arousal state of the person is lowered.

【0009】本発明に従えば、撮像手段によって順次的
に撮像される運転者の眼部を含む映像は、映像記憶手段
に記憶され、面積差演算手段によって、連続する映像F
(n),F(n−1)間で輝度の増加する領域と減少す
る領域との面積の差が演算される。面積差の演算結果は
面積差記憶手段に時系列的に記憶され、瞬目抽出手段に
よって、予め設定される標準瞬目パターンとの相関係数
が求められ、相関係数が予め定める基準値を超える時点
が瞬目として抽出される。瞬目が検出されると、瞬目に
ついての頻度や時間間隔の変動などに基づいて、瞬目の
動作が低速になり、時間間隔が短くなっているときに、
運転者の覚醒状態が低下していると覚醒判定手段によっ
て判定される。居眠り防止手段は、覚醒判定手段によっ
て運転者の覚醒状態が低下していると判定されるとき、
予め定める居眠り防止処置を実行するので、実際に居眠
り運転に至る前に有効に抑止することができる。
According to the present invention, the images including the driver's eyes sequentially imaged by the imaging means are stored in the image storage means, and the continuous image F is stored by the area difference calculating means.
The difference between the area where the luminance increases and the area where the luminance decreases between (n) and F (n-1) is calculated. The calculation result of the area difference is stored in chronological order in the area difference storage means, and the blink extraction means obtains a correlation coefficient with a preset standard blink pattern. Exceeded time points are extracted as blinks. When a blink is detected, the blink operation becomes slow based on fluctuations in the frequency and time interval of the blink, and the time interval is shortened.
It is determined by the awakening determining means that the driver's arousal state is reduced. Dozing prevention means, when it is determined by the awakening determination means that the awake state of the driver is reduced,
Since the predetermined dozing prevention process is executed, it is possible to effectively suppress the driving before actually falling asleep.

【0010】また本発明で前記撮像手段は、前記運転者
の眼部を含む映像のうち、赤色成分のみを出力すること
を特徴とする。
Further, in the present invention, the imaging means outputs only a red component of the image including the driver's eye.

【0011】本発明に従えば、人間の顔面を赤、緑およ
び青のRGB3原色成分を含むカラー画像として撮像す
るときに、眼部とその周囲の皮膚との輝度の差は、赤色
成分のみで対比する方が、他の色成分を含んだり、赤色
成分が抜けている場合よりも輝度の差が明瞭に区別さ
れ、瞬目の抽出を容易に行うことができる。
According to the present invention, when a human face is imaged as a color image containing three primary color components of red, green and blue, the difference in luminance between the eye and the skin around it is only the red component. Compared with the case where other color components are included or the red component is missing, the difference in brightness is more clearly distinguished, and blinking can be easily extracted.

【0012】また本発明で前記面積差演算手段は、前記
映像のうち、眼部およびその周囲の領域を、演算処理の
対象となるウインドウとして設定するウインドウ設定手
段と、ウインドウ設定手段によって設定されるウインド
ウ内の映像を表す画素毎に、前記映像F(n),F(n
−1)間の差分を算出する差分算出手段と、差分算出手
段によって算出される各画素毎の差分値を2値化する2
値化手段と、2値化手段によって2値化された差分値に
基づいて、輝度が増加する画素数と輝度が減少する画素
数との差を、前記面積の差として算出する画素数差算出
手段とを備えることを特徴とする。
Further, in the present invention, the area difference calculating means is set by a window setting means for setting an eye portion and an area around the eye portion in the video as a window to be processed. For each pixel representing an image in the window, the images F (n), F (n)
-1) a difference calculating means for calculating a difference between the two, and a difference value for each pixel calculated by the difference calculating means being binarized.
Pixel number difference calculation for calculating a difference between the number of pixels whose luminance increases and the number of pixels whose luminance decreases based on the difference value binarized by the binarization unit as the area difference Means.

【0013】本発明に従えば、面積差演算手段による輝
度が増加する領域と輝度が減少する領域の面積差の演算
は、ウインドウ設定手段によって設定されるウインドウ
を演算処理の対象とし、ウインドウ内で画素毎に差分算
出手段によって差分が算出される。2値化手段は、差分
算出手段によって算出される各画素毎の差分値を2値化
し、画素数差算出手段は、2値化された差分値に基づい
て、輝度が増加する画素の数と輝度が減少する画素の数
との差を面積の差として算出する。差分値を2値化する
ことによって、各画素は輝度が増加する画素であるか、
減少する画素であるか、または輝度に変化が生じない画
素であるかのいずれかに分けることができ、面積差の演
算を迅速に行って瞬目の抽出に要する時間を算出し、覚
醒状態の低下が生じると直ちに居眠り防止手段の処置を
迅速かつ適切に開始させることができる。
According to the present invention, the calculation of the area difference between the area in which the luminance increases and the area in which the luminance decreases by the area difference calculating means targets the window set by the window setting means for the arithmetic processing. The difference is calculated for each pixel by the difference calculating means. The binarizing means binarizes the difference value for each pixel calculated by the difference calculating means, and the pixel number difference calculating means calculates the number of pixels whose luminance increases based on the binarized difference value. The difference from the number of pixels whose brightness decreases is calculated as the difference in area. By binarizing the difference value, each pixel is a pixel whose luminance increases,
It can be divided into either a pixel that decreases or a pixel that does not cause a change in brightness, calculates the time required for blink extraction by performing the area difference calculation quickly, and calculates the awake state. As soon as the decrease occurs, the action of the dozing prevention means can be started promptly and appropriately.

【0014】[0014]

【発明の実施の形態】図1は、本発明の実施の一形態と
しての居眠り運転防止装置1の概略的なシステム構成を
示す。居眠り運転防止装置1は、自動車2の運転者3の
顔面の映像を撮像するビデオカメラ4を含む。ビデオカ
メラ4の出力する映像のうちの赤色成分は、画像処理装
置5でアナログ/デジタル変換やノイズ除去等の処理が
施される。画像処理装置5で処理された映像に対応する
デジタルデータは、たとえば8ビットであり、フレーム
メモリ6に出力されて画素ごとに記憶される。中央処理
装置(以下、「CPU」と略称する)7は、プログラム
メモリ8に記憶されるプログラムに従って、フレームメ
モリ6に記憶されている映像データと、ビデオカメラ4
が撮像して画像処理装置5によって処理される映像デー
タとの間で演算処理を行い、瞬目を抽出する。瞬目の抽
出を効率的に行うため、キーボードなどの入力装置9か
ら、CPU7が演算処理を行う映像の対象範囲を限定す
るウインドウの設定などが行われる。瞬目の抽出は、ビ
デオカメラ4が撮像する映像の変化は、時系列パターン
メモリ10に順次記憶し、標準瞬目パターンメモリ11
に記憶されている標準パターンと相関係数をとって瞬目
の抽出を行う。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS FIG. 1 shows a schematic system configuration of a drowsy driving prevention device 1 as one embodiment of the present invention. The drowsy driving prevention device 1 includes a video camera 4 that captures an image of the face of the driver 3 of the automobile 2. The red component of the video output from the video camera 4 is subjected to processing such as analog / digital conversion and noise removal by the image processing device 5. The digital data corresponding to the video processed by the image processing device 5 is, for example, 8 bits and is output to the frame memory 6 and stored for each pixel. The central processing unit (hereinafter abbreviated as “CPU”) 7 is configured to control the video data stored in the frame memory 6 and the video camera 4 in accordance with the program stored in the program memory 8.
Performs arithmetic processing between the image data and the video data processed by the image processing apparatus 5 to extract blinks. In order to efficiently extract the blinks, the input device 9 such as a keyboard sets a window for limiting the target range of the video on which the CPU 7 performs the arithmetic processing. In the blink extraction, the change of the video imaged by the video camera 4 is sequentially stored in the time-series pattern memory 10 and the standard blink pattern memory 11 is stored.
The blinks are extracted by taking the correlation coefficient with the standard pattern stored in.

【0015】時系列パターンメモリ10に記憶されてい
るデータに基づいて選べるパターンと、標準瞬目パター
ンメモリ11に記憶されている標準瞬目パターンとがあ
る程度一致すると、相関係数の値が1に近づく。自動車
2が一定速度で一方方向に走行しているような状態で
は、運転者3の頭部を含む姿勢にはほとんど変化がな
く、眼部のまばたきである瞬目のみが変化として検出さ
れる。運転者3の覚醒状態が低下して居眠り運転が近づ
くと、たとえば瞬目の動作が低速になり、時間間隔が短
くなって頻度が増大するようになる。CPU7は、瞬目
抽出後に、覚醒状態の低下を検出すると、警報装置12
を介して運転者3に対する警報を行う。また、自動車2
にブレーキをかけたりすることも可能である。
When the pattern that can be selected based on the data stored in the time-series pattern memory 10 and the standard blink pattern stored in the standard blink pattern memory 11 match to some extent, the value of the correlation coefficient becomes 1. Get closer. In a state where the vehicle 2 is traveling in one direction at a constant speed, the posture including the head of the driver 3 hardly changes, and only blinks, which are blinking eyes, are detected as changes. When the awake state of the driver 3 decreases and the driver falls asleep, for example, the blinking operation is slowed down, the time interval is shortened, and the frequency is increased. When detecting a decrease in the awake state after the extraction of the blinks, the CPU 7
A warning is issued to the driver 3 via. In addition, car 2
It is also possible to put a brake on the vehicle.

【0016】図2は、図1の運転者3が自動車2の前方
を注視している状態のビデオカメラ4の撮影画面を示
す。図2(a)は、ビデオカメラ4が撮像するカラー原
画像を示す。ビデオカメラ4は、赤、緑および青をR,
G,Bの3原色に分解して撮像する。ビデオカメラ4
は、乗用車のフロントパネル上ほぼ中央の位置に固定
し、運転者3の顔面を前方左下の位置から撮像してい
る。図2(b)は赤成分画像を示し、図2(c)は緑成
分画像、図2(d)は青成分画像をそれぞれ示す。緑や
青の成分画像は、肌色の顔面図が暗く映っており、眼部
との輝度差が小さいので、眼部でのまばたきである瞬目
の抽出にはあまり有効ではないことが判る。図2(b)
に示す赤成分画像のみを用いて、瞬目抽出のための処理
を行う。
FIG. 2 shows a photographing screen of the video camera 4 in a state where the driver 3 shown in FIG. FIG. 2A shows a color original image captured by the video camera 4. The video camera 4 sets red, green and blue to R,
The image is separated into three primary colors of G and B and imaged. Video camera 4
Is fixed at a substantially central position on the front panel of the passenger car, and images the face of the driver 3 from the lower left front position. 2B shows a red component image, FIG. 2C shows a green component image, and FIG. 2D shows a blue component image. In the green and blue component images, the flesh-colored face view appears dark and the difference in luminance from the eye is small, so that it can be seen that this is not very effective in extracting blinks, which are blinks in the eyes. FIG. 2 (b)
Is performed using only the red component image shown in FIG.

【0017】なお、図2(b)に示すウインドウ20
は、画像処理による瞬目の抽出を効率的に行うために設
定する。図2に示すような前方注視の状態では、フロン
トパネルに設定するビデオカメラ4に対して、運転者間
の左の目の位置はほぼ一定した位置となるので、比較的
狭いウインドウ20の範囲内に眼部を確実に収めること
ができる。
The window 20 shown in FIG.
Is set to efficiently perform blink extraction by image processing. In the forward gaze state as shown in FIG. 2, the position of the left eye between the drivers is substantially constant with respect to the video camera 4 set on the front panel. The eye can be securely contained in the eye.

【0018】図3は、運転者3が運転中にバックミラー
を確認している状態を示すビデオカメラ4の撮影画面を
示す。このような動きがある画面で眼部を確実にとらえ
るためには、ウインドウ21を、図2に示すウインドウ
20よりも広く設定する必要がある。
FIG. 3 shows a photographing screen of the video camera 4 showing a state where the driver 3 checks the rearview mirror while driving. In order to reliably capture the eye on a screen having such a motion, the window 21 needs to be set wider than the window 20 shown in FIG.

【0019】図4は、図1のCPU7の処理手順を示
す。ステップa1から処理を開始し、ステップa2で
は、ビデオカメラ5が撮像する運転者3の映像を、画像
処理装置5で処理した後、フレームメモリ6に記憶す
る。フレームメモリ6には、少なくとも連続する2フレ
ーム分の映像が記憶される。そのうちの最新フレームを
F(n)、1つ前のフレームをF(n−1)として表
す。ステップa3では、図2や図3に示すようなウイン
ドウ20,21を設定する。図2に示すような前方注視
時と、図3に示すようなバックミラー確認時とのウイン
ドウ20,21の切換えは、たとえば全体的な頭部の動
きを画像認識処理で判断して行う。図2のウインドウ2
0は、ビデオカメラ4の方向を向いている左目を中心
に、画素を単位として70ピクセル×80ピクセルの矩
形領域に設定し、顔に動きのあるバックミラー確認操作
時の映像に対しては120ピクセル×80ピクセルの矩
形領域のウインドウ21を設定する。
FIG. 4 shows a processing procedure of the CPU 7 of FIG. The process starts from step a1. In step a2, the image of the driver 3 captured by the video camera 5 is processed by the image processing device 5, and then stored in the frame memory 6. The frame memory 6 stores at least two consecutive frames of video. The latest frame is represented by F (n), and the previous frame is represented by F (n-1). In step a3, windows 20 and 21 as shown in FIGS. 2 and 3 are set. Switching between the windows 20 and 21 between the time of forward gaze as shown in FIG. 2 and the time of confirmation of the rearview mirror as shown in FIG. 3 is performed, for example, by judging the overall movement of the head by image recognition processing. Window 2 in FIG.
0 is set to a rectangular area of 70 pixels × 80 pixels in units of pixels centered on the left eye facing the direction of the video camera 4, and 120 is set for an image at the time of a rearview mirror confirming operation with a moving face. A window 21 of a rectangular area of pixels × 80 pixels is set.

【0020】ステップa4では、ビデオカメラ4から出
力信号に乗ってくるノイズを除去するため、平滑化処理
を行う。たとえば図5(a)に示すように、画像フレー
ム上に対象となる画素30を中心に上下左右方向および
斜め方向に隣接する8画素31〜38を対象とし、3×
3ピクセルの小領域を設定し、単純平滑処理を行う。各
画素30〜38の輝度値をA,B,C,D,E,F,
G,H,Iとする。各輝度値A〜Iは、8ビットで表す
ことが多く、0を黒、255を白にそれぞれ対応させ
る。図5(b)に示すように、各画素30〜38の係数
a,b,c,d,e,f,g,h,iは全て1として、
9の画素30〜38の輝度の平均値を、画素30の輝度
とするフィルタ処理を行う。画素30の輝度Eは、次の
第1式で表される。
In step a4, a smoothing process is performed in order to remove noises on the output signal from the video camera 4. For example, as shown in FIG. 5 (a), eight pixels 31 to 38 adjacent in the vertical, horizontal, and diagonal directions with respect to the target pixel 30 on the image frame as the center are set as 3 ×
A small area of 3 pixels is set and simple smoothing processing is performed. The luminance values of the pixels 30 to 38 are represented by A, B, C, D, E, F,
G, H, and I. Each of the luminance values A to I is often represented by 8 bits, where 0 corresponds to black and 255 corresponds to white. As shown in FIG. 5B, the coefficients a, b, c, d, e, f, g, h, and i of each of the pixels 30 to 38 are all set to 1, and
Filter processing is performed so that the average value of the luminance of the nine pixels 30 to 38 is set to the luminance of the pixel 30. The luminance E of the pixel 30 is represented by the following first equation.

【0021】 E=(a*A+b*B+c*C+d*D+e*E+f*F+g*G+h*H+i*I)÷n …(1) ここで、nは通常a+b+c+d+e+f+g+h+i
程度の値にする。n=8とすると、第1式の計算を、2
進データで3ビットシフトすることによって行うことが
できるので、高速化を図ることができる。
E = (a * A + b * B + c * C + d * D + e * E + f * F + g * G + h * H + i * I) ÷ n (1) where n is usually a + b + c + d + e + f + g + h + i
To a value of the order. If n = 8, the calculation of the first equation is
Since it can be performed by shifting the binary data by 3 bits, the speed can be increased.

【0022】図4のステップa5では、最新フレームF
(n)と前フレームF(n−1)との対応画素間で輝度
の差分を求める。ステップa6では、ステップa5での
差演算の結果が負の値になった場合に、0に置換える。
このような演算をΘで表すものとする。ここで、 Δ+F(n) = F(n)ΘF(n−1) …(2) Δ-F(n) = F(n−1)ΘF(n) …(3) と置くと、第2式は輝度の増加分を、第3式は輝度の減
少分をそれぞれ表す。
In step a5 of FIG. 4, the latest frame F
A difference in luminance between corresponding pixels of (n) and the previous frame F (n-1) is obtained. In step a6, when the result of the difference operation in step a5 becomes a negative value, it is replaced with 0.
Such an operation is represented by Θ. Here, Δ + F (n) = F (n) ΘF (n−1) (2) Δ F (n) = F (n−1) ΘF (n) (3) Equation 2 represents an increase in luminance, and Equation 3 represents a decrease in luminance.

【0023】ステップa7では、第2式および第3式で
表される画面間差分の結果を2値化し、有効な輝度変化
領域として確定する。輝度が8ビットの符号なし整数で
表される場合には、たとえば図6に示すように、15を
弁別基準値とし、輝度増加時もしくは減少時が15以下
の領域を0、16以上の輝度増加時もしくは減少時の領
域を1として2値化する。2値化の弁別基準値は、映像
の輝度分布などに従って調整可能にしておくことが好ま
しい。
In step a7, the result of the difference between the screens represented by the second and third equations is binarized and determined as an effective luminance change area. In the case where the luminance is represented by an 8-bit unsigned integer, for example, as shown in FIG. The area at the time or the time of the decrease is set to 1 and binarized. It is preferable that the discrimination reference value for binarization can be adjusted according to the luminance distribution of an image.

【0024】図4のステップa8では、眼部の輝度変化
領域として可能性がある面積領域を残して、それ以外の
領域をノイズとして除去する。ステップa3で設定する
ウインドウ20,21内には、眼部とともに周囲の顔面
部なども含まれる。顔面の向きが変わったり、周囲に光
の変化などによる影の変化で、眼部のまばたきの変化よ
りも大きな面積で輝度の変化が生じる可能性がある。ま
た眼部のまばたきよりも小さな変化で輝度の変化が生じ
る可能性もある。眼部の面積が約250ピクセルである
ときには、たとえば10ピクセル以下および300ピク
セル以上の領域の輝度の変化はノイズとして除去するこ
とができる。ノイズとして除去する具体的な方法として
は、たとえば眼部と判定される部分を1とし、ノイズと
して判定する部分を0とする。あるいはラベリング処理
で眼部と他の部分との区別を可能にしておくことが考え
られる。
In step a8 of FIG. 4, an area which is likely to be a luminance change area of the eye is left, and other areas are removed as noise. The windows 20 and 21 set in step a3 include the surrounding face as well as the eyes. Due to a change in the direction of the face or a change in shadow due to a change in light around the face, a change in luminance may occur in an area larger than a change in blinking of the eye. In addition, there is a possibility that a change in luminance occurs due to a change smaller than blinking of the eye. When the eye area is about 250 pixels, for example, a change in luminance in an area of 10 pixels or less and 300 pixels or more can be removed as noise. As a specific method of removing as noise, for example, a portion determined to be an eye portion is set to 1 and a portion determined to be noise is set to 0. Alternatively, it is conceivable to make it possible to distinguish the eye from other parts by the labeling process.

【0025】ラベリング処理は、たとえば図7に示すよ
うにして行う。2値化後、図7(a)に示すような輝度
1の画素の分布を想定する。図7(b)は、画素間で8
近傍のいずれかが輝度1で連結している領域を抽出し、
番号付けした状態を示す。連結していない領域を区別す
るため、異なる番号を付ける。図7(c)は、4近傍連
結領域のラベリング状態を示す。いずれの処理を選択す
るかは、用途に応じて決める。次に番号付けされた各領
域の面積を、構成画素数を計数して求める。画素数から
ノイズの判定を行い、ノイズと判定した領域の輝度を0
とする。
The labeling process is performed, for example, as shown in FIG. After binarization, a distribution of pixels having a luminance of 1 as shown in FIG. 7A is assumed. FIG. 7B shows that 8 pixels
Extract an area where any of the neighborhoods are connected at a luminance of 1,
Indicates a numbered state. Different numbers are used to distinguish unconnected regions. FIG. 7C shows a labeling state of the 4-neighbor connection region. Which process is selected depends on the application. Next, the area of each numbered region is obtained by counting the number of constituent pixels. Noise is determined from the number of pixels, and the brightness of the area determined to be noise is set to 0.
And

【0026】ステップa9では、ウインドウ20,21
内の輝度変化領域の面積を、輝度増加領域および輝度減
少領域で算出し、S+(n)およびS-(n−1)でそれ
ぞれ表す。面積は、対応する画素の数で表される。
In step a9, windows 20, 21
The area of the brightness change area in the area is calculated by the brightness increase area and the brightness decrease area, and is represented by S + (n) and S (n−1), respectively. The area is represented by the number of corresponding pixels.

【0027】ステップa10では、輝度増加面積と輝度
減少面積との差を演算し、ステップa11では演算結果
を次の第4式のように表す。
In step a10, the difference between the luminance increase area and the luminance decrease area is calculated, and in step a11, the calculation result is expressed by the following equation (4).

【0028】 D(n) = S+(n)−S-(n) …(4) ステップa12では、ステップa11の差演算の結果で
あるD(n)を、時系列パターンメモリ10に記憶し、
標準瞬目パターンメモリ11に記憶されている標準瞬目
波形と時系列パターンメモリ10に記憶される差演算結
果D(n)の時系列パターンとの間で相関係数を求め
る。相関係数が一定値を超えた時点が瞬目として抽出さ
れる。瞬目が検出されないときには、ステップa2に戻
る。瞬目が検出されると、ステップa13に移り、覚醒
状態が低下しているか否かを判定する。覚醒状態が低下
していないと判定されるときには、ステップa2に戻
る。覚醒状態が低下して、居眠り運転に近づいていると
判定されるときには、ステップa14で、警報装置12
が起動され、警報処置が実行される。
[0028] D (n) = S + ( n) -S - In (n) ... (4) Step a12, stores D (n) is the result of the difference calculation step a11, the time series pattern memory 10 ,
A correlation coefficient is obtained between the standard blink waveform stored in the standard blink pattern memory 11 and the time series pattern of the difference calculation result D (n) stored in the time series pattern memory 10. The point when the correlation coefficient exceeds a certain value is extracted as a blink. When no blink is detected, the process returns to step a2. When a blink is detected, the process proceeds to step a13, where it is determined whether or not the awake state is reduced. When it is determined that the awake state has not decreased, the process returns to step a2. When it is determined that the awake state has decreased and the vehicle is approaching dozing, the alarm device 12 is activated in step a14.
Is activated and an alarm action is executed.

【0029】図8は、図2に示すような前方注視時の輝
度変化面積の時間変化についての試験結果の一例を示
す。処理領域は図2に示すウインドウ20で、70×8
0=5600ピクセルの範囲である。実線は輝度の増大
があった部分の面積を画素単位のピクセル値で示し、破
線は輝度の減少があった部分の面積をピクセル値で示
す。瞬目期間は、ビデオカメラ4の撮像する画像を、V
TRにも記憶しておき、映値を再生して後から判別して
いる。図9は、図3に示すようにバックミラー確認時の
輝度変化面積の時間変化についての試験結果の一例を示
す。図3に示すようにウインドウ21の大きさは、12
0×80=9600ピクセルであり、図8よりも大きく
してある。図9は、図8に比較して輝度の変化が全般的
に大きいことが判る。
FIG. 8 shows an example of a test result with respect to a temporal change of the luminance change area at the time of forward gaze as shown in FIG. The processing area is the window 20 shown in FIG.
0 = range of 5600 pixels. The solid line indicates the area of the portion where the luminance has increased by a pixel value in pixel units, and the broken line indicates the area of the portion where the luminance has decreased by the pixel value. During the blink period, the image captured by the video camera 4 is
It is also stored in the TR, and the image value is reproduced and discriminated later. FIG. 9 shows an example of a test result on a time change of the luminance change area when the rearview mirror is checked as shown in FIG. As shown in FIG. 3, the size of the window 21 is 12
0 × 80 = 9600 pixels, which is larger than FIG. FIG. 9 shows that the change in luminance is generally large as compared with FIG.

【0030】図10および図11は、図8および図9の
輝度変化面積の時間変化に対する時間変化の差の時間変
化をそれぞれ示す。ただし、図3に示す輝度変化面積の
差D(n)の符号を反転して、輝度の増加した面積から
減少した面積の差D(n)は、輝度の減少面積よりも増
加面積の方が大きい場合に正の値となって、逆の場合に
負の値となる。したがって、瞬目期間中のまぶたが閉じ
つつある期間では正、開きつつある期間では負の値とな
る。図10では、この傾向が明瞭に表れている。
FIGS. 10 and 11 show the time change of the difference of the time change with respect to the time change of the luminance change area in FIGS. 8 and 9, respectively. However, the sign of the difference D (n) of the luminance change area shown in FIG. If it is large, it will be a positive value, and if it is not, it will be a negative value. Therefore, during the blink period, the value is positive during the period when the eyelid is closing, and is negative during the period when the eyelid is opening. This tendency is clearly shown in FIG.

【0031】図12は、図10に示す5つの瞬目期間で
のそれぞれ9フレームについて輝度変化面積の差D
(n)の平均値を求め、設定する標準瞬目波形の例を示
す。図10および図11に示す輝度変化面積の差D
(n)の時系列パターンに含まれる瞬目波形を定量的に
評価するため、図12に示す標準瞬目波形の9フレーム
分との間で相関係数を求める。図13および図14は、
図10および図11の任意の連続する9フレームと、図
12に示す瞬目の標準波形との間での相関係数の値を、
対象となる9フレームの中央のフレームに相関係数値を
プロットして示す。前方注視時のグラフ図である図13
から、相関係数が0.6以上のときに瞬目の抽出が可能
であると判る。図13では、検出ミスも誤検出も発生し
ていない。この基準を、顔の動きを伴う図14に適用し
た場合は、検出ミスと誤検出とが1つずつ発生している
ことが判る。
FIG. 12 is a graph showing the difference D in luminance change area for each of nine frames during the five blink periods shown in FIG.
The example of the standard blink waveform which calculates | requires the average value of (n) and sets is shown. Difference D between the luminance change areas shown in FIGS. 10 and 11
In order to quantitatively evaluate the blink waveform included in the time series pattern of (n), a correlation coefficient is obtained between nine frames of the standard blink waveform shown in FIG. FIG. 13 and FIG.
The value of the correlation coefficient between any of the consecutive nine frames in FIGS. 10 and 11 and the standard blinking waveform shown in FIG.
The correlation coefficient value is plotted and shown in the center frame of nine target frames. FIG. 13 is a graph diagram at the time of forward gaze
Thus, it can be seen that blinks can be extracted when the correlation coefficient is 0.6 or more. In FIG. 13, no detection error or erroneous detection has occurred. When this criterion is applied to FIG. 14 involving the movement of a face, it can be seen that one detection error and one erroneous detection have occurred.

【0032】なお、相関係数の算出は、たとえば次の第
5式に従って、r(k)を求めて行う。
The calculation of the correlation coefficient is performed by calculating r (k) according to, for example, the following equation (5).

【0033】[0033]

【数1】 (Equation 1)

【0034】ここで、D(k+m)は、図15(a)に
示す瞬目抽出波形D(n)のk+mフレームの値を示
す。Do(m)は、図15(b)に示す標準瞬目波形を
示す。また、Dav,Doavは、次の第6式、第7式に示
す平均値である。
Here, D (k + m) indicates the value of the k + m frame of the blink extraction waveform D (n) shown in FIG. Do (m) indicates the standard blink waveform shown in FIG. Further, D av and Do av are average values shown in the following Expressions 6 and 7.

【0035】[0035]

【数2】 (Equation 2)

【0036】ただし、DavおよびDoavは、ほぼ零に近
い値なので、高速化を図るため、第5式は次の第8式の
ように簡略化することもできる。
However, since D av and Do av are values close to zero, the fifth equation can be simplified to the following eighth equation in order to increase the speed.

【0037】[0037]

【数3】 (Equation 3)

【0038】本実施形態の瞬目検出では、顔の動きが伴
う場合に検出の精度が低下しているけれども、顔の動き
は全体的な画像のパターン認識などによって判定するこ
とができる。むしろ顔に動きがない前方注視時に、瞬目
の検出のみで居眠りの判定を行うことができることが重
要である。また、本実施形態の基本的な原理は、自動車
2の運転者3に適用できるばかりではなく、他の交通機
関の運転者に対しても同様に適用することができ、安全
性の確保などのために大きな効果を奏すると期待され
る。
In the blink detection of this embodiment, the face detection can be determined by pattern recognition of the entire image, although the detection accuracy is reduced when the face movement is involved. Rather, it is more important that the drowsiness can be determined only by detecting the blink at the time of forward gaze where the face does not move. In addition, the basic principle of the present embodiment can be applied not only to the driver 3 of the automobile 2 but also to the driver of another transportation, and the safety principle can be improved. It is expected to have a great effect.

【0039】[0039]

【発明の効果】以上のように本発明によれば、運転者の
眼部を含む映像を撮像して抽出される瞬目に基づいて覚
醒状態が判定される。覚醒状態の判定では、撮像される
映像に基づいて行われるので、運転者に直接接触するこ
となく瞬目の時点を抽出して覚醒状態の判定を行い、覚
醒状態が低下して居眠り運転に至る前に適切な抑止処置
を行うことができる。
As described above, according to the present invention, the awake state is determined based on the blinks extracted by capturing an image including the driver's eye. Since the determination of the awake state is performed based on the captured image, the time of the blink is extracted without directly touching the driver, and the determination of the awake state is performed. Appropriate deterrent actions can be taken before.

【0040】また本発明によれば、撮像手段が撮像する
運転者の映像は赤色成分のみに基づいて瞬目抽出のため
の演算処理を行うので、有効な映像成分のみで迅速な瞬
目抽出を行い、居眠り運転の防止を効率的に行うことが
できる。
Further, according to the present invention, the driver's image picked up by the image pickup means is subjected to arithmetic processing for blink extraction on the basis of only the red component. This makes it possible to efficiently prevent the driver from falling asleep.

【0041】また本発明によれば、瞬目の抽出を行う映
像の領域をウインドウを設定して限定し、映像間の差分
値を2値化して輝度の増減に対応する領域の面積を画素
の数として算出し、面積の差としての演算結果を得るの
で、面積差の演算を迅速に行い、瞬目の抽出処理を効率
的に行うことができる。
According to the present invention, the area of the image from which the blink is extracted is limited by setting a window, the difference value between the images is binarized, and the area of the area corresponding to the increase or decrease of the luminance is determined by the pixel. Since the calculation is performed as a number and the calculation result as the area difference is obtained, the calculation of the area difference can be performed quickly, and the blink extraction processing can be performed efficiently.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の実施の一形態としての居眠り運転防止
装置1の概略的なシステム構成を示すブロック図であ
る。
FIG. 1 is a block diagram showing a schematic system configuration of a dozing driving prevention device 1 as one embodiment of the present invention.

【図2】図1のビデオカメラ4によって撮像される運転
者3の撮影画面を示す図である。
FIG. 2 is a view showing a photographing screen of a driver 3 photographed by a video camera 4 of FIG. 1;

【図3】図1のビデオカメラ4によって撮像される運転
者3の撮影画面を示す図である。
FIG. 3 is a diagram showing a photographing screen of a driver 3 captured by the video camera 4 of FIG. 1;

【図4】図1の居眠り運転防止装置1のCPU7の処理
手順を示すフローチャートである。
FIG. 4 is a flowchart showing a processing procedure of a CPU 7 of the dozing driving prevention device 1 of FIG.

【図5】図4のステップa4の平滑化処理の対象となる
画素の輝度と係数とを示す図である。
FIG. 5 is a diagram showing the luminance and coefficient of a pixel to be subjected to the smoothing processing in step a4 of FIG. 4;

【図6】図4のステップa7の2値化処理の対応関係の
一例を示すグラフである。
FIG. 6 is a graph showing an example of a correspondence relation of the binarization processing in step a7 of FIG. 4;

【図7】図4のステップa8のノイズ除去の一例として
のラベリング処理の概要を示す図である。
FIG. 7 is a diagram showing an outline of a labeling process as an example of noise removal in step a8 of FIG. 4;

【図8】図2に示す前方注視時の輝度変化面積の時間変
化の一例を示すグラフである。
8 is a graph showing an example of a temporal change of a luminance change area at the time of front gaze shown in FIG. 2;

【図9】図3に示すバックミラー確認時の輝度変化面積
の時間変化の一例を示すグラフである。
9 is a graph illustrating an example of a temporal change of a luminance change area when the rearview mirror illustrated in FIG. 3 is checked.

【図10】図8の輝度変化面積の差の時間変化を示すグ
ラフである。
FIG. 10 is a graph showing a time change of the difference between the luminance change areas in FIG. 8;

【図11】図9の輝度変化面積の差の時間変化を示すグ
ラフである。
FIG. 11 is a graph showing a time change of a difference between luminance change areas in FIG. 9;

【図12】図10の各瞬目期間を平均して得られる瞬目
の標準波形を示すグラフである。
12 is a graph showing a standard blinking waveform obtained by averaging each blink period in FIG. 10;

【図13】図10の輝度変化面積の差の時系列的なパタ
ーンと図12の標準瞬目波形との相関係数の時間変化を
示すグラフである。
13 is a graph showing a time change of a correlation coefficient between a time-series pattern of a difference in luminance change area of FIG. 10 and a standard blink waveform of FIG. 12;

【図14】図11の輝度変化面積の差の時系列パターン
と図11の標準瞬目波形との相関係数の時間変化を示す
グラフである。
14 is a graph showing a time change of a correlation coefficient between a time-series pattern of a difference in luminance change area in FIG. 11 and a standard blink waveform in FIG. 11;

【図15】相関係数算出の対象となる瞬目抽出波形と標
準瞬目波形とを示すグラフである。
FIG. 15 is a graph showing a blink extraction waveform and a standard blink waveform to be calculated.

【符号の説明】[Explanation of symbols]

1 居眠り運転防止装置 2 自動車 3 運転者 4 ビデオカメラ 5 画像処理装置 6 フレームメモリ 7 CPU 8 プログラムメモリ 9 入力装置 10 時系列パターンメモリ 11 標準瞬目パターンメモリ 12 警報装置 20,21 ウインドウ DESCRIPTION OF SYMBOLS 1 Drowsy driving prevention device 2 Car 3 Driver 4 Video camera 5 Image processing device 6 Frame memory 7 CPU 8 Program memory 9 Input device 10 Time series pattern memory 11 Standard blink pattern memory 12 Alarm device 20, 21 Window

フロントページの続き (72)発明者 有賀 正剛 大阪府大阪市中央区高麗橋3−1−14 高麗橋山本ビル4階 日本マイクロシス テムズ株式会社内 (56)参考文献 特開 平10−143669(JP,A) 特開 平10−119606(JP,A) 特開 平8−147582(JP,A) 特開 平7−129781(JP,A) 特開 平6−270710(JP,A) (58)調査した分野(Int.Cl.7,DB名) G06T 1/00,7/00,7/20 G08B 21/00 Continuation of front page (72) Inventor Shogo Ariga 3-1-14 Koraibashi, Chuo-ku, Osaka-shi, Osaka 4th floor of Koraibashi Yamamoto Building Inside Japan Microsystems Co., Ltd. (56) References JP-A-10-143669 (JP, A JP-A-10-119606 (JP, A) JP-A-8-147682 (JP, A) JP-A-7-129781 (JP, A) JP-A-6-270710 (JP, A) (58) Field (Int.Cl. 7 , DB name) G06T 1 / 00,7 / 00,7 / 20 G08B 21/00

Claims (3)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 移動体の運転者の居眠り運転を防止する
ための装置であって、 運転者の眼部を含む映像を、順次的に撮像して出力する
撮像手段と、 撮像手段によって出力される映像を記憶する映像記憶手
段と、 撮像手段によって撮像される映像F(n)と、映像記憶
手段によって記憶されている先行する映像F(n−1)
とで対応する領域間の輝度の差を演算し、輝度が増加す
る領域と輝度が減少する領域との面積の差を演算する面
積差演算手段と、 面積差演算手段によって演算される面積の差の演算結果
を、時系列的に記憶する面積差記憶手段と、 面積差記憶手段に記憶されている面積差演算結果の時系
列パターンと、予め設定される標準瞬目パターンとの相
関係数を求め、相関係数が予め定める基準値を超える時
点を瞬目として抽出する瞬目抽出手段と、 瞬目抽出手段によって抽出される瞬目の時点で、瞬目の
動作速度および時間間隔に基づき動作が低速になり、時
間間隔が短くなっているときに、運転者の覚醒状態が低
下していると判定する覚醒判定手段と、 覚醒判定手段によって、運転者の覚醒状態が低下してい
ると判定されるとき、予め定める居眠り防止処置を実行
する居眠り防止手段とを含むことを特徴とする居眠り運
転防止装置。
1. An apparatus for preventing a driver of a moving body from falling asleep, comprising: an imaging unit that sequentially captures and outputs an image including an eye of the driver; and an output unit that is output by the imaging unit. Storage means for storing an image to be stored, an image F (n) captured by the imaging means, and a preceding image F (n-1) stored by the image storage means
Calculating the difference in luminance between the corresponding regions by calculating the difference in area between the region in which the luminance increases and the region in which the luminance decreases, and the difference in the area calculated by the area difference calculating unit Area difference storing means for storing the calculation result in time series, a time series pattern of the area difference calculation result stored in the area difference storing means, and a correlation coefficient between a predetermined standard blink pattern and A blink extraction means for extracting a time point at which the correlation coefficient exceeds a predetermined reference value as a blink, and an operation based on the operation speed and time interval of the blink at the time of the blink extracted by the blink extraction means. The awakening determination means for determining that the driver's arousal state is decreasing when the vehicle speed is low and the time interval is short; and determining that the driver's awakening state is decreasing by the awakening determination means. When dozing And a drowsiness prevention means for performing a drowsiness prevention measure.
【請求項2】 前記撮像手段は、前記運転者の眼部を含
む映像のうち、赤色成分のみを出力することを特徴とす
る請求項1記載の居眠り運転防止装置。
2. The drowsy driving prevention device according to claim 1, wherein the imaging unit outputs only a red component in the video including the driver's eye.
【請求項3】 前記面積差演算手段は、 前記映像のうち、眼部およびその周囲の領域を、演算処
理の対象となるウインドウとして設定するウインドウ設
定手段と、 ウインドウ設定手段によって設定されるウインドウ内の
映像を表す画素毎に、前記映像F(n),F(n−1)
間の差分を算出する差分算出手段と、 差分算出手段によって算出される各画素毎の差分値を2
値化する2値化手段と、2値化手段によって2値化され
た差分値に基づいて、輝度が増加する画素数と輝度が減
少する画素数との差を、前記面積の差として算出する画
素数差算出手段とを備えることを特徴とする請求項1ま
たは2記載の居眠り運転防止装置。
3. The area difference calculating means includes: a window setting means for setting an eye part and a surrounding area of the video as a window to be subjected to a calculation process; and a window set by the window setting means. The images F (n) and F (n-1)
A difference calculating means for calculating a difference between the pixels, and a difference value for each pixel calculated by the difference calculating means being 2
The difference between the number of pixels whose luminance increases and the number of pixels whose luminance decreases based on the binarizing means for binarizing and the difference value binarized by the binarizing means is calculated as the area difference. The drowsy driving prevention device according to claim 1 or 2, further comprising a pixel number difference calculation unit.
JP10209827A 1998-07-24 1998-07-24 Drowsy driving prevention device Expired - Lifetime JP3012226B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10209827A JP3012226B2 (en) 1998-07-24 1998-07-24 Drowsy driving prevention device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10209827A JP3012226B2 (en) 1998-07-24 1998-07-24 Drowsy driving prevention device

Publications (2)

Publication Number Publication Date
JP2000040148A JP2000040148A (en) 2000-02-08
JP3012226B2 true JP3012226B2 (en) 2000-02-21

Family

ID=16579282

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10209827A Expired - Lifetime JP3012226B2 (en) 1998-07-24 1998-07-24 Drowsy driving prevention device

Country Status (1)

Country Link
JP (1) JP3012226B2 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4042979B2 (en) 2004-05-14 2008-02-06 本田技研工業株式会社 Vehicle operation support device
JP4286860B2 (en) 2004-05-21 2009-07-01 旭化成株式会社 Operation content determination device
JP4864541B2 (en) * 2006-05-23 2012-02-01 旭化成株式会社 Blink data classification device, wakefulness determination device, and wakefulness determination device
JP2008171108A (en) * 2007-01-10 2008-07-24 Matsushita Electric Ind Co Ltd Face condition determining device and imaging device
JP2008171107A (en) * 2007-01-10 2008-07-24 Matsushita Electric Ind Co Ltd Face condition determining device and imaging device
JP4376936B2 (en) 2007-12-21 2009-12-02 トヨタ自動車株式会社 Vehicle seat device
JP5189893B2 (en) * 2008-05-20 2013-04-24 旭化成株式会社 Blink type identification device, blink type identification method, and blink type identification program
CN102469948B (en) * 2010-03-12 2015-06-03 塔塔咨询服务有限公司 A system for vehicle security, personalization and cardiac activity monitoring of a driver
JP5519413B2 (en) * 2010-06-03 2014-06-11 パナソニック株式会社 Pupil concealed state detection device and in-vehicle camera equipped with the same
US8405714B2 (en) 2010-06-03 2013-03-26 Panasonic Corporation Pupil hidden state detecting apparatus and vehicle-mounted camera employing the same
JP6234762B2 (en) 2013-10-09 2017-11-22 アイシン精機株式会社 Eye detection device, method, and program
JP2017068576A (en) * 2015-09-30 2017-04-06 パナソニックIpマネジメント株式会社 State determination apparatus, eye-close determination apparatus, state determination method, state determination program, and recording medium

Also Published As

Publication number Publication date
JP2000040148A (en) 2000-02-08

Similar Documents

Publication Publication Date Title
US6243015B1 (en) Driver's drowsiness detection method of drowsy driving warning system
JP4374211B2 (en) Lane marker position detection method, lane marker position detection device, and lane departure warning device
JP3012226B2 (en) Drowsy driving prevention device
JP4626632B2 (en) Video surveillance system
US9662977B2 (en) Driver state monitoring system
JP2546415B2 (en) Vehicle driver monitoring device
US20060287779A1 (en) Method of mitigating driver distraction
EP1723901A1 (en) Vehicle operator monitoring system and method
CN111661059B (en) Method and system for monitoring distracted driving and electronic equipment
JP4267171B2 (en) Pedestrian detection device
JP3312729B2 (en) Outside monitoring device with fail-safe function
JP2001211466A (en) Image processing system having self-diagnostic function
JP2007207274A (en) Start annunciation device
JP2015529512A (en) Processing related to eyelid movement to detect drowsiness
CN114332721A (en) Camera device shielding detection method and device, electronic equipment and storage medium
JP2994170B2 (en) Vehicle periphery monitoring device
JP2005515733A (en) Method and apparatus for identifying or displaying image errors in an imaging system
JP3984863B2 (en) Start notification device
JP3898586B2 (en) Open / close eye monitor device
JPH0911773A (en) Vehicle running condition detecting device and dozing driving warning device
US10945651B2 (en) Arousal level determination device
JP3036319B2 (en) Driver status monitoring device
JP2940582B2 (en) Obliquely backward traveling vehicle detection method
JP7057074B2 (en) On-board unit and driving support device
JP2020194227A (en) Face hiding determination device, face hiding determination method, face hiding determination program, and occupant monitoring system