JP3651571B2 - ドライバ状態検知システム - Google Patents
ドライバ状態検知システム Download PDFInfo
- Publication number
- JP3651571B2 JP3651571B2 JP13045499A JP13045499A JP3651571B2 JP 3651571 B2 JP3651571 B2 JP 3651571B2 JP 13045499 A JP13045499 A JP 13045499A JP 13045499 A JP13045499 A JP 13045499A JP 3651571 B2 JP3651571 B2 JP 3651571B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- state
- face
- unit
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Traffic Control Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ドライバの顔を撮像してその画像からドライバの状態を検知することにより、ドライバの運転を支援するドライバ状態検知システムに関する。
【０００２】
【従来の技術】
ドライバ（運転手）の居眠りや脇見運転等による事故を未然に防ぐために、ドライバの顔を常時照明した状態でＣＣＤカメラ等の撮像デバイスにより撮像し、得られたドライバの顔の画像に基づいて、演算処理ユニット（ＣＰＵ）により例えば２値化処理等の画像処理を行うことにより、ドライバの目の位置、瞬き、開き具合等を認識してドライバの状態を検知する認識装置を有するドライバ状態検知システムが知られている。
【０００３】
このドライバ状態検知システムによれば、認識装置は、上記画像処理に基づく例えば目の瞬きの回数や開き具合等の判断からドライバの居眠り運転状態を検知した場合や、眼球の位置等の判断から脇見運転状態を検知した場合には、警報音等の警報をドライバに対して出力することにより、ドライバに対して注意を喚起させている。
【０００４】
上述した認識装置を有するドライバ状態検知システムにおいては、昼夜、天候等による運転環境での明るさの変化に対応できる必要がある。例えば、太陽光の直射では、ドライバの顔に影が生じることもあり、画像処理によるドライバの状態検知に支障をきたす可能性がある。
【０００５】
そこで、昼夜に亘り撮像でき、顔に対する屋外での外乱光（昼夜の照度変化や太陽光直射等）の影響を低減するために、上記ドライバの顔を照明する光として、外乱光の影響を受けにくい赤外線照明光を用いており、この赤外線照明光を常時ドライバの顔に照射することにより、ドライバの状態検知の精度を向上させている。
【０００６】
【発明が解決しようとする課題】
しかしながら、従来の認識装置を有するドライバ状態検知システムによれば、赤外線照明光を常時ドライバに照射していることになる。この赤外線は、連続して目に照射されると、強度によっては、視力障害を引き起こす恐れがあるため、連続して照射される可能性があるドライバにとっては、心理的な不安感を与えていた。
【０００７】
また、緊急時でない場合やドライバが気付いている場合においても、常時ＣＣＤカメラにより顔画像を撮像し、ＣＰＵが画像処理を実行しているため認識装置の構成要素の耐久性が悪化し、コストの増加を招く恐れが生じていた。
【０００８】
本発明は上述した事情に鑑みてなされたもので、赤外線ＬＥＤの照射を含む顔認識装置の起動／停止制御を、例えば車両の動作状態や車両周辺の状況に応じて行うことにより、ドライバに与える心理的不安感を低減させ、身体的な安全性を向上させ、さらに認識装置の耐久性を向上させることができるドライバ状態検知システムを提供することをその目的とする。
【０００９】
【課題を解決するための手段】
本発明に係るドライバ状態検知システムは、上述した課題を解決するために、請求項１に記載したように、ドライバの顔を照明しながら撮像し、得られた画像に基づいて前記ドライバの状態を認識する認識装置と、前記車両の走行状態を検出する走行状態検出手段と、検出された走行状態に応じて前記認識装置の駆動制御を行う制御手段とを備えたドライバ状態検知システムにおいて、前記認識装置は、ドライバの顔を照明する照明部と、この照明部により照明されたドライバの顔を撮像する撮像デバイスと、この撮像デバイスにより撮像された画像に基づいてドライバの状態を認識する認識部とを備え、前記制御手段は、検出された走行状態に応じて、前記照明部を消灯もしくはその強度を弱くするように制御するものである。
【００１１】
本発明に係るドライバ状態検知システムは、上述した課題を解決するために、請求項３に記載したように、ドライバの顔を照明しながら撮像し、得られた画像に基づいて前記ドライバの状態を認識する認識装置と、前記車両の周辺状況を検出する周辺状況検出手段と、検出された周辺状況に応じて前記認識装置の駆動制御を行う制御手段とを備えたドライバ状態検知システムにおいて、前記認識装置は、ドライバの顔を照明する照明部と、この照明部により照明されたドライバの顔を撮像する撮像デバイスと、この撮像デバイスにより撮像された画像に基づいてドライバの状態を認識する認識部とを備え、前記制御手段は、検出された周辺状況に応じて、前記照明部を消灯もしくはその強度を弱くするように制御するものである。
【００１３】
【発明の実施の形態】
本発明の実施の形態を添付図面を参照して説明する。
【００１４】
図１は、車両１内に搭載された本実施の形態に係るドライバ状態検知システム２の概略構成を示すブロック図である。
【００１５】
図１によれば、ドライバ状態検知システム２は、車両１内のドライバＤの顔を赤外線照明光により照射するための赤外線発光デバイスである赤外線ＬＥＤ３と、この赤外線照明光により照明されたドライバＤの顔を撮像する撮像デバイスとしてのＣＣＤカメラ４とを備えている。
【００１６】
また、ドライバ状態検知システム２は、赤外線ＬＥＤ３の点灯／消灯に係るＬＥＤ駆動処理部１０、ＣＣＤカメラ４の駆動処理（顔画像撮像処理）を行うカメラ駆動処理部１１、ＣＣＤカメラ４により撮像されたドライバＤの顔画像に基づいて２値化処理、濃淡情報によるパターンマッチング等の画像処理を行うことにより、ドライバＤの目の位置、瞬き、開き具合等を認識してドライバの状態を検知する認識処理部（ＣＰＵ）１２および検知されたドライバＤの運転状態に応じて警報音等の警報出力処理とを行う警報出力部１３を有する認識装置１５を備えている。
この認識装置１５は、赤外線発光デバイス３を点灯させてドライバの顔を赤外線により照明する照明部と、この照明部により照明された顔を撮像する撮像デバイス４と、この撮像デバイス４により撮像された画像に基づいてドライバの状態を認識する認識部１２とを備えており、制御手段１７は、検出された走行状態に応じて、前記照明部の赤外線発光デバイス３の点灯および消灯制御を行う手段１０を備えている。
【００１７】
また、ドライバ状態検知システム２は、ＬＥＤ駆動処理部１０の赤外線ＬＥＤ３に対する点灯／消灯に係る駆動処理タイミング制御と、カメラ駆動処理部１１のＣＣＤカメラ１０に対する駆動処理タイミング（撮像タイミング）制御とを行うコントローラ１７を備えている。
【００１８】
このコントローラ１７には、車両１の駆動エンジンの回転数を検出する回転数検出センサ２０と、ドライバＤがハンドルＨを操作した際のハンドル回転角度変化を検出する角度センサ２１と、自車両１の周囲の他車両からクラクションが自車両１に対して発せられた際に、そのクラクションを検出する音センサ２２とがそれぞれ接続されており、各センサ２０〜２２の検出信号は、コントローラ１７に送られるようになっている。
【００１９】
次に本実施形態に係るドライバ状態検知システム２の全体動作について説明する。
【００２０】
本実施形態のドライバ状態検知システム２によれば、車両１の起動（走行開始）に応じてコントローラ１７は、認識装置１５に駆動開始指令、すなわち、ＬＥＤ駆動処理部１０にＬＥＤ点灯制御指令およびカメラ駆動処理部１１に対してＣＣＤカメラ駆動指令をそれぞれ送信する。
【００２１】
この結果、ＬＥＤ駆動処理部１０の点灯駆動処理により赤外線ＬＥＤ３が点灯してドライバＤの顔が照明され、その照明状態においてカメラ駆動処理部１１の処理によりＣＣＤカメラ４が駆動してドライバＤの顔の画像が連続的に撮影される。そして、撮像されたドライバＤの顔画像に基づく認識処理部１２を介した画像処理が行われ、ドライバＤの状態検知処理が行われる。
【００２２】
このとき、コントローラ１７は、回転数検出センサ２０から送られた検出信号（回転数）に応じて、図２に示す処理を行っている。
【００２３】
すなわち、コントローラ１７は、回転数検出センサ２０から送られた走行中の車両１のエンジン回転数に基づいて、エンジンが停止状態であるか、あるいは、渋滞路や赤信号による信号待ちの停車中におけるアイドリング状態であるか否かを判断する（ステップＳ１）。
【００２４】
このステップＳ１の判断の結果ＮＯ、すなわち、エンジン停止状態およびアイドリング状態の何れでもない場合には、自車両１は走行中でありドライバ状態検知処理を行う必要があると判断してステップＳ１の処理を繰り返す。
【００２５】
一方、ステップＳ１の判断の結果ＹＥＳ、すなわち、例えば走行中の自車両１が渋滞路や赤信号による信号待ち等により停車してエンジンがアイドリング状態になるか、あるいは自車両１が完全に停止してエンジンが停止状態になった時、コントローラ１７は、認識装置１５に駆動停止指令、すなわち、ＬＥＤ駆動処理部１０にＬＥＤ消灯制御指令およびカメラ駆動処理部１１に対してＣＣＤカメラ駆動停止指令をそれぞれ送信する（ステップＳ２）。
【００２６】
この結果、ＬＥＤ駆動処理部１０の消灯駆動処理により赤外線ＬＥＤ３が消灯するとともに、ＣＣＤカメラ４の駆動が停止してドライバＤの顔の撮像が停止する。
【００２７】
続いて、コントローラ１７は、回転数検出センサ２０から送られたエンジン回転数に基づいて、エンジンの駆動が開始したか、あるいは、渋滞解消や信号の青信号変化等によりアイドリング状態が終了したか否かを判断する（ステップＳ３）。
【００２８】
このステップＳ３の判断の結果ＮＯ、すなわち、エンジン停止状態およびアイドリング状態の何れかである場合には、自車両１は停止状態あるいは渋滞路走行状態・信号待ち状態でありドライバ状態検知処理を行う必要がないと判断してステップＳ３の処理を繰り返す。
【００２９】
一方、ステップＳ３の判断の結果ＹＥＳ、すなわち、例えば停車中の自車両１が走行を開始（エンジンの駆動が開始）したか、あるいは、渋滞解消や信号の青信号変化等によりアイドリング状態が終了した際には、コントローラ１７は、ＬＥＤ駆動処理部１０にＬＥＤ点灯制御指令およびカメラ駆動処理部１１に対してＣＣＤカメラ駆動指令をそれぞれ送信して（ステップＳ４）、処理を終了する。
【００３０】
この結果、ＬＥＤ駆動処理部１０の点灯駆動処理により赤外線ＬＥＤ３が再点灯してドライバＤの顔が照明され、その照明状態においてカメラ駆動処理部１１の処理によりＣＣＤカメラ４が再駆動してドライバＤの顔の画像が連続的に撮影される。そして、撮像されたドライバＤの顔画像に基づく認識処理部１２の画像処理が再開され、ドライバＤの状態検知処理が再度行われる。
【００３１】
すなわち、本実施形態によれば、自車両１が停止（停車）状態か、あるいは渋滞や信号待ち等の状態においては、ドライバＤの顔認識処理を行う必要性の度合いが弱いと判断し、認識装置１５の駆動停止、すなわち、赤外線ＬＥＤ３の消灯、ＣＣＤカメラ４の撮像停止および認識処理部１２の認識処理停止を実現することができるため、赤外線ＬＥＤ３が常時継続してドライバＤの顔を照明することを防止してドライバＤの心理的不安感を低減させ、かつドライバＤの身体的安全性を向上させることができる。
【００３２】
さらに、本実施形態によれば、赤外線ＬＥＤ３、ＣＣＤカメラ４および認識処理部（ＣＰＵ）１２を常時駆動させることなく、必要性の度合いが高い（走行中）場合においてのみ駆動させることができるため、赤外線ＬＥＤ３、ＣＣＤカメラ４およびＣＰＵ１２の無駄な利用を避けて、それらの耐久性を向上させることができ、ドライバ状態検知システム２のコストを低減することができる。
【００３３】
一方、本実施形態では、コントローラ１７は、回転数検出センサ２０からの回転数に応じた図２に示す認識装置１５の駆動開始／停止処理に加えて、割り込み処理により図３に示す処理を行っている。
【００３４】
すなわち、コントローラ１７は、回転数検出センサ２０から送られた走行中の車両１のエンジン回転数およびコントローラ自体のタイマ機能に基づいて、自車両１のスピードが所定時間以上所定速度（例えば、８０ｋｍ以上）で運転しているか否かを判断する（ステップＳ１０）。
【００３５】
このステップＳ１０の判断の結果ＮＯ、すなわち、自車両１が一般道路を走行中である場合には、ドライバ状態検知処理を行う必要があると判断してステップＳ１０の処理を繰り返す。
【００３６】
一方、例えば、自車両１が高速道路を走行している際には、ステップＳ１０の判断の結果はＹＥＳとなり、コントローラ１７は、ＬＥＤ駆動処理部１０にＬＥＤ消灯制御指令を送信し、カメラ駆動処理部１１に対してＣＣＤカメラ駆動停止指令を送信する（ステップＳ１１）。
【００３７】
この結果、ＬＥＤ駆動処理部１０の消灯駆動処理により赤外線ＬＥＤ３が消灯するとともに、ＣＣＤカメラ４の駆動が停止してドライバＤの顔の撮像が停止する。
【００３８】
次いで、コントローラ１７は、角度センサ２１からハンドル角変化信号が送信されているか否かを判断する（ステップＳ１２）。
【００３９】
このステップＳ１２の判断の結果ＮＯ、すなわち、角度センサ２１からハンドル角変化信号が送信されていなければ、ドライバＤはハンドルを回転操作してはおらず、ドライバ状態検知処理を行う必要がないと判断してステップＳ１２の処理を繰り返す。
【００４０】
一方、ステップＳ１２の判断の結果ＹＥＳ、すなわち、ドライバＤがハンドルを回転操作して角度センサ２１からハンドル角変化信号が送信された際には、コントローラ１７は、ＬＥＤ駆動処理部１０にＬＥＤ点灯制御指令を送信し、カメラ駆動処理部１１に対してＣＣＤカメラ駆動指令を送信して（ステップＳ１３）、割り込み処理を終了し、処理をメインに戻す。
【００４１】
この結果、赤外線ＬＥＤ３の再点灯により照明されたドライバＤの顔画像がＣＣＤカメラ４により連続的に撮影され、認識処理部１２の画像処理に基づくドライバＤの状態検知処理が再度行われる。
【００４２】
すなわち、本実施形態によれば、自車両１が走行中においても、例えば高速道路を走行中においては、ハンドル角操作をドライバＤが行わない間は、ドライバＤの顔認識処理を行う必要性の度合いが弱いと判断し、認識装置１５の駆動停止、すなわち、赤外線ＬＥＤ３の消灯、ＣＣＤカメラ４の撮像停止および認識処理部１２の認識処理停止を実現することができるため、赤外線ＬＥＤ３の常時照射に起因したドライバＤに対する心理的不安感を低減し、その身体的安全性を向上させるとともに、認識装置１５の各構成要素（赤外線ＬＥＤ３、ＣＣＤカメラ４および認識処理部１２等）の継続的な駆動を回避して耐久性の向上・コスト低減に寄与することができる。
【００４３】
さらに、本実施形態では、コントローラ１７は、図２に示す認識装置１５の駆動停止時（ステップＳ２〜ステップＳ３の判断→ＮＯ）、および図３に示す認識置１５の駆動停止時（ステップＳ１１〜ステップＳ１２の判断→ＮＯ）において、例えば、割り込み処理により、図４に示す処理を行っている。
【００４４】
すなわち、コントローラ１７は、音センサ２２から自車両１に対するクラクションに基づく検出信号が送られてきたか否かを判断する（ステップＳ２０）。
【００４５】
このステップＳ２０の判断の結果ＮＯ、すなわち、自車両１の周囲の他車両から自車両１に対してクラクションが鳴らされていないと判断された場合には、自車両１はドライバ状態検知処理を行う必要がないと判断してステップＳ２０の処理を繰り返す。
【００４６】
一方、ステップＳ２０の判断の結果ＹＥＳ、すなわち、自車両１の周囲の他車両から自車両１に対してクラクションが鳴らされたと判断された場合には、コントローラ１７は、認識装置１５に駆動開始指令、すなわち、ＬＥＤ駆動処理部１０にＬＥＤ点灯制御指令を送信し、カメラ駆動処理部１１に対してＣＣＤカメラ駆動指令を送信する（ステップＳ２１）。
【００４７】
この結果、ＬＥＤ駆動処理部１０の点灯駆動処理により赤外線ＬＥＤ３が点灯するとともに、ＣＣＤカメラ４の駆動が開始してドライバＤの顔の撮像が開始する。
【００４８】
続いて、コントローラ１７は、自車両１に対する他車両からのクラクションが終了したか否かを判断する（ステップＳ２２）。
【００４９】
このステップＳ２２の判断の結果ＮＯ、すなわち、自車両１に対してクラクションが鳴らされている場合には、ドライバ状態検知処理を継続して行う必要があると判断してステップＳ２２の処理を繰り返す。
【００５０】
一方、ステップＳ２２の判断の結果ＹＥＳ、すなわち、自車両１に対するクラクションの出力が終了した場合には、コントローラ１７は、ＬＥＤ駆動処理部１０にＬＥＤ消灯制御指令およびカメラ駆動処理部１１に対してＣＣＤカメラ駆動停止指令をそれぞれ送信して（ステップＳ２３）、割り込み処理を終了し、処理をメインの処理に戻す。
【００５１】
すなわち、本実施形態によれば、認識装置１５の駆動停止状態において、他車両から自車両１に対してクラクションが鳴らされた際においては、ドライバＤの顔認識処理を行う必要性の度合いが高いと判断して、認識装置１５の駆動開始（すなわち、赤外線ＬＥＤ３の点灯、ＣＣＤカメラ４の撮像開始および認識処理部１２の認識処理開始）処理を行うことができ、それ以外の場合においては、顔認識処理の必要性の度合いが弱いと判断して、赤外線ＬＥＤ３の消灯等を実現することができるため、赤外線ＬＥＤ３の常時照射に起因したドライバＤに対する心理的不安感を低減し、その身体的安全性を向上させるとともに、認識装置１５の各構成要素（赤外線ＬＥＤ３、ＣＣＤカメラ４および認識処理部１２等）の継続的な駆動を回避して耐久性の向上・コスト低減に寄与することができる。
【００５２】
上述した実施形態においては、センサ２０〜２２からの検出信号に応じて、認識装置１５の制御を行っているが、本発明はこれに限定されるものではなく、認識装置１５の認識処理（赤外線ＬＥＤ３の点灯、ＣＣＤカメラ４の撮像処理および認識処理部１２の認識処理を適当な時間間隔毎に（周期的に）行うようにしてもよい。
【００５３】
すなわち、コントローラ１７は、図５に示すように、タイマ機能により予め設定された時間（待機時間）が経過したか否かを判断し（ステップＳ３０）、経過していない場合には（ステップＳ３０→ＮＯ）、ステップＳ３１にてタイマを更新してステップＳ３０の判断に戻り、上述した判断処理を繰り返す。
【００５４】
一方、待機時間が経過した場合には、コントローラは、ＬＥＤ駆動処理部１０にＬＥＤ点灯制御指令およびカメラ駆動処理部１１に対してＣＣＤカメラ駆動指令をそれぞれ送信する（ステップＳ３２）。この結果、ＬＥＤ駆動処理部１０の点灯駆動処理により赤外線ＬＥＤ３が点灯するとともに、ＣＣＤカメラ４の駆動が開始してドライバＤの顔の撮像が開始する。
【００５５】
上記赤外線ＬＥＤ３の点灯およびＣＣＤカメラ４の駆動により撮像されたドライバＤの顔画像に基づいて、認識処理部１２は画像処理を実行し、ドライバＤの顔認識処理（状態検知処理）を一定時間行う（ステップＳ３３）。
【００５６】
このとき、認識処理部１２は、一定時間ドライバＤの顔状態に基づく状態検知処理を行っても、ドライバＤの状態が正常、すなわち、居眠りなどをしていないと認識された場合、認識装置１５は、予め設定された認識時間が経過したか否かを判断する（ステップＳ３４）。
【００５７】
このステップＳ３４の判断の結果ＮＯ、すなわち、認識時間が経過していないか、あるいはさらに顔認識処理に基づくドライバ運転状態検知処理が必要と判断された場合には（ステップＳ３４→ＮＯ）、ステップＳ３５にてタイマを更新してステップＳ３４の判断に戻り、上述した判断処理を繰り返す。
【００５８】
一方、ステップＳ３４の判断の結果ＹＥＳ、すなわち、認識時間が経過した場合には、コントローラ１７は、認識装置１５に駆動停止指令、すなわち、ＬＥＤ駆動処理部１０にＬＥＤ消灯制御指令およびカメラ駆動処理部１１に対してＣＣＤカメラ駆動停止指令をそれぞれ送信する（ステップＳ３６）。
【００５９】
この結果、ＬＥＤ駆動処理部１０の消灯駆動処理により赤外線ＬＥＤ３が消灯するとともに、ＣＣＤカメラ４の駆動が停止してドライバＤの顔の撮像が停止する。
【００６０】
ステップＳ３６の処理後、コントローラ１７は、ステップＳ３０のタイマ処理に戻り、上述したステップＳ３０〜Ｓ３６の処理を繰り返す。
【００６１】
すなわち、本実施形態によれば、予め設定した待機時間経過毎に認識装置１５の駆動を開始させ、待機時間中は認識装置１５の駆動停止、すなわち、赤外線ＬＥＤ３の消灯、ＣＣＤカメラ４の撮像停止および認識処理部１２の認識処理の停止を実現することができるため、赤外線ＬＥＤ３の常時照射に起因したドライバＤに対する心理的不安感を低減し、その身体的安全性を向上させるとともに、認識装置１５の各構成要素（赤外線ＬＥＤ３、ＣＣＤカメラ４および認識処理部１２等）の継続的な駆動を回避して耐久性の向上・コスト低減に寄与することができる。
【００６２】
なお、本実施形態では、コントローラ１７は、図２〜図４に示した各処理をそれぞれ実行することにより、認識装置１５の駆動（赤外線ＬＥＤ３の点灯等）を、その必要性に応じて非継続的に行うようにしているが、図２〜図４の内の何れか１つの処理を行うようにしてもよい。
【００６３】
また、本実施形態では、主として赤外線ＬＥＤの点灯、消灯制御を中心にして説明したが、本発明はこれに限定されるものではなく、周期的、自車両の動作状態、周辺状況等に応じて、赤外線ＬＥＤの点灯強度制御を行ってもよい。
【００６４】
赤外線照明の強度によって、人体の目への影響が変化するため、照明の強度を調整することで、その影響を低減することができる。
【００６５】
例えば、外部の照明条件に応じて、外部が明るい時には照明の強度を弱くする制御や、認識を高精度に行いたい時にだけ照明の強度を強くし、通常は弱いままで制御を行ってもよい。
【００６６】
さらに、本実施形態では、自車両１のエンジンの回転数を検出することにより、自車両１が（１）停止しているか、（２）信号待ち・渋滞中か、（３）高速運転中か等、自車両１の動作状態を検出・特定し、その特定された動作状態に応じて認識装置１５の駆動開始／停止制御を行うようにしたが、本発明はこれに限定されるものではない。
【００６７】
例えば、図６に示すように、道路の路側に所定間隔毎に設置されたＶＩＣＳ（Ｖｅｈｉｃｌｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）２３から交通情報や渋滞情報等を入手し、入手した交通情報や渋滞情報等に応じて、現在の自車両１の動作状態および自車両周辺の状況を検出・特定してもよい。この場合、コントローラ１７Ａに、ＶＩＣＳから送信される交通情報や渋滞情報等の情報信号（ＦＭ多重信号や光信号等）を無線で受信する機能を搭載しておけばよい。
認識装置１５は、赤外線発光デバイス３を点灯させてドライバの顔を赤外線により照明する照明部と、この照明部により照明された顔を撮像する撮像デバイス４と、この撮像デバイス４により撮像された画像に基づいてドライバの状態を認識する認識部１２とを備えており、前記制御手段１７Ａは、検出された周辺状況に応じて、前記照明部の赤外線発光デバイス３の点灯および消灯制御を行う手段１０を備えている。
【００６８】
また、本実施形態では、コントローラ１７は、自車両１の走行状態や自車両１に対するクラクション等の周囲の状況に応じてＬＥＤ駆動処理部１０の赤外線ＬＥＤ３に対する点灯／消灯に係る駆動処理タイミング制御と、カメラ駆動処理部１１のＣＣＤカメラ１０に対する駆動処理タイミング（撮像タイミング）制御とをそれぞれ行うようにしたが、本発明はこれに限定されるものではなく、ＬＥＤ駆動処理部１０の赤外線ＬＥＤ３に対する点灯／消灯に係る駆動処理タイミング制御のみを行うようにしてもよい。
【００６９】
【発明の効果】
以上述べたように、本発明のドライバ状態検知システムによれば、自車両の動作状態、あるいは自車両の周辺の状況に応じて、赤外線発光デバイスの点灯・消灯制御や強度調整制御を含む認識装置の駆動制御（起動／停止制御）を実行することができるため、赤外線発光デバイスが常時継続してドライバの顔を照明することを防止してドライバの心理的不安感を低減することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るドライバ状態検知システム検知装置の概略構成を示すブロック図。
【図２】図１に示すコントローラの処理の一例を示す概略フローチャート。
【図３】図１に示すコントローラの処理の一例を示す概略フローチャート。
【図４】図１に示すコントローラの処理の一例を示す概略フローチャート。
【図５】図１に示すコントローラの処理の一例を示す概略フローチャート。
【図６】本発明の実施の形態の変形例に係るドライバ状態検知システムの概略構成を示すブロック図。
【符号の説明】
１ 車両
２ ドライバ状態検知システム
３ 赤外線ＬＥＤ
４ ＣＣＤカメラ
１０ ＬＥＤ駆動処理部
１１ カメラ駆動処理部
１２ 認識処理部
１３ 警報出力部
１５ 認識装置
１７、１７Ａ コントローラ
２０ 回転数検出センサ
２１ 角度センサ
２２ 音センサ
２３ ＶＩＣＳ
Ｄ ドライバ
【発明の属する技術分野】
本発明は、ドライバの顔を撮像してその画像からドライバの状態を検知することにより、ドライバの運転を支援するドライバ状態検知システムに関する。
【０００２】
【従来の技術】
ドライバ（運転手）の居眠りや脇見運転等による事故を未然に防ぐために、ドライバの顔を常時照明した状態でＣＣＤカメラ等の撮像デバイスにより撮像し、得られたドライバの顔の画像に基づいて、演算処理ユニット（ＣＰＵ）により例えば２値化処理等の画像処理を行うことにより、ドライバの目の位置、瞬き、開き具合等を認識してドライバの状態を検知する認識装置を有するドライバ状態検知システムが知られている。
【０００３】
このドライバ状態検知システムによれば、認識装置は、上記画像処理に基づく例えば目の瞬きの回数や開き具合等の判断からドライバの居眠り運転状態を検知した場合や、眼球の位置等の判断から脇見運転状態を検知した場合には、警報音等の警報をドライバに対して出力することにより、ドライバに対して注意を喚起させている。
【０００４】
上述した認識装置を有するドライバ状態検知システムにおいては、昼夜、天候等による運転環境での明るさの変化に対応できる必要がある。例えば、太陽光の直射では、ドライバの顔に影が生じることもあり、画像処理によるドライバの状態検知に支障をきたす可能性がある。
【０００５】
そこで、昼夜に亘り撮像でき、顔に対する屋外での外乱光（昼夜の照度変化や太陽光直射等）の影響を低減するために、上記ドライバの顔を照明する光として、外乱光の影響を受けにくい赤外線照明光を用いており、この赤外線照明光を常時ドライバの顔に照射することにより、ドライバの状態検知の精度を向上させている。
【０００６】
【発明が解決しようとする課題】
しかしながら、従来の認識装置を有するドライバ状態検知システムによれば、赤外線照明光を常時ドライバに照射していることになる。この赤外線は、連続して目に照射されると、強度によっては、視力障害を引き起こす恐れがあるため、連続して照射される可能性があるドライバにとっては、心理的な不安感を与えていた。
【０００７】
また、緊急時でない場合やドライバが気付いている場合においても、常時ＣＣＤカメラにより顔画像を撮像し、ＣＰＵが画像処理を実行しているため認識装置の構成要素の耐久性が悪化し、コストの増加を招く恐れが生じていた。
【０００８】
本発明は上述した事情に鑑みてなされたもので、赤外線ＬＥＤの照射を含む顔認識装置の起動／停止制御を、例えば車両の動作状態や車両周辺の状況に応じて行うことにより、ドライバに与える心理的不安感を低減させ、身体的な安全性を向上させ、さらに認識装置の耐久性を向上させることができるドライバ状態検知システムを提供することをその目的とする。
【０００９】
【課題を解決するための手段】
本発明に係るドライバ状態検知システムは、上述した課題を解決するために、請求項１に記載したように、ドライバの顔を照明しながら撮像し、得られた画像に基づいて前記ドライバの状態を認識する認識装置と、前記車両の走行状態を検出する走行状態検出手段と、検出された走行状態に応じて前記認識装置の駆動制御を行う制御手段とを備えたドライバ状態検知システムにおいて、前記認識装置は、ドライバの顔を照明する照明部と、この照明部により照明されたドライバの顔を撮像する撮像デバイスと、この撮像デバイスにより撮像された画像に基づいてドライバの状態を認識する認識部とを備え、前記制御手段は、検出された走行状態に応じて、前記照明部を消灯もしくはその強度を弱くするように制御するものである。
【００１１】
本発明に係るドライバ状態検知システムは、上述した課題を解決するために、請求項３に記載したように、ドライバの顔を照明しながら撮像し、得られた画像に基づいて前記ドライバの状態を認識する認識装置と、前記車両の周辺状況を検出する周辺状況検出手段と、検出された周辺状況に応じて前記認識装置の駆動制御を行う制御手段とを備えたドライバ状態検知システムにおいて、前記認識装置は、ドライバの顔を照明する照明部と、この照明部により照明されたドライバの顔を撮像する撮像デバイスと、この撮像デバイスにより撮像された画像に基づいてドライバの状態を認識する認識部とを備え、前記制御手段は、検出された周辺状況に応じて、前記照明部を消灯もしくはその強度を弱くするように制御するものである。
【００１３】
【発明の実施の形態】
本発明の実施の形態を添付図面を参照して説明する。
【００１４】
図１は、車両１内に搭載された本実施の形態に係るドライバ状態検知システム２の概略構成を示すブロック図である。
【００１５】
図１によれば、ドライバ状態検知システム２は、車両１内のドライバＤの顔を赤外線照明光により照射するための赤外線発光デバイスである赤外線ＬＥＤ３と、この赤外線照明光により照明されたドライバＤの顔を撮像する撮像デバイスとしてのＣＣＤカメラ４とを備えている。
【００１６】
また、ドライバ状態検知システム２は、赤外線ＬＥＤ３の点灯／消灯に係るＬＥＤ駆動処理部１０、ＣＣＤカメラ４の駆動処理（顔画像撮像処理）を行うカメラ駆動処理部１１、ＣＣＤカメラ４により撮像されたドライバＤの顔画像に基づいて２値化処理、濃淡情報によるパターンマッチング等の画像処理を行うことにより、ドライバＤの目の位置、瞬き、開き具合等を認識してドライバの状態を検知する認識処理部（ＣＰＵ）１２および検知されたドライバＤの運転状態に応じて警報音等の警報出力処理とを行う警報出力部１３を有する認識装置１５を備えている。
この認識装置１５は、赤外線発光デバイス３を点灯させてドライバの顔を赤外線により照明する照明部と、この照明部により照明された顔を撮像する撮像デバイス４と、この撮像デバイス４により撮像された画像に基づいてドライバの状態を認識する認識部１２とを備えており、制御手段１７は、検出された走行状態に応じて、前記照明部の赤外線発光デバイス３の点灯および消灯制御を行う手段１０を備えている。
【００１７】
また、ドライバ状態検知システム２は、ＬＥＤ駆動処理部１０の赤外線ＬＥＤ３に対する点灯／消灯に係る駆動処理タイミング制御と、カメラ駆動処理部１１のＣＣＤカメラ１０に対する駆動処理タイミング（撮像タイミング）制御とを行うコントローラ１７を備えている。
【００１８】
このコントローラ１７には、車両１の駆動エンジンの回転数を検出する回転数検出センサ２０と、ドライバＤがハンドルＨを操作した際のハンドル回転角度変化を検出する角度センサ２１と、自車両１の周囲の他車両からクラクションが自車両１に対して発せられた際に、そのクラクションを検出する音センサ２２とがそれぞれ接続されており、各センサ２０〜２２の検出信号は、コントローラ１７に送られるようになっている。
【００１９】
次に本実施形態に係るドライバ状態検知システム２の全体動作について説明する。
【００２０】
本実施形態のドライバ状態検知システム２によれば、車両１の起動（走行開始）に応じてコントローラ１７は、認識装置１５に駆動開始指令、すなわち、ＬＥＤ駆動処理部１０にＬＥＤ点灯制御指令およびカメラ駆動処理部１１に対してＣＣＤカメラ駆動指令をそれぞれ送信する。
【００２１】
この結果、ＬＥＤ駆動処理部１０の点灯駆動処理により赤外線ＬＥＤ３が点灯してドライバＤの顔が照明され、その照明状態においてカメラ駆動処理部１１の処理によりＣＣＤカメラ４が駆動してドライバＤの顔の画像が連続的に撮影される。そして、撮像されたドライバＤの顔画像に基づく認識処理部１２を介した画像処理が行われ、ドライバＤの状態検知処理が行われる。
【００２２】
このとき、コントローラ１７は、回転数検出センサ２０から送られた検出信号（回転数）に応じて、図２に示す処理を行っている。
【００２３】
すなわち、コントローラ１７は、回転数検出センサ２０から送られた走行中の車両１のエンジン回転数に基づいて、エンジンが停止状態であるか、あるいは、渋滞路や赤信号による信号待ちの停車中におけるアイドリング状態であるか否かを判断する（ステップＳ１）。
【００２４】
このステップＳ１の判断の結果ＮＯ、すなわち、エンジン停止状態およびアイドリング状態の何れでもない場合には、自車両１は走行中でありドライバ状態検知処理を行う必要があると判断してステップＳ１の処理を繰り返す。
【００２５】
一方、ステップＳ１の判断の結果ＹＥＳ、すなわち、例えば走行中の自車両１が渋滞路や赤信号による信号待ち等により停車してエンジンがアイドリング状態になるか、あるいは自車両１が完全に停止してエンジンが停止状態になった時、コントローラ１７は、認識装置１５に駆動停止指令、すなわち、ＬＥＤ駆動処理部１０にＬＥＤ消灯制御指令およびカメラ駆動処理部１１に対してＣＣＤカメラ駆動停止指令をそれぞれ送信する（ステップＳ２）。
【００２６】
この結果、ＬＥＤ駆動処理部１０の消灯駆動処理により赤外線ＬＥＤ３が消灯するとともに、ＣＣＤカメラ４の駆動が停止してドライバＤの顔の撮像が停止する。
【００２７】
続いて、コントローラ１７は、回転数検出センサ２０から送られたエンジン回転数に基づいて、エンジンの駆動が開始したか、あるいは、渋滞解消や信号の青信号変化等によりアイドリング状態が終了したか否かを判断する（ステップＳ３）。
【００２８】
このステップＳ３の判断の結果ＮＯ、すなわち、エンジン停止状態およびアイドリング状態の何れかである場合には、自車両１は停止状態あるいは渋滞路走行状態・信号待ち状態でありドライバ状態検知処理を行う必要がないと判断してステップＳ３の処理を繰り返す。
【００２９】
一方、ステップＳ３の判断の結果ＹＥＳ、すなわち、例えば停車中の自車両１が走行を開始（エンジンの駆動が開始）したか、あるいは、渋滞解消や信号の青信号変化等によりアイドリング状態が終了した際には、コントローラ１７は、ＬＥＤ駆動処理部１０にＬＥＤ点灯制御指令およびカメラ駆動処理部１１に対してＣＣＤカメラ駆動指令をそれぞれ送信して（ステップＳ４）、処理を終了する。
【００３０】
この結果、ＬＥＤ駆動処理部１０の点灯駆動処理により赤外線ＬＥＤ３が再点灯してドライバＤの顔が照明され、その照明状態においてカメラ駆動処理部１１の処理によりＣＣＤカメラ４が再駆動してドライバＤの顔の画像が連続的に撮影される。そして、撮像されたドライバＤの顔画像に基づく認識処理部１２の画像処理が再開され、ドライバＤの状態検知処理が再度行われる。
【００３１】
すなわち、本実施形態によれば、自車両１が停止（停車）状態か、あるいは渋滞や信号待ち等の状態においては、ドライバＤの顔認識処理を行う必要性の度合いが弱いと判断し、認識装置１５の駆動停止、すなわち、赤外線ＬＥＤ３の消灯、ＣＣＤカメラ４の撮像停止および認識処理部１２の認識処理停止を実現することができるため、赤外線ＬＥＤ３が常時継続してドライバＤの顔を照明することを防止してドライバＤの心理的不安感を低減させ、かつドライバＤの身体的安全性を向上させることができる。
【００３２】
さらに、本実施形態によれば、赤外線ＬＥＤ３、ＣＣＤカメラ４および認識処理部（ＣＰＵ）１２を常時駆動させることなく、必要性の度合いが高い（走行中）場合においてのみ駆動させることができるため、赤外線ＬＥＤ３、ＣＣＤカメラ４およびＣＰＵ１２の無駄な利用を避けて、それらの耐久性を向上させることができ、ドライバ状態検知システム２のコストを低減することができる。
【００３３】
一方、本実施形態では、コントローラ１７は、回転数検出センサ２０からの回転数に応じた図２に示す認識装置１５の駆動開始／停止処理に加えて、割り込み処理により図３に示す処理を行っている。
【００３４】
すなわち、コントローラ１７は、回転数検出センサ２０から送られた走行中の車両１のエンジン回転数およびコントローラ自体のタイマ機能に基づいて、自車両１のスピードが所定時間以上所定速度（例えば、８０ｋｍ以上）で運転しているか否かを判断する（ステップＳ１０）。
【００３５】
このステップＳ１０の判断の結果ＮＯ、すなわち、自車両１が一般道路を走行中である場合には、ドライバ状態検知処理を行う必要があると判断してステップＳ１０の処理を繰り返す。
【００３６】
一方、例えば、自車両１が高速道路を走行している際には、ステップＳ１０の判断の結果はＹＥＳとなり、コントローラ１７は、ＬＥＤ駆動処理部１０にＬＥＤ消灯制御指令を送信し、カメラ駆動処理部１１に対してＣＣＤカメラ駆動停止指令を送信する（ステップＳ１１）。
【００３７】
この結果、ＬＥＤ駆動処理部１０の消灯駆動処理により赤外線ＬＥＤ３が消灯するとともに、ＣＣＤカメラ４の駆動が停止してドライバＤの顔の撮像が停止する。
【００３８】
次いで、コントローラ１７は、角度センサ２１からハンドル角変化信号が送信されているか否かを判断する（ステップＳ１２）。
【００３９】
このステップＳ１２の判断の結果ＮＯ、すなわち、角度センサ２１からハンドル角変化信号が送信されていなければ、ドライバＤはハンドルを回転操作してはおらず、ドライバ状態検知処理を行う必要がないと判断してステップＳ１２の処理を繰り返す。
【００４０】
一方、ステップＳ１２の判断の結果ＹＥＳ、すなわち、ドライバＤがハンドルを回転操作して角度センサ２１からハンドル角変化信号が送信された際には、コントローラ１７は、ＬＥＤ駆動処理部１０にＬＥＤ点灯制御指令を送信し、カメラ駆動処理部１１に対してＣＣＤカメラ駆動指令を送信して（ステップＳ１３）、割り込み処理を終了し、処理をメインに戻す。
【００４１】
この結果、赤外線ＬＥＤ３の再点灯により照明されたドライバＤの顔画像がＣＣＤカメラ４により連続的に撮影され、認識処理部１２の画像処理に基づくドライバＤの状態検知処理が再度行われる。
【００４２】
すなわち、本実施形態によれば、自車両１が走行中においても、例えば高速道路を走行中においては、ハンドル角操作をドライバＤが行わない間は、ドライバＤの顔認識処理を行う必要性の度合いが弱いと判断し、認識装置１５の駆動停止、すなわち、赤外線ＬＥＤ３の消灯、ＣＣＤカメラ４の撮像停止および認識処理部１２の認識処理停止を実現することができるため、赤外線ＬＥＤ３の常時照射に起因したドライバＤに対する心理的不安感を低減し、その身体的安全性を向上させるとともに、認識装置１５の各構成要素（赤外線ＬＥＤ３、ＣＣＤカメラ４および認識処理部１２等）の継続的な駆動を回避して耐久性の向上・コスト低減に寄与することができる。
【００４３】
さらに、本実施形態では、コントローラ１７は、図２に示す認識装置１５の駆動停止時（ステップＳ２〜ステップＳ３の判断→ＮＯ）、および図３に示す認識置１５の駆動停止時（ステップＳ１１〜ステップＳ１２の判断→ＮＯ）において、例えば、割り込み処理により、図４に示す処理を行っている。
【００４４】
すなわち、コントローラ１７は、音センサ２２から自車両１に対するクラクションに基づく検出信号が送られてきたか否かを判断する（ステップＳ２０）。
【００４５】
このステップＳ２０の判断の結果ＮＯ、すなわち、自車両１の周囲の他車両から自車両１に対してクラクションが鳴らされていないと判断された場合には、自車両１はドライバ状態検知処理を行う必要がないと判断してステップＳ２０の処理を繰り返す。
【００４６】
一方、ステップＳ２０の判断の結果ＹＥＳ、すなわち、自車両１の周囲の他車両から自車両１に対してクラクションが鳴らされたと判断された場合には、コントローラ１７は、認識装置１５に駆動開始指令、すなわち、ＬＥＤ駆動処理部１０にＬＥＤ点灯制御指令を送信し、カメラ駆動処理部１１に対してＣＣＤカメラ駆動指令を送信する（ステップＳ２１）。
【００４７】
この結果、ＬＥＤ駆動処理部１０の点灯駆動処理により赤外線ＬＥＤ３が点灯するとともに、ＣＣＤカメラ４の駆動が開始してドライバＤの顔の撮像が開始する。
【００４８】
続いて、コントローラ１７は、自車両１に対する他車両からのクラクションが終了したか否かを判断する（ステップＳ２２）。
【００４９】
このステップＳ２２の判断の結果ＮＯ、すなわち、自車両１に対してクラクションが鳴らされている場合には、ドライバ状態検知処理を継続して行う必要があると判断してステップＳ２２の処理を繰り返す。
【００５０】
一方、ステップＳ２２の判断の結果ＹＥＳ、すなわち、自車両１に対するクラクションの出力が終了した場合には、コントローラ１７は、ＬＥＤ駆動処理部１０にＬＥＤ消灯制御指令およびカメラ駆動処理部１１に対してＣＣＤカメラ駆動停止指令をそれぞれ送信して（ステップＳ２３）、割り込み処理を終了し、処理をメインの処理に戻す。
【００５１】
すなわち、本実施形態によれば、認識装置１５の駆動停止状態において、他車両から自車両１に対してクラクションが鳴らされた際においては、ドライバＤの顔認識処理を行う必要性の度合いが高いと判断して、認識装置１５の駆動開始（すなわち、赤外線ＬＥＤ３の点灯、ＣＣＤカメラ４の撮像開始および認識処理部１２の認識処理開始）処理を行うことができ、それ以外の場合においては、顔認識処理の必要性の度合いが弱いと判断して、赤外線ＬＥＤ３の消灯等を実現することができるため、赤外線ＬＥＤ３の常時照射に起因したドライバＤに対する心理的不安感を低減し、その身体的安全性を向上させるとともに、認識装置１５の各構成要素（赤外線ＬＥＤ３、ＣＣＤカメラ４および認識処理部１２等）の継続的な駆動を回避して耐久性の向上・コスト低減に寄与することができる。
【００５２】
上述した実施形態においては、センサ２０〜２２からの検出信号に応じて、認識装置１５の制御を行っているが、本発明はこれに限定されるものではなく、認識装置１５の認識処理（赤外線ＬＥＤ３の点灯、ＣＣＤカメラ４の撮像処理および認識処理部１２の認識処理を適当な時間間隔毎に（周期的に）行うようにしてもよい。
【００５３】
すなわち、コントローラ１７は、図５に示すように、タイマ機能により予め設定された時間（待機時間）が経過したか否かを判断し（ステップＳ３０）、経過していない場合には（ステップＳ３０→ＮＯ）、ステップＳ３１にてタイマを更新してステップＳ３０の判断に戻り、上述した判断処理を繰り返す。
【００５４】
一方、待機時間が経過した場合には、コントローラは、ＬＥＤ駆動処理部１０にＬＥＤ点灯制御指令およびカメラ駆動処理部１１に対してＣＣＤカメラ駆動指令をそれぞれ送信する（ステップＳ３２）。この結果、ＬＥＤ駆動処理部１０の点灯駆動処理により赤外線ＬＥＤ３が点灯するとともに、ＣＣＤカメラ４の駆動が開始してドライバＤの顔の撮像が開始する。
【００５５】
上記赤外線ＬＥＤ３の点灯およびＣＣＤカメラ４の駆動により撮像されたドライバＤの顔画像に基づいて、認識処理部１２は画像処理を実行し、ドライバＤの顔認識処理（状態検知処理）を一定時間行う（ステップＳ３３）。
【００５６】
このとき、認識処理部１２は、一定時間ドライバＤの顔状態に基づく状態検知処理を行っても、ドライバＤの状態が正常、すなわち、居眠りなどをしていないと認識された場合、認識装置１５は、予め設定された認識時間が経過したか否かを判断する（ステップＳ３４）。
【００５７】
このステップＳ３４の判断の結果ＮＯ、すなわち、認識時間が経過していないか、あるいはさらに顔認識処理に基づくドライバ運転状態検知処理が必要と判断された場合には（ステップＳ３４→ＮＯ）、ステップＳ３５にてタイマを更新してステップＳ３４の判断に戻り、上述した判断処理を繰り返す。
【００５８】
一方、ステップＳ３４の判断の結果ＹＥＳ、すなわち、認識時間が経過した場合には、コントローラ１７は、認識装置１５に駆動停止指令、すなわち、ＬＥＤ駆動処理部１０にＬＥＤ消灯制御指令およびカメラ駆動処理部１１に対してＣＣＤカメラ駆動停止指令をそれぞれ送信する（ステップＳ３６）。
【００５９】
この結果、ＬＥＤ駆動処理部１０の消灯駆動処理により赤外線ＬＥＤ３が消灯するとともに、ＣＣＤカメラ４の駆動が停止してドライバＤの顔の撮像が停止する。
【００６０】
ステップＳ３６の処理後、コントローラ１７は、ステップＳ３０のタイマ処理に戻り、上述したステップＳ３０〜Ｓ３６の処理を繰り返す。
【００６１】
すなわち、本実施形態によれば、予め設定した待機時間経過毎に認識装置１５の駆動を開始させ、待機時間中は認識装置１５の駆動停止、すなわち、赤外線ＬＥＤ３の消灯、ＣＣＤカメラ４の撮像停止および認識処理部１２の認識処理の停止を実現することができるため、赤外線ＬＥＤ３の常時照射に起因したドライバＤに対する心理的不安感を低減し、その身体的安全性を向上させるとともに、認識装置１５の各構成要素（赤外線ＬＥＤ３、ＣＣＤカメラ４および認識処理部１２等）の継続的な駆動を回避して耐久性の向上・コスト低減に寄与することができる。
【００６２】
なお、本実施形態では、コントローラ１７は、図２〜図４に示した各処理をそれぞれ実行することにより、認識装置１５の駆動（赤外線ＬＥＤ３の点灯等）を、その必要性に応じて非継続的に行うようにしているが、図２〜図４の内の何れか１つの処理を行うようにしてもよい。
【００６３】
また、本実施形態では、主として赤外線ＬＥＤの点灯、消灯制御を中心にして説明したが、本発明はこれに限定されるものではなく、周期的、自車両の動作状態、周辺状況等に応じて、赤外線ＬＥＤの点灯強度制御を行ってもよい。
【００６４】
赤外線照明の強度によって、人体の目への影響が変化するため、照明の強度を調整することで、その影響を低減することができる。
【００６５】
例えば、外部の照明条件に応じて、外部が明るい時には照明の強度を弱くする制御や、認識を高精度に行いたい時にだけ照明の強度を強くし、通常は弱いままで制御を行ってもよい。
【００６６】
さらに、本実施形態では、自車両１のエンジンの回転数を検出することにより、自車両１が（１）停止しているか、（２）信号待ち・渋滞中か、（３）高速運転中か等、自車両１の動作状態を検出・特定し、その特定された動作状態に応じて認識装置１５の駆動開始／停止制御を行うようにしたが、本発明はこれに限定されるものではない。
【００６７】
例えば、図６に示すように、道路の路側に所定間隔毎に設置されたＶＩＣＳ（Ｖｅｈｉｃｌｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）２３から交通情報や渋滞情報等を入手し、入手した交通情報や渋滞情報等に応じて、現在の自車両１の動作状態および自車両周辺の状況を検出・特定してもよい。この場合、コントローラ１７Ａに、ＶＩＣＳから送信される交通情報や渋滞情報等の情報信号（ＦＭ多重信号や光信号等）を無線で受信する機能を搭載しておけばよい。
認識装置１５は、赤外線発光デバイス３を点灯させてドライバの顔を赤外線により照明する照明部と、この照明部により照明された顔を撮像する撮像デバイス４と、この撮像デバイス４により撮像された画像に基づいてドライバの状態を認識する認識部１２とを備えており、前記制御手段１７Ａは、検出された周辺状況に応じて、前記照明部の赤外線発光デバイス３の点灯および消灯制御を行う手段１０を備えている。
【００６８】
また、本実施形態では、コントローラ１７は、自車両１の走行状態や自車両１に対するクラクション等の周囲の状況に応じてＬＥＤ駆動処理部１０の赤外線ＬＥＤ３に対する点灯／消灯に係る駆動処理タイミング制御と、カメラ駆動処理部１１のＣＣＤカメラ１０に対する駆動処理タイミング（撮像タイミング）制御とをそれぞれ行うようにしたが、本発明はこれに限定されるものではなく、ＬＥＤ駆動処理部１０の赤外線ＬＥＤ３に対する点灯／消灯に係る駆動処理タイミング制御のみを行うようにしてもよい。
【００６９】
【発明の効果】
以上述べたように、本発明のドライバ状態検知システムによれば、自車両の動作状態、あるいは自車両の周辺の状況に応じて、赤外線発光デバイスの点灯・消灯制御や強度調整制御を含む認識装置の駆動制御（起動／停止制御）を実行することができるため、赤外線発光デバイスが常時継続してドライバの顔を照明することを防止してドライバの心理的不安感を低減することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るドライバ状態検知システム検知装置の概略構成を示すブロック図。
【図２】図１に示すコントローラの処理の一例を示す概略フローチャート。
【図３】図１に示すコントローラの処理の一例を示す概略フローチャート。
【図４】図１に示すコントローラの処理の一例を示す概略フローチャート。
【図５】図１に示すコントローラの処理の一例を示す概略フローチャート。
【図６】本発明の実施の形態の変形例に係るドライバ状態検知システムの概略構成を示すブロック図。
【符号の説明】
１ 車両
２ ドライバ状態検知システム
３ 赤外線ＬＥＤ
４ ＣＣＤカメラ
１０ ＬＥＤ駆動処理部
１１ カメラ駆動処理部
１２ 認識処理部
１３ 警報出力部
１５ 認識装置
１７、１７Ａ コントローラ
２０ 回転数検出センサ
２１ 角度センサ
２２ 音センサ
２３ ＶＩＣＳ
Ｄ ドライバ
Claims (4)
- ドライバの顔を照明しながら撮像し、得られた画像に基づいて前記ドライバの状態を認識する認識装置と、前記車両の走行状態を検出する走行状態検出手段と、検出された走行状態に応じて前記認識装置の駆動制御を行う制御手段とを備えたドライバ状態検知システムにおいて、
前記認識装置は、ドライバの顔を照明する照明部と、
この照明部により照明されたドライバの顔を撮像する撮像デバイスと、
この撮像デバイスにより撮像された画像に基づいてドライバの状態を認識する認識部とを備え、
前記制御手段は、検出された走行状態に応じて、前記照明部を消灯もしくはその強度を弱くするように制御することを特徴とするドライバ状態検知システム。 - 前記走行状態検出手段は、自動車のエンジンの回転数に応じて、車両の走行状態を検出する請求項１記載のドライバ状態検知システム。
- ドライバの顔を照明しながら撮像し、得られた画像に基づいて前記ドライバの状態を認識する認識装置と、前記車両の周辺状況を検出する周辺状況検出手段と、検出された周辺状況に応じて前記認識装置の駆動制御を行う制御手段とを備えたドライバ状態検知システムにおいて、
前記認識装置は、ドライバの顔を照明する照明部と、
この照明部により照明されたドライバの顔を撮像する撮像デバイスと、
この撮像デバイスにより撮像された画像に基づいてドライバの状態を認識する認識部とを備え、
前記制御手段は、検出された周辺状況に応じて、前記照明部を消灯もしくはその強度を弱くするように制御することを特徴とするドライバ状態検知システム。 - 前記周辺状況検出手段は、外部から入手した交通情報や渋滞情報に応じて、車両の周辺状況を検出する請求項３記載のドライバ状態検知システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13045499A JP3651571B2 (ja) | 1999-03-31 | 1999-03-31 | ドライバ状態検知システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13045499A JP3651571B2 (ja) | 1999-03-31 | 1999-03-31 | ドライバ状態検知システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000280780A JP2000280780A (ja) | 2000-10-10 |
| JP3651571B2 true JP3651571B2 (ja) | 2005-05-25 |
Family
ID=15034633
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13045499A Expired - Lifetime JP3651571B2 (ja) | 1999-03-31 | 1999-03-31 | ドライバ状態検知システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3651571B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100936334B1 (ko) * | 2008-06-11 | 2010-01-12 | 현대자동차주식회사 | 얼굴 검출 시스템 |
| US10055658B2 (en) | 2013-10-23 | 2018-08-21 | Denso Corporation | State monitoring device |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4059224B2 (ja) | 2004-04-13 | 2008-03-12 | 株式会社デンソー | 運転者の外観認識システム |
| JP2006223635A (ja) * | 2005-02-18 | 2006-08-31 | Daihatsu Motor Co Ltd | 居眠り運転検出装置及び居眠り運転検出方法 |
| KR101212411B1 (ko) * | 2006-03-08 | 2012-12-13 | 주식회사 현대오토넷 | 차량 탑승자 인식 시스템 및 방법 |
| WO2007135865A1 (ja) * | 2006-05-23 | 2007-11-29 | Pioneer Corporation | 撮影制御装置、撮影制御方法、撮影制御プログラム、および記録媒体 |
| JP4670803B2 (ja) | 2006-12-04 | 2011-04-13 | 株式会社デンソー | 操作推定装置およびプログラム |
| US8340368B2 (en) | 2008-06-11 | 2012-12-25 | Hyundai Motor Company | Face detection system |
| KR102381140B1 (ko) * | 2015-02-25 | 2022-03-31 | 엘지전자 주식회사 | 디지털 디바이스 및 그의 운전자 모니터링 방법 |
| JP2017095008A (ja) * | 2015-11-26 | 2017-06-01 | パイオニア株式会社 | 制御装置、制御方法、及び、プログラム |
| CN113167684B (zh) * | 2018-11-28 | 2024-10-08 | 株式会社堀场制作所 | 车辆测试系统以及车辆测试方法 |
-
1999
- 1999-03-31 JP JP13045499A patent/JP3651571B2/ja not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100936334B1 (ko) * | 2008-06-11 | 2010-01-12 | 현대자동차주식회사 | 얼굴 검출 시스템 |
| US10055658B2 (en) | 2013-10-23 | 2018-08-21 | Denso Corporation | State monitoring device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000280780A (ja) | 2000-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7551987B2 (en) | Illuminating apparatus, image capturing apparatus, and monitoring apparatus, for vehicle driver | |
| JP3651571B2 (ja) | ドライバ状態検知システム | |
| WO2015131857A2 (zh) | 集成摄像头模组和光传感器的视觉辅助方法及装置 | |
| WO2014188903A1 (ja) | 灯火制御装置 | |
| JP2006151287A (ja) | 車両用照明装置 | |
| CN112804799A (zh) | 一种节能型隧道安全照明控制系统及其智能控制调光的方法 | |
| JP2008146327A (ja) | 乗り物用照明装置 | |
| KR101628906B1 (ko) | 횡단보도 자동 조명 제어 장치 및 방법 | |
| JP2005112346A (ja) | 自動車内の視界条件を改善するための装置 | |
| JPH0740782A (ja) | 車線逸脱警報装置 | |
| CN215898066U (zh) | 一种节能型隧道安全照明控制系统 | |
| CN214001631U (zh) | 一种车道保持系统及车辆 | |
| KR101694785B1 (ko) | 졸음 운전 방지 시스템 | |
| JPH0312799A (ja) | 車載用運転操作支援報知装置 | |
| CN108819836A (zh) | 一种用于汽车仪表盘的防疲劳灯光控制系统及方法 | |
| JP5182567B2 (ja) | 乗員監視装置 | |
| KR20190030316A (ko) | 이벤트 영상기록이 가능한 횡단보도 조명시스템 | |
| JPH10272961A (ja) | 居眠り警報装置 | |
| KR20180063643A (ko) | 스마트 횡단보도 제어 시스템 | |
| JP2013117855A (ja) | 運転支援装置 | |
| JP2003127771A (ja) | 補助照明付車載カメラ | |
| KR100550664B1 (ko) | 보행신호등 잔여시간 표시장치 | |
| JP2005178577A (ja) | 車両周辺監視装置 | |
| JP2004230934A (ja) | ヘッドライト制御システム | |
| KR20160028753A (ko) | 차량용 조명 제어 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040730 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040810 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041007 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050208 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050215 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080304 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090304 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100304 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100304 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110304 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120304 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130304 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130304 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140304 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term |