JP5326521B2 - 覚醒状態判断装置及び覚醒状態判断方法 - Google Patents

Description

本発明は、運転者の覚醒状態を判断する覚醒状態判断装置及び覚醒状態判断方法に関する。

所定時間以上の長い瞬きを検出し、所定の評価期間内における瞬きの総数と長い瞬きの回数とから求めた長い瞬きの生起比率と、運転者の行動的特徴を示す挙動（例えば眼球の水平移動の標準偏差）の検出結果とに基づいて、眠気予測モデルを用いた回帰分析により求められる予測式に従って運転者の覚醒度を評価する技術が知られている（特許文献１参照）。

特開平１０−２７２９５９号公報

しかしながら、この技術では、運転者が眼鏡などを装着している場合には風景などが眼鏡に映り込むため、運転者の瞬きを検出することができず、運転者が覚醒状態であるか否かの判断精度が低下する可能性があるという問題があった。

本願発明が解決しようとする課題は、運転者が眼鏡などを装着している場合であっても運転者の覚醒状態を高い精度で判断することである。

道路情報、車両情報及び／又は車間距離情報から求めた車両の運転が単調となる単調区間において検出された運転者の頭部の挙動に基づいて設定された判断基準を用いて、検出された運転者の頭部の挙動に基づいて運転者の覚醒状態を判断することにより、上記課題を解決する。

本発明によれば、運転者が眼鏡などを装着している場合であっても運転者の覚醒度を判断することができるため、運転者の覚醒状態を高い精度で判断することができる。

図面に基づいて、本発明に係る覚醒状態判断システム１００の最良の形態を説明する。

図１は、覚醒状態判断システム１００を含む運転支援システム１０００の機能ブロック図である。

図１に示すように、運転支援システム１０００は、覚醒状態判断システム１００とナビゲーション装置２００と、車両コントローラ３００と、車間距離測定装置４００と、報知装置５００と、運転支援装置６００と、カメラ７００と、画像処理装置８００とを有する。覚醒状態判断システム１００と各装置２００〜８００は、ＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、相互に情報の授受を行う。

図２は、運転支援システム１０００に含まれる各構成の相互関係を説明するための図である。

図２に示すように、カメラ７００及び近赤外線照明７０２は、車両のメータパネル内又はステアリングコラムの近傍など、運転者の目を含む頭部を撮像できる位置に設置される。カメラ７００は、近赤外線まで感度分布を持つＣＣＤ(Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)、その他のイメージセンサ７０１を備える。カメラ７００は、運転者の頭部全体が撮像できる画角を有することが好ましい。カメラ７００は取得した映像信号を画像処理装置８００へ送出する。画像処理装置８００は、取得した映像信号に基づいて運転者の頭部、顔及び／又は顔に含まれる目部のディジタル画像を覚醒状態判断システム１００へ送出する。

また、車両コントローラ３００は、検出した車両信号を覚醒状態判断システム１００へ送出し、車間距離測定装置４００は他車両との位置関係を覚醒状態判断システムへ送出する。

さらに、ナビゲーション装置２００は、記憶する道路情報を覚醒状態判断システム１００へ送出する。

そして、覚醒状態判断システム１００は、運転者の覚醒状態の判断に係る覚醒状態判断信号を、報知装置５００と運転支援装置６００へ送出する。

本実施形態の覚醒状態判断システム１００は、運転者の挙動を検出する機能を実現する挙動検出部１０と、判断基準を設定する機能を実現する判断基準設定部２０と、判断部３０とを備える。

覚醒状態判断システム１００の挙動検出部１０と、判断基準設定部２０と、判断部３０は、本実施形態に係る覚醒状態判断処理を実行するためのプログラムを格納したＲＯＭ（Read Only Memory ）と、このＲＯＭに格納されたプログラムを実行することで、覚醒状態判断システム１００として機能する動作回路としてのＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）と、を備える。なお、動作回路としては、ＣＰＵ（Central Processing Unit）に代えて又はこれとともに、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などを用いることができる。これらのハードウェアは、運転者の頭部検出機能、判断基準設定機能、及び判断機能を実現させるソフトウェアと協働し、覚醒状態判断処理を実行する。

以下、各構成についてそれぞれ説明する。

まず、挙動検出部１０について説明する。挙動検出部１０は、運転者の撮像画像に基づいて、運転者の頭部の挙動を検出する。また、挙動検出部１０は、第１指標検出部１１と、第２指標検出部１２とを有し、運転者の挙動に関する２つの指標を検出する。

この挙動検出部１０の第１指標検出部１１は、覚醒度の低下と相関関係の高い第１指標を検出対象とする。第１指標としては、脳波（α波、β波）、皮膚電位、閉眼率、長い閉眼の発生頻度などを採用することが好ましい。

本実施形態の第１指標検出部１１は、第１指標として、運転者の撮像画像に基づく運転者の目部の挙動に関する閉眼率を検出する。このため、本実施形態の第１指標検出部１１は、目領域特定機能１１１と、閉眼判定機能１１２と、閉眼率算出機能１１３とを有する。

この目領域特定機能１１１は、画像処理装置８００から取得した映像信号に含まれる運転者の顔のうち開眼動作に関わる目領域を特定する。この目領域特定機能１１１は、画像処理装置８００から取得した映像信号に基づいて目領域を特定する。

この画像処理装置８００は、撮像画像に基づいて、運転者の頭部分に対応する領域及び顔に含まれる目部分に対応する領域を抽出し、その抽出情報を第１指標検出部２１へ送出する。具体的に、画像処理装置８００は、撮像情報に含まれる目（瞳）、上瞼、下瞼を抽出し、その位置を画像上の座標値（座標値域）として、第１指標検出部２１へ送出する。

なお、画像処理装置８００により行われる、撮像画像から運転者の頭部分に対応する領域を抽出する手法、及び撮像画像から顔に含まれる目部分に対応する領域を抽出する手法は、特に限定されず、公知の手法を用いることができる。たとえば、特開平１０−４０３６１公報に開示された手法を用いることができる。

また、運転者が眼鏡やサングラスを着用している場合、画像処理装置８００は、例えば、画像処理装置８００は、特開２００８−１４６３５６号公報に開示された、撮像画像から顔に含まれる目、眉、鼻、口、輪郭といった特徴を一又は複数組み合わせる手法を用いて、頭部領域や顔領域を抽出することができる。

また、閉眼判定機能１１２は、目領域の撮像画像に基づく映像信号から、運転者の目の開眼状態を判定する。図３は、目領域の映像信号の一例を示す図である。閉眼判定機能１１２は、特開平１０−４０３６１公報に開示された手法を用いて、撮像画像に含まれる目の縦幅の変化を計算して目の開閉を判断することができる。また、閉眼判定機能１１２は、特開平２００７−１５１７９８号公報に開示された手法を用いて、目の上端（上瞼）と目の下端（下瞼）の上下端と、目の左端（目頭）と目の右端（目尻）の左右端とから目の縦横比を求め、目の縦横比に基づいて目の開閉を判断してもよい。

さらに、閉眼率算出機能１１３は、閉眼判定機能１１２の判定結果に基づいて、運転者の閉眼率を算出する。本実施形態における閉眼率とは、一定時間あたりに目を閉じている時間の割合である。一般に、覚醒度の低下に伴い、人の目を閉じる速度はゆっくりとなり、かつ、閉じている時間が長くなるとされている。閉眼率算出機能１１３は、画像処理装置８００から取得した映像信号を経時的に観察し、一定時間のうち所定時間以上目を閉じている時間の割合を求める。閉眼率を求める手法は特に限定されず、例えば、特開平７−１５６６８２号公報に開示された手法を用いることができる。

なお、閉眼率に類する指標として、一定時間のうち所定時間以上目を閉じる現象の発生回数（発生頻度）を求めてもよい。この目を閉じる回数を求める手法は特に限定されず、例えば、特願平１０−４０３６１号公報に記載された手法を用いることができる。

次に、挙動検出部１０が備える第２指標検出部１２について説明する。この挙動検出部１０の第２指標検出部１２は、覚醒度の低下に対する葛藤状態と相関関係の高い第２指標を検出対象とする。もちろん、本実施形態の第２指標検出部１２は、覚醒度の低下と相関関係の高い指標を検出対象としてもよい。第２指標としては、心拍、呼吸、副次行動、頭部挙動その他の体動を採用することが好ましい。

本実施形態の第２指標検出部１２は、第２指標として、運転者の撮像画像に基づく運転者の頭部の挙動を検出する。このように、第１指標とは異なる指標を検出することにより、覚醒度を正確に判断することができる。また、第１指標として目の閉眼率とは異なる頭部の挙動を第２指標とすることにより、運転者がメガネ等を装着している場合であっても、運転者の覚醒度を判断することができる。

本実施形態の第２指標検出部１２は、覚醒度の低下過程で運転者がこれに耐えようとする場面(眠気との葛藤する状態)において、覚醒度の低下過程と相関関係の高い指標を検出対象とすることが好ましい。一般に、運転者の覚醒度の低下と相関の高い指標（例えば、閉眼率などの挙動）は、覚醒度が低下する過程における眠気との葛藤状態において、その値の変化が抑制される。つまり、覚醒度が低下し始めると、運転者はこれに抗うため、覚醒度の低下と相関の高い挙動（第一指標）が抑制される。同じく覚醒度が低下し始めると、運転者がこれに抗うため、運転者の他の挙動（第２指標）に変化が表れる。人間の頭部の動きには、意識的な動きと無意識的な動きが存在するが、本実施形態が第二指標として検出する運転者の頭部の挙動は、後者の無意識的なものである。人間は姿勢を保つために反射的（無意識）に運動する。覚醒度が高い場合は、姿勢を保つ反射的な運動をするため、頭部の挙動も安定する。しかし、覚醒度が低下し始めると姿勢の維持機能が徐々に低下し、姿勢を保つ反射的な運動が維持されず、頭部の挙動に乱れが生じる。実験によると、この頭部挙動の乱れは、眠気との葛藤状態において大きくなる傾向がある。

本実施形態の第２指標検出部１２は、第２指標として、運転者の撮像画像に基づく運転者の頭部の挙動を検出する。

この第２指標検出部１２は、頭部基準位置特定機能１２１と頭部挙動算出機能１２２を有する。

この第２指標検出部１２の第１の機能として、頭部基準位置特定機能１２１は、撮像画像に基づいて、運転者の頭部領域に含まれる基準位置を特定する。この基準位置は、運転者の頭部の挙動を検出する際の基準となる。本実施形態の頭部基準位置特定機能１２１は、撮像画像に含まれる運転者の頭部領域の重心座標を基準位置として検出する。頭部基準位置特定機能１２１は、抽出された頭部領域の映像データに含まれる複数の顔特徴の座標列に基づいて重心の座標を求める。求めた頭部重心座標を基準位置として特定する。

第２指標検出部１２の第２の機能として、頭部挙動量算出機能１２２は、特定された基準位置に対する運転者の頭部の挙動量を算出する。頭部挙動量算出機能１２２は、直近に特定された所定の個数の頭部基準位置に対する標準偏差を求め、これを頭部の挙動量とする。具体的には、図４に示すように、時刻tにおける基準位置（頭部重心座標）を座標(Ｈx, Ｈy)とし、直近n個のデータをメモリにストアし、水平方向の標準偏差と垂直方向の標準偏差である水平方向頭部挙動量Ｍｘと垂直方向頭部挙動量Ｍｙをそれぞれ計算する。本実施例においては、Ｈｘ, Ｈｙそれぞれについて直近ｎ個のデータの標準偏差を求めて頭部の挙動量(Ｍx, Ｍy)を求める。

続いて、判断基準設定部２０について説明する。判断基準設定部２０は、取得した道路情報及び／又は車両情報とから判断した車両の運転が単調となる単調区間における運転者の頭部の挙動に基づいて、運転者の覚醒度合いの判断基準を設定する。

本実施形態の判断基準設定部２０は、閉眼率を含む第１指標に基づく判断基準となる第１判断基準を設定する第１判断基準設定機能２１と、運転者の頭部の挙動を含む第２指標に基づく判断基準となる第２判断基準設定機能２２と、車両が走行区間のうち単調区間を走行することを検出する単調区間検出部２３と、車両が単調区間以外の走行区間である通常区間を走行することを検出する通常区間検出部２４とを有する。

第１判断基準設定機能２１は、運転者の覚醒度が低いと判断するための閉眼率に関する判断基準を設定する。第１判断基準設定機能２１は、車両の運転が単調となり、運転者の覚醒度が低下する傾向が見られる単調区間における運転者の閉眼率に基づいて判断基準を設定する。

また、第２判断基準設定機能２２は、運転者の覚醒度が低いと判断するための頭部の挙動に関する判断基準を設定する。第２判断基準設定機能２２は、車両の運転が単調となり、運転者の覚醒度が低下する傾向が見られる単調区間の運転者の頭部の挙動に応じた判断基準を設定する。

ここで、第１判断基準及び第２判断基準を設定する際に用いられる単調区間を検出する単調区間検出部２３について説明する。

単調区間検出部２３は、ナビゲーション装置２００から取得した道路情報に基づいて、車両が走行する走行区間は単調区間であるか否かを判断する。本実施形態の道路情報は道路形状、道路種別又は道路属性の何れか１つ以上を含む。道路形状は、道路の曲率、道路の交差状況などを含み、道路種別は道路が高速道路などの自動車専用道路であるか否かの情報を含み、道路属性は道路が一方向の単路であるなど道路に関する情報を含む。

具体的に、単調区間検出部２３は、車両が走行する道路の道路種別が高速道路である場合、車両が走行する道路が直線道路である場合、又は車両が走行する道路が一方向の単路である場合は、車両が走行する走行区間は単調区間であると判断する。

また、単調区間検出部２３は、車両コントローラ３００から取得した車両情報に基づいて、車両が走行する走行区間は単調区間であると判断する。車両情報は、操舵角情報、車速情報、アクセル開度情報、又はブレーキ情報の何れか１つ以上を含む。具体的に、判断基準設定部２０は、所定時間内の操舵量が所定閾値未満である場合、所定時間内のブレーキ操作回数が所定値未満である場合、所定時間内のアクセル開度値の変化量が所定値未満である場合、又は所定時間内の車速の変化量が所定値未満である場合は、車両が走行する走行区間は単調区間であると判断する。

さらに、単調区間検出部２３は、車間距離測定装置４００から取得した他車両との車間距離情報に基づいて、車両が走行する走行区間は単調区間であると判断する。本実施形態の車間距離情報は、自車両周囲における他車両の存在の有無情報、又は自車両と他車両との距離情報の何れか１つ以上を含む。具体的に、判断基準設定部２０は、所定時間内における他車両との車間距離の変化量が所定値未満である場合、先行車両が無い場合は、車両が走行する走行区間は単調区間であると判断する。

なお、走行区間が単調区間であるか否かは、道路情報、車両情報又は車間距離のいずれかに基づいて判断してもよいし、道路情報、車両情報及び車間距離のうちのいずれか一つ以上の情報を組み合わせて判断してもよい。

さらに、単調区間検出部２３は、道路情報に含まれる道路形状又は車両情報に含まれる操舵角に基づいて、車両が走行する走行区間が直進区間であるかカーブ区間であるかを判断する機能を有する。具体的に、判断基準設定部２０は、直進区間を走行する際の操舵角パターンとカーブ区間（緩やかなカーブ区間と曲率の大きなカーブ区間ごとに）を走行する際の操舵角パターンとを予め定義し、この操舵角パターンと車両コントローラから得られた操舵角の変化とを比較し、その一致度に応じて車両が走行する区間が直進区間であるのかカーブ区間（緩やかなカーブ区間又は曲率の大きなカーブ区間）であるのかを判断する。もちろん、判断基準設定部２０は、ナビゲーション装置２００から得た道路情報に含まれる道路曲率に基づいて車両の走行区間が直進区間であるかカーブ区間であるかを判断してもよい。

特に限定されないが、走行区間が直進区間である場合、及び走行区間が緩やかなカーブ区間である場合は、その走行区間は運転が単調となる単調区間と判断される。

単調区間検出部２３は、自車両が走行する走行区間が予め定義した単調区間の要件に該当する場合は、その走行区間は単調区間であると判断する。本実施形態の単調区間検出部２３は、車速が６０km/ｈ以上で速度変化が±１０km/h以内である区間、又は操舵角の絶対値が１０度以上３０度以下で通過可能な区間を、ゆるやかなカーブを有する単調区間と判断する。

また、通常区間検出部２４は、単調区間検出部２３により検出された単調区間以外の走行区間を通常区間として検出する。

ここで、第１判断基準設定機能２１と第２判断基準設定機能２２の説明に戻る。

第１判断基準設定機能２１は、単調区間を走行する際の運転者の閉眼率に基づいて第１判断基準を設定する。第１判断基準としての閉眼率の導出手法は特に限定されないが、車両が通常区間から単調区間に遷移した後の所定時間内において検出された閉眼率の平均値又は検出された閉眼率の最大値に基づいて設定することができる。

本実施形態の第２判断基準設定機能２２は、単調区間を走行する際の運転者の頭部の挙動に基づいて第２判断基準を設定する。第２判断基準としての頭部の挙動量の導出手法は特に限定されないが、本実施形態では、通常区間から単調区間に遷移した後の所定時間内に検出された運転者の垂直方向の頭部の挙動の平均値に基づいて、運転者の覚醒度合いの判断基準を設定する。

また、第２判断基準設定機能２２は、図５に示すように、頭部挙動として求めた垂直方向の頭部重心座標（基準位置）の標準偏差の時系列データに対し、運転開始時のデータから平均値を求め、その平均値に基づいて判断基準となる閾値を設定する。閾値を決定する区間（学習区間）は、車両が通常区間（単調区間以外の区間）から単調区間に遷移してから一定の時間とする。また、設定する判断基準となる閾値は学習時間における頭部挙動の平均値に一定の係数を乗じたものとする。この係数は、実験等により、任意に設定することができ、車種や運転者ごとに設定してもよい。

さらに、第２判断基準設定機能２２は、単調区間の一態様として所定のカーブ区間における運転者の頭部の挙動に基づいて判断基準を設定する。この所定カーブ区間は、道路情報、車両情報及び／又は車間距離に基づいて設定する。例えば、第２判断基準設定機能２２は、車速が60km/ｈ以上で速度変化が±10km/ｈ以内である区間、又は操舵角の絶対値が10度以上30度以下で通過可能な区間を、ゆるやかなカーブを有する所定のカーブ区間とする。

また、第２判断基準設定機能２２は、通常区間から単調区間に遷移した後に、車両が所定のカーブ区間を走行する場合において、そのカーブの走行開始後の所定時間内（学習区間）に検出された運転者の水平方向の頭部の挙動に基づいて、運転者の覚醒度合いの判断基準を設定する。本実施形態では、学習区間に検出された運転者の水平方向の頭部の挙動のうち覚醒度合いが最も高いと判断される運転者の水平方向の頭部の挙動に基づいて、運転者の覚醒度合いの判断基準を設定する。

第２判断基準設定機能２２は、図６に示すように、頭部挙動として求めた水平方向の頭部重心座標（基準位置）の標準偏差の時系列データのうち、車両がカーブ区間に進入し、その直後の所定時間（学習時間）において検出された運転者の水平方向の頭部の標準偏差の最大値に基づいて判断基準となる閾値を設定する。なお、閾値を決定する学習時間は、車両が通常区間から単調区間に遷移した後の一定の時間であり、かつ、所定のカーブ区間と判断される走行区間である。また、判断基準（閾値）は学習時間における最大値に一定の係数を乗じたものとする。この係数は、実験等により、任意に設定することができ、車種や運転者ごとに設定してもよい。

続いて、判断部３０について説明する。

判断部３０は、判断基準設定部２０により設定された判断基準に従い、挙動検出部１０により検出された運転者の挙動に基づいて、運転者の覚醒状態を判断する。

判断部３０は、第１判断基準設定機能２１により設定された判断基準に基づいて、第１指標検出部１１により検出された閉眼率（第１指標）が判断基準よりも高い場合は、運転者の覚醒度が低いと判断し、第１指標検出部１１により検出された閉眼率（第１指標）が判断基準よりも低い場合は、運転者の覚醒度が高いと判断する。

また、判断部３０は、第２判断基準設定機能２２により設定された判断基準に基づいて、第２指標検出部１２により検出された運転者の頭部の挙動量（第２指標）が判断基準よりも高い場合は、運転者の覚醒度が低いと判断し、第２指標検出部１２により検出された運転者の頭部の挙動量（第２指標）が判断基準よりも低い場合は、運転者の覚醒度が高いと判断する。

さらに、判断部３０は、第１指標と第２指標との両方を用いて、運転者の覚醒度を判断する。つまり、判断部３０は、第１判断基準設定機能２１により設定された第１判断基準及び第２判断基準設定機能２２により設定された第２判断基準に基づいて、運転者の閉眼率及び運転者の頭部の挙動量を評価する。

図７は、第１指標と第２指標の葛藤が無い場合の指標の経時的な変化（破線）と、葛藤が有る場合の指標の経時的な変化（実線）を示す図である。

図７に示すように、第１指標は、葛藤が無い場合は覚醒度の低下に伴い経時的な変化（破線）が大きくなる特性と、眠気に耐えようとするなどの被験者（運転者）に葛藤がある場合はその変化が抑制される（実線参照）特性を有する。他方、第２指標は、葛藤が無い場合において、覚醒度の低下に伴う経時的な変化（破線）が第１指標に比べて小さいという特性を有する。また、第２指標は、覚醒度の低下に伴う経時的な変化（破線）が小さいにもかかわらず、眠気に耐えようとするなどの被験者（運転者）に葛藤がある場合に、その変化が大きいという特性がある。

つまり、運転者が眠気に耐えようとするなどの通常の心理状況にある場合、本実施形態における閉眼率を含む第１指標は非覚醒時において顕著な変化が観察され、他方、頭部の挙動量を含む第２指標は覚醒から非覚醒に至る過程において顕著な変化が観察される。このように、運転者の葛藤を考慮する場合には、第１指標は主に覚醒／非覚醒の判断に適しており、第２指標は覚醒度低下に対する抗いや葛藤が生じる、覚醒から非覚醒に至る過程の判断に適している。

そこで、本実施形態では、これら２つの指標（第１指標と第２指標）を組み合わせることにより、運転者の覚醒状態をより具体的に分析し、現実の運転者の状態を高い精度で判断する。

具体的に、本実施形態の判断部３０は、第１指標と第２指標の組み合わせに基づいて、運転者の覚醒度が運転操作に適している正常状態と、運転者の覚醒度は運転操作に適している状態であるものの、覚醒度が低下しつつあり、運転者が覚醒度の低下に抗う葛藤状態と、運転者の覚醒度が運転操作に適していない異常状態とを判断する。

さらに、本実施形態の判断部３０は、第１指標と第２指標の組み合わせに基づいて、覚醒度が運転操作に適していない異常状態であるものの、運転者が覚醒度の低下に抗う葛藤状態にある異常状態と、運転者が覚醒度の低下に抗う葛藤状態にない異常状態とを判断する。

本実施形態の判断部３０は、予め第１指標と第２指標の組み合わせと運転者の状態との対応を定義し、これを記憶する。図８は、第１指標（閉眼率）と第２指標（頭部の挙動）に基づいて運転者の覚醒度を判断する場合の判断マップの一例を示す図である。

図８において、横軸Ａは第１指標である閉眼率を示し、縦軸Ｂは第２指標である頭部の挙動量を示す。

図８において、第１指標の「通常」は、検出された閉眼率が、第１判断基準設定機能２１により設定された第１判断基準以下（目を閉じる確率が低い）状態である。また、第１指標の「異常」は、検出された閉眼率が、第１判断基準設定機能２１により設定された第１判断基準よりも高い（目を閉じる確率が高い）状態である。また、横軸に沿って、第１欄は閉眼率が「通常」である場合を示し、第２欄は閉眼率が「通常」から「異常」に遷移した場合を示し、第３欄は閉眼率が「異常」から「通常」に遷移した場合を示す。

また、図８において、第２指標の「通常」は、検出された運転者の頭部の挙動量が、第２判断基準設定機能２２により設定された第２判断基準以下（頭部の揺れが小さい）状態である。また、第２指標の「異常」は、検出された運転者の頭部の挙動量が、第２判断基準設定機能２２により設定された第２判断基準よりも大きい（頭部の揺れが大きい）状態である。また、縦軸に沿って、第１欄は頭部の挙動量が「通常」である場合を示し、第２欄は頭部の挙動量が「通常」から「異常」に遷移した場合を示し、第３欄は頭部の挙動量がが「異常」から「通常」に遷移した場合を示す。

本実施形態の判断部３０の判断手法を説明する。以下の判断は、いずれか一つの判断手法を採用してもよいし、２以上の判断手法を組み合わせてもよいし、すべての判断手法を用いてもよい。

まず、判断部３０は、運転者の撮像画像に基づいて検出された運転者の閉眼率が第１判断基準以下であり、かつ運転者の撮像画像に基づいて検出された運転者の頭部の挙動量が第２判断基準以下である場合は、運転者の覚醒度は正常と判断する。すなわち、目を閉じる確率が所定の閾値より低く、頭部の揺れが所定の閾値よりも低い場合は、運転者の覚醒度は運転に適した状態であると判断する。

つまり、運転者の閉眼率は通常であり、覚醒度の低下過程に見られる葛藤も無いことから、運転者は高い覚醒状態にあると判断できる。このように、第１指標と第２指標との組み合わせることにより、高い精度で運転者の覚醒度を判断することができる。

また、判断部３０は、運転者の撮像画像に基づいて検出された運転者の閉眼率が第１判断基準以下であり、かつ運転者の撮像画像に基づいて検出された運転者の頭部の挙動量が第２判断基準よりも高い場合は、運転者の覚醒度は正常であるものの、この運転者は葛藤状態にあり、運転者の覚醒度が低下する過程にあると判断する。すなわち、目を閉じる確率が所定の閾値より低く、頭部の揺れが所定の閾値よりも高い場合は、運転者の現在の覚醒度は運転に適した状態であるものの、運転に対する集中度が低下しており、覚醒度の低下に抗う潜在意識によって運転者の頭部の運動量が増加していると判断する。つまり、運転者は、閉眼率においては通常状態にあるが、覚醒度の低下過程に見られる葛藤が見られるため、覚醒度が低下しつつある状態にあると判断することができる。

このように、本判断手法によれば、覚醒度が現実に低下する（運転に適さない状態に陥る）前に、その兆候を予見することができる。こうして、覚醒度の低下の兆候を予見することができれば、覚醒度が現実に低下する前にその旨を報知し、運転者の覚醒度の低下を防止することができる。さらに、覚醒度の低下の兆候を予見することができれば、運転支援装置６００の動作起動のトリガとしても利用することができる。

以上のように、第１指標と第２指標との組み合わせることにより、高い精度で、現実の運転者の覚醒度を具体的に判断することができる。

さらに、判断部３０は、運転者の撮像画像に基づいて検出された運転者の閉眼率が第１判断基準よりも高い場合は、運転者の覚醒度は異常と判断する。閉眼率は運転者の覚醒度の低下に応じて変化する指標であるため、閉眼率が第１判断基準よりも高い場合は運転者の覚醒度が低いと判断することにより、運転者の現実の覚醒度を高い精度で判断することができる。

また、判断部３０は、運転者の覚醒度が異常状態であると判断する場合において、さらに、具体的に異常状態を識別する。

第１に、判断部３０は、運転者の撮像画像に基づいて検出された運転者の閉眼率が第１判断基準よりも高く、かつ運転者の撮像画像に基づいて検出された運転者の頭部の挙動量が第２判断基準以下である場合は、運転者の覚醒度は異常であるとともに、運転者の葛藤が弱い第１異常状態にあると判断する。この第１異常状態は、たとえば、運転者に眠気が生じている状態、又は運転者が眠いと感じている状態である。この第１異常状態では、運転者は姿勢を保つ運動を維持している。

第２に、判断部３０は、運転者の撮像画像に基づいて検出された運転者の閉眼率が第１判断基準よりも高く、かつ運転者の撮像画像に基づいて検出された運転者の頭部の挙動量が第２判断基準以下である状態から第２判断基準よりも高い状態に遷移する場合は、運転者の覚醒度が第２異常状態にあると判断する。この第２異常状態は、たとえば、運転者が浅い眠りに入った状態である。この第２異常状態では、運転者の姿勢を保つ運動が低下し、覚醒度の低下に抗っている状態である。

第３に、判断部３０は、運転者の撮像画像に基づいて検出された運転者の閉眼率が第１判断基準よりも高く、かつ運転者の撮像画像に基づいて検出された運転者の頭部の挙動量が第２判断基準よりも高い状態から第２判断基準以下の状態に遷移する場合は、運転者の覚醒度が第２異常状態よりもさらに低く、運転者の葛藤が弱い第３異常状態にあると判断する。この第３異常状態は、たとえば、運転者が深い眠りに入った状態である。この第２異常状態では、運転者は姿勢を保つ運動が低下し、覚醒度の低下に抗う葛藤の意識も薄れた状態である。

図９は、第１指標（閉眼率）と第２指標（頭部の垂直方向の挙動）の経時的な変化と、運転者の経時的な覚醒度の変化の一例を示す図である。この例では、閉眼率の閾値は10%、はじめの3分間を学習区間としておりこの区間の頭部挙動の標準偏差の平均値に乗数2.0をかけた値7.6を閾値とした。

この第１指標（閉眼率）と第２指標（頭部の垂直方向の挙動）の経時的な変化と、図８に示すマップとに基づいて、運転者の覚醒状態を判断することができる。つまり、運転者が高い覚醒状態にある区間（又は時間若しくはタイミング）、覚醒状態の低下に伴う葛藤を感じている区間（又は時間若しくはタイミング）、眠いと感じている区間（又は時間若しくはタイミング）を推定することができている。

図９に示す例では、第１指標が通常かつ第２指標が通常であり、運転者の覚醒度が正常な状態から、第２指標が第１指標に先行して変化し、葛藤状態を示す。その後、第１指標が通常から異常に変化すると運転者の覚醒状態は眠い(葛藤小)の状態になる。さらに、第２指標が通常から異常に変化すると、運転者は浅い居眠り(葛藤大)という状態へ遷移し、その後、第２指標が異常から通常に変化すると、運転者は深い居眠り(葛藤小)という状態へ遷移する。

本実施形態の判断部３０は、図８に示すマップを用いて、このような運転者の覚醒状態の変化を、逐次、具体的かつ高い精度で判断することができる。

判断部３０は判断結果を外部装置へ出力する。判断結果が出力される外部装置は特に限定されない。判断部３０は、判断結果を、運転者に音声により情報を伝えるスピーカ５０１、運転者に画像又は文字により情報を伝えるディスプレイ５０２、又は運転者の触覚を介して情報を伝える振動装置５０３又は押圧装置５０４を含む運転者報知装置５００に出力することができる。また、判断部３０は、判断結果を、車両が道路の走行レーンと一定の位置関係を保って走行する運転を支援するキープレーンシステム６０１、車両が他車両と一定の位置関係を保って走行する運転を支援する車間維持システム６０２を含む運転支援装置６００に出力することができる。

報知装置５００は、取得した運転者の覚醒度に基づいて、その覚醒状態に適した報知情報を出力する。また、運転支援装置６００は、取得した運転者の覚醒度に基づいて、その覚醒状態に適した運転支援を実行する。

本実施形態では、具体的な覚醒状態を出力することができるため、報知情報の内容及び報知タイミングを運転者の覚醒状態に応じたものとすることができ、運転支援の内容及び動作タイミングを運転者の覚醒状態に応じたものとすることができる。

さらに、本実施形態では、運転者の現実の覚醒状態を高い精度で出力することができるため、運転者の覚醒状態に適した報知情報を高い精度で出力し、運転者の覚醒状態に適した運転支援を高い精度で実行することができる。

次に、本実施形態の覚醒状態判断システム１００の制御手順を説明する。図１０〜図１３は覚醒状態判断システム１００の制御手順を説明するためのフローチャートである。図１０は覚醒度の判断処理を説明するためのフローチャート図、図１１は閉眼率の算出処理を説明するためのフローチャート図、図１２は頭部の挙動量の算出処理を説明するためのフローチャート図、図１３は判断基準の設定処理と、覚醒状態の判断処理を説明するためのフローチャート図である。

第一に、図１０に基づいて、実施形態の覚醒状態判断１００の処理の全体の流れを説明する。

ステップ１において、挙動検出部１０は、カメラ７００及び画像処理装置８００を介して、顔画像を取得する（Ｓｔｅｐ１）。顔画像は、映像信号から顔を構成する目や口などの位置関係に基づいて抽出される。

ステップ２において、第２指標検出部１２は、運転者の頭部領域を検出する（Ｓｔｅｐ２）。

このステップ２と並行するステップ３において、第１指標検出部１１は、運転者の顔画像に基づいて、第１指標（閉眼率）を検出する（Ｓｔｅｐ３）。

また、ステップ３と並行するステップ４において、第２指標検出部１２は、ステップ２において検出された頭部領域の画像に基づいて、頭部基準位置に対する第２指標（頭部の挙動量）を検出する（Ｓｔｅｐ４）。

さらにまた、ステップ５において、判断基準設定部２０は、運転者の覚醒度合いを判断するために、運転者の閉眼率に関する第１判断基準と、運転者の頭部の挙動に関する第２判断基準とを設定する（Ｓｔｅｐ５）。具体的に、ステップ５において、判断基準設定部２０は、取得した道路情報、車両情報及び／又は車間距離情報とから判断した車両の運転が単調となる単調区間における運転者の閉眼率及び／又は運転者の頭部の挙動に基づいて、運転者の覚醒度合いの判断基準を設定する。

続いて、ステップ６において、判断部３０は、ステップ５において設定された第１判断基準及び第２判断基準に従い、ステップ３において検出された第１指標データ（運転者の閉眼率）及びステップ４において検出された第２指標データ（運転者の頭部の挙動量）に基づいて、運転者の覚醒状態を判断する（Ｓｔｅｐ６）。

判断部３０は、判断結果に係る覚醒度信号を、外部装置（報知装置５００，運転支援装置６００）へ向けて送出する。

図１１は、図１０のステップ３の第１指標の検出処理のサブルーチンを示すフローチャート図である。この処理により、第１指標である運転者の閉眼率を検出する。

まず、ステップ３０１において、第１指標検出部１１の目領域特定機能１１１は、撮像画像に基づいて、顔の部位の位置をそれぞれ検出し、その位置関係から運転者の顔のうち目の開閉動作に関わる目領域（座標）を特定する（Ｓｔｅｐ３０１）。このとき、第２指標検出部１２により特定された頭部基準位置を用いて目領域を特定してもよい。

ステップ３０２において、第１指標検出部１１の閉眼判定機能１１２は、ステップ３０１において特定された目領域の撮像画像に基づいて、運転者の閉眼状態を判定する（Ｓｔｅｐ３０２）。

ステップ３０２において、第１指標検出部１１の閉眼率算出機能１１３は、ステップ３０２において判定された閉眼状態（及び開眼状態）の判定結果に基づいて、運転者の閉眼率を算出する（Ｓｔｅｐ３０３）。

また、図１２は、図１０のステップ４の第２指標の検出処理のサブルーチンを示すフローチャート図である。この処理により、第２指標である運転者の頭部の挙動を検出する。

まず、ステップ４０１において、第２指標検出部１２の頭部基準位置特定機能１２１は、撮像画像に基づいて、運転者の頭部領域に含まれる基準位置を特定する。本処理において、頭部基準位置特定機能１２１は、頭部領域の重心座標を特定する（Ｓｔｅｐ４０１）。このとき、第１指標検出部１１により特定された顔画像、顔部の位置を用いて頭部領域の基準位置を特定してもよい。

続くステップ４０２において、第２指標検出部１２の頭部挙動算出機能１２２は、特定された基準位置に対する運転者の頭部の挙動量を算出する（Ｓｔｅｐ４０２）。

さらに、図１３は、図１０のステップ５の判断基準設定処理及びステップ６の覚醒度判断処理のサブルーチンを示すフローチャート図である。この処理により、運転者の覚醒度を判断するための基準を設定し、検出された第１指標及び第２指標に基づいて運転者の覚醒度を判断する。

まず、ステップＳ５０１において、第１判断基準設定機能２１は、第１判断基準設定機能２１は、ナビゲーション装置２００から取得した道路情報、車両コントローラ３００から取得した車両情報及び／又は車間距離測定装置４００から取得した車間距離情報とから判断した車両の運転が単調となる単調区間における運転者の閉眼率に基づいて、運転者の覚醒度合いの第１判断基準を設定する。

また、ステップ５０２において、第２判断基準設定機能２２は、ナビゲーション装置２００から取得した道路情報、車両コントローラ３００から取得した車両情報及び／又は車間距離測定装置４００から取得した車間距離情報とから判断した車両の運転が単調となる単調区間における運転者の頭部の挙動に基づいて、運転者の覚醒度合いの第２判断基準を設定する。

続くステップ６０１において、運転者の閉眼率及び運転者の頭部の挙動量と、設定された第１判断基準及び第２判断基準とを用いて運転者の覚醒状態を判断する。

具体的には、図８に例示する、第１判断基準に対する第１指標と第２判断基準に対する第２指標との組み合わせと運転者の覚醒度とを対応づけたマップを参照して、第１指標（運転者の閉眼率）及び第２指標（運転者の頭部の挙動量）に基づいて運転者の覚醒状態を判断する。

本実施形態の覚醒状態判断システム１００は、以上のように構成され、機能するので、以下の効果を奏する。

本実施形態の覚醒状態判断システム１００は、運転者の頭部の挙動を検出し、道路情報及び／又は車両情報とから求めた車両の運転が単調となる単調区間における運転者の頭部の挙動に基づいて運転者の覚醒度を判断するための判断基準を設定し、この判断基準を用いて運転者の覚醒状態を判断するため、運転者の頭部の挙動の変化に基づいて運転者の覚醒度を判断することができるため、運転者が眼鏡などを装着している場合であっても、運転者の覚醒状態を高い精度で判断することができる。

また、単調区間における運転者の頭部の挙動に基づいて運転者の覚醒度を判断するための判断基準を判断するため、運転者の覚醒度が低下するときの運転者の挙動に基づいた判断基準を設定することができる。つまり、単調な運転環境を走行する際に、運転者の覚醒度が低下する過程における頭部の挙動に基づいて判断基準を設定することができる。このような判断基準を用いることにより、運転者の覚醒度を高い精度で判断することができる。

また、頭部領域の基準位置（例えば重心）を特定するとともに、その基準位置に対する偏差を用いて運転者の頭部の挙動を算出するため、頭部の挙動量を正確に算出することができる。このように算出された挙動量を用いることにより、運転者の覚醒度を高い精度で判断することができる。

また、運転者の着座の姿勢における頭部の動きは、一般に頭部の平衡を保つための運動を伴っており、覚醒度が高い場合は頭部の動きに乱れがない。また、運転者の覚醒度の低下の過程に伴いこの平衡を保つ運動が低下するため、頭部の動きに乱れが発生する。また、覚醒度の低下を自覚した場合には、覚醒を維持するため体動を生じる。しかし、居眠り状態となるとこれらの２つの動作はなくなる。このように、運転者の頭部の挙動に基づいて、覚醒低下に対する抗いや葛藤が生じる、覚醒度が低下する過程の状態を判断することができる。

また、頭部の挙動には水平方向の動きと垂直方向の動きが含まれる。この頭部の挙動のうち水平方向の挙動成分を抽出することにより、垂直方向の動きの影響を排除して運転者の頭部の挙動量を算出することにより、頭部の挙動量を正確に算出することができる。このように算出された挙動量を用いることにより、運転者の覚醒度を高い精度で判断することができる。

また、頭部挙動の水平方向成分を第２指標データとする場合、車両の走行区間が単調区間以外の通常区間から単調区間に遷移した後に、車両が所定のカーブ区間を走行する場合、そのカーブの走行開始後の所定時間内に検出された運転者の水平方向の頭部の挙動のうち覚醒度合いが最も高いと判断される運転者の水平方向の頭部の挙動に基づいて、運転者の覚醒度合いの判断基準を設定する。カーブ区間において判断基準を設定するため、カーブ区間で安全確認動作のために生じる水平方向の頭部の動きの影響を排除した判断基準を設定することができる。また、頭部挙動には個人差が生じるが、本実施形態では実際の走行時における頭部挙動に基づいて判断基準を設定するため、頭部挙動の個人差によって生じる影響を排除した判断基準を設定することができる。このように設定された判断基準を用いることにより、運転者の覚醒度を高い精度で判断することができる。

さらに、この頭部の挙動のうち垂直方向の挙動成分を抽出することにより、水平方向の動きの影響を排除して運転者の頭部の挙動量を算出することにより、頭部の挙動量を正確に算出することができる。このように算出された挙動量を用いることにより、運転者の覚醒度を高い精度で判断することができる。

また、頭部挙動の垂直方向成分を第２指標データとする場合、車両の走行区間が単調区間以外の通常区間から単調区間に遷移した後の所定時間内に検出された運転者の垂直方向の頭部の挙動の平均値に基づいて、運転者の覚醒度合いの判断基準を設定する。本実施形態では実際の走行時における頭部挙動に基づいて判断基準を設定するため、頭部挙動の個人差によって生じる影響を排除した判断基準を設定することができる。このように設定された判断基準を用いることにより、運転者の覚醒度を高い精度で判断することができる。

このように、撮像画像から検出した運転者の頭部の挙動について、見かけの頭部基準座標（頭部重心座標）に対する水平方向と垂直方向の挙動成分を分離し、それぞれの時系列データについて標準偏差を求めるため、左右方向の安全確認などの運転動作による挙動が多く含まれる水平方向成分と、運転動作による挙動が少ない垂直方向成分とを分離して扱うことができる。また、平方向成分の頭部挙動と垂直成分の頭部挙動とを取得し、それぞれについて判断基準を設定することにより、運転動作による挙動の影響を排除した判断基準を設定することができる。このように設定された判断基準を用いることにより、運転者の覚醒度を高い精度で判断することができる。

また、取得した撮像画像に基づいて目領域を特定し、その目領域の撮像画像に基づいて閉眼状態を判断し、その閉眼率を算出することにより、閉眼率を正確に算出することができる。一般に目の開閉情報は覚醒度との相関が高いとされており、かつ、目を閉じている時間が長くなれば、自動車運転では周囲への注意が払えないすなわち不安全であると判断されるため、覚醒度が低下した状態を精度よく判断することができる。このように算出された閉眼率を用いることにより、運転者の覚醒度を高い精度で判断することができる。

さらにまた、本実施形態の覚醒状態判断システム１００は、第１指標に関する評価と第２指標に関する評価との組み合わせに基づいて運転者の覚醒度を判断することにより、運転者の覚醒度を高い精度で判断することができる。特に、本実施形態では、運転者の覚醒度の低下に伴い変化する第１指標と、運転者がその覚醒度の低下に対して意識的または無意識的に葛藤する場合に変化する第２指標とを用いて覚醒度を判断するため、運転者の具体的な覚醒度を高い精度で判断することができる。具体的に、本実施形態の判断部３０によれば、第１指標と第２指標の組み合わせに基づいて、運転者の覚醒度が運転操作に適している正常状態と、運転者の覚醒度は運転操作に適している状態であるものの、覚醒度が低下しつつあり、運転者が覚醒度の低下に抗う葛藤状態と、運転者の覚醒度が運転操作に適していない異常状態とを判断することができる。さらに、本実施形態の判断部３０によれは、第１指標と第２指標の組み合わせに基づいて、覚醒度が運転操作に適していない異常状態であるものの、運転者が覚醒度の低下に抗う葛藤状態にある異常状態と、運転者が覚醒度の低下に抗う葛藤状態にない異常状態とを判断することができる。

ところで、従来は、覚醒度の低下した状態や、疲労が増大した状態においては、運転者の挙動の減少や、体動の減少が起こると報告されている（特開平10-272959号公報，特開2005-095408号公報）。これに対し、本願発明では、運転者の覚醒度が低下する過程において、運転者が覚醒度低下に抗い、葛藤することにより、運転者の挙動の増加、体動の増加が生じる点に着目し、この挙動を用いて運転者の覚醒度を判断する。つまり、本願発明によれば、単調な運転環境下において、覚醒度の低下を表す第１指標と、覚醒度の低下に対する葛藤を表す第２指標とを組み合わせて覚醒度を判断することにより、覚醒度低下を表す第１指標のみで覚醒度を判断する場合よりも、高い精度で覚醒度を判断することができる。具体的に、本実施形態において、単調な運転環境下において、覚醒度の低下を表す閉眼率（第１指標）と、覚醒度の低下に対する葛藤を表す頭部の挙動（第２指標）のとを組み合わせることで、目に関する情報（閉眼率）だけに頼らないため、閉眼率（第１指標）のみで覚醒度を判断する場合よりも、高い精度で覚醒度を判断することができる。また、目に関する情報（閉眼率）だけに頼らないため、眼鏡の影響により目が検出できない場面でも覚醒度を判断することができる。

具体的に、判断部３０は運転者の閉眼率が第１判断基準以下であり、かつ運転者の頭部の挙動量が第２判断基準以下である場合は、運転者の覚醒度は正常と判断する。この場合、運転者の閉眼率は通常であり、覚醒度の低下過程に見られる葛藤も無いことから、運転者は高い覚醒状態にあると高い精度で判断することができる。このように、第１指標と第２指標との組み合わせることにより、高い精度で運転者の覚醒度を判断することができる。

また、運転者の閉眼率が第１判断基準以下であり、かつ運転者の頭部の挙動量が第２判断基準よりも高い場合は、運転者の覚醒度は正常であるものの、運転者は葛藤状態にあり、運転者の覚醒度が低下する過程にあると判断する。この場合、運転者は、閉眼率においては通常状態にあるが、覚醒度の低下過程に見られる葛藤が見られるため、覚醒度が低下しつつある状態にあると判断することができる。言い換えると、覚醒度が現実に低下する（運転に適さない状態に陥る）前に、その兆候を予見することができる。このように、覚醒度の低下の兆候を予見することができれば、覚醒度が現実に低下する前にその旨を報知し、運転者の覚醒度の低下を防止することができる。また、覚醒度の低下の兆候を予見することができれば、運転支援装置６００の動作起動のトリガとしても利用することができる。このように、第１指標と第２指標との組み合わせることにより、高い精度で、現実の運転者の覚醒度を具体的に判断することができる。

また、判断部３０は、運転者の閉眼率が第１判断基準よりも高い場合は、運転者の覚醒度は異常と判断する。この判断において、閉眼率は運転者の覚醒度の低下に応じて変化する指標であるため、閉眼率が第１判断基準よりも高い場合は運転者の覚醒度が低いと判断することにより、運転者の現実の覚醒度を高い精度で判断することができる。

さらに、判断部３０は、運転者の閉眼率が第１判断基準よりも高く、かつ運転者の頭部の挙動量が第２判断基準以下である場合は、運転者の覚醒度は異常であり、運転者の葛藤が弱い第１異常状態にあると判断する。これにより、運転者の覚醒度が低下した状態のうち、さらに、運転者に眠気が生じている状態、又は運転者が眠いと感じている状態を判断することができる。

さらにまた、判断部３０は、運転者の閉眼率が第１判断基準よりも高く、かつ運転者の頭部の挙動量が第２判断基準以下である状態から第２判断基準よりも高い状態に遷移する場合は、運転者の覚醒度が第２異常状態にあると判断する。これにより、運転者の覚醒度が低下した状態のうち、さらに、運転者が浅い眠りに入った状態や、運転者の姿勢を保つ運動が低下し、覚醒度の低下に抗っている状態を判断することができる。

加えて、判断部３０は、運転者の閉眼率が第１判断基準よりも高く、かつ運転者の頭部の挙動量が第２判断基準よりも高い状態から第２判断基準以下の状態に遷移する場合は、運転者の覚醒度が第２異常状態よりもさらに低く、運転者の葛藤が弱い第３異常状態にあると判断する。これにより、運転者の覚醒度が低下した状態のうち、さらに、運転者が深い眠りに入った状態や、運転者は姿勢を保つ運動が低下し、覚醒度の低下に抗う葛藤の意識も薄れた状態を判断することができる。

このように、運転者の覚醒度の判断が高い精度で行うことができることにより、この情報を用いた運転支援のための報知情報の精度を高めることができるとともに、運転支援の動作精度を高めることができる。

さらに、運転者の覚醒度を具体的に判断できることにより、この情報を用いた運転支援のための報知情報の態様を多様にできるとともに、運転支援の動作をきめ細かく設定することができる。

また、判断基準の設定に際し、道路情報に含まれる道路形状又は車両情報に含まれる操舵角に基づいて、車両が走行する走行区間が直進区間であるかカーブ区間であるかを判断するので、カーブ区間での頭部の挙動とカーブ区間外（直線区間）での頭部の挙動を分離して計測することができるため、走行区間に応じて判断基準を設定することができる。

また、道路形状、道路種別又は道路属性の何れか１つ以上を含む道路情報、操舵角情報、車速情報、アクセル開度情報、又はブレーキ情報の何れか１つ以上を含む車両情報、自車両周囲における他車両の存在の有無情報、又は自車両と他車両との距離情報の何れか１つ以上を含む車間距離情報から、単調区間を判断するため、単調区間を正確に判断することができる。単調区間を正確に判断することにより、運転者の覚醒度の低下が発生する走行区間を特定し、その単調区間における運転者の頭部の挙動に基づいて判断基準を設定できる。つまり、覚醒度の低下が発生し難い通常区間における運転者の頭部の挙動に基づいて判断基準を設定することを防止することができる。

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

すなわち、本明細書では、本発明に係る覚醒状態判断装置の一態様として、運転支援システム１０００の一部を構成する覚醒状態判断システム１００を例にして説明するが、本発明はこれに限定されるものではない。

また、本明細書では、覚醒状態判断装置の一態様として、頭部挙動検出手段の一例としての挙動検出部１０と、判断基準設定手段の一例としての判断基準設定部２０と、判断手段の一例としての判断部３０を備える覚醒状態判断システム１００を説明するが、これに限定されるものではない。

さらに、本明細書では、頭部基準位置特定部と頭部挙動量算出部とを有する頭部挙動検出手段を備える覚醒状態判断装置の一態様として、頭部基準位置特定機能１２１と、頭部挙動算出機能１２２とを有する第２指標検出部１２を備える覚醒状態判断システム１００を説明するが、これに限定されるものではない。

また、本明細書では、目部挙動検出手段をさらに備える覚醒状態判断装置の一態様として、第１指標検出部１１をさらに備える覚醒状態判断システム１００を説明するが、これに限定されるものではない。

この本願発明に係る目部挙動検出手段は目領域特定部と閉眼判定部と閉眼率算出部とを備えるが、本明細書では、目領域特定部の一例としての目領域特定機能１１１と、閉眼判定部の一例としての閉眼判定機能１１２と、閉眼率算出部の一例としての閉眼率算出機能１１３とを有する第１指標検出部１１を説明するが、これに限定されるものではない。

さらに、本明細書では、本発明に係る運転者の頭部の挙動に基づいて、運転者の覚醒度合いの判断基準（第２判断基準）を設定する判断基準設定手段の一例としての第２判断基準設定機能２２を有する判断基準設定部２０を備えた覚醒状態判断システム１００を説明するが、これに限定されるものではない。

同じく、本明細書では、本発明に係る運転者の閉眼率に基づいて、運転者の覚醒度合いの判断基準（第１判断基準）を設定する判断基準設定手段の一例としての第１判断基準設定機能２１を有する判断基準設定部２０を備えた覚醒状態判断システム１００を説明するが、これに限定されるものではない。

覚醒状態判断システム１００を含む運転支援システム１０００の機能ブロック図である。 運転支援システム１０００に含まれる各構成の相互関係を説明するための図である。 目領域の映像信号の一例を示す図である。 時刻ｔにおける基準位置（頭部重心座標）を座標(Ｈx, Ｈy)に対する水平方向の標準偏差と垂直方向の標準偏差である水平方向頭部挙動量Ｍｘと垂直方向頭部挙動量Ｍｙを求める手法を説明するための図である。 頭部挙動として求めた垂直方向の頭部重心座標（基準位置）の標準偏差の時系列データに基づいて判断基準を設定する手法を説明するための図である。 頭部挙動として求めた水平方向の頭部重心座標（基準位置）の標準偏差の時系列データのうち、車両がカーブ区間に進入し、その直後の所定時間（学習時間）において検出された運転者の水平方向の頭部の標準偏差に基づいて判断基準を設定する手法を説明するための図である。 第１指標と第２指標の葛藤が無い場合の指標の経時的な変化（破線）と、葛藤が有る場合の指標の経時的な変化（実線）を示す図である。 第１指標（閉眼率）と第２指標（頭部の挙動）に基づいて運転者の覚醒度を判断する場合の判断マップの一例を示す図である。 第１指標（閉眼率）と第２指標（頭部の挙動）の経時的な変化と、運転者の覚醒度の経時的な変化の一例を示す図である。 本実施形態の覚醒状態判断システム１００による、覚醒度の判断処理を説明するためのフローチャート図である。 閉眼率の算出処理を説明するためのフローチャート図である。 頭部の挙動量の算出処理を説明するためのフローチャート図である。 判断基準の設定処理と、覚醒状態の判断処理を説明するためのフローチャート図である。

符号の説明

１０００…運転支援システム
１００…覚醒状態判断システム
１０…挙動検出部
１１…第１指標検出部
１１１…目領域特定機能
１１２…閉眼判定機能
１１３…閉眼率算出機能
１２…第２指標検出部
１２１…頭部基準位置特定機能
１２２…頭部挙動算出機能
２０…判断基準設定部
２１…第１判断基準設定機能
２２…第２判断基準設定機能
２３…単調区間検出部
２３１…カーブ区間検出部
２４…通常区間検出部
３０…判断部
２００…ナビゲーション装置
３００…車両コントローラ
４００…車間距離測定装置
５００…報知装置
６００…運転支援装置６００
７００…カメラ
７０１…イメージセンサ
７０２…近赤外線照明
８００…画像処理装置

Claims (11)

1. 運転者の撮像画像に基づいて、運転者の頭部の挙動を検出する頭部挙動検出手段と、
   取得した道路情報、車両情報及び／又は車間距離情報とから判断した車両の運転が単調となる単調区間において検出された前記運転者の頭部の挙動に基づいて、運転者の覚醒度合いの判断基準を設定する判断基準設定手段と、
   前記設定された判断基準に従い、前記検出された運転者の頭部の挙動に基づいて、前記運転者の覚醒状態を判断する判断手段と、を有し、
   前記頭部挙動検出手段は、前記撮像画像に基づいて、前記運転者の頭部領域に含まれる基準位置を特定する頭部基準位置特定部と、前記基準位置に対する水平方向の運転者の頭部の挙動成分に基づいて前記運転者の頭部の挙動量を算出する頭部挙動量算出部と、を有し、
   前記判断基準設定手段は、取得した道路情報、車両情報及び／又は車間距離情報に基づいて、車両の走行区間が単調区間以外の通常区間から単調区間に遷移した後に、車両が所定のカーブ区間を走行する場合を判断し、当該カーブ区間の走行開始後の所定時間内に検出された運転者の水平方向の頭部の挙動に基づいて、運転者の覚醒度合いの判断基準を設定し、
   前記判断手段は、前記頭部挙動検出手段により検出された運転者の頭部の水平方向の挙動が前記判断基準以上である場合は前記運転者の覚醒度合いが低いと判断し、前記頭部挙動検出手段により検出された運転者の頭部の水平方向の挙動が前記判断基準よりも低い場合は前記運転者の覚醒度合いが高いと判断する覚醒状態判断装置。
2. 請求項１に記載の覚醒状態判断装置において、
   前記頭部挙動量算出部は、前記基準位置に対する垂直方向の運転者の頭部の挙動成分に基づいて前記運転者の頭部の挙動量を算出する覚醒状態判断装置。
3. 請求項２に記載の覚醒状態判断装置において、
   前記判断基準設定手段は、取得した道路情報、車両情報及び／又は車間距離情報に基づいて、車両の走行区間が単調区間以外の通常区間から単調区間に遷移する場合を判断し、当該単調区間に遷移した後の所定時間内に検出された運転者の垂直方向の頭部の挙動に基づいて、運転者の覚醒度合いの判断基準を設定し、
   前記判断手段は、前記頭部挙動検出手段により検出された運転者の頭部の垂直方向の挙動が前記判断基準以上である場合は前記運転者の覚醒度合いが低いと判断し、前記頭部挙動検出手段により検出された運転者の頭部の垂直方向の挙動が前記判断基準よりも低い場合は前記運転者の覚醒度合いが高いと判断する覚醒状態判断装置。
4. 運転者の撮像画像に基づいて、運転者の頭部の挙動を検出する頭部挙動検出手段と、
   取得した道路情報、車両情報及び／又は車間距離情報とから判断した車両の運転が単調となる単調区間において検出された前記運転者の頭部の挙動に基づいて、運転者の覚醒度合いの判断基準を設定する判断基準設定手段と、
   前記設定された判断基準に従い、前記検出された運転者の頭部の挙動に基づいて、前記運転者の覚醒状態を判断する判断手段と、
   運転者の撮像画像に基づいて、運転者の顔に含まれる目領域の挙動を検出する目部挙動検出手段とを有し、
   前記頭部挙動検出手段は、前記撮像画像に基づいて、前記運転者の頭部領域に含まれる基準位置を特定する頭部基準位置特定部と、前記特定された基準位置に対する前記運転者の頭部の挙動量を算出する頭部挙動量算出部と、有し、
   前記目部挙動検出手段は、前記撮像画像に基づいて、前記運転者の顔のうち目の開閉動作に関わる目領域を特定する目領域特定部と、前記特定された目領域の撮像画像に基づいて、前記運転者の閉眼状態を判定する閉眼判定部と、前記閉眼判定部の判定結果に基づいて、前記運転者の閉眼率を算出する閉眼率算出部と、を有し、
   前記判断基準設定手段は、取得した道路情報及び／又は車両情報とから求めた車両の運転が単調となる単調区間における前記運転者の閉眼率に基づいて、運転者の覚醒度合いに関する第１判断基準を設定するとともに、取得した道路情報、車両情報及び／又は車間距離情報から求めた車両の運転が単調となる単調区間における前記運転者の頭部の挙動量に基づいて、運転者の覚醒度合いに関する第２判断基準を設定し、
   前記判断手段は、前記運転者の閉眼率及び前記運転者の頭部の挙動量と、前記設定された第１判断基準及び第２判断基準とを用いて前記運転者の覚醒状態を判断する際に、前記運転者の撮像画像に基づいて検出された運転者の閉眼率が前記第１判断基準以下であり、かつ前記運転者の撮像画像に基づいて検出された運転者の頭部の挙動量が前記第２判断基準よりも高い場合は、前記運転者の覚醒度は正常であるものの、当該運転者は葛藤状態にあり、当該運転者の覚醒度が低下する過程にあると判断する覚醒状態判断装置。
5. 請求項４に記載の覚醒状態判断装置において、
   前記判断手段は、前記運転者の撮像画像に基づいて検出された運転者の閉眼率が前記第１判断基準よりも高い場合は、前記運転者の覚醒度は異常と判断する覚醒状態判断装置。
6. 請求項５に記載の覚醒状態判断装置において、
   前記判断手段は、前記運転者の撮像画像に基づいて検出された運転者の閉眼率が前記第１判断基準よりも高く、かつ前記運転者の撮像画像に基づいて検出された運転者の頭部の挙動量が前記第２判断基準以下である場合は、前記運転者が眠いと感じる弱い第１異常状態であると判断する覚醒状態判断装置。
7. 請求項５に記載の覚醒状態判断装置において、
   前記判断手段は、前記運転者の撮像画像に基づいて検出された運転者の閉眼率が前記第１判断基準よりも高く、かつ前記運転者の撮像画像に基づいて検出された運転者の頭部の挙動量が前記第２判断基準以下である状態から前記第２判断基準よりも高い状態に遷移する場合は、前記運転者が浅い眠りに入る第２異常状態であると判断する覚醒状態判断装置。
8. 請求項５に記載の覚醒状態判断装置において、
   前記判断手段は、前記運転者の撮像画像に基づいて検出された運転者の閉眼率が前記第１判断基準よりも高く、かつ前記運転者の撮像画像に基づいて検出された運転者の頭部の挙動量が前記第２判断基準よりも高い状態から前記第２判断基準以下の状態に遷移する場合は、前記運転者が深い眠りに入る第３異常状態であると判断する覚醒状態判断装置。
9. 請求項4〜８の何れか一項に記載の覚醒状態判断装置において、
   前記判断手段は、前記運転者の撮像画像に基づいて検出された運転者の閉眼率が前記第１判断基準以下であり、かつ前記運転者の撮像画像に基づいて検出された運転者の頭部の挙動量が前記第２判断基準以下である場合は、前記運転者の覚醒度は正常と判断する覚醒状態判断装置。
10. 請求項４〜９の何れか一項に記載の覚醒状態判断装置において、
    前記判断基準設定手段は、前記道路情報に含まれる道路形状又は前記車両情報に含まれる操舵角に基づいて、前記車両が走行する走行区間が直進区間であるかカーブ区間であるかを判断する機能を有する覚醒状態判断装置。
11. 請求項４〜１０の何れか一項に記載の覚醒状態判断装置において、
    前記道路情報は道路形状、道路種別又は道路属性の何れか１つ以上を含み、前記車両情報は操舵角情報、車速情報、アクセル開度情報、又はブレーキ情報の何れか１つ以上を含み、車間距離情報は自車両周囲における他車両の存在の有無情報、又は自車両と他車両との距離情報の何れか１つ以上を含む覚醒状態判断装置。

Images