Nothing Special   »   [go: up one dir, main page]

JP4811255B2 - 状態推定装置 - Google Patents

状態推定装置 Download PDF

Info

Publication number
JP4811255B2
JP4811255B2 JP2006327383A JP2006327383A JP4811255B2 JP 4811255 B2 JP4811255 B2 JP 4811255B2 JP 2006327383 A JP2006327383 A JP 2006327383A JP 2006327383 A JP2006327383 A JP 2006327383A JP 4811255 B2 JP4811255 B2 JP 4811255B2
Authority
JP
Japan
Prior art keywords
logic
state
time
feature
dozing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006327383A
Other languages
English (en)
Other versions
JP2008140266A (ja
Inventor
善幸 畠山
グナラトネ プジタ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2006327383A priority Critical patent/JP4811255B2/ja
Publication of JP2008140266A publication Critical patent/JP2008140266A/ja
Application granted granted Critical
Publication of JP4811255B2 publication Critical patent/JP4811255B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Image Processing (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、被験者の状態を推定する状態推定装置に関する。
車両の運転者に安全な走行を行わせるために、運転者の眠気(居眠り状態)を判定する装置が開発されている。眠気判定装置としては、例えば、心拍、脳波、瞬きなどから眠気に応じて変化する特徴量を抽出し、その特徴量を閾値と比較することによって眠気を判定するものがある。特許文献1に示す装置では、3つの特徴量である眼の開度、瞬き頻度、瞬きの間の閉じ時間の長時間時系列平均値に運転継続時間又は走行距離に対応した係数を乗算した値を閾値とし、この各閾値と3つの特徴量に基づいて居眠り状態か否かを判定する。
特開平6−266981号公報 特開2002−279410号公報 特開2003−22500号公報 特開平8−332871号公報 特開平10−119606号公報
上記のような眠気判定では、判定対象の全ての人に対して高い精度で判定できることが望まれている。しかし、実際には、人によって判定精度にバラツキがある。これは、眠気に対して特徴量は変化するが、人によって眠気に対して大きく変化する特徴量と小さくしか変化しない特徴量があり、眠気に対する特徴量の変化に個人差があると考えられる。そのため、全ての人に対して同じ特徴量で判定を行った場合、異なる人がその特徴量に対して同程度変化したときでも、一方の人は眠気が強いが、他方の人は眠気が弱い場合がある。特許文献1に記載の装置は、3つの特徴量を基づいて判定を行っているが、判定対象の全ての人に対して3つの特徴量を用いて同じ判定方法で判定を行うので、特徴量の変化に対する個人差に対応できない。
そこで、本発明は、個人差に関係なく状態推定精度を向上させることができる状態推定装置を提供することを課題とする。
本発明に係る状態推定装置は、被験者の居眠り状態を推定する状態推定装置であって、被験者の居眠り状態に相関のある口と目の動き及び顔の特定表情をそれぞれ検出する複数の検出手段と、口と目の動きの発生回数に基づいて口と目の動き及び顔の特定表情の中から被験者の居眠り状態推定に用いる特徴を選択する選択手段と、被験者の居眠り状態を推定する推定手段とを備え、選択手段は、口と目についての各特徴量と高覚醒時の各特徴量とをそれぞれ比較し、高覚醒時の特徴量から変化している特徴量の数に基づいて口と目の動きの発生回数を検出し、推定手段は、選択手段で選択した特徴に基づいて被験者の居眠り状態を推定することを特徴とする。
この状態推定装置では、被験者の状態推定に用いる特徴が複数用意されており、複数の検出手段によって各特徴を検出することができる。この各特徴は、被験者の状態に対して相関を持っており、被験者の状態に応じて変化する。任意の状態に対する各特徴の変化は被験者個々で異なっているので、被験者個々の状態を高精度に推定するためには被験者毎に変化の出易い特徴で推定する必要がある。そこで、状態推定装置では、被験者毎に、選択手段により複数の特徴の中の少なくとも1つの出現頻度に基づいて複数の特徴の中から被験者の状態推定に用いる特徴を選択する。そして、状態推定装置では、被験者毎に、その選択した特徴に基づいて、推定手段により被験者の状態を推定する。このように、状態推定装置では、被験者毎に状態に対して変化の出易い(相関の強い)特徴を用いて状態推定を行うことにより、個人差に関係なく状態を高精度に推定することができる。
状態に相関のある特徴としては、例えば、眠気(覚醒度)に相関のある特徴の場合、顔のパーツ(口、目など)の動き、顔の特定表情(あくび、ため息、眼の見開き、口の動き、目を強く閉じるなど)、心拍から抽出した特徴、脳波から抽出した特徴、呼吸から抽出した特徴、瞬きから抽出した特徴、体の動き(背伸び、体ひねりなど)から抽出した特徴である。特徴の出現頻度としては、例えば、眠気に相関のある特徴の場合、顔のパーツの動きの発生回数、顔の特定表情の発生回数である。
本発明は、被験者に応じて状態推定に用いる特徴を選択することにより、被験者の個人差に関係なく状態推定精度が向上する。
以下、図面を参照して、本発明に係る状態推定装置の実施の形態を説明する。
本実施の形態では、本発明を、車両に搭載され、運転者の居眠りを検出する居眠り検出装置に適用する。本発明に係る居眠り検出装置は、運転者の顔を撮像し、その撮像画像から抽出した特徴に基づいて居眠りを検出し、居眠り状態を検出した場合には運転者が居眠り状態であることを告知する。
図1〜図4を参照して、本実施の形態に係る居眠り検出装置1について説明する。図1は、本実施の形態に係る居眠り検出装置の構成図である。図2は、本実施の形態に係る口に関する特徴量の説明図である。図3は、本実施の形態に係る目に関する特徴量の説明図である。図4は、図1のECUでカウントした単位時間内の顔パーツ動き発生回数の時間変化の一例である。
居眠り検出装置1では、居眠り状態を判定するために、ロジックA(特徴A)とロジックB(特徴B)の異なる特徴を基づく2つの判定方法を有している。そして、居眠り検出装置1では、運転者毎に、特徴Aと特徴Bのうちで眠気に対してどちらの特徴が出易いかを評価し、特徴の出易いロジックを選択して判定を行う。そのために、居眠り検出装置1は、カメラ2、出力手段3、ECU[ElectronicControl Unit]4を備え、ECU4に高覚醒時特徴量抽出部10、高覚醒時特徴量格納バッファ11、特徴量抽出部12、顔パーツ動き発生回数カウント部13、ロジック選択部14、ロジックA居眠り検出部15、ロジックB居眠り検出部16、居眠り検出有無判断部17、居眠り出力部18が構成される。
なお、本実施の形態では、ロジック選択部14が特許請求の範囲に記載する選択手段に相当し、ロジックA居眠り検出部15及びロジックB居眠り検出部16が特許請求の範囲に記載する複数の検出手段及び推定手段に相当する。
居眠り検出装置1で用いるロジックAとロジックBについて説明しておく。ロジックA、ロジックB共に、運転者の顔の撮像画像に基づいて、眠気レベルを推定する(特に、居眠り状態か否かを判定する)。ロジックAとロジックBのどちらで判定するかは、ロジックAで用いる特徴の出現頻度に基づいてロジックAとロジックBの中から運転者に適したロジックを選択する。
ロジックAは、顔のパーツ(本実施の形態では、口と目)の動きに基づいて眠気レベルを検出する。具体的には、ロジックAでは、顔の撮像画像に対してエッジ処理を行い、連結されたエッジと口や目のテンプレートとのマッチングを行い、口と目を検出する。そして、ロジックAでは、口や目の各特徴量を抽出する。また、ロジックAでは、口や目の動きがあったか否かを判定する基準となる高覚醒時の口や目の各特徴量を同様の方法によって予め抽出しておく。運転者は、通常、運転開始直後は覚醒度が高いので、運転開始直後に高覚醒時の特徴量を抽出する。さらに、ロジックAでは、各特徴量について、一定時間毎に抽出される特徴量と高覚醒時の特徴量とを比較し、顔パーツに動きが発生したか否かを判定する。そして、ロジックAでは、単位時間(例えば、数十秒〜数分単位)内での顔パーツの動きの発生回数をカウントし、単位時間内の顔パーツの動きの発生回数(顔パーツ動き発生密度)が発生回数閾値th以上か否かで居眠り状態か否かを判定する。発生回数閾値thは、比較的弱い眠気を催したことを判定できる単位時間内の顔パーツの動きの発生回数が設定され、実験によって特徴量の数や単位時間の長さなどを考慮して予め設定される。
口の特徴量としては、眠気が発生すると高覚醒時の口の形状や大きさなどから変化する可能性のあるものであり、図2に示すように、口全体の横長さM1、上下唇重心位置の横変位M2、上下唇重心位置の縦変位M3、上下唇境界の座標列M4、口周囲の皮膚の状態M5、口全体の縦長さM6である。口全体の横長さM1は、高覚醒時の通常の長さに比べると、眠気が発生するとあくびのかみ殺しなどにより変化する場合がある。上下唇重心位置の横変位M2や上下唇重心位置の縦変位M3は、高覚醒時の通常の変位に比べると、眠気が発生するとしかめ顔などにより変化する場合がある。上下唇境界の座標列M4は、高覚醒時の通常の境界に比べると、眠気が発生するとしかめ顔などにより変形する場合がある。口周囲の皮膚の状態M5は、眠気が発生すると頬のつり上がりなどにより唇の周囲の皮膚が変形する場合がある。口全体の縦長さM6は、高覚醒時の通常の長さに比べると、眠気が発生するとあくびなどにより変化する場合がある。
目の特徴量はとしては、眠気が強くなると高覚醒時の目の形状や大きさなどから変化する可能性のあるものであり、図3に示すように、目領域全体の傾きE1、瞼境界の座標列E2、目周囲の皮膚の状態E3、目全体の縦長さE4である。目領域全体の傾きE1は、高覚醒時の通常の傾きに比べると、眠気が発生すると閉眼の我慢などにより変化する場合がある。瞼境界の座標列E2は、高覚醒時の通常の境界に比べると、眠気が発生すると閉眼の我慢などにより変化する場合がある。目周囲の皮膚の状態E3は、眠気が発生すると眠気我慢による眉間のしわなどにより皮膚が変形する場合がある。目全体の縦長さE4は、高覚醒時の通常の長さに比べると、眠気が発生すると目の見開きなどにより変化する場合がある。
高覚醒時の特徴量との比較方法について説明する。数値(長さ、変位、傾き)の特徴量については、高覚醒時の各特徴量については平均値と標準偏差値を算出し、その平均値と標準偏差値(高覚醒時の各特徴量の分布範囲)から各特徴量の動き発生範囲を設定し、一定時間毎に抽出される各特徴量が動き発生範囲に入るか否かで動きの有無を判定する。また、複数の特徴量の分布範囲を組み合わせて、多次元の動き発生範囲を設定してもよい。また、複数の特徴量を組み合わせ、多次元の新たな特徴量を主成分分析で算出し、その特徴量の平均値と標準偏差値から動き発生範囲を設定してもよい。座標列の特徴量については、一定時間毎に抽出される特徴量の座標列と高覚醒時の特徴量の座標列との相互相関係数を算出し、その相互相関係数が閾値より低いか否かで動きの有無を判定する。皮膚の状態の特徴量については、一定時間毎に抽出される特徴量が高覚醒時の皮膚の状態に見られない状態に変形したか否かで動きの有無を判定する。
ロジックBは、顔の特定表情に基づいて眠気レベルを検出する。特定表情としては、比較的弱い眠気を催した場合でも表れる表情であり、例えば、あくび、ため息、目の見開き、しかめ顔である。具体的には、不特定多数の被験者に対する実験によって、特定表情についての口や目などのテンプレートが予め構築され、このテンプレートのデータを保持しておく。ロジックBでは、ロジックAと同様の方法により、顔の撮像画像から口や目を検出する。そして、ロジックBでは、一定時間毎に検出される口や目と特定表情の各テンプレートとのマッチングを行い、特定表情が発生したか否かを判定する。さらに、ロジックBでは、複数の特定表情が連続して判定時間jt内に発生したか否かで居眠り状態か否かを判定する。この際、複数の特定表情の発生する順番も考慮してもよい。判定時間jtは、実験によって予め設定される。あるいは、ロジックBでは、あくびなどの居眠りするときにする可能性の非常高い特定表情が発生したか否かで居眠り状態か否かを判定する。
図5、図6には、ある被験者に対してロジックA、ロジックBによってそれぞれ検出した眠気レベルの検出値(破線)とそのときの眠気レベルの真値(実線)との時間変化の一例を示している。眠気レベルは、1〜6までの6段階で表され、1が最も強く(眠っている状態)、6が最も弱い(覚醒状態)。図5と図6を比較すると、ロジックAによる眠気レベルの検出値の方が、ロジックBによる眠気レベルの検出値より、眠気レベルの真値に一致している。つまり、この被験者の場合、ロジックAを用いた方が検出精度が高く、特徴として顔パーツの動きの方が眠気に対して変化が出易い。このように、被験者個々で眠気に対して変化の出易い特徴がある。
眠気レベルの真値の評価方法について説明しておく。この評価方法は、官能評価であり、被験者の顔の撮像画像を時系列で取得しておき、この時系列の撮像画像における顔を顔面表情評定表に基づいて評価し(人間感覚計測マニュアル第一編(出版:人間生活工学研究センター)参照)、その評価結果に基づいて被験者の眠気レベルの真値を設定するものである。顔面表情評定表では、1が全く眠くなさそう(視線の移動が速く頻繁である、瞬きは2秒に2回位の安定した周期、動きが活発で身体の動きを伴う)、2がやや眠そう(唇が開いている、視線移動の動きが遅い)、3が眠そう(瞬きはゆっくりと頻発、口の動きがある、座り直し有り、顔に手をやる)、4がかなり眠そう(意識的と思われる瞬きがある、頭を振る・肩の上下動などの無用な身体全体の動きがある、あくびは頻発し深呼吸も見られる、瞬きも視線の動きも遅い)、5が非常に眠そう(瞼を閉じる、頭が前に傾く、頭が後に倒れる)である。眠気レベル(真値)の設定では、顔面表情評定表における1の場合には6に置き換え、顔面表情評定表における2の場合には5に置き換え、顔面表情評定表における3の場合には4に置き換え、顔面表情評定表における4の場合には3に置き換え、顔面表情評定表における5の場合には2に置き換え、眠っている状態を1とする。
なお、ロジックAでは、特徴量として口に対して6個の特徴量、目に対して4個の特徴量を用いたが、口や目についてはこれら以外の特徴量を設定してもよいし、この10個の特徴量の中の幾つかの特徴量だけを用いてもよいし、また、口と目以外にも、眠気に応じて変化するパーツであれば、眉毛、鼻などの顔の他のパーツの特徴量を用いてもよい。また、眠気レベル(居眠り状態)を検出するロジックとしては他の特徴を用いたロジックでもよく、例えば、体の動き(背伸び、体ひねり、頭の動き、肩の上下動など)を用いたロジック、心拍や発汗などの生理指標を用いたロジックである。
カメラ2は、運転者の顔周辺の画像を取得するためのカメラであり、インストルメントパネルに運転者の顔周辺の方向に向けて取り付けられる。カメラ2では、一定時間毎に、運転者の顔周辺を撮像し、その撮像画像データを画像信号としてECU4に送信する。
出力手段3は、出力対象に対して運転者が居眠り状態であることや運転者に対して休息を促すような告知をするための手段である。出力手段3では、ECU4から出力信号を受信すると、各手段に応じた出力を行う。出力手段3としては、例えば、音で告知する手段(ブザー、オーディオ、ラジオ、クラクション)、光で告知する手段(メータ照明、室内照明)、触覚や温冷覚で告知する手段(シートに埋設した振動装置、エアコンの風や温度変化)、においで告知する手段(芳香剤の噴射)、システムへのコマンド出力である。出力対象としては、例えば、運転者、運転席以外に座っている乗員、トラックやタクシなどの営業車の運行を管理する管理者、車両制御システムである。
ECU4は、CPU[Central Processing Unit]、ROM[Read Only Memory]、RAM[Random Access Memory]などからなり、居眠り検出装置1を統括制御する。ECU4では、起動すると、一定時間毎にカメラ2からの画像信号を取り入れ、画像信号の撮像画像データを各バッファに格納し、一定時間毎の時系列データとして保持する。また、ECU4では、ROMに格納される各プログラムをCPUで実行することによって各部10、12〜18を構成し、各部10、12〜18の処理を行う。
高覚醒時特徴量抽出部10では、運転開始直後(運転開始時から所定時間以内)の一定時間毎に、上記した抽出方法により顔の撮像画像に基づいてロジックAで用いる口に関する6個の特徴量(口全体の横長さM1、上下唇重心位置の横変位M2、上下唇重心位置の縦変位M3、上下唇境界の座標列M4、口周囲の皮膚の状態M5、口全体の縦長さM6)及び目に関する4個の特徴量(目領域全体の傾きE1、瞼境界の座標列E2、目周囲の皮膚の状態E3、目全体の縦長さE4)を抽出する。所定時間は、運転開始直後の運転者が高い覚醒状態を維持している可能性の高い時間帯であり、実験によって予め設定される。そして、高覚醒時特徴量抽出部10では、一定時間毎に抽出した各データに基づいて、口全体の横長さM1、上下唇重心位置の横変位M2、上下唇重心位置の縦変位M3、口全体の縦長さM6、目領域全体の傾きE1、目全体の縦長さE4については平均値と標準偏差値を算出し、上下唇境界の座標列M4、瞼境界の座標列E2については平均的な座標列を算出し、口周囲の皮膚の状態M5、目周囲の皮膚の状態E3については平均的な状態を算出する。さらに、高覚醒時特徴量抽出部10では、これら10個の特徴量を高覚醒時特徴量格納バッファ11に記憶させる。
高覚醒時特徴量格納バッファ11は、RAMの所定の領域に構成され、高覚醒時の特徴量を格納するためのバッファである。
特徴量抽出部12では、高覚醒時特徴量抽出後、一定時間毎に、上記した抽出方法により顔の撮像画像に基づいてロジックAで用いる口に関する6個の特徴量及び目に関する4個の特徴量を抽出する。
顔パーツ動き発生回数カウント部13では、高覚醒時特徴量抽出後、一定時間毎に、上記した比較方法により特徴量抽出部12で抽出した口に関する6個の特徴量及び目に関する4個の特徴量と高覚醒時特徴量格納バッファ11に格納されている高覚醒時の各特徴量とをそれぞれ比較し、各特徴量について動きがあったか否かを判定する。そして、顔パーツ動き発生回数カウント部13では、動きがあった場合には検出時刻にフラグを立てる。ここでは、10個の特徴量のうちの複数の特徴量に動きがあった場合には複数のフラグを立てる。さらに、顔パーツ動き発生回数カウント部13では、単位時間毎に、単位時間内に立っているフラグの数をカウントし、そのカウント数(すなわち、顔パーツの動き発生回数)を保持する。
特徴量抽出部12及び顔パーツ動き発生回数カウント部13では、以上の処理を、高覚醒時特徴量抽出後からロジック選択必要時間t0まで行い、ロジック選択必要時間t0までの単位時間毎の顔パーツ動き発生回数(顔パーツ動き密度)を得る。ロジック選択必要時間t0は、運転開始から運転者が眠気を催すと予測される時間であり、実験によって予め設定される。
図4には、運転開始からの経過時間における単位時間毎の顔パーツ動き発生回数を示す一例である。図4から判るように、運転開始してから暫くの間、顔パーツ動き発生回数は0であり、運転者は眠気を催していない。しかし、時間の経過とともに、顔パーツ動き発生回数が増え、運転者が眠気を催していると推測できる。また、この運転者は眠気が強くなるとロジックAの特徴量が変化し易いと推測できる。
ロジック選択部14では、ロジック選択必要時間t0経過直後、ロジック選択必要時間t0までの間に保持されている単位時間毎の顔パーツ動き発生回数が発生回数閾値th以上になったか否かを判定する。単位時間毎の顔パーツ動き発生回数が発生回数閾値th以上と判定した場合、運転者は眠気に対してロジックAの特徴量が変化し易いので、ロジック選択部14では、ロジックA居眠り検出部15を実行させる。一方、保持されている単位時間毎の顔パーツ動き発生回数全てが発生回数閾値th未満と判定した場合、運転者は眠気に対してロジックAの特徴量が変化し難いので(ひいては、運転者は眠気に対してロジックBの特徴量が変化し易いので)、ロジック選択部14では、ロジックB居眠り検出部16を実行させる。なお、このロジック選択部14で用いる発生回数閾値は、ロジックAで用いる閾値と同じ値としたが、異なる値としてもよい。また、ロジック選択必要時間t0経過直後に判定するではなく、単位時間毎の顔パーツ動き発生回数が求められる毎に判定するようにしてもよい。また、単位時間毎の顔パーツ動き発生回数が発生回数閾値th以上と1回でも判定された場合にロジックAを選択するのでなく、単位時間毎の顔パーツ動き発生回数が発生回数閾値th以上と所定回以上判定された場合にロジックAを選択するようにしてもよい。
図4に示す例の場合、ロジック選択必要時間t0までの間に、単位時間内の顔パーツ動き発生回数が発生回数閾値thになっている。したがって、この運転者については、眠気が強くなってくると口や目に動きが発生するので、口や目の動きの有無だけで眠気を推定できる。一方、ロジック選択必要時間t0までの間に、単位時間内の顔パーツ動き発生回数が発生回数閾値th未満となる運転者については、口や目の動きの有無だけで眠気を推定できないので、眠気を催したときに表れる可能性が高い特定表情(顔の動きの種類)を同定することによって眠気を推定できる。
ロジックA居眠り検出部15では、ロジック選択部14によって実行されると、一定時間毎に、上記した抽出方法により顔の撮像画像に基づいてロジックAで用いる口に関する6個の特徴量及び目に関する4個の特徴量を抽出する。そして、ロジックA居眠り検出部15では、一定時間毎に、上記した比較方法により抽出した口に関する6個の特徴量及び目に関する4個の特徴量と高覚醒時の各特徴量とをそれぞれ比較し、各特徴量について動きがあったか否かを判定し、動きがあったと判定した場合には検出時刻にフラグを立てる。さらに、ロジックA居眠り検出部15では、単位時間毎に、単位時間内に立っているフラグの数をカウントし、そのカウント数(顔パーツ動き発生回数)が発生回数閾値th以上か否かを判定する。発生回数閾値th以上と判定した場合、ロジックA居眠り検出部15では、運転者は居眠り状態と判定する。一方、発生回数閾値th未満と判定した場合、ロジックA居眠り検出部15では、運転者は居眠り状態でないと判定する。なお、発生回数閾値th以上になっただけでなく、発生回数閾値th以上になっている時間が時間閾値を超えている場合に運転者が居眠り状態と判定してもよい。この時間閾値を超えている時間は、連続的に超えている時間でもよいし、あるいは、所定時間内に離散的に超えている時間の積算時間でもよい。
ロジックB居眠り検出部16では、ロジック選択部14によって実行されると、一定時間毎に、上記した方法により顔の撮像画像に基づいて口や目を検出する。そして、ロジックB居眠り検出部16では、一定時間毎に、検出した口や目と特定表情の各テンプレート毎とのマッチングを行い、特定表情が発生したか否かを判定し、発生した場合には検出時刻とともにその特定表情の種類を保持する。さらに、ロジックB居眠り検出部16では、特定表情を検出する毎に、複数の特定表情が連続して判定時間jt内に発生したか否かを判定する。複数の特定表情が連続して判定時間jt内に発生したと判定した場合、ロジックB居眠り検出部16では、運転者は居眠り状態と判定する。一方、複数の特定表情が連続して判定時間jt内に発生していないと判定した場合、ロジックB居眠り検出部16では、運転者は居眠り状態でないと判定する。あるいは、ロジックB居眠り検出部16では、あくびなどのある特定表情が発生したか否かを判定する。ある特定表情が発生したと判定した場合、ロジックB居眠り検出部16では、運転者は居眠り状態と判定する。一方、ある特定表情が発生していないと判定した場合、ロジックB居眠り検出部16では、運転者は居眠り状態でないと判定する。
居眠り検出有無判断部17では、ロジックA居眠り検出部15又はロジックB居眠り検出部16で居眠り状態を検出したか否かを判断する。居眠り状態を検出していない場合、居眠り検出有無判断部17では、居眠り出力部18での処理を実行させない。一方、居眠り状態を検出した場合、居眠り検出有無判断部17では、居眠り出力部18での処理を実行させる。
居眠り出力部18では、居眠り検出有無判断部17によって実行されると、居眠り状態であることを告知するために、出力信号を出力手段3に送信する。
図1を参照して、居眠り検出装置1の動作について説明する。特に、ECU4における処理については図7にフローチャートに沿って説明する。図7は、図1のECUにおける処理の流れを示すフローチャートである。
運転者がエンジンを始動すると、居眠り検出装置1が起動する。起動後、カメラ2では、一定時間毎に、運転者の顔を撮像し、その撮像画像データを画像信号としてECU4に送信する。ECU4では、画像信号を受信し、顔の撮像画像データを所定のバッファに格納する。これによって、顔の撮像画像の時系列データが生成されてゆく。
ECU4では、運転開始直後か否かを判定する(S1)。S1にて運転開始直後と判定した場合、ECU4では、一定時間毎に顔の撮像画像から高覚醒時の口と目の各特徴量を抽出し、口と目の各特徴量を高覚醒時特徴量格納バッファ11に格納する(S2)。
S1にて運転開始直後でないと判定した場合、ECU4では、一定時間毎に、顔の撮像画像から口と目の各特徴量を抽出する(S3)。ECU4では、一定時間毎に、抽出した口と目の各特徴量と高覚醒時の各特徴量とをそれぞれ比較し、口と目の各特徴量について動きがあったか否かを判定する(S4)。そして、ECU4では、単位時間毎に、単位時間内の口と目の動きのあった回数をカウントとし、その単位時間内の顔パーツ動き発生回数を保持する(S4)。ECU4では、ロジック選択必要時間t0が経過したか否かを判定する(S5)。ロジック選択必要時間t0が経過していないと判定した場合、ECU4では、S3とS4の処理を繰り返し実行する。
ロジック選択必要時間t0が経過したと判定した場合、ECU4では、保持している単位時間内の顔パーツ動き発生回数が発生回数閾値th以上か否かを判定する(S6)。
単位時間内の顔パーツ動き発生回数が発生回数閾値th以上と判定した場合、ECU4では、一定時間毎に、ロジックAによる顔パーツの動きに基づく居眠り状態の検出を行う(S7)。一方、単位時間内の顔パーツ動き発生回数全てが発生回数閾値th未満と判定した場合、ECU4では、一定時間毎に、ロジックBによる顔の特定表情に基づく居眠り状態の検出を行う(S8)。
ECU4では、一定時間毎に、S7でのロジックAによる居眠り状態検出処理又はS8でのロジックBによる居眠り状態検出処理での居眠り状態検出の有無を判定する(S9)。S9にて居眠り状態検出なしと判定した場合、ECU4では、今回の処理を終了し、一定時間経過後に次回のS7での処理又はS8での処理を行う。S9にて居眠り状態検出ありと判定した場合、ECU4では、出力信号を出力手段3に送信し(S10)、一定時間経過後に次回のS7での処理又はS8での処理を行う。出力信号を受信すると、出力手段3では、運転者が居眠り状態であること知らせるための出力を行う。この出力によって、運転者が居眠り状態であることに気づきあるいは運転者以外の者が運転者が居眠り状態であることに知って運転者を喚起する。これによって、運転者の眠気が弱まってゆくか、あるいは、運転者が休息を取る。
この居眠り検出装置1によれば、顔パーツの動きに基づくロジックAと顔の特定表情に基づくロジックBを運転者に応じて選択することにより、運転者に適した特徴量に基づいて居眠り状態を検出でき、運転者の個人差に関係なく居眠り状態(眠気レベル)を高精度に推定することができる。
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
例えば、本実施の形態では車両の運転者の居眠り状態を検出する居眠り検出装置に適用したが、他の乗り物の運転者、各種プラントの監視者、夜間の従業者などの様々な人の眠気を判定するために利用してもよい。また、居眠り状態以外に、心理状態(焦り、イライラ、退屈)、疲労状態、集中力、注意力、ストレスなどの他の状態を推定する装置に適用してもよい。
また、本実施の形態では居眠り検出するための装置に適用したが、CD−ROMなどの記憶媒体に格納されたプログラムやインタネットなどのネットワークを介して利用可能なプログラムなどに適用し、このようなプログラムをコンピュータ上で実行することによって居眠りを判定する構成としてもよい。
また、本実施の形態ではロジックAで用いる顔の口と目の動きの発生回数に基づいてロジックを選択する構成としたが、ロジックBで用いる顔の特定表情の発生頻度に基づいてロジックを選択する構成としてもよいし、あるいは、ロジックAで用いる顔の口と目の動きの発生回数とロジックBで用いる顔の特定表情の発生頻度の両方に基づいてロジックを選択する構成としてもよい。
また、本実施の形態では2つのロジック(特徴)から被験者に適したものを選択する構成としたが、3つ以上のロジック(特徴)から被験者に適したものを選択する構成としてもよい。
本実施の形態に係る居眠り検出装置の構成図である。 本実施の形態に係る口に関する特徴量の説明図である。 本実施の形態に係る目に関する特徴量の説明図である。 図1のECUでカウントした単位時間内の顔パーツ動き発生回数の時間変化の一例である。 被験者に対するロジックAによる眠気レベルの検出値と眠気レベルの真値との時間変化の一例である。 被験者に対するロジックBによる眠気レベルの検出値と眠気レベルの真値との時間変化の一例である。 図1のECUにおける処理の流れを示すフローチャートである。
符号の説明
1…居眠り検出装置、2…カメラ、3…出力手段、4…ECU、10…高覚醒時特徴量抽出部、11…高覚醒時特徴量格納バッファ、12…特徴量抽出部、13…顔パーツ動き発生回数カウント部、14…ロジック選択部、15…ロジックA居眠り検出部、16…ロジックB居眠り検出部、17…居眠り検出有無判断部、18…居眠り出力部

Claims (1)

  1. 被験者の居眠り状態を推定する状態推定装置であって、
    被験者の居眠り状態に相関のある口と目の動き及び顔の特定表情をそれぞれ検出する複数の検出手段と、
    口と目の動きの発生回数に基づいて口と目の動き及び顔の特定表情の中から被験者の居眠り状態推定に用いる特徴を選択する選択手段と、
    被験者の居眠り状態を推定する推定手段と
    を備え、
    前記選択手段は、口と目についての各特徴量と高覚醒時の各特徴量とをそれぞれ比較し、高覚醒時の特徴量から変化している特徴量の数に基づいて口と目の動きの発生回数を検出し、
    前記推定手段は、前記選択手段で選択した特徴に基づいて被験者の居眠り状態を推定することを特徴とする状態推定装置。
JP2006327383A 2006-12-04 2006-12-04 状態推定装置 Expired - Fee Related JP4811255B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006327383A JP4811255B2 (ja) 2006-12-04 2006-12-04 状態推定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006327383A JP4811255B2 (ja) 2006-12-04 2006-12-04 状態推定装置

Publications (2)

Publication Number Publication Date
JP2008140266A JP2008140266A (ja) 2008-06-19
JP4811255B2 true JP4811255B2 (ja) 2011-11-09

Family

ID=39601630

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006327383A Expired - Fee Related JP4811255B2 (ja) 2006-12-04 2006-12-04 状態推定装置

Country Status (1)

Country Link
JP (1) JP4811255B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5163440B2 (ja) * 2008-11-19 2013-03-13 株式会社デンソー 眠気判定装置、プログラム
JP5343631B2 (ja) * 2009-03-04 2013-11-13 日産自動車株式会社 運転支援装置
CN101655907B (zh) * 2009-08-28 2013-03-20 大连鑫奇辉科技有限公司 机车司机行车状态监控智能报警系统
JP5917932B2 (ja) * 2012-02-10 2016-05-18 アイシン精機株式会社 状態推定装置、状態推定方法及びプログラム
JP6281238B2 (ja) * 2013-10-22 2018-02-21 三菱自動車工業株式会社 認知度推定装置および認知度推定方法
JP2016071577A (ja) * 2014-09-30 2016-05-09 マツダ株式会社 運転者状態検出方法および検出装置
JP6841713B2 (ja) * 2017-04-24 2021-03-10 アルパイン株式会社 眠気判定装置
JP6836985B2 (ja) * 2017-11-28 2021-03-03 Kddi株式会社 撮影映像から人の行動を表すコンテキストを推定するプログラム、装置及び方法
CN111079475A (zh) * 2018-10-19 2020-04-28 上海商汤智能科技有限公司 驾驶状态检测方法和装置、驾驶员监控系统、车辆
JP7328089B2 (ja) 2019-09-05 2023-08-16 トヨタ自動車株式会社 閉眼判定装置
JP7552159B2 (ja) * 2020-09-02 2024-09-18 富士通株式会社 眠気判定プログラム、眠気判定装置、及び、眠気判定方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001307076A (ja) * 2000-04-24 2001-11-02 Niles Parts Co Ltd 眼の状態検出装置、居眠り検出装置
JP2002183900A (ja) * 2000-12-14 2002-06-28 Nissan Motor Co Ltd 居眠り運転警報装置
JP2004192552A (ja) * 2002-12-13 2004-07-08 Nissan Motor Co Ltd 開閉眼判定装置
JP4325271B2 (ja) * 2003-05-12 2009-09-02 日産自動車株式会社 状態検出装置及び状態検出システム

Also Published As

Publication number Publication date
JP2008140266A (ja) 2008-06-19

Similar Documents

Publication Publication Date Title
JP4811255B2 (ja) 状態推定装置
JP5326521B2 (ja) 覚醒状態判断装置及び覚醒状態判断方法
JP5679066B2 (ja) 居眠り検出方法と装置
JP4697185B2 (ja) 覚醒度判定装置及び覚醒度判定方法
JP4727688B2 (ja) 覚醒度推定装置
JP5045492B2 (ja) 覚醒度推定装置
JP5177102B2 (ja) 運転支援装置
De Rosario et al. Controlled inducement and measurement of drowsiness in a driving simulator
JP4677940B2 (ja) 眠気検出装置
JP4910547B2 (ja) 眠気判定装置及び眠気判定プログラム
JP2007229218A (ja) 覚醒度推定装置及びシステム並びに方法
CN104361716A (zh) 实时检测疲劳并提醒的方法
US10297131B2 (en) Providing safe mobility while detecting drowsiness
JP2002008159A (ja) ドライバ状態判定装置
Lemkaddem et al. Multi-modal driver drowsiness detection: A feasibility study
Liu et al. Driver fatigue detection through pupil detection and yawing analysis
JP2009022370A (ja) 人の状態推定装置
JP2009028239A (ja) 居眠り運転検出装置
JP6344254B2 (ja) 眠気検知装置
JP2007006970A (ja) 生理・心理状態判定装置、生理・心理状態判定方法、リファレンスデータ生成装置、及びリファレンスデータ生成方法。
Dehankar et al. Design of drowsiness and yawning detection system
JP2013252764A (ja) 居眠り警告装置
Byrnes et al. On Using Drivers' Eyes to Predict Accident-Causing Drowsiness Levels
JP2005312868A (ja) 瞬きを用いた覚醒度計測法
JP6604266B2 (ja) 眠気検知装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090820

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110531

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110726

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110808

R151 Written notification of patent or utility model registration

Ref document number: 4811255

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140902

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees