JP6841713B2 - 眠気判定装置 - Google Patents

Description

本発明は、運転者等の眠気を判定する眠気判定装置に関する。

運転者の前方に撮像カメラを設置し、運転者の瞼の開閉度を見て眠気を判定し、警告を出すシステムがある。例えば、特許文献１は、瞬きの開閉時間と眠気等に相関関係があることを前提に、瞬きの開閉時間に基づき眠気を定量的に測定する測定システムを開示している。特許文献２は、運転者の閉眼について、複数のしきい値を設けることで、運転者の眠気度の判断をより適確に行う眠気状態判断装置を開示している。特許文献３は、運転者の顔画像や脳波等から眠気の有無を推定する生体状態判定装置を開示している。

特開２００９−９５３８７号公報 特開第４４９２６５２号公報 特開第５４２３８７２号公報

従来の眠気判定装置の１つに、運転者の顔を撮像したデータを解析することで瞼の開閉度のスコアを算出し、そのスコアに基づき眠気を判定するものがある。図８（Ａ）は、瞼の開閉度のスコアが高い例、図８（Ｂ）は、瞼の開閉度のスコアが低い例である。スコア（４９，５２）の数値は、右目と左目の開閉度であり、スコアが高いほど、目が開いており、スコアが低いほど、目が閉じていることを表す。

眠気の判定は、運転者の瞼が閉じた時間の長さ、瞬きの回数、スコアを閾値と比較することで一律に行っていた。
（通常状態の判定）
任意秒数期間の瞼開閉度のスコアの平均値が一定値以上であった場合に、眠気がない状態、すなわち通常状態と判定する。例えば、１０秒間の瞼開閉度のスコアの平均値（右目、左目含む）が４０以上の場合、通常状態と推定する。
（寝ている状態の判定）
任意秒数期間の瞼開閉度のスコアの平均値が一定値以下であった場合に、睡眠状態と判定する。例えば、１０秒間の瞼開閉度のスコアの平均値（右目、左目含む）が１５以下の場合、寝ている状態と判定する。
（うつらうつら状態の判定）
うつらうつら状態とは、眠りに落ちそうな状態、すなわち通常状態から寝ている状態に遷移する状態である。任意秒数期間内において、瞼開閉度のスコアが一定値以下であり、かつ瞬きの時間が一定値以上である瞬きが任意回数以上である場合に、うつらうつら状態と判定する。例えば、１０秒間で瞼開閉度のスコアが３０以下の値が５００ｍｓ以上継続する瞬きが３回以上ある場合には、うつらうつら状態と判定する。

しかし、眠気を感じたときの瞼の開閉の仕方は、人によって個人差があるため、上記のような画一的な判定方法では、個人毎の眠気の判定を正確に行うことができない。図９は、眠気を感じたときの幾つかの瞼の開閉パターンの例示である。図９（Ａ）は、眠気を感じると、瞼の開閉度が低くなる、つまり、薄目になるという人のパターン１を示す。パターン１では、スコアが比較的小さくなる。図９（Ｂ）は、１回の瞼の開閉の時間が長くなる傾向がある人のパターン２を示す。図９（Ｃ）は、瞬きの回数だけが多くなる人のパターン３を示す。図９（Ｄ）は、瞬きの回数と１回の瞼開閉の時間が長くなる人のパターン４を示す。このように、実際には、眠気を感じたときの所作にはバラつきがある。従って、従来のように、眠気を判定するための閾値を一律に決めてしまうと、異なる人物では眠気判定において誤判定が生じるおそれがある。

本発明は、このような従来の課題を解決するものであり、対象者毎の眠気の判定を精度良く行うことができる眠気判定装置を提供することを目的とする。

本発明に係る眠気判定装置は、眠気を催すときの瞼の開閉に関するパターン情報を複数記憶する記憶手段と、対象者が眠気を感じていることを推測する推測手段と、前記推測手段により対象者が眠気を感じているときの対象者の瞼の開閉に関する瞼情報を取得する取得手段と、前記取得手段により取得された瞼情報に対応するパターン情報を前記複数のパターン情報の中から選択する選択手段と、選択されたパターン情報に基づき眠気判定のための閾値を設定する設定手段と、前記設定された閾値を用いて対象者の眠気を判定する眠気判定手段とを有する。

好ましくは前記推測手段は、対象者が一定時間以上の運転をしているとき、対象者が眠気を感じていると推測する。好ましくは前記推測手段は、対象者があくびをしたとき、対象者が眠気を感じていると推測する。好ましくは前記推測手段は、対象者がわき見をすることなく急ブレーキが発動されたとき、対象者が眠気を感じていると推測する。好ましくは前記推測手段は、対象者の心拍パターンと入眠時の心拍パターンとを比較し、両者に相関があるとき、対象者が眠気を感じていると推測する。好ましくは眠気判定装置はさらに、対象者を識別する識別手段と、識別された対象者に関連付けして閾値を記憶する記憶手段とを含み、前記設定手段は、前記識別手段により識別された対象者に対応する閾値を前記記憶手段から読出し、読み出した閾値を設定する。好ましくは眠気判定装置はさらに、前記眠気判定手段により眠気があると判定されたとき、警告を発する警告手段を含む。

本発明によれば、対象者が眠気を感じていることを推測し、そのときの対象者の瞼の開閉に関する瞼情報から、瞼の開閉に関するパターン情報を複数のパターン情報の中から選択するようにしたので、対象者に最適な眠気判定のための閾値を自動的に設定することができ、これにより、眠気を感じたときの瞼の開閉の仕方の個人差を考慮した精度の高い眠気判定を行うことができる。

本発明の第１の実施例に係る眠気判定装置の構成を示すブロック図である。 撮像カメラの取付け例を示す図である。 本発明の第１の実施例に係る眠気判定プログラムの機能的な構成を示す図である。 運転者と選択された基本パターンとの関係を規定するテーブルの一例である。 本発明の実施例に係る眠気判定動作のフローを示す図である。 本発明の第３の実施例の構成を示す図である。 本発明の第４の実施例の構成を示す図である 従来の眠気判定方法を説明する図である。 眠気を感じたときの瞼の開閉パターンを例示する図である。

次に、本発明の実施形態について図面を参照して詳細に説明する。本発明の眠気判定装置は、好ましくは自動車等の車両に搭載され、運転者の眠気を判定する。但し、これは一例であり、これ以外の人物の眠気を判定するものであってもよい。また、本発明の眠気判定装置は、それ単独で実施されるものであってもよいし、他の装置、例えば、運転支援機能などを搭載する車載装置と協働または連動することも可能である。

図１は、本発明の第１の実施例に係る眠気判定装置の構成を示すブロック図である。眠気判定装置１００は、運転者の顔を撮像する撮像カメラ１１０、撮像カメラ１１０からの画像データを処理する画像処理部１２０、眠気判定を行う制御部１３０、種々のデータ等を格納する記憶部１４０、および外部とのデータの送受を可能にする外部インターフェース（Ｉ／Ｆ）１５０を含んで構成される。

撮像カメラ１１０は、運転者の顔を撮像できる位置に設置される。撮像カメラ１１０は、例えば、図２に示すように、コラムカバー１１２上に取り付けられ、ステアリング１１４の合間を通して運転者１１６の顔を撮像する。撮像カメラ１１０は、通常のカメラであってもよいし、運転者１１６の顔を照射する赤外線ＬＥＤと、その反射光を受光する赤外線カメラとを含むものであってもよい。撮像カメラ１１０によって撮像されたデータは、画像処理部１２０へ提供される。

画像処理部１２０は、受け取った撮像データを画像解析し、運転者の顔画像の切り出し、切り出された顔画像に含まれる瞼に関する特徴点を抽出する。例えば、顔画像から左右の目の黒い部分または白部分の面積や形状を抽出したり、上瞼と下瞼の距離を抽出する。これらの瞼の開閉に関する瞼情報は、制御部１３０へ提供される。

制御部１３０は、画像処理部１２０から提供される瞼情報に基づき瞼開閉度のスコアを算出し、スコアに基づき運転者の眠気を判定する。瞼開閉度のスコアは、右目と左目それぞれの瞼の開き具合を定量的に表した値であり、瞼開閉度のスコアが大きいほど瞼を開いており、瞼開閉度のスコアが小さいほど瞼を閉じていることを意味する。好ましい態様では、制御部１３０は、ＲＯＭ／ＲＡＭなどを含むマイクロコントローラまたはマイクロプロセッサを含み、ＲＯＭ／ＲＡＭに格納されたプログラムを実行することで眠気判定を行う。

記憶部１４０には、図９にパターン１ないしパターン４にそれぞれ対応する、人が眠気を催すときの瞼の開閉に関する幾つかの基本パターン情報が格納される。基本パターン１は、一定期間内に、一定値以下のスコアが一定以上減少する瞼の開閉パターンである。例えば、左目、右目のスコアの平均値が４０以下であり、これが一定期間内に３０以下に減少するような瞼の開閉である。基本パターン２は、一定期間内に、１回の瞼開閉時間が長くなる瞼の開閉パターンである。例えば、瞼開閉時間が０．５秒であったものが１秒以上になるような瞼の開閉である。基本パターン３は、一定期間内に、瞬きの回数が一定値以上になる瞼の開閉パターンである。例えば、瞬きの回数５回であったものが７回になるような瞼の開閉である。基本パターン４は、基本パターン２と基本パターン３とを組み合わせた瞼の開閉パターンである。なお、パターン情報は、図９に示された４つの基本パターンに限られず、他の基本パターンを含むものであっても良い。

外部Ｉ／Ｆ１５０は、外部装置または外部情報源への接続を可能にし、外部との間でデータの送受を行う。さらに外部Ｉ／Ｆ１５０は、外部接続可能なメモリ、通信手段、ユーザー入力や音声出力装置等を含むこともできる。

図３は、本発明の第１の実施例に係る眠気判定プログラムの機能的な構成を示す図である。眠気判定プログラム２００は、眠気状態推測部２１０、瞼開閉パターン解析部２２０、基本パターン選択部２３０、閾値設定部２４０、眠気判定部２５０、眠気警告部２６０を含む。

眠気状態推測部２１０は、運転者が眠気を感じている状況を推測する。本実施例では、運転者が眠気を感じている状況とは、運転者が車両を一定時間以上運転したときである。例えば、眠気状態推測部２１０は、外部Ｉ／Ｆ１５０から取得される情報に基づき運転者が一定時間以上運転したか否かを判定し、その判定結果に基づき運転者が眠気状態であるか否かを推測する。例えば、外部Ｉ／Ｆ１５０を介して、ナビゲーション装置やその他の車載装置が接続されているとき、眠気状態推測部２１０は、自動車のイグニッションスイッチのオン／オフ情報、車速パルス情報、距離情報、ナビゲーション装置の動作情報などから、運転者の運転時間を判定する。眠気状態推測部２１０により眠気状態が推測されると、眠気状態推測部２１０は、瞼開閉パターン解析部２２０に運転者の瞼情報を解析させ、基本パターン選択部２３０に基本パターンを選択させ、かつ閾値設定部２４０に選択された基本パターンに基づく閾値を設定させる。

瞼開閉パターン解析部２２０は、運転者が眠気を感じていると推測されたときの画像処理部１２０から提供された運転者の瞼情報を解析する。好ましい態様では、瞼開閉パターン解析部２２０は、瞼情報から瞼開閉度のスコアを算出し、一定期間内における瞼の開閉時間、瞬きの回数等を求める。瞼の開閉時間や瞬きの回数は、瞼開閉度のスコアから求めることができ、例えば、一定期間内にサンプリングされた瞼情報から算出されたスコアに複数の極小値、極大値が含まれるとき、１回の瞼の開閉時間は、極小値から極大値までの時間、または極大値から極小値までの時間、または極小値から次の極小値までの時間、または極大値から次の極大値までの時間により求めることができ、瞬きの回数は、１回の瞼の開閉時間が何回行われたかにより求めることができる。

基本パターン選択部２３０は、瞼開閉パターン解析部２２０により解析された瞼開閉パターンと記憶部１４０に記憶された基本パターンとを比較し、解析された瞼開閉パターンに一致または近似する基本パターンを選択する。瞼開閉パターン解析部２２０の解析結果は、眠気状態推測部２１０により運転者が眠気を感じていると推測されたときの瞼情報を解析したものであり、基本パターン選択部２３０は、運転者が眠気を感じているときの瞼の開閉の仕方に適した基本パターンを選択する。

閾値設定部２４０は、基本パターン選択部２３０により選択された基本パターンに基づき、眠気を判定するための閾値を設定する。基本パターン１が選択された場合、閾値設定部２４０は、一定期間内に、一定以下のスコアが一定以上減少する瞼の開閉を判別することができる閾値を設定する。基本パターン２が選択された場合、閾値設定部２４０は、一定期間内に、１回の瞼開閉時間が長くなる瞼の開閉を判別することができる閾値を設定する。基本パターン３が選択された場合、一定期間内に、瞬きの回数が一定値以上となる瞼の開閉を判別できる閾値を設定する。

瞼開閉パターンの解析を行ったときの人物を識別することができれば、当該人物の識別情報とこれに関連付けして基本パターンの選択情報とを保存しておくことも可能である。そうすれば、次回、同じ人物が搭乗したとき、その人物について選択された基本パターンを、瞼開閉パターンの解析を行うことなく設定することができる。例えば、図４に示すように、運転者の識別情報と、当該運転者が眠気を催すときの基本パターンの選択情報あるいは閾値の設定情報との関係を記憶部１４０に保存する。

また、運転者の識別情報は、例えば、撮像カメラ１１０によって撮像された顔画像を用いることができる。この場合、運転者の識別情報として記憶された顔画像と、今回、撮像カメラ１１０によって撮像された運転者の顔画像とをパターンマッチングすることで同一の運転者か否かを判定する。識別情報は、これ以外にも、外部Ｉ／Ｆ１５０から運転者が誰であるか識別するための情報をユーザーが入力してもよい。

眠気判定部２５０は、閾値設定部２４０により設定された閾値を用い、画像処理部１２０から提供される運転者の瞼情報に基づき眠気を判定する。眠気判定部２５０は、通常状態の判定、寝ている状態の判定、うつらうつら状態などの判定を行う。例えば、基本パターン選択部２３０により基本パターン３が選択され、うつらうつら状態の判定のための閾値が、１０秒間で瞬き回数が７回に設定されたとする。このとき、瞼開閉パターン解析部２２０による解析結果が、１０秒間に８回の瞬きがあったとすると、眠気判定部２５０は、運転者がうつらうつら状態、つまり眠気を感じている状態にあると判定する。

眠気警告部２６０は、眠気判定部２５０によって寝ている状態あるいはうつらうつら状態と判定された場合、運転者に対して警告を発する。警告の方法は、特に限定されないが、例えば、外部Ｉ／Ｆ１５０を介して表示部に警告メッセージを表示したり、音声出力部から音声警告をすることができる。

次に、本実施例に係る眠気判定装置の動作について図５（Ａ）、（Ｂ）のフローを参照して説明する。図５（Ａ）は、運転者の識別機能を備えていない場合の閾値の設定例である。先ず、眠気状態推測部２１０により運転者が眠気を感じているか否かが推測される（Ｓ１００）。眠気を感じていると推測されたとき、そのときの瞼情報が瞼開閉パターン解析部２２０により解析され（Ｓ１０２）、この解析結果に一致または近似する基本パターンが選択され（Ｓ１０４）、閾値設定部２４０は、選択された基本パターンに応じた閾値を設定する（Ｓ１０６）。以後、設定された閾値を用いて、運転者の瞼情報に基づく眠気判定が行われる。この場合、眠気判定装置１００の動作が開始されるたび、あるいはユーザーから閾値を設定するための指示があったとき、その都度、閾値が設定される。

図５（Ｂ）は、運転者の識別機能を備えている場合の閾値の設定例である。先ず、運転者の識別が行われる（Ｓ１２０）。識別方法は、上記したように、例えば運転者の顔画像を用いることができる。次に、閾値設定部２４０は、運転者が過去に登録されているか否かを検索し（図４を参照）、登録されている場合には（Ｓ１２２）、その運転者について選択情報または設定情報を参照し、その閾値が設定される（Ｓ１２４）。運転者が未登録であれば、図５（Ａ）に示すステップに従い運転者についての閾値が設定され、当該閾値が運転者に関連付けして記憶部１４０に保存される。

本実施例によれば、複数の瞼の開閉に関する基本パターンを用意し、眠気を感じていると推測されるときの運転者の瞼情報の解析結果に基づき当該運転者に適した基本パターンを選択するようにしたので、運転者に応じた眠気判定の閾値を設定することができ、正確な眠気判定を行うことができる。

次に、本発明の第２の実施例について説明する。第１の実施例は、運転者が一定時間以上の運転をしたときに、運転者が眠気を感じていると推測したが、第２の実施例は、運転者があくびをしたときに運転者が眠気を感じていると推測する。

画像処理部１２０は、顔画像の口または唇の輪郭を表す特徴点や白い歯の特徴点を抽出し、これら特徴点を含む顔画像を制御部１３０へ提供する。眠気状態推測部２１０は、画像処理部１２０から提供された顔画像に基づき運転者があくびをしたか否かを判定する。眠気状態推測部２１０により運転者があくびをしたと判定されたとき、運転者が眠気を感じていると推測する。なお、運転者のあくびの回数を考慮しても良い。例えば、あくびの回数が複数回以上あったときに、運転者が眠気を感じていると推測してもよい。これ以外の動作は、第１の実施例のときと同様であり、眠気状態推測部２１０は、運転者の眠気が推測された場合には、基本パターン選択部２３０に基本パターンを選択させ、かつ閾値設定部２４０に選択された基本パターンに基づく閾値を設定させる。

第２の実施例によれば、運転者の生体情報に基づき運転者が眠気を催しているか否かを推測することができるため、基本パターンを選択するときの判定精度を高めることができる。なお、第１の実施例による眠気状態の推測と第２の実施例による眠気状態の推測の双方を組合せ、つまり、運転者が一定時間以上運転し、かつあくびをしたときに、運転者が眠気を感じていると推測するようにしてもよい。

次に、本発明の第３の実施例について説明する。第３の実施例では、眠気状態推測部２１０は、運転者がよそ見をしていないにも関わらず、自動ブレーキ（若しくは急ブレーキ）が行われたとき、運転者が眠気を感じていると推測する。つまり、運転者は、前方を見ているはずなのに、自動ブレーキまたは急停車が行われたので、眠気を催していると推測される。なお、自動ブレーキは、車両に搭載された障害物センサにより、前方物体との距離が一定以下になったときに実施される。

図６は、第３の実施例の構成例である。眠気判定装置１００は、外部Ｉ／Ｆ１５０を介して車両情報提供部３００に接続される。車両情報提供部３００は、例えば、車両情報を取得する車内バスを含み、車両情報は、車速情報、ブレーキ情報、ステアリング情報、ウィンカー情報等が含まれる。眠気判定装置１００は、画像処理部１２０から提供される運転者の顔画像の角度、または顔画像に含まれる運転者の視線方向から、運転者が前方を見ているか否か、つまりよそ見をしているか否かを判定し、さらに車両情報提供部３００から提供される車両情報に基づき急ブレーキまたは急停車が行われた否かを判定し、これらの判定結果に基づき運転者が眠気を感じているか否かを推測する。例えば、眠気状態推測部２１０は、自動ブレーキが行われたときの運転者の顔画像から運転者がよそ見をしていなければ、運転者が眠気を感じていたと推測する。また、よそ見をしているか否かは、運転者の視線方向が、サイドミラーやバックミラーを注視しているか否かによって判定することもできる。それ以外の動作は、第１および第２の実施例のときと同様である。また、第３の実施例の眠気状態の推測を、第１および第２の実施例の眠気状態の推測に組わせることも可能である。例えば、運転者が一定時間以上運転をし、運転者があくびをし、さらによそ見をしていないにもかかわらず急ブレーキや急停車が行われたときに、運転者が眠気状態にあると推測するようにしてもよい。

次に、本発明の第４の実施例について説明する。第４の実施例では、眠気状態推測部２１０は、生体情報として運転者の心拍パターンが入眠時の心拍パターンとを比較し、相関があると判定したとき、運転者が眠気を感じていると推測する。

図７は、第４の実施例の構成例である。眠気判定装置１００は、外部Ｉ／Ｆ１５０を介してウエアラブル端部４００に接続される。ウエアラブル端末４００は、運転者に装着され、運転者の生体情報、例えば、心拍数や血圧等を測定し、その測定結果を眠気判定装置１００に提供する。眠気状態推測部２１０は、予め入眠時の心拍数のパターン情報を記憶しており、ウエアラブル端末４００からの運転者の心拍数またはそのパターンと、予め用意された入眠時の心拍数またはそのパターンとの間に相関があると判定したとき、運転者が眠気を感じていると判定する。それ以外の動作は、第１ないし第３の実施例のときと同様である。また、第４の実施例の眠気状態の推測を、第１ないし第３の実施例の眠気状態の推測に組わせることも可能である。

また、他の態様として、ウエアラブル端末４００が、入眠時の心拍パターンを記憶するようにしてもよい。例えば、運転者がウエアラブル端末４００を装着した状態で睡眠し、ウエアラブル端末４００に入眠時の心拍数を記憶させる。ユーザー自身が入眠時刻を入力することで、入眠時の心拍数またはそのパターンを抽出することができる。そして、ウエアラブル端末４００を装着した運転者が運転を開始し、その後、ウエアラブル端末４００において、入眠時の心拍パターンと運転中の心拍パターンとを比較し、その相関結果を眠気判定装置１００に提供するようにしてもよい。眠気状態推測部２１０は、相関結果に基づき運転者が眠気を感じているか否かを推測する。なお、本実施例では、ウエアラブル端末４００が運転者の心拍数を測定する例を示したが、これに限定されず、心拍数を検出する心拍センサを用いることもできる。

第１ないし第４の実施例はいずれも、運転者が眠気を感じていると推定されたときの瞼情報から、運転者が眠いと感じたときの最適な瞼開閉に関する基本パターン選択するようにしたので、運転者に応じた最適な眠気判定の閾値を設定することができ、運転者毎に精度の高い眠気判定を行うことができる。

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。

１００：眠気判定装置 １１０：撮像カメラ
１２０：画像処理部 １３０：制御部
１４０：記憶部 １５０：外部Ｉ／Ｆ
２００：眠気判定プログラム ３００：車両情報提供部
４００：ウエアラブル端末

Claims (6)

1. 眠気を催すときの瞼の開閉に関するパターン情報を複数記憶する記憶手段と、
   対象者が眠気を感じていることを推測する推測手段と、
   前記推測手段により対象者が眠気を感じていると推測されたときの対象者の瞼の開閉に関する瞼情報を取得する取得手段と、
   前記取得手段により取得された瞼情報に対応するパターン情報を前記複数のパターン情報の中から選択する選択手段と、
   選択されたパターン情報に基づき眠気判定のための閾値を設定する設定手段と、
   前記設定された閾値を用いて対象者の眠気を判定する眠気判定手段とを有し、
   前記推測手段は、対象者がわき見をすることなく急ブレーキが発動されたとき、対象者が眠気を感じていると推測する、眠気判定装置。
2. 前記推測手段はさらに、対象者が一定時間以上の運転をしているとき、対象者が眠気を感じていると推測する、請求項１に記載の眠気判定装置。
3. 前記推測手段はさらに、対象者があくびをしたとき、対象者が眠気を感じていると推測する、請求項１または２に記載の眠気判定装置。
4. 前記推測手段はさらに、対象者の心拍パターンと入眠時の心拍パターンとを比較し、両者に相関があるとき、対象者が眠気を感じていると推測する、請求項１ないし３いずれか１つに記載の眠気判定装置。
5. 眠気判定装置はさらに、対象者を識別する識別手段と、識別された対象者に関連付けして閾値を記憶する記憶手段とを含み、前記設定手段は、前記識別手段により識別された対象者に対応する閾値を前記記憶手段から読出し、読み出した閾値を設定する、請求項１ないし４いずれか１つに記載の眠気判定装置。
6. 眠気判定装置はさらに、前記眠気判定手段により眠気があると判定されたとき、警告を発する警告手段を含む、請求項１ないし５いずれか１つに記載の眠気判定装置。
   

Images