JP4811259B2 - 視線方向推定装置及び視線方向推定方法 - Google Patents

Description

本発明は、車両運転者の視線方向を推定する視線方向推定装置及び視線方向推定方法に関する。

近年、車両運転者の視線の方向を検出する技術の研究開発が盛んに行われており、運転者の視線方向から脇見や安全確認不履行などを検出して警報を行う安全装置、運転者の視線方向から次の行動や意図を予測して車両動作を制御する車両運動制御装置、さらには、運転者の視線方向により所定の入力操作を行う入力装置などへの適用が期待されている。

このような車両運転者の視線方向を検出する装置としては、例えば、特許文献１にて開示されるように、車両運転者の眼球方向と頭部方向とを合成して視線方向を特定するものが知られている。この特許文献１に記載の視線計測装置では、眼球センサや撮像装置により車両運転者の瞳部位置を検出し、予め求めておいた瞳部位置と眼球方向との相関関係を示す情報に基づいて眼球センサや撮像装置で検出した瞳部位置を補正して、車両運転者の眼球方向を求めている。そして、求めた眼球方向を頭部方向と合成して、車両運転者の視線方向を特定するようにしている。

また、特許文献２には、外乱が太陽光である場合に太陽光スペクトルの特性により分光放射照度が減衰する波長領域の光を利用して対象物の状態を高いＳＮ比で検出できるようにした対象物検出装置が開示されており、その実施形態として、車両運転者の眼球を対象物とし、車両運転者の角膜反射像及び網膜反射像を取得して、その注視点を計測するように構成した対象物検出装置が記載されている。

また、特許文献３には、第１カメラで撮像した車両運転者の顔画像の画像データから、パターン認識やステレオ立体視の理論に基づく処理によって車両運転者の眼球の３次元位置座標や視線方向ベクトル等を判断して視線方向を検出するとともに、第２カメラで撮像した車両周囲の風景の画像データから認識対象物及びその３次元位置を検出し、これら車両運転者の視線方向と認識対象物の位置とから車両運転者が注視している認識対象物を特定することが記載されている。この特許文献３に記載の状態推定装置では、さらに、車両運転者による注視対象への視線配分に基づいて、車両運転者の生理状態や心理状態などを推定するようにしている。
特開平１１−２７６４３８号公報 特開２０００−２８３１５号公報 特開２００６−４８１７１号公報

以上の特許文献１〜３にて開示されているように、車両運転者の視線方向を検出する従来の技術は、いずれも車両運転者の目の向きが特定できることを前提としていた。しかしながら、車両運転者は日差しが強すぎるときにはサングラスを着用することもあり、サングラス着用時には車両運転者の目の向きを特定できない場合がある。また、車両運転者が視力矯正用の眼鏡を着用している場合にも、眼鏡のレンズに風景の映り込みが発生することで、車両運転者の目の向きを特定できない場合がある。このため、車両運転者がサングラスや眼鏡を着用しているときには、従来の技術では車両運転者の視線方向を適切に推定することが困難であるという問題があった。

本発明は、以上のような従来の実情に鑑みて創案されたものであって、車両運転者の目の向きを特定できない場合でも、車両運転者の視線方向を推定できるようにした視線方向推定装置及び視線方向推定方法を提供することを目的としている。

車両運転者の顔の向きは、車両の運転シーンごとにある程度パターン化されたかたちで変化する。そして、この運転シーンごとの顔向きの変化パターンは、車両運転者の視線移動と高い相関があり、車両の運転シーンと車両運転者の顔向きが分かれば、車両運転者の視線方向をある程度正確に推定できる。ただし、車両運転シーンごとの顔向きの変化パターンには個人差があり、車両運転者が変われば、視線方向に対応する顔向きも変化する。そこで、本発明に係る視線方向推定装置及び視線方向推定方法では、当該視線方向推定装置が搭載される車両の運転者となり得る複数の登録者ごとに、車両運転シーンごとの各登録者の顔向きの時系列変化と視対象との対応関係を表すシーンモデルを記憶しておくようにしている。そして、車両運転者に対する個人認証処理と車両の運転シーンの推定とを行い、これらの結果に基づいて、記憶している各シーンモデルの中から現在の運転シーンに対応した車両運転者のシーンモデルを特定する。また、車両運転者の顔画像を撮影して顔画像から顔向きを推定し、現在の運転シーンに対応した車両運転者のシーンモデルと車両運転者の顔向きの推定結果とから、車両運転者の視線方向を推定する。

本発明によれば、サングラスや眼鏡の着用時など、車両運転者の目の向きが特定できない場合であっても、車両運転者の視線方向を適切に推定することができる。

以下、本発明を適用した視線方向推定装置の具体例について、図面を参照しながら詳細に説明する。

［第１の実施形態］
＜装置構成＞
図１は、本発明の一実施形態である視線方向推定装置の構成を示すブロック図である。本実施形態の視線方向推定装置は、図１に示すように、カメラ１、顔向き推定処理部２、個人認証処理部３、運転シーン推定処理部４、シーンモデルデータベース５、視線方向推定処理部６を備えて構成される。これらの各構成要素のうち、顔向き推定処理部２、個人認証処理部３、運転シーン推定処理部４、視線方向推定処理部６は、処理機能別に区別した構成要素であり、ハードウェアとしては一体であってもよいし、個別のハードウェアで実現されていてもよい。

カメラ１は、車両に搭載されて車両運転者の顔画像を撮影するものである。このカメラ１としては、ＣＣＤやＣＭＯＳなどの撮像素子、レンズ、フィルタ、及び近赤外領域の照明を有するものが用いられる。カメラ１で撮影された車両運転者の顔画像は、フレーム単位の映像信号として、所定のフレーム周期で顔向き推定処理部２へと随時送られる。

顔向き推定処理部２は、カメラ１で撮影された車両運転者の顔画像に基づいて、車両運転者の顔向きを推定する。具体的には、この顔向き推定処理部２は、例えば、カメラ１で撮影された顔画像から複数の特徴点を抽出し、抽出した特徴点の位置関係に基づいて車両運転者の顔向きを推定する処理を行う。

個人認証処理部３は、車両運転者に対する個人認証処理を行う。具体的には、この個人認証処理部３は、例えば、カメラ１で撮影された車両運転者の顔画像を用いて、このカメラ１で撮影された顔画像と予め記憶している登録者の顔画像とのマッチングなどの手法により、車両運転者が誰であるかを特定する個人認証処理を行う。なお、個人認証処理の手法としては、カメラ１で撮影された顔画像を用いる以外にも、例えば、ＩＣチップによるＩＤ確認や、指紋、音声、静脈などの生体情報による認証、パスワード入力による認証など、一般的に知られている何れの手法を採用してもよい。

運転シーン推定手段４は、車両信号と周辺環境情報とに基づいて、車両の運転シーンを推定する。ここで、車両信号とは、例えば、車両の走行速度を示す信号や操舵角度を示す信号、ウィンカーの操作信号、アクセルやブレーキの操作信号など、車両に搭載された各種センサで検出される車両の状態を表す信号である。また、周辺環境情報とは、例えば、車両の現在位置周辺における道路環境についての情報など、車両に搭載されたナビゲーションシステムや路車間通信、車車間通信等により取得される情報である。運転シーン推定手段４は、これら車両信号と周辺環境情報とに基づいて、例えば、右折や左折を行うシーン、車線変更を行うシーン、交差点を直進するシーンといったような、各種の運転シーンを推定する。

シーンモデルデータベース５には、車両の運転者となり得る複数の登録者を対象として、車両運転シーンごとの各登録者の顔向きの時系列変化と視対象との対応関係を表すシーンモデルが、各登録者ごとに識別可能に記憶されている。このシーンモデルデータベース５に記憶されているシーンモデルは、例えば、車両運転シーンごとの各登録者の顔向きの時系列変化を追跡して顔向きの分散値を求め、分散値が所定値以下となる領域を視対象として特定したデータである。このようなシーンモデルは、予めデフォルトのデータを記憶しておいて、実際に車両の運転が行われたときに、各車両運転シーンごとに車両運転者の顔向きの時系列変化を求めて、これに合わせてデフォルトのデータを修正していくようにすることで、車両運転者の特性を反映した精度の高いデータとすることができる。

視線方向推定処理部６は、個人認証処理部３による認証結果と運転シーン推定処理部４による推定結果とに基づいて、シーンモデルデータベース５に記憶されている各種のシーンモデルの中から現在の運転シーンに対応した車両運転者のシーンモデルを特定し、特定したシーンモデルと顔向き推定処理部２による推定結果とに基づいて、車両運転者の視線方向を推定する。すなわち、視線方向推定処理部６は、個人認証処理部３による認証結果から、シーンモデルデータベース５に記憶されている各種シーンモデルの中で、車両運転者に対応するものを識別し、さらに、運転シーン推定処理部４による推定結果から、車両運転者に対応するシーンモデルのうちで、現在の運転シーンに対応するものを識別する。そして、この現在の運転シーンに対応した車両運転者のシーンモデルをシーンモデルデータベース５から読み出して、顔向き推定処理部２で推定された車両運転者の顔向きをシーンモデルに照らし合わせることで、車両運転者の視線方向を推定する。

なお、車両運転者の顔向きとシーンモデルとの照合による視線方向の推定は、車両運転シーンが車両運転者の顔向きの移動を伴う視線移動が行われる運転シーンである場合に特に有効な処理であるので、視線方向推定処理部６は、運転シーン推定処理部４により推定された現在の車両運転シーンが車両運転者の顔向きの移動を伴う視線移動が行われる運転シーンであるかどうかを判定して、車両運転者の顔向きの移動を伴う視線移動が行われる運転シーンである場合にのみ、以上のような視線方向の推定処理を行うようにしてもよい。

＜顔向き推定処理部による処理＞
ここで、顔向き推定処理部２による処理について、具体例を例示しながらさらに詳しく説明する。

顔向き推定処理部２は、カメラ１から送られてくる映像信号をディジタル画像としてキャプチャし、フレームメモリに車両運転者の顔画像として取り込む。そして、顔向き推定処理部２は、このフレームメモリに取り込んだ顔画像に対してエッジ検出処理やグラフマッチング処理などの画像処理を行い、顔画像から複数の特徴点を抽出する。ここで、顔画像から抽出される特徴点は画像上で濃度変化が大きく現われる点であり、一般的に、左右の目、左右の眉、鼻、口などが対象となる。ただし、車両運転者がサングラスや眼鏡を着用している場合には、左右の目を特徴点として検出できない場合も多い。

図２は、顔向き推定処理部２による特徴点抽出処理の一例を示すフローチャートである。以下、この図２のフローチャートに沿って、図３に示すような顔画像から特徴点を抽出する処理について具体的に説明する。

顔向き推定処理部２は、まず「横エッジ検出」ステップにおいて、フレームメモリ上の顔画像の縦の各列について、濃度値の極小値を検出する。

次に、「ノイズ除去」ステップにおいて、「横エッジ検出」ステップで検出されら濃度値の極小点のうち、濃度変化が設定値未満のものと、縦横斜めに隣接する他の極小点がないもの（つまり独立点）を削除する。

次に、「顔特徴候補選択」ステップにおいて、個々の極小点ごとの隣接する極小点との連接を調べて、連続する極小点の集まりをエッジとして捉え、エッジの傾きの大きいものを削除する。また、横方向への広がりが設定値以上のものについては、濃度変化の最も小さい極小点を削除することにより分割を行い、顔特徴点候補とする。顔特徴候補選択結果の一例を図４に示す。ここで、「顔特徴候補選択」ステップで得られた顔特徴点候補の数が設定値未満の場合には、現フレームの顔画像においては特徴点の抽出ができないと判断して処理を抜ける。

以上と同様の処理を縦エッジについても行い、輪郭の候補とする。輪郭候補選択結果の一例を図５に示す。

次に、「ラベリング」ステップにおいて、「顔特徴候補選択」ステップで得られた各顔特徴候補にラベルをつける。ラベリング結果の一例を図６に示す。

次に、「グラフマッチング」ステップにおいて、「ラベリング」ステップでラベルが付けられた顔特徴候補の組み合わせを、あらかじめ用意した顔特徴（ノード）と顔特徴間の関係（ブランチ）に照合する。ここで、照合数が０の場合には、現フレームの顔画像においては特徴点の抽出ができないとして処理を抜ける。

次に、「顔特徴検出」ステップにおいて、「グラフマッチング」ステップで照合された複数の顔特徴の組み合わせ結果のうち、あらかじめ用意した顔特徴と顔特徴間の関係に最も一致する顔特徴の組み合わせを選択する。顔特徴検出結果の一例を図７に示す。ここで、一致の度合いを表す評価値が最小評価値未満の場合には、現フレームの顔画像においては特徴点の抽出ができないと判断して処理を抜ける。

以上の特徴点抽出処理により、例えば図２に示した顔画像からは、右眉、左眉、右上眼鏡フレーム、左上眼鏡フレーム、眼鏡フレーム中心、右下眼鏡フレーム、左下眼鏡フレーム、鼻、口（左右両端の２点）が、顔の特徴点として抽出される。図３に示した顔画像から抽出された各特徴点間の位置関係を、鼻の位置を基準として表したグラフを図８に示す。なお、この図８のグラフでは、図２に示した顔画像のサイズ（縦３２０画素、縦２４０画素）を１／５にしたサイズで各特徴点の位置関係を表している。

顔画像から抽出される各特徴点は、マッチングのため一定の範囲を持っており、グラフマッチングの際に、基準となる顔部位（例えば鼻など）を基準として、その範囲内に他の顔特徴点が何個入るかという照合を行う。また、各特徴点間は、重み付けの係数を保持しており、グラフマッチング結果に対して、マッチングした特徴点の重みを合計した値を評価値とする。また、顔の輪郭については、例えば図５に示したような縦エッジのうちで、特徴点の外側にあるものを顔の輪郭として採用する。

ところで、カメラ１から顔向き推定処理部２へと送られる顔画像は、フレームごとに連続性があるので、前フレームの顔画像から特徴点が抽出できれば、その特徴点を追跡することによってそれ以降のフレームの顔画像から特徴点を容易に抽出できる。そこで、顔向き推定処理部２は、例えば図９のフローチャートで示すような特徴点追跡処理を行うことで、顔画像から特徴点を抽出する処理を簡素化している。

図９に示す特徴点追跡処理では、まず前段の処理ループで、前フレームの顔画像に対する特徴点抽出処理或いは特徴点追跡処理により抽出した特徴点の座標をもとに、現フレームの顔画像の中から対応する特徴点を探索する。そして、前段の処理ループで現フレームの顔画像の中から特徴点を抽出できたら、後段の処理ループで、抽出した特徴点を基準として、前フレームの顔画像から抽出した各特徴点間の位置関係に基づき、現フレームの顔画像の中から残りの特徴点を抽出する。

具体的に説明すると、例えば前フレームの顔画像で鼻が基準となる特徴点として抽出され、その位置座標が現フレームの顔画像においては図１０のＡ点であったとする。この場合、顔向き推定処理部２は、まず、現フレームの顔画像においてＡ点近辺の所定領域を探索領域Ｓ１とし、この探索領域Ｓ１を対象としたエッジ検出などにより、探索領域Ｓ１内で前フレームの顔画像における鼻に相当する特徴点Ｂを検出する。ここで、探索領域Ｓ１内で特徴点Ｂが検出できない場合には、前フレームの顔画像から抽出された他の特徴点の位置座標を基準として現フレームの顔画像上に同様の探索領域を設定し、特徴点の探索を行う。そして、前フレームの顔画像から抽出された全ての特徴点に関して以上の処理を行っても、現フレームの顔画像から特徴点が検出できない場合には、現フレームの顔画像での特徴点の追跡に失敗したとみなす。

一方、探索領域Ｓ１内で特徴点が検出できたら、その位置座標で当該特徴点の座標を更新する。そして、図１１に示すように、前フレームの顔画像で把握されるこの特徴点と他の特徴点との位置関係に基づいて、現フレームの顔画像上における次の各特徴点の探索領域Ｓ２を設定し、この探索領域Ｓ２内で次の特徴点を順次検出し、探索領域Ｓ２内で検出した特徴点の位置座標で、次の特徴点の座標を更新する。以上の処理を前フレームの顔画像で抽出された全ての特徴点について繰り返し行い、現フレームの顔画像における各特徴点の位置座標を更新する。なお、現フレームの顔画像上で設定された探索領域内で検出できなかった特徴点については、前フレームの顔画像での基準となる特徴点からの距離に応じて、現フレームの顔画像においてもこの距離に相当する位置に当該特徴点が存在すると仮定して、その位置の位置座標で更新する。特徴点追跡処理では、以上を繰り返して、全ての特徴点の位置座標を随時更新していく。

顔向き推定処理部２は、以上の処理により車両運転者の顔画像から複数の特徴点を抽出したら、各特徴点の座標から、車両運転者の顔向きを推定する。以下にその方法の一例を示す。

一般に人の顔は左右対称に近い形状をしており、顔が回転することにより顔の特徴点の見かけの位置がずれることによって、対称性に生じる歪を用いることにより顔の向きを推定することができる。

例えば、図１２に示すように、車両運転者の顔画像から特徴点として抽出された鼻の位置をＡ、口の右端をＢ、口の左端をＣとして、線分ＢＣに対してＡより下ろした垂線の交点をＤとする。また、顔の右端をＥ、顔の左端をＦとする。

次式に対称性を評価するためのパラメータｓ，ｔ，ｕを示す。
ＤＢ：ＤＣ＝ｓ：（１−ｓ）
ＡＥ：ＡＦ＝ｔ：（１−ｔ）
ＢＥ：ＣＦ＝ｕ：（１−ｕ）
顔の向き変えに対してこれらのパラメータの値を予め求めていくと、図１３に示すように、顔の回転角（ヨー運動）に連動してその値が変化することが分かる。このように対象性を評価するためのパラメータｓ，ｔ，ｕは顔の回転角と相関があるので、車両運転者の顔画像から抽出した複数の特徴点の２次元座標に基づいて前記パラメータｓ，ｔ，ｕを求めれば、車両運転者の顔向きを推定することができる。なお、以上のようにして推定した車両運転者の顔向きは、カメラ１の設置位置と向きによって補正する必要があるが、正面方向をヨー角の０度とした場合、推定した顔向きにカメラ１の向き角を加えるだけでよい。

＜シーンモデル＞
次に、シーンモデルデータベース５に格納されるシーンモデルについて、さらに詳しく説明する。

２名の被験者（被験者Ａ及び被験者Ｂ）に、左ドアミラー、ナビゲーション画面、ルームミラー、ナビゲーション操作部、ドアミラーを順番に２回繰り返して注視させたときの顔の回転角を計測した結果を図１４及び図１５に示す。これらの計測結果から分かるように、物の見方は人によって異なるため、視対象が同じであっても見る人が違えばそのときの顔の回転角は人ごとに異なる値を示すが、見る人が同一の場合は、視対象が同じであれば顔の回転角は常に同じような値を示す。ここで、車両の運転シーンについて考えると、例えば、右折や左折を行うシーン、車線変更を行うシーン、交差点を直進するシーンなど、車両運転者が安全確認のために視線移動を行うシーンでは、視対象がある程度特定され、視線移動はパターン化されている。例えば、左折のシーンであれば巻き込み確認のための左ドアミラーの注視行動や後方確認のためのルームミラーの注視行動などが視線移動としてパターン化されている。また、交差点の直進シーンであれば、左右安全確認のための左右注視行動が視線移動としてパターン化されている。したがって、このような運転シーンごとに車両運転者の顔向きがどのように変化するかを各運転者ごとの固有のデータとして保持しておけば、車両運転者が誰であるかを特定し、車両の運転シーン及び車両運転者の顔向きを推定することによって、車両運転者の視線方向をある程度正確に推定することが可能となる。

シーンモデルは、このような車両運転者の視線方向を推定するためのデータであり、車両の運転シーンごとの顔向きの変化パターンをモデル化したものである。このシーンモデルは、車両運転者となり得る複数の登録者ごとの固有のデータとして、シーンモデルデータベース５に格納されている。

具体的な例を挙げると、シーンモデルデータベース５には、例えば図１６に示すようなシーンモデルが格納されている。このシーンモデルは、車両運転者となり得る複数の登録者（図１６の例では、登録者１、登録者２）ごとに、左折前、車線変更前、交差点直進・・・といった各運転シーンごとの顔向きの時系列変化を、その運転シーンから特定される視対象と対応付けて表したものである。

このようなシーンモデルは、例えば、車両の運転シーンごとの各登録者の顔向きの時系列変化を追跡して顔向きの分散値を求め、分散値が所定値以下となる領域を視対象として特定するといった手法で作成可能である。図１７に、右ドアミラー、左ドアミラー、ルームミラー、ナビゲーション画面付近を２回ずつ注視した際の顔向きの時系列変化と視対象をマッピングした結果を示す。この図１７においては、顔向きの時系列データにおいて一定区間の分散値が設定値以下になる区間を抽出し、区間時間が設定値以上である区間を視対象の区間として抽出している。この結果が示すように、車両運転者が同一であれば、車両運転者の視線移動に伴う顔向きの変化が、視対象ごとにある範囲内で滞留することになり、この顔向き変化が滞留する範囲を、それぞれ車両の運転シーンから想定される各視対象の領域として抽出できる。

なお、このようなシーンモデルは、予め各登録者ごとに固有のデータとして作成してシーンモデルデータベース５に格納しておいてもよいが、初期状態では各運転シーンごとのデフォルトのデータとしておき、実際に車両の運転が行われたときに、上述した個人認証処理部３の認証結果や運転シーン推定処理部４の推定結果、顔向き推定処理部２による推定結果を用いて、各車両運転シーンごとに車両運転者の顔向きの時系列変化を求め、これに合わせてデフォルトのデータを随時修正していくようにしてもよい。このように、車両運転者の実際の行動に応じてシーンモデルを随時更新していくようにすれば、車両運転者の特性を反映した精度の高いデータとすることができる。

＜視線移動推定処理部による処理＞
次に、視線方向推定処理部６による処理について、さらに詳しく説明する。

視線方向推定処理部６は、個人認証処理部３によって行われる個人認証処理の結果を取得して、現在の車両運転者が複数の登録者のうちの誰であるかを識別する。この車両運転者に関する識別情報は、個人認証処理部３から新たな認証結果が送られるまで、つまり車両運転者が変更されるまで保持される。また、視線方向推定処理部６は、運転シーン推定処理部４による推定結果を取得して、現在の車両の運転シーンがシーンモデルの対象とされている運転シーンのうちの何れであるかを識別する。この車両運転シーンに関する識別情報も、運転シーン推定処理部４から新たな推定結果が送られるまで、つまり車両の運転シーンが切り替わるまで保持される。そして、視線方向推定処理部６は、以上の車両運転者に関する識別情報と、車両運転シーンに関する識別情報とをもとに、シーンモデルデータベース５に記憶されている各種シーンモデルの中で、現在の車両運転者に対応し、さらに、現在の運転シーンに対応するものを特定する。そして、この現在の運転シーンに対応した車両運転者のシーンモデルをシーンモデルデータベース５から読み出す。

また、視線方向推定処理部６には、顔向き推定処理部２での上述した処理により推定される車両運転者の顔向きの情報（例えば回転角）が随時送られている。視線方向推定処理部６は、この顔向き推定処理部２から随時送られる車両運転者の顔向きの情報を、シーンモデルデータベース５から読み出したシーンモデルに照らし合わせることによって、車両運転者の視線移動行動、つまり、車両運転者が現在どの視対象に目を向けているか（視線方向）を推定し、その推定結果を出力する。

なお、車両の運転シーンとしては、例えば、右折や左折を行うシーンや車線変更を行うシーン、交差点を直進するシーンといった、車両運転者の顔向きの移動を伴う視線移動が行われる運転シーン以外にも様々なシーンが考えられるが、車両運転者の顔向きとシーンモデルとの照合による視線方向の推定は、車両運転者の顔向きの移動を伴う視線移動が行われる運転シーンの場合に特に有効な処理である。したがって、視線方向推定処理部６は、運転シーン推定処理部４により推定された現在の車両運転シーンが車両運転者の顔向きの移動を伴う視線移動が行われる運転シーンである場合にのみ、以上のような視線方向の推定処理を行うようにしてもよい。

＜効果＞
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の視線方向推定装置によれば、視線方向推定処理部６が、個人認証処理部３による認証結果と運転シーン推定処理部４による推定結果とに基づいて、シーンモデルデータベース５に格納されている各種シーンモデルの中から現在の運転シーンに対応した車両運転者のシーンモデルを特定し、顔向き推定処理部２による推定結果をこのシーンモデルと照合することで、車両運転者の視線方向を推定するようにしているので、サングラスや眼鏡の着用時など、車両運転者の目の向きが特定できない場合であっても、車両運転者の視線方向を適切に推定することができる。

［第２の実施形態］
次に、本発明の第２の実施形態としての視線方向推定装置について説明する。本実施形態の視線方向推定装置は、車両運転者の目の向きを特定できるか否かを判定する機能を設けて、車両運転者の目の向きが特定できない場合にのみ、上述した第１の実施形態で説明した手法で車両運転者の視線方向を推定するようにしたものである。

本実施形態の視線方向推定装置の構成を図１８に示す。この図１８に示すように、本実施形態の視線方向推定装置は、上述した第１の実施形態の視線方向推定装置に、目向き特定可否判定部１１と、目向き推定処理部１２と、視線方向検出処理部１３とを付加した構成とされる。

目向き特定可否判定部１１は、カメラ１で撮影された車両運転者の顔画像から車両運転者の目の向きを特定できるか否かの判定を行う。判定の手法は、例えば、顔向き推定処理部２での顔特徴抽出処理の結果、目が特徴点として検出されなかった場合に目向きを特定できないと判定する、或いは、眼鏡のフレームが特徴点として検出された場合に目向きを特定できないと判定するなどの手法が考えられる。また、個人認証処理部３での個人認証処理の結果、車両運転者が眼鏡着用者として登録されている者であると特定された場合に、目向きを特定できないと判定するようにしてもよい。

目向き推定処理部１２は、目向き特定可否判定部１１により車両運転者の目の向きを特定可能と判定された場合に、カメラ１で撮影された顔画像に基づいて、車両運転者の目の向きを推定する。なお、目の向きを推定する手法としては、従来一般的に知られている手法が何れも採用可能である。

視線方向検出処理部１３は、目向き特定可否判定部１１により車両運転者の目の向きを特定可能と判定された場合に、顔向き推定処理部２により推定された車両運転者の顔向きと、目向き推定処理部１２により推定された車両運転者の目向きとを合成して、車両運転者の視線方向を検出する。

本実施形態の視線方向推定装置では、以上のように、目向き特定可否判定部１１により車両運転者の目向きを特定できるか否かを判定し、車両運転者の目向きが特定可能な場合には、車両運転者の顔向きと目向きとを合成して車両運転者の視線方向を検出し、車両運転者の目向きが特定できない場合にのみ、上述した第１の実施形態で説明した手法、すなわち、車両運転者の顔向き推定結果を現在の運転シーンに対応した車両運転者のシーンモデルと照合することで、車両運転者の視線方向を推定するようにしている。したがって、本実施形態の視線方向推定装置では、車両運転者の目向きが特定できない場合でも視線方向を適切に推定できることに加え、車両運転者の目向きが特定可能な場合には、車両運転者の視線方向をより正確に検出することが可能となる。

［第３の実施形態］
次に、本発明の第３の実施形態としての視線方向推定装置について説明する。本実施形態の視線方向推定装置は、車両運転者の顔向き推定結果を現在の運転シーンに対応した車両運転者のシーンモデルと照合した際に、車両運転者の顔向きの移動がシーンモデルから乖離しているか否かにより視線移動の逸脱を判定し、視線逸脱が生じている場合に警報を発して注意を促すようにしたものである。

本実施形態の視線方向推定装置の構成を図１９に示す。この図１９に示すように、本実施形態の視線方向推定装置は、上述した第１の実施形態の視線方向推定装置に、視線逸脱判定部１５を付加した構成とされる。

視線逸脱判定部１５は、視線方向推定処理部６での車両運転者の顔向きとシーンモデルとの照合結果を随時取得して、顔向き推定処理部２により推定される車両運転者の顔向きの時系列変化が、シーンモデルデータベース５から読み出された現在の運転シーンに対応した車両運転者のシーンモデルから乖離するときに、車両運転者の視線移動が正常でない、つまり視線移動の逸脱が生じていると判定して、警報を出力する。視線移動の逸脱は、例えば、顔向き推定処理部２による推定結果から分かる今回の顔向きの移動と、シーンモデルから分かる普段の顔向きの移動との違いを、距離（角度差）の二乗誤差の積分値を用いて求めることで判定できる。

本実施形態の視線方向推定装置では、以上のように、顔向き推定処理部２により推定される車両運転者の顔向きの時系列変化が、シーンモデルデータベース５から読み出された現在の運転シーンに対応した車両運転者のシーンモデルから乖離するときに、視線逸脱判定部５が車両運転者に視線逸脱が生じていると判定して警報を出力するようにしている。したがって、本実施形態の視線方向推定装置では、車両運転者の目向きが特定できない場合でも視線方向を適切に推定できることに加え、車両運転者の視線移動が普段の行動と違う場合にその旨を車両運転者に認識させ、注意を促すことが可能となる。

以上、本発明の実施形態について具体例を挙げながら詳細に説明したが、本発明の技術的範囲は、以上の実施形態の説明で開示した内容に限定されるものではなく、これらの開示から容易に導き得る様々な代替技術も含まれることは勿論である。

第１の実施形態の視線方向推定装置の構成を示すブロック図である。 顔向き推定処理部による特徴点抽出処理の一例を示すフローチャートである。 カメラで撮影された車両運転者の顔画像の一例を示す図である。 図３に示した顔画像から顔特徴候補を選択した結果を示す図である。 図３に示した顔画像から輪郭候補を選択した結果を示す図である。 図３に示した顔画像から得られた顔特徴候補にラベリングした結果を示す図である。 図３に示した顔画像から顔の特徴点を抽出した結果を示す図である。 図３に示した顔画像から抽出された各特徴点間の位置関係を、鼻の位置を基準として表したグラフ図である。 顔向き推定処理部による特徴点追跡処理の一例を示すフローチャートである。 前フレームの顔画像における基準特徴点の位置を基準に、現フレームの顔画像における基準特徴点を探索する手法を説明する図である。 前フレームの顔画像における基準特徴点と次の特徴点との位置関係をもとに、現フレームの顔画像における次の特徴点を探索する手法を説明する図である。 顔画像から抽出した各特徴点の座標に基づいて車両運転者の顔向きを推定する手法を説明する図である。 顔の回転角（ヨー運動）に連動して対称性を評価するパラメータｓ，ｔ，ｕの値が変化すること示すグラフ図である。 被験者Ａに左ドアミラー、ナビゲーション画面、ルームミラー、ナビゲーション操作部、ドアミラーを順番に２回繰り返して注視させたときの顔の回転角を計測した結果を示す図である。 被験者Ｂに左ドアミラー、ナビゲーション画面、ルームミラー、ナビゲーション操作部、ドアミラーを順番に２回繰り返して注視させたときの顔の回転角を計測した結果を示す図である。 シーンモデルデータベースに格納されるシーンモデルの一例を示す図である。 右ドアミラー、左ドアミラー、ルームミラー、ナビゲーション画面付近を２回ずつ注視した際の顔向きの時系列変化と視対象をマッピングした結果を示す図である。 第２の実施形態の視線方向推定装置の構成を示すブロック図である。 第３の実施形態の視線方向推定装置の構成を示すブロック図である。

符号の説明

１ カメラ
２ 顔向き推定処理部
３ 個人認証処理部
４ 運転シーン推定処理部
５ シーンモデルデータベース
６ 視線方向推定処理部
１１ 目向き特定可否判定部
１２ 目向き推定処理部
１３ 視線方向検出処理部
１５ 視線逸脱判定部

Claims (8)

1. 車両運転者の顔画像を撮影する顔画像撮影手段と、
   前記顔画像撮影手段で撮影された顔画像に基づいて、車両運転者の顔向きを推定する顔向き推定手段と、
   車両運転者に対する個人認証処理を行う個人認証手段と、
   車両信号と周囲環境情報とに基づいて、車両の運転シーンを推定するシーン推定手段と、
   複数の登録者ごとに、車両運転シーンごとの各登録者の顔向きの時系列変化と視対象との対応関係を表すシーンモデルを記憶するシーンモデル記憶手段と、
   前記個人認証手段による認証結果と前記シーン推定手段による推定結果とに基づいて、前記シーンモデル記憶手段に記憶されているシーンモデルの中から現在の運転シーンに対応した車両運転者のシーンモデルを特定し、特定したシーンモデルと前記顔向き推定手段による推定結果とに基づいて、車両運転者の視線方向を推定する視線方向推定手段とを備えることを特徴とする視線方向推定装置。
2. 前記視線方向推定手段は、前記シーン推定手段により推定された現在の運転シーンが車両運転者の顔向きの移動を伴う視線移動が行われる運転シーンである場合に、前記個人認証手段による認証結果と前記シーン推定手段による推定結果とに基づいて、前記シーンモデル記憶手段に記憶されているシーンモデルの中から現在の運転シーンに対応した車両運転者のシーンモデルを特定し、特定したシーンモデルと前記顔向き推定手段の推定結果とに基づいて、車両運転者の視線方向を推定することを特徴とする請求項１に記載の視線方向推定装置。
3. 前記顔画像撮影手段で撮影された顔画像から車両運転者の目の向きを特定できるか否かを判定する目向き特定可否判定手段をさらに備え、
   前記視線方向推定手段は、前記目向き特定可否判定手段により車両運転者の目の向きを特定できないと判定されたときに、前記個人認証手段による認証結果と前記シーン推定手段による推定結果とに基づいて、前記シーンモデル記憶手段に記憶されているシーンモデルの中から現在の運転シーンに対応した車両運転者のシーンモデルを特定し、特定したシーンモデルと前記顔向き推定手段の推定結果とに基づいて、車両運転者の視線方向を推定することを特徴とする請求項１に記載の視線方向推定装置。
4. 前記シーンモデル記憶手段に記憶されているシーンモデルは、車両運転シーンごとの各登録者の顔向きの時系列変化を追跡して顔向きの分散値を求め、分散値が所定値以下となる領域を視対象として特定したデータであることを特徴とする請求項１に記載の視線方向推定装置。
5. 前記顔向き推定手段により推定される車両運転者の顔向きの時系列変化が、現在の運転シーンに対応した車両運転者のシーンモデルから乖離するときに、車両運転者の視線移動が正常でないと判定する視線逸脱判定手段をさらに備えることを特徴とする請求項１に記載の視線方向推定装置。
6. 前記個人認証手段は、前記顔画像撮影手段で撮影された顔画像に基づいて、車両運転者に対する個人認証処理を行うことを特徴とする請求項１に記載の視線方向推定装置。
7. 前記顔向き推定手段は、前記顔画像撮影手段で撮影された顔画像から複数の特徴点を抽出し、抽出した複数の特徴点の位置関係に基づいて、車両運転者の顔向きを推定することを特徴とする請求項１に記載の視線方向推定装置。
8. 複数の登録者ごとに、車両運転シーンごとの各登録者の顔向きの時系列変化と視対象との対応関係を表すシーンモデルを予め記憶しておき、
   車両運転者の顔画像を撮影し、
   撮影した顔画像に基づいて、車両運転者の顔向きを推定し、
   車両運転者に対する個人認証処理を行い、
   車両信号と周囲環境情報とに基づいて、車両の運転シーンを推定し、
   前記個人認証処理の結果と前記車両の運転シーンの推定結果とに基づいて、前記予め記憶しているシーンモデルの中から現在の運転シーンに対応した車両運転者のシーンモデルを特定し、特定したシーンモデルと前記車両運転者の顔向きの推定結果とに基づいて、車両運転者の視線方向を推定することを特徴とする視線方向推定方法。