JP2018139070A - 車両用表示制御装置 - Google Patents

Abstract

【課題】ドライバ状態を良好にすべき場合に、ドライバが自身のドライバ状態の度合いを直感的且つより容易に理解できるようにする。【解決手段】自車のドライバの頭部を撮像するＤＳＭ１３で撮像された顔画像から切り出した、眼と眉とを少なくとも含むドライバ画像を表示装置１４に表示させる表示制御部１１６と、ドライバのドライバ状態を改善すべきタイミング、及びドライバ状態が良好な度合いであるべきタイミングのいずれかである対象タイミングを検出するタイミング検出部１１２とを備え、表示制御部１１６は、タイミング検出部１１２で対象タイミングを検出した場合に、ドライバ画像を表示させる。【選択図】図２

Description

本発明は、車両用表示制御装置に関するものである。

従来、ドライバ状態に応じた情報を表示装置に表示させる技術が知られている。例えば、特許文献１には、ドライバの身体状態及び心理状態の少なくとも一方のドライバ状態が運転に支障をきたす状態に変化した場合に、ドライバ状態を模擬したシンボルマークを表示させる技術が開示されている。

特開２００３−３３９６８１号公報

しかしながら、特許文献１に開示の技術のように、ドライバ状態を模擬したシンボルマークを表示させる構成では、ドライバが、自身のドライバ状態を直感的に理解することは可能かもしれないが、眠気の進行度合いといったドライバ状態の度合いまで理解することは難しい。

本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、ドライバ状態を良好にすべき場合に、ドライバが自身のドライバ状態の度合いを直感的且つより容易に理解できるようにする車両用表示制御装置を提供することにある。

上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、発明の更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

上記目的を達成するために、本発明の車両用表示制御装置は、車両で用いられる表示装置（１４）を制御する車両用表示制御装置であって、車両のドライバの顔部位を少なくとも撮像する撮像装置（１３）で撮像された画像に基づく、顔部位を少なくとも含むドライバ画像を表示装置に表示させる表示制御部（１１６）と、ドライバの身体状態及び心理状態のいずれかであるドライバ状態を改善すべきタイミング、及びドライバ状態が良好な度合いであるべきタイミングのいずれかである対象タイミングを検出するタイミング検出部（１１２）とを備え、表示制御部は、タイミング検出部で対象タイミングを検出した場合に、ドライバ画像を表示させる。

これによれば、車両のドライバの顔部位を少なくとも撮像する撮像装置で撮像された画像に基づく、顔部位を少なくとも含むドライバ画像を表示装置に表示させるので、ドライバが自身の表情から直感的にドライバ状態を理解できる。また、ドライバは、自身の表情から経験的にドライバ状態の度合いまで理解することができるので、ドライバ状態の度合いを直感的かつより容易に理解することが可能になる。さらに、ドライバ画像は、ドライバの身体状態及び心理状態のいずれかであるドライバ状態を改善すべきタイミング、及びドライバ状態が良好な度合いであるべきタイミングのいずれかである対象タイミングを検出した場合に表示させるので、ドライバ状態を良好にすべき場合にドライバ状態を表示させることが可能になる。その結果、ドライバ状態を良好にすべき場合に、ドライバが自身のドライバ状態の度合いを直感的且つより容易に理解できるようになる。

運転支援システム１の概略的な構成の一例を示す図である。 ＨＣＵ１１の概略的な構成の一例を示す図である。 手動運転時におけるＨＣＵ１１でのドライバ画像表示関連処理の流れの一例を示すフローチャートである。 ドライバ画像の表示態様の一例を示す図である。 自動運転時におけるＨＣＵ１１でのドライバ画像表示関連処理の流れの一例を示すフローチャートである。 ドライバ画像の表示態様の一例を示す図である。 ドライバ画像の表示態様の一例を示す図である。 ドライバ画像の表示態様の一例を示す図である。 ドライバ画像の表示態様の一例を示す図である。

図面を参照しながら、開示のための複数の実施形態を説明する。なお、説明の便宜上、複数の実施形態の間において、それまでの説明に用いた図に示した部分と同一の機能を有する部分については、同一の符号を付し、その説明を省略する場合がある。同一の符号を付した部分については、他の実施形態における説明を参照することができる。

（実施形態１）
＜運転支援システム１の概略構成＞
以下、本実施形態について図面を用いて説明する。図１に示す運転支援システム１は、自動車といった車両で用いられるものであり、ＨＭＩ（Human Machine Interface）システム１０、通信機２０、ＡＤＡＳ（Advanced Driver Assistance Systems）ロケータ３０、車両制御ＥＣＵ４０、周辺監視センサ５０、及び自動運転ＥＣＵ６０を含んでいる。ＨＭＩシステム１０、通信機２０、ＡＤＡＳロケータ３０、車両制御ＥＣＵ４０、及び自動運転ＥＣＵ６０は、例えば車内ＬＡＮに接続されており、通信によって互いに情報をやり取りすることができる。以下では、運転支援システム１を用いる車両を自車と呼ぶ。

通信機２０は、センタとの間で通信を行う。通信機２０は、携帯電話網，インターネット等の公衆通信網を介した通信を行うための通信モジュールを用いてセンタと通信を行う構成とすればよい。例えばＤＣＭ（Data Communication Module）といったテレマティクス通信に用いられる車載通信モジュールによって、テレマティクス通信で用いる通信網を介してセンタと通信を行う構成とすればよい。通信機２０は、センタからダウンロードした情報を車内ＬＡＮへ出力したりする。なお、通信機２０は、路側機を介してセンタとの間で通信を行う構成としてもよい。

ＡＤＡＳロケータ３０は、ＧＮＳＳ（Global Navigation Satellite System）受信機３１、慣性センサ３２、及び地図データを格納した地図データベース（以下、ＤＢ）３３を備えている。ＧＮＳＳ受信機３１は、複数の人工衛星からの測位信号を受信する。慣性センサ３２は、例えば３軸ジャイロセンサ及び３軸加速度センサを備える。地図ＤＢ３３は、不揮発性メモリであって、リンクデータ，ノードデータ，道路形状，構造物等の地図データを格納している。

ＡＤＡＳロケータ３０は、ＧＮＳＳ受信機３１で受信する測位信号と、慣性センサ３２での計測結果とを組み合わせることにより、自車の車両位置を逐次測位する。なお、車両位置の測位には、自車の車輪速センサから逐次出力されるパルス信号から求めた走行距離を用いる構成としてもよい。そして、測位した車両位置を車内ＬＡＮへ出力する。また、ＡＤＡＳロケータ３０は、地図ＤＢ３３から地図データを読み出し、車内ＬＡＮへ出力することも行う。なお、地図データは、通信機２０を用いて自車の外部から取得する構成としてもよい。

車両制御ＥＣＵ４０は、自車の加減速制御及び操舵制御を行う電子制御装置である。車両制御ＥＣＵ４０としては、操舵制御を行う操舵ＥＣＵ、加減速制御を行うパワーユニット制御ＥＣＵ及びブレーキＥＣＵ等がある。車両制御ＥＣＵ４０は、自車に搭載されたアクセルポジションセンサ，ブレーキ踏力センサ，舵角センサ，車輪速センサ等の各センサから出力される検出信号を取得し、電子制御スロットル，ブレーキアクチュエータ，ＥＰＳ（Electric Power Steering）モータ等の各走行制御デバイスへ制御信号を出力する。また、車両制御ＥＣＵ４０は、上述の各センサの検出信号を車内ＬＡＮへ出力可能である。

周辺監視センサ５０は、歩行者，人間以外の動物，自転車，オートバイ，他車等の移動物体、さらに路上の落下物，ガードレール，縁石，樹木等の静止物体といった障害物を検出する。他にも、走行区画線，停止線等の路面標示を検出する。周辺監視センサ５０は、例えば、自車周囲の所定範囲を撮像する周辺監視カメラ、自車周囲の所定範囲に探査波を送信するミリ波レーダ、ソナー、ＬＩＤＡＲ（Light Detection and Ranging/Laser Imaging Detect ion and Ranging）等のセンサである。周辺監視カメラは、逐次撮像する撮像画像をセンシング情報として自動運転ＥＣＵ６０へ逐次出力する。ソナー、ミリ波レーダ、ＬＩＤＡＲ等の探査波を送信するセンサは、障害物によって反射された反射波を受信した場合に得られる受信信号に基づく走査結果をセンシング情報として自動運転ＥＣＵ６０へ逐次出力する。

自動運転ＥＣＵ６０は、ＡＤＡＳロケータ３０から取得した自車の車両位置及び地図データ、周辺監視センサ５０から取得したセンシング情報等から、自車の走行環境を認識する。自動運転ＥＣＵ６０は、認識した走行環境をもとに、自動運転によって自車を走行させるための走行計画を生成する。例えば中長期の走行計画として、自車を目的地へ向かわせるための推奨経路を生成する。また、推奨経路に従った走行を行うための短期の走行計画を生成する。具体例としては、車線変更のための操舵、速度調整のための加減速、及び障害物回避のための操舵及び制動等の実行を決定する。

そして、自動運転ＥＣＵ６０は、生成した走行計画に従い、自車の加速、制動、及び／又は操舵を車両制御ＥＣＵ４０に自動で行わせることで、ドライバに代わって運転操作を実施する自動運転を行う。以降では、自車の加速、制動、及び操舵を自動で行わせる自動運転を実施する場合を例に挙げて説明を行う。また、自動運転ＥＣＵ６０は、手動運転と自動運転との間での運転交代を制御する。手動運転とは、自車のブレーキ、ステアリング、スロットル、原動力といった主操縦系統について自動化を行わずにドライバが全て操作することを示す。自動運転ＥＣＵ６０での運転交代の制御は、自動運転区間の走行の終了、認識される走行環境若しくは周辺監視センサ５０でのセンシングの不具合等に応じて、自律的に行われる構成とすればよい。この自動運転ＥＣＵ６０が請求項の運転交代制御装置に相当する。

なお、自動運転ＥＣＵ６０での運転交代の制御によって自律的に行われる運転交代以外にも、後述する操作デバイス１２へのドライバによる入力操作に従って運転交代が行われる構成としてもよい。

ＨＭＩシステム１０は、図１に示すように、ＨＣＵ（Human Machine Interface Control Unit）１１、操作デバイス１２、ＤＳＭ（Driver Status Monitor）１３、表示装置１４、及び音声出力装置１５を備えており、自車のドライバからの入力操作を受け付けたり、自車のドライバのドライバ状態を監視したり、自車のドライバに向けて情報を提示したりする。ドライバ状態とは、自車のドライバの身体状態及び心理状態のいずれかであって、状態の悪化が表情に表れやすいものがより好ましい。

操作デバイス１２は、車両ＨＶのドライバが操作するスイッチ群である。操作デバイス１２は、各種の設定を行うために用いられる。例えば、操作デバイス１２としては、自車のステアリングのスポーク部に設けられたステアリングスイッチ等がある。

ＤＳＭ１３は、近赤外光源及び近赤外カメラと、これらを制御する制御ユニット等とによって構成されている。ＤＳＭ１３は、近赤外カメラを自車の運転席側に向けた姿勢にて、運転席正面にあたる、例えばステアリングコラムカバーに配置される。ＤＳＭ１３は、近赤外光源によって近赤外光を照射されたドライバの頭部を、近赤外カメラによって撮像する。このＤＳＭ１３が請求項の撮像装置に相当する。近赤外カメラによる撮像画像（以下、顔画像）は、制御ユニットによって画像解析される。制御ユニットは、例えば眠気といったドライバ状態をこの顔画像から逐次検出する。よって、ＤＳＭ１３の近赤外カメラは、ドライバ状態を検出するのに用いる撮像装置と言い換えることができる。ＤＳＭ１３では、集中漫然や快不快といった眠気以外のドライバ状態を検出する構成としてもよいが、以降では眠気を検出する場合を例に挙げて説明を続ける。

ＤＳＭ１３は、顔画像から、画像認識処理によって顔の輪郭、目、鼻、口などの部位を検出する。また、各部位の相対的な位置関係からドライバの顔向き，顔の位置等の姿勢情報を検出する。さらに、瞼形状の変化を開眼度として算出することで、閉眼の検知を行う。そして、この閉眼度の経時的な変化，顔部位の形状的な特徴，顔部位の経時的な変化等から、ドライバ状態としての眠気の度合い（以下、眠気レベル）を検出する。ＤＳＭ１３は、検出した眠気レベルをＨＣＵ１１へ出力する。また、ＤＳＭ１３は、撮像した顔画像をＨＣＵ１１へ出力する。

一例として、ＤＳＭ１３は、眠気レベルを１〜６の６段階に区分して検出する。６段階に区分される眠気は、覚醒度の高いものから順に、全く眠くなさそうな（言い換えると覚醒状態である）眠気レベル「１」，やや眠そうな眠気レベル「２」，眠そうな眠気レベル「３」，かなり眠そうな眠気レベル「４」，非常に眠そうな眠気レベル「５」，眠っている（言い換えると睡眠状態である）眠気レベル「６」とする。

例えばＤＳＭ１３は、眠気の兆候にあたる閉眼度の経時的な変化，顔部位の形状的な特徴，顔部位の経時的な変化等を検出し、眠気の兆候が見られる頻度等から眠気レベルを検出すればよい。眠気の兆候としては、閉眼度が一定以上，瞬き頻度が一定以上，視線の動きが一定量以下，顎が落ちている，頭が前に傾く等の種々のものを用いることができる。例えばＤＳＭ１３は、眠気の兆候を検出した場合に、眠気の兆候を検出したことを示す信号（以下、眠気兆候信号）をＨＣＵ１１へ出力する構成としてもよい。

表示装置１４は、ＨＣＵ１１から取得した画像データに基づいて、情報通知のための種々の画像を表示画面に表示する。なお、表示装置１４は、テキストも表示する構成としてもよい。表示装置１４としては、例えばコンビネーションメータのディスプレイ、ＣＩＤ（Center Information Display）、ＨＵＤ（Head-Up Display）等がある。コンビネーションメータのディスプレイは、例えば運転席前方に配置される。ＣＩＤは、センタクラスタの上方に配置される。ＨＵＤは、ＨＣＵ１１から取得した画像データに基づく画像の光を、フロントウインドシールドに規定された投影領域に投影することで、この画像の虚像を前景の一部と重ねてドライバが視認可能にする。なお、ＨＵＤが光を投影する投影部材は、フロントウインドシールドに限らず、透光性コンバイナであっても構わない。

音声出力装置１５としては、例えばオーディオスピーカ等がある。オーディオスピーカは、例えば自車のドアの内張り内に配置される。オーディオスピーカは、再生する音声によってドライバに向けた情報の提示を行う。

ＨＣＵ１１は、プロセッサ、揮発性メモリ、不揮発性メモリといった非遷移的実体的記録媒体（non- transitory tangible storage medium）、Ｉ／Ｏ、これらを接続するバスを備えるマイクロコンピュータを主体として構成され、操作デバイス１２，ＤＳＭ１３，表示装置１４，音声出力装置１５と車内ＬＡＮとに接続される。ＨＣＵ１１は、不揮発性メモリに記憶された制御プログラムを実行することにより、ＨＭＩシステム１０が担う機能に関する各種の処理を実行する。例えば、ＨＣＵ１１は、表示装置１４を制御し、自車のドライバの顔部位を少なくとも含むドライバ画像を表示装置１４に表示させるドライバ画像表示関連処理を実行する。

＜ＨＣＵ１１の概略構成＞
ここで、図２を用いてＨＣＵ１１の概略構成についての説明を行う。ＨＣＵ１１は、ドライバ画像表示関連処理に関して、図２に示すように、状態特定部１１１、タイミング検出部１１２、顔画像取得部１１３、兆候特定部１１４、ドライバ画像生成部１１５、及び表示制御部１１６を機能ブロックとして備える。なお、ＨＣＵ１１が実行する機能の一部又は全部を、一つ或いは複数のＩＣ等によりハードウェア的に構成してもよい。また、ＨＣＵ１１が備える機能ブロックの一部又は全部は、プロセッサによるソフトウェアの実行とハードウェア部材の組み合わせによって実現されてもよい。

状態特定部１１１は、ＤＳＭ１３から逐次取得する眠気レベルから、自車のドライバの眠気レベルを逐次特定する。タイミング検出部１１２は、ドライバ画像を表示すべき対象タイミングを検出する。対象タイミングとしては、ドライバ状態を改善すべきタイミングとドライバ状態が良好な度合いであるべきタイミングとがある。

タイミング検出部１１２は、状態特定部１１１で特定したドライバ状態が閾値以上に悪化した度合いである場合に、ドライバ状態を改善すべきタイミングとしての対象タイミングを検出する構成とすればよい。本実施形態の例では、状態特定部１１１で特定した眠気レベルが閾値以上となった場合に、対象タイミングとして検出するものとすればよい。ここで言うところの閾値は任意に設定可能な値である。例えば、眠気の有無を区別するための閾値（例えば眠気レベル「１」）としてもよいし、注意喚起が必要と推定される眠気レベルを閾値としてもよい。

また、タイミング検出部１１２は、自動運転ＥＣＵ６０で自動運転から手動運転に運転交代させる場合に、ドライバ状態が良好な度合いであるべきタイミングとしての対象タイミングを検出する構成としてもよい。本実施形態の例では、自動運転から手動運転への運転交代までの予定される残り時間が設定時間以下になった場合に、対象タイミングとして検出するものとすればよい。この残り時間は、運転交代までの予定時間が自動運転ＥＣＵ６０から取得できる場合には、この予定時間から特定すればよい。また、運転交代の予定地点が自動運転ＥＣＵ６０から取得できる場合には、現在地点から予定地点までの経路上の残り距離と設定車速とから特定すればよい。運転交代までの残り距離が自動運転ＥＣＵ６０から取得できる場合にも、この残り距離と設定車速とから特定すればよい。なお、設定時間は、一例として、ドライバ状態が良好な度合いでなかった場合に良好な度合いにまで改善するのに要すると推測される時間以上の値とすればよい。

顔画像取得部１１３は、ＤＳＭ１３から出力される顔画像を取得する。兆候特定部１１４は、ＤＳＭ１３から出力される眠気兆候信号を取得した場合に、ドライバ状態の悪化の兆候として、ドライバの眠気の兆候を特定する。

ドライバ画像生成部１１５は、顔画像取得部１１３で取得した顔画像に基づいてドライバ画像を生成する。ドライバ画像生成部１１５は、顔画像取得部１１３で取得した顔画像から、ドライバの両眼と両眉とを少なくとも含む顔の一部の領域（以下、絞り込み領域）を切り出してドライバ画像を生成する。絞り込み領域は、顔の一部であって、眼と眉とを少なくとも含む領域であればよく、鼻や耳の一部が含まれていても構わない。また、絞り込み領域は、ドライバ画像が表示される表示領域の形状に合わせた形状であればよい。本実施形態では、絞り込み領域は、顔幅方向の辺の方が長い矩形領域であるものとする。

ドライバ画像生成部１１５は、タイミング検出部１１２で対象タイミングを検出した時点に対応する顔画像からドライバ画像を生成する構成とすればよい。対象タイミングを検出した時点に対応する顔画像とは、タイミング検出部１１２で対象タイミングを検出した時点に顔画像取得部１１３で取得した顔画像としてもよいし、直前若しくは直後に取得した顔画像としてもよい。

また、ドライバ画像生成部１１５は、タイミング検出部１１２で対象タイミングを検出した時点から直近の過去一定時間内の顔画像のうち、状態特定部１１１で特定した眠気レベルが最も悪化していた時点に対応する顔画像からドライバ画像を生成する構成としてもよい。この構成を採用する場合には、顔画像取得部１１３で逐次取得する顔画像と、この顔画像に基づいて状態特定部１１１で特定された眠気レベルとを紐付けてＨＣＵ１１のメモリに格納しておく構成とすればよい。そして、このメモリに格納されている、対象タイミングを検出した時点から直近の過去一定時間内の顔画像のうち、紐付けられている眠気レベルが最も高い顔画像から、ドライバ画像を生成する構成とすればよい。なお、顔画像に基づいて状態特定部１１１で特定された眠気レベルとは、本実施形態の例では、顔画像をもとにＤＳＭ１３で検出した眠気レベルをもとに状態特定部１１１で特定された眠気レベルを指す。

他にも、ドライバ画像生成部１１５は、兆候特定部１１４でドライバの眠気の兆候を特定した時点に対応する顔画像からドライバ画像を生成する構成としてもよい。この構成を採用する場合には、兆候特定部１１４でドライバの眠気の兆候を特定した場合に、顔画像取得部１１３で逐次取得する顔画像のうちから、この眠気の兆候を特定するもととなった顔画像をＨＣＵ１１のメモリに格納しておく構成とすればよい。そして、このメモリに格納されている、眠気の兆候を特定するもととなった顔画像から、ドライバ画像を生成する構成とすればよい。一例としては、ＤＳＭ１３が眠気兆候信号を出力する場合に、眠気の兆候を検出するのに用いた顔画像のタイムスタンプを紐付けて出力するとともに、ＤＳＭ１３が顔画像を出力する場合にこの顔画像のタイムスタンプを紐付けて出力することで、眠気の兆候を特定するもととなった顔画像をＨＣＵ１１で特定可能とすればよい。

表示制御部１１６は、タイミング検出部１１２で対象タイミングを検出した場合に、ドライバ画像生成部１１５で生成したドライバ画像を表示装置１４に表示させる。表示制御部１１６は、ドライバ画像を静止画として表示させる構成としてもよいし、ドライバ画像を静止画のコマ送り画像として表示させる構成としてもよい。静止画のコマ送りの間隔は、任意に設定可能であって、例えば１０ｓｅｃごと等とすればよい。また、表示制御部１１６は、ドライバ画像をリピート再生して表示させる構成としてもよい。

表示制御部１１６は、ドライバ画像生成部１１５が、対象タイミングを検出した時点に対応する顔画像からドライバ画像を生成する場合には、対象タイミングを検出した時点に対応する顔画像に基づくドライバ画像を表示させることになる。これによれば、ドライバが、対象タイミングを検出した時点における自身の表情をドライバ画像から確認することが可能になる。

また、表示制御部１１６は、ドライバ画像生成部１１５が、対象タイミングを検出した時点から直近の過去一定時間内の顔画像のうち、状態特定部１１１で特定した眠気レベルが最も悪化していた時点に対応する顔画像からドライバ画像を生成する場合には、直近の過去一定時間内で眠気レベルが最も悪化していた時点に対応する顔画像に基づくドライバ画像を表示させることになる。これによれば、ドライバが、直近の過去一定時間内で眠気レベルが最も悪化していた時点における自身の表情をドライバ画像から確認することが可能になる。ドライバは、直近の過去一定時間内で眠気レベルが最も悪化していた時点における自身の表情を確認することで、覚醒状態の改善をより強く意識しやすくなるため、覚醒状態の改善の効果が高まる。

さらに、表示制御部１１６は、ドライバ画像生成部１１５が、兆候特定部１１４でドライバの眠気の兆候を特定した時点に対応する顔画像からドライバ画像を生成する場合には、ドライバの眠気の兆候を特定した時点に対応する顔画像に基づくドライバ画像を表示させることになる。これによれば、ドライバが、眠気の兆候が特定された時点における自身の表情をドライバ画像から確認することが可能になる。特に、眠気の兆候を特定するもととなった顔画像に基づくドライバ画像を表示させることで、眠気の兆候が表れた時点における自身の表情をドライバ画像から確認することが可能になる。ドライバは、眠気の兆候が表れた時点における自身の表情を確認した場合にも、覚醒状態の改善をより強く意識しやすくなるため、覚醒状態の改善の効果が高まる。

＜手動運転時におけるＨＣＵ１１でのドライバ画像表示関連処理について＞
ここで、図３のフローチャートを用いて、手動運転時におけるＨＣＵ１１でのドライバ画像表示関連処理の流れの一例について説明を行う。図３のフローチャートは、自車の内燃機関又はモータジェネレータを始動させるためのスイッチ（以下、パワースイッチ）がオンになった後、自車の手動運転が開始された場合に開始する構成とすればよい。

まず、ステップＳ１では、状態特定部１１１が、ＤＳＭ１３から取得する眠気レベルから、自車のドライバの眠気レベルを特定する。ステップＳ２では、Ｓ１で特定した眠気レベルが閾値以上であった場合（Ｓ２でＹＥＳ）には、ステップＳ４に移る。一方、Ｓ１で特定した眠気レベルが閾値未満であった場合（Ｓ２でＮＯ）には、ステップＳ３に移る。

ステップＳ３では、手動運転時におけるドライバ画像表示関連処理の終了タイミングであった場合（Ｓ３でＹＥＳ）は、ドライバ画像表示関連処理を終了する。一方、手動運転時におけるドライバ画像表示関連処理の終了タイミングでなかった場合（Ｓ３でＮＯ）には、Ｓ１に戻って処理を繰り返す。手動運転時におけるドライバ画像表示関連処理の終了タイミングの一例としては、自車が手動運転から自動運転に運転交代したこと、自車のパワースイッチがオフになったこと等がある。

Ｓ２において眠気レベルが閾値以上であった場合に行われる処理であるステップＳ４では、ドライバ画像生成部１１５がドライバ画像を生成する。ステップＳ５では、表示制御部１１６が、Ｓ４で生成したドライバ画像の表示装置１４での表示を開始させる。なお、ＨＣＵ１１は、ドライバ画像の表示開始のタイミングで音声出力装置１５に指示を行って、警報音も出力させる構成としてもよい。

ここで、図４を用いて、表示装置１４で表示されるドライバ画像の一例について説明を行う。図４では、表示装置１４が、コンビネーションメータのディスプレイである場合を例に挙げて説明を行う。図４のＭｅがメータを示しており、ＤＰがドライバ画像を示している。図４に示す例のように、コンビネーションメータのディスプレイにドライバ画像を表示させる場合には、ドライバの顔画像の一部を切り出したドライバ画像を、表示領域に合わせて拡大して表示させればよい。ドライバ画像は、図４に示すように、メータＭｅに重畳して表示させる構成とすればよい。なお、ドライバ画像は、メータＭｅに重ならないように表示させる構成としてもよい。

ステップＳ６では、手動運転時におけるドライバ画像表示関連処理の終了タイミングであった場合（Ｓ６でＹＥＳ）は、表示制御部１１６が、ドライバ画像の表示装置１４による表示を終了させた後、ドライバ画像表示関連処理を終了する。一方、手動運転時におけるドライバ画像表示関連処理の終了タイミングでなかった場合（Ｓ６でＮＯ）には、ステップＳ７に移る。

ステップＳ７では、状態特定部１１１が、Ｓ１と同様にして、自車のドライバの眠気レベルを特定する。ステップＳ８では、Ｓ７で特定した眠気レベルが閾値以上であった場合（Ｓ８でＹＥＳ）には、Ｓ６に戻って処理を繰り返す。一方、Ｓ７で特定した眠気レベルが閾値未満であった場合（Ｓ８でＮＯ）には、ステップＳ９に移る。ステップＳ９では、表示制御部１１６が、ドライバ画像の表示装置１４による表示を終了させ、Ｓ１に戻って処理を繰り返す。

＜自動運転時におけるＨＣＵ１１でのドライバ画像表示関連処理について＞
続いて、図５のフローチャートを用いて、自動運転時におけるＨＣＵ１１でのドライバ画像表示関連処理の流れの一例について説明を行う。図５のフローチャートは、パワースイッチがオンになった後、自車の自動運転が開始された場合に開始する構成とすればよい。

ステップＳ２１では、タイミング検出部１１２が、自動運転から手動運転への運転交代までの予定される残り時間を特定する。ステップＳ２２では、Ｓ２１で特定した残り時間が設定時間以下となった場合（Ｓ２２でＹＥＳ）には、ステップＳ２３に移る。一方、Ｓ２１で特定した残り時間が設定時間以下となっていない場合（Ｓ２２でＮＯ）には、Ｓ２１に戻って処理を繰り返す。

ステップＳ２３では、ドライバ画像生成部１１５がドライバ画像を生成する。ステップＳ２４では、表示制御部１１６が、Ｓ２３で生成したドライバ画像の表示装置１４での表示を開始させる。なお、表示制御部１１６は、ドライバ画像を表示させる場合に、自動運転から手動運転への運転交代を促すアイコン画像やテキストといったガイダンスも表示装置１４に表示させる構成としてもよい。

ここで、図６を用いて、表示装置１４で表示されるドライバ画像及びガイダンスの一例について説明を行う。図６でも、図５と同様に、表示装置１４が、コンビネーションメータのディスプレイである場合を例に挙げて説明を行う。図４のＭｅがメータを示しており、ＤＰがドライバ画像を示しており、ＧＰがガイダンスを示している。図６に示す例のように、表示装置１４の表示領域に、ドライバ画像とガイダンスとを表示させればよい。また、ドライバ画像は、ドライバの顔画像の一部を切り出したドライバ画像を、拡大して表示させればよい。

ステップＳ２５では、自動運転から手動運転への運転交代が完了した場合（Ｓ２５でＹＥＳ）は、ドライバ画像表示関連処理を終了する。一方、自動運転から手動運転への運転交代が完了していない場合（Ｓ２５でＮＯ）には、Ｓ２５の処理を繰り返す。自動運転から手動運転への運転交代が完了したか否かは、自動運転ＥＣＵ６０をモニタすることで表示制御部１１６が判断すればよい。

＜実施形態１のまとめ＞
実施形態１の構成によれば、ドライバ自身の顔画像から切り出したドライバ画像を表示装置１４に表示させるので、ドライバが自身の表情から直感的に眠気の度合いまで容易に理解できる。さらに、ドライバ画像は、眠気レベルが閾値以上と特定された場合に表示させるので、覚醒状態を改善しなければならない場合にドライバに自身の眠気の度合いを理解させ、覚醒状態を改善させることが可能になる。また、ドライバ画像は、自動運転から手動運転に運転交代する場合に表示させるので、手動運転への運転交代までに覚醒していなければならない場合にドライバに自身の眠気の度合いを理解させ、手動運転に適した覚醒状態とさせることが可能になる。

他にも、ドライバの顔画像の一部である、眼と眉とを少なくとも含む絞り込み領域を顔画像から切り出してドライバ画像として表示させるので、絞り込み領域を拡大して表示させることが可能になる。顔部位のうちの眼は人の表情が表れやすいため、眼を含む絞り込み領域を表示させることで、表示装置１４の限られた表示領域に、ドライバが自身の表情を確認しやすい領域を拡大して表示させることが可能になる。よって、ドライバが自身の眠気の度合いを特に理解しやすくなる。また、目に加えて眉を含む絞り込み領域を表示させることで、顔画像に対する絞り込み領域を小さく抑えながらも、ドライバが自身の表情を確認する助けになる情報を増やし、ドライバが自身の眠気の度合いをさらに理解しやすくなる。

さらに、ＤＳＭ１３（つまり、ドライバ状態を検出するのに用いる撮像装置）で撮像した顔画像に基づくドライバ画像を表示させるので、眠気といったドライバ状態を検出するのに用いた顔画像を、ドライバ画像を表示することにも利用することできる。よって、別個に撮像装置を設けるコストを抑えることができる。また、眠気といったドライバ状態を検出するのに用いる顔画像、ドライバ画像を表示することにも利用するので、ドライバ状態の悪化の兆候が表れたときの画像やドライバ状態の度合いごとの画像との紐付けを容易に行うことができる利点がある。

（実施形態２）
実施形態１では、眠気レベルといったドライバ状態の度合いをＤＳＭ１３の制御ユニットで検出する構成を示したが、必ずしもこれに限らない。例えば、ＤＳＭ１３の制御ユニットの機能をＨＣＵ１１が担う構成としてもよい。

（実施形態３）
実施形態１では、顔画像からドライバの眼と眉とを少なくとも含む領域を切り出した絞り込み領域の画像をドライバ画像として表示させる構成を示したが、必ずしもこれに限らない。例えば、顔画像からドライバの眼を少なくとも含む領域を切り出した絞り込み領域の画像（図７参照）をドライバ画像として表示させる構成としてもよい。これによれば、ドライバが自身の表情を確認しやすい眼を少なくとも含む領域を拡大して表示させることが可能になるので、ドライバが自身の眠気の度合いを特に理解しやすくなる。

また、ドライバの顔のうちの眠気の兆候が検出された顔部位を少なくとも含む領域に絞り込んだ絞り込み領域の画像をドライバ画像として表示させる構成としてもよい。この構成を採用する場合には、ＤＳＭ１３で眠気兆候信号をＨＣＵ１１へ出力する場合に、眠気の兆候を検出した顔部位の情報も出力する構成とすればよい。そして、兆候特定部１１４が、眠気の兆候を検出した顔部位の情報から眠気が表れている顔部位も特定する構成とすればよい。これによれば、眠気が表れている顔部位を少なくとも含む領域を拡大して表示させることが可能になるので、ドライバが自身の眠気の度合いを特に理解しやすくなる。

なお、ドライバの眼及び眉、又は眼に加え、ドライバの顔のうちの眠気の兆候が検出された顔部位を少なくとも含む領域に絞り込んだ絞り込み領域の画像をドライバ画像として表示させる構成としてもよい。他にも、ドライバの顔画像をドライバ画像として表示させる構成としてもよい。

（実施形態４）
前述の実施形態では、ドライバ状態の検出にＤＳＭ１３を用いる構成を示したが、必ずしもこれに限らない。ドライバ状態の検出には、自車の舵角センサで検出する操舵角の経時変化等の車両信号を用いる構成としてもよいし、脈波センサ，心電センサ，呼吸センサ等の生体センサを用いる構成としてもよい。これに伴い、ＤＳＭ１３を用いて検出できるドライバ状態以外のドライバ状態を対象とする構成としてもよい。

なお、生体センサは、ステアリングホイール，運転席シート等に設けるといったように自車に設ける構成としてもよいし、ドライバが装着するウェアラブルデバイスに設けられる構成としてもよい。ドライバが装着するウェアラブルデバイスに生体センサが設けられている場合には、例えば無線通信を介して、生体センサでの検出結果をＨＣＵ１１が取得する構成とすればよい。

（実施形態５）
前述の実施形態では、ドライバの顔画像から切り出した画像をドライバ画像としたり、ドライバの顔画像をドライバ画像としたりする構成を示したが、必ずしもこれに限らない。例えば、ドライバの顔画像を加工した画像をドライバ画像とする構成としてもよい。

例えば、表示制御部１１６が、実際よりも眠そうな表情に加工を行ってドライバ画像を表示させるといった、ドライバ状態の度合いが悪化して見える方向に表情を誇張する加工を行ってドライバ画像を表示させる構成としてもよい。一例としては、公知の手法によって、瞼が実際よりも閉じているように加工する等すればよい。これによれば、実際よりもドライバ状態が悪化して見える表情をドライバが確認することにより、ドライバが覚醒状態の改善といったドライバ状態の改善をより強く意識しやすくなるため、ドライバ状態の改善の効果が高まる。

他にも、表示制御部１１６が、実際よりも覚醒していそうな表情に加工を行ってドライバ画像を表示させるといった、ドライバ状態の度合いが改善して見える方向に表情を誇張する加工を行ってドライバ画像を表示させる構成としてもよい。一例としては、公知の手法によって、瞼が実際よりも開いているように加工する等すればよい。これによれば、実際よりもドライバ状態が改善して見える表情をドライバが確認することにより、ドライバが理想的なドライバ状態をより強く意識しやすくなるため、ドライバ状態の改善の効果が高まる。

また、近赤外カメラで撮像した顔画像を、可視光で撮像した画像に近づけるように加工した画像をドライバ画像に用いる構成としてもよい。

（実施形態６）
実施形態５では、ドライバの顔画像を加工した画像をドライバ画像とする構成を示したが、一部の顔部位を強調する加工を行った画像をドライバ画像とする構成としてもよい。例えば、図８に示すように、絞り込み領域に含まれる顔部位のうちのドライバの眼と眉だけを強調する加工を行った画像をドライバ画像とする構成とすればよい。他にも、ドライバ画像生成部１１５でドライバの顔画像をもとに、顔の特徴点を抽出したフレームモデル像を生成し、図９に示すように、このフレームモデル像の絞り込み領域に含まれる顔部位のうちのドライバの眼と眉だけを強調する加工を行った画像をドライバ画像とする構成としてもよい。なお、絞り込み領域に含まれる顔部位のうちのドライバの眼だけを強調する加工を行った画像をドライバ画像とする構成としてもよい。

（実施形態７）
前述の実施形態では、ＤＳＭ１３の近赤外カメラで撮像した顔画像を用いてドライバ画像を生成する構成を示したが、必ずしもこれに限らない。例えば、ＤＳＭ１３の近赤外カメラ以外の可視光カメラで撮像した顔画像を用いてドライバ画像を生成する構成としてもよい。

（実施形態８）
前述の実施形態では、撮像装置で撮像した顔画像からドライバ画像を切り出す構成を示したが、必ずしもこれに限らない。例えば、撮像装置で撮像する撮像範囲自体が顔の一部に絞り込まれている構成であってもよい。

（実施形態９）
前述の実施形態では、ドライバ状態を改善すべきタイミングとドライバ状態が良好な度合いであるべきタイミングとでドライバ画像を表示させる構成を示したが、必ずしもこれに限らない。例えば、ドライバ状態を改善すべきタイミングとドライバ状態が良好な度合いであるべきタイミングとのうちの一方のみでドライバ画像を表示させる構成としてもよい。

（実施形態１０）
前述の実施形態では、ドライバ状態が良好な度合いであるべきタイミングとして、自動運転から手動運転に運転交代する場合を例に挙げたが、必ずしもこれに限らない。例えば、ドライバが運転操作に集中すべき地点への接近時を、ドライバ状態が良好な度合いであるべきタイミングとしてもよい。一例としては、手動運転時において見通しの悪い交差点や事故多発地点といった注意地点までの距離が設定距離以下となった場合に、タイミング検出部１１２が対象タイミングを検出する構成とすればよい。注意地点については、地図データから特定する構成としてもよいし、通信機２０を介して取得する交通情報から特定する構成としてもよい。

なお、自動運転が可能であることを必須としない構成では、運転支援システム１にＡＤＡＳロケータ３０や周辺監視センサ５０や自動運転ＥＣＵ６０を含まない構成としてもよい。

（実施形態１１）
前述の実施形態では、ドライバの顔画像を撮像する撮像装置が運転席に着座したドライバを正面から撮像できる場合を例に挙げて説明を行ったが、必ずしもこれに限らない。例えば、ドライバの顔画像を撮像する撮像装置が、インストルメントパネルのセンタクラスタやセンタコンソールに設けられている場合には、以下のようにすればよい。

一例として、ドライバの顔がこの撮像装置に向いたときに撮像した顔画像に基づいてドライバ画像を生成する構成とすればよい。他の例としては、撮像装置としてライトフィールドカメラ等の深度カメラを用いる構成としてもよい。この場合には、深度カメラで撮像した車両中心線側のドライバの半分の顔の３Ｄモデルを生成した後、もう半分の顔を補完して顔全体の３Ｄモデルを生成し、３Ｄモデルの正面視画像をドライバ画像として表示させる構成とすればよい。

なお、本発明は、上述した実施形態及び変形例に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態及び変形例にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ 運転支援システム、１０ ＨＭＩシステム、１１ ＨＣＵ（車両用表示制御装置）、１２ 操作デバイス、１３ ＤＳＭ（撮像装置）、１４ 表示装置、１５ 音声出力装置、２０ 通信機、３０ ＡＤＡＳロケータ、３１ ＧＮＳＳ受信機、３２ 慣性センサ、３３ 地図ＤＢ、４０ 車両制御ＥＣＵ、５０ 周辺監視センサ、６０ 自動運転ＥＣＵ（運転交代制御装置）、１１１ 状態特定部、１１２ タイミング検出部、１１３ 顔画像取得部、１１４ 兆候特定部、１１５ ドライバ画像生成部、１１６ 表示制御部

Claims (12)

1. 車両で用いられる表示装置（１４）を制御する車両用表示制御装置であって、
   前記車両のドライバの顔部位を少なくとも撮像する撮像装置（１３）で撮像された画像に基づく、前記顔部位を少なくとも含むドライバ画像を前記表示装置に表示させる表示制御部（１１６）と、
   前記ドライバの身体状態及び心理状態のいずれかであるドライバ状態を改善すべきタイミング、及び前記ドライバ状態が良好な度合いであるべきタイミングのいずれかである対象タイミングを検出するタイミング検出部（１１２）とを備え、
   前記表示制御部は、前記タイミング検出部で前記対象タイミングを検出した場合に、前記ドライバ画像を表示させる車両用表示制御装置。
2. 請求項１において、
   前記ドライバ状態の度合いを特定する状態特定部（１１１）を備え、
   前記タイミング検出部は、前記状態特定部で特定した前記ドライバ状態が閾値以上に悪化した度合いである場合に、前記ドライバ状態を改善すべきタイミングとして前記対象タイミングを検出する車両用表示制御装置。
3. 請求項１又は２において、
   前記車両は、前記ドライバに代わって運転操作を実施する自動運転と前記ドライバによる手動運転との間での運転交代を制御する運転交代制御装置（６０）を備える車両であって、
   前記タイミング検出部は、前記運転交代制御装置で前記自動運転から前記手動運転に運転交代させる場合に、前記ドライバ状態が良好な度合いであるべきタイミングとして前記対象タイミングを検出する車両用表示制御装置。
4. 請求項３において、
   前記表示制御部は、前記運転交代制御装置で前記自動運転から前記手動運転に運転交代させる場合を前記タイミング検出部で前記対象タイミングとして検出して前記ドライバ画像を表示させた後は、この運転交代が完了した場合に前記ドライバ画像の表示を終了させる車両用表示制御装置。
5. 請求項１〜４のいずれか１項において、
   前記ドライバ状態の度合いを特定する状態特定部（１１１）を備えるものであって、
   前記表示制御部は、前記撮像装置で撮像された直近の過去一定時間の画像のうち、前記状態特定部で特定した前記ドライバ状態の度合いが最も悪化していた時点に対応する画像に基づく前記ドライバ画像を表示させる車両用表示制御装置。
6. 請求項１〜４のいずれか１項において、
   前記ドライバ状態の悪化の兆候を特定する兆候特定部（１１４）を備え、
   前記表示制御部は、前記撮像装置で撮像された画像のうち、前記兆候特定部で前記ドライバ状態の悪化の兆候を特定した時点に対応する画像に基づく前記ドライバ画像を表示させる車両用表示制御装置。
7. 請求項１〜６のいずれか１項において、
   前記表示制御部は、前記ドライバの顔のうちの眼と眉とを少なくとも含む領域に絞り込んだ絞り込み領域の画像を前記ドライバ画像として表示させる車両用表示制御装置。
8. 請求項１〜６のいずれか１項において、
   前記表示制御部は、前記ドライバの顔のうちの眼を少なくとも含む領域に絞り込んだ絞り込み領域の画像を前記ドライバ画像として表示させる車両用表示制御装置。
9. 請求項１〜６のいずれか１項において、
   前記ドライバ状態の悪化の兆候として、前記ドライバ状態の悪化の兆候が表れている顔部位を特定する兆候特定部（１１４）を備えるものであって、
   前記表示制御部は、前記ドライバの顔のうちの前記兆候特定部で特定した顔部位を少なくとも含む領域に絞り込んだ絞り込み領域の画像を前記ドライバ画像として表示させる車両用表示制御装置。
10. 請求項７〜９のいずれか１項において、
    前記表示制御部は、前記車両のドライバの顔全体を少なくとも撮像する前記撮像装置で撮像された顔画像から切り出した前記絞り込み領域の画像を前記ドライバ画像として表示させる車両用表示制御装置。
11. 請求項１〜１０のいずれか１項において、
    前記表示制御部は、前記ドライバ状態の度合いが悪化して見える方向に表情を誇張する加工を行って前記ドライバ画像を表示させる車両用表示制御装置。
12. 請求項１〜１０のいずれか１項において、
    前記表示制御部は、前記ドライバ状態の度合いが改善して見える方向に表情を誇張する加工を行って前記ドライバ画像を表示させる車両用表示制御装置。

Images