JP2014181020A - 走行制御装置 - Google Patents

Abstract

【課題】運転者の注意行動を明確に検出して、安全走行運転のための措置を行うことができる走行制御装置を提供する。
【解決手段】走行する上で必要とされる各種情報に基づいて、車両の自動運転制御を行う制御部１７０と、車両を運転している運転者の顔画像を取得する顔画像取得手段１６０と、顔画像における時系列的な顔の向きの変化に応じて、運転者の注意行動の有無を判定する判定部１７０、Ｓ１１０とを設け、制御部１７０は、所定時間注意行動が認められないときに、運転者に対する警告用の警告部１８０の作動、および自動運転制御における走行状態の変更にかかる駆動部の作動禁止あるいは作動内容変更の少なくとも一方を実行するようにする。
【選択図】図１

Description

本発明は、運転中における運転者の注意行動に基づいて安全走行運転のための措置を行う走行制御装置に関するものである。

従来の走行制御装置として、例えば、特許文献１に示されるものが知られている。特許文献１の走行制御装置は、自動車の周囲状況と自動車の走行状態とに応じて、自動車の運転者が払うべき注意の度合いを設定する運転者注意レベル設定手段と、運転者が自動車の周囲状況および走行状態に払っている注意の度合いを検出する運転者注意レベル検出手段と、運転者注意レベル検出手段が検出した運転者が払っている注意の度合いが、運転者注意レベル設定手段が設定した運転者が払うべき注意の度合いよりも低い時に、運転者に対する注意喚起、自動車の減速、自動車の加速の禁止、自動車の走行方向の変更、および自動車の車線変更の中止の少なくとも１つの対応を行う走行制御手段と、を備えている。

特許文献１では、運転者注意レベル検出手段は、視線検知装置によって検出された運転者の視線方向に基づいて、運転者が払っている注意の度合いを検出するようになっている。運転者が払っている注意の度合いは、先行車、歩行者、路側物等に対して運転者が視線を向けて安全確認を行った回数、あるいは安全確認を行った間隔等となっている。そして、例えば、運転者がレーンチェンジを行う際に、運転者によるサイドミラー（あるいは、側方、前方）に対する視線および安全確認動作が定期的（例えば、１秒間に２００ｍｓ以上）に運転者注意レベル検出手段により検知されなかった場合には、アクチュエータ制御部が警報アクチュエータを動作させて運転者に警告し、レーンチェンジを中止させるようにしている。

特開２００９−１８６２５号公報

しかしながら、特許文献１では、上記のように運転者が払っている注意の度合いを、運転者の視線方向を基に検出するようにしている。人の視線の動きは、眼の瞳の動きを把握するものとなるが、瞳の動く範囲は、開かれた眼の中では限られた小さな範囲であって、そこから運転者の視線方向（注意の度合い）を検出することは実際には難しい。

本発明の目的は、上記問題に鑑み、運転者の注意行動を明確に検出して、安全走行運転のための措置を行うことができる走行制御装置を提供することにある。

本発明は上記目的を達成するために、以下の技術的手段を採用する。

本発明では、走行する上で必要とされる各種情報に基づいて、車両の自動運転制御を行う制御部（１７０）と、
車両を運転している運転者の顔画像を取得する顔画像取得手段（１６０）と、
顔画像における時系列的な顔の向きの変化に応じて、運転者の注意行動の有無を判定する判定部（１７０、Ｓ１１０）とを備え、
制御部（１７０）は、所定時間注意行動が認められないときに、運転者に対する警告用の警告部（１８０）の作動、および自動運転制御における走行状態の変更にかかる駆動部の作動禁止あるいは作動内容変更の少なくとも一方を実行することを特徴としている。

この発明によれば、判定部（１７０、Ｓ１１０）は、自動運転制御時における運転者の注意行動の有無を、顔画像における時系列的な顔の向きの変化から判定するようにしているので、例えば従来技術のように小さな視線方向の変化から判定するものと比べて、顔の向きの変化は大きく得られることとなり、判定精度を格段に向上させることが可能となる。そして、制御部（１７０）は、所定時間注意行動が認められないときには、運転者に対する警告用の警告部（１８０）の作動、および自動運転制御における走行状態の変更にかかる駆動部の作動禁止あるいは作動内容変更の少なくとも一方を実行するので、確実に安全走行運転を実現することができる。

尚、上記各手段の括弧内の符号は、後述する実施形態記載の具体的手段との対応関係を示すものである。

第１実施形態における走行制御装置の全体を示すブロック図である。 第１実施形態における制御部が実行する安全走行運転措置制御を示すフローチャートである。 第２実施形態における走行制御装置の全体を示すブロック図である。 第２実施形態における制御部が実行する安全走行運転措置制御を示すフローチャートである。 第３実施形態における制御部が実行する安全走行運転措置制御を示すフローチャートである。 第４実施形態における制御部が実行する安全走行運転措置制御を示すフローチャートである。

以下に、図面を参照しながら本発明を実施するための複数の形態を説明する。各形態において先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を適用することができる。各実施形態で具体的に組み合わせが可能であることを明示している部分同士の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても実施形態同士を部分的に組み合せることも可能である。

（第１実施形態）
第１実施形態における走行制御装置１００について図１、図２を用いて説明する。走行制御装置１００は、車両が走行する上で必要とされる各種情報（後述）に基づいて、車両の自動運転制御を行うと共に、運転者の運転時における注意行動を監視して、注意行動が認められないときに安全走行運転のための措置制御を行う装置となっている。

走行制御装置１００は、図１に示すように、測位情報検知手段１１０、走行経路情報検知手段１２０、周辺車両情報検知手段１３０、周辺環境認識手段１４０、自車両情報収集手段１５０、顔画像取得手段１６０、および制御部１７０等を備えている。そして、制御部１７０は、アクセル開度制御装置２１０、操舵角制御装置２２０、およびブレーキ制御装置２３０に対する指示を行うようになっている。

測位情報検知手段１１０は、例えばＧＰＳ受信機（システムに専用のものでも良いが、カーナビゲーション装置用に設けられたものでも良い）により構成されるものであり、受信したＧＰＳ信号に基づいてリアルタイムに自車両の現在位置を示す測位情報（経緯度情報）を検知する手段となっている。測位情報検知手段１１０は検知した測位情報を後述する制御部１７０ に出力するようになっている。尚、上記測位情報検知手段１１０には、例えば、電子基準点を用いるＲＴＫ（ｒｅａｌｔｉｍｅ ｋｉｎｅｍａｔｉｃ）−ＧＰＳや、基準局からの補正データを用いるＤ（ｄｉｆｆｅｒｅｎｔｉａｌ）−ＧＰＳのような高精度測位可能なものを用いる。

走行経路情報検知手段１２０は、車両の走行レーンに沿った位置に所定間隔で設置された路上機（情報提供手段に相当）との間で電波などを媒体とした路車間通信を行うことにより、路上機側から発信された走行経路情報を受信する検知手段となっている。走行経路情報検知手段１２０は、検知した走行経路情報を後述する制御部１７０に出力するようになっている。この場合、路上機側から発信される上記走行経路情報には、例えば以下（ａ）〜（ｄ）のような各情報が含まれる。

（ａ）車両の自動運転制御時に供される走行レーン上に所定間隔で設定された多数の基準点のうち、当該車両の進行方向に位置する複数の基準点（つまり、車両が次に進むべき方向に並んだ複数の基準点）についての高精度の位置情報（例えば経緯度情報）、
（ｂ）走行レーンが設定された道路における車両の進行先に係る渋滞情報、
（ｃ）走行レーンが設定された道路における車両の進行先に存在する信号機の状態を示す信号機情報、
（ｄ）走行レーンが設定された道路についての制限速度情報および交通規制情報。

周辺車両情報検知手段１３０は、自車両から所定距離の範囲内に位置している他車両との間で双方向通信を行うことにより、当該他車両の現在位置情報を取得すると共に、自車両の現在位置情報を他車両へ送信する機能を備えた検知手段となっている。周辺車両情報検知手段１３０は、取得した他車両の現在位置情報を含む周辺車両情報を後述する制御部１７０に出力するようになっている。

周辺環境認識手段１４０は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）カメラ、ミリ波或いはレーザレーダ、超音波センサなどを利用した自立的手法（或いはそれらを組み合わせた自立的手法）により障害物を検知できるように構成された認識手段となっている。周辺環境認識手段１４０は、自車両周辺の環境や路面状況などの認識、路上の障害物の有無および位置の認識などを行うと共に、その認識情報を周辺環境情報として後述する制御部１７０に出力するようになっている。

自車両情報収集手段１５０は、自車両の情報、即ち、車速、操舵角、エンジン回転数、その他ダイアグ情報などを収集する手段であり、収集した自車両情報を後述する制御部１７０に出力するようになっている。

顔画像取得手段１６０は、運転中における運転者の顔画像を取得するものであり、車室内において、例えば、運転者の顔と対向するようにステアリングコラムに装着されている。顔画像取得手段１６０としては、例えば、ＣＣＤカメラ等を用いることができる。顔画像取得手段１６０は、運転時における運転者の顔を所定の周期で時系列的に取得し、取得した顔画像データを後述する制御部１７０に出力するようになっている。

本実施形態では、車両には、図示しない眠気判定装置が搭載されており、この眠気判定装置で使用されるカメラは、本走行制御装置１００における顔画像取得手段１６０と兼用されている。

尚、眠気判定装置は、時系列的にカメラによって運転者の顔画像を取得して、得られた顔画像から運転者の状態、例えば、運転者の眼の開き具合、視線の向き、顔の向き、運転に対する集中度等を把握して、安全運転に繋がるように支援する装置である。具体的には、カメラによって得られる運転者の顔画像から、例えば、眼の開き具合を把握することで、運転者が眠気を催しているか否かを判定し、眠気を催しているようであれば、適宜、アラーム等を作動させて運転者を覚醒させる、あるいは、ブレーキ装置を作動させて減速させる、更には強制停止させる、等の安全運転支援を行う。

制御部１７０は、コンピュータを主体に構成されたもので、上記の測位情報検知手段１１０、走行経路情報検知手段１２０、周辺車両情報検知手段１３０、周辺環境認識手段１４０、および自車両情報収集手段１５０からの各種情報（測位情報、走行経路情報、周辺車両情報、周辺環境情報、自車両情報）、並びに予め設定されたプログラムなどに基づいて、車両を自動運転制御させる際のアクセル開度、操舵角、ブレーキ踏み力等についての各制御値を決定する機能を備えている。

制御部１７０は、決定した各制御値に基づいて、アクセルの開度を制御するアクセル開度制御装置２１０、ステアリングによる操舵角を制御する操舵角制御装置２２０、およびブレーキの効き具合を制御するブレーキ制御装置２３０の駆動制御を実行することにより、当該車両の自動運転制御を実現する構成となっている。上記のアクセル、ステアリング、ブレーキ等は、本発明の駆動部に対応する。

加えて、制御部１７０は、顔画像取得手段１６０から得られる顔画像における時系列的な顔の向きの変化に応じて、運転者が車両の走行状態を変更しようとする際の注意行動を行っているか否かの判定をして、安全走行運転のための措置を行うようになっている（詳細後述）。制御部１７０は、運転者の注意行動の有無を判定する判定部でもある。

以上のように形成される走行制御装置１００の作動について、以下、図２を加えて説明する。

まず、制御部１７０は、自動運転制御を行う。即ち、制御部１７０は、測位情報検知手段１１０から測位情報をリアルタイムで常時収集し、走行経路情報検知手段１２０から走行経路情報を収集し、周辺車両情報検知手段１３０から周辺車両情報を収集し、周辺環境認識手段１４０から周辺環境情報を収集し、更に自車両情報収集手段１５０から自車両情報を収集する。

次に、制御部１７０は、収集した各種情報（測位情報、走行経路情報、周辺車両情報、周辺環境情報、自車両情報）に基づいて、アクセル、ステアリング、ブレーキに対する制御値を決定する。そして、制御部１７０は、決定した各制御値に基づいて、アクセル開度制御装置２１０、操舵角制御装置２２０、およびブレーキ制御装置２３０に対して駆動制御を実行することにより、当該車両の自動運転制御を行う。

更に、制御部１７０は、図２に示すフローチャートに基づいて、安全走行運転のための措置制御を行う。

まず、ステップＳ１００で、制御部１７０は、顔画像取得手段１６０から顔画像を所定の周期ごとに取得して、顔の向きの変化を把握することで、運転中における運転者の注意行動の有無を監視していく。運転者の顔の向きとしては、例えば取得される顔画像の鼻（口）が画像のほぼ左右方向中心に位置している場合は、運転者は正面を向いているものとして捉える。また、例えば取得される顔画像の主に顔画像の鼻（口）が画像の左側に位置している場合は、運転者は右側を向いているものとして捉える。更に、例えば取得される顔画像の主に顔画像の鼻（口）が画像の右側に位置している場合は、運転者は左側を向いているものとして捉える。このように、制御部１７０は、運転者の顔領域を中心、右、左とする３つのゾーンを設定することで、顔の向きの変化を把握する。尚、上記ゾーンは、３つに限定されるものではなく、任意に設定可能である。また、顔の向きを把握するにあたっては、上記のように、顔画像の鼻（口）に限らず、眼、眉、頬等の顔画像上の位置関係を用いて判定するようにしても良い。

運転者が正面を向いているときは、車両前方を見ながら通常運転をしているものと解される。また、運転者が右あるいは左を向いているときは、例えば、走行レーンを変更（レーンチェンジ）するために右あるいは左のレーン状況を確認している（注意行動を行っている）ものと解される。

そして、ステップＳ１１０で、上記のような顔の向きの変化から、制御部１７０は、運転者が注意行動を行っているか否かを判定する。判定の要領としては、運転者の顔の向きが、正面向きから、予め定めた所定時間以上、右あるいは左向きに変化したときに、運転者は、右あるいは左を見ており、右あるいは左のレーン状況を確認しているものと見なして、注意行動有りと判定する。逆に、運転者の顔の向きの変化した時間が、所定時間未満であると、運転者は、意図的に右あるいは左を向いてはおらず、右あるいは左のレーン状況確認をしていないものと見なして、注意行動無しと判定する。ステップＳ１１０は、制御部１７０（判定部）が、注意行動の有無を判定する判定ステップとなっている。

そして、ステップＳ１１０で注意行動有りと判定（Ｙｅｓ判定）すると、制御部１７０は、ステップＳ１２０で、上記の自動運転制御における走行状態の変更にかかる駆動部作動を許可する。つまり、操舵角制御装置２２０（駆動部としてのステアリング）に対して、レーンチェンジのための操舵角変更を許可する。

一方、ステップＳ１１０で注意行動無しと判定（Ｎｏ判定）すると、制御部１７０は、ステップＳ１３０で、上記の自動運転制御における走行状態の変更にかかる駆動部の作動を禁止する。つまり、操舵角制御装置２２０（駆動部としてのステアリング）に対して、レーンチェンジのための操舵角変更を禁止する。

以上より、本実施形態においては、制御部１７０（判定部）は、自動運転制御時において、運転者が車両の走行状態を変更しようとする際の注意行動の有無を、顔画像における時系列的な顔の向きの変化から判定するようにしているので、例えば従来技術のように小さな視線方向の変化から判定するものと比べて、顔の向きの変化は大きく得られることとなり、判定精度を格段に向上させることが可能となる。そして、制御部１７０は、顔の向きの変化から、所定時間以上の注意行動が認められないときには、自動運転制御における走行状態の変更（ここではレーンチェンジ）にかかる駆動部（ステアリング）の作動禁止を実行するので、確実に安全走行運転を実現することができる。

また、本実施形態では、走行制御装置１００は、車両に眠気判定装置が搭載されるものに適用されており、顔画像取得手段１６０は、この眠気判定装置のカメラと兼用するようになっている。これにより、新設部品の増加を低減することができ、安価な対応が可能となる。

また、制御部１７０は、顔の向きの変化が、所定時間以上であると注意行動が成されており、また、所定時間未満であると、注意行動は成されていないと判定するようにしており、これにより、注意行動の有無を明確に判定することが可能となる。

また、制御部１７０は、顔の向きの左右の変化を左右のレーンへの確認行為と捉えるようにしているので、これにより、運転者のレーンチェンジ時の注意行動を把握することができ、レーンチェンジ時の安全を確保することが可能となる。

（第２実施形態）
第２実施形態の走行制御装置１００Ａを図３、図４に示す。第２実施形態の走行制御装置１００Ａは、上記第１実施形態の走行制御装置１００に対して、警告部１８０を追加したものである。図４に示すフローチャートは、図２で説明したフローチャートに対して、ステップＳ１２５を追加したものである。

警告部１８０は、運転者に対して、アラーム等の警告音を発生させる、あるはコンビネーションメータ部における情報表示部やナビ画面等に「左右確認してください」等の文字表示を行うことで、運転中の注意行動の実施を促すように警告する警告手段である。

制御部１７０は、安全走行運転のための措置制御を実行するにあたって、図４に示すフローチャートにおいて、ステップＳ１１０で運転者が注意行動をとっていないと判定すると、ステップＳ１３０の実施の前に、まず、ステップＳ１２５で、上記警告部１８０を作動させる。

これにより、走行状態の変更にかかる駆動部の作動が禁止される前の段階で、注意行動不足による警告が運転者に伝えられることになるので、運転者は走行状態変更にかかる駆動部の作動が禁止されることに対して、違和感なく対応することが可能となる。

（第３実施形態）
第３実施形態の制御要領を図５に示す。図５に示すフローチャートは、図４で説明したフローチャートに対して、ステップＳ１２０、およびステップＳ１３０を廃止したものである。

運転者の注意行動が認められない時に、上記第１実施形態では走行状態変更にかかる駆動部の作動を禁止し、また上記第２実施形態では運転者に対して警告を行うと共に走行状態変更にかかる駆動部の作動禁止するものとした。本実施形態では、ステップＳ１１０の否定判定（運転者の注意行動が認められない時）の後に、ステップＳ１２５で運転者に対して警告のみ行うものとしている。このように、運転者による警告にとどめるものであっても、安全走行運転のための措置とすることができる。

（第４実施形態）
第４実施形態の制御要領を図６に示す。図６に示すフローチャートは、自動運転制御において予め組み込まれた具体的な制御内容に対して、どのように安全走行運転のための措置制御を行うかを示した事例としている。

まず、ステップＳ１０において、制御部１７０は、自車が自動運転制御中であるか否かを判定する。自動運転中でなければ、サブルーチンを終了し、自動運転中であれば、ステップＳ２０の判定へ進む。

ステップＳ２０において、制御部１７０は、自動運転制御において、所定時間以内にレーンチェンジ、信号による停車状態からの発進、あるいは後退による駐車が予定されているか否かを判定する。これらの走行状態変更制御が予定されていなければ、サブルーチンを終了し、予定されていれば、ステップＳ３０の処理を行う。

ステップＳ３０では、制御部１７０は、運転者に走行状態変更制御に見合った注意行動を促し、ステップＳ４０へと進む。具体的には、上記走行状態変更制御がレーンチェンジであった場合は、運転者に自車がこれからレーンチェンジを行おうとしていることと、当該レーンチェンジの方向を通知する。また、上記走行状態変更制御が交差点の信号による停車状態からの発進でれば、運転者にこれから自車が発進することを通知する。また、上記走行状態変更制御が、後退による駐車であれば、リアビューモニターを起動し、運転者に車両後方に注意払うよう促すようにする。

ステップＳ４０、ステップＳ１１０では、車両を運転している運転者の顔画像を顔画像取得手段１５０によって取得し、顔画像における時系列的な顔の向きの変化に応じて、運転者の注意行動の有無を判定部（ステップＳ１１０）によって判定する。判定部では運転者の顔の向きや視線を認識し、運転者が走行状態変更制御に応じた方向に注意を払っているかどうかを判定する。具体的には、レーンチェンジでれば、レーンチェンジする方向の車両側方、信号による停車状態からの発進であれば、車両前方、後退による駐車でれば、車両後方に注意を払っているかどうかを判定する。

この注意行動有無の判定は、顔の向きが変化した状態がある定められた時間以上継続した場合、あるいは顔の向きが変化した回数が所定回数以上である場合に、注意行動が成されたと判定する。

ステップＳ１１０によって、運転者が注意行動をとったと判定された場合、ステップＳ１２０へと進み、注意行動がとられなかったと判定された場合、ステップＳ１２６へと進む。

ステップＳ１２０では、制御部１７０は、予定しているレーンチェンジ、信号による停車状態からの発進、あるいは後退による駐車を許可する旨を、自動運転を司る制御装置（アクセル開度制御装置２１０、操舵角制御装置２２０、ブレーキ制御装置２３０）に伝達する信号を発信し、サブルーチンを終了する。

ステップＳ１２６では、ステップＳ３０の通知から所定時間が経過したかどうかを判定し、所定時間が経過していなければステップ０４へと戻り、所定時間が経過していればステップ０８へと進む。尚、ステップＳ４０へ戻る前に、警告部１８０を作動させて運転者に自動運転制御中でも周囲の確認を怠らないよう警告を行うようにしても良い。

そして、ステップＳ１３０Ａでは、上記走行状態の変更にかかる駆動部の作動を禁止、もしくは作動内容を変更し、サブルーチンを終了する。具体的には、レーンチェンジを取りやめる、あるいはレーンチェンジを一度に完了させず、穏やかに多段的に行う、あるいは信号からの発進や後退駐車を通常よりも緩慢な速度で行うようにすることができる。

これにより、上記第１実施形態、あるいは上記第２実施形態と同様の効果を得ることができる。

尚、本実施形態においても、顔画像取得手段１６０によって撮影された運転者の顔画像から運転者が眠気を催しているか否かを把握する眠気判定装置を更に備えるようにしたものとしてもよい。

（その他の実施形態）
上記各実施形態では、車両には眠気判定装置が搭載され、走行制御装置１００、１００Ａの顔画像取得手段１６０として、眠気判定装置のカメラと兼用するものとしたが、これに限定されるものではなく、眠気判定装置を備えずに、走行制御装置１００、１００Ａ専用の顔画像取得手段１６０を設けるものとしても良い。

また、制御部１７０は、顔の向きの変化の有無を予め定めた所定時間を持って、判定するようにしたが、これに限らず、所定回数をもって判定するようにしても良い。つまり、顔の向きが連続的に所定回数以上変化したときに、運転者の注意行動有り（左右の確認をしている）と判定し、顔の向きの変化の回数が所定回数未満であれば、運転者の注意行動なし（左右の確認をしていない）と判定するようにしても良い。

１００、１００Ａ 走行制御装置
１６０ 顔画像取得手段
１７０ 制御部（判定部）
１８０ 警告部

Claims (4)

1. 走行する上で必要とされる各種情報に基づいて、車両の自動運転制御を行う制御部（１７０）と、
   車両を運転している運転者の顔画像を取得する顔画像取得手段（１６０）と、
   前記顔画像における時系列的な顔の向きの変化に応じて、前記運転者の注意行動の有無を判定する判定部（１７０、Ｓ１１０）とを備え、
   前記制御部（１７０）は、所定時間前記注意行動が認められないときに、前記運転者に対する警告用の警告部（１８０）の作動、および前記自動運転制御における走行状態の変更にかかる駆動部の作動禁止あるいは作動内容変更の少なくとも一方を実行することを特徴とする走行制御装置。
2. 前記制御部（１７０）は、前記自動運転制御において、レーンチェンジ、信号による停車状態からの発進、あるいは後退による駐車が予定されている場合に、前記運転者の注意行動の有無を判定し、所定時間前記注意行動が認められない場合に、前記運転者に対する警告用の警告部（１８０）の作動、および前記自動運転制御における走行状態の変更にかかる駆動部の作動内容の変更の少なくとも一方を実行することを特徴とする請求項１に記載の走行制御装置。
3. 前記制御部（１７０）は、前記顔の向きが変化した状態がある時間以上継続した場合、あるは前記顔の向きが変化した回数が所定回数以上である場合に、前記注意行動が成されたと判定することを特徴とする請求項１または請求項２に記載の走行制御装置。
4. 前記顔画像取得手段（１６０）によって撮影された前記運転者の顔画像から前記運転者が眠気を催しているか否かを把握する眠気判定装置を更に備えることを特徴とする請求項１〜請求項３のいずれか１つに記載の走行制御装置。

Images