JP5962850B2 - 信号認識装置 - Google Patents

Description

本発明は、自車両の走行路において注目するべき信号を特定し、その内容を認識する信号認識装置に関する。

この種の装置に関し、自車から交差点までの距離と信号機の高さ情報に基づいて、カメラの撮像画像内において信号機が撮像されるであろう信号機の画像領域を推測し、この信号機の画像領域の画像に基づいて信号機の状態を認識する技術が知られている（特許文献１）。

特許第３８５７６９８号公報

しかしながら、交差点において複数の信号機が存在する環境では、自車両の向きや走行道路の車線の相違や走行方向など形状によっては、車載カメラの撮像画像に、自車両が注目するべきではない信号機が映り込むことや、注目するべき信号機が映らないことが発生することがあるため、従来技術による手法では、自車両が注目すべき信号機を誤って特定し、その信号機が示す信号内容を誤認識するという問題がある。

本発明が解決しようとする課題は、車載カメラの撮像画像に注目するべきではない信号機までもが映り込むこと、又は注目するべき信号機が映らないことなどの不都合が発生した場合であっても、自車両が注目するべき一つの信号機を正確に特定し、その信号機が示す信号内容を高い精度で認識することである。

本発明は、有向リンクで車線ごとに定義される走行リンクとともに、接続リンクと進行方向情報とが対応づけられた走行リンク情報と、この走行リンク情報に対応づけられた信号機情報とを含む地図情報を参照し、自車両の現在位置が属する走行リンクに基づいて、自車両の現在位置が属する走行リンクの次に走行する走行リンクを走行する際に注目すべき信号機を特定することにより、上記課題を解決する。

本発明によれば、始点及び終点と走行方向とを含む有向リンクで車線ごとに特定され、接続リンク及び進行方向情報が対応づけられた走行リンクに、その走行リンクを走行する際に注目するべき信号機情報とが対応づけられた地図情報に基づいて、各走行リンクの走行中に注目すべき信号機を特定するので、複数の信号機が存在する複雑な交通環境においても、自車両の走行リンクにおいてドライバが注目すべき一つの信号機を正確に特定することができる。

本実施形態に係る運転支援システムのブロック構成図である。 本実施形態の地図情報の一例を示す図である。 複数の信号機が存在する交通環境を説明するための図である。 注目すべき信号機を特定する処理を説明するための図である。 走行リンクの推測処理のタイミングを説明するための図である。 本実施形態に係る運転支援システムの制御手順を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る信号認識装置を、運転支援システムに適用した場合を例にして説明する。

図１は、本実施形態に係る信号認識装置１００を備える運転支援システム１のブロック構成を示す図である。信号認識装置１００及びこれを含む運転支援システム１は、車両に搭載されている。信号認識装置１００は、自車両のドライバが注目すべき信号を特定し、その信号が示す情報の内容を認識する。

運転支援システム１は、信号認識装置１００と、ナビゲーション装置５０と、車両コントローラ６０と、駆動を制御する駆動系７０（車両の駆動装置）とを備える。運転支援システム１は、信号認識装置１００により認識された信号が示す情報に基づいて、車両コントローラ６０、駆動系７０を介して自車両の駆動・制動を制御したり、ナビゲーション装置５０を介して運転を支援する情報をドライバに提供する。

図１に示すように、本実施形態の信号認識装置１００は、制御装置１０と、カメラ２０と、位置検出装置３０と、データベース４０とを備えている。

カメラ２０は、自車両に搭載され、自車両の周囲を撮像する。例えば、ＣＣＤ等の撮像素子を用いたカメラである。レンズは、遠方の先行車両が撮像可能な視野角の狭い望遠レンズでも良いし、カーブや勾配変化に対応するために視野の広い魚眼レンズや、全周囲を撮像可能な全方位カメラ用のレンズを用いても良い。カメラ２０の取り付け位置は限定されないが、本実施形態では、自車両の車室内ミラーの近傍に、車両前方向きに設置する。またレンズは、視野角２５°〜５０°程度の標準レンズでの場合を例に説明する。なおカメラ２０のレンズ歪み等の内部パラメータ、及び車両に対する取り付け位置を示す外部パラメータなどの撮像特性情報４２は、ＲＯＭに予め記憶させておくことができる。

本実施形態のカメラ２０は、撮像時における撮像倍率を増減させるズーム機能を備える。本実施形態のズーム機能は、後述する、特定された信号機の画像領域の撮像画像に対する面積比に基づいて、撮像倍率を制御する。

本実施形態のカメラ２０は、駆動装置２１を備える。駆動装置２１はカメラ２０の撮像方向を変更させることができる。本実施形態の駆動装置２１は、自車両の垂直方向に駆動可能な駆動機能を備える。駆動装置２１はカメラ２０とは別個の支持装置として構成されてもよいが、本実施形態では、カメラ２０本体を回転駆動させる機構を備えるＰＴＺカメラ（パン・チルト・ズームが駆動可能なカメラ）のように、カメラ２０本体と駆動装置２１とが一体として構成されたカメラ２０を用いる。ＰＴＺカメラは、特に限定されないが、自車両のダッシュボード上に車両前方を撮像するように配置する。なお、駆動装置２１の態様は特に限定されず、撮像素子の前方にミラーを設置し、ミラーを駆動することで撮像方向を変化させる手法を取っても良い。カメラ２０の車両に対する取付位置を含む外部パラメータ、駆動装置２１の動作によるカメラ２０の取付位置の変更量などは事前に算出してデータベース４０に記憶しておく。本実施形態の駆動装置２１は、特定された信号機の画像領域の撮像画像に対する位置に基づいて、カメラ２０の撮像方向を変更する。

位置検出装置３０は、ＧＰＳ（Global Positioning System）を備え、走行中の車両の現在位置（緯度・経度）を検出する。自車両の現在位置は、自車両に搭載されたナビゲーション装置５０が備える位置検出装置３０から取得することもできる。本実施形態の位置検出装置３０は、自車両の姿勢を検出する機能を備える。自車両の姿勢を検出する場合には、位置検出装置３０は、二台のＧＰＳを備え、自車両の向きを算出してもよいし、方位計をさらに備えて自車両の向きを算出してもよい。

また、位置検出装置３０は、カメラ２０の撮像画像に基づいて、自車両の姿勢を算出してもよい。撮像画像に基づいて自車両の姿勢を算出する場合の手法の一例を説明する。自車両が直線の道路を走行している場合には、カメラ２０の撮像画像の視点を車両上方に設定し、撮像画像を車両情報の視点から自車両を見た俯瞰画像に変換する。そして、その俯瞰画像中で白線もしくは縁石を認識し、白線もしくは縁石の傾きから、車両の向きを算出することができる。もちろん、本願出願時において知られている画像を用いて自己位置推測技術であるSLAM（Simultaneous Localization and Mapping）を用いて、自車両の位置・姿勢を算出してもよい。具体的には、予め画像特徴点の３次元位置をデータベース４０に記憶しておき、データベース４０に保持された画像特徴点と、カメラ２０の撮像画像中の画像特徴点を照合することにより、自車両の位置・姿勢を算出できる。

データベース４０は、地図情報４１を記憶する。この地図情報４１は制御装置１０がアクセスが可能なナビゲーション装置５０に記憶させてもよい。本実施形態の地図情報４１は、走行リンク情報４１１と、これと対応づけられた信号機情報４１２とを有する。

走行リンク情報４１１の各走行リンクは、始点及び終点と走行方向とを含む有向リンクで車線ごとに定義される。有向リンクは、少なくとも始点、終点（すなわち長さ）、方向の情報により定義される。さらに、本実施形態の各走行リンク（有向リンク）には、始点及び終点で接続する接続リンクと、直進又は右左折を含む進行方向を特定する進行方向情報とが対応づけられている。また、走行リンクには信号機情報が対応づけられている。信号機情報は、各走行リンクを走行する際にドライバが注目する信号機の位置情報を含む情報である。

図２に地図情報４１の一例を示す。図２に示すように、本実施形態の地図情報４１は、一般的な地図情報と同様に緯度・経度などの地図座標値で特定される地点と、識別子（ＩＤ）が付されたノードと、識別子（ＩＤ）が付された走行リンクと、識別子（ＩＤ）が付された信号機と、地点ごとに対応づけられた地点情報（ＰＯＩ）とを含む。ノードの情報は、地図座標値で特定されるとともに、接続するノードの識別子と、分岐した先の複数のノードの識別子を有する。なお、ノードは、道路の車線の中央に設定するが、複数の車線を有する複雑な交差点などでは、実際に車両が通った軌跡を利用してノードの位置を定義してもよい。

走行リンク情報は、地図座標値で特定されるとともに、始点・終点を定義するノードの識別子と、各走行リンクの直線・右折・左折などの進行方向と、各走行リンクが合流用リンク／分岐用リンクであるかの種別と、走行リンクに接続する走行リンクの識別子と、分岐した先の複数の分岐走行リンクの識別子を有する。また、各走行リンクには、注目すべき信号機の識別子が対応づけられている。本実施形態の走行リンク情報は、同じ道路上に存在しても、車線ごとに異なるＩＤが付され、別の走行リンクとして扱われる。これにより、同じ道路上であっても右折用の走行リンクと直進用の走行リンクは別の走行リンクとして処理される。始点及び終点の情報が共通したとしても、右折用の走行リンクにおいて注目すべき信号機と、直進用の走行リンクにおいて注目すべき信号機とは異なるため、別々の情報として記憶される。本実施形態では、車両の走行路が分岐又は交差する場合や、注目すべき信号機が異なる場合には、別の走行リンクとして定義する。つまり、本実施形態の走行リンク情報においては、走行リンクは、車線ごとに定義されており、一つの走行リンクには一つの注目すべき信号機が対応づけられており、たとえ同じ走行道路に複数の信号機が存在したとしても、本実施形態の走行リンク情報においては、一の走行リンクに複数の信号機が対応づけられることはない。車線ごとに定義された一つの走行リンクに一つの注目すべき信号機を対応づけるため、自車両が走行する走行リンクが決定されれば、一義的に注目する信号機を特定できる。

信号機情報は、その高さ情報と、地図座標値で特定される設置位置と、各信号機を注目すべき車両が走行する走行リンク、つまり信号機が交通を制御する対象となる走行リンクの識別子と、信号機の種別情報とを有する。信号機の種別情報とは、赤色、黄色又は青色を表示する信号機である、歩行者用の赤色又は青色の表示をする信号機である、又は矢印により右左折を示す信号機であるなどの情報である。

図３は、実際の交差点における走行リンク情報及び信号機情報の一例を示す図である。図３に示すように、自車両Ｖが走行する走行リンクＬＫＵ１が存在する道路には、走行リンクＬＫＤ１が設定されている。ただし、走行リンクＬＫＵ１は上り車線の走行リンクであり、走行リンクＬＫＤ１は下り車線の走行リンクであり、両者は別の走行リンクとして異なる識別子が付されている。また、自車両が走行する走行リンクＬＫＵ１の進行方向側には、ノードＮＤ２で接続する３つの走行リンクＬＫＵ２Ａと走行リンクＬＫＵ２Ｂと走行リンクＬＫＵ２Ｃとがある。走行リンクＬＫＵ２Ａは直進レーンの走行リンクであり、走行リンクＬＫＵ２Ｂは右折レーンの走行リンクであり、走行リンクＬＫＵ２Ｃは左折レーンの走行リンクである。走行リンクＬＫＵ２Ａと走行リンクＬＫＵ２Ｃとは対応づけられる接続リンクが異なるため、別の走行リンクとして定義される。

ところで、図３に示す自車両Ｖから前方を見ると、図４に示すように、信号機ＳＧ１と信号機ＳＧ２との両方が一度に視野（撮像範囲）に入ってしまい、自車両Ｖがどちらの信号機に注目するべきかわかりずらい場合がある。このような状況では、画像認識技術などにより、いずれか一方の信号機を特定する処理において誤った処理を行う場合もありうる。なお、図４に示すｚ軸は撮像方向である。

詳細は後述するが、本実施形態の信号認識装置１００は、注目すべき信号機ごとに走行リンクが対応づけられており、図３に示す例では、自車両Ｖの走行リンクＬＫＵ１には、信号機ＳＧ１のみが対応づけられているため、図４に示すように同時に撮像範囲に入っても、注目すべき信号機ＳＧ１を特定し、この信号機ＳＧ１を含む画像領域Ｒを抽出することができる。

つまり、交差点に複数の信号機が設けられ、交通環境が複雑な環境においても、本実施形態では走行リンク情報と信号機情報とを参照することにより、一の走行リンクに対して一の注目すべき信号機を特定することができる。以下、一の注目すべき信号機を特定し、その信号の示す内容を認識する本実施形態の信号認識の手法について説明する。

信号認識装置１００の制御装置１０は、注目すべき信号機を特定し、その信号機が示す情報の内容を認識するプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭに格納されたプログラムを実行することで、信号認識装置１００として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えるコンピュータである。

本実施形態に係る信号認識装置１００の制御装置１０は、撮像画像取得機能と、自車位置取得機能と、注目信号機特定機能と、信号画像領域抽出機能と、信号内容認識機能とを有する。本実施形態の制御装置１０は、上記機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行する。

以下、本実施形態に係る信号認識装置１００の各機能について説明する。

まず、本実施形態の制御装置１０の撮像画像取得機能について説明する。制御装置１０は、カメラ２０が撮像した自車両周囲の撮像画像を取得する。

本実施形態の制御装置１０の自車位置取得機能について説明する。制御装置１０は、位置検出装置３０により検出された自車両の現在位置を取得する。制御装置１０は、位置検出装置３０により検出された自車両の姿勢情報があれば、それも取得する。

制御装置１０の注目信号機特定機能は、地図情報４１を参照し、自車両の現在位置が属する走行リンクに基づいて注目すべき信号機を特定する。制御装置１０は、地図情報４１から取得した走行リンク情報と、位置検出装置から取得した自車両の現在位置とから、自車両が走行する走行リンクを推測する。制御装置１０は、自車両の現在位置が属する地点又は領域に対応づけられた走行リンクを、自車両が走行する走行リンクとして推測する。また、制御装置１０は、自車両の現在位置との距離が最も小さい（近い）走行リンクを自車両が走行する走行リンクとして推測してもよい。また、自車両の走行方向を含む姿勢が取得された場合には、自車両の走行方向と、走行リンクの始点から終点に向けたベクトルの向きとの差が所定閾値以下、例えば９０°以下走行リンクであって、現在位置との距離が最も小さい（近い）走行リンクを自車両が走行する走行リンクとして推測してもよい。

さらに、走行リンク情報に接続する（遷移先の）接続リンクが含まれる場合には、次に走行する走行リンクは、現在の走行リンクに接続する接続リンクに選択肢が絞られるので、絞られた走行リンク中で現在位置から最も距離が近いものを選択してもよい。これにより、遷移する（次に移動する）接続リンクごとに、注意すべき信号機が異なるような複雑な交通環境であっても、自車両の走行する走行リンクを正確に推測し、交差点で右折する走行リンクと交差点で直進する走行リンクとを間違えることなく推測することができる。

本実施形態の制御装置１０は、地図情報４１の自車両が走行する走行リンク情報４１１を参照し、走行リンクの終点に到達したと判断された場合に自車両が次に走行する走行リンクを算出する。具体的に制御装置１０は、自車両と走行リンクに対応づけられた有向リンクの終点との距離が所定値未満となった場合に、走行リンク情報４１１を参照して、自車両の現在位置が属する走行リンクの終点で接続する接続リンクを演算する。

具体的には、図５に示すように、走行リンクの始点から終点に向けたベクトルとの比較において、終点ノードまでの距離を算出し、自車両Ｖの現在位置ＶＬが、走行リンクＬＫＵ１の終点ノードＮＤ２からの距離Ｄが所定値未満となった場合に、制御装置１０は、自車両Ｖが走行リンクＬＫＵ１の終点に到達したタイミングで、自車両Ｖのが次に走行する走行リンクを推測する。

本実施形態の制御装置１０は、地図情報４１において対応づけられた走行リンク情報４１１及び／又は信号機情報４１２を参照し、推測された自車両の走行リンクに対応づけられた注目すべき信号機を特定する。制御装置１０は、自車両が走行する走行リンクＩＤを識別し、走行リンク情報４１１において、その走行リンクＩＤに対応づけられた信号機情報４１２を参照し、その走行リンクを走行する際に自車両が注目すべき信号機を特定する。そして、制御装置１０は、信号機情報４１２から、特定された信号機の設置位置、高さなどの三次元位置情報、種別などを取得する。

次に、制御装置１０の信号画像領域抽出機能について説明する。制御装置１０は、定された信号機の位置情報とカメラ２０の撮像特性情報４２とに基づいて、カメラ２０の撮像画像における信号機の画像領域を抽出する。制御装置１０は、自車位置取得機能が取得した自車両の位置と、信号機特定機能により特定された注目すべき信号機の三次元位置情報と、カメラ２０の自車両に対する取り付け位置情報を含む外部パラメータ（撮像特性情報４２）とから、カメラ２０を基準とした信号機の相対的な位置関係を、幾何学的な関係から算出する。

本実施形態の制御装置１０は、自車位置取得機能により検出された自車両の姿勢を考慮して、撮像画像における信号機の画像領域を抽出する。自車両の姿勢までを考慮することにより、信号機の像が現れる画像領域を正確に抽出することができる。具体的な処理は限定されないが、自車両の姿勢に応じた座標変換を行い、現在の自車両の姿勢において信号機を撮像したときの、撮像画像における信号機の画像領域を求める。

制御装置１０は、自車位置取得機能が自車両の位置のみを取得した場合、つまり自車両の姿勢の情報を取得できなかった場合には、自車が走行する走行リンクの向きを自車両の姿勢として用いることができる。右折や左折などの曲率を持つ走行リンクにおいては、始点ノードでの姿勢と終点ノードでの姿勢を、予め地図情報４１の走行リンク情報に含めておき、自車両の位置と走行リンクの始点ノード及び終点ノードまでの距離をそれぞれ算出し、これを走行リンクにおける自車両の進行割合に応じて、走行リンクの始点ノードから終点ノードまでの各位置における姿勢の変化を算出できる。

先述したように、カメラ２０の駆動装置２１は、撮像画像における信号機の画像領域の位置に基づいて、カメラ２０の撮像方向を変更する。カメラ２０の撮像方向を変更する際に用いられる信号機の画像領域の位置については、現在のカメラ２０を基準とする信号機までの相対位置情報を算出するだけでなく、自車両の車速やヨーレートなどの自車両の走行情報と、この信号機の画像領域を算出する処理に要する見込み時間を考慮して、次の周期で特定される信号機の画像領域を算出することが好ましい。自車両の走行情報は、車両コントローラ６０から取得する。次回の信号機の特定処理を行う際の信号機の画像領域を予測できれば、駆動装置２１は、カメラ２０が予測された信号機の画像領域を撮像できるように、カメラ２０の撮像方向を調整する。これにより、次回の信号機の特定を正確に行うことができる。

同じく先述したように、カメラ２０は、撮像画像に対する信号機の画像領域の割合に基づいて、カメラ２０の撮像倍率を変更する。カメラ２０の撮像倍率を変更させる際に用いられる、信号機の画像領域が撮像画像全体に占める割合については、現在のカメラ２０を基準とする信号機までの相対位置情報を算出するだけでなく、自車両の車速やヨーレートなどの自車両の走行情報と、この信号機の画像領域を算出する処理に要する見込み時間を考慮して、次の周期で特定される信号機の画像領域を算出することが好ましい。次回の信号機の特定処理を行う際の信号機の画像領域を予測できれば、駆動装置２１は、カメラ２０が予測された信号機の画像領域を明確に撮像できるように、カメラ２０の撮像倍率を調整する。これにより、次回の信号機が示す信号の内容認定を正確に行うことができる。

制御装置１０は、カメラ２０を基準とした信号機の相対位置と、カメラ２０のレンズ歪み情報を含む内部パラメータ（撮像特性情報４２）とから、特定された信号機の像が現れる撮像画像上の画像領域（信号機の画像領域）を抽出する。信号機の画像領域の中心座標は、この信号機の中心部（例えば赤黄青タイプの信号であれば、黄色のライトの中央部）の３次元座標をカメラ２０の撮像画像の座標系に投影変換して求める。信号機の画像領域の大きさは、一定の大きさに任意に設定してもよいし、信号機の種別に応じて設定してもよいし、自車両から信号機までの距離に応じて大きさを変更してもよい。特に限定されないが、撮像画像の信号機の画像領域の大きさ所定の範囲となるように、信号機までの距離が遠いほど信号機の画像領域を大きく設定し、信号機までの距離が近いほど信号機の画像領域を小さくしてもよい。また、自車両の位置検出装置３０の検出精度に応じて信号機の画像領域の大きさを変化させてもよい。

最後に、本実施形態の制御装置１０の信号内容認識機能について説明する。本実施形態の制御装置１０は、抽出された画像領域の信号機の画像に基づいて、その信号機の信号内容を認識する。制御装置１０は、信号画像抽出機能によって抽出された信号機の画像領域について、信号機の信号内容を認識する処理を行い、信号が示す情報を取得する。信号機の信号内容の認識処理は、特に限定されないが、予め信号機が示す情報ごとにテンプレート画像を保持しておき、画像処理において一般的なテンプレートマッチングにより信号機の画像領域を具体的に特定し、その後に、色認識により信号機が示す各信号（例えば赤・黄・青）の点灯状態を検証し、点灯している色を、信号機の示す情報として認識する。信号の認識手法は、特に限定されず、出願時に知られた手法を適宜に用いることができる。

続いて、本実施形態の信号認識装置１００の制御手順を、図６のフローチャートに基づいて説明する。図６に示す処理内容は、制御装置１０として機能する信号認識ＥＣＵにおいて、例えば50msec程度の間隔で連続的に行われる。

図６に示すように、ステップＳ１１０において、制御装置１０は、位置検出装置３０が検出した自車両の現在位置を取得する。

ステップＳ１２０において、制御装置１０は、ステップＳ１１０で取得した自車両の位置と、前回の処理において自車両が走行していた（属していた）と判断された走行リンクの情報とに基づいて、自車両が走行リンクの終点ノードに到達したか否かを判断する。判断手法は、図５に基づいて説明した手法を用いる。自車両が終点ノードに到達したと判断された場合にはステップＳ１３０に進み、自車両が終点ノードに到達したと判断されていない場合には、ステップ１１０及び１２０の処理を継続する。

ステップＳ１３０において、制御装置１０は、ステップＳ１１０で取得した自車両の現在位置と、地図情報４１に含まれる走行リンク情報４１１に基づいて、自車両が走行する走行リンクを求め、ステップＳ１４０に進む。

ステップＳ１４０において、制御装置１０は、ステップＳ１３０で求めた自車両が属する走行リンクの識別子（ＩＤ）と、地図情報４１とから、自車両の現在位置が属する走行リンクに基づいて注目すべき信号機を特定する。

ステップＳ１５０において、制御装置１０は、地図情報４１の信号機情報４１２を参照して取得した、ステップＳ１４０で特定した信号機の位置情報と、ステップＳ１１０で取得した自車両の現在位置と、自車両に取り付けられたカメラ２０の外部パラメータ（撮像特性情報４２）とから、カメラ２０に対する信号機の相対的な位置を算出する。

ステップＳ１６０において、制御装置１０は、特定された信号機の位置情報とカメラ２０の撮像特性情報４２とに基づいて、カメラ２０の撮像画像における信号機の画像領域を抽出する。

ステップＳ１７０において、制御装置１０は、画像領域の信号機の画像に基づいて、その信号機の信号内容を認識する。

ステップＳ１８０において、制御装置１０は、認識結果をナビゲーション装置５０，車両コントローラ６０又は駆動系７０へ送出する。車載機は、信号機が示す信号の内容に応じた運転支援を行う。特に限定されないが、本実施形態の運転支援システム１は、停止又は注意の信号表示が認識された場合には自車両の速度を減速させる制御を実行したり、停止又は注意の信号が表示されていることを音声でガイダンスを実行する。

また、制御装置１０は、ステップ２２０において、ステップＳ１６０で求められた、撮像画像における信号機の画像領域の位置に基づいて、カメラ２０の撮像方向を変更する。信号の画像が撮像画像の中心からずれてしまっている場合には、カメラ２０の撮像方向を補正して、信号全体の画像を取得できるようにするためである。

さらに、本実施形態では、ステップＳ１６０で求められた信号の画像領域を利用し、ステップＳ２２０において次回周期で行われる処理のタイミングにおける信号の画像領域を予測し、予測された信号機の画像領域の位置に基づいて、カメラ２０の撮像方向を変更する。車両は移動しているので、今回の処理周期における信号機の画像領域の位置と次回の処理周期における信号機の画像領域の位置とは異なることが予測される。本実施形態では、自車両の車速やヨーレートなどの自車両の走行情報と、この信号機の画像領域を算出する処理に要する見込み時間を考慮して、次の周期で特定される信号機の画像領域を算出する。

本実施形態の信号認識装置１００によれば、以下の効果を奏する。

[１]本実施形態の信号認識装置１００によれば、有向リンクで定義され、接続リンクと進行方向の情報とが対応づけられた走行リンク情報４１１と、この走行リンク情報に対応づけられた信号機情報４１２とを含む地図情報４１を参照し、自車両の現在位置が属する走行リンクに基づいて注目すべき信号機を特定するので、複数の信号機が存在する複雑な交通環境においても、自車両の走行リンクが正確に推測され、結果としてドライバが注目すべき一つの信号機を正確に特定することができる。
本実施形態では、始点及び終点により有向リンクとして定義された、走行リンクが道路の走行車線ごとに設定され、交差点内においては、直線、右折、左折などの進行方向情報ごとに設定されるため、例えば図３に示すような複雑な交差点内の環境においても、自車両が注目すべき信号機を特定することができる。
本実施形態では、走行リンクが、次に接続する接続リンクの情報が対応づけられているので、同じ道路に複数の走行リンクが存在する場合であっても、適切に自車両の属する走行リンクを推測することができる。例えば図３のように信号機ＳＧ２が配置された交差点での左折時においては、左折走行リンクＬＫＵ２Ｃと、直進走行リンクＬＫＵ２Ａが同じ車線上に存在するが、左折走行リンクＬＫＵ２Ｃは遷移する接続リンクＬＫＵ３−ＴＬと対応づけられ、直進走行リンクＬＫＵ２Ａは、遷移する接続リンクＬＫＵ３−ＳＴと対応づけられているので、走行リンクＬＫＵ２Ｃと走行リンクＬＫＵ２Ａとを正確に識別することができる。

[２] 本実施形態の信号認識装置１００によれば、走行リンクの特定処理を、自車両が走行リンクの終点ノードと所定距離以内に近づいたタイミングで行うので、次に走行する走行リンクを正確に特定することができる。たとえば、自車両の現在位置の検出精度が低下した場合に、誤った接続リンクを選択しないようにすることができる。

[３] 本実施形態の信号認識装置１００によれば、自車両の姿勢を取得し、その姿勢における信号機の画像領域を抽出するので、信号機の像が現れる画像領域の位置を正確に求めることができる。

[４]本実施形態の信号認識装置１００では、一つの走行リンク情報に一つの信号機情報が対応づけられている情報形態であるので、車線、有向リンク、接続リンク及び進行方向情報により高い精度で推測された走行リンク情報から、一の注目すべき信号機を特定することができる。

[５]本実施形態の信号認識装置１００では、カメラ２０が駆動可能であるため、信号機の位置にかかわらず、撮像することができる。例えば、図３のような交差点環境において、走行リンクＬＫＵ３−ＴＲのポイントＴＲＰで右折待ちをしている状況において、通常の前方を撮像するカメラ２０では視野範囲外になってしまう信号機ＳＧ３を撮像することができる。また、広視野角のカメラを用いた場合に比べて、狭視野角な駆動カメラを用いたほうが、注目すべきではない信号機が映りこむ可能性を低減することができ、誤認識を低減させることができる。

[６]本実施形態の信号認識装置１００では、カメラ２０がズーム駆動機能を備え、信号機の画像領域の大きさに応じて撮像倍率の増減制御をするので、信号機との距離関係にかかわらず、撮像画像における信号機の画像領域の大きさを適切に保つことができる。このため、他の信号機が映りこむリスクを更に低減できる。また、認識対象である信号機の画像領域の大きさが略一定であるため、信号認識処理の精度を上げることができる。

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

すなわち、本明細書では、本発明に係る信号認識装置１００と、ナビゲーション装置５０と、車両コントローラ６０と、駆動系７０とを備える運転支援システム１を例にして説明するが、本発明はこれに限定されるものではない。

本明細書では、本発明に係る信号認識装置の一態様として、制御装置１０と、撮像手段としてのカメラ２０と、位置検出装置３０と、データベース４０とを備える信号認識装置１００を一例として説明するが、これに限定されるものではない。

本明細書では、撮像画像取得手段と、自車位置取得手段と、注目信号機特定手段と、信号画像領域抽出手段と、信号内容認識手段とを備える本発明に係る信号認識装置の一例として、撮像画像取得機能と、自車位置取得機能と、注目信号機特定機能と、信号画像領域抽出機能と、信号内容認識機能とを実行する制御装置１０を有する信号認識装置１００を一例として説明するが、これに限定されるものではない。

１…運転支援システム
１００…信号認識装置
１０…制御装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
２０…カメラ
３０…位置検出装置
４０…データベース
４１…地図情報
４１１…走行リンク情報
４１２…信号機情報
５０…ナビゲーション装置
６０…車両コントローラ
７０…駆動系

Claims (6)

1. 自車両に搭載された撮像手段から、前記自車両の周囲の撮像画像を取得する撮像画像取得手段と、
   前記自車両の現在位置を取得する自車位置取得手段と、
   始点及び終点と走行方向とを含む有向リンクで車線ごとに定義される走行リンクとともに、前記有向リンクの始点及び終点で接続する接続リンクと、直進又は右左折を含む進行方向を特定する進行方向情報とが対応づけられた走行リンク情報と、前記走行リンクに対応づけられ、当該走行リンクを走行する際に注目する信号機の位置情報を含む信号機情報と、を含む地図情報を参照し、前記自車両の現在位置が属する前記走行リンクに基づいて、前記自車両の現在位置が属する走行リンクの次に走行する走行リンクを演算し、前記次に走行する走行リンクを走行する際に注目すべき信号機を特定する注目信号機特定手段と、
   前記特定された信号機の位置情報と前記撮像手段の撮像特性情報とに基づいて、前記撮像手段の撮像画像における前記信号機の画像領域を抽出する信号画像領域抽出手段と、
   前記抽出された画像領域の前記信号機の画像に基づいて、当該信号機の信号内容を認識する信号内容認識手段と、を備える信号認識装置。
2. 前記注目信号機特定手段は、前記自車両が走行する走行リンク情報を参照し、前記自車両と前記走行リンクに対応づけられた前記有向リンクの終点との距離が所定値未満となった場合に、前記自車両の現在位置が属する走行リンクの次に走行する走行リンクを演算し、前記次に走行する走行リンクを走行する際に注目すべき信号機を特定することを特徴とする請求項１に記載の信号認識装置。
3. 前記自車位置取得手段は、現在位置における自車両の姿勢を取得し、
   前記取得された前記自車両の姿勢における、前記信号機の画像領域を抽出することを特徴とする請求項１又は２に記載の信号認識装置。
4. 一つの前記走行リンク情報には、一つの前記信号機情報が対応づけられていることを特徴とする請求項１〜３の何れか一項に記載の信号認識装置。
5. 前記撮像手段は、当該撮像手段の撮像方向を変更させる駆動装置を備え、
   前記駆動装置は、前記撮像画像における前記信号機の画像領域の位置に基づいて、前記撮像手段の撮像方向を変更することを特徴とする請求項１〜４のいずれか一項に記載の信号認識装置。
6. 前記撮像手段は、ズーム機能を備え、
   前記撮像手段のズーム機能は、前記撮像画像に対する前記信号機の画像領域の面積比に基づいて、撮像倍率を制御することを特徴とする請求項１〜５のいずれか一項に記載の信号認識装置。