JP4783431B2 - 交通情報検出装置、交通情報検出方法、交通情報検出プログラムおよび記録媒体 - Google Patents

Description

この発明は、車両に設けられたカメラを適切に制御することにより、走行路周辺の画像を取得し、取得した画像から有益な交通情報を検出する交通情報検出装置、交通情報検出方法、交通情報検出プログラム、および記録媒体に関する。

従来より、カメラの撮影方向を保ち、車両の走行路周辺の画像情報を取得する技術が提案されている（たとえば、特許文献１を参照。）。この技術は、走行路の勾配の変化に応じてカメラを上下方向に駆動させ、取得する画像において道路消失点を画面の中央付近に保つようにするものである。

特開２０００−２５５３１９号公報

上記従来技術は、走行路前方の障害物や先行車両の認識には適しているが、道路消失点方向へカメラを向けていると信号機がカメラの画角からはずれて検出ができない場合がある。

特に、見通しの悪い急カーブの先にある信号機に対してはカメラの撮影方向を、道路消失点を中央に保つようにした場合、信号機が視野に入る地点に来た時に信号機は上方に存在するため、カメラの画角に信号機が入らずに信号機の初期検出漏れを回避することはできないという問題がある。

さらに、全方位カメラや広角カメラでは、同じセンサの有効解像度に対してもレンズで広範囲撮影を行うため、信号機を検出するために必要な解像度が得られず、接近しないと信号機が検出できないという問題もある。

請求項１の発明にかかる交通情報検出装置は、カメラと、前記カメラを載設し前記カメラの撮影方向を規定する駆動手段と、前記カメラで撮影した交通信号機の画像に所定の画像処理を施すことで前記交通信号機の状態を検出する画像処理手段と、前記画像処理手段の検出結果にもとづき、前記駆動手段を駆動させる制御手段と、を備え、前記画像処理手段は、前記カメラが撮影した走行路画像から前記交通信号機の点灯種類を認識し、前記制御手段は、前記画像処理手段が検出した前記点灯種類に応じた前記カメラの撮影方向を規定できるように前記駆動手段を駆動させることを特徴とする。

また、請求項８の発明にかかる交通情報検出方法は、カメラで撮影した交通信号機の画像に所定の画像処理を施すことで前記交通信号機の状態を検出する画像処理工程と、前記画像処理工程の検出結果にもとづき、前記カメラの撮影方向を規定する駆動手段を駆動させる制御工程と、を含み、前記画像処理工程では、前記カメラが撮影した走行路画像から前記交通信号機の点灯種類を認識し、前記制御工程では、前記画像処理手段が検出した前記点灯種類に応じた前記カメラの撮影方向を規定できるように前記駆動手段を駆動させることを特徴とする。

また、請求項９の発明にかかる交通情報検出プログラムは、請求項８に記載の交通情報検出方法をコンピュータに実行させることを特徴とする。

また、請求項１０の発明にかかるコンピュータで読み取り可能な記録媒体は、請求項９に記載の交通情報検出プログラムが記録されていることを特徴とする。

この発明の実施の形態にかかる交通情報検出装置の機能的構成を示すブロック図である。 この発明の実施の形態にかかる交通情報検出装置の処理手順の一例を示すフローチャートである。 検出を行う走行路状態の一例を示す図である。 検出を行う走行路状態の一例を示す図である。 初期化処理後にカメラが捉えた走行路画像の例を示す図である。 道路消失点検出処理の手順を示すフローチャートである。 道路消失点座標の算出を説明するための図である。 道路消失点追従駆動処理の手順を示すフローチャートである。 道路消失点追従駆動処理を説明するための図である。 道路消失点追従駆動処理後の走行路画像のイメージ図である。 信号機検出領域を示す図である。 信号機追従駆動処理の手順を示すフローチャートである。 信号追従駆動処理を説明するための図である。 信号追従駆動処理を説明するための図である。 車両停止中の動作の手順を示すフローチャートである。 信号機変化検出領域算出の手法を説明するための図である。

以下、添付図面を参照して、この発明にかかる交通情報検出装置、交通情報検出方法、交通情報検出プログラム、および交通情報検出プログラムが記録された記録媒体の好適な実施の形態を詳細に説明する。

（交通情報検出装置の機能的構成）
図１は、この発明の実施の形態にかかる交通情報検出装置の機能的構成を示すブロック図である。図１に示すように、この交通情報検出装置１００は、駆動部１０１と、制御部１０２と、センサ部１０３と、記憶部１０４と、情報入力部１０５と、情報出力部１０６と、車両情報インタフェース（Ｉ／Ｆ）１０７と、外部装置インタフェース（Ｉ／Ｆ）１０８と、画像処理部１０９と、を備えている。

駆動部１０１は、後述する画像センサ１１１（カメラ）を載設し、このカメラをヨー、ピッチ方向に駆動し、これに付随するロール方向などの複数の自由度を持った駆動手段である。駆動部１０１は、たとえば、車両のダッシュボード上やバックミラー周辺、天井の上、ボンネット、バンパー前方、サイドミラー上部など、車両前方の撮影が可能な位置に設置される。なお、駆動部１０１に載設されるカメラの性能は、一般的なデジタルカメラやムービーカメラが有する程度とし、たとえば、視野角は水平４５度、垂直４０度程度とする。

制御部１０２は、駆動部１０１の駆動を制御する。具体的には、駆動部１０１を駆動させ、駆動部１０１に載設されているカメラの視野方向を変更させ、車両周辺を広範囲に撮影することができるようにする。

センサ部１０３は、複数の機能のセンサを備え、車内車外の環境や、駆動部１０１の位置情報、車両位置情報などを取得する。具体的には、このセンサ部１０３は、画像センサ１１１と、駆動部位置検出センサ１１２と、加速度センサ１１３と、ＧＰＳセンサ１１４と、音センサ１１５と、温度センサ１１６と、湿度センサ１１７と、照度センサ１１８と、煙センサ１１９と、空気センサ１２０と、超音波センサ１２１と、マイクロ波センサ１２２と、レーザセンサ１２３と、電波センサ１２４と、赤外線センサ１２５と、タッチセンサ１２６と、圧力センサ１２７と、生体センサ１２８と、磁気センサ１２９と、を備えている。

画像センサ１１１は、ＣＣＤカメラなど画像を取得できるものである。駆動部位置検出センサ１１２は、駆動部１０１の位置または回転をスイッチで検出する。加速度センサ１１３は、ジャイロなどにより車両の加速度を検出する。ＧＰＳセンサ１１４は、ＧＰＳ衛星からの電波にもとづいて、車両の現在位置を検出する。音センサ１１５は、車両内外の音の大きさや、音のする方向などを検出する。温度センサ１１６は、車両内外の温度を測定する。湿度センサ１１７は、車両内外の湿度を測定する。照度センサ１１８は、車両内外の光の強さを測定する。煙センサ１１９は、車両内外の煙を感知する。空気センサ１２０は、空気の成分を測定する。超音波センサ１２１は、当該センサから発せられた超音波が帰ってくるまでの時間を計り、測定対象物までの距離を測定する。マイクロ波センサ１２２は、当該センサから発せられたマイクロ波が帰ってくるまでの時間を計り、測定対象物までの距離を測定する。レーザセンサ１２３は、当該センサから発せられたレーザが帰ってくるまでの時間を計り、測定対象物までの距離を測定する。電波センサ１２４は、当該センサから発せられた電波が帰ってくるまでの時間を計り、測定対象物までの距離を測定する。赤外線センサ１２５は、赤外線を利用して画像情報を取得する。タッチセンサ１２６は、対象部位に任意の物体が接触したか否かを判定する。圧力センサ１２７は、車両内の空気圧や当該センサにかかる力を測定する。生体センサ１２８は、搭乗者（運転者など）の心拍や脳波、呼吸などの情報を取得する。磁気センサ１２９は、磁気の強さを測定する。

記憶部１０４は、この交通情報検出装置１００を駆動する各種プログラムや、各種情報などを記憶する。情報入力部１０５は、搭乗者とのユーザインタフェースであり、たとえばキーボードなどで構成される。情報出力部１０６は、搭乗者とのユーザインタフェースであり、たとえばディスプレイやＬＥＤ表示機器などで構成される。車両情報インタフェース（Ｉ／Ｆ）１０７は、車速やハンドル操舵角度、ウインカー情報などの車両情報の入出力を行う。外部装置インタフェース（Ｉ／Ｆ）１０８は、カーナビゲーション装置などの外部装置に対する各種情報の入出力を行う。画像処理部１０９は、カメラで取得された画像情報や、記憶部１０４から読み出された画像情報、車両情報インタフェース（Ｉ／Ｆ）１０７や外部装置インタフェース（Ｉ／Ｆ）１０８から得られた画像情報に対して画像処理を行う。

この交通情報検出装置１００は、カメラで信号機を検出するものである。一般的に信号機は道路より上方に設置されていることから、この交通情報検出装置１００では、道路の消失点が検出できる程度にカメラを上方に向けて維持することが必要である。そして、この交通情報検出装置１００では、信号機が停止を必要とする点灯種類（赤信号など）となった場合には、信号機をカメラで追従撮影するので、道路消失点に対して上方へカメラを向けておくことで信号機検出の解像度をカメラの有効解像度に対して広い領域を使うことができるようになり、より信号機検出の精度が向上する。

（交通情報検出装置の処理手順）
図２は、この発明の実施の形態にかかる交通情報検出装置の処理手順の一例を示すフローチャートである。以下、図２のフローチャートにもとづき、この交通情報検出装置の処理を説明する。

図２に示すフローチャートにおいて、まず、初期化処理を行う（ステップＳ２０１）。ここでは、駆動部位置検出センサ１１２がカメラが載設されている駆動部１０１の方向を検出し、この結果にもとづいて制御部１０２が所定の方向（初期方向）にカメラが向くように駆動部１０１の位置を設定する。

次に、道路消失点を検出する（ステップＳ２０２）。具体的には、初期化処理を行ったカメラにより当該カメラの向いている方向の風景、たとえば車両の前方の風景を撮影する。そして、画像処理部１０９が、撮影された走行路画像に対して所定の画像処理を施すことにより道路消失点を検出する。道路消失点の検出は、たとえば、道路に描かれている白線などを検出して、その白線を延長した直線の交点から道路消失点を算出することにより行われる。

次に、道路消失点追従駆動を行う（ステップＳ２０３）。ここでは、ステップＳ２０２で検出された道路消失点を走行路画像の所定位置に表示できるように、画像処理部１０９がカメラが載設されている駆動部１０１の移動量を算出し、算出された値に基づき制御部１０２が駆動部１０１を駆動させる。

次に、信号機を検出する（ステップＳ２０４）。ここでは、画像処理部１０９が、ステップＳ２０２で検出された道路消失点より水平方向上側の画像領域にある信号機の検出を行う。

続いて、停止または減速が必要な信号機が検出されたか否かを判定する（ステップＳ２０５）。この判定は、画像処理部１０９が行う。なお、停止または減速が必要な信号機とは、赤色または黄色が点灯されている信号機のことである。ここで、停止または減速が必要な信号機が検出されなかった場合（ステップＳ２０５：Ｎｏ）は、ステップＳ２０９へ移行する。

一方、ステップＳ２０５において停止または減速が必要な信号機が検出された場合（ステップＳ２０５：Ｙｅｓ）は、信号機追従駆動を行う（ステップＳ２０６）。具体的には、制御部１０２が、駆動部１０１の駆動方式を切り替え、載設されているカメラが捉えた信号機の点灯種類の変化を監視できるように制御する。

続いて、車両が停止したか否かを検出する（ステップＳ２０７）。ここでは、加速度センサ１１３が車両の加速度を検出し、その結果にもとづき車両が停止したか否かを検出する。ここで、車両が停止していない場合（ステップＳ２０７：Ｎｏ）は、再度ステップＳ２０４の処理を行う。

一方、ステップＳ２０７において車両が停止した場合（ステップＳ２０７：Ｙｅｓ）は、車両停止中の動作を実行する（ステップＳ２０８）。具体的には、画像処理部１０９が、カメラから取得した信号機の画像から、信号機の点灯種類の変化を検出して、その点灯種類の変化を情報出力部１０６に表示し、車両の発進可能時期を搭乗者に知らせる。

そして、処理を継続するか否かを決定する（ステップＳ２０９）。この決定は搭乗者が行う。処理を継続する場合（ステップＳ２０９：Ｙｅｓ）は、ステップＳ２０２へ戻る。すなわち、ステップＳ２０８の処理により、検出された信号機の点灯種類が通行可能な状態を示しているような場合は、あらためて道路消失点の検出を行う。一方、処理を継続しない場合（ステップＳ２０９：Ｎｏ）は、すべての処理を終了する。たとえば、搭乗者が以降カメラによる信号機検出の継続が不要であると判断した場合には、すべての処理を終了する。

以上のような処理を実行することにより、この実施の形態にかかる交通情報検出装置は、急カーブや急勾配などで見通しの悪い道路の先にある信号機でも確実に検出し、正確な信号機の点灯情報を取得することができる。また、車両に近接した位置にある信号機の点灯情報も正確に取得することができる。

以下、この発明の実施例を示す。この実施例では、図２に示したフローチャートにおける各処理の一例を詳細に説明する。

図３−１、図３−２は、検出を行う走行路状態の一例を示す図である。この実施例では、図３−１、図３−２に示すような見通しの悪い右カーブの先にある信号機の検出を行う場合を例にとって説明する。

（初期化処理）
まず、図２のステップＳ２０１による初期化処理について詳細に説明する。この初期化処理は、駆動部位置検出センサ１１２がカメラが載設されている駆動部１０１の方向を検出し、この結果にもとづいて制御部１０２がカメラの撮影方向が車両に対して前方の水平方向になるように駆動部１０１の位置を移動させる。

図４は、初期化処理後にカメラが捉えた走行路画像の例を示す図である。この図では、視野角４５度のカメラで水平方向前方を撮影した画像イメージを示している。撮影される画像の解像度は、たとえばＶＧＡサイズ（６４０×４８０ピクセル）とする。

（道路消失点検出処理）
次に、図２のステップＳ２０２における道路消失点検出処理について詳細に説明する。この処理は、カメラで撮影した走行路画像に対して画像処理部１０９が以下のような処理を行うことで実行される。

図５は、道路消失点検出処理の手順を示すフローチャートである。図５に示すフローチャートにおいて、まず、走行路画像を取得し、帯領域に分割する（ステップＳ５０１）。具体的には、カメラ方向の道路風景を撮影する。そして、撮影された走行路画像を下の方向から帯状にある一定の高さ（たとえば４０ピクセル）をもって複数に分割する。

次に、最下段に帯領域を選択する（ステップＳ５０２）。そして、選択した帯領域の白線検出を行う（ステップＳ５０３）。白線は、道路上に描かれている中央線などである。帯内に白線はあるか否かを検出する（ステップＳ５０４）。ここで、帯内に白線が検出された場合（ステップＳ５０４：Ｙｅｓ）は、一つ上段の帯領域を処理対象に選択する（ステップＳ５０５）。この後、ステップＳ５０３へ戻る。

ステップＳ５０４において帯内に白線が検出されなかった場合（ステップＳ５０４：Ｎｏ）は、一つ下段の帯領域の白線を直線で延長する（ステップＳ５０６）。詳しくは、帯領域内の左右の白線をそれぞれ直線近似してそれら直線を延長する。そして、延長線の交点座標を算出する（ステップＳ５０７）。最後に、道路消失点座標を保存する（ステップＳ５０８）。具体的には、ステップＳ５０７で算出された交点座標を道路消失点として記憶部１０４に保存する。

図６は、道路消失点座標の算出を説明するための図である。図６に示すように、番号の若い領域から順に白線を検出し、白線が検出された最上段の帯領域に対して道路消失点検出処理を行う。

（道路消失点追従駆動処理）
次に、図２のステップＳ２０３における道路消失点追従駆動処理について詳細に説明する。この処理は、画像処理部１０９が、ステップＳ２０２で検出された道路消失点を、画像の所定位置に表示できるように、カメラが載設されている駆動部１０１の移動量を算出し、算出された値に基づき制御部１０２が駆動部１０１を駆動させる。

図７は、道路消失点追従駆動処理の手順を示すフローチャートである。図８は、道路消失点追従駆動処理を説明するための図である。また、図９は、道路消失点追従駆動処理後の走行路画像のイメージ図である。

図７に示すフローチャートにおいて、まず、道路消失点座標を取得する（ステップＳ７０１）。ここでは、前述の道路消失点検出処理において算出された道路消失点座標の値を記憶部１０４から読み出す。

次に、画像の目標地点座標を取得する（ステップＳ７０２）。ここでは、まず、道路消失点が画面のある一定位置で検出されるように駆動部１０１を駆動させる。詳しくは、前述の道路消失点検出処理における最下段の帯領域において白線検出が可能であり、かつその際に検出される道路消失点が画像の下側の位置で検出されるようにカメラが載設された駆動部１０１を駆動させる。なお、ここでは、ある一定位置を、たとえば図８の画像の左右中央で、さらに下から８０ピクセルの位置（目標位置）とする。この駆動により、道路消失点が画像の下側に位置するように追従駆動させることができる。これにより、画像の道路消失点より上側の領域を信号機検出領域とすることができ、信号機検出領域を常に最大にすることができる。さらに、信号機が最も検出されやすい道路進行方向上側を撮影し続けることもできるため、信号機検出精度をより向上させることができる。また、急カーブや急勾配がある道路においても、道路消失点が画像下側で検出されるようにカメラを追従させることができるため、道路の形状に関わらず信号機検出の精度を上げることができる。このような道路消失点追従駆動処理により、道路形状に関わらず図８のような構図でカメラを追従駆動させることが可能になる。

次に、二つの座標の差分を算出する（ステップＳ７０３）。すなわち、画像中の、道路消失点の座標と目標位置の座標の差分を取る。たとえば、図８における道路消失点の座標と目標位置の座標との二点間のピクセルは、横方向に２８０ピクセル、縦方向に２１０ピクセルと演算できる。

続いて、駆動部１０１の移動量を算出する（ステップＳ７０４）。ここでは、ステップＳ７０３において演算された差分を駆動部１０１の駆動角度への変換処理を行う。具体的には、カメラの画角と解像度を用いて近似的に駆動角度への変換を行う。たとえば、図８において横方向に２８０ピクセル、縦方向に２１０ピクセル可動する場合の例を示す。カメラの画角を水平４５度、垂直４０度、カメラの解像度を水平６４０ピクセル、垂直４８０ピクセルとすると、目標地点へ道路消失点を移動させるには、水平方向の駆動角度は次の（１）式、垂直方向の駆動角度は次の（２）式のように表せる。

２８０×４５／６４０＝１９．６９ … （１）
２１０×４０／４８０＝１７．５ … （２）

最後に、駆動部１０１を駆動させる（ステップＳ７０５）。ここでは、ステップＳ７０４の算出値を用いて、駆動部１０１を駆動させる。たとえば、（１）式と（２）式によって求められた値によれば、駆動部１０１をヨー方向に１９．６９度、ピッチ方向に１７．５度回転させることになる。

（信号機検出処理）
次に、図２のステップＳ２０４における信号機検出処理について詳細に説明する。この処理は、画像処理部１０９が、前述の道路消失点追従駆動処理で捉えられた道路消失点の位置より水平方向上側の画像領域にある信号機の検出を行う。

図１０は、信号機検出領域を示す図である。前述の道路消失点追従駆動処理によって道路消失点方向へカメラが向いている状態においては、信号機は道路消失点の位置より上方に検出される可能性が高い。そこで、信号機の初期検出精度を最大に高めるため、ここでは道路消失点より上方の画像領域を信号検出領域とする。

ここでは、周知の信号機検出アルゴリズムを用いて信号機検出領域内で信号機の検出を行う。そして、検出された信号機の点灯信号中心座標、縦と横の長さ、および点灯種類情報を記憶部１０４に保存する。

また、信号機点灯種類の判定結果に応じて、カメラが載設されている駆動部１０１の追従駆動方法を切り替える。たとえば、赤信号や黄色信号などの車両が停止または徐行が必要となる信号が検出された場合は、後述する信号機追従駆動処理に切り替える。また、信号が青信号などの通行可能な信号が点灯している場合は、引き続き前述の道路消失点追従駆動処理を継続する。

（信号機追従駆動処理）
次に、図２のステップＳ２０６における信号機追従駆動処理について詳細に説明する。この信号機追従駆動処理は、図２のステップＳ２０５において停止または減速が必要な信号機が検出された場合に実行される。ここでは、制御部１０２が、駆動部１０１の駆動方式を切り替え、載設されているカメラが信号機の点灯種類の変化を捉えられるように制御する。

図１１は、信号機追従駆動処理の手順を示すフローチャートである。図１１に示すフローチャートにおいて、まず、信号機座標を取得する（ステップＳ１１０１）。ここでは、前述の信号機検出処理で記憶された信号機の座標を記憶部１０４から読み出す。

次に、信号機追従の目標地点を設定する（ステップＳ１１０２）。ここでは、カメラで撮影した画像の中央座標と信号機座標を通る直線を引き、画像の中央座標と直線の画像の縁とが交差する点のある一定地点を追従の目標地点として設定する。たとえば、画像中央から画像の縁までの直線を４分割し、中央から３節目に信号機が来るように追従の目標地点を設定する。このようにすることで、信号機が追従の目標地点で検出されるように駆動部１０１を駆動させることができ、この結果、信号機が画像からはみ出ないようなカメラの追従が可能になる。

そして、二つの座標の差分を算出する（ステップＳ１１０３）。ここでは、信号機座標と目標地点座標との差分を算出する。続いて、駆動部１０１の移動量を算出する（ステップＳ１１０４）。ここでは、ステップＳ１１０３における算出結果を用いて、駆動部１０１の駆動角度を算出するが、この方法は前述の道路消失点追従駆動処理において示した方法と同様である。最後に、駆動部１０１を駆動させる（ステップＳ１１０５）。ここでは、ステップＳ１１０４における算出結果にもとづいて、駆動部１０１を駆動させる。以下、図１２−１および図１２−２を用いて信号追従駆動処理を説明する。

図１２−１および図１２−２は、信号追従駆動処理を説明するための図である。図１２−１に示すように、赤信号が検出された場合は、前述の手法で追従の目標地点を設定し、カメラが目標地点の方向へ向くように駆動部１０１を駆動させる。後に、車両が前進すると、図１２−２に示すように信号機がさらに大きく撮影される。ここでも、前記と同様に目標地点を算出して駆動部１０１を駆動させる。この際に、信号機が車両に接近することにより走行路画像に道路は撮影されず、上方に位置する信号機のみが写る場合もある。なお、この信号追従駆動処理中に検出された信号機の点灯信号中心座標、縦と横の長さ、点灯種類情報は、記憶部１０４に保存する。

信号機追従駆動処理の際に、車両情報から車速を検出し、車両が停止または一定速度（たとえば１０ｋｍ／ｈ）以内と判定された場合は、次の車両停止中の動作を実行する。

（車両停止中の動作）
次に、車両停止中の動作について詳細に説明する。この車両停止中の動作は、画像処理部１０９が、カメラから取得した信号機の画像から、信号機の点灯種類の変化を検出して、その変化を情報出力部１０６に表示し、車両の発進可能時期を搭乗者に知らせることである。

図１３は、車両停止中の動作の手順を示すフローチャートである。図１３に示すフローチャートにおいて、まず、信号機座標情報を取得する（ステップＳ１３０１）。ここでは、前述の信号機追従駆動処理において検出された信号機の点灯信号中心座標、縦と横の長さ、点灯種類情報を記憶部１０４から読み込む。

次に、信号機変化検出領域を算出する（ステップＳ１３０２）。ここでは、ステップＳ１３０１で取得した信号機座標情報をもとに信号機変化検出領域を算出する。以下、図１４を参照しながら、信号機変化検出領域算出の手法を説明する。

図１４は、信号機変化検出領域算出の手法を説明するための図である。図１４に示すように、点灯種類情報が赤信号で三つの点灯機の一番右側が点灯している場合であり、高さを点灯信号の縦の長さ、横方向に左に点灯信号の横の長さの３倍の領域を信号機変化検出領域とする。この領域の非点灯信号が点灯信号と同等の大きさの円形で検出された場合は、この領域が信号機変化検出領域として正しい領域と判定し、後述する信号機変化の検出を行う。なお、当該領域において円形が複数検出されない場合は、雪国の縦型信号や視界の悪い地点の補助信号である可能性があるため、点灯信号が赤信号の場合、横方向に点灯信号の横方向の幅、縦は下方向に３倍の領域を信号機変化検出領域として判定する。

また、別の手法として、点灯信号の円形の大きさと同等の円形を信号機周辺で検出することで、青信号、黄色信号、矢印信号などを同時に検出することができ、それらの円形が検出された領域を含む四角領域を信号機変化検出領域としてもよい。

次に、信号機変化の検出を行う（ステップＳ１３０３）。ここでは、ステップＳ１３０２により算出された信号機変化検出領域の画像を記憶部１０４にいったん保存し、その保存された画像と次に撮影された画像をもとに算出された信号機変化検出領域の画像とを比較して信号機変化を検出する。たとえば、二つの画像の差分を取ることで信号機変化を検出可能である。

次に、点灯種類を判定する（ステップＳ１３０４）。ここでは、従来技術を用いて信号の種類を判定する。そして、青信号などの通行可能な信号に変化した場合に、搭乗者へ信号機変化を通知する（ステップＳ１３０５）。ここでは、信号機が通行可能な信号に変化したことを搭乗者へ通知する。通知する手段は、情報出力部１０６への表示、駆動部１０１による駆動などが考えられ、いずれにしても搭乗者に信号機変化を気づかせることができればよい。

最後に、初期化処理を行う（ステップＳ１３０６）。ここでは、信号機の監視を終了し、通常走行時における信号機検出を開始するため、カメラが車両前方水平方向へ向くように駆動部１０１を駆動させる。

以上の説明した各処理を順に実行することで、通常の場合、急カーブや急勾配などで見通しの悪い道路の先にある信号機でも精度よく検出し、信号機の点灯情報を取得することができる。しかしながら、何らかの理由により、信号機検出や検出後の信号機の追従撮影に失敗する場合もありうる。このような場合は、以下に示すような手法を実行することで、補完できるようになる。

（先行車両があるため信号機検出または信号機追従に失敗した場合の処理）
信号機を追従するうちに先行車両に隠れてしまった場合などは、カメラで反対車線方向にある同一交差点の信号機を検出する。そして、検出された場合には前述した停止中の動作に切替える。この際、本来追従すべき信号機とは別の信号機のため信頼度は低くなるので、検出された信号機を、たとえば情報出力部１０６に表示して搭乗者に知らせてもよい。なお、対向車線等に同一交差点信号がない場合は、先行車両のブレーキランプを検出し、ブレーキランプの変化を知らせる。また、先行車両の車両幅や先行車両との距離を検出し、先行車両が出発した場合にも通知するとよい。

（信号機に近づきすぎた場合の処理）
円形の画像を検出したときにそれを信号機の点灯部であると判断するように規定されている場合には、近づきすぎると信号機の点灯部が楕円形の画像で捉えられることになり、信号機の検出ができない場合がある。このような場合には、信号機追従駆動の際に用いるアルゴリズムでは前フレームで検出された信号機位置から予測して色情報などで検出し、円形度判定処理は行わないようにするとよい。

大きな交差点には二つ以上の信号機がある場合がある。そこで、二つの信号機が検出できた場合において、一つ目の信号機に近づきすぎた場合には二つ目の信号機を追従する対象にしてもよい。ただし、同一交差点と判定された場合にのみ有効とする。たとえば、信号機の点灯種類が異なる場合や、大きさを判定し明らかに大きさが異なる場合などは、遠方にある信号機と判定し、この手法は実行しない。

（信号機検出結果の信頼度が低い場合の処理）
信号機の検出精度にスコアを設けた場合、信号機検出スコアがある一定値以下、たとえばスコア１００のうち５０以下の場合に追従駆動すると信号機検出精度の信頼性が低くなる。そこで、信号機検出スコアが一定以下の場合は追従駆動を中止する。また、停止中の動作で同様に信号機検出スコアが低下した場合に、そのまま信号機変化検出を行っていると、搭乗者に誤った検出結果を知らせてしまう危険性がある。そこで、信号機検出スコアがある一定値以下の場合は、カメラの方向を信号機の方向から外して検出できていないことを通知するようにするとよい。このような場合には、たとえば、カメラが車内方向へ向くようにすれば、搭乗者は信号機検出ができていないことを認識できる。

（複数の信号機が検出された場合の処理）
カメラの画角、またはカメラの方向が変化することによって複数の信号機が検出される場合がある。このような場合、往々にしてどの信号機を追従または変化の検出の対象にすればよいか判断しなければならない。特に、直線道路走行中に前方の複数の交差点に存在する信号機を同時に検出する場合がある。その際は、信号機の位置、点灯信号の大きさをもとに複数の交差点にある信号機を分類し、同一交差点信号機をクラスタリングする。そして、クラスタリングされた信号機グループを手前の交差点から順次検出し、信号機の点灯種類の判定を行い、前述の道路消失点追従駆動処理と信号機追従駆動処理とを切替える。

また、車両停止中の動作時に複数の信号機が検出される場合には、信号機の方向をカメラ駆動角度と画面内の信号機座標によって表し、これを記憶部１０４に記録しておく。そして、搭乗者に対して変化を検出する対象となる信号機の選択を行うように示唆する。この場合には、たとえば、情報出力部１０６などに、候補となった信号機の番号や方向を表示したり、候補となった信号機のカメラ映像を表示したりして、検出された信号機にマーキングするとよい。これにより搭乗者は必要な信号機を選択することができる。また、車両の前方上方にある信号機から優先順位を決めて、そこから離れる方向へ番号を振り、その番号順に表示したり自動で切替えたりしてもよい。自動切替え中に搭乗者が信号機の選択を行った場合には、自動切替えモードを中止し、前述した車両停止中の動作を実行してもよい。

（搭乗者が検出する信号機の方向を指定したい場合の処理）
車両停止中に信号が検出できない交差点も多々存在する。その際には、搭乗者がカメラの方向を任意に設定できるようにするとよい。ただし、この場合、操作量が多くなると運転停止中のわずかな時間で行うのは困難である。そこで、検出する信号機の方向を指定したい場合には、搭乗者が所定の一つのボタンを押下するだけであとは自動設定できるようにするとよい。たとえば、搭乗が所定のボタンを押下すると、まず、カメラを車内方向へ向けて搭乗者の視線方向を検出する。続いて、その視線方向とカメラとの相対的な位置により車外に向けられた搭乗者の視線方向を認識し、その方向にカメラを向ける。そして、当該方向の信号機を搭乗者が検出を望む信号機として設定する。

（信号機を見落とした場合の処理）
赤信号と検出されて信号機追従駆動処理に切替わった後、信号機が青信号などで通行可と判定される前に車両が停止することなく当該交差点を通過した場合には、信号機を見落としたと判定し、映像を前後一定時間、たとえば前後３０秒を記憶部１０４に動画または連続画像で保存し、搭乗者に通知する。その際は、搭乗者に警告音や音声、光、回転や振動、その他の手段で通知する。

（残留車両などの検出処理）
交差点停止時において、自車両が信号待ちの先頭車両となり、青信号などの通行可能に信号機の点灯が変化した場合、交差する道路を通行中の車両や横断中の通行人を目視で確認する必要がある。しかし、目視によっても見逃すこともありうる。そこで、青信号などに切替わった直後に交差する道路や横断歩道などの様子を、カメラを左右方向に駆動させて監視する。そして、進行方向へ車両または通行人が侵入してくる可能性がある場合には、搭乗者に警告音や音声、光、回転や振動、その他の手段で通知する。

（道路消失点が検出できない場合の処理）
特殊な道路形状や、先行車両が大型車両である場合に、道路の白線が検出できず道路消失点方向が分からないことがある。特に、道路の形状が急勾配で特に下り坂に入る手前などでは、白線が車両の下方へ下るため画像範囲から下方へ外れてしまう場合がある。その場合は、カメラを上下左右方向へ向けて、広い道路領域を撮影できるようにするとよい。

また、道路によっては白線が引かれておらず、白線検出ができないため、道路消失点が検出できない場合もある。この場合は、他の公知技術により道路消失点を算出する。たとえば、周辺の直線成分を算出し、直線成分を延長した際に最も多くの直線が集中して交差した方向を白線が引かれた方向とする。

また、先行車両により道路消失点が検出できない場合は、道路消失点検出処理と同時に先行車両追従駆動処理を実行できるようにするとよい。たとえば、道路消失点方向は先行車両のナンバープレートまたは先行車両の中央の方向となるため、先行車両のナンバープレートまたは後方から見た先行車両の重心方向を検出し、その方向をカメラで追従する。また、信号機検出領域に関しては先行車両と判定された車両の近辺領域以外とする。停止時に大型の先行車両があった場合は、先行車両と判定された車両近辺の領域を避けて信号機検出を行う。

（信号機の点滅が検出された場合の処理）
点灯が一定間隔で点滅したり、点灯が消える瞬間があったりする信号機がある。これらの信号機が点灯していない時間に撮影された場合の画像に対して信号機追従駆動を行っても信号機を追従ができない場合がある。このような場合は、信号機が検出された座標とその際のカメラ方向情報やその他の車両情報などを記憶部１０４に随時保存し、信号機位置を過去の何枚か取得された画像から予測することで追従駆動を中断することなく行うことができる。

（走行中に信号機検出を行わない場合の処理）
たとえば、走行中は車内、車外を問わずあらゆる方向へカメラを向けて他の処理を行い、停止時に車両停止中の動作で信号機が赤から青に変わったときのみの検出を行いたい場合もある。しかし、停止してからでは信号機検出の方向が特定できないといった問題がある。そこで、このような場合には、車速パルス情報など加速度センサ１１３が捉えた情報から車両の減速を検出し、減速が検出された場合にカメラを前方方向へ向けて車両停止までは信号機追従駆動処理を行うようにするとよい。

（カーブ方向の追従の別処理）
急カーブ走行時に白線や道路領域が視界に入りにくく、道路消失点が正しく検出できない場合がある。そこで、横方向の加速度検出機能を含む加速度センサ１１３を備え、急カーブでの車両の横方向の加速度を検出し、横方向の加速度と車両の車速から適切な撮影方向を算出し、その方向へカメラが向くように駆動部１０１を駆動させる。これにより道路消失点が検出できない場合であっても、信号機検出精度を高めることができる。

（信号機以外を検出する場合の処理）
この発明は、信号機以外を検出することもできる。たとえば、交差点案内のための道路案内表示看板などを検出することができる。これらは信号機と同等の方法で検出することができるので、前述の道路消失点追従駆動処理を実行することで対応できる。また、看板が検出された場合に当該看板を追従し、近距離で画像を取得することで高解像度の画像が撮影できるので、文字認識などを施すことにより交通案内表示看板に応用することも可能になる。また、線路の踏み切りの点灯部、たとえば赤点滅や矢印灯を検出して案内に利用することもできる。

（信号機追従駆動方向の変形例）
停止が必要な信号機の点灯が検出され信号機追従駆動処理に切替わった際に、信号機の点灯部が画像の中心にくるように追従してもよい。

（信号機追従駆動処理の変形例）
信号機の検出の有無により駆動部１０１の駆動を切替えても良い。たとえば、通常走行時は道路消失点追従駆動を行い、信号機検出領域において信号機が検出された場合に信号機追従駆動に切替える。なお、カメラの動作角度の範囲内で撮影される画像画角内で信号機を追従することができない場合には、カメラの初期化を行い、通常の道路消失点追従駆動処理を実行する。

（ロール方向補正）
車両がカーブなどの遠心力によりロール方向へ傾くことがある。このとき、撮影される走行路画像が大幅に傾くと、白線検出などにもとづく道路消失点検出に支障をきたす場合がある。また、道路消失点より画像の上方を信号機検出領域としたとき、ロール方向の傾きのため信号機を信号機検出領域内で捉えることができず適切な検出ができない場合がある。このような場合は、道路の前方のカーブ形状や、加速度センサ１１３または車両情報インタフェース（Ｉ／Ｆ）１０７を介して取得したハンドル舵角などを検出し、この情報をもとにして、取得する走行路画像が水平に保たれるような方向にカメラを追従させる。これにより、信号機検出精度が向上する。

（信号機周辺部の情報取得処理）
また、信号機の周辺にある文字情報を画像処理部１０９によって文字・記号認識してもよい。この場合は、カメラによって信号機追従を行っている際に、信号機座標周辺の画像領域に対して画像処理を行う。たとえば、画像処理部１０９においてＯＣＲ技術、テンプレートマッチング技術などを用いた処理を実行する。検出結果として交差点名、補助信号などの情報が取得できた場合に、様々なアプリケーションに応用できる。たとえば、交差点名を用いてナビゲーション情報と連携し、交差点の右左折案内情報などを取得することができる。

（補助信号機の検出処理）
急カーブや視界の悪い道路の先に信号機が存在する場合、道路の一定距離手前に補助信号機がある場合がある。このような場合には、前述の信号機周辺部情報取得処理を実行することで信号機周辺の文字情報を取得する。そして、このとき補助信号の存在を表す文字列が取得できた場合、本信号機はその先にあるため、信号機追従駆動処理を行わずに本信号機の検出を優先的に行う。

（信号機地点登録処理）
また、この発明によれば、信号機の位置情報を収集することも可能である。一般に、固定カメラでは遠方の信号機を検出してその地点までの距離を別途算出する必要があるため、処理が複雑になり精度も低い。また、広角カメラでは高い精度で信号機検出を行うことが可能な解像度が得られにくい。そこで、本発明の方法を用いることで精度の高い信号機位置情報の取得が可能になる。

たとえば、ＧＰＳセンサ１１４を用いて信号機が検出された地点の位置情報をＧＰＳ衛星から取得し、信号機検出地点のＧＰＳ座標を記憶部１０４に記憶する。そして、道路消失点駆動処理により信号の初期検出精度を向上させ、前述の信号機追従駆動処理の他の実施例に示した処理により信号機を追従し最も信号機に接近した場合を判定し、その地点のＧＰＳ座標を信号位置とする。接近判定は信号機の点灯部サイズとカメラのピッチ方向の角度がある一定値以上となった地点としてもよい。たとえば、ピッチ方向に６０度以上、信号機の円形部の直径がカメラ解像度上の３０ピクセル以上などとする。

（車両停止中の動作の変形例）
前述の車両停止中の動作では、検出されている信号機の周辺部を画像処理領域として設定している。しかし、この場合、信号機に変化がない時間でも点灯部サイズの３倍の領域を画像処理する必要がある。そこで、検出されている信号機座標の変化を時間変化で監視することで、検出されていた信号機領域に変化があった場合にのみ、信号機変化検出領域の探索範囲へ拡張してもよい。また、その際に新たな信号機が検出できない場合は、前述の車両停止中の動作における信号機変化検出領域全体の信号検出を行ってもよい。また、すでに検出されていた信号機情報と比較して、異なる点灯種類の場合に変化があったと判定してもよい。

（カメラの外観）
カメラの映像、特に拡大された映像が情報出力部１０６（モニタ画面など）に表示されている場合、どの方向が映されているか分からない場合がある。そこで、カメラの撮影方向が当該カメラの外観から直感的に把握できるような形状のデザインが好ましい。たとえば、カメラの撮影方向が分かりやすいようなロボットや動物を模したような形状などは搭乗者にカメラの撮影方向を直感的に把握させやすい。これにより、搭乗者は、カメラの撮影方向を容易に把握することができ、本来監視すべき信号機以外のものを監視しているような誤作動に気づくことができる。また、親しみやすい形状のロボットが監視していてくれるという安心感も得られる。走行中、または停止中に信号機を監視していてくれるパートナーロボットとして装置を提供することができる。

（駆動方法を切替えるタイミングの変形例）
前述の例では、停止または減速が必要とする信号機の点灯を検出した場合に信号機追従駆動処理へ切替えていた。しかし、車両の走行速度が一定値（たとえば６０ｋｍ／ｈ）以上で信号機までの距離が近く、信号機が黄色に変化したときは停止するより速やかに通過するほうが安全である場合がある。このような場合には、信号機追従駆動処理へ切り替えず、道路消失点追従駆動処理を継続し、その先の信号機検出を優先する。

（道路消失点追従駆動処理の変形例）
この発明では、道路消失点を下側に追従することで信号機検出領域を大きく設定することができるが、状況により道路消失点が画面内の任意の位置になるように追従してもよい。たとえば、先行車両が大型車両や特殊車両で幅の広い道路を走行しており、信号機が交差点に複数存在し対向車側にも信号機が存在する場合は、カメラを先行車両方向ではなく対向車方向に追従させるようにする。

（信号機以外の交通情報表示機を検出する場合の例）
たとえば、交通案内標示看板（青い看板で交差点の行き先を案内する看板）を検出する。遠方に交通案内標示看板を検出した場合に、遠方では解像度の問題で文字情報を読み取ることはできない。また、看板に近づいた場合、看板がカメラ視野からはずれてしまうことがある。そこで、前述した信号機追従駆動処理と同じ手法で交通案内表示看板を追従させる。前方に向けられたカメラにより青色の看板を検出し、交通案内標示看板と判定された場合は、看板追従駆動を行う。そして、看板に近づいてカメラ画像から文字情報などの詳細情報が取得できる範囲に近づいたときに画像を記憶部１０４に保存し、画像処理部１０９において看板に記載の情報、たとえば交差点の道路の行き先の地名情報をＯＣＲ機能により読み取る。看板情報が取得できた場合は、通常のカメラ駆動方法へ移行する。たとえば前方へカメラを向ける。または道路消失点追従駆動処理を行う。

（信号追従駆動処理の変形例）
この発明では、停止または減速を必要とする信号機の点灯が検出された場合に信号機追従駆動処理を行うが、青信号など全ての信号機の点灯を検出した場合にも信号機追従駆動処理を行ってよい。たとえば、通常走行時はカメラを前方水平方向に向けて固定し、何らかの情報が検出された場合に追従駆動させる。ここでは、信号機が検出された場合には信号機を追従駆動させ、看板などが検出された場合は看板を追従駆動させる。具体的には、画像処理部１０９において追従の必要の有無を判定し、追従が必要であると判定され場合に追従駆動を行うようにする。

（画像処理を装置外部で行う例）
この発明の交通情報検出装置１００は、車両情報インタフェース（Ｉ／Ｆ）１０７や外部装置インタフェース（Ｉ／Ｆ）１０８を備えている。車両情報インタフェース（Ｉ／Ｆ）１０７の先には自動車のＥＣＵやＥＣＵを介して外部の画像処理装置またはコンピュータが接続される。外部装置インタフェース（Ｉ／Ｆ）１０８の先には、カーナビゲーション装置やコンピュータ、画像処理手段を内蔵したあらゆる装置が接続できる。また、外部装置インタフェース（Ｉ／Ｆ）１０８に外部装置としてのネットワーク機器や通信機器、携帯電話などを接続し、サーバに対する情報の送受信を行うこともできる。インタフェースの仕様としては、ＵＳＢやＥｔｈｅｒｎｅｔ（登録商標）、ワイヤレス通信などの汎用的なものでもよいし、外部バスや特殊な仕様でもよい。

車両情報インタフェース（Ｉ／Ｆ）１０７や外部装置インタフェース（Ｉ／Ｆ）１０８を用いて画像情報を送受信し、車両または外部装置において画像処理を行う。画像処理の結果、信号機や看板の有無、検出されたその他の情報などを車両情報インタフェース（Ｉ／Ｆ）１０７または外部装置インタフェース（Ｉ／Ｆ）１０８を介して受信することでカメラの制御を行う。

以上のように、この発明では、道路消失点を検出することで信号機検出領域を最大にする方向へカメラを追従させることができる。また、停止が必要となる信号機の点灯が検出された場合は、信号機追従駆動処理に切替える。このような処理を行うことで、急カーブや急勾配などで見通しの悪い道路の先にある信号機でも確実に検出し、正確な信号機の点灯情報を取得することができる。また、車両に近接した位置にある信号機の点灯情報も正確に取得することができる。さらに、前述した各種処理を行うことで、より信号機の点灯情報をはじめ検出対象物に対する検出精度を向上させることができる。

なお、この実施の形態で説明した交通情報検出方法は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体であってもよい。

１００ 交通情報検出装置
１０１ 駆動部
１０２ 制御部
１０３ センサ部
１０４ 記憶部
１０５ 情報入力部
１０６ 情報出力部
１０７ 車両情報インタフェース（Ｉ／Ｆ）
１０８ 外部装置インタフェース（Ｉ／Ｆ）
１０９ 画像処理部
１１１ 画像センサ
１１２ 駆動部位置検出センサ
１１３ 加速度センサ
１１４ ＧＰＳセンサ
１１５ 音センサ
１１６ 温度センサ
１１７ 湿度センサ
１１８ 照度センサ
１１９ 煙センサ
１２０ 空気センサ
１２１ 超音波センサ
１２２ マイクロ波センサ
１２３ レーザセンサ
１２４ 電波センサ
１２５ 赤外線センサ
１２６ タッチセンサ
１２７ 圧力センサ
１２８ 生体センサ
１２９ 磁気センサ

Claims (10)

1. カメラと、
   前記カメラを載設し前記カメラの撮影方向を規定する駆動手段と、
   前記カメラで撮影した交通信号機の画像に所定の画像処理を施すことで前記交通信号機の状態を検出する画像処理手段と、
   前記画像処理手段の検出結果にもとづき、前記駆動手段を駆動させる制御手段と、
   を備え、
   前記画像処理手段は、前記カメラが撮影した走行路画像から前記交通信号機の点灯種類を認識し、
   前記制御手段は、前記画像処理手段が検出した前記点灯種類に応じた前記カメラの撮影方向を規定できるように前記駆動手段を駆動させることを特徴とする交通情報検出装置。
2. 前記画像処理手段は、前記カメラが撮影した走行路画像から車両の停止または減速を必要とする前記交通信号機の点灯種類を認識し、
   前記制御手段は、前記画像処理手段が検出した前記交通信号機の点灯種類の変化を前記カメラで監視できるように前記駆動手段を駆動させることを特徴とする請求項１に記載の交通情報検出装置。
3. 車両の停止を検出するセンサ手段を備え、
   前記センサ手段により車両の停止が検出された後に、前記制御手段は、前記カメラで前記交通信号機の点灯種類の変化を監視できるように前記駆動手段を駆動させることを特徴とする請求項１に記載の交通情報検出装置。
4. 情報出力手段を備え、
   前記画像処理手段は、前記交通信号機の点灯種類の変化を検出した後に、該検出結果を前記情報出力手段から出力させることを特徴とする請求項１に記載の交通情報検出装置。
5. 前記画像処理手段は、前記カメラで撮影された走行路画像に対して所定の画像処理を施すことにより道路消失点を検出し、
   前記制御手段は、検出された前記道路消失点を前記カメラで撮影した画像の所定位置に表示できるように前記駆動手段を駆動させることを特徴とする請求項１〜４のいずれか一つに記載の交通情報検出装置。
6. 前記制御手段は、前記道路消失点が常に前記カメラの撮影画面の下側に位置するように前記駆動手段を駆動させ、
   前記画像処理手段は、前記カメラで撮影された走行路画像に所定の画像処理を施すことにより交通信号機を検出することを特徴とする請求項５に記載の交通情報検出装置。
7. 前記画像処理手段は、走行路画像における前記道路消失点の上側領域で交通信号機を検出することを特徴とする請求項６に記載の交通情報検出装置。
8. カメラで撮影した交通信号機の画像に所定の画像処理を施すことで前記交通信号機の状態を検出する画像処理工程と、
   前記画像処理工程の検出結果にもとづき、前記カメラの撮影方向を規定する駆動手段を駆動させる制御工程と、
   を含み、
   前記画像処理工程では、前記カメラが撮影した走行路画像から前記交通信号機の点灯種類を認識し、
   前記制御工程では、前記画像処理手段が検出した前記点灯種類に応じた前記カメラの撮影方向を規定できるように前記駆動手段を駆動させることを特徴とする交通情報検出方法。
9. 請求項８に記載の交通情報検出方法をコンピュータに実行させることを特徴とする交通情報検出プログラム。
10. 請求項９に記載の交通情報検出プログラムが記録されていることを特徴とするコンピュータで読み取り可能な記録媒体。

Images