JP4654163B2 - 車両の周囲環境認識装置及びシステム - Google Patents

Description

本発明は、車両に搭載されたカメラの映像を処理し、車両の周囲の環境である道路上の路面標示，信号機，標識等を認識する装置及びシステムに関する。

車両に搭載されたカメラの映像を画像処理し、路面上の路面標示を認識する装置が特許文献１に記載されている。

また、車両の前方と後方にカメラを設置したシステムにおいて、前方カメラの画像のコントラストを検出し、前方の画像情報が得にくい場合には、後方のカメラの情報を用いて車両の周囲を認識する装置が特許文献２に記載されている。

特開平３−２２０４１０号公報 特開平６−２０６１９６号公報

特許文献１の装置は、車両の後方に設置したカメラで路面標示を認識する装置であるが、車両の後方に設置したカメラの映像中において、路面標示は画面下端から出現するため、画面のどの位置に路面標示が出現するか予測するのが難しい。また、カメラの設置俯角が大きく、カメラの視野に入る路面の部分が狭いため、認識対象物を補足できる時間が非常に短い。そのため、認識率の向上や誤認識の削減が難しい。

また、特許文献２の装置は、車両前方のカメラと後方のカメラのうち、どちらか一方に切り替える装置であり、カメラ間で相互にデータの交換が行われておらず、２つのカメラが有効に利用できていないため、さらなる認識率の向上，誤認識の削減が可能である。

本発明の車両周囲環境認識装置は、車両に搭載され、車両の前方を撮像する第１の画像入力手段と、車両に搭載され、車両の後方を撮像する第２の画像入力手段と、第１の画像入力手段の撮像条件を制御する第１の画像入力手段制御部と、第２の画像入力手段の撮像条件を制御する第２の画像入力手段制御部と、第１の画像入力手段で入力した画像を画像処理して車両周囲の認識対象物を認識する第１の認識手段と、第２の画像入力手段で入力した画像を画像処理して車両周囲の認識対象物を認識する第２の認識手段と、第１の認識手段の認識結果に基づいて第２の画像入力手段の撮像条件及び第２の認識手段の画像処理の内容を決定する認識方法判断部と、を有し、認識方法判断部は、第１の認識手段の認識結果に基づいて、第２の画像入力手段で認識可能な認識対象物を抽出し、抽出された認識対象物を第２の画像入力手段の認識対象物として決定する認識対象物決定手段と、認識対象物を認識する処理を実行するタイミングを決定する処理タイミング決定手段と、を有し、処理タイミング決定手段は、検出した自車両の速度と、第１の認識手段と第２の認識手段間の距離と、第１の認識手段で認識対象物を認識した時刻と、認識対象物の位置と、に基づいて、第２の画像入力手段の認識領域に認識対象物が出現する位置と時刻を計算し、位置と時刻をタイミングとして決定する構成とする。

１つのカメラを利用した装置よりも、認識対象物の認識率の向上，誤認識の削減が実現できる。

以下、図を用いて本発明の好適な実施形態を説明する。

本発明を、車両に搭載されたリアカメラの映像を用いて、路面標示を認識するシステムに適用した場合の実施の形態を説明する。

図１に本発明に係る車両の周囲環境認識システムの実施例を示す。車両１には、車両前方を撮像するフロントカメラ１０１と車両後方を撮像するリアカメラ１０８が搭載されている。フロントカメラ１０１は視野４に路面が映るように取り付けられており、リアカメラ１０８も視野５に路面が映るように取り付けられている。

フロントカメラ１０１で撮像された映像情報は周囲環境認識装置２に入力される。周囲環境認識装置２は入力された映像情報に基づいて車両前方の路面標示３ａを認識する。なお白線３ｄ，３ｅ，標識３ｃ，信号機（図示しない）を認識する構成としても良い。以下、路面標示，白線，標識，信号機をまとめて「路面標示等」と記載する。ここで路面標示とは道路上に表示された交通標識であり、例えば横断歩道，一時停止線，最高速度標示，進行方向別通行区分標示，転回禁止標示である。

フロントカメラと同様に、リアカメラ１０８で撮像された映像情報も周囲環境認識装置２に入力される。周囲環境認識装置２は入力された映像情報に基づいて車両後方の路面標示３ｂを認識する。周囲環境認識装置２は認識した路面標示に関する情報を、通信経路を介して他の車両制御装置１０６ａや車載情報装置１０６ｂに送信する。ここで車両制御装置１０６ａは、例えば車両の周囲環境に応じて車両の加速及び減速を制御する定速走行制御装置，車間距離制御装置，渋滞追従制御装置であり、周囲環境認識装置２から送信された路面標示の情報に応じて制御を行う。また車載情報装置１０６ｂは、例えばナビゲーション装置であり、周囲環境認識装置２から送信された路面標示の情報に基づいて自車位置の修正を行う。

図２に上述の周囲環境認識装置２の機能ブロック図を示す。周囲環境認識装置２はフロントカメラ画像認識部１０２とリアカメラ画像認識部１０３とを備える。

フロントカメラ画像認識部１０２は、フロントカメラ１０１で撮像された映像情報から路面標示等を認識するフロント路面標示認識部１０２ａと、フロントカメラ１０１の撮像条件（タイミング，周期，露光時間，ズーム、等）を制御するフロントカメラ制御部102bとを備えている。なおフロントカメラ１０１の撮像条件が固定である場合はフロントカメラ制御部１０２ｂを省略しても良い。

フロント路面標示認識部１０２ａは、フロントカメラ１０１で撮像された映像情報に対して、二値化，エッジ抽出，パターンマッチング等の画像処理を施し、路面標示等を認識する。具体的には、映像中の路面標示等の種類，位置，角度等を検出する。

リアカメラ画像認識部１０３は、リアカメラ１０８で撮像された映像情報から路面標示を認識するリア路面標示認識部１０５と、リアカメラ１０８の撮像条件（タイミング，周期，露光時間，ズーム、等）を制御するリアカメラ制御部１０７及び、認識方法判断部
１０４を備える。認識方法判断部１０４は、フロント路面標示認識部１０２ａから入力される情報に基づいて、リアカメラ１０８の撮像条件及びリア路面標示認識部１０５における画像処理の内容を決定し、前記リアカメラ制御部１０７及びリア路面標示認識部１０５に情報を送る。

上述のように、フロント路面標示認識部１０２ａによる認識結果を認識方法判断部104に直接に入力する構成でもよいが、当該認識結果を路面標示情報記憶部１１１に記憶しておき、記憶された認識結果を認識方法判断部１０４に入力する構成としても良い。このようにすることで、通信タイミングや処理タイミングの調整が可能となる。また、異なる時刻に撮像された複数の画像の差を取ることも可能となるので、周囲環境の時間変化に関する情報を認識方法判断部１０４に送ることも可能となる。

リアカメラ制御部１０７は、認識方法判断部１０４によって指定された条件でリアカメラ１０８を制御して映像を取得する。リア路面標示認識部１０５は、上述の条件で撮像された映像情報に対して、認識方法判断部１０４によって指定された画像処理を施し、路面標示等を認識する。具体的には、映像中の路面標示等の種類，位置，角度等を検出する。

図３，図６を用いて、上述のリアカメラ画像認識部１０３の行う処理について説明する。

図３に、リア路面標示認識部１０５が実行する処理のフローチャートを示す。

まず、画像入力処理２０１においてリアカメラ１０８の画像を取得する。

次に、認識対象物選択処理２０７において、リアカメラ認識対象物データ１９０６を読み込み、リアカメラ１０８で認識する路面標示等の種類を抽出する。

ここで、リアカメラ認識対象物データ１９０６は、図３７のテーブルに示すデータである。２２０２は認識対象物の種類、２２０３は認識対象物がリアカメラ１０８の視野に出現する予想時刻である。このリアカメラ認識対象物データ１９０６はフロント路面標示認識部１０２ａから入力されるフロントカメラ認識結果データ８０６（図３６）に基づいて認識方法判断部１０４が作成する。なお当該リアカメラ認識対象物データ１９０６の作成方法に関しては後述する。本処理では、図３７のテーブルにおいて現在時刻を参照し、現在時刻が２２０３の出現タイミングに達していれば、当該対象物を認識対象物として抽出する。

続いて、認識対象となるそれぞれの路面標示を認識するための処理を、以下２０２〜
２０５にて行う。

画像前処理２０２において、画像入力処理２０１で取得した画像に対してノイズを除去する処理を行う。ノイズ除去処理は本発明の実施に必須ではないが、路面標示等の認識の障害となることが多いため、ノイズ除去処理を行うことが望ましい。ここでノイズには様々なものが考えられるが、本実施例における認識対象物は道路上の路面標示，白線であるため、ペイントの「かすれ」に起因するノイズが特に問題となる。そこで本実施例では、路面標示，白線の特徴量を抽出しやすくするように、路面標示ペイントの「かすれ」を除去する処理を行う。かすれを除去する処理の具体例としては、図４に示すように、入力画面２０８の注目画素ｆ４（２１２）を中心とした３×３近傍の領域ｆ０〜ｆ８の画素の輝度値のうち、最大の輝度値を注目画素ｆ４の輝度値として置き換える方法が考えられる。これにより周辺画素のうち最も明るい部分の値が注目画素の明るさになるので、かすれが補正される。

次に、路面標示特徴量抽出処理２０３では、図５における入力画面２０８の路面２０９と路面標示２１０との間の輝度値の変化を検出して、路面標示２１０の輪郭を抽出する。この際、認識パラメータデータ２４０６を読み込み、図４７に示す認識エリア２４３３，２４３４，路面と路面標示の間の輝度値変化量の予測値２４３６，路面標示輝度値の最大値の予測値２４３６を参照し、認識対象の路面標示２１０の輪郭を検出する。このように認識パラメータデータ２４０６は、認識対象となる路面標示等が現れることが予測されるリアカメラ１０８の画像上の位置、及び、当該路面標示等を認識するためのエッジ抽出の閾値等を定めたものである。認識パラメータデータ２４０６は、フロント路面標示認識部１０２ａから入力されるフロントカメラ認識結果データ８０６（図３６）に基づいて認識方法判断部１０４が作成する。認識パラメータデータ２４０６の具体的な作成方法に関しては後述する。

次に、判定処理２０４では、路面標示特徴量抽出処理２０３で抽出した路面標示の輪郭が、認識対象物選択処理２０７で選択した対象路面標示の特徴と一致するかどうかを判定する。具体的には、リア路面標示認識部１０５は想定される路面標示等の輪郭に相当するテンプレートデータを備えており、リアカメラ１０８の画像から認識された路面標示等の輪郭と前記テンプレートデータとを比較して一致したとき、若しくは両者の差が所定以内に収まったときに、当該路面標示を認識したものと判定する。なお認識方法判断部１０４がフロントカメラ認識結果データ８０６を送信する際に、必要なテンプレートデータを添付する構成としてもよい。

認識結果出力処理２０５では、判定処理２０４にて認識対象とした路面標示を認識した場合、認識した路面標示の種類，車両からの相対位置，車両との相対角度を、通信部109を介して、他の車両制御装置１０６ａや車載情報装置に出力する。

なお、ステップ２０１における一つの画像入力に対して、ステップ２０７で複数の認識対象物が読み込まれた場合には、ステップ２０２から２０５までの処理を全ての認識対象物の認識が終わるまで繰り返す。例えば、フロントカメラ認識結果データ８０６に、横断歩道と停止線の２つの認識対象物が存在している場合は、まず横断歩道の認識についてステップ２０２から２０５までの処理を行い、その後停止線の認識についてステップ２０２から２０５までの処理を行う。

ステップ２０７で読み込まれた全ての認識対象物について上述の処理が終了したときは分岐２０６に進む。分岐２０６で新しい画像入力信号が来ていない場合はウエイトし、新しい画像入力信号が来ている場合は、処理２０１へ戻る。

図６に、認識方法判断部１０４が実行する処理のフローチャートを示す。

まず、フロントカメラ認識結果入力処理３０１において、フロント路面表示認識部102a（若しくは路面標示情報記憶部１１１）からフロントカメラ１０１の映像に基づく認識結果のデータを取得する。この認識結果のデータには、フロントカメラ映像内の路面標示等の認識結果、フロントカメラの映像の輝度情報，路面上の影の情報を取得する。フロントカメラ認識結果の詳細に関しては、以下の３０２から３０６の処理内容の中で説明する。

次に、リアカメラゲイン値決定処理３０２において、処理３０１で取得したフロントカメラ映像中の路面上の影の情報を解析し、リアカメラ１０８のゲイン値を決定する。本処理の詳細については後述する。

次に、リアカメラ露光時間決定処理３０７において、処理３０１で取得したフロントカメラの映像の輝度情報を解析し、リアカメラ１０８の露光時間を決定する。本処理の詳細については後述する。

次に、リアカメラ認識対象物決定処理３０３において、処理３０１で取得したフロントカメラ映像内の路面標示，白線，信号機，標識の認識結果に基づき、リアカメラ１０８での認識対象物を決定し、さらに、リアカメラ処理タイミング決定処理３０４において、リアカメラ１０８で認識対象物を認識する処理を実行するタイミングを決定する。処理303，処理３０４の詳細については後述する。

次に、リアカメラ認識ロジックパラメータ決定処理３０５において、処理３０１で取得したフロントカメラ映像内の路面標示，白線の認識結果、フロントカメラ映像中の路面上の影の情報に基づき、認識対象物の認識ロジックにおける各種パラメータ値を決定する。本処理の詳細については後述する。

最後に、分岐３０６において、フロントカメラ１０１の認識結果が更新されていない場合はウエイトし、フロントカメラ１０１の認識結果が更新された場合は、処理３０１へ戻る。

なお、上述の実施例では処理３０２，３０７及び３０３乃至３０５の処理を全て直列的に実施することを説明したが、これら全ての処理を行うことは必須ではない。想定される使用状況に合わせて、適宜採用する処理を選択して組み合せることができる。いずれの組み合わせにおいても、従来技術に比べてリアカメラ１０８による路面標識等の認識精度を向上させることができる。なお、リアカメラゲイン値決定処理３０２又はカメラ露光時間決定処理３０７を行う場合は、処理３０３乃至３０５よりも先に行う。なぜなら、処理
３０３乃至３０５はリアカメラ１０８によって何らかの認識対象物が撮像できていることを前提とする処理であり、これらの処理に先立ってリアカメラの撮像条件（ゲイン，露光時間）を変更し、周囲の明るさの状態に合わせて撮像対象物が写るように設定する必要があるからである。

このように本実施例では、フロント路面標示認識部１０２ａは、認識した路面標示等の種類を認識方法判断部１０４に入力する。

路面標示には、上述のように横断歩道，一時停止線，最高速度標示，進行方向別通行区分標示，転回禁止標示、など多くの種類があり、それぞれの図形的な特徴が異なる。従って、路面標示の種類に応じて好適な画像処理アルゴリズムが異なる場合があるが、本実施例の構成によれば、フロントカメラ１０１で路面標示等の種類を特定した後に、その種類をリアカメラ側に通知して適切な画像処理アルゴリズムを選択できるので、リアカメラ
１０８による路面標示の誤認識や不認識（認識の失敗）を低減することができる。

また、本実施例では、フロント路面標示認識部１０２ａは、フロントカメラ１０１で撮影された映像の明るさや画像中の影を検出し、その情報を認識方法判断部１０４に入力する。具体的には映像の輝度情報を解析し、画像全体の輝度を検出する。認識方法判断部
１０４においては、リアカメラ１０８の適切なゲイン（絞り）や露光時間(シャッタ速度)を計画し、リアカメラ制御部１０７へ送る。リアカメラ制御部１０７は、認識方法判断部１０４から受信したリアカメラのゲイン、露光時間の指令に基づき、リアカメラ１０８を制御する。

これにより、例えばフロントカメラ１０１による画像が明る過ぎたり、暗過ぎたりして、路面標示等が明瞭に撮影されていない場合でも、リアカメラ１０８では、周囲の明るさに適したゲインや露光時間で撮影することができる。従って、リアカメラ１０８では路面標示等をより明瞭に撮影し、路面標示等を認識することが出来る。この効果は、道路上を建物等の影が横切っている場合など、周囲の明るさが頻繁に変化する状況において特に顕著である。
〔リアカメラゲイン値決定処理〕
以下、図４から図１０及び図２２から図２６を用いて、図２に示す認識方法判断部104で実行される処理（図６）のうち、リアカメラゲイン値決定処理３０２の詳細な実施例を説明する。

図７は、リアカメラゲイン値決定処理３０２の詳細フローチャートである。

まずフロントカメラ影位置参照処理４０１において、フロントカメラ映像内の路面上の影の位置を記載したフロントカメラ影位置データ４０８を取得する。フロントカメラ影位置データ４０８は、フロントカメラ１０１で撮影した映像に基づいてフロント路面標示認識部１０２ａにより作成される。当該フロントカメラ影位置データ４０８はフロントカメラ認識結果データ８０６に含められるか、若しくは路面標示情報記憶部１１１に記憶され、認識方法判断部１０４によって参照される。なおフロント路面標示認識部１０２ａによるフロントカメラ映像内の影の検出処理については後述する。

フロントカメラ映像内の路面上の影の位置は、図１０に示すように、影開始位置Ａ
（７０１）と影終了位置Ｂ（７０２）によって表現する。そして、図１０の影位置を、図２２に示す道路座標系に変換し、図２３に示すテーブルの形式で表現する。図２２において、フロントカメラ１０１のレンズ中心の直下の路面上を原点１３０２，フロントカメラ１０１の光軸を路面に投影した直線１３０３をｙ軸、原点１３０２を通り、ｙ軸１３０３に直交する路面上の直線１３０４をｘ軸とする。この道路座標系を用いて、図２３に示すように、影開始位置か終了位置かの区別１４０１，ＩＤ番号１４０２，位置（道路座標系のｙ座標）１４０３，輝度値の平均値１４０４，影の検出時刻１４０６のデータ列により影を表現する。

次に、リアカメラ影出現予測処理４０２において、フロントカメラ１０１で検出した路面上の影が、車両の走行とともに、リアカメラ１０８の視野の中にいつ出現するかを予測し、予測した結果をリアカメラ影位置データ４０７に書き込む。

本処理の詳細について図２４，図２５を用いて説明する。図２４はリアカメラ影出現予測処理４０２の詳細フローチャートである。

まず、車速参照処理１５０１で、車両の速度の現在値ｖ１を取得する。

次に影出現タイミング計算処理１５０２において、図２５に示す路面標示認識エリア
１６０１の始端１６０２に、路面上の影が出現するタイミングを計算する。図２５において、原点，ｘ軸，ｙ軸は、図２２で説明した道路座標系である。５はリアカメラ１０８の視野であり、その中の一部である標示１６０１が路面標示認識エリアであり、この路面標示認識エリアの始端が１６０２であり、これは、図５に示したように、路面標示が画面に出現し、遠ざかり、路面標示が認識できる適切な解像度が得られるまでの範囲２１１に相当する。

ここで図２５に示すように、路面標示認識エリアの始端１６０２の道路座標系でのｙ座標をａ２、フロントカメラ１０１で検出した影の道路座標系でのｙ座標をａ１、影を検出した時刻をｔ１、フロントカメラ１０１の設置位置とリアカメラ１０８の設置位置との間の距離をｄ１とすると、フロントカメラ１０１で検出した影が路面標示認識エリアの始端１６０２に出現する時刻ｔ２は、
ｔ２＝ｔ１＋（ａ１＋ｄ１＋｜ａ２｜）／ｖ１
となる。

最後に、影位置登録処理１５０３で、処理１５０２で予測した影出現タイミングをリアカメラ影位置データ４０７に書き込む。リアカメラ影位置データ４０７は、図２６に示すテーブルとして定義される。リアカメラ影位置データ４０７は影開始か影終了かの区別
１７０１，ＩＤ番号１７０２，予測輝度値１７０３、及び、影が出現する予想時刻1704の情報を含む。１７０３の予測輝度値は、図２３のフロントカメラ影位置データの輝度値
１４０４と同じとする。

図７のフローに戻って、次に、リアカメラゲイン値決定処理４０３において、処理402で予測したリアカメラ視野内の影出現タイミングであるリアカメラ影位置データ４０７を取得し、予測した影の輝度値に応じて、リアカメラ１０８のゲイン値を決定し、図８に示すリアカメラゲイン値計画テーブルを作成する。

図８に示すように、当該テーブルにはゲイン値を切り替えるタイミングを示す時刻501と、当該切り替え時刻５０１のタイミングおいて変更されるゲイン値５０２が示されている。ゲイン値５０２は、リアカメラ１０８の視野内に現れることが予測される影の輝度値の予測値に基づいて決める。ゲインを決定するには、図２７に示す影の輝度１８０１とゲイン値１８０２に関するテーブルを参照して決定する。なお図２７に示すテーブルは、事前の実験により、路面標示を検出するのに好適な影の輝度１８０１とゲイン値１８０２との関係を求めて作成する。

図７のフローに戻り、最後に、リアカメラゲイン値計画データ書き込み処理４０４において、処理４０３で決定したリアカメラのゲイン値計画テーブル（図８）を、リアカメラゲイン値計画データ４０６に書き込む。

リアカメラ制御部１０７では、図９に示す処理が実行される。まず、ゲイン値計画データ参照処理６０１において、認識方法判断部１０４のリアカメラゲイン値決定処理３０２が作成したリアカメラゲイン値計画データ４０６を定期的に読み込む。

次に、時刻参照処理６０２において現在時刻を読み込み、分岐６０３にて、リアカメラゲイン値計画データ４０６に記載されたゲイン値切り替え時刻６０１である場合は、リアカメラゲイン値切り替え処理６０４を行う。処理６０４では、リアカメラゲイン値計画データ４０６に記載されたゲイン値６０２をリアカメラ１０８の制御装置に送信する。分岐６０３にて、ゲイン値切り替え時刻でない場合は、処理６０１へ戻る。

〔リアカメラ露光時間決定処理〕
続いて、以下、図２８から図３０を用いて、図２に示す認識方法判断部１０４で実行される処理（図３）のうち、リアカメラ露光時間決定処理３０７の詳細な実施例を説明する。

次に図２８を用いて、認識方法判断部１０４で実行される処理（図３）の中の、リアカメラ露光時間決定処理３０７における処理内容について説明する。

図２８は、リアカメラ露光時間決定処理３０７の詳細フローチャートであり、まず、フロントカメラ輝度値参照処理１８０３において、フロントカメラ画像認識部１０２が作成した画像輝度現在値データ９０４を読み込み、フロントカメラの入力画像の平均輝度値を求める。

次に、フロントカメラ輝度値到達時刻計算処理１８１３において、処理１８０３で取得したフロントカメラの平均輝度値の映像が、リアカメラ１０８の視野内に出現する時刻
Ｔ２を計算する。そのために、まず現在の車両の速度ｖ１と現在時刻Ｔ１を参照し、図
２５におけるフロントカメラ１０１の設置位置とリアカメラ１０８の設置位置の距離を
ｄ１，フロントカメラ１０１の光軸と路面との交点のｙ座標値をＦ１，リアカメラ１０８の光軸と路面との交点のｙ座標値をＲ１とすると、
Ｔ２＝Ｔ１＋（Ｆ１＋ｄ１＋Ｒ１）／ｖ１
となる。

次に、リアカメラ露光時間決定処理１８０４において、処理１８０３で取得した輝度値に応じて、リアカメラ１０８の露光時間を決定し、図２９に示すリアカメラ露光時間計画テーブルを作成する。当該テーブルには、露光時間を切り替えるタイミングを示す時刻
１８０７と当該時刻１８０７のタイミングで変更される露光時間１８０８とが定義されている。露光時間１８０８は、リアカメラ１０８の視野内で予想される平均輝度値によって決める。露光時間に関しては、図３１に示す輝度値１８１４と露光時間１８１６に関するテーブルを参照して決定する。画像輝度１８１４に応じた路面標示を最も検出しやすくする露光時間１８１５に関しては、事前の実験により決定する。

最後に、リアカメラ露光時間計画データ書き込み処理１８０５において、処理１８１３，処理１８０４で決定したリアカメラの露光時間の計画（図２９）を、リアカメラ露光時間計画データ１８０６に書き込む。リアカメラ露光時間計画データ１８０６は、リアカメラ画像認識部１０３のリアカメラ制御部１０７が参照する。

リアカメラ制御部１０７では、図３０に示す処理が実行される。

まず、露光時間計画データ参照処理１８０９において、認識方法判断部１０４のリアカメラ露光時間決定処理３０７が作成したリアカメラ露光時間計画データ１８０６を定期的に読み込む。

次に、時刻参照処理１８１０で現在時刻を読み込み、分岐１８１１にて、リアカメラ露光時間計画データ１８０６に記載された露光時間切り替え時刻１８０７である場合は、リアカメラ露光時間切り替え処理１８１２を行う。処理１８１２では、リアカメラ露光時間計画データ１８０６に記載された露光時間１８０８をリアカメラ１０８の制御装置に送信する。分岐１８１１にて、露光時間切り替え時刻でない場合は、処理１８０９へ戻る。

〔リアカメラ認識対象物決定処理〕
次に図３２から図３７を用いて、認識方法判断部１０４で実行される処理（図３）のうち、リアカメラ認識対象物決定処理３０３の詳細な実施例を説明する。

図３２は、リアカメラ認識対象物決定処理３０３の詳細フローチャートである。

まずフロントカメラ認識結果参照処理１９０１において、フロントカメラ画像認識部
１０２が認識した路面標示の認識結果が記載されているフロントカメラ認識結果データ
８０６を読み込む。フロントカメラ認識結果データ８０６は図３６に示すテーブルとして定義されており、当該テーブルにはＩＤ番号２１０１，認識した路面標示，白線，信号機，標識の種類２１０２，認識時刻２１０３，認識した対象物の位置２１０４，認識した対象物と車両との角度２１０５，認識した路面標示，白線のペイントのかすれ具合２１０６が記憶されている。ここで、認識した対象物の位置２１０４と、車両との角度２１０５は、図３３に示すように表現する。図３３は図２２で説明した道路座標系である。ここで認識した対象物（図の例では、前方横断歩道，自転車横断帯あり標示）の位置２１０４は、当該認識した対象物において車両と一番近い点１９０７のｘ座標，ｙ座標で表現する。認識した対象物と車両との角度２１０５は、白線１９１０と平行な認識対象物の中心線1908を定義し、線分１９０８とｙ軸との成す角度で表現する。

一方、フロントカメラ認識結果データ８０６の中で、白線の位置２１０４と車両との角度２１０６に関しては、図３４に示すように表現する。図３４は図２２で説明した道路座標系であり、１が車両、１０１がフロントカメラ、３ｄ，３ｅが認識した白線であり、フロントカメラの前方ｄ２の距離のｙ軸上の点１９１１を定義する。ここで、点１９１１を通りｙ軸に垂直な路面上の直線１９１２と白線との交点を１９１３とした場合、白線の位置２１０４は、点１９１３のｘ座標，ｙ座標の値とする。また、白線と車両との角度2106は、白線とｙ軸との成す角度で表現する。

このフロントカメラ認識結果データ８０６がどのように生成されるかについては後述する。

次に、同一路面標示抽出処理１９０２において、フロントカメラ画像認識部１０２で認識したフロントカメラ認識結果データ８０６のうち、リアカメラ１０８で認識可能な対象物である路面標示の種類と白線に関するデータ（図３６）を抽出し、リアカメラ１０８の認識対象物とする。

次に、近傍路面標示抽出処理１９０３において、フロントカメラ画像認識部１０２で認識したフロントカメラ認識結果データ８０６のうち、認識した対象物の近傍にある路面標示をリアカメラ１０８の認識対象物とする。近傍にある路面標示に関しては、図２０に示す近傍路面標示データ１９０５を予め登録し、近傍路面標示データ１９０５の中から抽出する。

図２０の表は、フロントカメラで認識することができる路面標示，信号機，標識の種類２００１，上記２００１の近傍にある路面標示の種類２００２、及び上記２００１と上記２００２との間の想定距離２００３を示すものである。

最後に、認識対象物登録処理１９０４において、処理１９０２，処理１９０３でリアカメラの認識対象物とした路面標示の種類を、リアカメラ認識対象物データ１９０６に書き込む。リアカメラ認識対象物データ１９０６は図３７に示すテーブルであり、当該テーブルには、認識対象物のＩＤ番号２２０１，認識対象物の種類２２０２，リアカメラ１０８の視野に出現する予想時刻２２０３，リアカメラ１０８の視野に出現した時の認識対象物の予想位置２２０４，認識対象物と車両との予想角度２２０５が、認識対象となる路面標示のペイントのかすれ度合い２２０６が記録されている。

認識対象物登録処理１９０４では、リアカメラ認識対象物データ１９０６のうち、ＩＤ番号２２０１，種類２２０２，ペイントのかすれ度合い２２０６を登録し、残りのデータは後の処理で登録するため、本処理では未登録とする。ＩＤ番号２２０１とペイントのかすれ度合い２２０６に関しては、同一路面標示抽出処理１９０２にて抽出した物である場合は、フロントカメラ認識結果データ８０６のＩＤ番号２１０１，ペイントのかすれ度合い２１０６と同一とする。近傍路面標示抽出処理１９０３にて抽出した物である場合は、ＩＤ番号２２０１は新規登録とし、かすれ度合い２２０６に関しては未登録とする。

〔リアカメラ処理タイミング決定処理〕
次に図３８から図４１を用いて、認識方法判断部１０４で実行される処理（図３）のうち、リアカメラ処理タイミング決定処理３０４の詳細な実施例を説明する。図３８は、リアカメラ処理タイミング決定処理３０４の詳細フローチャートである。

まず車速参照処理２３０１において、車両の速度の現在値ｖ１を取得する。

次に出現タイミング計算処理２３０２において、図２５に示す路面標示認識エリアの始端１６０２に、認識対象物が出現するタイミングを計算する。ここで、図２５における路面標示認識エリアの始端１６０２の道路座標系でのｙ座標をｓ１、フロントカメラ画像認識部１０２で検出した認識対象物の道路座標系でのｙ座標（図３６の２１０４）をａ３、フロントカメラ画像認識部１０２で認識対象物を検出した時刻をｔ３(図３６の２１０３)、フロントカメラ１０１の設置位置とリアカメラ１０８の設置位置との間の距離をｄ１とすると、フロントカメラ画像認識部１０２で検出した認識対象物がリアカメラの路面標示認識エリアの始端１６０２に出現する時刻ｔ４は、
ｔ４＝ｔ３＋（ａ３＋ｄ１＋｜ｓ１｜）／ｖ１
となる（図４１）。

次に、出現位置計算処理２３０３において、リアカメラ１０８の視野の中のどの部分に認識対象物が出現するかを計算する。図３９はリアカメラ認識対象物の位置と車両との角度の定義を示した図である。図３９は、図２２で説明した道路座標系であり、１が車両、１０８がリアカメラ、５がリアカメラ１０８の視野、１６０１が図２５で説明した路面標示認識エリア、１６０２が路面標示認識エリアの始端である。認識対象物２３０６の出現位置（ｘ２，ｙ２）は、認識対象物２３０６の位置を計測するポイント２３０６が、路面標示認識エリアの始端１６０２（ｙ座標値がｓ１）に出現するタイミングの位置とする。また、認識対象物２３０６と車両との成す角度は、白線２３０７と平行な認識対象物2306の中心線２３０７を定義し、線分２３０７とｙ軸との成す角度ｒ２とする。ここで、フロントカメラ認識結果データ８０６の認識対象物の位置（図３６の２１０４）を（ｘ１，
ｙ１）、車両との角度２１０６をｒ１、フロントカメラ１０１の設置位置とリアカメラ
１０８の設置位置との間の距離をｄ１とし、道路が直線、車両の舵角が０と仮定すると、
ｘ２＝ｘ１±（ｙ１＋ｄ１＋｜ｓ１｜）＊tan（ｒ１）（±は、ｒ１の正負によって切り替え）
ｙ２＝ｓ１
ｒ２＝ｒ１
となる。

また、認識対象物が白線の場合は、図４０に示すように位置，車両との角度を定義し、リアカメラ視野内への出現位置を計算する。図４０は、図２２で説明した道路座標系であり、１が車両、１０８がリアカメラ、５がリアカメラ１０８の視野、１６０１が図１６で説明した路面標示認識エリア、１６０２が路面標示認識エリアの始端である。また、リアカメラ１０８の後方の距離ｄ３のｙ軸上の点２３０８を定義する。ここで、点２３０８を通りｙ軸に垂直な路面上の直線２３０９と白線２３０７との交点を２３１０とした場合、白線の位置（ｘ４，ｙ４）は、点２３１０のｘ座標，ｙ座標の値とする。また、白線と車両との角度ｒ４は、白線とｙ軸との成す角度で表現する。ここで、フロントカメラ認識結果データ８０６の認識対象物（白線）の位置（図３６の２１０４）を（ｘ３，ｙ３）、車両との角度２１０６をｒ３、フロントカメラ１０１の設置位置とリアカメラ１０８の設置位置との間の距離をｄ１とし、道路が直線、車両の舵角が０と仮定すると、
ｘ４＝ｘ３±（ｙ３＋ｄ１＋ｄ３）＊tan（ｒ３））（±は、ｒ３の正負によって切り替え）
ｙ４＝−ｄ１−ｄ３
ｒ４＝ｒ３
となる。

最後に、認識対象物登録処理２３０４において、処理２３０２で計算した認識対象物のリアカメラ視野内への出現タイミングと、処理２３０３で計算した認識対象物のリアカメラ視野内への出現位置を、リアカメラ認識対象物データ１９０６のテーブル（図３７）の中の出現タイミング２２０３，位置２２０４，角度２２０６の部分に書き込む。認識対象物が白線の場合は、出現タイミング２２０３は現在時刻とする。

認識対象物が、近傍路面標示抽出処理１９０３にて抽出した物である場合、出現タイミング２２０３は、フロントカメラ認識対象物（図３５の２００１）のリアカメラ視野への出現タイミングを計算し、フロントカメラ認識対象物（図３５の２００１）と近傍路面標示種類（図３５の２００２）との想定距離分（図３５の２００３）の余裕を持たせた出現タイミング２２０３とし、位置２２０４，角度２２０６は未登録とする。

〔リアカメラ認識ロジックパラメータ決定処理〕
図４２から図４７を用いて、認識方法判断部１０４で実行される処理（図３）のうち、リアカメラ認識ロジックパラメータ決定処理３０６の詳細な実施例を説明する。図４２は、リアカメラ認識ロジックパラメータ決定処理３０６の詳細フローチャートである。

まず、リアカメラ認識対象物データ参照処理２４０１において、リアカメラ認識対象物データ１９０６に登録されている内容（図３７のテーブル）を読み込む。

次に、リアカメラ認識エリア調整処理２４０２において、リアカメラ認識対象物データ１９０６の位置（図３７の２２０４）のｘ座標値を、画面座標系に変換する。ここで画面座標系とは、図４３に示すように、リアカメラ入力画面２４０７の左上２４０８を原点Ｏとして、画面の横方向２４０９をｕ軸、画面の縦方向２４１０をｖ軸とした座標系である。本処理では、まず、認識対象物２４１１の画面上２４０７でのリア路面標示出現位置
２４１２（ｕ座標値のｕ６）を計算する。次に、通常の認識エリアは２４１３に示す点線の枠線内であるが、認識対象物２４１１の出現位置が２４１２の場合は、２４１２を中心として、認識対象物の幅相当のエリア、すなわち、修正後の認識対象物の認識エリア2414
に示す実線の枠線内を、認識対象物の認識エリアをして修正する。道路座標系から画面座標系への変換は、図４４に示す対応テーブルを予め用意しておき、このテーブルを参照することで行う。当該テーブルには、道路座標系のｘ座標値２４１５，道路座標系のｙ座標値２４１６，これらに対応する画面座標系のｕ座標値２４１７，ｖ座標値２４１８がそれぞれ記録されている。

次に、特徴量抽出しきい値決定処理２４０３において、リアカメラ認識対象物データ
１９０６のかすれ度合い（図３７の２２０６）と、認識対象物がリアカメラ視野内に出現するタイミングにおけるリアカメラの影位置データ４０７（図２６に示すテーブル）を用いて、路面標示の特徴量抽出のためのしきい値を決定する。

まず、図４５を用いてかすれ度合いと特徴量抽出しきい値の決定の仕方について説明する。２４１９がかすれ度合いが少ない場合の路面標示の見え方であり、２４２０がかすれ度合いが大きい場合の路面標示の見え方である。２４２１，２４２２が路面標示の部分の輝度値の変化を表したものであるが、かすれ度合いが小さい場合は、２４２３の部分の輝度値の変化が急峻であることを想定して、路面標示部分の輪郭の抽出を行う。一方かすれ度合いが大きい場合は、２４２４の部分の輝度値の変化が緩やかであることを想定して、路面標示部分の輪郭の抽出を行う。

次に、図４６を用いて、認識対象物がリアカメラ視野内に出現するタイミングにおける路面上の影の有無に応じた、特徴量しきい値の決定の仕方について説明する。まず、リアカメラ影位置データ４０７の影開始の時刻と影終了の時刻（図２６の１７０４）を参照し、認識対象物２４２５が認識エリアに出現する時刻（図３７の２２０３）において、リアカメラ入力画面上に影がない場合は２４２５の見え方になり、影２４３２がある場合は
２４２７の見え方となる。２４２８，２４２９が路面標示の部分の輝度値の変化を表したものであるが、影がない場合は、２４３０の輝度値の最大値が高いことを想定して、路面標示部分の輪郭の抽出を行う。一方影がある場合は、２４３１の輝度値の最大値が低いことを想定して、路面標示部分の輪郭の抽出を行う。

最後に、認識パラメータ登録処理２４０５において、処理２４０２，処理２４０３で決定したパラメータ値を、認識パラメータデータ２４０６に登録する。認識パラメータデータ２４０６は、図４７に示すテーブルであり、当該テーブルには、認識対象物のＩＤ番号２４３２，認識エリア（図４３の２４１４）の矩形の左端のｕ座標値２４３３，右端のｕ座標値２４３４，路面と路面標示の間の輝度値の変化量の予測値（図４５の２４２３，
２４２４），２４３６が路面標示部分の輝度値の最大値の予測値２４３６（図４６の2430，２４３１）が記録されている。ＩＤ（２４３２）は、リアカメラ認識対象物データ1906のＩＤ番号（図３７の２２０１）と対応している。

次に図１１を用いて、フロント路面標示認識部１０２ａの処理内容について説明する。図１１はフロント路面標示認識部１０２ａが行う処理のフローチャートである。

まず、画像入力処理８０１において、フロントカメラ１０１の画像を取得する。

次に画像輝度統計処理８０２において、入力画像の輝度値の統計データを蓄積し解析し、画像輝度統計データ８０４に書き込む。本処理の詳細については後述する。

次に影位置認識処理８０３において、入力画像の路面上に影が存在するかどうかを判定し、結果をフロントカメラ影位置データ４０８に書き込む。本処理の詳細については後述する。

次に認識対象物選択処理８０５において、認識する対象物の種類を選択し、認識対象物をそれぞれ認識するための処理を、以下の処理８０７にて行う。認識対象物は、車両制御装置（１０６ａ），車載情報装置（１０６ｂ）またはフロントカメラ画像認識部１０２にて選択する。

次に対象物認識処理８０７において、処理８０５で選択した認識対象物を検知するための処理を行う。本処理の詳細については後述する。

最後に、分岐８０８において、新しい画像入力信号が来ていない場合はウエイトし、新しい画像入力信号が来ている場合は、処理８０１へ戻る。

〔画像輝度統計処理〕
次に図１２から図１８を用いて、フロントカメラ画像認識部１０２ａの処理（図１１）の中の画像輝度統計処理８０２の処理内容について説明する。図１２は、画像輝度統計処理８０２のフローチャートである。

まず、画像輝度取得処理９０１において、入力画像の輝度値を取得し、画像輝度現在値データ９０４と画像輝度蓄積データ９０３に書き込む。入力画像の輝度値取得の際は、図１４に示したように、道路面上を含む領域１００１の輝度値の分布を、図１３に示す輝度と頻度の分布として取得し、画像輝度累積データ９０３に累積させる。

次に、輝度分布更新処理９０２において、処理９０１で取得し更新した画像輝度蓄積データ９０３を読み込み、図１５に示す画像輝度統計テーブルを作成し、画像輝度統計データ８０４に書き込む。図１５の１００２が画像の輝度で、１００３がその画像の輝度の時の路面の状態を示している。路面の状態は、路面の上に影ある状態１００４，白い路面標示の上に影がある状態１００６，路面の上に影がない状態１００６，白い路面標示の上に影がない状態１００７とする。

このような路面の状態を判定するために、図１６に示した本処理で読み込んだ画像輝度累積データ９０３において、輝度の頻度の分布に４つのピーク値（１１０１〜１１０４）がある場合は、路面に影がある部分と影がない部分が存在する状態であると判定する（通常は日中であって太陽光がある場合である）。そして、それぞれのピーク値の間で輝度の頻度が最低となる箇所（１１０６〜１１０７）を抽出し、それぞれの箇所の輝度値（ａ，ｂ，ｃ）を境にして、図１５に示す画像輝度統計テーブルを作成する。

また、図１７に示すように、画像輝度累積データにおいて、輝度の頻度の分布に４つのピークが抽出できない場合は、日中であっても太陽が出ていない状態または夜間であると判定し、図１５に示す画像輝度統計テーブルは不明とする。

〔影位置認識処理〕
次に図１９から図２１を用いて、フロントカメラ画像認識部１０２ａの処理（図１１）の中の影位置認識処理８０３の処理内容について説明する。図１２は、影位置認識処理
８０３のフローチャートである。

まず、画像輝度取得処理１２０１において、図１８に示すように、フロントカメラの入力画面を小さなエリア１１０８に分割し、それぞれのエリアにおける平均輝度を計算する。

次に、影位置判定処理１２０２において、画像輝度統計処理８０２で作成した画像輝度統計データ８０４を読み込み、処理１２０１で取得した図１８のそれぞれのエリア1108の平均輝度と、画像輝度統計データ８０４の画像輝度統計テーブルの輝度値(図１５の1002)とを比較する。そして、図１８のフロントカメラ入力画面のどのエリアが影であるかを判定し、図１０における影開始位置７０１と影終了位置７０２を抽出する。

次に道路座標系への変換処理１２０３において、処理１２０２で抽出した影開始位置
７０１と影終了位置７０２を道路座標系に変換する。処理１２０２で抽出した影開始位置７０１と影終了位置７０２は、画面座標系であり、図２０に示すように、フロントカメラの入力画面の左上１２０６を原点Ｏとし、画面の横方向１２０６をｕ軸、画面の縦方向
１２０７をｖ軸としている。一方、道路座標系は、前述したように図２２に示す座標系である。そして、画面座標系から道路座標系に変換するには、図２１に示す対応テーブルを予め用意しておき、このテーブルを参照することで行う。図２１において、１２０８が画面座標系のｕ座標値、１２０９が画面座標系のｖ座標値であり、対応する道路座標系のｘ座標値，ｙ座標値がそれぞれ１２１０，１２１１である。

最後に、影位置登録処理１２０４において、処理１２０３で道路座標系に変換した影開始位置７０１と影終了位置７０２を、フロントカメラ影位置データ４０８に書き込む。フロントカメラ影位置データ４０８は、前述したように図１４に示すテーブルとなっている。位置１４０３には処理１２０３で変換した座標値を登録、輝度値１４０４には、路面標示が無い部分の輝度値を登録する。

〔対象物認識処理〕
次に、フロントカメラ画像認識部１０２ａの処理(図１１)の中の対象物認識処理８０７の処理内容について説明する。処理８０５で選択した認識対象物が路面標示，白線の場合は、図３に示したリアカメラ１０８の路面標示認識機能１０６の処理２０２から処理206までと同様の処理を行う。この際、図３に示した路面標示特徴量抽出処理２０３において、認識パラメータデータ２４０６の読み込みは行わない。処理８０５で選択した認識対象物が信号機の場合は、まず、入力画像内において、信号機の外形である矩形をパターンマッチングにより検出する。次に、検出した矩形の中において、円状の形をパターンマッチングにより３つ検出する。次に、検出した円状の形の中の色情報を取得し、赤，黄，青のいずれかに相当する色情報が得られた場合は、信号機であると判定する。

処理８０５で選択した認識対象物が標識の場合は、まず、認識対象となる標識の形状を検出するためのパターンマッチングを行う。次に、検出した標識の中の記載文字のパターンマッチングを行い、認識対象の標識に記載されている文字と一致した場合は、認識対象である標識が検出できたと判定する。

以下、図４８から図５２を用いて、本発明の他の実施例を説明する。

図４８に本発明の第二の実施例にかかる周囲環境認識装置のハードウェア構成を示す。なお、図１乃至図４７を用いて説明した第一の実施例との主な相違点は、フロントカメラ画像認識部１０２がフロントカメラ１０１の内部に配置された点、リアカメラ画像認識部１０３が他の車両制御装置２５１０ａ又は車載情報装置２５１０ｂの内部に配置された点である。従って、周囲環境の認識、判断等の処理は特に説明しない限り第一の実施例と同様である。以下第一の実施例との相違点について説明する。

まず、フロントカメラ１０１は、レンズ２５０１，撮像素子（ＣＣＤ）２５０２と
ＣＰＵ２５０３及びメモリ（図示しない）とを備えている。フロントカメラ１０１は、
ＣＰＵ２５０３及びメモリを用いてフロントカメラ画像認識部１０２の機能を実現している。一方リアカメラ１０８は、レンズ２５０４と撮像素子（ＣＣＤ）２５０５とを備える。

フロントカメラ１０１はＣＡＮ２５０７を介して走行制御機能２５１０ａ又は車載情報機能２５１０ｂ（以下、「車両制御装置等２５０６」と記載する）と接続されており、相互にデータの送受信が可能である。この車両制御装置２５０６は、本来の走行制御機能
２５１０ａ又は車載情報機能２５１０ｂの他に、リアカメラ画像認識部１０３の機能を備えている。

リアカメラ１０８と車両制御装置２５０６は、映像信号線２５０９と専用信号線2508で接続され、リアカメラ１０８の映像は、映像信号線２６０９により車両制御装置２５０６のリアカメラ画像認識部１０３へ送信される。また、リアカメラ１０８を制御する信号は、専用信号線２６０８により、車両制御装置２５０６のリアカメラ画像認識部１０３からリアカメラ１０８へ送信される。

本構成は、リアカメラ画像認識部１０３と走行制御機能２５１０ａ又は車載情報機能
２５１０ｂとの間のデータ送受信量が多い場合に適用すると、大量のデータ送受信を車両制御装置２５０６内部のバスを使って行うことができるので、システムのパフォーマンスが良い。

図４９に本発明の第三の実施例にかかる周囲環境認識装置のハードウェア構成を示す。なお、図１乃至図４７を用いて説明した第一の実施例との主な相違点は、フロントカメラ画像認識部１０２がフロントカメラ１０１の内部に配置された点、リアカメラ画像認識部１０３がリアカメラ１０８の内部に配置された点である。従って、周囲環境の認識，判断等の処理は特に説明しない限り第一の実施例と同様である。以下第一の実施例との相違点について説明する。

フロントカメラ１０１の構成は、リアカメラ１０８と専用信号線２６０９で接続されている点を除いて実施例２に示すものと同様である。

リアカメラ１０８は、レンズ２５０４，撮像素子（ＣＣＤ）２５０５，ＣＰＵ２６０８，メモリ（図示しない）を備えている。リアカメラ１０８は、ＣＰＵ２６０８及びメモリを用いてリアカメラ画像認識部１０３の機能を実現している。

フロントカメラ１０１のＣＰＵ２５０３と、リアカメラ１０８のＣＰＵ２６０８は専用信号線２６０９で接続され、相互にデータの送受信を行う。また、走行制御機能2510ａ又は車載情報機能２５１０ｂが実装されている車両制御装置２６０６と、フロントカメラ
１０１と、リアカメラ１０８とは、ＣＡＮ２６０７を介して相互にデータの送受信を行う。

本構成は、フロントカメラ画像認識部１０２とリアカメラ画像認識部１０３の処理負荷が大きい場合に適用すると、システムのパフォーマンスが良い。

図５０に本発明の第四の実施例にかかる周囲環境認識装置のハードウェア構成を示す。なお、図１乃至図４７を用いて説明した第一の実施例との主な相違点は、フロントカメラ画像認識部１０２及びリアカメラ画像認識部１０３がフロントカメラ１０１の内部に配置された点である。従って、周囲環境の認識，判断等の処理は特に説明しない限り第一の実施例と同様である。以下第一の実施例との相違点について説明する。

レンズ２５０１，撮像素子（ＣＣＤ）２５０２とＣＰＵ２７０３及びメモリ（図示しない）とを備えている。フロントカメラ１０１は、ＣＰＵ２７０３及びメモリを用いてフロントカメラ画像認識部１０２及びリアカメラ画像認識部１０３の機能を実現している。リアカメラ１０８は、映像信号線２７０９と専用信号線２７０８でフロントカメラ１０１と接続されている点を除き、第二の実施例（図２５）と同様である。

フロントカメラ１０１とリアカメラ１０８は、映像信号線２７０９と専用信号線2708で接続され、リアカメラ１０８の映像は、映像信号線２７０９によりフロントカメラ１０１内のリアカメラ画像認識部１０３へ送信される。また、リアカメラ１０８を制御する信号は、専用信号線２７０８により、フロントカメラ１０１内のリアカメラ画像認識部１０３からリアカメラ１０８へ送信される。

また、走行制御機能２５１０ａ又は車載情報機能２５１０ｂが実装されている車両制御装置２６０６とフロントカメラ１０１とは、ＣＡＮ２５０７によって接続されており、相互にデータの送受信を行う。

本構成は、フロントカメラ画像認識部１０２とリアカメラ画像認識部１０３との間のデータの送受信量が多い場合に、システムのパフォーマンスが良い。

図５１に本発明の第五の実施例にかかる周囲環境認識装置のハードウェア構成を示す。なお、図１乃至図４７を用いて説明した第一の実施例との主な相違点は、フロントカメラ画像認識部１０２及びリアカメラ画像認識部１０３がリアカメラ１０８の内部に配置された点である。従って、周囲環境の認識，判断等の処理は特に説明しない限り第一の実施例と同様である。以下第一の実施例との相違点について説明する。

フロントカメラ１０１は、レンズ２５０１と撮像素子（ＣＣＤ）２５０２を備える。リアカメラ１０８は、レンズ２５０４，撮像素子２５０５，ＣＰＵ２８０３，メモリ（図示しない）を備える。リアカメラ１０８は、ＣＰＵ２８０３及びメモリを用いてフロントカメラ画像認識部１０２及びリアカメラ画像認識部１０３の機能を実現している。

フロントカメラ１０１とリアカメラ１０８は、映像信号線２８０９で接続され、フロントカメラ１０１の映像は、映像信号線２８０９によりリアカメラ１０８内部のフロントカメラ画像認識部１０３へ送信される。また、走行制御機能２５１０ａ又は車載情報機能
２５１０ｂが実装されている車両制御装置２６０６とリアカメラ１０８とは、ＣＡＮ2507によって接続されており、相互にデータの送受信を行う。

本構成は、フロントカメラ画像認識部１０２とリアカメラ画像認識部１０３との間のデータの送受信量が多い場合に、システムのパフォーマンスが良い。

図５２に本発明の第六の実施例にかかる周囲環境認識装置のハードウェア構成を示す。なお、図１乃至図４７を用いて説明した第一の実施例との主な相違点は、フロントカメラ画像認識部１０２及びリアカメラ画像認識部１０３が車両制御装置２９０６の内部に配置された点である。従って、周囲環境の認識、判断等の処理は特に説明しない限り第一の実施例と同様である。以下第一の実施例との相違点について説明する。

フロントカメラ１０１は、レンズ２５０１と撮像素子２５０２を備える。リアカメラ
１０８は、レンズ２５０４と撮像素子（ＣＣＤ）２５０５とを備える。車両制御装置等
２９０６は、本来の走行制御機能２５１０ａ又は車載情報機能２５１０ｂの他に、フロントカメラ画像認識部１０２及びリアカメラ画像認識部１０３の機能を備えている。

フロントカメラ１０１と車両制御装置等２９０６は映像信号線２９１１で接続される。フロントカメラ１０１の映像は、映像信号線２９１１により、車両制御装置等２９０６内のフロントカメラ画像認識部１０２へ送信される。また、リアカメラ１０８と車両制御装置等２９０６は、映像信号線２９０９と専用信号線２９０８とで接続される。リアカメラ１０８の映像は、映像信号線２９０９により、車両制御装置２９０６内のリアカメラ認識部１０３へ送信される。リアカメラ１０８を制御する信号は、専用信号線２９０８により、車両制御装置等２９０６内のリアカメラ画像認識部１０３からリアカメラ１０８へ送信される。

本構成は、フロントカメラ画像認識部１０２，リアカメラ画像認識部１０３，走行制御機能２５１０ａ又は車載情報機能２５１０ｂの相互間のデータの送受信量が多い場合に、システムのパフォーマンスが良い。

次に、本発明が動作していることを検査する方法を説明する。

まず、図１に示す構成にて道路を走行し、通常動作時のリアカメラ画像認識部１０３における道路上の認識対象物の認識率を、車両制御装置等１０６における動作を計測することにより調査する。次に、図１に示す構成にて、フロントカメラ１０１のレンズに覆いをした状態で、上記と同じ道路を同じ速度、同じ走行の仕方で走行し、同様にリアカメラ画像認識部１０３における道路上の認識対象物の認識率を計測する。そして、通常動作時の認識率とフロントカメラ１０１のレンズに覆いをした時の認識率を比較し、通常動作時の認識率のほうが高い場合は、図１の構成において本発明の内容が動作しているものと判断できる。

また、別の確認手段として、図１に示す構成にて輝度変化が激しい道路を走行し、リアカメラ１０８の映像を取得する。次に、フロントカメラ１０１のレンズに覆いをした状態で、上記と同じように輝度変化が激しい場所を走行し、リアカメラ１０８の映像を取得する。そして、フロントカメラのレンズを覆わない場合の映像と、フロントカメラのレンズを覆った場合の映像を比較して、ゲイン調整、露光制御の調整のタイミングが、前者の映像の方が早い場合は、図１の構成において、本発明のリアカメラ制御部１０７が動作しているものと判断できる。

実施例１から実施例６では、フロントカメラとリアカメラを用いた実施例について説明した。本発明は、相互に視野が異なり、同じ対象物を異なるタイミングで撮影することになる複数のカメラを備えていれば適用することができる。以下、図５３，図５４を用いて複数のカメラを車両の同じ方向に設置した場合の実施の形態について説明する。

図５３において、第１フロントカメラ３００１は車両前方の遠くを撮像できる俯角で設置する。一方、第２フロントカメラ３００２は、第１フロントカメラよりも車両に近い位置、望ましくは車両の直近が撮像できる位置に設置する。第２フロントカメラ画像認識部３００４は、第２フロントカメラ３００２で撮影された映像中の路面標示と白線の種類，位置，角度等を検出し、検出した結果を車両制御装置１０６ａ又は車載情報装置１０６ｂへ送信する。

第１フロントカメラ画像認識部３００３は、第１フロントカメラ３００１で撮影された映像中の路面標示，白線，信号機，標識の種類，位置，角度等を検出する。そして、認識方法判断部３００５は、第１フロントカメラ画像認識部３００３の出力である車両前方の路面標示，白線，信号機，標識に関する認識結果を受信して、第２フロントカメラ画像認識部３００４における認識方法を決定し、認識方法を第２フロントカメラ画像認識部3004へ送る。

さらに、第１フロントカメラ画像認識部３００３では、第１フロントカメラ３００１で撮影された映像の輝度情報を解析し、画像全体の輝度や路面上の影の位置を検出し、その結果を認識方法判断部３００５へ送る。認識方法判断部３００５においては、第２フロントカメラ３００２の適切なゲインや露光時間を計画し、第２フロントカメラ制御部3006へ送る。第２フロントカメラ制御部３００６は、認識方法判断部３００５から受信したフロントカメラのゲイン，露光時間の計画に基づき、第２フロントカメラ３００２を制御する。第１フロントカメラ３００１は、車両の前方遠くを撮像しているため、画像の全体的な傾向を把握するのに有利であり、第２フロントカメラ３００２は、車両の直近を撮像しているため、認識対象とする路面標示，白線の位置，角度を精度良く検出することに有利である。

第１フロントカメラ画像認識部３００３における処理は、図２に示したフロントカメラ画像認識部１０２ａで実施する処理と同様である。第２フロントカメラ画像認識部(3004)における処理は、図１に示したフロントカメラ画像認識部１０２ａで実施する処理と同様である。認識方法判断部３００５における処理は、図１に示した認識方法判断部１０４で実施する処理と同様である。第２フロントカメラ制御部３００６における処理は、図１に示したリアカメラ制御部１０７で実施する処理と同様である。ただし、リアカメラの場合と異なり、二つのカメラの画像間で左右の位置関係の逆転は発生しないので、座標変換は図１の実施例と異なる。

図５３に示す実施の形態を実現するハードウェア構成を図５４に示す。第１フロントカメラ３００１は、レンズ３１０２と撮像素子（ＣＣＤ）３１０３を備える。第２フロントカメラ３００２は、レンズ３１０６と撮像素子３１０６を備える。第２フロントカメラ
３００２はヘッドライト３１０８の中に設置する。

車両制御装置又は車載情報装置（以下、「車載制御装置等」という）３１０７には、第１フロントカメラ画像認識部３００３，第２フロントカメラ画像認識部３００４，認識方法判断部３００５，第２フロントカメラ制御部３００６，走行制御機能２５１０ａ又は車載情報機能２５１０ｂが実装される。第１フロントカメラ３００１と車載制御装置等3107は映像信号線で接続され、第１フロントカメラ３００１の映像は、映像信号線２により、車載制御装置等３１０７内の第１フロントカメラ画像認識部３００３へ送信される。また、第２フロントカメラ３００２と車載制御装置等３１０７は、映像信号線２９０９と専用信号線２９０８とで接続され、第２フロントカメラ３００２の映像は、映像信号線2909により、車載制御装置等３１０７内の第２フロントカメラ認識部３００４へ送信される。第２フロントカメラ３００２を制御する信号は、専用信号線２９０８により、車載制御装置等３１０７内の第２フロントカメラ制御機能３００６から第２フロントカメラ３００２へ送信される。

本発明で取り扱っている路面標示認識システムは、複数のカメラを搭載した車両において、路面標示以外の周囲の走行車両を認識し、他の車両との衝突防止や運転支援を行う車両の予防安全システムに適用可能である。

本発明の実施例を説明した図である。 本発明の実施例を説明した図である。 リアカメラ画像認識機能の路面標示認識機能における処理のフローチャートを説明した図である。 図２のフローチャート中の画像前処理を説明した図である。 図２のフローチャート中の路面標示特徴量抽出処理を説明した図である。 リアカメラ画像認識機能の認識方法判断機能における処理のフローチャートを説明した図である。 リアカメラ画像認識機能の認識方法判断機能のリアカメラゲイン値決定処理のフローチャートを説明した図である。 リアカメラゲイン値計画テーブルを示した図である。 リアカメラ画像認識機能のリアカメラ制御部における処理のフローチャートを説明した図である。 フロントカメラにおける影位置の表現方法を説明した図である。 フロントカメラ画像認識機能における処理のフローチャートを説明した図である。 フロントカメラ画像認識機能の画像輝度統計処理のフローチャートを説明した図である。 画像輝度累積データを示した図である。 画像輝度取得の方法を説明した図である。 画像輝度統計テーブルを示した図である。 路面状態判定の方法を説明した図である。 路面状態判定の方法を説明した図である。 画像輝度取得の方法を説明した図である。 フロントカメラ画像認識機能の影位置認識処理のフローチャートを説明した図である。 フロントカメラの画面座標系を説明した図である。 道路座標系、フロントカメラ画面座標系対応テーブルを示した図である。 道路座標系を説明した図である。 フロントカメラ影位置データを示した図である。 リアカメラ画像認識機能の認識方法判断機能のリアカメラ露光時間決定処理のリアカメラ影出現予測処理のフローチャートを説明した図である。 リアカメラの路面標示認識エリアを説明した図である。 リアカメラ影位置データを示した図である。 画像輝度とゲイン値に関するテーブルを示した図である。 リアカメラ画像認識機能の認識方法判断機能のリアカメラ露光時間決定処理のフローチャートを説明した図である。 リアカメラ露光時間計画テーブルを示した図である。 リアカメラ画像認識機能のリアカメラ制御部における処理のフローチャートを説明した図である。 画像輝度と露光時間に関するテーブルを示した図である。 リアカメラ画像認識機能の認識方法判断機能のリアカメラ認識対象物決定処理のフローチャートを説明した図である。 フロントカメラ認識対象物の位置と車両との角度を説明した図である。 フロントカメラで認識した白線の位置と角度を説明した図である。 近傍路面標示データを示した図である。 フロントカメラ認識結果データを示した図である。 リアカメラ認識対象物データを示した図である。 リアカメラ画像認識機能の認識方法判断機能のリアカメラ処理タイミング決定処理のフローチャートを説明した図である。 リアカメラ認識対象物の位置と車両との角度を説明した図である。 リアカメラで認識する白線の位置と角度を説明した図である。 フロントカメラの視野とリアカメラの視野と車両との位置関係を示した図である。 リアカメラ画像認識機能の認識方法判断機能のリアカメラ認識ロジックパラメータ決定処理のフローチャートを説明した図である。 リアカメラ認識エリアの調整について説明した図である。 道路座標系，リアカメラ画面座標系対応テーブルを示した図である。 特徴量抽出しきい値の決定について説明した図である。 特徴量抽出しきい値の決定について説明した図である。 認識パラメータデータを示した図である。 本発明の第二の実施例を示す図である。 本発明の第三の実施例を示す図である。 本発明の第四の実施例を示す図である。 本発明の第五の実施例を示す図である。 本発明の第六の実施例を示す図である。 本発明の第七の実施例を示す図である。 本発明の第七の実施例を示す図である。

符号の説明

１…車両、２…周囲環境認識装置、３ａ…車両前方の路面標示、３ｂ…車両後方の路面標示、３ｃ…標識、３ｄ，３ｅ…白線、４…フロントカメラの視野、５…リアカメラの視野、１０１…フロントカメラ、１０２…フロントカメラ画像認識部、１０２ａ…フロント路面標示認識部、１０２ｂ…フロントカメラ制御部、１０３…リアカメラ画像認識部、
１０４，３００５…認識方法判断部、１０５…リア路面標示認識部、１０６ａ…車両制御装置、１０６ｂ…車載情報装置、１０７…リアカメラ制御部、１０８…リアカメラ、109…通信部、１１０，２５０７…ＣＡＮ、１１１…路面標示情報記憶部、４０５…リアカメラゲイン値計画データ、４０７…リアカメラ影位置データ、４０８…フロントカメラ影位置データ、８０４…画像輝度統計データ、８０６…フロントカメラ認識結果データ、903…画像輝度累積データ、９０４…画像輝度現在値データ、１６０１…路面標示認識エリア、１６０２…路面標示認識エリアの始端、１８０６…リアカメラ露光時間計画データ、
１９０５…近傍路面標示データ、１９０６…リアカメラ認識対象物データ、２４０６…認識パラメータデータ、２４１２…リア路面標示出現位置、２４１４…修正後の認識対象物の認識エリア、２５０１…フロントカメラのレンズ、２５０２…フロントカメラの撮像素子、２５０３，２７０３…フロントカメラのＣＰＵ、２５０４…リアカメラのレンズ、
２５０５…リアカメラの撮像素子、２５０６，２６０６，２６１０，２９０６…車両制御装置等、２５０８，２６０９，２７０８，２９０８…専用信号線、２５０９，２７０９，２８０９，２９１１，２９０９…映像信号線、２５１０ａ…走行制御機能、２５１０ｂ…車載情報機能、２６０８，２８０３…リアカメラのＣＰＵ、３００１…第１フロントカメラ、３００２…第２フロントカメラ、３００３…第１フロントカメラ画像認識部、3004…第２フロントカメラ画像認識部、３００６…第２フロントカメラ制御部、３１０２…第１フロントカメラのレンズ、３１０３…第１フロントカメラの撮像素子、３１０５…第２フロントカメラのレンズ、３１０６…第２フロントカメラの撮像素子、３１０７…車載制御装置等、３１０８…ヘッドライト。

Claims (3)

1. 車両に搭載され、車両の前方を撮像する第１の画像入力手段と、
   車両に搭載され、車両の後方を撮像する第２の画像入力手段と、
   前記第１の画像入力手段の撮像条件を制御する第１の画像入力手段制御部と、
   前記第２の画像入力手段の撮像条件を制御する第２の画像入力手段制御部と、
   前記第１の画像入力手段で入力した画像を画像処理して車両周囲の認識対象物を認識する第１の認識手段と、
   前記第２の画像入力手段で入力した画像を画像処理して車両周囲の認識対象物を認識する第２の認識手段と、
   前記第１の認識手段の認識結果に基づいて前記第２の画像入力手段の前記撮像条件及び前記第２の認識手段の前記画像処理の内容を決定する認識方法判断部と、を有し、
   前記認識方法判断部は、
   前記第１の認識手段の認識結果に基づいて、前記第２の画像入力手段で認識可能な認識対象物を抽出し、抽出された前記認識対象物を前記第２の画像入力手段の前記認識対象物として決定する認識対象物決定手段と、
   前記認識対象物を認識する処理を実行するタイミングを決定する処理タイミング決定手段と、を有し、
   前記処理タイミング決定手段は、検出した自車両の速度と、前記第１の認識手段と前記第２の認識手段間の距離と、前記第１の認識手段で前記認識対象物を認識した時刻と、前記認識対象物の位置と、に基づいて、前記第２の画像入力手段の認識領域に前記認識対象物が出現する位置と時刻を計算し、前記位置と時刻を前記タイミングとして決定する車両周囲環境認識装置。
2. 請求項１記載の車両周囲環境認識装置において、
   前記認識方法判断部は、決定された前記タイミングに基づいて、認識対象物を認識する認識領域を修正する車両周囲環境認識装置。
3. 請求項１又は２記載の車両周囲環境認識装置において、
   前記認識方法判断部は、前記第１の認識手段の認識結果に基づいて、前記認識対象物の特徴量抽出をするための閾値を決定する車両周囲環境認識装置。

Images