JP6017180B2

JP6017180B2 - 車載用環境認識装置

Info

Publication number: JP6017180B2
Application number: JP2012114949A
Authority: JP
Inventors: 雅幸竹村; 彰二村松; 健志磨; 雅男坂田
Original assignee: Clarion Co Ltd
Current assignee: Faurecia Clarion Electronics Co Ltd
Priority date: 2012-05-18
Filing date: 2012-05-18
Publication date: 2016-10-26
Anticipated expiration: 2032-05-18
Also published as: JP2013242670A

Description

本発明は、車載カメラで撮像した画像に基づいて車外の環境を認識する車載用環境認識装置に関する。

近年、車載カメラで撮像した画像に基づいて車外の環境を認識し、その認識した車外の環境に応じて複数のアプリケーションを同時に実行するマルチアプリ装置が主流になりつつある。特許文献１には、自車走行車線の隣接車線が路外であるかを判定し、路外の場合には、路肩側の車両検知を停止して、他車両として誤検知するのを抑制する技術が示されている。

特開2002-104112号公報

ＣＰＵの限られた能力範囲内で、利便性と安全性の高いマルチアプリ装置を実現するためには、複数のアプリケーションの中から環境に応じた複数のアプリケーションを適宜選択して実行する必要がある。特許文献１の技術は、自車走行路の左右の領域が隣接走行路内か路外かを判別して、路外である場合にアプリケーションを停止しているにすぎず、アプリケーションを他のアプリケーションに切り替える場合や、車線逸脱警報の実行タイミングの変更や、車線逸脱警報から車線逸脱制御への変更などを行うには、車外環境の情報が不足していた。

本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、車外環境を適切に認識して、環境に応じた複数のアプリケーションの実行を可能とする車載用環境認識装置を提供することである。

上記課題を解決する本発明の車載用環境認識装置は、画像から車線を区画するレーンマークを認識し、そのレーンマークに基づいて自車走行車線の左右の少なくとも一方に路外判定領域を設定し、路外判定領域が隣接車線と路外のいずれであるかを判定し、路外判定領域が路外であると判定された場合に、路外の種別を解析することを特徴としている。

本発明によれば、複数のアプリケーションを実行するために必要な車外環境の情報を取得することができ、複数のアプリケーションの優先度や処理時間、アプリ変更タイミングを制御し、各領域に対するアプリケーションのアプリ実行状態を変更することができる。したがって、車両の走行に応じて変化する車両周囲環境に応じて、適切なアプリケーションを実施することができ、ＣＰＵの限られた能力範囲内で、利便性と安全性の高い車載用環境認識装置を実現することができる。

車載環境認識装置の構成図。レーンマーク認識部の構成図。路外状態判定部の構成図。アプリ制御部の構成図。アプリ実行部の構成図。車載環境認識装置における処理の内容を示すフローチャート。レーン認識処理領域の設定状態を示す図。レーン認識処理領域から白線特徴量を算出した状態を示す図。レーン認識処理領域から白線を抽出した状態を示す図。路外種別判定方法を説明する図。路外解析部の解析結果に基づくアプリ変更を説明する図。左側路肩時のアプリ変更（車両検知と歩行者検知）を説明する図。左側路肩時のアプリ変更テーブルを示す図。路外種別判定部の構成を説明する図。凸路肩判定部、凹路肩判定部、車線減少判定部の各構成を説明する図。構造物判定部、周期物判定部、非人工物判定部、走行可路外判定部の各構成を説明する図。立体物の下端の直線性を探索する具体例を示す図。

次に、本実施の形態について図面を参照しつつ詳細に説明する。
図１は、車載環境認識装置の構成図である。
車載環境認識装置10は、例えば車両に搭載された専用のハードウエアとソフトウエアにより実現され、内部機能として、図１に示すように、撮像部100と、レーンマーク認識部200と、路外状態判定部300と、アプリ制御部400と、アプリ実行部500を有している。

車載環境認識装置10は、撮像部100で撮影された画像を利用してレーンマークを認識する（レーンマーク認識部200）。そして、レーンマークの認識結果を利用して、処理領域を設定し、その領域別に路外状態を判定する（路外状態判定部300）。

この領域別の路外状態に応じて、複数のアプリケーションの中から適切なアプリケーションを適切なタイミングで実行できるように、各アプリケーションの優先度、処理時間、設定の少なくとも一つを変更する（アプリ制御部400）。これらアプリ制御部400の結果をもってアプリを実施する（アプリ実行部500）。これにより、路外の状況に応じて、適切なアプリケーションの切り替えや、優先度の変更、また、警報から制御への切り替えなどを実施することにより、ユーザの安全性や利便性を向上することができる。

図２は、レーンマーク認識部の構成図である。
レーンマーク認識部200は、撮像部100で撮像された画像を用いて、路面を区画するレーンマークを認識する。レーンマーク認識部200は、例えば、図７に示すように自車両１が走行している自車走行車線２１の左右両側にある左レーンマーク２２および右レーンマーク２３を認識し、更に、その外側の左隣接車線３１の隣接左レーンマーク３２および右隣接車線４１の隣接右レーンマーク４２をも認識する。認識結果は、路外状態判定部300により路外状態の判定に利用される。図７（ａ）は、自車両１から前方を撮像した画像を模式的に示す図、図７（ｂ）は、自車両１の走行状態を示す平面図である。

レーンマーク認識領域設定部210は、レーンマークを認識するためのレーンマーク認識領域を設定する。例えば図７では、自車走行車線２１の左右両側に左レーンマーク２２を認識するためのレーンマーク認識処理領域Ｌ１と右レーンマーク２３を認識するためのレーンマーク認識処理領域Ｒ１が設定され、さらに、左隣接車線の隣接左レーンマーク３２を認識するためのレーンマーク認識処理領域Ｌ２と、右隣接車線の隣接右レーンマーク４２を認識するためのレーンマーク認識処理領域Ｒ２が設定されている。

白線特徴量算出部220では、各レーンマーク認識処理領域Ｌ１、Ｌ２、Ｒ１、Ｒ２内を画面横方向にスキャンして、路面に表示されたレーンマークである白線の特徴量を算出する（図８を参照）。

白線抽出部230は、白線特徴量算出部220で算出した白線特徴量を基に、レーンマークの軌跡を曲線近似で抽出して、抽出白線とする処理を行う。図９に示す例では、左レーンマーク２２と隣接左レーンマーク３２に沿って抽出白線ＷＬ１、ＷＬ２が抽出され、右レーンマーク２３と隣接右レーンマーク４２に沿って抽出白線ＷＲ１、ＷＲ２が抽出される。

３次元位置解析部240は、白線抽出部２３０で抽出した抽出白線を基にして、自車走行車線２１における自車両１の横位置とヨー角、自車走行車線２１の曲率を算出する。横位置は、自車両１から左右の抽出白線ＷＲ１、ＷＬ１までの道路幅方向の距離だけでなく、左隣接車線３１の隣接左レーンマーク３２までの道路幅方向の距離と、右隣接車線４１の隣接右レーンマーク４２までの道路幅方向の距離も推定する。

図３は、路外状態判定部の構成図である。
路外状態判定部300は、レーンマークの認識結果を基にして、路外状態を判定するための路外判定領域を設定する（路外判定領域設定部310）。路外判定領域は、レーンマークに基づいて、自車走行車線の左右の少なくとも一方に設定される。

図７に示す例では、路外状態として、各レーンマークの間の路面解析を行うために、レーンマーク認識部200で認識されたレーンマーク２２、２３、３２、４２の位置を基にして、路外判定領域RoL,RoC,RoRが設定される。路外判定領域Rocは、左レーンマーク２２と右レーンマーク２３との間の自車走行車線２１に設定され、路外判定領域RoLは、左レーンマーク２２と隣接左レーンマーク３２との間の左隣接車線３１に設定され、路外判定領域RoRは、右レーンマーク２３と隣接右レーンマーク４２との間の右隣接車線４１に設定されている。

これらの各路外判定領域RoL,RoC,RoRを利用することで、レーンマークの種別や位置に影響をうけることなく、路外状態の判定を安定的に実施することが可能となる。また、左隣接車線３１の更に左に隣接左レーンマーク３２が存在し、右隣接車線４１の更に右に隣接右レーンマーク４２が存在すれば、自車両１が走行している車線は、道路中央の走行車線であることが明らかであるので、レーンの認識結果を路外状態の判定にも利用することができる。このように、予めレーンマークを認識した結果を処理領域設定や路外判別に利用することで、より安定的で確度の高い路外判定を実現できる。

また、自車走行車線２１のみ存在し、左隣接車線３１と右隣接車線４１が存在しない場合には、左隣接車線３１の隣接左レーンマーク３２、右隣接車線４１の隣接右レーンマーク４２が存在しないため、左右の路外判定領域RoLとRoRは、自車走行車線２１の車線幅を基準に、少し横位置が遠めの立体物も路外の障害物として検知可能なように広めに設定される。

路外状態判定部300は、路外判定領域設定部310で設定された路外判定領域RoL,RoC,RoRについて、それぞれ路外種別を判定する（路外種別判定部320）。そして、領域別に走行可能な道路であるか、もしくは障害物や草などがある路外であるか等の路外種別を判別するだけでなく、走行できない場合にどのような路外状態であるかの解析も行う（横位置解析部330）。なお、路外状態の解析方法については後述する。

次に、この種別だけでなく、その路外の障害物の状況をより正確に把握して、アプリの切り替えや、警報、制御のタイミングに反映させるためにも、その横位置の解析を実施する。

図１１〜図１４に示すように、路外の障害物の詳細な横位置も解析し、その横位置の情報を、アプリ切替や警報、制御などのタイミング変更に利用する。このように路外の状況を解析した結果を用いて、認識アプリや、警報、制御を変更することで、シーンに応じて変化するユーザのニーズに合わせたアプリ変更や、警報、制御のタイミング変更が可能になる。

図４は、アプリ制御部の構成図である。アプリ制御部400は、路外状態判定部300の判定結果を利用して、アプリケーションの設定変更や、複数のアプリケーションの優先度の変更、停止、復帰、などを実施する。まずは、路外状況の結果を受けて、実行アプリケーションの優先度の決定、優先度の低さによっては停止や、停止していたアプリの開始などの判断を実施する（優先度決定部410）。

次に、この優先度の結果で停止になっていないアプリケーションに関しては、処理時間の予測を行う（処理時間予測部420）。そして、予測した処理時間、優先度、路外状況、、現状のＣＰＵ性能、車両挙動情報に基づいて、複数のアプリケーションの中から適切なアプリケーションの選択と警報・制御の設定を実施する（アプリ設定部430）。

図５は、アプリ実行部の構成図である。アプリ実行部500では、アプリ設定部430で設定された設定内容を基に、各アプリケーションを実行する。アプリ実行部500は、複数のアプリケーションが実行可能な状態で存在しており、これら複数のアプリケーションの中から、アプリ設定部430で実行設定となっているアプリケーションが実行される。本実施の形態では、複数のアプリケーションの例として、車線逸脱警報部520、車線逸脱制御部530、車線変更支援部540、歩行者検知部550、車両検知部560、標識検知部570、配光制御部580、路面標識検知部590を有しており、これらのアプリケーションの少なくとも一つを実行する。

図６は、処理フローの概要を示す。まず、ステップS1では、車載カメラから車外を撮像する（撮像部100）。ステップS2では、ステップS1にて撮像した画像を画像処理してレーンマークを認識する処理を実施する（レーンマーク認識部200）。レーンマーク認識では、図７に示すように、自車走行車線２１の左右両側の左レーンマーク２２、右レーンマーク２３だけでなく、その更に外側の左隣接車線３１の左レーンマーク３２と、右隣接車線４１の右レーンマーク４２も認識するために、合計で４つのレーンマーク認識処理領域Ｌ１、Ｌ２、Ｒ１、Ｒ２を設定する。

図７上に示すように、４つのレーンマーク認識処理領域Ｌ１、Ｌ２、Ｒ１、Ｒ２を設定することで、図７下に示すような自車両１が走行する隣の隣接車線３１、４１のレーンマーク３２、４２をも認識する。この４本のレーンマーク２２、２３、３２、４２の認識結果は、以下の３つの利用の仕方をする。

まず、自車走行車線２１の２本のレーンマークの認識結果、図７でいえば、レーンマーク認識処理領域L1,R1の２本のレーンマーク２２、２３に関しては、自車両１の車線逸脱警報や、車線逸脱制御にそのまま利用する（第１の利用）。

ステップS3では、４本全部のレーンマーク２２、２３、３２、４２の認識結果を利用して、路外判定処理領域を設定する（第２の利用）。レーンマーク２２とレーンマーク３２との間に路外判定領域RoLを設けることで、路外の判定を適切に行うことができる。
ただし、自車走行レーン21の左レーン31が、そもそも路外であれば、レーンマーク22は存在するが、更にその左にレーンマーク32は存在しない。このため路外を判定する領域を設定するために、もしそもそもレーンマーク32が存在しなければ、自車走行レーン21の左側が路外である可能性は高いが、これを路外であるか確認するための処理領域は、デフォルト車線幅を利用して設定する。自車走行レーンの左側レーンマーク22をベースとして、この左側に基本車線幅4.0ｍとマージン幅1mの計5ｍの幅の処理領域を設定し、この処理領域内が路外かどうかを判定する。国によっては基本車線幅を変更しても良い。マージン幅は、路外であることを示す構造物や、路肩などが入りやすいように設定する。

右側のレーンに関しても同様である。
また、自車走行レーン21自体が、うまく検知できないレーンマーク22,23のような場合には、自車走行レーンの中心を自車両が走行していることを仮定し、基本車線幅の自車走行レーン21の領域と、その左右の走行レーン31,41に関しては基本車線幅とマージン幅の幅を持たせた領域で、路外判定を実施する。

最後に、レーンマーク認識処理領域L2,R2のレーン認識結果を路外判定に利用する（第３の利用）。例えば、レーンマーク認識処理領域L2においてレーンマーク３２が確度高く見つかった場合には、路外判定領域RoLは、車両が通行可能な左隣接車線３１である可能性が非常に高くなる。

また、レーンマーク認識処理領域L1とL2との間に、路外判定領域RoLを設けることで、路外判定領域RoLの更に左側に存在する障害物などの影響を受けることなく、路外判定領域RoLが本当に走行路（左隣接車線）であるか否かの確認処理が実行できる。

また、レーンマーク認識処理領域L2にてレーンマークが確度高く見つからなかった場合には、自車走行車線２１よりも左側の領域は、走行路外である可能性が高い。この場合は、レーン認識L1処理領域のレーンマーク認識結果をベースにして、外側に路外判定領域RoLを設定し、路外判定領域RoLが路外であるか判定を実施する。そして、路外判定領域RoLが路外と予想される場合には、ステップS4、S5に移行して、路外の種別と横位置を解析する。

ステップS4では、路外の種別を判定する処理が行われる。ステップS2でレーンマーク認識処理領域L2, R2のいずれか一方にレーンマーク３２、４２が認識されている場合は、自車走行車線２１の左側または右側の領域は車両の走行可能な隣接車線である可能性が高くなるため、レーンマーク２２と３２の間に路外判定領域RoLを設定し、また、レーンマーク２３と４２の間に路外判定領域RoRを設定する。そして、各路外判定領域RoL、RoR内の画像処理を実施し、走行路（隣接車線）であるかどうかの確認処理を実施する。走行路ではなさそうであれば、レーンマーク認識処理領域L2,R2でレーンマークが見つからなかった場合と同様に、路外種別判定を行う。詳細は図１０の説明にて述べる。

ステップS5では、路外の横位置解析を実施する。ステップS4にて解析した路外種別に基づいて、自車両１の走行車線から横方向（道路幅方向）の距離にしてどの位置から路外種別の領域に入るのか詳細を解析する。例えばガードレールが存在することがわかった場合に、ガードレールが、自車両１の走行車線からどのような横方向の距離に存在するかを解析する。更に、路外種別と自車両とのヨー角を算出すれば、アプリケーション変更などの切替タイミングを適切に実行することが可能となる。

ステップS6では、ステップS4にて判定された路外種別と、ステップS5にて解析された路外横位置を利用して、複数のアプリケーションの優先度であるマルチアプリ優先度を決定する。ここでは、アプリケーションが規定周期内の処理時間に終了するかなどの時間的な条件は考慮せずに、優先するアプリケーションの順序もしくはアプリ停止かどうかを判定する。

ステップS7では、ステップS6で決定されたマルチアプリ優先度を基に、各アプリケーションを実行した場合の処理時間を演算して予測する処理が行われる。また、優先度が低く、精度や範囲等を特定のものに限定した機能限定版を実施する可能性があるアプリケーションに関しては、機能限定版の処理時間も予測する。

ステップS8では、処理時間の合計が、予め設定された規定処理周期内に終了しないような場合には、優先度が低いアプリケーションから停止、もしくは機能限定版の実施を検討して、各アプリケーションの処理時間が規定周期内に終了するように、最終設定を行う。これにより、選択されたアプリケーション、優先順位、処理領域、処理時間等のマルチアプリ制御テーブルの内容が決定される。

ステップS9では、ステップS8で決定されたマルチアプリ制御テーブルを利用し、各アプリケーションを規定周期内で実施し、ステップS1へ戻る。

図１０は、路外種別判定方法を説明する図である。
ステップS4の路外種別判定処理では、路外判定用に設定された処理領域内で、画像処理を実施し、種別判定を実施する。路外種別の判定内容には、走行路を示すものとして、（Ａ１）走行車線、（Ａ２）最左車線、（Ａ３）最右車線、（Ａ４）対向車線のいずれかに判定する。日本等の左側通行の地域では、最左車線は、その左側の領域が路外であり、高速道路であれば最も平均車速が遅い車線となり、最右車線は、追越車線となる。そして、最右車線よりも右側の領域は、対向車線もしくは、中央分離帯、ガードレールとなる。ただし、例えば米国などの右側通行の地域では、最左車線と最右車線の扱いは逆となる。

日本の道路において自車両が最も右車線を走行していることが検知可能であれば、更に右側に走行車線がないことは明らかであるため、右側処理領域に対する適応アプリケーションは車線逸脱警報や車線逸脱制御、配光制御などがあげられ、判定に右側に車線変更支援の必要や、追従制御のための車両検知の必要性は低くなる。これが米国であれば、最も左車線を走行中の左車線走行中の左側処理領域に対する適応アプリケーションとなる。

また、隣接車線が存在し、自車両１が車線変更可能であれば、その車線に他の車両が走っているか否かの情報も、いずれのアプリケーションを実行すべきか判断するのに重要な情報となる。また、隣接車線の更に外側が路外であるか否かの情報も、更に外側で標識検知などを実施するか否かに影響を与えるので、隣接車線外側が路外であるかどうかの判定も実施する。

以下に、車線種別について、利用方法とその判定方法を詳細に示す。ここでは、日本などの左側通行を基本とした記述をしているが、米国などのように右側通行であれば、これを対称的に扱うことで対応可能と考える。

（Ａ１）「走行車線」
（Ａ１−１）＜優先度へ反映の考え方＞自車両１の左右に隣接車線がある場合には、隣接車線を他の車両が走行すると考え、車両検知を実施し、夜間であれば配光制御の優先度も高める。そして、自車走行車線の側方に歩行者がいる可能性は低いと考え、歩行者検知の優先度を低下させる。また、自車両１が自車走行車線から隣接車線へ車線変更しようとする際に、自車両１の走行を妨げる、もしくは自車両１が他車両の走行を妨げると予想されるような場合には、自車両１が車線逸脱制御を実施しても良い。より安全性を確保するためのアプリの選定に利用する。

（Ａ１−２）＜判定方法＞自車両１が走行している自車走行車線が走行車線であるか否かは、自車走行車線２１の左右両端がレーンマークに囲まれた車線であり、同一方向の車線の最も左右端の車線でないことを、レーンマークの種類（実線、黄線、多重線）の情報を利用して判定する。カーナビの情報や、他標識、立体物、他車両などの認識情報を利用して確度を高めても良い。また、更にレーンマーク認識処理領域L2に左側レーンマークの存在を確認し、左外側に破線レーンマークがあれば、その左車線は走行車線であることが確認できる。右側に関しても同様である。

（Ａ２）「最左車線」
（Ａ２−１）＜優先度へ反映の考え方＞自車両１が最も左側の車線（最左車線）を走行していると判断した場合には、自車両１の左隣の路外判定領域RoLは路外であるため、複数のアプリケーションの中から歩行者の飛び出しや標識検知のアプリケーションの優先度を高める。また、路外判定領域RoLが路外であれば、他の車両が存在しないことが明らかであるため、路外判定領域RoLにおいては車両検知のアプリケーションの優先度を低下させる。自車両１の左側の隣接車線が最左車線である場合には、自車両１は通常の走行車線を走行していることに変わりないので、基本的には、走行車線と同様のアプリケーションの優先度で問題ない。

（Ａ２−２）＜判定方法＞走行車線の左側に実線がある場合には、最も左車線と判定する。走行車線の判定方法と同様にカーナビや、他標識、立体物、他車両などの認識情報を利用して確度を高めても良い。

（Ａ３）「最右車線」
（Ａ３−１）＜優先度へ反映の考え方＞自車両１が最も右側の車線（最右車線）を走行していると判断した場合には、自車両１の右側は、対向車線であるか、もしくは、ガードレールや分離帯などが存在する路外である可能性が高い。路外判定領域RoRが対向車線ではなく、路外である場合には、標識検知のアプリケーションの優先度を高め、車両検知のアプリケーションの優先度を低下させる。

（Ａ３−２）＜判定方法＞自車走行車線の右側レーンマークが実線であり、なおかつ、その隣に対向車線と思われるようなレーンマークがなく、反対に、ガードレールや、分離帯のような構造物がある場合に、路外と判定する。

（Ａ４）「対向車線」
（Ａ４−１）＜優先度へ反映の考え方＞自車走行車線より右側が対向車線である場合には、右側への車線逸脱は、対向車両との正面衝突など重大な事故につながる恐れが大きい。このため、右側への車線逸脱時には、より安全を確保すべく車線逸脱制御を利用し、反対に自車走行車線の左側に車線が存在するような場合には車線逸脱警報を利用し、ドライバーの意思をできる限り妨げないようにする。また、車両検知等と組み合わせて、車線変更による危険性が伴うような場合には、車線逸脱制御へ変更することで安全性を高めても良い。

（Ａ４−２）＜判定方法＞右側レーンマークが実線であり、なおかつ、その隣に対向車線と思われるようなレーンマークがあり、自車両１とは進行方法を逆にする他の車両が通る場合に、対向車線と判定する。他車両の進行方向から判定する代わりに、カーナビ情報やセンサ情報などを利用しても良い。

種別の判定内容で、路外を示す種別としてアプリケーションの切り替えに関係のある種別により、以下の（３２１）〜（３２７）の７つに分類している。

（321）凸路肩判定部「歩道、凸路肩」
（321−１）＜優先度へ反映の考え方＞歩行者が歩いている可能性が高く、また、歩行者が走行路に飛び出しやすい環境にある。標識が存在する可能性が高い、車両は走行しない、路面標識は存在しない。

（321−２）＜判定方法＞左側の種別判定方法を述べると、図７でいうレーンマーク認識処理領域L2からレーンマークが検知できなかった場合に、凸路肩があるかどうか、或いは、走行路と歩道を隔てる凸段差があるかどうかのチェックを実施する。
まず、段差特徴量抽出部321Aにおいて白線のように路面と比較して白いといった基準はないものの、段差部分では路面と同じ高さから垂直方向に立ち上がる部分のエッジと、立ち上がった部分から路面と同じ平らな向きに変化する２つの２つのエッジ部分を画像上横方向に探索しながら抽出する。もし歩道の段差が画像上に映るような場合には、同じ高さの段差が自車両近傍から遠方にまで続くことが想定されるために、画像上では消失点で交わり、実距離空間においては平行かつ、幅5〜30cm程度の直線を段差直線抽出部321Ｂにおいて抽出する。そもそも画像上での幅がばらばらな２つのエッジペアが見つかった場合や、直線にならない場合には、凸路肩でないと判定し、画像上での幅がある程度大きさのものが集まり、かつ実空間においてその幅が等しく、直線性が認められる場合に、凸路肩と判定する。

（322）凹路肩判定部「凹路肩、側溝、畑、谷、川」
（322−１）＜優先度へ反映の考え方＞歩行者が見えない。車両は走行しない、路面標識は存在しない。車両が近づくと脱輪などの危険がある。

（322−２）＜判定方法＞走行路と比較し暗くなるエッジが直線的に存在するかどうかを判定する。凹特徴量抽出部322Aにおいて画面上に横方向に探索し、自車両側から離れる方向へ探索し、暗くなる凹部分のエッジを探索する。この後、凹直線抽出部322Bにおいて、このエッジが直線的に並んでいるかどうかを判定することで、凹路肩判定を実施する。
側溝や畑などの凹みが走行方向に沿って続くかで判定する。路面の高さをステレオカメラで認識しても良い。

（323）構造物判定部「建築物、柵・壁」
（323−１）＜優先度へ反映の考え方＞歩行者が見えない。手前に標識が存在する可能性が高い、車両は走行しない、路面標識は存在しない。車両が近づくと衝突の危険がある。

（323−２）＜判定方法＞人工的な構造物であれば路面に対して垂直に立つ可能性が高く、鉛直上向きの直線群を見つけることで構造物の判定を実施する。
立体物特徴量抽出部323Aにおいて、路面に対して鉛直上向きに立つ人工物（立体物）のエッジを見つけるために、立体物特徴量抽出部323Aにて、鉛直上向きに延びるエッジの探索を横方向に実施する。次に立体物下端直線抽出部323Bにおいては、まずは鉛直方向に延びるエッジ群をみつけてその長さを図る。短すぎる直線としてしかとらえられないものはノイズ要因として排除し、途中かすれていても鉛直方向においてある程度以上のエッジが確認できるものに関しては立体物のエッジ群であると判定する。鉛直方向に直線的に並ぶエッジ群のみを対象として、路面上のどの位置から鉛直方向に立ちあがっているかを判定するために、図１７に示すように立体物の下端が自車両進行方向に対してどのように立ち並んでいるか、直線抽出を実施する。
下端が求められた場合には、人工構造物が道路に沿って並んでいる可能性があるとして流動性判定部323Cにおいて立体構造物の解析を実施する。過去数フレームにわたって立体物下端直線抽出部323Bの結果と今frmの結果の位置がほぼ等しいかをチェックする。更に,1frmの鉛直方向に直線的並ぶエッジの位置と、現在のフレームから1frm間の自車速移動距離を用いて1frm前の画面上の位置に予測した場合に、鉛直上の直線位置がほぼ一致するかどうかを立体物流動性判定部323Cにおいて解析する。

（324）周期物判定部「ガードレール、柵、壁」
（324−１）＜優先度へ反映の考え方＞歩行者が歩いている可能性は高いが、直接飛び出してくる可能性は低い。標識が存在する可能性が高い、車両は走行しない、路面標識は存在しない。車両が近づくと衝突の危険性がある。

（324−２）＜判定方法＞ガードレールなどの人口構造物であり周期性があるものを判定する。周期がずれた画像を利用し、人口構造物の画像上の移動をトラッキングすることで周期性の解析を行い周期物を判定する。
立体物特徴量抽出部323Aの結果と、立体物下端直線抽出部323Bの結果を、構造物判定部323においても流用するので、図１６には323Aはすなわち324Aでもあるため、番号だけを共通して複数つけている。実際には、処理は一つで、結果のデータを他、構造物判定部324や非人工物判定部325、走行可路外判定部326においても流用するためである。ここでは、構造物判定部323における前処理として、立体物抽出部324A(323A)と立体物下端直線抽出部324B(323B)、立体物流動性判定部324C(323C)の結果を利用する。
これらの結果を利用し、周期性判定部324Dでは、鉛直上の直線位置の間隔が、距離空間的に、時間的に一致しているかどうかを判定し、構造物でありかつ周期性有の場合には周期物と判定し、構造物ではあるが周期性はない場合には、構造物であるとだけ判定する。

（325）非人工物判定部「植え込み、草、雪壁、岩、非人工物」
（325-1）＜優先度へ反映の考え方＞非人工構造物がある場合には車速が低い場所では、路肩もなく白線外が歩行者の歩く場所である可能性が残る。車両が走行しない。路面標識は存在する可能性があり、路外側には路面標識は存在しない。

（325-2）＜判定方法＞周期物判定において周期性なしと判定されていて、更に構造物判定においても、立体物が存在しないと判定されているが、立体物特徴量抽出部323A(325A)における特徴量が存在し、立体物下端直線抽出部323B(325B)において大半がノイズ要因であると判定されている場合、これはランダム性の高いテクスチャ、もしくはエッジ成分が多いととらえて、これをランダムテクスチャ判定部325Cにて、更にランダム性の高いテクスチャであるかどうかをテクスチャ解析で判定し、非人工物であるか判定を実施する。

（326）走行可路外判定部「走行可路外」
（326−１）＜優先度へ反映の考え方＞走行車線は存在しないものの、路肩まで十分に車両が走行可能なスペースが準備されている。この場合、自車走行車線から多少はみ出して走行しても、自車両が何かに衝突する可能性は低い。

（326−２）＜判定方法＞領域上にテクスチャがほとんど存在せず，直線状に並ぶようなエッジ成分が存在しない。また、路面の輝度分布が自車走行レーンとほぼ同様であることを利用して判定する。
構造物判定部323、周期物判定部324、走行可路外判定部326、の結果よりいずれも構造物が存在しないと判定された場合にのみ判定を実施する。立体物特徴量抽出部においてエッジ成分が存在するが、立体物下端直線抽出部において鉛直方向への直線性が認められないような場合において、エッジ成分は存在するが立体物ではない可能性が高いとして、路面にあるテクスチャが自車速で遠方に遠ざかっていくかどうかを路面流動性解析部326Cにおいて判定し、走行可路外であるかの判定を実施する。

（327）車線減少判定部「車線減少手前」
（327−１）＜優先度へ反映の考え方＞進行方向の走行路車線が事故や工事、などで車線が統合されて、１つの車線になる。

（327−２）＜判定方法＞左側の種別判定方法を述べると図７でいうレーンマーク認識処理領域L2からレーンマークが検知できているが、遠方で車線幅が大きく減少し、自車走行車線と統合される。

このように、路外種別判定は、アプリケーションの優先度を調整するための参照情報とするために利用する。

次に、路外状態判定部300の中の横位置解析部330について説明する。
路外種別判定部320の構成要素、凸路肩判定部321、凹路肩判定部322、周期物判定部323、構造物判定部324、非人工物判定部325、走行可路外判定部326、車線減少判定部327は、それぞれの判定部において画面上での直線抽出を既に実施しており、凸路肩判定部などにおいてはあらかじめ3次元の世界座標においる直線を求めている。横位置解析部330では、路外の種別判定が実施された場合に、過去からの結果をも利用しながら、現フレームでの路外物の鉛直方向への立ち上がり横位置、図11の例で示すと距離dを推定する。場合によっては、レーン認識同様に横位置だけでなく、ヨー角を求めても良い。

路外種別の結果とその横位置を利用した実施例を下記に記す。
図１１は、路外横位置解析によるアプリ変更（車線逸脱警報と車線逸脱制御）を説明する図である。図１１（ａ）に示すように、例えばガードレール５１が自車両１の左側に存在する場合に、自車走行車線２１からどれだけ離れた位置にガードレール５１が存在するかを解析する。具体的には、自車走行車線２１からガードレール５１までの道路幅方向の距離ｄを検出する。

また、図１１（ｂ）に示すように、これが歩道・路肩５２であっても同様に、その横位置を解析する。また、ガードレール５１や歩道・路肩５２が、自車走行車線２１と平行であることや、平行でない場合にはその傾きを解析しても良い。

これらの情報を利用して、複数のアプリケーションについてそれぞれの優先度や、設定を変更する。
例えば、図１１のアプリケーション切り替えの実施例について説明すると、図１１(a)では、自車両１の右隣接車線４１は、通常の走行車線である。そして、自車両１の左側は路外（ガードレール）であり、自車走行車線の左レーンマークから道路幅方向左側に20センチメートル離れた横位置にガードレール５１が存在する。このように路外の障害物など車線から近距離に存在する場合、自車両１が車線逸脱するとすぐにガードレール５１に接触する可能性が高く事故につながりかねない。

このため、自車走行車線の左レーンマーク２２から左側に3メートル程度離れた横位置にガードレール５１がある場合には（ｄが大）、車線逸脱警報であったとしても、安全性を保つことが十分に可能であると考えるが、例えば、ガードレール５１が左レーンマーク２２から0.5メートルの横位置に存在するような場合には（ｄが小）、車線逸脱制御を実施したほうが安全性を保てる可能性が高いと考える。

また、車線逸脱警報や制御のタイミングも、ガードレール５１の横位置と車両挙動の横速度を考慮して変更する。このように同じガードレール５１であっても横位置を解析することで、安全性が保たれる可能性が高い場合には、必要以上にドライバーに干渉せず車線内を自由に運転できるように配慮しながら予防安全を実施することができる。

ガードレール５１が車線位置から非常に近いなど、接触の可能性が高いような車線位置においては、実施するアプリケーションを変更し、本実施の形態においては、車線逸脱警報から車線逸脱制御に切り替えて実施することで、自車両１の安全性を確保する。

また、アプリケーションの変更等を判断するための情報は、路外の情報だけでなく、車両挙動の情報を加えても良い。自車両１の車速が早く、ヨー角が発生している場合に、このまま車両挙動が変化しなれば、車線逸脱までL秒であり、その後、G秒後にガードレールに接触すると推定し、その情報を基にして車線逸脱警報と車線逸脱制御の変更、また、警報や制御の実施タイミングの変更を行っても良い。

同様の効果を狙ったものとしては、横位置の距離に応じて車線逸脱警報のタイミングを変更するものであっても良い。検知した障害物までの距離が遠い場合には、車線22を逸脱する直前で警報していたものを、障害物までの距離が比較的近い場合には、車線22を逸脱すると推定される１秒前に警報を鳴らすなど、警報タイミングの調整に利用しても安全性を高める効果が期待できる。

更に車線逸脱制御のみでも同様に考えると、横位置の距離に応じて距離が大きい場合には車線逸脱制御の開始タイミングは通常に、距離が短い場合には制御タイミングを早めても安全性を高めることが期待できる。他にも、車線逸脱制御の車線内へ押し戻す制動力の強さを横位置の距離が遠い場合には通常通りで、横位置が近距離の場合には制御力を強めても良い。

次に、車両検知と歩行者検知のアプリケーションの優先度変更実施例について説明する。
図１２は、左側路肩時のアプリ変更（車両検知と歩行者検知）を説明する図である。図１２（ａ）に示すように自車走行車線２１の左右両側に左レーンマーク２２と右レーンマーク２３が認識され、更にその外側に隣接左レーンマーク３２および隣接右レーンマーク４２が認識された場合には、自車走行車線２１の左右両側も走行車線（隣接車線）である可能性が高い。このため自車走行レーンの左右のレーンそれぞれにおいて車両検知を実施する。一方、図12(ｂ)に示すように左側が路肩であることを認識した場合には、車両検知は必要なくなる。ただし、走行可路外をどのように扱うかという問題や、車線減少手前の合流を走っている際には、合流してくる接近車両は検知するなどの例外はある。路外であることの信頼性が高ければ、完全に車両検知自体をストップし、その側は歩行者検知などを実施しても良い。特に、凸路肩などは歩道などを人が歩いている可能性が高いため、歩行者検知の優先度を高くし、車両検知は優先度を低くする。反対に、車速が低い状態で、非人工物の路肩であった場合には、歩道用の段差などは存在せず白線の外側がそのまま歩行者用の道路となっている可能性も高く、歩行者検知の優先度はある程度高くする必要がある。反対に、車速が高く周期物や構造物があるような場合には、高速道路などを走行している可能性が高く、歩行者検知の優先度を必ずしも高くする必要はない。北米などでは凹路肩に関してもFreeWayである可能性が高く、歩行者検知は必ずも優先度を高くする必要はない。

また、車両検知アプリケーションの誤警報抑制の実施例を示す。
隣接レーンの後側方接近車両検知において、隣接車線を路肩かどうか判定することで、誤検知抑制に利用する。車両検知の手法において、特徴点の動きをとらえるオプティカルフローを利用した手法では、路外判定の種別の内、特に、周期物判定及び非人工物判定の場合に誤検知する可能性が高い。このため路外であることが判定された場合において、上記２つの周期物、及び非人工物の判定の場合には、車両検知処理自体は止めないものの誤検知した場合には、ユーザに提示する情報は不検知だった場合の結果と同一とする。つまり接近車両がいた場合に警報を鳴らすようなシステムでは誤警報を抑制する。他、路外判定の場合には、車両検知が誤検知する可能性は低いため、路外判定の結果を受けて車両を検知したと判定するための車両検知の閾値を高くし、確度の高い車両のみを検知対象とし、路外判定自体の誤検知も考慮した対応方法とする。車両検知については、隣接車線に路外の障害物などが存在する場合には、立体物を車両と誤検知する確率が高くなる。このためそもそも路外であることが認識できた場合には、路外側の車両検知処理は、車線変更支援などの目的で利用される警報を抑制する。

上記構成を有する車載用環境認識装置によれば、画像から車線を区画するレーンマークを認識し、そのレーンマークに基づいて自車走行車線の左右の少なくとも一方に路外判定領域を設定し、路外判定領域が隣接車線と路外のいずれであるかを判定し、路外判定領域が路外であると判定された場合に、路外の種別を解析する処理を行う。

したがって、複数のアプリケーションを実行するために必要な車外環境の情報を取得することができ、複数のアプリケーションの優先度や処理時間、アプリ変更タイミングを制御し、各領域に対するアプリケーションのアプリ実行状態を変更することができる。したがって、車両の走行に応じて変化する車両周囲環境に応じて、適切なアプリケーションを実施することができ、ＣＰＵの限られた能力範囲内で、利便性と安全性の高い車載用環境認識装置を実現することができる。

10 車載用環境認識装置
100 撮像部
200 レーンマーク認識部
210 レーンマーク認識領域設定部
220 白線特徴量算出部
230 白線抽出部
240 3次元位置解析部
300 路外状態判定部
310 路外判定領域設定部
320 路外種別判定部
330 横位置解析部
400 アプリ制御部
410 優先度決定部
420 処理時間予測部
430 アプリ設定部
500 アプリ実行部
520 車線逸脱警報部
530 車線逸脱制御部
540 車線変更支援部
550 歩行者検知部
560 車両検知部
570 標識検知部
580 配光制御部
590 路面標識検知部

Claims

車載カメラで撮像した画像に基づいて自車の車外環境を認識する車載用環境認識装置であって、
前記画像から路面を区画するレーンマークを認識するレーンマーク認識部と、
該レーンマークに基づいて前記自車の走行レーンと該走行レーンの左右にそれぞれ路外判定領域を設定する路外判定領域設定部と、
該路外判定領域の種別が隣接レーンと路外のいずれであるかを判定し、該路外判定領域の種別が前記路外であると判定された場合に前記路外の種別を判定する路外状態判定部と、
複数のアプリケーションの中から前記路外判定領域の種別及び路外の種別に適応する少なくとも一以上のアプリケーションを前記路外判定領域ごとに選択し、該選択されたアプリケーションの優先度を設定するアプリ設定部と、
該アプリ設定部により選択された複数のアプリケーションを前記優先度に基づいて実行するアプリ実行部と、
を有することを特徴とする車載用環境認識装置。
前記アプリ設定部は、前記路外状態判定部により前記自車の左右の路外判定領域の種別が隣接レーンであると判定された場合に、複数のアプリケーションの中から、左右のレーンマークに対する車線逸脱警報と、前記自車の走行レーン及び左右の隣接レーンに対する車両検知のアプリケーションを選択し、各アプリケーションの優先度を高い方から、車線逸脱警報、車両検知の順番に設定することを特徴とする請求項１に記載の車載用環境認識装置。
前記アプリ設定部は、前記路外状態判定部により前記自車の左側の路外判定領域の種別が路外であると判定された場合であって、前記路外の種別が路肩であると判定された場合に、複数のアプリケーションの中から、左のレーンマークに対する車線逸脱制御と、右のレーンマークに対する車線逸脱警報と、前記自車の走行レーン及び右隣接レーンに対する車両検知と、路肩に対する歩行者検知の各アプリケーションを選択し、各アプリケーションの優先度を高い方から、車線逸脱制御、車線逸脱警報、車両検知、歩行者検知の順番に設定することを特徴とする請求項１に記載の車載用環境認識装置。