JP2010271969A - 車線検出装置 - Google Patents

Abstract

【課題】撮像された画像中から自車両の走行路に標示された車線を的確に検出することが可能な車線検出装置を提供する。
【解決手段】車線検出装置１は、自車両ＭＣの周囲を撮像して画像Ｔを取得する撮像手段２と、画像Ｔ中の隣接する画素ｐの輝度差ΔＤが閾値ΔＤth内である画素ｐ同士を１つのグループｇとして統合する統合手段６と、平均輝度Ｄave等が所定の閾値の範囲内であるグループｇを道路面グループＧとして検出する道路面検出手段７と、画像Ｔの道路面グループＧ以外の画像部分を探索し、道路面グループＧとの輝度の差δＤが閾値δＤth１以上であり、かつ、隣接する画素ｐとの輝度差ΔＤが閾値ΔＤth１以上である画素ｐを車線候補点ｃｌ、ｃｒとして検出する車線候補点検出手段８と、検出された車線候補点ｃｌ、ｃｒに基づいて画像Ｔ中に自車両の走行路に標示された車線ＬＬ、ＬＲを検出する車線検出手段９とを備える。
【選択図】図１

Description

本発明は、車線検出装置に係り、特に、撮像された画像中から自車両の走行路の道路面上に標示された車線を検出する車線検出装置に関する。

従来から、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサを備えるカメラで車両前方を撮像し、撮像した画像中から自車両の走行路の道路面上に標示された車線を検出する技術が種々開発されている。なお、本明細書では、追越し禁止線や路側帯と車道とを区画する区画線等の道路面上に標示された連続線や破線を車線といい、車線の間の自車両が走行する道路面を自車両の走行路という。

例えば、特許文献１に記載の車線認識装置では、撮像された画像の１画素幅の水平ライン上を左右方向に探索して隣接する画素との輝度の差（すなわちエッジ強度）が所定の閾値以上に大きい画素を車線に対応する画素である車線候補点として検出し、この探索を各水平ラインについて行って複数の車線候補点を得る。

そして、実空間上で道路面より上方に存在する点に対応する車線候補点や道路面の標示や影等に対応する車線候補点、すなわち車線に対応しない車線候補点を排除しながら、自車両に近い側すなわち画像の下側の車線候補点に対してハフ変換を行って車線に対応する直線を検出する。

また、自車両からより遠方の車線候補点、すなわち画像のより上側の車線候補点については、画像の下側から上側に順々に追跡していき、画像下側の車線候補点と整合性がある車線候補点をつないでいく。このようにして、例えば車線が直線的に標示されている場合には直線的に、また、車線が前方でカーブしている場合にはカーブに沿って車線候補点を検出しながらつないでいくことで自車両の走行路に標示された車線を検出するように構成されている。

特開２００６−３３１３８９号公報

ところで、上記のようにして画像上で車線を検出する場合、画像の水平ライン上を探索して車線候補点を検出する処理を画像の全領域を対象として実行すると、検出処理の実行時間が長くなりリアルタイムの実行が困難になるとともに、車線候補点の誤検出が多くなる。

そのため、特許文献１にも記載されているように、通常、例えば過去に画像上に検出された車線の位置の情報とその後の自車両の挙動から今回のサンプリング周期における画像上での車線の位置を推定し、それを含む探索領域を設定して、その探索領域のみを探索するように構成される。そして、このように構成することで、大抵の場合、画像上で車線を的確に検出することが可能となる。

しかしながら、例えば図２６に示すように、画像Ｔに右折レーン等の分岐する車線が撮像されている場合、上記のように手前側すなわち自車両に近い側に直線を確定し、それより遠方側では、直線に関係なく画像の下側から上側に向けて順々に車線候補点を追跡してつないでいくと、同図に示すように、右折レーンに分岐する車線に対応する車線候補点（図中の黒丸参照）が検出され、それらに基づいて右折レーンに分岐する車線が検出される場合がある。

そして、次回以降のサンプリング周期では、この右折レーンに分岐する車線の位置の情報とその後の自車両の挙動から画像上での車線の位置が推定され、それを含む探索領域（図中の２本の曲線の間の領域）が設定されるため、右折レーンに分岐する車線に対応する車線候補点のみが検出され続ける。そのため、自車両が本来走行しようとしている本線すなわち右折レーンの左側の車線に対応する車線候補点（図中の白丸参照）を検出することができなくなる虞があった。

この場合、例えば、自車両の左側に検出された車線から右方向に所定の距離範囲内を探索するように構成すれば、本線側の車線に対応する車線候補点（図中の白丸参照）を検出することも可能になる。しかし、図２６に示すように、左側の車線が雪等に覆われる等して検出できなかったり、もともと左側の車線が標示されていないような場合には、本線側の車線に対応する車線候補点を検出することができず、結局、本線側の車線を検出することができなくなる。

この問題は、探索領域を設定して車線候補点を検出する手法を採る限り、解決することが困難であるが、画像の全領域を対象として車線候補点を検出すると、上記のように検出処理の実行時間が長くなりリアルタイム性が損なわれる等の問題を生じる。

また、画像Ｔの水平ラインを探索して車線に対応する車線候補点を検出するための条件の１つとして、車線候補点が道路面に対応する画素の輝度の平均値等から所定の閾値以上に大きい輝度を有する画素であることが求められるが、そのために、特許文献１に記載の車線認識装置では、上記の探索領域等で水平ライン上で画素の輝度のヒストグラムを作成して、輝度の平均値や最大頻度を与える輝度等を算出する。

しかし、これを探索領域を設定せずに画像の全領域を探索する場合に適用すると、膨大な量のヒストグラムを作成しなければならなくなり、検出処理の実行時間が非常に長くなるため、事実上、ヒストグラムを作成する手法は探索領域を設定する場合にしか適用できない。

本発明は、このような事情に鑑みてなされたものであり、撮像された画像中から自車両の走行路に標示された車線を的確に検出することが可能な車線検出装置を提供することを目的とする。また、的確な車線検出をリアルタイムで実行可能な車線検出装置を提供することを目的とする。

前記の問題を解決するために、第１の発明は、車線検出装置において、
自車両の周囲を撮像して画像を取得する撮像手段と、
前記画像中の互いに隣接する画素の輝度差が所定の閾値内である画素同士を１つのグループとして統合する統合手段と、
前記グループの平均輝度と面積がそれぞれ所定の閾値の範囲内である場合、当該グループを道路面グループとして検出する道路面検出手段と、
前記画像において前記道路面グループ以外の画像部分を探索し、前記道路面グループとの輝度の差が所定の閾値以上であり、かつ、隣接する画素との輝度差が所定の閾値以上である画素を車線候補点として検出する車線候補点検出手段と、
検出された前記車線候補点に基づいて、前記画像中に自車両の走行路に標示された車線を検出する車線検出手段と、
を備えることを特徴とする。

第２の発明は、第１の発明の車線検出装置において、前記車線候補点検出手段は、前記車線候補点に対応する前記車線の終了点を検出し、前記車線候補点と前記車線の終了点との間に存在する前記グループを車線グループとして検出して登録し、前記車線グループの前記画像中の縦方向の長さが所定の閾値以下である場合には、前記車線グループの登録を抹消するとともに、少なくとも前記車線候補点を検出された前記車線候補点から削除することを特徴とする。

第３の発明は、第２の発明の車線検出装置において、前記車線候補点検出手段は、検出した前記車線グループのうち、面積が最大の前記車線グループを登録し、登録した前記車線グループの前記面積または横方向の長さが所定の閾値以上である場合には、前記車線グループの登録を抹消するとともに、少なくとも前記車線候補点を検出された前記車線候補点から削除することを特徴とする。

第４の発明は、第２または第３の発明の車線検出装置において、前記車線候補点検出手段は、前記車線グループに属する各画素については前記車線候補点の探索を行わず、前記車線グループには属さなくなった画素であって、前記車線グループとの輝度の差が所定の閾値以下であり、かつ、隣接する画素との輝度差が所定の閾値以下である画素を前記車線の終了点として検出することを特徴とする。

第５の発明は、第２から第４のいずれかの発明の車線検出装置において、前記車線候補点検出手段は、前記車線グループに属する各画素については前記車線候補点の探索を行わず、前記車線グループには属さなくなった画素が前記道路面グループに属する場合には当該画素を前記車線の終了点として検出することを特徴とする。

第６の発明は、第１から第５のいずれかの発明の車線検出装置において、前記車線検出手段は、前記車線の候補としての直線を１本以上抽出し、前記各直線の近傍に存在する前記車線候補点の連続性に基づいて前記各直線の種別を判定し、少なくとも前記直線の種別および前記各直線の近傍に存在する前記車線候補点の数に基づいて算出した信頼度に基づいて前記各直線の中から前記車線を表す直線を選択することを特徴とする。

第７の発明は、第６の発明の車線検出装置において、
前記直線の種別は、前記各直線の近傍に存在する前記車線候補点の連続性に基づいて前記直線が少なくとも連続線状、破線状、またはそれらの組み合わせに該当するか判定され、
前記車線候補点の連続性は、前記車線候補点同士の前記画像上での距離または実空間上の距離に基づいて判定され、同一の前記グループに属する前記車線候補点ついては前記判定にかかわりなく連続であると判定されることを特徴とする。

第１の発明によれば、車線候補点検出手段で、車線候補点を探索するための探索領域を設定せず、道路面グループ以外の画像部分すなわちアスファルト面等の道路面の地の部分以外の道路面部分を探索して車線候補点を検出する。そのため、例えば、右折レーンに分岐する車線に対応する車線候補点（図２６等参照）や、二重車線における内側の車線に対応する車線候補点（後述する図２４等参照）等だけでなく、自車両が走行しようとしている本線に対応する車線候補点や、二重車線における外側の車線に対応する車線候補点等も的確に検出することが可能となる。

そのため、車線が分岐するような場合であっても、それらの車線候補点に基づいて自車両が走行しようとしている本線に対応する車線を的確に検出して、撮像された画像中から自車両の走行路に標示された車線を的確に検出することが可能となる。また、車線が二重車線であるような場合には、消えかかっている内側の車線ではなく、或いはそれとともに外側の車線を的確かつ安定的に検出することが可能となり、撮像された画像中から自車両の走行路に標示された車線を的確に検出することが可能となる。

また、車線候補点検出手段では、道路面検出手段で検出した道路面グループ（例えば後述する図１７の道路面グループＧ１〜Ｇ４参照）以外の画像部分で車線候補点を探索して検出する。その際、高輝度の車線に対応する車線候補点は暗い輝度の路面領域に対応する道路面グループ内には属しておらず、道路面グループに属する画素については探索を行う必要がないため、道路面グループでは探索を行わずにスキップすることが可能となる。また、車線候補点を検出する際に用いられる道路面グループの平均輝度は統合手段で既に算出しているため、従来の車線検出のように、膨大な量のヒストグラムを作成して、改めて道路面に対応する画素の輝度の平均値等を算出する必要がない。

そのため、車線候補点を高速に検出することが可能となり、車線検出手段でそれらの車線候補点に基づいて車線を高速に検出することが可能となる。そのため、例えば１秒間に数フレームから数十フレーム分の画像が撮像されてデータが入力されてくるような場合でも、車線を迅速に検出することが可能となり、車線検出をリアルタイムで実行することが可能となる。

第２の発明によれば、前記発明の効果に加え、統合手段で画像の各画素をグループ化することで、各グループの画素数や画像中の縦方向の長さがグループ化した時点で判明する。そのため、車線候補点検出手段で検出した車線候補点に対応する車線グループの大きさが小さい場合には、その車線候補点を画像中に写り込んだ高輝度のノイズ等に対応するものとして車線候補点の登録を抹消することができる。そのため、車線候補点の誤検出を的確に防止することが可能となり、最終的に検出された車線の検出の信頼性を向上させることが可能となる。

第３の発明によれば、第２の発明の場合とは逆に、車線候補点検出手段で検出した車線候補点に対応する車線グループの大きさが異常に大きい場合には、その車線候補点は、画像中に撮像された道路脇に堆積された雪等に対応するものと考えられる。そのため、そのような場合にも車線候補点の登録を抹消することで、車線候補点の誤検出を的確に防止することが可能となり、前記各発明の効果を的確に発揮させることが可能となる。

第４の発明によれば、車線候補点と車線の終了点との間に存在する車線グループに属する各画素について車線候補点の探索を行わずにスキップすることで、車線候補点の検出をより高速に行うことが可能となり、前記各発明の効果を的確に発揮させることが可能となる。

第５の発明によれば、車線候補点と車線の終了点との間に存在する車線グループに属する各画素について車線候補点の探索を行わずにスキップすることで、車線候補点の検出をより高速に行うことが可能となる。また、それとともに、車線グループから別のグループに探索画素が移行する際、そのグループが道路面グループである場合には、車線グループから道路面グループに切り替わる画素を車線の終了点として検出することができるため、そのような場合に、当該画素を車線の終了点として検出することで、当該画素が車線の終了点であるか否かの判定処理を行う必要がなくなる。そのため、車線候補点の検出をより高速に行うことが可能となり、前記各発明の効果を的確に発揮させることが可能となる。

第６の発明によれば、検出した複数の車線候補点に基づいて、例えばハフ変換等の手法により車線の候補となる複数の直線が抽出される場合がある。そのような場合に、直線の種別や、各直線の近傍に存在する車線候補点の数に基づいて各直線の信頼度を算出し、算出した信頼度に基づいて各直線の中から車線を表す直線を選択することで、撮像された画像中から自車両の走行路に標示された車線を近似するにふさわしい直線を的確に選択して検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第７の発明によれば、直線の種別として、各直線の近傍に存在する車線候補点の連続性に基づいて直線が連続線状であるか破線状であるか等を判定することで、各直線の信頼度を的確に算出することが可能となり、検出された車線を近似する直線の信頼性をより向上させることが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

本実施形態に係る車線検出装置の構成を示すブロック図である。 撮像手段で撮像される画像の例を示す図である。 統合手段における処理手順を示すフローチャートである。 統合手段における処理手順を示すフローチャートである。 統合手段における処理手順を示すフローチャートである。 道路面検出手段における処理手順を示すフローチャートである。 推定軌跡および進行路を説明する図である。 画像中に設定されたチェック領域を説明する写真である。 入力画素と既に入力されている左に隣接する画素とを説明する図である。 入力画素と左に隣接する画素が属するグループの例とを説明する図である。 入力画素と既に入力されている下に隣接する画素とを説明する図である。 入力画素と下に隣接する画素が属するグループの例とを説明する図である。 （Ａ）２つの画素が入力画素の左と下に隣接するグループの例を説明する図であり、（Ｂ）入力画素が左に隣接する画素とグループ化されて下に隣接する画素ともグループ化される例を説明する図である。 （Ａ）下に隣接する画素が属するグループと左に隣接する画素が属するグループの例を説明する図であり、（Ｂ）２つのグループが入力画素とグループ化されて１つのグループになる例を説明する図である。 図８の画像に基づいて統合された複数のグループを表す写真である。 車線に連続して標示された停止線の例を示す図である。 図８の画像から抽出された道路面グループを表す写真である。 画像Ｔ上での位置が算出された推定軌跡を表す図である。 水平ライン上を探索した場合の探索画素の輝度の推移および車線候補点等を表す図である。 図２６の画像上に検出される車線候補点を表す写真である。 ハフ平面の例および升目を説明する図である。 図２０の各車線候補点に基づいて抽出された各直線を表す写真である。 図２０の画像上に検出された自車両の走行路に標示された車線を表す写真である。 本実施形態に係る車線検出装置で検出された二重車線を表す写真である。 従来の検出手法で検出された二重車線を表す写真である。 従来の検出手法では車線分岐で右折レーンに分岐する車線に対応する車線候補点が検出され、本線に対応する車線候補点は検出されないことを表す写真である。

以下、本発明に係る車線検出装置の実施の形態について、図面を参照して説明する。

本実施形態に係る車線検出装置１は、図１に示すように、主に撮像手段２と処理部５とで構成されている。撮像手段２は、本実施形態では、例えばＣＣＤやＣＭＯＳセンサ等のイメージセンサが内蔵されたカメラ等の単眼の撮像手段が用いられているが、複数設けられた撮像手段のうちの単数または複数の撮像手段により撮像された単数または複数の画像に対して本発明に係る処理を施すように構成することも可能である。

また、本実施形態では、撮像手段２は、例えば図２に示すような画像Ｔを撮像する場合、画像Ｔの各水平ラインｊの最も左側の撮像素子から順に右方向に走査し、また、走査する水平ラインｊを最も下側のラインから順に上方に切り替えながら撮像するようにして、各撮像素子で撮像された順に輝度Ｄの各データを変換手段３に順次送信するようになっている。

変換手段３は、Ａ／Ｄコンバータで構成されており、撮像手段２で各撮像素子（各画素ｐ）ごとに撮像された輝度Ｄの各データが順次送信されてくると、各画素ｐの輝度Ｄのデータをそれぞれ例えば２５６階調等のグレースケールのデジタル値の輝度Ｄのデータに変換して画像補正部４に出力するようになっている。画像補正部４は、送信されてきた輝度Ｄの各データに対してずれやノイズの除去、輝度の補正等の画像補正を順次行い、画像補正した輝度Ｄの各データを処理部５に順次送信するようになっている。

処理部５は、本実施形態では、図示しないＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力インターフェース等がバスに接続されたコンピュータで構成されている。処理部５は、統合手段６や道路面検出手段７と、車線候補点検出手段８と、車線検出手段９を備えている。

また、処理部５に、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Ｑが接続されており、それらから各測定値が入力されるようになっている。なお、処理部５において、さらに、他の処理を行うように構成することも可能である。

なお、以下の説明では、例えば図２に示した画像Ｔにおける画素について、画像Ｔの左下隅の画素を原点とし、右向きにｉ軸、上向きにｊ軸をとった場合の画素の座標（ｉ，ｊ）を用いて、画素ｐi,jのように表す。また、画素ｐi,jの輝度ＤをＤi,jのように表す。

本実施形態では、撮像手段２から画像Ｔの各画素ｐの輝度Ｄのデータが順次入力されてくると、統合手段６は、入力された画素ｐi,j（以下、入力画素ｐi,jという。）の輝度Ｄi,jと、入力画素ｐi,jに隣接する画素ｐの輝度Ｄとを比較し、また、入力画素ｐi,jの輝度Ｄi,jと、それに隣接する画素ｐが属するグループｇに属する全画素ｐの各輝度Ｄの平均値とを比較して、後述する条件に適合する場合に入力画素ｐi,jと隣接する画素ｐとを１つのグループｇに統合するようになっている。

この統合処理は、上記のように画像Ｔの各画素ｐの輝度Ｄのデータが順次入力されてくるごとに行われ、最終的に、送信されてきた１画像分の全画素ｐについて行われて、画像Ｔの各画素ｐが複数のグループｇに分割されるようになっている。

また、道路面検出手段７は、統合手段６により統合されたグループｇの平均輝度と面積がそれぞれ所定の閾値の範囲内である場合に、当該グループｇを道路面グループＧとして検出するようになっている。

以下、図３〜図６のフローチャートに従って、統合手段６と道路面検出手段７における処理について説明する。

統合手段６は、撮像手段２により今回のサンプリング周期での撮像が開始されると（図３のステップＳ１）、まず、その時点でセンサ類Ｑから入力された自車両の車速Ｖやヨーレートγ、ステアリングホイールの舵角δ等の情報に基づいて自車両の旋回曲率Ｃuaを算出し、チェック領域Ｒを設定するようになっている（ステップＳ２）。

後述するように、道路面検出手段７はグループｇの平均輝度や面積に基づいて道路面グループＧを検出するが、その際、空に対応するグループｇ（後述する図１５のグループｇsky参照）等を道路面グループＧとして検出してしまう可能性がある。そこで、本実施形態では、統合手段６は、自車両の挙動情報に基づいて今後進行すると推定される進行路領域を算出し、その進行路領域において、ある程度の画素を有するグループｇを動路面グループとして検出する。具体的には、まず、自車両の車速Ｖやヨーレートγ、ステアリングホイールの舵角δ等の情報に基づいて自車両の旋回曲率Ｃuaを下記（１）式または下記（２）、（３）式に従って算出する。

Ｃua＝γ／Ｖ …（１）
Ｒｅ＝（１＋Ａsf・Ｖ^２）・（Ｌwb／δ） …（２）
Ｃua＝１／Ｒｅ …（３）
ここで、上記の各式において、Ｒｅは旋回半径、Ａsfは車両のスタビリティファクタ、Ｌwbはホイールベースである。

そして、図７に示すように、算出した自車両ＭＣの旋回曲率Ｃuaに基づいて自車両が今後進行すると推定される推定軌跡Ｌestを算出し、その推定軌跡Ｌestを中心として左右方向に所定距離離間した位置までの範囲を自車両ＭＣの進行路として算出する。そして、例えば図８に示すように、上記範囲すなわち自車両ＭＣの進行路を画像Ｔ上に割り当てることで、画像Ｔ中にチェック領域Ｒを設定し、チェック領域Ｒ内に少なくともある程度の画素を有するグループｇを道路面グループＧとして検出するようになっている。

なお、チェック領域Ｒを、例えば、過去のサンプリング周期で検出された車線の位置の情報とその後の自車両の挙動から今回のサンプリング周期における車線の位置を推定し、推定された車線の位置を左右端とする領域として設定することも可能である。また、図８や後述する図１５等では、空や街路樹に対応するグループｇsky、ｇtreeがグループ化される可能性があることを示すために、ＣＣＤカメラ等の撮像手段２を意図的に上向きに設置して撮像された図が示されている。

続いて、統合手段６は、撮像手段２から最初に画素ｐi,jの輝度Ｄi,jのデータが送られてくる画像Ｔのｊ＝０の水平ラインｊすなわち水平ライン０における画素数閾値Ｎth（０）を算出して設定し（図３のステップＳ３）、ｉおよびｊの値としてそれぞれ０を設定するようになっている（ステップＳ４）。

ここで、画素数閾値Ｎthは、道路面上に標示される横断歩道の各白線ブロック等に対応するグループｇを道路面グループＧとして検出しないようにするための閾値であり、例えば、実空間上の横幅として６０ｃｍの横幅に設定される。

この実空間上の横幅を、例えば一対のＣＣＤカメラ等で撮像された一対の画像に基づくステレオマッチング等の手法で算出することも可能であるが、本実施形態では、予め画像Ｔの水平ラインｊごとに１画素あたりの実空間上の横方向の横幅を算出しておき、統合手段６は、水平ラインｊごとに実空間上の６０ｃｍの横幅に対応する画素数を算出して当該水平ラインｊにおける画素数閾値Ｎthとして割り当てるようになっている。

前述したように、撮像手段２で撮像された水平ライン０上の左端の画素ｐ0,0（すなわち原点の画素）の輝度Ｄ0,0のデータの入力が開始されると（ステップＳ５）、処理部５には画素ｐ1,0、ｐ2,0、ｐ3,0、…の輝度Ｄ1,0、Ｄ2,0、Ｄ3,0、…のデータが順次入力されてくる。そして、統合手段６は、水平ラインｊの右端の画素まで統合処理を完了していなければ（ステップＳ６；ＮＯ）、ｉ座標を１ずつインクリメントしながら統合処理を続行する（ステップＳ７）。

また、水平ラインｊの右端の画素まで統合処理を完了すると（ステップＳ６；ＹＥＳ）、統合手段６は、画像Ｔの最上段の水平ラインまで統合処理が終了していなければ（ステップＳ８；ＮＯ）、ｊをインクリメントし、ｉに０を設定して（ステップＳ９）、統合処理を行う水平ラインを１行上方の水平ラインｊに移行させて統合処理を続行する。その際、統合手段６は、移行させた水平ラインｊにおける画素数閾値Ｎth（ｊ）を算出して設定する（ステップＳ１０）。

次に、図４のステップＳ１１以降の処理について説明する。統合手段６は、まず、入力画素ｐi,jと、図９に示すように入力画素ｐi,jが入力するより以前に入力されていて入力画素ｐi,jの左に隣接する画素ｐi-1,jについて、下記の条件１や条件２を満たすか否かの判定を行う（ステップＳ１１）。

［条件１］入力画素ｐi,jの輝度Ｄi,jと、左に隣接する画素ｐi-1,jの輝度Ｄi-1,jとの差分ΔＤleft（ｉ，ｊ）、すなわち、
ΔＤleft（ｉ，ｊ）＝｜Ｄi,j−Ｄi-1,j｜ …（４）
が、予め設定された第１輝度閾値ΔＤth未満である。以下、上記のような隣接する画素間の輝度Ｄの差分ΔＤをエッジ強度という。

［条件２］図１０に示すように、入力画素ｐi,jの輝度Ｄi,jと、左に隣接する画素ｐi-1,jが属するグループｇに属する全画素の輝度Ｄの平均値Ｄave-leftとの差分δＤleft（ｉ，ｊ）、すなわち、
δＤleft（ｉ，ｊ）＝｜Ｄi,j−Ｄave-left｜ …（５）
が、予め設定された第２輝度閾値δＤth未満である。以下、上記のように入力画素ｐi,jの輝度Ｄi,jと隣接する画素が属するグループｇの輝度Ｄの平均値Ｄaveとの差分δＤを平均値差分という。

なお、隣接する画素が属するグループｇの輝度Ｄの平均値Ｄaveは、後述する図５のステップＳ２５の算出処理で算出されている。また、左に隣接する画素ｐi-1,jが属するグループｇが当該左に隣接する画素ｐi-1,jのみで構成されている場合もあり、その場合、グループｇに属する全画素の輝度Ｄの平均値Ｄave-leftは、当該左に隣接する画素ｐi-1,jの輝度Ｄi-1,jに等しい。さらに、本実施形態では、第１輝度閾値ΔＤthと第２輝度閾値δＤthとは同じ値に設定されているが、異なる値に設定されてもよく、適宜設定される。また、第１輝度閾値ΔＤthと第２輝度閾値δＤthの値を状況に応じて可変させて設定することも可能である。

統合手段６は、条件１と条件２をともに満たすと判定した場合には（ステップＳ１１；ＹＥＳ）、ステップＳ１２の判定処理に進み、条件１と条件２の少なくとも一方を満たさないと判定した場合には（ステップＳ１１；ＮＯ）、ステップＳ１５の判定処理に進む。

統合手段６は、ステップＳ１１の判定処理で、条件１と条件２をともに満たすと判定すると（ステップＳ１１；ＹＥＳ）、続いて、入力画素ｐi,jと、図１１に示すように入力画素ｐi,jが入力されるより以前に入力されていて入力画素ｐi,jの下に隣接する画素ｐi,j-1について、上記と同様に、下記の条件３や条件４を満たすか否かの判定を行う（ステップＳ１２）。

［条件３］入力画素ｐi,jの輝度Ｄi,jと、下に隣接する画素ｐi,j-1の輝度Ｄi,j-1とのエッジ強度ΔＤlower（ｉ，ｊ）、すなわち、
ΔＤlower（ｉ，ｊ）＝｜Ｄi,j−Ｄi,j-1｜ …（６）
が、予め設定された前述した第１輝度閾値ΔＤth未満である。

［条件４］図１２に示すように、入力画素ｐi,jの輝度Ｄi,jと、下に隣接する画素ｐi,j-1が属するグループｇに属する全画素の輝度Ｄの平均値Ｄave-lowerとの平均値差分δＤlower（ｉ，ｊ）、すなわち、
δＤlower（ｉ，ｊ）＝｜Ｄi,j−Ｄave-lower｜ …（７）
が、予め設定された前述した第２輝度閾値δＤth未満である。

そして、統合手段６は、条件３と条件４の少なくとも一方を満たさないと判定した場合には（ステップＳ１２；ＮＯ）、入力画素ｐi,jを、下に隣接する画素ｐi,j-1とは統合しないが、ステップＳ１１の判定処理で上記の条件１と条件２を満たすと判定しているため、入力画素ｐi,jと左に隣接する画素ｐi-1,jとを１つのグループに統合する（ステップＳ１３）。

その際、例えば図９に示したように、左に隣接する画素ｐi-1,jが他の画素とグループ化されていなければ、入力画素ｐi,jと左に隣接する画素ｐi-1,jとが１つのグループに統合されて、左右に隣接する２つの画素からなるグループが新たに形成される。また、例えば図１０に示したように、左に隣接する画素ｐi-1,jが他の画素と統合されていてグループｇに属していれば、入力画素ｐi,jがグループｇに追加されるように統合され、グループｇが入力画素ｐi,jの分だけ１画素分拡大する。

なお、左に隣接する画素ｐi-1,jが属するグループｇが例えば図１３（Ａ）に示すような形状である場合に、ステップＳ１２の判定処理で、条件３と条件４の少なくとも一方を満たさないと判定されて（ステップＳ１２；ＮＯ）、入力画素ｐi,jが下に隣接する画素ｐi,j-1と統合されない場合でも、図１３（Ｂ）に示すように、入力画素ｐi,jが左に隣接する画素ｐi-1,jと統合されることで（ステップＳ１３）、結果的に、入力画素ｐi,jが下に隣接する画素ｐi,j-1と１つのグループｇに統合される場合もある。

次に、統合手段６は、ステップＳ１２の判定処理で、条件３と条件４をともに満たすと判定した場合には（ステップＳ１２；ＹＥＳ）、入力画素ｐi,jと、下に隣接する画素ｐi,j-1および左に隣接する画素ｐi-1,jとを１つのグループに統合する（ステップＳ１４）。

その際、例えば図１１に示したように、下に隣接する画素ｐi,j-1や左に隣接する画素ｐi-1,jがともに他の画素とグループ化されていなければ、入力画素ｐi,jと下に隣接する画素ｐi,j-1と左に隣接する画素ｐi-1,jが１つのグループに統合されて３つの画素からなるグループが新たに形成される。また、例えば図１０や図１２に示したように、下に隣接する画素ｐi,j-1または左に隣接する画素ｐi-1,jのいずれか一方が他の画素と統合されていてグループｇに属していれば、入力画素ｐi,jとグループｇに属していない方の画素とがグループｇに追加されるように統合されて、グループｇが２画素分拡大する。

また、例えば図１４（Ａ）に示すように、左に隣接する画素ｐi-1,jがグループｇ１に属し、下に隣接する画素ｐi,j-1が他のグループｇ２に属している場合、入力画素ｐi,jと下に隣接する画素ｐi,j-1および左に隣接する画素ｐi-1,jとを統合すると（ステップＳ１４）、図１４（Ｂ）に示すように、入力画素ｐi,jを介してグループｇ１とグループｇ２とが統合されて１つのグループｇとなる。

一方、統合手段６は、ステップＳ１１の判定処理で、条件１と条件２の少なくとも一方を満たさないと判定した場合には（ステップＳ１１；ＮＯ）、ステップＳ１５の判定処理に進み、上記と同様に、条件３や条件４を満たすか否かの判定を行う（ステップＳ１５）。

そして、統合手段６は、条件３と条件４をともに満たすと判定した場合には（ステップＳ１３；ＹＥＳ）、ステップＳ９の判定処理で条件１と条件２の少なくとも一方を満たさないと判定しているため（ステップＳ９；ＮＯ）、入力画素ｐi,jと、左に隣接する画素ｐi-1,jとを統合せず、下に隣接する画素ｐi,j-1のみと１つのグループに統合する（ステップＳ１４）。その際、入力画素ｐi,jと下に隣接する画素ｐi,j-1とを１つのグループに統合した結果（ステップＳ１６）、左に隣接する画素ｐi-1,jと統合される場合があることは図１３（Ａ）、（Ｂ）に示したケースから容易に類推される。

また、統合手段６は、ステップＳ１５の判定処理で、条件３と条件４の少なくとも一方を満たさないと判定した場合には（ステップＳ１５；ＮＯ）、入力画素ｐi,jを、左に隣接する画素ｐi-1,jとも下に隣接する画素ｐi,j-1とも統合せず、入力画素ｐi,jのみが属する新たなグループｇとして登録する（ステップＳ１７）。なお、統合処理の際、統合したグループｇの画素数が非常に小さくノイズ等のように無視してよいグループであり、画素数がそれ以上増加しない場合に、そのようなグループｇをグループの登録から削除して、道路面グループＧであるか否かの判定の対象としないように構成することも可能である。

統合手段６は、入力画素ｐi,jをグループｇに統合すると（ステップＳ１３、Ｓ１４、Ｓ１６）、例えば図１４（Ｂ）に示したように、複数のグループを統合して１つのグループとした場合には、１つに統合したグループｇのグループ番号を、統合の対象となった複数のグループの各グループ番号のうちの例えば最も小さい番号を選択する等して必要に応じて更新する。また、入力画素ｐi,jを新たなグループｇとして登録した場合には（ステップＳ１７）、その新規のグループｇに新たなグループ番号を付与する（ステップＳ１８）。

また、統合手段６は、入力画素ｐi,jをグループｇに統合したり（ステップＳ１３、Ｓ１４、Ｓ１６）、入力画素ｐi,jを新たなグループｇとして登録すると（ステップＳ１７）、当該グループｇの当該水平ラインｊにおける左端および右端の画素の各座標や、当該グループｇ全体の左右端および上下端の画素の各座標、当該グループｇの中心点の座標等に変更があれば算出して更新し、図示しない記憶手段にそれらの情報を保存するようになっている。

続いて、統合手段６は、入力画素ｐi,jを新たなグループｇとして登録した場合（ステップＳ１７）には、当該グループｇに対応付ける後述する条件成立フラグＦを０に設定する（図５のステップＳ１９）。

また、入力画素ｐi,jをグループｇに統合したことにより（ステップＳ１４）、複数のグループが統合されて１つのグループとされた場合（例えば図１４（Ｂ）参照）には、統合手段６は、統合の対象となった複数のグループの中に条件成立フラグＦが１のグループがあれば、１つに統合された当該グループｇの条件成立フラグＦを１に設定し、統合の対象となった複数のグループの条件成立フラグＦがすべて０であれば、１つに統合された当該グループｇの条件成立フラグＦを０に設定する（ステップＳ１９）。

続いて、統合手段６は、現在、統合処理を行った当該グループｇの条件成立フラグＦが０であれば（ステップＳ２０；ＹＥＳ）、当該グループｇの当該水平ラインｊ（画素行ｊ）における画素数Ｎｊを計数する（ステップＳ２１）。そして、図３のステップＳ３やステップＳ１０の設定処理で設定した当該水平ラインｊにおける画素数閾値Ｎth（ｊ）を参照して、計数した画素数Ｎｊが画素数閾値Ｎth（ｊ）以上であれば（ステップＳ２２；ＹＥＳ）、当該グループｇの条件成立フラグＦを１に切り替える（ステップＳ２３）。また、計数した画素数Ｎｊが画素数閾値Ｎth（ｊ）以上でなければ（ステップＳ２２；ＮＯ）、当該グループｇの条件成立フラグＦを０のままとする。

あるグループｇの水平ラインｊにおける画素数Ｎｊが画素数閾値Ｎth（ｊ）以上の場合に当該グループｇの条件成立フラグＦが１に切り替えられる（ステップＳ２３）ことから分かるように、条件成立フラグが１であることは、当該グループｇの各画素行ｊの中に画素数閾値Ｎth（ｊ）以上すなわち実空間上の横幅として６０ｃｍの横幅以上となる画素行ｊが存在することを意味する。

そして、グループｇに対する道路面上の撮像対象が実空間上で６０ｃｍ以上の横幅となる部分を有するものであれば、それは道路面上に標示される横断歩道の各白線ブロック等ではなく、道路面の路面領域であると考えられる。そのため、後述するように、条件成立フラグＦが１であれば当該グループｇは道路面グループＧとして検出される可能性があるが、条件成立フラグＦが０であれば当該グループｇは道路面グループＧの検出の対象から排除される。

また、そのため、現在、統合処理が行われた当該グループｇの条件成立フラグＦが既に１であれば（ステップＳ２０；ＮＯ）、当該グループｇには画素数閾値Ｎth（ｊ）以上となる画素行ｊが既に存在することになるため、ステップＳ２１〜Ｓ２３の各処理を改めて行う必要がない。そのため、現在、統合処理が行われた当該グループｇの条件成立フラグＦが１であれば（ステップＳ２０；ＮＯ）、ステップＳ２１〜Ｓ２３の各処理を行わずにスキップするようになっている。

統合手段６は、統合処理を行った当該グループｇの画素数Ｎを算出する（ステップＳ２４）。すなわち、入力画素ｐi,jを新規のグループｇとして登録した場合には当該グループｇの画素数Ｎを１とし、入力画素ｐi,jをグループｇに統合した場合には当該グループｇの画素数Ｎを１だけ増加させ、入力画素ｐi,jをグループｇに統合したことで他の１つの画素ｐもグループｇに統合される場合には当該グループｇの画素数Ｎを２だけ増加させ、また、入力画素ｐi,jを介して２つのグループｇ１、ｇ２を統合して１つのグループｇとした場合には、当該１つに統合したグループｇの画素数Ｎをグループｇ１、ｇ２の各画素数の和に入力画素ｐi,jの１画素を加えた画素数として算出する。

統合手段６は、続いて、当該グループｇに属する各画素ｐの輝度Ｄの合計を算出し、それを当該グループｇの画素数Ｎで除算して、当該グループｇに属する各画素ｐの輝度Ｄの平均値Ｄaveを算出して更新する（ステップＳ２５）。この場合、入力画素ｐi,jが新規のグループｇとして登録された場合には、当該グループｇの画素数Ｎは１であるから、入力画素ｐi,jの輝度Ｄi,jが当該グループｇに属する画素ｐの輝度Ｄの平均値Ｄaveとなる。

また、統合手段６は、図３のステップＳ２の設定処理で設定したチェック領域Ｒに基づいて、入力画素ｐi,jがチェック領域Ｒ内にあるか否かを判定し（ステップＳ２６）、入力画素ｐi,jがチェック領域Ｒ内にあれば（ステップＳ２６；ＹＥＳ）、当該グループｇがチェック領域Ｒ内に占める画素数Ａｎを面積として算出する（ステップＳ２７）。

すなわち、入力画素ｐi,jがチェック領域Ｒ内にある場合（ステップＳ２６；ＹＥＳ）、入力画素ｐi,jを新規のグループｇとして登録した場合には当該グループｇのチェック領域Ｒ内に占める画素数Ａｎを１とし、入力画素ｐi,jのみをグループｇに統合した場合には当該グループｇのチェック領域Ｒ内の画素数Ａｎを１だけ増加させる。

また、入力画素ｐi,jをグループｇに統合したことにより他の１つの画素ｐもグループｇに統合された場合には、当該他の１つの画素ｐがチェック領域Ｒ内にあれば当該グループｇのチェック領域Ｒ内の画素数Ａｎを２だけ増加させ、当該他の１つの画素ｐがチェック領域Ｒ内になく、入力画素ｐi,jのみがチェック領域Ｒ内にある場合には、当該グループｇのチェック領域Ｒ内の画素数Ａｎを１だけ増加させる。

また、入力画素ｐi,jを介して２つのグループｇ１、ｇ２を統合して１つのグループｇとした場合には、当該１つに統合したグループｇのチェック領域Ｒ内の画素数Ａｎを、グループｇ１、ｇ２の各面積Ａの画素数Ａｎの和に入力画素ｐi,jの１画素を加えた画素数として算出する。

そして、統合手段６は、画像Ｔの最上段の水平ラインの統合処理が終了するまで（図３のステップＳ８）、上記の各処理を入力画素ｐi,jに対して繰り返すようになっている。

統合手段６により画像Ｔの最上段の水平ラインまで統合処理が終了すると（ステップＳ８；ＹＥＳ）、各画素ｐが各グループｇに統合され、最終的に、画像Ｔの各画素ｐが複数のグループｇに分割される。例えば図８に示した画像Ｔの各画素ｐは、統合処理により、図１５に濃淡で分けて表されるような複数のグループｇにそれぞれ統合される。

次に、道路面検出手段７は、図５のステップＳ２４の算出処理で算出されたグループｇに属する全画素数Ｎをグループｇの縦方向の画素行ｊの行数で除算して画素数の平均値Ｎaveを算出し、この画素数の平均値Ｎaveとして各グループｇの横幅の平均値Ｗaveを算出する（図６のステップＳ２８）。この横幅の平均値Ｗaveは、前述した横断歩道の各白線ブロック等よりもさらに細く標示される車線等の標示に対応するグループｇを道路面グループＧとして検出しないようにするために用いられる情報である。

上記の画素数閾値Ｎth（ｊ）のみを用いて、当該グループｇの各画素行ｊの中に実空間上の横幅として６０ｃｍの横幅以上となる画素行ｊが存在するグループｇを道路面グループＧの検出の対象とすると、例えば図１６に示すように、画像Ｔ中に車線ＬＬ、ＬＲに連続して標示される停止線ＳＬ等が撮像されているような場合に、車線ＬＬ、ＬＲに対応するグループｇの水平ラインｊにおける画素数Ｎｊが停止線ＳＬの部分で大きくなって画素数閾値Ｎth（ｊ）以上となる。そのため、当該グループｇは画素数閾値Ｎth（ｊ）に基づく判定処理（図５のステップＳ２２）をクリアして条件成立フラグＦが１とされ、道路面グループＧとして検出されてしまう可能性が生じる。

そこで、これを回避するため、本実施形態では、道路面検出手段７は、上記のようにグループｇの横幅の平均値Ｗaveを算出し（図６のステップＳ２８）、横幅の平均値Ｗaveが、道路面上に１５ｃｍ程度の横幅で標示される車線よりやや大きめの横幅に相当する画素数に設定された平均値閾値Ｎave_th未満であれば（後述するステップＳ３１；ＮＯ）、当該グループｇは車線ＬＬ、ＬＲ等に対応するグループｇである可能性がある。そのため、グループｇを道路面グループＧとして検出しないようになっている。

なお、画像Ｔ中に撮像された車線ＬＬ、ＬＲ等の横幅は、道路面の横幅に比べれば非常に小さく画素数も少ない。そのため、本実施形態では、この横幅の平均値Ｗaveを算出する算出処理では、処理の単純化を図ることを目的として、実空間上の横幅を算出する代わりに上記のようにグループｇに属する全画素数Ｎをグループｇの縦方向の画素行ｊの行数で除算した画素数として横幅の平均値Ｎaveを算出するようになっている。

道路面検出手段７は、続いて、各グループｇについて、当該グループｇが道路面グループＧであるか否かを判定し、条件を満たす場合には、当該グループｇを道路面グループＧとして検出して登録するようになっている。

具体的には、道路面検出手段７は、まだ判定していないグループｇがあれば（ステップＳ２９；ＹＥＳ）、まず、当該グループｇの条件成立フラグＦが１であるか否かを判定して（ステップＳ３０）、条件成立フラグＦが０であれば（ステップＳ３０；ＮＯ）、当該グループｇには実空間上で６０ｃｍ以上の横幅の部分がなく、横断歩道の各白線ブロック等に対応するグループｇである可能性があるため、当該グループｇを道路面グループＧの検出の対象から排除し、当該グループｇについての判定処理を終了する。

道路面検出手段７は、続いて、上記ステップＳ２８の算出処理で当該グループｇについて算出した画素数として横幅の平均値Ｎaveが、設定された平均値閾値Ｎave_th以上であるか否かを判定し（ステップＳ３１）、横幅の平均値Ｎaveが平均値閾値Ｎave_th以上でなければ（ステップＳ３１；ＮＯ）、上記のように当該グループｇを道路面グループＧの検出の対象から排除し、当該グループｇについての判定処理を終了する。

道路面検出手段７は、続いて、図５のステップＳ２５の算出処理で算出した当該グループｇの各画素ｐの輝度Ｄの平均値Ｄaveが予め設定された輝度平均閾値Ｄave_th以下であれば（ステップＳ３２；ＮＯ）、当該グループｇを道路面グループＧの検出の対象から排除し、当該グループｇについての判定処理を終了する。

通常、道路面の路面領域は暗い輝度に撮像される。そのため、この輝度平均閾値Ｄave_thは、道路面の路面領域の画素ｐの輝度Ｄとして検出される程度の低い輝度に設定される。そして、仮に上記のステップＳ３０やステップＳ３１の判定処理で横断歩道や停止線、車線、数字、文字、矢印等の路面上の標示に対応するグループｇが道路面グループＧの検出の対象から排除されなかった場合でも、このステップＳ３２の判定処理で判定対象から排除される。

また、図１５に示したように、空に対応するグループｇskyが画像Ｔ中に撮像されている場合、空に対応するグループｇskyは高輝度であるため、グループｇskyも、このステップＳ３２の判定処理で道路面グループＧの検出の対象から排除される。しかし、曇天や雨天等の場合には、空に対応するグループｇskyも低い輝度に撮像される場合がある。また、図１５に示したように、道路脇の街路樹に対応するグループｇtreeも上記の各ステップＳ３０〜Ｓ３２の判定処理をクリアしてしまう場合がある。

そこで、道路面検出手段７は、続いて、図５のステップＳ２７の算出処理で算出した当該グループｇのチェック領域Ｒ内に占める面積としての画素数Ａｎが、予め設定された面積閾値Ａth以上であるか否かを判定し（ステップＳ３３）、画素数Ａｎが面積閾値Ａth以上でなければ（ステップＳ３３；ＮＯ）、当該グループｇを道路面グループＧの検出の対象から排除し、当該グループｇについての判定処理を終了する。

このように構成すれば、図１５に示した空や街路樹に対応するグループｇsky、ｇtreeのチェック領域Ｒ内に占める画素数Ａｎは０になるため、それらのグループｇsky、ｇtreeをこのステップＳ３３の判定処理で道路面グループＧの検出の対象から排除することが可能となる。

道路面検出手段７は、当該グループｇが上記のステップＳ３０〜Ｓ３３の判定処理をすべてクリアすると、当該グループｇを道路面グループＧとして検出して記憶手段に登録する（ステップＳ３４）。そして、判定していないグループｇがあれば（ステップＳ２９；ＹＥＳ）、ステップＳ３０〜Ｓ３４の処理を繰り返すようになっている。

また、統合手段６と道路面検出手段７は、全てのグループｇについての処理が終了すると（ステップＳ２９；ＮＯ）、今回のサンプリング周期で撮像手段２から入力された１画像分の画像Ｔに対する処理を終了し、撮像手段２により次のサンプリング周期での撮像が開始されると（図３のステップＳ１）、改めてステップＳ２からの各処理を実行するようになっている。

例えば、図１５に示した各グループｇのうち、図１７に示すようにグループＧ１〜Ｇ４が道路面グループＧとして検出される。そして、これらのグループＧ１〜Ｇ４を画像Ｔ上でつなぎ合わせることで、画像Ｔから道路面の路面領域を抽出することが可能となる。これらの道路面グループＧとしてのグループＧ１〜Ｇ４の各情報等は、必要に応じて外部装置に出力されるようになっている。

次に、車線候補点検出手段８は、上記のように各グループｇに分割された画像Ｔ（図１５や図１７参照）において道路面グループＧ（Ｇ１〜Ｇ４）以外の画像部分を探索して、車線のエッジ部分に対応する車線候補点ｃｌ、ｃｒを検出するようになっている。

本実施形態では、車線候補点検出手段８は、道路面グループＧ（Ｇ１〜Ｇ４）以外の画像部分の画素ｐのうち、道路面グループＧの輝度Ｄ（すなわち上記の道路面グループＧの各画素ｐの輝度Ｄの平均値Ｄave）との差が所定の閾値以上であり、かつ、隣接する画素ｐとの輝度差が所定の閾値以上に変化する画素ｃｌ、ｃｒを車線候補点ｃｌ、ｃｒとして検出するようになっている。道路面グループＧの輝度Ｄの平均値Ｄaveは、上記のように統合手段６により算出されている（図５のステップＳ２５参照）。

前述した統合手段６における条件２に基づく判定処理の場合と同様に、ここでも、所定の対象となっている画素（以下、探索画素という。）ｐi,jの輝度Ｄi,jと、道路面グループＧの輝度Ｄの平均値Ｄaveとの差を平均値差分といい、δＤで表すが、統合手段６における処理の場合と異なり、車線候補点検出手段８の処理では、探索画素ｐi,jと道路面グループＧが隣接しているとは限らない。また、平均値差分δＤに対する閾値は、統合手段６における条件２に基づく判定処理の場合の第２輝度閾値δＤthには関わりなく適宜の値に設定されるため、ここではδＤth１と表す。

また、探索画素ｐi,jと隣接する画素ｐとの輝度差を、前述した統合手段６における条件１に基づく判定処理の場合と同様にエッジ強度ΔＤというが、エッジ強度ΔＤに対する閾値は、統合手段６における条件１に基づく判定処理の場合の第１輝度閾値ΔＤthには関わりなく適宜の値に設定されるため、ここではΔＤth１と表す。

以下、本実施形態の車線候補点検出手段８における車線候補点ｃｌ、ｃｒの検出処理について具体的に説明する。

車線候補点検出手段８は、まず、前述したように統合手段６でチェック領域Ｒの設定のために上記（１）式または（２）、（３）式を用いて旋回曲率Ｃuaを算出し、それに基づいて自車両の推定軌跡Ｌestを算出していればそれを用い、算出されていなければ、上記と同様にして推定軌跡Ｌestを算出して、図１８に示すように、画像Ｔ上での推定軌跡Ｌestの位置を算出する。

なお、図１８では、車線検出装置１が立体物検出手段を備え、立体物検出手段により、道路面の上方に存在する立体物Ｏ、Ｓが画像Ｔ中に検出されている場合が示されている。車線は道路面に標示されており、道路面の上方にはない。そのため、車線検出装置１に立体物検出手段を設けておけば、車線検出では、画像Ｔ中で立体物が検出された画像領域は探索しないで済むため、車線の探索範囲を狭めることが可能となる。

車線候補点検出手段８は、続いて、画像Ｔの１ライン分の水平ラインｊの各画素ｐの輝度Ｄのデータを記憶手段から読み出して、画像Ｔの推定軌跡Ｌestの位置から左右方向に水平ラインｊを探索し、車線候補点ｃｌ、ｃｒを検出する。そして、この処理を、画像Ｔの下端の水平ラインｊすなわち水平ライン０から始め、水平ラインｊを上方に１画素分ずつ移動させながら行うようになっている。なお、水平ラインｊ上の左右方向への探索は、推定軌跡Ｌestの位置から行ってもよく、また、画像Ｔの中心の位置等から行うように構成することも可能である。

また、車線候補点検出手段８は、上記のように道路面検出手段７が検出した道路面グループＧの情報すなわち上記の場合は道路面グループＧ１〜Ｇ４の情報を記憶手段から読み出し、この水平ラインｊ上の探索においては、水平ラインｊ上の道路面グループＧ１〜Ｇ４に属する画素については探索を行わずにスキップするようになっている。

道路面グループＧに属する画素は少なくとも車線に対応する画素ではないからである。また、このように構成することで、無駄な探索を行うことが回避され、処理時間を格段に短縮することが可能となる。推定軌跡Ｌestの位置の画素ｐは道路面グループＧに属していることが多いため、大抵の場合、探索開始直後は探索がスキップされる。なお、以下、水平ラインｊを右方向に探索した場合について説明するが、左側に探索した場合も同様に説明される。

車線候補点検出手段８は、水平ラインｊ上の道路面グループＧに属する画素ｐの右に隣接する探索画素ｐi,jから、上記のように、道路面グループＧの輝度Ｄの平均値Ｄaveとの差すなわち平均値差分δＤが閾値δＤth１以上であり、かつ、左に隣接する画素ｐとの輝度差すなわちエッジ強度ΔＤが閾値ΔＤth１以上であるか否かの判定を開始する。水平ラインｊ上に複数の道路面グループＧ１〜Ｇ４が存在する場合には、判定を開始した探索画素ｐi,jの左に隣接する道路面グループＧの輝度Ｄの平均値Ｄaveが用いられる。

探索画素ｐi,jの輝度Ｄi,jを探索していくと例えば図１９に示すように推移し、車線候補点検出手段８は、上記の条件を満たす探索画素ｐi,jを車線候補点ｃｒとして検出するようになっている。そして、車線候補点ｃｒが属するグループｇやその右方に存在するグループｇを車線グループＧlineとして検出して記憶手段に登録するようになっている

また、本実施形態では、車線候補点検出手段８は、水平ラインｊ上で検出した車線候補点ｃｒに対応する車線の終了点（以下、車線終了点という。）ｃｒｅを検出するようになっている。

なお、車線候補点検出手段８は、本実施形態では、車線候補点ｃｒが属するグループｇ（車線グループＧline）については車線終了点ｃｒｅの探索を行わずにスキップし、水平ラインｊ上を探索して画素が他のグループｇに属するものとなった時点で下記の判定を行い、当該画素が車線終了点ｃｒｅでなければ当該他のグループｇを車線グループＧlineとして登録し、そのグループｇ（車線グループＧline）についても車線終了点ｃｒｅの探索を行わずにスキップするようにして車線終了点ｃｒｅを探索するようになっている。

また、このように車線グループＧlineでの車線終了点ｃｒｅの探索を行わずにスキップすることで、無駄な探索を行うことが回避され、処理時間のさらなる短縮を図ることが可能となる。

本実施形態では、探索画素ｐi,jと車線グループＧlineとの輝度の差すなわち平均値差分δＤが負の値に設定された所定の閾値δＤth２以下であり、かつ、左に隣接する画素ｐとの輝度差ΔＤが負の値に設定された所定の閾値ΔＤth２以下である場合に、当該探索画素ｐi,jを車線終了点ｃｒｅとして検出するようになっている。

また、図１７等に示したように、車線グループＧlineの右側に道路面グループＧが検出されている場合がある。そして、そのような場合、水平ラインｊ上で車線グループＧlineを探索した後、再度、道路面グループＧが見出された場合には、車線グループＧlineから道路面グループＧに切り替わる画素を車線終了点ｃｒｅとして検出することができる。

そのため、本実施形態では、車線候補点検出手段８は、画像Ｔの水平ラインｊ上を探索し、車線グループＧlineには属さなくなった画素が道路面グループＧに属する場合には、当該画素が上記の車線終了点ｃｒｅの検出条件を満たすか否かに関わりなく、当該画素を車線終了点ｃｒｅとして検出するようになっている。

しかし、車線候補点ｃｒと車線終了点ｃｒｅの間に存在する車線グループＧlineとして登録された単数または複数の高輝度のグループｇが、実際には車線に対応する車線グループＧlineではない場合もある。

そこで、例えば、車線終了点ｃｒｅを検出した時点で、車線候補点ｃｒと車線終了点ｃｒｅの間の画素数をカウントし、それと前述した水平ラインｊごとの１画素あたりの実空間上の横方向の横幅とを乗算する等して車線候補点ｃｒと車線終了点ｃｒｅの間の実空間上の間隔を推定し、その間隔が広すぎたり狭すぎたりする場合に車線候補点ｃｒや車線終了点ｃｒｅの登録を抹消して削除するように構成することも可能である。なお、ステレオマッチング等の手法で車線候補点ｃｒと車線終了点ｃｒｅの実空間上の間隔を検出するように構成することも可能である。

また、本実施形態では、車線候補点検出手段８は、統合手段６により算出されている当該車線グループＧlineの画像Ｔ中の上端と下端の画素の各座標から当該車線グループＧlineの画像Ｔ中の縦方向の最大長さを算出し、その最大長さが所定の閾値以下であり小さい場合には、当該車線グループＧlineの登録を抹消するとともに、当該車線候補点ｃｒや車線終了点ｃｒｅの登録を削除するようになっている。

これは、水平ラインｊ上で上記の検出条件を満たす車線候補点ｃｒや車線終了点ｃｒｅが検出されても、それらの間に存在するグループｇの画像Ｔ中の縦方向の最大長さが短ければ当該グループｇは画像Ｔ中に写り込んだ高輝度のノイズ等と考えられ、その場合には、グループｇの車線グループＧlineとしての登録や車線候補点ｃｒ、車線終了点ｃｒｅの登録を抹消して削除することで、車線候補点ｃｒ等の誤検出を防止することが可能となるためである。

また、本実施形態では、車線候補点検出手段８は、統合手段６により算出されている当該車線グループＧlineの各水平ラインｊでの左右端の画素の各座標等から当該車線グループＧlineの実空間上の面積と横方向の長さを算出し、車線候補点ｃｒと車線終了点ｃｒｅの間に存在する車線グループＧlineのうち、面積が最大のグループｇのみを車線グループＧlineとして登録する。そして、登録した車線グループＧlineの面積や横方向の長さが所定の閾値以上である場合には、車線グループＧlineの登録を抹消するとともに、車線候補点ｃｒや車線終了点ｃｒｅの登録を削除するようになっている。

これは、水平ラインｊ上で上記の検出条件を満たす車線候補点ｃｒや車線終了点ｃｒｅが検出されても、それらの間に存在する面積が最大のグループｇが上記の条件を満たす場合、そのグループｇは車線に対応する車線グループＧlineではなく、例えば道路脇に堆積された雪等であると考えられるためである。そして、そのような場合に、グループｇの車線グループＧlineとしての登録や車線候補点ｃｒ、車線終了点ｃｒｅの登録を抹消して削除することで、車線候補点ｃｒ等の誤検出を防止することが可能となるためである。

従って、この場合の面積や横方向の長さに関する閾値は、そのような堆積された雪等を的確に排除しつつ、連続線状に標示された車線に対応するグループｇは的確に車線グループＧlineとして検出できるような値に設定される。

なお、本実施形態では、この条件を満たして車線グループＧlineとしての登録を抹消されたグループｇに対して雪等であることを表す特定の情報を対応付けて記憶手段に登録するようになっている。そして、これ以降の処理で車線候補点ｃｒが検出されても、それに対応するグループｇにこの特定の情報が対応付けられている場合には、即座に車線候補点ｃｒの登録を抹消して削除するようになっている。

車線候補点検出手段８は、本実施形態では、水平ラインｊ上に車線候補点ｃｒや車線終了点ｃｒｅを検出しても、当該水平ラインｊ上の探索を続行し、水平ラインｊ上に複数の車線候補点ｃｒが検出されれば、その全てを検出して登録するようになっている。

また、車線候補点検出手段８は、当該水平ラインｊ上で最後に道路面グループＧを検出した後、少なくとも１本の走行路の幅分は探索を続行するようになっている。走行路の幅は、過去のサンプリング周期で検出された自車両の走行路の左右の車線の間隔に基づいて設定されてもよく、また、予め走行路の幅に相当する値が設定されてもよい。

前述したように、車線候補点検出手段８は、画像Ｔの１ライン分の水平ラインｊ上の探索を終了すると、水平ラインｊを上方に１画素分移動させて、再度、例えば画像Ｔの推定軌跡Ｌestの位置から左右方向に水平ラインｊ上を探索し、車線候補点ｃｒや車線終了点ｃｒｅを検出するようになっている。その際、上記と同様にして探索が行われ、例えば、道路面グループＧや車線グループＧlineに属する画素については探索が行われずにスキップされる。

また、車線候補点検出手段８は、上記のように、水平ラインｊ上の道路面グループＧ以外のグループｇに属する探索画素ｐi,jが上記の検出条件を満たす場合に探索画素ｐi,jを車線候補点ｃｒとして検出するが、水平ラインｊ上を探索して車線グループＧを検出した場合には、上記の検出条件に基づく判定を行わずに、他のグループｇから車線グループＧに移行した時点での探索画素ｐi,jを即座に車線候補点ｃｒとして検出するように構成することも可能である。このように構成すれば、処理のさらなる高速化を図ることが可能となる。

また、車線候補点検出手段８は、水平ラインｊ上を探索して雪等であることを表す上記の特定の情報が対応付けたグループｇを検出した場合には、上記の検出条件に基づく判定を行わずに、当該グループｇに属する画素については探索が行わずにスキップする。

車線候補点検出手段８により、上記のようにして、例えば図２６に示した画像Ｔを用いて車線候補点ｃｒの検出を行うと、図２０に示すように、右折レーンに分岐する車線に対応する車線候補点ｃｒだけでなく、自車両が本来走行しようとしている本線すなわち自車両の走行路に標示された車線に対応する車線候補点ｃｒも検出される。なお、図２０に示したシーンでは、前述したように、左側の車線が雪に覆われていて左側の車線候補点ｃｌが検出されていない。

車線検出手段９は、車線候補点検出手段８が検出した車線候補点ｃｌ、ｃｒに基づいて、画像Ｔ中に自車両の走行路に標示された車線ＬＬ、ＬＲを検出するようになっている。

具体的には、車線検出手段９は、車線候補点検出手段８が画像Ｔの水平ラインｊ上を探索して車線候補点ｃｌ、ｃｒを検出するごとに、当該車線候補点ｃｌ、ｃｒに基づいてハフ変換を行うようになっている。すなわち、車線候補点検出手段８が、例えば水平ラインｊ上の（Ｉｊ，Ｊｊ）の位置に車線候補点ｃｒを検出すると、車線検出手段９は、車線候補点ｃｒが、画像Ｔ上の
ρ＝ｉsinθ＋ｊcosθ …（８）
上に存在すると仮定し、（Ｉｊ，Ｊｊ）を代入する。
ρ＝Ｉｊsinθ＋Ｊｊcosθ …（９）

そして、上記（９）式をρ、θの関数として捉え、図２１に例示するように、上記（９）式で表される関数曲線が通過するハフ平面の各升目のカウント数を１増加させる。車線検出手段９は、このようにして、車線候補点ｃｒが検出されるごとに当該車線候補点ｃｒに基づいてハフ変換を行い、関数曲線が通過するハフ平面の各升目のカウント数を１増加させていく。また、画像Ｔの左側の車線候補点ｃｌについても車線候補点ｃｒとは別にハフ平面を作成して同様に各升目ごとにカウントする。

カウント数が多い升目が多くの関数曲線が通過する升目であり、その升目に対応するρ、θを上記（８）式に代入して得られる直線が、多くの車線候補点ｃｌ、ｃｒを通る直線となる。そのため、車線検出手段９は、車線候補点検出手段８による車線候補点ｃｌ、ｃｒの検出が終了した時点で、ハフ平面の各升目のカウント数をチェックし、カウント数がピークとなる升目のρとθを検出する。

このカウント数がピークとなる升目のρとθを上記（８）式に代入して直線を算出すると、その直線の近傍には多数の車線候補点ｃｌ、ｃｒが集まる状態となる。そして、このようにして直線を算出すると、例えば図２２に示すように、上記の各車線候補点ｃｒに関するハフ変換の結果から車線の候補としての直線ｒ１〜ｒ３が抽出される。

本実施形態では、車線検出手段９は、各直線ｒ１〜ｒ３の近傍に存在する車線候補点ｃｒの連続性に基づいて各直線ｒ１〜ｒ３の種別を判定するようになっており、さらに、各直線ｒ１〜ｒ３の種別や各直線ｒ１〜ｒ３の近傍に存在する車線候補点ｃｒの数等に基づいて各直線ｒ１〜ｒ３の各信頼度を算出し、それらの各信頼度に基づいて各直線ｒ１〜ｒ３の中から車線を表す直線を選択するようになっている。

また、本実施形態では、直線の種別は、各直線ｒ１〜ｒ３の近傍に集まっている車線候補点ｃｒの連続性に基づいて、直線が連続線状か、破線状か、それ以外の状態（例えば車線分岐の状態）か、またはそれらの組み合わせとして判定されるようになっている。例えば、直線ｒ１は破線状、直線ｒ２は連続線状、直線ｒ３は車線分岐の状態と判定される。

また、直線の種別に基づく信頼度としては、直線が連続線状である場合が最も高く、破線状である場合が中程度の信頼度、それ以外の状態（例えば車線分岐の状態）である場合が最も低い信頼度が各直線ｒ１〜ｒ３に付与されるようになっている。従って、直線の種別に基づく信頼度だけから見れば、直線ｒ１〜ｒ３の中では、直線ｒ２の信頼度が最も高くなる。

しかし、図２２の場合には、各直線ｒ１の近傍に存在する車線候補点ｃｒの数が直線ｒ２、ｒ３の近傍に存在する車線候補点ｃｒの数よりも格段に多いため、直線ｒ１の信頼度が最も高くなる。そのため、車線検出手段９は、直線ｒ１〜ｒ３の中から車線としてふさわしい直線として直線ｒ１を選択し、図２３に示すように、自車両の走行路に標示された車線ＬＲとして検出するようになっている。

なお、図２２等では、車線候補点ｃｒが数個しか検出されていないように表現されているが、実際には多数の車線候補点ｃｌ、ｃｒが検出される。また、図２２等では、画像Ｔの左側に車線候補点ｃｌが検出されていないが、車線候補点ｃｌが検出されている場合には、車線検出手段９は、同様にして、車線候補点ｃｌに対するハフ変換の結果から直線を抽出し、信頼度が最も高い直線を選択して、自車両の走行路に標示された車線ＬＬとして検出する。

また、直線ｒ１〜ｒ３等から直線ｒ１等を選択する際、自車両の位置、挙動等や左右両側の直線の平行度等に基づいて、車線としてふさわしくない直線を選択の対象から除外する等の処理を行うように構成することも可能である。また、本実施形態では、上記のように車線としてふさわしい直線として自車両の左右にそれぞれ直線を１本ずつ選択する場合について説明したが、信頼度や連続性等の情報を対応付ける等して自車両の左右にそれぞれ複数の直線を車線として検出するように構成することも可能である。

さらに、直線の連続線状、破線状等の種別を判定する基準となる車線候補点ｃｌ、ｃｒの連続性は、車線候補点ｃｌ同士或いは車線候補点ｃｒ同士の画像Ｔ上での距離すなわち画素数やステレオマッチング等の手法で算出した実空間上の距離等に基づいて判定され、例えば、車線候補点ｃｌ、ｃｒ同士の画素数や実空間上の距離が所定の閾値以内で連続する場合には直線は連続線状であると判定され、画素数や距離が所定の閾値以上に離間した部分があるような場合には破線状であると判定される。

また、車線候補点ｃｌ同士或いは車線候補点ｃｒ同士が、統合手段６により統合された同一のグループｇに属する場合には、上記の画素数や距離に基づく判定に関わらず、連続であると判定するように構成することが可能である。このように、車線候補点ｃｌや車線候補点ｃｒが同一のグループｇに属する場合に連続であると判定することで、直線の種別を容易かつ的確に判定することが可能となる。

次に、本実施形態に係る車線検出装置１の作用について説明する。

従来の車線検出では、検出処理の実行時間を短縮してリアルタイム性を確保し、また、車線候補点ｃｌ、ｃｒの誤検出を抑制するために、車線候補点ｃｌ、ｃｒの探索領域を例えば過去のサンプリング周期で検出された車線の位置から推定される探索領域内に限定した。そのため、図２６に示したように、右折レーンに分岐する車線のみが検出されてしまい、自車両が本来走行しようとしている本線に対応する車線候補点（図中の白丸参照）を検出することができなくなる虞があった。

それに対し、本実施形態に係る車線検出装置１では、まず、統合手段６で撮像手段２から各画素ｐの輝度Ｄのデータが入力されるとそれと並行して同様の輝度Ｄを有する画素ｐを統合してグループ化していき、画像Ｔの１画像分の全画素ｐの輝度Ｄのデータが入力された時点でそれとほぼ同じタイミングで統合処理が完了する。

そして、統合手段６で既に算出されている各グループｇの平均輝度Ｄaveや面積に応じて道路面検出手段７で道路面グループＧ（例えば図１７の道路面グループＧ１〜Ｇ４）を検出し、車線候補点検出手段８では、道路面グループＧ以外の画像部分で車線候補点ｃｌ、ｃｒを探索して検出する。

その際、高輝度の車線に対応する車線候補点ｃｌ、ｃｒは暗い輝度の路面領域に対応する道路面グループＧ内には属していないため、道路面グループＧに属する画素については探索を行う必要がない。そのため、道路面グループＧでは探索を行わずにスキップすることが可能となる。また、車線候補点ｃｌ、ｃｒを検出する際に用いられる道路面グループＧの平均輝度Ｄaveは統合手段６で既に算出しているため、改めて算出する必要がない。

そのため、車線候補点ｃｌ、ｃｒを非常に高速に検出することが可能となり、車線検出手段９でそれらの車線候補点ｃｌ、ｃｒに基づいて車線ＬＬ、ＬＲを高速に検出することが可能となる。そのため、例えば１秒間に数フレームから数十フレーム分の画像が撮像されてデータが入力されてくるような場合でも、車線ＬＬ、ＬＲを迅速に検出することが可能となり、車線検出をリアルタイムで実行することが可能となる。

また、車線候補点検出手段８では、車線候補点ｃｌ、ｃｒの探索領域を限定せず、道路面グループＧ以外の画像部分すなわちアスファルト面等の道路面の地の部分以外の道路面（すなわち道路面上に標示された車線等の標示部分）を探索して車線候補点ｃｌ、ｃｒを検出する。

そのため、例えば図２６と同じ画像Ｔである図２０に示したように、右折レーンに分岐する車線に対応する車線候補点ｃｒだけでなく、自車両が走行しようとしている本線に対応する車線候補点ｃｒも的確に検出することが可能となる。そして、図２３に示すように車線が分岐するような場合であっても、それらの車線候補点ｃｒに基づいて自車両が走行しようとしている本線に対応する車線ＬＲを的確に検出することが可能となる。

また、本実施形態のように構成すると、例えば図２４に示すように、車線が二重車線である場合でも車線ＬＲを的確かつ安定的に検出することが可能となる。

すなわち、従来の車線検出では、上記のように車線候補点ｃｌ、ｃｒの探索領域が限定されるため、図２５に示すように、例えば二重車線のうちの内側の車線のエッジ部分を検出するようになるが、内側の車線は車両のタイヤに踏まれて薄くなっている場合が多く、消えてしまっている場合もある。

そのような場合に、二重車線の内側の車線に探索領域が限定されると、内側の車線が薄くなったり消えていたりするため、車線候補点ｃｌ、ｃｒが検出されなかったり、検出された位置が不安定になる等して、検出される車線ＬＬ、ＬＲの位置も不安定になり、検出された車線ＬＬ、ＬＲの信頼性が低下してしまう場合があった。

それに対して、本実施形態に係る車線検出装置１では、上記のように車線候補点ｃｌ、ｃｒの探索領域を限定せずに、道路面グループＧ以外の画像部分を探索して車線候補点ｃｌ、ｃｒを検出する。そのため、図２４に示したように、二重車線の内側の車線に対応する車線候補点ｃｌ、ｃｒだけでなく、薄くなっていない外側の車線に対応する車線候補点ｃｌ、ｃｒも検出される。

そして、内側の車線が踏まれて薄くなったり消えていたりして、内側の車線に対応する車線候補点ｃｌ、ｃｒが検出されなかったり検出された位置が不安定になる等しても、外側の車線に対応する車線候補点ｃｌ、ｃｒが的確かつ安定的に検出されるため、図２４に示したように、外側の車線ＬＬ、ＬＲを的確かつ安定的に検出することが可能となる。また、そのため、検出された車線ＬＬ、ＬＲの信頼性を向上させることが可能となる。

なお、二重車線の内側の車線が薄くなっておらず白色で明確に標示されているような状況では、本実施形態に係る車線検出装置１でも内側の車線に対応する車線候補点ｃｌ、ｃｒに基づいて内側の車線が車線ＬＬ、ＬＲとして検出される場合もある。そのような場合には、車線候補点ｃｌ同士や車線候補点ｃｒ同士の画素数や実空間上の距離、或いは車線候補点ｃｌや車線候補点ｃｒが属するグループｇの大きさや形状等に基づいて、車線ＬＬ、ＬＲの種別が「それ以外の状態（二重車線の内側の車線）」として分類されるため、二重車線の内側の車線が検出されていることが明確となる。

また、本実施形態に係る車線検出装置１において、自車両の左右にそれぞれ複数の直線を車線として検出するように構成すれば、上記のように二重車線の内側の車線も外側の車線も明確に標示されているような状況で、二重車線の両側の車線をともに検出することが可能となる。

そして、その場合も、車線の種別として、二重車線の内側の車線は「それ以外の状態（二重車線の内側の車線）」として分類し、外側の車線は、図２４等の右側の車線では「破線状」、左側の車線では「連続線状」として分類することで、検出した車線の種別が明確にされた状態で二重車線を検出することが可能となる。なお、二重車線の外側の車線の種別として「それ以外の状態（二重車線の外側の車線）」等として分類するように構成することも可能である。

以上のように、本実施形態に係る車線検出装置１によれば、車線候補点検出手段８で、車線候補点ｃｌ、ｃｒを探索するための探索領域を設定せず、道路面グループＧ以外の画像部分すなわちアスファルト面等の道路面の地の部分以外の道路面部分を探索して車線候補点ｃｌ、ｃｒを検出する。

そのため、例えば、右折レーンに分岐する車線に対応する車線候補点ｃｌ、ｃｒや、二重車線における内側の車線に対応する車線候補点ｃｌ、ｃｒ等だけでなく、自車両が走行しようとしている本線に対応する車線候補点ｃｌ、ｃｒや、二重車線における外側の車線に対応する車線候補点ｃｌ、ｃｒ等も的確に検出することが可能となる。

そのため、車線が分岐するような場合であっても、それらの車線候補点ｃｌ、ｃｒに基づいて自車両が走行しようとしている本線に対応する車線ＬＲを的確に検出して、撮像された画像Ｔ中から自車両の走行路に標示された車線を的確に検出することが可能となる。また、車線が二重車線であるような場合には、消えかかっている内側の車線ではなく、或いはそれとともに外側の車線を的確かつ安定的に検出することが可能となり、撮像された画像Ｔ中から自車両の走行路に標示された車線を的確に検出することが可能となる。

また、車線候補点検出手段８では、道路面検出手段７で検出した道路面グループＧ（例えば図１７の道路面グループＧ１〜Ｇ４）以外の画像部分で車線候補点ｃｌ、ｃｒを探索して検出する。その際、高輝度の車線に対応する車線候補点ｃｌ、ｃｒは暗い輝度の路面領域に対応する道路面グループＧ内には属していないため、道路面グループＧに属する画素については探索を行う必要がない。そのため、道路面グループＧでは探索を行わずにスキップすることが可能となる。

また、車線候補点ｃｌ、ｃｒを検出する際に用いられる道路面グループＧの平均輝度Ｄaveは統合手段６で既に算出しているため、従来の車線検出のように、膨大な量のヒストグラムを作成して、改めて道路面に対応する画素の輝度の平均値等を算出する必要がない。

そのため、車線候補点ｃｌ、ｃｒを高速に検出することが可能となり、車線検出手段９でそれらの車線候補点ｃｌ、ｃｒに基づいて車線ＬＬ、ＬＲを高速に検出することが可能となる。そのため、例えば１秒間に数フレームから数十フレーム分の画像が撮像されてデータが入力されてくるような場合でも、車線ＬＬ、ＬＲを迅速に検出することが可能となり、車線検出をリアルタイムで実行することが可能となる。

さらに、統合手段６で画像Ｔの各画素ｐをグループ化する際、撮像手段２から各画素ｐの輝度Ｄのデータが入力されるとそれと並行して同様の輝度Ｄを有する画素ｐを統合してグループ化していき、画像Ｔの１画像分の全画素ｐの輝度Ｄのデータが入力された時点でそれとほぼ同じタイミングで統合処理が完了するように構成すれば、車線候補点ｃｌ、ｃｒをさらに迅速に検出することが可能となり、車線検出をリアルタイムで実行することが可能となる。

また、統合手段６で画像Ｔの各画素ｐをグループ化することで、各グループｇの画素数や画像Ｔ中の縦方向の最大長さ等の大きさがグループ化した時点で判明するため、車線候補点検出手段８で車線候補点ｃｌ、ｃｒを検出しても、それに対応する車線グループＧlineの大きさが小さい場合にはその車線候補点ｃｌ、ｃｒを画像Ｔ中に写り込んだ高輝度のノイズ等に対応するものとして登録を抹消することができる。

そのため、車線候補点ｃｌ、ｃｒの誤検出を的確に防止することが可能となり、最終的に検出された車線ＬＬ、ＬＲの検出の信頼性を向上させることが可能となる。

１ 車線検出装置
２ 撮像手段
６ 統合手段
７ 道路面検出手段
８ 車線候補点検出手段
９ 車線検出手段
ｃｌ、ｃｒ 車線候補点
ｃｒｅ 車線終了点（車線の終了点）
Ｄave グループの平均輝度
Ｄave_th 輝度平均閾値（所定の閾値）
Ｇ 道路面グループ
Ｇline 車線グループ
ｇ グループ
ＬＬ、ＬＲ 車線
ＭＣ 自車両
ｐ 画素
ｒ１〜ｒ３ 直線
Ｔ 画像
ΔＤ エッジ強度（輝度差）
ΔＤth 第１輝度閾値（所定の閾値）
ΔＤth１ 閾値
ΔＤth２ 閾値
δＤ 平均値差分（道路面グループとの輝度の差）
δＤth１ 閾値
δＤth２ 閾値

Claims (7)

1. 自車両の周囲を撮像して画像を取得する撮像手段と、
   前記画像中の互いに隣接する画素の輝度差が所定の閾値内である画素同士を１つのグループとして統合する統合手段と、
   前記グループの平均輝度と面積がそれぞれ所定の閾値の範囲内である場合、当該グループを道路面グループとして検出する道路面検出手段と、
   前記画像において前記道路面グループ以外の画像部分を探索し、前記道路面グループとの輝度の差が所定の閾値以上であり、かつ、隣接する画素との輝度差が所定の閾値以上である画素を車線候補点として検出する車線候補点検出手段と、
   検出された前記車線候補点に基づいて、前記画像中に自車両の走行路に標示された車線を検出する車線検出手段と、
   を備えることを特徴とする車線検出装置。
2. 前記車線候補点検出手段は、前記車線候補点に対応する前記車線の終了点を検出し、前記車線候補点と前記車線の終了点との間に存在する前記グループを車線グループとして検出して登録し、前記車線グループの前記画像中の縦方向の長さが所定の閾値以下である場合には、前記車線グループの登録を抹消するとともに、少なくとも前記車線候補点を検出された前記車線候補点から削除することを特徴とする請求項１に記載の車線検出装置。
3. 前記車線候補点検出手段は、検出した前記車線グループのうち、面積が最大の前記車線グループを登録し、登録した前記車線グループの前記面積または横方向の長さが所定の閾値以上である場合には、前記車線グループの登録を抹消するとともに、少なくとも前記車線候補点を検出された前記車線候補点から削除することを特徴とする請求項２に記載の車線検出装置。
4. 前記車線候補点検出手段は、前記車線グループに属する各画素については前記車線候補点の探索を行わず、前記車線グループには属さなくなった画素であって、前記車線グループとの輝度の差が所定の閾値以下であり、かつ、隣接する画素との輝度差が所定の閾値以下である画素を前記車線の終了点として検出することを特徴とする請求項２または請求項３に記載の車線検出装置。
5. 前記車線候補点検出手段は、前記車線グループに属する各画素については前記車線候補点の探索を行わず、前記車線グループには属さなくなった画素が前記道路面グループに属する場合には当該画素を前記車線の終了点として検出することを特徴とする請求項２から請求項４のいずれか一項に記載の車線検出装置。
6. 前記車線検出手段は、前記車線の候補としての直線を１本以上抽出し、前記各直線の近傍に存在する前記車線候補点の連続性に基づいて前記各直線の種別を判定し、少なくとも前記直線の種別および前記各直線の近傍に存在する前記車線候補点の数に基づいて算出した信頼度に基づいて前記各直線の中から前記車線を表す直線を選択することを特徴とする請求項１から請求項５のいずれか一項に記載の車線検出装置。
7. 前記直線の種別は、前記各直線の近傍に存在する前記車線候補点の連続性に基づいて前記直線が少なくとも連続線状、破線状、またはそれらの組み合わせに該当するか判定され、
   前記車線候補点の連続性は、前記車線候補点同士の前記画像上での距離または実空間上の距離に基づいて判定され、同一の前記グループに属する前記車線候補点ついては前記判定にかかわりなく連続であると判定されることを特徴とする請求項６に記載の車線検出装置。