JP4462533B2

JP4462533B2 - 路面走行レーン検出装置

Info

Publication number: JP4462533B2
Application number: JP2003380657A
Authority: JP
Inventors: 俊明柿並; 佐藤　　淳
Original assignee: Aisin Seiki Co Ltd; Aisin Corp
Current assignee: Aisin Corp
Priority date: 2003-11-11
Filing date: 2003-11-11
Publication date: 2010-05-12
Anticipated expiration: 2023-11-11
Also published as: JP2005148784A

Description

本発明は、移動体の路面走行レーン検出装置に関し、特に、走行する車両前方の路面を連続して撮像した画像から当該車両（自車）の走行レーンを検出する路面走行レーン検出装置に係る。

例えば、自動車の自動走行制御や運転者の支援制御等においては、カメラで撮像した画像から路面上の自車（カメラ装着車）の走行レーンを適切且つ安定的に検出することが重要となる。通常、路面上には、走行レーン（車線）の境界を識別するレーン境界線（白線等）が塗装されている。従って、左右両側のレーン境界線を検出することによって走行レーンを検出し、あるいは左右一方側のレーン境界線を検出し、これに一定のレーン間隔を加算して他方側のレーン境界線を特定することによって、走行レーンを特定することができる。

このような路面走行レーン検出装置に関連し、特許文献１には、二次元画像から三次元物体を識別するため、障害物を含む走路を撮影した画像の中から、消点（無限遠点で、通常、消失点と呼ばれる）を検出する消点検出装置が開示されている。ここでは、消失点候補位置と検出エッジ点を結ぶ直線の（傾斜）角度と、エッジ点でのエッジ傾斜（角度）の差が所定の閾値よりも小さいときに、その直線の角度に対応する角度頻度をヒストグラム化し、最も大きな頻度をとる直線の本数を直線本数累積画像として累積し、この画像から消失点の位置を検出することとしている。

更に、特許文献２及び特許文献３にも、特許文献１と同様の消点検出装置が開示されている。前者の特許文献２では、検出したエッジ画像の中から、予め消失点に無関係な縦横エッジ成分（水平・垂直な直線成分）をマスキング手段によって取り除いた後に、Hough 変換などの直線検出手段を適用することとしている。また、後者の特許文献３では、ノイズや無関係なエッジ成分を排除するために、エッジ画像に対してウインドウ領域を設定し、この位置を可変として、消失点検出に有用なエッジ点を多く検出する装置が開示されている。

一方、特許文献４には、移動車に搭載した画像入力手段たるカメラが、自重や走行中の振動等により移動車に対する設置位置のズレを画像に基づいて検出し、入力画像の位置ズレを補正する補正手段を備えた移動体の画像処理装置が開示されている。この特許文献４では、車体（具体的にはボンネット）上に基準点（具体的にはマーカ）を配置し、撮影した画像中のマーカの位置が基準位置とずれている場合に、雲台を制御し機械的にイメージセンサ（カメラ）を駆動して画像中のマーカの位置を合わせる方法と、ソフトウエア的に画像データそのものの座標をシフトさせる方法が開示されている。

また、特許文献５には、画像処理による走行路推定において、誤った白線候補点（外乱）の影響を低減させることを目的とした走行路推定装置が提案されている。この特許文献５には、仮想候補点設定手段によって自車両の後方における白線部１本に対し少なくとも２個の仮想白線候補点を設定し、走行路推定手段により推定された走行路の白線部についての推定値に応じて、条件変更手段によって仮想候補点の設定条件を変更するようにしたので、推定される走行路の白線部に直線化の影響を強く与えることなく、推定に影響を及ぼす外乱の影響を低減することができる旨記載されている。

更に、特許文献６には、走行路をカメラで撮像して得られた画像データから走行路の形状を判別する走行路判別方法において、画像処理により得られた多数の直線の中から一方の走行路端に対応するものを決定し、地平線および走行路（道路）幅との対応関係から他方の走行路端に対応する直線を予測し、その予測にもとづいて上記他方の走行路端に対応する直線を抽出する方法が開示されている。この特許文献６では、画像中の水平線位置は車両へのカメラの設置条件から計算しており、走行路（道路）幅に相当した左右端の直線候補のうち、二直線の交点がこの水平線上に検出されたものを、走行路端に対応する一対の直線として検出することとしている。

一方、画像処理技術に関し、直線検出方法としてHough変換が広く知られており、例えば、下記の非特許文献１に解説されている。このようなHough変換はノイズにロバストな直線検出方法として知られ、（ｘ，ｙ）座標系の点を（ρ，θ）極座標系上の曲線に変換する過程で、（ｘ，ｙ）座標系で同一の直線上にあった特徴点による（ρ，θ）座標系上の曲線は１点で交差することを特徴としている。更に、近年コンピュータビジョンにおいて、ロバスト法の一種であるRANSAC（Random Sample Consensus）が注目されており、下記の非特許文献２に詳細に解説されている。また、下記の非特許文献３にも、RANSACが解説されている。

そして、下記の非特許文献４には、上記の消失点をはじめ、無限遠と射影空間について解説されており、本願発明で用いる射影変換についても説明されている。

特開昭６３−１０６８７５号公報特開昭６３−１０６８７６号公報特開昭６３−１９１２８０号公報特開平１−２７３１１３号公報特開平７−３１１８９５号公報特開平２−９０３８０号公報田村秀行監修「コンピュータ画像処理入門」、総研出版、昭和６０年３月１０日第１版第１刷発行、１２７頁及び１２８頁 Martin A. Fischero及びRobert C. Bolles著「Random Sample Consensus：A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography」、Graphics and Image Processing, vol.24(6)の page 381−395。1981年発行 Richard Hartley及びAndrew Zisserman著「Multiple View Geometry in Computer Vision」、Cambridge University Press. 2000年8月発行、１０１頁乃至１０７頁佐藤淳著「コンピュータビジョン」、コロナ社、２００１年１０月１０日初版第３刷発行、１７頁乃至４１頁

前掲の特許文献１においては、消失点候補位置は予め正しい値が確認できているときには成立するが、それが未知であるときは解決できない。これに対し、消失点位置を特定することなく結果的に集中している位置を採用することとした場合には、走行路の方向には存在しない直線成分が強く、走行路の直線成分が小さいと、本来の消失点位置とは異なる位置に交点が集中してしまい、正しい消失点位置を検出できないことになる。特に、実際の自然環境下では、路面の汚れ、建物や他の車両の影等の影響により消失点位置を検出することは至難である。

また、特許文献２におけるマスキング処理では３×３サイズのオペレータを用いたエッジ検出と同様のオペレータが用いられているため、処理時間が長くなり、実用に供し得ない。更に、特許文献３では、直線として検出されるべきエッジ構成点は密度高く並び、まばらに散在するエッジ点は直線として検出されるべきでないということを前提としており、ウインドウ内のエッジ点数が少ない場合は直線として検出されないので、路面の汚れや白線の剥がれ等でエッジ点の欠落が生じている場合は、本来の検出対象の白線等を検出することができなくなる。特許文献４によっても、移動車が走行中に路面の継ぎ目や凹凸を乗り越えたときに振動する場合や、乗員や積載状態が変化した場合には、路面とカメラの位置関係が定まらず、所期の目的を達成し得なくなる。

前掲の特許文献５に記載の装置においても同様に、移動車が走行中に継ぎ目や凹凸を乗り越えたときの振動あるいは乗員や積載状態の変化によって、白線とは無関係なエッジがスキャンウインドウ中に混入したり、画像中の白線がスキャンウインドウから外れてしまい、検出精度が不安定になる。そして、特許文献６では、水平線の位置はカメラの車両への設置条件によって定められているので、上記のように車両が走行中に継目や凹凸を乗り越えたときに振動する場合や、乗員や積載状態が変化した場合には、水平線の位置が変化してしまい、正しい結果が得られなくなる。

以上のように、実際に車両が道路上を走行している場合には、路面の補修箇所や陸橋の継ぎ目等において僅かではあるが段差がある。また、道路の供用開始からある期間が経過すると路面には微妙ではあるが凹凸が生ずる。車両がこれらの箇所を高速で通過すると車体の振動が大きくなり、車両に搭載されたカメラの地上からの高さが変化し、光軸の向きも変化することになる。

しかし、前掲の特許文献を含み従来の画像処理方式によれば、カメラの高さが一定であることが前提とされているので、上記の振動によって白線の位置や方向の計測時には誤差が生ずる。特に、カメラの光軸の向きを一定であると仮定したシステムでは、その誤差が更に大きくなる。このため、走行レーンの幅や位置が予め設定した範囲から外れてしまった場合には、レーン境界線（白線）が未検知であるとして処理せざるを得ず、走行レーンを安定的に検出することができなくなる。

これに対し、３次元の走行環境中には走行レーン境界線をはじめ種々の平行線の組が存在するので、これらの平行線に対する撮像手段の位置関係を特定することができれば、撮像手段が搭載された移動体の走行レーンにおける位置を適切に特定することができる。

更に、レーンチェンジ（車線変更）前後では自車がレーン境界線を跨ぐことから、走行レーンの検出が不安定になり、自車の位置特定が不正確になりやすい。また、前述のように、路面の汚れや白線の剥がれによってレーンチェンジ後の走行レーンの検出も安定的に検出し得るとは限らない。従って、自車の走行レーンのみでなく、その両側に隣接する二つの走行レーンを自車の走行レーン情報に基づき安定的に特定することができれば、レーンチェンジ時においても自車の位置を安定的に特定することができる。

そこで、本発明は、移動体が走行する路面上の走行レーンを検出する路面走行レーン検出装置において、当該移動体に搭載された撮像手段の位置及び姿勢の影響を受けることなく、路面の走行レーンの境界線を適切に検出すると共に、走行レーンにおける当該移動体の位置を的確に特定し、走行レーンを安定的に検出し得る路面走行レーン検出装置を提供することを課題とする。

また、本発明は、移動体が走行する路面上の走行レーンを検出する路面走行レーン検出装置において、当該移動体に搭載された撮像手段の位置及び姿勢の影響を受けることなく、当該移動体の走行レーンの両側に隣接する走行レーンを、安定的に検出し得るように構成することを別の課題とする。

上記の課題を達成するため、本発明は、請求項１に記載のように、移動体に装着された撮像手段によって路面を連続して撮像した画像から前記移動体の走行レーンを検出する路面走行レーン検出装置において、前記画像から直線データを検出すると共に、該直線データに基づき前記移動体の走行レーンを検出する走行レーン検出手段と、該走行レーン検出手段が検出した前記直線データに基づき、前記移動体の走行方向に延出する平行な前記路面上の直線の組に対応した前記画像上の直線の組と、前記画像を構成する画像面の上下端の直線の組を用い、前記画像面の上下端の直線の組を前記路面上に投影したときの直線の組が、前記移動体の走行方向に延出する平行な前記路面上の直線の組に対して直交しているとして射影変換を演算する射影変換演算手段と、該射影変換演算手段の演算結果に基づき、前記路面上に存在する前記路面に垂直な直線の組の前記路面への投影像の直線を延長した交点の位置を、前記走行レーンに対する、前記走行レーンの境界線と直交する方向の前記撮像手段の位置として特定する撮像手段位置特定手段とを備えることとしたものである。

上記の撮像手段は、倍率や光軸位置等の内部パラメータ、及び/又は、地上高や光軸方向等の外部パラメータが未知であっても、あるいは、外部パラメータが初期設定時の状態から変動するものであってもよい。

また、本発明は、請求項２に記載のように、移動体に略水平に装着された撮像手段によって路面を連続して撮像した画像から移動体の走行レーンを検出する路面走行レーン検出装置において、前記画像から直線データを検出すると共に、該直線データに基づき前記移動体の走行レーンを検出する走行レーン検出手段と、該走行レーン検出手段が検出した前記直線データに基づき、前記移動体の走行方向に延出する平行な前記路面上の直線の組に対応した前記画像上の直線の組と、前記画像を構成する画像面の上下端の直線の組を用い、前記画像面の上下端の直線の組を前記路面上に投影したときの直線の組が、前記移動体の走行方向に延出する平行な前記路面上の直線の組に対して直交しているとして射影変換を演算する射影変換演算手段と、該射影変換演算手段の演算結果に基づき、前記画像面の左右端の直線の組の前記路面への投影像の直線を延長した交点の位置を、前記走行レーンに対する、前記走行レーンの境界線と直交する方向の前記撮像手段の位置として特定する撮像手段位置特定手段とを備えたものとしてもよい。

更に、本発明は、請求項３に記載のように、移動体に装着された撮像手段によって路面を連続して撮像した画像から移動体の走行レーンを検出する路面走行レーン検出装置において、前記画像から直線データを検出すると共に、該直線データに基づき前記移動体の走行レーンを検出する走行レーン検出手段と、該走行レーン検出手段が検出した前記直線データに基づき、前記移動体の走行方向に延出する平行な前記路面上の直線の組に対応した前記画像上の直線の組を用い、前記画像を構成する画像面の上下端の直線の組と、前記画像面の上下端の直線の組を前記路面上に投影したときの直線の組が、前記移動体の走行方向に延出する平行な前記路面上の直線の組に対して直交しているとして射影変換を演算する射影変換演算手段と、該射影変換演算手段の演算結果に基づき、前記路面上に存在する直線の組に対し平行で等間隔の直線を逆変換し、前記画像上に隣接レーンとして特定する隣接レーン特定手段とを備えたものとしてもよい。

上記請求項１、２又は３記載の路面走行レーン検出装置において、請求項４に記載のように、前記走行レーン検出手段が、今回撮像した画像の所定領域から特徴点データを検出する特徴点検出手段と、該特徴点検出手段で検出した今回の特徴点データに最も適合する直線を表わす今回の直線データを検出する直線検出手段と、該直線検出手段で検出した今回の直線データに基づき今回のレーン境界線を検出するレーン境界線検出手段とを備え、該レーン境界線検出手段が検出した今回のレーン境界線及び前記直線検出手段が検出した今回の直線データを前記特徴点検出手段に供給し、前記特徴点検出手段が、前記今回のレーン境界線及び前記今回の直線データに基づき所定の特性を設定すると共に、次回撮像する画像から検出する特徴点データのうち、前記所定の特性を充足する特徴点データを、次回の特徴点データとして検出するようにするように構成するとよい。

前記特徴点検出手段は、請求項５に記載のように、前記直線検出手段及び前記レーン検出手段の検出結果に基づき前記特徴点データを順序化する順序化手段を有し、前記直線検出手段が、所定の数式モデルの適合に必要な最小限の数のデータを、前記順序化手段の特徴点データの中から所定の間隔で取り出すデータ検出手段と、該データ検出手段が検出したデータに基づき数式モデルを求める数式モデル演算手段と、該数式モデル演算手段で求めた数式モデルに適合する特徴点データの数を求めるデータ数計数手段と、前記順序化手段が設定した前記特徴点データの順序に従って前記特徴点データの一部若しくは全てを順にサンプルして前記データ検出手段乃至前記データ数計数手段の処理を繰り返した結果、最も適合する特徴点データの数が多い数式モデルを真の数式モデルとして設定する数式モデル設定手段とを備えたものとするとよい。

更に、上記請求項３記載の路面走行レーン検出装置において、請求項６に記載のように、前記隣接レーン特定手段が、相互のレーン間隔が一定の距離である複数の走行レーンのうちの、前記走行レーン検出手段で検出した走行レーンに隣接する走行レーンを隣接レーンとして設定し、該隣接レーンの境界線位置を前記射影変換演算手段によって推定する隣接レーン境界位置推定手段と、該隣接レーン境界位置推定手段が推定した位置に前記隣接レーンの境界線に係る特徴点データを検出するための検出領域を設定する特徴点検出領域設定手段と、該特徴点検出領域設定手段が設定した特徴点検出領域内の特徴点を検出する特徴点検出手段と、該特徴点検出領域内で検出した特徴点内の任意の特徴点を１点とすると共に無限遠点座標を他の１点として演算し両点を含む直線を検出する直線検出手段と、該直線検出手段が検出した少なくとも一つの直線に対して、該直線から所定の範囲内に最も多くの特徴点が存在する直線を前記隣接レーンの境界線として特定する隣接レーン境界線特定手段とを備えたものとしてもよい。

本発明は上述のように構成されているので以下の効果を奏する。即ち、請求項１及び２に記載の装置においては、撮像手段によって路面を連続して撮像した画像から直線データを検出すると共に、この直線データに基づき移動体の走行レーンを検出すると共に、直線データに基づき射影変換を演算し、その演算結果に基づき路面上の撮像手段の位置を特定するように構成されているので、路面上における撮像手段の位置ひいては移動体の位置を的確に特定することができる。特に、例えば撮像手段たるカメラが未校正でも、あるいはカメラの内部パラメータや外部パラメータを事前に明らかとなっていない場合でも、走行レーン内でのカメラの位置ひいては移動体たる車両の位置を的確に特定し、走行レーンを適切且つ安定的に検出することができる。

請求項３に記載のように構成することにより、自車の走行レーンのみでなく、その両側に隣接する二つの走行レーンを安定的に特定することができるので、レーンチェンジ時においても自車の位置を安定的に特定することができる。

また、請求項４に記載のように構成すれば、前述のCONSACとして機能し、車両の影、防音壁の影、路面表示等の外乱が存在する状況下においても、安定してレーン検出を行うことができる。また、前記特徴点検出手段を、請求項５に記載のように構成すれば、事前情報が存在しない場合にも、画像における特徴点の検出領域を狭めることができるので、特徴点の検出を迅速に行うことができる。

更に、請求項６に記載のように構成することにより、自車の走行レーンに隣接する二つの走行レーンを、自車の走行レーン情報に基づき迅速且つ適切に特定することができる。

上記の構成になる本発明の路面走行レーン検出装置の具体的一態様について、以下に図面を参照して説明する。図１乃至図３は路面走行レーン検出装置の一実施形態を示すもので、本実施形態は、図１に示すように、撮像手段ＶＤによって路面を連続して撮像した画像から直線データを検出すると共に、この直線データに基づき移動体（例えば車両）の走行レーン（図示せず）を検出する走行レーン検出手段ＬＤと、この走行レーン検出手段ＬＤが検出した直線データに基づき射影変換を演算する射影変換演算手段ＰＴと、この射影変換演算手段ＰＴの演算結果に基づき路面上の撮像手段ＶＤの位置を特定する撮像手段位置特定手段ＩＤを備えており、路面上における撮像手段ＶＤの位置ひいては移動体（車両）の位置を特定し得るものである。

走行レーン検出手段ＬＤは、図１に示すように、特徴点検出手段ＣＲ、直線検出手段ＳＤ及びレーン境界線特定手段ＬＢによって構成されており、これらについては後述する。また、射影変換演算手段ＰＴは、走行レーン検出手段ＬＤが検出した直線データに基づき、移動体（車両）の走行方向に延出する平行な路面上の直線の組に対応した撮像手段ＶＤの画像上の直線の組と、その画像を構成する画像面の上下端の直線の組を用い、画像面の上下端の直線の組を路面上に投影したときの直線の組が、移動体の走行方向に延出する平行な路面上の直線の組に対して直交しているとして射影変換を演算するように構成されている。そして、撮像手段位置特定手段ＩＤにおいて、射影変換演算手段ＰＴの演算結果に基づき、路面上に存在する路面に垂直な直線の組の路面への投影像の直線を延長した交点の位置を、走行レーンに対する、走行レーンの境界線と直交する方向の撮像手段ＶＤの位置として特定するように構成されている。尚、これらについても後述する。

上記図１の路面走行レーン検出装置は、図２に示すハード構成を有する。即ち、図示しない車両の前方に、撮像手段ＶＤとして例えばＣＣＤカメラ（以下、単にカメラという）ＣＭが装着されており、路面を含む車両前方の視界が連続して撮像される。カメラＣＭの映像信号は、ビデオ入力バッファ回路ＶＢ、同期分離回路ＳＹを経てＡ／Ｄ変換されフレームメモリＦＭに格納される。このフレームメモリＦＭに格納された画像データは、画像処理部ＶＣで処理される。画像処理部ＶＣは、画像データ制御部ＶＰ、特徴点検出部ＣＰ、直線検出部ＳＰ、レーン境界線特定部ＬＰ、射影変換演算部ＰＰ、カメラ位置特定部ＩＰ及び自車位置特定部ＪＰで構成されている。尚、特徴点検出部ＣＰ、直線検出部ＳＰ及びレーン境界線特定部ＬＰ、射影変換演算部ＰＰ、及びカメラ位置特定部ＩＰ部は、夫々、図１の特徴点検出手段ＣＲ、直線検出手段ＳＤ、レーン境界線特定手段ＬＢ、射影変換演算手段ＰＴ及び撮像手段位置特定手段ＩＤに対応している。

画像処理部ＶＣにおいては、フレームメモリＦＭ内の画像データから、画像データ制御部ＶＰでアドレス指定されたデータが呼び出されて特徴点検出部ＣＰに送られ、ここで複数の特徴点が検出される。このように検出された特徴点データに対し、本実施形態では、直線検出部ＳＰにて後述する「直線の当てはめ」によって直線データが検出され、この直線データに基づき、レーン境界線特定部ＬＰにて、走行レーンの境界線が特定される。また、射影変換演算部ＰＰにて、車両の走行方向に延出する平行な路面上の直線の組（即ち、走行レーン境界線）に対応したカメラＣＭの画像上の直線の組と、その画像を構成する画像面の上下端の直線の組を用い、画像面の上下端の直線の組を路面上に投影したときの直線の組が、車両の走行方向に延出する平行な路面上の直線の組に対して直交しているとして射影変換が行われる。そして、カメラ位置特定部ＩＰ部にて、路面上に存在する路面に垂直な直線の組の路面への投影像の直線を延長した交点の位置がカメラＣＭの位置として特定される。而して、路面上の走行レーンの境界線に対するカメラＣＭの位置が特定される。尚、走行レーンの境界線としては、所謂白線のほか、ガードレール等も包含される。

そして、カメラ位置特定部ＩＰによって特定されたカメラＣＭの位置に基づき、自車位置特定部ＪＰにて、路面上の走行レーンの境界線に対するカメラＣＭ搭載車両（自車）が特定され、更に必要に応じて、走行レーンの幅、道路の曲率、姿勢角等の検出結果と共に、システム制御部ＳＣ（コンピュータ）に供給され、出力インターフェース回路ＯＵを介して外部のシステム機器（図示せず）に出力される。尚、図２におけるＣＬ、ＰＷ、ＩＮは夫々クロック回路、電源回路及び入力インターフェース回路である。

以下、上記画像処理部ＶＣの各部における処理を詳細に説明する。先ず、レーン境界線特定部ＬＰの検出結果に応じて射影変換を演算する射影変換演算部ＰＰと、その演算結果に基づきカメラＣＭの位置を特定するカメラ位置特定部ＩＰにおける処理について説明し、その後に、レーン境界線特定部ＬＰにおける処理について説明する。

射影変換演算部ＰＰにおいては、前掲の非特許文献４に記載の射影変換を基本とした以下の基本概念に従い、カメラＣＭの内部パラメータ及び外部パラメータに依存することなく、また、カメラＣＭが未校正であっても、カメラＣＭの位置（ひいては自車の位置）を特定し得るように構成されている。具体的には、平行線の画像中での投影像を用いることにより、カメラＣＭの画像と路面（平面）との間の射影変換を求め、カメラＣＭの視点の路面上での位置が、路面に垂直な直線上の無限遠点の像として求まることを用いて、走行レーンに対するカメラＣＭの水平位置を計算し得るものである。

一般的に、ある平面π上の点ｘ＝［x₁, x₂, x₃］^Tをこれとは異なる平面π’上の点ｘ’＝［x'₁, x'₂, x'₃］^Tに変換する射影変換をＨ_pとすると、π上の直線l＝［l₁, l₂, l₃］^Tをπ’上の直線l'＝［l'₁, l'₂, l'₃］^Tに変換する射影変換は、Ｈ_l＝Ｈ_p ^-Tと表すことができる。例えば、図３に示す路面と、これに略直行するカメラ画像が存在する場合において、画像中の二つの走行レーン境界線を表す直線l₁及びl₂と画像の上端及び下端を表す二直線l₃及びl₄を路面上の四つの直線l'_i(i＝1,2,3,4)に対応しているとする。このとき、路面上では直線l'₁と直線l'₂は平行であり、l'₃とl'₄は共にl'₁に直交しているとすると、これらの直線の斉次座標は以下の数１式となる。

そして、直線l_i(i＝1,2,3,4)を直線l'_i(i＝1,2,3,4)に変換する射影変換Ｈ_lは、次式のようになる。即ち、l'_i〜Ｈ_lｌ_i (i＝1,2,3,4)となる（ここで、〜は定数倍の不定性を除いて等しいことを表す）。

一方、仮に３次元の走行環境中において路面に対して垂直な直線が複数存在し、これらのうちの２つの直線の投影像l₅ 及びl₆がカメラＣＭによる画面（２次元画像）中に表れているとすると、これらの直線を上記の射影変換Ｈ_lに基づいて変換した像l'₅及びl'₆が路面上で得られる。投影像l₅及びl₆は３次元空間中においては路面に垂直な直線であるから、これらを射影変換した像l'₅及びl'₆を延長したときの交点Ｘ_Cは、視点Ｃから路面に対して垂直に降ろした直線と路面との交点（カメラＣＭの路面上の位置）に一致する。この交点は、Ｘ_C＝l'₅×l'₆として求めることができる。従って、このようにて求めた交点Ｘ_Cの、走行レーン境界線を表す直線l'₁及びl'₂に対する位置に基づき、走行レーンにおけるカメラＣＭの位置を特定することができる。

上記の関係を、前述の画像処理部ＶＣにおける処理と対比させると以下のようになる。即ち、射影変換演算部ＰＰにて、車両の走行方向に延出する平行な路面上の直線の組（l'₁及びl'₂）に対応したカメラＣＭの画像上の直線の組（l₁及びl₂）と、その画像を構成する画像面の上下端の直線の組（l₃及びl₄）を用い、画像面の上下端の直線の組（l ₃ 及びl ₄ ）を路面上に投影したときの直線の組（l'₃ 及びl'₄）が、車両の走行方向に延出する平行な路面上の直線の組（l' ₁ 及びl' ₂ ）に対して直交しているとして射影変換が行われる。そして、カメラ位置特定部ＩＰ部にて、路面上に存在する路面に垂直な直線の組の路面への投影像の直線（l'₅及びl'₆）を延長した交点の位置（Ｘ_C）がカメラＣＭの位置として特定される。而して、路面上の走行レーンの境界線に対するカメラＣＭの位置（Ｘ_C）が特定され、ひいては、自車位置特定部ＪＰにて、走行レーン（即ち、二つの走行レーン境界線間の路面）における自車の位置を特定することができる。

上記の態様では、３次元走行環境中において路面に垂直な直線が少なくとも２本必要となるが、このような直線が得られない場合には、次のように構成し、近似的に走行レーンにおけるカメラＣＭの位置を特定することができる。例えば、カメラＣＭを略水平に配置すると、カメラＣＭの画像面は路面に対し略垂直となり、画像の左右端の直線l₇及びl₈は３次元空間中では路面に対し略垂直となる。従って、上記の射影変換Ｈ_lにより直線l₇及びl₈を変換した像l'₇及びl'₈を求めると、像l'₇及びl'₈の交点Ｘ'_Cは近似的に交点Ｘ_C（カメラＣＭの走行レーン路面上の位置）と等しくなる。走行レーンに対するカメラＣＭの位置を特定する計算においては、走行レーン境界線と直交する方向の位置のみが意味を有するので、この近似計算においては、画像面の上下端の直線l₃及びl₄が路面に対して十分に平行でありさえすれば、カメラＣＭが傾斜しチルト角がある程度存在する場合でも、十分適切な近似を与え得る。

上記の関係を、前述の画像処理部ＶＣにおける処理と対比させると以下のようになる。即ち、射影変換演算部ＰＰにて、車両の走行方向に延出する平行な路面上の直線の組（l'₁及びl'₂）に対応したカメラＣＭの画像上の直線の組（l₁及びl₂）と、その画像を構成する画像面の上下端の直線の組（l₃及びl₄）を用い、画像面の上下端の直線の組（l ₃ 及びl ₄ ）を路面上に投影したときの直線の組（l'₃ 及びl'₄）が、車両の走行方向に延出する平行な路面上の直線の組（l' ₁ 及びl' ₂ ）に対して直交しているとして射影変換が行われる。そして、カメラ位置特定部ＩＰ部にて、画像面の左右端の直線の組（l₇及びl₈）の路面への投影像の直線（l'₇及びl'₈）を延長した交点（Ｘ'_C）の位置がカメラＣＭの位置として特定される。

以上のように、本実施形態によれば、カメラＣＭの内部パラメータや外部パラメータを必要とすることなくカメラＣＭの位置を特定することができる。従って、事前にカメラＣＭを校正しておく必要がないばかりでなく、走行中に焦点距離等のカメラＣＭの内部パラメータが変化し、あるいはカメラＣＭの車両への装着高さや傾きが変動してもその影響を受けることはないので、外乱に対しロバスト的に自車（カメラ装着車両）の位置を計算し特定することができる。

次に、上記のレーン境界線特定部ＬＰにおける走行レーンの検出、具体的には、走行レーンの両側のレーン境界線の特定について説明する。このレーン境界線の特定には、一般的な最小自乗法のほか、前掲の非特許文献２及び３等に開示されているRANSACによって「直線の当てはめ」（直線フィッティング）を行なうことができる。このRANSAC（Random Sample Consensus）は文字通りランダムに取り出したサンプルと最もコンセンサスがとれる数式モデルを見出す方法である。このRANSACではデータ中に誤ったデータが含まれている状態で、正しいデータのみを検出して数式モデルを当てはめることができる。前述のように、画像ノイズなどの外乱に影響されることなく安定的に数式モデルが当てはめられることから、近年、コンピュータビジョンの様々なタスクに用いられている。

ここで、RANSACのアルゴリズムを説明すると、先ず、当てはめたい数式モデルを計算するのに必要最小限の数のデータをランダムに取り出す。例えば、直線を当てはめる場合には、直線は２点で決まるので、多くの特徴点の中から２点のデータをランダムに取り出す。次に、取り出したデータをもとに数式モデルを計算する。直線当てはめの場合には、図１７に示すように、取り出した２点のデータを使って直線の方程式を計算する。尚、図１７において、破線はしきい値範囲を示し、Ｄｘは直線と特徴点の距離を示す。そして、求めた数式モデルに当てはまるデータの数を求める。直線当てはめの場合には、求めた直線に当てはまる特徴点の数を求める。このとき、当てはまるかどうかは数式モデル近傍領域にデータが入っているか否かで判断する。直線当てはめの場合には、図１７に示すように、求めた直線と特定の特徴点との距離がしきい値以下であればその特徴点は求めた直線に当てはまっていると判断する。最後に、全データからランダムにＮセットのデータを取り出し、それぞれにおいて上記のように当てはまるデータ数を求め、最も当てはまるデータ数が多い数式モデルを真のモデルとする。直線当てはめの場合には、最も当てはまる特徴点数が多い直線を求める。

上記のように、RANSACでは、間違った（偽の）データが存在する状況下において、全数探索をすることなく、サブセット探索を行うだけでかなり高い確率で、正しい数式モデルを求めることができるのが大きな特徴である。しかし、正しい解を得る確率をある一定値以上に保証しようとすると、全データ中における間違ったデータの割合が増加するに従い、取り出すサンプルの数を増す必要がある。一般的に、モデルの自由度をｄ，間違ったデータの割合をｅ，正しい解が得られる確率をｐとすると、RANSACにおいて確率ｐを保証するためには、サンプリング回数Ｎは、Ｎ＝log(1-p)／log(1-(1-e)^d)に基づいて求められる値以上にする必要がある。

本発明が対象とするレーン検出においては、路面上の影などの影響で正しいレーンを表す特徴点数が極端に少なくなり、代わりに偽の特徴点が増えた場合には、正しい解を得る確率を保証するために非常に多くの回数のサンプリングとモデルフィッティングを必要とすることになる。逆に、サンプリングとモデルフィッティングの回数を一定値に固定すると、偽の特徴点の割合に応じて正しい解が得られる確率が変動し、偽の特徴点数が多い場合には誤検出の確率が極めて高くなる。

図１８は、直線検出の問題（ｄ＝２）において、99.99％の確率で正しい解を得るのに必要なサンプリング回数Ｎと、間違ったデータの割合ｅとの関係を示す。同図から、間違ったデータの割合が増加するに従って、必要なサンプリング数が急激に増加することが分かる。また図１９は、サンプリング数を100に固定した場合における、間違ったデータの割合ｅと正しい直線が得られる確率ｐとの関係を示す。同図から、ｅが増加するに従い、正しい直線が得られる確率ｐが急激に低下することが分かる。

上記のような走行レーン検出におけるRANSACの問題点に鑑み、本願発明者は、これを改良し、少ない計算回数で正しい解が得られる確率を高く保つアルゴリズム、Connected Sample Consensus（CONSACと呼ぶ）を開発し、平成１４年９月３０日に特許出願している（特願２００２−２８４６７８）。前述のように、RANSACでは、全く情報のない状態で、サンプルをランダムに抜き出して当てはめ度をチェックすることが行われるが、多くのタスクでは、そのタスク固有の事前情報を用いることにより、データを予めグループ化あるいは順序化できる場合が多い。CONSACでは、このような事前情報を用いることにより、全くランダムにデータをサンプルするのではなく、グループ分けや順序付けに従ってデータをサンプルし計算することにより、場合の数を減らし、少ない探索回数で正しい解が得られる確率を高く維持するものである。このように、CONSACではデータの継りを利用することから、RANSACの「Random」に代えて「Connected」としたものであり、そのアルゴリズムは以下のとおりである。

先ず、事前情報を用いてある程度意味のあるようにデータをグループ化、順序化する。次に、当てはめたい数式モデルの計算に必要な最小限の数のデータをこの順序化されたデータの中から所定の間隔で取り出す。この検出したデータにより数式モデル計算をする。このように求めた数式モデルに当てはまるデータの数を求める。そして、データの順序付けに従って全てのデータを順にサンプルしながら以上の処理を繰り返して行い、最も当てはまるデータ数が多い数式モデルを真のモデルとする。

本実施形態の特徴点検出部ＣＰで検出される特徴点は、図２０に１乃至１２とデータ番号を付したように、実線で示す直線（レーン境界線）に沿って概ね順番に並ぶという性質がある。このような状態では、データ番号が近い点同士は同一直線上に乗っている確率が極めて高い。そこで本実施形態においては、走査によって得られた順に特徴点データに対し順序付けが行われ、直線検出部ＳＰにおいて、この特徴点データ順に従ってある程度小さな間隔で２点がサンプルされ直線の方程式が計算される。次に、この直線に当てはまるデータの数がカウント（計数）される。所定のデータ順に従って全特徴点データに関してこの処理が繰り返して行なわれ、当てはまるデータの数が最大となる直線が真の直線として検出される。

而して、上記のCONSACによれば、従来のHough変換における、検出したい対象物の特徴点の数よりも偽の特徴点の方が多い場合は正しい結果が得られないという問題を解決すると共に、RANSACでは偽の特徴点の割合が増加すると安定的に検出することができないという問題を解決することができる。更に、偽の特徴点が多い場合でも非常に少ない探索回数で確実に正しい解を得ることができる。

次に、本発明の他の実施形態として、上記のように射影変換によって検出された自車の走行レーンに基づき、これに隣接する二つの走行レーンの境界線を、消失点を用いて特定する構成について説明する。図４乃至図６は路面走行レーン検出装置の他の実施形態を示すもので、そのハード構成は図５に示すように、基本的には図２と同様である。例えば図１４に示すように、自車の走行レーンに対して左右に隣接する隣接走行レーンを検出する場合には、その隣接走行レーン中を他の車両が走行していてレーン境界線（白線）が部分的に隠れていたり、画角の関係や日照状態によりレーン境界線の識別が困難となっていると、自車の走行レーンに比べ検出安定度が低くなる。そこで、本実施形態は、前述の実施形態と同様に自車の走行レーンを安定的に検出した後、この結果を用いて隣接走行レーンを安定的に特定するものである。

本実施形態は、図４に示すように、撮像手段ＶＤによって路面を連続して撮像した画像から直線データを検出すると共に、この直線データに基づき移動体（例えば車両）の走行レーン（図示せず）を検出する走行レーン検出手段ＬＤと、この走行レーン検出手段ＬＤが検出した直線データに基づき射影変換を演算する射影変換演算手段ＰＴと、この射影変換演算手段ＰＴの演算結果に基づき、路面上に存在する直線の組に対し平行で等間隔の直線を逆変換し、画像上に隣接レーンとして特定する隣接レーン特定手段ＮＤを備えている。

走行レーン検出手段ＬＤ及び射影変換演算手段ＰＴは図１と同様に構成されており、隣接レーン特定手段ＮＤは、図４に示すように、相互のレーン間隔が一定の距離である複数の走行レーンのうちの、走行レーン検出手段ＬＤで検出した走行レーンに隣接する走行レーンを隣接レーンとして設定し、この隣接レーンの境界線位置を射影変換演算手段ＰＴによって推定する隣接レーン境界位置推定手段Ｎ１と、この隣接レーン境界位置推定手段Ｎ１が推定した位置に隣接レーンの境界線に係る特徴点データを検出するための検出領域を設定する特徴点検出領域設定手段Ｎ２と、この特徴点検出領域設定手段Ｎ２が設定した特徴点検出領域内の特徴点を検出する特徴点検出手段Ｎ３と、この特徴点検出領域内で検出した特徴点内の任意の特徴点を１点とすると共に無限遠点座標を他の１点として演算し両点を含む直線を検出する直線検出手段Ｎ４と、この直線検出手段Ｎ４が検出した少なくとも一つの直線に対して、この直線から所定の範囲内に最も多くの特徴点が存在する直線を隣接レーンの境界線として特定する隣接レーン境界線特定手段Ｎ５とを備えている。

上記図４の路面走行レーン検出装置は、図５に示すハード構成を有するが、図２と同様の構成については同一の符合を付しているので説明は省略する。図５の画像処理部ＶＣには、図２の構成に加え、隣接レーン特定手段ＮＤを構成し、図４の各手段に対応する隣接レーン境界位置推定部ＮＰ１、特徴点検出領域設定部ＮＰ２、特徴点検出部ＮＰ３、直線検出部ＮＰ４、及び隣接レーン境界線特定部ＮＰ５が設けられている。

図５のレーン境界線特定部ＬＰにおいては、例えば、前述と同様にCONSACによる自車の走行レーン境界線の特定が行われる。次に、走行レーンの間隔（二本のレーン境界線の間の距離）が一定であるという前提で、レーン境界線特定部ＬＰで特定された走行レーンの境界線に基づき、隣接する走行レーンの境界線に関し、画像中での出現位置を予測計算する。これは、図６に示すように、前述の射影変換Ｈ_lにより直線ｌ₁及びｌ₂より路面上での平行な直線の組（l'₁及びl'₂）を求め、これらと平行で且つ等間隔の位置にある直線ｌ'₉及びl'₁₀を計算し、これらをＨ_l ^-1により逆変換して画像中における像ｌ₉及びｌ₁₀を求めることによって、隣接レーン境界位置推定部ＮＰ１にて、隣接する走行レーンを特定することができる。そして、特徴点検出領域設定部ＮＰ２にて、この予測出現位置（像ｌ₉及びｌ₁₀）の近傍に特徴点検出領域を設けることにより、特徴点検出部ＮＰ３において、隣接する走行レーンの境界線の画像中での特徴点ｘ_i (i＝1乃至Ｎ)を検出することができる。

次に、これらの特徴点ｘ_i (i＝1乃至Ｎ）最も良く適合する（あてはまる）直線が隣接走行レーンの境界線として求められる。この場合においては、隣接走行レーンの境界線は自車の走行レーンの境界線と平行であることを前提としているので、画像中において、隣接走行レーンの境界線は自車の走行レーンの境界線（ｌ₁及びｌ₂）の交点である消失点Ｖ_p（無限遠点座標）を必ず通ることになる。そこで、本実施形態では、消失点Ｖ_pを通る直線のうちで、隣接走行レーンを表す特徴点ｘ_i (i＝1乃至Ｎ）に最も良く適合する直線をRANSACによって求めることとしている。

このようにRANSACを用いることにより、隣接走行レーンを表す特徴点に走行車両等に起因して大きな外れが含まれていても正しいレーン境界線を特定することができる。また、通常、RANSACにより直線を求めるには、特徴点から２点をランダムに選んで直線を求め、その「当てはめ度」を計算することになるが、この場合には、直線は必ず消失点ｖ_pを通ることから、残りの１点のみを特徴点ｘ_i (i＝1乃至Ｎ）からランダムに選択して最も良く当てはまる直線を求めることができるため、通常のRANSACによる直線検出に比べて遥かに高速に処理することができる。このため、特徴点全数に対してチェックを行い、最も良く当てはまる直線を求めることができる。

以上の処理を自車の走行レーンの左右に隣接する走行レーンに対して行うことにより、自車を中心に三つの走行レーンを特定することができる。特に、比較的安定的に特定される自車の走行レーンの情報と消失点の拘束を用いることにより、隣接走行レーンを非常に安定的、且つ高速で特定することができる。

上記の図４及び図５の実施形態による実験結果に関し、複数の走行レーン検出における安定性について図１４及び図１５を参照して説明し、次に走行レーンにおける自車の位置の安定性について図１６を参照して説明する。

図１４は、隣接走行レーン中で大型トラックが走行しており、そのレーン境界線の大部分が隠蔽され、且つ紛らわしい車両の影（図１４に点描で示す）が路面に落ちていてレーン境界線の特定が非常に困難な場合の画像例である。この画像に対し、上記の図１乃至図３並びに図４乃至図６に示す実施形態によって検出した特徴点（図１４の黒点）に基づき、直線（ｌ₁及びｌ₂）を当てはめて特定した自車の走行レーンの境界線を実線で示し、図４乃至図６に示す実施形態によって特定した隣接走行レーンの境界線を破線で示している。図１４から明らかなように、隣接走行レーンのレーン境界線（ｌ₉及びｌ₁₀）の大部分が大型トラックによって隠され、逆にその荷台の輪郭が特徴点として検出されているにも関わらず、非常に安定的に隣接走行レーンの境界線が特定されている。これは、自車の走行レーンの情報に基づき隣接走行レーンの位置を予測して特徴点を検出していることに加え、検出した特徴点中の外れ点（アウトライヤ）を前述のRANSAC（消失点固定型RANSACと定義することができる）によって効率よく求めているためである。

また、図１５はトンネル出口付近における例であり、路面が光っているためにレーン境界線の検出が非常に困難で、特徴点が非常に少ない状態で走行レーンを検出しなければならない過酷な例である。しかし、上記の図４乃至図６の実施形態によれば自車の走行レーン（レーン境界線ｌ₁及びｌ₂）から隣接走行レーン（レーン境界線ｌ₉及びｌ₁₀）まで安定的に検出することができる。

図１６は、図１乃至図３並びに図４乃至図６の実施形態における走行レーン検出に関し、供試ビデオ映像より複数レーン中での自車の位置をリアルタイムに計測した結果をグラフにプロットしたもので、約１０分間のビデオ映像中での自車の位置を示すものである。図中の一点鎖線はレーン境界を示し、横軸に時間をとり、縦軸に３つのレーン中での自車の位置をとっている（軸線は省略）。図１６において実線は自車の位置変動を示しており（自車の位置はレーン幅を１としたときの相対的な位置として求まる）、レーンチェンジ前後においてもスムーズに自車の位置が変化し、レーンチェンジでレーンを見失うことなく正しく自車の位置を特定することができる。而して、本願の上記何れの実施形態においても、レーン境界線の位置を的確に特定することができ、走行レーンを安定的に検出することができる。

図７乃至図１３のフローチャートは、前述の図４乃至図６に示す実施形態における自車の走行レーン検出（これは図１乃至図３に示す実施形態と同じ）及び隣接レーンの特定を含む一連の処理例を示すもので、図７はメインルーチンを示し、図８乃至図１３はサブルーチンを示す。これらは主として図５の画像処理部ＶＣで処理される。先ず、図７のステップ１０１において走行レーンの特徴点が検出され、ステップ１０２にて特徴点に対する直線の当てはめが行われる。次に、ステップ１０３において消失点が計算され、ステップ１０４において消失点の座標が適正か否かが判定され、適正であればステップ１０５に進み、走行レーン間隔（一対の走行レーン境界線の間の距離）の計算が行われるが、消失点の座標が基準から外れ、適正でなければそのまま終了する。

そして、ステップ１０６に進み、ステップ１０５で計算された走行レーンの間隔が例えば２．６ｍと４．４ｍの間の値であればステップ１０７に進み、走行レーンに対する自車位置が特定されるが、この範囲外の間隔である場合には走行レーン検出の対象外として終了する。ステップ１０７にて自車位置が特定され、ステップ１０８にて自車が走行レーン内にあると判定されると、ステップ１０９以降に進むが、自車が走行レーン外と判定された場合にはそのまま終了する。而して、ステップ１０９において走行レーンの左右外側の直線が推定され、ステップ１１０にて走行レーンの左右外側の特徴点が検出された後、ステップ１１１において、これらの特徴点に対し直線の当てはめが行われ、隣接レーンの境界線が特定される。このようにして隣接レーンが特定された後、ステップ１１２に進み、必要に応じて適宜、車線変更（レーンチェンジ）の処理が行われる。

図８は、上記のステップ１０１における走行レーンの特徴点検出のサブルーチンを示すもので、先ずステップ２０１において直線の検出状態を表すフラグＦｓの状態が判定されるが、検出開始時にはセット（１）されていないのでステップ２０３に進み、微分フィルタによって特徴点が検出される。そして、ステップ２０４において検出結果の特徴点の数が所定の閾値と比較され、これを越えておれば、ステップ２０５にてフラグＦｓがセット（１）された後にメインルーチンに戻るが、特徴点数が閾値以下である場合にはフラグＦｓがクリア（０）された後（初回はそのまま）メインルーチンに戻る。尚、次回以降の演算サイクルでは、ステップ２０１においてフラグＦｓがセットされていると判定されると、ステップ２０２に進み、特徴点の検索範囲が、後述する処理で検出された直線の回りに限定されるので、ステップ２０２における特徴点の検出を迅速に行うことができる。

図９は、図７のステップ１０２における特徴点に対する直線当てはめのサブルーチンを示すもので、先ずステップ３０１にて、上記のように検出された特徴点から任意の２点が選択され、ステップ３０２に進む。ステップ３０２においては、上記の２点を結ぶ直線と他の特徴点との距離が計算され、この距離がステップ３０３にて所定の閾値と比較される。この距離が閾値を下回っておればステップ３０４にて投票により特徴点がメモリに格納された後ステップ３０５に進み、一方、距離が閾値以上であるときはそのままステップ３０５に進み、全特徴点の距離計算が終了したか否かが判定され、終了するまで上記の処理が繰り返される。

そして、ステップ３０６に進み、投票数が所定の最多得票数Ｍｖと比較され、投票数が最多得票数Ｍｖを越えたときにはその投票数が最多得票数Ｍｖとされた後に、また、投票数が最多得票数Ｍｖ以下のときはそのままステップ３０８に進み、全特徴点の検索終了判定が行われ、ここで全特徴点の検索終了と判定されるまで、ステップ３０１乃至３０７の処理が繰り返される。この結果、最多得票数Ｍｖが所定の閾値と比較され、これを越えておれば、ステップ３１０にてフラグＦｓがセット（１）された後にステップ３１２に進むが、最多得票数Ｍｖが閾値以下である場合にはフラグＦｓがクリア（０）された後にステップ３１２に進む。而して、ステップ３１２において、メモリ内の特徴点に対し最小自乗法、あるいは前述のRANSACやCONSACによって直線が算出される。

図１０は、図７のステップ１０５における走行レーン間隔の計算のサブルーチンを示すもので、ステップ４０１にてカメラＣＭの内部パラメータが設定されると共に、ステップ４０２にてカメラＣＭの高さが設定され、ステップ４０３において、消失点からカメラＣＭの回転角が計算される。そして、ステップ４０４において、回転角からカメラＣＭを真下に回転させる平面射影変換が計算され、ステップ４０５にて走行レーンの左右の境界線が平面射影変換される。而して、ステップ４０６にて、この変換後の直線間の距離から走行レーン間隔が計算される。尚、カメラＣＭの内部パラメータ等は、この走行レーン間隔の計算に供されるが、例えば走行レーン間隔の絶対値を知ることが不要であれば、内部パラメータ等を設定する必要はない。

図１１は、図７のステップ１０７の走行レーンに対する自車位置の特定に係るサブルーチンを示すもので、ステップ５０１にて画像面上の直線群が定義されると共に、ステップ５０２にて路面上の直線群が定義される。そして、図３を参照して説明した前述の処理と同様に、ステップ５０３にて画像面―路面間の平面射影変換が計算され、ステップ５０４にて画像の両端が平面射影変換された後、ステップ５０５において、射影変換後の直線の交点が計算される。また、図１２は、図７のステップ１０８における左右外側の直線を推定するサブルーチンを示すもので、図６を参照して説明した前述の処理と同様に、ステップ６０１にて路面から画像面への平面射影変換が計算された後、ステップ６０２において路面上の直線が平面射影変換される。尚、図７のステップ１０９における左右外側の特徴点を検出するサブルーチンは図８と実質的に同じであるので、説明は省略する。

そして、図１３は、図７のステップ１１１の左右外側の特徴点に対する直線当てはめに係るサブルーチンを示すもので、図９の直線当てはめに係るサブルーチンに比べ、隣接レーンの特定に特有の処理に係るステップ７０２（選択した点と消失点を結ぶ直線と他の特徴点との距離が計算される）とステップ７１２（最小自乗法適用時に消失点を含むように条件付としている）が異なるほかは、前述のステップ３０１乃至３１２の処理と同様であるので説明は省略する。

本発明の一実施形態に係る路面走行レーン装置の主要構成を示すブロック図である。本発明の一実施形態に係る路面走行レーン装置のハード構成を示すブロック図である。本発明の一実施形態において、走行レーンを検出する際の射影幾何の一例を示す斜視図である。本発明の他の実施形態に係る路面走行レーン装置の主要構成を示すブロック図である。本発明の他の実施形態に係る路面走行レーン装置のハード構成を示すブロック図である。本発明の他の実施形態において、隣接する走行レーンを特定する際の射影幾何の一例を示す斜視図である。本発明における走行レーン検出及び隣接レーンの特定を含む一連の処理例を示すフローチャートである。図７における走行レーンの特徴点検出のサブルーチンを示すフローチャートである。図７における特徴点に対する直線当てはめのサブルーチンを示すフローチャートである。図７における走行レーン間隔の計算のサブルーチンを示すフローチャートである。図７の走行レーンに対する自車位置の特定に係るサブルーチンを示すフローチャートである。図７における左右外側の直線を推定するサブルーチンを示すフローチャートである。図７の左右外側の特徴点に対する直線当てはめに係るサブルーチンを示すフローチャートである。本発明の他の実施形態によって複数の走行レーンを検出した実験結果の画像の一例を示す正面図である。本発明の他の実施形態によって複数の走行レーンを検出した実験結果の画像例の他の例を示す正面図である。本発明の他の実施形態による実験結果に関し、複数の走行レーン間を移動したときの各走行レーンにおける自車の位置の動きを示す平面図である。従来のRANSACによって特徴点データに対し直線を当てはめる場合の一例を示す説明図である。従来のRANSACによって特徴点データに対し直線を当てはめる場合に、正しい解を得るのに必要なサンプリング回数と、間違ったデータの割合との関係を示すグラフである。従来のRANSACによって特徴点データに対し直線を当てはめる場合に、サンプリング数を100に固定した場合における、間違ったデータの割合と正しい直線が得られる確率との関係を示すグラフである。本発明の一実施形態における特徴点抽出部にて抽出される特徴点と直線の関係を示す説明図である。

符号の説明

ＶＤ撮像手段
ＬＤ走行レーン検出手段
ＣＲ特徴点検出手段ＳＤ
ＳＤ直線検出手段
ＬＢレーン境界線特定手段
ＰＴ射影変換演算手段
ＩＤ撮像手段位置特定手段
ＮＤ隣接レーン特定手段ＮＤ
Ｎ１隣接レーン境界位置推定手段
Ｎ２特徴点検出領域設定手段
Ｎ３特徴点検出手段
Ｎ４直線検出手段
Ｎ５隣接レーン境界線特定手段
ＣＭカメラ
ＶＢビデオ入力バッファ回路
ＳＹ同期分離回路
ＦＭフレームメモリ
ＶＣ画像処理部

Claims

移動体に装着された撮像手段によって路面を連続して撮像した画像から前記移動体の走行レーンを検出する路面走行レーン検出装置において、前記画像から直線データを検出すると共に、該直線データに基づき前記移動体の走行レーンを検出する走行レーン検出手段と、該走行レーン検出手段が検出した前記直線データに基づき、前記移動体の走行方向に延出する平行な前記路面上の直線の組に対応した前記画像上の直線の組と、前記画像を構成する画像面の上下端の直線の組を用い、前記画像面の上下端の直線の組を前記路面上に投影したときの直線の組が、前記移動体の走行方向に延出する平行な前記路面上の直線の組に対して直交しているとして射影変換を演算する射影変換演算手段と、該射影変換演算手段の演算結果に基づき、前記路面上に存在する前記路面に垂直な直線の組の前記路面への投影像の直線を延長した交点の位置を、前記走行レーンに対する、前記走行レーンの境界線と直交する方向の前記撮像手段の位置として特定する撮像手段位置特定手段とを備えたことを特徴とする路面走行レーン検出装置。
移動体に略水平に装着された撮像手段によって路面を連続して撮像した画像から移動体の走行レーンを検出する路面走行レーン検出装置において、前記画像から直線データを検出すると共に、該直線データに基づき前記移動体の走行レーンを検出する走行レーン検出手段と、該走行レーン検出手段が検出した前記直線データに基づき、前記移動体の走行方向に延出する平行な前記路面上の直線の組に対応した前記画像上の直線の組と、前記画像を構成する画像面の上下端の直線の組を用い、前記画像面の上下端の直線の組を前記路面上に投影したときの直線の組が、前記移動体の走行方向に延出する平行な前記路面上の直線の組に対して直交しているとして射影変換を演算する射影変換演算手段と、該射影変換演算手段の演算結果に基づき、前記画像面の左右端の直線の組の前記路面への投影像の直線を延長した交点の位置を、前記走行レーンに対する、前記走行レーンの境界線と直交する方向の前記撮像手段の位置として特定する撮像手段位置特定手段とを備えたことを特徴とする路面走行レーン検出装置。
移動体に装着された撮像手段によって路面を連続して撮像した画像から移動体の走行レーンを検出する路面走行レーン検出装置において、前記画像から直線データを検出すると共に、該直線データに基づき前記移動体の走行レーンを検出する走行レーン検出手段と、該走行レーン検出手段が検出した前記直線データに基づき、前記移動体の走行方向に延出する平行な前記路面上の直線の組に対応した前記画像上の直線の組を用い、前記画像を構成する画像面の上下端の直線の組と、前記画像面の上下端の直線の組を前記路面上に投影したときの直線の組が、前記移動体の走行方向に延出する平行な前記路面上の直線の組に対して直交しているとして射影変換を演算する射影変換演算手段と、該射影変換演算手段の演算結果に基づき、前記路面上に存在する直線の組に対し平行で等間隔の直線を逆変換し、前記画像上に隣接レーンとして特定する隣接レーン特定手段とを備えたことを特徴とする路面走行レーン検出装置。
前記走行レーン検出手段が、今回撮像した画像の所定領域から特徴点データを検出する特徴点検出手段と、該特徴点検出手段で検出した今回の特徴点データに最も適合する直線を表わす今回の直線データを検出する直線検出手段と、該直線検出手段で検出した今回の直線データに基づき今回のレーン境界線を検出するレーン境界線検出手段とを備え、該レーン境界線検出手段が検出した今回のレーン境界線及び前記直線検出手段が検出した今回の直線データを前記特徴点検出手段に供給し、前記特徴点検出手段が、前記今回のレーン境界線及び前記今回の直線データに基づき所定の特性を設定すると共に、次回撮像する画像から検出する特徴点データのうち、前記所定の特性を充足する特徴点データを、次回の特徴点データとして検出するように構成したことを特徴とする請求項１、２又は３記載の路面走行レーン検出装置。
前記特徴点検出手段が、前記直線検出手段及び前記レーン検出手段の検出結果に基づき前記特徴点データを順序化する順序化手段を有し、前記直線検出手段が、所定の数式モデルの適合に必要な最小限の数のデータを、前記順序化手段の特徴点データの中から所定の間隔で取り出すデータ検出手段と、該データ検出手段が検出したデータに基づき数式モデルを求める数式モデル演算手段と、該数式モデル演算手段で求めた数式モデルに適合する特徴点データの数を求めるデータ数計数手段と、前記順序化手段が設定した前記特徴点データの順序に従って前記特徴点データの一部若しくは全てを順にサンプルして前記データ検出手段乃至前記データ数計数手段の処理を繰り返した結果、最も適合する特徴点データの数が多い数式モデルを真の数式モデルとして設定する数式モデル設定手段とを備えたことを特徴とする請求項４記載の路面走行レーン検出装置。
前記隣接レーン特定手段が、相互のレーン間隔が一定の距離である複数の走行レーンのうちの、前記走行レーン検出手段で検出した走行レーンに隣接する走行レーンを隣接レーンとして設定し、該隣接レーンの境界線位置を前記射影変換演算手段によって推定する隣接レーン境界位置推定手段と、該隣接レーン境界位置推定手段が推定した位置に前記隣接レーンの境界線に係る特徴点データを検出するための検出領域を設定する特徴点検出領域設定手段と、該特徴点検出領域設定手段が設定した特徴点検出領域内の特徴点を検出する特徴点検出手段と、該特徴点検出領域内で検出した特徴点内の任意の特徴点を１点とすると共に無限遠点座標を他の１点として演算し両点を含む直線を検出する直線検出手段と、該直線検出手段が検出した少なくとも一つの直線に対して、該直線から所定の範囲内に最も多くの特徴点が存在する直線を前記隣接レーンの境界線として特定する隣接レーン境界線特定手段とを備えたことを特徴とする請求項３記載の路面走行レーン検出装置。