JPH1153551A - ライン検出装置 - Google Patents

Abstract

(57)【要約】 【課題】 近距離画像と望遠画像を用いてラインを検出
するシステムにおいて、車両挙動にかかわらず望遠画像
内におけるラインを確実に検出する。 【解決手段】 得られた広角画像２０内においてライン
をテンプレートマッチング等により検出する。広角画像
２０と望遠画像３０の既知の位置関係から、広角画像２
０内において検出したライン位置を望遠画像３０内にお
けるライン位置に変換し、望遠画像３０内におけるライ
ンを推定する。推定したライン位置において探知範囲を
設定し、設定した探知範囲内においてラインを検出す
る。動きの少ない広角画像２０に基づいてライン位置を
推定するので、車両挙動にかかわらず確実に望遠画像３
０内においてラインを検出できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はライン検出装置、特
に車載カメラで得られた近距離画像と望遠画像から遠距
離における路上のラインを検出する装置に関する。

【０００２】

【従来の技術】従来より、近距離用カメラと望遠カメラ
を用いて路上の画像を取得し、それぞれの領域に存在す
るライン（白線）を検出する技術が知られている。

【０００３】例えば、特開平９−９６５０７号公報に
は、広角カメラ（近距離カメラ）と望遠カメラを備え、
広角カメラにより近距離の画像を取得して自車走行レー
ンを区画する左右の白線を確実に検出するとともに、望
遠画像に基づいて遠距離の白線を高精度で検出する技術
が記載されている。

【０００４】

【発明が解決しようとする課題】しかしながら、一般に
車両は走行中に運転操作や路面の凹凸等の影響によりピ
ッチやヨー、ロールといった挙動変化を示し、これらの
挙動変化のために車載カメラで得られた画像内における
ライン（白線）位置も影響を受ける。特に、望遠画像内
においては広角画像内よりもその動きが拡大されるた
め、望遠画像内でのライン（白線）はフレーム毎にその
位置を大きく変えてしまうため遠距離におけるライン位
置を高精度に検出することが困難である問題があった。

【０００５】本発明は、上記従来技術の有する課題に鑑
みなされたものであり、その目的は、車両の挙動変化に
伴って車載カメラが変動しても、望遠画像内のラインを
確実に検出して遠距離における路上のラインを高精度に
検出することができるライン検出装置を提供することに
ある。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に、第１の発明は、車載カメラで得られた近距離画像及
び望遠画像から遠距離における路上のラインを検出する
ライン検出装置であって、前記近距離画像と前記望遠画
像の位置関係及び前記近距離画像内で検出されたライン
位置に基づいて前記望遠画像におけるライン位置を推定
し、該推定結果に基づいて前記望遠画像におけるライン
探知範囲を設定する処理手段を有することを特徴とす
る。

【０００７】また、第２の発明は、第１の発明におい
て、前記処理手段は、前記推定したライン位置と前記望
遠画像内に設定した複数の縦直線との交点近傍を前記探
知範囲に設定することを特徴とする。

【０００８】また、第３の発明は、第１の発明におい
て、前記処理手段は、前記推定したライン位置と前記望
遠画像内に設定した横直線との交点近傍を前記探知範囲
に設定することを特徴とする。

【０００９】また、第４の発明は、第２、第３の発明に
おいて、前記処理手段は、前記推定したライン位置に応
じて前記縦直線の位置または前記横直線の位置をシフト
させることを特徴とする。

【００１０】

【発明の実施の形態】以下、図面に基づき本発明の実施
形態について説明する。

【００１１】図１には本実施形態における全体構成ブロ
ック図が示されている。なお、本実施形態においては、
遠距離における路上のラインを検出し、レーザレーダに
て別途検出した障害物が自車走行レーン上に存在するか
否かを判定するために用いている。

【００１２】図において、広角レンズ付ＣＣＤカメラ
（近距離カメラ）１は車両前方の所定位置に設けられ、
広角画像（近距離画像）を取得する。広角レンズ付ＣＣ
Ｄカメラ１には同期出力アンプ３が接続されており、得
られた広角画像を同期出力アンプ３に出力する。同期出
力アンプ３は入力した広角画像データを増幅するととも
に、入力広角画像のフレーム同期信号を出力する。

【００１３】また、望遠レンズ付ＣＣＤカメラ（遠距離
カメラ）２が車両前方の所定位置に設けられ、路上の望
遠画像を取得する。なお、本実施形態における望遠画像
は、約１００ｍ遠方の画像を取得するように設定されて
いる。望遠レンズ付ＣＣＤカメラ２には外部同期アンプ
４が接続されており、得られた望遠画像を外部同期アン
プ４に出力する。また、外部同期アンプ４には上述した
同期出力アンプ３が接続されており、同期出力アンプ３
から出力されたフレーム同期信号を入力して広角画像
（近距離画像）と望遠画像との同期をとっている。

【００１４】同期出力アンプ３及び外部同期アンプ４に
は画像処理装置５が接続されている。画像処理装置５は
Ａ／Ｄ変換器６、７、フレームメモリ８、９及び画像認
識処理部１０を備えて構成され、同期出力アンプ３から
の広角画像はＡ／Ｄ変換器６でデジタル信号に変換され
た後、フレームメモリ８に格納される。また、外部同期
アンプ４から出力された望遠画像はＡ／Ｄ変換器７でデ
ジタル信号に変換され、フレームメモリ９に格納され
る。フレームメモリ８及びフレームメモリ９には画像認
識処理部１０が接続されており、フレームメモリ８に格
納された広角画像及びフレームメモリ９に格納された望
遠画像が読み出され、画像認識処理部１０に供給され
る。画像認識処理部１０に供給される広角画像及び望遠
画像は同期が確立した画像であり、すなわちカメラ１、
２で同一タイミングで撮影された画像である。

【００１５】画像認識処理部１０は具体的にはＣＰＵを
含むマイクロコンピュータで構成され、本実施形態にお
いて処理手段として機能する。すなわち、フレームメモ
リ８からの広角画像内におけるラインを検出し、この検
出結果に基づきフレームメモリ９からの望遠画像内にお
けるライン位置を推定する。この推定処理に際しては、
広角レンズ付ＣＣＤカメラ１と望遠レンズ付ＣＣＤカメ
ラ２の撮影領域の相対的位置関係、すなわち広角画像と
望遠画像の位置関係に基づいて、広角画像内で検出した
ライン位置を望遠画像内におけるライン位置に変換する
処理が行われる。そして、望遠画像内におけるライン位
置を推定した後、画像認識処理部１０は更に推定したラ
イン位置上において探知範囲（サーチエリア）を設定
し、この探知範囲内で望遠画像から実際のラインを検出
する。ライン検出は、例えばテンプレートマッチング法
を用いて行われる。

【００１６】そして、画像処理装置５には更に障害物認
識部１１が接続されており、上述の画像認識処理部１０
で検出された望遠画像内におけるライン位置はこの障害
物認識部１１に供給される。この障害物認識部１１には
図示しないレーザレーダからの検出信号も供給され、障
害物認識部１１はこれら２つの検出信号に基づき、レー
ザーレーダにて検出された障害物位置（距離と方位）と
検出されたライン位置（前方１００ｍ位置におけるライ
ン位置）との相対的位置関係から障害物が自車の走行レ
ーン内に存在するか否かを判定する。

【００１７】障害物認識部１１には表示部１２及び車両
制御部１３が接続されており、判定結果が表示部１２に
供給されて運転者に報知されるとともに、車両制御部１
３に供給されて障害物を回避するためのレーンチェンジ
動作（操舵操作）等が実行される。

【００１８】図２には、本実施形態における画像認識処
理部１０の処理フローチャートが示されている。まず、
画像認識処理部１０はフレームメモリ８に格納されてい
る広角画像（近距離画像）を入力する（Ｓ１０１）。そ
して、この広角画像内におけるライン（白線）を検出す
る（Ｓ１０２）。このライン検出処理は、具体的には車
両に対する広角レンズ付ＣＣＤカメラ１の設置位置や光
軸方向及び直前フレームのライン認識結果を用いて広角
画像内において探知範囲を決定し、この探知範囲内をテ
ンプレートマッチング法を用いて順次サーチすることに
より行われる。なお、テンプレートマッチングではなく
エッジ検出を用いてラインを検出することも可能であ
る。

【００１９】以上のようにして広角画像内においてライ
ン検出処理を実行した後、実際にラインが検出できたか
否かを判定する（Ｓ１０３）。広角画像内においてライ
ンが検出できなかった場合にはその旨を表示部１２に表
示し、一方広角画像内においてラインが検出できた場合
には、次にこのライン検出結果を用いて望遠画像内にお
けるライン位置を推定する（Ｓ１０４）。この望遠画像
内におけるライン位置推定処理は、具体的には広角画像
内において検出されたライン位置を望遠画像内における
位置に変換するものである。そして、望遠画像内におけ
るライン位置を推定した後、この推定結果からライン位
置を検出するための探知範囲を設定し、望遠画像内にお
ける実際のライン位置を検出する（Ｓ１０５）。望遠画
像内におけるライン位置が検出された場合、障害物認識
部１１に出力して自車走行レーン内に障害物が存在する
か否かの判定を行う（Ｓ１０６）。

【００２０】以下、Ｓ１０４における推定処理及びＳ１
０５における白線認識処理について詳細に説明する。

【００２１】図３には、広角画像２０及び望遠画像３０
の関係が模式的に示されている。本実施形態において
は、図に示すように広角画像の画像中心と望遠画像の画
像中心が一致するように設定されている。もちろん、こ
のような位置関係は本発明にとって必須条件ではなく、
後の計算を簡単にするために付加した条件に過ぎないこ
とに留意されたい。いま、広角画像２０内においてライ
ン検出処理の結果ラインが検出され、検出された２本の
白線が広角画像内の座標系Ｘ−Ｙ（Ｘを車幅方向、Ｙを
車両進行方向とする）において以下の式で表されるもの
とする。

【００２２】

【数１】Ｘ１＝Ｐ１・Ｙ１＋Ｑ１

【数２】Ｘ２＝Ｐ２・Ｙ２＋Ｑ２ 一方、望遠画像３０内における同一ラインの式が望遠画
像内の座標系ｘ−ｙ（ｘを車幅方向、ｙを車両進行方向
とする）において以下のように表されるものと仮定す
る。

【００２３】

【数３】ｘ１＝ｐ１・ｙ１＋ｑ１

【数４】ｘ２＝ｐ２・ｙ２＋ｑ２ ここで、広角画像２０内におけるラインと望遠画像３０
内におけるラインは同一なので、両者の傾きは等しく、
Ｐ１＝ｐ１、Ｐ２＝ｐ２が成立する。また、広角画像２
０及び望遠画像３０の中心座標を（Ｃｘ、Ｃｙ）とし、
広角レンズの焦点距離をＦ、望遠レンズの焦点距離をｆ
（２つのＣＣＤ素子の撮影範囲の大きさは等しいものと
する）とした場合、望遠画像３０の左端から広角画像２
０の左端までの距離ｘ０は、

【数５】ｘ０＝Ｃｘ・（ｆ／Ｆ−１） となり、また望遠画像３０の上端から広角画像２０の上
端までの距離ｙ０は、

【数６】ｙ０＝Ｃｙ・（ｆ／Ｆ−１） となる。そして、これら両画像の位置関係を用いると望
遠画像３０内におけるラインの切片ｑ１、ｑ２は、

【数７】ｑ１＝Ｑ１・Ｆ／ｆ＋ｙ０・ｐ１−ｘ０

【数８】ｑ２＝Ｑ２・Ｆ／ｆ＋ｙ０・ｐ２−ｘ０ となり、結局、望遠画像３０内における推定ライン位置
は、

【数９】ｘ１＝Ｐ１・ｙ１＋（Ｑ１・Ｆ／ｆ＋（Ｃｙ・
（ｆ／Ｆ−１））・Ｐ１−（Ｃｘ・（ｆ／Ｆ−１）））

【数１０】ｘ２＝Ｐ２・ｙ１＋（Ｑ２・Ｆ／ｆ＋（Ｃｙ
・（ｆ／Ｆ−１））・Ｐ２−（Ｃｘ・（ｆ／Ｆ−
１）））となる。以上のようにして、広角画像２０で検
出されたライン位置から望遠画像３０内におけるライン
位置が推定されたことになる。

【００２４】また、図４には、このようにして推定され
たライン位置から望遠画像３０内における実際のライン
を検出するための探知範囲を設定する処理が模式的に示
されている。図において、破線は推定されたライン位
置、すなわち（９）式及び（１０）式で表現されるライ
ン位置を示したものであり、２本の一点鎖線は望遠画像
３０内において予め設定された縦直線（ｘ座標一定の直
線）である。図では、これらの縦直線のｘ座標をそれぞ
れｘｓ１、ｘｓ２としており、ｘｓ１＜Ｃｘ＜ｘｓ２で
ある。

【００２５】そして、推定されたライン位置とこれら２
本の縦直線との交点が図中Ｐ、Ｑで表されており、探知
範囲はこれら交点Ｐ、Ｑの近傍に設定される。設定され
た探知範囲は図中１００、１０２として示されている。
この探知範囲１００、１０２内で予め用意されたテンプ
レートとのマッチングをとり、実際のライン位置が検出
される。ちなみに、交点Ｐ、Ｑのｙ座標は、（９）式及
び（１０）式からそれぞれ、

【数１１】ｙｓ１＝（ｘｓ１−（Ｑ１・Ｆ／ｆ＋（Ｃｙ
・（ｆ／Ｆ−１））・Ｐ１−（Ｃｘ・（ｆ／Ｆ−
１））））／Ｐ１

【数１２】ｙｓ２＝（ｘｓ２−（Ｑ２・Ｆ／ｆ＋（Ｃｙ
・（ｆ／Ｆ−１））・Ｐ２−（Ｃｘ・（ｆ／Ｆ−
１））））／Ｐ２である。

【００２６】広角画像２０と望遠画像３０は同期がとれ
ており、ピッチやロール、ヨー等の車両挙動の影響によ
る広角画像２０内と望遠画像３０内におけるラインは同
期した動きをする。従って、移動量の少ない広角画像２
０においてまずラインを検出し、その結果から動きの大
きい望遠画像３０内におけるライン位置を推定して探知
範囲を設定することで、たとえ望遠画像３０内における
フレーム毎のライン移動量が大きくても確実にラインを
検出することができることが理解されよう。

【００２７】なお、図４においては推定したライン位置
と２本の縦直線との交点近傍を探知範囲に設定したが、
縦直線の代わりに１本の横直線（ｙ座標一定）を用いる
ことも可能である。

【００２８】図５にはこのような場合の例が模式的に示
されている。図中破線は推定したライン位置、一点鎖線
は１本の横直線で表され、この横直線と推定したライン
位置との交点がＲ、Ｓとして示されている。ラインの探
知範囲はこれら交点Ｒ、Ｓの近傍に設定される。図中、
探知範囲は１０４、１０６として示されている。この探
知範囲１０４、１０６内をサーチして実際のラインを検
出してもよい。なお、望遠画像３０における横方向位置
（ｙ座標）は車両からの距離を示しているので、このよ
うに横直線との交点を求めることにより、車両から所望
距離における探知範囲を設定することが可能となる。こ
のことは、車両から所望距離におけるライン位置を決定
できることを意味する。

【００２９】このように、推定ラインと複数（実施形態
では２本）の縦直線との交点あるいは１本の横直線との
交点を求め、この交点近傍を探知範囲に設定することに
より望遠画像３０内におけるラインを確実に検出するこ
とが可能となるが、より検出確率を向上させるために
は、図４における縦直線をより外側に、すなわち図にお
いてｘｓ１をより左側に設定するとともにｘｓ２をより
右側に設定し、図５においてはｙｓをより下側に設定す
ることが望ましい。その理由は、例えば図４において２
本の縦直線をより外側に設定することにより、推定した
ライン位置との交点が下方に移動し、ラインのより太い
部分（車両に近い部分）に探知範囲１００、１０２を設
定できるからであり、図５においてもラインのより太い
部分に探知範囲１０４、１０６を設定できるからであ
る。テンプレートマッチング法やエッジ検出法を用いる
場合、画像内におけるライン部分が大きいほどノイズと
の識別が容易となり検出確率は向上する。従って、より
太いライン部分に探知範囲を設定することにより、一層
望遠画像内におけるライン検出確率を向上させることが
できる。

【００３０】また、図４及び図５においては２本の縦直
線及び１本の横直線の位置を予め設定しているが、これ
らの位置を推定ライン位置に基づいて適宜ｘ方向あるい
はｙ方向にシフトさせることも望ましい。図６にはこの
ような例が示されている。例えば、図４の場合において
推定したライン位置が図中左方に偏っており、従って図
４におけるｘｓ１，ｘｓ２の位置に一義的に縦直線を設
定した場合には２本のラインを検出できないことが明ら
かである場合、推定したライン位置に応じて２本の縦直
線の位置をｘｓ１’、ｘｓ２’のようにｘ方向にシフト
させて探知範囲１０８、１１０を設定するのが望まし
い。これにより、２本のラインを確実に検出することが
可能となる。図示していないが、図５の場合も同様に推
定したラインの上下方向の偏り度合いに応じて横直線を
上下（ｙ方向）にシフトさせることが望ましい。

【００３１】以上、本発明の実施形態について説明した
が、本発明のライン検出装置はレーザレーダ等により検
出した障害物が自車の走行レーン内に存在するか否かを
判定するために用いるのみならず、他の任意の用途に用
いることが可能である。もちろん、遠距離における路上
のラインを検出し、その結果を単に運転者乃至操舵機構
等の走行制御部に出力することも可能である。

【００３２】図７にはこのような場合の全体構成ブロッ
ク図が示されている。図１と異なる点は、画像処理装置
５の画像認識処理部１０で得られた望遠画像内のライン
位置検出結果を直接表示部１２及び車両制御部１３に出
力している点である。

【００３３】更に、本実施形態においては図３に示され
るように広角画像２０の中心と望遠画像３０の中心を一
致させているが、両画像の位置関係は任意に設定するこ
とが可能である。図８には両画像の位置関係の例が模式
的に示されている。（Ａ）は本実施形態の場合であり、
広角画像２０の中心に望遠画像３０が設定されている例
である。一方、（Ｂ）は広角画像２０内に望遠画像３０
が設定されているものの、両者の中心が異なる場合であ
る。更に、（Ｃ）は広角画像２０と望遠画像３０が互い
に異なる領域をカバーしている場合である。いずれの場
合でも、広角画像２０と望遠画像３０との相対的位置関
係が既知であれば広角画像２０内で検出したライン位置
から望遠画像３０内におけるライン位置を推定すること
は可能であり、望遠画像３０内に探知範囲を設定するこ
とが可能であることは明らかである。

【００３４】

【発明の効果】以上説明したように、本発明によれば、
車両挙動が存在しても望遠画像内におけるラインを確実
に検出することができ、これにより遠距離における路上
のラインを確実に検出することが可能となる。

【図面の簡単な説明】

【図１】 本発明の実施形態の全体構成ブロック図であ
る。

【図２】 本実施形態の処理フローチャートである。

【図３】 本実施形態における広角画像と望遠画像の位
置関係を示す説明図である。

【図４】 本実施形態における探知範囲設定説明図（そ
の１）である。

【図５】 本実施形態における探知範囲設定説明図（そ
の２）である。

【図６】 本実施形態における探知範囲設定説明図（そ
の３）である。

【図７】 本発明の他の実施形態の全体構成ブロック図
である。

【図８】 本発明における広角画像と望遠画像の他の位
置関係を示す説明図である。

【符号の説明】

１ 広角レンズ付ＣＣＤカメラ、２ 望遠レンズ付ＣＣ
Ｄカメラ、３ 同期出力アンプ、４ 外部同期アンプ、
５ 画像処理装置、１１ 障害物認識部、１２表示部、
１３ 車両制御部、２０ 広角画像、３０ 望遠画像、
１００，１０２，１０４，１０６，１０８，１１０ 探
知範囲。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 車載カメラで得られた近距離画像及び望
   遠画像から遠距離における路上のラインを検出するライ
   ン検出装置であって、 前記近距離画像と前記望遠画像の位置関係及び前記近距
   離画像内で検出されたライン位置に基づいて前記望遠画
   像におけるライン位置を推定し、該推定結果に基づいて
   前記望遠画像におけるライン探知範囲を設定する処理手
   段を有することを特徴とするライン検出装置。
2. 【請求項２】 前記処理手段は、前記推定したライン位
   置と前記望遠画像内に設定した複数の縦直線との交点近
   傍を前記探知範囲に設定することを特徴とする請求項１
   記載のライン検出装置。
3. 【請求項３】 前記処理手段は、前記推定したライン位
   置と前記望遠画像内に設定した横直線との交点近傍を前
   記探知範囲に設定することを特徴とする請求項１記載の
   ライン検出装置。
4. 【請求項４】 前記処理手段は、前記推定したライン位
   置に応じて前記縦直線の位置または前記横直線の位置を
   シフトさせることを特徴とする請求項２または請求項３
   記載のライン検出装置。