JPH0674732A - 走路認識装置 - Google Patents
走路認識装置Info
- Publication number
- JPH0674732A JPH0674732A JP5009279A JP927993A JPH0674732A JP H0674732 A JPH0674732 A JP H0674732A JP 5009279 A JP5009279 A JP 5009279A JP 927993 A JP927993 A JP 927993A JP H0674732 A JPH0674732 A JP H0674732A
- Authority
- JP
- Japan
- Prior art keywords
- data
- angle
- lane marker
- image data
- radius
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 走行路に描かれたレーンマーカーに対する走
行車両のヨー角を精度良く測定する。 【構成】 撮像装置から撮像データを走行路面に対して
平行に対向する２次元座標に投影された画像データに変
換し、その撮像データを走行車両の進行方向に対して前
後２以上の画像データに分割し、夫々の画像データに基
づいて半径と角度で規定される極座標上での２次元パワ
ースペクトラムを求め、更に夫々の２次元パワースペク
トラムに基づいて上記角度毎のエネルギー分布を求める
と共に夫々の最大エネルギーに対する角度を求め、更に
所定の２個の角度についての角度差に対して予め決めら
れたレーンマーカーの半径又は曲率を求め、該半径又は
曲率と上記最大エネルギーに対する角度に対して予め決
められた相関データからヨー角を判定するようにした。
行車両のヨー角を精度良く測定する。 【構成】 撮像装置から撮像データを走行路面に対して
平行に対向する２次元座標に投影された画像データに変
換し、その撮像データを走行車両の進行方向に対して前
後２以上の画像データに分割し、夫々の画像データに基
づいて半径と角度で規定される極座標上での２次元パワ
ースペクトラムを求め、更に夫々の２次元パワースペク
トラムに基づいて上記角度毎のエネルギー分布を求める
と共に夫々の最大エネルギーに対する角度を求め、更に
所定の２個の角度についての角度差に対して予め決めら
れたレーンマーカーの半径又は曲率を求め、該半径又は
曲率と上記最大エネルギーに対する角度に対して予め決
められた相関データからヨー角を判定するようにした。
Description
【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、走行路に記載表示され
たレーンマーカーに対する走行車両の進行方向との成す
角度を判定することによって、正規走行からのズレを認
識する走路認識装置に関する。
たレーンマーカーに対する走行車両の進行方向との成す
角度を判定することによって、正規走行からのズレを認
識する走路認識装置に関する。
【０００２】
【従来の技術】かかる走路認識装置は、例えば高速道路
等を走行している際に車両が正規の走行路から逸脱する
と、これを自動認識して運転席に設けられているディス
プレイ装置に正規の走行路からのズレを画像表示したり
ブザーを鳴動させる等して、運転者に異常を警告したり
安全運転の励行を示唆する等の運転支援装置に適用され
たり、正規の走行路に沿うように画像認識しながら自走
する物資搬送ロボットや自律移動車両等、広範囲の技術
に適用されている。
等を走行している際に車両が正規の走行路から逸脱する
と、これを自動認識して運転席に設けられているディス
プレイ装置に正規の走行路からのズレを画像表示したり
ブザーを鳴動させる等して、運転者に異常を警告したり
安全運転の励行を示唆する等の運転支援装置に適用され
たり、正規の走行路に沿うように画像認識しながら自走
する物資搬送ロボットや自律移動車両等、広範囲の技術
に適用されている。
【０００３】そして、この走路認識装置は、車両が走行
すべき経路に沿って予め記載表示されたラインマーカー
（道路面に記載表示された所謂センターラインや、工場
内等の床に記載表示された走行線等）を撮像するビデオ
カメラと、この撮像によって得られる撮像データに対し
てエッジ検出等を行うことによってレーンマーカーを含
む領域とそれ以外の領域とを分別する領域判別手段と、
該領域判別手段で分別されたレーンマーカーの領域の撮
像データに基づいて、認識処理の対象とすべきレーンマ
ーカーの撮像データを抽出する抽出手段と、該抽出手段
から得られた撮像データに基づいてハフ変換(Hough Tra
nsform) 等の信号処理を行うことによってレーンマーカ
ーと車両の進行方向との成す角（以下、ヨー角という）
を判定する確定手段等で構成されている。そして、ヨー
角が大きい場合には、車両が正規の経路方向に沿って走
行していないと判断して上記の異常警報等を発したり、
進路を正規の経路に復帰させる等の制御に適用される。
尚、これらの信号処理を行う領域判別手段、抽出手段、
確定手段等は、演算機能を備えたマイクロプロセッサ等
で実現されている。
すべき経路に沿って予め記載表示されたラインマーカー
（道路面に記載表示された所謂センターラインや、工場
内等の床に記載表示された走行線等）を撮像するビデオ
カメラと、この撮像によって得られる撮像データに対し
てエッジ検出等を行うことによってレーンマーカーを含
む領域とそれ以外の領域とを分別する領域判別手段と、
該領域判別手段で分別されたレーンマーカーの領域の撮
像データに基づいて、認識処理の対象とすべきレーンマ
ーカーの撮像データを抽出する抽出手段と、該抽出手段
から得られた撮像データに基づいてハフ変換(Hough Tra
nsform) 等の信号処理を行うことによってレーンマーカ
ーと車両の進行方向との成す角（以下、ヨー角という）
を判定する確定手段等で構成されている。そして、ヨー
角が大きい場合には、車両が正規の経路方向に沿って走
行していないと判断して上記の異常警報等を発したり、
進路を正規の経路に復帰させる等の制御に適用される。
尚、これらの信号処理を行う領域判別手段、抽出手段、
確定手段等は、演算機能を備えたマイクロプロセッサ等
で実現されている。
【０００４】更に、車両の走行に対してリアルタイムで
処理するため、即ち、高速処理を実現するために、上記
抽出手段で求められたレーンマーカーの撮像データを、
レーンマーカーに沿って複数の小領域毎の撮像データに
区分けし、その区分けされた小領域内に含まれるレーン
マーカーの細かな部分についてのみ画像処理することに
よってデータの処理量を低減し、上記高速化を行うよう
にしている。
処理するため、即ち、高速処理を実現するために、上記
抽出手段で求められたレーンマーカーの撮像データを、
レーンマーカーに沿って複数の小領域毎の撮像データに
区分けし、その区分けされた小領域内に含まれるレーン
マーカーの細かな部分についてのみ画像処理することに
よってデータの処理量を低減し、上記高速化を行うよう
にしている。
【０００５】又、カーブした走行路に対応してレーンマ
ーカーが弧を描いているような場合には、その弧を１又
は２以上の特定半径の円で近似処理することによって曲
率を求め、その半径と曲率に基づいて円の接線方向に対
するヨー角を求める等の補正処理を行っている。
ーカーが弧を描いているような場合には、その弧を１又
は２以上の特定半径の円で近似処理することによって曲
率を求め、その半径と曲率に基づいて円の接線方向に対
するヨー角を求める等の補正処理を行っている。
【０００６】
【発明が解決しようとする課題】ところで、このような
走路認識装置において、ヨー角を高精度で判定するため
に、次のような解決すべき課題があった。第１に、ビデ
オカメラの受像面（以下、画角という）に投影される走
行路画像には、レーンマーカーだけでなく家屋や樹々等
の背景画像が含まれるので、これらの処理対象でない背
景画像とレーンマーカーの画像とを精度良く分離する必
要があることから、処理の複雑化と処理の遅延化を招く
問題があった。第２に、レーンマーカーの生の撮像デー
タには路面の画像等も含まれるので、不要な路面画像等
を排除してレーンマーカーの軌跡のみを現わす特徴デー
タを抽出するには処理量が膨大となり、高速処理が困難
となる問題があった。第３に、第１，第２の課題を解決
するための一手法として、前記のレーンマーカーに沿っ
て複数の小領域毎の撮像データに区分けし、その区分け
された小領域内に含まれるレーンマーカーの細かな部分
についてのみ画像処理することで処理データ量を低減す
る場合には、レーンマーカーの画像を細かく区切ってし
まうのでレーンマーカー全体の特徴を抽出することが困
難となり、ヨー角の判定精度が低下する。即ち、小領域
毎のレーンマーカーの部分には、かすれや損傷、破断し
た部分等が特徴として顕著となるので、本来のレーンマ
ーカーの軌跡の特徴を正確に抽出することができない。
そして、これらの小領域から得られる夫々の特徴からレ
ーンマーカー全体の特徴を得ようとすれば、更に他の補
正手段が必要となり、装置の大型化等を招来する。
走路認識装置において、ヨー角を高精度で判定するため
に、次のような解決すべき課題があった。第１に、ビデ
オカメラの受像面（以下、画角という）に投影される走
行路画像には、レーンマーカーだけでなく家屋や樹々等
の背景画像が含まれるので、これらの処理対象でない背
景画像とレーンマーカーの画像とを精度良く分離する必
要があることから、処理の複雑化と処理の遅延化を招く
問題があった。第２に、レーンマーカーの生の撮像デー
タには路面の画像等も含まれるので、不要な路面画像等
を排除してレーンマーカーの軌跡のみを現わす特徴デー
タを抽出するには処理量が膨大となり、高速処理が困難
となる問題があった。第３に、第１，第２の課題を解決
するための一手法として、前記のレーンマーカーに沿っ
て複数の小領域毎の撮像データに区分けし、その区分け
された小領域内に含まれるレーンマーカーの細かな部分
についてのみ画像処理することで処理データ量を低減す
る場合には、レーンマーカーの画像を細かく区切ってし
まうのでレーンマーカー全体の特徴を抽出することが困
難となり、ヨー角の判定精度が低下する。即ち、小領域
毎のレーンマーカーの部分には、かすれや損傷、破断し
た部分等が特徴として顕著となるので、本来のレーンマ
ーカーの軌跡の特徴を正確に抽出することができない。
そして、これらの小領域から得られる夫々の特徴からレ
ーンマーカー全体の特徴を得ようとすれば、更に他の補
正手段が必要となり、装置の大型化等を招来する。
【０００７】本発明は、このような従来技術における各
種の問題点を解決し、高速処理及び高精度でヨー角を判
定することができる走路認識装置を提供することを目的
とする。
種の問題点を解決し、高速処理及び高精度でヨー角を判
定することができる走路認識装置を提供することを目的
とする。
【０００８】
【課題を解決するための手段】このような目的を達成す
るために本発明は、走行路に表示されたレーンマーカー
を走行車両に設けられた撮像装置によって撮像し、該撮
像されたレーンマーカーの撮像データに基づいて、該レ
ーンマーカーの半径又は曲率と、走行車両のヨー角を判
定する走路認識装置を対象とし、上記撮像装置の光軸に
対して直交する２次元座標上に在る受像面で得られた前
記撮像データを、前記走行路面に対して平行に対向する
２次元座標に投影された画像データに変換するデータ変
換手段と、前記撮像データを、前記走行車両の進行方向
に対して前後２以上の撮像領域における夫々の画像デー
タに分割するデータ分割手段と、夫々の画像データに基
づいて、半径と角度で規定される極座標上での２次元パ
ワースペクトラムを求める演算手段と、夫々の２次元パ
ワースペクトラムに基づいて上記角度毎のエネルギー分
布を求めると共に夫々の最大エネルギーに対する角度を
求め、更に所定の２個の角度についての角度差に対して
予め決められた第一の相関データからレーンマーカーの
半径又は曲率を求め、該半径又は曲率と上記最大エネル
ギーに対する角度に対して、予め決められた第二の相関
データから前記ヨー角を判定する判定手段とを有する構
成とした。
るために本発明は、走行路に表示されたレーンマーカー
を走行車両に設けられた撮像装置によって撮像し、該撮
像されたレーンマーカーの撮像データに基づいて、該レ
ーンマーカーの半径又は曲率と、走行車両のヨー角を判
定する走路認識装置を対象とし、上記撮像装置の光軸に
対して直交する２次元座標上に在る受像面で得られた前
記撮像データを、前記走行路面に対して平行に対向する
２次元座標に投影された画像データに変換するデータ変
換手段と、前記撮像データを、前記走行車両の進行方向
に対して前後２以上の撮像領域における夫々の画像デー
タに分割するデータ分割手段と、夫々の画像データに基
づいて、半径と角度で規定される極座標上での２次元パ
ワースペクトラムを求める演算手段と、夫々の２次元パ
ワースペクトラムに基づいて上記角度毎のエネルギー分
布を求めると共に夫々の最大エネルギーに対する角度を
求め、更に所定の２個の角度についての角度差に対して
予め決められた第一の相関データからレーンマーカーの
半径又は曲率を求め、該半径又は曲率と上記最大エネル
ギーに対する角度に対して、予め決められた第二の相関
データから前記ヨー角を判定する判定手段とを有する構
成とした。
【０００９】
【作用】このような構成を有する本発明の走路認識装置
は、上記半径と角度で規定される極座標上での２次元パ
ワースペクトラムが、走行車両とレーンマーカーとの成
す角に沿って高いエネルギー分布を示すという特性を利
用したものである。更に、２以上の撮像領域毎にこの２
次元パワースペクトラムを求めて夫々の最大エネルギー
に対する角度を求め、更に、これらの角度差に基づいて
レーンマーカーの曲率または半径を求めるようにしたの
で、精度良く曲率または半径が求まる。そして、これら
の曲率または半径に基づいてヨー角を求めるので、走行
路に対する車両の進行方向のズレを高い精度で求めるこ
とができる。
は、上記半径と角度で規定される極座標上での２次元パ
ワースペクトラムが、走行車両とレーンマーカーとの成
す角に沿って高いエネルギー分布を示すという特性を利
用したものである。更に、２以上の撮像領域毎にこの２
次元パワースペクトラムを求めて夫々の最大エネルギー
に対する角度を求め、更に、これらの角度差に基づいて
レーンマーカーの曲率または半径を求めるようにしたの
で、精度良く曲率または半径が求まる。そして、これら
の曲率または半径に基づいてヨー角を求めるので、走行
路に対する車両の進行方向のズレを高い精度で求めるこ
とができる。
【００１０】又、撮像装置を車両の高所部分に設置し
て、その光軸を俯角を持って走行路側へ向けることで走
行路外の不要な映像を遮断することができるので、ヨー
角をより精度良く求めることができる。
て、その光軸を俯角を持って走行路側へ向けることで走
行路外の不要な映像を遮断することができるので、ヨー
角をより精度良く求めることができる。
【００１１】
【実施例】以下、本発明の一実施例を図面と共に説明す
る。まず、自動車等の車両に設置する場合には、図１に
示すように、車両２の高所部分にビデオカメラや電子ス
チルカメラ等の電子撮像装置４が設置され、電子撮像装
置４の撮像によって得られるフレーム画の撮像データを
信号処理する走路認識装置の本体部分６と、処理結果を
表示するディスプレイ装置や警報時に鳴動を行う警報装
置等の表示装置８とが車両２内等に設置されている。こ
こで、電子撮像装置４は、受光軸が走行路１０の路面前
方を所定の俯角をもって指向するように設置される結
果、車両２の前方の所定の路面範囲（電子撮像装置４の
画角で設定される範囲）Ｗを、斜め上方から見下すよう
にして撮像するようになっている。
る。まず、自動車等の車両に設置する場合には、図１に
示すように、車両２の高所部分にビデオカメラや電子ス
チルカメラ等の電子撮像装置４が設置され、電子撮像装
置４の撮像によって得られるフレーム画の撮像データを
信号処理する走路認識装置の本体部分６と、処理結果を
表示するディスプレイ装置や警報時に鳴動を行う警報装
置等の表示装置８とが車両２内等に設置されている。こ
こで、電子撮像装置４は、受光軸が走行路１０の路面前
方を所定の俯角をもって指向するように設置される結
果、車両２の前方の所定の路面範囲（電子撮像装置４の
画角で設定される範囲）Ｗを、斜め上方から見下すよう
にして撮像するようになっている。
【００１２】更に、走路認識装置の本体部分６は、図２
に示すように、電子撮像装置４が出力するフレーム画の
撮像データＶＤを受信して前処理を行う画像変換及び画
像分割部１２と、画像変換及び画像分割部１２の処理に
よって得られる画像データをフーリエ変換することによ
って画像データのパワースペクトラムを求める２次元パ
ワースペクトラム演算部１４と、２次元パワースペクト
ラム演算部１４で求められた直交座標系における２次元
のパワースペクトラムを半径と角度で規定される極座標
系の２次元のパワースペクトラムに変換し、更に、角度
毎のパワースペクトラムの積分演算を行うことによって
角度毎のエネルギー分布を求めるエネルギー分布演算部
１６と、該エネルギー分布が最大ピークとなるときの角
度をヨー角の特徴データとする特徴抽出部１８と、その
特徴データに基づいて最終的なヨー角を判定する判定部
２０を備えている。具体的には、これらの部分はマイク
ロプロセッサや論理回路等の演算機能を有する構成で実
現されている。
に示すように、電子撮像装置４が出力するフレーム画の
撮像データＶＤを受信して前処理を行う画像変換及び画
像分割部１２と、画像変換及び画像分割部１２の処理に
よって得られる画像データをフーリエ変換することによ
って画像データのパワースペクトラムを求める２次元パ
ワースペクトラム演算部１４と、２次元パワースペクト
ラム演算部１４で求められた直交座標系における２次元
のパワースペクトラムを半径と角度で規定される極座標
系の２次元のパワースペクトラムに変換し、更に、角度
毎のパワースペクトラムの積分演算を行うことによって
角度毎のエネルギー分布を求めるエネルギー分布演算部
１６と、該エネルギー分布が最大ピークとなるときの角
度をヨー角の特徴データとする特徴抽出部１８と、その
特徴データに基づいて最終的なヨー角を判定する判定部
２０を備えている。具体的には、これらの部分はマイク
ロプロセッサや論理回路等の演算機能を有する構成で実
現されている。
【００１３】更に各部の機能を詳述する。上述したよう
に、電子撮像装置４は、路面から所定の高さｈに設置さ
れると共に、走行路１０の前方の所定範囲Ｗに対して所
定の俯角αをもって設置されており、この幾何学的関係
を示すと図３のようになっている。そして、受光軸上に
設置された撮像光学系２２を介して入射される範囲Ｗの
画像は、受光軸に対して直交して配置される２次元固体
撮像素子（ＣＣＤ）の受像面２４に結像される。この結
果、受像面２４には、所定範囲Ｗ中に含まれるレーンマ
ーカーが遠方になるほど狭まり、近い部分ほど大きな画
像となって結像されることとなる。
に、電子撮像装置４は、路面から所定の高さｈに設置さ
れると共に、走行路１０の前方の所定範囲Ｗに対して所
定の俯角αをもって設置されており、この幾何学的関係
を示すと図３のようになっている。そして、受光軸上に
設置された撮像光学系２２を介して入射される範囲Ｗの
画像は、受光軸に対して直交して配置される２次元固体
撮像素子（ＣＣＤ）の受像面２４に結像される。この結
果、受像面２４には、所定範囲Ｗ中に含まれるレーンマ
ーカーが遠方になるほど狭まり、近い部分ほど大きな画
像となって結像されることとなる。
【００１４】ここで、この実施例では、２次元固体撮像
素子の画素群で撮像されたピクセルデータ群からなる撮
像データＶＤを直交座標系（ｘ−ｙ）のフレーム画像デ
ータとして画像変換及び画像分割部１２へ出力される。
素子の画素群で撮像されたピクセルデータ群からなる撮
像データＶＤを直交座標系（ｘ−ｙ）のフレーム画像デ
ータとして画像変換及び画像分割部１２へ出力される。
【００１５】画像変換及び画像分割部１２は、直交座標
系（ｘ−ｙ）で表された上記撮像データＶＤを、走行路
１０の路面に対して平行に対向する仮想投影面の直交座
標系（Ｘ−Ｙ）の画像データＤＤにデータ変換する。即
ち、直交座標系（ｘ−ｙ）の撮像データＶＤは、例えば
図４（ａ）に示すように、車両からの遠近差に起因して
遠い所の像は小さく、近い所の像はそれに較べて大きく
なるので、図４（ｂ）に示すように、走行路の路面に対
して鉛直方向から撮像した場合に相当する直交座標系
（Ｘ−Ｙ）の画像データＤＤにデータ変換して、この遠
近差の影響を無くすようにしている。この結果、画像デ
ータＤＤは車両２の進行方向をＹ軸、それに直交する方
向をＸ軸とする直交座標データとなる。尚、この座標変
換は、高さをｈ、俯角をα、撮像光学系の焦点距離をｆ
とすると、次式(1)(2)によって求められる。
系（ｘ−ｙ）で表された上記撮像データＶＤを、走行路
１０の路面に対して平行に対向する仮想投影面の直交座
標系（Ｘ−Ｙ）の画像データＤＤにデータ変換する。即
ち、直交座標系（ｘ−ｙ）の撮像データＶＤは、例えば
図４（ａ）に示すように、車両からの遠近差に起因して
遠い所の像は小さく、近い所の像はそれに較べて大きく
なるので、図４（ｂ）に示すように、走行路の路面に対
して鉛直方向から撮像した場合に相当する直交座標系
（Ｘ−Ｙ）の画像データＤＤにデータ変換して、この遠
近差の影響を無くすようにしている。この結果、画像デ
ータＤＤは車両２の進行方向をＹ軸、それに直交する方
向をＸ軸とする直交座標データとなる。尚、この座標変
換は、高さをｈ、俯角をα、撮像光学系の焦点距離をｆ
とすると、次式(1)(2)によって求められる。
【００１６】
【数１】
【００１７】更に、このようにして求められた画像デー
タＤＤについてエッジ強調処理を施すことによって、レ
ーンマーカーの映像を路面映像に対して鮮明化させ、次
に、進行方向の前方領域Ａの画像データＤＤＡと後方領
域Ｂの画像データＤＤＢに分割して、夫々を２次元パワ
ースペクトラム演算部１４に供給する。
タＤＤについてエッジ強調処理を施すことによって、レ
ーンマーカーの映像を路面映像に対して鮮明化させ、次
に、進行方向の前方領域Ａの画像データＤＤＡと後方領
域Ｂの画像データＤＤＢに分割して、夫々を２次元パワ
ースペクトラム演算部１４に供給する。
【００１８】２次元パワースペクトラム演算部１４は、
画像データＤＤＡについて高速フーリエ変換（ＦＦＴ）
して、そのフーリエ変換で得られる直交座標系における
パワースペクトラムを、半径ｒと角度θで規定される極
座標系のパワースペクトラム｜ＦA （ｒ，θ）｜2 に座
標変換することで、図４（ｃ）に示すような分布を得
る。画像データＤＤＢについても同様に、高速フーリエ
変換（ＦＦＴ）して、そのフーリエ変換で得られる直交
座標系におけるパワースペクトラムを、半径ｒと角度θ
で規定される極座標系のパワースペクトラム｜Ｆ
B （ｒ，θ）｜2 に座標変換することで、図４（ｄ）に
示すような分布を得る。このような演算処理を行うと、
図４（ｃ）（ｄ）において、角度θ＝０°の基準座標Ｌ
０に対してある角度θ１の方向Ｌ１や、角度θ２の方向
Ｌ２に沿って、レーンマーカーの軌跡の特徴を示す特有
のスペクトラム分布が現れる。
画像データＤＤＡについて高速フーリエ変換（ＦＦＴ）
して、そのフーリエ変換で得られる直交座標系における
パワースペクトラムを、半径ｒと角度θで規定される極
座標系のパワースペクトラム｜ＦA （ｒ，θ）｜2 に座
標変換することで、図４（ｃ）に示すような分布を得
る。画像データＤＤＢについても同様に、高速フーリエ
変換（ＦＦＴ）して、そのフーリエ変換で得られる直交
座標系におけるパワースペクトラムを、半径ｒと角度θ
で規定される極座標系のパワースペクトラム｜Ｆ
B （ｒ，θ）｜2 に座標変換することで、図４（ｄ）に
示すような分布を得る。このような演算処理を行うと、
図４（ｃ）（ｄ）において、角度θ＝０°の基準座標Ｌ
０に対してある角度θ１の方向Ｌ１や、角度θ２の方向
Ｌ２に沿って、レーンマーカーの軌跡の特徴を示す特有
のスペクトラム分布が現れる。
【００１９】次に、エネルギー分布演算部１６は、画像
データＤＤＡに基づく極座標系のパワースペクトラム｜
ＦA （ｒ，θ）｜2 を、０°≦θ≦１８０°の角度範囲
で所定の角度Δθ毎に積分し、図４（ｅ）に示すような
エネルギー分布のデータＦＡ（θ）を求め、更に、画像
データＤＤＢに基づく極座標系のパワースペクトラム｜
ＦB （ｒ，θ）｜2 に対しても同様に、０°≦θ≦１８
０°の角度範囲で所定の角度Δθ毎に積分し、図４
（ｆ）に示すようなエネルギー分布のデータＦＢ（θ）
を求める。
データＤＤＡに基づく極座標系のパワースペクトラム｜
ＦA （ｒ，θ）｜2 を、０°≦θ≦１８０°の角度範囲
で所定の角度Δθ毎に積分し、図４（ｅ）に示すような
エネルギー分布のデータＦＡ（θ）を求め、更に、画像
データＤＤＢに基づく極座標系のパワースペクトラム｜
ＦB （ｒ，θ）｜2 に対しても同様に、０°≦θ≦１８
０°の角度範囲で所定の角度Δθ毎に積分し、図４
（ｆ）に示すようなエネルギー分布のデータＦＢ（θ）
を求める。
【００２０】このような積分演算を行うと、上述したレ
ーンマーカーの軌跡特徴に対応する特有のスペクトラム
分布のピークが現れ、その最大ピークに対応する角度θ
１とθ２が求められる。
ーンマーカーの軌跡特徴に対応する特有のスペクトラム
分布のピークが現れ、その最大ピークに対応する角度θ
１とθ２が求められる。
【００２１】特徴抽出部１８は、エネルギー分布演算部
１６で求められた角度θ１とθ２をレーンマーカーの特
徴データとする。尚、特徴データθ１は前方領域Ａに含
まれるレーンマーカーの向きと車両２の進行方向との成
す角度を精度良く表し、特徴データθ２は後方領域Ｂに
含まれるレーンマーカーの向きと車両２の進行方向との
成す角度を精度良く表現する。
１６で求められた角度θ１とθ２をレーンマーカーの特
徴データとする。尚、特徴データθ１は前方領域Ａに含
まれるレーンマーカーの向きと車両２の進行方向との成
す角度を精度良く表し、特徴データθ２は後方領域Ｂに
含まれるレーンマーカーの向きと車両２の進行方向との
成す角度を精度良く表現する。
【００２２】判定部２０は、図５に示すような、特徴デ
ータθ２とθ１の差の絶対値｜θ２−θ１｜に対するレ
ーンマーカーの近似半径ｒの相関データを第１のルック
アップテーブルとして内蔵すると共に、図６に示すよう
な、レーンマーカーの近似半径をパラメータとして、特
徴データθ１又はθ２或いはこれらの平均値（θ１＋θ
２）／２に対するヨー角の相関データを第２のルックア
ップテーブルとして予め具備している。
ータθ２とθ１の差の絶対値｜θ２−θ１｜に対するレ
ーンマーカーの近似半径ｒの相関データを第１のルック
アップテーブルとして内蔵すると共に、図６に示すよう
な、レーンマーカーの近似半径をパラメータとして、特
徴データθ１又はθ２或いはこれらの平均値（θ１＋θ
２）／２に対するヨー角の相関データを第２のルックア
ップテーブルとして予め具備している。
【００２３】尚、図５に示す相関データは、次の手法に
よって予め作成されＲＯＭ等に記憶されたものである。
即ち、図７に示すように、まず、電子撮像装置４の受光
軸の方向と車両２の進行方向が一致し、前記（Ｘ−Ｙ）
直交座標系を適用するものとし、電子撮像装置４の受像
面の中心を必ず円弧が通過する等しい半径ｒの複数の円
Ｒ１，Ｒ２，Ｒ３…を仮想的に設定し、更に、夫々の円
Ｒ１，Ｒ２，Ｒ３…の線分中、電子撮像装置４の画角に
対応する前記撮像範囲Ｗに含まれる円弧部分ΔＲ１，Δ
Ｒ２，ΔＲ３…のみのデータを、カーブしたレーンマー
カーの軌跡と近似する。
よって予め作成されＲＯＭ等に記憶されたものである。
即ち、図７に示すように、まず、電子撮像装置４の受光
軸の方向と車両２の進行方向が一致し、前記（Ｘ−Ｙ）
直交座標系を適用するものとし、電子撮像装置４の受像
面の中心を必ず円弧が通過する等しい半径ｒの複数の円
Ｒ１，Ｒ２，Ｒ３…を仮想的に設定し、更に、夫々の円
Ｒ１，Ｒ２，Ｒ３…の線分中、電子撮像装置４の画角に
対応する前記撮像範囲Ｗに含まれる円弧部分ΔＲ１，Δ
Ｒ２，ΔＲ３…のみのデータを、カーブしたレーンマー
カーの軌跡と近似する。
【００２４】ここで、円Ｒ２の中心ＯR2が座標軸Ｘ上に
あることから、円弧部分ΔＲ２に対する車両２の進行方
向Ｙの成すヨー角をθ＝０°と決める。又、車両２より
前方側に中心ＯR3を有する円Ｒ３の円弧部分ΔＲ３に対
する車両２の進行方向Ｙの成すヨー角をθ+y、逆に、車
両２より後方側に中心ＯR1を有する円Ｒ１の円弧部分Δ
Ｒ１に対する車両２の進行方向Ｙの成すヨー角をθ-yと
する。即ち、ここで定義されるヨー角は、座標軸Ｘを基
準にして夫々の円Ｒ１，Ｒ２，Ｒ３…の中心ＯR1，
ＯR2，ＯR3…と電子撮像装置４の受像面の中心を結ぶ線
との成す角度を言う。
あることから、円弧部分ΔＲ２に対する車両２の進行方
向Ｙの成すヨー角をθ＝０°と決める。又、車両２より
前方側に中心ＯR3を有する円Ｒ３の円弧部分ΔＲ３に対
する車両２の進行方向Ｙの成すヨー角をθ+y、逆に、車
両２より後方側に中心ＯR1を有する円Ｒ１の円弧部分Δ
Ｒ１に対する車両２の進行方向Ｙの成すヨー角をθ-yと
する。即ち、ここで定義されるヨー角は、座標軸Ｘを基
準にして夫々の円Ｒ１，Ｒ２，Ｒ３…の中心ＯR1，
ＯR2，ＯR3…と電子撮像装置４の受像面の中心を結ぶ線
との成す角度を言う。
【００２５】そして、これらの円弧部分ΔＲ１，ΔＲ
２，ΔＲ３…の夫々について、画角に対応する前記範囲
Ｗの前方領域Ａと後方領域Ｂの部分毎に、前述したフー
ルエ変換を行うと共に極座標系におけるパワースペクト
ラムを求め、更に、前述した所定の角度Δθ毎に積分す
ることによってエレルギー分布を求め、エネルギー分布
がピークとなるときの夫々の角度θ２とθ１の差の絶対
値｜θ２−θ１｜の値と夫々の円弧部分ΔＲ１，ΔＲ
２，ΔＲ３…の半径ｒとの相関関係を示す相関データを
第１のルックアップテーブルとして作成し、更に、角度
θ１又はθ２或いはこれらの平均値（θ１＋θ２）／２
に対するヨー角の相関データを第２のルックアップテー
ブルとして作成する。更に、一種類の半径ｒについての
相関データだけでなく、他の複数種類の半径ｒについて
の相関データと、走行方向に延びる直線をレーンマーカ
ーとした場合の相関データも第１，第２のルックアップ
テーブルに格納する。更に、図７に示した近似手法で
は、走行車両の進行方向Ｙに対して図の左側の座標領域
内に中心を有する円を適用しているが、走行車両の進行
方向Ｙに対して図の右側の座標領域内に中心を有する複
数種類の半径ｒの円を適用した場合についての相関デー
タも同時に作成する。即ち、図中の直交座標（Ｘ−Ｙ）
の原点Ｏに対して左側（マイナス方向の座標）に中心を
有する円の領域Ｗ内における接線方向は車両進行方向Ｙ
に対して左側方向となり、逆に原点Ｏに対して右側（プ
ラス方向の座標）に中心を有する円の領域Ｗ内における
接線方向は車両進行方向Ｙに対して右側方向となるの
で、左方向にカーブするラインマーカーと右方向にカー
ブするラインマーカーの両方の相関データを得るように
している。
２，ΔＲ３…の夫々について、画角に対応する前記範囲
Ｗの前方領域Ａと後方領域Ｂの部分毎に、前述したフー
ルエ変換を行うと共に極座標系におけるパワースペクト
ラムを求め、更に、前述した所定の角度Δθ毎に積分す
ることによってエレルギー分布を求め、エネルギー分布
がピークとなるときの夫々の角度θ２とθ１の差の絶対
値｜θ２−θ１｜の値と夫々の円弧部分ΔＲ１，ΔＲ
２，ΔＲ３…の半径ｒとの相関関係を示す相関データを
第１のルックアップテーブルとして作成し、更に、角度
θ１又はθ２或いはこれらの平均値（θ１＋θ２）／２
に対するヨー角の相関データを第２のルックアップテー
ブルとして作成する。更に、一種類の半径ｒについての
相関データだけでなく、他の複数種類の半径ｒについて
の相関データと、走行方向に延びる直線をレーンマーカ
ーとした場合の相関データも第１，第２のルックアップ
テーブルに格納する。更に、図７に示した近似手法で
は、走行車両の進行方向Ｙに対して図の左側の座標領域
内に中心を有する円を適用しているが、走行車両の進行
方向Ｙに対して図の右側の座標領域内に中心を有する複
数種類の半径ｒの円を適用した場合についての相関デー
タも同時に作成する。即ち、図中の直交座標（Ｘ−Ｙ）
の原点Ｏに対して左側（マイナス方向の座標）に中心を
有する円の領域Ｗ内における接線方向は車両進行方向Ｙ
に対して左側方向となり、逆に原点Ｏに対して右側（プ
ラス方向の座標）に中心を有する円の領域Ｗ内における
接線方向は車両進行方向Ｙに対して右側方向となるの
で、左方向にカーブするラインマーカーと右方向にカー
ブするラインマーカーの両方の相関データを得るように
している。
【００２６】図５は第１のルックアップテーブルに格納
される相関データの一例、図６は第２のルックアップテ
ーブルに格納される相関データの一例を示す。尚、図６
において、カーブ半径にプラス又はマイナスの符号が付
けられているのは、例えば、マイナス符号のカーブ半径
が左方向にカーブするラインマーカーの相関データに関
し、プラス符号のカーブ半径が右方向にカーブするライ
ンマーカーの相関データに関するものである。
される相関データの一例、図６は第２のルックアップテ
ーブルに格納される相関データの一例を示す。尚、図６
において、カーブ半径にプラス又はマイナスの符号が付
けられているのは、例えば、マイナス符号のカーブ半径
が左方向にカーブするラインマーカーの相関データに関
し、プラス符号のカーブ半径が右方向にカーブするライ
ンマーカーの相関データに関するものである。
【００２７】そして、判定部２０は、特徴抽出部１８で
抽出された特徴データθ１とθ２に基づいて上記の第１
のルックアップテーブルの相関データ（図５参照）を検
索することによって、車両が走行している走行路のカー
ブまたはその曲率を求め、更に上記の第２のルックアッ
プテーブルの相関データ（図６参照）を検索することに
よって車両のヨー角を求める。
抽出された特徴データθ１とθ２に基づいて上記の第１
のルックアップテーブルの相関データ（図５参照）を検
索することによって、車両が走行している走行路のカー
ブまたはその曲率を求め、更に上記の第２のルックアッ
プテーブルの相関データ（図６参照）を検索することに
よって車両のヨー角を求める。
【００２８】この実施例によれば、図８に示すように、
走行路の延設方向に沿って描かれたラインマーカーが直
線の場合（同図（ａ）（ｂ））には、その描かれた方向
に対するヨー角の大きさと向きがθ+yとθ-yから求ま
り、ラインマーカーがカーブする場合（同図（ｃ）〜
（ｆ））には、ラインマーカーの接線方向に対するヨー
角の大きさと向きがθ+yとθ-yから求まる。更に、電子
撮像装置４の画角に対応する領域Ｗを上記２領域Ａ，Ｂ
に区分してこれら領域に含まれるラインマーカー毎の特
徴データθ２とθ１の差の絶対値｜θ２−θ１｜を求め
るので、特にカーブしているラインマーカーの曲率及び
接線方向の特徴が精度良く得られる。
走行路の延設方向に沿って描かれたラインマーカーが直
線の場合（同図（ａ）（ｂ））には、その描かれた方向
に対するヨー角の大きさと向きがθ+yとθ-yから求ま
り、ラインマーカーがカーブする場合（同図（ｃ）〜
（ｆ））には、ラインマーカーの接線方向に対するヨー
角の大きさと向きがθ+yとθ-yから求まる。更に、電子
撮像装置４の画角に対応する領域Ｗを上記２領域Ａ，Ｂ
に区分してこれら領域に含まれるラインマーカー毎の特
徴データθ２とθ１の差の絶対値｜θ２−θ１｜を求め
るので、特にカーブしているラインマーカーの曲率及び
接線方向の特徴が精度良く得られる。
【００２９】
【発明の効果】以上説明したように本発明によれば、上
記半径と角度で規定される極座標上での２次元パワース
ペクトラムが、走行車両とレーンマーカーとの成す角に
沿って高いエネルギー分布を示すという特性を利用した
ものであり、更に、２以上の撮像領域毎にこの２次元パ
ワースペクトラムを求めて夫々の最大エネルギーに対す
る角度を求め、更に、これらの角度差に基づいてレーン
マーカーの曲率または半径を求めるようにしたので、精
度良く曲率または半径が求まる。そして、これらの曲率
または半径に基づいてヨー角を求めるので、走行路に対
する車両の進行方向のズレを高い精度で求めることがで
きる。又、撮像装置を車両の高所部分に設置して、その
受光軸を俯角を持って走行路側へ向けることで走行路外
の不要な映像を遮断することができるので、ヨー角をよ
り精度良く求めることができる。
記半径と角度で規定される極座標上での２次元パワース
ペクトラムが、走行車両とレーンマーカーとの成す角に
沿って高いエネルギー分布を示すという特性を利用した
ものであり、更に、２以上の撮像領域毎にこの２次元パ
ワースペクトラムを求めて夫々の最大エネルギーに対す
る角度を求め、更に、これらの角度差に基づいてレーン
マーカーの曲率または半径を求めるようにしたので、精
度良く曲率または半径が求まる。そして、これらの曲率
または半径に基づいてヨー角を求めるので、走行路に対
する車両の進行方向のズレを高い精度で求めることがで
きる。又、撮像装置を車両の高所部分に設置して、その
受光軸を俯角を持って走行路側へ向けることで走行路外
の不要な映像を遮断することができるので、ヨー角をよ
り精度良く求めることができる。
【図１】本発明の走路認識装置を自動車等に設置した状
態を示す説明図である。
態を示す説明図である。
【図２】実施例の走路認識装置の構成を示すブロック図
である。
である。
【図３】実施例の撮像原理を示す説明図である。
【図４】実施例の特徴抽出原理を示す説明図である。
【図５】特徴抽出されたデータに基づいてレーンマーカ
ーの半径を判定するための原理を説明する説明図であ
る。
ーの半径を判定するための原理を説明する説明図であ
る。
【図６】特徴抽出されたデータに基づいて車両のヨー角
を判定するための原理を説明する説明図である。
を判定するための原理を説明する説明図である。
【図７】レーンマーカーの半径と車両のヨー角を判定す
るために予め作成される相関データの作成原理を説明す
るための説明図である。
るために予め作成される相関データの作成原理を説明す
るための説明図である。
【図８】実施例の作用を説明するための説明図である。
２…車両、４…電子撮像装置、６…走路認識装置の本体
部分、８…表示装置、１０…走行路、１２画像変換及び
画像分割部、１４…２次元パワースペクトラム演算部、
１６…エネルギー分布演算部、１８…特徴抽出部、２０
…判定部、２２…撮像光学系。
部分、８…表示装置、１０…走行路、１２画像変換及び
画像分割部、１４…２次元パワースペクトラム演算部、
１６…エネルギー分布演算部、１８…特徴抽出部、２０
…判定部、２２…撮像光学系。
フロントページの続き (72)発明者 丸橋 幸雄 静岡県浜松市市野町1126番地の１ 浜松ホ トニクス株式会社内 (72)発明者 市江 更治 静岡県浜松市市野町1126番地の１ 浜松ホ トニクス株式会社内 (72)発明者 倉沢 一男 静岡県浜松市半田町3826番地の８
Claims (3)
- 【請求項１】 走行路に表示されたレーンマーカーを走
行車両に設けられた撮像装置によって撮像し、該撮像さ
れたレーンマーカーの撮像データに基づいて、 走行車
両の走行方向に対するレーンマーカーの形状を判定する
走路認識装置において、 前記撮像装置の光軸に対して直交する２次元座標上に在
る受像面で得られた前記撮像データを、前記走行路面に
対して平行に対向する２次元座標に投影された画像デー
タに変換するデータ変換手段と、 変換後の画像データを、前記走行車両の進行方向に対し
て前後２以上の撮像領域における夫々の画像データに分
割するデータ分割手段と、 分割後の夫々の画像データに基づいて、半径と角度で規
定される極座標上での２次元パワースペクトラムを求め
る演算手段と、 前記夫々の２次元パワースペクトラムに基づいて上記角
度毎のエネルギー分布を求めると共に夫々の最大エネル
ギーに対する角度を求め、更に所定の２個の角度につい
ての角度差に対して予め決められた第一の相関データか
らレーンマーカーの半径又は曲率を求める判定手段と、
を具備する走路認識装置。 - 【請求項２】 走行路に表示されたレーンマーカーを走
行車両に設けられた撮像装置によって撮像し、該撮像さ
れたレーンマーカーの撮像データに基づいて、 該レーンマーカーに対する走行車両のヨー角を判定する
走路認識装置において、 前記撮像装置の光軸に対して直交する２次元座標上に在
る受像面で得られた前記撮像データを、前記走行路面に
対して平行に対向する２次元座標に投影された画像デー
タに変換するデータ変換手段と、 変換後の画像データを、前記走行車両の進行方向に対し
て前後２以上の撮像領域における夫々の画像データに分
割するデータ分割手段と、 分割後の夫々の画像データに基づいて、半径と角度で規
定される極座標上での２次元パワースペクトラムを求め
る演算手段と、 前記夫々の２次元パワースペクトラムに基づいて上記角
度毎のエネルギー分布を求めると共に夫々の最大エネル
ギーに対する角度を求め、更に所定の２個の角度につい
ての角度差に対して予め決められた第一の相関データか
らレーンマーカーの半径又は曲率を求め、該半径又は曲
率と上記最大エネルギーに対する角度に対して、予め決
められた第二の相関データから前記ヨー角を判定する判
定手段と、 を具備する走路認識装置。 - 【請求項３】 前記撮像装置は走行車両の高所部分に設
置されると共に、受光軸が俯角を持って走行路側へ向け
られることを特徴とする請求項１又は請求項２に記載の
走路認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5009279A JPH0674732A (ja) | 1992-06-22 | 1993-01-22 | 走路認識装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4-162825 | 1992-06-22 | ||
| JP16282592 | 1992-06-22 | ||
| JP5009279A JPH0674732A (ja) | 1992-06-22 | 1993-01-22 | 走路認識装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0674732A true JPH0674732A (ja) | 1994-03-18 |
Family
ID=26343967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5009279A Pending JPH0674732A (ja) | 1992-06-22 | 1993-01-22 | 走路認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0674732A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0973543A (ja) * | 1995-09-06 | 1997-03-18 | Toshiba Corp | 画像処理装置 |
| US7227996B2 (en) | 2001-02-01 | 2007-06-05 | Matsushita Electric Industrial Co., Ltd. | Image processing method and apparatus for comparing edges between images |
-
1993
- 1993-01-22 JP JP5009279A patent/JPH0674732A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0973543A (ja) * | 1995-09-06 | 1997-03-18 | Toshiba Corp | 画像処理装置 |
| US7227996B2 (en) | 2001-02-01 | 2007-06-05 | Matsushita Electric Industrial Co., Ltd. | Image processing method and apparatus for comparing edges between images |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3566903B1 (en) | Method and apparatus for vehicle position detection | |
| USRE48106E1 (en) | Detection of obstacles at night by analysis of shadows | |
| CN109844762B (zh) | 车载用图像处理装置 | |
| EP0933725B1 (en) | Vehicle surroundings monitoring apparatus | |
| JP5829980B2 (ja) | 路側物検出装置 | |
| US7046822B1 (en) | Method of detecting objects within a wide range of a road vehicle | |
| EP2372304B1 (en) | Vehicle position recognition system | |
| EP1251032A2 (en) | Apparatus and method of recognizing vehicle travelling behind | |
| US20140320644A1 (en) | Determination of a height profile of the surroundings of a vehicle by means of a 3d camera | |
| JP2002352225A (ja) | 障害物検出装置及びその方法 | |
| JPH10285582A (ja) | 車外監視装置 | |
| CN109948413B (zh) | 基于高精度地图融合的车道线检测方法 | |
| CN109827516B (zh) | 一种通过车轮来测量距离的方法 | |
| Gern et al. | Robust vehicle tracking fusing radar and vision | |
| JP2011053808A (ja) | 車両用白線認識装置 | |
| CN103204104A (zh) | 一种车辆全视角驾驶监控系统及方法 | |
| Jeong et al. | Real-time lane detection for autonomous vehicle | |
| CN107220632B (zh) | 一种基于法向特征的路面图像分割方法 | |
| JP3440956B2 (ja) | 車両用走行路検出装置 | |
| CN109895697B (zh) | 一种行车辅助提示系统及方法 | |
| JP3192616B2 (ja) | 局地的位置把握装置及びその方法 | |
| JP3227247B2 (ja) | 走行路検出装置 | |
| JP2870372B2 (ja) | 物体認識装置 | |
| JP3612821B2 (ja) | 車載用距離測定装置 | |
| JP2017129543A (ja) | ステレオカメラ装置及び車両 |