Nothing Special   »   [go: up one dir, main page]

JP2012212282A - 路面状態検出装置、路面状態検出方法、及び路面状態検出プログラム - Google Patents

路面状態検出装置、路面状態検出方法、及び路面状態検出プログラム Download PDF

Info

Publication number
JP2012212282A
JP2012212282A JP2011077039A JP2011077039A JP2012212282A JP 2012212282 A JP2012212282 A JP 2012212282A JP 2011077039 A JP2011077039 A JP 2011077039A JP 2011077039 A JP2011077039 A JP 2011077039A JP 2012212282 A JP2012212282 A JP 2012212282A
Authority
JP
Japan
Prior art keywords
road surface
lane marking
lane
surface state
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011077039A
Other languages
English (en)
Inventor
Kazuyoshi Otsuka
和由 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nidec Elesys Corp
Original Assignee
Honda Elesys Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Elesys Co Ltd filed Critical Honda Elesys Co Ltd
Priority to JP2011077039A priority Critical patent/JP2012212282A/ja
Priority to US13/434,391 priority patent/US8655023B2/en
Publication of JP2012212282A publication Critical patent/JP2012212282A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】正しく路面の勾配を検出することができる路面状態検出装置、路面状態検出方法、及び路面状態検出プログラムを提供する。
【解決手段】画像取得部は画像を取得し、区分線認識部は前記取得した画像から路面に表された1つの車線の左側を区分する区分線と当該車線の右側を区分する区分線を抽出し、路面状態判定部は前記左側を区分する区分線の方向と前記右側を区分する区分線の方向に基づき、前記路面の勾配の変化を表す勾配情報を判定する。
【選択図】図2

Description

本発明は、路面状態検出装置、路面状態検出方法、及び路面状態検出プログラムに関する。
近年、勾配がある道路上を車両が安全に走行するために、走行している道路の状況を検出する技術が提案されてきた。この技術では、道路の状況として、道路が上り坂であるか下り坂であるかを表す勾配情報を検出する。
例えば、特許文献1記載の道路情報抽出方法では、車両に装着されたカメラで取得された映像から目標物を検出し、前記検出された目標物までの水平推定距離を算出した後、円周上で目標物が位置する垂直方位角及び前記円周の曲率半径を演算して、前記演算された曲率半径及び垂直方位角に基づいて目標物までの実際の距離を計算する。
また、特許文献2記載の道路形状検出装置では、カメラにより撮像された自車両前方の画像から、自車両の走行車線を区分する右側道路区分線の画像部分及び左側道路区分線の画像部分を抽出する道路区分線抽出手段と、道路区分線の画像部分に対して、対応する実空間上の位置が最も自車両に近くなる箇所から所定範囲内にある箇所における接線を求め、自車両の進行方向に相当するY軸方向における道路区分線の画像部分とその接線との偏差に基づいて、自車両の走行車線の勾配を検出する道路形状検出手段とを備える。
特開2002−366936号公報 特開2010−40015号公報
しかしながら、特許文献1記載の道路情報抽出方法、特許文献2記載の道路形状検出装置ともに撮影された画像に基づく曲線を用いて勾配を検出している。そのため、その曲線と車両の進行方向が予め定められた位置関係(例えば、進行方向が直進方向)になければ正しく路面の勾配を検出することができないという問題点があった。
本発明は上記の点に鑑みてなされたものであり、正しく路面の勾配情報を検出することができる路面状態検出装置、路面状態検出方法、及び路面状態検出プログラムを提供する。
(1)本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、画像を取得する画像取得部と、前記取得した画像から路面に表された1つの車線の左側を区分する区分線と当該車線の右側を区分する区分線を抽出する区分線認識部と、前記左側を区分する区分線の方向と前記右側を区分する区分線の方向に基づき、前記路面の勾配の変化を表す勾配情報を判定する路面状態判定部とを備えることを特徴とする路面状態検出装置である。
(2)本発明のその他の態様は、前記路面状態判定部は、車両からの距離による前記左側を区分する区分線の方向の変化量と前記右側を区分する区分線の方向の変化量に基づき、前記勾配情報を判定することを特徴とする(1)の路面状態検出装置である。
(3)本発明のその他の態様は、画像を取得する画像取得部を備える路面状態検出装置における路面状態検出方法において、前記取得した画像から路面に表された1つの車線の左側を区分する区分線と当該車線の右側を区分する区分線を抽出する過程と、前記左側を区分する区分線の方向と前記右側を区分する区分線の方向に基づき、前記路面の勾配の変化を表す勾配情報を判定する過程と、を有することを特徴とする路面状態検出方法である。
(4)本発明のその他の態様は、画像を取得する画像取得部を備える路面状態検出装置におけるコンピュータに、前記取得した画像から路面に表された1つの車線の左側を区分する区分線と当該車線の右側を区分する区分線を抽出する手順、前記左側を区分する区分線の方向と前記右側を区分する区分線の方向に基づき、前記路面の勾配の変化を表す勾配情報を判定する手順、を実行させるための路面状態検出プログラムである。
本発明によれば、正しく路面の勾配情報を検出することができる。
本発明の第1の実施形態に係る運転支援システム1を示す概念図である。 本実施形態に係る路面状態検出装置10の構成を示す概略図である。 本実施形態に係る区分線認識部102が区分線を認識する処理を示すフローチャートである。 本実施形態に係る区分線認識部102が行うピーク検出処理を示すフローチャートである。 本実施形態に係る区分線認識部102がエッジピークペアを定める処理を示すフローチャートである。 路面状態の一例を示す概念図である。 撮影された画像の一例を示す概念図である。 ピッチング発生時に認識された区分線の一例を示す概念図である。 分岐路及び合流路の一例を示す概念図を示す。 分岐路及び合流路のその他の例を示す概念図を示す。 本実施形態に係る路面状態検出装置10が行う路面状態検出処理を示すフローチャートである。
(第1の実施形態)
以下、図面を参照しながら本発明の実施形態について説明する。
図1は、本実施形態に係る運転支援システム1を示す概念図である。
図1において、運転支援システム1は、前方監視カメラ3、路面状態検出装置10、車両CAN(Controller Area Network)バス11、及び運転支援制御部12を含んで構成される。
運転支援システム1は、車両2に搭載され、車両2の運転、例えば坂道におけるブレーキ、アクセル操作を支援するシステムである。
前方監視カメラ3は、フロントガラス上端中央部に固定され、画像を取得できる範囲である視野を車両2の前方に向けている。図1において、前方監視カメラ3の視野を破線で示す。前方監視カメラ3は、被写体の画像を表す画像信号を取得し、取得した画像信号を路面状態検出装置10に出力する。
路面状態検出装置10は、前方監視カメラ3から入力された画像信号に基づき両側の路面に表され、車両2が走行する1つの車線(本実施形態では車両通行帯を含む)の両側を区分する区分線(いわゆる白線)を左右両側について検出する。本実施形態では、区分線とは、進行方向が同一で隣接する車線間を区分する車線境界線、進行方向が互いに逆で隣接する車線間を区分する中央線、及び単一の車線の両側面を区分する車両通行帯境界線を含む。
路面状態検出装置10は、左右各側について、前方監視カメラ3の近傍と遠方各々について検出した区分線の方向を算出する。路面状態検出装置10は、左右各側について、算出した近傍と遠方の区分線の方向に基づき方向の変化量を算出し、算出した変化量に基づき路面の勾配の変化を表す勾配情報を判定する。路面状態検出装置10は、判定した勾配情報を車両CANバス11に出力する。路面状態検出装置10の構成については後述する。
車両CANバス11は、路面状態検出装置10から勾配情報を入力され、入力された勾配情報を運転制御支援部12に出力する。
運転制御支援部12は、車両CANバス11から入力された勾配情報に基づき運転者に対する運転の支援に係る動作又は処理を行う。例えば、運転制御支援部12は、動力制御部121、表示制御部122及び表示部123を含んで構成される。
動力制御部121は、車両CANバス11から入力された勾配情報が、路面の勾配変化が正であること(例えば、平地から上り坂、下り坂から平地、等)を示す場合、現在の動力よりも大きい動力を車両2の動力機構に与える。動力制御部121は、車両CANバス11から入力された勾配情報が、路面の勾配変化が負であること(例えば、平地から下り坂、上り坂から平地、等)を示す場合、現在の動力よりも小さい動力を車両2の動力機構に与える。
表示制御部122は、車両CANバス11から入力された勾配情報が、路面の勾配変化が正であることを示す場合、運転者が認識可能であって路面の勾配変化が正であることを示す信号(例えば、警告音を表す音声信号、警告表示用の画像信号)を生成し、生成した信号を表示部123に出力する。表示制御部123は、車両CANバス11から入力された勾配情報が、路面の勾配変化が負であることを示す場合、運転者が認識可能であって路面の勾配変化が負であることを示す信号を生成し、生成した信号を表示部123に出力する。
表示部123は、表示制御部122から入力された信号に基づき運転支援情報(例えば、警告音、警告表示)を運転者に提示する。
次に、本実施形態に係る路面状態検出装置10の構成について説明する。
図2は、本実施形態に係る路面状態検出装置10の構成を示す概略図である。
路面状態検出装置10は、カメラインタフェース101、区分線認識部102、区分線方向算出部103、方向変化量算出部104、路面状態判定部105、及び通信インタフェース106を含んで構成される。
カメラインタフェース101は、前方監視カメラ3から入力された画像信号を区分線認識部102に出力する。
区分線認識部102は、カメラインタフェース101から入力された画像信号から車両2が走行している車線を区分する区分線を認識する。
従って、区分線認識部102は、車両2が1つの車線内を直進するとき、認識した区分線を構成する点列を進行方向に対して車両2の左右両側について抽出する。
画像信号から区分線を認識するために、区分線認識部102は、例えば特開平11−85999記載の車両用白線検出装置が白線を検出する処理を用いる。
次に、区分線認識部102が区分線を認識する処理について説明する。
図3は、本実施形態に係る区分線認識部102が区分線を認識する処理を示すフローチャートである。
(ステップS101)区分線認識部102は、入力された画像信号からエッジ点を検出する。入力された画像信号は、画素毎の輝度の大小を示す輝度値を含んで1フレームの画像を表すように構成されている。区分線認識部102は、正方向に隣接する画素の輝度値との差(輝度値差)が予め設定された正の閾値よりも大きくなる画素を正エッジ点、その輝度値差が予め設定された負の閾値よりも小さくなる画素を負エッジ点と検出する。正エッジ点と負エッジ点を区別しない場合には、以下、単にエッジ点と呼ぶ。
区分線認識部102は、判定された正エッジ点について、水平方向への輝度値差と垂直方向への輝度値差に基づき、エッジが空間的に傾いている方向であるエッジ方向を検出する。区分線認識部102は、負エッジ点についても同様にエッジ方向を検出する。その後、ステップS102に進む。
(ステップS102)区分線認識部102は、検出した正エッジ点、負エッジ点各々についてハフ(Hough)変換を行い、ハフ空間(ρ,θ)毎の個数を算出する。ここで、ρは長さを示し、θは角度を示す。区分線認識部102は、ハフ変換において、エッジ点毎に、各角度θについて長さρを、式(1)を用いて算出する。
Figure 2012212282
式(1)において、xはエッジ点の水平方向の座標値を示し、yはエッジ点の垂直方向の座標値を示す。
ここで、区分線認識部102は、エッジ方向を中心に予め設定された範囲内(例えば、15°)で、Δθ間隔で変化させた角度θ毎に長さρを算出して、角度θ及び長さρの組に対応する画素の個数(投票値)を正エッジ点、負エッジ点毎にカウントする。
その後、ステップS103に進む。
(ステップS103)区分線認識部102は、正エッジ点、負エッジ点毎に、画素の投票値のピークを検出する。
ここで、区分線認識部102がピークを検出する処理について説明する。
図4は、本実施形態に係る区分線認識部102が行うピーク検出処理を示すフローチャートである。
(ステップS201)区分線認識部102は、カウントした画素の投票値の平均値を算出する。その後、ステップS202に進む。
(ステップS202)区分線認識部102は、画像の左半分の領域である左領域及び右半分の領域である右領域の各領域についてピークを検出するための閾値(ピーク閾値)を定める。ここで、区分線認識部102は、各領域に含まれる正エッジ点又は負エッジ点に基づき画素の投票値をカウントする。区分線認識部102は、カウントした投票値が最大のものから降順に予め定められた個数(例えば、10個)の画素が選択されるようにピーク閾値を定める。その後、ステップS203に進む。
(ステップS203)区分線認識部102は、対象画素を選択する。ここで、区分線認識部102は、例えば、画像上の無限遠点(x,y)に対応する曲線ρ=xcosθ+ysinθから予め定められた範囲の(ρ,θ)空間から対象画素を選択することで処理を効率化できる。その後、ステップS204に進む。
(ステップS204)区分線認識部102は、対象画素の投票値が定めたピーク閾値より大きい又は等しいか判断する。区分線認識部102は、対象画素の投票数が定めたピーク閾値より大きい又は等しいと判断したとき(ステップS204 Y)、ステップS205に進む。区分線認識部102は、対象画素の投票値が定めたピーク閾値より小さいと判断したとき(ステップS204 N)、ステップS207に進む。
(ステップS205)区分線認識部102は、対象画素の投票数が、対象画素から予め定められた範囲内にある(近傍)の全ての画素の投票数よりも大きいか否か判断する。区分線認識部102は、対象画素の投票数が、近傍の全画素の投票数よりも大きいと判断したとき(ステップS205 Y)、ステップS206に進む区分線認識部102は、対象画素の投票値が、近傍の全画素の投票値よりも大きいと判断しなかったとき(ステップS205 N)、ステップS207に進む。
(ステップS206)区分線認識部102は、対象画素をエッジ点のピークと定める。その後、ステップS207に進む。
(ステップS207)区分線認識部102は、画像の左右各領域について全ての画素に対し処理を行ったか否か判断する。区分線認識部102は全ての画素に対し処理を行ったと判断したとき(ステップS207 Y)、処理を終了する。区分線認識部102は全ての画素に対し処理を行っていないと判断したとき(ステップS207 N)、ステップS203に進む。
図3に戻り、その後、ステップS104に進む。
(ステップS104)区分線認識部102は、検出した正エッジ点のピークの1つと負エッジ点のピークの1つとの組(エッジピークペア)を定める。
ここで、区分線認識部102がエッジピークペアを定める処理について説明する。
図5は、本実施形態に係る区分線認識部102がエッジピークペアを定める処理を示すフローチャートである。
(ステップS301)区分線認識部102は、ステップS103で定めた負エッジ点のピークの中から1つを負エッジピーク候補(ピーク1)として選択する。その後、ステップS302に進む。
(ステップS302)区分線認識部102は、選択した負エッジピーク候補から予め設定した領域内であって、その負エッジピーク候補から最も近い正エッジ点のピークを正エッジピーク候補(ピーク2)として選択する。その後、ステップS303に進む。
(ステップS303)区分線認識部102は、ピーク1とピーク2の間に他の負エッジ点のピークが存在するか否か判断する。区分線認識部102は、他の負エッジ点のピークが存在する判断したとき(ステップS303 Y)、ステップS305へ進む。区分線認識部102は、他の負エッジ点のピークが存在しないと判断したとき(ステップS303 N)、ステップS304へ進む。
(ステップS304)区分線認識部102は、ピーク1とピーク2をエッジピークペアと定める。その後、ステップS305へ進む。
(ステップS305)区分線認識部102は、ステップS103で定めた負エッジ点のピーク全てについて処理を行ったか否か判断する。区分線認識部102は、ステップS103で定めた負エッジ点のピーク全てについて処理を行ったと判断したとき(ステップS305 Y)、処理を終了する。区分線認識部102は、ステップS103で定めた負エッジ点のピーク全てについて処理を行っていないと判断したとき(ステップS305 N)、ステップS301へ進む。
図3に戻り、その後、ステップS105に進む。
(ステップS105)区分線認識部102は、ステップS104で定めたエッジピークペアに係る、正エッジ点、負エッジ点各々について、対応する画素である点列を抽出する。その後、ステップS106に進む。
(ステップS106)区分線認識部102は、抽出した点列と過去に算出した点列に基づき、抽出した点列が適正であるか否か判断する。例えば、区分線認識部102は、抽出した点列と過去に算出した点列との相関値を算出し、抽出した点列が画面の左領域と右領域の両方に存在するか否か判断する。このとき、区分線認識部102は、算出した相関値が予め設定した閾値よりも大きく、抽出した点列が画面の左領域と右領域の両方に存在すると判断した場合、抽出した点列が適正と判断し、この点列を区分線として定める。その後、区分線を認識する処理を終了する。
図2に戻り、区分線認識部102は、認識した区分線を構成する点列を区分線方向算出部103に出力する。
区分線方向算出部103は、区分線認識部102から入力された区分線を構成する点列のうち、画面の左領域、右領域各々について、遠方、近傍における区分線の方向を算出する。遠方とは、画像に表された区分線の位置が前方監視カメラ3から予め設定された距離の閾値(例えば、25m)よりも遠い領域を指す。近傍とは、画像に表された区分線の位置が前方監視カメラ3から予め設定された距離の閾値(例えば、25m)よりも近い領域を指す。この距離の閾値は、前方監視カメラ3の光学系が設置されている位置と光軸の方向に基づいて、画像の座標値に対応づけられる(式(2)参照)。
区分線方向算出部103は、区分線の方向を算出する前に、入力された各点列の座標(f,Px,Py,1)(カメラ座標系で表示)に、例えば式(2)に示す座標変換行列Tを乗じて世界座標系で表示された座標(x,y,0,1)に変換する。
Figure 2012212282
ここで、fは、前方監視カメラ3の光学系における焦点距離である。Pは受像素子の素子間間隔である。(x,y)は、各画素の座標である。xが水平方向の座標であり、yが垂直方向の座標である。(x,y,0)は、世界座標系で表した道路上の座標である。xが車両2の直進方向の座標であり、yが車両2の左右方向の座標である。なお、第3列目の0(ゼロ)は、路面の高さzがゼロであることを示す。
また、(X,Y,Z)は、前方監視カメラ3の光学系がおかれた座標である。θは、前方監視カメラの光軸のロール角ずれ量、即ち世界座標系におけるx軸周りの回転角である。φは、前方監視カメラの光軸のピッチ角ずれ量、即ち世界座標系におけるy軸周りの回転角である。ρは、前方監視カメラの光軸のパン角ずれ量、即ち世界座標系におけるz軸周りの回転角である。
区分線方向算出部103は、画面の左領域、右領域各々について、遠方、近傍における変換した各点列の座標(x,y)を、2次曲線y=ax +bx+cに当てはめて、係数a、b及びcを定める。区分線方向算出部103は、各点列の座標を2次曲線に当てはめるために、例えば、最小二乗法を用いる。
ここで、定められた係数bは、直進方向(x軸)からの角度θを示す。但し、角度θは、左側の区分線に対して前方左側を正値とし、右側の区分線に対して前方右側を正値とする。係数cは、通例では、車両2の中央からのy軸方向へのずれ量を示す。なお、係数aは、経験的に十分にゼロに近い値となる。
従って、区分線方向算出部103は、車両2の左側遠方の区分線の方向θ’をtan−1(−b’)と算出し、車両2の左側近傍の区分線の方向θをtan−1(−b)と算出する。但し、b’は画面の左領域の遠方における各点列に当てはめて得られた係数bである。bは画面の左領域の近傍における各点列に当てはめて得られた係数bである。
区分線方向算出部103は、車両2の右側遠方の区分線の方向θ’をtan−1(b’)と算出し、車両2の右側近傍の区分線の方向θをtan−1(b)と算出する。但し、b’は画面の右領域の遠方における各点列に当てはめて得られた係数bである。bは画面の右領域の近傍における各点列に当てはめて得られた係数bである。
区分線方向算出部103は、算出した左側遠方の区分線の方向θ’、左側近傍の区分線の方向θ、右側遠方の区分線の方向θ’及び右側近傍の区分線の方向θを方向変化量算出部104に出力する。
方向変化量算出部104は、区分線方向算出部103から左側遠方の区分線の方向θ’、左側近傍の区分線の方向θ、右側遠方の区分線の方向θ’及び右側近傍の区分線の方向θを入力される。方向変化量算出部104は、左側遠方の区分線の方向θ’から左側近傍の区分線の方向θの差分を左側方向変化量Δθとして算出する。方向変化量算出部104は、右側遠方の区分線の方向θ’から右側近傍の区分線の方向θの差分を右側方向変化量Δθとして算出する。
方向変化量算出部104は、算出した左側方向変化量Δθ及び右側方向変化量Δθを路面状態判定部105に出力する。
路面状態判定部105は、方向変化量算出部104から入力された左側方向変化量Δθ及び右側方向変化量Δθに基づき勾配情報を判定する。
ここで、路面状態と方向変化量との関係について説明する。
図6は、路面状態の一例を示す概念図である。
図6において、太線は路面を示し、車両2が各時刻において各々異なる状態の路面上を走行していることを示す。また、破線は前方監視カメラ2の視野を示す。
符号(a)は、車両2が走行する路面状態が勾配のない平地から下り坂に向かうことを示す。符号(b)は、車両2が走行する路面状態が下り坂から勾配のない平地に向かうことを示す。符号(c)は、車両2が走行する路面状態が勾配のない平地から上り坂に向かうことを示す。符号(d)は、車両2が走行する路面状態が上り坂から勾配のない平地に向かうことを示す。
図7は、撮影された画像の一例を示す概念図である。
x軸は水平方向の座標を示し、y軸は垂直方向の座標を示す。また、車両2の両側の太い破線は実際の区分線を示す。
図7の左図は、図6の符号(a)又は(d)が示す路面状態のもとで、路面に射影された画像の一例を示す。図7の左図において、車両2の両側の太い実線は、区分線認識部102において認識された区分線を示す。また、同図において、認識された区分線の方向は、車両2の近傍では、車両2の左右両側ともに進行方向にほぼ等しいのに対し、車両2の遠方では、車両2の左右両側ともに進行方向に向かって互いに離れる。
図7の右図は、図6の符号(b)又は(c)が示す路面状態のもとで、路面に射影された画像の一例を示す。図7の右図において車両2の両側の太い破線は、区分線認識部102において認識された区分線を示す。また、同図において、認識された区分線の方向は、車両2の近傍では、車両2の左右両側ともに進行方向にほぼ等しいのに対し、車両2の遠方では、車両2の左右両側ともに進行方向に向かって互いに接近する。
そこで、路面状態判定部105は、左側方向変化量Δθ及び右側方向変化量Δθがともに予め設定された正の閾値θよりも大きい場合、勾配変化が負であることを示す勾配情報を定める。勾配変化が負とは、路面状態が平地から下り坂に変化すること(図6(a)参照)、及び路面状態が上り坂から平地に変化すること(図6(d)参照)を含む。
路面状態判定部105は、左側方向変化量Δθ及び右側方向変化量Δθがともに予め設定された負の閾値−θよりも小さい場合、勾配変化が正であることを示す勾配情報を定める。勾配変化が正とは、路面状態が下り坂から平地に変化すること(図6(b)参照)、及び路面状態が平地から上り坂に変化すること(図6(c)参照)を含む。
なお、路面状態判定部105は、左側方向変化量Δθ及び右側方向変化量Δθがともに閾値θよりも大きくなく、閾値−θよりも小さくない場合、路面状態がその他の状態であることを示す勾配情報を定める。その他の状態とは、例えば、路面が平地であり勾配変化がない場合、車線が車両2の両側に認識されなかった場合、等がある。
路面状態判定部105は、閾値θとして予め設定された正の実数値を、閾値−θとして予め設定された負の実数値を用いる。これは、路面状態判定部105が、車両2が上下方向に振動する現象であるピッチングによって、認識された区分線の方向が変化したことを勾配情報の変化として誤検出することを避けるためである。
ここで、ピッチング発生時に認識された区分線の方向の変化について説明する。
図8は、ピッチング発生時に認識された区分線の一例を示す概念図である。
図8の左図は、平地を走行する車両2がピッチングにより水平面から角度ρ(ρは、ゼロより大きい正の値)だけ持ち上がったときに認識された区分線を示す。車両2からは、路面が下り坂に見えるため、車両2の左右両側の区分線が進行方向に向かって互いに接近する。
図8の右図は、平地を走行する車両2がピッチングにより水平面から角度ρ(ρは、負の値)だけ見下ろしたときに認識された区分線を示す。車両2からは、路面が上り坂に見えるため、車両2の左右両側の区分線が進行方向に向かって互いに離れる。
しかし、ピッチングが発生したときに認識される区分線は経験的にほぼ直線となり、左側方向変化量Δθ及び右側方向変化量Δθは、上述の路面状態の変化時よりも小さくなる。
従って、路面状態判定部105は、閾値θとしてピッチングによって生じる左側方向変化量Δθ及び右側方向変化量Δθの最大値よりも大きい値を用いればよい。また、路面状態判定部105は、閾値−θとしてピッチングによって生じる左側方向変化量Δθ及び右側方向変化量Δθの最小値よりも小さい値を用いればよい。以下、閾値θをピッチング判定閾値と呼ぶ。
なお、路面状態判定部105は、分岐路のように一部の車線が2つの車線に分岐する場合や、合流路のように2つの車線が1つの車線に合流する路面状態の場合には、本実施形態では正しく路面状態を判定できないおそれがある。その場合には、区分線認識部102は、車両2の前方両側に区分線を認識しないことがあるからである。
図9は、分岐路及び合流路の一例を示す概念図を示す。
図9の左図は、車両2の前方に右側に車線が分岐する分岐路を示し、車両2が走行している車線の前方右側であって車線が分岐する部分には区分線が表されている。
図9の右図は、車両2の前方に右側から車線が合流する合流路を示し、車両2が走行している車線の前方右側の路面であって車線が分岐する部分には区分線が表されている。
このような分岐路又は合流路でも、車両2が直進する場合には、区分線認識部102が車両2の前方両側に区分線を認識するので、本実施形態によって正しく勾配情報を判定できる。
図10は、分岐路及び合流路のその他の例を示す概念図を示す。
図10の左図は、車両2の前方に右側に車線が分岐する分岐路を示し、車両2が走行している車線の前方右側であって車線が分岐する部分には区分線が表されていない。
このような分岐路を、車両2が直進する場合には、区分線認識部102が車両2の前方右側に区分線を認識する。このとき、車線の幅が見かけ上、進行方向に向かって次第に広がるため、方向変化量算出部104が算出する右側方向変化量Δθがピッチング判定閾値θよりも増加することがある。そのため、路面状態判定部105は、路面が平地であっても勾配変化が負であることを示す勾配情報を定めるおそれがある。
他方、図10の右図は、車両2の前方に右側から車線が合流する合流路を示し、車両2が走行している車線の前方右側の路面であって車線が分岐する部分には区分線が描かれていない。
このような分岐路を、車両2が直進する場合には、区分線認識部102が車両2の前方右側に区分線を認識する。このとき、車線の幅が見かけ上、進行方向に向かって次第に狭まるため、方向変化量算出部104が算出する右側方向変化量Δθが負反転したピッチング判定閾値−θよりも減少することがある。そのため、路面状態判定部105は路面が平地であっても、勾配変化が正であることを示す勾配情報を定めるおそれがある。
このとき、車線が分岐しない進行方向に向かって左側の区分線の方向は時間経過に関わらず、ほぼ一定であるが、右側の区分線の方向は変動する。このような変動は、区分線認識部102がステップS106において算出する相関値を低下させ、区分線を構成する点列が適正でないと判断する。
従って、区分線認識部102が、ステップS106を実行し、その点列が適正でないことを示す確認信号を生成し、生成した確認信号を路面状態判定部105に出力する。そして、路面状態判定部105は、区分線認識部102から確認信号を入力された場合には、路面状態がその他の状態であることを示す勾配情報を定めるようにしてもよい。これにより、路面状態判定部105は、正しく勾配情報を定めることができる。
路面状態判定部105は、定めた勾配情報を通信インタフェース106に出力する。
通信インタフェース106は、路面状態判定部105から入力された勾配情報を車両CANバス11へ出力する。
次に、本実施形態に係る路面状態検出装置10が行う路面状態検出処理について説明する。
図11は、本実施形態に係る路面状態検出装置10が行う路面状態検出処理を示すフローチャートである。
(ステップS401)カメラインタフェース101は、前方監視カメラ3から入力された画像信号を取得し、取得した画像信号を区分線認識部102に出力する。その後、ステップS402に進む。
(ステップS402)区分線認識部102は、カメラインタフェース101から入力された画像信号から車両2が走行している車線を区分する区分線を認識する。区分線認識部102は、例えば図3のステップS101−S105に示す区分線認識処理を行って区分線を認識し、認識した区分線を構成する点列を車両2の左右両側について抽出する。図3に示す区分線認識処理のハフ空間ピーク検出処理(ステップS103参照)において、区分線認識部102は図4に示す処理を行う。図3に示す区分線認識処理のエッジペア決定処理(ステップS104参照)において、区分線認識部102は図5に示す処理を行う。その後、ステップS403に進む。
(ステップS403)区分線認識部102は、抽出した点列と過去に算出した点列に基づき、抽出した点列が適正であるか否か判断する。例えば、区分線認識部102は、抽出した点列が画面の左領域と右領域の両方に存在するか否か判断する。区分線認識部102は、抽出した点列が適正であると判断したとき(ステップS403 Y)、区分線認識部102は、その点列を認識した区分線を構成する点列として区分線方向算出部103に出力する。その後、ステップS404に進む。区分線認識部102は、抽出した点列が適正でないと判断したとき(ステップS403 N)、点列が適正でないことを示す確認信号を生成し、生成した確認信号を路面状態判定部105に出力する。その後、ステップS409に進む。
(ステップS404)区分線方向算出部103は、区分線認識部102から入力された区分線を構成する点列に基づき、左側遠方の区分線の方向θ’、左側近傍の区分線の方向θ、右側遠方の区分線の方向θ’及び右側近傍の区分線の方向θを算出する。区分線方向算出部103は、算出した左側遠方の区分線の方向θ’、左側近傍の区分線の方向θ、右側遠方の区分線の方向θ’及び右側近傍の区分線の方向θを方向変化量算出部104に出力する。
方向変化量算出部104は、区分線方向算出部103から入力された左側遠方の区分線の方向θ’から左側近傍の区分線の方向θの差分を左側方向変化量Δθとして算出する。方向変化量算出部104は、区分線方向算出部103から入力された右側遠方の区分線の方向θ’から右側近傍の区分線の方向θの差分を右側方向変化量Δθとして算出する。
方向変化量算出部104は、算出した左側方向変化量Δθ及び右側方向変化量Δθを路面状態判定部105に出力する。その後、ステップS405に進む。
(ステップS405)路面状態判定部105は、方向変化量算出部104から入力された左側方向変化量Δθ及び右側方向変化量Δθがともに予め設定された閾値−θよりも小さいか否か判断する。路面状態判定部105は、Δθ及びΔθがともに閾値−θよりも小さいと判断したとき(ステップS405 Y)、ステップS406に進む。路面状態判定部105は、Δθ及びΔθがともに閾値−θよりも小さくないと判断したとき(ステップS405 N)、ステップS407に進む。
(ステップS406)路面状態判定部105は、勾配変化が正であることを示す勾配情報を定める。その後、ステップS410に進む。
(ステップS407)路面状態判定部105は、方向変化量算出部104から入力された左側方向変化量Δθ及び右側方向変化量Δθがともに予め設定された閾値θよりも大きいか否か判断する。路面状態判定部105は、Δθ及びΔθがともに閾値θよりも大きいと判断したとき(ステップS407 Y)、ステップS408に進む。路面状態判定部105は、Δθ及びΔθがともに閾値θよりも大きくないと判断したとき(ステップS407 N)、ステップS409に進む。
(ステップS408)路面状態判定部105は、勾配変化が負であることを示す勾配情報を定める。その後、ステップS410に進む。
(ステップS409)路面状態判定部105は、路面状態がその他の状態であることを示す勾配情報を定める。その後、ステップS410に進む。
(ステップS409)路面状態判定部105は、定めた勾配情報を通信インタフェース106に出力する。通信インタフェース106は、路面状態判定部105から入力された勾配情報を車両CANバス11へ出力する。その後、処理を終了する。
このように、本実施形態の一態様によれば、画像を取得する画像取得部と、前記取得した画像から路面に表された車線の左側を区分する区分線と当該車線の右側を区分する区分線を抽出する区分線認識部と、前記左側を区分する区分線の方向と前記右側を区分する区分線の方向に基づき、前記路面の勾配の変化を表す勾配情報を判定する路面状態判定部とを備える。
そのため、本実施形態は、路面の勾配によって異なる左側を区分する区分線と右側を区分する区分線の方向を検出して、各々検出した区分線の方向に基づき、正しく勾配情報を検出することができる。
また、本実施形態のその他の態様によれば、前記路面状態判定部は、車両からの距離による前記左側を区分する区分線の方向の変化量と前記右側を区分する区分線の方向の変化量に基づき、勾配情報を判定する。
そのため、本実施形態は、勾配によって生じる左側を区分する区分線の方向の変化量と右側を区分する区分線の方向の変化量を検出して、各々検出した区分線の方向の変化量に基づき、正しく勾配情報を検出することができる。
なお、上述した実施形態における路面状態検出装置10の一部、例えば、区分線認識部102、区分線方向算出部103、及び方向変化量算出部104をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、路面状態検出装置に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における路面状態検出装置の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現しても良い。路面状態検出装置の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
1…運転支援システム、2…車両、3…前方監視カメラ、
10…路面状態検出装置、11…車両CANバス、
12…運転支援制御部、121…動力制御部、122…表示制御部、123…表示部、
101…カメラインタフェース、102…区分線認識部、103…区分線方向算出部、
104…方向変化量算出部、105…路面状態判定部、106…通信インタフェース

Claims (4)

  1. 画像を取得する画像取得部と、
    前記取得した画像から路面に表された1つの車線の左側を区分する区分線と当該車線の右側を区分する区分線を抽出する区分線認識部と、
    前記左側を区分する区分線の方向と前記右側を区分する区分線の方向に基づき、前記路面の勾配の変化を表す勾配情報を判定する路面状態判定部と
    を備えることを特徴とする路面状態検出装置。
  2. 前記路面状態判定部は、車両からの距離による前記左側を区分する区分線の方向の変化量と前記右側を区分する区分線の方向の変化量に基づき、前記勾配情報を判定することを特徴とする請求項1に記載の路面状態検出装置。
  3. 画像を取得する画像取得部を備える路面状態検出装置における路面状態検出方法において、
    前記取得した画像から路面に表された1つの車線の左側を区分する区分線と当該車線の右側を区分する区分線を抽出する過程と、
    前記左側を区分する区分線の方向と前記右側を区分する区分線の方向に基づき、前記路面の勾配の変化を表す勾配情報を判定する過程と、
    を有することを特徴とする路面状態検出方法。
  4. 画像を取得する画像取得部を備える路面状態検出装置におけるコンピュータに、
    前記取得した画像から路面に表された1つの車線の左側を区分する区分線と当該車線の右側を区分する区分線を抽出する手順、
    前記左側を区分する区分線の方向と前記右側を区分する区分線の方向に基づき、前記路面の勾配の変化を表す勾配情報を判定する手順、
    を実行させるための路面状態検出プログラム。
JP2011077039A 2011-03-31 2011-03-31 路面状態検出装置、路面状態検出方法、及び路面状態検出プログラム Pending JP2012212282A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011077039A JP2012212282A (ja) 2011-03-31 2011-03-31 路面状態検出装置、路面状態検出方法、及び路面状態検出プログラム
US13/434,391 US8655023B2 (en) 2011-03-31 2012-03-29 Road profile defining apparatus, road profile defining method, and road profile defining program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011077039A JP2012212282A (ja) 2011-03-31 2011-03-31 路面状態検出装置、路面状態検出方法、及び路面状態検出プログラム

Publications (1)

Publication Number Publication Date
JP2012212282A true JP2012212282A (ja) 2012-11-01

Family

ID=47006420

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011077039A Pending JP2012212282A (ja) 2011-03-31 2011-03-31 路面状態検出装置、路面状態検出方法、及び路面状態検出プログラム

Country Status (2)

Country Link
US (1) US8655023B2 (ja)
JP (1) JP2012212282A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014157429A (ja) * 2013-02-14 2014-08-28 Honda Motor Co Ltd 車両の走行支援装置
JP2016084089A (ja) * 2014-10-28 2016-05-19 アイシン精機株式会社 周辺監視装置
JP2018180663A (ja) * 2017-04-05 2018-11-15 株式会社Soken 道路パラメータ推定装置
WO2021215199A1 (ja) * 2020-04-22 2021-10-28 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、撮像システム、情報処理方法及びコンピュータプログラム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130202155A1 (en) * 2012-02-03 2013-08-08 Gopal Gudhur Karanam Low-cost lane marker detection
MY177486A (en) * 2013-04-18 2020-09-16 West Nippon Expressway Engineering Shikoku Company Ltd Device for inspecting shape of road travel surface
JP2014228943A (ja) * 2013-05-20 2014-12-08 日本電産エレシス株式会社 車両用外界センシング装置、その軸ズレ補正プログラム及びその軸ズレ補正方法
JP6189815B2 (ja) * 2014-10-29 2017-08-30 株式会社Soken 走行区画線認識システム
JP6449627B2 (ja) * 2014-11-25 2019-01-09 株式会社Soken 走行区画線認識装置
CN104866817A (zh) * 2015-04-24 2015-08-26 河南科技大学 基于梯度约束的统计霍夫变换车道检测方法
CN107292214B (zh) * 2016-03-31 2020-06-19 比亚迪股份有限公司 车道偏离检测方法、装置及车辆
US9928426B1 (en) * 2016-09-16 2018-03-27 Hong Kong Applied Science and Technology Research Institute Company Limited Vehicle detection, tracking and localization based on enhanced anti-perspective transformation
CN106803066B (zh) * 2016-12-29 2020-11-13 广州大学 一种基于Hough变换的车辆偏航角确定方法
CN109740550A (zh) * 2019-01-08 2019-05-10 哈尔滨理工大学 一种基于单目视觉的车道线检测与跟踪方法
CN110517181B (zh) * 2019-08-29 2021-11-30 海南大学 基于Hough组合变换的医学图像零水印嵌入方法
US20230082350A1 (en) * 2020-04-13 2023-03-16 Mitsubishi Electric Corporation Traveling lane recognition apparatus and traveling lane recognition method
US11214196B1 (en) * 2020-07-31 2022-01-04 Volkswagen Aktiengesellschaft Apparatus, system and method for enhanced driver vision based on road level characteristics
JP2022150929A (ja) * 2021-03-26 2022-10-07 本田技研工業株式会社 軸ずれ推定装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366936A (ja) * 2001-05-25 2002-12-20 Hyundai Motor Co Ltd カメラを利用した車両の道路情報抽出方法及びシステム
JP2005300294A (ja) * 2004-04-09 2005-10-27 Denso Corp 道路形状検出装置および道路形状検出方法
JP2009133830A (ja) * 2007-10-17 2009-06-18 Valeo Vision 坂道の傾斜角度の自動計算プロセス、およびこのプロセスを実行する装置
JP2010040015A (ja) * 2008-08-08 2010-02-18 Honda Motor Co Ltd 車両用道路形状検出装置
JP2011028659A (ja) * 2009-07-29 2011-02-10 Hitachi Automotive Systems Ltd 道路形状認識装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3429167B2 (ja) 1997-09-13 2003-07-22 本田技研工業株式会社 車両用白線検出装置
JP3733875B2 (ja) * 2000-09-29 2006-01-11 日産自動車株式会社 道路白線認識装置
JP3521860B2 (ja) * 2000-10-02 2004-04-26 日産自動車株式会社 車両の走行路認識装置
JP4710981B2 (ja) * 2009-01-23 2011-06-29 トヨタ自動車株式会社 区画線認識装置、及び当該装置で用いられる区画線認識方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366936A (ja) * 2001-05-25 2002-12-20 Hyundai Motor Co Ltd カメラを利用した車両の道路情報抽出方法及びシステム
JP2005300294A (ja) * 2004-04-09 2005-10-27 Denso Corp 道路形状検出装置および道路形状検出方法
JP2009133830A (ja) * 2007-10-17 2009-06-18 Valeo Vision 坂道の傾斜角度の自動計算プロセス、およびこのプロセスを実行する装置
JP2010040015A (ja) * 2008-08-08 2010-02-18 Honda Motor Co Ltd 車両用道路形状検出装置
JP2011028659A (ja) * 2009-07-29 2011-02-10 Hitachi Automotive Systems Ltd 道路形状認識装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014157429A (ja) * 2013-02-14 2014-08-28 Honda Motor Co Ltd 車両の走行支援装置
JP2016084089A (ja) * 2014-10-28 2016-05-19 アイシン精機株式会社 周辺監視装置
JP2018180663A (ja) * 2017-04-05 2018-11-15 株式会社Soken 道路パラメータ推定装置
WO2021215199A1 (ja) * 2020-04-22 2021-10-28 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、撮像システム、情報処理方法及びコンピュータプログラム

Also Published As

Publication number Publication date
US8655023B2 (en) 2014-02-18
US20120263383A1 (en) 2012-10-18

Similar Documents

Publication Publication Date Title
JP2012212282A (ja) 路面状態検出装置、路面状態検出方法、及び路面状態検出プログラム
EP2767927B1 (en) Road surface information detection apparatus, vehicle device control system employing road surface information detection apparatus, and carrier medium of road surface information detection program
EP2958054B1 (en) Hazard detection in a scene with moving shadows
JP5989701B2 (ja) 境界検出装置および境界検出方法
JP5943084B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20130163821A1 (en) Method and device for detecting road region as well as method and device for detecting road line
JP2015207281A (ja) 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
JP2017162116A (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP4872769B2 (ja) 路面判別装置および路面判別方法
JP6816401B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2012185540A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
EP3324359B1 (en) Image processing device and image processing method
CN111046719A (zh) 用于转换图像的设备和方法
JP6515704B2 (ja) 車線検出装置及び車線検出方法
JP2018092596A (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、およびプログラム
JP2017021780A (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及び画像処理プログラム
JP6431299B2 (ja) 車両周辺監視装置
JP2015179301A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び移動体機器制御システム
JP5012522B2 (ja) 路側境界面検出装置
JP2018092354A (ja) 物体検出装置および物体検出方法
EP3410345A1 (en) Information processing apparatus and non-transitory recording medium storing thereon a computer program
JP2012159470A (ja) 車両用画像認識装置
JP5832850B2 (ja) 車線監視システム及び車線監視方法
JP2013196401A (ja) 道路環境認識装置
CN116958218A (zh) 一种基于标定板角点对齐的点云与图像配准方法及设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20140303

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141111

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150310