Nothing Special   »   [go: up one dir, main page]

JP2008298532A - 障害物計測方法、障害物計測装置及び障害物計測システム - Google Patents

障害物計測方法、障害物計測装置及び障害物計測システム Download PDF

Info

Publication number
JP2008298532A
JP2008298532A JP2007143734A JP2007143734A JP2008298532A JP 2008298532 A JP2008298532 A JP 2008298532A JP 2007143734 A JP2007143734 A JP 2007143734A JP 2007143734 A JP2007143734 A JP 2007143734A JP 2008298532 A JP2008298532 A JP 2008298532A
Authority
JP
Japan
Prior art keywords
obstacle
speed
distance
measurement
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007143734A
Other languages
English (en)
Other versions
JP5163936B2 (ja
Inventor
Naoto Toba
直人 鳥羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2007143734A priority Critical patent/JP5163936B2/ja
Publication of JP2008298532A publication Critical patent/JP2008298532A/ja
Application granted granted Critical
Publication of JP5163936B2 publication Critical patent/JP5163936B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】高速・低速に関わらず、単位時間あたりの演算量が一定になり、単位時間あたりの演算量の上限が規定され、ハード処理・ソフト処理のいずれにおいてもコストダウンを達成可能な障害物計測方法、障害物計測装置及び障害物計測システムを提供する。
【解決手段】この障害物計測方法は、走行物体から障害物までの距離をステレオカメラにより計測する際に、障害物計測の対象領域及びステレオカメラによる画像のフレームレートまたは解像度を走行物体の速度に応じて変化させる。
【選択図】図5

Description

本発明は、障害物までの距離を計測する障害物計測方法、障害物計測装置及び障害物計測システムに関する。
特許文献1は、複数の出力モードを有するステレオカメラを用いたステレオ式監視装置・方法を開示し、2つの出力モード(インターレース、ノンインターレース)を有するステレオカメラからの画像から距離データを算出し、対象物の距離または自車両の速度に応じて出力モードを切り替えることで、画像処理の負荷を抑えるようにしている。高速走行時は「ノンインターレース+画面上部」、低速走行時は「インターレース+全画面」で処理するので、あくまでも1フレーム中の情報量は同じである。また、2つの出力モードとしては、垂直画角を変えて、任意のラインを選択する方法もある。
特許文献2は、車両の周囲の障害物や走路形状を画像情報により検出する車両用画像処理装置を開示し、ひとつの高速度カメラからの画像を、車両の走行状態(車速など)から高フレームレートで抽出する領域と低フレームレートで抽出する領域とに分割することで、画質を低下させず高フレームレートの画像を扱うことができるようにしている。または、高速カメラと低速カメラの2つの画像から領域を選択する。
特開2003−304528号公報 特開2003−259361号公報
特許文献1の装置・方法は、画面内で複数の解像度を有せず、また、水平画角を変えず、フレームレートが一定であるので、距離算出の演算量が変わってしまう。特許文献2の装置は、同一画面内でフレームレートの異なる画像が存在し、また、ステレオカメラ構成ではなく、対象物の距離情報を得るものではない。
一般に車両が高速走行するときは、高速道路など曲率半径の大きい道路を走行するため、画角端に注意すべき障害物が入ることは少ないが、低速走行するときは、主に一般道を走行することが多く交差点での車の飛び出しや歩行者の飛び出しが予想されるため、画角端に注意する必要がある。
本発明は、上述のような従来技術の問題に鑑み、高速・低速に関わらず、単位時間あたりの演算量が一定になり、単位時間あたりの演算量の上限が規定され、ハード処理・ソフト処理のいずれにおいてもコストダウンを達成可能な障害物計測方法、障害物計測装置及び障害物計測システムを提供することを目的とする。
上記目的を達成するために、本発明による第1の障害物計測方法は、走行物体から障害物までの距離をステレオカメラにより計測する障害物計測方法であって、前記障害物計測の対象領域及び前記ステレオカメラによる画像のフレームレートを前記走行物体の速度に応じて変化させることを特徴とする。
この障害物計測方法によれば、走行物体の速度に応じて障害物計測を行う対象領域及びステレオカメラによる画像のフレームレートを変えることで、高速・低速に関わらず、単位時間あたりの演算量が一定になり、単位時間あたりの演算量の上限が規定され、距離計測(視差算出)の演算処理がハード処理・ソフト処理のいずれであってもコストダウンを達成できる。
上記障害物計測方法において前記走行物体が比較的高速のとき前記対象領域を画面の一部に限定することで、前記フレームレートを大きくしても、単位時間あたりの演算量を、比較的低速のときに前記対象領域を画面のほぼ全域としてフレームレートを小さくした場合と同等にして一定にできるとともに、単位時間あたりの演算量の上限を規定することができる。
また、前記走行物体が比較的低速のとき前記対象領域を画面のほぼ全体としても、前記フレームレートを小さくすることで、単位時間あたりの演算量を、上述の比較的高速の場合と同等にして一定にできるとともに、単位時間あたりの演算量の上限を規定することができる。
高速走行時は、高速道路などの曲率半径の大きい道路を通行する場合が多く、計測対象エリアを画角端に設定するよりは、上述のように、前方車両との追突を回避するために画面中心部にまたは上部に計測対象エリアを設定することが重要であるとともに、検知してから回避行動に移るまでの時間が短いため高フレームレートで障害物を計測する必要がある。一方、低速走行時は主に一般道のように曲率半径の小さい道路や交差点などを走行する場合が多く、前方車両との追突を回避するとともに他の車両や歩行者などの飛び出しにも注意を払う必要があるため、上述のように計測対象領域を全域に設定することが重要となる。低速走行時は高速走行時と比較して、検知してから回避行動に移るまでに時間的に余裕があるため、低フレームレートで障害物を計測しても問題がない。
本発明による第2の障害物計測方法は、走行物体から障害物までの距離をステレオカメラにより計測する障害物計測方法であって、前記障害物計測の対象領域及び前記ステレオカメラによる画像の解像度を前記走行物体の速度に応じて変化させることを特徴とする。
この障害物計測方法によれば、走行物体の速度に応じて障害物計測を行う対象領域及びステレオカメラによる画像の解像度を変えることで、高速・低速に関わらず、単位時間あたりの演算量が一定になり、単位時間あたりの演算量の上限が規定され、距離計測(視差算出)の演算処理がハード処理・ソフト処理のいずれであってもコストダウンを達成できる。
上記障害物計測方法において前記走行物体が比較的高速のとき前記対象領域を画面の一部に限定することで、前記解像度を大きくしても、単位時間あたりの演算量を、比較的低速のときに前記対象領域を画面のほぼ全域として解像度を小さくした場合と同等にして一定にできるとともに、単位時間あたりの演算量の上限を規定することができる。
また、前記走行物体が比較的低速のとき前記対象領域を画面のほぼ全体としても、前記解像度を小さくすることで、単位時間あたりの演算量を、上述の比較的高速の場合と同等にして一定にできるとともに、単位時間あたりの演算量の上限を規定することができる。
上述のように、高速走行時には3次元計測の対象領域を中心部に限定して高解像度で実行する。低速走行時には3次元計測の対象領域を画面全体に設定して低解像度で実行する。なお、低速走行時の回避行動に移ることのできる限界距離は、高速走行時より近距離であるため障害物の画面に占める面積が大きく、低解像度でも検知可能である。一方、高速走行時は、回避行動に移ることのできる限界距離が比較的遠距離にあるため、障害物の画面に占める面積が小さくなる。このため、確実に検知するためには高解像度にする必要がある。
上記各障害物計測方法において前記距離計測における距離の算出をPOC法(位相限定相関法)を用いて行うことで、精度の高い計測が可能となる。
なお、上記各障害物計測方法において、対象領域を速度に基づいて変更する場合、例えば、低速走行のとき、左右端の領域を対象領域に変更することで、画角端で飛び出しによる車や歩行者を重点的に計測し監視でき、また、高速走行のとき、上部領域を対象領域に変更することで、画角上部に限定して障害物の距離計測をすることができる。
また、前記対象領域を前記速度及び前記障害物までの距離に基づいて変更することにより、対象領域を距離情報と速度から動的に設定することで道路状況や車の流れ等の変化に適切に対応できる。この場合、高速走行時には対象領域を遠距離に設定し、低速走行時には近距離に設定することが好ましい。
この場合、前記対象領域を変更する際の前記障害物までの距離をSAD(差分絶対値和)法を用いて行うことが好ましい。
本発明による第1の障害物計測装置は、走行物体から障害物までの距離をステレオカメラにより計測する障害物計測装置であって、前記障害物計測の対象領域を前記走行物体の速度に基づいて変更する手段と、前記ステレオカメラによる画像のフレームレートを前記速度に基づいて変化させる手段と、を備えることを特徴とする。
この障害物計測装置によれば、走行物体の速度に応じて障害物計測を行う対象領域及びステレオカメラによる画像のフレームレートを変えることで、高速・低速に関わらず、単位時間あたりの演算量が一定になり、単位時間あたりの演算量の上限が規定され、距離計測(視差算出)の演算処理がハード処理・ソフト処理のいずれであってもコストダウンを達成できる。
本発明による第2の障害物計測装置は、走行物体から障害物までの距離をステレオカメラにより計測する障害物計測装置であって、前記障害物計測の対象領域を前記走行物体の速度に基づいて変更する手段と、前記ステレオカメラによる画像の解像度を前記速度に基づいて変化させる手段と、を備えることを特徴とする。
この障害物計測装置によれば、走行物体の速度に応じて障害物計測を行う対象領域及びステレオカメラによる画像の解像度を変えることで、高速・低速に関わらず、単位時間あたりの演算量が一定になり、単位時間あたりの演算量の上限が規定され、距離計測(視差算出)の演算処理がハード処理・ソフト処理のいずれであってもコストダウンを達成できる。
上記各障害物計測装置は、上述の障害物計測方法を実行するように構成することができる。なお、上記各障害物計測装置は走行物体に搭載されることで距離計測を行うようにできる。
本発明による障害物計測システムは、上述の障害物計測装置と、前記計測された距離情報に基づいて前記障害物に関する危険を判定する判定部と、前記危険と判定されたときに警告を発する警告部と、を備えることを特徴とする。
この障害物計測システムによれば、警告部からの警告により危険に注意が向き、危険回避の操作を行うことができるとともに、障害物計測システムのコストダウンを実現できる。
本発明の障害物計測方法、障害物計測装置及び障害物計測システムによれば、高速・低速に関わらず、単位時間あたりの演算量が一定になり、単位時間あたりの演算量の上限が規定され、距離計測(視差算出)の演算処理がハード処理・ソフト処理のいずれであってもコストダウンを達成できる。
以下、本発明を実施するための最良の形態について図面を用いて説明する。
〈第1の実施の形態〉
図1は第1の実施の形態の車両用の障害物計測装置を概略的に示すブロック図である。図1に示すように、車両用の障害物計測装置10は、右カメラ11と、左カメラ12と、カメラ11,12からの画像情報を補正する画像補正部13と、カメラ11,12による画像情報からのカメラ画像について画像処理を行う画像処理部14と、3次元計測領域内の画像情報から障害物との間の距離データを算出する距離データ算出部15と、車両の速度を検出する車速センサ16と、を備え、車両に搭載される。
右カメラ11及び左カメラ12は、それぞれレンズ等の光学系とCCDやCMOSイメージセンサ等からなる撮像素子とを備え、車両の前部に所定間隔に配置されてステレオカメラを構成し、車両前方に存在する歩行者や先行車両等の障害物の画像情報を電気信号として得る。
画像補正部13は、カメラ11,12からの画像情報についてカメラ11,12のレンズの周辺部に生じるひずみ等を補正する。
画像処理部14は補正された画像情報を画像処理し、画像処理部14の領域選択部14aは、画像内の障害物までの距離計測を行う3次元計測領域を車速センサ16で検出した車速に基づいて選択する。
また、画像処理部14は、車速センサ16で検出した車速に基づいて画像のフレームレート(単位時間あたりに画像処理して画面を書き換える回数)を変更する。なお、車速センサ16は車両に搭載されているものを用いることができる。
距離データ算出部15は、同一の障害物について右カメラ11から得られる右画像と左カメラ12から得られる左画像とが水平方向にずれて画面上に表示されるので、かかる右画像と左画像との水平位置のずれ(視差)に基づいて障害物までの距離を3次元的に算出できる。すなわち、視差と距離とは反比例の関係にあるので、視差を計測することで距離の計測が可能である。このような距離データの算出を距離データ算出部15は車速に基づいて選択された3次元計測領域内で実行するようになっている。
距離データ算出部15は、上述の視差演算の方法として、具体的には、差分絶対値和(Sum of Absolute Difference:SAD)による相関法や位相限定相関法(Phase-Only Correlation:POC)を用いることができる。
SAD法は、一般的によく用いられている視差計測法であり、例えば、新井元基、鷲見和彦、松山隆司による論文「画像のブロックマッチングにおける相関関数とサブピクセルの推定方式の最適化」(情報処理学会 研究報告 CVIM-144-5, pp.33-40, May 2004)や特開2000−283753号公報等を参照できる。
POC法(位相限定相関法)は、デジタル信号に変換された画像信号をフーリエ変換し、位相信号と振幅信号を得て、位相信号だけを逆フーリエ変換することで得られた位相情報を用いる3次元計測法であり、位相成分のみを使用するため、精度の高いマッチングが可能であり、SAD法よりも距離計測の精度が高い。POC法は、例えば、福田康宏、安部正英、川又政征による論文「位相限定相関を用いた映像の位置ずれ補正のDSPによる実現」(計測自動制御学会東北支部 第215回研究集会(2004.5.27)資料番号215-3)等を参照できる。
距離データ算出部15は、上述のSAD法、POC法による距離算出のための演算を集積素子等によりハード的に処理できるが、CPU(中央演算処理装置)によりソフト的に処理するようにしてもよい。この場合、CPUは所定のプログラムに従って所定の演算を実行する。
図2は、図1の領域選択部14aで選択可能な3次元計測の領域A,B,Cを示す模式図である。
図1の領域選択部14aは、図2に示す複数の領域A,B,Cから3次元計測を行う3次元計測領域を選択可能であり、例えば、車速s2>車速s1(図3(b)参照)とすると、車速センサ16で検出した車速がs2以上の高速であると最も狭い領域Aを選択し、s2以下でs1以上の中速であると中間の領域Bを選択し、s1以下の低速であると最も広い領域Cを選択する。
次に、図1の画像処理部14及び領域選択部14aにおける車速に基づく3次元計測領域の選択及びフレームレートの変更の制御について図2,図3,図4を参照して説明する。
図3は、図1の障害物計測装置10による制御における、フレーム(a)、車速(b)、実フレームレート(≒画像処理時間)(c)、及び3次元計測領域(d)の時間Tとの関係を模式的に示す図である。図4は、図1の障害物計測装置によるカメラ画像と3次元計測領域とを示す模式図であって、低速走行の場合(a)及び高速走行の場合(b)を示す。
図1の障害物計測装置10を搭載した車両が図3の時間T0でスタートすると、図3(b)のように低速(s1以下)で時間T0〜T1まで走行し、この低速期間に図3(d)のように、図2の最も大きい領域Cを3次元計測領域として選択するとともに、図3(a)のフレームを図3(c)のように実フレームレートを小さく(画像処理時間を長く)変更して画像処理する。
例えば、図4(a)のように、図1の障害物計測装置10を搭載した車両が道路1上を低速走行(車速<s1)すると、選択された最大の3次元計測領域Cが画面9のほぼ全体に設定され、領域C内において小さな実フレームレート(比較的長い画像処理時間)で車両の前方の先行車両2の画像が処理される。このように、低速走行時は、3次元計測領域を画面9のほぼ全体に設定して、比較的小さいフレームレートで実行する。
次に、車速が増して中速(s2以下、s1以上)となると、図3の時間T2〜T3の中速期間に、図3(d)のように、図2の中間の領域Bを3次元計測領域として選択するとともに、図3(a)のフレームを図3(c)のように実フレームレートを中程度(画像処理時間を中程度)に変更して画像処理する。
次に、車速が更に増して高速(s2以上)となると、図3の時間T4〜T5の高速期間に、図3(d)のように、図2の最も小さい領域Aを3次元計測領域として選択するとともに、図3(a)のフレームを図3(c)のように実フレームレートを大きく(画像処理時間を短く)変更して画像処理する。
例えば、図1の障害物計測装置10を搭載した車両が道路1上を高速走行(車速>s2)すると、選択された最小の3次元計測領域Aが画面9のほぼ中心部(または上部)に設定され、領域A内において大きな実フレームレート(比較的短い処理時間)で車両の前方の先行車両2の画像が処理される。
このように、車両の高速走行時には、3次元計測領域を画面9の中心部(または上部)に限定して比較的大きいフレームレートで実行する。このように小さな領域Aに限定しても、高速走行時は道路の直線性、平行性が保たれているため、問題ない。むしろ、道路形状が極端に上下、左右に蛇行している場合は、極端な高速走行は行わないから問題がないのである。
上述の障害物計測装置10により車両と障害物との間の距離を計測するステップ(S01〜S08)について図5のフローチャートを参照して説明する。
図1の障害物計測装置10を搭載した車両において障害物計測を開始すると、まず、右カメラ11及び左カメラ12から左右の画像が画像補正部13に入力し(S01)、画像を画像補正部13で補正する(S02)。
そして、領域選択部14aは、車速センサ16で検出した車速がs2以上の高速であると(S03)、図2の最小の領域Aを3次元計測領域として選択する(S05)。また、車速がs2以下、s1以上の中速であると(S04)、図2の中間の領域Bを3次元計測領域として選択し(S06)、s1以下の低速であると(S04)、図2の最大の領域Cを3次元計測領域として選択する(S07)。また、領域Aが選択されるとフレームレートは大きく、領域Cが選択されるとフレームレートは小さく、領域Bが選択されるとフレームレートはその中間に設定される。
次に、上述のようにして選択された領域A,BまたはCにおいて各フレームレートで画像を処理し、右カメラ11の右画像及び左カメラ12の左画像による水平位置の視差計測により障害物である先行車両までの距離を距離データ算出部15で算出する(S08)。
なお、上述の障害物計測においてはPOC法を用い、また、同一の解像度で実行する。
以上のように、図1の障害物計測装置10による障害物計測によれば、車両が低速のときは低フレームレートでかつ最大の領域Cで3次元距離計測を行うとともに、高速のときは高フレームレートでかつ最小の領域Aで3次元距離計測を行うので、車速が高速・低速に関わらず、単位時間あたりの視差算出の演算量が一定になり、単位時間あたりの演算量の上限が規定される。このため、視差算出がハード処理またはソフト処理のいずれであっても、その処理量がほぼ一定で大きくならないので、ハード処理もソフト処理もその規模が大きくならず、装置のコストダウンを実現できる。
また、一般に高速走行時は、高速道路など曲率半径の大きい道路を走行するため、画角端に注意すべき障害物が入ることは少ないから、図2の最小の領域Aで障害物の3次元距離計測を行っても問題が生じ難い。一方、低速走行時は、主に一般道を走行することが多く交差点での車の飛び出しや歩行者の飛び出しが予想されるため、画角端に注意する必要があるが、図2の最大の領域Cで障害物の3次元距離計測を行うことで画角端における障害物を計測できる。
〈第2の実施の形態〉
図6は第2の実施の形態の車両用の障害物計測装置を概略的に示すブロック図である。図7は図6の解像度変換部14bにより第1解像度変換Qで処理される領域(a)及び第2解像度変換Rで処理される領域(b)を示す模式図である。図8は、図6の障害物計測装置によるカメラ画像と3次元計測領域とを示す模式図であって、低速走行の場合(a)及び高速走行の場合(b)、(c)を示す。
図6の障害物計測装置20は、図1と比べて、画像処理部14が解像度変換部14bを備える点で相違する以外は、図1と基本的に同様の構成であるので、相違点について主に説明する。
解像度変換部14bは車速センサ16で検出した車速に基づいて画像の解像度を変換する。すなわち、車両が高速走行のとき(例えば、s1以上)、解像度変換部14bが図7(a)のように、第1解像度変換Qを行い、3次元計測を行う領域を図2の領域Aのように画面の中心部に限定して高解像度で画像処理を実行する。
また、車両が低速走行のとき(例えば、s1以下)、解像度変換部14bが図7(b)のように、第2解像度変換Rを行い、3次元計測を行う領域を図2の領域Cのように画面全体で低解像度で画像処理を実行する。例えば、第2解像度変換Rでは画素を間引いて第1解像度変換Qの解像度よりも低い解像度にすることができる。
図8(a)のように、車両が低速走行のときは、3次元計測を行う領域を図2の領域Cのように画面全体に設定し、画面全体において低解像度で一定のフレームレートに保持した状態で画像処理を行う。また、図8(b)のように、高速走行のときは、3次元計測を行う領域を図2の領域Aのように画面の中心部に限定して領域A内において高解像度で一定のフレームレートに保持した状態で画像処理を行う。この場合、図8(c)のように、高解像度で実行する中心部の領域A以外では低解像度で画像処理を行うことが好ましい。
上述の障害物計測装置20により車両と障害物との間の距離を計測するステップ(S11〜S16)について図9のフローチャートを参照して説明する。
図6の障害物計測装置20を搭載した車両において障害物計測を開始すると、まず、右カメラ11及び左カメラ12から左右の画像が画像補正部13に入力し(S11)、画像を画像補正部13で補正する(S12)。
そして、解像度変換部14bは、車速センサ16で検出した車速がs1以上の高速であると(S13)、第1の解像度変換Qを行い、図8(b)、(c)のように、画面中心部の領域Aを3次元計測領域として高解像度で画像処理を行う(S14)。また、車速がs1以下の低速であると(S13)、第2の解像度変換Rを行い、図8(a)のように、画面全体の領域Cを3次元計測領域として低解像度で画像処理を行う(S15)。
次に、上述の領域AまたはCにおいて右カメラ11の右画像及び左カメラ12の左画像による水平位置の視差計測により障害物である先行車両までの距離を距離データ算出部15で算出する(S16)。
なお、上述の障害物計測においてはPOC法を用い、また、同一のフレームレートで実行する。
以上のように、図6の障害物計測装置20による障害物計測によれば、車両が低速のときは低解像度でかつ画面全体の領域で3次元距離計測を行うとともに、高速のときは高解像度でかつ限定された領域で3次元距離計測を行うので、車速が高速・低速に関わらず、単位時間あたりの視差算出の演算量が一定になり、単位時間あたりの演算量の上限が規定される。このため、視差算出がハード処理またはソフト処理のいずれであっても、その処理量がほぼ一定で大きくならないので、ハード処理もソフト処理もその規模が大きくならず、装置のコストダウンを実現できる。
また、車両が低速走行時に障害物に対する回避行動に移ることのできる限界距離は高速走行時よりも近距離であるため、対象物(先行車両2)の画面に占める面積が大きく、低解像度でも対象物を検知可能である。
次に、図1,図6において、3次元計測領域を設定するときの別の例について図10(a)〜(c)を参照して説明する。
図10は、図1,図6の障害物計測装置によるカメラ画像と3次元計測領域とを示す模式図であって、低速走行の場合(a)及び高速走行の場合(b)、(c)を示す。
図10(a)の例は、車両が道路1上を低速で走行しているとき、3次元計測領域として画面9の左端領域Dと右端領域Eとを選択するようにしたものである。これにより、例えば一般道路での低速走行のとき、左端領域D及び右端領域Eの画角端において障害物の距離計測を行うことで、飛び出しによる車や歩行者を重点的に計測し監視できる。
図10(b)の例は、車両が道路1上を高速で走行しているとき、3次元計測領域として画面9の上部領域Fを選択するようにしたものである。これにより、例えば高速道路での高速走行のとき、障害物の距離計測を画角上部に限定する。
図10(c)の例は、車両が道路1上を走行しているとき、先行車両2までの距離データを得て、この距離データ及び車速から3次元計測領域を動的に設定するようにしたものである。この場合、3次元計測領域を高速走行時には遠距離範囲に、また、低速走行時には近距離範囲に設定することが好ましい。例えば、高速走行のとき、3次元計測領域として画面9の領域Gを設定した距離範囲(例えば、80〜100m)に限定する。
上述のように、道路上の距離情報から判別して車速に応じて3次元計測領域を動的に変えることで、道路状況や車の流れ等の変化に応じて適切に3次元計測を行うことができる。なお、この場合の距離データの算出は、SAD法により行うことが好ましい。
〈第3の実施の形態〉
図11は第3の実施の形態の車両用の障害物計測システムを概略的に示すブロック図である。
図11の障害物計測システム30は、図1または図6の障害物計測装置10または20と、障害物計測装置10,20の距離データ算出部15からの距離情報に基づいて例えば先行車両2との間の距離が設定距離以上か否かを判定する判定部31と、先行車両2との間の距離が設定距離以下のときに車両の操縦者に警告音や警告音声や警告ランプ等で危険を知らせる警告部32と、を備える。
図11の障害物計測システム30によれば、先行車両2との間の距離が設定距離以下となり接近した場合、障害物計測装置10,20からの距離情報に基づく警告部32からの警告により操縦者は危険に注意が向き、危険回避の操作を行うことができるとともに、障害物計測装置10,20のコストダウンにより障害物計測システム30のコストダウンを実現できる。
以上のように本発明を実施するための最良の形態について説明したが、本発明はこれらに限定されるものではなく、本発明の技術的思想の範囲内で各種の変形が可能である。例えば、図1,図6の障害物計測装置10,20または図11の障害物計測システム30は、自動車や電車等の自走車両に搭載して使用可能であるが、これらに限定されず、例えば、ロボット等に搭載してもよいことはもちろんである。
また、図7〜図9では、画像処理の解像度を2段階に変更するようにしたが、3段階に変更するようにしてもよく、この場合、s1>s2とした場合、車速s1以上で高解像度、車速s2以下で低解像度、車速s1以下s2以上で中間の解像度とするようにできる。
また、図11の障害物計測システム30では、先行車両2との間の距離が設定距離以下のとき、警告を発するようにしたが、例えば、自動的に減速するように車両を制御するようにしてもよい。
第1の実施の形態の車両用の障害物計測装置を概略的に示すブロック図である。 図1の領域選択部14aで選択可能な3次元計測の領域A,B,Cを示す模式図である。 図1の障害物計測装置10による制御における、フレーム(a)、車速(b)、実フレームレート(≒画像処理時間)(c)、及び3次元計測領域(d)の時間Tとの関係を模式的に示す図である。 図1の障害物計測装置によるカメラ画像と3次元計測領域とを示す模式図であって、低速走行の場合(a)及び高速走行の場合(b)を示す。 図1の障害物計測装置10により車両と障害物との間の距離を計測するステップを説明するためのフローチャートである。 第2の実施の形態の車両用の障害物計測装置を概略的に示すブロック図である。 図6の解像度変換部14bにより第1解像度変換Qで処理される領域(a)及び第2解像度変換Rで処理される領域(b)を示す模式図である。 図6の障害物計測装置によるカメラ画像と3次元計測領域とを示す模式図であって、低速走行の場合(a)及び高速走行の場合(b)、(c)を示す。 図6の障害物計測装置20により車両と障害物との間の距離を計測するステップを説明するためのフローチャートである。 第1,第2の実施の形態において3次元計測領域を設定する別の例を説明するための図であり、図1,図6の障害物計測装置によるカメラ画像と3次元計測領域とを示す模式図であって、低速走行の場合(a)及び高速走行の場合(b)、(c)を示す。 第3の実施の形態の車両用の障害物計測システムを概略的に示すブロック図である。
符号の説明
10,20 障害物計測装置
11 右カメラ
12 左カメラ
14 画像処理部
14a 領域選択部
14b 解像度変換部
15 距離データ算出部
16 車速センサ
30 障害物計測システム
31 判定部
32 警告部
A,B,C 3次元計測領域
D 左端領域
E 右端領域
F 上部領域

Claims (13)

  1. 走行物体から障害物までの距離をステレオカメラにより計測する障害物計測方法であって、
    前記障害物計測の対象領域及び前記ステレオカメラによる画像のフレームレートを前記走行物体の速度に応じて変化させることを特徴とする障害物計測方法。
  2. 前記走行物体が比較的高速のとき前記対象領域を画面の一部に限定し前記フレームレートを大きくする請求項1に記載の障害物計測方法。
  3. 前記走行物体が比較的低速のとき前記対象領域を画面のほぼ全体とし前記フレームレートを小さくする請求項1に記載の障害物計測方法。
  4. 走行物体から障害物までの距離をステレオカメラにより計測する障害物計測方法であって、
    前記障害物計測の対象領域及び前記ステレオカメラによる画像の解像度を前記走行物体の速度に応じて変化させることを特徴とする障害物計測方法。
  5. 前記走行物体が比較的高速のとき前記対象領域を画面の一部に限定し前記解像度を大きくする請求項4に記載の障害物計測方法。
  6. 前記走行物体が比較的低速のとき前記対象領域を画面のほぼ全体とし前記解像度を小さくする請求項4に記載の障害物計測方法。
  7. 前記距離計測における距離の算出をPOC法(位相限定相関法)を用いて行う請求項1乃至6のいずれか1項に記載の障害物計測方法。
  8. 前記対象領域を前記速度及び前記障害物までの距離に基づいて変更する請求項1乃至7のいずれか1項に記載の障害物計測方法。
  9. 前記対象領域を変更する際の前記障害物までの距離をSAD(差分絶対値和)法を用いて行う請求項8に記載の障害物計測方法。
  10. 走行物体から障害物までの距離をステレオカメラにより計測する障害物計測装置であって、
    前記障害物計測の対象領域を前記走行物体の速度に基づいて変更する手段と、
    前記ステレオカメラによる画像のフレームレートを前記速度に基づいて変化させる手段と、を備えることを特徴とする障害物計測装置。
  11. 走行物体から障害物までの距離をステレオカメラにより計測する障害物計測装置であって、
    前記障害物計測の対象領域を前記走行物体の速度に基づいて変更する手段と、
    前記ステレオカメラによる画像の解像度を前記速度に基づいて変化させる手段と、を備えることを特徴とする障害物計測装置。
  12. 請求項1乃至9のいずれか1項に記載の障害物計測方法を実行するように構成された請求項10または11に記載の障害物計測装置。
  13. 請求項10乃至12のいずれか1項に記載の障害物計測装置と、前記計測された距離情報に基づいて前記障害物に関する危険を判定する判定部と、前記危険と判定されたときに警告を発する警告部と、を備えることを特徴とする障害物計測システム。
JP2007143734A 2007-05-30 2007-05-30 障害物計測方法、障害物計測装置及び障害物計測システム Active JP5163936B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007143734A JP5163936B2 (ja) 2007-05-30 2007-05-30 障害物計測方法、障害物計測装置及び障害物計測システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007143734A JP5163936B2 (ja) 2007-05-30 2007-05-30 障害物計測方法、障害物計測装置及び障害物計測システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012271930A Division JP5454983B2 (ja) 2012-12-13 2012-12-13 障害物計測方法、障害物計測装置及び障害物計測システム

Publications (2)

Publication Number Publication Date
JP2008298532A true JP2008298532A (ja) 2008-12-11
JP5163936B2 JP5163936B2 (ja) 2013-03-13

Family

ID=40172192

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007143734A Active JP5163936B2 (ja) 2007-05-30 2007-05-30 障害物計測方法、障害物計測装置及び障害物計測システム

Country Status (1)

Country Link
JP (1) JP5163936B2 (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009146217A (ja) * 2007-12-14 2009-07-02 Hitachi Ltd ステレオカメラ装置
JP2010146494A (ja) * 2008-12-22 2010-07-01 Honda Motor Co Ltd 車両周辺監視装置
WO2010084919A1 (ja) * 2009-01-22 2010-07-29 株式会社 明電舎 接触力測定装置及び接触力測定方法
JP2010191637A (ja) * 2009-02-17 2010-09-02 Mazda Motor Corp 車両用運転支援装置
WO2010128640A1 (ja) * 2009-05-07 2010-11-11 コニカミノルタホールディングス株式会社 ステレオ画像取得装置
WO2011111247A1 (ja) * 2010-03-12 2011-09-15 日立オートモティブシステムズ株式会社 ステレオカメラ装置
JP2012065257A (ja) * 2010-09-17 2012-03-29 Olympus Corp 顕微鏡用撮像装置
JP2012138671A (ja) * 2010-12-24 2012-07-19 Kyocera Corp ステレオカメラ装置
JP5056861B2 (ja) * 2008-02-14 2012-10-24 コニカミノルタホールディングス株式会社 測距装置
JP2013156794A (ja) * 2012-01-30 2013-08-15 Hitachi Consumer Electronics Co Ltd 車両用衝突危険予測装置
JP2014150358A (ja) * 2013-01-31 2014-08-21 Saxa Inc 撮影装置
JP2017524178A (ja) * 2014-08-05 2017-08-24 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH ドライバー・アシスタント・システム
JP2018056838A (ja) * 2016-09-29 2018-04-05 パナソニックIpマネジメント株式会社 画像生成装置、画像生成方法、プログラムおよび記録媒体、並びに、画像処理システム
WO2019065218A1 (ja) * 2017-09-28 2019-04-04 株式会社小糸製作所 センサシステム
JP2019525540A (ja) * 2016-07-22 2019-09-05 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH 自車両の周辺領域撮影用カメラ装置及び運転者支援機能を提供する方法
WO2020075476A1 (ja) * 2018-10-11 2020-04-16 日立オートモティブシステムズ株式会社 車載システム
JP2020074816A (ja) * 2018-11-05 2020-05-21 スズキ株式会社 電動車両
WO2020262095A1 (ja) * 2019-06-26 2020-12-30 日立オートモティブシステムズ株式会社 ステレオ画像処理装置及びステレオ画像処理方法
CN114745999A (zh) * 2019-12-16 2022-07-12 日立环球生活方案株式会社 自主行走型吸尘器

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5266539B2 (ja) * 2012-07-25 2013-08-21 コニカミノルタ株式会社 測距装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003294457A (ja) * 2002-04-04 2003-10-15 Matsushita Electric Ind Co Ltd ナビゲーション装置
JP2004146904A (ja) * 2002-10-22 2004-05-20 Omron Corp 車載用撮像装置及びそれを用いた車両運転支援装置
JP2004245701A (ja) * 2003-02-14 2004-09-02 Toyota Central Res & Dev Lab Inc 距離分布検知装置
JP2006010392A (ja) * 2004-06-23 2006-01-12 Suzuki Motor Corp 貫通穴計測システム及び方法並びに貫通穴計測用プログラム
JP2006038578A (ja) * 2004-07-26 2006-02-09 Toyota Motor Corp 物体検出装置
WO2006121087A1 (ja) * 2005-05-10 2006-11-16 Olympus Corporation 画像処理装置、画像処理方法および画像処理プログラム
JP2006318272A (ja) * 2005-05-13 2006-11-24 Nissan Motor Co Ltd 車両用物体検出装置、および方法
JP2007064804A (ja) * 2005-08-31 2007-03-15 Clarion Co Ltd 車両用障害物検出装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003294457A (ja) * 2002-04-04 2003-10-15 Matsushita Electric Ind Co Ltd ナビゲーション装置
JP2004146904A (ja) * 2002-10-22 2004-05-20 Omron Corp 車載用撮像装置及びそれを用いた車両運転支援装置
JP2004245701A (ja) * 2003-02-14 2004-09-02 Toyota Central Res & Dev Lab Inc 距離分布検知装置
JP2006010392A (ja) * 2004-06-23 2006-01-12 Suzuki Motor Corp 貫通穴計測システム及び方法並びに貫通穴計測用プログラム
JP2006038578A (ja) * 2004-07-26 2006-02-09 Toyota Motor Corp 物体検出装置
WO2006121087A1 (ja) * 2005-05-10 2006-11-16 Olympus Corporation 画像処理装置、画像処理方法および画像処理プログラム
JP2006318272A (ja) * 2005-05-13 2006-11-24 Nissan Motor Co Ltd 車両用物体検出装置、および方法
JP2007064804A (ja) * 2005-08-31 2007-03-15 Clarion Co Ltd 車両用障害物検出装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG200601002021; 瀧田 健児: '位相限定相関法を用いた高精度画像照合とその評価' 第15回 回路とシステム(軽井沢)ワークショップ 論文集 , 20020423, 電子情報通信学会 システムと信号処理サブソサイエテ *
JPN6011051100; 瀧田 健児: '位相限定相関法を用いた高精度画像照合とその評価' 第15回 回路とシステム(軽井沢)ワークショップ 論文集 , 20020423, 電子情報通信学会 システムと信号処理サブソサイエテ *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009146217A (ja) * 2007-12-14 2009-07-02 Hitachi Ltd ステレオカメラ装置
JP5056861B2 (ja) * 2008-02-14 2012-10-24 コニカミノルタホールディングス株式会社 測距装置
JP2010146494A (ja) * 2008-12-22 2010-07-01 Honda Motor Co Ltd 車両周辺監視装置
WO2010084919A1 (ja) * 2009-01-22 2010-07-29 株式会社 明電舎 接触力測定装置及び接触力測定方法
JP2010169506A (ja) * 2009-01-22 2010-08-05 Meidensha Corp 接触力測定装置及び接触力測定方法
CN102292235A (zh) * 2009-01-22 2011-12-21 株式会社明电舍 接触力测量装置和接触力测量方法
JP2010191637A (ja) * 2009-02-17 2010-09-02 Mazda Motor Corp 車両用運転支援装置
WO2010128640A1 (ja) * 2009-05-07 2010-11-11 コニカミノルタホールディングス株式会社 ステレオ画像取得装置
JP5652391B2 (ja) * 2009-05-07 2015-01-14 コニカミノルタ株式会社 ステレオ画像取得装置
JPWO2010128640A1 (ja) * 2009-05-07 2012-11-01 コニカミノルタホールディングス株式会社 ステレオ画像取得装置
US9443313B2 (en) 2010-03-12 2016-09-13 Hitachi Automotive Systems, Ltd. Stereo camera apparatus
JP2011191905A (ja) * 2010-03-12 2011-09-29 Hitachi Automotive Systems Ltd ステレオカメラ装置
WO2011111247A1 (ja) * 2010-03-12 2011-09-15 日立オートモティブシステムズ株式会社 ステレオカメラ装置
JP2012065257A (ja) * 2010-09-17 2012-03-29 Olympus Corp 顕微鏡用撮像装置
JP2012138671A (ja) * 2010-12-24 2012-07-19 Kyocera Corp ステレオカメラ装置
JP2013156794A (ja) * 2012-01-30 2013-08-15 Hitachi Consumer Electronics Co Ltd 車両用衝突危険予測装置
JP2014150358A (ja) * 2013-01-31 2014-08-21 Saxa Inc 撮影装置
JP2017524178A (ja) * 2014-08-05 2017-08-24 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH ドライバー・アシスタント・システム
JP2019525540A (ja) * 2016-07-22 2019-09-05 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH 自車両の周辺領域撮影用カメラ装置及び運転者支援機能を提供する方法
JP7064451B2 (ja) 2016-07-22 2022-05-10 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング 自車両の周辺領域撮影用カメラ装置及び運転者支援機能を提供する方法
JP2018056838A (ja) * 2016-09-29 2018-04-05 パナソニックIpマネジメント株式会社 画像生成装置、画像生成方法、プログラムおよび記録媒体、並びに、画像処理システム
WO2018061740A1 (ja) * 2016-09-29 2018-04-05 パナソニックIpマネジメント株式会社 画像生成装置、画像生成方法、プログラムおよび記録媒体、並びに、画像処理システム
CN109572554A (zh) * 2017-09-28 2019-04-05 株式会社小糸制作所 传感器系统
JPWO2019065218A1 (ja) * 2017-09-28 2020-10-22 株式会社小糸製作所 センサシステム
WO2019065218A1 (ja) * 2017-09-28 2019-04-04 株式会社小糸製作所 センサシステム
WO2020075476A1 (ja) * 2018-10-11 2020-04-16 日立オートモティブシステムズ株式会社 車載システム
JPWO2020075476A1 (ja) * 2018-10-11 2021-10-07 日立Astemo株式会社 車載システム
JP2020074816A (ja) * 2018-11-05 2020-05-21 スズキ株式会社 電動車両
JP7320184B2 (ja) 2018-11-05 2023-08-03 スズキ株式会社 電動車両
WO2020262095A1 (ja) * 2019-06-26 2020-12-30 日立オートモティブシステムズ株式会社 ステレオ画像処理装置及びステレオ画像処理方法
CN113994663A (zh) * 2019-06-26 2022-01-28 日立安斯泰莫株式会社 立体图像处理装置及立体图像处理方法
CN114745999A (zh) * 2019-12-16 2022-07-12 日立环球生活方案株式会社 自主行走型吸尘器

Also Published As

Publication number Publication date
JP5163936B2 (ja) 2013-03-13

Similar Documents

Publication Publication Date Title
JP5163936B2 (ja) 障害物計測方法、障害物計測装置及び障害物計測システム
JP5615441B2 (ja) 画像処理装置及び画像処理方法
JP5454983B2 (ja) 障害物計測方法、障害物計測装置及び障害物計測システム
EP2546602B1 (en) Stereo camera apparatus
JP4287532B2 (ja) 車両用後側方監視装置
JP5421072B2 (ja) 接近物体検知システム
JP2008298533A (ja) 障害物計測方法、障害物計測装置及び障害物計測システム
JP5120227B2 (ja) 輪止検出装置及び後方画像表示装置
KR20170039649A (ko) 운전자 지원 시스템
JP7098790B2 (ja) 撮像制御装置及び移動体
JP2014078056A (ja) 車両用領域識別装置、そのプログラム及びその方法
JP2008262333A (ja) 路面判別装置および路面判別方法
US9813694B2 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value deriving method
JPWO2011013813A1 (ja) 車載装置および画像処理プログラム
JP2014130429A (ja) 撮像装置及び立体物領域検出用プログラム
JP2009146153A (ja) 移動体検出装置、移動体検出方法および移動体検出プログラム
JP5477394B2 (ja) 車両周辺監視装置
JP2016021712A (ja) 画像処理装置、及び、運転支援システム
JP3729005B2 (ja) 車両の後方監視装置
JP6152646B2 (ja) 複眼カメラ装置、及びそれを備えた車両
JPH1153551A (ja) ライン検出装置
JP6584862B2 (ja) 物体検出装置、物体検出システム、物体検出方法及びプログラム
JP2009181310A (ja) 道路パラメータ推定装置
JP2010018223A (ja) 車両用走行路面検出装置
JP5580062B2 (ja) 障害物検知警報装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100508

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120831

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121205

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151228

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

S801 Written request for registration of abandonment of right

Free format text: JAPANESE INTERMEDIATE CODE: R311801

ABAN Cancellation due to abandonment
R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350