JP2000266539A - 車間距離計測装置 - Google Patents
車間距離計測装置Info
- Publication number
- JP2000266539A JP2000266539A JP11068390A JP6839099A JP2000266539A JP 2000266539 A JP2000266539 A JP 2000266539A JP 11068390 A JP11068390 A JP 11068390A JP 6839099 A JP6839099 A JP 6839099A JP 2000266539 A JP2000266539 A JP 2000266539A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- vehicle
- edge
- inter
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
測装置を提供する。 【解決手段】車両に搭載した二つのカメラによるステレ
オ画像処理を用いた車間距離計測において、距離画像か
ら検出した先行車位置に、その先行車までの距離をもと
に、先行車の上下端を含む大きさの縦長のウィンドウを
複数設定し(S103)、その複数のウインドウ内にお
いて各y座標毎の水平エッジのヒストグラムを求め(S
104)、エッジのヒストグラムから検出した先行車上
のエッジ(S105)についてその移動ベクトルを計測
し、視差から求めた車間距離の変化と適合する方向およ
び大きさの移動ベクトルを示すエッジだけを先行車のエ
ッジとして選択する(S106)ように構成したことに
より、歩道橋、白線、路面表示などのような、先行車以
外の強度の強いエッジを誤検出することなく、確実に先
行車の上のエッジを選択することが出来る。
Description
の車間距離および車間距離変化計測の確実性を向上させ
る技術に関する。
ば、特開平8−278126号公報に記載されたものが
ある。この装置では、縦に並べたステレオ画像から水平
エッジのヒストグラムを抽出し、それらのヒストグラム
のピークを、垂直方向をy軸としたときに、y軸の下側
より順に探索し、ヒストグラムのピークのy軸上におけ
るステレオ画像間の位置の差を先行車の視差として、車
間距離を求めるものである。
置では、先行車までの車間距離測定に用いるデータとし
て水平エッジのヒストグラムだけを用いているため、そ
の水平エッジ成分が先行車のエッジであるか否かの判断
が不十分であり、車両以外のエッジを用いて対応点探索
を行なってしまう可能性があるという問題があった。特
に、歩道橋や停止線など路面上にかかる長く強い横エッ
ジが複数あると、それらのエッジの方が先行車よりも強
調されるため、先行車以外のエッジまでの距離を算出し
てしまう可能性が高くなる。また、距離の算出をステレ
オ視差からの演算だけで行っているため、分解能が粗
く、かつ、他手法との照合がないため、ステレオマッチ
ングが原因となる距離の誤計測を判断することができな
い、という問題があった。
決するためになされたものであり、車間距離計測におけ
る先行車との車間距離の計測の確実性を向上させた車間
距離計測装置を提供することを目的とする。
め、本発明においては、特許請求の範囲に記載するよう
に構成している。まず、請求項1に記載の発明において
は、二つのカメラで求めたステレオ画像全体にウィンド
ウを定義し、定義したウィンドウ毎に求めた視差(以下
距離画像と呼ぶ)から先行車までの距離と先行車が撮像
された画像上の位置とを求め、距離画像から検出した先
行車位置に、その先行車までの距離をもとに、先行車の
上下端を含む大きさの縦長または横長のウィンドウを複
数設定し、その複数のウインドウ内において各y座標毎
の水平エッジのヒストグラムまたは各x座標毎の垂直エ
ッジのヒストグラムを求め、同じy座標上に検出される
水平エッジのy座標位置または同じx座標上に検出され
る垂直エッジのx座標位置を検出し、前記水平エッジま
たは垂直エッジの移動ベクトルを計測し、視差から求め
た車間距離の変化と適合する方向および大きさの移動ベ
クトルを示すエッジだけを先行車のエッジとして選択す
るように構成している。なお、車間距離の変化と適合す
る方向および大きさの移動ベクトルを示すエッジとは、
例えば、後記図9で説明するように、車間距離が大きく
なる場合は、y>0の位置のエッジは下方、y<0の位
置のエッジは上方に移動し、車間距離が短くなる場合
は、y>0の位置のエッジは上方、y<0の位置のエッ
ジは下方に移動し、車間距離が一定の場合はエッジの位
置は不変となり、かつ、そのエッジの移動量は、原点
(y=0)から遠いほど大きく、原点から近いエッジほ
ど小さくなるものをいう。
請求項1に記載の二つのカメラの代わりに、路面に平行
方向と垂直方向の2次元的に光を走査して照射し、照射
した方向毎の光の反射強度と、その光の反射面までの距
離とを計測する光測距装置を用い、その光測距装置から
求めた距離画像と輝度画像に対して請求項1と同様の処
理を行なうように構成している。なお、上記の光測距装
置とは例えばレーザレンジファインダ等がある。
請求項2の光測距装置と、前記光測距装置の走査の中心
軸と光軸が平行になる位置および姿勢で搭載された電子
式のカメラとを用い、請求項2における光測距装置の輝
度画像の代わりに、前記カメラの画像(輝度画像)を用
いて同様の処理を行なうように構成している。
前記の求めた先行車上のエッジの中から2本ずつを1つ
の組として複数組選択し、それらの組におけるそれぞれ
のエッジ間距離を求め、同じ組について二つの時点で求
めたエッジ間距離の比、すなわちエッジ間距離の時間的
な変化率が同じ値となる組が最も多い組のエッジを先行
車上のエッジと再確認するように構成している。例えば
10本のエッジを2本ずつa組、b組、c組、d組、e
組の5組に分けた場合、a〜dの4組では変化率の値が
αで、e組のみはβであったとすれば、変化率が同じ値
となる組が最も多いa〜d組のエッジが先行車上のエッ
ジであり、e組のエッジは先行車上ではない他のエッジ
であると判断する。
前記先行車上のエッジと判断されたものについてのエッ
ジ間距離の変化率に基づいて車間距離の変化率を求める
ように構成している。具体的には、エッジ間距離の変化
率の逆数が車間距離の変化率となる。
前記距離・位置演算手段で求めた車間距離の所定回数前
の演算値に前記車間距離の変化率を乗算することによっ
て車間距離を算出するように構成している。
前記距離・位置演算手段で求めた車間距離と前記車間距
離の変化率から求めた車間距離とを照合することにより
車間距離演算の確認を行なうように構成している。
前記先行車エッジ判断手段で、先行車以外のエッジと判
断された位置に対する計測値は用いずに、前記距離・位
置演算手段における距離と位置の演算処理を行なうよう
に構成している。
請求項2または請求項3において、前記光測距装置の輝
度画像の値の低い位置の計測値は用いずに、前記距離・
位置演算手段における距離と位置の演算処理を行なうよ
うに構成している。
るステレオ画像処理を用いた車間距離計測において、エ
ッジのヒストグラムから検出した先行車上のエッジにつ
いてその移動ベクトルを計測し、視差から求めた車間距
離の変化と適合する方向および大きさの移動ベクトルを
示すエッジだけを先行車のエッジとして選択するように
構成したことにより、歩道橋、白線、路面表示などのよ
うな、先行車以外の強度の強いエッジを誤検出すること
なく、確実に先行車の上のエッジを選択することが出来
る、という効果が得られる。
ンダのような光測距装置を用いて、請求項1と同様の効
果が得られる。また、カメラによる画像は夜間のような
暗い状況下では使用困難であるが、レーザレンジファイ
ンダのような光を照射する光測距装置では夜間等でも使
用可能である。
ンダのような光測距装置とカメラとを組み合わせること
により、請求項1と同様の効果が得られと共に、信頼性
を確保するために光測距装置の距離分解能を粗くした場
合でも、距離精度を保持または向上することが可能とな
り、同様に、装置の信頼性確保のために走査を遅くして
計測の時間間隔を長くした場合においても、カメラを1
台追加した構成にしただけで、距離測定のレスポンスを
遅くすることなく、通常の画像処理の速度での距離計測
が可能となる。
的な変化率を求め、変化率の同じエッジを先行車のエッ
ジと判断する(変化率の異なるエッジは先行車以外のエ
ッジとして除去する)ように構成しているので、先行車
上にかかる光のノイズなどの除去が可能になり、より確
実に先行車を構成するエッジだけを選択することが可能
となる。さらに、上記のように先行車以外のエッジを除
外することにより、除外したエッジの位置を車間距離算
出の際に除外することができるので、路面表示など先行
車周囲にエッジが多く存在する環境や光の位置などによ
ってノイズの多い環境下でも、環境変化に影響されず確
実性の高い車間距離計測が可能となる。
ッジと判断されたエッジについてのエッジ間距離の変化
率から車間距離の変化率を求めるように構成したことに
より、光のノイズや影など、多少のエッジ検出ミスがあ
る場合、および先行車上のエッジを検出しにくい環境下
でも、車間距離の変化率を確実に正しく求めることが可
能となる。
算手段で求めた車間距離の所定回数前の演算値に車間距
離の変化率を乗算することによって車間距離を算出する
ことにより、視差や距離画像から求める車間距離よりも
高精度に車間距離を計測することが出来る。また、請求
項3のように光測距装置とカメラとを組み合わせた構成
に適用した場合には、光測距装置の計測間隔が長い場合
でも、カメラの撮像間隔での車間距離の更新が可能とな
る。更に、光測距装置の距離分解能が粗い場合には、距
離の高精度化も可能となる。
算手段で視差や距離画像から求めた車間距離と車間距離
の変化率から求めた車間距離とを照合することにより、
二つの方法で求めた車間距離の正確性の確認を行なうこ
とが出来るので、より確実性の高い車間距離計測を行な
うことが出来る。
判断手段で、先行車以外のエッジと判断された位置に対
する計測値は用いずに、前記距離・位置演算手段におけ
る距離と位置の演算処理を行なうことにより、距離と位
置の演算における確実性を向上させることが出来る。例
えば、先行車以外のエッジと判断された位置におけるレ
ーザレンジファインダで計測した距離画像上の値を、車
間距離計測の際の判断に反映させない構成なので、ノイ
ズなどによる誤計測値を除去でき、より正確な測距が可
能となる。
は請求項3において、距離画像からの車間距離計測の際
に、光測距装置の輝度画像上の反射強度が低い位置で計
測された距離を反映させない構成としたため、誤計測値
を除去でき、さらに信頼度の高い計測値だけを用いた、
より正確な測距が可能となる。
明の第1の実施の形態の構成を示すブロック図である。
図1において、1および2は電子式のカメラであり、自
車の前部に前方を向いて設置されており、両カメラの光
軸は相互に平行で、かつ撮像面の垂直軸が同じライン上
に揃うように設置されている。なお、撮像面の水平軸が
同じライン上に揃うように設置してもよい。また、車両
の後部に後方を向けて設置し、車両後方の障害物を検出
するように構成することもできる。3、4はそれぞれカ
メラ1、2から入力した画像信号を記憶する画像メモリ
である。5は演算部であり、例えばCPU、RAM、R
OM等からなるマイクロコンピュータで構成される。6
は自車の前方に存在する障害物等の検出対象物であり、
図1では先行車を例示している。
の演算手段と方法について説明し、それからフローチャ
ートに基づいて全体の演算の流れを説明する。図2は、
ステレオ画像を用いて三角測量の原理でカメラから検出
対象までの距離を求める原理を説明する図である。図2
においては、カメラA(前記カメラ1に相当)で撮像し
た画像を画像A、カメラB(前記カメラ2に相当)で撮
像した画像を画像Bで示し、検出対象の位置を点p
(x,y,z)としている。
離(両カメラ間の距離)Dが既知であり、光軸が互いに
平行な2台のカメラA、Bで撮像したステレオ画像にお
いて、2枚の画像間のマッチング位置ya、ybを求め
ることできれば、カメラから対象物pまでの距離Zは下
記(数1)式より求めることができる。
光軸が平行で、所定間隔を隔てて設置された二つのカメ
ラA、Bで一つの物体を撮像した場合に、それぞれのカ
メラに写った画像の位置の差、すなわち画像Aにおける
位置yaと画像Bにおける位置ybとの差である。な
お、この例では、眼間距離Dと距離Zの単位はm、焦点
距離f、視差Sおよび位置ya、ybの単位は画素であ
る。例えばカメラA、BはCCDを用いたものであり、
画素数を640×480とした場合、1画素の大きさは
10μm程度である。
に平行で、かつ撮像面の垂直軸が同じライン上に揃うよ
うに設置した場合であるが、撮像面の水平軸が同じライ
ン上に揃うように設置した場合には、下記(数1')式
に示すようになる。 Z=f・D/(xa−xb)=f・D/S …(数1') ただし、xa−xb=Sは視差 なお、以後の説明は全て撮像面の垂直軸が同じライン上
に揃うように設置した場合を例として説明する。
(例えば画像A)上において点pが撮像されている点
(xa、ya)に対応する他方の画像(例えば画像B)
上の点(xb、yb)を検出する必要がある。その方法
としては、画像A上の点(xa、ya)を含む或る範囲
の画像(ウィンドウ)と最も類似した範囲を画像B内か
ら探すことで求めることができる。この類似度の算出に
は、画像間の差分法や正規化相関法などがある。そして
距離画像(ウィンドウ毎にその内部に撮像される物体ま
での視差を求めた画像)は、定義した全てのウィンドウ
において差分法や正規化相関法により、他方と類似度の
高いウィンドウが存在する位置を求めることで作成でき
る。
求めた結果を示す図であり、詳しくは、道路前方を撮像
した画像において、一方の画像(例えば画像B)をウィ
ンドウ毎に切り、その全てのウィンドウにおいて他方の
画像(例えば画像A)からそのウィンドウと最も類似度
の高い画像の位置を求めることで、両画像における対応
する位置を検出し、それぞれの対応する位置から各ウィ
ンドウ毎の視差を求めた結果を表したものである。図3
において、(A)は下画像(画像Aに相当)、(B)は
上画像(画像Bに相当)、(C)は視差の表、(D)は
視差が「15」のウィンドウ部分のみを抜き出した画像
を示す。また、図3(B)、(C)の(1)〜(20)は各ウ
ィンドウの水平方向(以下、横方向と記す)の位置を示
す。ただし、図においては(1)〜(20)を丸付き数字で表
している。また、一つのウィンドウは幅(x方向の長
さ)がxw、高さ(y方向の長さ)がywである。上記
のように、各ウィンドウ毎の視差が判れば、前記(数
1)式を用いることによって、該当するウィンドウに撮
像されている物体までの距離を求めることが出来る。
その内部に撮像されている物体までの視差を求めた画像
を“距離画像”と呼ぶことにする。このウィンドウ毎に
算出される視差は、当該ウィンドウの内部に撮像されて
いてエッジ(画像が明から暗または暗から明に変化する
点が連続した部分で、画像の端などを示す線分に相当す
る)などの特徴的な部分を持つ物体までの距離に相当す
るから、一つの対象物が複数ウィンドウに跨って撮像さ
れていると、隣接するウィンドウで同じ視差が求められ
る。例えば、道路前方を撮像した画像における距離画像
の場合、先行車と、先行車が存在する真下の路面とは同
距離なので、図3(D)に太線のウィンドウで示すよう
に、先行車の下部と同じy座標上にあるウィンドウは先
行車と同じ視差で算出される。例えば図3(C)の下か
ら2行目に「15」が横方向に連続しているのが上記の
部分に相当する。なお、図3(C)において、中央部分
に視差「15」が集合している部分が先行車に相当し、
(3)、(4)列に視差「19」が集合している部分が「左方
の木」に相当し、(6)列に視差「5」が連続している部
分が「中央の木」に相当する。
る物体が存在すると、その物体が撮像されているx座標
位置のウィンドウでは同じ視差が検出される。一方、車
両横にある白線部分のように路面などの高さを持たない
位置では、同じx座標上で同じ視差が検出されるウィン
ドウは一つである。すなわち、前方に物体が存在する場
合、同一x座標の方向でのウィンドウにおいて同じ視差
の個数を数えることにより、物体を検知することができ
る。この方法によれば、複数の物体も一つの物体も同じ
方法で検出することができ、検出対象や背景の色に左右
されずに物体を検知できるようになる。また、白線や停
止線などの路面表示は、同じ視差を示すウィンドウが同
じ方向に現れないため、路面表示と高さをもつ障害物と
を誤検出することがなくなるという利点もある。加え
て、距離画像だけを利用しているため、検出対象の色や
形状および背景色にかかわらず同様の処理で複数物体を
検出できる。
めた視差とそのウィンドウの横方向の位置に基づいて、
対応する表中の位置に投票する様子を表した図であり、
(A)は右画像、(B)は視差の表、(C)は投票用の
表を示す。なお、この場合における「投票」とは、或る
横方向位置とそれに対応する視差の値の位置に、+1ず
つ加算することを意味する。例えば位置(8)の位置に視
差「15」が1個存在する場合には、図4(C)の位置
(8)で視差「15」の位置に「+1」が加算される。図
4(B)の例では、位置(8)の位置に視差「15」が5
個存在するから、最終的には位置(8)で視差「15」の
位置に「5」が投票されることになる。
ドウにおいて行った結果を示す図であり、(A)は上画
像、(B)は視差の表、(C)は投票用の表を示す。
ンドウにおいて、横方向が同じ位置のウィンドウは同じ
方向を撮像したものである。また、図5から判るよう
に、前方に物体が存在する場合、物体を検知している部
分では同じx座標上の縦方向のウィンドウは同じ視差が
求められ、路面上に物体が存在しない場合では同じy座
標上の横方向のウィンドウで同じ視差が求められる。こ
のような距離画像を用いて、図4に示した方法で表に投
票を行なうと、同じ方向(同じx座標上)に同じ視差が
並んでいると、その方向と視差の値への投票回数が多く
なるため、その位置の値が高くなる。したがって、図5
の表から値の高い位置を探すことで前方の物体の有無を
検知できる。図5に示す例では、(3)、(4)番目のウィン
ドウで視差「19」の部分(左方の木に相当)、(5)番
目のウィンドウで視差「5」の部分(中央の木に相
当)、(8)〜(16)番目のウィンドウで視差「15」の部
分(先行車に相当)で投票が集中し、値が高くなってい
る。例えば視差「15」の部分の値が高いということ
は、カメラが撮像した画角内に視差が約15画素となる
物体が撮像されていることを示す。仮に前記図2に示し
た眼間距離Dを0.1m、焦点距離fを1500画素と
すると、カメラからその物体までの距離は、前記(数
1)式により、前方10m(=1500×0.1/1
5)であると求められる。また、視差が15画素の位置
の投票結果をx軸方向で見ると、x軸方向に定義した
(8)〜(16)番目のウィンドウ付近の値が高く、その左右
両側のウィンドウでは投票値が低くなっている。
め、図5の投票結果から視差15の部分を抜き出して1
次元グラフとしてあらわした図である。図6において、
(a)は図5の(c)に相当する表、(b)は1次元グ
ラフ、(c)は対応する画像である。以下、図6を用い
て、物体が撮像されるおおよその横方向(x軸方向)の
範囲を求める方法を説明する。
したウィンドウの位置、縦軸はそのx座標位置で視差=
15となったウィンドウの個数である。この図では、
(8)〜(16)番目の値が高い。このことは(8)〜(16)番目の
間に高さをもつ物体が撮像されていることを示してい
る。また、グラフ内の横線は、物体が撮像されているか
否かを判断するために設けたしきい値である。しきい値
は、例えば次の方法で設定すればよい。すなわち、表の
値は画像上に撮像される物体の高さに比例し、画像上の
物体の高さは実際の物体の高さを一定とすると物体まで
の距離に反比例する。このことから、物体までの距離に
応じて画像上の高さを計算し、その高さに含まれるウィ
ンドウの個数を基準にヒストグラムのしきい値を設定す
ることができる。例えば、図6(b)では、しきい値を
5.5に設定している。したがって、しきい値以上の値
を持つ位置は(8)〜(16)番目のウィンドウであるので、
前方の物体が撮像されるおおよその横方向の範囲は(8)
〜(16)番目のウィンドウの間であると求められる。上記
のように先行車が撮像されている横方向の範囲をxl〜
xrとする。
行車の上下端の撮像された位置と先行車までの距離の関
係を表す図であり、(A)は側面図、(B)は撮像面A
の画像例である。先行車までの距離Zが分かっている場
合、路面からカメラまでの高さをH、先行車の高さをh
とすると、図7より、その先行車の上下端(yu,y
d)は、ほぼ、下記(数2)式の位置に撮像される。な
お、ここでは下端ydはほぼ路面と同じ高さとみなす。
程度の大きさで縦長のウィンドウを切り、それぞれにお
いて各y座標毎に水平エッジのヒストグラムと輝度のヒ
ストグラムを求めた様子を示す図であり、(A)は原画
像上に設けた縦長のウィンドウの一例、(B)は先行車
の存在位置を水平微分したエッジを示す図、(C)は
(B)における〜のウィンドウの各水平エッジのヒ
ストグラムを示す。なお、横長のウィンドウを設定した
場合には、各x座標毎の垂直エッジのヒストグラムを求
める。
向の位置は、前記図6の距離画像から検出した先行車が
撮像される範囲xl〜xrの間とすればよい。また、ウ
ィンドウを定義する縦方向の位置は、前記(数2)式で
求めた値をもとに、上下端yu、ydが含まれる程度の
大きさ(上がyu+α、下がyd−α ただしαは所定
の余裕値)とする。このとき、(数2)式の先行車の高
さhは、通常、未知の値であるが、一般的な車両の高さ
を考え、1〜2m程度の範囲の適度な値で十分である。
先行車上にウィンドウを定義すると、図8の中央部の
の3個所に定義したウィンドウでは、その水平エッ
ジのヒストグラムのピークがほぼ同じ位置に現われる。
ここでは、距離画像と(数2)式より、先行車が存在し
得る付近に限定してウィンドウを設けているため、定義
したウィンドウにおいてウィンドウ間で同じ位置にヒス
トグラムのピークが存在する位置(ye1〜ye5の位
置)は先行車上のエッジであると判断できる。
ベクトルを求め、そのエッジの中から、先行車の動きに
基づいた動きをするエッジだけを選択する。図9はエッ
ジの移動ベクトルを示す図であり、(A)は先行車が遠
ざかる(車間距離が大きくなる)場合の例、(B)は先
行車が近づく(車間距離が小さくなる)場合の例を示
す。図9に示すように、先行車上のエッジは、車間距離
が大きくなる場合にはy軸方向に画像の中心(原点を画
像の中心とするとy=0の位置)に向かって移動し、車
間距離が短くなる場合は画像の中心から遠ざかる方向に
移動する。したがって、図8の方法で検出したエッジが
先行車上のエッジであれば、車間距離が大きくなる場合
は、y>0の位置のエッジは下方、y<0の位置のエッ
ジは上方に移動し、車間距離が短くなる場合は、y>0
の位置のエッジは上方、y<0の位置のエッジは下方に
移動し、車間距離が一定の場合はエッジの位置は不変と
なる。なお、図9に上下方向の矢印で示したのが移動ベ
クトルである。
いほど大きく、原点から近いエッジほど小さい。これら
のことから、ステレオ画像処理で車間距離の変化を求め
るとともに、図8で検出したエッジの移動ベクトルを求
め、そのベクトルが図9に示す理論どおりの動きをする
ものを車両上のエッジとして再確認することにより、先
行車検出の精度を向上させることが出来る。例えば、先
行車直後の路面表示や先行車前方の歩道橋などのような
車両以外のエッジは、上記の処理により誤検出エッジと
して除去することができる。
およびその結果を用いて先行車上のエッジを再確認する
方法について説明する。図10は、一方の画像に撮像さ
れた先行車の上下端の撮像された位置と先行車までの距
離の関係を表す図であり、(A)は時点t−1における
位置、(B)は時点tにおける位置を示す。図10に示
すように、追従中の車両上から、バンパーなど路面に平
行な線を異なる位置から2本ずつ2組選択し、その2本
の平行線間の距離をh1、h2とする。焦点距離をfと
し、時点t−1において車間距離がZt-1のときのh
1、h2の画像上の長さをそれぞれy1t,y2tとする
と、y1t,y2tは、それぞれ下記(数3)式で示され
る。
に、そのときの画像上のh1,h2の長さは、y1t=
h1・f/Zt, y2t=h2・f/Ztとなる。これ
らから、車間距離がZtからZt-1に変化したときの画像
上のエッジ間の長さの時間的な変化率(以下、単に変化
率と記す)は、h1、h2ともに、下記(数4)式に示
すようになる。
ず、同じ物体上のエッジ間距離の変化率は、どのエッジ
が選択された場合でも値が同じになり、その値は、車間
距離の変化率(Zt/Zt-1)の逆数(Zt-1/Zt)とな
る。このことから、図8や図9の方法によって検出した
画像上の車両のエッジから2本ずつの組を作り、二つの
時点で計測したエッジ間距離から、それらのエッジ間距
離の変化率(y1t/yt-1,y2・/y2t-1、…、y
nt・/ynt-1)を求め、それぞれの組で求めたエッジ
間距離の変化率から、その値が同じである最も多い組の
エッジを先行車上のエッジであると再確認することがで
きる。
られたエッジ間距離の変化率は、その時点での画像上の
先行車の大きさの変化率となる。さらに、或るエッジを
含む組に限って変化率が常に異なるものがあれば、その
エッジを先行車以外のエッジとして除外できる。これに
より、先行車付近の路面表示や路面のノイズだけでな
く、外部からの反射光など、先行車上に現れるが先行車
以外の水平エッジとなる光のノイズなども、先行車以外
のエッジとして除去することが可能となる。
距離画像上におけるそのエッジの存在位置の視差の値
は、誤った値となる。このことから、距離画像を用いた
距離計測において、除外すべきエッジと判断されたエッ
ジの存在位置の視差を用いないようにすることで、車間
距離計測の確実性を向上させることができる。上記のよ
うに、図9、図10のような判断で先行車上のエッジだ
けを確実に選択することは、距離計測の確実性増加に対
して有効な手段であり、特に、光のノイズや周囲のノイ
ズなど、先行車以外のエッジが多く検出される環境下で
の距離計測の確実性向上に有効である。
利用して車間距離の変化率を求める方法について説明す
る。図9、図10で求めたエッジ間距離の変化率は、前
記(数4)式に示したように距離の変化の逆数となる。
このことから、最も多くのエッジについて求められたエ
ッジ間距離の変化率の逆数をその時点での車間距離の変
化率とすることができる。この方法では、先行車上のエ
ッジを2本だけでなく、ヒストグラムのピークにより、
できるだけ多くの本数求めているため、光の反射などに
より、或る一部のエッジが検出されない場合でも、他の
エッジが検出できれば、その影響をうけることなく車間
距離の変化率を求めることができる。この判断を加える
ことは、先行車上のエッジを検出しにくい環境に対する
安定した確実な距離変化の算出に有効な手段となる。
間距離計測には次の3方法がある。 (1)連続的に入力される画像を用いたステレオ画像処
理では、先行車上の視差を用いて前記(数1)式を適用
することにより、先行車までの車間距離を時間的に連続
的に求めることができる。 (2)車両追従中における車間距離の変化率は、前記図
9、図10で説明した方法で求めることができる。した
がって、同じ車両に追従中であれば、数回前にステレオ
画像処理で視差から計測した車間距離Zt-1に数回前か
らの画像上の車両のエッジ間距離の変化率の逆数を乗算
することによっても、その時点での車間距離を算出する
ことができる。 (3)画像上の先行車の高さ(yu−yd)から車間距
離を求める方法。
明する。図7に示した先行車の高さhは通常は未知の値
である。しかし、ステレオ画像処理で求めた先行車まで
の距離Zと画像上の先行車の高さ(yu−yd)が求め
られていれば、下記(数5)式によって追従中の車両の
高さhを求めることができる。
行車のエッジだけを検出できているため、画像上から検
出した先行車上のエッジの組み合わせのうち、最上端と
最下端のエッジを選択することで、画像上の先行車の高
さ(yu−yd)を求めることが可能である。追従中の
先行車の高さhは一定であるので、同じ車両に追従中の
場合、1度先行車の高さhを求めておけば、そのhをも
とに新たに検出した画像上の先行車の高さ(yut+1−
ydt+1)を、(数5)式に代入することで、下記(数
6)式に示すように、画像上の先行車の高さ(先行車上
のエッジ間の距離)からも車間距離Zを算出することが
出来る。
6’)式のようになる。
距離は、ステレオで求めた時点tにおける車間距離Zt
に対して、画像上のエッジ間距離の変化率の逆数(yu
t−ydt)/(yut+1−ydt+1)を乗算することと同
じである。つまり、(2)と(3)の方法は、実際に適
用する計算式は異なっているが、原理的には同じことで
ある。
離の確認および距離計測を高精度化することが出来る。
すなわち、距離の確認は、(1)のステレオ画像処理で
算出した距離と(2)または(3)のエッジ間距離の変
化率から求めた距離とを照合することによって行なうこ
とが出来る。また、エッジ間距離の変化率から求める車
間距離変化率は、ステレオ画像処理で連続的に求めた距
離から算出される車間距離変化率より精度が良い。
11に基づいて説明する。(1)の方法と(2)、
(3)の方法で求めた車間距離の精度の違いを考える。
車載のステレオカメラの場合、h>D(h:先行車の高
さ、D:カメラ間の距離)であるため、同じ車間距離を
計測したときにおける視差(ya−yb)(単位:画
素)に対して先行車の高さ(yu−yd)(単位:画
素)の方が大きな値となる。そのため、(数6)式によ
る車間距離計測の方が、1画素のずれによる誤差の影響
が小さいため、ステレオ視差からの計測車間距離より分
解能の細かい測距が可能となる。
00画素、先行車の高さh=1mとした場合において、
車間距離が10mの場合を考える。このとき、先行車の
ステレオ視差は20画素(=0.2×1000/1
0)、画像上の先行車の高さは100画素(=1×10
00/10)となる。この二つにおいて、視差と先行車
の高さ検出が1画素ずれると、ステレオ視差の場合に
は、20画素が19画素となるので、10.52m(=
0.2×1000/19)と計測されるのに対し、高さ
計測の場合には、100画素が99画素となるので、1
0.1m(=1×1000/99)と計測される。つま
り、1画素の検出誤差が、ステレオ画像処理では0.5
mであるのに対し、高さ計測では0.1mとなる。
は計測する車間距離分解能に相当する。つまり、車載の
ステレオカメラによる車間距離計測の場合には、先行車
の高さより広い眼間距離を持つカメラ設定は実用上困難
であるため、画像上の先行車のエッジ間距離の変化を用
いた計測の方がステレオ視差を利用した計測よりも細か
い分解能での計測が可能である。このことから、追従中
の先行車までの車間距離を二つの方法で求めてその結果
を照合することは、車間距離の確認だけでなく、ステレ
オ視差から求めた車間距離の高精度化にもつながること
になる。同じ理由により、車間距離の変化率もステレオ
画像処理で求めた車間距離から求めたものよりも画像上
のエッジ間距離の変化から求めた方が高精度となる。こ
のことから、(2)および(3)の方法では、ステレオ
画像処理で求めた車間距離の確認および高精度化が可能
となる。
は相互に平行で、かつ撮像面の垂直軸が同じライン上に
揃うように設置した場合について行なったが、撮像面の
水平軸が同じライン上に揃うように設置してもよい。ま
た、図8の説明においては、先行車上に設定するエッジ
検出用の複数のウインドウを縦長とした場合について説
明したが、横長のウインドウとし、検出する先行車上の
エッジの対象を垂直エッジとしても同様の原理が適用で
きる。また、カメラの置き方、検出対象エッジの向きに
関わらず、同様の効果も期待出来る。
従中の先行車上のエッジを検出し、車間距離の変化率を
求めることで車間距離の確認および高精度化を行う実施
の形態について説明する。ここでは、前記図2のように
カメラを路面に対して縦に平行に並べ、2台のカメラの
y軸が同一ライン上にのるように配置したステレオカメ
ラを用いることとする。
理の流れを示すフローチャートである。まず、ステップ
S101では、図2のカメラAとBのステレオ画像、す
なわち画像Aと画像Bを入力する。次に、ステップS1
02では、視差を求めることによって距離画像を作成
し、作成した距離画像から先行車の位置と距離を検出す
る(前記図4〜図6参照)。
画像から先行車の存在する横(x軸)方向の範囲を(x
1〜xr)を求める(図6、図8参照)。また、距離画
像から求めた先行車までの距離Zをもとに前記(数2)
式により、先行車の概略の上下端yu、ydを求め、y
u、ydを含む大きさの縦長のウィンドウを設ける(前
記図6〜図8参照)。ウィンドウの横方向の大きさは、
y座標毎のヒストグラムが求められるよう10画素程度
以上とすれば十分である。または、先行車の画像上の大
きさは距離に応じて可変であるため、その距離に応じ
て、横幅が10画素以上のウィンドウが5個所以上に定
義できるように適度な大きさで可変としてもよい。ま
た、(数2)式をもとにウィンドウの上下端の定義位置
yu+α、yd−αを求める際に用いる先行車の高さh
は1〜2m程度の平均的な値で十分である。また、余裕
値αの値は、そのときの先行車の距離に応じて、先行車
の高さの5分の1程度のマージンでよい。例えば、(数
2)式より、距離から算出される先行車の画像上の高さ
が50画素程度の場合、αは10画素程度でよい。
103で定義した縦長のウィンドウ内の水平エッジのヒ
ストグラムを求める(図8参照)。この際、水平エッジ
のヒストグラムは、図8(B)に示したように、ソーベ
ルフィルタなどでウィンドウ内の画像を水平微分し、そ
の水平微分画像の各y座標毎のヒストグラムをとればよ
い。
ストグラムから先行車上の水平エッジを検出する。すな
わち、図8で定義したウィンドウの全てにおいて求めた
水平エッジのヒストグラムから、半数以上のウィンドウ
において同じ位置に検出されているエッジを見つける。
先行車は路面に対して平行なエッジを持つため、先行車
上に切ったウィンドウにおいて同じ位置に検出されるエ
ッジは先行車のエッジであると一応みなすことができ
る。
つにすると、そのウィンドウの両端部分に白線が撮像さ
れる場合には、白線のエッジ強度が先行車のエッジ強度
より強くなることが多いため、先行車ではなく白線の位
置が検出されることがある。そのため、このような誤検
出を防ぐためにウィンドウを複数設け、複数のウィンド
ウにおいて検出されたエッジを先行車上のエッジと判断
するようにしている。
105で求めた先行車上のエッジの移動ベクトルを検出
する(図9参照)。エッジの移動ベクトルの算出は、前
述の方法で検出したエッジの位置において、例えば、検
出対象上に切った小さなウィンドウの移動方向を求める
方法などによる一般的なオプティカルフロー検出手法を
施せばよい。このような処理により検出した全てのエッ
ジのオプティカルフローより検出した各エッジ毎の移動
ベクトルを求める。
のエッジの移動ベクトルを用いて、そのエッジが先行車
上のものであるか否かを再確認する。この確認は、車間
距離変化とエッジが存在する位置により、次のような基
準で判断できる(図9参照)。まず、車間距離が変化し
たときは、画像の中心に近いエッジの方が動きが小さ
く、画像の端に行くにつれ動きが大きくなる。そのた
め、例えば、y=0(原点:画像中心)の位置に近いに
もかかわらず、そのエッジより原点から遠い位置にある
エッジベクトルの平均の動きよりも大きな動きを示すベ
クトルがあれば、それは先行車以外のエッジである可能
性が高い。また、図9に示したように、車両上のエッジ
は、y<0の範囲とy>0の範囲とで移動方向が上下逆
になるので、それと反対の動きをするエッジは先行車以
外のエッジと判断出来る。また、車間距離変化が0のと
きに大きな動きを示したエッジも先行車以外のエッジと
判断できる。このような判断基準をもとに、先行車以外
の可能性の高いエッジを除去し、残ったエッジ(上記の
基準に適合したエッジ)を先行車上のエッジと判断す
る。これにより、歩道橋や光の反射等の誤ったエッジを
除去し、確実に先行車上のエッジを選択することが出来
る。
離の変化率を算出し、それに基づいて車間距離の変化率
(エッジ間距離の変化率の逆数に等しい:数4式参照)
を算出する。まず、図8、図9の方法で検出した先行車
上のエッジの中から2本ずつの組を作り、全ての組にお
けるエッジ間距離を求める(図10参照)。前述したと
おり、同じ物体上のエッジの組であれば、どの組でもエ
ッジ間距離の時間的な変化率(y1t/y1t-1、y2t
/y2t-1、…、ynt/yn−1)は同じ値となるはず
である。
具体的に説明する。図9の判断基準により選択されたエ
ッジはオプティカルフローにより時間的な移動ベクトル
が求められているエッジである。そのため、そのベクト
ルの始点が前回のエッジ位置、終点が今回のエッジ位置
となる。つまり、前回のエッジ間距離ynt-1(n:
1、2、…、)は、エッジ間距離を求める対象の二つの
エッジの移動ベクトルの始点と始点との距離となり、今
回のエッジ間距離ynt(n:1、2、…、)は、二つ
のエッジの移動ベクトルの終点と終点との距離として求
められる。この方法で全ての組におけるエッジ間距離の
変化率ynt/ynt-1(n:1、2、…、)を求めれ
ば、その中から最も多く同じ値が求められた各組のエッ
ジを先行車上のエッジと判断することができる。
その時点での車間距離の変化率となる。この方法では、
選択した2本のエッジ間距離だけでなく、同じ変化率を
示す多くのエッジ間距離の変化をみているため、1、2
本のエッジ検出ミスがある場合でも車間距離の変化率を
正しく求めることができる。したがって、車間距離変化
率計測の確実性を向上させることが出来る次に、ステッ
プS108では、上記のエッジ間距離の変化率をもと
に、ステレオ画像処理で計測した車間距離の再確認を行
なう。(数4)式で説明したように、エッジ間距離の変
化率の逆数は車間距離の変化率となる。つまり、1回前
のエッジ間距離に対する今回のエッジ間距離の変化率を
求めた場合、1回前にステレオ画像処理で視差から求め
た車間距離Zt-1に対して、エッジ間距離の変化率の逆
数をかけることで今回の車間距離Ztを算出することが
できる。ステレオ画像処理の視差による車間距離算出も
毎回行われているため、この変化率を用いることでステ
レオ画像処理で求めた車間距離の確認にもなる。さら
に、図11でも説明したように、エッジ間距離の変化率
から求めた車間距離の変化率は、ステレオ画像処理で連
続的に求めた車間距離から求められる車間距離の変化率
よりも高精度であるため、計測車間距離自体の高精度化
にも貢献できる。
際、追従中の先行車の高さhを算出することで、エッジ
間距離からも車間距離算出が可能になることを説明した
が、実用的には、上記hを求める際に用いたエッジが前
記図9および図10の判断によって先行車以外のエッジ
であると判断された場合には、他の2本のエッジ間距離
を用いて新たな値にhを算出し直すことで対応する。こ
れにより、エッジ間距離を用いた車間距離算出の誤計測
を防ぐことができ、さらに、先行車の入れ替わりなどに
よる車高hの変化にも対応可能となる。すなわち、先行
車が入れ替わった場合には、その際に車高hが不連続に
変化し、その後はほぼ一定になるので、このような場合
には先行車が入れ替わったものと判断してその後の処理
を実行すれば良い。
は、車両に設置した光軸が平行なステレオカメラで求め
た画像に基づいて、視差から求めた距離画像から画像上
の横方向における先行車の位置と先行車までの実際の車
間距離とを概算し、距離画像から求めた画像上の位置に
おいて、そのときの車間距離をもとに先行車の上下端を
含む大きさの縦長(または横長)のウィンドウを複数切
り、それらのウィンドウの各y座標毎において水平エッ
ジのヒストグラム(または各x座標ごとにおいて垂直エ
ッジのヒストグラム)をとり、定義したウィンドウの中
の多くのウィンドウにおいて同じ位置で検出されたエッ
ジを一応先行車上のエッジと判断し、さらに、そのエッ
ジの移動ベクトルを求め、ステレオ画像処理で求めた車
間距離変化と適合する方向および大きさの移動ベクトル
を示すエッジだけを先行車のエッジとして選択するよう
に構成したことにより、歩道橋、白線、路面表示などの
ような、先行車以外の強度の強いエッジを誤検出するこ
となく、確実に先行車の上のエッジを選択することが出
来る。
変化率は、どのエッジ間距離においても同じであること
から、上記の検出したエッジを2本ずつ組にし、全ての
組においてエッジ間距離の時間的変化率を求め、変化率
の異なる組のエッジを先行車以外のエッジとして除去す
るように構成したことにより、先行車上にかかる光のノ
イズなどの除去が可能になり、より確実に先行車を構成
するエッジだけを選択することが可能となる。
ッジを除外することにより、除外したエッジの位置の視
差を車間距離算出の際に除外することができるので、路
面表示など先行車周囲にエッジが多く存在する環境や光
の位置などによってノイズの多い環境下でも確実性の高
い車間距離計測が可能となる。
最も多くの組において同じ値で算出された変化率をもと
に、その時点での車間距離の変化率を求めるように構成
したことにより、1枚の画像だけを用いた処理におい
て、光のノイズや影など、多少のエッジ検出ミスがある
ときだけでなく、先行車上のエッジを検出しにくい環境
下でも、車間距離の変化率を確実に正しく求めることが
可能となる。
間距離に対して、車間距離の変化率を乗算することで、
処理時点での新たな車間距離を算出するように構成した
ことにより、ステレオ画像処理で求めた車間距離との照
合・確認が可能となる。さらにエッジ間距離の変化率か
ら求めた車間距離の変化率は、ステレオ画像処理で連続
的に求めた車間距離より求められる車間距離の変化率よ
りも高精度であるため、計測車間距離自体の高精度化に
も貢献できる。
態においては、二つのカメラによるステレオ画像処理に
よって車間距離計測を行なうものについて説明したが、
第2の実施の形態においては、二つのカメラの代わり
に、いわゆるレーザレンジファインダを用いて車間距離
計測を行なう装置について説明する。
を示すブロック図である。図13において、7はレーザ
レンジファインダであり、自車の前部に前方を向いて設
置されている。なお、車両の後部に後方を向けて設置
し、車両後方の障害物を検出するように構成することも
できる。このレーザレンジファインダ7は、レーザレー
ダの照射を縦横に走査することで、前方の物体までの距
離とその照射対象の反射強度(輝度)を2次元的に計測
する装置である。また、8はレーザレンジファインダ7
から入力した画像信号を記憶する画像メモリであり、後
記の輝度画像と距離画像を記憶する。9は演算部であ
り、例えばCPU、RAM、ROM等からなるマイクロ
コンピュータで構成される。その他、図1と同符号は同
じものを示す。
の演算手段と方法について説明し、それからフローチャ
ートに基づいて全体の演算の流れを説明する。図14
は、車両が走行する方向を中心として左右上下に道路前
方を走査するレーザレンジファインダ7と計測対象物
(先行車6)との位置関係を示す図である。レーザレン
ジファインダ7は、走査の中心軸が路面に平行で、か
つ、直進する自車両の走行方向を向くように搭載されて
いる。
インダ7で計測した距離画像と輝度画像の一例を示した
図であり、(A)は輝度画像をイメージで示した図、
(B)は距離画像をイメージで示した図、(C)は距離
画像の内容(数値:例えばディジタル値)を示した図で
ある。距離画像とはレーザレンジファインダで計測され
る各角度毎の測定距離の2次元配列を、輝度画像とは反
射光の強度の2次元配列を意味するので、実際の輝度画
像および距離画像は図15(C)に示したような数値表
(実際にはディジタル値)になるが、輝度画像の内容
(数値表)は図示を省略している。また、図15(C)
において、「−1」は距離が測定可能距離の範囲外で測
定不能な個所(例えば空)を示す。また、「18」、
「28」、「40」等の数値は対象物までの距離(m)
を示している。
点を画像の中心として説明する。ここで得られる輝度画
像および距離画像上の点の座標と、その座標上の点を計
測した対象となる実空間上の点の位置関係は、図14に
示すように、走査範囲の角度と、値を計測するサンプリ
ング間隔毎に動く照射の角度の大きさ(角度分解能)で
決まる。例えば、縦、横の角度分解能がそれぞれ、θ、
φのとき、画像上の座標(x=2、y=3)の位置に対
応する実空間上の位置は、レーザレンジファインダの中
心軸(画像面に垂直な軸)から、横に2θ、縦に3φの
方向の最も近い位置にある物体面上の点となる。また、
距離画像と輝度画像の互いに同じ座標位置の計測値は、
実空間上で同じ位置の計測値である。
て、先行車と同じ距離を示す部分だけを太線で表した図
である。道路前方に先行車がある場合には、図示のよう
に、先行車と同じ距離を示す部分は、先行車上とその先
行車の真下の路面の部分となる。つまり、物体が存在す
る位置では同じ距離を示す値が隣接する。また、図16
(B)は、前方に先行車がないときの計測結果である。
図示のように、路上に先行車などの物体がないときは、
画像の下半分の領域には路面が撮像(上半分は空)され
るため、この下半分の領域で計測された距離は画面の下
から上に向けて近距離から遠距離になる。つまり、物体
が存在する場合には、同じx座標上に同じ距離を示す画
素が並ぶが、物体が無い場合にはx座標上には同じ距離
の値は存在しない。このことから、図17に示す方法で
物体の検知・計測が可能となる。
画像のx軸方向として投票した値をy軸方向に示したグ
ラフである。図15(C)のごとき距離画像の値をもと
に、図17の対応する位置に投票する。投票とは、例え
ば、x=2上にある画素で距離が3mの点のとき、グラ
フのx=2、z=3のところにy=1を加算する操作を
意味する。詳細は、前記第1の実施の形態において図4
〜図6で説明した方法と同様である。
て行なう。前方zの位置に物体が存在する場合、その物
体が撮像されるx座標の距離zの位置に複数回投票が繰
り返されるため、表中のその位置の値が高くなる。一
方、物体が存在しないx座標上では、図16(B)に示
したように、同じx座標上で同じ距離は計測されないた
め、表中で値が高くなる位置は存在しない。このことか
ら、投票結果をもとに、表中の値が大きな位置の存在か
ら物体の有無を求めることが出来る。また、その物体の
存在する位置は、x軸方向の範囲は投票値が所定値以上
の範囲xl〜xr(xlは存在範囲の左端、xrは右
端)のx軸方向の位置により、物体までの距離は表の距
離zの値により、それぞれ求めることができる。
求める方法を説明する。撮像範囲のx軸方向の範囲は、
前述の方法でxl〜xrと求められる。また、画像のy
軸方向の範囲は次のような原理から求める。図18〜図
20は、レーザレンジファインダで撮像した距離画像と
輝度画像において撮像範囲と先行車までの距離の関係を
表す図であり、図18は平面図、図19は側面図、図2
0は先行車の存在範囲を示す画像である。以下、図18
〜図20を用いて、y軸方向の範囲の求め方を説明す
る。
下端をy=ydとする。縦方向の角度分解能がφ、先行
車までの距離がz、路面からレーザレンジファインダの
中心軸までの高さをH、先行車の高さをhとすると、図
19より、そのレーザレンジファインダで計測した輝度
画像上における先行車の上下端(yu、yd)は、 tan(yu×φ)=(h−H)/z、 tan(yd
×φ)=−H/z の関係となる。ただし、ここでは、下端はほぼ路面と同
じ高さとみなす。また、θ、φは微小角であるので、t
anθ≒θ、tanφ≒φである。このことから、(y
u、yd)は下記(数7)式で求められる。
(xr、yd)として先行車が撮像される画像上の範囲
を図20に示すように求めることができる。
行車の撮像範囲に縦長のウィンドウを切り、先行車上の
水平エッジを検出する。これらの縦長のウィンドウを設
定する横方向の位置は距離画像から検出した先行車が撮
像される範囲xl〜xrとすればよい。また、縦方向の
位置は、(数7)式に基づいてyuとydが含まれる程
度の大きさ(上がyu+α、下がyd−α)にすればよ
い。これを用いて水平エッジを検出する方法の内容は、
前記第1の実施の形態における図8およびその説明と同
様なので省略する。なお、縦エッジを検出する場合は、
同様の処理を横長のウィンドウを切ってy座標をx座標
に置き換えて行えばよい。また、後述する移動ベクトル
やエッジ間距離の計算においても同様である。
ベクトルを求め、そのエッジの中から、先行車の動きに
基づいた動きをするエッジだけを選択するが、この内容
は、前記第1の実施の形態における図9およびその説明
と同様なので省略する。
離の変化率を求める方法と、その結果を用いて先行車上
のエッジを再確認する方法について説明する。なお、こ
の方法は前記第1の実施の形態における図10およびそ
の説明と類似しているが、画像入力手段がステレオカメ
ラとレーザレンジファインダとで異なっているため、数
式等が一部異なっているので、改めて説明する。
撮像された位置と先行車までの距離の関係を表す図であ
り、(A)は時点t−1における位置、(B)は時点t
における位置を示す。図21に示すように、追従中の車
両上から、バンパーなど路面に平行な線を異なる位置か
ら2本ずつ2組選択し、その2本の平行線間の距離をh
1、h2とする。時点t−1における車間距離がzt-1
のときのh1、h2の画像上の長さをそれぞれy
1t-1、y2t-1とすると、y1t-1、y2t-1は、それぞ
れ下記(数8)式に示すようになる。
に、そのときの画像上のh1、h2の長さは、y1t=
(h1/φ)/zt、y2t(h2/φ)/ztとなる。
これらから、車間がzt-1からztに変化したときの画像
上のエッジ間の長さの変化率は、h1、h2ともに、下
記(数9)式に示すようになる。
率は、それらのエッジが同じ物体上のものであれば、ど
のエッジが選択された場合でも同じ値になり、その値
は、車間距離の変化率(zt/zt-1)の逆数(zt-1/
zt)となる。このことから、図8の方法によって検出
した画像上の車両のエッジから2本ずつの組を作り、そ
れらのエッジ間距離の時間的な変化率(y1t/y
1t-1、y2t/y2t-1、…、ynt/ynt-1)を求
め、それらの組ごとに求めたエッジ間距離の変化率か
ら、その値が同じである最も多い組のエッジを先行車上
のエッジであると再確認することができる。
的変化率が常に他の組と異なるものがあれば、そのエッ
ジを先行車以外のエッジとして除外できる。これによ
り、先行車付近の路面表示や路面のノイズなど先行車以
外の反射からくる光のノイズを、先行車以外のエッジと
して除去することが可能となる。また、同時に、その最
も多くの個所で求められたエッジ間距離の変化率は、そ
の時点での画像上の先行車の大きさの変化率となる。つ
まり、この変化率の逆数をとることで、車間距離の変化
率も求めることができるようになる。このように輝度画
像から求めたエッジ間距離の変化率から車間距離の変化
率を求めることが出来る。
値を所定演算回数前に計測した車間距離の値に乗算する
ことにより、前記第1の実施の形態における(数6)
式、(数6’)式で説明したのと同様に、車間距離の値
を求めることが出来る。この方法では、レーザレンジフ
ァインダの距離画像による距離測定と同時に、レーザレ
ンジファインダで得られた輝度画像からも距離の変化率
を求めることが出来るので、両者を比較・照合すること
により、より確実な距離計測が可能になる。
距離変化測定方法は、先行車上に検出されるエッジのう
ちの数本が検出できれば、車間距離の変化率を計測可能
となる。したがって、エッジを検出しにくい形状・環境
でも距離の変化率の計測は可能である。また、逆にノイ
ズの多い環境であっても、その中から、先行車の車間変
化に合った動き、変化率を示すものだけを選択するの
で、ノイズに影響されることなく車間距離の変化率が計
測できる。このように、環境変化に影響されない確実性
の高い距離測定が可能となる。
像からの先行車上のエッジ選択において、先行車以外の
エッジであると選択されたエッジがある場合には、その
ときの距離画像上におけるそのエッジの存在位置の距離
は誤った値である可能性が高い。このことから、図17
の表への投票の際に、先行車以外と判断されたエッジの
存在位置の距離を用いないようにすることも有効であ
る。このことにより、表への投票の際に誤計測値が反映
されないため、車間距離計測の確実性を向上させること
が出来る。
ら照射した光が反射して戻ってくるまでの時間をもとに
距離を計測する。そのため反射光の強度が弱い位置の計
測値は信頼度が低い。また、光を吸収してしまう物体に
照射した場合は反射光が返ってこない場合もあり、その
ような位置の計測距離の値は誤計測値である。そのた
め、レーザレンジファインダから計測した輝度画像上に
おいて、輝度値が低い位置で計測された距離画像上の値
を、図17の表への投票の際に用いない構成とすること
も有効である。これにより、信頼性の高い値だけを用い
た距離計測が行われるようになり、同時に、誤計測値が
車間距離計測に反映されないため、車間距離計測の確実
性を向上させることが出来る。
従中の先行車上のエッジを検出し、車間距離の変化率を
求めることで車間距離の確認および高精度化を行う実施
の形態について説明する。ここでは、前記図14のよう
にレーザレンジファインダを車両の前方を向けて搭載し
た場合について説明する。
理の流れを示すフローチャートである。まず、ステップ
S111では、レーザレンジファインダの輝度画像と距
離画像を入力する(図15参照)。次に、ステップS1
12では、まず、距離画像から表へ投票することによ
り、先行車の存在する横(x軸)方向の範囲(xl〜x
r、)と先行車までの距離zを求める(図16、図17
参照)。ただし、この距離画像からの表への投票は、誤
計測値が反映されないように、表へ投票する値を、レー
サレンジファインダで計測した輝度がしきい値以上の位
置の値だけとした上で図17に示した方法で行なう。ま
た、後の処理である先行車のエッジ判断処理(ステップ
S115)において、先行車のエッジ検出用のウィンド
ウ内にあるが、先行車上のエッジではないと判断された
位置の値も除外して投票してもよい。
ら先行車の上下方向の範囲(yu〜yd)を検出する
(図18〜図20参照)。次に、ステップS114で
は、ステップS112とステップS113で検出した先
行車の撮像範囲に縦長または横長のウィンドウを定義す
る。また、ステップS115では、上記ウィンドウ内の
ヒストグラムを求めることによって先行車上のエッジを
検出する。さらにステップS116では、エッジの移動
ベクトルを求め、そのエッジの中から、先行車の動きに
基づいた動きをするエッジだけを選択する。これらのス
テップS114〜ステップS116の内容は、前記第1
の実施の形態における図12のステップS103〜ステ
ップS106の内容と同様である。
離の変化率を求め、その結果から車間距離の変化率を求
める(図8、図21参照)。この内容は前記第1の形態
における図12のステップS107とほぼ同様である。
次に、ステップS118では、レーザレンジファインダ
の距離画像から求めた車間距離と、ステップS117で
求めた車間距離の変化率から算出した車間距離とを照合
し、距離計測の正確性を再確認する。すなわち、所定演
算回数前の計測した車間距離Zt-1に対して、今回演算
した車間距離の変化率を乗算すれば今回の車間距離Zt
を算出することができる。このように、レーザレンジフ
ァインダによる距離画像から求めた車間距離と、輝度画
像から求めた距離の変化率に基づく車間距離とを比較・
照合することにより、より確実な距離計測が可能にな
る。
態においては、車両に設置したレーザレンジファインダ
の距離画像と輝度画像を求め、得られた距離画像から、
輝度画像上の横方向における先行車の撮像位置と自車か
ら先行車までの実際の距離を計測し、輝度画像上におい
て、そのときの車間距離に基づいて先行車の上下左右端
を含む大きさの縦長(または横長)のウィンドウを複数
設け、それらのウィンドウの各y座標(またはx座標)
毎において水平(または垂直)のエッジのヒストグラム
をとり、設定したウィンドウの中の多くのウィンドウに
おいて同じ位置で検出されたエッジを先行車上のエッジ
であると一応判断し、さらに、そのエッジの移動ベクト
ルを求め、ステレオ画像処理で求めた距離変化と適合す
る方向・大きさの移動ベクトルを示すエッジだけを先行
車のエッジとして選択する。さらに、選択したエッジ間
距離の変化率をもとに、変化率が同じ組のエッジだけを
先行車上のエッジと判断し、そのエッジ間距離の変化率
の逆数より車間の変化率を求めるように構成している。
そのため、レーザレンジファインダの計測距離の分解能
より細かい精度での距離計測が可能となり、同時に二つ
の手法による計測結果の照合により確実な距離測定が可
能となる。
のエッジをヒストグラムと移動ベクトルとエッジ間距離
の変化率とから判断しているため確実であり、その方法
により、先行車上と考えられるエッジを選択した後、そ
れらのエッジ間距離の変化率から先行車の車間距離の変
化率を求めているため、エッジ間距離から計測した車間
距離の変化率は、エッジの検出しにくい環境においても
その中の数本が検出できれば車間距離の変化率計測が可
能であり、かつ、ノイズの多い環境下でも、ノイズが除
去されるため、周囲環境に対して影響されにくい確実な
計測装置を実現出来る。
置におけるレーザレンジファインダで計測した距離画像
上の値を、車間距離計測の際の判断に反映させない構成
としたため、ノイズなどによる誤計測値を除去でき、よ
り正確な測距が可能となる。
て、レーザレンジファインダの輝度画像上の反射強度が
低い場合には、その位置で計測された距離を反映させな
い構成としたため、誤計測値を除去でき、さらに、信頼
度の高い計測値だけを用いた、より正確な測距が可能と
なる。
い状況下では使用困難であるが、レーザレンジファイン
ダは夜間等でも使用可能である。
態においては、2つのカメラを用いたステレオ画像処理
によって車間距離計測を行なう装置、前記第2の実施の
形態においては、2つのカメラの代わりに、いわゆるレ
ーザレンジファインダを用いて車間距離計測を行なう装
置について説明したが、第3の実施の形態においては、
レーザレンジファインダと1つのカメラを用いる装置に
ついて説明する。
ーザレンジファインダにおいては、一般に、前方の物体
までの距離を計測する光の走査機構として、光の照射角
度をミラーの回転などによって変更する機構を用いてい
るため、装置の信頼性を高くするためには、走査を遅く
することが要求される。つまり、この要求を満たすため
には、1回の2次元情報を得るためのサンプリング間隔
を広げる必要がある。また、装置の信頼性を高めるため
には、発光パルスの照射間隔を広げることも必要とな
る。つまり、故障率が低く信頼性の高いレーザレンジフ
ァインダとするためは、1回の2次元情報を得るのにか
かる時間を長くする必要があり、さらに、2次元的な縦
横の分解能および測定距離の分解能も粗くする必要があ
る。そのため測定結果の精度が低下し、かつ、測定の時
間間隔が長くなるという問題が生じる。その問題に対処
するため、第3の実施の形態では、レーザレンジファイ
ンダとカメラとを組み合わせて用いるように構成してい
る。
を示すブロック図である。図23において、10は電子
式のカメラであり、このカメラ10の光軸がレーザレン
ジファインダ7の走査の中心の軸と平行になる位置およ
び姿勢で車両に搭載されている。11はカメラ10から
入力した画像信号を記憶する画像メモリである。12は
演算部であり、例えばCPU、RAM、ROM等からな
るマイクロコンピュータで構成される。その他、図13
と同符号は同じものを示す。
の演算手段と方法について説明し、それからフローチャ
ートに基づいて全体の演算の流れを説明する。この実施
の形態においては、レーザレンジファインダ7に加え
て、それと同じ平面の輝度画像が得られるカメラ10を
搭載し、第2の実施の形態においてレーザレンジファイ
ンダ7の輝度画像に施した処理を、カメラ10で撮像し
た画像に対して行い、エッジの検出およびエッジ間距離
の変化率から車間距離の変化率を求める。これには、ま
ず、レーザレンジファインダ7の距離画像から求めた先
行車の画像上での位置を、カメラ10で撮像した画像上
での位置に変換し、両者の画像上の位置を合せる必要が
ある。
で間隔Aだけ上方に離れた位置に、レーザレンジファイ
ンダ7の走査の中心の軸とカメラの光軸が平行になる位
置および姿勢でカメラ10を搭載した場合における、二
つの装置およびその撮像対象となる車両の位置関係を示
した図である。また、図25(A)、(B)は、図24
の環境下において計測した輝度画像の様子を表した図で
あり、(A)はレーザレンジファインダ7の輝度画像、
(B)はカメラ10の輝度画像を、それぞれ画像のイメ
ージで示している。なお、実際の輝度画像は、輝度に対
応したディジタル値の2次元配列になる。
ーザレンジファインダで計測した輝度画像上の位置と実
空間における対象物の位置との関係は前記(数7)式で
求められる。また、カメラの場合には、図26に示すよ
うに、画像1画素に対応する角度を求めておくことによ
り、(数7)式と同様の原理によって画像上の座標とそ
の位置に撮像される実空間上の点との位置関係を求める
ことができる。なお、図26においては、縦方向の1画
素分の角度βのみを表示しているが、横方向についても
同様に角度αを求める。
画素に対応する縦、横の角度をφ、θ、カメラ画像の一
つの画素に対応する縦、横の角度をβ、αとすると、図
24の配置において、距離zの位置にある車両上の或る
1点pが、レーザレンジファインダで計測した距離画像
上では(xp1、yp1)に撮像されたとき、その点p
が撮像される画像上の座標(xpi、ypi)は、 xpi=xp1・(θ/α)、 ypi=yp1・(φ/
β)−A/(β・z) となる。ただし、通常、A<<zであるので、Aは無視
できる大きさとすると、両画像間の位置対応は、下記
(数10)式で算出される。
式のスケーリングを施した上で、図17〜図21で説明
したエッジ検出およびエッジ間距離の変化率測定処理に
おいて、レーザレンジファインダの輝度画像の代わりに
カメラの輝度画像を用いて同様の処理を行なう。これに
より、第2の実施の形態と同様の効果が得られる。さら
に、レーザレンジファインダの輝度画像よりもカメラの
画像の方がエッジが鮮明であり、縦横の分解能が細かい
ことから、この効果をより向上させることができる。加
えて、カメラの画像入力周期はレーザレンジファインダ
の画像更新周期より短いことから、距離の変化率を短い
時間間隔で求めることも可能となる。その他の処理は前
記第1および第2の実施の形態と基本的には同じであ
る。
と輝度画像に関しては前記第2の実施の形態で説明した
各種の処理を施すことが出来る。例えば、図17の方法
により、先行車までの距離は、レーザレンジファインダ
の走査完了毎に距離画像から計測することで、1回の走
査にかかる時間を周期として連続的に計測することがで
きる。また、レーザレンジファインダの輝度画像から求
めたエッジ間距離の変化率に基づいた車間距離の変化率
算出も同じ周期で連続的に計測できる。
追従中の場合は、1度車間距離を求めておけば、その車
間距離に対してエッジ間距離の変化率を乗算すること
で、その時点での距離を算出することが可能となる。す
なわち、レーザレンジファインダで計測した時点tでの
車間距離がzt、時点t+1に計測した車間距離の変化
率(エッジ間距離の変化率の逆数)がγであれば、時点
t+1での車間距離zt+1は、下記(数11)式で計算
できる。 zt+1=γ×zt …(数11) レーザレンジファインダの距離分解能は粗く、縦横の分
解能は細かい場合においては、この計算による距離の再
計算は、距離の高精度化にもつながる。
3の実施の形態のようにカメラとレーザレンジファンダ
の両方を搭載したシステムにおいては、距離計測の時間
間隔を短くすることにもつながる。例えば、レーザレン
ジファインダの計測間隔時間が1秒、カメラの撮像間隔
が16.7ms(1フィールド)である場合、レーザレ
ンジファインダからの画像入力は1秒毎にしかできない
が、カメラ画像から求めたエッジ間距離の変化率に基づ
く車間距離の変化率は16.7ms毎に計測される。し
たがって、レーザレンジファインダのみの場合には車間
距離計測は1秒毎にしか出来ないが、時点tでレーザレ
ンジファインダで計測した距離ztに対して、前記(数
11)式を適用して演算すれば、車間距離の演算を1
6.7ms毎に処理することが出来る。図27は上記の
計測タイミングを示した図である。
率を利用した車間距離測定は、距離の確認および距離の
高精度化にもつながる。以下、カメラ画像を用いたエッ
ジ間距離からの車間距離変化率算出により、距離算出の
精度が向上される原理を説明する。図19に示した先行
車の高さhは通常は未知の値である。しかし、レーザレ
ンジファインダで距離が求められているときは、先行車
までの車間距離zと輝度画像上の先行車の高さ(yu−
yd)を下記(数12)式に代入することで追従中の車
両の高さhを求めることができる。
像上の先行車の高さ(yu−yd)は、前記の先行車上
のエッジ検出処理により求めることができるため、(数
12)式により1度求めたhをもとに、次の入力画像で
求めた先行車の高さ(yut+1−ydt+1)を、下記(数
13)式に代入することで、先行車の高さからも新たな
車間距離を求めることができる。
13’)式のようになる。 Zt+1=Zt×(yut−ydt)/(yut+1−ydt+1) 或いは …(数13’) Zt=Zt-1×(yut-1−ydt-1)/(yut−ydt) ただし、Zt+1:時点t+1における車間距離 Zt:時点tにおける車間距離 Zt-1:時点t−1における車間距離 (数13’)式からもわかるように、この方法で求める
車間距離は、画像上で検出したエッジ間距離の変化率の
逆数(yut−ydt)/(yut+1−ydt+1)をレーザ
レンジファインダの距離画像から時点tで求めた距離z
tにかけることと同じである。つまり、前記(数11)
式と同様の計算により、車間距離が求められることがわ
かる。
ーザレンジファインダの輝度画像と距離画像の処理によ
って(数11)式で求める方法と、カメラの輝度画像と
レーザレンジファインダの距離画像とを用いて(数1
3)式で求める方法とにおける距離の精度の違いを考え
る。例えば、レーザレンジファインダの距離分解能を1
mとし、カメラの画素の分解能を通常の車載システムを
参考に、画角30度で縦に480画素の分解能の画像を
撮像すると仮定する。このときの画像の1画素分の分解
能βは、0.001rad(=2π×(30/480)
/180)である。このシステムにおいて、高さ1mの
車両までの距離を算出すると、レーザレンジファインダ
での計測距離分解能は常に1mであるのに対し、画像の
エッジ間距離で求める分解能は、距離に応じて下記(数
14)式で求められる値となる。
たときに現われる距離の差である(図28参照)。例え
ば、前方5m、10mのときの測定距離分解能を比較す
る。レーザレンジファインダではどちらを計測した場合
も分解能が1mであるのに対し、エッジ間距離からの測
定では、前方5mのときのエッジ間距離(yut−y
dt)は、200画素(=1000/5)、前方10m
のときは、(yut−ydt)=100画素(=1000
/10)となり、それぞれの距離分解能は、検出エッジ
位置が1画素ずれたときの計測値との差であるので、5
mでは0.025m=5−4.975(=1000/20
1)、10mでは0.1m=10−9.9m(=1000
/101)となる。すなわち、どちらも場合もレーザレ
ンジファインダの分解能1mに比較して、10分の1以
下の細かい誤差精度での測定が可能になることがわか
る。そして、この分解能の向上は、精度の向上が重要で
ある近距離ほど向上される。このように、追従中の先行
車までの車間距離を二つの方法で測定して照合すること
は、距離の確認だけでなく、レーザレンジファインダで
求めた距離の高精度化にもつながることになる。さら
に、カメラ画像に基づいて車間距離の変化を更新するこ
とは、前記図27で説明したように測定距離の更新時間
を短くすること、つまり、車載の車間距離測定に重要な
レスポンスの向上にもつながる。
従中の先行車上のエッジを検出し、車間距離の変化率を
求めることで車間距離の確認および高精度化を行う実施
の形態について説明する。ここでは、前記図24のよう
にレーザレンジファインダとカメラを車両の前方を向け
て搭載した場合について説明する。ただし、計算を簡略
化するため、カメラとレーザレンジファインダの搭載位
置の差(図24の間隔A)は、無視できるものとして説
明する。しかし、実際の場合において、間隔Aが大きな
値である場合でも、間隔Aの差によって表れる画像上の
位置の差を幾何学的に考慮することで同様の処理・効果
が得られる。
理の流れを示すフローチャートである。まず、ステップ
S121では、レーザレンジファインダの輝度画像と距
離画像を入力する。また、ステップS122ではカメラ
の画像(輝度画像)を入力する(図24、図25参
照)。
像に対してレーザレンジファインダの画像との位置合わ
せを行なう(図24〜図26参照)。
ーザレンジファインダの輝度画像の代わりにカメラの輝
度画像を用いるので、前記図22におけるステップS1
13のレーザレンジファインダの輝度画像から先行車範
囲を検出する処理は無くてもよい。ただし、図22のよ
うにレーザレンジファインダの輝度画像と距離画像から
演算する方法も同時に行ない、演算結果の車間距離或い
はその変化率を、本フローチャートの演算結果と照合す
るように構成することもできる。また、第2の実施の形
態で説明したのと同様に、レーザレンジファインダの輝
度画像も求めておき、距離画像からの車間距離計測にお
いて、輝度画像上の反射強度が低い場合には、その位置
で計測された距離を反映させない構成とすることによ
り、誤計測値を除去でき、さらに、信頼度の高い計測値
だけを用いた、より正確な測距が可能となる。
ジファインダの距離画像からの表への投票により、先行
車の存在する横(x軸)方向の範囲(xl〜xr、)と
先行車までの距離zを求める(図17参照)。ただし、
この距離画像からの表への投票は、誤計測値が反映され
ないように、表へ投票する値を、レーザレンジファイン
ダで計測した輝度がしきい値以上の位置の値だけとした
上で図17で説明した方法で行なう。また、この後の処
理である先行車のエッジ判断処理(ステップS127)
において、先行車のエッジ検出用のウィンドウ内にある
が、先行車上のエッジではないと判断された位置の値も
除外して投票してもよい。
下端検出用のウィンドウを設定する。ここでは、水平エ
ッジを検出するための縦長のウィンドウをカメラの画像
上に設定する。すなわち、図17の処理によってレーザ
レンジファインダの距離画像から求めた横方向の範囲
(xl〜xr)に対して前記(数10)式を適用するこ
とにより、カメラ画像上における先行車の撮像範囲を求
める。ここでは、後の説明において表記を簡略化するた
め、以降、(数10)式によって大きさを変換した後の
カメラ画像上での先行車の撮像範囲も(xl〜xr)と
記述する。
を求める。これは、距離画像から求めた距離zより、
(数10)式において、1画素に対応する角度をカメラ
画像の角度βとして、上下端(yu、yd)を求める。
これらの方法により、求めた横方向xl〜xrの間にy
u、ydを含む大きさの縦長のウィンドウを設定する
(図8参照)。定義する縦長のウィンドウの横方向の大
きさは、y座標毎の水平エッジのヒストグラムが求めら
れるよう10画素程度以上とすれば十分である。また
は、先行車の画像上の大きさは距離に応じて可変である
ため、その距離に応じて、横幅が10画素以上のウィン
ドウが5個所以上に定義できるように適度な大きさで可
変としてもよい。
定義位置yu+α、yd−αを求める際に用いる先行車
の高さhは1〜2m程度と平均的な値で十分である。α
の値は、そのときの先行車の距離に応じて、先行車の高
さの5分の1程度の余裕でよい。例えば、(数12)式
によって距離から算出される先行車の画像上の高さが5
0画素程度の場合、Cは10画素程度でよい。
した縦長のウィンドウの中で求めた水平エッジのヒスト
グラムをもとに、先行車上のエッジを検出する。これに
は前記図8で説明した方法を用いる。まず、図8に示す
ように、ソーベルフィルタなどでウィンドウ内の画像を
水平微分し、その水平微分画像の各y座標毎のヒストグ
ラム求める。次に、定義したウィンドウの全てにおいて
求めた水平エッジのヒストグラムから、半数以上のウィ
ンドウにおいて同じ位置に検出されているエッジを見つ
ける。先行車は路面に対して平行なエッジを持つため、
先行車上に切ったウィンドウにおいて同じ位置に検出さ
れるエッジは先行車のエッジと一応みなすことができ
る。
を一つとすると、そのウィンドウの両端部分に白線が撮
像される場合、白線のエッジ強度が先行車のエッジ強度
より強くなることが多いため、先行車ではなく白線の位
置が検出されることがある。そのため、このような誤検
出を防ぐため、ウィンドウを複数設け複数のウィンドウ
において検出されたエッジを先行車上のエッジと判断す
る。
ッジの移動ベクトルを検出する。このエッジの移動ベク
トル算出は、前述の方法で検出したエッジの位置におい
て、例えば、検出対象上に切った小さなウィンドウの移
動方向を求める方法などによる一般的なオプティカルフ
ロー検出手法を施せばよい。このような処理により検出
したすべてのエッジのオプティカルフローより検出した
各エッジ毎の移動ベクトルを求める。
て、そのエッジが先行車上のものであるかを再確認す
る。この確認は、車間距離変化とエッジが存在する位置
により次のような基準で判断できる。すなわち、車間距
離が変化したときは、画像の中心に近いエッジの方が動
きが小さく、画像の端に行くにつれ動きが大きくなる。
そのため、例えば、画像中心(原点:y=0)の位置に
近いにもかかわらず、そのエッジより原点から遠い位置
にあるエッジベクトルの平均の動きより大きな動きを示
すベクトルがあれば先行車以外のエッジである可能性が
高い。また、ステレオ画像処理により求めた距離の変化
に基づき、図9に示したように、、車間距離が大きくな
る場合は、y>0の位置のエッジは下方、y<0の位置
のエッジは上方に移動し、車間距離が短くなる場合は、
y>0の位置のエッジは上方、y<0の位置のエッジは
下方に移動し、車間距離が一定の場合はエッジの位置は
不変となる。これらのことから、そのベクトルが図9に
示す理論どおりの動きをするものを車両上のエッジとし
て再確認し、逆の変化するエッジは車両上のものではな
いと判断することができる。また、車間変化=0のとき
に大きな動きを示したエッジも先行車以外のエッジと判
断できる。このような判断基準をもとに、先行車以外の
可能性の高いエッジを除去する。
上のエッジ間距離の変化率を求め、それによって、より
確実に先行車上のエッジを選択する。それとともに、エ
ッジ間距離の変化から、車間距離計測の高精度化を行な
う。まず、上記ステップS128で検出した先行車上の
エッジの中から2本ずつの組を作り、それらの各組にお
けるエッジ間距離を求める(図21参照)。前述したと
おり、同じ物体上のエッジの組み合わせであれば、どの
組み合せでもエッジ間距離の時間的な変化率(y1t/
y1t-1、y2t/y2t-1、…、ynt/ynt-1)は同
じ値となるはずである。
具体的に説明する。図9の判断基準により選択されたエ
ッジは、オプティカルフローにより時間的な移動ベクト
ルが求められているエッジである。そのため、そのベク
トルの始点が前回のエッジ位置、終点が今回のエッジ位
置となる。つまり、前回のエッジ間距離ynt-1(n:
1、2、…)は、エッジ間距離を求める対象の二つのエ
ッジの移動ベクトルの始点間の距離となり、今回のエッ
ジ間距離ynt(n:1、2、…)は、ベクトルの終点
間の距離として求められる。この方法で各組におけるエ
ッジ間距離の変化率ynt/ynt-1(n:1、2、…)
を求めれば、エッジ間距離の変化率が同じ値となる組が
最も多い組のエッジを先行車上のエッジと判断すること
ができる。また、その変化率の逆数はその時点での車間
距離の変化率となる。この方法では、選択した2本のエ
ッジ間距離だけでなく、同じ変化率を示す多くのエッジ
間距離の変化を見ているため、1、2本のエッジ検出ミ
スがある場合でも車間変化率を正しく求めることができ
る。したがって確実性の高い車間距離変化率測定が可能
となる。
離の変化率に基づいて、先行車に追従中における、レー
ザレンジファインダで計測した車間距離を更新する。
(数9)式で説明したように、エッジ間距離の変化率の
逆数は車間距離の変化率となる。つまり、レーザレンジ
ファインダで求めた距離ztに対して、時点tで検出し
たエッジ間距離の変化率の逆数を乗算することで距離を
更新することが可能となる(数11式、数13式)。
信頼性向上のため1枚の画像を得るための走査速度を遅
くすることが求められるが、この方法では、1回レーザ
レンジファインダで計測した距離に対して、次にレーザ
レンジファインダから距離が計測されるまでの間は、画
像から計測されるエッジ間距離の変化率による距離の更
新を行なうことが出来るので、短い時間間隔での距離測
定の更新が可能である(図27参照)。
測された時点では、両者の計測値を比較・照合すること
で距離の確認を行なうことが出来る。さらにカメラから
の画像からだけでなく、レーザレンジファインダで得ら
れる輝度画像でもエッジ間距離からの距離変化を検出
(前記第2の実施の形態参照)しておくことで、さらに
確実な距離の確認が可能となる。
を用いたエッジ間距離の変化率から求めた車間距離の変
化率は、レーザレンジファインダで計測した車間距離の
分解能より高精度であるため、計測距離自体の高精度化
にも貢献できる。なお、この方法は車両を追従中の車間
距離精度向上に適用しているが、実際の場合には、車両
の高さhを求めたもととなったエッジが、図9および図
21の判断によって先行車以外のエッジと判断されたと
きは、他の2本のエッジ間距離を用いて新たな値にhを
定義し直すことで対応するように構成すれば、エッジ間
距離を用いた距離算出の誤計測を防ぐことができ、さら
に、先行車の入れ替わりなどによる車高hの変化にも対
応可能となる。
態においては、レーザレンジファインダの走査の中心軸
と光軸が平行でほぼ同じ画角内を計測する位置および姿
勢のカメラを用い、第2の実施の形態においてレーザレ
ンジファインダで計測した輝度画像に対して施した処理
を、カメラから撮像した画像に対して施すことにより、
レーザレンジファインダとは異なる装置で距離変化の算
出を同時に行なうように構成している。そのため、レー
ザレンジファインダの装置の信頼性を確保するために、
走査やサンプリングを粗くした場合においても、距離精
度を確保することが出来る。さらに、第2の実施の形態
と同様の効果も得られ、精度向上においては、より細か
い分解能の画像を用いることができる。
置におけるレーザレンジファインダで計測した距離画像
上の値を、車間距離計測の際の判断に反映させない構成
としたため、ノイズなどによる誤計測値を除去でき、よ
り正確な測距が可能となる。
離に対して、エッジ間距離の変化率から求められる車間
距離の変化率をかけることで新たな距離を算出する構成
としたため、レーザレンジファインダの計測間隔が長い
場合でも、カメラの撮像間隔での車間距離の更新が可能
となる。更に、レーザレンジファインダの距離分解能が
粗い場合には、距離の高精度化も可能となる。
性を確保するために距離分解能を粗くしたレーザレンジ
ファインダを用いた距離計測においても、距離精度を保
持または向上することが可能となり、同様に、装置の信
頼性確保のために走査を遅くして計測の時間間隔を長く
した場合においても、カメラを1台追加した構成にした
だけで、距離測定のレスポンスを遅くすることなく、通
常の画像処理の速度での距離計測が可能となる。
ク図。
から検出対象までの距離を求める原理を説明する図。
を求めた結果を示す図。
のウィンドウの横方向の位置に基づいて、対応する表中
の位置に投票する様子を表した図。
示す図であり、(A)は上画像、(B)は視差の表、
(C)は投票用の表。
て1次元グラフとしてあらわした図であり、(A)は図
5の(C)に相当する表、(B)は1次元グラフ、
(C)は対応する画像。
された位置と先行車までの距離の関係を表す図であり、
(A)は側面図、(B)は撮像面Aの画像例。
において各y座標毎に水平エッジのヒストグラムと輝度
のヒストグラムの求めた様子を示す図であり、(A)は
原画像上に設けた縦長のウィンドウの一例、(B)は先
行車の存在位置を水平微分したエッジの一例、(C)は
(B)における〜のウィンドウの各水平エッジのヒ
ストグラム。
ベクトルの変化を示す図。
の関係を説明するための図。
離計測の計測距離分解能の比較説明図。
示すフローチャート。
ック図。
と計測対象物(先行車)との位置関係を示す図。
と輝度画像の一例を示した図であり、(A)は輝度画像
をイメージで示した図、(B)は距離画像をイメージで
示した図、(C)は距離画像の内容(数値:例えばディ
ジタル値)を示した図。
場合としない場合との比較を示す図であり、(A)は先
行車が存在する場合、(B)は存在しない場合の計測結
果を示す。
る画像。
と輝度画像において撮像範囲と先行車までの距離の関係
を表す平面図。
と輝度画像において撮像範囲と先行車までの距離の関係
を表す側面図。
す画像。
置と先行車までの距離の関係を表す図であり、(A)は
時点t−1における位置、(B)は時点tにおける位置
を示す。
示すフローチャート。
ック図。
撮像対象の車両との位置関係を示した図。
レーザレンジファインダの輝度画像、(B)はカメラの
輝度画像を、それぞれ画像のイメージで示した図。
度を説明する図。
間隔を説明する図。
状態を説明する図。
示すフローチャート。
モリ 5…演算部 6…検出対象物
(先行車) 7…レーザレンジファインダ 8…画像メモリ 9…演算部 10…カメラ 11…画像メモリ 12…演算部
Claims (9)
- 【請求項1】車両に搭載された二つの電子式カメラから
なり、両カメラが共に車両前方または後方に向けて相互
に光軸が平行になるように設置されたカメラと、 一方のカメラの画像を所定の大きさのウィンドウ領域毎
に分割し、各ウィンドウ領域毎に、他方の画像において
その領域と最も一致度が高い領域を検出し、最も一致度
が高い両領域の位置の差から各領域毎の視差を求める視
差演算手段と、 前記の視差に基づいて、撮像された先行車までの距離
と、画像上で先行車が撮像された位置とを求める距離・
位置演算手段と、 前記画像上で先行車が撮像された位置に先行車の左右上
下端を含む大きさの縦長または横長のウィンドウを複数
設定するウィンドウ設定手段と、 前記複数の全てのウィンドウにおいて縦長のウィンドウ
では各y座標毎の水平エッジのヒストグラムを、横長の
ウィンドウでは各x座標毎の垂直エッジのヒストグラム
を求めるヒストグラム演算手段と、 前記複数のウインドウにおいて同じy座標上に検出され
る水平エッジのy座標位置または同じx座標上に検出さ
れる垂直エッジのx座標位置を検出するエッジ検出手段
と、 前記水平エッジまたは垂直エッジの移動ベクトルを計測
するベクトル計測手段と、 前記距離・位置演算手段で視差から求めた車間距離の変
化と適合する方向および大きさの移動ベクトルを示すエ
ッジだけを先行車のエッジとして選択するエッジ選択手
段と、 を備えたことを特徴とする車間距離計測装置。 - 【請求項2】車両に搭載され、路面に平行方向と垂直方
向の2次元的に光を走査して照射し、照射した方向毎の
光の反射強度と、その光の反射面までの距離とを計測す
る光測距装置と、 前記計測した反射強度の各角度毎の値をデジタル値の配
列とした輝度画像と、前記計測した距離の各角度毎の値
を前記輝度画像に対応する順序でデジタル値の配列とし
た距離画像とを記憶するメモリと、 前記距離画像に基づいて先行車までの車間距離を計測
し、かつ、前記距離画像上において先行車が計測された
位置に基づいて前記輝度画像上で先行車が存在する位置
を求める距離・位置演算手段と、 前記距離・位置演算手段で求めた位置と距離に基づい
て、輝度画像上に撮像された先行車の左右上下端を含む
程度の縦長または横長のウィンドウを複数設定するウィ
ンドウ設定手段と、 前記複数の全てのウィンドウにおいて縦長のウィンドウ
では各y座標毎の水平エッジのヒストグラムを、横長の
ウィンドウでは各x座標毎の垂直エッジのヒストグラム
を求めるヒストグラム演算手段と、 前記複数のウインドウにおいて同じy座標上に検出され
る水平エッジのy座標位置または同じx座標上に検出さ
れる垂直エッジのx座標位置を検出するエッジ検出手段
と、 前記水平エッジまたは垂直エッジの移動ベクトルを計測
するベクトル計測手段と、 前記距離画像から求めた車間距離の変化と適合する方向
および大きさの移動ベクトルを示すエッジだけを先行車
のエッジとして選択するエッジ選択手段と、 を備えたことを特徴とする車間距離計測装置。 - 【請求項3】車両に搭載され、路面に平行方向と垂直方
向の2次元的に光を走査して照射し、照射した方向毎の
光の反射強度と、その光の反射面までの距離とを計測す
る光測距装置と、 前記計測した反射強度の各角度毎の値をデジタル値の配
列とした輝度画像と、前記計測した距離の各角度毎の値
を前記輝度画像に対応する順序でデジタル値の配列とし
た距離画像とを記憶するメモリと、 前記光測距装置の走査の中心軸と光軸が平行になる位置
および姿勢で車両に搭載された電子式のカメラと、 前記距離画像に基づいて先行車までの車間距離を計測
し、かつ、前記距離画像上において先行車が計測された
位置に基づいて前記カメラの画像上で先行車が存在する
位置を求める距離・位置演算手段と、 前記距離・位置演算手段で求めた位置と距離に基づい
て、前記カメラの画像上に撮像された先行車の左右上下
端を含む程度の縦長または横長のウィンドウを複数設定
するウィンドウ設定手段と、 前記複数の全てのウィンドウにおいて縦長のウィンドウ
では各y座標毎の水平エッジのヒストグラムを、横長の
ウィンドウでは各x座標毎の垂直エッジのヒストグラム
を求めるヒストグラム演算手段と、 前記複数のウインドウにおいて同じy座標上に検出され
る水平エッジのy座標位置または同じx座標上に検出さ
れる垂直エッジのx座標位置を検出するエッジ検出手段
と、 前記水平エッジまたは垂直エッジの移動ベクトルを計測
するベクトル計測手段と、 前記距離画像から求めた車間距離の変化と適合する方向
および大きさの移動ベクトルを示すエッジだけを先行車
のエッジとして選択するエッジ選択手段と、 を備えたことを特徴とする車間距離計測装置。 - 【請求項4】前記エッジ選択手段で求めた先行車上のエ
ッジの中から2本ずつを1つの組として複数組選択し、
それらの組におけるそれぞれのエッジ間距離を求め、同
じ組について二つの時点で求めたエッジ間距離の比、す
なわちエッジ間距離の時間的な変化率が同じ値となる組
が最も多い組のエッジを先行車上のエッジと再確認する
先行車エッジ判断手段を備えたことを特徴とする請求項
1乃至請求項3の何れかに記載の車間距離計測装置。 - 【請求項5】前記先行車上のエッジと判断されたものに
ついてのエッジ間距離の変化率に基づいて車間距離の変
化率を求める車間距離変化率演算手段を備えたことを特
徴とする請求項4に記載の車間距離計測装置。 - 【請求項6】前記距離・位置演算手段で求めた車間距離
の所定回数前の演算値に前記車間距離の変化率を乗算す
ることによって車間距離を算出する車間距離算出手段を
備えたことを特徴とする請求項1乃至請求項5の何れか
に記載の車間距離計測装置。 - 【請求項7】前記距離・位置演算手段で求めた車間距離
と前記車間距離算出手段で求めた車間距離とを照合する
ことにより車間距離演算の確認を行なう車間距離演算確
認手段を設けたことを特徴とする請求項6に記載の車間
距離変化計測装置。 - 【請求項8】前記先行車エッジ判断手段で、先行車以外
のエッジと判断された位置に対する計測値は用いずに、
前記距離・位置演算手段における距離と位置の演算処理
を行なうことを特徴とする請求項1乃至請求項3の何れ
かに記載の車間距離計測装置。 - 【請求項9】前記光測距装置の輝度画像の値の低い位置
の計測値は用いずに、前記距離・位置演算手段における
距離と位置の演算処理を行なうことを特徴とする請求項
2または請求項3に記載の車間距離計測装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6839099A JP3596339B2 (ja) | 1999-03-15 | 1999-03-15 | 車間距離計測装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6839099A JP3596339B2 (ja) | 1999-03-15 | 1999-03-15 | 車間距離計測装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000266539A true JP2000266539A (ja) | 2000-09-29 |
JP3596339B2 JP3596339B2 (ja) | 2004-12-02 |
Family
ID=13372351
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP6839099A Expired - Fee Related JP3596339B2 (ja) | 1999-03-15 | 1999-03-15 | 車間距離計測装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3596339B2 (ja) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001175845A (ja) * | 1999-12-16 | 2001-06-29 | Nec Corp | 車両端検出装置 |
JP2001330665A (ja) * | 2000-05-18 | 2001-11-30 | Fujitsu Ten Ltd | レーダ及び画像処理を用いた車載用物体検出装置 |
JP2003109171A (ja) * | 2001-09-28 | 2003-04-11 | Nissan Motor Co Ltd | 物体検出装置 |
WO2006123615A1 (ja) * | 2005-05-19 | 2006-11-23 | Olympus Corporation | 距離計測装置、距離計測方法および距離計測プログラム |
JP2007122507A (ja) * | 2005-10-28 | 2007-05-17 | Secom Co Ltd | 侵入検知装置 |
JP2007121158A (ja) * | 2005-10-28 | 2007-05-17 | Secom Co Ltd | 侵入検知装置 |
JP2007122508A (ja) * | 2005-10-28 | 2007-05-17 | Secom Co Ltd | 侵入検知装置 |
JP2007255978A (ja) * | 2006-03-22 | 2007-10-04 | Nissan Motor Co Ltd | 物体検出方法および物体検出装置 |
JP2010002326A (ja) * | 2008-06-20 | 2010-01-07 | Stanley Electric Co Ltd | 移動ベクトル検出装置 |
JP2010273178A (ja) * | 2009-05-22 | 2010-12-02 | Konica Minolta Holdings Inc | ステレオ測定システムおよび動画再生システム |
EP2323098A1 (en) * | 2008-10-20 | 2011-05-18 | Honda Motor Co., Ltd. | Vehicle periphery monitoring device |
JP2013190873A (ja) * | 2012-03-12 | 2013-09-26 | Nec Software Chubu Ltd | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
KR101379132B1 (ko) | 2007-01-18 | 2014-03-28 | 삼성전자주식회사 | 3차원 입체 영상의 화질을 개선하기 위한 방법 |
CN104956400A (zh) * | 2012-11-19 | 2015-09-30 | 株式会社理光 | 移动对象识别器 |
KR20160074212A (ko) * | 2014-12-18 | 2016-06-28 | 현대자동차주식회사 | 차량용 거리측정장치 및 방법 |
US9426364B2 (en) | 2011-09-05 | 2016-08-23 | Mitsubishi Electric Corporation | Image processing apparatus and image processing method |
US9637118B2 (en) | 2014-05-19 | 2017-05-02 | Ricoh Company, Ltd. | Processing apparatus, processing system, and processing method |
US10402664B2 (en) | 2014-05-19 | 2019-09-03 | Ricoh Company, Limited | Processing apparatus, processing system, processing program, and processing method |
US10489664B2 (en) | 2014-02-05 | 2019-11-26 | Ricoh Company, Limited | Image processing device, device control system, and computer-readable storage medium |
CN113447940A (zh) * | 2020-03-27 | 2021-09-28 | 西克股份公司 | 距离测量数据的检测 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4471881B2 (ja) * | 2005-03-31 | 2010-06-02 | ダイハツ工業株式会社 | 障害物認識装置及び障害物認識方法 |
JP2009080572A (ja) * | 2007-09-25 | 2009-04-16 | Toshiba Corp | 動物体検出装置及び動物体検出方法 |
KR101747167B1 (ko) | 2015-02-23 | 2017-06-15 | 부경대학교 산학협력단 | 입체영상의 돌출 시차 변화율을 이용한 물체 접근 감지 장치 및 방법 |
-
1999
- 1999-03-15 JP JP6839099A patent/JP3596339B2/ja not_active Expired - Fee Related
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001175845A (ja) * | 1999-12-16 | 2001-06-29 | Nec Corp | 車両端検出装置 |
JP2001330665A (ja) * | 2000-05-18 | 2001-11-30 | Fujitsu Ten Ltd | レーダ及び画像処理を用いた車載用物体検出装置 |
JP2003109171A (ja) * | 2001-09-28 | 2003-04-11 | Nissan Motor Co Ltd | 物体検出装置 |
WO2006123615A1 (ja) * | 2005-05-19 | 2006-11-23 | Olympus Corporation | 距離計測装置、距離計測方法および距離計測プログラム |
US7656508B2 (en) | 2005-05-19 | 2010-02-02 | Olympus Corporation | Distance measuring apparatus, distance measuring method, and computer program product |
JP4727388B2 (ja) * | 2005-10-28 | 2011-07-20 | セコム株式会社 | 侵入検知装置 |
JP2007122507A (ja) * | 2005-10-28 | 2007-05-17 | Secom Co Ltd | 侵入検知装置 |
JP2007121158A (ja) * | 2005-10-28 | 2007-05-17 | Secom Co Ltd | 侵入検知装置 |
JP2007122508A (ja) * | 2005-10-28 | 2007-05-17 | Secom Co Ltd | 侵入検知装置 |
JP2007255978A (ja) * | 2006-03-22 | 2007-10-04 | Nissan Motor Co Ltd | 物体検出方法および物体検出装置 |
KR101379132B1 (ko) | 2007-01-18 | 2014-03-28 | 삼성전자주식회사 | 3차원 입체 영상의 화질을 개선하기 위한 방법 |
JP2010002326A (ja) * | 2008-06-20 | 2010-01-07 | Stanley Electric Co Ltd | 移動ベクトル検出装置 |
US8139821B2 (en) | 2008-10-20 | 2012-03-20 | Honda Motor Co., Ltd. | Vehicle periphery monitoring device |
EP2323098A1 (en) * | 2008-10-20 | 2011-05-18 | Honda Motor Co., Ltd. | Vehicle periphery monitoring device |
EP2323098A4 (en) * | 2008-10-20 | 2011-09-28 | Honda Motor Co Ltd | DEVICE FOR MONITORING THE VEHICLE ENVIRONMENT |
JP2010273178A (ja) * | 2009-05-22 | 2010-12-02 | Konica Minolta Holdings Inc | ステレオ測定システムおよび動画再生システム |
US9426364B2 (en) | 2011-09-05 | 2016-08-23 | Mitsubishi Electric Corporation | Image processing apparatus and image processing method |
JP2013190873A (ja) * | 2012-03-12 | 2013-09-26 | Nec Software Chubu Ltd | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
US9607400B2 (en) | 2012-11-19 | 2017-03-28 | Ricoh Company, Ltd. | Moving object recognizer |
CN104956400A (zh) * | 2012-11-19 | 2015-09-30 | 株式会社理光 | 移动对象识别器 |
CN104956400B (zh) * | 2012-11-19 | 2018-02-06 | 株式会社理光 | 移动对象识别器、车辆及识别移动对象的方法 |
US10489664B2 (en) | 2014-02-05 | 2019-11-26 | Ricoh Company, Limited | Image processing device, device control system, and computer-readable storage medium |
US9637118B2 (en) | 2014-05-19 | 2017-05-02 | Ricoh Company, Ltd. | Processing apparatus, processing system, and processing method |
US10387733B2 (en) | 2014-05-19 | 2019-08-20 | Ricoh Company, Ltd. | Processing apparatus, processing system, and processing method |
US10402664B2 (en) | 2014-05-19 | 2019-09-03 | Ricoh Company, Limited | Processing apparatus, processing system, processing program, and processing method |
KR20160074212A (ko) * | 2014-12-18 | 2016-06-28 | 현대자동차주식회사 | 차량용 거리측정장치 및 방법 |
KR101655620B1 (ko) * | 2014-12-18 | 2016-09-07 | 현대자동차주식회사 | 차량용 거리측정장치 및 방법 |
CN113447940A (zh) * | 2020-03-27 | 2021-09-28 | 西克股份公司 | 距离测量数据的检测 |
JP2021156882A (ja) * | 2020-03-27 | 2021-10-07 | ジック アーゲー | 距離測定データの取得 |
JP7114207B2 (ja) | 2020-03-27 | 2022-08-08 | ジック アーゲー | 距離測定データの取得 |
Also Published As
Publication number | Publication date |
---|---|
JP3596339B2 (ja) | 2004-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3596339B2 (ja) | 車間距離計測装置 | |
JP3596314B2 (ja) | 物体端の位置計測装置および移動体の通行判断装置 | |
JP3669205B2 (ja) | 障害物認識装置 | |
JP3861781B2 (ja) | 前方車両追跡システムおよび前方車両追跡方法 | |
JP5145986B2 (ja) | 物体検出装置及び測距方法 | |
US20060115113A1 (en) | Method for the recognition and tracking of objects | |
JP6450294B2 (ja) | 物体検出装置、物体検出方法、及びプログラム | |
JP4857839B2 (ja) | 物体検出装置 | |
JP5145585B2 (ja) | 物標検出装置 | |
US20040057599A1 (en) | Image processing apparatus and method | |
CN107272021A (zh) | 使用雷达和视觉定义的图像检测区域的对象检测 | |
KR102536037B1 (ko) | 차량의 주변 환경에 있는 물체와 관련된 정보를 결정하기 위한 방법 및 처리 유닛 | |
JP2007255977A (ja) | 物体検出方法および物体検出装置 | |
JP2007255979A (ja) | 物体検出方法および物体検出装置 | |
JP2000357233A (ja) | 物体認識装置 | |
CN112130158B (zh) | 对象距离测量装置和方法 | |
JPH08329393A (ja) | 先行車検出装置 | |
JP4052291B2 (ja) | 車両用画像処理装置 | |
CN113768419B (zh) | 确定扫地机清扫方向的方法、装置及扫地机 | |
JP3636150B2 (ja) | 走路上反射物の物体種類判定方法 | |
JP2001195698A (ja) | 歩行者検知装置 | |
JP2005156199A (ja) | 車両検知方法及び車両検知装置 | |
JP3690260B2 (ja) | 車間距離計測方法 | |
JP4102885B2 (ja) | 駐車車両検知方法及び駐車車両検知システム | |
JP2007233440A (ja) | 車載用画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040325 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040511 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040708 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040817 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040830 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080917 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090917 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |