JP2001126065A - 距離分布検知装置 - Google Patents

Abstract

(57)【要約】 【課題】 画像照合、距離算出処理のオーバーヘッドと
照合誤りの削減。 【解決手段】 ２台のカメラから撮像された画像はＡ／
Ｄ変換器によりデジタル化される。次に、解析対象の個
々の部分画像は、それが属すると予想される各距離レン
ジに対応した照合手段に入力される。各照合手段では、
入力画像の解像度を変化させることにより、それぞれの
距離レンジで必要十分な空間分解能で距離の照合を行
う。即ち、各照合手段では、対応する各距離レンジに応
じて、入力画像をそれぞれ２^-n（ｎ＝０，１，２，３）
の解像度の画像に変換する。解像度変換方法としては、
解像度を半減するのに隣り合う４画素の平均値を用いる
方法等を用いる。この様に距離分布検知装置を構成すれ
ば、後処理のためのデータの削減や、演算量の削減が可
能になる。また、本構成では距離値に応じた空間分解能
で照合を行うため、これにより、照合誤りも削減するこ
とができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両前方監視等に
利用されるステレオ視による距離分布検知装置に関す
る。

【０００２】

【従来の技術】車両前方監視等に利用されるステレオ視
による距離分布検知装置としては、例えば、公開特許公
報「特開平5-265547：車輌用車外監視装置」に記載され
ているものが一般に知られている。

【０００３】本従来技術では、距離画像を求める際、領
域サイズを固定にした相関法でステレオ照合を行ってお
り、空間分解能は、遠方での物体検出に必要になる値に
固定して距離を求めている。このため、領域サイズは４
×４画素と小さく、視差の分解能も画像の１画素精度と
高分解能に設定されている。

【０００４】また、視差を求める際の相関は、処理量の
比較的少ない差分絶対値和（ＳＡＤ）を用いて計ってい
る。相関を計るその他の指標には、例えば、差の自乗和
等があり、正規化相関などを用いる方法等も一般に広く
使用されている。

【０００５】差分絶対値和（ＳＡＤ）を用いてステレオ
照合する際の点（ｘ，ｙ｜０≦ｘ＜Ｖ，０≦ｙ＜Ｈ）に
おける相関指標Ｓの計算式を次式（１）に示す。

【数１】 Ｓ（ｘ，ｙ，ｄ）≡ _m=0Σ^M _n=0Σ^N ｜Ｒ−Ｌ｜， Ｒ≡Ｉｒ（ｘ＋ｍ，ｙ＋ｎ）， Ｌ≡Ｉｌ（ｘ＋ｍ＋ｄ，ｙ＋ｎ） …（１） （記号定義） Ｓ ： 相関指標（この値を最小にするｄの値（０≦ｄ
≦Ｄ_max ）を点（ｘ，ｙ）における視差として求め
る。） Ｉｒ ： 右カメラで撮影された画像の各比較点におけ
る比較量（明度等） Ｉｌ ： 左カメラで撮影された同時刻画像の各比較点
における比較量 Ｍ ： 相関領域サイズ（縦方向） Ｎ ： 相関領域サイズ（横方向） Ｈ ： 被解析画像サイズ（縦方向） Ｖ ： 被解析画像サイズ（横方向） Ｄ_max ： 視差探索幅

【０００６】式（１）から判る様に、画像解析の演算量
は、ステレオ照合する際の相関の種類等に依存し、特
に、相関領域（部分画像）の大きさ（Ｍ×Ｎ）、画像の
サイズ（Ｖ×Ｈ）、及び、視差ｄの探索範囲の大きさＤ
_max 等に比例している。

【０００７】また、上記の従来技術による方法では、遠
方の物体検出に必要な固定値の空間分解能で全距離レン
ジに渡り距離を求めるため、相関領域サイズは、４×４
画素と小さく、視差の分解能も画像の１画素精度になっ
ている。

【０００８】

【発明が解決しようとする課題】しかしながら、物体の
見かけ上の大きさは、距離に反比例しているため、ま
た、視差の分解能を一定にすると距離の分解能はカメラ
に近づく程細かくなるため、領域サイズを固定した場
合、近距離の物体に対しては必要以上に高い空間分解能
で距離を演算する事になる。したがって、領域サイズを
固定した場合、距離画像から物体を検出する後処理にお
いては、近距離の物体に対しては膨大な距離値を扱う必
要が生じ、処理量が膨大になる。

【０００９】また、小さな領域サイズで相関演算を行う
と、領域内のパターンの特徴が減少するため、照合誤り
が発生しやすくなるという問題がある。また、空間分解
能の高い距離値を求めること自体の計算コストが大きい
という問題もある。

【００１０】即ち、従来方法では、ステレオ照合処理を
距離レンジに依らず遠方で必要とされる空間分解能で一
括して行うため、即ち、相関の領域サイズを一定、視差
の探索分解能を一定で距離を求めるため、近い距離の物
体は得られる距離画像の分解能（距離方向、視差角方
向）が必要以上に細かくなってしまう点が、処理性能、
及び、出力結果の信頼性の面で問題となっていた。

【００１１】本発明は、上記の課題を解決するために成
されたものであり、その目的は、上記の様に、必要以上
に高い空間分解能で距離を求めることによって生じる、
解析処理オーバーヘッド（メモリ・オーバーヘッド、Ｃ
ＰＵ・オーバーヘッド等）を削減し、更に、それに伴う
照合誤りを削減することである。

【００１２】

【課題を解決するための手段】上記の課題を解決するた
めには、以下の手段が有効である。即ち、第１の手段
は、空間的位置の相異なる複数の視点から撮影された画
像を解析することにより、撮像された対象物の距離分布
を求める距離分布検知装置において、画像の被解析単位
となる部分画像を照合し、距離分布を計算する際の、距
離方向又は視差角方向の空間分解能の高さを部分画像が
属すると推定される距離レンジに応じて選択する空間分
解能選択手段を備えることである。

【００１３】尚、上記の照合を実施する手段は、選択可
能な上記の空間分解能の値の個数に応じて複数個備えて
も良い。上記の第１の手段によれば、例えば、次の様な
距離分布検知装置を構成することも可能となる。

【００１４】〔基本構成例１〕 複数個の画像入力手段
（カメラ）又は移動した画像入力手段（カメラ）により
異なる視点から得られた複数の画像に対して、検出する
距離レンジ毎に必要十分な空間分解能で距離を算出する
複数個の照合手段を有し、撮像された対象物の距離分布
を求める距離分布検知装置（図１）。

【００１５】また、第２の手段は、上記の第１の手段の
空間分解能選択手段において、部分画像の解像度又は領
域サイズ、或いは、画像解析時の視差角に関する分解能
等の解析パラメータの値を距離レンジに応じて調整する
ことにより、空間分解能の高さを段階的又は連続的に制
御するパラメータ調整手段を備えることである。

【００１６】上記の第２の手段によれば、例えば、次の
様な距離分布検知装置を構成することも可能となる。
（基本構成例２〜６） 〔基本構成例２〕 照合手段の方法として領域ベースの
相関法（原理：図２）を用い、距離レンジ毎に必要十分
な空間分解能（視差角方向の分解能）で距離を算出する
ために、領域のサイズを可変する距離分布検知装置（図
３）。

【００１７】〔基本構成例３〕 基本構成例２で相関法
の領域サイズを可変する代わりに、照合の対象となる画
像の解像度を変化させ、距離レンジ毎に必要十分な空間
分解能（視差角方向の分解能）で距離を算出する距離分
布検知装置（図４）。

【００１８】〔基本構成例４〕 距離レンジ毎に必要十
分な空間分解能（距離方向）で距離を算出するために、
視差の分解能を可変とする距離分布検知装置。

【００１９】〔基本構成例５〕 基本構成例４で視差の
分解能を可変とするために、照合の対象となる画像の分
解能を変化させ、距離レンジ毎に必要十分な空間分解能
（距離方向）で距離を算出する距離分布検知装置。

【００２０】〔基本構成例６〕 基本構成例３と基本構
成例５とを効果的に組み合わせた距離分布検知装置。即
ち、距離レンジ毎に必要十分な空間分解能で距離を算出
するために、照合の対象となる画像の分解能を変化させ
る距離分布検知装置。

【００２１】更に、第３の手段は、上記の第１又は第２
の手段において、近距離レンジに属する部分画像の距離
解析結果に基づいて、近距離レンジよりも遠い距離レン
ジに属する部分画像の距離解析処理動作を抑止、制限、
又は制御する解析手順短縮手段を備えることである。

【００２２】上記の第３の手段によれば、例えば、次の
様な距離分布検知装置を構成することも可能となる。 〔基本構成例７〕 近い距離レンジに対応する照合手段
の距離算出結果に基づき、近いエリアで距離値が求めら
れているときには、遠い距離レンジに対応する照合手段
の動作を抑止する距離分布検知装置（図５）。

【００２３】〔基本構成例８〕 近い距離レンジに対応
する照合手段の距離算出結果を、遠い距離レンジに対応
する照合手段の距離値算出の予測値として用い、更に、
この距離算出結果を視差探索範囲の制限（視差探索限
定）や順序制御などに用いる距離分布検知装置（図
６）。以上の第１乃至第３の何れか１つの手段により、
前記の課題を解決することができる。

【００２４】

【作用及び発明の効果】本発明の上記の手段によれば、
例えば、求める距離に応じて必要十分な空間分解能が得
られる様に、各エリア毎に照合処理の相関領域サイズや
視差の探索分解能を変化させた照合手段を用いることが
可能である。例えば、この様な設定により、各距離に応
じて必要十分な空間分解能で距離値を得ることができる
（例：図３）。

【００２５】また、各距離で適切な空間分解能（相関領
域サイズ、視差の分解能）で照合処理が行えるため、照
合誤りを削減できる。また、不必要に高い空間分解能で
距離を計算する場合に比べて処理量を小さくでき、処理
を高速化できる。

【００２６】更に、上記の基本構成例３、基本構成例
５、及び、基本構成例６では、照合処理の相関領域サイ
ズや視差の探索分解能を変化させる方法として、画像の
解像度を変化させる方法を用いている。この様な方法を
用いた場合、例えば、図４に示す様に、解像度を半分に
落とした画像で同じ大きさの照合領域で１画素づつ視差
を探索する際の照合データ量は、元の解像度で縦横２倍
の照合領域で２倍の視差間隔で探索する際の照合データ
量に相当する。従って、この様な方法によれば、大きな
領域で照合演算をする場合、演算量が大幅に削減でき、
これにより処理を高速化できる。

【００２７】即ち、上記の本発明の第１乃至第３の何れ
か一つの手段によれば、必要十分な空間分解能で距離値
（距離画像）を得ることができるようになるので、距離
画像に基づく物体検出や形状推定などの後処理が容易に
行える。また、本発明の上記の第１乃至第３の何れか一
つの手段によれば、必要以上に高い空間分解能の距離値
を求める従来技術よりも、処理時間が大幅に短縮化で
き、更に、照合誤りをも削減できる。

【００２８】また、例えば、上記の基本構成例７によれ
ば、より遠い対応手段の動作の制限により更なる処理の
高速化が可能となり、また、上記の基本構成例８によれ
ば、距離の予測値による視差探索範囲の制御（限定）に
よりさらなる高速化と照合誤りの削減が可能となる。

【００２９】即ち、基本構成例７や基本構成例８等に代
表される本発明の第３の手段によれば、処理量の小さい
近い距離レンジの照合手段で得られた距離値（視差）の
結果を用いて、遠い距離レンジ用照合手段の動作の制限
したり、近い距離レンジの照合手段で遠方の距離値を求
めそれを遠い距離レンジ用の照合手段の予測値として探
索視差範囲の制御（限定）を行うことにより、処理量を
更に小さくできる。また、視差の探索範囲を限定するこ
とにより、照合誤りによる距離値の誤りを削減すること
も可能となる。

【００３０】

【発明の実施の形態】以下、本発明を具体的な実施例に
基づいて説明する。 （第１実施例）本第１実施例は、前記の基本構成例１か
ら前記の基本構成例６までの各基本構成例を包含する実
施例である。

【００３１】図７に本第１実施例の距離分布検知装置の
全体構成を示し、図８にその処理の流れを示すフローチ
ャートを示す。２台のカメラから撮像された画像はA/D
変換器によりデジタル化される。次に距離レンジに対応
した照合手段に入力される。本実施例では４種類の距離
レンジ（以下、「距離エリア」と言う場合がある。）に
分割する例を示している。

【００３２】照合手段ではそれぞれの距離レンジ（距離
エリア）で必要十分な空間分解能で距離の照合を行う。
空間分解能を可変にする方法として、入力画像の解像度
を変化させる方法を用いる。すなわち、遠距離エリア用
の照合手段では入力画像そのままの解像度の画像、中遠
距離エリア用の照合手段では1／2の解像度の画像、中近
距離エリア用の照合手段では1／4の解像度の画像、近距
離エリア用の照合手段では1／8の解像度の画像に入力画
像を変換する。

【００３３】解像度変換方法としては、解像度を半減す
るのに隣り合う４画素の平均値を用いる方法を用いた
が、その他のリサンプリングの方法（単純間引きやウェ
ーブレット変換）を利用しても良い。また、中近距離エ
リア用の照合手段で1／4の画像を生成するために、中遠
距離エリア用の照合手段で算出した1／2の解像度の画像
の解像度をさらに1／2すれば計算の手間が省けるので、
入力画像を直接1／4，1／8する代わりに既に計算したそ
れより１つ細かい解像度の画像を1／2することにより1
／4，1／8の解像度の画像を生成しても良い（図９：1／
1，1／2，1／4，1／8に解像度変換した画像例）。

【００３４】次に、夫々の距離エリア用の照合部で左右
画像の照合を行うが、その前に左右画像間の明度差の補
償や濃度変化の強調による照合の改善等を目的とした空
間フィルタ処理を行っても良い。この目的のためには１
次、２次微分フィルタや直流分除去フィルタ等が使われ
る。

【００３５】次に夫々の距離エリア用の照合手段の照合
部で左右画像間での対応点（右画像と同じ左画像の点）
を探索する。探索方法は比較的演算量の少ない差分絶対
値和（SAD）を利用しているが、差分の二乗和や正規化
相関を使っても良い。相関の領域サイズは３×３画素と
している。遠方での空間分解能を上げるためにこのサイ
ズを採用しているが、必要に応じて２×２や５×５画素
などのサイズを用いても良い。

【００３６】距離画像を計算する画素間隔は１画素間隔
とした。これについても必要とする距離画像の密度に合
わせて決めればよい。ステレオ照合位置は照合度合いを
表すSADの残差（sCorr）の最小値、照合度合いの一意性
を示すSADの最小値での残差の勾配値（ｓGrad）、対応
の取れやすさを示すパターンの存在を表わす１次微分絶
対値(sChdiv)等からその照合度合い（信頼度）を評価
し、照合が得られた時、その位置の距離値を算出する。

【００３７】距離エリアに対応した夫々の照合手段の動
作は、必要な距離画像の空間分解能を得るために、距離
エリア（視差の領域）毎に役割分担して動作する。例え
ば、必要十分な空間分解能（距離精度）を0.3mとし、焦
点距離F=16mm,基線長B=0.30mm，セルサイズα=9.9μm(1
/2インチCCD，640画素ｘ480画素の場合)のステレオカメ
ラの場合、視差128から112までは近距離エリア用照合手
段、112から80は中近距離エリア用照合手段で、80から5
6までは中遠距離エリア用照合手段、視差56以下は遠距
離エリア用照合手段が担当して距離算出を行う。

【００３８】この様に距離分布検知装置を構成すれば、
出力される距離画像の情報は、解像度が1／2になるのに
伴い、1／4に減少し、処理時間は更に視差方向の探索量
が半減するため1／8になる。その結果、後処理のための
データの削減、演算量の削減に伴う計算時間の削減が可
能になる。また、本構成では距離値に応じた空間分解能
で照合を行うため、これにより、照合誤りも削減するこ
とができる。

【００３９】（第１実施例の効果）即ち、例えば、この
様に距離分布検知装置を構成すれば、必要十分な空間分
解能で距離値（距離画像）を得ることができるようにな
るので、距離画像に基づく物体検出や形状推定などの後
処理が容易に行える。また、必要以上に高い空間分解能
の距離値を求める従来手法と比べると処理時間が大幅に
短縮化でき、更に、照合誤りをも削減できる。

【００４０】（第２実施例）本第２実施例は、前記の基
本構成例７、及び、基本構成例８を包含する実施例であ
る。即ち、本第２実施例は、近い距離エリア用の照合手
段ほど照合誤りが少なくなる点と処理時間が少ない点を
利用するもので、第１実施例に示したそれぞれの距離エ
リア用の照合手段を並列に動作させるのではなく、近い
距離エリア用の照合手段の結果を考慮しながら、さらに
遠い距離エリア用の照合手段の動作を行わせる点が最も
大きな特徴である。

【００４１】本第２実施例では、近い距離エリア用の照
合手段での照合結果が前述の信頼度から照合が得られた
と判断できる時は、そこで得られた距離値を用い、さら
に遠い距離エリア用の照合手段の動作は行わない（図１
０：構成図）。この動作を順次近い距離エリア用から遠
い距離エリア用の照合手段に適用していく（基本構成例
７）。これにより対象物が近距離である場合には、遠い
距離エリア用の照合手段の動作が不要になるので、処理
量を更に削減することができる。

【００４２】更に、本第２実施例では、近い距離エリア
用の照合手段で遠い距離エリアの照合を探索すると、精
度は不十分であるが、凡その照合位置を少ない演算量で
求められることを利用し、近い距離エリア用の照合手段
を使って全視差（距離）領域の探索を行い、その結果が
さらに遠いエリア用の照合手段の範囲にある場合、近い
距離エリアで求めた距離値を遠いエリア用の照合手段で
の予測値として用いる（図１１：構成図）。この動作を
順次近い距離エリアから遠い距離エリア用の照合手段に
適用していく（基本構成例８）。ただし、ある距離エリ
ア用の照合手段の結果のみからそれより遠い距離用の照
合手段の予測値を求めても良い。

【００４３】これにより予測値を利用できるより遠い距
離エリア用の照合手段では、視差の探索処理を大幅に削
減できる。また、不要な探索範囲を省く事が可能になる
ため、照合誤りを削減することも可能になる。

【００４４】尚、予測値の利用の仕方としては、１）予
測値がある時にその範囲しか探索しない（図１２：フロ
ー）、２）予測値を先ず探索するが、照合が得られない
ときはその範囲外も探索する、３）予測値が存在しない
ときは、予測値なしとして探索範囲を探索するなどの手
順がある。

【００４５】（第２実施例の効果）例えば、この様に距
離分布検知装置を構成すれば、より遠い対応手段の動作
の制限によりさらに処理の高速化ができ、また、距離の
予測値による視差探索範囲の制御により、更なる高速化
と照合誤りの削減が可能になる。

【００４６】尚、上記の各実施例においては、領域ベー
スの相関演算を行うために画像の端の部分で照合処理が
できない部分画像が発生する。空間分解能を好適化する
（必要十分とする）ために解像度を変化させると、この
様な照合処理ができない部分画像の位置も変化する。即
ち、例えば、距離が近い対象が画像の端に存在する場合
は、近い距離レンジ用の照合手段では画像の端の関係
で、必要な照合処理ができなくなる場合がある。この様
な場合、上記の各実施例においては、画像の端の部分で
は、照合処理に関するこの様な事情を考慮した距離の分
割を行うものとする。

【図面の簡単な説明】

【図１】本発明の距離分布検知装置の論理的な全体構成
を例示する構成図。

【図２】左右ステレオの場合（画像入力手段が２つある
場合）の原理図。

【図３】領域サイズを距離レンジ毎に変更する例を示す
説明図。

【図４】解像度を距離レンジ毎に変更する例を示す説明
図。

【図５】本発明の距離分布検知装置の基本構成例７の構
成図。

【図６】本発明の距離分布検知装置の基本構成例８の構
成図。

【図７】本発明の第１実施例の距離分布検知装置の構成
図。

【図８】本発明の第１実施例の距離分布検知装置の基本
処理動作を例示するゼネラルフローチャート。

【図９】本発明の第１実施例の距離分布検知装置の解像
度変換結果を例示する写真。

【図１０】本発明の第２実施例の距離分布検知装置（基
本構成例７）の構成図。

【図１１】本発明の第２実施例の距離分布検知装置（基
本構成例８）の構成図。

【図１２】本発明の第２実施例の距離分布検知装置（基
本構成例８）の基本処理動作を例示するゼネラルフロー
チャート。

【符号の説明】

Ｓ ： 相関指標（ＳＡＤ等を用いる） Ｉｒ ： 右カメラで撮影された画像の各比較点におけ
る比較量（明度等） Ｉｌ ： 左カメラで撮影された同時刻画像の各比較点
における比較量 Ｈ ： 被解析画像サイズ（縦方向） Ｖ ： 被解析画像サイズ（横方向） Ｍ ： 相関領域サイズ（縦方向） Ｎ ： 相関領域サイズ（横方向） Ｄ_max ： 視差探索幅

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） // Ｇ０５Ｄ 1/02 Ｇ０６Ｆ 15/70 ４００ ９Ａ００１ (72)発明者 太田 充彦 愛知県愛知郡長久手町大字長湫字横道41番 地の１ 株式会社豊田中央研究所内 Ｆターム(参考） 2F065 AA06 BB05 CC11 DD06 EE09 FF05 FF09 JJ03 JJ05 NN11 PP01 QQ00 QQ03 QQ13 QQ25 QQ27 QQ28 QQ32 QQ33 QQ38 QQ41 QQ42 2F112 AC06 FA03 FA07 FA27 FA31 FA32 FA38 FA41 5B057 AA20 BA24 BA26 CD06 CE06 DA07 DB03 DC02 DC34 DC36 5H301 AA03 AA10 BB20 CC06 GG09 GG19 GG23 GG29 LL01 LL03 LL14 QQ08 5L096 BA04 CA05 CA25 EA03 FA34 FA66 GA17 HA01 9A001 EE05 HZ23 JJ77 KK54

Claims (3)

【特許請求の範囲】
1. 【請求項１】 空間的位置の相異なる複数の視点から撮
   影された画像を解析することにより、撮像された対象物
   の距離分布を求める距離分布検知装置において、 前記画像の被解析単位となる部分画像を照合し、前記距
   離分布を計算する際の、距離方向又は視差角方向の空間
   分解能の高さを、 前記部分画像が属すると推定される距離レンジに応じて
   選択する空間分解能選択手段を有することを特徴とする
   距離分布検知装置。
2. 【請求項２】 前記空間分解能選択手段は、 前記部分画像の解像度又は領域サイズ、或いは、画像解
   析時の視差角に関する分解能等の解析パラメータの値を
   前記距離レンジに応じて調整することにより、前記空間
   分解能の高さを段階的又は連続的に制御するパラメータ
   調整手段を有することを特徴とする請求項１に記載の距
   離分布検知装置。
3. 【請求項３】 近距離レンジに属する前記部分画像の距
   離解析結果に基づいて、前記近距離レンジよりも遠い距
   離レンジに属する前記部分画像の距離解析処理動作を抑
   止、制限、又は制御する解析手順短縮手段を有すること
   を特徴とする請求項１又は請求項２に記載の距離分布検
   知装置。