JPH07103734A - ステレオ対応探索装置 - Google Patents

Abstract

(57)【要約】 【目的】 階層画像を用いて対応点を探索することによ
り、高精度かつ高速に３次元データを測定する。 【構成】 階層画像作成器２は、入力された画像より階
層画像を作成する。画像分割器３は、階層画像作成器２
により作成された主画像の階層画像を小ブロックに分割
する。初期探索位置計算器４は、上位階層により計算さ
れた視差から初期探索位置を計算する。対応点計算器５
は、主画像の小ブロックに対する副画像での最も一致す
る位置を計算する。視差計算器６は、対応点計算器５に
より計算された対応点と小ブロックの位置から視差を計
算する。このように、複数の撮像手段により撮影された
画像から、低解像度画像による視差計算で概ねの視差を
計算し、次第に高解像度画像を用いるに従って正確な視
差を計算することが可能となる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ステレオ対応点探索装
置に関し、より詳細には、複数の撮像手段で撮像した複
数の画像から視差を計算するステレオ対応点探索装置に
関する。

【０００２】

【従来の技術】従来の複数画像間の点の対応を求め、視
差を求める装置としては、以下の〜のものがある。 ブロックマッチングを用いて特徴点の対応を求めるも
の。 エッジの構造により対応を求めるもの（福永：”画像
の線分構造に基づいたステレオ画像法”電子情報通信学
会技術報告ＩＥ86-16など）。 エッジ間の領域の対応を求めるもの（大田：”走査線
間の整合性を考慮した動的計画法によるステレオ対応探
索”電子情報通信学会技術報告ＣＶ29-7など）。 濃淡画像の階層画像を用いて対応点を求めるもの。

【０００３】

【発明が解決しようとする課題】前述のような、従来の
ステレオ対応探索装置においては、以下のような問題点
がある。 ブロックマッチングを用いて点の対応を求める技術に
おいては、対応点を探索する範囲が広く、探索時間が非
常にかかり、点のごく周囲の特徴（濃度値）しか対象と
なっていないので対応精度が低い。 エッジの対応を求める技術においては、エッジを精度
良く抽出する必要があり、エッジ抽出精度にマッチング
精度が左右される。またエッジ点しか３次元位置が求ま
らない。 エッジ間の領域の対応を求める技術においては、組合
せが多く非常に時間がかかる。 濃淡画像の階層画像を用いて対応点を求める技術にお
いては、上位階層での誤対応が下位に拡散しながら伝播
するために、上位階層において高精度な対応点探索が要
求される。

【０００４】本発明は、このような実情に鑑みてなされ
たもので、階層画像を用いて対応点を探索することによ
り、高精度かつ高速に３次元データを測定するステレオ
対応探索装置を提供することを目的としている。

【０００５】

【課題を解決するための手段】本発明は、上記目的を達
成するために、（１）複数の撮像手段と、該複数の撮像
手段により撮像された複数の原画像より階層的に、より
低解像度の画像である階層画像を作成する階層画像作成
手段と、前記撮像手段により撮像された画像の一方を主
画像とし、前記階層画像作成手段により作成された主画
像の階層画像を小ブロックに分割する画像分割手段と、
該画像分割手段により分割された主画像の階層画像の各
小ブロックが他の画像の同じ解像度の階層画像のどの部
分に対応するかを求める対応点計算手段と、該対応点計
算手段により求められた対応部分の画像の位置と主画像
の小ブロックの位置から視差を計算する視差計算手段
と、該視差計算手段により求められた視差を１段階下位
の階層に伝播し、前記対応点計算手段における初期探索
位置を計算する初期探索位置計算手段とから成り、前記
各手段を、最上位の階層画像から原画像までの解像度の
画像に繰り返し実行することにより原画像における視差
を計算すること、或いは、（２）複数の撮像手段と、該
撮像手段により撮像された原画像より微分画像を作成す
る微分画像作成手段と、前記原画像および前記微分画像
より階層的により低解像度の画像である階層画像を作成
する階層画像作成手段と、前記撮像手段により撮像され
た画像の一方を主画像、主画像の微分画像を主微分画像
とし、階層画像作成手段により作成された主画像および
主微分画像の階層画像を小ブロックに分割する画像分割
手段と、前記主画像および主微分画像の階層画像の各小
ブロックが他の画像の同じ解像度の階層画像のどの部分
に対応するかを求める対応点計算手段と、該対応点計算
手段により求められた対応部分の画像の位置と主画像の
小ブロックの位置から視差を計算する視差計算手段と、
該視差計算手段により求められた視差を１段階下位の階
層に伝播し、対応点計算手段における初期探索位置を計
算する初期探索位置計算手段とから成り、最上位階層で
は微分画像作成手段を実行し、微分画像に対して階層画
像作成手段、画像分割手段、対応点計算手段、視差計算
手段を実行し、濃淡画像の最上位より１階層低い階層画
像から原画像までの解像度の画像に対して階層画像作成
手段、画像分割手段、初期探索位置計算手段、対応点計
算手段、視差計算手段を繰り返し実行することにより原
画像における視差を計算することを特徴とするものであ
る。

【０００６】

【作用】複数の撮像手段により視野がわずかに異なる複
数の原画像を撮像する。撮像された画像のうち１枚を主
画像とし、他を副画像とする。階層画像作成手段により
主画像，副画像から階層的に、より低解像度の画像であ
る階層画像を作成する。次に、画像分割手段により主画
像の階層画像を小ブロックに分割する。次に、対応点計
算手段により前記小ブロックのそれぞれについてパター
ンマッチングによって副画像の同じ解像度の階層画像の
どの部分と最も一致するかを求める。求められた副画像
上の対応する部分の位置と主画像の階層画像の小ブロッ
クの位置から視差計算手段により各小ブロックの視差を
計算する。次に１階層下位（直前に処理した階層画像よ
り高解像度）の主画像の階層画像について画像分割手段
を実行する。ここで初期探索位置計算手段により１階層
上位で求められた視差を用いて初期探索位置を計算し、
計算された初期探索位置を中心とし、対応点計算手段に
より対応点を求め、視差計算手段により各ブロックの視
差を求める。このように、階層画像作成手段，画像分割
手段，初期探索位置計算手段，対応点計算手段，視差計
算手段を、最上位（最も解像度の低い）画像から原画像
（最も解像度の高い）画像まで繰り返し実行することに
より、原画像における主画像と副画像の視差を計算す
る。

【０００７】複数の撮像手段により視野がわずかに異な
る複数の原画像を撮像する。撮像された画像のうち１枚
を主画像とし他を副画像とする。微分画像作成手段によ
り主画像、副画像を空間微分して主微分画像、副微分画
像を作成する。階層画像作成手段により主画像、副画
像、および主微分画像、副微分画像から階層的により低
解像度の画像である階層画像を作成する。次に、画像分
割手段により主微分画像の階層画像を小ブロックに分割
する。次に、対応点計算手段により前記小ブロックのそ
れぞれについてパターンマッチングによって副微分画像
の同じ解像度の階層画像のどの部分と最も一致するかを
求める。求められた副微分画像の対応する部分の位置と
主微分画像の階層画像の小ブロックの位置から視差計算
手段により各小ブロックの視差を計算する。次に、１階
層下位（直前に処理した階層画像より高解像度）の主画
像、階層画像について画像分割手段を実行する。ここ
で、初期探索位置計算手段により１階層上位で求められ
た視差を用いて初期探索位置を計算し、計算された初期
探索位置を中心とし、対応点計算手段により対応点を求
め、視差計算手段により各ブロックの視差を求める。こ
のように、微分画像作成手段、階層画像作成手段、画像
分割手段、対応点計算手段、視差計算手段により最上位
階層では微分画像を用いた対応点探索を行ない、おおよ
その対応点を計算した後に、濃淡画像に対して階層画像
作成手段、画像分割手段、初期探索位置計算手段、対応
点計算手段、視差計算手段を、最上位（最も解像度の低
い）より１階層低い画像から原画像（最も解像度の高
い）画像まで繰り返し実行することにより、原画像にお
ける主画像と副画像の視差を高精度に計算する。

【０００８】

【実施例】実施例について、図面を参照して以下に説明
する。図１は、本発明によるステレオ対応探索装置の一
実施例を説明するための構成図で、図中、１は画像メモ
リ、２は階層画像作成器、３は画像分割器、４は初期探
索位置計算器、５は対応点計算器、６は視差計算器であ
る。なお、本実施例では撮像手段の数は２であるとし、
撮像手段のレンズの中心を結ぶ線はそれぞれ撮像手段の
視線方向と直交するものとする。また、右側の撮像手段
により撮像された画像を主画像，左側の撮像手段により
撮像された画像を副画像として説明する。

【０００９】画像メモリ１は、複数の撮像手段により撮
像された画像を蓄えるためのものである。階層画像作成
器２は、前記画像メモリ１から送られた画像データをも
とにして階層画像を作成する。画像分割器３は、前記階
層画像作成器２により作成された階層画像を小ブロック
に分割する。初期探索位置計算器４は、前記画像分割器
３により分割された各小ブロックに対して初期探索位置
を計算する。対応点計算器５は、前記初期探索位置計算
器４により計算された初期探探位置からパターンマッチ
ングによってブロックの対応点を計算する。視差計算器
６は、前記対応点計算器５により求められた対応点と主
画像のブロック位置から各小ブロックの視差を計算す
る。

【００１０】図２及び図３は、本発明によるステレオ対
応探索装置の動作を説明するためのフローチャートであ
る。以下、各ステップに従って順に説明する。本実施例
では画像の大きさは（５１２画素×５１２画素）である
とし、解像度は階層が１段階上がるに連れて、ｘ，ｙ軸
方向とも１／２になるように階層画像を作成する。ま
た、最大階層は３階層（最大階層では画像の大きさは
（１２８画素×１２８画素））とした。

【００１１】step１：（画像入力） 複数の撮像手段からの視野の少し異なる画像が入力さ
れ、ｄを最大階層（＝３）にセットする。step２ ：（階層画像作成） 入力された主画像，副画像を階層的にｄ段階解像度を低
くした画像（第ｄ階層画像）を作成する。step３ ：（画像分割） 前記階層画像作成(step２)により作成された主画像の第
ｄ階層画像を、本実施例では（８画素×８画素）のｎ個
の小ブロックに分割する。このｎ個の小ブロックに対し
て初期探索位置計算(step４）から視差計算（step８）
まで実行することにより、第ｄ階層における各小ブロッ
クの視差を計算する。step４ ：（初期探索位置計算） 最上位階層では主画像の小ブロックの位置を初期探索位
置とする。

【００１２】step５：（探索範囲決定） 次の一致度計算（step６）における主画像の小ブロック
に対する副画像の探索範囲を決定する。探索範囲は最上
位階層では初期探索位置からｘ軸方向には正方向に画面
全体，ｙ軸方向には正負の方向に数画素とする。step６，７ ：（対応点計算） 前記探索範囲決定（step５）で決定された探索範囲内の
主画像の小ブロックと副画像の各位置（探索位置）の一
致度を主画像の小ブロックと同じ大きさの窓内で輝度値
の差の絶対値の総和を計算することにより計算し、最も
一致度の高い（窓内の輝度値の差の絶対値の総和が最も
小さい）位置を対応点とする。

【００１３】step８：（視差計算） 主画像の小ブロックの位置と対応点計算（step６，７）
で求められた対応点から第ｄ階層における主画像の各小
ブロックの視差を計算する。step９〜１１ ：次に、終了判定（ｉ＜ｎ）を行い、ｉ＜
ｎであれば、前記step４へ行き、ｉ＜ｎでなければ、ｄ
＝ｄ−１とし、更に、終了判定ｄ＞０を行い、ｄ＞０で
あれば、前記step２へ行き、ｄ＞０でなければ終了す
る。すなわち、階層を１段階下げて（解像度を１段階上
げて）、階層画像作成（step２）により主画像、副画像
の階層画像を作成し、画像分割（step３）により主画像
の階層画像を小ブロックに分割する。初期探索位置計算
（step４）では１階層上位で求められた視差を用いて初
期探索位置を計算する。

【００１４】図４は、初期探索位置の計算について説明
するための図である。今、視差を求めようとしている主
画像の第ｄ階層の小ブロックが、（ｉ，ｊ） _dブロック
（ｘ軸方向にｉ番目，ｙ軸方向にｊ番目のブロック）で
あるとすると、このブロックは１階層上位では解像度が
ｘ，ｙ方向とも１／２になるので、（〔ｉ／２〕，〔ｉ
／２〕）_d+1ブロックに属していることになる。（〔〕
はガウス記号である。）

【００１５】この（〔ｉ／２〕，〔ｉ／２〕）_d+1ブロ
ックの視差がｄｉｓｐ＝（ｄｉｓｐｘ，ｄｉｓｐｙ）で
あったとすると、前記の通り第ｄ＋１階層画像は第ｄ階
層画像の１／２なので（ｉ，ｊ）_dブロックの視差は
（〔ｉ／２〕，〔ｉ／２〕）_d+1ブロックの視差の２倍
すなわち２×ｄｉｓｐとなる。したがって、初期探索索
位置は（ｉ，ｊ）_dブロックから２×ｄｉｓｐ離れた位
置となる。

【００１６】このようにして初期探索位置計算（step
４）で初期探索位置が計算される。次の探索範囲決定
（step５）は、上位の階層で大まかな位置合わせがなさ
れているので、対応点は初期探索位置の近くに存在する
と考えられ、探索範囲をｘ，ｙ軸方向ともに正負方向に
数画素に絞り込む。対応点探索（step６，７)、視差計
算(step８)では上記同様の処理をし、視差を計算する。
このように、階層画像作成（step２）から視差計算（st
ep８）までを最上位階層画像から原画像までの解像度の
画像に対して繰り返し実行することにより、原画像の各
小ブロックに対する視差を計算する。

【００１７】図５は、本発明によるステレオ対応探索装
置の他の実施例を示す図で、図中、２１は画像メモリ、
２２は階層画像作成器、２３は画像分割器、２４は初期
探索位置計算器、２５は対応点計算器、２６は視差計算
器、２７は微分画像作成器である。

【００１８】画像メモリ２１は、複数の撮像手段により
撮像された画像を蓄えるためのものである。微分画像作
成器２７は、前記画像メモリ２１から送られた画像デー
タを空間微分する。階層画像作成器２２は、前記画像メ
モリ２１または微分画像作成器２７から送られた画像デ
ータから階層画像を作成する。画像分割器２３は、前記
階層画像作成器２２により作成された階層画像を小ブロ
ックに分割する。初期探索位置計算器２４は、前記画像
分割器２７により分割された各小ブロックに対して初期
探索位置を計算する。対応点計算器２５は、前記初期探
索位置計算器２４により計算された初期探索位置からパ
ターンマッチングにより各ブロックの対応点を計算す
る。視差計算器２６は、前記対応点計算器２５により求
められた対応点と主画像のブロックの位置から各小ブロ
ックの視差を計算する。

【００１９】図６及び図７は、図５における他の実施例
の動作を説明するためのフローチャートである。本実施
例では、図１に示す実施例と同様に、画像の大きさは
（５１２画素×５１２画素）であるとし、解像度は階層
が１段階上がるにつれて、ｘ，ｙ軸方向ともに１／２に
なるよう階層画像を作成する。また、最大階層は３階層
（最大階層では画像の大きさは（１２８画素×１２８画
素））とした。

【００２０】step１：（画像入力） 複数の撮像手段から視野の少し異なる画像が入力され、
ｄを最大階層（＝３）にセットする。step２ ：（微分画像作成） 入力された主画像、副画像に空間微分を施し、それぞれ
主微分画像、副微分画像を作成する。step３ ：（階層画像作成） 入力された主微分画像、副微分画像を階層的にｄ段階解
像度を低くした画像（第ｄ階層画像）を作成する。step４ ：（画像分割） 前記階層画像作成（step３）により作成された主微分画
像の第ｄ階層画像を本実施例では（８画素×８画素）の
ｎ個の小ブロックに分割する。このｎ個の小ブロックに
対して初期探索位置計算（step５）から視差計算（step
９）までを実行することにより、第ｄ階層における各小
ブロックの視差を計算する。step５ ：（初期探索位置計算） 最上位階層では主微分画像の小ブロックの位置を初期探
索位置とする。

【００２１】step６：（探索範囲決定） 次の一致度計算（step７）における主微分画像の小ブロ
ックに対する副微分画像の探索範囲を決定する。探索範
囲は最上位階層では初期探索位置からｘ軸方向には正方
向に画面全体、ｙ軸方向には正負の方向に数画素とす
る。step７，８ ：（対応点計算） 前記探索範囲決定（step６）で決定された探索範囲内の
主微分画像の小ブロックと副微分画像の各位置（探索位
置）の一致度を主微分画像の小ブロックと同じ大きさの
窓内で輝度値の差の絶対値の総和を計算することにより
計算し、最も一致度の高い（窓内の輝度値の差の絶対値
の総和が最も小さい）位置を対応点とする。

【００２２】step９：（視差計算） 主微分画像の小ブロックの位置と対応点計算（step７，
８）で求められた対応点から第ｄ階層における主微分画
像の各小ブロックの視差を計算する。step１０〜１２ ：次に、終了判定（ｉ＜ｎ）を行い、ｉ
＜ｎであれば、前記step５へ行き、ｉ＜ｎでなければ、
ｄ＝ｄ−１とし、更に終了判定（ｄ＞０）を行い、ｄ＞
０であれば、前記step３へ行き、ｄ＞０でなければ終了
する。すなわち、階層を１段階下げて（解像度を１段階
上げて）、階層画像作成（step３）により主画像、副画
像の階層画像を作成し、画像分割（step４）により主画
像の階層画像を小ブロックに分割する。初期探索位置計
算（step５）では１階層上位で求められた視差を用いて
初期探索位置を計算する。

【００２３】この場合の初期探索位置の計算について
は、図４の説明と同様であり、初期探索位置は（ｉ，
ｊ）_dブロックから２×ｄｉｓｐ離れた位置となる。こ
のようにして初期探索位置計算（step５）で初期探索位
置が計算される。前記探索範囲決定（step６）は、上位
の階層で大まかな位置合わせがなされているので、対応
点は初期探索位置の近くに存在すると考えられ、探索範
囲をｘ，ｙ軸方向ともに正負方向に数画素に絞り込む。
対応点探索（step７，８）、視差計算（step９）では上
記同様の処理をして視差を計算する。

【００２４】このように、最上位階層では微分画像作成
（step２）から視差計算（step９）までを実行すること
によりエッジによる対応点探索を行ない、階層画像作成
（step３）から視差計算（step９）までを濃淡画像の最
上位階層より１階層低い画像から原画像までの解像度の
画像に対して繰り返し実行することにより、原画像の各
小ブロックに対する視差を計算する。本発明では、最上
位階層では微分画像の階層画像を用いて低解像度画像で
も誤対応の少ない対応点探索を行ない、以下の階層では
濃淡画像の階層画像を用いて次第に高精度な対応点を計
算する。

【００２５】図８は、一致度の差を示すグラフである。
本発明と同様に階層画像を用いる場合でも、全てを濃淡
画像の階層画像で対応点を計算するのと、最上位階層で
は微分画像の階層画像を用いるので一致度は図８のよう
な差が現れる。実線が濃淡画像を用いた場合、細かい点
線が微分画像を用いた場合の一致度、粗い垂直方向の点
線が真の対応点である（横軸がｘ座標、縦軸が輝度値の
差の絶対値の逆数）。濃淡画像の階層画像を用いると上
位の階層では解像度がかなり低下しているので、本来対
応すべき点と同様の一致度を持つ点が複数存在しやすく
なる。一方、最上位階層で微分画像を用いると、微分に
より画像からエッジが抽出されるので、エッジによる対
応点探索の効果が得られ、誤対応を少なくすることがで
きる。

【００２６】

【発明の効果】以上のように、本発明によれば、以下の
ような効果がある。 （１）請求項１に対応する効果：複数の撮像手段により
撮像された画像から、低解像度画像による視差計算で概
ねの視差を計算し、次第に高解像度画像を用いるに従っ
て正確な視差を計算することが可能となる。また、低解
像度画像を用いて視差を計算し、概ねの対応を計算する
ことにより、高解像度での対応点探索範囲が狭められ高
速化が可能となる。さらに、低解像度での視差が高解像
度画像での対応点探索に伝搬するので周囲の点との視差
の整合性を図ることが可能となる。 （２）請求項２に対応する効果：複数の撮像手段により
撮像された画像から、微分画像の低解像度画像による視
差計算で概ねの視差を計算し、原画像の低解像度画像か
ら次第に高解像度を用いるに従って正確な視差を計算す
ることが可能となる。また、低解像度画像を用いて視差
を計算し、概ねの対応を計算することにより、高解像度
での対応点探索範囲が狭められ高速化が可能となる。さ
らに、低解像度での視差が高解像度画像での対応点探索
に伝播するので周囲の点との視差の整合性を図ることが
可能となる。階層画像を用いた対応点探索では、最上位
での対応点が誤っているとその結果が下位に伝播するの
で、最上位階層での誤対応を低減することが必須とな
る。このために、最上位階層では、微分画像の階層画像
を用いたエッジによる対応点探索、以下の階層では濃淡
画像の階層画像を用いた対応点探索により、信頼性が高
く高速な対応点探索を実現することができる。

【図面の簡単な説明】

【図１】本発明によるステレオ対応探索装置の一実施例
を説明するための構成図である。

【図２】本発明によるステレオ対応探索装置の動作を説
明するためのフローチャート（その１）である。

【図３】本発明によるステレオ対応探索装置の動作を説
明するためのフローチャート（その２）である。

【図４】本発明に用いる階層的ブロックマッチング（疎
密探索法）を説明するための図である。

【図５】本発明によるステレオ対応探索装置の他の実施
例を示す図である。

【図６】本発明の他の実施例の動作を説明するためのフ
ローチャート（その１）である。

【図７】本発明の他の実施例の動作を説明するためのフ
ローチャート（その２）である。

【図８】本発明における最上位階層での濃淡画像での一
致度と微分（ソーベル）画像での一致度を比較したグラ
フを示す図である。

【符号の説明】

１…画像メモリ、２…階層画像作成器、３…画像分割
器、４…初期探索位置計算器、５…対応点計算器、６…
視差計算器。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 複数の撮像手段と、該複数の撮像手段に
   より撮像された複数の原画像より階層的に、より低解像
   度の画像である階層画像を作成する階層画像作成手段
   と、前記撮像手段により撮像された画像の一方を主画像
   とし、前記階層画像作成手段により作成された主画像の
   階層画像を小ブロックに分割する画像分割手段と、該画
   像分割手段により分割された主画像の階層画像の各小ブ
   ロックが他の画像の同じ解像度の階層画像のどの部分に
   対応するかを求める対応点計算手段と、該対応点計算手
   段により求められた対応部分の画像の位置と主画像の小
   ブロックの位置から視差を計算する視差計算手段と、該
   視差計算手段により求められた視差を１段階下位の階層
   に伝播し、前記対応点計算手段における初期探索位置を
   計算する初期探索位置計算手段とから成り、前記各手段
   を、最上位の階層画像から原画像までの解像度の画像に
   繰り返し実行することにより原画像における視差を計算
   することを特徴とするステレオ対応探索装置。
2. 【請求項２】 複数の撮像手段と、該撮像手段により撮
   像された原画像より微分画像を作成する微分画像作成手
   段と、前記原画像および前記微分画像より階層的に、よ
   り低解像度の画像である階層画像を作成する階層画像作
   成手段と、前記撮像手段により撮像された画像の一方を
   主画像、主画像の微分画像を主微分画像とし、階層画像
   作成手段により作成された主画像および主微分画像の階
   層画像を小ブロックに分割する画像分割手段と、前記主
   画像および主微分画像の階層画像の各小ブロックが他の
   画像の同じ解像度の階層画像のどの部分に対応するかを
   求める対応点計算手段と、該対応点計算手段により求め
   られた対応部分の画像の位置と主画像の小ブロックの位
   置から視差を計算する視差計算手段と、該視差計算手段
   により求められた視差を１段階下位の階層に伝播し、対
   応点計算手段における初期探索位置を計算する初期探索
   位置計算手段とから成り、最上位階層では微分画像作成
   手段を実行し、微分画像に対して階層画像作成手段、画
   像分割手段、対応点計算手段、視差計算手段を実行し、
   濃淡画像の最上位より１階層低い階層画像から原画像ま
   での解像度の画像に対して階層画像作成手段、画像分割
   手段、初期探索位置計算手段、対応点計算手段、視差計
   算手段を繰り返し実行することにより原画像における視
   差を計算することを特徴とするステレオ対応探索装置。