JP2941139B2 - 視差画像作成方法および装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、視差画像を作成する方
法および装置に係り、特に特徴点抽出の処理を行なうこ
となく複数の視差画像の対応点を一度に決定でき、ハー
ドウェア化による極めて簡単な処理を行なって、オクル
ージョンを持つ被測定物体の三次元形状を非接触でかつ
受動的に求め、この三次元形状を任意の方向の２次元平
面に投影して任意の方向の新たな視差画像を作成するこ
とが可能で、極めて汎用性が高く、様々な被写体が想定
される立体表示に適した視差画像作成方法および装置に
関するものである。

【０００２】

【従来の技術】近年、ホログラムやその他の方法を用い
て、３次元像を表示する様々な方法が提案されてきてい
る。これらの中でも、多数の視差画像を合成することに
よって、立体像を表示するパララックス・パノラマグラ
ムの手法は、観察位置によって異なる画像が観察でき、
自然な立体感が得られるため、ホログラフィック・ステ
レオグラムレンチキュラレンズを用いた立体視等に応用
され、非常に優れた評価を得ている。

【０００３】しかしながら、このような手法では、例え
ばホログラフィック・ステレオグラムを例にとると、自
然な立体感を得るためには、視差画像の枚数としては、
５０枚から１００枚もの多数の視差画像が必要である。
この視差画像の枚数が多いと、視差画像の撮影が大かが
りとなり、撮影に時間がかかる上、撮影装置も大型にな
っている。このため、動きの速い被写体や、建物のよう
な大きな被写体の撮影は、非常に困難である。

【０００４】そこで、少数の視差画像から被写体の３次
元の形状を求め、この３次元形状を基に新たな視差画像
を得ることが考えられるが、少数の視差画像から被写体
の３次元形状を求める方法の一つである従来のステレオ
画像法では、視差画像の作成において、以下のような種
々の問題がある。

【０００５】すなわち、ステレオ画像法による３次元形
状測定では、各視差画像上での対応点の決定を行ない、
三角測量の原理で対応点の位置を求めている。この時、
検索する対応点が、対応点よりも手前の物体で隠されて
いる場合、いわゆるオクルージョンが生じている場合に
は、対応点決定の処理が行なえず、対応点の位置を求め
ることができない。原理的には、３枚以上の視差画像を
用いる場合、最低２枚の視差画像に対応点が写っていれ
ば、対応点の写っている視差画像を用いて対応点の位置
を求めることができる。

【０００６】しかしながら、従来の方法では、対応点の
検索を２枚ずつ複数回行ない、対応点を追跡することに
よって処理を行なっており、オクルージョンに対する処
理では、逐次行なわれる対応点追跡においてオクルージ
ョンの予測を行なう必要がある。このような方法では、
オクルージョンの予測の処理は、誤差を含む上、処理が
複雑になるため、３次元形状測定の精度が劣化し、また
処理に時間がかかるという欠点がある。

【０００７】また、これらの方法では、一般に特徴抽出
処理によって特徴点を抽出し、この特徴点を対応点とし
た処理を行なっている。この特徴抽出処理は、原画の明
るさや複雑さ等によって処理をかえる必要があり、汎用
性が損なわれている。

【０００８】さらに、曲面部分にオクルージョンが存在
している場合に、各視差画像毎の特徴点が対応せず、エ
ラーの生じる原因となっている。

【０００９】

【発明が解決しようとする課題】以上のように、従来の
ステレオ画像法により視差画像を作成する方法において
は、特徴点抽出の処理が必要であるばかりでなく、対応
点決定の誤りが累積され、また被測定物体にオクルージ
ョンが生じている場合は対応点決定の処理が行なえず、
さらにはハードウェア化に適さず、処理が複雑であり、
汎用性に乏しく、様々な被写体が想定される立体表示の
ためには適した方法ではないという問題があった。

【００１０】本発明は上述のような問題を解決するため
に成されたもので、特徴点抽出の処理を行なうことなく
複数の視差画像の対応点を一度に決定でき、ハードウェ
ア化による極めて簡単な処理を行なって、オクルージョ
ンを持つ被測定物体の三次元形状を非接触でかつ受動的
に求め、この三次元形状を任意の方向の２次元平面に投
影して任意の方向の新たな視差画像を作成することが可
能で、極めて汎用性が高く、様々な被写体が想定される
立体表示に適した視差画像作成方法および装置を提供す
ることを目的とする。

【００１１】

【課題を解決するための手段】上記の目的を達成するた
めに、まず、請求項１に記載の発明では、視差画像を作
成する方法において、まず、被測定物体を異なる位置か
ら撮影して得られた複数の視差画像から、被測定物体の
連続ステレオ画像を作成し、次に連続ステレオ画像を方
向成分に分解して、オクルージョンのない部分の奥行き
を算出し、当該奥行きの決定した部分を除いた連続ステ
レオ画像から再度奥行きを算出する処理を繰り返すこと
により、オクルージョン部分の奥行きを算出し、次に奥
行きデータを再構成して三次元ボクセルデータを生成
し、しかる後に三次元ボクセルデータを任意の方向の２
次元平面に投影することにより、任意の方向の新たな視
差画像を作成するようにしている。

【００１２】また、請求項２に記載の発明では、視差画
像を作成する装置において、被測定物体を異なる位置か
ら撮影して得られた複数の視差画像から、被測定物体の
連続ステレオ画像を作成する連続ステレオ画像作成手段
と、連続ステレオ画像作成手段により作成された連続ス
テレオ画像を方向成分に分解して、オクルージョンのな
い部分の奥行きを算出し、かつ当該奥行きの決定した部
分を除いた連続ステレオ画像から再度奥行きを算出する
処理を繰り返してオクルージョン部分の奥行きを算出す
る奥行き決定手段と、奥行き決定手段により算出された
奥行きデータを再構成して三次元ボクセルデータを生成
する三次元ボクセルデータ生成手段と、三次元ボクセル
データ生成手段により生成された三次元ボクセルデータ
を任意の方向の２次元平面に投影して任意の方向の新た
な視差画像を作成する視差画像作成手段とを備えて構成
している。

【００１３】

【作用】従って、本発明の視差画像作成方法および装置
においては、被測定物体を異なる位置から撮影した複数
の視差画像から、被測定物体の連続ステレオ画像が作成
され、この連続ステレオ画像を方向成分に分解して、オ
クルージョンのない部分の奥行きが算出され、さらにこ
の奥行きの決定した部分を除いた連続ステレオ画像から
再度奥行きを算出する処理を繰り返すことによってオク
ルージョン部分の奥行きが算出され、この奥行きデータ
を再構成して三次元ボクセルデータが得られ、この三次
元ボクセルデータを任意の方向の２次元平面に投影する
ことによって、任意の方向の新たな視差画像が作成され
る。

【００１４】これにより、連続ステレオ画像を方向成分
に分解し、その方向に対応した奥行きを与えることによ
って奥行きが決定されることにより、原画もしくは連続
ステレオ画像における特徴点抽出の処理を行なう必要が
なくなり、また複数の視差画像の対応点決定を一度に行
なうことができるため、汎用性が高く、また被測定物体
の三次元形状を簡単に求めることができる。

【００１５】さらに、オクルージョンが生じた場合で
も、奥行きの決定した部分を除いて、連続ステレオ画像
の方向成分分解の処理を繰り返すことにより、極めて汎
用性が高く、簡単にしかも精度よく、被測定物体の三次
元形状を求めることができ、視差画像の作成に適した方
法である。

【００１６】さらにまた、連続ステレオ画像を方向成分
に分解して奥行きを算出する処理のみでよいことによ
り、連続ステレオ画像から直接三次元像を求めることが
でき、ハードウェア化による極めて簡単な処理を行なう
ことができる。

【００１７】

【実施例】まず、本発明の考え方について説明する。

【００１８】連続ステレオ画像（Ｅｐｉｐｏｌａｒ−Ｐ
ｌａｎｅ Ｉｍａｇｅ：ＥＰＩ）は、各視差画像の水平
方向の切断線を撮影順に並べたものであり、連続ステレ
オ画像上の視差画像の対応点の軌跡は、カメラとの距離
に対応した傾きを持つ直線として現われる。

【００１９】そこで、連続ステレオ画像を方向成分に分
解して、オクルージョンのない部分の奥行きを求め、こ
の奥行きの決定した部分を除いた連続ステレオ画像から
再度奥行きを求める処理を繰り返すことにより、オクル
ージョン部分の奥行きを求め、この奥行きデータを再構
成して三次元ボクセルデータを生成し、さらにこの三次
元ボクセルデータを任意の方向の２次元平面に投影する
ことにより、任意の方向の新たな視差画像を作成するこ
とができる。

【００２０】以下、上記のような考え方に基づく本発明
の一実施例について、図面を参照して詳細に説明する。

【００２１】図１は、本発明による視差画像作成装置の
全体構成例を示すブロック図である。すなわち、本実施
例の視差画像作成装置は、図１に示すように、一定の間
隔をおいて配設された複数台（図では４台）のカメラ１
１，１２，１３，１４と、連続ステレオ画像作成手段２
と、奥行き決定手段３と、三次元ボクセルデータ生成手
段４と、視差画像作成手段５とから構成している。

【００２２】ここで、カメラ１１，１２，１３，１４
は、被測定物体６をそれぞれ異なる位置から撮影して複
数枚（図では４枚）の視差画像を得るものである。

【００２３】また、連続ステレオ画像作成手段２は、カ
メラ１１，１２，１３，１４により得られた４枚の視差
画像から、この各視差画像の水平方向の切断線を撮影順
に並べることによって、被測定物体６の連続ステレオ画
像を作成するものである。

【００２４】さらに、奥行き決定手段３は、連続ステレ
オ画像作成手段２により作成された連続ステレオ画像を
方向成分に分解して、オクルージョンのない部分の奥行
きを算出し、かつこの奥行きの決定した部分を除いた連
続ステレオ画像から再度奥行きを算出する処理を繰り返
してオクルージョン部分の奥行きを算出するものであ
る。

【００２５】この場合、連続ステレオ画像の方向成分の
分解による奥行きの決定方法としては、例えば連続ステ
レオ画像上の直線の濃度の分散を利用する方法で処理す
る。この分散による方法は、連続ステレオ画像上で様々
な直線上での濃度の分散をとり、その分散がある基準値
以下の場合に、その直線の傾きに相当する奥行きに物が
存在すると決定する処理方法である。

【００２６】一方、三次元ボクセルデータ生成手段４
は、奥行き決定手段３により算出された奥行きデータを
再構成して三次元ボクセルデータを生成するものであ
る。

【００２７】また、視差画像作成手段５は、三次元ボク
セルデータ生成手段４により生成された三次元ボクセル
データを任意の方向の２次元平面に投影して、任意の方
向の新たな視差画像を作成するものである。

【００２８】次に、以上のように構成した本実施例の視
差画像作成装置における視差画像作成方法について、図
２に示すフロー図を用いて説明する。

【００２９】まず、カメラ１１，１２，１３，１４によ
り、被測定物体６をそれぞれ異なる位置から撮影し、４
枚の視差画像を得る。

【００３０】次に、連続ステレオ画像作成手段２によ
り、このカメラ１１，１２，１３，１４で得た４枚の視
差画像から、被測定物体６のＹライン目の連続ステレオ
画像を作成する（ステップＳ１、ステップＳ２）。

【００３１】次に、奥行き決定手段３により、連続ステ
レオ画像作成手段２により作成された連続ステレオ画像
を、様々な傾きの直線上の分散をとることによって、連
続ステレオ画像方向成分に分解する。対応点の軌跡を示
す直線の傾きと奥行きは対応するので、奥行きを求める
ことができる。ここでは、オクルージョンの存在する部
分は、手前の物体が対応点の軌跡を遮っているため、奥
行きを求めることができない。すなわち、１回目の奥行
き決定の処理では、オクルージョンのない部分の奥行き
を決定する（ステップＳ３）。

【００３２】次に、連続ステレオ画像作成手段２によ
り、先に作成した連続ステレオ画像から、奥行きの決定
された部分を取り除く（ステップＳ５）。

【００３３】そして、奥行き決定手段３により、再度様
々な、傾きの直線上の分散をとることによって、奥行き
を決定する。この時、既に奥行きの決定した部分（上記
の処理で取り除かれた部分）は、分散の計算に使用しな
い。かかる処理により、最初の処理によって奥行きが決
定された部分によって隠されていた部分の奥行きを求め
ることができる（ステップＳ３）。

【００３４】以上のステップＳ３、ステップＳ５の処理
を繰り返すことによって、オクルージョンの生じている
点の奥行きも求めることができる（ステップＳ４）。

【００３５】これらの処理を全ての水平ラインにおいて
計算することにより、被測定物体６の奥行きを求めるこ
とができる（ステップＳ６、ステップＳ７）。

【００３６】次に、三次元ボクセルデータ生成手段４で
は、奥行き決定手段３で算出した奥行きデータを再構成
して三次元ボクセルデータを得る。

【００３７】最後に、視差画像作成手段５では、三次元
ボクセルデータ生成手段４で生成した三次元ボクセルデ
ータを、周知のコンピュータ・グラフィックスの技術に
より、任意の方向の２次元平面に投影することによっ
て、任意の方向の新たな視差画像を作成することができ
る（ステップＳ８）。

【００３８】なお、上記において、濃度の変化の無い部
分では、奥行きの決定ができないことがあるが、濃度変
化の無い部分に奥行きのエラーが生じた場合、視差画像
上では、同じ濃度の画素が入れ替わるに過ぎず、画質は
全く劣化せず、特に問題はない。

【００３９】図５は、少数（４枚）の視差画像から、本
実施例の視差画像作成装置により新たな視差画像を作成
する場合の一例を示す概要図である。

【００４０】次に、上記オクルージョン部分の奥行きを
求める方法について、図３および図４を用いてより具体
的に説明する。

【００４１】すなわち、具体的には、図３に示すよう
に、連続ステレオ画像を様々な傾きの直線で走査し、そ
の直線上の分散を求める。そして、この分散がある基準
値以下の場合に、その直線の方向に対応した奥行きに物
体が存在しているとみなすことができる。

【００４２】この場合、オクルージョンの部分は、対応
点の軌跡が途切れているため、この途切れている部分で
の濃度変化が大きくなるため、奥行きを求めることがで
きない。そこで、図４に示すように、連続ステレオ画像
から、前述の処理で奥行きが決定した領域を除いた部分
を、再度様々な直線で走査し、既に奥行きの決定してい
る部分に隠された領域の奥行きを求めることができる。

【００４３】上述したように、本実施例の視差画像作成
装置は、被測定物体６をそれぞれ異なる位置から撮影し
て４枚の視差画像を得るカメラ１１，１２，１３，１４
と、カメラ１１，１２，１３，１４により得られた４枚
の視差画像から、被測定物体６の連続ステレオ画像を作
成する連続ステレオ画像作成手段２と、連続ステレオ画
像上の直線の濃度の分散による方法を用いて、処理連続
ステレオ画像作成手段２により作成された連続ステレオ
画像を方向成分に分解して、オクルージョンのない部分
の奥行きを算出し、かつこの奥行きの決定した部分を除
いた連続ステレオ画像から再度奥行きを算出する処理を
繰り返してオクルージョン部分の奥行きを算出する奥行
き決定手段３と、奥行き決定手段３により算出された奥
行きデータを再構成して三次元ボクセルデータを生成す
る三次元ボクセルデータ生成手段４と、三次元ボクセル
データ生成手段４により生成された三次元ボクセルデー
タを任意の方向の２次元平面に投影して、任意の方向の
新たな視差画像を作成する視差画像作成手段５とから構
成したものである。

【００４４】従って、連続ステレオ画像を方向成分に分
解し、その方向に対応した奥行きを与えることによって
奥行きを決定しているため、原画もしくは連続ステレオ
画像における特徴点抽出の処理を行なう必要がなくな
り、また複数の視差画像の対応点決定を一度に行なうこ
とができるため、汎用性が高く、被測定物体６の三次元
形状を簡単に求めることが可能となる。

【００４５】また、被測定物体６の三次元形状を任意の
方向の２次元平面に投影することにより、任意の方向の
新たな視差画像を作成することが可能であるため、極め
て汎用性が高く、様々な被写体が想定される立体表示に
適している。

【００４６】さらに、オクルージョンが生じた場合で
も、奥行きの決定した部分を除いて、連続ステレオ画像
の方向成分分解の処理を繰り返し行なうため、極めて汎
用性が高く、簡単にしかも精度よく、被測定物体５の三
次元形状を求めることが可能となり、視差画像の作成に
適した方法である。

【００４７】すなわち、従来の方法では、オクルージョ
ンが生じている部分は、手前の物体が対応点の軌跡を遮
って、対応点の軌跡が途切れてしまうため、被測定物体
の奥行きを正確に求められなかったが、本実施例では、
連続ステレオ画像を方向成分に分解して奥行きを決定す
る処理を複数回行ない、手前の物体から順番に奥行きを
決定しているため、オクルージョンの生じている部分の
奥行きを求めることが可能となる。この場合、複数の視
差画像間での計算を一度に行なうことができるため、比
較的速い演算で被写体の３次元形状を求めることがで
き、視差画像の作成に適した方法である。

【００４８】さらにまた、連続ステレオ画像を方向成分
に分解して奥行きを算出する処理のみでよいため、連続
ステレオ画像から直接三次元像を求めることができ、ハ
ードウェア化による極めて簡単な処理を行なうことが可
能となる。

【００４９】尚、本発明は上記実施例に限定されるもの
ではなく、次のようにしても実施できるものである。

【００５０】（ａ）上記実施例では、４台のカメラ１
１，１２，１３，１４を設置して、被測定物体６の４枚
の視差画像を得る場合について説明したが、これに限ら
ず１台のカメラを設置し、このカメラを一定の間隔（ピ
ッチ）で直線上を移動させながら被測定物体６を撮影し
て４枚の視差画像を得るようにしてもよい。

【００５１】（ｂ）上記実施例では、連続ステレオ画像
の方向成分の分解による奥行きの決定方法として、連続
ステレオ画像上の直線の濃度の分散による方法を用いた
場合について説明したが、これに限らず、方向成分の分
解には、例えばフーリエ変換による方法や、ハフ変換に
よる方法を用いるようにしてもよい。

【００５２】

【発明の効果】以上説明したように本発明によれば、視
差画像を作成する場合に、被測定物体を異なる位置から
撮影して得られた複数の視差画像から、被測定物体の連
続ステレオ画像を作成し、この連続ステレオ画像を方向
成分に分解して、オクルージョンのない部分の奥行きを
算出し、当該奥行きの決定した部分を除いた連続ステレ
オ画像から再度奥行きを算出する処理を繰り返すことに
より、オクルージョン部分の奥行きを算出し、この奥行
きデータを再構成して三次元ボクセルデータを生成し、
この三次元ボクセルデータを任意の方向の２次元平面に
投影することにより、任意の方向の新たな視差画像を作
成するようにしたので、特徴点抽出の処理を行なうこと
なく複数の視差画像の対応点を一度に決定でき、ハード
ウェア化による極めて簡単な処理を行なって、オクルー
ジョンを持つ被測定物体の三次元形状を非接触でかつ受
動的に求め、この三次元形状を任意の方向の２次元平面
に投影して任意の方向の新たな視差画像を作成すること
が可能で、極めて汎用性が高く、様々な被写体が想定さ
れる立体表示に適した視差画像作成方法および装置が提
供できる。

【図面の簡単な説明】

【図１】本発明による視差画像作成装置の一実施例を示
すブロック図。

【図２】同実施例における作用を説明するためのフロー
図。

【図３】同実施例におけるオクルージョン部分の奥行き
を求める方法を説明するための概要図。

【図４】同実施例におけるオクルージョン部分の奥行き
を求める方法を説明するための概要図。

【図５】同実施例における少数の視差画像から新たな視
差画像を作成する場合の一例を説明するための概要図。

【符号の説明】

１１，１２，１３，１４…カメラ、２…連続ステレオ画
像作成手段、３…奥行き決定手段、４…三次元ボクセル
データ生成手段、５…視差画像作成手段、６…被測定物
体。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 高橋 進 東京都台東区台東一丁目５番１号 凸版 印刷株式会社内 (72)発明者 山口 雅浩 東京都世田谷区鎌田４−１−31−502 (72)発明者 本田 捷夫 神奈川県横浜市緑区北八朔町1913−12 (72)発明者 大山 永昭 神奈川県川崎市川崎区観音２−３−９ (72)発明者 岩田 藤郎 東京都台東区台東一丁目５番１号 凸版 印刷株式会社内 (56)参考文献 特開 平５−37965（ＪＰ，Ａ) 特開 平６−74731（ＪＰ，Ａ) 特開 昭62−25385（ＪＰ，Ａ) 特開 平６−195447（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06T 7/00 G01C 3/06 G06T 17/00

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 視差画像を作成する方法において、 まず、前記被測定物体を異なる位置から撮影して得られ
   た複数の視差画像から、前記被測定物体の連続ステレオ
   画像を作成し、 次に、前記連続ステレオ画像を方向成分に分解して、オ
   クルージョンのない部分の奥行きを算出し、当該奥行き
   の決定した部分を除いた連続ステレオ画像から再度奥行
   きを算出する処理を繰り返すことにより、オクルージョ
   ン部分の奥行きを算出し、 次に、前記奥行きデータを再構成して三次元ボクセルデ
   ータを生成し、 しかる後に、前記三次元ボクセルデータを任意の方向の
   ２次元平面に投影することにより、任意の方向の新たな
   視差画像を作成するようにしたことを特徴とする視差画
   像作成方法。
2. 【請求項２】 視差画像を作成する装置において、 前記被測定物体を異なる位置から撮影して得られた複数
   の視差画像から、前記被測定物体の連続ステレオ画像を
   作成する連続ステレオ画像作成手段と、 前記連続ステレオ画像作成手段により作成された連続ス
   テレオ画像を方向成分に分解して、オクルージョンのな
   い部分の奥行きを算出し、かつ当該奥行きの決定した部
   分を除いた連続ステレオ画像から再度奥行きを算出する
   処理を繰り返してオクルージョン部分の奥行きを算出す
   る奥行き決定手段と、 前記奥行き決定手段により算出された奥行きデータを再
   構成して三次元ボクセルデータを生成する三次元ボクセ
   ルデータ生成手段と、 前記三次元ボクセルデータ生成手段により生成された三
   次元ボクセルデータを任意の方向の２次元平面に投影し
   て任意の方向の新たな視差画像を作成する視差画像作成
   手段と、 を備えて成ることを特徴とする視差画像作成装置。