JP2000215311A

JP2000215311A - 仮想視点画像生成方法およびその装置

Info

Publication number: JP2000215311A
Application number: JP11012562A
Authority: JP
Inventors: Kaori Hiruma; 香織昼間; Takayuki Okimura; 隆幸沖村; Kenji Nakazawa; 憲二中沢; Kazutake Kamihira; 員丈上平
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1999-01-21
Filing date: 1999-01-21
Publication date: 2000-08-04
Anticipated expiration: 2019-01-21
Also published as: JP3593466B2

Abstract

(57)【要約】【課題】実際にはカメラの置かれていない視点位置か
ら見た画像を生成する仮想視点画像生成方法において，
生成可能な仮想視点の位置の制限を緩和し，比較的容易
な処理で滑らかな仮想視点画像を生成できるようにす
る。【解決手段】複数の異なる視点の画像から２枚以上の
奥行きマップを生成し(101-106），これらの奥行きマッ
プをもとに仮想視点から見た仮想視点奥行きマップを生
成する(107) 。ある一つの視点から見えない領域の奥行
き値を他の視点からの情報で補間し，奥行き値の決定さ
れない画素については，周囲の画素の奥行き値を用いて
線形補間し，さらに平滑化処理する(108-109) 。仮想視
点奥行きマップをもとに，多視点画像（実画像）の画素
を並べ変えて仮想視点画像を再構成する(110) 。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は，視点位置の異なる
複数の画像と，その視点位置から見た被写体の奥行き情
報を入力とし，実際にはカメラの置かれていない任意の
視点位置から見た画像を出力する仮想視点画像生成方法
およびその装置に関する。

【０００２】

【従来の技術】従来，実写イメージをもとに撮像した位
置とは異なる視点の画像を再構成する方法として，例え
ば「多視点映像から任意視点映像の生成」（信学技報，
IE96-121:91-98, 1997.)に記載されている方法がある。
この方法は，多視点画像から物体の奥行きマップを推定
し，このマップを仮想的な視点の奥行きマップに変換し
た後，与えられた多視点画像を利用して仮想視点画像を
生成する。

【０００３】図１７は，前記の従来方法で用いる多眼カ
メラシステムのカメラ配置と仮想視点画像生成の概念を
説明するための図である。図１７において，８１は基準
カメラ，８２〜８５は参照カメラ，８６は仮想視点位置
（生成する仮想視点画像の視点位置と視線方向）を示し
たものである。この方法では，基準カメラ８１で撮影し
た基準画像中のある点に対し，参照カメラ８２，８３，
８４，８５で撮影した各参照画像のエピポーララインに
沿ってマッチングウインドウを１画素ずつ移動させなが
らマッチングの尺度であるＳＳＤ(sum of squared-diff
erence) を計算する。マッチングウインドウをｄだけ移
動させたとき，４つの方向からＳＳＤの値が計算され
る。このうち，小さい方の２つの値を加算する。このよ
うな処理を探索範囲内にわたって行い，その最小値のと
ころのｄを視差として求める。視差ｄと奥行きｚは，カ
メラの焦点距離ｆとカメラ間距離ｂと次式の関係があ
る。

【０００４】ｚ＝ｂｆ／ｄこの関係を用いて，基準カメラ８１のカメラ位置から見
た奥行きマップを生成する。次にこの奥行きマップを仮
想視点位置８６から見た奥行きマップに変換する。基準
カメラ８１から観測できる領域は，同時にテクスチャマ
ッピングを行う。視点の移動に伴い新たに生じた領域
は，奥行き値を線形補間し，参照画像のテクスチャをマ
ッピングして，仮想視点画像を生成する。

【０００５】しかし，この従来方法では，使用する多眼
画像の各画素について対応点を推定しなければならない
ため，基準カメラ８１と参照カメラ８２〜８５の間隔，
すなわち基線長が制限される。仮想視点画像は，多視点
画像からテクスチャマッピングにより生成されるので，
自然な仮想視点画像が得られる仮想視点位置は，図１７
の点線で示した範囲内に限られる。ゆえに，仮想視点を
置くことのできる範囲が制限されるという問題がある。

【０００６】このほかの従来技術として，例えば「View
Generation for Three-Dimentional Scenes from Vide
o Sequence」(IEEE Trans. Image Processing, vol.6 p
p.584-598, Apr.1997)に記載されているような方法があ
る。これは，ビデオカメラで撮影した一連の映像シーク
エンスをもとに，三次元空間における物体の位置および
輝度の情報を取得し，これを再構成しようとする画像の
視点に合わせて三次元空間に幾何変換し，さらに二次元
平面に射影する方法である。

【０００７】図１８は，この従来方法の撮影方法を幾何
学的に示した図である。図１８において，８７は被写
体，８８はビデオカメラ，８９はビデオカメラで撮影す
るときの水平な軌道である。この方法では，ビデオカメ
ラ８８を手に持ち，軌道８９に沿ってビデオカメラ８８
を移動しながら被写体８７を撮像した映像シークエンス
を用いて，三次元空間における物体の位置および輝度の
情報を取得する。

【０００８】図１９は，図１８に示す方法により撮影し
た映像シークエンスに含まれる個々の映像フレームの位
置関係を示している。図１９において，９１〜９５はビ
デオカメラ８８で撮影した映像フレームである。図１９
に示すように，個々のフレームが視差像となるので，こ
れらの画像間で対応点を抽出することにより，被写体の
三次元空間における位置および輝度の情報が求められ
る。

【０００９】この方法では，ビデオカメラを移動させて
撮影した映像シークエンスから視差像を取得するため，
静止物体については適用できるが，動物体については適
用できないという問題がある。また，この方法は，被写
体の三次元空間における位置情報をもとに三次元形状モ
デルを生成して，これにテクスチャマッピングする手法
であるため，位置情報の誤差により，生成される仮想視
点画像の不自然さが目立つという問題がある。さらに，
この方法は，三次元形状モデルを生成するため，処理す
るデータ量が多く，リアルタイム処理に向かないという
問題がある。

【００１０】

【発明が解決しようとする課題】本発明は，上記問題点
を解決するためのものである。本発明の目的は，生成可
能な仮想視点画像の視点位置の範囲が狭いという制限を
緩和し，比較的簡易な処理で動画像を含む自然で滑らか
な仮想視点画像を生成できる仮想視点画像生成方法およ
び装置を提供することにある。

【００１１】

【課題を解決するための手段】本発明の前記目的を達成
するための代表的な手段の概要を以下に簡単に説明す
る。

【００１２】（１）任意の視点位置から見た画像を生成
するための仮想視点画像生成方法において，それぞれ異
なる位置を視点とする複数の画像データを入力し，前記
多視点画像データをもとに，多視点画像データの各画素
について多視点画像データの視点位置から被写体までの
奥行き値を保持する奥行きマップを生成し，前記多視点
奥行きマップの任意の１枚の奥行きマップをもとに，実
際にはカメラが置かれていない視点から見た仮想視点奥
行きマップを生成し，前記多視点奥行きマップの任意の
１枚の視点位置から見ると物体の影になって隠されてい
るオクルージョン領域の奥行きデータを，そのオクルー
ジョン領域が隠されないような他の視点位置から見た別
の多視点奥行きマップのデータで補間し，前記の方法を
用いても補間できない仮想視点奥行きマップのオクルー
ジョン領域の奥行きデータを，周囲の奥行きデータを用
いて補間処理し，前記補間処理された仮想視点奥行きマ
ップの奥行きの値の分布が滑らかでない部分を平滑化処
理し，前記平滑化処理された仮想視点奥行きマップが持
つ被写体の奥行きデータに基づいて，多視点画像データ
の画素を並べ変えてその濃淡値を描画することにより，
実際にはカメラが置かれていない視点から見た画像を生
成することを特徴とするものである。

【００１３】（２）前記（１）の目的を達成するための
仮想視点画像生成装置として，それぞれ異なる位置を視
点とする複数の画像データを入力する多視点画像データ
入力手段と，前記多視点画像データをもとに，多視点画
像データの各画素についてカメラから被写体までの奥行
き値を保持する奥行きマップを生成する多視点奥行きマ
ップ生成手段と，前記多視点奥行きマップをもとに，実
際にはカメラが置かれていない視点から見た奥行きマッ
プを生成する仮想視点奥行きマップ生成手段と，前記仮
想視点奥行きマップに対する補間処理等を行う仮想視点
奥行きマップ補正処理手段と，前記仮想視点奥行きマッ
プが持つ被写体の奥行きデータに基づいて，多視点画像
データの画素を並べ変えてその濃淡値を描画することに
より実際にはカメラが置かれていない視点から見た画像
を生成する仮想視点画像生成手段とを有し，前記仮想視
点奥行きマップ補正処理手段は，前記多視点奥行きマッ
プの任意の１枚の視点位置から見ると物体の影になって
隠されているオクルージョン領域の奥行きデータを，そ
のオクルージョン領域が隠されないような他の視点位置
から見た別の多視点奥行きマップのデータで補間し，前
記他の視点位置から見た多視点奥行きマップのデータで
補間する手段を用いても補間できないオクルージョン領
域の奥行きデータを，周囲の奥行きデータを用いて補間
処理する仮想視点奥行きマップ補間処理手段と，仮想視
点奥行きマップの奥行きの値の分布が滑らかでない部分
を平滑化処理する仮想視点奥行きマップ平滑化処理手段
とを有することを特徴とする。

【００１４】（３）前記（２）の仮想視点画像生成装置
において，多視点奥行きマップ生成手段は，多視点画像
データ間の対応点を抽出してステレオ法により奥行きを
推定するものであることを特徴とする。

【００１５】（４）前記（２）の仮想視点画像生成装置
において，多視点奥行きマップ生成手段は，レーザ光や
画像パターンを照射することにより奥行きを推定するも
のであることを特徴とする。

【００１６】（５）前記（２）の仮想視点画像生成装置
において，多視点画像データ入力手段は，カメラと鏡等
を組み合わせることにより，１台のカメラで複数の視点
位置における多視点画像データを取得できるようなもの
であることを特徴とする。

【００１７】すなわち，本発明においては，複数の視点
から見た奥行きマップを同時に取得し，これらを統合し
て仮想視点位置から見た奥行きマップを生成することを
特徴とする。

【００１８】従来技術のように，多視点画像間の対応点
を抽出して多視点画像間を補間する方法とは，本発明
は，対応点抽出する多視点画像のカメラ位置の外側に仮
想視点位置を置いても滑らかな仮想視点画像を生成でき
るという点で異なる。また，ビデオカメラを移動しなが
ら視差像を撮像する方法とは，本発明は，動物体にも適
用可能であり，明らかな三次元形状モデルを生成しない
という点で異なる。

【００１９】本発明の作用は，以下のとおりである。本
発明では，複数の奥行きマップを統合して１枚の仮想視
点の奥行きマップを生成するため，奥行きマップの生成
に関与しない画像間については対応点を推定する必要が
ない。したがって，すべての多視点画像間の対応点が抽
出されなくても，仮想視点画像を生成することができ
る。このため，多視点画像のカメラ間隔が離れている場
合においても，滑らかな仮想視点画像を生成することが
できる。

【００２０】本発明は，一方の視点から見えないオクル
ージョン領域の奥行きデータを他の視点から見た奥行き
データで補間して仮想視点奥行きマップを生成する手法
であるため，１枚の奥行きマップから仮想視点奥行きマ
ップを生成する手法と比較して，密な仮想視点奥行きマ
ップを生成することができる。

【００２１】また，本発明は，いったん仮想視点から見
た奥行きマップを生成し，この仮想視点奥行きマップに
多視点画像データをマッピングする手法であるため，三
次元形状モデルにテクスチャマッピングを施す手法と比
較して，より精度の低い奥行きマップからも，より滑ら
かな仮想視点画像を生成することができる。

【００２２】また，本発明は，三次元形状モデルを生成
しないため，仮想視点画像生成処理にかかるデータ量を
低く抑えることができる。

【００２３】

【発明の実施の形態】〔第１の実施の形態〕図１は，本
発明の第１の実施の形態による仮想視点画像生成装置の
全体的な構成の概要を示す図である。図中，１０は被写
体，２１〜２４，３１〜３４はカメラ，１００は仮想視
点画像生成部，４０は画像表示装置を表す。

【００２４】奥行きマップは，ステレオ法により，多眼
カメラ２１〜２４により取得された多眼画像と多眼カメ
ラ３１〜３４により取得された多眼画像から，それぞれ
１枚ずつ合計２枚を取得する。これらの奥行きマップと
カメラ２１〜２４，３１〜３４により取得された多眼画
像を仮想視点画像生成部１００に入力し，仮想視点画像
生成部１００で生成された仮想視点画像を画像表示装置
４０に表示する。

【００２５】図１では，４台のカメラから１枚の奥行き
マップを取得する場合について示しているが，任意の台
数のカメラから１枚の奥行きマップを取得してもよい。
また，図１では，２ヶ所の視点位置から見た奥行きマッ
プを取得する場合について説明したが，３ヶ所以上の視
点位置から見た奥行きマップを取得してもよい。

【００２６】以上により構成された仮想視点画像生成装
置における処理動作を，図２を用いて説明する。図２
は，図１に示す仮想視点画像生成装置の処理の流れを説
明するためのブロック図である。図中，カメラ装置２
０，３０は多視点画像を撮影するための上下左右のマト
リックス状に配置された多眼のカメラ装置である。多視
点画像入力部１０１は，カメラ装置２０，３０によって
撮影された多視点画像を入力する。奥行き検出部１０２
は，カメラ装置２０，３０のそれぞれの視点位置から見
た被写体の奥行きデータを検出する。

【００２７】視点位置指定部１０３は，生成しようとす
る仮想視点画像の視点位置を指定する手段である。奥行
きマップ入力部１０４は，奥行き検出部１０２によって
検出された奥行きデータを奥行きマップとして入力す
る。仮想視点位置入力部１０５は，視点位置指定部１０
３によって指定された視点位置を入力する。カメラパラ
メータデータ入力部１０６は，多眼のカメラ装置２０，
３０の位置や焦点距離等のカメラパラメータを入力す
る。仮想視点奥行きマップ生成部１０７は，奥行きマッ
プ入力部１０４の奥行きマップと仮想視点位置入力部１
０５の仮想視点位置データとカメラパラメータデータ入
力部１０６のカメラパラメータデータをもとに仮想視点
奥行きマップを生成する。

【００２８】奥行きマップ補間処理部１０８は，仮想視
点奥行きマップ生成部１０７で生成された仮想視点奥行
きマップで欠落した部分を補間処理する。奥行きマップ
平滑化処理部１０９は，奥行きマップ補間処理部１０８
で補間処理された奥行きマップを平滑化処理する。仮想
視点画像再構成部１１０は，多視点画像入力部１０１の
多視点画像をもとに奥行きマップ平滑化処理部１０９で
処理された仮想視点奥行きマップと仮想視点位置入力部
１０５の仮想視点位置データとカメラパラメータデータ
入力部１０６のカメラパラメータデータに基づいて，仮
想視点画像を再構成する。画像表示部１１１は，仮想視
点画像再構成部１１０によって構成された仮想視点画像
を表示する。表示スクリーン４１は，仮想視点画像を表
示させるための装置である。

【００２９】奥行き検出部１０２には，例えば多眼のカ
メラ画像の対応点を抽出してステレオ法により奥行きを
推定する装置を用いる。奥行き検出部１０２の動作を，
図３を用いて詳細に説明する。図３は，多眼カメラシス
テムのカメラ配置と投影の概念を説明するための図であ
る。

【００３０】原点に基準カメラ５１を置き，その周りの
一定の距離Ｌに４つの参照カメラ５２〜５５を置く。す
べてのカメラの光軸は平行にする。また，すべてのカメ
ラは同じ仕様のものを用い，仕様の違いはカメラの構成
に応じて補正し，図３に示すような幾何学構成に補正す
る。図３の配置では，三次元空間の点Ｐ＝（Ｘ，Ｙ，
Ｚ）はＸ−Ｙ平面から焦点距離ｆの距離にある基準画像
上の点ｐ₀＝（ｕ₀，ｖ ₀）に投影される。ここで，ｕ
₀＝ｆＸ／Ｚ，ｖ₀＝ｆＹ／Ｚ，である。点Ｐはまた，
参照カメラＣ_i（ｉ＝１，２，３，４）の画像上の点ｐ
_i＝（ｕ_i，ｖ_i）にも投影される。ここで，ｕ_i＝ｆ（Ｘ−Ｄ_i,x）／Ｚｖ_i＝ｆ（Ｙ−Ｄ_i,y）／Ｚただし，基線長ベクトルＤ_i＝（Ｄ_i,x，Ｄ_i,y）はそ
れぞれＤ₁＝（Ｌ，０），Ｄ₂＝（−Ｌ，０），Ｄ₃＝
（０，Ｌ），Ｄ₄＝（０，−Ｌ）である。すべての参照
カメラ５２〜５５と基準カメラ５１の基線長が等しい構
成の下では，点Ｐの真の視差ｄ_iは，すべてのｉに対し
て，ｄ_i＝ｆＬ／Ｚ＝｜ｐ_i−ｐ₀｜であることから，視差を推定することによって奥行きが
取得できる。視差から奥行きを求めるためには最低２台
のカメラがあれば可能であるが，図３に示すようなカメ
ラ構成を用いることにより，オクルージョンのために真
の視差の推定が困難で奥行きを決定できないような場合
を回避することができる。

【００３１】次に，仮想視点奥行きマップ生成部１０７
の動作をより詳細に説明する。奥行きマップは，ある視
点位置から撮影された画像中の各画素について，カメラ
から被写体までの距離の値を保持するものである。いわ
ば，通常の画像は画像面上の各画素に輝度と色度とが対
応しているものであるのに対し，奥行きマップは，画像
面上の各画素に奥行き値が対応しているものである。

【００３２】仮想視点奥行きマップ生成部１０７では，
奥行きマップ入力部１０４に保持されている奥行きマッ
プと仮想視点位置入力部１０５の仮想視点位置データと
カメラパラメータデータ入力部１０６のカメラパラメー
タデータに基づいて，仮想視点から見た奥行きマップを
生成する。奥行きマップ入力部１０４に保持されている
奥行きマップは，多視点画像を撮影した各視点位置から
見た画像の各画素についての被写体の奥行き情報を持つ
ものとする。

【００３３】まず，仮想視点位置入力部１０５の仮想視
点位置データとカメラパラメータデータ入力部１０６の
カメラパラメータデータとにより，仮想視点位置に最も
近い視点位置から見た奥行きマップを，奥行きマップ入
力部１０４に保持されている奥行きマップの中から２枚
以上選択する。

【００３４】図４に，実画像を撮影した視点と仮想視点
のカメラ座標系と投影画像面の座標系とを示す。選択さ
れた奥行きマップのうち任意の１枚を撮像したカメラ座
標系を（Ｘ₁，Ｙ₁，Ｚ₁）^T，仮想視点位置のカメラ
座標系を（Ｘ₂，Ｙ₂，Ｚ₂）^Tとする。前記奥行きマ
ップ上の任意の点ｐ_i＝（ｕ₁，ｖ₁）に投影された三
次元空間の点Ｐ＝（Ｘ₁，Ｙ₁，Ｚ₁）^TのＺ₁が求め
られているとき，実視点の座標系から見た点ＰのＸ，Ｙ
座標はそれぞれＸ₁＝Ｚ₁ｕ₁／ｆ（式１）Ｙ₁＝Ｚ′ｖ₁／ｆ（式２）で与えられる。ここで，ｆはカメラの焦点距離である。

【００３５】今，二つの座標系（Ｘ₁，Ｙ₁，Ｚ₁）^T
と（Ｘ₂，Ｙ₂，Ｚ₂）^Tとが，回転行列Ｒ₂₁＝
［ｒ_ij］∈Ｒ^3x3と並進行列Ｔ₂₁＝（Δｘ，Δｙ，Δ
ｚ）^Tを用いて，（Ｘ₂，Ｙ₂，Ｚ₂）^T＝Ｒ₂₁（Ｘ₁，Ｙ₁，Ｚ₁）^T＋Ｔ₂₁ （式３）の関係で表わせるとする。（式３）より得られた奥行き
値Ｚ₂は，仮想視点座標系（Ｘ₂，Ｙ₂，Ｚ₂）^Tで見
た点Ｐの奥行き値である。点Ｐ＝（Ｘ₂，Ｙ₂，Ｚ₂）
^Tは，仮想視点奥行きマップ上の点ｐ₂＝（ｕ₂，
ｖ₂）に投影される。（ｕ₂，ｖ₂）は，（式３）によ
り得られたＸ₂，Ｙ₂を用いて，次式により求められ
る。

【００３６】ｕ₂＝ｆＸ₂／Ｚ₂ （式４）ｖ₂＝ｆＹ₂／Ｚ₂ （式５）したがって，仮想視点奥行きマップ上の点ｐ₂＝
（ｕ₂，ｖ₂）の奥行き値をＺ₂と決定できる。

【００３７】以上の処理を，奥行きマップ中のすべての
点（ｕ₁，ｖ₁）について繰り返し行い，選択された奥
行きマップの保持する奥行きの値を，仮想視点から見た
奥行きマップ中の画素の奥行き値に変換する。同様の処
理を，選択されたすべての奥行きマップについて行うこ
とにより，奥行き値の空白の少ない，密な仮想視点奥行
きマップを作る。

【００３８】次に，奥行きマップ補間処理部１０８と奥
行きマップ平滑化処理部１０９について，図５を用いて
説明する。図５（Ｂ）〜（Ｅ）は，図５（Ａ）に示す球
を撮影した画像を走査線Ａ−Ｂで切断し，その走査線上
の奥行きの値を縦軸に表したものである。

【００３９】奥行きマップ補間処理部１０８では，仮想
視点奥行きマップ生成部１０７で生成された（Ｂ）に示
す仮想視点奥行きマップ中の，オクルージョンにより視
差が推定できなかったために奥行き値を持たない画素６
１の奥行き値を，奥行き値が既知であるような周囲の画
素６２の奥行き値を用いて，局所的な領域内では奥行き
は急激に変化しないという仮定の下，線形補間処理を行
う。結果として，すべての画素の奥行き値を持つ（Ｃ）
に示す仮想視点奥行きマップが生成される。

【００４０】奥行きマップ平滑化処理部１０９では，奥
行きマップ補間処理部１０８で処理された（Ｃ）に示す
仮想視点奥行きマップの奥行き値の平滑化処理を行う。
まず，仮想視点奥行きマップの走査線上で奥行きが急激
に変化している画素６３の奥行き値を除去し，周囲の画
素６４の奥行き値を用いて，局所的な領域内では奥行き
は急激に変化しないという仮定の下，線形補間処理を行
い，（Ｄ）に示すような仮想視点奥行きマップを生成す
る。さらに，被写体の表面を滑らかな曲面で近似するた
めに，仮想視点奥行きマップ全体に対して平滑化処理を
行い，（Ｅ）に示す仮想視点奥行きマップを得る。

【００４１】平滑化処理には，例えば一般的な二次微分
フィルタを用いることができる。このような被写体の表
面を滑らかな曲面で近似する平滑化処理には，仮想視点
画像にテクスチャをマッピングしたときの画質の低下を
抑制する効果がある。

【００４２】次に，仮想視点画像再構成部１１０につい
て，図６を用いて説明する。仮想視点画像再構成部１１
０は，カメラパラメータデータ入力部１０６のカメラパ
ラメータデータと奥行きマップ平滑化処理部１０９の仮
想視点奥行きマップのデータをもとに，多視点画像入力
部１０１が入力した多視点画像のテクスチャをマッピン
グして，仮想視点位置入力部１０５の仮想視点位置から
見た仮想視点画像を生成する。

【００４３】仮想視点画像再構成部１１０で用いる座標
変換は，仮想視点奥行きマップ生成部１０７で用いたも
のの逆変換に当たる。しかし，奥行きマップ補間処理部
１０８と奥行きマップ平滑化処理部１０９での処理によ
り，仮想視点奥行きマップの保持する奥行き値が変化し
ているため，もう一度新しい奥行き値を用いて座標変換
を行う必要がある。

【００４４】ここで，仮想視点奥行きマップの座標系を
（Ｘ₂，Ｙ₂，Ｚ₂）^T，多視点画像の中の任意の１枚
の座標系を（Ｘ₃，Ｙ₃，Ｚ₃）^Tとする。仮想視点奥
行きマップ中の任意の点ｐ₂＝（ｕ₂，ｖ₂）の画素の
奥行きがＺ₂であるとき，この画素ｐ₂＝（ｕ₂，
ｖ₂）に投影される被写体の三次元空間中の点Ｐ＝（Ｘ
₂，Ｙ₂，Ｚ₂）^Tの座標は，Ｘ₂＝Ｚ₂ｕ₂／ｆ（式６）Ｙ₂＝Ｚ₂ｖ₂／ｆ（式７）で与えられる。ここで，ｆはカメラの焦点距離である。

【００４５】今，二つの座標系（Ｘ₂，Ｙ₂，Ｚ₂）^T
と（Ｘ₃，Ｙ₃，Ｚ₃）^Tとが，回転行列Ｒ₃₂＝
［ｒ_ij］∈Ｒ^3x3と並進行列Ｔ₃₂＝（Δｘ，Δｙ，Δ
ｚ）^Tを用いて，（Ｘ₃，Ｙ₃，Ｚ₃）^T＝Ｒ₃₂（Ｘ₂，Ｙ₂，Ｚ₂）^T＋Ｔ₃₂ （式８）の関係で表せるとする。（式６），（式７）を（式８）
に代入すると，（Ｘ₃，Ｙ₃，Ｚ₃）^T系で見た，仮想
視点画像中の点（ｕ₂，ｖ₂）に投影される被写体の三
次元空間中の点Ｐ＝（Ｘ₃，Ｙ₃，Ｚ₃）^Tが計算され
る。点Ｐは，実画像上の点ｐ₃＝（ｕ₃，ｖ₃）に投影
される。（ｕ₃，ｖ₃）は，（式８）により得られたＸ
₃，Ｙ₃を用いて次式により計算することができる。

【００４６】ｕ₃＝ｆＸ₃′／Ｚ₃ （式９）ｖ₃＝ｆＹ₃′／Ｚ₃ （式１０）この（式９），（式１０）により計算された多視点画像
中の点（ｕ₃，ｖ₃）の画素の輝度値と色度値を仮想視
点画像中の点（ｕ₂，ｖ₂）に描画する。この処理を多
視点画像中のすべての点について繰り返し行うことで，
仮想視点位置入力部１０５の視点位置から見た仮想視点
画像が生成される。

【００４７】〔第２の実施の形態〕次に，本発明の第２
の実施の形態について，図７を用いて説明する。図７
は，第２の実施の形態による仮想視点画像生成装置の全
体的な構成の概要を示す図である。図７中，２２１，２
３１は奥行き検出器，２２０，２３０はカメラ，１０は
被写体，２００は仮想視点画像生成部，２４０は画像表
示装置を表す。

【００４８】奥行き検出器２２１，２３１は，レーザビ
ームや画像パターンを照射することにより，能動的に被
写体の奥行きを取得する装置である。このような奥行き
検出器として，例えばレーザレンジファインダを用いる
ことができる。奥行き検出器２２１，２３１により取得
された奥行きマップと，カメラ２２０，２３０により取
得された多視点画像を仮想視点画像生成部２００に入力
し，仮想視点画像生成部２００で生成された仮想視点画
像を，画像表示装置２４０に表示する。

【００４９】図７では，奥行き検出器２２１，２３１と
カメラ２２０，２３０を別個の装置として説明したが，
一つの装置で奥行きマップと画像が同時に取得できるよ
うな装置を用いてもよい。このほか，奥行き検出器２２
１，２３１には，カメラ２２０，２３０により撮影され
た画像の各画素についての奥行き情報を検出することが
できるいかなる装置でも用いることができる。また，図
７では，２ヶ所の視点位置から見た奥行きマップを取得
する場合について説明したが，３ヶ所以上の視点位置か
ら見た奥行きマップを取得してもよい。

【００５０】〔第３の実施の形態〕次に，本発明の第３
の実施の形態について，図８を用いて説明する。図８
は，本実施の形態で用いるカメラ装置の構成を示す図で
ある。

【００５１】本実施の形態では，カメラと液晶シャッタ
と偏向ビームスプリッタと鏡とを組み合わせることによ
り，１台のカメラで複数の視点位置から見た多視点画像
データを取得する。図８中，３０１はカメラ，３０２は
液晶シャッタ（ＴＮ），３０３は偏向ビームスプリッタ
（ＰＢＳ），３０４は鏡，３０５は多視点画像データの
視点位置で，実際にはカメラが置かれていない位置を示
す。液晶シャッタ３０２は，電圧を加えた時はＰ偏向光
だけを通し，電圧を加えない時はＳ偏向光だけを通す。
偏向ビームスプリッタ３０３は，Ｐ偏向光を透過し，Ｓ
偏向光を反射するような素子である。

【００５２】まず，カメラ３０１を用いて，カメラ３０
１の位置から見た画像データを取得する場合について説
明する。液晶シャッタ３０２に電圧を加え，Ｐ偏向光だ
けを通すようにする。そうすると，偏向ビームスプリッ
タ３０３の透過成分であるＰ偏向光だけがカメラ３０１
に入射し，その結果カメラ３０１の位置から見た画像デ
ータを取得することができる。

【００５３】次に，カメラ３０１を用いて，視点位置３
０５から見た画像データを取得する場合について説明す
る。液晶シャッタ３０２の電圧を切り，Ｓ偏向光だけを
通すようにする。すると，偏向ビームスプリッタ３０３
の反射成分であるＳ偏向光だけがカメラ３０１に入射す
る。カメラ３０１に入射するＳ偏向光は鏡３０４により
反射されたものであるため，視点位置３０５から見た画
像データを取得することができる。

【００５４】

【実施例】次に，本発明の具体的な実施例について，図
９を用いて説明する。本実施例では，図９に示すよう
に，三次元位置が既知である２ヶ所の視点から見た奥行
き画像Ａ，Ｂを用いて，一方の視点から見えないオクル
ージョン領域を他方の視点からの情報で補間して，仮想
視点から見た仮想視点奥行き画像を生成する。ここで２
枚の奥行き画像Ａ，Ｂは，個々の画素の対応関係がとれ
ている必要はない。

【００５５】この仮想視点奥行き画像には，ノイズの影
響や奥行きが急激に変化する部分で，奥行きの値が決定
されない点がある。それらの点は，周囲の画素で線形補
間する。さらに，二次微分フィルタを用いて仮想視点奥
行き画像を平滑化処理し，処理後の仮想視点奥行き画像
に，実画像をテクスチャマッピングして仮想視点画像を
生成する。その際，視点位置の近い方の実画像を優先す
る。

【００５６】この方法の特徴は，２枚の奥行き画像をも
とに仮想視点から見た奥行き画像を生成し，これに処理
を加えて実画像をテクスチャマッピングすることで，元
の奥行き画像の精度が悪かったり，ノイズが多い場合で
も，滑らかな仮想視点画像を生成できるところにある。

【００５７】図１０〜図１６は，本実施例で用いた画像
を示す図である。図１０および図１１は実画像であり，
この２つの実画像の視点から見た奥行き画像を，図１２
および図１３に示す。奥行き画像は，１ｃｍ間隔でｘ軸
方向に移動するカメラで撮像した５枚の多視点画像をも
とに，多基線ステレオ法を用いて計算した。これらの奥
行き画像の図において，奥行き値は実際には濃度値の変
化で表されているが，本図では図面表記の都合上，奥行
き値（濃度値）が大きく変化する部分の輪郭を示してい
る。これら２枚の奥行き画像から，本発明の手法を用い
て生成した仮想視点奥行き画像が，図１４に示す画像で
ある。図１５は，図１４に示す仮想視点奥行き画像に，
図１０と図１１の実画像をテクスチャマッピングして得
られた仮想視点画像である。

【００５８】図１６は，本発明による手法と従来の手法
との比較を示す図である。図１６（Ａ）に示すように，
本発明の手法による仮想視点画像では，奥行きが急激に
変化するような顔の輪郭部分のノイズが軽減され，図１
６（Ｂ）に示す従来の手法による仮想視点画像に比べ
て，鮮明な画像が得られている。また，仮想視点奥行き
画像を平滑化処理しているため，テクスチャマッピング
の際の仮想視点画像の解像度の低下も抑えられている。

【００５９】

【発明の効果】以上説明したように，本発明によれば，
与えられた視点位置に応じて，複数枚の画像とその奥行
き情報をもとに観察者から見た画像を再構成することに
より，視点位置を移動させた場合にそれに対応した画像
をスムーズに出力することができる。本手法では，奥行
き情報をもとに画像を再構成して仮想視点画像を生成す
るため，もととなる画像を撮像する位置の間隔が離れて
いる場合においても，滑らかな仮想視点画像を生成でき
る利点がある。装置に必要な記憶容量も，考えうる視点
移動に対応した画像をすべて保持する場合に比べて，極
めて少なくてすむ。処理速度については，三次元形状モ
デルにテクスチャをマッピングする手法に比べて，高速
化が可能である。滑らかに補正された仮想視点奥行きマ
ップに基づいて仮想視点画像を生成する手法であるた
め，滑らかな仮想視点画像を生成することが可能であ
る。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の仮想視点画像生成
装置の全体的な構成の概要を示す図である。

【図２】第１の実施の形態における仮想視点画像生成装
置の処理の流れを説明するためのブロック図である。

【図３】多眼カメラシステムのカメラ配置と投影の概念
を説明するための図である。

【図４】仮想視点奥行きマップ生成部で用いる座標変換
を説明するための図である。

【図５】奥行きマップ補間処理部と奥行きマップ平滑化
処理部の処理を説明するための図である。

【図６】仮想視点画像再構成部で用いる座標変換を説明
するための図である。

【図７】本発明の第２の実施の形態の仮想視点画像生成
装置の全体的な構成の概要を示す図である。

【図８】本発明の第３の実施の形態で用いるカメラ装置
の構成を示す図である。

【図９】本発明の実施例の概要を説明するための図であ
る。

【図１０】実画像の例を示す図である。

【図１１】実画像の例を示す図である。

【図１２】図１０の実画像に対応する奥行き画像の例を
示す図である。

【図１３】図１１の実画像に対応する奥行き画像の例を
示す図である。

【図１４】仮想視点奥行き画像の例を示す図である。

【図１５】生成した仮想視点画像の例を示す図である。

【図１６】本発明の手法による仮想視点画像と従来の手
法による仮想視点画像との比較を示す図である。

【図１７】従来の技術を説明するための図である。

【図１８】従来の技術を説明するための図である。

【図１９】従来の技術を説明するための図である。

【符号の説明】

１０被写体２０，３０カメラ装置２１〜２４カメラ３１〜３４カメラ４０画像表示装置４１表示スクリーン１００仮想視点画像生成部１０１多視点画像入力部１０２奥行き検出部１０３視点位置指定部１０４奥行きマップ入力部１０５仮想視点位置入力部１０６カメラパラメータデータ入力部１０７仮想視点奥行きマップ生成部１０８奥行きマップ補間処理部１０９奥行きマップ平滑化処理部１１０仮想視点画像再構成部１１１画像表示部

───────────────────────────────────────────────────── フロントページの続き (72)発明者中沢憲二東京都新宿区西新宿三丁目19番２号日本電信電話株式会社内 (72)発明者上平員丈東京都新宿区西新宿三丁目19番２号日本電信電話株式会社内Ｆターム(参考） 5B050 BA04 BA09 EA15 EA27 5B057 BA02 BA11 CA01 CA08 CA13 CA16 CB01 CB08 CB13 CB16 CE05 DB03 DB06 DB09 5C061 AA06 AA20 AA21 AB04 AB08

Claims

【特許請求の範囲】

【請求項１】視点位置に応じた画像を生成するための
仮想視点画像生成方法において，それぞれ異なる位置を
視点とする複数の画像データを入力する過程と，前記多
視点画像データをもとに，多視点画像データの各画素に
ついて多視点画像データの視点位置から被写体までの奥
行き値を保持する奥行きマップを生成する過程と，前記
多視点奥行きマップの任意の１枚の奥行きマップをもと
に，三次元空間内での視点位置を座標変換することによ
り，実際にはカメラが置かれていない視点から見た仮想
視点奥行きマップを生成する過程と，前記仮想視点奥行
きマップについて，前記多視点奥行きマップの任意の１
枚の視点位置から見ると物体の影になって隠されている
オクルージョン領域の奥行き値を，そのオクルージョン
領域が隠されないような他の視点位置から見た別の多視
点奥行きマップのデータを採用することで補間処理する
過程と，前記処理された仮想視点奥行きマップ，もしく
はその仮想視点奥行きマップにおいて補間できない部分
があるときにその周囲の既知の奥行き値を用いて補間処
理した仮想視点奥行きマップ，またはさらに前記仮想視
点奥行きマップの奥行き値を平滑化処理した仮想視点奥
行きマップが持つ被写体の奥行きデータに基づいた視点
位置の三次元座標変換により，前記多視点画像データの
画素を並べ変えて，その輝度と色度を描画することによ
り，実際にはカメラが置かれていない視点から見た画像
を生成する過程とを有することを特徴とする仮想視点画
像生成方法。
【請求項２】視点位置に応じた画像を生成するための
仮想視点画像生成装置において，それぞれ異なる位置を
視点とする複数の画像データを入力する多視点画像デー
タ入力手段と，前記多視点画像データをもとに，前記多
視点画像データの各画素についてカメラから被写体まで
の奥行き値を保持する奥行きマップを生成する多視点奥
行きマップ生成手段と，前記多視点奥行きマップの任意
の１枚の奥行きマップをもとに，三次元空間内での視点
位置を座標変換することにより，実際にはカメラが置か
れていない視点から見た仮想視点奥行きマップを生成す
る仮想視点奥行きマップ生成手段と，前記仮想視点奥行
きマップについて，前記多視点奥行きマップの任意の１
枚の視点位置から見ると物体の影になって隠されている
オクルージョン領域の奥行き値を，そのオクルージョン
領域が隠されないような他の視点位置から見た別の多視
点奥行きマップのデータを採用することで補間処理する
仮想視点奥行きマップ補正処理手段と，前記仮想視点奥
行きマップが持つ被写体の奥行き値に基づいて，前記多
視点画像データの画素を並べ変えてその輝度と色度を描
画することにより実際にはカメラが置かれていない視点
から見た画像を生成する仮想視点画像生成手段とを備え
ることを特徴とする仮想視点画像生成装置。
【請求項３】請求項２記載の仮想視点画像生成装置に
おいて，前記仮想視点奥行きマップ補正処理手段は，前
記補間処理によっても補間できないオクルージョン領域
の奥行き値を，その周囲の奥行き値を用いて補間処理す
る手段，または／および前記補間処理された仮想視点奥
行きマップの奥行き値の分布が滑らかでない部分を平滑
化処理する手段を備えることを特徴とする仮想視点画像
生成装置。
【請求項４】請求項２または請求項３記載の仮想視点
画像生成装置において，前記多視点奥行きマップ生成手
段は，前記多視点画像データ間の対応点を抽出してステ
レオ法により三角測量の原理を用いて受動的に奥行きを
推定することによって奥行きマップを生成することを特
徴とする仮想視点画像生成装置。
【請求項５】請求項２または請求項３記載の仮想視点
画像生成装置において，前記多視点奥行きマップ生成手
段は，レーザ光による画像パターンを被写体に照射する
ことにより能動的に奥行きを推定することによって奥行
きマップを生成することを特徴とする仮想視点画像生成
装置。
【請求項６】請求項２，請求項３，請求項４または請
求項５記載の仮想視点画像生成装置において，前記多視
点画像データ入力手段は，複数の視点位置に対応する光
路上に光の一部または全部を反射または透過する複数の
光学的手段が配置され，その光学的手段によって反射ま
たは透過された光が通る光路上の一つに１台のカメラが
配置されたものによって構成され，前記１台のカメラで
複数の視点位置における画像データを取得するものであ
ることを特徴とする仮想視点画像生成装置。