JP2008204318A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】被写体モデルの表面の反射パラメータとして、実物体に近い反射パラメータを動的に決定することができる画像処理装置を提供する。
【解決手段】３次元モデル作成部２２は、被写体を撮影した複数の被写体画像から被写体の３次元モデルを作成し、部分領域選択部２３は、３次元モデルの表面を複数の表面領域に分割して被写体画像ごとに各表面領域に対応する対応領域の部分撮影画像を選択し、部分モデル画像作成部２６は、マテリアルデータベース２５から各部分領域の反射パラメータを読み出し、読み出した反射パラメータと被写体画像が撮影された照明条件とを用いて、各部分撮影画像に対応する部分モデル画像を作成し、パラメータ検索部２７は、表面領域ごとに部分撮影画像に対する部分モデル画像の適合度を算出し、適合度が最も高い部分モデル画像に対応する部分領域の反射パラメータを各表面領域の反射パラメータとして決定する。
【選択図】図１

Description

本発明は、被写体モデルの表面の反射パラメータを決定する画像処理装置、画像処理方法及び画像処理プログラムに関し、特に、多視点カメラにより撮影された２次元画像から作成した３次元被写体モデルの表面における反射パラメータを決定する画像処理装置、画像処理方法及び画像処理プログラムに関するものである。

固定した照明環境下で伝統舞踊の演者など動きのある被写体を複数のカメラによって撮影し、視体積交差法等を利用しながら、被写体の３次元形状並びに形状表面の色及び模様（以下、テクスチャと呼ぶ）を逐次取得し、動きのある３次元のＣＧ（コンピュータグラフィックス）モデルを作成することが研究されている（例えば、非特許文献１参照）。

上記の処理により作成された３次元モデルは、ＣＧ環境内の仮想シーンに配置する部品として、舞台や他の演者など別途用意したＣＧオブジェクトとともに配置され、ＣＧ画像としてレンダリングされる。この際、被写体の３次元モデルをＣＧ空間内で他のオブジェクトと違和感なく融合させるためには、３次元モデルにマッピングされるテクスチャデータが十分な解像度を持ち、また実物体に近い反射パラメータを有することが望ましい。
冨山他３名、「表示視点に依存した３次元動オブジェクトへの面テクスチャマッピング手法」、情報処理学会、コンピュータビジョンとイメージメディア研究会、ｖｏｌ．１４５、ｐｐ．１７−２４、２００４年９月

しかしながら、上記の視体積交差法に用いられる画像データは、特定の照明環境下で撮影されており、その環境に特有の反射成分を含むため、撮影画像から反射パラメータを動的に分離することができず、実物体により近い反射パラメータを動的に獲得することは困難である。

本発明の目的は、被写体モデルの表面の反射パラメータとして、実物体に近い反射パラメータを動的に決定することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することである。

本発明に係る画像処理装置は、被写体モデルの表面の反射パラメータを決定する画像処理装置であって、被写体の表面における部分領域ごとに反射パラメータを予め記憶しているデータベース部と、互いに異なる複数のカメラ視点から前記被写体を撮影した複数の被写体画像を取得する取得部と、前記複数の被写体画像から被写体の３次元モデルを作成するモデル作成部と、前記３次元モデルの表面を複数の表面領域に分割し、前記被写体画像ごとに各表面領域に対応する対応領域の部分撮影画像を選択する選択部と、前記データベース部から各部分領域の反射パラメータを読み出し、読み出した反射パラメータと前記複数の被写体画像が撮影された照明条件とを用いて、各部分撮影画像に対応する部分モデル画像を作成する画像作成部と、前記表面領域ごとに前記部分撮影画像に対する前記部分モデル画像の適合度を算出し、適合度が最も高い部分モデル画像に対応する部分領域の反射パラメータを各表面領域の反射パラメータとして決定する決定部とを備えるものである。

本発明に係る画像処理装置においては、互いに異なる複数のカメラ視点から被写体を撮影した複数の被写体画像が取得され、複数の被写体画像から被写体の３次元モデルが作成され、この３次元モデルの表面が複数の表面領域に分割され、被写体画像ごとに各表面領域に対応する対応領域の部分撮影画像が選択される。ここで、データベース部には、被写体の表面を複数に分割した部分領域ごとに反射パラメータが予め記憶されており、このデータベース部から各部分領域の反射パラメータが読み出され、この反射パラメータと複数の被写体画像が撮影された照明条件とを用いて、各部分撮影画像に対応する部分モデル画像が作成される。その後、表面領域ごとに部分撮影画像に対する部分モデル画像の適合度が算出され、適合度が最も高い部分モデル画像に対応する部分領域の反射パラメータが各表面領域の反射パラメータとして決定されるので、被写体モデルの表面の反射パラメータとして、実物体に近い反射パラメータを動的に決定することができる。

前記データベース部は、第１の解像度で前記被写体を撮影した画像から算出した反射パラメータを予め記憶し、前記取得部は、前記第１の解像度より低い第２の解像度で前記被写体を撮影した複数の被写体画像を取得し、前記画像作成部は、前記部分モデル画像として前記第１の解像度から前記第２の解像度へ解像度変換した低解像度部分モデル画像を作成することが好ましい。

この場合、低解像度の被写体画像が取得され、高解像度の反射パラメータがデータベース部に記憶されている場合でも、被写体画像の解像度に合わせて部分撮影画像に対する部分モデル画像の適合度を高精度に算出することができるので、被写体モデルの表面の反射パラメータとして、実物体により近い反射パラメータを動的に決定することができる。

前記決定部は、前記部分撮影画像に対する前記低解像度部分モデル画像の適合度を算出し、適合度の高い所定数の部分領域を候補部分領域として決定し、前記画像作成部は、前記候補部分領域の反射パラメータから前記第２の解像度より高い第３の解像度のサブピクセル部分モデル画像を作成し、前記決定部は、前記部分撮影画像に対する前記サブピクセル部分モデル画像の適合度を算出し、適合度が最も高いサブピクセル部分モデル画像に対応する部分領域の反射パラメータを各表面領域の反射パラメータとして決定することが好ましい。

この場合、部分撮影画像に対する低解像度部分モデル画像の適合度を算出した後、適合度の高い所定数の候補部分領域からサブピクセル部分モデル画像を作成して部分撮影画像に対するサブピクセル部分モデル画像の適合度を算出し、適合度が最も高いサブピクセル部分モデル画像に対応する部分領域の反射パラメータを各表面領域の反射パラメータとして決定しているので、候補部分領域を絞り込んだ後に、サブピクセル精度で適合度を求めることができ、被写体モデルの表面の反射パラメータとして、実物体にさらに近い反射パラメータを短時間に決定することができる。

前記データベース部は、前記反射パラメータとして、拡散反射パラメータと、鏡面反射パラメータとを予め記憶することが好ましい。

この場合、被写体モデルの表面の反射パラメータとして、拡散反射パラメータと鏡面反射パラメータとを求めることができるので、これらを用いてよりリアルなテクスチャを動的に生成することができる。

前記データベース部は、前記部分領域における鏡面反射パラメータを一定として前記部分領域ごとに鏡面反射パラメータを予め記憶し、前記画像作成部は、前記部分領域における鏡面反射パラメータを一定として各部分撮影画像に対応する部分モデル画像を作成することが好ましい。

この場合、データベース部の記憶容量を削減することができるとともに、部分モデル画像を高速に作成することができる。

本発明に係る画像処理方法は、被写体の表面を複数に分割した部分領域ごとに反射パラメータを予め記憶しているデータベース部と、取得部と、モデル作成部と、選択部と、画像作成部と、決定部とを備える画像処理装置を用いて、被写体モデルの表面の反射パラメータを決定する画像処理方法であって、前記取得部が、互いに異なる複数のカメラ視点から前記被写体を撮影した複数の被写体画像を取得するステップと、前記モデル作成部が、前記複数の被写体画像から被写体の３次元モデルを作成するステップと、前記選択部が、前記３次元モデルの表面を複数の表面領域に分割し、前記被写体画像ごとに各表面領域に対応する対応領域の部分撮影画像を選択するステップと、前記画像作成部が、前記データベース部から各部分領域の反射パラメータを読み出し、読み出した反射パラメータと前記複数の被写体画像が撮影された照明条件とを用いて、各部分撮影画像に対応する部分モデル画像を作成するステップと、前記決定部が、前記表面領域ごとに前記部分撮影画像に対する前記部分モデル画像の適合度を算出し、適合度が最も高い部分モデル画像に対応する部分領域の反射パラメータを各表面領域の反射パラメータとして決定するステップとを含むものである。

本発明に係る画像処理プログラムは、被写体モデルの表面の反射パラメータを決定するための画像処理プログラムであって、被写体の表面を複数に分割した部分領域ごとに反射パラメータを予め記憶しているデータベース部と、互いに異なる複数のカメラ視点から前記被写体を撮影した複数の被写体画像を取得する取得部と、前記複数の被写体画像から被写体の３次元モデルを作成するモデル作成部と、前記３次元モデルの表面を複数の表面領域に分割し、前記被写体画像ごとに各表面領域に対応する対応領域の部分撮影画像を選択する選択部と、前記データベース部から各部分領域の反射パラメータを読み出し、読み出した反射パラメータと前記複数の被写体画像が撮影された照明条件とを用いて、各部分撮影画像に対応する部分モデル画像を作成する画像作成部と、前記表面領域ごとに前記部分撮影画像に対する前記部分モデル画像の適合度を算出し、適合度が最も高い部分モデル画像に対応する部分領域の反射パラメータを各表面領域の反射パラメータとして決定する決定部としてコンピュータを機能させるものである。

本発明によれば、被写体画像ごとに各表面領域に対応する対応領域の部分撮影画像が選択され、データベース部から読み出された反射パラメータと、複数の被写体画像が撮影された照明条件とを用いて各部分撮影画像に対応する部分モデル画像が作成され、表面領域ごとに部分撮影画像に対する部分モデル画像の適合度が算出され、適合度が最も高い部分モデル画像に対応する部分領域の反射パラメータが各表面領域の反射パラメータとして決定されるので、被写体モデルの表面の反射パラメータとして、実物体に近い反射パラメータを動的に決定することができる。

以下、本発明の一実施の形態による画像処理装置について図面を参照しながら説明する。図１は、本発明の一実施の形態による画像処理装置の構成を示すブロック図である。

図１に示す画像処理装置は、複数のビデオカメラ１１〜１Ｋ、画像取得部２１、３次元モデル作成部２２、部分領域選択部２３、入力部２４、マテリアルデータベース２５、部分モデル画像作成部２６、パラメータ検索部２７、テクスチャ更新部２８、及びＣＧ作成部２９を備える。

Ｋ台（Ｋは２以上の整数）のビデオカメラ１１〜１Ｋは、被写体を中心とする円上に所定間隔で配置され、動きのある被写体、例えば、人物を互いに異なる複数のカメラ視点から撮影した被写体画像を画像取得部２１へ出力する。例えば、ビデオカメラ１１〜１Ｋとして、１０台のビデオカメラを用い、３０万画素で撮影されたカラー動画像が各ビデオカメラから画像取得部２１へ出力される。

画像取得部２１、３次元モデル作成部２２、部分領域選択部２３、入力部２４、マテリアルデータベース２５、部分モデル画像作成部２６、パラメータ検索部２７、テクスチャ更新部２８、及びＣＧ作成部２９は、入力装置、表示装置、ＲＯＭ（リードオンリメモリ）、ＣＰＵ（中央演算処理装置）、ＲＡＭ（ランダムアクセスメモリ）、画像Ｉ／Ｆ（インターフェース）部及び外部記憶装置等を備えるコンピュータを用いて、ＲＯＭ又は外部記憶装置に予め記憶されている、後述する画像処理を行うための画像処理プログラムをＣＰＵ等で実行することにより実現される。

なお、画像取得部２１、３次元モデル作成部２２、部分領域選択部２３、入力部２４、マテリアルデータベース２５、部分モデル画像作成部２６、パラメータ検索部２７、テクスチャ更新部２８、及びＣＧ作成部２９の構成例は、上記の例に特に限定されず、各ブロックを専用のハードウエアから構成したり、一部のブロック又はブロック内の一部の処理のみを専用のハードウエアで構成したりする等の種々の変更が可能である。また、マテリアルデータベースを所定のネットワークを介してコンピュータに接続し、後述する画像処理のみをコンピュータで実行するようにしてもよい。

画像取得部２１は、互いに異なる複数のカメラ視点から被写体を撮影した複数（Ｋ枚）の被写体画像を取得し、取得した複数の被写体画像を一次的に記憶するとともに、複数の被写体画像を３次元モデル作成部２２へ出力する。３次元モデル作成部２２は、例えば、視体積交差法を用いて、複数の被写体画像から被写体の３次元モデルを作成する。なお、３次元モデルの作成方法は、上記の例に特に限定されず、視体積交差法とステレオマッチング法とを併用する等の種々の変更が可能である。

部分領域選択部２３は、３次元モデル作成部２２から３次元モデルを読み出し、３次元モデルの表面を複数の表面領域に分割する。例えば、３次元モデルが複数のポリゴンから構成されている場合、一つのポリゴンを一つの表面領域として分割したり、一つのポリゴンを複数の表面領域に分割することができる。部分領域選択部２３は、分割された複数（Ｎ個：Ｎは２以上の整数）の表面領域の中から一の表面領域ｉ（ｉ＝１，…，Ｎ）を選択し、表面領域ｉの３次元位置及び姿勢を算出し、３次元位置及び姿勢から表面領域ｉに対応する各被写体画像上の２次元位置を算出する。部分領域選択部２３は、複数の被写体画像を一次的に記憶している画像取得部２１を参照して、被写体画像ごとに表面領域ｉに対応する対応領域の部分撮影画像ｊ（ｊ＝１，…，Ｋ）を選択してパラメータ検索部２７へ出力する。

入力部５は、ユーザが種々のデータを入力するために用いられ、例えば、ビデオカメラ１１〜１Ｋで被写体を撮影しているときの撮影照明条件が入力部５を介して入力され、この撮影照明条件が部分モデル画像作成部２６へ入力される。また、入力部５は、テクスチャの更新方法をテクスチャ更新部２８へ指示するためにも用いられる。

マテリアルデータベース２５は、被写体の表面を複数に分割した部分領域ごとに反射パラメータを予め記憶している。具体的には、撮影時にシーンに存在する可能性のある物体（被写体）を光源位置が既知である環境下において複数のカメラで撮影し、撮影した高解像度（例えば、６００万画素）の複数の静止画像から部分領域ごとに鏡面反射パラメータと高解像度の拡散反射パラメータ（色情報）とを求め、得られたデータがマテリアルデータとしてマテリアルデータベース２５に予め格納されている。なお、部分領域の大きさ及び形状は、画像処理装置として機能するコンピュータの能力等に応じて任意に決定することができる。

ここで、マテリアルデータとして、データ内に含まれる拡散反射パラメータの座標集合（部分領域）Ｒ、（ｘ，ｙ）∈Ｒにおける拡散反射パラメータ［ｋ_{ｄ，ｒ（ｘ，ｙ）}，ｋ_{ｄ，ｇ（ｘ，ｙ）}，ｋ_{ｄ，ｂ（ｘ，ｙ）}］、微小領域Ｒ内の鏡面反射パラメータｋ_ｓを部分領域ごとにデータベース化して記憶している。ここで、拡散反射パラメータは、Ｒ、Ｇ、Ｂの各色成分が微小領域Ｒ内の位置ごとに記憶され、鏡面反射パラメータは、記憶容量の低減及び処理の簡略化のために、微小領域Ｒ内では一定と仮定して記憶されている。

なお、後述する反射パラメータの検索処理において部分モデル画像と部分撮影画像との位置ずれを考慮した最適解を得るためには、座標集合Ｒを平行移動させたマテリアルデータを多数生成しなければならないので、実際には複数のマテリアルデータで拡散反射パラメータを共有し、座標集合Ｒの移動量だけを別途記録することで記憶域の効率利用を図ることができる。

部分モデル画像作成部２６は、マテリアルデータベース２５から各部分領域の反射パラメータを読み出し、読み出した反射パラメータと、入力部２４を介して入力された被写体画像の照明条件と、部分領域選択部２３により算出された表面領域ｉの３次元位置及び姿勢とを用いて、部分撮影画像１〜Ｋに対応する部分モデル画像１〜Ｋを表面領域ｉごとに作成する。このとき、部分モデル画像作成部２６は、部分モデル画像の解像度が部分撮影画像の解像度に一致するように、例えば、６００万画素の解像度から３０万画素の解像度に部分モデル画像を解像度変換した低解像度部分モデル画像１〜Ｋを作成する。

パラメータ検索部２７は、部分領域選択部２３により選択された部分撮影画像１〜Ｋと、部分モデル画像作成部２６により作成された低解像度部分モデル画像１〜Ｋとを用いて、表面領域ごとに部分撮影画像に対する部分モデル画像の適合度を算出し、適合度が最も高い部分モデル画像に対応する部分領域の反射パラメータを各表面領域の反射パラメータとして決定する。

具体的には、パラメータ検索部２７は、上記のようにして部分撮影画像に対する低解像度部分モデル画像の適合度を算出し、低解像度部分モデル画像の基となる反射パラメータが対応付けられている部分領域のうち、適合度が高い上位Ｍ個（Ｍは所定の整数）の部分領域を候補部分領域として決定する。

その後、パラメータ検索部２７は、上位Ｍ個の候補部分領域に対するサブピクセル部分モデル画像の作成を部分モデル画像作成部２６に指示し、部分モデル画像作成部２６は、上位Ｍ個の候補部分領域の反射パラメータから部分撮影画像の解像度より高い解像度のサブピクセル部分モデル画像を作成し、サブピクセル部分モデル画像をパラメータ検索部２７へ出力する。パラメータ検索部２７は、部分撮影画像に対するサブピクセル部分モデル画像の適合度を算出し、適合度が最も高いサブピクセル部分モデル画像に対応する部分領域の反射パラメータを各表面領域の反射パラメータとして最終的に決定する。

このようにして、撮影時に得られる部分撮影画像と部分モデル画像(マテリアルデータ)の対応を得るため、まず、マテリアルデータベース２５内のマテリアルデータが、撮影条件に従い低解像度の劣化画像（低解像度部分モデル画像）に変換され、続いて、被写体画像の着目領域となる部分撮影画像と低解像度部分モデル画像との照合が行われ、高スコアの適合度を与えた上位Ｍ個のモデル画像についてさらに位置パラメータをサブピクセル精度で推定し、最終的に最も高い適合度を持つ部分モデル画像すなわちマテリアルデータを選択することができる。

テクスチャ更新部２８は、３次元モデル作成部２２から３次元モデルを読み出し、入力部５を介して指示されたテクスチャの更新方法に従って、パラメータ検索部２７が決定した各表面領域の反射パラメータを利用して３次元モデルのテクスチャを動的に更新する。例えば、テクスチャ更新部２８は、Ｂａｃｋ Ｐｒｏｊｅｃｔｉｏｎ法を用いて反射パラメータの更新とテクスチャ画像の再構成とを行なう。

ＣＧ作成部２９は、ＣＧ環境内の仮想シーンに配置する部品として、テクスチャが更新された３次元モデルを用いてＣＧ画像を作成する。例えば、被写体が能の演者である場合、舞台や他の演者など別途用意したＣＧオブジェクトとともに、能の演者の３次元モデルが配置され、ＣＧ画像としてレンダリングされる。なお、テクスチャ更新部２８は、適合度が予め定めた閾値に満たない場合、テクスチャ画像の更新を行なわないようにしてもよい。この場合、撮影画像のみの情報を利用したレンダリングが行なわれることになる。

このようにして、本実施の形態では、シーン内の物体の反射特性をあらかじめモデル化してデータベースに格納し、撮影時に得た３次元モデルの表面のテクスチャに適合する反射パラメータをデータベース内で探索し、３次元モデルの反射パラメータを動的に更新することができる。

本実施の形態では、マテリアルデータベース２５がデータベース部の一例に相当し、画像取得部２１が取得部の一例に相当し、３次元モデル作成部２２がモデル作成部の一例に相当し、部分領域選択部２３が選択部の一例に相当し、部分モデル画像作成部２６が画像作成部の一例に相当し、パラメータ検索部２７が決定部の一例に相当する。

次に、上記のように構成された画像処理装置により、被写体モデルの表面の反射パラメータを更新する反射パラメータ更新処理について説明する。図２は、図１に示す画像処理装置による反射パラメータ更新処理を説明するためのフローチャートであり、図３は、図２に示す反射パラメータ検索処理を模式的に示す図であり、図４は、マテリアルデータの一例を示す図であり、図５は、被写体画像の一例を示す図であり、図６は、３次元モデルの一例を示す図であり、図７は、鏡面反射パラメータの一例を示す図であり、図８は、部分撮影画像の一例を示す図であり、図９は、テクスチャが更新されたＣＧ画像の一例を示す図であり、図１０は、テクスチャの更新の有無により細部が高精細化されたＣＧ画像の一例を示す図である。

ここで、マテリアルデータベース２５には、マテリアルデータとして、被写体の表面を複数に分割した部分領域ごとに鏡面反射パラメータと拡散反射パラメータとを予め記憶しており、例えば、図４に示す矩形形状の複数のマテリアルデータがマテリアルデータベース２５に予め記憶されている。

図２を参照して、まず、ステップＳ１１において、各ビデオカメラ１１〜１Ｋは、撮影した被写体画像を画像取得部２１へ出力し、画像取得部２１は、複数の被写体画像を取得して３次元モデル作成部２２へ出力する。例えば、図５に示す複数の被写体画像が３次元モデル作成部２２へ出力される。

次に、ステップＳ１２において、３次元モデル作成部２２は、視体積交差法を用いて、複数の被写体画像から被写体の３次元モデルを作成し、作成した３次元モデルを部分領域選択部２３へ出力する。例えば、図５に示す複数の被写体画像から図６に示す３次元モデルが作成される。

次に、ステップＳ１３において、部分領域選択部２３は、３次元モデル作成部２２から３次元モデルを読み出して３次元モデルの表面を複数の表面領域に分割し、分割された複数の表面領域の中から一の表面領域ｉ（ｉ＝１，…，Ｎ）を選択する。

次に、ステップＳ１４において、部分領域選択部２３は、表面領域ｉの３次元位置及び姿勢（例えば、表面領域ｉの中心位置の３次元座標及び表面領域ｉの法線方向の角度）を算出して部分モデル画像作成部２６へ出力する。次に、ステップＳ１５において、部分領域選択部２３は、算出した３次元位置及び姿勢から表面領域ｉに対応する各被写体画像上の２次元位置を算出する。

次に、ステップＳ１６において、部分領域選択部２３は、被写体画像上の２次元位置及び表面領域ｉの大きさから表面領域ｉに対応する対応領域を被写体画像ごとに決定し、画像取得部２１を参照して被写体画像ごとに表面領域ｉに対応する対応領域の部分撮影画像ｊ（ｊ＝１，…，Ｋ）を抽出してパラメータ検索部２７へ出力する。

次に、ステップＳ１７において、部分モデル画像作成部２６及びパラメータ検索部２７は、以下のようにして、マテリアルデータベース２５から表面領域ｉに最も類似する反射パラメータを検索する。

まず、部分モデル画像作成部２６は、マテリアルデータベース２５から各部分領域の反射パラメータを読み出し、読み出した反射パラメータと、入力部２４を介して入力された被写体画像の照明条件と、部分領域選択部２３により算出された表面領域ｉの３次元位置及び姿勢とを用いて、各部分撮影画像に対応する部分モデル画像１〜Ｋを作成する。

次に、パラメータ検索部２７は、部分領域選択部２３により選択された部分撮影画像１〜Ｋと、部分モデル画像作成部２６により作成された低解像度部分モデル画像１〜Ｋとを用いて、表面領域ごとに部分撮影画像に対する低解像度部分モデル画像の適合度を算出し、低解像度部分モデル画像の基となる反射パラメータが対応付けられている部分領域のうち、適合度が高い上位Ｍ個の部分領域を候補部分領域として決定し、上位Ｍ個の候補部分領域に対するサブピクセル部分モデル画像の作成を部分モデル画像作成部２６に指示する。

次に、部分モデル画像作成部２６は、上位Ｍ個の候補部分領域の反射パラメータから部分撮影画像の解像度より高い解像度のサブピクセル部分モデル画像を作成し、サブピクセル部分モデル画像をパラメータ検索部２７へ出力する。パラメータ検索部２７は、部分撮影画像に対するサブピクセル部分モデル画像の適合度を算出し、適合度が最も高いサブピクセル部分モデル画像に対応する部分領域の反射パラメータを各表面領域の反射パラメータとして最終的に決定する。

ここで、上記の適合度の計算方法について以下に詳細に説明する。まず、マテリアルデータベース２５内のマテリアルデータを被写体画像（部分撮影画像）と比較するため、被写体画像の撮影条件に合わせた変換処理を以下のようにして行う。

最初に、撮影環境の照明条件に従い、Ｒ、Ｇ、Ｂの各チャネルごとにカメラ方向から観測される輝度値を算出する。反射モデルには種々のものが考案されているが、本実施の形態では、ＣＧのレンダリングでよく利用されるパラメトリックモデルであるＰｈｏｎｇ反射モデルを用いて輝度値を算出する。Ｐｈｏｎｇ反射モデルによれば、光源の入射方向と面法線のなす角を、視点（カメラ）方向と光源の反射ベクトルとのなす角をγとし、入射光強度をＩ_ｉ、拡散反射率をｋ_ｄ、鏡面反射率をｋ_ｓとすると、観測される輝度は次式で表される。

チャネルごとの光源の明るさ（入射強度）を［ｒ_ｉ，ｇ_ｉ，ｂ_ｉ］とすると、観測される色は次式で計算できる。

ここで、γは視点方向に依存するため、上式の右辺第２項はビデオカメラ１１〜１Ｋごとに計算される。

次に、着目しているマテリアルデータが、視体積交差法で得られた３次元形状表面上の特定の微小平面に対応すると仮定し、マテリアルデータ（微小平面）の座標系と各ビデオカメラ１１〜１Ｋで観測される撮影像の座標系の間の幾何変換について考える。

一般にカメラにより平面を撮影した場合、被写体である平面上の座標と撮影画像の座標との関係は、平面射影変換行列と呼ばれる３×３の行列で表現できる。いま、着目する３次元形状表面の微小領域座標を（ｘ，ｙ）、ビデオカメラｋの画像面座標（ｘ_ｋ，ｙ_ｋ）とすると、両者には以下の関係が得られる。

ここで、Ｈ_ｋは、ビデオカメラｋに関する平面射影変換行列であり、ビデオカメラｋのカメラパラメータと微小平面の位置及び姿勢から決定できる。

次に、マテリアルデータの配置方向（微小面の法線周りの回転量）は未知であるので、以下の回転変換を考える。ここで、Ｒは法線軸周りの回転を示す。

上記の式（４）から次式が得られる。

ここで、実際の観測画像は、さらにビデオカメラの光学系の特性による解像度の低下を受ける。色チャネルｃ（ｃ∈｛Ｒ，Ｇ，Ｂ｝）に関するビデオカメラｋ上の座標（ｘ_ｋ，ｙ_ｋ）における観測輝度Ｉ_{ｃ，（ｘｋ，ｙｋ）}は次式で計算できる。ここで、ｈ（ｘ_ｋ，ｙ_ｋ，ｘ，ｙ，θ）は劣化関数であり、以下のようにガウス分布で近似する。

次に、Ｋ台のビデオカメラ各々について着目するマテリアルデータｊを上記の手順に従って変換した画像をＩ_ｋ ^（ｊ）（ｋ＝１，…，Ｋ）とし、各ビデオカメラにおける観測画像をＪ_ｋ（ｋ＝１，…，Ｋ）とすると、両者の適合度ｒを次式により評価することができる。

次に、適合度ｒを最小とする（適合度が高い）上位Ｍ個のマテリアルデータについて、次式によりさらにサブピクセル精度で適合度を求め、最終的な選択とする。

上記の計算方法に基づくステップＳ１７の反射パラメータの検索処理の一例を模式的に表すと、図３に示すフローチャートにようになる。なお、図３に示すフローチャートは、各処理の流れを明示的に表したものであり、上記の計算方法では、各処理が一体として処理され、図３に示す各処理が実行されれば、各処理の順序は図示の例に特に限定されず、種々の変更が可能である。

まず、部分モデル画像作成部２６は、処理３１において、マテリアルデータベース２５からマテリアルデータ（各部分領域の反射パラメータ）を読み出し、処理３２において、式（６）及び式（７）に従い、マテリアルデータに対して２次元回転変換処理を実行する。

次に、処理３３において、部分モデル画像作成部２６は、入力部２４を介して入力された被写体画像の照明条件と、部分領域選択部２３が算出した表面領域ｉの３次元位置及び姿勢とを用いて、式（２）及び式（８）に従い、２次元回転変換されたマテリアルデータの拡散反射率を計算する。

次に、各ビデオカメラすなわち各部分撮影画像１〜Ｋに対する部分モデル画像１〜Ｋを作成するために、処理３４において、部分モデル画像作成部２６は、上記照明条件並びに３次元位置及び姿勢を用いて、式（２）及び式（８）に従い、２次元回転変換されたマテリアルデータの鏡面反射率を計算する。例えば、図７に示す鏡面反射パラメータが算出される。

次に、部分モデル画像作成部２６は、式（６）及び式（７）に従い、処理３５において、上記３次元位置及び姿勢を用いて、マテリアルデータに対して平面射影変換処理を実行し、処理３６において、マテリアルデータの解像度を部分撮影画像の解像度に一致させるために、マテリアルデータに対して解像度変換処理を実行し、処理３７において、部分モデル画像１〜Ｋを作成する。

次に、部分モデル画像作成部２６は、処理３６において、部分撮影画像１〜Ｋと、部分モデル画像１〜Ｋとを照合して上記の適合度（Ｓｃｏｒｅ ｊ）を算出する。その後、適合度を最小とする上位Ｍ個のマテリアルデータについて、上記と基本的に同様の処理を繰り返すことにより、サブピクセル精度で適合度を求め、最も適合度が小さい（最も適合度が高い）反射パラメータを表面領域ｉの反射パラメータとして決定する。

再び図２を参照して、次に、ステップＳ１８において、テクスチャ更新部２８は、３次元モデル作成部２２から３次元モデルを読み出し、Ｂａｃｋ Ｐｒｏｊｅｃｔｉｏｎ法により、パラメータ検索部２７が決定した表面領域ｉの反射パラメータを用いて３次元モデルのテクスチャを更新する。

次に、ステップＳ１９において、テクスチャ更新部２８は、全ての表面領域に対して上記の処理が終了したか否かを判断し、全ての表面領域に対する処理が終了していない場合は、次の表面領域の処理を開始するように部分領域選択部２３に指示し、ステップＳ１３以降の処理が繰り返され、全ての表面領域に対する処理が終了している場合は、処理がステップＳ２０へ移行される。

次に、ＣＧ作成部２９は、ＣＧ環境内の仮想シーンに配置する部品として、テクスチャが更新された３次元モデルを用いてＣＧ画像を作成し、その後、次の撮影画像を処理するために、ステップＳ１１以降の処理が繰り返される。例えば、図８に示す部分撮影画像のテクスチャが更新され、図９に示すＣＧ画像が作成される。また、図１０の（ａ）は、テクスチャの更新前のＣＧ画像の一例を示し、図１０の（ｂ）は、テクスチャの更新後のＣＧ画像の一例を示しており、テクスチャの更新により細部が高精細化されていることがわかる。

上記の処理により、本実施の形態では、互いに異なる複数のカメラ視点から被写体を撮影した複数の被写体画像が取得され、複数の被写体画像から被写体の３次元モデルが作成され、この３次元モデルの表面が複数の表面領域に分割され、被写体画像ごとに各表面領域に対応する対応領域の部分撮影画像が選択される。

一方、マテリアルデータベース２５には、被写体の表面を複数に分割した部分領域ごとに鏡面反射パラメータ及び拡散反射パラメータを含むマテリアルデータが予め記憶されており、マテリアルデータベース２５から各部分領域の鏡面反射パラメータ及び拡散反射パラメータが読み出され、これらの鏡面反射パラメータ及び拡散反射パラメータと複数の被写体画像が撮影された照明条件とを用いて、各部分撮影画像に対応する部分モデル画像が作成される。その後、表面領域ごとに部分撮影画像に対する部分モデル画像の適合度が算出され、適合度が最も高い部分モデル画像に対応する部分領域の反射パラメータが各表面領域の反射パラメータとして決定されるので、被写体モデルの表面の鏡面反射パラメータ及び拡散反射パラメータとして、実物体に近い鏡面反射パラメータ及び拡散反射パラメータを動的に決定し、テクスチャを動的に更新することができる。

なお、本実施の形態では、２次元データをマテリアルデータとして記憶し、全てのマテリアルデータの中から最適なマテリアルデータを検索したが、マテリアルデータを３次元的に構成し、３次元モデルの各表面領域に近接するマテリアルデータを事前に選択し、ある程度絞り込まれたマテリアルデータの中から最適なマテリアルデータを検索するようにしてもよい。また、鏡面反射パラメータを微小領域Ｒ内は一定としたが、拡散反射パラメータと同様に微小領域Ｒ内の位置に応じて異なる鏡面反射パラメータを記憶するようにしてもよい。

本発明の一実施の形態による画像処理装置の構成を示すブロック図である。 図１に示す画像処理装置による反射パラメータ更新処理を説明するためのフローチャートである。 図２に示す反射パラメータ検索処理を模式的に示す図である。 マテリアルデータの一例を示す図である。 被写体画像の一例を示す図である。 ３次元モデルの一例を示す図である。 鏡面反射パラメータの一例を示す図である。 部分撮影画像の一例を示す図である。 テクスチャが更新されたＣＧ画像の一例を示す図である。 テクスチャの更新の有無により細部が高精細化されたＣＧ画像の一例を示す図である。

符号の説明

１１〜１Ｋ ビデオカメラ
２１ 画像取得部
２２ ３次元モデル作成部
２３ 部分領域選択部
２４ 入力部
２５ マテリアルデータベース
２６ 部分モデル画像作成部
２７ パラメータ検索部
２８ テクスチャ更新部
２９ ＣＧ作成部

Claims (7)

1. 被写体モデルの表面の反射パラメータを決定する画像処理装置であって、
   被写体の表面を複数に分割した部分領域ごとに反射パラメータを予め記憶しているデータベース部と、
   互いに異なる複数のカメラ視点から前記被写体を撮影した複数の被写体画像を取得する取得部と、
   前記複数の被写体画像から被写体の３次元モデルを作成するモデル作成部と、
   前記３次元モデルの表面を複数の表面領域に分割し、前記被写体画像ごとに各表面領域に対応する対応領域の部分撮影画像を選択する選択部と、
   前記データベース部から各部分領域の反射パラメータを読み出し、読み出した反射パラメータと前記複数の被写体画像が撮影された照明条件とを用いて、各部分撮影画像に対応する部分モデル画像を作成する画像作成部と、
   前記表面領域ごとに前記部分撮影画像に対する前記部分モデル画像の適合度を算出し、適合度が最も高い部分モデル画像に対応する部分領域の反射パラメータを各表面領域の反射パラメータとして決定する決定部とを備えることを特徴とする画像処理装置。
2. 前記データベース部は、第１の解像度で前記被写体を撮影した画像から算出した反射パラメータを予め記憶し、
   前記取得部は、前記第１の解像度より低い第２の解像度で前記被写体を撮影した複数の被写体画像を取得し、
   前記画像作成部は、前記部分モデル画像として前記第１の解像度から前記第２の解像度へ解像度変換した低解像度部分モデル画像を作成することを特徴とする請求項１記載の画像処理装置。
3. 前記決定部は、前記部分撮影画像に対する前記低解像度部分モデル画像の適合度を算出し、適合度の高い所定数の部分領域を候補部分領域として決定し、
   前記画像作成部は、前記候補部分領域の反射パラメータから前記第２の解像度より高い第３の解像度のサブピクセル部分モデル画像を作成し、
   前記決定部は、前記部分撮影画像に対する前記サブピクセル部分モデル画像の適合度を算出し、適合度が最も高いサブピクセル部分モデル画像に対応する部分領域の反射パラメータを各表面領域の反射パラメータとして決定することを特徴とする請求項２記載の画像処理装置。
4. 前記データベース部は、前記反射パラメータとして、拡散反射パラメータと、鏡面反射パラメータとを予め記憶することを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
5. 前記データベース部は、前記部分領域における鏡面反射パラメータを一定として前記部分領域ごとに鏡面反射パラメータを予め記憶し、
   前記画像作成部は、前記部分領域における鏡面反射パラメータを一定として各部分撮影画像に対応する部分モデル画像を作成することを特徴とする請求項４記載の画像処理装置。
6. 被写体の表面を複数に分割した部分領域ごとに反射パラメータを予め記憶しているデータベース部と、取得部と、モデル作成部と、選択部と、画像作成部と、決定部とを備える画像処理装置を用いて、被写体モデルの表面の反射パラメータを決定する画像処理方法であって、
   前記取得部が、互いに異なる複数のカメラ視点から前記被写体を撮影した複数の被写体画像を取得するステップと、
   前記モデル作成部が、前記複数の被写体画像から被写体の３次元モデルを作成するステップと、
   前記選択部が、前記３次元モデルの表面を複数の表面領域に分割し、前記被写体画像ごとに各表面領域に対応する対応領域の部分撮影画像を選択するステップと、
   前記画像作成部が、前記データベース部から各部分領域の反射パラメータを読み出し、読み出した反射パラメータと前記複数の被写体画像が撮影された照明条件とを用いて、各部分撮影画像に対応する部分モデル画像を作成するステップと、
   前記決定部が、前記表面領域ごとに前記部分撮影画像に対する前記部分モデル画像の適合度を算出し、適合度が最も高い部分モデル画像に対応する部分領域の反射パラメータを各表面領域の反射パラメータとして決定するステップとを含むことを特徴とする画像処理方法。
7. 被写体モデルの表面の反射パラメータを決定するための画像処理プログラムであって、
   被写体の表面を複数に分割した部分領域ごとに反射パラメータを予め記憶しているデータベース部と、
   互いに異なる複数のカメラ視点から前記被写体を撮影した複数の被写体画像を取得する取得部と、
   前記複数の被写体画像から被写体の３次元モデルを作成するモデル作成部と、
   前記３次元モデルの表面を複数の表面領域に分割し、前記被写体画像ごとに各表面領域に対応する対応領域の部分撮影画像を選択する選択部と、
   前記データベース部から各部分領域の反射パラメータを読み出し、読み出した反射パラメータと前記複数の被写体画像が撮影された照明条件とを用いて、各部分撮影画像に対応する部分モデル画像を作成する画像作成部と、
   前記表面領域ごとに前記部分撮影画像に対する前記部分モデル画像の適合度を算出し、適合度が最も高い部分モデル画像に対応する部分領域の反射パラメータを各表面領域の反射パラメータとして決定する決定部としてコンピュータを機能させることを特徴とする画像処理プログラム。