JP6730204B2 - 画像合成装置、画像合成方法及びコンピュータプログラム - Google Patents

Description

本発明は、自由視点映像を生成するための技術に関する。

自由視点映像では、複数の位置に配置されたカメラで撮った映像を用いて任意の視点の映像が合成される。このような合成処理によって、あらゆる視点からの映像を見ることが可能である。このような自由視点映像の技術は、次世代の映像メディアとして古くから研究が進められてきた。自由視点映像では、シーン中の被写体の三次元形状の復元を行うことで、実際にはカメラが配置されていない位置を視点とした映像を生成することを可能とする。

高品質な自由視点映像を実現することができる代表的な研究の一つとして、Colletらの研究が挙げられる（非特許文献１参照）。この研究は、自由視点映像の撮影、合成及び配信の一連のパイプラインを提案した研究である。この研究の技術により、高品質な自由視点映像を合成することが可能である。しかし、大量のカメラ及び赤外カメラが必要とされる。また、被写体領域を抽出するために背景を均一色に限定する必要がある。さらに、これらの特殊な環境に特化したキャリブレーションを行う必要がある。このように、撮影環境に対して非常に厳しい制約条件がある。そのため、実際のシーンでの利用は難しい。

他の研究として、距離センサを用いることで比較的現実的な制約下での自由視点映像合成方法が提案されている（非特許文献２参照）。しかしながら、この提案による技術では、合成品質が十分には高くない。合成品質を低下させる大きな要因の一つとして、オクル―ジョン及び時間方向のちらつきが挙げられる。オクル―ジョンに関しては、取得できていない情報を再現する必要があるため、事前情報等を用いずに解決することは原理的に不可能である。時間方向のちらつきに関しては、距離センサが赤外光の干渉などを受けることにより、フレームによって取得する情報にばらつきが生じることが原因である。こちらについては、距離情報のフィルタリングなどによって解決が試みられている。しかしながら、改善はされているものの、未だに十分には解消されていない。オクルージョン及び時間方向のちらつきは、わずかに生じるだけでも視聴者が大きな違和感を覚えてしまうため、解決すべき問題である。

A. Collet, M. Chuang, P. Sweeney, D. Gillett, D. Evseev, D. Calabrese, H. Hoppe, A. Kirk, S. Sullivan, "High-quality streamable free-viewpoint video," ACM Transactions on Graphics, 34(4), 2015. D. Alexiadis, D. Zarpalas, P. Daras, "Fast and smooth 3D reconstruction using multiple RGB-Depth sensors," in Visual Communications and Image Processing Conference 2014, pp.173-176.

このように、従来の自由視点映像の技術には、解決すべき問題が残されており、実際のシーンで使用可能といえる制約条件で十分な品質の画像を生成することは実現されていない。
上記事情に鑑み、本発明は、背景を均一色に限定する等の厳しい制約条件を課すことなく得られた映像を用いることによって、任意の視野及び時刻における画像をより高い品質で生成する技術の提供を目的としている。

本発明の一態様は、複数の動画像と、前記動画像を撮影した複数のカメラの視野に関するカメラパラメータと、前記動画像に撮影されている被写体の三次元形状に関するパラメータと、の入力を受け付ける入力部と、前記動画像を構成する各時刻におけるフレームについて、前記フレームの画像に基づいて前記被写体の関節情報を推定する対象となるフレームである推定フレームを判定するフレーム分類部と、各時刻におけるフレームについて、前記被写体の二次元関節情報を推定し、推定結果の信頼度を取得する二次元関節情報推定部と、同時刻のフレームを複数含む同時刻フレームセットについて、前記被写体の三次元関節情報を推定する三次元関節情報推定部と、各時刻のフレームにおける前記三次元関節情報の推定結果と、前記被写体の三次元形状に関するパラメータと、に基づいて各時刻における前記被写体の三次元形状を示す情報を取得する形状変形部と、前記被写体の三次元形状を示す情報に基づいて、指定された時刻における指定された視野の前記被写体の画像を含む画像を生成する画像合成部と、を備え、前記三次元関節情報推定部は、前記推定フレームについては、前記同時刻フレームセットの中で前記信頼度が高い方から所定数のフレームを選択し、選択したフレームにおける前記二次元関節情報と前記カメラパラメータとを用いて前記三次元関節情報を推定し、前記推定フレーム以外のフレームについては、前記推定フレームにおける前記三次元関節情報の推定結果を用いた補間処理によって前記三次元関節情報を推定する、画像合成装置である。

本発明の一態様は、上記の画像合成装置であって、前記被写体の三次元形状に関するパラメータは、前記被写体の三次元形状を示す基準形状情報と、前記基準形状情報によって示される前記三次元形状における各関節の情報を示す基準関節情報と、を含む。

本発明の一態様は、上記の画像合成装置であって、前記動画像を構成する各時刻におけるフレームについて、前記フレームの画像に基づいて前記被写体の関節情報を推定する対象となるフレームである推定フレームを判定するフレーム分類部をさらに備え、前記三次元関節情報推定部は、前記推定フレームについては、前記推定フレームの画像に基づいて前記被写体の三次元関節情報を推定し、前記推定フレーム以外のフレームについては、前記推定フレームにおける前記三次元関節情報の推定結果を用いた補間処理によって前記三次元関節情報を推定する。

本発明の一態様は、上記の画像合成装置であって、各時刻におけるフレームについて、前記被写体の二次元関節情報を推定し、推定結果の信頼度を取得する二次元関節情報推定部をさらに備え、前記三次元関節情報推定部は、前記推定フレームについては、前記二次元関節情報推定部において高い信頼度が取得された一部のフレームに関する情報のみに基づいて前記三次元関節情報を推定する。

本発明の一態様は、複数の動画像と、前記動画像を撮影した複数のカメラの視野に関するカメラパラメータと、前記動画像に撮影されている被写体の三次元形状に関するパラメータと、の入力を受け付ける入力ステップと、前記動画像を構成する各時刻におけるフレームについて、前記フレームの画像に基づいて前記被写体の関節情報を推定する対象となるフレームである推定フレームを判定するフレーム分類ステップと、各時刻におけるフレームについて、前記被写体の二次元関節情報を推定し、推定結果の信頼度を取得する二次元関節情報推定ステップと、同時刻のフレームを複数含む同時刻フレームセットについて、前記被写体の三次元関節情報を推定する三次元関節情報推定ステップと、各時刻のフレームにおける前記三次元関節情報の推定結果と、前記被写体の三次元形状に関するパラメータと、に基づいて各時刻における前記被写体の三次元形状を示す情報を取得する形状変形ステップと、前記被写体の三次元形状を示す情報に基づいて、指定された時刻における指定された視野の前記被写体の画像を含む画像を生成する画像合成ステップと、を有し、前記三次元関節情報推定ステップにおいて、前記推定フレームについては、前記同時刻フレームセットの中で前記信頼度が高い方から所定数のフレームを選択し、選択したフレームにおける前記二次元関節情報と前記カメラパラメータとを用いて前記三次元関節情報を推定し、前記推定フレーム以外のフレームについては、前記推定フレームにおける前記三次元関節情報の推定結果を用いた補間処理によって前記三次元関節情報を推定する、画像合成方法である。

本発明の一態様は、コンピュータを、上記の画像合成装置として機能させるためのコンピュータプログラムである。

本発明により、背景を均一色に限定する等の厳しい制約条件を課すことなく得られた映像を用いることによって、任意の視野及び時刻における画像をより高い品質で生成することが可能となる。

実施形態における画像合成装置１０の構成例を示す概略ブロック図である。 フレーム分類部１２の構成例を示す図である。 二次元関節情報推定部１３の構成例を示す図である。 三次元関節情報推定部１４の構成例を示す図である。 形状変形部１５の構成例を示す図である。 画像合成装置１０の処理の具体例を示すフローチャートである。 ステップＳ１０６の処理の詳細を示すフローチャートである。

図１は実施形態における画像合成装置１０の構成例を示す概略ブロック図である。画像合成装置１０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、画像合成プログラムを実行する。画像合成プログラムの実行によって、画像合成装置１０は、入力部１１、フレーム分類部１２、二次元関節情報推定部１３、三次元関節情報推定部１４、形状変形部１５及び画像合成部１６を備える装置として機能する。なお、画像合成装置１０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。画像合成プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。画像合成プログラムは、電気通信回線を介して送信されてもよい。

まず、入力部１１について説明する。入力部１１は、複数の動画像、各動画像を撮影したカメラのパラメータ（以下「カメラパラメータ」という。）、所定の被写体の三次元形状を示す基準形状情報、所定の被写体の三次元関節情報を示す基準関節情報、所定の被写体の変形パラメータ、の入力を受け付ける。複数の動画像は、複数の位置に配置された各カメラによって同時刻に同一のシーンを撮影することによって得られた動画像である。例えば、サッカー場などのフィールドを取り囲むように配置された複数のカメラによって上記フィールドを同時刻（例えば同日の１３時から１４時までの１時間）に撮影することによって得られる動画像が入力される。動画像は、カラーの動画像であってもよいし、グレースケールの動画像であってもよいし、二値の動画像であってもよい。動画像のデータは、各カメラからリアルタイムに入力されてもよいし、ハードディスクドライブ（ＨＤＤ）等の記録媒体に記録された動画像が入力されてもよい。各動画像は完全に同一の時刻に撮影されてものである必要は無く前後に多少の時間のずれが生じていてもよい。動画像の各フレームには、各フレームが撮影された時刻（以下「フレーム時刻」という。）が付与されていることが好ましい。フレーム時刻が付与されていない場合には、入力部１１は撮影開始時刻と動画像の再生時間とに基づいて各フレームに対してフレーム時刻を付与してもよい。以降の説明では、簡単のため動画像内に存在する人物は一人であり、その人物が基準形状情報等を用いてレンダリングが行われる対象の被写体（以下「注目被写体」という。）であるものとする。複数の注目被写体が存在する場合は、入力部１１は、動画像内で人物領域を切り出す処理を行うことによって、動画像を注目被写体ごとに分割してもよい。それぞれの注目被写体に関する動画像に対して、注目被写体が一人である場合と同様の処理を行うことによって、複数の注目被写体が存在する場合であっても同様の処理が可能となる。

カメラパラメータは、動画像を撮影した各カメラの視点位置、視線方向、視野角などのパラメータである。カメラパラメータは、カメラ内部のパラメータと、カメラ外部のパラメータとの両方を含んでもよい。カメラパラメータは、動画像を取得する前に、各カメラにおいてカメラキャリブレーションを行うことによって取得されてもよい。

基準形状情報は、入力される動画像に撮影された被写体のうち、所定の基準に基づいて予め定められた被写体（注目被写体）の三次元形状を示す。例えば、特に注目される可能性の高い被写体について、基準形状情報が入力される。例えばサッカーの試合の動画像が入力される場合には、サッカーの試合に出場する選手（スタメンの選手及びベンチ入りした選手）全員の基準形状情報が入力されてもよい。基準形状情報は、注目被写体に対して予め三次元形状復元の処理を行うことによって得られてもよい。例えば、注目被写体に対して距離センサ等の測定機器を用いた測定を行うことによって得られたデータに基づいて基準形状情報が生成されてもよい。例えば、複数の位置のカメラによって撮影された静止画像を用いることによって基準形状情報が生成されてもよい。基準形状情報は、例えば人物の各関節の位置と、人物の表面形状と、人物の表面の画像（テクスチャ画像）と、を有するデータ（三次元人物モデルデータ）であってもよい。三次元人物モデルデータを用いることによって、所望の視野で所望の姿勢の人物の画像を生成することが可能となる。なお、基準形状情報における注目被写体の姿勢は、ＴポーズやＡスタンスのような姿勢であってもよいし、他の姿勢であってもよい。また、入力部１１は、入力された基準形状情報において欠損やノイズが生じていた場合には、Poisson Surface Reconstruction（参考文献１）や一般的な空間フィルタリングなどの手法を用いて表面形状の高品質化を行ってもよい。このような処理が行われることによって、その後に復元された形状は連続した表面を保持する。その結果、視点位置の変化による欠損が生じにくくなる。
参考文献１：M. Kazhdan, M. Bolitho, H. Hoppe, “Poisson Surface Reconstruction,” Symposium on Geometry Processing 2006, 61-70.

基準関節情報は、入力された基準形状情報の姿勢における各関節の三次元関節情報である。三次元関節情報は、関節の位置と、関節の角度とを表す。関節の位置は、例えばｘｙｚ座標で表される。関節の角度は、例えばｘｙｚ軸を中心としたオイラー角によって表される。基準関節情報は、基準形状情報を生成する際にモーションキャプチャ等の測定技術を用いて測定されてもよいし、注目被写体が撮影された画像に対して推定処理を行うことによって取得されてもよい。

変形パラメータは、基準形状情報に対応する注目被写体の関節が変化した際に、動画像内の注目被写体の形状がどのように変形するかを定めるパラメータである。変形パラメータは、例えば関節の回転に応じた形状の変化を定義するパラメータである。変形パラメータは、予め測定などによって取得されてもよい。例えば、一般的なスキニング手法を用いることによって関節と形状の頂点との距離に反比例するように変形パラメータが定められてもよい。変形パラメータは、ソフトウェアを用いて手動で定められてもよい。

次に、フレーム分類部１２について説明する。図２は、フレーム分類部１２の構成例を示す図である。フレーム分類部１２には、入力部１１において入力された複数の動画像が入力される。図２の例では、Ｌ台の異なる視点位置のカメラによって撮影されたＬ個の動画像がフレーム分類部１２に入力される。フレーム分類部１２は、フレーム分離部１２１及び関節情報推定フラグ付与部１２２を有する。フレーム分離部１２１は、各動画像をフレーム毎の画像に分離する。このとき、フレーム分離部１２１は、異なる動画像から得られたフレーム同士で、フレーム時刻に基づいて同時刻に撮影されたフレームの画像であることを示す所定の条件を満たすフレーム同士を関連づけする。所定の条件は、ある基準となる動画像のフレームに対して、他の動画像から得られるフレームのうち最もフレーム時刻が近いフレームであることを示す条件であってもよい。同時刻に撮影されたと推定された各フレームが関連づけられた一組のフレームセットを、同時刻フレームセットとよぶ。以下の処理では、同時刻フレームセットに含まれる各フレームは、実際のフレーム時刻にかかわらず、同一の時刻に撮影されたものとして扱われてもよい。

関節情報推定フラグ付与部１２２は、各同時刻フレームセットに対して、その動画像フレームセットの画像に基づいて三次元関節情報の推定を行うか否かを示すフラグ（以下「関節情報推定フラグ」という。）の値を付与する。関節情報推定フラグには、推定フラグ及び非推定フラグの二種類の値がある。推定フラグが与えられた場合には、その同時刻フレームセットにおいてフレームの画像やカメラパラメータを用いて三次元関節情報の推定が行われる。一方、非推定フラグが与えられた場合には、その同時刻フレームセットにおいて補間処理によって三次元関節情報の推定が行われる。関節情報推定フラグ付与部１２２は、例えば所定の周期で同時刻フレームセットに推定フラグを付与し、他の同時刻フレームセットに非推定フラグを付与してもよい。関節情報推定フラグ付与部１２２は、画像内で所定の条件が満たされた同時刻フレームセットに対し推定フラグを付与してもよい。所定の条件とは、例えば画像内で注目被写体の移動速度が極値を示したことであってもよい。移動速度は、注目被写体全体の移動速度であってもよいし、一部の間接や身体部分（例えば腕や顔）の移動速度であってもよい。この場合、二次元関節情報推定部１３は、画像内で注目被写体の移動速度を判定し、その移動速度が極値を示した場合に推定フラグを付与してもよい。二次元関節情報推定部１３は、同時刻フレームセットにおいていずれか一つのフレームが所定の条件を満たした場合には、その同時刻フレームセットに対して推定フラグを付与してもよいし、同時刻フレームセットにおいて所定数以上のフレームにおいて所定の条件が満たされた場合にその同時刻フレームセットに対して推定フラグを付与してもよい。なお、推定フラグが付与されなかった全ての同時刻フレームセットに対して非推定フラグが付与される。以下の説明では、関節情報推定フラグを付与された各同時刻フレームセットの各フレームの画像のことを分類済みフレーム画像と称する。

次に二次元関節情報推定部１３について説明する。図３は、二次元関節情報推定部１３の構成例を示す図である。二次元関節情報推定部１３には、推定フラグが付与された同時刻フレームセット（各視点の画像）が入力される。二次元関節情報推定部１３は、入力された同時刻フレームセットに含まれる各視点のフレーム画像において、二次元関節情報（画像上の関節の位置）を推定する。また、二次元関節情報推定部１３は、各視点のフレーム画像において、二次元関節情報の推定結果の信頼度を取得する。信頼度は、その二次元関節情報の推定結果が実際の値にどの程度近いと推定されるかを示す値である。例えば、信頼度が高いほど、推定結果が実際の値に近いと推定されることを示す。これらの処理は例えば以下の参考文献２に記載のDeepCutが用いられてもよいし、他の手法が用いられてもよい。
参考文献２：L. Pishchulin, E. Insafutdinov, S. Tang, B. Andres, M. Andriluka, P. Gehler, B. Schiele, “DeepCut: Joint Subset Partition and Labeling for Multi Person Pose Estimation,” IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016).

次に、三次元関節情報推定部１４について説明する。図４は、三次元関節情報推定部１４の構成例を示す図である。三次元関節情報推定部１４は、二次元関節情報推定部１３における推定結果に基づいて、各同時刻フレームセットにおける注目被写体のその時刻における三次元関節情報を推定する。三次元関節情報推定部１４は、三次元関節情報計算部１４１及び三次元関節情報補間部１４２を有する。

三次元関節情報計算部１４１には、推定フラグが付与された同時刻フレームセットにおいて二次元関節情報推定部１３で取得された二次元関節情報及び信頼度と、各カメラのカメラパラメータとが入力される。三次元関節情報計算部１４１は、注目被写体の全ての関節について以下の処理を繰り返し行う。まず、三次元関節情報計算部１４１は、処理の対象となっている関節について、信頼度が高い方から所定数（例えば２つ）のフレームを選択する。三次元関節情報計算部１４１は、処理の対象となっている関節の三次元情報を、選択されたフレームにおける二次元関節情報と、選択されたフレームにおけるカメラパラメータと、を用いて推定する。例えば、１対のフレーム画像上の二次元関節情報を、カメラパラメータを用いて三次元空間に直線として投影し、直線同士の距離が最短となる２点を結ぶ線分の中点を、三次元関節情報の関節位置として推定してもよい。なお、信頼度に基づいて選択される所定数のフレームは、処理の対象となっている関節毎に異なってもよい。

三次元関節情報計算部１４１は、全ての関節について三次元の位置を推定すると、推定結果に基づいて各関節の角度を推定する。関節の角度は、回転行列を導出して求められてもよいし、クォータニオンを用いて求められてもよい。三次元関節情報計算部１４１は、上述した処理を、推定フラグが付与された全ての同時刻フレームセットに対して実行する。上述のように、三次元関節情報計算部１４１は、信頼度が高い所定数の二次元関節情報を用いて三次元関節情報を推定する。そのため、二次元関節情報に含まれる誤差を抑制することが可能となる。

三次元関節情報補間部１４２は、非推定フラグが付与された全ての同時刻フレームセットに対し、以下の処理を繰り返し行う。まず、三次元関節情報補間部１４２は、処理の対象となった同時刻フレームセットの各フレームについて、時刻的に最も近いフレームであって且つ推定フラグが付与されたフレームを、より早い時刻のフレームとより遅い時刻のフレームと一つずつ選択する。三次元関節情報補間部１４２は、選択された各フレームについて、三次元関節情報計算部１４１による推定結果（三次元関節情報）を取得する。三次元関節情報補間部１４２は、取得された推定結果に基づいて、関節位置及び角度に対してフレーム時刻の差分に応じた補間を行うことで、非推定フラグが付与された各フレームの三次元関節情報を推定する。この時、補間に用いられる係数に対して何らかの重み付けがなされてもよい。このように、全ての時刻のフレームに対して三次元関節情報計算部１４１による推定処理を行うのではなく、間引きされた一部のフレーム（推定フラグが付与されたフレーム）に対してのみ三次元関節情報計算部１４１による推定処理を実行し、残りのフレームに対しては推定結果に基づいた補間処理が行われる。このような処理により、フレームごとの形状のちらつきを抑制することが可能である。

次に、形状変形部１５について説明する。形状変形部１５には、基準形状情報、基準関節情報、三次元関節情報推定部１４による推定結果（三次元関節情報）、変形パラメータが入力される。形状変形部１５は、三次元関節情報推定部１４で推定された三次元関節情報と基準関節情報とを比較する。形状変形部１５は、比較結果と変形パラメータとに基づいて、基準形状を変形させる。形状変形部１５は、全ての同時刻フレームセットにおいて得られた三次元関節情報に対して上記の処理を実行する。

図５は、形状変形部１５の構成例を示す図である。以下、図５を例に形状変形部１５について詳細に説明する。形状変形部１５は、関節変位計算部１５１及び変形部１５２を有する。

関節変位計算部１５１は、三次元関節情報推定部１４で推定された三次元関節情報と基準関節情報との差分を算出する。例えば、関節変位計算部１５１は、推定された三次元関節情報における三次元座標と、基準関節情報における三次元座標との差分を算出し、ｘ軸、ｙ軸及びｚ軸における位置のずれを取得する。また、関節変位計算部１５１は、推定された三次元関節情報における三次元の角度と、基準関節情報における三次元の角度との差分を算出し、ｘ軸、ｙ軸及びｚ軸を中心とした回転角のずれを取得する。

変形部１５２は、推定された三次元関節情報と基準関節情報との差分と、変形パラメータと、に基づいて、基準形状を変形する。このような処理によって、変形部１５２は、処理の対象となっている同時刻フレームセットのフレーム時刻において注目被写体がとっていた姿勢と同じ姿勢となるように、基準形状を変形させる。変形部１５２は、このように変形された後の形状の情報を、変形形状情報として出力する。このような処理が全ての同時刻フレームセットにおいて実行されることによって、各同時刻フレームセットに対応する変形形状情報が取得される。変形部１５２は、各フレーム時刻に対応付けて変形形状情報を記憶装置に記録してもよい。

画像合成部１６は、指定された視野及び時刻における自由視点映像を生成する。視野及び時刻は、例えば自由視点映像を再生する装置によって指定されてもよいし、自由視点映像を視聴する者によって指定されてもよい。画像合成部１６は、指定された時刻に相当するフレーム時刻の変形形状情報を取得する。取得される変形形状情報は、その時刻における注目被写体の位置や姿勢を示している。画像合成部１６は、取得された変形形状情報を用いて、指定された視野における画像をレンダリングする。このとき、注目被写体の画像は変形形状情報を用いたレンダリングによって得られる。画像合成部１６は、注目被写体の背景の画像については、予め得られている背景を示すモデルデータに基づいてレンダリングしてもよいし、対応する同時刻フレームセットにおいて近い視野の１又は複数のフレーム画像を用いてアフィン変換等の画像処理を行うことによってレンダリングしてもよい。画像合成部１６は、背景の画像と注目被写体の画像とを合成することによって、指定された視野及び時刻における自由視点映像を生成する。画像合成部１６は、動画像が要求されている場合には、以上の処理を時間軸にそって繰り返し実行することによって自由視点における映像を生成してもよい。

図６は、画像合成装置１０の処理の具体例を示すフローチャートである。以下、画像合成装置１０の処理の流れの具体例について説明する。まず、入力部１１が、複数の動画像、各動画像を撮影したカメラのカメラパラメータ、注目被写体の三次元形状を示す基準形状情報、注目被写体の三次元関節情報を示す基準関節情報、注目被写体の変形パラメータ、の入力を受け付ける（ステップＳ１０１，Ｓ１０２）。次に、フレーム分類部１２は、各同時刻フレームセットについて、推定フラグ又は非推定フラグを付与する（ステップＳ１０３）。

不図示の制御部は、処理対象となる同時刻フレームセットを、未処理の同時刻フレームセットの中から選択する（ステップＳ１０４）。処理対象の同時刻フレームセットが推定フラグが付与されたものである場合、二次元関節情報推定部１３は、処理対象の同時刻フレームセットにおいて、注目被写体の二次元関節情報を推定する（ステップＳ１０５）。次に、三次元関節情報推定部１４は、処理対象の同時刻フレームセットにおいて、注目被写体の二次元関節情報を推定する（ステップＳ１０６）。

図７は、ステップＳ１０６の処理の詳細を示すフローチャートである。処理対象の同時刻フレームセットが推定フラグが付与されたものである場合（ステップＳ２０１−ＹＥＳ）、三次元関節情報推定部１４の三次元関節情報計算部１４１が処理を行う。具体的には、三次元関節情報計算部１４１は、二次元関節情報及び信頼度と、各カメラのカメラパラメータとの入力を受け付ける（ステップＳ２０２）。三次元関節情報計算部１４１は、処理の対象となっている関節について、信頼度が高い方から所定数（例えば２つ）のフレームを選択する（ステップＳ２０３）。そして、三次元関節情報計算部１４１は、処理の対象となっている関節の三次元情報を、選択されたフレームの画像と、選択されたフレームに対応するカメラパラメータと、を用いて推定する（ステップＳ２０４）。

ステップＳ２０１の処理において、処理対象の同時刻フレームセットが非推定フラグが付与されたものである場合（ステップＳ２０１−ＮＯ）、三次元関節情報推定部１４の三次元関節情報補間部１４２が処理を行う。具体的には、三次元関節情報補間部１４２は、推定フラグが付与された同時刻フレームセットにおける三次元関節情報を用いて補間処理を行うことによって、三次元関節情報を取得する（ステップＳ２０５）。以上で図７の説明は終了する。

図６の説明に戻る。Ｓ１０４〜Ｓ１０６の処理は、全ての同時刻フレームセットに対して実行される（ステップＳ１０７）。その後、形状変形部１５は、各同時刻フレームセットにおける三次元関節情報の推定結果、基準関節情報及び変形パラメータに基づいて基準形状を変形することによって変形形状情報を生成する（ステップＳ１０８）。

その後、自由視点映像を生成するタイミングにおいて、画像合成部１６は、形状変形部１５によって予め取得されている変形形状を用いて、指定された時刻及び視野における注目被写体の画像をレンダリングする（ステップＳ１０９）。そして、画像合成部１６は、得られた画像に背景の画像を合成することによって、合成画像を生成し出力する（ステップＳ１１０）。

このように構成された画像合成装置１０では、自由視点映像を生成するために以下のような処理が行われる。実際に撮影された複数の動画像に基づいて、各フレーム時刻における注目被写体の各関節の三次元関節情報が推定される。三次元関節情報の推定結果に基づいて、予め得られていた注目被写体の基準形状が変形され、各フレーム時刻における注目被写体の変形形状情報が得られる。そして、実際に自由視点映像を生成する際には、指定された時刻における注目被写体の変形形状情報を用いて指定された視野におけるレンダリングを行うことによって、注目被写体の映像が生成される。そのため、例えば実際に撮影された複数の動画像では陰となって得られていなかった部分の映像（例えば、注目被写体の脇の部分や顎下の部分など）についても、オクルージョンの問題が生じることを抑止することが可能となる。

また、各フレーム時刻における変形形状情報を取得する際に、全てのフレーム時刻において注目被写体の三次元関節情報を独立に動画像から推定するのではなく、一部のフレーム時刻（推定フラグが付与されたフレーム時刻）の同時刻フレームセットのみにおいて動画像から三次元関節情報が推定される。そして、残りのフレーム時刻（非推定フラグが付与されたフレーム時刻）の動画像フレームセットにおいては、動画像からではなく、推定フラグが付与された同時刻フレームセットにおける推定結果に基づいた補間処理によって三次元関節情報が得られる。そのため、少なくとも推定フラグが付与された同時刻フレームセットから次の推定フラグが付与された同時刻フレームセットまでの間で時間方向のちらつきが生じにくい。このような処理によって、時間方向のちらつきを抑止することが可能となる。

（変形例）
上述した画像合成装置１０による処理の対象は人物であったが、必ずしも処理の対象は人物に限定される必要は無い。処理の対象は、関節を有する生物又は物体であればどのようなものであってもよい。例えば、動物が処理の対象となってもよい。この場合、予め得られる基準形状情報、基準関節情報、変形パラメータはいずれも動物に関する情報である。例えば、ロボットが処理の対象となっても良い。この場合、予め得られる基準形状情報、基準関節情報、変形パラメータはいずれもロボットに関する情報である。

上述した画像合成装置１０は、複数の情報処理装置を組み合わせたシステムとして構成されてもよい。例えば、入力部１１、フレーム分類部１２、二次元関節情報推定部１３、三次元関節情報推定部１４及び形状変形部１５を備えた装置と、入力部１１及び画像合成部１６を備えた装置と、を備えるシステムが構築されてもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１０…画像合成装置， １１…入力部， １２…フレーム分類部， １２１…フレーム分離部， １２２…関節情報推定フラグ付与部， １３…二次元関節情報推定部， １４…三次元関節情報推定部， １４１…三次元関節情報計算部， １４２…三次元関節情報補間部， １５…形状変形部， １５１…関節変位計算部， １５２…変形部， １６…画像合成部， ２０２…画像生成部， ２１１…ネットワーク構築部， ２１２…パラメータ学習部， ２１…画像取得部， ２２…画像加工部

Claims (3)

1. 複数の動画像と、前記動画像を撮影した複数のカメラの視野に関するカメラパラメータと、前記動画像に撮影されている被写体の三次元形状に関するパラメータと、の入力を受け付ける入力部と、
   前記動画像を構成する各時刻におけるフレームについて、前記フレームの画像に基づいて前記被写体の関節情報を推定する対象となるフレームである推定フレームを判定するフレーム分類部と、
   各時刻におけるフレームについて、前記被写体の二次元関節情報を推定し、推定結果の信頼度を取得する二次元関節情報推定部と、
   同時刻のフレームを複数含む同時刻フレームセットについて、前記被写体の三次元関節情報を推定する三次元関節情報推定部と、
   各時刻のフレームにおける前記三次元関節情報の推定結果と、前記被写体の三次元形状に関するパラメータと、に基づいて各時刻における前記被写体の三次元形状を示す情報を取得する形状変形部と、
   前記被写体の三次元形状を示す情報に基づいて、指定された時刻における指定された視野の前記被写体の画像を含む画像を生成する画像合成部と、
   を備え、
   前記三次元関節情報推定部は、前記推定フレームについては、前記同時刻フレームセットの中で前記信頼度が高い方から所定数のフレームを選択し、選択したフレームにおける前記二次元関節情報と前記カメラパラメータとを用いて前記三次元関節情報を推定し、前記推定フレーム以外のフレームについては、前記推定フレームにおける前記三次元関節情報の推定結果を用いた補間処理によって前記三次元関節情報を推定する、
   画像合成装置。
2. 複数の動画像と、前記動画像を撮影した複数のカメラの視野に関するカメラパラメータと、前記動画像に撮影されている被写体の三次元形状に関するパラメータと、の入力を受け付ける入力ステップと、
   前記動画像を構成する各時刻におけるフレームについて、前記フレームの画像に基づいて前記被写体の関節情報を推定する対象となるフレームである推定フレームを判定するフレーム分類ステップと、
   各時刻におけるフレームについて、前記被写体の二次元関節情報を推定し、推定結果の信頼度を取得する二次元関節情報推定ステップと、
   同時刻のフレームを複数含む同時刻フレームセットについて、前記被写体の三次元関節情報を推定する三次元関節情報推定ステップと、
   各時刻のフレームにおける前記三次元関節情報の推定結果と、前記被写体の三次元形状に関するパラメータと、に基づいて各時刻における前記被写体の三次元形状を示す情報を取得する形状変形ステップと、
   前記被写体の三次元形状を示す情報に基づいて、指定された時刻における指定された視野の前記被写体の画像を含む画像を生成する画像合成ステップと、
   を有し、
   前記三次元関節情報推定ステップにおいて、前記推定フレームについては、前記同時刻フレームセットの中で前記信頼度が高い方から所定数のフレームを選択し、選択したフレームにおける前記二次元関節情報と前記カメラパラメータとを用いて前記三次元関節情報を推定し、前記推定フレーム以外のフレームについては、前記推定フレームにおける前記三次元関節情報の推定結果を用いた補間処理によって前記三次元関節情報を推定する、
   画像合成方法。
3. コンピュータを、請求項１に記載の画像合成装置として機能させるためのコンピュータプログラム。

Images