JPWO2016151691A1 - 画像処理装置、画像処理システム、画像処理方法及びプログラム - Google Patents

Abstract

実施形態によれば、第１の取得手段は、被写体の第１の３次元モデルを取得する。第１の設定手段は、第１の３次元モデル上に複数の第１の制御点を設定する。第２の取得手段は、衣服を着用した被写体を含む衣服撮像画像を取得する。抽出手段は、衣服撮像画像から被写体が着用した衣服の領域を抽出する。第１の生成手段は、メッシュ化された衣服の領域を表すメッシュデータを生成する。第３の取得手段は、第２の３次元モデルを取得する。第２の設定手段は、第２の３次元モデル上に複数の第２の制御点を設定する。変形手段は、第１の３次元モデル上に設定された複数の第１の制御点から第２の３次元モデル上に設定された複数の第２の制御点への移動量に基づいてメッシュデータを変形する。第２の生成手段は、衣服撮像画像及び変形されたメッシュデータを用いて衣服の画像を生成する。

Description

本発明の実施形態は、画像処理装置、画像処理システム、画像処理方法及びプログラムに関する。

近年では、レンジファインダによるスキャンを行うことにより、例えば全身の３次元形状及びテクスチャマップ（以下、３ＤＣＧモデルと表記）を取得することが可能な技術が開発されている。

この技術によれば、衣服を着用した被写体（例えば、マネキン等）をスキャンすることによって、当該衣服部分の３ＤＣＧモデルを生成することができる。このように生成された衣服部分の３ＤＣＧモデルを例えばユーザを含む画面上に合成して表示した場合には、ユーザは、実際に試着を行うことなく、当該衣服を仮想的に試着（以下、仮想試着と表記）するようなことが可能となる。

特開２０１１−１８０７９０号公報

ところで、上記した仮想試着を行うユーザの状態（向き、姿勢及び体型等）は様々である。このため、これらのユーザの状態の各々に応じた３ＤＣＧモデルを生成しておくことが好ましい。しかしながら、このような３ＤＣＧモデルを全て用意することは、当該３ＤＣＧモデルの生成に要するコスト（費用）及び時間の観点から困難である。

そこで、本発明が解決しようとする課題は、仮想試着に用いられる衣服の画像を容易に生成することが可能な画像処理装置、画像処理システム、画像処理方法及びプログラムを提供することにある。

実施形態に係る画像処理装置は、第１の取得手段と、第１の設定手段と、第２の取得手段と、抽出手段と、第１の生成手段と、第３の取得手段と、第２の設定手段と、変形手段と、第２の生成手段とを具備する。前記第１の取得手段は、被写体の第１の３次元モデルを取得する。前記第１の設定手段は、前記取得された第１の３次元モデル上に複数の第１の制御点を設定する。前記第２の取得手段は、衣服を着用した前記被写体を含む衣服撮像画像を取得する。前記抽出手段は、前記取得された衣服撮像画像から、当該衣服撮像画像に含まれる前記被写体が着用した前記衣服の領域を抽出する。前記第１の生成手段は、前記抽出された衣服の領域をメッシュ状に分割することによって、メッシュ化された当該衣服の領域を表すメッシュデータを生成する。前記第３の取得手段は、前記取得された第１の３次元モデルを変形することによって第２の３次元モデルを取得する。前記第２の設定手段は、前記取得された第２の３次元モデル上に、前記複数の第１の制御点に対応する複数の第２の制御点を設定する。前記変形手段は、前記第１の３次元モデル上に設定された複数の第１の制御点から前記第２の３次元モデル上に設定された複数の第２の制御点への移動量に基づいて、前記生成されたメッシュデータを変形する。前記第２の生成手段は、前記取得された衣服撮像画像及び前記変形されたメッシュデータを用いて前記衣服の画像を生成する。

図１は、第１の実施形態における画像処理システムの構成について説明するための図である。 図２は、画像処理システムの構成について説明するための図である。 図３は、画像処理装置の主として機能構成の一例を示すブロック図である。 図４は、画像処理装置の処理手順の一例を示すフローチャートである。 図５は、変形前３Ｄモデルの一例を示す図である。 図６は、衣服領域の一例を示す図である。 図７は、衣服撮像画像から取得される衣服画像の一例を示す図である。 図８は、変形前３Ｄモデル上に設定された制御点の一例を示す図である。 図９は、メッシュデータの一例を示す図である。 図１０は、影響度を算出する際の処理について説明するための図である。 図１１は、影響度として算出される対象制御点と対象頂点との間の距離について説明するための図である。 図１２は、変形後３Ｄモデルの一例を示す図である。 図１３は、変形後３Ｄモデル上に設定された制御点の一例を示す図である。 図１４は、変形後メッシュデータの一例を示す図である。 図１５は、衣服画像生成部によって生成される衣服画像の一例を示す図である。 図１６は、腕の位置を変更した変形後３Ｄモデルの一例を示す図である。 図１７は、第２の実施形態に係る画像処理装置の主として機能構成の一例を示すブロック図である。 図１８は、画像処理装置の処理手順の一例を示すフローチャートである。 図１９は、衣服撮像画像の一例を示す図である。 図２０は、衣服領域の一例を示す図である。 図２１は、境界情報について説明するための図である。 図２２は、影響度として算出される頂点と制御点との間の距離について説明するための図である。 図２３は、第３の実施形態に係る画像処理装置の主として機能構成の一例を示すブロック図である。 図２４は、画像処理装置の処理手順の一例を示すフローチャートである。 図２５は、第４の実施形態に係る画像処理装置の主として機能構成を示すブロック図である。 図２６は、画像処理装置の処理手順の一例を示すフローチャートである。 図２７は、本実施形態において生成される衣服画像について説明するための図である。 図２８は、境界領域における第１の画像及び第２の画像の不透明度について説明するための図である。

以下、図面を参照して、各実施形態について説明する。

（第１の実施形態）
まず、図１及び図２を参照して、第１の実施形態に係る画像処理装置を含む画像処理システムの構成の一例について説明する。図１及び図２に示すように、画像処理システムは、第１の撮像部１００、第２の撮像部２００及び画像処理装置３００等を備える。

第１の撮像部１００は、図１に示すように、例えば任意の角度に回転可能な回転台４０１に載置された被写体４０２を撮像し、当該被写体４０２を含む画像（以下、被写体４０２のデプス画像と表記）を出力するための撮像装置である。デプス画像は、距離画像とも称され、画素毎に第１の撮像部１００からの距離が規定された画像である。第１の撮像部１００としては、例えばデプスセンサ等が用いられる。

第２の撮像部２００は、図２に示すように、上記した回転台４０１に載置され、衣服４０３を着用した被写体４０２を撮像し、当該衣服４０３を着用した被写体４０２を含む画像（以下、衣服撮像画像と表記）を出力するための撮像装置である。衣服撮像画像は、ビットマップ画像であり、画素毎に被写体４０２（が着用した衣服４０３）の色彩及び輝度等を示す画素値が規定された画像である。第２の撮像部２００としては、例えば汎用のカメラ等が用いられる。

ここで、本実施形態において、第１の撮像部１００及び第２の撮像部２００によって撮像される被写体４０２は、衣服を試着する対象である。図１及び図２においては、被写体４０２が例えば人体の形状を模したマネキンである場合が想定されている。以下の説明においては、被写体４０２はマネキンであるものとして説明するが、当該被写体４０２は、例えば犬や猫等のペットの形状を模したマネキン及びその他の物体であってもよいし、例えば人物やペット等の生物であってもよい。

第１の撮像部１００によって出力された被写体４０２のデプス画像及び第２の撮像部２００によって出力された衣服撮像画像は、画像処理装置３００によって取得される。画像処理装置３００は、取得された被写体４０２のデプス画像及び衣服撮像画像を用いて、上記した衣服４０３を着用した被写体４０２とは異なる状態（例えば、向き、姿勢または体型等）の被写体が衣服４０３を着用した場合における当該衣服４０３の状態を表す画像（以下、衣服画像と表記）を生成する機能を有する。このように画像処理装置３００によって生成された衣服画像は、当該画像処理装置３００内に蓄積（格納）される。

本実施形態に係る画像処理装置３００内に蓄積された衣服画像は、仮想試着に用いられる。具体的には、例えば衣服４０３を販売する店舗内のユーザと対面した位置に設けられた表示装置に、撮像部によって撮像されたユーザを含む画像上に画像処理装置３００内に蓄積された衣服画像（つまり、衣服４０３の画像）を重畳した合成画像を表示することによって、当該ユーザは、当該衣服４０３を仮想的に試着する（以下、仮想試着と表記）ことができる。

なお、図１及び図２においては省略されているが、画像処理システムは、例えばネットワークを介して画像処理装置３００と通信可能に接続されたサーバ装置を更に備える構成であっても構わない。この場合、画像処理装置３００によって生成された衣服画像は、サーバ装置に蓄積（格納）されてもよい。

図３は、本実施形態に係る画像処理装置３００の主として機能構成を示すブロック図である。図３に示すように、画像処理装置３００は、３Ｄモデル取得部３０１、３Ｄモデル投影部３０２、制御点設定部３０３、制御点変更部３０４、衣服撮像画像取得部３０５、衣服領域抽出部３０６、メッシュデータ生成部３０７、影響度算出部３０８、メッシュデータ変形部３０９、衣服画像生成部３１０、提示処理部３１１及び衣服画像格納部３１２を含む。

本実施形態において、これらの各部３０１〜３１１の一部または全ては、例えば画像処理装置３００に備えられるＣＰＵ等のコンピュータにプログラムを実行させること、すなわち、ソフトウェアによって実現されるものとする。なお、各部３０１〜３１１の一部または全ては、ＩＣ（Integrated Circuit）等のハードウェアによって実現されてもよいし、ソフトウェア及びハードウェアの組み合わせ構成として実現されてもよい。また、本実施形態において、衣服画像格納部３１２は、画像処理装置３００に備えられる例えばＨＤＤ（Hard Disk Drive）等の記憶装置に格納されているものとする。なお、衣服画像格納部３１２は、例えば画像処理装置３００と通信可能に接続される外部装置（サーバ装置）等に備えられていてもよい。

３Ｄモデル取得部３０１は、上述した第１の撮像部１００から出力された被写体４０２のデプス画像を取得する。３Ｄモデル取得部３０１は、取得された被写体４０２のデプス画像に基づいて当該被写体４０２をモデル化することによって、当該被写体４０２の３次元モデル（以下、３Ｄモデルと表記）を取得（生成）する。ここで、３Ｄモデル取得部３０１によって取得される被写体４０２の３Ｄモデルは、第１の撮像部１００によって撮像された被写体４０２の状態（向き、姿勢及び体型等）を表すモデルである。

また、３Ｄモデル取得部３０１は、例えば取得された３Ｄモデルを変形することによって当該３Ｄモデルとは異なる３Ｄモデルを取得する。

以下の説明においては、被写体４０２のデプス画像に基づいて取得された３Ｄモデル（第１の３次元モデル）を変形前３Ｄモデル、当該変形前３Ｄモデルを変形することによって取得された３Ｄモデル（第２の３次元モデル）を変形後３Ｄモデルと称する。なお、変形後３Ｄモデルには、例えば変形前３Ｄモデルの向き、姿勢または体型等が変更された３Ｄモデルが含まれる。

上記したように３Ｄモデル取得部３０１によって取得される３Ｄモデル（変形前３Ｄモデル及び変形後３Ｄモデル）は複数の頂点から構成されており、当該複数の頂点の各々には当該頂点の３次元位置（座標）が付加されている。３Ｄモデルを構成する複数の頂点の各々には、当該頂点を識別するための番号（以下、頂点番号と表記）が割り当てられているものとする。なお、変形前３Ｄモデル及び変形後３Ｄモデルにおいて対応する頂点（つまり、３Ｄモデルにおける構造的に同一の位置の頂点）には同一の頂点番号が割り当てられている。

３Ｄモデル投影部３０２は、３Ｄモデル取得部３０１によって取得された３Ｄモデル（変形前３Ｄモデル及び変形後３Ｄモデル）を例えばスクリーン面に投影する。この場合、３Ｄモデル投影部３０２は、上述した第２の撮像部２００の視点位置及び画角（つまり、衣服撮像画像を撮像した視点位置及び画角）に合わせて３Ｄモデルを投影する。

制御点設定部３０３は、３Ｄモデル取得部３０１によって取得された変形前３Ｄモデル上に複数の制御点（第１の制御点）を設定する。この場合、制御点設定部３０３は、３Ｄモデル投影部３０２によってスクリーン面に投影された変形前３Ｄモデルを参照して、当該変形前３Ｄモデルを構成する複数の頂点の中から制御点を設定（選択）する。

同様に、制御点設定部３０３は、３Ｄモデル取得部３０１によって取得された変形後３Ｄモデル上に複数の制御点（第２の制御点）を設定する。この場合、制御点設定部３０３は、変形後３Ｄモデルを構成する複数の頂点のうち、変形前３Ｄモデル上に設定された制御点に対応する制御点を設定（選択）する。

制御点変更部３０４は、例えば画像処理装置３００に対するユーザの操作に応じて、制御点設定部３０３によって設定された制御点を変更する。

衣服撮像画像取得部３０５は、上述した第２の撮像部２００から出力された衣服撮像画像を取得する。

衣服領域抽出部３０６は、衣服撮像画像取得部３０５によって取得された衣服撮像画像から、当該衣服撮像画像に含まれる被写体４０２が着用した衣服４０３の領域（以下、衣服領域と表記）を抽出する。

メッシュデータ生成部３０７は、衣服領域抽出部３０６によって抽出された衣服領域をメッシュ状に分割することによって、メッシュ化された当該衣服領域を表すメッシュデータを生成する。なお、メッシュデータ生成部３０７によって生成されるメッシュデータは、衣服領域がメッシュ化されることによって表される複数の頂点を有する。

影響度算出部３０８は、例えば変形前３Ｄモデルが変形した（つまり、被写体４０２の向き、姿勢または体型等が変化した）場合における当該変形前３Ｄモデル上に設定された複数の制御点の各々の移動が、メッシュデータ生成部３０７によって生成されたメッシュデータが有する複数の頂点の各々（の移動）に対して与える影響の度合いを表す影響度（つまり、当該頂点に対する当該制御点の影響度）を算出する。なお、影響度算出部３０８は、制御点設定部３０３によって変形前３Ｄモデル上に設定された複数の制御点の各々及びメッシュデータ生成部３０７によって生成されたメッシュデータが有する複数の頂点の各々の組み合わせ毎に影響度を算出する。

メッシュデータ変形部３０９は、制御点設定部３０３によって変形前３Ｄモデル上に設定された複数の制御点、当該制御点設定部３０３によって変形後３Ｄモデル上に設定された複数の制御点、メッシュデータ生成部３０７によって生成されたメッシュデータ及び影響度算出部３０８によって算出された影響度に基づいて、当該メッシュデータを変形する処理を実行する。このメッシュデータ変形部３０９によって実行される処理の詳細については後述するが、メッシュデータ変形部３０９は、変形前３Ｄモデル上に設定された複数の制御点から変形後３Ｄモデル上に設定された制御点への移動量に基づいて、メッシュデータ生成部３０７によって生成されたメッシュデータを変形する。以下の説明においては、メッシュデータ変形部３０９によって変形されたメッシュデータを変形後メッシュデータと称する。

衣服画像生成部３１０は、衣服撮像画像（から抽出された衣服領域）及び変形後メッシュデータを用いて衣服４０３の画像（つまり、衣服画像）を生成する。この衣服画像生成部３１０によって生成される衣服画像は、変形後３Ｄモデル（によって表される向き、姿勢及び体型の被写体）が衣服４０３を着用した場合における当該衣服４０３の状態を表す画像である。

衣服画像生成部３１０によって生成された衣服画像は、提示処理部３１１によって画像処理装置３００の管理者等に提示（表示）される。また、衣服画像生成部３１０によって生成された衣服画像は、衣服画像格納部３１２に格納（蓄積）される。

次に、図４のフローチャートを参照して、本実施形態に係る画像処理装置３００の処理手順について説明する。

まず、３Ｄモデル取得部３０１は、第１の撮像部１００から出力された被写体４０２のデプス画像に基づいて、当該被写体４０２の３Ｄモデル（変形前３Ｄモデル）を取得する（ステップＳ１）。なお、ここでは変形前３Ｄモデルが被写体４０２のデプス画像に基づいて取得されるものとして説明したが、当該変形前３Ｄモデルは、構造が一致していれば例えば３Ｄスキャナ等を用いて取得されても構わない。

ここで、図５は、３Ｄモデル取得部３０１によって取得された変形前３Ｄモデル５０１を示す。図５に示す例では、変形前３Ｄモデル５０１は、例えば第１の撮像部１００に対して略正面方向を向いた被写体４０２のデプス画像に基づいて取得された３Ｄモデルの例を示している。なお、変形前３Ｄモデル５０１は複数の頂点から構成されている。また、この複数の頂点の各々には、当該頂点の３次元位置（座標）が付加されている。更に、複数の頂点の各々には、頂点番号が割り当てられている。

再び図４に戻ると、衣服撮像画像取得部３０５は、第２の撮像部２００から出力された衣服撮像画像を取得する（ステップＳ２）。この衣服撮像画像は、上述した第１の撮像部１００による撮像時と同等の状態（姿勢等）で衣服４０３を着用した被写体４０２を含む画像である。

次に、衣服領域抽出部３０６は、衣服撮像画像取得部３０５によって取得された衣服撮像画像に対して例えばマスク処理を実行することによって、当該衣服撮像画像から衣服領域（つまり、当該衣服撮像画像に含まれる被写体４０２が着用した衣服４０３の型）を抽出する（ステップＳ３）。

ここで、図６は、衣服領域抽出部３０６によって抽出された衣服領域６０１（つまり、衣服領域抽出部３０６による抽出結果）を示す。このような衣服領域６０１の抽出は、例えば汎用の画像編集ツール等を用いて実現されても構わない。

なお、衣服領域抽出部３０６によって抽出された衣服領域６０１を利用することによって、衣服撮像画像取得部３０５によって取得された衣服撮像画像から図７に示すような衣服画像（つまり、第２の撮像部２００によって撮像された被写体４０２が着用した状態の衣服４０３の画像）７０１を取得する（切り取る）ことができる。このように取得された衣服画像７０１は、上述した仮想試着に用いるために衣服画像格納部３１２に蓄積される。

再び図４に戻ると、制御点設定部３０３は、３Ｄモデル取得部３０１によって取得された変形前３Ｄモデル５０１上に複数の制御点を設定する（ステップＳ４）。この場合、３Ｄモデル投影部３０２は、例えば３Ｄモデル取得部３０１によって取得された変形前３Ｄモデル５０１を、第２の撮像部２００の視点位置及び画角に合わせてスクリーン面に投影する。なお、第１の撮像部１００及び第２の撮像部２００の位置関係は予めキャリブレーションされているものとする。これにより、制御点設定部３０３は、変形前３Ｄモデル５０１を構成する複数の頂点のうち、変形前３Ｄモデル５０１がスクリーン面に投影された際に最前面に現れる頂点であって、当該投影された場合における変形前３Ｄモデルの最外周に位置する頂点を制御点として設定（選択）する。この場合、制御点設定部３０３は、変形前３Ｄモデル５０１上に設定された複数の制御点の各々に割り当てられている頂点番号を当該制御点設定部３０３内部に保持する。

ここでは、変形前３Ｄモデルを構成する全ての頂点の中から制御点が選択されるものとして説明したが、体の向き、姿勢または体型の変化に影響を受けやすい頂点（つまり、身体的特徴点に該当する頂点）を予め選択しておき、当該頂点の中から制御点が選択されるようにしてもよい。具体的には、複数の向き、姿勢または体型等の３Ｄモデルにおける代表的な頂点（例えば、肩、ひじ及び腰等に位置する頂点）が予め選択されていればよい。

更に、衣服領域抽出部３０６によって抽出された衣服領域の形状（つまり、衣服４０３の種類）等に基づいて、当該衣服４０３と関連のある頂点を予め選択しておき、当該頂点の中から制御点が選択されるようにしてもよい。具体的には、衣服４０３が例えばトップスのような上半身に着用するものであれば、当該衣服４０３と関連のある頂点としては変形前３Ｄモデルの上半身に位置する頂点が予め選択されていればよい。一方、衣服４０３が例えばボトムのような下半身に着用するものであれば、当該衣服４０３と関連のある頂点としては変形前３Ｄモデルの下半身に位置する頂点が予め選択されていればよい。

ここで、図８は、図５に示す変形前３Ｄモデル５０１上に設定された制御点の一例を示す。図８においては便宜的に１つの制御点のみに参照符号が付されているが、変形前３Ｄモデル５０１上には、制御点５０１ａを含む複数の制御点が設定（配置）されている。図８に示す例では、衣服４０３が上半身に着用するものであり、変形前３Ｄモデルの上半身に位置する頂点の中から制御点が設定された場合の例を示している。

なお、図８に示すような制御点設定部３０３によって複数の制御点が設定された変形前３Ｄモデル５０１は、例えば管理者等に提示される。これにより、管理者は、変形前３Ｄモデル５０１上に設定された複数の制御点を確認することができる。ここで、例えば管理者が複数の制御点を確認した結果、制御点の変更等を望む場合、制御点変更部３０４は、例えば管理者の操作に応じて当該制御点の変更（例えば、制御点の移動、追加及び削除等）を行う。これによれば、ユーザの意図する頂点を変形前３Ｄモデル５０１上に設定することが可能となる。

再び図４に戻ると、メッシュデータ生成部３０７は、衣服領域抽出部３０６によって抽出された衣服領域６０１をメッシュに変換する（つまり、メッシュ状に分割する）ことによって当該衣服領域６０１のメッシュデータ（つまり、メッシュ化された衣服領域６０１を表すメッシュデータ）を生成する（ステップＳ５）。

ここで、図９は、メッシュデータ生成部３０７によって生成されたメッシュデータ８０１を示す。図９においては便宜的に１つの頂点のみに参照符号が付されているが、メッシュデータ８０１は、頂点８０１ａを含む複数の頂点を有する。この複数の頂点は、メッシュ状に分割された衣服領域６０１中の小さな領域の各々の頂点である。このようなメッシュデータの生成は、例えば汎用のＣＧ（Computer Graphics）ツール等を用いて実現されても構わない。

再び図４に戻ると、影響度算出部３０８は、制御点設定部３０３によって変形前３Ｄモデル５０１上に設定された複数の制御点の各々及びメッシュデータ生成部３０７によって生成されたメッシュデータ８０１が有する複数の頂点の各々の組み合わせ毎の影響度（つまり、各頂点に対する各制御点の影響度）を算出する（ステップＳ６）。

ここで、複数の頂点のうちの１の頂点（以下、対象頂点と表記）８０１ａに対する複数の制御点のうちの１の制御点（以下、対象制御点と表記）５０１ａの影響度を算出する際の処理について具体的に説明する。

この場合、影響度算出部３０８は、図１０に示すように、上述した３Ｄモデル投影部３０２が変形前３Ｄモデル５０１をスクリーン面に投影した画像９０１に対して、メッシュデータ生成部３０７によって生成されたメッシュデータ（つまり、メッシュ化された衣服領域６０１を表すメッシュデータ）を重ね合わせた画像９０２を生成する。なお、画像９０２は、被写体４０２が衣服４０３を着用した状態を表す画像である。

次に、影響度算出部３０８は、対象頂点８０１ａに対する対象制御点５０１ａの影響度として、画像９０２における変形前３Ｄモデル５０１の領域（つまり、変形前３Ｄモデル５０１をスクリーン面に投影した領域）とメッシュデータ８０１の領域（つまり、メッシュデータ８０１によって表される衣服領域６０１）との和領域９０３内での対象制御点５０１ａと対象頂点８０１ａとの間の距離を算出する。

ここで、図１１を参照して、影響度算出部３０８によって影響度として算出される対象制御点５０１ａと対象頂点８０１ａとの間の距離について具体的に説明する。図１１は、図１０に示す領域９０３（変形前３Ｄモデル５０１の領域とメッシュデータ８０１の領域との和領域）を拡大した図である。

図１１に示す例では、対象制御点５０１ａは、変形前３Ｄモデル５０１（の領域）の腕の内側の位置に設定されているものとする。一方、対象頂点８０１ａは、メッシュデータ８０１の中央部付近に配置されているものとする。

この場合、影響度算出部３０８は、領域９０３内を通る対象頂点８０１ａから対象制御点５０１ａまでの最短経路１００１を算出し、当該算出された最短経路に基づいて当該対象制御点５０１ａと対象頂点８０１ａとの間の距離を算出する。

なお、対象制御点５０１ａと対象頂点８０１ａとの間の距離が影響度として算出される場合、当該影響度は、値（つまり、距離）が小さいほど対象頂点８０１ａに対する対象制御点５０１ａの影響が大きいことを表す。

ここで、図１１に示す例のように、対象頂点８０１ａから対象制御点５０１ａまでの経路が折れ曲がる場合には、当該折れ曲がる角度に応じた値を乗算または加算等することによって、当該経路に基づいて算出される距離を増大する（つまり、対象頂点８０１ａに対する対象制御点５０１ａの影響が小さくなる）ようにしてもよい。

また、対象頂点８０１ａから対象制御点５０１ａまでの経路が変形前３Ｄモデル（被写体４０２）のスケルトン（骨）と交差する場合には、当該経路に基づいて算出される距離を増大するようにしてもよい。なお、変形前３Ｄモデルのスケルトン（の位置）は、当該変形前３Ｄモデルにおける関節の位置等から推定されるものとする。

本実施形態においては、このような対象制御点５０１ａと対象頂点８０１ａとの間の距離を影響度として算出することにより、例えば３Ｄモデル５０１の腕の位置に設定された制御点と胴の位置に設定された制御点が相互に影響しないようにすることができる。

再び図４に戻ると、３Ｄモデル取得部３０１は、ステップＳ１において取得された変形前３Ｄモデル５０１を変形することによって変形後３Ｄモデルを取得する（ステップＳ７）。なお、この変形後３Ｄモデルは、例えば変形前３Ｄモデルの向き、姿勢及び体型の少なくとも１つを変形（変更）することによって生成されるものとする。

ここで、図１２は、３Ｄモデル取得部３０１によって取得された変形後３Ｄモデル５０２を示す。図１２に示す例では、変形後３Ｄモデル５０２は、上述した図５に示す変形前３Ｄモデル５０１の向きを１０度程度変更した３Ｄモデルの例を示している。変形後３Ｄモデル５０２は、変形前３Ｄモデル５０１と同様の複数の頂点から構成されている。変形前３Ｄモデルと変形後３Ｄモデルとでは、対応する頂点（つまり、構造的に同一の位置の頂点）には同一の頂点番号が割り当てられている。

なお、変形前３Ｄモデルとの間で頂点（に割り当てられている頂点番号）の対応が取れるのであれば、例えば上述した回転台４０１を回転させることによって向きが変更された被写体４０２を第１の撮像部１００が撮像することによって出力されたデプス画像に基づいて変形後３Ｄモデルが取得（生成）されても構わない。

再び図４に戻ると、制御点設定部３０３は、３Ｄモデル取得部３０１によって取得された変形後３Ｄモデル５０２上に複数の制御点を設定する（ステップＳ８）。この場合、制御点設定部３０３は、変形後３Ｄモデル５０２を構成する複数の頂点のうち、変形前３Ｄモデル５０１上に設定された制御点に対応する制御点を設定する（つまり、変形前３Ｄモデル５０１上に制御点として設定された頂点に対応する頂点を制御点として設定する）。具体的には、制御点設定部３０３は、上述したステップＳ４において制御点設定部３０３に保持された頂点番号（つまり、変形前３Ｄモデル５０１上に設定された複数の制御点の各々に割り当てられている頂点番号）と同一の頂点番号が割り当てられている頂点を制御点として設定する。

ここで、図１３は、図１２に示す変形後３Ｄモデル５０２上に設定された制御点の一例を示す。図１３においては便宜的に１つの制御点のみに参照符号が付されているが、変形後３Ｄモデル５０２上には、制御点５０２ａを含む複数の制御点が設定（配置）されている。なお、図８に示す変形前３Ｄモデル５０１上に設定されている制御点５０１ａと同一の位置（左腕部）に設定されている制御点５０２ａは、当該制御点５０１ａに対応する制御点（つまり、当該制御点５０１ａと同一の頂点番号が割り当てられた制御点）である。

再び図４に戻ると、メッシュデータ変形部３０９は、ステップＳ４において変形前３Ｄモデル上に設定された複数の制御点、ステップＳ７において算出された影響度（つまり、各頂点に対する各制御点の影響度）及びステップＳ８において変形後３Ｄモデル上に設定された複数の制御点に基づいて、ステップＳ５において生成されたメッシュデータを変形する（ステップＳ９）。この場合、メッシュデータ変形部３０９は、例えば変形前３Ｄモデル及び変形後３Ｄモデル上に設定された対応する制御点の移動量（ベクトル）を影響度で加重平均することによって、メッシュデータが有する複数の頂点の各々の位置を決定（変更）する。このような処理が実行されることによって、図１４に示すように、図９に示すメッシュデータ８０１が変形されたメッシュデータ（変形後メッシュデータ）８０２が生成される。

なお、このメッシュデータの変形アルゴリズムとしては、例えばＲｉｇｉｄ Ｄｅｆｏｒｍａｔｉｏｎの手法を用いることができる。この手法において用いられる距離としては、上述した影響度を用いればよい。

以下、Ｒｉｇｉｄ Ｄｅｆｏｒｍａｔｉｏｎの手法を用いた場合におけるメッシュデータの変形処理について具体的に説明する。ここでは、メッシュデータが有する複数の頂点のうちのある頂点ｊの位置を決定する場合について説明する。なお、ｊは、メッシュデータが有する頂点のインデックスである。

まず、メッシュデータ変形部３０９は、以下の式（１）に基づいて、全ての制御点ｉについてｗ_ｉを算出する。なお、ｉは、変形前３Ｄモデル５０１上に設定された制御点のインデックスである。

この式（１）において、Ｄ_ｉは、頂点ｊから制御点ｉまでの距離（つまり、頂点ｊに対する制御点ｉの影響度）である。また、式（１）におけるαは、定数であり、例えば１または２等とすることができる。

次に、メッシュデータ変形部３０９は、以下の式（４）に基づいて、μを算出する。

次に、メッシュデータ変形部３０９は、以下の式（６）に基づいて、Ａ_ｉを算出する。

本実施形態においては、上記した式（１）〜式（１０）を用いて、メッシュデータが有する複数の頂点の全てについて変形後メッシュデータにおける２次元座標が算出される。メッシュデータが有する複数の頂点の各々の位置を、このように算出された２次元座標とすることで、図９に示すメッシュデータ８０１を変形後メッシュデータ８０２に変形することができる。

メッシュデータにおけるメッシュの面を構成するための頂点間の接続関係は、ステップＳ９の処理においては変化しないものとする。また、上記したようにメッシュデータの変形アルゴリズムにおいて用いられるベクトルは、全て行ベクトルであるものとする。

なお、上述したように対象頂点８０１ａから対象制御点５０１ａまでの経路が変形前３Ｄモデルのスケルトンと交差する場合に当該経路に基づいて算出される距離を増大させるようにした場合、スケルトンに近い領域で変形後メッシュデータ８０２内のメッシュが裏返る等の歪みが生じる場合がある。この場合には、変形後メッシュデータ８０２の輪郭付近の頂点を固定し、当該変形後メッシュデータ８０２が有する各頂点（座標）に対しラプラシアンフィルタを適用することによって、当該変形後メッシュデータ８０２から歪みが除去されるようにしてもよい。

次に、衣服画像生成部３１０は、衣服撮影画像及び変形後メッシュデータ８０２を用いて衣服４０３の画像（衣服画像）を生成する（ステップＳ１０）。

ここで、上述したステップＳ５において生成されたメッシュデータ（以下、変形前メッシュデータと表記）８０１によって表される衣服領域６０１の形状は、衣服撮像画像に含まれる衣服４０３の形状と一致する。このため、変形前メッシュデータ８０１が有する複数の頂点に対応する色彩は衣服撮影画像から特定可能である。

このため、衣服画像生成部３１０は、変形後メッシュデータ８０２が有する複数の頂点の各々に対して対応する色彩を付加していくことにより、例えば図１５に示すような衣服画像７０２を生成することができる。なお、図１５に示す衣服画像７０２は、上述した図７に示す衣服画像７０１を変形したものであり、変形後３Ｄモデル５０２が衣服４０３を着用した場合における当該衣服４０３の状態（つまり、第２の撮像部２００によって撮像された被写体４０２が着用した衣服４０３とは向きを変えた状態）を表す画像である。

次に、提示処理部３１１は、衣服画像生成部３１０によって生成された衣服画像７０２を提示する（ステップＳ１１）。これにより、管理者は、衣服画像生成部３１０によって衣服画像７０２を確認することができる。

ここで、管理者は、衣服画像７０２を確認した結果、当該衣服画像７０２が適切でない（つまり、衣服画像７０２の修正が必要である）と判断される場合には、上述した変形前３Ｄモデル５０１上に設定された制御点の変更（例えば、制御点の移動、追加及び削除等）を指示することができる。

この場合、変形前３Ｄモデル５０１上に設定された制御点の変更が指示されたか否かが判定される（ステップＳ１２）。

制御点の変更が指示されたと判定された場合（ステップＳ１２のＹＥＳ）、例えば管理者の操作に応じて当該制御点が変更された上で、上述したステップＳ６に戻って処理が繰り返される。

一方、制御点の変更が指示されていないと判定された場合（ステップＳ１２のＮＯ）、すなわち、衣服画像７０２の修正が必要でない場合には、当該衣服画像７０２は、衣服画像格納部３１２に蓄積される（ステップＳ１３）。この場合、衣服画像７０２は、例えば変形後３Ｄモデル５０２の状態（向き、姿勢及び体型等）と対応づけて蓄積される。

ここでは、例えば変形前３Ｄモデル５０１の向きを変更した変形後３Ｄモデル５０２を取得することによって、被写体４０２が着用した衣服４０３とは向きを変えた状態を表す衣服画像７０２が生成されるものとして説明したが、例えば図１６に示すように腕の位置を変更した変形後３Ｄモデル５０３を取得することによって、被写体４０２が着用した衣服４０３とは袖の位置を変えた状態の衣服画像を生成することも可能である。このように本実施形態においては、変形前３Ｄモデル５０１の向き、姿勢及び体型を変更した様々な変形後３Ｄモデルを取得（生成）することによって、様々な状態（向き、姿勢または体型）の被写体が衣服４０３を着用した場合における当該衣服４０３の状態を表す衣服画像を生成することが可能となる。具体的には、変形前３Ｄモデル５０１の向いている角度（例えば、回転角度０度）から±５度及び±１０度の向きの衣服画像、腕の開き方が異なる衣服画像、異なる体型にフィットした状態の衣服画像等を生成することが可能となる。

上記したように本実施形態においては、被写体４０２の変形前３Ｄモデル（第１の３次元モデル）５０１を取得し、衣服撮像画像から抽出された衣服領域６０１をメッシュ状に分割することによってメッシュデータ８０１を生成し、変形前３Ｄモデル５０１を変形することによって変形後３Ｄモデル（第２の３次元モデル）５０２を取得する。更に、本実施形態においては、変形前３Ｄモデル５０１上に設定された複数の制御点（第１の制御点）から変形後３Ｄモデル５０２上に設定された複数の制御点（第２の制御点）への移動量に基づいてメッシュデータ８０１を変形し、衣服撮影画像及び変形されたメッシュデータ８０２を用いて衣服画像を生成する。

すなわち、本実施形態においては、このような構成により、衣服４０３を着用した、特定の向き、姿勢及び体型の被写体（例えば、マネキン）４０２を第２の撮像部２００によって撮像するのみで、異なる向き、姿勢及び体型の被写体が衣服４０３を着用した場合における当該衣服４０３の状態を表す衣服画像（つまり、被写体４０２が着用した衣服４０３の画像７０１を２次元的に変形した衣服画像）７０２を生成することが可能となる。このため、本実施形態においては、衣服画像の生成に必要なコスト及び時間を削減することができ、仮想試着に用いられる衣服画像を容易に生成することが可能となる。

また、本実施形態においては、変形前３Ｄモデル５０１が変形した場合における当該変形前３Ｄモデル５０１上に設定された複数の制御点の各々の移動が、メッシュデータ８０１が有する複数の頂点の各々に対して与える影響の度合いを表す影響度を算出し、当該影響度を用いてメッシュデータを変形する。なお、本実施形態において算出される影響度は、被写体４０２が衣服４０３を着用した状態を表すように変形前３Ｄモデル５０１上にメッシュデータ８０１を重ね合わせた場合における当該変形前３Ｄモデル５０１の領域と当該メッシュデータ８０１によって表される衣服領域６０１との和領域内での各制御点と各頂点との間の距離を含む。本実施形態においては、このような構成により、例えば３Ｄモデル上に設定された腕の制御点と胴の制御点が互いに影響しないようにメッシュデータを変形することが可能となるため、より適切にメッシュデータを変形でき、結果として精度の高い衣服画像７０２を生成することが可能となる。

また、本実施形態においては、例えば変形前３Ｄモデル５０１の外周に位置する頂点であって、当該変形前３Ｄモデル５０１における身体的特徴点に該当する頂点を制御点として当該変形前３Ｄモデル５０１上に設定することにより、変形前３Ｄモデル５０１及び変形後３Ｄモデル５０２間での制御点の移動を適切に反映するようにメッシュデータを変形することが可能となる。

本実施形態に係る画像処理装置３００によって様々なパターン（向き、姿勢及び体型）の衣服画像を蓄積しておくことによって、上述したように店舗内においてユーザが仮想試着を行う際には、例えば撮像部によって撮像された当該ユーザの体型パラメータを取得し、当該体型パラメータと類似する体型パラメータに対応づけられた衣服画像を選択することができる。これにより、ユーザが衣服を着用した状態（衣服がユーザの向き、姿勢及び体型にフィットした状態）を表す精度の高い合成画像を表示することが可能となる。

なお、本実施形態においては、様々なパターンの衣服画像を蓄積しておくものとして説明したが、例えば衣服４０３毎に、当該衣服４０３を着用した被写体４０２の３Ｄモデル（つまり、変形前３Ｄモデル）５０１及び衣服撮像画像のみを蓄積しておき、上記した仮想試着時に、ユーザの状態に応じた変形後３Ｄモデルを取得して、当該ユーザの向き、姿勢及び体型にフィットする衣服画像を生成するようにしても構わない。すなわち、本実施形態における衣服画像の生成は、店舗内における仮想試着時に実行されても構わない。

（第２の実施形態）
次に、第２の実施形態について説明する。図１７は、本実施形態に係る画像処理装置の主として機能構成を示すブロック図である。なお、前述した図３と同様の部分には同一参照符号を付してその詳しい説明を省略する。ここでは、図３とは異なる部分について主に述べる。

また、本実施形態に係る画像処理装置を含む画像処理システムの構成は、前述した第１の実施形態と同様であるため、適宜、図１及び図２を用いて説明する。

図１７に示すように、本実施形態に係る画像処理装置１１００は、境界情報取得部１１０１及び奥行き情報算出部１１０２を含む。

ここで、例えば被写体４０２が着用した衣服４０３が腕または胴体に膨らみがある（ルーズな）衣服である場合には、衣服撮像画像から抽出された衣服領域において腕と胴体とが一体化する可能性がある。このように腕と胴体とが一体化した場合には、例えば腕の位置に設定されている制御点と胴体に配置されている頂点との間の最短距離が短くなる（つまり、当該頂点に対する当該制御点の影響度が大きくなる）ため、メッシュデータを変形する際に、腕の位置の変化に応じて胴体にも歪みが生じる場合がある。

そこで、本実施形態において、境界情報取得部１１０１は、衣服領域抽出部３０６によって抽出された衣服領域の境界を示す境界情報を取得する。なお、境界情報取得部１１０１によって取得された境界情報は、後述するように変形前３Ｄモデル上に設定された複数の制御点の各々とメッシュデータが有する複数の頂点の各々との間の距離（つまり、各頂点に対する各制御点の影響度）を算出する際に用いられる。

また、前述した第１の実施形態における衣服領域のメッシュデータは、２次元データである。このため、メッシュデータを変形した場合に、例えば腕と胴体とのメッシュ同士が重なり合うことがある。このようなメッシュデータを用いて衣服画像を生成した場合には、当該衣服画像が正しく描画されない可能性がある。

そこで、本実施形態において、奥行き情報算出部１１０２は、メッシュデータ生成部３０７によって生成されたメッシュデータが有する複数の頂点の各々に対応する奥行き情報を算出する。なお、この複数の頂点の各々に対応する奥行き情報（座標）は、制御点設定部３０３によって変形後３Ｄモデル上に設定された制御点（頂点）に付加されている３次元位置（座標）に含まれる奥行き情報（当該制御点の第２の撮像部２００に対する奥行き方向の位置を示す情報）に基づいて算出される。奥行き情報算出部１１０２によって算出された奥行き情報は、後述するように変形後メッシュデータを用いて衣服画像を生成する際に用いられる。

次に、図１８のフローチャートを参照して、本実施形態に係る画像処理装置１１００の処理手順について説明する。

まず、前述した図４に示すステップＳ１〜Ｓ３の処理に相当するステップＳ２１〜Ｓ２３の処理が実行される。

次に、境界情報取得部１１０１は、衣服領域抽出部３０６によって衣服撮像画像から抽出された衣服領域の境界（領域境界）を示す境界情報を取得する（ステップＳＳ２４）。

具体的には、上記したステップＳ２３において衣服領域が抽出された場合、当該衣服領域は、管理者等に対して提示される。これにより、管理者は、衣服領域抽出部３０６によって抽出された衣服領域（つまり、抽出結果）を確認することができる。

ここで、図１９は、衣服撮像画像取得部３０５によって取得された衣服撮像画像の一例を示す。また、図２０は、図１９に示す衣服撮像画像から抽出された衣服領域の一例を示す。この図２０に示す衣服領域においては、腕と胴体とが一体化している。このような衣服領域（がメッシュ化されたメッシュデータ）では、後述する影響度の算出処理において、例えば腕の位置に設定されている制御点と胴体に配置されている頂点との間の最短距離が短く算出されてしまうため、影響度が適切でない。

この場合、管理者は、図２１に示すように、例えば提示された衣服領域上で、境界（を表す境界情報）を指定することができる。図２１に示す例では、衣服領域の両脇の部分において境界１２０１及び１２０２が指定されている。

これにより、ステップＳ２４において、境界情報取得部１１０１は、上記したように管理者によって指定された境界情報を取得することができる。

このように境界情報取得部１１０１によって取得された境界情報は、属性情報として衣服領域に付加される（与えられる）。

ステップＳ２４の処理が実行されると、前述した図４に示すステップＳ４及びＳ５の処理に相当するステップＳ２５及びＳ２６の処理が実行される。

次に、奥行き情報算出部１１０２は、メッシュデータ生成部３０７によって生成されたメッシュデータが有する複数の頂点の各々に対応する奥行き情報を算出する（ステップＳ２７）。

具体的には、奥行き情報算出部１１０２は、例えば上述したように被写体４０２が衣服４０３を着用した状態を表すように変形前３Ｄモデル上にメッシュデータを重ね合わせた場合における、当該メッシュデータが有する複数の頂点の各々の近傍に位置する制御点（つまり、変形前３Ｄモデルを構成する頂点）に対応する変形後３Ｄモデルに付加されている３次元位置（座標）から当該頂点の奥行き方向の位置を示す座標（つまり、奥行き情報）を算出（補間）する。このように奥行き情報算出部１１０２によって算出されたメッシュデータが有する複数の頂点の各々に対応する奥行き情報は、当該頂点に付加される。

次に、影響度算出部３０８は、制御点設定部３０３によって変形前３Ｄモデル上に設定された複数の制御点の各々及びメッシュデータ生成部３０７によって生成されたメッシュデータが有する複数の頂点の各々の組み合わせ毎の影響度（各頂点に対する各制御点の影響度）を算出する（ステップＳ２８）。

この場合、影響度算出部３０８は、前述した第１の実施形態において説明したように、各頂点から各制御点までの最短経路に基づいて、各頂点に対する各制御点の影響度（つまり、各頂点と各制御点との間の距離）を算出する。本実施形態において、この場合における最短経路は、図２２に示すように、上記した衣服領域（のメッシュデータ）に付加された境界情報によって示される境界１２０１及び１２０２を跨がない経路（例えば、経路１３０１）であるものとする。

ステップＳ２８の処理が実行されると、図４に示すステップＳ７〜Ｓ９の処理に相当するステップＳ２９〜Ｓ３１の処理が実行される。

次に、衣服画像生成部３１０は、変形後メッシュデータが有する複数の頂点の各々に対して対応する色彩を付加していくことにより衣服画像を生成する（ステップＳ３２）。このとき、衣服画像生成部３１０は、例えばＺバッファを併用することにより正しい奥行き関係で衣服画像を生成する。具体的には、衣服画像生成部３１０は、変形後メッシュデータが有する複数の頂点の各々に付加された奥行き情報に基づいて隠面消去処理等を実行する。

ステップＳ３２の処理が実行されると、前述した図４に示すステップＳ１１〜Ｓ１３の処理に相当するステップＳ３３〜Ｓ３５の処理が実行される。なお、ステップＳ３４において制御点の変更が指示されたと判定された場合、上述したステップＳ２７に戻って処理が繰り返される。

上記したように本実施形態においては、メッシュデータが有する複数の頂点の各々に対して当該頂点に対応する奥行き情報を付加し、衣服画像を生成する際に、変形されたメッシュデータ（変形後メッシュデータ）に付加された奥行き情報に基づいて隠面消去処理を実行することにより、正しい奥行き関係での描画を行うことが可能となるため、精度の高い衣服画像を生成することが可能となる。

更に、本実施形態においては、抽出された衣服領域の境界を示す境界情報を取得し、当該境界情報を用いて各制御点と各頂点との間の距離を算出することにより、適切な影響度を算出することが可能となり、結果として、変形前３Ｄモデル及び変形後３Ｄモデルの変化に応じた正確な衣服画像を生成することが可能となる。

（第３の実施形態）
次に、第３の実施形態について説明する。図２３は、本実施形態に係る画像処理装置の主として機能構成を示すブロック図である。なお、前述した図３と同様の部分には同一参照符号を付してその詳しい説明を省略する。ここでは、図３と異なる部分について主に述べる。

また、本実施形態に係る画像処理装置を含む画像処理システムの構成は、前述した第１の実施形態と同様であるため、適宜、図１及び図２を用いて説明する。

図２３に示すように、本実施形態に係る画像処理装置１４００は、衣服撮像画像取得部１４０１及び衣服画像生成部１４０２を含む。

衣服撮像画像取得部１４０１は、第２の撮像部２００から出力された、衣服４０３を着用した被写体４０２を含む衣服撮像画像を取得する。この衣服撮像画像取得部１４０１によって取得される衣服撮像画像には、例えば第１の状態の被写体４０２を含む衣服撮像画像（第１の衣服撮像画像）及び当該第１の状態とは異なる第２の状態の被写体４０２を含む衣服撮像画像（第２の衣服撮像画像）が含まれる。具体的には、第１の衣服撮像画像は第２の撮像部２００（及び第１の撮像部１００）に対して例えば略正面方向を向いた被写体４０２を含む衣服撮像画像を含み、第２の衣服撮像画像は当該略正面方向から１０度程度回転した方向（角度）を向いた被写体４０２を含む衣服撮像画像を含む。

なお、本実施形態において、３Ｄモデル取得部３０１によって取得される変形前３Ｄモデルは、被写体４０２の第１の状態（例えば、向き、姿勢及び体型等）を表すモデルとする。一方、３Ｄモデル取得部３０１によって取得される変形後３Ｄモデルは、被写体４０２の第２の状態（例えば、向き、姿勢及び体型等）を表すモデルとする。

衣服画像生成部１４０２は、衣服撮像画像取得部１４０１によって取得された第２の衣服撮像画像及びメッシュデータ変形部３０９によって変形されたメッシュデータ（変形後メッシュデータ）を用いて衣服４０３の画像を生成する。

次に、図２４のフローチャートを参照して、本実施形態に係る画像処理装置１４００の処理手順について説明する。

まず、３Ｄモデル取得部３０１は、第１の撮像部１００から出力された第１の状態の被写体４０２のデプス画像に基づいて、当該第１の状態の被写体４０２の３Ｄモデル（変形前３Ｄモデル）を取得する（ステップＳ４１）。このステップＳ４１において取得される変形前３Ｄモデルは、例えば略正面方向を向いた被写体４０２を表すモデルである。

次に、衣服撮像画像取得部１４０１は、第２の撮像部２００から出力された第１の衣服撮像画像を取得する。この第１の衣服撮像画像は、上述した第１の撮像部１００による撮像時と同等の状態（つまり、第１の状態）で衣服４０３を着用した被写体４０２を含む画像である。換言すれば、第１の衣服撮像画像は、例えば衣服４０３を着用し、かつ、略正面方向を向いた被写体４０２を含む画像である。

また、衣服撮像画像取得部１４０１は、第１の衣服撮像画像に加えて、第１の状態とは異なる状態（つまり、第２の状態）で衣服４０３を着用した被写体４０２を含む第２の衣服撮像画像を取得する。この第２の衣服撮像画像は、例えば衣服４０３を着用し、かつ、略正面方向から１０度程度回転した向き（角度）を向いた被写体４０２を含む画像である。

すなわち、衣服撮像画像取得部１４０１は、衣服４０３を着用した第１の状態の被写体４０２を含む第１の衣服撮像画像及び衣服４０３を着用した第２の状態の被写体４０２を含む第２の衣服撮像画像を取得する（ステップＳ４２）。

上記した第１及び第２の衣服撮像画像は、例えば前述した回転台４０１を手動で回転させながら第２の撮像部２００が被写体４０２を撮像することによって取得されてもよいし、自動的に回転させた回転台４０１に載置された被写体４０２を回転角度に応じて自動的に撮像するように第２の撮像部２００を制御することによって取得されても構わない。

以下、前述した図４に示すステップＳ３〜Ｓ９の処理に相当するステップＳ４３〜Ｓ４９の処理が実行される。

ここで、ステップＳ４７において取得される変形後３Ｄモデルは、例えば略正面方向から１０度程度回転した向き（角度）を向いた被写体４０２（つまり、第２の状態の被写体４０２）を表すモデルとする。

この場合、ステップＳ４９において変形されたメッシュデータ（変形後メッシュデータ）は、上述した第２の衣服撮像画像に含まれる第２の状態の被写体４０２が着用した衣服４０３の領域に相当する領域を表すデータとなる。

このため、衣服画像生成部１４０２は、第２の衣服撮像画像に対して変形後メッシュデータ（マスク画像）を適用する（つまり、マスク処理を実行する）ことによって、当該第２の衣服撮像画像から衣服４０３の領域を切り抜くことができる（ステップＳ５０）。これにより、衣服画像生成部１４０２は、衣服画像を生成する。

ステップＳ５０の処理が実行されると、前述した図４に示すステップＳ１１〜Ｓ１３の処理に相当するステップＳ５１〜Ｓ５３の処理が実行される。なお、ステップＳ５２において制御点の変更が指示されたと判定された場合には、例えば管理者の操作に応じて当該制御点が変更された上で、ステップＳ４６に戻って処理が繰り返される。

上記したように本実施形態においては、前述した第１の実施形態と同様に変形されたメッシュデータ（変形後メッシュデータ）を、衣服４０３を着用した第２の状態の被写体４０２を含む第２の衣服撮像画像に適用することによって衣服画像が生成される。

ここで、前述した第１の実施形態においては変形後メッシュデータが有する複数の頂点の各々に対して対応する色彩を付加していくことにより衣服画像を生成するため、当該衣服画像における衣服４０３の色彩（及び模様）等が実際の衣服４０３と異なってしまう場合がある。これに対して、本実施形態においては、第２の衣服撮像画像から衣服４０３の領域（部分）を切り抜くことが可能となるため、前述した第１の実施形態における衣服画像と比較して、より精度の高い衣服画像を生成することが可能となる。

なお、本実施形態においては、上述したように被写体４０２が載置された回転台４０１を自動的に回転させることによって様々な回転角度の衣服撮像画像を連続的に撮像（取得）しておくことにより、当該様々な角度（向き）に対応する衣服画像を容易に生成することが可能となる。同様に、異なる姿勢または体型の被写体４０２を含む衣服撮像画像を撮像しておくことにより、当該姿勢または体型に対応する衣服画像を生成することも可能である。

また、本実施形態においては、第２の衣服撮像画像中の衣服４０３の領域と上述した変形後メッシュデータによって表される衣服４０３の領域とが完全に一致しない場合がある。このため、変形後メッシュデータ（つまり、マスク画像）の主として境界部分に多段階（例えば、０〜２５５）の透過度を持たせるような構成とすることも可能である。これによれば、第２の衣服撮像画像中の衣服４０３の領域と上述した変形後メッシュデータによって表される衣服４０３の領域とに誤差が生じている場合であっても、当該誤差の影響を軽減することが可能となる。

（第４の実施形態）
次に、第４の実施形態について説明する。図２５は、本実施形態に係る画像処理装置の主として機能構成を示すブロック図である。なお、前述した図３及び図２３と同様の部分には同一参照符号を付してその詳しい説明を省略する。ここでは、図３及び図２３と異なる部分について主に述べる。

また、本実施形態に係る画像処理装置を含む画像処理システムの構成は、前述した第１の実施形態と同様であるため、適宜、図１及び図２を用いて説明する。

なお、本実施形態は、前述した第１の実施形態と第３の実施形態とを組み合わせた構成とする点で、前述した各実施形態とは異なる。

図２５に示すように、本実施形態に係る画像処理装置１５００は、第１画像生成部１５０１、第２画像生成部１５０２及び衣服画像生成部１５０３を含む。

第１画像生成部１５０１は、前述した第１の実施形態において説明した衣服画像生成部３１０に相当する機能部であり、変形後メッシュデータが有する複数の頂点の各々に対して対応する色彩を付加していくことにより衣服４０３の画像（以下、第１の画像と表記）を生成する。なお、変形後メッシュデータが有する複数の頂点の各々に対応する色彩は、衣服撮影画像（第１の衣服撮影画像）から特定可能である。

第２画像生成部１５０２は、前述した第３の実施形態において説明した衣服画像生成部１４０２に相当する機能部であり、第２の衣服撮影画像に対して変形後メッシュデータを適用することにより衣服４０３の画像（以下、第２の画像と表記）を生成する。

衣服画像生成部１５０３は、第１画像生成部１５０１によって生成された第１の画像及び第２画像生成部１５０２によって生成された第２の画像を用いて衣服画像を生成する。

次に、図２６のフローチャートを参照して、本実施形態に係る画像処理装置１５００の処理手順について説明する。

まず、前述した図２４に示すステップＳ４１〜Ｓ４９の処理に相当するステップＳ６１〜Ｓ６９の処理が実行される。

次に、第１画像生成部１５０１は、第１の衣服撮影画像及び変形後メッシュデータを用いて第１の画像を生成する（ステップＳ７０）。なお、第１画像生成部１５０１は、前述した図４に示すステップＳ１０の処理と同様の処理を実行することによって第１の画像を生成する。

また、第２画像生成部１５０２は、第２の衣服撮影画像及び変形後メッシュデータを用いて第２の画像を生成する（ステップＳ７１）。なお、第２画像生成部１５０２は、前述した図２４に示すステップＳ５０の処理と同様の処理を実行することによって第２の画像を生成する。

次に、衣服画像生成部１５０３は、第１画像生成部１５０１によって生成された第１の画像と第２画像生成部１５０２によって生成された第２の画像とを混合することによって衣服画像を生成する（ステップＳ７２）。

ここで、前述した第１の実施形態において説明した処理によって生成される衣服画像（つまり、第１の画像）は変形後メッシュデータ（が有する複数の頂点の各々）に対応する色彩を付していくことによって生成された画像であるため、当該画像中に背景領域等が含まれることはないが、上述したように当該画像における衣服４０３の色彩が実際の衣服４０３と異なってしまう場合がある。

一方、前述した第３の実施形態において説明した処理によって生成される衣服画像（つまり、第２の画像）は第２の衣服撮影画像から衣服４０３の領域を切り抜くことによって生成された画像であるため、当該画像における衣服４０３の色彩等に関しては高い精度を有する。しかしながら、第２の衣服撮影画像中の衣服４０３の領域と変形後メッシュデータによって表される衣服４０３の領域とが完全に一致しない場合には、当該第２の衣服撮影画像中の衣服４０３の領域が削られてしまうまたは衣服画像中に背景領域が含まれてしまう場合がある。

このため、本実施形態においては、図２７に示すように、輪郭付近の領域（以下、第１の領域）１６０１には第１の画像を採用し、当該輪郭付近以外の領域（以下、第２の領域）には第２の画像を採用するように、衣服画像が生成される。

なお、第１の領域は、例えば第１の画像における衣服４０３の輪郭線から内側方向に一定ピクセル数分の幅を有する領域と定義することができる。

ステップＳ７２の処理が実行されると、前述した図４に示すステップＳ１１〜Ｓ１３（図２３に示すステップＳ５１〜Ｓ５３）の処理に相当するステップＳ７３〜Ｓ７５の処理が実行される。なお、ステップＳ７４において制御点の変更が指示されたと判定された場合には、例えば管理者の操作に応じて当該制御点が変更された上で、ステップＳ６６に戻って処理が繰り返される。

上記したように本実施形態においては、前述した第１の実施形態において説明した処理によって生成される第１の画像と前述した第３の実施形態において説明した処理によって生成される第２の画像とを混合することによって衣服画像が生成される。本実施形態においては、このような構成により、例えば背景領域等が含まれることなく、色彩に関する精度の高い衣服画像を生成することが可能となる。

なお、本実施形態では第１の領域及び第２の領域にそれぞれ異なる画像（つまり、第１の画像及び第２の画像）を採用して衣服画像を生成するため、当該衣服画像において、第１の領域部分と第２の領域部分とが分離しているような不自然な状態となる場合がある。このため、本実施形態においては、図２８に示すように、第１の領域と第２の領域との境界領域において第１の画像及び第２の画像の不透明度（または透明度）を変化させる構成とすることで、当該画像間の境界が滑らかとなるようにすることも可能である。

以上説明した少なくとも１つの実施形態によれば、仮想試着に用いられる衣服の画像を容易に生成することが可能な画像処理装置、画像処理システム、画像処理方法及びプログラムを提供することが可能となる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１００…第１の撮像部、２００…第２の撮像部、３００，１１００，１４００，１５００…画像処理装置、３０１…３Ｄモデル取得部、３０２…３Ｄモデル投影部、３０３…制御点設定部、３０４…制御点変更部、３０５，１４０１…衣服撮像画像取得部、３０６…衣服領域抽出部、３０７…メッシュデータ生成部、３０８…影響度算出部、３０９…メッシュデータ変形部、３１０，１４０２，１５０３…衣服画像生成部、３１１…提示処理部、３１２…衣服画像格納部、１１０１…境界情報取得部、１１０２…奥行き情報算出部、１５０１…第１画像生成部、１５０２…第２画像生成部。

実施形態に係る画像処理装置は、第１の取得手段と、第１の設定手段と、第２の取得手段と、第３の取得手段と、変形手段と、生成手段とを具備する。前記第１の取得手段は、被写体に関する第１の３次元モデルを取得する。前記第１の設定手段は、前記第１の３次元モデル上に複数の第１の制御点を設定する。前記第２の取得手段は、衣服を着用した前記被写体を含む衣服撮像画像から抽出された前記衣服の領域をメッシュ化したメッシュデータを取得する。前記第３の取得手段は、前記第１の３次元モデルを変形することによって第２の３次元モデルを取得する。前記変形手段は、前記第１の３次元モデル上に設定された前記複数の第１の制御点の各々から前記第２の３次元モデル上における当該第１の制御点に対応する第２の制御点への移動量に基づいて、前記メッシュデータを変形する。前記生成手段は、前記衣服撮像画像及び前記変形されたメッシュデータを用いて前記衣服の画像を生成する。

Claims (12)

1. 被写体の第１の３次元モデルを取得する第１の取得手段と、
   前記取得された第１の３次元モデル上に複数の第１の制御点を設定する第１の設定手段と、
   衣服を着用した前記被写体を含む衣服撮像画像を取得する第２の取得手段と、
   前記取得された衣服撮像画像から、当該衣服撮像画像に含まれる前記被写体が着用した前記衣服の領域を抽出する抽出手段と、
   前記抽出された衣服の領域をメッシュ状に分割することによって、メッシュ化された当該衣服の領域を表すメッシュデータを生成する第１の生成手段と、
   前記取得された第１の３次元モデルを変形することによって第２の３次元モデルを取得する第３の取得手段と、
   前記取得された第２の３次元モデル上に、前記複数の第１の制御点に対応する複数の第２の制御点を設定する第２の設定手段と、
   前記第１の３次元モデル上に設定された複数の第１の制御点から前記第２の３次元モデル上に設定された複数の第２の制御点への移動量に基づいて、前記生成されたメッシュデータを変形する変形手段と、
   前記取得された衣服撮像画像及び前記変形されたメッシュデータを用いて前記衣服の画像を生成する第２の生成手段と
   を具備することを特徴とする画像処理装置。
2. 前記生成されたメッシュデータは、複数の頂点を有し、
   前記第１の３次元モデルが変形した場合における当該第１の３次元モデル上に設定された複数の第１の制御点の各々の移動が、前記生成されたメッシュデータが有する複数の頂点の各々に対して与える影響の度合いを表す影響度を、当該第１の制御点及び頂点の組み合わせ毎に算出する影響度算出手段を更に具備し、
   前記変形手段は、前記算出された影響度を用いて前記メッシュデータを変形する
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記影響度算出手段は、前記第１の制御点及び頂点の組み合わせ毎に算出される影響度として、前記被写体が前記衣服を着用した状態を表すように前記第１の３次元モデル上に前記生成されたメッシュデータを重ね合わせた場合における当該第１の３次元モデルの領域と当該メッシュデータによって表される衣服の領域との和領域内での当該第１の制御点と当該頂点との間の距離を算出することを特徴とする請求項２記載の画像処理装置。
4. 前記第１の３次元モデル上に設定される複数の第１の制御点は、当該第１の３次元モデルにおける身体的特徴点を含むことを特徴とする請求項３記載の画像処理装置。
5. 前記第１の３次元モデル上に設定される複数の第１の制御点は、当該第１の３次元モデルを投影した場合における当該第１の３次元モデルの外周に位置することを特徴とする請求項３記載の画像処理装置。
6. 前記抽出された衣服の領域の境界を示す境界情報を取得する第４の取得手段を更に具備し、
   前記影響度算出手段は、前記取得された境界情報によって示される境界に基づいて前記第１の制御点と前記頂点との間の距離を算出する
   ことを特徴とする請求項３記載の画像処理装置。
7. 奥行き情報算出手段を更に具備し、
   前記第１の取得手段は、撮像部によって撮像された被写体の第１の３次元モデルを取得し、
   前記第１の３次元モデル上に設定される複数の第１の制御点の各々は、当該第１の制御点の前記撮像部に対する奥行き方向の位置を示す奥行き情報を含み、
   前記奥行き情報算出手段は、前記第１の３次元モデル上に設定された複数の第１の制御点の各々に含まれる奥行き情報に基づいて、前記生成されたメッシュデータが有する複数の頂点の各々に対応する奥行き情報を算出し、
   前記第２の生成手段は、前記衣服の画像を生成する際に、前記変形されたメッシュデータが有する複数の頂点の各々に対応する奥行き情報に基づいて隠面消去処理を実行する
   ことを特徴とする請求項１記載の画像処理装置。
8. 第１の状態の被写体の第１の３次元モデルを取得する第１の取得手段と、
   前記取得された第１の３次元モデル上に複数の第１の制御点を設定する第１の設定手段と、
   衣服を着用した前記第１の状態の被写体を含む第１の衣服撮像画像及び前記衣服を着用した第２の状態の被写体を含む第２の衣服撮像画像を取得する第２の取得手段と、
   前記取得された第１の衣服撮像画像から、当該第１の衣服撮像画像に含まれる前記第１の状態の被写体が着用した前記衣服の領域を抽出する抽出手段と、
   前記抽出された衣服の領域をメッシュ状に分割することによって、メッシュ化された当該衣服の領域を表すメッシュデータを生成する第１の生成手段と、
   前記取得された第１の３次元モデルを変形することによって前記第２の状態の被写体の第２の３次元モデルを取得する第３の取得手段と、
   前記取得された第２の３次元モデル上に、前記複数の第１の制御点に対応する複数の第２の制御点を設定する第２の設定手段と、
   前記第１の３次元モデル上に設定された複数の第１の制御点から前記第２の３次元モデル上に設定された複数の第２の制御点への移動量に基づいて、前記生成されたメッシュデータを変形する変形手段と、
   前記取得された第２の衣服撮像画像及び前記変形されたメッシュデータを用いて前記衣服の画像を生成する第２の生成手段と
   を具備することを特徴とする画像処理装置。
9. 第１の状態の被写体の第１の３次元モデルを取得する第１の取得手段と、
   前記取得された第１の３次元モデル上に複数の第１の制御点を設定する第１の設定手段と、
   衣服を着用した前記第１の状態の被写体を含む第１の衣服撮像画像及び前記衣服を着用した第２の状態の被写体を含む第２の衣服撮像画像を取得する第２の取得手段と、
   前記取得された第１の衣服撮像画像から、当該第１の衣服撮像画像に含まれる前記第１の状態の被写体が着用した前記衣服の領域を抽出する抽出手段と、
   前記抽出された衣服の領域をメッシュ状に分割することによって、メッシュ化された当該衣服の領域を表すメッシュデータを生成する第１の生成手段と、
   前記取得された第１の３次元モデルを変形することによって前記第２の状態の被写体の第２の３次元モデルを取得する第３の取得手段と、
   前記取得された第２の３次元モデル上に、前記複数の第１の制御点に対応する複数の第２の制御点を設定する第２の設定手段と、
   前記第１の３次元モデル上に設定された複数の第１の制御点から前記第２の３次元モデル上に設定された複数の第２の制御点への移動量に基づいて、前記生成されたメッシュデータを変形する変形手段と、
   前記取得された第１の衣服撮像画像及び前記変形されたメッシュデータを用いて第１の画像を生成する第２の生成手段と、
   前記取得された第２の衣服撮像画像及び前記変形されたメッシュデータを用いて第２の画像を生成する第３の生成手段と、
   前記生成された第１の画像及び前記生成された第２の画像に基づいて前記衣服の画像を生成する第４の生成手段と
   を具備することを特徴とする画像処理装置。
10. 被写体を撮像する撮像部と、画像処理装置と、格納部とを備える画像処理システムであって、
    前記画像処理装置は、
    前記撮像部によって撮像された被写体の第１の３次元モデルを取得する第１の取得手段と、
    前記取得された第１の３次元モデル上に複数の第１の制御点を設定する第１の設定手段と、
    前記撮像部によって撮像された、衣服を着用した前記被写体を含む衣服撮像画像を取得する第２の取得手段と、
    前記取得された衣服撮像画像から、当該衣服撮像画像に含まれる前記被写体が着用した前記衣服の領域を抽出する抽出手段と、
    前記抽出された衣服の領域をメッシュ状に分割することによって、メッシュ化された当該衣服の領域を表すメッシュデータを生成する第１の生成手段と、
    前記取得された第１の３次元モデルを変形することによって第２の３次元モデルを取得する第３の取得手段と、
    前記取得された第２の３次元モデル上に、前記複数の第１の制御点に対応する複数の第２の制御点を設定する第２の設定手段と、
    前記第１の３次元モデル上に設定された複数の第１の制御点から前記第２の３次元モデル上に設定された複数の第２の制御点への移動量に基づいて、前記生成されたメッシュデータを変形する変形手段と、
    前記取得された衣服撮像画像及び前記変形されたメッシュデータを用いて前記衣服の画像を生成する第２の生成手段と、
    を含み、
    前記格納部は、前記生成された前記衣服の画像を格納する
    ことを特徴とする画像処理システム。
11. 画像処理装置が実行する画像処理方法であって、
    被写体の第１の３次元モデルを取得するステップと、
    前記取得された第１の３次元モデル上に複数の第１の制御点を設定するステップと、
    衣服を着用した前記被写体を含む衣服撮像画像を取得するステップと、
    前記取得された衣服撮像画像から、当該衣服撮像画像に含まれる前記被写体が着用した前記衣服の領域を抽出するステップと、
    前記抽出された衣服の領域をメッシュ状に分割することによって、メッシュ化された当該衣服の領域を表すメッシュデータを生成するステップと、
    前記取得された第１の３次元モデルを変形することによって第２の３次元モデルを取得するステップと、
    前記取得された第２の３次元モデル上に、前記複数の第１の制御点に対応する複数の第２の制御点を設定するステップと、
    前記第１の３次元モデル上に設定された複数の第１の制御点から前記第２の３次元モデル上に設定された複数の第２の制御点への移動量に基づいて、前記生成されたメッシュデータを変形するステップと、
    前記取得された衣服撮像画像及び前記変形されたメッシュデータを用いて前記衣服の画像を生成するステップと
    を具備することを特徴とする画像処理方法。
12. 画像処理装置のコンピュータによって実行されるプログラムであって、
    前記コンピュータに、
    被写体の第１の３次元モデルを取得するステップと、
    前記取得された第１の３次元モデル上に複数の第１の制御点を設定するステップと、
    衣服を着用した前記被写体を含む衣服撮像画像を取得するステップと、
    前記取得された衣服撮像画像から、当該衣服撮像画像に含まれる前記被写体が着用した前記衣服の領域を抽出するステップと、
    前記抽出された衣服の領域をメッシュ状に分割することによって、メッシュ化された当該衣服の領域を表すメッシュデータを生成するステップと、
    前記取得された第１の３次元モデルを変形することによって第２の３次元モデルを取得するステップと、
    前記取得された第２の３次元モデル上に、前記前記複数の第１の制御点に対応する複数の第２の制御点を設定するステップと、
    前記第１の３次元モデル上に設定された複数の第１の制御点から前記第２の３次元モデル上に設定された複数の第２の制御点への移動量に基づいて、前記生成されたメッシュデータを変形するステップと、
    前記取得された衣服撮像画像及び前記変形されたメッシュデータを用いて前記衣服の画像を生成するステップと
    を実行させるためのプログラム。

Images