JP5991536B2 - メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム - Google Patents

Description

本発明は、顔のメイクアップ（化粧）を支援するメイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラムに関する。

近年、顔のメイクアップの仕方（以下、単に「メイク」という）の多様化が進んでいる。無数の選択肢の中から適切なメイクを選択することは、特にメイクについての十分な知識を有さない人にとって、困難である。あらゆるメイクを実際に試して判断および比較を行うことは、膨大な時間および手間を要するからである。

そこで、メイクアップが行われたときの顔のシミュレーション画像を生成して提示する技術が、例えば、特許文献１〜特許文献３に記載されている。特許文献１〜特許文献３に記載の技術（以下「従来技術」という）は、メイクアップの対象となる顔（以下、単に「顔」という）を撮影した画像を取得する。また、従来技術は、取得した画像に対して、口紅やチーク（頬紅）等を顔に施したときのメイクの状態を示す画像を重畳して、シミュレーション画像を生成する。そして、従来技術は、生成したシミュレーション画像を、表示装置に表示させる。

このような従来技術では、実際にメイクアップを行うことなくメイクの良し悪しを判断することができ、より少ない時間および手間で適切なメイクを選択することが可能となる。

特開２００１−３４６６２７号公報 特開２００３−４４８３７号公報 特開２０１２−１１３７４７号公報 特開２００７−２５７１６５号公報

ところで、メイクアップを行う人は、他者が行っているメイクが自分にも似合うか否かを確認してみたい、といった欲求を抱くことがある。例えば、友人が化粧により非常に美しく見えた場合や、斬新なメイクをしている芸能人やモデルを雑誌やテレビで見掛けた場合である。上述の従来技術によれば、所望のメイクを指定することにより、シミュレーション画像から、かかる確認を容易に行うことができる。

ところが、他者のメイクと同様のメイクを指定するためには、まず、そのメイクの詳細（肌用化粧剤の色、塗布濃度、および塗布範囲等）を特定し、更に、特定したメイクの情報を入力する操作を行わなければならない。一方で、メイクの詳細を問い合わせることは、特に、かかる相手が芸能人やモデルである場合、難しい。また、他者が行っているメイクの詳細を判断することは、特にメイクについての十分な知識を有さない人にとっては、困難である。

したがって、従来技術は、他者のメイクを参考にしたメイクアップの支援については、適切に行うことができないおそれがある。

本発明の目的は、他者のメイクを参考にしたメイクアップの支援を適切に行うことができる、メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラムを提供することである。

本発明の一態様に係るメイクアップ支援装置は、第１の顔を撮影した、第１の画像を取得する第１の画像取得部と、前記第１の画像から、前記第１の顔の顔部品の領域を取得する第１の顔部品取得部と、メイクアップが施された第２の顔を撮影した、第２の画像を取得する第２の画像取得部と、前記第２の画像から、前記第２の顔の顔部品の領域を取得する第２の顔部品取得部と、前記第２の顔の顔部品毎に、前記第２の顔の顔部品の前記領域に基づいて、前記第２の画像から、前記メイクアップの仕方であるメイクを取得する参考メイク取得部と、取得された前記メイクを、対応する前記第１の顔の前記顔部品の領域に対応付けてユーザに提示するメイク提示部と、を有する。

本発明の一態様に係るメイクアップ支援方法は、第１の顔を撮影した、第１の画像を取得するステップと、前記第１の画像から、前記第１の顔の顔部品の領域を取得するステップと、メイクアップが施された第２の顔を撮影した、第２の画像を取得するステップと、前記第２の画像から、前記第２の顔の顔部品の領域を取得するステップと、前記第２の顔の顔部品毎に、前記第２の顔の顔部品の前記領域に基づいて、前記第２の画像から、前記メイクアップの仕方であるメイクを取得するステップと、取得された前記メイクを、対応する前記第１の顔の前記顔部品の領域に対応付けてユーザに提示するステップと、を有する。

本発明の一態様に係るメイクアップ支援プログラムは、コンピュータに、第１の顔を撮影した、第１の画像を取得する処理と、前記第１の画像から、前記第１の顔の顔部品の領域を取得する処理と、メイクアップが施された第２の顔を撮影した、第２の画像を取得する処理と、前記第２の画像から、前記第２の顔の顔部品の領域を取得する処理と、前記第２の顔の顔部品毎に、前記第２の顔の顔部品の前記領域に基づいて、前記第２の画像から、前記メイクアップの仕方であるメイクを取得する処理と、取得された前記メイクを、対応する前記第１の顔の前記顔部品の領域に対応付けてユーザに提示する処理と、を実行させる。

本発明によれば、他者のメイクを参考にしたメイクアップの支援を適切に行うことができる。

本発明の実施の形態１に係るメイクアップ支援装置の構成の一例を示すブロック図 本発明の実施の形態２に係るメイクアップ支援装置の構成の一例を示すブロック図 実施の形態２におけるメイク位置テーブルの一例を示す図 実施の形態２におけるメイク色テーブルの一例を示す 実施の形態２における化粧品テーブルの一例を示す図 実施の形態２に係るメイクアップ支援装置の動作の一例を示すフローチャート 実施の形態２におけるユーザ画像の一例を示す図 実施の形態２における顔の特徴点の配置の一例を示す図 実施の形態２におけるユーザ顔部品情報の一例を示す図 実施の形態２におけるモデル画像の一例を示す図 実施の形態２における参考メイク情報の一例を示す図 実施の形態２におけるシミュレーション画像の一例を示す図

以下、本発明の各実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
本発明の実施の形態１は、本発明の基本的態様の一例である。

図１は、本実施の形態に係るメイクアップ支援装置の構成の一例を示すブロック図である。

図１において、メイクアップ支援装置１００は、第１の画像取得部１２０、第１の顔部品取得部１３０、第２の画像取得部１４０、第２の顔部品取得部１５０、参考メイク取得部１７０、およびメイク提示部１８０を有する。

第１の画像取得部１２０は、第１の顔を撮影した、第１の画像を取得する。第１の顔は、メイクアップのシミュレーション画像を生成する対象となる顔である。

第１の顔部品取得部１３０は、第１の画像から、第１の顔の顔部品の領域を取得する。

第２の画像取得部１４０は、メイクアップが施された第２の顔を撮影した、第２の画像を取得する。第２の顔は、例えば、雑誌に掲載されたモデルの顔である。

第２の顔部品取得部１５０は、第２の画像から、第２の顔の顔部品の領域を取得する。

参考メイク取得部１７０は、第２の顔の顔部品毎に、第２の顔の顔部品の領域に基づいて、第２の画像から、メイクアップの仕方であるメイクを取得する。

メイク提示部１８０は、取得されたメイクを、対応する第１の顔の顔部品の領域に対応付けてユーザに提示する。ユーザは、例えば、第１の顔を有する本人等、第１の顔に対してメイクアップを行う人である。

メイクアップ支援装置１００は、図示しないが、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、およびＲＡＭ（Random Access Memory）等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

このようなメイクアップ支援装置１００は、第２の顔に施されたメイクアップのメイクを顔部品毎に取得し、取得したメイクを、第１の顔の顔部品の領域に対応付けてユーザに提示することができる。第２の顔としては、例えば、他者の顔を採用することができる。したがって、メイクアップ支援装置１００は、他者のメイクを参考にしたメイクアップの支援を、適切に行うことができる。

（実施の形態２）
本発明の実施の形態２は、本発明の具体的態様の一例である。本実施の形態は、本発明を、デジタルカメラおよびタッチパネル付きディスプレイを備えた装置に適用した例である。

＜用語の説明＞
まず、本実施の形態において用いられる用語について説明する。

「顔部品」とは、目、眉、鼻、頬（ほお）骨、唇、輪郭等、顔の印象を特徴付ける部分を指すものとする。

「顔部品ＩＤ」とは、顔部品の識別情報である。

「顔部品の領域」とは、画像上あるいは実空間上で、顔部品が占める領域を指すものとし、目尻等、顔部品の特徴点の位置を含むものとする。

「メイク」とは、メイクアップの仕方（種類）を示し、肌用化粧剤の色、塗布濃度、および塗布範囲を少なくとも含むものとする。

「参考メイク情報」とは、メイクアップの支援を受けるユーザが参考にすべきメイクおとして選択されたメイクを示す情報である。

「化粧品情報」とは、メイクを適用するための肌用化粧品に関する情報である。

「メイク種別」とは、「ファンデーション」、「アイシャドウ」、「口紅」、および「チーク」等、少なくとも顔部品との位置関係により区別されるメイクの種類である。

「化粧品ＩＤ」とは、肌用化粧品の識別情報であり、化粧品情報を特定可能な情報である。

＜メイクアップ支援装置の構成＞
次に、本実施の形態に係るメイクアップ支援装置の構成について説明する。

図２は、本実施の形態に係るメイクアップ支援装置の構成の一例を示すブロック図である。

図２において、メイクアップ支援装置１００は、撮影部１１０、第１の画像取得部１２０、第１の顔部品取得部１３０、第２の画像取得部１４０、第２の顔部品取得部１５０、メイク情報格納部１６０、参考メイク取得部１７０、メイク提示部１８０、および表示部１９０を有する。

撮影部１１０は、例えば、デジタルスチルカメラであり、画像の撮影を行う。

第１の画像取得部１２０は、撮影部１１０を用いて、メイクアップ支援装置１００のユーザの顔（第１の顔。以下「ユーザの顔」という）の画像を撮影する。そして、第１の画像取得部１２０は、撮影されたユーザの顔の画像（第１の画像。以下「ユーザ画像」という）を取得し、第１の顔部品取得部１３０およびメイク提示部１８０へ出力する。

第１の画像取得部１２０は、例えば、ディスプレイに「メイクアップの対象となる顔を撮影して下さい」というメッセージを表示する等、ユーザに対して顔の撮影を促すことによって、ユーザ画像の撮影を行う。なお、本実施の形態において、ユーザ画像は、ユーザの顔を正面から撮影した画像であるものとする。

第１の顔部品取得部１３０は、入力されたユーザ画像から、ユーザの顔の顔部品の領域を取得する。顔部品の領域の取得は、例えば、ユーザ画像の各部分領域と、予め用意された各顔部品のテンプレート画像とのマッチングにより行われる（例えば、特許文献２参照）。そして、第１の顔部品取得部１３０は、取得した顔部品の識別情報および領域を示す情報（以下「ユーザ顔部品情報」という）を、参考メイク取得部１７０へ出力する。

第２の画像取得部１４０は、撮影部１１０を用いて、ユーザがメイクの参考にしようとするモデルの顔（第２の顔。以下「モデルの顔」という）の画像を撮影する。モデルの顔の画像は、例えば、ファッション雑誌に掲載された写真である。そして、撮影部１１０は、撮影されたモデルの顔の画像（第２の画像。以下「モデル画像」という）を取得し、第２の顔部品取得部１５０および参考メイク取得部１７０へ出力する。

第２の画像取得部１４０は、例えば、ディスプレイに「参考にしたいメイクの顔を撮影して下さい」というメッセージを表示する等、ユーザに対してモデルの顔の写真撮影を促すことによって、モデル画像の撮影を行う。なお、本実施の形態において、モデル画像は、モデルの顔を正面から撮影した写真を、正面から撮影した画像であるものとする。

第２の顔部品取得部１５０は、入力されたモデル画像から、モデルの顔の顔部品の領域を取得する。顔部品の領域の取得は、例えば、モデル画像の各部分領域と、予め用意された各顔部品のテンプレート画像とのマッチングにより行われる（例えば、特許文献２参照）。そして、第２の顔部品取得部１５０は、取得した顔部品の識別情報および領域を示す情報（以下「モデル顔部品情報」という）を、参考メイク取得部１７０へ出力する。

メイク情報格納部１６０は、メイク種別毎に、顔部品の領域との位置関係、および、メイクの色と化粧品情報との組を対応付けたメイク情報を、予め格納する。メイク情報は、例えば、メイク位置テーブル、メイク色テーブル、および化粧品テーブルを含む。また、これらの情報は、参考メイク取得部１７０から参照可能となっている。

メイク位置テーブルは、メイク種別毎に、メイクの塗布範囲の、顔部品の領域との間の位置関係を規定するテーブルである。かかる位置関係は、言い換えると、後述の参考メイク取得１７０が画像からメイクを抽出する際の、メイクの抽出基準である。メイク色テーブルは、メイク種別とメイクの色との組み合わせ毎に、提案すべき化粧品の化粧品ＩＤを記述したテーブルである。化粧品テーブルは、化粧品ＩＤ毎に、化粧品の詳細を記述したテーブルである。

図３は、メイク位置テーブルの一例を示す図である。

図３に示すように、メイク位置テーブル５１０は、顔部品ＩＤ５１１と領域５１２との組み合わせに対応付けて、メイク種別５１３を記述している。

例えば、「Ｐ２」という顔部品ＩＤ５１１と「Ｒ２」という領域５１２との組み合わせには、「Ｔ２」というメイク種別５１３が対応付けられている。これは、「Ｐ２」という顔部品ＩＤ５１１の領域に対する「Ｒ２」という領域５１２に適用されたメイクが、「Ｔ２」というメイク種別５１３であることを示す。

例えば、「Ｐ２」は、右目を示し、「Ｒ２」は、顔部品の領域の上端に隣接し、顔の長さの１パーセント以下の幅で、肌色以外の同一色で連続する領域を示しているものとする。そして、これらに対応する「Ｔ２」は、アイライナーを示しているものとする。この場合、右目の領域の上端に隣接し、顔の長さの１パーセント以下の幅で、肌色以外の同一色で連続する領域が存在する場合、当該領域がアイライナーの領域であるということを示す。

図４は、メイク色テーブルの一例を示す図である。

図４に示すように、メイク色テーブル５２０は、例えば、メイク種別５２１と色５２２との組み合わせ毎に、化粧品ＩＤ５２３を記述している。メイク種別５２１は、メイク位置テーブル５１０のメイク種別５１３に対応している。

例えば、「Ｔ２」というメイク種別５２１と「Ｃ２」という色５２２との組み合わせには、「Ｉ２」という化粧品ＩＤ５２３が対応付けられている。これは、「Ｔ２」というメイク種別のメイクに「Ｃ２」という色を用いる場合、「Ｉ２」という化粧品ＩＤの化粧品を用いるべきであるということを表す。

図５は、化粧品テーブルの一例を示す図である。

図５に示すように、化粧品テーブル５３０は、化粧品ＩＤ５３１毎に、会社ＩＤ５３２および品番５３３を記述している。化粧品ＩＤ５３１は、メイク色テーブル５２０の化粧品ＩＤ５２３に対応している。会社ＩＤ５３２は、肌用化粧品の製造あるいは販売をする会社の名称あるいは識別子である。品番５３３は、肌用化粧品の品番である。

例えば、「Ｉ２」という化粧品ＩＤ５３１には、「Ｂ１」という会社ＩＤ５３２および「ｂ２３」という品番５３３が対応付けられている。これは、「Ｉ２」という化粧品ＩＤが、「Ｂ１」という会社ＩＤが示す会社の、「ｂ２３」という品番のい肌用化粧品であるということを示す。

なお、メイクアップ支援装置１００において、図４に示すメイク色テーブル５２０と図５に示す化粧品テーブル５３０とは、１つのテーブルに統合されていてもよい。

図２の参考メイク取得部１７０は、モデルの顔の顔部品毎に、モデルの顔の顔部品の領域に基づいて、モデル画像から、モデルの顔に適用されたメイクを取得する。より具体的には、参考メイク取得部１７０は、顔部品毎に、メイク位置テーブル５１０（図３参照）が規定する抽出基準に基づいて、メイクアップが施された領域の有無を検出する。そして、参考メイク取得部１７０は、メイクアップが施された領域が存在する場合、当該領域をメイクの塗布範囲として取得する。更に、参考メイク取得部１７０は、当該領域に施されたメイクアップの色および塗布濃度を、モデル画像から取得する。メイクの取得の詳細については、後述する。

また、参考メイク取得部１７０は、取得したメイクを適用するのに必要な化粧品の化粧品情報を、取得する。この化粧品情報の取得は、例えば、メイク情報格納部１６０に格納された化粧品テーブル５３０（図５参照）を用いて行われる。

そして、参考メイク取得部１７０は、取得したメイクを示す参考メイク情報と、取得した化粧品情報とを、メイク提示部１８０へ出力する。本実施の形態において、参考メイク情報は、少なくとも、顔の画像から、当該顔にメイクアップを施したときの画像を生成するために必要な情報を、含むものとする。

メイク提示部１８０は、参考メイク情報が示すメイクを、対応するユーザの顔の顔部品の領域に対応付けて、ユーザに提示する。より具体的には、メイク提示部１８０は、入力されたユーザ画像および参考メイク情報に基づいて、シミュレーション画像を生成し、生成したシミュレーション画像を、表示部１９０に出力する。ここで、シミュレーション画像は、入力（撮影）されたユーザ画像に、参考メイク情報が示すメイク（モデル画像から取得されたメイク）のメイクアップを施したときの画像を、重畳して得られる画像である。

なお、画像の重畳は、例えば、アルファ(α)ブレンド処理等の公知の画像合成処理により行われる。この場合、アルファ値（α）は、メイクの濃度に応じた値に設定される。アルファブレンド処理は、例えば、以下の式（１）〜（３）で表される。ここで、ｒ_１、ｇ_１、ｂ_１は、撮影された画像の任意の領域のＲＧＢ値であり、ｒ_２、ｇ_２、ｂ_２は、メイクの色のＲＧＢ値である。そして、Ｒ、Ｇ、Ｂは、シミュレーション画像の対応する領域のＲＧＢ値である。
Ｒ ＝ ｒ₂×α＋ｒ₁×（１−α） ・・・（１）
Ｇ ＝ ｇ₂×α＋ｇ₁×（１−α） ・・・（２）
Ｂ ＝ ｂ_2×α＋ｂ₁×（１−α） ・・・（３）

また、メイクのそれぞれに、顔に重ねて塗布する場合の順序（以下「塗布順序」という）が設定されており、かつ、メイクアップを施したときの画像が、濃度に応じた密度の網掛け画像であったとする。塗布順序は、例えば、チークの塗布が、ファンデーションの塗布の後にすべきものであるということを規定する。この場合、画像の重畳は、撮影された画像に対して、各メイクの画像を、塗布順序に応じた順序で上塗り処理することにより、行われてもよい。

また、メイク提示部１８０は、入力された化粧品情報を、更に提示する。より具体的には、メイク提示部１８０は、上記シミュレーション画像に、入力された化粧品情報を示す画像あるいはテキストを、重畳あるいは追加する。

表示部１９０は、例えば、ディスプレイであり、メイクアップ支援装置１００のユーザに対して、入力されたシミュレーション画像および化粧品情報を表示（提示）する。

なお、メイクアップ支援装置１００は、図示しないが、例えば、ＣＰＵ、制御プログラムを格納したＲＯＭ等の記憶媒体、およびＲＡＭ等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

＜画像からのメイクの取得＞
画像からメイクを取得する手法としては、例えば、以下の手法を採用することができる。

参考メイク取得部１７０は、まず、顔部品の領域の配置から、耳や首等、モデルの顔の肌の色に近似する色が表れている領域を特定する。参考メイク取得部１７０は、特定した領域の色と、顔部品の配置から推定される陰影の分布と、顔部品の種別（唇等）から推定される顔部品毎の色の分布等に基づいて、肌の色分布を推定する。参考メイク取得部１７０は、顔領域を細かく分割した分割領域毎に、推定される肌の色と、画像での実際の色との差分を算出する。そして、参考メイク取得部１７０は、算出した差分が所定の閾値以上である分割領域を、メイクアップが施された領域（以下「塗布分割領域」）と判定する。

参考メイク取得部１７０は、判定した塗布分割領域のうち、連続し、かつ、色が近似する複数の塗布分割領域が存在するとき、当該複数の塗布分割領域を、同一の種別のメイクアップが施された１つの領域（以下「連続塗布領域」という）として抽出する。参考メイク取得部１７０は、抽出した連続塗布領域毎に、メイク位置テーブル５１０が（図３参照）が規定する抽出基準のいずれかに合致するか否かを判定する。そして、参考メイク取得部１７０は、抽出基準に合致する連続塗布領域を、メイクの塗布範囲として取得し、当該領域の画像での色と、対応する領域について推定された肌の色とから、メイクの色および塗布濃度を取得する。

メイクの色および塗布濃度の取得は、例えば、上述のアルファブレンド処理と逆の処理を行うことにより、行われる。すなわち、上述のＲＧＢ値を画像の色、ｒ_１、ｇ_１、ｂ_１を肌の色とし、式（１）〜（３）を用いて、メイクの色に相当するｒ_２、ｇ_２、ｂ_２とメイクの濃度に相当するαとを算出する。但し、変数が４つであるのに対し、式は３つであるため、これら４つの変数のいずれか１つを仮定する（例えば、アルファを化粧品毎にデフォルトの値に設定する）か、複数の画像位置について演算を行い、最も確からしい値の組を求める必要がある。

このような構成を有するメイクアップ支援装置１００は、他者の顔に適用されたメイクを、その顔を撮影した画像から顔部品毎に取得し、取得したメイクを、ユーザの顔の顔部品の領域に対応付けてユーザに提示することができる。

＜メイクアップ支援装置の動作＞
次に、メイクアップ支援装置１００の動作について説明する。

図６は、メイクアップ支援装置１００の動作の一例を示すフローチャートである。メイクアップ支援装置１００は、例えば、タッチパネル付きディスプレイに対する操作により、シミュレーション画像の生成開始をユーザから指示される毎に、図６に示す処理を実行する。

まず、ステップＳ１１００において、第１の画像取得部１２０は、撮影部１１０においてユーザの顔（第１の顔）を撮影し、ユーザ画像（第１の画像）を取得する。

図７は、図６のステップＳ１１００において取得される、ユーザ画像の一例を示す図である。

図７に示すように、ユーザ画像６１０は、ユーザの顔の画像（以下「顔画像」という）６１１を含む。ユーザは、メイクアップをしていない状態であるものとする。

そして、図６のステップＳ１２００において、第１の顔部品取得部１３０は、ユーザ画像６１０から、ユーザの顔（第１の顔）の顔部品を取得する。この際、第１の顔部品取得部１３０は、例えば、ユーザ画像６１０を解析することにより、ユーザ画像６１０から顔の（顔部品の）特徴点を抽出する。そして、第１の顔部品取得部１３０は、同一の顔部品を構成する特徴点により形成される領域を、顔部品の領域として取得する。そして、第１の顔部品取得部１３０は、取得した顔部品の領域から、ユーザ顔部品情報を生成する。

図８は、図６のステップＳ１２００において抽出される、顔の特徴点の配置の一例を示す図である。

図８に示すように、顔画像６１１からは、複数の特徴点（記号「●」で示す）が抽出される。例えば、第１〜第４の特徴点６２１〜６２４は、右目を構成する。したがって、第１の顔部品取得部１３０は、第１〜第４の特徴点６２１〜６２４により囲まれる領域６２５を、右目の領域として取得する。

図９は、図６のステップＳ１２００において生成される、ユーザ顔部品情報の一例を示す図である。

図９に示すように、ユーザ顔部品情報６３０は、例えば、顔部品ＩＤ６３１毎に、領域６３２および人ＩＤ６３３を記述している。領域６３２は、画像における顔部品の領域の範囲を示す情報であり、例えば、画像上に設定された座標系の座標値リストである。人ＩＤ６３３は、例えば、撮影が開始される毎に、タッチパネル付きディスプレイに対する操作等を介してユーザにより指定された値が、設定される。

そして、図６のステップＳ１３００において、第２の画像取得部１４０は、撮影部１１０においてモデルの顔（第２の顔）を撮影し、モデル画像（第２の画像）を取得する。

図１０は、図６のステップＳ１３００において取得される、モデル画像の一例を示す図である。

図１０に示すように、モデル画像６４０は、モデルの顔画像６４１を含む。モデルの顔には、アイブロウ６４２、アイシャドウ６４３、アイライナー６４４、チーク６４５、および口紅６４６が施されているものとする。

そして、図６のステップＳ１４００において、第２の顔部品取得部１５０は、モデル画像６４０から、モデルの顔（第２の顔）の顔部品（顔の特徴点を含む）を取得し、顔部品の領域を取得する。そして、第２の顔部品取得部１５０は、取得した顔部品の領域から、モデル顔部品情報を生成する。これらの処理は、ステップ１２００で説明した処理と同様である。また、モデル顔部品情報の構成は、ユーザ顔部品情報の構成と同様である。

そして、ステップＳ１５００において、参考メイク取得部１７０は、モデル画像６４０（第２の画像）から、モデルの顔に適用されたメイクを取得する。具体的には、参考メイク取得１７０は、メイク情報格納部１６０に格納されたメイク情報を参照して、モデル画像６４０およびモデル顔部品情報から、顔部品毎にメイクを取得する。また、参考メイク取得部１７０は、参考メイク取得部１７０は、取得したメイクを示す参考メイク情報と、取得したメイクに対応する化粧品情報とを、メイク提示部１８０へ出力する。

図１１は、参考メイク情報の一例を示す図である。

図１１に示すように、参考メイク情報６５０は、例えば、顔部品ＩＤ６５１に対応付けて、色６５２、濃度６５３、および範囲６５４を記述している。

色６５２は、ここでは簡略化して図示しているが、具体的には、ＲＧＢ値および光沢度等である。濃度６５３は、ここでは簡略化して図示しているが、具体的には、顔画像の上に重畳する際の透過度およびグラデーションの仕方等である。範囲６５４は、ここでは簡略化して図示しているが、具体的には、顔の特徴点からの相対座標群、特徴点に対する中心点の相対位置と半径との組等である。すなわち、色６５２、濃度６５３、および範囲６５４の組は、少なくともメイクの画像化に必要な情報を含む。

なお、参考メイク情報６５０は、肌用化粧品の塗りパターンを更に記述してもよい。肌用化粧品の塗りパターンとは、例えば、アイシャドウの場合、アイホールか、アイラインか、目の下か等、顔部品に対する相対的な範囲を示す情報である。

そして、図６のステップＳ１６００において、メイク提示部１８０は、ユーザ画像とおよび参考メイク情報に基づいて、シミュレーション画像を生成し、表示部１９０に表示させる。この際、メイク提示部１８０は、化粧品情報についても、表示部１９０に表示させる。

図１２は、図６のステップＳ１６００において表示される、シミュレーション画像の一例を示す図である。

図１２に示すように、シミュレーション画像６６０は、顔画像６１１に、アイブロウ、アイシャドウ、アイライナー、チーク、および口紅といった、顔用メイクの画像６６１〜６６５を重畳した画像となっている。

また、シミュレーション画像６６０には、化粧品情報を示す情報表示エリア６６６が追加されている。すなわち、シミュレーション画像６６０には、参考メイク情報が示すメイクを適用するのに必要な肌用化粧品の化粧品情報も、表示される。ユーザは、表示されているシミュレーション画像６６０が示すメイクを気に入った場合、表示された化粧品情報に基づいて、必要な肌用化粧品を入手することができ、実際のメイクアップを容易に行うことができる。

このような動作により、メイクアップ支援装置１００は、ユーザの顔に、他者の顔のメイクと同様のメイクを適用したときのシミュレーション画像を、表示することができる。

＜本実施の形態の効果＞
以上のように、本実施の形態に係るメイクアップ支援装置１００は、ユーザによるメイクの詳細の特定や入力操作を必要とせずに、他者の顔のメイクについてのシミュレーション画像を、ユーザに提示することができる。したがって、メイクアップ支援装置１００は、他者のメイクを参考にしたメイクアップの支援を、適切に行うことができる。

＜他のメイク取得手法＞
なお、参考メイク取得部１７０は、メイクアップ支援装置１００以外の装置で撮影された画像を、ユーザ画像あるいはモデル画像として取得してもよい。この場合、例えば、メイクアップ支援装置１００にインターネット等の公衆網に接続するための通信回路を設け、参考メイク取得部１７０は、かかる通信回路を介して、必要な画像を取得すればよい。

また、参考メイク取得部１７０は、メイクのうち、色および濃度については、モデル画像における実際の色および濃度以外から取得してもよい。例えば、モデルの顔の写真と同じページに、モデルが使用した化粧品に関する情報が、テキストあるいはＱＲコード（登録商標）等の２次元コードで掲載されていることがある。このような場合、参考メイク取得部１７０は、当該ページを撮影した画像からかかる情報を抽出し、化粧品を特定し、上述のメイク情報から、色を特定すればよい。また、化粧品から、標準的な濃度を推定可能な場合がある。このような場合、参考メイク取得部１７０は、化粧品毎に標準的な濃度を記述したテーブルを参照して、特定した化粧品から、濃度を推定すればよい。

また、参考メイク取得部１７０は、ノーメイクのモデルの顔の画像を更に取得し、ノーメイクの画像とメイクアップがされた画像との差分に基づいて、モデルの顔のメイクを取得してもよい。

＜顔画像およびメイクのマッピング＞
また、本実施の形態では、ユーザ画像およびモデル画像のいずれも、顔を正面から撮影した画像としたが、これに限定されない。例えば、第１の画像取得部１２０および第１の顔部品取得部１３０は、顔を斜め方向から撮影した画像を取得した場合、顔画像を、公知の画像マッピング技術を適用して、顔の立体形状にマッピングし、顔を正面から見たときの画像を生成してもよい。なお、マッピングに使用する顔の立体形状は、標準的な顔の立体形状を用いてもよいし、ステレオ画像に基づいて当該ステレオ画像から取得された立体形状等を用いてもよい。

また、メイクアップ支援装置１００は、顔を正面以外の方向から撮影した画像を生成して表示してもよい。例えば、第１の顔部品取得部１３０および第２の顔部品取得部１５０は、顔の特徴点を基準として、画像における２次元座標系と、顔の立体形状における３次元座標系との間の対応付けを行う。そして、参考メイク取得部１７０は、メイクの取得を、上記３次元座標系を用いて行い、取得したメイクを、上記対応付けに基づいて、上記２次元座標系にマッピングする。

＜メイクの除去＞
また、本実施の形態では、ユーザ画像に含まれるユーザの顔がノーメイクであるものとしたが、これに限定されない。例えば、第１の画像取得部１２０は、ユーザ画像に含まれるユーザの顔がメイクアップされた状態であるとき、公知の画像処理技術を用いて（例えば、特許文献４参照）、ユーザ画像から、メイクアップされていない状態のユーザの顔の画像である化粧除去画像を生成してもよい。この場合、メイク提示部１８０は、化粧除去画像に、ユーザの顔に対してメイクを適用したときのメイクの状態を示す画像を重畳して得られるシミュレーション画像を生成し、生成したシミュレーション画像を提示すればよい。

＜化粧品情報の応用＞
また、メイクアップ支援装置１００は、表示する化粧品情報に、肌用化粧品を購入することができるウェブサイトへのリンク情報を対応付けておいてもよい。この場合、メイクアップ支援装置１００は、ユーザがメイクに対する決定操作を行ったとき、通信ネットワークを介して、対応するウェブサイトを表示させることが可能となり、メイクアップを更に効果的に支援することができる。また、化粧品会社に対しては、化粧品の販売を促進させることができる。

＜他の提示内容＞
また、メイクアップ支援装置１００は、全てのメイクアップが行われた後の顔のシミュレーション画像ではなく、メイクアップ途中の顔のシミュレーション画像を生成して表示してもよい。また、メイクアップ支援装置１００は、上述のように、各メイクに塗布順序が設定されている場合、この塗布順序に従って、メイクアップ途中の顔のシミュレーション画像を順次生成して表示してもよい。これにより、メイクアップ支援装置１００は、ユーザに対して、適切なメイクアップの順序を提示することができる。

また、メイクアップ支援装置１００は、選択したメイクの領域との対応付け、および、選択したメイクの色および濃度を、テキストによって提示してもよい。このテキストは、例えば、「両頬骨の最も高い位置を中心にした直径約４ｃｍの範囲に、Ｂ１社の品番ｂ５５のチークを、濃い目に塗布して下さい。」という内容である。ユーザによっては、テキスト情報のみからでもメイクアップが行われた顔をイメージすることができる。このようなユーザに対しては、このような提示手法によっても、メイクアップを十分に支援することが可能である。これにより、メイクアップ支援装置１００は、画像を生成および表示することなく、メイクアップ支援を行うことができる。

＜他のメイク提示手法＞
また、メイクアップ支援装置１００は、シミュレーション画像以外の手法で、メイクの提示を行ってもよい。

例えば、メイクアップ支援装置１００は、肌用化粧品の化粧剤を所定の薄膜（紙状媒体）に転写するプリンタに接続される。かかる薄膜は、転写された化粧剤を剥離容易に担持する。このため、薄膜上の化粧剤は、肌に押し付けられことにより、肌に容易に転写されるようになっている。

そして、メイクアップ支援装置１００は、メイク提示部１８０において、撮影された顔の実空間における領域と同じ形状および面積を薄膜に設定し、メイクを対応する領域に転写するように、プリンタに指示する。なお、薄膜は、平面状であっても、立体状であってもよい。

これにより、メイクアップ支援装置１００は、メイクを、薄膜上で、それぞれに対応する領域に対応付けて、ユーザに提示することができる。

ユーザは、この薄膜に印刷された左右の目尻を示す点を、ユーザの左右の目尻に合わせた状態で、薄膜の全体を顔に押し付けることにより、シミュレーション画像に基づいて選択したメイクを実際に行うことができる。すなわち、ユーザは、顔部品毎に化粧剤を塗るといった作業を行うことなく、簡単かつ迅速に、流行のメイクを行うことができる。

また、メイクアップ支援装置１００は、デジタルビデオカメラ等によりユーザの顔の映像を撮影し、撮影映像を構成する画像（フレーム）に対して、リアルタイムにシミュレーション画像を生成して表示してもよい。この場合、メイク提示部１８０は、映像に対応して一旦入力された参考メイク情報が示すメイクを維持しつつ、映像を構成する画像毎に、順次、シミュレーション画像を生成して表示部１９０に表示させればよい。

＜その他の構成の変形例＞
また、参考メイク情報の提示先は、必ずしも、シミュレーション画像の顔（第１の顔）の主でなくてもよい。また、第１の顔の主と第２の顔の主とは、必ずしも別人でなくてもよい。本発明は、例えば、過去に行ったメイクを再現したいがその詳細を覚えていない、といった状況にも好適である。

また、メイク位置テーブル、メイク色テーブル、および化粧品テーブルは、必ずしもメイクアップ支援装置１００に格納されていなくてもよい。例えば、メイクアップ支援装置１００がネットワークに接続可能である場合、メイクアップ支援装置１００は、上記テーブルが格納されたネットワーク上のサーバにアクセスして、参考メイク情報の生成および化粧品情報の取得を行えばよい。

また、メイクアップ支援装置１００は、例えば、図２に示す機能部のうち、撮影部１１０および表示部１９０のみをユーザの所持する端末に配置し、他の装置部をネットワーク上のサーバ上に配置する等、分散配置型のシステムであってもよい。

また、参考メイク取得部１７０は、外光を検出し、画像から、外光の影響を軽減した状態で、メイクの取得を行うようにしてもよい。

また、メイクの具体的内容は、上述の例に限定されない。例えば、提示の対象となるメイクには、マスカラ、リップグロス等が含まれる。

本開示のメイクアップ支援装置は、第１の顔を撮影した、第１の画像を取得する第１の画像取得部と、前記第１の画像から、前記第１の顔の顔部品の領域を取得する第１の顔部品取得部と、メイクアップが施された第２の顔を撮影した、第２の画像を取得する第２の画像取得部と、前記第２の画像から、前記第２の顔の顔部品の領域を取得する第２の顔部品取得部と、前記第２の顔の顔部品毎に、前記第２の顔の顔部品の前記領域に基づいて、前記第２の画像から、前記メイクアップの仕方であるメイクを取得する参考メイク取得部と、取得された前記メイクを、対応する前記第１の顔の前記顔部品の領域に対応付けてユーザに提示するメイク提示部と、を有する。

なお、上記メイクアップ支援装置において、前記メイクは、肌用化粧剤の色、塗布濃度、および塗布範囲を少なくとも含み、前記参考メイク取得部は、前記第２の顔の顔部品の前記領域に基づいて、前記メイクのうち少なくとも前記塗布範囲を取得してもよい。

また、上記メイクアップ支援装置において、前記第２の顔部品取得部は、前記第２の画像から、前記第２の顔の肌の色を取得し、前記参考メイク取得部は、前記肌の色に基づいて、前記メイクを取得してもよい。

また、上記メイクアップ支援装置において、前記メイク提示部は、前記第１の画像に、前記第１の顔に対して前記メイクを施したときの前記メイクの状態を示す画像を重畳して得られるシミュレーション画像を生成し、生成した前記シミュレーション画像を提示してもよい。

また、上記メイクアップ支援装置において、前記第１の画像取得部は、前記第１の画像に含まれる前記第１の顔がメイクアップされた状態であるとき、前記第１の画像から、メイクアップされていない状態の前記第１の顔の画像である化粧除去画像を生成し、前記メイク提示部は、前記化粧除去画像に、前記第１の顔に対して前記メイクを施したときの前記メイクの状態を示す画像を重畳して得られるシミュレーション画像を生成し、生成した前記シミュレーション画像を提示してもよい。

また、上記メイクアップ支援装置において、前記メイク提示部は、前記メイクを施すのに必要な化粧品に関する情報を、更に提示してもよい。

本開示のメイクアップ支援方法は、第１の顔を撮影した、第１の画像を取得するステップと、前記第１の画像から、前記第１の顔の顔部品の領域を取得するステップと、メイクアップが施された第２の顔を撮影した、第２の画像を取得するステップと、前記第２の画像から、前記第２の顔の顔部品の領域を取得するステップと、前記第２の顔の顔部品毎に、前記第２の顔の顔部品の前記領域に基づいて、前記第２の画像から、前記メイクアップの仕方であるメイクを取得するステップと、取得された前記メイクを、対応する前記第１の顔の前記顔部品の領域に対応付けてユーザに提示するステップと、を有する。

本開示のメイクアップ支援プログラムは、コンピュータに、第１の顔を撮影した、第１の画像を取得する処理と、前記第１の画像から、前記第１の顔の顔部品の領域を取得する処理と、メイクアップが施された第２の顔を撮影した、第２の画像を取得する処理と、前記第２の画像から、前記第２の顔の顔部品の領域を取得する処理と、前記第２の顔の顔部品毎に、前記第２の顔の顔部品の前記領域に基づいて、前記第２の画像から、前記メイクアップの仕方であるメイクを取得する処理と、取得された前記メイクを、対応する前記第１の顔の前記顔部品の領域に対応付けてユーザに提示する処理と、を実行させる。

本発明は、他者のメイクを参考にしたメイクアップの支援を適切に行うことができる、メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラムとして有用である。

１００ メイクアップ支援装置
１１０ 撮影部
１２０ 第１の画像取得部
１３０ 第１の顔部品取得部
１４０ 第２の画像取得部
１５０ 第２の顔部品取得部
１６０ メイク情報格納部
１７０ 参考メイク取得部
１８０ メイク提示部
１９０ 表示部

Claims (7)

1. 第１の顔を撮影した、第１の画像を取得する第１の画像取得部と、
   前記第１の画像から、前記第１の顔の顔部品の領域を取得する第１の顔部品取得部と、
   メイクアップが施された第２の顔を撮影した、第２の画像を取得する第２の画像取得部と、
   前記第２の画像から、前記第２の顔の顔部品の領域を取得する第２の顔部品取得部と、
   前記第２の顔の顔部品毎に、前記第２の顔の顔部品の前記領域に基づいて、前記第２の画像から、前記メイクアップの仕方であるメイクを取得する参考メイク取得部と、
   取得された前記メイクを、対応する前記第１の顔の前記顔部品の領域に対応付けてユーザに提示するメイク提示部と、を有し、
   前記参考メイク取得部は、
   前記第２の画像における前記第２の顔の肌の色の分布を推定し、推定された前記肌の色の分布における前記肌の色と前記第２の画像の各部の色との差分に基づいて、前記メイクを取得する、
   メイクアップ支援装置。
2. 前記メイクは、肌用化粧剤の色、塗布濃度、および塗布範囲を少なくとも含み、
   前記参考メイク取得部は、
   前記第２の顔の顔部品の前記領域に基づいて、前記メイクのうち少なくとも前記塗布範囲を取得する、
   請求項１に記載のメイクアップ支援装置。
3. 前記メイク提示部は、
   前記第１の画像に、前記第１の顔に対して前記メイクを施したときの前記メイクの状態を示す画像を重畳して得られるシミュレーション画像を生成し、生成した前記シミュレーション画像を提示する、
   請求項１に記載のメイクアップ支援装置。
4. 前記第１の画像取得部は、
   前記第１の画像に含まれる前記第１の顔がメイクアップされた状態であるとき、前記第１の画像から、メイクアップされていない状態の前記第１の顔の画像である化粧除去画像を生成し、
   前記メイク提示部は、
   前記化粧除去画像に、前記第１の顔に対して前記メイクを施したときの前記メイクの状態を示す画像を重畳して得られるシミュレーション画像を生成し、生成した前記シミュレーション画像を提示する、
   請求項１に記載のメイクアップ支援装置。
5. 前記メイク提示部は、
   前記メイクを施すのに必要な化粧品に関する情報を、更に提示する、
   請求項１に記載のメイクアップ支援装置。
6. 第１の顔を撮影した、第１の画像を取得するステップと、
   前記第１の画像から、前記第１の顔の顔部品の領域を取得するステップと、
   メイクアップが施された第２の顔を撮影した、第２の画像を取得するステップと、
   前記第２の画像から、前記第２の顔の顔部品の領域を取得するステップと、
   前記第２の顔の顔部品毎に、前記第２の顔の顔部品の前記領域に基づいて、前記第２の画像から、前記メイクアップの仕方であるメイクを取得するステップと、
   取得された前記メイクを、対応する前記第１の顔の前記顔部品の領域に対応付けてユーザに提示するステップと、を有し、
   前記メイクを取得するステップは、
   前記第２の画像における前記第２の顔の肌の色の分布を推定し、推定された前記肌の色の分布における前記肌の色と前記第２の画像の各部の色との差分に基づいて、前記メイクを取得する、
   メイクアップ支援方法。
7. コンピュータに、
   第１の顔を撮影した、第１の画像を取得する処理と、
   前記第１の画像から、前記第１の顔の顔部品の領域を取得する処理と、
   メイクアップが施された第２の顔を撮影した、第２の画像を取得する処理と、
   前記第２の画像から、前記第２の顔の顔部品の領域を取得する処理と、
   前記第２の顔の顔部品毎に、前記第２の顔の顔部品の前記領域に基づいて、前記第２の画像から、前記メイクアップの仕方であるメイクを取得する処理と、
   取得された前記メイクを、対応する前記第１の顔の前記顔部品の領域に対応付けてユーザに提示する処理と、を実行させ、
   前記メイクを取得する処理は、
   前記第２の画像における前記第２の顔の肌の色の分布を推定し、推定された前記肌の色の分布における前記肌の色と前記第２の画像の各部の色との差分に基づいて、前記メイクを取得する、
   メイクアップ支援プログラム。

Images