JP2011022733A - メーキャップシミュレーション装置、メーキャップシミュレーションプログラム及び対面販売支援方法 - Google Patents

Abstract

【課題】メーキャップに関係する商品の販売へ効率的に繋がるように対面販売を支援するメーキャップシミュレーション装置、メーキャップシミュレーションプログラム及び対面販売支援方法を提供することを目的とする。
【解決手段】対面販売を支援するメーキャップシミュレーション装置１であって、ユーザの顔を撮影する撮影手段１４と、撮影したユーザの顔の画像からユーザの顔の顔立ち分析及び肌色分析を行う分析手段と、ユーザの顔の顔立ち分析及び肌色分析の結果を表示する分析結果表示手段と、ユーザの顔の顔立ち分析及び肌色分析の結果に基づき、ユーザの顔の顔立ち及び肌色に合った商品の情報を表示すると共に、商品を使ってメーキャップを施したユーザの顔をシミュレーションして表示するシミュレーション画面表示手段とを有することにより上記課題を解決する。
【選択図】 図１

Description

本発明は、メーキャップシミュレーション装置、メーキャップシミュレーションプログラム及び対面販売支援方法に係り、特にメーキャップに関係する商品の対面販売を支援するメーキャップシミュレーション装置、メーキャップシミュレーションプログラム及び対面販売支援方法に関する。

例えばメーキャップに関係する商品の一例としての化粧品を製造・販売するメーカは百貨店やスーパー等において独自の化粧品販売店（インショップ）を展開し、いわゆる対面販売により顧客と対話しながら販売する販売形態をよく利用している。化粧品の対面販売では例えば化粧品販売店の美容部員が顧客の肌等を観察すると共に、その観察結果に基づいてカウンセリングを行い、顧客に最適と思われる化粧品を選定している。

従来、化粧品販売店では美容部員による対面販売を支援する様々なツールが利用されていた。美容部員による対面販売を支援するツールの一例としては、美容部員が顧客の肌を観察する為のツールがあった。美容部員が顧客の肌を観察する為のツールは、例えば顧客の顔の肌色を測定する機器等があった（例えば特許文献１参照）。

また、美容部員による対面販売を支援するツールの他の例としては、実際に顧客の顔へメーキャップを施すことなく、メーキャップ後の顧客の顔をシミュレーションするツールがあった。メーキャップ後の顔をシミュレーションするツールは、例えばコンピュータ上でメーキャップ後の顧客の顔をシミュレーションする装置等があった（例えば特許文献２参照）。

特開２００８−２８６６４９号公報 特開２００９−３９５２３号公報

化粧品販売店では、対面販売を支援する様々なツールを利用して、美容部員が対面販売を行っている。美容部員は経験等に基づき、対面販売を支援する様々なツールを効果的と考える状況やタイミングで適宜利用していた。言い換えれば、対面販売を支援する様々なツールは、美容部員の経験等により、利用する状況やタイミングが変化してしまう場合があり、必ずしも効果的に利用されていないという問題があった。

本来、対面販売を支援する様々なツールは、最終的に化粧品の販売へ繋げる為に開発されている。しかし、対面販売を支援する様々なツールは効果的に利用しなければ、化粧品の販売へ効率的に繋げられないという問題があった。結局のところ、対面販売を支援する様々なツールを効果的に利用して化粧品の販売へ効率的に繋げられるかは、美容部員の能力によるところが大きかった。

本発明は、上記の点に鑑みなされたもので、メーキャップに関係する商品の販売へ効率的に繋がるように対面販売を支援するメーキャップシミュレーション装置、メーキャップシミュレーションプログラム及び対面販売支援方法を提供することを目的とする。

上記課題を解決するため、本発明は、メーキャップに関係する商品の対面販売を支援するメーキャップシミュレーション装置であって、ユーザの顔を撮影する撮影手段と、撮影した前記ユーザの顔の画像から前記ユーザの顔の顔立ち分析及び肌色分析を行う分析手段と、前記ユーザの顔の顔立ち分析及び肌色分析の結果を表示する分析結果表示手段と、前記ユーザの顔の顔立ち分析及び肌色分析の結果に基づき、前記ユーザの顔の顔立ち及び肌色に合った商品の情報を表示すると共に、該商品を使ってメーキャップを施した前記ユーザの顔をシミュレーションして表示するシミュレーション画面表示手段とを有することを特徴とする。

なお、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも本発明の態様として有効である。

本発明によれば、メーキャップに関係する商品の販売へ効率的に繋がるように対面販売を支援することができる。

本発明によるメーキャップシミュレーション装置の一実施例の外観図である。 本発明によるメーキャップシミュレーション装置の一実施例のハードウェア構成図である。 本発明によるメーキャップシミュレーション装置の一実施例のソフトウェア構成図である。 肌色分析の処理手順を説明する為の一例のソフトウェア構成図である。 肌色分析の処理手順を表した一例のフローチャートである。 ストロボ光のみに影響を受けた一例の肌色測定用画像である。 環境光及びストロボ光に影響を受けた一例の表示用画像である。 肌色計測エリアを表す一例の表示用画像である。 肌色分類マップの一例のイメージ図である。 顔立ち分析の処理手順を表した一例のフローチャートである。 顔立ち分類マップの一例のイメージ図である。 シミュレータメインアプリが行なう処理を表す画面イメージ図である。 メーキャップ前画像に含まれる顧客の顔のイメージ画像に、トラッキングポイントを表した一例のイメージ図である。 メーキャップ処理パラメータファイルの一例の構成図である。 ファンデーション処理により参照されるトラッキングポイントを示すイメージ図である。 ファンデーション処理を示す一例のフローチャートである。 輪郭を表した一例のイメージ画像である。 ぼかし処理前の元画像と、ぼかし処理後の元画像とを表した一例のイメージ図である。 トップ画面（コース選択画面）の一例のイメージ図である。 ブランド選択画面の一例のイメージ図である。 問診画面の一例のイメージ図である。 撮影画面の一例のイメージ図である。 ポイント修正画面の一例のイメージ図である。 分析結果画面の一例のイメージ図である。 プレメーキャップ提案画面の一例のイメージ図である。 比較画面の一例のイメージ図である。 フェースカラー提案画面の一例のイメージ図である。 比較画面の一例のイメージ図である。 プリントの一例のイメージ図である。 トレンドトップ画面の一例のイメージ図である。 自動シミュレーション画面の一例のイメージ図である。 イメージ選択画面の一例のイメージ図である。 シミュレーション画面の一例のイメージ図である。 全パターン比較画面の一例のイメージ図である。 比較画面の一例のイメージ図である。 顔立ちの詳細分析画面の一例のイメージ図である。 パーツの詳細分析画面の一例のイメージ図である。 顔立ちの詳細分析画面の他の例のイメージ図である。 １：１：１の顔立ちを理想としたときの３つのバランスを表したイメージ図である。 顔立ち詳細分析画面の他の例のイメージ図である。

次に、本発明を実施するための形態を、以下の実施例に基づき図面を参照しつつ説明していく。なお、本実施例のメーキャップシミュレーション装置は、メーキャップに関係する商品の一例としての化粧品の対面販売を支援するものである。本実施例のメーキャップシミュレーション装置は化粧品の対面販売を行う例えば化粧品販売店（インショップ）で利用されることにより、化粧品の販売へ効率的に繋がるように、例えば美容部員による対面販売を支援する。

なお、化粧品販売店（インショップ）は一例であって、化粧品の対面販売を行う如何なる場所であってもよい。また、美容部員は一例であって、顧客に対面販売を行う如何なる者であってもよい。

具体的に、本実施例のメーキャップシミュレーション装置は顧客に対する美容部員の応対手順を画面により提示することで、美容部員の経験等によらず、化粧品の販売へ効率的に繋げようとするものである。

以下では、メーキャップシミュレーション装置について説明したあと、メーキャップシミュレーション装置による化粧品の対面販売の支援について説明する。

（メーキャップシミュレーション装置）
図１は本発明によるメーキャップシミュレーション装置の一実施例の外観図である。図１では、メーキャップシミュレーション装置１の正面図を（Ａ），平面図を（Ｂ），側面図を（Ｃ）に表している。

メーキャップシミュレーション装置１は、本体部１０，アーム部１１，土台部１２を有する。メーキャップシミュレーション装置１は本体部１０がアーム部１１によって可動可能に土台部１２へ取り付けられている。本体部１０は、表示手段としてのモニタ１３，撮影手段としてのカメラ１４，照明手段としての照明１５，ストロボ手段としてのストロボ１６を有する。なお、メーキャップシミュレーション装置１は本体部１０に内蔵されたコンピュータ（図示せず）を有している。

モニタ１３は液晶ディスプレイや有機ＥＬ（organic electroluminescence）ディスプレイ等である。カメラ１４はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）カメラやＣＣＤ（Charge Coupled Device）カメラ等である。なお、カメラ１４は偏光フィルタ（図示せず）を介して撮影が可能な仕組みを有している。照明１５は冷陰極管や発光ダイオード（ＬＥＤ）等である。

モニタ１３，カメラ１４，照明１５，ストロボ１６は後述のようにコンピュータにより制御される。なお、ストロボ１６は顧客の顔の肌色を測定する主な測定部位である頬の部分へ効果的にストロボ光を当てる位置（例えば顧客の頬の部分へ下側からストロボ光を当てることができる本体部１０の下側）に設置されている。顧客や化粧品販売員等のユーザの操作を受け付ける為、モニタ１３は例えば後述のタッチパネル２１が画面を覆うように配置されることでタッチパネルモニタとなっている。タッチパネルモニタからユーザによる操作を受け付けると、モニタ１３は操作情報をコンピュータへ出力する。ユーザの操作を受け付ける仕組みはタッチパネルモニタに限らず、操作部を別途設けてもよい。

図２は本発明によるメーキャップシミュレーション装置の一実施例のハードウェア構成図である。なお、図１と同一部分については同一符号を付している。図２のメーキャップシミュレーション装置１は、バスＢ等で相互に接続されたモニタ１３，カメラ１４，照明１５，ストロボ１６，タッチパネル２１，メモリカードＩ／Ｆ２２，主記憶装置２４，演算処理装置２５を有する。図２のメモリカードＩ／Ｆ２２，主記憶装置２４，演算処理装置２５は前述のコンピュータである。メモリカード２３はメモリカードＩ／Ｆ２２を介してバスＢに接続される。

メモリカード２３は、通電しなくても記憶が消えないフラッシュメモリと、外部との入出力を受け持つコントローラ回路とを有する。また、メモリカード２３は例えばＡＴＡ規格に準拠しており、演算処理装置２５からハードディスク等の補助記憶装置と同じように見えるものとする。メモリカード２３は例えばメモリカードの規格の一つであるコンパクトフラッシュ（登録商標）（Compact Flash）を利用できる。

メーキャップシミュレーション装置１を制御するメーキャップシミュレーションプログラムはメーキャップシミュレーション装置１を制御する各種プログラムの少なくとも一部である。メーキャップシミュレーションプログラムは例えばメモリカード２３の配布などによって提供される。メーキャップシミュレーション装置１はメモリカード２３を脱着可能であるため、メモリカード２３を取り替えることでバージョンアップやシステム変更に対応できる。

メーキャップシミュレーションプログラムを記録したメモリカード２３がメモリカードＩ／Ｆ２２に接続されたあとで電源が投入されると、メーキャップシミュレーション装置１はメモリカード２３からメーキャップシミュレーションプログラムを読み出して主記憶装置２４に格納する。そして、メーキャップシミュレーション装置１は主記憶装置２４に格納されたメーキャップシミュレーションプログラムに従って、演算処理装置２５に後述のような各種処理を実現させている。なお、モニタ１３，カメラ１４，照明１５，ストロボ１６，タッチパネル２１は、後述のような演算処理装置２５による各種処理によって制御される。

次に、メーキャップシミュレーション装置１のソフトウェア構成について図３を参照しつつ説明する。図３は、本発明によるメーキャップシミュレーション装置の一実施例のソフトウェア構成図である。図３のメーキャップシミュレーション装置１は、アナログカメラ１５１，ＵＳＢキャプチャデバイス１５２，動画ファイル１５３，メーキャップカメラ１５４，ストロボ１５５，静止画システム１５６，共有メモリ１５７，シミュレータメインアプリ１５８，インターフェースアプリ１５９及び動画ファイル１６０を有する。

メーキャップカメラ１５４は図２等のカメラ１４に対応する。ストロボ１５５は図２等のストロボ１６に対応する。アナログカメラ１５１，ＵＳＢキャプチャデバイス１５２及び動画ファイル１５３は必須でなく、必要なときに例えばＵＳＢインターフェースを介して接続される。

アナログカメラ１５１は撮影した例えばＮＴＳＣ方式の動画像をＵＳＢキャプチャデバイス１５２経由で出力する。ＵＳＢキャプチャデバイス１５２から出力された動画像は例えばＡＰＩの一例としてのＤｉｒｅｃｔＸ１６１を利用してシミュレータメインアプリ１５８に入力される。動画ファイル１５３もＤｉｒｅｃｔＸ１６１を利用してシミュレータメインアプリ１５８に入力される。

メーキャップカメラ１５４は撮影した動画像をシリアルインターフェースの一例としてのＩＥＥＥ１３９４経由で出力する。メーキャップカメラ１５４から出力された動画像は専用ＡＰＩ３１を利用してシミュレータメインアプリ１５８に入力される。シミュレータメインアプリ１５８は専用ＡＰＩ３１を利用して入力された動画像から動画像用解像度の原画像を得ると共に、後述の肌色測定用画像３２と、表示用画像３３とを得る。

シミュレータメインアプリ１５８はＤｉｒｅｃｔＸ１６１を利用して入力された動画像及び動画ファイル１５３と、専用ＡＰＩ３１を利用して入力された動画像から得られた動画像用解像度の動画像とを原画像とし、トリミング及び縮小処理を行う。

シミュレータメインアプリ１５８は原画像に対してトリミングを行ってメーキャップ前画像を得る。また、シミュレータメインアプリ１５８は原画像に対してトリミング及び縮小処理を行って顔認識処理用画像を得る。顔認識処理部１６３は、顔認識処理用画像から顧客の顔を認識するための後述するようなトラッキングポイント１６４を、ＦＦＴにより得る。

メーキャップ処理部１６５は、トラッキングポイント１６４に基づき、メーキャップ前画像に含まれる顧客の顔の画像に、ファンデーション，眉，シャドウ，口紅，チークなどのメーキャップを施してメーキャップ後画像を得る。なお、メーキャップ処理部１６５はファンデーション処理部１６６，眉処理部１６７，シャドウ処理部１６８，口紅処理部１６９，チーク処理部１７０を有する。

メーキャップ処理部１６５は、メーキャップ後画像のようにメーキャップする為の商品情報１７１をメーキャップ後画像に含ませることができる。動画サーバ１７２は、メーキャップ前画像およびメーキャップ後画像を共有メモリ１５７に書き込む。動画サーバ１７２は、メーキャップ前画像およびメーキャップ後画像を動画ファイル１６０として出力することもできる。

インターフェースアプリ１５９は、ＡｃｔｉｖｅＸコントローラ１８０及びＡｃｔｉｖｅＸビュアー１８１を利用している、動画コントロールオブジェクト１８２，動画表示オブジェクト１８３及びその他のコントローラ１８４を有する。なお、インターフェースアプリ１５９とシミュレータメインアプリ１５８とはＡｃｔｉｖｅＸ＆Ｓｏｃｋｅｔによる連携を図っている。

インターフェースアプリ１５９はＡｃｔｉｖｅＸビュアー１８１を利用して、供給メモリ１５７に書き込まれているメーキャップ前画像およびメーキャップ後画像を前述したモニタ１３に表示することができる。

また、シミュレータメインアプリ１５８は、顧客の顔の肌色測定開始の操作を受け付けると、専用ＡＰＩ３１を利用して静止画撮影処理を行う。静止画撮影処理では、専用ＡＰＩ３１が、メーキャップカメラ１５４及びストロボ１５５を制御し、肌色測定用画像３２と、表示用画像３３とを撮影する。

なお、肌色測定用画像３２と、表示用画像３３とを撮影したあとの顧客の顔の肌色を測定する処理は後述する。なお、シミュレータメインアプリ１５８は、表示用画像３７，トラッキングポイントＤＢ４５に格納されているトラッキングポイントの追加情報，肌色分析部４３による肌色分類結果の情報を、静止画システム１５６に出力する。

静止画システム１５６は、表示用画像３７，トラッキングポイントＤＢ４５に格納されているトラッキングポイントの追加情報，肌色分析部４３による肌色分類結果の情報に基づき、肌色分析の情報と、顔立ち分析の情報と、表示用画像３７とをモニタ１３に表示させる。

（肌色分析処理）
図４は肌色分析の処理手順を説明する為の一例のソフトウェア構成図である。図５は肌色分析の処理手順を表した一例のフローチャートである。なお、図４は図３から肌色分析の処理の説明に必要な部分を抜き出したものである。

図４に示したメーキャップシミュレーション装置１は、顧客の顔の肌色測定開始の操作を受け付けると、専用ＡＰＩ（application programming interface）３１がステップＳ１に進み、静止画撮影処理を行う。ステップＳ１の静止画撮影処理では、専用ＡＰＩ３１がカメラ１４及びストロボ１６を制御し、肌色測定用画像３２と、表示用画像３３とを撮影する。

具体的に、専用ＡＰＩ３１はカメラ１４のシャッタを切るときにストロボ１６が発光するように制御する。また、専用ＡＰＩ３１は肌色測定用画像３２を撮影するとき、カメラ１４のシャッタ速度を、環境光の影響を除去できるシャッタ速度（例えば１０００分の１秒）とする。

カメラ１４のシャッタ速度が例えば１０００分の１秒など、十分に速い場合、撮影された肌色測定用画像３２は環境光の影響が除去され、ストロボ光のみに影響を受けたものとなる。図６はストロボ光のみに影響を受けた一例の肌色測定用画像である。

専用ＡＰＩ３１は表示用画像３３を撮影するとき、カメラ１４のシャッタ速度を、環境光の影響を受けるシャッタ速度（例えば３００分の１秒）とする。カメラ１４のシャッタ速度が例えば３００分の１秒など、遅い場合、撮影された表示用画像３３は環境光及びストロボ光に影響を受けたものとなる。図７は環境光及びストロボ光に影響を受けた一例の表示用画像である。

このように、ストロボ光の影響を受けた肌色測定用画像３２及び表示用画像３３はストロボ光の色味，照度のばらつきが少ないというメリットを受けることができる。カメラ１４の設定は、ストロボ光の色味，照度のばらつきが少ないことから固定化できる。例えばカメラ１４の設定は、ストロボ撮影時にグレーカードにてホワイトバランスがとれた状態で固定化する。また、カメラ１４の設定における明るさは、アイリス，ゲイン値を肌色付近の画素が飽和しない程度で固定化する。

ステップＳ２に進み、縮小部３４は表示用画像３３に対して縮小処理を行い、縮小画像３６を得る。顔認識処理部３８は、縮小画像３６から顧客の顔を認識するための後述するようなトラッキングポイントをＦＦＴ（高速フーリエ変換）により得て、トラッキングポイントＤＢ３９に格納する。また、顔認識処理部３８は認識した顧客の顔のトラッキングポイントから図８に示す肌色計測エリア５０を設定する。

図８は肌色計測エリアを表す一例の表示用画像である。なお、肌色計測エリア５０は外部設定ファイルにより変更が可能とする。例えば肌色計測エリア５０は外部設定ファイルにより、トラブルあるいは影の部分を除く顔の肌色部分全体とすることもできる。特にほほの部分の肌色が安定しているため、図８の肌色計測エリア５０は基準として使用することができる。顔認識処理部３８は、設定した肌色計測エリア５０の情報を、トラッキングポイントＤＢ３９に格納したトラッキングポイントに付加する。

トリミング部３５は表示用画像３３に対してトリミング処理を行い、表示用画像３７を得る。詳細部位抽出部４０はトラッキングポイントＤＢ３９に格納したトラッキングポイントに基づき、トリミングを行った表示用画像３７に含まれる顧客の顔の画像から詳細部位を抽出し、その詳細部位から顔立ち分析に用いるタイプ等の追加情報を得る。顔立ち分析処理については後述する。

詳細部位抽出部４０はトラッキングポイントＤＢ３９に格納したトラッキングポイントに追加情報を付加した新たなトラッキングポイントをトラッキングポイントＤＢ４５に格納する。

ステップＳ３に進み、トリミング部４１は肌色測定用画像３２に対してトリミング処理を行い、肌色測定用画像４２を得る。肌色分析部４３はトラッキングポイントＤＢ４５に格納されたトラッキングポイント及び肌色計測エリア５０を得る。

肌色分析部４３はトラッキングポイント及び肌色計測エリア５０に基づき、肌色測定用画像４２の肌色計測エリア（例えば、ほほの部分）５０の画像を使ってヒストグラムを作成する。また、肌色分析部４３は作成したヒストグラムに基づき、頻度の高い色から全体のｎ％分の画素の平均値を計算する。なお、肌色の分類にはＨＳＶ色空間（ＨＳＶ値）を利用する。

ステップＳ４に進み、肌色分析部４３は肌色分類マップＤＢ４４から図９に示す肌色分類マップを得る。図９は肌色分類マップの一例のイメージ図である。図９に示した肌色分類マップは「標準」，「明るい」，「暗い」，「黄味」，「赤味」の代表ＨＳＶ値をモニターテストにより作成したものである。

肌色分析部４３は肌色分類マップの代表ＨＳＶ値と、ステップＳ３の肌色計算処理により求めたＨＳＶ値の位置関係を求め、図９の肌色分類マップにプロットすることで肌色を分類する。

ステップＳ５に進み、静止画システム１５６に含まれる表示制御部４６は、表示用画像３７，肌色分析部４３による肌色分類結果の情報に基づき、肌色分析部４３による肌色分析の情報と、表示用画像３７とをモニタ１３に表示させる。

このように、メーキャップシミュレーション装置１は環境光の影響を除去して顧客の顔の画像を容易に撮影することができ、環境光の影響を除去して撮影した顧客の顔の画像から正確に顧客の顔の肌色を測定して分析できる。

（顔立ち分析処理）
図１０は顔立ち分析の処理手順を表した一例のフローチャートである。なお、顔立ち分析の処理手順を説明する為のソフトウェア構成図は図４と同様である。ステップＳ１１に進み、詳細部位抽出部４０は表示用画像３７に含まれる顧客の顔の画像を取得する。

ステップＳ１２に進み、詳細部位抽出部４０は取得した顧客の顔の画像から顧客の顔の立体感の評価を行う。具体的には、標準フェースラインと比較して、顧客の顔が長いか短いか、又は、骨格感がありすっきりしているか、ふっくらしてなだらかであるか等の評価を行う。

また、ステップＳ１３に進み、ステップＳ１２の評価結果に基づき、詳細部位抽出部４０は図１１に示すような顔立ち分類マップで顧客の顔を分類する。図１１は、顔立ち分類マップの一例のイメージ図である。なお、顧客の顔の分類は、ステップＳ１２の評価結果と予め設定される値とを比較することにより行われる。顧客の顔の分類結果は追加情報としてトラッキングポイントに付加され、新たなトラッキングポイントとしてトラッキングポイントＤＢ４５に格納される。

ステップＳ１４に進み、静止画システム１５６に含まれる表示制御部４６は、トラッキングポイントＤＢ４５に格納されているトラッキングポイントの追加情報に基づき、顔立ち診断結果の情報をモニタ１３に表示させる。例えばモニタ１３には図１１に示す顔立ち分類マップと、その顔立ち分類マップの所定の位置に診断結果を表す印（例えば点）がプロットされて表示される。

図１１の顔立ち分類マップは、第１因子の立体感と第２因子の肉付き骨格感とを奥行き・骨格肉付き感とし、要素として一つにまとめている。また、第３因子の幅と第４因子の長さとは、幅と長さの掛け合わせでスペースを表すと考え、スペースの要素として一つにまとめている。

これら２つの要素を組み合わせて、図１１の顔立ち分類マップは顔を分類する際の評価指標としている。つまり、図１１の顔立ち分類マップは、顔の奥行き・骨格肉付き感とスペースとに基づいて、顧客の顔を分類するものである。

図１１の顔立ち分類マップは、顔のスペースのバランスを含む顔のタイプを示す第１の軸及び顔全体の奥行き・骨格肉付き感からなる顔のタイプを示す第２の軸の２軸と、その２軸によって分類される象限及び２軸の交差する中央に、予め設定される標準的且つ理想的な立体感を有する顔画像（例えば平均顔画像）を配置した座標空間とを含む。

第１の軸（図１１における縦軸）は、顔のスペースとしてのひたい、ほお、又はあごの縦幅が予め設定される平均顔に基づいて長いか短いかの度合いを示す。また、第２の軸（図１１における横軸）は、一方が、奥行き・骨格肉付き感がすっきりシャープである度合いを示し、他方がふっくらソフトである度合いを示す。なお、本発明における縦横軸の配置は特に限定されるものではない。

なお、図１１の顔立ち分類マップには、顔の分類（分析）を容易にするため、各軸の特徴を示す表現（文字）を付与し、更に各象限の特徴を顕著に表す顔画像（写真）を対応する位置に配置している。なお、各軸の特徴を示す表現（文字）及び各象限の特徴を顕著に表す顔画像（写真）は省略してもよい。

このように、メーキャップシミュレーション装置１は顧客の顔の画像から正確に顧客の顔を評価して顔立ちを分析できる。なお、顔立ち分類マップの詳細は特開２００７−１７５４８４号公報などに記載されている。

本実施例のメーキャップシミュレーション装置１は鏡というメーキャップに必要不可欠なアイテムをコンセプトとし、顧客とのインタラクティブな機能を持つ。また、本実施例のメーキャップシミュレーション装置１は顧客があたかも鏡を見ながら自然にメーキャップをしている気分にさせる特徴を持つ。

メーキャップシミュレーション装置１は、撮影した動画像をコンピュータで画像処理することで、動画像に含まれる顧客の顔の画像にメーキャップを施して、デジタルの鏡であるモニタ１３に表示する。なお、メーキャップシミュレーション装置１は、商品情報や美容情報もモニタ１３に表示できる。

（メーキャップシミュレーション処理）
図１２は、シミュレータメインアプリが行なう処理を表す画面イメージ図である。画面イメージ４００はメーキャップ前画像を表示した例を表している。画面イメージ４０１は顔認識処理用画像から得たトラッキングポイント１６４をメーキャップ前画像に重ねて表示した例を表している。また、画面イメージ４０２はトラッキングポイント１６４に基づいてメーキャップ前画像に含まれる顧客の顔にメーキャップを施したメーキャップ後画像を表示した例を表している。以下では、シミュレータメインアプリ１５８が行なう処理のうち、顔認識処理，メーキャップ処理の詳細について図面を参照しつつ説明する。

なお、メーキャップ処理に含まれるファンデーション処理，眉処理，シャドウ処理，口紅処理，チーク処理等は公知の技術（例えば特開２００７−２１６０００号公報）を利用できる。そこで、本実施例ではメーキャップ処理の一例としてファンデーション処理を例に説明する。

（顔認識処理）
図１３はメーキャップ前画像に含まれる顧客の顔のイメージ画像に、トラッキングポイントを表した一例のイメージ図である。シミュレータメインアプリ１５８の顔認識処理部１６３は顧客の顔のイメージ画像から顧客の顔を認識する為の４５点のトラッキングポイント１６４を得る。図１３のトラッキングポイント１６４は一例であって、メーキャップシミュレーション装置１の処理能力やモニタ１３の精細度に応じて調整してもよい。

このように、メーキャップ前画像に含まれる顧客の顔からトラッキングポイント１６４を得ることにより、メーキャップ処理部１６５はトラッキングポイント１６４と関連付けてメーキャップの施し方や色を図１４のようなメーキャップ処理パラメータファイルに設定しておくことができる。

図１４はメーキャップ処理パラメータファイルの一例の構成図である。メーキャップ処理パラメータファイルは、目元，口元，チーク等ごとにトラッキングポイント１６４と関連付けてメーキャップの施し方や色が設定されているものである。なお、メーキャップ処理パラメータファイルはメーキャップパターン（イメージ）毎に設定される。

（ファンデーション処理）
シミュレータメインアプリ１５８に含まれるファンデーション処理部１６６は図１５に示すように左右別に目尻，目頭および眉１点、眼間および鼻中心のトラッキングポイント１６４を参照し、ファンデーション処理を行う。図１５はファンデーション処理により参照されるトラッキングポイントを示すイメージ図である。

図１６はファンデーション処理を示す一例のフローチャートである。ファンデーション処理は、ステップＳ１０１の輪郭の生成処理，ステップＳ１０２の対象画像へのぼかし処理，ステップＳ１０３の画像の貼り付け処理で構成される。なお、ステップＳ１０１〜Ｓ１０３の処理は対象エリア分、繰り返し行われる。

ステップＳ１０１の輪郭の生成処理に進み、ファンデーション処理部１６６は図１７のイメージ画像に示す、額，鼻，頬（左右）の３種類（４箇所）の輪郭を生成する。図１７は輪郭を表した一例のイメージ画像である。なお、各輪郭のサイズ，位置等はＧＵＩでパラメータ指定するようにしてもよい。

ステップＳ１０２の対象画像へのぼかし処理に進み、ファンデーション処理部１６６は生成した輪郭に対応する対象画像へのぼかし処理を図１８のように行なう。図１８は、ぼかし処理前の元画像と、ぼかし処理後の元画像とを表した一例のイメージ図である。対象画像へのぼかし処理により、ファンデーション処理部１６６は肌の細かい荒れ等を平滑化することができる。

ステップＳ１０３の画像の貼り付け処理に進み、ファンデーション処理部１６６は、ぼかし処理後の対象画像をメーキャップ前画像の額，鼻，頬（左右）の３種類（４箇所）の輪郭に貼り付け、メーキャップ後画像を得る。本実施例のメーキャップシミュレーション装置１は、動画像に含まれる顧客の顔に、少ない処理負担で正確にメーキャップを施すことができる。

（メーキャップシミュレーション装置１による化粧品の対面販売の支援）
前述したメーキャップシミュレーション装置１は例えば化粧品の対面販売を行う化粧品販売店等に設置され、利用される。ここでは、メーキャップシミュレーション装置１が化粧品販売店に設置された例を説明する。メーキャップシミュレーション装置１は化粧品販売店に設置された後、最初に、カメラ設定処理を行う必要がある。

例えば美容部員はメーキャップシミュレーション装置１のタッチパネルを操作することにより管理画面に含まれるカメラ設定を選択する。メーキャップシミュレーション装置１はカメラ設定が選択されると、カメラ調整画面を起動する。最初、カメラ調整画面はカメラ１４が撮影した画像をモニタ１３に表示している。

次に、美容部員はマニュアルや簡易マニュアルの裏面のグレーカードを、モニタ１３の画面いっぱいに写るようにカメラ１４へ向かってかざす。グレーカードがモニタ１３の画面一杯に写っている状態で、美容部員はカメラ調整画面上のホワイトバランスの調整ボタンをタッチして、メーキャップシミュレーション装置１にホワイトバランスの調整を行わせることができる。

カメラ調整画面上のホワイトバランスの調整ボタンがタッチされると、メーキャップシミュレーション装置１はカメラ１４でグレーカードの撮影を行い、ホワイトバランスの調整を行う。ホワイトバランスの調整後、美容部員は簡易マニュアルの裏面のグレーカードをカメラ１４へ向かってかざすのを止める。

その後、美容部員はカメラ１４が撮影し、モニタ１３に表示されている画像を確認しながら、カメラ調整画面上の明るさ調整ボタンをタッチして、明るさの調整を行う。明るさの調整後、美容部員はカメラ調整画面を閉じ、カメラ設定を終了する。

メーキャップシミュレーション装置１は、起動後、モニタ１３にトップ画面（コース選択画面）を表示する。トップ画面は、後述するトータルメーキャップコース又はトレンドメーキャップコースを選択させるための画面である。トップ画面は所定のボタンがタッチされることにより管理画面に遷移する。

管理画面は、前述のカメラ設定の他、システム終了，メニュー選択，メンテナンス又はトップ画面を選択させるための画面である。システム終了が選択されると、メーキャップシミュレーション装置１はシステムを終了する。メーキャップシミュレーション装置１はメニュー選択が選択されると、メニュー選択画面に遷移する。

メンテナンスが選択されると、メーキャップシミュレーション装置１はメンテナンス画面に遷移する。また、トップ画面が選択されると、メーキャップシミュレーション装置１はトップ画面に戻る。

メニュー選択画面は、後述するトータルメーキャップコース又はトレンドメーキャップコースのうち、トップ画面で選択可能とするコースと、それぞれのコースで利用可能とする化粧品のブランドとを選択させるための画面である。

化粧品の対面販売の支援を行うとき、美容部員はメーキャップシミュレーション装置１のモニタ１３に図１９のトップ画面１０００を表示させる。図１９はトップ画面（コース選択画面）の一例のイメージ図である。

トップ画面１０００は顧客に試させるコースを、トータルメーキャップコース又はトレンドメーキャップコースから選択させるための画面である。トータルメーキャップコースは問診と分析とから肌づくりと似合う色とを顧客に提案するものである。また、トレンドメーキャップコースは最新のトレンドメーキャップをブランド別に、顧客に試させるものである。

以下、トータルメーキャップコースが選択されたあとの処理と、トレンドメーキャップコースが選択されたあとの処理とに分けて説明する。

（トータルメーキャップコース）
トップ画面１０００からトータルメーキャップコースが選択されると、メーキャップシミュレーション装置１はモニタ１３にトータルメーキャップコースのブランド選択画面１０１０を表示する。図２０はブランド選択画面の一例のイメージ図である。

ブランド選択画面１０１０はトータルメーキャップコースで利用する化粧品のブランドを選択させるための画面である。なお、図２０のブランド選択画面１０１０は選択できる化粧品のブランドが一つの例である。トータルメーキャップコースでは以降の画面遷移に従うことで、顧客に最適なベースメーキャップ、ポイントメーキャップを提案できる。

メーキャップシミュレーション装置１はブランド選択画面１０１０から化粧品のブランドが選択されると、モニタ１３に問診画面１０２０を表示する。図２１は問診画面の一例のイメージ図である。美容部員又は顧客は問診画面１０２０にタッチすることで該当する項目にチェックボタンを付ける。

なお、問診画面１０２０には問診を飛ばすボタンが設けられている。問診が飛ばされた場合、メーキャップシミュレーション装置１は、例えばファンデーションおすすめ色の提案を行う。

メーキャップシミュレーション装置１は問診画面１０２０への全ての回答が終了したと判定すると、モニタ１３に撮影画面１０３０を表示する。図２２は、撮影画面の一例のイメージ図である。

撮影画面１０３０はカメラ１４が撮影した画像をモニタ１３に表示している。顧客がモニタ１３の画面に映っている状態で、美容部員又は顧客は撮影画面１０３０上の撮影ボタンにタッチして、メーキャップシミュレーション装置１に撮影を行わせる。撮影画面１０３０上の撮影ボタンがタッチされると、メーキャップシミュレーション装置１は顧客の撮影を行ったあと、モニタ１３にポイント修正画面１０４０を表示する。図２３はポイント修正画面の一例のイメージ図である。

ポイント修正画面１０４０は、撮影した顧客の顔にトラッキングポイントを付与した画像１０４１と、トラッキングポイントを示すイラスト１０４２とを含む。美容部員又は顧客はイラスト１０４２を参考にして画像１０４１上のトラッキングポイントを修正する必要があるかを判断する。画像１０４１上のトラッキングポイントを修正する必要があると判断すると、美容部員又は顧客はポイント修正画面１０４０上でトラッキングポイントの修正を行う。メーキャップシミュレーション装置１は、美容部員又は顧客によって修正されたトラッキングポイントをトラッキングポイントＤＢ３９等に格納されているトラッキングポイントに反映させる。

メーキャップシミュレーション装置１は、必要に応じてトラッキングポイントの修正が行われた後、前述した肌色分析処理及び顔立ち分析処理を行う。肌色分析処理及び顔立ち分析処理が終了すると、メーキャップシミュレーション装置１はモニタ１３に分析結果画面１０５０を表示する。図２４は分析結果画面の一例のイメージ図である。

分析結果画面１０５０は、顔立ち分類マップ１０５１と、肌色分類マップ１０５２とを含む。メーキャップシミュレーション装置１は分析結果画面１０５０上の詳細分析ボタンがタッチされると、更に、後述の詳細分析画面を表示する。

次に、メーキャップシミュレーション装置１はモニタ１３にプレメーキャップ提案画面１０６０を表示する。図２５はプレメーキャップ提案画面の一例のイメージ図である。プレメーキャップ提案画面１０６０は顧客の顔の画像１０６１と、ファンデーションを選択する為の欄１０６２とを含む。欄１０６２には、選択可能なファンデーションが表示されると共に、前述の問診結果を反映した、お勧めのファンデーションに視覚的な変化（例えば＊マークの付与）が与えられている。

美容部員又は顧客がプレメーキャップ提案画面１０６０をタッチしてファンデーションを選択すると、メーキャップシミュレーション装置１は前述のメーキャップ処理部１６５により顧客の顔の画像１０６１にファンデーション及びプレメーキャップのメーキャップを施す。メーキャップシミュレーション装置１はプレメーキャップ提案画面１０６０上の比較ボタンがタッチされると、図２６の比較画面１０７０をモニタ１３に表示する。図２６は比較画面の一例のイメージ図である。

比較画面１０７０はファンデーションのメーキャップを施した顧客の顔の画像１０７１と、ファンデーション及びプレメーキャップのメーキャップを施した顧客の顔の画像１０７２とを含む。メーキャップシミュレーション装置１はプレメーキャップ提案画面１０６０上の動画／静止画切替ボタンがタッチされると、顧客の顔の画像１０６１の動画／静止画を切り替える。

次に、メーキャップシミュレーション装置１はモニタ１３にフェースカラー提案画面１０８０を表示する。図２７はフェースカラー提案画面の一例のイメージ図である。図２７のフェースカラー提案画面１０８０は顧客の顔の画像１０８１と、フェースカラーを選択する為の欄１０８２とを含む。顧客の顔の画像１０８１は、前述の肌色分析処理及び顔立ち分析処理の結果に基づき、お勧めのフェースカラーでメーキャップが施されている。

美容部員又は顧客がフェースカラー提案画面１０８０をタッチしてフェースカラーを選択すると、メーキャップシミュレーション装置１は選択されたフェースカラーで顧客の顔の画像１０８１にメーキャップを施す。メーキャップシミュレーション装置１はフェースカラー提案画面１０８０上の比較ボタンがタッチされると、図２８の比較画面１０９０をモニタ１３に表示する。図２８は比較画面の一例のイメージ図である。

比較画面１０９０は、ファンデーションのメーキャップを施した顧客の顔の画像１０９１と、ファンデーション及びベースメーキャップのメーキャップを施した顧客の顔の画像１０９２とを含む。メーキャップシミュレーション装置１はフェースカラー提案画面１０８０上の動画／静止画切替ボタンがタッチされると、顧客の顔の画像１０８１の動画／静止画を切り替える。

また、メーキャップシミュレーション装置１はフェースカラー提案画面１０８０上の塗布エリア表示ボタンがタッチされると、顧客の顔の画像１０８１上にフェースカラーの塗布エリアを表示する。

メーキャップシミュレーション装置１は、前述の肌色分析処理及び顔立ち分析処理の結果、顧客が試した各アイテムの商品情報等を含むプリント１１００をプリンタから出力できる。図２９はプリントの一例のイメージ図である。

（トレンドメーキャップコース）
トップ画面１０００からトレンドメーキャップコースが選択されると、メーキャップシミュレーション装置１は、モニタ１３にトレンドメーキャップコースのブランド選択画面を表示し、トレンドメーキャップコースで利用する化粧品のブランドを選択させる。トレンドメーキャップコースでは、以降の画面遷移に従うことにより、顧客に最適なトレンドメーキャップを提案できる。

メーキャップシミュレーション装置１はブランド選択画面から化粧品のブランドが選択されると、モニタ１３に図３０のトレンドトップ画面１２００を表示する。図３０はトレンドトップ画面の一例のイメージ図である。

トレンドトップ画面１２００はトレンドメーキャップをイメージさせる５人のモデルの顔（モデルイメージ）が表示される。次に、メーキャップシミュレーション装置１はモニタ１３に図２２の撮影画面１０３０を表示する。撮影画面１０３０上の撮影ボタンがタッチされると、メーキャップシミュレーション装置１は顧客の撮影を行う。また、メーキャップシミュレーション装置１は前述のメーキャップ処理部１６５により顧客の顔の画像１０６１にトレンドメーキャップをそれぞれ施した自動シミュレーション画面１２１０を順次切り換えて表示する。

図３１は自動シミュレーション画面の一例のイメージ図である。自動シミュレーション画面１２１０はトレンドメーキャップを施した顧客の顔の画像１２１１と、顧客に施したトレンドメーキャップのモデルイメージ１２１２とを含む。

次に、メーキャップシミュレーション装置１はモニタ１３にイメージ選択画面１２２０を表示する。図３２はイメージ選択画面の一例のイメージ図である。イメージ選択画面１２２０は顧客の顔の画像１２２１と、トレンドメーキャップを選択させるためのモデルイメージ１２２２とを含む。

美容部員又は顧客がイメージ選択画面１２２０をタッチしてモデルイメージ１２２２を選択すると、メーキャップシミュレーション装置１はシミュレーション画面１２３０をモニタ１３に表示する。図３３はシミュレーション画面の一例のイメージ図である。図３３のシミュレーション画面１２３０はトレンドメーキャップを施された顧客の顔の画像１２３１と、選択されたモデルイメージ１２３２と、トレンドメーキャップに利用された商品情報１２３３とを含む。

メーキャップシミュレーション装置１は選択されたモデルイメージ１２３２に応じたトレンドメーキャップを、前述のメーキャップ処理部１６５により顧客の顔の画像１２３１に施している。

メーキャップシミュレーション装置１はシミュレーション画面１２３０上の全パターン比較ボタンがタッチされると、図３４の全パターン比較画面１２４０をモニタ１３に表示する。図３４は全パターン比較画面の一例のイメージ図である。図３４の全パターン比較画面１２４０はトレンドメーキャップをそれぞれ施した複数の顧客の顔の画像１２４１を含む。

また、メーキャップシミュレーション装置１はシミュレーション画面１２３０上の比較ボタンがタッチされると、図３５の比較画面１２５０をモニタ１３に表示する。図３５は比較画面の一例のイメージ図である。図３５の比較画面１２５０はトレンドメーキャップを施す前の顧客の顔の画像１２５１とトレンドメーキャップを施した後の顧客の顔の画像１２５２とを含む。メーキャップシミュレーション装置１はシミュレーション画面１２３０上の動画／静止画切替ボタンがタッチされると、顧客の顔の画像１２３１の動画／静止画を切り替える。

メーキャップシミュレーション装置１は、顧客が試した各アイテムの商品情報等を含むプリントをプリンタから出力できる。なお、シミュレーション画面１２３０上の顔分析ボタンがタッチされると、メーキャップシミュレーション装置１は前述した肌色分析処理及び顔立ち分析処理を行い、モニタ１３に例えば分析結果画面１０５０を表示できる。

（トータルメーキャップコースにおける詳細分析）
図３６は顔立ちの詳細分析画面の一例のイメージ図である。顔立ちの詳細分析画面１３００は顧客の顔の画像１３０１と、顔立ち分析結果１３０２とを含む。顔立ち分析結果１３０２は顔立ちのイメージを「顔の長さ」，「パーツの配置」，「パーツの形」によって４つのイメージに分けるものである。

「顔の長さ」は、顔の横幅と眉山から、あご先までを結んだ正方形を基準とした時の長さの度合いで長め・短めと分析される。「パーツの形」は、顔立ちの印象に最も影響がある目の形で、主に丸さの度合いで直線・曲線と分析される。

顔の長さが短め、目のフレームが直線である場合、顔立ち分析結果１３０２の顔立ちのイメージは「フレッシュ・活発」と判定される。顔の長さが短め、目のフレームが曲線である場合、顔立ち分析結果１３０２の顔立ちのイメージは「キュート・可愛らしい」と判定される。

顔の長さが長め、目のフレームが直線である場合、顔立ち分析結果１３０２の顔立ちのイメージは「クール・シャープ」と判定される。顔の長さが長め、目のフレームが曲線である場合、顔立ち分析結果１３０２の顔立ちのイメージは「やさしい・女らしい」と判定される。

この後、美容部員は詳細分析画面１３００の顔立ち分析結果１３０２により分けられた顧客の顔立ちのイメージを活かしてメーキャップを提案できる。

図３７はパーツの詳細分析画面の一例のイメージ図である。パーツの詳細分析画面１３１０は顧客の顔の画像１３１１と、各パーツの分析結果１３１２とを含む。各パーツの分析結果１３１２には眉の分析結果１３１３，目の分析結果１３１４，口もとの分析結果１３１５が含まれる。

眉の分析結果１３１３では「顔の長さ」，「眉の下側の角度」によって顔立ちにあったバランスのよい眉を４つのパターンに分ける為、「眉の下側の角度」を１０度より高いか低いかで高め・低めと分析している。この後、美容部員は顔の長さ（長め、短め）と眉の下側の角度（高め、低め）との組み合わせにより４つのパターンに分けられた、バランスのよい眉に従い、顧客にバランスのよい眉の描き方を提案できる。

目の分析結果１３１４では「目の横幅」，「目尻の下側の角度」によって顔立ちにあったアイラインやアイシャドーの描き方を４つのパターンに分ける為、「目尻の下側の角度」を１０度より高いか低いかで高め・低めと分析している。この後、美容部員は、目の横幅の長さ（長め、短め）と、目尻の下側の角度（高め、低め）との組み合わせにより４つのパターンに分けられた、顔立ちにあったアイラインやアイシャドーの描き方を顧客に提案できる。

口もとの分析結果１３１５では「上唇の山の位置」，「鼻孔の中心の位置」によって顔立ちにあった口紅の描き方を２つのパターンに分ける為、上唇の山が鼻孔の中心をおろした位置より内側か外側かを分析している。この後、美容部員は上唇の山が鼻孔の中心をおろした位置より内側か外側かにより２つのパターンに分けられた、顔立ちにあった口紅の描き方を顧客に提案できる。

（トレンドメーキャップコースにおける詳細分析）
図３８は顔立ちの詳細分析画面の他の例のイメージ図である。顔立ちの詳細分析画面１４００は顧客の顔の画像１４０１と、顔立ち分析結果１４０２とを含む。顔立ち分析結果１４０２は１：１：１の顔立ちを理想としたときのバランス（美の黄金バランス）と、光と影のバランス（陰影バランス）とを分析したものである。

顔立ち分析結果１４０２は図３９に示すように１：１：１の美の黄金バランスとの比較によって３つのイメージに分けるものである。図３９は１：１：１の顔立ちを理想としたときの３つのバランスを表したイメージ図である。図３９（Ａ）は理想的なバランスを示している。図３９（Ｂ）は理想的なバランスよりも短いバランスを示している。また、図３９（Ｃ）は理想的なバランスよりも長いバランスを示している。この後、美容部員は分析されたバランスを活かして、チークやフェースカラーの付ける位置でバランスを理想のバランスに近づけるように、顔立ちにあったチークやフェースカラーの付ける位置を提案できる。

図４０は顔立ち詳細分析画面の他の例のイメージ図である。顔立ち詳細分析画面１４１０は顧客の顔の画像１４１１と、顔立ち分析結果１４１２とを含む。顔立ち分析結果１４１２は顔立ちのイメージを「顔の縦の長さ」，「骨格」，「肉づき感」により４つのイメージに分けるものである。「顔の縦の長さ」は、長め・短めと分析される。「骨格」及び「肉づき感」は、すっきり・ふっくらと分析される。美容部員は顔の縦の長さ（長め・短め）と骨格及び肉づき感（すっきり・ふっくら）との組み合わせにより４つに分けられた顔立ちのイメージを活かしてメーキャップを提案できる。

なお、本発明は、具体的に開示された実施例に限定されるものでなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

１ メーキャップシミュレーション装置
１０ 本体部
１１ アーム部
１２ 土台部
１３ モニタ
１４ カメラ
１５ 照明
１６ ストロボ
２１ タッチパネル
２２ メモリカードＩ／Ｆ
２３ メモリカード
２４ 主記憶装置
２５ 演算処理装置
３１ 専用ＡＰＩ
３４ 縮小部
３５，４１ トリミング部
３８ 顔認識処理部
３９，４５ トラッキングポイントＤＢ
４０ 詳細部位抽出部
４３ 肌色分析部
４４ 肌色分類マップ
４６ 表示制御部
１５１ アナログカメラ
１５２ ＵＳＢキャプチャデバイス
１５３ 動画ファイル
１５４ メーキャップカメラ
１５５ ストロボ
１５６ 静止画システム
１５７ 共有メモリ
１５８ シミュレータメインアプリ
１５９ インターフェースアプリ
１６０ 動画ファイル
１６１ ＤｉｒｅｃｔＸ
１６３ 顔認識処理部
１６５ メーキャップ処理部
１６６ ファンデーション処理部
１６７ 眉処理部
１６８ シャドウ処理部
１６９ 口紅処理部
１７０ チーク処理部
１７１ 商品情報
１７２ 動画サーバ
１８０ ＡｃｔｉｖｅＸコントローラ
１８１ ＡｃｔｉｖｅＸビュアー
１８２ 動画コントロールオブジェクト
１８３ 動画表示オブジェクト
１８４ その他のコントローラ

Claims (11)

1. メーキャップに関係する商品の対面販売を支援するメーキャップシミュレーション装置であって、
   ユーザの顔を撮影する撮影手段と、
   撮影した前記ユーザの顔の画像から前記ユーザの顔の顔立ち分析及び肌色分析を行う分析手段と、
   前記ユーザの顔の顔立ち分析及び肌色分析の結果を表示する分析結果表示手段と、
   前記ユーザの顔の顔立ち分析及び肌色分析の結果に基づき、前記ユーザの顔の顔立ち及び肌色に合った商品の情報を表示すると共に、該商品を使ってメーキャップを施した前記ユーザの顔をシミュレーションして表示するシミュレーション画面表示手段と
   を有するメーキャップシミュレーション装置。
2. 前記シミュレーション画面表示手段は、前記ユーザに対する問診，前記ユーザの顔の顔立ち分析及び肌色分析の結果に基づき、前記問診結果，前記ユーザの顔の顔立ち及び肌色に合った商品の情報を表示すると共に、該商品を使ってメーキャップを施した前記ユーザの顔をシミュレーションして表示する
   請求項１記載のメーキャップシミュレーション装置。
3. 前記シミュレーション画面表示手段は、前記ユーザの顔をシミュレーションして表示するとき、前記ユーザの顔の顔立ち及び肌色の少なくとも一方と対応付けられた前記ユーザの顔の顔立ち及び肌色に合うメーキャップを施す
   請求項１又は２記載のメーキャップシミュレーション装置。
4. 前記分析結果表示手段は、前記顔立ち及び肌色に合ったメーキャップの施し方が異なるように、前記顔立ち及び肌色を複数のタイプに分け、前記ユーザの顔の顔立ち分析及び肌色分析の結果として前記ユーザの顔が属する前記顔立ち及び肌色のタイプを表示する
   請求項１乃至３何れか一項記載のメーキャップシミュレーション装置。
5. メーキャップに関係する商品の対面販売を支援するメーキャップシミュレーション装置であって、
   ユーザの顔を撮影する撮影手段と、
   撮影した前記ユーザの顔の画像に対し、複数の異なるメーキャップを施した前記ユーザの顔をシミュレーションして表示する複数シミュレーション画面表示手段と、
   前記複数の異なるメーキャップから一つのメーキャップを選択させるメーキャップ選択画面表示手段と、
   選択された前記メーキャップに利用する商品の情報を表示すると共に、選択された前記メーキャップを施した前記ユーザの顔をシミュレーションして表示するシミュレーション画面表示手段と
   を有するメーキャップシミュレーション装置。
6. 前記メーキャップシミュレーション装置は、更に、撮影した前記ユーザの顔の画像から前記ユーザの顔の顔立ち分析及び肌色分析を行う分析手段を有する
   請求項５記載のメーキャップシミュレーション装置。
7. 前記メーキャップシミュレーション装置は、
   前記撮影手段のシャッタ動作に連動して発光するストロボ手段を更に有し、
   前記撮影手段は、環境光の影響を除去できるシャッタ速度で前記ユーザの顔を撮影すると共に、環境光の影響を受けるシャッタ速度で前記ユーザの顔を撮影し、
   前記分析手段は、前記撮影手段が撮影したストロボ光の影響を受けた前記ユーザの顔の画像から前記肌色分析を行い、
   前記シミュレーション画面表示手段は、前記撮影手段が撮影したストロボ光及び環境光の影響を受けた前記ユーザの顔に、前記メーキャップを施すようにシミュレーションして表示する
   請求項１又は６記載のメーキャップシミュレーション装置。
8. メーキャップに関係する商品の対面販売を支援するメーキャップシミュレーション装置を、
   ユーザの顔を撮影する撮影手段と、
   撮影した前記ユーザの顔の画像から前記ユーザの顔の顔立ち分析及び肌色分析を行う分析手段と、
   前記ユーザの顔の顔立ち分析及び肌色分析の結果を表示する分析結果表示手段と、
   前記ユーザの顔の顔立ち分析及び肌色分析の結果に基づき、前記ユーザの顔の顔立ち及び肌色に合った商品の情報を表示すると共に、該商品を使ってメーキャップを施した前記ユーザの顔をシミュレーションして表示するシミュレーション画面表示手段と
   して機能させるためのメーキャップシミュレーションプログラム。
9. メーキャップに関係する商品の対面販売を支援するメーキャップシミュレーション装置を、
   ユーザの顔を撮影する撮影手段と、
   撮影した前記ユーザの顔の画像に対し、複数の異なるメーキャップを施した前記ユーザの顔をシミュレーションして表示する複数シミュレーション画面表示手段と、
   前記複数の異なるメーキャップから一つのメーキャップを選択させるメーキャップ選択画面表示手段と、
   選択された前記メーキャップに利用する商品の情報を表示すると共に、選択された前記メーキャップを施した前記ユーザの顔をシミュレーションして表示するシミュレーション画面表示手段と
   して機能させるためのメーキャップシミュレーションプログラム。
10. コンピュータによって実行される対面販売支援方法であって、
    前記コンピュータが、
    ユーザの顔を撮影する撮影ステップと、
    撮影した前記ユーザの顔の画像から前記ユーザの顔の顔立ち分析及び肌色分析を行う分析ステップと、
    前記ユーザの顔の顔立ち分析及び肌色分析の結果を表示する分析結果表示ステップと、
    前記ユーザの顔の顔立ち分析及び肌色分析の結果に基づき、前記ユーザの顔の顔立ち及び肌色に合った商品の情報を表示すると共に、該商品を使ってメーキャップを施した前記ユーザの顔をシミュレーションして表示するシミュレーション画面表示ステップと
    を実行する対面販売支援方法。
11. コンピュータによって実行される対面販売支援方法であって、
    前記コンピュータが、
    ユーザの顔を撮影する撮影ステップと、
    撮影した前記ユーザの顔の画像に対し、複数の異なるメーキャップを施した前記ユーザの顔をシミュレーションして表示する複数シミュレーション画面表示ステップと、
    前記複数の異なるメーキャップから一つのメーキャップを選択させるメーキャップ選択画面表示ステップと、
    選択された前記メーキャップに利用する商品の情報を表示すると共に、選択された前記メーキャップを施した前記ユーザの顔をシミュレーションして表示するシミュレーション画面表示ステップと
    を実行する対面販売支援方法。