JP4760999B1 - 画像処理装置、画像処理方法、および制御プログラム - Google Patents

Abstract

【課題】様々な条件の顔画像に対して適切にメーキャップ処理を行うことができる画像処理装置および画像処理方法を実現する。
【解決手段】本発明に係る画像処理装置６は、顔画像の肌に、指定された色のメーキャップを合成する処理を行うものであって、顔画像におけるメーキャップを合成する左右のメーキャップ領域について、合成後の左右のメーキャップ領域の色の差が小さくなるように、顔画像における左のメーキャップ領域の代表色と右のメーキャップ領域の代表色との差を用いて、メーキャップ色を補正して左用メーキャップ色および右用メーキャップ色を決定する色補正部１６と、顔画像の左右のメーキャップ領域の肌の色に、それぞれ左用メーキャップ色および右用メーキャップ色を重ねることによりメーキャップを合成する着色部１７とを備える。
【選択図】図１

Description

本発明は、画像処理装置および画像処理方法に関し、特に顔画像の補正を行う画像処理装置および画像処理方法に関する。

従来より、化粧品を利用者の顔につけたときにどのように見えるかをシミュレートするために、顔画像に仮想的にメーキャップを施す技術が知られている。

特許文献１は、撮像した利用者の顔画像に頬紅を塗布する頬紅メーキャップシミュレーション技術を開示している。特許文献２は、撮像した利用者の顔画像にアイシャドウおよびアイラインを描く目元メーキャップシミュレーション技術を開示している。これらの技術によると、利用者の顔画像の色に頬紅またはアイシャドウ等の色を重ねて塗布するため、利用者の肌の色に応じたメーキャップを施すことができる。

特開２０００−２７９２２８号公報（２０００年１０月１０日公開） 特開２０００−２８５２２２号公報（２０００年１０月１３日公開）

しかしながら、上記従来の構成では、下記の問題を生じる。

特許文献１および特許文献２に記載の技術は、メーキャップシミュレーションを行うために最適な顔画像を準備することを前提としている。具体的には、上記従来の技術は、目や頬の周辺が他の物体で隠れておらず、顔の全面に均一な光が当たっている、無表情の正面の顔画像を用いることを前提としている。そのため、例えば、化粧品販売店において、まず顧客（利用者）にカメラに向かって座ってもらい、前髪を上げる、眼鏡を外す等の準備をしてもらう。その後、均一に照射されるよう配置された照明の下で、販売員が顧客の最適な顔画像を撮像し、無表情な正面の顔画像をメーキャップシミュレータに入力するということが行われる。メーキャップシミュレーションに失敗した場合は、上記の過程を繰り返すといったことが行われる。そのため、利用者は、メーキャップシミュレーションを行うために化粧品販売店に赴く必要があり、さらに販売員の補助をも必要とする。そのため、利用者がメーキャップシミュレーションを気軽に試すことができない。また、特許文献１および特許文献２に記載の技術では、普段通りの状態、すなわち前髪を下ろした状態または眼鏡をかけた状態におけるメーキャップシミュレーションを行うことができない。

また、例えば特許文献１および特許文献２に記載の技術を、デジタルカメラまたはカメラ付き携帯電話等に適用し、撮像された顔画像にメーキャップを施すソフトウェアを実現することもできる。また、パソコンまたはインターネット上のサーバにおいて動作するメーキャップシミュレータとして適用することも考えられる。この場合は、販売員にメーキャップシミュレーションを依頼することは必要ない。

しかしながら、特許文献１および特許文献２に記載の技術では、メーキャップシミュレーションに最適な画像、すなわち、目や頬の周辺が他の物体で隠れておらず、顔の全面に均一な光が当たっている、無表情の正面の顔画像を、利用者自らで準備する必要がある。もし、デジタルカメラまたはカメラ付き携帯電話によって撮影したスナップ写真（例えば、早撮りの、自然な状態を撮った写真）を用いて、従来の技術によるメーキャップシミュレーションを行った場合、以下のような問題が生じる。

第１に、スナップ写真には、向きが正面ではない顔、またはわざと歪んだ表情をした顔等、そもそもメーキャップシミュレーションを行うのが困難な顔画像が含まれていることが少なくない。そのような顔画像に対して、従来の技術によるメーキャップシミュレーションを行うと、意図通りの補正を行うことができず、不自然な結果を生じてしまう。

第２に、スナップ写真に写った顔の向きが正面に近い場合であっても、眼鏡をかけている、または髪が目の付近にかかっている等、メーキャップすべき領域の一部または全部が他の物体で覆われていることはよくあることである。そのような顔画像に対して、従来の技術によるメーキャップシミュレーションを行うと、メーキャップすべき領域に重なった他の物体に対してメーキャップを施した結果が得られるという問題が生じる。

また、メーキャップすべき領域付近に眼鏡または髪等がなかったとしても、従来の技術では、顔の特徴点または目の輪郭等を正しく抽出できなかった場合、目にアイシャドウが入り込む等、意図しない箇所にメーキャップを施した結果が得られるという問題が生じる。

また、スナップ写真等においては、顔に均一に光が当たっていないことも少なくなく、顔の左右の一方の側が明るく、反対側が暗くなっていることもよくあることである。そのような顔画像に対して、従来の技術によるメーキャップシミュレーションを行うと、適用するメーキャップの色（化粧品の色）によっては、不自然に見える結果を生じる。例えば、従来の技術によってアイシャドウ（または頬紅）の色と肌の色とをエアブラシ処理等によって合成して得られた色（メーキャップ後の色）の左右の差は、元の左右の肌の色の差に対して不自然に見えることがある。この問題は、特に元の左右の肌の色の明るさの違いが一見分かりにくい場合に顕著である。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、幅広い条件の顔画像に対して適切にメーキャップ処理を行うことができる画像処理装置および画像処理方法を実現することにある。

本発明に係る画像処理装置は、人物画像の肌に、ある色の模様を着色する処理を行う画像処理装置であって、上記の課題を解決するために、上記人物画像における上記模様を着色する複数の領域について、それぞれの領域に適用する上記模様の色を異ならせるように上記模様の色を補正して各領域用色を決定する色補正部と、上記人物画像の各領域の色に、それぞれの上記領域用色を重ねることにより上記模様を着色する着色部とを備え、上記色補正部は、着色後の各領域の色の差が小さくなるように、上記人物画像における各領域の代表色の差異を用いて、上記模様の色を補正して各領域用色を決定することを特徴としている。

本発明に係る画像処理方法は、人物画像の肌に、ある色の模様を着色する処理を行う画像処理方法であって、上記の課題を解決するために、上記人物画像における上記模様を着色する複数の領域について、それぞれの領域に適用する上記模様の色を異ならせるように上記模様の色を補正して各領域用色を決定する色補正ステップと、上記人物画像の各領域の色に、それぞれの上記領域用色を重ねることにより上記模様を着色する着色ステップとを含み、上記色補正ステップにおいては、着色後の各領域の色の差が小さくなるように、上記人物画像における各領域の代表色の差異を用いて、上記模様の色を補正して各領域用色を決定することを特徴としている。

撮像時の照明等の影響により、人物画像の肌の模様を着色すべき複数の領域の内の第１領域と第２領域とは、陰影ができて明るさが大きく異なっていることがある。そのような人物画像に対して第１領域および第２領域に同じ色を用いて着色すると、元の肌の色が反映されて着色後の第１領域および第２領域の模様の色が大きく異なるように見えてしまう。

上記の構成によれば、人物画像の第１領域の代表色と第２領域の代表色との差異に応じて、着色後の第１領域および第２領域の色の差が小さくなるように、模様の色を補正して第１領域用色および第２領域用色を決定し、上記人物画像の第１領域および第２領域の色に、それぞれ第１領域用色および第２領域用色を重ねることにより上記模様を着色する。よって、人物画像の肌の第１領域の色と第２領域の色とが大きく異なる場合でも、着色後の第１領域および第２領域の模様の色の差を小さくすることができる。そのため、自然な見た目になるよう人物画像の肌に模様（例えばメーキャップ）を着色することができる。それゆえ、例えば利用者が、均一に照明を当てたりした画像を準備しなくとも、幅広い条件で撮られた画像を用いてメーキャップシミュレーションを行うことができる。

また、上記色補正部は、第１領域に含まれる各画素について、当該画素の色と当該画素に対応する模様補正色との色空間における位置関係が、上記人物画像の肌の代表色と上記模様の色との色空間における位置関係と同じになるように、上記模様補正色を決定し、上記人物画像における第１領域の代表色と第２領域の代表色との差異を用いて、上記模様補正色をさらに補正して当該画素に対応する第１領域用色を決定してもよい。

なお、上記色補正部は、第１領域に含まれる各画素について、当該画素の色と当該画素に対応する模様補正色との色空間における輝度の比が、上記人物画像の肌の代表色と上記模様の色との色空間における輝度の比と同じになるように、上記模様補正色を決定してもよい。

また、上記色補正部は、第１領域に含まれる各画素について、当該画素の色と当該画素に対応する模様補正色との色空間における色相の差が、上記人物画像の肌の代表色と上記模様の色との色空間における色相の差と同じになるように、上記模様補正色を決定してもよい。

人物画像の肌の色は、一般に、色空間において平均色を中心として広がりを持って分布している。そのため、人物画像の肌に重ねる模様の色を、肌の各画素の色に応じて変化させて適用することで、より自然に肌に模様を着色することができる。

上記の構成によれば、人物画像の肌の各画素の色に応じて、当該画素の色と当該画素に対応する模様補正色との色空間における位置関係が、人物画像の肌の代表色と模様の色との色空間における位置関係と同じになるように、模様補正色を決定する。よって、各画素の色の分布に対応するように模様の色を補正して着色のための模様補正色を決定することができる。それゆえ、より自然に人物画像の肌に模様を着色することができる。

また、上記色補正部は、上記人物画像における第１領域の代表輝度と第２領域の代表輝度との差異を用いて、上記模様の色の輝度を補正して第１領域用色および第２領域用色を決定してもよい。

例えば、人物画像における肌の色の違いは、撮像時の照明等に起因する、明るさの違いであることが多い。

上記の構成によれば、人物画像における第１領域の代表輝度と第２領域の代表輝度との差異に応じて、着色後の第１領域および第２領域の色の差が小さくなるように、模様の色の輝度を補正して第１領域用色および第２領域用色を決定する。よって、人物画像の肌の第１領域の色の明るさと第２領域の色の明るさとが大きく異なる場合でも、着色後の第１領域および第２領域の模様の色の差を小さくすることができる。そのため、自然な見た目になるよう人物画像の肌に模様（例えばメーキャップ）を着色することができる。

また、上記画像処理装置は、模様の色を指定する指示を受け取る指示受領部を備え、色補正部は、指定された色を補正して第１領域用色および第２領域用色を決定する構成であってもよい。

また、第１領域および第２領域は、それぞれ上記人物画像の顔の左右の部位に対応するものであってもよい。

上記の構成によれば、人物画像の顔の左右の同じ部位に、それぞれ模様を着色する場合に、着色後の左右の模様が自然な見た目に見えるよう人物画像の肌に模様（例えばメーキャップ）を着色することができる。

また、上記画像処理装置は、上記人物画像の所定の部位の位置を検出する検出部と、検出された上記位置に基づき、上記所定の部位に着色することを抑制するマスクを生成するマスク部とを備え、上記着色部は、上記人物画像の第１領域および第２領域の色に、それぞれ第１領域用色および第２領域用色を、上記マスクを反映した重みを用いて重ねることにより上記模様を着色する構成であってもよい。

上記の構成によれば、所定の部位にマスクを設定し、所定の部位を模様の色で着色することを防止することができる。よって、意図に反して人物画像の所定の部位に模様が入り込むことを防止することができる。

また、上記画像処理装置は、上記人物画像の所定の部位の位置を検出する検出部と、検出された上記位置に基づき、上記人物画像の顔が、模様を着色する対象として適しているか否かを判定する適否判定部とを備え、上記人物画像の顔が、模様を着色する対象として適していると判定された場合に、上記着色部は、上記人物画像の顔に対して上記模様を着色する構成であってもよい。

上記の構成によれば、人物画像の顔が、模様を着色する対象として適していると判定された場合に、模様を着色する処理を行うので、模様を着色する処理の失敗を防止することができる。

また、上記適否判定部は、検出された上記位置に基づき、上記人物画像の顔の向きを特定し、上記人物画像の顔の向きが所定の範囲内にある場合、上記人物画像の顔が、模様を着色する対象として適していると判定してもよい。

人物画像の顔の向きが、例えば正面ではなく横向きである場合、メーキャップ等の模様を当該顔に着色することが難しい。上記の構成によれば、人物画像の顔の向きが所定の範囲内にある場合、上記人物画像の顔が、模様を着色する対象として適していると判定するので、メーキャップ処理を行うことができる人物画像を適切に判定することができる。

また、上記着色部は、上記人物画像の顔に、メーキャップとして上記模様を着色してもよい。

上記の構成によれば、人物画像の顔の肌に、より自然な見た目になるよう適切にメーキャップを施すことができる。

なお、上記画像処理装置は、一部をコンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより上記画像処理装置をコンピュータにて実現させる制御プログラム、および上記制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

以上のように、本発明によれば、人物画像の肌の第１領域の色と第２領域の色とが大きく異なる場合でも、着色後の第１領域および第２領域の模様の色の差を小さくすることができる。そのため、自然な見た目になるよう人物画像の肌に模様を着色することができる。それゆえ、幅広い条件で撮られた画像を用いてメーキャップシミュレーションを行うことができる。

本発明の一実施の形態に係るデジタルカメラの概略構成を示すブロック図である。 上瞼用アイラインの基本形状の一例を示す画像である。 下瞼用アイラインの基本形状の一例を示す画像である。 アイシャドウの基本形状の一例を示す画像である。 頬紅の基本形状の一例を示す画像である。 形状の調整を行った後のメーキャップ形状を示す画像である。 上記デジタルカメラが備える画像処理装置におけるメーキャップ処理の流れを示すフローチャートである。 目のメーキャップ処理に使用する重み分布を算出する処理の詳細な流れを示すフローチャートである。 顔画像について求めた肌色度合いＤｓの例を示す画像である。 図９に対応する、目のマスクの例を示す画像である。 図９に対応する、肌色度合いＤｓとマスクとの積を示す画像である。 図６に対応する、重み分布を示す画像である。 頬のメーキャップ処理に使用する重み分布を算出する処理の詳細な流れを示すフローチャートである。 補正されたメーキャップ色と顔画像の対応するピクセル値との色空間における関係を示す図である。

本実施の形態では、主に、デジタルカメラに搭載され、撮像された画像に含まれる顔画像に対してメーキャップ処理を行う画像処理装置について説明するが、本発明はこれに限定されるものではない。以下、本実施の形態について、図１〜図１４を参照して詳細に説明する。

＜デジタルカメラの構成＞
図１は、本実施の形態に係るデジタルカメラ１の概略構成を示すブロック図である。デジタルカメラ１は、指示入力装置２、撮像装置３、画像記憶装置４、表示装置５、および画像処理装置６を備える。

指示入力装置２は、ボタン、キーまたはタッチパネル等の入力装置を備え、利用者から撮像の指示を受け付け、撮像装置３に撮像の指示を出力する。また、指示入力装置２は、利用者からメーキャップ処理の指示を受け付け、画像処理装置６にメーキャップ処理の指示を出力する。

撮像装置３は、例えば、ＣＣＤ（charge coupled device）またはＣＭＯＳ（complementary metal oxide semiconductor）撮像素子等の撮像素子を備える。撮像装置３は、撮像の指示に応じて撮像し、撮像した画像（画像データ）を画像記憶装置４に出力する。

画像記憶装置４は、各種の情報を記憶するものであり、例えばＨＤＤ（Hard Disk Drive）、またはフラッシュメモリ等の記憶デバイスを備える。画像記憶装置４は、撮像装置３から受け取った画像を記憶して保存しておく。

表示装置５は、ディスプレイを備え、入力された画像を表示して利用者に提示する。また、表示装置５は、画像処理装置６からメーキャップ処理済みの画像を受け取り、メーキャップ処理済みの画像を表示する。

＜画像処理装置の構成＞
画像処理装置６は、画像取得部１１、顔検出部１２、特徴検出部（検出部）１３、適否判定部１４、メーキャップ形状決定部１５、色補正部１６、合成部（着色部）１７、および表示制御部１８を備える。

画像取得部１１は、指示入力装置２からメーキャップ処理の指示を受け取る。メーキャップ処理の指示は、処理対象となる画像を示す情報、および、どのようなメーキャップ（アイシャドウまたは頬紅、その形状、および色等）を行うかを示す情報を含む。画像取得部１１は、受け取ったメーキャップ処理の指示に基づき、画像記憶装置４から処理対象の画像を取得する。なお、画像取得部１１は、撮像装置３から撮像された画像を直接受け取ってもよい。画像取得部１１は、取得した処理対象の画像を顔検出部１２に出力する。また、画像取得部１１は、メーキャップ処理の指示をメーキャップ形状決定部１５に出力する。

顔検出部１２は、画像取得部１１から受け取った画像の中に含まれる顔画像を検出する。顔検出部１２は、画像に含まれる顔画像を検出すると、顔画像の位置を特定する。顔画像の位置は、顔画像の所定の点の座標を示してもよいし、顔画像の領域を示してもよい。顔検出部１２は、処理対象の画像と顔画像の位置とを、特徴検出部１３に出力する。なお、顔検出部１２は、処理対象の画像から複数の顔画像を検出してもよい。複数の顔画像を検出した場合、顔検出部１２は、各顔画像の位置を特定し、複数の顔画像の位置を特徴検出部１３に出力してもよい。

特徴検出部１３は、顔検出部１２から受け取った処理対象の画像および顔画像の位置から、該顔画像の顔の各特徴の位置を検出する。具体的には、特徴検出部１３は、例えば目（目頭、目尻、上瞼輪郭点、下瞼輪郭点等）、口（口端点、口の中心点等）、および鼻（鼻の頂点等）等の顔の器官の特徴、および顔の輪郭等の特徴（特徴点）を検出し、それらの位置を特定する。特徴の位置は、特徴点の座標を示してもよいし、特徴を含む領域を示してもよい。各特徴の検出は、公知の技術を用いて行うことができる。特徴検出部１３は、処理対象の画像と顔画像の位置と検出した顔の特徴の位置とを適否判定部１４に出力する。なお、特徴検出部１３は、複数の顔画像の特徴の位置を特定し、複数の顔画像の特徴の位置を適否判定部１４に出力してもよい。

適否判定部１４は、特徴検出部１３から受け取った処理対象の画像、顔画像の位置、および顔の特徴の位置から、該顔画像がメーキャップ処理を行うのに適しているか否かを判定する。例えば、適否判定部１４は、横向きの顔画像および写りが小さすぎる顔画像等を、不適として判定する。具体的な判定方法は後述する。なお、処理対象の画像に複数の顔画像が含まれている場合、適否判定部１４は、各顔画像についてメーキャップ処理を行うことの適否を判定してもよいし、メーキャップ処理を行うのにより適した所定数（例えば１つ）の顔画像を特定してもよい。適否判定部１４は、処理対象の画像と、処理対象として適切と判定した顔画像の位置と、その顔の特徴の位置とをメーキャップ形状決定部１５に出力する。

メーキャップ形状決定部１５は、適否判定部１４から受け取った処理対象の画像、処理対象の顔画像の位置、およびその顔の特徴の位置と、画像取得部１１から受け取ったメーキャップ処理の指示とに基づき、処理対象の顔画像に対して行うメーキャップ（模様）の形状およびその濃淡の分布を決定する。本実施の形態では、利用者によって指定されたメーキャップ色を、算出した重み分布に応じて、元の顔画像の肌の色と合成する。該重み分布はピクセル毎のメーキャップの濃淡の分布を示す。メーキャップ形状決定部１５は、メーキャップの形状と濃淡の分布として、色の合成に用いる重み分布を特定する。

メーキャップ形状決定部１５は、形状調整部２１、肌特定部２２、マスク部２３、および重み分布決定部２４を備える。

形状調整部２１は、メーキャップ処理の指示に基づき、メーキャップの種類（アイラインまたは頬紅等）と、その基本形状とを決定する。形状調整部２１は、あらかじめ用意された複数のメーキャップ基本形状のうち、メーキャップ処理の指示に基づいて、メーキャップ処理に使用するメーキャップ基本形状を特定する。なお、形状調整部２１は、メーキャップ処理のたびにメーキャップ基本形状を所定の関数を用いて計算により算出してもよい。また、メーキャップ基本形状のテンプレートを利用者の指示によって形状および濃度分布等を変化させて用いてもよい。

図２は、上瞼用アイラインの基本形状の一例を示す画像である。図３は、下瞼用アイラインの基本形状の一例を示す画像である。図４は、アイシャドウの基本形状の一例を示す画像である。図５は、頬紅の基本形状の一例を示す画像である。図２〜５において、明るい（白い）箇所はメーキャップの色が濃いことを示し、暗い（黒い）箇所はメーキャップの色が薄いことを示す。すなわち、メーキャップの基本形状は、メーキャップの形状および濃淡を表す。例えば、図２に示す上瞼用アイラインの基本形状は、各ピクセル毎に０〜１の値を持ち、値が大きいピクセルほど明るく表されており、各ピクセルの値は合成の際の重みに対応する。なお、図２〜５に示すメーキャップの基本形状は右目用または右頬用のものであり、左右反転すれば左目用または右頬用の基本形状が得られる。

形状調整部２１は、使用するメーキャップ基本形状を、顔画像の特徴に応じて変形する。例えば、形状調整部２１は、顔画像の大きさまたは目等の大きさに合わせて使用するメーキャップ基本形状の大きさを調整（スケーリング）する。また、形状調整部２１は、検出した目の輪郭の形状に応じて、例えば検出した上瞼の輪郭に図２に示す上瞼用アイラインの下側の輪郭（白い箇所）が沿うように、メーキャップ形状を調整する。このように、形状調整部２１は、各特徴に応じてメーキャップ形状を調整する。図６は、形状の調整を行った後のメーキャップ形状を示す画像である。図２〜５と同様に、図６において、明るい（白い）箇所はメーキャップの色が濃いことを示し、暗い（黒い）箇所はメーキャップの色が薄いことを示す。形状調整部２１は、大きさおよび形状を調整したメーキャップ形状を重み分布決定部２４に出力する。

肌特定部２２は、顔画像の中の肌である箇所を特定する。肌特定部２２は、ピクセルの色が肌の色であると考えられるピクセルを、肌であると判定する。具体的には、肌特定部２２は、処理対象である顔画像の各ピクセルについて、肌色度合いを特定する。本実施の形態では、肌色度合いの小さい箇所、すなわち、肌ではないと考えられる箇所については、重みを小さくしメーキャップの色を薄く重ねる、またはほとんどメーキャップの色を合成しない。肌特定部２２は、処理対象の顔画像の各ピクセルの肌色度合いを重み分布決定部２４に出力する。

マスク部２３は、処理対象の顔画像およびその特徴の位置から、目の部分（所定の部位）のマスクを生成する。ここで、まつげ等の影響により、特徴検出部１３によって検出される目の輪郭の位置には誤差がある可能性がある。アイライン等のメーキャップ形状は、形状調整部２１によって目の輪郭に応じて調整されるが、検出された目の輪郭の位置が本来の位置からずれている場合、目の中にアイライン等が入り込むことがある。本実施の形態では、顔画像の目の部分にマスクを適用することにより、アイライン等が誤って目の中に入り込むことを防止する。なお、マスク部２３は、形状調整部２１が利用する目の輪郭とは異なるアルゴリズムによって得た目の輪郭に関する情報を用いて、マスクを生成する。そうすることによって、検出誤差により形状調整部２１で発生する不具合（アイライン等が目の中に入り込むこと）を防止することができる。本実施の形態では、生成されたマスクは、各ピクセルについて０〜１の値を有する。ここで、マスクの値が１の箇所はマスクしないことを、値が小さい箇所ほど強くマスクする（メーキャップの色を合成させない）ことを意味する。なお、鼻や口等、目以外の箇所のマスクを生成してもよい。マスク部２３は、生成したマスクを重み分布決定部２４に出力する。

重み分布決定部２４は、調整されたメーキャップ形状、顔画像の肌色度合い、およびマスクに基づいて、色の合成（メーキャップ色と肌の色との合成）に用いる重み分布を決定する。具体的には、重み分布決定部２４は、顔画像に対応する各ピクセルについて、メーキャップ形状と肌色度合いとマスクとの積を算出し、この積を各ピクセルにおける重みとする。ここでは、色の合成のための重み分布は、重みの値が小さい箇所ほどメーキャップ色を薄く合成し、重みの値が大きい箇所ほどメーキャップ色を濃く合成するということを示す。重み分布決定部２４は、決定した重み分布を合成部１７に出力する。また、重み分布決定部２４は、処理対象の画像、処理対象の顔画像の位置、およびその顔の特徴の位置を色補正部１６に出力する。

色補正部１６は、処理対象の画像、処理対象の顔画像の位置、およびその顔の特徴の位置に基づいて、処理対象の顔画像の肌の色の代表色を特定する。顔領域の一部の色、例えば、顔領域の中心部分（鼻付近）の平均色、中央値、または最頻値の色等を肌の色の代表色としてもよい。また、顔領域全体の平均色等を肌の色の代表色としてもよい。また、顔のある領域の平均色を求め、該領域において該平均色と色相が異なる（ＣｂＣｒ平面における該平均色との角度が閾値より大きい）ピクセル、および／または、該領域において該平均色との色の差が大きい（ＹＣｂＣｒ色空間における該平均色との距離が閾値より大きい）ピクセルを除外して、残りのピクセルから算出した平均色を、代表色としてもよい。色補正部１６は、顔画像の各ピクセルについて、各ピクセルの色と肌の色の代表色とを用いて、利用者が指定したメーキャップ色を補正する。また、色補正部１６は、左右のメーキャップ領域の代表色の差異に応じて、合成後の左右のメーキャップ領域の色の差が小さくなるように、左右のメーキャップ領域毎にメーキャップ色を補正する。色補正部１６は、ピクセル毎に補正されたメーキャップ色を、合成部１７に出力する。また、色補正部１６は、処理対象の画像、および処理対象の顔画像の位置を合成部１７に出力する。

合成部１７は、処理対象の顔画像と、補正されたメーキャップ色とを、重み分布に応じて合成し、メーキャップ処理を施した顔画像を生成する。合成部１７は、メーキャップ処理済みの画像を表示制御部１８に出力する。なお、合成部１７は、メーキャップ処理済みの画像を画像記憶装置４に出力して記憶させてもよい。

表示制御部１８は、メーキャップ処理済みの画像を表示装置５に出力し、メーキャップ処理済みの画像を表示するよう表示装置５を制御する。

＜画像処理フロー＞
以下に、デジタルカメラ１におけるメーキャップ処理の流れについて説明する。

利用者は、指示入力装置２を介して、例えば撮像されて画像記憶装置４に記憶されている画像の中から、処理対象の画像を選択する。また、利用者は、指示入力装置２を介して、処理対象の画像に施すメーキャップの種類（アイライン、アイシャドウ、および／または頬紅等）と、各メーキャップの形状と、各メーキャップ色とを、複数の候補の中から選択する。指示入力装置２は、メーキャップの種類、メーキャップの形状、およびメーキャップ色を示す情報を含むメーキャップ処理の指示を、画像処理装置６の画像取得部１１に出力する。

図７は、画像処理装置６におけるメーキャップ処理の流れを示すフローチャートである。

画像取得部（指示受領部）１１は、指示入力装置２からのメーキャップ処理の指示を受け取ると、画像記憶装置４から処理対象となる画像を取得する（Ｓ１）。

顔検出部１２は、処理対象となる画像に含まれる顔画像を検出し、その顔画像の位置を特定する（Ｓ２）。顔検出部１２は、処理対象の画像に含まれる複数の顔画像を検出してもよい。

特徴検出部１３は、検出された顔画像に含まれる、顔の特徴の位置を検出する（Ｓ３）。特徴検出部１３は、例えば目（目頭、目尻、上瞼輪郭点、下瞼輪郭点等）、口（口端点、口の中心点等）、および鼻（鼻の頂点等）等の顔の器官の特徴（特徴点）を検出し、それらの位置を特定する。なお、特徴検出部１３は、顔の輪郭等の特徴を検出してもよい。

適否判定部１４は、これらの検出された顔の特徴の位置に基づき、該顔画像がメーキャップ処理を行うのに適しているか否かを判定する（Ｓ４）。例えば、適否判定部１４は、複数の顔画像サンプルから目、鼻、口等の顔の器官の各特徴の周辺の輝度分布の特徴をあらかじめ学習して作成した顔モデルを記憶しておく。適否判定部１４は、顔モデルと、検出された顔画像とを比較することにより、顔画像の検出された特徴の信頼度および顔の向きを特定する。

例えば検出された特徴の信頼度が、所定の閾値よりも低い場合、顔の特徴を正確に検出していない可能性が高いので、適切にメーキャップ処理を行うことができない可能性がある。そのため、検出された特徴の信頼度が、所定の閾値よりも低い場合、適否判定部１４は、該顔画像はメーキャップ処理を行うのに適していないと判定する。

また、検出された顔の向きが正面に対して大きくずれている場合（顔の向きが所定の範囲内にない場合、例えば顔の向きが正面に対して所定の角度より大きい場合）、適切にメーキャップ処理を行うことができない可能性があるため、適否判定部１４は、該顔画像はメーキャップ処理を行うのに適していないと判定する。

また、顔画像が小さすぎる場合（例えば検出した左右の目（瞳）の中心点の間の距離が所定の閾値より小さい場合）、適切にメーキャップ処理を行うことができない可能性があるため、適否判定部１４は、該顔画像はメーキャップ処理を行うのに適していないと判定する。

また、検出した目の輪郭から、目が閉じられていると判断できる場合、適切にメーキャップ処理を行うことができない可能性があるため、適否判定部１４は、該顔画像はメーキャップ処理を行うのに適していないと判定する。

また、照明の反射により、肌の色が白くなっている箇所にメーキャップ処理を施すと、メーキャップ箇所が不自然に浮いて見えることがある。よって、顔画像の肌の色の代表色の輝度が所定の閾値よりも高い場合、適否判定部１４は、該顔画像はメーキャップ処理を行うのに適していないと判定してもよい。

また、木漏れ日が顔に当たっていること等により、頬または瞼の領域の輝度分布がまだらになっていて、その輝度差が極端に大きい場合、メーキャップ処理を施すと不自然に見えることがある。よって、顔領域の肌の色の輝度の分散が所定の閾値より大きい場合、適否判定部１４は、該顔画像はメーキャップ処理を行うのに適していないと判定してもよい。

また、肌の色に近い物体が顔画像に重なっている場合、特徴検出部１３は、その物体を顔の特徴点として誤検出することがある。検出された特徴点の位置が、他の特徴点（目、鼻、口等）に比べて不自然な位置にある場合、その検出された特徴点は顔に重なる他の物体のものであると判定することができる。そのような特徴点が検出された場合、メーキャップ処理を施すと顔に重なる他の物体にまでメーキャップを合成する可能性があるので、適否判定部１４は、該顔画像はメーキャップ処理を行うのに適していないと判定してもよい。

なお、メーキャップ処理を行うことができるか否かの判定において、メーキャップの種類（アイライン、アイシャドウ、頬紅等）によって判定基準が異なっていてもよい。

メーキャップ処理を行うのに適していないと判定された場合（Ｓ４でＮｏ）、該顔画像に対する処理は終了する。

メーキャップ処理を行うのに適していると判定された場合（Ｓ４でＹｅｓ）、次に形状調整部２１は、処理対象の顔画像の肌の色の情報を取得する（Ｓ５）。肌の色の情報として、処理対象の顔画像から、肌全体の平均色と、右瞼、左瞼、右頬、左頬、および鼻等の各領域の平均色とを求める。なお、平均ではなく、各領域の代表となる色を求めてもよい。

形状調整部２１は、指示されたメーキャップの種類に応じて、処理対象を目または頬に設定する（Ｓ６）。なお、複数のメーキャップを施すことが指示されている場合、未処理のメーキャップの種類に応じて、処理対象の部位を設定する。

形状調整部２１は、左右の器官のいずれかを処理対象として設定する（Ｓ７）。例えば、形状調整部２１は、処理対象を右器官（右目または右頬）に設定する。既に右器官に対するメーキャップ処理が完了している場合、処理対象を左器官（左目または左頬）に設定する。

処理対象が目である場合（Ｓ８でＹｅｓ）、目のメーキャップ処理（アイライン、アイシャドウ等）に使用する重み分布を算出する（Ｓ９）。

処理対象が頬である場合（Ｓ８でＮｏ）、頬のメーキャップ処理（頬紅等）に使用する重み分布を算出する（Ｓ１０）。

図８は、目のメーキャップ処理に使用する重み分布を算出する処理の詳細な流れを示すフローチャートである。

形状調整部２１は、メーキャップ処理に使用するメーキャップの基本形状を決定する（Ｓ２１）。例えば、アイシャドウの基本形状は、図４に示すように目の輪郭に近い下側の重みが大きく（アイシャドウの色が濃く）、そこから離れるにしたがって徐々に重みが小さくなる（アイシャドウの色が薄くなる）重み分布を有する。また、形状調整部２１は、メーキャップ処理の指示によって、アイシャドウ等の基本形状を変形したり、重みの分布を調整してもよい。形状調整部２１は、メーキャップ基本形状を所定の関数を用いて計算により算出してもよく、あらかじめ用意されたメーキャップ基本形状のテンプレートから使用するメーキャップ基本形状を選択してもよい。

形状調整部２１は、使用するメーキャップ基本形状を、顔画像の目の形状に適合するよう、検出された目の特徴に応じて変形する（Ｓ２２）。まず、形状調整部２１は、検出された目の特徴（目頭、目尻、目の輪郭等）の情報を用いて、使用するメーキャップ基本形状の大きさを、顔画像の目の大きさに適した大きさに変更する。また、上瞼用アイラインであれば、検出した上瞼輪郭のいくつかの代表点と、大きさが調整されたメーキャップ基本形状の対応する点とがそれぞれ一致するように、形状調整部２１は、大きさが調整されたメーキャップ基本形状を変形し、顔画像における配置を決定する。メーキャップ基本形状の、代表点に対応する点以外の箇所は、線形補間を用いて変形させてもよいし、３次Ｂスプライン関数等の高次関数補間を用いて変形させてもよい。大きさおよび形状が調整されたメーキャップ形状は、メーキャップ色を合成する際の重みとして用いられる。

肌特定部２２は、処理対象の顔画像の各ピクセルについて、肌色度合いを特定する（Ｓ２３）。肌特定部２２は、処理対象の顔画像の、メーキャップ処理を行う周辺を含む一部の領域についてのみ肌色度合いを特定してもよい。肌色度合いは、処理対象の顔画像の肌の色を代表する代表色と各ピクセルの色との色空間における距離を用いて算出する。肌の代表色として、顔領域全体の肌の平均色を用いてもよいが、陰影がある場合には顔領域全体から肌の色を安定的に取得するのは難しい。そのため、肌の色を安定的に取得するために、肌の代表色として鼻の周辺の平均色等を用いてもよい。肌色度合いは、ピクセルの色が肌の色の代表色と同じ（距離０）の場合に値が最大になり、色空間における距離が大きくなるほど値が小さくなるようにする。

例えば、肌特定部２２は、鼻付近の平均色を取得し、該顔画像の肌の代表色（Ｙｃ，Ｃｂｃ，Ｃｒｃ）とする。ここでは色空間としてＹＣｂＣｒ色空間を用いているが、これに限らず任意の色空間を用いることができ、例えばＬ＊ａ＊ｂ＊色空間を用いてもよい。肌特定部２２は、顔画像の肌の代表色（Ｙｃ，Ｃｂｃ，Ｃｒｃ）を肌の色の中心とし、色空間内における顔画像の各ピクセル値（Ｙ，Ｃｂ，Ｃｒ）と顔画像の肌の代表色（Ｙｃ，Ｃｂｃ，Ｃｒｃ）との距離を求める。ここでは、距離が０であれば値が１、距離が無限大のときに値が０となるように、各ピクセルについて肌色度合いＤｓを求める。例えば、肌色度合いＤｓを求める式は、以下のようにおくことができる。

ここで、σは肌色の範囲を決める定数である。expを用いた肌色度合いＤｓを求める上式は一例であり、距離について単調減少をする指数関数、またはシグモイド型の関数等を用いてもよい。肌色度合いＤｓは、値が０〜１になり、値が大きい箇所は肌の代表色に近い色の箇所である。なお、肌色度合いＤｓを、複数のピクセルを含むブロック毎に、そのブロックの平均色から算出してもよい。また、肌特定部２２は、色空間における上記距離と閾値とを比較することで、各ピクセルが肌であるか否かを特定し、肌ではないと特定した肌色度合いの値を０として、肌ではない箇所にメーキャップ色を塗布させないようにしてもよい。

図９は、顔画像について求めた肌色度合いＤｓの例を示す画像である。図９において、明るい（白い）箇所は肌色度合いＤｓの値が大きい箇所を示し、暗い（黒い）箇所は肌色度合いＤｓの値が小さい箇所を示す。また、図９では、右目の周辺の肌色度合いＤｓを示している。肌色度合いＤｓは、メーキャップ色を合成する際の重みとして用いられるので、肌色度合いＤｓの値が大きく肌であると考えられる箇所（明るい箇所）では、メーキャップ色が濃く重ねられる。逆に、肌色度合いＤｓの値が小さく肌ではないと考えられる箇所（暗い箇所）では、メーキャップ色は薄く重ねられる、またはほとんど重ねられない。そのため、図９からも分かるように、肌色度合いの低い瞳および眉等には、メーキャップ色は合成されない。また、眼鏡等をかけている場合、眼鏡にメーキャップ色を合成することを防ぐことができる。また、髪が目の近くにかかっている場合、髪にメーキャップ色を合成することを防ぐことができる。

しかしながら、色の差では、白目の部分は白っぽい肌との区別がつけにくく、メーキャップ形状が正確に瞼の輪郭にフィットしていない場合、白目の部分にメーキャップ色が入り込む可能性がある。そのため、本実施の形態では、次に目をマスクする処理を行う。

マスク部２３は、目の部分のマスクを生成する（Ｓ２４）。具体的には、目頭点と目尻点とを結ぶ線分を長軸とし、上瞼側の目の輪郭の一点、目頭点、および目尻点を通る楕円を求め、該楕円の上側の弧を上瞼側のマスクの境界線とする。また同様に、目頭点と目尻点とを結ぶ線分を長軸とし、下瞼側の目の輪郭の一点、目頭点、および目尻点を通る楕円を求め、該楕円の下側の弧を下瞼側のマスクの境界線とする。マスクの上下の境界線に囲まれた内部をマスク領域とする。このマスク領域は、瞼の輪郭を楕円と仮定して求めたものであるので、マスク領域を完全にマスクすると、マスク領域が顔画像の目からはみ出ていたときに瞼の境界付近にメーキャップ処理が施されないという不都合が起こる。そのため、マスク領域の端の方では弱いマスクになるようにする。マスク部２３は、目尻点と目頭点の中点（マスク領域の中心）におけるマスク値が０、マスク領域の境界線上のマスク値が１になるように、かつ、ガウス分布にしたがってマスク領域の中心から離れるほどマスク値が大きくなるように、マスク領域内の各ピクセルのマスク値を設定する。なお、ガウス分布ではなく、マスク値を線形に変化させてもよいし、他の関数またはテーブルを用いてマスク値を変化させてもよい。また、マスクは楕円ではなく、他の形状であってもよい。

図１０は、図９に対応する、目のマスクの例を示す画像である。図１０において、明るい（白い）箇所はマスク値が大きい箇所を示し、暗い（黒い）箇所はマスク値が小さい箇所を示す。マスク値は、メーキャップ色を合成する際の重みとして用いられるので、マスク値が小さい箇所（暗い箇所）は強くマスクされ、メーキャップ色はほとんど合成されない。逆にマスク値が大きい箇所（明るい箇所）ではマスクは弱くなり、メーキャップ色はマスクされずに合成される。

重み決定部２４は、重み分布を表す各要素、すなわち、大きさおよび形状が調整されたメーキャップ形状と、肌色度合いＤｓと、マスクとを合成し、色の合成に用いる重み分布を求める（Ｓ２５）。具体的には、重み決定部２４は、重み分布として、各ピクセルについて、大きさおよび形状が調整されたメーキャップ形状と、肌色度合いＤｓと、マスクとの積を求める。

図１１は、図９に対応する、肌色度合いＤｓとマスクとの積を示す画像である。図９と比べると、マスクによって、目の部分がマスクされているのが分かる。なお、メーキャップ色は、図１１において明るく示されているピクセルについて、より濃く重ねられる。なお、重み決定部２４は、肌色度合いＤｓとマスクとの積の値を、所定の閾値（例えば０．５）と比較することにより、各ピクセルが肌であるか否かを判定してもよい。そして、例えば、肌であると判定されたピクセルの値を１、肌ではないと判定されたピクセルの値を０として重みを２値化してもよい。または、積が所定の閾値より小さいピクセルのみ、重みを０としてもよい。

図１２は、図６に対応する、重み分布を示す画像である。重み分布は、調整されたメーキャップ形状と肌色度合いＤｓとマスクとの積であり、図１２は、図６に示す重みと図１１に示す重みとを各ピクセルについて積をとった重み分布を示す。図１２において、明るい（白い）箇所は重みが大きい箇所を示し、暗い（黒い）箇所は重みが小さい箇所を示す。図１２に示すものが最終的な重みであり、明るい（白い）箇所はメーキャップ色が濃く塗られる。以上で目のメーキャップ処理に使用する重み分布の算出処理が終了する。

図１３は、頬のメーキャップ処理に使用する重み分布を算出する処理の詳細な流れを示すフローチャートである。頬の場合は、目のマスク処理を必要としない点が異なるが、他は目の場合と同様の処理を行うので簡単に説明する。

形状調整部２１は、メーキャップ処理に使用するメーキャップの基本形状を決定する（Ｓ３１）。例えば、頬紅の基本形状は、図５に示すように頬紅の塗布領域の中心付近の重みが最も大きく（頬紅の色が濃く）、中心から離れるにつれて徐々に重みが小さくなる（頬紅の色が薄くなる）重み分布を有する。

形状調整部２１は、使用するメーキャップ基本形状を、顔画像の頬の形状に適合するよう、検出された目、口、および鼻の特徴に応じて変形する（Ｓ３２）。まず、形状調整部２１は、検出された目、口、および鼻等の特徴の位置関係から、使用するメーキャップ基本形状の大きさを、顔画像の頬の大きさに適した大きさに変更する。また、形状調整部２１は、目、口、および鼻等の特徴の位置関係から頬のいくつかの代表点の位置を推定する。該代表点と、大きさが調整されたメーキャップ基本形状の対応する点とがそれぞれ一致するように、形状調整部２１は、大きさが調整されたメーキャップ基本形状を変形する。

肌特定部２２は、処理対象の顔画像の各ピクセルについて、肌色度合いＤｓを特定する（Ｓ３３）。この処理は目のメーキャップ処理の場合と同じである。

重み決定部２４は、重み分布を表す各要素、すなわち、大きさおよび形状が調整されたメーキャップ形状と、肌色度合いＤｓとを合成し、色の合成に用いる重み分布を求める（Ｓ３４）。具体的には、重み決定部２４は、重み分布として、各ピクセルについて、大きさおよび形状が調整されたメーキャップ形状と、肌色度合いＤｓとの積を求める。以上で頬のメーキャップ処理に使用する重み分布の算出処理が終了する。

図７のフローに戻り、Ｓ９またはＳ１０の後、色補正部１６は、利用者が指定したメーキャップ色を補正して、合成に用いるピクセル毎に補正されたメーキャップ色を求める（Ｓ１１）。色補正部１６は、瞼領域（または頬領域）の各ピクセルの色の差に基づく補正と、左右の瞼領域（または頬領域）の明るさ（輝度）の差に基づく補正とを行う。

具体的には、まず、色補正部１６は、メーキャップを施す領域の肌の色の代表色（Ｙｏ，Ｃｂｏ，Ｃｒｏ）を取得する。肌の色の代表色は、該領域の平均色等であってもよい。また、顔領域全体の肌の色の平均色を代表色として用いてもよい。なお、ここでは色空間としてＹＣｂＣｒ色空間を用いるがこれに限らない。色補正部１６は、利用者が指定したメーキャップ色（Ｙｓ，Ｃｂｓ，Ｃｒｓ）と肌の色の代表色（Ｙｏ，Ｃｂｏ，Ｃｒｏ）とから、θおよびｒを求める。ここで、θは、ＣｂＣｒ平面においてベクトル（Ｃｂｓ，Ｃｒｓ）とベクトル（Ｃｂｏ，Ｃｒｏ）とがなす角である。また、ｒ＝Ｙｓ／Ｙｏである。θは、メーキャップ色と肌の色の代表色との色味または色相の差と言える。また、ｒは、メーキャップ色と肌の色の代表色との輝度の比を示す。

色補正部１６は、顔画像の各ピクセル値（Ｙ，Ｃｂ，Ｃｒ）に対し、該ピクセルに重ねる（合成する）メーキャップ色（Ｙ’，Ｃｂ’，Ｃｒ’）をピクセル毎に求める。ここで、Ｙ’＝ｒＹになるようにメーキャップ色の輝度Ｙ’を決定する。また、ＣｂＣｒ平面においてベクトル（Ｃｂ’，Ｃｒ’）とベクトル（Ｃｂ，Ｃｒ）とがなす角がθになるように、Ｃｂ’およびＣｒ’を決定する。言い換えれば、色補正部１６は、利用者が指定したメーキャップ色と肌の色の代表色との輝度の比および色相の差を用いて、顔画像の肌の色（各ピクセル値）に応じて補正したメーキャップ色（Ｙ’，Ｃｂ’，Ｃｒ’）を求める。なお、輝度の比（または差）および色相の差のいずれか一方のみを用いてメーキャップ色を補正してもよい。

図１４は、補正されたメーキャップ色（Ｙ’，Ｃｂ’，Ｃｒ’）と顔画像の対応するピクセル値（Ｙ，Ｃｂ，Ｃｒ）との色空間における関係を示す図である。図１４に示すように、顔画像の各ピクセル値（Ｙ，Ｃｂ，Ｃｒ）と、それに対応する補正されたメーキャップ色（Ｙ’，Ｃｂ’，Ｃｒ’）との色空間における関係（θ、ｒの関係）が、肌の色の代表色（Ｙｏ，Ｃｂｏ，Ｃｒｏ）と、利用者が指定したメーキャップ色（Ｙｓ，Ｃｂｓ，Ｃｒｓ）との関係と同じになるように、色補正部１６は、メーキャップ色を補正する。なお、ピクセル毎に補正せずに利用者に指定されたメーキャップ色をそのまま用いてもよい。

次に、色補正部１６は、顔の左側のメーキャップを施す領域（例えば左瞼）のピクセルの輝度の平均Ｙｌと、顔の右側のメーキャップを施す領域（例えば右瞼）のピクセルの輝度の平均Ｙｒとを取得する。そして、色補正部１６は、左右のメーキャップ領域の輝度の差ｄ＝Ｙｌ−Ｙｒを用いて、メーキャップ色（Ｙ’，Ｃｂ’，Ｃｒ’）の輝度Ｙ’をさらに補正し、左右の肌の明るさの差に基づいて補正されたメーキャップ色の輝度Ｙｌ’（左用）およびＹｒ’（右用）を求める。
Ｙｌ’＝Ｙ’−γｄ
Ｙｒ’＝Ｙ’＋γｄ
ここで、γ（０≦γ≦０．５）は左右のメーキャップの見え方の違いを調整するパラメータであり、メーキャップの種類毎にあらかじめ設定されていてもよいし、利用者が指定してもよい。なお、左右いずれかのメーキャップ色を基準にして、もう一方のメーキャップ色の輝度のみを補正してもよい。また、左右の平均輝度の比（Ｙｌ／Ｙｒ）を用いて、Ｙｒ’＝Ｙ’（Ｙｌ／Ｙｒ）のように補正してもよい。また、左右の平均輝度を用いる代わりに、左右のメーキャップ領域の輝度の中央値等、メーキャップ領域の明るさを代表する代表輝度（代表色）を用いてメーキャップ色を補正してもよい。

撮像時の照明等の影響により、左右の瞼（または頬）領域の明るさ（輝度）が異なる場合、ピクセル毎に補正した後のメーキャップ色（Ｙ’，Ｃｂ’，Ｃｒ’）をそのまま顔画像に合成すると、メーキャップ色が左右で異なって見えることがある。そのため、メーキャップ色の左右の輝度差が小さくなるようにメーキャップ色の輝度Ｙ’を補正して、Ｙｌ’およびＹｒ’を得る。

合成部１７は、重み分布を用いて、処理対象の顔画像の色に、補正されたメーキャップ色を合成する（重ねる）ことにより、顔画像にメーキャップ色を塗布（着色）する（Ｓ１２）。具体的には、合成部１７は、各ピクセルについて、該ピクセルの重みｗに補正されたメーキャップ色をかけて、顔画像の該ピクセルの色と合成する。合成後の各ピクセルの色（Ｙａ，Ｃｂａ，Ｃｒａ）は、例えば以下の式を用いて得られる。
Ｙａ＝（１−α×ｗ）×Ｙ＋α×ｗ×Ｙｌ’ （左瞼、左頬の場合）
Ｙａ＝（１−α×ｗ）×Ｙ＋α×ｗ×Ｙｒ’ （右瞼、右頬の場合）
Ｃｂａ＝（１−ｗ）×Ｃｂ＋ｗ×Ｃｂ’
Ｃｒａ＝（１−ｗ）×Ｃｒ＋ｗ×Ｃｒ’
ここで、ｗは各ピクセルについての重みであり、α（０＜α≦１）は輝度について重みを調整するパラメータである。輝度の変化は視覚的な影響が大きく、メーキャップによって輝度が大きく変化すると不自然に見えるため、合成部１７は、メーキャップによる輝度の変化を抑えて、顔画像にメーキャップ色を合成する。

左右のメーキャップ処理が完了していなければ（Ｓ１３でＮｏ）、Ｓ７に戻り、左右の残りの処理を行う。

左右のメーキャップ処理が完了している場合（Ｓ１３でＹｅｓ）、続いて他のメーキャップ処理（アイライン、頬紅等）を行う。

他のメーキャップ処理が未処理の場合（Ｓ１４でＮｏ）、Ｓ６に戻り、未処理のメーキャップ処理を行う。

指示された全てのメーキャップ処理が完了している場合（Ｓ１４でＹｅｓ）、表示制御部１８は、メーキャップ処理後の画像を表示装置５に表示させ、メーキャップ処理を終了する。

本実施の形態によれば、処理対象の顔画像の肌色度合いを判定し、肌色度合いに応じて肌であると考えられる箇所にメーキャップ処理を施す。肌色度合いが小さい箇所については、メーキャップ処理の重みを小さくする、またはメーキャップ処理を行わない。そのため、メーキャップすべき領域の一部が眼鏡または髪等の他の物体に覆われている場合でも、他の物体にメーキャップ処理を行うことを防止し、肌にのみメーキャップ処理を行い自然なメーキャップ処理画像を得ることができる。また、目等の特徴点の検出を誤った場合にも、肌色度合いに応じてメーキャップ処理を行うので、目の中や顔の範囲外にメーキャップ処理を行うことを防止することができる。そのため、利用者は最初にメーキャップの種類、形状、色等を選択するだけで、気軽にメーキャップシミュレーションを行うことができる。

また、目の輪郭形状の個人差、顔画像の顔の向きが正面でないこと、または照明の当たり方で目の輪郭がはっきりしないこと等に起因し、検出した特徴点（目尻、目頭、目輪郭点等）の位置に誤差が生じることがある。このような場合、従来の技術では、目の中にアイラインまたはアイシャドウが入り込むことがある。

本実施の形態では、形状調整部２１がメーキャップ形状を調整する方法とは異なる方法で、マスク部２３が目の領域を規定し、目の領域にマスクをする。そのため、メーキャップ形状が目に重なるように配置された場合でも、目の領域はマスクされるので、目にメーキャップが入り込むことを防止することができる。

また、撮像時に左右の照明の当たり方が均一ではなく、顔画像の左右の一方に陰影ができていたりして、左右の肌の明るさが同じではないことがある。そのような顔画像にメーキャップを塗布する際に、左右で異なる肌の色に同じ色のメーキャップ色を合成すると肌の色の違いが反映されて、合成後のメーキャップの色は左右で異なっているように見えることがある。

本実施の形態では、左右のメーキャップ領域の肌の色の違いに応じて左右のメーキャップ領域毎に適用するメーキャップ色を補正し、合成に使用するメーキャップ色を左右で異なる色にすることにより、肌にメーキャップが合成された後のメーキャップ領域の色の差異を減少させ、自然な見た目のメーキャップ処理を行うことができる。

また、画像から検出した顔の向きが正面から大きく外れていたり、笑うなどの大きな表情変化があって特徴点をうまく検出できない場合、メーキャップ処理を施すと意図しない位置にメーキャップを合成してしまい、不自然になってしまう場合がある。また、顔画像が小さい場合、メーキャップを施す小さな領域にうまくグラデーションがかけられないので自然なメーキャップ処理が困難になることがある。

本実施の形態では、検出した顔画像がメーキャップ処理に適しているかを判定し、適していると判定された顔画像についてメーキャップ処理を行う。そのため、メーキャップ処理による失敗を防止し、メーキャップに適した顔画像にだけメーキャップ処理を行うことができる。

なお、本実施の形態では、画像処理装置を備えるデジタルカメラを例にとって説明したが、これに限らず、デジタルビデオカメラ、カメラ付き携帯電話、コンピュータ等に適用することもできる。撮像される画像は、Ｗｅｂカメラ、ネットワーク、着脱可能な記憶装置等を介して取得されてもよい。また、撮像された静止画だけではなく、動画等の顔画像にメーキャップ処理を行ってもよい。また、デジタルカメラで撮像を行う際にデジタルカメラの表示装置に表示されるプレビュー画像にメーキャップ処理を施してもよい。

また、メーキャップに限らず、人物画像の顔または肌等に任意の模様を合成してもよい。本実施の形態では、合成後の左右のメーキャップ領域の色（輝度）の違いが小さくなるよう、適用するメーキャップ色を左右で異なる色に補正したが、左右に限らず、同じ色のメーキャップ色を適用する複数の異なるメーキャップ領域において、合成後の複数のメーキャップ領域の色（輝度）の違いが小さくなるよう、各メーキャップ領域の肌の色の差（例えば各メーキャップ領域の肌の平均色との差）を用いて、適用するメーキャップ色を各メーキャップ領域毎に補正してもよい。

最後に、画像処理装置６の各ブロック、特に画像取得部１１、顔検出部１２、特徴検出部１３、適否判定部１４、メーキャップ形状決定部１５、色補正部１６、合成部１７、表示制御部１８、形状調整部２１、肌特定部２２、マスク部２３、および重み分布決定部２４は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵ（central processing unit）を用いてソフトウェアによって実現してもよい。

すなわち、画像処理装置６は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置６の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置６に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（microprocessor unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（compact disc read-only memory）／ＭＯ（magneto-optical）／ＭＤ（Mini Disc）／ＤＶＤ（digital versatile disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ（erasable programmable read-only memory）／ＥＥＰＲＯＭ（electrically erasable and programmable read-only memory）／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、画像処理装置６を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（local area network）、ＩＳＤＮ（integrated services digital network）、ＶＡＮ（value-added network）、ＣＡＴＶ（community antenna television）通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ（institute of electrical and electronic engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（asynchronous digital subscriber loop）回線等の有線でも、ＩｒＤＡ（infrared data association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、画像処理装置を備えるデジタルカメラ等に利用することができる。

１ デジタルカメラ
２ 指示入力装置
３ 撮像装置
４ 画像記憶装置
５ 表示装置
６ 画像処理装置
１１ 画像取得部（指示受領部）
１２ 顔検出部
１３ 特徴検出部（検出部）
１４ 適否判定部
１５ メーキャップ形状決定部
１６ 色補正部
１７ 合成部（着色部）
１８ 表示制御部
２１ 形状調整部
２２ 肌特定部
２３ マスク部
２４ 重み分布決定部

Claims (14)

1. 人物画像の肌に、ある色の模様を着色する処理を行う画像処理装置であって、
   上記人物画像における上記模様を着色する複数の領域について、それぞれの領域に適用する上記模様の色を異ならせるように上記模様の色を補正して各領域用色を決定する色補正部と、
   上記人物画像の各領域の色に、それぞれの上記領域用色を重ねることにより上記模様を着色する着色部とを備え、
   上記色補正部は、着色後の各領域の色の差が小さくなるように、上記人物画像における各領域の代表色の差異を用いて、上記模様の色を補正して各領域用色を決定することを特徴とする画像処理装置。
2. 人物画像の肌に、ある色の模様を着色する処理を行う画像処理装置であって、
   上記人物画像における上記模様を着色する第１領域および第２領域について、それぞれの領域に適用する上記模様の色を異ならせるように上記模様の色を補正して第１領域用色と第２領域用色とを決定する色補正部と、
   上記人物画像の第１領域および第２領域の色に、それぞれ第１領域用色および第２領域用色を重ねることにより上記模様を着色する着色部とを備え、
   上記色補正部は、着色後の第１領域および第２領域の色の差が小さくなるように、上記人物画像における第１領域の代表色と第２領域の代表色との差異を用いて、上記模様の色を補正して第１領域用色および第２領域用色を決定することを特徴とする画像処理装置。
3. 上記色補正部は、第１領域に含まれる各画素について、当該画素の色と当該画素に対応する模様補正色との色空間における位置関係が、上記人物画像の肌の代表色と上記模様の色との色空間における位置関係と同じになるように、上記模様補正色を決定し、上記人物画像における第１領域の代表色と第２領域の代表色との差異を用いて、上記模様補正色をさらに補正して当該画素に対応する第１領域用色を決定することを特徴とする請求項２に記載の画像処理装置。
4. 上記色補正部は、第１領域に含まれる各画素について、当該画素の色と当該画素に対応する模様補正色との色空間における輝度の比が、上記人物画像の肌の代表色と上記模様の色との色空間における輝度の比と同じになるように、上記模様補正色を決定することを特徴とする請求項３に記載の画像処理装置。
5. 上記色補正部は、第１領域に含まれる各画素について、当該画素の色と当該画素に対応する模様補正色との色空間における色相の差が、上記人物画像の肌の代表色と上記模様の色との色空間における色相の差と同じになるように、上記模様補正色を決定することを特徴とする請求項３または４に記載の画像処理装置。
6. 上記色補正部は、上記人物画像における第１領域の代表輝度と第２領域の代表輝度との差異を用いて、上記模様の色の輝度を補正して第１領域用色および第２領域用色を決定することを特徴とする請求項２から５のいずれか一項に記載の画像処理装置。
7. 上記模様の色を指定する指示を受け取る指示受領部を備え、
   上記色補正部は、上記指定された色を補正して第１領域用色および第２領域用色を決定することを特徴とする請求項２から６のいずれか一項に記載の画像処理装置。
8. 第１領域および第２領域は、それぞれ上記人物画像の顔の左右の部位に対応することを特徴とする請求項２から７のいずれか一項に記載の画像処理装置。
9. 上記人物画像の所定の部位の位置を検出する検出部と、
   検出された上記位置に基づき、上記所定の部位に着色することを抑制するマスクを生成するマスク部とを備え、
   上記着色部は、上記人物画像の第１領域および第２領域の色に、それぞれ第１領域用色および第２領域用色を、上記マスクを反映した重みを用いて重ねることにより上記模様を着色することを特徴とする請求項２から８のいずれか一項に記載の画像処理装置。
10. 上記人物画像の所定の部位の位置を検出する検出部と、
    検出された上記位置に基づき、上記人物画像の顔が、模様を着色する対象として適しているか否かを判定する適否判定部とを備え、
    上記人物画像の顔が、模様を着色する対象として適していると判定された場合に、上記着色部は、上記人物画像の顔に対して上記模様を着色することを特徴とする請求項２から８のいずれか一項に記載の画像処理装置。
11. 上記適否判定部は、検出された上記位置に基づき、上記人物画像の顔の向きを特定し、上記人物画像の顔の向きが所定の範囲内にある場合、上記人物画像の顔が、模様を着色する対象として適していると判定することを特徴とする請求項１０に記載の画像処理装置。
12. 上記着色部は、上記人物画像の顔に、メーキャップとして上記模様を着色することを特徴とする請求項２から１１のいずれか一項に記載の画像処理装置。
13. 人物画像の肌に、ある色の模様を着色する処理を行う画像処理方法であって、
    上記人物画像における上記模様を着色する複数の領域について、それぞれの領域に適用する上記模様の色を異ならせるように上記模様の色を補正して各領域用色を決定する色補正ステップと、
    上記人物画像の各領域の色に、それぞれの上記領域用色を重ねることにより上記模様を着色する着色ステップとを含み、
    上記色補正ステップにおいては、着色後の各領域の色の差が小さくなるように、上記人物画像における各領域の代表色の差異を用いて、上記模様の色を補正して各領域用色を決定することを特徴とする画像処理方法。
14. 人物画像の肌に、ある色の模様を着色する処理を行う画像処理装置の制御プログラムであって、
    上記人物画像における上記模様を着色する各領域について、着色後の各領域の色の差が小さくなるように、上記人物画像における各領域の代表色の差異を用いて、上記模様の色を補正して各領域用色を決定する色補正ステップと、
    上記人物画像の各領域の色に、それぞれの上記領域用色を重ねることにより上記模様を着色する着色ステップとをコンピュータに実行させる制御プログラム。