JP2009251634A

JP2009251634A - 画像処理装置、画像処理方法、及びプログラム

Info

Publication number: JP2009251634A
Application number: JP2008094747A
Authority: JP
Inventors: Akio Yamazaki; 明生山▲崎▼
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2008-04-01
Filing date: 2008-04-01
Publication date: 2009-10-29

Abstract

【課題】より自然に、顔の画像の見栄えをよくする画像補正の実現を可能とする。
【解決手段】このプリンタ１は、メモリカード１８等から取得した画像データに基づき画
像を印刷する、いわゆるダイレクトプリントに対応したカラーインクジェットプリンタで
ある。顔領域検出部２１は、プリンタ１に入力された、顔補正処理の対象となる対象画像
ＴＩを解析し、対象画像ＴＩ上の人物の顔部分が写っている顔の画像を含む顔領域ＦＡを
検出する。補正部２３は、特定された補正領域ＦＣに対する画像補正を実行する。
【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。特に、顔画像の補
正に適用するのが好ましい画像処理装置、画像処理方法、及びプログラムに関する。

３次元の物体と２次元の物体に対する見え方の違いから、画像上に映し出されている人
物の顔（即ち２次元上の顔）は、通常、実際の顔（即ち３次元上の顔）より大きく見える
と言われている。そこで人物が撮影された画像に対して、顔がほっそり見えるようにし、
顔画像の見栄えをよくする画像補正が開発されている。

特許文献１には、人物の画像から、人物の顔部分が写っている画像の領域を検出すると
共に、その領域の顔の輪郭部分を、頬の幅が狭くなるように変形する画像補正について開
示されている。このような画像補正を施すことにより顔の画像は、ほっそりした顔に見え
るようになる。

特開平２００４−３１８２０４号公報

しかしながら、この方法では、顔の輪郭そのものが変形されることから、顔の周囲部分
にゆがみが生じ、違和感のある顔の画像となってしまうことがある。

本発明は、このような状況に鑑みてなされたものであり、より自然に、顔の画像の見栄
えをよくすることができるようにするものである。

本発明の画像処理装置は、画像の色調を補正する画像処理装置であって、画像における
顔の画像を含む顔領域を検出する検出手段と、顔領域内の顔を構成する部位をマスキング
するための部位マスクを利用して、顔領域から、色調補正を行う補正領域を特定する特定
手段と、補正領域に対して色調補正を行う補正手段とを備える。

特定手段は、部位マスクを顔領域の大きさに対応させた部位マスク画像を生成し、部位
マスク画像でマスキングされる顔領域ＦＡの領域から、肌色領域を検出し、検出した肌色
領域を補正領域とすることができる。

部位マスクは、顔の向きに応じて複数設けられており、特定手段は、顔領域に基づいて
顔の向きを検出し、検出した顔の向きに対応する部位マスクを取得し、取得した部位マス
クを利用して補正領域を特定することができる。

部位マスクには、補正の重みが設定されており、補正手段は、補正の重みに基づいて、
補正領域に対して色調補正を行うことができる。

本発明の画像処理方法、又はプログラムは、画像の色調を補正する画像処理装置の画像
処理方法であって、又は画像の色調を補正する画像処理をコンピュータに実行させるプロ
グラムであって、画像における顔の画像を含む顔領域を検出する検出ステップと、顔領域
内の顔を構成する部位をマスキングするための部位マスクを利用して、顔領域から、色調
補正を行う補正領域を特定する特定ステップと、補正領域に対して色調補正を行う補正ス
テップとを含む。

本発明の画像処理装置、画像処理方法、又はプログラムにおいては、画像における顔の
画像を含む顔領域が検出され、顔領域内の顔を構成する部位をマスキングするための部位
マスクを利用して、顔領域から、色調補正を行う補正領域が特定され、補正領域に対して
色調補正が行われる。

本発明によれば、より自然に、顔の画像の見栄えをよくすることができるようにするも
のである。

以下、本発明の一実施の形態について、図面を参照して説明する。

図１は、本発明を適用したプリンタ１のハードウェアの構成例を示すブロック図である
。このプリンタ１は、メモリカード１８等から取得した画像データに基づき画像を印刷す
る、いわゆるダイレクトプリントに対応したカラーインクジェットプリンタである。

プリンタ１は、ＣＰＵ１１、内部メモリ１２、操作部１３、表示部１４、プリンタエン
ジン１５、及びカードインターフェース（Ｉ／Ｆ）１６を備えている。

ＣＰＵ（central processing unit）１１は、各部を制御して、内部メモリ１２に格納
されているプログラムに応じて各種の処理を実行する。例えばＣＰＵ１１は、顔の画像を
含む画像について、顔がほっそりと見えるようにする画像補正処理（以下、顔補正処理Ｚ
１と称する）を実行する。

内部メモリ１２は、ＣＰＵ１１が実行する各種プログラムや各種データを格納している
ＲＯＭ（Read Only Memory）、及びＣＰＵ１１が実行対象とするプログラムやデータを一
時的に格納するＲＡＭ（Random Access Memory）によって構成されている。

操作部１３は、ボタンやタッチパネルの１つ又は複数より構成され、ユーザによる操作
内容をＣＰＵ１１に通知する。

表示部１４は、液晶ディスプレイ等より構成され、ＣＰＵ１１から供給されたデータに
対応する画像を表示する。

プリンタエンジン１５は、ＣＰＵ１１から供給された印刷データに基づき印刷を行う印
刷機構である。

カードインターフェース（Ｉ／Ｆ）１６は、カードスロット１７に挿入されたメモリカ
ード１８との間でデータのやり取りを行うためのインターフェースである。なお、この例
では、メモリカード１８にＲＧＢデータとしての画像データが格納されており、プリンタ
１は、カードインターフェース１６を介してメモリカード１８に格納された画像データの
取得を行う。

プリンタ１の各構成要素は、バス１９を介して互いに接続されている。

なおプリンタ１は、さらに、他の機器（例えばデジタルスチルカメラ）とのデータ通信
を行うためのインターフェースを備えているとしてもよい。

図２は、顔補正処理Ｚ１を実行するためのプリンタ１の機能的構成例を示す図である。
この機能は、ＣＰＵ１１が内部メモリ１２に記憶されているプログラムを実行することよ
り実現可能となる。

検出手段としての顔領域検出部２１は、例えばメモリカード１８から読み出されてプリ
ンタ１に入力された、顔補正処理Ｚ１の対象となる画像（以下、対象画像ＴＩと称する）
を解析し、対象画像ＴＩ上の人物の顔部分が写っている顔の画像を含む領域（以下、顔領
域ＦＡと称する）を検出する。

特定手段としての補正領域特定部２２は、顔領域ＦＡの所定の部分を、補正する領域（
以下、補正領域ＦＣと称する）として特定する。例えば、後述するように、部位マスクが
利用されて顔領域ＦＡの部分が補正領域ＦＣとして特定される。

この例の場合、頬周りを特定するマスク（以下、頬マスクＭＡと称する）が利用されて
、顔領域ＦＡの頬周りの領域が補正領域ＦＣとして特定される。この頬マスクＭＡは、例
えば内部メモリ１２に記憶されている。

補正手段としての補正部２３は、特定された補正領域ＦＣに対する画像補正を実行する
。この例の場合、後述するように、補正領域ＦＣ（例えば頬周りの領域）の色調が補正さ
れる。

出力制御部２４は、画像補正（この例の場合、色調補正）が施された対象画像ＴＩの画
像データから、表示データを生成し、それを表示部１４に供給して表示したり、又は印刷
データを生成し、それをプリンタエンジン１５に供給して、その印刷データに基づく画像
の印刷を実行させる。

図３は、顔補正処理Ｚ１の流れを示すフローチャートである。このフローチャートを参
照して、顔補正処理Ｚ１について説明する。

ステップＳ１において、顔領域検出部２１は、顔補正処理Ｚ１の対象となる対象画像Ｔ
Ｉにおける顔部分が写っている顔の画像を含む顔領域ＦＡの検出を行う。

具体的には、顔領域検出部２１は、対象画像ＴＩを解析して顔の画像を含むと想定され
る矩形の領域を顔領域ＦＡとして抽出する。この顔領域ＦＡの検出は、例えば人物の目、
鼻、及び口等の基本的な形状を表すテンプレートを利用したパターンマッチングによる方
法（特開２００６−２７９４６０号公報参照）といった公知の検出方法を用いて実行する
ことができる。

図４は、顔領域ＦＡの検出結果の例を示す図である。このように、顔領域ＦＡは、対象
画像ＴＩに含まれる人物の顔の画像の、両目、鼻、口、顎の画像を含む矩形の領域となっ
ている。顔領域検出部２１は、顔領域ＦＡを、例えば顔領域ＦＡの頂点の座標により特定
する。

ステップＳ２において、補正領域特定部２２は、頬マスクＭＡを利用して、人物の頬周
りの部分を、補正領域ＦＣとして特定する処理（以下、補正領域特定処理Ｚ２と称する）
を実行する。

図５は、補正領域特定処理Ｚ２の流れを示すフローチャートである。このフローチャー
トを参照して、補正領域特定処理Ｚ２について説明する。

ステップＳ１１において、補正領域特定部２２は、内部メモリ１２から、頬マスクＭＡ
を取得する。

図６は、頬マスクＭＡの例を示す図である。この頬マスクＭＡは、画素に対応する区画
（以下、適宜、画素と称する）を１単位として、３２×３２区画からなるデータ構造を有
している。図中ハッチングが付されている領域の区画には、値１が設定され、ハッチング
が付されていない領域（即ち図中白色の領域）の区画には、値０が設定されている。

図７は、図６の頬マスクＭＡの各区画に設定されている値を立体的に示した図である。
値１が設定されている区間には、値１の大きさに対応する高さの立方体が立てられている
。

なお頬マスクＭＡは、例えば、区画の座標値と、値１又は値０を表すデータが、それぞ
れ対応付けられたテーブルとして用意される。

次に、ステップＳ１２において、補正領域特定部２２は、頬マスクＭＡを顔領域ＦＡの
大きさに対応させた画像（以下、頬マスク画像ＦＭと称する）を生成する。

具体的には、顔領域ＦＡの大きさが頬マスクＭＡの大きさより大きい場合（即ち顔領域
ＦＡの画素数が、頬マスクＭＡの画素数より多い場合）、頬マスクＭＡの画素に対して、
両者の大きさの比（即ち拡大率）に応じた画素の補完が行われて、顔領域ＦＡと同じ大き
さの頬マスク画像ＦＭが生成される。また顔領域ＦＡの大きさが頬マスクＭＡの大きさよ
り小さい場合（即ち顔領域ＦＡの画素数が、頬マスクＭＡの画素数より少ない場合）、頬
マスクＭＡの画素に対して、両者の大きさの比（即ち縮小率）に応じた画素の間引きが行
われて、顔領域ＦＡと同じ大きさの頬マスク画像ＦＭが生成される。

次にステップＳ１３において、補正領域特定部２２は、顔領域ＦＡの、頬マスク画像Ｆ
Ｍでマスキングされる領域を、補正領域ＦＣとなり得る領域（以下、補正候補領域ＦＢと
称する）として特定する。具体的には、補正領域特定部２２は、頬マスク画像ＦＭを顔領
域ＦＡ上に重ね合わせ、顔領域ＦＡの、頬マスク画像ＦＭの画素値が値１である画素に対
応する位置にある画素の領域を、補正候補領域ＦＢとして特定する。

図８は、補正候補領域ＦＢを概念的に示す図である。図８の例では、図中、ハンチング
が付されている領域（即ち顔領域ＦＡの、頬マスク画像ＦＭの画素値が値１である画素に
対応する位置にある画素の領域）が、補正候補領域ＦＢとして特定される。

ステップＳ１４において、補正領域特定部２２は、補正候補領域ＦＢから、補正領域Ｆ
Ｃを特定する。

具体的には、補正候補領域ＦＢから肌色領域が特定される。ここで、補正候補領域ＦＢ
から肌色領域を特定する方法について説明する。

初めに補正領域特定部２２は、補正候補領域ＦＢの各画素のＲＧＢ表色系の階調値を、
ＨＳＢ表色系の階調値に変換する。

そして補正領域特定部２２は、補正候補領域ＦＢの各画素の、ＨＳＢ表色系の色相（Ｈ
）、彩度（Ｓ）、及び明度（Ｂ）のそれぞれの値に基づいて、肌色であるか否かを判定す
る。

なお色相（Ｈ）は、例えば０度から３６０度までの角度を表す値であり、色の種類を示
す。例えば０度は、赤色の色相（Ｈ）を示す。彩度（Ｓ）は、例えば値０から値２５５ま
での値であり、色の鮮やかさを示す。彩度（Ｓ）の値が大きいほど、白さが増すことを意
味する。例えばグレースケールの彩度（Ｓ）は、値０となる。明度（Ｂ）は、例えば値０
から値２５５までの値であり、色の明るさを示す。例えば黒色の明度（Ｂ）は、値０とな
る。

図９は、肌色であるか否かの判定基準としての、色相（Ｈ）、彩度（Ｓ）、及び明度（
Ｂ）の範囲の例を示す図である。

図９の上側に示すように、色相（Ｈ）については、２５０度から１１０度の範囲（約２
２０度の範囲）、彩度（Ｓ）については、値１０から値９０の範囲、そして明度（Ｂ）に
ついては、値１０から値１００の範囲が、肌色であると判定される範囲となる。例えば、
判定対象となる画素のＨＳＢの値がいずれもこの判定範囲内にあるとき、その画素は、肌
色の画素であると判定される。

なお一般的な肌色判定の範囲は、図９の下側に示すように、色相（Ｈ）については、３
５０度から２０度の範囲（即ち３０度の範囲）、彩度（Ｓ）については、値２０から値６
０の範囲、そして明度（Ｂ）については、値３０から値７０の範囲となっている。即ち本
実施の形態で利用する肌色判定の範囲は、一般的な肌色判定の範囲より広いものとなって
いるが、その理由については後述する。

このようにして補正候補領域ＦＢから肌色領域が検出され、補正領域ＦＣとして特定さ
れる。

図１０は、図８に示す補正候補領域ＦＢから特定された補正領域ＦＣを示す図である。
補正領域ＦＣが特定されると、補正領域特定処理Ｚ２は終了し、処理は、図３のステッ
プＳ３に進む。

ステップＳ３において、補正部２３は、補正領域ＦＣに対して所定の補正量に基づく色
調補正（以下、陰影補正処理Ｚ３と称する）を行う。この例の場合、補正領域ＦＣに属す
る各画素の明度（Ｂ）が所定の値ＴＡだけ下げられる。このように明度（Ｂ）が値ＴＡだ
け下げられると、表示又は印刷されたとき、その部分は暗く写り陰影ができているように
見えるようになる。

なお明度（Ｂ）の下げ値ＴＡは、例えば補正領域ＦＣや顔領域ＦＡの明度（Ｂ）の平均
値を求め、その平均値としたり、その平均値の所定％としたりすることもできる。また補
正領域ＦＣや顔領域ＦＡの明度（Ｂ）の標準偏差を求め、その値とすることもできる。

さらに顔領域ＦＡの補正領域ＦＣ以外の領域であって補正領域ＦＣに隣接する画素の画
素値を利用して明度（Ｂ）の下げ値ＴＡを決定することもできる。

次に、ステップＳ４において、補正部２３は、ステップＳ３で陰影補正処理Ｚ３が施さ
れた補正領域ＦＣについて、補正領域ＦＣと他の領域との境界（以下、補正領域ＦＣの境
界と称する）がぼけるようにする処理（以下、ぼかし処理Ｚ４と称する）を行う。

補正領域ＦＣの明度（Ｂ）が値ＴＡだけ下げられると、補正領域ＦＣと、補正領域ＦＣ
に隣接する他の領域との明度（Ｂ）の差が大きくなり、補正領域ＦＣの境界部分が不自然
に目立ってしまうことがある。

そこで、例えば補正領域ＦＣの境界からの距離が所定以内にある補正領域ＦＣの領域（
以下、境界領域と称する）に対して、所定の値ＴＡだけ下げられた明度（Ｂ）が、例えば
値ＴＡの半分の値だけ戻される。

即ち補正領域ＦＣの境界部分の明度（Ｂ）が段階的に下げられるので、補正領域ＦＣの
境界部分が目立たなくなる。

なお上述したように、初めに、補正領域ＦＣの明度（Ｂ）を一律に下げ、境界領域の画
素をある程度戻すようにして、補正領域ＦＣの境界部分を目立たないようにしたが、頬マ
スクＭＡの画素値が補正の重みを表すようにして、補正領域ＦＣの各画素を、頬マスクＭ
Ａの対応する画素の画素値（即ち重み）に応じて補正することもできる。

図１１は、各画素に補正の重みが設定されている頬マスクＭＡについて、各画素に設定
された重みを立体的に示した図である。

図１１の例では、補正の重みとしての頬マスクＭＡの画素値が段階的に設定されている
。この頬マスクＭＡを用いることにより、補正領域ＦＣの明度（Ｂ）の大きさを段階的に
下げることができる。

このように補正領域ＦＣについて、ぼかし処理Ｚ４が施されると、顔補正処理Ｚ１は終
了する（図３）。顔補正処理Ｚ１での陰影補正処理Ｚ３が施された対象画像ＴＩは、出力
制御部２４に供給され、そこで、対象画像ＴＩの画像データから、表示データが生成され
たり、印刷データが生成される。

以上のようにして顔補正処理Ｚ１が行われる。

図１２は、上述した顔補正処理Ｚ１での処理結果をまとめて示した図である。

図１２の最上段には、対象画像ＴＩに相当する画像が示されている。

次の段には、図８に相当する画像が示されている。図中、色が濃くなっている部分が、
補正候補領域ＦＢである。

さらに次の段には、図１０に相当する画像が示されている。図中、色が濃くなっている
部分が、補正領域ＦＣである。なお図１２の例では、首の一部も露出しているので、その
部分も肌色領域として検出され、補正領域ＦＣに含まれている。

図１２の最下段には、陰影補正処理Ｚ３及びぼかし処理Ｚ４が施された画像が示されて
いる。陰影補正処理Ｚ３により、補正領域ＦＣが暗く写り陰影ができているように見える
ようになっていると共に、ぼかし処理Ｚ４により、補正領域ＦＣの境界部分が目立たない
ようになる。なお図１２の各図は、顔補正処理Ｚ１での処理結果を模式的に示したもので
ある。従って図１２の最下段における陰影の濃さやぼかし具合は、実際の例えば写真画像
におけるものとは異なって描かれている。図１２は、顔補正処理Ｚ１を説明するためのも
のであって、実際の処理において図１２に示した画像が表示画像として生成されるもので
はない。

以上のように、頬周りの明度を下げ、頬の部分が少し暗くなるように顔画像を補正した
ので、顔画像を、頬の部分に陰影ができ立体感のある画像に補正することができる。即ち
ほっそりとした顔に見えるように顔の画像を補正することができる。

また以上のように、補正領域ＦＣの色調を補正するようにしたので、顔の輪郭自体は変
形されず、周囲にゆがみが生じたりすることがない。即ち、より自然な態様で、ほっそり
とした顔に見えるようにすることができる。なお陰影の濃さは、補正後の顔の画像が実際
の顔の印象と近いものとなる程度にしてもよいし、またいわゆるファン機能として、実際
の顔の印象よりもほっそりとした顔に見えるようにすることもできる。

また以上のように、部位マスク（例えば頬マスクＭＡ）を用いて、補正領域ＦＣを特定
するようにしたので、顔領域ＦＡの検出の精度に影響されずに、容易に補正領域ＦＣを特
定することができる。なお部位マスクは、例えば、多くの人物の顔の画像から目、口、又
は顎の部分を切り出し、それらを学習データとして用いて作成される。なお部位マスクを
用いずに、例えば頬の部分については、口の位置や輪郭の位置に基づいて所定の演算を繰
り返すことにより求めることも可能である。

また以上のように、首の一部や頬越しの背景を含む、人物の顔の回りの画像を顔領域Ｆ
Ａ（図４）とするようにし、また補正領域ＦＣを特定する際の肌色判定範囲（図９の上側
）を、通常の肌色判定の範囲（図９の下側）より広い範囲としたので、頬部分だけでなく
顔と首の付け根部分等にも陰影を付すことができ、より効果的に顔に立体感を持たせるこ
とができる。例えば顔の輪郭内だけを顔領域ＦＡとした場合、顔と首の付け根部分が補正
領域ＦＣとはならない。また顔と首の付け根部分の画像の色相（Ｈ）、彩度（Ｓ）、及び
明度（Ｂ）は、通常、一般的な肌色判定の範囲（図９の下側）の値とならないので、一般
的な肌色判定の範囲で肌色判定した場合、肌色とは判定されず補正領域ＦＣには含まれな
い。

なお以上においては、頬周りについての色調補正を行ったが、他の部分について色調補
正することもできる。例えば鼻の回り部分の明度を下げて、相対的に鼻が高く見えるよう
にすることもできる。

また以上においては、暗く写り陰影となるようにしたが、逆に明るく見えるようにする
こともできる。例えば鼻筋部分の明度を上げるようにすれば、いわゆる鼻筋が通った顔に
見せることができる。

また以上においては、１つの頬マスクＭＡを利用した場合を例として説明したが、マス
キングする頬の領域の形状が異なる他の頬マスクＭＡをさらに用意したり、鼻周り等の頬
とは別の部位を特定するための部位マスクをさらに用意し（即ち部位毎の部位マスクを複
数用意し）、ユーザの指令に（即ち要求に）応じた部位マスクを利用して、補正領域ＦＣ
を特定することもできる。

そのようにすることにより、用途に応じたより効果的な色調補正を行うことができる。

図１３は、頬マスクＭＡの他の例を示す図である。この頬マスクＭＡを利用すれば、頬
のより深い部分までマスキングすることができるので、より頬の深い部分に陰影を付すこ
とができる。

また以上においては、部位マスクを利用して補正領域ＦＣを特定するようにしたが、数
学的な顔モデルを利用して、補正領域ＦＣを特定することもできる。ここで数学的な顔モ
デルとは、例えば高いコントラストを持つ顔の輪郭及び器官（眉毛、目、鼻、口等）の輪
郭上に置かれた制御点によって表現される顔形状が、数学的に平均化されたものである。

また以上においては、ユーザが正面を向いている画像を例として説明したが、例えば顔
の向きに応じた頬マスクＭＡを用意することにより、向きを持った顔画像に対しても、上
述した場合と同様に顔補正処理Ｚ１を行うことができる。

図１４は、向きを持った顔画像に対して顔補正処理Ｚ１を実行する場合における補正領
域特定処理Ｚ２（図３のステップＳ２）の流れを示すフローチャートである。このフロー
チャートを参照して補正領域特定処理Ｚ２について説明する。なお図３におけるステップ
Ｓ２以外の処理（ステップＳ１，Ｓ３，Ｓ４，Ｓ５）は、上述した場合と同様にして行わ
れる。

ステップＳ５１において、補正領域特定部２２は、顔の向きを推定する。

図１５は、顔向き検出の方法を示す図である。図１５の例では、顔領域ＦＡにおいて、
右目、左目、又は口の画像を含むと想定される３つの矩形領域が、それぞれ右目領域ＥＡ
（ｒ）、左目領域ＥＡ（ｌ）、及び口領域ＥＢ（以下、個々に区別しない場合、器官領域
と称する）として検出される。この器官領域の検出は、顔領域ＦＡの検出と同様に、例え
ばテンプレートを利用したパターンマッチングによる方法といった公知の検出方法を用い
て実行される。なお器官領域は、例えば各器官領域の頂点の座標により特定される、

次に、右目領域ＥＡ（ｒ）の中心点Ｃｅ（ｒ）と左目領域ＥＡ（ｌ）の中心点Ｃｅ（ｌ
）とを結ぶ線分ＣＬの長さ（以下、参照幅Ｗｒと称する）と、口領域ＥＢの中心点Ｃｍと
線分ＣＬとの距離（以下、参照高さＨｒと称する）とが、それぞれ算出される。

次に、参照高さＨｒと参照幅Ｗｒとの比（Ｈｒ／Ｗｒ）が判定指標ＤＩとして算出され
、判定指標ＤＩに基づき顔向きが推定される。図１５の例では、判定指標ＤＩの値が閾値
Ｔ１以上で閾値Ｔ２未満である場合には、顔の画像の向きが正面向きであると推定される
。また、判定指標ＤＩの値が閾値Ｔ１未満である場合には、顔の画像の向きが上振り又は
下振りであると推定され、判定指標ＤＩの値が閾値Ｔ２以上である場合には、顔の画像の
向きが右振り又は左振りであると推定される。

ここで、「上振り」は、被写体の人物の顔が上を向いている画像の向きを意味し、「下
振り」は、被写体の人物の顔が下を向いている画像の向きを意味する。また、「右振り」
は、被写体の人物の顔が画像の観察者側から見て右を向いている（すなわち人物が実際に
は左を向いている）画像の向きを意味し、「左振り」は、被写体の人物の顔が画像の観察
者側から見て左を向いている（すなわち人物が実際には右を向いている）画像の向きを意
味する。なお画像の向きが上振り又は下振りであることを「上下振り」とも称し、右振り
又は左振りであることを「左右振り」とも称する。

顔の画像の向きが右振り又は左振りである場合には、正面向きである場合と比較して、
参照高さＨｒはほとんど変わらない一方、参照幅Ｗｒは小さいものと考えられる。従って
、顔の画像の向きが右振り又は左振りである場合には、正面向きである場合と比較して、
判定指標ＤＩ（＝Ｈｒ／Ｗｒ）の値が大きくなる。反対に、顔の画像の向きが上振り又は
下振りである場合には、正面向きである場合と比較して、参照幅Ｗｒはほとんど変わらな
い一方、参照高さＨｒは小さいものと考えられる。従って、顔の画像の向きが上振り又は
下振りである場合には、正面向きである場合と比較して、判定指標ＤＩ（＝Ｈｒ／Ｗｒ）
の値が小さくなる。

閾値Ｔ１及び閾値Ｔ２は、所定数の顔のサンプル画像の判定指標ＤＩ（参照幅Ｗｒと参
照高さＨｒとの比）から統計的に定められる。予め定められた閾値Ｔ１及び閾値Ｔ２は内
部メモリ１２内の所定の領域に格納されており、対象画像ＴＩの判定指標ＤＩと閾値Ｔ１
及び閾値Ｔ２とを用いて、顔向き推定が行われる。

なお左右のどちらに向いているのかは、例えば右目領域ＥＡ（ｒ）の幅と左目領域ＥＡ
（ｌ）の幅とを比較することにより検出される。即ち例えば右目領域ＥＡ（ｒ）の幅の方
が大きければ右振りであると推定され、左目領域ＥＡ（ｌ）の幅の方が大きければ左振り
と推定される。

また上下のどちらを向いているかは、いずれか一方の目領域ＥＡの幅に対する口領域Ｍ
Ａの幅の比を算出し、その値が所定の閾値より大きければ上振りとし、所定の閾値より小
さければ下振りとすることにより推定される。

このように顔の向きが推定される。

次にステップＳ５２において、補正領域特定部２２は、推定した顔の向きに対応する頬
マスクＭＡを、内部メモリ１２から取得する。左振り、右振り、上振り、及び下振り用の
頬マスクＭＡが、それぞれ内部メモリ１２に記憶されているものとする。

例えば図１６の上側に示すような正面を向いている顔と比べ、図１６の下側に示すよう
に、右振りの顔画像においては、人物の右側の頬の部分の領域が広くなり、左側の頬の部
分の領域が狭くなる。その図示は省略するが、左振りの顔画像においては、人物の左側の
頬の部分の領域が広くなり、右側の頬の部分の領域が狭くなる。

また図１７の上側に示すように、上振りの顔画像においては、顎部分の領域が全体的に
広くなる。一方図１７の下側に示すように、下振りの画像においては、顎部分の領域が全
体的に狭くなる。

従って内部メモリ１２には、右側の頬の部分の領域が広く、左側の頬の部分の領域が狭
くなっている右振り用の頬マスクＭＡ、左側の頬の部分の領域が広く、右側の頬の部分の
領域が狭くなっている左振り用の頬マスクＭＡ、顎部分の領域が全体的に広い上振り用の
頬マスクＭＡ、及び、顎部分の領域が全体的に狭い下振り用の頬マスクＭＡがそれぞれ格
納されている。

即ち補正領域特定部２２は、顔の向きが左振りである場合、左振り用頬マスクＭＡを、
顔の向きが右振りである場合、右振り用頬マスクＭＡを、顔の向きが上振りである場合、
上振り用頬マスクＭＡを、顔の向きが下振りである場合、下振り用頬マスクＭＡを、それ
ぞれ内部メモリ１２から取得する。

ステップＳ５３からステップＳ５５においては、図５のステップＳ１２からステップＳ
１４における場合と同様の処理が行われるので、その説明は省略する。

以上のようにして、顔画像が向きを持った場合における補正領域特定処理Ｚ２が行われ
る。

なお以上においては、インクジェット方式のプリンタ１を例として説明したが、インク
ジェット方式以外のプリンタにも適用できると共に、画像をユーザに提示するものであれ
ば、デジタルカメラやフォトビューアーにも適用することができる。

また、以上の実施の形態では、図３、図５、及び図１４に示す処理を、プリンタ１にお
いて実行するようにしたが、例えば、プリンタ１に接続されているホストコンピュータに
おいて実行することも可能である。

なお、上記の処理機能は、コンピュータによって実現することができる。その場合、画
像処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラ
ムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録してお
くことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光デ
ィスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク
装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクに
は、ＤＶＤ（Digital Versatile Disk）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disk
ROM）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。光磁気記録媒体には
、ＭＯ（Magneto-Optical disk）などがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ
−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの
記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュ
ータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラ
ムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する
。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従
った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み
取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サ
ーバコンピュータからプログラムが転送される毎に、逐次、受け取ったプログラムに従っ
た処理を実行することもできる。

なお上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウ
ェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の
一部をハードウェアに置き換えるようにしてもよい。

また図３、図５、又は図１４にその流れを示した処理は、各ステップが、記載された順
序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、
並列的あるいは個別に実行される処理を含むものである。例えば図３のステップＳ４の処
理は、適宜省略することもできる。

本発明の実施の形態に係るプリンタのハードウェアの構成例を示すブロック図である。図１に示すプリンタにおいて顔補正処理を実行するための機能的構成例を示す図である。図１に示すプリンタにおいて実行される顔補正処理Ｚ１の流れを示すフローチャートである。図１に示すプリンタにおいて実行される顔領域ＦＡの検出結果の一例を示す図である。図１に示すプリンタにおいて実行される補正領域特定処理Ｚ２の流れを示すフローチャートである。図１に示すプリンタにおいて処理される際の頬マスクＭＡの例を示す図である。図６の頬マスクＭＡの画素値を、設定されている値に応じて立体的に示した図である。図１に示すプリンタにおいて処理される際の補正候補領域ＦＢを概念的に示す図である。図１に示すプリンタにおいて処理される際の肌色判定の範囲の例を示す図である。図１に示すプリンタにおいて処理される際の補正領域ＦＣの例を示す図である。図１に示すプリンタにおいて処理される際の、頬マスクＭＡの画素値を、設定された重みに応じて立体的に示した図である。図１に示すプリンタにおいて実行される画像補正処理Ｚ１における処理段階に対応する写真画像を示す図である。図１に示すプリンタにおいて処理される際の頬マスクＭＡの他の例を示す図である。図１に示すプリンタにおいて実行される、顔画像が向きを持った場合における補正領域特定処理Ｚ２の流れを示すフローチャートである。図１に示すプリンタにおいて実行される顔向き推定の方法を示す図である。顔の向きにより顔画像の変化を示す図である。顔の向きにより顔画像の変化を示す他の図である。

符号の説明

１プリンタ，１１ＣＰＵ，１２内部メモリ，１３操作部，１４表示部
，１５プリンタエンジン，１６カードＩ／Ｆ，２１顔領域検出部（検出手段
），２２補正領域特定部（特定手段），２３補正部（補正手段），２４出力
制御部

Claims

画像の色調を補正する画像処理装置であって、
画像における顔の画像を含む顔領域を検出する検出手段と、
上記顔領域内の顔を構成する部位をマスキングするための部位マスクを利用して、上記
顔領域から、上記色調補正を行う補正領域を特定する特定手段と、
上記補正領域に対して上記色調補正を行う補正手段と
を備える画像処理装置。
前記特定手段は、前記部位マスクを前記顔領域の大きさに対応させた部位マスク画像を
生成し、上記部位マスク画像でマスキングされる顔領域ＦＡの領域から、肌色領域を検出
し、検出した肌色領域を前記補正領域とする
請求項１に記載の画像処理装置。
前記部位マスクは、顔の向きに応じて複数設けられており、
前記特定手段は、前記顔領域に基づいて顔の向きを検出し、検出した顔の向きに対応す
る前記部位マスクを取得し、取得した前記部位マスクを利用して前記補正領域を特定する
請求項１に記載の画像処理装置。
前記部位マスクには、補正の重みが設定されており、
前記補正手段は、上記補正の重みに基づいて、前記補正領域に対して色調補正を行う
請求項２又は請求項３のいずれか１項に記載の画像処理装置。
画像の色調を補正する画像処理装置の画像処理方法であって、
画像における顔の画像を含む顔領域を検出する検出ステップと、
上記顔領域内の顔を構成する部位をマスキングするための部位マスクを利用して、上記
顔領域から、上記色調補正を行う補正領域を特定する特定ステップと、
上記補正領域に対して上記色調補正を行う補正ステップと
を含む画像処理方法。
画像の色調を補正する画像処理をコンピュータに実行させるプログラムであって、
画像における顔の画像を含む顔領域を検出する検出ステップと、
上記顔領域内の顔を構成する部位をマスキングするための部位マスクを利用して、上記
顔領域から、上記色調補正を行う補正領域を特定する特定ステップと、
上記補正領域に対して上記色調補正を行う補正ステップと
を含む画像処理をコンピュータに実行させるプログラム。