JP4788394B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、画像データの明るさを調整する画像処理装置、画像処理方法および画像処理プログラムに関する。

デジタルスチルカメラ（digital still camera）等の画像入力装置で作成される画像データは、撮像画像に基づいて作成され、カラー画像を画素毎に複数の要素色、例えばＲＧＢ（レッド、グリーン、ブルー）で階調表現したデータとされる。画像入力装置では、撮像画像に基づいて光源を推定する等の推定処理が行われ、適宜、露出調整などの画質調整が自動的に行われている。

また、特許文献１の段落００８７には、算出された特定色に対する「好ましい色の目標値」と元画像データの特性値テーブルから得られる特性値に応じて補正する補正量Ｔｈを算出し、元画像データに対して補正量だけ色補正を施した補正後画像データを得ることが記載されている。同文献の段落００８８−００８９に記載されるように、補正量Ｔｈは、ΔＳ_Sを特定色（肌色）の面積占有率、ａ，ｒを０〜１の定数として、０≦ΔＳ_S≦ａの場合にａ（１−ｒ）×（ΔＳ_S）^r、ａ≦ΔＳ_S≦１の場合に１−（１−ａ）^1-r×（１−ΔＳ_S）^rと、画像データに占める特定色領域（肌色領域）の面積占有率ΔＳに応じた補正量とされている。
従って、元画像データの特定色領域（肌色領域）については、背景領域の色に関係なく一律に補正量Ｔｈだけ「好ましい色の目標値」へ色補正が施される。
特開２００４−１９２６１４号公報

画像入力装置で作成される種々の画像データを調べたところ、画像入力装置で適切な露出調整が行われていない場合があることが判った。そこで、画像入力装置で適切な露出調整が行われなかった場合でも、画像入力装置により作成された画像データの露出を適切に調整することが望まれていた。

本発明は、画像入力装置により作成された画像データの明るさを適切に調整することを目的とする。

課題を解決するための手段および発明の効果

上記目的を達成するため、本発明は、画像入力装置により作成された画像データから所定の色領域を抽出する領域抽出手段と、抽出した色領域から当該色領域の明るさを取得する領域明るさ取得手段と、前記色領域の明るさを当該色領域について予め設定された目標の明るさにする明るさ補正を前記画像データに対して行う調整手段とを備える画像処理装置であって、背景明るさ取得手段を備え、前記調整手段は、前記目標の明るさよりも暗い第一の明るさより前記色領域の明るさが暗く、かつ、前記目標の明るさよりも暗い第二の明るさより前記背景の明るさが暗いとき、前記目標よりも明るさを下げた明るさ補正を前記画像データに対して行うことを特徴とする。

上記背景明るさ取得手段では、前記画像データから前記色領域の背景の代表色が抽出される。そして、上記調整手段により、色領域の明るさが第一の明るさより暗く、かつ、背景の明るさが第二の明るさより暗いとき、目標の明るさが下げられて画像データの明るさ補正が行われる。

画像入力装置で作成される種々の画像データを調べたところ、画像入力装置で適切な明るさ調整が行われない場合として、ストロボの光が十分でない等の理由により全体が非常に暗い画像が作成される場合があった。色領域の明るさを一律に目標の明るさにする明るさ補正を画像に対して行うと、全体に非常に暗い画像では画像にノイズが現れ、画像処理後の画質が意図したように向上しないことがある。特許文献１に記載の技術のように、特定色領域（肌色領域）を背景領域の色に関係なく一律に補正量Ｔｈだけ「好ましい色の目標値」へ色補正することでも、全体に非常に暗い画像では画像にノイズが現れてしまう。また、非常に暗い環境で撮像された画像だと、人は暗さに対する不自然感を小さく感じる傾向がある。そこで、全体に非常に暗い画像では明るさ補正の目標を暗い方向へ下げる方が画像の画質を向上させることができる。
本発明では、色領域の明るさが第一の明るさより暗く、かつ、背景の明るさが第二の明るさより暗いとき、目標の明るさが下げられるので、上述した不具合を解消することができる。従って、本発明によれば、画像入力装置で適切な明るさ調整が行われなかった場合でも、画像入力装置により作成された画像データの明るさを適切に調整することが可能になる。

上記画像データは、例えば、カラー画像を画素毎の色成分量で表現した画像データとすることができる。同画素は、画像を表現できる数であればよく、複数画素の構成とすることができ、例えば８×８画素のような小画像を表現するものでもよい。前記色成分量は、例えば、複数の色成分を有する色空間における各色成分の多さを表す値とすることができる。
上記所定の色領域は、顔領域、肌色領域、空色領域、等が考えられ、多くの人に印象付けられる領域、人間が好ましいと感じる色再現に関係する領域、等とすることができる。上記目標の明るさは、人間が好ましいと感じる明るさ、記憶色の明るさ、人間の感覚に依存しない明度、等とすることができ、色領域や背景の明るさに応じて変化する明るさでもよいし、色領域や背景の明るさに関わらない一定の明るさでもよい。上記色領域の背景は、画像全体から前記色領域を除く全ての領域でもよいし、当該領域の一部の領域でもよい。上記明るさは、色座標平面および明度軸からなる色空間の明度、輝度、色成分値の平均、等で表される。色領域や背景の明るさは、色領域や背景の各画素の明るさを表す値の単純平均や重み付け平均、等で表される。上記明るさ補正は、画像データ全体へ一律に行ってもよいし、抽出した色領域のみ行ってもよい。
色座標平面および明るさ軸からなる色空間には、国際照明委員会（ＣＩＥ）で規定されたＣＩＥ Ｌ^*ａ^*ｂ^*色空間、ＣＩＥ Ｌ^*ｕ^*ｖ^*色空間、等がある。ここで、Ｌ^*は明度（明るさ）を表す色成分であり、ａ^*，ｂ^*，ｕ^*，ｖ^*は色相および彩度を表す色成分である。以下、「^*」を省略して記載する。
なお、明るさを下げることとは、明度を低くする等、暗くすることを意味する。

前記目標の明るさは、前記背景の明るさと前記色領域の明るさとの差異に応じて変化する明るさとされてもよい。人に感じられる色領域の感覚的な明るさは背景の明るさとの差異により変わってくるので、画像入力装置により作成された画像の明るさをより適切に調整することが可能になる。
前記目標の明るさが前記背景の明るさと前記色領域の明るさとの差異に応じて人に感じられる前記色領域の感覚的な明るさの違いを補償するように決定されると、さらに適切に画像の明るさを調整することが可能になる。
ここで、上記差異は、例えば、背景の明るさを表す値と色領域の明るさを表す値との差、背景の明るさを表す値と色領域の明るさを表す値との比と１との差、等で表される。

また、前記目標の明度よりも低い第一の明度より前記色領域の明度が低く、かつ、前記目標の明度よりも低い第二の明度より前記背景の明度が低いとき、前記背景の明度から前記色領域の明度を差し引いた明度差ΔＬが所定範囲内で大きくなるほど連続的または段階的に大きくなる目標の明度を前記色領域の明るさよりも高い範囲内で低くしてもよい。これによっても、さらに適切に画像の明るさを調整することが可能になる。
なお、明度が離散的な値をとるようにされている場合、目標の明度は上記明度差ΔＬが所定範囲内で大きくなるほど離散的な各値の全てをとりうるよう段階的に高くされてもよいし、より大きな間隔で段階的に高くされてもよい。

ところで、前記色領域の明るさが前記第一の明るさより暗く、かつ、前記背景の明るさが前記第二の明るさより暗いとき、前記色領域の明るさよりも明るい範囲内で前記色領域の明るさが明るくなるほど連続的または段階的に明るくなるように前記目標の明るさを下げてもよい。また、前記色領域の明るさが前記第一の明るさより暗く、かつ、前記背景の明るさが前記第二の明るさより暗いとき、前記目標の明るさを前記色領域の明るさよりも明るい範囲内で下げるとともに、前記第一の明るさよりも暗い第三の明るさより前記色領域の明るさが明るいときの前記目標の明るさを前記第三の明るさより前記色領域の明るさが暗いときの前記目標の明るさよりも明るくさせてもよい。すると、全体に暗い画像について、ノイズが現れない程度に明るくして適切に画質を向上させることが可能になる。

また、本発明は、上記領域抽出手段と上記領域明るさ取得手段と調整手段とを備える画像処理装置であって、上記背景明るさ取得手段を備え、前記調整手段は、前記背景の明るさが前記色領域の明るさより明るく、前記背景の明るさと前記色領域の明るさとの差異が所定の差異より大きいとき、前記目標よりも明るさを下げた明るさ補正を前記画像データに対して行うことを特徴とする。
すなわち、上記調整手段により、背景の明るさが色領域の明るさより明るく、背景の明るさと色領域の明るさとの差異が所定の差異より大きいとき、目標の明るさが下げられて画像データの明るさ補正が行われる。
画像入力装置で作成される種々の画像データを調べたところ、画像入力装置で適切な明るさ調整が行われない場合として、逆光の条件で撮像されて画像が作成される場合があった。色領域の明るさを一律に目標の明るさにする明るさ補正を画像に対して行うと逆光条件下で作成された画像では画像にノイズが現れ、画像処理後の画質が意図したように向上しないことがある。特許文献１に記載の技術のように、特定色領域（肌色領域）を背景領域の色に関係なく一律に補正量Ｔｈだけ「好ましい色の目標値」へ色補正することでも、逆光条件下で作成された画像では画像にノイズが現れてしまう。そこで、逆光の条件で作成された画像では明るさ補正の目標を暗い方向へ下げる方が画像の画質を向上させることができる。
本発明では、背景の明るさが色領域の明るさより明るく、背景の明るさと色領域の明るさとの差異が所定の差異より大きいとき、目標の明るさが下げられるので、上述した不具合を解消することができる。従って、本発明によれば、画像入力装置で適切な明るさ調整が行われなかった場合でも、画像入力装置により作成された画像データの明るさを適切に調整することが可能になる。

ここで、前記背景の明るさが前記色領域の明るさより明るく、前記背景の明るさと前記色領域の明るさとの差異が所定の差異より大きいとき、前記色領域の明るさよりも明るい範囲内で前記背景の明るさと前記色領域の明るさとの差異が大きくなるほど連続的または段階的に前記目標の明るさを下げてもよい。すると、逆光の条件で作成された画像について、ノイズが現れない程度に明るくして適切に画質を向上させることが可能になる。
また、前記背景の明度から前記色領域の明度を差し引いた明度差ΔＬが所定の明度差ΔＬthより大きいとき、前記色領域の明度よりも高い範囲内で前記明度差ΔＬが大きくなるほど連続的または段階的に前記目標の明度を低くしてもよい。これによっても、逆光の条件で作成された画像について、ノイズが現れない程度に明るくして適切に画質を向上させることが可能になる。

さらに、請求項９に係る発明によれば、さらに適切に画像データの明るさを調整することが可能になる。

上述した画像処理装置は、ある機器に組み込まれた状態で他の方法とともに実施されることもある等、各種の態様を含む。例えば、画像処理後の画像データを印刷させる制御を行う印刷制御装置や、さらに印刷装置を備える印刷システム、等としても適用可能である。
また、上述した装置の構成に対応した工程を有する制御方法や、上述した装置の構成に対応した機能をコンピュータに実現させるプログラムとしても適用可能であり、画像処理方法や画像処理プログラム等の発明も、同様の作用、効果を奏する。さらに、前記プログラムを記録したコンピュータ読み取り可能な記録媒体としても適用可能である。むろん、請求項２〜９に記載した構成も、前記方法や前記システムや前記プログラムや前記記録媒体に適用可能である。

以下、下記の順序に従って本発明の実施形態を説明する。
（１）画像処理装置を含む印刷システムの構成：
（２）画像処理の動作および作用：
（３）変形例：

（１）画像処理装置を含む印刷システムの構成：
図１は本発明の一実施形態である画像処理を模式的に示す図、図２は本発明の一実施形態に係る画像処理装置を含む印刷制御装置Ｕ０の構成を模式的に示すブロック図、図３は本印刷制御装置Ｕ０を含む印刷システムの構成の概略を示すブロック図、図４は色領域とする色範囲Ｒ１１をａｂ平面にて模式的に示す図、図５は画像データＤＡ２から色領域Ｒ１を抽出する様子を模式的に示す図、図６は背景の明度に応じて変化する感覚的な明度Ｊを補償する様子を模式的に示す図、図７は暗い画像における色領域の明度の補正目標を模式的に示す図、図８と図９は本印刷制御装置Ｕ０が行う印刷制御処理を示すフローチャート、図１０は画像データの明るさを補正する様子を模式的に示す図、図１１はデジタルスチルカメラが行う色調整処理とその変換特性とを模式的に示す図、図１２はデジタルスチルカメラの構成を模式的に示すブロック図である。本印刷システムは、本発明の画像処理装置となるパーソナルコンピュータ（ＰＣ）１０、カラー印刷可能なインクジェットプリンタ（印刷装置）２０等から構成されている。むろん、本発明に用いられるコンピュータは、ＰＣに限定されない。

ＰＣ１０では、ＣＰＵ１１がシステムバス１０ａを介してＰＣ全体を制御する。同バス１０ａには、半導体メモリ１２，１３、各種ドライブ１５，１６、各種インターフェイス（Ｉ／Ｆ）１７ａ〜ｅ、等が接続され、ハードディスクドライブを介してハードディスク（磁気ディスク）１４も接続されている。本発明の画像処理プログラム１４ａは、ハードディスク（ＨＤ）１４に記憶され、ＣＰＵ１１によってＲＡＭ１３に転送され、実行される。また、ＨＤ１４は、Ｌａｂ色空間のような所定の色空間を定義するための情報（色空間情報１４ｂ）、顔領域のような色領域を抽出するための情報（色抽出情報１４ｃ）、色領域の目標の明るさを表す目標の明るさ情報１４ｄ、ストロボ未達条件のような暗い画像であるか否かを判別するための閾値１４ｅ，ｆ、逆光条件の画像であるか否かを判別するための閾値１４ｇ、明るさを下げた修正目標の明るさ情報１４ｈ、色変換ＬＵＴ（色変換テーブル）、各種閾値、等を記憶（記録）した所定の情報記憶領域（情報記録領域）とされている。ＲＡＭ１３には、一時的に、画像データ１３ａ、当該画像データ上の色領域の範囲を表す色領域情報ＤＡ３、当該色領域の明るさを表す領域明るさ情報ＤＡ４、当該色領域の背景の明るさを表す背景明るさ情報ＤＡ５、等が格納される。
本画像処理プログラムは、プリンタドライバ等のオペレーティングシステム（ＯＳ）、アプリケーションプログラム（ＡＰＬ）、ＯＳとＡＰＬ、のいずれにより構成してもよい。本プログラムを記録した媒体は、ＨＤ以外にも、ＣＤ−ＲＯＭ１５ａ、フレキシブルディスク、半導体メモリ、等でもよい。また、通信Ｉ／Ｆ１７ｄをインターネット網に接続し、所定のサーバから本発明のプログラムをダウンロードして実行してもよい。

周辺機器Ｉ／Ｆ１７ａ（例えばＵＳＢ Ｉ／Ｆ）には、デジタルスチルカメラ（ＤＳＣ）５０、デジタルビデオカメラ、等の画像入力装置が接続可能である。ＣＲＴ Ｉ／Ｆ１７ｂにはカラー画像データに基づいて当該データに対応する画像を表示するディスプレイ１８ａが接続され、入力Ｉ／Ｆ１７ｃにはキーボード１８ｂやポインティングデバイス（マウス１８ｃ）が操作用入力機器として接続され、プリンタＩ／Ｆ１７ｅには例えばシリアルＩ／Ｆケーブルを介してプリンタ２０が接続される。

ＤＳＣ５０は、例えば図１２に示すように、光学部５２と制御部５４から構成される。図示の光学部５２では、ＣＰＵ５４ｃにコントローラ５２ｅが接続され、該コントローラにオートフォーカスコントローラ５２ｄとＣＣＤユニット５２ｆとオートゲインコントローラ（ＡＧＣ）５２ｈとストロボ５２ｇとが接続され、オートフォーカスコントローラ５２ｄにオートフォーカス機構５２ｂと測距部５２ｃとが接続され、オートフォーカス機構５２ｂにレンズ５２ａが接続され、バス５４ａにＡ／Ｄ変換回路５２ｉが接続され、該Ａ／Ｄ変換回路にＡＧＣ５２ｈが接続され、該ＡＧＣにＣＣＤユニット５２ｆが接続されている。制御部５４では、バス５４ａに、ＣＰＵ５４ｂ、ＲＯＭ５４ｃ、ＲＡＭ５４ｄ、ＬＣＤパネル５４ｆ、操作パネル５４ｅ、Ｉ／Ｏ回路５４ｇ，ｈが接続され、前記Ｉ／Ｏ回路５４ｇにメモリカード５４ｉが接続され、Ｉ／Ｏ回路５４ｈにＰＣのＩ／Ｆ１７ａが接続される。

被写体を撮像すると、該被写体からの光がレンズ５２ａを介してＣＣＤユニット５２ｆに入射し、該ＣＣＤユニットの各撮像素子にて生成されるアナログ電気信号がＡＧＣ５２ｈを介してＡ／Ｄ変換回路５２ｈに入力される。すると、ＣＰＵ５４ｂの処理により、撮像素子毎のデジタル値がＡ／Ｄ変換回路５２ｈから読み出されて撮像画像を画素毎に複数の要素色（例えばＲＧＢ）で階調表現した画像データが生成され、ＲＡＭ５４ｄのワークエリアに格納される。生成される画像データの各要素色の階調値は、ＣＣＤユニットの各撮像素子に入射した光の量に略比例する値とされている。なお、光の量は、各撮像素子の受光面の単位面積当たりに入射する光の輝度と露光時間の積で定義され、Ｒの階調値であれば光のＲ成分の輝度と露光時間の積とされる。従って、各要素色の階調値は、光の各要素色の成分についての輝度と露光時間の積に略比例する値とされる。

ここで、人間の目に感じられる光の強さは光の量に比例しないため、ＤＳＣ５０は、人間の目に感じられる光の強さに比例するように各要素色の階調値を変換する。また、ＤＳＣは、適宜、撮像画像の画像データに基づいて露出等を調整する処理を行う。
上述した画質調整の処理が行われた画像データは、ＲＡＭ５４ｄの画像エリアに格納され、適宜、Ｉ／Ｏ回路５４ｈからＰＣ１０へ出力されたり、メモリカード５４ｉに記憶されたりする。

図１１の下段のグラフはＤＳＣの色調整処理の特性、すなわち、ＤＳＣの変換特性に相当する入出力特性を示している。同図の上段のグラフは、当該色調整処理の特性を４つに分割した入出力特性を示している。各グラフにおいて、横軸は入力値、縦軸は出力値であり、各入力値が実線で示す特性に従ってグラフ上で対応する出力値に変換されることを示している。なお、破線で示す直線は入力値と出力値が等しい場合の特性を示している。グラフ５では、横軸が光の量、縦軸が画像データ１５ａであり、本実施形態ではＲＧＢの各色成分について同様の入出力特性である。従って、ＤＳＣでは、各ＣＣＤ撮像素子で取得するＲＧＢ毎の光の量をグラフ５に示す入出力特性で変換し、画像データにおけるＲＧＢ毎の階調値を取得していると考えることができる。ここで、ＲＧＢ毎の光の量をＹと表記し、ＤＳＣの変換特性に基づく出力値をＦ^-1（Ｙ）と表記する。このＹは、露出時間が一定であれば輝度に相当する。

グラフ１〜４は、ＤＳＣ独自の色調整処理を抽出するために上記変換特性を分割して得られる入出力特性であり、グラフ１，グラフ３，グラフ４は階調値の表色系を変換する意味合いの調整処理、グラフ２は画像の見栄えを良くするための調整処理である。ＤＳＣのメーカーは画像の見栄えを良くするために独自の色調整処理を実施しているが、当該画像の見栄えは、人間の目にとってＲＧＢ各色が人間の目にどのように知覚されるのかを考慮しながら決定される。そこで、光の量に応じた信号をｓＲＧＢ規格の信号に変換する処理の中に人間の目による知覚を評価し易い状態の信号で見栄えを向上させる処理が含まれていると想定し、上記グラフ１〜４のように色調整処理を分解した。すなわち、グラフ１は、光の量に比例した値を人間の目に知覚される明るさに比例した値に変換するための特性である。グラフ２は、人間の目に知覚される明るさに比例した値を画像の見栄えを向上させる値に変換するための特性である。グラフ３とグラフ４は、画像の見栄えを向上させる値をｓＲＧＢ規格の信号に変換するための特性である。

具体的には、グラフ１の横軸は光の量Ｙであり、縦軸は明度Ｌ^*に相当する値（後述のｓＬ^*）である。すなわち、明度Ｌ^*の値が増加するとその値の変化に比例して人間に知覚される明るさが変化するので、３刺激値の輝度を明度Ｌ^*に変換するＣＩＥ Ｌａｂの式
Ｌ^*＝116Ｙ^-1/3−16 …（１）
を利用すれば、光の量Ｙを明度Ｌ^*に相当する値へ変換する特性を記述することができる。ＤＳＣはＲＧＢの色毎に光の量Ｙを示す信号を取得するが、ＲＧＢ各色の光量Ｙを式（１）に代入すると、人間に知覚される明るさと比例関係にある階調値をＲＧＢの色毎に取得することができる。本実施形態では、この値をｓＬ^*と呼ぶ。

グラフ２の横軸は上記ｓＬ^*であり、縦軸は画像の見栄えを向上するための変換がなされた値であって、本実施形態ではこの値をｐＬ^*と呼ぶ。この入出力特性は、ＤＳＣのメーカーが独自に決定するものであるが、本願出願人の解析によれば、メーカー毎にわずかな相違があるものの、各メーカーの入出力特性は略同じ特性で記述できることが判明している。すなわち、グラフ２に示すように、中間調以下では入力値をより小さな出力値に変換し、中間調以上では入力値をより大きな出力値に変換するＳ字カーブ（ｐＬ^*＝Ｇ（ｓＬ^*））によって入出力特性を記述できる。この入出力特性Ｇ（ｓＬ^*）により、多数のメーカーが独自に決定したはずの色調整処理を記述することができた。すなわち、多数のメーカーの色調整処理をグラフ１〜４のように解析し、グラフ２に相当する入出力特性を抽出すると、概ね、グラフ２に示すような略Ｓ字のカーブとなり、階調が50％程度で変化率が概ね1.1〜1.4であった。また、肌色の輝度に相当する階調70％の近辺で変化率が１であった。そこで、グラフ２に示すように入出力特性Ｇ（ｓＬ^*）を決定すれば、多数のメーカーが独自に決定した色調整処理とほぼ同様の特性を記述することができる。

グラフ３では横軸が上述のｐＬ^*、縦軸が光の量に相当する値ｐＹである。グラフ４では、横軸が当該光の量に相当する値ｐＹ、縦軸が画像データＤＡ１における階調値である。図１１に示す各入出力特性はＲＧＢ毎に適用されるため、グラフ４においてもＲＧＢ毎に値を取得することができる。ここで、グラフ３とグラフ４は、上記ｐＬ^*からｓＲＧＢ規格に従った画像データを取得するための入出力変換である。ｓＲＧＢ規格では、ＲＧＢの各データを各色の光の量Ｙの（１／2.2）乗に比例するデータとして取得する。そこで、グラフ３では、明度に相当する上記ｐＬ^*から光の量に相当する値をＣＩＥ Ｌａｂの式によって取得する。
ｐＹ＝（（ｐＬ^*＋16）／116）³ …（２）

以上の変換により画像の見栄えを向上するための変換がなされた後の光の量ｐＹを取得することができるので、グラフ４では、この光量ｐＹに対して以下の式に基づいてγ変換を適用する。
ＲＧＢ＝ｐＹ^1/2.2 …（３）
ここで、ＲＧＢはＲＧＢ各色のデータである。なお、式（３）においては、光の量Ｙの（１／2.2）乗に比例するデータを算出できればよく、右辺に係数を乗じるなどしてもよい。
以上の解析により、グラフ１〜グラフ４の入出力特性を重畳した入出力特性のグラフ５を作成することにより、ＤＳＣの各メーカーにおける色調整処理とほぼ同様の特性を記述することができる。そこで、グラフ５に示す変換特性Ｆ^-1（Ｙ）とその逆の正変換特性Ｙ＝Ｆ（ＲＧＢ）を示す情報テーブルを変換特性データとしてＨＤ１４等に記憶しておく。この結果、正変換特性Ｆ（ＲＧＢ）によって画像データＤＡ１を光の量に比例する値に変換することができるし、変換特性Ｆ^-1（Ｙ）によって光の量に比例する値を画像データＤＡ１に変換することができる。

本実施形態のプリンタ２０は、ＣＭＹＫ（シアン、マゼンタ、イエロー、ブラック）の各色に対応して設けられた各インクカートリッジ２８に充填された各インクを印刷ヘッド２９ａ〜ｄから吐出して印刷媒体にインクのドットを形成して印刷する装置であるものとする。むろん、プリンタ２０には、ライトシアン（前記シアンの淡色）、ライトマゼンタ（前記マゼンタの淡色）、ダークイエロー（前記イエローの濃色）、レッド、バイオレット、灰色（前記ブラックの淡色）、淡灰色（前記灰色の淡色）、無着色インク（光沢感改善インク）、等も使用するプリンタ、ＣＭＹＫのいずれかのインクを使用しないプリンタ、インク通路内に泡を発生させてインクを吐出するバブル方式のプリンタのような各種インク噴射式プリンタ、トナーインクを使用するレーザープリンタ、等も採用可能である。印刷媒体には、光沢紙（例えば写真用紙）等が含まれる塗被紙の印刷媒体、普通紙や再生紙等が含まれる非塗被紙の印刷媒体がある。

本プリンタ２０では、図示の各部２１〜２７等がバス２０ａを介して接続され、ＣＰＵ２１がＲＯＭ２２に書き込まれたプログラムに従って各部を制御する。キャリッジ機構２７ａにて主走査方向に往復動するキャリッジには、各インクカートリッジ２８を装着したカートリッジホルダ３２が設けられているとともに、印刷ヘッド２９ａ〜ｄを備える印刷ヘッドユニット２９が搭載されている。ヘッド駆動部２６ａは、ＡＳＩＣ２６からラスタデータ（印刷データ）に対応する印加電圧データを入力してピエゾ素子への印加電圧パターンを生成し、該素子を内蔵する印刷ヘッド２９ａ〜ｄに４色のインク滴をドット単位で吐出させる。Ｉ／Ｆ２７に接続されたキャリッジ機構２７ａや紙送り機構２７ｂは、印刷ヘッドユニット２９を主走査させたり、適宜改ページ動作を行いながらシート状の印刷媒体を順次送り出して副走査を行ったりする。本プリンタ２０は、ＰＣのプリンタＩ／Ｆ１７ｅと接続された通信Ｉ／Ｏ２４を介してＰＣ１０から色別の印刷データ（ラスタデータ）を受信し、該印刷データに基づいて、該印刷データに対応する画像を印刷媒体上に形成する。

図２に示す印刷制御装置Ｕ０は、画像処理装置Ｕ１〜Ｕ５と印刷制御部Ｕ６とを備え、画像処理プログラムを含む印刷制御プログラムとＰＣ１０のハードウェアとが協働することにより構築される。情報記憶領域（情報記録領域）Ｕ５は、ＨＤ１４に設けられ、上述した各種情報１４ｂ〜ｈ等が記憶されている。
領域抽出部（領域抽出手段）Ｕ１は、各部Ｕ１１，Ｕ１２を備え、画像入力装置５０により作成された多階調（例えば256階調）の画像データＤＡ１から所定の色領域を抽出する。画像入力部Ｕ１１は、画像入力装置で作成された画像データＤＡ１を入力し、カラー画像を画素毎に複数の要素色ＲＧＢで階調表現（例えば256階調で表現）したＲＧＢデータＤＡ２（画像データの一種）に変換する。領域取得部Ｕ１２は、画像データＤＡ１から所定の色領域を抽出し、当該色領域の範囲を表す色領域情報ＤＡ３を生成する。

上記色領域としては、人物の顔の領域を表す顔領域、人物の肌の領域を表す肌色領域、空の領域を表す空色領域、夕焼けの領域を表す夕焼け色領域、植物の領域を表す緑色領域、雪の領域を表す雪色領域、海や湖や河川の領域を表す色領域、等がある。画像データＤＡ１が人物画像を含むカラー画像を画素毎に複数の要素色で階調表現したデータである場合、図５に示すように、ＲＧＢデータＤＡ２は人物画像を含むカラー画像を画素毎に要素色ＲＧＢで階調表現した画像データとされる。このＲＧＢデータＤＡ２は、前記人物画像の顔領域が含まれると想定される。
図５に示す画像データＤＡ２から顔領域Ｒ１を抽出する場合、例えば、画像データＤＡ２を構成する各画素Ｐ１について顔色として想定される色の範囲内であるか否かを判別し、当該範囲内と判別した画素を顔領域として抽出する。顔色として想定される色の範囲は、例えば、図４に示すように、顔領域の色の目標（Ｌａｂ色空間の目標点Ｔ）を含むＬａｂ色空間のａｂ平面の色範囲Ｒ１１で定義することができる。むろん、顔色として想定される色の範囲は、「人物の肌の色」として一般的に多くの人がイメージとして記憶している色の範囲を彩度Ｓと色相Ｈとで定義した範囲、特開2004-192614号公報に記載されるように（財）日本色彩研究所が出版している「スキントーンカラー」の範囲である色相（Ｈ）１ＹＲ〜９ＹＲ；彩度（Ｃ）３，４および５、「好ましい肌色」（目標点Ｔ）のａｂ平面の座標を（at,bt）とし所定の差をEt（０＜Et＜100）として｛（ａ−at）²＋（ｂ−bt）²｝^1/2≦Etを満たすａｂ平面での範囲（ａ，ｂ）、これらの条件を満たして明度Ｌが所定範囲内となる範囲、等と定義してもよい。
顔領域以外の色領域を抽出するための色範囲も、図４に示すように、色領域Ｒ１の目標点Ｔを含む所定の色空間の色座標平面の色範囲Ｒ１１で色領域Ｒ１として想定される色の範囲を定義することができる。色範囲Ｒ１１を表す情報は、色抽出情報１４ｃとして情報記憶領域Ｕ５に記憶されている。そして、色抽出情報１４ｃを参照して、図５に示すように画像データＤＡ２を構成する各画素Ｐ１について色範囲Ｒ１１内であるか否かを判別し、当該色範囲内と判別した画素を色領域Ｒ１として抽出すればよい。

領域抽出部を上記構成にすると自動的に色領域が抽出されるので好適であるものの、領域抽出部の構成には、色相や彩度など色範囲を指定する入力をユーザから受け付けて指定された色範囲に含まれる画素を色領域として抽出する構成、画像データに対応する画像を表示して該画像の中から色領域を指定する入力をユーザから受け付けて指定された部分の画素を色領域として抽出する構成、画像データに対応する画像を表示して該画像の中からおおよその画像領域を指定する入力をユーザから受け付けて指定された画像領域を構成する各画素について色範囲Ｒ１１内であるか否かを判別して当該色範囲内と判別した画素を色領域として抽出する構成、等も考えられる。

上記色領域情報ＤＡ３は、例えば、図５の下段に示すように、色範囲Ｒ１１内と判別された画素Ｐ２に１以上の整数を格納し、色範囲Ｒ１１外と判別された画素Ｐ２に０を格納したデータとすることができる。この場合、０を格納した画素が色領域の背景領域Ｒ２として抽出されていることになる。なお、色領域情報は、色範囲Ｒ１１内と判別された画素の画像データＤＡ２上の位置を表す情報、等としてもよい。

領域明るさ取得部（領域明るさ取得手段）Ｕ２は、領域抽出部にて抽出された色領域Ｒ１から当該色領域の明るさを取得し、領域明るさ情報ＤＡ４を生成する。色領域の明るさは、明度、輝度、色成分値の単純平均や重み付け平均、等で表すことができ、色領域内の画素の明度等の平均値や中央値や最頻値などで表される明るさとすることができる。そこで、色領域内の画素の明度等の平均値や中央値や最頻値などを算出して領域明るさ情報ＤＡ４とすることにより、色領域の明るさを取得することができる。なお、明度など明るさを表す値（明るさ値）の平均値としては、各画素の明度の相加平均（算術平均）の値、各画素の明度の相乗平均（幾何平均）の値、各画素の明度の調和平均の値、等が考えられ、各画素の重み付けをしない平均値でもよいし、各画素に重み付けをした平均値でもよい。
明るさ値の重み付け平均値を用いる場合、例えば、図５の下段に示すように、色領域Ｒ１の中で横方向または縦方向で背景領域Ｒ２に接する画素に最も小さい重み付け「１」を付与し、当該画素に横方向または縦方向で接する画素へ次に小さい重み付け「２」を付与し、以下、当該画素に横方向または縦方向で接する画素へ一つずつ大きい重み付けを付与して、色領域Ｒ１の内側ほど重み付けが大きくなるようにする。なお、各画素の重み付けの値Ki（ｉは１〜ｎの整数、ｎは色領域の画素数）は、色領域情報ＤＡ３としてＲＡＭに記憶しておく。ここで、色領域内の各画素の画素値を（Ri,Gi,Bi）とすると、色領域の画素値の重み付け平均値（AR,AG,AB）は、

となる。そして、平均値（AR,AG,AB）を求めると、ＲＧＢ色空間の色成分値Ｒ，Ｇ，ＢをＬａｂ色空間の色成分値Ｌ，ａ，ｂに変換する公知の式（６）を用いて色成分値AR,AG,ABから明度Ｌを求めることにより、色領域の明るさ（明度Lp）を取得することができる。

ただし、ｐ₁₁〜ｐ₃₃は、変換係数である。
むろん、色領域内の各画素の画素値（Ri,Gi,Bi）を先に明度Liへ変換し、平均値を求めて色領域の明るさ（明度Lp）としてもよい。また、ＲＧＢ色空間以外の色空間で定義される色成分値を用いて明るさを取得することも可能である。

背景明るさ取得部（背景明るさ取得手段）Ｕ３は、画像データＤＡ２から色領域Ｒ１の背景（背景領域Ｒ２）の明るさを取得し、背景明るさ情報ＤＡ５を生成する。背景の明るさは、明度、輝度、色成分値の単純平均や重み付け平均、等で表すことができ、背景内の画素の明度等の平均値や中央値や最頻値などで表される色とすることができる。そこで、背景領域内の画素の明るさ値の平均値や中央値や最頻値などを算出して背景明るさ情報ＤＡ５とすることにより、背景の明るさを取得することができる。なお、明るさ値の平均値としては、各画素の相加平均（算術平均）の値、各画素の相乗平均（幾何平均）の値、各画素の調和平均の値、等が考えられ、各画素の重み付けをしない平均値でもよいし、各画素に重み付けをした平均値でもよい。本実施形態では、各画素値の重み付けをしない相加平均値を用いるものとする。すなわち、背景領域内の各画素の画素値を（Ri,Gi,Bi）とすると、背景領域の画素値の相加平均値（AR,AG,AB）は、

となる。そして、平均値（AR,AG,AB）を求めると、色成分値Ｒ，Ｇ，Ｂを色成分値Ｌ，ａ，ｂに変換する公知の式（６）を用いて色成分値AR,AG,ABから明度Ｌを求めることにより、背景の明るさ（明度Lq）を取得することができ。むろん、色領域の明るさを取得する場合のように、背景領域内の各画素の画素値（Ri,Gi,Bi）を先に明度Liへ変換し平均値を求めて背景領域の明るさ（明度Lq）としてもよいし、ＲＧＢ色空間以外の色空間で定義される色成分値を用いて明るさを取得することも可能である。
本実施形態では、画像データＤＡ２のうち色領域Ｒ１を除く全ての領域を背景領域Ｒ２とし、具体的には、ＲＧＢデータＤＡ２のうち顔領域Ｒ１を除く領域の全体から顔領域の背景の明るさを取得している。むろん、画像データＤＡ２のうち色領域Ｒ１を除く領域の一部のみを背景領域としてもよい。例えば、色領域の周辺のみ（色領域との境界から所定の距離内）を背景領域としたり、色領域との境界から所定の距離を超える領域を背景領域としたり、色領域以外の領域から上記色範囲Ｒ１１内の画素を除いた部分を背景領域としたりすることができる。

なお、領域明るさ情報ＤＡ４を生成するための領域明るさ情報用変数と背景明るさ情報ＤＡ５を生成するための背景明るさ情報用変数とを用意して０にリセットしておき、画像データＤＡ２を構成する各画素の中から順次着目画素を設定し、当該着目画素について、領域取得部にて色範囲Ｒ１１内であるか否かを判別することにより色領域Ｒ１であるか否かを判別し、色領域であると判別した場合には領域明るさ取得部にて着目画素の明るさ値を領域明るさ情報用変数に加算し、色領域でないと判別した場合には背景明るさ取得部にて着目画素の明るさ値を背景色領域用変数に加算してもよい。そして、画像データＤＡ２の全画素を設定したとき、領域明るさ取得部にて領域明るさ情報用変数の値を色領域の画素数で除して領域明るさ情報ＤＡ４とし、背景明るさ取得部にて背景色領域用変数の値を背景領域の画素数で除して背景明るさ情報ＤＡ５としてもよい。

調整部（調整手段）Ｕ４は、図１，１３に示すように、色領域Ｒ１の明るさ（明度Lp）を当該色領域について予め設定された目標の明るさ（明度Lt）にする明るさ補正を画像データＤＡ２に対して行う。図１の上段では、背景の明度Lqから色領域の明度Lpを差し引いた明度差ΔＬ（横軸）に対する目標の明度（縦軸）を示している。図１の下段では、色領域の明度Lp（横軸）と背景の明度Lq（縦軸）とを軸とするLp−Lq平面を示している。
調整部Ｕ４は、目標の明るさ（明度Lt）よりも暗い第一の明るさ（明度L1）より色領域Ｒ１の明るさ（明度Lp）が暗く、かつ、目標の明るさ（明度Lt）よりも暗い第二の明るさ（明度L2）より背景の明るさ（明度Lq）が暗いとき、前記目標よりも明るさを下げた明るさ補正を画像データＤＡ２に対して行う。また、調整部Ｕ４は、背景の明るさ（明度Lq）が色領域Ｒ１の明るさ（明度Lp）より明るく、背景の明るさ（明度Lq）と色領域の明るさ（明度Lp）との差異が所定の差異より大きいとき、前記目標よりも明るさを下げた明るさ補正を画像データＤＡ１に対して行う。ここでいう差異は、例えば、背景と色領域の明度をそれぞれLq，Lpとして、差Lq−Lq、比Lq／Lpと１との差（Lq／Lp）−１、Lq²−Lq²、（１／Lp）−（１／Lq）、等で表される。
明るさを調整するための色空間は、機器従属色空間でもよいが、機器独立色空間が好ましく、均等色空間がさらに好ましい。均等色空間には、ＣＩＥ Ｌａｂ色空間、ＣＩＥ Ｌｕｖ色空間、等がある。機器独立色空間には、均等色空間の他、ＣＩＥ ＸＹＺ色空間、ＮＴＳ ＣＲＧＢ色空間、等がある。明るさを調整するための色空間を表す情報は、色空間情報１４ｃとして情報記憶領域Ｕ５に記憶されている。本実施形態では、色相および彩度を表すａｂ平面（色座標平面）並びに明度軸（明るさ軸）からなるＬａｂ色空間で明るさを調整するものとする。なお、Ｌｕｖ色空間ではｕｖ平面が色相および彩度を表す色座標平面となり、また、明るさ軸には輝度軸等も考えられる。

色領域の明るさの目標を表す目標の明るさは、色領域について人間が好ましいと感じる明るさ、色領域について人間が記憶している記憶色の明るさ、ユーザが指定した明るさ、等とすることができ、例えば複数の人に色を見せたときの好みの明るさの中心（好みの明るさ値を平均した値で表される明るさ）とすることができる。目標の明るさは、明度、輝度、色成分値の単純平均や重み付け平均、等で表すことができる。顔領域の目標の明るさについては、例えば、肌色の目標の明るさとすることができ、肌色の嗜好中心（好みの肌色の明るさ値を平均した値で表される「好ましい肌色」の明るさ）とすることができる。目標の明るさを表す情報は、目標の明るさ情報１４ｄとして情報記憶領域Ｕ５に記憶されている。
目標の明るさは、色領域や背景の明るさに関わらない一定の明るさでもよいが、背景の明るさ（明度Lq）と色領域の明るさ（明度Lp）との差異に応じて変化するようにすると、背景の明るさに応じて人に感じられる色領域の感覚的な明るさを調整することができるので、画像入力装置により作成された画像の明るさをより適切に調整することが可能になる。

図６の上段のグラフは、顔領域の明度がＬａｂ色空間における顔領域の目標点Ｔの明度Loであるときに背景の明度Lqに応じて人に感じられる色領域の感覚的な明度Ｊを示している。ここで、感覚的な明度Ｊは、CIE Publicationとして2004年に発行された色の見えモデルであるCIECAM02（Colour Appearance Model 2002）に規定された明度Ｊである。同図の上段では、横軸が背景の明度Lq、縦軸が感覚的な明度Ｊである。図の例では、明度Loの顔領域の感覚的な明度Ｊは、背景の明度Lqが所定範囲内で大きくなるほど低くなっている。
そこで、同図の下段のグラフに示すように、背景の明度Lqと顔領域の明度Lpとの差異に応じて人に感じられる顔領域の感覚的な明るさＪの違いを補償するように色領域の目標の明度Ltを決定すると、背景と顔領域の明るさの差異による顔領域の感覚的な明るさの違いが補償されるので、さらに適切に画像データの明るさを調整することが可能になる。なお、同図の下段では、横軸が背景の明度Lq、縦軸が目標の明度Ltである。図の例では、顔領域の目標の明度Ltは、背景の明度Lqが所定範囲内で大きくなるほど高くなっている。

以上のことから、本実施形態では、図１に示すように、背景の明度Lqから色領域の明度Lpを差し引いた明度差ΔＬ＝Lq−Lpが所定範囲（例えばΔL1〜ΔL2）内で大きくなるほど連続的または段階的に大きくなるように目標の明度Ltを設定している。ここで、ΔＬが大きくなるほど明度Ltが連続的に大きくなる場合には図１に示す線ＣＯ１のように連続して単調増加する場合があり、ΔＬが大きくなるほど明度Ltが段階的に大きくなる場合には明度Ltが整数とされるときに離散的に増加する場合等がある。なお、明度Ltが整数とされるとき、明度Ltがとりうる全ての整数値をとるように明度Ltが階段状に増加してもよいし、明度Ltがとりうる全ての整数値のうち一部の整数値のみとるように明度Ltが階段状に増加してもよい。

そして、目標の明度Ltよりも低い所定の第一の明度（第一の明るさ）をL1、目標の明度Ltよりも低い所定の第二の明度（第二の明るさ）をL2として、調整部Ｕ４は、色領域の明度Lpが明度L1より低く、かつ、背景の明度Lqが明度L2より小さいとき、ストロボ光が被写体に到達しなかったストロボ未達条件であるとして、明度差ΔＬが所定範囲内で大きくなるほど連続的または段階的に大きくなる目標の明度Ltを色領域の明度Lpよりも高い範囲内で低くした明度補正を画像データに対して行う。図１の下段に示すLp−Lq平面では、Lp＜L1かつLq＜L2を満たす暗領域をＡ１で示している。この暗領域Ａ１は、画像が前記ストロボ未達条件を満たすような全体に暗い画像である領域である。L1とL2とは、同じ明度でもよいし、異なる明度でもよい。調整部Ｕ４は、画像データＤＡ２が前記ストロボ未達条件を満たす場合、前記目標Ltよりも下げた明度をLcとして、Lp＜Lc＜Ltが満たされるように図１上段の目標の明度（線ＣＯ１）を線ＣＯ２の位置まで下げて、画像データＤＡ２の明度補正を行う。

ここで、図７の上段に示す曲線ＣＵ１のように、Lp＜L1かつLq＜L2の条件でLp＜Lcとなるよう、色領域の明度Lpのみに応じて修正目標の明度Lcを設定している。なお、横軸がLp、縦軸がLcである。明度Lcは、明度０〜L1の範囲でLpに応じて変化するLpの関数Lc（Lp）とされており、LpとLcとを対応付けた情報が修正目標の明るさ情報１４ｈとして情報記憶領域Ｕ５に記憶されている。LpとLcとを対応付けた情報としては、例えば、LpとLcとの対応関係を階調毎に規定した情報を格納した一次元ルックアップテーブル（ＬＵＴ）形式の情報とすることができる。Lp＜Lcを満たすためには、例えば、Lp＜L1かつLq＜L2のときにLcの最小値がLpより大きくなるように関数Lc（ΔＬ）を設定すればよい。
修正目標の明度Lcを色領域の明度Lpのみに応じた明度としたのは、画像入力装置で作成された全体に非常に暗い画像では、背景と色領域の明度差ΔＬが小さいため、ΔＬに応じて修正目標の明度Lcを設定するよりも、背景の明度Lqに関係なく色領域の明度Lpのみに応じて修正目標の明度Lcを設定する方が、適切に画像の明るさを調整することができるためである。一方、修正目標の明度Lcは、感覚的に同じ明るさとされた目標の明度Ltよりも低くされている。これは、以下の理由がある。
１．全体に非常に暗い画像では、色領域の明度Lpと目標の明度Ltとの差が大きく、色領域の明度を目標の明度Ltまで上げる明度補正をすると、画像にノイズが現れ、処理後の画質が意図したように向上しないことがあるためである。
２．非常に暗い環境で撮像された画像だと、人は暗さに対して不自然さを小さく感じる傾向があるためである。
以上より、全体に非常に暗い画像では、明度補正の目標を下げる方が画像処理後の画質を向上させることができるといえる。

なお、図７の下段に示す曲線ＣＵ２のように、０＜Lp＜L1のときに目標の明度Ltに補正係数を乗じて修正目標の明度Lcを得ることを前提として、Lp＜Lcが満たされる補正係数ｋ（０＜ｋ＜１）を設定してもよい。なお、横軸がLp、縦軸がｋである。補正係数ｋは、明度０〜L1の範囲でLpに応じて変化するLpの関数とされており、Lpとｋとを対応付けた情報が修正目標の明るさ情報１４ｈとして情報記憶領域Ｕ５に記憶される。Lp＜Lcを満たすためには、例えば、ｋ＞Lp／L1を満たすようにｋを設定すればよい。

また、図７に示すように、調整部Ｕ４は、Lp＜L1かつLq＜L2のとき、色領域の明るさ（明度Lp）よりも明るい範囲内で色領域の明るさ（明度Lp）が明るくなるほど連続的または段階的に明るくなるように目標の明るさを下げた明るさ補正を画像データＤＡ２に対して行う。すなわち、Lc（Lp）は、０＜Lx＜Ly＜L1を満たす任意の明度Lx，Lyを用いて、Lc（Lx）≦Lc（Ly）（ただしLc（Lx）＜Lc（Ly）の場合が少なくとも存在）が成立する関数とされている。Lpが大きくなるほど連続的にLcが大きくなる場合、Lc（Lx）＜Lc（Ly）となる。
すなわち、全体に暗い画像でも、比較的暗い画像では明るくする度合を大きくすると処理後の画像にノイズが生じやすくなる一方、比較的明るい画像では明るくする度合を大きくしても処理後の画像にノイズが生じにくくなる。従って、全体に非常に暗い画像について、ノイズが現れない程度に明るくなり、適切に画質が向上する。

なお、調整部Ｕ４は、Lp＜L1かつLq＜L2のとき、目標の明度を色領域の明度Lpよりも明るい範囲内で下げるとともに、第一の明度L1よりも暗い所定の第三の明度（第三の明るさ）をL3（０＜L3＜L1）として、Lp＞L3のときの目標の明度をLp＜L3のときの目標の明度よりも高くさせた明度補正を画像データＤＡ２に対して行ってもよい。すなわち、Lc（Lp）は、０＜Lx＜L3＜Ly＜L1を満たす任意の明度Lx，Lyを用いて、Lc（Lx）＜Lc（Ly）が成立する関数とされている。上述したように、全体に暗い画像でも、比較的明るい画像では明るくする度合を大きくしても処理後の画像にノイズが生じにくくなるので、全体に非常に暗い画像について、ノイズが現れない程度に明るくなり、適切に画質が向上する。
第三の明度L3は、０＜L3＜L1が満たされるように設定されればよく、L3＝L1／２等とすればよい。

また、図１に示すように、調整部Ｕ４は、背景の明度Lqから色領域の明度Lpを差し引いた明度差（差異）Lq−LpをΔＬ、０よりも大きい所定の明度差をΔＬthとして、ΔＬ＞ΔＬthのとき、逆光条件であるとして、明度差ΔＬに応じて目標の明度Lcを下げた明度補正を画像データＤＡ２に対して行う。図１の下段に示すLp−Lq平面では、Lq−Lp＜ΔＬthを満たす逆光領域をＡ２で示している。この逆光領域Ａ２は、画像が前記逆光条件を満たすような領域である。調整部Ｕ４は、画像データＤＡ２が前記逆光条件を満たす場合、前記目標Ltよりも下げた明度をLcとして、Lp＜Lc＜Ltが満たされるように図１上段の目標の明度（線ＣＯ１）を線ＣＯ３の位置まで下げて、画像データＤＡ２の明度補正を行う。

ここで、明度Lcは、明度差ΔＬがΔＬthより大きい範囲でΔＬに応じて変化するΔＬの関数Lc（ΔＬ）とされており、ΔＬとLcとを対応付けた情報が修正目標の明るさ情報１４ｈとして情報記憶領域Ｕ５に記憶されている。ΔＬとLcとを対応付けた情報としては、例えば、ΔＬとLcとの対応関係を階調毎に規定した情報を格納した一次元ルックアップテーブル（ＬＵＴ）形式の情報とすることができる。
修正目標の明度Lcを感覚的に同じ明るさとされた目標の明度Ltよりも低くしたことには、以下の理由がある。
すなわち、画像入力装置で逆光条件下にて作成された画像では、色領域の明度Lpが低い結果、色領域の明度Lpと目標の明度Ltとの差が大きく、色領域の明度を目標の明度Ltまで上げる明度補正をすると、画像にノイズが現れ、処理後の画質が意図したように向上しないことがあるためである。
従って、逆光条件下で作成された画像では、明度補正の目標を下げる方が画像処理後の画質を向上させることができるといえる。

また、図１に示すように、Lq−Lp＞ΔLthの条件でLp＜Lcとなるよう、明度差ΔＬに応じて修正目標の明度Lcを設定している。Lp＜Lcを満たすためには、例えば、Lq−Lp＞ΔLthのときにLcの最小値がLpより大きくなるように関数Lc（ΔＬ）を設定すればよい。調整部Ｕ４は、ΔＬ＞ΔＬthのとき、明度差ΔＬが大きくなるほど連続的または段階的に目標の明度Lcを下げた明度補正を画像データＤＡ２に対して行う。すなわち、Lc（ΔＬ）は、ΔＬth＜ΔLx＜ΔLyを満たす任意の明度差ΔLx，ΔLyを用いて、Lc（ΔLx）≧Lc（ΔLy）（ただしLc（ΔLx）＞Lc（ΔLy）の場合が少なくとも存在）が成立する関数とされている。ΔＬが大きくなるほど連続的にLcが小さくなる場合、Lc（ΔLx）＞Lc（ΔLy）となる。
すなわち、逆光条件で作成された画像でも、比較的逆光の度合が大きい画像では色領域が比較的暗い結果明るくする度合を大きくすると処理後の画像にノイズが生じやすくなる一方、比較的逆光の度合が小さい画像では色領域が比較的明るい結果明るくする度合を大きくしても処理後の画像にノイズが生じにくくなる。従って、逆光条件で作成された画像について、ノイズが現れない程度に明るくなり、適切に画質が向上する。

なお、図１に示すように、調整部Ｕ４は、ΔＬ＞ΔＬthのとき、目標の明度を色領域の明度Lpよりも明るい範囲内で下げるとともに、上記明度差ΔＬthよりも大きい所定の第二の明度差をΔL3（ΔＬth＜ΔL3＜ΔL2）として、ΔＬ＞ΔL3のときの目標の明度をΔＬ＜ΔL3のときの目標の明度よりも低くさせた明度補正を画像データＤＡ２に対して行ってもよい。すなわち、Lc（ΔLp）は、ΔＬth＜ΔLx＜ΔL3＜ΔLy＜ΔL2を満たす任意の明度差ΔLx，ΔLyを用いて、Lc（ΔLx）＞Lc（ΔLy）が成立する関数とされている。上述したように、逆光条件で作成された画像でも、比較的逆光の度合が小さい画像では色領域が比較的明るい結果明るくする度合を大きくしても処理後の画像にノイズが生じにくくなるので、逆光条件で作成された画像について、ノイズが現れない程度に明るくなり、適切に画質が向上する。
第二の明度差ΔL3は、ΔＬth＜ΔL3＜ΔL2が満たされるように設定されればよく、ΔL3＝（ΔＬth＋ΔL2）／２等とすればよい。

本実施形態の調整部は、画像データ全体へ一律に明るさ補正を行うが、抽出した色領域のみ明るさ補正を行うものでもよい。後者の場合、ＲＧＢデータＤＡ２の画素値の補正特性（後述するε等）を決定したとき、前記色領域を構成する各画素の中から順次着目画素を設定し、前記補正特性を参照して、当該着目画素の画素値を当該補正特性の情報に従って変換することにより、調整後のＲＧＢデータＤＡ６を生成することができる。

Ｌａｂ色空間における最終的な目標の明度Lp’が決定したら、補正前の色領域の明度Lpと明度Lp’との差異（比）に応じた明度補正を行うことにより、調整後のＲＧＢデータＤＡ６（画像データの一種）を生成する。

以上説明したように、全体に非常に暗い画像では明るさ補正の目標を暗い方向へ下げる方が画像の画質を向上させることができる。本発明では、Lp＜L1かつLq＜L2のとき、目標の明るさが下げられるので、画像にノイズが入るといった不具合を解消することができる。従って、画像入力装置で適切な明るさ調整が行われなかった場合でも、画像入力装置により作成された画像データの明るさを適切に調整することが可能になる。
また、逆光条件で作成された画像でも明るさ補正の目標を暗い方向へ下げる方が画像の画質を向上させることができる。本発明では、ΔＬ＞ΔＬthのとき、目標の明るさが下げられるので、画像にノイズが入るといった不具合を解消することができる。従って、画像入力装置で適切な明るさ調整が行われなかった場合でも、画像入力装置により作成された画像データの明るさを適切に調整することが可能になる。

なお、調整部Ｕ４では、さらに、色領域Ｒ１について予め設定された目標色Ctへ色領域Ｒ１の色を近づける色バランス調整を画像データＤＡ２に対して行ってもよい。例えば、領域抽出部Ｕ１にて抽出された色領域Ｒ１から当該色領域の代表色Cpを抽出し、必要に応じて画像データＤＡ２から色領域Ｒ１の背景の代表色Cqを抽出し、目標色Ctと代表色Cpと必要に応じて代表色Cqとに基づいて色領域Ｒ１の色を目標色Ctへ近づける色バランス調整を画像データＤＡ２に対して行うと、画像の明るさとともに画像の色バランスも調整される。色領域や背景領域の各画素の画素値（Ri,Gi,Bi）の平均値（AR,AG,AB）を上記式（４）や上記式（６）で求め、上記式（５）でＬａｂ色空間の色成分値（AL,Aa,Ab）に変換すると、色領域や背景領域の代表色Cp,Cqが色成分値（AL,Aa,Ab）として抽出される。そこで、抽出結果と目標色Ctの色成分値を用いてａｂ平面で色領域の代表色Cpの位置Ｐ（a_p,a_p）を目標色Ctの位置Ｔ（a_t,b_t）に近づけた点Ｐ’（a_p’,b_p’）を求めることができる。例えば、点Ｐを点Ｔに近づける割合を補正係数α（０＜α≦１）とすると、a_p’＝a_p＋α（a_t−a_p）、b_p’＝b_p＋α（b_t−b_p）となる。補正係数αは、背景の代表色Cqの位置に応じて変化させてもよい。Ｌａｂ色空間での補正後の色成分値（AL,a_p’,b_p’）が決定したら、Ｌａｂ色空間の色成分値Ｌ，ａ，ｂをＲＧＢ色空間の色成分値Ｒ，Ｇ，Ｂに変換する公知の式（７）を用いて、補正後の色成分値Ｌ，ａ，ｂを色成分値Ｒ，Ｇ，Ｂに変換する。

ただし、ｑ₁₁〜ｑ₃₃は、変換係数である。
そして、調整前のＲＧＢデータの全画素の画素値に対して補正前後の色成分値Ｒ，Ｇ，Ｂの差異（比）に応じた補正を行うことにより、色バランス調整後のＲＧＢデータを生成することができる。

印刷制御部Ｕ６は、画素毎に要素色ＲＧＢで階調表現したＲＧＢデータＤＡ６を、画素毎に要素色ＣＭＹＫで階調表現（例えば256階調で表現）したＣＭＹＫデータに色変換し、色変換後のＣＭＹＫデータに対して所定のハーフトーン処理を行って階調数をｍ階調（ｍは２以上256未満の整数）に減らし、ハーフトーン処理後のＣＭＹＫデータに対して所定のラスタライズ処理を行ってラスタデータ（印刷データ）ＤＡ７を生成し、当該ラスタデータＤＡ７をプリンタ２０に対して出力する処理を行う。この処理は、ＣＭＹＫデータに基づいて当該ＣＭＹＫデータに対応するインクのドットをプリンタに対して印刷媒体上に形成させる制御を行う処理である。この処理により、ＲＧＢデータＤＡ６に基づき当該ＲＧＢデータに対応する画像をプリンタに印刷させる制御が行われる。
すると、プリンタ２０は、ＣＭＹＫデータに対応するインクのドットを印刷媒体Ｍ１上に付着させることにより、ＲＧＢデータＤＡ６に対応する画像を印刷媒体Ｍ１に形成する。これにより、明るさの適切な画像ＩＭ１が印刷媒体上に印刷される。

（２）画像処理の動作および作用：
図８に示す印刷制御処理を開始すると、画像入力部により、画像入力装置で作成された画像データＤＡ１を入力し、例えば広域ＲＧＢ色空間で表現されたＲＧＢデータＤＡ２に変換する（ステップＳ１０２。以下、「ステップ」の記載を省略）。画像データＤＡ１は、画像入力装置５０から直接入力することもできるし、メモリカード用のＩ／Ｆを介してＤＳＣのメモリカード５４ｉに記憶された画像データを入力することもできるし、画像入力装置で作成された画像データを記録したＣＤ−ＲＯＭ１５ａ等から画像データを入力することもできる。画像データを入力する際には、画像データ全てをＲＡＭに格納するのみならず、画像データを分割して分割されたデータを順次ＲＡＭに上書きしてもよいし、画像データを格納したバッファ領域を表すデータのみをＲＡＭに格納してもよい。画像データＤＡ１は、画像をドットマトリクス状の多数の画素で階調表現したデータであり、ｓＲＧＢ色空間で定義されるＲＧＢから構成された画像データや、ＹＵＶ表色系におけるＹＵＶから構成された画像データ、等がある。画像データＤＡ１の各成分も様々な階調数とされているので、ｓＲＧＢやＹＵＶ表色系等の定義に従って、画像データＤＡ１を例えばＲ，Ｇ，Ｂ各256階調（０〜255の整数値）のＲＧＢデータＤＡ２に変換する。

次に、領域取得部により、ＲＧＢデータＤＡ２から所定の顔領域のような色領域Ｒ１を抽出する処理を行う（Ｓ１０４）。例えば、色領域情報ＤＡ３を作成するための領域をＲＡＭ内に確保し、色空間情報１４ｂと色抽出情報１４ｃをＨＤからＲＡＭへ読み出し、画像データＤＡ２の各画素の中から順次着目画素を設定し、当該着目画素について、色抽出情報１４ｃを参照して色範囲Ｒ１１内であるか否かを判別し、色領域情報ＤＡ３とする領域のうち着目画素に対応する場所に、着目画素が色範囲内と判別した場合には１を格納し、着目画素が色範囲内でないと判別した場合には０を格納する。これにより、色領域の範囲を表す色領域情報ＤＡ３が生成される。

さらに、領域明るさ取得部により、色領域Ｒ１から当該色領域の明度Lpを取得する（Ｓ１０６）。例えば、ＲＧＢデータＤＡ２の各画素のうち色領域情報ＤＡ３で１以上が格納された場所に対応する画素の画素値（Ri,Gi,Bi）を重み付け無しで相加平均して平均値（AR,AG,AB）を算出し、上記式（５）を用いて色領域の代表色を表す色成分値L_p,a_p,b_pに変換し、明度L_pを領域明るさ情報ＤＡ４とする。あるいは、図５の下段に示したように、色領域Ｒ１の内側ほど重み付けKiを大きくした色領域情報ＤＡ３を生成する処理を行い、ＲＧＢデータＤＡ２の各画素のうち色領域情報ＤＡ３で１以上が格納された場所に対応する画素の画素値（Ri,Gi,Bi）に重み付けKiを与えて上記式（４）により相加平均して重み付け平均値（AR,AG,AB）を算出し、色成分値L_p,a_p,b_pに変換し、明度L_pを領域明るさ情報ＤＡ４とする。

その後、背景明るさ取得部により、ＲＧＢデータＤＡ２から色領域Ｒ１の背景の明度Lqを取得する（Ｓ１０８）。例えば、ＲＧＢデータＤＡ２の各画素のうち色領域情報ＤＡ３で０が格納された場所に対応する画素の画素値（Ri,Gi,Bi）を重み付け無しで上記式（６）により相加平均して平均値（AR,AG,AB）を算出し、上記式（５）を用いて明度ARに変換し、この明度を背景明るさ情報ＤＡ５とする。

そして、詳しくは後述するが、調整部により、目標の明るさ情報１４ｄと領域明るさ情報ＤＡ４と背景明るさ情報ＤＡ５と閾値１４ｅ〜ｆと修正目標の明るさ情報１４ｈとを参照して、色領域の明るさを目標の明るさにする明るさ補正をＲＧＢデータＤＡ２に対して行い、調整後のＲＧＢデータＤＡ６を生成する（Ｓ１１０）。
以上のＳ１０２〜Ｓ１１０の処理を行うＰＣ１０が画像処理装置を構成する。

その後、印刷制御部により、ＲＧＢデータＤＡ６の各画素の中で色変換対象の対象画素を順次移動させながら、色変換ＬＵＴを参照することにより、対象画素のＲ，Ｇ，Ｂの階調値をＣ，Ｍ，Ｙ，Ｋの階調値に変換し、ＣＭＹＫデータを生成する（Ｓ１１２）。色変換ＬＵＴは、色変換前の色を要素色ＲＧＢ毎の階調値で表現する入力データと、印刷媒体上でＣＭＹＫのインクにより色再現される色をＣＭＹＫ毎の階調値で表現する出力データと、の対応関係を複数の参照点について規定した情報テーブルとされている。ＣＭＹＫデータは、ＲＧＢデータＤＡ６と同じくドットマトリクス状に配置された多数の画素で画像を階調表現した画像データであり、画素毎の階調データはプリンタが印刷ヘッドから吐出する各インクの使用量を表すＣ，Ｍ，Ｙ，Ｋ各256階調のデータであるとする。

次に、ＣＭＹＫデータに対して誤差拡散法やディザ法や濃度パターン法といった所定のハーフトーン処理を行って階調数を減らし、ＣＭＹＫ毎の多値データを生成する（Ｓ１１４）。多値データは、ドットの形成状況をドットの形成有無として表すデータであり、例えば階調値「１」をドット形成有り、階調値「０」をドット形成無しに対応させて二値化した２階調の二値データとすることができる。むろん、４階調等のデータとしてもよい。さらに、多値データに対して所定のラスタライズ処理（インターレース処理）を行って画素をプリンタで使用される順番に並べ替え、ＣＭＹＫ毎のラスタデータ（印刷データ）ＤＡ７を生成する（Ｓ１１６）。そして、ラスタデータＤＡ７をプリンタ２０に対して出力して（Ｓ１１８）、印刷制御処理を終了する。これにより、ＰＣは、多値データに対応するドットをプリンタに形成させて画像を印刷させる制御を行う。
すると、プリンタ２０は、ラスタデータＤＡ７を入手し、当該ラスタデータに基づいてＣＭＹＫデータに対応するＣＭＹＫのインクの各ドットを形成し、色調整後のＲＧＢデータＤＡ６に対応する画像ＩＭ１を印刷媒体Ｍ１上へ印刷する。

図９は、Ｓ１１０で行われる調整処理をフローチャートにより示している。処理を開始すると、まず、色領域Ｒ１の目標の明度Ltを取得する（Ｓ２０２）。例えば、図１で示した明度差ΔＬ＝Lq−Lpと目標の明度Ltとの対応関係を規定した目標の明るさ情報１４ｄをＨＤからＲＡＭに読み出し、最終的な目標の明度を格納する変数LLastの領域をＲＡＭ内に確保し、明度差ΔＬに対応する目標の明度Lt（ΔＬ）を取得して、このLt（ΔＬ）の値を前記変数LLastに代入する。むろん、目標の明るさを指定する入力をユーザから受け付け、指定された明るさを表す情報を目標の明るさ情報として取得することにより、目標の明るさを取得してもよい。
次に、色領域の明度Lpが第一の明度L1より小さく、かつ、背景の明度Lqが第二の明度L2より小さいか否かを判断する（Ｓ２０４）。条件成立時、画像データＤＡ２が所定のストロボ未達条件（ストロボ未達モード）を満たすとして、図７で示した明度Lpと明度Lcとの対応関係を規定した修正目標の明るさ情報１４ｈを参照して、色領域の明度Lpのみに応じて目標Ltから下げた修正目標の明度Lc（Lp＜Lc＜Lt）を設定し（Ｓ２０６）、Ｓ２１２に進む。このLcの値は、変数LLastに代入しておく。なお、逆光条件でなくてLp≧L1またはLq≧L2であれば、背景が極端に明るいということでなく画像が全体にある程度明るいため、色領域の明度を目標の明度Ltにする通常モードの明度補正を行っても画像にノイズが表れない。

Ｓ２０４で条件不成立時、背景の明度Lqから色領域の明度Lpを差し引いた明度差ΔＬ＝Lq−Lpが所定の明度差ΔＬthより小さいか否かを判断する（Ｓ２０８）。条件成立時、画像データＤＡ２が所定の逆光条件（逆光モード）を満たすとして、図１で示した明度差ΔＬと明度Lcとの対応関係を規定した修正目標の明るさ情報１４ｈを参照して、明度差ΔＬに応じて目標Ltから下げた修正目標の明度Lc（Lp＜Lc＜Lt）を設定し（Ｓ２１０）、Ｓ２１２に進む。このLcの値は、変数LLastに代入しておく。なお、Lp≧L1またはLq≧L2であって逆光条件でなければ、背景が極端に明るい結果として色領域が暗すぎるということはないので、色領域の明度を目標の明度Ltにする通常モードの明度補正を行っても画像にノイズが表れない。
Ｓ２０４およびＳ２０８で条件不成立時、上記通常モード（所定の通常撮像条件）であるとして、目標の明度Ltを下げることなく、Ｓ２１２に進む。

Ｓ２１２では、変数LLastの値Lp’と色領域の明度Lpとを用いて、ＲＧＢデータＤＡ２の各画素の画素値に対する補正倍率εを決定する。そして、補正倍率εに基づいてＲＧＢデータＤＡ２の画素値を画素毎に補正し、調整後のＲＧＢデータＤＡ６を生成して（Ｓ２１４）、調整処理を終了する。
以上の処理により、色領域の明るさを目標の明るさにする明るさ補正が画像データＤＡ２に対して行われる。

図１０では、下段のグラフが明るさ補正（露出補正）を行った場合の画質調整特性を示しており、上段のグラフが当該画質調整特性を得るために実施されるべき変換処理の特性を示している。これらのグラフでは、横軸が入力値、縦軸が出力値であり、各入力値が実線で示す特性に従ってグラフ上で対応する出力値に変換されることを示している。破線で示す直線は、入力値と出力値が等しい場合の特性を示している。グラフ６は正変換特性Ｙ＝Ｆ（ＲＧＢ）、グラフ８は変換特性Ｆ^-1（Ｙ）、グラフ７は露出補正の入出力特性である。グラフ６に示す正変換特性によれば、ＲＧＢデータＤＡ２の画素値をＲＧＢの色成分毎に光の量Ｙに変換することができる。露出補正は、光の量を定数倍することによって実施できるので、グラフ７のように光の量Ｙをε倍して露出補正特性を規定する。ここで、調整前後の色領域の明度をそれぞれLp，Lp’とすると、
ε＝Lp’／Lp …（７）
としている。
図１０では、露出補正後の光の量をeYとし、横軸を光の量Ｙ、縦軸を露出補正後の光の量eYとして示している。露出補正後の光の量eYをグラフ８のように変換特性Ｆ^-1で変換すると、露出補正後の画像データをＲＧＢの色成分毎に取得することができる。

グラフ９は、グラフ６〜グラフ８の変換特性を重畳した結果であり、上記画質調整特性である。すなわち、横軸は画像データＤＡ２におけるＲＧＢの各色成分値であり、縦軸はＲＧＢの各色成分について露出補正を行った後の画像データＤＡ６である。
そこで、補正倍率εの値に応じて調整前のＲＧＢデータＤＡ２におけるＲ，Ｇ，Ｂの画素値と調整後のＲＧＢデータＤＡ６におけるＲ，Ｇ，Ｂの画素値との対応関係を階調毎に規定したＬＵＴ（情報テーブル）を補正対応情報としてＨＤ１４等に記憶させておき、このＬＵＴを参照して調整前のＲＧＢデータＤＡ２の画素値を要素色ＲＧＢ毎に変換することにより、調整後のＲＧＢデータＤＡ６を生成することができる。
正変換特性Ｙ＝Ｆ（ＲＧＢ）に従った変換と変換特性Ｆ^-1（Ｙ）に従った変換とを行うと調整後の画像を非常に高画質にすることができる点で好適であるものの、処理を簡素化させるために、Ｙ＝Ｆ（ＲＧＢ）とＦ^-1（Ｙ）とに従った変換を行わずにＲＧＢデータＤＡ２のＲ，Ｇ，Ｂの画素値に補正倍率εを乗じてＲＧＢデータＤＡ６を生成してもよい。また、補正倍率εの値に応じて調整前の画素値と調整後の画素値との対応関係を画素毎に規定したＬＵＴを用意してＨＤ１４等に記憶させておき、補正倍率εの値に応じたＬＵＴを参照してＲＧＢデータＤＡ２のＲ，Ｇ，Ｂの画素値を当該ＬＵＴの情報に従って変換してＲＧＢデータＤＡ６を生成してもよい。

なお、明るさ補正後のＲＧＢデータＤＡ６に対して色バランス調整を行ってもよい。上述したように、Ｌａｂ色空間で色領域の目標点Ｔ（L_t,a_t,b_t）、色領域の代表色Cpの点Ｐ（L_p,a_p,b_p）として、補正後の点Ｐ’（L_p,a_p＋α（a_t−a_p）,b_p＋α（b_t−b_p））を求め、上記式（７）を用いてＲＧＢ色空間における色成分値AR’,AG’,AB’に変換し、要素色ＲＧＢ毎の補正倍率γ，δ，βを決定すると、補正倍率γ，δ，βに基づいてＲＧＢデータＤＡ６の画素値を画素毎に補正することができる。例えば、補正倍率γ，δ，βに応じて調整前の画素値と調整後の画素値との対応関係を画素毎に規定したＬＵＴを用意してＨＤ１４等に記憶させておけば、補正倍率γ，δ，βの値に応じたＬＵＴを参照してＲＧＢデータＤＡ６のＲ，Ｇ，Ｂの画素値を当該ＬＵＴの情報に従って変換して色バランス調整後のＲＧＢデータを生成することができる。
むろん、明るさ補正前のＲＧＢデータＤＡ２に対して色バランス調整を行った後、本発明の明るさ補正を行ってもよい。
以上により、画像の色バランスも調整されるので、画質がさらに向上する。

調整処理が終了すると、図８のＳ１１２〜Ｓ１１８で調整後のＲＧＢデータＤＡ６に対応する画像をプリンタ２０に印刷させる制御が行われる。すると、プリンタは、ＲＧＢデータＤＡ６に対応して調整された画像ＩＭ１を印刷媒体Ｍ１上へ印刷する。

図１３は、色領域と背景とが種々の明るさとされた各画像の明るさ補正を模式的に示している。ここで、横軸は、背景と色領域との明るさの差であり、上述した明度差ΔＬ＝Lq−Lp等で表される。縦軸は、色領域の明るさであり、上述した明度Lp等で表され、露出が表されている。ストロボ未達条件や逆光条件でなければ、通常条件（通常モード）であるとして、顔領域等の色領域が感覚的に同じ明るさとなるように明るさが補正される。すなわち、通常条件では、色領域の明度が線ＣＯ１よりも上側にある場合には色領域の明度が線ＣＯ１の位置まで下げられ、色領域の明度が線ＣＯ１よりも下側にある場合には色領域の明度が線ＣＯ１の位置まで上げられる。
ここで、Lp＜L1かつLq＜L2、すなわち、ストロボ未達条件では、前提として色領域の明度が線ＣＯ１よりも下側にあり、当該色領域の明度は、上げられるものの、線ＣＯ１の下の明度で止められる。これにより、画像にノイズが生じない程度まで明るくされ、画質を適切に向上させることができる。
また、Lq−Lp＞ΔＬth、すなわち、逆光条件では、前提として色領域の明度が線ＣＯ１よりも下側にあり、当該色領域の明度は、上げられるものの、線ＣＯ１の下の明度で止められる。これにより、画像にノイズが生じない程度まで明るくされ、画質を適切に向上させることができる。

以上説明したように、本発明によると、被写体にストロボの光がほとんどあるいは全く届かなかったときのように、画像入力装置で全体に非常に暗い画像が作成された場合でも、目標の明るさが適切に下げられるので、画像にノイズが生じるといった画像の破綻を防ぐことができる。また、画像入力装置で逆光条件にて色領域の暗い画像が作成された場合でも、目標の明るさが適切に下げられるので、画像にノイズが生じるといった画像の破綻を防ぐことができる。従って、通常条件とストロボ未達条件と逆光条件とで同時に適切な明るさ補正（露出補正）の可能な画像処理装置を提供することができ、画像入力装置で適切な明るさ調整が行われなかった場合でも、画像入力装置により作成された画像の明るさ適切に調整することが可能になる。
むろん、顔領域以外の色領域を有する画像の明るさを調整する場合にも同様のことがいえる。

（３）変形例：
本発明の画像処理装置を含む印刷システムは、様々な構成が可能である。例えば、印刷装置は、コンピュータと一体化されたもの、単色画像のみ印刷する印刷装置、でもよい。上述したフローについては、一部または全部を印刷装置、専用の画像処理装置、外部のサーバ、等で実行してもよい。印刷装置がハーフトーン処理とラスタライズ処理を実行可能な装置であれば、色変換後の画像データをそのまま同印刷装置に出力すればよい。
明るさ補正対象の画像データは、ＲＧＢデータ以外にも、ＹＵＶ表色系で定義される色成分ＹＵＶ毎の画素値からなるＹＵＶデータ、色成分Ｌａｂ毎の画素値からなるＬａｂデータ、要素色ＣＭＹ毎の画素値からなるＣＭＹデータ、要素色ＣＭＹＫ毎の画素値からなるＣＭＹＫデータ、等でもよい。
上記目標の明るさは、上記明度Ｊのように感覚的な明るさの違いを補償するように設定されると好適であるものの、背景の明るさとは関係なく一定の明るさとされても、ストロボ未達条件や逆光条件で画像にノイズを生じさせず適切に明るさを向上させる効果が得られる。

暗領域Ａ１を判別するための第一の明るさ（明度L1）や第二の明るさ（明度L2）は、固定値以外にも、色領域や背景の明るさ（明度Lp,Lq）に応じて変化する変動値でもよい。例えば、L1＝k₁×Lt（０＜k₁＜１、例えばk₁＝0.5）、L2＝k₂×Lt（０＜k₂＜１、例えばk₂＝0.5）と、L1,L2を目標の明るさ（明度Lt）に応じて変化する明度とすることができる。また、L1＝L1’−k₃×Lp（０＜L1’＜Lt、０＜k₃＜１）、L2＝L2’−k₄×Lq（０＜L2’＜Lt、０＜k₄＜１）のようにしてもよい。
逆光領域Ａ２を判別するための明るさの所定の差異（明度差ΔＬth）は、固定値以外にも、色領域や背景の明るさ（明度Lp,Lq）に応じて変化する変動値でもよい。例えば、ΔＬth＝ΔＬth’＋k₅×Lp（−１＜k₅＜１）、ΔＬth＝ΔＬth’＋k₆×Lq（−１＜k₆＜１）、ΔＬth＝ΔＬth’＋k₇×（Lp＋Lq）（−１＜k₇＜１）、と、ΔＬthを色領域や背景の明るさ（明度Lp,Lq）に応じて変化する明度とすることができる。

目標の明度LtがΔＬ＝Lq−Lpに応じた明度とされ、逆光条件での修正目標の明度LcもΔＬに応じた明度とされるので、図９のＳ２０８〜Ｓ２１０の処理を省略可能である。
図１４は、変形例に係る画像処理装置が行う調整処理をフローチャートにより示している。本変形例では、ΔＬ≦ΔＬthの場合に上記目標の明度Lt、ΔＬ＞ΔＬthの場合に上記修正目標の明度Lcとなる補正目標の明度LbとΔＬとの対応関係を規定した補正目標の明るさ情報を用意してＨＤ１４に記憶させる。まず、上記Ｓ２０２の代わりに、色領域Ｒ１の補正目標の明度（明るさ）Lbを取得する（Ｓ２０２）。ここで、前記補正目標の明るさ情報を参照して、明度差ΔＬに対応する補正目標の明度Lbを取得する。次に、Lp＜L1かつLq＜L2か否かを判断する（Ｓ２０４）。条件成立時、図７で示した明度Lpと明度Lcとの対応関係を規定した修正目標の明るさ情報１４ｈを参照して、色領域の明度Lpのみに応じて目標Ltから下げた修正目標の明度Lc（Lp＜Lc＜Lt）を設定し（Ｓ２０６）、Ｓ２１２に進む。一方、条件不成立時には、即座にＳ２１２に進む。Ｓ２１２では、変数LLastの値Lp’と色領域の明度Lpとを用いて補正倍率εを決定する（Ｓ２１２）。そして、補正倍率εに基づいてＲＧＢデータＤＡ２から調整後のＲＧＢデータＤＡ６を生成する（Ｓ２１４）。
本処理によっても、ストロボ未達条件と逆光条件とで画像の明るさが適切に調整される。

また、色領域の明るさが所定範囲内となった場合には「好ましい明るさ」の範囲内であるとして明るさ補正を行わず、色領域の明るさが前記所定範囲外となった場合にのみ明るさ補正を行うように調整部を構成してもよい。
図１５は、変形例に係る印刷制御装置が行う印刷制御処理を示すフローチャートである。本処理では、Ｓ１０６とＳ１０８の間にＳ１３０が挿入されている。すなわち、Ｓ１０６で色領域の明るさ（明度Lp）を取得すると、Ｓ１３０で明度Lpが「好ましい明るさ」の所定範囲L_L〜L_U内であるか否かを判断する。ただし、０＜L_L＜Lt＜L_U＜100とする。明度Lpが所定範囲の境界L_L,L_Uの場合には、該範囲内と判断してもよいし、該範囲外と判断してもよい。明度Lpが前記範囲外と判断したときにはＳ１０８〜Ｓ１１８の処理を行う一方、明度Lpが前記範囲内と判断したときにはＳ１１２に進んで調整処理を省略する。これにより、色領域の明るさが「好ましい明るさ」の範囲内であれば画像データの明るさを調整する処理が省略されるので、画像処理を高速化させることが可能になる。

ところで、図２で示した印刷制御部Ｕ６を備えていない画像処理装置でも、本発明の基本的な作用、効果が得られる。また、領域抽出部Ｕ１のうち画像入力部Ｕ１１を備えていない画像処理装置でも、本発明の基本的な作用、効果が得られる。
なお、本発明は、上述した実施例や変形例に限られず、上述した実施例および変形例の中で開示した各構成を相互に置換したり組み合わせを変更したりした構成、公知技術並びに上述した実施例および変形例の中で開示した各構成を相互に置換したり組み合わせを変更したりした構成、等も含まれる。
以上説明したように、本発明によると、種々の態様により、画像入力装置で適切な明るさ補正が行われなかった場合でも、画像入力装置により作成された画像データの明るさを適切に調整することが可能になる。

本発明の一実施形態である画像処理を模式的に示す図。 画像処理装置を含む印刷制御装置の構成を模式的に示すブロック図。 印刷制御装置を含む印刷システムの構成の概略を示すブロック図。 色領域とする色範囲をａｂ平面にて模式的に示す図。 画像データから色領域を抽出する様子を模式的に示す図。 背景の明度に応じて変化する感覚的な明度Ｊを補償する様子を模式的に示す図。 暗い画像における色領域の明度の補正目標を模式的に示す図。 印刷制御装置が行う印刷制御処理を示すフローチャート。 画像処理装置が行う調整処理を示すフローチャート。 画像データの明るさを補正する様子を模式的に示す図。 デジタルスチルカメラが行う色調整処理とその変換特性とを模式的に示す図。 デジタルスチルカメラの構成を模式的に示すブロック図。 本発明の作用を模式的に示す図。 変形例に係る印刷制御装置が行う調整処理を示すフローチャート。 変形例に係る印刷制御装置が行う印刷制御処理を示すフローチャート。

符号の説明

１０…パーソナルコンピュータ（ＰＣ）、１４…ハードディスク（ＨＤ）、１４ｂ…色空間情報、１４ｃ…色抽出情報、１４ｄ…目標の明るさ情報、１４ｅ…第一の明度（第一の明るさ）、１４ｆ…第二の明度（第二の明るさ）、１４ｇ…所定の明度差（所定の差異）、１４ｈ…明るさを下げた修正目標の明るさ情報、２０…インクジェットプリンタ（印刷装置）、５０…デジタルスチルカメラ（画像入力装置）、Ａ１…暗領域、Ａ２…逆光領域、ＤＡ１，ＤＡ２…画像データ、ＤＡ３…色領域情報、ＤＡ４…領域明るさ情報、ＤＡ５…背景明るさ情報、ＤＡ６…調整後の画像データ、Ｒ１…色領域、Ｒ２…背景領域、Ｒ１１…色範囲、Ｕ０…印刷制御装置、Ｕ１…領域抽出部（領域抽出手段）、Ｕ２…領域明るさ取得部（領域明るさ取得手段）、Ｕ３…背景明るさ取得部（背景明るさ取得手段）、Ｕ４…調整部（調整手段）、Ｕ５…情報記憶領域（情報記録領域）、Ｕ６…印刷制御部、Ｕ１１…画像入力部、Ｕ１２…領域取得部、

Claims (14)

1. 画像入力装置により作成された画像データから所定の色領域を抽出する領域抽出手段と、抽出した色領域から当該色領域の明るさを取得する領域明るさ取得手段と、前記色領域の明るさを当該色領域について予め設定された目標の明るさにする明るさ補正を前記画像データに対して行う調整手段とを備える画像処理装置であって、
   前記画像データから前記色領域の背景の明るさを取得する背景明るさ取得手段を備え、
   前記調整手段は、前記目標の明るさよりも暗い第一の明るさより前記色領域の明るさが暗く、かつ、前記目標の明るさよりも暗い第二の明るさより前記背景の明るさが暗いとき、前記目標よりも明るさを下げた明るさ補正を前記画像データに対して行うことを特徴とする画像処理装置。
2. 前記目標の明るさは、前記背景の明るさと前記色領域の明るさとの差異に応じて変化する明るさとされ、
   前記調整手段は、前記色領域の明るさが前記第一の明るさより暗く、かつ、前記背景の明るさが前記第二の明るさより暗いとき、前記背景の明るさと前記色領域の明るさとの差異に応じて変化する目標の明るさを前記色領域の明るさよりも明るい範囲内で下げた明るさ補正を前記画像データに対して行うことを特徴とする請求項１に記載の画像処理装置。
3. 全ての前記明るさは、明度で表され、
   前記目標の明るさは、前記背景の明度から前記色領域の明度を差し引いた明度差ΔＬが所定範囲内で大きくなるほど連続的または段階的に大きくなる明度とされ、
   前記調整手段は、前記目標の明度よりも低い第一の明度より前記色領域の明度が低く、かつ、前記目標の明度よりも低い第二の明度より前記背景の明度が低いとき、前記明度差ΔＬが所定範囲内で大きくなるほど連続的または段階的に大きくなる目標の明度を前記色領域の明るさよりも高い範囲内で低くした明度補正を前記画像データに対して行うことを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記調整手段は、前記色領域の明るさが前記第一の明るさより暗く、かつ、前記背景の明るさが前記第二の明るさより暗いとき、前記色領域の明るさよりも明るい範囲内で前記色領域の明るさが明るくなるほど連続的または段階的に明るくなるように前記目標の明るさを下げた明るさ補正を前記画像データに対して行うことを特徴とする請求項１〜請求項３のいずれか一項に記載の画像処理装置。
5. 前記調整手段は、前記色領域の明るさが前記第一の明るさより暗く、かつ、前記背景の明るさが前記第二の明るさより暗いとき、前記目標の明るさを前記色領域の明るさよりも明るい範囲内で下げるとともに、前記第一の明るさよりも暗い第三の明るさより前記色領域の明るさが明るいときの前記目標の明るさを前記第三の明るさより前記色領域の明るさが暗いときの前記目標の明るさよりも明るくさせた明るさ補正を前記画像データに対して行うことを特徴とする請求項１〜請求項３のいずれか一項に記載の画像処理装置。
6. 前記調整手段は、さらに、前記背景の明るさが前記色領域の明るさより明るく、前記背景の明るさと前記色領域の明るさとの差異が所定の差異より大きいとき、前記目標よりも明るさを下げた明るさ補正を前記画像データに対して行うことを特徴とする請求項１〜請求項５のいずれか一項に記載の画像処理装置。
7. 前記調整手段は、前記背景の明るさが前記色領域の明るさより明るく、前記背景の明るさと前記色領域の明るさとの差異が所定の差異より大きいとき、前記色領域の明るさよりも明るい範囲内で前記背景の明るさと前記色領域の明るさとの差異が大きくなるほど連続的または段階的に前記目標の明るさを下げた明るさ補正を前記画像データに対して行うことを特徴とする請求項６に記載の画像処理装置。
8. 全ての前記明るさは、明度で表され、
   前記目標の明るさは、前記背景の明度から前記色領域の明度を差し引いた明度差ΔＬが大きくなるほど連続的または段階的に大きくなる明度とされ、
   前記調整手段は、前記ΔＬが所定の明度差ΔＬth（ΔＬth＞０）より大きいとき、前記色領域の明度よりも高い範囲内で前記明度差ΔＬが大きくなるほど連続的または段階的に前記目標の明度を低くした明度補正を前記画像データに対して行うことを特徴とする請求項７に記載の画像処理装置。
9. 前記画像データは、人物画像を含むカラー画像を画素毎に複数の要素色で階調表現したデータとされ、
   前記所定の色領域は、前記人物画像の顔領域とされ、
   前記顔領域について予め設定された目標の明るさは、肌色の目標の明度とされるとともに、前記ΔＬが前記ΔＬth以下のときに前記明度差ΔＬが大きくなるほど連続的または段階的に大きくなる明度とされ、
   前記背景明るさ取得手段は、前記画像データのうち前記顔領域を除く領域の全体から前記顔領域の背景の明るさを取得し、
   前記調整手段は、前記目標の明度よりも低い第一の明度より前記色領域の明度が低く、かつ、前記目標の明度よりも低い第二の明度より前記背景の明度が低いとき、前記明度差ΔＬが大きくなるほど連続的または段階的に大きくなる目標の明度を前記色領域の明度よりも高い範囲内で低くして、前記画像データの明度補正を行うことを特徴とする請求項８に記載の画像処理装置。
10. 画像入力装置により作成された画像データから所定の色領域を抽出する領域抽出手段と、抽出した色領域から当該色領域の明るさを取得する領域明るさ取得手段と、前記色領域の明るさを当該色領域について予め設定された目標の明るさにする明るさ補正を前記画像データに対して行う調整手段とを備える画像処理装置であって、
    前記画像データから前記色領域の背景の明るさを取得する背景明るさ取得手段を備え、
    前記調整手段は、前記背景の明るさが前記色領域の明るさより明るく、前記背景の明るさと前記色領域の明るさとの差異が所定の差異より大きいとき、前記目標よりも明るさを下げた明るさ補正を前記画像データに対して行うことを特徴とする画像処理装置。
11. 画像入力装置により作成された画像データから所定の色領域を抽出し、抽出した色領域から当該色領域の明るさを取得し、前記色領域の明るさを当該色領域について予め設定された目標の明るさにする明るさ補正を前記画像データに対して行う画像処理方法であって、
    前記画像データから前記色領域の背景の明るさを取得し、前記目標の明るさよりも暗い第一の明るさより前記色領域の明るさが暗く、かつ、前記目標の明るさよりも暗い第二の明るさより前記背景の明るさが暗いとき、前記目標よりも明るさを下げた明るさ補正を前記画像データに対して行うことを特徴とする画像処理方法。
12. 画像入力装置により作成された画像データから所定の色領域を抽出し、抽出した色領域から当該色領域の明るさを取得し、前記色領域の明るさを当該色領域について予め設定された目標の明るさにする明るさ補正を前記画像データに対して行う画像処理方法であって、
    前記画像データから前記色領域の背景の明るさを取得し、前記背景の明るさが前記色領域の明るさより明るく、前記背景の明るさと前記色領域の明るさとの差異が所定の差異より大きいとき、前記目標よりも明るさを下げた明るさ補正を前記画像データに対して行うことを特徴とする画像処理方法。
13. 画像入力装置により作成された画像データから所定の色領域を抽出し、抽出した色領域から当該色領域の明るさを取得し、前記色領域の明るさを当該色領域について予め設定された目標の明るさにする明るさ補正を前記画像データに対して行う機能をコンピュータに実現させる画像処理プログラムであって、
    前記画像データから前記色領域の背景の明るさを取得し、前記目標の明るさよりも暗い第一の明るさより前記色領域の明るさが暗く、かつ、前記目標の明るさよりも暗い第二の明るさより前記背景の明るさが暗いとき、前記目標よりも明るさを下げた明るさ補正を前記画像データに対して行う機能を実現させることを特徴とする画像処理プログラム。
14. 画像入力装置により作成された画像データから所定の色領域を抽出し、抽出した色領域から当該色領域の明るさを取得し、前記色領域の明るさを当該色領域について予め設定された目標の明るさにする明るさ補正を前記画像データに対して行う機能をコンピュータに実現させる画像処理プログラムであって、
    前記画像データから前記色領域の背景の明るさを取得し、前記背景の明るさが前記色領域の明るさより明るく、前記背景の明るさと前記色領域の明るさとの差異が所定の差異より大きいとき、前記目標よりも明るさを下げた明るさ補正を前記画像データに対して行う機能を実現させることを特徴とする画像処理プログラム。

Images