JP3977291B2 - 画像再生方法及び画像処理装置 - Google Patents
画像再生方法及び画像処理装置 Download PDFInfo
- Publication number
- JP3977291B2 JP3977291B2 JP2003183219A JP2003183219A JP3977291B2 JP 3977291 B2 JP3977291 B2 JP 3977291B2 JP 2003183219 A JP2003183219 A JP 2003183219A JP 2003183219 A JP2003183219 A JP 2003183219A JP 3977291 B2 JP3977291 B2 JP 3977291B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- correction
- detection
- data
- chromaticity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像領域の抽出及び画像の再生、特に圧縮画像からの注目画像領域の抽出と圧縮画像の再生方法及びその装置、又その処理に関連するコンピュータプログラム及びコンピュータ読み取り可能な記録媒体に係わり、特に、圧縮された画像データ形式である例えばJPEGファイル画像から注目画像領域を抽出して所望の再生をするために用いて好適なものである。
【０００２】
【従来の技術】
デジタルカメラなどで撮影して圧縮された例えばJPEGファイル画像をパーソナルコンピュータ（ＰＣ）などで再生して、表示を行う場合又はＰＣプリンタもしくはダイレクトプリンタなどから印刷を行う場合や、ＤＰＥでプリントを行う場合がある。この時に、撮影画像データが良質な場合は忠実に再生して表示又はプリントすればよいので問題は生じない。
【０００３】
しかしながら、撮影画像データによっては色被り、コントラスト不足、露出の不適切などがあり、良質な印刷結果を得るためには画像補正を施す必要がある。特に、人物を撮影した画像の場合には、一般に、人の顔の色が適正になるように再生してプリントすると写真を見た人に与える感じが良くなり、写真の質を高めることになる。風景や物を撮影した場合でも、目標とする撮影対象物の色が適正になるように再生してプリントすることが望まれる。
【０００４】
例えば、銀塩写真の場合、質の良い写真を得るためには原画像ごとに焼き付け時の露光量を変更することが好ましく、この焼付け時の露光量を決めるのに、人物が入った写真の場合には、人の顔の色に着目するのが便利である。何故ならば、人の顔は肌色であることが分かっているために、焼き付けられた写真における人の顔の色が肌色になるように露光量を決めることが可能であるからである。
【０００５】
従来、デジタルデータの画像ファイルから画像認識する方法としては、例えば特許文献１、特許文献２、特許文献３など知られている。
【０００６】
これらの方法は、指定画像との類似度や一致度を検出するもので、特許文献１の場合は、直流成分によるブロック単位での粗一致を求め、その後、候補画像領域に対して復元処理を行い、非圧縮データとして微一致を求める方式である。
【０００７】
また、特許文献２の場合は、検索データを入力作成し、このデータと複数の画像データの類似度を判定する画像処理装置である。さらに、特許文献３の場合は、検索対象画像をウェーブレット変換して圧縮画像を作成する。また、指定された画像にもウェーブレット変換を施し、各々の特徴データを比較することで、類似度を判定するようにしている。
【０００８】
一方、画像を補正する方法としては、デジタルカメラで撮影した画像をプリントする際に、アプリケーションやプリンタドライバのアプリケーションにより、撮影データをヒストグラムなどで解析し、コントラスト、ホワイトバランス、露出補正、シャープネスなど画像補正を一様に施すものが知られている。
【０００９】
【特許文献１】
特開平8-161497号公報
【特許文献２】
特開2000-48036号公報
【特許文献３】
特開平11-238067号公報
【００１０】
【発明が解決しようとする課題】
しかしながら、上記従来の方法では補正対象の注目画像領域を正確に見付け出して、その注目画像領域を所望の色に補正することが出来ない。
【００１１】
すなわち、デジタルカメラなどで撮影した例えばJPEGファイル画像を再生して表示又はプリントする場合に、銀塩写真のプリント処理のように、人物など注目画像が、より良く表示又はプリント出来るように必要に応じて補正を行えるように、上記JPEGファイル画像の中に注目画像領域を見つけ出す方法を決める必要がある。
一方、デジタルカメラからプリンタへ直接プリントを行うダイレクトプリントなどデータ処理能力の低い機器でも使用出来るように、検出処理は出来うるだけ軽く済む方法が求められている。
本出願人は、上述の問題点に鑑み、画像ファイルの中の注目画像領域を処理不可の少ない方法で抽出できる、また、入力画像サイズに関係なしに画像ファイルの中の注目画像領域を処理不可の少ない方法で抽出できる方法を提案した(特願2002-193620)。
【００１２】
ところが、注目画像領域抽出に用いられる色度比率判定やＤＣＴのＡＣ成分による特徴量判定の判定方法が、必ずしも最適化されていないことによる注目画像領域のより欠損の少ない完全な抽出が出来ない画像などが存在する。
【００１３】
また、注目画像検出の判定に用いられるＤＣＴのＡＣ成分の特徴量判定においては、画像サイズごとに、検出サイズクラスにより判定テーブルを持つ必要があったが、判定テーブルの複雑さを招く。
【００１４】
本出願人は、また、特徴量判定の判定方法を最適化し、注目画像領域のより欠損の少ない完全な抽出する方法を提案した(特願2002-193621)。
【００１５】
また、JPEGによる圧縮画像の圧縮比率に関わる量子化テーブルの値が、撮影時やアプリケーションによる編集後の再保存により一様ではなく、高圧縮の量子化テーブルを使用すると、画像中の空間周波数が極端に変化してしまい、注目画像領域における周波数特徴量も影響を受け、上記検出精度が落ちてしまう可能性もある。
本出願人は、更に、画像ファイルの中の注目画像領域を抽出する際に量子化テーブルの特性を利用した判定を行うようにして、処理負荷の少ない方法で注目画像領域を抽出できる技術を提案した(特願2002-193622)。
【００１６】
しかしながら、更に、画像の輝度によって注目画像領域抽出に用いられる色度比率判定が不正確となったり、上記注目画像領域抽出による取得データにおいて露出補正などへの応用が考えられたが、人物顔画像がボケたようなものにおいては、適正な補正への情報を取得できているとは言えない部分が生まれる。
【００１７】
本発明は、上記問題点に鑑み、画像の輝度によって注目画像領域抽出に用いられる色度比率判定を適正化して、安定した注目画像領域の抽出及び画像の再生を行うことを目的とする。
【００１８】
又、人物顔画像などがボケたようなものにおいては、適正な補正への情報を取得できるようにすることを目的とする。
【００２１】
【課題を解決するための手段】
この課題を解決するために、本発明の画像再生方法は、圧縮符号化された画像データを復号して画像を再生する画像再生方法であって、復号した前記画像データから所定の色度範囲の連続するブロックを抽出するブロック抽出ステップと、前記連続するブロックの空間周波数の平均値に基づいて、前記連続するブロックを注目画像領域とするか否かを判定する判定ステップと、前記注目画像領域から特徴部位を抽出する特徴部位抽出ステップと、前記抽出された特徴部位の画素数と前記圧縮符号化に利用した量子化フィルタ値とに基づいて、前記特徴部位のボケの補正強度を決定する決定ステップと、前記決定ステップで決定された補正強度に応じて前記特徴部位のボケを補正するボケ補正ステップと、前記補正ステップでボケが補正された画像を再生する再生ステップとを有することを特徴とする。
【００２２】
ここで、前記決定ステップでは、前記特徴部位の画素数が少なく前記量子化フィルタ値の値が大きいほど、ボケをより強く補正する補正強度に決定する。また、前記所定の色度範囲を、前記復号した画像データの輝度値に基づいて設定する。また、前記圧縮符号化された画像データを復号して前記復号した画像データを生成する復号ステップと、前記復号した画像データから色度、空間周波数、輝度を求めるステップとを更に有する。また、前記圧縮符号化された画像データはJPEG画像データであり、前記復号した画像データはＤＣＴ係数と逆ＤＣＴ変換されたビットマップデータとを含む。また、前記ブロック抽出ステップで抽出された前記連続するブロックの数に基づいて、注目画像領域となる候補を選別する選別ステップを更に有する。また、前記ボケの補正は、アンシャープマスク処理により行われる。
【００２３】
又、本発明は、上記方法のステップをコンピュータに実行させるためのコンピュータプログラム及び該コンピュータプログラムを記憶したコンピュータ読み取り可能な記憶媒体をも提供する。
【００２５】
又、本発明の画像処理装置は、圧縮符号化された画像データを復号して画像を再生する画像処理装置であって、復号した前記画像データから所定の色度範囲の連続するブロックを抽出するブロック抽出手段と、前記連続するブロックの空間周波数の平均値に基づいて、前記連続するブロックを注目画像領域とするか否かを判定する判定手段と、前記注目画像領域から特徴部位を抽出する特徴部位抽出手段と、前記抽出された特徴部位の画素数と前記圧縮符号化に利用した量子化フィルタ値とに基づいて、前記特徴部位のボケの補正強度を決定する決定手段と、前記決定手段により決定された補正強度に応じて前記特徴部位のボケを補正するボケ補正手段と、前記補正手段によりボケが補正された画像を再生する再生手段とを有することを特徴とする。
【００２６】
ここで、前記決定手段は、前記特徴部位の画素数が少なく前記量子化フィルタ値の値が大きいほど、ボケをより強く補正する補正強度に決定することを特徴とする。また、前記圧縮符号化された画像データを復号して前記復号した画像データを生成する復号手段と、前記復号した画像データから色度、空間周波数、輝度を求める手段とを更に有する。また、前記圧縮符号化された画像データはJPEG画像データであり、前記復号した画像データはＤＣＴ係数と逆ＤＣＴ変換されたビットマップデータとを含む。また、前記ブロック抽出手段により抽出された前記連続するブロックの数に基づいて、注目画像領域となる候補を選別する選別手段を更に有する。また、前記ボケの補正は、アンシャープマスク処理により行われる。
【００２７】
【発明の実施の形態】
次に、添付図面を参照しながら本発明の注目画像領域の抽出方法、圧縮画像の再生方法及びその装置、又その処理に関連するコンピュータプログラム及びコンピュータ読み取り可能な記録媒体の実施形態を説明する。
【００２８】
以下、本実施形態では、例えば、圧縮された画像データ形式であるJPEGファイル画像から注目画像領域を抽出して所望の再生を行う例を説明するが、JPEGによる圧縮に限定されることはなく、本発明のように圧縮過程でシンボルデータ（本例ではＤＣＴ係数）から画像の空間周波数を抽出可能な圧縮技術において広く適用が可能であり、本発明はこれらも含むものである。又、本例では、特にJPEGファイル画像を再生してプリントする例を中心に説明するが、本発明は圧縮画像の再生出力（表示、プリントを含む）の技術であり、これらも含まれる。
【００２９】
更に、本発明の注目画像領域の抽出方法は、圧縮画像からの注目画像領域の抽出に限定されることなく、圧縮されていない画像からの所望の注目画像領域の抽出にも適用される技術であってこれらも含み、同様の効果を奏するものである。
【００３０】
＜本実施形態の復号再生の対象である圧縮符号化データの例＞
最初に、現在、最も一般的な画像圧縮ファイルの"JPEGファイル"の情報省略と符号化・復号化について、図２及び図３を参照して説明する。
【００３１】
まず、符号化であるが、通常、デジタルカメラやデジタルビデオなどでは、静止画をJPEG ファイルにて保存することが一般的になっている。この場合、入力機器の受光素子であるＣＣＤなどの入った信号をＡ／Ｄ変換した後、フレームメモリーに取り込み、ＲＧＢもしくはＣＭＹフィルタの情報を輝度と色度情報とに変換する。その後、８＊８（６４個）正方画素ブロックに分割する。
【００３２】
図３の▲１▼は、輝度データのビットマップを８＊８ブロックに分割したうちの１ブロックのデータ例を示している。また、図３の▲２▼においては、０〜２５５の画素値をレベルシフトして−１２８〜１２７の信号に変換する例を示している。さらに、図３の▲３▼においては、ＤＣＴ（離散コサイン変換）によりＤＣＴ係数を求める例を示している。
【００３３】
また、図３の▲４▼は、視覚特性を考慮した高周波成分の省略を大きくした量子化テーブルであり、このテーブルを用いて、上記図３の▲３▼の結果であるＤＣＴ係数に対して量子化する例を示している。
【００３４】
図３の▲５▼は、量子化を行った結果である。この値をエントロピー符号化してハフマン符号で表すことにより符号化信号である圧縮データを生成する。
【００３５】
次に、復号化においては、上述した符号化の逆の工程を行う。つまり、符号化信号を復号して、量子化ＤＣＴ係数の値を復号する。次に、逆量子化を行うために量子化テーブルを乗ずることでＤＣＴ係数を得る。その後、逆ＤＣＴを行うことでレベルシフトした画像が復元され、更に逆レベルシフトの値１２８を加算することで１ブロックの画像が復号される。
【００３６】
上記の説明では、輝度情報と色度情報とに分割したデータを合成してＲＧＢ画像に変換することを省略したが、符号化における流れとしては、図２に示すように、カラー画像を輝度成分（Y）と２つの色度成分（Cb、Cr）とに変換し、その各々を符号化して合成することで、圧縮画像データを生成している。
【００３７】
以上のような、圧縮された画像データファイルであるJPEG画像をプリントする方法としては、入力機器からの圧縮画像データをＵＳＢや記憶メディアによって、パーソナルコンピュータ（以下、ＰＣとする）に取り込んで画像を展開し、必要に応じて画像補正を加えた後プリンタへデータを送る場合や、入力機器からの画像データを直接プリンタへ入力し、プリンタの中で、画像を解凍し、必要に応じて画像補正を加えた後で印刷を行うなど、幾種類かの選択肢がある。
【００３８】
いずれにしても、良好な画像をプリントするためには、撮影画像データが良質な撮影画像であるか、あるいは補正が必要な画像であるのかを判断して、忠実に印刷すべき良質な画像と、補正を行うことにより良質な画像に近付けた後に印刷を行うもとをより分ける必要がある。
【００３９】
良好な画像とは、下記のようなことが考えられる。
１）ホワイトバランスが良好である。
２）コントラストが適切である。
３）必要な部分の階調が割り当てられている。つまり、露出設定が良好である。４）彩度が適正である。
５）銀塩写真のような仕上がりである。
６）人物など注目される画像が中心に補正されている。
【００４０】
現在市販のＰＣプリンタやＰＣを経由しないダイレクトプリンタなどにおいても上記１）〜５）の項目においては、程度の差も有るが行われている。また、上記６）の注目画像に対する補正が行われていないのは、その検出に多大な処理が必要であることと、その方法が確立されていないことによる。
【００４１】
特に、処理能力のひ弱なダイレクトプリンタなどにおいては実施が難しいとされているが、本発明はこれを解決するものである。その手段としては、JPEG画像ファイルに注目画像の存在の検出と、その検出した画像に対する補正の必要等の確認を経て、全体画像補正へ受け渡す方法となる。
【００４２】
＜第１の実施形態の画像処理装置の構成例＞
以下に、第１の実施形態の画像処理装置の構成例をブロック図で示す。
【００４３】
図１Ａは、JPEG ファイルを解凍する過程とその際に取得する情報について表した復号部１０のブロック図である。
【００４４】
JPEG ファイルをRGBのビットマップデータへ変換する過程においては、まず、符号テーブル２を用いてエントロピー復号化部１にてエントロピー復号を行う。次に、逆量子化部３において、逆量子化に使用する量子化テーブル４を、逆量子化を行う他にデータとして記憶する。
【００４５】
この逆量子化されたデータは、ブロック単位のデータとして周波数変換されたものであり、このデータを、画像周波数特性を得るためのデータとして取得する。その後、逆ＤＣＴ部５において、逆ＤＣＴ処理と逆レベルシフトとを行いＹｃｃ−ＲＧＢ変換することで、通常のＲＧＢビットマップデータに展開する。
【００４６】
図１Ｂは、上記復号部１０を含む本実施形態の画像処理装置の構成例を示すブロック図である。
【００４７】
本実施形態の画像処理装置は、復号部１０と復号部１０から取得したデータに基づいて補正対象の画像領域を認識する画像認識部（第１画像抽出を実行）１００と、画像認識部１００からの認識領域を所望の色に補正する色調補正部２０とから構成される。色調補正部２０から出力される再生され補正された画像（ＢＭＰ）は、プリンタに送られてプリントされる。
【００４８】
画像認識部１００は、復号部１０から復号画像（ＢＭＰ）を受信して指定された対象色（本例では肌色）の領域を検出する対象色検出部１０１と、復号部１０から復号ＤＣＴデータを受信して、対象色検出部１０１で検出された対象色の候補領域における空間周波数を生成する空間周波数生成部１０２と、対象色検出部１０１で検出された対象色の候補領域から空間周波数に基づいて、色調補正の対象領域を選別する対象色領域選別部１０３を有する。対象色検出部１０１は復号画像を記憶する復号画像記憶部１０１ａを有するが、この復号画像記憶部１０１ａは対象色検出部１０１にある必要はなく他の処理部と兼用されてよい。又、対象色領域選別部１０３は、選別のための判別テーブル１０３ａを有している。かかる判別テーブル１０３は、画像のサイズに対応して複数の判別テーブルを有してもよい。
【００４９】
画像認識部１００は、更に、本実施形態の処理を改善するために、復号部１０から量子化テーブル値を受信して、禁止するためのしきい値１０４ａに基づく判定から色調補正処理を禁止する色調補正禁止部１０４を有する。
【００５０】
色調補正部２０は、画像認識部１００で選別された選別領域の色を補正対象色（本例では肌色）に、例えば色補正テーブル２０ａなどを使用して既知の色補正処理を行う。この色調補正の処理は、所定の条件で対象色領域選別部１０３あるいは色調補正禁止部１０４からの色調補正禁止信号により禁止される。この補正処理は簡素化のためには画像全体に施しても良いが、画質を高めることが目的であれば領域によって異なる補正、あるいは部分的な補正であってもよい。本発明の特徴は、かかる色調補正の方法にはないので、本実施形態の説明では簡単に済ますことにする。
【００５１】
図１Ｃは、本実施形態の画像処理を実現するハードウエア及びソフトウエアの構成例を示す図である。尚、図１Ｃは、本実施形態の特徴部分である画像認識部１００を中心に説明している。この装置は汎用のコンピュータでも実現できるし、専用のコンピュータにより実現してもよい。
【００５２】
１１０は演算処理のＣＰＵ、１２０はＣＰＵ１１０が使用する固定のデータ及びプログラム（ＯＳやＢＩＯＳなどはここに有るとする）を格納するＲＯＭ、１３０は本実施形態でＣＰＵ１１０が使用するデータやプログラムを一時格納するＲＡＭである。ここで、本例では、アプリケーションプログラムは、後述の外部記憶部１４０からＲＡＭ１３０のプログラムロード領域１３２にロードされて、ＣＰＵ１１０により実行されるとしている。
【００５３】
ＲＡＭ１３０がデータ記憶領域１３１に記憶するデータには、復号部１０が復号した復号画像あるいは色調補正された再生画像を記憶する復号画像データ領域１３ａ、補正対象色（本例では肌色）データを記憶する補正対象色領域１３ｂ、検出された対象色領域を記憶する候補領域の記憶領域１３ｃ、候補領域から形成される候補グループを記憶する候補グループ領域１３ｄ、最終的に選別された領域を記憶する選別領域の記憶領域１３ｅ、復号部１０からの復号ＤＣＴデータを記憶する復号ＤＣＴデータ記憶領域１３ｆ、生成された空間周波数を記憶する空間周波数領域１３ｇ、対象色領域を選別するために使用する判別テーブルを記憶する判別テーブル領域１３ｈ、復号部１０からの量子化テーブルを記憶する量子化テーブル領域１３ｉ、量子化テーブルの係数を加算した値を記憶する量子化係数加算値の記憶領域１３ｊ、色調補正の禁止などに使用するしきい値群を記憶する領域１３ｋを含んでいる。
【００５４】
１４０は、ディスクやメモリカードなどの大容量あるいは抜き差し可能な媒体からなる外部記憶部であり、フロッピー(登録商標）ディスクやＣＤなどを含む。
【００５５】
外部記憶部１４０のデータ記憶領域１４１には、判別テーブル１〜ｎ１４ａやしきい値群１４ｂが格納されている。又、他のパラメータや画像データなどを蓄積するデータベースが記憶されてもよい。プログラム格納領域１４２には、大まかに分類すると、対象色領域検出モジュール１４ｃ、空間周波数生成モジュール１４ｄ、対象色領域選別モジュール１４ｅ、色調補正禁止モジュール１４ｆ、そして後述の第２の実施形態で実行される特徴部位抽出モジュール１４ｇが格納されている。
【００５６】
更に、図１Ｃの装置は、復号部１０及び／又は色調補正部２０を兼ねてもよく、その場合には、更にデータとしてし色調補正テーブル１４ｆ、プログラムとして色調補正モジュール１４ｉ、後述の第２の実施形態で使用されるボケ補正モジュール１４ｊを格納してもよい。
【００５７】
１５０は入力インターフェースであって、本例では復号部１０からの復号データ（ＢＭＰ）、復号ＤＣＴデータ、量子化テーブル値、また装置固有のあるいは外部から指定可能な対象色データを入力する。１６０は出力インターフェースであって、選別領域や色調補正禁止信号を出力する。尚、本装置が色調補正部も兼用するのであれば、出力は色調補正画像データ（ＢＭＰ）となる。更に、本装置が復号部１０も兼ねてもよく、その場合はＪＰＥＧデータが入力され色調補正画像データ（ＢＭＰ）が出力される。その場合には、さらにデータ及びプログラムが準備されることになる。
【００５８】
＜第１の実施形態の画像処理装置の動作手順例＞
次に、この画像処理において、最も重要と思われる注目画像検出である人物検出のフローチャートを図６に示す。
【００５９】
尚、図６に示される検出工程は、大きく分けて２段階あり、１段階目はステップＳ６０１からＳ６０８を含み、画像全体から、圧縮単位である８＊８ブロックの画素単位での色度比率が検出対象の定義色度に対応している領域とそれ以外の領域に分離し、該当ブロックの長手方向（図１０や図１４のような横長の画像では横方向を示す）に隣接する物をまとめることで、候補を作成する段階であり、２段階目はステップＳ６０９からＳ６１３を含み、定義した色度比率に該当する候補がＤＣＴのＡＣ成分の平均値において、検出対象の定義した特徴量範囲に該当しているかを判定して、該当する候補に基づき注目画像を判別する段階である。
【００６０】
＜１段階目の処理例＞
最初のステップＳ６０１において、８＊８画素のブロック単位のＤＣＴデータと量子化テーブルとを取得すると同時に、画像ファイルはＲＧＢビットマップデータに展開する。
【００６１】
（肌色色度のブロック検出例）
次に、ステップＳ６０２に進んで、ＲＧＢビットマップデータにおいて、８＊８画素のブロック単位に本実施形態における注目画像である人の肌色の色度に対応するか検索を行う。
【００６２】
この場合、入力画像サイズにより８＊８画素ブロックの画像が全画像に対して占める割合が違うので、入力画像サイズに比例した端部の設定を行う。例えばＶＧＡ(640*480)では8ブロック分（長手方向４×短い方向２）で、UXGA(1600*1200)画像においては２０ブロック分（長手方向５×短い方向４）とする。
色度の検索方法としては、複数の方法がある。知られているものとしては、
１）Ｂ（青）／Ｇ（緑）の比率が０．７〜０．８の範囲に収まり、Ｒ（赤）／Ｇ（緑）の比率が１．４〜１．８の範囲に収まる色度を持つもの。
２）図５の概念図に示すように、肌色を確率楕円にて表すことができる。求める式としては下記の式（１）〜式（３）になる。
【００６３】
【数１】
【００６４】
本実施形態においては、処理の簡便さを考慮に入れた下記式（４）である色度分布範囲を肌色の色度範囲とした。この範囲を表したのが図２０である。
【００６５】
【数２】
【００６６】
本実施形態においては、画像における周波数成分の特徴を検出する単位として８＊８画素単位のブロックで行っている関係で、構造的論理的な簡単さより色度判定においても８＊８画素単位にて実行する。
【００６７】
図７は、本実施形態で用いている色度検出ポイントを図示したものである。これによると「８＊８画素」単位のブロックの四隅の色度の全てが色度範囲に入っているか否かを確認し、全てが範囲に入っている時は、そのブロックを適合色度と判定している。
【００６８】
図７においては、上段の左から２番目と下段の左から１，２，３ブロックが該当する。上段の一番左のブロックは４ポイントのうち左上の式度は非肌色ピクセルと判定されるので、これを含むブロックは肌色の範囲外と判定される。同じように上段の右側１，２ブロックと下段の一番右のブロックが範囲外となる。
【００６９】
図８は、「８＊８画素」単位のブロック全体の平均色度による判定である。このブロック内の平均色度の求め方としては、８＊８ブロック全ての画素値の平均値を取る方法の他に、解凍中の逆ＤＣＴを行う前の色度データ（Ｃb，Ｃr）の中のＤＣ成分から求めることも可能である。この方式の利点としては、ブロック全体の色調にて判定できるので、検出点の少ないものに比べて精度が高い期待ができる。ここで、自然画における色度のみの検出についての内容を見ることにする。
【００７０】
図９は、図７と同じ考えの中ではあるが、全体画像における検出間隔を等分化するためのものである。
【００７１】
図１０は、一般的なポートレート写真であり、図１４は人物の肌色色度と同様な色度範囲を有する枯木の林の写真である。図１０と図１４に対して、それぞれの画素に色度の適合だけで検出を行った結果を図１１と図１５に示す。
【００７２】
図１１のポートレートでの検出結果としては人物の肌色部分をよく検出しているが、その他に柵や背景の中で、ごみのような細かい部分においても適合色度を満たすものが検出されていることがわかる。このため、色度のみでは注目画像を特定できないことがわかる。
【００７３】
図１４においては、人物の肌色を検出する目的にもかかわらず同じ色度を持つ枯れ木の林が全面検出されている。このように、画素レベルでの色度判定を行った場合、注目画像を特定することは不可能である。
【００７４】
検出をブロックレベルにすることにより、特定のまとまりを持った状態が対象になるので、外来ノイズの影響は受けずらくなる。
【００７５】
（肌色色度のブロック検出の改善例）
図３５は、デジタルカメラで撮影された複数の人物肌領域の平均色度比率をプロットしたグラフである。横軸は、赤色成分の色度比率で、“R／Ｒ＋Ｇ＋Ｂ”の計算により各８＊８ブロック単位で求めた物を、検出全領域において平均値を出した物である。縦軸は、緑色成分の色度比率で、“G／Ｒ＋Ｇ＋Ｂ”の計算により各８＊８ブロック単位で求めた物を、検出全領域において平均値を出した物である。また、このグラフにおいては、領域の色度比率に関連付けて領域の平均輝度も８等分して分類をしている。
【００７６】
前記実施例においては、適合色度比率範囲を、下記のように設定している
赤色成分の色度比率“０．３５〜０．４４”
緑色成分の色度比率“０．２９〜０．３３”
このグラフの結果を見ると、定義に大半は適合するが、人物の肌の色は、反射光の為光源により定義に入らない物も存在する。その中で、注目すべきは輝度が１６０以上の分布である。特に２２３〜２５５の採光輝度に分類される領域においては、分布が前記定義より左上方向である白色方向へシフトしていることが認識できる。
【００７７】
図３８は、高輝度領域を人物肌に持った物の画像サンプルである。この画像の輝度分布を示した物が図４２である。
【００７８】
図４２においては、横軸は０〜２５５階調に表された輝度範囲で有り。左端が０、右端が２５５である。縦軸は、画像内の輝度成分を持った画素の分布である。左側の小さい山は輝度の低いコート部分。真中やや右目の大きい山は舗装道路であり面積占有率が一番大きい。最右部に人物の顔の輝度情報が分布している物である。
【００７９】
この画像図３８に対して、先の実施例の定義で一次抽出における色度比率によるグループ検出を行うと、図３９のような結果になる。図３８の人物肌の領域を考えると輝度の上昇により赤色成分がオーバーフローして色度比率の適応範囲から白飛びしてしまっている事が確認できる。この領域だけでも、露出補正などへ利用する情報としてなら利用可能であるが、前記ボケ補正などに利用するには、人物肌の顔領域の検出が不十分である。
【００８０】
図４０は、適応色度比率の範囲を下記のように広げただけの場合の結果である。
赤色成分の色度比率“０．３３〜０．４６”
緑色成分の色度比率“０．２７〜０．３５”
適応色度比率の範囲を広げるだけでは、人物の肌領域は検出できるが、舗装道路の色度比率も適応化してしまい、注目画像以外の領域についても検出してしまい、結果的に効果を上げることは出来ない。
【００８１】
図４８は、この状態を鑑みて人物肌の色度比率適応範囲の定義を入力画像のレンジを考え、輝度クラスにより定義した物である。
【００８２】
上記定義は、輝度１６０までは前記定義と同じ色度比率範囲としているが、輝度が上がるにつれ検出した人物肌の色度範囲が移動しているのに対応した物で、輝度２２０以上に付いては下記の範囲とする。
赤色成分の色度比率“０．３３〜０．４２”
緑色成分の色度比率“０．３０〜０．３４”
また、輝度レンジが１６１〜２１９までの間は一次式による算出により範囲を規定する。
【００８３】
この方式を用いて、図３８に対して検出した結果が図４１である。
【００８４】
本実施例においては、色度比率範囲を高輝度においても適応領域の範囲に変化は無いようにしているが、色度比率が白色に近くなるにつれ人物肌以外においても自然界に存在する物が多くなるので、誤検出を防ぐ為に高輝度域の適応領域の範囲は狭めても良い。
【００８５】
（肌色ブロックの連続範囲による候補検出例）
ステップＳ６０２での８＊８画素のブロックの人物肌抽出が適正なまとまりの大きさとは言えず、色度によるブロック検出においても縦方向及び横方向に隣接したブロックの連続検出という、制約を付けた検出を行うことで更に精度を上げる。
【００８６】
人の肌色であってもプリントにおいて顔を認識できるデータ量を満たさないものにおいても適応外としてはじいてもよいと言う概念でノイズと判定する連続範囲を設定する。
【００８７】
この部分を表したのが、図６のステップＳ６０３以降の処理である。すなわち、ステップＳ６０３においては、画像に対して長手方向（図１０や図１４のような横長の画像では横方向を示す）にブロックごとに色度検出を行い、連続検出ブロック数の多い順に候補を策定する。
【００８８】
次に、ステップＳ６０４において、その連続量が、注目画像としての適応する連続量に入っているか否かを比較する。本例では、ＶＧＡで２ブロック、ＵＸＧＡで４ブロックとしている。この比較の結果、該当する連続ブロックがある場合はステップＳ６０５に進み、短い方向のブロック連続検出設定を満たすデータが画像に存在するか否かの、検索を行う。本例では、ＶＧＡで２ブロック、ＵＸＧＡで４ブロックとしている。
【００８９】
次に、ステップＳ６０６において、検出データが有るか否かを判断し、検出データが有る場合にはステップＳ６０８に進んで、この過程で残ったものの中から長手方向の連続ブロック量が大きいデータから順に候補番号を付ける。
【００９０】
また、ステップＳ６０６の判断の結果、検出データが無い場合にはステップＳ６０７に進み、「目的領域無し」をセットして処理を終了する。
【００９１】
＜２段階目の処理例＞
まず、連続ブロックにて色度判定を施した場合の効果について、図１２と図１６で示す。
【００９２】
図１２においては、図１０のポートレート画像に対して検出を行った結果である。図１２において、検出候補の優先順位が高い方から（検出ブロック長が長い方から）カラーコード（１＝茶、２＝赤、３＝橙、４＝黄、５＝緑、６＝青、７＝紫、８＝灰）順に配置され、それ以外で検出されているのは色度のみ適性範囲に入っているものである。連続ブロック検出により画素レベルの色度検出と比べるとかなりの背景などの非該当候補を削除できていることが判る。
【００９３】
図１６においては、図１４の枯木の林に対して検出を行った結果で、連続ブロック検出においても注目画像以外を検出してしまうことがわかる。
【００９４】
（候補領域からの目標領域の選別例）
（ＶＧＡサイズの判別テーブル例）
次に、ＶＧＡ（video graphics array）サイズ（６４０＊４８０画素）の複数の画像サンプルを用いて人物肌と枯れ木の林の部分において、検出された適合色度連続ブロックにおける周波数特性を算出した。
【００９５】
図１８は、画像内に撮影されている人物肌の連続ブロック検出されたブロックのＤＣＴデータを周波数の低い順に並べたものを、周波数の低い方から１０個単位で加算し、連続ブロック数で除したもので、連続検出されたブロックの１個あたりの平均周波数成分をまとめたものである。
【００９６】
したがって、図面において横軸は、ＡＣ成分６３個の周波数成分をまとめたもので、１０個単位のまとまりが６グループと最も周波数の高いデータは３個分のデータとなる。縦軸は、各周波数成分の要素を加算した値である。
【００９７】
これにより、値が大きいほどそのブロックにおいて、該当周波数成分が高いことがわかる。また、検出した連続ブロック数ごとに色分けしたデータ線で表されている。例えば"Ｂ２"は連続ブロックが２個検出されているデータの平均した値を表し、"Ｂ１５"は連続ブロックが１５個検出されているデータの平均した値を表している。以下同じで、"Ｂ２〜Ｂ１５"までの複数画像からの平均的な人物肌色部分の連続検出値ごとの空間周波数特性を表している。
【００９８】
検出結果を見ると、
１）低い周波数成分の値が大きく低い周波数成分の下から３グループ以降は、連続ブロック数に係わり無く５０以下となっている。
２）連続ブロックの連続値が大きいほど周波数特性が低くなっている。
【００９９】
これらの結果から言えることは、人物の肌色部分の周波数特性は比較的低い周波数で構成されていることと、検出された連続ブロックの値が大きいことは、被写体の撮影された大きさが大きいことを示していて、この連続ブロックとしての平均値を出すことによって周波数成分が下がっていることがわかる。
【０１００】
連続ブロックの連続値により、同じ注目画像の色度を持っているものでも、その連続ブロックを１つの代表値にすること（例えば、Ｂ６のブロックの時は検出した６個のブロックの値を、各々周波数の低い順に１０個単位のグループとして加算したものをグループごとに加算した後、その連続値である６で除して平均を出している。）により、空間周波数特性の値が変わるので、連続検出値により適当な該当周波数特性が違うことが判る。
【０１０１】
図１９は、人物の肌色色度と同様な色度範囲を有する枯木の林の写真を複数用意して、検出を行った結果を図１８と同じように表したものである。
【０１０２】
検出結果を見ると、
１）人物の肌の空間周波数特性と比べると高い周波数成分にデータ多くあることが確認できる。
２）一番低い周波数成分のグループは人物の肌の結果と大きくは違わない。
【０１０３】
これらのことから、連続ブロックにおける周波数成分を検出することで、同じ色度を持った検出物体を周波数特性により区別することが可能であることがわかる。
【０１０４】
図４は、本実施形態において使用したもので、注目画像である人物肌の空間周波数特性を表したものである。上の段がＶＧＡ（６４０＊４８０）画像における周波数特性の適正範囲である。
【０１０５】
連続ブロック値を２〜８個のグループ（〜L8）と９〜２０個のグループ（L9〜２0）と２１個以上のグループ（L２1〜）の３グループにまとめて、グループごとに周波数の適正範囲を設定したものである。周波数の適正範囲も先に示した１０個単位の７グループによる周波数特性を用いた。これは、処理の簡略化と検出精度のバランスで行ったもので、これに縛られる必要は無い。
【０１０６】
（ＶＧＡサイズ／ＵＸＧＡサイズの判別テーブルの選択例）
次に、画像サイズがデジタルカメラで普及している２００万画素相当のUXGA(1600＊1200)画像について同じ撮影条件でＶＧＡ画像と比較してみる。
図２５は、図１８で使用したデータと同じシーンを対象にUXGAサイズにて撮影したものを検出した結果を、図１８と同じように周波数特性量と各レンジにおけるデータ量の平均を用いて表したものである。
VGA画像との検出特性の差を見ると、
１）連続検出ブロックの検出範囲が大きくなっている。具体的にはVGA画像検出での連続値は２から１５ブロックの連続検出である。それに対して、UXGA画像検出では検出値が４から４０の連続ブロックを検出している。
２）UXGAの方がブロック内の周波数特性が低い。例えば、１〜１０のブロック平均を見ると、VGA画像では３００〜１００のデータ量に分布しているのに対し、UXGA画像では２００〜３０の範囲にデータが分布している。一枚の画像に収まる中で、注目画像になりうるものは、全画像に対する大きさとしては、特定の比率の範囲に入っているのが一般的な考え方である。
すなわち、画像全体における画像補正の対象となりうる検出すべき対象画像が、検出したい画像であり、たとえ人物の顔が検出できても豆粒程度なら、そのために、そこを中心に補正を行うことは、他の領域とのバランスを考えた時、好ましいとわ言えない。この考えに基づいた例として画像に占める割合が１００分の１程度以下では検出する意味が少ないと言える。
【０１０７】
例えば、画像全体の中で注目画像が長手方向で１００分の１しか占めない場合はどうであろうか、一般のプリントを考えた場合、その注目画像に対して最適な補正を掛けても、出力後の補正を行われた注目画像は、ほとんど紙面を占めておらず、特定の注目画像を補正するよりは画像全体を補正する方がその画像においては効果的と考えられ、注目の定義から外れると考えられる。
本実施形態においても、各画像サイズに適したそれぞれの注目画像の適正範囲を持っている、この範囲以下でも以上でも補正対象とする注目画像の検出候補から外れる。
したがって、この例においては、UXGA画像における長手方向の１００分の１は１６００割る１００なので、１６pixelで２ブロック(8*8)分になり、色度と周波数成分が合致してもレングスの意味合いから候補の対象から外している。ちなみに、UXGA画像においては、検出連続範囲としては４〜６２ブロックと設定している。
VGA画像においては、同じ考えで１００分の１は６．４pixel となり、１ブロック分にも満たない。VGA画像においては、検出連続範囲としては２〜２５ブロックと設定している。この違いは、画像サイズによる１ブロック（8＊8）分の全画像に対する占有比率の差によるものが発生している。
画像全体中の一定の比率範囲に注目画像が入っていると考えると、画像サイズにより８＊８画素のブロックの空間周波数における意味合いは変わる。このため、同じ撮影画像でも画像サイズにより検出ロック数も違えば周波数特性も違ってくる。
本実施形態では画像ごとに検出連続範囲を上記のように設定しているが、数式に置き換えることも可能である。 例えば、下記式（５）の様に最低連続数を設定することができる。
【０１０８】
【数３】
次に、図２６を示す。図２６は、人物の肌色色度と同様な色度範囲を有する枯木の林の写真であり、図１９においてはVGA画像としてのデータを処理したが、UXGAの画像としてデータをまとめたものである。
図１９との比較においては、先述の図１８と図２５の比較と同じ傾向がある。ＡＣ成分の２０以上のグループではかなり高周波成分が低減していることがわかる。しかしながら、人物肌とのデータとは分布が極端に違うので、周波数帯域ごとに適応範囲を設定することで、分離することが可能である。
このために設定したものが図２７のUXGA画像用判定テーブルである。構成は図４のVGA画像用判定テーブルと同じであり、画像サイズの違いによる平均ブロックの空間周波数特性の違いのみである。
【０１０９】
（ＶＧＡ／ＵＸＧＡでの判別テーブルの共有例）
図４３はUXGA（１６００＊１２００）サイズで人物を撮影した画像サンプルである。また、同じ人物の顔をＶＧＡ（６４０＊４８０）サイズで撮影した画像サンプルが図４５である。
【０１１０】
この２サンプル画像に対して先の実施例の定義で一次抽出における人物肌領域検出を行うと、検出領域の結果は、図４４、図４６のようになる。
【０１１１】
人物の顔の部分に注目すると、検出領域における検出ブロック数はUXGA画像（図４４）が７１９ブロックであり、ＶＧＡ画像（図４６）では６３９とほぼ同じであり、この時のＤＣＴのＡＣ成分平均値による特徴量も下記表のようにほぼ同じになる。
【０１１２】
【表１】
【０１１３】
つまり、人物肌の検出領域におけるＤＣＴのＡＣ成分平均値による特徴量は、入力画像サイズに依存するよりも、検出した領域を構成する画素数（８＊８のブロック数）に依存することがわかる。
【０１１４】
この考えを元に、複数の画像についてＵＸＧＡ画像とＶＧＡ画像に対して検出した８＊８ブロック数とＤＣＴのＡＣ成分平均値との関係をまとめた物が、図３６（ＵＸＧＡ）、図３７（ＶＧＡ）である。
【０１１５】
図３６及び図３７の横軸は、ＤＣＴ値のＡＣ成分の平均値を空間周波数成分の低い領域から１０個単位でまとめたものである。縦軸は、ＤＣＴのコード量（１０個単位の和である。但し７グループ目は３個分の和になる。）
同じ画像でも、画素数が違う為全画像に占める人物肌領域の占有率は同じでも、検出した８＊８ブロック数が違うので、図３６と図３７では、検出ブロック数の値が違う部分があるが、その中で共通な１００〜１９９を見るとほぼ一致している特性を示していることが確認できる。
【０１１６】
上記結果より、検出画像サイズである８＊８ブロック数と検出領域のＤＣＴ値ＡＣ成分の平均値特徴量を規定したものが図４７である。
【０１１７】
先の実施例では、画像サイズにより特徴量判定テーブルを持つ必要があったが、本方式を用いることで、判定テーブルの簡素化を図ることが出来る。
【０１１８】
本実施例を利用した一次抽出のフローチャートを図４９に示す。
【０１１９】
ステップS5901においては、１段階目の図４８で規定した適合色度比率のブロック判定を行う。
【０１２０】
ステップS5902においては、上記ステップにおいて適合したブロックの隣接状況を検出し、グループ化する。
【０１２１】
ステップS5903においては、グループ化した候補において、グループの構成ブロック数の多い順に候補番号を発行する。
【０１２２】
ステップS5904においては、候補番号順にＤＣＴのＡＣ成分特徴量による判定を実行する。
【０１２３】
ステップS5905においては、判定に適合した最終検出した結果を画像補正へ渡せるように必要事項をセットする。
【０１２４】
（目標領域の選別手順例）
図６の説明に戻る。上述したように、色度により検出された長手方向の連続量が大きいデータから順に注目画像の候補番号１〜ｎ（本実施形態においてはｎ＝８）を付ける（ステップＳ６０８）。ｎ以降の検出したものについては候補番号は付けられない。
【０１２５】
次に、ステップＳ６０９に進み、上記候補１〜ｎに対して、ステップＳ６０９からＳ６１２を実行して、図４で示した連続ブロック数に対する空間周波数特性適正範囲判定表の範囲に適合するか逐次比較する。この結果、適合する候補が存在しない場合は注目画像が存在しないと判断する。
【０１２６】
この候補１〜ｎに対して、画像サイズがVGA(640*480)である時は、図４で示した連続ブロック数に対する空間周波数特性適正範囲判定表の範囲に適合するか逐次比較する。最初の連続検出ブロックから周波数特性の特徴量について、適合範囲内であるか比較を行う。
【０１２７】
この時、上述したように入力画像サイズが違う画像、例えばUXGA（1600＊1200）画像においては適合判定に図２７のUXGAテーブルを使用して比較判定を行うのが好ましい。
この場合、本実施形態においては、画像サイズごと、もしくは、画像サイズ範囲（例えばVGA〜XGAとSXGA〜QXGAまでなど特定の画像範囲において共通のテーブル）ごとに設定した適応周波数特性判別テーブルにて周波数特性の比較判定を行ったが、数式を用いた判定基準を代わりに用意してもよい。
例えば、数式の作成方法としては、既に適正化テーブルがあるVGAとUXGAのテーブルを元にこの２点間の画像のサイズと周波数成分の値による変化量を対応付け、１次式にて近似して使用することができる。
（注目画像と補正値強度の決定例）
空間周波数による判定の結果、適合する候補が存在しない場合は注目画像が存在しないと判断する（図６には図示せず）。また、適合する候補が存在する場合には、ステップＳ６１３で候補グループを形成し、その１つを注目画像として補正量強度を決定する。
図２２に、そのフローチャートを示す。
【０１２８】
最初のステップＳ２２０１において、候補の数を確認する（１〜ｍ）。
【０１２９】
次に、ステップＳ２２０２に進み、候補グループを形成する。この場合、候補に隣接する色度適合ブロックを候補グループとする。この時、候補グループに複数の候補が含まれた場合は、候補番号の若い方を候補グループ番号とする。
【０１３０】
次に、ステップＳ２２０３に進み、候補グループが複数グループあるか否かを判断する。この判断の結果、候補グループが１つであれば、ステップＳ２２０５でその候補グループを注目画像として以下に示すポイントを算出する。
【０１３１】
一方、候補グループが複数グループあれば、ステップＳ２２０４に進み、各候補グループに対して、どちらのグループが補正対象となる注目画像としての重みが大きいかを判断するために、グループ内の確からしさをポイント換算で、比較を行い、よりポイントが高い候補グループが最終注目画像と設定される。もし同じポイントであれば、候補グループ番号の若い方を最終注目画像とする。
【０１３２】
ポイントの方法としては、候補が"m"個存在する場合、候補１のポイントは"ｍ"。候補２のポイントは"ｍ−１"以下同様に候補ｍのポイントは"１"となる。
【０１３３】
このようにして、候補グループ間の優位性を判断した結果の実例を図２３に示す。検出した候補グループは２グループあり、そのうち右のグループのポイントが左の候補グループのポイントを上回ったので、最終候補となっている。
【０１３４】
また、ポイント数の絶対値は、対象となる候補グループの注目画像としての信頼度を表しているので、このポイントにより注目画像に対する補正強度を決定する。補正強度決定方法としては、ポイントによる閾値を設け、閾値の上下関係で強度の指定を行う。
【０１３５】
但し、このようなポイントによる注目画像の検出ではなく、より軽い処理として、一番長い検出値の候補が入るグループもしくは、検出値そのものを注目画像としてもよい。この場合、本実施形態より検出確率に多少の差は発生するが、処理能力の低い機器ではこの方式のほうが適合する場合もある。
＜本実施形態の処理結果例＞
先の、図１０と図１４に対する結果を図１３と図１７に示す。
【０１３６】
図１３においては、注目画像である人物の顔の肌を検出している。また、図１７においては、各候補が周波数特性に適合せず候補部分が黒塗りの状態で表している。これは、注目画像が検出されなかった状態を表し、注目画像に重みを置いた画像補正の対象にならないことを示し意している。
【０１３７】
こうして注目画像を検出することができる。通常の画像補正は、画像全体のバランスに亘って補正が行われるので、逆光などで本来注目したい画像の画質を落としてしまう場合が存在しているが、本実施形態による注目画像検出により、補正項目として輝度の最適化のための露出、及び好ましい肌色のための色バランスや彩度補正を注目画像のデータを基に補正を行うことで、より高品質な画像を得ることができる。
【０１３８】
図２４に、一般画像補正を行った結果と、本実施形態の注目画像検出を利用して画像補正を行った結果の一例を示す。図２４に示したように、本実施形態の注目画像検出を利用して画像補正を行った場合は、人物などの注目画像をより良くプリントすることができる。
【０１３９】
＜第１画像抽出の処理手順の改善例１＞
次に、復号部の量子化テーブルによる画像への特性を説明する。
【０１４０】
図２８〜図３０は、代表的画像アプリケーションがJPEGファイルを作成する時の画像圧縮比率を決定する為の１３種類の量子化テーブルである。図２８〜図３０において、テーブル"００"は最も画像圧縮率を高めたものであり、テーブル"１２"は保存画質を高め、画像圧縮率を低めたものである。
【０１４１】
テーブルについて説明すると、図３の▲３▼〜▲４▼で説明した８＊８画像のＤＣＴ後のデータをさらに圧縮するために使用するもので、画像における６４個の各空間周波数に対応した値に対して、同じ位置の位の値で量子化を行う。
【０１４２】
テーブル"００"の場合で、図３の▲３▼を量子化する時は、例えば８＊８ブロックの左上の"２２４"の値をテーブル"００"の同じ位置の左上の値"３２"で量子化し"７"となす。また、最も周波数成分の高い８＊８ブロックの右下では"−１"を"１２"で量子化し"０"となる。
【０１４３】
図３１に、図２８，２９，３０のテーブル"００"〜"１２"の特性及び市販のデジタルスチルカメラの記憶部で使用している量子化テーブルを示す。
【０１４４】
横軸は、量子化テーブルＡＣ分６４個を１０個単位でまとめたものであり、縦軸は、その１０個単位の値の平均値である。したがって、どの空間周波数成分を多く量子化しているかを確認することができる。
【０１４５】
テーブル"００"〜"０４"においては、低周波成分の量子化比率が大きくなっている。市販のデジタルスチルカメラでは、低周波成分での量子化量は少なく、高周波成分域においても"１５"未満である。これに対応する量子化比率は、アプリケーションにおけるテーブル"１０"以上であり、画像の量子化としては低圧縮率の分類になる。
【０１４６】
ポートレートである図１０と、人物肌色度に一致する枯れ林である図１４の画像に対して、上記テーブルを１個飛びに用いて量子化を行った後の画像に対して、それぞれ注目画像検出を行った結果を、図３２及び図３３に示す。
【０１４７】
図３２の場合、テーブル"００"を使用した時は低周波成分の量子化の大きさにより判定テーブル（図４）による人物特性から外れてしまっている。テーブル"０２"では、人物を検出したが、検出ポイントは低い。テーブル"０６"以上で安定した検出ができている。
【０１４８】
図３３の場合、テーブル"００"を使用した時は、本来人物肌判定テーブル（図４）より高周波域で、外れてしまう検出値が量子化による誤差で、"検出判定"となり、誤判定になってしまっている。こちらの場合でも、テーブル"０８"以上で安定した検出ができている。
【０１４９】
したがって、量子化テーブルの値により、判定の精度が変わるので、このための量子化テーブル判定を行う。すなわち、圧縮画像のＤＣＴのＡＣ成分を特徴量として画像の中の特徴抽出を行う為、量子化テーブルの値があまりに大きいと、画像の中のＡＣ成分が欠落してしまい、検出時に判定から外れてしまう可能性がある。そこで、一般のデジタルカメラや、Ａｄｏｂｅ PhotoShopでのJPEGで高品位と考えられる画像では問題なく検出対象とする為に、実データより推測して設定した値として、量子化テーブルの値の総和が”６３０”を超えない程度と言うことになっている。
【０１５０】
本実施形態においては、判定を簡単化するために量子化テーブルの各項目を加算し、その合計が"６３０"以下の場合のみ判定への使用を可能とする対応画像と判断することとした。
【０１５１】
量子化テーブルの判定方法は、この他に、低周波成分での値などに注目する方法、低域３０までの総和を"１５０"とする方法など、検出する注目画像の空間周波数特性により幾つも考えることができるが、量子化テーブルの特性を使用するようにしてもよい。
【０１５２】
本例の処理を２段階目の前に実行する場合は、取得した量子化テーブルから図３４のフローチャートに示した処理を行い、ＡＣ成分特性判定テーブルを設定する。
【０１５３】
処理としては、まずステップＳ３４０１で量子化テーブル内のすべての値を加算する。この値が、量子化の程度をあらわすことになる。ステップＳ３４０２でこの加算値が所定値以上か否かが判定され、例えば、この値が６３０以上である場合は、注目画像の空間周波数特性が変わってしまっていると考えられるので、注目画像検出は中断して終了する。６３０未満の場合は、注目画像の空間周波数特性に影響は無いと判断され、ステップＳ３４０３で（入力画像サイズによる）ＡＣ成分特性判定用テーブルの選択を行い、空間周波数による選別処理に進む。
【０１５４】
又、本例の処理を１段階目の前に実行してもよく、その場合はステップＳ３４０３では、図６の処理を実行する。
【０１５５】
＜第１画像抽出の処理手順の改善例２＞
上記第１画像抽出の処理手順では、１段階目では、短い方向には予め決められたブロック数（ＶＧＡでは２ブロック、ＵＸＧＡでは４ブロック）で、長手方向に肌色ブロックが長く連続する場合を候補として抽出し、２段階目で空間周波数による選別と短い方向に隣り合う候補のグループ化を行った。
【０１５６】
しかし、１段階目で、抽出した候補から短い方向に隣り合う候補グループを作成して、候補グループに例えば上述のポイント数に基づいて番号を振りなおし、２段階目では、各候補グループの空間周波数による選別を行って、注目画像を抽出してもよい。
【０１５７】
この処理により、２段階目の処理が簡素化されると共に、空間周波数による選別をより安定的に実行することが可能になる。
【０１５８】
本実施形態においては、プリントのための最適画像処理用に注目画像を検出する方法を示しているが、表示用などにも使用できることは言うまでも無い。
【０１５９】
また、本実施形態においては、検出画像の周波数成分特性を見るために周波数情報を１０個単位で加算して周波数成分の６３個を７グループとして、画像の特性を判断したが、グループ化という発想をなくし、６３個全ての周波数をそのまま利用してもよいことは言うまでも無い。
【０１６０】
更に、画像の長手方向からの連続量の検出後短い方向の検出を行ったが、この順序も逆になっても可能であり、この他、検出ブロックを一列のグループとして検出する方法以外にも色度で検出したグループにおける全ての方向に隣接したブロックグループという、とらえ方で空間周波数特性を確認する方法など、色度と周波数特性を組み合わせた検出方法はいくらでもあり、これら一連の検出方法は本発明に含まれることは言うまでも無い。
【０１６１】
本実施形態においては、図４や図２７のように、連続検出値を３グループに分け周波数特性の適正範囲との比較を行い周波数特性の合否を判定したが、連続検出を３グループ化したのは、実施形態を簡単化するためで、連続値ごとに適正範囲を設定してもよいし、連続値には相関関係が有るので、テーブル方式ではなく理論式による方法を用いてもよい。また、周波数特性も７グループ値を使用したが、６３個の周波数のすべてにて行ってもよいし、更には特定の周波数に注目して判定してもよい。
【０１６２】
本実施形態においては、検出の目的になっている注目画像は人物の肌の領域に設定して説明しているが、周波数成分、もしくは周波数成分と色度により検出可能なものは、人物の肌色に限らず、空、海、木々の緑なども存在する。
【０１６３】
本実施形態においては、８＊８ブロック単位データの周波数成分を周波数の低い順から１０個単位でまとめた値を用いて、その１０個の和によるグループ（最も高い周波数グループは３個の和）の特性から周波数特性を代表させているが、JPEG ファイルの場合、ＤＣ成分１個に対し、ＡＣ成分６３個の構成で、周波数特性を表しているので、１０個の集合体として特性を見なくてもよい。
【０１６４】
また、６３個の個々の特性より判断してもよいし、もっとグループ化してもよい。また、特定の周波数成分のみの利用により特性を導き出してもよい。このように、周波数特性を利用した特性を導くのにＡＣ成分の利用方法はいくらでもある。
【０１６５】
更に、本実施形態では８＊８ブロックの連結と言う概念で縦方向と横方向について注目画像を検出するために色度該当ブロックの連続性において、候補を抽出しているが、この時のブロック集合体の判定方法も、この方法に限られてものではないことは言うまでも無い。
【０１６６】
本実施形態では連続検出した色度ブロックに対して検出した連続値により、端のブロックを削除した値を特性利用しているが、周波数成分による適合から色度ブロックの境界を設定したり（図２１）、予め特定以上の周波数特性のあるブロックを、色度検索を行う前に除外してから行うようにしたりなど、ブロックの集合体を決定するための色度と周波数成分による分離の仕方は、複数の方法と組み合わせがあるが、本願特許の範囲に包含される。
【０１６７】
上記図２１について説明する。図２１の左側は元画像であり、このJPEG ファイル画像の圧縮単位である８＊８画素ブロックの周波成分における高周波成分の総データ値が閾値を超えるか超えないかで判定したのが右側の画像になる。明るい部分が高周波成分を持つ領域で、暗い部分が高周波成分の少ない領域である。この領域を境に設けた色度判定による注目画像検出も可能である。
【０１６８】
また、本実施形態は、画像圧縮ファイルとして、"JPEGファイル"を利用した方法を開示したが、"JPEG2000 ファイル"など、周波数成分への変換を利用した他のファイルに対しても同様な考え方で、注目画像の検出を簡単な処理で実現できることは、言うまでもない。
【０１６９】
上記実施形態においては、周波数成分と色度を中心に配置情報などを入れて注目画像検出を行ったが、このねらいは、注目画像を中心とした画像補正を行う為である。したがって、検出された注目画像領域の輝度を含むデータが補正を行うことが有効でない状態として検出された時、例えば暗過ぎる値でつぶれている時などは、補正として無理に諧調性を持たそうとすると、ノイズだらけになってしまう場合がある。
【０１７０】
この不都合を回避するために、図６の検出結果に対して、検出された部分領域の各ブロック直流成分データを利用して輝度平均を出し、補正に適した輝度範囲に入っているかを比較することで、更に精度の良い注目画像における画像補正を行うことができる。
＜第２の実施形態の画像処理装置の構成例＞
注目画像として人物の顔が撮影された場合が、図５１の画像サンプルである。この画像サンプルは、画素数が３０万画素と、近年の入力機器の能力としては低いクラスのジャンルに入る物で、画像ファイルサイズも６０Kバイトと圧縮率の高い物である。このような画像に対しては、上記構成の注目画像検出を行って露出補正を行っても画質の向上は大きくは期待できない。このような画像に対しては、有効な補正としては、通常アンシャープマスクによる補正を行うことで、ボケを排除し、メリハリの利いた補正を行う事が知られているが、この欠点として、画像全体にアンシャープマスク補正を利かせた場合は、肌領域においては肌がざらついた状態になりやすいので、画像全体に行う場合は補正強度を低くするしかなく、また、効果的である目や口の領域のみに利かせるには、領域指定を自動化することが難しい状態であった。
【０１７１】
図５０は、第２の実施形態の画像処理装置の構成例を示すブロックである。図５０では、第１の実施形態の構成要素はブラックボックスで図示されている。この構成要素は基本的に第１の実施形態と同様である。第２の実施形態の特徴ある構成は第２画像抽出部１００ｂとボケ補正処理部３０の追加である。
【０１７２】
第２画像抽出部１００ｂは、第１の実施形態の第１画像抽出部１００ａと共に、画像認識部１００を形成する。第２画像抽出部１００ｂは、画像の縦横比しきい値３０１ａにもとづいて候補領域を選別する候補領域選別部３１０と、特徴部位しきい値３０２ａに基づいて選別された候補領域内にある特徴部位（本例では、顔領域中の目や鼻、口、眉等）を抽出する特徴部位抽出部３０２とを有する。本例では、顔の論客の縦横比により顔領域を選択する。
【０１７３】
特徴部位抽出部３０２から出力された特徴部位の情報に基づき、復号部１０から出力される復号画像は、第１の実施形態での色調補正に先立って、ボケ補正値算出部３０ａが算出した値に従ってボケ補正処理部３０でボケ補正処理が行われる。
【０１７４】
尚、ハードウエア及びソフトウエア構成は、図１Ｃと類似であるので図示及び説明を省く。
【０１７５】
＜第２の実施形態の画像処理装置の動作手順例＞
上記構成の人物肌領域の検出機能を利用した本発明の概略のフローチャートを図６０に示す。
【０１７６】
フローチャートの説明を行う。
このフローチャートは、本発明における入力画像の中に人物の顔領域の検出と、その構成画素数や量子化フィルターの値により、その人物顔の肌領域内の目や口等の検出と補正処理の適正強度設定及び実行の流れを表している。
ステップS5601においては、対象画像の画素数及び量子化テーブルを基本に、印刷時の拡大倍率と解像度情報を元に、二次画像抽出が必要な物かの判定用情報取得を行う。前記図５１のような画素数の少ない画像は二次画像抽出の対象となりうる。
【０１７７】
ステップS5602においては、前記図６で開示したフローによる注目画像抽出処理を行う。この実施例においては、人物顔の肌領域の特徴量を持つ領域の検出を行う。図５１の画像に対しては、図５２で表すような領域を抽出することになる。図５２における白い部分の領域が人物顔の肌の特徴量を持つ領域と判定され、黒い部分はそれ以外の部分である。この検出において、肌領域部分の特徴量の他に、平均輝度などの算出も行う。
【０１７８】
ステップS5603においては、ステップS5601とS5602の検出結果の論理和により、判定を行う。二次画像抽出が必要ない場合はステップS5607の従来処理へ進み。二次画像抽出が必要な場合はステップS5604へ進む。
【０１７９】
ステップS5604においては、二次画像抽出処理を行う。具体的には図５２の検出した人物肌色領域内にある、一次抽出の色度比率範囲外にある目とか口の候補となる領域を検出し判定を行う。詳細は後述する。
【０１８０】
ステップS5605においては、二次画像抽出が成功したか判定を行う。失敗した場合は、ステップS5607の従来処理へ進み。成功した場合は、ステップS5606に進む。ステップS5606においては、ボケ補正処理を実行する。その後、ステップS5607の注目画像検出の抽出結果を画像補正へ渡す為にセットする。ステップS5608において、抽出結果を反映した画像補正を行う。
【０１８１】
次に、二次抽出処理に部分をより詳細に説明する為のフローチャートを図６１に示し、その説明を行う。
【０１８２】
ステップS5701においては、ステップS5602からの情報から一次画像抽出の候補画像領域の縦横比を算出する。
【０１８３】
ステップS5702においては、候補画像が人物の顔の縦横比定義に適応する物か判定を行う。一次抽出による候補画像が抽出画像定義に適応しない場合はステップS5709に進む。適応する場合は、ステップS5703に進む。
【０１８４】
ステップS5703においては、候補領域内にある、一次抽出の色度比率範囲外の領域を検出する。図５２においては、人物肌領域である白色領域内に独立して残された黒色の領域になる。この領域の各々の構成画素数（ブロック数）と平均色度及びDCTのAC成分の平均値などを算出する。
【０１８５】
本実施例においては、人物顔の肌色以外の構成要素として、目、口、眉毛、眼鏡など考えられるが、そのなかで、目に付いて説明を行う。
【０１８６】
目の画像サンプルとして図５４、図５６、図５８を示す。
【０１８７】
図５４は、目を表す構成の画素数を縦１２画素、横２２画素とした物で、この画像に対して図２８及び２９で示した画像圧縮の為の量子化テーブルを使用して画像圧縮を行ったものである。テーブル１１を使用した物はF12で、テーブル０８を使用した物はF9で、テーブル０６を使用した物はF7で、テーブル０３を使用した物はF4である。
【０１８８】
図５５は、目を表す構成の画素数を縦２４画素、横４４画素とした物で、この画像に対して図２８及び２９で示した画像圧縮の為の量子化テーブルを使用して画像圧縮を行ったものである。テーブル１１を使用した物はF12で、テーブル０８を使用した物はF9で、テーブル０６を使用した物はF7で、テーブル０３を使用した物はF4である。
【０１８９】
図５６は、目を表す構成の画素数を縦４８画素、横８８画素とした物で、この画像に対して図２８及び２９で示した画像圧縮の為の量子化テーブルを使用して画像圧縮を行ったものである。テーブル１１を使用した物はF12で、テーブル０８を使用した物はF9で、テーブル０６を使用した物はF7で、テーブル０３を使用した物はF4である。
【０１９０】
ステップS5704においては、目となりえる設定した色度比率に収まっているかを判定する。口などの色度比率設定も可能である。候補として不適当と判定した場合はステップS5709に進む。適応する場合は、ステップS5705に進む。
【０１９１】
ステップS5705においては、ステップS5703で検出した領域が目の候補として、ステップS5701で検出した人物顔の肌領域との面積比率として適正なサイズかを算出する。
【０１９２】
ステップS5706においては、ステップS5703で検出した領域が目の候補として、適正な外形比率に収まっているか確認する為に縦横比率を算出する。
【０１９３】
ステップS5707においては、ステップS5705及びS5706での算出した結果が目としての候補領域になるか判定を行う。候補として不適当と判定した場合はステップS5709に進む。適応する場合は、ステップS5708に進む。
【０１９４】
ステップS5708においては、画像のボケ量の判定と判定結果から補正の強度の確定を行い、補正を実行する。
【０１９５】
まず、ボケ量の判定であるが、まず、先述の目領域の画像サンプルである図５４、図５６、図５８に対して一定のアンシャープマスク処理を加えた画像を図５５、図５７、図５９に示す。
【０１９６】
そして、この画像に関するDCTのAC成分平均値の特徴量を図６２，図６３，図６４に示す。
【０１９７】
図６２は、目を表す構成の画素数を縦１２画素、横２２画素とした物で、横軸は対象画像全領域におけるＤＣＴ値のＡＣ成分の平均値を前述の要領で空間周波数成分の低い領域から１０個単位でまとめたものである。縦軸は、ＤＣＴのコード量（１０個単位の和である。但し７グループ目は３個分の和になる。）上記内容から、量子化フィルターによるデータ量の差は空間周波数の高域成分に現れるが、目である対象領域においての差はあまり大きくない。アンシャープマスク処理で低域分の空間周波数特性が上がっているので、メリハリがついていることがわかる。
【０１９８】
図６３は、目を表す構成の画素数を縦２４画素、横４４画素とした物で、グラフの構成は図６２と同じである。上記内容から、量子化フィルターによるデータ量の差は空間周波数の高域成分に現れるが、目である対象領域においての差はあまり大きくない。アンシャープマスク処理で低域分の空間周波数特性が上がっているので、メリハリがついていることがわかる。
【０１９９】
図６４は、目を表す構成の画素数を縦４８画素、横８８画素とした物で、グラフの構成は図６２と同じである。上記内容から、量子化フィルターによるデータ量の差は空間周波数の高域成分に現れるが、目である対象領域においての差はあまり大きくない。アンシャープマスク処理で低域分の空間周波数特性が上がっているので、メリハリがついていることがわかる。
【０２００】
画像サイズによる違いとしては、構成画素が多いほどＤＣＴ値のＡＣ成分の平均値である特徴量は小さくなる。また、ＡＣ成分の分布状況は同じである。
【０２０１】
上記、目の画像の画素数と量子化フィルター値によるアンシャープマスク処理の効果を補正へ反映する為、検出した二次抽出領域の大きさと量子化フィルター値により図６５に示すようなアンシャープマスクの補正強度指定を行う。
【０２０２】
また、一次抽出により検出した肌色領域の輝度分布により分布の範囲が大きい場合、例えば、野外において、太陽光を直接浴びて人物顔肌領域の明暗の輝度幅が大きい時はシャープにする補正の効果が少ないので、図６６に示すように一次抽出により検出した肌色領域の輝度分布範囲により、輝度表現が０〜２５５の場合、１５０以上の輝度範囲データを持つ一次抽出により検出した肌色領域に対する二次抽出領域へのアンシャープマスク処理の強度を強めに設定する。
【０２０３】
ステップS5709においては、抽出結果の値を反映した画像補正を実行する。
【０２０４】
図５１に対して上記処理を行った結果が図５３である。ボケ画像に対して、領域を特定して補正が適度に加えられたことが確認できる。
【０２０５】
上述したように、本発明によれば、画像圧縮ファイルを解凍する過程で空間周波数データと量子化テーブルとを取得し、上記空間周波数データ及び量子化データ特性を組み合わせて画像ファイル中の注目画像を検索するために利用するようにしたので、高度な計算をすることなく画像データブロックごとの交流成分情報を含む情報を取得して、画像ファイルの中の注目画像を検索することができる。
【０２０６】
また、本発明の他の特徴によれば、デジタルカメラから直接プリントする場合などのように、パーソナルコンピュータと比べて処理能力が低い組み込み式の機器においても、製品として使用可能な範囲の処理で、印刷する圧縮画像ファイルに補正の対象となる注目画像の有無、及びその値の適正度を検出することができ、必要に応じて注目画像を重視した画像補正を施すようにすることができる。
なお、以上に説明した本実施形態の画像認識装置は、コンピュータのＣＰＵあるいはＭＰＵ、ＲＡＭ、ＲＯＭなどで構成されるものであり、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現できる。
【０２０７】
したがって、コンピュータが上記機能を果たすように動作させるプログラムを、例えばＣＤ−ＲＯＭのような記録媒体に記録し、コンピュータに読み込ませることによって実現できるものである。上記プログラムを記録する記録媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。
【０２０８】
また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合や、供給されたプログラムの処理の全てあるいは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。
【０２０９】
また、本発明をネットワーク環境で利用するべく、全部あるいは一部のプログラムが他のコンピュータで実行されるようになっていてもよい。例えば、画面入力処理は、遠隔端末コンピュータで行われ、各種判断、ログ記録等は他のセンターコンピュータ等で行われるようにしてもよい。
【０２１０】
【発明の効果】
本発明により、画像の輝度によって注目画像領域抽出に用いられる色度比率判定を適正化して、安定した注目画像領域の抽出及び画像の再生を行うことができる。
【０２１１】
又、人物顔画像などがボケたようなものにおいては、適正な補正への情報を取得できる。
【図面の簡単な説明】
【図１Ａ】本発明の実施形態に係わるJPEG画像解凍時に必要なデータを取得する流れを示す概念図である。
【図１Ｂ】第１の実施形態に係わる画像処理装置の構成例を示すブロック図である。
【図１Ｃ】実施形態に係わる画像処理装置のハードウエア及びソフトウエアの構成例を示すブロック図である。
【図２】実施形態の画像データをJPEG形式へ変換する処理過程の流れを示す概念図である。
【図３】実施形態のJPEGの画像圧縮単位である8*8ブロックを例にしたJPEG形式へ変換する処理過程を示す図である。
【図４】実施形態のJPEGファイル画像圧縮単位である8*8ブロックのＡＣ成分特性を利用した判別テーブルを示す図である。
【図５】実施形態の他にある肌色のＲＧ色度分布例を示す図である。
【図６】実施形態のJPEG画像解凍からの注目画像検出フローチャートである。
【図７】実施形態のJPEGファイル画像圧縮単位である8*8ブロックにおける、色度検出方法を示す図である。
【図８】実施形態のJPEGファイル画像圧縮単位である8*8ブロックでのＤＣ成分を利用した色度検出方法を示す図である。
【図９】実施形態の色度検出において、３ビット間引きを利用して検出をした場合の8*8ブロックにおける検出状況を示す図である。
【図１０】実施形態の検出用JPEG画像サンプルの第１の例を示す図である。
【図１１】第１の画像サンプルを色度のみによる検出を行った結果のBMP ファイルの一例を示す図である。
【図１２】第１の画像サンプルを8*8ブロック単位の色度検出を元に配置と連続ブロック検出を行った結果のBMP ファイルの一例を示す図である。
【図１３】実施形態の注目画像検出により、第１の画像サンプルを8*8ブロック単位の色度検出を元に配置と連続ブロックとＡＣ成分による検出を行った結果のBMPファイルの一例を示す図である。
【図１４】実施形態の検出用JPEG画像サンプルの第２の例を示す図である。
【図１５】第２の画像サンプルを色度のみによる検出を行った結果のBMPファイルの一例を示す図である。
【図１６】第２の画像サンプルを8*8ブロック単位の色度検出を元に配置と連続ブロック検出を行った結果のBMP ファイルの一例を示す図である。
【図１７】実施形態の注目画像検出により、第２の画像サンプルを8*8ブロック単位の色度検出を元に配置と連続ブロックとＡＣ成分による検出を行った結果のBMP ファイルの一例を示す図である。
【図１８】実施形態の人物肌検出において、人物肌検出データの連続色度検出値におけるＡＣ成分の周波数特性を示す図である。
【図１９】実施形態の人物肌検出において、枯れ林の検出データの連続色度検出値におけるＡＣ成分の周波数特性の表を示す図である。
【図２０】実施形態の肌色のRG色度分布を示す図である。
【図２１】周波数特性による境界作成のための検出方法の一例を示す図である。
【図２２】実施形態の候補グループの判定手順を示すフローチャートである。
【図２３】実施形態の候補グループ判定の検出結果画像の一例を示す図である。
【図２４】実施形態の注目画像検出を利用した画像補正の比較結果の一例を示す図である。
【図２５】本実施形態の人物肌検出において、UXGA(1600*1200)画像における人物肌検出データの連続色度検出値におけるAC成分の周波数特性を示す特性図である。
【図２６】本実施形態の人物肌検出において、UXGA(1600*1200)画像における枯れ林の検出データの連続色度検出値におけるAC成分の周波数特性の表を示す図である。
【図２７】本実施形態のJPEGファイル画像圧縮単位である8*8ブロックのAC成分特性を利用したUXGA(1600*1200)画像に対する判別テーブルの一例を示す図である。
【図２８】既存のアプリケーションで使用している量子化テーブルの一例を示す図である。
【図２９】既存のアプリケーションで使用している量子化テーブルの一例を示す図である。
【図３０】既存のアプリケーションで使用している量子化テーブルの一例を示す図である。
【図３１】量子化テーブルにおける圧縮比率と周波数特性との関係を示す図である。
【図３２】注目画像検出を行った結果の一例を示す図である。
【図３３】注目画像検出を行った結果の一例を示す図である。
【図３４】取得した量子化テーブルからＡＣ成分特性判定テーブルを設定する手順の一例を示すフローチャートである。
【図３５】本実施形態において、複数画像中の人物肌領域色度比率を検出領域の平均輝度で分類して分布状況を表した図である。
【図３６】本実施形態において、ＵＸＧＡ（１６００＊１２００画素）サイズの画像ファイルに存在する人物肌領域を検出し、その人物肌領域内におけるJPEG圧縮での8*8ブロックにおけるDCTのAC成分の平均値を、検出した画素数（JPEG圧縮での8*8ブロック数）で分類した表を示す図である。
【図３７】本実施形態において、ＶＧＡ（６４０＊４８０画素）サイズの画像ファイルに存在する人物肌領域を検出し、その人物肌領域内におけるJPEG圧縮での8*8ブロックにおけるDCTのAC成分の平均値を、検出した画素数（JPEG圧縮での8*8ブロック数）で分類した表を示す図である。
【図３８】本実施形態においては、人物の顔領域内で、白跳びが発生している画像サンプルを示す図である。
【図３９】本実施形態においては、図３８の画像サンプルに対して、固定の色度比率範囲で人物肌領域検出を行い検出した領域を示す図である
【図４０】本実施形態においては、図３８の画像サンプルに対して、適合色度比率範囲を拡大した定義を用いて人物肌領域検出を行った結果を示す図である。
【図４１】本実施形態において、図３８の画像サンプルに対して、輝度値に依存する適合色度比率範囲の定義を用いて人物肌領域検出を行った結果を示す図である。
【図４２】本実施形態において、図３８の画像サンプル全体の輝度ヒストグラムを示す図である。
【図４３】本実施形態において、ＵＸＧＡ(1600*1200)サイズにて撮影した被写体が人物の画像サンプルを示す図である。
【図４４】本実施形態において、図４３の画像サンプルに対して、人物肌領域検出を行い検出した領域を示す図である。
【図４５】本実施形態において、ＶＧＡ(640*480)サイズにて撮影した被写体が人物の画像サンプルを示す図である。
【図４６】本実施形態において、図４５の画像サンプルに対して、人物肌領域検出を行い検出した領域を示す図である。
【図４７】本実施形態において、候補領域のサイズによるDCTのAC成分である空間周波数特徴量の判定テーブルを示す図である。
【図４８】本実施形態において、抽出候補領域の判定用色度比率範囲テーブル２を示す図である。
【図４９】本実施形態において、色度比率による抽出領域の画素数（ブロック数）によるＤＣＴ特徴量判定方式の処理手順を示すフローチャートである。
【図５０】第２の実施形態に係わる画像処理装置の構成例を示すブロック図である。
【図５１】本実施形態において、ＣＣＤ３０万画素の携帯電話で人物の顔を撮影した画像サンプルを示す図である。
【図５２】本実施形態において、図５１の画像サンプルに対して人物肌領域検出を行い、検出された領域（白い部分）を示す図示である。
【図５３】本実施形態において、図５１の画像サンプルに対して人物肌（顔）領域内の目や鼻候補を選定し、その領域のみにアンシャープマスク処理を行った結果を示す図である。
【図５４】本実施形態において、２２＊１２画素で撮影された“目”の画像である。JPEGの量子化テーブルの値を変えた物で、高圧縮の“Ｆ４”から低圧縮の“F12"の4種類の保存をかけた画像を示す図である。
【図５５】本実施形態において、図５４の各画像に対してアンシャープマスク画像処理を行った結果を示す図である。
【図５６】本実施形態において、４４＊２４画素で撮影された“目”の画像である。JPEGの量子化テーブルの値を変えた物で、高圧縮の“Ｆ４”から低圧縮の“F12"の4種類の保存をかけた画像を示す図である。
【図５７】本実施形態において、図５６の各画像に対してアンシャープマスク画像処理を行った結果を示す図である。
【図５８】本実施形態において、８８＊４８画素で撮影された“目”の画像である。JPEGの量子化テーブルの値を変えた物で、高圧縮の“Ｆ４”から低圧縮の“F12"の4種類の保存をかけた画像を示す図である。
【図５９】本実施形態において、図５８の各画像に対してアンシャープマスク画像処理を行った結果を示す図である。
【図６０】本実施形態において、補正処理も含めた拡張画像抽出処理のフローチャート１である。
【図６１】本実施形態において、補正処理も含めた拡張画像抽出処理のフローチャート２である。
【図６２】本実施形態において、量子化フィルター値とアンシャープマスク処理のＤＣＴ特性比較（２２＊１２ サイズ）のグラフを表す図である。
【図６３】本実施形態において、量子化フィルター値とアンシャープマスク処理のＤＣＴ特性比較（４４＊２４ サイズ）のグラフを表す図である。
【図６４】本実施形態において、量子化フィルター値とアンシャープマスク処理のＤＣＴ特性比較（８８＊４８ サイズ）のグラフを表す図である。
【図６５】本実施形態において、画像量子化フィルターの値と検出領域サイズによるアンシャープマスクの強度対応表を現す図である。
【図６６】本実施形態において、人物肌色領域の輝度分布とその内部領域である目領域へのアンシャープマスク強度設定の関係を表す図である。
【発明の属する技術分野】
本発明は画像領域の抽出及び画像の再生、特に圧縮画像からの注目画像領域の抽出と圧縮画像の再生方法及びその装置、又その処理に関連するコンピュータプログラム及びコンピュータ読み取り可能な記録媒体に係わり、特に、圧縮された画像データ形式である例えばJPEGファイル画像から注目画像領域を抽出して所望の再生をするために用いて好適なものである。
【０００２】
【従来の技術】
デジタルカメラなどで撮影して圧縮された例えばJPEGファイル画像をパーソナルコンピュータ（ＰＣ）などで再生して、表示を行う場合又はＰＣプリンタもしくはダイレクトプリンタなどから印刷を行う場合や、ＤＰＥでプリントを行う場合がある。この時に、撮影画像データが良質な場合は忠実に再生して表示又はプリントすればよいので問題は生じない。
【０００３】
しかしながら、撮影画像データによっては色被り、コントラスト不足、露出の不適切などがあり、良質な印刷結果を得るためには画像補正を施す必要がある。特に、人物を撮影した画像の場合には、一般に、人の顔の色が適正になるように再生してプリントすると写真を見た人に与える感じが良くなり、写真の質を高めることになる。風景や物を撮影した場合でも、目標とする撮影対象物の色が適正になるように再生してプリントすることが望まれる。
【０００４】
例えば、銀塩写真の場合、質の良い写真を得るためには原画像ごとに焼き付け時の露光量を変更することが好ましく、この焼付け時の露光量を決めるのに、人物が入った写真の場合には、人の顔の色に着目するのが便利である。何故ならば、人の顔は肌色であることが分かっているために、焼き付けられた写真における人の顔の色が肌色になるように露光量を決めることが可能であるからである。
【０００５】
従来、デジタルデータの画像ファイルから画像認識する方法としては、例えば特許文献１、特許文献２、特許文献３など知られている。
【０００６】
これらの方法は、指定画像との類似度や一致度を検出するもので、特許文献１の場合は、直流成分によるブロック単位での粗一致を求め、その後、候補画像領域に対して復元処理を行い、非圧縮データとして微一致を求める方式である。
【０００７】
また、特許文献２の場合は、検索データを入力作成し、このデータと複数の画像データの類似度を判定する画像処理装置である。さらに、特許文献３の場合は、検索対象画像をウェーブレット変換して圧縮画像を作成する。また、指定された画像にもウェーブレット変換を施し、各々の特徴データを比較することで、類似度を判定するようにしている。
【０００８】
一方、画像を補正する方法としては、デジタルカメラで撮影した画像をプリントする際に、アプリケーションやプリンタドライバのアプリケーションにより、撮影データをヒストグラムなどで解析し、コントラスト、ホワイトバランス、露出補正、シャープネスなど画像補正を一様に施すものが知られている。
【０００９】
【特許文献１】
特開平8-161497号公報
【特許文献２】
特開2000-48036号公報
【特許文献３】
特開平11-238067号公報
【００１０】
【発明が解決しようとする課題】
しかしながら、上記従来の方法では補正対象の注目画像領域を正確に見付け出して、その注目画像領域を所望の色に補正することが出来ない。
【００１１】
すなわち、デジタルカメラなどで撮影した例えばJPEGファイル画像を再生して表示又はプリントする場合に、銀塩写真のプリント処理のように、人物など注目画像が、より良く表示又はプリント出来るように必要に応じて補正を行えるように、上記JPEGファイル画像の中に注目画像領域を見つけ出す方法を決める必要がある。
一方、デジタルカメラからプリンタへ直接プリントを行うダイレクトプリントなどデータ処理能力の低い機器でも使用出来るように、検出処理は出来うるだけ軽く済む方法が求められている。
本出願人は、上述の問題点に鑑み、画像ファイルの中の注目画像領域を処理不可の少ない方法で抽出できる、また、入力画像サイズに関係なしに画像ファイルの中の注目画像領域を処理不可の少ない方法で抽出できる方法を提案した(特願2002-193620)。
【００１２】
ところが、注目画像領域抽出に用いられる色度比率判定やＤＣＴのＡＣ成分による特徴量判定の判定方法が、必ずしも最適化されていないことによる注目画像領域のより欠損の少ない完全な抽出が出来ない画像などが存在する。
【００１３】
また、注目画像検出の判定に用いられるＤＣＴのＡＣ成分の特徴量判定においては、画像サイズごとに、検出サイズクラスにより判定テーブルを持つ必要があったが、判定テーブルの複雑さを招く。
【００１４】
本出願人は、また、特徴量判定の判定方法を最適化し、注目画像領域のより欠損の少ない完全な抽出する方法を提案した(特願2002-193621)。
【００１５】
また、JPEGによる圧縮画像の圧縮比率に関わる量子化テーブルの値が、撮影時やアプリケーションによる編集後の再保存により一様ではなく、高圧縮の量子化テーブルを使用すると、画像中の空間周波数が極端に変化してしまい、注目画像領域における周波数特徴量も影響を受け、上記検出精度が落ちてしまう可能性もある。
本出願人は、更に、画像ファイルの中の注目画像領域を抽出する際に量子化テーブルの特性を利用した判定を行うようにして、処理負荷の少ない方法で注目画像領域を抽出できる技術を提案した(特願2002-193622)。
【００１６】
しかしながら、更に、画像の輝度によって注目画像領域抽出に用いられる色度比率判定が不正確となったり、上記注目画像領域抽出による取得データにおいて露出補正などへの応用が考えられたが、人物顔画像がボケたようなものにおいては、適正な補正への情報を取得できているとは言えない部分が生まれる。
【００１７】
本発明は、上記問題点に鑑み、画像の輝度によって注目画像領域抽出に用いられる色度比率判定を適正化して、安定した注目画像領域の抽出及び画像の再生を行うことを目的とする。
【００１８】
又、人物顔画像などがボケたようなものにおいては、適正な補正への情報を取得できるようにすることを目的とする。
【００２１】
【課題を解決するための手段】
この課題を解決するために、本発明の画像再生方法は、圧縮符号化された画像データを復号して画像を再生する画像再生方法であって、復号した前記画像データから所定の色度範囲の連続するブロックを抽出するブロック抽出ステップと、前記連続するブロックの空間周波数の平均値に基づいて、前記連続するブロックを注目画像領域とするか否かを判定する判定ステップと、前記注目画像領域から特徴部位を抽出する特徴部位抽出ステップと、前記抽出された特徴部位の画素数と前記圧縮符号化に利用した量子化フィルタ値とに基づいて、前記特徴部位のボケの補正強度を決定する決定ステップと、前記決定ステップで決定された補正強度に応じて前記特徴部位のボケを補正するボケ補正ステップと、前記補正ステップでボケが補正された画像を再生する再生ステップとを有することを特徴とする。
【００２２】
ここで、前記決定ステップでは、前記特徴部位の画素数が少なく前記量子化フィルタ値の値が大きいほど、ボケをより強く補正する補正強度に決定する。また、前記所定の色度範囲を、前記復号した画像データの輝度値に基づいて設定する。また、前記圧縮符号化された画像データを復号して前記復号した画像データを生成する復号ステップと、前記復号した画像データから色度、空間周波数、輝度を求めるステップとを更に有する。また、前記圧縮符号化された画像データはJPEG画像データであり、前記復号した画像データはＤＣＴ係数と逆ＤＣＴ変換されたビットマップデータとを含む。また、前記ブロック抽出ステップで抽出された前記連続するブロックの数に基づいて、注目画像領域となる候補を選別する選別ステップを更に有する。また、前記ボケの補正は、アンシャープマスク処理により行われる。
【００２３】
又、本発明は、上記方法のステップをコンピュータに実行させるためのコンピュータプログラム及び該コンピュータプログラムを記憶したコンピュータ読み取り可能な記憶媒体をも提供する。
【００２５】
又、本発明の画像処理装置は、圧縮符号化された画像データを復号して画像を再生する画像処理装置であって、復号した前記画像データから所定の色度範囲の連続するブロックを抽出するブロック抽出手段と、前記連続するブロックの空間周波数の平均値に基づいて、前記連続するブロックを注目画像領域とするか否かを判定する判定手段と、前記注目画像領域から特徴部位を抽出する特徴部位抽出手段と、前記抽出された特徴部位の画素数と前記圧縮符号化に利用した量子化フィルタ値とに基づいて、前記特徴部位のボケの補正強度を決定する決定手段と、前記決定手段により決定された補正強度に応じて前記特徴部位のボケを補正するボケ補正手段と、前記補正手段によりボケが補正された画像を再生する再生手段とを有することを特徴とする。
【００２６】
ここで、前記決定手段は、前記特徴部位の画素数が少なく前記量子化フィルタ値の値が大きいほど、ボケをより強く補正する補正強度に決定することを特徴とする。また、前記圧縮符号化された画像データを復号して前記復号した画像データを生成する復号手段と、前記復号した画像データから色度、空間周波数、輝度を求める手段とを更に有する。また、前記圧縮符号化された画像データはJPEG画像データであり、前記復号した画像データはＤＣＴ係数と逆ＤＣＴ変換されたビットマップデータとを含む。また、前記ブロック抽出手段により抽出された前記連続するブロックの数に基づいて、注目画像領域となる候補を選別する選別手段を更に有する。また、前記ボケの補正は、アンシャープマスク処理により行われる。
【００２７】
【発明の実施の形態】
次に、添付図面を参照しながら本発明の注目画像領域の抽出方法、圧縮画像の再生方法及びその装置、又その処理に関連するコンピュータプログラム及びコンピュータ読み取り可能な記録媒体の実施形態を説明する。
【００２８】
以下、本実施形態では、例えば、圧縮された画像データ形式であるJPEGファイル画像から注目画像領域を抽出して所望の再生を行う例を説明するが、JPEGによる圧縮に限定されることはなく、本発明のように圧縮過程でシンボルデータ（本例ではＤＣＴ係数）から画像の空間周波数を抽出可能な圧縮技術において広く適用が可能であり、本発明はこれらも含むものである。又、本例では、特にJPEGファイル画像を再生してプリントする例を中心に説明するが、本発明は圧縮画像の再生出力（表示、プリントを含む）の技術であり、これらも含まれる。
【００２９】
更に、本発明の注目画像領域の抽出方法は、圧縮画像からの注目画像領域の抽出に限定されることなく、圧縮されていない画像からの所望の注目画像領域の抽出にも適用される技術であってこれらも含み、同様の効果を奏するものである。
【００３０】
＜本実施形態の復号再生の対象である圧縮符号化データの例＞
最初に、現在、最も一般的な画像圧縮ファイルの"JPEGファイル"の情報省略と符号化・復号化について、図２及び図３を参照して説明する。
【００３１】
まず、符号化であるが、通常、デジタルカメラやデジタルビデオなどでは、静止画をJPEG ファイルにて保存することが一般的になっている。この場合、入力機器の受光素子であるＣＣＤなどの入った信号をＡ／Ｄ変換した後、フレームメモリーに取り込み、ＲＧＢもしくはＣＭＹフィルタの情報を輝度と色度情報とに変換する。その後、８＊８（６４個）正方画素ブロックに分割する。
【００３２】
図３の▲１▼は、輝度データのビットマップを８＊８ブロックに分割したうちの１ブロックのデータ例を示している。また、図３の▲２▼においては、０〜２５５の画素値をレベルシフトして−１２８〜１２７の信号に変換する例を示している。さらに、図３の▲３▼においては、ＤＣＴ（離散コサイン変換）によりＤＣＴ係数を求める例を示している。
【００３３】
また、図３の▲４▼は、視覚特性を考慮した高周波成分の省略を大きくした量子化テーブルであり、このテーブルを用いて、上記図３の▲３▼の結果であるＤＣＴ係数に対して量子化する例を示している。
【００３４】
図３の▲５▼は、量子化を行った結果である。この値をエントロピー符号化してハフマン符号で表すことにより符号化信号である圧縮データを生成する。
【００３５】
次に、復号化においては、上述した符号化の逆の工程を行う。つまり、符号化信号を復号して、量子化ＤＣＴ係数の値を復号する。次に、逆量子化を行うために量子化テーブルを乗ずることでＤＣＴ係数を得る。その後、逆ＤＣＴを行うことでレベルシフトした画像が復元され、更に逆レベルシフトの値１２８を加算することで１ブロックの画像が復号される。
【００３６】
上記の説明では、輝度情報と色度情報とに分割したデータを合成してＲＧＢ画像に変換することを省略したが、符号化における流れとしては、図２に示すように、カラー画像を輝度成分（Y）と２つの色度成分（Cb、Cr）とに変換し、その各々を符号化して合成することで、圧縮画像データを生成している。
【００３７】
以上のような、圧縮された画像データファイルであるJPEG画像をプリントする方法としては、入力機器からの圧縮画像データをＵＳＢや記憶メディアによって、パーソナルコンピュータ（以下、ＰＣとする）に取り込んで画像を展開し、必要に応じて画像補正を加えた後プリンタへデータを送る場合や、入力機器からの画像データを直接プリンタへ入力し、プリンタの中で、画像を解凍し、必要に応じて画像補正を加えた後で印刷を行うなど、幾種類かの選択肢がある。
【００３８】
いずれにしても、良好な画像をプリントするためには、撮影画像データが良質な撮影画像であるか、あるいは補正が必要な画像であるのかを判断して、忠実に印刷すべき良質な画像と、補正を行うことにより良質な画像に近付けた後に印刷を行うもとをより分ける必要がある。
【００３９】
良好な画像とは、下記のようなことが考えられる。
１）ホワイトバランスが良好である。
２）コントラストが適切である。
３）必要な部分の階調が割り当てられている。つまり、露出設定が良好である。４）彩度が適正である。
５）銀塩写真のような仕上がりである。
６）人物など注目される画像が中心に補正されている。
【００４０】
現在市販のＰＣプリンタやＰＣを経由しないダイレクトプリンタなどにおいても上記１）〜５）の項目においては、程度の差も有るが行われている。また、上記６）の注目画像に対する補正が行われていないのは、その検出に多大な処理が必要であることと、その方法が確立されていないことによる。
【００４１】
特に、処理能力のひ弱なダイレクトプリンタなどにおいては実施が難しいとされているが、本発明はこれを解決するものである。その手段としては、JPEG画像ファイルに注目画像の存在の検出と、その検出した画像に対する補正の必要等の確認を経て、全体画像補正へ受け渡す方法となる。
【００４２】
＜第１の実施形態の画像処理装置の構成例＞
以下に、第１の実施形態の画像処理装置の構成例をブロック図で示す。
【００４３】
図１Ａは、JPEG ファイルを解凍する過程とその際に取得する情報について表した復号部１０のブロック図である。
【００４４】
JPEG ファイルをRGBのビットマップデータへ変換する過程においては、まず、符号テーブル２を用いてエントロピー復号化部１にてエントロピー復号を行う。次に、逆量子化部３において、逆量子化に使用する量子化テーブル４を、逆量子化を行う他にデータとして記憶する。
【００４５】
この逆量子化されたデータは、ブロック単位のデータとして周波数変換されたものであり、このデータを、画像周波数特性を得るためのデータとして取得する。その後、逆ＤＣＴ部５において、逆ＤＣＴ処理と逆レベルシフトとを行いＹｃｃ−ＲＧＢ変換することで、通常のＲＧＢビットマップデータに展開する。
【００４６】
図１Ｂは、上記復号部１０を含む本実施形態の画像処理装置の構成例を示すブロック図である。
【００４７】
本実施形態の画像処理装置は、復号部１０と復号部１０から取得したデータに基づいて補正対象の画像領域を認識する画像認識部（第１画像抽出を実行）１００と、画像認識部１００からの認識領域を所望の色に補正する色調補正部２０とから構成される。色調補正部２０から出力される再生され補正された画像（ＢＭＰ）は、プリンタに送られてプリントされる。
【００４８】
画像認識部１００は、復号部１０から復号画像（ＢＭＰ）を受信して指定された対象色（本例では肌色）の領域を検出する対象色検出部１０１と、復号部１０から復号ＤＣＴデータを受信して、対象色検出部１０１で検出された対象色の候補領域における空間周波数を生成する空間周波数生成部１０２と、対象色検出部１０１で検出された対象色の候補領域から空間周波数に基づいて、色調補正の対象領域を選別する対象色領域選別部１０３を有する。対象色検出部１０１は復号画像を記憶する復号画像記憶部１０１ａを有するが、この復号画像記憶部１０１ａは対象色検出部１０１にある必要はなく他の処理部と兼用されてよい。又、対象色領域選別部１０３は、選別のための判別テーブル１０３ａを有している。かかる判別テーブル１０３は、画像のサイズに対応して複数の判別テーブルを有してもよい。
【００４９】
画像認識部１００は、更に、本実施形態の処理を改善するために、復号部１０から量子化テーブル値を受信して、禁止するためのしきい値１０４ａに基づく判定から色調補正処理を禁止する色調補正禁止部１０４を有する。
【００５０】
色調補正部２０は、画像認識部１００で選別された選別領域の色を補正対象色（本例では肌色）に、例えば色補正テーブル２０ａなどを使用して既知の色補正処理を行う。この色調補正の処理は、所定の条件で対象色領域選別部１０３あるいは色調補正禁止部１０４からの色調補正禁止信号により禁止される。この補正処理は簡素化のためには画像全体に施しても良いが、画質を高めることが目的であれば領域によって異なる補正、あるいは部分的な補正であってもよい。本発明の特徴は、かかる色調補正の方法にはないので、本実施形態の説明では簡単に済ますことにする。
【００５１】
図１Ｃは、本実施形態の画像処理を実現するハードウエア及びソフトウエアの構成例を示す図である。尚、図１Ｃは、本実施形態の特徴部分である画像認識部１００を中心に説明している。この装置は汎用のコンピュータでも実現できるし、専用のコンピュータにより実現してもよい。
【００５２】
１１０は演算処理のＣＰＵ、１２０はＣＰＵ１１０が使用する固定のデータ及びプログラム（ＯＳやＢＩＯＳなどはここに有るとする）を格納するＲＯＭ、１３０は本実施形態でＣＰＵ１１０が使用するデータやプログラムを一時格納するＲＡＭである。ここで、本例では、アプリケーションプログラムは、後述の外部記憶部１４０からＲＡＭ１３０のプログラムロード領域１３２にロードされて、ＣＰＵ１１０により実行されるとしている。
【００５３】
ＲＡＭ１３０がデータ記憶領域１３１に記憶するデータには、復号部１０が復号した復号画像あるいは色調補正された再生画像を記憶する復号画像データ領域１３ａ、補正対象色（本例では肌色）データを記憶する補正対象色領域１３ｂ、検出された対象色領域を記憶する候補領域の記憶領域１３ｃ、候補領域から形成される候補グループを記憶する候補グループ領域１３ｄ、最終的に選別された領域を記憶する選別領域の記憶領域１３ｅ、復号部１０からの復号ＤＣＴデータを記憶する復号ＤＣＴデータ記憶領域１３ｆ、生成された空間周波数を記憶する空間周波数領域１３ｇ、対象色領域を選別するために使用する判別テーブルを記憶する判別テーブル領域１３ｈ、復号部１０からの量子化テーブルを記憶する量子化テーブル領域１３ｉ、量子化テーブルの係数を加算した値を記憶する量子化係数加算値の記憶領域１３ｊ、色調補正の禁止などに使用するしきい値群を記憶する領域１３ｋを含んでいる。
【００５４】
１４０は、ディスクやメモリカードなどの大容量あるいは抜き差し可能な媒体からなる外部記憶部であり、フロッピー(登録商標）ディスクやＣＤなどを含む。
【００５５】
外部記憶部１４０のデータ記憶領域１４１には、判別テーブル１〜ｎ１４ａやしきい値群１４ｂが格納されている。又、他のパラメータや画像データなどを蓄積するデータベースが記憶されてもよい。プログラム格納領域１４２には、大まかに分類すると、対象色領域検出モジュール１４ｃ、空間周波数生成モジュール１４ｄ、対象色領域選別モジュール１４ｅ、色調補正禁止モジュール１４ｆ、そして後述の第２の実施形態で実行される特徴部位抽出モジュール１４ｇが格納されている。
【００５６】
更に、図１Ｃの装置は、復号部１０及び／又は色調補正部２０を兼ねてもよく、その場合には、更にデータとしてし色調補正テーブル１４ｆ、プログラムとして色調補正モジュール１４ｉ、後述の第２の実施形態で使用されるボケ補正モジュール１４ｊを格納してもよい。
【００５７】
１５０は入力インターフェースであって、本例では復号部１０からの復号データ（ＢＭＰ）、復号ＤＣＴデータ、量子化テーブル値、また装置固有のあるいは外部から指定可能な対象色データを入力する。１６０は出力インターフェースであって、選別領域や色調補正禁止信号を出力する。尚、本装置が色調補正部も兼用するのであれば、出力は色調補正画像データ（ＢＭＰ）となる。更に、本装置が復号部１０も兼ねてもよく、その場合はＪＰＥＧデータが入力され色調補正画像データ（ＢＭＰ）が出力される。その場合には、さらにデータ及びプログラムが準備されることになる。
【００５８】
＜第１の実施形態の画像処理装置の動作手順例＞
次に、この画像処理において、最も重要と思われる注目画像検出である人物検出のフローチャートを図６に示す。
【００５９】
尚、図６に示される検出工程は、大きく分けて２段階あり、１段階目はステップＳ６０１からＳ６０８を含み、画像全体から、圧縮単位である８＊８ブロックの画素単位での色度比率が検出対象の定義色度に対応している領域とそれ以外の領域に分離し、該当ブロックの長手方向（図１０や図１４のような横長の画像では横方向を示す）に隣接する物をまとめることで、候補を作成する段階であり、２段階目はステップＳ６０９からＳ６１３を含み、定義した色度比率に該当する候補がＤＣＴのＡＣ成分の平均値において、検出対象の定義した特徴量範囲に該当しているかを判定して、該当する候補に基づき注目画像を判別する段階である。
【００６０】
＜１段階目の処理例＞
最初のステップＳ６０１において、８＊８画素のブロック単位のＤＣＴデータと量子化テーブルとを取得すると同時に、画像ファイルはＲＧＢビットマップデータに展開する。
【００６１】
（肌色色度のブロック検出例）
次に、ステップＳ６０２に進んで、ＲＧＢビットマップデータにおいて、８＊８画素のブロック単位に本実施形態における注目画像である人の肌色の色度に対応するか検索を行う。
【００６２】
この場合、入力画像サイズにより８＊８画素ブロックの画像が全画像に対して占める割合が違うので、入力画像サイズに比例した端部の設定を行う。例えばＶＧＡ(640*480)では8ブロック分（長手方向４×短い方向２）で、UXGA(1600*1200)画像においては２０ブロック分（長手方向５×短い方向４）とする。
色度の検索方法としては、複数の方法がある。知られているものとしては、
１）Ｂ（青）／Ｇ（緑）の比率が０．７〜０．８の範囲に収まり、Ｒ（赤）／Ｇ（緑）の比率が１．４〜１．８の範囲に収まる色度を持つもの。
２）図５の概念図に示すように、肌色を確率楕円にて表すことができる。求める式としては下記の式（１）〜式（３）になる。
【００６３】
【数１】
本実施形態においては、処理の簡便さを考慮に入れた下記式（４）である色度分布範囲を肌色の色度範囲とした。この範囲を表したのが図２０である。
【００６５】
【数２】
本実施形態においては、画像における周波数成分の特徴を検出する単位として８＊８画素単位のブロックで行っている関係で、構造的論理的な簡単さより色度判定においても８＊８画素単位にて実行する。
【００６７】
図７は、本実施形態で用いている色度検出ポイントを図示したものである。これによると「８＊８画素」単位のブロックの四隅の色度の全てが色度範囲に入っているか否かを確認し、全てが範囲に入っている時は、そのブロックを適合色度と判定している。
【００６８】
図７においては、上段の左から２番目と下段の左から１，２，３ブロックが該当する。上段の一番左のブロックは４ポイントのうち左上の式度は非肌色ピクセルと判定されるので、これを含むブロックは肌色の範囲外と判定される。同じように上段の右側１，２ブロックと下段の一番右のブロックが範囲外となる。
【００６９】
図８は、「８＊８画素」単位のブロック全体の平均色度による判定である。このブロック内の平均色度の求め方としては、８＊８ブロック全ての画素値の平均値を取る方法の他に、解凍中の逆ＤＣＴを行う前の色度データ（Ｃb，Ｃr）の中のＤＣ成分から求めることも可能である。この方式の利点としては、ブロック全体の色調にて判定できるので、検出点の少ないものに比べて精度が高い期待ができる。ここで、自然画における色度のみの検出についての内容を見ることにする。
【００７０】
図９は、図７と同じ考えの中ではあるが、全体画像における検出間隔を等分化するためのものである。
【００７１】
図１０は、一般的なポートレート写真であり、図１４は人物の肌色色度と同様な色度範囲を有する枯木の林の写真である。図１０と図１４に対して、それぞれの画素に色度の適合だけで検出を行った結果を図１１と図１５に示す。
【００７２】
図１１のポートレートでの検出結果としては人物の肌色部分をよく検出しているが、その他に柵や背景の中で、ごみのような細かい部分においても適合色度を満たすものが検出されていることがわかる。このため、色度のみでは注目画像を特定できないことがわかる。
【００７３】
図１４においては、人物の肌色を検出する目的にもかかわらず同じ色度を持つ枯れ木の林が全面検出されている。このように、画素レベルでの色度判定を行った場合、注目画像を特定することは不可能である。
【００７４】
検出をブロックレベルにすることにより、特定のまとまりを持った状態が対象になるので、外来ノイズの影響は受けずらくなる。
【００７５】
（肌色色度のブロック検出の改善例）
図３５は、デジタルカメラで撮影された複数の人物肌領域の平均色度比率をプロットしたグラフである。横軸は、赤色成分の色度比率で、“R／Ｒ＋Ｇ＋Ｂ”の計算により各８＊８ブロック単位で求めた物を、検出全領域において平均値を出した物である。縦軸は、緑色成分の色度比率で、“G／Ｒ＋Ｇ＋Ｂ”の計算により各８＊８ブロック単位で求めた物を、検出全領域において平均値を出した物である。また、このグラフにおいては、領域の色度比率に関連付けて領域の平均輝度も８等分して分類をしている。
【００７６】
前記実施例においては、適合色度比率範囲を、下記のように設定している
赤色成分の色度比率“０．３５〜０．４４”
緑色成分の色度比率“０．２９〜０．３３”
このグラフの結果を見ると、定義に大半は適合するが、人物の肌の色は、反射光の為光源により定義に入らない物も存在する。その中で、注目すべきは輝度が１６０以上の分布である。特に２２３〜２５５の採光輝度に分類される領域においては、分布が前記定義より左上方向である白色方向へシフトしていることが認識できる。
【００７７】
図３８は、高輝度領域を人物肌に持った物の画像サンプルである。この画像の輝度分布を示した物が図４２である。
【００７８】
図４２においては、横軸は０〜２５５階調に表された輝度範囲で有り。左端が０、右端が２５５である。縦軸は、画像内の輝度成分を持った画素の分布である。左側の小さい山は輝度の低いコート部分。真中やや右目の大きい山は舗装道路であり面積占有率が一番大きい。最右部に人物の顔の輝度情報が分布している物である。
【００７９】
この画像図３８に対して、先の実施例の定義で一次抽出における色度比率によるグループ検出を行うと、図３９のような結果になる。図３８の人物肌の領域を考えると輝度の上昇により赤色成分がオーバーフローして色度比率の適応範囲から白飛びしてしまっている事が確認できる。この領域だけでも、露出補正などへ利用する情報としてなら利用可能であるが、前記ボケ補正などに利用するには、人物肌の顔領域の検出が不十分である。
【００８０】
図４０は、適応色度比率の範囲を下記のように広げただけの場合の結果である。
赤色成分の色度比率“０．３３〜０．４６”
緑色成分の色度比率“０．２７〜０．３５”
適応色度比率の範囲を広げるだけでは、人物の肌領域は検出できるが、舗装道路の色度比率も適応化してしまい、注目画像以外の領域についても検出してしまい、結果的に効果を上げることは出来ない。
【００８１】
図４８は、この状態を鑑みて人物肌の色度比率適応範囲の定義を入力画像のレンジを考え、輝度クラスにより定義した物である。
【００８２】
上記定義は、輝度１６０までは前記定義と同じ色度比率範囲としているが、輝度が上がるにつれ検出した人物肌の色度範囲が移動しているのに対応した物で、輝度２２０以上に付いては下記の範囲とする。
赤色成分の色度比率“０．３３〜０．４２”
緑色成分の色度比率“０．３０〜０．３４”
また、輝度レンジが１６１〜２１９までの間は一次式による算出により範囲を規定する。
【００８３】
この方式を用いて、図３８に対して検出した結果が図４１である。
【００８４】
本実施例においては、色度比率範囲を高輝度においても適応領域の範囲に変化は無いようにしているが、色度比率が白色に近くなるにつれ人物肌以外においても自然界に存在する物が多くなるので、誤検出を防ぐ為に高輝度域の適応領域の範囲は狭めても良い。
【００８５】
（肌色ブロックの連続範囲による候補検出例）
ステップＳ６０２での８＊８画素のブロックの人物肌抽出が適正なまとまりの大きさとは言えず、色度によるブロック検出においても縦方向及び横方向に隣接したブロックの連続検出という、制約を付けた検出を行うことで更に精度を上げる。
【００８６】
人の肌色であってもプリントにおいて顔を認識できるデータ量を満たさないものにおいても適応外としてはじいてもよいと言う概念でノイズと判定する連続範囲を設定する。
【００８７】
この部分を表したのが、図６のステップＳ６０３以降の処理である。すなわち、ステップＳ６０３においては、画像に対して長手方向（図１０や図１４のような横長の画像では横方向を示す）にブロックごとに色度検出を行い、連続検出ブロック数の多い順に候補を策定する。
【００８８】
次に、ステップＳ６０４において、その連続量が、注目画像としての適応する連続量に入っているか否かを比較する。本例では、ＶＧＡで２ブロック、ＵＸＧＡで４ブロックとしている。この比較の結果、該当する連続ブロックがある場合はステップＳ６０５に進み、短い方向のブロック連続検出設定を満たすデータが画像に存在するか否かの、検索を行う。本例では、ＶＧＡで２ブロック、ＵＸＧＡで４ブロックとしている。
【００８９】
次に、ステップＳ６０６において、検出データが有るか否かを判断し、検出データが有る場合にはステップＳ６０８に進んで、この過程で残ったものの中から長手方向の連続ブロック量が大きいデータから順に候補番号を付ける。
【００９０】
また、ステップＳ６０６の判断の結果、検出データが無い場合にはステップＳ６０７に進み、「目的領域無し」をセットして処理を終了する。
【００９１】
＜２段階目の処理例＞
まず、連続ブロックにて色度判定を施した場合の効果について、図１２と図１６で示す。
【００９２】
図１２においては、図１０のポートレート画像に対して検出を行った結果である。図１２において、検出候補の優先順位が高い方から（検出ブロック長が長い方から）カラーコード（１＝茶、２＝赤、３＝橙、４＝黄、５＝緑、６＝青、７＝紫、８＝灰）順に配置され、それ以外で検出されているのは色度のみ適性範囲に入っているものである。連続ブロック検出により画素レベルの色度検出と比べるとかなりの背景などの非該当候補を削除できていることが判る。
【００９３】
図１６においては、図１４の枯木の林に対して検出を行った結果で、連続ブロック検出においても注目画像以外を検出してしまうことがわかる。
【００９４】
（候補領域からの目標領域の選別例）
（ＶＧＡサイズの判別テーブル例）
次に、ＶＧＡ（video graphics array）サイズ（６４０＊４８０画素）の複数の画像サンプルを用いて人物肌と枯れ木の林の部分において、検出された適合色度連続ブロックにおける周波数特性を算出した。
【００９５】
図１８は、画像内に撮影されている人物肌の連続ブロック検出されたブロックのＤＣＴデータを周波数の低い順に並べたものを、周波数の低い方から１０個単位で加算し、連続ブロック数で除したもので、連続検出されたブロックの１個あたりの平均周波数成分をまとめたものである。
【００９６】
したがって、図面において横軸は、ＡＣ成分６３個の周波数成分をまとめたもので、１０個単位のまとまりが６グループと最も周波数の高いデータは３個分のデータとなる。縦軸は、各周波数成分の要素を加算した値である。
【００９７】
これにより、値が大きいほどそのブロックにおいて、該当周波数成分が高いことがわかる。また、検出した連続ブロック数ごとに色分けしたデータ線で表されている。例えば"Ｂ２"は連続ブロックが２個検出されているデータの平均した値を表し、"Ｂ１５"は連続ブロックが１５個検出されているデータの平均した値を表している。以下同じで、"Ｂ２〜Ｂ１５"までの複数画像からの平均的な人物肌色部分の連続検出値ごとの空間周波数特性を表している。
【００９８】
検出結果を見ると、
１）低い周波数成分の値が大きく低い周波数成分の下から３グループ以降は、連続ブロック数に係わり無く５０以下となっている。
２）連続ブロックの連続値が大きいほど周波数特性が低くなっている。
【００９９】
これらの結果から言えることは、人物の肌色部分の周波数特性は比較的低い周波数で構成されていることと、検出された連続ブロックの値が大きいことは、被写体の撮影された大きさが大きいことを示していて、この連続ブロックとしての平均値を出すことによって周波数成分が下がっていることがわかる。
【０１００】
連続ブロックの連続値により、同じ注目画像の色度を持っているものでも、その連続ブロックを１つの代表値にすること（例えば、Ｂ６のブロックの時は検出した６個のブロックの値を、各々周波数の低い順に１０個単位のグループとして加算したものをグループごとに加算した後、その連続値である６で除して平均を出している。）により、空間周波数特性の値が変わるので、連続検出値により適当な該当周波数特性が違うことが判る。
【０１０１】
図１９は、人物の肌色色度と同様な色度範囲を有する枯木の林の写真を複数用意して、検出を行った結果を図１８と同じように表したものである。
【０１０２】
検出結果を見ると、
１）人物の肌の空間周波数特性と比べると高い周波数成分にデータ多くあることが確認できる。
２）一番低い周波数成分のグループは人物の肌の結果と大きくは違わない。
【０１０３】
これらのことから、連続ブロックにおける周波数成分を検出することで、同じ色度を持った検出物体を周波数特性により区別することが可能であることがわかる。
【０１０４】
図４は、本実施形態において使用したもので、注目画像である人物肌の空間周波数特性を表したものである。上の段がＶＧＡ（６４０＊４８０）画像における周波数特性の適正範囲である。
【０１０５】
連続ブロック値を２〜８個のグループ（〜L8）と９〜２０個のグループ（L9〜２0）と２１個以上のグループ（L２1〜）の３グループにまとめて、グループごとに周波数の適正範囲を設定したものである。周波数の適正範囲も先に示した１０個単位の７グループによる周波数特性を用いた。これは、処理の簡略化と検出精度のバランスで行ったもので、これに縛られる必要は無い。
【０１０６】
（ＶＧＡサイズ／ＵＸＧＡサイズの判別テーブルの選択例）
次に、画像サイズがデジタルカメラで普及している２００万画素相当のUXGA(1600＊1200)画像について同じ撮影条件でＶＧＡ画像と比較してみる。
図２５は、図１８で使用したデータと同じシーンを対象にUXGAサイズにて撮影したものを検出した結果を、図１８と同じように周波数特性量と各レンジにおけるデータ量の平均を用いて表したものである。
VGA画像との検出特性の差を見ると、
１）連続検出ブロックの検出範囲が大きくなっている。具体的にはVGA画像検出での連続値は２から１５ブロックの連続検出である。それに対して、UXGA画像検出では検出値が４から４０の連続ブロックを検出している。
２）UXGAの方がブロック内の周波数特性が低い。例えば、１〜１０のブロック平均を見ると、VGA画像では３００〜１００のデータ量に分布しているのに対し、UXGA画像では２００〜３０の範囲にデータが分布している。一枚の画像に収まる中で、注目画像になりうるものは、全画像に対する大きさとしては、特定の比率の範囲に入っているのが一般的な考え方である。
すなわち、画像全体における画像補正の対象となりうる検出すべき対象画像が、検出したい画像であり、たとえ人物の顔が検出できても豆粒程度なら、そのために、そこを中心に補正を行うことは、他の領域とのバランスを考えた時、好ましいとわ言えない。この考えに基づいた例として画像に占める割合が１００分の１程度以下では検出する意味が少ないと言える。
【０１０７】
例えば、画像全体の中で注目画像が長手方向で１００分の１しか占めない場合はどうであろうか、一般のプリントを考えた場合、その注目画像に対して最適な補正を掛けても、出力後の補正を行われた注目画像は、ほとんど紙面を占めておらず、特定の注目画像を補正するよりは画像全体を補正する方がその画像においては効果的と考えられ、注目の定義から外れると考えられる。
本実施形態においても、各画像サイズに適したそれぞれの注目画像の適正範囲を持っている、この範囲以下でも以上でも補正対象とする注目画像の検出候補から外れる。
したがって、この例においては、UXGA画像における長手方向の１００分の１は１６００割る１００なので、１６pixelで２ブロック(8*8)分になり、色度と周波数成分が合致してもレングスの意味合いから候補の対象から外している。ちなみに、UXGA画像においては、検出連続範囲としては４〜６２ブロックと設定している。
VGA画像においては、同じ考えで１００分の１は６．４pixel となり、１ブロック分にも満たない。VGA画像においては、検出連続範囲としては２〜２５ブロックと設定している。この違いは、画像サイズによる１ブロック（8＊8）分の全画像に対する占有比率の差によるものが発生している。
画像全体中の一定の比率範囲に注目画像が入っていると考えると、画像サイズにより８＊８画素のブロックの空間周波数における意味合いは変わる。このため、同じ撮影画像でも画像サイズにより検出ロック数も違えば周波数特性も違ってくる。
本実施形態では画像ごとに検出連続範囲を上記のように設定しているが、数式に置き換えることも可能である。 例えば、下記式（５）の様に最低連続数を設定することができる。
【０１０８】
【数３】
図１９との比較においては、先述の図１８と図２５の比較と同じ傾向がある。ＡＣ成分の２０以上のグループではかなり高周波成分が低減していることがわかる。しかしながら、人物肌とのデータとは分布が極端に違うので、周波数帯域ごとに適応範囲を設定することで、分離することが可能である。
このために設定したものが図２７のUXGA画像用判定テーブルである。構成は図４のVGA画像用判定テーブルと同じであり、画像サイズの違いによる平均ブロックの空間周波数特性の違いのみである。
【０１０９】
（ＶＧＡ／ＵＸＧＡでの判別テーブルの共有例）
図４３はUXGA（１６００＊１２００）サイズで人物を撮影した画像サンプルである。また、同じ人物の顔をＶＧＡ（６４０＊４８０）サイズで撮影した画像サンプルが図４５である。
【０１１０】
この２サンプル画像に対して先の実施例の定義で一次抽出における人物肌領域検出を行うと、検出領域の結果は、図４４、図４６のようになる。
【０１１１】
人物の顔の部分に注目すると、検出領域における検出ブロック数はUXGA画像（図４４）が７１９ブロックであり、ＶＧＡ画像（図４６）では６３９とほぼ同じであり、この時のＤＣＴのＡＣ成分平均値による特徴量も下記表のようにほぼ同じになる。
【０１１２】
【表１】
つまり、人物肌の検出領域におけるＤＣＴのＡＣ成分平均値による特徴量は、入力画像サイズに依存するよりも、検出した領域を構成する画素数（８＊８のブロック数）に依存することがわかる。
【０１１４】
この考えを元に、複数の画像についてＵＸＧＡ画像とＶＧＡ画像に対して検出した８＊８ブロック数とＤＣＴのＡＣ成分平均値との関係をまとめた物が、図３６（ＵＸＧＡ）、図３７（ＶＧＡ）である。
【０１１５】
図３６及び図３７の横軸は、ＤＣＴ値のＡＣ成分の平均値を空間周波数成分の低い領域から１０個単位でまとめたものである。縦軸は、ＤＣＴのコード量（１０個単位の和である。但し７グループ目は３個分の和になる。）
同じ画像でも、画素数が違う為全画像に占める人物肌領域の占有率は同じでも、検出した８＊８ブロック数が違うので、図３６と図３７では、検出ブロック数の値が違う部分があるが、その中で共通な１００〜１９９を見るとほぼ一致している特性を示していることが確認できる。
【０１１６】
上記結果より、検出画像サイズである８＊８ブロック数と検出領域のＤＣＴ値ＡＣ成分の平均値特徴量を規定したものが図４７である。
【０１１７】
先の実施例では、画像サイズにより特徴量判定テーブルを持つ必要があったが、本方式を用いることで、判定テーブルの簡素化を図ることが出来る。
【０１１８】
本実施例を利用した一次抽出のフローチャートを図４９に示す。
【０１１９】
ステップS5901においては、１段階目の図４８で規定した適合色度比率のブロック判定を行う。
【０１２０】
ステップS5902においては、上記ステップにおいて適合したブロックの隣接状況を検出し、グループ化する。
【０１２１】
ステップS5903においては、グループ化した候補において、グループの構成ブロック数の多い順に候補番号を発行する。
【０１２２】
ステップS5904においては、候補番号順にＤＣＴのＡＣ成分特徴量による判定を実行する。
【０１２３】
ステップS5905においては、判定に適合した最終検出した結果を画像補正へ渡せるように必要事項をセットする。
【０１２４】
（目標領域の選別手順例）
図６の説明に戻る。上述したように、色度により検出された長手方向の連続量が大きいデータから順に注目画像の候補番号１〜ｎ（本実施形態においてはｎ＝８）を付ける（ステップＳ６０８）。ｎ以降の検出したものについては候補番号は付けられない。
【０１２５】
次に、ステップＳ６０９に進み、上記候補１〜ｎに対して、ステップＳ６０９からＳ６１２を実行して、図４で示した連続ブロック数に対する空間周波数特性適正範囲判定表の範囲に適合するか逐次比較する。この結果、適合する候補が存在しない場合は注目画像が存在しないと判断する。
【０１２６】
この候補１〜ｎに対して、画像サイズがVGA(640*480)である時は、図４で示した連続ブロック数に対する空間周波数特性適正範囲判定表の範囲に適合するか逐次比較する。最初の連続検出ブロックから周波数特性の特徴量について、適合範囲内であるか比較を行う。
【０１２７】
この時、上述したように入力画像サイズが違う画像、例えばUXGA（1600＊1200）画像においては適合判定に図２７のUXGAテーブルを使用して比較判定を行うのが好ましい。
この場合、本実施形態においては、画像サイズごと、もしくは、画像サイズ範囲（例えばVGA〜XGAとSXGA〜QXGAまでなど特定の画像範囲において共通のテーブル）ごとに設定した適応周波数特性判別テーブルにて周波数特性の比較判定を行ったが、数式を用いた判定基準を代わりに用意してもよい。
例えば、数式の作成方法としては、既に適正化テーブルがあるVGAとUXGAのテーブルを元にこの２点間の画像のサイズと周波数成分の値による変化量を対応付け、１次式にて近似して使用することができる。
（注目画像と補正値強度の決定例）
空間周波数による判定の結果、適合する候補が存在しない場合は注目画像が存在しないと判断する（図６には図示せず）。また、適合する候補が存在する場合には、ステップＳ６１３で候補グループを形成し、その１つを注目画像として補正量強度を決定する。
図２２に、そのフローチャートを示す。
【０１２８】
最初のステップＳ２２０１において、候補の数を確認する（１〜ｍ）。
【０１２９】
次に、ステップＳ２２０２に進み、候補グループを形成する。この場合、候補に隣接する色度適合ブロックを候補グループとする。この時、候補グループに複数の候補が含まれた場合は、候補番号の若い方を候補グループ番号とする。
【０１３０】
次に、ステップＳ２２０３に進み、候補グループが複数グループあるか否かを判断する。この判断の結果、候補グループが１つであれば、ステップＳ２２０５でその候補グループを注目画像として以下に示すポイントを算出する。
【０１３１】
一方、候補グループが複数グループあれば、ステップＳ２２０４に進み、各候補グループに対して、どちらのグループが補正対象となる注目画像としての重みが大きいかを判断するために、グループ内の確からしさをポイント換算で、比較を行い、よりポイントが高い候補グループが最終注目画像と設定される。もし同じポイントであれば、候補グループ番号の若い方を最終注目画像とする。
【０１３２】
ポイントの方法としては、候補が"m"個存在する場合、候補１のポイントは"ｍ"。候補２のポイントは"ｍ−１"以下同様に候補ｍのポイントは"１"となる。
【０１３３】
このようにして、候補グループ間の優位性を判断した結果の実例を図２３に示す。検出した候補グループは２グループあり、そのうち右のグループのポイントが左の候補グループのポイントを上回ったので、最終候補となっている。
【０１３４】
また、ポイント数の絶対値は、対象となる候補グループの注目画像としての信頼度を表しているので、このポイントにより注目画像に対する補正強度を決定する。補正強度決定方法としては、ポイントによる閾値を設け、閾値の上下関係で強度の指定を行う。
【０１３５】
但し、このようなポイントによる注目画像の検出ではなく、より軽い処理として、一番長い検出値の候補が入るグループもしくは、検出値そのものを注目画像としてもよい。この場合、本実施形態より検出確率に多少の差は発生するが、処理能力の低い機器ではこの方式のほうが適合する場合もある。
＜本実施形態の処理結果例＞
先の、図１０と図１４に対する結果を図１３と図１７に示す。
【０１３６】
図１３においては、注目画像である人物の顔の肌を検出している。また、図１７においては、各候補が周波数特性に適合せず候補部分が黒塗りの状態で表している。これは、注目画像が検出されなかった状態を表し、注目画像に重みを置いた画像補正の対象にならないことを示し意している。
【０１３７】
こうして注目画像を検出することができる。通常の画像補正は、画像全体のバランスに亘って補正が行われるので、逆光などで本来注目したい画像の画質を落としてしまう場合が存在しているが、本実施形態による注目画像検出により、補正項目として輝度の最適化のための露出、及び好ましい肌色のための色バランスや彩度補正を注目画像のデータを基に補正を行うことで、より高品質な画像を得ることができる。
【０１３８】
図２４に、一般画像補正を行った結果と、本実施形態の注目画像検出を利用して画像補正を行った結果の一例を示す。図２４に示したように、本実施形態の注目画像検出を利用して画像補正を行った場合は、人物などの注目画像をより良くプリントすることができる。
【０１３９】
＜第１画像抽出の処理手順の改善例１＞
次に、復号部の量子化テーブルによる画像への特性を説明する。
【０１４０】
図２８〜図３０は、代表的画像アプリケーションがJPEGファイルを作成する時の画像圧縮比率を決定する為の１３種類の量子化テーブルである。図２８〜図３０において、テーブル"００"は最も画像圧縮率を高めたものであり、テーブル"１２"は保存画質を高め、画像圧縮率を低めたものである。
【０１４１】
テーブルについて説明すると、図３の▲３▼〜▲４▼で説明した８＊８画像のＤＣＴ後のデータをさらに圧縮するために使用するもので、画像における６４個の各空間周波数に対応した値に対して、同じ位置の位の値で量子化を行う。
【０１４２】
テーブル"００"の場合で、図３の▲３▼を量子化する時は、例えば８＊８ブロックの左上の"２２４"の値をテーブル"００"の同じ位置の左上の値"３２"で量子化し"７"となす。また、最も周波数成分の高い８＊８ブロックの右下では"−１"を"１２"で量子化し"０"となる。
【０１４３】
図３１に、図２８，２９，３０のテーブル"００"〜"１２"の特性及び市販のデジタルスチルカメラの記憶部で使用している量子化テーブルを示す。
【０１４４】
横軸は、量子化テーブルＡＣ分６４個を１０個単位でまとめたものであり、縦軸は、その１０個単位の値の平均値である。したがって、どの空間周波数成分を多く量子化しているかを確認することができる。
【０１４５】
テーブル"００"〜"０４"においては、低周波成分の量子化比率が大きくなっている。市販のデジタルスチルカメラでは、低周波成分での量子化量は少なく、高周波成分域においても"１５"未満である。これに対応する量子化比率は、アプリケーションにおけるテーブル"１０"以上であり、画像の量子化としては低圧縮率の分類になる。
【０１４６】
ポートレートである図１０と、人物肌色度に一致する枯れ林である図１４の画像に対して、上記テーブルを１個飛びに用いて量子化を行った後の画像に対して、それぞれ注目画像検出を行った結果を、図３２及び図３３に示す。
【０１４７】
図３２の場合、テーブル"００"を使用した時は低周波成分の量子化の大きさにより判定テーブル（図４）による人物特性から外れてしまっている。テーブル"０２"では、人物を検出したが、検出ポイントは低い。テーブル"０６"以上で安定した検出ができている。
【０１４８】
図３３の場合、テーブル"００"を使用した時は、本来人物肌判定テーブル（図４）より高周波域で、外れてしまう検出値が量子化による誤差で、"検出判定"となり、誤判定になってしまっている。こちらの場合でも、テーブル"０８"以上で安定した検出ができている。
【０１４９】
したがって、量子化テーブルの値により、判定の精度が変わるので、このための量子化テーブル判定を行う。すなわち、圧縮画像のＤＣＴのＡＣ成分を特徴量として画像の中の特徴抽出を行う為、量子化テーブルの値があまりに大きいと、画像の中のＡＣ成分が欠落してしまい、検出時に判定から外れてしまう可能性がある。そこで、一般のデジタルカメラや、Ａｄｏｂｅ PhotoShopでのJPEGで高品位と考えられる画像では問題なく検出対象とする為に、実データより推測して設定した値として、量子化テーブルの値の総和が”６３０”を超えない程度と言うことになっている。
【０１５０】
本実施形態においては、判定を簡単化するために量子化テーブルの各項目を加算し、その合計が"６３０"以下の場合のみ判定への使用を可能とする対応画像と判断することとした。
【０１５１】
量子化テーブルの判定方法は、この他に、低周波成分での値などに注目する方法、低域３０までの総和を"１５０"とする方法など、検出する注目画像の空間周波数特性により幾つも考えることができるが、量子化テーブルの特性を使用するようにしてもよい。
【０１５２】
本例の処理を２段階目の前に実行する場合は、取得した量子化テーブルから図３４のフローチャートに示した処理を行い、ＡＣ成分特性判定テーブルを設定する。
【０１５３】
処理としては、まずステップＳ３４０１で量子化テーブル内のすべての値を加算する。この値が、量子化の程度をあらわすことになる。ステップＳ３４０２でこの加算値が所定値以上か否かが判定され、例えば、この値が６３０以上である場合は、注目画像の空間周波数特性が変わってしまっていると考えられるので、注目画像検出は中断して終了する。６３０未満の場合は、注目画像の空間周波数特性に影響は無いと判断され、ステップＳ３４０３で（入力画像サイズによる）ＡＣ成分特性判定用テーブルの選択を行い、空間周波数による選別処理に進む。
【０１５４】
又、本例の処理を１段階目の前に実行してもよく、その場合はステップＳ３４０３では、図６の処理を実行する。
【０１５５】
＜第１画像抽出の処理手順の改善例２＞
上記第１画像抽出の処理手順では、１段階目では、短い方向には予め決められたブロック数（ＶＧＡでは２ブロック、ＵＸＧＡでは４ブロック）で、長手方向に肌色ブロックが長く連続する場合を候補として抽出し、２段階目で空間周波数による選別と短い方向に隣り合う候補のグループ化を行った。
【０１５６】
しかし、１段階目で、抽出した候補から短い方向に隣り合う候補グループを作成して、候補グループに例えば上述のポイント数に基づいて番号を振りなおし、２段階目では、各候補グループの空間周波数による選別を行って、注目画像を抽出してもよい。
【０１５７】
この処理により、２段階目の処理が簡素化されると共に、空間周波数による選別をより安定的に実行することが可能になる。
【０１５８】
本実施形態においては、プリントのための最適画像処理用に注目画像を検出する方法を示しているが、表示用などにも使用できることは言うまでも無い。
【０１５９】
また、本実施形態においては、検出画像の周波数成分特性を見るために周波数情報を１０個単位で加算して周波数成分の６３個を７グループとして、画像の特性を判断したが、グループ化という発想をなくし、６３個全ての周波数をそのまま利用してもよいことは言うまでも無い。
【０１６０】
更に、画像の長手方向からの連続量の検出後短い方向の検出を行ったが、この順序も逆になっても可能であり、この他、検出ブロックを一列のグループとして検出する方法以外にも色度で検出したグループにおける全ての方向に隣接したブロックグループという、とらえ方で空間周波数特性を確認する方法など、色度と周波数特性を組み合わせた検出方法はいくらでもあり、これら一連の検出方法は本発明に含まれることは言うまでも無い。
【０１６１】
本実施形態においては、図４や図２７のように、連続検出値を３グループに分け周波数特性の適正範囲との比較を行い周波数特性の合否を判定したが、連続検出を３グループ化したのは、実施形態を簡単化するためで、連続値ごとに適正範囲を設定してもよいし、連続値には相関関係が有るので、テーブル方式ではなく理論式による方法を用いてもよい。また、周波数特性も７グループ値を使用したが、６３個の周波数のすべてにて行ってもよいし、更には特定の周波数に注目して判定してもよい。
【０１６２】
本実施形態においては、検出の目的になっている注目画像は人物の肌の領域に設定して説明しているが、周波数成分、もしくは周波数成分と色度により検出可能なものは、人物の肌色に限らず、空、海、木々の緑なども存在する。
【０１６３】
本実施形態においては、８＊８ブロック単位データの周波数成分を周波数の低い順から１０個単位でまとめた値を用いて、その１０個の和によるグループ（最も高い周波数グループは３個の和）の特性から周波数特性を代表させているが、JPEG ファイルの場合、ＤＣ成分１個に対し、ＡＣ成分６３個の構成で、周波数特性を表しているので、１０個の集合体として特性を見なくてもよい。
【０１６４】
また、６３個の個々の特性より判断してもよいし、もっとグループ化してもよい。また、特定の周波数成分のみの利用により特性を導き出してもよい。このように、周波数特性を利用した特性を導くのにＡＣ成分の利用方法はいくらでもある。
【０１６５】
更に、本実施形態では８＊８ブロックの連結と言う概念で縦方向と横方向について注目画像を検出するために色度該当ブロックの連続性において、候補を抽出しているが、この時のブロック集合体の判定方法も、この方法に限られてものではないことは言うまでも無い。
【０１６６】
本実施形態では連続検出した色度ブロックに対して検出した連続値により、端のブロックを削除した値を特性利用しているが、周波数成分による適合から色度ブロックの境界を設定したり（図２１）、予め特定以上の周波数特性のあるブロックを、色度検索を行う前に除外してから行うようにしたりなど、ブロックの集合体を決定するための色度と周波数成分による分離の仕方は、複数の方法と組み合わせがあるが、本願特許の範囲に包含される。
【０１６７】
上記図２１について説明する。図２１の左側は元画像であり、このJPEG ファイル画像の圧縮単位である８＊８画素ブロックの周波成分における高周波成分の総データ値が閾値を超えるか超えないかで判定したのが右側の画像になる。明るい部分が高周波成分を持つ領域で、暗い部分が高周波成分の少ない領域である。この領域を境に設けた色度判定による注目画像検出も可能である。
【０１６８】
また、本実施形態は、画像圧縮ファイルとして、"JPEGファイル"を利用した方法を開示したが、"JPEG2000 ファイル"など、周波数成分への変換を利用した他のファイルに対しても同様な考え方で、注目画像の検出を簡単な処理で実現できることは、言うまでもない。
【０１６９】
上記実施形態においては、周波数成分と色度を中心に配置情報などを入れて注目画像検出を行ったが、このねらいは、注目画像を中心とした画像補正を行う為である。したがって、検出された注目画像領域の輝度を含むデータが補正を行うことが有効でない状態として検出された時、例えば暗過ぎる値でつぶれている時などは、補正として無理に諧調性を持たそうとすると、ノイズだらけになってしまう場合がある。
【０１７０】
この不都合を回避するために、図６の検出結果に対して、検出された部分領域の各ブロック直流成分データを利用して輝度平均を出し、補正に適した輝度範囲に入っているかを比較することで、更に精度の良い注目画像における画像補正を行うことができる。
＜第２の実施形態の画像処理装置の構成例＞
注目画像として人物の顔が撮影された場合が、図５１の画像サンプルである。この画像サンプルは、画素数が３０万画素と、近年の入力機器の能力としては低いクラスのジャンルに入る物で、画像ファイルサイズも６０Kバイトと圧縮率の高い物である。このような画像に対しては、上記構成の注目画像検出を行って露出補正を行っても画質の向上は大きくは期待できない。このような画像に対しては、有効な補正としては、通常アンシャープマスクによる補正を行うことで、ボケを排除し、メリハリの利いた補正を行う事が知られているが、この欠点として、画像全体にアンシャープマスク補正を利かせた場合は、肌領域においては肌がざらついた状態になりやすいので、画像全体に行う場合は補正強度を低くするしかなく、また、効果的である目や口の領域のみに利かせるには、領域指定を自動化することが難しい状態であった。
【０１７１】
図５０は、第２の実施形態の画像処理装置の構成例を示すブロックである。図５０では、第１の実施形態の構成要素はブラックボックスで図示されている。この構成要素は基本的に第１の実施形態と同様である。第２の実施形態の特徴ある構成は第２画像抽出部１００ｂとボケ補正処理部３０の追加である。
【０１７２】
第２画像抽出部１００ｂは、第１の実施形態の第１画像抽出部１００ａと共に、画像認識部１００を形成する。第２画像抽出部１００ｂは、画像の縦横比しきい値３０１ａにもとづいて候補領域を選別する候補領域選別部３１０と、特徴部位しきい値３０２ａに基づいて選別された候補領域内にある特徴部位（本例では、顔領域中の目や鼻、口、眉等）を抽出する特徴部位抽出部３０２とを有する。本例では、顔の論客の縦横比により顔領域を選択する。
【０１７３】
特徴部位抽出部３０２から出力された特徴部位の情報に基づき、復号部１０から出力される復号画像は、第１の実施形態での色調補正に先立って、ボケ補正値算出部３０ａが算出した値に従ってボケ補正処理部３０でボケ補正処理が行われる。
【０１７４】
尚、ハードウエア及びソフトウエア構成は、図１Ｃと類似であるので図示及び説明を省く。
【０１７５】
＜第２の実施形態の画像処理装置の動作手順例＞
上記構成の人物肌領域の検出機能を利用した本発明の概略のフローチャートを図６０に示す。
【０１７６】
フローチャートの説明を行う。
このフローチャートは、本発明における入力画像の中に人物の顔領域の検出と、その構成画素数や量子化フィルターの値により、その人物顔の肌領域内の目や口等の検出と補正処理の適正強度設定及び実行の流れを表している。
ステップS5601においては、対象画像の画素数及び量子化テーブルを基本に、印刷時の拡大倍率と解像度情報を元に、二次画像抽出が必要な物かの判定用情報取得を行う。前記図５１のような画素数の少ない画像は二次画像抽出の対象となりうる。
【０１７７】
ステップS5602においては、前記図６で開示したフローによる注目画像抽出処理を行う。この実施例においては、人物顔の肌領域の特徴量を持つ領域の検出を行う。図５１の画像に対しては、図５２で表すような領域を抽出することになる。図５２における白い部分の領域が人物顔の肌の特徴量を持つ領域と判定され、黒い部分はそれ以外の部分である。この検出において、肌領域部分の特徴量の他に、平均輝度などの算出も行う。
【０１７８】
ステップS5603においては、ステップS5601とS5602の検出結果の論理和により、判定を行う。二次画像抽出が必要ない場合はステップS5607の従来処理へ進み。二次画像抽出が必要な場合はステップS5604へ進む。
【０１７９】
ステップS5604においては、二次画像抽出処理を行う。具体的には図５２の検出した人物肌色領域内にある、一次抽出の色度比率範囲外にある目とか口の候補となる領域を検出し判定を行う。詳細は後述する。
【０１８０】
ステップS5605においては、二次画像抽出が成功したか判定を行う。失敗した場合は、ステップS5607の従来処理へ進み。成功した場合は、ステップS5606に進む。ステップS5606においては、ボケ補正処理を実行する。その後、ステップS5607の注目画像検出の抽出結果を画像補正へ渡す為にセットする。ステップS5608において、抽出結果を反映した画像補正を行う。
【０１８１】
次に、二次抽出処理に部分をより詳細に説明する為のフローチャートを図６１に示し、その説明を行う。
【０１８２】
ステップS5701においては、ステップS5602からの情報から一次画像抽出の候補画像領域の縦横比を算出する。
【０１８３】
ステップS5702においては、候補画像が人物の顔の縦横比定義に適応する物か判定を行う。一次抽出による候補画像が抽出画像定義に適応しない場合はステップS5709に進む。適応する場合は、ステップS5703に進む。
【０１８４】
ステップS5703においては、候補領域内にある、一次抽出の色度比率範囲外の領域を検出する。図５２においては、人物肌領域である白色領域内に独立して残された黒色の領域になる。この領域の各々の構成画素数（ブロック数）と平均色度及びDCTのAC成分の平均値などを算出する。
【０１８５】
本実施例においては、人物顔の肌色以外の構成要素として、目、口、眉毛、眼鏡など考えられるが、そのなかで、目に付いて説明を行う。
【０１８６】
目の画像サンプルとして図５４、図５６、図５８を示す。
【０１８７】
図５４は、目を表す構成の画素数を縦１２画素、横２２画素とした物で、この画像に対して図２８及び２９で示した画像圧縮の為の量子化テーブルを使用して画像圧縮を行ったものである。テーブル１１を使用した物はF12で、テーブル０８を使用した物はF9で、テーブル０６を使用した物はF7で、テーブル０３を使用した物はF4である。
【０１８８】
図５５は、目を表す構成の画素数を縦２４画素、横４４画素とした物で、この画像に対して図２８及び２９で示した画像圧縮の為の量子化テーブルを使用して画像圧縮を行ったものである。テーブル１１を使用した物はF12で、テーブル０８を使用した物はF9で、テーブル０６を使用した物はF7で、テーブル０３を使用した物はF4である。
【０１８９】
図５６は、目を表す構成の画素数を縦４８画素、横８８画素とした物で、この画像に対して図２８及び２９で示した画像圧縮の為の量子化テーブルを使用して画像圧縮を行ったものである。テーブル１１を使用した物はF12で、テーブル０８を使用した物はF9で、テーブル０６を使用した物はF7で、テーブル０３を使用した物はF4である。
【０１９０】
ステップS5704においては、目となりえる設定した色度比率に収まっているかを判定する。口などの色度比率設定も可能である。候補として不適当と判定した場合はステップS5709に進む。適応する場合は、ステップS5705に進む。
【０１９１】
ステップS5705においては、ステップS5703で検出した領域が目の候補として、ステップS5701で検出した人物顔の肌領域との面積比率として適正なサイズかを算出する。
【０１９２】
ステップS5706においては、ステップS5703で検出した領域が目の候補として、適正な外形比率に収まっているか確認する為に縦横比率を算出する。
【０１９３】
ステップS5707においては、ステップS5705及びS5706での算出した結果が目としての候補領域になるか判定を行う。候補として不適当と判定した場合はステップS5709に進む。適応する場合は、ステップS5708に進む。
【０１９４】
ステップS5708においては、画像のボケ量の判定と判定結果から補正の強度の確定を行い、補正を実行する。
【０１９５】
まず、ボケ量の判定であるが、まず、先述の目領域の画像サンプルである図５４、図５６、図５８に対して一定のアンシャープマスク処理を加えた画像を図５５、図５７、図５９に示す。
【０１９６】
そして、この画像に関するDCTのAC成分平均値の特徴量を図６２，図６３，図６４に示す。
【０１９７】
図６２は、目を表す構成の画素数を縦１２画素、横２２画素とした物で、横軸は対象画像全領域におけるＤＣＴ値のＡＣ成分の平均値を前述の要領で空間周波数成分の低い領域から１０個単位でまとめたものである。縦軸は、ＤＣＴのコード量（１０個単位の和である。但し７グループ目は３個分の和になる。）上記内容から、量子化フィルターによるデータ量の差は空間周波数の高域成分に現れるが、目である対象領域においての差はあまり大きくない。アンシャープマスク処理で低域分の空間周波数特性が上がっているので、メリハリがついていることがわかる。
【０１９８】
図６３は、目を表す構成の画素数を縦２４画素、横４４画素とした物で、グラフの構成は図６２と同じである。上記内容から、量子化フィルターによるデータ量の差は空間周波数の高域成分に現れるが、目である対象領域においての差はあまり大きくない。アンシャープマスク処理で低域分の空間周波数特性が上がっているので、メリハリがついていることがわかる。
【０１９９】
図６４は、目を表す構成の画素数を縦４８画素、横８８画素とした物で、グラフの構成は図６２と同じである。上記内容から、量子化フィルターによるデータ量の差は空間周波数の高域成分に現れるが、目である対象領域においての差はあまり大きくない。アンシャープマスク処理で低域分の空間周波数特性が上がっているので、メリハリがついていることがわかる。
【０２００】
画像サイズによる違いとしては、構成画素が多いほどＤＣＴ値のＡＣ成分の平均値である特徴量は小さくなる。また、ＡＣ成分の分布状況は同じである。
【０２０１】
上記、目の画像の画素数と量子化フィルター値によるアンシャープマスク処理の効果を補正へ反映する為、検出した二次抽出領域の大きさと量子化フィルター値により図６５に示すようなアンシャープマスクの補正強度指定を行う。
【０２０２】
また、一次抽出により検出した肌色領域の輝度分布により分布の範囲が大きい場合、例えば、野外において、太陽光を直接浴びて人物顔肌領域の明暗の輝度幅が大きい時はシャープにする補正の効果が少ないので、図６６に示すように一次抽出により検出した肌色領域の輝度分布範囲により、輝度表現が０〜２５５の場合、１５０以上の輝度範囲データを持つ一次抽出により検出した肌色領域に対する二次抽出領域へのアンシャープマスク処理の強度を強めに設定する。
【０２０３】
ステップS5709においては、抽出結果の値を反映した画像補正を実行する。
【０２０４】
図５１に対して上記処理を行った結果が図５３である。ボケ画像に対して、領域を特定して補正が適度に加えられたことが確認できる。
【０２０５】
上述したように、本発明によれば、画像圧縮ファイルを解凍する過程で空間周波数データと量子化テーブルとを取得し、上記空間周波数データ及び量子化データ特性を組み合わせて画像ファイル中の注目画像を検索するために利用するようにしたので、高度な計算をすることなく画像データブロックごとの交流成分情報を含む情報を取得して、画像ファイルの中の注目画像を検索することができる。
【０２０６】
また、本発明の他の特徴によれば、デジタルカメラから直接プリントする場合などのように、パーソナルコンピュータと比べて処理能力が低い組み込み式の機器においても、製品として使用可能な範囲の処理で、印刷する圧縮画像ファイルに補正の対象となる注目画像の有無、及びその値の適正度を検出することができ、必要に応じて注目画像を重視した画像補正を施すようにすることができる。
なお、以上に説明した本実施形態の画像認識装置は、コンピュータのＣＰＵあるいはＭＰＵ、ＲＡＭ、ＲＯＭなどで構成されるものであり、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現できる。
【０２０７】
したがって、コンピュータが上記機能を果たすように動作させるプログラムを、例えばＣＤ−ＲＯＭのような記録媒体に記録し、コンピュータに読み込ませることによって実現できるものである。上記プログラムを記録する記録媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。
【０２０８】
また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合や、供給されたプログラムの処理の全てあるいは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。
【０２０９】
また、本発明をネットワーク環境で利用するべく、全部あるいは一部のプログラムが他のコンピュータで実行されるようになっていてもよい。例えば、画面入力処理は、遠隔端末コンピュータで行われ、各種判断、ログ記録等は他のセンターコンピュータ等で行われるようにしてもよい。
【０２１０】
【発明の効果】
本発明により、画像の輝度によって注目画像領域抽出に用いられる色度比率判定を適正化して、安定した注目画像領域の抽出及び画像の再生を行うことができる。
【０２１１】
又、人物顔画像などがボケたようなものにおいては、適正な補正への情報を取得できる。
【図面の簡単な説明】
【図１Ａ】本発明の実施形態に係わるJPEG画像解凍時に必要なデータを取得する流れを示す概念図である。
【図１Ｂ】第１の実施形態に係わる画像処理装置の構成例を示すブロック図である。
【図１Ｃ】実施形態に係わる画像処理装置のハードウエア及びソフトウエアの構成例を示すブロック図である。
【図２】実施形態の画像データをJPEG形式へ変換する処理過程の流れを示す概念図である。
【図３】実施形態のJPEGの画像圧縮単位である8*8ブロックを例にしたJPEG形式へ変換する処理過程を示す図である。
【図４】実施形態のJPEGファイル画像圧縮単位である8*8ブロックのＡＣ成分特性を利用した判別テーブルを示す図である。
【図５】実施形態の他にある肌色のＲＧ色度分布例を示す図である。
【図６】実施形態のJPEG画像解凍からの注目画像検出フローチャートである。
【図７】実施形態のJPEGファイル画像圧縮単位である8*8ブロックにおける、色度検出方法を示す図である。
【図８】実施形態のJPEGファイル画像圧縮単位である8*8ブロックでのＤＣ成分を利用した色度検出方法を示す図である。
【図９】実施形態の色度検出において、３ビット間引きを利用して検出をした場合の8*8ブロックにおける検出状況を示す図である。
【図１０】実施形態の検出用JPEG画像サンプルの第１の例を示す図である。
【図１１】第１の画像サンプルを色度のみによる検出を行った結果のBMP ファイルの一例を示す図である。
【図１２】第１の画像サンプルを8*8ブロック単位の色度検出を元に配置と連続ブロック検出を行った結果のBMP ファイルの一例を示す図である。
【図１３】実施形態の注目画像検出により、第１の画像サンプルを8*8ブロック単位の色度検出を元に配置と連続ブロックとＡＣ成分による検出を行った結果のBMPファイルの一例を示す図である。
【図１４】実施形態の検出用JPEG画像サンプルの第２の例を示す図である。
【図１５】第２の画像サンプルを色度のみによる検出を行った結果のBMPファイルの一例を示す図である。
【図１６】第２の画像サンプルを8*8ブロック単位の色度検出を元に配置と連続ブロック検出を行った結果のBMP ファイルの一例を示す図である。
【図１７】実施形態の注目画像検出により、第２の画像サンプルを8*8ブロック単位の色度検出を元に配置と連続ブロックとＡＣ成分による検出を行った結果のBMP ファイルの一例を示す図である。
【図１８】実施形態の人物肌検出において、人物肌検出データの連続色度検出値におけるＡＣ成分の周波数特性を示す図である。
【図１９】実施形態の人物肌検出において、枯れ林の検出データの連続色度検出値におけるＡＣ成分の周波数特性の表を示す図である。
【図２０】実施形態の肌色のRG色度分布を示す図である。
【図２１】周波数特性による境界作成のための検出方法の一例を示す図である。
【図２２】実施形態の候補グループの判定手順を示すフローチャートである。
【図２３】実施形態の候補グループ判定の検出結果画像の一例を示す図である。
【図２４】実施形態の注目画像検出を利用した画像補正の比較結果の一例を示す図である。
【図２５】本実施形態の人物肌検出において、UXGA(1600*1200)画像における人物肌検出データの連続色度検出値におけるAC成分の周波数特性を示す特性図である。
【図２６】本実施形態の人物肌検出において、UXGA(1600*1200)画像における枯れ林の検出データの連続色度検出値におけるAC成分の周波数特性の表を示す図である。
【図２７】本実施形態のJPEGファイル画像圧縮単位である8*8ブロックのAC成分特性を利用したUXGA(1600*1200)画像に対する判別テーブルの一例を示す図である。
【図２８】既存のアプリケーションで使用している量子化テーブルの一例を示す図である。
【図２９】既存のアプリケーションで使用している量子化テーブルの一例を示す図である。
【図３０】既存のアプリケーションで使用している量子化テーブルの一例を示す図である。
【図３１】量子化テーブルにおける圧縮比率と周波数特性との関係を示す図である。
【図３２】注目画像検出を行った結果の一例を示す図である。
【図３３】注目画像検出を行った結果の一例を示す図である。
【図３４】取得した量子化テーブルからＡＣ成分特性判定テーブルを設定する手順の一例を示すフローチャートである。
【図３５】本実施形態において、複数画像中の人物肌領域色度比率を検出領域の平均輝度で分類して分布状況を表した図である。
【図３６】本実施形態において、ＵＸＧＡ（１６００＊１２００画素）サイズの画像ファイルに存在する人物肌領域を検出し、その人物肌領域内におけるJPEG圧縮での8*8ブロックにおけるDCTのAC成分の平均値を、検出した画素数（JPEG圧縮での8*8ブロック数）で分類した表を示す図である。
【図３７】本実施形態において、ＶＧＡ（６４０＊４８０画素）サイズの画像ファイルに存在する人物肌領域を検出し、その人物肌領域内におけるJPEG圧縮での8*8ブロックにおけるDCTのAC成分の平均値を、検出した画素数（JPEG圧縮での8*8ブロック数）で分類した表を示す図である。
【図３８】本実施形態においては、人物の顔領域内で、白跳びが発生している画像サンプルを示す図である。
【図３９】本実施形態においては、図３８の画像サンプルに対して、固定の色度比率範囲で人物肌領域検出を行い検出した領域を示す図である
【図４０】本実施形態においては、図３８の画像サンプルに対して、適合色度比率範囲を拡大した定義を用いて人物肌領域検出を行った結果を示す図である。
【図４１】本実施形態において、図３８の画像サンプルに対して、輝度値に依存する適合色度比率範囲の定義を用いて人物肌領域検出を行った結果を示す図である。
【図４２】本実施形態において、図３８の画像サンプル全体の輝度ヒストグラムを示す図である。
【図４３】本実施形態において、ＵＸＧＡ(1600*1200)サイズにて撮影した被写体が人物の画像サンプルを示す図である。
【図４４】本実施形態において、図４３の画像サンプルに対して、人物肌領域検出を行い検出した領域を示す図である。
【図４５】本実施形態において、ＶＧＡ(640*480)サイズにて撮影した被写体が人物の画像サンプルを示す図である。
【図４６】本実施形態において、図４５の画像サンプルに対して、人物肌領域検出を行い検出した領域を示す図である。
【図４７】本実施形態において、候補領域のサイズによるDCTのAC成分である空間周波数特徴量の判定テーブルを示す図である。
【図４８】本実施形態において、抽出候補領域の判定用色度比率範囲テーブル２を示す図である。
【図４９】本実施形態において、色度比率による抽出領域の画素数（ブロック数）によるＤＣＴ特徴量判定方式の処理手順を示すフローチャートである。
【図５０】第２の実施形態に係わる画像処理装置の構成例を示すブロック図である。
【図５１】本実施形態において、ＣＣＤ３０万画素の携帯電話で人物の顔を撮影した画像サンプルを示す図である。
【図５２】本実施形態において、図５１の画像サンプルに対して人物肌領域検出を行い、検出された領域（白い部分）を示す図示である。
【図５３】本実施形態において、図５１の画像サンプルに対して人物肌（顔）領域内の目や鼻候補を選定し、その領域のみにアンシャープマスク処理を行った結果を示す図である。
【図５４】本実施形態において、２２＊１２画素で撮影された“目”の画像である。JPEGの量子化テーブルの値を変えた物で、高圧縮の“Ｆ４”から低圧縮の“F12"の4種類の保存をかけた画像を示す図である。
【図５５】本実施形態において、図５４の各画像に対してアンシャープマスク画像処理を行った結果を示す図である。
【図５６】本実施形態において、４４＊２４画素で撮影された“目”の画像である。JPEGの量子化テーブルの値を変えた物で、高圧縮の“Ｆ４”から低圧縮の“F12"の4種類の保存をかけた画像を示す図である。
【図５７】本実施形態において、図５６の各画像に対してアンシャープマスク画像処理を行った結果を示す図である。
【図５８】本実施形態において、８８＊４８画素で撮影された“目”の画像である。JPEGの量子化テーブルの値を変えた物で、高圧縮の“Ｆ４”から低圧縮の“F12"の4種類の保存をかけた画像を示す図である。
【図５９】本実施形態において、図５８の各画像に対してアンシャープマスク画像処理を行った結果を示す図である。
【図６０】本実施形態において、補正処理も含めた拡張画像抽出処理のフローチャート１である。
【図６１】本実施形態において、補正処理も含めた拡張画像抽出処理のフローチャート２である。
【図６２】本実施形態において、量子化フィルター値とアンシャープマスク処理のＤＣＴ特性比較（２２＊１２ サイズ）のグラフを表す図である。
【図６３】本実施形態において、量子化フィルター値とアンシャープマスク処理のＤＣＴ特性比較（４４＊２４ サイズ）のグラフを表す図である。
【図６４】本実施形態において、量子化フィルター値とアンシャープマスク処理のＤＣＴ特性比較（８８＊４８ サイズ）のグラフを表す図である。
【図６５】本実施形態において、画像量子化フィルターの値と検出領域サイズによるアンシャープマスクの強度対応表を現す図である。
【図６６】本実施形態において、人物肌色領域の輝度分布とその内部領域である目領域へのアンシャープマスク強度設定の関係を表す図である。
Claims (15)
- 圧縮符号化された画像データを復号して画像を再生する画像再生方法であって、
復号した前記画像データから所定の色度範囲の連続するブロックを抽出するブロック抽出ステップと、
前記連続するブロックの空間周波数の平均値に基づいて、前記連続するブロックを注目画像領域とするか否かを判定する判定ステップと、
前記注目画像領域から特徴部位を抽出する特徴部位抽出ステップと、
前記抽出された特徴部位の画素数と前記圧縮符号化に利用した量子化フィルタ値とに基づいて、前記特徴部位のボケの補正強度を決定する決定ステップと、
前記決定ステップで決定された補正強度に応じて前記特徴部位のボケを補正するボケ補正ステップと、
前記補正ステップでボケが補正された画像を再生する再生ステップとを有することを特徴とする画像再生方法。 - 前記決定ステップでは、前記特徴部位の画素数が少なく前記量子化フィルタ値の値が大きいほど、ボケをより強く補正する補正強度に決定することを特徴とする請求項１記載の画像再生方法。
- 前記所定の色度範囲を、前記復号した画像データの輝度値に基づいて設定することを特徴とする請求項１記載の画像再生方法。
- 前記圧縮符号化された画像データを復号して前記復号した画像データを生成する復号ステップと、
前記復号した画像データから色度、空間周波数、輝度を求めるステップとを更に有することを特徴とする請求項１記載の画像再生方法。 - 前記圧縮符号化された画像データはJPEG画像データであり、前記復号した画像データはＤＣＴ係数と逆ＤＣＴ変換されたビットマップデータとを含むことを特徴とする請求項４記載の画像再生方法。
- 前記ブロック抽出ステップで抽出された前記連続するブロックの数に基づいて、注目画像領域となる候補を選別する選別ステップを更に有することを特徴とする請求項１記載の画像再生方法。
- 前記ボケの補正は、アンシャープマスク処理により行われることを特徴とする請求項１記載の画像再生方法。
- 請求項１乃至７のいずれか１項に記載の画像再生方法のステップをコンピュータに実行させるためのコンピュータプログラム。
- 請求項８に記載のコンピュータプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
- 圧縮符号化された画像データを復号して画像を再生する画像処理装置であって、
復号した前記画像データから所定の色度範囲の連続するブロックを抽出するブロック抽出手段と、
前記連続するブロックの空間周波数の平均値に基づいて、前記連続するブロックを注目画像領域とするか否かを判定する判定手段と、
前記注目画像領域から特徴部位を抽出する特徴部位抽出手段と、
前記抽出された特徴部位の画素数と前記圧縮符号化に利用した量子化フィルタ値とに基づいて、前記特徴部位のボケの補正強度を決定する決定手段と、
前記決定手段により決定された補正強度に応じて前記特徴部位のボケを補正するボケ補正手段と、
前記補正手段によりボケが補正された画像を再生する再生手段とを有することを特徴とする画像処理装置。 - 前記決定手段は、前記特徴部位の画素数が少なく前記量子化フィルタ値の値が大きいほど、ボケをより強く補正する補正強度に決定することを特徴とする請 求項１０記載の画像処理装置。
- 前記圧縮符号化された画像データを復号して前記復号した画像データを生成する復号手段と、
前記復号した画像データから色度、空間周波数、輝度を求める手段とを更に有することを特徴とする請求項１０記載の画像処理装置。 - 前記圧縮符号化された画像データはJPEG画像データであり、前記復号した画像データはＤＣＴ係数と逆ＤＣＴ変換されたビットマップデータとを含むことを特徴とする請求項１２記載の画像処理装置。
- 前記ブロック抽出手段により抽出された前記連続するブロックの数に基づいて、注目画像領域となる候補を選別する選別手段を更に有することを特徴とする請求項１０記載の画像処理装置。
- 前記ボケの補正は、アンシャープマスク処理により行われることを特徴とする請求項１０記載の画像処理装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003183219A JP3977291B2 (ja) | 2003-06-26 | 2003-06-26 | 画像再生方法及び画像処理装置 |
| US10/608,001 US7356190B2 (en) | 2002-07-02 | 2003-06-30 | Image area extraction method, image reconstruction method using the extraction result and apparatus thereof |
| US11/970,359 US7542615B2 (en) | 2002-07-02 | 2008-01-07 | Image area extraction method, image reconstruction method using the extraction result and apparatus thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003183219A JP3977291B2 (ja) | 2003-06-26 | 2003-06-26 | 画像再生方法及び画像処理装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2005018466A JP2005018466A (ja) | 2005-01-20 |
| JP2005018466A5 JP2005018466A5 (ja) | 2005-07-28 |
| JP3977291B2 true JP3977291B2 (ja) | 2007-09-19 |
Family
ID=34183387
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003183219A Expired - Fee Related JP3977291B2 (ja) | 2002-07-02 | 2003-06-26 | 画像再生方法及び画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3977291B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005190435A (ja) * | 2003-12-26 | 2005-07-14 | Konica Minolta Photo Imaging Inc | 画像処理方法、画像処理装置及び画像記録装置 |
| JP4779536B2 (ja) * | 2005-09-27 | 2011-09-28 | ソニー株式会社 | 撮像装置 |
| JP2021043914A (ja) | 2019-09-13 | 2021-03-18 | 富士通株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| EP4261773A1 (en) * | 2020-12-10 | 2023-10-18 | Fujitsu Limited | Determination method, determination program, and information processing device |
-
2003
- 2003-06-26 JP JP2003183219A patent/JP3977291B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005018466A (ja) | 2005-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7542615B2 (en) | Image area extraction method, image reconstruction method using the extraction result and apparatus thereof | |
| US8064710B2 (en) | Image processing apparatus, method of controlling thereof, and program | |
| JP3373008B2 (ja) | 画像像域分離装置 | |
| TWI426774B (zh) | 用於針對ｊｐｅｇ壓縮歷史紀錄分類為壓縮影像的方法、及用於針對影像是否已經過jpeg壓縮而分類影像的設備及影像分類方法 | |
| US8442262B2 (en) | Method and system to process a digital image | |
| JP5958023B2 (ja) | 画像処理装置および画像処理プログラム | |
| US7386168B2 (en) | Image processing apparatus | |
| JP2003153007A (ja) | 画像重要度に基づく画像圧縮制御システム及び方法 | |
| JP2004523933A (ja) | デジタル画像を圧縮する方法 | |
| US9106892B2 (en) | Image compression based on parameter-assisted inpainting | |
| EP2645697A2 (en) | Image processing apparatus and method | |
| US20090208125A1 (en) | Image encoding apparatus and method of controlling the same | |
| JP2008059546A (ja) | 画像処理装置、画像読取装置、画像形成装置、画像処理方法、コンピュータプログラム、及び記録媒体 | |
| KR20040058323A (ko) | 화상 부호화 장치, 화상 부호화 방법, 및 화상 처리 장치 | |
| US7027646B2 (en) | Scaled image generating apparatus and method, image feature calculating apparatus and method, computer programs therefor, and image data structure | |
| JP2019092027A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP2009027385A (ja) | 画像処理装置とその方法およびコンピュータプログラム | |
| US8275198B2 (en) | Image processing apparatus, image processing method and computer readable medium with compression processing for each color | |
| JP3977291B2 (ja) | 画像再生方法及び画像処理装置 | |
| US6917704B2 (en) | Image processing method, image processing apparatus and image processing system | |
| US20150186373A1 (en) | Method for sorting a group of images of a database and method for color correcting an image, corresponding devices, computer program and non-transitory computer readable medium | |
| CN106717006B (zh) | 用于根据图像类型选择压缩算法的方法 | |
| JP2000013605A (ja) | 画像処理装置および方法ならびに画像処理プログラムを記録した記録媒体 | |
| JP4078136B2 (ja) | 画像認識方法、画像認識装置及びコンピュータプログラム | |
| JP4006276B2 (ja) | 画像認識方法、画像認識装置及びコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041215 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041215 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061201 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070309 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070508 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070601 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070620 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110629 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120629 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120629 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130629 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |