JP2004021374A

JP2004021374A - Image processing method, image processing device, program, and storage medium

Info

Publication number: JP2004021374A
Application number: JP2002172343A
Authority: JP
Inventors: Yoshiharu Hibi; 日比　吉晴; Masaru Okutsu; 奥津　優; Makoto Sasaki; 佐々木　信
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2002-06-13
Filing date: 2002-06-13
Publication date: 2004-01-22

Abstract

<P>PROBLEM TO BE SOLVED: To suitably correct both a major part of an object and the other part and to prevent a correction gap, in an image processing device performing image quality correction processing. <P>SOLUTION: A parameter generation part 22 adjusts a correction parameter for the major part on the basis of a correction applying intensity distribution in which the center of the major part is corrected maximally and the correction is attenuated gradually. An object part correction part 24 corrects image quality on the basis of the adjusted correction parameter and generates a partial corrected image of the center of the major part by correcting in accordance with an image output intensity distribution in which the image data at the center of the major part is left maximally and the image data is faded gradually. A parameter generation part 32 adjusts a correction parameter for a background part on the basis of the correction applying intensity distribution having the property reverse to the property for the major part. A background part correction part 34 corrects image quality on the basis of the adjusted correction parameter and generates a partial corrected image of the background part by correcting in accordance with the image output intensity distribution having the property reverse to the property for the major part. A composite processing part 70 composes partial corrected images. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラなどで撮影された画像あるいはネガフィルムなどをフィルムスキャナなどで入力した画像などのデジタル処理にて取得した画像（以下デジタル画像という）に対して、より好ましい画質となるように補正処理を施す方法および装置、並びにプログラムおよび当該プログラムを格納したコンピュータ読取り可能な記憶媒体に関する。
【０００２】
【従来の技術】
デジタル処理にて取得したデジタル画像に対して、たとえば画像の明るさやコントラスト状況あるいはカラーバランスなどの特徴量を解析し、それら特徴量の偏りをたとえば撮影時の不具合と判断し、画像全体が標準的な特徴量分布を持つように補正する技術がある。また、被写体が人物中心であるとか、風景などであるといった撮影シーンに応じた画像補正処理を実現するために、画像内から主要オブジェクトの有無や主要オブジェクトの領域を検出し、主要オブジェクトとそれ以外を区別した補正方法を適用したり、主要オブジェクトに基づいてパラメータを変更した画像処理を行なう補正方法もある。このように、従来より、デジタル画像に対して、より好ましい画質となるように補正処理を施す技術が広く知られている。
【０００３】
【発明が解決しようとする課題】
画像全体が標準的な特徴量分布を持つように補正する技術は、たとえば、画像全体の画素の明るさの平均が５０／１００（“０”が暗く“１００”が明るいとする）であると想定し、入力画像の分布平均が“３０／１００”などと解析できた場合に、結果的に“５０／１００”に近づくように階調変換などの画処理を施すというような補正方法である。
【０００４】
しかしながらこの方法は、全体画像の特徴をもとに全体の画像を補正するものであり、全体に一様な補正を施すことになるので、画像の主要部分である注目オブジェクトが必ずしも好適とならないことがある。たとえば、撮影時の極端な露出不足やカラーバランスの偏りなどの不具合を想定して補正できる効果は高いが、撮影シーンや主要被写体の背景の状態に影響されて注目オブジェクト部分の補正がうまくいかない場合がある。
【０００５】
また、画像内から主要オブジェクトの有無や主要オブジェクトの領域を検出して処理を施す補正方法は、画像内で人間がもっとも注視する注目オブジェクトを中心に補正するということでより効果的であるが、主要オブジェクトだけに注目して補正してしまうことで、主要被写体は適正な補正であるもの、全体画像がその補正に影響を受けて背景画像が不適当な補正になる場合がある。たとえば顔領域や肌領域などを抽出し、該領域をもとに補正パラメータを決定し、全体画像を補正すると、顔領域や肌領域は好適に補正されるが顔以外は不適正になる。
【０００６】
また、全体画像の特徴をもとに全体の画像を補正した後、さらに主要オブジェクトの領域を検出して該当領域のみに補正処理を施す方法もあるが、主要オブジェクトの領域を検出して該当領域のみ補正をかけると主要オブジェクトだけが強調され、全体の絵としてのバランスが崩れて違和感のある画像となってしまうことがある。たとえば、写真画像に対して全体補正を施した後に、顔部分を認識し、顔中心の補正パラメータを算出し、さらに顔部記憶色補正を組み合わせて補正する手法が写真プリンタで確立されている。この方法の補正処理自体は理想的であるが、領域認識した個所としない個所との補正ギャップが大きく、境界部での補正の連続性が劣るという問題や認識精度が求められるなどの不具合がある。
【０００７】
また、デジタルカメラで撮影された画像に対する画質補正処理の一手法として、注目オブジェクトの中心ほど補正効果が高い固定マスク（中央中心）を用いた補正の手法もある。この方法は、注目オブジェクトとこの注目オブジェクトを除く部分との境界部での補正の連続性は比較的良好であるが、注目オブジェクト中心やその近傍のみが補正され背景部などには補正が施されないので、全体としては必ずしも好適な補正とならない。
【０００８】
つまり従来技術では、デジタル画像中の注目オブジェクトとそれ以外の部分の双方を好適に補正するとともに、注目オブジェクトとそれ以外の部分との境界部分に補正ギャップが生じないようにすることはできていない。
【０００９】
本発明は、上記事情に鑑みてなされたものであり、注目オブジェクトやこの注目オブジェクトを除く部分を好適に補正するとともに、注目オブジェクトとこの注目オブジェクトを除く部分との境界部での補正の連続性も良好となる画像処理方法および装置を提供することを目的とする。また本発明は、画像処理方法や装置を、電子計算機を用いてソフトウェアで実現するために好適なプログラムおよび当該プログラムを格納したコンピュータ読取り可能な記憶媒体を提供することを目的とする。
【００１０】
【課題を解決するための手段】
すなわち、本発明に係る画像処理方法は、画像に含まれる注目オブジェクトに対して所望の画質補正処理を施すとともに注目オブジェクトを除く部分に対しても所望の画質補正処理を施す画像処理方法において、先ず、注目オブジェクトの特徴に基づいて当該注目オブジェクトに合致した画質補正処理のための画質パラメータの注目オブジェクトに対する参照度合いを示す分布であって、注目オブジェクトの中心ほど参照度合いが強い補正適用強度分布を決定する。
【００１１】
そして、注目オブジェクトの特徴に基づいて当該注目オブジェクトに合致した画質補正処理のための画質パラメータを決定し、この決定した画質パラメータを補正適用強度分布に基づいて調整し、この調整した画質パラメータに従って注目オブジェクトに対して前記画質補正処理を施して補正済の第１の画像を取得する。さらに、補正済の第１の画像とは異なる画像であって、少なくとも注目オブジェクトを除く部分に対して所望の画質補正処理を施して補正済の第２の画像を取得し、補正済の第１の画像と補正済の第２の画像とを合成して補正済の全体画像を取得する。
【００１２】
本発明に係る画像処理装置は、前記本発明に係る画像処理方法を実施する装置であって、目オブジェクトの特徴に基づいて、当該注目オブジェクトに合致した画質補正処理のための画質パラメータの注目オブジェクトに対する参照度合いを示す分布であって、注目オブジェクトの中心ほど参照度合いが強い第１の補正適用強度分布を決定する補正適用強度分布生成部と、注目オブジェクトの特徴に基づいて当該注目オブジェクトに合致した画質補正処理のための画質パラメータを決定し、この決定した画質パラメータを補正適用強度分布生成部が決定した第１の補正適用強度分布に基づいて調整し、この調整した画質パラメータに従って少なくとも注目オブジェクトに対して画質補正処理を施して第１の補正済画像を取得する第１補正部を備えた。また画像処理装置は、第１補正部が生成した第１の補正済画像とは異なる画像であって、少なくとも注目オブジェクトを除く部分に対して所望の画質補正処理を施して第２の補正済画像を取得する第２補正部と、第１補正部が生成した第１の補正済画像と第２補正部が生成した第２の補正済画像とを合成して補正済の全体画像を取得する合成処理部とを備えた。
【００１３】
また従属項に記載された発明は、本発明に係る画像処理装置のさらなる有利な具体例を規定する。さらに、本発明に係るプログラムは、本発明に係る画像処理装置を、電子計算機（コンピュータ）を用いてソフトウェアで実現するために好適なものである。なお、プログラムは、コンピュータ読取り可能な記憶媒体に格納されて提供されてもよいし、有線あるいは無線による通信手段を介して配信されてもよい。
【００１４】
【作用】
上記構成において、補正適用強度分布生成部は、画像中の注目オブジェクトの特徴を解析して注目オブジェクトに合致した補正適用強度分布を作成する。第１補正部は、注目オブジェクトに合致した画質パラメータを決定し、この決定した画質パラメータを補正適用強度分布生成部が決定した補正適用強度分布に基づいて調整し、この調整後の補正パラメータに従って注目オブジェクトを中心として画質補正処理を施すことで、第１の補正済画像を取得する。
【００１５】
一方、第２補正部は、第１補正部が生成した第１の補正済画像とは異なる画像であって、少なくとも注目オブジェクトを除く部分に対して所望の画質補正処理を施して第２の補正済画像を取得する。そして、合成処理部は、第１および第２の補正済画像を合成して補正済の全体画像を取得することで、主要な被写体を中心とした画像補正と背景などの全体の画像補正とのバランスのとれた効果的な画像補正とを実現する。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００１７】
図１は、本発明に係る画像処理装置の第１実施形態の構成例を示すブロック図である。なお以下の説明では、デジタルカメラでの撮影画像の想定で、注目オブジェクトとして１人の人物が主要被写体として撮影された画像であって、全体にややアンダーな露出で且つ人物の顔領域も逆光状態で暗くなっている画像を入力画像Ｇｉｎとして取り扱う例で説明する。
【００１８】
第１実施形態の画像処理装置１は、入力画像Ｇｉｎを取り込む画像入力部３と、予め記憶用意されている識別対象物オブジェクトや領域情報に基づいて注目オブジェクトを自動認識をし、そのオブジェクト領域を抽出するオブジェクト領域認識抽出部１０とを備える。本実施形態では、人物の顔領域を認識対象オブジェクトとしているため、オブジェクト領域認識抽出部１０は、顔領域の中心座標とその大きさなどの範囲を示す情報などを取得する。なお、このオブジェクト領域認識抽出部１０によるオブジェクトの自動認識機能は、たとえば特開平９−１３８４７０号などに記載の公知の方法を用いるとよい。
【００１９】
画像入力部３としては、デジタルカメラで使用される記憶媒体（たとえばフラッシュメモリなど）から撮影済みのデジタル画像を取り込む仕組みの構成要素が使用される。たとえば、デジタルカメラとＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ケーブルで直接に接続する構成とし、デジタルカメラ内の記憶媒体からデジタル画像を吸い出す構成のものであってもよい。勿論、デジタルカメラで取得された画像を写真プリントにし、この写真プリントをスキャナで読み取ることで入力画像Ｇｉｎを取得するものであってもよい。さらには、デジタルカメラではなく、従来からある写真フィルムを使用するアナログカメラを利用する場合には、写真プリントをスキャナで読み取る構成や、ネガフィルムもしくはポジフィルムをフィルムスキャナで読み取る構成としてもよい。
【００２０】
また画像処理装置１は、オブジェクト領域認識抽出部１０で認識されたオブジェクト領域の画像特徴を解析して該オブジェクト領域を中心とした好適な画像補正を実施するオブジェクト中心部分補正部２０と、入力画像Ｇｉｎの全体の画像特徴や主に認識されたオブジェクト以外の領域（背景という）の画像特徴を解析して該背景を中心とした画像補正を実施するオブジェクト除外部分補正部３０とを備える。オブジェクト中心部分補正部２０は、本発明に係る第１補正部の一例であり、オブジェクト除外部分補正部３０は、本発明に係る第２補正部の一例である。
【００２１】
オブジェクト部分補正部２４や背景部分補正部３４における補正処理としては、入力画像Ｇｉｎに含まれる注目オブジェクトの明度や色情報が適正となり、且つ、注目オブジェクトを除く背景部分の明度や色情報も適正となる補正とする。たとえば写真画像であれば、注目オブジェクトと背景部分の双方がそれぞれ見栄えがよくなるような補正を施す。具体的には、高周波数成分抽出処理、ノイズ抑制シャープネス強調処理、階調変換（ガンマ変換）処理、あるいは色調補正処理などの画質補正処理である。なお、たとえば逆光補正や赤目補正などもこの補正処理に含む。本実施形態では、デジタルカメラで撮影された入力画像Ｇｉｎが、注目オブジェクトとしての主要被写体である人物を含み、全体にややアンダーな露出で且つ人物の顔領域も逆光状態で暗くなっているので、背景部分も含む全体の濃度をやや明るめに補正する、主に濃度（階調）についての補正処理が実行されることになる。
【００２２】
さらに画像処理装置１は、オブジェクト中心部分補正部２０やオブジェクト除外部分補正部３０における補正処理にて使用される種々のパラメータを生成する多値マスク生成部６０、およびオブジェクト中心部分補正部２０により補正されたオブジェクト中心画像とオブジェクト除外部分補正部３０により補正されたオブジェクト除外画像とを５０％対５０％で合成することで出力画像Ｇｏｕｔ　を生成する合成処理部７０を備える。
【００２３】
多値マスク生成部６０は、入力画像Ｇｉｎの注目オブジェクトを中心とした階調を有するマスクパターン（多値マスク）を作成し、このマスクパターンをオブジェクト中心部分補正部２０やオブジェクト除外部分補正部３０に設定する。このため、本実施形態の多値マスク生成部６０は、オブジェクト中心部分補正部２０用の補正適用強度分布を生成するとともに、これとはほぼ逆特性を呈する、オブジェクト除外部分補正部３０用の補正適用強度分布を生成する強度補正適用強度分布生成部６２と、オブジェクト部分補正部２４から出力される補正済みのオブジェクト中心画像を表す画像データの強度分布を生成するとともに、これとはほぼ逆特性を呈する、オブジェクト除外部分補正部３０から出力される補正済みのオブジェクト除外画像を表す画像データの強度分布を生成する画像出力強度分布生成部６６とを有する。
【００２４】
本実施形態では、人物の顔領域を認識対象オブジェクトとしているため、補正適用強度分布生成部６２や画像出力強度分布生成部６６は、顔領域の中心座標とその大きさなどの範囲を示すオブジェクト領域認識抽出部１０により取得された情報に基づいて、オブジェクトを中心として漸次その強度が変化する特性を呈する補正適用強度分布や画像データ強度分布を決定する。たとえば、オブジェクト部分補正部２４から合成処理部７０に入力されるオブジェクト中心画像としては、オブジェクトの中心が一番強く残り、徐々に画像データがなくなる（データで“０”となる）ような強度分布にする。
【００２５】
そしてこれとは逆に、背景部分補正部３４から合成処理部７０に入力されるオブジェクト除外画像としては、オブジェクトの中心が殆ど残らずに（データで“０”となるように）、且つ背景部分に近くなるにつれて徐々に画像データが現れるような強度分布にする。あるいは、オブジェクト部分と背景部分のそれぞれにおいて異なる強度を呈するとともに、各部分では、場所によらず均一な強度分布を呈するものとしてもよい。
【００２６】
オブジェクト中心部分補正部２０は、注目オブジェクトに適した補正パラメータを生成するとともに、この生成した補正パラメータを補正適用強度分布生成部６２により生成されたオブジェクト中心部分補正部２０用の補正適用強度分布に従って変更（修正）するパラメータ生成部２２と、このパラメータ生成部２２により生成された補正パラメータに従って入力画像Ｇｉｎに対して補正を施すオブジェクト部分補正部２４とを有する。オブジェクト部分補正部２４から出力される画質補正済みの画像であるオブジェクト中心画像は、本発明に係る第１の補正済画像の一例である。
【００２７】
同様に、オブジェクト除外部分補正部３０は、背景部分に適した補正パラメータを生成するとともに、生成した補正パラメータを補正適用強度分布生成部６２により生成されたオブジェクト除外部分補正部３０用の補正適用強度分布に従って変更（修正）するパラメータ生成部３２と、このパラメータ生成部３２により生成された補正パラメータに従って、入力画像Ｇｉｎに対して補正を施す背景部分補正部３４とを有する。背景部分補正部３４から出力される画質補正済みの画像であるオブジェクト除外画像は、本発明に係る第２の補正済画像のうちの一方の補正済画像の一例である。
【００２８】
オブジェクト部分補正部２４は、画質補正済みの画像であるオブジェクト中心画像を表す画像データを合成処理部７０に出力するに際し、高周波数成分抽出処理、ノイズ抑制シャープネス強調処理、階調変換処理、あるいは色調補正処理などの画質補正処理が施された画像に対してさらに、画像出力強度分布生成部６６にて生成されたオブジェクト部分補正部２４用の強度分布に従って画像データの強度（すなわち個々の画素データのレベル）を補正し、この強度補正後のオブジェクト中心画像を合成処理部７０に入力する。
【００２９】
同様に、背景部分補正部３４は、画質補正済みの画像であるオブジェクト除外画像を表す画像データを合成処理部７０に出力するに際し、高周波数成分抽出処理、ノイズ抑制シャープネス強調処理、階調変換処理、あるいは色調補正処理などの画質補正処理が施された画像に対してさらに、画像出力強度分布生成部６６にて生成された背景部分補正部３４用の強度分布に従って画像データの強度（すなわち個々の画素データのレベル）を補正し、この強度補正後のオブジェクト除外画像を合成処理部７０に入力する。
【００３０】
図２は、多値マスク生成部６０の補正適用強度分布生成部６２が決定する補正適用強度分布の一例と、画像出力強度分布生成部６６が決定する画素データに対する画像出力強度分布の一例を示す図である。
【００３１】
図２（Ａ）は、オブジェクト中心部分補正部２０（詳しくはパラメータ生成部２２）用の補正適用強度分布の一例であり、ここでは、オブジェクトの中心が一番強く補正され、徐々に補正が弱くなるような強度分布にしている。図２（Ｂ）は、オブジェクト除外部分補正部３０（詳しくはパラメータ生成部３２）用の補正適用強度分布の一例であり、ここでは、図２（Ａ）とは逆に、オブジェクトの中心では補正が殆どされずに且つ背景部分に近くなるにつれて徐々に補正が強くなり、背景部分では一番強く（均一）補正されるような強度分布にしている。つまり、パラメータ生成部２２用の第１の補正適用強度分布とパラメータ生成部３２用の第２の補正適用強度分布とがほぼ逆特性となるように、それぞれの分布を決定している。
【００３２】
図２（Ｃ）は、オブジェクト中心部分補正部２０（詳しくはオブジェクト部分補正部２４）用の強度分布の一例であり、ここでは、図２（Ａ）と同様の分布を呈し、オブジェクトの中心が一番強く残り、徐々に画像データがなくなるような強度分布にしている。図２（Ｄ）は、オブジェクト除外部分補正部３０（詳しくは背景部分補正部３４）用の強度分布の一例であり、ここでは、図２（Ｂ）と同様の分布を呈し、オブジェクトの中心では画素データが殆ど残らずに且つ背景部分に近くなるにつれて徐々に画素データが現れる（画像が現れる）ような強度分布にしている。つまり、オブジェクト部分補正部２４用の第１の画像出力強度分布と背景部分補正部３４用の第２の画像出力強度分布とがほぼ逆特性となるように、それぞれの分布を決定している。
【００３３】
図２（Ｅ）は、オブジェクト中心部分補正部２０（詳しくはオブジェクト部分補正部２４）用の強度分布の他の例であり、オブジェクト部分では場所（画素位置）によらず均一な強度分布を呈し、且つ背景部分では画素データが殆ど残らないような強度分布にしている。図２（Ｆ）は、オブジェクト除外部分補正部３０（詳しくは背景部分補正部３４）用の強度分布の他の例であり、背景部分では場所（画素位置）によらず均一な強度分布を呈し、且つオブジェクト部分では画素データが殆ど残らないような強度分布にしている。この場合においても、オブジェクト部分補正部２４用の第１の画像出力強度分布と背景部分補正部３４用の第２の画像出力強度分布とがほぼ逆特性となるようにそれぞれの分布を決定していることになる。
【００３４】
なお、オブジェクト中心部分補正部２０やオブジェクト除外部分補正部３０用の補正適用強度分布についても、図２（Ｅ）や図２（Ｆ）のように、注目オブジェクトや背景の各主要部分では均一な補正が施され、他方の部分では殆ど補正が施されないような強度分布にしてもよい。
【００３５】
なお、この図２に示した各強度分布は、２次元的に投影した概念図を示すものであるが、その強度分布は３次元的な分布を有するものである。また、その決定方法は、前述の例に限らず、たとえばそれらオブジェクトが画像中に占める大きさや位置、あるいは予め定められているオブジェクトの重みなどから決定するように構成するなど、可変であってもよい。勿論、ユーザによる調整を受け付ける構成としてもよい。また、第１および第２の補正適用強度分布や、第１および第２の画像出力強度分布は、必ずしも互いに逆特性となるものでなくてもよい。
【００３６】
図３は、オブジェクト部分補正部２４や背景部分補正部３４における画質補正処理の機能を説明するブロック図である。図示した補正処理の例では、入力画像Ｇｉｎを低周波成分と高周波成分とに分け、それぞれの周波数成分にたいして画質補正処理を施す機能部分として、低周波数成分抽出補正処理部２００、高周波数成分抽出補正処理部２１０、および加算回路２２０を備えている。
【００３７】
低周波数成分抽出補正処理部２００は、たとえば抽出した低周波成分に対して、ノイズ抑制処理、レンジ圧縮処理、階調変換処理、あるいは色調補正処理を施す。このため、低周波数成分抽出補正処理部２００は、補正マスク（補正フィルタ）として３×３のローパスフィルタ（ＬＰＦ；Ｌｏｗ　Ｐａｓｓ　Ｆｉｌｔｅｒ　）２０２と、画質調整部２０４とを有する。
【００３８】
また高周波数成分抽出補正処理部２１０は、抽出した高周波成分に対して、たとえばノイズ抑制シャープネス強調処理を施す。このため高周波数成分抽出補正処理部２１０は、補正マスク（補正フィルタ）として１０×１０のローパスフィルタ（ＬＰＦ）２１２と、ルックアップテーブル（ＬＵＴ；Ｌｏｏｋ　Ｕｐ　Ｔａｂｌｅ　）を用いて補正処理を施すＬＵＴ補正部２１４と、入力画像ＧｉｎとＬＵＴ補正部２１４からの画像との差の画像（差分画像）を生成する減算回路２１６とを有する。
【００３９】
加算回路２２０は、減算回路２１６から出力された差分画像と、画質調整部２０４から出力された補正済みの低周波成分の画像とを合成することで、補正済みの画像を生成する。
【００４０】
図４は、上記第１実施形態の画像処理装置１における処理手順の概略を示したフローチャートである。先ず、画像入力部３は、デジタルカメラで撮影された入力画像Ｇｉｎを取り込み、この入力画像Ｇｉｎをオブジェクト領域認識抽出部１０やオブジェクト除外部分補正部３０に渡す（Ｓ１００）。オブジェクト領域認識抽出部１０は、予め記憶用意されている識別対象物オブジェクトや領域情報を基に領域認識することで、注目オブジェクトの領域を抽出する（Ｓ１０２）。ここでは、人物の顔領域を認識対象オブジェクトとしているため、顔領域の中心座標とその大きさなどの範囲を示す情報（以下オブジェクト情報という）がオブジェクト領域認識抽出部１０から出力され、このオブジェクト情報が、パラメータ生成部２２、パラメータ生成部３２、および補正適用強度分布生成部６２に入力される。
【００４１】
次に、補正適用強度分布生成部６２は、オブジェクト領域認識抽出部１０にて取得されたオブジェクト情報に基づいて、所定の強度分布を呈する補正適用強度分布を決定し、この決定した補正適用強度分布をパラメータ生成部２２やパラメータ生成部３２に設定する（Ｓ１０４）。また、補正適用強度分布生成部６２は、決定した補正適用強度分布を画像出力強度分布生成部６６にも入力する。画像出力強度分布生成部６６は、補正適用強度分布生成部６２から入力された補正強度分布を参照することで、注目オブジェクトの中心や大きさあるいは画質補正処理における補正強度に応じて合成処理部７０に出力するべき画像範囲や画素データの強度を示す強度分布を決定し、この決定した強度分布をオブジェクト部分補正部２４や背景部分補正部３４に設定する（Ｓ１０６）。
【００４２】
パラメータ生成部２２は、オブジェクト領域認識抽出部１０により取得されたオブジェクト情報を参照してオブジェクト領域の画像特徴を解析し、注目オブジェクトの一例である人物の顔画像をより適切な画像とするための画質補正用のパラメータを生成する（Ｓ１１０）。そして、補正適用強度分布生成部６２により設定された画質補正用の補正適用強度分布に従って、注目オブジェクトに対する画質補正用のパラメータを画素位置に応じて修正し、この修正後の補正パラメータをオブジェクト部分補正部２４に設定する（Ｓ１１２）。
【００４３】
オブジェクト部分補正部２４は、パラメータ生成部２２により設定された補正パラメータ（補正適用強度分布に従った修正済みのもの）に従って、階調変換処理や色調補正処理などの画質補正処理を入力画像Ｇｉｎに施す（Ｓ１１４）。また、オブジェクト部分補正部２４は、画質補正処理を施した画像に対してさらに、画像出力強度分布生成部６６にて生成されたオブジェクト部分補正部２４用の強度分布に従って個々の画素データのレベルを補正（強度補正）することでオブジェクト中心画像を生成し、この強度補正後のオブジェクト中心画像を合成処理部７０に入力する（Ｓ１１６）。
【００４４】
つまり、オブジェクト中心部分補正部２０は、オブジェクト領域認識抽出部１０で認識されたオブジェクト領域の画像特徴を解析し、該オブジェクト領域を中心とした好適な画像補正を入力画像Ｇｉｎに施す。また、オブジェクト中心部分補正部２０は、画像出力強度分布生成部６６からの強度分布を参照することで、たとえば、オブジェクトの中心が一番強く残り徐々に画像データがなくなるような補正済みのオブジェクト中心画像を合成処理部７０に入力する。
【００４５】
パラメータ生成部３２は、オブジェクト領域認識抽出部１０により取得されたオブジェクト情報と画像入力部３から入力された入力画像Ｇｉｎとを参照してオブジェクト領域を除く背景部分の画像特徴を解析し、注目オブジェクトの一例である人物部分を除く背景部分の画像（背景画像）をより適切な画像とするための画質補正用のパラメータを生成する（Ｓ１２０）。また、補正適用強度分布生成部６２により設定された画質補正用の補正適用強度分布に従って、背景画像に対する画質補正用のパラメータを画素位置に応じて修正し、この修正後の補正パラメータを背景部分補正部３４に設定する（Ｓ１２２）。
【００４６】
背景部分補正部３４は、パラメータ生成部３２により設定された補正パラメータ（補正適用強度分布に従った修正済みのもの）に従って、階調変換処理や色調補正処理などの画質補正処理を入力画像Ｇｉｎに施す（Ｓ１２４）。また、背景部分補正部３４は、画質補正処理を施した画像に対してさらに、画像出力強度分布生成部６６にて生成された背景部分補正部３４用の強度分布に従って個々の画素データのレベルを補正（強度補正）することでオブジェクト除外画像を生成し、この強度補正後のオブジェクト除外画像である背景画像を合成処理部７０に入力する（Ｓ１２６）。
【００４７】
つまり、オブジェクト除外部分補正部３０は、入力画像Ｇｉｎの全体の画像特徴や主にオブジェクト領域認識抽出部１０で認識されたオブジェクト領域を除く背景部分の画像特徴を解析し、背景部分を中心とした好適な画像補正を入力画像Ｇｉｎに施す。また、オブジェクト除外部分補正部３０は、画像出力強度分布生成部６６からの強度分布を参照することで、たとえば、オブジェクトの中心から徐々に画像データが再現されるような補正画像を合成処理部７０に入力する。
【００４８】
合成処理部７０は、オブジェクト中心部分補正部２０から入力された画質補正済み（オブジェクトに適した）のオブジェクト中心画像と、オブジェクト除外部分補正部３０から入力された画質補正済み（背景部分に適した）の背景画像（オブジェクト除外画像）とを合成することで、入力画像Ｇｉｎの全体を表す出力画像Ｇｏｕｔ　を生成する（Ｓ１３０）。
【００４９】
以上説明したように、オブジェクト中心部分補正部２０とオブジェクト除外部分補正部３０とで、それぞれに応じた適正な画質補正処理を施した画像を、合成処理部７０において合成することで、注目オブジェクトと背景部分のそれぞれに対して、各々好適に画像補正した出力画像を合成することができる。また、補正適用強度分布生成部６２により補正の適用具合が注目オブジェクトを中心として漸次変化する補正適用強度分布を補正パラメータとして適用するので、注目オブジェクトと背景の境界部分での補正の具合が連続するようにすることができる。加えて、画像出力強度分布生成部６６により個々の画素値が注目オブジェクトを中心として漸次変化する強度補正を施すことで、注目オブジェクトと背景の境界部分での画素値の連続性（階調の連続性）もある程度維持することができ、注目オブジェクトと背景の各々好適に画像補正した画像を連続的に合成することができる。
【００５０】
つまり、上記第１実施形態によれば、デジタル画像から注目オブジェクト（領域あるいは物体）を認識するとともに、該認識された注目オブジェクト（領域あるいは物体）や当該注目オブジェクトを除く部分の各特徴に基づいて補正適用強度分布を作成して画像を補正する。たとえば、顔領域や肌領域などを認識し、画質補正用の多値マスクを生成する。そして、この多値マスクを使用して、注目オブジェクトとこの注目オブジェクトを除く部分のそれぞれの特徴を有する補正処理を施した複数の画像を得、これら複数の補正画像を合成する。すなわち、それぞれの目的に適した複数の補正画像を作成し、多値マスクを使用した画像の合成（すかし）などを組み合わせることで、全体の補正を行なう。
【００５１】
これにより、主要な被写体（前例の注目オブジェクト）を中心とした画像補正と背景（前例の注目オブジェクトを除く部分）などの画像補正とのバランスのとれた効果的な画像補正を実現することができる。たとえば、主要被写体を中心に補正するが、背景などの見栄えをそこそこに補正することができ、特に人物の逆光やアンダー画像の補正など、失敗画像を人物中心に好ましく補正するのに好適である。加えて、補正適用強度分布に基づいて補正パラメータを調整しているので、注目オブジェクトとこの注目オブジェクトを除く部分との補正の連続性がよい全体画像を得ることができる。
【００５２】
図５は、本発明に係る画像処理装置の第２実施形態の構成例を示すブロック図である。第１実施形態の構成に加えて、注目オブジェクトに合わせた全体補正を施すオブジェクト中心全体補正部４０と、このオブジェクト中心全体補正部４０にて補正した画像と合成処理部７０からの合成画像とを合成する合成処理部７２とを備えている点が異なる。オブジェクト中心全体補正部４０は、本発明に係る第２補正部の他の一例である。そして、このオブジェクト中心全体補正部４０が出力する画質補正済の画像であるオブジェクト中心全体画像は、本発明に係る第２の補正済画像のうちの他方の補正済画像の一例である。
【００５３】
オブジェクト中心全体補正部４０は、注目オブジェクトに適した補正パラメータを生成するパラメータ生成部４２と、このパラメータ生成部４２により生成された補正パラメータに従って入力画像Ｇｉｎの全体に対して補正を施し、この補正済みの全体画像を合成処理部７２に出力するオブジェクト全体補正部４４とを有する。このオブジェクト中心全体補正部４０は、オブジェクト領域認識抽出部１０で認識されたオブジェクト領域の画像特徴を解析し、該オブジェクト領域を中心とした好適な画像補正を入力画像Ｇｉｎの全体に対して実施する。
【００５４】
オブジェクト中心部分補正部２０との違いは、補正適用強度分布を用いずに入力画像Ｇｉｎの全体に対して、注目オブジェクトに適した補正パラメータを使用して画質補正処理を実施する点、並びに画素データに対する画像出力強度分布を用いずに画質補正済みの全体画像を出力する点にある。なお、オブジェクト全体補正部４４における画質補正処理自体は、オブジェクト中心部分補正部２０における画質補正処理と異なっていてもかまわない。たとえばオブジェクト中心は逆光補正することで顔画像を明るくし且つ背景部は暈かし処理することで、逆光状態で撮影されたポートレート画像を見やすい画像にするなどである。
【００５５】
合成処理部７２は、合成処理部７０で合成された画像とオブジェクト中心全体補正部４０で画質補正された画像とを５０％対５０％で合成処理（すかし合成）する。この処理により、オブジェクト部の画像はあまり変化させず、オブジェクトと背景処理との連続性（補正および階調の双方ともに）をさらにスムーズに見せることができ、オブジェクト部と背景部と大きく補正処理の傾向が異なっている場合などに、好適な処理となる。
【００５６】
図６は、第２実施形態の画像処理装置１における画質補正処理の仕組みを説明する図（ポンチ絵）である。ここでは、説明のため、図６（Ａ）に示すように、人物部（顔領域Ａと胴体部Ｂ）と背景部Ｃで構成された入力画像Ｇｉｎ（撮影画像）を取り扱う。
【００５７】
オブジェクト領域認識抽出部１０は、入力画像Ｇｉｎから顔領域Ａを認識する。そして、オブジェクト中心部分補正部２０は、顔領域Ａを解析し、図６（Ｂ）に示すように、入力画像Ｇｉｎの顔領域Ａに対応する顔領域Ａ１を中心に画質補正処理を施す。またオブジェクト中心部分補正部２０は、画像出力強度分布生成部６６からの画像出力強度分布を参照することで補正済みの画像を出力するので、図６（Ｂ）に示すように、補正強度分布による処理により顔領域Ａ（オブジェクト）を中心として好適な補正が施されたほぼ顔領域Ａのみの部分画像Ａ１（オブジェクト中心画像）が出力される。
【００５８】
オブジェクト除外部分補正部３０は、顔領域Ａを除く部分である胴体部Ｂおよび背景部Ｃの特徴を解析し、図６（Ｃ）に示すように、入力画像Ｇｉｎの胴体部Ｂおよび背景部Ｃに対応する胴体部Ｂ１および背景部Ｃ１を中心に画質補正処理を施す。またオブジェクト除外部分補正部３０は、画像出力強度分布生成部６６からの画像出力強度分布を参照することで補正済みの画像を出力するので、図６（Ｃ）に示すように、補正強度分布による処理により顔領域Ａ（オブジェクト）以外（特に背景部Ｃ）を中心として補正されたほぼ胴体部Ｂおよび背景部Ｃのみの部分画像（オブジェクト除外画像：胴体部Ｂに対応する部分画像Ｂ１および背景部Ｃに対応する部分画像Ｃ１）が出力される。
【００５９】
図６（Ｄ）に示す合成画像は、オブジェクト中心部分補正部２０による補正済みのオブジェクト中心画像とオブジェクト除外部分補正部３０による補正済みのオブジェクト除外画像とを合成した補正画像であり、オブジェクト部と背景部がそれぞれ好適に補正強度分布に基づいて補正され、且つ画素データに対する強度分布に基づいて合成されたものである。
【００６０】
オブジェクト中心全体補正部４０は、入力画像Ｇｉｎから顔領域Ａを認識する。そして、オブジェクト中心全体補正部４０は、顔領域Ａを解析して入力画像Ｇｉｎの顔領域Ａに対応する顔領域Ａ２を中心に顔領域Ａに適した画質補正処理を施す。またオブジェクト中心全体補正部４０は画像出力強度分布を参照することなく、補正済みの画像を出力するので、図６（Ｅ）に示すように、補正強度分布による処理により顔領域Ａについて好適な画質補正が施された顔領域Ａ２、胴体部Ｂ２、および背景部Ｃ２を含む全体画像が出力される。顔領域Ａについて好適な画質補正が施されているので、胴体部Ｂ２および背景部Ｃ２については必ずしも好適な補正がなされているとは限らない。
【００６１】
なお、オブジェクト中心部分補正部２０とオブジェクト中心全体補正部４０の補正処理内容およびその補正パラメータが同じであれば、オブジェクト中心ではほぼ同じ特性の画像が得られる（すなわち顔領域Ａ１≒顔領域Ａ２）。勿論、顔領域部の補正は、オブジェクト中心部分補正部２０とオブジェクトにあわせたオブジェクト中心全体補正部４０とで同様の画質補正処理を施すことに限らず、種々の条件にあわせて適した処理を選択してもよい。
【００６２】
合成処理部７２は、注目オブジェクトである顔領域Ａおよび背景部Ｃの各々について各別に好適な補正処理が施された補正済みの合成画像（＝全体画像；図６（Ｄ））と、注目オブジェクトである顔領域Ａに着目して好適な補正処理が施された全体画像（図６（Ｅ））とをすかし合成することで、図６（Ｆ）に示す全体画像を得る。この全体画像の注目オブジェクトである顔領域Ａ３は、図６（Ｄ）に示した補正済みの合成画像（＝全体画像）の顔領域Ａ１および図６（Ｅ）に示した補正済みの全体画像の顔領域Ａ２の何れにおいても好適な補正が施されているので、図６（Ｆ）に示した補正済みの全体画像においても好適な画質補正処理（図中“○”で示す）が施された顔領域Ａ３が得られる。
【００６３】
なお、オブジェクト中心部分補正部２０とオブジェクト中心全体補正部４０の補正処理内容およびその補正パラメータが同じであれば、オブジェクト中心ではほぼ同じ特性の画像が得られる（すなわち顔領域Ａ１≒顔領域Ａ２≒顔領域Ａ３）。また、図６（Ｅ）に示す全体画像では、胴体部Ｂ２および背景部Ｃ２（特に背景部Ｃ２）については必ずしも好適な画質補正処理がなされているとは限らないが（図中胴体部Ｂ２は“△”、背景部Ｃ２は“×”で示す）、図６（Ｄ）に示す合成画像では胴体部Ｂ２および背景部Ｃ２（特に背景部Ｃ２）について好適な画質補正処理が施されているので、図６（Ｆ）に示す全体画像においては、胴体部Ｂ３および背景部Ｃ３の何れも、概ね良好な画質補正処理（図中“△”で示す）が施された画像を得ることができる。
【００６４】
ただし、オブジェクト中心部分補正部２０で顔領域Ａを補正し、オブジェクト除外部分補正部３０で、たとえば顔領域Ａ以外を解析し補正し、それぞれをぴったりと合成すれば、図６（Ｄ）に示す合成画像としては、最適な補正済みの全体画像が得られそうであるが、その場合は、補正処理の異なりから、注目オブジェクトと背景部との画像の繋がりの悪い補正画像が得られてしまい、うまくいかないことも起こり得る。たとえば人物の顔領域が逆光状態で暗く写った写真画像の場合、顔領域は明るめで背景部は暗めになるような補正処理を施すことになり、その補正特性が逆特性となるので、顔領域と背景部との境界部で階調の段差が生じてしまう虞れがある。また、オブジェクト領域認識抽出部１０による自動認識では注目オブジェクトを必ずしもうまく切り出せない場合が多く、認識領域の違いにより補正が逆効果となり認識領域にくっきりとした輪郭が現れてしまう不具合が生じることも起こり得る。
【００６５】
しかしながら、上記実施形態の画像処理装置１によれば、オブジェクト中心部分補正部２０にて主要被写体（注目オブジェクト）を中心とした補正適用強度分布を用いて補正処理し、且つオブジェクト除外部分補正部３０にて主要被写体を除く部分である主に背景部分を中心とした補正適用強度分布を用いて補正処理している。このため、図６（Ｄ）に示す合成画像においては、補正の連続性が維持されるような効果を享受することができる。加えて、画質補正済みの画素データに対して強度分布を用いることで注目オブジェクトや背景部のみを抽出するようにしている。このため、図６（Ｄ）に示す合成画像においては、階調の連続性も維持されるような効果を享受することができる。
【００６６】
また、オブジェクト中心全体補正部４０による画質補正処理によれば、背景部Ｃに関してはオブジェクト部（本例では顔領域Ａ）に合わせた補正が適用されるため、補正済の全体画像（図６（Ｅ））の背景部Ｃ２においては第１実施形態に比べて補正効果が劣化する場合がある。しかし、オブジェクト部（本例では顔領域Ａ２）との画質補正としての連続性は高くなるので、図６（Ｄ）に示した補正済みの合成画像とすかし合成することで得られた図６（Ｆ）に示す合成画像においては、背景画像とオブジェクト画像との補正の繋がりを一層よくする効果を享受することができる。
【００６７】
図７は、第２実施形態の画像処理装置１における画質補正処理の仕組みを纏めたブロック図である。図示するように、オブジェクト中心部分補正部２０、オブジェクト除外部分補正部３０、および合成処理部７０を備えた部分補正部７から出力される合成画像（図６（Ｄ）相当）としては、注目オブジェクト（人物部）および注目オブジェクト以外（背景部）のそれぞれにおいては好適な画質補正処理が施されるが、多値マスク生成部６０を適用しなければ、補正や階調の連続性は必ずしも好ましいものとならない虞れがある。
【００６８】
また、オブジェクト中心全体補正部４０を備えた全体補正部８によれば、注目オブジェクト（人物部）においては好適な画質補正処理が施されるが、注目オブジェクト以外（背景部）においては好ましい画質補正処理が施されるとは限らない。しかしながら、その出力画像（図６（Ｅ）相当）の補正や階調の連続性は、部分補正部７から出力される合成画像に比べて、格段にも好ましいものとなる。
【００６９】
よって、部分補正部７から出力された合成画像（全体画像）と全体補正部８から出力された全体画像とを合成処理部７２にて合成すれば、注目オブジェクト（人物部）においては好適な画質補正処理が施され、注目オブジェクト以外（背景部）においてはほぼ好適な画質補正処理が施され、しかも、補正や階調の連続性もほぼ好適な、バランスの良好な全体画像（図６（Ｆ）相当）が出力画像Ｇｏｕｔ　として得られる。
【００７０】
そして、オブジェクト中心の部分補正、オブジェクト除外の部分補正、あるいはオブジェクト中心の全体補正といった複数の補正画像を得、これら複数の補正画像を合成することで、主要な被写体を中心とした画像補正と背景などの全体補正のそれぞれが持つ不具合を緩和させて両補正のよいところだけ引き出すことで、主要な被写体を中心とした画像補正と背景などの画像補正とのバランスが一層とれた効果的な画像補正を実現することができる。
【００７１】
図８は、本発明に係る画像処理装置の第３実施形態の構成例を示すブロック図である。第１実施形態の構成に加えて、本発明に係る合成比率算出部の一例であるギャップ補正演算部８０を備えている点が異なる。上記第１実施形態では、合成処理部７０における合成処理時には、注目オブジェクト（前例では顔領域Ａ）を表す画質補正済のオブジェクト中心の部分画像と、それ以外（前例では胴体部部および背景部Ｃ）を表すオブジェクト除外の部分画像とを５０％対５０％の重み付けで合成していたが、この第３実施形態のギャップ補正演算部８０は、この合成時の重み、すなわち２つの画像の加算比率（合成の割合）を調整する。
【００７２】
図９は、第３実施形態の画像処理装置１におけるギャップ補正演算部８０の作用を説明する図である。たとえば、ギャップ補正演算部８０は、合成するためのそれぞれの画像データ、すなわちオブジェクト中心に画質補正が施された部分画像と背景部を中心に画質補正が施されたオブジェクイト除外の部分画像とを参照し、過度な合成を補正するに適した重みを算出することができる。ギャップ補正演算部８０は、算出した重みに基づいて、オブジェクト中心部分補正画像とオブジェクト除外部分補正画像の対応画素の明度（あるいは輝度）を参照して明度の差分に応じて合成比を変更する。たとえば、図９（Ａ）に示すようにして重みを算出する。
【００７３】
これにより、合成処理部７０による合成後の画像においては、たとえば、オブジェクト中心部分補正画像とオブジュクト除外部分補正画像の対応画素の明度差が大きい場合に、５０％対５０％の加算の場合には特にオブジェクト輪郭周辺の明度変化が大きく違和感が生じる虞れがあるのに対して、オブジェクト中心の部分画像の合成比を４０％にし、オブジェクト除外の部分画像を６０％とした加算とすることで合成後の画像の繋がりが滑らかになる（図９（Ｂ）を参照）。
【００７４】
この場合、どちらの画像の比率を高くするかは、たとえば対象画像の面積が大きい方の比率を高くする、あるいはオブジェクト中心部分補正画像の比率を高くする、といった選択が考えられる。
【００７５】
また、参照する特徴は、明度以外にも、図９（Ｃ）に示すように、色相や彩度など種々の特徴量を参照することで、過度な合成を抑制することができる。
【００７６】
図１０は、本発明に係る画像処理装置の第４実施形態の構成例を示すブロック図である。第２実施形態の構成に加えて、本発明に係る合成比率算出部の一例であるギャップ補正演算部８０および本発明に係る合成比率算出部の他の一例であるギャップ補正演算部８２を備えている点が異なる。図示するように、ギャップ補正演算部８０は、第３実施形態と同様の構成および作用のものである。
【００７７】
一方、ギャップ補正演算部８２は、合成処理部７２における合成時の重みを調整する。すなわち、第２実施形態では、合成処理部７２における合成処理時には、合成処理部７０からの合成画像とオブジェクト中心全体補正部４０からのオブジェクト中心に画質補正が施された全体画像とを５０％対５０％の重み付けで合成していたが、この第４実施形態のギャップ補正演算部８２は、この合成時の重み、すなわち２つの画像の加算比を調整する。
【００７８】
図１１は、第４実施形態の画像処理装置１におけるギャップ補正演算部８２の作用を説明する図である。たとえば、ギャップ補正演算部８２は、合成するためのそれぞれの画像データ、すなわちオブジェクト中心に画質補正が施された全体画像と合成処理部７０からの合成済画像（全体画像）とを参照し、適した重みを算出することができる。たとえばギャップ補正演算部８０は、主に背景部Ｃの特徴を参照して重みを算出する。
【００７９】
オブジェクト中心全体補正部４０による画質補正処理では主に注目オブジェクトを中心として画質補正処理を施すので、オブジェクト中心部と背景部の適正補正量の差が大きい場合、背景部は必ずしも好ましい補正がなされるとは限らないので、合成処理部７２による合成処理時には、オブジェクト中心全体補正部４０からの出力画像における背景部の参照度合いが低くなるようにする方が好ましいことが多いと考えられる。
【００８０】
よって、合成処理部７２による合成後の画像においては、たとえば図１１（Ｃ）に示すように５０％対５０％の加算の場合には背景部が必ずしも好適とならない虜れがあるのに対して、図１１（Ｄ）に示すようにオブジェクト中心全体補正部４０からのオブジェクト中心全体画像の重みを低くすることで背景部をより好適にすることができる。たとえばギャップ補正演算部８２は、合成済画像とオブジェクト中心に画質補正が施された全体画像の対応画素の明度（あるいは輝度）を参照して明度の差分に応じて合成比を変更する。たとえば、ギャップ補正演算部８０について説明した図９（Ａ）に示すようにして重みを算出する。
【００８１】
これにより、合成処理部７２による合成後の画像においては、たとえば、合成済画像とオブジェクト中心に画質補正が施された全体画像の対応画素の明度差が大きい場合に、５０％対５０％の加算の場合には、背景部の補正がオブジェクト中心に画質補正が施された全体画像の背景部の補正により過ぎの状態であるのに対して、合成済画像の合成比を５５％にし、オブジェクト中心に画質補正が施された全体画像を４５％とした加算とすることで合成後の背景画像をより好適にすることができる（図１１（Ｅ）参照）。
【００８２】
なお、ギャップ補正演算部８０の場合と同様に、参照する特徴は、明度以外にも、色相や彩度など種々の特徴量を参照することで、過度な合成を抑制することができる（図９（Ｃ）参照）。また、ギャップ補正演算部８２でオブジェクトと背景の補正バランスを考慮する場合、ギャップ補正演算部８０での調整量は相対的に小さくするなど、ギャップ補正のバランスを変更してもよい。
【００８３】
以上第３あるいは第４実施形態のように、ギャップ補正演算部８０，８２を設け、合成比率を調整することで、実質的に多値マスクの与え方を調整することができる。そして、この多値マスクの与え方を調整することで、補正効果の増減を制御することができる。
【００８４】
図１２は、本発明に係る画像処理装置の第５実施形態の構成例を示すブロック図である。この第５実施形態の画像処理装置１は、オブジェクトの認識を１箇所に限らず複数とする場合の構成例を示したものである。なお、この第５実施形態の構成は、第４実施形態の構成に適用する例で示しているが、これに限らず、第１〜第３実施形態の構成に適用することもできる。
【００８５】
第５実施形態の画像処理装置１は、基本的な構成は第４実施形態の画像処理装置１と同じであるが、オブジェクト領域認識抽出部１０、オブジェクト中心部分補正部２０、およびオブジェクト中心全体補正部４０の各機能部分に、それぞれ複数のオブジェクトを認識するのに応じた変更を加えている点が異なる。
【００８６】
たとえば、オブジェクト領域認識抽出部１０で複数のオブジェクト領域（たとえばオブジェクト１，…Ｎ）を認識したことに対応して、多値マスク生成部６０においてもそれぞれの注目オブジェクトに応じた（たとえば注目オブジェクトの中心ほど参照度合いが強い）各別の補正適用強度分布を決定する。
【００８７】
パラメータ生成部２２は、複数の注目オブジェクトについて、それぞれの注目オブジェクトの特徴に基づいてその注目オブジェクトに合致した画質パラメータをそれぞれ決定し、この決定した画質パラメータを補正適用強度分布生成部６２が決定したそれぞれの注目オブジェクトに対応する補正適用強度分布に基づいて調整する。
【００８８】
そして、オブジェクト部分補正部２４は、この調整された画質パラメータに従って少なくとも対応する注目オブジェクトに対してそれぞれ画質補正処理を施すことで、複数の第１の補正済画像として、複数のオブジェクト中心部分画像を取得するとよい。よって、オブジェクト中心部分補正部２０は、個々の注目オブジェクトに応じた補正済のオブジェクト中心の部分画像を各別に生成することになる。
【００８９】
また多値マスク生成部６０の補正適用強度分布生成部６２は、複数の注目オブジェクトを除く部分（主に背景部）の特徴に基づいて、この複数の注目オブジェクトを除く部分に合致した画質パラメータの複数の注目オブジェクトを除く部分（主に背景部）に対する参照度合いを示す分布であって、注目オブジェクトの中心ほど参照度合いが弱い補正適用強度分布を決定する。
【００９０】
そして、本発明に係る第２補正部の一例であるオブジェクト除外部分補正部３０のパラメータ生成部３２は、補正適用強度分布生成部６２にて決定された補正適用強度分布に基づいて補正パラメータを調整する。背景部分補正部３４は、この調整済の補正パラメータに従って少なくとも複数の注目オブジェクトを全て除く補正済の部分画像を１つだけ生成すればよい。
【００９１】
同様に、注目オブジェクトにあわせて全体画像に補正を施す本発明に係る第２補正部の他の一例であるオブジェクト中心全体補正部４０は、複数の注目オブジェクトに応じた各別の補正パラメータで補正処理を施せばよい。すなわちオブジェクト中心全体補正部４０は、複数の注目オブジェクトについて、それぞれの特徴に基づいて当該注目オブジェクトに合致した画質パラメータを決定し、この決定した画質パラメータに従って注目オブジェクトおよびその注目オブジェクトを除く部分（すなわち画像の略全体）に対して画質補正処理を施して画像の略全体を含む補正済画像であるオブジェクト中心全体画像をそれぞれ取得するとよい。よって、オブジェクト中心全体補正部４０は、個々の注目オブジェクトに応じた補正済のオブジェクト中心の全体画像を各別に生成することになる。
【００９２】
合成処理部７０は、本発明に係る第１補正部の一例であるオブジェクト中心部分補正部２０にて各別に生成された個々の注目オブジェクトに応じた補正済のオブジェクト中心の部分画像（たとえばオブジェクト１，…Ｎの分だけ）と、本発明に係る第２補正部の一例であるオブジェクト除外部分補正部３０にて生成された複数の注目オブジェクトを全て除く１枚分の補正済部分画像とを合成すればよい。
【００９３】
合成処理部７２は、本発明に係る第２補正部の他の一例であるオブジェクト中心全体補正部４０にて各別に生成された個々の注目オブジェクトに応じた補正済のオブジェクト中心の全体画像（たとえばオブジェクト１，…Ｎの分だけ）と、合成処理部７０にて合成された画像（補正済の全体画像）とをさらに合成処理すればよい。
【００９４】
この第５実施形態によれば、複数の注目オブジェクトそれぞれについて、上記第１実施形態で説明した効果を享受することができる。よって、画像全体としても、上記第１実施形態で説明した効果を享受することができ、主要な複数の被写体を中心とした画像補正と背景などの画像補正とのバランスのとれた効果的な画像補正を実現することができる。
【００９５】
図１３は、本発明に係る画像処理装置の他の実施形態（変形例）を説明する図である。参考例として、従来技術および上記で説明した第１および第２実施形態も図示している。
【００９６】
画像全体の特徴を解析して画像全体を補正する従来例１の場合、全体が一様に補正されるので、補正効果は不十分である。また、オブジェクトの特徴を解析してそのオブジェクトを中心として画像全体に補正を施す従来例２の場合、補正ギャップは小さく連続性はほぼ良好であるがオブジェクト以外は不適正になる。また画像全体の特徴を解析して画像全体を補正した後に、オブジェクトの特徴を解析してそのオブジェクトを中心としてそのオブジェクトのみに補正を施す従来例３の場合、補正の効果は高いが補正ギャップが大きく連続性の劣化が著しい。
【００９７】
これに対して、オブジェクトの特徴を解析してそのオブジェクトを中心として補正適用強度分布を利用して補正を施してオブジェクト中心の部分補正画像を取得し、さらにオブジェクト以外の特徴を解析してそのオブジェクト以外（特に背景部）を中心として補正適用強度分布を利用して補正を施してオブジェクト除外の部分補正画像を取得し、さらにオブジェクト中心の部分補正画像とオブジェクト除外の部分補正画像とを合成処理して全体画像を生成する第１実施形態の構成によれば、オブジェクトおよびオブジェクト以外の双方が好適に補正処理され且つ補正ギャップが小さく連続性が良好である画像が得られる。
【００９８】
また、オブジェクトの特徴を解析してそのオブジェクトを中心として補正適用強度分布を利用することなく画像全体に補正を施して補正画像を取得し、この全体画像と第１実施形態の構成にて取得された合成画像とをさらに合成する第２実施形態の構成によれば、第１実施形態に比べて、オブジェクト以外の画質補正効果がやや劣化するが、補正ギャップが一層小さくなり連続性がより良好である画像が得られる。
【００９９】
なお、上記実施形態のオブジェクト中心部分補正部２０やオブジェクト除外部分補正部３０においては、多値マスク生成部６０の画像出力強度分布生成部６６にて生成された画素データに対する画像出力強度分布を利用することで、それぞれの部分補正画像を生成することとしていたが、画像処理装置１は、オブジェクトを中心とした画質補正処理時に少なくとも補正適用強度分布を利用して補正パラメータを調整して補正画像を取得し、他の観点から所望の画質補正処理が施された画像と合成するものであればよい。たとえば、オブジェクト除外部分補正部３０においては補正適用強度分布を必ずしも利用するものである必要はない。またオブジェクト中心部分補正部２０およびオブジェクト除外部分補正部３０の何れについても、画素データに対する画像出力強度分布については必ずしも利用する必要はなく、補正済の全体画像を合成処理部７０に出力してもよい。
【０１００】
たとえば、オブジェクトの特徴を解析してそのオブジェクトを中心として補正適用強度分布を利用しオブジェクトに合わせた補正を施した全体画像を取得し、さらにオブジェクト以外（特に背景部）の特徴を解析してそのオブジェクト以外を中心として補正適用強度分布を利用しオブジェクト以外に合わせた補正を施した全体画像を取得し、さらにオブジェクト中心に補正された全体画像とオブジェクト以外を中心に補正された全体画像とを合成処理して全体画像を生成する変形例１の構成としてもよい。
【０１０１】
この場合、オブジェクト中心に補正された全体画像の背景部は実質的に補正が何ら施されていない画像が残り、オブジェクト以外を中心に補正された全体画像のオブジェクトは実質的に補正が何ら施されていない画像が残るが、何れの補正済の全体画像においても補正ギャップが極小さく補正の連続性は良好である。よって、その２つの補正済の全体画像を合成すれば、第１実施形態に比べ、オブジェクトやオブジェクト以外の画質補正効果がやや劣化するが、補正ギャップが一層小さくなり連続性が一層良好である画像が得られる。
【０１０２】
また第１実施形態と変形例１とを組み合わせた構成としてもよい。たとえば、オブジェクトの特徴を解析してそのオブジェクトを中心として補正適用強度分布を利用して補正を施してオブジェクト中心の部分補正画像を取得し、さらにオブジェクト以外（特に背景部）の特徴を解析してそのオブジェクト以外を中心として補正適用強度分布を利用しオブジェクト以外に合わせた補正を施した全体画像を取得し、さらにオブジェクト中心に補正された部分補正画像とオブジェクト以外を中心に補正された全体画像とを合成処理して全体画像を生成する変形例２の構成としてもよい。
【０１０３】
この場合、オブジェクト中心に補正された部分補正画像には背景部が存在しないので合成時に加算比率の調整をする必要が生じ得るものの、第１実施形態に比べて、オブジェクトの画質補正効果がやや劣化するが、オブジェクト以外の画質補正効果はほぼ同等であり、加えて、補正ギャップが小さく連続性が良好である画像が得られる。
【０１０４】
また図では示さないが、オブジェクトの特徴を解析してそのオブジェクトを中心として補正適用強度分布を利用しオブジェクトに合わせた補正を施した全体画像と、第３実施形態の構成において示したオブジェクト中心全体補正部４０からの全体画像とを合成する構成としてもよい。また、第４あるいは第５実施形態で示したように、ギャップ補正演算部８０，８２と組み合わせてもよい。
【０１０５】
なお、上記の実施形態は、オブジェクト中心部分補正部２０、オブジェクト除外部分補正部３０、オブジェクト中心全体補正部４０、多値マスク生成部６０、合成処理部７０，７２、あるいはギャップ補正演算部８０，８２の機能部分をハードウェアにて構成するものとして説明したが、これに限らず、マイコンなどのＣＰＵ（中央演算処理装置）やパソコンなどの、いわゆる電子計算装置を利用し、ソフトウェアにて、上記の処理機能を実現することもできる。
【０１０６】
この場合、マイコンやパソコンなどの電子計算装置は、前述のオブジェクト中心部分補正部２０やオブジェクト除外部分補正部３０あるいは好合成処理部７０などの各機能部分をソフトウェアとして備える。すなわち、前述のオブジェクト中心部分補正部２０やオブジェクト除外部分補正部３０あるいは合成処理部７０などの各機能部分を実現するソフトウェアのプログラムコードを記録した記憶媒体（たとえば図示しないＲＡＭなど）から、装置のコンピュータ（またはＣＰＵやＭＰＵ）がプログラムコードを読出し実行することによって、前述の実施形態で述べた効果が達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述の実施形態の機能を実現することになる。なお、プログラムは、記憶媒体を介して提供されるものに限らず、有線あるいは無線による通信手段を介して配信されるプログラムデータをダウンロードしたものであってもよい。
【０１０７】
また、コンピュータが読み出したプログラムコードを実行することで各機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行ない、その処理によって各機能が実現される場合であってもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述の実施形態の各機能が実現される場合であってもよい。
【０１０８】
以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。
【０１０９】
また、上記の実施形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組み合わせにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
【０１１０】
【発明の効果】
以上のように、本発明によれば、先ず、画像中の注目オブジェクトの特徴を解析して注目オブジェクトに合致した補正適用強度分布を作成する。そして、注目オブジェクトに合致した画質パラメータを決定し、この決定した画質パラメータを前記補正適用強度分布に基づいて調整し、この調整後の補正パラメータに従って注目オブジェクトを中心として画質補正処理を施すことで第１の補正済画像を取得する。
【０１１１】
また、この第１の補正済画像とは別に、少なくとも注目オブジェクトを除く部分に対して所望の画質補正処理を施して第２の補正済画像を取得する。そして、各別にそれぞれ好ましい画質補正処理を施した補正済画像を合成することで、補正済の全体画像を取得する。
【０１１２】
これにより、対象とするデジタル画像に対し、主要被写体などの注目オブジェクトの画像補正を効果的に施すことができるとともに、背景などの注目オブジェクト以外の部分にも画像補正を効果的に施すことができる。加えて、注目オブジェクトとそれ以外の部分（たとえば背景部）との補正の連続性（補正の繋がり）がよい、画像としての違和感の少ない好ましい補正画像を得ることができる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の第１実施形態の構成例を示すブロック図である。
【図２】補正適用強度分布と画像出力強度分布の一例を示す図である。
【図３】画質補正処理の機能を説明するブロック図である。
【図４】第１実施形態の画像処理装置における処理手順の概略を示したフローチャートである。
【図５】本発明に係る画像処理装置の第２実施形態の構成例を示すブロック図である。
【図６】第２実施形態の画像処理装置における画質補正処理の仕組みを説明するポンチ絵である。
【図７】第２実施形態の画像処理装置における画質補正処理の仕組みを纏めたブロック図である。
【図８】本発明に係る画像処理装置の第３実施形態の構成例を示すブロック図である。
【図９】第３実施形態の画像処理装置におけるギャップ補正演算部の作用を説明する図である。
【図１０】本発明に係る画像処理装置の第４実施形態の構成例を示すブロック図である。
【図１１】第４実施形態の画像処理装置におけるギャップ補正演算部の作用を説明する図である。
【図１２】本発明に係る画像処理装置の第５実施形態の構成例を示すブロック図である。
【図１３】本発明に係る画像処理装置の他の実施形態（変形例）を説明する図である。
【符号の説明】
１…画像処理装置、３…画像入力部、７…部分補正部、８…全体補正部、１０…オブジェクト領域認識抽出部、２０…オブジェクト中心部分補正部、２２…パラメータ生成部、２４…オブジェクト部分補正部、３０…オブジェクト除外部分補正部、３２…パラメータ生成部、３４…背景部分補正部、４０…オブジェクト中心全体補正部、４２…パラメータ生成部、４４…オブジェクト全体補正部、５０…オブジェクト除外全体補正部、５４…背景全体補正部、６０…多値マスク生成部、６２…補正適用強度分布生成部、６６…画像出力強度分布生成部、７０，７２…合成処理部、８０，８２…ギャップ補正演算部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention is directed to an image obtained by digital processing such as an image photographed by a digital camera or an image obtained by inputting a negative film or the like by a film scanner (hereinafter referred to as a digital image) so as to have a more preferable image quality. The present invention relates to a method and an apparatus for performing a correction process, a program, and a computer-readable storage medium storing the program.
[0002]
[Prior art]
The digital image obtained by digital processing is analyzed for features such as brightness, contrast status, and color balance of the image, and the deviation of these features is determined to be a malfunction at the time of photographing, for example. There is a technique for performing correction so as to have a characteristic distribution. In addition, in order to realize image correction processing according to a shooting scene such as a subject being a person-centered or a landscape, the presence or absence of a main object and an area of a main object are detected from an image, and the main object and other objects are detected. There is also a correction method that applies a correction method that distinguishes between the two or performs image processing in which parameters are changed based on the main object. As described above, conventionally, a technique of performing a correction process on a digital image so as to obtain more preferable image quality is widely known.
[0003]
[Problems to be solved by the invention]
A technique for correcting the entire image to have a standard feature distribution is, for example, that the average brightness of the pixels of the entire image is 50/100 (“0” is dark and “100” is bright). Assuming that when the distribution average of the input image can be analyzed as "30/100" or the like, the correction method is such that image processing such as gradation conversion is performed so as to eventually approach "50/100". .
[0004]
However, this method corrects the entire image based on the features of the entire image, and performs a uniform correction on the entire image. Therefore, the object of interest, which is the main part of the image, is not always suitable. There is. For example, it is highly effective to make corrections assuming problems such as extreme underexposure and color balance deviation during shooting.However, there are cases where correction of the object of interest is not successful due to the effect of the shooting scene or the background of the main subject. is there.
[0005]
In addition, the correction method of detecting the presence or absence of a main object and the area of the main object from the image and performing processing is more effective in that the correction is performed centering on the object of interest that is most closely watched by a human in the image, By correcting only the main object, the main image may be properly corrected, but the whole image may be affected by the correction and the background image may be incorrectly corrected. For example, when a face area, a skin area, and the like are extracted, correction parameters are determined based on the area, and the entire image is corrected, the face area and the skin area are appropriately corrected, but the area other than the face becomes inappropriate.
[0006]
In addition, after correcting the entire image based on the characteristics of the entire image, there is a method of further detecting the area of the main object and performing correction processing only on the relevant area. When only the correction is performed, only the main object is emphasized, and the balance as the whole picture is lost, which may result in an unnatural image. For example, a method has been established in a photographic printer in which a face portion is recognized after performing a general correction on a photographic image, a correction parameter for the center of the face is calculated, and a correction is performed by combining a face memory color correction. Although the correction process itself in this method is ideal, there is a problem that the correction gap between a portion where the region is recognized and a portion where the region is not recognized is large, and the continuity of correction at the boundary portion is poor, and recognition accuracy is required. .
[0007]
Further, as one method of image quality correction processing for an image captured by a digital camera, there is a correction method using a fixed mask (center center) having a higher correction effect toward the center of the object of interest. In this method, the continuity of the correction at the boundary between the object of interest and the part excluding the object of interest is relatively good, but only the center of the object of interest and its vicinity are corrected, and no correction is made to the background and the like. Therefore, the correction is not always suitable as a whole.
[0008]
That is, in the related art, it is not possible to appropriately correct both the object of interest and the other part in the digital image and prevent a correction gap from occurring at the boundary between the object of interest and the other part. .
[0009]
The present invention has been made in view of the above circumstances, and appropriately corrects a target object and a portion excluding the target object, and performs continuity of correction at a boundary portion between the target object and a portion excluding the target object. It is another object of the present invention to provide an image processing method and apparatus which can improve the image quality. Another object of the present invention is to provide a program suitable for realizing the image processing method and apparatus by software using an electronic computer, and a computer-readable storage medium storing the program.
[0010]
[Means for Solving the Problems]
That is, the image processing method according to the present invention is an image processing method that performs a desired image quality correction process on a target object included in an image and also performs a desired image quality correction process on a portion excluding the target object. A distribution indicating the degree of reference of the image quality parameter for the image quality correction process matching the object of interest to the object of interest based on the feature of the object of interest, and determining the correction applied intensity distribution having a higher degree of reference toward the center of the object of interest. I do.
[0011]
Then, an image quality parameter for an image quality correction process that matches the object of interest is determined based on the characteristics of the object of interest, and the determined image quality parameter is adjusted based on the correction application intensity distribution. The image quality correction processing is performed on the object to obtain a corrected first image. Further, a desired image quality correction process is performed on at least a portion excluding the object of interest, which is different from the corrected first image, to obtain a corrected second image, and the corrected first image is obtained. And the corrected second image are combined to obtain a corrected entire image.
[0012]
An image processing apparatus according to the present invention is an apparatus that performs the image processing method according to the present invention, and includes a target object of an image quality parameter for an image quality correction process that matches the target object based on a feature of the eye object. A correction applied intensity distribution generation unit that determines a first corrected applied intensity distribution that has a higher reference degree toward the center of the object of interest, and matches the target object based on the characteristics of the object of interest. An image quality parameter for the image quality correction process is determined, and the determined image quality parameter is adjusted based on the first correction applied intensity distribution determined by the correction applied intensity distribution generation unit. A first correction unit that performs image quality correction processing on the image data to obtain a first corrected image. It was. Further, the image processing apparatus performs a desired image quality correction process on at least a portion other than the object of interest, the second image being a different image from the first corrected image generated by the first correction unit. A second correction unit that obtains a corrected overall image by combining the first corrected image generated by the first correction unit and the second corrected image generated by the second correction unit And a processing unit.
[0013]
The invention described in the dependent claims defines further advantageous specific examples of the image processing device according to the present invention. Furthermore, the program according to the present invention is suitable for realizing the image processing device according to the present invention by software using an electronic computer (computer). The program may be provided by being stored in a computer-readable storage medium, or may be distributed via a wired or wireless communication unit.
[0014]
[Action]
In the above configuration, the correction applied intensity distribution generating unit analyzes the feature of the target object in the image and creates a correction applied intensity distribution that matches the target object. The first correction unit determines an image quality parameter that matches the object of interest, adjusts the determined image quality parameter based on the correction applied intensity distribution determined by the correction applied intensity distribution generation unit, and adjusts the image quality parameter according to the adjusted correction parameter. A first corrected image is obtained by performing image quality correction processing centering on the object.
[0015]
On the other hand, the second correction unit performs the second correction by performing a desired image quality correction process on an image different from the first corrected image generated by the first correction unit and excluding at least a part other than the object of interest. Obtain a completed image. Then, the combining processing unit combines the first and second corrected images to obtain a corrected whole image, and thereby performs image correction centering on a main subject and overall image correction such as a background. A balanced and effective image correction is realized.
[0016]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0017]
FIG. 1 is a block diagram illustrating a configuration example of a first embodiment of an image processing apparatus according to the present invention. In the following description, assuming an image captured by a digital camera, an image in which one person is photographed as a main subject as a target object has a slightly underexposure overall and the face area of the person is in a backlight state. An example will be described in which an image that is darkened by is handled as an input image Gin.
[0018]
The image processing apparatus 1 according to the first embodiment automatically recognizes an object of interest based on an image input unit 3 that captures an input image Gin and an identification target object or area information that is stored and prepared in advance. And an object area recognition / extraction unit 10 for extraction. In the present embodiment, since the face region of the person is set as the recognition target object, the object region recognition and extraction unit 10 acquires information indicating a range such as the center coordinates of the face region and its size. The function of automatically recognizing an object by the object area recognition / extraction unit 10 may use a known method described in, for example, Japanese Patent Application Laid-Open No. Hei 9-138470.
[0019]
As the image input unit 3, a component of a mechanism for taking in a captured digital image from a storage medium (for example, a flash memory or the like) used in a digital camera is used. For example, a configuration in which the digital camera is directly connected to the digital camera with a USB (Universal Serial Bus) cable, and a configuration in which a digital image is extracted from a storage medium in the digital camera may be employed. Of course, the image acquired by the digital camera may be converted into a photographic print, and the photographic print may be read by a scanner to obtain the input image Gin. Further, when an analog camera using a conventional photographic film is used instead of a digital camera, a configuration for reading a photographic print with a scanner or a configuration for reading a negative film or a positive film with a film scanner may be adopted.
[0020]
Further, the image processing apparatus 1 analyzes an image feature of the object area recognized by the object area recognition / extraction section 10 and performs a suitable image correction centered on the object area; An object exclusion part correction unit 30 that analyzes the entire image characteristics of Gin and the image characteristics of a region other than a recognized object (referred to as a background) and performs image correction centered on the background. The object center portion correction unit 20 is an example of a first correction unit according to the present invention, and the object exclusion portion correction unit 30 is an example of a second correction unit according to the present invention.
[0021]
As the correction processing in the object part correction unit 24 and the background part correction unit 34, the brightness and color information of the object of interest included in the input image Gin are appropriate, and the brightness and color information of the background part excluding the object of interest are also appropriate. Correction. For example, in the case of a photographic image, a correction is made so that both the object of interest and the background part look good. Specifically, image quality correction processing such as high frequency component extraction processing, noise suppression sharpness enhancement processing, gradation conversion (gamma conversion) processing, or color tone correction processing is performed. Note that, for example, backlight correction and red-eye correction are also included in this correction processing. In the present embodiment, since the input image Gin captured by the digital camera includes the person who is the main subject as the object of interest, the entire image is slightly underexposed, and the face area of the person is darkened in a backlight state. Correction processing for mainly the density (gradation) for correcting the entire density including the background portion to be slightly brighter is executed.
[0022]
Further, the image processing apparatus 1 corrects by the multi-value mask generation unit 60 that generates various parameters used in the correction processing in the object center part correction unit 20 and the object exclusion part correction unit 30, and the object center part correction unit 20. A synthesis processing unit 70 for generating an output image Gout by synthesizing the corrected object center image and the object exclusion image corrected by the object exclusion part correction unit 30 at 50% to 50%.
[0023]
The multi-value mask generation unit 60 creates a mask pattern (multi-value mask) having a gradation centered on the target object of the input image Gin, and uses this mask pattern as the object center portion correction unit 20 or the object exclusion portion correction unit 30. Set to. For this reason, the multi-value mask generation unit 60 of the present embodiment generates a correction application intensity distribution for the object center correction unit 20 and corrects for the object exclusion correction unit 30 that exhibits almost the opposite characteristic. An intensity correction applied intensity distribution generating unit 62 for generating an applied intensity distribution, and an intensity distribution of image data representing a corrected object center image output from the object partial correcting unit 24 are generated. And an image output intensity distribution generating unit 66 for generating an intensity distribution of image data representing a corrected object excluded image output from the object excluded partial correcting unit 30.
[0024]
In the present embodiment, since the face area of the person is set as the recognition target object, the correction application intensity distribution generating unit 62 and the image output intensity distribution generating unit 66 determine the object area indicating the range such as the center coordinates of the face area and its size. Based on the information acquired by the recognition extraction unit 10, a correction application intensity distribution and an image data intensity distribution exhibiting a characteristic that the intensity gradually changes around the object are determined. For example, as the object center image input from the object partial correction unit 24 to the synthesis processing unit 70, the intensity distribution is such that the center of the object remains most strongly and the image data gradually disappears (the data becomes “0”). To
[0025]
On the contrary, as the object exclusion image input from the background part correction unit 34 to the synthesis processing unit 70, the center of the object hardly remains (so that it becomes “0” in data) and the background part The intensity distribution is such that the image data gradually appears as the value approaches. Alternatively, the object portion and the background portion may exhibit different intensities, and each portion may exhibit a uniform intensity distribution regardless of the location.
[0026]
The object center correction unit 20 generates a correction parameter suitable for the object of interest, and generates the correction parameter according to the correction application intensity distribution for the object center correction unit 20 generated by the correction application intensity distribution generation unit 62. It has a parameter generation unit 22 that changes (corrects) and an object partial correction unit 24 that corrects the input image Gin in accordance with the correction parameters generated by the parameter generation unit 22. The object center image output from the object part correction unit 24 and having the image quality corrected is an example of the first corrected image according to the present invention.
[0027]
Similarly, the object exclusion part correction unit 30 generates a correction parameter suitable for the background part, and converts the generated correction parameter into the correction application intensity for the object exclusion part correction unit 30 generated by the correction application intensity distribution generation unit 62. It has a parameter generation unit 32 that changes (corrects) according to the distribution, and a background part correction unit 34 that corrects the input image Gin in accordance with the correction parameters generated by the parameter generation unit 32. The object-excluded image output from the background portion correction unit 34 and having the image quality corrected is an example of one of the second corrected images according to the present invention.
[0028]
When outputting image data representing an object center image, which is an image whose image quality has been corrected, to the synthesis processing unit 70, the object part correction unit 24 performs high frequency component extraction processing, noise suppression sharpness enhancement processing, gradation conversion processing, or color tone processing. The image that has been subjected to the image quality correction processing such as the correction processing is further subjected to the intensity of the image data (that is, the individual pixel data Level), and inputs the object center image after the intensity correction to the synthesis processing unit 70.
[0029]
Similarly, when outputting the image data representing the object exclusion image, which is the image whose image quality has been corrected, to the synthesis processing unit 70, the background part correction unit 34 performs a high frequency component extraction process, a noise suppression sharpness enhancement process, and a gradation conversion process. Alternatively, for an image on which image quality correction processing such as color tone correction processing has been performed, the intensity of image data (that is, individual image data) according to the intensity distribution for the background portion correction section 34 generated by the image output intensity distribution generation section 66. The level of the pixel data is corrected, and the object exclusion image after the intensity correction is input to the synthesis processing unit 70.
[0030]
FIG. 2 shows an example of the correction applied intensity distribution determined by the correction applied intensity distribution generator 62 of the multi-value mask generator 60, and an example of the image output intensity distribution for the pixel data determined by the image output intensity distribution generator 66. FIG.
[0031]
FIG. 2A is an example of a correction application intensity distribution for the object center portion correction unit 20 (specifically, the parameter generation unit 22). Here, the center of the object is corrected most strongly, and the correction is gradually weakened. The intensity distribution is as follows. FIG. 2B is an example of a correction application intensity distribution for the object exclusion portion correction unit 30 (specifically, the parameter generation unit 32). Here, contrary to FIG. 2A, correction is performed at the center of the object. Are hardly corrected and gradually become stronger as the position approaches the background portion, and the intensity distribution is such that the background portion is most strongly (uniformly) corrected. That is, the respective distributions are determined so that the first correction applied intensity distribution for the parameter generation unit 22 and the second correction applied intensity distribution for the parameter generation unit 32 have substantially opposite characteristics.
[0032]
FIG. 2C is an example of an intensity distribution for the object center correction unit 20 (specifically, the object correction unit 24). Here, the distribution is similar to that of FIG. The intensity distribution is such that the strongest remains and the image data gradually disappears. FIG. 2D is an example of an intensity distribution for the object exclusion part correction unit 30 (specifically, the background part correction unit 34). Here, the distribution is similar to that of FIG. The intensity distribution is such that almost no pixel data remains and pixel data gradually appears (images appear) as the pixel data approaches the background. That is, the respective distributions are determined so that the first image output intensity distribution for the object part correction unit 24 and the second image output intensity distribution for the background part correction unit 34 have substantially opposite characteristics.
[0033]
FIG. 2E shows another example of the intensity distribution for the object central portion correcting section 20 (specifically, the object portion correcting section 24). The object portion exhibits a uniform intensity distribution irrespective of the location (pixel position). The intensity distribution is such that almost no pixel data remains in the background portion. FIG. 2F is another example of the intensity distribution for the object exclusion part correction unit 30 (specifically, the background part correction unit 34). In the background part, a uniform intensity distribution is exhibited regardless of the location (pixel position). The intensity distribution is such that almost no pixel data remains in the object portion. Also in this case, the respective distributions are determined so that the first image output intensity distribution for the object part correction unit 24 and the second image output intensity distribution for the background part correction unit 34 have substantially opposite characteristics. Will be.
[0034]
Note that the correction application intensity distribution for the object center portion correction unit 20 and the object exclusion portion correction unit 30 is also uniform in each main part of the object of interest and the background, as shown in FIGS. 2 (E) and 2 (F). The intensity distribution may be such that the correction is made and the other part is hardly corrected.
[0035]
Each of the intensity distributions shown in FIG. 2 is a conceptual diagram projected two-dimensionally, and the intensity distribution has a three-dimensional distribution. Further, the determination method is not limited to the above-described example, and may be variable, such as by determining the size or position occupied by an object in an image or a predetermined object weight. Good. Of course, a configuration in which adjustment by a user is received may be adopted. Further, the first and second correction applied intensity distributions and the first and second image output intensity distributions do not necessarily have to have the opposite characteristics.
[0036]
FIG. 3 is a block diagram illustrating the function of the image quality correction processing in the object part correction unit 24 and the background part correction unit 34. In the illustrated example of the correction processing, the input image Gin is divided into a low-frequency component and a high-frequency component, and the low-frequency component extraction correction processing unit 200 and the high-frequency component extraction correction A processing unit 210 and an addition circuit 220 are provided.
[0037]
The low frequency component extraction correction processing unit 200 performs, for example, noise suppression processing, range compression processing, gradation conversion processing, or color tone correction processing on the extracted low frequency components. For this reason, the low frequency component extraction correction processing unit 200 includes a 3 × 3 low pass filter (LPF; Low Pass Filter) 202 as a correction mask (correction filter), and an image quality adjustment unit 204.
[0038]
Further, the high frequency component extraction correction processing unit 210 performs, for example, noise suppression sharpness enhancement processing on the extracted high frequency components. For this reason, the high frequency component extraction correction processing unit 210 performs LUT correction using a 10 × 10 low-pass filter (LPF) 212 as a correction mask (correction filter) and a look-up table (LUT; Look Up Table). And a subtraction circuit 216 that generates an image (difference image) of the difference between the input image Gin and the image from the LUT correction unit 214.
[0039]
The addition circuit 220 generates a corrected image by combining the difference image output from the subtraction circuit 216 and the corrected low-frequency component image output from the image quality adjustment unit 204.
[0040]
FIG. 4 is a flowchart illustrating an outline of a processing procedure in the image processing apparatus 1 according to the first embodiment. First, the image input unit 3 captures an input image Gin captured by a digital camera, and passes the input image Gin to the object area recognition extraction unit 10 and the object exclusion part correction unit 30 (S100). The object area recognition and extraction unit 10 extracts the area of the target object by performing area recognition based on the identification target object and area information stored and prepared in advance (S102). Here, since the face region of the person is set as the recognition target object, information (hereinafter, referred to as object information) indicating a range such as the center coordinates of the face region and its size is output from the object region recognition and extraction unit 10, and the object information Is input to the parameter generation unit 22, the parameter generation unit 32, and the correction applied intensity distribution generation unit 62.
[0041]
Next, the correction application intensity distribution generation unit 62 determines a correction application intensity distribution exhibiting a predetermined intensity distribution based on the object information acquired by the object area recognition and extraction unit 10, and determines the determined correction application intensity distribution. Is set in the parameter generator 22 and the parameter generator 32 (S104). The correction applied intensity distribution generating unit 62 also inputs the determined correction applied intensity distribution to the image output intensity distribution generating unit 66. The image output intensity distribution generation unit 66 refers to the correction intensity distribution input from the correction application intensity distribution generation unit 62, and according to the center or size of the object of interest or the correction intensity in the image quality correction processing, Is determined, and the determined intensity distribution is set in the object part correction unit 24 and the background part correction unit 34 (S106).
[0042]
The parameter generation unit 22 analyzes the image characteristics of the object region with reference to the object information acquired by the object region recognition and extraction unit 10, and sets a face image of a person, which is an example of the object of interest, as a more appropriate image. A parameter for image quality correction is generated (S110). Then, according to the correction application intensity distribution for image quality correction set by the correction application intensity distribution generation unit 62, the image quality correction parameter for the object of interest is corrected according to the pixel position, and the corrected correction parameter is corrected for the object partial correction. It is set in the section 24 (S112).
[0043]
The object partial correction unit 24 performs image quality correction processing such as gradation conversion processing and color tone correction processing on the input image Gin according to the correction parameters (corrected according to the correction applied intensity distribution) set by the parameter generation unit 22. It is performed (S114). Further, the object partial correction unit 24 further adjusts the level of individual pixel data for the image subjected to the image quality correction processing according to the intensity distribution for the object partial correction unit 24 generated by the image output intensity distribution generation unit 66. The object center image is generated by the correction (intensity correction), and the object center image after the intensity correction is input to the synthesis processing unit 70 (S116).
[0044]
That is, the object center portion correction unit 20 analyzes the image characteristics of the object region recognized by the object region recognition and extraction unit 10 and performs suitable image correction centered on the object region on the input image Gin. In addition, the object center portion correction unit 20 refers to the intensity distribution from the image output intensity distribution generation unit 66, for example, by correcting the corrected object center such that the center of the object is the strongest and the image data gradually disappears. The image is input to the synthesis processing unit 70.
[0045]
The parameter generation unit 32 analyzes the image characteristics of the background portion excluding the object region with reference to the object information acquired by the object region recognition extraction unit 10 and the input image Gin input from the image input unit 3, and For example, a parameter for image quality correction for generating a more appropriate image of a background portion image (background image) excluding a person portion is generated (S120). In addition, according to the correction application intensity distribution for image quality correction set by the correction application intensity distribution generation unit 62, the image quality correction parameter for the background image is corrected according to the pixel position, and the corrected correction parameter is used as the background partial correction. It is set in the section 34 (S122).
[0046]
The background portion correction unit 34 performs image quality correction processing such as gradation conversion processing and color tone correction processing on the input image Gin according to the correction parameters (corrected according to the correction applied intensity distribution) set by the parameter generation unit 32. It is performed (S124). Further, the background part correction unit 34 further adjusts the level of individual pixel data according to the intensity distribution for the background part correction unit 34 generated by the image output intensity distribution generation unit 66 for the image subjected to the image quality correction processing. The object exclusion image is generated by performing the correction (intensity correction), and the background image which is the object exclusion image after the intensity correction is input to the synthesis processing unit 70 (S126).
[0047]
That is, the object exclusion part correction unit 30 analyzes the image characteristics of the entire input image Gin and the image characteristics of the background part excluding the object area mainly recognized by the object area recognition and extraction unit 10, and focuses on the background part. Appropriate image correction is performed on the input image Gin. In addition, the object exclusion partial correction unit 30 refers to the intensity distribution from the image output intensity distribution generation unit 66, and thereby, for example, generates a corrected image in which image data is gradually reproduced from the center of the object by the synthesis processing unit 70. To enter.
[0048]
The synthesis processing unit 70 is configured to correct the image quality (suitable for the object) of the object center image input from the object center correction unit 20 and to correct the image quality (suitable for the background part) input from the object exclusion correction unit 30. The output image Gout representing the entirety of the input image Gin is generated by synthesizing the background image (object-excluded image) with the background image (S130).
[0049]
As described above, the image subjected to the appropriate image quality correction processing corresponding to each of the object center part correction unit 20 and the object exclusion part correction unit 30 is synthesized by the synthesis processing unit 70, so that the image of interest and the object of interest are combined. It is possible to synthesize output images, each of which is appropriately image-corrected, for each of the background portions. In addition, since the correction application intensity distribution generation unit 62 applies the correction application intensity distribution in which the correction application gradually changes around the object of interest as the correction parameter, the degree of correction at the boundary between the object of interest and the background is continuous. You can do so. In addition, the image output intensity distribution generation unit 66 performs intensity correction in which individual pixel values gradually change around the object of interest, so that the continuity of pixel values at the boundary between the object of interest and the background (continuation of gradation) ) Can be maintained to some extent, and images of the object of interest and the background, each of which is appropriately corrected, can be continuously synthesized.
[0050]
That is, according to the first embodiment, an object of interest (area or object) is recognized from the digital image, and based on the features of the recognized object of interest (area or object) and a portion excluding the object of interest. An image is corrected by creating a correction application intensity distribution. For example, a face area or a skin area is recognized, and a multi-value mask for image quality correction is generated. Then, using the multi-valued mask, a plurality of images that have been subjected to correction processing having the characteristics of the object of interest and a portion excluding the object of interest are obtained, and these corrected images are combined. That is, a plurality of corrected images suitable for each purpose are created, and the entire correction is performed by combining images (watermarks) using a multi-valued mask.
[0051]
As a result, it is possible to achieve an effective image correction in which the image correction centered on the main subject (the object of interest in the previous example) and the image correction of the background (the part excluding the object of interest in the previous example) are well balanced. . For example, the correction is performed mainly on the main subject, but the appearance of the background and the like can be corrected moderately, and it is particularly suitable for correcting the failed image preferably in the center of the person, such as correction of a backlight or under image of the person. In addition, since the correction parameters are adjusted based on the correction application intensity distribution, it is possible to obtain an entire image with good continuity of correction between the object of interest and a portion excluding the object of interest.
[0052]
FIG. 5 is a block diagram illustrating a configuration example of a second embodiment of the image processing apparatus according to the present invention. In addition to the configuration of the first embodiment, an entire object center correction unit 40 that performs overall correction in accordance with an object of interest, an image corrected by the entire object center correction unit 40, and a synthesized image from the synthesis processing unit 70 The difference is that a combination processing unit 72 for combining is provided. The object center entire correction unit 40 is another example of the second correction unit according to the present invention. The object center entire image output from the object center entire correction unit 40, which is the image whose image quality has been corrected, is an example of the other corrected image of the second corrected image according to the present invention.
[0053]
The entire object center correction unit 40 performs correction on the entire input image Gin in accordance with the parameter generation unit 42 that generates a correction parameter suitable for the object of interest, and the correction parameter generated by the parameter generation unit 42. And an entire object correction unit 44 that outputs the completed entire image to the synthesis processing unit 72. The object center entire correction unit 40 analyzes the image characteristics of the object area recognized by the object area recognition and extraction unit 10 and performs a suitable image correction centered on the object area on the entire input image Gin. .
[0054]
The difference from the object center portion correction unit 20 is that the image quality correction process is performed on the entire input image Gin using the correction parameter suitable for the object of interest without using the correction application intensity distribution, and the pixel data Is to output the entire image of which the image quality has been corrected without using the image output intensity distribution for. Note that the image quality correction process itself in the entire object correction unit 44 may be different from the image quality correction process in the object center portion correction unit 20. For example, the face image is brightened by performing backlight correction on the object center, and the background portion is blurred, so that a portrait image captured in a backlight state can be easily viewed.
[0055]
The synthesis processing unit 72 performs a synthesis process (watermark synthesis) of the image synthesized by the synthesis processing unit 70 and the image whose image quality has been corrected by the entire object center correction unit 40 at 50% to 50%. By this process, the image of the object portion is not changed much, and the continuity (both correction and gradation) between the object and the background process can be seen more smoothly. This is a suitable process when the tendency is different.
[0056]
FIG. 6 is a diagram (punch picture) for explaining the mechanism of the image quality correction process in the image processing apparatus 1 according to the second embodiment. Here, for the sake of explanation, as shown in FIG. 6A, an input image Gin (captured image) composed of a person portion (face region A and body portion B) and a background portion C is handled.
[0057]
The object area recognition and extraction unit 10 recognizes the face area A from the input image Gin. Then, the object center correction unit 20 analyzes the face area A, and performs image quality correction processing centering on the face area A1 corresponding to the face area A of the input image Gin, as shown in FIG. Further, since the object center portion correction unit 20 outputs the corrected image by referring to the image output intensity distribution from the image output intensity distribution generation unit 66, as shown in FIG. By the processing, a partial image A1 (object center image) of only the face area A, which has been suitably corrected centering on the face area A (object), is output.
[0058]
The object exclusion part correction unit 30 analyzes the features of the body part B and the background part C, which are parts other than the face area A, and as shown in FIG. 6C, the body part B and the background part C of the input image Gin. The image quality correction processing is performed mainly on the body part B1 and the background part C1 corresponding to. Further, since the object exclusion part correction unit 30 outputs the corrected image by referring to the image output intensity distribution from the image output intensity distribution generation unit 66, as shown in FIG. A partial image (subject image: partial image B1 corresponding to body portion B and background image corresponding to body portion B) of substantially only body portion B and background portion C corrected by processing other than face area A (object), especially around background portion C A partial image C1) corresponding to C is output.
[0059]
The composite image shown in FIG. 6D is a corrected image in which the object center image corrected by the object center correction unit 20 and the object exclusion image corrected by the object exclusion unit correction unit 30 are synthesized. The background portions are suitably corrected based on the corrected intensity distribution, and are synthesized based on the intensity distribution for the pixel data.
[0060]
The object center entire correction unit 40 recognizes the face area A from the input image Gin. Then, the entire object center correction unit 40 analyzes the face area A and performs image quality correction processing suitable for the face area A centering on the face area A2 corresponding to the face area A of the input image Gin. Further, since the object center entire correction unit 40 outputs a corrected image without referring to the image output intensity distribution, as shown in FIG. The whole image including the corrected face area A2, body part B2, and background part C2 is output. Since a suitable image quality correction has been performed on the face area A, the body section B2 and the background section C2 are not necessarily corrected appropriately.
[0061]
If the correction processing contents and the correction parameters of the object center partial correction section 20 and the object center entire correction section 40 are the same, an image having almost the same characteristics can be obtained at the object center (namely, face area A1 ≒ face area A2). . Of course, the correction of the face area portion is not limited to performing the same image quality correction processing by the object center portion correction section 20 and the object center entire correction section 40 adapted to the object, but may perform a processing suitable for various conditions. You may choose.
[0062]
The synthesizing processing unit 72 includes a corrected synthesized image (= overall image; FIG. 6D) in which a suitable correction process has been performed for each of the face area A and the background part C as the object of interest, The entire image shown in FIG. 6 (F) is obtained by watermark-combining with the entire image (FIG. 6 (E)) subjected to a suitable correction processing by focusing on the face area A. The face area A3, which is the target object of the whole image, is a face area A1 of the corrected composite image (= whole image) shown in FIG. 6D and the corrected whole image shown in FIG. Since the preferred correction has been performed on any of the face areas A2, the preferred image quality correction processing (indicated by “O” in the figure) has been performed on the corrected whole image shown in FIG. The face area A3 is obtained.
[0063]
Note that if the correction processing contents and the correction parameters of the object center partial correction unit 20 and the entire object center correction unit 40 are the same, an image having substantially the same characteristics can be obtained at the object center (that is, the face area A1 {the face area A2}). Face area A3). Further, in the whole image shown in FIG. 6E, the body part B2 and the background part C2 (particularly, the background part C2) are not necessarily subjected to the suitable image quality correction processing (the body part B2 in the figure is not In the composite image shown in FIG. 6D, the body image B2 and the background portion C2 (particularly, the background portion C2) have been subjected to suitable image quality correction processing, and thus the image quality correction processing is performed. In the whole image shown in FIG. 6 (F), it is possible to obtain an image on which both the body part B3 and the background part C3 have been subjected to generally good image quality correction processing (indicated by “△” in the figure).
[0064]
However, if the object center correction unit 20 corrects the face area A and the object exclusion correction unit 30 analyzes and corrects, for example, the area other than the face area A, and combines them exactly, as shown in FIG. 6D. As the composite image, it is likely that an optimal corrected whole image is obtained. In that case, however, due to the difference in the correction processing, a corrected image in which the image of the object of interest and the background portion have poor connection is obtained. Things can go wrong. For example, in the case of a photographic image in which a person's face region is dark in a backlight state, a correction process is performed such that the face region is bright and the background portion is dark, and the correction characteristics are reverse characteristics. There is a possibility that a gradation step may occur at the boundary between the image and the background. Also, in many cases, the object of interest cannot always be cut out properly by the automatic recognition performed by the object region recognition / extraction unit 10, and the difference in the recognition region causes the correction to have an adverse effect, causing a problem that a sharp outline appears in the recognition region. obtain.
[0065]
However, according to the image processing apparatus 1 of the above embodiment, the object center portion correction unit 20 performs the correction process using the correction applied intensity distribution centered on the main subject (object of interest), and the object exclusion portion correction unit 30 The correction processing is performed using the correction applied intensity distribution centered on the background portion, which is the portion excluding the main subject. For this reason, in the composite image shown in FIG. 6D, the effect of maintaining the continuity of correction can be obtained. In addition, only the object of interest and the background portion are extracted by using the intensity distribution for the pixel data on which the image quality has been corrected. For this reason, in the composite image shown in FIG. 6D, an effect that the continuity of gradation is maintained can be enjoyed.
[0066]
Further, according to the image quality correction processing by the entire object center correction unit 40, since the correction corresponding to the object part (the face area A in this example) is applied to the background part C, the corrected whole image (FIG. In the background portion C2 of E)), the correction effect may be deteriorated as compared with the first embodiment. However, since the continuity of image quality correction with the object portion (the face area A2 in this example) is high, FIG. 6 obtained by watermark-combining with the corrected composite image shown in FIG. In the composite image shown in (F), the effect of further improving the connection between the correction of the background image and the correction of the object image can be enjoyed.
[0067]
FIG. 7 is a block diagram summarizing the mechanism of image quality correction processing in the image processing apparatus 1 according to the second embodiment. As shown in the drawing, the composite image (corresponding to FIG. 6D) output from the partial correction unit 7 including the object center partial correction unit 20, the object exclusion partial correction unit 30, and the synthesis processing unit 70 is a target object. Suitable image quality correction processing is performed on each of the (person part) and the object other than the object of interest (background part), but if the multi-value mask generation unit 60 is not applied, the continuity of correction and gradation is not necessarily preferable. This may not be the case.
[0068]
According to the overall correction unit 8 including the object center overall correction unit 40, a suitable image quality correction process is performed on the object of interest (person), but a preferable image quality correction is performed on the object other than the object of interest (background portion). Processing is not always performed. However, the correction of the output image (corresponding to FIG. 6 (E)) and the continuity of gradation are much more preferable than the composite image output from the partial correction unit 7.
[0069]
Therefore, if the combined image (whole image) output from the partial correction unit 7 and the whole image output from the whole correction unit 8 are combined by the combining processing unit 72, a suitable image quality is obtained for the object of interest (person part). A correction process is performed, and a substantially preferable image quality correction process is performed on a portion other than the object of interest (background portion), and the whole image is well balanced (FIG. 6F). ) Is obtained as the output image Gout.
[0070]
Then, a plurality of corrected images such as a partial correction at the center of the object, a partial correction at the exclusion of the object, or a whole correction at the center of the object are obtained, and by combining these corrected images, the image correction centering on the main subject and the background are corrected. Efficient image correction that further balances the image correction of the main subject and the image correction of the background, etc. Can be realized.
[0071]
FIG. 8 is a block diagram showing a configuration example of the third embodiment of the image processing apparatus according to the present invention. The difference is that in addition to the configuration of the first embodiment, a gap correction operation unit 80 as an example of the combination ratio calculation unit according to the present invention is provided. In the first embodiment, at the time of the synthesis processing in the synthesis processing unit 70, a partial image at the center of the image-corrected object representing the object of interest (the face area A in the previous example) and the other (the body part and the background part C in the previous example) ) Is combined with the object-excluded partial image with a weight of 50% to 50%. However, the gap correction calculation unit 80 of the third embodiment calculates the weight at the time of the combination, that is, the addition ratio of the two images. (Combination ratio).
[0072]
FIG. 9 is a diagram illustrating the operation of the gap correction calculation unit 80 in the image processing device 1 according to the third embodiment. For example, the gap correction calculation unit 80 generates the respective image data to be synthesized, that is, the partial image in which the image quality is corrected in the center of the object and the partial image excluding the object in which the image quality is corrected in the background. By referring to the weight, it is possible to calculate a weight suitable for correcting an excessive combination. Based on the calculated weight, the gap correction calculation unit 80 refers to the brightness (or brightness) of the corresponding pixel between the object center partial correction image and the object exclusion partial correction image, and changes the combination ratio according to the difference in brightness. For example, the weight is calculated as shown in FIG.
[0073]
Thereby, in the image after the synthesis by the synthesis processing unit 70, for example, when the brightness difference between the corresponding pixels of the object center part corrected image and the object exclusion part corrected image is large, and in the case of 50% to 50% addition, In particular, the brightness change around the object outline is large, and there is a possibility that a sense of incongruity may occur. On the other hand, the synthesis is performed by adding the partial image at the center of the object to 40% and the partial image excluding the object to 60%. The connection of the subsequent images becomes smooth (see FIG. 9B).
[0074]
In this case, it is conceivable to select which image has a higher ratio, for example, to increase the ratio of the object image having a larger area or to increase the ratio of the object center portion corrected image.
[0075]
In addition, as for the feature to be referred to, as shown in FIG. 9C, by referring to various feature amounts such as hue and saturation, as shown in FIG. 9C, excessive synthesis can be suppressed.
[0076]
FIG. 10 is a block diagram illustrating a configuration example of a fourth embodiment of the image processing apparatus according to the present invention. In addition to the configuration of the second embodiment, a gap correction operation unit 80 as an example of the combination ratio calculation unit according to the present invention and a gap correction operation unit 82 as another example of the combination ratio calculation unit according to the present invention are provided. Are different. As shown, the gap correction operation unit 80 has the same configuration and operation as the third embodiment.
[0077]
On the other hand, the gap correction calculation unit 82 adjusts the weight at the time of combination in the combination processing unit 72. That is, in the second embodiment, at the time of the combining processing in the combining processing unit 72, the combined image from the combining processing unit 70 and the entire image obtained by performing image quality correction on the object center from the entire object center correcting unit 40 are compared by 50%. Although the synthesis is performed with the weighting of 50%, the gap correction calculation unit 82 of the fourth embodiment adjusts the weight at the time of the synthesis, that is, the addition ratio of the two images.
[0078]
FIG. 11 is a diagram illustrating the operation of the gap correction calculation unit 82 in the image processing device 1 according to the fourth embodiment. For example, the gap correction calculation unit 82 refers to each image data to be combined, that is, the entire image in which the image quality is corrected at the center of the object and the combined image (whole image) from the combination processing unit 70, and Weight can be calculated. For example, the gap correction calculation unit 80 calculates the weight mainly with reference to the feature of the background portion C.
[0079]
In the image quality correction processing performed by the entire object center correction unit 40, the image quality correction processing is performed mainly on the object of interest. Therefore, when the difference between the appropriate correction amount between the center part of the object and the background part is large, the background part is always preferably corrected. Therefore, it is often considered preferable that the degree of reference to the background part in the image output from the entire object center correction unit 40 be low during the synthesis processing by the synthesis processing unit 72.
[0080]
Therefore, in the image after the synthesis by the synthesis processing unit 72, for example, as shown in FIG. As shown in FIG. 11D, the background portion can be made more suitable by lowering the weight of the entire object center image from the entire object center correction section 40. For example, the gap correction calculator 82 refers to the brightness (or brightness) of the corresponding pixel of the combined image and the entire image in which the image quality has been corrected at the center of the object, and changes the combining ratio in accordance with the difference in brightness. For example, the weight is calculated as shown in FIG.
[0081]
Thus, in the image after the synthesis by the synthesis processing unit 72, for example, when the brightness difference between the corresponding pixel of the synthesized image and the corresponding pixel of the entire image in which the image quality is corrected at the object center is large, 50% to 50% addition is performed. In the case of, the correction of the background part is too much due to the correction of the background part of the entire image in which the image quality correction has been performed on the object center, whereas the synthesis ratio of the synthesized image is set to 55% and the object center is corrected. By adding 45% to the entire image that has been subjected to image quality correction, the synthesized background image can be made more suitable (see FIG. 11E).
[0082]
As in the case of the gap correction calculation unit 80, for the feature to be referred to, by referring to various feature amounts such as hue and saturation in addition to the brightness, it is possible to suppress excessive combination (FIG. 9). (C)). Further, when the correction balance between the object and the background is considered in the gap correction calculation unit 82, the balance of the gap correction may be changed such that the adjustment amount in the gap correction calculation unit 80 is relatively small.
[0083]
As described above, by providing the gap correction calculation units 80 and 82 and adjusting the combination ratio as in the third or fourth embodiment, it is possible to substantially adjust the way of providing a multi-value mask. Then, by adjusting the way of giving the multi-value mask, it is possible to control the increase or decrease of the correction effect.
[0084]
FIG. 12 is a block diagram illustrating a configuration example of a fifth embodiment of the image processing apparatus according to the present invention. The image processing apparatus 1 according to the fifth embodiment shows a configuration example in which the recognition of an object is not limited to one place but is made to be plural. Although the configuration of the fifth embodiment is shown as an example applied to the configuration of the fourth embodiment, the configuration is not limited to this and can be applied to the configurations of the first to third embodiments.
[0085]
The basic configuration of the image processing apparatus 1 according to the fifth embodiment is the same as that of the image processing apparatus 1 according to the fourth embodiment. However, the object area recognition / extraction unit 10, the object center part correction unit 20, and the object center whole correction The difference is that each functional part of the unit 40 is modified according to the recognition of a plurality of objects.
[0086]
For example, in response to the recognition of a plurality of object regions (for example, objects 1,... N) by the object region recognition and extraction unit 10, the multi-value mask generation unit 60 also responds to each target object (for example, Each correction application intensity distribution is determined.
[0087]
The parameter generation unit 22 determines, for each of the plurality of target objects, an image quality parameter that matches the target object based on the characteristics of each target object, and the correction application intensity distribution generation unit 62 determines the determined image quality parameter. The adjustment is performed based on the correction application intensity distribution corresponding to each target object.
[0088]
Then, the object partial correction unit 24 performs the image quality correction processing on at least the corresponding target object according to the adjusted image quality parameter, thereby converting the plurality of object central partial images as the plurality of first corrected images. Good to get. Therefore, the object center partial correction unit 20 generates a corrected partial image of the center of the object corresponding to each target object separately.
[0089]
In addition, the correction applied intensity distribution generation unit 62 of the multi-value mask generation unit 60 determines, based on the characteristics of the part excluding the plurality of target objects (mainly, the background part), the image quality parameter matching the part excluding the plurality of target objects. A distribution indicating the degree of reference to a portion excluding a plurality of objects of interest (mainly, a background portion) is determined.
[0090]
Then, the parameter generation unit 32 of the object exclusion partial correction unit 30 which is an example of the second correction unit according to the present invention adjusts the correction parameter based on the correction applied intensity distribution determined by the correction applied intensity distribution generation unit 62. I do. The background part correction unit 34 may generate only one corrected partial image excluding at least all of the plurality of target objects according to the adjusted correction parameters.
[0091]
Similarly, the object-centered overall correction unit 40, which is another example of the second correction unit according to the present invention that performs correction on the entire image in accordance with the target object, performs correction with different correction parameters corresponding to the plurality of target objects. What is necessary is just to perform a process. That is, the object center overall correction unit 40 determines an image quality parameter matching the object of interest based on the characteristics of each of the plurality of objects of interest, and according to the determined image quality parameter, a portion excluding the object of interest and the part excluding the object of interest (ie, It is preferable to perform image quality correction processing on (substantially the entire image) to acquire an object-centered entire image, which is a corrected image including substantially the entire image. Accordingly, the entire object center correction unit 40 generates a corrected entire image of the center of the object corresponding to each target object individually.
[0092]
The synthesis processing unit 70 includes a corrected partial image of the center of the object (for example, the object 1) corresponding to the individual target object generated by the object center partial correction unit 20 which is an example of the first correction unit according to the present invention. ,... N) and one corrected partial image excluding all the plurality of target objects generated by the object exclusion partial correction unit 30 which is an example of the second correction unit according to the present invention. do it.
[0093]
The synthesis processing unit 72 includes a corrected entire image of the object center corresponding to each attention object generated separately by the entire object center correction unit 40 as another example of the second correction unit according to the present invention (for example, N may be further combined with the image combined by the combining unit 70 (corrected whole image).
[0094]
According to the fifth embodiment, the effects described in the first embodiment can be enjoyed for each of a plurality of objects of interest. Therefore, the effects described in the first embodiment can be enjoyed for the entire image as well, and an effective image in which image correction centering on a plurality of main subjects and image correction of a background and the like are well balanced is achieved. Correction can be realized.
[0095]
FIG. 13 is a diagram illustrating another embodiment (modification) of the image processing apparatus according to the present invention. As a reference example, the related art and the first and second embodiments described above are also illustrated.
[0096]
In the case of Conventional Example 1 in which the characteristics of the entire image are analyzed to correct the entire image, the entire image is uniformly corrected, and the correction effect is insufficient. In the case of Conventional Example 2 in which the characteristics of an object are analyzed and the entire image is corrected with the object as the center, the correction gap is small and the continuity is almost good, but other objects are inappropriate. Further, in the case of Conventional Example 3 in which the characteristics of an object are analyzed and the entire image is corrected, and then the characteristics of the object are analyzed and only the object is corrected centering on the object, the effect of the correction is high, but the correction gap is large. Significant deterioration of continuity.
[0097]
On the other hand, the feature of the object is analyzed, the correction is performed using the correction application intensity distribution centering on the object to obtain a partially corrected image at the center of the object, and the features other than the object are analyzed to obtain the object. (Particularly the background part) as a center to obtain a partially corrected image excluding the object by performing the correction using the intensity distribution of the correction application, and further synthesizes the partially corrected image excluding the object and the partially corrected image excluding the object. According to the configuration of the first embodiment in which the entire image is generated, both the object and the object other than the object are suitably corrected, and an image having a small correction gap and good continuity is obtained.
[0098]
In addition, the characteristics of the object are analyzed, and the whole image is corrected without using the correction applied intensity distribution around the object to obtain a corrected image, and the corrected image is obtained by using the whole image and the configuration of the first embodiment. According to the configuration of the second embodiment in which the combined image is further combined with the combined image, the image quality correction effect of the object other than the object is slightly deteriorated as compared with the first embodiment, but the correction gap is further reduced and the continuity is improved. An image is obtained.
[0099]
Note that the object center portion correction unit 20 and the object exclusion portion correction unit 30 of the above embodiment use the image output intensity distribution for the pixel data generated by the image output intensity distribution generation unit 66 of the multi-value mask generation unit 60. By doing so, each of the partial correction images is generated, but the image processing apparatus 1 adjusts the correction parameter by using at least the correction application intensity distribution at the time of the image quality correction processing centering on the object, and generates the correction image. Any other device may be used as long as it is acquired and combined with an image subjected to a desired image quality correction process from another viewpoint. For example, the object exclusion partial correction unit 30 does not necessarily need to use the correction application intensity distribution. Also, it is not always necessary to use the image output intensity distribution for the pixel data in any of the object center portion correction unit 20 and the object exclusion portion correction unit 30, and even if the corrected whole image is output to the synthesis processing unit 70. Good.
[0100]
For example, the characteristics of an object are analyzed to obtain a whole image that has been corrected for the object by using the correction application intensity distribution centering on the object, and the characteristics of objects other than the object (particularly, the background portion) are analyzed to obtain the image. Acquires a whole image that has been corrected for objects other than objects using the correction application intensity distribution centering on objects other than the object, and then combines the whole image corrected for the center of the object with the whole image corrected for the center other than the object The configuration of Modification 1 in which processing is performed to generate an entire image may be adopted.
[0101]
In this case, a substantially uncorrected image remains in the background portion of the entire image corrected at the center of the object, and substantially no correction is performed on the object of the entire image corrected around the object. Uncorrected images remain, but the correction gap is extremely small in any corrected whole image, and the continuity of correction is good. Therefore, if the two corrected whole images are combined, the effect of correcting the image quality of the object or the object other than the object is slightly deteriorated as compared with the first embodiment, but the correction gap is further reduced and the continuity is further improved. Is obtained.
[0102]
Further, a configuration in which the first embodiment and the first modification are combined may be adopted. For example, the characteristics of an object are analyzed, and correction is performed using the correction application intensity distribution with the object as a center to obtain a partially corrected image at the center of the object. Using the correction applied intensity distribution around the object other than the object to obtain a whole image that has been corrected according to the object other than the object, a partial corrected image corrected at the object center and a whole image corrected around the object other than the object May be configured as a modification 2 in which the entire image is generated by performing a synthesis process.
[0103]
In this case, since the background portion does not exist in the partially corrected image corrected at the center of the object, it may be necessary to adjust the addition ratio at the time of synthesis, but the image quality correction effect of the object is slightly deteriorated compared to the first embodiment. However, the image quality correction effects of the objects other than the object are almost the same, and in addition, an image having a small correction gap and good continuity can be obtained.
[0104]
Although not shown in the figure, the whole image obtained by analyzing the characteristics of the object and performing correction in accordance with the object using the correction application intensity distribution with the object as the center, and the entire object center shown in the configuration of the third embodiment A configuration in which the entire image from the correction unit 40 is combined may be employed. Further, as shown in the fourth or fifth embodiment, it may be combined with the gap correction calculation units 80 and 82.
[0105]
In the above embodiment, the object center part correction unit 20, the object exclusion part correction unit 30, the object center whole correction unit 40, the multi-value mask generation unit 60, the synthesis processing units 70 and 72, or the gap correction calculation unit 80, Although the functional part 82 is described as being constituted by hardware, the present invention is not limited to this, and a so-called electronic computing device such as a CPU (central processing unit) such as a microcomputer or a personal computer is used. Can be realized.
[0106]
In this case, an electronic computing device such as a microcomputer or a personal computer is provided with each functional part such as the above-described object central part correction unit 20, object exclusion part correction unit 30, or good synthesis processing unit 70 as software. That is, a storage medium (for example, a RAM (not shown)) storing software program codes for realizing the respective functional parts such as the above-described object center part correction unit 20, object exclusion part correction unit 30, and synthesis processing unit 70 is used to execute the operation of the apparatus. When the computer (or the CPU or the MPU) reads and executes the program code, the effects described in the above-described embodiment are achieved. In this case, the program code itself read from the storage medium implements the functions of the above-described embodiment. The program is not limited to the program provided via the storage medium, but may be a program obtained by downloading program data distributed via a wired or wireless communication unit.
[0107]
Each function is realized not only by executing the program code read out by the computer, but also by an OS (Operating System) running on the computer based on an instruction of the program code. It may be a case where all or some of the units are performed and each function is realized by the processing. Further, after the program code read from the storage medium is written in a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the function expansion card is written based on the instruction of the program code. Or a CPU or the like provided in the function expansion unit may perform part or all of the actual processing, and the processing may realize the functions of the above-described embodiments.
[0108]
As described above, the present invention has been described using the embodiment. However, the technical scope of the present invention is not limited to the scope described in the embodiment. Various changes or improvements can be made to the above-described embodiment without departing from the spirit of the invention, and embodiments with such changes or improvements are also included in the technical scope of the present invention.
[0109]
Further, the above embodiments do not limit the invention according to the claims (claims), and all combinations of the features described in the embodiments are not necessarily essential to the means for solving the invention. Absent. The embodiments described above include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. Even if some components are deleted from all the components shown in the embodiment, as long as the effect is obtained, a configuration from which some components are deleted can be extracted as an invention.
[0110]
【The invention's effect】
As described above, according to the present invention, first, the characteristics of the target object in the image are analyzed to create a correction applied intensity distribution that matches the target object. Then, an image quality parameter matching the object of interest is determined, the determined image quality parameter is adjusted based on the correction applied intensity distribution, and an image quality correction process is performed centering on the object of interest in accordance with the adjusted correction parameter. One corrected image is acquired.
[0111]
In addition, separately from the first corrected image, a desired image quality correction process is performed on at least a portion excluding the object of interest to obtain a second corrected image. Then, a corrected whole image is obtained by synthesizing the corrected images each having been subjected to the preferable image quality correction processing.
[0112]
This makes it possible to effectively perform image correction of a target object such as a main subject on a target digital image, and to effectively perform image correction on a portion other than the target object such as a background. . In addition, it is possible to obtain a preferable corrected image with good continuity of correction (connection of correction) between the object of interest and the other part (for example, the background part) and less discomfort as an image.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of a first embodiment of an image processing apparatus according to the present invention.
FIG. 2 is a diagram illustrating an example of a correction application intensity distribution and an image output intensity distribution.
FIG. 3 is a block diagram illustrating functions of an image quality correction process.
FIG. 4 is a flowchart illustrating an outline of a processing procedure in the image processing apparatus according to the first embodiment.
FIG. 5 is a block diagram illustrating a configuration example of a second embodiment of the image processing apparatus according to the present invention.
FIG. 6 is a punch picture illustrating a mechanism of an image quality correction process in the image processing apparatus according to the second embodiment.
FIG. 7 is a block diagram summarizing the mechanism of image quality correction processing in the image processing apparatus according to the second embodiment.
FIG. 8 is a block diagram illustrating a configuration example of a third embodiment of the image processing apparatus according to the present invention.
FIG. 9 is a diagram illustrating an operation of a gap correction calculation unit in the image processing device according to the third embodiment.
FIG. 10 is a block diagram illustrating a configuration example of a fourth embodiment of the image processing apparatus according to the present invention.
FIG. 11 is a diagram illustrating an operation of a gap correction calculation unit in an image processing device according to a fourth embodiment.
FIG. 12 is a block diagram illustrating a configuration example of an image processing apparatus according to a fifth embodiment of the present invention.
FIG. 13 is a diagram illustrating another embodiment (modification) of the image processing apparatus according to the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Image processing apparatus, 3 ... Image input part, 7 ... Partial correction part, 8 ... Whole correction part, 10 ... Object area recognition extraction part, 20 ... Object central part correction part, 22 ... Parameter generation part, 24 ... Object part Correction unit, 30: Object exclusion part correction unit, 32: Parameter generation unit, 34: Background part correction unit, 40: Object center entire correction unit, 42: Parameter generation unit, 44: Object whole correction unit, 50: Object exclusion whole Correction unit, 54: entire background correction unit, 60: multi-value mask generation unit, 62: correction applied intensity distribution generation unit, 66: image output intensity distribution generation unit, 70, 72: synthesis processing unit, 80, 82: gap correction Arithmetic unit

Claims

An image processing method of performing a desired image quality correction process on an object of interest included in an image and performing a desired image quality correction process on a portion excluding the object of interest,
A distribution indicating the degree of reference to the object of interest of the image quality parameter for the image quality correction processing that matches the object of interest based on the feature of the object of interest, and the correction application strength at which the degree of reference is stronger toward the center of the object of interest Determine the distribution,
The image quality parameter for the image quality correction process that matches the object of interest is determined based on the feature of the object of interest, and the determined image quality parameter is adjusted based on the determined correction applied intensity distribution. Applying the image quality correction processing to at least the object of interest in accordance with an image quality parameter to obtain a corrected first image;
A second image that is different from the corrected first image and that is subjected to desired image quality correction processing on at least a portion excluding the object of interest to obtain a corrected second image;
An image processing method, comprising: synthesizing the corrected first image and the corrected second image to obtain a corrected entire image.

An image processing apparatus that performs a desired image quality correction process on a target object included in an image and performs a desired image quality correction process on a portion excluding the target object,
A distribution indicating the degree of reference to the object of interest of an image quality parameter for the image quality correction process that matches the object of interest based on the feature of the object of interest. A correction application intensity distribution generation unit that determines a correction application intensity distribution of
Determining the image quality parameter for the image quality correction process that matches the object of interest based on the characteristics of the object of interest; and determining the determined image quality parameter by the first correction application determined by the correction application intensity distribution generation unit. A first correction unit that adjusts based on the intensity distribution, performs the image quality correction process on at least the object of interest in accordance with the adjusted image quality parameter, and obtains a first corrected image;
A desired image quality correction process is performed on at least a part other than the object of interest, which is different from the first corrected image generated by the first correction unit, to obtain a second corrected image. A second correction unit;
A combination processing unit that combines the first corrected image generated by the first correction unit and the second corrected image generated by the second correction unit to obtain a corrected entire image. An image processing apparatus characterized in that:

The correction application intensity distribution generation unit determines a reference degree of an image quality parameter for the image quality correction process that matches the portion excluding the object of interest with respect to the part excluding the object of interest, based on characteristics of the part excluding the object of interest. A second correction applied intensity distribution having a lower reference degree toward the center of the object of interest.
The second correction unit determines the image quality parameter for the image quality correction process that matches the portion excluding the object of interest based on the characteristics of the portion except the object of interest, and applies the determined image quality parameter to the correction application An adjustment is performed based on the second correction applied intensity distribution determined by the intensity distribution generation unit, and the image quality correction processing is performed on at least a portion excluding the object of interest according to the adjusted image quality parameter to obtain the second corrected The image processing apparatus according to claim 2, wherein the apparatus acquires an image.

4. The correction applied intensity distribution generating section determines respective distributions such that the first corrected applied intensity distribution and the second corrected applied intensity distribution have substantially opposite characteristics. An image processing apparatus according to claim 1.

A first image output intensity distribution indicating the output intensity of the target object included in the first corrected image output from the first correction unit, wherein the output intensity is higher at the center of the target object. The image processing apparatus according to any one of claims 2 to 4, further comprising an image output intensity distribution generating unit configured to determine the image output intensity distribution.

The image output intensity distribution generation unit is a distribution indicating an output intensity of a portion excluding the object of interest included in the second corrected image output from the second correction unit, and includes a center of the object of interest. The image processing apparatus according to claim 5, wherein a second image output intensity distribution having a lower output intensity is determined.

7. The image output intensity distribution generating section determines each distribution such that the first image output intensity distribution and the second image output intensity distribution have substantially opposite characteristics. An image processing apparatus according to claim 1.

The second correction unit determines the image quality parameter for the image quality correction process that matches the object of interest based on the feature of the object of interest, and excludes the object of interest and the object of interest in accordance with the determined image quality parameter. The image processing apparatus according to claim 2, wherein the image quality correction processing is performed on a portion to obtain the second corrected image.

The second correction unit determines the image quality parameter for the image quality correction process that matches the object of interest based on the feature of the object of interest, and excludes the object of interest and the object of interest in accordance with the determined image quality parameter. Performing the image quality correction process on the portion to obtain the second corrected image including substantially the entire image,
The image synthesizing unit performs the image quality correction process according to an image quality parameter adjusted based on the second correction applied intensity distribution, which is one of the second corrected images generated by the second correction unit. Combining the applied corrected image and the first corrected image generated by the first correction unit, and further combining the synthesized image with the second corrected image generated by the second correction unit. The image processing apparatus according to any one of claims 3 to 8, wherein the image processing apparatus synthesizes a corrected image including substantially the entirety of the other image.

The correction application intensity distribution generating unit is a distribution indicating a reference degree of the image quality parameter for the image quality correction processing that matches each of the target objects, based on characteristics of the plurality of target objects, with respect to each of the target objects. And determining the first correction applied intensity distribution having a higher reference degree toward the center of the target object,
The first correction unit determines, for the plurality of target objects, the image quality parameters for the image quality correction process that match the target object based on the characteristics of the target objects, and determines the determined image quality parameter. Is adjusted based on the first correction applied intensity distribution corresponding to each of the target objects determined by the correction applied intensity distribution generation unit, and the at least corresponding target objects are respectively adjusted according to the adjusted image quality parameters. By performing image quality correction processing, a plurality of the first corrected images are obtained,
The second correction unit is configured to perform desired image quality correction on an image different from each of the plurality of first corrected images generated by the first correction unit and excluding at least a portion excluding the plurality of target objects. Processing to obtain one said second corrected image,
The combination processing unit combines the plurality of first corrected images generated by the first correction unit and the one second corrected image generated by the second correction unit, and sets the corrected The image processing apparatus according to claim 2, wherein an entire image is acquired.

The correction application intensity distribution generation unit may be configured to, based on a feature of a portion excluding the plurality of target objects, extract the plurality of target objects of the image quality parameter for the image quality correction process that matches the portion excluding the plurality of target objects. Determining a second correction applied intensity distribution, which is a distribution indicating a reference degree to a part to be excluded, the reference degree being lower toward the center of the object of interest;
The second correction unit determines the image quality parameter for the image quality correction processing that matches the portion excluding the plurality of target objects, based on characteristics of the portion excluding the plurality of target objects, and determines the determined image quality parameter. Is adjusted based on the second correction applied intensity distribution determined by the correction applied intensity distribution generator, and the image quality correction process is performed on at least a portion excluding the plurality of target objects according to the adjusted image quality parameter. While acquiring one corrected image image which is one of the second corrected images, the image quality correction processing for the plurality of target objects, which matches the target object based on the characteristics of each target object, is performed. And determining the image quality parameter according to the determined image quality parameter. Objects and the considered object excluding the portion the image quality correction processing said second containing substantially the entire of the image by performing relative to other in a modified image of the modified image respectively acquired,
The image synthesizing unit performs the image quality correction process according to an image quality parameter adjusted based on the second correction applied intensity distribution, which is one of the second corrected images generated by the second correction unit. One corrected image that has been applied is combined with the plurality of first corrected images generated by the first correction unit, and the combined image is combined with the second correction generated by the second correction unit. The image processing apparatus according to claim 10, wherein a corrected image including substantially the entirety of the plurality of images, which is the other of the processed images, is combined.

A combining ratio for determining a combining ratio of the first corrected image and the second corrected image in the combining processing unit based on the first corrected image and the second corrected image. Equipped with a calculation unit,
12. The image processing apparatus according to claim 2, wherein the combination processing unit combines the first corrected image and the second corrected image in accordance with the combination ratio calculated by the combination ratio calculation unit. The image processing device according to any one of claims 1 to 4.

A program for performing a desired image quality correction process on an object of interest included in an image and performing a desired image quality correction process on a portion excluding the object of interest,
Computer
A distribution indicating the degree of reference to the object of interest of an image quality parameter for the image quality correction process that matches the object of interest based on the feature of the object of interest. A correction application intensity distribution generation unit that determines a correction application intensity distribution of
Determining the image quality parameter for the image quality correction process that matches the object of interest based on the characteristics of the object of interest; and determining the determined image quality parameter by the first correction application determined by the correction application intensity distribution generation unit. A first correction unit that adjusts based on the intensity distribution, performs the image quality correction process on at least the object of interest in accordance with the adjusted image quality parameter, and obtains a first corrected image;
A desired image quality correction process is performed on at least a part other than the object of interest, which is different from the first corrected image generated by the first correction unit, to obtain a second corrected image. A second correction unit;
The first correction unit generates a corrected whole image by synthesizing the first corrected image generated by the first correction unit and the second corrected image generated by the second correction unit. A program characterized by the following.

A computer-readable storage medium storing a program for performing a desired image quality correction process on an object of interest included in an image and performing a desired image quality correction process on a portion excluding the object of interest,
On the computer,
A distribution indicating the degree of reference to the object of interest of the image quality parameter for the image quality correction processing that matches the object of interest based on the feature of the object of interest, and the correction application strength is such that the degree of reference is stronger toward the center of the object of interest. Determining the distribution;
The image quality parameter for the image quality correction process that matches the object of interest is determined based on the feature of the object of interest, and the determined image quality parameter is adjusted based on the determined correction applied intensity distribution. A step of performing the image quality correction process on the object of interest in accordance with an image quality parameter to obtain a corrected first image;
Performing a desired image quality correction process on at least a portion excluding the object of interest, which is an image different from the corrected first image, to obtain a corrected second image;
Storing a program for executing a procedure of combining the corrected first image and the corrected second image to obtain a corrected entire image.