JP4635828B2 - 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、カラー画像撮影により得られるカラー画像に対するホワイトバランス補正処理を行う撮像装置、画像処理装置、画像処理方法及び画像処理プログラムに関するものである。

従来、カラー画像撮影が可能なデジタルカメラ等の撮像装置が広く普及しているが、近年における撮影画像の更なる高画質化の要請に伴い、このカラー画像における被写体の色をより正確に再現することが求められている。これに関し、撮影画像における照明光による色の偏りを補正する技術として、例えば、Ｒｅｔｉｎｅｘ理論に代表される色の恒常性を保つための補正技術が知られている（例えば非特許文献１参照）。また、撮影画像におけるホワイトバランスを（自動的に）補正する技術として、例えば、撮影画像のＲＧＢ各色平均値を用いて光源の色温度（色バランス）を推定し、ホワイトバランス補正係数を求める技術が知られている（例えば特許文献１参照）。
柏 潔他「拡張ＭＳＲモデルを用いたネガカラーフィルムの画質改善」日本写真学会誌、２００１年６号６４巻 Ｐ３５２−Ｐ３５７ 特開２００４−２３３４３号公報

しかしながら、上記非特許文献１では、画像処理が複雑であり、デジタルカメラ等の撮像装置に搭載する場合、処理時間が掛かり過ぎる若しくは処理回路が大きくなりコストアップを招いてしまう。一方、上記特許文献１では、ホワイトバランス補正係数の算出に際して撮影画像の各色平均値を用いるため、被写体の色が偏っている場合、すなわち例えば画像全体が赤一色或いは緑一色となるような被写体の場合、正確なホワイトバランス補正係数を算出することができない（色のバランスが崩れてしまう）。また上記特許文献１においては、算出されるホワイトバランス補正係数が撮影画像１枚につき各色１つであることから、被写界に異なる光源が複数存在するような場合には、当該各光源に応じた正確なホワイトバランス補正を行うことができない。

本発明は、上記事情に鑑みてなされたもので、簡易な構成でホワイトバランス補正が可能であるとともに、被写体の色が偏っていたり、被写界に異なる光源が複数存在するような場合であっても正確なホワイトバランス補正を行うことができる撮像装置、画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

本発明に係る撮像装置は、カラー撮像素子を備え、被写体のカラー画像撮影が可能に構成された撮像手段と、前記撮像手段により得られるカラー画像から各色の照明成分画像を抽出する照明成分抽出手段と、前記照明成分抽出手段により抽出された前記照明成分画像の輝度値と、所定の閾値とを比較する比較手段と、前記比較手段による比較結果に基づいて、前記照明成分画像を複数の領域に分割する領域分割手段と、前記領域分割手段により分割された領域毎に、該領域における照明成分画像の輝度平均値を算出する平均値算出手段と、前記平均値算出手段により算出された前記領域毎の各色の輝度平均値に基づいて、該領域毎の各色のホワイトバランス補正係数を算出する補正係数算出手段と、前記補正係数算出手段により算出されたホワイトバランス補正係数に基づいて、前記カラー画像のホワイトバランス補正を行うホワイトバランス補正手段とを備えることを特徴とする。

上記構成によれば、カラー撮像素子を備えた撮像手段によって被写体のカラー画像撮影が行われ、撮像手段により得られるカラー画像から各色の照明成分画像が照明成分抽出手段によって抽出され、照明成分抽出手段により抽出された照明成分画像の輝度値と、所定の閾値とが比較手段によって比較される。そして、比較手段による比較結果に基づいて、照明成分画像が領域分割手段によって複数の領域に分割され、領域分割手段により分割された領域毎に、該領域における照明成分画像の輝度平均値が平均値算出手段によって算出される。そして、平均値算出手段により算出された領域毎の各色の輝度平均値に基づいて、該領域毎の各色のホワイトバランス補正係数が補正係数算出手段によって算出され、補正係数算出手段により算出されたホワイトバランス補正係数に基づいて、ホワイトバランス補正手段によってカラー画像のホワイトバランス補正が行われる。

また、上記構成において、前記領域分割手段は、前記照明成分画像を、複数種類の光源に対応する複数の光源領域に分割することが好ましい。

また、上記構成において、前記領域分割手段は、前記照明成分画像を、複数種類の光源に対応する複数の光源領域、及び該複数種類の光源の中間輝度レベルを有する中間領域に分割することが好ましい。

また、上記構成において、前記補正係数算出手段は、前記中間領域のホワイトバランス補正係数を、前記複数の光源領域のホワイトバランス補正係数に基づいて算出することが好ましい。

また、上記構成において、前記補正係数算出手段は、前記中間領域のホワイトバランス補正係数を、前記光源領域のホワイトバランス補正係数に対して該光源領域の照明成分画像と前記中間領域の照明成分画像との輝度差に応じた重み付けを行うことにより算出することが好ましい。

また、上記構成において、前記補正係数算出手段は、前記中間領域のホワイトバランス補正係数を、前記光源領域のホワイトバランス補正係数に対して該光源領域と前記中間領域との空間的な距離に応じた重み付けを行うことにより算出することが好ましい。

また、上記構成において、前記補正係数算出手段は、前記光源領域のホワイトバランス補正係数を算出する場合、所定のデータ変換用のルックアップテーブルを用いて、前記輝度平均値に基づくホワイトバランス補正係数算出用の所定の評価値から、該光源領域毎の各色のホワイトバランス補正係数を算出することが好ましい。

また、上記構成において、前記所定の閾値は、被写体における色温度の違いによる各色の照明成分画像の出力差に基づいて設定されるものであることが好ましい。

また、本発明に係る画像処理装置は、カラー撮像素子を備え、被写体のカラー画像撮影が可能に構成された撮像手段と、前記撮像手段により取得された画像データに対して所定の画像処理を行う画像処理手段とを備え、前記画像処理手段は、前記撮像手段により得られるカラー画像から各色の照明成分画像を抽出する照明成分抽出手段と、前記照明成分抽出手段により抽出された前記照明成分画像の輝度値と、所定の閾値とを比較する比較手段と、前記比較手段による比較結果に基づいて、前記照明成分画像を複数の領域に分割する領域分割手段と、前記領域分割手段により分割された領域毎に、該領域における照明成分画像の輝度平均値を算出する平均値算出手段と、前記平均値算出手段により算出された前記領域毎の各色の輝度平均値に基づいて、該領域毎の各色のホワイトバランス補正係数を算出する補正係数算出手段と、前記補正係数算出手段により算出されたホワイトバランス補正係数に基づいて、前記カラー画像のホワイトバランス補正を行うホワイトバランス補正手段とを備えることを特徴とする。

上記画像処理装置の構成によれば、カラー撮像素子を備えた撮像手段によって被写体のカラー画像撮影が行われ、撮像手段により取得された画像データに対して画像処理手段によって所定の画像処理が行われる。この画像処理手段において、撮像手段により得られたカラー画像から各色の照明成分画像が照明成分抽出手段によって抽出され、照明成分抽出手段により抽出された照明成分画像の輝度値と、所定の閾値とが比較手段によって比較される。そして、比較手段による比較結果に基づいて、照明成分画像が領域分割手段によって複数の領域に分割され、領域分割手段により分割された領域毎に、該領域における照明成分画像の輝度平均値が平均値算出手段によって算出される。そして、平均値算出手段により算出された領域毎の各色の輝度平均値に基づいて、該領域毎の各色のホワイトバランス補正係数が補正係数算出手段によって算出され、補正係数算出手段により算出されたホワイトバランス補正係数に基づいて、ホワイトバランス補正手段によってカラー画像のホワイトバランス補正が行われる。

また、上記構成の画像処理装置において、前記領域分割手段は、前記照明成分画像を、複数種類の光源に対応する複数の光源領域に、又は、複数種類の光源に対応する複数の光源領域及び該複数種類の光源の中間輝度レベルを有する中間領域に分割することが好ましい。

また、上記構成の画像処理装置において、前記補正係数算出手段は、前記中間領域のホワイトバランス補正係数を、前記複数の光源領域のホワイトバランス補正係数に対して所定の重み付けを行うことにより算出することが好ましい。

また、本発明に係る画像処理方法は、カラー撮像素子を備えた撮像手段によって被写体のカラー画像撮影を行う第１の工程と、前記撮像手段により得られるカラー画像から各色の照明成分画像を照明成分抽出手段によって抽出する第２の工程と、前記照明成分抽出手段により抽出された前記照明成分画像の輝度値と、所定の閾値とを比較手段によって比較する第３の工程と、前記比較手段による比較結果に基づいて、前記照明成分画像を領域分割手段によって複数の領域に分割する第４の工程と、前記領域分割手段により分割された領域毎に、該領域における照明成分画像の輝度平均値を平均値算出手段によって算出する第５の工程と、前記平均値算出手段により算出された前記領域毎の各色の輝度平均値に基づいて、該領域毎の各色のホワイトバランス補正係数を補正係数算出手段によって算出する第６の工程と、前記補正係数算出手段により算出されたホワイトバランス補正係数に基づいて、前記カラー画像のホワイトバランス補正をホワイトバランス補正手段によって行う第７の工程とを有することを特徴とする。

上記画像処理方法によれば、カラー撮像素子を備えた撮像手段によって被写体のカラー画像撮影が行われ、撮像手段により得られるカラー画像から各色の照明成分画像が照明成分抽出手段によって抽出され、照明成分抽出手段により抽出された照明成分画像の輝度値と、所定の閾値とが比較手段によって比較される。そして、比較手段による比較結果に基づいて、照明成分画像が領域分割手段によって複数の領域に分割され、領域分割手段により分割された領域毎に、該領域における照明成分画像の輝度平均値が平均値算出手段によって算出される。そして、平均値算出手段により算出された領域毎の各色の輝度平均値に基づいて、該領域毎の各色のホワイトバランス補正係数が補正係数算出手段によって算出され、補正係数算出手段により算出されたホワイトバランス補正係数に基づいて、ホワイトバランス補正手段によってカラー画像のホワイトバランス補正が行われる。

また、上記画像処理方法において、前記領域分割手段によって、前記照明成分画像を、複数種類の光源に対応する複数の光源領域に、又は、複数種類の光源に対応する複数の光源領域及び該複数種類の光源の中間輝度レベルを有する中間領域に分割することが好ましい。

また、上記画像処理方法において、前記補正係数算出手段によって、前記中間領域のホワイトバランス補正係数を、前記複数の光源領域のホワイトバランス補正係数に対して所定の重み付けを行うことにより算出することが好ましい。

また、本発明に係る画像処理プログラムは、カラー画像に対して所定の画像処理を行うことが可能な画像処理手段を動作させる画像処理プログラムであって、前記画像処理手段に、所定の記憶手段からカラー画像を読み出す第１ステップと、前記カラー画像から各色の照明成分画像を抽出する第２ステップと、前記照明成分画像の輝度値と、所定の閾値とを比較する第３ステップと、前記比較結果に基づいて、前記照明成分画像を複数の領域に分割する第４ステップと、前記分割された領域毎に、該領域における照明成分画像の輝度平均値を算出する第５ステップと、前記領域毎の各色の輝度平均値に基づいて、該領域毎の各色のホワイトバランス補正係数を算出する第６ステップと、前記ホワイトバランス補正係数に基づいて、前記カラー画像のホワイトバランス補正を行う第７ステップとを実行させることを特徴とする。

上記画像処理プログラムによれば、画像処理手段により、第１ステップにおいて、所定の記憶手段からカラー画像が読み出され、第２ステップにおいて、カラー画像から各色の照明成分画像が抽出され、第３ステップにおいて、照明成分画像の輝度値と所定の閾値とが比較され、第４ステップにおいて、上記比較結果に基づいて照明成分画像が複数の領域に分割され、第５ステップにおいて、上記分割された領域毎に該領域における照明成分画像の輝度平均値が算出され、第６ステップにおいて、上記領域毎の各色の輝度平均値に基づいて該領域毎の各色のホワイトバランス補正係数が算出され、第７ステップにおいて、ホワイトバランス補正係数に基づいてカラー画像のホワイトバランス補正が行われる。

請求項１、９、１２、１５に係る発明によれば、撮影画像（カラー画像）から照明成分画像と反射率成分画像とが抽出（分離）され、この照明成分画像からホワイトバランス補正係数を求めてホワイトバランス補正処理を行うので、複雑な処理を行うことなく（処理時間が掛かることなく）簡易な構成でホワイトバランス補正を行うことができるとともに、被写体における各色の反射率成分の影響が除外されたホワイトバランス補正係数を得ることが可能となり、被写体の色が偏っている場合でも正確なホワイトバランス補正を行うことができる。また、各色の照明成分画像が複数の領域に分割されて該領域毎に各色のホワイトバランス補正係数が算出されるので、被写界に異なる光源が複数存在するような場合であっても正確なホワイトバランス補正を行うことができる。

請求項２に係る発明によれば、領域分割手段によって、照明成分画像が複数種類の光源に対応する複数の光源領域に分割されるので、被写界に異なる光源が複数存在する場合でも、この各光源に対応する光源領域毎にホワイトバランス補正係数を求めるといったことが可能となり、正確なホワイトバランス補正を行うことができる。

請求項３に係る発明によれば、領域分割手段によって、照明成分画像が複数種類の光源に対応する複数の光源領域、及び該複数種類の光源の中間輝度レベルを有する中間領域に分割されるので、被写界に異なる光源が複数存在する場合でも、この各光源に対応する光源領域と共に、これら光源間の例えば影（日陰）部といった中間領域に対しても該光源領域とは別にホワイトバランス補正係数を求めるといったことが可能となり、より正確なホワイトバランス補正を行うことができる。

請求項４に係る発明によれば、補正係数算出手段によって、中間領域のホワイトバランス補正係数が、複数の光源領域のホワイトバランス補正係数に基づいて算出されるので、中間領域のホワイトバランス補正係数が複数の光源領域のホワイトバランス補正係数を用いて容易に且つ的確に（実際の値と大きく誤差を生じることなく）算出され得るようになる。

請求項５に係る発明によれば、補正係数算出手段によって、中間領域のホワイトバランス補正係数が、光源領域のホワイトバランス補正係数に対して該光源領域の照明成分画像と中間領域の照明成分画像との輝度差に応じた重み付けを行うことにより算出されるので、中間領域のホワイトバランス補正係数を光源領域のホワイトバランス補正係数からより簡単に且つ的確に算出することができる。

請求項６に係る発明によれば、補正係数算出手段によって、中間領域のホワイトバランス補正係数が、光源領域のホワイトバランス補正係数に対して該光源領域と中間領域との空間的な距離に応じた重み付けを行うことにより算出されるので、中間領域のホワイトバランス補正係数を光源領域のホワイトバランス補正係数からより簡単に且つ的確に算出することができる。

請求項７に係る発明によれば、補正係数算出手段によって、光源領域のホワイトバランス補正係数を算出する場合、所定のデータ変換用のルックアップテーブルを用いて、輝度平均値に基づくホワイトバランス補正係数算出用の所定の評価値から、該光源領域毎の各色のホワイトバランス補正係数が算出されるので、各光源領域の各色のホワイトバランス補正係数をルックアップテーブルを用いて評価値から容易に算出できるようになる。

請求項８に係る発明によれば、所定の閾値は、被写体における色温度の違いによる各色の照明成分画像の出力差に基づいて設定されるものであるので、領域分割において照明成分画像の輝度値と比較する閾値すなわち領域分割の際の所謂判断基準値を、色温度に基づいてより正確なものとすることができ、この値に基づいてより正確な領域分割が可能となり、ひいてはより正確なホワイトバランス補正を行うことができる。

請求項１０、１３に係る発明によれば、領域分割手段によって、照明成分画像が複数種類の光源に対応する複数の光源領域に分割される、又は照明成分画像が複数種類の光源に対応する複数の光源領域及び該複数種類の光源の中間輝度レベルを有する中間領域に分割されるので、被写界に異なる光源が複数存在する場合でも、当該各光源に対応する光源領域毎にホワイトバランス補正係数を求めることが可能となり、或いは当該各光源に対応する光源領域と共にこれら光源間の例えば影（日陰）部といった中間領域に対しても該光源領域とは別にホワイトバランス補正係数を求めるといったことが可能となり、より正確なホワイトバランス補正を行うことができる。

請求項１１、１４に係る発明によれば、補正係数算出手段によって、中間領域のホワイトバランス補正係数が複数の光源領域のホワイトバランス補正係数に対して所定の重み付けを行うことにより算出されるので、中間領域のホワイトバランス補正係数を光源領域のホワイトバランス補正係数から容易に且つ的確に算出することができる。

図１は、本実施形態に係る撮像装置の一例であるデジタルカメラ１を示し、このデジタルカメラ１の主に撮像処理に関する概略的なブロック構成図を示している。図１に示すようにデジタルカメラ１は、レンズ部２、撮像センサ３、アンプ４、Ａ／Ｄ変換部５、画像処理部６、画像メモリ７、制御部８、レンズ駆動部９及び操作部１０を備えている。

レンズ部２は、被写体光を取り込むレンズ窓として機能するとともに、この被写体光をカメラ本体の内部に配置されている撮像センサ３へ導くための光学レンズ系、すなわち被写体光の光軸Ｌに沿って直列的に配置される例えばズームレンズやフォーカスレンズ、その他の固定レンズブロックを構成するものである。なお、レンズ部２は、入射光量を調節するための絞り部やシャッタ部（例えばメカシャッタ）（いずれも図示省略）を備えており、後述のレンズ駆動部９により駆動される。

撮像センサ３は、被写体光を撮像するものであり、例えばＣＭＯＳイメージセンサ等のカラー固体撮像素子（カラー撮像素子）からなる。撮像センサ３は、レンズ部２において結像された被写体光像の光量に応じ、Ｒ、Ｇ、Ｂ各色成分の画像信号に光電変換することで所定のカラー画像を取得する。このカラー画像データは後段のアンプ４へ出力される。

アンプ４は、撮像センサ３から出力された画像信号を増幅するものであり、例えばＡＧＣ（オートゲインコントロール）回路を備え、当該出力信号のゲイン（増幅率）調整を行う。アンプ４は、ＡＧＣ回路の他、アナログ値としての当該画像信号のサンプリングノイズの低減を行うＣＤＳ（相関二重サンプリング）回路を備えていてもよい。

Ａ／Ｄ変換部５は、アンプ４にて増幅されたアナログ値の画像信号（アナログ信号）をデジタル値の画像信号（デジタル信号）に変換するものであり、撮像センサ３の各画素で受光して得られる画素信号をそれぞれ例えば１２ビットの画素データに変換する。

画像処理部６は、Ａ／Ｄ変換部５によるＡ／Ｄ変換処理によって得られた画像信号に対する例えばＦＰＮ（ＦＰＮ；Fixed Pattern Noise）補正処理、色補正（補間）処理、ホワイトバランス（以降、ＷＢという）補正処理、或いはダイナミックレンジ（以降、ＤＲという）圧縮処理等の各種画像処理を行うものである。本実施形態では、これら各種画像処理における特にＷＢ補正処理について主な特徴点を有しているが、この処理については後に詳述する。

画像メモリ７は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリからなり、画像処理部６において画像処理される前のＲＡＷ画像データ、或いは画像処理部６や制御部８での各種処理時又は処理後の画像データ等を記憶するものである。

制御部８は、画像処理部６を動作させる画像処理プログラム等の各種制御プログラムなどを記憶するＲＯＭ、一時的に各種データを格納するＲＡＭ、及び制御プログラム等をＲＯＭから読み出して実行する中央演算処理装置（ＣＰＵ）等からなり、デジタルカメラ１全体の動作制御を司るものである。制御部８は、撮像センサ３や操作部１０等の装置各部からの各種信号に基づき、装置各部が必要とする制御パラメータ等を算出し、これを送信することで各部の動作を制御する。例えば、撮像センサ３による撮影画像から得た被写体の輝度情報に基づいて、撮像における絞り値やシャッタスピード値、或いはダイナミックレンジ値等を算出し、この算出した各値に基づいて各部を制御する制御信号を送信する。

レンズ駆動部９は、制御部８からの絞り制御信号及びシャッタスピード制御信号に応じて、レンズ部２における上記絞り部やシャッタ部を駆動するものである。

操作部１０は、レリーズボタンや設定ボタン等の入力ボタン（スイッチ）及びＬＣＤ（Liquid Crystal Display）等を備えており、デジタルカメラ１に対する操作指示入力を行うとともに、所定の情報を表示するものである。例えば、ＬＣＤに表示されたメニュー等の情報に基づき、設定ボタンを用いて操作者により撮影モード等の設定が行われる。また例えば、レリーズボタンが押下（オン）されることで、撮像動作すなわち撮像センサ３により被写体光が撮像され、この撮像により得られた画像データに対して所要の画像処理が施された後、画像メモリ７等に記憶（保存）されるといった一連の撮影動作が実行される。

図２は、画像処理部６における上記ＷＢ補正処理に関する機能ブロック図である。同図に示すように画像処理部６は、照明成分抽出部６１、ＷＢ係数算出部６２及びＷＢ補正部６３を備えている。照明成分抽出部６１は、撮像センサ３からの撮影画像データ（画像信号）、ここでは前段のＡ／Ｄ変換部５から入力された画像（この画像を基画像Ｉと表現する）から、照明成分（又は照明成分画像（照明画像））を抽出するものである。ところで、物体の明るさ（Ｉ）は、以下の（1-1）式に示すように、物体に照射される照明光（ＬＳ）と物体表面の反射率（Ｒ）との積で表される。
Ｉ＝ＬＳ＊Ｒ ・・・（1-1）
但し、記号「＊」は乗算を示す（以降、同様）。

上記物体の明るさ「Ｉ」が基画像Ｉであり、この基画像Ｉから、上記照明光「ＬＳ」である照明成分ＬＳが抽出される。この抽出処理はＲ、Ｇ、Ｂの各色毎に（各色の画像毎に）独立して行われ、その結果、照明成分抽出部６１から各色の照明成分画像が出力される。なお、照明成分ＬＳに対して上記反射率「Ｒ」のことを反射率成分Ｒという。また、基画像Ｉの出力特性を例えば図４（ａ）に示すものとすると（横軸は画素アドレス、縦軸は輝度（出力）を示す）、この基画像Ｉから抽出した照明成分ＬＳ、すなわち基画像Ｉから反射率成分Ｒが除外されてなる照明成分ＬＳの出力特性は、例えば図４（ｂ）に示すものとなる。

本実施形態では、反射率成分Ｒが画像の高周波成分に多く分布することに着目し、以下の（1-2）式に示す抽出処理により基画像Ｉから照明成分ＬＳを抽出する。
ＬＳ＝ＬＰＦ（Ｉ） ・・・（1-2）
但し、ＬＰＦ（ ）とは、所謂ローパスフィルタ処理であり、例えば注目画素周辺との平滑化処理による低周波成分画像の算出処理を示す。

具体的には、基画像Ｉにおける或る注目画素と、その周辺画素とのコンボリューション演算処理により平滑画像を算出する。図５は、或る注目画素２２（この画素データをＤ２２と表現する）に対する周辺画素（Ｄ００、Ｄ０１、・・・Ｄ４４）を表した図であるが、この注目画素２２に対する平滑化後の画像データＬＰＦ（Ｄ２２）は、以下の（1-3）式に基づいて算出される。
ＬＰＦ（Ｄ２２）＝ａ００＊Ｄ００＋ａ０１＊Ｄ０１・・・＋ａ２２＊Ｄ２２・・・＋ａ４４＊Ｄ４４ ・・・（1-3）
但し、ａ００＋ａ０１・・・＋ａ４４＝１．０の関係を有する。

この照明成分の抽出処理は、本実施形態では撮像装置（デジタルカメラ１）への搭載を目的としていることから、高速、低コスト化のため、上述のような単純な処理によって照明成分を抽出しているが、これに限らず、例えばεフィルタ（非線形フィルタ）やメディアンフィルタを用いた方法など、要は照明成分が抽出可能であれば何れの処理方法であってもよい。

ＷＢ係数算出部６２は、照明成分抽出部６１により抽出された各色の照明成分画像を、光源分布に基づく画像の明るさ（種類）に応じて領域分けを行い、つまり被写界の光源照度の強さに応じて領域分割し、各領域におけるＷＢ補正係数を算出するものである。図３は、ＷＢ係数算出部６２のＷＢ補正係数算出に関する機能ブロック図である。同図に示すように、ＷＢ係数算出部６２は、比較部６２１、領域分割部６２２、平均値算出部６２３、評価値算出部６２４、補正係数算出部６２５及び記憶部６２６を備えている。

比較部６２１は、照明成分の画素毎に所定の閾値ＴｈＨ及びＴｈＬと比較して、該閾値に対する各画素値の大小を判別するものである。ところで、図６は照明成分抽出部６１により抽出された照明成分（上記図４（ｂ）に示す照明成分と同じ）を示しているが、この閾値ＴｈＨ及びＴｈＬは、図６に示す輝度（縦軸）の所定値であり、各色の画像に対して設定されるものである。ただし、本実施形態では、後述するようにＧ色を基準として領域分割を行うことから、閾値ＴｈＨ及びＴｈＬは少なくともＧ色に対して設定されたものがあればよく、比較部６２１では、Ｇ色の照明成分２０１の各画素（Ｇ画素）と、当該Ｇ色の閾値ＴｈＨ及びＴｈＬとの比較を行う。なお、この閾値情報は、後述の記憶部６２６に固定値として（工場出荷時等に）予め記憶されている。

領域分割部６２２は、比較部６２１による比較結果に基づいて、Ｒ、Ｇ、Ｂ各色の照明成分を明るさに応じて領域分けするものである。具体的には、領域分割部６２２は、図６に示すように、照明成分２０１の各画素を、閾値ＴｈＨよりも輝度値が大きい領域である高輝度領域Ｈ（以降、Ｈ領域という）、閾値ＴｈＬよりも輝度値が小さい領域である低輝度領域Ｌ（以降、Ｌ領域という）と、閾値ＴｈＨ、ＴｈＬ間つまりＴｈＨ≦輝度値≦ＴｈＬとなる、光源の中間輝度レベルを有した中間領域Ｍ（以降、Ｍ領域という）との各領域の画素に分類する。これは謂わば、照明成分画像を、明るい部分と暗い部分と、その中間の明るさの部分との画像に空間的に分離するものである。

領域分割部６２２は、当該各色の照明成分の領域分割処理を、或る１つの色を基準として行う構成としている。すなわち、ここではＲ、Ｇ、Ｂ色のうちのＧ色を基準（Ｇ基準）として、このＧ色の照明成分（照明成分２０１）に対する上記領域分割を行い、その他のＲ、Ｂ色の領域分割については、このＧ色の領域分割結果と同じものを適用する。例えば、撮像センサ３がベイヤー配列の場合、Ｇ画素と隣接するＲ、Ｂ画素の照明成分を、このＧ画素の照明成分における輝度領域（Ｈ、Ｍ及びＬ領域）と同一の領域に分割する（隣接ＲＧＢ画素で同一の光源領域とする）。なお、分光感度においてはＧ色の分光特性が中央波長域にあり、光源の波長域が変化したとしてもこの変化の影響を受け難いことから、上記Ｇ基準とすることが望ましい。

図７（ａ）、（ｂ）は、上記領域分割の一例を示す模式図であり、（ａ）は或る照明環境下の被写体（被写界）を、（ｂ）はこの被写体の撮像により得られた撮影画像を領域分割した結果を示す。同図に示すように、被写界に例えば高照度光源に相当する太陽光環境と、低照度光源に相当する室内光環境とが存在する場合の撮影画像は、これら太陽光環境に対応するＨ領域（高照度光源領域）、室内光環境に対応するＬ領域（低照度光源領域）、及びこの太陽光環境と室内光環境との中間の光環境、例えば日陰におけるＭ領域に分割される。このように、領域分割部６２２によって領域分割処理された各色の照明成分（各領域に分類された各色の画素データ）は、後述の記憶部６２６に一旦記憶される。

ところで、上述したように、閾値ＴｈＨ、ＴｈＬは固定値として予め求められたものが用いられるが、この閾値ＴｈＨ、ＴｈＬの算出の考え方について説明する。本実施形態のＷＢ補正処理は、照度の異なる複数の光源、ここでは高照度及び低照度の２種類の光源が存在するような被写体が撮像される場合を想定しているが、各色の照明成分画像において高照度の画像と低照度の画像とに領域分割しようとする場合、この領域分割に際しての閾値は、光源の種類つまり光源の色温度の違いによって異なるものとなってしまう。

図８（ａ）、（ｂ）はそれぞれ、所定の撮像条件（露光時間、絞り）下で異なる光源を撮影した場合におけるＲ画素及びＧ画素の出力特性（照明成分画像データ）であり、図８（ａ）は、Ｒ画素値÷Ｇ画素値であるＲ／Ｇの値が最小となる光源（光源Ａとする）を用いた場合、図８（ｂ）は、Ｒ／Ｇの値が最大となる光源（光源Ｂとする）を用いた場合を示している。ただし、図中、「Ｌｍ」は、上記高照度及び低照度画像の領域分割に関して設定した或る閾値としての光源照度（閾値照度）であり、「Ｇｍ１」、「Ｒｍ１」はそれぞれＡ光源におけるＲ１、Ｇ１画素の閾値照度Ｌｍに対する出力値を、「Ｇｍ２」、「Ｒｍ２」はそれぞれＢ光源におけるＲ２、Ｇ２画素の閾値照度Ｌｍに対する出力値を示している。図８（ａ）、（ｂ）に示されるように、光源が異なるつまり色温度が異なると、Ｇ画素値とＲ画素値の比（Ｒ／Ｇ）は異なるものとなり、設定する光源（種々の光源が考えられる）において、この比が最小、又は最大となる。

これを別の見方をすれば、図８（ａ）、（ｂ）をＧ画素、Ｒ画素だけで纏めると、図９（ａ）、（ｂ）に示すようになる。この図に示すように、Ｒ、Ｇそれぞれにおいて、Ｒｍ１＜Ｒｍ２、Ｇｍ１＞Ｇｍ２の関係となる（Ｒｍ１及びＲｍ２、Ｇｍ１及びＧｍ２の関係は必ずしもこの関係になるものではない）。このように、閾値照度Ｌｍを基準（境界）として一律に明るい領域と暗い領域とに分けようとしても、実際には、光源つまり色温度が異なると、同じ閾値照度Ｌｍに対して各色の出力に差が生じてしまう（後述するように中間のＭ１及びＭ２領域が存在する）。

このことから、例えばＧ画素（ここでの基準）について、複数種類の光源環境下において必ず閾値照度Ｌｍ以下となる照明成分の輝度値（閾値）はＧｍ２となる。すなわち、異なる光源において閾値照度Ｌｍに対する出力が最も小さいこのＧｍ２以下の領域のデータは、低照度光源の照明成分（Ｌ１領域の照明成分）であると言える。この結果、Ｇ画素の低照度の照明成分画像の閾値ＴｈＬはＧｍ２となる。逆に、Ｇ画素の高照度の照明成分画像（Ｈ１領域の照明成分）の閾値ＴｈＨはＧｍ１となる。なお、Ｍ１領域は、Ｈ１及びＬ１領域の中間領域（中間の明るさを有する輝度領域）を示している（図９（ｂ）のＨ２、Ｍ２及びＬ２領域についても同様）。以上のような考え方に基づいて、各色ここではＧ色の領域分割に関する閾値ＴｈＬ及びＴｈＨが設定される。

平均値算出部６２３は、領域分割部６２２によって領域分割された各色の照明成分画像データから、光源照度の強さ領域毎の、つまりＨ、Ｍ及びＬ領域それぞれにおける該照明成分画像データ（輝度）の平均値（輝度平均値という）を算出するものである。この平均値算出部６２３により算出される、Ｈ領域でのＲ、Ｇ、Ｂ画素の輝度平均値をそれぞれ「ＲＨ」、「ＧＨ」及び「ＢＨ」、Ｍ領域でのＲ、Ｇ、Ｂ画素の輝度平均値をそれぞれ「ＲＭ」、「ＧＭ」及び「ＢＭ」、Ｌ領域でのＲ、Ｇ、Ｂ画素の輝度平均値をそれぞれ「ＲＬ」、「ＧＬ」及び「ＢＬ」とする。ただし、本実施形態では、後述するように、Ｈ及びＬ領域のＷＢ補正係数の情報を用いて、Ｍ領域のＷＢ補正係数を求める方法をとるため、平均値算出部６２３は、ここではＭ領域以外のＨ及びＬ領域における輝度平均値を算出する。

評価値算出部６２４は、平均値算出部６２３により算出された上記Ｈ、Ｍ及びＬ各領域の各色の輝度平均値に基づいて、後述のＷＢ補正係数の算出に用いる評価値（ＷＢ評価値）を、当該各領域について算出するものである。この評価値は、例えば、Ｇを基準としたＲ及びＢに対する比であるＲ／Ｇ、Ｂ／Ｇで与えられる（ここではＧ基準であるが、Ｒを基準とした場合にはＧ／Ｒ、Ｂ／Ｒとなり、またＢを基準とした場合にはＧ／Ｂ、Ｒ／Ｂとなる）。ただし、この場合も、後述するように、Ｈ及びＬ領域のＷＢ補正係数の情報を用いて、Ｍ領域のＷＢ補正係数を求める方法をとるため、評価値算出部６２４は、ここではＭ領域以外のＨ及びＬ領域における以下に示す評価値を算出する。
Ｈ領域の評価値：ＲＨ／ＧＨ（Ｈ領域におけるＧ基準でのＲの比）、
ＢＨ／ＧＨ（Ｈ領域におけるＧ基準でのＢの比）
Ｌ領域の評価値：ＲＬ／ＧＬ（Ｌ領域におけるＧ基準でのＲの比）、
ＢＬ／ＧＬ（Ｌ領域におけるＧ基準でのＢの比）

補正係数算出部６２５は、評価値算出部６２４により算出された評価値に基づいて、各色（Ｒ、Ｇ、Ｂ各画素）の照明成分におけるＨ、Ｍ及びＬ各領域のＷＢ補正係数を算出するものである。補正係数算出部６２５による実際のＷＢ補正係数の算出においては、先ずＨ及びＬ領域のＷＢ補正係数を算出しておき、次に、このＨ及びＬ領域のＷＢ補正係数の情報を用いて、Ｍ領域のＷＢ補正係数を算出する方法をとる。ところで、評価値に基づくＷＢ補正係数の算出は、例えば図１０に示すような、データ変換用すなわち或る入力値に対してこれを所謂変換して所定の出力値を得るための）ＬＵＴ（ルックアップテーブル）３００を用いて行う。このＬＵＴ３００は、同図に示すように横軸が例えばＲ／Ｇ値、縦軸がＢ／Ｇ値であり、この座標空間内に、例えば曇天領域３０１、太陽光領域３０２、白熱光領域３０３及び蛍光灯領域３０４といった各種光源の領域（光源領域）が設定されている。ただし、ＬＵＴ３００における（図１０に示すようなＬＵＴの平面グラフ上での）各種光源領域の範囲や位置或いは領域の形状は、これに限定されず、任意に設定可能である。

この各光源領域には、それぞれの光源でのＲ、Ｇ、Ｂ色に対するＷＢ補正係数の情報が関連付けられており、ＬＵＴ３００に対して上記Ｒ／Ｇ値及びＢ／Ｇ値が与えられる（入力される）ことで、このＲ／Ｇ値及びＢ／Ｇ値の両方を満たす光源領域、すなわち座標（Ｒ／Ｇ、Ｂ／Ｇ）が含まれる光源領域が判定されて、光源の種類が推定されるとともに、この推定された光源におけるＲ、Ｇ、Ｂ各色のＷＢ補正係数が得られる（出力される）。図１０に示すように、例えば評価値Ｒ／Ｇが約１．０、評価値Ｂ／Ｇが約０．４となる場合は、これら値の交点に位置する光源領域は白熱光領域３０３であり、これらの評価値を与える光源は白熱光であると推定される。そして、この推定された白熱光におけるＲ、Ｇ、Ｂ各色のＷＢ補正係数が得られる。なお、各光源領域に関連付けられた各色のＷＢ補正係数の情報は、ＬＵＴ３００或いはＬＵＴ３００に対応する別のＬＵＴに予め保存されている。

補正係数算出部６２５は、上記Ｒ／Ｇ、Ｂ／Ｇに対応する、上記評価値算出部６２４により算出されたＨ領域の評価値ＲＨ／ＧＨ、ＢＨ／ＧＨ、及びＬ領域の評価値ＲＬ／ＧＬ、ＢＬ／ＧＬそれぞれに基づいて、ＬＵＴ３００を用いて光源の種類を推定して該光源に応じたＨ領域及びＬ領域での各色のＷＢ補正係数を算出する。なお、当該算出されるＨ領域及びＬ領域における、Ｒ画素のＷＢ補正係数を「ＲＫＨ」、「ＲＫＬ」、Ｇ画素のＷＢ補正係数を「ＧＫＨ」、「ＧＫＬ」、Ｂ画素のＷＢ補正係数を「ＢＫＨ」、「ＢＫＬ」とする。

次に、上記で求めたＨ領域及びＬ領域での各色のＷＢ補正係数から、Ｍ領域での各色のＷＢ補正係数を算出する。このＭ領域におけるＲ、Ｇ、Ｂ色のＷＢ補正係数をそれぞれ「ＲＫＭ」、「ＧＫＭ」、「ＢＫＭ」とすると、これらＷＢ補正係数は、以下の（1-4）〜（1-6）式により算出される。
ＲＫＭ＝α＊ＲＫＨ＋（１−α）＊ＲＫＬ ・・・（1-4）
ＧＫＭ＝α＊ＧＫＨ＋（１−α）＊ＧＫＬ ・・・（1-5）
ＢＫＭ＝α＊ＢＫＨ＋（１−α）＊ＢＫＬ ・・・（1-6）
但し、記号「α」は、０≦α≦１．０の関係を満たす所謂重み付け係数であり、例えば以下の（1-7）式により算出される。
α＝（ＬＭＧ−ＴｈＬ）／（ＴｈＨ−ＴｈＬ） ・・・（1-7）
但し、ＬＭＧ：Ｍ領域におけるＧ画素の照明成分（照明成分画像のＧ画素の輝度値）。

上記“α”は、Ｍ領域内で各色によって異なるものであり、Ｍ領域におけるＧ画素の照明成分画像データＬＭＧと、Ｈ及びＬ領域の画像データに対応する閾値ＴｈＨ及びＴｈＬとから、具体的には、上記（1-7）式の（ＬＭＧ−ＴｈＬ）で示されるように、Ｍ領域の照明成分画像データＬＭＧ（Ｇ画素の輝度値）と、Ｈ及びＬ領域における画像データ（ここではＬ領域に対応する輝度の閾値ＴｈＬ）との“差（輝度差）”に基づいて求められる。なお、上記計算に際して、ＧＫＨ、ＧＫＬの値をＧ基準として「１．０」で与えてもよい。

ところで、上記Ｍ領域のＷＢ補正係数算出に際して用いる重み付け係数αは、Ｍ領域とＨ及びＬ領域との画像データ（輝度値）から求めているが、これに限らず、例えばＭ領域周辺のＨ領域及びＬ領域からの距離（アドレス）に基づいて求めてもよい。この場合、例えば図１２に示すように、ＸＹ座標平面におけるＭ領域のＧ画素アドレスを（Ｘｍ、Ｙｍ）とし、この画素に例えば最も近いＨ領域及びＬ領域のＧ画素アドレスをそれぞれ（Ｘｈ、Ｙｈ）、（ＸＩ、ＹＩ）としたとき、以下の（2-1）〜（2-7）式に基づいて重み付け係数αを算出する。これにより、Ｍ領域の、Ｈ及びＬ領域からの距離、すなわちここでのＸＹ座標平面に示す場合のような、空間的な距離（空間距離）に応じた重み付け係数αが得られる。

Ｘｍ−Ｘｈ＝ΔＸｈ ・・・（2-1）
Ｘｍ−ＸＩ＝ΔＸＩ ・・・（2-2）
Ｙｍ−Ｙｈ＝ΔＹｈ ・・・（2-3）
Ｙｍ−ＹＩ＝ΔＹＩ ・・・（2-4）
ΔＨ＝√（ΔＸｈ＾２＋ΔＹｈ＾２） ・・・（2-5）
ΔＬ＝√（ΔＸＩ＾２＋ΔＹＩ＾２） ・・・（2-6）
α＝ΔＬ／（ΔＨ＋ΔＬ） ・・・（2-7）
但し、記号√（ ）は括弧内の数式の平方根を、記号「／」は除算を、記号「＾」は指数を示している。なお、（2-7）式は、α＝ΔＨ／（ΔＨ＋ΔＬ）であってもよい。

記憶部６２６は、所定の情報を記憶するメモリであり、上記閾値ＴｈＨ及びＴｈＬの閾値情報、領域分割部６２２において領域分割された各色の照明成分画像データ、上記ＬＵＴ３００の情報、或いはＷＢ係数算出部６２のＷＢ補正処理における各種演算情報が記憶される。

ＷＢ補正部６３は、ＷＢ係数算出部６２によって算出されたＨ、Ｍ及びＬ領域におけるＲ、Ｇ、Ｂ各色のＷＢ補正係数に基づいて、基画像Ｉに対するＷＢ補正処理を行うものである。なお、このＷＢ補正処理が施された基画像Ｉは、画像（合成画像）Ｏとして後段の処理部に出力される。

図１１は、本実施形態に係る撮像装置又は画像処理装置（画像処理方法又は画像処理プログラム）のＷＢ補正処理、特にＷＢ補正係数算出の一例を示すフローチャートである。なお、この画像処理装置とは、少なくとも画像処理部６と撮像センサ３とを備えてなる装置を示す。先ず、撮像センサ３により得られた撮影画像が画像処理部６に入力され、照明成分抽出部６１によってこの撮影画像からＲ、Ｇ、Ｂ各色の照明成分が抽出される（ステップＳ１）。次に、これら各色のうちの基準となる色（ここではＧ色）の照明成分画像が、光源分布に基づく光源の明るさ（種類）に応じて領域分割される。具体的には、ＷＢ係数算出部６２の比較部６２１によってＧ色の照明成分画像（Ｇ画像と表現する）の画素毎に閾値ＴｈＨ及びＴｈＬと比較され、領域分割部６２２によってこの閾値ＴｈＨ、ＴｈＬに対する各画素値の大小が判別されることでＨ、Ｍ及びＬ領域に領域分割される（ステップＳ２）。そして、このステップＳ２におけるＧ画像の領域分割結果に基づいて、Ｒ、Ｂ色の照明成分画像（Ｒ画像、Ｂ画像と表現する）もこのＧ画像と同一の領域に領域分割され（ステップＳ３）、これらＨ、Ｍ及びＬ領域に領域分割されたＲ、Ｇ、Ｂ各色の照明成分画像が記憶部６２６に記憶される（ステップＳ４）。

次に、上記領域分割された各色の照明成分画像から、平均値算出部６２３によってＨ及びＬ領域における各色の輝度平均値が算出される（ステップＳ５）。この算出されたＨ及びＬ領域における各色の輝度平均値に基づいて、評価値算出部６２４によってＨ及びＬ領域における評価値（ＷＢ評価値）が算出される（ステップＳ６）。そして、補正係数算出部６２５によって、上記ステップＳ６において算出されたＨ及びＬ領域における評価値に基づいて、ＬＵＴ３００を用いてＨ及びＬ領域におけるＲ、Ｇ、Ｂ各色のＷＢ補正係数が算出され、このＨ及びＬ領域における各色のＷＢ補正係数に基づいて、所定の重み付け係数αを用いた演算式を用いてＭ領域における各色のＷＢ補正係数が算出される（ステップＳ７）。そして、Ｈ、Ｍ及びＬ領域の各色のＷＢ補正係数に基づいて、ＷＢ補正部６３によって基画像Ｉに対するＷＢ補正処理が行われ（ステップＳ８）、フロー終了となる。

以上のように、本発明に係る撮像装置、画像処理装置、画像処理方法によれば、撮像センサ３によって被写体のカラー画像撮影が行われ、撮像センサ３により得られるカラー画像（基画像Ｉ）からＲ、Ｇ、Ｂ各色の照明成分画像が照明成分抽出部６１によって抽出され、照明成分抽出部６１により抽出された照明成分画像の輝度値と、閾値ＴｈＨ、ＴｈＬとが比較部６２１によって比較される。そして、比較部６２１による比較結果に基づいて、照明成分画像が領域分割部６２２によって複数の領域（例えばＨ、Ｍ及びＬ領域）に分割され、領域分割部６２２により分割されたこの領域毎に、該領域における照明成分画像の輝度平均値（例えばＲＨ、ＧＨ及びＢＨやＲＬ、ＧＬ及びＢＬ）が平均値算出部６２３によって算出される。そして、平均値算出部６２３により算出された領域毎の各色の輝度平均値に基づいて、該領域毎の各色のＷＢ補正係数（ＲＫＨ、ＧＫＨ及びＢＫＨ、ＲＫＬ、ＧＫＬ及びＢＫＬ、ＲＫＭ、ＧＫＭ及びＢＫＭ）が補正係数算出部６２５によって算出され、補正係数算出部６２５により算出されたＷＢ補正係数に基づいて、ＷＢ補正部６３によってカラー画像（基画像或いは照明成分画像）のＷＢ補正が行われる。

また、本発明に係る画像処理プログラムによれば、画像処理部６により、第１ステップにおいて、画像メモリ７からカラー画像が読み出され、第２ステップにおいて、カラー画像から各色の照明成分画像が抽出され、第３ステップにおいて、照明成分画像の輝度値と所定の閾値とが比較され、第４ステップにおいて、この比較結果に基づいて照明成分画像が複数の領域に分割され、第５ステップにおいて、この分割された領域毎に該領域における照明成分画像の輝度平均値が算出され、第６ステップにおいて、この領域毎の各色の輝度平均値に基づいて該領域毎の各色のホワイトバランス補正係数が算出され、第７ステップにおいて、このホワイトバランス補正係数に基づいてカラー画像のホワイトバランス補正が行われる。

これらのように、カラー画像（基画像Ｉ）から照明成分画像と反射率成分画像とが抽出（分離）され、この照明成分画像からＷＢ補正係数を求めてＷＢ補正処理を行うので、複雑な処理を行うことなく（処理時間が掛かることなく）簡易な構成でＷＢ補正を行うことができるとともに、被写体（上記カラー画像）における各色の反射率成分の影響が除外されたＷＢ補正係数を得ることが可能となり、被写体の色が偏っている場合でも正確なＷＢ補正を行うことができる。また、各色の照明成分画像が複数の領域に分割されて該領域毎に各色のＷＢ補正係数が算出されるので、被写界（上記カラー画像内）に異なる光源が複数存在するような場合であっても正確なＷＢ補正を行うことができる。

また、領域分割部６２２によって、照明成分画像が、複数種類の光源に対応する複数の光源領域（例えばＨ及びＬ領域）に分割されるので、被写界に異なる光源が複数存在する場合でも、この各光源に対応する光源領域毎にＷＢ補正係数を求めるといったことが可能となり、正確なＷＢ補正を行うことができる。

また、領域分割部６２２によって、照明成分画像が、複数種類の光源に対応する複数の光源領域（例えばＨ及びＬ領域）、及び該複数種類の光源の中間輝度レベルを有する中間領域（例えばＭ領域）に分割されるので、被写界に異なる光源が複数存在する場合でも、この各光源に対応する光源領域と共に、これら光源間の例えば影（日陰）部といった中間領域に対しても該光源領域とは別にＷＢ補正係数を求めるといったことが可能となり、より正確なＷＢ補正を行うことができる。

また、補正係数算出部６２５によって、中間領域（Ｍ領域）のＷＢ補正係数が、複数の光源領域（Ｈ及びＬ領域）のＷＢ補正係数に基づいて算出されるので、中間領域のＷＢ補正係数が複数の光源領域のＷＢ補正係数を用いて容易に且つ的確に（実際の値と大きく誤差を生じることなく）算出され得るようになる。

また、補正係数算出部６２５によって、中間領域のＷＢ補正係数が、光源領域のＷＢ補正係数に対して該光源領域の照明成分画像と中間領域の照明成分画像との輝度差に応じた重み付けを行うことにより算出されるので（上記（1-4）〜（1-7）式参照）、中間領域のＷＢ補正係数を光源領域のＷＢ補正係数からより簡単に且つ的確に算出することができる。

また、補正係数算出部６２５によって、中間領域のＷＢ補正係数が、光源領域のＷＢ補正係数に対して該光源領域と中間領域との空間的な距離に応じた重み付けを行うことにより算出されるので（上記（2-1）〜（2-7）式参照）、中間領域のＷＢ補正係数を光源領域のＷＢ補正係数からより簡単に且つ的確に算出することができる。

また、補正係数算出部６２５によって、光源領域（Ｈ及びＬ領域）のＷＢ補正係数を算出する場合、データ変換用のＬＵＴ３００を用いて、輝度平均値に基づくＷＢ補正係数算出用の所定の評価値（例えばＲＨ／ＧＨ及びＢＨ／ＧＨ、ＲＬ／ＧＬ及びＢＬ／ＧＬ）から、当該光源領域毎の各色のＷＢ補正係数が算出されるので、各光源領域の各色のＷＢ補正係数をＬＵＴ３００を用いて評価値から容易に算出できるようになる。

また、所定の閾値は、被写体における色温度の違いによる各色の照明成分画像の出力差に基づいて設定されるものであるので、領域分割において照明成分画像の輝度値と比較する閾値すなわち領域分割の際の所謂判断基準値を、光源（被写体）の色温度に基づいてより正確なものとして与えることができ、この値に基づいてより正確な領域分割が可能となり、ひいてはより正確なＷＢ補正を行うことができる。

また、上記画像処理装置（画像処理方法）において、領域分割部６２２によって、照明成分画像が、複数種類の光源に対応する複数の光源領域（例えばＨ及びＬ領域）に分割される、又は照明成分画像が、複数種類の光源に対応する複数の光源領域（例えばＨ及びＬ領域）及び該複数種類の光源の中間輝度レベルを有する中間領域（例えばＭ領域）に分割されるので、被写界に異なる光源が複数存在する場合でも、当該各光源に対応する光源領域毎にＷＢ補正係数を求めることが可能となり、或いは当該各光源に対応する光源領域と共にこれら光源間の例えば影（日陰）部といった中間領域に対しても該光源領域とは別にＷＢ補正係数を求めるといったことが可能となり、より正確なＷＢ補正を行うことができる。

さらに、上記画像処理装置（画像処理方法）において、補正係数算出部６２５によって、中間領域（Ｍ領域）のＷＢ補正係数が複数の光源領域（Ｈ及びＬ領域）のＷＢ補正係数に対して所定の重み付けを行うことにより算出されるので（上記（1-4）〜（1-7）式或いは（2-1）〜（2-7）式参照）、中間領域のＷＢ補正係数を光源領域のＷＢ補正係数から容易に且つ的確に算出することができる。

なお、本発明は、以下の態様をとることができる。
（Ａ）上記実施形態では、各色の照明成分画像の領域分割方法として、先ず或る１つの色（Ｇ色；Ｇ画素）についてその照明成分画像データを閾値（ＴｈＬ、ＴｈＨ）と比較するなどして領域分割し、この領域分割結果に基づいて他の色の領域分割を行う（他の色はＧ色の領域分割結果と同じものとする）構成としているが、これに限らず、一度に全色（Ｒ、Ｇ、Ｂ色）について照明成分画像データと上記閾値との比較を行うなどして領域分割を行う構成としてもよい。また、この場合、各色の領域分割（或いは比較）の結果に基づいて多数決や平均にて領域を分割するようにしてもよい。

（Ｂ）上記実施形態では、ＷＢ補正係数を評価値から光源推定を行うことによって求めているが、これに限らず、ＷＢ補正係数を各色の輝度平均値に基づき例えばＧ／Ｒ、Ｇ／Ｂ（Ｇ色の補正係数は基準として「１．０」とする）により求めてもよい。これを換言すれば、上記実施形態で説明した評価値（例えばＲ／Ｇ、Ｂ／Ｇ）の逆数をそのままＷＢ補正係数として求めてもよい。

（Ｃ）上記実施形態では、複数の領域に分割するに際して、Ｈ、Ｍ及びＬ領域の３つの領域に分割しているが、これに限らず、Ｍ領域の無いＨ及びＬ領域の２つの領域、或いは４つ以上の領域に分割してもよい。この４つ以上の場合、Ｈ、Ｍ及びＬ領域のどの領域をさらに分割させてもよい。なお、Ｍ領域をさらに分割する場合、例えば図６において、閾値ＴｈＨ、ＴｈＬとからの輝度値差（距離）に応じた重み付けを行う方法等により、そのＭ領域の分割位置（境界）を設定して容易に領域分割することが可能である。Ｈ領域やＬ領域についてこれをさらに分割する場合も同様、例えば閾値ＴｈＨ或いはＴｈＬからの輝度値差（距離）に応じた重み付け等に基づいて容易に分割可能である。

（Ｄ）画像処理部６におけるＷＢ補正処理に関する処理構成は、図１３に示す画像処理部６’の構成であってもよい。すなわち、上記画像処理部６での構成では、基画像Ｉから照明成分画像を抽出し、この抽出した照明成分画像からＷＢ補正係数を算出し、このＷＢ補正係数を用いて、基画像Ｉに対するＷＢ補正処理を行う構成としているが、画像処理部６’において、基画像Ｉから照明成分画像を抽出し、この抽出した照明成分画像からＷＢ補正係数を算出し、このＷＢ補正係数を用いて、照明成分画像に対してＷＢ補正処理を行い、このＷＢ補正処理が施された照明成分画像と、反射率成分画像とを合成する構成としてもよい。つまり、画像処理部６では、ＷＢ補正係数を求めておいて後に全画像（基画像Ｉ）に対してＷＢ補正処理を行う構成であるのに対し、画像処理部６’では、ＷＢ補正係数を求めて先に照明成分画像に対してＷＢ補正処理を行う構成としてもよい。なお、図１３において、除算部６４は、基画像Ｉに対する照明成分画像の除算処理によって基画像Ｉから反射率成分画像（反射率画像）を抽出するものであり、乗算部６５は、この反射率成分画像とＷＢ補正部６３からのＷＢ補正処理後の照明成分画像とを乗算処理によって合成するものである（ここではこの合成により画像Ｏが出力される）。

（Ｅ）上記画像処理部６におけるＷＢ補正処理に関する処理構成は、図１４に示す画像処理部６００の構成であってもよい。すなわち、画像処理部６００をダイナミックレンジ圧縮（ＤＲ圧縮）処理が可能な構成とし、ＷＢ補正処理をこのＤＲ圧縮中につまりＤＲ圧縮と合わせて行うようにしてもよい。具体的には、上記照明成分抽出部６１、ＷＢ係数算出部６２、ＷＢ補正部６３、除算部６４及び乗算部６５にそれぞれ相当する照明成分抽出部６０１、ＷＢ係数算出部６０２、ＷＢ補正部６０３、除算部６０５及び乗算部６０６と、照明成分画像に対するＤＲ圧縮処理（階調変換処理）を行う圧縮部６０４とを備えている。ここでは、照明成分抽出部６０１によって基画像Ｉから照明成分画像を抽出し、この抽出した照明成分画像からＷＢ係数算出部６０２によってＷＢ補正係数を算出する。一方、この抽出した照明成分画像から圧縮部６０４によって照明成分画像に対するＤＲ圧縮処理が行われ、このＤＲ圧縮処理が施された照明成分画像と、除算部６０５により抽出された反射率成分画像とが乗算部６０６によって合成される。そして、ＷＢ補正部６０３によって、上記ＷＢ係数算出部６０２により算出されたＷＢ補正係数に基づいて、当該乗算部６０６にて合成された画像に対するＷＢ補正処理が行われ、画像Ｏとして出力される。このように、照明成分画像を抽出してその照明成分画像に対して圧縮を行うというＤＲ圧縮処理の構成を利用して、ＷＢ補正処理を行うことが可能であるので、別途、ＷＢ補正処理専用の処理部を備えるといったことなく、既存の構成を利用したより簡易なＷＢ補正処理構成とすることができる。

（Ｆ）上記画像処理部６００は、図１５に示す画像処理部６００’の構成であってもよい。すなわち、上記画像処理部６に対する画像処理部６’の関係と同様、上記画像処理部６００では、ＷＢ補正係数を求めておいて後に全画像（合成画像）に対してＷＢ補正処理を行う構成であるのに対し、画像処理部６００’では、ＷＢ補正係数を求めて先に照明成分画像に対してＷＢ補正処理を行う構成としてもよい。この場合、照明成分抽出部６０１によって基画像Ｉから照明成分画像を抽出し、この抽出した照明成分画像からＷＢ係数算出部６０２によってＷＢ補正係数を算出する。そして、ＷＢ補正部６０３によって、照明成分抽出部６０１により抽出された照明成分画像に対するＷＢ補正処理が行われ、後段の圧縮部６０４によって、当該ＷＢ補正処理が施された照明成分画像に対するＤＲ圧縮処理が行われる。このＤＲ圧縮処理が施された照明成分画像と、除算部６０５により抽出された反射率成分画像とが乗算部６０６によって合成され、画像Ｏとして出力される。この場合も、画像処理部６００と同様、照明成分画像を抽出してその照明成分画像に対して圧縮を行うというＤＲ圧縮処理の構成を利用して、より簡易なＷＢ補正処理構成とすることができる。

（Ｇ）上記実施形態においては、ＷＢ補正処理をデジタルカメラ１内（画像処理部６、６’又は６００、６００’）で行う構成としているが、これに限らず、このＷＢ補正処理をカメラ外の所定の処理部において実行する構成としてもよい。具体的には、例えば図１に示すようにメモリカード等の記録媒体Ｍを用いて情報伝達可能に構成された、或いはＵＳＢ等を用いたデジタルカメラ１との直接接続（有線）又は無線ＬＡＮ等によるネットワーク接続がなされたユーザーインターフェイスを備える、ＰＣ（Personal Computer）やＰＤＡ（Personal Digital Assistant）等のホストにおいてＷＢ補正処理が実行されてもよい。この場合、ホストには、ＷＢ補正処理を行う例えば上記画像処理部６、６’、６００或いは６００’等と同様の構成の画像処理部が備けられ、デジタルカメラ１で得られた例えばＲＡＷ画像データを受け取り、このＲＡＷ画像データに対して上述の各実施形態の方法に基づくＷＢ補正処理を行う。なお、この場合、少なくともホストの画像出力部とデジタルカメラ１の撮像センサ３とで上記画像処理装置が構成される。

本実施形態に係る撮像装置の一例であるデジタルカメラの主に撮像処理に関する概略的なブロック構成図である。 上記デジタルカメラの画像処理部におけるＷＢ補正処理に関する機能ブロック図である。 上記画像処理部におけるＷＢ係数算出部のＷＢ補正係数算出に関する機能ブロック図である。 画像の出力特性を概略的に示すグラフ図であり、（ａ）は基画像の出力特性を、（ｂ）は基画像から抽出した照明成分の出力特性の一例を示す図である。 所定の注目画素に対する周辺画素の一例を示す模式図である。 照明成分画像の領域分割について説明するグラフ図である。 上記領域分割の一例を示す模式図であり、（ａ）は或る照明環境下の被写体（被写界）を、（ｂ）はこの被写体の撮像により得られた撮影画像を領域分割した結果を示す図である。 所定の撮像条件下で異なる光源を撮影した場合におけるＲ画素及びＧ画素の出力特性（照明成分画像データ）であり、（ａ）はＲ／Ｇの値が最小となる光源Ａを用いた場合、（ｂ）はＲ／Ｇの値が最大となる光源Ｂを用いた場合を示すグラフ図である。 上記図８におけるＲ及びＧ画素の出力特性を同じ色同士で纏めて示したグラフ図であり、（ａ）はＲ１及びＲ２画素の出力特性を、（ｂ）はＧ１及びＧ２画素の出力特性を示す図である。 ＬＵＴの一例を示すグラフ図である。 本実施形態に係る撮像装置又は画像処理装置（画像処理方法又は画像処理プログラム）におけるＷＢ補正処理動作、特にＷＢ補正係数算出動作の一例を示すフローチャートである。 Ｍ領域のＷＢ補正係数算出に関する一変形例を説明するための模式図である。 図１に示す画像処理部の一変形例を示す機能ブロック図である。 図１に示す画像処理部の一変形例を示す機能ブロック図である。 図１４に示す画像処理部の一変形例を示す機能ブロック図である。

符号の説明

１ デジタルカメラ（撮像装置）
３ 撮像センサ（撮像手段）
６、６’、６００、６００’ 画像処理部（画像処理手段）
６１、６０１ 照明成分抽出部（照明成分抽出手段）
６２、６０２ ＷＢ係数算出部
６２１ 比較部（比較手段）
６２２ 領域分割部（領域分割手段）
６２３ 平均値算出部（平均値算出手段）
６２４ 評価値算出部
６２５ 補正係数算出部（補正係数算出手段）
６３、６０３ ＷＢ補正部（ホワイトバランス補正手段）
７ 画像メモリ（記憶手段）
３００ ＬＵＴ（ルックアップテーブル）

Claims (15)

1. カラー撮像素子を備え、被写体のカラー画像撮影が可能に構成された撮像手段と、
   前記撮像手段により得られるカラー画像から各色の照明成分画像を抽出する照明成分抽出手段と、
   前記照明成分抽出手段により抽出された前記照明成分画像の輝度値と、所定の閾値とを比較する比較手段と、
   前記比較手段による比較結果に基づいて、前記照明成分画像を複数の領域に分割する領域分割手段と、
   前記領域分割手段により分割された領域毎に、該領域における照明成分画像の輝度平均値を算出する平均値算出手段と、
   前記平均値算出手段により算出された前記領域毎の各色の輝度平均値に基づいて、該領域毎の各色のホワイトバランス補正係数を算出する補正係数算出手段と、
   前記補正係数算出手段により算出されたホワイトバランス補正係数に基づいて、前記カラー画像のホワイトバランス補正を行うホワイトバランス補正手段とを備えることを特徴とする撮像装置。
2. 前記領域分割手段は、前記照明成分画像を、複数種類の光源に対応する複数の光源領域に分割することを特徴とする請求項１記載の撮像装置。
3. 前記領域分割手段は、前記照明成分画像を、複数種類の光源に対応する複数の光源領域、及び該複数種類の光源の中間輝度レベルを有する中間領域に分割することを特徴とする請求項１記載の撮像装置。
4. 前記補正係数算出手段は、前記中間領域のホワイトバランス補正係数を、前記複数の光源領域のホワイトバランス補正係数に基づいて算出することを特徴とする請求項３記載の撮像装置。
5. 前記補正係数算出手段は、前記中間領域のホワイトバランス補正係数を、前記光源領域のホワイトバランス補正係数に対して該光源領域の照明成分画像と前記中間領域の照明成分画像との輝度差に応じた重み付けを行うことにより算出することをことを特徴とする請求項４記載の撮像装置。
6. 前記補正係数算出手段は、前記中間領域のホワイトバランス補正係数を、前記光源領域のホワイトバランス補正係数に対して該光源領域と前記中間領域との空間的な距離に応じた重み付けを行うことにより算出することを特徴とする請求項４記載の撮像装置。
7. 前記補正係数算出手段は、前記光源領域のホワイトバランス補正係数を算出する場合、所定のデータ変換用のルックアップテーブルを用いて、前記輝度平均値に基づくホワイトバランス補正係数算出用の所定の評価値から、該光源領域毎の各色のホワイトバランス補正係数を算出することを特徴とする請求項２〜６のいずれかに記載の撮像装置。
8. 前記所定の閾値は、被写体における色温度の違いによる各色の照明成分画像の出力差に基づいて設定されるものであることを特徴とする請求項１〜７のいずれかに記載の撮像装置。
9. カラー撮像素子を備え、被写体のカラー画像撮影が可能に構成された撮像手段と、
   前記撮像手段により取得された画像データに対して所定の画像処理を行う画像処理手段とを備え、
   前記画像処理手段は、
   前記撮像手段により得られるカラー画像から各色の照明成分画像を抽出する照明成分抽出手段と、
   前記照明成分抽出手段により抽出された前記照明成分画像の輝度値と、所定の閾値とを比較する比較手段と、
   前記比較手段による比較結果に基づいて、前記照明成分画像を複数の領域に分割する領域分割手段と、
   前記領域分割手段により分割された領域毎に、該領域における照明成分画像の輝度平均値を算出する平均値算出手段と、
   前記平均値算出手段により算出された前記領域毎の各色の輝度平均値に基づいて、該領域毎の各色のホワイトバランス補正係数を算出する補正係数算出手段と、
   前記補正係数算出手段により算出されたホワイトバランス補正係数に基づいて、前記カラー画像のホワイトバランス補正を行うホワイトバランス補正手段とを備えることを特徴とする画像処理装置。
10. 前記領域分割手段は、前記照明成分画像を、複数種類の光源に対応する複数の光源領域に、又は、複数種類の光源に対応する複数の光源領域及び該複数種類の光源の中間輝度レベルを有する中間領域に分割することを特徴とする請求項９記載の画像処理装置。
11. 前記補正係数算出手段は、前記中間領域のホワイトバランス補正係数を、前記複数の光源領域のホワイトバランス補正係数に対して所定の重み付けを行うことにより算出することを特徴とする請求項１０記載の画像処理装置。
12. カラー撮像素子を備えた撮像手段によって被写体のカラー画像撮影を行う第１の工程と、
    前記撮像手段により得られるカラー画像から各色の照明成分画像を照明成分抽出手段によって抽出する第２の工程と、
    前記照明成分抽出手段により抽出された前記照明成分画像の輝度値と、所定の閾値とを比較手段によって比較する第３の工程と、
    前記比較手段による比較結果に基づいて、前記照明成分画像を領域分割手段によって複数の領域に分割する第４の工程と、
    前記領域分割手段により分割された領域毎に、該領域における照明成分画像の輝度平均値を平均値算出手段によって算出する第５の工程と、
    前記平均値算出手段により算出された前記領域毎の各色の輝度平均値に基づいて、該領域毎の各色のホワイトバランス補正係数を補正係数算出手段によって算出する第６の工程と、
    前記補正係数算出手段により算出されたホワイトバランス補正係数に基づいて、前記カラー画像のホワイトバランス補正をホワイトバランス補正手段によって行う第７の工程とを有することを特徴とする画像処理方法。
13. 前記領域分割手段によって、前記照明成分画像を、複数種類の光源に対応する複数の光源領域に、又は、複数種類の光源に対応する複数の光源領域及び該複数種類の光源の中間輝度レベルを有する中間領域に分割することを特徴とする請求項１２記載の画像処理方法。
14. 前記補正係数算出手段によって、前記中間領域のホワイトバランス補正係数を、前記複数の光源領域のホワイトバランス補正係数に対して所定の重み付けを行うことにより算出することを特徴とする請求項１３記載の画像処理方法。
15. カラー画像に対して所定の画像処理を行うことが可能な画像処理手段を動作させる画像処理プログラムであって、
    前記画像処理手段に、
    所定の記憶手段からカラー画像を読み出す第１ステップと、
    前記カラー画像から各色の照明成分画像を抽出する第２ステップと、
    前記照明成分画像の輝度値と、所定の閾値とを比較する第３ステップと、
    前記比較結果に基づいて、前記照明成分画像を複数の領域に分割する第４ステップと、
    前記分割された領域毎に、該領域における照明成分画像の輝度平均値を算出する第５ステップと、
    前記領域毎の各色の輝度平均値に基づいて、該領域毎の各色のホワイトバランス補正係数を算出する第６ステップと、
    前記ホワイトバランス補正係数に基づいて、前記カラー画像のホワイトバランス補正を行う第７ステップとを実行させることを特徴とする画像処理プログラム。

Images