JP5321163B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、撮像装置及び撮像方法、並びにコンピュータ読み取り可能な記録媒体に関し、特に、良好なホワイトバランス補正が可能なホワイトバランス制御機能を備えた撮像装置及び撮像方法に関するものである。

従来の撮像装置では、画面全体に均一な光源であれば、光源を推定して画面全体に同じホワイトバランスをかけるといった方法が広く用いられている。しかし、画面内に異なる種類の光源の照射エリアが存在する場合、画面全体に同じホワイトバランスをかける方法であると、異なる種類の光源の照射エリアそれぞれに対して適切なホワイトバランスとすることができない。

そこで特許文献１では、小領域に分割したエリア毎にホワイトバランスを掛けることで、画面全体に対して色ずれを生じさせないホワイトバランス制御機能が開示されている。
また特許文献２では、隣り合うエリアで異なるホワイトバランスが掛けられたエリア境界での色ずれを解消するために、画素毎にホワイトバランス係数を掛けるホワイトバランス制御機能が開示されている。
さらに特許文献３では、カラー画像を照明成分の輝度値によって複数種類の光源に対応する領域に分割し、領域毎の補正係数を算出するホワイトバランス制御機能が開示されている。

しかし、上記した特許文献１〜３に記載の発明では、同じ距離に位置する被写体に対して複数の光源が存在する場合、同一の物体に対して複数のホワイトバランスが掛かることになり、不自然な画像となる。
また、黄色は比較的輝度が高く、一方で青色は輝度が低いため、日向の青色が日陰の黄色よりも輝度が低いといった減少が起こるので、撮影シーンによっては輝度成分のみを基にした領域分割では必ずしも光源に対応したホワイトバランス補正を行うことができないという問題がある。

本発明は、以上の従来技術における問題に鑑みてなされたものであり、安定した領域分割を行い、良好なホワイトバランス補正を行う撮像装置及び撮像方法、並びにコンピュータ読み取り可能な記録媒体を提供することを目的とする。

上記課題を解決するために本発明に係る撮像装置及び撮像方法、並びにコンピュータ読取可能な記録媒体は、具体的には下記（１）〜（１２）に記載の技術的特徴を有する。
（１）：被写体に対応した光を電気信号に変換して撮像信号として出力する撮像素子と、前記撮像信号に基づき前記被写体に対応した撮影画像を作成する画像作成手段と、を備える撮像装置において、前記撮影画像をｎの分割ブロック（但し、ｎは４以上の整数である。）に分割するブロック分割手段と、前記撮像信号から色情報を取得すると共に、該色情報からホワイトバランス制御を行うためのホワイトバランス評価値を前記ｎの分割ブロック夫々から取得するホワイトバランス評価値取得手段と、前記色情報に基づき前記ｎの分割ブロックを統合することで、前記撮影画像をｍの分割領域（但し、ｍは整数であり、ｎ＞ｍ≧２を満たす。）に分割する領域分割手段と、前記ｍの分割領域の夫々について、当該分割領域が有する分割ブロックから取得されたホワイトバランス評価値に基づいて、対応したホワイトバランス補正係数を算出する補正係数算出手段と、前記複数の分割領域夫々に、各分割領域に対応した前記ホワイトバランス補正係数を設定するホワイトバランス演算手段と、前記色情報に基づき、前記分割ブロックが緑領域であるか否かを判定する緑領域判定手段と、を備え、前記領域分割手段は、前記撮像信号の色情報と、輝度情報とに基づき、高輝度領域と低輝度領域とに分割し、前記高輝度領域および前記低輝度領域の夫々において、領域毎に白抽出範囲を変えて白抽出を行う白抽出手段を有し、前記補正係数算出手段は、前記白抽出手段によって得られた白抽出結果と、前記分割領域毎のホワイトバランス評価値とに基づいて分割領域毎のホワイトバランス補正係数を算出し、前記ホワイトバランス演算手段は、前記ｎの分割ブロックの中で、前記緑領域判定手段により緑領域であると判定された分割ブロックに対して、当該分割ブロックが含まれる分割領域に対応したホワイトバランス補正係数とは異なるホワイトバランス補正係数を設定すると共に、前記緑領域判定手段により緑領域と判定された分割ブロックに対して、当該分割ブロックが含まれる分割領域が前記高輝度領域である場合には、前記高輝度領域に対応したホワイトバランス補正係数を取得し、当該分割ブロックが含まれる分割領域が前記低輝度領域である場合には、前記高輝度領域に対応したホワイトバランス補正係数と、前記低輝度領域に対応したホワイトバランス補正係数とを加重平均したホワイトバランス補正係数を取得して、ホワイトバランス補正係数を設定することを特徴とする撮像装置である。
（２）：前記白抽出手段は、前記高輝度領域において、当該高輝度領域のホワイトバランス評価値と、高輝度領域用白抽出範囲とを基に白抽出を行い、前記低輝度領域において、当該低輝度領域のホワイトバランス評価値と、低輝度領域用白抽出範囲とを基に白抽出を行うことを特徴とする上記（１）に記載の撮像装置である。
（３）：前記分割ブロックは、注目画素と、非注目画素とを有し、前記ホワイトバランス演算手段は、前記分割ブロック毎の注目画素に、前記ホワイトバランス補正係数を取得する第１補正係数取得手段と、前記分割ブロック毎の非注目画素に、周辺の注目画素のホワイトバランス補正係数と、当該非注目画素から前記周辺の注目画素までの距離による補間で前記ホワイトバランス補正係数を取得する第２補正係数取得手段と、を有し、前記第１補正係数取得手段と前記第２補正係数取得手段とによって取得したホワイトバラン補正係数を画素毎に設定することを特徴とする上記（１）または（２）に記載の撮像装置である。
（４）：前記注目画素は、前記分割ブロックの中央に位置する画素であることを特徴とする上記（３）に記載の撮像装置である。

（５）：被写体に対応した光を電気信号に変換して撮像信号として出力する光電変換工程と、前記撮像信号に基づき前記被写体に対応した撮影画像を作成する画像作成工程と、を備える撮像方法において、前記撮影画像をｎの分割ブロック（但し、ｎは４以上の整数である。）に分割するブロック分割工程と、前記撮像信号から色情報を取得すると共に、該色情報からホワイトバランス制御を行うためのホワイトバランス評価値を前記ｎの分割ブロック夫々から取得するホワイトバランス評価値取得工程と、前記色情報に基づき前記ｎの分割ブロックを統合することで、前記撮影画像をｍの分割領域（但し、ｍは整数であり、ｎ＞ｍ≧２を満たす。）に分割する領域分割工程と、前記ｍの分割領域の夫々について、当該分割領域が有する分割ブロックから取得されたホワイトバランス評価値に基づいて、対応したホワイトバランス補正係数を算出する補正係数算出工程と、前記複数の分割領域夫々に、各分割領域に対応した前記ホワイトバランス補正係数を設定するホワイトバランス演算工程と、前記色情報に基づき、前記分割ブロックが緑領域であるか否かを判定する緑領域判定工程と、を備え、前記領域分割工程は、前記撮像信号の色情報と、輝度情報とに基づき、高輝度領域と低輝度領域とに分割し、前記高輝度領域および前記低輝度領域の夫々において、領域毎に白抽出範囲を変えて白抽出を行う白抽出工程を有し、前記補正係数算出工程は、前記白抽出工程によって得られた白抽出結果と、前記分割領域毎のホワイトバランス評価値とに基づいて分割領域毎のホワイトバランス補正係数を算出し、前記ホワイトバランス演算工程は、前記ｎの分割ブロックの中で、前記緑領域判定工程により緑領域であると判定された分割ブロックに対して、当該分割ブロックが含まれる分割領域に対応したホワイトバランス補正係数とは異なるホワイトバランス補正係数を設定すると共に、前記緑領域判定工程により緑領域と判定された分割ブロックに対して、当該分割ブロックが含まれる分割領域が前記高輝度領域である場合には、前記高輝度領域に対応したホワイトバランス補正係数を取得し、当該分割ブロックが含まれる分割領域が前記低輝度領域である場合には、前記高輝度領域に対応したホワイトバランス補正係数と、前記低輝度領域に対応したホワイトバランス補正係数とを加重平均したホワイトバランス補正係数を取得して、ホワイトバランス補正係数を設定することを特徴とする撮像方法である。
（６）：前記白抽出工程は、前記高輝度領域において、当該高輝度領域のホワイトバランス評価値と、高輝度領域用白抽出範囲とを基に白抽出を行い、前記低輝度領域において、当該低輝度領域のホワイトバランス評価値と、低輝度領域用白抽出範囲とを基に白抽出を行うことを特徴とする上記（５）に記載の撮像方法である。
（７）：前記分割ブロックは、注目画素と、非注目画素とを有し、前記ホワイトバランス演算工程は、前記分割ブロック毎の注目画素に、前記ホワイトバランス補正係数を取得する第１補正係数取得工程と、前記分割ブロック毎の非注目画素に、周辺の注目画素のホワイトバランス補正係数と、当該非注目画素から前記周辺の注目画素までの距離による補間で前記ホワイトバランス補正係数を取得する第２補正係数取得工程と、を有し、前記第１補正係数取得工程と前記第２補正係数取得工程とによって取得したホワイトバラン補正係数を画素毎に設定することを特徴とする上記（５）または（６）に記載の撮像方法である。
（８）：前記注目画素は、前記分割ブロックの中央に位置する画素であることを特徴とする上記（７）に記載の撮像方法である。

（９）：被写体に対応した光を電気信号に変換して撮像信号として出力する光電変換処理と、前記撮像信号に基づき前記被写体に対応した撮影画像を作成する画像作成処理と、をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記撮影画像をｎの分割ブロック（但し、ｎは４以上の整数である。）に分割するブロック分割処理と、前記撮像信号から色情報を取得すると共に、該色情報からホワイトバランス制御を行うためのホワイトバランス評価値を前記ｎの分割ブロック夫々から取得するホワイトバランス評価値取得処理と、前記色情報に基づき前記ｎの分割ブロックを統合することで、前記撮影画像をｍの分割領域（但し、ｍは整数であり、ｎ＞ｍ≧２を満たす。）に分割する領域分割処理と、前記ｍの分割領域の夫々について、当該分割領域が有する分割ブロックから取得されたホワイトバランス評価値に基づいて、対応したホワイトバランス補正係数を算出する補正係数算出処理と、前記複数の分割領域夫々に、各分割領域に対応した前記ホワイトバランス補正係数を設定するホワイトバランス演算処理と、前記色情報に基づき、前記分割ブロックが緑領域であるか否かを判定する緑領域判定処理と、を備え、前記領域分割処理は、前記撮像信号の色情報と、輝度情報とに基づき、高輝度領域と低輝度領域とに分割し、前記高輝度領域および前記低輝度領域の夫々において、領域毎に白抽出範囲を変えて白抽出を行う白抽出処理を有し、前記補正係数算出処理は、前記白抽出処理によって得られた白抽出結果と、前記分割領域毎のホワイトバランス評価値とに基づいて分割領域毎のホワイトバランス補正係数を算出し、前記ホワイトバランス演算処理は、前記ｎの分割ブロックの中で、前記緑領域判定処理により緑領域であると判定された分割ブロックに対して、当該分割ブロックが含まれる分割領域に対応したホワイトバランス補正係数とは異なるホワイトバランス補正係数を設定すると共に、前記緑領域判定処理により緑領域と判定された分割ブロックに対して、当該分割ブロックが含まれる分割領域が前記高輝度領域である場合には、前記高輝度領域に対応したホワイトバランス補正係数を取得し、当該分割ブロックが含まれる分割領域が前記低輝度領域である場合には、前記高輝度領域に対応したホワイトバランス補正係数と、前記低輝度領域に対応したホワイトバランス補正係数とを加重平均したホワイトバランス補正係数を取得して、ホワイトバランス補正係数を設定することを特徴とするコンピュータ読み取り可能な記録媒体である。
（１０）：前記白抽出処理は、前記高輝度領域において、当該高輝度領域のホワイトバランス評価値と、高輝度領域用白抽出範囲とを基に白抽出を行い、前記低輝度領域において、当該低輝度領域のホワイトバランス評価値と、低輝度領域用白抽出範囲とを基に白抽出を行うことを特徴とする上記（９）に記載のコンピュータ読み取り可能な記録媒体である。
（１１）：前記分割ブロックは、注目画素と、非注目画素とを有し、前記ホワイトバランス演算処理は、前記分割ブロック毎の注目画素に、前記ホワイトバランス補正係数を取得する第１補正係数取得処理と、前記分割ブロック毎の注目画素に、周辺の注目画素のホワイトバランス補正係数と、当該非注目画素から前記周辺の注目画素までの距離による補間で前記ホワイトバランス補正係数を取得する第２補正係数取得処理と、を有し、前記第１補正係数取得処理と前記第２補正係数取得処理とによって取得したホワイトバラン補正係数を画素毎に設定することを特徴とする上記（９）または（１０）に記載のコンピュータ読み取り可能な記録媒体である。
（１２）：前記注目画素は、前記分割ブロックの中央に位置する画素であることを特徴とする上記（１１）に記載のコンピュータ読み取り可能な記録媒体である。

本発明によれば、安定した領域分割を行い、良好なホワイトバランス補正を行う撮像装置および撮像方法、並びにコンピュータに実行可能な記録媒体を提供することができる。

本発明に係る撮像装置の１実施の形態であるデジタルカメラの外観を示す概略図である。 本発明に係る撮像装置の１実施の形態における構成を示すブロック図である。 本発明に係る撮像装置の１実施の形態におけるホワイトバランス補正の一連の処理のフローを示すフロー図である。 輝度値Ｙと、青成分と赤成分との比Ｂ／Ｒとの相関図である。 大きな領域内に存在する微小領域の一例を示す概略図である。 本発明に係る撮像装置の１実施の形態における撮像信号が格子状のブロックに分割された模式図と、該模式図における被写体領域と背景領域を説明する説明図である。 ４×４分割ブロックにおける日向日陰境界ブロックを説明するための説明図である。 Ｇ／Ｒ−Ｇ／Ｂ座標における緑領域を示すグラフである。 輝度値Ｙと日陰ホワイトバランス抑圧係数との関係を示すグラフである。 Ｇ／Ｒ−Ｇ／Ｂ座標における白抽出範囲を示すグラフである。 図１０における日向領域の白抽出範囲を示すグラフである。 図１０における日陰領域の白抽出範囲を示すグラフである。 Ｌｖと日陰領域ホワイトバランス強度調整との関係を示すグラフである。 日向日陰境界ブロックのホワイトバランス補正係数算出を説明するための説明図である。 図６の模式図における被写体領域ブロック中央画素及び背景領域ブロック中央画素を説明する説明図である。 補間によるホワイトバランス補正係数の算出方法の説明図である。 図６の模式図における領域１２を説明する説明図である。 図６の模式図における領域１３、１４、１５、１６を説明する説明図である。

本発明の撮像装置は、被写体に対応した光を電気信号に変換して撮像信号として出力する撮像素子と、前記撮像信号に基づき前記被写体に対応した撮影画像を作成する画像作成手段と、を備える撮像装置において、前記撮影画像をｎの分割ブロック（但し、ｎは４以上の整数である。）に分割するブロック分割手段と、前記撮像信号から色情報を取得すると共に、該色情報からホワイトバランス制御を行うためのホワイトバランス評価値を前記ｎの分割ブロック夫々から取得するホワイトバランス評価値取得手段と、前記色情報に基づき前記ｎの分割ブロックを統合することで、前記撮影画像をｍの分割領域（但し、ｍは整数であり、ｎ＞ｍ≧２を満たす。）に分割する領域分割手段と、前記ｍの分割領域の夫々について、当該分割領域が有する分割ブロックから取得されたホワイトバランス評価値に基づいて、対応したホワイトバランス補正係数を算出する補正係数算出手段と、前記複数の分割領域夫々に、各分割領域に対応した前記ホワイトバランス補正係数を設定するホワイトバランス演算手段と、前記色情報に基づき、前記分割ブロックが緑領域であるか否かを判定する緑領域判定手段と、を備え、前記ホワイトバランス演算手段は、前記ｎの分割ブロックの中で、前記緑領域判定手段により緑領域であると判定された分割ブロックに対して、当該分割ブロックが含まれる分割領域に対応したホワイトバランス補正係数とは異なるホワイトバランス補正係数を設定することを特徴とする。

次に、図面を用いて本発明に係る撮像装置の基本的な構成についてさらに詳細に説明する。
尚、以下に述べる実施の形態は、本発明の好適な実施の形態であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は以下の説明において特に本発明を限定する旨の記載がない限りこれらの態様に限られるものではない。

（デジタルカメラの外観構成）
図１は、本実施形態に係る撮像装置の１実施の形態であるデジタルカメラの外観を示す概略図である。
図１に示すように、本実施の形態に係るデジタルカメラの上面側には、レリーズボタン（シャッタボタン）、電源ボタン、撮影・再生切替ダイアルが設けられており、デジタルカメラの正面（前面）側には、撮影レンズ系を有する鏡胴ユニット、ストロボ発光部、光学ファインダが設けられている。

デジタルカメラの背面側には、液晶モニタ（ＬＣＤ）、前記光学ファインダの接眼レンズ部、広角側ズーム（Ｗ）スイッチ、望遠側ズーム（Ｔ）スイッチ、メニュー（ＭＥＮＵ）ボタン、確定ボタン（ＯＫボタン）等が設けられている。また、デジタルカメラの側面内部には、撮影した画像データを保存するためのメモリカードを収納するメモリカード収納部が設けられている。

（デジタルカメラのシステム構成）
図２は、本発明に係る撮像装置の１実施の形態であるデジタルカメラの構成を示すブロック図である。
図２に示すように、このデジタルカメラ内には、鏡胴ユニットに設置した撮影レンズ系（光学系）を通して入射される被写体画像が受光面上に結像する固体撮像素子としてのＣＣＤ、ＣＣＤから出力される電気信号（アナログＲＧＢ画像信号）をデジタル信号（撮像信号）に処理するアナログフロントエンド部（ＡＦＥ部）、ＡＦＥ部から出力されるデジタル信号を処理する信号処理部、データを一時的に格納するＳＤＲＡＭ、制御プログラム等が記憶されたＲＯＭ、モータドライバ等が設けられている。

鏡胴ユニットは、ズームレンズやフォーカスレンズ等を有する撮影レンズ系、絞りユニット、メカシャッタユニットを備えており、撮影レンズ系、絞りユニット、メカシャッタユニットの各駆動ユニット（不図示）は、モータドライバによって駆動される。モータドライバは、信号処理部の制御部（ＣＰＵ）からの駆動信号により駆動制御される。

ＣＣＤは、ＣＣＤを構成する複数の画素上に色分解フィルタとしてのＲＧＢ原色フィルタが配置されており、ＲＧＢ３原色に対応した電気信号（アナログＲＧＢ画像信号）が出力される。

ＡＦＥ部は、ＣＣＤを駆動するＴＧ（タイミング信号発生部）、ＣＣＤから出力される電気信号（アナログＲＧＢ画像信号）をサンプリングするＣＤＳ（相関２重サンプリング部）、ＣＤＳにてサンプリングされた画像信号のゲインを調整するＡＧＣ（アナログ利得制御部）、ＡＧＣでゲイン調整された画像信号をデジタル信号（ＲＡＷ−ＲＧＢデータ）に変換するＡ／Ｄを備えている。

信号処理部は、ＡＦＥ部のＴＧへ画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）の出力を行い、これらの同期信号に合わせて、ＡＦＥ部のＡ／Ｄから出力されるＲＡＷ−ＲＧＢデータを取り込むＣＣＤインターフェース（ＣＣＤＩ／Ｆ）と、ＳＤＲＡＭを制御するメモリコントローラと、取り込んだＲＡＷ−ＲＧＢデータを表示や記録が可能なＹＵＶ形式の画像データに変換するＹＵＶ変換部と、表示や記録される画像データのサイズに合わせて画像サイズを変更するリサイズ処理部と、画像データの表示出力を制御する表示出力制御部と、画像データをＪＰＥＧ形成などで記録するためのデータ圧縮部と、画像データをメモリカードへ書き込み、又はメモリカードに書き込まれた画像データを読み出すメディアインターフェース（メディアＩ／Ｆ）と、操作部からの操作入力情報に基づき、ＲＯＭに記憶された制御プログラムに基づいてデジタルカメラ全体のシステム制御等を行う制御部（ＣＰＵ）を備えている。

操作部は、デジタルカメラ（図１参照）の外観表面に設けられているレリーズボタン、電源ボタン、撮影・再生切替ダイアル、広角側ズームスイッチ、望遠側ズームスイッチ、メニューボタン、確定ボタン等であり、撮影者の操作によって所定の動作指示信号が制御部に入力される。

ＳＤＲＡＭには、ＣＣＤＩ／Ｆに取り込まれたＲＡＷ−ＲＧＢデータが保存されると共に、ＹＵＶ変換部で変換処理されたＹＵＶデータ（ＹＵＶ形式の画像データ）が保存され、更に、データ圧縮部で圧縮処理されたＪＰＥＧ形成などの画像データが保存される。また、ＯＳＤ（オンスクリーンディスプレイ）とは、ＬＣＤディスプレイに表示させるデータであり、ＹＵＶデータ若しくはＪＰＥＧ画像の上に操作系の設定情報を重ねたものとなる。

なお、前記ＹＵＶデータのＹＵＶは、輝度データ（Ｙ）と、色差（輝度データと青色（Ｂ）成分データの差分（Ｕ）と、輝度データと赤色（Ｒ）成分データの差分（Ｖ））の情報で色を表現する形式である。この画像変換をする際に、制御部からＩＳＰに対して、ＷＢゲインＲｇ、Ｂｇを設定する。

ＩＳＰ（イメージシグナルプロセッサ）とは、ホワイトバランス、ガンマ補正、色補正等を行う信号処理部のメイン部分である。

（デジタルカメラのモニタリング動作、静止画撮影動作）
次に、前記したデジタルカメラのモニタリング動作と静止画撮影動作について説明する。このデジタルカメラは、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。

先ず、撮影者が電源ボタンをＯＮし、撮影・再生切替ダイアルを撮影モード（静止画撮影モード）に設定することで、デジタルカメラが記録モードで起動する。電源ボタンがＯＮされて、撮影・再生切替ダイアルが撮影モードに設定されたことを制御部が検知すると、制御部はモータドライバに制御信号を出力して、鏡胴ユニットを撮影可能位置に移動させ、かつ、ＣＣＤ、ＡＦＥ部、信号処理部、ＳＤＲＡＭ、ＲＯＭ、液晶モニタ等を起動させる。

そして、鏡胴ユニットの撮影レンズ系を被写体に向けることにより、撮影レンズ系を通して入射される被写体画像がＣＣＤの各画素の受光面上に結像する。そして、ＣＣＤから出力される被写体画像に応じた電気信号（アナログＲＧＢ画像信号）は、ＣＤＳ、ＡＧＣを介してＡ／Ｄに入力され、Ａ／Ｄにより１２ビット（ｂｉｔ）のＲＡＷ−ＲＧＢデータに変換する。

このＲＡＷ−ＲＧＢデータは、信号処理部のＣＣＤＩ／Ｆに取り込まれてメモリコントローラを介してＳＤＲＡＭに保存される。そして、ＳＤＲＡＭから読み出されたＲＡＷ−ＲＧＢデータは、ＹＵＶ変換部に入力されて表示可能な形式であるＹＵＶデータ（ＹＵＶ信号）に変換された後に、メモリコントローラを介してＳＤＲＡＭにＹＵＶデータが保存される。

そして、ＳＤＲＡＭからメモリコントローラを介して読み出したＹＵＶデータは、表示出力制御部を介して液晶モニタ（ＬＣＤディスプレイ）へ送られ、撮影画像（動画）が表示される。前記した液晶モニタ（ＬＣＤディスプレイ）に撮影画像を表示しているモニタリング時においては、ＣＣＤＩ／Ｆによる画素数の間引き処理により１／３０秒の時間で１フレームを読み出している。

なお、このモニタリング動作時は、電子ファインダとして機能する液晶モニタ（ＬＣＤディスプレイ）に撮影画像（動画）が表示されているだけで、まだレリーズボタンが押圧（半押も含む）操作されていない状態である。

この撮影画像の液晶モニタ（ＬＣＤ）への表示によって、静止画を撮影するための構図の確認等をすることができる。なお、表示出力制御部からＴＶビデオ信号として出力して、ビデオケーブルを介して外部のＴＶ（テレビ）に撮影画像（動画）を表示することもできる。

そして、信号処理部のＣＣＤＩ／Ｆは、取り込まれたＲＡＷ−ＲＧＢデータより、ＡＦ（自動合焦）評価値、ＡＥ（自動露出）評価値、ＡＷＢ（オートホワイトバランス）評価値を算出する。
尚、本発明において、輝度情報とはＡＥ評価値であり、ホワイトバランス評価値とは、ＡＷＢ評価値であり、ホワイトバランス評価値取得手段および合焦情報取得手段とは、それぞれ信号処理部のＣＣＤＩ／Ｆの一部である。

ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、ＡＦ動作時（合焦検出動作時）には、撮影レンズ系内の各フォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦検出位置としてＡＦ動作が実行される。

ＡＥ評価値とＡＷＢ評価値は、ＲＡＷ−ＲＧＢデータにおけるＲＧＢ値のそれぞれの積分値から算出される。例えば、信号処理部のＣＣＤＩ／Ｆの一部である検波回路（ブロック分割手段）によってＣＣＤの全画素の受光面に対応した画面を２５６エリア（ブロック）に等分割（水平１６分割、垂直１６分割）された後、それぞれのエリア（ブロック）のＲＧＢ積算値がＣＣＤＩ／Ｆによって算出される。

そして、制御部は、算出されたＲＧＢ積算値を読み出し、適正なホワイトバランスになるようなホワイトバランスのゲインＲgainとＢgainを算出する。また、ＡＥ処理では、画面のそれぞれのエリア（ブロック）の輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件（ＣＣＤの電子シャッタ回数、絞りユニットの絞り値、ＮＤフィルタの出し入れ等）を設定する。さらに、ＡＷＢ処理では、ＲＧＢの分布から被写体の光源の色に合わせたＡＷＢの制御値を決定する。このＡＷＢ処理により、ＹＵＶ変換部でＹＵＶデータに変換処理するときのホワイトバランスを合わせる。なお、前記したＡＥ処理とＡＷＢ処理は、前記モニタリング時には連続的に行われている。

そして、前記したモニタリング動作時に、レリーズボタンが押圧（半押しから全押し）操作される静止画撮影動作が開始されると、合焦位置検出動作であるＡＦ動作と静止画記録処理が行われる。

即ち、レリーズボタンが押圧（半押しから全押し）操作されると、制御部からモータドライバへの駆動指令により撮影レンズ系のフォーカスレンズが移動し、例えば、いわゆる山登りＡＦと称されるコントラスト評価方式のＡＦ動作が実行される。

いわゆる山登りＡＦとは、ＡＦ（合焦）対象範囲が無限から至近までの全領域であった場合、撮影レンズ系のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、ＣＣＤＩ／Ｆ（合焦情報取得手段）で算出されている各フォーカス位置における前記ＡＦ評価値、つまり画像データから高周波成分を抽出すべく、画像データにハイパスフィルタ処理を施して得たハイパスフィルタ出力値を制御部が読み出す。そして、各フォーカス位置のＡＦ評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。

そして、前記したＡＥ処理が行われ、露光完了時点で、制御部からモータドライバへの駆動指令によりメカシャッタユニットが閉じられ、ＣＣＤから静止画用のアナログＲＧＢ画像信号が出力される。そして、前記モニタリング時と同様に、ＡＦＥ部のＡ／Ｄ変換部によりＲＡＷ−ＲＧＢデータに変換される。

そして、このＲＡＷ−ＲＧＢデータ（撮像信号）は、信号処理部のＣＣＤＩ／Ｆに取り込まれ、ＹＵＶ変換部でＹＵＶデータに変換されて、メモリコントローラを介してＳＤＲＡＭに保存される。そして、このＹＵＶデータはＳＤＲＡＭから読み出されて、リサイズ処理部で記録画素数に対応するサイズに変換され、データ圧縮部でＪＰＥＧ形式等の画像データへと圧縮される。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭに書き戻された後にメモリコントローラを介してＳＤＲＡＭから読み出され、メディアＩ／Ｆを介してメモリカードに保存される。

次に、本発明の特徴となる撮像動作について説明する。
図３は本実施の形態におけるホワイトバランス（以下、ＷＢとも称する）補正の一連の処理をフローにしたものである。
先ず、静止画撮影動作におけるＷＢ、ガンマ補正、色補正等の一連の信号処理を終えた後、ＩＳＰより出力されたＹＵＶデータと信号処理前のＣＣＤ−Ｉ／Ｆより出力されたＲＡＷ−ＲＧＢデータとがＳＤＲＡＭに格納される。尚、ここで格納されたＹＵＶデータは領域毎のＷＢ補正を行う上で必要なデータであって、最終的にメモリカードへ保存されるデータとは異なるものである。

（Ｓ１；ブロック分割、ホワイトバランス評価値取得）
次に、ＲＡＷ−ＲＧＢデータ（撮影画像に対応した画像データ）を、水平１６×垂直１６のブロック単位で等分割を行い、分割された分割ブロック１００の夫々に対してＲＧＢ値を積算することでＲＧＢ積算値（ホワイトバランス評価値）を取得する。
本発明において、分割ブロック１００の分割数は、１６×１６＝２５６に限定されるものではない（但し、ｎ個の分割ブロックとしたとき、ｎ≧４を満たす。）。また、本発明においては等分割であることを必ずしも要するものではないが、全ての分割ブロックが等面積かつ同形状に等分割されてなることが好ましい。

ＲＧＢ積算値について詳細に説明する。
このＲＧＢ積算値の算出は、上述した分割ブロック１００の夫々に対して行うものである。本実施の形態において分割ブロック１００は、上述したように、撮影画像が２５６に等分割されたものなので、例えば撮影画像が約１０００万画素を有していると、分割ブロック１００の夫々は約３．９万画素を有する。ここで、この分割ブロック１００の夫々が有する画素夫々は、対応する被写体部分のＲ，Ｇ，またはＢ成分の情報であり、本実施の形態では各成分は８ｂｉｔの情報（０乃至２５５）として記録・利用されている。即ち、２５６個ある分割ブロック１００の夫々において、各ブロックが有する画素の数（約１０００万画素÷２５６＝約３．９万画素）だけ８ｂｉｔのＲ，Ｇ，Ｂ成分の情報がある。
ＲＧＢ積算値は、この分割ブロック１００の夫々について、各ブロックが有する画素全てのＲ成分、Ｇ成分、Ｂ成分夫々について加算平均して算出するものである。本実施の形態では、２５６個に分割した分割ブロック１００の夫々において、Ｒ，Ｇ，Ｂ成分毎に８ｂｉｔの情報として出力される。
尚、本実施の形態の場合、Ｒ，Ｇ，Ｂ各画素の比率は、Ｒ：Ｇ：Ｂ＝１：２：１となっていて、分割ブロック１００の夫々はＲ画素＝約０．９７５万画素、Ｇ画素＝約１．９５万画素、Ｂ画素＝０．９７５万画素から構成されている。

（Ｓ２；曇天シーン判定）
さらに、取得した分割ブロック１００の夫々のＲＧＢ積算値を全ブロック分加算することで求めた画面全体のＲＧＢ積算値と、シャッタ速度（Ｔｖ）、絞り値（Ａｖ）、及び感度（Ｓｖ）から曇天シーン判定を行う。
より詳しくは、シャッタ速度（Ｔｖ）、絞り値（Ａｖ）、及び感度（Ｓｖ）から被写体の明るさ（Ｌｖ）を下記式（１）を用いて算出し、例えばＬｖが８以上１４以下であり、且つ、Ｇ／Ｂ≦１．４、Ｇ／Ｒ≦１．４であるような場合に曇天シーンと判定する。
尚、曇天シーン判定は撮影画像全体について判定を行う処理である。

Ｌｖ＝Ｔｖ＋Ａｖ−Ｓｖ ・・・式（１）

（Ｓ３；青空領域判定）
次いで、取得した分割ブロック１００の夫々のＲＧＢ積算値分割ブロック１００の夫々について青空領域判定を行う。この青空領域判定は、分割ブロック１００の中で、Ｂ成分が高いブロックが存在するか、否かを判定することで、そのブロックが青空領域であるか否かを判定する。かかる方法における判定の具体例を挙げると、Ｇ／Ｒ＞＝２で、且つＧ／Ｂ＜＝１．５であるようなブロックを青空領域として判定する。

（Ｓ４；日向日陰領域分割）
そして、ＲＧＢ積算値を基にした輝度値（Ｙ）及びＲＧＢ積算値から、分割ブロック１００の夫々について日向領域と日陰領域とに分類（日向日陰領域分割）を行う。本実施の形態においては、分割ブロック１００の夫々について、日向領域と日陰領域とからなる２つの領域に分類することにより、画面全体を２つに分割するが、本発明はこれに限定されるものではない。即ち、ｎの分割ブロックに分割された撮影画像において、分割ブロックを統合することでｍ（但し、ｎ＞ｍ≧２を満たす。）の分割領域に分割するものであれば特に限定されるものではない。
尚、本実施の形態において、輝度値（輝度信号）Ｙは下記式（２）を用いて算出する。また、下記式（３）及び（４）を用いて、色差信号Ｕ（Ｃｂ）、色差信号Ｖ（Ｃｒ）を算出することができる。

Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１４４×Ｂ ・・・式（２）
Ｕ＝−０．１６９×Ｒ−０．３３１６×Ｇ＋０．５００×Ｂ ・・・式（３）
Ｖ＝０．５００×Ｒ−０．４１８６×Ｇ−０．０８１３×Ｂ ・・・式（４）

ここで、日向日陰領域分割の具体的な方法について以下に例を示す。尚、言うまでもなく本発明は以下の例に何ら限定されるものではない。
日向日陰領域分割には、分割ブロック１００の夫々について輝度値Ｙ、及びＲＧＢ積算値から算出される赤成分の値Ｒと青成分の値Ｂとの比であるＲ／Ｂを用いて、分割条件に従い日向領域と日陰領域とを分割する。

この分割条件の具体例について説明する。図４に、下記式（５）と下記（６）により、日向領域と日陰領域とに分割する具体例を示す。
図４において縦軸が輝度値Ｙを表し、横軸が比Ｂ／Ｒを表す。

Ｂ／Ｒ ＞ Ｋ ・・・式（５）
Ｙ＜Ｙ_ｔｈｒｅ ・・・式（６）

即ち、本実施の形態では少なくとも上記式（５）または（６）を満たさないものを日向と判定し、上記式（５）及び（６）のの両方を満たすものを日陰と判定するものであって、上記式（５）及び（６）が分割条件として撮像装置に記憶されている。次いで、Ｓ１で分割された分割ブロック１００の夫々について、ＲＧＢ積算値から算出される輝度値Ｙと、ＲＧＢ積算値の比Ｒ／Ｂと、を用いて、ブロックが日向領域であるか日陰領域であるかを判定して日向日陰領域分割を行う。

本実施の形態では、Ｋ＝２（Ｂ画素の積算値がＲ画素の積算値の２倍より大きい）、Ｙ_ｔｈｒｅ＝１００（但し、８ｂｉｔデータ（０乃至２５５）における値である。）として日向日陰分割を行う。

そして、しかる後に本実施の形態では、Ｓ３において青空領域と判定され、且つ、日向日陰領域分割において日陰領域とされたブロックを、日向領域に変更する。これにより青空に対して日陰領域のＷＢをかけないようにすることができるため、精度の高いＷＢ処理を行うことができる。

さらに、分割ブロック１００の夫々において、隣接するブロックにおけるＲＧＢ積算値の連続性を判断し、大きな領域内に存在する微小領域を、当該大きな領域に属するものに変更する。即ち、大きな日向領域内に微小な日陰領域が存在する場合において、該微小な日陰領域に対しても大きな日向領域と同じＷＢをかけることで、ある程度まとまった領域に同じＷＢをかけることができる（日向と日陰とが逆の場合であっても同様）。即ち、細かな日向領域または日陰領域が混在するような被写体を撮影する場合であっても自然なＷＢをかけることができる。
具体的には、図５において示すように、判定対象である１個のブロックの周囲を取り囲む８個のブロックの中、６個のブロックが当該１個のブロックの日向日陰領域判定結果とは異種の領域である場合に、ＲＧＢ積算値の連続性を判断する。
ＲＧＢ積算値の連続性は、この６個のブロックと当該１個のブロックとでＲＧＢ積算値を比較し、６個のＲＧＢ積算値が当該１個のブロックのＲＧＢ積算値の５％以内であれば、連続性があると判断し、当該１個のブロックの日向／日陰領域判定結果を、６個のブロックと同じ判定結果に置き換える。このときの対象ブロックと異種の６個のブロックの積算値の範囲との関係の一例を図５に併せて示す。

そしてさらに、日向日陰領域分割された撮影画像に対して更に合焦情報を使用して、Ｓ１で分割された分割ブロック１００夫々のブロックを合焦情報に応じて微小な領域を大きな領域にまとめてもよい。

尚、ここで言う合焦情報とは、前記ＡＦ評価値を使用したものである。
即ち、前述したＡＦ動作時に、前記ＡＦ評価値を水平１６×垂直１６分割の分割ブロック毎に取得し、分割ブロック夫々において、ＡＦ評価値が極大となるフォーカス位置が前記ＡＦ動作時において合焦位置としたフォーカス位置と同一である場合は、その分割ブロックを合焦ブロックとし、非同一である場合は、その分割ブロックを非合焦ブロックとする。
図６は分割ブロック単位で領域分割を行ったもので、被写体領域１は合焦ブロックであり、背景領域２は非合焦ブロックである。
合焦情報を用いた領域のまとめ方としては、判定対象である１個のブロックの日向日陰領域判定結果が、当該１個のブロックの上下あるいは左右に配置されている２個のブロックのいずれに対しても異種の領域である場合に、合焦情報を用いて、領域をまとめる動作を行う。
具体的には、当該１個のブロックが合焦ブロックであり、当該１個のブロックの上下あるいは左右に配置されている２個のブロックも合焦ブロックである場合に、当該１個のブロックの日向／日陰領域判定結果を、２個のブロックと同じ判定結果に置き換える。

（Ｓ５；日向日陰境界ブロック）
そして、日向日陰領域分割の後、日向領域と日陰領域とが隣接する境界において、日陰領域に属するブロックを日向日陰境界ブロックに設定する。
例えば、図７に示すような撮影画像の一部である４×４＝１６のブロックについて考える。色つき（灰色）で示された領域が日陰領域の分割ブロック、それ以外（無色）が日向領域の分割ブロックであり、日向領域と日陰領域との境界が太線で示されている。この境界を示す太線に接する日陰領域の分割ブロック１００ａ，ｂ，ｃ，ｄをいずれも日向日陰境界ブロックとして設定する。

（Ｓ６；緑領域判定）
次いで、分割ブロック１００の夫々について、Ｇ／Ｒ、Ｇ／Ｂを基に緑領域を判定する。
図８は緑領域におけるＧ／ＲとＧ／Ｂとの関係を示す図である。緑領域の判定はＧ成分がＲ成分及びＢ成分と比較して大きい領域を緑領域と判定するものであって、本実施の形態では図示のごとく、Ｇ／Ｒ≧１．５、且つ、Ｇ／Ｂ≧１．５である領域である。
即ち、分割ブロック１００の夫々のブロックにおいて、ＲＧＢ積算値から、Ｇ／ＲとＧ／Ｂを計算し、Ｇ／Ｒ≧１．５、且つ、Ｇ／Ｂ≧１．５を満足するブロックを緑領域と判定する。
尚、本発明は上述した緑判定の方法に限られるものではなく、ＲＧＢ積算値を基に、色情報と輝度情報とから緑領域を判定しても良い。例えば、ＲＧＢ積算値をＨＬＳ空間に変換して色相と彩度とから判定しても良い。ＨＬＳ空間は、Ｈｕｅ（色相）、Ｌｉｇｈｔ（明度）、Ｓａｔｕｒａｔｉｏｎ（彩度）を属性とする空間のことを言う。

（Ｓ７；日陰ホワイトバランス抑圧係数）
さらに、輝度情報を基に日陰ＷＢ抑圧係数を算出する。図９は輝度値Ｙと日陰ＷＢ抑圧係数との関係を示すグラフである。図９に示すように、輝度値（Ｙ）が高いほどＷＢを抑圧するような日陰ＷＢ抑圧係数を算出するものであって、例えば輝度が０の場合は１００％日陰ＷＢを用いて（日陰ＷＢ０％抑圧）、所定の閾値以上の輝度の場合に１００％日向ＷＢを用いて（日陰ＷＢ１００％抑圧）、これらの間の輝度の場合は線形補間した割合をもって日陰ＷＢ抑圧を行う。
ここで例えば、雨が降った後に晴れた環境下において太陽光が照射されている濡れた地面（黒っぽくなっている）のような被写体を撮影した場合、比較的高輝度であるにも関わらず日陰領域と判定されてしまうことがあるが、高輝度であるほど日陰ＷＢ抑圧をすることで、ホワイトバランス処理を違和感ないものとすることができる。即ち、少し暗い日向領域を日陰領域であると判定し、日陰ＷＢをかけることで色が付いてしまうという現象を抑制することができる。

（Ｓ８；ホワイトバランス補正係数算出）
そしてさらに、各ブロック１００毎に白いものが白くなるようなＷＢ補正係数を算出する。
ここでは先ず、日向領域及び日陰領域のそれぞれに対して白抽出を行う。この白抽出は日向領域、日陰領域毎に分割ブロック単位で取得したＲＧＢ積算値から分割ブロック１００夫々について、のＧ／Ｒ、Ｇ／Ｂを求め、図１０に示すようなＧ／Ｒ（ｘ軸）ｖｓＧ／Ｂ（ｙ軸）の色座標上において、複数の楕円形状からなる黒体輻射カーブが表される白抽出範囲に含まれるブロックを白抽出ブロックとして記憶する。
尚、この白抽出範囲は、抽出する対象となる領域に応じて予め設定してあるものである。本実施の形態における白抽出範囲は、日向領域と日陰領域とで白抽出範囲が異なる。また、図１０に示すＧ／Ｒ−Ｇ／Ｂ軸上の白抽出範囲は一例であり、ＣＣＤの構成などによって変化するものである。さらに、例えば黒体輻射カーブが複数の矩形状からなるものであっても良い。

予め設定してある白抽出範囲とは、例えば図１１および図１２に示すような例が挙げられる。図１１の斜線部分は日向領域の白抽出範囲（高輝度領域用白抽出範囲）で約２３００〜約５８００Ｋ（ケルビン）まで、図１２の斜線部分は日陰領域の白抽出範囲（低輝度領域用白抽出範囲）で約５８００〜約８０００Ｋまでに対応する。

次いで、日向領域及び日陰領域のそれぞれにおいて、抽出された白抽出ブロック数がある一定基準以上ある場合は、白抽出ブロックのＧ／Ｒ、Ｇ／Ｂと当該白抽出ブロックの平均輝度値の重み付けを行い、その後、白抽出ブロックの平均Ｇ／Ｒと平均Ｇ／Ｂを求める。
本発明においてホワイトバランス補正係数は、平均輝度値が高い領域を重視するような補正係数であることが好ましく、Ｇ／Ｒ、Ｇ／Ｂに対して平均輝度値が高い領域を重視するような演算を行うことで算出できる。例えば、輝度が所定の閾値α以上の分割ブロックであれば２倍の重み付けとし、所定の閾値β以上の分割ブロックであれば１．５倍の重み付けとする等の算出を行う（但し、α＞βである。）。
そして、算出した平均Ｇ／Ｒと平均Ｇ／Ｂが図１０における黒体輻射カーブの範囲内に含まれるように補正し、ホワイトバランス補正係数とする。

また、日向領域及び日陰領域のいずれか一方の白抽出ブロック数がある一定基準未満の場合は、その領域内の全ブロックのＧ／Ｒ、Ｇ／Ｂに対して、平均Ｇ／Ｒと平均Ｇ／Ｂを求め、図１０における黒体輻射カーブの範囲内に含まれるように補正し、ホワイトバランス補正係数とする。
日向領域、日陰領域いずれにも一定基準を満たす白抽出ブロックが存在しない場合、画面全体のＧ／Ｒ、Ｇ／Ｂから、平均Ｇ／Ｒと平均Ｇ／Ｂを求め、ホワイトバランス補正係数とする。

またこのとき、Ｓ２において曇天シーンと判定された場合、日向領域の分割ブロックのＷＢ補正係数は、日陰領域の分割ブロックにおけるＷＢ補正係数に近付けるように設定する。具体的には、Ｇ／Ｒ及びＧ／Ｂをいずれも０．２ずつ近付けるように（Ｇ／Ｒは０．２大きく、Ｇ／Ｂは０．２小さく）設定する。こうすることで、曇天シーンで日向領域と日陰領域とに分割した場合であっても、日向領域に設定するＷＢ補正係数と日陰領域に設定するＷＢ補正係数との差が小さくなるため、違和感のないＷＢ処理を行うことができる。

（Ｓ９；日陰領域ホワイトバランス強度調整）
以上のようにして算出されたホワイトバランス補正係数に対して、日陰領域ＷＢ強度調整を行う。
日陰ＷＢ強度調整は、被写体の明るさＬｖに応じてＳ８で設定した日向領域に設定するＷＢ補正係数と、日陰領域に設定するＷＢ補正係数との加重平均をして、日陰領域におけるＷＢ補正係数の強度調整を行うものである。例えば図１３に示すように、Ｌｖ＝８の場合には日陰領域のホワイトバランス補正係数が０％、日向領域のホワイトバランス補正係数が１００％となるように、日陰領域のホワイトバランス補正係数の強度を調整する。また例えば、図１３に示すように、Ｌｖ＝１４の場合には日陰領域のホワイトバランス補正係数が１００％、日向領域のホワイトバランス補正係数が０％となるように、日陰領域のホワイトバランス補正係数の強度を調整する。

このように、被写体の明るさＬｖによって日陰領域のホワイトバランス補正係数の強度を調整することで、例えば屋外より比較的暗い室内で、日向領域、日陰領域毎にホワイトバランスをかけても違和感が生じないようになる。さらに他の例を挙げると、暗くなるに従って日向領域、日陰領域毎のホワイトバランス補正係数の差をなくすようにすることで、日中で日が傾いた場合や、日向日陰がはっきりとしないシーンにおいて、日向領域、日陰領域毎にホワイトバランスをかけても違和感が生じないようになる。

さらに被写体の明るさＬｖが大きい、つまり日向と日陰とがはっきりしている明るいシーンにおいて、日陰領域におけるホワイトバランス補正係数と、日向領域におけるホワイトバランス補正係数とに差がつくような場合には、差が一定の範囲内に収まるようにリミット処理を行う。例えば、Ｇ／Ｒ及びＧ／Ｂのいずれも、日向領域と日陰領域とで差が１０％以内となるように、日陰領域のホワイトバランス補正係数を、日向領域のホワイトバランス補正係数に近づける。より具体的には、日陰領域のホワイトバランス補正係数を、図１０示す黒体輻射カーブ上を移動させて、日向領域のホワイトバランス補正係数と比較してＧ／Ｒ及びＧ／Ｂのいずれにおいても差が１０％以内に収まるようにするものである。一例を挙げると、例えば日向領域のホワイトバランス補正係数がＧ／Ｒ＝１．５、Ｇ／Ｂ＝１である場合には、日陰領域のホワイトバランス補正係数はＧ／Ｒ＝１．６５、Ｇ／Ｂ＝０．９とする。

このように、本実施の形態におけるＬｖに応じたホワイトバランス補正係数の強度調整では、日陰領域のホワイトバランス補正係数を日向領域のホワイトバランス補正係数に近づけることが好ましい。

（Ｓ１０；ホワイトバランス補正係数演算）
そして、得られた日向領域のホワイトバランス補正係数と日陰領域のホワイトバランス補正係数とを用いて、各画素にホワイトバランス補正係数を設定する。
先ず、日向領域と判定されたブロックには日向領域のホワイトバランス補正係数をそのまま用いることができる。
但し、日向領域の中でもＳ６において緑領域と判定されたブロックは、日向領域に属するものであれば、そのまま日向領域に属するものとして扱うが、日陰領域に属するものであれば日向領域を７０％、日陰領域を３０％として加重平均を行い、ホワイトバランス補正係数を設定する。これにより人間の目に敏感な緑を補正することができ、違和感を生じることがなくなる。

一方、日陰領域と判定されたブロックには、Ｓ９における日陰領域ホワイトバランス強度調整後のホワイトバランス補正係数が設定される。但し、日陰領域の中でもＳ５において日向日陰境界ブロックと判定された分割ブロック１００は、以下の処理に従い日向領域のホワイトバランス補正係数と日陰領域のホワイトバランス補正係数とが加重平均されたものが設定される。

本実施の形態では、日向領域のホワイトバランス補正係数と、Ｓ９における日陰領域ホワイトバランス強度調整後のホワイトバランス補正係数との加重平均により、日向日陰境界ブロックのホワイトバランス補正係数が設定される。
具体的な加重平均の処理については図１４に示す。図１４は、撮影画像における一直線上のＷＢ補正係数の例を説明するための説明図である。図１４において縦線で等間隔に分割されている横幅が分割ブロック１００における１個のブロックを表し、各ブロックにおけるＷＢ補正係数が丸印で示されている。
一般的に日陰領域では各信号量（ＲＧＢ）が低いものとして撮像されるのに対して、日向領域では各信号量（ＲＧＢ）が高くなる。従って、日向領域のホワイトバランス補正係数を調整すると、日向領域の各信号量の高さゆえに、調整による誤差が大きくなり、違和感を生じる可能性が高くなってしまう。このため、各信号量が低い傾向にある日陰領域のホワイトバランス補正係数を調整することで、違和感のないホワイトバランスを達成できる。

先ず、加重平均前における日向領域のブロックには日向領域のＷＢ補正係数が設定されている。また、日陰領域のブロックには日陰領域ホワイトバランス強度調整後のＷＢ補正係数が設定されている。また、日向領域との境界に面した日陰領域のブロックである日向日陰境界ブロック１００ａ，ｂ，ｃ，ｄには、日陰領域のブロックと同様に、日陰領域ホワイトバランス強度調整後のＷＢ補正係数が設定されている。

そして、この日向日陰境界ブロック１００ａ，ｂ，ｃ，ｄにおけるＷＢ補正係数に対して、当該日向日陰境界ブロック１００ａ，ｂ，ｃ，ｄのＷＢ補正係数と、隣接する日向ブロックのＷＢ補正係数との加重平均したホワイトバランス補正係数を設定する。本実施の形態では、加重平均の割合は、日向領域のホワイトバランス補正係数が５０％、日陰領域ホワイトバランス強度調整後のホワイトバランス補正係数が５０％である。こうすることで、信号量の少ない日陰側のホワイトバランスが補正されるため、日陰領域の色合いは崩れずに、日向領域と日陰領域とのホワイトバランスの差が少なくすることができ、境界の色つきの発生を抑制できる。このときの計算例と、計算結果（日向領域、日陰領域、日向日陰境界ブロック（領域）のそれぞれにおけるＧ／Ｂ、Ｇ／Ｒ）の一例を図７に併せて示す。

次いで、各画素にホワイトバランス補正係数を設定する。
図１５のように各分割ブロック１００の中央を注目画素とし、日向領域、日陰領域等のそれぞれにおいて算出したホワイトバランス補正係数Ｒgain、Ｂgainを分割ブロック１００の注目画素に設定する。図１５の３は日向領域で算出したホワイトバランス補正係数Ｒgain、Ｂgainを設定する注目画素、図１５の４は日陰領域で算出したホワイトバランス補正係数Ｒgain、Ｂgainを設定する注目画素である。

非注目画素のホワイトバランス補正係数Ｒgain、Ｂgainは当該分割ブロック１００の注目画素と周辺の注目画素に設定されているホワイトバランス補正係数と当該画素からの距離による補間によって求める。

図１６を基に非注目画素のホワイトバランス補正係数算出方法を説明する。ホワイトバランス補正係数の算出対象とする非注目画素のＲgain（Ｂgain）を１１とし周辺の注目画素のホワイトバランス補正係数Ｒgain（Ｂgain）をＲ０（Ｂ０）、Ｒ１（Ｂ１）、Ｒ２（Ｂ２）、Ｒ３（Ｂ３）とする。Ｒ３（Ｂ３）の位置を１で正規化し補正係数の算出対象となる非注目画素の位置をｘ、ｙで表し以下の計算式によって補正係数を算出する。

Ｒgain＝（１−ｘ）（１−ｙ）Ｒ０＋ｘ（１−ｙ）Ｒ１＋（１−ｘ）ｙＲ２＋ｘｙＲ３
Ｂgain＝（１−ｘ）（１−ｙ）Ｂ０＋ｘ（１−ｙ）Ｂ１＋（１−ｘ）ｙＢ２＋ｘｙＢ３

具体的には、例えばＲ０＝１．５、Ｒ１＝１．２、Ｒ２＝１．２、Ｒ３＝１．２、ｘ＝０．７、ｙ＝０．６とした場合の非注目画素のＲgainは以下のようになる。
Ｒgain＝｛（１−０．７）×（１−０．６）×１．５｝＋｛０．７×（１−０．６）×１．２｝＋｛（１−０．７）×０．６×１．２｝＋｛０．７×０．６×１．２｝＝１．２３６

図１７の１２部分の画素のように周辺の注目画素が１つしか存在しない場合は、当該分割ブロック１００のホワイトバランス補正係数を設定する。

図１８の１３、１４、１５、１６部分の画素のように周辺の注目画素が２つしか存在しない場合は、２つのホワイトバランス補正係数と当該画素からの距離による補間によって求める。計算式を以下に示す。

領域１３の場合
Ｒgain＝（１−ｘ）Ｒ２＋ｘＲ３
Ｂgain＝（１−ｘ）Ｂ２＋ｘＢ３

領域１４の場合
Ｒgain＝（１−ｘ）Ｒ０＋ｘＲ１
Ｂgain＝（１−ｘ）Ｂ０＋ｘＢ１

領域１５の場合
Ｒgain＝（１−ｙ）Ｒ１＋ｙＲ３
Ｂgain＝（１−ｙ）Ｂ１＋ｙＢ３

領域１６の場合
Ｒgain＝（１−ｙ）Ｒ０＋ｙＲ２
Ｂgain＝（１−ｙ）Ｂ０＋ｙＢ２

そして、ＳＤＲＡＭに格納されたＲＡＷ−ＲＧＢデータのＲ、Ｂデータそれぞれに対して、画素毎に算出したホワイトバランス補正係数Ｒgain、Ｂgainを掛ける。

尚、以上説明した非注目画素のホワイトバランス補正係数演算は、日向領域と日陰領域とからなる撮影画像の一部の場合を例に挙げているが、緑領域と判定された分割ブロック１００や、日向日陰領域と判定された分割ブロック１００についてもこれと同様にホワイトバランス補正係数演算を行うものである。

〔記録媒体〕
本発明に係る記録媒体は、上記した実施の形態の撮像動作を、画像処理機能を有する装置が備えるコンピュータに実行可能とするプログラムを記録したものである。また、記録媒体の形態やプログラムの記録方法（コンピュータ言語）等は従来公知のものであれば何れのものであっても良い。

１ 被写体領域
２ 背景領域
３ 被写体領域注目画素
４ 背景領域注目画素
５ 日陰領域
６ 日向領域
１２、１３、１４、１５、１６ 領域

特開２００２−２７１６３８号公報 特開２００５−３４７８１１号公報 特開２００７−１２９６２２号公報

Claims (12)

1. 被写体に対応した光を電気信号に変換して撮像信号として出力する撮像素子と、
   前記撮像信号に基づき前記被写体に対応した撮影画像を作成する画像作成手段と、
   を備える撮像装置において、
   前記撮影画像をｎの分割ブロック（但し、ｎは４以上の整数である。）に分割するブロック分割手段と、
   前記撮像信号から色情報を取得すると共に、該色情報からホワイトバランス制御を行うためのホワイトバランス評価値を前記ｎの分割ブロック夫々から取得するホワイトバランス評価値取得手段と、
   前記色情報に基づき前記ｎの分割ブロックを統合することで、前記撮影画像をｍの分割領域（但し、ｍは整数であり、ｎ＞ｍ≧２を満たす。）に分割する領域分割手段と、
   前記ｍの分割領域の夫々について、当該分割領域が有する分割ブロックから取得されたホワイトバランス評価値に基づいて、対応したホワイトバランス補正係数を算出する補正係数算出手段と、
   前記複数の分割領域夫々に、各分割領域に対応した前記ホワイトバランス補正係数を設定するホワイトバランス演算手段と、
   前記色情報に基づき、前記分割ブロックが緑領域であるか否かを判定する緑領域判定手段と、を備え、
   前記領域分割手段は、前記撮像信号の色情報と、輝度情報とに基づき、高輝度領域と低輝度領域とに分割し、前記高輝度領域および前記低輝度領域の夫々において、領域毎に白抽出範囲を変えて白抽出を行う白抽出手段を有し、
   前記補正係数算出手段は、前記白抽出手段によって得られた白抽出結果と、前記分割領域毎のホワイトバランス評価値とに基づいて分割領域毎のホワイトバランス補正係数を算出し、
   前記ホワイトバランス演算手段は、前記ｎの分割ブロックの中で、前記緑領域判定手段により緑領域であると判定された分割ブロックに対して、当該分割ブロックが含まれる分割領域に対応したホワイトバランス補正係数とは異なるホワイトバランス補正係数を設定すると共に、前記緑領域判定手段により緑領域と判定された分割ブロックに対して、当該分割ブロックが含まれる分割領域が前記高輝度領域である場合には、前記高輝度領域に対応したホワイトバランス補正係数を取得し、当該分割ブロックが含まれる分割領域が前記低輝度領域である場合には、前記高輝度領域に対応したホワイトバランス補正係数と、前記低輝度領域に対応したホワイトバランス補正係数とを加重平均したホワイトバランス補正係数を取得して、ホワイトバランス補正係数を設定することを特徴とする撮像装置。
2. 前記白抽出手段は、
   前記高輝度領域において、当該高輝度領域のホワイトバランス評価値と、高輝度領域用白抽出範囲とを基に白抽出を行い、
   前記低輝度領域において、当該低輝度領域のホワイトバランス評価値と、低輝度領域用白抽出範囲とを基に白抽出を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記分割ブロックは、注目画素と、非注目画素とを有し、
   前記ホワイトバランス演算手段は、
   前記分割ブロック毎の注目画素に、前記ホワイトバランス補正係数を取得する第１補正係数取得手段と、
   前記分割ブロック毎の非注目画素に、周辺の注目画素のホワイトバランス補正係数と、当該非注目画素から前記周辺の注目画素までの距離による補間で前記ホワイトバランス補正係数を取得する第２補正係数取得手段と、を有し、
   前記第１補正係数取得手段と前記第２補正係数取得手段とによって取得したホワイトバラン補正係数を画素毎に設定することを特徴とする請求項１または２に記載の撮像装置。
4. 前記注目画素は、前記分割ブロックの中央に位置する画素であることを特徴とする請求項３に記載の撮像装置。
5. 被写体に対応した光を電気信号に変換して撮像信号として出力する光電変換工程と、
   前記撮像信号に基づき前記被写体に対応した撮影画像を作成する画像作成工程と、
   を備える撮像方法において、
   前記撮影画像をｎの分割ブロック（但し、ｎは４以上の整数である。）に分割するブロック分割工程と、
   前記撮像信号から色情報を取得すると共に、該色情報からホワイトバランス制御を行うためのホワイトバランス評価値を前記ｎの分割ブロック夫々から取得するホワイトバランス評価値取得工程と、
   前記色情報に基づき前記ｎの分割ブロックを統合することで、前記撮影画像をｍの分割領域（但し、ｍは整数であり、ｎ＞ｍ≧２を満たす。）に分割する領域分割工程と、
   前記ｍの分割領域の夫々について、当該分割領域が有する分割ブロックから取得されたホワイトバランス評価値に基づいて、対応したホワイトバランス補正係数を算出する補正係数算出工程と、
   前記複数の分割領域夫々に、各分割領域に対応した前記ホワイトバランス補正係数を設定するホワイトバランス演算工程と、
   前記色情報に基づき、前記分割ブロックが緑領域であるか否かを判定する緑領域判定工程と、を備え、
   前記領域分割工程は、前記撮像信号の色情報と、輝度情報とに基づき、高輝度領域と低輝度領域とに分割し、前記高輝度領域および前記低輝度領域の夫々において、領域毎に白抽出範囲を変えて白抽出を行う白抽出工程を有し、
   前記補正係数算出工程は、前記白抽出工程によって得られた白抽出結果と、前記分割領域毎のホワイトバランス評価値とに基づいて分割領域毎のホワイトバランス補正係数を算出し、
   前記ホワイトバランス演算工程は、前記ｎの分割ブロックの中で、前記緑領域判定工程により緑領域であると判定された分割ブロックに対して、当該分割ブロックが含まれる分割領域に対応したホワイトバランス補正係数とは異なるホワイトバランス補正係数を設定すると共に、前記緑領域判定工程により緑領域と判定された分割ブロックに対して、当該分割ブロックが含まれる分割領域が前記高輝度領域である場合には、前記高輝度領域に対応したホワイトバランス補正係数を取得し、当該分割ブロックが含まれる分割領域が前記低輝度領域である場合には、前記高輝度領域に対応したホワイトバランス補正係数と、前記低輝度領域に対応したホワイトバランス補正係数とを加重平均したホワイトバランス補正係数を取得して、ホワイトバランス補正係数を設定することを特徴とする撮像方法。
6. 前記白抽出工程は、
   前記高輝度領域において、当該高輝度領域のホワイトバランス評価値と、高輝度領域用白抽出範囲とを基に白抽出を行い、
   前記低輝度領域において、当該低輝度領域のホワイトバランス評価値と、低輝度領域用白抽出範囲とを基に白抽出を行うことを特徴とする請求項５に記載の撮像方法。
7. 前記分割ブロックは、注目画素と、非注目画素とを有し、
   前記ホワイトバランス演算工程は、
   前記分割ブロック毎の注目画素に、前記ホワイトバランス補正係数を取得する第１補正係数取得工程と、
   前記分割ブロック毎の非注目画素に、周辺の注目画素のホワイトバランス補正係数と、当該非注目画素から前記周辺の注目画素までの距離による補間で前記ホワイトバランス補正係数を取得する第２補正係数取得工程と、を有し、
   前記第１補正係数取得工程と前記第２補正係数取得工程とによって取得したホワイトバラン補正係数を画素毎に設定することを特徴とする請求項５または６に記載の撮像方法。
8. 前記注目画素は、前記分割ブロックの中央に位置する画素であることを特徴とする請求項７に記載の撮像方法。
9. 被写体に対応した光を電気信号に変換して撮像信号として出力する光電変換処理と、
   前記撮像信号に基づき前記被写体に対応した撮影画像を作成する画像作成処理と、
   をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
   前記撮影画像をｎの分割ブロック（但し、ｎは４以上の整数である。）に分割するブロック分割処理と、
   前記撮像信号から色情報を取得すると共に、該色情報からホワイトバランス制御を行うためのホワイトバランス評価値を前記ｎの分割ブロック夫々から取得するホワイトバランス評価値取得処理と、
   前記色情報に基づき前記ｎの分割ブロックを統合することで、前記撮影画像をｍの分割領域（但し、ｍは整数であり、ｎ＞ｍ≧２を満たす。）に分割する領域分割処理と、
   前記ｍの分割領域の夫々について、当該分割領域が有する分割ブロックから取得されたホワイトバランス評価値に基づいて、対応したホワイトバランス補正係数を算出する補正係数算出処理と、
   前記複数の分割領域夫々に、各分割領域に対応した前記ホワイトバランス補正係数を設定するホワイトバランス演算処理と、
   前記色情報に基づき、前記分割ブロックが緑領域であるか否かを判定する緑領域判定処理と、を備え、
   前記領域分割処理は、前記撮像信号の色情報と、輝度情報とに基づき、高輝度領域と低輝度領域とに分割し、前記高輝度領域および前記低輝度領域の夫々において、領域毎に白抽出範囲を変えて白抽出を行う白抽出処理を有し、
   前記補正係数算出処理は、前記白抽出処理によって得られた白抽出結果と、前記分割領域毎のホワイトバランス評価値とに基づいて分割領域毎のホワイトバランス補正係数を算出し、
   前記ホワイトバランス演算処理は、前記ｎの分割ブロックの中で、前記緑領域判定処理により緑領域であると判定された分割ブロックに対して、当該分割ブロックが含まれる分割領域に対応したホワイトバランス補正係数とは異なるホワイトバランス補正係数を設定すると共に、前記緑領域判定処理により緑領域と判定された分割ブロックに対して、当該分割ブロックが含まれる分割領域が前記高輝度領域である場合には、前記高輝度領域に対応したホワイトバランス補正係数を取得し、当該分割ブロックが含まれる分割領域が前記低輝度領域である場合には、前記高輝度領域に対応したホワイトバランス補正係数と、前記低輝度領域に対応したホワイトバランス補正係数とを加重平均したホワイトバランス補正係数を取得して、ホワイトバランス補正係数を設定することを特徴とするコンピュータ読み取り可能な記録媒体。
10. 前記白抽出処理は、
    前記高輝度領域において、当該高輝度領域のホワイトバランス評価値と、高輝度領域用白抽出範囲とを基に白抽出を行い、
    前記低輝度領域において、当該低輝度領域のホワイトバランス評価値と、低輝度領域用白抽出範囲とを基に白抽出を行うことを特徴とする請求項９に記載のコンピュータ読み取り可能な記録媒体。
11. 前記分割ブロックは、注目画素と、非注目画素とを有し、
    前記ホワイトバランス演算処理は、
    前記分割ブロック毎の注目画素に、前記ホワイトバランス補正係数を取得する第１補正係数取得処理と、
    前記分割ブロック毎の注目画素に、周辺の注目画素のホワイトバランス補正係数と、当該非注目画素から前記周辺の注目画素までの距離による補間で前記ホワイトバランス補正係数を取得する第２補正係数取得処理と、を有し、
    前記第１補正係数取得処理と前記第２補正係数取得処理とによって取得したホワイトバラン補正係数を画素毎に設定することを特徴とする請求項９または１０に記載のコンピュータ読み取り可能な記録媒体。
12. 前記注目画素は、前記分割ブロックの中央に位置する画素であることを特徴とする請求項１１に記載のコンピュータ読み取り可能な記録媒体。