JP4832899B2 - ゲイン算出装置 - Google Patents

Description

本発明は、少なくともストロボ撮像された画像に対する好適なホワイトバランスゲインを算出するゲイン算出装置に関する。

カメラの分野では、画像撮影時の光源種類等に応じて、撮像画像の色を補正するホワイトバランス技術が広く知られている。これは、撮影時の光源の色によって生じる、撮影者が撮影時に感じた印象と、出力画像から受ける印象とのズレを無くすための画像処理技術である。

かかるホワイトバランス処理に際して、撮影時にストロボ光が照射されたか否かを考慮する技術が知られている。例えば、特許文献１には、ストロボ発光の通知を受け場合には、ストロボ撮影用に予め設定されたストロボ標準値を用いてホワイトバランスゲインを算出することが記載されている。ただし、この技術では、ストロボ光の被写体への寄与度に関わらず、ストロボ標準値は常に一定であるため、ストロボ光が十分に到達していない場合や、逆に、ストロボ光が強く当たりすぎている場合には、適切なホワイトバランスゲインが算出できないという問題があった。

そこで、従来から、ストロボ撮影時には、そのストロボ光の寄与度や、環境光源とストロボ光の寄与度等を推定し、推定された寄与度等に応じて、ホワイトバランスゲインを調整する技術が知られている。例えば、特許文献２には、被写体距離に基づいてストロボ光が被写体に到達するか否かを判断し、到達できないと判定された場合には、ホワイトバランスのプリセット値を選択可能にする技術が開示されている。また、特許文献３には、撮影時の環境光に関する情報（環境光源種類など）および撮影時のフラッシュ光に関する情報等（フラッシュ発光の有無やフラッシュ反射光強度など）に基づいて、環境光とフラッシュ光の混在の程度が所定値より大きい領域を検出し、当該検出した領域が全領域に対して占める割合に基づいてホワイトバランス処理等の画像処理の内容を決定する技術が開示されている。これらの従来技術によれば、ストロボ撮像された場合であっても、そのストロボ光の混在度（寄与度）が考慮されているので、比較的好適なホワイトバランスゲインを得ることができる。

特開２０００−９２５０９号公報 特開平４−３２６８８８号公報 特開２００３−２４４４６７号公報

しかしながら、従来の技術は、いずれも、被写体距離や、フラッシュ光に関する情報など、撮像画像以外から抽出された情報に基づいて、ストロボ光の寄与度等が推定されている。そのため、従来技術では、ストロボ光の寄与度の推定精度が高いとは言い難かった。そして、このストロボ光の寄与度の推定精度が低いことに起因して、ストロボ撮影時に好適なホワイトバランス処理を行うことが困難であった。

そこで、本発明では、ストロボ撮影時に、好適なホワイトバランスゲインが算出でき得るゲイン算出装置を提供することを目的とする。

本発明のゲイン算出装置は、少なくともストロボ撮像された画像に対するホワイトバランスゲインを算出するゲイン算出装置であって、ストロボ撮像された画像を複数のブロックに分割するブロック分割手段と、分割されたブロックのうちストロボ光の影響が大きいと推定されるブロックを高影響ブロックとして特定する特定手段と、高影響ブロックの位置、および、他のブロックとの輝度差、のうちの少なくとも一つに基づいてストロボ光の寄与度を第一寄与度として推定する第一推定手段と、各ブロックごとに光源種類を特定し、当該特定結果に基づいて各光源ごとに重み係数を算出する手段と、ストロボ光の重み係数を前記第一寄与度に基づいて補正する手段と、各光源ごとの重み係数に基づいて画像全体に適用するホワイトバランスゲインを算出するゲイン算出手段と、を備えることを特徴とする。

好適な態様では、分割手段は、ストロボ撮像された画像を複数のブロックに分割するとともに、分割された各ブロックの輝度値の代表値を代表輝度値として算出し、特定手段は、分割されたブロックのうち、代表輝度値が大きいブロックを高影響ブロックとして特定する。

他の好適な態様では、分割手段は、ストロボ撮像された画像を複数のブロックに分割するとともに、分割された各ブロックの色値の代表値を代表色値として算出し、特定手段は、分割されたブロックのうち、代表色値がストロボ光の色に近いブロックを高影響ブロックとして特定する。この場合において、分割手段は、さらに、分割された各ブロックの輝度値の代表値を代表輝度値として算出し、特定手段は、代表色値がストロボ光の色に近いブロックのうち、代表輝度値が大きいブロックを高影響ブロックとして特定することが望ましい。

他の好適な態様では、第一推定手段は、少なくとも、高影響ブロックの代表輝度値と、他のブロックのうち代表輝度値が高い最高輝度ブロックの代表輝度値と、の差に基づいてストロボ光の寄与度を推定する。

他の好適な態様では、第一推定手段は、少なくとも、高影響ブロックの位置に基づいてストロボ光の寄与度を推定することを特徴とする。この場合、第一推定手段は、高影響ブロックが、主要被写体が存在すると推定される部分から離れるほどストロボ光の寄与度を低く算出することが望ましい。さらに、主要被写体が存在すると推定される部分は、画像の中心付近、または、ユーザから指定されたＡＦ検出ポイントのいずれか一方とすれば、なお、望ましい。主要被写体が存在すると推定される部分の大きさは、ズーム倍率および被写体距離の少なくとも一方に基づいて変更されることが望ましい。

他の好適な態様では、第一推定手段は、少なくとも、高影響ブロックの代表輝度値と、ストロボ光が比較的当たっていないと推定される複数のブロックの平均輝度値と、の差に基づいてストロボ光の寄与度を推定する。この場合において、ストロボ光が比較的当たっていないと推定される複数のブロックは、画像の中心の周辺に位置するブロック、ユーザから指定されたＡＦ検出ポイントの周辺に位置するブロック、高影響ブロックの周辺に位置するブロックの、いずれか一つであることが望ましい。

他の好適な態様では、さらに、被写体距離に基づいて、ストロボ光の寄与度を第二寄与度として推定する第二推定手段を有し、ゲイン算出手段は、少なくとも、第一寄与度と第二寄与度に基づいてホワイトバランスゲインを算出する。別の好適な態様としては、さらに、ストロボ光照射前後での環境輝度の差に基づいて、ストロボ光の寄与度を第三寄与度として推定する第三推定手段を有し、ゲイン算出手段は、少なくとも、第一寄与度と第三寄与度に基づいてホワイトバランスゲインを算出することを特徴とするゲイン算出装置。

他の本発明であるゲイン算出装置は、少なくともストロボ撮像された画像に対するホワイトバランスゲインを算出するゲイン算出装置であって、ストロボ照射前の環境輝度を照射前輝度として取得する第一輝度取得手段と、ストロボ照射時の環境輝度を照射時輝度として取得する第二輝度取得手段と、照射前輝度と照射時輝度との差に基づいて、ストロボ光の寄与度を第三寄与度として推定する推定手段と、少なくとも、第三寄与度に基づいてホワイトバランスゲインを算出する算出手段と、を備えることを特徴とする。この場合、第一輝度取得手段は、ストロボ照射前に取得されたプレビュー画像の平均輝度値を照射前輝度として取得することが望ましい。

本発明によれば、実際に撮像された画像に基づいて、ストロボ光の寄与度を推定しているため、より信頼性の高いストロボ光の寄与度が得られる。その結果、より好適なホワイトバランスゲインを得ることができる。

以下、本発明の実施形態について図面を参照して説明する。図１は、本発明の実施形態であるデジタルカメラ１０の構成を示すブロック図である。絞り部材１２およびレンズ１４を介して入力された被写界光は、撮像デバイスであるＣＣＤ１６で焦点を結ぶ。絞り部材１２の絞り量およびレンズ１４の移動量は、ＣＰＵ４８により制御される。ＣＣＤ１６は、入力された被写界光を電気信号に変換し、撮像データとして出力する。このＣＣＤ１６による光電変換のタイミングは、タイミングジェネレータ（ＴＧ）３６を介してＣＰＵ４８により制御される。通常、ＣＣＤ１６は、ＬＣＤ３４に表示されるプレビュー画像取得のために一定間隔で常時、電荷の蓄積および電荷の掃き出しを行う。また、ユーザから撮像指示があった場合には、プレビュー画像取得のため光電変換を一時中断し、本画像撮像に必要な露光時間をかけて電荷を蓄積した上で、電荷の掃き出しを行う。

ＣＣＤ１６から出力された電気信号は、二重相関サンプリング回路（ＣＤＳ）１８による所定のアナログ信号処理、増幅回路（ＡＭＰ）２０による増幅処理が施された後、Ａ／Ｄ変換器（Ａ／Ｄ）２２によりデジタルデータに変換される。デジタルデータは、画像データとして画像メモリ２４に一時記憶される。

画像メモリ２４に一時記憶された画像データは、画像処理部２５およびＷＢ（ホワイトバランス）ゲイン取得部５１に出力される。画像処理部２５において画像データは、ＲＧＢ分離部２６によりＲ成分、Ｇ成分、Ｂ成分の三つの色成分に分離される。分離されたデータは、ＷＢ処理部２８、γ補正部３０、色補正部３２に順次送られ、所定の画像処理が施される。このうち、ＷＢ処理部２８では、後述するＷＢゲイン取得部５１で算出された三種類のＷＢゲイン、すなわち、Ｒゲイン、Ｇゲイン、Ｂゲインを、対応する色成分データに乗算することによりＷＢ処理を行う。

画像処理が施された画像データは、ＬＣＤ３４および画像メモリ４０に出力される。ＬＣＤ３４は、画像処理が施された画像データを電気的に表示する。ここでＬＣＤ３４に表示される画像データはプレビュー画像と、後述する記録媒体４４に記録された撮像画像と、がある。プレビュー画像を表示している場合、ＬＣＤ３４は、撮像可能な被写界像を表示する電子ファインダとして機能する。また、記録媒体４４に記録された撮像画像を表示している場合、ＬＣＤ３４は、撮像済みの画像を再生表示する再生モニタとして機能する。

画像メモリ４０に一時記憶された画像データは、圧縮伸張回路４２により圧縮処理された後、記録媒体４４に記録される。この記録媒体４４に記録された画像データは、ユーザからの指示に応じて、圧縮伸張回路４２により伸張処理された後、ＬＣＤ３４に表示される。ユーザは、このＬＣＤ３４の表示を見ることにより、撮像画像の内容を確認することができる。

ストロボ装置４６は、被写界の光量不足を補うために被写界に向かってストロボ光を照射する装置である。このストロボ装置４６の照射タイミングや照射量は、ＡＥ／ＡＦ／ストロボ制御部５０により制御されている。

ＡＥ／ＡＦ／ストロボ制御部５０は、図示しないＡＥセンサや、側距センサの検出値およびユーザから指定されたズーム量等に基づいて、環境輝度や被写体距離を算出し、露光量、レンズ１４の駆動量、ストロボ照射のタイミングや照射量等を算出する。そして、得られた露光量等に基づいてＴＧ３６のタイミング制御を、レンズ駆動量に応じてレンズ１４の駆動を、ストロボ照射のタイミングや照射量に基づいてストロボ装置４６を、それぞれ制御する。

ＷＢゲイン取得部５１は、既述のＷＢゲイン処理で用いられるＷＢゲインを算出する。このＷＢゲイン取得部５１は、寄与度算出部５２と、ゲイン算出部５６と、に大別される。ゲイン算出部５６は、撮像された画像データ、および、メモリに記憶されている基準ゲインテーブルに基づいて、ＷＢゲインを算出する。ストロボ撮像された場合には、さらに、寄与度算出部５２で算出されたストロボ光の寄与度も加味してＷＢゲインを算出する。寄与度算出部５２は、ストロボ撮像された場合に、ストロボ光の被写界への寄与度を推定する。このＷＢゲインの算出、および、寄与度算出の流れは後に詳説する。

メモリ５４には、デジタルカメラ１０の制御に必要な各主プログラムやデータなどが記憶されている。また、ＷＢゲイン算出の際に、必要となる光源種類ごとの基準ゲイン値のテーブルであるゲインテーブルも設定されている。既述のＷＢゲイン算出部５６は、このメモリ５４に記憶されている基準ゲインテーブルを参照したうで、ＷＢゲインを算出する。この基準ゲインテーブルについても後に詳説する。

次に、このデジタルカメラ１０でのＷＢゲインの算出の流れについて説明する。図２は、ＷＢゲイン算出の流れを示すフローチャートである。ＷＢゲインを算出する場合は、まず、画像撮像時に、ストロボ照射がなされたか否かを判断する（Ｓ１０）。このストロボ照射の有無は、ＡＥ／ＡＦ／ストロボ制御部５０からの制御信号に基づいて判断できる。ストロボ照射がなされていない場合は、通常のＷＢゲイン算出処理でＷＢを算出する（Ｓ１２）。このＷＢゲイン算出の流れは、周知の各種技術を利用できるため、ここでは、簡単に説明する。

ストロボ照射されていない画像に対するＷＢゲインを算出する場合は、まず、撮像画像を複数のブロックに分割するとともに、各ブロックの色値および輝度値の代表値をそれぞれ代表色値および代表輝度値として算出する。そして、得られた各ブロックの代表色値に基づいて、各ブロックの光源種類を特定する。また、輝度値等に基づいて各ブロックの信頼度も算出する。光源種類および信頼度が算出できれば、光源種類ごとに各ブロックの信頼度を加算し、その加算値を光源種類の重み係数とする。例えば、各ブロックの光源判定結果が図３のようになったとする。図３において、Ｄｙは昼光と判定されたブロックを、Ｆｌは蛍光灯光と判定されたブロックを、Ｔｎはタングステン光と判定されたブロックとする。また、ここでは、簡単のため、全てのブロックの信頼度を１とする。この場合、昼光の重み係数は、昼光ブロックの数となるため、４となる。同様に、蛍光灯光の重み係数は３、タングステン光の重み係数は３となる。

重み係数が算出できれば、基準ゲインテーブルに設定された光源種類ごとの基準ゲイン値と、重み係数の加重平均値を取る。ここで、基準ゲインテーブルは、図４に図示するように、各光源種類ごとに好適な基準ゲイン値を設定したテーブルである。図４において、Ｇｓはストロボ光の基準ゲイン値を、Ｇｄは昼光の基準ゲイン値を、Ｇｔはタングステン光の基準ゲイン値を、Ｇｆは蛍光灯光の基準ゲイン値をそれぞれ示している。この図４では、各光源種類ごとの基準ゲイン値は、Ｔスペースと呼ばれるカラースペース上の座標値として表現されている。ＲＧＢ値で表現された色をＴスペース上の座標値に変換する場合は、次式を用いる。

ここで、Ｔｌはブロックの輝度を表し、Ｔｇ，Ｔｉはブロックの色差を表す。Ｔスペースにおいては、このＴｇが縦軸、Ｔｉを横軸として色を表現している。なお、ここで用いた線形変換の行列はあくまで一例であり、別の行列を用いてももちろんよい。

ＷＢゲインを算出する場合は、かかるＴスペース上の座標値として表現された各光源種類の基準ゲイン値と、撮像画像に基づいて算出された各光源種類の重み係数との加重平均値を求める。この加重平均値は、Ｔスペース上の座標値を示すことになる。そして、Ｔスペース上の座標値である加重平均値を、ＲＧＢ値に変換したものが、ＷＢゲイン値となる。図３の例では、加重平均値は、（４・Ｇｄ＋３・Ｇｔ＋３・Ｇｆ）／７で求まる。この式で算出されるＴスペース上の座標値を、ＲＧＢ値に変換した値がＷＢゲインとなる。

このように、ストロボ照射されていない場合、ＷＢゲインは、撮像画像および基準ゲインテーブルに基づいて算出される。一方、ストロボ照射されている場合には、ストロボ光の寄与度を推定する（Ｓ１４、Ｓ１６，Ｓ１８）。寄与度は、０〜１の範囲を持っており、ストロボ光の寄与度が大きいほど１に近い値になる。この寄与度算出の流れについて順次説明する。ストロボ撮影された場合には、まず、撮像画像に含まれる情報に基づいて第一寄与度ＢＳＣを算出する（Ｓ１４）。

図５は、第一寄与度ＢＳＣの算出の流れを示すフローチャートである。第一寄与度ＢＳＣは、撮像画像の中に、ストロボ光が強く照射されている部分である強照射部分があるか否かでストロボ光の寄与度を推定している。具体的には、まず、撮像画像を複数のブロックに分割するとともに、各ブロックの輝度値および色値の代表値をそれぞれ代表輝度値および代表色値として算出する（Ｓ２３）。

続いて、最高輝度ブロックおよびストロボ色ブロックを特定する（Ｓ２４）。ここで、最高輝度ブロックとは、複数のブロックのうち、代表輝度値が最も高いブロックを指す。したがって、各ブロックの代表輝度値を比較していくことで、最高輝度ブロックが特定できる。一方、ストロボ色ブロックとは、ストロボ光の影響が最も大きいと推定される高影響ブロックに相当するブロックであり、代表色値がストロボ光の色に類似した１以上のブロックのなかで、代表輝度値が最も高いブロックを指す。したがって、ストロボ色ブロックを特定する場合には、まず、複数のブロックのうち、ストロボ光の色に類似した代表色値を持つブロックを特定する。ここで、ストロボ光の色は既知であるため、この既知の色との差が所定の許容範囲となる代表色値をもつブロックを特定すればよい。そして、特定されたブロックのうち、代表輝度値が最も高いブロックがストロボ色ブロックとなる。このストロボ色ブロックは、撮像画像のうち、ストロボ光が強く当たっている部分、すなわち、強照射部分と推定できる。但し、この時点では、輝度値と色値のみでストロボ色ブロックを特定しているため、当該ストロボ色ブロック（高影響ブロック）が本当に強照射部分か否かは、明確に判断できない。そこで、以下では、当該ストロボ色ブロックの位置や他のブロックとの輝度差等に基づいて、寄与度を算出している。

なお、代表輝度値が最も高いブロック、および、代表色値がストロボ光の色に近いブロックのうち代表輝度値が最も高いブロックは、単一ではなく、複数となる場合がある。この場合は、複数のブロックのうち、画像の中心に近いブロックを最高輝度ブロックおよびストロボ色ブロックとして特定することが望ましい。

ストロボ色ブロックおよび最高輝度ブロックが特定できれば、次に、ストロボ色ブロックの位置に基づいて、仮寄与度ＳＢＷを算出する。仮寄与度ＳＢＷは、第一寄与度ＢＳＣ算出の基準となる値であり、一時的に算出される仮の寄与度である。

一般に、主要被写体は、撮像画像の中心付近に存在する場合が多く、ストロボ照射された場合、ストロボ光は、主要被写体が存在する撮像画像の中心付近に一番強く当たることが予想される。換言すれば、ストロボ色ブロックが、本当に強照射部分であるのであれば、ストロボ色ブロックが撮像画像の中心付近に位置すべきといえる。逆に、ストロボ色ブロックが画像の端部付近に存在している場合には、当該ストロボ色ブロックが強照射部分である可能性は低く、ひいては、ストロボ光が被写界に与える影響度は低いといえる。

そこで、本実施形態では、実際に特定されたストロボ色ブロックが画像中心から離れるほど、ストロボ光が被写体に到達している可能性は低いと考え、仮寄与度ＳＢＷを小さくしている。この仮寄与度ＳＢＷの算出には、図６に図示するようなテーブルを利用することができる。図６は、位置に応じた仮寄与度ＳＢＷのテーブルの一例である。図６は、最も色の濃いブロックの仮寄与度ＳＢＷを１とし、次いで色の濃いブロックの仮寄与度ＳＢＷを０．８とし、最も色の薄いブロックの仮寄与度ＳＢＷを０．５と設定したテーブルの例である。このようなテーブルを予め用意しておき、実際に特定されたストロボ色ブロックの位置と用意されたテーブルの値とを比較することにより、仮寄与度ＳＢＷを算出することができる。例えば、実際に特定されたストロボ色ブロックの位置が図６におけるＢ１であったとする。この場合、仮寄与度ＳＢＷは、０．８となる。

なお、この位置に応じた仮寄与度ＳＢＷのテーブルは、被写体距離やズーム倍率により適宜変更されてもよい。すなわち、ストロボ光を反射する主要被写体の占める範囲は、被写体距離やズーム倍率によって適宜変更される。この主要被写体の占める範囲の変化に応じて、仮寄与度のテーブルを変更すれば、より信頼性の高い第一寄与度ＢＳＣが得られると考えられる。また、一部のカメラでは、ＡＦ検出ポイント、すなわち、ピントを合わせる位置を指定できるカメラがある。かかるカメラでは、ユーザから指定されたＡＦ検出ポイントから離れるほど、仮寄与度ＳＢＷが小さくなるようなテーブルを設定してもよい。

仮寄与度ＳＢＷが得られれば、続いて、最高輝度ブロックの代表輝度値ＭＢＬとストロボ色ブロックの代表輝度値ＳＢＬとを比較し、その輝度差を求める（Ｓ３４）。ストロボ光が強く当たっている部分、すなわち、強照射部分の輝度は、撮像画像のうち最も高くなる可能性が高い。換言すれば、ストロボ色ブロックの代表輝度値ＳＢＬが、撮像画像の中で最も高ければ、当該ストロボ色ブロックが強照射部分である可能性は高いといえる。そして、ひいては、ストロボ光の寄与度が高いと推定できる。

そこで、本実施形態では、最高輝度ブロックの代表輝度値ＭＢＬとストロボ色ブロックの代表輝度値ＳＢＬとを比較している。両ブロックの代表輝度値の差が０、換言すれば両ブロックの代表輝度値に差がない場合、ストロボ色ブロックは、撮像画像の中で最も高輝度のブロックといえる。この場合は、ストロボ色ブロックが強照射部分である可能性が高く、ストロボ光の寄与度も高いと予想できる。そこで、ＭＢＬ＝ＳＢＬの場合には、先に算出した仮寄与度ＳＢＷを第一寄与度ＢＳＣとして設定する（Ｓ３６）。

一方、最高輝度ブロックの代表輝度値ＭＢＬに比して、ストロボ色ブロックの代表輝度値ＳＢＬが小さい場合には、ストロボ色ブロックが強照射ブロックである可能性は低いと考えられる。ただし、たまたま被写界に強輝度の点光源が存在し、この点光源部分を最高輝度ブロックとして特定していた場合には、ストロボ色ブロックが強照射ブロックである可能性は低いとは言い切れない。被写界にストロボ光は十分に到達していたにも関わらず、当該ストロボ光よりも強輝度の点光源が最高輝度ブロックとして特定された可能性も十分ある。

そこで、最高輝度ブロックの代表輝度値ＭＢＬに比して、ストロボ色ブロックの代表輝度値ＳＢＬが小さい場合（ＭＢＬ＞ＳＢＬ）には、ストロボ色ブロックが強照射部分であるか否かを更に判断していく。具体的には、ステップＳ３８に進み、両代表輝度値の差が、所定の許容範囲Ｘ以内か否かを判断する。両代表輝度値の差が比較的大きく、所定の許容範囲外である場合（ＭＢＬ−ＳＢＬ＞Ｘ）には、ストロボ色ブロックが強照射ブロックである可能性は低いといえる。この場合は、ストロボ光の寄与度は低いことが予想されるため、先に算出した仮寄与度ＳＢＷを大幅に小さくした値、例えば、仮寄与度ＳＢＷの１／５の値を第一寄与度ＢＳＣとして算出する（Ｓ４８）。

一方、最高輝度ブロックの代表輝度値ＭＢＬとストロボ色ブロックの代表輝度値ＳＢＬとの差が比較的小さく、所定の許容範囲内である場合（ＭＢＬ−ＳＢＬ≦Ｘ）には、周辺ブロックの平均輝度値ＡＬを算出する（Ｓ４０）。ここで、周辺ブロックとは、ストロボ光が比較的当たっていない複数のブロックである。既述したように、ストロボ光は、主要被写体に強く当たることが予想されており、主要被写体は、撮像画像の中心付近に存在することが予想される。したがって、ストロボ光が比較的当たっていないブロックは、撮像画像の中心から若干離れた位置、例えば、図７においてハッチングを施した位置などに存在することが予想される。そこで、本実施形態では、予め、かかる周辺ブロックの位置を予想しておき、この予想されたブロックの代表輝度値の平均値を、周辺ブロックの平均輝度値ＡＬとして算出している。ここで、周辺ブロックとして、複数のブロックを特定し、その平均輝度値ＡＬを算出するのは、点光源の影響を低減するためである。すなわち、周辺ブロックとして単一のブロックのみを特定するようにすると、たまたま存在した点光源部分が単一の周辺ブロックとして特定される場合がある。この場合、主要被写体の周辺が強輝度であると誤認される。しかし、複数のブロックを特定し、その平均輝度値を算出することにより、このような点光源の影響を低減できる。

算出された周辺ブロックの平均輝度値ＡＬよりも、ストロボ色ブロックの代表輝度値ＳＢＬが大きければ、ストロボ色ブロックが強照射ブロックである可能性は十分あるといえる。そこで、この場合には、先に算出された仮寄与度ＳＢＷの４／５の値を第一寄与度ＢＳＣとして算出する（Ｓ４４）。

一方、周辺ブロックの平均輝度値ＡＬよりも、ストロボ色ブロックの代表輝度値ＳＢＬが小さい場合には、ストロボ色ブロックが強照射ブロックである可能性は低いといえる。そこで、この場合には、先に算出された仮寄与度ＳＢＷの２／５の値を第一寄与度ＢＳＣとして算出する（Ｓ４６）。

なお、周辺ブロックの位置や大きさは、適宜変更されてもよい。すなわち、既述したように、主要被写体の占める範囲は、被写体距離やズーム倍率等によって変化する。その結果、比較的ストロボ光が当たらない周辺ブロックの位置や大きさも変化することが予想される。そこで、この周辺ブロックの位置や大きさについても、被写体距離やズーム倍率等によって適宜変更されてもよい。また、ユーザがＡＦポイントを指定した場合には、当該指定ポイントに応じて周辺ブロックの位置を変えてもよい。更に、本実施形態では、主要被写体が画像中心付近に存在しているとの前提で、周辺ブロックの位置を決めているが、主要被写体がストロボ色ブロック周辺に存在しているとの前提で周辺ブロックの位置を決めてもよい。すなわち、ストロボ色ブロックから若干離れた位置にあるブロックを周辺ブロックとしてもよい。

ところで、以上の流れは、いずれも、ストロボ色ブロック、すなわち、ストロボ光の色に類似したブロックが存在する場合の流れである。しかし、撮像画像の中に、ストロボ光の色に類似したブロックが一つも存在しない場合もあり得る。その場合は、最高輝度ブロックを、ストロボ光が強く当たっている部分と仮定し、第一寄与度ＢＳＣを算出する。すなわち、ステップＳ２４において、ストロボ色ブロックを特定しようとしても、そのようなブロックが存在しない場合には、ステップＳ２８に進む。ステップＳ２８では、最高輝度ブロックの位置に基づいて仮寄与度ＳＢＷを算出する。この仮寄与度ＳＢＷは、ステップＳ３２と同様、予め、図６に図示するような位置に応じて仮寄与度ＳＢＷを設定したテーブルに基づいて行われる。図６に図示するテーブルと、特定された最高輝度ブロックの位置とを比較し、仮寄与度ＳＢＷを算出する。

最高輝度ブロックの位置に基づいて仮寄与度ＳＢＷが算出されれば、この仮寄与度ＳＢＷの１／２の値を第一寄与度ＢＳＣとして算出する（Ｓ３０）。ここで、仮寄与度ＳＢＷを１／２とするのは、最高輝度ブロックが強照射部分である可能性が低いためである。すなわち、ストロボ光が強く当たっている部分である強照射部分は、本来であれば、高輝度であるばかりでなく、ストロボ光の色に類似した色になるはずである。一方、最高輝度ブロックは、高輝度ではあるものの、ストロボ光の色には類似していないブロックである。かかる最高輝度ブロックが、強輝度部分である可能性は低いといえる。そのため、ストロボ色ブロックが存在しない場合には、最高輝度ブロックの位置に基づいて求めた仮寄与度ＳＢＷを１／２にした値を第一寄与度ＢＳＣとして算出している。

以上が、第一寄与度ＢＳＣの算出の流れである。以上の説明で明らかなように、本実施形態では、実際に撮像された画像の内容に基づいて、ストロボ光の寄与度を推定している。したがって、従来の各種撮影条件、例えば、ストロボ装置の発光輝度や被写体距離などにのみ基づいて寄与度を推定する技術に比べて、信頼性の高い寄与度を推定でき、より好適なＷＢゲインを得ることができる。

なお、以上の説明で出てきた各種具体的な数値、例えば、ステップＳ４４における４／５や、ステップＳ４６における２／５といった値は、いずれも、一例であり、適宜、変更可能である。

また、本実施形態では、ストロボ色ブロックの代表輝度値ＳＢＬと、高輝度ブロックの代表輝度値ＭＢＬおよび周辺ブロックの平均輝度値ＡＬを比較しているが、画像中におけるストロボ光色部分にストロボ光が影響しているか否かを判断できるのであれば、当然、他の値を比較するようにしてもよい。例えば、ストロボ色ブロックの代表輝度値ＳＢＬに代えて、代表輝度値がストロボ色に近い全てのブロックの、代表輝度値の平均や標準偏差値を用いてもよい。また、高輝度ブロックの代表輝度値ＭＢＬに代えて、代表輝度値が所定の閾値以上となる全てのブロック、あるいは、代表輝度値が高い上位数パーセントのブロック、の代表輝度値の平均値や標準偏差値を用いてもよい。さらに、周辺ブロックの平均輝度値ＡＬに代えて、周辺ブロックの代表輝度値の標準偏差値を用いてもよい。

また、本実施形態では、代表色値がストロボ光に類似しているブロックのうち最も高輝度のブロック（ストロボ色ブロック）をストロボ光の影響が大きいブロック、すなわち、高影響ブロックとしている。しかし、より単純に、代表輝度値が最も高いブロックや、代表色値がストロボ光の色に類似しているブロックを高影響ブロックとしてもよい。すなわち、分割された複数のブロックのうち、代表輝度値が最も高いブロックを高影響ブロックとして特定し、当該高影響ブロックの位置や、周辺ブロックとの輝度差に基づいて第一寄与度を推定するようにしてもよい。あるいは、分割された複数のブロックのうち、代表色値がストロボ光の色に類似しているブロックを高影響ブロックとして特定し、当該高影響ブロックの位置や、周辺ブロックとの輝度差、高輝度ブロックとの輝度差等に基づいて第一寄与度を推定するようにしてもよい。この場合において、代表色値がストロボ光の色に類似しているブロックが無ければ、ストロボ光は、殆ど被写体に到達していないと推定し、第一寄与度ＢＳＣは低い値（例えば０．１など）にすればよい。また、代表輝度値が最も高いブロックや、代表色値がストロボ光の色に類似しているブロックが複数存在する場合は、これら複数のブロックのうち画像の中心に最も近いブロックを高影響ブロックとして特定することが望ましい。

次に、図２に戻り、ＷＢゲイン算出の流れの続きを説明する。第一寄与度ＢＳＣが算出できれば、続いて、被写体距離に基づいて第二寄与度ＤＷを算出する（Ｓ１６）。第二寄与度ＤＷは、被写体距離に基づいて推定されたストロボ光の寄与度である。一般に、被写体距離が遠くなるほどストロボ光の寄与度は、小さくなることが予想される。そこで、図８に図示するように、予め、被写体距離が大きくなるほど第二寄与度ＤＷが小さくなるような、被写体距離と第二寄与度ＤＷとの関数を設定しておく。そして、画像撮像の際に、側距センサで検出された被写体距離を、この図８に図示する関数に当てはめて第二寄与度ＤＷを求める。

第二寄与度ＤＷが求まれば、続いて、第三寄与度ＬＷを推定する（Ｓ１８）。第三寄与度ＬＷは、ストロボ光の照射前後での環境輝度変化量に基づいて推定されたストロボ光の寄与度である。一般に、ストロボ光の照射前後で、環境輝度が大きく変化した場合には、ストロボ光の寄与度は高いと考えられる。逆に、環境輝度に大きな変化がない場合には、ストロボ光は殆ど到達しない、あるいは、被写界に影響を与えないことが予想される。そこで、本実施形態では、ストロボ照射前、および、ストロボ照射時それぞれの撮像画像の平均輝度値を算出し、その輝度差に基づいて第三寄与度ＬＷを算出している。ここで、ストロボ照射前の撮影画像としては、プレビュー画像を用いることができる。プレビュー画像は、一定間隔で随時取得されるため、このプレビュー画像のうち、ストロボ撮像の前に取得されたプレビュー画像、すなわち、レリーズスイッチの全押し動作がなされる前に取得されたプレビュー画像を用いれば、ストロボ照射前の撮像画像を得ることができる。

ストロボ照射前のプレビュー画像、および、ストロボ照射時の撮像画像の両方が得られれば、各画像の平均輝度値を算出し、その輝度差を算出する。輝度差が大きいほど、ストロボ光の寄与度は大きいと考えられるので、輝度差が大きいほど第三寄与度ＬＷは大きくなるように算出する。具体的には、図９に図示するように、予め、輝度差が大きいほど第三寄与度ＬＷが大きくなるような関数を設定しておく。そして、プレビュー画像とストロボ撮像画像との平均輝度値の差を、この図９に図示した関数に当てはめ、第三寄与度ＬＷを算出する。

この第三寄与度ＬＷも、第一寄与度ＢＳＣと同様、実際に、撮像された画像に基づいて算出される寄与度である。したがって、従来の撮影条件、例えば、ストロボ装置の発光輝度や被写体距離等のみから求まる寄与度に比べて、より信頼性が高いといえる。なお、本実施形態では、ストロボ照射前の環境輝度として、プレビュー画像の平均輝度値を用いている。しかし、ストロボ照射前の環境輝度が推定できるのであれば、他の値を用いてもよい。例えば、ストロボ発光を行うか否かの輝度値、すなわち、ストロボ発行条件輝度値などをストロボ照射前の環境輝度値として用いてもよい。

第一、第二、第三寄与度の全てが求まれば、これら三つの寄与度に基づいて、最終的な寄与度ＦＳＣを算出する（Ｓ２０）。具体的には、最終寄与度ＦＳＣは、第一寄与度ＢＳＣと第二寄与度ＤＷとの積、および、第一寄与度ＢＳＣと第三寄与度ＬＷとの積を加算した上で、これを２で割った値となる。式で表すと、最終寄与度ＦＳＣは次式のようになる。

ＦＳＣ＝｛（ＢＳＣ×ＤＷ）＋（ＢＳＣ×ＬＷ）｝／２

このように、最終寄与度ＦＳＣを、三つの寄与度の積和の平均値とすることで、より信頼性の高い寄与度を得ることができる。すなわち、三種類の寄与度のうち、いずれか一つの誤差成分が大きかったとしても、その他の二種類の寄与度によってその誤差成分が低減される。その結果、より信頼性の高い寄与度を得ることができる。なお、上記の最終寄与度の算出式は一例であり、適宜、変更されてもよい。例えば、第一、第二、第三寄与度の全てを加算したうえで、３で割る（ＦＳＣ＝｛（ＢＳＣ＋ＤＷ＋ＬＷ）／３｝）ようにしてもよい。

最終寄与度ＦＳＣが算出できれば、当該最終寄与度ＦＳＣを加味してＷＢゲインを算出する。具体的には、まず、撮像画像を複数のブロックに分割するとともに、各ブロックの光源種類を特定する。また、各ブロックの輝度値等に基づいて、各ブロックの信頼度を算出する。そして、各光源種類ごとに、信頼度の加算値を算出する。この光源種類ごと加重値を、光源種類ごとの重み係数とする。例えば、各ブロックの光源判定結果が図１０のようになったとする。また、このときの各ブロックの信頼度は簡単のため、全て１とする。この場合、各光源種類の重み係数は、各光源種類ごとのブロック数となる。すなわち、図１０の例では、昼光（Ｄｙ）の重み係数は４、タングステン光（Ｔｎ）の重み係数は３、蛍光灯光（Ｆｌ）の重み係数は３、ストロボ光（Ｓｔ）の重み係数は４となる。

ストロボ撮像された場合、ここで算出された重み係数のうち、ストロボ光の重み係数に、既述の最終寄与度ＦＳＣを乗算する。すなわち、ストロボ光の寄与度に応じて、ストロボ光の重み係数を適宜、補正する。例えば、最終寄与度ＦＳＣが０．８であった場合、ストロボ光の重み係数は４・０．８＝３．２に補正される。

ストロボ光の重み係数の補正ができれば、各光源種類ごとの重み係数と、図４に図示する基準ゲイン値との加重平均値を算出する。そして、得られた加重平均値、すなわち、Ｔスペース上の座標値を、ＲＧＢ値に変換することで、ＷＢゲインが得られる。ここで算出されるＷＢゲイン値は、ストロボ光の寄与度に応じて、ストロボ光の補正成分（ストロボ用基準ゲイン値Ｇｓ）が適宜、調整されている。その結果、ストロボ光の寄与度に応じた、好適なＷＢゲインが得られる。

以上、説明したように、本実施形態によれば、実際に撮像された画像に基づいて、ストロボ光の寄与度を判定し、その寄与度に応じたＷＢゲインを算出している。その結果、より好適なＷＢゲインを得ることができる。なお、本実施形態では、第一、第二、第三寄与度全てを算出しているが、第一寄与度のみ、あるいは、第三寄与度のみでＷＢゲインを補正するようにしてもよい。また、得られた最終寄与度ＦＳＣをストロボ光の重み係数に加算することで、ＷＢゲインの補正を行っているが、当然、他の補正方法を用いてもよい。例えば、ストロボ用基準ゲイン値Ｇｓの値を、最終寄与度ＦＳＣに応じて変化させてもよい。

本発明の実施形態であるデジタルカメラの構成を示すブロック図である。 ＷＢゲイン算出の流れを示すフローチャートである。 光源判定結果の一例を示す図である。 基準ゲインテーブルの一例を示す図である。 第一寄与度算出の流れを示すフローチャートである。 位置に応じた仮寄与度のテーブルの一例を示すフローチャートである。 周辺ブロックの一例を示すフローチャートである。 被写体距離と第二寄与度との関数の一例を示す図である。 ストロボ光の照射前後での環境輝度差と第三寄与度との関数の一例を示す図である。 光源判定結果の一例を示す図である。

符号の説明

１０ デジタルカメラ、１４ レンズ、１６ ＣＣＤ、２４ 画像メモリ、２５ 画像処理部、４６ ストロボ装置、５１ ＷＢゲイン取得部、５２ 寄与度算出部、５４ メモリ、５６ ゲイン算出部。

Claims (4)

1. 少なくともストロボ撮像された画像に対するホワイトバランスゲインを算出するゲイン算出装置であって、
   ストロボ撮像された画像を複数のブロックに分割するブロック分割手段と、
   分割されたブロックのうちストロボ光の影響が大きいと推定されるブロックを高影響ブロックとして特定する特定手段と、
   高影響ブロックの位置、および、他のブロックとの輝度差、のうちの少なくとも一つに基づいてストロボ光の寄与度を第一寄与度として推定する第一推定手段と、
   各ブロックごとに光源種類を特定し、当該特定結果に基づいて各光源ごとに重み係数を算出する手段と、
   ストロボ光の重み係数を前記第一寄与度に基づいて補正する手段と、
   各光源ごとの重み係数に基づいて画像全体に適用するホワイトバランスゲインを算出するゲイン算出手段と、
   を備えることを特徴とするゲイン算出装置。
2. 請求項１に記載のゲイン算出装置であって、
   分割手段は、ストロボ撮像された画像を複数のブロックに分割するとともに、分割された各ブロックの輝度値の代表値を代表輝度値として算出し、
   特定手段は、分割されたブロックのうち、代表輝度値が大きいブロックを高影響ブロックとして特定することを特徴とするゲイン算出装置。
3. 請求項１に記載のゲイン算出装置であって、
   分割手段は、ストロボ撮像された画像を複数のブロックに分割するとともに、分割された各ブロックの色値の代表値を代表色値として算出し、
   特定手段は、分割されたブロックのうち、代表色値がストロボ光の色に近いブロックを高影響ブロックとして特定することを特徴とするゲイン算出装置。
4. 請求項３に記載のゲイン算出装置であって、
   分割手段は、さらに、分割された各ブロックの輝度値の代表値を代表輝度値として算出し、
   特定手段は、代表色値がストロボ光の色に近いブロックのうち、代表輝度値が大きいブロックを高影響ブロックとして特定することを特徴とするゲイン算出装置。

Images