JP4043928B2 - デジタルカメラ - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明はデジタルカメラに係り、特に、感度の異なる画像信号を合成することによりダイナミックレンジを拡大することができるデジタルカメラに関する。
【０００２】
【従来の技術】
現在広く普及しているデジタルカメラにおけるＣＣＤ等の撮像素子のダイナミックレンジは、写真フィルムに比べると一般的に狭い。このため、ハイコントラストの被写体を撮影する場合には、受光量がダイナミックレンジを超え、撮像素子出力が飽和してしまい、被写体の情報が欠落してしまう場合があった。このような問題を解決するため、異なる感度で撮影した撮影画像を合成することにより、ダイナミックレンジの拡大を図る技術が提案されている（例えば特許文献１参照）。
【０００３】
この技術では、異なる感度で撮影した撮影画像毎にホワイトバランス補正値を算出し、各々の撮影画像でホワイトバランス調整を行っている。
【０００４】
ハイコントラストな撮影環境で非常に明るい被写体を撮影する場合には、このように異なる感度で撮影した撮影画像を合成することは、ダイナミックレンジの拡大につながり、明るい部分（ハイライト部分）のディテール再現などに効果的である。
【０００５】
【特許文献１】
特開２００１−９４９９９号公報（第３頁、図９）
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来技術では、曇天や室内等のローコントラストな撮影環境で撮影した場合には、ダイナミックレンジを広くすることでハイライト部の階調が軟調（ねむくなる）になり、却ってハイライト部の再現が悪化する場合がある、という問題があった。
【０００７】
本発明は、上記事実を考慮してなされたものであり、異なる感度で撮影した画像を合成する場合において、ハイコントラストシーンを撮影した場合でもハイライト部を適正に再現することができるデジタルカメラを提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の発明は、被写体を第１の感度及び前記第１の感度よりも低い第２の感度で撮像する撮像素子と、前記第１の感度で撮像した第１の撮像画像及び前記第２の感度で撮像した第２の撮像画像の少なくとも一方に基づいて、前記被写体の輝度レベルを検出する輝度レベル検出手段と、前記第１の撮像画像のヒストグラムを算出するヒストグラム算出手段と、前記ヒストグラムの予め定めたハイライト側のハイライトデータと前記輝度レベルとに基づいてハイコントラストらしさを表す評価値を求め、該求めた評価値に基づいて前記撮像素子のダイナミックレンジを調整するための調整ゲインを算出するゲイン算出手段と、前記調整ゲインに基づいて前記第１の撮像画像と前記第２の撮像画像とを合成する合成手段と、を備えたことを特徴とする。
【０００９】
撮像素子は、被写体を第１の感度で撮像すると共に、第１の感度よりも低い第２の感度でも撮像する。これにより、第１の感度で撮像した第１の撮像画像と、第２の感度で撮像した第２の撮像画像と、の感度の異なる２つの撮像画像が得られる。
【００１０】
このように、異なる感度で撮像することができる撮像素子は、例えば、被写体からの光を第１の感度で受光し、受光した光量に応じた信号を出力する複数の第１受光素子と、被写体からの光を前記第１の感度より低い第２の感度で受光し、受光した光量に応じた信号を出力する複数の第２受光素子とが設けられた構成とすることができる。この場合、第２受光素子は、第１受光素子間に位置するよう設けられていてもよいし、チャネルストッパ等の受光量の混合を防止する手段を備えた第１受光素子上に設けられていてもよい。
【００１１】
輝度レベル検出手段は、第１の撮像画像及び第２の撮像画像の少なくとも一方に基づいて、被写体の輝度レベルを検出する。輝度レベルは、例えば撮像画像のＲ，Ｇ，Ｂの各色データから求めることができるが、専用のセンサで検出してもよい。
【００１２】
ヒストグラム算出手段は、第１の撮像画像のヒストグラムを算出する。ゲイン算出手段は、ヒストグラムの予め定めたハイライト側のハイライトデータと輝度レベル検出手段により検出した輝度レベルとに基づいてハイコントラストらしさを表す評価値を求める。
【００１３】
そして、求めた評価値に基づいて撮像素子のダイナミックレンジを調整するための調整ゲインを算出する。
【００１４】
合成手段は、調整ゲインに基づいて第１の撮像画像と第２の撮像画像とを合成する。
【００１５】
このように、第１の撮像画像からヒストグラムを求め、このヒストグラムの予め定めたハイライト側のハイライトデータと輝度レベル検出手段により検出した輝度レベルとに基づいてハイコントラストらしさを表す評価値を求めるため、適正に撮影シーンのハイコントラストらしさを検出することができる。
【００１６】
そして、このハイコントラストらしさに基づいてダイナミックレンジを調整するため、感度の異なる第１の撮像画像と第２の撮像画像とを合成した場合であっても、撮影シーンに応じて適正にダイナミックレンジを調整し、より適正に階調処理を行うことが可能となる。
【００１７】
具体的には、ハイライトデータ及び輝度レベルの少なくとも一方が高い場合には、ハイコントラストの度合いが高くなると考えられるので、請求項２に記載したように、ゲイン算出手段は、ハイコントラストらしさを表す評価値がが高くなるに従って合成手段による合成画像のダイナミックレンジが広くなるように作用するメンバシップ関数により調整ゲインを算出する。
【００１８】
すなわち、ハイコントラストらしさを表す評価値が高くなるに従ってダイナミックレンジが広くなり、ハイコントラストらしさを表す評価値が低くなるに従ってダイナミックレンジが狭くなるように調整ゲインが定められる。
【００１９】
これにより、ハイコントラストシーンを撮影した場合において高感度と低感度の画像を合成した場合でも、どのような撮影シーンにおいても同じように高感度と低感度の画像を合成する場合と比較してハイライト部を適正に再現することができ、ロバスト性のある階調制御が可能となる。
【００２０】
また、請求項３に記載したように、前記ヒストグラム算出手段及び前記ゲイン算出手段による処理と前記第２の撮像画像に関する処理とを並列して行うことが好ましい。これにより、処理の高速化を図ることができる。
【００２１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態の一例について詳細に説明する。
【００２２】
図１は本発明に係るデジタルカメラの背面図であり、図２はカメラ上面に設けられたモードダイヤルの平面図である。
【００２３】
図２に示すようにモードダイヤル１は、ダイヤル上のアイコン１Ａ〜１ＦがマークＭに合うように回転させることにより、複数段階の露出で撮影する連写／ブラケティングモード１Ａ、絞りやシャッタースピードを各々設定可能なマニュアル撮影モード１Ｂ、様々な被写体の撮影に適したオート撮影モード１Ｃ、人物を撮影する場合に適した人物モード１Ｄ、風景を撮影する場合に適した風景モード１Ｅ、及び夜景を撮影する場合に適した夜景モード１Ｆ等の撮影モードに設定できるようになっている。なお、図２上では、風景モード１Ｅが設定されている。
【００２４】
また、これらの撮影モードの他に、絞り及びシャッタスピードの組み合わせを選択できるＰ（プログラム）モード、絞りを選択でき、シャッタースピードが自動的に選択されるＡ（絞り優先）モード、シャッタースピードを選択でき、絞りが自動的に選択されるＳ（シャッタースピード優先）モード等の撮影モードを設定することができる。さらに、各撮影モードについて、自動的にストロボ発光するオートモード、人物を撮影した場合に赤目になるのを軽減するための赤目軽減モード、ストロボ光を強制発光させるストロボ強制発光モード、ストロボ光を発光すると共にシャッタースピードを長めにして人物と夜景とをバランスよく撮影するためのスローシンクロモード等のストロボモードを設定することができる。
【００２５】
また、モードダイヤル１の中央には、半押し時にＯＮするスイッチＳ１と、全押し時にＯＮするスイッチＳ２とを有するシャッタボタン２が設けられている。
【００２６】
このデジタルカメラの背面には、図１に示すようにファインダ接眼部３、シフトキー４、表示キー５、撮影モード／再生モード切替えレバー６、キャンセルキー７、実行キー８、マルチファンクションの十字キー９、及び液晶モニタ５２が設けられている。
【００２７】
図３は、図１に示したデジタルカメラの内部構成を示すブロック図である。
【００２８】
本実施の形態に係るデジタルカメラには、撮影レンズ１０、撮影レンズ１０を通過する光の光量を調整する絞り１２、撮影レンズ１０、絞り１２を通過した被写体からの光を高感度及び低感度のそれぞれの受光素子により受光して被写体像を示すＲ、Ｇ、Ｂ３色のカラーアナログ画像信号を出力するＣＣＤ（Charge Coupled Device）１４が設けられている。
【００２９】
ここで、本実施の形態に係るＣＣＤ１４の構造について説明する。ＣＣＤ１４には、図４に示すようなハニカムＣＣＤを採用することができる。
【００３０】
このＣＣＤ１４の撮像部は、図４に示すように、１画素の１色について１つずつ割り当てられると共に、所定の配列ピッチ（水平配列ピッチ＝Ｐｈ（μｍ）、垂直配列ピッチ＝Ｐｖ（μｍ））で、かつ隣接する受光素子ＰＤ１が垂直方向及び水平方向にずらされて２次元配置された複数の受光素子ＰＤ１と、この受光素子ＰＤ１の前面に形成された開口部ＡＰを迂回するように配置され、かつ受光素子ＰＤ１からの信号（電荷）を取り出して垂直方向に転送する垂直転送電極ＶＥＬと、垂直方向最下に位置する垂直転送電極ＶＥＬの垂直方向下側に配置され、垂直転送電極ＶＥＬから転送されてきた信号を外部へ転送する水平転送電極ＨＥＬと、を備えている。なお、同図に示す例では、開口部ＡＰを八角形のハニカム形状に形成している。
【００３１】
ここで、水平方向に直線状に並んで配置された複数の垂直転送電極ＶＥＬにより構成される垂直転送電極群には、各々垂直転送駆動信号Ｖ１、Ｖ２、・・・、Ｖ８の何れか１つを同時に印加することができるように構成されている。なお、同図に示す例では、１段目の垂直転送電極群に対して垂直転送駆動信号Ｖ３が、２段目の垂直転送電極群に対して垂直転送駆動信号Ｖ４が、３段目の垂直転送電極群に対して垂直転送駆動信号Ｖ５が、４段目の垂直転送電極群に対して垂直転送駆動信号Ｖ６が、５段目の垂直転送電極群に対して垂直転送駆動信号Ｖ７が、６段目の垂直転送電極群に対して垂直転送駆動信号Ｖ８が、７段目の垂直転送電極群に対して垂直転送駆動信号Ｖ１が、８段目の垂直転送電極群に対して垂直転送駆動信号Ｖ２が、各々印加できるように構成されている。
【００３２】
一方、各受光素子ＰＤ１は隣接する１つの垂直転送電極ＶＥＬに対し転送ゲートＴＧを介して電気的に接続されるように構成されている。同図に示す例では、各受光素子ＰＤ１が右下に隣接する垂直転送電極ＶＥＬに転送ゲートＴＧを介して接続されるように構成されている。
【００３３】
なお、同図において‘Ｒ’が記入された受光素子ＰＤ１の前面に形成された開口部ＡＰは赤色の光を透過する色分離フィルタ（カラーフィルタ）で覆われており、‘Ｇ’が記入された受光素子ＰＤ１の前面に形成された開口部ＡＰは緑色の光を透過する色分離フィルタで覆われており、‘Ｂ’が記入された受光素子ＰＤ１の前面に形成された開口部ＡＰは青色の光を透過する色分離フィルタで覆われている。すなわち、‘Ｒ’が記入された受光素子ＰＤ１は赤色光を、‘Ｇ’が記入された受光素子ＰＤ１は緑色光を、‘Ｂ’が記入された受光素子ＰＤ１は青色光を、各々受光し、受光した光量に応じたアナログ信号を各々出力する。
【００３４】
ＣＣＤ１４は、更に、上述の受光素子ＰＤ１に比して低感度な受光素子ＰＤ２を備えている。受光素子ＰＤ２は図４に示される如く、複数の受光素子ＰＤ１間に設けられている。この受光素子ＰＤ２も受光素子ＰＤ１と同様に、その前面に受光素子ＰＤ１の開口部より面積が小さい開口部ＡＰが形成され、隣接する１つの垂直転送電極ＶＥＬに対して転送ゲートＴＧにより電気的に接続されている。また、この受光素子ＰＤ２には、その前面に形成された開口部ＡＰに、受光素子ＰＤ１と同様にＲＧＢいずれかのカラーフィルタが装着されている。このように、受光素子ＰＤ２の受光面積を受光素子ＰＤ１の受光面積より小さくしているので、受光素子ＰＤ１に比して低感度なＲＧＢ信号が得られる。
【００３５】
なお、受光素子ＰＤ２の転送ゲートＴＧが接続される電極は、隣接する受光素子ＰＤ１の転送ゲートＴＧが接続される電極とは異ならせて設けられている。
【００３６】
撮影レンズ１０及び絞り１２を介してＣＣＤ１４の受光面に結像された被写体像は、各受光素子ＰＤ１、ＰＤ２で光の入射光量に応じた量の信号電荷に各々変換される。このようにして蓄積された高感度又は低感度の信号電荷の各々は、ＣＣＤ駆動回路１６から加えられるリードゲートパルスによってシフトレジスタに読み出され、レジスタ転送パルスによって信号電荷に応じた電圧信号として順次読み出される。尚、このＣＣＤ１４は、蓄積した信号電荷をシャッタゲートパルスによって掃き出すことができ、これにより電荷の蓄積時間（シャッタスピード）を制御する、いわゆる電子シャッタ機能を有している。
【００３７】
また、詳細は後述するが、本実施の形態においては、先に受光素子ＰＤ１の電荷を読み出してから受光素子ＰＤ２の電荷を読み出す。すなわち、高感度の信号電荷を読み出した後に、低感度の信号電荷を読み出す。
【００３８】
ＣＣＤ１４から順次読み出された高感度又は低感度の電圧信号は、相関二重サンプリング回路（ＣＤＳ回路）１８に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、Ａ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、ＣＤＳ回路１８から順次加えられる高感度のＲ、Ｇ、Ｂ信号及び低感度のＲ、Ｇ、Ｂ信号を例えば１２ビットの高感度のデジタルのＲ、Ｇ、Ｂ信号（第１の撮像画像）及び低感度のデジタルのＲ、Ｇ、Ｂ信号（第２の撮像画像）に変換して出力する。尚、ＣＣＤ駆動回路１６、ＣＤＳ回路１８及びＡ／Ｄ変換器２０は、タイミング発生回路（ＴＧ）２２から加えられるタイミング信号によって同期して駆動されるようになっている。
【００３９】
Ａ／Ｄ変換器２０から出力された高感度又は低感度のＲ、Ｇ、Ｂ信号は、一旦メモリ２４に格納され、その後、メモリ２４に格納されたＲ、Ｇ、Ｂ信号は、デジタル信号処理回路２６に加えられる。デジタル信号処理回路２６は、合成処理部３０、同時化回路３２、ＹＣ信号作成回路３４、及びメモリ３６から構成されている。
【００４０】
合成処理部３０は、図５に示すように、ＯＢ処理部７０Ａ、７０Ｂ、ＬＭＴＸ７２Ａ、７２Ｂ、ＷＢ調整部７４Ａ、７４Ｂ、ガンマ補正部７６Ａ、７６Ｂ、ヒストグラム算出部７８、ゲイン算出部８０、乗算器８２Ａ、８２Ｂ，加算器８４、及びリミッタ８６で構成されている。ＯＢ処理部７０Ａには、高感度で撮影された撮影画像のＲ，Ｇ，Ｂデータが入力され、ＯＢ処理部７０Ｂには、低感度で撮影された撮影画像のＲ，Ｇ，Ｂデータが入力される。
【００４１】
ＯＢ処理部７０Ａ、７０Ｂは、黒レベルを補正する処理を行う。すなわち、元の画像データからＣＣＤ１４の遮光エリアのデータを減算することによりオフセット調整し、黒レベルを補正する。
【００４２】
ＬＭＴＸ７２Ａ、７２Ｂは、例えば３×３マトリクス回路で構成され、色相又は彩度を調整することにより色補正する。
【００４３】
ＷＢ調整部７４Ａ、７４Ｂは、ＣＰＵ３８によって指定されたホワイトバランス補正用のゲイン値Ｒｇ，Ｇｇ，ＢｇをＲ，Ｇ，Ｂデータに各々乗算することにより、ホワイトバランスの調整を行う。
【００４４】
ガンマ補正部７６Ａ、７６Ｂは、ホワイトバランス調整されたＲ、Ｇ、Ｂデータが所望のガンマ特性となるように入出力特性を変更する。
【００４５】
ヒストグラム算出部７８は、詳細は後述するが、例えばＧデータのヒストグラムを算出する。
【００４６】
ゲイン算出部８０は、ヒストグラム算出部７８で算出されたヒストグラムのうち、予め定めたハイライト側のハイライトデータと、後述するＣＰＵ３８によって演算された撮影画像の輝度レベルを表す撮影ＥＶ値とに基づいて、ＣＣＤ１４のダイナミックレンジを調整するための調整ゲインを算出する。そして、この調整ゲインに基づく高感度のＲ，Ｇ，Ｂデータに乗算するためのｈ_ｇａｉｎ及び低感度のＲ，Ｇ，Ｂデータに乗算するためのｌ_ｇａｉｎを算出する。このｈ_ｇａｉｎ及びｌ_ｇａｉｎの算出については後述する。
【００４７】
乗算器８２Ａは、ガンマ補正された高感度のＲ，Ｇ，Ｂデータにｈ_ｇａｉｎを乗算して加算器８４に出力する。乗算器８２Ｂは、ガンマ補正された低感度のＲ，Ｇ，Ｂデータにｌ_ｇａｉｎを乗算して加算器８４に出力する。
【００４８】
加算器８４は、ｈ_ｇａｉｎが乗算された高感度のＲ，Ｇ，Ｂデータにｌ_ｇａｉｎが乗算された低感度のＲ，Ｇ，Ｂデータを加算することにより両者を合成し、リミッタ８６へ出力する。リミッタ８６は、Ｒ，Ｇ，Ｂデータが予め定めたビット数（例えば８ビット）で表現できる範囲に収まるようにする。
【００４９】
同時化回路３２は、メモリ２４から読み出された点順次のＲ、Ｇ、Ｂ信号を同時式に変換してＹＣ信号作成回路３４へ出力する。
【００５０】
ＹＣ信号作成回路３４は、合成されたＲ、Ｇ、Ｂ信号から輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂとを作成する。これらの輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（ＹＣ信号）は、メモリ３６に格納される。
【００５１】
ここで、メモリ３６内のＹＣ信号を読み出し、液晶モニタ５２に出力することにより動画又は静止画を液晶モニタ５２に表示させることができる。また、撮影後のＹＣ信号は、圧縮／伸長回路５４によって所定のフォーマットに圧縮されたのち、記録部５６にてメモリカードなどの記録媒体に記録される。更に、再生モード時にはメモリカードなどに記録されている画像データが圧縮／伸長回路５４によって伸長処理された後、液晶モニタ５２に出力され、液晶モニタ５２に再生画像が表示されるようになっている。
【００５２】
なお、ＣＣＤ１４は本発明の撮像素子に相当し、ヒストグラム算出部７８は本発明のヒストグラム算出手段に相当し、ゲイン算出部８０は本発明のゲイン算出手段に相当し、加算器８６は本発明の合成手段に相当する。
【００５３】
ＣＰＵ３８は、図１に示したモードダイヤル１、シャッタボタン２等を含むカメラ操作部４０からの入力に基づいて各回路を統括制御するとともに、オートフォーカス、自動露光制御、オートホワイトバランス等の制御を行う。このオートフォーカス制御は、例えばＧ信号の高周波成分が最大になるように撮影レンズ１０を移動させるコントラストＡＦであり、シャッタボタン２の半押し時にＧ信号の高周波成分が最大になるように駆動部４２を介して撮影レンズ１０を合焦位置に移動させる。
【００５４】
自動露光制御では、図６に示すように予め決めた露出▲１▼〜▲４▼にて最大４回Ｒ、Ｇ、Ｂ信号を取り込み、これらのＲ、Ｇ、Ｂ信号を積算した積算値に基づいて被写体輝度（撮影ＥＶ値）を求める。これは、シャッタボタン２の半押し時に実行される。なお、撮影ＥＶ値を求める処理は、本発明の輝度レベル検出手段に相当する。
【００５５】
また、ＣＰＵ３８には、撮影ＥＶ値などの各種データを記憶するためのメモリ３９、ストロボ光を発光するためのストロボ６０及びストロボ調光センサ６２を駆動するための駆動部６４が接続されており、これらを制御する。
【００５６】
ストロボ６０は、例えば撮影ＥＶ値が予め定めた所定値以下の場合、すなわち被写体が暗く、十分なコントラストが得られない撮影状況の場合に発光し、被写体にストロボ光を照射する。
【００５７】
ストロボ調光センサ６２は、ストロボ６０で発光したストロボ光を検出し、その光量に応じた検出電圧を駆動部６４へ出力する。駆動部６４では、ストロボ調光センサ６２から出力された検出電圧が予め定めた所定値になった場合、すなわち、十分なコントラストが得られる程度に被写体にストロボ光が照射された場合にストロボ６０によるストロボ光の発光を停止させる。これにより、適正な光量に調光される。
【００５８】
次に、撮影ＥＶ値の測定の詳細について説明する。
【００５９】
図７に示すように、１画面を複数のエリア（８×８）に分割し、各分割エリアごとに例えば高感度のＲ、Ｇ、Ｂ信号から求めた輝度信号を積算し、その積算値に基づいて各分割エリアのＥＶ値（ＥＶｉ）を求める。続いて、図７に示すように撮影モードに対応して各分割エリアのＥＶ値に重み付けを行い、画面全体のＥＶ’値を次式によって算出する。
【００６０】
【数１】

【００６１】
但し、ｉは、分割エリアの各々を示す添え字であり、上記の場合、０〜６３の値を取り得る。Ｎは、分割エリア数を示し、上記の場合は８×８＝６４である。
ΔＥＶｉｓｏは、所定の感度（例えばＩＳＯ２００）を基準としてＥＶ値補正量であり、感度が変更されても、ＥＶ’が一定となるように調整するための値である。Ｗｉは、各分割エリアごとの重み係数であり、例えば図７に示すように中央重点測光方式の重み係数を用いる。
【００６２】
上記のように算出したＥＶ’に対し、更に、次式に示すように撮影モードに応じた露出補正ΔＥＶを行って撮影ＥＶ値を求める。求めた撮影ＥＶ値は、メモリ３９に記憶される。
【００６３】
ＥＶ＝ＥＶ’−ΔＥＶ …（２）
なお、ΔＥＶは、例えば、人物モードの場合にはΔＥＶ＝０、風景モード、夜景モードの場合にはΔＥＶ＝０．３とする。
【００６４】
上記のようにして求めた撮影ＥＶ値に基づいて撮影時の絞り値とシャッタスピードを最終的に決定する。
【００６５】
そして、シャッタボタンの全押し時に前記決定した絞り値になるように絞り駆動部４４を介して絞り１２を駆動し、また、決定したシャッタスピードとなるように電子シャッタによって電荷の蓄積時間を制御する。
【００６６】
次に、本実施の形態の作用として、デジタルカメラ１１で実行される処理ルーチンについて図８に示すフローチャートを参照して説明する。なお、図８に示す処理ルーチンは、シャッタボタン２が全押しされた場合に実行される。
【００６７】
まず、シャッタボタン２が半押しされると、ＣＰＵ３８は、高感度の画像信号の取り込みをＴＧ２２及びＣＣＤ駆動回路１６を介してＣＣＤ１４に指示する。これにより、ＣＣＤ１４から高感度の画像データがメモリ２４に一旦取り込まれ、ＣＰＵ３８によって前述したオートフォーカス制御及び自動露光制御が行われる。これにより、撮影ＥＶ値、シャッタスピード、絞り値が決定され、駆動部４２及び駆動部４４が制御される。
【００６８】
そして、シャッタボタン２が全押しされると、ステップ１００において、ＣＰＵ３８は、高感度の画像信号の取り込みをＴＧ２２及びＣＣＤ駆動回路１６を介してＣＣＤ１４に指示する。これにより、ＣＣＤ１４から高感度の画像データがメモリ２４に一旦取り込まれる。
【００６９】
次に、ステップ１０２では、ホワイトバランスを調整するためのゲイン値Ｒｇ，Ｇｇ，Ｂｇの算出が行われる。
【００７０】
次に、ホワイトバランス調整用のゲイン値の算出について、図９に示すフローチャートを参照して説明する。
【００７１】
なお、ストロボ発光しない撮影の場合には、図９に示したホワイトバランス制御は、撮影モードが夜景モード以外の場合に実行され、その他の撮影モードの場合には通常のホワイトバランス制御によりゲイン値Ｒｇ，Ｇｇ，Ｂｇが算出される。
【００７２】
また、ストロボ発光する撮影の場合には、予め定めた撮影モード及びストロボモードの場合で、かつストロボ発光すると判断した場合に図９に示すホワイトバランス制御が実行される。
【００７３】
以下の表に、ストロボ発光する撮影の場合に、図９に示したホワイトバランス制御が実行される撮影モード及びストロボモードの組み合わせを示す。例えば撮影モード及びストロボモードが共にオートモードで、ＥＶ値が所定閾値以下の場合には、以下のホワイトバランス制御が実行され、その他の場合、例えば撮影モードが風景モードでストロボモードが強制発光モードの場合には、通常のホワイトバランス制御が行われる。
【００７４】
【表１】

【００７５】
まず、ＥＶ値や撮影モード及びストロボモードからストロボ発光するか否かが判断され、撮影モードが夜景モードの場合で、かつストロボ発光しないと判断された場合には、周知の方法によりデーライト光を光源としたストロボ発光しない場合に適したホワイトバランス制御を行うためのホワイトバランス補正値Ｒｇ、Ｇｇ、Ｂｇが設定され、ＷＢ調整部７４Ａ、７４Ｂに出力される。
【００７６】
また、ストロボ発光すると判断された場合は、撮影モード及びストロボモードが上記の表１の○で示される組み合わせであるか否かが判断される。そして、ストロボ発光すると判断し、かつ撮影モード及びストロボモードが上記の表１の○で示される組み合わせでないと判断された場合には、周知の方法により通常のストロボ発光時のホワイトバランス制御を行うためのホワイトバランス補正値Ｒｇ、Ｇｇ、Ｂｇが設定され、ＷＢ調整部７４Ａ、７４Ｂに出力される。
【００７７】
そして、撮影モードが夜景モード以外で、かつストロボ発光しないと判断した場合又は撮影モード及びストロボモードが上記の表１の○で示される組み合わせであるか場合には、ＣＰＵ３８は、シャッタボタンの半押し時に求めた撮影ＥＶ値をメモリ３９から読み込む（ステップ２００）。
【００７８】
シャッタボタンの全押し時に撮像された高感度の画像のＲ、Ｇ、Ｂ信号は一旦メモリ２４に格納されているが、この画像を複数のエリア（例えば８×８）に分割し、各分割エリアごとにＲ、Ｇ、Ｂ信号の色別の積算値を積算回路４８によって求める（ステップ２０２）。
【００７９】
Ｒ，Ｇ，Ｂ信号の積算値Ｒｔ，Ｇｔ，Ｂｔは、積算回路４８とＣＰＵ３８との間に設けられた乗算器（乗算手段）５０Ｒ、５０Ｇ、５０Ｂに出力され、乗算器５０Ｒ、５０Ｇ、５０Ｂによって予め定められた基準ＷＢ（ホワイトバランス）ゲイン値（基準制御値）Ｒｃ，Ｇｃ、Ｂｃが掛けられる（ステップ２０４）。なお、基準ＷＢゲイン値Ｒｃ，Ｇｃ、Ｂｃは、予めメモリ３９に記憶されている。
【００８０】
基準ＷＢゲイン値Ｒｃ，Ｇｃ，Ｂｃが掛けられたＲ，Ｇ，Ｂ信号の積算値Ｒｔ’，Ｇｔ’，Ｂｔ’は、ＣＰＵ３８に入力される。
【００８１】
この基準ＷＢゲイン値Ｒｃ，Ｇｃ，Ｂｃは、ストロボ発光しない撮影の場合には、天気が晴れの場合のように、光源がデーライト光の場合にホワイトバランスが適正となるように調整するためのゲイン値Ｒｄ，Ｇｄ，Ｂｄが設定される。また、ストロボ発光して撮影する場合には、ストロボ光が被写体に十分に到達した場合のように、光源としてストロボ光が支配的な場合にホワイトバランスが適正となるように調整するためのゲイン値Ｒｓｔ，Ｇｓｔ，Ｂｓｔが設定される。
【００８２】
そして、ＣＰＵ３８は、入力されたＲ信号の積算値Ｒｔ’とＧ信号の積算値Ｇｔ’との比Ｒｔ’／Ｇｔ’、及びＢ信号の積算値とＧ信号の積算値との比Ｂｔ’／Ｇｔ’を求める（ステップ２０６）。
【００８３】
上記のようにして各分割エリアごとに求められるＲｔ’／Ｇｔ’、Ｂｔ’／Ｇｔ’は、その分割エリアが、図１０に示すグラフ上に表された検出枠のうちの、どの検出枠内に入るかを判別するために使用される。なお、図１０における各検出枠は、環境光源などの色分布の範囲を規定するものである。
【００８４】
図１０に示すように、検出枠には、青空検出枠、日陰検出枠、昼光色（蛍光灯）検出枠、昼白色（蛍光灯）検出枠、白色（蛍光灯）検出枠、デーライト検出枠、電球色蛍光灯検出枠、電球（タングステン電球）検出枠がある。なお、デーライト検出枠は、ストロボ発光しない撮影の場合の検出枠であり、ストロボ撮影する場合には、ストロボ検出枠となる。
【００８５】
そして、ＣＰＵ３８は、Ｒｔ’／Ｇｔ’＝Ｘ’、Ｂｔ’／Ｇｔ’＝Ｙ’として、各分割エリアごとに求められたＲｔ’／Ｇｔ’、Ｂｔ’／Ｇｔ’で表される（Ｘ_i’、Ｙ_i’）が、これらの検出枠のうちのどの検出枠内に入るかを判別し、その個数をカウントする（ステップ２０８）。このとき、ストロボ発光しない撮影の場合には、日陰検出枠内の個数は、分割エリアのＥＶ値が所定値以下のものについてのみカウントし、青空検出枠内の個数は、ＥＶ値が所定値以上のものだけについてカウントする。
【００８６】
次に、各検出枠内に存在する（Ｘ_i’、Ｙ_i’）の平均値（Ｘａ_j’Ｙａ_j’）を求める（ステップ２１０）。ここで、ｊは、各検出枠の各々を示す添え字である。なお、平均値でなく、重心値でもよい。
【００８７】
次に、各検出枠に対応して設けられたメンバシップ関数により、色に関する光源らしさ（日陰らしさ等）を表す評価値Ｆｃ（）を算出する（ステップ２１２）。メンバシップ関数は、検出枠内の個数を変数として色に関する光源らしさを表す評価値Ｆｃ（）を出力する関数である。すなわち、評価値が高ければ、その検出枠に対応する光源（環境光源）の可能性が高くなる。
【００８８】
Ｆｃ（ＣＬＤ）は、図１１に示すように、日陰検出枠内に入る分割エリアの個数を変数とした日陰らしさを表すメンバシップ関数の値である。
【００８９】
Ｆｃ（ＳＫＹ）は、図１２に示すように、青空検出枠内に入る分割エリアの個数を変数とした青空らしさを表すメンバシップ関数の値である。
【００９０】
Ｆｃ（ＥＸＤ）、Ｆｃ（ＥＸＮ）、Ｆｃ（Ｗ）、Ｆｃ（ＥＸＬ）、Ｆｃ（ＴＮＧ）は、図１１に示したＦｃ（ＣＬＤ）と同様のメンバシップ関数である。ここで、Ｆｃ（ＥＸＤ）は、昼光色検出枠内に入る分割エリアの個数を変数とした昼光色の蛍光灯らしさを表すメンバシップ関数であり、Ｆｃ（ＥＸＮ）は、昼白色検出枠内に入る分割エリアの個数を変数とした昼白色の蛍光灯らしさを表すメンバシップ関数の値であり、Ｆｃ（Ｗ）は、白色検出枠内に入る分割エリアの個数を変数とした白色の蛍光灯らしさを表すメンバシップ関数であり、Ｆｃ（ＥＸＬ）は、電球色蛍光灯検出枠内に入る分割エリアの個数を変数とした電球色の蛍光灯らしさを表すメンバシップ関数であり、Ｆｃ（ＴＮＧ）は、電球検出枠内に入る分割エリアの個数を変数とした電球らしさを表すメンバシップ関数の値である。
【００９１】
Ｆｃ（ＤＡＹ）は、デーライト検出枠内に入る分割エリアの個数を変数とした晴れらしさを表すメンバシップ関数の値であり、このメンバシップ関数は、図１１に示す日陰らしさを表すメンバシップ関数と同様である。
【００９２】
Ｆｃ（ＴＹＰ）は、ストロボ検出枠内に入る分割エリアの個数を変数としたストロボらしさ、すなわちストロボ光が支配的であるか否かを表すメンバシップ関数の値であり、このメンバシップ関数は、図１１に示す日陰らしさを表すメンバシップ関数と同様である。
【００９３】
次に、各検出枠に対応して設けられたメンバシップ関数により、輝度に関する光源らしさ（屋内らしさ、屋外らしさ）を表す評価値Ｆｙ（）を算出する（ステップ２１４）。メンバシップ関数は、ステップ２００で取得したＥＶ値を変数として輝度に関する光源らしさを表す評価値を出力する関数である。
【００９４】
Ｆｙ（屋外らしさＤＡＹ）は、図１３に示すように、ＥＶ値を変数としたデーライトの屋外らしさを表すメンバシップ関数の値である。
【００９５】
Ｆｙ（屋外らしさＣＬＤ）は、図１４に示すように、ＥＶ値を変数とした日陰の屋外らしさを表すメンバシップ関数の値である。
【００９６】
Ｆｙ（屋内らしさＥＸＤ）、Ｆｙ（屋内らしさＥＸＮ）、Ｆｙ（屋内らしさＴＮＧ）は、図１５に示すように、それぞれＥＶ値を変数とした昼光色の蛍光灯の屋内らしさ又は昼白色の蛍光灯の屋内らしさ又はタングステン電球の屋内らしさを表すメンバシップ関数の値である。また、Ｆｙ（屋内らしさＷ）は、ＥＶ値を変数とした白色の蛍光灯の屋内らしさを表すメンバシップ関数の値であり、Ｆｙ（屋内らしさＥＸＮ）と同様である。また、Ｆｙ（屋内らしさＥＸＬ）は、ＥＶ値を変数とした電球色の蛍光灯の屋内らしさを表すメンバシップ関数の値であり、Ｆｙ（屋内らしさＴＮＧ）と同様である。
【００９７】
次に、色に関する光源らしさを表す評価値及び輝度に関する評価値を表す評価値から各検出枠について総合的な光源らしさの評価値Ｈ_jを求める（ステップ２１６）。なお、ストロボ発光しない場合で、撮影モードが風景モードの場合には、Ｈ₁〜Ｈ₂、Ｈ₇についてのみ行う。これは、風景モードの場合は、通常屋外で撮影されるが、屋外の場合に光源がタングステン電球等である場合は考えられないからである。
【００９８】
評価値Ｈ₁〜Ｈ₇は、以下の式によって求められる。
【００９９】
Ｈ₁（日陰らしさの評価値）＝Ｆｃ（ＣＬＤ）×Ｆｙ（屋外らしさ）×Ｆｃ（ＳＫＹ） …（３）
Ｈ₂（昼光色の蛍光灯らしさの評価値）＝Ｆｃ（ＥＸＤ）×Ｆｙ（屋内らしさＥＸＤ） …（４）
Ｈ₃（昼白色の蛍光灯らしさの評価値）＝Ｆｃ（ＥＸＮ）×Ｆｙ（屋内らしさＥＸＮ） …（５）
Ｈ₄（白色の蛍光灯らしさの評価値）＝Ｆｃ（Ｗ）×Ｆｙ（屋内らしさＷ）
…（６）
Ｈ₅（電球色蛍光灯らしさの評価値）＝Ｆｃ（ＥＸＬ）×Ｆｙ（屋内らしさＥＸＬ） …（７）
Ｈ₆（電球らしさの評価値）＝Ｆｃ（ＴＮＧ）×Ｆｙ（屋内らしさＴＮＧ）
…（８）
Ｈ₇（晴れらしさの評価値）＝Ｆｃ（ＤＡＹ）×Ｆｙ（屋外らしさＤＡＹ）
…（９）
なお、ストロボ撮影する場合には、Ｈ₇は次式となる。
【０１００】
Ｈ₇（ストロボらしさの評価値）＝Ｆｃ（ＴＹＰ）×Ｆｙ（屋外らしさＤＡＹ） …（１０）
ここで、０≦Ｆｃ（）、Ｆｙ（）≦１であるため、０≦Ｈ_j≦１である。なお、Ｆｃ（ＳＫＹ）は、図１２に示すように、青空検出枠内に入る分割エリアの個数が多い程、日陰らしさの評価値を下げる方向に作用する値をとる。
【０１０１】
また、Ｆｙ（屋内らしさ）は、図１５に示すように、ＥＶ値が高い程、それらの検出枠の評価値を下げる方向に作用する値をとる。このように、光源らしさの評価値Ｈ_jは、色分布だけでなく輝度も考慮して決定されるため、適正に光源を特定することが可能となる。例えば、蛍光灯が点灯した室内と室外とで同じ色の被写体を撮影した場合に、色分布のみで光源を特定した場合には、光源の特定を誤ってしまい、カラーフェリアが発生してしまう場合がある。
【０１０２】
しかしながら、本実施の形態では、輝度が低い場合、すなわち室内で撮影されたような場合には、Ｆｙ（室内らしさ）が高くなり、輝度が高い場合、すなわち室外で撮影されたような場合には、Ｆｙ（室内らしさ）が低くなるため、光源を正確に特定することができ、カラーフェリアが発生するのを防ぐことができる。
【０１０３】
そして、上記のように各検出枠に対応した光源らしさの評価値が算出されると、これらの評価値のうち予め定めた所定閾値以上の（例えば０．４以上）か否かを判別する（ステップ２１８）。そして、評価値が所定閾値以上のものが存在する場合には、評価値が所定閾値以上のものを環境光源の候補として選択する。
【０１０４】
次に、選択された環境光源の各々について、以下の式に従って環境光源又はストロボ光と環境光源とが混合された混合光源の色が白色となるようにホワイトバランス制御を行うための制御値（ゲイン値）Ｇ_R、Ｇ_B、Ｇ_Gを算出する（ステップ２２０）。
【０１０５】
Ｇ_R＝｛Σ（ｇｒ_j×Ｈ_j）／ΣＨ_j｝×｛Σ（Ｇ_j×Ｈ_j）／ΣＨ_j｝
…（１１）
Ｇ_B＝｛Σ（ｇｂ_j×Ｈ_j）／ΣＨ_j｝×｛Σ（Ｇ_j×Ｈ_j）／ΣＨ_j｝
…（１２）
Ｇ_G＝Σ（Ｇ_j×Ｈ_j）／ΣＨ_j …（１３）
ここで、上記（１１）〜（１３）式は、評価値が所定閾値以上のものについて算出され、例えば所定閾値以上の評価値がＨ₂〜Ｈ₅である場合には、Ｈ₂〜Ｈ₅の光源についてｇｒ_j，ｇｂ_jが算出され、算出されたｇｒ_j，ｇｂ_j、Ｈ₂〜Ｈ₅を用いて各Σ内の計算が行われる。また、ｇｒ_j，ｇｂ_jは、各検出枠における光源の色を所定色とするために必要なゲインであり、次式で示される。
【０１０６】
ｇｒ_j＝Ｘｃ／Ｘａ_j’×Ｔｘ_j …（１４）
ｇｂ_j＝Ｙｃ／Ｙａ_j’×Ｔｙ_j …（１５）
ここで、Ｘｃ＝Ｒｃ／Ｇｃ、Ｙｃ＝Ｂｃ／Ｇｃである。また、Ｔｘ_j、Ｔｙ_jは、基準ＷＢゲイン値が掛けられていない元の画像データのＲ，Ｇ，Ｂの積算値について求めたＸ_i、Ｙ_iの平均値をＸａ_j（＝Ｘａ_j’／Ｘｃ）、Ｙａ_j（＝Ｙａ_j’／Ｙｃ）とした場合における、Ｘａ_j、Ｙａ_jの目標値であり、所定色に対応する。すなわち、ｇｒ_j，ｇｂ_jは、元の画像データのＲ，Ｇ，Ｂの積算値についてＸａ_j、Ｙａ_jを求めた場合に、このＸａ_j、Ｙａ_jで示される光源（環境光源又はストロボ光と環境光源との混合光源）の色を所定色とするために必要なゲインである。なお、Ｔｘ_j、Ｔｙ_jは、例えば１である。
【０１０７】
従って、上記（１１）、（１２）式の第１項は、評価値Ｈ_jを重みとしたｇｒ_j，ｇｂ_jの加重平均値をそれぞれ表している。また、第２項は、明るさを補正するための項であり、ストロボ光を発光しない撮影の場合におけるＧ_jは次式で表される。
【０１０８】
Ｇ_j＝ｇ_j×（露出補正ゲイン／１２８） …（１６）
ここで、ｇ_jは、光源が晴れの場合に適したホワイトバランス制御を行うために必要なＧ（グリーン）のゲインである。露出補正ゲインは、以下の表のようになる。
【０１０９】
【表２】

【０１１０】
このように明るさを補正するのは、ストロボ光が発光しない場合は周囲の光源だけであるため、明るさが足りなくなる場合があるためである。
【０１１１】
また、ストロボ光を発光する撮影の場合には、Ｇ_jはＧｓｔであり、固定値となるため、明るさは補正されない。
【０１１２】
なお、デーライト検出枠（又はストロボ検出枠）の評価値Ｈ₇が所定閾値以上であるとして選択されている場合には、ｇｒ₇＝Ｘｃ、ｇｂ₇＝Ｙｃとする。
【０１１３】
このようにして、環境光源又は混合光源の色を所定色にするための制御値Ｇ_RRＧ_B、Ｇ_Gが算出されると、これらの制御値が、基準ＷＢゲイン値との間の値で、かつ環境光源又は混合光源に適した値となるように、環境光源に応じて調整される（ステップ２２２）。調整後の制御値は、ホワイトバランス補正値Ｒｇ、Ｇｇ、Ｂｇとして表され、次式により得られる。
【０１１４】
Ｒｇ＝（Ｇ_R−Ｒｄ）×Ｈ_max×Ｌ_j＋Ｒｄ …（１７）
Ｇｇ＝（Ｇ_G−Ｇｄ）×Ｈ_max×Ｌ_j＋Ｇｄ …（１８）
Ｂｇ＝（Ｇ_B−Ｂｄ）×Ｈ_max×Ｌ_j＋Ｂｄ …（１９）
ここで、Ｈ_maxは、Ｈ_jの最大値であり、Ｈ_maxに対応する光源を撮影時の光源として特定することができる。例えばＨ_maxがＨ₂であれば、光源は、昼光色の蛍光灯であると判断することができる。また、Ｌ_jはローワードコレクション係数であり、各光源に対応して予め定められた値であり、各々の光源下での撮影においてホワイトバランスが適正となるように実験等によって決定された値である。ローワードコレクション係数は、予めメモリ３９に記憶されている。なお、Ｌ_jは光源に拘わらず固定値としてもよい。
【０１１５】
また、０≦Ｌ_j≦１であり、Ｌ_j＝０の場合は、Ｒｇ＝Ｒｃ、Ｇｇ＝Ｇｃ、Ｂｇ＝Ｂｃとなり、基準ＷＢゲイン値でのホワイトバランス制御が行われる。また、Ｌ_j＝１及びＨ_max＝１の場合には、Ｒｇ＝Ｇ_R、Ｇｇ＝Ｇ_G、Ｂｇ＝Ｇ_Gとなる。
このように、ホワイトバランス補正値Ｒｇ、Ｇｇ、Ｂｇは、基準ＷＢゲイン値から環境光源の色を所定色にするための制御値Ｇ_R、Ｇ_B、Ｇ_Gとの間の値で、かつＨ_maxで特定された環境光源に適したホワイトバランス制御を行うことができる値となる。
【０１１６】
このように算出されたホワイトバランス補正値Ｒｇ、Ｇｇ、Ｂｇは、ＷＢ調整部７４Ａ、７４Ｂへ出力され（ステップ２２４）、元の高感度及び低感度の画像データのＲ、Ｇ、Ｂの各信号がホワイトバランス調整される。補正後の信号をＲ’、Ｇ’、Ｂ’とすると、Ｒ’、Ｇ’、Ｂ’は、次式で表される。
【０１１７】
Ｒ’＝Ｒｇ×Ｒ …（２０）
Ｇ’＝Ｇｇ×Ｇ …（２１）
Ｂ’＝Ｂｇ×Ｂ …（２２）
一方、所定閾値以上の評価値Ｈ_jが１つもない場合には、ホワイトバランス補正値Ｒｇ、Ｇｇ、ＢｇをそれぞれＲｃ、Ｇｃ、Ｂｃに設定して（ステップ２２６）、ＷＢ調整部７４Ａ、７４Ｂへ出力する（ステップ２２４）。
【０１１８】
このように、本実施形態では、環境光源の色だけでなくＥＶ値をも考慮して環境光源を定めるため、環境光源を正確に定めることができる。また、環境光源の色は、本撮影での撮像画像の画像データから求めているため、撮像シーケンスを複雑にすることなく環境光源を正確に定めることができる。
【０１１９】
そして、ホワイトバランス補正値Ｒｇ、Ｇｇ、Ｂｇは、基準ＷＢゲイン値から環境光源の色を所定色にするための制御値Ｇ_R、Ｇ_B、Ｇ_Gとの間の値で、かつＨ_maxで特定された環境光源に適したホワイトバランス制御を行うことができる値となるため、各々の環境光源に対して適正にホワイトバランス制御することができ、カラーフェリアの発生を抑えることができる。
【０１２０】
ステップ１０４では、ＯＢ処理部７０Ａにより、高感度の画像データに対して黒補正処理が行われる。
【０１２１】
ステップ１０６では、ＬＭＴＸ７２Ａにより、高感度の画像データに対して３×３マトリクスによる色補正処理が行われる。
【０１２２】
ステップ１０８では、ＷＢ調整部７４により、ステップ１０２で算出されたホワイトバランス補正用のゲイン値Ｒｇ，Ｇｇ，Ｂｇが高感度のＲ，Ｇ，Ｂデータに各々乗算されホワイトバランスの調整が行われる。なお、Ｇのデータは、予め定めた１より大きい所定値（例えば１．３７５）を乗算するようにしてもよい。これは、例えば光源が電球のような赤みの多い光源の場合には、ＧよりもＲのゲインを下げたい場合があり、このような場合にはＧのゲインを１より大きい所定値とすることにより、相対的にＲのゲインを下げることができるからである。
【０１２３】
ステップ１１０では、高感度の画像データに対してガンマ補正処理が行われる。
【０１２４】
また、上記のステップ１０２〜１１０の処理と並行して、ステップ１１２において、低感度の画像信号処理が行われる。すなわち、ＣＰＵ３８が、低感度の画像信号の取り込みをＴＧ２２及びＣＣＤ駆動回路１６を介してＣＣＤ１４に指示する。これにより、ＣＣＤ１４から低感度の画像データがメモリ２４に取り込まれる。
【０１２５】
そして、高感度の画像データと同様に、低感度の画像データに対して、ＯＢ処理部７０Ｂ、ＬＭＴＸ７２Ｂ、ＷＢ調整部７４Ｂ、ガンマ補正部７６Ｂによってそれぞれ黒補正処理、色補正処理、ホワイトバランス調整、ガンマ補正が行われる。
【０１２６】
このように、高感度の画像データに基づいてホワイトバランス調整用のゲイン値を算出する処理等と並行して低感度の画像データの処理を行うため、処理の高速化を図ることができる。
【０１２７】
また、ステップ１０８の高感度の画像データに対するホワイトバランス調整処理及びステップ１１０のガンマ補正処理と並行して、ステップ１１４において、ヒストグラム算出部７８により画像データのヒストグラム算出処理が行われ、ステップ１１６において、算出したヒストグラムに基づいてダイナミックレンジを調整するためのゲインを算出するゲイン算出処理が行われる。
【０１２８】
ヒストグラム算出部７８では、高感度の画像データのうち例えばＧデータのヒストグラムを算出する。まず、１２ビットのＧデータを例えば６ビットシフトして６ビット換算のデータとしてヒストグラムを求める。このようなヒストグラムの一例を図１６に示す。
【０１２９】
そして、予め定めたハイライト側、すなわちＧデータの累積頻度１００％からＸ％（例えば０．１％）下がった位置のデータをハイライト側の最大値とし（図１６では‘５２’）、これを６ビットシフト（２⁶倍）した値をハイライトデータとする。このハイライトデータは、ホワイトバランス調整用のゲインを掛けたときにハイライト側のデータが飽和するか否かを表す情報として用いられる。
【０１３０】
ゲイン算出部８０では、このハイライトデータと、撮影ＥＶ値とに基づいて、ＣＣＤ１４のダイナミックレンジを調整するための調整ゲインを算出する。そして、この調整ゲインに基づく高感度のＲ，Ｇ，Ｂデータに乗算するためのｈ_ｇａｉｎ及び低感度のＲ，Ｇ，Ｂデータに乗算するためのｌ_ｇａｉｎを算出する。
【０１３１】
まず、ストロボ発光しない撮影の場合には、図１７（Ａ）に示すようなハイライトデータと評価値１との関係を表すメンバシップ関数により、ハイライトデータに対応する評価値１を求め、図１７（Ｂ）に示すような撮影ＥＶ値と評価値２との対応関係を表すメンバシップ関数により、撮影ＥＶ値に対応する評価値２を求める。
【０１３２】
評価値１を算出するメンバシップ関数は、図１７（Ａ）に示すように、ホワイトバランス調整用のゲイン（例えば１．３７５）を掛けたときにハイライト側のデータが飽和する所定値（図１７（Ａ）では３０００）までは、ハイライトデータが大きくなるに従って評価値１も徐々に大きくなり、ハイライトデータが所定値以上の場合には一定値‘１’となるような関数である。
【０１３３】
また、評価値２を算出するメンバシップ関数は、図１７（Ｂ）に示すように、撮影ＥＶ値が晴天の場合のＥＶ値（図１７（Ｂ）では１３．５）までは、撮影ＥＶ値が大きくなるに従って評価値２も徐々に大きくなり、撮影ＥＶ値が晴天の場合のＥＶ値以上の場合には一定値‘１’となるような関数である。
【０１３４】
そして、評価値１に評価値２を乗算する。この評価値１に評価値２を乗算した値は、撮影シーンのハイコントラストの度合い、すなわち撮影シーンのハイコントラストらしさを表す評価値であり、値が大きいほどハイコントラストシーンらしく、値が小さいほどハイコントラストシーンらしくなく、ローコントラストシーンらしくなる。このように、ヒストグラムを用いてハイライト側の最大値を求め、これと被写体輝度とにより精度よくハイコントラストシーンの検出が可能となる。
【０１３５】
次に、ダイナミックレンジを調整するためのトータルゲインｐ（調整ゲイン）を図１７（Ｃ）に示すようなトータルゲインｐと評価値１×評価値２との関係を表すメンバシップ関数により求める。
【０１３６】
トータルゲインｐを算出するメンバシップ関数は、図１７（Ｃ）に示すように、評価値１×評価値２が大きくなるに従ってトータルゲインｐが徐々に小さくなるような関数である。トータルゲインｐは１未満の値であり、例えば図１７（Ｃ）に示すように、０．８〜０．９の範囲の値となる。
【０１３７】
なお、ストロボ発光する撮影の場合には、被写体の輝度とハイコントラストシーンとの関係が薄いと考えられるため、撮影ＥＶ値に基づく評価値２は算出せず、図１８（Ａ）に示すメンバシップ関数により、ハイライトデータに基づく評価値１を求め、図１８（Ｃ）に示すメンバシップ関数により評価値１に基づくトータルゲインｐを求める。
【０１３８】
そして、このトータルゲインｐを用いた高感度の画像データと低感度の画像データの合成式から高感度の画像データに乗算するｈ_ｇａｉｎ及び低感度の画像データに乗算するｌ_ｇａｉｎを算出する。
【０１３９】
合成式は、合成データをｄａｔａ、高感度のデータをｈｉｇｈ、低感度のデータをｌｏｗとして次式で表される。
【０１４０】
data = [high+Min(high/th,1)×low] × Max(1-S×high/th,p) …（２３）
ここで、ｔｈは閾値であり、Ｓは、高感度の画像データと低感度の画像データとの飽和比をＳｈ：Ｓｌとした場合に、Ｓ＝１−｛Ｓｈ／（Ｓｈ＋Ｓｌ）｝で表される値である。例えば、飽和比Ｓｈ：Ｓｌを４：１とした場合、Ｓ＝０．２である。
【０１４１】
（２３）式より、合成データｄａｔａは、高感度の画像データｈｉｇｈに重みMin(high/th,1)が乗算された低感度の画像データを加算し、これに重みMax(-0.2×high/th+1,p)が乗算されたものである。
【０１４２】
重みMin(high/th,1)は、図１９に示すように、高感度の画像データｈｉｇｈがｔｈよりも小さい区間では、ｈｉｇｈが大きくなるに従って傾き（ｈｉｇｈ／ｔｈ）で大きくなる値を出力し、ｈｉｇｈがｔｈ以上の場合には‘１’を出力する関数である。
【０１４３】
また、重みMax(1-S×high/th+1,p)は、図２０に示すように、高感度の画像データｈｉｇｈがｔｈよりも小さい区間では、ｈｉｇｈが大きくなるに従って傾き（１−Ｓ×ｈｉｇｈ／ｔｈ）で小さくなる値を出力し、ｈｉｇｈがｔｈ以上の場合にはＳを出力する関数である。なお、図２０では、Ｓ＝０．２、ｐ＝０．８の場合について示した。
【０１４４】
図２１には、高感度の画像データｈｉｇｈ、低感度の画像データｌｏｗ、及び上記（２３）式の第１項までの合成画像データｄａｔａにおける輝度−階調値（階調値は８ビット換算値）の特性を示した。図２１に示すように、上記（２３）式の第１項は、高感度の画像データｈｉｇｈに図１９に示すような特性の重みMin(high/th,1)が乗算された低感度の画像データｌｏｗが加えられた値となる。
【０１４５】
従って、輝度がＥ１の範囲（高感度の画像データｈｉｇｈが閾値ｔｈ以下の範囲）では、高感度の画像データｈｉｇｈに、high/thの重みが乗算された低感度の画像データｌｏｗが加えられた値となり、輝度がＥ２の範囲では、高感度の画像データｈｉｇｈと低感度の画像データｌｏｗが１対１で加算された値となる。
【０１４６】
また、図２２には、高感度の画像データｈｉｇｈ、低感度の画像データｌｏｗ、及び上記（２３）式の合成画像データｄａｔａにおける輝度−階調値の特性を示した。合成画像データｄａｔａは、高感度の画像データｈｉｇｈに図１９に示すような特性の重みMin(high/th,1)が乗算された低感度の画像データｌｏｗが加えられた値に、さらに図２０に示すような特性の重みMax(1-S×high/th+1,p)が乗算された値である。
【０１４７】
従って、輝度がＥ１の範囲では、合成データｄａｔａは、上記（２３）式の第１項の値に（1-S×high/th）の重みが乗算された値となり、輝度がＥ２の範囲では、上記（２３）式の第１項の値にトータルゲインｐが乗算された値となる。
【０１４８】
ここで、トータルゲインｐは、０．８〜０．９の範囲に設定されるため、図２２に示すように、合成データｄａｔａの特性を表すラインは、高感度の画像データｈｉｇｈの特性を表すラインよりも全体的に下側に下がると共に、上昇の仕方が緩やかとなる。すなわち、合成データｄａｔａのダイナミックレンジは、高感度の画像データｈｉｇｈと比較して広くなる。
【０１４９】
ダイナミックレンジは、トータルゲインｐが小さくなるに従って、すなわちハイコントラストシーンらしさが高いほど広くなり、トータルゲインｐが大きくするに従って、すなわちハイコントラストシーンらしさが低いほど狭くなる。
【０１５０】
これにより、ハイコントラストの度合いが高いときにダイナミックレンジが広くなるため、ハイコントラストシーンを撮影した場合において高感度と低感度の画像データを合成した場合でもハイライト部を適正に再現することができ、ロバスト性のある階調制御が可能となる。
【０１５１】
ところで、上記（２３）式は、以下のように変形することができる。
【０１５２】

ここで、wl=Min(high/th,1)、wt= Max(1-S×high/th+1,p)である。
【０１５３】
上記（２４）式より、ｈ_ｇａｉｎ＝ｗｔ、ｌ_ｇａｉｎ＝ｗｌ・ｗｔとなる。
従って、ｈ_ｇａｉｎ、ｌ_ｇａｉｎは、ｗｌ、ｗｔ、すなわちMin(high/th,1)、Max(1-S×high/th+1,p)を求めることにより定める。そして、合成データは、ｈ_ｇａｉｎで重み付けした高感度の画像データとｌ_ｇａｉｎで重み付けした低感度の画像データとを加算することにより得られる。
【０１５４】
ステップ１１２では、乗算器８２Ａにより、ガンマ補正された高感度のＲ，Ｇ，Ｂデータにステップ１１６で算出したｈ_ｇａｉｎを乗算して加算器８４に出力すると共に、乗算器８２Ｂにより、ガンマ補正された低感度のＲ，Ｇ，Ｂデータにステップ１１６で算出したｌ_ｇａｉｎを乗算して加算器８４に出力する。
【０１５５】
ステップ１２０では、加算器８４により、ｈ_ｇａｉｎが乗算された高感度のＲ，Ｇ，Ｂデータにｌ_ｇａｉｎが乗算された低感度のＲ，Ｇ，Ｂデータが加算され、各色の合成データｄａｔａが生成される。
【０１５６】
ステップ１２２では、リミッタ８６により、各色の合成データｄａｔａが予め定めたビット数（例えば８ビット）で表現できる範囲に収まるように調整される。
【０１５７】
ステップ１２４では、同時化回路３２により、メモリ２４から読み出された点順次のＲ、Ｇ、Ｂ信号が同時式に変換され、ＹＣ信号作成回路３４へ出力される。
【０１５８】
ステップ１２６では、ＹＣ信号作成回路３４により、合成されたＲ、Ｇ、Ｂ信号から輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂとが作成される。これらの輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（ＹＣ信号）は、メモリ３６に格納される。
【０１５９】
ステップ１２８では、圧縮／伸長回路５４により、ＹＣ信号が所定のフォーマットに圧縮される。
【０１６０】
ステップ１３０では、記録部５６により、圧縮された画像データがメモリカードなどの記録媒体に記録される。
【０１６１】
このように、本実施の形態では、画像データのヒストグラムを用いてハイライト側の最大値を求め、これと被写体輝度とにより精度よくハイコントラストらしさを表す評価値を求め、この評価値からダイナミックレンジを調整するトータルゲインｐを求めて高感度と低感度の画像データの特性を変化させている。
【０１６２】
これにより、撮影シーンに応じて適正にダイナミックレンジをコントロールすることができる。例えばハイコントラストらしさの評価値が高いときにのみダイナミックレンジが広くなるため、ハイコントラストシーンを撮影した場合には、どのような撮影シーンにおいても同じように高感度と低感度の画像データを合成する場合と比較して、ハイライト部を適正に再現することができ、ロバスト性のある階調制御が可能となる。
【０１６３】
また、本実施の形態では、高感度の画像データに基づいてホワイトバランス調整用のゲイン値を算出する処理等と並行して低感度の画像データの処理を行うため、処理の高速化を図ることができる。
【０１６４】
なお、本実施の形態では、高感度の受光素子ＰＤ１と低感度の受光素子ＰＤ２の各々を設け、高感度信号及び低感度信号を得る例について説明したが、図２３に示されるように、１つの受光素子ＰＤの受光領域をチャネルストッパ９４により高感度の受光を行う受光面積が広い高感度受光領域９２と低感度の受光を行う受光面積が狭い低感度受光領域９０とに分割し、それぞれの領域により高感度信号及び低感度信号が得られるような構成としてもよい。なお、受光素子ＰＤにはチャネルストッパ９４が設けられているため、高感度で受光された信号と低感度で受光された信号とが混合されずに、双方の信号を別々に受光することができる。
【０１６５】
【発明の効果】
以上説明したように本発明によれば、異なる感度で撮影した画像を合成する場合において、ハイコントラストシーンを撮影した場合でもハイライト部を適正に再現することができる、という効果を有する。
【図面の簡単な説明】
【図１】 本発明に係るデジタルカメラの背面図である。
【図２】 デジタルカメラの上面に設けられたモードダイヤルの平面図である。
【図３】 デジタルカメラの内部構成を示すブロック図である。
【図４】 ＣＣＤの概略構成図である。
【図５】 デジタル信号処理回路のブロック図である。
【図６】 ＥＶ値の求め方について説明するための図である。
【図７】 測光方式について説明するための図である。
【図８】 デジタルカメラの処理の流れを示すフローチャートである。
【図９】 ホワイトバランス調整用のゲイン算出処理の流れを示すフローチャートである。
【図１０】 光源の色分布の範囲としての検出枠を示すグラフである。
【図１１】 日陰らしさを表すメンバシップ関数を示すグラフである。
【図１２】 青空のメンバシップ関数を示すグラフである。
【図１３】 デーライトの屋外らしさを表すメンバシップ関数を示すグラフである。
【図１４】 屋外らしさを表すメンバシップ関数を示すグラフである。
【図１５】 屋内らしさを表すメンバシップ関数を示すグラフである。
【図１６】 画像データのヒストグラムである。
【図１７】 （Ａ）はハイライトデータと評価値１との関係を示す線図、（Ｂ）は被写体輝度と評価値２との関係を示す線図、（Ｃ）は評価値１×評価値２とトータルゲインｐとの関係を示す線図である。
【図１８】 （Ａ）はハイライトデータと評価値１との関係を示す線図、（Ｂ）は被写体輝度と評価値２との関係を示す線図である。
【図１９】 高感度の画像データと重みとの関係を示す線図である。
【図２０】 高感度の画像データと重みとの関係を示す線図である。
【図２１】 高感度画像、低感度画像、及び合成画像の輝度−階調特性を示す線図である。
【図２２】 高感度画像、低感度画像、及び合成画像の輝度−階調特性を示す線図である。
【図２３】 ＣＣＤの他の形態の概略構成図である。
【符号の説明】
１０ 撮影レンズ
１１ デジタルカメラ
１２ ＣＣＤ
１８ ＣＤＳ回路
２０ Ａ／Ｄ変換器
２６ デジタル信号処理回路
３０ 合成処理部
３２ 同時化回路
３４ ＹＣ信号作成回路
４０ カメラ操作部
５２ 液晶モニタ
５４ 伸長回路
５６ 記録部

Claims (3)

1. 被写体を第１の感度及び前記第１の感度よりも低い第２の感度で撮像する撮像素子と、
   前記第１の感度で撮像した第１の撮像画像及び前記第２の感度で撮像した第２の撮像画像の少なくとも一方に基づいて、前記被写体の輝度レベルを検出する輝度レベル検出手段と、
   前記第１の撮像画像のヒストグラムを算出するヒストグラム算出手段と、
   前記ヒストグラムの予め定めたハイライト側のハイライトデータと前記輝度レベルとに基づいてハイコントラストらしさを表す評価値を求め、該求めた評価値に基づいて前記撮像素子のダイナミックレンジを調整するための調整ゲインを算出するゲイン算出手段と、
   前記調整ゲインに基づいて前記第１の撮像画像と前記第２の撮像画像とを合成する合成手段と、
   を備えたデジタルカメラ。
2. 前記ゲイン算出手段は、前記ハイコントラストらしさを表す評価値が高くなるに従って前記合成手段による合成画像のダイナミックレンジが広くなるように作用するメンバシップ関数により前記調整ゲインを算出することを特徴とする請求項１記載のデジタルカメラ。
3. 前記ヒストグラム算出手段及び前記ゲイン算出手段による処理と前記第２の撮像画像に関する処理とを並列して行うことを特徴とする請求項１又は請求項２記載のデジタルカメラ。

Images