JP4229234B2 - デジタルカメラ - Google Patents

Description

本発明は、相対的に高感度の撮像信号と相対的に低感度の撮像信号とを取得する機能を有するデジタルカメラに関する。

ＣＣＤ撮像素子等の固体撮像素子のダイナミックレンジは一般的に狭く、ハイコントラストの被写体を撮影する場合は、固体撮像素子の受光量がダイナミックレンジを越えて固体撮像素子の出力が飽和してしまい、被写体の情報が欠落する場合がある。

このような問題を解決するため、相対的に高感度の光電変換素子から得られる高感度画像データと、相対的に低感度の光電変換素子から得られる低感度画像データとの合成処理を行うことにより、ダイナミックレンジの拡大を図ったデジタルカメラが提案されている（例えば、特許文献１参照）。

特開平４−２９８１７５号公報 特開２０００−６９３５５号公報

特許文献１記載のデジタルカメラにおいては、上記合成処理を行わずに、低感度画像データのみを利用することが理論上可能である。ところが、低感度画像データをゲイン倍してガンマ補正を行うと、相対的に低感度の光電変換素子から得られる画像データの割に、その低輝度領域にノイズが目立ちがちになってしまうため、実用性に乏しい。

本発明は、上記事情に鑑みて為されたものであり、相対的に低感度の撮像信号を利用した高画質の画像を得ることが可能なデジタルカメラを提供することを目的とする。

本発明のデジタルカメラは、相対的に高感度の撮像信号と相対的に低感度の撮像信号とを取得する機能を有するデジタルカメラであって、前記低感度の撮像信号に基づく低感度撮影画像データを生成する低感度撮影モードを有し、前記低感度撮影モード時に、前記低感度撮影画像データの低輝度領域のノイズを低減するためのノイズ低減処理を行うノイズ低減処理手段を備え、前記ノイズ低減処理手段は、前記高感度の撮像信号に基づいて生成されるノイズ低減用信号を利用して前記ノイズ低減処理を行うものである。

この構成により、低感度撮影モードで撮影する場合に、低感度の撮像信号に基づく低感度撮影画像データの低輝度領域のノイズを、高感度の撮像信号を利用して低減することができる。このため、品質の高い低感度撮影を実現することができる。

又、本発明のデジタルカメラは、前記ノイズ低減用信号を生成するノイズ低減用信号生成手段を備え、前記ノイズ低減用信号生成手段が、前記低感度の撮像信号がとり得る被写体輝度の最大値に対する前記低感度の撮像信号の飽和値の比と、前記高感度の撮像信号がとり得る被写体輝度の最大値に対する前記高感度の撮像信号の飽和値の比とを略同一にするためのゲインを前記高感度の撮像信号に乗じ、前記ゲインを乗じた高感度の撮像信号を前記ノイズ低減用信号とするものである。

又、本発明のデジタルカメラは、前記低感度の撮像信号がとり得る被写体輝度の最大値が、前記ゲインを乗じた高感度の撮像信号がとり得る被写体輝度の最大値よりも大きいものである。

又、本発明のデジタルカメラは、相対的に高感度の光電変換信号を出力する第１の光電変換素子と相対的に低感度の光電変換信号を出力する第２の光電変換素子とを含む固体撮像素子を備え、前記高感度の撮像信号が前記第１の光電変換素子から取得されたものであり、前記低感度の撮像信号が前記第２の光電変換素子から取得されたものである。

本発明によれば、相対的に低感度の撮像信号を利用した高画質の画像を得ることが可能なデジタルカメラを提供することができる。

図１は、本発明の実施形態を説明するためのデジタルカメラの概略構成を示す図である。
図１のデジタルカメラは、撮像部１と、アナログ信号処理部２と、Ａ／Ｄ変換部３と、駆動部４と、デジタル信号処理部６と、圧縮／伸張処理部７と、表示部８と、システム制御部９と、内部メモリ１０と、メディアインタフェース１１と、記録メディア１２と、操作部１３とを備える。デジタル信号処理部６、圧縮／伸張処理部７、表示部８、システム制御部９、内部メモリ１０、及びメディアインタフェース１１は、システムバス２０に接続されている。

撮像部１は、撮影レンズ等の光学系及びＣＣＤイメージセンサ等の撮像素子によって被写体の撮影を行うものであり、アナログの撮像信号を出力する。アナログ信号処理部２は、撮像部１で得られたアナログの撮像信号に所定のアナログ信号処理を施す。Ａ／Ｄ変換部３は、アナログ信号処理部２で処理後のアナログの撮像信号をデジタルに変換する。Ａ／Ｄ変換部３の出力はデジタル信号処理部６に送られる。

撮影に際しては、駆動部４を介して光学系の制御が行われる。撮像素子として利用されるＣＣＤイメージセンサ等の固体撮像素子は、半導体基板表面に行方向とこれに直交する列方向に配設された複数の光電変換領域を有し、入射光に対応して発生され、蓄積された信号電荷に基づいたアナログの撮像信号を出力する。固体撮像素子は、操作部１３の一部であるレリーズボタン（図示せず）の操作によるレリーズスイッチ（図示せず）オンを契機として、所定のタイミングで、駆動部４に含まれるタイミングジェネレータ（図１ではＴＧと記載）からの駆動信号によって駆動される。駆動部４は、システム制御部９によって所定の駆動信号を出力する。

撮像部１は、相対的に高感度のアナログの撮像信号（以下、高感度撮像信号ともいう）と相対的に低感度のアナログの撮像信号（以下、低感度撮像信号ともいう）とを出力するものであり、これらの撮像信号は、共にアナログ信号処理部２及びＡ／Ｄ変換部３を経てデジタルの撮像信号に変換され、デジタル信号処理部６に送られる。

感度の異なる撮像信号は、特許文献１に示すように高感度画素と低感度画素とを有する固体撮像素子を利用することによって取得しても良いし、特開２００１−９４８７０号公報に示すように露光条件又はアナログゲインを変更することによって取得しても良いし、以下の図２に示すような固体撮像素子を用いることによって取得しても良い。

図２は、高感度撮像信号と低感度撮像信号とを出力可能な固体撮像素子の概略構成を示す図である。
図２は、いわゆるハニカム構造の固体撮像素子の部分拡大平面図であって、この固体撮像素子は、半導体基板表面に行方向（矢印Ｘで示す方向）とこれに直交する列方向（矢印Ｙ方向）に配設された複数の光電変換領域２０１〜２０３（図では一部のみに番号を付してある）、垂直転送部２０４〜２０９、水平転送部２１０、及び出力部２１１を含む。

複数の光電変換領域２０１〜２０３の内の奇数列のものは、偶数列のものに対して光電変換領域同士の列方向ピッチの略1／２だけ列方向にずれており、又、奇数行の光電変換領域は、偶数行の光電変換領域に対して光電変換領域同士の行方向ピッチの略１／２だけ行方向にずれて配置される。

光電変換領域２０１〜２０３は、入射光量に対応した信号電荷を発生し、蓄積するもので、例えばフォトダイオード等の光電変換素子が配置された領域である。光電変換領域２０１〜２０３は、相対的に広い受光面積を有する主領域ｍと相対的に狭い受光面積を有する副領域ｓに分割され、それぞれ所定の分光感度の光に対応する信号電荷を発生し、蓄積する。

垂直転送部２０４〜２０９は、光電変換領域２０１〜２０３からの信号電荷を読み出し、列方向に転送するものであり、光電変換領域２０１〜２０３の各列に対応してその側方に設けられる。列方向の転送は、主領域ｍの信号電荷と副領域ｓの信号電荷を、それぞれ独立に垂直転送部２０４〜２０９に読み出して行う。

水平転送部２１０は、複数の垂直転送部２０４〜２０９からの信号電荷が転送され、転送された信号電荷を行方向に転送するものである。出力部２１１は、転送された信号電荷量に応じたアナログの撮像信号を出力するものである。

デジタル信号処理部６は、例えばＤＳＰで構成され、Ａ／Ｄ変換部３からのデジタルの撮像信号に対して、操作部１２によって設定された動作モードに応じたデジタル信号処理を行う。デジタル信号処理部６が行う処理には、黒レベル補正処理（ＯＢ処理）、リニアマトリクス補正処理、ホワイトバランス調整処理、ガンマ補正処理、画像合成処理、同時化処理、及びＹ／Ｃ変換処理等が含まれる。画像合成処理とは、撮像部１から得られる高感度撮像信号に基づく高感度撮影画像データと低感度撮像信号に基づく低感度撮影画像データとを合成した合成画像データを生成する処理である。この画像合成処理により、デジタルカメラ１００のダイナミックレンジを拡大することができる。デジタルカメラ１００は、この画像合成処理を行わずに、低感度撮像信号に基づく低感度撮影画像データのみを生成して記録可能な低感度撮影モードを有する。

デジタル信号処理部６は、低感度撮影モード時、低感度撮像信号に基づく低感度撮影画像データの低輝度領域のノイズを低減するためのノイズ低減処理を行う。デジタル信号処理部６は、高感度撮像信号に基づいてノイズ低減用信号を生成し、このノイズ低減用信号を用いて上記ノイズ低減処理を行う。
デジタル信号処理部６は、低感度撮像信号がとり得る被写体輝度の最大値に対する低感度撮像信号の飽和値の比ｘと、高感度撮像信号のとり得る被写体輝度の最大値に対する高感度撮像信号の飽和値の比ｙとを略同一にするためのゲインを高感度撮像信号に乗じ、ゲインを乗じた高感度撮像信号をノイズ低減用信号とする。

圧縮／伸張処理部７は、デジタル信号処理部６でデジタル処理後の撮影画像データ（ＹＣデータ）に対して圧縮処理を施すとともに、記録メディア１２から得られた圧縮画像データに対して伸張処理を施す。

表示部８は、例えばＬＣＤ表示装置を含んで構成され、撮影されてデジタル信号処理を経た撮影画像データに基づく画像を表示する。記録メディアに記録された圧縮画像データを伸張処理して得た画像データに基づく画像の表示も行う。また、撮影時のスルー画像、デジタルカメラの各種状態、操作に関する情報の表示等も可能である。

内部メモリ１０は、例えばＤＲＡＭであり、デジタル信号処理部６やシステム制御部９のワークメモリとして利用される他、記録メディア１２に記録される画像データを一時的に記憶するバッファメモリや表示部８への表示画像データのバッファメモリとしても利用される。メディアインタフェース１１は、メモリカード等の記録メディア１２との間のデータの入出力を行うものである。

システム制御部９は、所定のプログラムによって動作するプロセッサを主体に構成され、撮影動作を含むデジタルカメラ全体の統括制御を行う。

操作部１３は、デジタルカメラ使用時の各種操作を行うものである。

以下、デジタルカメラ１００の動作を図面を参照して説明する。以下では、撮像部１から出力される高感度撮像信号と低感度撮像信号との感度比が１６：１である場合を例にして説明する。図３は、本発明の実施形態を説明するためのデジタルカメラの動作フローを示す図である。図４は、撮像部１から出力されＡ／Ｄ変換された後の高感度撮像信号と低感度撮像信号を示す図である。

操作部１３の操作により低感度撮影モードが設定され、撮影が行われると（Ｓ３０１）、撮像部１からアナログの高感度撮像信号及び低感度撮像信号が出力される（Ｓ３０２）。アナログの高感度撮像信号及び低感度撮像信号は、アナログ信号処理を経た後、デジタルの高感度撮像信号及び低感度撮像信号に変換され、内部メモリ１０に一時記憶される（Ｓ３０３）。

図４（ａ）に示すように、内部メモリ１０に記憶されたデジタルの高感度撮像信号は、被写体輝度ｃで飽和値４０９５に達している。一方、内部メモリ１０に記憶されたデジタルの低感度撮像信号は、被写体輝度４×ｃで飽和値４０９５／４に達している。

デジタル信号処理部６は、ノイズ低減用信号を生成するために、低感度撮像信号を４倍し（Ｓ３０４）、高感度撮像信号を１／４倍する（Ｓ３０５）。これにより、図４（ｂ）に示すように、高感度撮像信号は、被写体輝度ｃで飽和値４０９５／４に達し、低感度撮像信号は、被写体輝度４ｃで飽和値４０９５に達する。このため、比ｘと比ｙとはほぼ同一となる。

その後、デジタル信号処理部６は、４倍後の低感度撮像信号に、画像合成処理時に使用するガンマカーブよりも低輝度領域の傾きが緩やかなガンマカーブを用いてガンマ変換を行い（Ｓ３０６）、１／４倍後の高感度撮像信号にも同様のガンマカーブを用いてガンマ変換を行う（Ｓ３０７）。尚、このガンマ変換は省略しても良い。

デジタル信号処理部６は、ガンマ変換後の高感度撮像信号をノイズ低減用信号とし、高感度撮像信号のとり得る被写体輝度ｃまでの出力値を利用して、ガンマ変換後の低感度撮像信号の低輝度領域（例えば、被写体輝度０〜ｃまでの領域）に含まれるノイズを低減する処理を行う（Ｓ３０８）。ノイズ低減は、例えば、低感度撮像信号の低輝度領域の出力値と高感度撮像信号のとり得る被写体輝度ｃまでの出力値とを加算平均することで行う。

ノイズ低減処理後、デジタル信号処理部６は、低感度撮像信号のとり得る被写体輝度の最大値がｃより小さいか否か判定する（Ｓ３０９）。ここでは、低感度撮像信号のとり得る被写体輝度の最大値がｃより大きいため、デジタル信号処理部６は、ノイズ低減処理後の低感度撮像信号に所定のデジタル信号処理を行って低感度撮影画像データを生成する（Ｓ３１０）。生成された低感度撮影画像データは圧縮され、記録メディア１２に記録される（Ｓ３１１）。

Ｓ３０９の判定で、低感度撮像信号のとり得る被写体輝度の最大値がｃより小さかった場合（Ｓ３０９：ＹＥＳ）、デジタル信号処理部６は、ノイズ低減後の低感度撮像信号を破棄し、ガンマ変換後の高感度撮像信号に所定のデジタル信号処理を行って高感度撮影画像データを生成する（Ｓ３１２）。そしてＳ３１１に処理を移行する。尚、Ｓ３０９：ＹＥＳの場合に、ノイズ低減後の低感度撮像信号を破棄せずに、その低感度撮像信号に所定のデジタル信号処理を行って低感度撮影画像データを生成することも設定により可能である。

以上のようにデジタルカメラ１００によれば、低感度撮影モードが設定された場合、低感度撮像信号に基づく低感度撮影画像データの低輝度領域のノイズを、高感度撮像信号を利用して低減することができる。このため、ハイライト領域にある被写体を低感度で撮影することができると共に、低感度でもノイズの少ない良質な低感度撮影画像データを生成することが可能となる。

尚、上記では、デジタルの高感度撮像信号及び低感度撮像信号を利用してデジタルのノイズ低減用信号を生成しているが、撮像部１から出力されたアナログの高感度撮像信号及び低感度撮像信号を利用してアナログのノイズ低減用信号を生成しても良い。この場合は、例えば、アナログ信号処理部２でアナログのノイズ低減用信号を生成する。又、このようにして生成したノイズ低減用信号を利用して、アナログ信号処理部２内でアナログの低感度撮像信号のノイズを低減しておくようにしても良い。

又、上記では、デジタルの低感度撮像信号に対してノイズ低減処理を行っているが、デジタルの低感度撮像信号に所定のデジタル信号処理を施した後に得られる低感度撮影画像データに対してノイズ低減処理を行っても良い。

又、上記において、撮像信号とは、固体撮像素子の画素単位の信号のことであり、撮影画像データとは、画素単位の撮像信号にＲＧＢ補間やＹＣ分離処理等を施した後のデジタルデータのことを示す。

本発明の実施形態を説明するためのデジタルカメラの概略構成を示す図 高感度撮像信号と低感度撮像信号とを出力可能な固体撮像素子の概略構成を示す図 本発明の実施形態を説明するためのデジタルカメラの動作フローを示す図 本発明の実施形態を説明するためのデジタルカメラの撮像部から出力されＡ／Ｄ変換された後の高感度撮像信号と低感度撮像信号を示す図

符号の説明

１００ デジタルカメラ
１ 撮像部
６ デジタル信号処理部

Claims (5)

1. 相対的に高感度の撮像信号と相対的に低感度の撮像信号とを取得する機能を有するデジタルカメラであって、
   前記低感度の撮像信号に基づく低感度撮影画像データを生成する低感度撮影モードを有し、
   前記低感度撮影モード時に、前記低感度撮影画像データの低輝度領域のノイズを低減するためのノイズ低減処理を行うノイズ低減処理手段を備え、
   前記ノイズ低減処理手段は、前記高感度の撮像信号に基づいて生成されるノイズ低減用信号を利用して前記ノイズ低減処理を行うものであるデジタルカメラ。
2. 請求項１記載のデジタルカメラであって、
   前記ノイズ低減用信号を生成するノイズ低減用信号生成手段を備え、
   前記ノイズ低減用信号生成手段は、前記低感度の撮像信号がとり得る被写体輝度の最大値に対する前記低感度の撮像信号の飽和値の比と、前記高感度の撮像信号がとり得る被写体輝度の最大値に対する前記高感度の撮像信号の飽和値の比とを略同一にするためのゲインを前記高感度の撮像信号に乗じ、前記ゲインを乗じた高感度の撮像信号を前記ノイズ低減用信号とするものであるデジタルカメラ。
3. 請求項２記載のデジタルカメラであって、
   前記ノイズ低減処理手段は、前記ゲインを乗じた高感度の撮像信号の低輝度領域の撮像信号と、前記低感度の撮像信号の低輝度領域の撮像信号とを加算平均することで、前記ノイズ低減処理を行うデジタルカメラ。
4. 請求項２又は３記載のデジタルカメラであって、
   前記低感度の撮像信号がとり得る被写体輝度の最大値は、前記ゲインを乗じた高感度の撮像信号がとり得る被写体輝度の最大値よりも大きいものであるデジタルカメラ。
5. 請求項１〜４のいずれか記載のデジタルカメラであって、
   相対的に高感度の光電変換信号を出力する第１の光電変換素子と相対的に低感度の光電変換信号を出力する第２の光電変換素子とを含む固体撮像素子を備え、
   前記高感度の撮像信号は前記第１の光電変換素子から取得されたものであり、前記低感度の撮像信号は前記第２の光電変換素子から取得されたものであるデジタルカメラ。

Images