JP2010068331A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】露光量を変え複数回の撮影を行って画像を合成することなく、１回の撮影でダイナミックレンジを拡大することができる撮像装置および撮像方法を提供する。
【解決手段】ＳＤＲＡＭ２３から一つのＲＡＷ−ＲＧＢデータを読み出して、ＹＵＶ変換部３６内のＤレンジ拡大補正部で補正された画素出力から生成される第１ＹＵＶデータと、Ｄレンジ拡大補正部で補正処理を行うことなく飽和領域に達している画素出力から生成される第２ＹＵＶデータをＹＵＶ合成部３７に取り込み、ＹＵＶ合成部３７で第１ＹＵＶデータから取り出した輝度データと、第２ＹＵＶデータから取り出した色差データとを合成して、第３ＹＵＶデータを生成する。
【選択図】図２

Description

本発明は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置および撮像方法に関し、特に撮影画像のダイナミックレンジを拡大することができる撮像装置および撮像方法に関する。

銀塩写真フィルムを用いる従来の銀塩カメラで撮影される画像のダイナミックレンジに比べ、ＣＣＤ等の固体撮像素子を有するデジタルスチルカメラやデジタルビデオカメラ等で撮影される画像のダイナミックレンジは極めて狭い。ダイナミックレンジが狭いと、被写体の暗い部分は「黒つぶれ」といわれる現象が発生し、逆に被写体の明るい部分は「白とび」といわれる現象が発生して画像品質が低下する。

そこで、ＣＣＤ等の固体撮像素子で撮像される画像のダイナミックレンジを拡大するために、例えば、同一被写体に対して露光量を変えて複数回の撮影を行い、露光量の異なる複数の画像を取得し、これらの画像を加算してダイナミックレンジが拡大された合成画像を生成する技術が従来より知られている（例えば、特許文献１参照）。
特開２０００−９２３７８号公報

ところで、ダイナミックレンジを拡大するために、前記特許文献１のように露光量を変えて複数回の撮影を行う方法では、移動物体の被写体を撮影したりすると、被写体が２重にずれた画像になり、正しく画像を合成できないことがある。

そこで、本発明は、露光量を変え複数回の撮影を行って画像を合成することなく、１回の撮影によってダイナミックレンジを拡大することができる撮像装置および撮像方法を提供することを目的とする。

前記目的を達成するために請求項１に記載の撮像装置は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子と、前記各画素からの出力を検出するとともに、検出した画素出力に基づいて周辺のある特定色のフィルタが配置された画素からの出力が、入出力特性が線形でなくなる飽和領域に達しているか否かを判定する周辺画素飽和判定手段と、前記周辺画素飽和判定手段により、前記特定色のフィルタが配置された画素からの出力が前記飽和領域に達していると判定した場合に、その周囲の前記特定色以外のフィルタが配置された画素からの出力に基づいて、前記特定色のフィルタが配置された画素からの出力を補正する飽和画素出力補正処理手段と、前記飽和画素出力補正処理手段により前記補正処理された画素出力から生成される第１ＹＵＶデータと、前記飽和画素出力補正処理手段で前記補正処理を行うことなく前記飽和領域に達している画素出力から生成される第２ＹＵＶデータとを取り込み、前記第１ＹＵＶデータから取り出した輝度データと、前記第２ＹＵＶデータから取り出した色差データとを合成した第３ＹＵＶデータを生成するＹＵＶ合成手段と、を有することを特徴としている。

請求項２に記載の撮像装置は、前記周辺画素飽和判定手段で前記各画素の出力を検出する際の処理単位は、水平・垂直方向に２×２画素の大きさであることを特徴としている。

請求項３に記載の撮像装置は、前記特定色のフィルタが配置された画素の出力に対して、前記飽和領域に達しているときに前記補正させる動作を、選択して実行させるための動作選択手段を備えていることを特徴としている。

請求項４に記載の撮像装置は、前記特定色のフィルタが配置された画素の出力が前記飽和領域に達している場合に前記飽和画素出力補正処理手段から出力される、前記画素出力の飽和領域を表現可能な第１のビット数から前記画素出力の飽和レベルを超えて表現可能な第２のビット数に一度拡張された画素出力のデータを、再度前記第１のビット数に圧縮するビット圧縮変換手段を備え、前記ビット圧縮変換手段は、前記飽和領域以上における画素出力に対応したデータに対する圧縮率よりも、前記飽和領域以下における画素出力に対応したデータに対する圧縮率を小さくして圧縮することを特徴としている。

請求項５に記載の撮像装置は、前記飽和領域以下で低輝度レベルにおける画素出力に対応したデータに対しては、前記ビット圧縮変換手段でビット圧縮する前とビット圧縮した後で略同じ値となるような圧縮率を用いることを特徴としている。

請求項６に記載の撮像装置は、前記処理単位内に欠陥画素がある場合には、前記欠陥画素の代わりに該欠陥画素の周囲にある前記欠陥画素と同じ色のフィルタが配置された画素を用いることを特徴としている。

請求項７に記載の撮像方法は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を備えた撮像装置の撮像方法において、前記各画素からの出力を検出するとともに、検出した画素出力に基づいて周辺のある特定色のフィルタが配置された画素からの出力が、入出力特性が線形でなくなる飽和領域に達しているか否かを判定する周辺画素飽和判定処理ステップと、前記周辺画素飽和判定処理ステップにより、特定色のフィルタが配置された画素からの出力が前記飽和領域に達していると判定した場合に、その周囲の前記特定色以外のフィルタが配置された画素からの出力に基づいて、前記特定色のフィルタが配置された画素からの出力を補正する飽和画素出力補正処理ステップと、前記飽和画素出力補正処理ステップにより前記補正処理された画素出力から生成される第１ＹＵＶデータと、前記飽和画素出力補正処理ステップで前記補正処理を行うことなく前記飽和領域に達している画素出力から生成される第２ＹＵＶデータとを取り込み、前記第１ＹＵＶデータから取り出した輝度データと、前記第２ＹＵＶデータから取り出した色差データとを合成した第３ＹＵＶデータを生成するＹＵＶ合成処理ステップと、を含むことを特徴としている。

請求項８に記載の撮像方法は、前記周辺画素飽和判定処理ステップで前記各画素の出力を検出する際の処理単位は、水平・垂直方向に２×２画素の大きさであることを特徴としている。

請求項９に記載の撮像方法は、前記特定色のフィルタが配置された画素からの出力に対して、前記飽和領域に達しているときに前記補正させる動作は、動作選択手段で動作選択することにより実行されることを特徴としている。

請求項１０に記載の撮像方法は、前記特定色のフィルタが配置された画素の出力が前記飽和領域に達している場合に前記飽和画素出力補正処理手段から出力される、前記画素出力の飽和領域を表現可能な第１のビット数から前記画素出力の飽和領域を超えて表現可能な第２のビット数に一度拡張された画素出力のデータを、再度前記第１のビット数に圧縮するビット圧縮変換処理ステップを有し、前記ビット圧縮変換処理ステップは、前記飽和領域以上における画素出力に対応したデータに対する圧縮率よりも、前記飽和領域以下における画素出力に対応したデータに対する圧縮率を小さくして圧縮することを特徴としている。

請求項１１に記載の撮像方法は、前記飽和領域以下で低輝度レベルにおける画素出力に対応したデータに対しては、前記ビット圧縮変換処理ステップでビット圧縮する前とビット圧縮した後で略同じ値となるような圧縮率を用いて圧縮することを特徴としている。

請求項１２に記載の撮像方法は、前記処理単位内に欠陥画素がある場合には、前記欠陥画素の代わりに該欠陥画素の周囲にある前記欠陥画素と同じ色のフィルタが配置された画素を用いることを特徴としている。

請求項１、７に記載の発明によれば、特定色のフィルタが配置された画素からの出力が飽和領域に達していると判定した場合に、その周囲の飽和していない他の色のフィルタが配置された画素からの出力に基づいて、飽和領域以上における画素出力を補正してダイナミックレンジを拡大することにより、露光量を変え複数回の撮影を行って画像を合成することなく、１回の撮影によってダイナミックレンジを拡大することができる。

更に、請求項１、７に記載の発明によれば、補正処理された画素出力から生成される第１ＹＵＶデータと、補正処理を行うことなく飽和領域に達している画素出力から生成される第２ＹＵＶデータを取り込んで、第１ＹＵＶデータから取り出した輝度データ（Ｙデータ）と、第２ＹＵＶデータから取り出した色差データ（ＵＶデータ）とを合成して、第３ＹＵＶデータを生成する。これにより、補正処理された画素出力から生成される第１ＹＵＶデータの輝度データについてのみダイナミックレンジの拡大を行い、色は元の色差データを用いることで、ダイナミックレンジ拡大時における色相のずれを防止して正確な色の再現を行うことができる。

請求項３、９に記載の発明によれば、特定色のフィルタが配置された画素の出力に対して、飽和領域に達しているときに補正させる動作を、動作選択手段で動作選択することにより撮影者の判断で行うことができる。

請求項４、１０に記載の発明によれば、飽和領域以上における画素出力に対応したデータに対する圧縮率よりも、飽和領域以下における画素出力に対応したデータに対する圧縮率を小さくして圧縮することにより、飽和領域以下における階調性を良好に保持することができる。

請求項５、１１に記載の発明によれば、飽和領域以下で低輝度レベルにおける画素出力に対応したデータに対しては、ビット圧縮する前とビット圧縮した後で略同じ値となるような圧縮率を用いることにより、低輝度レベルにおける階調性を良好に保持することができる。

請求項６、１２に記載の発明によれば、処理単位内に欠陥画素がある場合には、欠陥画素の代わりに該欠陥画素の周囲にある前記欠陥画素と同じ色のフィルタが配置された画素を用いることにより、特定色のフィルタが配置された画素の出力が飽和領域に達しているか否かを判定する際に、欠陥画素を用いることがなくなるので、特定色のフィルタが配置された画素の出力に対して、飽和領域に達しているときに精度の高い補正を行うことができる。

以下、本発明を図示の実施形態に基づいて説明する。
〈実施形態１〉

図１（ａ）は、本発明の実施形態１に係る撮像装置の一例としてのデジタルスチルカメラ（以下、「デジタルカメラ」という）を示す正面図、図１（ｂ）は、その上面図、図１（ｃ）は、その背面図、図２は、図１（ａ），（ｂ），（ｃ）に示したデジタルカメラ内のシステム構成の概要を示すブロック図である。

（デジタルカメラの外観構成）
図１（ａ），（ｂ），（ｃ）に示すように、本実施形態に係るデジタルカメラ１の上面側には、レリーズボタン（シャッタボタン）２、電源ボタン３、撮影・再生切替ダイアル４が設けられており、デジタルカメラ１の正面（前面）側には、撮影レンズ系５を有する鏡胴ユニット６、ストロボ発光部（フラッシュ）７、光学ファインダ８が設けられている。

デジタルカメラ１の背面側には、液晶モニタ（ＬＣＤ）９、前記光学ファインダ８の接眼レンズ部８ａ、広角側ズーム（Ｗ）スイッチ１０、望遠側ズーム（Ｔ）スイッチ１１、メニュー（ＭＥＮＵ）ボタン１２、確定ボタン（ＯＫボタン）１３等が設けられている。また、デジタルカメラ１の側面内部には、撮影した画像データを保存するためのメモリカード１４（図２参照）を収納するメモリカード収納部１５が設けられている。

（デジタルカメラのシステム構成）
図２に示すように、このデジタルカメラ１は、鏡胴ユニット６の撮影レンズ系５を通して入射される被写体画像が受光面上に結像する固体撮像素子としてのＣＣＤ２０、ＣＣＤ２０から出力される電気信号（アナログＲＧＢ画像信号）をデジタル信号に処理するアナログフロントエンド部（以下、「ＡＦＥ部」という）２１、ＡＦＥ部２１から出力されるデジタル信号を処理する信号処理部２２、データを一時的に格納するＳＤＲＡＭ２３、制御プログラム等が記憶されたＲＯＭ２４、鏡胴ユニット６を駆動するモータドライバ２５等を有している。

鏡胴ユニット６は、ズームレンズやフォーカスレンズ等を有する撮影レンズ系５、絞りユニット２６、メカシャッタユニット２７を備えており、撮影レンズ系５、絞りユニット２６、メカシャッタユニット２７の各駆動ユニットは、モータドライバ２５によって駆動される。モータドライバ２５は、信号処理部２２の制御部（ＣＰＵ）２８からの駆動信号により駆動制御される。

ＣＣＤ２０は、ＣＣＤ２０を構成する複数の画素上にＲＧＢ原色フィルタ（図７参照：以下、「ＲＧＢフィルタ」という）が配置されており、ＲＧＢ３原色に対応した電気信号（アナログＲＧＢ画像信号）が出力される。

ＡＦＥ部２１は、ＣＣＤ２０を駆動するＴＧ（タイミング信号発生部）３０、ＣＣＤ２０から出力される電気信号（アナログＲＧＢ画像信号）をサンプリングするＣＤＳ（相関２重サンプリング部）３１、ＣＤＳ３１にてサンプリングされた画像信号のゲインを調整するＡＧＣ（アナログ利得制御部）３２、ＡＧＣ３２でゲイン調整された画像信号をデジタル信号（以下、「ＲＡＷ−ＲＧＢデータ」という）に変換するＡ／Ｄ変換部３３を備えている。

信号処理部２２は、ＡＦＥ部２１のＴＧ３０へ画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）の出力を行い、これらの同期信号に合わせて、ＡＦＥ部２１のＡ／Ｄ変換部３３から出力されるＲＡＷ−ＲＧＢデータを取り込むカメラインターフェース（以下、「カメラＩ／Ｆ」という）３４と、ＳＤＲＡＭ２３を制御するメモリコントローラ３５と、取り込んだＲＡＷ−ＲＧＢデータを表示や記録が可能なＹＵＶ形式の画像データに変換するＹＵＶ変換部３６と、後述するＹＵＶ合成部３７と、表示や記録される画像データのサイズに合わせて画像サイズを変更するリサイズ処理部３８と、画像データの表示出力を制御する表示出力制御部３９と、画像データをＪＰＥＧ形成などで記録するためのデータ圧縮部４０と、画像データをメモリカード１４へ書き込み、又はメモリカード１４に書き込まれた画像データを読み出すメディアインターフェース（以下、「メディアＩ／Ｆ」という）４１と、操作部４２からの操作入力情報に基づき、ＲＯＭ２４に記憶された制御プログラムに基づいてデジタルカメラ１全体のシステム制御等を行う制御部（ＣＰＵ）２８を備えている。

操作部４２は、デジタルカメラ１（図１（ａ），（ｂ），（ｃ）参照）の外観表面に設けられているレリーズボタン２、電源ボタン３、撮影・再生切替ダイアル４、広角側ズームスイッチ１０、望遠側ズームスイッチ１１、メニューボタン１２、確定ボタン１３等であり、撮影者の操作によって所定の動作指示信号が制御部２８に入力される。

ＳＤＲＡＭ２３には、カメラＩ／Ｆ３４に取り込まれたＲＡＷ−ＲＧＢデータが保存されると共に、ＹＵＶ変換部３６で変換処理されたＹＵＶデータ（ＹＵＶ形式の画像データ）およびＹＵＶ合成部３７で合成処理されたＹＵＶデータ（詳細は後述する）等が保存され、更に、データ圧縮部４０で圧縮処理されたＪＰＥＧ形成などの画像データ等が保存される。

なお、前記ＹＵＶデータのＹＵＶは、輝度データ（Ｙ）と、色差（輝度データと青色（Ｂ）データの差分（Ｕ）と、輝度データと赤色（Ｒ）の差分（Ｖ））の情報で色を表現する形式である。

ＹＵＶ変換部３６は、図３に示すように、後述するダイナミックレンジ拡大補正部（以下、「Ｄレンジ拡大補正部」という）５０、ビット圧縮変換部５１、ホワイトバランス制御部５２、同時化部５３、トーンカーブ変換部５４、ＲＧＢ−ＹＵＶ変換部５５、画像サイズコンバータ部５６、エッジエンハンス部５７を備えている。

（デジタルカメラのモニタリング動作、通常の静止画撮影動作）
次に、前記したデジタルカメラ１のモニタリング動作と通常の静止画撮影動作について説明する。このデジタルカメラ１は、静止画撮影モード時には、以下に説明するようなモニタリング動作と静止画撮影動作が行われる。

先ず、撮影者が電源ボタン３をＯＮし、撮影・再生切替ダイアル４を撮影モードに設定することで、デジタルカメラ１が記録モードで起動する。電源ボタン３がＯＮされて、撮影・再生切替ダイアル４が撮影モードに設定されたことを制御部２８が検知すると、制御部２８はモータドライバ２５に制御信号を出力して、鏡胴ユニット６を撮影可能位置に移動させ、かつ、ＣＣＤ２０、ＡＦＥ部２１、信号処理部２２、ＳＤＲＡＭ２３、ＲＯＭ２４、液晶モニタ９等を起動させる。

そして、鏡胴ユニット６の撮影レンズ系５を被写体に向けることにより、撮影レンズ系５を通して入射される被写体画像がＣＣＤ２０の各画素の受光面上に結像する。そして、ＣＣＤ２０から出力される被写体画像に応じた電気信号（アナログＲＧＢ画像信号）は、ＣＤＳ３１、ＡＧＣ３２を介してＡ／Ｄ変換部３３に入力され、Ａ／Ｄ変換部３３により１２ビット（bit）のＲＡＷ−ＲＧＢデータに変換する。

このＲＡＷ−ＲＧＢデータは、信号処理部２２のカメラＩ／Ｆ３４に取り込まれてメモリコントローラ３５を介してＳＤＲＡＭ２３に保存される。そして、ＳＤＲＡＭ２３から読み出されたＲＡＷ−ＲＧＢデータは、ＹＵＶ変換部３６で表示可能な形式であるＹＵＶデータ（ＹＵＶ信号）に変換された後に、メモリコントローラ３５を介してＳＤＲＡＭ２３にＹＵＶデータが保存される。

そして、ＳＤＲＡＭ２３からメモリコントローラ３５を介して読み出したＹＵＶデータは、表示出力制御部３９を介して液晶モニタ（ＬＣＤ）９へ送られ、撮影画像（動画）が表示される。前記した液晶モニタ（ＬＣＤ）９に撮影画像を表示しているモニタリング時においては、カメラＩ／Ｆ３４による画素数の間引き処理により１／３０秒の時間で１フレームを読み出している。

なお、このモニタリング動作時は、電子ファインダとして機能する液晶モニタ（ＬＣＤ）９に撮影画像が表示されているだけで、まだレリーズボタン２が押圧（半押も含む）操作されていない状態である。

この撮影画像の液晶モニタ（ＬＣＤ）９への表示によって、撮影画像を撮影者が確認することができる。なお、表示出力制御部３９からＴＶビデオ信号として出力して、ビデオケーブルを介して外部のＴＶ（テレビ）に撮影画像（動画）を表示することもできる。

そして、信号処理部２２のカメラＩ／Ｆ３４は、取り込んだＲＡＷ−ＲＧＢデータより、ＡＦ（自動合焦）評価値、ＡＥ（自動露出）評価値、ＡＷＢ（オートホワイトバランス）評価値を算出する。

ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、ＡＦ動作時（合焦検出動作時）には、撮影レンズ系５内の各フォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦検出位置としてＡＦ動作が実行される。

ＡＥ評価値とＡＷＢ評価値は、ＲＡＷ−ＲＧＢデータにおけるＲＧＢ値のそれぞれの積分値から算出される。例えば、ＣＣＤ２０の全画素の受光面に対応した画面を２５６エリアに等分割（水平１６分割、垂直１６分割）し、それぞれのエリアのＲＧＢ積算を算出する。

そして、制御部２８は、算出されたＲＧＢ積算値を読み出し、ＡＥ処理では、画面のそれぞれのエリアの輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件（ＣＣＤ２０の電子シャッタ回数、絞りユニット２６の絞り値等）を設定する。また、ＡＷＢ処理では、ＲＧＢの分布から被写体の光源の色に合わせたＡＷＢの制御値を決定する。このＡＷＢ処理により、ＹＵＶ変換部３６でＹＵＶデータに変換処理するときのホワイトバランスを合わせる。なお、前記したＡＥ処理とＡＷＢ処理は、前記モニタリング時には連続的に行われている。

そして、前記したモニタリング動作時に、レリーズボタン２が押圧（半押しから全押し）操作される静止画撮影動作が開始されると、合焦位置検出動作であるＡＦ動作と静止画記録処理が行われる。

即ち、レリーズボタン２が押圧（半押しから全押し）操作されると、制御部２８からモータドライバ２５への駆動指令により撮影レンズ系５のフォーカスレンズが移動し、例えば、いわゆる山登りＡＦと称されるコントラスト評価方式のＡＦ動作が実行される。

ＡＦ（合焦）対象範囲が無限から至近までの全領域であった場合、撮影レンズ系５のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、カメラＩ／Ｆ３４で算出されている各フォーカス位置における前記ＡＦ評価値を制御部２８が読み出す。そして、各フォーカス位置のＡＦ評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる（ＡＦ処理）。

そして、前記したＡＥ処理が行われ、露光完了時点で、制御部２８からモータドライバ２５への駆動指令によりメカシャッタユニット２７が閉じられ、ＣＣＤ２０から静止画用のアナログＲＧＢ画像信号が出力される。そして、前記モニタリング時と同様に、ＡＦＥ部２１のＡ／Ｄ変換部３３によりＲＡＷ−ＲＧＢデータに変換される。

そして、このＲＡＷ−ＲＧＢデータは、信号処理部２２のカメラＩ／Ｆ３４に取り込まれ、ＹＵＶ変換部３６でＹＵＶデータに変換されて、メモリコントローラ３５を介してＳＤＲＡＭ２３に保存される。そして、このＹＵＶデータはＳＤＲＡＭ２３から読み出されて、リサイズ処理部３８で記録画素数に対応するサイズに変換され、データ圧縮部４０でＪＰＥＧ形式等の画像データへと圧縮される。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭ２３に書き戻された後にメモリコントローラ３５を介してＳＤＲＡＭ２３から読み出され、メディアＩ／Ｆ４１を介してメモリカード１４に記録される。

本実施形態に係るデジタルカメラ１のＹＵＶ変換部３６は、ダイナミックレンジを拡大するためのダイナミックレンジ拡大処理機能を有している。

（本発明におけるダイナミックレンジの拡大原理）
デジタルカメラ１のＣＣＤ２０を構成する各画素上には、一般にベイヤ配列のＲＧＢフィルタ（図６参照）が配置されているが、太陽光のように広い波長帯域を持つ光に対して、通常のＲＧＢフィルタは各色毎に輝度に対する感度が異なっている。

例えば、図４に示すように、Ｇ（グリーン）フィルタの感度が、Ｒ（レッド）フィルタ、Ｂ（ブルー）フィルタの２倍程度の感度を有するＲＧＢフィルタ（図４のａ、ｂ、ｃ）を有するＣＣＤ２０の場合、太陽光のように広い波長帯域を持つ光が同じだけＲＧＢフィルタに入射したときに、Ｒ、Ｂフィルタの各画素出力に対してＧフィルタ（図４のｃの斜線部分）の画素出力の方が先に飽和レベルＡに達してしまう。なお、図３において、ｆはＧフィルタの画素感度特性、ｇはＲ、Ｂフィルタの各画素感度特性であり、Ｇフィルタの画素感度特性は、Ｒ、Ｂフィルタの各画素感度特性の２倍程度の感度を有している。

ところで、従来のＲＧＢフィルタを有するＣＣＤなどの固体撮像素子を有するデジタルカメラでは、図４のａ、ｂ、ｃのＲＧＢフィルタのように、感度の高いＧフィルタの画素出力に応じた飽和レベルＡに合わせてダイナミックレンジの範囲を設定している。即ち、Ｇフィルタの画素出力が飽和レベルＡに達している場合でも、Ｒ、Ｂフィルタの画素出力は飽和レベルＡの１／２程度である。

これに対して、本発明では、図４のｄ、ｅのＲＧＢフィルタのように、Ｇフィルタの画素出力が飽和レベルＡを超えていても、Ｒ、Ｂフィルタの各画素出力が飽和レベルＡを超えていない範囲内にあるときに、Ｒ、Ｂフィルタの各画素出力レベルから、Ｒ、Ｂフィルタの各画素感度特性（図４のｇ）とＧフィルタの画素感度特性（図４のｆ）とに基づいてＧフィルタの画素出力レベルを補正（一点鎖線部分）し、この補正した分だけダイナミックレンジを拡大するようにした。

前記したように本実施形態では、太陽光のように広い波長帯域を持つ光に対して、Ｇフィルタの画素感度特性は、Ｒ、Ｂフィルタの各画素感度特性の２倍程度の感度を有している。よって、本実施形態におけるダイナミックレンジの拡大度合の最大値は、ダイナミックレンジの拡大処理動作を行わない通常の静止画撮影モード時に対して２倍程度である。

なお、本実施形態では、Ｇフィルタの画素感度特性がＲ、Ｂフィルタの各画素感度特性の２倍程度の感度を有し、これに基づいてダイナミックレンジの拡大度合の最大値が２倍としたが、ＲＧＢフィルタの各画素感度特性を変化させることにより、ダイナミックレンジの拡大度合の最大値を２倍以上の所定値、あるいは２倍以下の所定値に設定することができる。

（Ｄレンジ拡大補正部５０の構成）
図３に示したＹＵＶ変換部３６のＤレンジ拡大補正部５０は、前記したダイナミックレンジを拡大するためのダイナミックレンジ拡大処理機能を有している。Ｄレンジ拡大補正部５０は、図５に示すように、輝度レベル判定部６０、画素出力補正処理部６１、ビット拡張処理部６２を備えている。

輝度レベル判定部６０は、入力される前記ＲＡＷ−ＲＧＢデータからＲＧＢフィルタを設けた各画素の画素出力を検出するとともに、Ｇフィルタを設けた画素の画素出力（以下、「Ｇフィルタの画素出力」という）が飽和領域に達しているか否かを、その周辺のＲ、Ｂフィルタを設けた画素の画素出力（以下、「Ｒ、Ｂフィルタの画素出力」という）のそれぞれの出力が、予め設定されているＧ画素飽和判定閾値以上に達しているか否かによって判定する。そして、輝度レベル判定部６０は、感度が一番高いＧフィルタの画素出力が飽和領域に達していると判定された場合に、Ｇフィルタの画素出力の補正を行うための後述する補正係数を算出する。

画素出力補正処理部６１は、輝度レベル判定部６０で算出された補正係数をＧフィルタの画素出力に乗算することによって、Ｇフィルタの画素出力の補正処理を行う。

ビット拡張処理部６２は、輝度レベル判定部６０で前記したようにＧフィルタの画素出力が飽和領域に達していると判断された場合に、Ｒ、Ｂフィルタの画素出力に対して、出力レベルの補正を行うことなく１２ビットから１４ビットにそれぞれビット拡張のみを行う。なお、ビット拡張処理部６２は、輝度レベル判定部６０でＲＧＢフィルタの各画素出力が飽和レベルに達していないと判定された場合に、ＲＧＢフィルタの各画素出力に対して、出力レベルの補正を行うことなく１２ビットから１４ビットにそれぞれビット拡張のみを行う。

輝度レベル判定部６０でＧフィルタの画素出力の補正係数を算出する際において、本実施形態では、ＲＧＢフィルタを有するＣＣＤ２０の各画素に対して、図６に示すように、太枠Ａ内の２×２画素（２つのＧフィルタの画素、１つずつのＲ、Ｂフィルタの画素）を処理単位（最小単位）とする。Ｇフィルタの画素出力の補正係数（Ｋ）、補正処理（予測補間処理）後のＧフィルタの画素出力（Ｇｅ）、は、それぞれ下記の式（１）、式（２）から算出される。

Ｋ＝｛ｌ×ｆ（Ｒｏ）＋ｍ×ｆ（Ｇｏ）＋ｎ×ｆ（Ｂｏ）｝／３ …式（１）
Ｇｅ＝Ｋ×Ｇｏ …式（２）
ただし、ｌ、ｍ、ｎはＲＧＢの各フィルタの感度比率から設定される係数、Ｇｏは補正処理前のＧフィルタの画素出力である。また、ｆ（Ｒｏ）、ｆ（Ｇｏ）、ｆ（Ｂｏ）は、下記の数１（式（３）〜式（５））で設定される係数である。

ただし、ＲｏはＲフィルタの画素出力、ＴＲはＲフィルタの画素出力に対応するＧ画素飽和判定レベル、Ｇｏは補正処理前のＧフィルタの画素出力、ＴＧはＧフィルタの画素出力の飽和判定レベル、ＢｏはＢフィルタの画素出力、ＴＢはＢフィルタの画素出力に対応するＧ画素飽和判定レベルである。

前記式（３）〜式（５）におけるＧ画素飽和判定レベルＴＲ、ＴＧ、ＴＢは、例えば、図７に示したＲＧＢフィルタの各画素出力に対する所定の飽和判定レベルに相当する。なお、図７において、Ａ（ＴＧ）はＧフィルタの画素出力の飽和レベル（飽和判定レベル）、ＴＲはＲフィルタの画素出力の飽和判定レベル、ＴＢはＢフィルタの画素出力に対応するＧ画素飽和判定レベルである。

本実施形態にいては、前記したようにＧフィルタを設けた画素の感度が、ＲフィルタおよびＢフィルタを設けた画素の感度の２倍としているため、Ｇフィルタの画素が飽和レベルＡに最初に達する。よって、飽和レベルＡに達した出力値をＧフィルタの画素出力の飽和判定レベルＴＧとし、ＲフィルタおよびＢフィルタの各画素出力に対応するＧ画素飽和判定レベルＴＲ、ＴＢは、ＴＧの１／２の値に設定した。なお、ＴＲ、ＴＧ、ＴＢは、撮像装置（デジタルカメラなど）に用いられるＲＧＢフィルタを有する固体撮像素子（ＣＣＤなど）の感度比に依存し、図７に示したような比率に限定されるものではない。

前記式（１）〜式（５）のように、Ｒ、Ｇ、Ｂフィルタの各画素出力とＧ画素飽和判定レベルＴＲ、ＴＧ、ＴＢとの比を算出し、これらの算出値にＲＧＢの各フィルタの感度比率から設定される係数を掛けて平均することで、Ｇフィルタの画素出力を補正する係数を算出し、算出した補正係数（Ｋ）をＧフィルタの画素出力に掛けることで補正後のＧフィルタの画素出力を算出する。そして、この補正係数（Ｋ）により前記式（２）から算出された補正後のＧフィルタの画素出力（Ｇｅ）の値は、処理単位（図６参照）内にある２つのＧフィルタの画素出力値として置き換えられる。

なお、このＧフィルタの画素出力値は１２ビットを超えたデータになるため、ここでは一度１４ビットのデータに置き換える。よって、Ｒ、Ｂフィルタの各画素出力の最大値はいずれも４０９５（１２ビット）なので、Ｇフィルタの画素出力の最大値は８１９０となり、１４ビットのデータとして扱うことができる。

ところで、輝度レベル判定部６０で、Ｇフィルタの画素出力が飽和領域に達しているか否かを判定処理する際に、欠陥画素をこの判定に用いないようにする必要がある。即ち、Ｇフィルタを設けた画素に欠陥画素があり、常に飽和領域の値を出力する場合には、同じ処理単位（図６参照）内にあるＧフィルタを設けた画素の出力を大きな値に置き換えてしまうため、新たな欠陥画素を生成してしまうことになる。

また、処理単位（図６参照）内にあるＲ、Ｂフィルタを設けた各画素の少なくともいずれか一方の画素に欠陥画素がある場合には、前記式（１）によって算出されるＧフィルタの画素出力の補正係数（Ｋ）が正しくない値になってしまい、これにより式（２）によって算出される補正処理後のＧフィルタの画素出力（Ｇｅ）の値も正しくない値になってしまう。

このため、本実施形態では、輝度レベル判定部６０がＲＧＢフィルタを設けた各画素の画素出力を検出する際に、常に飽和領域の値が出力されていると判定した場合には処理単位（図６参照）内に欠陥画素があると判断する。そして、このように欠陥画素があると判断した場合には、その処理単位内にある欠陥画素でない画素と、その処理単位の周囲にある欠陥画素と同じ色のフィルタを設けた画素（欠陥画素でない画素）を代わりに用いて、前記したように各画素の画素出力を検出する。

これにより、輝度レベル判定部６０がＧフィルタの画素出力が飽和領域に達しているか否かを判定処理する際に、欠陥画素を用いることを防止することができるので、Ｇフィルタが配置された画素の出力に対して、飽和領域に達していると判定した場合に、前記式（１）〜式（５）により精度の高い補正処理を行うことができる。

次に、本実施形態における前記したダイナミックレンジ拡大モードでの静止画撮影動作を、図８、図９に示したフローチャートを参照して説明する。最初に、図８に示したフローチャートを参照して、前記ＲＡＷ−ＲＧＢデータ（図３のＡ）がＹＵＶ変換部３６のＤレンジ拡大補正部５０に入力される第１の処理について説明する。次に、図９に示したフローチャートを参照して、前記ＲＡＷ−ＲＧＢデータ（図３のＢ）がＹＵＶ変換部３６のＤレンジ拡大補正部５０側に入力されることなくホワイトバランス制御部５２に入力される第２の処理について説明する。

なお、Ｄレンジ拡大補正部５０に入力されるＲＡＷ−ＲＧＢデータ（図３のＡ）と、Ｄレンジ拡大補正部５０側に入力されることなくホワイトバランス制御部５２に入力されるＲＡＷ−ＲＧＢデータ（図３のＢ）は、ＳＤＲＡＭ２３から読み出される同じＲＡＷ−ＲＧＢデータである。

（第１の処理：図８のフローチャート）
第１の処理では、例えば、被写体の背景の一部に極端に明るい部分がある場合などに、撮影者がメニュー（ＭＥＮＵ）ボタン１２（図１（Ｃ）参照）を押圧操作することにより、例えば、図１０に示すような撮影設定画面が液晶モニタ（ＬＣＤ）９に表示され、この表示画面から「ダイナミックレンジ２倍」の項目を選択することにより、制御部２８からＹＵＶ変換部３６へ制御信号が出力され、ダイナミックレンジを２倍に拡大するダイナミックレンジ拡大モードが実行される。

そして、前記したモニタリング動作から撮影者がレリーズボタン２を押圧（半押しから全押し）することにより、信号処理部２２のカメラＩ／Ｆ３４は、撮影レンズ系５、ＣＣＤ２０、ＡＦＥ部２１を介してＲＡＷ−ＲＧＢデータを取り込む（ステップＳ１）。

そして、カメラＩ／Ｆ３４は、取り込んだＲＡＷ−ＲＧＢデータより、ＡＥ（自動露出）評価値、ＡＦ（自動合焦）評価値、ＡＷＢ（オートホワイトバランス）評価値を算出し、制御部２８は、算出した前記ＡＥ評価値に基づいてＡＥ処理を行い、撮影時の露出を決定する（ステップＳ２）。更に、制御部２８は、算出した前記ＡＦ評価値に基づいてＡＦ処理を行い、撮影レンズ系５のフォーカスレンズを合焦位置に移動させ、合焦させる（ステップＳ３）。

そして、ステップＳ２で決定した露出条件に基づいて撮影（記録）用の露光を行うことにより（ステップＳ４）、被写体像がＣＣＤ２０の各画素の受光面上に結像する。そして、ＣＣＤ２０から出力される被写体像に応じた電気信号（アナログＲＧＢ画像信号）は、ＣＤＳ３１、ＡＧＣ３２を介してＡ／Ｄ変換部３３に出力され、Ａ／Ｄ変換部３３により１２ビット（bit）のＲＡＷ−ＲＧＢデータに変換される。このＲＡＷ−ＲＧＢデータは、信号処理部２２のカメラＩ／Ｆ３４に取り込まれてメモリコントローラ３５を介してＳＤＲＡＭ２３に保存される。ここまでの処理は、前記した通常の静止画撮影動作と同様である。

そして、ＳＤＲＡＭ２３から読み出したＲＡＷ−ＲＧＢデータ（図３のＡ）をＹＵＶ変換部３６のＤレンジ拡大補正部５０に入力し、Ｄレンジ拡大補正部５０の輝度レベル判定部６０により、前記したようにＲＧＢフィルタを設けた各画素の画素出力を検出し（ステップＳ５）、予め設定している飽和判定値に達しているか否かによって画素出力が飽和しているか否かを判定する（ステップＳ６）。飽和領域に達している画素出力があると判定した場合には（ステップＳ６；ＹＥＳ）、飽和領域以上に達している画素出力が一番感度の高いＧフィルタの画素出力のみであるか否かを判定する（ステップＳ７）。

ステップＳ７で、飽和領域に達している画素出力がＧフィルタの画素出力のみであると判定した場合（ステップＳ７；ＹＥＳ）、輝度レベル判定部６０は、前記式（１）、式（３）〜式（５）よりＧフィルタの画素出力の補正を行うための補正係数を算出する（ステップＳ８）。そして、画素出力補正処理部６１は、前記式（２）のようにステップＳ７で算出された補正係数をＧフィルタの画素出力に乗算して、Ｇフィルタの画素出力を補正処理する（ステップＳ９）。

そして、ビット圧縮変換部５１は、Ｄレンジ拡大補正部（輝度レベル判定部６０、画素出力補正処理部６１）５０で１４ビットに拡張されたＧフィルタの画素出力データを、例えば、図１１（ａ）に示すような変換特性（３箇所の節点を指定し、それらの間を直線で近似する４区間の折れ線近似特性）によって、１２ビットデータにビット圧縮する（ステップＳ１０）。なお、図１１（ａ）において、ａは１２ビットの範囲であり、ｂは最大値８１９０のデータを１／２倍する場合における単純な線形変換特性（一点鎖線部分）である。図１１（ａ）に示す変換特性では、Ｇフィルタの画素出力の最大値は８１９０なので、８１９０が４０９５になるように圧縮する。そして、Ｇフィルタの画素出力の圧縮倍率に合わせて、Ｒ、Ｂフィルタの画素出力の値も圧縮する。

そして、ビット圧縮変換部５１で１４ビットから１２ビットに圧縮変換されたＲＧＢフィルタの画素出力データは、ホワイトバランス制御部５２に入力され、ホワイトバランス（ＡＷＢ）処理される（ステップＳ１１）。詳細には、ホワイトバランス制御部５２は、入力されるＲＡＷ−ＲＧＢデータをそれぞれ増幅する。この際、制御部２８は、カメラＩ／Ｆ３４で算出された前記ＡＷＢ評価値に基づいてホワイトバランスを合わせるための補正値を算出し、算出した補正値をホワイトバランス制御部５２に出力する。ホワイトバランス制御部５２は、入力される前記補正値に基づいてホワイトバランスを合わせる。

そして、ホワイトバランス制御部５２からホワイトバランスが合わされたＲＧＢフィルタの画素出力データ（１２ビット）は、同時化部５３に入力される。同時化部５３は、ベイヤ配列等の１画素に１色のデータしか持っていないＲＡＷデータに対して補間演算処理を行い、１画素に対してＲＧＢの全てのデータを生成する。そして、同時化部５３で生成されたＲＧＢの全てのデータ（１２ビット）は、トーンカーブ変換部５４に入力される。トーンカーブ変換部５４は、例えば、図１２に示すような変換テーブルによって１２ビットのＲＧＢのデータを８ビットのＲＧＢのデータに変換するγ変換を行って、８ビットのＲＧＢ値を生成し、ＲＧＢ−ＹＵＶ変換部５５に出力する。

ＲＧＢ−ＹＵＶ変換部５５は、入力されるＲＧＢデータ（８ビット）をマトリックス演算によりＹＵＶデータ（以下、「第１ＹＵＶデータ」という）に変換する（ステップＳ１２）。そして、画像サイズコンバータ部５６は、この第１ＹＵＶデータに対して所望の画像サイズに縮小または拡大を行い、エッジエンハンス部５７および輝度ヒストグラム生成部５８に出力する。

エッジエンハンス部５７は、入力される第１ＹＵＶデータに対して画像に合わせたエッジ強調等の処理を行い、この第１ＹＵＶデータを、メモリコントローラ３５を介してＳＤＲＡＭ２３に保存する（ステップＳ１３）。輝度ヒストグラム生成部５８は、入力される第１ＹＵＶデータにより輝度ヒストグラムを生成する。

（第２の処理：図９のフローチャート）
第２の処理では、前記第１の処理（図８のステップＳ１〜Ｓ４）で得られた前記ＲＡＷ−ＲＧＢデータをＳＤＲＡＭ２３から読み出し（ステップＳ２１）、このＲＡＷ−ＲＧＢデータ（図３のＢ）をＤレンジ拡大補正部５０、ビット圧縮変換部５１に通すことなくホワイトバランス制御部５２に入力し、前記第１の処理時と同様にホワイトバランス（ＡＷＢ）処理を行う（ステップＳ２２）。なお、このＲＡＷ−ＲＧＢデータ（図３のＢ）は、前記第１の処理で述べたように、Ｇフィルタの画素出力が飽和領域に達している。

そして、ホワイトバランス制御部５２からホワイトバランスが合わされたＲＧＢフィルタの画素出力データ（１２ビット）は、同時化部５３に入力される。同時化部５３は、ベイヤ配列等の１画素に１色のデータしか持っていないＲＡＷデータに対して補間演算処理を行い、１画素に対してＲＧＢの全てのデータを生成する。そして、同時化部５３で生成されたＲＧＢの全てのデータ（１２ビット）は、トーンカーブ変換部５４に入力される。トーンカーブ変換部５４は、例えば、図１２に示したような変換テーブルによって１２ビットのＲＧＢのデータを８ビットのＲＧＢのデータに変換するγ変換を行って、８ビットのＲＧＢ値を生成し、ＲＧＢ−ＹＵＶ変換部５５に出力する。

ＲＧＢ−ＹＵＶ変換部５５は、入力されるＲＧＢデータ（８ビット）をマトリックス演算によりＹＵＶデータ（以下、「第２ＹＵＶデータ」という）に変換する（ステップＳ２３）。そして、画像サイズコンバータ部５６は、この第２ＹＵＶデータに対して所望の画像サイズに縮小または拡大を行い、エッジエンハンス部５７および輝度ヒストグラム生成部５８に出力する。

エッジエンハンス部５７は、入力される第２ＹＵＶデータに対して画像に合わせたエッジ強調等の処理を行い、この第２ＹＵＶデータを、メモリコントローラ３５を介してＳＤＲＡＭ２３に保存する（ステップＳ２４）。

そして、ＹＵＶ合成部３７は、ＳＤＲＡＭ２３から読み出した前記第１ＹＵＶデータからＹデータ（輝度データ）のみを取り出すとともに、ＳＤＲＡＭ２３から読み出した前記第２ＹＵＶデータからＵＶデータ（色差データ）のみを取り出して、１つのＹＵＶデータ（以下、「第３ＹＵＶデータ」という）を合成する（ステップＳ２５）。この合成処理された第３ＹＵＶデータは、メモリコントローラ３５を介してＳＤＲＡＭ２３に保存される。

そして、この第３ＹＵＶデータはＳＤＲＡＭ２３から読み出されて、リサイズ処理部３８で記録画素数に対応するサイズに変換され、データ圧縮部４０でＪＰＥＧ形式等の画像データへと圧縮される（ステップＳ２６）。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭ２３に書き戻された後にメモリコントローラ３５を介してＳＤＲＡＭ２３から読み出され、メディアＩ／Ｆ４１を介してメモリカード１４に記録される（ステップＳ２７）。

ところで、前記した第１の処理（図９のフローチャート）のステップＳ１０では、１４ビットに拡張されたＧフィルタの画素出力データを１２ビットデータにビット圧縮する際に、最大値が８１９０に拡張されたＧフィルタの画素出力を最大値が４０９５に圧縮する際の一例として、図１１（ａ）に示したような３つの節点を有する変換特性を用いた。これによって、単純な節点のない線形変換特性（図１１（ａ）のｂ）では得られない以下のような２つの効果が得られる。

第１の効果としては、データの信頼性が高いデータにより多くのビット数を割り当てることができる。即ち、飽和領域以上に達しているＧフィルタの画素出力に対して補正処理する場合、前記したようにＧフィルタの画素出力の飽和領域付近の規定値以上の値になった範囲について補正を行い、この規定値以下の範囲では補正は行われない。よって、補正を行う範囲と行わない範囲とでは、データの精度が異なっている。

即ち、例えば前記式（１）〜式（５）によって飽和しているＧフィルタの画素出力値を補正する場合、主被写体の色によっては、補正を行う範囲においては被写体の輝度レベルが正確に再現できていない場合がある。これに対して補正を行っていない範囲は、ＲＧＢフィルタを有するＣＣＤ２０から出力される実際のデータ（アナログＲＧＢ画像信号）をＡ／Ｄ変換したデータであるので、このデータの信頼性は高いものとなる。

即ち、図１１（ａ）に示した本実施形態における変換特性では、例えば、入力１４ビットデータが１０２４ときに出力１２ビットデータは１０２４になっており、元のデータがそのまま使われている。これに対し、例えば、入力１４ビットデータが３０７２ときに出力１２ビットデータは２５６０になっており、この範囲では補正前のビット割付よりも少ない割付となることによって、多少のビット誤差が発生する。

このように、単純な節点のない線形変換を行う特性（（図１１（ａ）のｂ）ではなく、本実施形態のように３つの節点を有する変換特性を採用することにより、ビット割付をだんだんと少なくしていくことができるので、データの信頼性が高いデータにより多くのビット数を割り当てることができる。

そして、第２の効果としては、低・中輝度における階調を正確に保存することができる。即ち、単純な線形変換特性（図１１（ａ）のｂ）でビット圧縮を行った場合、低輝度側の補正が行われていない範囲では、ビット割付が１／４になってしまう。このため、階調感のない画像になってしまう。これに対し、図１１（ａ）に示したような本実施形態における変換特性でビット圧縮を行った場合には、飽和領域以下で低輝度レベルにおける画素出力に対応したデータに対しては、ビット圧縮変換部５１でビット圧縮する前とビット圧縮した後で略同じ値となるような圧縮率を用いることにより、低輝度レベルにおける階調性を良好に保持することができる。

なお、本実施形態では、拡張したＧフィルタの画素出力の１４ビットデータを１２ビットに縮小するときに、図１１（ａ）のように３つの節点を指定し、それらの間を直線で近似する４区間の折れ線近似特性（変換特性）でビット圧縮を行う構成であったが、この区間数は特に限定されるものではない。例えば、１つの節点を指定する２区間の折れ線近似特性としてもよいが、節点付近でビット割付が大きく変わることにより、前記した２つの効果が小さくなる。よって、３区間以上の区間数を有する折れ線近似特性（変換特性）が好ましい。

また、拡張したＧフィルタの画素出力の１４ビットデータを１２ビットに圧縮する変換特性を、図１１（ｂ）に示すように、複数の節点を有していない曲線による変換特性としてもよい。即ち、図１１（ａ）の４区間を有する変換特性に対して、区間数を８１９２にしたものがこの曲線による変換特性となる。なお、図１１（ｂ）において、ａは１２ビットの範囲である。

更に、入力１４ビットデータの０〜８１９２に対して、１２ビットに圧縮変換後の数値データを持ったルックアップテーブルを設けておくことにより、この曲線による変換特性で、拡張したＧフィルタの画素出力の１４ビットデータを良好に１２ビットに圧縮することができる。

上記したように、本実施形態のダイナミックレンジ拡大モードによる静止画撮影動作を行うことにより、感度の高いＧフィルタの画素出力が飽和領域に達しているような場合においても、Ｇフィルタよりも感度の低いＲ、Ｂフィルタの画素出力に基づいて、飽和しているＧフィルタの画素出力を補正処理することにより、図４に示したように、Ｇフィルタ（図４のｄ、ｅ）の画素出力の補正した拡張領域（図４のｄ、ｅのＧフィルタの画素出力の一点鎖線で示した部分）に基づいて、１回の撮影でダイナミックレンジを２倍に拡大することが可能となる。

よって、撮影画像内の背景等に高輝度部分がある場合でも、白とびの発生を防止して良好な階調性を得ることが可能となる。

更に、本実施形態では、ＳＤＲＡＭ２３から一つのＲＡＷ−ＲＧＢデータを読み出して、前記第１の処理により画素出力補正処理部６１で補正された画素出力から生成される第１ＹＵＶデータと、前記第２の処理により画素出力補正処理部６１で補正処理を行うことなく飽和領域に達している画素出力から生成される第２ＹＵＶデータをＹＵＶ合成部３７に取り込み、ＹＵＶ合成部３７で第１ＹＵＶデータから取り出したＹデータ（輝度データ）と、第２ＹＵＶデータから取り出したＵＶデータ（色差データ）とを合成して、第３ＹＵＶデータを生成する。

これにより、画素出力補正処理部６１により補正された画素出力から生成される第１ＹＵＶデータのＹデータ（輝度データ）についてのみダイナミックレンジの拡大を行い、色は元のＵＶデータ（色差データ）を用いることで、ダイナミックレンジ拡大時における色相のずれを防止して正確な色の再現を行うことができる。

例えば、Ｄレンジ拡大補正部５０により、飽和していると判定したＧフィルタの画素出力の補正処理を前記式（１）〜式（５）を用いて行って、ダイナミックレンジの拡大処理を行ったときに、例えば、主被写体がマゼンタ色の場合には、Ｒ、Ｂフィルタの画素出力が大きくなる。このため、これに伴ってＧフィルタの画素出力は本来よりも大きな値に算出されてしまい、その結果、正確な色の再現ができない場合がある。

このような状況の場合でも、前記した本実施形態のダイナミックレンジ拡大モードによる静止画撮影動作を行うことにより、第１ＹＵＶデータのＹデータ（輝度データ）についてのみダイナミックレンジの拡大を行い、色は元のＵＶデータ（色差データ）を用いることで、ダイナミックレンジ拡大時における色相のずれを防止して正確な色の再現を行うことができる。

図１３（ａ）は、Ｇフィルタの画素出力が飽和領域を超えたときに、前記した本実施形態におけるダイナミックレンジの拡大処理を行った場合の、輝度ヒストグラム生成部５８で生成されたヒストグラムの一例である。このヒストグラムから明らかなように、前記した本実施形態におけるダイナミックレンジの拡大処理を行った場合には、最大輝度部分（２５５）まで画素を残して高輝度部分に対して適切な階調を確保することができ、白飛びの発生を防止することができる。

これに対し、図１３（ｂ）は、Ｇフィルタの画素出力が飽和領域であるときに、前記した本実施形態におけるダイナミックレンジの拡大処理を行わなかった場合の、輝度ヒストグラム生成部５８で生成されたヒストグラムの一例である。このヒストグラムから明らかなように、本実施形態におけるダイナミックレンジの拡大処理を行わなかった場合には、最大輝度部分（２５５）に多くの画素数が存在し、白とびが発生している。

なお、前記した実施形態１の説明および図４において、飽和判定値である図４の飽和レベルＡと、補正後の１２ビットの最大値である４０９５とが一致しているように説明したが、これに限定するものではない。例えば、出力が完全に飽和する付近の高輝度部において、出力の直線性（リニアリティー）が良くないＲＧＢフィルタを有するＣＣＤでは、例えば完全に飽和する４０９５よりも小さい値である４０３２を飽和判定値（図４の飽和レベルＡ）とおいて、その値を超えた画素出力を補正処理の対象としてもよい。この場合においても、Ｇフィルタの画素出力が飽和判定値である４０３２を超えていると判定するための飽和判定閾値（ここでは、例えば４０３２／２＝２０１６）に対して、Ｒ、Ｂフィルタの画素出力が超えているか否かによってＧフィルタの画素出力の飽和を判定する。

また、デジタルカメラのシステム構成によっては、高輝度被写体でも１２ビットの最大値である４０９５にならないものもある。その場合も同様に飽和判定値を４０９５よりも低い値に設定するとよい。

このように、４０９５未満を飽和領域としたときでも、その特性に合わせて図１２に示した変換カーブを切り替えることで、ビット圧縮変換部５１の出力を４０９５にすることができ、後段の処理を変えることなくダイナミックレンジの拡大が可能となる。

なお、本実施形態では、前記したようにＧフィルタの画素感度特性が、Ｒ、Ｂフィルタの各画素感度特性の２倍程度の感度を有していることを前提としているため、極端に赤い光源下や青い光源下では、Ｇフィルタの画素感度よりもＲ、Ｂフィルタの画素感度の方が飽和してしまう場合がある。このような状況下で前記したダイナミックレンジの拡大処理を行うと正確な階調および色再現が得られないので、このような場合には撮影者の判断により、前記したダイナミックレンジの拡大処理を行わないようにする。

また、本実施形態では、図３に示したように、Ｄレンジ拡大補正部５０から出力される１４ビットのＲＡＷ−ＲＧＢデータをビット圧縮変換部５１で１２ビットに圧縮処理し、ホワイトバランス制御部５２、同時化部５３においては１２ビットのデータ処理を行う構成であったが、これ以外にも、同時化部５３の後にビット圧縮変換部５１を設けて、同時化部５３から出力される１４ビットのデータを１２ビットのデータに圧縮処理する構成でもよい。

〈実施形態２〉
前記実施形態１では図６に示したように、ＲＧＢフィルタを有するＣＣＤ２０に対して、２×２画素を処理単位（最小単位）としていたが、本実施形態では、図１４に示すように、太枠Ａ内の５画素（中央部に１つのＧフィルタの画素（Ｇｂ）、図の上下方向に２つのＲ（Ｒ１，Ｒ２）フィルタの画素、図の左右方向に２つのＢ（Ｂ１，Ｂ２）フィルタの画素）を処理単位（最小単位）とし、処理単位を前記実施形態１の場合よりも広い範囲とした例である。なお、デジタルカメラの構成、モニタリング動作、静止画撮影動作、およびダイナミックレンジの拡大処理動作は、前記実施形態１と同様である。

本実施形態では、補正係数算出部６０は、処理単位（図１４参照）内の１つのＧフィルタの画素の周囲にある２つのＲ１、Ｒ２フィルタの画素出力の平均値、および２つのＢ１、Ｂ２フィルタの画素出力の平均値を算出し、算出した各平均値をこの処理単位内のＲ、Ｂフィルタの各画素出力の値とする。

図１４に示した太枠Ａの処理単位内にあるＧフィルタの画素出力が飽和領域に達している場合、Ｇフィルタの感度は、前記したようにＲ、Ｂフィルタの感度の約２倍であるため、Ｇフィルタの画素出力の補正係数（Ｋ）、補正後のＧフィルタの画素出力（Ｇｅ）は、下記の式（６）、式（７）から算出される。本実施形態では、

Ｋ＝｛ｌ×ｆ（Ｒａ）＋ｍ×ｆ（Ｇａ）＋ｎ×ｆ（Ｂａ）｝／３ …式（６）
Ｇｅ＝Ｋ×Ｇａ …式（７）
ただし、ｌ、ｍ、ｎはＲＧＢの各フィルタの比率から設定される係数、Ｇａは補正前のＧフィルタの画素出力である。また、ｆ（Ｒａ）、ｆ（Ｇａ）、ｆ（Ｂａ）は、下記の数２（式（８）〜式（１０））で設定される係数である。

ただし、Ｒａは前記処理単位（図１４参照）内でのＲフィルタの画素出力の平均値、ＴＲはＲフィルタの画素出力に対応するＧ画素飽和判定レベル、Ｇａは前記処理単位（図１４参照）内でのＧフィルタの画素出力、ＴＧはＧフィルタの画素出力の飽和判定レベル、Ｂａは前記処理単位（図１４参照）内でのＢフィルタの画素出力の平均値、ＴＢはＢフィルタの画素出力に対応するＧ画素飽和判定レベルである。

なお、前記ＴＲ、ＴＧ、ＴＢは、前記式（３）〜式（５）と同様である。また、前記係数ｌ、ｍ、ｎは、Ｒ、Ｇ、Ｂフィルタの各画素出力の感度比が実施形態１と同様であれば、係数ｌ、ｎがそれぞれ３／２、ｍが０となる。

そして、図６に示したＤレンジ拡大補正部５０の画素出力補正処理部６１は、前記式（７）より算出されたＧフィルタの画素出力値を、前記処理単位（図１４参照）内にあるＧフィルタの画素出力値として置き換え、以下、前記実施形態１と同様の処理を行う。

このように、処理単位を広くすることで、処理単位内の他のＲ１，Ｒ２フィルタの画素、Ｂ１，Ｂ２フィルタの画素が持っている感度差による影響を緩和することができ、飽和領域以上に達しているＧフィルタの画素出力に対して、より正確な補正を行うことが可能となる。

〈実施形態３〉
本実施形態では、図１５に示すように、ＲＧＢフィルタを有するＣＣＤ２０に対して、太枠Ａ内の水平方向５画素、垂直方向５画素の５×５画素（１３個のＧフィルタの画素（Ｇｒ、Ｇｂ）、６個ずつのＲ、Ｂフィルタ）を処理単位とした例である。なお、デジタルカメラの構成、モニタリング動作、静止画撮影動作、およびダイナミックレンジの拡大処理動作は、前記実施形態１と同様である。

処理単位を前記実施形態１、２の場合よりも広くすると、広い範囲の輝度情報に基づいて処理することになるため、ローパスフィルタをかけたことと等価になってしまう。そのため、輝度変化のエッジ部分がなまってしまう。そこで、本実施形態では、広くした処理単位の大きさを、例えば、前記ＡＦ評価値を利用して部分的に変更するものとする。

即ち、図２に示した信号処理部２２のカメラＩ／Ｆ３４では、前記したようにＡＦを行うためのＡＦ評価値を算出している。これは、ハイパスフィルタ（ＨＰＦ）の出力であり、撮影画像の画面内に輝度の変化がある部分では大きな値が出力される。そして、制御部２８は、静止画撮影時のＡＦ評価値を読み出し、画面内の輝度変化がある部分とない部分を判別する。そして、制御部２８は、この判別データを基にＤレンジ拡大補正部５０に対して、輝度変化がある部分には処理単位が狭くなるような設定（例えば、前記実施形態１、２における処理単位の設定）を行い、輝度変化がない部分には、図１５に示したように処理単位が広い範囲になるように設定を行う。

このように、処理単位を更に広くした場合でも、輝度変化がある部分には処理単位が狭くなるような設定を行うことで、解像度を落とすことなく、飽和領域に達しているＧフィルタの画素出力に対して、正確な補正を行うことが可能となる。

なお、前記した各実施形態では、色分解フィルタとしてＲＧＢの３原色系フィルタを配置した構成であったが、色分解フィルタとして補色系フィルタを配置した構成においても、同様に本発明を適用することができる。

（ａ）は、本発明の実施形態１に係る撮像装置の一例としてのデジタルカメラを示す正面図、（ｂ）は、その上面図、（ｃ）は、その背面図。 本発明の実施形態１に係る撮像装置の一例としてのデジタルカメラ内のシステム構成の概要を示すブロック図。 本発明の実施形態１におけるＹＵＶ変換部の構成を示すブロック図。 本発明の実施形態１におけるダイナミックレンジ拡大の原理を説明するための図。 本発明の実施形態１におけるＹＵＶ変換部の構成を示すブロック図。 本発明の実施形態１におけるＲＧＢフィルタの配置と処理単位を示す図。 ＲＧＢフィルタの各画素出力に対応するＧ画素飽和判定レベル（ＴＧ、ＴＲ、ＴＢ）を示した図。 本発明の実施形態１におけるダイナミックレンジ拡大モード（第１の処理）での静止画撮影動作を示すフローチャート。 本発明の実施形態１におけるダイナミックレンジ拡大モード（第２の処理）での静止画撮影動作を示すフローチャート。を参照して説明する。 液晶モニタに表示された撮影設定画面の一例を示す図。 （ａ）は、本発明の実施形態１における、拡張したＧフィルタの画素出力の１４ビットデータを１２ビットに圧縮する変換特性を示す図、（ｂ）は、本発明の実施形態１の他の例における、拡張したＧフィルタの画素出力の１４ビットデータを１２ビットに圧縮する変換特性を示す図。 １２ビットのＲＧＢのデータを８ビットのＲＧＢのデータに変換（γ変換）する変換テーブルを示す図。 （ａ）は、本発明の実施形態１におけるダイナミックレンジの拡大処理を行った場合のヒストグラムの一例を示す図、（ｂ）は、本実施形態におけるダイナミックレンジの拡大処理を行わなかった場合のヒストグラムの一例を示す図。 本発明の実施形態２におけるＲＧＢフィルタの配置と処理単位を示す図。 本発明の実施形態３におけるＲＧＢフィルタの配置と処理単位を示す図。

符号の説明

１ デジタルカメラ（撮像装置）
５ 撮影レンズ系（光学系）
６ 鏡胴ユニット
９ 液晶モニタ
１２ メニューボタン（動作選択手段）
２０ ＣＣＤ（撮像素子）
２１ アナログフロントエンド部
２２ 信号処理部
２３ ＳＤＲＡＭ
２８ 制御部
３４ カメラインターフェース
３５ メモリコントローラ
３６ ＹＵＶ変換部
３７ ＹＵＶ合成部（ＹＵＶ合成手段）
５０ Ｄレンジ拡大補正部
５１ ビット圧縮変換部（ビット圧縮変換手段）
６０ 輝度レベル判定部（周辺画素飽和判定手段）
６１ 画素出力補正処理部（飽和画素出力補正処理手段）
６２ ビット拡張処理部

Claims (12)

1. 光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子と、
   前記各画素からの出力を検出するとともに、検出した画素出力に基づいて周辺のある特定色のフィルタが配置された画素からの出力が、入出力特性が線形でなくなる飽和領域に達しているか否かを判定する周辺画素飽和判定手段と、
   前記周辺画素飽和判定手段により、前記特定色のフィルタが配置された画素からの出力が前記飽和領域に達していると判定した場合に、その周囲の前記特定色以外のフィルタが配置された画素からの出力に基づいて、前記特定色のフィルタが配置された画素からの出力を補正する飽和画素出力補正処理手段と、
   前記飽和画素出力補正処理手段により前記補正処理された画素出力から生成される第１ＹＵＶデータと、前記飽和画素出力補正処理手段で前記補正処理を行うことなく前記飽和領域に達している画素出力から生成される第２ＹＵＶデータとを取り込み、前記第１ＹＵＶデータから取り出した輝度データと、前記第２ＹＵＶデータから取り出した色差データとを合成した第３ＹＵＶデータを生成するＹＵＶ合成手段と、を有することを特徴とする撮像装置。
2. 前記周辺画素飽和判定手段で前記各画素の出力を検出する際の処理単位は、水平・垂直方向に２×２画素の大きさであることを特徴とする請求項１に記載の撮像装置。
3. 前記特定色のフィルタが配置された画素の出力に対して、前記飽和領域以上に達しているときに前記補正させる動作を、選択して実行させるための動作選択手段を備えていることを特徴とする請求項１または２に記載の撮像装置。
4. 前記特定色のフィルタが配置された画素の出力が前記飽和領域に達している場合に前記飽和画素出力補正処理手段から出力される、前記画素出力の飽和領域を表現可能な第１のビット数から前記画素出力の飽和領域を超えて表現可能な第２のビット数に一度拡張された画素出力のデータを、再度前記第１のビット数に圧縮するビット圧縮変換手段を備え、
   前記ビット圧縮変換手段は、前記飽和領域以上における画素出力に対応したデータに対する圧縮率よりも、前記飽和領域以下における画素出力に対応したデータに対する圧縮率を小さくして圧縮することを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
5. 前記飽和領域以下で低輝度レベルにおける画素出力に対応したデータに対しては、前記ビット圧縮変換手段でビット圧縮する前とビット圧縮した後で略同じ値となるような圧縮率を用いることを特徴とする請求項４に記載の撮像装置。
6. 前記処理単位内に欠陥画素がある場合には、前記欠陥画素の代わりに該欠陥画素の周囲にある前記欠陥画素と同じ色のフィルタが配置された画素を用いることを特徴とする請求項１乃至５のいずれか一項に記載の撮像装置。
7. 光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を備えた撮像装置の撮像方法において、
   前記各画素からの出力を検出するとともに、検出した画素出力に基づいて周辺のある特定色のフィルタが配置された画素からの出力が、入出力特性が線形でなくなる飽和領域に達しているか否かを判定する周辺画素飽和判定処理ステップと、
   前記周辺画素飽和判定処理ステップにより、特定色のフィルタが配置された画素からの出力が前記飽和領域に達していると判定した場合に、その周囲の前記特定色以外のフィルタが配置された画素からの出力に基づいて、前記特定色のフィルタが配置された画素からの出力を補正する飽和画素出力補正処理ステップと、
   前記飽和画素出力補正処理ステップにより前記補正処理された画素出力から生成される第１ＹＵＶデータと、前記飽和画素出力補正処理ステップで前記補正処理を行うことなく前記飽和領域に達している画素出力から生成される第２ＹＵＶデータとを取り込み、前記第１ＹＵＶデータから取り出した輝度データと、前記第２ＹＵＶデータから取り出した色差データとを合成した第３ＹＵＶデータを生成するＹＵＶ合成処理ステップと、を含むことを特徴とする撮像方法。
8. 前記周辺画素飽和判定処理ステップで前記各画素の出力を検出する際の処理単位は、水平・垂直方向に２×２画素の大きさであることを特徴とする請求項７に記載の撮像方法。
9. 前記特定色のフィルタが配置された画素からの出力に対して、前記飽和領域に達しているときに前記補正させる動作は、動作選択手段で動作選択することにより実行されることを特徴とする請求項７または８に記載の撮像方法。
10. 前記特定色のフィルタが配置された画素の出力が前記飽和領域に達している場合に前記飽和画素出力補正処理手段から出力される、前記画素出力の飽和領域を表現可能な第１のビット数から前記画素出力の飽和領域を超えて表現可能な第２のビット数に一度拡張された画素出力のデータを、再度前記第１のビット数に圧縮するビット圧縮変換処理ステップを有し、
    前記ビット圧縮変換処理ステップは、前記飽和領域以上における画素出力に対応したデータに対する圧縮率よりも、前記飽和領域以下における画素出力に対応したデータに対する圧縮率を小さくして圧縮することを特徴とする請求項７乃至９のいずれか一項に記載の撮像方法。
11. 前記飽和領域以下で低輝度レベルにおける画素出力に対応したデータに対しては、前記ビット圧縮変換処理ステップでビット圧縮する前とビット圧縮した後で略同じ値となるような圧縮率を用いて圧縮することを特徴とする請求項１０に記載の撮像方法。
12. 前記処理単位内に欠陥画素がある場合には、前記欠陥画素の代わりに該欠陥画素の周囲にある前記欠陥画素と同じ色のフィルタが配置された画素を用いることを特徴とする請求項７乃至１１のいずれか一項に記載の撮像方法。

Images