JP5302058B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、画像のダイナミックレンジを拡大する機能を備える撮像装置および撮像方法に関する。

画像のダイナミックレンジを拡大する機能を備えた撮像装置が知られている。

特許文献１には、露光時間が異なる２枚の画像を連写して合成することで、ダイナミックレンジを拡大する構成が開示されている。

特許文献２には、第１の画素群および第２の画素群を有する撮像素子を用い、第１の画素群の露光時間と第２の画素群の露光時間とを異ならせて、第１の画素群により得られた第１の撮像画像と第２の画素群により得られた第２の撮像画像とを合成することで、ダイナミックレンジを拡大する構成が開示されている。

特開２０００−１３８８６８号公報 特開２００７−２３５６５６号公報

しかしながら、ダイナミックレンジの拡大に伴い、被写体ぶれが加算的に大きくなる問題や、撮像素子に配置された画素数に対し撮像画像の画素数が減少する問題がある。

特許文献１の構成では、被写体が動状態である場合、撮像タイミングが異なる２枚の画像を合成することで、画像上の被写体ぶれが加算的に大きくなる。

特許文献２の構成では、撮像素子に配置された画素数に対し、撮像画像における画素数が半減する。

本発明はこのような事情に鑑みてなされたもので、被写体が動状態である場合には画像合成に起因する被写体ぶれが無い広ダイナミックレンジ画像を得ることができ、被写体が静止状態である場合には高解像度の広ダイナミックレンジ画像を得ることができる撮像装置および撮像方法を提供することを目的とする。

前記目的を達成するために、本発明は、複数の画素群を有する撮像素子と、前記撮像素子の前記画素群ごとに異なる露光時間で撮像するとともに、前記画素群間で露光時間を互いに入れ替えて連続して複数回撮像する撮像制御手段と、前記撮像素子により得られた画像から被写体の動きベクトルを検出する動きベクトル検出手段と、少なくとも前記被写体の動きベクトルに基づいて、前記被写体が静止状態であるか動状態であるかを判定する被写体判定手段と、前記被写体が動状態であると判定された場合には、一回の撮像で得られた複数枚の画素群別画像を合成することにより第１の広ダイナミックレンジ画像を生成し、前記被写体が静止状態であると判定された場合には、複数回の撮像で得られた複数枚の画素群別画像を同一の画素群ごとに合成するとともに画素群間で組み合わせることにより前記第１の広ダイナミックレンジ画像よりも高解像度である第２の広ダイナミックレンジ画像を生成する画像合成手段と、を備えることを特徴とする撮像装置を提供する。

この構成によれば、被写体が動状態であると判定された場合には、画素群ごとに異なる露光時間にて一回の撮像で得られた複数枚の画素群別画像が合成されることにより第１の広ダイナミックレンジ画像が生成され、被写体が静止状態であると判定された場合には、第１の広ダイナミックレンジ画像よりも高解像度である第２の広ダイナミックレンジ画像が生成されるので、被写体が動状態である場合には画像合成に起因する被写体ぶれが無い広ダイナミックレンジ画像が得られ、且つ、被写体が静止状態である場合には高解像度の広ダイナミックレンジ画像を得ることが可能となる。

また、本発明の一態様にて、本撮像装置の動きを検出するセンサを備え、前記画像合成手段は、前記センサの検出結果を用いて画像合成を行なう。

この構成によれば、手ぶれを加算すること無く、精度の良い広ダイナミックレンジ画像を記録することが可能になる。

また、本発明の一態様にて、前記動きベクトル検出手段は、前記撮像素子により得られた画像と前記センサの検出結果とに基づいて、前記被写体の動きベクトルを検出する。

この構成によれば、手ぶれがあっても、被写体が静止状態であるか否かを確実に判定することが可能となる。

また、本発明の一態様にて、前記動きベクトル検出手段は、前記撮像素子により得られた画像から本撮像装置の動きベクトルを検出し、前記画像合成手段は、前記本撮像装置の動きベクトルを用いて画像合成を行う。

この構成によれば、本撮像装置の動きを検出するセンサ無しでも、手ぶれを加算すること無く、精度の良い広ダイナミックレンジ画像を記録することが可能になる。

本発明の一態様にて、前記動きベクトル検出手段は、同じ撮像条件で撮像された複数枚の画像を用いて前記動きベクトルを検出する。

この構成によれば、同じ撮像条件で撮像された複数枚の画像を用いて動きベクトルが検出されるので、動きベクトルの検出精度が向上する。

また、本発明の一態様にて、前記撮像素子は、前記第１の画素群の格子間に前記第２の画素群を配置したハニカム配列である。

また、本発明の一態様にて、前記撮像素子は、多数の画素を２方向に一定間隔で正方格子状に配列した正方格子配列である。

また、本発明は、複数の画素群を有する撮像素子を用い、前記撮像素子の前記画素群ごとに異なる露光時間で撮像するとともに、前記画素群間で露光時間を互いに入れ替えて連続して複数回撮像する撮像ステップと、前記撮像ステップにて得られた画像から前記被写体の動きベクトルを検出する動きベクトル検出ステップと、少なくとも前記被写体の動きベクトルに基づいて、前記被写体が静止状態であるか動状態であるかを判定する被写体判定ステップと、前記被写体が動状態であると判定された場合には、一回の撮像で得られた複数枚の画素群別画像を合成することにより第１の広ダイナミックレンジ画像を生成し、前記被写体が静止状態であると判定された場合には、複数回の撮像で得られた複数枚の画素群別画像を同一の画素群ごとに合成するとともに画素群間で組み合わせることにより前記第１の広ダイナミックレンジ画像よりも高解像度である第２の広ダイナミックレンジ画像を生成する画像合成ステップと、を備えることを特徴とする撮像方法を提供する。

本発明によれば、被写体が動状態である場合には画像合成に起因する被写体ぶれが無い広ダイナミックレンジ画像を得ることができ、被写体が静止状態である場合には高解像度の広ダイナミックレンジ画像を得ることができる。

本発明を適用したデジタルカメラの正面図 本発明を適用したデジタルカメラの背面図 第１実施形態におけるデジタルカメラの一例の全体構成図 撮像素子の構成例を模式的に示す平面図 第１実施形態におけるＣＰＵの要部機能ブロック図 （Ａ）はオーバー露出の入出力特性図、（Ｂ）はアンダー露出の入出力特性図、（Ｃ）は広ダイナミックレンジ画像の説明に用いる入出力特性図 第１実施形態における撮像処理例の流れを示すフローチャート （Ａ）は撮像制御の第１の例、（Ｂ）は撮像制御の第２の例 第２実施形態におけるデジタルカメラの一例の全体構成図 第２実施形態におけるＣＰＵの要部機能ブロック図 第２実施形態における撮像処理例の流れを示すフローチャート

以下、添付図面に従って、本発明の実施形態について、詳細に説明する。

図１は、本発明を適用したデジタルカメラ１００の正面図である。

カメラボディ８０（デジタルカメラ１００の本体）の正面には、レンズ鏡胴８１が配置されている。レンズ鏡胴８１には、撮影レンズ２４が内蔵されている。レンズ鏡胴８１は、沈胴機構で構成されており、カメラボディ８０に沈胴した状態から繰り出し可能である。また、カメラボディ８０には、非撮影時に撮影レンズ２４の前面を覆って撮影レンズ２４を外界から遮ることで撮影レンズ２４を保護するレンズカバー８２が設けられている。レンズカバー８２は、開閉自在な機構で構成されており、開状態で撮影レンズ２４の前面を覆い、閉状態で撮影レンズ２４の前面を外界に露出する。レンズ鏡胴８１の沈胴機構およびレンズカバーの開閉機構は、周知の機構であり、説明を省略する。

また、カメラボディ８０の正面には、フラッシュ６０、ＡＦ補助光ランプ６６、セルフタイマランプ６８等が配置されている。フラッシュ６０は、被写界に撮影用の光を照射する。例えば、キセノン管で構成される。ＬＥＤで構成してもよい。ＡＦ補助光ランプ６６は後述のＡＦのために発光するランプであり、セルフタイマランプ６８はセルフタイマ撮影を報知するためのランプである。

カメラボディ８０の上面には、中央部分にレリーズスイッチ８４が配置されたモードダイヤル８３（モード切替スイッチ）と、電源スイッチ８５とが配置されている。レリーズスイッチ８４は、二段ストローク式のハードウェアスイッチで構成されており、いわゆる「半押し」と「全押し」とが可能である。半押しにより撮影準備指示を入力し、全押しにより撮影指示を入力する。レリーズスイッチ８４を半押しすると、撮影準備処理、すなわち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動合焦）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）等、撮影前に行うべき処理を行う。レリーズスイッチ８４を全押しすると、撮影処理、すなわち、被写体の本撮像および撮像画像の記録を行う。モードダイヤル８３は、デジタルカメラ１００のモードを切り替えるスイッチである。

図２は、図１に示したデジタルカメラ１００の背面図である。なお、図１に示した構成要素には同じ符号を付してあり、説明を省略する。

デジタルカメラ１００の背面には、モニタ５０、十字キー８６、メニュー／ＯＫキー８７、ズームスイッチ８８が配置されている。

モニタ５０は、公知の表示デバイスを用いて構成することができるが、携帯機器用としては、一般に、ＬＣＤ（液晶表示デバイス）、有機ＥＬ（エレクトロルミネッセンス）表示デバイスなど、薄型の表示デバイスが用いられる。

十字キー８６は、上、下、左、右に操作することで、各種設定の指示入力が可能である。例えば、明るさ調整、セルフタイマ設定、マクロ撮影、フラッシュ発光等の指示を入力する。

メニュー／ＯＫキー８７は、メニュー画面を表示して設定情報の入力を受け付けるメニュー機能の呼び出しに用いられる。また、メニュー／ＯＫキー８７は、メニュー画面上に表示した選択内容の確定や、処理の実行指示の入力に用いられる。

ズームスイッチ８８は、撮影レンズ２４のズーム操作に用いられる。望遠を示す「Ｔ」（テレ）側を押すと、押し続けている間、レンズ鏡胴８１がカメラボディ８０の外側に繰り出して焦点距離が望遠側に設定される。広角を示す「Ｗ」（ワイド）側を押すと、押し続けている間、レンズ鏡胴８１がカメラボディ８０の内側に引き込んで焦点距離が広角側に設定される。

図３は、第１実施形態におけるデジタルカメラ１００の内部構成例を示すブロック図である。なお、図１および図２に示した要素には同じ符号を付してあり、説明を省略する。

図３において、デジタルカメラ１００は、画像を電子的に記録するカメラであり、ＣＰＵ（中央処理装置）１０、操作部１２、ＲＯＭ１４、ＳＤＲＡＭ１６、ＶＲＡＭ１８、ＥＥＰＲＯＭ２０、バス２２、撮影レンズ２４、撮像素子３０、タイミングジェネレータ３２、アナログ信号処理部３４、Ａ／Ｄ変換器３６、画像入力コントローラ３８、画像信号処理部４０、圧縮／伸張処理部４２、メディアインタフェース４４、メモリカード４６、モニタドライバ４８、モニタ５０、ＡＥ検出部５２、ＡＦ検出部５４、手振れ補正部５６、フラッシュドライバ５８、フラッシュ６０、電源制御部６２、バッテリ６４等を備えて構成されている。

ＣＰＵ１０は、デジタルカメラ１００の全体の動作を制御する制御手段として機能し、操作部１２からの入力に基づきプログラムに従ってデジタルカメラ１００の各部を制御する。また、ＣＰＵ１０は、デジタルカメラ１００の制御に必要な各種制御値を算出するための演算処理手段として機能し、プログラムに従って各種演算処理を実行する。デジタルカメラ１００の各部は、バス２２を介してＣＰＵ１０と接続されている。

本実施形態のＣＰＵ１０は、ＡＥ制御、ＡＦ制御、ダイナミックレンジ判定、撮像制御、動きベクトル検出、被写体判定、画像合成、記録制御等の機能を有する。これらの各種機能については、後に詳説する。

操作部１２は、図１および図２に示した、モードダイヤル８３、レリーズスイッチ８４、電源スイッチ８５、十字キー８６、メニュー／ＯＫキー８７、ズームスイッチ８８等のハードウェアスイッチを含んで構成され、これらハードウェアスイッチの操作に応じた信号をＣＰＵ１０に出力する。デジタルカメラ１００は、被写体の本撮像および画像の記録を行う撮影モードに加えて、記録した画像を再生する再生モードを備えており、この撮影モードと再生モードとの切り替えが、モードダイヤル８３等によって行われる。なお、各種の詳細なモードの切り替えを行うため、モードダイヤル８３以外のモード切り替え用スイッチを設けてもよい。また、メニューによりモード切り替え可能である。

ＲＯＭ１４には、このＣＰＵ１０が実行するプログラム及び制御に必要な各種データ等が格納されている。ＳＤＲＡＭ１６は、ＣＰＵ１０の作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。ＶＲＡＭ１８は、表示用の画像データ専用の一時記憶領域として利用される。また、ＥＥＰＲＯＭ２０には、ユーザ固有の各種設定情報等が格納される。

撮影レンズ２４は、ズームを行うズームレンズ２４ｚと、焦点合わせを行うフォーカスレンズ２４ｆと、光量調節を行うアイリス２４ｉを含んで構成される。本例の撮影レンズ２４は、沈胴式であり、電源スイッチ８５によりデジタルカメラ１００の電源をオンすると、カメラボディから繰り出される。

ズームレンズ２４ｚは、ズームモータ２６ｚにより駆動されて、光軸上を移動する。これにより、撮像素子３０の受光面上に結像される被写体像が光学的に変倍される。ＣＰＵ１０は、ズームモータドライバ２８ｚを介してズームモータ２６ｚの駆動を制御することにより、ズームレンズ２４ｚの移動を制御し、光学的なズーム切り替えを行う。

フォーカスレンズ２４ｆは、フォーカスモータ２６ｆにより駆動されて、光軸上を前後移動する。これにより、焦点合わせが行われる。ＣＰＵ１０は、フォーカスモータドライバ２８ｆを介してフォーカスモータ２６ｆの駆動を制御することにより、フォーカスレンズ２４ｆの移動を制御し、焦点合わせを行う。

アイリス２４ｉは、例えば、アイリス絞りで構成され、アイリスモータ２６ｉにより駆動されて、その開口量（絞り値）が変化する。ＣＰＵ１０は、アイリスモータドライバ２８ｉを介してアイリスモータ２６ｉの駆動を制御することにより、アイリス２４ｉの開口量を制御し、撮像素子３０の受光面に入射する被写体光の光量を制御する。

撮像素子３０は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサである。ＣＣＤの代わりに他の方式のイメージセンサ（例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ）を用いることも可能である。

撮像素子３０の受光面には、例えばＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色の色フィルタが取り付けられた多数の受光素子（以下「画素」ともいう）が配置されている。各画素は、例えばフォトダイオードによって構成されている。なお、３原色以外（例えば補色系）の組み合わせの色フィルタを用いることも可能である。

撮影レンズ２４を透過した被写体光は、撮像素子３０の受光面に結像される。撮像素子３０は、タイミングジェネレータ（ＴＧ）３２により駆動されて動作する。すなわち、タイミングジェネレータ３２から与えられる駆動パルスによって、各画素に蓄積された信号電荷を読み出し、ＲＧＢの画像信号として出力する。ＣＰＵ１０は、このタイミングジェネレータ３２の駆動を制御することにより、撮像素子３０の露光タイミング、露光時間（電荷蓄積時間、シャッター速度）、画像信号の読み出しを制御する。

アナログ信号処理部３４は、撮像素子３０から出力されたアナログの画像信号に対して相関二重サンプリング処理を行い、増幅して出力する。

Ａ／Ｄ変換器３６は、アナログ信号処理部３４から出力されたアナログの画像信号をデジタルの画像信号に変換して出力する。

画像入力コントローラ３８は、所定容量のラインバッファを内蔵しており、ＣＰＵ１０の制御の下、Ａ／Ｄ変換器３６から出力された１コマ分の画像信号を取り込んで、ＳＤＲＡＭ１６に格納する。

画像信号処理部４０は、ＣＰＵ１０による制御の下、ＳＤＲＡＭ１６に格納された画像信号を取り込み、所要の信号処理を施して、輝度信号（Ｙ）と色差信号（Ｃｒ，Ｃｂ）とからなる画像信号（Ｙ／Ｃ信号）を生成して、ＶＲＡＭ１８に書き込む。

圧縮／伸張処理部４２は、ＣＰＵ１０による制御の下、画像信号（Ｙ／Ｃ信号）を取り込み、所定の圧縮処理を施して、圧縮画像データ（例えば、ＪＰＥＧ）を生成する。また、ＣＰＵ１０による制御の下、圧縮画像データを取り込み、所定の伸張処理を施して、非圧縮の画像信号（Ｙ／Ｃ信号）を生成する。

メディアインタフェース４４は、ＣＰＵ１０による制御の下、メモリカード４６にデータを読み／書きする。例えば、ＣＰＵ１０からの記録指示に応じて、撮影により得られた画像データをメモリカード４６に記録する。また、ＣＰＵ１０からの読み出し指示に応じて、メモリカード４６から該当する画像データを読み出す。メモリカード４６は、撮影装置本体に設けられたカードスロットに着脱自在に装填される。

モニタ５０は、再生モード時には記録済み画像の再生表示部として使用されるほか、撮影モード時には撮像素子３０で生成されて画像入力コントローラ３８によりＳＤＲＡＭ１６に取り込んだ画像を、時系列に連続したスルー画像として表示する。

モニタドライバ４８は、ＣＰＵ１０による制御の下、モニタ５０の表示を制御する。本例では、画像信号（Ｙ／Ｃ信号）をＶＲＡＭ１８から取り込み、表示用の信号形式に変換して、モニタ５０に出力する。

ＡＥ検出部５２は、ＣＰＵ１０による制御の下、ＳＤＲＡＭ１６に格納されたＲ、Ｇ、Ｂの画像信号を取り込み、ＡＥ制御に必要な、撮像画像の明るさを示すＡＥ評価値（測光値）を算出し、ＣＰＵ１０に対し出力する。

ＡＦ検出部５４は、ＣＰＵ１０による制御の下、ＳＤＲＡＭ１６に格納されたＲ、Ｇ、Ｂの画像信号を取り込み、ＡＦ制御に必要な、撮像画像のコントラストを示すＡＦ評価値（コントラスト値）を算出し、ＣＰＵ１０に対し出力する。本例のＡＦ検出部５４は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、操作部１２により設定された所定のフォーカスエリア内の信号を切り出すフォーカスエリア抽出部、及び、そのフォーカスエリア内の絶対値データを積算する積算部を含み、積算部で積算されたフォーカスエリア内の絶対値データをＡＦ評価値としてＣＰＵ１０に出力する。

手ぶれ補正部５６は、ＣＰＵ１０からの指示に従い、手ぶれ補正を行う。

フラッシュドライバ５８は、ＣＰＵ１０による制御の下、フラッシュ６０を駆動する。すなわち、ＣＰＵ１０から指示された発光タイミング、発光量でフラッシュ６０を発光させる。

電源制御部６２は、ＣＰＵ１０からの指示に従い、装置本体に装填されたバッテリ６４からデジタルカメラ１００の各部への電源の供給を制御する。

なお、図３にて符号２４〜３６のデバイス（撮影レンズ２４、撮像素子３０、アナログ信号処理部３４およびＡ／Ｄ変換器３６を含む）により、撮像部２３が構成される。

図４は、撮像素子３０の構成例を模式的に示す平面図である。

撮像素子３０の受光面には、赤、緑、青の色フィルタがそれぞれ取り付けられた多数の画素（受光素子）が配置されている。図４にて、大文字のＲ、Ｇ、Ｂが付された画素のグループを以下「Ａ面画素群」といい、小文字のｒ、ｇ、ｂが付された画素のグループを以下「Ｂ面画素群」という。Ａ面画素群、Ｂ面画素群とも、赤、緑、青の３原色のフィルタがそれぞれ取り付けられた画素を含んでいる。これにより、Ａ面画素群だけ又はＢ面画素群だけで、フルカラー画像を生成することが可能である。

本例の撮像素子３０は、ハニカム配列と呼ばれる画素配列を有しており、Ａ面画素群（Ｒ、Ｇ、Ｂ画素群）が行方向および列方向に格子状に配置され、このＡ面画素群に対し、Ｂ面画素群（ｒ、ｇ、ｂ画素群）が行方向及び列方向に画素ピッチの半分（１／２画素ピッチ）ずらして格子状に配置されている。つまり、Ａ面画素群の格子間にＢ面画素群を配置したハニカム配列となっている。

また、赤（Ｒ、ｒ）、緑（Ｇ、ｇ）、青（Ｂ、ｂ）の同色の画素が斜め方向に２つ隣り合う。これらの隣接した二つの画素を一画素とみなして信号処理することで、ダイナミックレンジを拡大することが可能である。

本例にて、同一色のＡ面画素とＢ面画素（例えばＲ画素とｒ画素）は、同一の形状および同一の飽和電荷量を有する。また、Ａ面画素およびＢ面画素には、それぞれ独立した電荷転送路（８０Ａ、８０Ｂ）と読出電極（８２Ａ、８２Ｂ）が設けられており、Ａ面画素に蓄積された電荷とＢ面画素に蓄積された電荷は、それぞれ独立に読み出し及び転送を行うことが可能である。

撮像素子３０のＡ面画素群およびＢ面画素群は、画素群ごとに異なる露光時間にて一回露光で撮像することが可能である。例えば、Ａ面画素群とＢ面画素群とで同時に露光を開始し、Ｂ面画素群の露光終了後にＡ面画素群の露光を終了することが可能である。これにより、Ａ面画素群の長時間露光によるＡ面画像と、Ｂ面画素群の短時間露光によるＢ面画像が得られる。このような撮像素子３０の駆動については、例えば特開２００７−２３５６５６号公報に記載の方法を用いればよく、ここでは詳細な説明を省略する。もっとも、本発明は、Ａ面画素群とＢ面画素群とで同時に露光を開始する場合には特に限定されない。例えば、露光開始時間を異ならせる態様や、露光開始時間と露光終了時間の両方を異ならせる態様でも、露光期間を重複させ且つ露光時間を異ならせることができる。

また、撮像素子３０のＡ面画素群とＢ面画素群とをひとつの高解像度画素群として用い、Ａ面画素群とＢ面画素群とで同じ露光時間で撮像することにより、画素群別画像（Ａ面画像、Ｂ面画像）よりも高解像度を有する高解像度画像を得ることも可能である。

なお、画素の形状は、図４に示す四角形状に限定されるものではない。例えば、六角形状や八角形状の画素であってもよい。

また、本発明にて、画素配列はハニカム配列に特に限定されるものではない。例えば、多数の画素を行方向および列方向に一定間隔で正方格子形状に配列した正方格子配列とし、行方向および列方向のそれぞれにてＡ面画素とＢ面画素とを１つ置きに配置してもよい。

図５は、第１実施形態におけるＣＰＵ１０の要部機能ブロック図である。

ＡＥ制御部１０２は、ＡＥ検出部５２により算出されたＡＥ評価値に基づいて、自動露出（ＡＥ）制御を行う。

ＡＦ制御部１０４は、ＡＦ検出部５４により算出されたＡＦ評価値に基づいて、自動合焦（ＡＦ）制御を行う。

ダイナミックレンジ判定部１０６は、撮像部２３から出力される撮像画像のダイナミックレンジが適正な範囲内であるか否かを判定する。具体的には、ダイナミックレンジを閾値と比較し、ダイナミックレンジが閾値未満であれば、ダイナミックレンジは適正範囲内であり、拡大は不要であると判定する。つまり、基準の撮像条件で本撮像した場合に飽和は生じないと推定する。ダイナミックレンジが閾値以上であれば、ダイナミックレンジは適正範囲外であり、拡大が必要であると判定する。この場合、基準の撮像条件で本撮像した場合に飽和する可能性がある。ここで、本撮像は、レリーズスイッチ８４により撮影指示が入力された後に、記録する画像を得るために行う撮像である。

撮像制御部１０８は、タイミングジェネレータ３２を用いて撮像素子３０を制御する。撮像により得られた撮像画像は、ＳＤＲＡＭ１６に格納される。

本例では、撮像素子３０のＡ面画素群とＢ面画素群とで画素群ごとに異なる露光時間で一回露光（一回撮像）にて撮像する画素群別撮像（第１の撮像）と、Ａ面画素群およびＢ面画素群をひとつの高解像度の画素群として同じ露光時間を設定し、且つ、一回ごとに異なる露光時間で連続して複数回露光（複数回撮像）にて撮像する高解像度連写（第２の撮像）とを、連続して行う。この場合、少なくとも三回露光（三回撮像）する。画素群別撮像および高解像度連写の順はいずれが先でもよい。

動きベクトル検出部１１０は、被写体を連続して撮像して得られた複数枚の画像から、被写体の動きベクトルを検出する。また、本実施形態の動きベクトル検出部１１０は、被写体の動きベクトルとともに、カメラボディ８０の動きベクトルを、複数枚の画像から検出する。

被写体判定部１１２は、被写体の動きベクトルに基づいて、連写中の被写体が静止状態であるか動状態であるかを判定する。以下では、静止状態である被写体を「静止体」、動状態である被写体を「動体」ということもある。

画像合成部１１４は、被写体判定部１１２により連写中の被写体が動状態であると判定された場合には、Ａ面画素群とＢ面画素群とで異なる露光時間にて一回露光（一回撮像）して得られたＡ面画像とＢ面画像とを合成する。また、画像合成部１１４は、被写体判定部１１２により連写中の被写体が静止状態であると判定された場合には、Ａ面画素群およびＢ面画素群をひとつの高解像度画素群として扱い、一回ごとに異なる露光時間で連続して複数回露光（複数回撮像）して得られた複数枚の高解像度画像を合成する。

つまり、画像合成部１１４は、図６（Ａ）に示すオーバー露出の入出力特性２０１で撮像された画像（長時間露光画像）と、図６（Ｂ）に示すアンダー露出の入出力特性２０２で撮像された画像（短時間露光画像）とを加算する。オーバー露出では、入射光量が小さい低輝度領域にてダイナミックレンジが大きく、入射光量が大きい高輝度領域にて飽和する。アンダー露出では、高輝度領域でも飽和しない。なお、長時間露光画像と短時間露光画像とを単純加算すると、図６（Ｃ）に符号２０３で示す入出力特性で撮像されたと同じ画像となり、入出力特性が滑らかでなく、また、飽和点Ｓを超えてしまうため、γテーブルを用いた重み付け加算により、図６（Ｃ）に符号２０４で示す入出力特性で撮像されたと同じ画像を生成する。

画像合成部１１４の画像合成により生成された画像を、以下では「合成画像」または「広ダイナミックレンジ画像」という。

また、本実施形態の画像合成部１１４は、動きベクトル検出部１１０にて検出されたカメラボディ８０の動きベクトルを用いて、複数枚の連写画像を合成する。

記録制御部１２０は、広ダイナミックレンジ画像を、メディアインタフェース４４を介してメモリカード４６に記録する。

本例の記録制御部１２０は、画像合成部１１４により生成された合成画像を、メモリカード４６に記録する。

システム制御部１２２は、ＣＰＵ１０内の各部およびＣＰＵ１０外の各部を統括して制御する。

図７は、第１実施形態における撮像処理例の流れを示すフローチャートである。本処理は図３のＣＰＵ１０によりプログラムに従って実行される。

レリーズスイッチ８４が半押しされると、ステップＳ１にて、ＡＥ制御部１０２により、ＡＥ処理を行う。ＡＥ処理では、ＡＥ検出部５２にて算出されたＡＥ評価値に基づいて、撮像画像の輝度（明るさ）を求め、基準の露光時間および絞り値を決定する。例えば、プログラム線図を利用して決定する。

ステップＳ２にて、ＡＦ制御部１０４により、ＡＦ処理を行う。ＡＦ処理では、フォーカスモータドライバ２８ｆによりフォーカスレンズ２４ｆを至近距離に合焦した至近レンズ位置から無限遠に合焦した無限遠レンズ位置まで小刻みに移動させながら、ＡＦ検出部５４により撮像画像のコントラストを示すＡＦ評価値を算出し、フォーカスレンズ２４ｆをコントラストがピークとなるレンズ位置を合焦レンズ位置（主要被写体に合焦するフォーカスレンズ２４ｆの位置）と決定する焦点検出処理を行う。そして、決定した合焦レンズ位置にフォーカスレンズ２４ｆを移動させる。

なお、本例では、ＡＥ処理およびＡＦ処理をレリーズスイッチ８４の全押し前に行うが、ＡＥ処理およびＡＦ処理のうち少なくとも一方をレリーズスイッチ８４の全押し後に行ってもよい。

ステップＳ３にて、ダイナミックレンジ判定部１０６により、撮像部２３から出力された撮像画像のダイナミックレンジを閾値（例えば６ＥＶ）と比較して、ダイナミックレンジが適正な範囲内であるか否かを判定する。ダイナミックレンジが閾値以上であればステップＳ４に進み、閾値未満であればステップＳ９に進む。

本例では、ステップＳ１にて算出されたＡＥ評価値（測光値）に基づいて、本撮像前の撮像画像における明暗差（輝度差）をダイナミックレンジとして算出する。例えば、撮像画像を複数の領域に分割し、ＡＥ検出部５２により、各分割領域ごとに輝度の積算値を算出し、全部の領域における積算値の最大値と最小値を求め、適正露出値（適正ＥＶ値）に換算し、最大値と最小値との差をダイナミックレンジとして算出する。

なお、ダイナミックレンジ判定をレリーズスイッチ８４半押し後の撮像画像に基づいて行う場合を例に説明したが、レリーズスイッチ８４が半押しされる前に撮像されたスルー画像に基づいて行ってもよい。

レリーズスイッチ８４が全押しされると、ステップＳ４にて、撮像制御部１０８により撮像部２３を制御して、図８（Ａ）に示すように、まず、Ａ面画素群の露光時間ｔ１をＢ面画素群の露光時間ｔ２よりも長くして一回露光し、画素群ごとに蓄積電荷を読み取る（第１回目の撮像）。次に、Ａ面画素群およびＢ面画素群をひとつの高解像度画素群として用い、異なる露光時間（ｔ２＜ｔ１）で二回露光し、一回ごとに全画素群から蓄積電荷を読み取る（第２回目および第３回目の撮像）。第１回目の撮像（画素群別撮像）により、ダイナミックレンジが異なる通常解像度Ｒｎの画素群別画像が２枚得られ、第２回目および第３回目の撮像（高解像度連写）により、ダイナミックレンジが異なる高解像度Ｒｈ（＝Ｒｎ×２）の高解像度画像が２枚得られる。

ステップＳ５にて、動きベクトル検出部１１０により、被写体の動きベクトルおよびカメラボディ８０の動きベクトルを検出する。

動きベクトルは、撮像条件（露光時間、絞り値など）が異なる画像間でも検出可能であるが、動きベクトルの検出精度を高めるためには、同じ撮像条件で被写体を撮像して得られた複数枚の画像間で検出することが、好ましい。例えば、第１回目の撮像にて得られたＡ面画像と、第３回目の撮像にて得られた高解像度画像に含まれるＡ面画像とから、動きベクトルを検出する。Ｂ面画像を用いてもよい。

動きベクトルは、公知技術を用いて検出すればよい。例えば、主要被写体が人と特定されている場合、各連写画像にて顔部分を検出し、複数枚の連写画像間で顔部分の動きベクトルを検出し、これを被写体の動きベクトルとする態様がある。ここで、顔部分の周囲（または撮像画像の周辺部分）を背景と推定して、背景の動きベクトルを検出し、これをカメラボディ８０の動きベクトル（すなわち手ぶれ量）と推定してもよい。

また、主要被写体が人等に特定されず任意である場合でも、被写体およびカメラボディ８０の動きベクトルを検出可能である。例えば、撮像画像の各分割領域毎に、複数枚の連写画像間で動きベクトルを検出し、分割領域間で動きベクトル間の相関関係を求め、その相関関係に基づいて、各分割領域の動きベクトルが被写体の動き及びカメラボディ８０の動きのうち何れを示すか、または、加算されているかを判定することで、被写体の動きベクトル及びカメラボディ８０の動きベクトルを抽出することが可能である。

これら以外の方法を用いて被写体の動きベクトルおよびカメラボディ８０の動きベクトルを検出してもよいことは、勿論である。

ステップＳ６にて、被写体判定部１１２により、被写体の動きベクトルに基づいて、連写中における被写体が、静止体（すなわち静止状態）であるか動体（すなわち動状態）であるかを判定する。

動体であると判定された場合、ステップＳ７にて、画像合成部１１４により、Ａ面画像とＢ面画像とを合成することで、ダイナミックレンジを拡大した合成画像を生成する。

例えば、図６（Ａ）に示すオーバー露出の入出力特性２０１で撮像されたＡ面画像、すなわち低輝度領域にて飽和せず高輝度部にて飽和した画素群別画像と、図６（Ｂ）に示すアンダー露出の入出力特性２０２で撮像されたＢ面画像、すなわち高輝度部でも飽和しない画素群別画像とを取得し、これらの画素群別画像を加算する。つまり、Ａ面画像の画素値とＢ面画像の画素値とを加算することで、低輝度領域から高輝度領域にわたってダイナミックレンジが広い広ダイナミックレンジ画像を生成する。なお、Ａ面画像とＢ面画像とを単純加算すると、図６（Ｃ）に符号２０３で示す入出力特性にて撮像された場合と同じ画像が生成されるが、実際には、γテーブルを用いて図６（Ｃ）に符号２０４で示す入出力特性にて撮像された場合と同じ画像を生成する。つまり、γテーブルを用いた重み付け加算を行う。これにより、良好な入出力特性の広ダイナミックレンジ画像が得られる。

静止体であると判定された場合、ステップＳ８にて、画像合成部１１４により、第２回目および第３回目の撮像により得られた２枚の高解像度画像を合成することで、広ダイナミックレンジ画像を生成する。つまり、図６（Ａ）に示す第１の入出力特性２０１で撮像されたオーバー露出の高解像度画像と、図６（Ｂ）に示す第２の入出力特性２０２で撮像されたアンダー露出の高解像度画像とを加算する。なお、２枚の高解像度画像を単純加算すると、図６（Ｃ）に符号２０３で示す入出力特性にて撮像された場合と同じ合成画像が生成されることになるが、実際には、γテーブルを用いて図６（Ｃ）に符号２０４で示す入出力特性にて撮像された場合と同じ合成画像を生成する。これにより、良好な入出力特性の広ダイナミックレンジ画像が得られる。

なお、静止体であっても、カメラボディ８０が動いた場合には、複数枚の連写画像を合成すると、いわゆる手ぶれが加算的に大きくなる。そこで、高解像度画像の画像合成の際、カメラボディ８０の動きベクトルを用いて、手ぶれ成分を加えないように画像を合成する。具体的には、一枚の高解像度画像に対し他の高解像度画像を画像処理により相対的にシフトした後、合成する。ここで、高解像度画像の相対的シフトは、カメラボディ８０の動きベクトルの逆ベクトルに相当する。

画像合成により得られた広ダイナミックレンジ画像は、ステップＳ１０にて画像信号処理部４０により所定の画像処理が施され、ステップＳ１１にて圧縮／伸張処理部４２により圧縮され、ステップＳ１２にて記録制御部１２０によりメモリカード４６に記録される。

ステップＳ３にて、ダイナミックレンジが閾値未満であると判定された場合には、レリーズスイッチ８４が全押しされると、ステップＳ９にて、ステップＳ１で算出した基準の露光時間および絞り値で一回撮像することで１枚の高解像度の記録用画像を取得する。ステップＳ１０の画像処理、ステップＳ１１の圧縮処理、および、ステップＳ１２の記録処理は、前述の連写の場合と同様である。

なお、３回撮像（３回露光）する場合を例に説明したが、このような場合に本発明は限定されない。以下のように２回撮像（２回露光）して画像合成を行ってもよい。

２回撮像の場合、図７のステップＳ４にて、撮像制御部１０８は、撮像素子３０のＡ面画素群とＢ面画素群とで画素群ごとに異なる露光時間で連続して複数回撮像する。ここで、一回撮像するごとに、各画素群から蓄積電荷を読み取るとともに、画素群間で露光時間を互いに入れ替える。例えば、図８（Ｂ）に示すように、第１回目の撮像では、第１の露光時間ｔ１でＡ面画素群により露光すると同時に、第１の露光時間ｔ１よりも短い第２の露光時間ｔ２でＢ面画素群により露光し、全画素群から蓄積電荷を読み取る。第２回目の撮像では、露光時間を入れ替えて、第２の露光時間ｔ２でＡ面画素群により露光すると同時に、第１の露光時間ｔ１でＢ面画素群により露光し、全画素群から蓄積電荷を読み取る。

また、２回撮像の場合、図７のステップＳ６にて被写体判定部１１２により被写体が動状態であると判定された場合、図７のステップＳ７にて、画像合成部１１４は、一回の撮像（例えば第１回目の撮像）で得られたＡ面画像とＢ面画像とを合成することにより第１の広ダイナミックレンジ画像を生成する。被写体が静止状態であると判定された場合、図７のステップＳ８にて、画像合成部１１４は、複数回の撮像で得られた複数枚の画素群別画像を同一の画素群ごとに合成するとともに画素群間で組み合わせることにより高解像度の広ダイナミックレンジ画像を生成する。つまり、第１回目の撮像にて得られた露光時間ｔ１のＡ面画像と第２回目の撮像にて得られた露光時間ｔ２のＡ面画像とを加算することにより広ダイナミックレンジのＡ面画像を生成し、第１回目の撮像にて得られた露光時間ｔ２のＢ面画像と第２回目の撮像にて得られた露光時間ｔ１のＢ面画像とを加算することにより広ダイナミックレンジのＢ面画像を生成し、更に広ダイナミックレンジのＡ面画像およびＢ面画像を組み合わせることで高解像度の広ダイナミックレンジ画像を生成する。

図９は、第２実施形態におけるデジタルカメラ１００の一例を示す全体構成図である。なお、図３に示した要素には同じ符号を付してあり、既に説明した内容については、その説明を省略する。

図９において、角速度センサ７０は、カメラボディ８０の動きを検出することで、撮像部２３の動きベクトル（すなわち手ぶれ量）を検出する。

図１０は、第２実施形態におけるＣＰＵ１０の要部機能ブロック図である。なお、図３に示した要素には同じ符号を付してあり、既に説明した内容については、その説明を省略する。

本実施形態の動きベクトル検出部１１０は、撮像素子３０により得られた複数枚の撮像画像と、角速度センサ７０により検出されたカメラボディ８０の動きとに基づいて、被写体の動きベクトルを検出する。また、本実施形態の画像合成部１１４は、角速度センサ７０の検出結果を用いて、複数枚の連写画像を合成する。

図１１は、第２実施形態における撮像処理例の流れを示すフローチャートである。本処理は図９のＣＰＵ１０によりプログラムに従って実行される。

ステップＳ２１〜Ｓ２４は、図７に示した第１実施形態におけるＳ１〜Ｓ４と同様である。

ステップＳ２５にて、本実施形態では、動きベクトル検出部１１０により、複数枚の撮像画像と角速度センサ７０の検出結果とに基づいて、被写体の動きベクトルを検出する。本実施形態では、角速度センサ７０によりカメラボディ８０の動き（すなわち手ぶれ量）が検出される。よって、複数枚の撮像画像間での動きベクトルから、角速度センサ７０により検出されたカメラボディ８０の動きベクトルを減算した結果が、被写体の動きベクトルに相当する。

ステップＳ２６にて、被写体判定部１１２により、被写体の動きベクトルに基づいて、被写体が静止状態であるか動状態であるかを判定する。

ステップＳ２８にて、本実施形態では、角速度センサ７０の検出結果を用いて、複数枚の連写画像を合成する。

前述の第１実施形態では、動きベクトル検出部１１０により検出されたカメラボディ８０の動きベクトルを用いて、手ぶれ成分を加えないように画像合成を行ったが、本実施形態では、角速度センサ７０により検出されたカメラボディ８０の動きベクトルを用いることで、確実に手ぶれの加算を排除することが可能である。具体的には、一枚の撮像画像に対し、他の撮像画像を画像処理により相対的にシフトした後、合成する。ここで撮像画像の相対的シフトのベクトルは、角速度センサ７０により検出されたカメラボディ８０の動きベクトルの逆ベクトルに相当する。

ステップＳ２７およびＳ２９〜Ｓ３２は、図７に示した第１実施形態におけるＳ７およびＳ９〜Ｓ１２と同様である。

以上説明した第１実施形態および第２実施形態にて、連写回数は特に限定されない。枚数を増やすことにより、動きベクトルの検出精度の向上や、広ダイナミックレンジ画像の精度向上を図ってもよいことは、言うまでもない。

また、画像合成をＣＰＵ１０の演算により行う場合を例に説明したが、このような場合に特に限定されない。ハードウェア回路により、画像合成やゲインアップを行ってもよいことは、言うまでもない。

また、高解像度画像の撮像条件の切り替えとして、露光時間を切り替える場合を例に説明したが、このような場合に本発明は特に限定されない。例えば、絞り値を切り替えることで、ダイナミックレンジが異なる複数枚の連写画像を取得してもよい。また、フラッシュ６０として発光量可変の光源を用い、被写体に対する照度を切り替えることで、ダイナミックレンジが異なる複数枚の連写画像を取得してもよい。また、撮影レンズ２４にフィルタを設け、撮影レンズ２４の光透過率を切り替えてもよい。また、アナログ信号処理部３４におけるゲインを切り替えることで、いわゆる感度を切り替えてもよい。

また、第１実施形態にて、画像解析により電子的にカメラボディ８０の動きを検出する場合を例に説明し、第２実施形態にて、角速度センサ７０によりカメラボディ８０の動きを検出する場合を例に説明したが、画像解析とセンサとを併用してカメラボディ８０の動きを精度よく検出してもよいことは、勿論である。

また、第２実施形態にて、カメラボディ８０の動きを検出するセンサとして、角速度センサ（ジャイロセンサ）を用いた場合を例に説明したが、角速度センサには特に限定されない。カメラボディ８０の動き量を検出可能なセンサであればよい。

また、手ぶれ補正部５６の詳細な説明を省略したが、公知の技術を用いて手ぶれ補正を行うことができる。手ぶれ補正は、ハードウェアおよびソフトウェアのいずれで行ってもよい。例えば、手ぶれ量に応じて撮像素子３０や撮影レンズ２４を移動させる公知のハードウェアを用いることにより、手ぶれ補正を行うことができる。ハードウェア回路を用い、画像信号に対して手ぶれ補正を行ってもよい。また、被写体ぶれ補正についての説明を省略したが、公知の技術を用いて被写体ぶれ補正を行ってよいことは、言うまでもない。これらのぶれ補正の際に、動きベクトル検出部１１０により検出した動きベクトル、および、角速度センサ７０の検出結果のうち、少なくともいずれかを用いることができる。

また、本明細書では、デジタルカメラを例に説明したが、本発明は、デジタルカメラには特に限定されず、カメラ付き携帯電話等、撮像機能を備えたあらゆる撮像装置に適用可能である。

なお、本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。

１０…ＣＰＵ、１２…操作部、１６…ＳＤＲＡＭ、２３…撮像部、２４…撮影レンズ、３０…撮像素子、３２…タイミングジェネレータ、３４…アナログ信号処理部、３６…Ａ／Ｄ変換器、３８…画像入力コントローラ、４４…メディアインタフェース、４６…メモリカード、５２…ＡＥ検出部、５４…ＡＦ検出部、７０…角速度センサ、８４…レリーズスイッチ、１００…デジタルカメラ、１０６…ダイナミックレンジ判定部、１０８…撮像制御部、１１０…動きベクトル検出部、１１２…被写体判定部、１１４…画像合成部、１１８…画像補正部、１２０…記録制御部、１２２…システム制御部

Claims (8)

1. 複数の画素群を有する撮像素子と、
   前記撮像素子の前記画素群ごとに異なる露光時間で撮像するとともに、前記画素群間で露光時間を互いに入れ替えて連続して複数回撮像する撮像制御手段と、
   前記撮像素子により得られた画像から被写体の動きベクトルを検出する動きベクトル検出手段と、
   少なくとも前記被写体の動きベクトルに基づいて、前記被写体が静止状態であるか動状態であるかを判定する被写体判定手段と、
   前記被写体が動状態であると判定された場合には、一回の撮像で得られた複数枚の画素群別画像を合成することにより第１の広ダイナミックレンジ画像を生成し、前記被写体が静止状態であると判定された場合には、複数回の撮像で得られた複数枚の画素群別画像を同一の画素群ごとに合成するとともに画素群間で組み合わせることにより前記第１の広ダイナミックレンジ画像よりも高解像度である第２の広ダイナミックレンジ画像を生成する画像合成手段と、
   を備えることを特徴とする撮像装置。
2. 本撮像装置の動きを検出するセンサを備え、
   前記画像合成手段は、前記センサの検出結果を用いて画像合成を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記動きベクトル検出手段は、前記撮像素子により得られた画像と前記センサの検出結果とに基づいて、前記被写体の動きベクトルを検出することを特徴とする請求項２に記載の撮像装置。
4. 前記動きベクトル検出手段は、前記撮像素子により得られた画像から本撮像装置の動きベクトルを検出し、
   前記画像合成手段は、前記本撮像装置の動きベクトルを用いて画像合成を行うことを特徴とする請求項１に記載の撮像装置。
5. 前記動きベクトル検出手段は、同じ撮像条件で撮像された複数枚の画像を用いて前記動きベクトルを検出することを特徴とする請求項１ないし４のうちいずれか１項に記載の撮像装置。
6. 前記撮像素子は、第１の画素群の格子間に第２の画素群を配置したハニカム配列であることを特徴とする請求項１ないし５のうちいずれか１項に記載に撮像装置。
7. 前記撮像素子は、多数の画素を２方向に一定間隔で正方格子状に配列した正方格子配列であることを特徴とする請求項１ないし５のうちいずれか１項に記載に撮像装置。
8. 複数の画素群を有する撮像素子を用い、前記撮像素子の前記画素群ごとに異なる露光時間で撮像するとともに、前記画素群間で露光時間を互いに入れ替えて、連続して複数回撮像する撮像ステップと、
   前記撮像ステップにて得られた画像から被写体の動きベクトルを検出する動きベクトル検出ステップと、
   少なくとも前記被写体の動きベクトルに基づいて、前記被写体が静止状態であるか動状態であるかを判定する被写体判定ステップと、
   前記被写体が動状態であると判定された場合には、一回の撮像で得られた複数枚の画素群別画像を合成することにより第１の広ダイナミックレンジ画像を生成し、前記被写体が静止状態であると判定された場合には、複数回の撮像で得られた複数枚の画素群別画像を同一の画素群ごとに合成するとともに画素群間で組み合わせることにより前記第１の広ダイナミックレンジ画像よりも高解像度である第２の広ダイナミックレンジ画像を生成する画像合成ステップと、
   を備えることを特徴とする撮像方法。

Images