JP2018148311A - 撮像装置及び撮像装置の制御方法 - Google Patents

Abstract

【課題】露光量の異なる画像の合成により広ダイナミックレンジな動画像を得る機能において、低消費電力で低ノイズな画像を実現する撮像装置を提供する。【解決手段】この撮像装置は、露光量の異なる複数の画像を取得し、広ダイナミックレンジの画像を合成する撮像装置であって、行列状に複数の画素２０１が配置された画素部と、複数の画素２０１から出力された信号を増幅するアンプ２０８とを備えた撮像素子と、露光量を制御する露光量制御手段１０７と、露光量制御手段１０７により制御された露光量に従って、アンプ２０８の前段で複数の画像を合成する第１の加算モードとアンプ２０８の後段で複数の画像を合成する第２の加算モードとを切り替える合成手段１０６とを備える。【選択図】図２

Description

本発明は、撮像装置及び撮像装置の制御方法に関し、特に広ダイナミックレンジに向けた駆動に関する。

従来、暗部・明部の双方において黒潰れや白とびのない、ダイナミックレンジの広く、Ｓ／Ｎの良好な動画像を取得可能なカメラが望まれている。広ダイナミックレンジに向けた一例として、所定の２倍のフレームレートでフレーム毎に露光量の異なる動画像を取得し、後段で露光量の異なる２枚の動画像から諧調が保存できている信号を画像合成する。そうすることで、広ダイナミックレンジな動画像を取得する機能を有するカメラが広く普及している。しかしながら、この機能では２倍の速度で読み出しを行う必要があることから、消費電力に懸念がある。

これに対して、特許文献１では、第１の露光量に基づいて撮影を行うときは予め設定された第１レベル以下の画素信号のＡ／Ｄ変換のみを行う。そして、第１の露光量より少ない第２の露光量に基づいて撮影を行うときは予め設定された第２レベル以上の画素信号のＡ／Ｄ変換のみを行うことで、消費電力の低減を図った撮像装置が提案されている。

また、動画時の駆動方法において、静止画・動画を取得可能なカメラでは、決められたフォーマットのない静止画に対して、動画はＦＨＤやＨＤ、４ｋ２ｋなど、決められたフォーマットがある。このことから、動画モードに応じて、フォーマットに合うように低画素化を行い読み出すことが一般的である。低画素化には、センサーから全画素読み出し、後段で隣接する同色画素信号をデジタル的に混合する手法や、センサー内で隣接する同色画素信号をアナログ信号として混合し、低画素化した状態でセンサーから出力する手法が知られている。前者の方法では、全画素分のデータをセンサーから出力する必要がある為、消費電力が大きい。また、高速で読み出す必要のある動画では読出しスピードの点でも懸念がある。一方、後者の方法はセンサー内で低画素化できることから、消費電力、読出しスピードの点で有利である。

後者の方法において、特許文献２では、画素列毎構成されるアンプと、アンプの後段に配置される混合回路を有し、各画素列の信号はアンプを介した後、混合回路で列方向の混合を行い、低画素化して出力する構成のセンサーが記載されている。また、遮光画像には画素部で発生する画素ノイズやアンプによる熱雑音などが重畳された回路ノイズが表れる。これは露光量に依らないノイズとなる。一方、明時の画像には、露光量に依らない回路ノイズに対して、露光量に比例して大きくなる光ショットノイズが支配的となり、回路ノイズは目立たなくなることが知られている。

特開２０１４−５７１８９号公報 特開２００５−３３３４６２号公報

露光量の異なる２枚の画像合成により広ダイナミックレンジな動画像を得る機能において、露光量の大きい画像では暗部の諧調が保存され、露光量の小さい画像では明部の諧調が保存される。画像合成時は諧調が保存された部分的な情報が合成に用いられることになる。この特徴に対して、特許文献１ではノイズに対しての議論はなされていない。また、特許文献２では、アンプを介した後に混合を行うため、アンプで発生するノイズが低減できる効果がある一方で、読み出す画素列に応じたアンプ全てを駆動させる必要がある為、消費電力の面では低減効果が少ない。

本発明は、上記課題を鑑みて、露光量の異なる画像の合成により広ダイナミックレンジな動画像を得る機能において、低消費電力で低ノイズな画像を実現する撮像装置を提供することを目的とする。

上記の課題を解決するために、本発明の撮像装置は、露光量の異なる複数の画像を取得し、広ダイナミックレンジの画像を合成する撮像装置であって、行列状に複数の画素が配置された画素部と、前記複数の画素から出力された信号を増幅するアンプとを備えた撮像素子と、前記露光量を制御する露光量制御手段と、前記露光量制御手段により制御された露光量に従って、前記アンプの前段で前記複数の画像を合成する第１の加算モードと前記アンプの後段で前記複数の画像を合成する第２の加算モードとを切り替える合成手段とを備えることを特徴とする。

本発明によれば、露光量の異なる画像の合成により広ダイナミックレンジな動画像を得る機能において、低消費電力で低ノイズな画像を実現することを可能にした撮像装置を提供することができる。

本発明における撮像装置の概略構成図である。 本発明における撮像素子の等価回路図である。 撮像素子画素部の等価回路図である。 非混合モード時の読み出しタイミングチャートである。 第１の混合モード時の読み出しタイミングチャートである。 第２の混合モード時の読み出しタイミングチャートである。 各混合モードとノイズの関係を表すグラフである。 広ダイナミックレンジモードのタイミングチャートである。 ２行毎に画素感度を変える構成例である。

以下、本発明を実施するための最良の形態について図面などを参照して説明する。

［撮像システム］
図１は、本実施形態に係る撮像システムの一例を示すブロック図である。図１において、レンズ部１０１は、被写体の光学像を撮像素子１０５に結像させるレンズであり、レンズ駆動装置１０２によってズーム制御、フォーカス制御、絞り制御などが行われる。メカニカルシャッター１０３は、シャッター制御手段１０４によって制御される。撮像素子１０５は、レンズ部１０１により結像された被写体を画像信号として取り込む。撮像信号処理回路１０６は、撮像素子１０５より出力される画像信号に各種の補正やデータ圧縮、広ダイナミックレンジ画像を得るための複数画像の合成処理を行う。タイミング発生回路（露光量制御手段）１０７は、撮像素子１０５、撮像信号処理回路１０６に、各種タイミング信号を出力する駆動手段である。制御回路１０９は、各種演算と撮像装置全体を制御する。メモリ１０８は、画像データを一時的に記憶する。インターフェース１１０は、記録媒体に記録または読み出しを行う。記録媒体１１１は、画像データの記録または読み出しを行う為の半導体メモリ等の着脱可能な記録媒体である。表示部１１２は、各種情報や撮影画像を表示する。

次に、本実施形態に係るデジタルカメラ（撮像装置）の撮影時の動作について説明する。まず、メイン電源がオンされると、コントロール系の電源がオンとなり、さらには撮像信号処理回路１０６などの撮像系回路の電源がオンとなる。次に、不図示のレリーズボタンが押されると、撮影動作が開始される。そして、撮影動作が終了すると、撮像素子１０５から出力された画像信号は、撮影信号処理回路１０６で後述する撮像素子出力の補正演算や画像処理をされ、制御回路１０９の指示によりメモリ１０８に書き込まれる（データが蓄積される）。メモリ１０８に蓄積されたデータは、制御回路１０９の制御により記録媒体制御Ｉ／Ｆ部１１０を通り半導体メモリ等の着脱可能な記録媒体１１１に記録される。また、不図示の外部Ｉ／Ｆ部を通り直接コンピュータ等に入力して画像の加工を行ってもよい。

［撮像素子等価回路図］
次に、本実施形態に係る撮像素子１０５の構成について図２を用いて詳細な説明を行う。図２は、撮像素子の等価回路図を示している。本実施形態では、動画駆動時に動画フォーマットに合わせて低画素化する際に、隣接する同色の３画素を水平混合する構成の撮像素子を想定しているが、混合数は、３画素に限らず、２画素や５画素など任意の混合数の場合でも適用可能である。

単位画素２０１は、マイクロレンズ（以下、ＭＬ）やフォトダイオード（以下、ＰＤ）、フローティングディフュージョン（以下、ＦＤ）などから成り、画素部に行列状に複数配置されている。なお、単位画素２０１の詳細な構成については後述する。単位画素２０１に記したＲ、Ｇ、Ｂは、それぞれＲｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅのカラーフィルタを表しており、図２に示すようにベイヤ配列で配置されている。垂直走査回路２０２は、行単位で各画素に駆動信号（ＰＲＥＳ、ＰＴＸ、ＰＳＥＬ）を供給する。各信号の末尾の数字、及びｎ（３以上の整数）は行番号を示しており、例えばｎはｎ行目の各画素に供給する信号を示している。なお、特に行数を指定する必要がない場合は末尾の行数を示す文字は省略する。なお、駆動信号については、単位画素の構成と合わせて後述する。

各画素の信号は、単位画素列毎に配置される垂直信号線２０３を介して、後段の回路へ伝達され、各垂直信号線２０３には定電流回路２０４が図のように接続される。垂直信号線２０３は、さらに前段混合切り替えスイッチ２０５、２０６に接続され、前段混合切り替えスイッチ２０５、２０６は、信号ＰＨＡＤＤ＿ｆにより駆動する。前段混合切り替えスイッチ２０５の他端には、読み出す画素列に対応して配置される列アンプ２０８が接続されており、前段混合切り替えスイッチ２０６の他端には、混合回路２０７が接続される。混合回路２０７は、色毎に３画素の水平混合を行う回路であり、単位混合列毎に１つ設けられる。

前段混合切り替えスイッチ２０５は、ｐＭＯＳスイッチ、前段混合切り替えスイッチ２０６は、ｎＭＯＳスイッチで構成されている。そして、信号ＰＨＡＤＤ＿ｆが“Ｌ”の時には前段混合切り替えスイッチ２０５がオン、前段混合切り替えスイッチ２０６がオフとなり、画素信号は、垂直信号線に対応する増幅器である列アンプ２０８に入力される。列アンプ２０８は、信号を増幅する機能を有する。この時、列アンプ２０８は、異なる複数のゲインを掛けることが可能なゲインアンプとしてもよい。信号ＰＨＡＤＤ＿ｆが“Ｈ”の時には前段混合切り替えスイッチ２０５がオフ、前段混合切り替えスイッチ２０６がオンとなり、垂直信号線の信号は混合回路２０７に入力される。

列メモリ２１１は、列毎に設けられるアナログ信号を記憶する。サンプルホールドスイッチ２０９は、信号ＰＳＨが“Ｈ”の時にオンとなり、列メモリ２１１を用いて、列アンプ２０８の出力信号をサンプルホールドする機能を持つ。後段混合切り替えスイッチ２１０は、信号ＰＨＡＤＤ＿ｅが“Ｈ”の時にオンとなり、列アンプ２０８の出力信号が列メモリ２１１にサンプルホールドされた後にオンすることで、列アンプ出力後の信号において色毎に３画素の水平混合を行う機能を持つ。

比較器２１２は、各列に対応して設けられ、画素信号とＤＡＣ回路２１３より供給されるある傾きを以て変動するランプ信号ＶＲＡＭＰが入力され、この２信号を比較する。また、比較器２１２は、入力される２信号が一致するタイミングで出力信号を反転させる機能を持つ。カウンター２１４は、入力される基準クロックＣＬＫを基にＡＤ変換期間中カウント動作を行う。デジタルメモリ２１５は、カウンター２１４によるカウント値と比較器２１２の出力信号が入力される。デジタルメモリ２１５は、比較器２１２の出力信号の反転をトリガとして、その時のカウンター２１４のカウント値を保持する。デジタルメモリ２１５で保持した値は、出力回路２１６より出力する。なお、出力信号は、図１で示した撮像信号処理回路１０６に入力される。

［単位画素部等価回路図］
次に、図３を用いて単位画素の詳細な説明を行う。単位画素は、不図示の１つのＭＬと、１つのＰＤ、１つのＦＤ、４つのトランジスタから構成される。ＰＤ（光電変換素子）３０１は、光電変換を行う。トランジスタ３０２は、転送スイッチであり、ＰＤ３０１で光電変換される電荷をＦＤ３０３に転送する。ＦＤ３０３は、転送される電荷を電位に変換する機能を持つ。トランジスタ３０４は、垂直信号線に接続される定電流源と共にソースフォロワアンプを形成する。トランジスタ３０２は、信号ＰＴＸによって駆動する。ＦＤ３０３は、信号ＰＲＥＳによって駆動するトランジスタ３０６を介して電位ＶＤＤに接続され、ＰＲＥＳが“Ｈ”になることで、ＦＤ３０３は、電位ＶＤＤにリセットされる。トランジスタ３０５は、信号ＰＳＥＬによって駆動され、トランジスタ３０４の出力を垂直信号線に伝達するスイッチの役割を果たす。

［非混合モード時の駆動方法］
次に、各列の信号を水平混合することなく独立に各列の信号を読み出す際の駆動方法を説明する。この駆動方法は、例えば、より解像度が高く、フレームレートが低速でも構わない静止画撮影や、拡大動画など、センサーの一部を切り出し、各列の信号を独立に読み出すことにより混合低画素化を行うモードに用いられる。本実施形態では、この駆動を、何ら混合を行う必要が無いため、非混合モードと呼ぶ。

図４は、所定の期間露光した後に各画素の信号を読み出す際のタイミングチャート、時間軸上で列メモリの電位ＶＣとＤＡＣ２１３から出力される電位ＶＲＡＭＰを示すグラフ、カウンターのカウント値を示すグラフをそれぞれ示している。非混合モードでは、信号ＰＨＡＤＤ＿ｆ、ＰＨＡＤＤ＿ｅは、常に“Ｌ”とする。すなわち、混合切り替えスイッチ２０５がオン、混合切り替えスイッチ２０６がオフとなり、後段混合切り替えスイッチ２１０がオフとなる。

まず、全画素を一括してリセットを行い、所定の期間蓄積を行った後、ＰＳＥＬ１を“Ｈ”とし、1行目の信号が垂直信号線２０３に出力される状態とする。また、ＰＲＥＳ１を“Ｈ”とし、電位ＶＤＤによってＦＤのリセットを行う。そして、時刻ｔ４０１でＰＲＥＳ１を“Ｌ”とし、ＦＤのリセットを解除する。また、ＰＳＨを“Ｈ”とし、列メモリ２１１に信号が書き込まれる状態とする。リセット解除後の信号（以下、リセット信号）は、信号ＰＨＡＤＤ＿ｆが“Ｌ”となっているので、読み出す画素に対応する列に配置された列アンプ２０８、サンプルホールドスイッチ２０９を介し、列メモリ２１１へと伝達される。リセット信号が列メモリ２１１に伝達され安定した時刻ｔ４０２でＰＲＥＳ１、ＰＳＨが“Ｌ”となり、列メモリ２１１にリセット信号がホールドされ、ＤＡＣ２１３は、ＲＡＭＰ信号を出力し、リセット信号のＡＤ変換を開始する。カウンター２１４は、ＡＤ変換を開始したタイミングからＶＣとＶＲＡＭＰが一致し、比較器の出力信号が反転するまでの間カウントを行い、デジタルメモリ２１５はその時のカウント値を保持する。ＡＤ変換期間が終了する時刻ｔ４０３でデジタルメモリ２１５に保持されたカウント値は、出力回路２１６によって列順次にセンサー外部へと出力される。また、カウンターは、リセット信号を出力した後、初期値にリセットされる。

次に、時刻ｔ４０４で信号ＰＴＸ１が“Ｈ”となり、リセット信号が保持されているＦＤに加えてＰＤの蓄積電荷が転送される。また、ＰＳＨが“Ｈ”となり、再び列メモリ２１１に信号が書き込まれる状態にする。受光した光量に応じた信号（以下、光信号）は、リセット信号同様に読み出す画素に対応する列に配置された列アンプ２０８、サンプルホールドスイッチ２０９を介して、列メモリ２１１へと伝達される。光信号が列メモリ２１１に伝達され安定した時刻ｔ４０５でＰＴＸ１、ＰＳＨが“Ｌ”となり、列メモリ２１１に光信号がホールドされ、ＤＡＣ２１３は、ＲＡＭＰ信号を出力し、光信号のＡＤ変換を開始する。カウンター２１４は、ＡＤ変換を開始したタイミングからＶＣとＶＲＡＭＰが一致し、比較器の出力信号が反転するまでの間カウントを行い、デジタルメモリ２１５は、その時のカウント値を保持する。ＡＤ変換期間が終了する時刻ｔ４０６でＰＳＥＬ１が“Ｌ”となる。また、デジタルメモリが保持したカウント値は、出力回路２１６により列順次にセンサー外部へと出力する。カウンターは、光信号を出力線に出力した後、初期値にリセットされる。以上の動作をｎ行目まで行順次に行い、読み出し動作を終了する。撮像素子より出力されたリセット信号、光信号は、後段の撮像信号処理回路１０６で演算処理され、リセットノイズが取り除かれた光信号を得る。

［第１の混合モード時の駆動方法］
次に、列アンプ２０８の前段に構成される混合回路２０７で隣接する同色の信号を３列水平混合することで低画素化を行って読み出す際の駆動方法を説明する。なお、本実施形態では、この駆動を第１の混合モード（第１の加算モード）とする。図５は、第１の混合モードの信号読み出し時のタイミングチャートを示している。また、図４と同様に図の下部に示すグラフは時間軸上で列メモリの電位ＶＣとＤＡＣ２１３から出力される電位ＶＲＡＭＰを示すグラフ、カウンターのカウント値を示すグラフをそれぞれ示している。

この駆動では、信号ＰＨＡＤＤ＿ｆは、常に“Ｈ”、信号ＰＨＡＤＤ＿ｅは常に“Ｌ”とする。すなわち、前段混合切り替えスイッチ２０５がオフ、前段混合切り替えスイッチ２０６がオンとなり、後段混合切り替えスイッチ２１０は、オフとなる。ここで、図４で説明した非混合モードのタイミングチャートと図５を比較すると、信号ＰＨＡＤＤ＿ｆのみが異なるだけである。よって、本実施形態では、非混合モードと異なる箇所のみを説明する。時刻ｔ５０１でリセット信号が垂直信号線２０３に出力されるが、信号ＰＨＡＤＤ＿ｆが“Ｈ”のことから、対応する隣接同色の３画素のリセット信号は、共有する混合回路２０７に入力される。混合回路２０７は、入力された３信号を混合した信号を混合回路に対応して接続される列アンプ２０８、サンプルホールドスイッチ２０９を介して、列メモリ２１１に保持される。なお、時刻ｔ５０４における光信号についても同様である。この動作により、列アンプの前段で混合することで低画素化された画像を得ることが出来る。また、第１の混合モードでは、水平混合される列の中心に位置する列数をｍとすると、ｍ−２、ｍ＋２に位置する列の列アンプ、比較器、デジタルメモリは使用しない為、パワーセーブを行う。

以上の様に、第１の混合モードでは、列アンプの前段で混合することで低画素化を行うため、使用しない列毎に構成される回路は、パワーセーブを行うことが可能なことから消費電力が少ない。そして、全画角を高速なフレームレートで読み出す動画モード等に用いられる。また、消費電力が少ないという特徴から、動画の中でも特に発熱の大きいモードで使用するとより効果的である。

［第２の混合モード時の駆動方法］
次に、列アンプ２０８の後段に構成される後段混合切り替えスイッチ、列メモリ２１１によって隣接する同色の信号を３列水平混合することで低画素化を行って読み出す際の駆動方法を説明する。本実施形態では、この駆動を第２の混合モード（第２の加算モード）とする。図６は、第２の混合モードの信号読み出し時のタイミングチャートを示す。また、図４と同様に図の下部に示すグラフは、時間軸上で列メモリの電位ＶＣとＤＡＣ２１３から出力される電位ＶＲＡＭＰを示すグラフ、カウンターのカウント値を示すグラフをそれぞれ示している。

この駆動では、信号ＰＨＡＤＤ＿ｆは、常に“Ｌ”とする。すなわち、前段混合切り替えスイッチ２０５がオン、前段混合切り替えスイッチ２０６がオフとなる。ここで、図４で説明した非混合モードのタイミングチャートと図６を比較すると、信号ＰＨＡＤＤ＿ｅのみが異なるだけである。よって、ここでは、非混合モードと異なる箇所のみを説明する。時刻ｔ６０２でリセット信号が列メモリ２１１にホールドされた後、時刻ｔ６０３までの期間、信号ＰＨＡＤＤ＿ｅが“Ｈ”となる。これにより、隣接する同色３画素の信号が各々保持された列メモリが接続され、混合信号が生成される。光信号についても同様の駆動を行う。また、第２の混合モードでは、水平混合される列の中心に位置する列数をｍとすると、ｍ−２、ｍ＋２に位置する列の比較器、デジタルメモリは使用しない為、比較器内部で入力端子を遮断した後、パワーセーブを行う。

以上の様に、第２の混合モードは、列アンプの後段で混合することで低画素化を行うため、画素部で発生するノイズに加え、列アンプで発生するノイズも混合による低減効果が得られることからノイズの少ない高品位な画像が得られる。また、第１の混合モード同様に、全画角を高速なフレームレートで読み出す動画モード等に用いられる。また、ノイズが少ないという特徴から、動画の中でも特に高品位な画質が求められるモードで使用するとより効果的である。

［第１、２の混合モードの特徴］
次に、第１、第２の混合モードの特徴について説明する。まずノ、イズに着目し、σＬを光ショットノイズ、σ１を第１の混合モードにおける回路ノイズ、σ２を第２の混合モードにおける回路ノイズとする。σＬは、露光量の平方根に比例して増加することが知られている。一方、σ１、σ２の回路ノイズは、露光量に依らず一定のノイズが発生する。ここで、画素部で発生するランダムノイズをσｐｉｘ、列アンプで発生するランダムノイズをσａｍｐ、ＡＤ変換回路で発生するランダムノイズをσａｄとする。これらが重畳された回路ノイズは、σｐｉｘ、σａｍｐ、σａｄの二乗和に平方根を取ったものになる。また、ランダムノイズは混合することで、混合数の平方根倍小さくなることが知られている。すなわち、第１の混合モードでは、画素ノイズが３画素で混合されることから１／√３倍となり、第２の混合モードでは、画素ノイズとアンプノイズがそれぞれ３画素で混合されることから１／√３倍となる。このことからσ１、σ２をσｐｉｘ、σａｍｐ、σａｄを用いて数式で表すと以下の様になる。
σ１ = √（σ_ｐｉｘ/√3）² +σ_ａｍｐ ² +σ_ａd ² ） 数式１
σ２ = √（σ_ｐｉｘ/√3）² +（σ_ａｍｐ/√3）² +σ_ａd ² ） 数式２

第２の混合モードでは第１の混合モードに比べて、σａｍｐが混合されている分、ノイズが少ないことから下記数式３の関係があることが分かる。
σ１＞σ２ 数式３

図７のグラフは、上記関係を横軸に露光量、縦軸にノイズ量として示した模式的なグラフである。グラフに示す露光量Ｅは、露光量Ｅより露光量が大きい範囲では、σ１とσ２の差に比べて光ショットノイズが十分大きく、画像として見た際に、第１の混合モードと第２の混合モードでノイズの差が分からないポイントを示している。露光量Ｅは、例えば、σＬが、σ１とσ２との差の１０倍程度とする。逆に、露光量Ｅより露光量が小さい範囲では画像としてみた時に、混合モードによってノイズの差が視認できる範囲を示している。また、消費電力に着目すると、第１の混合モードは、第２の混合モードに対して、駆動する列アンプの数が１／３で良いため、消費電力が小さい。上記で説明した第１、第２の混合モードの特徴を鑑みて、低消費電力で高品質な広ダイナミックレンジ動画像を得ることが可能となる駆動方法を次に説明する。

［広ダイナミックレンジモード時の駆動方法］
混合による低画素化を行った駆動において、特に広ダイナミックレンジな動画像を得る駆動方法を説明する。本実施形態では、この駆動を広ダイナミックレンジモードとする。図８は、広ダイナミックレンジモードで公知のスリットローリング駆動を行った際のタイミングチャートである。信号ＶＤ＿Ｒ、信号ＶＤ＿Ｓは、図１のタイミング発生部１０７から撮像素子１０５に入力される信号である。信号ＶＤ＿Ｒは、読出し開始信号であり、信号ＶＤ＿Ｒの立下りをトリガとして、読み出し走査が開始する。信号ＶＤ＿Ｓは、リセット開始信号であり、信号ＶＤ＿Ｓの立下りをトリガとして、リセット走査が開始する。点線は、行順次にリセットを行うことを示すリセットラインである。一点鎖線は、上述した第１の混合モードの読み出し駆動を行順次に行うことを示し、二点鎖線は、上述した第２の混合モードの読み出し駆動を行順次に行うことを示している。

図で示すように、偶数フレームで読み出される画像は、奇数フレームで読み出される画像に対して蓄積時間が長くなるように信号ＶＤ＿Ｓを制御する。すなわち、偶数フレームは、明時画像が得られ、暗部の諧調が黒潰れすることなく保存される。一方、奇数フレームは、暗時画像が得られ、明部の諧調が白とびすることなく保存される。合成時に暗部が用いられる偶数フレームでは、回路ノイズが目立つ為、回路ノイズの少ない第２の混合モードで読み出しを行う。合成時に明部が用いられる奇数フレームでは、光ショットノイズとの関係より回路ノイズをケアする必要がなくなる為、より低消費電力な第１の混合モードで読み出しを行う。この時、合成に使用する暗部・明部の信号閾値は、図７で示した露光量Ｅより大きいことが望ましい。上記駆動で取得した連続する露光量の異なる２フレームの動画像は、図１の撮像信号処理回路１０６において、諧調が保存された暗部・明部の情報を合成し、広ダイナミックレンジな動画像を得ることが出来る。上記駆動を行うことで、低消費電力と良好なＳ／Ｎの広ダイナミックレンジ動画像を実現することが可能となる。

なお、本実施形態では、広ダイナミックレンジな動画像を得る際に、フレーム毎に蓄積時間を異ならせることで露光量を変更したが、これに限らない。すなわち、フレーム毎に１フレーム中に得られるダイナミックレンジをシフトできればよく、その手段は感度や絞り、光学フィルターなどでもよい。また、必ずしもフレーム毎にダイナミックレンジをシフトさせる必要もなく、例えば、２行毎（ベイヤ単位行毎）に感度を切り替えるように制御し、それに合わせて２行毎に第１の混合モードと第２の混合モードを切り替える構成としてもよい。２行毎にダイナミックレンジをシフトさせる手段としては、画素の開口面積を２行毎に異ならせることで画素の感度を変えても良いし、開口面積は変えずＦＤの容量（画素容量）を２行毎に異ならせる（区別する）ことで画素の感度を変えてもよい。

図９は、画素の開口面積を２行毎に異ならせた構成（第１の画素群と第２の画素群）例を示している。斜線部９０１は遮光部を示し、開口部９０２の面積に応じた光がＰＤに入射することを示している。図に示すように、２行毎、すなわちベイヤ単位行毎にＰＤの開口面積を変えることにより、感度を変える構成においても本発明を適用できる。このような構成とすることで、垂直方向の解像度は低下するが、所定のフレームレートの倍のレートで読み出す必要はなくなるので、より消費電力が低減可能となる。また、複数のセンサーを有するカメラの場合、センサー毎に上記手段の何れかでダイナミックレンジをシフトさせて、各々のセンサーのダイナミックレンジに併せて、第１、第２の混合モードを行うとしてもよい。

また、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１０６ 撮像信号処理回路
１０７ タイミング発生部
２０１ 単位画素
２０８ 列アンプ

Claims (12)

1. 露光量の異なる複数の画像を取得し、広ダイナミックレンジの画像を合成する撮像装置であって、
   行列状に複数の画素が配置された画素部と、前記複数の画素から出力された信号を増幅するアンプとを備えた撮像素子と、
   前記露光量を制御する露光量制御手段と、
   前記露光量制御手段により制御された露光量に従って、前記アンプの前段で前記複数の画像を合成する第１の加算モードと前記アンプの後段で前記複数の画像を合成する第２の加算モードとを切り替える合成手段と
   を備える
   ことを特徴とする撮像装置。
2. 前記露光量制御手段は、第１の露光量と前記第１の露光量と異なる第２の露光量を制御し、
   前記合成手段は、前記第１の露光量の場合には前記第１の加算モードで画像を合成し、前記第２の露光量の場合には前記第２の加算モードで画像を合成する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記露光量制御手段は、蓄積時間に基づいて前記露光量を制御し、前記第１の露光量における蓄積時間を、前記第２の露光量における蓄積時間よりも短くなるように制御し、
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記露光量制御手段は、フレームごとに前記第１の露光量と前記第２の露光量を制御する
   ことを特徴とする請求項２または３に記載の撮像装置。
5. 前記露光量制御手段は、奇数フレームでは前記第１の露光量に制御し、前記偶数フレームでは第２の露光量に制御する
   ことを特徴とする請求項４に記載の撮像装置。
6. 露光量の異なる複数の画像を取得し、広ダイナミックレンジの画像を合成する撮像装置であって、
   行列状に複数の画素が配置された画素部と、前記複数の画素から出力された信号を増幅するアンプとを備えた撮像素子と、
   前記アンプの前段で前記複数の画像を合成する第１の加算モードと前記アンプの後段で前記複数の画像を合成する第２の加算モードとを切り替える合成手段と
   を備え、
   前記画素部は、少なくとも第１の画素群と第２の画素群に区別され、
   前記合成手段は、前記第１の画素群から出力された画像を合成する場合には、前記第１の加算モードで合成し、前記第２の画素群から出力された画像を合成する場合には、前記第２の加算モードで合成する
   ことを特徴とする撮像装置。
7. 前記第１の画素群と前記第２の画素群は、画素の開口面積が異なる
   ことを特徴とする請求項６に記載の撮像装置。
8. 前記第１の画素群の開口面積は、前記第２の画素群の開口面積より小さい
   ことを特徴とする請求項７に記載の撮像装置。
9. 前記画素は光電変換素子に蓄積した電荷を電位に変換する画素容量を有し、
   前記第１の画素群と前記第２の画素群は、前記画素容量の大きさが異なる
   ことを特徴とする請求項６に記載の撮像装置。
10. 前記第１の画素群の画素容量は前記第２の画素群の画素容量より大きい
    ことを特徴とする請求項９に記載の撮像装置。
11. 露光量の異なる複数の画像を取得し、広ダイナミックレンジの画像を合成する、行列状に複数の画素が配置された画素部と、前記複数の画素から出力された信号を増幅するアンプとを備えた撮像素子とを備える撮像装置の制御方法であって、
    前記露光量を制御する露光量制御工程と、
    前記露光量制御工程で制御された露光量に従って、前記アンプの前段で前記複数の画像を合成する第１の加算モードと前記アンプの後段で前記複数の画像を合成する第２の加算モードとを切り替える合成工程と
    を有する
    ことを特徴とする撮像装置の制御方法。
12. 露光量の異なる複数の画像を取得し、広ダイナミックレンジの画像を合成する、行列状に複数の画素が配置された画素部と、前記複数の画素から出力された信号を増幅するアンプとを備えた撮像素子とを備える撮像装置の制御方法であって、
    前記アンプの前段で前記複数の画像を合成する第１の加算モードと前記アンプの後段で前記複数の画像を合成する第２の加算モードとを切り替える合成工程
    を有し、
    前記画素部は、少なくとも第１の画素群と第２の画素群に区別され、
    前記合成工程では、前記第１の画素群から出力された画像を合成する場合には、前記第１の加算モードで合成し、前記第２の画素群から出力された画像を合成する場合には、前記第２の加算モードで合成する
    ことを特徴とする撮像装置の制御方法。

Images