JP6914633B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は撮像装置に関し、特に蓄積期間の異なる複数の画像を出力する撮像素子を備える撮像装置に関する。

露出の異なる２つの画像を合成する応用用途として、映画や家庭用のテレビをより臨場感あるものにする技術が知られている。一例として、動画のハイ・ダイナミックレンジ撮像技術（以下、ＨＤＲ撮像と略す）がある。この技術は表示画面の輝度再現範囲を拡大し、主に瞬間的あるいは部分的な輝度を表現することで従来以上の臨場感を提供するものである。このような技術においてより臨場感を高めるためには、映像を取得する撮像装置側でのダイナミックレンジの拡大が必要である。そして、特許文献１には、蓄積時間の異なる二つの画像を取得し、それらの画像を合成することによってダイナミックレンジを拡大する技術が開示されている。

特開２０１４−４８４５９

特許文献１の撮像装置は、撮像素子の各画素に受光効率の異なる非対称なフォトダイオードを備える技術を開示したものである。従来技術に開示された撮像素子を用いることで、露出の異なる二つの画像を同時に撮像することが出来る。

しかしながら、被写体の輝度の変化に追従する場合に、それぞれのフォトダイオードを用いた露出の設定に関しての詳細な開示はされていない。また、二つの画像の露出差を一定にすることで、一定のダイナミックレンジの拡大は可能となるが、被写体に輝度の変化の仕方はさまざまであり、露出差を一定とするだけでは、臨場感を十分に向上させることができなかった。

本発明の撮像装置では、低露出画像と高露出画像の露出変化率を変化させて露出の異なる２つの画像を同時に撮像することにより、従来のＨＤＲ撮像では得られなかった２つの画像を撮像可能な撮像装置を提供することを目的とする。

本課題を解決するために本発明の撮像装置は、撮像周期毎に複数の画像を出力する撮像素子を有する撮像装置であって、前記複数の画像に含まれる第１の画像を取得するための第１の露出を第１の条件に基づいて算出し、かつ前記複数の画像に含まれる第２の画像を取得するための第２の露出を前記第１の条件と異なる第２の条件で算出する算出手段と、前記算出手段によって算出された前記第１の露出と前記第２の露出に基づいて前記第１の画像と前記第２の画像を取得する露出を設定する設定手段と、を備え、前記第１の画像と前記第２の画像は、ダイナミックレンジが拡張された画像の生成に用いる画像であって、且つ、前記第１の画像と前記第２の画像の順に取得され、前記第１の条件には、画像内の第１の範囲に含まれる被写体の輝度を含み、前記第２の条件には、画像内の第２の範囲に含まれる被写体の輝度を含み、前記第２の範囲は、画像内の前記第１の範囲とは異なる範囲を含み、前記算出手段は、直前の撮像周期にて取得した前記第１の画像と前記第２の画像を用いて前記第１の露出及び前記第２の露出を算出する際に、前記第１の条件および前記第２の条件に応じて、前記第１の露出と前記第２の露出の大小関係が逆転するように前記第１の露出および前記第２の露出を算出できることを特徴とする。

低露出画像と高露出画像の露出変化率を変化させて露出の異なる２つの画像を同時に撮像することにより、従来のＨＤＲ撮像では得られなかった２つの画像を撮像可能な撮像装置を提供することができる。

本発明の第１の実施形態の撮像装置の外観図である。 本発明の第１の実施形態の撮像装置の構成図である。 本発明の第１の実施形態の撮像装置の撮像素子の回路図である。 本発明の第１の実施形態の撮像装置の撮像素子のタイミング図である。 本発明の第１の実施形態の撮像装置のフローチャートである。 本発明の第１の実施形態の撮像装置の蓄積時間の変化を示す図である。 本発明の第２の実施形態の撮像装置のフローチャートである。 本発明の第２の実施形態の撮像装置の蓄積時間の変化を示す図である。 本発明の第３の実施形態の撮像装置のフローチャートである。 本発明の第３の実施形態の撮像装置の蓄積時間の変化を示す図である。 本発明の第４の実施形態の撮像装置のフローチャートである。 本発明の第４の実施形態の撮像装置の蓄積時間の変化を示す図である。 本発明の撮像素子に関する変形例における画素要素の断面を示す図である。

（第１の実施形態）
以下、本発明の第１の実施形態の撮像装置の構成について説明する。

図１（ａ）（ｂ）は本発明の第１の実施形態の撮像装置に相当するデジタルスチルモーションカメラの外観図である。そして、図１（ａ）は撮像装置の正面図、図１（ｂ）は撮像装置の背面図である。両図面において、同一の構成に関しては同一の符号を付してある。

図１において、１５１は内部に撮像素子やシャッター装置を収納した撮像装置本体である。１５２は内部に絞り、手ブレ補正機構、ズーム機構、焦点調節機構等を有した撮像光学系である。１５３は撮像情報や映像を表示するための可動式表示部である。１５４は主に静止画の撮像指示を行うために使用するスイッチＳＴである。１５５は動画撮像を開始および停止するための釦であるスイッチＭＶである。表示部１５３は液晶ディスプレイまたはＥＬディスプレイであり、ダイナミックレンジが拡張された映像もその輝度範囲を抑制することなく表示できるだけの表示輝度範囲を有している。また、不図示の支持機構によって、表示面を上下及び左右方向に稼働可能に支持されている。１５６は撮像モードを選択するための撮像モード選択レバーである。なお、撮像モードとして、は４Ｋ／８Ｋ等の高精細な動画や１２０ｆｐｓ／２４０ｆｐｓ等の高フレームレートのモードを含む。１５７は撮像装置の各種設定を行う機能設定モードへ移行するためのメニュー釦である。１５８および１５９は各種の設定値を変更するためのアップダウンスイッチ、１６０は各種の設定値を変更するためのダイアルである。１６１は撮像装置本体内に収納されている記録媒体に記録されている映像を表示部１５３上で再生する再生モードへ移行するための再生ボタンである。なお、表示部１５３に表示される画像は撮像装置本体内の記録媒体に含まれる物に限られず、無線通信手段等を経由して取得したネットワーク上の画像を表示してもよい。１６２は空中からの撮像を行うために撮像装置を空中に浮上させるためのプロペラである。なお、本実施形態の撮像装置はこれらの構成に限られるものではない。例えば、表示部１５３にタッチパネル等の入力機器を設けるようにしてもよい。また、適宜音声の録音再生機能を備えるようにしてもよい。

図２は本発明の第１の実施形態の撮像装置の概略構成を示すブロック図である。図２において、１８４は撮像光学系１５２を介して集光された被写体の光学像を電気的な映像信号に変換する撮像素子である。１５２は被写体の光学像を撮像素子１８４に結像させる撮像光学系であり、複数の光学素子（レンズ及びフィルタ等）を含む。１８０は撮像光学系１５２の光軸である。１８１は撮像光学系１５２を通る光の量を調節するための絞り、絞り制御部１８２によりその動作は制御される。１８３は撮像素子１８４に入射する光の波長、および、撮像素子１８４に伝達する空間周波数を制限する光学フィルターである。撮像素子１８４はＵｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎの規格を満たすに十分な画素数、信号読み出し速度、色域、ダイナミックレンジを有している。

１８７は、撮像素子１８４より出力されたデジタル映像データに各種の補正を行った後に、映像データを圧縮するデジタル信号処理部である。１８９は撮像素子１８４、デジタル信号処理部１８７に各種タイミング信号を出力するタイミング発生部である。１７８は各種演算とデジタルスチルモーションカメラ全体を制御するシステム制御ＣＰＵである。システム制御ＣＰＵ１７８は、デジタルスチルモーションカメラ全体を制御するために各構成要素を統括的に制御及び各種パラメータ等の設定を行う。また、システム制御ＣＰＵ１７８は、データを電気的に書き込み・消去可能なメモリ等を含み、これに記録されたプログラムを実行する。なお、メモリは、システム制御ＣＰＵ１７８が実行するプログラム格納領域、プログラム実行中のワーク領域、データの格納領域等として使用される。なお、本実施形態において、タイミング発生部１８９及びシステム制御ＣＰＵ１７８は、制御部に相当する。

１９０は映像データを一時的に記録するための映像メモリである。１９１は撮像された映像を表示するための表示インターフェース部、１５３は液晶ディスプレイ等の表示部である。１９３は映像データや付加データ等を記録するための半導体メモリ等の着脱可能な記録媒体である。そして、１９２は記録媒体１９３に記録または読み出しを行うための記録インターフェース部である。

１９６は外部コンピュータ１９７等と通信するための外部インターフェース部である。１９５は小型インクジェットプリンタ等のプリンタ、１９４は撮像された映像をプリンタ１９５に出力し印刷するためのプリントインターフェース部である。１９９はインターネットなどのコンピュータネットワーク、１９８はネットワーク１９９と通信するための無線インターフェース部である。１７９はスイッチＳＴ１５４やスイッチＭＶ１５５や各種モードの切り替えを行う複数のスイッチ等を含むスイッチ入力手段である。２００は空中からの撮像を行うためのプロペラ１６２を制御する飛行制御装置である。

本発明の撮像装置の一部を構成する撮像素子１８４はＣＭＯＳ型で、図３は撮像素子１８４の回路図の一部である。撮像素子１８４は２次元の行列形状で多数の画素要素を含んでいる。図３において、そのうち１行１列目（１，１）の画素要素と最終行であるｍ行１列目（ｍ、１）の画素要素を示している。１行１列目（１，１）の画素要素とｍ行１列目（ｍ、１）の画素要素の構成は同じなので、構成要素は同じ番号で付番している。なお、本実施形態の撮像素子の光電変換部としては通常のＣＭＯＳ型のフォトダイオードには限られず、光電変換膜を用いた構成であってもよし、光電変換膜とフォトダイオードを組み合わせた構成であってもよい。

本発明の撮像素子１８４の２次元状に配列された１つの画素要素毎に、１つのフォトダイオード５００に対して２つの信号保持部５０７Ａ、５０７Ｂを有している。

図３の回路図において、１つの画素要素は、フォトダイオード５００と、第１の転送トランジスタ５０１Ａと、第１の信号保持部５０７Ａと、第２の転送トランジスタ５０２Ａとを有する。そして、第３の転送トランジスタ５０１Ｂと、第２の信号保持部５０７Ｂと、第４の転送トランジスタ５０２Ｂとを有する。さらに１つの画素要素は、第５の転送トランジスタ５０３と、フローティングディフュージョン領域５０８と、リセットトランジスタ５０４と、増幅トランジスタ５０５と、選択トランジスタ５０６とを有している。

また、第１の転送トランジスタ５０１Ａは転送パルスφＴＸ１Ａにて制御され、第２の転送トランジスタ５０２Ａは転送パルスφＴＸ２Ａにて制御される。また、第３の転送トランジスタ５０１Ｂは転送パルスφＴＸ１Ｂにて制御され、第４の転送トランジスタ５０２Ｂは転送パルスφＴＸ２Ｂにて制御される。また、リセットトランジスタ５０４はリセットパルスφＲＥＳで制御され、選択トランジスタ５０６は選択パルスφＳＥＬで制御される。さらに第５の転送トランジスタ５０３は転送パルスφＴＸ３にて制御される。ここで各制御パルスは、不図示の垂直走査回路から送出される。さらに５２０、５２１は電源線であり所定の一定電圧が印加される。５２３は信号出力線であり、フォトダイオード５００で発生した電荷に基づき信号を不図示の水平回路に出力するために用いられる。なお、本実施形態において各転送トランジスタはフォトダイオード５００で発生した電荷を転送するための転送部に相当する。

以上説明した通り、本発明の撮像装置を構成する撮像素子１８４は、１つの光電変換部であるフォトダイオード５００と第１の信号保持部５０７Ａと第２の信号保持部５０７Ｂを有する画素要素が２次元状に配列されている。更に、タイミング発生部１８９からの制御信号に基づいて制御される１撮像周期内の第１の蓄積時間の間に、光電変換部であるフォトダイオード５００で発生した信号電荷を第１の信号保持部５０７Ａに転送して第１の画像が生成される。そして、同一の１撮像周期内の第２の蓄積時間の間に、光電変換部であるフォトダイオード５００で発生した信号電荷を第２の信号保持部５０７Ｂに転送して第２の画像が生成される。つまり、本実施形態の撮像素子１８４は１撮像周期内に第１の蓄積時間と第２の蓄積時間を設定可能であり、第１の画像と第２の画像の２つの画像を読み出すことが可能となっている。これにより撮像周期毎に同一被写体が写った複数の画像を得ることが可能となる。また、フォトダイオード５００で発生した信号電荷のうち撮像には使用しない電荷は、第５の転送トランジスタ５０３によって電源線５２１へ転送し、第１の信号保持部５０７Ａにも第２の信号保持部５０７Ｂも転送しないことも可能である。

図４は、本発明の撮像装置が２つの画像を同時に撮像する際の、撮像素子１８４の蓄積、転送、読み出しのタイミングを説明するためのタイミングチャートである。ここで、蓄積とは、撮像光学系１５２を通った光に基づいてフォトダイオード５００で電荷を発生させることを指している。又、転送とは、フォトダイオード５００で発生した電荷を各転送トランジスタを制御して信号保持部５０７Ａ又は５０７Ｂに転送することを指している。又、読み出しとは、信号保持部５０７Ａ又は５０７Ｂに保持された電荷をフローティングディフュージョン領域５０８を介して撮像素子１８４の外部に出力することを指している。

図４において横軸は経過時間、Ｔは撮像周期であって、例えばフレームレート６０ｆｐｓの撮像では、Ｔ＝１／６０ｓｅｃである。そして、図４は第Ｎ−１番目の撮像周期の終わりと第Ｎ撮像周期の全体と第Ｎ＋１撮像周期の初めの時間帯を示している。又、図４では便宜的に６行のタイミングを図示しているが、実際の撮像素子１８４は数千行を有し、本実施形態では最終行をｍ行としている。又、この例では１撮像周期内を１２分割し、６分割相当の時間をそれぞれ第１の画像と第２の画像の蓄積と転送に割り当てた例を示しているが、これは撮像条件によって変わる蓄積時間に応じて適宜変更される。蓄積時間と分割数の詳細については後述する。

第Ｎ撮像周期の始めの垂直同期信号Ｓｎに同期して、〈１〉に示す時間１ａでフォトダイオード５００において電荷が蓄積され、所定の時間の蓄積が終了すると〈２〉に示す時間２ａで蓄積された電荷が信号保持部５０７Ａに転送される。次に〈１〉に示す時間１ｂでフォトダイオード５００において電荷が蓄積され、所定の時間の蓄積が終了すると〈３〉に示す時間２ｂで蓄積された電荷が信号保持部５０７Ｂに転送される。これが所定の回数（本実施形態の場合は６回）繰り返される。各転送トランジスタが複数回制御される度に信号保持部５０７Ａ及び信号保持部５０７Ｂにおいて電荷が加算される。そして撮像周期の間に、１ａ×６の蓄積時間分の電荷が信号保持部５０７Ａに、１ｂ×６の蓄積時間分の電荷が信号保持部５０７Ｂに蓄積され、これが第Ｎ撮像周期の蓄積電荷の合計となる。その後〈４〉に示す時間３ａと〈５〉に示す時間３ｂで、信号保持部５０７Ａと５０７Ｂに複数回転送の後に保持された電荷をフローティングディフュージョン領域５０８を介して撮像素子１８４の外部に読み出す。読み出した後に必要に応じて信号保持部５０７Ａと５０７Ｂに保持された電荷のリセットを行う。

本動作は２行目以降の画素要素でも同様な蓄積と転送が繰り返されており、１行目の読み出しが終了次第、２行目以降の画素要素の蓄積電荷も図の通り順次読み出す。このとき蓄積時間１ａが終了してから１ｂが開始するまでの時間（例えば図示１ｃ）や蓄積時間１ｂが終了してから１ａが開始するまでの時間（例えば図示１ｄ）もフォトダイオード５００において電荷が蓄積されている。この電荷は撮像には使用せず、前述の第５の転送トランジスタ５０３によって電源線５２１へ転送し、第１の信号保持部５０７Ａにも第２の信号保持部５０７Ｂも転送・加算しない。なお、図４においては各行の蓄積タイミングはそろっているが、必ずしもそろえる必要は無い。読み出しタイミングに合わせてローリングシャッター方式のように時間をずらして蓄積するようにしてもよい。

図４では１ａが１ｂより長い例を示しているが、１ａと１ｂの長さを変化させることで、蓄積時間の異なる２つの画像を同時にすることが可能となる。また、一つの撮像周期中に蓄積する回数を変えることで蓄積時間を制御してもよい。

ここで、信号保持部５０７Ａから得られる第１の画像の蓄積時間である第１の蓄積時間（以下、単に第１の蓄積時間とする）は、予め設定された撮像条件と撮像中に変化する画像の明るさの変化に応じて変化する。又、信号保持部５０７Ｂから得られる第２の画素要素の蓄積時間である第２の蓄積時間（以下、単に第２の蓄積時間とする）も同様に変化する。各撮像周期ごとの第１の蓄積時間と第２の蓄積時間はシステム制御ＣＰＵ１７８内の蓄積時間決定手段によって決定される。

本実施形態では第１の蓄積時間は注目している被写体の部分（例えば人物の顔）の明るさに最適な蓄積時間であり、第２の蓄積時間は画像全体の明るさに適した蓄積時間であるように設定されている。各撮像周期ごとの第１の蓄積時間と第２の蓄積時間は前述の通り蓄積時間決定手段が決定する。更に、第１の蓄積時間と第２の蓄積時間と転送時間を考慮して、蓄積時間を分割する分割数をシステム制御ＣＰＵ１７８が決定する。

図５はそのフローチャートであって、システム制御ＣＰＵ１７８が実行する各処理を示している。

ステップＳ１００において、システム制御ＣＰＵ１７８は、第Ｎ撮像周期に対する制御を開始する。各ステップの処理を行いステップＳ２００まで処理を進めることで、第Ｎ撮像周期が終わる。このフローが画素要素ごとに、さらに各撮像周期ごとに繰り返されることによって、第１の画像と第２の画像が取得できる。

ステップＳ１０１において、システム制御ＣＰＵ１７８は、画像内の注目被写体に適する露出設定を算出する。より詳細には直前である第Ｎ−１撮像周期までに取得した画像内における注目被写体が写っている領域（所定範囲）における輝度と目標となるターゲット輝度を比較し、その差分を埋めるような露出設定を算出する。なお、連続して注目被写体が写っている画像を取得する場合には、取得画像の急激な輝度変化は不自然な動作と判別されるため、ターゲット輝度とのかい離を複数の撮像周期にわたって吸収する動作を行う。そして、ステップＳ１０２に処理を進める。

ステップＳ１０２において、システム制御ＣＰＵ１７８は、ステップＳ１０１で算出した露出設定を基に第１の蓄積時間を算出する。そして、ステップＳ１０３に処理を進める。なお、蓄積時間の算出は、システム制御ＣＰＵ１７８内のメモリに保存されたプログラム線図等に基づいて行われる。

ステップＳ１０３において、システム制御ＣＰＵ１７８は、画像全体に最適な露出を算出する。そして処理をステップＳ１０４に進める。ここでも、画像における注目被写体が映っている領域だけではなく画像全体における輝度と目標となるターゲット輝度を比較し、その差分を埋めるような露出設定を算出する。なお、本ステップにおけるターゲット輝度とステップＳ１０１におけるターゲット輝度は必ずしも一致していなくてもよい。

ステップＳ１０４において、システム制御ＣＰＵ１７８は、ステップＳ１０３で算出した露出設定を基に第２の蓄積時間を算出する。そして、ステップＳ１０５に処理を進める。

ステップＳ１０５において、システム制御ＣＰＵ１７８は、第１の蓄積時間と第２の蓄積時間と転送時間とを考慮して、蓄積時間を分割する分割数Ｎを算出する。そして、ステップＳ１０６に処理を進める。ここで、撮像周期は一定となるため、蓄積時間が長くなれば分割数Ｎは少なくなり、一方で蓄積時間が短くなれば分割数Ｎは多くなる。なお、分割数Ｎを算出する場合に被写体の動きも考慮して決定してもよい。また、処理の簡略化のために分割数Ｎは所定の値に固定するようにしてもよい。

ステップＳ１０６において、システム制御ＣＰＵ１７８は、内部のカウンタｉを０にリセットする。そして、処理をステップＳ１０７に進める。

ステップＳ１０７において、システム制御ＣＰＵ１７８は、カウンタｉをインクリメントする。そして、処理をステップＳ１０８に進める。

ステップＳ１０８において、システム制御ＣＰＵ１７８は、タイミング発生部１８９を制御し、（第１の蓄積時間／Ｎ）の時間（図４の１ａ）だけフォトダイオード５００で電荷の蓄積を行う。そして、処理をステップＳ１０９に進める。

ステップＳ１０９において、システム制御ＣＰＵ１７８は、タイミング発生部１８９を制御し、フォトダイオード５００で蓄積された電荷を信号保持部５０７Ａに転送する。そして処理をステップＳ１１０に進める。

ステップＳ１１０において、システム制御ＣＰＵ１７８は、タイミング発生部１８９を制御し、カウンタｉがＮに達するまでこの蓄積と転送を繰り返すように制御する。これによって、信号保持部５０７Ａに第１の蓄積時間に相当する電荷が蓄積される。そして、Ｎに達した場合には処理をステップＳ１１１に進める。

ステップＳ１１１において、システム制御ＣＰＵ１７８は、信号保持部５０７Ａに保持した電荷をフローティングディフュージョン領域５０８を介して撮像素子１８４の外部へ出力するように制御する。そして、処理をＳ１１２に進める。

ステップＳ１１２において、システム制御ＣＰＵ１７８は、タイミング発生部１８９を制御し、（第２の蓄積時間／Ｎ）の時間（図４の１ｂ）だけフォトダイオード５００で電荷の蓄積を行う。そして、処理をステップＳ１１３に進める。

ステップＳ１１３において、システム制御ＣＰＵ１７８は、タイミング発生部１８９を制御し、フォトダイオード５００で蓄積された電荷を信号保持部５０７Ｂに転送する。そして処理をステップＳ１１４に進める。

ステップＳ１１４において、システム制御ＣＰＵ１７８は、タイミング発生部１８９を制御し、カウンタｉがＮに達するまでこの蓄積と転送を繰り返すように制御する。これによって、信号保持部５０７Ｂに第２の蓄積時間に相当する電荷が蓄積される。そして、Ｎに達した場合に処理をステップＳ１１５に進める。

ステップＳ１１５において、システム制御ＣＰＵ１７８は、信号保持部５０７Ｂに保持した電荷をフローティングディフュージョン領域５０８を介して撮像素子１８４の外部へ出力するように制御する。そして、処理をステップＳ２００に進める。

なお、図５のフローチャートにおいてはフォトダイオード５００における蓄積時間の制御のみを記載したが、これに加えて絞り１８１や撮像素子１８４若しくはデジタル信号処理部１８７に設けられたゲイン回路のゲイン値も合わせて制御するようにしてもよい。複数の手段を組み合わせることによって、より広いダイナミックレンジを確保することが可能となる。

以下、蓄積時間決定手段によって決定される第１の蓄積時間と第２の蓄積時間の蓄積時間変化率についての本実施形態の特徴について説明する。

図６（ａ）は、本実施形態の撮像装置の１撮像周期内の蓄積時間の変化の一例をグラフ化したものである。図６（ａ）において縦軸は１０ｓｅｃ（フレームレート６０ｆｐｓで６００フレーム）を１目盛として撮像経過時間を、横軸は各撮像周期内の蓄積時間を示している。ここでは、表示を簡素にするため１０ｓｅｃごとの各撮像周期の蓄積時間のみをプロットしており、その間の撮像周期の蓄積時間のプロットは省略されているが、省略されている期間においても露出制御は適宜実行されている。ここで、プロットＡは注目被写体に適した第１の画像に対応する第１の蓄積時間、プロットＢは画像全体に適した第２の画像に対応する第２の蓄積時間を示している。又、プロットＡ・プロットＢをつないだ破線の傾きが蓄積時間変化率を示している。以下、ある撮像時間内の第１の蓄積時間と第２の蓄積時間のうち蓄積時間が短い方の変化率を短蓄積時間変化率とし、同じ撮像時間内の第１の蓄積時間と第２の蓄積時間のうち蓄積時間が長い方の変化率を長蓄積時間変化率とする。

図６（ａ）において、〈１〉の時間帯では、画像全体が暗くなったため、第１の蓄積時間Ａ及び第２の蓄積時間Ｂの両方が長くなっている。しかし、注目被写体が部分的に更に暗くなったため、それまで蓄積時間の短い第１の蓄積時間Ａが、蓄積時間の長い第２の蓄積時間Ｂより大きく増加している。つまり、短蓄積時間変化率＞０であって短蓄積時間変化率＞長蓄積時間変化率となっている。

一方で、〈４〉の時間帯は、その逆であって、短蓄積時間変化率＜０であって短蓄積時間変化率＜長蓄積時間変化率となっている。このため、第２の蓄積時間Ｂの蓄積時間と比較して第１の蓄積時間Ａは長くなっている。

また、〈２〉の時間帯では、画像全体が暗くなったが、注目被写体は部分的な明るさに変化がなかったため、蓄積時間の長い注目被写体に適した第１の蓄積時間Ａがあまり変化せず、蓄積時間の短い画像全体に適した第２の蓄積時間Ｂだけが徐々に増加している。つまり、短蓄積時間変化率＞０であって短蓄積時間変化率＞長蓄積時間変化率＝０となっている。〈３〉の時間帯は、その逆であって、短蓄積時間変化率＜０であって短蓄積時間変化率＜長蓄積時間変化率＝０となっている。

〈６〉の時間帯では、画像全体が明るくなったが、注目被写体は部分的に暗くなったため、蓄積時間の短い注目被写体に追従する第１の蓄積時間Ａが増加し、蓄積時間の長い画像全体に追従する第２の蓄積時間Ｂが減少している。つまり、短蓄積時間変化率＞０であって短蓄積時間変化率＞長蓄積時間変化率となっている。〈５〉の時間帯は、その逆であって、短蓄積時間変化率＜０であって短蓄積時間変化率＜長蓄積時間変化率となっている。

以上、〈１〉〜〈６〉の通り、本実施形態の撮像装置は、短蓄積時間変化率＞０のとき短蓄積時間変化率＞長蓄積時間変化率、短蓄積時間変化率＜０のとき短蓄積時間変化率＜長蓄積時間変化率となる。したがって蓄積時間決定手段が各撮像周期ごとの第１の蓄積時間と第２の蓄積時間を決定する場合がある。図６（ｂ）はこの関係を図示したものであり、横軸が短蓄積時間Ａの変化率Ａ´、縦軸が長蓄積時間Ｂの変化率Ｂ´となっている。グレーの範囲が、変化率を一定とする従来の撮像装置が設定できず、本実施形態の撮像装置が設定する場合がある短蓄積時間変化率Ａ´と長蓄積時間変化率Ｂ´の範囲である。本実施形態の撮像装置は従来の撮像装置が設定していた短蓄積時間変化率Ａ´と長蓄積時間変化率Ｂ´の範囲も設定できるので、短蓄積時間変化率Ａ´と長蓄積時間変化率Ｂ´は任意に設定できることになる。

以上説明した通り、本実施形態では第１の蓄積時間は注目被写体に適したように、第２の蓄積時間は画像全体に適したように決定されている。この結果、短蓄積時間画像と長蓄積時間画像の蓄積時間変化率の大小関係が逆転する場合がある２つの画像を同時に撮像することができる。従来であれば、注目被写体の輝度が変化した場合、注目被写体が主に写っている画像は変化することになる。そのため、短蓄積時間画像と長蓄積時間画像を合成して動画像を作成した場合に、注目被写体の輝度の変化に不連続が発生する場合があった。一方で、本発明の撮像装置では、従来のＨＤＲ撮像では得られなかった２つの画像、つまり、注目被写体に適した露出設定の画像と画像全体に適した露出設定の画像の２つの画像を撮像することができる。これら２つの画像を目的に応じて、別々に利用したり、合成して利用したりすることで、従来にはなかった画像が制作可能である。つまり、注目被写体が主に写っている画像は変化しないことから、合成して生成した画像においても連続した滑らかな輝度変化を得ることが期待できる。

なお、本実施形態では、注目被写体と画像全体のそれぞれに適した画像を得るために、それぞれの明るさに追従して蓄積時間を変化させ、画像の明るさを一定となるようにした。しかし、注目被写体と画像全体について異なる露出制御をしても、同様の目的を得ることができる。

なお、本実施形態では第１の蓄積時間は注目被写体に適するように、第２の蓄積時間は画像全体に適するように設定されている。しかし、蓄積時間決定手段が、第１の蓄積時間を決定するに際に参照する画像範囲は画像の一部であり、第２の蓄積時間を決定するに際し参照する画像範囲は画像の全体であれば、同様の効果を得ることができる。例えば、第１の蓄積時間は画像の右半分最適、第２の蓄積時間は画像全体最適であるように設定されるような場合である。

（第２の実施形態）
以下、本発明の第２の実施形態の撮像装置の構成について、第１の実施形態と異なる点についてのみ説明する。

本実施形態では第１の蓄積時間は注目している第１の被写体の部分（例えば人物Ａ。以下、人物Ａとする）の明るさに適した蓄積時間であり、第２の蓄積時間は注目している第２の被写体の部分（例えば人物Ｂ。以下、人物Ｂとする）の明るさに適した蓄積時間であるように設定されている。なお、ここでは被写体の部分として人物としたが、これに限られるものではない。例えば、スイッチ入力手段１７９等を用いてユーザーが選択可能とし、ユーザーによって選択された範囲に写っている被写体を対象としてもよい。本実施形態において、スイッチ入力手段１７９は画像内の所定の範囲をユーザーが選択する選択部に相当する。

図７は本実施形態における撮像装置の制御に関するフローチャートであって、第１の実施形態と異なる点はステップＳ１０１とステップＳ１０３でありそれぞれ、ステップＳ７０１とステップＳ７０３に対応している。人物Ａ及び人物Ｂのそれぞれについて適した露出の算出を行っている。

図８（ａ）は、本実施形態の撮像装置の１撮像周期内の蓄積時間の変化の一例をグラフ化したものであり図６（ａ）と同様の図である。なお、左が黒塗りで、右は白抜きのプロットは、プロットＡとプロットＢが重なっていること示している。ここで、プロットＡは人物Ａに適した第１の画像に対応する第１の蓄積時間、プロットＢは人物Ｂに適した第２の画像に対応する第２の蓄積時間を示している。又、プロットＡ・プロットＢをつないだ破線の傾きが蓄積時間変化率を示している。以下、ある撮像時間内の第１の蓄積時間と第２の蓄積時間のうち蓄積時間が短い方の変化率を短蓄積時間変化率とし、同じ撮像時間内の第１の蓄積時間と第２の蓄積時間のうち蓄積時間が長い方の変化率を長蓄積時間変化率とする。

この撮像経過時間において、人物Ａは明るい場所と暗い場所を２往復、人物Ｂは明るい場所と暗い場所を１．５往復しており、人物Ａの方が人物Ｂと比べて移動速度が早い動きをしている。

図８（ａ）において、〈１〉の時間帯では、人物Ａは早い速度で、人物Ｂは遅い速度で、明るい場所から暗い場所へ移動しているため、人物Ａに適した蓄積時間の短い第１の蓄積時間Ａが、人物Ｂに適した蓄積時間の長い第２の蓄積時間Ｂより大きく増加している。つまり、短蓄積時間変化率＞０であって短蓄積時間変化率＞長蓄積時間変化率となっている。〈４〉の時間帯は、その逆であって、短蓄積時間変化率＜０であって短蓄積時間変化率＜長蓄積時間変化率となっている。

〈２〉の時間帯では、人物Ａは移動していないが、人物Ｂは明るい場所から暗い場所へ移動したため、人物Ａに適した蓄積時間の長い第１の蓄積時間Ａが変化せず、人物Ｂに適した蓄積時間の短い第２の蓄積時間Ｂだけが増加している。つまり、短蓄積時間変化率＞０であって短蓄積時間変化率＞長蓄積時間変化率＝０となっている。〈３〉の時間帯は、その逆であって、短蓄積時間変化率＜０であって短蓄積時間変化率＜長蓄積時間変化率＝０となっている。

〈５〉の時間帯では、人物Ａは暗い場所から明るい場所へ、人物Ｂは暗い場所から明るい場所へ移動したため、人物Ｂに適した蓄積時間の短い第２の蓄積時間Ｂが増加し、人物Ａに適した蓄積時間の長い第１の蓄積時間Ａが減少している。つまり、短蓄積時間変化率＞０であって短蓄積時間変化率＞長蓄積時間変化率となっている。〈６〉の時間帯は、その逆であって、短蓄積時間変化率＜０であって短蓄積時間変化率＜長蓄積時間変化率となっている。

〈１〉〜〈６〉の通り、本実施形態の撮像装置は、短蓄積時間変化率＞０のとき短蓄積時間変化率＞長蓄積時間変化率、短蓄積時間変化率＜０のとき短蓄積時間変化率＜長蓄積時間変化率となる。したがって蓄積時間決定手段が各撮像周期ごとの第１の蓄積時間と第２の蓄積時間を決定する場合がある。図８（ｂ）はこの関係を図示したものであり、横軸が短蓄積時間Ａの変化率Ａ´、縦軸が長蓄積時間Ｂの変化率Ｂ´となっている。グレーの範囲が、変化率を一定とする従来の撮像装置が設定できず、本実施形態の撮像装置が設定する場合がある短蓄積時間変化率Ａ´と長蓄積時間変化率Ｂ´の範囲である。本実施形態の撮像装置は従来の撮像装置が設定していた短蓄積時間変化率Ａ´と長蓄積時間変化率Ｂ´の範囲も設定できるので、短蓄積時間変化率Ａ´と長蓄積時間変化率Ｂ´は任意に設定できることになる。

以上説明した通り、本実施形態では第１の蓄積時間は第１の注目被写体に適するように、第２の蓄積時間は第２の注目被写体に適するように設定されている。この結果、短蓄積時間画像と長蓄積時間画像の蓄積時間変化率の大小関係が逆転する場合がある２つの画像を同時に撮像することができる。このため、本発明の撮像装置では、従来のＨＤＲ撮像では得られなかった２つの画像、つまり、第１の注目被写体に適した露出設定の画像と第２の注目被写体に適した露出設定の画像の２つの画像を撮像することができる。これら２つの画像を目的に応じて、別々に利用したり、合成して利用したりすることで、従来にはなかった画像が制作可能である。

なお、本実施形態では、注目被写体最適の画像を得るために、それぞれの明るさに追従して蓄積時間を変化させ画像の明るさを一定にしたが、注目被写体最適について異なる露出制御をしても、同様の目的を得ることができる。

なお、本実施形態では第１の蓄積時間は第１の注目被写体に適するように、第２の蓄積時間は第２の注目被写体に適するように決定されている。しかし、蓄積時間決定手段が、第１の蓄積時間を決定するに際し参照する画像範囲は画像の第１の部分であり、第２の蓄積時間を決定するに際し参照する画像範囲も第２の部分である。したがって、第１の部分と第２の部分は異なる範囲であれば、同様の効果を得ることができる。例えば、第１の蓄積時間は画像の右半分最適、第２の蓄積時間は画像の左半分最適であるように設定されるような場合である。

（第３の実施形態）
以下、本発明の第３の実施形態の撮像装置の構成について、第１の実施形態と異なる点についてのみ説明する。

本実施形態では、蓄積時間決定手段が、画像の明るさの変化に対する応答が異なるように、第１の蓄積時間と第２の蓄積時間を決定する。一例として、第１の蓄積時間は画像の明るさの変化に追従し、第２の蓄積時間は画像の明るさの変化に追従しない設定となっている。

ここで、明るさの変化に追従して蓄積時間を変化させると、露出オーバーでの白飛びや露出アンダーでの黒つぶれが発生しにくくなり、比較的コントラストの大きい画像が取得できる。画像のコントラストが大きいと、画像の先鋭度を検出してオートフォーカスに利用したり、動きベクトルを検出して画像振れ補正に利用したりする場合に、オートフォーカスや画像振れ補正の精度を向上させる効果が得られる。逆に、明るさの変化に追従せずに蓄積時間を設定すると、明るさの変化に応じて画像が露出オーバーや露出アンダーになる。このため、マニュアル露出設定でユーザーの撮像意図通りの画像が取得でき、又は、オート露出設定で実際の目視に近い明るさの画像が取得できるという効果が得られる。本実施形態においてユーザーはスイッチ入力手段１７９等を用いてマニュアル露出設定を決定可能である。つまり、スイッチ入力手段１７９はユーザーが露出設定を決定するための決定部に相当する。なお、画像振れには被写体が動くことによって生じる被写体ぶれだけではなく、撮像装置全体が動くことによって生じるぶれも含む。

図９は本実施形態における撮像装置の制御に関するフローチャートであって、第１の実施形態と異なる点はステップＳ１０１とステップＳ１０３でありそれぞれ、ステップＳ９０１とステップＳ９０３に対応している。

図１０（ａ）は、本実施形態の撮像装置の１撮像周期内の蓄積時間の変化の一例をグラフ化したものであり図６（ａ）と同様の図である。なお、左が黒塗りで、右は白抜きのプロットは、プロットＡとプロットＢが重なっていること示している。ここで、プロットＡは画像の明るさの変化に追従した第１の画像に対応する第１の蓄積時間、プロットＢは画像の明るさの変化に追従しない第２の画像に対応する第２の蓄積時間を示している。又、プロットＡ・プロットＢをつないだ破線の傾きが蓄積時間変化率を示している。以下、ある撮像時間内の第１の蓄積時間と第２の蓄積時間のうち蓄積時間が短い方の変化率を短蓄積時間変化率とし、同じ撮像時間内の第１の蓄積時間と第２の蓄積時間のうち蓄積時間が長い方の変化率を長蓄積時間変化率とする。

この撮像経過時間において、画像の明るさは、２０〜３０ｓｅｃと６０〜７０ｓｅｃで明るくなり、９０ｓｅｃで暗くなったのち徐々に明るくなっている。このため、黒つぶれや白飛びを防止しコントラストの大きな画像を得るために、蓄積時間Ａは２０〜３０ｓｅｃと６０〜７０ｓｅｃで短くなり、９０ｓｅｃで長くなったのち徐々に短くなっている。それに対して、蓄積時間Ｂは、ユーザーの意図、又は、自動露出設定によって、明るさの変化に追従せず、５０〜８０ｓｅｃで徐々に蓄積時間を長くして、露出をややオーバーにし、１００〜１１０ｓｅｃで蓄積時間を短くして露出を戻している。

図１０（ａ）において、〈４〉の時間帯では、画像の明るさの変化に追従した第１の蓄積時間が、画像の明るさの変化に追従しない第２の蓄積時間Ｂより大きく増加している。つまり、短蓄積時間変化率＞０であって短蓄積時間変化率＞長蓄積時間変化率となっている。〈５〉の時間帯は、その逆であって、短蓄積時間変化率＜０であって短蓄積時間変化率＜長蓄積時間変化率となっている。

〈２〉の時間帯では、画像の明るさの変化に追従した第１の蓄積時間Ａが増加しているが、画像の明るさの変化に追従しない第２の蓄積時間Ｂは変化していない。つまり、短蓄積時間変化率＞０であって短蓄積時間変化率＞長蓄積時間変化率＝０となっている。〈１〉の時間帯は、その逆であって、短蓄積時間変化率＜０であって短蓄積時間変化率＜長蓄積時間変化率＝０となっている。

〈６〉の時間帯では、画像の明るさの変化に追従した第１の蓄積時間Ａが減少し、画像の明るさの変化に追従しない第２の蓄積時間Ｂが増加している。つまり、短蓄積時間変化率＞０であって短蓄積時間変化率＞長蓄積時間変化率となっている。〈３〉の時間帯は、その逆であって、短蓄積時間変化率＜０であって短蓄積時間変化率＜長蓄積時間変化率となっている。

〈１〉〜〈６〉の通り、本実施形態の撮像装置は、短蓄積時間変化率＞０のとき短蓄積時間変化率＞長蓄積時間変化率、短蓄積時間変化率＜０のとき短蓄積時間変化率＜長蓄積時間変化率となる。したがって蓄積時間決定手段が各撮像周期ごとの第１の蓄積時間と第２の蓄積時間を決定する場合がある。図１０（ｂ）はこの関係を図示したものであり、横軸が短蓄積時間Ａの変化率Ａ´、縦軸が長蓄積時間Ｂの変化率Ｂ´となっている。グレーの範囲が、変化率を一定とする従来の撮像装置が設定できず、本実施形態の撮像装置が設定する場合がある短蓄積時間変化率Ａ´と長蓄積時間変化率Ｂ´の範囲である。本実施形態の撮像装置は従来の撮像装置が設定していた短蓄積時間変化率Ａ´と長蓄積時間変化率Ｂ´の範囲も設定できるので、短蓄積時間変化率Ａ´と長蓄積時間変化率Ｂ´は任意に設定できることになる。

以上説明した通り、本実施形態では第１の蓄積時間は画像の明るさの変化に追従するように、第２の蓄積時間は画像の明るさの変化に追従しないように決定されている。この結果、短蓄積時間画像と長蓄積時間画像の蓄積時間変化率の大小関係が逆転する場合がある２つの画像を同時に撮像することができる。このため、本発明の撮像装置では、従来のＨＤＲ撮像では得られなかった２つの画像、つまり、画像の明るさの変化に追従した露出設定の画像と画像の明るさの変化に追従しない露出設定の画像の２つの画像を撮像することができる。これら２つの画像を目的に応じて、一方を記録用の画像として、他方をオートフォーカスや画像振れ補正の精度を向上させるための画像処理用の画像として利用したり、合成して利用したりすることで、従来にはなかった画像が制作可能である。例えば、特定の被写体（人物等）をマニュアル露出により追従し、それ以外の領域は自動で露出調整を行う場合等に適している。

なお、本実施形態では第１の蓄積時間は画像の明るさの変化に追従した蓄積時間であり、第２の蓄積時間は画像の明るさの変化に追従しない蓄積時間であるように設定されていると説明した。しかし、追従する程度や追従しない程度については任意に設定することができ、追従の程度が両者で異なっていれば、同様の効果を得ることができる。

（第４の実施形態）
以下、本発明の第４の実施形態の撮像装置の構成について、第１の実施形態と異なる点についてのみ説明する。

本実施形態では、蓄積時間決定手段が、画像の明るさの変化に応答する応答速度が異なるように、第１の蓄積時間と第２の蓄積時間を決定する。一例として、第１の蓄積時間は、画像全体の明るさの変化に敏感に応答し、第２の蓄積時間は、画像全体の明るさの変化に鈍感に応答する設定になっている。この敏感さと鈍感さの設定については、いわゆるＰＩＤ制御のＰゲインやＤゲインを調整することで設定できる。

図１１はそのフローチャートであって、第一の実施形態と異なる点はＳ１０１とＳ１０３でありそれぞれ、ステップＳ１１０１とステップＳ１１０３に対応している。

図１２（ａ）は、本実施形態の撮像装置の１撮像周期内の蓄積時間の変化の一例をグラフ化したものであり図６（ａ）と同様の図である。なお、左が黒塗りで、右は白抜きのプロットは、プロットＡとプロットＢが重なっていること示している。ここで、プロットＡは画像全体の明るさの変化に敏感に応答して変化させる第１の蓄積時間、プロットＢは画像全体の明るさの変化に鈍感に応答して変化させる第２の蓄積時間を示している。又、プロットＡ・プロットＢをつないだ破線の傾きが蓄積時間変化率を示している。以下、ある撮像時間内の第１の蓄積時間と第２の蓄積時間のうち蓄積時間が短い方の変化率を短蓄積時間変化率とし、同じ撮像時間内の第１の蓄積時間と第２の蓄積時間のうち蓄積時間が長い方の変化率を長蓄積時間変化率とする。

この撮像経過時間において画像全体の明るさは、３０ｓｅｃで一時的に明るくなった後すぐに明るさがもとに戻り、７０ｓｅｃ以降徐々に明るくなるような変化をしている。３０ｓｅｃの明るさの変化に対して、第１の蓄積時間Ａは応答しているが、第２の蓄積時間Ｂは応答していない。又、７０ｓｅｃ以降徐々に明るくなる変化に対しては、第１の蓄積時間Ａより遅れて、第２の蓄積時間Ｂが変化している。

〈３〉の時間帯では、画像全体の明るさの変化に敏感に応答する第１の蓄積時間Ａが、画像全体の明るさの変化に鈍感に応答する第２の蓄積時間Ｂより大きく減少している。つまり、短蓄積時間変化率＜０であって短蓄積時間変化率＜長蓄積時間変化率となっている。

〈１〉の時間帯では、画像全体の明るさの変化に敏感に応答する第１の蓄積時間Ａは減少しているが、画像全体の明るさの変化に鈍感に応答する第２の蓄積時間Ｂは変化していない。つまり、短蓄積時間変化率＜０であって短蓄積時間変化率＜長蓄積時間変化率＝０となっている。〈２〉の時間帯は、その逆であって、短蓄積時間変化率＞０であって短蓄積時間変化率＞長蓄積時間変化率＝０となっている。

〈１〉〜〈３〉の通り、本実施形態の撮像装置は、従来の撮像装置と異なり、短蓄積時間変化率＞０のとき短蓄積時間変化率＞長蓄積時間変化率、短蓄積時間変化率＜０のとき短蓄積時間変化率＜長蓄積時間変化率となる。したがって蓄積時間決定手段が各撮像周期ごとの第１の蓄積時間と第２の蓄積時間を決定する場合がある。図１２（ｂ）はこの関係を図示したものであり、横軸が短蓄積時間Ａの変化率Ａ´、縦軸が長蓄積時間Ｂの変化率Ｂ´となっている。グレーの範囲が、変化率を一定とする従来の撮像装置が設定できず、本実施形態の撮像装置が設定する場合がある短蓄積時間変化率Ａ´と長蓄積時間変化率Ｂ´の範囲である。本実施形態の撮像装置は従来の撮像装置が設定していた短蓄積時間変化率Ａ´と長蓄積時間変化率Ｂ´の範囲も設定できるので、短蓄積時間変化率Ａ´と長蓄積時間変化率Ｂ´は任意に設定できることになる。

以上説明した通り、本実施形態では第１の蓄積時間は画像全体の明るさの変化に敏感に応答し、第２の蓄積時間は画像全体の明るさの変化に鈍感に応答している。この結果、短蓄積時間画像と長蓄積時間画像の蓄積時間変化率の大小関係が逆転する場合がある２つの画像を同時に撮像することができる。このため、本発明の撮像装置では、従来のＨＤＲ撮像では得られなかった２つの画像、つまり、第１の注目被写体に最適な露出設定の画像と第２の注目被写体に最適な露出設定の画像の２つの画像を撮像することができる。これら２つの画像を目的に応じて、別々に利用したり、合成して利用したりすることで、従来にはなかった画像が制作可能である。

なお、第１乃至第４の実施形態に関して本発明の撮像装置の動作に関して説明したが、２つの画像を取得するための露出の変化率を一定とせず完全に独立して制御するのではなく一定の制限を設けるようにしてもよい。例えば、各画像間の露出差に上限または下限を設けるようにししてもよい。この場合にどちらの画像の露出を優先するかを適宜決定することが好ましい。例えば、人物等の主要被写体を対象として露出算出する側を優先することが望ましい。

なお、第１乃至第４の実施形態に関して２つの異なる露出の画像を取得する例を示したが、これに限られるものではない。３つ以上の画像を取得する際に全ての画像または一部の画像に対して各実施形態に示した動作をするように制御してもよい。

（撮像素子に関する変形例）
第１乃至第４の実施形態において図３に示したような１つの画素要素に１つのフォトダイオード５００と２つの信号保持部５０７Ａ、５０７Ｂを有する撮像素子以外を含む撮像装置においても同様の効果を得ることが可能である。

例えば、図１３に示すように２つの光電変換部５００Ａ、５００Ｂとそれぞれに信号保持部５０７Ａ、５０７Ｂを有する構成としてもよい。光電変換部５００Ａは図３に示したフォトダイオード５００と同様のものであるが、光電変換部５００Ｂは有機薄膜等からなる光電変換膜で構成されている。光電変換部５００Ｂは光電変換部５００Ａとマイクロレンズ１０００の間に位置するように入射光に対して積層されているため、光電変換部５００Ａと光電変換部５００Ｂには同一の被写体が写ることとなる。言い換えれば、光電変換部５００Ａと光電変換部５００Ｂのそれぞれの露出算出において第１乃至第４の実施形態に示した制御を行うことによっても同様の効果を得ることが可能となる。

なお、本変形例では光電変換部を入射光に対して積層する構造としたが、同一受光面に複数のフォトダイオードを設ける構成としてもよい。

また、タイミング発生部１８９及び露出算出を行うシステム制御ＣＰＵ１７８の機能を撮像素子１８４内に実装することも可能である。この場合、光電変換部が備わるチップと別の信号処理チップを積層構造とすることが好ましい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

５００ 光電変換部
５０７Ａ 第１の信号保持部
５０７Ｂ 第２の信号保持部
１８４ 撮像素子
１７８ 制御手段
１５１ 撮像装置

Claims (11)

1. 撮像周期毎に複数の画像を出力する撮像素子を有する撮像装置であって、
   前記複数の画像に含まれる第１の画像を取得するための第１の露出を第１の条件に基づいて算出し、かつ前記複数の画像に含まれる第２の画像を取得するための第２の露出を前記第１の条件と異なる第２の条件で算出する算出手段と、
   前記算出手段によって算出された前記第１の露出と前記第２の露出に基づいて前記第１の画像と前記第２の画像を取得する露出を設定する設定手段と、
   を備え、
   前記第１の画像と前記第２の画像は、ダイナミックレンジが拡張された画像の生成に用いる画像であって、且つ、前記第１の画像と前記第２の画像の順に取得され、
   前記第１の条件には、画像内の第１の範囲に含まれる被写体の輝度を含み、
   前記第２の条件には、画像内の第２の範囲に含まれる被写体の輝度を含み、
   前記第２の範囲は、画像内の前記第１の範囲とは異なる範囲を含み、
   前記算出手段は、直前の撮像周期にて取得した前記第１の画像と前記第２の画像を用いて前記第１の露出及び前記第２の露出を算出する際に、前記第１の条件および前記第２の条件に応じて、前記第１の露出と前記第２の露出の大小関係が逆転するように前記第１の露出および前記第２の露出を算出できることを特徴とする撮像装置。
2. 前記第１の画像と前記第２の画像には同一の被写体が含まれることを特徴とする請求項１に記載の撮像装置。
3. 前記第１の範囲は前記第２の範囲よりも狭いことを特徴とする請求項１または２に記載の撮像装置。
4. 画像内に含まれる被写体から注目被写体を選択する選択手段を更に含み、
   前記第１の範囲には前記選択手段にて選択された注目被写体を含むことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記選択手段は複数の注目被写体を選択可能であり、
   前記第２の範囲は、前記選択手段にて選択された注目被写体であって、前記第１の範囲に含まれる注目被写体とは異なる注目被写体を含む範囲であることを特徴とする請求項４に記載の撮像装置。
6. 前記算出手段は直前の撮像周期までに取得した複数の前記第１の画像と前記第２の画像における輝度の変化に応答するための前記第１の露出及び前記第２の露出をそれぞれ算出し、
   前記算出手段は前記第１の露出における応答速度と、前記第２の露出における応答速度は異なるように、前記第１の露出と前記第２の露出を算出することを特徴とする請求項１または２に記載の撮像装置。
7. 前記設定手段は前記算出手段によって算出された前記第１の露出と前記第２の露出との差に基づいて前記第１の画像と前記第２の画像を取得する露出を設定することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記撮像素子に被写体からの光を集光するための撮像光学系を更に備え、
   前記算出手段は露出として前記撮像素子に含まれるゲイン回路のゲイン値、蓄積時間、前記撮像光学系に含まれる絞り値を算出することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記第１の画像と前記第２の画像を合成してダイナミックレンジが拡張された画像に基づいて動画像を生成する生成手段をさらに含むことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 撮像周期毎に複数の画像を出力する撮像素子を有する撮像装置の制御方法であって、
    前記複数の画像に含まれる第１の画像を取得するための第１の露出を第１の条件に基づいて算出し、前記複数の画像に含まれる第２の画像を取得するための第２の露出を前記第１の条件と異なる第２の条件で算出する算出ステップと、
    前記算出ステップによって算出された前記第１の露出と前記第２の露出に基づいて前記第１の画像と前記第２の画像を取得する露出を設定する設定ステップと、
    を備え、
    前記第１の画像と前記第２の画像は、ダイナミックレンジが拡張された画像の生成に用いる画像であって、且つ、前記第１の画像と前記第２の画像の順に取得され、
    前記第１の条件には、画像内の第１の範囲に含まれる被写体の輝度を含み、
    前記第２の条件には、画像内の第２の範囲に含まれる被写体の輝度を含み、
    前記第２の範囲は、画像内の前記第１の範囲とは異なる範囲を含み、
    前記算出ステップでは、直前の撮像周期にて取得した前記第１の画像と前記第２の画像を用いて前記第１の露出及び前記第２の露出を算出する際に、前記第１の条件および前記第２の条件に応じて、前記第１の露出と前記第２の露出の大小関係が逆転するように前記第１の露出および前記第２の露出を算出できることを特徴とする撮像装置の制御方法。
11. 撮像周期毎に複数の画像を出力する撮像素子であって、
    前記複数の画像に含まれる第１の画像を取得するための第１の露出を第１の条件に基づいて算出し、前記複数の画像に含まれる第２の画像を取得するための第２の露出を前記第１の条件と異なる第２の条件で算出する算出部と、
    前記算出部によって算出された前記第１の露出と前記第２の露出に基づいて前記第１の画像と前記第２の画像を取得する露出を設定する設定部と、
    を備え、
    前記第１の画像と前記第２の画像は、ダイナミックレンジが拡張された画像の生成に用いる画像であって、且つ、前記第１の画像と前記第２の画像の順に取得され、
    前記第１の条件には、画像内の第１の範囲に含まれる被写体の輝度を含み、
    前記第２の条件には、画像内の第２の範囲に含まれる被写体の輝度を含み、
    前記第２の範囲は、画像内の前記第１の範囲とは異なる範囲を含み、
    前記算出部は、直前の撮像周期にて取得した前記第１の画像と前記第２の画像を用いて前記第１の露出及び前記第２の露出を算出する際に、前記第１の条件および前記第２の条件に応じて、前記第１の露出と前記第２の露出の大小関係が逆転するように前記第１の露出および前記第２の露出を算出できることを特徴とする撮像素子。

Images