JP5452269B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

近年、デジタルカメラやデジタルビデオカメラ等の撮像装置には、光学像を電気信号に変換する撮像素子が搭載されているが、この撮像素子は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ、電荷結合素子）からＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ、相補型金属酸化膜半導体）へとマーケットシェアーが移行しつつある。

撮像装置に搭載されているＣＭＯＳ等のＭＯＳ型撮像素子は、撮像面に２次元状に配列された多数の画素の電荷を順次読み出すようになっているが、そのままでは露光開始時刻および露光終了時刻が画素毎に（あるいはライン毎に）異なることになる。そこで、全画素の露光開始時刻を同一にし、かつ全画素の露光終了時刻を同一にすることができるように（つまり、グローバルシャッタによる制御が可能となるように）構成されたＭＯＳ型撮像素子が知られている。グローバルシャッタによる制御が可能となるように構成されたＭＯＳ型撮像素子は、露光量に応じた信号を発生させるフォトダイオード等の光電変換部を備えるとともに、光電変換部において発生した信号電荷を一時的に蓄積する信号蓄積部を備え、さらに、電荷の転送やリセットを行う際にスイッチとして機能するトランジスタ等を備えている。

この撮像素子をデジタルカメラに用いる場合に、ｋＴＣノイズ（リセットノイズ）を抑圧するために、以下のようなシーケンスにより撮像素子を駆動させる技術が知られている（例えば、特許文献１参照）。
（１）信号蓄積部ＦＤをトランジスタＭｒによりリセットし、リセットデータをライン毎に順次走査して読み出し、記憶しておく。
（２）全画素の光電変換部ＰＤを一括してリセットし、所定の露光時間が経過した後に、光電変換部ＰＤの画素データを一括して信号蓄積部ＦＤへ転送する。
（３）信号蓄積部ＦＤへ転送された画素データを、ライン毎に順次走査して読み出し、（１）において記憶しておいたリセットデータを減算する（差分をとる）。

また、ＣＭＯＳイメージセンサ等の固体撮像素子から１フレーム分の画像データを通常の速度よりも速い速度で読み出し、１フレーム期間内に空いた時間（ブランキング期間）を作り出す。そして、このブランキング期間を利用してＡＦ（Ａｕｔｏｆｏｃｕｓ、オートフォーカス）用の測距用画像、ここでは所定の間引き読み出し率で画素を間引いて測距用画像を取得する。そして、評価値算出手段が、自動焦点制御のための合焦の度合いを評価する評価値を測距用画像から算出することによって、撮像動作を止めることなく、ＡＦ制御を高速に行う技術が知られている（例えば、特許文献２参照）。

特開２００５−６５１８４号公報 特開２００８−１９９４７７号公報

しかしながら、上述したようなシーケンスで撮像素子を駆動した場合には、露光開始後から信号蓄積部が蓄積する信号電荷の読み出し完了時までの間には新たな画素データを取得することができない。そのため、画像を得るための一連の動作中に、ＡＦや、ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ、自動露出）や、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ、オートホワイトバランス）などのカメラ制御用に用いるデータが所望のタイミングで取得できなかったり、ライブビュー（画像表示）の更新（表示部がブラックアウトして画像が表示されない）期間が長くなるなどの現象が発生してしまう。

特に、上述したシーケンスにおいては、露光前のリセットデータ用の全画素信号読み出し動作と、露光後の画素データ用の全画素信号読み出し動作との両方が必要となるために、撮像画像の取得を完了するまでの期間である１シーケンス期間が長くなることになる。とりわけ、近年の撮像素子は、画素数が増加し、全画素信号読み出し動作に要する時間が長くなる傾向にあるために、ライブビューやカメラ制御用のデータを取得することができない期間が長くなるというのがより重要な課題になりつつある。

また、カメラ制御用のデータは、オートフォーカスや自動露出などにも用いられるだけでなく、表示部における表示に流用されることも多々あるために、露光期間の直前の時点までカメラ制御用のデータを取得できることが望ましい。

本発明は、上記事情に鑑みてなされたものであり、静止画像を撮像する際にカメラ制御用のデータを取得することができない期間をより短くすることができる撮像装置を提供することを目的とする。

本発明は、入射光量に応じた信号電荷を発生させる光電変換部と前記光電変換部が発生した信号電荷を蓄積する電荷蓄積部とを有した画素を２次元状に複数配列した画素部を有し、前記画素部の所定領域の画素全体の露光開始タイミング及び露光期間を同一とするグローバルシャッタ動作を行う固体撮像素子と、前記電荷蓄積部に蓄積された信号電荷の内の所定の画素領域の信号電荷を他の画素領域の信号電荷よりも先に読み出し、その後に該他の画素領域の信号電荷を読み出す第１信号電荷読出部と、前記第１信号電荷読出部により前記他の画素領域の信号電荷を読み出す時間区間内において、前記所定の画素領域に含まれる制御用に使用される信号電荷である画素データを１回以上読み出す第２信号電荷読出部と、前記第１信号電荷読出部が信号電荷を読み出す画素領域の順を選択し、前記第１信号電荷読出部が前記信号電荷を読み出した画素領域の中から前記第２信号電荷読出部が前記画素データを読み出すように、前記第２信号電荷読出部が前記画素データを読み出す画素領域の順を選択する、または、前記第２信号電荷読出部が前記画素データを読み出す画素領域の順を選択し、前記第２信号電荷読出部が前記画素データを読み出す前に当該画素が含まれる前記画素領域の信号電荷を読み出すように、前記第１信号電荷読出部が前記信号電荷を読み出す画素領域の順を選択する選択部と、を備えたことを特徴とする撮像装置である。

また、本発明は、前記第２信号電荷読出部が読み出した画素データに基づいて、オートフォーカスパラメータを算出するオートフォーカス評価値演算部と、前記第１信号電荷読出部が前記信号電荷を読み出している期間中に前記オートフォーカス評価値演算部の計算結果に基づいてオートフォーカス制御を行うオートフォーカス制御部と、を備え、前記選択部は、前記オートフォーカス制御に用いる前記画素データを前記第２信号電荷読出部が読み出すように、前記第２信号電荷読出部が前記画素データを読み出す画素領域の順を選択することを特徴とする撮像装置である。

また、本発明は、前記第２信号電荷読出部が読み出した前記画素データを用いて被写体の画像認識を行う画像認識部を備え、前記選択部は、前記画像認識部が認識した前記被写体が含まれる前記画素データを前記第２信号電荷読出部が読み出すように、次に前記第２信号電荷読出部が前記画素データを読み出す画素領域の順を選択することを特徴とする撮像装置である。

また、本発明は、ユーザによってオートフォーカスを行う位置の指定を受け付けるオートフォーカス位置指定部を備え、前記選択部は、前記オートフォーカス位置指定部が受け付けた前記オートフォーカスを行う位置の前記画素データを前記第２信号電荷読出部が読み出すように、前記第２信号電荷読出部が前記画素データを読み出す画素領域の順を選択することを特徴とする撮像装置である。

また、本発明の撮像装置において、前記選択部は、前記第１信号電荷読出部が全ての画素領域の前記信号電荷の読み出しを終了したときに、次画像撮影のためのカメラ制御を行うための前記画素データを前記第２信号電荷読出部が読み出すように、前記第２信号電荷読出部が前記画素データを読み出す画素領域の順を選択することを特徴とする。

また、本発明は、前記第２信号電荷読出部が読み出した前記画素データに基づいて表示用画像データを生成する画像処理部を備え、前記選択部は、前記表示用画像データを必要とする場合には、画素領域内の行を間引いて読み出すが、前記表示用画像データが形成する表示用画像が静止画画角と同一の画角となるように、前記第２信号電荷読出部が前記画素データを読み出す画素領域の順を選択し、前記オートフォーカス制御部が前記オートフォーカス制御を行う際には前記オートフォーカス制御に用いる前記画素データを前記第２信号電荷読出部が読み出すように、前記第２信号電荷読出部が前記画素データを読み出す画素領域の順を選択することを特徴とする撮像装置である。

また、本発明の撮像装置において、前記画像認識部は、以前に静止画像を撮像した際に前記第２信号電荷読出部が読み出した前記画素データを用いて前記被写体の画像認識を行い、前記選択部は、前記画像認識部が認識した前記被写体が含まれる前記画素データを前記第２信号電荷読出部が読み出すように、次に前記第２信号電荷読出部が前記画素データを読み出す画素領域の順を選択することを特徴とする。

また、本発明の撮像装置において、前記画像認識部は、前記第２信号電荷読出部が読み出した前記画素データを用いて被写体の移動位置を予測し、前記選択部は、前記画像認識部が予測した前記被写体の移動位置が含まれる前記画素データを前記第２信号電荷読出部が読み出すように、前記第２信号電荷読出部が前記画素データを読み出す画素領域の順を選択することを特徴とする。

本発明によれば、選択部は、第１信号電荷読出部が信号電荷を読み出す画素領域の順を選択し、第１信号電荷読出部が読み出した画素領域の中から第２信号電荷読出部が画素データを読み出すように、第２信号電荷読出部が前記画素データを読み出す画素領域の順を選択する。または、選択部は、第２信号電荷読出部が画素データを読み出す画素領域の順を選択し、第２信号電荷読出部が画素データを読み出す前に当該画素が含まれる画素領域の信号電荷を読み出すように、第１信号電荷読出部が前記信号電荷を読み出す画素領域の順を選択する。

そして、選択部が選択した信号電荷を読み出す画素領域の順に従って、第１信号電荷読出部は、電荷蓄積部に蓄積された信号電荷の内の所定の画素領域の信号電荷を他の画素領域の信号電荷よりも先に読み出し、その後に他の画素領域の信号電荷を読み出す。また、第２信号電荷読出部は、第１信号電荷読出部により他の画素領域の信号電荷を読み出す時間区間内において、所定の画素領域に含まれる画素データを１回以上読み出す。これにより、本発明は、静止画像を撮像する際にカメラ制御用のデータを取得することができない期間をより短くすることができる。

本発明の一実施形態における撮像装置の構成を示したブロック図である。 本実施形態における単一の画素の構成を示した図である。 一般的なグローバルシャッタにより動作する撮像部の撮像動作のタイミングを示すタイミングチャートである。 カメラ制御用（ライブビュー表示用）画像データの取得を行っている最中に、一般的なグローバルシャッタにより静止画像を撮像するときの撮像部の撮像動作のタイミングを示すタイミングチャートである。 本実施形態において、撮像装置の撮像部が、静止画を撮像している間にカメラ制御用画像データを取得する際の動作タイミングを示すタイミングチャートである。 本実施形態において、第１読出部および第２読出部に信号電荷を読み出される画素領域の一例を示した図である。 本実施形態において、撮像装置の撮像部が静止画像を撮像している間にカメラ制御用画像データを取得する際の詳細な動作タイミングを示したタイミングチャートである。 本実施形態において、ライブビュー表示に使用するために読み出されるラインの例を示す図である。 本実施形態において、撮像装置の撮像部が、静止画を撮像している間にライブビュー表示用画像データを取得する際の動作タイミングを示すタイミングチャートである。 本実施形態において、撮像装置の撮像部が、静止画を撮像している間に、被写体の自動認識結果に応じて制御用データを取得する順を可変とする際の動作タイミングを示すタイミングチャートである。

以下、本発明の一実施形態について図面を参照して説明する。図１は、本実施形態における撮像装置の構成を示したブロック図である。図示する例では、撮像装置１は、レンズ１１と、撮像部１２（固体撮像素子）と、画像処理部１３と、ＡＦ（オートフォーカス）評価値演算部１４と、撮像制御部１５と、手振れ検出部１６と、手振れ補正部１７と、ＡＦ制御部１８と、カメラ操作部１９と、カメラ制御部２０とを備えている。なお、図には表示部２１とメモリーカード２２とが記載されているが、これらは撮像装置１に対して着脱可能に構成されているために、撮像装置１に固有の構成でなくても構わない。

レンズ１１は、被写体の光学像を撮像部１２の撮像素子の撮像面に結像するための撮影レンズである。撮像部１２は、入射光量に応じた信号電荷を発生させる光電変換部と光電変換部が発生した信号電荷を蓄積する電荷蓄積部とを有した画素を２次元状に複数配列した画素部を備えている。画素の構成については後述する。また、撮像部１２は、静止画像を生成するための信号電荷を読み出す第１読出部１２１と、カメラ制御用画像データ（画素データ）を読み出す第２読出部１２２とを備えている。撮像部１２は、レンズ１１により結像された被写体の光学像を光電変換して、デジタル信号に変換してから出力する。この撮像部１２は、少なくとも、全画素の露光開始時刻および露光終了時刻を同一とするグローバルシャッタによる動作を行い得るように構成されている。また、撮像部１２は、グローバルシャッタによる動作に加えて、例えばライン単位（または画素単位）で順次露光を行うローリングシャッタによる動作を行い得るように構成されていても構わない。

撮像制御部１５は、読出制御部１５０と、第１読出順序選択部１５１（選択部）と、第２読出順序選択部１５２（選択部）とを備えており、カメラ制御部２０からの指令に基づいて、撮像部１２を駆動し、露光制御や、読み出し領域や、読み出しタイミング等の制御などを行う。読出制御部１５０は、静止画像を生成するための信号電荷を電荷蓄積部から読み出すように第１読出部１２１を制御し、カメラ制御用画像データ（画素データ）として使用する信号電荷を電荷蓄積部から読み出すように第２読出部１２２を制御する。第１読出順序選択部１５１は、第２読出部１２２が所望の順序でカメラ制御用画像データを読み出せるよう、第１読出部１２１が信号電荷を読み出す画素領域の順を選択する。第２読出順序選択部１５２は、第２読出部１２２がカメラ制御用画像データを読み出す画素領域の順を選択する。

画像処理部１３は、撮像部１２から出力される画像信号に種々のデジタル的な画像処理を施す。この画像処理部１３は、画像信号を記録用に処理する第１画像処理部１３１と、画像信号を表示用やカメラ制御用に処理する第２画像処理部１３２とを備えている。なお、撮像装置１は、第２画像処理部１３２の代わりに、画像信号を表示用に処理する画像処理部と、画像信号をカメラ制御用に処理する画像処理部とを個々に備えても良い。また、画像処理部１３は、画像認識部１３３と、認識位置予測部１３４とを備えている。画像認識部１３３は、画像に含まれる被写体を認識し、この被写体の位置情報を取得する。認識位置予測部１３４は、例えば動体を追尾するＡＦ追尾方式を用いて、被写体の移動速度、方向などを考慮した被写体の位置情報を算出する。

ＡＦ評価値演算部１４は、撮像部１２から出力される画像信号の全体の平均値や、ある領域のピーク値、輝度相当信号などから算出された計算値に基づいて、被写体への合焦度合いを示すＡＦ評価値を演算する。このＡＦ評価値演算部１４により算出されたＡＦ評価値は、カメラ制御部２０へ出力される。カメラ制御部２０は、このＡＦ評価値を用いてＡＦ制御部１８を制御する。ＡＦ制御部１８は、カメラ制御部２０の制御に基づいてレンズ１１に含まれるフォーカスレンズを駆動し、撮像部１２に結像される被写体像が合焦されるようにする。

表示部２１は、画像処理部１３の第２画像処理部１３２により表示用に画像処理された信号に基づき、画像を表示する。この表示部２１は静止画や動画記録された画像を再生表示することができると共に、被撮像範囲をリアルタイムに表示するライブビュー（ＬＶ）表示を行うことができるようになっている。メモリーカード２２は、画像処理部１３の第１画像処理部１３１により記録用に画像処理された信号を保存するための記録媒体である。メモリーカード２２に保存されるデータは、画像処理部１３にて容量を削減する為に圧縮されたり、画質を保つ為に非圧縮の処理が施された静止画または動画像データ化されることが多い。また、撮像装置１は、メモリーカード２２の代わりに、出力部や、外部コンピュータ等と通信する為の外部Ｉ／Ｆ（インタフェース）部を備えても良い。

手振れ検出部１６は、この撮像装置１自体の手振れを検出する。手振れ補正部１７は、手振れ検出部１６により検出された手振れ情報に基づいて、撮像される画像への手振れの影響を相殺するように、レンズ１１や撮像部１２を駆動する。カメラ操作部１９は、ユーザが撮像装置１に対する各種の操作入力を行うためのものである。このカメラ操作部１９に含まれる操作部材の例としては、撮像装置１の電源をオン／オフするための電源スイッチ、静止画撮影を指示入力するための２段式押圧ボタンでなるレリーズボタン、撮影モードを単写モードと連写モードとに切り換えるための撮影モードスイッチ、ＡＦモードをシングルＡＦモードとコンティニュアスＡＦモードとに切り換えるためのＡＦモードスイッチ、オートフォーカスを行う位置を指定するスイッチなどが挙げられる。

カメラ制御部２０は、ＡＦ評価値演算部１４からのＡＦ評価値や、手振れ検出部１６からの手振れ情報や、カメラ操作部１９からの操作入力などに基づいて、撮像制御部１５と、画像処理部１３と、メモリーカード２２と、手振れ補正部１７と、ＡＦ制御部１８等を含む撮像装置１全体を制御する。

なお、第１読出部１２１と読出制御部１５０とをあわせたものが第１信号電荷読出部に対応する。また、第２読出部１２２と読出制御部１５０とをあわせたものが第２信号電荷読出部に対応する。

次に、撮像部１２の画素部が備える画素（単一の画素）の構成について説明する。図２は、本実施形態における単一の画素の構成を示した図である。図示する例では、単一の画素１００は、光電変換部１０１、転送トランジスタ１０２、電荷蓄積部（ＦＤ）１０３、ＦＤリセットトランジスタ１０４、増幅トランジスタ１０５、選択トランジスタ１０６、及びＰＤリセットトランジスタ１０７を備えている。

光電変換部１０１は、入射光を信号電荷に変換して蓄積する光電変換部ＰＤ（フォトダイオード）である。転送トランジスタ１０２は、光電変換部１０１に蓄積された信号電荷を電荷蓄積部１０３（ＦＤ）に転送するための転送部およびゲート部として機能するトランジスタである。（転送パルスを印加するための信号線φＴＲｉに接続されている。）

電荷蓄積部１０３は、光電変換部１０１から転送トランジスタ１０２によって転送された信号電荷を一時的に保持する。ＦＤリセットトランジスタ１０４は、電荷蓄積部１０３内の信号電荷および増幅トランジスタ１０５の入力部をリセットする第２リセット部として機能するトランジスタである。（ＦＤリセットパルスを印加するための信号線φＲＭｉに接続されている。）

なお、上述した転送トランジスタ１０２への転送パルスの印加と、ＦＤリセットトランジスタ１０４へのＦＤリセットパルスの印加とを同時に行えば、電荷蓄積部１０３（ＦＤ）をリセットすることができるだけでなく、同時にさらに光電変換部１０１（ＰＤ）をリセットすることができる。従って、転送トランジスタ１０２およびＦＤリセットトランジスタ１０４の組み合わせは、光電変換部１０１（ＰＤ）に対する第１リセット部としても機能するものとなっている。

増幅トランジスタ１０５は、増幅部として機能する増幅用トランジスタであり、電荷蓄積部１０３の電圧レベルを増幅し、画素信号として出力するためのトランジスタである。選択トランジスタ１０６は、信号電荷を読み出す画素として画素１００が選択された場合に垂直信号線１１４へ画素信号を出力するための選択用トランジスタである。（選択パルスを印加するための信号線φＳＥｉに接続されている。）

ＰＤリセットトランジスタ１０７は、光電変換部１０１内の信号電荷をリセットする第１リセット部として機能するトランジスタである。（電流源ＶＤＤに接続されると共に、ＰＤリセットパルスを印加するための信号線φＲＰＤｉに接続されている。）ここで、光電変換部１０１以外は遮光されている。

また、画素１００内には、垂直信号線１１４のほか、画素電源線１１０、ＦＤリセット線１１１、転送線１１２、選択線１１３、及びＰＤリセット線１１５が配置されている。画素電源線１１０は、電源電圧ＶＤＤを印加するための信号線であり、増幅トランジスタ１０５のドレイン側、ＰＤリセットトランジスタ１０７のドレイン側、及びＦＤリセットトランジスタ１０４のドレイン側に電気的に接続されている。ＦＤリセット線１１１は、１行分の電荷蓄積部１０３をリセットするためのＦＤリセットパルスφＲＭｉ（ｉ＝１〜ｍ、ｍは行数）を印加するための信号線であり、１行分のＦＤリセットトランジスタ１０４のゲートに接続されている。

転送線１１２は、１行分の画素１００の信号電荷をそれぞれの画素１００の電荷蓄積部１０３に転送するための行転送パルスφＴＲｉ（ｉ＝１〜ｍ）を印加するための信号線であり、１行分の画素１００の転送トランジスタ１０２のゲートに電気的に接続されている。選択線１１３は、画素信号を読み出す１行分の画素１００を選択するための行選択パルスφＳＥｉ（ｉ＝１〜ｍ）を印加するための信号線であり、１行分の画素１００の選択トランジスタ１０６のゲートに電気的に接続されている。このように５個のトランジスタを用いた画素構成により、光電変換機能、リセット機能、増幅読出し機能、一時メモリ機能、及び選択機能が実現される。

次に、一般的なグローバルシャッタにより動作する撮像部１２の撮像動作について説明する。図３は、一般的なグローバルシャッタにより動作する撮像部１２の撮像動作のタイミングを示すタイミングチャートである。ＶＤ（垂直同期信号）は、同期を取るための信号である。図示する例では、ＶＤは高い値と低い値との２種類の値のいずれかの値を持つ信号であり、この信号に基づいて露光と読み出しとの同期を取っている。露光は、静止画像を撮像するために画素部が露光するタイミングを示している。読出しは、リセットデータを読み出すタイミング（リセットデータ読出）と、画像データを読み出すタイミング（画像データ読出）とを示している。ＲＥＡＤＰＯＩＮＴＥＲ ＲＥＳＥＴＰＯＩＮＴＥＲは、リセットデータおよび画像データを電荷蓄積部１０３から読み出すタイミング（直線３０１，３０２）と、光電変換部１０１のリセットタイミング（破線３０３）と、光電変換部１０１から電荷蓄積部１０３に信号電荷を転送するタイミング（直線３０４）とを示している。

撮像部１２は、グローバルシャッタ動作による露光を行う前に、まず、リセットデータ読出期間において、電荷蓄積部１０３のリセットおよびリセットノイズの読み出しを行う。このような動作を、２次元状に画素１００が配置された撮像素子の場合には、画素部に含まれる第１行目の画素１００から第ｎ行目（最終行目）の画素１００へ向かって順次行うことにより、全画素１００のリセットノイズを読み出す（直線３０１）。リセットノイズを読み出す期間をリセットデータ読出期間とする。

続いて、撮像部１２は、画素部に含まれる全ラインの全画素１００の露光を同時に開始し、所定の露光期間が経過したところで、全画素１００の露光を同時に終了させる。そして、撮像部１２は、第１行目（スタート行）の画素１００から第ｎ行目（最終行）の画素１００までのデータの読み出しを行う（直線３０２）。この期間を画像データ読み出し期間とする。

ＣＭＯＳ型撮像素子においては、ここで読み出されたリセットノイズを記憶しておき、後に読み出しを行う信号電荷より差し引くような動作を行う構成であってもよい。また、露光タイミングは、図示するようにリセットデータ読出期間と画像データ読出期間の間ではなく、リセットデータ読出期間よりも前のタイミングであってもよい。

次に、カメラ制御用（ライブビュー）画像データの取得を行っている最中に、一般的なグローバルシャッタにより静止画像を撮像するときの撮像部１２の撮像動作について説明する。図４は、カメラ制御用（ライブビュー）画像データの取得を行っている最中に、一般的なグローバルシャッタにより静止画像を撮像するときの撮像部１２の撮像動作のタイミングを示すタイミングチャートである。

図には、ＶＤと、露光と、読出と、ＲＥＡＤＰＯＩＮＴＥＲ ＲＥＳＥＴＰＯＩＮＴＥＲと、カメラ制御用データ（ＬＶ表示）とが示されている。ＶＤと、露光とが示す内容は前述したとおりである。読出は、カメラ制御用画像データ（ＬＶ表示）を読み出すタイミング（Ａ〜Ｉ）と、リセットデータを読み出すタイミング（リセットデータ読出）と、画像データを読み出すタイミング（画像データ読出α）とを示している。

ＲＥＡＤＰＯＩＮＴＥＲ ＲＥＳＥＴＰＯＩＮＴＥＲは、カメラ制御用画像データ（ＬＶ表示）を電荷蓄積部１０３から読み出すタイミング（破線４０１〜４０９）と、リセットデータおよび画像データを電荷蓄積部１０３から読み出すタイミング（直線４１０，４１１）と、光電変換部１０１のリセットタイミング（破線４１２）と、光電変換部１０１から電荷蓄積部１０３に信号電荷を転送するタイミング（直線４１３）とを示している。カメラ制御用データ（ＬＶ表示）は、表示部２１が表示するライブビュー画像（Ａ〜Ｉ，α）を示している。

撮像部１２は、高精細な静止画像を全て読み出す場合には、例えば６２．５ｍｓ（１６ｆｐｓ）の時間を要するが、カメラ制御（ライブビュー）用に間引きまたは切り出しなどある領域のみの画像データを読み出しするだけであるならば、例えば約８．３３ｍｓ（１２０ｆｐｓ）と高速に読み出すことが可能である。前者の場合には、撮像部１２は、１秒間に１６枚の画像データを読み出すのがせいぜいであるが、後者の場合には１秒間に１２０枚の画像データを読み出すことができる。

従って、撮像部１２は、カメラ制御用画像データを取得しているときには、レリーズボタンの押圧（ここでは、２段目の押圧）があるまでは、例えば毎秒１２０フレームで画像データを取得（図中の点線）して画像処理部１３に送る。このときには、図示するように、撮像部１２は、あるフレームにおいて画像データを取得すると、この画像データを次のフレームおいて処理を行う。この動作を行っている最中にレリーズボタンの押圧があると、図に示すような場合、つまり撮像部１２を一般的なグローバルシャッタにより静止画像を撮像する場合には、カメラ制御用画像データの取り込みが中止されて、図３に示したような撮像動作が行われる。

この静止画像の撮像動作を行っている最中は、ライブビュー用の画像データが取得されないために、図４に示すように最後に取り込んだカメラ制御用画像データＦを用いてカメラ制御を行う。なお、最後に取り込んだカメラ制御用画像データＦを用いて処理しても結果が変化しない為、撮像動作中は所定の処理を行わず、前回処理した結果を用いても構わない。

そして、図３に示したような静止画像の撮像動作が終了したところで、撮像部１２は、再びカメラ制御用画像データを取得し、取得したカメラ制御用画像データを次のフレームの処理に用いる。なお、この図４に示す例においては、カメラ制御用画像データが更新されない期間を１フレームでも少なくするために、直線４１１で示す静止画像の撮像動作（画像データ読出）が終了した次のフレームにおいて、静止画像からカメラ制御用画像データαを生成して、カメラ制御に用いる例を示している。

次に、静止画像を撮像している間にカメラ制御用画像データを取得する際の撮像部１２の撮像動作について説明する。図５は、本実施形態において、撮像装置１の撮像部１２が、静止画を撮像している間にカメラ制御用画像データを取得する際の動作タイミングを示すタイミングチャートである。図には、露光と、読出と、ＲＥＡＤＰＯＩＮＴＥＲ ＲＥＳＥＴＰＯＩＮＴＥＲと、カメラ制御用データ（ＬＶ表示）と、レリーズとが示されている。レリーズは、レリーズボタンが押されたタイミングを示している。

撮像部１２を図４に示したようなタイミングで駆動させた場合には、レリーズボタンが押されてから静止画像の撮像動作が終了するまでの間は、静止画像もＡＥやＡＦなどに用いるカメラ制御用画像データも更新されないことになる。これに対して、図５に示すタイミングで撮像部１２を駆動させる場合には、レリーズボタンが押されてから撮像動作が終了するまでの間においても、カメラ制御用画像データを取得するようにしたものとなっている。

図５に示す撮像部１２の動作は、レリーズボタンが押されるまでは図４に示した動作と同じである。そして、レリーズボタンが押されたところで、リセットデータの読み出しが開始されるが、撮像部１２は、幾つかのラインのリセットデータの読み出しを行ったところで、カメラ制御用画像データを取得する動作を行う。具体的には、読出制御部１５０は、第１読出部１２１がリセットデータ（信号電荷）の読み出しを終了するまでに、第２読出部１２２が１回以上カメラ制御用画像データを取得するように制御する。このとき、第２読出部１２２が２回以上カメラ制御用画像データを取得する場合には、間にリセットデータの読み出しを挟みながら行う。

上述したようにリセットデータの読み出しが完了した後、露光動作が開始され、図４に示した動作と同様に露光期間が終了する。

続いて、画像データ読出期間が開始され撮像部１２は画像データ（信号電荷）を読み出すが、このときには、読出制御部１５０は、撮像部１２の第１読出部１２１が、最初にカメラ制御用画像データを取得するのに用いる各ラインの信号電荷の読み出しを行い、その後にそれ以外のラインの信号電荷の読み出しを行うように制御する。そして、読出制御部１５０は、カメラ制御用画像データを取得するのに用いる各ラインの信号電荷の読み出しが第１読出部１２１によって完了した後の適宜の時点（画像データ読出期間内の適宜の時点）で、第２読出部１２２が１回以上カメラ制御用画像データ（画素データ）を取得するように制御する。このとき、第２読出部１２２が２回以上カメラ制御用画像データを取得する場合には、間に画像データの読み出しを挟みながら行う。

このとき、撮像制御部１５の第１読出順序選択部１５１は、第１読出部１２１が信号電荷を読み出す画素領域の順序を選択する。また、撮像制御部１５の第２信号電荷読出部１５２は、第２読出部１２２がカメラ制御用画像データを読み出す画素領域の順序を選択する。

具体的には、第１読出順序選択部１５１は、第１読出部１２１が信号電荷を読み出す画素領域の順を選択し、第２読出順序選択部１５２は、第１読出部１２１が読み出した画素領域の中から第２読出部１２２が画素データを読み出すように、第２読出部１２２が画素データを読み出す画素領域の順を選択する。または、第２読出順序選択部１５２は、第２読出部１２２が画素データを読み出す画素領域の順を選択し、第１読出順序選択部１５１は、第２読出部１２２が画素データを読み出す前に当該画素が含まれる画素領域の信号電荷を読み出すように、第１読出部１２１が信号電荷を読み出す画素領域の順を選択する。

例えば、カメラ制御用画像データをオートフォーカス制御に用いる場合において、ユーザによる指定または画像認識部１３３や認識位置予測部１３４による被写体の認識により、中央部に焦点を合わせたい場合には、第２読出順序選択部１５２は、第２読出部１２２が画素部のうち中央部の画素領域の画素データを読み出すように、第２読出部１２２が画素データを読み出す画素領域の順を選択する。そして、第２読出部１２２の画素領域の順序が選択できるように第１読出順序選択部１５１は第１読出部１２１の画素領域の順序を選択する。

本実施形態の撮像部１２は、グローバルシャッタにより静止画像を撮像するときに、画素１００の光電変換部１０１が蓄積した信号電荷を電荷蓄積部１０３に転送する。そして、電荷蓄積部１０３は、転送された信号電荷を蓄積する。その後、第１読出部１２１は、電荷蓄積部１０３に蓄積されている信号電荷を順に読み出す。第１読出部１２１に信号電荷を読み出された画素１００は、他の画素１００の信号電荷が読み出される前に新たに露光されても、既に静止画像の信号電荷は読み出されているため撮像部１２が撮像する静止画像には影響を及ぼすことがない。そのため、撮像部１２が静止画像の撮影中（リセットデータ読み出し中または画像データ読み出し中）であっても、撮像制御部１５は、第１読出部１２１に静止画像の信号電荷を読み出された画素１００を新たに露光させて、第２読出部１２２が制御用画像データ（画素データ）を読み出すように制御する。これにより、撮像装置１は、静止画像を取得している間においても、カメラ制御用画像データやライブビュー表示用画像データを取得することができるので、静止画像を撮像する際にカメラ制御用のデータを取得することができない期間をより短くすることができる。

例えば、撮像部１２が静止画像を撮像している間（第１読出部１２１が信号電荷を読み出している間）に、ＡＦ評価値演算部１４は、第２読出部１２２が読み出した制御用画像データに基づいてオートフォーカスパラメータを演算し、ＡＦ制御部１８は、このオートフォーカスパラメータに基づいてレンズ１１のオートフォーカス制御を行う。これにより、撮像装置１は、静止画像を撮像している間にもオートフォーカス制御を行うことができる。

撮像装置１は上述した処理を行い、撮像部１２は画像データ読出期間が終了したところで図４に示した例と同様に再び通常のカメラ制御用画像データの取得を行う。このような処理により、本実施形態の撮像装置１は、静止画像を撮像している間にカメラ制御用画像データを取得する。

次に、第１読出部１２１および第２読出部１２２に信号電荷を読み出される画素領域の一例について説明する。図６は、本実施形態において、第１読出部１２１および第２読出部１２２に信号電荷を読み出される画素領域の一例を示した図である。

図示する例では、撮像部１２が備える画素部の全ライン数（行数）は、０ライン（ｌｉｎｅ）から２９９９ラインまでの３０００ラインとなっている。また、図６（１）には、全ライン（０ラインから２９９９ライン）を静止画像の画像データとして読み出す際に、領域を０ラインから９９９ライン（領域Ａ）、１０００ラインから１９９９ライン（領域Ｂ）、２０００ラインから２９９９ライン（領域Ｃ）の３分割にした例が示されている。また、図６（２）には、カメラ制御用画像データとして読み出す画素領域を、領域Ａに含まれる画素領域である領域ａとして示している。

ここで領域Ａは、図５中の読み出しタイミングＡ−１，Ａ−２時の読み出し領域を示している。また、領域Ｂは、図５中の読み出しタイミングＢ−１，Ｂ−２時の読み出し領域を示している。また、領域Ｃは、図５中の読み出しタイミングＣ−１，Ｃ−２時の読み出し領域を示している。また領域ａは、図５中の読み出しタイミングａ−１〜ａ−４（読み出しフレームＧ〜Ｊ）時の読み出し領域を示している。領域ａは、領域Ａの読み出しが完了しているので、その後いつでも読み出し可能である。

なお、図６（２）に示した例では、カメラ制御用画像データとして第２読出部１２２が読み出す画素領域を、領域Ａ（読み出し完了した領域）の一部である領域ａとした場合の例を示しているが、領域Ａ全部としても構わない。もちろん読み出しラインが多くなると、静止画像の読み出しのように当然読み出し時間がかかってしまうので、カメラ制御用画像データとして用いる必要ラインのみを読み出すことが望ましい。さらに、図６（２）に示した例では、連続したラインを１つの画素領域とした例となっているが、連続したラインを読み出すのではなく、間引き機能や加算（平均）機能の読み出しを用いて読み出しデータ量を削減しても良い。

次に、撮像装置１の撮像部１２が静止画像を撮像している間にカメラ制御用画像データを取得する際の動作タイミングの詳細について説明する。図７は、本実施形態において、撮像装置１の撮像部１２が静止画像を撮像している間にカメラ制御用画像データを取得する際の詳細な動作タイミングを示したタイミングチャートである。図には、ＶＤと、露光と、読出しと、ＲＥＡＤＰＯＩＮＴＥＲ ＲＥＳＥＴＰＯＩＮＴＥＲと、具体例として読出画像イメージとが示されている。

読出しとして、静止画像の信号電荷を読み出すタイミングを示す静止画用と、カメラ制御用画像データを読み出すタイミングを示すカメラ制御用とが示されている。具体例として、静止画像の信号電荷を読み出した領域を示す静止画読出イメージと、カメラ制御用画像データを読み出した領域を示すカメラ制御用読出イメージとが示されている。

なお、ＲＥＳＥＴＰＯＩＮＴＥＲとして示されている破線ｃ´−１〜５は、カメラ制御用画像データを取得するために光電変換部１０１をリセットするタイミングを示している。また、ＲＥＡＤＰＯＩＮＴＥＲとして示されている直線ｃ−１〜５は、カメラ制御用画像データを読み出すタイミングを示している。従って、光電変換部１０１がカメラ制御用画像データを取得するために露光する時間は、破線ｃ´−１から直線ｃ−１の間と、破線ｃ´−２から直線ｃ−２の間と、破線ｃ´−３から直線ｃ−３の間と、破線ｃ´−４から直線ｃ−４の間と、破線ｃ´−５から直線ｃ−５の間とである。

図示する例では、図５に示した例とは異なり、画像データ読み出し期間を５分割した場合の例を示している。読み出し期間の分割は、所望のカメラ制御用信号により任意に変更することが可能である。また、露光動作後からのタイミングを図示しているが、リセットデータ読み出しとカメラ制御用画像データ読み出しとの関係と、画像データ読み出しとカメラ制御用画像データ読み出しとの関係とは、ほぼ同じである為省略してある。

露光期間を経た後に、静止画データ読み出し期間が開始される。最初に、撮像部１２は、カメラ制御用画像データとして用いる領域を含む、領域Ｃの静止画像の画素信号の読み出しを行う（静止画明信号読出a）。この読み出しが完了した時点以降は、露光期間後のカメラ制御用画像データｃの読み出しは静止画信号読み出し期間内であっても可能となり、カメラ制御用画像データｃ−１が読み出される（第２露光読出ａ）。第２露光読出の際の露光開始タイミングは点線で示している。カメラ制御用画像データの露光時間は、各行毎に前記点線から第２露光読出までの期間となる。第２露光読出のタイミングは実線で示している。

ここで、撮像部１２が読み出す領域ｃは、例えばＡＦ制御の為のカメラ制御用画像データを含む注目領域であって、画面の中央部分で領域Ｃの領域を包括した領域であれば良い。その注目領域は、ユーザーインタフェース（ＵＩ）によって、例えば、表示部２１の画面内に表示されたＡＦエリア枠を使って撮影者が撮影時に任意に決めたＡＦエリアであったり、ＡＦ評価値演算部１４や第２画像処理部１３２にて演算処理され、その演算結果より決定された自動合焦エリアであったりする。図示する例では、読み出し領域は、中央部帯状の例を示しているが、中央部の１箇所に設定してもよいし、中央部に限定することはなく、複数の領域であっても良い。

同様に、静止画明信号読出ｂにおいても、次にカメラ制御用画像データとして読み出したい領域を含む領域の画像データの読み出しをあらかじめ行えばよい。なお、図示する例では、領域ｃのみが注目領域である為、その後の読み出し順序は規定しなくても良く、５分割された静止画明信号読出ａ〜ｅの期間で読み出したい画像データの全てを読めばよい。図示する例では、領域Ｃの周辺領域である領域Ｂ、領域Ｄの順に読み出し、その後領域Ｅ、領域Ａの順に読み出している。

読み出したライブビュー表示用画像データを表示部２１に表示する場合においては、第２画像処理部１３２にて、表示部２１の画素数にあわせて拡大などの画像処理を施し表示を行う。さらに、画像データの読み出し期間の最後（静止画明信号読出ｅ）の終了した後のカメラ制御用画像データｅは、カメラ制御用画像データの他にＬＶ用に間引かれた全体画像の読み出しが行える様に切り替えて制御しても良い。これにより、静止画像の撮像が終了（静止画明信号読出ｅ）した後に、静止画全体像のライブビュー表示を行うことができる。

次に、ライブビュー表示に使用するために読み出されるラインの例について説明する。図８は、本実施形態において、ライブビュー表示に使用するために読み出されるラインの例を示す図である。図示する例においては、撮像部１２が備える画素部の全ライン数（行数）は、０ラインから２９９９ラインまでの３０００ラインとなっている。そして、これらの全ラインから、５ラインに１ラインの割合（５分割）でライブビュー用画素データの読み出しが行われる例が示されている。図示する例では、ライブビュー用画素データを読み出すラインとして５Ｎラインを選択しているが、読み出しラインは、５Ｎラインと、（５Ｎ＋１）ラインと、（５Ｎ＋２）ラインと、（５Ｎ＋３）ラインと、（５Ｎ＋４）ライン（Ｎは０以上の整数）とのいずれかを選択して読み出すようにしてもよい。

なお、ライブビュー表示用画像データとしてカメラ制御用画像データを読み出す際には、上記のように５分割して読み出しを行うが、ＡＦやＡＥ用としてカメラ制御用画像データとして読み出す際には、５分割の一つ全部（図では６００ライン）を読み出すのではなく、ある領域だけ読み出しても良い。例えば、６００ラインのうち中心の４００ラインのみを読み出す場合、より高速に次の読み出し動作に移行することが出来る。また、撮像素子が単板カラー撮像素子である場合には、例えばベイヤー配列のカラーフィルターを備えている。この場合、偶数ラインと奇数ラインで交互にＧ（緑色）とＲ（赤色）のカラーフィルター、またはＧ（緑色）とＢ（青色）のカラーフィルターとなっている為、偶数分割した場合においては、ＧとＲのみ、またはＧとＢのみのライブビュー表示用画像データとなってしまう。したがって、読み出しの際には、ＲＧＢの全ての色成分が得られ、画像処理部１３で所望の画像が得られる様に、読み出しラインの選択位置を微調整するなどした方が望ましい。

次に、静止画像を撮像している間にライブビュー表示用画像データを取得する際の撮像部１２の撮像動作について説明する。図９は、本実施形態において、撮像装置１の撮像部１２が、静止画を撮像している間にライブビュー表示用画像データを取得する際の動作タイミングを示すタイミングチャートである。図には、ＶＤと、露光と、読出しと、ＲＥＡＤＰＯＩＮＴＥＲ ＲＥＳＥＴＰＯＩＮＴＥＲと、具体例として読出画像イメージとが示されている。

図示する例は、図７に示したタイミングチャートと同様に露光動作後からのタイミングを示している。図示する例において、露光期間を経た後に、静止画データ読み出し期間が開始される。すると最初に、第２露光読出ａの読み出しを開始する期間に、露光期間後の第２露光読出ａで読み出すラインの静止画像の信号電荷の読み出しを行う（静止画明信号読出ａ）。この読み出しが完了した時点以降は、露光期間後のライブビュー表示用画像データの読み出しが静止画信号読み出し期間内であっても可能となり、第２露光読出ａでライブビュー表示用画像データを読み出すことが可能となる。同様に、静止画明信号読出ｂにおいて、露光期間後の静止画読出が完了したラインであれば次の第２露光読出が可能となるため、読み出したいラインの静止画像の信号電荷の読み出しをあらかじめ行えばよい。

図示する例では、第２読出順序選択部１５２の選択により、ライブビュー表示用画像データとして、第２露光読出ａで第２読出部１２２が（５Ｎ）ラインを読み出すように読出制御部１５０は制御する。すなわち、第２読出順序選択部１５２は、画素領域内の行を間引いて画素データを読み出すが、ライブビュー表示用画像データが静止画像の画角と同一の画角となるように、第２読出部１２２が画素データを読み出す画素領域の順を選択する。そのため、第１読出順序選択部１５１は、静止画明信号読出ａにおいて、読出制御部１５０の制御により第１読出部１２１が（５Ｎ）ラインの読み出しを行うように画素領域の順を選択する。

次に、撮像部１２は、ライブビュー表示用画像データの読み出し（第２露光読出ｂ）を行い、ライブビュー表示を行う為のデータを取得する。ここでは、すべて（５Ｎ）ラインを用いてライブビュー表示する例を示しているが、（５Ｎ＋１）ラインや、（５Ｎ＋２）ラインや、（５Ｎ＋３）ラインや、（５Ｎ＋４）ラインをライブビュー表示に用いても良い。また、（５Ｎ）ラインのみライブビュー表示に用いる場合は、その後の静止画明信号読出ｂ〜ｅでは読み出し順序は規定しなくても良く、静止画明信号読出ｂ〜ｅ期間で読み出したい画像データの全てを読めばよい。この例では、（５Ｎ＋１）ライン、（５Ｎ＋２）ライン、（５Ｎ＋３）ライン、（５Ｎ＋４）ラインの順に読み出している。

なお、図７と図９においては画像データ読出期間のみにおいてカメラ制御用画像データを読み出しているが、リセットデータ読出期間および画像データ読出期間の両方かまたは一方のみにおいて、カメラ制御用画像データを読み出しようにすることももちろん可能である。すなわち、リセットデータ読出期間と画像データ読出期間との少なくとも一方の期間内において、カメラ制御用画像データを読み出すことが可能となっている。特に、連写モード時には、１枚の画像撮影が終了したとしても次の画像撮影を行うために、ＡＦ用のデータやＡＥ用のデータを取得でき、かつ撮影者が被写体を確認できることが望ましい。

また、ライブビュー表示用画像データは、表示部２１にライブビュー表示するために用いられるだけでなく、さらにＡＦ用のデータやＡＥ用のデータとしても用いることも出来るために、連写時には、カメラ制御またはライブビューに用いる領域に応じて、静止画像データ読み出しを制御する。

これにより、連写による撮影を行う際にカメラ制御用画像データによりＡＦやＡＥ処理を行いつつ、ライブビューの表示が更新されないまたはブラックアウトする時間を短縮する為にライブビュー表示用画像データを取得し、被写体が移動する被写体であったとしても、撮影者がその被写体を撮影範囲内に収めるように撮像装置１の撮影方向を変更することが容易となる。

また、第２読出順序選択部１５２は、次に静止画像を撮影するために用いるカメラ制御用画像データを第２読出部１２２が読み出すように、画素データを読み出す画素領域の順を選択するようにしてもよい。これにより、さらに、連写時に撮影される各画像が、ＡＦ追従に基づくより高い精度で合焦した画像、ＡＥ追従に基づくより適正な露光の画像となることが可能となる。また、このカメラ制御用画像データを用いて、画像認識部１３３や認識位置予測部１３４が被写体の位置を認識するようにしてもよい。そして、例えば被写体が中央に位置しており、中央部に焦点を合わせたい場合には、第２読出順序選択部１５２は、第２読出部１２２が画素部のうち中央部の画素領域の画素データを読み出すように、第２読出部１２２が画素データを読み出す画素領域の順を選択するようにしてもよい。

撮像制御部１５の第１読出順序選択部１５１と第２読出順序選択部１５２とは、所望するカメラ動作に応じて、静止画読出の画素領域の読み出し順序を選択する。例えば、撮像制御部１５の第１読出順序選択部１５１と第２読出順序選択部１５２とは、図７のようにカメラ制御用画像データとして、注目領域の周辺から読み出したり、図９のようにライブビュー表示用画像データとして、間引き表示や拡大表示を行うための領域から読み出したり、また、それらを切り替えながら読み出すように制御を行う。

一方、単写モード時には通常のＡＦ動作やＡＥ動作を行えば足りるために、図４に示した一般的なグローバルシャッタによる制御により撮像部１２を駆動するようにして、レリーズボタンが押圧されてからメモリーカード２２への記録が終了するまでの時間を短縮するようにしてもよい。

さらに、ノイズ性能向上の為にリセットデータの読み出し終了時点から画像データの読み出し開始時点までの時間（図４中の点線４１２〜直線４１３の期間）が、各ラインについて、基本的に（タイミングに応じて、幾つかの例外は生じるかもしれないが）同一となるような読み出し順序とすれば、暗電流に起因するノイズ量を（上述したように、多少の例外を除いて）何れのラインについても同一とすることが可能となる。従って、ラインに応じてノイズ量が異なることによる画質の劣化を未然に防止することが可能となる。

次に、カメラ制御用画像データの読み出し順を、被写体の自動認識結果に応じて可変とする例について説明する。図１０は、本実施形態において、撮像装置１の撮像部１２が、静止画を撮像している間に、被写体の自動認識結果に応じてカメラ制御用画像データを取得する順を可変とする際の動作タイミングを示すタイミングチャートである。図には、ＶＤと、露光と、読出しと、ＲＥＡＤＰＯＩＮＴＥＲ ＲＥＳＥＴＰＯＩＮＴＥＲと、具体例として読出画像イメージとが示されている。

図７に示した例ではカメラ制御用読出領域（注目領域）が全て領域Ｃである例を示したが、図１０に示す例では、被写体の移動に合わせて、カメラ制御用画像データを読み出す領域を領域ａ、領域ａ、領域ｂ、領域ｃ、領域ｃと可変している例を示している。この例は、読み出されたカメラ制御用画像データを用いて第２画像処理部１３２が画像を生成し、この画像に基づいて画像認識部１３３が被写体の位置を認識し、その位置情報より自動合焦エリアを決定する。そして、第２読出順序選択部１５２がカメラ制御用画像データを読み出す領域を選択する。すなわち、第２読出順序選択部１５２は、被写体が位置する領域のカメラ制御用画像データを読み出すように第２読出部１２２が読み出す画素領域の順を選択する。なお、被写体の位置を認識する方法は、例えば、動体を追尾するＡＦ追尾方式を用いる。

まず、ＡＦ評価値演算部１４の計算結果と画像認識部１３３の位置情報より被写体位置が領域Ａであると認識される。第２読出順序選択部１５２は、カメラ制御用画像データを読み出す領域を領域ａと選択する。第１読出順序選択部１５１は、第２読出順序選択部１５２が選択した領域ａに応じて、静止画像を読み出す領域を領域Ａと選択する。これにより、撮像部１２は、領域Ａの信号電荷の読み出しを開始する。次に、撮像部１２は、カメラ制御用画像データとして領域ａの画像データを読み出し、第２画像処理部１３２に入力する。第２画像処理部１３２は、入力された画像データに基づいて画像を生成する。画像認識部１３３は、第２画像処理部１３２が生成した画像に基づいて被写体の位置情報を取得する。また、撮像装置１は、認識位置予測部１３４を備えている為、被写体の移動速度、方向などが考慮された位置情報を得ることができる。これらの位置情報に基づいて、第２読出順序選択部１５２は、次にカメラ制御用画像データを読み出す領域を選択する。

図示する例では、注目被写体が領域Ａから領域Ｂを経て領域Ｃに移動している為、撮像部１２は、カメラ制御用画像データを、領域ａから領域ｂを経て領域ｃと変更しながら読み出している。同時に静止画像の読み出しにおいても、撮像部１２は、最初に静止画明信号読出ａにおいて、領域Ａの読み出しを開始し、露光後のカメラ制御用読出の領域を先に読み出す動作を行っている。このように、撮像装置１は、認識位置予測部１３４が算出した位置情報に応じて次にカメラ制御用画像データを読み出す領域を決定することができ、また、その決定された領域に応じて、静止画読出の領域や読出順序を決定する構成となっている為、ＡＦ追尾方式に対応することが出来る。

上述したとおり、本実施形態では、第１読出順序選択部１５１は、第１読出部１２１が信号電荷を読み出す画素領域の順を選択し、第２読出順序選択部１５２は、第１読出部１２１が読み出した画素領域の中から第２読出部１２２が画素データを読み出すように、第２読出部１２２が画素データを読み出す順を選択する。または、第２読出順序選択部１５２は、第２読出部１２２が画素データを読み出す順を選択し、第１読出順序選択部１５１は、第２読出部１２２が画素データを読み出す前に当該画素が含まれる画素領域の信号電荷を読み出すように、第１読出部１２１が信号電荷を読み出す順を選択する。

そして、第１読出順序選択部１５１が選択した信号電荷を読み出す画素領域の順に従って、読出制御部１５０は、第１読出部１２１が電荷蓄積部１０３に蓄積された信号電荷の内の所定の画素領域の信号電荷を他の画素領域の信号電荷よりも先に読み出し、その後に他の画素領域の信号電荷を読み出すように制御する。また、第２読出順序選択部１５２が選択した画素データを読み出す画素領域の順に従って、読出制御部１５０は、第１読出部１２１が他の画素領域の信号電荷を読み出す時間区間内において、第２読出部１２２が所定の画素領域に含まれる画素データを１回以上読み出すように制御する。

これにより、撮像装置１は、静止画像を取得している間においても、カメラ制御用画像データやライブビュー表示用画像データを取得することができるので、静止画像を撮像する際にカメラ制御用画像データを取得することができない期間をより短くすることができ、カメラ制御用画像データを速やかに取得することができる。また、取得したカメラ制御用画像データを用いて所望のカメラ制御を行うことを可能とする。

以上、この発明の一実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１・・・撮像装置、１１・・・レンズ、１２・・・撮像部、１３・・・画像処理部、１４・・・ＡＦ評価値演算部、１５・・・撮像制御部、１６・・・手振れ検出部、１７・・・手振れ補正部、１８・・・ＡＦ制御部、１９・・・カメラ操作部、２０・・・カメラ制御部、２１・・・表示部、２２・・・メモリーカード、１００・・・画素、１０１・・・光電変換部、１０２・・・転送トランジスタ、１０３・・・電荷蓄積部、１０４・・・ＦＤリセットトランジスタ、１０５・・・増幅トランジスタ、１０６・・・選択トランジスタ、１０７・・・ＰＤリセットトランジスタ、１１０・・・画素電源線、１１１・・・ＦＤリセット線、１１２・・・転送線、１１３・・・選択線、１１４・・・垂直信号線、１１５・・・ＰＤリセット線、１２１・・・第１読出部、１２２・・・第２読出部、１３１・・・第１画像処理部、１３２・・・第２画像処理部、１３３・・・画像認識部、１３４・・・認識位置予測部、１５０・・・読出制御部、１５１・・・第１読出順序選択部、１５２・・・第２読出順序選択部

Claims (8)

1. 入射光量に応じた信号電荷を発生させる光電変換部と前記光電変換部が発生した信号電荷を蓄積する電荷蓄積部とを有した画素を２次元状に複数配列した画素部を有し、前記画素部の所定領域の画素全体の露光開始タイミング及び露光期間を同一とするグローバルシャッタ動作を行う固体撮像素子と、
   前記電荷蓄積部に蓄積された信号電荷の内の所定の画素領域の信号電荷を他の画素領域の信号電荷よりも先に読み出し、その後に該他の画素領域の信号電荷を読み出す第１信号電荷読出部と、
   前記第１信号電荷読出部により前記他の画素領域の信号電荷を読み出す時間区間内において、前記所定の画素領域に含まれる制御用に使用される信号電荷である画素データを１回以上読み出す第２信号電荷読出部と、
   前記第１信号電荷読出部が信号電荷を読み出す画素領域の順を選択し、前記第１信号電荷読出部が前記信号電荷を読み出した画素領域の中から前記第２信号電荷読出部が前記画素データを読み出すように、前記第２信号電荷読出部が前記画素データを読み出す画素領域の順を選択する、または、前記第２信号電荷読出部が前記画素データを読み出す画素領域の順を選択し、前記第２信号電荷読出部が前記画素データを読み出す前に当該画素が含まれる前記画素領域の信号電荷を読み出すように、前記第１信号電荷読出部が前記信号電荷を読み出す画素領域の順を選択する選択部と、
   を備えたことを特徴とする撮像装置。
2. 前記第２信号電荷読出部が読み出した画素データに基づいて、オートフォーカスパラメータを算出するオートフォーカス評価値演算部と、
   前記第１信号電荷読出部が前記信号電荷を読み出している期間中に前記オートフォーカス評価値演算部の計算結果に基づいてオートフォーカス制御を行うオートフォーカス制御部と、
   を備え、
   前記選択部は、前記オートフォーカス制御に用いる前記画素データを前記第２信号電荷読出部が読み出すように、前記第２信号電荷読出部が前記画素データを読み出す画素領域の順を選択する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記第２信号電荷読出部が読み出した前記画素データを用いて被写体の画像認識を行う画像認識部
   を備え、
   前記選択部は、前記画像認識部が認識した前記被写体が含まれる前記画素データを前記第２信号電荷読出部が読み出すように、次に前記第２信号電荷読出部が前記画素データを読み出す画素領域の順を選択する
   ことを特徴とする請求項２に記載の撮像装置。
4. ユーザによってオートフォーカスを行う位置の指定を受け付けるオートフォーカス位置指定部
   を備え、
   前記選択部は、前記オートフォーカス位置指定部が受け付けた前記オートフォーカスを行う位置の前記画素データを前記第２信号電荷読出部が読み出すように、前記第２信号電荷読出部が前記画素データを読み出す画素領域の順を選択する
   ことを特徴とする請求項２に記載の撮像装置。
5. 前記選択部は、前記第１信号電荷読出部が全ての画素領域の前記信号電荷の読み出しを終了したときに、次画像撮影のためのカメラ制御を行うための前記画素データを前記第２信号電荷読出部が読み出すように、前記第２信号電荷読出部が前記画素データを読み出す画素領域の順を選択する
   ことを特徴とする請求項１から請求項４のいずれか１項に記載の撮像装置。
6. 前記第２信号電荷読出部が読み出した前記画素データに基づいて表示用画像データを生成する画像処理部
   を備え、
   前記選択部は、前記表示用画像データを必要とする場合には、画素領域内の行を間引いて読み出すが、前記表示用画像データが形成する表示用画像が静止画画角と同一の画角となるように、前記第２信号電荷読出部が前記画素データを読み出す画素領域の順を選択し、前記オートフォーカス制御部が前記オートフォーカス制御を行う際には前記オートフォーカス制御に用いる前記画素データを前記第２信号電荷読出部が読み出すように、前記第２信号電荷読出部が前記画素データを読み出す画素領域の順を選択する
   ことを特徴とする請求項２から請求項４のいずれか１項に記載の撮像装置。
7. 前記画像認識部は、以前に静止画像を撮像した際に前記第２信号電荷読出部が読み出した前記画素データを用いて前記被写体の画像認識を行い、
   前記選択部は、前記画像認識部が認識した前記被写体が含まれる前記画素データを前記第２信号電荷読出部が読み出すように、次に前記第２信号電荷読出部が前記画素データを読み出す画素領域の順を選択する
   ことを特徴とする請求項３に記載の撮像装置。
8. 前記画像認識部は、前記第２信号電荷読出部が読み出した前記画素データを用いて被写体の移動位置を予測し、
   前記選択部は、前記画像認識部が予測した前記被写体の移動位置が含まれる前記画素データを前記第２信号電荷読出部が読み出すように、前記第２信号電荷読出部が前記画素データを読み出す画素領域の順を選択する
   ことを特徴とする請求項３に記載の撮像装置。

Images