JP2015094854A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】連写撮像を行う場合における、ＡＦ性能を向上させる。
【解決手段】本発明は、撮像素子の出力に基づき撮像素子から被写体までの距離に関する情報を算出する位相差検出部と、その出力を基に光学系の合焦制御を行う合焦制御部と、撮像素子の動作制御を行う撮像制御部とを備えた撮像装置の制御方法であって、撮像素子により取得された合焦用画像を基に位相差検出部が撮像素子から被写体までの距離に関する情報を算出しこの情報を基に合焦制御部が光学系の合焦制御を行う第一の合焦動作モードと、撮像素子により取得された記録用画像を基に位相差検出部が撮像素子から被写体までの距離に関する情報を算出しこの情報を基に合焦制御部が光学系の合焦制御を行う第二の合焦動作モードとを有し、記録用画像の撮像時間間隔及び合焦用画像の取得のための撮像素子の蓄積時間に基づき第一の合焦動作モード又は第二の合焦動作モードで動作する撮像装置を提供する。
【選択図】図１

Description

本発明は、合焦制御動作を伴い、被写体を連続撮影する撮像装置に関する。

従来から、焦点検出機能と画像取得を撮像素子で実現する技術が知られている。特許文献１では、１つのマイクロレンズに対して複数の光電変換部を備えた撮像素子を有し、射出瞳の異なる領域を通過した光束によって得られる信号を用いて位相差方式の焦点検出を行うと共に、該信号を用いて画像を生成する。これにより、焦点検出と撮像処理とが両立できる。
また、ＡＦ（自動焦点調節）動作に関して、記録用画像とは別にＡＦ動作用の露光を行ってＡＦ用画像を取得しＡＦ処理する場合と、記録用画像のみの露光を行い、記録用画像を使用してＡＦ処理を行う場合がある。

特開２００８−１３４３８９号公報

従来のＡＦ動作において、ＡＦ用画像の露光が可能な場合は、ＡＦ評価に最適な露光条件で画像を取得できるため、ＡＦの性能は向上する。しかし、連続撮影（連写）を行う場合は、ＡＦ評価用の撮像時間を確保する必要があるため、連写性能が低下することがある。一方、記録用画像を使用して処理を行う場合は、ＡＦ評価用の撮像時間を確保する必要がないため、連写性能を向上できるが、取得された画像がＡＦ評価に最適な露光条件では無いため、ＡＦの性能が劣化する可能性がある。
本発明はこのような課題に鑑み、ＡＦ性能を向上させつつ、連写性能の低下も防ぐことが可能な撮像装置を提供することを目的とする。

上記課題を解決するために、本発明の技術的特徴としては、撮像素子の出力に基づいて、前記撮像素子から被写体までの距離に関する情報を算出する位相差検出部と、前記位相差検出部の出力を基に、光学系の合焦制御を行う合焦制御部と、前記撮像素子の動作制御を行う撮像制御部と、を備えた撮像装置の制御方法であって、前記撮像素子により取得された合焦用画像を基に前記位相差検出部が前記撮像素子から被写体までの距離に関する情報を算出し、この算出された距離に関する情報を基に前記合焦制御部が前記光学系の合焦制御を行う第一の合焦動作モードと、前記撮像素子により取得された記録用画像を基に前記位相差検出部が前記撮像素子から被写体までの距離に関する情報を算出し、この算出された距離に関する情報を基に前記合焦制御部が前記光学系の合焦制御を行う第二の合焦動作モードと、を有し、記録用画像の撮像時間間隔及び合焦用画像の取得のための前記撮像素子の蓄積時間に基づき、前記第一の合焦動作モード、又は第二の合焦動作モードで動作することを特徴とする。

本発明では、ＡＦ性能を向上させつつ、連写性能の低下も防ぐことが可能な撮像装置を提供することができる。

第１実施形態の撮像装置の構成を示すブロック図である。 第１実施形態の撮像素子の画素部の上面図と回路構成を表す概略図である。 第１実施形態の撮像素子全体の回路構成を示すブロック図である。 第１実施形態のＡＦ動作制御を示すフローチャートである。 第１実施形態の位相差検出部の構成を示すブロック図である。 第１実施形態の撮像素子の断面図並びに光学系の射出瞳を示す概略図である。 第１実施形態の撮像素子から出力される信号から得られる像を示した概略図である。 第１実施形態の撮像素子駆動判定部の動作を示すフローチャートである。 第２実施形態の撮像装置の構成を示すブロック図である。 第２実施形態の撮像素子駆動判定部の動作を示すフローチャートである。 第３実施形態の撮像装置の構成を示すブロック図である。 第３実施形態の撮像素子駆動判定部の動作を示すフローチャートである。

以下、図面を参照しながら、本発明の実施形態を説明する。

（第１実施形態）
図１は、本発明の第１実施形態の撮像装置のブロック図である。光学系１０１は、フォーカスレンズを含み、さらにはズームレンズ、絞りなどで構成される。光学系駆動部１０２は、後述するＡＦ制御部１０８から出力される光学系駆動情報に応じて、光学系１０１を駆動し、光学系１０１の合焦制御を行う。撮像素子１０３は、被写体像を光電変換により電気信号に変換して、信号を出力する。ゲイン部１０４は、撮像素子駆動判定部１１１からのゲイン値に基づき、撮像素子１０３から読みだされた画像信号にゲイン処理を行い、ゲイン処理された画像信号を出力する。信号演算部１０５は、ゲイン部１０４から出力された画像信号を加算して出力する。カメラ信号処理部１０６は、信号演算部１０５から出力された画像信号に対し、色変換、ホワイトバランス、ガンマ補正などの画像処理、解像度変換処理、画像圧縮処理等を行う。位相差検出部１０７は、ゲイン部１０４から読みだされた画像信号に対し、瞳分割がなされた画像から位相差検出をして焦点検出を行う。ＡＦ制御部１０８は、位相差検出部１０７で生成された被写体までの距離に関する情報に基づいて、光学系１０１の駆動、特に被写体にピントを合わせるのに必要なフォーカスレンズ駆動を行うのに必要な光学系駆動情報を生成する。ＡＥ（自動露光）評価値取得部１０９は、ゲイン部１０４から出力された画像信号に対し、次の撮像の露光時間を決定するためのＡＥ評価値を取得する。ここで、次の撮像の露光時間とは、次の記録用画像の露光時間や、ＡＦ用画像（合焦用画像）の露光時間のことであり、ＡＥ評価値は、例えば画像信号の輝度値のヒストグラムから得られた輝度レベルの分布の情報として出力される。なお、「記録用画像」は、本撮影時に撮像装置又は外部のメモリ（不図示）に記録される被写体の画像であり、「ＡＦ用画像（合焦用画像）」は、ＡＦ制御のために使用される被写体の画像である。ＣＰＵ（中央演算処理装置）１１０は、シャッタスピード、連写間隔（記録用画像の撮像時間間隔）の時間等の制御及び撮像装置の各部を機能させるための制御情報の出力等を行う。撮像素子駆動判定部１１１は、ＣＰＵ１１０からの情報及びＡＥ評価値取得部１０９からの情報により、記録用画像の露光時間、ＡＦ用画像（合焦用画像）の露光時間及びゲインを決定し、その情報を出力する。撮像素子駆動制御部１１２は、撮像素子駆動判定部１１１から出力された撮像素子の駆動情報に従って、撮像素子１０３を駆動する。ここで、ＡＦ制御部１０８及び光学系駆動部１０２を合わせて合焦制御部１１４とも称し、撮像素子駆動判定部１１１及び撮像素子駆動制御部１１２を合わせて撮像制御部１１３とも称する。そうすると、合焦制御部１１４はＡＦ制御部１０８及び光学系駆動部１０２として機能し、撮像制御部１１３は撮像素子駆動判定部１１１及び撮像素子駆動制御部１１２として機能する。

図２及び図３は、本実施形態における撮像素子１０３の構成を示す。本実施形態における撮像素子１０３は、ＸＹアドレス型の走査方法を採る、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサである。

図２は、本実施形態で用いられる撮像素子１０３の画素部２０３の構造の上面図（図２（ａ））と回路図（図２（ｂ））を模式的に示す。撮像素子１０３は、入射光を電荷に変換するフォト・ダイオードに代表される複数の光電変換部を備える。図２は、１つの画素部２０３に２つの光電変換部２０１、２０２を有する撮像素子１０３の例を示し、撮像素子１０３は、２つの光電変換部２０１、２０２に共通で１つのマイクロレンズ２０４を備える。なお、２つに限らず複数の光電変換部に共通で１つのマイクロレンズを備える構造であってもよい。撮像素子１０３上に存在する他の画素部についても、図２に示される位置関係に光電変換部２０１、２０２が存在するとする。ここで、２つの光電変換部２０１、２０２を便宜上、順にＰＤ１、ＰＤ２とも呼ぶ。

図３は、複数の画素部２０３を含む撮像素子１０３の全体構成を示す。図３において、説明を分かり易くするために３行×４列分の画素部２０３から成る構成を示しているが、実際には通常、数十万〜数千万の画素部２０３が配置される。また、各画素部２０３は、Ｒ、Ｇ、Ｂいずれかの色相のカラーフィルタにより覆われていてもよく、例えば、Ｒ、Ｇ、Ｂのカラーフィルタがベイヤー配列に並べられるようにしてもよい。以下、図２（ｂ）と合わせて各ブロックの動作を説明する。

フローティングデフュージョン部（以下、ＦＤ）２０６は、光電変換部２０１、２０２で発生した電荷を一時的に蓄積しておく蓄積領域である。転送スイッチ群２０５１は、転送パルスｐＴＸ１に応じて、光電変換部２０１で発生した電荷をＦＤ２０６に転送する。転送スイッチ群２０５２は、転送パルスｐＴＸ２に応じて、光電変換部２０２で発生した電荷をＦＤ２０６に転送する。リセットスイッチ２０７は、リセットパルスｐＲＥＳに応じて、ＦＤ２０６に蓄積された電荷を除去する。増幅ＭＯＳアンプ２０８は、ソースフォロアアンプとして機能する。転送スイッチ２０５１、２０５２、リセットスイッチ２０７及び選択スイッチ３０２のゲート電極は、行単位でそれぞれｐＴＸ１、ｐＴＸ２、ｐＲＥＳ及び選択パルスｐＳＥＬを供給する信号線にそれぞれ接続され、垂直走査回路３０１によって選択走査される。また、リセットスイッチ２０７及び増幅ＭＯＳアンプ２０８は、電源ライン２０９に接続されている。

定電流源３０４は、増幅ＭＯＳアンプ２０８の負荷となる。画素回路部２１１及び定電流源３０４は、信号出力線２１０を介して列ＡＤ変換回路３０５に列単位で接続される。ＦＤ２０６、増幅ＭＯＳアンプ２０８及び定電流源３０４でフローティングディフュージョンアンプが構成され、選択スイッチ３０２で選択された画素の信号電荷が電圧に変換され、信号出力線２１０を経て列ＡＤ変換回路３０５に出力される。

画素部２０３において、転送パルスｐＴＸ１、ｐＴＸ２、ｐＲＥＳ及びｐＳＥＬの動作タイミングが調整されることで、光電変換部２０１及び２０２で発生した電荷が各々出力され、又はＦＤ２０６に該発生した電荷の両方を蓄積した状態から電荷が出力される。

ＣＰＵ１１０からの制御情報が非加算を指示している場合、転送パルスｐＴＸ１がオンにされ、列ＡＤ変換回路３０５への読み出しが行われる。そして、リセットパルスｐＲＥＳがオンにされＦＤ２０６がリセットされた後に、転送パルスｐＴＸ２がオンにされ、列ＡＤ変換回路３０５への読み出しが行われる。このようにして、順次ＰＤ１、ＰＤ２の信号が列ＡＤ変換回路３０５に出力される。
一方、ＣＰＵ１１０からの制御情報が加算を指示している場合は、転送パルスｐＴＸ１がオンにされた後、転送パルスｐＴＸ２がオンにされ、ＦＤ２０６上で電荷加算が行われる。そして、列ＡＤ変換回路３０５へ読み出しが行われる。このようにして、ＰＤ１及びＰＤ２からの信号がＦＤ２０６上で加算され、加算された信号が列ＡＤ変換回路３０５に出力される。

列ＡＤ変換回路３０５は、画素回路部２１１から出力される電圧信号をデジタルコードに変換する回路である。列ＡＤ変換回路３０５は、一般的には電圧信号とランプ波形をコンパレータで比較し、ランプ波形出力の開始とともにカウンタを回すことで電圧信号とランプ波形が一致したときのカウンタ値をデジタルコードとして変換する構成をもつ。

ラインメモリ３０６は、列ＡＤ変換回路３０５でデジタルコードに変換された画素回路部２１１からの出力をデジタル信号として記憶する。ラインメモリ３０６は２本用意され、ＰＤ１とＰＤ２からのデジタル信号をそれぞれ画像信号Ｌ、画像信号Ｒとして出力する。ラインメモリ３０６の駆動は、水平駆動回路３０７により制御される。ＣＰＵ１１０からの指示情報により加算処理が行われた画素のデータについては、一方のラインメモリのデータ（例えば画像信号Ｌ）に加算された値がセットされ、もう一方のラインメモリのデータ（例えば画像信号Ｒ）は使用されない。

次に、図４及び図５を用いて、ゲイン部１０４から出力された画像信号から、位相差検出を行うフロー及び方法について説明する。

図５は、位相差検出部１０７の構成の一例を示す。判別部５０１は、ゲイン部１０４から出力された画像信号から位相差検出に必要な一対の信号（Ａ像とＢ像）を判別し、記憶部５０４は、判別された該当する画像信号を記憶する。相関演算部５０２は、記憶部５０４に記憶された画像信号に対して相関演算処理を行う。具体的には、各画素部２０３の光電変換部２０１（ＰＤ１）からの情報を集めて生成される像（Ａ像）及び各画素部２０３の光電変換部２０２（ＰＤ２）からの情報を集めて生成される像（Ｂ像）を考える。この２つの像（Ａ像とＢ像）を重ねあわせて差の絶対値の和を求める処理を、重ね合わせ位置をずらしながら行い、最も差の絶対値が小さくなる位置（像の位相差、即ち、像ずれ量）を求める。これを相関演算という。これによりＡ像とＢ像との間の像ずれ量が求まる。そして、像ずれ量に基線長で決まる所定の係数を乗算することでデフォーカス量が求まる。そして、デフォーカス量に基づいてフォーカスレンズの駆動量を決定する。被写体距離情報算出部５０３は、後述するように、相関演算部５０２による演算結果から被写体までの距離を算出する。そして、被写体までの距離に関する情報をＡＦ制御部１０８へ送る。ここで、被写体までの距離に関する情報は、上述の像ずれ量、デフォーカス量、被写体までの距離のいずれかを含む情報である。

次に、図４を参照して、位相差検出部１０７における位相差検出の処理の流れについて説明する。
ステップ４０１では、判別部５０１において、撮像素子１０３から出力される画像信号のうち、各画素部２０３の隣り合う２つの光電変換部２０１、２０２からの水平駆動回路３０７で加算されずに出力された信号をそれぞれ選択し、記憶部５０４へ記憶させる。加算の有無の判断は、撮像素子１０３からのデジタル化された画像信号に対して、水平駆動回路３０７において２つの光電変換部２０１、２０２の出力信号を加算したか否かを判別するための情報を１ｂｉｔ付加し、該１ｂｉｔの情報を解析することで判断できる。
ステップ４０２では、ＡＦ制御部１０８が、撮像された画像信号に基づいてデフォーカス量を算出し、光学系駆動部１０２に対して、光学系を制御するための光学系駆動情報を送信する。

ステップ４０３では、光学系駆動部１０２は、算出した所望のフォーカス位置に合焦するように光学系１０１に制御信号を送信し、光学系１０１を制御する。
ステップ４０４では、ＣＰＵ１１０により、撮像が終了したかどうかが判定される。終了した場合は、本フローから抜け、終了で無い場合は、ステップ４０１へ戻り、以下撮像終了までこの一連の流れが繰り返される。

ここで、位相差検出方式における瞳分割について図６を用いて説明する。図６は、図２のＡ−Ａ’間の断面を模式的に示す。６０１は、像側から見た撮像レンズの射出瞳である。合焦時の撮像レンズの結像面６０６から射出瞳６０１までの距離を射出瞳位置と呼ぶ。図示していないレンズの絞りよりも後方（結像面側）にあるレンズ群の曲率や絞りとの位置関係などにより、射出瞳位置は変化する。また、当然ながら絞りの径によって射出瞳位置の大きさは変化する。６０４、６０５は、それぞれマイクロレンズ２０４によって射出瞳位置に投影された光電変換部２０２、２０１の射出瞳である。光電変換部２０１へは、射出瞳６０５を通る光束６０３が入るように設計されており、光電変換部２０２へは、射出瞳６０４を通る光束６０２が入るように設計されている。

また、図示を省略した撮像素子１０３を構成する他の画素部についても同様に設計される。光電変換部２０１と同じに位置する複数の光電変換部（ＰＤ１）では、撮像レンズの射出瞳６０１のうち右側の６０５の領域に見られる像が得られる。同様に、光電変換部２０２と同じに位置する複数の光電変換部（ＰＤ２）では、撮像レンズの射出瞳６０１のうち左側の６０４の領域に見られる像が得られる。ここで、光束６０２によって撮像素子１０３上で得られる像をＡ像、光束６０３によって撮像素子１０３上で得られる像をＢ像とすると、合焦状態によっては画像信号上に視差を含んだ信号が得られる。これを瞳分割された２像と呼ぶ。

図７は、前ピン状態（被写体よりも手前にピントが合っている状態）での画像信号をＡ像（各画素部２０３のＰＤ２で得られる情報を集めて生成される像：７０２）とＢ像（各画素部２０３のＰＤ１で得られる情報を集めて生成される像：７０１）とに分けて示す。位相差検出方式による被写体までの距離に関する情報は、Ａ像７０２とＢ像７０１との間の相対関係、像間距離７０３及び被写体のフォーカス位置における結像面６０６から射出瞳６０１までの距離から算出される。なお、像間距離７０３を有する、加算処理されずに出力された隣接する２つの光電変換部２０１（ＰＤ１）、２０２（ＰＤ２）からの画像信号は、前述のようにＡ像とＢ像の視差の異なる像として取り扱われる。

位相差検出方式による被写体までの距離に関する情報の取得は、具体的には下記のように実行する。つまり、相関演算部５０２は、記憶部５０４に記憶されている当該画像信号をＡ像Ｂ像に分離したのち相関演算を行い、最も差の絶対値が小さくなる位置、つまり相関値（信号強度）が最も高い時のＡ像Ｂ像の２像のずれ量を像間距離７０３として算出する。被写体距離情報算出部５０３は、算出された像間距離７０３と、位相差検出を行うための一対のＡ像及びＢ像を取得した際の（現在の）フォーカス位置における結像面６０６から射出瞳までの距離に基づいて、被写体までの距離に関する情報を算出する。そして、算出された被写体までの距離に関する情報をＡＦ制御部１０８へ渡す。

次に、図８を参照して、撮像素子駆動判定部１１１における処理内容について説明する。この処理では、次の本撮影（即ち、記録用画像を取得するための撮影）の蓄積時間（Ｔ１）、レンズ駆動時間（Ｔ３）、ＡＦ演算の所用時間（Ｔ４）、ＡＦ用画像の蓄積時間（Ｔ２）、及び記録用画像の撮像時間間隔（ＴＡ）から、ＡＦ用画像の蓄積の開始のタイミングを逆算して決定する。ここで、記録用画像の撮像時間間隔（ＴＡ）は、撮像装置の操作者により予め設定される一定値であってもよいし、記録用画像の撮像ごとに変化する値であってもよい。なお、以下に説明する処理は、連写での２回目以降の本撮影の際に実行される。
まず、ステップ８０１では、撮像素子駆動判定部１１１が、予め定められた撮像時のレンズ駆動に必要となる最大の時間Ｔ３及びＡＦ演算に必要となる時間Ｔ４をＣＰＵ１１０から取得して設定する。ここで、時間Ｔ３及び時間（Ｔ４）は、撮像装置に使用する部品の性能等によるが、通常一定の値である。
ステップ８０２では、撮像素子駆動判定部１１１が、ＣＰＵ１１０から連続する記録用画像の撮像の撮像時間の間隔ＴＡを取得し、記録用画像の撮像時間間隔の情報として使用する。
ステップ８０３では、撮像素子駆動判定部１１１が、前のステップ８０５で設定された記録用画像の露光時間Ｔ１の情報を撮像素子駆動制御部１１２に出力する。さらに、撮像素子駆動判定部１１１は、カメラ信号処理部１０６に対して、次に取得される画像が記録用画像であるという情報を出力して記録用画像として処理をさせる。撮像素子駆動判定部１１１は、前のステップ８１１、ステップ８１５、ステップ８１６のいずれかで決定されたＡＦ用蓄積がＯＦＦの場合は、位相差検出部１０７に、次に取得されるべき記録用画像で位相差検出演算を行うよう指示する。また、撮像素子駆動判定部１１１は、該ＡＦ用蓄積がＯＮの場合は、位相差検出部１０７に、次に取得されるべき記録用画像で位相差検出演算を行わないよう指示する。

ステップ８０４では、ステップ８０３で設定された撮像素子の駆動情報（露光時間Ｔ１）に基づいて、撮像素子駆動制御部１１２が撮像素子１０３を駆動させ、撮像素子１０３が記録用画像を出力する。
ステップ８０５では、撮像素子駆動判定部１１１が、次の記録用画像のための露光時間Ｔ１を決定する。この露光時間Ｔ１は、撮像素子１０３から出力された記録用画像に対して、ＡＥ評価値取得部１０９において算出されたＡＥ評価値と、ＣＰＵ１１０から取得したシャッタスピードの情報から、決定される。
ステップ８０６では、前のステップ８１１、ステップ８１５、ステップ８１６のいずれかで決定されたＡＦ用蓄積のＯＮ／ＯＦＦの制御情報を元に、次の処理の切り替えが行われる。つまり、ＡＦ用蓄積がＯＮならば、ステップ８０７へ進み、ＯＦＦならばステップ８０９へと進む。

ステップ８０７では、撮像素子駆動判定部１１１が、前のステップ８０９で設定されたＡＦ用画像の露光時間Ｔ２の情報を撮像素子駆動制御部１１２に対して出力する。そして、撮像素子駆動判定部１１１は、カメラ信号処理部１０６に対し、次に取得される画像がＡＦ用画像であるという情報を送信し、記録用画像として処理させないようにする。さらに、撮像素子駆動判定部１１１は、位相差検出部１０７に対し、次に取得される画像を使用して位相差検出演算を行うよう指示する。
ステップ８０８では、ステップ８０７で設定された撮像素子１０３の駆動情報（露光時間Ｔ２）に基づいて、撮像素子駆動制御部１１２が撮像素子１０３を駆動させ、撮像素子１０３がＡＦ用画像を出力する。
ステップ８０９では、撮像素子１０３から出力されたＡＦ用画像に対して、ＡＥ評価値取得部１０９がＡＥ評価値を算出し、撮像素子駆動判定部１１１が次のＡＦ用画像のための露光時間Ｔ２を暫定的に決定する。なお、ＡＦ用蓄積がＯＦＦだった場合には、Ｓ８０４で取得された記録用画像に対して、ＡＥ評価値を算出し、次のＡＦ用画像のための露光時間Ｔ２を暫定的に決定する。

ステップ８１０では、次の撮像に必要となる時間の合計は、記録用画像の露光時間Ｔ１と、ＡＦ用画像の露光時間Ｔ２、レンズ駆動時間Ｔ３、ＡＦ演算に必要となる時間Ｔ４の合計値である。この合計値がＣＰＵ１１０から指定された記録用画像の撮像時間間隔ＴＡよりも小さければ、そのままＡＦ用画像の露光時間が確保できるということなので、ステップ８１１に進む。該合計値が記録用画像の撮像時間間隔ＴＡよりも大きければ、ＡＦ用画像の露光時間がそのままでは確保できないと言う事なので、ステップ８１２に進み、ＡＦ用画像の露光時間の調整が行われる。
ステップ８１１では、ＡＦ用画像の露光時間はそのまま確保することができるので、撮像素子駆動判定部１１１において、ＡＦ用蓄積がＯＮに設定され、ゲイン部１０４でゲインがかからないようにゲイン設定（ゲイン値＝１）が行われ、ステップ８０２に進む。

ステップ８１２では、ＡＦ用画像の露光時間Ｔ２が十分に確保できないため、ＴＡと、Ｔ１，Ｔ３，Ｔ４の合計との差から、確保可能な露光時間Ｔ２’が算出される。
ステップ８１３：Ｔ２’及びＴ２より、露光時間が短くなった分、ＡＦ用画像の輝度レベルを確保するためのゲイン値Ｇが算出され、次の処理のために暫定で決定したＴ２の時間がＴ２’で置き換えられる。例えば、露光時間Ｔ２’が小さくなるにつれてゲイン値Ｇが大きくなるようにしてもよい。
ステップ８１４では、ステップ８１３で決定されたゲイン値Ｇが予め定められた一定値ＬＩＭより大きい場合は、ゲイン値Ｇが大きすぎるため、正しい位相差検出処理が行えないと判断され、ステップ８１５へ進み、ＡＦ用蓄積をＯＦＦにする動作制御が行われる。ゲイン値ＧがＬＩＭ未満の場合は、ゲイン部１０４でゲイン処理を行っても正しい位相差検出処理が行えると判断され、ステップ８１６へ進み、ＡＦ用蓄積をゲイン処理と併用して行うように動作制御が行われる。

ステップ８１５では、ステップ８１４においてＡＦ用蓄積を行うことができないと判断された場合、記録用画像を使用して位相差検出を行うようにするためにＡＦ用蓄積がＯＦＦに設定され、記録用画像に対してゲインがかからないようにゲイン設定が行われる。そして、ステップ８０２に進む。
ステップ８１６では、ステップ８１４においてＡＦ用蓄積を短くしてゲイン部１０４でゲインアップすることによりＡＦ用画像が取得できると判断された場合、ＡＦ用蓄積をＯＮに設定され、ゲイン値Ｇがゲイン部１０４に出力され、ステップ８０２に進む。

以上、本実施形態の撮像装置は、記録用画像の撮像時間間隔（ＴＡ）と撮像のための時間（Ｔ１〜Ｔ４）を基にＡＦ用画像の蓄積時間（Ｔ２）が確保できるかどうか判断し（ステップ８１０）、確保できる場合、該蓄積時間でＡＦ用画像を取得しＡＦ動作を行う。即ち、撮像素子１０３により取得されたＡＦ用画像を基に位相差検出部１０７が撮像素子１０３から被写体までの距離に関する情報を算出し、この算出された距離に関する情報を基に合焦制御部１１４が光学系１０１の合焦制御を行う（第一の合焦動作モード）。
また、該撮像装置は、ゲイン値が一定値（ＬＩＭ）を超える場合、ＡＦ用画像の取得を行わず、前回の撮影の記録用画像を使用してＡＦ動作を行う。即ち、撮像素子により取得された記録用画像を基に位相差検出部が撮像素子から被写体までの距離に関する情報を算出し、この算出された距離に関する情報を基に合焦制御部が光学系の合焦制御を行う（第二の合焦動作モード）。
また、該撮像装置は、ＡＦ用画像の蓄積時間を十分に確保できないが、ゲイン処理された画像を基にＡＦ動作が可能な場合は、ＡＦ用画像の蓄積時間を短くして記録用画像とは別にＡＦ用画像を取得してＡＦ動作を行う。即ち、撮像素子の出力に対してゲイン部１０４でゲイン処理されたＡＦ用画像を基に位相差検出部が撮像素子から被写体までの距離に関する情報を算出し、この算出された距離に関する情報を基に合焦制御部が光学系の合焦制御を行う（第三の合焦動作モード）。
このように、該撮像装置は、記録用画像の撮像時間間隔（ＴＡ）と記録用画像の蓄積時間（Ｔ１、Ｔ３、Ｔ４）及びＡＦ用画像の蓄積時間（Ｔ２）に応じて、制御を動的に切り替える。これにより、連写性能の低下を防ぐと共に、位相差検出を使用したＡＦ性能を向上させることができる。

（第２実施形態）
図９は、本発明の第２実施形態の撮像装置の構成を示すブロック図である。本実施形態では、第１実施形態と共通の部分に関しては説明を割愛し、本実施形態の特徴である、コントラスト算出部９０１及び撮像素子駆動判定部９０２の動作についてのみ説明を行う。

コントラスト算出部９０１は、ゲイン部１０４の出力である画像信号に対して、ハイパスフィルタやエッジ検出フィルタ処理の積分値をコントラスト値として出力する。下記の撮像素子駆動判定部９０２における処理では、Ｓ８０８でＡＦ用画像が取得されている場合にＡＦ用画像のコントラスト値を出力し、コントラスト値に基づいて、そのＡＦ用画像でＡＦ動作させた場合に正しい位相差検出処理が行なえるか否かを判定する。

次に図１０を参照して、撮像素子駆動判定部９０２における処理の詳細について説明する。ただし、撮像素子駆動判定部９０２では、第１実施形態と動作が同様である部分は同じステップ番号で示しており、その説明は割愛し、本実施形態の特徴であるステップ１０１４についてのみ説明を行う。ここで、撮像素子駆動判定部９０２及び撮像素子駆動制御部１１２を合わせて撮像制御部９０３と称し、撮像制御部９０３は撮像素子駆動判定部９０２及び撮像素子駆動制御部１１２として機能する。

ステップ１０１４では、ＡＦ用画像が位相差検出を行うのに適しているか否かを判定する。ステップ８１３で決定されたゲイン値Ｇが予め定められた一定値ＬＩＭより大きい場合は、位相差検出を行うのに適していないと判断される。又は、コントラスト算出部９０１の出力のコントラスト値が予め定められた一定値ＴＨより小さい場合、ＡＦ用画像として得られる画像のコントラストが低く、位相差検出を行うのに適していないと判断される。そして、ステップ８１５へ進み、ＡＦ用蓄積をＯＦＦにする動作制御が行われる。また、ゲインＧの値が小さく、コントラスト値も一定値以上ある場合は、ＡＦ用画像から位相差検出を行うことができると判断し、ステップ８１６へ進み、ＡＦ用蓄積をゲイン処理と併用して行うように動作制御を行う。

以上、本実施形態の撮像装置は、記録用画像の撮像時間間隔（ＴＡ）と撮像のための時間（Ｔ１〜Ｔ４）を基にＡＦ用画像の蓄積時間（Ｔ２）が確保できるかどうか判断し（ステップ８１０）、確保できる場合、該蓄積時間でＡＦ用画像を取得しＡＦ動作を行う。即ち、撮像素子１０３により取得されたＡＦ用画像を基に位相差検出部１０７が撮像素子１０３から被写体までの距離に関する情報を算出し、この算出された距離に関する情報を基に合焦制御部１１４が光学系１０１の合焦制御を行う（第一の合焦動作モード）。
また、該撮像装置は、ゲイン値が一定値（ＬＩＭ）を超える場合又はコントラスト値が一定値（ＴＨ）以下の場合、ＡＦ用画像の取得を行わず、記録用画像を使用してＡＦ動作を行う。即ち、前回の撮影で取得された記録用画像を基に位相差検出部が撮像素子から被写体までの距離に関する情報を算出し、この算出された距離に関する情報を基に合焦制御部が光学系の合焦制御を行う（第二の合焦動作モード）。
また、該撮像装置は、ＡＦ用画像の蓄積時間を十分に確保できないが、ゲインＧの値が所定値より小さく、コントラスト値が所定値以上ある場合にＡＦ動作が可能と判断する（ステップ１０１４のＮｏ）。この場合、ＡＦ用画像の蓄積時間を短くして記録用画像とは別にＡＦ用画像を取得してＡＦ動作を行う。即ち、撮像素子の出力に対してゲイン部１０４でゲイン処理されたＡＦ用画像を基に位相差検出部が撮像素子から被写体までの距離に関する情報を算出し、この算出された距離に関する情報を基に合焦制御部が光学系の合焦制御を行う（第三の合焦動作モード）。
このように、該撮像装置は、記録用画像の撮像時間間隔（ＴＡ）と記録用画像の蓄積時間（Ｔ１、Ｔ３、Ｔ４）及びＡＦ用画像の蓄積時間（Ｔ２）に応じて、制御を動的に切り替える。これにより、連写性能の低下を防ぐと共に、位相差検出を使用したＡＦ性能を向上させることができる。

（第３実施形態）
図１１は、本発明の第３実施形態の撮像装置の構成を示すブロック図である。本実施形態では、第１実施形態と共通の部分に関しては説明を割愛し、本実施形態の特徴である撮像素子駆動判定部１１０１の動作についてのみ説明を行う。また、本実施形態では、第１実施形態で使用していたゲイン部１０４を備えず、信号演算部１０５、位相差検出部１０７及びＡＥ評価値取得部１０９の入力信号が撮像素子１０３からの出力信号に変わったのみで、その動作には変更が無いため、説明は割愛する。
ここで、撮像素子駆動判定部１１０１及び撮像素子駆動制御部１１２を合わせて撮像制御部１１０２と称し、撮像制御部１１０２は撮像素子駆動判定部１１０１及び撮像素子駆動制御部１１２として機能する。

次に、図１２を参照して、撮像素子駆動判定部１１０１における処理の内容について説明する。ただし、撮像素子駆動判定部１１０１では、第１実施形態と動作が同様である部分は同じステップ番号で示し、その説明は割愛する。本実施形態の特徴であるステップ１２０１、１２０７、１２１１、１２１３、１２１４、１２１５、１２１６についてのみ説明を行う。

ステップ１２０１では、撮像素子駆動判定部１１０１が、予め定められた撮像時のレンズ駆動に必要となる最大時間Ｔ３及び、ＡＦ演算に必要となる時間Ｔ４、撮像素子１０３の読み出し速度である幕速ＳをＣＰＵ１１０から取得して設定する。
ステップ１２０７では、撮像素子駆動判定部１１０１が、前のステップ８０９で設定されたＡＦ用画像の露光時間Ｔ２の情報及び読み出し位置の情報を撮像素子駆動制御部１１２に対して出力する。そして、撮像素子駆動判定部１１０１は、カメラ信号処理部１０６に対し、次に取得される画像がＡＦ用画像であるという情報を送信して記録用画像として処理させないようにする。さらに、撮像素子駆動判定部１１０１は、位相差検出部１０７に対し、次に取得される画像を使用して位相差検出演算を行うように指示する。

ステップ１２１１では、ＡＦ用画像の露光時間及び読み出しライン数は、そのまま確保されるため、ＡＦ用蓄積はＯＮに設定され、更に撮像素子１０３からの読み出し位置及び読み出し量の補正は行わないように設定され、ステップ８０２に進む。
ステップ１２１３では、確保可能な露光時間Ｔ２’及び幕速Ｓから、割り当てられた時間で撮像素子１０３から読み出し可能なライン数Ｌが算出される。
ステップ１２１４では、読み出し可能ライン数Ｌが予め定められた一定値ＴＨより小さい場合、ＡＦ用画像の範囲が狭すぎるため、正しい位相差検出処理が行えないと判断し、ステップ１２１５へ進み、ＡＦ用蓄積をＯＦＦにする動作制御が行われる。ＬがＴＨ以上の場合、位相差検出を行う上で最低限の読み出しライン数は確保できているということなので、ステップ１２１６へ進み、読み出し位置の補正を行った上でＡＦ用蓄積を行うように動作制御が行われる。

ステップ１２１５では、ステップ１２１４においてＡＦ用蓄積を行うことができないと判断された場合、記録用画像を使用して位相差検出が行えるように、ＡＦ用蓄積がＯＦＦに設定され、ステップ８０２に進む。
ステップ１２１６では、ステップ１２１４において、読み出しライン数の制御を行えば、ＡＦ用蓄積を行うことが可能と判断された場合、ＡＦ用蓄積がＯＮに設定され、読み出し可能ライン数Ｌに応じて読み出し位置の補正が行われ、ステップ８０２に進む。

以上、本実施形態の撮像装置は、記録用画像の撮像時間間隔（ＴＡ）と撮像のための時間（Ｔ１〜Ｔ４）を基にＡＦ用画像の蓄積時間（Ｔ２）が確保できるかどうか判断し（ステップ８１０）、確保できる場合、該蓄積時間でＡＦ用画像を取得しＡＦ動作を行う。即ち、撮像素子１０３により取得されたＡＦ用画像を基に位相差検出部１０７が撮像素子１０３から被写体までの距離に関する情報を算出し、この算出された距離に関する情報を基に合焦制御部１１４が光学系１０１の合焦制御を行う（第一の合焦動作モード）。
また、該撮像装置は、該読み出し可能なライン数（Ｌ）が一定値（ＴＨ）以下になった場合（ステップ１２１４のＹｅｓ）、ＡＦ用画像の取得を行わず、記録用画像を使用してＡＦ動作を行う。即ち、撮像素子により取得された記録用画像を基に位相差検出部が撮像素子から被写体までの距離に関する情報を算出し、この算出された距離に関する情報を基に合焦制御部が光学系の合焦制御を行う（第二の合焦動作モード）。
また、該撮像装置は、ＡＦ用画像の蓄積時間を十分に確保できないが読み出しライン数が制限された画像でＡＦ動作が可能な場合は（ステップ１２１４のＮｏ）、ＡＦ用画像の読み出しライン数を少なくして記録用画像とは別にＡＦ要画像を取得してＡＦ動作を行う。即ち、撮像素子からの読み出し可能なライン数（Ｌ）が、第一の合焦動作モードにおける該ライン数よりも少なくなるように撮像素子が制御され、読み出し可能なライン数（Ｌ）に応じて読み出し位置の補正が行われたＡＦ用画像が取得される。そして、該取得されたＡＦ用画像を基に、位相差検出部が撮像素子から被写体までの距離に関する情報を算出し、この算出された距離に関する情報を基に合焦制御部が光学系の合焦制御を行う（第四の合焦動作モード）。
このように、該撮像装置は、記録用画像の撮像時間間隔（ＴＡ）と記録用画像の蓄積時間（Ｔ１、Ｔ３、Ｔ４）及びＡＦ用画像の蓄積時間（Ｔ２）並びに読み出し可能なライン数（Ｌ）に応じて、制御を動的に切り替える。これにより、該撮像装置は、位相差検出を使用したＡＦ性能を向上させることができる。

１０１：光学系
１０２：光学系駆動部
１０３：撮像素子
１０４：ゲイン部
１０５：信号演算部
１０６：カメラ信号処理部
１０７：位相差検出部
１０８：ＡＦ制御部
１０９：ＡＥ評価値取得部
１１０：ＣＰＵ
１１１：撮像素子駆動判定部
１１２：撮像素子駆動制御部

Claims (7)

1. 撮像素子の出力に基づいて、前記撮像素子から被写体までの距離に関する情報を算出する位相差検出部と、
   前記位相差検出部の出力を基に、光学系の合焦制御を行う合焦制御部と、
   前記撮像素子の動作制御を行う撮像制御部と、を備えた撮像装置であって、
   前記撮像装置は、
   前記撮像素子により取得された合焦用画像を基に前記位相差検出部が前記撮像素子から被写体までの距離に関する情報を算出し、この算出された距離に関する情報を基に前記合焦制御部が前記光学系の合焦制御を行う第一の合焦動作モードと、
   前記撮像素子により取得された記録用画像を基に前記位相差検出部が前記撮像素子から被写体までの距離に関する情報を算出し、この算出された距離に関する情報を基に前記合焦制御部が前記光学系の合焦制御を行う第二の合焦動作モードと、を有し、
   記録用画像の撮像時間間隔及び合焦用画像の取得のための前記撮像素子の蓄積時間に基づき、前記第一の合焦動作モード、又は第二の合焦動作モードで動作することを特徴とする撮像装置。
2. 前記撮像制御部により指示される前記撮像素子の蓄積時間が前記第一の合焦動作モードにおける前記撮像素子の蓄積時間よりも短い場合に、前記第一の合焦動作モードから前記第二の合焦動作モードに切り替えることを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子の出力に対してゲイン処理を行うゲイン部を更に備え、
   前記撮像装置は、前記撮像素子の出力に対して前記ゲイン部でゲイン処理された合焦用画像を基に前記位相差検出部が前記撮像素子から被写体までの距離に関する情報を算出し、この算出された距離に関する情報を基に前記合焦制御部が前記光学系の合焦制御を行う第三の合焦動作モードを更に有し、
   記録用画像の撮像時間間隔及び合焦用画像の取得のための前記撮像素子の蓄積時間に基づき、前記第一の合焦動作モード、第二の合焦動作モード又は第三の合焦動作モードで動作することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記ゲイン部における合焦用画像に対するゲイン値が所定値よりも小さい場合に、前記第二の合焦動作モードから前記第三の合焦動作モードに切り替えることを特徴とする請求項３に記載の撮像装置。
5. 前記ゲイン部の出力からフィルタ処理によりコントラスト値を算出するコントラスト算出部をさらに備え、
   前記コントラスト値が所定値よりも小さい場合に、前記第二の合焦動作モードから前記第三の合焦動作モードに切り替えることを特徴とする請求項３に記載の撮像装置。
6. 前記撮像装置は、
   前記撮像素子から読み出し可能なライン数が前記第一の合焦動作モードにおける当該ライン数よりも少なくなるように前記撮像制御部が前記撮像素子を制御し、前記読み出し可能なライン数に応じて読み出し位置の補正が行われた合焦用画像を基に前記位相差検出部が前記撮像素子から被写体までの距離に関する情報を算出し、この算出された距離に関する情報を基に前記合焦制御部が前記光学系の合焦制御を行う第四の合焦動作モードを更に有し、
   記録用画像の撮像時間間隔及び合焦用画像の取得のための前記撮像素子の蓄積時間並びに前記読み出し可能なライン数に基づき、前記第一の合焦動作モード、第二の合焦動作モード又は第四の合焦動作モードで動作することを特徴とする請求項１又は２に記載の撮像装置。
7. 撮像素子の出力に基づいて、前記撮像素子から被写体までの距離に関する情報を算出する位相差検出部と、前記位相差検出部の出力を基に、光学系の合焦制御を行う合焦制御部と、前記撮像素子の動作制御を行う撮像制御部と、を備えた撮像装置の制御方法であって、
   前記撮像素子により取得された合焦用画像を基に前記位相差検出部が前記撮像素子から被写体までの距離に関する情報を算出し、この算出された距離に関する情報を基に前記合焦制御部が前記光学系の合焦制御を行う第一の合焦動作モードと、
   前記撮像素子により取得された記録用画像を基に前記位相差検出部が前記撮像素子から被写体までの距離に関する情報を算出し、この算出された距離に関する情報を基に前記合焦制御部が前記光学系の合焦制御を行う第二の合焦動作モードと、を有し、
   記録用画像の撮像時間間隔及び合焦用画像の取得のための前記撮像素子の蓄積時間に基づき、前記第一の合焦動作モード、又は第二の合焦動作モードで動作することを特徴とする制御方法。

Images