JP6960755B2 - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、焦点検出画素を含む撮像素子を備えた撮像装置に関するものである。

従来より、焦点検出画素を含む撮像素子を用いて、撮像面において位相差検出方式のオートフォーカスを行う撮像装置が知られている。

例えば、特許文献１には、各画素にマイクロレンズが形成された２次元の撮像素子を用いて瞳分割方式の焦点検出を行う装置が開示されている。マイクロレンズを介して撮影光学系の互いに異なる瞳領域を通過した光を受光する場合、焦点検出の精度が撮影光学系のピント状態の影響を受けやすい。ピント状態としてボケが大きい場合、すなわち、デフォーカス量が大きい場合は、焦点検出を行う信号の形状が崩れ、検出されるデフォーカス量に含まれる誤差が大きくなる。また、ボケによる影響は、デフォーカス量が大きくなるにつれて大きくなり、焦点検出結果の信頼性が低下する。そのため、信頼性のある焦点検出結果が得られない場合がある。

信頼性のある焦点検出結果が得られない場合、フォーカスレンズを駆動して信頼性のある焦点検出結果が得られるか否かを探索する、いわゆるサーチ駆動を行うことが知られている。サーチ駆動は、焦点検出可能な被写体を探索でき、焦点調節可能な頻度を高める反面、焦点調節時間が長くなるという課題がある。

特許文献１では、焦点検出不能時に、絞りを一時的に絞り込み、その状態で焦点検出を行い、その後絞りを開く駆動を行うことにより、上述のボケの影響を低減している。絞り込み中の焦点検出信号は深度が深くなり、デフォーカス方向を含むデフォーカス情報を検出可能な頻度を高めることができる。これにより、サーチ駆動を行う頻度を低減することにより、焦点調節時間が長くなることを抑制できる。

特許第５８７９７６２号公報

しかしながら、特許文献１の焦点検出方式においては、絞りがより開いた状態で得られた焦点検出結果の信頼性が低い場合に、常に絞りを絞り込むように構成されており、次のような問題がある。すなわち、絞りが絞り込まれた状態で焦点検出が可能になる保証はなく、絞り込まれた状態でもなお焦点検出ができない場合がある。このような場合には、絞り込まずにサーチ駆動を開始していた場合に比べて、焦点調節時間が長くなるという問題がある。

また、特許文献１では、絞り込みを行った状態で得られた焦点検出結果の信頼性が高い場合には、すぐに絞りを撮影絞りに戻すように制御している。その場合に、より開いた絞り状態に戻すことにより、再び焦点検出が不能になったり、焦点調節時間が長くなったりする課題については触れられていない。

本発明は上述した課題に鏡みてなされたものであり、その目的は、デフォーカス量が大きい状態でも、高速な焦点調節を可能とする撮像装置を提供することである。

本発明に係わる撮像装置は、撮影光学系の互いに異なる瞳領域を通過した光束に基づいて、一対の像信号を取得することが可能な撮像素子と、前記一対の像信号の位相差に基づいて、前記撮影光学系の焦点状態を検出する焦点検出手段と、焦点検出の信頼度を判定する信頼度判定手段と、前記撮影光学系の絞りの開口を制御する制御手段と、を備え、前記制御手段は、前記絞りの開口が第１の絞り開口状態に制御された状態で行われた前記焦点検出の信頼度が閾値よりも低いと前記信頼度判定手段により判定された場合、前記第１の絞り開口状態よりも前記絞りが絞り込まれた第２の絞り開口状態に変更するように制御し、且つ前記第１の絞り開口状態で検出可能なデフォーカス量と前記第２の絞り開口状態で検出可能なデフォーカス量の差が所定値より小さい場合には、前記第２の絞り開口状態に変更しないように制御することを特徴とする。

本発明によれば、デフォーカス量が大きい状態でも、高速な焦点調節を可能とする撮像装置を提供することができる。

本発明の一実施形態に係わる撮像装置の構成を示すブロック図。 撮像素子の画素の回路図。 撮像素子の画素配列を示す図。 撮像素子の構成を示す図。 撮影光学系の射出瞳面と撮像素子の光電変換部との共役関係の説明図。 撮影光学系の射出瞳面と撮像素子の光電変換部との共役関係の説明図。 撮影範囲内における焦点検出領域を示す図。 焦点検出領域内での焦点検出信号を示す図。 カメラの焦点調節および撮影動作を示すフローチャート。 焦点調節のサブルーチンを示すフローチャート。 撮影のサブルーチンを示すフローチャート。 絞込み要否判定のサブルーチンを示すフローチャート。 絞込み量の算出のサブルーチンを示すフローチャート。 絞り開放判定のサブルーチンを示すフローチャート。

以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。

図１は、複数の撮影レンズを交換可能なカメラとその撮影レンズからなるカメラシステムであって焦点調節装置を有する撮像装置の構成を示す図である。図１において、本実施形態の焦点調節装置を含むカメラシステムはカメラ１００とこれに交換可能に装着される撮影レンズ３００とを備えて構成される。初めに、カメラ１００の構成について説明する。

カメラ１００は、複数種類の撮影レンズ３００が存在するカメラシステムに対応しており、同一種類のレンズでも製造番号が異なるものが装着可能である。更には、焦点距離や開放Ｆ値が異なる撮影レンズ３００若しくはズーム機能を備える撮影レンズ３００なども装着可能で、同種、異種の撮影レンズにかかわらず交換可能な構成を有する。

このカメラ１００において、撮影レンズ３００を通過した光束は、カメラマウント１０６を通過し、メインミラー１３０により上方へ反射されて光学ファインダ１０４に入射する。光学ファインダ１０４により、撮影者は被写体を光学像として観察しながら撮影できる。光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、絞り値表示、露出補正表示等が設置されている。

メインミラー１３０は半透過性のハーフミラーで構成され、メインミラー１３０に入射する光束のうち一部はこのハーフミラー部を通過しサブミラー１３１で下方へ反射されて焦点検出装置１０５へ入射する。焦点検出装置１０５は、２次結像光学系からなる位相差検出方式ＡＦ機構を採用しており、得られた光学像を電気信号に変換しＡＦ部（オートフォーカス部）４２へ送る。ＡＦ部４２では、この電気信号から位相差検出演算を行う。この演算結果に基づき、システム制御回路５０が、撮影レンズ３００のフォーカス制御部３４２（後述する）に対して、焦点調節処理などの制御を行う。本実施形態では、焦点検出結果の補正もＡＦ部４２で行う。ＡＦ部４２は、焦点検出手段として働く。

一方、撮影レンズ３００の焦点調節処理が終了し静止画撮影、電子ファインダ表示、動画撮影を行う場合には、不図示のクイックリターン機構によりメインミラー１３０とサブミラー１３１を撮影光束外に退避させる。こうして、撮影レンズ３００を通過した光束は、露光量を制御するためのシャッター１２を介して、光学像を電気信号に変換する撮像素子１４に入射する。これらの撮影動作終了後には、メインミラー１３０とサブミラー１３１は図示される様な位置に戻る。

撮像素子１４によって光電変換された電気信号はＡ／Ｄ変換器１６へ送られ、アナログ信号出力がデジタル信号（画像データ）に変換される。タイミング発生回路１８は、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給する。タイミング発生回路１８は、メモリ制御回路２２及びシステム制御回路５０により制御される。画像処理回路２０は、Ａ／Ｄ変換器１６からの画像データ或いはメモリ制御回路２２からの画像データに対して所定の画素補間処理や色変換処理を行う。画像処理回路２０は、画像データを用いて所定の演算処理を行う。

撮像素子１４は焦点検出装置の一部を有し、クイックリターン機構によりメインミラー１３０とサブミラー１３１が撮影光束外に退避した状態においても位相差検出方式ＡＦを行うことができる。得られた画像データのうち、焦点検出に対応する画像データは、画像処理部２０で焦点検出用画像データに変換される。その後、システム制御回路５０を介してＡＦ部４２へ送られ、焦点調節装置により撮影レンズ３００の焦点合わせが行われる。なお、画像処理回路２０による撮像素子１４の画像データを演算した演算結果に基づき、システム制御回路５０が、撮影レンズ３００のフォーカス制御部３４２に対して焦点合わせを行う所謂コントラスト方式ＡＦも可能な構成となっている。こうして、電子ファインダ観察時や動画撮影時では、メインミラー１３０とサブミラー１３１が撮影光束外に退避するが、撮像素子１４による位相差検出方式ＡＦとコントラスト方式ＡＦの両者が可能となっている。特に、位相差検出方式ＡＦが可能であるため高速な焦点合わせが可能である。

この様に、本実施形態のカメラ１００は、メインミラー１３０とサブミラー１３１が撮影光路内にある通常の静止画撮影では、焦点検出装置１０５による位相差検出方式ＡＦを用いる。また、メインミラー１３０とサブミラー１３１が撮影光束外へ退避する電子ファインダ観察時や動画撮影時では、撮像素子１４による位相差検出方式ＡＦとコントラスト方式ＡＦを用いる構成となっている。従って、静止画撮影、電子ファインダ、動画撮影のどの動作においても焦点調節が可能である。

メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸長回路３２を制御する。そして、Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。画像表示部２８は液晶モニタ等から構成され、画像表示メモリ２４に書き込まれた表示用の画像データを、Ｄ／Ａ変換器２６を介して画像表示部２８により表示する。画像表示部２８を用いて撮像した画像データを逐次表示することにより、電子ファインダ機能を実現できる。画像表示部２８は、システム制御回路５０の指示により表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはカメラ１００の電力消費を大幅に低減できる。

また、メモリ３０は、撮影した静止画像や動画像を記憶するためのものであり、所定枚数の静止画像や所定時間の動画像を記憶するのに十分な記憶容量を備えている。これにより、連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことができる。また、メモリ３０はシステム制御回路５０の作業領域としても使用できる。圧縮伸長回路３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する機能を有し、メモリ３０に記憶された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えた画像データをメモリ３０に書き込む。

シャッター制御部３６は、測光部４６からの測光情報に基づいて、撮影レンズ３００側の絞り３１２を制御する絞り制御部３４４と連携しながら、シャッター１２を制御する。インターフェース部３８とコネクタ１２２は、カメラ１００と撮影レンズ３００とを電気的に接続する。これらは、カメラ１００と撮影レンズ３００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給する機能も備えている。また、電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。測光部４６は、ＡＥ処理を行う。撮影レンズ３００を通過した光束を、カメラマウント１０６、ミラー１３０、そして不図示の測光用レンズを介して、測光部４６に入射させることにより、画像の露出状態を測定できる。また、測光部４６は、フラッシュ４８と連携することで調光処理機能も有する。なお、画像処理回路２０による撮像素子１４の画像データを演算した演算結果に基づき、システム制御回路５０が、シャッター制御部３６と撮影レンズ３００の絞り制御部３４４に対してＡＥ制御を行うことも可能である。フラッシュ４８は、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

システム制御回路５０はカメラ１００の全体を制御し、メモリ５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶する。表示部５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置である。カメラ１００の操作部近辺の視認し易い位置に単数或いは複数設置され、例えばＬＣＤやＬＥＤ等の組み合わせにより構成される。表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、記録枚数や残撮影可能枚数等の撮影枚数に関する情報や、シャッタースピード、絞り値、露出補正、フラッシュ等の撮影条件に関する情報等がある。その他、電池残量や日付・時刻等も表示される。また、表示部５４は、前述した様にその一部の機能が光学ファインダ１０４内に設置されている。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。６０，６２，６４，６６，６８，７０は、システム制御回路５０に各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

モードダイアルスイッチ６０は、電源オフ、オート撮影モード、マニュアル撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定できる。シャッタースイッチＳＷ１（６２）は、不図示のシャッターボタンが半押しされるとＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。シャッタースイッチＳＷ２（６４）は、シャッターボタンが全押しされるとＯＮとなり、撮影に関する一連の処理の動作開始を指示する。撮影に関する処理とは、露光処理、現像処理及び記録処理等のことである。露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データとして書き込む。現像処理では、画像処理回路２０やメモリ制御回路２２での演算を用いた現像を行う。記録処理では、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体１５０或いは１６０に画像データとして書き込む。

画像表示ＯＮ／ＯＦＦスイッチ６６は、画像表示部２８のＯＮ／ＯＦＦを設定できる。この機能により、光学ファインダ１０４を用いて撮影を行う際に、液晶モニタ等から成る画像表示部２８への電流供給を遮断することにより、省電力を図ることができる。クイックレビューＯＮ／ＯＦＦスイッチ６８は、撮影直後に撮影した画像データを自動再生するクイックレビュー機能のＯＮ／ＯＦＦを設定する。操作部７０は、各種ボタンやタッチパネル等からなる。各種ボタンには、メニューボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、露出補正ボタン等がある。

電源制御部８０は、電池検出回路、ＤＣ／ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ／ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。コネクタ８２及び８４は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池やリチウムイオン電池等の二次電池、ＡＣアダプタ等からなる電源部８６をカメラ１００と接続する。

インターフェース９０及び９４は、メモリカードやハードディスク等の記録媒体との接続機能を有し、コネクタ９２及び９６は、メモリカードやハードディスク等の記録媒体と物理的接続を行う。記録媒体着脱検知部９８は、コネクタ９２または９６に記録媒体が装着されているかどうかを検知する。なお、本実施形態では、記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明しているが、インターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。更に、インターフェース及びコネクタにＬＡＮカード等の各種通信カードを接続することで、コンピュータやプリンタ等の他の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

通信部１１０は、有線通信、無線通信等の各種通信機能を有する。コネクタ１１２は、通信部１１０によりカメラ１００を他の機器と接続し、無線通信の場合はアンテナである。記録媒体１５０及び１６０は、メモリカードやハードディスク等である。記録媒体１５０及び１６０は、半導体メモリや磁気ディスク等から構成される記録部１５２，１６２、カメラ１００とのインターフェース１５４，１６４、カメラ１００と接続を行うコネクタ１５６，１６６を備えている。

次に、撮影レンズ３００について説明する。撮影レンズ３００は、カメラ１００に着脱可能に構成される。レンズマウント３０６は、撮影レンズ３００をカメラ１００と機械的に結合し、カメラマウント１０６を介してカメラ１００に交換可能に取り付けられる。カメラマウント１０６及びレンズマウント３０６内には、撮影レンズ３００をカメラ１００と電気的に接続するコネクタ１２２及びコネクタ３２２の機能が含まれている。レンズ３１１には被写体の焦点合わせを行うフォーカスレンズが含まれ、絞り３１２は撮影光束の光量を制御する。

コネクタ３２２及びインターフェース３３８は、撮影レンズ３００をカメラ１００のコネクタ１２２と電気的に接続する。そして、コネクタ３２２は、カメラ１００と撮影レンズ３００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給される機能も備えている。コネクタ３２２は電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。ズーム制御部３４０はレンズ３１１のズーミングを制御し、フォーカス制御部３４２はレンズ３１１のフォーカスレンズの動作を制御する。フォーカス制御部３４２とレンズ３１１は、焦点調節手段を構成している。撮影レンズ３００がズーム機能のない単焦点レンズタイプであればズーム制御部３４０はなくてもよい。絞り制御部３４４は、測光部４６からの測光情報に基づいて、シャッター１２を制御するシャッター制御部３６と連携しながら、絞り３１２を制御する。絞り制御部３４４と絞り３１２は、絞り開口調節手段を構成している。

レンズシステム制御回路３４６は撮影レンズ３００全体を制御する。そして、レンズシステム制御回路３４６は、撮影レンズの動作用の定数、変数、プログラム等を記憶するメモリの機能を備えている。不揮発性メモリ３４８は、撮影レンズ固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などを記憶する。本実施形態においては、撮影レンズ３００の状態に応じたレンズ枠情報も記憶されている。このレンズ枠情報は、撮影レンズ３００を通過する光束を決定する枠開口の撮像素子１４からの距離と枠開口の半径の情報である。絞り３１２は、撮影レンズを通過する光束を決定する枠に含まれ、他にもレンズを保持するレンズ枠部品の開口などが枠に該当する。また、撮影レンズを通過する光束を決定する枠は、レンズ３１１のフォーカス位置やズーム位置によって異なるため、レンズ３１１のフォーカス位置やズーム位置に対応して複数用意されている。そして、カメラ１００が、焦点検出手段を用いて焦点検出を行う際には、レンズ３１１のフォーカス位置とズーム位置に対応した最適なレンズ枠情報が選択され、カメラ１００にコネクタ３２２を通じて送られる構成となっている。

以上が、カメラ１００と撮影レンズ３００からなるカメラシステムの構成である。次に、撮像素子１４からなる焦点検出装置について詳細を説明する。この焦点検出装置は焦点検出装置１０５と同様に位相差検出方式ＡＦを採用している。その構成について説明する。

図１に示す撮像素子１４の構成を図２Ａ〜２Ｃを用いてより詳細に説明する。図２Ａは、撮像素子１４内の画素２００の構成を示す回路図である。１つの画素２００は、２つのフォトダイオード（ＰＤ）２０１ａ，２０１ｂ、２つの転送スイッチ２０２ａ，２０２ｂ、フローティングディフュージョン領域２０３、増幅部２０４、リセットスイッチ２０５、選択スイッチ２０６を有する。なお、各スイッチはＭＯＳトランジスタ等により構成され得る。以下の説明では各スイッチは一例としてＮ型のＭＯＳトランジスタであるものとするが、各スイッチはＰ型のＭＯＳトランジスタであってもよく、その他のスイッチング素子であってもよい。

このように、本実施形態における撮像素子１４は、１つの画素２００内に、２つのフォトダイオードを有する。ただし、各画素２００に設けられるフォトダイオードの個数は図２Ａに示される２つに限定されず、３つ以上（例えば、４つ）設けられてもよい。本実施形態においてフォトダイオード２０１ａ，２０１ｂは、後述するように、焦点検出画素として機能するとともに、撮像画素としても機能する。

フォトダイオード２０１ａ，２０１ｂは、図２Ｂに示す同一のマイクロレンズ２３６を通過した光を受光し、光電変換によりその受光量に応じた信号電荷を生成する光電変換部として機能する。フォトダイオード２０１ａにより得られる信号をＡ信号、フォトダイオード２０１ｂにより得られる信号をＢ信号と呼ぶ。

転送スイッチ２０２ａはフォトダイオード２０１ａとフローティングディフュージョン領域２０３との間に接続され、転送スイッチ２０２ｂはフォトダイオード２０１ｂとフローティングディフュージョン領域２０３との間に接続される。転送スイッチ２０２ａ，２０２ｂは、それぞれフォトダイオード２０１ａ，２０１ｂで発生した電荷を共通のフローティングディフュージョン領域２０３に転送する素子である。転送スイッチ２０２ａ，２０２ｂは、それぞれ制御信号ＴＸ＿Ａ、ＴＸ＿Ｂによって制御される。

フローティングディフュージョン領域２０３は、フォトダイオード２０１ａ，２０１ｂから転送された電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部として機能する。

増幅部２０４は、ソースフォロワＭＯＳトランジスタである。増幅部２０４のゲートは、フローティングディフュージョン領域２０３に接続され、増幅部２０４のドレインは電源電位ＶＤＤを供給する共通電源２０８に接続される。増幅部２０４は、フローティングディフュージョン領域２０３に保持された電荷に基づく電圧信号を増幅して、画像信号として出力する。

リセットスイッチ２０５は、フローティングディフュージョン領域２０３と共通電源２０８との間に接続される。リセットスイッチ２０５は、制御信号ＲＥＳによって制御され、フローティングディフュージョン領域２０３の電位を電源電位ＶＤＤにリセットする機能を有する。

選択スイッチ２０６は、増幅部２０４のソースと垂直出力線２０７の間に接続される。選択スイッチ２０６は、制御信号ＳＥＬによって制御され、増幅部２０４で増幅された画像信号を垂直出力線２０７に出力する。

図２Ｃは、撮像素子１４の構成を示す図である。撮像素子１４は、画素アレイ２３４、垂直走査回路２０９、電流源負荷２１０、読み出し回路２３５、共通出力線２２８，２２９、水平走査回路２３２、データ出力部２３３を有する。

画素アレイ２３４は、行列状に配置された複数の画素２００を有する。図２Ｃには説明を簡略化するために、水平方向にｎ画素、垂直方向に４画素を示しているが、画素２００の行数及び列数は任意である。また、各画素２００には複数色のカラーフィルタのうちいずれか１つが設けられている。図２Ｃに示す例では、カラーフィルタの色は赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）とする。これらの各画素２００はベイヤー配列に従って配置される。また、本実施形態における撮像素子１４は画素アレイ２３４の一部が遮光層で遮光された領域（ＯＢ）を持つ。

垂直走査回路２０９は、行ごとに設けられた駆動信号線２０８を介して、各行の画素２００に制御信号を出力する。なお、図２Ｃでは、駆動信号線２０８は、簡略化のため行ごとに１本ずつ図示されているが、実際には行ごとに複数の駆動信号線が接続される。

同じ列の画素２００は列ごとに設けられた垂直出力線２０７に共通接続される。各画素２００から出力される信号は、この垂直出力線２０７を介して読み出し回路２３５に入力され、読み出し回路２３５で処理される。電流源負荷２１０は各列の垂直出力線２０７に接続される。

水平走査回路２３２は、制御信号ｈｓｒ（０）〜ｈｓｒ（ｎ−１）を出力することにより、複数の読み出し回路２３５の中から信号を出力させる列を順次選択する。選択された列の読み出し回路２３５は、共通出力線２２８，２２９を介してデータ出力部２３３に処理した信号を出力する。

次に、読み出し回路２３５の具体的な回路構成について説明する。読み出し回路２３５は、クランプ容量２１１、フィードバック容量２１４〜２１６、オペアンプ２１３、基準電圧源２１２、スイッチ２１７〜２２０を有する。また、比較器２２１、Ｌａｔｃｈ＿Ｎ２２２、Ｌａｔｃｈ＿Ｓ２２３、スイッチ２２６，２２７を有する。

垂直出力線２０７により読み出し回路２３５に入力される信号はクランプ容量２１１を介してオペアンプ２１３の反転入力端子に入力される。オペアンプ２１３の非反転入力端子には、基準電圧源２１２から基準電圧Ｖｒｅｆが供給される。フィードバック容量２１４〜２１６はオペアンプ２１３の反転入力端子と出力端子の間に接続される。スイッチ２１７もオペアンプ２１３の反転入力端子と出力端子の間に接続され、フィードバック容量２１４〜２１６の両端をショートさせる機能を有する。スイッチ２１７は制御信号ＲＥＳ＿Ｃにより制御される。また、スイッチ２１８〜２２０は制御信号ＧＡＩＮ０〜２で制御される。

比較器２２１にはオペアンプ２１３の出力信号と、ランプ信号発生器２３０から出力されるランプ信号２２４が入力される。Ｌａｔｃｈ＿Ｎ２２２はノイズレベル（Ｎ信号）を保持するための記憶素子であり、Ｌａｔｃｈ＿ＳはＡ信号およびＡ信号とＢ信号が加算されたＡＢ信号の信号レベル（Ｓ信号）を保持するための記憶素子である。Ｌａｔｃｈ＿Ｎ２２２とＬａｔｃｈ＿Ｓ２２３は、それぞれ制御信号ＬＡＴＥＮ＿Ｎ，ＬＡＴＥＮ＿Ｓで制御され、比較器２２１の出力信号と、カウンタ２３１から出力されるカウンタ値２２５とが入力される。Ｌａｔｃｈ＿Ｎ２２２とＬａｔｃｈ＿Ｓ２２３の出力端子はスイッチ２２６，２２７を介してそれぞれ共通出力線２２８，２２９に接続される。共通出力線２２８，２２９はデータ出力部２３３に接続される。

スイッチ２２６，２２７は水平走査回路２３２からの制御信号ｈｓｒ（ｈ）信号で制御される。ここで、ｈは制御信号線が接続されている読み出し回路２３５の列番号を示す。Ｌａｔｃｈ＿Ｎ２２２とＬａｔｃｈ＿Ｓ２２３に保持された信号は、共通出力線２３８，２２９、データ出力部２３３を介して外部へ出力される。この動作を水平転送と呼ぶ。

なお、本実施形態の撮像素子は以下の２種類の読み出しモードを有する。第１の読み出しモードは全画素読み出しモードと称するもので、高精細静止画を撮像するためのモードである。この場合は、全画素の信号が読み出される。

第２の読み出しモードは間引き読み出しモードと称するもので、動画記録、もしくはプレビュー画像の表示のみを行なうためのモードである。この場合に必要な画素数は全画素数よりも少ないため、画素群はＸ方向及びＹ方向ともに所定比率に間引いた画素のみ読み出される。また、高速に読み出す必要がある場合にも、同様に間引き読み出しモードを用いる。Ｘ方向に間引く際には、信号の加算を行いＳ／Ｎの改善を図り、Ｙ方向に対する間引きは、間引かれる行の信号出力を無視する。

図３Ａ、図３Ｂは、本実施形態の撮像装置において、撮影光学系の射出瞳面と、像高ゼロすなわち像面中央近傍に配置された撮像素子の光電変換部の共役関係を説明する図である。撮像素子内の光電変換部と撮影光学系の射出瞳面は、オンチップマイクロレンズによって共役関係となるように設計される。そして撮影光学系の射出瞳は、一般的に光量調節用の虹彩絞りが置かれる面とほぼ一致する。一方、本実施形態の撮影光学系は変倍機能を有したズームレンズであるが、光学タイプによっては変倍操作を行なうと、射出瞳の像面からの距離や大きさが変化する。図３Ａにおける撮影光学系は、焦点距離が広角端と望遠端の中間、すなわちＭｉｄｄｌｅの状態を示している。これを標準的な射出瞳距離Ｚｅｐと仮定して、オンチップマイクロレンズの形状や、像高（Ｘ、Ｙ座標）に応じた偏心パラメータの最適設計がなされる。

図３Ａにおいて、１０１はレンズ３１１を構成する第１レンズ群、１０１ｂは第１レンズ群を保持する鏡筒部材、１０５はレンズ３１１を構成する第３レンズ群、１０５ｂは第３レンズ群を保持する鏡筒部材である。３１２は絞りで、３１２ａは絞り開放時の開口径を規定する開口板、３１２ｂは絞り込み時の開口径を調節するための絞り羽根である。なお、撮影光学系を通過する光束の制限部材として作用する１０１ｂ，３１２ａ，３１２ｂ，１０５ｂは、像面から観察した場合の光学的な虚像を示している。また、絞り３１２の近傍における合成開口をレンズの射出瞳と定義し、前述したように像面からの距離をＺｅｐとしている。

被写体像を光電変換するための画素２１１０は、像面中央近傍に配置されており、本実施形態では、中央画素と呼ぶ。中央画素２１１０は、最下層より、光電変換部２０１ａ，２０１ｂ、配線層２１１０ｅ〜２１１０ｇ、カラーフィルタ２１１０ｈ、オンチップマイクロレンズ２３６の各部材で構成される。そして２つの光電変換部はオンチップマイクロレンズ２３６によって撮影光学系の射出瞳面に投影される。また別の言い方をすれば、撮影光学系の射出瞳が、オンチップマイクロレンズ２３６を介して、光電変換部の表面に投影されることになる。

図３Ｂは、撮影光学系の射出瞳面上における、光電変換部の投影像を示した図で、光電変換部２０１ａ及び２０１ｂに対する投影像は各々ＥＰ１ａ及びＥＰ１ｂとなる。また本実施形態では、撮像素子は、２つの光電変換部２０１ａと２０１ｂのいずれか一方の出力と、両方の和の出力を得ることができる画素を有している。両方の和の出力は、撮影光学系のほぼ全瞳領域である投影像ＥＰ１ａ，ＥＰ１ｂの両方の領域を通過した光束を光電変換したものである。投影像ＥＰ１ａを第１の瞳領域と呼び、投影像ＥＰ１ｂを第２の瞳領域と呼ぶ。

図３Ａで、撮影光学系を通過する光束の最外部をＬで示すと、光束Ｌは、絞りの開口板３１２ａで規制されており、投影像ＥＰ１ａ及びＥＰ１ｂは撮影光学系でケラレがほぼ発生していない。図３Ｂでは、図３Ａの光束Ｌを、ＴＬで示している。ＴＬで示す円の内部に、光電変換部の投影像ＥＰ１ａ，ＥＰ１ｂの大部分が含まれていることからも、ケラレがほぼ発生していないことがわかる。光束Ｌは、絞りの開口板３１２ａでのみ制限されているため、ＴＬは、３１２ａと言い換えることができる。この際、像面中央では各投影像ＥＰ１ａ，ＥＰ１ｂのけられ状態は光軸に対して対称となり、各光電変換部２０１ａ及び２０１ｂが受光する光量は等しい。

以上図２Ａ〜図３Ｂを用いて説明した様に、撮像素子１４は撮像のみの機能だけではなく焦点検出装置としての機能も有している。また、焦点検出方法としては、射出瞳を分割した光束を受光する焦点検出用画素を備えているため、位相差検出方式ＡＦを行うことが可能である。

図４は、撮影範囲４００内における焦点検出領域４０１を示す図で、この３つの焦点検出領域内で撮像素子１４による位相差検出方式ＡＦが行われる。焦点検出領域４０１内では、撮影範囲４００内の水平方向のコントラスト差を用いて位相差検出を行う。

なお本実施形態では、撮像素子１４の１画素が、複数の光電変換部を持つように説明したが、焦点検出画素の実現方法はこれに限定されるものではない。例えば、撮像素子１４の画素が、互いに異なる一部を遮光された光電変換部を持ち、焦点検出専用の画素として配置されるように構成してもよい。

図５は、本実施形態における一対の焦点検出信号の例を示す図である。一対の焦点検出信号４３０ａ，４３０ｂは、撮像素子１４から得られた画素信号（Ａ信号、Ｂ信号）に対して、画像処理回路２０よる各種の画像処理（補正）が施された信号である。一対の焦点検出信号４３０ａ，４３０ｂは、ＡＦ部４２へ送られる。

図５において、横軸は連結された信号の画素配列方向、縦軸は信号の強度をそれぞれ示す。ここでは、撮影レンズ３００の焦点が撮像素子１４に対してデフォーカスした状態（非合焦状態）である。このため、焦点検出信号４３０ａは左側にずれ、焦点検出信号４３０ｂは右側にずれている。ＡＦ部４２は、焦点検出信号４３０ａ，４３０ｂのずれ量（相対ずれ量）を周知の相関演算などを用いて算出する。これにより、撮影光学系のピント状態を示すデフォーカス量を求めることができる。

システム制御回路５０は、レンズシステム制御回路３４６から送信されたレンズ３１１内のフォーカスレンズの位置情報およびＡＦ部４２から得られるデフォーカス量に基づいて、フォーカスレンズの駆動量を算出する。その後、システム制御回路５０は、レンズ３１１内のフォーカスレンズの位置情報に基づいて、レンズシステム制御回路３４６及びフォーカス制御部３４２に対して、フォーカスレンズを駆動するべき位置情報を送信する。これにより、焦点調節を行うことが可能となる。

次に、図６は、本実施形態におけるカメラ１００の動作を示すフローチャートであり、カメラ１００のライブビュー状態で撮影を行う際のメインフローを示している。図６の各ステップは、主にシステム制御回路５０の指令に基づいて実行される。

図６においてライブビュー撮影が開始されると、まずステップＳ１において、システム制御回路５０は、撮像素子１４の撮像動作を開始して、撮像データ（画素信号）を取得する。続いてステップＳ２において、システム制御回路５０は、ステップＳ１において得られた撮像データから、画像データ（画像信号）および焦点検出データ（焦点検出信号）を取得する。前述のように、本実施形態の撮像素子１４は、１つの画素から、画像信号のデータに加えて、焦点検出信号のデータを取得可能である。

続いてステップＳ３において、システム制御回路５０は、ステップＳ２において得られた画像データに基づいて、プレビュー画像を画像表示部２８に表示する、所謂ライブビュー表示を行う。撮影者は、このプレビュー画像を目視して撮影時の構図を決定する。ここで行うライブビュー表示は、撮影者が撮影範囲や撮影条件の確認を行うために行われ、所定の時間間隔で更新される。例えば、３３．３ｍｓ（３０ｆｐｓ）や１６．６ｍｓ（６０ｆｐｓ）の時間間隔で更新される。

続いてステップＳ４において、システム制御回路５０（ＡＦ部４２）は、図４に示される３つの焦点検出領域における焦点検出データを用いて焦点検出処理を行う。すなわちＡＦ部４２は、図５に示されるような焦点検出信号のずれ量に基づいて、デフォーカス量を算出するまでの処理を焦点検出処理として行う。

続いてステップＳ５において、システム制御回路５０は、撮影準備開始を示すスイッチＳＷ１のオン／オフを検出する。操作部７０の一つであるシャッタースイッチ（撮影トリガスイッチ）は、そのスイッチの押し込み量に応じて、２段階のオン／オフを検出することが可能である。スイッチＳＷ１は、シャッタースイッチの１段階目のオンで検出可能に構成されている。ステップＳ５においてスイッチＳＷ１のオンが検出されない場合、ステップＳ１０に進む。ステップＳ１０において、システム制御回路５０は、メインスイッチがオフされたか否かを判定する。メインスイッチがオフされていない場合、ステップＳ２に戻る。一方、メインスイッチがオフされた場合、本フローを終了する。

一方、ステップＳ５においてスイッチＳＷ１のオンが検出されると、ステップＳ６に進む。ステップＳ６において、システム制御回路５０は、焦点検出領域を設定する。焦点検出領域は、撮影者が指示する焦点検出領域に設定することができる。または、ステップＳ４において得られた３つの焦点検出領域のデフォーカス量の情報や焦点検出領域の撮影範囲中心からの距離の情報を用いて、システム制御回路５０が焦点検出領域を自動的に設定するように構成してもよい。一般に、撮影者が意図する被写体は、より撮影距離の短い位置に存在する確率が高く、撮影範囲内の中央に存在する確率が高い。このため、システム制御回路５０が焦点検出領域を設定する場合、そのような焦点検出領域が優先的に選択されることが好ましい。

次にステップＳ７において、システム制御回路５０（ＡＦ部４２）は、焦点調節処理を行う。ステップＳ７の焦点調節処理の詳細については後述する。ステップＳ７の焦点調節処理が終了すると、ステップＳ８に進む。

ステップＳ８において、システム制御回路５０は、撮影開始指示を示すスイッチＳＷ２のオン／オフを検出する。操作部７０の一つであるシャッタースイッチは、そのスイッチの押し込み量に応じて、２段階のオン／オフを検出することが可能である。スイッチＳＷ２は、シャッタースイッチの２段階目のオンで検出可能に構成されている。ステップＳ８においてスイッチＳＷ２のオンが検出されない場合、スイッチＳＷ２のオンが検出されるまでステップＳ８において撮影待機状態を維持する。一方、ステップＳ８においてスイッチＳＷ２のオンが検出されると、ステップＳ９に進む。ステップＳ９において、システム制御回路５０は、撮影サブルーチンを実行する。ステップＳ９の撮影サブルーチンの詳細については後述する。

ステップＳ９において撮影サブルーチンが終了すると、ステップＳ１０に進む。ステップＳ１０において、システム制御回路５０は、メインスイッチがオフされたか否かを判定する。メインスイッチがオフされていない場合、ステップＳ２に戻る。一方、メインスイッチがオフされた場合、本フローの一連の動作を終了する。

次に、図７を参照して、図６のステップＳ７の焦点調節処理について説明する。図７は、焦点調節処理を示すフローチャートである。図７の各ステップは、主にシステム制御回路５０の指令に基づいて実行される。

焦点調節処理が開始されると、ステップＳ２０１において、システム制御回路５０は、事前に行われた焦点検出結果の取得を行う。図６のステップＳ４及びＳ６で設定された焦点検出領域のデフォーカス量を取得する。また、得られたデフォーカス量の信頼性が高いか否かも同時に判定する。信頼性の判定は、信頼性判定手段としてのシステム制御回路５０が行う。具体的には、信頼性の判定として、周知の相関量の極小値の大きさと極小値近傍の相関量の差分の大きさを用いた判定などを行う。

相関量とは、１対の焦点検出信号の領域ごとの相関度合いを示すもので、相関が高いほど小さい値を示す。そのため、相関量ＣＯＲの極小値の大きさについては、極小値が小さければ小さいほど信頼性が高いと判定する。理想的には、相関量ＣＯＲの極小値は、１対の焦点検出信号が完全に同一形状である場合に０となる。しかしながら、１対の焦点検出信号は、被写体からの光の拡散特性や光量調整誤差や画素ごとに個別に生じるノイズの影響などにより、形状が異なる。そのため、相関量ＣＯＲの極小値は、正の値となるのが一般的である。一方で、１対の焦点検出信号の形状が異なれば異なるほど、極小値の検出精度が悪化し、結果的に焦点検出精度が悪化する。ここで行う信頼性判定では、１つの方法として、閾値Ｔｈｒ１よりも相関量ＣＯＲの極小値が小さければ、信頼性が高いと判定する。

また、相関量が極小値を示す領域近傍で得られた相関量の差分ＤＣＯＲを用いた信頼性判定を行う。相関量の差分ＤＣＯＲは、大きければ大きいほど、シフト量を高精度に算出することができる。これは、相関量が誤差によりばらついた場合でも、相関量の差分が大きければ、シフト量の検出に与える影響が小さいためである。このことから、閾値Ｔｈｒ２より相関量の差分ＤＣＯＲが大きい場合に、信頼性が高いと判定することができる。

次に、ステップＳ２０２において、信頼性の高いデフォーカス量が検出できているか否かを判定する。信頼性の高いデフォーカス量が検出できている場合には、ステップＳ２０３に進み、検出されたデフォーカス量が所定の閾値以下で、合焦状態にあるか否かを判定する。合焦状態ではないと判定された場合、ステップＳ２０３でＮｏとなり、ステップＳ２０４に進み、検出されたデフォーカス量に基づくフォーカスレンズの駆動を行う。

ステップＳ２０３で、検出されたデフォーカス量が所定の閾値以下で、合焦状態にあると判定された場合（Ｓ２０３でＹｅｓ）には、ステップＳ２０５に進み、画像表示部２８に、合焦表示を行う。例えば、焦点検出領域と対応した枠を、緑の色で表示したり、音を出力したりする。

一方で、ステップＳ２０２で、信頼性の高いデフォーカス量が検出できていない場合、ステップＳ２０６に進み、絞り状態変更要否判定手段であるシステム制御回路５０は、絞り込み要否判定を行う。本実施形態では、開放絞り状態（第１の絞り開口状態）で信頼性の高いデフォーカス量が検出できない場合に、絞り込みを行い第２の絞り開口状態へ移行する。これにより、検出可能なデフォーカス範囲を拡大し、誤った方向へのレンズ駆動の頻度を低減し、高速な焦点調節を実現する。但し、絞り込みを行い第２の絞り開口状態でもなお、焦点検出が不可能な場合には、絞り込みに要した時間分、焦点調節の応答性を損ねる。ステップＳ２０２では、不要な絞込みの頻度を低減するために、絞り込みの要否を判定する。詳細は後述する。

絞り込みの要否判定を終えると、ステップＳ２０７に進み、絞り込み量の算出を行う。上述の通り絞込みには一定の時間が必要となるため、必要最低限の絞り込み量を検出し、駆動を行うことで、絞り込みによる焦点調節の応答性低下を最低限にすることができる。本実施形態では、ステップＳ２０７で最適な絞込み量の算出を行う。ステップＳ２０６で絞込み不要と判定されている場合に、ステップＳ２０７はスキップしても構わない。

次に、ステップＳ２０８において、ステップＳ２０６での判定結果に基づいて、絞りを絞るか否かの判定を行う。絞りを絞り込む場合（Ｓ２０８でＹｅｓ）、ステップＳ２０９に進み、ステップＳ２０７で算出された絞り込み量に基づき、絞りを駆動する。その後、ステップＳ２１０に進み、焦点検出処理を行う。ここで行う処理は、図６のステップＳ４で行われる処理と同様である。また、焦点検出の信頼性も同時に判定する。

ステップＳ２１０の焦点検出処理を終えると、ステップＳ２１１に進み、信頼性の高いデフォーカス量が得られたか否かを判定する。信頼性の高いデフォーカス量が得られた場合（Ｓ２１１でＹｅｓ）には、ステップＳ２１２に進み絞り開放判定を行う。絞り込み時（第２の絞り開口状態）には、絞り開放時（第１の絞り開口状態）に比べて、検出可能なデフォーカス量が大きいため、より速くフォーカスレンズを駆動しても合焦位置を通り過ぎる懸念が少ない。ステップＳ２１２では、検出されるデフォーカス量が、所定の閾値以下になるまでは、絞り込みを行った状態（第２の絞り開口状態）でレンズ駆動を行うため、絞りを開放状態にするべきか否かの判定を行う。

ステップＳ２１３では、ステップＳ２１２の判定結果に基づいて、絞りを開くか否かを判定する。絞りを開く場合には、ステップＳ２１４に進み、絞りを開放状態（第１の絞り開口状態）に駆動する。その後、ステップＳ２１５に進み、図６のステップＳ４と同様に焦点検出処理を行う。ステップＳ２１５で焦点検出処理を終えると、ステップＳ２０３以降の処理を、上述した場合と同様に行う。

一方で、ステップＳ２１３で絞りを開かないと判定された場合には、ステップＳ２１６に進み、ステップＳ２１０で検出されたデフォーカス量に基づき、フォーカスレンズの駆動を行う。ステップＳ２１６を終えると、ステップＳ２１０に戻り、引き続き第２の絞り開口状態での焦点検出処理を行う。

ステップＳ２１０で信頼性の高いデフォーカス量が得られなかった場合には、ステップＳ２１１でＮｏとなり、ステップＳ２１７に進む。ステップＳ２１７では、非合焦と判定する前に、サーチ駆動が必要か否かを判定する。本実施形態では、第１の絞り開口状態と第２の絞り開口状態の両方で、焦点検出を行っている。焦点検出時に得られる信号や評価値から、サーチ駆動を行っても合焦状態に移行できる可能性が少ないと判定できる場合がある。例えば、絞り込み前後で焦点検出信号の明暗差（コントラスト）が変わらない場合などは、サーチ駆動を行っても合焦状態に移行できる可能性が低く、サーチ駆動を行う必要はないと判定できる。もしくは、被写体信号の所定の周波数成分の変化などを検出して、変化が少ない場合に、サーチ駆動は不要と判定してもよい。このような判定が可能になるのは、絞りの変化は、主に被写体光束の焦点深度にのみ影響を与えるためである。絞り込むことにより被写体光束の焦点深度が深くなり、焦点検出信号の明暗差が大きくなったり、所定の周波数成分の信号量が増えたりすることにより、検出可能なデフォーカス量が拡大する。反対に、焦点検出信号の明暗差や信号量に変化が少ない場合には、そもそもコントラストの高い被写体のパターン（模様）が焦点検出領域内に存在しないことが推定される。このことを利用して、ステップＳ２１７では、サーチの要否判定を行う。

ステップＳ２１７で、サーチ不要と判定されると、ステップＳ２２０に進み、画像表示部２８に非合焦表示を行う。例えば、焦点検出領域と対応した枠を、赤の色で表示したり、合焦表示時とは異なる音を出力したりする。

一方で、ステップＳ２１７でサーチが必要と判定された場合には、ステップＳ２１８に進み、サーチ駆動を開始し、レンズ駆動を行いながら、焦点検出処理を行う。ここで行う焦点検出処理も図６のステップＳ４で行った処理と同様である。ステップＳ２１８で焦点検出を終えると、ステップＳ２１９でフォーカスレンズがレンズ駆動範囲の端部に到達しているか否かを判定する。フォーカスレンズがレンズ駆動範囲の端部に到達していない場合には、ステップＳ２１０に戻り焦点検出処理とサーチ駆動を継続する。ステップＳ２１９でフォーカスレンズがレンズ駆動範囲の端部に到達している場合は、合焦可能な被写体は、レンズ駆動範囲内に存在しないと判定し、ステップＳ２２０に進み、非合焦表示を行う。ステップＳ２１９では、レンズ駆動範囲の端部の両端を検出した際にステップＳ２２０に進んでもよいし、例えば、至近側の被写体の合焦可能な端部一方のみを検出した場合に、ステップＳ２２０に進んでもよい。一方の端部のみを検出するか、両方の端部を検出するかは、後述する検出可能なデフォーカス量を用いたレンズ端判定結果により切り替えてもよい。

一方で、ステップＳ２０８で絞りを絞らないと判定された場合には、ステップＳ２１８に進み、サーチ駆動を行う。ステップＳ２１８以降の動作は、上記で説明した動作と同様となる。

ステップＳ２０５での合焦表示、もしくは、Ｓ２２０での非合焦表示を終えると、焦点調節処理のサブルーチンを終了する。本実施形態では、静止画を撮影する場合の処理フローについて説明した。一方、動画の撮影中は、絞り値の変更は記録画像に残るため、絞り込みを禁止するように構成すればよい。

次に、図８を用いて、図６のステップＳ９における撮影サブルーチンについて説明する。図８は、撮影サブルーチンを示すフローチャートである。図８の各ステップは、主にシステム制御回路５０の指令に基づいて実行される。

まずステップＳ３０１において、システム制御回路５０は、光量調節のため絞りを駆動し、露光時間を規定するシャッター１２の制御（絞り・シャッター駆動）を行う。これにより画像の撮像が行われる。続いてステップＳ３０２において、システム制御回路５０は、高画素静止画撮影のための画像読み出し、すなわち全画素の読み出しを行う。続いてステップＳ３０３において、システム制御回路５０（画像処理回路２０）は、読み出した画像信号の欠損画素補間を行う。事前に記憶された欠陥画素の位置情報に基づき補間を行う。欠陥画素としては、画素間の出力オフセットやゲインのバラつきが大きい画素や個別に配置されている場合の焦点検出画素などが含まれる。続いてステップＳ３０４において、画像信号に対してγ補正、色変換、エッジ強調などの画像処理を行い、撮影画像（画像処理後の画像信号）を得る。そしてステップＳ３０５において、システム制御回路５０は、メモリ３０に撮影画像を記録する。

続いてステップＳ３０６において、システム制御回路５０は、ステップＳ３０５において記録した撮影画像に対応させて、カメラ１００の特性情報をメモリ３０およびシステム制御回路５０内のメモリに記録する。カメラ１００の特性情報とは、露光時間情報、現像時の画像処理情報、撮像素子１４の画素の受光感度分布情報、カメラ１００内での撮影光束のケラレ情報等である。また、カメラ１００の特性情報は、カメラ１００と撮影レンズ３００との取り付け面から撮像素子１４までの距離情報、製造誤差情報なども含む。撮像素子１４の画素の受光感度分布情報は、オンチップマイクロレンズ２３６およびフォトダイオード２０１ａ，２０１ｂにより決定されるため、これらの情報を記録してもよい。

続いてステップＳ３０７において、システム制御回路５０は、ステップＳ３０５において記録された撮影画像に対応させて、撮影レンズ３００の特性情報をメモリ３０とシステム制御回路５０内のメモリに記録する。撮影レンズ３００の特性情報としては、例えば、射出瞳の情報、枠情報、撮影時の焦点距離やＦナンバー情報、収差情報、製造誤差情報等である。続いてステップＳ３０８において、システム制御回路５０は、撮影画像に関する画像関連情報をメモリ３０およびシステム制御回路５０内のメモリに記録する。画像関連情報とは、撮影前の焦点検出動作に関する情報や、被写体移動情報、焦点検出動作の精度に関わる情報などである。ステップＳ３０８が終了すると、図６のステップＳ９の撮影サブルーチンを終了し、メインルーチンのステップＳ１０に進む。

次に、図９を用いて、図７のステップＳ２０６における絞込み要否判定について説明する。図９は、絞り込み要否判定のサブルーチンを示すフローチャートである。図９の各ステップは、主にシステム制御回路５０の指令に基づいて実行される。

まずステップＳ４０１において、選択された焦点検出領域におけるＦ値ごとの検出可能なデフォーカス量を算出する。図３Ａで説明した通り、Ｆ値によって、光電変換部の投影像のケラレ具合が変わり、２つの異なる瞳領域の光束の角度差、すなわち、基線長が変化する。小絞りになるほど、基線長は短くなり、単位デフォーカス量に対する像ずれ量は小さくなる。また、撮像素子内における焦点検出領域の位置（像高）によって、撮影光学系によるケラレの影響が異なるため、基線長が変わる。本実施形態では、撮影光学系のＦ値と焦点検出領域の像高を考慮し、Ｆ値毎の検出可能なデフォーカス量を算出する。例えば、開放絞りがＦ２．８のレンズの場合、１段毎にＦ４．０、Ｆ５．６、Ｆ８．０の検出可能なデフォーカス量を算出する。検出可能なデフォーカス量は、事前にＦδ単位でＦ値毎に記憶し、基線長による換算を行い算出すればよい。基線長が短くなると、１対の像のずれ量の検出ばらつきが大きくなる。そのため、検出可能なデフォーカス量が小さくなるため、基線長の長短に合わせて検出可能なデフォーカス量が大小するよう換算を行う。また、検出可能なデフォーカス量を算出するＦ値の範囲は、開放から所定のＦ値までに限定してよい。上述のとおり、小絞りになると基線長が短くなり焦点検出のばらつきが大きくなる。そのため、絞り値が大きくなりすぎると、検出可能なデフォーカス量は大きくならない。本実施形態では、絞り込みによる検出可能なデフォーカス量が拡大する範囲で、絞り値の上限を設ける。

次に、ステップＳ４０２において、レンズ端判定値の算出を行う。まず、現在のフォーカスレンズの位置からレンズ可動範囲の無限端、至近端までのデフォーカス量を取得する。いずれかデフォーカス量が小さい方の端部(端部Ｎ)までのデフォーカス量が、ステップＳ４０１で得られた現在の絞り値での検出可能なデフォーカス量より小さい場合には、現在のフォーカスレンズの位置から、端部Ｎまでの間に、被写体は存在しないと判断する。そのため、レンズの駆動方向としては、端部Ｎとは反対方向とすればよいことが決定できるため、絞り込み不要と判断する。

次に、ステップＳ４０３において、現状のＦ値と絞込み状態のＦ値の差の判定を行う。現状のＦ値における検出可能なデフォーカス量に対して、絞り込み状態のＦ値における検出可能なデフォーカス量の増加量が、所定量より大きくない場合には、絞り込みに必要な時間による弊害の方が大きくなってしまう。そのため、ステップＳ４０３では、現状のＦ値と最大絞込み時のＦ値における検出可能なデフォーカス量の差が所定値より小さい場合、絞り込み不要と判断する。

次に、ステップＳ４０４において、低コントラスト判定値の算出を行う。焦点検出信号のコントラスト（明暗差）が、所定値より小さい場合には、絞り込みによる検出可能なデフォーカス量の増加が見込めない場合がある。例えば、白部と黒部が共に所定量以上の面積を有するエッジ部を被写体とした場合、絞り値の変化は、被写体の光学像のボケ状態の変化に影響を与えるが、コントラストには影響を与えない。そのため、コントラストが低く、輝度変化が少ない被写体信号の場合には、低コントラストと判定し、絞り込み不要と判断する。

次に、ステップＳ４０５において低照度判定値を算出する。撮影や焦点調節を行う環境が低照度の場合、画像表示部２８に表示するライブビュー表示を被写体認識可能にすることや、焦点検出信号の光量を確保することを目的として、フレームレートを下げ、露光時間を長くする対応を行う場合がある。そのような場合に、絞り込みを行うと、より光量が減るため、逆効果となる。ステップＳ４０５では、測光部４６による測光量が、所定量より低い場合には、絞り込み不要と判断する。

次に、ステップＳ４０６において補助光判定値を算出する。補助光は、焦点調節時にコントラストや照度不足を解消するために補助的に発光し、焦点調節を可能にすることを目的としている。そのため、ステップＳ４０５と同様に、補助光を発光する場合には絞り込むと光量の低下の弊害が大きい。ステップＳ４０６では、補助光の発光を行う場合には絞り込み不要と判断する。

次に、ステップＳ４０７において、ステップＳ４０２からステップＳ４０６で行った絞り込み要否の判断に基づき、一つでも絞込み不要と判断されたものがある場合には、ステップＳ４０９に進み、絞り込み不要と判定する。一方で、ステップＳ４０２からステップＳ４０６において、全ての判定で絞り込み必要と判断された場合には、ステップＳ４０８に進み、絞り込み必要と判定する。ステップＳ４０８もしくはステップＳ４０９で絞込みの要否の判定を終えると、絞り込み要否判定のサブルーチンを終了し、図７のステップＳ２０７に進む。

本実施形態においては、絞り込みの要否について、全ての判定条件を勘案した後に、絞り込みの要否を判定しているが、絞り込みの要否は、その都度判定してもよい。それにより不要な判定値の算出を省略することができる。

次に、図１０を用いて、図７のステップＳ２０７の絞込み量の算出について説明する。図１０は、絞り込み量の算出のサブルーチンを示すフローチャートである。図１０の各ステップは、主にシステム制御回路５０の指令に基づいて実行される。

ステップＳ５０１において、ステップＳ４０１と同様に、選択された焦点検出領域におけるＦ値ごとの検出可能なデフォーカス量を算出する。同様の処理のため、説明は省略する。次に、ステップＳ５０２において、レンズ端検出用の絞込みＦ値の算出を行う。まず、現在のフォーカスレンズの位置からレンズ可動範囲の無限端、至近端までのデフォーカス量を取得する。いずれかデフォーカス量が小さい方の端部(端部Ｎ)までのデフォーカス量に対して、検出可能なデフォーカス量が大きくなるような絞り値を、ステップＳ５０１で算出されたＦ値の条件内で探索する。対応可能な絞り条件の中で、最も絞り値の変更量が少ないＦ値を、絞り込みＦ値として算出する。

次に、ステップＳ５０３において、絞込みによる焦点調節の応答性改善の効果を適切に得るための絞込みＦ値の算出を行う。上述のとおり、絞込みには一定の時間がかかる一方、レンズ駆動方向の誤った判断の低減やサーチ駆動時のレンズ駆動速度の高速化を行うことができる。それぞれの弊害と効果の期待値から、適切に絞込みＦ値を設定する必要がある。本実施形態では、無限端から至近端までのデフォーカス量Ｄ（最大デフォーカス量）と、絞り込みＦ値におけるレンズ駆動速度Ｖｆと、現状の絞り値におけるレンズ駆動速度Ｖ０、と絞込みに要する時間Ｔから、Ｆ値を下記のように判定する。

Ｄ／Ｖ０−Ｄ／Ｖｆ＞ｋ×Ｔ …（式１）
Ｆ値毎に、レンズ駆動速度を変更して判定を行い、（式１）を満たすＦ値の中で、最も絞り値の変更が少ないＦ値を、絞り込みＦ値として算出する。ｋは定数で、適切な判定を行うために、事前に設定すればよい。（式１）では、レンズ駆動時間の低減効果が、絞り込み時間のデメリットよりも大きいことを判定している。

ステップＳ５０３を終えると、ステップＳ５０２、ステップＳ５０３で算出された絞り値の中で値が大きい絞り値を、絞り込みＦ値として設定し、絞り込み量の算出のサブルーチンを終了する。本実施形態では、絞り込みによる効果が得られる範囲で、絞り込み量を最低限とすることにより、絞り込みに必要な時間を低減することができる。

次に、図１１を用いて、図７のステップＳ２１２における絞り開放判定について説明する。図１１は、絞り込み開放判定のサブルーチンを示すフローチャートである。図１１の各ステップは、主にシステム制御回路５０の指令に基づいて実行される。

ステップＳ６０１において、焦点検出領域の情報を取得する。焦点検出領域が、撮影者によって選択された撮影範囲内で位置が固定された領域であるか、人物の顔のような被写体検出結果によって撮影範囲内で位置が変動する領域であるかを取得する。絞り込んだ状態で可能であった被写体検出が、絞りを開放にしてよりボケた状態で可能である保証はない。本実施形態では、焦点検出領域をカメラが自動的に検出して設定しているような場合には、絞りを開放に駆動した場合にも、継続して被写体検出や焦点検出領域の設定が可能となるように制御を行う。

ステップＳ６０２において、絞りを開放にする際のデフォーカス量の閾値を設定する。焦点検出領域が固定の場合に対して、被写体検出などで焦点検出領域を設定する場合は、閾値となるデフォーカス量を小さく設定する。次に、ステップＳ６０３において、ステップＳ２１０で得られたデフォーカス量が閾値以下であるか否かを判定する。閾値以下である場合には、ステップＳ６０４に進み、絞りを開く必要が有ると判定し、閾値より大きい場合には、ステップＳ６０５に進み、絞りは現状維持と判定する。ステップＳ６０４もしくはステップＳ６０５で、絞り開放判定を終えると、絞り込み開放判定のサブルーチンを終了する。

本実施形態では、絞り込み状態でも被写体検出や撮影者による焦点検出領域の追尾開始位置の指定が可能である前提で、絞り込み開放判定のサブルーチンの説明を行った。しかし、絞り込み時は、焦点検出領域の設定や変更、被写体検出などの処理を行わないようにしてもよい。これにより、演算処理の負荷を減らすことができる。また、絞り開放判定として、絞り込み状態で、焦点検出可能な状態から不可能な状態に遷移した場合に、絞りを開放状態に変更するように構成してもよい。

上述の実施形態では、１つの焦点検出領域が設定されている場合について説明した。但し、焦点検出領域は、同時に多数設定されることもあり得る。その場合には、全焦点検出領域で焦点検出が不可能な場合に、絞り込み要否の判定などを行えばよい。もしくは、複数の焦点検出領域に中央付近を優先するなどといった優先度を設け、優先度の高い焦点検出領域で焦点検出が不可能な場合に、絞り込み要否の判定などを行えばよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１２：シャッター、１４：撮像素子、２０：画像処理部、４２：ＡＦ部、５０：システム制御回路、１００：カメラ、３００：撮影レンズ、３１１レンズ、３１２：絞り、３４６：レンズシステム制御回路

Claims (20)

1. 撮影光学系の互いに異なる瞳領域を通過した光束に基づいて、一対の像信号を取得することが可能な撮像素子と、
   前記一対の像信号の位相差に基づいて、前記撮影光学系の焦点状態を検出する焦点検出手段と、
   焦点検出の信頼度を判定する信頼度判定手段と、
   前記撮影光学系の絞りの開口を制御する制御手段と、を備え、
   前記制御手段は、前記絞りの開口が第１の絞り開口状態に制御された状態で行われた前記焦点検出の信頼度が閾値よりも低いと前記信頼度判定手段により判定された場合、前記第１の絞り開口状態よりも前記絞りが絞り込まれた第２の絞り開口状態に変更するように制御し、且つ前記第１の絞り開口状態で検出可能なデフォーカス量と前記第２の絞り開口状態で検出可能なデフォーカス量の差が所定値より小さい場合には、前記第２の絞り開口状態に変更しないように制御することを特徴とする撮像装置。
2. 前記焦点検出手段による焦点検出の結果に基づいて、前記撮影光学系のフォーカスレンズを駆動して焦点調節を行う焦点調節手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
3. 前記第２の絞り開口状態に変更する場合、前記絞り制御手段は前記絞りを前記第２の絞り開口状態へ変更し、前記焦点検出手段は、前記第２の絞り開口状態で前記焦点検出を行うことを特徴とする請求項２に記載の撮像装置。
4. 前記焦点調節手段は、前記第２の絞り開口状態で行われた前記焦点検出の結果に基づいて、前記フォーカスレンズを駆動することを特徴とする請求項３に記載の撮像装置。
5. 前記第１の絞り開口状態における前記フォーカスレンズの駆動速度よりも、前記第２の絞り開口状態における前記フォーカスレンズの駆動速度の方が速いことを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
6. 前記焦点調節手段の焦点調節にかかる時間に関する情報に基づいて、前記第１の絞り開口状態から前記第２の絞り開口状態へ変更する場合の前記絞りの絞り込み量を算出する算出手段をさらに備えることを特徴とする請求項２乃至５のいずれか１項に記載の撮像装置。
7. 前記焦点調節にかかる時間に関する情報は、前記焦点調節手段による焦点調節可能な最大デフォーカス量の情報、前記焦点調節手段による焦点調節可能な範囲の端までのデフォーカス量の情報、前記フォーカスレンズの駆動速度の情報の少なくとも１つであることを特徴とする請求項６に記載の撮像装置。
8. 前記第１の絞り開口状態で検出可能なデフォーカス量と前記第２の絞り開口状態で検出可能なデフォーカス量の差が所定値以上であっても、前記焦点調節手段による焦点調節可能な範囲の端までのデフォーカス量が第２の所定値より小さい場合に、前記第２の絞り開口状態へ変更を行わないことを特徴とする請求項２乃至７のいずれか１項に記載の撮像装置。
9. 前記第１の絞り開口状態で検出可能なデフォーカス量と前記第２の絞り開口状態で検出可能なデフォーカス量の差が所定値以上であっても、前記焦点検出手段で用いられる一対の像信号の明暗差が第３の所定値より小さい場合に、前記第２の絞り開口状態への変更を行わないことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 被写体の明るさを測光する測光手段をさらに備え、前記第１の絞り開口状態で検出可能なデフォーカス量と前記第２の絞り開口状態で検出可能なデフォーカス量の差が所定値以上であっても、前記測光手段により被写体の明るさが第４の所定値より暗いと判定された場合に、前記第２の絞り開口状態への変更を行わないことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 動画を撮影中の場合、前記第２の絞り開口状態への変更を行わないことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 前記絞りを前記第２の絞り開口状態から前記第１の絞り開口状態へ戻す動作を行うか否かを判定する判定手段を有することを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 前記判定手段は、前記第２の絞り開口状態において、前記焦点検出手段により検出されたデフォーカス量が第５の所定値より小さくなるまで、絞りを前記第２の絞り開口状態から前記第１の絞り開口状態へ戻す動作を行わないことを特徴とする請求項１２に記載の撮像装置。
14. 前記焦点検出の信頼性が第１の所定値より低い場合に、前記フォーカスレンズのサーチ駆動を行うか否かを判定する第２の判定手段をさらに備えることを特徴とする請求項２乃至８のいずれか１項に記載の撮像装置。
15. 前記撮像素子は、１つの画素について複数の光電変換部を有することを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
16. 前記撮像素子は、光電変換部の一部が遮光された焦点検出専用の画素を有することを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
17. 前記第１の絞り開口状態は、開放状態であることを特徴とする請求項１乃至１６のいずれか１項に記載の撮像装置。
18. 撮影光学系の互いに異なる瞳領域を通過した光束に基づいて、一対の像信号を取得することが可能な撮像素子を備える撮像装置を制御する方法であって、
    前記一対の像信号の位相差に基づいて、前記撮影光学系の焦点状態を検出する焦点検出工程と、
    焦点検出の信頼度を判定する信頼度判定工程と、
    前記撮影光学系の絞りの開口を制御する制御工程と、を有し、
    前記制御工程では、前記絞りの開口が第１の絞り開口状態に制御された状態で行われた前記焦点検出の信頼度が閾値よりも低いと前記信頼度判定工程において判定された場合、前記第１の絞り開口状態よりも前記絞りが絞り込まれた第２の絞り開口状態に変更するように制御し、且つ前記第１の絞り開口状態で検出可能なデフォーカス量と前記第２の絞り開口状態で検出可能なデフォーカス量の差が所定値より小さい場合には、前記第２の絞り開口状態に変更しないように制御することを特徴とする撮像装置の制御方法。
19. 請求項１８に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
20. 請求項１８に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images