JP5979961B2 - 焦点検出装置、焦点検出方法及び撮像装置 - Google Patents

Description

本発明はマイクロレンズを共有する複数の光電変換部を有する撮像素子を利用して瞳分割像を取得することにより位相差方式の焦点検出を行う技術に関し、特に光電変換部の飽和を検出する技術に関する。

撮像装置における焦点検出方法として、固体撮像素子の１つのマイクロレンズに対応した１つの画素を構成する光電変換部（以下「ＰＤ」と記す）を複数に分割し、撮像と同時に位相差方式の焦点検出を行う技術が知られている。例えば、１つのマイクロレンズを共有する２分割されたＰＤ（以下「分割ＰＤ」と記す）のそれぞれが、瞳分割された画像信号を取得し、位相差方式の焦点検出処理を行う。そして、これと並行して、２つの分割ＰＤの出力加算値を１画素の出力として扱い、撮像用の画像信号を取得する方法が提案されている（特許文献１参照）。

また、上述した分割画素構造における高感度特性改善のために、非破壊読み出しによって分割ＰＤの一方の電荷を読み出した後、２つの分割ＰＤの出力加算値を読み出し、演算によって他方の分割ＰＤの画素値を推定する手法が提案されている（特許文献２参照）。

上述の位相差演算では、輝度信号を用いて演算を行うことにより、被写体色に依存しない相関演算結果を得ることができる。また、特許文献２に記載された技術を用いると、高感度特性が改善される。

特開２００１−８３４０７号公報 特許第４６９１９３０号公報

しかしながら、特許文献２に記載された技術では、一部の分割ＰＤの非破壊読み出しを行った後に全ての分割ＰＤの出力加算値を読み出して差分値を算出するため、読み出した分割画素どうしの間で出力信号のタイミングを合わせる遅延手段が必要となる。その際、遅延手段を色ごとに備える構成にすると、回路規模が大きくなってしまう。この問題を回避する方法としては、各分割ＰＤの信号を予め輝度成分信号に変換した上で遅延手段に入力する方法が考えられ、これにより、遅延手段の節約と焦点検出精度の向上を図ることが可能になると考えられる。

ところで、特許文献１，２に記載の分割ＰＤに飽和が発生した場合、隣接する分割ＰＤに飽和分の電荷が漏れ込む特性があることが知られている。このような特性に起因し、飽和が発生している分割ＰＤと同じマイクロレンズ下に存在する分割ＰＤの信号は、飽和による電荷の漏れ込みによって位相差像の像崩れを起こしてしまう。

この問題を回避するためには、焦点検出処理前にそれぞれの分割ＰＤにおける飽和検出を行い、飽和を考慮した焦点検出処理を行うことが望まれる。しかし、この場合に上述した各分割ＰＤの信号を予め輝度成分信号に変換する構成を用いると、輝度成分信号同士の演算から他の輝度成分信号を算出することになり、算出された輝度成分信号に対応する各分割ＰＤの本来の出力信号を知ることは困難となる。

本発明は、分割ＰＤの加算信号に含まれる複数の分割ＰＤのそれぞれの信号を演算により推定することによって、分割ＰＤ単位での飽和検出を可能にする技術を提供することを目的とする。

本発明に係る焦点検出装置は、１つのマイクロレンズを共有する複数の光電変換部をそれぞれ有する複数の単位画素セルが配列された固体撮像素子と、前記単位画素セルごとに、前記複数の光電変換部のうちの１つの光電変換部に蓄積された電荷の信号を読み出した画素信号の飽和を検出する第１の飽和検出手段と、前記単位画素セルごとに飽和が検出された複数の画素信号から第１の輝度信号を生成する第１の輝度信号生成手段と、前記第１の輝度信号と、前記複数の光電変換部を有する前記単位画素セルから得られた加算画素信号とに基づいて、前記複数の光電変換部のうちの他の光電変換部から出力された他の画素信号を推定する推定手段と、前記推定手段により推定された前記他の画素信号の飽和を検出する第２の飽和検出手段と、前記単位画素セルごとに飽和が検出された複数の他の画素信号から第２の輝度信号を生成する第２の輝度信号生成手段と、前記第１の飽和検出手段により飽和が検出された第１の輝度信号と前記第２の飽和検出手段により飽和が検出された第２の輝度信号とに基づいて前記固体撮像素子に対して設けられる光学系のデフォーカス量を算出する焦点検出処理手段と、を備えることを特徴とする。

本発明によれば、分割ＰＤの加算信号に含まれる複数の分割ＰＤのそれぞれの信号を演算により推定することによって、分割ＰＤ単位での飽和検出を行うことを可能にすることにより、良好な焦点検出が可能になる。

本発明の実施形態に係る撮像装置において主に焦点検出装置に関わる部分の概略構成を示すブロック図である。 図１中の固体撮像素子を構成する単位画素セルの概略構造を示す平面図である。 図１中のＡ像輝度信号生成部の回路構成を示すブロック図である。 図１の撮像装置においてＢ像用画素の輝度成分信号を算出する方法を示すタイミングチャートである。 図１中のＢ像輝度信号算出部の回路構成とＢ像輝度信号算出部での信号処理の内容を示す図である。 図１中のＢ像信号推定部の回路構成と信号処理の内容を示す図である。 図２の分割ＰＤの画素値を使用した合焦動作を模式的に示す図である。 図１の撮像装置で撮影動作が実行される際にＣＰＵが実行するシステム全体の制御を示すフローチャートである。 図８のステップＳ８０１で実行されるライブビュー動作のフローチャートである。 図１の撮像装置が備えるＢ像信号推定部の変形例に係る回路構成と信号処理の内容を示す図である。 図１の撮像装置が備えるＢ像信号推定部でのＢ像信号の推定例を示す第１の図である。 図１の撮像装置が備えるＢ像信号推定部でのＢ像信号の推定例を示す第２の図である。

以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る撮像装置１００において、主に焦点検出装置に関わる部分の概略構成を示すブロック図である。撮像装置１００は、ピントを調整するためのフォーカシングレンズを含む光学レンズ群、シャッタ、絞り、レンズ制御部等で構成される光学系ユニット１０１を備え、光学系ユニット１０１は、後述する駆動制御部１１６からの出力に基づいて駆動される。光学系ユニット１０１を通して、被写体の光学像は固体撮像素子１０２の表面で結像する。固体撮像素子１０２は、後述する単位画素セルが２次元マトリクス状に配列された構造を有し、光学系ユニット１０１が有するシャッタによって、固体撮像素子１０２への露光量が制御される。

ここで、図２を参照して、固体撮像素子１０２における単位画素セルについて説明する。図２は、固体撮像素子１０２を構成する単位画素セルの概略構造を示す平面図である。固体撮像素子１０２を構成する単位画素セル１は、１つのマイクロレンズ２の下側に不図示のカラーフィルタが配置されており、このカラーフィルタの下側に、分割ＰＤ１ａ，１ｂ（分割された２つの光電変換部）が配置された構造を有する。分割ＰＤ１ａ，１ｂは、共有する同一のマイクロレンズ２を介して入射光を撮り込む。そして、分割ＰＤ１ａ，１ｂはそれぞれ、その配置に応じて、瞳分割されたＡ像用画素及びＢ像用画素として扱うことができる。固体撮像素子１０２上には、単位画素セル１がベイヤー配列で繰り返し配置されている。

同一のマイクロレンズ２を共有する分割ＰＤ１ａ，１ｂからは、蓄積された電荷を加算して読み出すことが可能であり、また、蓄積された電荷を分割ＰＤ１ａ，１ｂごとに選択的に非破壊で読み出すことも可能となっている。本実施形態では、固体撮像素子１０２から、最初に、水平方向１ライン分のＡ像用画素信号の非破壊読み出し、つまり、分割ＰＤ１ａからの分割画素信号の非破壊読み出しを行うものとする。そして、これに続いて、固体撮像素子１０２からは、同一ラインのＡ像用画素とＢ像用画素の加算信号の読み出し、つまり、分割ＰＤ１ａ，１ｂからの単位画素信号の読み出しを行うものとする。なお、固体撮像素子１０２からのこれらの信号の読み出し制御は、図１に示すＣＰＵ１１５によって行われる。

撮像装置１００が備えるＡ／Ｄ変換部１０３は、固体撮像素子１０２から出力される電荷の信号であるアナログ信号をデジタル信号（以下「読出画素信号１１７」と記す）に変換して、信号分離部１０４に出力する。信号分離部１０４は、読出画素信号１１７の種別を判定し、Ａ像用画素の読み出し時にはその画素信号であるＡ像信号１１８を、第１の飽和検出手段であるＡ像飽和検出部１０５に出力し、撮像用画素の読み出し時にはその画素信号であるＡ＋Ｂ像信号１１９をＢ像輝度信号算出部１０８に出力する。

Ａ像飽和検出部１０５は、Ａ像信号１１８に対して、予め定められた一定の飽和レベルに達しているか否かを判定し、飽和ビットを付与した上で、第１の輝度信号生成手段であるＡ像輝度信号生成部１０６に出力する。このとき、入力された画素が飽和レベルに達している場合には飽和画素であると判定し、画素信号に飽和ビットとして“１”をＭＳＢ（Most Significant Bit）又はＬＳＢ（Least Significant Bit）に付与する。なお、この飽和ビットの付与は、画素信号の一部を飽和ビットとして取り扱う構成に変更してもよく、極性についても限定するものではない。

Ａ像輝度信号生成部１０６は、Ａ像飽和検出部１０５からの受信信号を輝度信号Ｙの成分信号に変換して、遅延ライン１０７に出力する。ここで、Ａ像輝度信号生成部１０６の回路構成について、図３のブロック図を参照して、水平方向１ライン目を構成するＲＡ及びＧＡが入力された場合の回路動作について説明する。なお、ＲＡ，ＧＡ及び後出のＢＡはそれぞれ、赤，緑，青のカラーフィルタをそれぞれ備えたマイクロレンズ下に存在するＡ像用の分割ＰＤから非破壊で読み出した分割画素信号、つまり、赤，緑，青のＡ像用画素信号を示す。

Ａ像輝度信号生成部１０６には、ＲＡ及びＧＡが、順次、水平方向に入力される。入力されたＲＡ及びＧＡのうち一方はそのまま乗算部３０２に、他方はタイミングを合わせるためのフリップフロップ３０１を介して乗算部３０３に出力される。乗算部３０２，３０３において、ＲＡ及びＧＡには所定の係数Ｋ１及び係数Ｋ２が乗算され、その結果が加算部３０４に出力され、加算部３０４において加算されて、Ａ像用画素の輝度成分信号が生成され、後段の遅延ライン１０７に出力される。

このとき、加算部３０４からの出力は、マルチプレクサ３０５に入力される。

マルチプレクサ３０５には、加算部３０４及び後段のレジスタ３０６から信号が入力される。また、マルチプレクサ３０５は、選択制御入力信号として水平方向画素カウンタ（不図示）が偶数番目であるときに出力される信号（Ｅｖｅｎ）を用い、選択制御入力信号に基づいて、入力信号の一方を選択的に出力する。マルチプレクサ３０５は、Ｅｖｅｎ信号が有効な場合には、加算部３０４からの出力信号を選択して出力し、Ｅｖｅｎ信号が無効な場合にはレジスタ３０６からの出力信号を選択して出力する。こうして、Ｅｖｅｎ信号が有効な場合には、レジスタ３０６の値は更新され、Ｅｖｅｎ信号が無効なときには、レジスタ３０６の値（直前に更新された値）をループさせることによりデータが保持される構成となっている。

なお、ここでは、水平方向１ライン目を入力した場合のみの動作を説明したが、水平方向２ライン目でＧＡ及びＢＡが入力された際には（図４参照）、係数Ｋ１及び係数Ｋ２の値が変わるが、同様の処理が行われる。

遅延ライン１０７は、Ａ像輝度信号生成部１０６から出力されるＡ像輝度信号を信号分離部１０４からＢ像輝度信号算出部１０８への撮像用画素信号であるＡ＋Ｂ像信号１１９の入力タイミングに合わせて、Ｂ像輝度信号算出部１０８に出力する。以下、遅延ライン１０７から出力される信号を「ＹＡ成分信号１２０」と表す。

Ｂ像輝度信号算出部１０８とＢ像信号推定部１０９は、本実施形態に係る焦点検出装置の特徴的な構成要素であり、遅延ライン１０７から受信したＹＡ成分信号１２０と信号分離部１０４から受信したＡ＋Ｂ像信号１１９とに基づいて、Ｂ像用画素信号を推定する。次に、Ｂ像輝度信号算出部１０８とＢ像信号推定部１０９の詳細について説明する。

Ｂ像輝度信号算出部１０８は、図１に示されるように、遅延ライン１０７から受信したＹＡ成分信号１２０と信号分離部１０４から受信したＡ＋Ｂ像信号１１９とに基づいて、ＹＢ成分信号１２１とＡ＋Ｂ像輝度成分信号１２２とを算出し、出力する。なお、ＹＢ成分信号１２１は、Ｂ像用画素の輝度信号Ｙの成分信号であり、Ａ＋Ｂ像輝度成分信号１２２は、Ａ像用画素の輝度成分信号とＢ像用画素の輝度成分信号の加算信号である。

撮像装置１００においてＹＢ成分信号１２１を算出する方法について、図４のタイミングチャートを参照して説明する。なお、図４では、水平方向１ライン目と２ライン目を示しているが、３ライン目以降も同様に算出処理が行われる。

図４に示すＲ（Ａ＋Ｂ），Ｇ（Ａ＋Ｂ），Ｂ（Ａ＋Ｂ）はそれぞれ、ＲＡ，ＧＡ，ＢＡと同様に、赤，緑，青の各色のＡ像用画素及びＢ像用画素の加算画素信号を示している。図４の上段には、Ａ／Ｄ変換部１０３から出力された読出画素信号１１７が示されている。前述の通り、固体撮像素子１０２は、Ａ，Ｂ像用画素に対応する、同一のマイクロレンズ２を共有する２つの分割ＰＤ１ａ，１ｂを備えており、マイクロレンズ２ごとにベイヤー状のカラーフィルタを備えている。Ａ，Ｂ像用画素の輝度信号における赤と緑の成分加算信号であるＹ（Ａ＋Ｂ）（Ｒ，Ｇ）と、Ａ，Ｂ像用画素の輝度信号における緑と青の成分加算信号であるＹ（Ａ＋Ｂ）（Ｇ，Ｂ）は、ＹＢ成分信号１２１の演算に用いられる。Ｙ（Ａ＋Ｂ）（Ｒ，Ｇ）はＲ（Ａ＋Ｂ）及びＧ（Ａ＋Ｂ）から求められ、Ｙ（Ａ＋Ｂ）（Ｇ，Ｂ）は、Ｇ（Ａ＋Ｂ）及びＢ（Ａ＋Ｂ）から求められる。

図３の中段に示すＹＡ成分信号１２０は、図３を参照して説明した通り、Ａ像用画素の輝度信号であり、赤と緑の成分加算信号であるＹＡ（Ｒ，Ｇ）と、緑と青の成分信号の加算信号であるＹＡ（Ｇ，Ｂ）とを含む。ＹＡ（Ｒ，Ｇ）は、ＲＡ，ＧＡ（赤と緑のＡ像用画素信号）から求められ、ＹＡ（Ｇ，Ｂ）は、ＧＡ，ＢＡ（緑と青のＡ像用画素信号）から求められる。

Ｂ像用画素の輝度信号であるＹＢ成分信号１２１は、赤と緑の成分加算信号であるＹＢ（Ｒ，Ｇ）と、緑と青の成分加算信号であるＹＢ（Ｇ，Ｂ）とを含む。ＹＢ（Ｒ，Ｇ）は、Ｙ（Ａ＋Ｂ）（Ｒ，Ｇ）からＹＡ（Ｒ，Ｇ）を減算することにより求められ、ＹＢ（Ｇ，Ｂ）は、Ｙ（Ａ＋Ｂ）（Ｇ，Ｂ）からＹＡ（Ｇ，Ｂ）を減算することによって求められる。

ＹＢ成分信号１２１を算出する具体的な処理は以下の通りである。すなわち、固体撮像素子１０２の水平方向１ライン目の非破壊読み出しにより、ＲＡ，ＧＡが読み出される。読み出されたＲＡ，ＧＡは、焦点検出に使用される輝度信号Ｙの成分信号に変換され、ＹＡ（Ｒ，Ｇ）が生成される。非破壊読み出しが完了すると、固体撮像素子１０２を構成する分割ＰＤ１ａ，１ｂからの出力加算値としてＲ（Ａ＋Ｂ），Ｇ（Ａ＋Ｂ）が読み出され、Ｙ（Ａ＋Ｂ）（Ｒ，Ｇ）が加算によって求められる。このとき、ＹＢ（Ｒ，Ｇ）を演算によって求めるために、ＹＡ（Ｒ，Ｇ）は１ライン分の遅延を持ってＹ（Ａ＋Ｂ）（Ｒ，Ｇ）から減算される。これと同様に、カラーフィルタをＲ，ＧからＧ，Ｂに変更して、水平方向２ライン目について処理が行われる。

次に、Ｂ像輝度信号算出部１０８の回路構成を示した図５を参照して、Ｂ像輝度信号算出部１０８で実行される信号処理について説明する。ここでは、水平方向１ライン目を構成するＲＡ及びＧＡが入力された場合について説明を行うものとする。

Ｂ像輝度信号算出部１０８には、遅延ライン１０７から出力されたＹＡ成分信号１２０のＹＡ（Ｒ，Ｇ）と、信号分離部１０４から出力されたＡ＋Ｂ像信号１１９のＲ（Ａ＋Ｂ）及びＧ（Ａ＋Ｂ）が入力される。ＹＡ（Ｒ，Ｇ）は、そのまま後段へ出力される経路と、加算部５０１へ入力される経路とに分岐する。また、Ｒ（Ａ＋Ｂ）及びＧ（Ａ＋Ｂ）は、そのまま後段へ出力される経路と、Ａ＋Ｂ像輝度信号生成部５０２へ入力される経路とに分岐される。

Ａ＋Ｂ像輝度信号生成部５０２は、先に図３を参照して説明したＡ像輝度信号生成部１０６と同様の回路構成を有しており、順次、水平方向に入力されるＲ（Ａ＋Ｂ）及びＧ（Ａ＋Ｂ）の輝度成分信号であるＹ（Ａ＋Ｂ）（Ｒ，Ｇ）を生成し、出力する。Ａ＋Ｂ像輝度信号生成部５０２により出力されたＹ（Ａ＋Ｂ）（Ｒ，Ｇ）は、そのまま後段のＢ像信号推定部１０９へ出力される経路と、加算部５０１に入力される経路とに分岐する。加算部５０１は、下記の［式１］にしたがって、ＹＢ成分信号１２１を一部であるＹＢ（Ｒ，Ｇ）を算出し、算出したＹＢ（Ｒ，Ｇ）を後段のＢ像信号推定部１０９へ出力する。

ＹＢ（Ｒ，Ｇ）＝Ｙ（Ａ＋Ｂ）（Ｒ，Ｇ）−ＹＡ（Ｒ，Ｇ） ・・・ ［式１］
このようにして、Ａ＋Ｂ像輝度信号生成部５０２により生成されたＹ（Ａ＋Ｂ）（Ｒ，Ｇ）を含むＡ＋Ｂ像輝度成分信号１２２及び加算部５０１により算出されたＹＢ（Ｒ，Ｇ）を含むＹＢ成分信号１２１は、後段のＢ像信号推定部１０９へ出力される。

なお、Ｂ像輝度信号算出部１０８に水平方向２ライン目のＹＢ（Ｇ，Ｂ）、Ｇ（Ａ＋Ｂ）及びＢ（Ａ＋Ｂ）が入力された場合の詳細な説明は省略するが、この場合、水平方向１ライン目と同様の動作により、Ｙ（Ａ＋Ｂ）（Ｇ，Ｂ）とＹＢ（Ｇ，Ｂ）とが算出される。

Ｂ像信号推定部１０９は、所定の演算により、Ｂ像用画素の画素値を推定する。Ｂ像信号推定部１０９の回路構成を示した図６を参照して、Ｂ像信号推定部１０９で実行される信号処理について説明する。ここでは、図５に示した水平方向１ライン目のＹ（Ａ＋Ｂ）（Ｒ，Ｇ）及びＹＢ（Ｒ，Ｇ）がＢ像信号推定部１０９に入力された場合について説明することとする。

Ｂ像信号推定部１０９には、ＹＢ成分信号１２１のＹＢ（Ｒ，Ｇ）と、Ａ＋Ｂ像輝度成分信号１２２のＹ（Ａ＋Ｂ）（Ｒ，Ｇ）と、撮像用信号であるＡ＋Ｂ像信号１１９のＲ（Ａ＋Ｂ）及びＧ（Ａ＋Ｂ）が入力される。Ｙ（Ａ＋Ｂ）（Ｒ，Ｇ）、Ｒ（Ａ＋Ｂ）及びＧ（Ａ＋Ｂ）は、比率算出部６０２へ入力される。比率算出部６０２では、下記の［式２］及び［式３］に基づいて、割合Ｋ３と割合Ｋ４が算出され、出力される。

Ｋ３＝Ｒ（Ａ＋Ｂ）／Ｙ（Ａ＋Ｂ）（Ｒ，Ｇ） ・・・ ［式２］
Ｋ４＝Ｇ（Ａ＋Ｂ）／Ｙ（Ａ＋Ｂ）（Ｒ，Ｇ） ・・・ ［式３］
割合Ｋ３は、Ａ＋Ｂ像輝度成分信号１２２を構成するＲ画素（赤のカラーフィルタ下の画素）及びＧ画素（緑のカラーフィルタ下の画素）の信号成分に対してＲ画素信号が占める割合を示している。同様に、割合Ｋ４は、Ａ＋Ｂ像輝度成分信号１２２を構成するＲ画素及びＧ画素の信号成分に対してＧ画素信号が占める割合を示している。

算出された割合Ｋ３及び割合Ｋ４は乗算部６０１に出力され、下記の［式４］及び［式５］に従ってＹＢ（Ｒ，Ｇ）に乗算されることで、分割ＰＤのＢ像の非破壊による読出画素、つまり、赤と緑のＢ像用画素信号であるＲＢ及びＧＢが推定される。そして、［式４］及び［式５］によって算出されたＲＢ及びＧＢを含むＢ像信号１２３は、第２の飽和検出手段であるＢ像飽和検出部１１０へと出力される。

ＹＢ（Ｒ，Ｇ）×Ｋ３＝ＲＢ ・・・ ［式４］
ＹＢ（Ｒ，Ｇ）×Ｋ４＝ＧＢ ・・・ ［式５］
なお、同様にして、例えば、ＹＢ成分信号１２１のＹＢ（Ｇ，Ｂ）と、Ａ＋Ｂ像輝度成分信号１２２のＹ（Ａ＋Ｂ）（Ｇ，Ｂ）と、Ａ＋Ｂ像信号１１９のＧ（Ａ＋Ｂ）及びＢ（Ａ＋Ｂ）とから、緑と青のＢ像用画素信号であるＧＢ及びＢＢが推定される。

ここで、Ｂ像信号１２３の推定例について、図１１及び図１２を参照して説明する。図１１（ａ）〜（ｃ）及び図１２（ａ）〜（ｄ）の各図では、横軸に空間位置を、縦軸に信号出力値を取っている。図１１（ａ）は、固体撮像素子１０２の水平方向１ライン目のある領域における各種信号の本来の信号値を表した図である。なお、各種信号の詳細は、図１１（ａ）に記載されている通りである。

図１１（ｂ）は、図１１（ａ）からＡ像の成分を含む信号を抽出した図であり、“ｄ１”は、ＧＡ（緑のＡ像用画素信号）が飽和レベルに達している（分割ＰＤ１ａの蓄積電荷が飽和している）区間（飽和区間）を示している。図１１（ｃ）は、図１１（ａ）からＢ像の成分を含む信号を抽出したグラフである。“ｄ２”は、ＧＢ（緑のＢ像用画素信号）が飽和レベルに達している（分割ＰＤ１ｂの蓄積電荷が飽和している）区間（飽和区間）を示している。

図１２（ａ）は、撮像装置１００の構成によって取得可能な信号と飽和区間ｄ１，ｄ２の情報を重畳した図である。撮像装置１００の構成では、Ａ像用画素信号であるＧＡの飽和区間ｄ１はＡ像飽和検出部１０５において判定可能である。しかしながら、Ｂ像については、輝度成分信号であるＹＢ成分信号１２１として算出されるため、Ｂ像用画素信号であるＧＢの飽和区間ｄ２については、Ｂ像用画素信号であるＲＢ及びＧＢを取得することができない。また、ＹＢ成分信号１２１が撮像画素飽和レベルに達していないため、ＲＢ及びＧＢの飽和も検出することができない。

図１２（ｂ）は、図１１（ａ）からＹ（Ａ＋Ｂ）、Ｒ（Ａ＋Ｂ）及びＧ（Ａ＋Ｂ）を抽出した図であり、ある地点ｘにおけるＹ（Ａ＋Ｂ）中のＲ（Ａ＋Ｂ），Ｇ（Ａ＋Ｂ）の占める割合をそれぞれ、Ｋ３（ｘ），Ｋ４（ｘ）で示している。なお、Ｋ３（ｘ），Ｋ４（ｘ）はそれぞれ、前述の［式２］，［式３］により求めることができる。

図１２（ｃ）は、前述の［式４］及び［式５］を用いて、Ｂ像用の分割ＰＤ１ｂからの推定信号ＲＢ´，ＧＢ´を算出してプロットした図であり、図中の“ｄ３”は、ＲＢ´又はＧＢ´が、分割画素飽和レベルに達している区間（飽和区間）を示している。飽和区間ｄ３は、後述するＢ像飽和検出部１１０の閾値に分割ＰＤ１ｂの飽和レベルを適用することによって検出することができる。

図１２（ｄ）は、図１１（ａ）〜（ｃ）及び図１２（ａ）〜（ｄ）に示した各種の信号と飽和区間を重畳して示す図である。飽和区間ｄ３は、本来のＧＢ信号の飽和区間ｄ２と同一の区間を示していることから、良好な飽和検出結果が得られていることがわかる。

Ｂ像信号推定部１０９により算出されたＢ像信号１２３は、Ｂ像飽和検出部１１０に入力される。Ｂ像飽和検出部１１０は、受信したＢ像信号１２３に対して、予め定められた一定の飽和レベルに達しているか否かを判定する。そして、Ｂ像飽和検出部１１０は、飽和レベルに達している場合には飽和画素であると判定し、画素信号に飽和ビットとして１をＭＳＢもしくはＬＳＢに付与した後、第２の輝度信号生成手段であるＢ像輝度信号生成部１１１に出力する。なお、飽和ビットの付与は、画素信号の一部を飽和ビットとして取り扱う構成としてもよく、極性についても限定されない。

Ｂ像輝度信号生成部１１１は、Ｂ像飽和検出部１１０からの受信信号を、Ｂ像用画素の輝度成分信号であるＹＢ成分信号１２４に変換する。なお、Ｂ像輝度信号生成部１１１の回路構成及び処理内容は、図３を参照して説明したＡ像輝度信号生成部１０６の回路構成及び処理内容と同様であるので、ここでの詳細な説明は省略する。

Ｂ像輝度信号算出部１０８を通して出力されたＹＡ成分信号１２０とＢ像輝度信号生成部１１１から出力されたＹＢ成分信号１２４は、焦点検出処理部１１２に入力される。焦点検出処理部１１２は、１つのマイクロレンズ２を共有する分割ＰＤ１ａ，１ｂに対応するＡ像用画素及びＢ像用画素によって構成されるＡ像及びＢ像の輝度信号からデフォーカス量を求め、ＣＰＵ１１５（図１参照）に出力する。

ここで、図７を参照して、Ａ及びＢ像を用いた測距情報取得動作の例について説明する。図７は、分割ＰＤ１ａ，１ｂの画素値を使用した合焦動作を模式的に示す図である。固体撮像素子１０２の構成は、複数の単位画素セルＰが並べられて構成されており、単位画素セルＰの構成は、図２を参照して説明した通りである。すなわち、単位画素セルＰ（図７にはＰ１〜Ｐ１３の１３個を図示）は、１つのマイクロレンズを共有する分割ＰＤ１ａ，１ｂに対応する分割画素ａ，ｂで構成されている。１組の分割画素ａ，ｂは、周知の通り、マイクロレンズを射出瞳として瞳分割された画素である。

測距を行う際、画素ａ，ｂからのＡ画素出力，Ｂ画素出力をそれぞれ、列方向（又は行方向）に組み合わせ、同色の単位画素セル群の出力としてＡ像及びＢ像を生成し、データ化して、それぞれの対応点のずれＣを下記［式６］により相関演算によって求める。

Ｃ＝Σ｜ＹＡｎ−ＹＢｎ｜ ・・・ ［式６］
ここで、“ｎ”は水平方向に並べられたマイクロレンズの数であり、ＹＢｎに対して対応画素をずらしたときの値をプロットし、最も値の小さいずれ量Ｃが得られるときが合焦位置となる。

図７（ａ）は、被写体像からの光束が角度α（ａ）で収束し、撮影光学系が結像する位置が単位画素セルＰ７のマイクロレンズを共有する分割ＰＤとなることで、Ａ像用画素群とＢ像用画素群とがほぼ一致した合焦状態を示している。このとき、相関演算で求められるＡ像用画素群とＢ像用画素群の像ずれ量ｄ（ａ）はほぼゼロ（０）となる。

図７（ｂ）は、被写体像の光束が角度α（ａ）よりも大きい角度α（ｂ）で収束することにより、被写体よりも後にピントが合っている（所謂、後ピン）の状態を示している。このとき、撮影光学系が結像する位置は、例えば、Ａ像用画素が単位画素セルＰ５の分割画素、Ｂ像用画素が単位画素セルＰ９の分割画素となる。この場合、相関演算で求められるＡ像用画素群とＢ像用画素群の像ずれ量ｄ（ｂ）が発生する。

図７（ｃ）は、被写体像の光束が角度α（ａ）よりも小さい角度α（ｃ）で収束することにより、被写体よりも前にピントが合っている（所謂、前ピン）の状態を示している。このとき、撮影光学系が結像する位置は、例えば、Ａ像用画素が単位画素セルＰ９の分割画素、Ｂ像用画素が単位画素セルＰ５の分割画素になる。この場合、図７（ｂ）に示した後ピンの場合とは逆方向の像ずれとなるが、相関演算で求められるＡ像用画素群とＢ像用画素群の像ずれ量ｄ（ｃ）の絶対値は、後ピンの場合の像ずれ量ｄ（ｂ）の絶対値とほぼ等しくなる。これは、Ａ像用画素群及びＢ像用画素群は、合焦状態では同一の被写体を見ているが、後ピン及び前ピンの状態ではある像ずれ量だけずれた被写体を見ているということである。

よって、実際に撮像光学系の合焦動作を行うときには、得られた像ずれ量と基線長とから周知の技術によってデフォーカス量を求め、撮影光学系を駆動することで被写体に対する合焦を行う。なお、周知の相関演算を行う際に、飽和ビットの立った画素値で算出される値はデフォーカス量を求める際に使用しないか又は信頼度を下げる重みづけを行う等の方法を用いることができるが、このような方法に限定されるものではない。

ＣＰＵ１１５は、焦点検出処理部１１２からの出力であるデフォーカス量に基づいて、光学系ユニット１０１に含まれるフォーカシングレンズの駆動情報を求め、図１に示すように、駆動制御部１１６に出力する。なお、ＣＰＵ１１５は、撮像装置１００のシステム全体を制御する。駆動制御部１１６は、ＣＰＵ１１５から出力された制御信号に基づいて、光学系ユニット１０１に含まれるフォーカシングレンズ、シャッタ等の駆動情報を出力する。この駆動情報は、焦点検出処理部１１２が算出したデフォーカス量に基づく移動量である。

図１に示されるように、画像処理部１１３は、Ｂ像信号推定部１０９から入力された撮像用信号であるＡ＋Ｂ像信号１１９に対して所定のデジタル信号処理を行い、ＤＲＡＭ（不図示）を介して表示部１１４に出力する。なお、所定のデジタル処理としては、欠陥画素補正、ＡＥ（自動露出）、ＡＦ（オートフォーカス）、ホワイトバランス調整、ガンマ調整、ノイズリダクション処理、同時化処理等が挙げられる。表示部１１４は、ＤＲＡＭ（不図示）を介して、画像処理部１１３で作成された画像データ（撮影中の画像）を液晶パネル等に表示する。

次に、撮像装置１００で撮影動作が実行される際にＣＰＵ１１５が実行するシステム全体の制御について、図８のフローチャートを参照して説明する。まず、ＣＰＵ１１５は、システムに電源を投入する不図示のメインスイッチ（ＳＷ）の状態を検出する（ステップＳ８００）。ＣＰＵ１１５は、メインＳＷがオン（ＯＮ）であれば（Ｓ８００でＹＥＳ）、処理をステップＳ８０１へ進め、オフ（ＯＦＦ）であれば（Ｓ８００でＮＯ）、ステップＳ８００で待機する。

ステップＳ８０１において、ＣＰＵ１１５は、ライブビュー動作を行い、その後、レリーズスイッチの第１段目のスイッチであるスイッチＳＷ１の状態を検出する（ステップＳ８０２）。なお、スイッチＳＷ１は、所謂、被写体に対する焦点合わせ（ピント合わせ）を行うためのスイッチである。また、ライブビュー動作の詳細については、後に図９を参照して説明する。

ＣＰＵ１１５は、スイッチＳＷ１がオンであれば（Ｓ８０２でＹＥＳ）、本撮影を行う前の撮影スタンバイ動作を行うために処理をステップＳ８０３に進め、スイッチＳＷ１がオフであれば（Ｓ８０２でＮＯ）、処理をステップＳ８００に戻す。

ステップＳ８０３では、ＣＰＵ１１５は、ライブビュー動作で得られた画像情報に基づいて、露出設定手段（不図示）によって予め設定された露出補正値に従って露出条件を決定し、絞り値、シャッタ速度（露出時間）を駆動制御部１１６に出力する。次に、ＣＰＵ１１５は、ライブビュー動作で得られたデフォーカス量に基づいて駆動制御部１１６のフォーカシングレンズの位置を移動させることにより、被写体に対する合焦動作（ＡＦ動作）を行う（ステップＳ８０４）。その後、ＣＰＵ１１５は、レリーズスイッチの第２段目のスイッチであるスイッチＳＷ２の状態を検出する（ステップＳ８０５）。なお、スイッチＳＷ２は、シャッタ等を駆動して撮影動作を行うためのスイッチである。

ＣＰＵ１１５は、スイッチＳＷ２がオンであれば（Ｓ８０５でＹＥＳ）、本撮影を行うために処理をステップＳ８０６に進め、スイッチＳＷ２がオフであれば（Ｓ８０５でＮＯ）、処理をステップＳ８０１に戻す。ステップＳ８０６では、ＣＰＵ１１５は、撮像装置１００のシステム全体を制御して本撮影動作を実施し、その後、処理をステップＳ８０５に戻す。

なお、本撮影動作では、まず、固体撮像素子１０２に対する電荷クリア動作、電荷蓄積開始動作が行われ、駆動制御部１１６を介してステップＳ８０３で決定された露出条件に基づいて光学系ユニット１０１が制御され、シャッタが開かれる。そして、固体撮像素子１０２による本撮影画像の露光が開始され、ステップＳ８０３で決定されたシャッタ速度で露光が行われ、シャッタが閉じられて固体撮像素子１０２の電荷蓄積が終了すると、分割ＰＤから加算された電荷が読み出される。固体撮像素子１０２から読み出された電荷は、Ａ／Ｄ変換部１０３、信号分離部１０４、画像処理部１１３を介して、ＳＤカード等代表されるメモリーカード（不図示）に出力され、記憶される。

次に、ステップＳ８０１でのライブビュー動作について、図９に示すフローチャートを参照して説明する。ライブビュー動作では、ＣＰＵ１１５は、先ず、固体撮像素子１０２に対して電荷クリア制御を行い（ステップＳ９００）、その後、固体撮像素子１０２に対してライブビュー画像露光制御によって電荷蓄積を開始する（ステップＳ９０１）。続いて、ＣＰＵ１１５は、設定された露出時間が経過したか否かを判定し（ステップＳ９０２）、露光時間が経過するまで（Ｓ９０２でＮＯ）、処理をステップＳ９０１に戻して露光を続ける。

露光時間が経過すると（Ｓ９０２でＹＥＳ）、ＣＰＵ１１５は、固体撮像素子１０２に対して電子シャッタによる電荷蓄積の終了処理を行う（ステップＳ９０３）。そして、ステップＳ９０３の終了後、ＣＰＵ１１５は、先に図１，３〜６を参照して説明した通りの信号処理を実行するために、固体撮像素子１０２から電荷を読み出し、所定の信号処理を行う（ステップＳ９０４）。次に、ＣＰＵ１１５は、ステップＳ９０４での処理で焦点検出処理部１１２が算出したデフォーカス量を読み出し（ステップＳ９０５）、画像処理部１１３の出力に基づいて、液晶パネル等の表示部１１４にライブビュー用の画像を出力する（ステップＳ９０６）。

以上の説明の通り、本実施形態によれば、演算によって得られる画素値を用いて分割ＰＤ単位の飽和検出を行って、デフォーカス量を求める。これにより、位相差像の像崩れを考慮した焦点検出処理を行うことが可能になる。

＜第２実施形態＞
上述した第１実施例形態では、Ａ，Ｂ像用画素の輝度信号を加算したＹ（Ａ＋Ｂ）において各色の成分が占める割合から、分割ＰＤにおけるＢ像用画素信号を推定した。これに対して、第２実施形態では、Ｙ（Ａ＋Ｂ）におけるＡ像とＢ像の信号含有割合に基づいて、分割ＰＤから出力されるＢ像用画素信号を推定する。なお、以下の説明においては第１実施形態と異なる部分であるＢ像信号推定部についてのみ説明することとし、重複する部分については説明を省略する。

図１０は、Ｂ像信号推定部１０９Ａの回路構成と信号処理の内容を示す図であり、ここでは、水平方向１ライン目のＹ（Ａ＋Ｂ）（Ｒ，Ｇ）及びＹＢ（Ｒ，Ｇ）がＢ像信号推定部１０９Ａに入力された際の動作を示している。Ｂ像信号推定部１０９Ａには、Ｂ像の輝度信号における赤と緑の成分信号の加算信号であるＹＢ（Ｒ，Ｇ）、Ａ，Ｂ像用画素の輝度信号の赤と緑の成分信号の加算信号であるＹ（Ａ＋Ｂ）（Ｒ，Ｇ）と、Ａ，Ｂ像用画素の赤と緑の撮像用の加算画素信号であるＲ（Ａ＋Ｂ），Ｇ（Ａ＋Ｂ）が入力される。

ＹＢ（Ｒ，Ｇ）、Ｙ（Ａ＋Ｂ）（Ｒ，Ｇ）は、比率算出部１００１に入力され、比率算出部１００１では、下記［式７］に従って、Ｙ（Ａ＋Ｂ）（Ｒ，Ｇ）に占めるＹＢ（Ｒ，Ｇ）の割合Ｋ５が求められ、乗算部１００２に出力される。

Ｋ５＝ＹＢ（Ｒ，Ｇ）／Ｙ（Ａ＋Ｂ）（Ｒ，Ｇ） ・・・ ［式７］
乗算部１００２では、下記の［式８］及び［式９］にしたがって、Ｒ（Ａ＋Ｂ）及びＧ（Ａ＋Ｂ）のそれぞれに割合Ｋ５を乗算することによって、ＲＢ及びＧＢを推定し、出力する。

ＲＢ＝Ｒ（Ａ＋Ｂ）×Ｋ５ ・・・ ［式８］
ＧＢ＝Ｇ（Ａ＋Ｂ）×Ｋ５ ・・・ ［式９］
［式７］及び［式８］によって推定されたＲＢ及びＧＢは、後段のＢ像飽和検出部１１０へと出力され、第１実施形態と同様の処理が行われる。こうして、第２実施形態においても、第１実施形態と同様の効果を得ることができる。

＜その他の実施形態＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。例えば、上記実施形態では、１つのマイクロレンズ２を共有する分割ＰＤが２つ（分割ＰＤ１ａ，１ｂ）の場合にＢ像用画素信号の飽和検出を行う形態について説明した。しかし、１つのマイクロレンズを共有する分割ＰＤの数は限定されるものではなく、分割ＰＤが３つ以上の場合も同様の処理が可能である。また、上記実施形態に示した演算方法は一例であって、例えば、固体撮像素子１０２の構成等が異なる場合等には、その構成に応じて演算方法を変更して、同様の処理を行うことが可能である。

また、本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１００ 撮像装置
１０２ 固体撮像素子
１０４ 信号分離部
１０５ Ａ像飽和検出部
１０６ Ａ像輝度信号生成部
１０７ 遅延ライン
１０８ Ｂ像輝度信号算出部
１０９ Ｂ像信号推定部
１１０ Ｂ像飽和検出部
１１１ Ｂ像輝度信号生成部
１１２ 焦点検出処理部
１１５ ＣＰＵ
１１６ 駆動制御部

Claims (12)

1. １つのマイクロレンズを共有する複数の光電変換部をそれぞれ有する複数の単位画素セルが配列された固体撮像素子と、
   前記単位画素セルごとに、前記複数の光電変換部のうちの１つの光電変換部に蓄積された電荷の信号を読み出した画素信号の飽和を検出する第１の飽和検出手段と、
   前記単位画素セルごとに飽和が検出された複数の画素信号から第１の輝度信号を生成する第１の輝度信号生成手段と、
   前記第１の輝度信号と、前記複数の光電変換部を有する前記単位画素セルから得られた加算画素信号とに基づいて、前記複数の光電変換部のうちの他の光電変換部から出力された他の画素信号を推定する推定手段と、
   前記推定手段により推定された前記他の画素信号の飽和を検出する第２の飽和検出手段と、
   前記単位画素セルごとに飽和が検出された複数の他の画素信号から第２の輝度信号を生成する第２の輝度信号生成手段と、
   前記第１の飽和検出手段により飽和が検出された第１の輝度信号と前記第２の飽和検出手段により飽和が検出された第２の輝度信号とに基づいて前記固体撮像素子に対して設けられる光学系のデフォーカス量を算出する焦点検出処理手段と、を備えることを特徴とする焦点検出装置。
2. 前記推定手段は、
   前記加算画素信号の輝度信号を生成し、前記第１の輝度信号と前記加算画素信号の前記輝度信号とに基づいて前記他の光電変換部から出力された前記他の画素信号の輝度信号を算出する輝度信号算出部と、
   前記加算画素信号と、前記加算画素信号の前記輝度信号と、前記輝度信号算出部で算出された前記他の光電変換部から出力された前記他の画素信号の前記輝度信号とに基づいて、前記他の光電変換部から出力された前記他の画素信号を算出する信号推定部と、を有することを特徴とする請求項１記載の焦点検出装置。
3. 前記輝度信号算出部は、前記加算画素信号の前記輝度信号から前記第１の輝度信号を減算することにより、前記他の光電変換部から出力された前記他の画素信号の前記輝度信号を算出することを特徴とする請求項２記載の焦点検出装置。
4. 前記信号推定部は、前記加算画素信号の前記輝度信号に対して前記加算画素信号が占める割合を算出し、前記他の光電変換部から出力された前記他の画素信号の前記輝度信号に前記割合を乗算することにより、前記他の光電変換部から出力された前記他の画素信号を算出することを特徴とする請求項２又は３記載の焦点検出装置。
5. 前記信号推定部は、前記加算画素信号の前記輝度信号に対して前記他の光電変換部から出力された前記他の画素信号の前記輝度信号が占める割合を算出し、前記加算画素信号に前記割合を乗算することにより、前記他の光電変換部から出力された前記他の画素信号を算出することを特徴とする請求項２又は３記載の焦点検出装置。
6. 前記第１の輝度信号が前記推定手段に入力されるタイミングを前記加算画素信号が前記推定手段に入力されるタイミングに合わせるために、前記第１の輝度信号を遅延させる遅延手段を更に備えることを特徴とする請求項１乃至５のいずれか１項に記載の焦点検出装置。
7. 前記第１の飽和検出手段は、前記複数の光電変換部のうちの１つの光電変換部から非破壊で読み出した画素信号の飽和を検出することを特徴とする請求項１乃至６のいずれか１項に記載の焦点検出装置。
8. 前記第１の輝度信号生成手段は、前記第１の飽和検出手段からの第１の出力信号から前記第１の輝度信号を生成し、
   前記第２の輝度信号生成手段は、前記第２の飽和検出手段からの第２の出力信号から前記第２の輝度信号を生成することを特徴とする請求項１乃至７のいずれか１項に記載の焦点検出装置。
9. １つのマイクロレンズを共有する複数の光電変換部をそれぞれ有する複数の単位画素セルが配列された固体撮像素子と、
   前記単位画素セルごとに、前記複数の光電変換部のうちの１つの光電変換部に蓄積された電荷の信号を読み出した画素信号の飽和を検出する第１の飽和検出手段と、
   前記単位画素セルごとに飽和が検出された複数の画素信号からの第１の出力信号から第１の混合信号を生成する第１の混合信号生成手段と、
   前記第１の混合信号と、前記複数の光電変換部を有する前記単位画素セルから得られた加算画素信号とに基づいて前記複数の光電変換部のうちの他の光電変換部から出力された他の画素信号を推定する推定手段と、
   前記推定手段により推定された前記他の画素信号の飽和を検出する第２の飽和検出手段と、
   前記単位画素セルごとに飽和が検出された複数の他の画素信号から第２の混合信号を生成する第２の混合信号生成手段と、
   前記第１の飽和検出手段により飽和が検出された第１の混合信号と前記第２の飽和検出手段により飽和が検出された第２の混合信号とに基づいて前記固体撮像素子に対して設けられる光学系のデフォーカス量を算出する焦点検出処理手段と、を備えることを特徴とする焦点検出装置。
10. 請求項１乃至９のいずれか１項に記載の焦点検出装置と、
    前記焦点検出装置が備える撮像素子に光学像を結像させるレンズ群と、
    前記焦点検出装置が備える焦点検出処理手段から出力されるデフォーカス量に基づいて前記レンズ群の駆動制御を行う制御手段と、備えることを特徴とする撮像装置。
11. １つのマイクロレンズを共有する複数の光電変換部をそれぞれ有する複数の単位画素セルが配列された固体撮像素子の前記複数の光電変換部のうちの１つの光電変換部に蓄積された電荷の信号を読み出した画素信号の飽和を前記単位画素セルごとに検出するステップと、
    前記単位画素セルごとに飽和が検出された複数の画素信号から第１の輝度信号を生成するステップと、
    前記第１の輝度信号と、前記複数の光電変換部を有する前記単位画素セルから得られた加算画素信号とに基づいて、前記複数の光電変換部のうちの他の光電変換部から出力された他の画素信号を推定するステップと、
    前記推定された前記他の画素信号の飽和を検出するステップと、
    前記単位画素セルごとに飽和が検出された複数の他の画素信号から第２の輝度信号を生成するステップと、
    前記飽和が検出された第１の輝度信号と前記飽和が検出された第２の輝度信号とに基づいて前記固体撮像素子に対して設けられる光学系のデフォーカス量を算出するステップと、を有することを特徴とする焦点検出方法。
12. １つのマイクロレンズを共有する複数の光電変換部をそれぞれ有する複数の単位画素セルが配列された固体撮像素子の前記複数の光電変換部のうちの１つの光電変換部に蓄積された電荷の信号を読み出した画素信号の飽和を前記単位画素セルごとに検出するステップと、
    前記単位画素セルごとに飽和が検出された複数の画素信号から第１の混合信号を生成するステップと、
    前記第１の混合信号と、前記複数の光電変換部を有する前記単位画素セルから得られた加算画素信号とに基づいて、前記複数の光電変換部のうちの他の光電変換部から出力された他の画素信号を推定するステップと、
    前記推定された前記他の画素信号の飽和を検出するステップと、
    前記単位画素セルごとに飽和が検出された複数の他の画素信号から第２の混合信号を生成するステップと、
    前記飽和が検出された第１の混合信号と前記飽和が検出された第２の混合信号とに基づいて前記固体撮像素子に対して設けられる光学系のデフォーカス量を算出するステップと、を有することを特徴とする焦点検出方法。