JP6652666B2

JP6652666B2 - 撮像素子

Info

Publication number: JP6652666B2
Application number: JP2019002719A
Authority: JP
Inventors: 哲央菊地; 淳郎岡澤; 義尚島田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2019-01-10
Filing date: 2019-01-10
Publication date: 2020-02-26
Anticipated expiration: 2034-06-19
Also published as: JP2019086789A

Description

本発明は、撮像面に位相差方式で焦点検出を行うための焦点検出用画素を配置した撮像素子に関する。

撮像素子の一部に位相差方式で焦点検出を行うための焦点検出用画素を配置した撮像素子は、従来から知られている。例えば、特許文献１には、焦点検出用画素として、右側からの被写体光束を画素に入射するようにした右開口画素（Ｒ画素と略称する）と、左側からの被写体光束を画素に入射するようにした左開口画素（Ｌ画素と略称する）を、水平方向に配置した撮像素子が開示されている。

特開２０１３−２５７４９４号公報

特許文献１においては、Ｒ画素とＬ画素を水平方向に配置しているだけなので、例えば、水平方向にだけコントラストの変化を有する被写体が水平方向から４５度以上傾いた場合には、そのコントラスト変化を検出する被写体に対して測距することができない。そこで、上側からの被写体光束を画素に入射するようにした上開口画素（Ｔ画素と略称する）と、下側からの被写体光束を画素に入射するようにした下開口画素（Ｂ画素と略する）を、垂直方向に配置することによって、上記の４５度以上傾いた被写体に対しても測距できるようにすることが考えられる。

しかし、Ｒ画素やＬ画素と同等の密度で、Ｔ画素およびＢ画素をＧ画素（緑色のフィルタの配置された画素）の位置に配置すると、左右方向と上下方向のそれぞれのＡＦ性能を両立させることが困難である。

本発明は、このような事情を鑑みてなされたものであり、焦点検出用の左右開口の画素列に加えて上下開口の画素列を配置し、左右方向と上下方向のそれぞれのＡＦ性能を両立できる撮像素子を提供することを目的とする。

上記目的を達成するため第１の発明に係る撮像素子は、複数の撮像用画素と上記撮像用画素よりも受光部の開口の位置をずらした複数の焦点検出用画素を有する撮像素子において、第１の方向に開口の位置をずらし、かつ開口の位置が異なる複数の焦点検出画素を含む第１の焦点検出用画素群の焦点検出画素を、上記撮像用画素の第１の色フィルタに対応する位置に、上記開口の位置が異なる焦点検出画素毎にそれぞれ上記第１の方向に第１の画素ピッチで配置し、上記第１の方向と異なる第２の方向に開口をずらし、かつ開口の位置が異なる複数の焦点検出画素を含む第２の焦点検出用画素群の焦点検出画素を、上記撮像用画素の上記第１の色フィルタと色が異なる第２の色フィルタに対応する位置に、上記開口の位置が異なる焦点検出画素毎にそれぞれ上記第２の方向に第２の画素ピッチで配置し、上記撮像用画素の上記第２の色フィルタに対応する位置であって、上記第２の焦点検出用画素が配置される位置には上記第１の色フィルタが配置される。

第２の発明に係る撮像素子は、上記第１の発明において、上記第１の焦点検出画素群の上記開口の位置が異なる焦点検出画素を上記第２の方向に上記第１の画素ピッチで交互に配置し、上記第２の焦点検出画素群の上記開口の位置が異なる焦点検出画素を上記第１の方向に上記第２の画素ピッチで交互に配置する。

第３の発明に係る撮像素子は、上記第１または第２の発明のいずれかにおいて、上記第１の色フィルタは緑色で、上記第２の色フィルタは青色または赤色である。

本発明によれば、焦点検出用の上下開口の画素列を配置し、左右方向と上下方向のそれぞれのＡＦ性能を両立できる撮像素子を提供することができる。

本発明の一実施形態に係る撮像素子の画素配列を示す平面図である。本発明の一実施形態に係る撮像素子において、ＲＬ画素とＢＴ画素の配置関係を示す平面図である。本発明の一実施形態に係る撮像素子において、混合読み出しを説明する図である。本発明の一実施形態に係る撮像素子において、混合読み出しの変形例を説明する図である。本発明の一実施形態に係る撮像素子において、混合読み出しの変形例を説明する図である。本発明の一実施形態に係る撮像素子において、ＲＬ画素のアイランド化を説明する図である。本発明の一実施形態に係る撮像素子において、画素読み出しを説明する図である。本発明の一実施形態に係る撮像素子を適用したデジタルカメラの主として電気的構成を示すブロック図である本発明の一実施形態に係る撮像素子を適用したデジタルカメラの動作を示すフローチャートである。

以下、本発明の一実施形態として撮像素子に適用した例について説明する。本実施形態に係る撮像素子は、概略、画素遮光型の像面位相差ＡＦ機能を有しており、水平画素列（ＲＬ画素列）を４画素ピッチ以上の間隔で配置しており（詳しくは図１参照）、更に、垂直画素列（ＴＢ画素列）も４画素ピッチ以上の間隔で配置している。このＴＢ画素列は、ＲＬ画素列をちょうど９０度回転させた間隔で配置している（詳しくは図２（ｂ）参照）。

また、ＴＢ画素又はＲＬ画素のどちらかは、Ｂｂ画素に配置し、混合読み出し時は、Ｂｂ画素に配置した焦点検出用画素（ＴＢ画素又はＲＬ画素のどちらか）をスキップして読み出す（詳しくは図３参照）。ＴＢ画素又はＲＬ画素のどちらかは、Ｒｒ画素に配置し、混合読み出し時は、Ｒｒ画素に配置した焦点検出用画素（ＴＢ画素又はＲＬ画素のどちらか）をスキップして読み出す（詳しくは図４参照）。

Ｇ画素に配置したＴＢ画素もしくはＲＬ画素は、アイランド化（Ｇ画素にＴＢ画素もしくはＲＬ画素が存在しない領域を設定）する（詳しくは図５参照）。アイランドの間隔は、混合読み出し時の画素混合に必要な垂直方向のライン数の２倍以上の画素数に相当する間隔を確保する。また、ＴＢ画素のスキップ読み出しは、ＴＢ画素が存在しない領域でも行う（詳しくは図６参照）。

図１は、撮像素子２１における撮像用画素と焦点検出用画素の配置を示す。図１においては、右側が開口している焦点検出用画素（Ｒ画素）と、左側が開口している焦点検出用画素（Ｌ画素）を横方向（水平方向）に４画素ピッチの間隔で配置した例である。なお、図１においては、４画素ピッチ間隔であるが、４画素ピッチ以上の間隔があればよい。これは、焦点検出用画素を４画素ピッチ未満で配置すると、画質性能を保つことが困難となるためである。

図１において、Ｒ画素またはＬ画素は、焦点検出用画素を含まない通常のベイヤー配列の撮像素子の場合にＧ画素（Ｇフィルタを有する撮像用画素）が配置される位置の一部に配置している。Ｒ画素またはＬ画素を配置しない場合には、２×２画素の範囲内に、２つのＧ画素（緑色フィルタの配置された撮像用画素）がはす向かいに配置され、他のはす向かいの位置に１つのＢｂ画素（青色フィルタが配置された撮像用画素）と１つのＲｒ画素（赤色フィルタが配置された撮像用画素）が配置されている。

そして、図１において、焦点検出用画素を含まない通常のベイヤー配列の撮像素子の場合にＧ画素が配置される位置（ｘ１、ｙ１）、（ｘ５、ｙ１）、（ｘ９、ｙ１）、（ｘ１３、ｙ１）、・・・、（ｘ３、ｙ９）、（ｘ７、ｙ９）、（ｘ１１、ｙ９）、（ｘ１５、ｙ９）、・・・にＲ画素が配置され、また位置（ｘ１、ｙ５）、（ｘ５、ｙ５）、（ｘ９、ｙ５）、（ｘ１３、ｙ５）、・・・、（ｘ３、ｙ１３）、（ｘ７、ｙ１３）、（ｘ１１、ｙ１３）、（ｘ１５、ｙ１３）、・・・にＬ画素が配置されている。このように、Ｒ画素とＬ画素は、焦点検出用画素を含まない通常の撮像素子のＧ画素が配置される一部の位置に、横方向（水平方向）に４画素おきに配置されている。

また、焦点検出を行うにあたって、Ｒ画素とＬ画素のそれぞれ１画素ずつ用いて位相差を算出してもよいが、本実施形態においては、撮像素子２１の縦方向（垂直方向）の所定範囲内（Ｒｓｕｍａｒｅａ内）のＲ画素の出力を加算し、１画素の画像データとして扱う。同様に、撮像素子２１の縦方向（垂直方向）の所定範囲内（Ｌｓｕｍａｒｅａ内）のＬ画素の出力を加算し、１画素の画像データとして扱う。この所定範囲内におけるＲ画素の加算値とＬ画素の加算値の横方向（水平方向）の変化から位相差を算出する。

また、所定の範囲内（ＲｓｕｍａｒｅａとＬｓｕｍａｒｅａ）において、ｙ方向に異なる位置のＲ画素をｘ方向に２画素ずらして配置している。すなわち、位置（ｘ１、ｙ１）、（ｘ５、ｙ１）、・・・のＲ画素に対して、横方向に２画素ずらした（ｘ３、ｙ９）、（ｘ７、ｙ９）、・・・にもＲ画素を配置している。これは、サンプリングピッチ（図１の例では４画素）に対して焦点検出用画素をより密に配置することで、ＡＦ精度を確保するためである。Ｌ画素についても、同様の配置としている。

次に、図２を用いて、Ｔ画素とＢ画素の配置について説明する。図２（ａ）は、図１に示した画素配列と同じである。この図２（ａ）の右下隅Ｏを中心として時計回りに９０度回転し、Ｂｂ画素の位置にＢ画素とＴ画素を配置する（９０度回転した後にＲ画素、Ｌ画素をそれぞれ左斜め下へ１画素分だけ移動してＢ画素、Ｔ画素とする）と、図２（ｂ）の画素配置を得る。そして、図２（ａ）に示すＲ画素およびＬ画素と、図２（ｂ）に示すＴ画素とＢ画素を重ね合わせると、図２（ｃ）に示すように、ＲＬ画素（Ｒ画素とＬ画素の両方を指す場合の略称）およびＴＢ画素（Ｔ画素とＢ画素の両方を指す場合の略称）の画素配置を得る。

例えば、位置（ｘ１、ｙ１）のＲ画素を、位置Ｏを中心に９０度回転し（位置（ｘ１６、ｙ１）））、図２（ａ）の配置のＢｂ画素に対応させるため左斜め下へ１画素分移動すると、（ｘ１５、ｙ２）の位置になり、この位置にＢ画素を配置する。また位置（ｘ１、ｙ５）のＬ画素を、位置Ｏを中心に９０度回転し（位置ｘ１２、ｙ１））、図２（ａ）の配置のＢｂ画素に対応させるため左斜め下へ１画素分移動すると、（ｘ１１、ｙ２）の位置になり、この位置にＴ画素を配置する。

このように、本実施形態における画素配置（図２（ｃ）に示す）は、ＲＬ画素の水平画素列を４画素ピッチ以下の間隔で配置し、更に、ＴＢ画素の垂直画素列は、ＲＬ画素列と同様の画素ピッチであり、ＲＬ画素列を丁度９０度回転させた間隔で配置している。また、ＴＢ画素の位置は、本来は、Ｂｂ画素の位置にあり、青色フィルタに代えて緑色または透明の色フィルタに置き換える。

したがって、本実施形態における撮像素子２１は、複数の撮像用画素と、この撮像用画素よりも受光部の開口の位置をずらした複数の焦点検出用画素（ＲＬ画素、ＴＢ画素）を有している。そして、第１の方向（例えば、水平方向）に開口の位置をずらした第１焦点検出用画素（例えば、ＲＬ画素）を、撮像用画素の第１の色フィルタに対応する位置（例えば、Ｇ画素の位置）に第１の画素ピッチで配置し（例えば、４画素ピッチ以上）、また、第１の方向と異なる第２の方向（例えば、垂直方向）に開口をずらした第２の焦点検出用画素（例えば、ＴＢ画素）を、撮像用画素の第１の色フィルタと異なる第２の色フィルタに対応する位置（例えば、Ｇｂ画素の位置、Ｇｒ画素の位置）に第２の画素ピッチで配置している（例えば、４画素ピッチ以上）。

この場合、第１の色フィルタは緑色であり、第２の色フィルタは青色であってもよく（後述する図３参照、また青色フィルタに代えて赤色フィルタでもよい）、また第１の色フィルタは青色であり、第２の色フィルタは赤色であってもよい（後述する図４Ａ、４Ｂ参照、また、第１の色フィルタを赤色とし、第２の色フィルタを青色としてもよい）。また、第１の色フィルタに対応する焦点検出用画素（例えば、ＲＬ画素）は撮像素子の有効受光領域に含まれる複数の領域に配置し（詳しくは図５参照）、第２の色フィルタに対応する焦点検出用画素（例えば、ＴＢ画素）は、撮像素子の受光領域の全体に配置される（詳しくは図６参照）。

次に、焦点検出用画素の読み出しについて説明する。焦点検出用画素は、以下の２点について、通常の撮像用画素とは特性が異なるため、静止画の画質を確保するために補正処理を行う。
（ｉ）焦点検出用画素は、通常の撮像用画素と比べて、３０％〜８０％程度、遮光されているため、撮像用画素と比較して光量が異なる（光量が３０％〜８０％程度減少する）
（ｉｉ）ピントずれた被写体像が撮像素子面に入射すると、位相がずれている（この特性を利用して、デフォーカス量を検出するが、画質の観点からみると、位相ずれが問題となる）。

基本的には、ＲＬ画素およびＴＢ画素に対して、上述の２つの異なる特性に対して補正処理が必要である。この補正方法は、特開２０１３−２５７４９４および特開２０１３−１０６１２４に詳しく述べられているので、ここでは説明を省略する。

上述したように、静止画撮影の際の画素データに対しては、補正処理を行うが、ライブビュー表示中や動画記録中の画素データの読み出しの際には、混合読み出しを行い、静止画撮影の場合とは異なる処理を行う。この混合読み出しについて、図３を用いて説明する。

前述したように、本実施形態において、ＴＢ画素は、焦点検出用画素を含まない撮像素子の場合のＢｂ画素の位置に配置している。混合読み出しの際には、焦点検出用画素のＴＢ画素をスキップして読み出すようにする。これは、Ｂｂ画素は、色情報としての寄与度は高いが、輝度情報としての寄与度が低いため、一部のＢｂ画素情報が欠落しても、動画の場合には画質として十分成立するからである。このように、ＲＬ画素に関しては混合読み出しの対象とするが、ＴＢ画素に関して画素読み出しの際にスキップすることにより、複雑な補正処理を行わずに、動画の画質を確保できる。また、Ｇ画素については焦点検出用画素のＲＬ画素を混合して読み出すので、静止画と同様に、上記光量（ｉ）の補正と位相ずれ（ｉｉ）の補正を行う。光量の補正については、後述する非混合領域におけるＲＬ画素を含まないＧ画素の混合読み出し出力と、ＲＬ画素を含むＧ画素の混合読み出し出力との光量比を用いて光量の補正を行う。

図３に示す例は、４画素混合読み出し時の画素混合に説明するための画素配置と混合する画素ブロックを示している。なお、図３に示す画素配置は、図２（ｃ）に示す画素配置と実質的に同一であるが、説明の都合上、座標系を変更している。図３（ａ）と図２（ｃ）の座標の対応は以下のようになっている。図３（ａ）から図２（ｃ）への対応を→で示すと、（ｘ１、ｙ１）→（ｘ９、ｙ１６）、（ｘ１、ｙ１６）→（ｘ９、ｙ１）、（ｘ８、ｙ１）→（ｘ１６、ｙ１６）、（ｘ８、ｙ１６）→（ｘ１６、ｙ１）となっている。４画素混合読み出しは、隣接する垂直方向の同色２ライン分の水平方向の同色２画素の計４画素を混合して読み出す方式である。なお、図３に示す例では、図の下側のライン(画素)から読み出す場合を示している。

図３（ａ）は、４画素混合読み出し動作について説明するための撮像素子２１における一部の領域の画素配置を示している。撮像素子２１の画素を、図３（ａ）に示すように、エリアＡ、Ｂ、Ｃ、Ｄに分けると、各エリア内においては、通常の焦点検出用画素を含まない撮像素子の配置とは、ＲＬ画素とＴＢ画素の配置が異なる。

図３（ｂ）は図３（ａ）の中のエリアＡ（位置（ｘ１、ｙ１３）、（ｘ４、ｙ１３）、（ｘ１、ｙ１６）、（ｘ４、ｙ１６）で囲まれた矩形の範囲）の拡大図である。４画素混合読み出しを行う場合には、この範囲の画素(画素ブロック)について各ＲＧＢ画素（ベイヤー配列の場合の赤色、緑色、青色画素）のデータは下記式（１）〜（４）より求める。

なお、各エリア内での座標の表示は、図３（ｂ）に示すように、左下隅の画素位置をＧｒ（０，０）とし、水平方向右側へ順に、Ｒｒ（１，０）、Ｇｒ（２，０）、Ｒｒ（３，０）とし、垂直方向の上をＢｂ（０，３）と表す。なお、この座標の取り方は、図３（ｃ）（ｄ）（ｅ）においても同じである。

Ｇｒ_mix1＝｛Ｇｒ（０，０）：Ｒ＋Ｇｒ（２，０）＋Ｇｒ（０，２）＋Ｇｒ（２，２）｝／４・・・（１）
Ｒｒ_mix1＝｛Ｒｒ（１，０）＋Ｒｒ（３，０）＋Ｒｒ（１，２）＋Ｒｒ（３，２）｝／４・・・（２）
Ｇｂ_mix1＝｛Ｇｂ（１，１）＋Ｇｂ（３，１）＋Ｇｂ（１，３）＋Ｇｂ（３，３）｝／４・・・（３）
Ｂｂ_mix1＝｛Ｂｂ（０，１）＋Ｂｂ（０，３）＋Ｂｂ（２，３）｝／３・・・（４）

図３（ｂ）から分かるように、Ｇｒ混合画素（緑色混合画素）、Ｇｂ混合画素（緑色混合画素）、およびＲｒ混合画素（赤色混合画素）は、エリアＡ内の同色の４画素の画素データを加算し、４で除算することにより、混合値を算出している（式（１）〜（３）参照）。この場合、式（１）に示すように、Ｇｒ混合画素データを求めるにあたっては、Ｒ画素（位置Ｇｒ（０，０））も加算対象としている。一方、Ｂｂ混合画素（青色混合画素）は、式（４）に示すように、エリアＡ内の同色３画素の画素データを加算し、Ｂｂ（２，１）にあるＴ画素については加算対象とせずに、他の３つの同色画素のみで混合値を算出している。

図３（ｃ）は図３（ａ）の中のエリアＢ（位置（ｘ５、ｙ１３）、（ｘ８、ｙ１３）、（ｘ５、ｙ１６）、（ｘ８、ｙ１６）で囲まれた矩形の範囲）の拡大図である。この範囲の画素について混合読み出しを行う場合には、各ＲＧＢ画素（ベイヤー配列の場合の赤色、緑色、青色画素）のデータは下記式（５）〜（８）より求める。

Ｇｒ_mix2＝｛Ｇｒ（０，０）：Ｒ＋Ｇｒ（２，０）＋Ｇｒ（０，２）＋Ｇｒ（２，２）｝／４・・・（５）
Ｒｒ_mix2＝｛Ｒｒ（１，０）＋Ｒｒ（３，０）＋Ｒｒ（１，２）＋Ｒｒ（３，２）｝／４・・・（６）
Ｇｂ_mix2＝｛Ｇｂ（１，１）＋Ｇｂ（３，１）＋Ｇｂ（１，３）＋Ｇｂ（３，３）｝／４・・・（７）
Ｂｂ_mix2＝｛Ｂｂ（０，１）＋Ｂｂ（０，３）＋Ｂｂ（２，３）｝／３・・・（８）

図３（ｄ）は図３（ａ）の中のエリアＣ（位置（ｘ９、ｙ１３）、（ｘ１２、ｙ１３）、（ｘ９、ｙ１６）、（ｘ１２、ｙ１６）で囲まれた矩形の範囲）の拡大図である。この範囲の画素について混合読み出しを行う場合には、各ＲＧＢ画素（ベイヤー配列の場合の赤色、緑色、青色画素）のデータは下記式（９）〜（１２）より求める。

Ｇｒ_mix3＝｛Ｇｒ（０，０）：Ｒ＋Ｇｒ（２，０）＋Ｇｒ（０，２）＋Ｇｒ（２，２）｝／４・・・（９）
Ｒｒ_mix3＝｛Ｒｒ（１，０）＋Ｒｒ（３，０）＋Ｒｒ（１，２）＋Ｒｒ（３，２）｝／４・・・（１０）
Ｇｂ_mix3＝｛Ｇｂ（１，１）＋Ｇｂ（３，１）＋Ｇｂ（１，３）＋Ｇｂ（３，３）｝／４・・・（１１）
Ｂｂ_mix3＝｛Ｂｂ（０，１）＋Ｂｂ（０，３）＋Ｂｂ（２，１）｝／３・・・（１２）

図３（ｅ）は図３（ａ）の中のエリアＤ（位置（ｘ１３、ｙ１３）、（ｘ１６、ｙ１３）、（ｘ１３、ｙ１６）、（ｘ１６、ｙ１６）で囲まれた矩形の範囲）の拡大図である。この範囲の画素について混合読み出しを行う場合には、各ＲＧＢ画素（ベイヤー配列の場合の赤色、緑色、青色画素）のデータは下記式（１３）〜（１６）より求める。

Ｇｒ_mix4＝｛Ｇｒ（０，０）：Ｒ＋Ｇｒ（２，０）＋Ｇｒ（０，２）＋Ｇｒ（２，２）｝／４・・・（１３）
Ｒｒ_mix4＝｛Ｒｒ（１，０）＋Ｒｒ（３，０）＋Ｒｒ（１，２）＋Ｒｒ（３，２）｝／４・・・（１４）
Ｇｂ_mix4＝｛Ｇｂ（１，１）＋Ｇｂ（３，１）＋Ｇｂ（１，３）＋Ｇｂ（３，３）｝／４・・・（１５）
Ｂｂ_mix4＝｛Ｂｂ（０，１）＋Ｂｂ（０，３）＋Ｂｂ（２，１）｝／３・・・（１６）

図３（ｃ）〜（ｅ）の場合も、図３（ｂ）と同様であり、Ｇｒ混合画素（緑色混合画素）、Ｇｂ混合画素（緑色混合画素）、およびＲｒ混合画素（赤色混合画素）は、エリアＢ〜Ｄ内の同色の４画素の画素データを加算し、４で除算することにより、混合値を算出している。この場合、Ｇｒ混合画素データを求めるにあたっては、Ｒ画素（位置Ｇｒ（０，０））も加算対象としている（式（５）、（９）、（１３）参照）。一方、Ｂｂ混合画素（青色混合画素）は、エリアＢ内では同色３画素の画素データを加算し、Ｂｂ（２，１）にあるＢ画素については加算対象とせずに、他の３つの同色画素のみで混合値を算出している（式（８）参照）。また、エリアＣ、Ｄ内では、Ｂｂ混合画素（青色混合画素）は、同色３画素の画素データを加算し、Ｂｂ（２，３）にあるＴ画素またはＢ画素については加算対象とせずに、他の３つの同色画素のみで混合値を算出している（式（１２）（１６）参照）。

次に、図４Ａ、４Ｂを用いて、ＲＬ画素をＲｒ画素の位置に配置し、ＴＢ画素をＢｂ画素の位置に配置した変形例について説明する。図１ないし図３に示した本実施形態においては、ＲＬ画素をＧ画素の位置に配置し、ＴＢ画素をＢｂ画素の位置に配置した。しかし、この配置以外にも、例えば、ＲＬ画素をＲｒ画素の位置に配置し、ＴＢ画素をＢｂ画素の位置に配置することも可能である。この場合、ＲＬ画素もＴＢ画素も混合読み出し時には、焦点検出用画素（ＲＬ画素やＴＢ画素）をスキップすることにより、画質を確保することが可能である。また、この場合には、図５を用いて後述するＲＬ画素にアイランドの隙間を設定する必要がない。

図４Ａは、撮像素子２１における画素配置を示しており、ＲＬ画素をＲｒ画素の位置に配置し、ＴＢ画素をＢｂ画素の位置に配置した例である。図４Ａの画素配置は、図３（ａ）の画素配置から、ＲＬ画素をそれぞれ右（ｘ方向）へ１画素分だけ移動してＲｒ画素の位置に位置させたものである。また、図４Ｂに示す例は、６画素混合読み出し時の画素混合のための画素ブロックを示している。６画素混合読み出しは、隣接する垂直方向の同色３ライン内の２ライン分の水平方向の同色３画素の計６画素を混合して読み出す方式である。６画素混合読み出しの説明のために、撮像素子２１の画素を、図４Ａに示すように、エリアＥ、Ｆ、Ｇ、Ｈに分け、それぞれの拡大図を図４Ｂ（ａ）（ｂ）（ｃ）（ｄ）に示す。各エリアは、６×６画素であり、Ｇ画素の位置には焦点検出用画素（ＲＬ画素、ＴＢ画素）は配置されないが、Ｒｒ画素の一部の位置にＲＬ画素が、またＢｂ画素の一部の位置にＴＢ画素が配置されている。

図４Ｂ（ａ）は図４Ａの中のエリアＥ（位置（ｘ１、ｙ１）、（ｘ６、ｙ１）、（ｘ１、ｙ６）、（ｘ６、ｙ６）で囲まれた矩形の範囲）の拡大図である。この範囲の画素について、例として、太線枠内について６画素混合読み出しを行う場合には、各ＲＧＢ画素（ベイヤー配列の場合の赤色、緑色、青色画素）のデータは下記式（１７）〜（１９）より求める。なお、６画素混合読み出しでは、隣接する同色の３ラインのうち２ライン分の画素を混合するが、残りの１ラインの同色の画素値を混合しない（読み出さない）ようにしている。

なお、各エリア内での座標の表示は、図４Ｂ（ａ）に示すように、左下隅の画素位置をＧｒ（０，０）とし、水平方向右側へ順に、Ｒｒ（１，０）、Ｇｒ（２，０）、Ｒｒ（３，０）、Ｇｒ（４，０）、Ｒｒ（５，０）とし、垂直方向の上をＢｂ（０，５）と表す。なお、この座標の取り方は、図４Ｂ（ｂ）（ｃ）（ｄ）においても同じである。

Ｇｒ_mix5＝｛Ｇｒ（０，０）＋Ｇｒ（２，０）＋Ｇｒ（４，０）＋Ｇｒ（０，２）＋Ｇｒ（２，２）＋Ｇｒ（４，２）｝／６・・・（１７）
なお、６画素混合読み出しの場合は、Ｙ＝４のラインのＧｒ画素での画素値を混合しない。
Ｒｒ_mix5＝｛Ｒｒ（３，０）＋Ｒｒ（１，２）＋Ｒｒ（３，２）＋Ｒｒ（５，２）｝／４・・・（１８）
なお、６画素混合読み出しの場合は、Ｙ＝４のラインのＲｒ画素の画素値を混合しない。
Ｂｂ_mix5＝｛Ｂｂ（０，３）＋Ｂｂ（２，３）＋Ｂｂ（４，３）＋Ｂｂ（０，５）＋Ｂｂ（４，５）｝／５・・・（１９）
なお、６画素混合読み出しの場合は、Ｙ＝１のラインのＢｂ画素の画素値を混合しない。

式（１７）から分かるように、Ｇｒ混合画素（緑色混合画素）は、エリアＥ内の同色（Ｇ）の６つのＧ画素の画素データを加算し、６で除算することにより、混合値を算出している。これに対して、Ｒｒ混合画素（赤色混合画素）は、式（１８）に示すように、エリアＥ内の太枠内の４つのＲｒ画素の画素データを加算し、４で除算することにより、Ｒｒ混合値を算出している。焦点検出用画素を含まない通常のベイヤー配列の撮像素子の場合は、Ｒｒ（１，０）とＲｒ（５，０）にもＲｒ画素が配置され、その画素値も混合されるが、この位置には、Ｒ画素が配置されていることから混合にあたってはスキップしている。

また、Ｂｂ混合画素（青色混合画素）は、式（１９）に示すように、エリアＥ内の太枠内の５つのＢｂ画素の画素データを加算し、５で除算することにより、Ｂｂ混合値を算出している。焦点検出用画素を含まない通常のベイヤー配列の撮像素子の場合は、Ｂｂ（２，５）にもＢｂ画素が配置され、その画素値も混合されるが、この位置には、Ｔ画素が配置されていることから混合にあたってはスキップしている。

図４Ｂ（ｂ）は図４Ａの中のエリアＦ（位置（ｘ７、ｙ１）、（ｘ１２、ｙ１）、（ｘ７、ｙ６）、（ｘ１２、ｙ６）で囲まれた矩形の範囲）の拡大図である。この範囲の画素について、例として、太線枠内について６画素混合読み出しを行う場合には、各ＲＧＢ画素（ベイヤー配列の場合の赤色、緑色、青色画素）のデータは下記式（２０）〜（２２）より求める。

Ｇｒ_mix6＝｛Ｇｒ（０，０）＋Ｇｒ（２，０）＋Ｇｒ（４，０）＋Ｇｒ（０，２）＋Ｇｒ（２，２）＋Ｇｒ（４，２）｝／６・・・（２０）
なお、６画素混合読み出しの場合は、Ｙ＝４のラインのＧｒ画素の画素値を混合しない。
Ｒｒ_mix6＝｛Ｒｒ（１，０）＋Ｒｒ（５，０）＋Ｒｒ（１，２）＋Ｒｒ（３，２）＋Ｒｒ（５，２）｝／５・・・（２１）
Ｂｂ_mix6＝｛Ｂｂ（０，３）＋Ｂｂ（２，３）＋Ｂｂ（２，５）＋Ｂｂ（４，５）｝／４・・・（２２）
なお、６画素混合読み出しの場合は、Ｙ＝１のラインのＢｂ画素の画素値を混合しない。

式（２０）から分かるように、エリアＦにおいても、Ｇｒ混合画素（緑色混合画素）は、エリアＦ内の同色（Ｇ）の６つのＧ画素の画素データを加算し、６で除算することにより、混合値を算出している。これに対して、Ｒｒ混合画素（赤色混合画素）は、式（２１）に示すように、エリアＦ内の太枠内の５つのＲｒ画素の画素データを加算し、５で除算することにより、Ｒｒ混合値を算出している。焦点検出用画素を含まない通常のベイヤー配列の撮像素子の場合は、Ｒｒ（３，０）にもＲｒ画素が配置され、その画素値も混合されるが、この位置には、Ｒ画素が配置されていることから混合にあたってはスキップしている。

また、Ｂｂ混合画素（青色混合画素）は、式（２２）に示すように、エリアＦ内の太枠内の４つのＢｂ画素の画素データを加算し、４で除算することにより、Ｂｂ混合値を算出している。焦点検出用画素を含まない通常のベイヤー配列の撮像素子の場合は、Ｂｂ（４，３）とＢｂ（０，５）にもＢｂ画素が配置され、その画素の画素値も混合されるが、この位置には、Ｔ画素またはＢ画素が配置されていることから混合にあたってはスキップしている。

図４Ｂ（ｃ）は図４Ａの中のエリアＧ（位置（ｘ１３、ｙ１）、（ｘ１８、ｙ１）、（ｘ１３、ｙ６）、（ｘ１８、ｙ６）で囲まれた矩形の範囲）の拡大図である。この範囲の画素について、例として、太線枠内について６画素混合読み出しを行う場合には、各ＲＧＢ画素（ベイヤー配列の場合の赤色、緑色、青色画素）のデータは下記式（２３）〜（２５）より求める。

Ｇｒ_mix7＝｛Ｇｒ（０，０）＋Ｇｒ（２，０）＋Ｇｒ（４，０）＋Ｇｒ（０，２）＋Ｇｒ（２，２）＋Ｇｒ（４，２）｝／６・・・（２３）
なお、６画素混合読み出しの場合は、Ｙ＝４のラインのＧｒ画素の画素値を混合しない。
Ｒｒ_mix7＝｛Ｒｒ（３，０）＋Ｒｒ（１，２）＋Ｒｒ（３，２）＋Ｒｒ（５，２）｝／４・・・（２４）
なお、６画素混合読み出しの場合は、Ｙ＝４のラインのＲｒ画素の画素値を混合しない。
Ｂｂ_mix7＝｛Ｂｂ（０，３）＋Ｂｂ（４，３）＋Ｂｂ（０，５）＋Ｂｂ（２，５）＋Ｂｂ（４，５）｝／５・・・（２５）
なお、６画素混合読み出しの場合は、Ｙ＝１のラインのＢｂ画素の画素値を混合しない。

式（２３）から分かるように、エリアＧにおいても、Ｇｒ混合画素（緑色混合画素）は、エリアＧ内の同色（Ｇ）の６つのＧ画素の画素データを加算し、６で除算することにより、混合値を算出している。これに対して、Ｒｒ混合画素（赤色混合画素）は、式（２４）に示すように、エリアＧ内の太枠内の４つのＲｒ画素の画素データを加算し、４で除算することにより、Ｒｒ混合値を算出している。焦点検出用画素を含まない通常のベイヤー配列の撮像素子の場合は、Ｒｒ（１，０）とＲｒ（５，０）にもＲｒ画素が配置され、その画素値も混合されるが、この位置には、Ｒ画素が配置されていることから混合にあたってはスキップしている。

また、Ｂｂ混合画素（青色混合画素）は、式（２５）に示すように、エリアＦ内の太枠内の５つのＢｂ画素の画素データを加算し、５で除算することにより、Ｂｂ混合値を算出している。焦点検出用画素を含まない通常のベイヤー配列の撮像素子の場合は、Ｂｂ（２，３）にもＢｂ画素が配置され、その画素値も混合されるが、この位置には、Ｂ画素が配置されていることから混合にあたってはスキップしている。

図４Ｂ（ｄ）は図４Ａの中のエリアＨ（位置（ｘ１９，ｙ１）、（ｘ２４，ｙ１）、（ｘ１９，ｙ６）、（ｘ２４，ｙ６）で囲まれた矩形の範囲）の拡大図である。この範囲の画素について、例として、太線枠内６画素混合読み出しを行う場合には、各ＲＧＢ画素（ベイヤー配列の場合の赤色、緑色、青色画素）のデータは下記式（２６）〜（２８）より求める。

Ｇｒ_mix8＝｛Ｇｒ（０，０）＋Ｇｒ（２，０）＋Ｇｒ（４，０）＋Ｇｒ（０，２）＋Ｇｒ（２，２）＋Ｇｒ（４，２）｝／６・・・（２６）
なお、６画素混合読み出しの場合は、Ｙ＝４のラインのＧｒ画素の画素値を混合しない。
Ｒｒ_mix8＝｛Ｒｒ（１，０）＋Ｒｒ（５，０）＋Ｒｒ（１，２）＋Ｒｒ（３，２）＋Ｒｒ（５，２）｝／５・・・（２７）
なお、６画素混合読み出しの場合は、Ｙ＝４のラインのＲｒ画素の画素値を混合しない。
Ｂｂ_mix8＝｛Ｂｂ（０，３）＋Ｂｂ（２，３）＋Ｂｂ（４，３）＋Ｂｂ（２，５）｝／４・・・（２８）
なお、６画素混合読み出しの場合は、Ｙ＝１のラインのＢｂ画素の画素値を混合しない。

式（２６）から分かるように、エリアＨにおいても、Ｇｒ混合画素（緑色混合画素）は、エリアＨ内の同色（Ｇ）の６つのＧ画素の画素データを加算し、６で除算することにより、混合値を算出している。これに対して、Ｒｒ混合画素（赤色混合画素）は、式（２７）に示すように、エリアＨ内の太枠内の５つのＲｒ画素の画素データを加算し、４で除算することにより、Ｒｒ混合値を算出している。焦点検出用画素を含まない通常のベイヤー配列の撮像素子の場合は、Ｒｒ（３，０）にもＲｒ画素が配置され、その画素値も混合されるが、この位置には、Ｂ画素が配置されていることから混合にあたってはスキップしている。

また、Ｂｂ混合画素（青色混合画素）は、式（２８）に示すように、エリアＨ内の太枠内の５つのＢｂ画素の画素データを加算し、４で除算することにより、Ｂｂ混合値を算出している。焦点検出用画素を含まない通常のベイヤー配列の撮像素子は、Ｂｂ（０，５）とＢｂ（４，５）にもＢｂ画素が配置され、その画素値も混合されるが、この位置には、Ｔ画素またはＢ画素が配置されていることから混合にあたってはスキップしている。

次に、図５を用いて、Ｇｒ画素にＲＬ画素が存在しないアイランド化について説明する。本実施形態においては、Ｇ画素の一部の位置にＲＬ画素を配置しているが、撮像素子２１中の所定のエリアには、ＲＬ画素が存在しない領域を設定している（このことをアイランド化という）。すなわち、図５（ａ）の領域２１ａには、ＲＬ画素とＴＢ画素を配置し、領域２１ｂには、ＲＬ画素を配置せず、焦点検出用画素としてはＴＢ画素のみを配置する（なお、領域２１ａおよび領域２１ｂには、Ｇ画素は配置される）。

静止画撮影の際には、Ｇ画素の位置に配置したＲＬ画素の画素データは前述したように、補正処理する必要がある。例えば、特開２０１３−２５７４９４に記載されているように、通常の撮像用画素とＲ画素またはＬ画素との光量比を算出し、この光量比を用いて補正処理を行う。混合読み出し時においても、この光量比を算出して補正を行うために、混合読み出し状態でもＲＬ画素を混入しないで読み出して、撮像用画素の画素値だけが混合された情報を生成する必要がある。そのために、焦点検出用画素の画素値を混合しないで画素混合読み出しが可能な領域を設ける必要がある。

このため、混合読み出しにおいても、ＲＬ画素が存在しない非混合領域２１ｂを設け、ＲＬ画素を混合しないで画素混合読み出しを行うことが可能としている。この非混合領域２１ｂの図５（ａ）の上下方向の幅に相当する画素数は、最低でも、２×画素混合に必要な垂直方向のライン数が必要である。例えば、６画素混合読み出しを行うことが可能な撮像素子の場合には、前述のように隣接する垂直方向の同色３ラインの内の２ライン分の水平方向の同色３画素の計６画素を混合して読み出して６画素混合読み出しを行う。従って、非混合領域２１ｂの幅に相当する画素数は、２×３（ライン）＝６画素であることから６画素以上必要となる。

同様に、１０画素混合読み出しを行うことが可能な撮像素子の場合には、非混合領域２１ｂの画素数は１０画素以上が必要となる。１０画素混合読み出しとは、隣接する垂直方向の同色５ラインの内の２ライン分の水平方向の同色５画素の計１０画素を混合して読み出す方式である。従って、非混合領域２１ｂの幅に相当する画素数は、２×５（ライン）＝１０画素であるから１０画素以上が必要となる。また、非混合領域２１ｂは、画像の中央部を重複して適正に補正を行うために、中央部とその上下に最低でも３か所は必要であり、この数が多いほど、画質をより高品位とすることができる。

ここで、例えば、ＴＢ画素をＲＬ画素と同様にＧ画素の位置に配置すると、焦点検出用画素が存在しない隙間領域を設定しようとしても、ＴＢ画素が邪魔して配置することができない。これは、ＴＢ画素は縦方向に位相差を検出するために、縦方向に長く配置する必要があるので（図５（ｂ）の領域２１ｃ参照）、ＴＢ画素用のアイランドを配置することができない。つまり、図５（ｂ）の領域２１ｃと領域２１ｂが交差する領域は、上記理由でＴＢ画素を配置する必要があり、焦点検出用画素を配置しない領域とすることができないことを意味する。すると、この交差する領域の周辺の焦点検出用画素に関する補正処理を適切に行うことができず、画質が劣化するという問題が生ずる。

しかし、本実施形態においては、図３を用いて説明したように、ＴＢ画素を一部のＢｂ画素の位置に配置しており、Ｇ画素の位置には、ＴＢ画素を存在させないようにしている。したがって、Ｇ画素の位置に対応させてＲＬ画素のみを存在させ（領域２１ａ参照）、ＲＬ画素を存在させない領域（非混合領域２１ｂ参照）を設けることで、アイランド化を可能とし、Ｇ画素に配置したＲＬ画素の補正を可能としている。

このように、本実施形態においては、第１の色フィルタ（例えば、緑色フィルタ）に対応する焦点検出用画素は、撮像素子の有効領域に含まれる複数の領域に配置し、複数の領域の間の領域には第１の色フィルタに対応する焦点検出用画素を配置させず、第１の色フィルタに対応する焦点検出用画素を配置しない領域の幅は、画素混合読み出しに必要な画素ラインの数の２倍以上に相当するようにしている。

次に、図６を用いて、ＴＢ画素が存在しない領域での混合読み出しについて説明する。図６において領域２１ｄは、通常の撮像用画素が配置されている領域である。撮像用画素は撮像素子２１の撮像領域（ベイヤー画素内）の全域（領域２１ｄ）に亘って配置されている。ＴＢ画素は、領域２１ｄ内の一部の領域２１ｅの範囲（例えば、８０％×８０％）に配置されている。したがって、図６において、領域２１ｅには撮像用画素とＴＢ画素の両方が配置されており、領域２１ｄには撮像用画素のみが配置されている。

領域２１ｅのみにＴＢ画素が配置されていることから、領域２１ｅ内においてのみ混合読み出し時におけるＴＢ画素のスキップ読み出しを行えばよく、領域２１ｄのうちで領域２１ｅを除いた領域においてはＴＢ画素のスキップ読み出しを行う必要はない。しかし、本実施形態においては、領域２１ｄのうちで領域２１ｅを除いた領域においてもＴＢ画素のスキップ読み出しを行う。すなわち、図３を用いて説明した混合読み出しの混合演算（式（２）、（４）、（６）、（８）等）は、領域２１ｅだけでなく、領域２１ｄのうちで領域２１ｅを除いた領域においても同一の演算方法とする。これは、読み出し方式を画面内で全て統一し、境界線を設けないようにすることで、画質性能を確保している。

次に、図７を用いて、本実施形態に係る撮像素子２１を組み込んだデジタルカメラについて説明する。図７は、本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。本実施形態に係るカメラは、交換レンズ鏡筒１０とカメラ本体２０から構成されている。本実施形態においては、交換レンズ鏡筒１０とカメラ本体２０を別体に構成しているが、一般的なコンパクトカメラのように一体に構成しても勿論かまわない。

交換レンズ鏡筒１０内には、撮影レンズ１１が配置されている。撮影レンズ１１は、被写体Ｓの光学像を形成するための複数の光学レンズから構成される。また、交換レンズ鏡筒１０内には、アクチュエータ１２およびレンズ制御部１３が設けられている。レンズ制御部１３は、カメラ本体２０内のＡＦ演算部２３から、焦点ずれ方向と焦点ずれ量を受信し、これらの情報に基づいて、アクチュエータ１２の制御を行う。アクチュエータ１２は、撮影レンズ１１を光軸方向に移動し、ピント合わせを行う。

カメラ本体２０内には、撮像素子２１、画像処理部２２、ＡＦ演算部２３、記録部２４、表示部２５が設けられている。

撮像素子２１は、撮影レンズ１１の光軸上であって、被写体像の結像位置付近に配置されている。撮像素子２１は、被写体像（光学像）を電気信号に変換する光電変換部を有する複数の画素を備えている。すなわち、撮像素子２１は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤー配列のＲＧＢフィルタが配置されている。これらの複数のフォトダイオードが、前述の複数の画素に対応する。

また、撮像素子２１の複数の画素は、図１ないし図４Ａ，４Ｂを用いて説明したように、画素へ入射する光束の入射方向を制限するよう構成された焦点検出用画素（ＲＬ画素、ＴＢ画素）と、画素へ入射する光束が焦点検出用画素よりも制限されないように構成された撮像用画素を含んでいる。撮像素子２１は、焦点検出用画素と撮像用画素から出力される画素値を画像処理部２２およびＡＦ演算部２３に出力する。

画像処理部２２は、撮像用画素と焦点検出用画素（但し、ＴＢ画素は含まれず、ＲＬ画素のみ）からの混合画素値を入力し、ライブビュー表示用画像および動画記録用画像のための画像処理を行う。また、撮像用画素と焦点検出用画素からの画素値を入力し、静止画記録用の画像処理を行う。また、画像処理部２２は、記録用に処理された画像データを記録部２４に出力し、ライブビュー表示用に画像処理された画像データを表示部２５に出力する。

記録部２４は、電気的書き換え可能な不揮発性メモリを有し、記録用の画像データを入力し、記録する。表示部２５は、ライブビュー表示用の画像データや再生用の画像データを入力し、ＬＣＤや有機ＥＬ等の表示パネルに画像データに基づくライブビュー画像や再生画像の表示を行う。

ＡＦ演算部２３は、画素値の内、焦点検出用画素（ＲＬ画素、ＴＢ画素）からの画素値を入力し、位相差ＡＦ法によって焦点ずれ方向と焦点ずれ量を演算する。

なお、画素値の混合は、撮像素子２１から読み出す際に、画素混合を行ってもよく、また撮像素子２１から読み出した画素値を用いて、画像処理部２２またはＡＦ演算部２３において、デジタル演算で画素混合を行ってもよい。

本実施形態においては、撮像素子２１、画像処理部２２、またはＡＦ演算部２３等のいずれか又はいずれかの各部が協働して、画素信号を混合して読み出す画素混合読み出し部の機能を設ける。この画素混合読み出し部は、第２の色フィルタに対応する撮像用画素の出力を混合して読み出す場合には（例えば、Ｂｂ画素またはＲｒ画素を混合読み出しする場合）、第２の焦点検出用画素（例えば、Ｔ画素やＢ画素）の出力を混合しないで読み出すようにする（例えば、図３、図４Ａ、図４Ｂ参照）。また、画素混合読み出し部は、第１の色フィルタ（例えば、Ｇ）に対応する撮像用画素の出力を混合して読み出す場合には、第１の焦点検出用画素（例えば、ＲＬ画素）の出力を混合して読み出す。

次に、図８に示すフローチャートを用いて、カメラの動作について説明する。このフローチャートは、不揮発性のメモリに記憶されたプログラムに従って、画像処理部２２またはＡＦ演算部２３内に設けられたＣＰＵ（Central Processor Unit）等の制御部によってカメラ内の各部を制御することによって実行される。

カメラの電源がオンとなると、図８に示すフローチャートがスタートする。スタートすると、まず、スルー画（ライブビュー表示用画像データ）の取り込みを行う（Ｓ１）。ここでは、図３または図４を用いて説明したように、撮像素子１から通常の撮像用画素と焦点検出用画素（ＴＢ画素を除く）から混合読み出しを行う。

スルー画取り込みを行うと、次に、ＡＦ画素補正処理を行う（Ｓ３）。ここでは、焦点検出用画素のＲＬ画素に対して、補正処理を行う。すなわち、焦点検出用画素は、開口が制限されているため、画素値が小さくなってしまう。通常の撮像用画素と同程度のレベルとなるように、補正を行う。焦点検出用画素であるＲＬ画素の出力値はＧ画素の画素混合出力値に含まれているので、図５に示される非混合画素領域２１ｂのＧ画素の混合画素出力値（焦点検出用画素の混合がない）との光量比に基づく補正処理や、撮影レンズ１１の光学特性に応じた像高位置に基づく補正データ等を使用して補正処理を行う。

ＡＦ画素補正処理を行うと、次に、スルー画表示（ライブビュー表示）を行う（Ｓ５）。ここでは、ステップＳ１において読み出し、ステップＳ３において補正処理された画像データを用いて、画像処理部２２が表示部２５にスルー画表示を行う。

スルー画表示を行うと、次に、１ｓｔレリーズ押し下げか否かの判定を行う（Ｓ７）。ここでは、レリーズ釦の半押し操作、すなわち１ｓｔレリーズ押し下げが行われたか否かを、レリーズ釦の半押し操作でオンオフするスイッチの状態に基づいて判定する。この判定の結果、１ｓｔレリーズが押し下げされていない場合には、ステップＳ１に戻る。

一方、ステップＳ７における判定の結果、１ｓｔレリーズが押し下げされた場合には、ＡＦ用露光を行う（Ｓ９）。ここでは、焦点検出用画素（ＲＬ画素およびＴＢ画素）に適正露光となるように露光制御を行い、撮像素子２１からＲＬ画素およびＴＢ画素の画素値の加算値（図１参照）を読み出す。

ＡＦ用露光を行うと、次に、ピントずれ量の検出を行う（Ｓ１１）。ここでは、焦点検出用画素（ＲＬ画素およびＴＢ画素）の画素値の加算値（Ｒｓｕｍａｒｅａ内のＲ画素の出力の加算値、Ｌｓｕｍａｒｅａ内のＬ画素の出力の加算値）を用いて、撮影レンズ１１のピントずれ方向（デフォーカス方向）およびピントずれ量（デフォーカス量）を算出する。

ピントずれ量を検出すると、次に、合焦状態か否かを判定する（Ｓ１３）。ここでは、ステップＳ１１において算出されたピントずれ量が所定範囲内（合焦とみなせる範囲）に入っているか否かに基づいて判定する。

ステップＳ１３における判定の結果、合焦状態でない場合には、フォーカスレンズ駆動を行う（Ｓ１５）。ここでは、ステップＳ１１において算出したピントずれ量、ピントずれ方向に基づいて、レンズ制御部１３がアクチュエータ１２を介して、撮影レンズ１１を合焦位置に移動させる。フォーカスレンズ駆動を行うと、ステップＳ１に戻る。

ステップＳ１３における判定の結果、合焦状態の場合には、２ｎｄレリーズ押し下げか否かを判定する（Ｓ１７）。撮影者は、スルー画を観察し、シャッタチャンスと判断するとレリーズ釦の全押し、すなわち２ｎｄレリーズ押し下げを行う。そこで、このステップでは、レリーズ釦の全押し操作でオンオフするスイッチの状態に基づいて判定する。この判定の結果、２ｎｄレリーズが押し下げされていない場合には、ステップＳ１に戻る。

ステップＳ１７における判定の結果、２ｎｄレリーズ押し下げの場合には、本露光を行う（Ｓ１９）。ここでは、予め定められた露出制御値に従って撮像素子２１による露光動作を行う。この露光が終わると、撮像素子２１から全画素（通常の撮像用画素および焦点検出用画素）の画素値を読み出し、画像処理部２２が静止画の画像データを生成する。この画像データの生成にあたって、焦点検出用画素からの画素値は補正処理を行う。画像データが生成されると、記録部２４に記録する。

本露光が終わると、次に、カメラ電源オフか否かを判定する（Ｓ２１）。ここでは、カメラの電源スイッチの状態に基づいて判定する。この判定の結果、電源オフでない場合には、ステップＳ１に戻る。一方、電源オフの場合には、終了処理をしたのち、電源オフ状態になる。

以上説明したように、本発明の一実施形態に係る撮像素子は、複数の撮像用画素と撮像用画素よりも受光部の開口の位置をずらした複数の焦点検出用画素を有している。そして、第１の方向に開口をずらした第１の焦点検出用画素（例えば、ＲＬ画素）を第１の画素ピッチで配置し、この第１の方向と異なる方向に第２の方向に開口をずらした第２の焦点検出用画素（例えば、ＴＢ画素）を第２の画素ピッチで配置している。このため、焦点検出用に左右開口画素列に加えて上下開口の画素列を配置しても、混合読み出しを行う動画時に画質とＡＦ性能を両立させることができる。

また、本発明の一実施形態においては、第１の方向と第２の方向を直交させ、第１の画素ピッチと第２の画素ピッチを等しくしている（例えば、４画素ピッチ）。そして、第２の焦点検出用画素（例えば、ＴＢ画素）の配置は、第１の焦点検出用画素（例えば、ＲＬ画素）の配置を９０度回転させた配置と一致させている（図３参照）。このような焦点検出用画素の配置とすることにより、第１の方向と第２の方向のそれぞれの焦点検出精度等のＡＦ性能を同等とすることが可能である。

なお、本発明の一実施形態に係る撮像素子おいては、画素ピッチは４画素ピッチであったが、これに限られない。また、画素は直交する２方向に沿って配置されていたが、これに限られない。また、ＲＬ画素およびＴＢ画素は、ＲＧＢ画素のいずれに配置するかは、図示の例に限られない。

また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末（ＰＤＡ：Personal Digital Assist）、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、撮像素子を組み込む機器であればよい。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０・・・交換レンズ鏡筒、１１・・・撮影レンズ、１２・・・アクチュエータ、１３・・・レンズ制御部、２０・・・カメラ本体、２１・・・撮像素子、２１ａ〜２１ｅ・・・領域、２２・・・画像処理部、２３・・・ＡＦ演算部、２４・・・記録部、２５・・・表示部

Claims

複数の撮像用画素と上記撮像用画素よりも受光部の開口の位置をずらした複数の焦点検出用画素を有する撮像素子において、
第１の方向に開口の位置をずらし、かつ開口の位置が異なる複数の焦点検出画素を含む第１の焦点検出用画素群の焦点検出画素を、上記撮像用画素の第１の色フィルタに対応する位置に、上記開口の位置が異なる焦点検出画素毎にそれぞれ上記第１の方向に第１の画素ピッチで配置し、
上記第１の方向と異なる第２の方向に開口をずらし、かつ開口の位置が異なる複数の焦点検出画素を含む第２の焦点検出用画素群の焦点検出画素を、上記撮像用画素の上記第１の色フィルタと色が異なる第２の色フィルタに対応する位置に、上記開口の位置が異なる焦点検出画素毎にそれぞれ上記第２の方向に第２の画素ピッチで配置し、
上記撮像用画素の上記第２の色フィルタに対応する位置であって、上記第２の焦点検出用画素が配置される位置には上記第１の色フィルタが配置されることを特徴とする撮像素子。
上記第１の焦点検出画素群の上記開口の位置が異なる焦点検出画素を上記第２の方向に上記第１の画素ピッチで交互に配置し、上記第２の焦点検出画素群の上記開口の位置が異なる焦点検出画素を上記第１の方向に上記第２の画素ピッチで交互に配置することを特徴とする請求項１に記載の撮像素子。
上記第１の色フィルタは緑色で、上記第２の色フィルタは青色または赤色であることを特徴とする請求項１または２に記載の撮像素子。