JP5526287B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、撮像装置及び撮像方法に関する。

近年、位相差を検出するための位相差画素を含む撮像素子を搭載したデジタルカメラが製品化されている。この撮像素子によれば、位相差画素を用いた位相差検出方式により、オートフォーカスを高速に行うことができる。

例えば、特許文献１は、多数の画素が配置される受光面において、所定個の画素行おきに、位相差画素を含む画素行を設けた撮像素子を開示している。

位相差画素を含む画素行を所定個おきに有する撮像素子において動画撮影を行う際、撮像素子から出力される撮像画像信号に位相差画素から読み出された信号が含まれていると、その信号の補正が困難となる。そのため、動画撮影時には、位相差画素を含む画素行からは信号を読み出さない間引き駆動を行うのが有効と考えられる。

しかし、位相差画素を含む画素行の配置パターンによっては、この間引き駆動によって得られる信号の被写体空間における位置（空間位置）の間隔が不均一になり、ジャギーが発生する可能性がある。

図１３は、位相差画素を有する固体撮像素子の一部分を拡大した図である。この固体撮像素子３００は、行方向Ｘとこれに直交する列方向Ｙに正方格子状に配列された複数の画素１００を備える。

各画素１００は、光電変換素子とその上方に設けられるカラーフィルタとを含む。全ての画素１００に含まれるカラーフィルタの配列はベイヤ配列となっている。

図１３において、“Ｒ”を付した画素は、赤色光を検出する画素である。また、“Ｇ”を付した画素は、緑色光を検出する画素である。また、“Ｂ”を付した画素は、青色光を検出する画素である。以下では、Ｒを付した画素１００をＲ画素１００とも言う。また、Ｇを付した画素１００をＧ画素１００とも言う。また、Ｂを付した画素１００をＢ画素１００とも言う。

固体撮像素子３００では、Ｇ画素１００の一部が、位相差を検出するための画素である位相差画素となっている。図１３において、位相差画素となる画素１００には網掛けと共に符号１００ａが付されている。位相差画素１００ａは、光電変換素子の光学開口が右側に偏心している画素と、光電変換素子の光学開口が左側に偏心している画素との２種類の画素を含む。

図１３の例では、位相差画素１００ａを含む画素行が３つの画素行おきに配置されている。

固体撮像素子３００において、位相差画素１００ａから信号を読みだすことなく、カラー画像データを生成するのに必要な信号（Ｒ（赤色）信号、Ｇ（緑色）信号、Ｂ（青色）信号）を得る方法としては、次の２つが考えられる。

１つは、図１３に示されるように、位相差画素１００ａを含む画素行とその上に隣接するＧ画素１００とＲ画素１００からなるＧＲ画素行については信号を読み出さず、それ以外の画素行についてのみ信号を読みだす方法である。

もう１つは、図１４に示されるように、位相差画素１００ａを含む画素行とその下に隣接するＧＲ画素行については信号を読み出さず、それ以外の画素行についてのみ信号を読みだす方法である。

しかし、これら２つの方法は、いずれも、画素１００から読み出した信号の空間位置が列方向Ｙにおいて不均一に並ぶため、ジャギーが発生する可能性がある。

なお、固体撮像素子３００において、位相差画素１００ａを含む画素行を除く、ＧＲ画素行と、Ｂ画素１００とＧ画素１００からなるＢＧ画素行とを、列方向に交互に、かつ、所定画素行おきに読み出す駆動を採用することができれば、固体撮像素子３００から読み出した信号の空間位置が列方向において等間隔で並ぶことになる。

しかし、固体撮像素子３００は、位相差画素１００ａを含む画素行を３つの画素行おきに有するため、このような駆動は採用することができない。このような駆動を採用できない固体撮像素子としては、固体撮像素子３００の他に、固体撮像素子３００において位相差画素１００ａを含む画素行が７つの画素行おきに配置されているものや、固体撮像素子３００において位相差画素１００ａを含む画素行が１５個の画素行おきに配置されているもの等がある。

つまり、位相差画素を含む画素行が（２^ｎ＋１−１）個（ｎは自然数）の画素行おきに配置されている固体撮像素子に対しては、従来知られている間引き駆動方法では、読み出した信号の空間位置の配列が不均一になり、ジャギーを抑制することができない。

特許文献１は、ジャギーを抑制するための間引き駆動の具体的方法について開示しているものではない。

日本国特開２０１０−１５２１６１号公報

本発明は、上記事情に鑑みてなされたものであり、位相差画素の信号を間引いて画像を生成する場合にジャギーを発生させることない撮像装置及び撮像方法を提供することを目的とする。

本発明の撮像装置は、二次元状に配列された複数の画素を含む固体撮像素子を有する撮像装置であって、前記固体撮像素子は、赤色光を検出する赤色画素、緑色光を検出する緑色画素、及び青色光を検出する青色画素がベイヤ状に配列された画素群を含むものであり、前記ベイヤ状に配列された画素群は、前記緑色画素と前記赤色画素が行方向に交互に並べられた画素行であるＧＲ画素行と、前記青色画素と前記緑色画素が行方向に交互に並べられた画素行であるＢＧ画素行との２種類の画素行が、前記行方向に直交する列方向に交互に並べられているものであり、前記ベイヤ状に配列された画素群に含まれる前記ＧＲ画素行又は前記ＢＧ画素行は、位相差を検出するための位相差画素を含む位相差画素行を複数個含むものであり、前記位相差画素行は、前記ベイヤ状に配列された画素群において（２^ｎ＋１−１）個（ｎは自然数）の画素行おきに配置されるものであり、前記列方向に等間隔で並ぶ、前記位相差画素行と同一種類の複数の画素行の各々に対し、第一の制御又は第二の制御を行う制御部を備え、前記第一の制御が行われる画素行と前記第二の制御が行われる画素行とは前記列方向に交互に並び、前記第一の制御は、制御対象となる前記画素行の各画素からは信号を読み出さず、前記制御対象となる前記画素行に隣接する２つの画素行の各画素から信号を読み出す制御であり、前記第二の制御は、制御対象となる前記画素行の各画素から信号を読み出す制御であり、前記列方向に等間隔で並ぶ同一種類の複数の画素行は、前記固体撮像素子に含まれる全ての前記位相差画素行と、前記列方向において隣り合う前記位相差画素行同士の中間にある画素行とを少なくとも含み、前記制御部は、少なくとも前記位相差画素行に対しては前記第一の制御を行うものである。

本発明の撮像方法は、二次元状に配列された複数の画素を含む固体撮像素子を用いた撮像方法であって、前記固体撮像素子は、赤色光を検出する赤色画素、緑色光を検出する緑色画素、及び青色光を検出する青色画素がベイヤ状に配列された画素群を含むものであり、前記ベイヤ状に配列された画素群は、前記緑色画素と前記赤色画素が行方向に交互に並べられた画素行であるＧＲ画素行と、前記青色画素と前記緑色画素が行方向に交互に並べられた画素行であるＢＧ画素行との２種類の画素行が、前記行方向に直交する列方向に交互に並べられているものであり、前記ベイヤ状に配列された画素群に含まれる前記ＧＲ画素行又は前記ＢＧ画素行は、位相差を検出するための位相差画素を含む位相差画素行を複数個含むものであり、前記位相差画素行は、前記ベイヤ状に配列された画素群において（２^ｎ＋１−１）個（ｎは自然数）の画素行おきに配置されるものであり、前記列方向に等間隔で並ぶ、前記位相差画素行と同一種類の複数の画素行の各々に対し、第一の制御又は第二の制御を行う制御ステップを備え、前記第一の制御が行われる画素行と前記第二の制御が行われる画素行とは前記列方向に交互に並び、前記第一の制御は、制御対象となる前記画素行の各画素からは信号を読み出さず、前記制御対象となる前記画素行に隣接する２つの画素行の各画素から信号を読み出す制御であり、前記第二の制御は、制御対象となる前記画素行の各画素から信号を読み出す制御であり、前記列方向に等間隔で並ぶ同一種類の複数の画素行は、前記固体撮像素子に含まれる全ての前記位相差画素行と、前記列方向に隣接する前記位相差画素行同士の中間にある画素行とを少なくとも含み、前記制御ステップでは、少なくとも前記位相差画素行に対しては前記第一の制御を行うものである。

本発明によれば、位相差画素の信号を間引いて画像を生成する場合にジャギーを発生させることない撮像装置及び撮像方法を提供することができる。

本発明の一実施形態を説明するための撮像装置の概略構成を示す図 図１に示される固体撮像素子５の概略構成を示す平面模式図 図１に示されるデジタルカメラにおけるシステム制御部１１が行う動画撮影時の制御内容を説明するための図 図２に示される固体撮像素子５の変形例を示す図 図４に示される固体撮像素子を搭載するデジタルカメラにおけるシステム制御部１１が行う動画撮影時の制御内容を説明するための図 図４に示される固体撮像素子を搭載するデジタルカメラにおけるシステム制御部１１が行う動画撮影時の制御内容の別例を説明するための図 図２に示される固体撮像素子５の変形例を示す図 図７に示される固体撮像素子を搭載するデジタルカメラにおけるシステム制御部１１が行う動画撮影時の制御内容を説明するための図 図７に示される固体撮像素子５ｂの変形例を示す図 図９に示される固体撮像素子を搭載するデジタルカメラにおけるシステム制御部１１が行う動画撮影時の制御内容を説明するための図 図９に示される固体撮像素子を搭載するデジタルカメラにおけるシステム制御部１１が行う動画撮影時の制御内容の別例を説明するための図 図７に示される固体撮像素子５ｂの変形例を示す図 位相差画素を有する固体撮像素子の一例を示す図 図１３に示される固体撮像素子の間引き駆動の方法を説明するための図

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態を説明するための撮像装置の概略構成を示す図である。撮像装置としては、デジタルカメラ及びデジタルビデオカメラ等の撮像装置、電子内視鏡及びカメラ付携帯電話機等に搭載される撮像モジュール、等がある。以下では、デジタルカメラを例にして説明する。

図１に示されるデジタルカメラの撮像系は、撮影レンズ１と、ＭＯＳ型の固体撮像素子５と、この両者の間に設けられた絞り２と、赤外線カットフィルタ３と、光学ローパスフィルタ４とを備える。

デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、フラッシュ発光部１２及び受光部１３を制御する。また、システム制御部１１は、レンズ駆動部８を制御して撮影レンズ１の位置をフォーカス位置に調整したりズーム調整を行ったりする。また、システム制御部１１は、絞り駆動部９を介し絞り２の開口量を制御して露光量調整を行う。

また、システム制御部１１は、撮像素子駆動部１０を制御して固体撮像素子５を駆動し、撮影レンズ１を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。

デジタルカメラの電気制御系は、更に、固体撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、このアナログ信号処理部６から出力されたＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備える。アナログ信号処理部６とＡ／Ｄ変換回路７はシステム制御部１１によって制御される。

更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、補間演算やガンマ補正演算，ＲＧＢ／ＹＣ変換処理等を行って画像データを生成するデジタル信号処理部１７と、デジタル信号処理部１７で生成された画像データをＪＰＥＧ形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部１８と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された液晶表示部２３が接続される表示制御部２２とを備える。

メモリ制御部１５、デジタル信号処理部１７、圧縮伸張処理部１８、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

図２は、図１に示される固体撮像素子５の概略構成を示す平面模式図である。

固体撮像素子５は、行方向Ｘとこれに直交する列方向Ｙに二次元状（図２の例では正方格子状）に配列された複数の画素５１を備える。

各画素５１は、フォトダイオード等の光電変換部とその上方に設けられるカラーフィルタとを含む。全ての画素５１に含まれるカラーフィルタの全体としての配列はベイヤ配列となっている。

図２において、“Ｒ”を付した画素５１は、赤色光を検出する画素である。また、“Ｇ”を付した画素５１は、緑色光を検出する画素である。また、“Ｂ”を付した画素５１は、青色光を検出する画素である。以下では、“Ｒ”を付した画素５１をＲ画素５１とも言う。また、“Ｇ”を付した画素５１をＧ画素５１とも言う。また、“Ｂ”を付した画素５１をＢ画素５１とも言う。

固体撮像素子５は、Ｇ画素５１とＲ画素５１が行方向Ｘに交互に並べられた画素行であるＧＲ画素行と、Ｂ画素５１とＧ画素５１が行方向Ｘに交互に並べられた画素行であるＢＧ画素行との２種類の画素行を含む。この２種類の画素行は、列方向Ｙに交互に並べられている。

固体撮像素子５に含まれる全てのＢＧ画素行は、位相差を検出するための位相差画素を含む画素行（以下、位相差画素行という）を複数個含む。

図２において、位相差画素となるＧ画素５１には網掛けと共に符号５１ａが付されている。位相差画素５１ａは、光電変換部の光学開口が右側に偏心している画素と、光電変換部の光学開口が左側に偏心している画素との２種類の画素を含む。位相差画素５１ａは、光電変換部の光学開口が上側に偏心している画素と、光電変換部の光学開口が下側に偏心している画素との２種類の画素を含むものであってもよい。位相差画素の構成は周知のものを用いることができる。

固体撮像素子５は、位相差画素行を（２^ｎ＋１−１）個（ｎは自然数）の画素行おきに有するものであればよい。図２の例では、ｎ＝１としているため、位相差画素行が３個の画素行おきに配置されている。

固体撮像素子５の各位相差画素行には、所定の規則にしたがって複数個の位相差画素５１ａが配置されている。

図１に示されるデジタルカメラは、静止画撮影と動画撮影が可能である。静止画撮影時には、システム制御部１１が、固体撮像素子５に含まれる各位相差画素行の画素から信号を読み出す制御を行う。そして、システム制御部１１は、各位相差画素行から読み出した信号のうち、位相差画素５１ａから読み出した信号を用いて、位相差検出方式により、オートフォーカス制御を行う。

一方、動画撮影時には、システム制御部１１が、列方向Ｙに等間隔で並ぶ、位相差画素行と同一種類の複数の画素行（図２の例ではＢＧ画素行）毎に第一の制御と第二の制御のいずれかを行う。システム制御部１１は、この複数の画素行が、第一の制御が行われる画素行と第二の制御が行われる画素行とが列方向Ｙに交互に並んだものとなるように、複数の画素行毎に第一の制御又は第二の制御を行う。

第一の制御は、制御対象となる画素行の各画素５１からは信号を読み出さず、制御対象となる画素行に対して列方向Ｙに隣接する２つの画素行の各画素５１から信号を読み出す制御である。

第二の制御は、制御対象となる画素行の各画素５１から信号を読み出す制御である。

なお、第一の制御と第二の制御を行う対象とする複数の画素行は、固体撮像素子５に含まれる画素行のうち、全ての位相差画素行と、列方向Ｙに隣り合う位相差画素行同士の中間にあるＧＢ画素行とを少なくとも含むように設定される。システム制御部１１は、少なくとも各位相差画素行に対しては第一の制御を行う。

以下、動画撮影時のシステム制御部１１の動作について説明する。

図３は、図１に示されるデジタルカメラにおけるシステム制御部１１が行う動画撮影時の制御内容を説明するための図である。図３には、固体撮像素子５に含まれる画素５１として、４つの画素５１を含む画素行が１５個分示されている。

図３の例では、固体撮像素子５に含まれる全ての画素行のうち、偶数行目にある画素行が第一の制御又は第二の制御を行う画素行となっている。そして、動画撮影時において、固体撮像素子５の１フレーム分の露光が終了すると、システム制御部１１は、図３に示されるように、固体撮像素子５に含まれる各位相差画素行に対しては第一の制御を行い、固体撮像素子５に含まれる列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行に対しては第二の制御を行う。

つまり、システム制御部１１は、固体撮像素子５の各位相差画素行の上下に隣接するＢＧ画素行の各画素５１から信号を読み出すように、撮像素子駆動部１０を制御する。また、システム制御部１１は、固体撮像素子５の列方向Ｙにおいて隣り合う位相差画素行同士の中間のＢＧ画素行の各画素５１から信号を読み出すように、撮像素子駆動部１０を制御する。

第一の制御及び第二の制御によって読み出された信号は、アナログ信号処理部６及びＡ／Ｄ変換回路７にて処理された後、メインメモリ１６に記憶される。

続いて、デジタル信号処理部１７が、メインメモリ１６に記憶された第一の制御によって読み出された信号のうち、位相差画素行の各画素５１に対して列方向Ｙに隣接する２つの同色画素５１（図３において、破線で結んだ２つの画素５１）から読み出された信号同士を加算する。

加算によって得られる信号の空間位置は、加算対象となった２つの信号の出力元の２つの画素５１の重心位置と一致する。

デジタル信号処理部１７による信号の加算処理が終了すると、メインメモリ１６に記憶される撮像画像信号の空間配列は、被写体空間において、固体撮像素子５の各位相差画素行に含まれるＢ画素５１の位置にＧ信号が配置され、固体撮像素子５の各位相差画素行に含まれるＧ画素５１の位置にＲ信号が配置されたものとなる。

また、この空間配列は、固体撮像素子５の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行に含まれるＢ画素５１，Ｇ画素５１の位置にそれぞれＢ信号，Ｇ信号が配置されたものとなる。

なお、図３において、“Ｒ”の文字が記載された円がＲ信号を示し、“Ｇ”の文字が記載された円がＧ信号を示し、“Ｂ”の文字が記載された円がＢ信号を示している。

したがって、撮像画像信号の空間配列は、Ｇ信号とＲ信号を行方向Ｘに交互に並べた信号行と、Ｂ信号とＧ信号を行方向Ｘに交互に並べた信号行とを、列方向Ｙに向かって交互にかつ等間隔で並べたものになる。デジタル信号処理部１７が、この撮像画像信号を処理して画像データを生成することで、ジャギーのない画像データを得ることができる。

以上のように、システム制御部１１は、第一の制御が行われる画素行と第二の制御が行われる画素行とが列方向Ｙに交互に並んだものとなるように第一の制御と第二の制御を行う。この結果、後段のデジタル信号処理部１７が行う加算処理によって、Ｇ信号とＲ信号を含む信号行と、Ｂ信号とＧ信号を含む信号行とを、列方向Ｙに等間隔で交互に並べた空間配列の撮像画像信号を生成することが可能となる。したがって、ジャギーのない画像データを得ることができる。

また、上記空間配列の撮像画像信号には、位相差画素行から読み出された信号が含まれない。このため、位相差画素からの信号を補正する必要がない。したがって、処理負担を増加させることなく、動画撮影を行うことができる。

なお、位相差画素行の各画素５１に対して列方向Ｙに隣接する２つの同色画素５１から読み出された信号の加算処理は、アナログ信号処理部６が行ってもよい。例えば、２本のラインメモリと加算器を用いることで、位相差画素行の各画素５１に対して列方向Ｙに隣接する２つの同色画素５１から読み出された信号をアナログ的に加算することができる。

また、固体撮像素子５としてはＣＣＤ型のものを用いてもよい。固体撮像素子５としてＣＣＤ型のものを用いた場合は、位相差画素行の各画素５１に対して列方向Ｙに隣接する２つの同色画素５１から読み出した信号（信号電荷）を、電荷転送路上で混合する駆動を、撮像素子駆動部１０がシステム制御部１１の制御により行う。

このような駆動により、当該２つの画素５１の各々から読み出した信号を加算した信号を、固体撮像素子５内において生成することができる。この場合は、システム制御部１１が、位相差画素行の各画素５１に対して列方向Ｙに隣接する２つの同色画素５１から読み出された信号を加算する信号加算部として機能する。

なお、デジタル信号処理部１７による加算処理後に得られる撮像画像信号において、第一の制御によって読み出され、加算処理後に得られた信号と、第二の制御によって読み出された信号との間には２倍の感度差が生じる。このため、この感度差を補正することが画質向上の上で好ましい。例えば、デジタル信号処理部１７が、第二の制御によって読み出された信号を一律のゲインで増幅する処理を行う。これにより、信号間の感度差をなくすことが可能である。

図４は、図２に示される固体撮像素子５の変形例を示す図である。図４に示される固体撮像素子５ａは、位相差画素行が７つの画素行おきに配置されている点（上記ｎの値が２である点）を除いては、図２に示される固体撮像素子５と同じ構成である。

以下、固体撮像素子５ａを搭載するデジタルカメラの動画撮影時の動作について説明する。

図５は、固体撮像素子５ａを搭載するデジタルカメラにおけるシステム制御部１１が行う動画撮影時の制御内容を説明するための図である。図５には、固体撮像素子５ａに含まれる画素５１として、４つの画素５１を含む画素行が１５個分示されている。

図５の例では、固体撮像素子５ａに含まれる全ての画素行のうち、各位相差画素行と、列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行とが、第一の制御又は第二の制御が行われる画素行となっている。そして、動画撮影時において、固体撮像素子５ａの１フレーム分の露光が終了すると、システム制御部１１は、図５に示されるように、固体撮像素子５ａの各位相差画素行に対しては第一の制御を行い、固体撮像素子５ａの列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行に対しては第二の制御を行う。

つまり、システム制御部１１は、固体撮像素子５ａの各位相差画素行の上下に隣接する２つのＧＲ画素行から信号を読み出すように、撮像素子駆動部１０を制御する。また、システム制御部１１は、固体撮像素子５ａの列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行から信号を読み出すように、撮像素子駆動部１０を制御する。

第一の制御及び第二の制御によって読み出された信号は、アナログ信号処理部６及びＡ／Ｄ変換回路７にて処理された後、メインメモリ１６に記憶される。

続いて、デジタル信号処理部１７は、メインメモリ１６に記憶された第一の制御によって読み出された信号のうち、固体撮像素子５ａの位相差画素行の各画素５１に対して列方向Ｙに隣接する２つの同色画素５１（図５において、破線で結んだ２つの画素５１）から読み出された信号同士を加算する。加算によって得られる信号の空間位置は、加算対象となった２つの信号の出力元の２つの画素５１の重心位置と一致する。

デジタル信号処理部１７による信号の加算処理が終了すると、メインメモリ１６に記憶される撮像画像信号の空間配列は、被写体空間において、固体撮像素子５ａの各位相差画素行に含まれるＢ画素５１の位置にＧ信号が配置され、固体撮像素子５ａの各位相差画素行に含まれるＧ画素５１の位置にＲ信号が配置されたものとなる。

また、この空間配列は、固体撮像素子５ａの列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行に含まれるＢ画素５１，Ｇ画素５１の位置にそれぞれＢ信号，Ｇ信号が配置されたものとなる。

なお、図５において、“Ｒ”の文字が記載された円がＲ信号を示し、“Ｇ”の文字が記載された円がＧ信号を示し、“Ｂ”の文字が記載された円がＢ信号を示している。

したがって、撮像画像信号の空間配列は、Ｇ信号とＲ信号を含む信号行と、Ｂ信号とＧ信号を含む信号行とを、列方向Ｙに等間隔で交互に並べたものになる。デジタル信号処理部１７が、この撮像画像信号を用いて画像データを生成することで、ジャギーの発生を防止することができる。

図５に示されるように第一の制御と第二の制御を行う画素行を決めることで、Ｇ信号とＲ信号を含む信号行と、Ｂ信号とＧ信号を含む信号行とを、列方向Ｙに等間隔で交互に並べた空間配列の撮像画像信号を、後段のデジタル信号処理部１７によって生成することが可能となる。この撮像画像信号は、撮像画像信号を構成する信号行の本数が、図３の場合と比較して半分になる。したがって、動画のフレームレートの向上が可能となる。

なお、動画フレームレートが向上するという効果は、位相差画素行を（２^ｎ＋１−１）個（ｎは２以上の自然数）の画素行おきに有する固体撮像素子であれば得ることができる。

位相差画素行を（２^ｎ＋１−１）個（ｎは２以上の自然数）の画素行おきに有する固体撮像素子を用いる場合、第一の制御又は第二の制御を行う対象とする複数の画素行は、目標とするフレームレートに応じて適宜設定すればよい。ただし、この複数の画素行には、少なくとも、各位相差画素行と、列方向Ｙにおいて隣り合う位相差画素行同士の中間にある画素行とを含ませる必要がある。

例えば、ｎ＝３の場合、システム制御部１１は、各位相差画素行に対しては第一の制御を行い、列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行に対しては第二の制御を行う。

この第一の制御及び第二の制御によって読み出され、デジタル信号処理部１６によって加算処理された後に得られる撮像画像信号は、図５に示される撮像画像信号の半分の解像度になる。このため、更なるフレームレートの向上が可能になる。

また、ｎ＝２の場合は、第一の制御を行う画素行と第二の制御を行う画素行とを、図６に示されるように決めてもよい。

図６の例では、固体撮像素子５ａに含まれる全ての画素行のうち、各位相差画素行と、列方向Ｙにおいて隣り合う位相差画素行同士の間にある３つのＢＧ画素行とが、第一の制御又は第二の制御が行われる画素行となっている。そして、動画撮影時において、固体撮像素子５ａの１フレーム分の露光が終了すると、システム制御部１１は、図６に示されるように、固体撮像素子５ａに含まれる全ての画素行のうち、各位相差画素行と、列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行とに対しては第一の制御を行い、その他のＢＧ画素行に対しては第二の制御を行う。

つまり、システム制御部１１は、固体撮像素子５ａに含まれる全ての画素行のうち、各位相差画素行の上下に隣接するＧＲ画素行から信号を読み出すように、撮像素子駆動部１０を制御する。

また、システム制御部１１は、固体撮像素子５ａに含まれる全ての画素行のうち、列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行の上下に隣接するＢＧ画素行から信号を読み出すように、撮像素子駆動部１０を制御する。

また、システム制御部１１は、固体撮像素子５に含まれる全ての画素行のうち、列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行と、そのＢＧ画素行の列方向Ｙにおいて隣にある位相差画素行との中間にあるＢＧ画素行から信号を読み出すように、撮像素子駆動部１０を制御する。

第一の制御及び第二の制御によって読みだされた信号は、アナログ信号処理部６及びＡ／Ｄ変換回路７にて処理された後、メインメモリ１６に記憶される。

続いて、デジタル信号処理部１７は、メインメモリ１６に記憶された第一の制御によって読み出された信号のうち、固体撮像素子５ａの位相差画素行の各画素５１に対して列方向Ｙに隣接する２つの同色画素５１（図６において、破線で結んだ２つの画素５１）から読み出された信号同士を加算する。加算して得られる信号の空間位置は、加算対象となった２つの信号の出力元の２つの画素５１の重心位置と一致する。

また、デジタル信号処理部１７は、メインメモリ１６に記憶された第一の制御によって読み出された信号のうち、固体撮像素子５ａの列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行の各画素５１に対して列方向Ｙに隣接する２つの同色画素５１（図６において、破線で結んだ２つの画素５１）から読み出された信号同士を加算する。加算して得られる信号の空間位置は、加算対象となった２つの信号の出力元の２つの画素５１の重心位置と一致する。

デジタル信号処理部１７による信号の加算処理が終了すると、メインメモリ１６に記憶される撮像画像信号の空間配列は、固体撮像素子５ａの各位相差画素行に含まれるＢ画素５１の位置にＧ信号が配置され、固体撮像素子５ａの各位相差画素行に含まれるＧ画素５１の位置にＲ信号が配置されたものとなる。

また、この空間配列は、固体撮像素子５ａの列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行に含まれるＢ画素５１の位置にＧ信号が配置され、当該ＢＧ画素行に含まれるＧ画素５１の位置にＲ信号が配置されたものとなる。

また、この空間配列は、固体撮像素子５に含まれる画素行のうち、位相差画素行と、列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行とを除くＢＧ画素行、に含まれるＢ画素５１，Ｇ画素５１の位置にそれぞれＢ信号，Ｇ信号が配置されたものとなる。

なお、図６において、“Ｒ”の文字が記載された円がＲ信号を示し、“Ｇ”の文字が記載された円がＧ信号を示し、“Ｂ”の文字が記載された円がＢ信号を示している。

以上のように、ｎ＝２の場合には、システム制御部１１が、制御対象とする複数の画素行において、位相差画素行だけでなく、列方向Ｙにおいて隣り合う位相差画素行同士の中間にある画素行に対しても第一の制御を実行し、残りの画素行に対しては第二の制御を実行する。これにより、図５の例と比較して、撮像画像信号を構成する信号行の本数を２倍に増やすことができる。したがって、解像度を向上させた動画撮影が可能となる。

なお、ｎ≧３の場合も、位相差画素行だけでなく、列方向Ｙにおいて隣り合う位相差画素行同士の中間にある画素行に対しても第一の制御を実行すると共に、第一の制御を行う画素行と、第二の制御を行う画素行とが列方向Ｙに交互に並ぶように、第一の制御又は第二の制御を行う対象となる画素行を決める。このようにすることで、ｎ＝２の場合と同様に、動画解像度の向上を図ることができる。

また、図５，６に示される制御内容においても、第一の制御によって読み出される信号の加算は、アナログ信号処理部６によって行ったり、固体撮像素子５ａ内部で行ったりすることができる。

図７は、図２に示される固体撮像素子５の変形例を示す図である。図７に示される固体撮像素子５ｂは、行方向Ｘとこれに直交する列方向Ｙに二次元状（図７の例では正方格子状）に配列された複数の画素５２からなる第一の画素群と、第一の画素群と同じ配列の複数の画素５３からなる第二の画素群とを有する。

各画素５２は、フォトダイオード等の光電変換部とその上方に設けられるカラーフィルタとを含む。全ての画素５２に含まれるカラーフィルタの配列はベイヤ配列となっている。

各画素５３は、フォトダイオード等の光電変換部とその上方に設けられるカラーフィルタとを含む。全ての画素５３に含まれるカラーフィルタの配列はベイヤ配列となっている。

図７において、“Ｒ”を付した画素は、赤色光を検出する画素である。また、“Ｇ”を付した画素は、緑色光を検出する画素である。また、“Ｂ”を付した画素は、青色光を検出する画素である。以下では、“Ｒ”を付した画素５２，５３をＲ画素５２，５３とも言う。また、“Ｇ”を付した画素５２，５３をＧ画素５２，５３とも言う。また、“Ｂ”を付した画素５２，５３をＢ画素５２，５３とも言う。

固体撮像素子５ｂの第一の画素群は、Ｇ画素５２とＲ画素５２が行方向Ｘに交互に並べられた画素行であるＧＲ画素行と、Ｂ画素５２とＧ画素５２が行方向Ｘに交互に並べられた画素行であるＢＧ画素行との２種類の画素行を含む。この２種類の画素行は、列方向Ｙに交互に並べられている。

固体撮像素子５ｂの第一の画素群に含まれる全てのＢＧ画素行は、位相差を検出するための位相差画素を含む位相差画素行を複数個含む。図７において、位相差画素となるＧ画素５２には網掛けがなされると共に符号５２ａが付されている。

固体撮像素子５ｂの第一の画素群は、位相差画素行を（２^ｎ＋１−１）個（ｎは自然数）の画素行おきに有するものであればよい。図７の例では、ｎ＝１としているため、第一の画素群において位相差画素行が３個の画素行おきに配置されている。

固体撮像素子５ｂの第一の画素群に含まれる各位相差画素行には、所定の規則にしたがって複数個の位相差画素５２ａが配置されている。

第一の画素群の各画素５２の隣には、各画素５２に対して同一の方向（図７の例では左斜め下方向）に、当該各画素５２と同色光を検出する第二の画素群の画素５３が配置されている。そして、各画素５２と、これに当該同一の方向で隣接する画素５３とで画素のペアを構成している。また、固体撮像素子５ｂの第一の画素群に含まれる各画素行と、この各画素行に含まれる画素５２とペアを構成する画素５３を含む第二の画素群における画素行とで画素行のペアが構成されている。

固体撮像素子５ｂの第二の画素群において、第一の画素群の位相差画素５２ａとペアを構成する画素５３は、位相差を検出する画素となっている。図７では、位相差を検出する画素５３には網掛けがなされると共に符号５３ａが付されている。

位相差画素５２ａは、光電変換部の光学開口が右側に偏心している画素である。位相差画素５３ａは、光電変換部の光学開口が左側に偏心している画素である。この位相差画素５２ａと位相差画素５３ａにより、位相差情報を得ることができる。位相差画素５２ａは、光電変換部の光学開口が上側に偏心している画素であり、位相差画素５３ａは、光電変換部の光学開口が下側に偏心している画素であってもよい。位相差画素の構成は周知のものを用いることができる。

固体撮像素子５ｂを搭載するデジタルカメラでは、動画撮影時に、システム制御部１１が、第一の画素群において列方向Ｙに等間隔で並ぶ、位相差画素行と同一種類の複数の画素行（図７の例ではＢＧ画素行）毎に第一の制御と第二の制御のいずれかを行う。システム制御部１１は、この複数の画素行が、第一の制御が行われる画素行と第二の制御が行われる画素行とが列方向Ｙに交互に並んだものとなるように、第一の画素群の複数の画素行毎に第一の制御又は第二の制御を行う。

また、システム制御部１１は、第一の画素群において第一の制御を行う画素行とペアを構成する第二の画素群の画素行に対しては第一の制御を行う。また、システム制御部１１は、第一の画素群において第二の制御を行う画素行とペアを構成する第二の画素群の画素行に対しては第二の制御を行う。

第一の制御は、制御対象となる画素行の各画素５２（５３）からは信号を読み出さず、制御対象となる画素行に対して列方向Ｙに隣接する２つの画素行の各画素５２（５３）から信号を読み出す制御である。

第二の制御は、制御対象となる画素行の各画素５２（５３）から信号を読み出す制御である。

なお、第一の画素群において第一の制御と第二の制御を行う対象となる複数の画素行は、固体撮像素子５ｂの第一の画素群に含まれる全ての位相差画素行と、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＧＢ画素行とを含むように設定される。システム制御部１１は、少なくとも第一の画素群の各位相差画素行に対しては第一の制御を行う。

以下、固体撮像素子５ｂを搭載するデジタルカメラにおける動画撮影時のシステム制御部１１の動作について説明する。

図８は、固体撮像素子５ｂを搭載するデジタルカメラにおけるシステム制御部１１が行う動画撮影時の制御内容を説明するための図である。図８には、固体撮像素子５ｂに含まれる画素行として、２つの画素５２を含む第一の画素群の画素行と、２つの画素５３を含む第二の画素群の画素行とがそれぞれ１２個分示されている。

図８の例では、固体撮像素子５ｂに含まれる第一の画素群の全ての画素行のうち、偶数行目にある画素行が第一の制御又は第二の制御が行われる画素行となっている。そして、動画撮影時において、固体撮像素子５ｂの１フレーム分の露光が終了すると、システム制御部１１は、図８に示されるように、第一の画素群における各位相差画素行及びこの各位相差画素行とペアを構成する第二の画素群の位相差画素行に対しては第一の制御を行う。また、システム制御部１１は、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行と、このＢＧ画素行とペアを構成する第二の画素群のＢＧ画素行に対しては第二の制御を行う。

つまり、システム制御部１１は、第一の画素群の各位相差画素行の上下に隣接するＧＲ画素行の各画素５２と、この各画素５２とペアを構成する第二の画素群の画素５３とから信号を読み出すように、撮像素子駆動部１０を制御する。また、システム制御部１１は、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間のＢＧ画素行の各画素５２と、この各画素５２とペアを構成する第二の画素群の画素５３から信号を読み出すように、撮像素子駆動部１０を制御する。

第一の制御及び第二の制御によって読み出された信号は、アナログ信号処理部６及びＡ／Ｄ変換回路７にて処理された後、メインメモリ１６に記憶される。

続いて、デジタル信号処理部１７は、メインメモリ１６に記憶された第一の制御によって読み出された信号のうち、第一の画素群の位相差画素行の各画素５２に対して列方向Ｙに隣接する２つの同色画素５２と、この２つの同色画素５２の各々とペアを構成する第二の画素群の画素５３との４つの画素（図８において、破線で結んだ４つの画素）から読み出された信号同士を加算する。加算して得られる信号の空間位置は、加算対象となった４つの信号の出力元である２つの画素５２及び２つの画素５３の重心位置と一致する。

また、デジタル信号処理部１７は、メインメモリ１６に記憶された第二の制御によって読み出された信号のうち、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行の各画素５２と、この各画素５２とペアを構成する第二の画素群の画素５３との２つの画素（図８において、一点鎖線で結んだ２つの画素）から読み出された信号同士を加算する。加算して得られる信号の空間位置は、加算対象となった２つの信号の出力元の画素５２及び画素５３の重心位置と一致する。

デジタル信号処理部１７による信号の加算処理が終了すると、メインメモリ１６に記憶される撮像画像信号の空間配列は、被写体空間において、第一の画素群の各位相差画素行に含まれるＢ画素５２とこのＢ画素５２とペアを構成するＢ画素５３との重心位置にＧ信号が配置され、第一の画素群の各位相差画素行に含まれるＧ画素５２とこのＧ画素５２とペアを構成するＧ画素５３との重心位置にＲ信号が配置されたものとなる。

また、この空間配列は、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行に含まれるＢ画素５２と、このＢ画素５２とペアを構成するＢ画素５３と、の重心位置にＢ信号が配置されたものとなる。

また、この空間配列は、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行に含まれるＧ画素５２と、このＧ画素５２とペアを構成するＧ画素５３と、の重心位置にＧ信号が配置されたものとなる。

なお、図８において、“Ｒ”の文字が記載された円がＲ信号を示し、“Ｇ”の文字が記載された円がＧ信号を示し、“Ｂ”の文字が記載された円がＢ信号を示している。

したがって、撮像画像信号の空間配列は、Ｇ信号とＲ信号を行方向Ｘに交互に並べた信号行と、Ｂ信号とＧ信号を行方向Ｘに交互に並べた信号行とを、列方向Ｙに向かって交互にかつ等間隔で並べたものになる。デジタル信号処理部１７が、この撮像画像信号を処理して画像データを生成することで、ジャギーのない画像データを得ることができる。

撮像画像信号において、第一の制御によって読み出され、加算処理後に得られた信号と、第二の制御によって読み出され、加算処理後に得られた信号との間には２倍の感度差が生じる。このため、この感度差を補正することが画質向上の上で好ましい。例えば、デジタル信号処理部１７が、第二の制御によって読み出され、加算処理後に得られた信号を一律のゲインで増幅する処理を行う。これにより、信号間の感度差をなくすことが可能である。

図９は、図７に示される固体撮像素子５ｂの変形例を示す図である。図９に示される固体撮像素子５ｃは、位相差画素行が７つの画素行おきに配置されている点（上記ｎの値が２である点）を除いては、図７に示される固体撮像素子５ｂと同じ構成である。

以下、固体撮像素子５ｃを搭載するデジタルカメラの動画撮影時の動作について説明する。

図１０は、固体撮像素子５ｃを搭載するデジタルカメラにおけるシステム制御部１１が行う動画撮影時の制御内容を説明するための図である。図１０には、固体撮像素子５ｃに含まれる画素行として、２つの画素５２を含む第一の画素群の画素行と、２つの画素５３を含む第二の画素群の画素行とがそれぞれ１２個分示されている。

図１０の例では、固体撮像素子５ｃに含まれる第一の画素群の全ての画素行のうち、各位相差画素行と、列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行とが、第一の制御又は第二の制御が行われる画素行となっている。そして、動画撮影時において、固体撮像素子５ｃの１フレーム分の露光が終了すると、システム制御部１１は、図１０に示されるように、第一の画素群の各位相差画素行及びこの各位相差画素行とペアを構成する第二の画素群の位相差画素行に対しては第一の制御を行う。また、システム制御部１１は、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行と、このＢＧ画素行とペアを構成する第二の画素群のＢＧ画素行に対しては第二の制御を行う。

つまり、システム制御部１１は、第一の画素群の各位相差画素行の上下に隣接するＧＲ画素行の各画素５２と、この各画素５２とペアを構成する第二の画素群の画素５３とから信号を読み出すように、撮像素子駆動部１０を制御する。

また、システム制御部１１は、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行の各画素５２と、この各画素５２とペアを構成する第二の画素群の画素５３から信号を読み出すように、撮像素子駆動部１０を制御する。

第一の制御及び第二の制御によって読み出された信号は、アナログ信号処理部６及びＡ／Ｄ変換回路７にて処理された後、メインメモリ１６に記憶される。

続いて、デジタル信号処理部１７は、メインメモリ１６に記憶された第一の制御によって読み出された信号のうち、第一の画素群の位相差画素行の各画素５１に対して列方向Ｙに隣接する２つの同色画素５２と、この２つの同色画素５２の各々とペアを構成する第二の画素群の画素５３との４つの画素（図１０において、破線で結んだ４つの画素）から読み出された信号同士を加算する。加算して得られる信号の空間位置は、加算対象となった４つの信号の出力元である２つの画素５２及び２つの画素５３の重心位置と一致する。

また、デジタル信号処理部１７は、メインメモリ１６に記憶された第二の制御によって読み出された信号のうち、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行の各画素５２と、この各画素５２とペアを構成する第二の画素群の画素５３との２つの画素（図１０において、一点鎖線で結んだ２つの画素）から読み出された信号同士を加算する。加算して得られる信号の空間位置は、加算対象となった２つの信号の出力元の画素５２及び画素５３の重心位置と一致する。

デジタル信号処理部１７による信号の加算処理が終了すると、メインメモリ１６に記憶される撮像画像信号の空間配列は、被写体空間において、第一の画素群の各位相差画素行に含まれるＢ画素５２とこのＢ画素５２とペアを構成するＢ画素５３との重心位置にＧ信号が配置され、第一の画素群の各位相差画素行に含まれるＧ画素５２とこのＧ画素５２とペアを構成するＧ画素５３との重心位置にＲ信号が配置されたものとなる。

また、この空間配列は、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行に含まれるＢ画素５２と、このＢ画素５２とペアを構成するＢ画素５３と、の重心位置にＢ信号が配置されたものとなる。

また、この空間配列は、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行に含まれるＧ画素５２と、このＧ画素５２とペアを構成するＧ画素５３と、の重心位置にＧ信号が配置されたものとなる。

なお、図１０において、“Ｒ”の文字が記載された円がＲ信号を示し、“Ｇ”の文字が記載された円がＧ信号を示し、“Ｂ”の文字が記載された円がＢ信号を示している。

したがって、撮像画像信号の空間配列は、Ｇ信号とＲ信号を行方向Ｘに交互に並べた信号行と、Ｂ信号とＧ信号を行方向Ｘに交互に並べた信号行とを、列方向Ｙに向かって交互にかつ等間隔で並べたものになる。デジタル信号処理部１７が、この撮像画像信号を処理して画像データを生成することで、ジャギーのない画像データを得ることができる。

図１０に示されるように第一の制御と第二の制御を行う画素行を決めることで、Ｇ信号とＲ信号を含む信号行と、Ｂ信号とＧ信号を含む信号行とを、列方向Ｙに等間隔で交互に並べた空間配列の撮像画像信号を、後段のデジタル信号処理部１７によって生成することが可能となる。この撮像画像信号は、撮像画像信号を構成する信号行の本数が、図８の場合と比較して半分になる。したがって、動画のフレームレートの向上が可能となる。

なお、動画フレームレートが向上するという効果は、固体撮像素子５，５ａと同様に、位相差画素行を（２^ｎ＋１−１）個（ｎは２以上の自然数）の画素行おきに有する固体撮像素子であれば得ることができる。

また、ｎ＝２の場合は、第一の制御を行う画素行と第二の制御を行う画素行とを、図１１に示されるように決めてもよい。

図１１の例では、固体撮像素子５ｃに含まれる全ての画素行のうち、各位相差画素行と、列方向Ｙにおいて隣り合う位相差画素行同士の間にある３つのＢＧ画素行とが、第一の制御又は第二の制御が行われる画素行となっている。そして、動画撮影時において、固体撮像素子５ｃの１フレーム分の露光が終了すると、システム制御部１１は、図１１に示されるように、固体撮像素子５ｃに含まれる全てのＢＧ画素行のうち、各位相差画素行と、列方向Ｙにおいて隣接する位相差画素行同士の中間にあるＢＧ画素行とに対しては第一の制御を行い、その他のＢＧ画素行に対しては第二の制御を行う。

第一の制御及び第二の制御によって読みだされた信号は、アナログ信号処理部６及びＡ／Ｄ変換回路７にて処理された後、メインメモリ１６に記憶される。

続いて、デジタル信号処理部１７は、メインメモリ１６に記憶された第一の制御によって読み出された信号のうち、第一の画素群の位相差画素行の各画素５２に対して列方向Ｙに隣接する２つの同色画素５２と、この２つの同色画素５２の各々とペアを構成する第二の画素群の画素５３との４つの画素（図１１において、破線で結んだ４つの画素）から読み出された信号同士を加算する。加算して得られる信号の空間位置は、加算対象となった４つの信号の出力元である２つの画素５２及び２つの画素５３の重心位置と一致する。

また、デジタル信号処理部１７は、メインメモリ１６に記憶された第一の制御によって読み出された信号のうち、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行の各画素５２に対して列方向Ｙに隣接する２つの同色画素５２と、この２つの同色画素５２の各々とペアを構成する画素５３との４つの画素（図１１において、破線で結んだ４つの画素）から読み出された信号同士を加算する。加算して得られる信号の空間位置は、加算対象となった４つの信号の出力元である２つの画素５２及び２つの画素５３の重心位置と一致する。

また、デジタル信号処理部１７は、メインメモリ１６に記憶された第二の制御によって読み出された信号のうち、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行と、このＢＧ画素行の列方向Ｙにおいて隣にある位相差画素行との間にあるＢＧ画素行の各画素５２と、この各画素５２とペアを構成する第二の画素群の画素５３との２つの画素（図１１において、一点鎖線で結んだ２つの画素）から読み出された信号同士を加算する。加算して得られる信号の空間位置は、加算対象となった２つの信号の出力元の画素５２及び画素５３の重心位置と一致する。

デジタル信号処理部１７による信号の加算処理が終了すると、メインメモリ１６に記憶される撮像画像信号の空間配列は、被写体空間において、第一の画素群の各位相差画素行に含まれるＢ画素５２と、このＢ画素５２とペアを構成するＢ画素５３との重心位置にＧ信号が配置され、第一の画素群の各位相差画素行に含まれるＧ画素５２と、このＧ画素５２とペアを構成するＧ画素５３との重心位置にＲ信号が配置されたものとなる。

また、この空間配列は、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行に含まれるＢ画素５２と、このＢ画素５２とペアを構成するＢ画素５３と、の重心位置にＧ信号が配置され、当該ＢＧ画素行に含まれるＧ画素５２とこのＧ画素５２とペアを構成するＧ画素５３との重心位置にＲ信号が配置されたものとなる。

また、この空間配列は、第一の画素群の列方向Ｙにおいて隣り合う位相差画素行同士の中間にあるＢＧ画素行と、このＢＧ画素行の列方向Ｙにおいて隣にある位相差画素行との間にあるＢＧ画素行に含まれるＢ画素５２と、このＢ画素５２とペアを構成するＢ画素５３と、の重心位置にＢ信号が配置され、当該ＢＧ画素行に含まれるＧ画素５２とこのＧ画素５２とペアを構成するＧ画素５３との重心位置にＧ信号が配置されたものとなる。

なお、図１１において、“Ｒ”の文字が記載された円がＲ信号を示し、“Ｇ”の文字が記載された円がＧ信号を示し、“Ｂ”の文字が記載された円がＢ信号を示している。

以上のように、ｎ＝２のときには、システム制御部１１が、制御対象とする第一の画素群の複数の画素行において、位相差画素行だけでなく、列方向Ｙにおいて隣り合う位相差画素行同士の中間にある画素行に対しても第一の制御を実行し、残りの画素行に対しては第二の制御を実行する。これにより、図１０の例と比較して、撮像画像信号を構成する信号行の本数を２倍に増やすことができる。したがって、解像度を向上させた動画撮影が可能となる。

なお、ｎ≧３の場合も、位相差画素行だけでなく、列方向Ｙにおいて隣り合う位相差画素行同士の中間にある画素行に対しても第一の制御を実行すると共に、第一の制御を行う画素行と、第二の制御を行う画素行とが列方向Ｙに交互に並ぶように、第一の制御又は第二の制御を行う対象となる画素行を決める。このようにすることで、ｎ＝２の場合と同様に、動画解像度の向上を図ることができる。

図１２は、図７に示される固体撮像素子５ｂの変形例を示す図である。

図１２に示される固体撮像素子５ｄは、第一の画素群と第二の画素群の各々に含まれる位相差画素行において、Ｇ画素だけでなく、Ｂ画素も位相差画素にしている点を除いては、固体撮像素子５ｂと同じ構成である。

このように、Ｂ画素の一部も位相差画素とすることで、青色の情報が多い被写体においても、ＡＦ精度を向上させることができる。

なお、固体撮像素子５ｄにおいて、Ｂ画素の代わりに、Ｒ画素の一部を位相差画素とすることでも、同様に、ＡＦ精度を向上させることができる。

固体撮像素子５ｂ，５ｃ，５ｄは、画素５２が、この画素５２とペアを構成する画素５３に対して斜めの方向に隣接配置されるものとなっている。しかし、ペアを構成する画素５２と画素５３のずれ方向（上述した同一の方向）は、斜め方向に限らず、行方向Ｘや列方向Ｙであってもよい。

固体撮像素子５ｂ，５ｃ，５ｄをＣＣＤ型のものにする場合は、例えば１６相駆動できるような構成とすることで、図８，１０，１１に示されるような制御が可能になる。

なお、固体撮像素子５，５ａ、又は、固体撮像素子５ｂ，５ｃ，５ｄの各画素群において、ＢＧ画素行の一部ではなく、ＧＲ画素行の一部を位相差画素行としてもよい。

ＧＲ画素行の一部を位相差画素行とする場合には、第一の制御及び第二の制御を行う対象画素行はＧＲ画素行とする必要がある。ただし、第一の制御及び第二の制御を行う対象画素行をＧＲ画素行にすると、偽色が目立ちやすくなる。このため、これまで説明してきたように、第一の制御及び第二の制御を行う対象画素行はＢＧ画素行にすることが好ましい。

以上説明してきたように、本明細書には次の事項が開示されている。

開示された撮像装置は、二次元状に配列された複数の画素を含む固体撮像素子を有する撮像装置であって、前記固体撮像素子は、赤色光を検出する赤色画素、緑色光を検出する緑色画素、及び青色光を検出する青色画素がベイヤ状に配列された画素群を含むものであり、前記ベイヤ状に配列された画素群は、前記緑色画素と前記赤色画素が行方向に交互に並べられた画素行であるＧＲ画素行と、前記青色画素と前記緑色画素が行方向に交互に並べられた画素行であるＢＧ画素行との２種類の画素行が、前記行方向に直交する列方向に交互に並べられているものであり、前記ベイヤ状に配列された画素群に含まれる前記ＧＲ画素行又は前記ＢＧ画素行は、位相差を検出するための位相差画素を含む位相差画素行を複数個含むものであり、前記位相差画素行は、前記ベイヤ状に配列された画素群において（２^ｎ＋１−１）個（ｎは自然数）の画素行おきに配置されるものであり、前記列方向に等間隔で並ぶ、前記位相差画素行と同一種類の複数の画素行の各々に対し、第一の制御又は第二の制御を行う制御部を備え、前記第一の制御が行われる画素行と前記第二の制御が行われる画素行とは前記列方向に交互に並び、前記第一の制御は、制御対象となる前記画素行の各画素からは信号を読み出さず、前記制御対象となる前記画素行に隣接する２つの画素行の各画素から信号を読み出す制御であり、前記第二の制御は、制御対象となる前記画素行の各画素から信号を読み出す制御であり、前記列方向に等間隔で並ぶ同一種類の複数の画素行は、前記固体撮像素子に含まれる全ての前記位相差画素行と、前記列方向において隣り合う前記位相差画素行同士の中間にある画素行とを少なくとも含み、前記制御部は、少なくとも前記位相差画素行に対しては前記第一の制御を行うものである。

開示された撮像装置は、前記第一の制御が行われた画素行の各画素に対して前記列方向に隣接する２つの同色画素から読み出された信号同士を加算した信号を生成する信号加算部を更に備えるものである。

開示された撮像装置は、前記第二の制御によって読み出された各信号と、前記第一の制御によって読み出され前記信号加算部によって生成された各信号との感度差を補正する感度差補正部を更に備えるものである。

開示された撮像装置は、ｎ≧２の場合、前記制御部は、前記列方向において隣り合う前記位相差画素行同士の間にある画素行のうちの一部に対しても前記第一の制御を行うものである。

開示された撮像装置は、前記固体撮像素子は、前記画素群を２つ含むものであり、前記２つの画素群の一方に含まれる各画素には、当該各画素に対して同一の方向に、当該各画素と同色光を検出する前記２つの画素群の他方に含まれる画素が隣接して配置されており、前記制御部は、前記２つの画素群の各々において前記複数の画素行の各々に対して前記第一の制御又は前記第二の制御を行い、前記２つの画素群の一方において前記第一の制御が行われた画素行の各画素に対して前記列方向に隣接する２つの同色画素と、当該２つの同色画素の各々に対して前記同一の方向に隣接して配置される前記２つの画素群の他方に含まれる画素との４つの画素から読み出された信号同士を加算し、前記２つの画素群の一方において前記第二の制御が行われた画素行の各画素と、当該各画素に対して前記同一の方向に隣接して配置される前記２つの画素群の他方に含まれる画素との２つの画素から読み出された信号同士を加算する信号加算部を更に備えるものである。

開示された撮像装置は、前記信号加算部が前記第一の制御によって前記４つの画素から読み出された信号を加算して生成した信号と、前記信号加算部が前記第二の制御によって前記２つの画素から読み出された信号を加算して生成した信号との感度差を補正する感度差補正部を更に備えるものである。

開示された撮像装置は、ｎ≧２の場合、前記制御部は、前記２つの画素群の各々において、前記列方向において隣り合う前記位相差画素行同士の間にある画素行のうちの一部に対しても前記第一の制御を行うものである。

開示された撮像装置は、前記画素群に含まれるＢＧ画素行が前記位相差画素行を含むものである。

開示された撮像方法は、二次元状に配列された複数の画素を含む固体撮像素子を用いた撮像方法であって、前記固体撮像素子は、赤色光を検出する赤色画素、緑色光を検出する緑色画素、及び青色光を検出する青色画素がベイヤ状に配列された画素群を含むものであり、前記ベイヤ状に配列された画素群は、前記緑色画素と前記赤色画素が行方向に交互に並べられた画素行であるＧＲ画素行と、前記青色画素と前記緑色画素が行方向に交互に並べられた画素行であるＢＧ画素行との２種類の画素行が、前記行方向に直交する列方向に交互に並べられているものであり、前記ベイヤ状に配列された画素群に含まれる前記ＧＲ画素行又は前記ＢＧ画素行は、位相差を検出するための位相差画素を含む位相差画素行を複数個含むものであり、前記位相差画素行は、前記ベイヤ状に配列された画素群において（２^ｎ＋１−１）個（ｎは自然数）の画素行おきに配置されるものであり、前記列方向に等間隔で並ぶ、前記位相差画素行と同一種類の複数の画素行の各々に対し、第一の制御又は第二の制御を行う制御ステップを備え、前記第一の制御が行われる画素行と前記第二の制御が行われる画素行とは前記列方向に交互に並び、前記第一の制御は、制御対象となる前記画素行の各画素からは信号を読み出さず、前記制御対象となる前記画素行に隣接する２つの画素行の各画素から信号を読み出す制御であり、前記第二の制御は、制御対象となる前記画素行の各画素から信号を読み出す制御であり、前記列方向に等間隔で並ぶ同一種類の複数の画素行は、前記固体撮像素子に含まれる全ての前記位相差画素行と、前記列方向に隣接する前記位相差画素行同士の中間にある画素行とを少なくとも含み、前記制御ステップでは、少なくとも前記位相差画素行に対しては前記第一の制御を行うものである。

開示された撮像方法は、前記第一の制御が行われた画素行に隣接する２つの画素行において前記列方向に隣接する２つの同色画素から読み出された信号同士を加算した信号を生成する信号加算ステップを更に備えるものである。

開示された撮像方法は、前記第二の制御によって読み出された各信号と、前記第一の制御によって読み出され前記信号加算部によって生成された各信号との感度差を補正する感度差補正ステップを更に備えるものである。

開示された撮像方法は、ｎ≧２の場合、前記制御ステップでは、前記列方向において隣り合う前記位相差画素行同士の間にある画素行のうちの一部に対しても前記第一の制御を行うものである。

開示された撮像方法は、前記固体撮像素子は、前記画素群を２つ含むものであり、前記２つの画素群の一方に含まれる各画素には、当該各画素に対して同一の方向に、前記２つの画素群の他方に含まれる当該各画素と同色光を検出する画素が隣接して配置されており、前記制御ステップでは、前記２つの画素群の各々において前記複数の画素行の各々に対して前記第一の制御又は前記第二の制御を行い、前記２つの画素群の一方において前記第一の制御が行われた画素行の各画素に対して前記列方向に隣接する２つの同色画素と、当該２つの同色画素の各々に対して前記同一の方向に隣接して配置される前記２つの画素群の他方に含まれる画素との４つの画素から読み出された信号同士を加算し、前記２つの画素群の一方において前記第二の制御が行われた画素行の各画素と、当該各画素に対して前記同一の方向に隣接して配置される前記２つの画素群の他方に含まれる画素との２つの画素から読み出された信号同士を加算する信号加算ステップとを更に備えるものである。

開示された撮像方法は、前記第一の制御により前記４つの画素から読み出された信号を前記信号加算ステップにおいて加算して得られた信号と、前記第二の制御によって前記２つの画素から読み出された信号を前記信号加算ステップにおいて加算して得られた信号との感度差を補正する感度差補正ステップを更に備えるものである。

開示された撮像方法は、ｎ≧２の場合、前記制御ステップでは、前記２つの画素群の各々において、前記列方向において隣り合う前記位相差画素行同士の間にある画素行のうちの一部に対しても前記第一の制御を行うものである。

開示された撮像方法は、前記画素群に含まれるＢＧ画素行が前記位相差画素行を含むものである。

本発明の撮像装置及び撮像方法は、位相差画素の信号を間引いて画像を生成する場合にジャギーの発生を防止することができる。

本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
本出願は、２０１１年４月２８日出願の日本特許出願（特願２０１１−１０２２７４）に基づくものであり、その内容はここに参照として取り込まれる。

５ 固体撮像素子
５１ 画素
１１ システム制御部

Claims (16)

1. 二次元状に配列された複数の画素を含む固体撮像素子を有する撮像装置であって、
   前記固体撮像素子は、赤色光を検出する赤色画素、緑色光を検出する緑色画素、及び青色光を検出する青色画素がベイヤ状に配列された画素群を含むものであり、
   前記ベイヤ状に配列された画素群は、前記緑色画素と前記赤色画素が行方向に交互に並べられた画素行であるＧＲ画素行と、前記青色画素と前記緑色画素が行方向に交互に並べられた画素行であるＢＧ画素行との２種類の画素行が、前記行方向に直交する列方向に交互に並べられているものであり、
   前記ベイヤ状に配列された画素群に含まれる前記ＧＲ画素行又は前記ＢＧ画素行は、位相差を検出するための位相差画素を含む位相差画素行を複数個含むものであり、
   前記位相差画素行は、前記ベイヤ状に配列された画素群において（２^ｎ＋１−１）個（ｎは自然数）の画素行おきに配置されるものであり、
   前記列方向に等間隔で並ぶ、前記位相差画素行と同一種類の複数の画素行の各々に対し、第一の制御又は第二の制御を行う制御部を備え、
   前記第一の制御が行われる画素行と前記第二の制御が行われる画素行とは前記列方向に交互に並び、
   前記第一の制御は、制御対象となる前記画素行の各画素からは信号を読み出さず、前記制御対象となる前記画素行に隣接する２つの画素行の各画素から信号を読み出す制御であり、
   前記第二の制御は、制御対象となる前記画素行の各画素から信号を読み出す制御であり、
   前記列方向に等間隔で並ぶ同一種類の複数の画素行は、前記固体撮像素子に含まれる全ての前記位相差画素行と、前記列方向において隣り合う前記位相差画素行同士の中間にある画素行とを少なくとも含み、
   前記制御部は、少なくとも前記位相差画素行に対しては前記第一の制御を行う撮像装置。
2. 請求項１記載の撮像装置であって、
   前記第一の制御が行われた画素行の各画素に対して前記列方向に隣接する２つの同色画素から読み出された信号同士を加算した信号を生成する信号加算部を更に備える撮像装置。
3. 請求項２記載の撮像装置であって、
   前記第二の制御によって読み出された各信号と、前記第一の制御によって読み出され前記信号加算部によって生成された各信号との感度差を補正する感度差補正部を更に備える撮像装置。
4. 請求項１〜３のいずれか１項記載の撮像装置であって、
   ｎ≧２の場合、前記制御部は、前記列方向において隣り合う前記位相差画素行同士の間にある画素行のうちの一部に対しても前記第一の制御を行う撮像装置。
5. 請求項１記載の撮像装置であって、
   前記固体撮像素子は、前記画素群を２つ含むものであり、
   前記２つの画素群の一方に含まれる各画素には、当該各画素に対して同一の方向に、当該各画素と同色光を検出する前記２つの画素群の他方に含まれる画素が隣接して配置されており、
   前記制御部は、前記２つの画素群の各々において前記複数の画素行の各々に対して前記第一の制御又は前記第二の制御を行い、
   前記２つの画素群の一方において前記第一の制御が行われた画素行の各画素に対して前記列方向に隣接する２つの同色画素と、当該２つの同色画素の各々に対して前記同一の方向に隣接して配置される前記２つの画素群の他方に含まれる画素との４つの画素から読み出された信号同士を加算し、前記２つの画素群の一方において前記第二の制御が行われた画素行の各画素と、当該各画素に対して前記同一の方向に隣接して配置される前記２つの画素群の他方に含まれる画素との２つの画素から読み出された信号同士を加算する信号加算部を更に備える撮像装置。
6. 請求項５記載の撮像装置であって、
   前記信号加算部が前記第一の制御によって前記４つの画素から読み出された信号を加算して生成した信号と、前記信号加算部が前記第二の制御によって前記２つの画素から読み出された信号を加算して生成した信号との感度差を補正する感度差補正部を更に備える撮像装置。
7. 請求項５又は６記載の撮像装置であって、
   ｎ≧２の場合、前記制御部は、前記２つの画素群の各々において、前記列方向において隣り合う前記位相差画素行同士の間にある画素行のうちの一部に対しても前記第一の制御を行う撮像装置。
8. 請求項１〜７のいずれか１項記載の撮像装置であって、
   前記画素群に含まれるＢＧ画素行が前記位相差画素行を含む撮像装置。
9. 二次元状に配列された複数の画素を含む固体撮像素子を用いた撮像方法であって、
   前記固体撮像素子は、赤色光を検出する赤色画素、緑色光を検出する緑色画素、及び青色光を検出する青色画素がベイヤ状に配列された画素群を含むものであり、
   前記ベイヤ状に配列された画素群は、前記緑色画素と前記赤色画素が行方向に交互に並べられた画素行であるＧＲ画素行と、前記青色画素と前記緑色画素が行方向に交互に並べられた画素行であるＢＧ画素行との２種類の画素行が、前記行方向に直交する列方向に交互に並べられているものであり、
   前記ベイヤ状に配列された画素群に含まれる前記ＧＲ画素行又は前記ＢＧ画素行は、位相差を検出するための位相差画素を含む位相差画素行を複数個含むものであり、
   前記位相差画素行は、前記ベイヤ状に配列された画素群において（２^ｎ＋１−１）個（ｎは自然数）の画素行おきに配置されるものであり、
   前記列方向に等間隔で並ぶ、前記位相差画素行と同一種類の複数の画素行の各々に対し、第一の制御又は第二の制御を行う制御ステップを備え、
   前記第一の制御が行われる画素行と前記第二の制御が行われる画素行とは前記列方向に交互に並び、
   前記第一の制御は、制御対象となる前記画素行の各画素からは信号を読み出さず、前記制御対象となる前記画素行に隣接する２つの画素行の各画素から信号を読み出す制御であり、
   前記第二の制御は、制御対象となる前記画素行の各画素から信号を読み出す制御であり、
   前記列方向に等間隔で並ぶ同一種類の複数の画素行は、前記固体撮像素子に含まれる全ての前記位相差画素行と、前記列方向に隣接する前記位相差画素行同士の中間にある画素行とを少なくとも含み、
   前記制御ステップでは、少なくとも前記位相差画素行に対しては前記第一の制御を行う撮像方法。
10. 請求項９記載の撮像方法であって、
    前記第一の制御が行われた画素行に隣接する２つの画素行において前記列方向に隣接する２つの同色画素から読み出された信号同士を加算した信号を生成する信号加算ステップを更に備える撮像方法。
11. 請求項１０記載の撮像方法であって、
    前記第二の制御によって読み出された各信号と、前記第一の制御によって読み出され前記信号加算ステップによって生成された各信号との感度差を補正する感度差補正ステップを更に備える撮像方法。
12. 請求項９〜１１のいずれか１項記載の撮像方法であって、
    ｎ≧２の場合、前記制御ステップでは、前記列方向において隣り合う前記位相差画素行同士の間にある画素行のうちの一部に対しても前記第一の制御を行う撮像方法。
13. 請求項９記載の撮像方法であって、
    前記固体撮像素子は、前記画素群を２つ含むものであり、
    前記２つの画素群の一方に含まれる各画素には、当該各画素に対して同一の方向に、前記２つの画素群の他方に含まれる当該各画素と同色光を検出する画素が隣接して配置されており、
    前記制御ステップでは、前記２つの画素群の各々において前記複数の画素行の各々に対して前記第一の制御又は前記第二の制御を行い、
    前記２つの画素群の一方において前記第一の制御が行われた画素行の各画素に対して前記列方向に隣接する２つの同色画素と、当該２つの同色画素の各々に対して前記同一の方向に隣接して配置される前記２つの画素群の他方に含まれる画素との４つの画素から読み出された信号同士を加算し、前記２つの画素群の一方において前記第二の制御が行われた画素行の各画素と、当該各画素に対して前記同一の方向に隣接して配置される前記２つの画素群の他方に含まれる画素との２つの画素から読み出された信号同士を加算する信号加算ステップとを更に備える撮像方法。
14. 請求項１３記載の撮像方法であって、
    前記第一の制御により前記４つの画素から読み出された信号を前記信号加算ステップにおいて加算して得られた信号と、前記第二の制御によって前記２つの画素から読み出された信号を前記信号加算ステップにおいて加算して得られた信号との感度差を補正する感度差補正ステップを更に備える撮像方法。
15. 請求項１３又は１４記載の撮像方法であって、
    ｎ≧２の場合、前記制御ステップでは、前記２つの画素群の各々において、前記列方向において隣り合う前記位相差画素行同士の間にある画素行のうちの一部に対しても前記第一の制御を行う撮像方法。
16. 請求項９〜１５のいずれか１項記載の撮像方法であって、
    前記画素群に含まれるＢＧ画素行が前記位相差画素行を含む撮像方法。

Images