JP5607266B2 - 撮像装置、撮像装置の制御方法、及び制御プログラム - Google Patents

Description

本発明は、撮像装置、撮像装置の制御方法、及び制御プログラムに係り、特に、カラー撮像素子を備えた撮像装置、撮像装置の制御方法、及び制御プログラムに関する。

カラー撮像素子で広く用いられている色配列である原色系ベイヤー配列（例えば特許文献１〜３参照）は、人間の目に敏感で、輝度信号を得るために最も寄与する緑（Ｇ）画素を市松状に、赤（Ｒ）、青（Ｂ）を線順次に配置している。

特開２００２−１３５７９３号公報 特許第３９６０９６５号公報 特開２００４−２６６３６９号公報

しかしながら、従来のベイヤー配列を採用したカラー撮像素子では、例えば動画用の画像データを生成するために、垂直方向に間引き読み出しする場合、例えば垂直方向に２ｎ（ｎは自然数）ライン毎に１ライン分の画像データを読み出した場合（垂直方向１／２ｎ間引き、偶数間引き）、ＧとＲ又はＧとＢの２色しか含まないライン画像データが読み出されることになり色再現できない。このため、（２ｎ＋１）ライン毎に１ライン分の画像データを読み出す間引き読出し（垂直方向１／（２ｎ＋１）間引き、奇数間引き）が一般的である。また、それ以外の間引き読出しを行う場合においても、色再現を得るために、ＧとＲを含む水平ラインとＧとＢを含む水平ラインを交互に読み出す必要があり、読出し方が非常に制限される。

また、ベイヤー配列では、Ｇ信号は斜め方向で、Ｒ、Ｂ信号は水平、垂直方向の高周波信号を生成する際の再現精度に問題があり、高周波信号に対し色モワレ（偽色）の発生を抑制できないという問題があるが、前述のような間引き読み出しをした場合、元のベイヤー配列と同じカラー配列となるため、同じ問題が生じてしまう。

本発明は上記問題点を解決するためになされたものであり、ベイヤー配列以外の配列のカラーフィルタを備えた撮像素子を用いた場合において、有効な間引き読出しを行うことができる撮像装置、撮像装置の制御方法、及び制御プログラムを提供することを目的とする。

上記課題を解決するため、本発明の撮像装置は、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとが第１の方向及び第２の方向に（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）の予め定めたパターンで、かつ、第１のフィルタ及び第２の色の各色に対応する第２のフィルタが第１の方向及び第２の方向に各々１つ以上配置された基本配列パターンが、繰り返し配置されると共に、第１のフィルタが、カラーフィルタ面内において、第１の方向、第２の方向、及び第２の方向と交差する第３の方向に１つ以上配置されたカラーフィルタと、撮像素子から、複数の画素における画素信号を設定された周期で読出し、読み出した画素信号から、複数の画素のうち第１の方向に（Ｎ＋ｋ）（０＜ｋ＜Ｎ、ｋは自然数）ライン周期で配列され、かつ第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成するライン画像データ生成手段と、ライン画像データに基づいて画像データを生成する画像データ生成手段と、を備えたことを特徴とする。

この発明によれば、ベイヤー配列とは異なり、撮像素子から第１の方向に（Ｎ＋ｋ）ライン（０＜ｋ＜Ｎ）周期で配列され、かつ第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成するため、設計の自由度が得られる。

なお、ライン画像データ生成手段は、第１の方向に沿った各ライン上において第１の色及び２色以上の第２の色の各々が少なくとも一つ以上含まれるように、第１の方向に（Ｎ＋ｋ）ライン周期で配列され、かつ第２の方向に沿って配列されている画素の画素信号からなるライン画像データ生成するようにしてもよい。

この発明によれば、第１の方向に沿った各ライン上において第１の色及び２色以上の第２の色の各々が少なくとも一つ以上含まれるようにライン画像データを生成するため、偽色の発生を低減することができる、

また、ライン画像データ生成手段は、設定された周期として、第１の方向に（Ｎ＋１）ライン周期で配列され、かつ第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成するようにしてもよい。

この発明によれば、間引き後の画像も、間引き前と同様に基本配列パターンを繰り返した画像となるため、静止画撮影のように画像データを間引かない場合と画像処理を共通化することができる。

また、第１の方向に（Ｎ＋ｋ）ライン周期で配列され、かつ第２の方向に沿って配列されている画素の画素信号からなるライン画像データと、ライン画像データから第１の方向にＮライン周期で配列され、かつ第２の方向に沿って配列されている画素の画素信号からなるライン画像データと、を同色画素同士で各々画素混合する画素混合手段を備えた構成としてもよい。

この発明によれば、第１の方向に（Ｎ＋ｋ）ライン周期で列され、かつ第２の方向に沿って配列されている画素の画素信号からなるライン画像データと、ライン画像データから第１の方向にＮライン周期で列され、かつ第２の方向に沿って配列されている画素の画素信号からなるライン画像データと、を同色画素同士で各々画素混合するので、画素混合しない場合と比較して、画像のＳ／Ｎ比を向上させることができる。

また、第１の方向に（Ｎ＋ｋ）ライン（０＜ｋ＜Ｎ）周期で配列され、かつ第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成する第１の生成方法と、第１の方向に（Ｎ−ｋ）ライン周期で配列され、かつ第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成する第２の生成方法と、を切り替える切り替え手段を備えた構成としてもよい。

また、カラーフィルタは、第１のフィルタからなる２×２画素に対応する正方配列を含む構成としてもよい。

この発明によれば、２×２画素に対応する正方配列の４画素の各画素間の画素値の差分値に基づいて輝度の相関方向が４方向のうちのいずれの方向にあるかを、最小画素間隔で判別することができる。

また、第１の色は、緑（Ｇ）色であり、第２の色は、赤（Ｒ）色及び青（Ｂ）である構成としてもよい。

また、カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、カラーフィルタは、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に第１の方向及び第２の方向に配列されて構成されていてもよい。

この発明によれば、第１の配列又は第２の配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、５×５画素の中心の画素（Ｒ画素又はＢ画素）を挟んで、水平及び垂直方向にそれぞれ隣接するＧ画素が存在することになる。これらのＧ画素（合計８画素）の画素値は、４方向の相関方向の判別に使用することができる。

本発明の撮像装置の制御方法は、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとが第１の方向及び第２の方向に（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）の予め定めたパターンで、かつ、第１のフィルタ及び第２の色の各色に対応する第２のフィルタが第１の方向及び第２の方向に各々１つ以上配置された基本配列パターンが、繰り返し配置されると共に、第１のフィルタが、カラーフィルタ面内において、第１の方向、第２の方向、及び第２の方向と交差する第３の方向に１つ以上配置されたカラーフィルタと、を備えた撮像装置により実行される撮像装置の制御方法であって、撮像素子から、複数の画素における画素信号を設定された周期で読出し、読み出した画素信号から、複数の画素のうち第１の方向に（Ｎ＋ｋ）（０＜ｋ＜Ｎ、ｋは自然数）ライン周期で配列され、かつ第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成し、ライン画像データに基づいて画像データを生成することを特徴とする。

本発明の制御プログラムは、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとが第１の方向及び第２の方向に（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）の予め定めたパターンで、かつ、第１のフィルタ及び第２の色の各色に対応する第２のフィルタが第１の方向及び第２の方向に各々１つ以上配置された基本配列パターンが、繰り返し配置されると共に、第１のフィルタが、カラーフィルタ面内において、第１の方向、第２の方向、及び第２の方向と交差する第３の方向に１つ以上配置されたカラーフィルタと、を備えた撮像装置を制御するコンピュータに、撮像素子から、複数の画素における画素信号を設定された周期で読出すステップと、読み出した画素信号から、複数の画素のうち第１の方向に（Ｎ＋ｋ）（０＜ｋ＜Ｎ、ｋは自然数）ライン周期で配列され、かつ第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成するステップと、ライン画像データに基づいて画像データを生成するステップと、を含む処理を実行させることを特徴とする。

本発明の制御プログラムは、コンピュータに、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとが第１の方向及び第２の方向に（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）の予め定めたパターンで、かつ、第１のフィルタ及び第２の色の各色に対応する第２のフィルタが第１の方向及び第２の方向に各々１つ以上配置された基本配列パターンが、繰り返し配置されると共に、第１のフィルタが、カラーフィルタ面内において、第１の方向、第２の方向、及び第２の方向と交差する第３の方向に１つ以上配置されたカラーフィルタと、を含む撮像素子から、複数の画素における画素信号を設定された周期で読出された画素信号に対し、複数の画素のうち第１の方向に（Ｎ＋ｋ）（０＜ｋ＜Ｎ、ｋは自然数）ライン周期で配列され、かつ第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成するステップと、ライン画像データに基づいて画像データを生成するステップと、を含む処理を実行させることを特徴とする。

本発明によれば、間引いて画像データを読み出した場合に偽色が発生するのを低減することができる、という効果を有する。

第１実施形態に係る撮像装置の概略ブロック図である。 第１実施形態に係るカラーフィルタの構成図である。 第１実施形態に係るカラーフィルタに含まれる基本配列パターンを示す図である。 第１実施形態に係るカラーフィルタに含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを水平及び垂直方向に繰り返し配置してなるカラーフィルタを示す図である。 第１実施形態に係るカラーフィルタによるＧ画素の特徴的な配置を示す図である。 垂直方向に（Ｎ＋１）ライン毎に１ライン分の画像データを読み出した場合の画像について説明するための図である。 制御部で実行される処理を示すフローチャートである。 第２実施形態に係る画素加算処理について説明するための図である。 第３実施形態に係る読み出しラインの切り替えについて説明するための図である。 第３実施形態に係る読み出しラインの切り替えについて説明するための図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 垂直方向に（Ｎ＋２）ライン毎に１ライン分の画像データを読み出した場合の画像について説明するための図である。 垂直方向に（Ｎ＋３）ライン毎に１ライン分の画像データを読み出した場合の画像について説明するための図である。 垂直方向に（Ｎ＋４）ライン毎に１ライン分の画像データを読み出した場合の画像について説明するための図である。 垂直方向に（Ｎ＋５）ライン毎に１ライン分の画像データを読み出した場合の画像について説明するための図である。

以下、図面を参照して本発明の実施形態について説明する。

（第１実施形態）

図１には、本実施形態に係る撮像装置１０の概略ブロック図を示した。撮像装置１０は、光学系１２、撮像素子１４、撮像処理部１６、画像処理部２０、駆動部２２、及び制御部２４を含んで構成されている。

光学系１２は、例えば複数の光学レンズから成るレンズ群、絞り調整機構、ズーム機構、及び自動焦点調節機構等を含んで構成されている。

撮像素子１４は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子、例えばＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子上にカラーフィルタが配置された構成の所謂単板式の撮像素子である。

図２には、本実施形態に係るカラーフィルタの一部を示した。各画素上には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のカラーフィルタのうちのいずれかが配置される。

＜カラーフィルタ配列の特徴＞

第１実施形態のカラーフィルタは、下記の特徴(1)〜(6)を有している。

〔特徴(1)〕

カラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のフィルタが、垂直方向及び水平方向に（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）の予め定めたパターンで、かつ、緑（Ｇ）のフィルタと、赤（Ｒ）及び青（Ｂ）の少なくとも一方の色のフィルタと、が垂直方向及び水平方向に各々配置された基本配列パターンが、繰り返し配置されたものとなっている。

本実施形態に係る図２に示すカラーフィルタは、一例として６×６画素（Ｎ＝Ｍ＝６）に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが垂直方向（第１の方向）及び水平方向（第２の方向）に繰り返し配置されている。即ち、このカラーフィルタは、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、カラー撮像素子から読み出されるＲ、Ｇ、Ｂ信号の同時化処理（デモザイク処理ともいう。以下同じ）等を行う際に、繰り返しパターンにしたがって処理を行うことができる。

〔特徴(2)〕

図２に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Ｇの色)に対応するＧフィルタが、カラーフィルタ配列の第１の方向である垂直方向、第２の方向である水平方向、及びカラーフィルタ面内において、第１の方向及び第２の方向と交差する第３の方向、すなわち斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されている。なお、ＮＥは斜め右上方向を意味し、ＮＷは斜め右下方向を意味する。例えば、正方形の画素の配列の場合は、斜め右上及び斜め右下方向とは水平方向に対しそれぞれ４５°の方向となるが、長方形の画素の配列であれば、長方形の対角線の方向であり、長辺・短辺の長さに応じてその角度は変わりうる。

輝度系画素に対応するＧフィルタが、カラーフィルタ配列の垂直方向、水平方向、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。

〔特徴(3)〕

図２に示すカラーフィルタ配列は、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲフィルタ、Ｂフィルタが、基本配列パターンＰ内においてカラーフィルタ配列の垂直方向及び水平方向の各ライン内に１つ以上配置されている。

Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の垂直方向及び水平方向の各ライン内に配置されるため、色モワレ（偽色）の発生を低減することができる。

これにより、偽色の発生を抑制するための光学ローパスフィルターを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルターを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

〔特徴(4)〕

図３は、図２に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。

図３に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

Ａ配列及びＢ配列は、それぞれ輝度系画素であるＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、Ａ配列は、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列され、一方、Ｂ配列は、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

また、Ａ配列とＢ配列の４隅のＧフィルタは、図４に示すようにＡ配列とＢ配列とが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。

すなわち、図２に示すカラーフィルタ配列（基本配列パターンＰ）は、Ｇフィルタからなる２×２画素に対応する正方配列を含んでいる。

いま、図５に示すように、撮像素子１４から出力されるモザイク画像を、Ａ配列を中心にして５×５画素の局所領域を抽出した場合、この局所領域内の４隅の２×２画素のＧ画素は、図５に示す配置になっている。

図５に示すように、２×２画素のＧ画素の画素値を、左上から右下の順にＧ１、Ｇ２、Ｇ３、Ｇ４とした場合、これらのＧ画素の画素値の垂直方向の差分絶対値は（｜Ｇ１−Ｇ３｜＋｜Ｇ２−Ｇ４｜）／２、水平方向の差分絶対値は（｜Ｇ１−Ｇ２｜＋｜Ｇ３−Ｇ４｜）／２、右上斜め方向の差分絶対値は｜Ｇ２−Ｇ３｜、左上斜め方向の差分絶対値は｜Ｇ１−Ｇ４｜となる。

これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別することができる。

いま、図４又は図５に示すように中央に３×３画素のＡ配列が位置するように、モザイク画像から５×５画素の局所領域を抽出した場合、４隅に２×２画素のＧ画素が配置されることになる。したがって、上記局所領域内のＡ配列の３×３画素を同時化処理の対象画素とした場合、４隅の各方向別の相関絶対値の総和（又は平均値）を求め、各方向別の相関絶対値の総和（又は平均値）のうち最小となる値をとる方向を、同時化処理の対象画素における輝度の相関方向として判別する。判別された相関方向は、同時化処理等を行う際に利用することができる。

〔特徴(5)〕

図２に示すカラーフィルタ配列を構成する基本配列パターンＰは、その基本配列パターンの中心（４つのＧフィルタの中心）に対して点対称になっている。また、図３に示すように、基本配列パターン内のＡ配列及びＢ配列も、それぞれ中心のＧフィルタに対して点対称になっており、かつ上下左右が対称（線対称）になっている。

このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化したりすることが可能になる。

撮像処理部１６は、撮像素子１４から出力された撮像信号に対して増幅処理や相関二重サンプリング処理、Ａ／Ｄ変換処理等の予め定めた処理を施し、画像データとして画像処理部２０に出力する。

画像処理部２０は、撮像処理部１６から出力された画像データに対して所謂同時化処理を施す。すなわち、全画素について、対応する色以外の色の画像データを周囲の画素の画素データから補間して、全画素のＲ，Ｇ，Ｂの画像データを生成する。そして、生成したＲ，Ｇ，Ｂの画像データに対して所謂ＹＣ変換処理を施し、輝度データＹ、色差データＣｒ、Ｃｂを生成する。そして、これらの信号を撮影モードに応じたサイズにリサイズするリサイズ処理を行う。

駆動部２２は、制御部２４からの指示に応じて撮像素子１４からの撮像信号の読み出し駆動等を行う。

制御部２４は、撮影モード等に応じて駆動部２２及び画像処理部２０等を統括制御する。詳細は後述するが、制御部２４は、駆動部２２に対して、撮影モードに応じた読み出し方法で撮像信号を読み出すように指示したり、画像処理部２０に対して、撮影モードに応じた画像処理を行うよう指示したりする。

撮影モードによっては、撮像素子１４からの撮像信号を間引いて読み出す必要があるため、制御部２４は、指示された撮影モードに応じた間引き方法で間引いて撮像信号を読み出すように駆動部２２に指示する。

撮影モードとしては、静止画を撮影する静止画モードや、撮像した画像を間引いて比較的高解像度のＨＤ（高精細）動画データを生成して図示しないメモリーカード等の記録媒体に記録するＨＤ動画モード、撮影した画像を間引いて比較的低解像度のスルー動画（ライブビュー画像）を図示しない表示部に出力するスルー動画モード（ライブビューモード）等の動画モードがあるが、撮影モードの種類はこれらに限られるものではない。

次に、本実施形態の作用として、制御部２４で実行される処理について、図７に示すフローチャートを参照して説明する。

なお、図７に示す処理は、撮影モードに応じた撮影を実行するように指示された場合に実行される。また、以下では、垂直方向において予め定めた周期でライン画像データを読み出す場合、すなわち、垂直方向における予め定めた周期のライン以外のラインを間引いて（除いて）読み出す場合について説明する。また、この場合のライン画像データとは、水平方向に沿って並ぶ画素の画素データの集合である。

まず、ステップ１００では、撮影モードに応じた間引き方法で画像データを読み出すように駆動部２２に指示する。

本実施形態では、撮像素子１４から垂直方向に（Ｎ＋ｋ）ライン（０＜ｋ＜Ｎ）周期で水平方向に沿ったラインのライン画像データを読み出すように駆動部２２に指示する。すなわち、基本配列パターンＰの垂直方向の画素周期以上の画素周期で水平方向に沿ったラインのライン画像データを読み出すように駆動部２２に指示する（本実施形態では、駆動部２２及び制御部２４が、ライン画像データ生成手段に対応する）。

図２に示すカラーフィルタ配列を構成する基本配列パターンＰは、撮像素子１４から垂直方向に（Ｎ＋１）ライン周期で水平方向に沿ったラインのライン画像データを読み出した場合に、間引き後の画像が基本配列パターンＰが繰り返された画像となる。

図２のカラーフィルタの基本配列パターンは６×６画素なので、図６の矢印で示すように、垂直方向において７ライン周期でライン画像データを読み出すことにより（垂直方向１／７間引き）、間引き後の画像が基本配列パターンＰを繰り返した画像となる。

すなわち、基本配列パターンＰの垂直方向のラインを上から１〜６ラインとすると、垂直方向に７ライン周期で読み出す場合の順序は、１、２、３、４、５、６、１、２、３、４、５、６、・・・の順序となる。このため、間引き後の画像も、基本配列パターンＰの垂直方向の１〜６ラインを繰り返すことになり、間引き前と同様に基本配列パターンを繰り返した画像となる。

従って、垂直方向に７ライン周期で水平方向に沿ったラインのライン画像データのみを読み出すように駆動部２２に指示する。これにより、垂直方向７ライン毎に１ライン分の画像データが読み出され、その画像は、基本配列パターンＰを繰り返した画像となる。

ステップ１０２では、間引き読み出しされた画像データに対して、撮影モードに応じた画像処理（例えば同時化処理、ＹＣ変換処理、リサイズ処理等）を実行するよう画像処理部２０に指示する（本実施形態では、画像処理部２０及び制御部２４が、画像データ生成手段に対応する）。

なお、制御部２４及び画像処理部２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性ＲＯＭ等を含むコンピュータで構成することができる。この場合、上記の処理の処理プログラムを例えば予め不揮発性ＲＯＭに記憶しておき、これをＣＰＵが読み込んで実行することができる。

このように、本実施形態では、垂直方向に（Ｎ＋１）ライン周期で水平方向に沿ったラインのライン画像データを読み出すので、間引き後の画像も、間引き前と同様に基本配列パターンを繰り返した画像となる。

従って、静止画撮影のように画像データを間引かない場合と画像処理を共通化することができる。

また、Ｇフィルタ、Ｒフィルタ、及びＢフィルタが垂直方向及び水平方向に各々配置されているため、（Ｎ＋ｋ）ライン周期で読み出しても、読み出した各ライン画像データにＧフィルタ、Ｒフィルタ、及びＢフィルタが含まれる。

このため、従来のベイヤー配列において１／２間引きした場合のように、読み出したライン画像データがＧとＲ又はＧとＢの２色しか含まないライン画像データが読み出されることはなく、何れのライン画像データを読み出しても色再現が可能となる。

（第２実施形態）

次に、本発明の第２実施形態について説明する。本実施形態では、垂直方向に予め定めた周期でライン画像データを読み出すと共に、読み出したライン画像データと同一配列のライン画像データを読み出して画素混合（例えば画素加算）する場合について説明する。

本実施形態では、制御部２４は、図７のステップ１００において、撮像素子１４から垂直方向に（Ｎ＋ｋ）ライン（０＜ｋ＜Ｎ）周期で水平方向に沿ったライン画像データと、当該ライン画像データから垂直方向にＮライン周期で水平方向に沿って読み出したライン画像データと、を読み出すように駆動部２２に指示する。

また、制御部２４は、図７のステップ１０２において、垂直方向（Ｎ＋ｋ）ライン周期で水平方向に沿って読み出したライン画像データと、当該ライン画像データから垂直方向にＮライン周期で水平方向に沿って読み出したライン画像データと、を同色画素同士で各々画素混合する画像処理を実行するように画像処理部２０に指示する（制御部２４、駆動部２２、撮像処理部１６、及び画像処理部２０が、画素混合手段に対応する）。または、撮像素子１４内部で画素混合するようにしても良い（この場合、制御部２４、駆動部２２、撮像素子１４、及び撮像処理部１６が、画素混合手段に対応する）。

図８には、６×６画素の基本配列パターンＰが繰り返し配置されたカラーフィルタにおいて、垂直方向に（Ｎ＋１）ライン周期でライン画像データを読み出す、すなわち図８の実線の矢印で示すように７ライン周期でライン画像データを読み出す（垂直方向１／７間引き）と共に、７ライン周期で読み出したライン画像データから垂直方向にＮライン周期、すなわち図８の点線の矢印で示すように６ライン周期で読み出したライン画像データを読み出し、これらを同色画素同士で各々画素加算する場合を示した。

図８に示すように、７ライン周期で読み出したライン画像データの配列は、そのライン画像データから６ライン先のライン画像データの配列と同一である。

このように、７ライン周期で読み出したライン画像データと、このライン画像データから垂直方向に６ライン先の同一配列のライン画像データとを同じ色同士、すなわち水平方向に同一位置の画素同士で画素加算することにより、画素加算しない場合と比較して、画像のＳ／Ｎ比を向上させることができる。

なお、本実施形態では、同一配列のライン画像データの同色同士の画素値を単純に加算する場合について説明したが、これに限らず、重み付け加算するようにしてもよい。

（第３実施形態）

次に、本発明の第３実施形態について説明する。本実施形態では、撮影モードに応じて読み出すラインを切り替える、すなわち間引き方法を切り替える場合について説明する。

図９に示した６×６画素の基本配列パターンＰが繰り返されたカラーフィルタの場合、２ライン目、５ライン目、８ライン面、１１ライン目のライン画像データは、ＧよりもＲ、Ｂが多く含まれている。従って、Ｒ、Ｂが多く含まれる被写体を撮影する撮影モードが選択された場合には、制御部２４は、２ライン目を先頭として垂直方向に１／３間引きでライン画像データを読み出すように駆動部２２に指示する。これにより、Ｒ、Ｂが多い被写体を撮影した場合に、解像感を向上させることができる。また、Ｒ、Ｂが極端に少ない被写体を撮影した場合には、画像のＳ／Ｎ比を向上させることができる。

また、図９に示すように、１ライン目、４ライン目、７ライン面、１０ライン目のライン画像データは、Ｒ、ＢよりもＧが多く含まれている。従って、Ｇが多く含まれる被写体を撮影する撮影モードが選択された場合には、制御部２４は、１ライン目を先頭として垂直方向に１／３間引きでライン画像データを読み出すように駆動部２２に指示する。これにより、Ｇが多い被写体を撮影した場合に、画像のＳ／Ｎ比を向上させることができる。

また、図９に示すように、２ライン目、４ライン目、７ライン面、１１ライン目のライン画像データは、Ｒ、Ｂ、Ｇの比率が同程度となっている。従って、白黒成分が多く含まれる被写体を撮影する撮影モードが選択された場合には、制御部２４は、２ライン目、４ライン目、７ライン面、１１ライン目・・・の順にライン画像データを読み出すように駆動部２２に指示する。これにより、白黒成分が多い被写体を撮影した場合に、画像のＳ／Ｎ比を向上させることができる。

また、比較的高い解像度が要求される撮影モードの場合には、制御部２４は、図１０に示すように、垂直方向に（Ｎ−ｋ）ライン（０＜ｋ＜Ｎ）周期で水平方向に沿ったライン画像データを読み出すように駆動部２２に指示するようにしてもよい。図１０の場合、Ｎ＝６、ｋ＝１であり、垂直方向に５ライン周期でライン画像データを読み出すこととなる。この場合、図１０に示すように、間引き後の画像も基本配列パターンＰを繰り返した画像を含む画像となる。従って、静止画撮影のように画像データを間引かない場合の画像処理と共通の処理を間引き後の画像データに対して施すことができる。

また、上記のように、垂直方向に（Ｎ−ｋ）ライン（０＜ｋ＜Ｎ）周期で水平方向に沿ったライン画像データを読み出すように駆動する場合と、垂直方向に（Ｎ＋ｋ）ライン（０＜ｋ＜Ｎ）周期、例えば第１実施形態で説明したように（Ｎ＋１）ライン周期で水平方向に沿ったライン画像データを読み出すように駆動する場合と、を撮影モードに応じて切り替えることができるようにしてもよい（制御部２４が切り替え手段に対応する）。

このように、本実施形態では、撮影モードに応じて読み出すラインを切り替える、すなわち間引き方法を切り替えることができるので、撮影モードに応じて画像の解像度やＳ／Ｎ比を適切に制御することができると共に、ＡＷＢ（オートホワイトバランス）制御やＡＥ（自動露出）制御において適切な設定をすることができる。

また、前述したように、従来のベイヤー配列のカラーフィルタでは、垂直方向に偶数ライン毎に１ライン分の画像データを読み出した場合（例えば垂直方向１／２間引き）、ＧとＲ又はＧとＢの２色しか含まないライン画像データが読み出されることになるため、垂直方向に奇数ライン毎に１ライン分の画像データを読み出すしかない。

これに対し、本実施形態のカラーフィルタでは、垂直方向に偶数ライン毎に１ライン分の画像データを読み出すことも、垂直方向に奇数ライン毎に１ライン分の画像データを読み出すことも可能である。

このように、垂直方向のどのラインの画像データも読み出すことができるので、様々な解像度やフレームレートに対応することができる。例えば、撮影モードに応じて、フレームレートを高くすることを優先したい場合には解像度を低下させ、解像度を高くすることを優先する場合には、フレームレートを低くする等、様々な撮影モードに対応することができる。

また、被写体の動作に応じて読み出すラインを切り替えるようにしてもよい。例えば、撮像装置をパニングしたような場合に、被写体情報（例えばフレーム間情報）を用いたり、あるいはジャイロセンサ等の外部センサを用いて被写体移動量を検出する。

そして、被写体移動量に応じて解像度やフレームレートを設定し、設定した解像度やフレームレートに応じた間引き方法で画像データを読み出す。これにより、被写体の動作の遅れと解像感との最適なバランスを得ることができる。

なお、カラーフィルタは、上記各実施形態で説明したものに限られるものではなく、以下のようなカラーフィルタ配列の撮像素子を有する撮像装置にも、本発明は適用できる。

例えば、上記特徴(1)、(2)、(3)、(4)、(5)を有するカラーフィルタ配列として、図１１に示すように、基本配列パターンＰが５×５画素のカラーフィルタ配列がある。このカラーフィルタ配列は、５×５画素のなかの２つの対角線上にＧが配置され、残りの画素位置にＲ、Ｂ画素が５×５画素のなかの水平、及び垂直方向の各ライン内に１つ以上配置されるように配置され、Ｇの数がＲ，Ｂの数より多くなるように設定された基本配列パターンが繰り返されたものである。このカラーフィルタは、図１１に示すように、垂直方向に（Ｎ＋１）ライン周期でライン画像データを読み出した場合に、間引き後の画像が基本配列パターンを繰り返した画像を含む画像となる。

同様に、上記特徴(1)、(2)、(3)を有するカラーフィルタ配列として、図１２に示すように、基本配列パターンＰが５×５画素のカラーフィルタ配列がある。また、図１３に示すように、基本配列パターンＰが６×６画素のカラーフィルタ配列がある。このカラーフィルタ配列は、ＧがＲまたはＢの外周に矩形状に配置された第１サブ配列と、Ｇが中央部に配置された第２サブ配列とがそれぞれ２つずつ水平方向、垂直方向に交互に互いに隣接するように配置された基本配列パターンが繰り返されたものである。この配列においては、特徴(3)において、Ｒ及びＢもカラーフィルター配列の斜め（ＮＥ，ＮＷ）方向（第３の方向）の各ライン内に１つ以上配置される特徴も有する。また、図１４に示すように、基本配列パターンＰが７×７画素のカラーフィルタ配列、図１５に示すように、基本配列パターンＰが８×８画素のカラーフィルタ配列等がある。

なお、同時化処理や動画撮影時の間引き処理等の画像処理の容易さを考慮すると、Ｎ、Ｍは１０以下であることが好ましい。

また、上記実施形態では、ＲＧＢの３原色のカラーフィルタを有するカラー撮像素子について説明したが、本発明は、これに限らず、ＲＧＢの３原色＋他の色（例えば、エメラルド（Ｅ））の４色のカラーフィルタ、例えば図１６に示すようなカラーフィルタにも適用できる。また、他の色として白色または透明（Ｗ）フィルタを有するカラーフィルタにも本発明を適用できる。例えば図１６のエメラルドに代えてＷフィルタを配置しても良い。この場合、ＷとＧの組み合わせ、又はＷが輝度信号に最も寄与する第１の色となる。

また、本発明は、原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）に、Ｇを加えた４色の補色系のカラーフィルタを有するカラー撮像素子にも適用できる。

また、上記各実施形態では、垂直方向に予め定めた周期で、水平方向に沿ったライン画像データを読み出す場合について説明したが、水平方向に予め定めた周期で、垂直方向に沿ったライン画像データを読み出す場合にも本発明を適用可能である。

また、上記第１実施形態においては、撮像素子１４から垂直方向に（Ｎ＋１）ライン周期で水平方向に沿ったラインのライン画像データを読み出す場合について説明したが、これに限らず、垂直方向に（Ｎ＋１）ライン周期以外の周期で読み出すようにしてもよい。

例えば、図１７に示すように、図２の基本配列パターンが６×６画素のカラーフィルタを用いた場合において、撮像素子１４から垂直方向に（Ｎ＋２）ライン周期で水平方向に沿ったラインのライン画像データを読み出すようにしてもよい。また、図１８に示すように、図２の基本配列パターンが６×６画素のカラーフィルタを用いた場合において、撮像素子１４から垂直方向に（Ｎ＋３）ライン周期で水平方向に沿ったラインのライン画像データを読み出すようにしてもよい。図１９に示すように、図２の基本配列パターンが６×６画素のカラーフィルタを用いた場合において、撮像素子１４から垂直方向に（Ｎ＋４）ライン周期で水平方向に沿ったラインのライン画像データを読み出すようにしてもよい。また、図２０に示すように、図２の基本配列パターンが６×６画素のカラーフィルタを用いた場合において、撮像素子１４から垂直方向に（Ｎ＋５）ライン周期で水平方向に沿ったラインのライン画像データを読み出すようにしてもよい。

また、本実施形態では、撮像素子１４から垂直方向に（Ｎ＋ｋ）ライン周期で水平方向に沿ったラインの画素の画素信号を読み出してライン画像データを生成し、これらのライン画像データに基づいて画像データを生成する場合について説明したが、全ライン分の画素の画素信号を読み出して、（Ｎ＋ｋ）ライン周期のラインのライン画像データを選択的に使って（その他のラインのライン画像データを使わず又は記憶せず）、画像データを生成するようにしても良い。また、全ライン分の画素の画素信号を読み出してＲＡＭ等のメモリに一時記憶し、（Ｎ＋ｋ）ライン周期のラインのライン画像データを選択的に使って画像データを作成するようにしても良い（この形態の場合、撮像処理部１６又は画像処理部２０がライン画像データ生成手段に対応する）。

更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０ 撮像装置
１２ 光学系
１４ 撮像素子
１６ 撮像処理部
２０ 画像処理部
２２ 駆動部
２４ 制御部
Ｐ 基本配列パターン

Claims (11)

1. 予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、
   前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが前記第１の方向及び前記第２の方向に（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）の予め定めたパターンで、かつ、前記第１のフィルタ及び前記第２の色の各色に対応する前記第２のフィルタが前記第１の方向及び前記第２の方向に各々１つ以上配置された基本配列パターンが、繰り返し配置されると共に、前記第１のフィルタが、前記カラーフィルタ面内において、前記第１の方向、前記第２の方向、及び前記第２の方向と交差する第３の方向に１つ以上配置されたカラーフィルタと、
   前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出し、前記読み出した画素信号から、前記複数の画素のうち第１の方向に（Ｎ＋ｋ）（０＜ｋ＜Ｎ、ｋは自然数）ライン周期で配列され、かつ前記第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成するライン画像データ生成手段と、
   前記ライン画像データに基づいて画像データを生成する画像データ生成手段と、
   を備えた撮像装置。
2. 前記ライン画像データ生成手段は、前記第１の方向に沿った各ライン上において前記第１の色及び前記２色以上の第２の色の各々が少なくとも一つ以上含まれるように、前記第１の方向に（Ｎ＋ｋ）ライン周期で配列され、かつ前記第２の方向に沿って配列されている画素の画素信号からなるライン画像データ生成する
   請求項１記載の撮像装置。
3. 前記ライン画像データ生成手段は、前記設定された周期として、前記第１の方向に（Ｎ＋１）ライン周期で配列され、かつ前記第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成する
   請求項２記載の撮像装置。
4. 前記第１の方向に（Ｎ＋ｋ）ライン周期で配列され、かつ前記第２の方向に沿って配列されている画素の画素信号からなるライン画像データと、当該ライン画像データから前記第１の方向にＮライン周期で配列され、かつ前記第２の方向に沿って配列されている画素の画素信号からなるライン画像データと、を同色画素同士で各々画素混合する画素混合手段
   を備えた請求項１〜請求項３の何れか１項に記載の撮像装置。
5. 前記第１の方向に（Ｎ＋ｋ）ライン（０＜ｋ＜Ｎ）周期で配列され、かつ前記第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成する第１の生成方法と、前記第１の方向に（Ｎ−ｋ）ライン周期でライン周期で配列され、かつ前記第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成する第２の生成方法と、を切り替える切り替え手段
   を備えた請求項１〜請求項４の何れか１項に記載の撮像装置。
6. 前記カラーフィルタは、前記第１のフィルタからなる２×２画素に対応する正方配列を含む
   請求項１〜請求項５の何れか１項に記載の撮像装置。
7. 前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）である
   請求項１〜請求項６の何れか１項に記載の撮像装置。
8. 前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、
   前記カラーフィルタは、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に前記第１の方向及び前記第２の方向に配列されて構成されている
   請求項７記載の撮像装置。
9. 予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、
   前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが前記第１の方向及び前記第２の方向に（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）の予め定めたパターンで、かつ、前記第１のフィルタ及び前記第２の色の各色に対応する前記第２のフィルタが前記第１の方向及び前記第２の方向に各々１つ以上配置された基本配列パターンが、繰り返し配置されると共に、前記第１のフィルタが、前記カラーフィルタ面内において、前記第１の方向、前記第２の方向、及び前記第２の方向と交差する第３の方向に１つ以上配置されたカラーフィルタと、
   を備えた撮像装置の制御方法であって、
   前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出し、
   前記読み出した画素信号から、前記複数の画素のうち第１の方向に（Ｎ＋ｋ）（０＜ｋ＜Ｎ、ｋは自然数）ライン周期で配列され、かつ前記第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成し、
   前記ライン画像データに基づいて画像データを生成する
   を備えた撮像装置の制御方法。
10. 予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、
    前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが前記第１の方向及び前記第２の方向に（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）の予め定めたパターンで、かつ、前記第１のフィルタ及び前記第２の色の各色に対応する前記第２のフィルタが前記第１の方向及び前記第２の方向に各々１つ以上配置された基本配列パターンが、繰り返し配置されると共に、前記第１のフィルタが、前記カラーフィルタ面内において、前記第１の方向、前記第２の方向、及び前記第２の方向と交差する第３の方向に１つ以上配置されたカラーフィルタと、
    を備えた撮像装置を制御するコンピュータに、
    前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出すステップと、
    前記読み出した画素信号から、前記複数の画素のうち第１の方向に（Ｎ＋ｋ）（０＜ｋ＜Ｎ、ｋは自然数）ライン周期で配列され、かつ前記第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成するステップと、
    前記ライン画像データに基づいて画像データを生成するステップと、
    を含む処理を実行させるための制御プログラム。
11. コンピュータに、
    予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子と、前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが前記第１の方向及び前記第２の方向に（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）の予め定めたパターンで、かつ、前記第１のフィルタ及び前記第２の色の各色に対応する前記第２のフィルタが前記第１の方向及び前記第２の方向に各々１つ以上配置された基本配列パターンが、繰り返し配置されると共に、前記第１のフィルタが、前記カラーフィルタ面内において、前記第１の方向、前記第２の方向、及び前記第２の方向と交差する第３の方向に１つ以上配置されたカラーフィルタと、を含む撮像素子から、前記複数の画素における画素信号を設定された周期で読出された画素信号に対し、前記複数の画素のうち第１の方向に（Ｎ＋ｋ）（０＜ｋ＜Ｎ、ｋは自然数）ライン周期で配列され、かつ前記第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成するステップと、
    前記ライン画像データに基づいて画像データを生成するステップと、
    を含む処理を実行させるための制御プログラム。

Images