JP2011041210A - 信号処理装置、撮像装置及び信号処理方法 - Google Patents

Abstract

【課題】データ量や演算量を膨大化させることなく、画像のエッジ部分等においても精度よく色補間を行えるようにする。
【解決手段】Ｒ又はＢの色成分を有する注目画素の位置及び、注目画素と同じ色成分を有する画素の位置にＧの色成分を補間して、第１のＧ補間信号を生成する前処理部６１０を備えた。また、第１の補間信号を用いて、注目画素位置及び注目画素と同じ色成分を有する画素の位置に第１のＧ色差を生成する近傍Ｇ画素Ｇ色差・Ｒ／Ｂ画素生成部６２０を備えた。近傍Ｇ画素Ｇ色差・Ｒ／Ｂ画素生成部６２０はまた、第１のＧ色差信号を用いて、近傍Ｇ画素の位置に第２のＧ色差信号を生成する。さらに、第２のＧ色差信号を用いて近傍Ｇ画素位置にＲの色成分又はＢの色成分を補間する。また、補間されたＲ成分又はＢ成分を用いて、所定の画素位置に第３のＧ色差信号を再構成するようにした。
【選択図】図４

Description

本発明は、信号処理装置、撮像装置及び信号処理方法に関し、特に、例えば色フィルタアレイを通して得られた各画素信号に色情報を補間する技術に関する。

単板式の撮像装置では、レンズを通して得られる被写体光をＲ（赤），Ｇ（緑），Ｂ（青）の３原色に分解するために、色フィルタアレイが使用される。色フィルタアレイとしては、ベイヤ配列のものがよく使用される。ベイヤ配列とは、図１３にその例を示してあるように、輝度信号の寄与する割合の高いＧの画素を市松状に配列し、残りの部分にＲとＢの画素をそれぞれ市松状に配列したものである。

各画素においてはＲ，Ｇ，Ｂのうち１色のデータしか得られないため、得られない他の色については、周辺の画素の出力を用いた補間演算を行うことによって得る必要がある。図１３のＲ３３の位置であれば、欠落しているＧ成分とＢ成分とを演算により補間する必要がある。

補間の方法としては、補間したい画素（以下、注目画素とも称する）の近傍にある画素のうち、注目画素との相関が強いと予測される方向の画素のみを用いて補間する方法が、有効な方法として知られている（例えば、非特許文献１参照）。この手法では、相関の強さを示す指標として、注目画素の近傍に位置する各画素の画素値における注目画素の画素値との変化量が用いられることが多く、画素値の変化量が小さい方向を、相関の強い方向として補間を行う。

そしてその画素値の変化量は、Ｇの画素値の変化量をもとに評価されることが多い。ベイヤ配列ではＧの画素が最も多く配置されているために、Ｇの画素が持つ情報量が他のＲやＢの画素が持つ情報量よりも多いためである。つまり、Ｇの画素値の変化量をもとに相関の強い方向を判定することで、相関の強い方向の判定精度を向上させることができる。

しかし、注目画素の位置が、画像が持つコーナーやテクスチャ部分に位置する場合には、Ｇの画素値の変化量に基づく判定では、注目画素との相関が強い画素が位置する方向（以下、相関方向と称する）を正しく推定できない等の問題点があった。コーナーやテクスチャの部分では、Ｇの画素値の変化量の多い方向が複数存在するためである。

このような問題を解決するために、例えば非特許文献２には、ある特定の原色（Ｇ等）の空間的な相関に加えて、原色間の相関を用いた手法が記載されている。この手法では、「局所的な領域において色成分が急激に変化しない」という仮定（「定色相仮定」）を置いている。すなわち、異なる原色間の相関によって、Ｒ（またはＢ）（以下、Ｒ／Ｂと称する）とＧの変化量（Ｒ／ＢとＧの比率（以下、色比と称する））が同程度である、と仮定している。その上で、注目画素の周囲に位置する各画素の色比を生成し、周囲の画素における色比から注目画素の色比を推定し、注目画素の補間値を推定している。

さらに、Ｇの画素値の変化量と注目画素の画素値（ＲやＢ）の変化量に応じて、色の相関の高いと推定される周囲の画素が有する色成分に大きな重みづけを行ってから、注目画素の色成分を推定する方法も提案されている。（例えば、非特許文献３、特許文献１参照）この手法を用いれば、色が急激に変化しているようなエッジにおいても、不自然なアーチファクト（偽色）を抑制して色補間を行うことができる。

ところが、この手法は、同色の画素値の変化量による粗い精度の検出かつ、粗い精度の周囲の色成分を用いて推定を行うものである。従って、高い周波数を持つテクスチャ部分等において、周囲の画素が正しい推定に基づいて生成（補間）されたものでない場合には、注目画素の色成分推定の精度も落ちてしまうという問題がある。

そこで、このような色補間処理後に相関方向検出を繰り返し、注目画素の周囲の画素の色成分の推定精度を向上し、また高い検出精度で相関方向を検出することで、色補間画像を再構成する手法が提案されている（例えば、非特許文献４参照）。

特開２００６−１７４４８５号公報

J.F.Hamilton and J.E.Adams: "Adaptive color plane interpolation in single sensor color electronic camera,"U.S.Patent No. 5629 734 D. Cok:"Signal Processing Method and Apparatus for Producing Interpolated Chrominance Values In a Sampled Color Image Signal," U.S.patent 4 642 678, 1987 HA.Chang and H.chen:"Directionally Weighted Color Interpolation for Digital Cameras,"Circuits and Systems, 2005. ISCAS 2005. IEEE International Symposium on 23-26 May 2005 Page(s):6284 - 6287 Vol. 6 R. Kimmel, "Demosaicing: Image reconstruction from CCD samples,"IEEE Trans. Image Processing, vol. 8, pp. 1221-1228, 1999.

ところが、非特許文献４に記載の方法では、色補間により生成した色補間画像に対して相関方向の検出をやり直すことを行うため、データ量や演算量が膨大化してしまうという問題があった。また、色補間後の画像を用いて相関方向の検出を行っているため、色補間により得られた画素値と本来の画像が有する画素値との誤差が広範囲に及ぶ場合等には、相関方向を正しく判定できない。つまり、このような場合には、色補間の精度を上げられないという問題があった。

本発明はかかる点に鑑みてなされたものであり、データ量や演算量を膨大化させることなく、画像のエッジ部分等においても精度よく色補間を行えるようにすることを目的とする。

本発明は、二次元配置された複数の画素上にＲとＧとＢの原色の色フィルタを所定配列で交互に配置した撮像素子で得た画素信号において欠落している画素値（色成分）を補間するものである。すなわち本発明は、前処理部と、近傍Ｇ画素Ｇ色差・Ｒ／Ｂ画素生成部と、Ｇ色差再構成処理部と、Ｇ色差補間処理部と、ＲＧＢ生成部で構成される。
前処理部は、所定の画素位置にあるＲ又はＢの色成分を有する注目画素の位置及び、注目画素と同じ色成分を有する画素の位置に、Ｇの色成分を補間して第１のＧ補間信号を生成する。近傍Ｇ画素Ｇ色差・Ｒ／Ｂ画素生成部は、まず、第１の補間信号を用いて、注目画素位置及び注目画素と同じ色成分を有する画素の位置における第１のＲ−Ｇ色差信号又はＢ−Ｇ色差信号を生成する。そして、第１のＲ−Ｇ色差信号又はＢ−Ｇ色差信号を用いて、注目画素の近傍に位置する近傍Ｇ画素の位置に第２のＲ−Ｇ色差信号又はＢ−Ｇ色差信号を生成する。さらに、第２のＲ−Ｇ色差信号又はＢ−Ｇ色差信号を用いて、近傍Ｇ画素位置にＲの色成分又はＢの色成分を補間する。
Ｇ色差再構成処理部は、近傍Ｇ画素Ｇ色差・Ｒ／Ｂ画素生成部によって補間されたＲ成分又はＢ成分を用いて、注目画素位置に第３のＲ−Ｇ色差信号又はＢ−Ｇ色差信号を再構成する。
Ｇ色差補間処理部は、Ｇ色差再構成処理部で再構成された第３のＲ−Ｇ色差信号又はＢ−Ｇ色差信号を用いて、所定の画素位置にＲ−Ｇ色差信号又はＢ−Ｇ色差信号を補間する。

このように構成したことにより、注目画素の周囲に、複数のＧ色差信号（Ｒ−Ｇ色差信号又はＢ−Ｇ色差信号）を組み合わせて作られたＧ色差信号が生成され、そのＧ色差信号をもとに所定の画素位置のＧ色差が再構成される。

上述した「定色相仮定」によれば、生成されたＧ色差信号の精度が悪かった場合にも、それらを複数集めて平均することにより、より信頼のできるＧ色差信号を得ることができることになる。従って、このような構成によって、Ｇ色差信号の精度が落ちやすいエッジ等の部分においても精度よく色補間を行うことができるようになる。

本発明の一実施の形態による撮像装置の内部構成例を示すブロック図である。 本発明の一実施の形態による色補間処理部の内部構成例を示すブロック図である。 本発明の一実施の形態によるＧ色差補間処理部に入力される画素の配列の例を示したものであり、（ａ）は注目画素がＲの場合の配列の例を示し、（ｂ）は注目画素がＲの場合に使用するＧ色差の配列の例を示し、（ｃ）は注目画素がＧｒの場合の配列の例を示し、（ｂ）は注目画素がＧｒの場合に使用するＧ色差の配列の例を示す。 本発明の一実施の形態によるＧ色差再構成部の内部構成例を示すブロック図である。 本発明の一実施の形態による前処理部の内部構成例を示すブロック図である。 本発明の一実施の形態による近傍Ｇ画素Ｇ色差・Ｒ／Ｂ画素生成部の内部構成例を示すブロック図である。 本発明の一実施の形態によるＧ画素用Ｇ色差・Ｒ／Ｂ画素生成部の内部構成例を示すブロック図である。 本発明の一実施の形態によるＧ色差再構成処理部の内部構成例を示すブロック図である。 本発明の一実施の形態によるＧ色差再構成部の処理の例を示すフローチャートである。 本発明の一実施の形態による近傍Ｇ画素Ｇ色差・Ｒ／Ｂ画素生成部の処理の例を示すフローチャートである。 本発明の一実施の形態によるＧ色差再構成処理部の処理の例を示すフローチャートである。 本発明の一実施の形態の他の例による色フィルタアレイの例を示す説明図であり、（ａ）はハニカム配列の例を示し、（ｂ）はクリアビッドＣＭＯＳセンサーにおける画素配列の例を示し、（ｃ）はクリアビッドＣＭＯＳセンサーにおける画素配列の応用例を示す。 従来のベイヤ配列の構成例を示す説明図である。

以下、本発明の実施形態（以下、本例とも称する）に係る信号処理装置、撮像装置及び映像信号処理方法の具体例を、図面を参照しながら以下の順で説明する。
１．撮像装置の構成例
２．色補間処理部の構成例
３．Ｇ色差再構成部の構成例
４．Ｇ色差再構成部の動作例

＜１．撮像装置の構成例＞
本実施の形態では、本発明の信号処理装置を例えばカメラ等の撮像装置に適用した例を説明する。図１は、本例の撮像装置１００のカメラブロック内の構成の例を示すものである。図１に示したカメラブロックには、レンズ１と、色フィルタ２と、撮像素子３と、アナログ・デジタル変換部４（以下、Ａ／Ｄ変換部と称する）と、補正処理部５と、色補間処理部６と、画像処理部７とが含まれる。

レンズ１は、撮像素子３の図示せぬ撮像面に被写体の像光を結像する。撮像素子３は、ＣＣＤ（Charge Coupled Devices）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどで構成されており、二次元配置された複数の光電変換素子からなっている。各光電変換素子は画素を構成し、撮像面上で各光電変換素子が占める位置が画素位置に対応する。

撮像素子３の二次元配置された複数の画素上には色フィルタ２を配置してあり、色フィルタ２を通して、１画素あたり１色の信号値が得られる。色フィルタ２は、図１３に示したようなベイヤ配列のものを使用しており、フィルタ幅は例えば縦５画素×横５画素であるものとする。フィルタにおける縦と横は、それぞれ撮像面の垂直方向と水平方向に対応している。

Ａ／Ｄ変換部４は、撮像素子３から出力された信号をデジタルの信号に変換して補正処理部５に出力する。補正処理部５では、光学系や撮像系の特性に起因して発生した輝度ムラを補正するシェーディング補正や、撮像素子３の欠陥等に起因して発生した画素欠陥補正等の処理を行う。

色補間処理部６は、補正処理部５によって補正された各色の信号に対して補間処理を行う。色補間処理部６の詳細については後述する。画像処理部７は、色補間処理部６から出力された信号に対してガンマ補正や輪郭強調等の処理を施す。

＜２．色補間処理部の構成例＞
次に、本例の色補間処理部６の構成例について説明する。本例の色補間処理部６は、以下の処理を行うものである。

（１）Ｇの画素値が存在しない画素（Ｒ／Ｂ画素；注目画素を含む）の位置にＧの画素値（第１のＧ補間信号）を補間。
（２）補間したＧの画素値（以下、補間値とも称する）とＲ／Ｂ画素の画素値との差分を取りＧの画素値が存在しない画素の位置のＧ色差（第１のＲ−Ｇ／Ｂ−Ｇ色差信号）を生成。
（３）Ｇの画素にＧ色差（第２のＲ−Ｇ／Ｂ−Ｇ色差信号）を生成して、Ｇの画素におけるＲ／Ｂ画素の画素値を生成。
（４）Ｇの画素に生成したＲ／Ｂ画素の画素値を用いて、注目画素の位置のＧ色差（第３のＲ−Ｇ／Ｂ−Ｇ色差信号）を再構成。
（５）再構成されたＧ色差を用いてＲ／Ｂの画素値が存在しない画素のＧ色差を補間。
（６）Ｇ色差を求めて空間的に補間し、補間したい画素のＧの画素値とＧ色差とを用いてＲＧＢの画素値を得る、もしくはＲ／Ｂ画素値とＧ色差によりＲＧＢの画素値を得る。

図２は、色補間処理部６の構成例を示すブロック図である。色補間処理部６には、Ｇ色差再構成部６００と、メモリ部６０１と、上述した（５）の処理を行うＧ色差補間処理部６０２とが含まれる。さらに、色補間処理部６は、上述した（６）の処理を行う、ＲＧＢ遅延処理部６０３と、メモリ部６０４と、ＲＧＢ遅延処理部６０５と、ＲＧＢ生成部６０６とを含む。

Ｇ色差再構成部６００は、上述した（１）〜（４）の処理を行う。処理の詳細については図４以降を参照して後述するが、Ｇ色差再構成部６００で（１）〜（４）の処理が行われることにより、注目画素がＲのときはＧ色差Ｖ（Ｒ−Ｇ）が出力され、ＢのときはＧ色差Ｕ（Ｂ−Ｇ）が出力される。

メモリ部６０１は、例えば複数のラインメモリ等で構成され、Ｇ色差再構成部６００から出力されるＧ色差を一時的に蓄積して所定のタイミングで出力する。Ｇ色差補間処理部６０２は、メモリ部６０１から出力されたＧ色差を取り込んで、Ｒ／Ｂの画素値が存在しない画素のＧ色差を補間する処理を行い、補間された色差をＲＧＢ生成部６０６に出力する。

図３（ａ）は、注目画素がＲ３３である場合の画素配列の例を示したものである。図３（ａ）に示した配列において、画素の種類及び画素の配置をＸｉｊの形式で示している。Ｘの位置には画素の種類（Ｒ又はＧｒ又ＧｂはＢ）が入り、ｉには画素の垂直方向の位置が、ｊには水平方向の位置が入る。Ｇｒは、そのＧがＲの画素が配列された行に存在するＧであることを示し、Ｇｂは、そのＧがＢの画素が配列された行に存在するＧであることを示す。以下の説明では、Ｒ３３等の符号を、画素の位置を示す符号として使用するとともに、画素値を示す符号としても使用するものとする。

図３（ｂ）は、注目画素がＲ３３である場合に、メモリ部６０１から出力される各Ｇ色差の例を示したものである。この場合、注目画素のＧ色差Ｖ３３とＧ色差Ｕ３３は、例えば以下のような式を用いて算出する。
Ｖ３３＝Ｇ色差再構成部６００で再構成されたＧ色差（以下、Ｇ色差Ｖ′３３）
Ｕ３３＝（Ｇ色差再構成部６００で再構成されたＧ色差Ｕ２２′＋Ｕ′２４＋Ｕ′４２＋Ｕ′４４）／４
注目画素がＢである場合にも、同様の方法でＧ色差ＵとＧ色差Ｖが算出される。

図３（ｃ）は、注目画素がＧｒ３３である場合の画素配列の例を示したものである。この場合、注目画素のＧ色差Ｖ３３とＧ色差Ｕ３３は、例えば以下のような式を用いて算出する。
Ｖ３３＝（Ｖ３２′＋Ｖ３４′）／２
Ｕ３３＝（Ｕ３２′＋Ｕ４３′）／２
注目画素がＧｂである場合にも、同様の方法でＧ色差ＵとＧ色差Ｖとが算出される。なお、Ｇ色差の算出方法はこの方法に限定されるものではなく、他の方法によって算出するようにしてもよい。

図２に戻って説明を続けると、ＲＧＢ生成部６０６は、上述した（６）の処理を行う。つまり、Ｇ色差補間処理部６０２から出力される各Ｇ色差と、ＲＧＢ遅延処理部６０５から出力されるＲ，Ｇ，Ｂの各画素値とを用いて、Ｒ，Ｇ，Ｂの各画素値を生成する。例えば、図３（ａ）に示したように注目画素がＲである場合には、以下の式を用いてＲ，Ｇ，Ｂの各画素値を生成する。
Ｒ＝Ｒ３３
Ｇ＝Ｒ３３−Ｖ３３
Ｂ＝Ｕ３３＋Ｇ３３
注目画素がＢである場合にも、同様の方法でＲ，Ｇ，Ｂの各画素値を算出する。

注目画素が、図３（ｃ）に示したようにＧｒである場合には、以下の式を用いてＲ，Ｇ，Ｂの各画素値を生成する。
Ｒ＝Ｖ３３＋Ｇｒ３３
Ｇ＝Ｇｒ３３
Ｂ＝Ｕ３３＋Ｇｒ３３
注目画素がＧｂである場合にも、同様の方法でＲ，Ｇ，Ｂの各画素値を算出する。

ＲＧＢ遅延処理部６０３は、メモリ部６０４にＲ，Ｇ，Ｂの各画素値を供給するタイミングと、Ｇ色差再構成部６００からメモリ部６０１にＧ色差が供給されるタイミングとを一致させるために、Ｒ，Ｇ，Ｂの各画素値の出力を遅らせる。

メモリ部６０４は、ＲＧＢ遅延処理部６０３から出力されたＲ，Ｇ，Ｂの各画素値を一時的に蓄積して、ＲＧＢ遅延処理部６０５に出力する。ＲＧＢ遅延処理部６０５は、ＲＧＢ生成部６０６にＲ，Ｇ，Ｂの各画素値を供給するタイミングと、Ｇ色差補間処理部６０２からＲＧＢ生成部６０６にＧ色差が供給されるタイミングとを一致させるために、Ｒ，Ｇ，Ｂの各画素値の出力を遅らせる。

＜３．Ｇ色差再構成部の構成例＞
次に、図４を参照して、Ｇ色差再構成部６００の詳細について説明する。図４は、Ｇ色差再構成部６００の構成例を示すブロック図である。Ｇ色差再構成部６００には、前処理部６１０と、近傍Ｇ画素Ｇ色差・Ｒ／Ｂ画素生成部６２０と、Ｇ色差再構成処理部６３０とが含まれる。

前処理部６１０は、上述した（１）の処理を行う。つまり、撮像素子３の各画素が色フィルタ２を通して得たＲ，Ｇ，Ｂの各画素信号を入力として、Ｇの画素値が欠落している画素（注目画素を含む）にＧの画素値を補間する処理を行う。そして、撮像素子３により得られたＧの画素値及び補間により生成されたＧの画素値（以下、補間値とも称する）を出力する。また、前処理部６１０は、撮像素子３から出力されたＲ／Ｂの画素信号に遅延を加えて一時的に格納することにより、Ｇの画素信号とＲ／Ｂの画素信号の位相を合わせる処理を行う。

近傍Ｇ画素Ｇ色差・Ｒ／Ｂ画素生成部６２０は、上述した（２）〜（４）の処理を行う。つまり、前処理部６１０から出力されたＲ／Ｂの画素値とＧの画素値とを用いて、注目画素の近傍に位置する複数のＧの画素（以下、近傍Ｇ画素と称する）におけるＧ色差を生成する。また、生成したＧ色差と前処理部６１０から出力されたＧの補間値を用いて、近傍Ｇ画素におけるＲ／Ｂの画素値を生成する。

Ｇ色差再構成処理部６３０は、上述した（５）の処理を行う。つまり、近傍Ｇ画素Ｇ色差・Ｒ／Ｂ画素生成部６２０により生成された近傍Ｇ画素におけるＲ／Ｂの画素値を用いて、注目画素のＧ色差を再構成する。このとき、注目画素のＧ色差再構成にあたって、Ｇの画素値の変化量がより少ない方向にある画素の画素値に重みをつけることを行っている。

［色補間処理部内の各ブロックの構成例］
続いて、上述した色補間処理部６を構成する各ブロックの詳細について、図５〜図８を参照して説明する。

図５（ａ）は、前処理部６１０の構成例を示すブロック図である。前処理部６１０には、相関方向判別Ｇ補間処理部６１１と、メモリ部６１２と、Ｒ／Ｂ遅延処理部６１３と、メモリ部・Ｒ／Ｂ選択処理部６１４とが含まれる。

以下では、前処理部６１０に図５（ｂ）に示した配列の各画素値が入力される場合を想定して説明を行う。すなわち、Ｒ３３を中心とした５画素×５画素の各画素値が入力される場合を例に挙げて説明する。なお、注目画素がＢの画素である場合にも同様の処理が行われるものとする。

前処理部６１０内の相関方向判別Ｇ補間処理部６１１は、入力された画素がＧの画素値であった場合にはそのままメモリ部６１２に出力し、Ｇの画素値が存在しない画素であった場合にはＧの画素値を補間して、その補間値をメモリ部６１２に出力する。Ｇの画素値の補間は、注目画素との相関が高いとされる方向に位置する画素の画素値を用いて行う。

Ｇの画素値の補間は、例えば以下の式を用いて行う。以下の式は、図５（ｂ）に示すように配列された各画素が入力される場合の処理を示したものである。図５（ｂ）において、ｉは注目画素の垂直方向の座標を示し、ｊは水平方向の座標を示している。また、画素の種類をＲ，Ｇ，Ｂで示してある。下記式における“ＤＨ”は注目画素Ｒ_ｉｊと水平方向で近接する各画素と注目画素Ｒ_ｉｊとの変化量を示し、“ＤＶ”は注目画素Ｒ_ｉｊと垂直方向で近接する各画素と注目画素Ｒ_ｉｊとの変化量を示し、ｇ_ｉｊは、Ｇの補間値を示す。

まず、下記の式１と式２を用いて水平方向の変化量ＤＨと垂直方向の変化量ＤＶを算出し、

次に、以下の式を使用して補間値ｇ_ｉｊを算出する。

なお、上記式は補間値の算出の一例を示したものであり、補間値の計算はこの方法に限定されるものではない。例えば、注目画素を中心とした上下左右の４方向におけるＧの画素値の変化量を、Ｇの画素値のみを使用して算出し、相関が高いと判定された方向にあるＧの画素の画素値の重みづけ平均値を補間値とする方法等の、他の手法を使用してもよい。どのような補間方法であっても適用可能であるが、相関方向をより正確に判別できる手法であるほど好ましい。

再び図５（ａ）に戻って説明を続けると、メモリ部６１２は、例えば色フィルタ２（図１参照）の行数に対応する複数のラインメモリ（本例では５本）等で構成される。そして、相関方向判別Ｇ補間処理部６１１から出力された各画素値を格納して所定のタイミングで出力する。図５（ｃ）に、メモリ部６１２から出力された画素の配列の例を示してある。相関方向判別Ｇ補間処理部６１１による補間処理で得られた画素は薄い色付きで示してあり、“ｇ３３”のように、色成分の種類を小文字で示してある。

Ｒ／Ｂ遅延処理部６１３は、相関方向判別Ｇ補間処理部６１１での処理時間の分だけ、入力されたＲ，Ｂの各画素値に遅延を加えて、遅延されたＲ／Ｂの各画素値をメモリ部・Ｒ／Ｂ選択処理部６１４に供給する。

メモリ部・Ｒ／Ｂ選択処理部６１４は、Ｒ／Ｂ遅延処理部６１３で遅延が加えられた各Ｒ／Ｂの画素値を一時的に蓄積する。そして、蓄積した各Ｒ／Ｂの画素値の中から後段の近傍Ｇ画素Ｇ色差・Ｒ／Ｂ画素生成部６２０（図４参照）での処理に必要なＲ／Ｂ画素を選択して、近傍Ｇ画素Ｇ色差・Ｒ／Ｂ画素生成部６２０に出力する（図５（ｄ）参照）。

次に、近傍Ｇ画素Ｇ色差・Ｒ／Ｂ画素生成部６２０の構成例について、図６及び図７のブロック図を参照して説明する。図６に示した近傍Ｇ画素Ｇ色差・Ｒ／Ｂ画素生成部６２０には、Ｇ画素用Ｇ色差・Ｒ／Ｂ画素生成部６２１−１〜Ｇ画素用Ｇ色差・Ｒ／Ｂ画素生成部６２１−４と、遅延処理部６２２が含まれる。

Ｇ画素用Ｇ色差・Ｒ／Ｂ画素生成部６２１−１〜Ｇ画素用Ｇ色差・Ｒ／Ｂ画素生成部６２１−４は、注目画素の近傍に位置する近傍Ｇ画素用のＧ色差を生成するとともに、近傍Ｇ画素用のＲ／Ｂ画素の画素値も生成する。Ｇ画素用Ｇ色差・Ｒ／Ｂ画素生成部６２１−１〜Ｇ画素用Ｇ色差・Ｒ／Ｂ画素生成部６２１−４には、注目画素の近傍Ｇ画素の画素値と、近傍Ｇ画素の近傍に位置するＲ／Ｂ画素の画素値とが入力される。

遅延処理部６２２は、Ｇ画素用Ｇ色差・Ｒ／Ｂ画素生成部６２１での処理時間の分だけ、入力されたＲ又はＢの画素値に遅延を加えて、遅延されたＲ又はＢの画素値をＧ色差再構成処理部６３０（図４参照）に供給する。

次に、Ｇ画素用Ｇ色差・Ｒ／Ｂ画素生成部６２１−１〜Ｇ画素用Ｇ色差・Ｒ／Ｂ画素生成部６２１−４のより詳細な構成について、図７を参照して説明する。Ｇ画素用Ｇ色差・Ｒ／Ｂ画素生成部６２１−１〜Ｇ画素用Ｇ色差・Ｒ／Ｂ画素生成部６２１−４は、いずれも同一の構成であるため、図７においては、Ｇ画素用Ｇ色差・Ｒ／Ｂ画素生成部６２１−１を例に挙げてその構成を説明する。

Ｇ画素用Ｇ色差・Ｒ／Ｂ画素生成部６２１−１には、近傍Ｇ画素選択部６２１１−１と、近傍Ｒ／Ｂ画素選択部６２１１−２と、近傍Ｒ／Ｂ画素選択部６２１１−３とが含まれる。さらに、画素比較係数生成部６２１２−１〜画素比較係数生成部６２１２−２と、Ｇ色差生成部６２１３−１〜Ｇ色差生成部６２１３−２と、重みづけ平均処理部６２１４と、加算器６２１５とが含まれる。

近傍Ｇ画素選択部６２１１−１は、前処理部６１０（図４参照）から入力されるＧ画素の中から注目画素の近傍に位置する近傍Ｇ画素を１つ選択して、選択したＧ画素を画素比較係数生成部６２１２−１と画素比較係数生成部６２１２−２に供給する。

例えば、図５（ｃ）に示した各画素が入力される場合には、近傍Ｇ画素選択部６２１１−１ではＧｒ３２が選択される。他の近傍Ｇ画素であるＧｒ３４，Ｇｂ２３，Ｇｂ４３は、それぞれ、Ｇ画素用Ｇ色差・Ｒ／Ｂ画素生成部６２１−２〜Ｇ画素用Ｇ色差・Ｒ／Ｂ画素生成部６２１−４（図６参照）内の近傍Ｇ画素選択部（図示略）によって選択される。

近傍Ｒ／Ｂ画素選択部６２１１−２〜近傍Ｒ／Ｂ画素選択部６２１１−３は、入力されるＲ／Ｂ画素の中から、近傍Ｇ画素選択部６２１１−１で選択された近傍Ｇ画素の近傍にあるＲ／Ｂ画素を１つ選択する。そして、選択したＲ／Ｂ画素を、Ｇ色差生成部６２１３−１とＧ色差生成部６２１３−２に供給する。また、近傍Ｒ／Ｂ画素選択部６２１１−２〜近傍Ｒ／Ｂ画素選択部６２１１−３には、選択したＲ／Ｂ画素の位置のＧ補間値も入力される。そして、入力されたＧ補間値を、画素比較係数生成部６２１２−１〜画素比較係数生成部６２１２−２と、Ｇ色差生成部６２１３−１〜Ｇ色差生成部６２１３−２に供給する。

例えば、近傍Ｒ／Ｂ画素選択部６２１１−２がＲ３１を選択した場合には、Ｒ３１をＧ色差生成部６２１３−１に供給する。そしてさらに、Ｒ３１の位置のＧ補間値ｇ３１を、画素比較係数生成部６２１２−１とＧ色差生成部６２１３−１に供給する。

このとき近傍Ｒ／Ｂ画素選択部６２１１−３では、近傍Ｇ画素選択部６２１１−１で選択されたＧ画素Ｇｒ３２の近傍にあるもう一つのＲ／Ｂ画素、すなわちＲ３３（注目画素）が選択され、Ｒ３３がＧ色差生成部６２１３−２に供給される。これとともに、Ｒ３３の位置のＧ補間値ｇ３３を、画素比較係数生成部６２１２−２とＧ色差生成部６２１３−２に供給する。

画素比較係数生成部６２１２−１〜画素比較係数生成部６２１２−２は、重みづけ平均処理部で使用する重み係数を生成し、算出した重み係数を、重みづけ平均処理部６２１４に供給する。重み係数の算出は、例えば以下のような式を用いて行う。以下の式は、Ｇの画素値としてＧｒ３２が、Ｇ補間値としてｇ３１が入力された場合の例を示したものである。
重み係数

つまり、ｇ補間値とＧの画素値との差分が小さいほど値が大きくなるような重み係数を算出している。なお、絶対値差に“１”を加算しているのは、差分が０になった場合に、０による割り算となってしまうことを回避するためである。

なお、重み係数の計算方法はこの手法に限定されるものではない。また、本例では重み係数を都度計算により算出するようにしているが、ＬＵＴ（Look Up Table）等を予め設定しておき、そこから重み係数を選択するようにしてもよい。この場合も、重み係数を、ｇ補間値とＧの画素値との差分が小さいほど値が大きくなるような値に設定しておく。もしくは、差分がすべて大きい場合等には、得られた差分を単純に平均したものをＧ色差とするようにしてもよい。

また、色フィルタ２として、ベイヤ配列以外の配列のものを使用する場合等には、近傍Ｇ画素選択部６２１１−１（又は６２１１−２）で選択されたＧ画素と、Ｇ画素の近傍にある２つのＲ／Ｂ画素（のＧ補間値）との距離が等間隔であるとは限らない。このような場合には、Ｇ画素とより近い位置にあるｇ補間値により大きな重みをつけられるように、距離を考慮して重み係数を算出するようにしてもよい。この場合の重み係数は、例えば以下のような式を用いて算出する。以下の式において、“dist(A,B)”は、ＡとＢとの距離を示す。

Ｇ色差生成部６２１３−１〜Ｇ色差生成部６２１３−２は、近傍Ｒ／Ｂ画素選択部６２１３−１又は近傍Ｒ／Ｂ画素選択部６２１３−２から供給されたＲの画素値と、Ｒの画素値の位置のＧ補間値とを用いて、Ｒの画素値の位置のＧ色差を生成する。そして、生成したＧ色差を、重みづけ平均処理部６２１４に供給する。Ｇ色差の算出は、以下の式は、Ｒの画素値としてＲ３１が、Ｇ補間値としてｇ３１が入力された場合の例を示したものである。
Ｇ色差

重みづけ平均処理部６２１４は、近傍Ｇ画素の位置のＧ色差を生成する。すなわち、画素比較係数生成部６２１２−１及び画素比較係数生成部６２１２−２から出力された重み係数αと、Ｇ色差生成部６２１３−１及びＧ色差生成部６２１３−から出力されたＧ色差Ｖとを用いて、近傍Ｇ画素の位置のＧ色差を生成する。

近傍Ｇ画素の位置のＧ色差の生成は、例えば以下のような式を用いて算出する。以下の式は、画素比較係数生成部６２１２−１から重み係数α３１が、画素比較係数生成部６２１２−２から重み係数α３３が、Ｇ色差生成部６２１３−１からＧ色差Ｖ３１が、Ｇ色差生成部６２１３−２からＧ色差Ｖ３３が入力された場合のものである。
近傍Ｇｒ３２のＧ色差

他の近傍Ｇ画素であるＧｒ３４の位置のＶ３４と、Ｇｂ２３の位置のＶ２３と、Ｇｂ４３の位置のＶ４３は、図示しないＧ画素用Ｇ色差・Ｒ／Ｂ画素生成部６２１−２〜Ｇ画素用Ｇ色差・Ｒ／Ｂ画素生成部６２１−４内の重みづけ平均処理部で生成される。

加算器６２１５は、前処理部６１０（図４参照）から入力される近傍Ｇ画素の各画素値と、重みづけ平均処理部６２１４から入力される近傍Ｇ画素の位置のＧ色差とを加算することにより、近傍Ｇ画素の位置のＲ／Ｂ画素を生成する。例えば、近傍Ｇ画素の画素値としてＧｒ３２が入力され、Ｇｒ３２のＧ色差としてＶ３２が入力された場合には、加算器６２１５はＧｒ３２とＶ３２とを加算して出力する。

これにより、近傍Ｇ画素の位置のＲ／Ｂ画素ｒ３２が生成される。同様にして、Ｇｒ３４の位置のｒ３４と、Ｇｂ２３の位置のｒ２３と、Ｇｂ４３の位置のｒ４３とが、図示しないＧ画素用Ｇ色差・Ｒ／Ｂ画素生成部６２１−２〜Ｇ画素用Ｇ色差・Ｒ／Ｂ画素生成部６２１−４内の加算器によって生成される。

次に、図４に示したＧ色差再構成処理部６３０の詳細について、図８のブロック図を参照して説明する。Ｇ色差再構成処理部６３０には、注目画素選択部６３１と、近傍Ｇ画素選択部６３２−１〜近傍Ｇ画素選択部６３２−４と、画素比較係数生成部６２３−１〜画素比較係数生成部６２３−４と、重みづけ平均処理部６３４とが含まれる。

注目画素選択部６３１は、近傍Ｇ画素Ｇ色差・Ｒ／Ｂ画素生成部６２０の遅延処理部６２２（図６参照）から入力される注目画素の画素値を、画素比較係数生成部６３２−１〜画素比較係数生成部６３２−４に供給する。例えば注目画素の画素値Ｒ３３が入力された場合には、Ｒ３３を画素比較係数生成部６３２−１〜画素比較係数生成部６３２−４に供給する。

近傍Ｇ画素選択部６３２−１〜近傍Ｇ画素選択部６３２−４は、注目画素の近傍Ｇ画素のうち１つを選択する。そして、そのＧ画素の位置に生成されたＲ／Ｂの画素値ｒ（又はｂ）を画素比較係数生成部６３３−１〜Ｒ／Ｂの画素値を画素比較係数生成部６３３−４のいずれかに供給する。また、近傍Ｇ画素の位置に生成されたＧ色差Ｖを、重みづけ平均処理部６３４に供給する。

近傍Ｇ画素に生成されたＲ／Ｂの画素値ｒ／ｂは、Ｇ画素用Ｇ色差・Ｒ／Ｂ画素生成部６２１−１〜Ｇ画素用Ｇ色差・Ｒ／Ｂ画素生成部６２１−４内の加算器から供給される。また、近傍Ｇ画素に生成されたＧ色差Ｖは、Ｇ画素用Ｇ色差・Ｒ／Ｂ画素生成部６２１−１〜Ｇ画素用Ｇ色差・Ｒ／Ｂ画素生成部６２１−４内の重みづけ平均処理部より供給される。

例えば、近傍Ｇ画素選択部６３２−１が近傍Ｇ画素としてＧｒ３２を選択した場合には、Ｇｒ３２の位置に生成されたＲの画素値ｒ３２が画素比較係数生成部６３３−１に供給される。そして、Ｇｒ３２の位置に生成されたＧ色差Ｖ３２が重みづけ平均処理部６３４に供給される。

画素比較係数生成部６３３−１〜画素比較係数生成部６３３−４は、注目画素選択部６３１から供給される注目画素の画素値と、近傍Ｇ画素選択部６３２−１〜近傍Ｇ画素選択部６３２−４のいずれかから供給されるＧ色差Ｖとを用いて、重み係数を算出する。

例えば画素比較係数生成部６３３−１であれば、注目画素選択部６３１から供給された注目画素の画素値Ｒ３３と、近傍Ｇ画素選択部６３２−１から供給されたＲの画素値ｒ３２とを用いて、重み係数α３２を生成する。重み係数α３２は、以下の式等によって算出する。
重み係数

同様にして、画素比較係数生成部６３３−２では重み係数α３４が、画素比較係数生成部６３３−３では重み係数α２３が、画素比較係数生成部６３３−４では重み係数α４３が生成され、これらの係数が重みづけ平均処理部６３４に供給される。

重みづけ平均処理部６３４は、画素比較係数生成部６３３−１〜画素比較係数生成部６３３−４から出力された重み係数αと、近傍Ｇ画素選択部６３２−１〜近傍Ｇ画素選択部６３２−４から出力されたＧ色差Ｖとを用いて、注目画素のＧ色差を再構成する。

注目画素の位置のＧ色差の生成は、例えば以下のような式を用いて算出する。以下の式は、下記の入力があった場合の例を示すものである。
・重み係数α３２，α３４，α２３，α４３
・Ｇ色差Ｖ３２，Ｖ３４，Ｖ２３，Ｖ４３
注目画素Ｒ３３のＧ色差

なお、Ｇ色差Ｖ′３３の算出方法は、この手法に限定されるものではない。例えば、注目画素と水平方向で近接する画素のＧ色差を用いて算出したＧ色差と、注目画素と垂直方向で近接する画素のＧ色差を用いて算出したＧ色差との平均を算出することにより求めてもよい。以下の式において、Ｖ３３_ｈは注目画素と水平方向で近接する画素のＧ色差を用いて算出したＧ色差を示し、Ｖ３３_ｖは注目画素と垂直方向で近接する画素のＧ色差を用いて算出したＧ色差を示す。

Ｇ色差Ｖ′３３の算出は、他の式を用いて行うようにしてもよく、また、ＬＵＴ等に予め様々な重み係数を設定しておき、そこから適切な重み係数を選択するようにしてもよい。

＜４．Ｇ色差再構成部の動作例＞
次に、上述した各ブロックにより構成されるＧ色差再構成部６００の動作の例について、図９〜図１１のフローチャートを参照して説明する。図９において、まず、前処理部６１０（図４参照）によって、Ｇの画素値が存在しないＲ／Ｂ画素の位置におけるＧの補間値ｇが生成される（ステップＳ１）。

続いて、近傍Ｇ画素Ｇ色差・Ｒ／Ｂ画素生成部６２０（図６，７参照）によって、前処理部６１０で生成されたＧ補間値ｇと、もともと存在するＲ／Ｂの画素値との差分を算出することにより、Ｒ／Ｂ画素の位置のＧ色差Ｕ又はＶが生成される（ステップＳ２）。また、同じく近傍Ｇ画素Ｇ色差・Ｒ／Ｂ画素生成部６２０によって、Ｒ／Ｂ画素の位置のＧ色差Ｕ／Ｖと、前処理部６１０から出力されたＧの補間値ｇと、近傍Ｇ画素の画素値とを用いて、近傍Ｇ画素の位置におけるＧ色差Ｕ／Ｖが生成される（ステップＳ３）。

次に、同じく近傍Ｇ画素Ｇ色差・Ｒ／Ｂ画素生成部６２０によって、近傍Ｇ画素の位置のＧ色差Ｕ／Ｖと近傍Ｇ画素の画素値Ｇｒ又はＧｂとを用いて、Ｇ色差再構成処理部６３０によって、近傍Ｇ画素の位置のＧ色差ｒ／ｂが生成される（ステップＳ４）。

続いて、Ｇ色差再構成処理部６３０（図８参照）によって、近傍Ｇ画素の位置のＲ／Ｂの画素ｒ／ｂと注目画素の画素値Ｒ／Ｂとを用いて、注目画素におけるＧ色差Ｕ′／Ｖ′が再構成される（ステップＳ５）。

次に、図９のステップＳ３に示した近傍Ｇ画素Ｇ色差・Ｒ／Ｂ画素生成部６２０での処理の詳細について、図１０のフローチャートを参照して説明する。図１０に示す各処理は、図７に示した各ブロックにおいて行われる。

まず、注目画素の近傍Ｇ画素のうちいずれか１つが、近傍Ｇ画素選択部６２１１−１によって選択される（ステップＳ１１）。続いて、選択されたＧ画素に近接するＲ／Ｂ画素が、近傍Ｒ／Ｂ画素選択部６２１１によって選択される（ステップＳ１２）。

次に、Ｇ色差生成部６２１３によって、近傍Ｇ画素の位置のＧ色差Ｕ／Ｖが算出される（ステップＳ１３）。そして、画素比較係数生成部６２１２によって、ステップＳ１１で選択されたＧ画素と近傍Ｇ画素の位置のＧ色差Ｕ／Ｖとの差分絶対値が算出される（ステップＳ１４）。

続いて、重みづけ平均処理部６２１４によって、ステップＳ１４で算出された差分絶対値が小さいほど値が大きくなるような重み係数αが算出される（ステップＳ１５）。その重み係数αを用いて、近傍Ｒ／Ｂ画素の位置に生成されたＧ色差Ｕ／Ｖの重みづけ平均を算出することにより、近傍Ｇ画素の位置のＧ色差Ｕ／Ｖが生成される（ステップＳ１６）。

さらに、近傍Ｇ画素の位置に生成されたＧ色差Ｕ／Ｖと、近傍Ｇ画素の画素値とが加算器６２１５によって加算されることにより、近傍Ｇ画素の位置のＲ／Ｂ画素ｒ／ｂが生成される（ステップＳ１７）。

次に、図９のステップＳ５に示したＧ色差再構成処理部６３０での処理の詳細について、図１１のフローチャートを参照して説明する。図１１に示す各処理は、図８に示した各ブロックにおいて行われる。

まず、注目画素選択部６３１によって注目画素が選択され、近傍Ｇ画素選択部６３２によって、注目画素の近傍Ｇ画素が選択される（ステップＳ２１）。次に、画素比較係数生成部６３３によって、近傍Ｇ画素の位置のＲ／Ｂの画素値と、注目画素のＲ／Ｂの画素値との差分絶対値が算出される（ステップＳ２２）。

次に、重みづけ平均処理部６３４によって、ステップＳ２２で算出された差分絶対値が小さいほど値が大きくなるような重み係数αが算出される（ステップＳ２３）。そして、その重み係数αを用いて、近傍Ｇ画素の位置に生成されたＧ色差Ｕ／Ｖの重みづけ平均を算出することにより、注目画素の位置のＧ色差Ｕ′／Ｖ′が再構成される（ステップＳ２４）。

このようにして生成されたＧ色差Ｕ′／Ｖ′は、色補間処理部６内のメモリ部６０１（図２参照）に供給され、メモリ部６０１とＧ色差補間処理部６０２とＲＧＢ生成部６０６によって、前述した処理が行われる。

＜実施の形態による効果＞
上述した実施の形態によれば、注目画素の周囲に、複数のＧ色差を組み合わせて作られたＧ色差Ｕ／Ｖが生成され、そのＧ色差Ｕ／Ｖの平均値をもとに注目画素の位置のＧ色差Ｕ′／Ｖ′が再構成される。すなわち、複数のＧ色差Ｕ／Ｖを集めて生成されたより信頼できるＧ色差Ｕ／Ｖを元に、注目画素のＧ色差Ｕ′／Ｖ′が再構成されるようになる。これにより、処理対象の画素信号が画像のエッジやコーナーの部分を構成するものであった場合等で、前処理部６１０で生成されたＧの補間値の精度が悪かった場合にも、注目画素の補間精度を向上させることができる。

また、このような処理をＲＧＢ生成部６０６によるＲ，Ｇ，Ｂ補間処理の前段階で行うため、演算に必要なデータの量を削減することができる。よって、処理に必要なメモリ等のリソースも節減できる。

また、このような処理をＲＧＢ生成部６０６によるＲ，Ｇ，Ｂ補間処理の前段階で行うため、最初に行ったＧの補間に誤りがあった場合にも、その誤りがＲＧＢ生成部６０６の前段で補正されるようになる。従って、最初に行ったＧの補間に誤りがあった場合に発生する被害が、拡散してしまうことを防ぐことができる。

さらに、信頼性を高めるために重みづけ平均するのは、推定により得られた画素（ｇ３３，ｒ３２等）だけであるため、色フィルタ２によりもともと得られている画素（Ｒ３３，Ｇｒ３２，Ｇｂ４３等）が劣化してしまうようなことがなくなる。

また、上述した実施の形態によれば、Ｇ色差の補間を行う際に、注目画素との変化量がより小さい画素値に大きな重みがつけられるため、「定色相仮定」が厳密には成り立たないような画像を扱う場合にも、色補間の精度を向上させることができる。
さらに、この手法はＲＧＢ生成部６０６の前に繰り返し処理を行うことができ、繰り返し処理を行うことで、さらなる画質の向上を行うことができる。

＜変形例＞
なお、上述した実施の形態では、色フィルタ２の配列が図１３に示したようなベイヤ配列である場合を例に挙げたが、これに限定されるものではない。色フィルタ２を構成する各画素のうち、１つの色の画素が他の２つの画素に対して多く配置されているような色フィルタであれば、他の色フィルタを適用してもよい。

例えば、図１２（ａ）に示すように、各画素を蜂の巣状に配列したハニカム配列を適用してもよい。もしくは、図１２（ｂ）に示したような、クリアビッドＣＭＯＳセンサーで使用される配列を適用してもよい。すなわち、Ｇの画素をＲ／Ｂの画素の３倍多くし、かつＲ／Ｂの画素の周囲を取り囲むように配置した配列に適用してもよい。または、図１２（ｃ）に示したような、Ｇの画素をＲ／Ｂの画素より６倍多くし、Ｒ／Ｂの画素の周囲を取り囲むように配置した（水平及び垂直の方向において、Ｇを２ｄの間隔で配置し、Ｒ／Ｂ画素を４ｄの間隔で配置した）配列に適用してもよい。

また、上述した実施の形態では、Ｇ色差再構成処理部６３０（図８参照）で求められたＧ色差Ｖ′３３と、Ｒ／Ｂ画素の画素値とを用いて注目画素のＧ画素を補間しているが、処理の順番はこれに限定されるものではない。例えば、Ｇ色差Ｖ′３３を用いてＲ／Ｂ画素を予め補正しておき、補正後のＲ／Ｂ画素とＧ色差Ｖ′３３とを用いて、注目画素の位置のＧ画素を補間するようにしてもよい。

また、上述した実施の形態では、本発明を撮像装置に適用した例を挙げたが、撮像素子を備えず、撮像装置から出力された映像信号の処理を行う装置等に適用してもよい。

１…レンズ、２…色フィルタ、３…撮像素子、４…アナログ・デジタル変換部、５…補正処理部、６…色補間処理部、７…画像処理部、１００…撮像装置、６００…Ｇ色差再構成部、６０１…メモリ部、６０２…Ｇ色差補間処理部、６０３…ＲＧＢ遅延処理部、６０４…メモリ部、６０５…ＲＧＢ遅延処理部、６０６…ＲＧＢ生成部、６１０…前処理部、６１１…相関方向判別Ｇ補間処理部、６１２…メモリ部、６１３…Ｒ／Ｂ遅延処理部、６１４…メモリ部・Ｒ／Ｂ選択処理部、６２０…近傍Ｇ画素Ｇ色差・Ｒ／Ｂ画素生成部、６２１…Ｇ画素用Ｇ色差・Ｒ／Ｂ画素生成部、６２２…遅延処理部、６３０…Ｇ色差再構成処理部、６３１…注目画素選択部、６３２…近傍Ｇ画素選択部、６３３…画素比較係数生成部、６３４…平均処理部、６２１１…近傍Ｒ／Ｂ画素選択部、６２１２…画素比較係数生成部、６２１３…Ｇ色差生成部、６２１４…平均処理部、６２１５…加算器

Claims (7)

1. 二次元配置された複数の画素上にＲとＧとＢの原色の色フィルタを所定配列で交互に配置した撮像素子で得た画素信号における、前記配列中の所定の画素位置にある前記Ｒ又は前記Ｂの色成分を有する注目画素の位置及び、前記注目画素と同じ色成分を有する画素の位置に、前記Ｇの色成分を補間して第１のＧ補間信号を生成する前処理部と、
   前記第１の補間信号を用いて、前記注目画素位置及び前記注目画素と同じ色成分を有する画素の位置における第１のＲ−Ｇ色差信号又はＢ−Ｇ色差信号を生成し、前記第１のＲ−Ｇ色差信号又はＢ−Ｇ色差信号を用いて、前記注目画素の近傍に位置する近傍Ｇ画素の位置に第２のＲ−Ｇ色差信号又はＢ−Ｇ色差信号を生成するとともに、前記第２のＲ−Ｇ色差信号又はＢ−Ｇ色差信号を用いて、前記近傍Ｇ画素位置に前記Ｒの色成分又は前記Ｂの色成分を補間する近傍Ｇ画素Ｇ色差・Ｒ／Ｂ画素生成部と、
   前記近傍Ｇ画素Ｇ色差・Ｒ／Ｂ画素生成部によって補間された前記Ｒ成分又は前記Ｂ成分を用いて、前記注目画素位置に第３のＲ−Ｇ色差信号又は前記Ｂ−Ｇ色差信号を再構成するＧ色差再構成処理部と、
   前記Ｇ色差再構成処理部で再構成された前記第３のＲ−Ｇ色差信号又は前記Ｂ−Ｇ色差信号を用いて、所定の画素位置にＲ−Ｇ色差信号又はＢ−Ｇ色差信号を補間するＧ色差補間処理部とを備えた
   信号処理装置。
2. 前記近傍Ｇ画素Ｇ色差・Ｒ／Ｂ画素生成部は、
   前記近傍Ｇ画素に含まれる前記Ｇの成分と、前記近傍Ｇ画素の位置に生成された前記第１のＧ補間信号との差分を算出して第１の重み係数を算出する第１の画素比較係数生成部と、
   前記近傍Ｇ画素の近傍に位置する前記Ｒ又はＢの画素に含まれる前記Ｒ又はＢの成分と、前記近傍Ｇ画素の位置に生成された前記第１のＧ補間信号とを用いて、前記近傍Ｇ画素位置における前記Ｒ−Ｇ色差信号又はＢ−Ｇ色差信号を生成するＧ色差生成部と、
   前記第１の重み係数を用いて、前記Ｇ色差生成部で生成された前記近傍Ｇ画素位置における前記Ｒ−Ｇ色差信号又はＢ−Ｇ色差信号の重みづけ平均を算出した値を、前記近傍Ｇ画素の位置のＲ−Ｇ色差信号又はＢ−Ｇ色差信号とする第１の重みづけ平均処理部と、
   前記第１の重みづけ平均処理部で得られた近傍Ｇ画素の位置のＲ−Ｇ色差信号又はＢ−Ｇ色差信号と、前記Ｇの画素位置に含まれるＧ成分とを加算する加算器とを備えた
   請求項１記載の信号処理装置。
3. 前記Ｇ色差再構成処理部は、
   前記近傍Ｇ画素Ｇ色差・Ｒ／Ｂ画素生成部によって補間された前記Ｒ成分又は前記Ｂ成分と、前記注目画素に含まれる前記Ｒ成分又は前記Ｂ成分との差分を算出して第２の重み係数を算出する第２の画素比較係数生成部と、
   前記第２の重み係数を用いて、前記近傍Ｇ画素Ｇ色差・Ｒ／Ｂ画素生成部によって前記近傍Ｇ画素の位置に生成された前記Ｒ−Ｇ色差信号又はＢ−Ｇ色差信号の重みづけ平均を算出した値を、前記注目画素の位置のＲ−Ｇ色差信号又はＢ−Ｇ色差信号とする第２の重みづけ平均処理部とを備えた
   請求項２記載の信号処理装置。
4. 前記色フィルタは、ベイヤ配列方式の色フィルタである
   請求項３記載の信号処理装置。
5. 前記Ｇ色差補間処理部で補間された前記Ｒ−Ｇ色差信号又は前記Ｂ−Ｇ色差信号と、前記第３のＲ−Ｇ色差信号又はＢ−Ｇ色差信号又は、前記Ｇの画素が有する前記Ｇの色成分又は前記Ｒの画素が有する前記Ｒの色成分又は前記Ｂの画素が有する前記Ｂの色成分とを用いて、前記ＲとＧとＢの画素信号を生成するＲＧＢ生成部をさらに備えた
   請求項４記載の信号処理装置。
6. 二次元配置された複数の画素上にＲとＧとＢの原色の色フィルタを所定配列で交互に配置され、前記色フィルタを通して入射した撮像光を光電変換して画素信号を得る撮像素子と、
   前記撮像素子で得た画素信号における、前記配列中の所定の画素位置にある前記Ｒ又は前記Ｂの色成分を有する注目画素の位置及び、前記注目画素と同じ色成分を有する画素の位置に、前記Ｇの色成分を補間して第１のＧ補間信号を生成する前処理部と、
   前記第１の補間信号を用いて、前記注目画素位置及び前記注目画素と同じ色成分を有する画素の位置における第１のＲ−Ｇ色差信号又はＢ−Ｇ色差信号を生成し、前記第１のＲ−Ｇ色差信号又はＢ−Ｇ色差信号を用いて、前記注目画素の近傍に位置する近傍Ｇ画素の位置に第２のＲ−Ｇ色差信号又はＢ−Ｇ色差信号を生成するとともに、前記第２のＲ−Ｇ色差信号又はＢ−Ｇ色差信号を用いて、前記近傍Ｇ画素位置に前記Ｒの色成分又は前記Ｂの色成分を補間する近傍Ｇ画素Ｇ色差・Ｒ／Ｂ画素生成部と、
   前記近傍Ｇ画素Ｇ色差・Ｒ／Ｂ画素生成部によって補間された前記Ｒ成分又は前記Ｂ成分を用いて、前記注目画素位置に第３のＲ−Ｇ色差信号又は前記Ｂ−Ｇ色差信号を再構成するＧ色差再構成処理部と、
   前記Ｇ色差再構成処理部で再構成された前記第３のＲ−Ｇ色差信号又は前記Ｂ−Ｇ色差信号を用いて、所定の画素位置にＲ−Ｇ色差信号又はＢ−Ｇ色差信号を補間するＧ色差補間処理部とを備えた
   撮像装置。
7. 二次元配置された複数の画素上に、ＲとＧとＢの原色の色フィルタを所定配列で交互に配置した撮像素子で得た画素信号における、前記配列中の所定の画素位置にある前記Ｒ又は前記Ｂの色成分を有する注目画素の位置及び、前記注目画素と同じ色成分を有する画素の位置に、前記Ｇの色成分を補間して第１のＧ補間信号を生成するステップと、
   前記第１の補間信号を用いて、前記注目画素位置及び前記注目画素と同じ色成分を有する画素の位置における第１のＲ−Ｇ色差信号又はＢ−Ｇ色差信号を生成し、前記第１のＲ−Ｇ色差信号又はＢ−Ｇ色差信号を用いて、前記注目画素の近傍に位置する近傍Ｇ画素の位置に第２のＲ−Ｇ色差信号又はＢ−Ｇ色差信号を生成するステップと、
   前記第２のＲ−Ｇ色差信号又はＢ−Ｇ色差信号を用いて、前記近傍Ｇ画素位置に前記Ｒの色成分又は前記Ｂの色成分を補間するステップと、
   前記補間された前記Ｒ成分又は前記Ｂ成分を用いて、前記注目画素位置に第３のＲ−Ｇ色差信号又は前記Ｂ−Ｇ色差信号を再構成するステップと、
   前記再構成された前記第３のＲ−Ｇ色差信号又は前記Ｂ−Ｇ色差信号を用いて、所定の画素位置にＲ−Ｇ色差信号又はＢ−Ｇ色差信号を補間するステップとを含む
   信号処理方法。