JP4977395B2 - 画像処理装置及び方法 - Google Patents

Description

本発明は画像処理装置及び方法に係り、特に画像のエッジを保存しつつノイズを低減させる技術に関する。

従来、この種の画像処理装置として、イプシロン（ε）フィルタを使用したものが知られている（特許文献１−３）。

εフィルタは、注目画素とその周辺画素とのレベル差が、ある閾値を越えているか否かでフィルタリングのＯＮ／ＯＦＦを切り替えるフィルタであり、画像のエッジを保存しつつ、ノイズを低減させることができる。
特開２００１−１１８０６４号公報 特開２００３−８９３５号公報 特開２００４−１５９３１１号公報

しかしながら、εフィルタは、閾値を小さく設定すると、十分にノイズを除去することができず、一方、強くノイズ処理を掛けようとして閾値を大きくすると、画像のエッジの保存性が悪くなるという問題がある。

本発明はこのような事情に鑑みてなされたもので、画像のエッジ（ディテール）を保存しつつ、インパルス性の強いノイズを低減することができる画像処理装置及び方法を提供することを目的とする。

前記目的を達成するために請求項１に係る画像処理装置は、カラー画像を示す画像データを入力する画像入力手段と、前記入力したカラー画像の注目画素と、該注目画素を含む周辺画素との色空間上での距離をそれぞれ算出する距離算出手段と、前記算出した距離に応じて各周辺画素毎に重み付け係数を算出する係数算出手段と、各周辺画素毎に算出した重み付け係数を用いて各周辺画素の画像データを加重平均して、前記注目画素の画像データを算出する加重平均処理手段と、前記入力したカラー画像の注目画素に対してフィルタリング処理を行うフィルタリング処理手段と、を備え、前記距離算出手段は、前記フィルタリング処理された注目画素と、前記フィルタリング処理されていない注目画素を含む周辺画素との色空間上での距離をそれぞれ算出することを特徴としている。

即ち、注目画素とその周辺画素とのレベル差を算出するのではなく、注目画素とその周辺画素との色空間上の距離を算出する。この算出した色空間上の距離に応じて各周辺画素毎に重み付け係数を算出する。例えば、注目画素と色空間上の距離が近い周辺画素ほど有用であると考え、重み付けを大きくする。このようにして算出した各周辺画素毎の重み付け係数を用いて、注目画素を含む周辺画素の画像データを加重平均することにより、注目画素の画像データを算出するようにしている。このように色空間上の距離に応じて重み付け係数を算出し、その係数を用いて加重平均することで画像のエッジを保存しつつ、ノイズの低減を図るようにしている。
注目画素自体にノイズ成分が多く含まれている場合には、該注目画素のノイズを低減するための色空間距離を良好に求めることができない。そこで、距離を算出する前に、注目画素に対してローパスフィルタ等でフィルタリング処理し、そのフィルタリング処理された注目画素を元に距離を算出するようにしている。
請求項２に係る画像処理装置は、カラー画像を示す画像データを入力する画像入力手段と、前記入力したカラー画像の注目画素と、該注目画素を含む周辺画素との色空間上での距離をそれぞれ算出する距離算出手段と、前記算出した距離に応じて各周辺画素毎に重み付け係数を算出する係数算出手段と、各周辺画素毎に算出した重み付け係数を用いて各周辺画素の画像データを加重平均して、前記注目画素の画像データを算出する加重平均処理手段と、を備え、前記画像入力手段は、３原色のカラーフィルタが配列された単板式の撮像素子から前記カラーフィルタの配列に対応した同時化されていないカラー画像を示す画像データを入力し、前記距離算出手段は、近接する異色の複数画素を、同一の画素位置の注目画素及び該注目画素を含む周辺画素として使用し、前記複数画素からなる注目画素と、該注目画素を含む周辺画素との色空間上での距離を算出することを特徴としている。
同時化されていないカラー画像を示す画像データでは、注目画素とその周辺画素との色空間上の距離を算出することができないため、近接する異色の複数画素を、同一の画素位置の注目画素と見なし、色空間上の距離を算出できるようにしている。

請求項３に示すように請求項１又は２に記載の画像処理装置において、複数の処理範囲のうちのいずれかの処理範囲を選択する処理範囲選択手段を備え、前記注目画素を含む周辺画素を、該注目画素を中心とする前記選択された処理範囲内の画素とすることを特徴としている。前記処理範囲選択手段は、撮影条件等に応じて処理範囲を選択することができる。

請求項４に示すように請求項３に記載の画像処理装置において、前記処理範囲選択手段は、高感度で撮像されたカラー画像の処理時に大きな処理範囲を選択することを特徴としている。高感度で撮像された画像には、ノイズが多く含まれるため、ノイズ除去を強くするために大きな処理範囲を設定することが好ましい。

請求項５に示すように請求項３又は４に記載の画像処理装置において、前記処理範囲選択手段は、処理スピードを速くする時、又は消費電力を低減する時に小さな処理範囲を選択することを特徴としている。例えば、連写時には処理スピードが要求され、低消費電力時には処理量を小さくする必要があるため、小さな処理範囲を選択する。

請求項６に示すように請求項１乃至５のいずれかに記載の画像処理装置において、前記係数算出手段は、周辺画素に対する重み付け係数を、該周辺画素の色チャンネル毎に算出することを特徴としている。

例えば、高感度撮影時には色ノイズが顕著になるため、画像データが輝度データと色差データとから構成されている場合、色差データに対する重み付け係数を輝度データの重み付け係数よりも大きくする。これにより、ノイズとして目立つ特定のチャンネルに対して強いノイズ除去処理を掛けることができる。

請求項７に示すように請求項１乃至６のいずれかに記載の画像処理装置において、前記係数算出手段は、周辺画素に対する重み付け係数を、前記入力したカラー画像のノイズ特性に応じて異なる重み付け係数を算出することを特徴としている。

例えば、カラー画像のノイズ特性が一様に分布する場合や、インパルス性の強いノイズを有する場合等（ノイズ特性）に応じて重み付け係数を切り替える。前者の場合には、色空間上の距離が近い周辺画素の重み付けを大きくすることでノイズ低減ができ、後者の場合には、自分自身（注目画素）などの影響を受けやすいため、色空間上の距離が近い周辺画素の重み付けを小さくする。

請求項８に示すように請求項２に記載の画像処理装置において、前記同時化されていないカラー画像を示す画像データを入力し、近接する異色の複数画素を、同一の画素位置として取り込む手段であって、単板式の撮像素子のカラーフィルタのパターンに応じて前記複数画素を取り込む画素位置を切り替え、前記カラーフィルタのパターンにかかわらず前記複数画素内の色画素の構成を同一にする画素位置切替手段を備えたことを特徴としている。

これによれば、単板式の撮像素子のカラーフィルタのパターンにかかわらず、画素位置切替後の複数画素内の色画素の構成を同一（画素配列を同じ）にすることができ、後段の処理の共通化を図ることができる。

請求項９に示すように請求項１乃至８のいずれかに記載の画像処理装置において、前記画像入力手段が入力した画像処理前のカラー画像を示す画像データと、前記加重平均処理手段によって算出された画像処理後のカラー画像を示す画像データとの差分をノイズ成分として取得するノイズ成分取得手段と、前記取得されたノイズ成分を非線形変換する非線形変換手段と、前記画像処理前のカラー画像を示す画像データから前記非線形変換されたノイズ成分を減算する減算手段と、を備えたことを特徴としている。

元の画像データと、前記加重平均処理手段によって算出された画像処理後の画像データとの差分を求めることで、元の画像データに含まれるノイズ成分を取得する。このノイズ成分を非線形変換し、例えば強いノイズを残し、弱いノイズを除去する。そして、元の画像データから前記非線形変換されたノイズ成分を減算することにより、強いノイズのみを元の画像データから除去するようにしている。

請求項１０に示すように請求項９に記載の画像処理装置において、前記非線形変換手段は、前記ノイズ成分からレベルの小さなノイズ成分のみを除去することを特徴としている。

請求項１１に係る画像処理装置は、第１の色空間のカラー画像を示す画像データを入力する画像入力手段と、前記入力したカラー画像の第１の注目画素と、該第１の注目画素を含む周辺画素との前記第１の色空間上での第１の距離をそれぞれ算出する第１の距離算出手段と、前記算出した第１の距離に応じて各周辺画素毎に第１の重み付け係数を算出する第１の係数算出手段と、各周辺画素毎に算出した第１の重み付け係数を用いて各周辺画素の画像データを加重平均して、前記第１の注目画素の画像データを算出する第１の加重平均処理手段と、前記第１の加重平均処理された第１の色空間のカラー画像を示す画像データを、第２の色空間のカラー画像を示す画像データに変換する変換処理手段と、前記変換されたカラー画像の第２の注目画素と、該第２の注目画素を含む周辺画素との前記第２の色空間上での第２の距離をそれぞれ算出する第２の距離算出手段と、前記算出した第２の距離に応じて各周辺画素毎に第２の重み付け係数を算出する第２の係数算出手段と、各周辺画素毎に算出した第２の重み付け係数を用いて各周辺画素の画像データを加重平均して、前記第２の注目画素の画像データを算出する第２の加重平均処理手段と、を備えたことを特徴としている。

即ち、画像入力手段により入力した第１の色空間のカラー画像に対して、請求項１に係る発明と同様にノイズ低減の画像処理を行い、その画像処理されたカラー画像を第２の色空間に変換し、その変換された第２の色空間のカラー画像に対して、再度、上記と同様のノイズ低減の画像処理を行うようにしている。これにより、撮像時のノイズと、処理系によって強調されたノイズとを切り分けてコントロールすることができる。

請求項１２に示すように請求項１１に記載の画像処理装置において、前記第１の色空間はＲＧＢ空間であり、前記第２の色空間はＹＵＶ空間であることを特徴としている。

請求項１３に示すように請求項１１又は１２に記載の画像処理装置において、前記第１及び第２の係数算出手段は、周辺画素に対する重み付け係数を、前記入力したカラー画像のノイズ特性に応じて異なる重み付け係数を算出することを特徴としている。

請求項１４に係る画像処理方法は、カラー画像を示す画像データを入力する工程と、前記入力したカラー画像の注目画素と、該注目画素を含む周辺画素との色空間上での距離をそれぞれ算出する工程と、前記算出した距離に応じて各周辺画素毎に重み付け係数を算出する工程と、各周辺画素毎に算出した重み付け係数を用いて各周辺画素の画像データを加重平均して、前記注目画素の画像データを算出する工程と、前記入力したカラー画像の注目画素に対してフィルタリング処理を行う工程と、を含み、前記距離を算出する工程は、前記フィルタリング処理された注目画素と、前記フィルタリング処理されていない注目画素を含む周辺画素との色空間上での距離をそれぞれ算出することを特徴としている。
請求項１５に係る画像処理方法は、カラー画像を示す画像データを入力する工程と、前記入力したカラー画像の注目画素と、該注目画素を含む周辺画素との色空間上での距離をそれぞれ算出する工程と、前記算出した距離に応じて各周辺画素毎に重み付け係数を算出する工程と、各周辺画素毎に算出した重み付け係数を用いて各周辺画素の画像データを加重平均して、前記注目画素の画像データを算出する工程と、を含み、前記画像データを入力する工程は、３原色のカラーフィルタが配列された単板式の撮像素子から前記カラーフィルタの配列に対応した同時化されていないカラー画像を示す画像データを入力し、前記距離を算出する工程は、近接する異色の複数画素を、同一の画素位置の注目画素及び該注目画素を含む周辺画素として使用し、前記複数画素からなる注目画素と、該注目画素を含む周辺画素との色空間上での距離を算出することを特徴としている。

請求項１６に示すように請求項１４又は１５に記載の画像処理方法において、複数の処理範囲のうちのいずれかの処理範囲を選択する工程を含み、前記色空間上での距離を算出する際の前記注目画素を含む周辺画素を、該注目画素を中心とする前記選択された処理範囲内の画素とすることを特徴としている。

請求項１７に示すように請求項１６に記載の画像処理方法において、前記処理範囲を選択する工程は、高感度で撮像されたカラー画像の処理時に大きな処理範囲を選択することを特徴としている。

請求項１８に示すように請求項１６又は１７に記載の画像処理方法において、前記処理範囲を選択する工程は、処理スピードを速くする時、又は消費電力を低減する時に小さな処理範囲を選択することを特徴としている。

請求項１９に示すように請求項１４乃至１８のいずれかに記載の画像処理方法において、前記重み付け係数を算出する工程は、周辺画素に対する重み付け係数を、該周辺画素の色チャンネル毎に算出することを特徴としている。

請求項２０に示すように請求項１４乃至１９のいずれかに記載の画像処理方法において、前記重み付け係数を算出する工程は、前記入力したカラー画像のノイズ特性に応じて該カラー画像のノイズが大きい場合には、前記算出した距離が近距離の周辺画素に対する重み付け係数を小さくすることを特徴としている。

請求項２１に示すように請求項１５に記載の画像処理方法において、前記同時化されていないカラー画像を示す画像データを入力し、近接する異色の複数画素を、同一の画素位置として取り込む工程であって、単板式の撮像素子のカラーフィルタのパターンに応じて前記複数画素を取り込む画素位置を切り替え、前記カラーフィルタのパターンにかかわらず前記複数画素内の色画素の構成を同一にする工程を含むことを特徴としている。

請求項２２に示すように請求項１４乃至２１のいずれかに記載の画像処理方法において、前記画像データを入力する工程により入力した画像処理前のカラー画像を示す画像データと、前記注目画素の画像データを算出する工程によって算出された画像処理後のカラー画像を示す画像データとの差分をノイズ成分として取得する工程と、前記取得されたノイズ成分を非線形変換する工程と、前記画像処理前のカラー画像を示す画像データから前記非線形変換されたノイズ成分を減算する工程と、を含むことを特徴としている。

請求項２３に示すように請求項２２に記載の画像処理方法において、前記非線形変換する工程は、前記ノイズ成分からレベルの小さなノイズ成分のみを除去することを特徴している。

請求項２４に係る画像処理方法は、第１の色空間のカラー画像を示す画像データを入力する工程と、前記入力したカラー画像の第１の注目画素と、該第１の注目画素を含む周辺画素との前記第１の色空間上での第１の距離をそれぞれ算出する工程と、前記算出した第１の距離に応じて各周辺画素毎に第１の重み付け係数を算出する工程と、各周辺画素毎に算出した第１の重み付け係数を用いて各周辺画素の画像データを加重平均して、前記第１の注目画素の画像データを算出する工程と、前記第１の注目画素の画像データを算出する工程により加重平均処理された第１の色空間のカラー画像を示す画像データを、第２の色空間のカラー画像を示す画像データに変換する工程と、前記変換されたカラー画像の第２の注目画素と、該第２の注目画素を含む周辺画素との前記第２の色空間上での第２の距離をそれぞれ算出する工程と、前記算出した第２の距離に応じて各周辺画素毎に第２の重み付け係数を算出する工程と、各周辺画素毎に算出した第２の重み付け係数を用いて各周辺画素の画像データを加重平均して、前記第２の注目画素の画像データを算出する工程と、を含むことを特徴としている。

請求項２５に示すように請求項２４に記載の画像処理方法において、前記第１の色空間はＲＧＢ空間であり、前記第２の色空間はＹＵＶ空間であることを特徴としている。

請求項２６に示すように請求項２４又は２５に記載の画像処理方法において、前記第２の距離の算出前に、前記変換された第２の色空間のカラー画像を示す画像データのうちの輝度データのみにエッジ強調処理を行う工程を含み、前記第２の重み付け係数を算出する工程は、輝度データに対する重み付け係数を色差データの重み付け係数よりも大きくすることを特徴としている。

本発明によれば、注目画素とその周辺画素との色空間上の距離に応じた重み付け係数を算出し、その係数を用いて加重平均して注目画素の画像データを算出するようにしたため、画像のエッジを保存することができるとともに、ノイズを良好に低減することができる。

以下、添付図面に従って本発明に係る画像処理装置及び方法の好ましい実施の形態について説明する。

［本発明に係る画像処理方法の概念］
図１に本発明に係る画像処理方法の概念を示す。いま、Ｒ、Ｇ、Ｂのカラー画像から任意の処理範囲（図１（Ａ）では、５×５画素の範囲）の画像データを取り出す。

この取り出した処理範囲の全画素（２５画）を、ＲＧＢ色空間上にプロットする（図１（Ｂ））。

仮に、取り出した処理範囲が平坦な画像（各画素の明るさ、色相、彩度がそれぞれ同一）であるとすると、色空間上にプロットされたデータは、正規分布に似た形にばらつく。このバラツキをノイズと想定すると、バラツキを小さくすることがノイズを低減させることになる。

ノイズが色空間上で正規分布に似たバラツキをしていることから、バラツキの中心が最もデータの密度が高くなり、離れるほど密度が低くなることが分かる。この特徴を活かすため、取り出した処理範囲の中心画素を注目画素１とし、注目画素１と、処理範囲内の全ての画素（注目画素１も含む）との色空間上の距離を計算する（図１（Ｃ））。

色空間上の距離が注目画素１に近い距離の画素ほど有用であると考え、重み付けを大きくする。全ての画素に対して、それぞれ距離に応じた重み付け係数を求め、この係数を用いて２５画素の画像データを加重平均して注目画素１の画像データを算出する。

これにより、色空間上で密度が高く、注目画素１に近い領域に注目画素１を近づけることができ（図１（Ｃ））、注目画素１を移動させながら全ての画素に対して同様な処理を行うことで、画像全体のバラツキを小さくすること（ノイズを低減すること）ができる（図１（Ｄ））。

また、上記処理範囲がエッジ上にある場合、色空間上にプロットされるデータは、複数の画素群（複数のカタマリ）に分かれる。いま、注目画素１が、或るカタマリに属する場合には、そのカタマリを構成する画素は、注目画素１と距離が近いため重み付け係数が大きくなり、その他のカタマリを構成する画素は、注目画素１から距離が遠いため重み付け係数が小さくされ、その結果、加重平均された注目画素１は、平滑されずにエッジを保持することになる。

［第１の実施の形態］
図２は本発明に係る第１の実施の形態の画像処理装置を備えた撮像装置の要部ブロック図である。

この撮像処置は、主として撮影レンズ１０と、撮像素子２０と、画像処理回路３０と、距離算出回路４０と、重み付け係数算出回路５０と、加重平均処理回路６０とから構成されている。

被写体を示す光学像は、撮影レンズ１０を介して撮像素子２０の受光面に結像される。撮像素子２０は、所定のカラーフィルタ配列（例えば、ベイヤ配列、ハニカム配列、ＧストライプＲ／Ｇ完全市松等）の単板式のカラー撮像素子（ＣＣＤ）で構成されている。

撮影レンズ１０を介して撮像素子２０の受光面に入射した光は、その受光面に配列された各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積された信号電荷は、図示しないタイミングジェネレータから加えられるタイミング信号に従って読み出され、電圧信号（画像信号）として撮像素子２０から順次出力される。

撮像素子２０から読み出されるＲＧＢのアナログの画像信号は、ＲＧＢのデジタルの画像データに変換され、画像処理回路３０で種々の画像処理が施される。即ち、画像信号処理部３０は、リニアマトリクス回路、ホワイトバランス補正回路、ガンマ補正回路、及び同時化回路等を含み、これらの回路によって入力するＲＧＢの画像データを処理する。

画像処理回路３０の同時化回路によって同一画素位置上にＲＧＢの画像データが揃うように画素補間された、ＲＧＢの画像データは、色空間上の距離を算出する距離算出回路４０に加えられる。

距離算出回路４０は、図１（Ａ）に示したように注目画素を中心とする５×５画素の処理領域のＲＧＢの画像データを使用し、図３に示すように注目画素とその周辺画素１、２、３…、２５との、ＲＧＢ色空間上の距離をそれぞれ算出する。尚、周辺画素は、注目画素を含む２５（＝５×５）画素からなる。

重み付け係数算出回路５０は、各周辺画素毎に算出される色空間上の距離に応じて、その周辺画素に対応する重み付け係数を算出する。

図４は色空間上の距離と重み付け係数との関係を示すグラフの一例である。このグラフの例によれば、重み付け係数算出回路５０は、注目画素との距離が近い周辺画素の重み付け係数は大きく、距離が遠い周辺画素の重み付け係数は小さくなるように計算する。尚、重み付け係数算出回路５０は、図４のグラフに示す関数を記憶し、この関数に色空間上の距離を代入して重み付け係数を算出するようにしてもよいし、図４のグラフに示す入出力関係を記憶したルックアップテーブル（ＬＵＴ）を備え、このＬＵＴから色空間上の距離に対応する重み付け係数を読み出すようにしてもよい。

加重平均処理回路６０は、重み付け係数算出回路５０によって算出した各周辺画素毎の重み付け係数を用いて各周辺画素の画素値を加重平均し、注目画素のノイズ除去処理後の画素値を算出する。いま、注目画素の画像上の位置を（ｘ，ｙ）とすると、加重平均処理回路６０は、次式の演算を行う。

但し、−２≦i≦２、−２≦ｊ≦２
尚、上記演算は、注目画素のＲＧＢ毎に行われるが、重み付け係数は、ＲＧＢの各色に対して同一のものが使用される。

上記距離算出回路４０、重み付け係数算出回路５０、及び加重平均処理回路６０は、注目画素の画像上の位置（ｘ、ｙ）を移動させながら、カラー画像の全画素にわたって処理を行う。

このようにしてノイズの低減処理が行われたＲＧＢの画像データは、図示しないＹＵＶ変換回路にて輝度データＹと色差データＣr,Ｃbに変換されたのち、所定の圧縮画像データ（例えば、ＪＰＥＧ形式）に圧縮され、記録媒体（例えば、ｘＤピクチャーカード等）に記録される。

尚、この実施の形態の撮像素子２０は、単板式のカラー撮像素子としたが、これに代えて、ＲＧＢの３板式の撮像素子も適用できる。この場合、ＲＧＢの画像データの同時化処理は不要になる。

図５は上記第１の実施の形態の画像処理装置を備えた撮像装置の動作手順を示すフローチャートである。

図５において、シャッターボタンの操作に同期して撮影を行い、撮像素子２０からＲＧＢのアナログの画像信号を取得する（ステップＳ１０）。続いて、ＲＧＢのアナログの画像信号は、ＲＧＢのデジタルの画像データに変換され、リニアマトリクス処理、ホワイトバランス補正、ガンマ補正、及び同時化処理等の画像処理が行われる（ステップＳ１２）。

上記画像処理後のＲＧＢの画像データから注目画素を中心とする５×５画素の処理領域が取り込まれ、注目画素とその周辺画素とのＲＧＢ色空間上の距離がそれぞれ算出される（ステップＳ１４）。

続いて、ステップＳ１４で算出した色空間上の距離に応じて各周辺画素毎に重み付け係数が算出される（ステップＳ１６）。

最後に、前記算出した各周辺画素毎の重み付け係数を用いて、各周辺画素の画素値を加重平均処理し、その処理結果を注目画素の画素値とする（ステップＳ１８）。

［第２の実施の形態］
図６は本発明に係る第２の実施の形態の画像処理装置を備えた撮像装置の要部ブロック図である。尚、図１に示した第１の実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図６に示す第２の実施の形態の撮像装置は、図２に示した第１の実施の形態の撮像装置に比べて、画像処理回路３０と距離算出回路４０との間に処理範囲選択回路３２が追加されている点で相違する。

処理範囲選択回路３２は、本発明に係る加重平均処理を行う際に使用する処理範囲を選択するもので、撮影モードや撮影条件等に基づいて大きさの異なる複数の処理範囲のうちのいずれかの処理範囲を選択する。

即ち、被写体が暗いために高感度で撮影する場合には、画像信号のゲインがアップされるため、ノイズが大きくなる。したがって、処理範囲選択回路３２は、高感度撮影時には大きな処理範囲を選択する。処理範囲を大きくすることで、広範囲の周辺画素の情報を用いて注目画素のノイズ低減処理ができ、大きなノイズ低減効果を図ることができる。

また、連写モード時には処理スピードを速くするために、また、低消費電力モード時には処理量を減少させるために、処理範囲選択回路３２は、小さな処理範囲を選択する。

図７は上記第２の実施の形態の画像処理装置を備えた撮像装置の動作手順を示すフローチャートである。尚、図５に示したフローチャートと共通する処理工程には、同一のステップ番号を付し、その詳細な説明は省略する。

図７に示すように、ステップＳ１２とステップＳ１４との間に、処理範囲を選択するためのステップＳ２０〜Ｓ２６が追加されている。

ステップＳ２０では、撮影モードや撮影条件等に基づいて複数（大中小）の処理範囲のうちのいずれかの処理範囲を選択する。即ち、高感度撮影時には、大きな処理範囲を選択して、その処理範囲の画素のデータを後段のステップＳ１４に渡し（ステップＳ２２）、
連写モード、低消費電力モード時には、小さな処理範囲を選択し、その処理範囲の画素のデータをステップＳ１４に渡し（ステップＳ２６）、その他の場合には、中（通常）の大きさの処理範囲を選択して、その処理範囲の画素のデータをステップＳ１４に渡す（ステップＳ２４）。

尚、通常（中）の処理範囲を５×５画素の範囲とすると、大きな処理範囲は９×９画素とし、小さな処理範囲は３×３画素の範囲とする。また、処理範囲の種類や大きさは、この実施の形態に限らず、適宜選択可能である。

［第３の実施の形態］
図８は本発明に係る第３の実施の形態の画像処理装置を備えた撮像装置の要部ブロック図である。尚、図１に示した第１の実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図８に示す第３の実施の形態の撮像装置は、図２に示した第１の実施の形態の撮像装置に比べて、主として距離算出回路１４０、重み付け係数算出回路１５０及び加重平均処理回路１６０が追加されている点で相違する。

即ち、加重平均処理回路６０から加重平均されたＲＧＢの画像データが、ＹＵＶ変換回路７０に加えられる。

ＹＵＶ変換回路７０は、入力するＲＧＢの画像データを輝度データＹと色差データＣr,Ｃbに変換する。エッジ強調回路８０は、ＹＵＶ変換回路７０から入力する輝度データＹに対してエッジ強調（輪郭強調）処理を行う。

尚、ＹＵＶ変換回路７０及びエッジ強調回路８０は、第１の実施の形態の撮像装置も備えているが、図２上ではこれらの回路は省略されている。

前記エッジ強調回路８０によってエッジ強調された輝度データＹは、エッジ強調前に比べてノイズが増加する。そこで、前段の距離算出回路４０、重み付け係数算出回路５０及び加重平均処理回路６０によるノイズ低減処理とは異なる色空間（ＹＵＶ色空間）上のノイズ低減処理を、後段の距離算出回路１４０、重み付け係数算出回路１５０及び加重平均処理回路１６０により実施する。異なる色空間でそれぞれノイズ低減処理を実施することで、処理によって強調された特性の異なるノイズに対して個別に処理を掛けることができる。

即ち、距離算出回路１４０は、距離算出回路４０と同様に注目画素とその周辺画素との色空間上の距離をそれぞれ算出するが、距離算出回路４０がＲＧＢ色空間上の距離を算出するのに対し、距離算出回路１４０は、ＹＵＶ色空間上の距離を算出する点で異なる。

重み付け係数算出回路１５０は、各周辺画素毎に算出されるＹＵＶ色空間上の距離に応じて、その周辺画素に対応する重み付け係数を算出する。

加重平均処理回路１６０は、重み付け係数算出回路１５０によって算出した各周辺画素毎の重み付け係数を用いて各周辺画素の画素値を加重平均処理し、その処理結果を注目画素の画素値とする。

図９は上記第３の実施の形態の画像処理装置を備えた撮像装置の動作手順を示すフローチャートである。尚、図５に示したフローチャートと共通する処理工程には、同一のステップ番号を付し、その詳細な説明は省略する。

図９に示すように、ステップＳ１４からステップＳ１８の処理によりＲＧＢ色空間でのノイズ低減処理が実施される。

このノイズ低減処理後のＲＧＢの画像データは、ＹＵＶ変換され、輝度データＹと色差データＣr,Ｃbとに変換される（ステップＳ３０）。その後、輝度データＹに対してエッジ強調処理が行われる（ステップＳ３２）。

次に、ＹＵＶの画像データから注目画素を中心とする５×５画素の処理領域が取り込まれ、注目画素とその周辺画素とのＹＵＶ色空間上の距離がそれぞれ算出される（ステップＳ３４）。

続いて、ステップＳ３４で算出したＹＵＶ色空間上の距離に応じて各周辺画素毎に重み付け係数が算出される（ステップＳ３６）。

最後に、前記算出した各周辺画素毎の重み付け係数を用いて、各周辺画素の画素値を加重平均処理し、その処理結果を注目画素の画素値とする（ステップＳ３８）。

［第４の実施の形態］
図１０は本発明に係る第４の実施の形態の画像処理装置を備えた撮像装置の要部ブロック図である。尚、図２及び図８に示した第１、第３の実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１０に示す第４の実施の形態の撮像装置の画像処理回路３０’は、リニアマトリクス処理、ホワイトバランス補正、ガンマ補正、及び同時化処理を行う点では、第１の実施の形態の画像処理回路３０と同じであるが、この画像処理回路３０’は、更に同時化されたＲＧＢの画像データを、ＹＵＶ色空間の輝度データＹと色差データＣr,Ｃbとに変換する処理等を含んでいる。

距離算出回路１４０は、入力するＹＵＶ色空間の輝度データＹと色差データＣr,Ｃbから注目画素とその周辺画素とのＹＶＵ色空間上の距離をそれぞれ算出する。

重み付け係数算出回路１５０Ａ、１５０Ｂ、１５０Ｃは、それぞれ輝度データＹ、色差データＣb，Ｃr毎に重み付け係数を算出する。即ち、色チャンネル毎に異なる重み付け係数を設定することができ、色チャンネル毎のノイズ特性を利用したコントロールができるようにしている。例えば、高感度撮影時には色ノイズが顕著になるため、色差データＣb，Ｃrに対する重み付け係数を、通常よりも大きくなるようにする。

尚、図１１に重み付け係数を大きくする場合と、小さくする場合の色空間上の距離に対する重み付け係数の一例を示す。

加重平均処理回路１６０Ａは、重み付け係数算出回路１５０Ａによって算出された各周辺画素毎の重み付け係数を用いて各周辺画素の輝度データＹの画素値を加重平均し、注目画素の輝度データＹのノイズ除去処理後の画素値を算出する。

同様に、加重平均処理回路１６０Ｂ、１６０Ｃは、それぞれ重み付け係数算出回路１５０Ｂ、１５０Ｃによって算出された各周辺画素毎の重み付け係数を用いて各周辺画素の色差データＣb，Ｃrの画素値を加重平均し、注目画素の色差データＣb，Ｃrのノイズ除去処理後の画素値を算出する。

図１２は上記第４の実施の形態の画像処理装置を備えた撮像装置の動作手順を示すフローチャートである。尚、図５に示したフローチャートと共通する処理工程には、同一のステップ番号を付し、その詳細な説明は省略する。

図１２に示すように、ステップＳ１４にて注目画素とその周辺画素とのＹＵＶ色空間上の距離がそれぞれ算出される。続いて、高感度撮影時かどうかの撮影条件が判別される（ステップＳ４０）。そして、高感度撮影時には、色差チャンネル（色差データＣb，Ｃr）に対する重み付け係数が大きくなるように、通常撮影時には色チャンネル別の重み付け係数を変えずに、重み付け係数が算出される（ステップＳ４２）。

最後に、前記算出した各周辺画素毎の重み付け係数（色チャンネル毎の重み付け係数）を用いて、各周辺画素の画素値を色チャンネル毎に加重平均処理し、その処理結果を注目画素の画素値とする（ステップＳ４４）。

尚、輝度データＹに対してエッジ強調処理が行われると、輝度データＹのノイズが大きくなるため、通常撮影時には、輝度データＹに対する重み付け係数が、色差データＣb，Ｃrに対する重み付け係数よりも大きくなるように設定するようにしてもよい。

［第５の実施の形態］
図１３は本発明に係る第５の実施の形態の画像処理装置を備えた撮像装置の要部ブロック図である。尚、図２に示した第１の実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１３に示す第５の実施の形態の撮像装置は、第１の実施の形態における重み付け係数算出回路５０の代わりに、重み付け係数算出回路５０Ａ，５０Ｂ、及び係数選択回路５０Ｃが設けられている点で相違する。

重み付け係数算出回路５０Ａは、色空間上の距離が中距離の周辺画素を重視し、中距離の周辺画素に対する重み付け係数が大きくなるように重み付け係数を算出し、重み付け係数算出回路５０Ｂは、色空間上の距離が近距離の周辺画素を重視し、近距離の周辺画素に対する重み付け係数が大きくなるように重み付け係数を算出する。

一様に分布したノイズは、色空間上の距離が近距離の周辺画素（注目画素１を含む）の画素値の重み付けを大きくすることで低減できるが、インパルス性の強いノイズは、自分自身（注目画素１）の画素値などの影響を受けやすいため、同様の処理ではノイズの低減効果は小さくなる（図１４（Ａ））。

そこで、図１５に示すように色空間上の距離が中距離の周辺画素に対する重み付け係数を大きくすることで、注目画素１がインパルス性の強いノイズの影響を受けにくくすることができ、ノイズ低減効果を大きくすることができる（図１４（Ｂ））。

係数選択回路５０Ｃは、撮影条件（ＩＳＯ感度やホワイトバランス補正値）や処理条件（エッジ強調や他のノイズ低減処理など）によって重み付け係数算出回路５０Ａ、５０Ｂを切り替え、いずれか一方の重み付け係数算出回路で算出された重み付け係数を、加重平均処理回路６０に出力する。

図１６は上記第５の実施の形態の画像処理装置を備えた撮像装置の動作手順を示すフローチャートである。尚、図５に示したフローチャートと共通する処理工程には、同一のステップ番号を付し、その詳細な説明は省略する。

図１６に示すように、ステップＳ１４にて注目画素とその周辺画素との色空間上の距離がそれぞれ算出される。続いて、撮影条件や処理条件等により、通常撮影か高感度撮影が判別される（ステップＳ５０）。そして、通常撮影時には、近距離の周辺画素ほど重み付け係数が強くなる重み付け係数を算出し（ステップＳ５２）、高感度撮影時には、中距離の周辺画素に対する重み付け係数が強くなる重み付け係数を算出する（ステップＳ５４）。

ステップＳ１８では、ステップＳ５２又は５４で算出された重み付け係数を用いて、各周辺画素の画素値を加重平均処理し、その処理結果を注目画素の画素値とする。

［第６の実施の形態］
図１７は本発明に係る第６の実施の形態の画像処理装置を備えた撮像装置の要部ブロック図である。尚、図２に示した第１の実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

ノイズレベルが大きくなると、処理範囲内の画素バラツキが大きくなってしまい、図１８（Ａ）に示すように注目画素１がバラツキの端の方に位置する場合には、バラツキの中心との距離が大きくなりすぎ、ノイズ低減効果が低下する。

そこで、図１８（Ｂ）に示すように周辺画素を用いて注目画素１に対しローパスフィルタ（ＬＰＦ）を掛け、そのフィルタ処理された注目画素１’の値を基準として色空間上の距離を算出する（図１８（Ｃ））。

これにより、ノイズの強度によるノイズ低減効果の低下を抑えることができる。

図１７に示す第６の実施の形態の撮像装置は、図２に示した第１の実施の形態の撮像装置に比べて、画像処理回路３０と距離算出回路４０との間にＬＰＦ処理回路３４が追加されている点で相違する。

ＬＰＦ処理回路３４は、例えば、図１８（Ｂ）に示すフィルタ係数（注目画素が４／８、上下左右の４画素が１／８）のＬＰＦを有し、この注目画素１に対し該注目画素を含む周辺画素の画素値にＬＰＦを掛ける。

距離算出回路４０は、ＬＰＦが掛けられた注目画素１’の画素値と、その周辺画素の画素値とから各周辺画素毎に色空間上の距離を算出する。

尚、加重平均処理回路６０で加重平均処理を行うときの注目画素の画素値は、ＬＰＦを掛ける前の元の画素値を使用する。

図１９は上記第６の実施の形態の画像処理装置を備えた撮像装置の動作手順を示すフローチャートである。尚、図５に示したフローチャートと共通する処理工程には、同一のステップ番号を付し、その詳細な説明は省略する。

図１９に示すように、色空間上の距離の算出前に注目画素に対してＬＰＦ処理を施す（ステップＳ６０）。このＬＰＦ処理が施された注目画素とその周辺画素との色空間上の距離をそれぞれ算出し（ステップＳ１４）、距離が近い場合には重み付け係数を大きくし（ステップＳ６２）、距離が遠い場合には重み付け係数を小さくする（ステップＳ６４）。

その後、上記算出された重み付け係数を用いて、注目画素を含む各周辺画素の画素値を加重平均処理し、その処理結果を注目画素の画素値とするが、加重平均処理に使用する注目画素の画素値は、ＬＰＦ処理前の元の画素値を使用する（ステップＳ１８）。

［第７の実施の形態］
図２０は本発明に係る第７の実施の形態の画像処理装置を備えた撮像装置の要部ブロック図である。尚、図２に示した第１の実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図２０に示す第７の実施の形態の撮像装置は、第１の実施の形態のものが同時化されたＲＧＢの画像データに対してノイズ低減処理を行っているのに対し、画像処理回路３０の前段の同時化されていない撮像素子２０の出力データに対してノイズ低減処理を行う点で相違する。

撮像素子２０から取り込んだ同時化前の各画素のデータは、撮像素子２０のカラーフィルタ配列に対応するＲＧＢのうちのいずれかの色データである。

いま、撮像素子２０のカラーフィルタがベイヤ配列の場合、この撮像素子２０からは図２１（Ａ）に示すようなＲＧＢの色データが得られる。

撮像素子２０から上記ＲＧＢの色データを入力する距離算出回路４２は、近接する異色の複数画素を、同一の画素位置の注目画素及び該注目画素を含む周辺画素として扱い、多チャンネル化する。

即ち、この距離算出回路４２は、図２１（Ａ）の四角で囲んだＲ画素を処理する場合には、隣り合うＧ画素とペアにして多チャンネル化し、これらを同一位置画素として扱う。図２１（Ｂ）はこのようにして隣り合う色の異なる２画素を１画素と見なし、５×５画素の処理範囲の画素を示したものである。

距離算出回路４２は、上記のように近接する異色の複数画素を、同一の画素位置の注目画素及び周辺画素として使用することで、同時化される前の画像データであっても色空間（この場合には、２チャンネルの色空間）上の距離を算出することができる。

尚、Ｂ画素を処理する場合には、隣り合うＧ画素とペアにして多チャンネル化する。また、図２１（Ａ）上で、奇数行のＧ画素を処理する場合には、隣り合うＲ画素とペアにして多チャンネル化し、偶数行のＧ画素を処理する場合には、隣り合うＢ画素とペアにして多チャンネル化する。

尚、この実施の形態では、ベイヤ配列のカラーフィルタを有する撮像素子の場合について説明したが、他のフィルタ配列の場合にも同様に処理することができる。

図２２は上記第７の実施の形態の画像処理装置を備えた撮像装置の動作手順を示すフローチャートである。尚、図５に示したフローチャートと共通する処理工程には、同一のステップ番号を付し、その詳細な説明は省略する。

図２２に示すように、撮影時に撮像素子２０から得られた同時化前のＲＧＢの画像データを取り込み、近接する異色の２画素を、同一の画素位置の注目画素及び周辺画素として使用し、その注目画素と周辺画素との２チャンネルの色空間上の距離を算出する（ステップＳ７０）。

前記算出された距離が近い場合には重み付け係数を大きくし（ステップＳ７２）、距離が遠い場合には重み付け係数を小さくする（ステップＳ７４）。

続いて、上記算出された重み付け係数を用いて、注目画素を含む各周辺画素の画素値を加重平均処理し、その処理結果を注目画素の画素値とする（ステップＳ１８）。その後、上記のようにしてノイズ低減処理された画像データに対して種々の画像処理を施す（ステップＳ１２）。

［第８の実施の形態］
図２３は本発明に係る第８の実施の形態の画像処理装置を備えた撮像装置の要部ブロック図である。尚、図２０に示した第７の実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図２３に示す第８の実施の形態の撮像装置は、第７の実施の形態の距離算出回路４２の代わりに、取得画素切り替え回路４４及び距離算出回路４６が設けられている点で相違し、特にカラーフィルタ配列等が異なる複数の撮像素子に対して、後段の処理回路を共通に使用できるようにしている点で相違する。

即ち、取得画素切り替え回路４４は、撮像素子のカラーフィルタ配列に応じて、その撮像素子から多チャンネル化するために取得する、近接する異色の複数画素の取得位置を切り替えるもので、撮像素子のカラーフィルタ配列にかかわらず、同一の色の組からなる複数画素を取得する。

例えば、図２４（Ａ）に示すようにベイヤ配列のカラーフィルタを有する撮像素子２０のＲ画素（四角で囲んだＲ画素）のノイズ低減処理を行う場合には、隣り合うＧ画素とペアになるように画素を取得して多チャンネル化し、これらを同一位置の画素として後段の距離算出回路４６に出力する。

図２４（Ｃ）はこのようにして隣り合う色の異なる２画素を１画素と見なし、５×５画素の処理範囲の画素を示したものであり、図２１（Ｂ）と同様である。

一方、図２４（Ｂ）はハニカム配列と呼ばれる画素配列の撮像素子の受光面を示している。このハニカム配列は、八角形の受光面を有する画素が水平方向（行方向）及び垂直方向（列方向）に一定の配列周期で配置されており、画素の幾何学的な形状の中心点を行方向及び列方向に１つ置きに画素ピッチの半分（１／２ピッチ）ずらして配列させ、各画素に対応してＲＧＢの原色カラーフィルタが配置されている。即ち、水平方向についてＲＢＲＢ…の行の次段にＧＧＧＧ…の行が配置され、その次段にＢＲＢＲ…の行、という具合に配列され、読み出し時には隣接する２行からＲＧＢＧＲＧＢＲ…の順に読み出される。

そして、上記ハニカム配列のカラーフィルタを有する撮像素子２０のＲ画素（四角で囲んだＲ画素）のノイズ低減処理を行う場合には、取得画素切り替え回路４４は、Ｒ画素と隣り合うＧ画素とペアになるように画素を取得して多チャンネル化し、これらを同一位置の画素として後段の距離算出回路４６に出力する。

距離算出回路４６は、取得画素切り替え回路４４から出力される近接する異色の複数画素を、同一の画素位置の注目画素及び周辺画素として使用することで、同時化される前の画像データであっても色空間上の距離を算出することができる。

この実施の形態では、ベイヤ配列又はハニカム配列のカラーフィルタを有する撮像素子のいずれの場合にも、同じペアの画素を取得することができる。尚、カラーフィルタの配列や、同一の画素位置として扱う画素の組み合わせは、この実施の形態には限らない。

図２５は上記第８の実施の形態の画像処理装置を備えた撮像装置の動作手順を示すフローチャートである。尚、図２２に示したフローチャートと共通する処理工程には、同一のステップ番号を付し、その詳細な説明は省略する。

図２５に示すように、撮像装置に使用されている撮像素子２０のＣＣＤタイプを応じて近接する異色の複数の画素の取得位置を切り替えて多チャンネル化した画素を取り込む（ステップＳ８０）。即ち、ＣＣＤタイプがハニカム配列の場合には、ハニカム配列で近接する画素（例えば、Ｒ画素とＧ画素のペア、又はＢ画素とＧ画素のペア）を用いて多チャンネル化し（ステップＳ８２）、ＣＣＤタイプが平野配列の場合には、ベイヤ配列で近接する画素（ハニカム配列と同じペアの画素）を用いて多チャンネル化する（ステップＳ８４）。

上記のようにして多チャンネル化した近接する異色の２画素を、同一の画素位置の注目画素及び周辺画素として使用し、その注目画素と周辺画素との２チャンネルの色空間上の距離を算出する（ステップＳ７０）。

［第９の実施の形態］
図２６は本発明に係る第９の実施の形態の画像処理装置を備えた撮像装置の要部ブロック図である。尚、図１に示した第１の実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図２６に示す第９の実施の形態の撮像装置は、図２に示した第１の実施の形態の撮像装置に比べて、画加重平均処理回路６０の後段に非線形変換回路９０及び減算回路９２が追加されている点で相違する。

加重平均処理回路６０によって加重平均処理された画像データは、非線形変換回路９０に加えられる。非線形変換回路９０の他の入力には、画像処理回路３０からノイズ低減処理が施されていない画像データ（元の画像データ）が加えられており、非線形変換回路９０は、元の画像データからノイズ低減処理後の画像データを減算する。この減算値（差分値）は、元の画像データに含まれるノイズ成分を示す。

非線形変換回路９０は、図２７に示すように差分値（ノイズ成分）のうちの値の小さい部分（画像のディテール）を出力せずに、差分値の大きな部分（強いノイズ）を出力するような非線形変換を行い、これを減算回路９２に出力する。

減算回路９２の他の入力には、画像処理回路３０から元の画像データが加えられており、減算回路９２は、元の画像データから非線形変換されたノイズ成分を減算する。これにより、元の画像データのディテールを残しつつ視覚的に強いノイズ成分のみを低減させることができる。

図２８は上記第９の実施の形態の画像処理装置を備えた撮像装置の動作手順を示すフローチャートである。尚、図５に示したフローチャートと共通する処理工程には、同一のステップ番号を付し、その詳細な説明は省略する。

図２８に示すように、ステップＳ１８の後段に新たにステップＳ９０、Ｓ９２が追加されている。

ステップＳ９０では、元の画像データと加重平均処理後の画像データとの差分値（ノイズ成分）をとり、その差分値を非線形変換処理する。この非線形変換処理は、図２７に示したようにノイズ成分のうちの値の小さい部分を出力せずに、差分値の大きな部分（強いノイズ）を出力するような非線形変換を行う。

ステップＳ９２では、元の画像データから非線形変換されたノイズ成分を減算し、これにより元の画像データのディテールを残しつつ視覚的に強いノイズ成分のみを低減させる。

尚、本発明に係る画像処理装置は、撮像装置に使用する場合について説明したが、これに限らず、カラーの画像データを入力し、その画像データのノイズ低減処理を行うものであれば如何なるものでもよい。例えば、ＲＡＷデータが記録された記録媒体からＲＡＷデータを取り込み、このＲＡＷデータを処理するものにも本発明は適用できる。また、この実施の形態では、本発明に係る画像処理装置をハードウエアで実現するようにしたが、ソフトウエアで実現するようにしてもよい。

図１は本発明に係る画像処理方法の概念を説明するために用いた図である。 図２は本発明に係る第１の実施の形態の画像処理装置を備えた撮像装置の要部ブロック図である。 図３は図１の距離算出回路を説明するために用いた図である。 図４は色空間上の距離と重み付け係数との関係を示すグラフの一例である。 図５は第１の実施の形態の画像処理装置を備えた撮像装置の動作手順を示すフローチャートである。 図６は本発明に係る第２の実施の形態の画像処理装置を備えた撮像装置の要部ブロック図である。 図７は第２の実施の形態の画像処理装置を備えた撮像装置の動作手順を示すフローチャートである。 図８は本発明に係る第３の実施の形態の画像処理装置を備えた撮像装置の要部ブロック図である。 図９は第３の実施の形態の画像処理装置を備えた撮像装置の動作手順を示すフローチャートである。 図１０は本発明に係る第４の実施の形態の画像処理装置を備えた撮像装置の要部ブロック図である。 図１１は色空間上の距離と複数種類の重み付け係数との関係を示すグラフの一例である。 図１２は第４の実施の形態の画像処理装置を備えた撮像装置の動作手順を示すフローチャートである。 図１３は本発明に係る第５の実施の形態の画像処理装置を備えた撮像装置の要部ブロック図である。 図１４は色空間上の近距離及び中距離の画素のうちのいずれを重視するかに応じたノイズ低減効果の違いを説明するために用いた図である。 図１５は色空間上の中距離の画素を重視した場合の距離と重み付け係数との関係を示すグラフの一例である。 図１６は第５の実施の形態の画像処理装置を備えた撮像装置の動作手順を示すフローチャートである。 図１７は本発明に係る第６の実施の形態の画像処理装置を備えた撮像装置の要部ブロック図である。 図１８は注目画素にＬＰＦを掛けた場合の該注目画素と周辺画素との色空間上の距離の変化を説明するために用いた図である。 図１９は第６の実施の形態の画像処理装置を備えた撮像装置の動作手順を示すフローチャートである。 図２０は本発明に係る第７の実施の形態の画像処理装置を備えた撮像装置の要部ブロック図である。 図２１は同時化処理前の画像データから多チャンネル化した画素を得る方法を説明するために用いた図である。 図２２は第７の実施の形態の画像処理装置を備えた撮像装置の動作手順を示すフローチャートである。 図２３は本発明に係る第８の実施の形態の画像処理装置を備えた撮像装置の要部ブロック図である。 図２４はカラーフィルタの異なる同時化処理前の画像データから多チャンネル化した画素を得る方法を説明するために用いた図である。 図２５は第８の実施の形態の画像処理装置を備えた撮像装置の動作手順を示すフローチャートである。 図２６は本発明に係る第９の実施の形態の画像処理装置を備えた撮像装置の要部ブロック図である。 図２７は図２６に示した非線形変換回路を説明するために用いた図である。 図２８は第９の実施の形態の画像処理装置を備えた撮像装置の動作手順を示すフローチャートである。

符号の説明

１、１’…注目画素、１０…撮影レンズ、２０…撮像素子、３０、３０’…画像処理回路、３２…処理範囲選択回路、４０、４２、４６、１４０…距離算出回路、４４…取得画素切り替え回路、５０、５０Ａ、５０Ｂ、１５０、１５０Ａ、１５０Ｂ、１５０Ｃ…重み付け係数算出回路、５０Ｃ…係数選択回路、６０、１６０、１６０Ａ、１６０Ｂ、１６０Ｃ…加重平均処理回路、７０…ＹＵＶ変換回路、８０…エッジ強調回路、９０…非線形変換回路、９２…減算回路

Claims (26)

1. カラー画像を示す画像データを入力する画像入力手段と、
   前記入力したカラー画像の注目画素と、該注目画素を含む周辺画素との色空間上での距離をそれぞれ算出する距離算出手段と、
   前記算出した距離に応じて各周辺画素毎に重み付け係数を算出する係数算出手段と、
   各周辺画素毎に算出した重み付け係数を用いて各周辺画素の画像データを加重平均して、前記注目画素の画像データを算出する加重平均処理手段と、
   前記入力したカラー画像の注目画素に対してフィルタリング処理を行うフィルタリング処理手段と、を備え、
   前記距離算出手段は、前記フィルタリング処理された注目画素と、前記フィルタリング処理されていない注目画素を含む周辺画素との色空間上での距離をそれぞれ算出することを特徴とする画像処理装置。
2. カラー画像を示す画像データを入力する画像入力手段と、
   前記入力したカラー画像の注目画素と、該注目画素を含む周辺画素との色空間上での距離をそれぞれ算出する距離算出手段と、
   前記算出した距離に応じて各周辺画素毎に重み付け係数を算出する係数算出手段と、
   各周辺画素毎に算出した重み付け係数を用いて各周辺画素の画像データを加重平均して、前記注目画素の画像データを算出する加重平均処理手段と、を備え、
   前記画像入力手段は、３原色のカラーフィルタが配列された単板式の撮像素子から前記カラーフィルタの配列に対応した同時化されていないカラー画像を示す画像データを入力し、
   前記距離算出手段は、近接する異色の複数画素を、同一の画素位置の注目画素及び該注目画素を含む周辺画素として使用し、前記複数画素からなる注目画素と、該注目画素を含む周辺画素との色空間上での距離を算出することを特徴とする画像処理装置。
3. 複数の処理範囲のうちのいずれかの処理範囲を選択する処理範囲選択手段を備え、
   前記注目画素を含む周辺画素を、該注目画素を中心とする前記選択された処理範囲内の画素とすることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記処理範囲選択手段は、高感度で撮像されたカラー画像の処理時に大きな処理範囲を選択することを特徴とする請求項３に記載の画像処理装置。
5. 前記処理範囲選択手段は、処理スピードを速くする時、又は消費電力を低減する時に小さな処理範囲を選択することを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記係数算出手段は、周辺画素に対する重み付け係数を、該周辺画素の色チャンネル毎に算出することを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
7. 前記係数算出手段は、周辺画素に対する重み付け係数を、前記入力したカラー画像のノイズ特性に応じて異なる重み付け係数を算出することを特徴とする請求項１乃至６のいずれかに記載の画像処理装置。
8. 前記同時化されていないカラー画像を示す画像データを入力し、近接する異色の複数画素を、同一の画素位置として取り込む手段であって、単板式の撮像素子のカラーフィルタのパターンに応じて前記複数画素を取り込む画素位置を切り替え、前記カラーフィルタのパターンにかかわらず前記複数画素内の色画素の構成を同一にする画素位置切替手段を備えたことを特徴とする請求項２に記載の画像処理装置。
9. 前記画像入力手段が入力した画像処理前のカラー画像を示す画像データと、前記加重平均処理手段によって算出された画像処理後のカラー画像を示す画像データとの差分をノイズ成分として取得するノイズ成分取得手段と、
   前記取得されたノイズ成分を非線形変換する非線形変換手段と、
   前記画像処理前のカラー画像を示す画像データから前記非線形変換されたノイズ成分を減算する減算手段と、
   を備えたことを特徴とする請求項１乃至８のいずれかに記載の画像処理装置。
10. 前記非線形変換手段は、前記ノイズ成分からレベルの小さなノイズ成分のみを除去することを特徴とする請求項９に記載の画像処理装置。
11. 第１の色空間のカラー画像を示す画像データを入力する画像入力手段と、
    前記入力したカラー画像の第１の注目画素と、該第１の注目画素を含む周辺画素との前記第１の色空間上での第１の距離をそれぞれ算出する第１の距離算出手段と、
    前記算出した第１の距離に応じて各周辺画素毎に第１の重み付け係数を算出する第１の係数算出手段と、
    各周辺画素毎に算出した第１の重み付け係数を用いて各周辺画素の画像データを加重平均して、前記第１の注目画素の画像データを算出する第１の加重平均処理手段と、
    前記第１の加重平均処理された第１の色空間のカラー画像を示す画像データを、第２の色空間のカラー画像を示す画像データに変換する変換処理手段と、
    前記変換されたカラー画像の第２の注目画素と、該第２の注目画素を含む周辺画素との前記第２の色空間上での第２の距離をそれぞれ算出する第２の距離算出手段と、
    前記算出した第２の距離に応じて各周辺画素毎に第２の重み付け係数を算出する第２の係数算出手段と、
    各周辺画素毎に算出した第２の重み付け係数を用いて各周辺画素の画像データを加重平均して、前記第２の注目画素の画像データを算出する第２の加重平均処理手段と、
    を備えたことを特徴とする画像処理装置。
12. 前記第１の色空間はＲＧＢ空間であり、前記第２の色空間はＹＵＶ空間であることを特徴とする請求項１１に記載の画像処理装置。
13. 前記第１及び第２の係数算出手段は、周辺画素に対する重み付け係数を、前記入力したカラー画像のノイズ特性に応じて異なる重み付け係数を算出することを特徴とする請求項１１又は１２に記載の画像処理装置。
14. カラー画像を示す画像データを入力する工程と、
    前記入力したカラー画像の注目画素と、該注目画素を含む周辺画素との色空間上での距離をそれぞれ算出する工程と、
    前記算出した距離に応じて各周辺画素毎に重み付け係数を算出する工程と、
    各周辺画素毎に算出した重み付け係数を用いて各周辺画素の画像データを加重平均して、前記注目画素の画像データを算出する工程と、
    前記入力したカラー画像の注目画素に対してフィルタリング処理を行う工程と、を含み、
    前記距離を算出する工程は、前記フィルタリング処理された注目画素と、前記フィルタリング処理されていない注目画素を含む周辺画素との色空間上での距離をそれぞれ算出することを特徴とする画像処理方法。
15. カラー画像を示す画像データを入力する工程と、
    前記入力したカラー画像の注目画素と、該注目画素を含む周辺画素との色空間上での距離をそれぞれ算出する工程と、
    前記算出した距離に応じて各周辺画素毎に重み付け係数を算出する工程と、
    各周辺画素毎に算出した重み付け係数を用いて各周辺画素の画像データを加重平均して、前記注目画素の画像データを算出する工程と、を含み、
    前記画像データを入力する工程は、３原色のカラーフィルタが配列された単板式の撮像素子から前記カラーフィルタの配列に対応した同時化されていないカラー画像を示す画像データを入力し、
    前記距離を算出する工程は、近接する異色の複数画素を、同一の画素位置の注目画素及び該注目画素を含む周辺画素として使用し、前記複数画素からなる注目画素と、該注目画素を含む周辺画素との色空間上での距離を算出することを特徴とする画像処理方法。
16. 複数の処理範囲のうちのいずれかの処理範囲を選択する工程を含み、
    前記色空間上での距離を算出する際の前記注目画素を含む周辺画素を、該注目画素を中心とする前記選択された処理範囲内の画素とすることを特徴とする請求項１４又は１５に記載の画像処理方法。
17. 前記処理範囲を選択する工程は、高感度で撮像されたカラー画像の処理時に大きな処理範囲を選択することを特徴とする請求項１６に記載の画像処理方法。
18. 前記処理範囲を選択する工程は、処理スピードを速くする時、又は消費電力を低減する時に小さな処理範囲を選択することを特徴とする請求項１６又は１７に記載の画像処理方法。
19. 前記重み付け係数を算出する工程は、周辺画素に対する重み付け係数を、該周辺画素の色チャンネル毎に算出することを特徴とする請求項１４乃至１８のいずれかに記載の画像処理方法。
20. 前記重み付け係数を算出する工程は、前記入力したカラー画像のノイズ特性に応じて該カラー画像のノイズが大きい場合には、前記算出した距離が近距離の周辺画素に対する重み付け係数を小さくすることを特徴とする請求項１４乃至１９のいずれかに記載の画像処理方法。
21. 前記同時化されていないカラー画像を示す画像データを入力し、近接する異色の複数画素を、同一の画素位置として取り込む工程であって、単板式の撮像素子のカラーフィルタのパターンに応じて前記複数画素を取り込む画素位置を切り替え、前記カラーフィルタのパターンにかかわらず前記複数画素内の色画素の構成を同一にする工程を含むことを特徴とする請求項１５に記載の画像処理方法。
22. 前記画像データを入力する工程により入力した画像処理前のカラー画像を示す画像データと、前記注目画素の画像データを算出する工程によって算出された画像処理後のカラー画像を示す画像データとの差分をノイズ成分として取得する工程と、
    前記取得されたノイズ成分を非線形変換する工程と、
    前記画像処理前のカラー画像を示す画像データから前記非線形変換されたノイズ成分を減算する工程と、
    を含むことを特徴とする請求項１４乃至２１のいずれかに記載の画像処理方法。
23. 前記非線形変換する工程は、前記ノイズ成分からレベルの小さなノイズ成分のみを除去することを特徴とする請求項２２に記載の画像処理方法。
24. 第１の色空間のカラー画像を示す画像データを入力する工程と、
    前記入力したカラー画像の第１の注目画素と、該第１の注目画素を含む周辺画素との前記第１の色空間上での第１の距離をそれぞれ算出する工程と、
    前記算出した第１の距離に応じて各周辺画素毎に第１の重み付け係数を算出する工程と、
    各周辺画素毎に算出した第１の重み付け係数を用いて各周辺画素の画像データを加重平均して、前記第１の注目画素の画像データを算出する工程と、
    前記第１の注目画素の画像データを算出する工程により加重平均処理された第１の色空間のカラー画像を示す画像データを、第２の色空間のカラー画像を示す画像データに変換する工程と、
    前記変換されたカラー画像の第２の注目画素と、該第２の注目画素を含む周辺画素との前記第２の色空間上での第２の距離をそれぞれ算出する工程と、
    前記算出した第２の距離に応じて各周辺画素毎に第２の重み付け係数を算出する工程と、
    各周辺画素毎に算出した第２の重み付け係数を用いて各周辺画素の画像データを加重平均して、前記第２の注目画素の画像データを算出する工程と、
    を含むことを特徴とする画像処理方法。
25. 前記第１の色空間はＲＧＢ空間であり、前記第２の色空間はＹＵＶ空間であることを特徴とする請求項２４に記載の画像処理方法。
26. 前記第２の距離の算出前に、前記変換された第２の色空間のカラー画像を示す画像データのうちの輝度データのみにエッジ強調処理を行う工程を含み、前記第２の重み付け係数を算出する工程は、輝度データに対する重み付け係数を色差データの重み付け係数よりも大きくすることを特徴とする請求項２４又は２５に記載の画像処理方法。

Images