WO2013187133A1 - 画像処理装置及び画像処理方法 - Google Patents

Abstract

　色境界部（エッジ）における色滲み等の不具合を防ぎつつ、画像ノイズを低減する技術を提供する。実空間フィルタ処理ステップＳ１０と色空間フィルタ処理ステップＳ２０とを含む画像処理方法において、実空間フィルタ処理ステップＳ１０では実空間上での距離に基づくフィルタ処理が行われ、色空間フィルタ処理ステップＳ２０では実空間上での距離に基づくフィルタ処理が行われる。実空間フィルタ処理ステップＳ１０は、エッジ保存型のフィルタ処理に基づいており、色空間フィルタ処理ステップＳ２０において用いられる注目画素の画素データは、実空間フィルタ処理ステップＳ１０において算出された画素データである。

Description

画像処理装置及び画像処理方法

　本発明は画像処理装置及び画像処理方法に係り、特に、画像のエッジを保存しつつノイズを低減させる技術に関する。

　カメラ等の撮像デバイスの分野において、撮像素子（ＣＣＤ、ＣＭＯＳ等）を介して取得されるデジタル画像データにはノイズ成分が含まれることがあり、このノイズ成分を取り除く様々な手法が提案されている。

　例えば特許文献１は、ＲＧＢのカラー画像に対してノイズ低減処理を施す画像処理装置を開示する。この画像処理装置では、注目画素とその周辺画素とのＲＧＢ色空間上の距離が算出され、色空間上の距離に応じて各周辺画素に対する重み付け係数が算出され、注目画素を含む周辺画素の画像データを加重平均処理して注目画素の画素値が算出される。

　また特許文献２は、画像からノイズを除去する画質改善装置を開示する。この画像改善装置では、画像データにおける色チャネル間の共分散データを計算し、この共分散データと、所定ノイズの色チャネル間の共分散データとにより、ノイズにより劣化していない原画像とのｋ次元色空間における平均二乗誤差が最小となるフィルタが導出され、この導出されたフィルタによってノイズ低減処理が行われる。

　また特許文献３には、基準値バッファに記録された基準値を利用してノイズ除去を行う画像処理装置が開示されている。この画像処理装置では、入力画素値に対する重み演算により出力画素値が決定される。

特開２００７－２８８４３９号公報 特開２００２－２２２４１６号公報 特開平１０－１１２８０３号公報

　上述のように、ノイズの低減・除去に関する様々な手法が提案されているが、各手法によるノイズの低減効果にはバラツキがあり、ノイズレベルが比較的大きい（高い）場合等には、必ずしも良好なノイズ低減効果が得られるとは限らない。

　例えば特許文献１には、ローパスフィルタ処理が行われた後に色空間上の距離が算出される画像処理方法が開示されているが、単純にローパスフィルタを施すだけでは、ノイズ低減効果に関しては有効であるものの、エッジの保存性が悪くなる場合がある。特にノイズレベルが大きい場合には、画像の色境界部分において色滲み（ぼけ）や色抜け等の不具合が発生してしまうことがある。

　また特許文献２の画像改善装置においても、レベルの大きなノイズが画像データに含まれる場合、画像信号成分とノイズ成分との分離性能が悪くなる。この結果、特許文献２の画像改善装置を用いる場合には、強いノイズが残り、また色境界部分において色滲みが発生する懸念がある。

　また特許文献３の画像処理装置では、入力画素値及び基準値のみに基づいて重みの平均化が行われるため、奏されるノイズ低減の効果がそもそも低い。

　したがって、レベルの大きなノイズ成分が画像データに含まれる場合であっても、色境界部分における色滲み等を防いで画像本来のエッジ（境界部）鮮鋭度を保持しつつ、画像ノイズを効果的に除去する新たな技術の提案が望まれている。

　本発明は上述の事情に鑑みてなされたものであり、色滲み等の不具合を防ぎながら画像ノイズを低減する技術を提供することを目的とする。

　本発明の一態様は、複数の画素の画素データの集合から構成される画像データを処理する画像処理装置であって、入力される画像データにおいて、複数の画素のうちの注目画素とこの注目画素の周辺に配置される周辺画素との実空間上での距離に基づき各周辺画素に対する実空間重み付け係数を算出し、この実空間重み付け係数を用いて注目画素の画素データ及び周辺画素の画素データを加重平均して注目画素の画素データを算出する実空間フィルタ処理部と、複数の画素のうちの注目画素とこの注目画素の周辺に配置される周辺画素との色空間上での距離に基づき各周辺画素に対する色空間重み付け係数を算出し、この色空間重み付け係数を用いて注目画素の画素データ及び周辺画素の画素データを加重平均して注目画素の画素データを算出する色空間フィルタ処理部と、を備え、実空間フィルタ処理部が行う実空間重み付け係数の算出及び画素データの加重平均は、エッジ保存型のフィルタ処理に基づいており、色空間フィルタ処理部において用いられる画素データのうち少なくとも注目画素の画素データは、実空間フィルタ処理部によって算出された画素データである画像処理装置に関する。

　本態様によれば、前段でエッジ保存型のフィルタ処理に基づく実空間フィルタ処理が行われ、後段で色空間フィルタ処理が行われる。したがって、エッジ保存型のフィルタ処理により色滲み等の不具合を防いでエッジ（色境界部分）が良好に保存された状態で、色空間フィルタ処理によって画像ノイズを低減することができる。

　なお、ここでいう「実空間」とは、画像データ上の画素配置関係に基づく空間を意味し、「実空間上での距離」とは、画像データの複数画素間の実際の距離を反映する指標であって、処理対象の画素（注目画素）と他の周辺の画素（周辺画素）との距離を直接的又は間接的に示す。したがって、画像上における画素間の実距離を直接的に「実空間上の距離」と言うこともできるし、画素間の実際の距離を表す他の指標（パラメータ）を用いて画素間の実際の距離を間接的に表したものを「実空間上の距離」と言うこともできる。例えば画素単位で実空間上の距離を表すことができ、注目画素に隣接する周辺画素は注目画素に対して「１画素相当」の実空間上の距離を有すると表現することができる。

　また、ここでいう「色空間」とは、立方的に記述される色の空間であり、代表的な色空間として「Ｒ／Ｇ／Ｂ」や「Ｙ／Ｃｂ／Ｃｒ」に基づく色空間が挙げられる。また「色空間上での距離」とは、画像データの複数画素間の色を基準とした分離度を反映する指標であって、処理対象の画素（注目画素）と他の周辺の画素（周辺画素）との色に関する近似度を直接的又は間接的に示す。したがって、色空間上における距離を直接的に「色空間上の距離」と言うこともできるし、色空間上の距離を表す他の指標（パラメータ）を用いて画素間の色の近似度・分離度を間接的に表したものを「色空間上の距離」と言うこともできる。例えば、色空間を定める要素（ＲＧＢ色空間におけるＲ／Ｇ／Ｂ各要素、ＹＣｂＣｒ色空間におけるＹ／Ｃｂ／Ｃｒ各要素）に関し、注目画素の画素データと周辺画素の画素データとの差分絶対値の２乗の総和を求め、この総和の平方根を「色空間上の距離」と表現してもよい。また、色空間を定める要素毎に重み付けしたものを「色空間上の距離」と表現してもよい。また、注目画素の画素データと周辺画素の画素データとの差分絶対値を、２乗することなく、色空間を定める要素間でそのまま足し合わせたものを「色空間上の距離」と表現してもよい。また、色空間を定める要素毎に注目画素の画素データと周辺画素の画素データとの差分絶対値を求めて、その差分絶対値を２乗することなく、色空間を定める要素毎に差分絶対値の重み付けをし、色空間を定める要素間で重み付けした差分絶対値を足し合わせたものを「色空間上の距離」と表現してもよい。さらに、これらの色空間上の距離に所定の係数を掛けて得られる値（重み付けした値）を「色空間上の距離」と表現してもよい。

　また、ここでいう「エッジ保存型のフィルタ処理」とは、画像のエッジ（色境界部分）を良好に保持するフィルタリング処理を意味する。例えば、注目画素と周辺画素との画素データの差分絶対値が所定の閾値以内にあれば、その集合の範囲で画像データ（本例では色差データ）の平均値が算出される処理が、ここでいう「エッジ保存型のフィルタ処理」に含まれる。また、画像のエッジ（色境界部分）を良好に保持可能な他の処理が「エッジ保存型のフィルタ処理」に含まれうる。

　望ましくは、画像データは、色に関する画像データを含み、実空間フィルタ処理部は、色に関する画像データに対し、実空間重み付け係数の算出及び画素データの加重平均をエッジ保存型のフィルタ処理に基づいて行う。

　本態様によれば、色に関する画像データにエッジ保存型の実空間フィルタ処理が施されるため、色滲み等を防いでエッジを良好に保持した状態で画像ノイズを低減することができる。なお、ここでいう「色に関する画像データ」として、例えばＲＧＢの画像データを用いることができる。

　望ましくは、画像データは、輝度に関する画像データ及び色差に関する画像データを含み、実空間フィルタ処理部は、輝度に関する画像データ及び色差に関する画像データのうち少なくとも色差に関する画像データに対し、実空間重み付け係数の算出及び画素データの加重平均をエッジ保存型のフィルタ処理に基づいて行う。

　本態様によれば、少なくとも色差に関する画像データにエッジ保存型の実空間フィルタ処理が施されるため、色滲み等を防いでエッジを良好に保持した状態で画像ノイズを低減することができる。なお、ここでいう「色差に関する画像データ」として、例えばＣｒ／Ｃｂの画像データを用いることができる。

　望ましくは、色空間フィルタ処理部が注目画素と周辺画素との色空間上での距離を求めるために用いる画素データのうち、注目画素の画素データは、実空間フィルタ処理部が算出した画素データであり、周辺画素の画素データは、実空間フィルタ処理部に入力される前の画像データを構成する画素データである。

　本態様によれば、実空間フィルタ処理を受けた注目画素の画素データと、実空間フィルタ処理を受けていない周辺画素の画素データとに基づいて、色空間フィルタ処理部は注目画素と周辺画素との色空間上での距離を求める。この場合にも、色滲み等の不具合を防いでエッジ（色境界部分）が良好に保存された状態で、色空間フィルタ処理によって画像ノイズを低減することができる。

　望ましくは、色空間フィルタ処理部が色空間重み付け係数による加重平均のために用いる画素データのうち、注目画素の画素データは、実空間フィルタ処理部が算出した画素データであり、周辺画素の画素データは、実空間フィルタ処理部に入力される前の画像データを構成する画素データである。

　本態様によれば、実空間フィルタ処理を受けた注目画素の画素データと、実空間フィルタ処理を受けていない周辺画素の画素データとに基づいて、色空間フィルタ処理部は色空間重み付け係数による加重平均演算を行う。この場合にも、色滲み等の不具合を防いでエッジ（色境界部分）が良好に保存された状態で、色空間フィルタ処理によって画像ノイズを低減することができる。

　望ましくは、色空間フィルタ処理部は、実空間フィルタ処理部が算出した画素データを用いて、注目画素と周辺画素との色空間上での距離を求めて色空間重み付け係数による加重平均を行う。

　本態様によれば、実空間フィルタ処理を受けた注目画素の画素データ及び周辺画素の画素データに基づいて、色空間フィルタ処理部における色空間フィルタ処理が行われるため、非常に効果的に、エッジ保存及びノイズ低減を行うことができる。

　望ましくは、実空間フィルタ処理部及び色空間フィルタ処理部の各々において用いられる画素データの対象となる周辺画素は、実空間フィルタ処理部及び色空間フィルタ処理部の各々において用いられる画素データの対象となる注目画素及び他の周辺画素のうち少なくともいずれかに隣接する。

　本態様によれば、相互に隣接する注目画素及び周辺画素の画素データに基づいて、実空間フィルタ処理及び色空間フィルタ処理が行われる。隣接画素の画素データを用いることによって、簡単且つ効果的に、実空間フィルタ処理及び色空間フィルタ処理を行うことが可能である。

　望ましくは、色空間フィルタ処理部において用いられる画素データの対象となる周辺画素は、色空間フィルタ処理部において用いられる画素データの対象となる注目画素及び他の周辺画素のいずれとも隣接しない。

　本態様によれば、相互に離間配置された注目画素及び周辺画素の画素データに基づいて、色空間フィルタ処理が行われる。離間配置された画素の画素データを用いることによって、比較的広範囲の画素の画素データを活用することができる。

　望ましくは、色空間は、ＲＧＢに基づく。

　本態様によれば、ＲＧＢ色空間上での距離に基づいて色空間フィルタ処理を行うことができる。

　望ましくは、色空間は、輝度及び色差に基づく。

　本態様によれば、輝度／色差（Ｙ／Ｃｂ／Ｃｒ等）色空間上での距離に基づいて色空間フィルタ処理を行うことができる。

　望ましくは、実空間フィルタ処理部は、輝度に関する画像データ及び色差に関する画像データが入力され、輝度に関する画像データ及び色差に関する画像データの各々に対し、実空間重み付け係数の算出及び加重平均を行って画素データを算出し、色空間フィルタ処理部は、輝度に関する画像データ及び色差に関する画像データが入力され、この輝度に関する画像データを用いて、色差に関する画像データに対し、色空間重み付け係数の算出及び加重平均を行って画素データを算出し、画像処理装置は、実空間フィルタ処理部において算出された画素データに基づく輝度に関する画像データと、色空間フィルタ処理部において算出された画素データに基づく色差に関する画像データとを出力する。

　本態様によれば、輝度及び色差に関する画像データが実空間フィルタ処理部に入力されると、実空間フィルタ処理部において画像処理された輝度データに関する画像データが画像処理装置から出力され、また実空間フィルタ処理部及び色空間フィルタ処理部において画像処理された色差に関する画像データが画像処理装置から出力される。これにより、色滲み等を防いで画像エッジが良好に保存された状態で画像ノイズが低減された画像データを得ることができる。

　本発明の別の態様は、複数の画素の画素データの集合から構成される画像データを処理する画像処理方法であって、入力される画像データにおいて、複数の画素のうちの注目画素とこの注目画素の周辺に配置される周辺画素との実空間上での距離に基づき各周辺画素に対する実空間重み付け係数を算出し、この実空間重み付け係数を用いて注目画素の画素データ及び周辺画素の画素データを加重平均して注目画素の画素データを算出する実空間フィルタ処理ステップと、複数の画素のうちの注目画素とこの注目画素の周辺に配置される周辺画素との色空間上での距離に基づき各周辺画素に対する色空間重み付け係数を算出し、この色空間重み付け係数を用いて注目画素の画素データ及び周辺画素の画素データを加重平均して注目画素の画素データを算出する色空間フィルタ処理ステップと、を備え、実空間フィルタ処理ステップで行われる実空間重み付け係数の算出及び画素データの加重平均は、エッジ保存型のフィルタ処理に基づいており、色空間フィルタ処理ステップにおいて用いられる画素データのうち少なくとも注目画素の画素データは、実空間フィルタ処理ステップにおいて算出された画素データである画像処理方法に関する。

　本発明によれば、実空間フィルタ処理において、実空間重み付け係数の算出及び画素データの加重平均が「エッジ保存型のフィルタ処理」を含むため、画像の境界部（エッジ部）を良好に保存しながら実空間フィルタ処理を行うことができる。これにより、画像境界部が良好な状態で保存された画像データを元にして色空間フィルタ処理が行われるため、色滲み等の不具合を防ぎながら画像ノイズを効果的に低減することができる。

本発明を撮像デバイス（デジタルカメラ）に適用した一例を示す機能ブロック図である。 画像処理部におけるデジタル処理の一例を示す機能ブロック図である。 ノイズリダクション処理の流れを示すブロック図である。 複数の画素の配置例を示す模式図である。 実空間フィルタ処理において用いられる実空間フィルタを例示するものであって、水平１次元７タップフィルタと垂直１次元７タップフィルタとが組み合わされた分離型の実空間フィルタを示す。 実空間フィルタ処理において用いられる実空間フィルタを例示するものであって、水平垂直方向の７×７タップフィルタから成る行列型（２次元）の実空間フィルタを示す。 色空間上での距離に基づくノイズ低減処理の一例を示す概念図である。 色空間上での距離に基づくノイズ低減処理の一例を示す概念図である。 色空間上での距離に基づくノイズ低減処理の一例を示す概念図である。 色空間上での距離に基づくノイズ低減処理の一例を示す概念図である。 実空間フィルタ処理及び色空間フィルタ処理の関係を示す図である。 色空間フィルタ用フィルタ係数の算出の流れを示す図である。 色空間上の距離と重み付け係数との関係を示すグラフの一例である。 色空間フィルタ処理部における注目画素及び周辺画素の他の配置例について示す図である。 スマートフォンの外観図である。 スマートフォンの構成を示すブロック図である。

　以下、添付図面を参照して本発明の実施形態について説明する。なお、下記の構成は例示に過ぎず、各構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。

　本発明は、色境界部における色滲み等を防ぎつつ画像ノイズを低減する技術に関し、画像データからノイズを低減・除去する処理が可能な機器類全般に適用可能である。したがって、例えばカメラ等の撮像デバイス、撮像デバイスが接続されるコンピュータ、或いはコンピュータにインストールされるソフトウェア（以下の処理工程（手順）をコンピュータに実行させるためのプログラム）によっても本発明は実現可能である。このソフトウェア（プログラム等）はＲＯＭなどのコンピュータ読み取り可能な非一時的記録媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ　ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ　ｍｅｄｉｕｍ）に記録されてもよい。

　図１は、本発明を撮像デバイス（デジタルカメラ）に適用した一例を示す機能ブロック図であって、特にノイズリダクション処理（ノイズ低減処理）に関わるブロックを示す図である。

　撮像デバイス１０は、相互に接続された撮像部１１、画像処理部（画像処理装置）２２、制御部１４、メモリ１５、表示部（液晶ディスプレー等）１６、操作部１７及び信号入出力Ｉ／Ｆ（インターフェース）１８を備える。

　撮像部１１は、被写体の撮像によって撮像データ（画像データ）を取得する部位であり、レンズ１２及び撮像素子（ＣＣＤ、ＣＭＯＳ等）１３等を含んで構成される。撮像素子１３は、複数の受光素子が画素単位で２次元配置された構成を有する。

　画像処理部２２は、撮像部１１において撮像取得された画像データに対して画質向上のための画像処理や画像データの圧縮処理を行う。本例では特に、ＷＢ（ホワイトバランス）調整処理等の各種処理を行う画像処理回路２４に加え、画像データに含まれる画像ノイズを低減・除去するノイズリダクション処理部２５が画像処理部２２に設けられる。ノイズリダクション処理部２５は、画像データに実空間フィルタ処理を行う実空間フィルタ処理部２６と色空間フィルタ処理を行う色空間フィルタ処理部２７とを有する。

　画像処理部２２における画像処理の詳細については後述するが、本例では、まず色空間フィルタ処理の前段のプリフィルタ処理として実空間フィルタ処理が行われ、この実空間フィルタ処理後に色空間フィルタ処理が行われる。単純に実空間フィルタでのみ色差ノイズの低減を行おうとする場合、色の境界で色滲み（ぼけ）や色抜けが生じる懸念がある。一方、単純に色空間上でフィルタ処理して色差ノイズの低減を図る場合に、色滲みや色抜けを抑えようとすると、肝腎のノイズ低減の度合いが弱まってしまう。例えば、対象画素が強いノイズ成分を含む場合、対象画素と周辺画素との色空間上の距離が大きいため、色空間上でフィルタ処理してもノイズ成分が十分に低減されず、画像ノイズとして残存してしまう可能性がある。

　そこで、以下の実施形態では、まず前段において実空間フィルタ処理を行うことで、強度の強いノイズ成分が除去される。これにより、後段の色空間フィルタ処理によるノイズ低減効果を増大させることができ、また実空間フィルタ処理のみでは得られない色滲みや色抜けの抑制といった効果を得ることもできる。

　実空間フィルタ処理及び色空間フィルタ処理を含む画像処理方法の詳細については後述する（図３等参照）。

　図１に示されるメモリ１５は、画像データや各種処理に使用するプログラムやデータを保存するデータ保存領域であり、また各種処理時の演算等のために用いられるバッファ領域としても活用されうる。

　表示部１６及び操作部１７は、ユーザーインタフェースを構成する。表示部１６は、各種の表示をユーザーに提示し、ユーザーは、操作部１７を介して各種の操作指示信号を送ることができる。したがって、ユーザーは、表示部１６に示される情報を確認しながら操作部１７を介して制御部１４に操作指示信号を送信し、撮像部１１、画像処理部２２、メモリ１５、表示部１６、信号入出力Ｉ／Ｆ１８等における各種処理をコントロールすることができる。

　信号入出力Ｉ／Ｆ１８は、撮像デバイス１０と外部機器類との間のデータ入出力インターフェースを構成する。したがって、撮像部１１によって撮像取得された画像データ（ＲＡＷデータ、画像処理後の画像データ、等）は、信号入出力Ｉ／Ｆ１８を介して外部機器類に出力可能である。

　制御部１４は、撮像デバイス１０を構成する各種機器類を統括的に制御する部位であり、ＣＰＵ（中央処理装置）や他の周辺回路によって構成される。したがって、撮像部１１の撮像処理、画像処理部２２の画像処理、メモリ１５に対する書き込み処理・読み出し処理、表示部１６における表示処理、操作部１７からの操作信号の処理、信号入出力Ｉ／Ｆ１８を介した入出力処理、等の各種処理は、制御部１４によって統括的に制御される。

　次に、画像処理部２２における具体的な画像処理例について説明する。

　図２は、画像処理部２２におけるデジタル処理の一例を示す機能ブロック図である。

　撮像部１１で撮像生成された撮像データ（ＲＡＷデータ）は、例えば１４ビットのＲ（赤）、Ｇ（緑）、Ｂ（青）の色データを含み、画像処理部２２のリニア前処理部３１にＲ、Ｇ、Ｂの点順次で加えられる。Ｒ、Ｇ、ＢのＲＡＷデータは、リニア前処理部３１にてオフセット調整、１６ビット化、シェーディング補正といったリニアデータに対する前処理が行われる。

　リニア前処理部３１から出力されたＲ、Ｇ、Ｂデータは、ホワイトバランス（ＷＢ）補正部３２に出力される。ＷＢ補正部３２は、Ｒ、Ｇ、Ｂデータ毎にホワイトバランス補正用のゲイン値Ｒｇ、Ｇｇ、Ｂｇを掛けることにより、ホワイトバランス補正を行う。ここで、ホワイトバランス補正用のゲイン値Ｒｇ、Ｇｇ、Ｂｇは、ＲＡＷデータを解析して、例えば光源種（太陽光、蛍光灯、タングステン電球等）を特定し、その光源種に対応して予め記憶されているゲイン値Ｒｇ、Ｇｇ、Ｂｇに設定され、あるいはホワイトバランス補正を行うメニュー画面上で手動選択された光源種や色温度に対応するゲイン値Ｒｇ、Ｇｇ、Ｂｇに設定される。

　ＷＢ補正部３２から出力されたＲ、Ｇ、Ｂデータは、露出補正部３３に加えられる。露出補正部３３は、手動による露出補正値（例えば、－３ＥＶ～＋３ＥＶ）の指示入力に応じて通常露出（露出補正をしない場合の露出）に対して露出をアンダーに補正（減感処理）、あるいはオーバーに補正（増感処理）する。

　露出補正部３３から出力されたＲ、Ｇ、Ｂデータは、ガンマ（γ）補正部３４に出力され、ここで、リニアデータを、ｓＲＧＢ、ＡｄｏｂｅＲＢＧ、ｓｃＲＧＢといった色空間の階調データに変換する。ガンマ補正されたＲ、Ｇ、Ｂデータは、デモザイク処理部（同時化処理部）３５に出力される。

　デモザイク処理部３５は、撮像素子におけるカラーフィルタの配列に伴うＲ、Ｇ、Ｂデータの空間的なズレを補間してＲ、Ｇ、Ｂデータを同時式に変換する処理を行い、デモザイク（同時化）したＲ、Ｇ、ＢデータをＲＧＢ／ＹＣ変換部３６に出力する。

　ＲＧＢ／ＹＣ変換部３６は、Ｒ、Ｇ、Ｂデータを輝度データ（輝度信号）Ｙ、色差データ（色差信号）Ｃｒ、Ｃｂに変換し、輝度データＹを輪郭補正部３７に出力し、色差データＣｒ、Ｃｂを色調補正部３８に出力する。輪郭補正部３７は、輝度データＹの輪郭部（輝度変化の大きい部分）を強調する処理を行う。色調補正部３８は、入力する色差データＣｒ、Ｃｂと、２行×２列の色補正マトリクス係数とのマトリクス演算を行い、良好な色再現性を実現させる色補正を行う。色補正マトリクス係数は、ユーザーからの色補正の指示入力に応じて適宜変更される。

　圧縮画像処理部３９は、画像データを圧縮パラメータに基づいて圧縮する画像処理部である。本例の圧縮画像処理部３９は、輪郭補正された輝度データＹ及び色調補正された色差データＣｒ、Ｃｂに基づいて圧縮処理を行い、ＪＰＥＧフォーマット等の圧縮画像データを生成する。

　画像処理部２２において各種画像処理及び画像圧縮処理が行われた圧縮画像データは、制御部１４によって出力制御され、メモリ１５に記憶されたり、表示部１６に縮小画像が表示されたり、信号入出力Ｉ／Ｆ１８を介して外部に出力されたりする。

　なお、これらのリニア前処理部３１、ＷＢ補正部３２、露出補正部３３、γ補正部３４、デモザイク処理部３５、ＲＧＢ／ＹＣ変換部３６、輪郭補正部３７、色調補正部３８、圧縮画像処理部３９は、図１の画像処理回路２４によって構成される。

　本例では、上述の各種画像処理に加え、ノイズリダクション処理部２５によるノイズリダクション処理が適切なタイミングで行われる。ノイズリダクション処理が行われるタイミングは、特に限定されないが、デモザイク処理前の各種処理が施されたデータに対してノイズリダクション処理が行われることが好ましく、デモザイク処理（デモザイク処理部３５）後であって画像圧縮処理（圧縮画像処理部３９）前の任意のタイミング（例えば、「デモザイク処理とＲＧＢ／ＹＣ変換処理との間」、「ＲＧＢ／ＹＣ変換処理と輪郭補正処理／色調補正処理との間」、「輪郭補正処理／色調補正処理と画像圧縮処理との間」等）で、ノイズリダクション処理を行うことが可能である。特に、輝度データに基づく輪郭補正処理（輪郭補正部３７）や色差データに基づく色調補正（色調補正部３８）等が行われる場合には、これらの処理によってノイズが強調される可能性があるため、これらの処理前にノイズリダクション処理が行われることが好ましい。

　＜ノイズリダクション処理＞
　次に、ノイズリダクション処理について説明する。

　図３は、ノイズリダクション処理の流れを示すブロック図である。本例のノイズリダクション処理は、前段の実空間フィルタ処理部２６による実空間フィルタ処理（図３のＳ１０：実空間フィルタ処理ステップ）と、後段の色空間フィルタ処理部２７による色空間フィルタ処理（Ｓ２０：色空間フィルタ処理ステップ）とを含む。

　実空間フィルタ処理は、入力される画像データにおいて、複数の画素のうちの注目画素とこの注目画素の周辺に配置される周辺画素との「実空間上での距離」に基づいて、注目画素及び各周辺画素に対する実空間重み付け係数を算出し、この実空間重み付け係数を用いて注目画素の画素データ及び周辺画素の画素データを加重平均して注目画素の画素データを算出する処理である。

　一方、色空間フィルタ処理は、複数の画素のうちの注目画素とこの注目画素の周辺に配置される周辺画素との「色空間上での距離」に基づいて、注目画素及び各周辺画素に対する色空間重み付け係数を算出し、この色空間重み付け係数を用いて注目画素の画素データ及び周辺画素の画素データを加重平均して注目画素の画像データを算出する処理である。

　したがって、ノイズリダクション処理部２５に入力される画像データは、実空間上での距離に基づく実空間フィルタ処理を受けた後に、色空間上での距離に基づく色空間フィルタ処理を受けることで、画像ノイズの低減された状態でノイズリダクション処理部２５から出力される。

　なお、ノイズリダクション処理部２５に入力される前の画像データ及びノイズリダクション処理部２５から出力された後の画像データは、メモリ１５に記憶保存される。

　＜実空間フィルタ処理＞
　次に、実空間フィルタ処理の詳細について説明する。

　ここでいう「実空間上の距離」とは、画像データの複数画素間の画像上における実際の距離を反映する指標であり、処理対象の画素（注目画素）と他の周辺の画素（周辺画素）との距離を直接的又は間接的に示す。したがって、画素間の実際の距離を直接的に「実空間上の距離」と言うこともできるし、画素間の実際の距離を表す他の指標（パラメータ）を用いて画素間の実際の距離を間接的に表したものを「実空間上の距離」と言うこともできる。

　図４は、複数の画素の配置例を示す模式図である。画像データは複数の画素の画素データの集合によって構成され、この画像データ（各画素データ）が実空間フィルタ処理部２６において画像処理される。

　実空間フィルタ処理部２６において処理の基準となる「実空間上の距離」に関し、例えば図４において注目画素を「５０Ａ」で表した場合、注目画素５０Ａと図４の「周辺画素５０Ｂ」との実空間上の距離は「３画素」相当となり、注目画素５０Ａと図４の「周辺画素５０Ｃ」との実空間上の距離は「５画素」相当になる。

　また、例えば図４の「周辺画素５０Ｄ」と注目画素５０Ａとの距離は厳密には「（３^２＋３^２）^１／２画素」に相当する。ただし、周辺画素５０Ｄは注目画素に対して水平方向及び垂直方向に３画素ずれた位置に配置されることから、注目画素に対する実空間上の距離が「３画素」相当である他の周辺画素（例えば画素５０Ｂ）と同様の重み付け処理をこの周辺画素５０Ｄに対して行うようにしてもよい。このように、厳密な「実空間上での距離」が必ずしも用いられる必要はなく、「実空間上での距離」を間接的に用いて実空間重み付け係数が決められてもよい。

　次に、実空間フィルタ処理の具体例について、処理対象の画像データが、ＲＧＢ／ＹＣ変換処理（図２のＲＧＢ／ＹＣ変換部３６参照）により得られる輝度に関する画像データ（輝度データＹ）と色差に関する画像データ（色差データＣｒ、Ｃｂ）とを含む場合について説明する。

　実空間フィルタ処理部２６は、入力される輝度データ及び色差データの各々に対して、実空間重み付け係数の算出及び加重平均を行って画素データを算出する。

　本例の実空間フィルタ処理部２６が行う実空間重み付け係数の算出及び画素データの加重平均は、エッジ保存型のフィルタ処理を含み、特に色差に関する画像データに対し、エッジ保存型のフィルタ処理に基づいて実空間重み付け係数の算出及び画素データの加重平均を行う。

　図５Ａ及び図５Ｂは、実空間フィルタ処理において用いられる実空間フィルタを例示するものである。図５Ａは水平１次元７タップフィルタと垂直１次元７タップフィルタとが組み合わされた分離型の実空間フィルタを示し、図５Ｂは水平垂直方向の７×７タップフィルタから成る行列型（２次元）の実空間フィルタを示す。

　これら実空間フィルタのうち、図５Ｂに示す実空間フィルタはエッジ保存型のフィルタを構成する。すなわち、図５Ｂに示す実空間フィルタを用いた場合、注目画素（自画素）と周辺画素との画素データの差分絶対値が所定の閾値以内にあれば、その集合の範囲で画像データ（本例では色差データ）の平均値が算出される。したがって、注目画素の画素データとの差分絶対値が「所定の閾値以内にある画素データ」を有する周辺画素は、注目画素の画素データの実空間フィルタ処理における使用対象画素となるが、注目画素の画素データとの差分絶対値が「所定の閾値を超える画素データ」を有する周辺画素は、注目画素の画素データの実空間フィルタ処理における使用対象画素から外される。

　エッジ保存型のフィルタを用いると、単純な実空間フィルタを用いる場合と比べ、注目画素及び／又は周辺画素の画素データがインパルス性の強いノイズを含む場合であっても、色境界での色滲みや色抜けの発生を効果的に抑えつつ、ノイズを良好に低減することができる。特に、エッジ保存型の実空間フィルタによる実空間フィルタ処理を後段の色空間フィルタ処理と組み合わせることで、高感度撮影時に多く発生する色ノイズを相乗的に低減することができ、また画像に含まれるエッジ（色境界部分）を良好に保存することもできる。

　本例では、輝度データに対しては図５Ａに示す分離型の実空間フィルタが用いられ、色差データに対しては図５Ｂに示す行列型の実空間フィルタが用いられる。

　例えば図５Ａに示す分離型の実空間フィルタを輝度データに適用する場合、処理対象の注目画素と周辺画素とに対して図５Ａに示す重み付け係数（実空間重み付け係数：実空間フィルタ係数）による加重平均演算が行われる。すなわち水平方向に関して、注目画素に対する重み付け係数が「４」に設定され、注目画素に対して１画素分ずれた位置に隣接する周辺画素に対する重み付け係数が「３」に設定され、注目画素に対して水平方向に２画素分ずれた位置の周辺画素に対する重み付け係数が「２」に設定され、注目画素に対して水平方向に２画素分ずれた位置の周辺画素に対する重み付け係数が「１」に設定される。これらの重み付け係数と対応の画素の輝度データ（画素値）との積を、重み付け係数の総和で割った値が注目画素の輝度データ（画素値）として割り当てられる。同様に、垂直方向に関しても注目画素と周辺画素に対する重み付け係数の算出及び加重平均の算出が行われ、注目画素の輝度データ（画素値）として割り当てられる。輝度データに対する実空間フィルタ処理は、エッジ（境界部）を明確にする効果が高い。

　水平１次元フィルタ及び垂直１次元フィルタの両フィルタによる演算を組み合わせることで、演算処理回路の構成を比較的シンプルにすることができる一方で、実質的には注目画素を含む水平垂直方向（２次元）に関して実空間フィルタ処理が行われることになる。

　一方、図５Ｂに示す行列型の実空間フィルタを色差データに適用する場合、処理対象の注目画素と周辺画素とに対して図５Ｂに示す重み付け係数（色空間重み付け係数：フィルタ係数）による加重平均演算が行われる。図５Ｂに示す例では、注目画素を含むＭ×Ｍ画素（本例ではＭ＝７）のすべてに対して重み付け係数が「１」に設定されており、これらの重み付け係数と対応の画素の色差データ（画素値）との積を、重み付け係数の総和で割った値が注目画素の色差データ（画素値）として割り当てられる。

　特に本例では、上述のエッジ保存型のフィルタとして図５Ｂに示す実空間フィルタが構成されており、注目画素（自画素）と周辺画素との差分絶対値が所定の閾値以内にあれば、その集合の範囲で画像データ（本例では色差データ）の平均値が算出される。

　実空間フィルタ処理部２６は、上述の図５Ａ及び図５Ｂに示されるフィルタを用いた実空間フィルタ処理を、注目画素を順次切り替えながら、全画素の輝度データ及び色差データに適用する。これにより、実空間フィルタ処理が施された画像データ（輝度データ及び色差データ）が算出される。実空間フィルタ処理部２６から出力される画像データ（輝度データ及び色差データ）は、後段の色空間フィルタ処理部２７に送られ、またメモリ１５にも保存されてもよい。

　なお、上述の実空間フィルタ処理は例示に過ぎず、実空間上の距離に基づく他の処理が実空間フィルタ処理部２６において行われてもよい。例えば図５Ａ及び図５Ｂに示す実空間フィルタのフィルタ係数は一例に過ぎず、他の画像処理や画像データの撮影条件（ＩＳＯ感度、ホワイトバランス補正値等）等に応じて、他のフィルタ係数が注目画素及び周辺画素の各々に適宜割り当てられてもよい。また、図５Ａ及び図５Ｂに示す実空間フィルタは注目画素を含む７×７画素の画素値を使用しているが、より多くの若しくはより少ない画素数の画素値を使用するようにしてもよい。

　また、上述の例では色差データに対してのみエッジ保存型の実空間フィルタが適用される例について説明したが、少なくとも色差データに対して、実空間重み付け係数の算出及び加重平均をエッジ保存型のフィルタ処理に基づいて行えばよい。したがって、輝度データに対しても、図５Ｂに示すようなエッジ保存型の実空間フィルタが適用されてもよい。

　＜色空間フィルタ処理＞
　次に、色空間フィルタ処理の具体例について説明する。

　本例では、輝度（Ｙ）及び色差（Ｃｂ／Ｃｒ）に基づく色空間が用いられ、色空間フィルタ処理部２７に入力される処理対象の画像データは輝度データと色差データとを含む。色空間フィルタ処理部２７は、輝度データ及び色差データが入力され、輝度データを用いて、色差データに対し、色空間重み付け係数の算出及び加重平均を行って画素データを算出する。

　すなわち、色空間フィルタ処理部２７は、実空間フィルタ処理部２６が算出した画素データ（輝度データ、色差データ）を、「注目画素と周辺画素との色空間上での距離を求めるために用いる画素データ」及び「色空間重み付け係数による加重平均のために用いる画素データ」として用いる。実空間フィルタ処理部２６が算出した画素データ（輝度データ、色差データ）は、実空間フィルタ処理部２６から色空間フィルタ処理部２７に直接送信されてもよいし、実空間フィルタ処理後の画像データが保存されたメモリ１５から色空間フィルタ処理部２７や制御部１４によって読み出されて色空間フィルタ処理部２７に入力されてもよい。

　まず図６Ａから図６Ｄを参照して、色空間フィルタ処理の概念について説明する。

　図６Ａから図６Ｄは、色空間上での距離に基づくノイズ低減処理の一例を示す概念図である。図６Ａから図６Ｄでは、Ｙ（輝度）、Ｃｂ／Ｃｒ（色差）のカラー画像から任意の処理範囲（図６Ａでは、中央の注目画素及びその周りの周辺画素を含む５×５画素の範囲）の画像データ（画素データ）が取り出されたケースが示されている。

　図６Ｂは、この取り出された処理範囲の全画素（５×５画素）を、Ｙ／Ｃｂ／Ｃｒ色空間上にプロットしたものの一例を示す。

　仮に、取り出された処理範囲が平坦な画像（各画素の明るさ、色相、彩度がそれぞれ同一）であるとすると、色空間上にプロットされるデータは、正規分布に似た形にばらつく。このバラツキをノイズと想定すると、バラツキを小さくすることがノイズを低減させることになる。ノイズが色空間上で正規分布に似たバラツキを持つことから、バラツキの中心において最もデータの密度が高くなり、バラツキの中心から離れるほどデータの密度が低くなる。

　これを踏まえ、取り出された処理範囲の中心画素を注目画素（対象画素）とし、注目画素と、処理範囲内の全ての画素（注目画素も含む）との色空間上の距離が計算される（図６Ｃ参照）。

　そして、色空間上の距離が注目画素に近い周辺画素ほど有用であると考え、その周辺画素の画素データに対する重み付けを大きくする。このようにして、全ての画素（５×５画素）の各々に対して色空間上での距離に応じた重み付け係数（色空間重み付け係数：色空間フィルタ係数）が求められ、求められた重み付け係数を用いて全画素（５×５画素）の画像データ（画素データ）を加重平均することで、注目画素の画像データを算出する。

　これにより、注目画素の画像データを色空間上において密度の高い方に近づけることができる。このような色空間フィルタ処理を全ての画素に対して同様に適用することで、色空間上における画像全体のバラツキを小さくして、ノイズを低減することができる（図６Ｄ）。

　なお、上記処理範囲がエッジ上にある場合、色空間上にプロットされる画像データは、複数の画素群（複数のカタマリ）に分かれる。注目画素が、ある画素群に属する場合には、その画素群を構成する画素は注目画素と距離が近いため重み付け係数が大きくなり、その他の画素群を構成する画素は注目画素から距離が遠いため重み付け係数が小さくされる。その結果、加重平均された注目画素の画像データ（画素データ）は平滑されず、エッジが良好に保持される。

　例えば高感度撮影時などは画像ノイズが多く発生するため、色空間上でのばらつきが大きい状態で各画素データは分布されるが、図６Ａから図６Ｄは、上述のようにして注目画素を出現頻度の高い方向に近づけることで、全体のばらつきを抑えてノイズ低減を行うことできることを表している。

　次に、色空間フィルタ処理の具体的な処理例について説明する。

　図７は、実空間フィルタ処理と色空間フィルタ処理の関係を示す図であり、図８は色空間フィルタ用フィルタ係数の算出の流れを示す図である。

　入力画像データ（輝度データＹ、色差データＣｂ、Ｃｒ）は、実空間フィルタ処理部２６において実空間フィルタ処理を受け（図７のＳ１０）、色空間フィルタ処理部２７に出力される。

　色空間フィルタ処理部２７では、色空間フィルタ処理が行われる（Ｓ２０）。具体的には、色空間フィルタ処理部２７に入力された画像データ（輝度データＹ、色差データＣｂ、Ｃｒ）から色空間フィルタ用フィルタ係数が算出され（Ｓ２１）、この色空間フィルタ用フィルタ係数が用いられて色空間上におけるフィルタ係数の加重平均処理が行われる（Ｓ２２）。

　色空間フィルタ用フィルタ係数の算出するステップ（Ｓ２１）は、輝度データ及び色差データの各々について色空間上における距離が算出される工程（図８のＳ２１１）と、輝度データ及び色差データに関する色空間上の距離の加重和が算出される工程（Ｓ２１２）と、輝度データ及び色差データに関する色空間上の距離の加重和に応じた重み付け（色空間フィルタ用フィルタ係数）が求められる工程（Ｓ２１３）とを含む。

　これらのＳ２１１～Ｓ２３３の一例について、以下の式（１）～（４）を参照して説明する。
＜式（１）＞
ｄ_ｙ＝｜自画素のＹデータ画素値－周辺画素のＹデータ画素値｜×係数Ａ
＜式（２）＞
ｄ_ｃｂ＝｜自画素のＣｂデータ画素値－周辺画素のＣｂデータ画素値｜×係数Ｂ
＜式（３）＞
ｄ_ｃｒ＝｜自画素のＣｒデータ画素値－周辺画素のＣｒデータ画素値｜×係数Ｃ
＜式（４）＞
Ｄｃ＝係数Ｘ×（ｄ_ｙ+ｄ_ｃｂ+ｄ_ｃｒ）
　輝度データ及び色差データの各々に関して色空間上における距離を算出する工程（Ｓ２１１）は、色空間フィルタ処理部２７の距離算出回路によって行われる。具体的には、注目画素を中心とする所定の処理領域（図６Ａから図６Ｄでは５×５画素の処理領域）のＹ／Ｃｂ／Ｃｒの画像データが使用され、注目画素とその周辺画素とのＹ／Ｃｂ／Ｃｒ色空間上の距離ｄ_ｙ、ｄ_ｃｂ、ｄ_ｃｒが、上記式（１）～式（３）によって算出される。

　すなわち、Ｙ／Ｃｂ／Ｃｒの画像データの各々に関して、注目画素（自画素）の画素データと周辺画素の画素データとの差の絶対値（差分絶対値：色空間上の距離）が求められ、Ｙ画像データ（輝度データ）の差の絶対値に対しては係数Ａが掛けられてＹに関する色空間上の距離ｄ_ｙが求められ、Ｃｂ画像データ（色差データ）の差の絶対値に対しては係数Ｂが掛けられてＣｂに関する色空間上の距離ｄ_ｃｂが求められ、Ｃｒ画像データ（色差データ）の差の絶対値に対しては係数Ｃが掛けられてＣｒに関する色空間上の距離ｄ_ｃｒが求められる。

　そして、距離算出回路は、上記式（４）によって、輝度データ及び色差データに関する色空間上の距離の加重和を算出する（Ｓ２１２）。すなわち、Ｙ／Ｃｂ／Ｃｒの画像データの各々に関して算出したＹ／Ｃｂ／Ｃｒ色空間上の距離ｄ_ｙ、ｄ_ｃｂ、ｄ_ｃｒの和が求められ、この和に係数Ｘが掛け合わされて、周辺画素の注目画素に対するＹ／Ｃｂ／Ｃｒ色空間上の距離Ｄｃが求められる。

　なお、上式（１）～式（４）において用いられる係数Ａ、Ｂ、Ｃ及びＸは、各画素データの重みを決める値であり、具体的な装置や撮影環境等に基づいて個別的に定められる設計値としうる。例えば、色空間フィルタ処理において、Ｙ（輝度）の影響を重視する場合には式（１）における係数Ａの値が相対的に大きくなり、またＣｂ（色差）の影響を重視する場合には式（２）における係数Ｂの値が相対的に大きくなり、またＣｒ（色差）の影響を重視する場合には式（３）における係数Ｃの値が相対的に大きくなる。また、色空間フィルタ処理における、これらの画像データ（輝度データ／色差データ）全体の影響を重視する場合には、式（４）における係数Ｘの値が相対的に大きくなる。一方、各画素データの重みの影響を低減させる場合には、これらの係数Ａ、Ｂ、Ｃ及びＸのうちの対応する係数が相対的に小さくなる。

　そして、輝度データ及び色差データに関する色空間上の距離の加重和Ｄｃに応じた重み付け（色空間フィルタ用フィルタ係数）を求める工程（Ｓ２１３）が、色空間フィルタ処理部２７の重み付け係数算出回路において行われる。

　図９は、色空間上の距離と重み付け係数との関係を示すグラフの一例であり、Ｘ軸は色空間上の距離（評価値：式（４）による算出結果Ｄｃ）を示し、Ｙ軸は色空間フィルタ用のフィルタ係数（対象画素の重み）を示す。

　図９に示されるように、重み付け係数算出回路は、注目画素との色空間上の距離が近い周辺画素の重み付け係数（色空間フィルタ用フィルタ係数）は大きくなるように、また距離が遠い周辺画素の重み付け係数は小さくなるように、重み付け係数を導出する。なお、自画素の重み付け係数を求める場合、上式（１）～式（４）によって算出される色空間上の距離ｄ_ｙ、ｄ_ｃｂ、ｄ_ｃｒ、Ｄｃはいずれも「０」とみなされ、自画素に最も大きな重み付け係数が割り当てられる。なお、自画素に割り当てる重み付け係数を「０」として、自画素以外の周辺画素の画素データから自画素の画素値が決められるようにしてもよい。

　重み付け係数算出回路は、図９のグラフに示すような「色空間上の距離（評価値）－重み付け係数（フィルタ係数）」の関数を記憶し、この関数に色空間上の距離を代入して重み付け係数を算出するようにしてもよいし、図９のグラフに示す入出力関係を記憶したルックアップテーブル（ＬＵＴ）を備え、このＬＵＴから色空間上の距離に対応する重み付け係数を読み出すようにしてもよい。

　これらの一連のプロセスが、対象とする注目画素及び周辺画素の全画素（図６Ａから図６Ｄでは５×５画素）の各々に対して行われ、注目画素及び各周辺画素に対する色空間フィルタ用のフィルタ係数が算出される。

　色空間フィルタ処理部２７の加重平均処理回路は、算出された色空間フィルタ用フィルタ係数を用いて、色差（Ｃｂ、Ｃｒ）データに対し、色空間上におけるフィルタ係数に基づく加重平均処理を行う（Ｓ２２）。すなわち、加重平均処理回路は、重み付け係数算出回路によって算出した注目画素及び周辺画素の重み付け係数を用いて各画素の画像データ（色差画素値）を加重平均し、注目画素のノイズ除去処理後の画素値を算出する。注目画素の画像上の位置を（ｘ、ｙ）として、図６Ａから図６Ｄに示すように５×５画素を色空間フィルタ処理の対象画素とする場合、加重平均処理回路は、次式の演算を行う。

　＜式（５）＞

　色空間フィルタ処理部２７が有する上記距離算出回路、重み付け係数算出回路及び加重平均処理回路は、注目画素の画像上の位置（ｘ、ｙ）を移動させながら、カラー画像（画像データ）の全画素にわたって処理を行う。これにより、色空間フィルタ処理部２７において色差（Ｃｂ、Ｃｒ）に関する画像データが算出される。

　上述のように、ノイズリダクション処理部２５に入力される画像データ（輝度データ／色差データ）は実空間フィルタ処理及び色空間フィルタ処理を経て、実空間フィルタ処理部２６における処理後の輝度データ及び色空間フィルタ処理部２７における処理後の色差データがノイズリダクション処理部２５から出力される。

　ノイズリダクション処理部２５においてノイズの低減処理が行われたＹ／Ｃｂ／Ｃｒの画像データは、所定の圧縮画像データ（例えば、ＪＰＥＧ形式）に圧縮され（図２の圧縮画像処理部３９参照）、記録媒体への記録等が行われる。

　以上説明したように本実施形態によれば、色空間フィルタ処理に先立って「エッジ保存型のフィルタリング処理」を含む実空間フィルタ処理が行われる。そして、そのエッジ保存型の実空間フィルタリング処理された画像データ（画素データ）を使って後段で色空間フィルタリング処理が行われる。「エッジ保存型の実空間フィルタ処理」及び「色空間フィルタ処理」を組み合わせることで、エッジの保存性を良好に維持しつつ、ノイズ低減の効果を増大することができる。

　＜変形例＞
　以上、本発明の好ましい実施形態について説明したが、本発明は上述の実施形態に限定されるものではなく、他の形態に対しても適宜応用可能である。

　例えば、上述の実施形態では、色空間フィルタ処理部２７において用いられる画素データとして実空間フィルタ処理部によって算出された画素データが用いられる例について説明したが、色空間フィルタ処理部２７において用いられる画素データのうち、少なくとも注目画素の画素データが、実空間フィルタ処理部によって算出された画素データであればよい。

　したがって、色空間フィルタ処理部２７が注目画素と周辺画素との色空間上での距離を求めるために用いる画素データのうち、「注目画素の画素データ」は、実空間フィルタ処理部２６が入力される画像データから算出した画素データであるが、「周辺画素の画素データ」は、実空間フィルタ処理部２６に入力される前の画像データを構成する画素データであってもよい。

　また、色空間フィルタ処理部２７が色空間重み付け係数による加重平均のために用いる画素データのうち、「注目画素の画素データ」は、実空間フィルタ処理部２６が入力される画像データから算出した画素データであるが、「周辺画素の画素データ」は、実空間フィルタ処理部２６に入力される前の画像データを構成する画素データであってもよい。

　このように、周辺画素の画素データとして、実空間フィルタ処理部２６に入力される前の画像データを構成する画素データを使用することで、画像本来のディテールを維持するのに効果があるという側面がある。なお、実空間フィルタ処理部２６に入力される前の画像データを構成する画素データは、メモリ１５に保存され、制御部１４や色空間フィルタ処理部２７によってメモリ１５から適宜読み出されることで取得可能である。

　また上述の実施形態では、実空間フィルタ処理部２６及び色空間フィルタ処理部２７の各々において用いられる画素データの対象となる周辺画素は、相互に隣接しており（７×７画素、５×５画素）、実空間フィルタ処理部２６及び色空間フィルタ処理部２７の各々において用いられる画素データの対象となる注目画素及び他の周辺画素のうち少なくともいずれかに隣接する。しかしながら、周辺画素は必ずしも相互に隣接する必要はなく、離散配置された周辺画素が用いられてもよい。

　図１０は、色空間フィルタ処理部２７における注目画素及び周辺画素の他の配置例について示す図である。図１０では、中央の注目画素５０Ａと周辺画素５０Ｅとが、７×７（＝４９）画素によって構成されており、水平方向及び垂直方向に並置される注目画素と周辺画素は５画素相当離間して配置される。したがって、色空間フィルタ処理部２７において用いられる画素データの対象となる各周辺画素５０Ｅは、色空間フィルタ処理部２７において用いられる画素データの対象となる注目画素５０Ａ及び他の周辺画素５０Ｅのいずれとも隣接しない。

　離散配置された周辺画素を用いることによって、色空間フィルタ処理の演算量を抑えつつ、広範囲の画像データに基づいて色空間フィルタ処理を行うことができる。画像データにおける色成分（色差成分を含む）は、一般に低周波成分となる傾向があるため、図１０に示すような広範囲にわたる画像データに基づいて色成分に関する画像データの色空間フィルタ処理を行うことで、より一層優れたノイズ低減効果を期待することができる。

　また上述の実施形態では、色空間が輝度／色差（Ｙ／Ｃｂ／Ｃｒ）データに基づく場合について説明したが、色空間は他の色要素によって定められてもよく、例えばＲＧＢに基づく色空間が用いられてもよい。この場合、実空間フィルタ処理部２６及び色空間フィルタ処理部２７には、ＲＧＢの各々の画像データが入力され、ＲＧＢの各々の画像データに対して実空間フィルタ処理及び色空間フィルタ処理が施されることが好ましい。またこの場合、色空間フィルタ処理部２７は、ＲＧＢの全ての色に関する色空間上の距離の総和に基づいて色空間フィルタ処理を行うことが好ましい。このようにＲＧＢデータの画像処理を行う場合にも、ＲＧＢ間でのデータのばらつきを抑えることができ、色ノイズ及び輝度ノイズを効果的に低減することができる。

　ＲＧＢの画像データが実空間フィルタ処理部２６及び色空間フィルタ処理部２７に入力される場合、ノイズリダクション処理はデモザイク処理（図２のデモザイク処理部３５参照）の前後いずれで行われてもよいが、デモザイク処理後にノイズリダクション処理を行うほうが処理プロセスを単純化することができる。

　なお、実空間フィルタ処理部２６及び色空間フィルタ処理部２７における処理対象がＲＧＢの画像データの場合、ＲＧＢの色に関する画像データに加えて、輝度に関する画像データが更に用いられてもよい。この場合、実空間フィルタ処理部２６は、輝度Ｙに関する画像データ及び色に関する画像データのうち少なくとも色に関する画像データに対して、実空間重み付け係数の算出及び画素データの加重平均をエッジ保存型のフィルタ処理に基づいて行う。また色空間フィルタ処理部２７は、実空間フィルタ処理部２６が算出したＲＧＢの色に関する画像データ及び輝度Ｙに関する画像データを用いて、注目画素及び周辺画素の画素データから色空間上の距離を求めて、この距離に基づく加重平均処理を行うことができる。このように色差データの代わりにＲＧＢデータの画像処理を行う場合にも、輝度データを用いて色空間フィルタ処理を行うことで、ＲＧＢ間でのデータのばらつきを効果的に抑えてノイズを低減することができる。

　また、上述の実施形態では周辺画素の範囲が５×５画素又は７×７画素に設定される例について説明したが、周辺画素の範囲はこの範囲に限定されるものではなく、画像データを撮像取得する撮影モードや撮影条件等に基づいて、大きさの異なる複数の処理範囲のうちのいずれかの処理範囲が選択されるようにしてもよい。例えば高感度で撮影する場合には、画像信号のゲインがアップされてノイズが大きくなるため、処理範囲選択回路によって、高感度撮影時には注目画素及び周辺画素を含む処理範囲として大きな処理範囲が選択されるようにすることが好ましい。このように処理範囲を大きくすることで、広範囲の周辺画素の情報に基づいて注目画素のノイズ低減処理が行われるため、大きなノイズ低減効果を期待することができる。一方、連写モード等のように処理スピードを速くする場合や低消費電力モードの場合には、画像処理量を減少させるために、処理範囲選択回路によって、注目画素及び周辺画素を含む処理範囲として小さな処理範囲が選択されるようにすることが好ましい。

　また、上述の実施形態では単一の色空間（ＹＣｂＣｒ色空間又はＲＧＢ色空間）に基づく色空間フィルタ処理が行われる例について説明したが、複数タイプの色空間フィルタ処理が組み合わされてもよい。例えば、色空間フィルタ処理部２７は、「ＲＧＢ色空間に基づくＲＧＢデータの色空間フィルタ処理」及び「ＹＣｂＣｒ色空間に基づく輝度データ／色差データの色空間フィルタ処理」の両処理を行うことができる。すなわち、ＲＧＢ／ＹＣ変換処理（図２のＲＧＢ／ＹＣ変換部３６参照）の前にＲＧＢ色空間に基づくＲＧＢデータの色空間フィルタ処理」が行われ、ＲＧＢ／ＹＣ変換処理の後に「ＹＣｂＣｒ色空間に基づく輝度データ／色差データの色空間フィルタ処理」が行われてもよい。このように、異なる色空間のノイズ低減処理を行うことで、特性の異なるノイズを効果的に低減することができる。

　また、色空間フィルタ処理部２７は、色チャンネル毎に異なる重み付け係数を設定するようにしてもよい。例えば高感度撮影時には色ノイズが顕著になるため、色空間フィルタ処理部２７は、高感度撮影時の色差データＣｂ、Ｃｒに対する重み付け係数が通常撮影時よりも大きくなるようにしてもよい。一方、輝度データに対してエッジ強調処理が行われると、輝度データのノイズが大きくなるため、通常撮影時には、輝度データに対する重み付け係数が、色差データに対する重み付け係数よりも大きくなるようにしてもよい。

　また、色空間フィルタ処理において、色空間上の距離が中距離にある周辺画素を重視し、中距離の周辺画素に対する重み付け係数が大きくなるように重み付け係数が算出されてもよい。一様に分布したノイズは、色空間上の距離が近距離の周辺画素（注目画素を含む）の画素値の重み付けを大きくすることで低減できるが、インパルス性の強いノイズは、自分自身（注目画素）の画素値の影響を受けやすいため、同様の処理ではノイズの低減効果が小さくなりうる。色空間上の距離が中距離の周辺画素に対する重み付け係数を大きくすることで、注目画素の画素データがインパルス性の強いノイズ成分を含む場合であってもその影響を受け難くすることができ、ノイズ低減効果を大きくすることができる。

　また、色空間フィルタ処理部２７は、非線形変換を行う非線形変換回路を含んでいてもよく、この非線形変換回路によって、比較的弱いノイズを画像データに残存させる一方で、比較的強いノイズを画像データから取り除くことができる。すなわち、非線形変換回路において、色空間フィルタ処理が施される前の画像データ（元画像データ）と色空間フィルタ処理が施された後の画像データ（処理後画像データ）とが減算されて、ノイズ成分を表す差分値（減算値）が算出される。この差分値のうち、値が比較的小さな弱いノイズを表す部分は出力されず、値が比較的大きな強いノイズを表す部分のみが非線形変換回路から出力される。この非線形変換回路からの出力値を減算回路において元画像データに適用して、強いノイズ成分のみが元画像データから減算するようにしてもよい。このように、比較的弱いノイズ成分を画像データに残存させることで画像のディテールを残すことができ、また視覚上目立つ比較的強いノイズ成分が画像データから取り除かれることになる。

　また、上記実施形態ではデジタルカメラについて説明したが、撮影装置の構成はこれに限定されない。本発明を適用可能な他の撮影装置（撮像装置）としては、例えば、内蔵型又は外付け型のＰＣ用カメラ、或いは、撮影機能を有する携帯端末装置とすることができる。また、上述の各処理ステップをコンピュータに実行させるプログラムに対しても、本発明を適用することが可能である。本発明が適用されるコンピュータ（各処理ステップを実行させるプログラムがインストールされたコンピュータを含む）に撮像デバイスから画像データ（ＲＡＷデータ、圧縮画像データ等）が送信されてくると、このコンピュータにおいて上述のノイズリダクション処理等が行われる。

　本発明の画像処理装置を備える携帯端末装置の例として、携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。

　＜スマートフォンの構成＞
　図１１は、本発明の撮像装置の一実施形態であるスマートフォン１０１の外観を示すものである。図１１に示すスマートフォン１０１は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となった表示入力部１２０を備えている。また、係る筐体１０２は、スピーカ１３１と、マイクロホン１３２、操作部１４０と、カメラ部１４１とを備えている。なお、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

　図１２は、図１１に示すスマートフォン１０１の構成を示すブロック図である。図１２に示すように、スマートフォンの主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１００とを備える。また、スマートフォン１０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

　無線通信部１１０は、主制御部１００の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

　表示入力部１２０は、主制御部１００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル１２１と、操作パネル１２２とを備える。

　表示パネル１２１は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１００に出力する。次いで、主制御部１００は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

　図１１に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン１０１の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成しているが、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

　なお、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル１２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

　通話部１３０は、スピーカ１３１やマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザーの音声を主制御部１００にて処理可能な音声データに変換して主制御部１００に出力したり、無線通信部１１０あるいは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力するものである。また、図１１に示すように、例えば、スピーカ１３１を表示入力部１２０が設けられた面と同じ面に搭載し、マイクロホン１３２を筐体１０２の側面に搭載することができる。

　操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１１に示すように、操作部１４０は、スマートフォン１０１の筐体１０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

　記憶部１５０は、主制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２により構成される。なお、記憶部１５０を構成するそれぞれの内部記憶部１５１と外部記憶部１５２は、フラッシュメモリタイプ（ｆｌａｓｈ　ｍｅｍｏｒｙ　ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ　ｄｉｓｋ　ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ　ｃａｒｄ　ｍｉｃｒｏ　ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

　外部入出力部１６０は、スマートフォン１０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ　Ｄａｔａ　Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ　Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

　スマートフォン１０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ　ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン１０１の内部の各構成要素に伝達することや、スマートフォン１０１の内部のデータが外部機器に伝送されるようにしてもよい。

　ＧＰＳ受信部１７０は、主制御部１００の指示に従って、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０や外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

　モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１００の指示に従って、スマートフォン１０１の物理的な動きを検出する。スマートフォン１０１の物理的な動きを検出することにより、スマートフォン１０１の動く方向や加速度が検出される。係る検出結果は、主制御部１００に出力されるものである。

　電源部１９０は、主制御部１００の指示に従って、スマートフォン１０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

　主制御部１００は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１０１の各部を統括して制御するものである。また、主制御部１００は、無線通信部１１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

　アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

　また、主制御部１００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１００が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部１２０に表示する機能のことをいう。

　更に、主制御部１００は、表示パネル１２１に対する表示制御と、操作部１４０、操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。

　表示制御の実行により、主制御部１００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

　また、操作検出制御の実行により、主制御部１００は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

　更に、操作検出制御の実行により主制御部１００は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）か、それ以外の表示パネル１２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル１２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

　また、主制御部１００は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

　カメラ部１４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部１４１は、主制御部１００の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　ｃｏｄｉｎｇ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部１５０に記録したり、入出力部１６０や無線通信部１１０を通じて出力することができる。図１１に示すようにスマートフォン１０１において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０の背面に搭載されてもよいし、あるいは、複数のカメラ部１４１が搭載されてもよい。なお、複数のカメラ部１４１が搭載されている場合には、撮影に供するカメラ部１４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部１４１を同時に使用して撮影することもできる。

　また、カメラ部１４１はスマートフォン１０１の各種機能に利用することができる。例えば、表示パネル１２１にカメラ部１４１で取得した画像を表示することや、操作パネル１２２の操作入力のひとつとして、カメラ部１４１の画像を利用することができる。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像を参照して位置を検出することもできる。更には、カメラ部１４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン１０１のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。

　その他、静止画又は動画の画像データにＧＰＳ受信部１７０により取得した位置情報、マイクロホン１３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部１８０により取得した姿勢情報等などを付加して記憶部１５０に記録したり、入出力部１６０や無線通信部１１０を通じて出力することもできる。

１０…撮像デバイス、１１…撮像部、１２…レンズ、１３…撮像素子、１４…制御部、１５…メモリ、１６…表示部、１７…操作部、１８…信号入出力Ｉ／Ｆ、２２…画像処理部、２４…画像処理回路、２５…ノイズリダクション処理部、２６…実空間フィルタ処理部、２７…色空間フィルタ処理部、３１…リニア前処理部、３２…ＷＢ補正部、３３…露出補正部、３４…γ補正部、３５…デモザイク処理部、３６…ＲＧＢ／ＹＣ変換部、３７…輪郭補正部、３８…色調補正部、３９…圧縮画像処理部、１００…主制御部、１０１…スマートフォン、１０２…筐体、１１０…無線通信部、１２０…表示入力部、１２１…表示パネル、１２２…操作パネル、１３０…通話部、１３１…スピーカ、１３２…マイクロホン、１４０…操作部、１４１…カメラ部、１５０…記憶部、１５１…内部記憶部、１５２…外部記憶部、１６０…外部入出力部、１７０…ＧＰＳ受信部、１８０…モーションセンサ部

Claims (12)

1. 　複数の画素の画素データの集合から構成される画像データを処理する画像処理装置であって、
   　入力される画像データにおいて、前記複数の画素のうちの注目画素と当該注目画素の周辺に配置される周辺画素との実空間上での距離に基づき各周辺画素に対する実空間重み付け係数を算出し、当該実空間重み付け係数を用いて前記注目画素の画素データ及び前記周辺画素の画素データを加重平均して前記注目画素の画素データを算出する実空間フィルタ処理部と、
   　前記複数の画素のうちの注目画素と当該注目画素の周辺に配置される周辺画素との色空間上での距離に基づき各周辺画素に対する色空間重み付け係数を算出し、当該色空間重み付け係数を用いて前記注目画素の画素データ及び前記周辺画素の画素データを加重平均して前記注目画素の画素データを算出する色空間フィルタ処理部と、を備え、
   　前記実空間フィルタ処理部が行う前記実空間重み付け係数の算出及び画素データの前記加重平均は、エッジ保存型のフィルタ処理に基づいており、
   　前記色空間フィルタ処理部において用いられる前記画素データのうち少なくとも前記注目画素の画素データは、前記実空間フィルタ処理部によって算出された前記画素データである画像処理装置。
2. 　前記画像データは、色に関する画像データを含み、
   　前記実空間フィルタ処理部は、前記色に関する画像データに対し、前記実空間重み付け係数の算出及び画素データの前記加重平均をエッジ保存型のフィルタ処理に基づいて行う請求項１に記載の画像処理装置。
3. 　前記画像データは、輝度に関する画像データ及び色差に関する画像データを含み、
   　前記実空間フィルタ処理部は、前記輝度に関する画像データ及び前記色差に関する画像データのうち少なくとも前記色差に関する画像データに対し、前記実空間重み付け係数の算出及び画素データの前記加重平均をエッジ保存型のフィルタ処理に基づいて行う請求項１に記載の画像処理装置。
4. 　前記色空間フィルタ処理部が前記注目画素と前記周辺画素との色空間上での距離を求めるために用いる前記画素データのうち、前記注目画素の画素データは、前記実空間フィルタ処理部が算出した前記画素データであり、前記周辺画素の画素データは、前記実空間フィルタ処理部に入力される前の画像データを構成する画素データである請求項１から３のいずれか１項に記載の画像処理装置。
5. 　前記色空間フィルタ処理部が前記色空間重み付け係数による前記加重平均のために用いる画素データのうち、前記注目画素の画素データは、前記実空間フィルタ処理部が算出した前記画素データであり、前記周辺画素の画素データは、前記実空間フィルタ処理部に入力される前の画像データを構成する画素データである請求項１から４のいずれか１項に記載の画像処理装置。
6. 　前記色空間フィルタ処理部は、前記実空間フィルタ処理部が算出した前記画素データを用いて、前記注目画素と前記周辺画素との前記色空間上での距離を求めて前記色空間重み付け係数による前記加重平均を行う請求項１から３のいずれか１項に記載の画像処理装置。
7. 　前記実空間フィルタ処理部及び前記色空間フィルタ処理部の各々において用いられる前記画素データの対象となる前記周辺画素は、前記実空間フィルタ処理部及び前記色空間フィルタ処理部の各々において用いられる前記画素データの対象となる前記注目画素及び他の周辺画素のうち少なくともいずれかに隣接する請求項１から６のいずれか１項に記載の画像処理装置。
8. 　前記色空間フィルタ処理部において用いられる前記画素データの対象となる前記周辺画素は、前記色空間フィルタ処理部において用いられる前記画素データの対象となる前記注目画素及び他の周辺画素のいずれとも隣接しない請求項１から６のいずれか１項に記載の画像処理装置。
9. 　前記色空間は、ＲＧＢに基づく請求項１から８のいずれか１項に記載の画像処理装置。
10. 　前記色空間は、輝度及び色差に基づく請求項１から８のいずれか１項に記載の画像処理装置。
11. 　前記実空間フィルタ処理部は、輝度に関する画像データ及び色差に関する画像データが入力され、前記輝度に関する画像データ及び前記色差に関する画像データの各々に対し、前記実空間重み付け係数の算出及び前記加重平均を行って画素データを算出し、
    　前記色空間フィルタ処理部は、前記輝度に関する画像データ及び前記色差に関する画像データが入力され、当該輝度に関する画像データを用いて、前記色差に関する画像データに対し、前記色空間重み付け係数の算出及び前記加重平均を行って画素データを算出し、
    　前記実空間フィルタ処理部において算出された前記画素データに基づく輝度に関する画像データと、前記色空間フィルタ処理部において算出された画素データに基づく色差に関する画像データとを出力する請求項１０に記載の画像処理装置。
12. 　複数の画素の画素データの集合から構成される画像データを処理する画像処理方法であって、
    　入力される画像データにおいて、前記複数の画素のうちの注目画素と当該注目画素の周辺に配置される周辺画素との実空間上での距離に基づき各周辺画素に対する実空間重み付け係数を算出し、当該実空間重み付け係数を用いて前記注目画素の画素データ及び前記周辺画素の画素データを加重平均して前記注目画素の画素データを算出する実空間フィルタ処理ステップと、
    　前記複数の画素のうちの注目画素と当該注目画素の周辺に配置される周辺画素との色空間上での距離に基づき各周辺画素に対する色空間重み付け係数を算出し、当該色空間重み付け係数を用いて前記注目画素の画素データ及び前記周辺画素の画素データを加重平均して前記注目画素の画素データを算出する色空間フィルタ処理ステップと、を備え、
    　前記実空間フィルタ処理ステップで行われる前記実空間重み付け係数の算出及び画素データの前記加重平均は、エッジ保存型のフィルタ処理に基づいており、
    　前記色空間フィルタ処理ステップにおいて用いられる前記画素データのうち少なくとも前記注目画素の画素データは、前記実空間フィルタ処理ステップにおいて算出された前記画素データである画像処理方法。

Images