JP5935649B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関する。

デジタルカメラ等の撮像装置は、所定の撮像センサーを備え、この撮像センサーによる撮像によって撮影画像を取得する。一般的に、撮影画像（画像信号）には、撮像センサーに特有の、例えば、暗電流等に起因するノイズ成分が含まれるが、近年における更なる高画質化の要請に伴い、このノイズ成分を精度よく除去することが求められている。

このような状況に鑑み、従来の画像処理装置において、入力画像を複数の周波数帯に分離して、各周波数帯の周波数成分における低周波成分からエッジ強度を検出して、検出したエッジ強度に基づいてエッジ成分の保存度合いを算出し、高周波成分に対するエッジ成分の保存とノイズ成分の除去を行った後、低周波成分とを再び合成することにより、ノイズの除去とエッジ成分の保存とを同時に行って高画質な画像を得るようにしたものがある（例えば、特許文献１）。

特開２００８−１５７４１号公報

しかしながら、上記特許文献１に記載の画像処理装置では、カラー画像の場合にあっては、ＲＧＢのチャンネル毎に上述した処理によりノイズの除去とエッジ成分の保存を行うのが便宜であるが、チャンネルによってノイズの分布状況が異なる場合には、ノイズが多いチャンネルではエッジ検出の精度が影響されてノイズをエッジとして誤検出してしまい、これが保存されてしまうおそれがある。したがって、カラー画像にあっては、ノイズ除去精度がよくないという問題がある。

本発明の課題は、カラー画像において、エッジ成分の保存精度を良好に保ちながらノイズ除去精度を向上させることができる画像処理装置及び画像処理方法を提供することである。

以上の課題を解決するため、請求項１に記載の発明は、画像処理装置において、
複数の波長領域を含む入力画像を複数の周波数帯における周波数成分に分離する周波数分離部と、
前記複数の波長領域から何れかを選択する波長領域選択部と、
前記複数の周波数帯のそれぞれについて、前記波長領域選択部によって選択された波長領域の周波数成分における低周波成分からエッジ強度を検出するエッジ検出部と、
前記周波数分離部により分離された各周波数帯の周波数成分における高周波成分からノイズ成分を除去するとともに、前記エッジ検出部によって検出されたエッジ強度に基づいて、前記高周波成分に対するエッジ成分の保存を行うノイズ除去部と、
前記複数の周波数帯のそれぞれにおける、前記ノイズ除去部によりノイズ成分が除去されるとともに前記エッジ成分が保存された前記高周波成分を合成する周波数合成部と、
を備え、
前記波長領域選択部は、
前記複数の波長領域のそれぞれについて、前記周波数分離部により分離された各周波数帯の周波数成分における高周波成分からノイズ量を算出するノイズ量算出部と、
前記ノイズ量算出部により得られた前記複数の波長領域毎の高周波成分のノイズ量から最も少ないノイズ量である高周波成分の波長領域を判定する波長領域判定部と
を備え、
前記波長領域判定部によって判定された波長領域を前記複数の波長領域から選択することを特徴とする。

請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記複数の波長領域は、可視波長の赤色領域と緑色領域と青色領域とを含むことを特徴とする。

請求項３に記載の発明は、請求項２に記載の画像処理装置において、
前記複数の波長領域は、前記可視波長の赤色領域と緑色領域と青色領域とから求められる輝度情報を含むことを特徴とする。

請求項４に記載の発明は、請求項１〜３の何れか一項に記載の画像処理装置において、
前記複数の波長領域は、赤外波長領域を含むことを特徴とする。

請求項５に記載の発明は、画像処理方法において、
複数の波長領域を含む入力画像を複数の周波数帯における周波数成分に分離する周波数分離工程と、
前記複数の波長領域から何れかを選択する波長領域選択工程と、
前記複数の周波数帯のそれぞれについて、前記波長領域選択工程において選択された波長領域の周波数成分における低周波成分からエッジ強度を検出するエッジ検出工程と、
前記周波数分離工程において分離された各周波数帯の周波数成分における高周波成分からノイズ成分を除去するとともに、前記エッジ検出工程において検出されたエッジ強度に基づいて、前記高周波成分に対するエッジ成分の保存を行うノイズ除去工程と、
前記複数の周波数帯のそれぞれにおける、前記ノイズ除去工程においてノイズ成分が除去されるとともに前記エッジ成分が保存された前記高周波成分を合成する周波数合成工程と、
を含み、
前記波長領域選択工程は、
前記複数の波長領域のそれぞれについて、前記周波数分離工程において分離された各周波数帯の周波数成分における高周波成分からノイズ量を算出するノイズ量算出工程と、
前記ノイズ量算出工程において得られた前記複数の波長領域毎の高周波成分のノイズ量から最も少ないノイズ量である高周波成分の波長領域を判定する波長領域判定工程と
を含み、
前記波長領域選択工程では、前記波長領域判定工程において判定された波長領域を前記複数の波長領域から選択することを特徴とする。

本発明によれば、カラー画像において、エッジ成分の保存精度を良好に保ちながらノイズ除去精度を向上させることができる。

デジタルカメラの機能的構成を示すブロック図である。 画像処理部のノイズ除去処理に関する回路構成例を示す機能ブロック図である。 エッジ検出部において算出されるエッジ保存係数Ｅについて説明するグラフである。 ノイズ除去部のコアリング処理におけるコアリング特性について説明するグラフである。 ノイズ除去処理に関する動作について説明するフローチャートである。 第２の実施の形態における画像処理部のノイズ除去処理に関する回路構成例を示す機能ブロック図である。 第３の実施の形態における画像処理部のノイズ除去処理に関する回路構成例を示す機能ブロック図である。

以下、本発明の実施の形態について図面を参照しながら説明する。なお、発明の範囲は図示例に限定されない。

（第１の実施の形態）
図１は、第１の実施の形態に係る画像処理装置が適用される撮像装置の一例であるデジタルカメラ１の概略的な機能ブロック図を示している。図１に示すように、デジタルカメラ１は、レンズ部２、撮像センサー３、アンプ４、Ａ／Ｄ変換部５、画像処理部６、画像メモリー７、制御部８、表示部９及び操作部１０を備えている。

レンズ部２は、被写体光（光像）を取り込むレンズ窓として機能するとともに、この被写体光をカメラ本体の内部に配置されている撮像センサー３に導くための光学レンズ系を構成している。レンズ部２は、被写体光の光軸Ｌに沿って直列的に配置された、例えば、ズームレンズやフォーカスレンズ、その他の固定レンズブロックからなるレンズ群である。レンズ部２は、レンズの透過光量を調節するための絞りやシャッターを備えており、制御部８によってこれらが駆動制御される。

撮像センサー３は、レンズ部２において結像された被写体光像の光量に応じ、Ｒ、Ｇ、Ｂ各成分の画像信号に光電変換してアンプ４に出力する。本実施の形態では、撮像センサー３としてＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサー、ＶＭＩＳ（threshold Voltage Modulation Image Sensor）、あるいは、ＣＣＤ（Charge Coupled Device）イメージセンサー等が採用できる。

アンプ４は、撮像センサー３から出力された画像信号を増幅するものであり、例えば、ＡＧＣ（Auto Gain Control）回路を備え、当該出力信号のゲイン調整を行う。アンプ４は、ＡＧＣ回路の他、アナログ値としての画像信号のサンプリングノイズの低減を行うＣＤＳ（Correlated Double Sampling：相関二重サンプリング）回路を備えていてもよい。ＡＧＣ回路は、適正露出が得られなかった場合、例えば、非常に低輝度の被写体を撮影する場合の撮影画像のレベル不足を補償する機能も有する。なお、ＡＧＣ回路に対するゲイン値は制御部８によって設定される。

Ａ／Ｄ変換部５は、アンプ４にて増幅されたアナログ値の画像信号（アナログ信号）をデジタル値の画像信号（デジタル信号）に変換するＡ／Ｄ変換処理を行うものであり、撮像センサー３の各画素で受光して得られる画素信号をそれぞれ、例えば、１２ビットの画素データに変換する。

画像処理部６は、上述したＡ／Ｄ変換処理により得られた画像信号に対し、各種画像処理を行う。具体的には、例えば、色補間処理、色補正処理及び色空間変換処理等の色処理や、ホワイトバランス補正処理、ノイズ除去処理、ダイナミックレンジ圧縮処理等を行う。本実施の形態では、これらの画像処理における特にノイズ除去処理について主な特徴点を有しているが、これについては後述する。

画像メモリー７は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリーからなり、画像処理部６にて画像処理される前のＲＡＷ画像データ、あるいは、画像処理部６や制御部８での各種処理時又は処理後の画像データ等のデータを保存する。

制御部８は、各制御プログラム等を記憶するＲＯＭ、一時的に各種データを格納するＲＡＭ、及び、制御プログラム等をＲＯＭから読み出して実行するＣＰＵ（Central Processing Unit）等からなり、デジタルカメラ１全体の動作制御を司るものである。制御部８は、撮像センサー３や操作部１０等の装置各部からの各種信号に基づき、装置各部が必要とする制御パラメーターを算出し、これを送信することで各部の動作を制御する。制御パラメーターは、例えば、撮影時における最適な露光量に設定するための露光量制御パラメーターや、最適なダイナミックレンジに設定するためのダイナミックレンジ制御パラメーター等がある。

表示部９は、例えば、カメラ背面に配設されたカラー液晶表示素子からなる液晶表示器（ＬＣＤ；Liquid Crystal Display）等からなり、撮像センサー３で撮像された画像等を表示する。

操作部１０は、デジタルカメラ１に対するユーザーによる操作指示を行うものであり、例えば、電源スイッチ、レリーズスイッチ、各種撮影モードを設定するモード設定スイッチ、メニュー選択スイッチ等の各種の操作スイッチ群からなる。例えば、レリーズスイッチが押下されることで、撮像センサー３により被写体光が撮像され、これにより得られた撮影画像に対して所要の画像処理が施された後、画像メモリー７等に記録されるといった一連の撮影動作が実行される。

ところで、画像処理部６には、撮像センサー３による撮影により得られた広ＤＲ（Dynamic Range）画像（入力画像）が入力されるが、この入力画像に対する画像処理部６におけるノイズ除去処理について以下に説明する。図２は、画像処理部６における主にノイズ除去処理に関する回路構成例を示す機能ブロック図である。図２に示すように、画像処理部６は、周波数分離部６０１、ＨＰＦ部６０４、ノイズ量算出部６０５、チャンネル判定部６０６、エッジ検出部６０７、ノイズ除去部６０８及び周波数合成部６１１を備えている。

これら各機能部を概略的に説明すると、画像処理部６に入力された入力画像６２００は、ＲＧＢのチャンネル毎に分離される。すなわち、入力画像６２００には、可視波長の赤色（Ｒ）領域と緑色（Ｇ）領域と青色（Ｂ）領域とを有する複数の波長領域が含まれており、画像処理部６に入力されたときに、入力画像６２００に含まれるこれらの波長領域がそれぞれＲチャンネル、Ｇチャンネル、Ｂチャンネルとして分離される。そして、周波数分離部６０１は、ＲＧＢの各チャンネルに分離された入力画像６２００に対してそれぞれ階層的な複数の処理ステップでのＬＰＦ処理とダウンサンプリング処理とを行うことによって、入力画像６２００をＲＧＢのチャンネル毎に複数の周波数成分に分離する。この周波数成分を分離する処理（周波数分離処理）により、処理ステップ毎に低周波成分の画像（低周波画像）が生成される。

ＨＰＦ部６０４は、各処理ステップにおいて、周波数分離部６０１による周波数分離処理で実施されるＬＰＦ処理前の画像からＬＰＦ処理後の画像である低周波画像を減算することで、ＲＧＢの各チャンネルについて高周波画像を生成する。

ノイズ量算出部６０５は、各処理ステップにおいて、ＨＰＦ部６０４によって生成された高周波画像から、ノイズがどのくらい含まれているかについて、ＲＧＢの各チャンネルについてそれぞれ求める。

チャンネル判定部６０６は、各処理ステップにおいて、ノイズ量算出部６０５で求められたＲＧＢの各チャンネルのノイズ量から、何れのチャンネルの画像のノイズ量が最も少ないかを判定する。

エッジ検出部６０７は、各処理ステップにおいて、ＬＰＦ処理後の低周波画像に対するエッジ成分に関する検出処理（エッジ検出処理）を行う。ここでエッジ検出処理の対象となるのは、チャンネル判定部６０６によってノイズ量が最も少ないと判定されたチャンネルの低周波画像である。

ノイズ除去部６０８は、ＨＰＦ部６０４において生成された高周波画像に対するノイズ成分の除去処理（ノイズ除去処理）をＲＧＢの各チャンネルについて実施する。

周波数合成部６１１は、周波数分離部６０１における周波数分離処理により生成された各処理ステップのうちの最終段の処理ステップでの低周波画像に対する各処理ステップでのノイズ除去処理後の高周波画像の合成処理及びアップサンプリング処理を行って出力画像６２１０を生成する。画像処理部６から出力画像６２１０が出力されるとき、ＲＧＢの各チャンネルの画像は統合される。

上述した各部の構成及び動作の詳細について説明する。周波数分離部６０１は、上述したＬＰＦ処理を行うＬＰＦ部６０２と上述したダウンサンプリング（ＤＳ）処理を行うＤＳ部６０３とを備えている。ＬＰＦ部６０２は、処理ステップ１のＬＰＦ部６０２１、処理ステップ２のＬＰＦ部６０２２・・・、処理ステップ（ｎ−１）のＬＰＦ部６０２３及び処理ステップｎのＬＰＦ部６０２４を備えている。各ＬＰＦ部６０２１〜６０２４では、画像処理部６に入力されてＲＧＢのチャンネル毎に分離された入力画像のそれぞれに対し、各処理ステップにおいて、ローパスフィルターを用いたＬＰＦ処理を行う。例えば、処理ステップ（ｎ−１）においては、Ｒチャンネル、Ｇチャンネル、Ｂチャンネルの各入力画像に対してそれぞれＬＰＦ部６０２３によりＬＰＦ処理が行われてＲチャンネル、Ｇチャンネル、Ｂチャンネルの各低周波画像が抽出される。ここでの「入力画像」とは、各処理ステップに対して入力される画像という意味で用いている。この入力画像は、処理ステップ１に対するものはＬＰＦ処理されていない撮像センサー３から送信されてきた撮影画像そのものの画像データであるが、処理ステップ２から下段の処理により抽出された低周波画像は、後述するエッジ検出用（エッジ保存係数算出用）の画像であるともいえる。

ＤＳ部６０３は、処理ステップ１に対応するＤＳ部６０３１、処理ステップ２に対応するＤＳ部６０３２・・・、処理ステップ（ｎ−１）に対応するＤＳ部６０３３を備えている。但し、処理ステップｎは最終段の処理ステップであることから、この処理ステップｎに対応するＤＳ部は備えられていない。各ＤＳ部６０３１〜６０３３では、各処理ステップにおいてＬＰＦ処理により抽出された低周波画像に対して、この画像のサイズ（画素数）を縦横ともに１／２にする、例えば、画素間引きによるＤＳ処理を行い、このＤＳ処理後の画像を次段の処理ステップのＬＰＦ部に出力する。例えば、処理ステップ（ｎ−１）においては、ＬＰＦ部６０２３によるＬＰＦ処理後の低周波画像に対してＤＳ部６０３３によりＤＳ処理が行われ、処理ステップｎに対する入力画像が生成される。なお、本実施の形態では、画像のサイズを１／２にするＤＳ処理を行うものとしているが、これに限らず、１／３や１／４等、任意の倍率でのＤＳ処理が採用可能である。

なお、上述した処理ステップの数は任意に設定することができるが、本実施の形態では、例えば、「４」（ｎ＝４）に設定されているものとして説明する。また、本実施の形態では、処理ステップ数ｎ＝４となる場合において、各ＬＰＦ部のＬＰＦ処理として、例えば、７×７ＬＰＦ処理を適用する。７×７ＬＰＦ処理は、タップ数「７」のフィルタサイズのＬＰＦを用いた処理である。なお、当該処理ステップ数とタップ数との関係に関し、タップ数が「７」より小さい値、例えば、「５」となる場合のＬＰＦ処理である５×５ＬＰＦ処理を行うときには、処理ステップ数ｎは「４」より大きな数（例えば、「８」）に設定するのが好適である。これは、タップ数が小さくなるにつれて、ＬＰＦ処理を１回行う毎の画像の平滑化の度合いが小さくなるので、これに応じてＬＰＦ処理を行う回数、すなわち、処理ステップの段数を増加させる必要があることによる。但し、必ずしもこの関係が成立するように処理ステップ数及びタップ数を設定しなくてもよく、ＬＰＦ部におけるＬＰＦ処理により得られる低周波画像から残存ノイズがなくなるような低周波画像が抽出される処理ステップ数やＬＰＦのタップ数が設定されればよい。

このように、周波数分離部６０１では、最上段の処理ステップ１から最下段の処理ステップ４へと複数段の処理ステップによる複数回のＬＰＦ処理とＤＳ処理とを行うことにより、入力画像６２００を複数の周波数画像に分解する。なお、ＬＰＦ処理とＤＳ処理とを繰り返し行うことは、順にタップ数を大きくしていきながらＬＰＦ処理を行うことと同等の処理を行っていることになる。

ＨＰＦ部６０４は、処理ステップ１〜ｎ（１〜４）に対応するＨＰＦ部６０４１〜６０４４を備えている。ＨＰＦ部６０４は、ＲＧＢのチャンネル毎に、ＬＰＦ部６０２に入力される前の入力画像からＬＰＦ部６０２によってＬＰＦ処理された後の低周波画像を減算するハイパスフィルタ（ＨＰＦ）処理を行ってＲＧＢ各チャンネルの高周波画像を抽出する。

例えば、処理ステップ（ｎ−１）、すなわち、処理ステップ３におけるＨＰＦ部６０４３は、処理ステップ（ｎ−１）の前段の処理ステップ（ｎ−２）（処理ステップ２）におけるＤＳ部６０３２から出力された入力画像と、ＬＰＦ部６０２３から出力された低周波画像とを入力し、この入力画像に対する低周波画像の減算を行う。ＨＰＦ部６０４３は、減算した結果得られた高周波画像を出力する。このように、各ＨＰＦ部６０４１〜６０４４により生成された高周波画像は、各処理ステップの入力画像からノイズ成分を含む高周波成分が分離されたものであり、後述する処理においてこの高周波画像からノイズ除去を行うことになる。このように、複数段の処理ステップによる複数回のＨＰＦ処理を行うことによって、１回のＨＰＦ処理では分離しきれなかったノイズ成分を分離することが可能となる。

ノイズ量算出部６０５は、処理ステップ１〜ｎ（１〜４）に対応するノイズ量算出部６０５１〜６０５４を備えている。ノイズ量算出部６０５は、ＲＧＢの各チャンネルについて、ＨＰＦ部６０４によって生成された高周波画像に含まれるノイズの量をそれぞれ算出する。ノイズ量算出部６０５は、例えば、高周波画像に含まれる各画素の画素値の平均を求めることにより、ノイズ量の算出を行う。このとき、画素値の平均を求める際の算出の対象とする画素を、所定の閾値を超えた画素値であるものとするのが好適である。なお、ノイズ量の算出ができるものであれば、他の方法によって算出するものであってもよい。

波長領域判定部としてのチャンネル判定部６０６は、処理ステップ１〜ｎ（１〜４）に対応するチャンネル判定部６０６１〜６０６４を備えている。チャンネル判定部６０６は、ノイズ量算出部６０５によって算出されたＲＧＢのチャンネル毎の高周波画像のノイズ量から、ＲＧＢの各チャンネルのうち最もノイズ量の少ないチャンネルを判定する。チャンネル判定部６０６は、判定したチャンネルの低周波画像がエッジ検出処理の対象として選択されるように、チャンネルの選択信号をエッジ検出部に出力する。

このように、本実施の形態では、ノイズ量算出部６０５とチャンネル判定部６０６とにより、波長領域選択部を構成している。

エッジ検出部６０７は、処理ステップ１〜ｎ（１〜４）に対応するエッジ検出部６０７１〜６０７４を備えている。また、ノイズ除去部６０８は、処理ステップ１〜ｎ（１〜４）に対応するノイズ除去部６０８１〜６０８４を備えている。これらエッジ検出部６０７及びノイズ除去部６０８において、ＨＰＦ部６０４から送信されてきたノイズ成分を含む高周波画像に対してこの高周波画像中のエッジ成分を保存しつつ、ノイズ成分の除去を行う。エッジ検出部６０７及びノイズ除去部６０８それぞれでのエッジ検出処理及びノイズ除去処理の具体的な方法について説明する。

エッジ検出部６０７１〜６０７４は、チャンネル判定部６０６１〜６０６４においてＲＧＢの各チャンネルのうちノイズ量が最も少ないと判定されたチャンネルの低周波画像をＬＰＦ部６０２１〜６０２４から入力する。エッジ検出部６０７１〜６０７４は、エッジ検出処理として、それぞれ各処理ステップにおいて入力した低周波画像に対してＳｏｂｅｌフィルター等のエッジ強度検出用フィルターを用いたフィルター処理（エッジ強度検出フィルター処理）を行うことでこの低周波画像のエッジ強度を算出し、この算出したエッジ強度の情報からエッジ保存係数Ｅを算出する。算出されたエッジ保存係数Ｅの情報は、各ノイズ除去部６０８１〜６０８４に出力される。例えば、処理ステップ３では、エッジ検出部６０７３は、チャンネル判定部６０６３においてＧチャンネルがノイズ量の最も少ないチャンネルと判定されたときは、ＬＰＦ部６０２３からＧチャンネルの低周波画像を入力する。エッジ検出部６０７３は、この低周波画像に対してエッジ強度検出フィルター処理を行ってエッジ強度を求めるとともに、このエッジ強度からエッジ保存係数Ｅを算出し、算出したこのエッジ保存係数Ｅの情報を、エッジ保存係数情報としてノイズ除去部６０８３に出力する。なお、上述したＳｏｂｅｌフィルターは、微分計算に基づいて画像中の各画素値間の傾きを検出するものであり、これにより画像におけるエッジの強度を検出することができる。

上記エッジ強度及びエッジ保存係数Ｅの算出について、具体的には、各エッジ検出部６０７１〜６０７４は、各低周波画像に対してタップ数が「３」である３×３Ｓｏｂｅｌフィルターを用いたフィルター処理（３×３Ｓｏｂｅｌフィルター処理）を行うことでエッジ強度ｅを算出するとともに、算出したエッジ強度ｅに対するエッジ保存係数Ｅを下記式（１）により算出する。
ｅ＜ｅ１のとき Ｅ＝０
ｅ１＜ｅ＜ｅ２のとき Ｅ＝（ｅ−ｅ１）／（ｅ２−ｅ１）
ｅ＞ｅ２のとき Ｅ＝１．０ ・・・（１）
ここで、ｅ１、ｅ２は、予め設定したエッジ保存係数算出用の閾値（エッジ保存閾値）であり、ｅ１＜ｅ２の関係を満たしている。

上記式（１）の関係は、図３に示すように、縦軸をエッジ保存係数Ｅ、横軸をエッジ強度ｅとすると、符号６５５で示すエッジ強度ｅがｅ＜ｅ１となる範囲では、エッジ保存係数Ｅ＝０となる。また、符号６５７で示すエッジ強度ｅがｅ＞ｅ２となる範囲では、エッジ保存係数Ｅ＝１．０となる。また、符号６５６で示すエッジ強度ｅがｅ１＜ｅ＜ｅ２となる範囲では、エッジ保存係数Ｅが、０から１．０の範囲で、傾きを１／（ｅ２−ｅ１）として直線的に変化するものとなる。

エッジ保存閾値ｅ１、ｅ２は、どの程度までエッジを保存すればよいかといった画像の質感に関わる値であり、各処理ステップにおいて好適にエッジ保存が行えるような値として予め設定されるものである。エッジ保存閾値ｅ１、ｅ２は、処理ステップ毎に予め設定されたものでもよいし、一律に全処理ステップで同じ値として設定されたものでもよい。また、選択されたチャンネルに応じて値が設定されるようにしてもよい。エッジ保存閾値ｅ１、ｅ２の情報は各エッジ検出部６０７１〜６０７４に記憶されている。また、本実施の形態では、上述のようにエッジ強度検出用フィルターとして３×３Ｓｏｂｅｌフィルターを用いているが、タップ数が「３」以外の、例えば、３よりも大きなＳｏｂｅｌフィルターを用いてもよい。また、Ｓｏｂｅｌフィルターに代えてＰｒｅｗｉｔｔフィルター等の他の公知のフィルターを用いてもよい。

ノイズ除去部６０８１〜６０８４は、ノイズ除去処理として、それぞれ各処理ステップにおけるＲＧＢの各チャンネルの高周波画像に対してそれぞれコアリング処理を行う。このとき、上記エッジ検出処理によって算出したエッジ保存係数Ｅの情報を用いることで、エッジ強度ｅが大きな画素についてはコアリング処理におけるコアリング強度が弱められてよりエッジ成分が保存されるようなエッジ保存処理を行う。一方、エッジ強度ｅが小さな画素についてはコアリング強度が強められてエッジ保存の度合いが弱められる。

上述のコアリング処理に関して、具体的には、各ノイズ除去部６０８１〜６０８４は、ＨＰＦ部６０４１〜６０４４から入力される高周波画像に対して、図４に示すような、コアリング特性６６５に従って高周波画像の変換処理を行うことにより、ノイズ成分を除去する。図４中に示す「ｔｈ」は、画像信号のノイズ成分を除去するためのコアリング係数である。このコアリング特性６６５に従ったコアリング処理では、入力が−ｔｈよりも大きくｔｈよりも小さいときは出力がゼロとなり（すなわち、当該入力が−ｔｈよりも大きくｔｈよりも小さい範囲のデータがノイズ成分として除去される。）、入力が−ｔｈ以下であるときには、出力が入力に対してｔｈを加えた値となり、入力がｔｈ以上であるときには、出力が入力に対してｔｈを減じた値となるような変換処理が行われる。

但し、高周波画像には、ノイズ成分だけでなくディテイル成分も含まれている。そのため、コアリング処理によって、注目画素の絶対値がコアリング係数よりも小さいもの、すなわち、−ｔｈよりも大きくｔｈよりも小さい範囲の画像成分が一律にカットされると、ディテイル成分まで欠落してしまうことになる。そこで、コアリング特性６６５の代わりに、−ｔｈよりも大きくｔｈよりも小さい範囲ではグラフの傾きがｋ（０≦ｋ≦１）となる「ｙ＝ｋｘ」の関係を有するコアリング特性６６６を導入し、このｋｎ値を調整することで、画像で目立たない程度の僅かなノイズは許容し、ディテイル成分の欠落は抑えられるような処理結果が得られる構成としてもよい。なお、コアリング特性６６６を用いる場合、ｙ＝ｋｘの、例えば、符号６６６１、６６６２で示すように入力ｘの値がコアリング係数ｔｈ（−ｔｈ）の値に近いほどよりディテイル成分が残されることになる。ここで、ディテイル成分とは、高周波画像におけるノイズ成分以外の画像であって、ぼやけた画像である低周波画像に対し、質感を表すような高周波画像本来の画像である。

なお、コアリング係数ｔｈ（−ｔｈ）は、各処理ステップの高周波画像に存在するノイズ量に応じた値に設定することで、精度のよい正確なノイズ除去が可能となる。実際には、撮像センサー３に暗電流等のノイズがあり、このセンサー特有のノイズに応じて高周波画像のノイズ量が決まるということと、各処理ステップの高周波画像それぞれについても互いに異なるノイズ量になるということから、コアリング係数ｔｈ（−ｔｈ）の値は、各デジタルカメラ１で使用される撮像センサー３毎に、あるいは、処理ステップ毎に、除去したいノイズ量に対応させた好適なものが設定される。このコアリング係数ｔｈは、予め決められた値として各ノイズ除去部６０８１〜６０８４に記憶されている。なお、コアリング係数ｔｈは、予め定められた値でなくともよく、例えば、上述したノイズ量算出部６０５１〜６０５４により算出されたノイズ量によって都度算出されて設定される構成であってもよい。

また、エッジ保存処理に関して、具体的には、各ノイズ除去部６０８１〜６０８４は、上述したエッジ検出処理において求めたエッジ保存係数Ｅの情報を用いて、下記式（２）により、ノイズ除去部６０８１〜６０８４に入力される高周波画像と、上記コアリング処理の結果得られた画像（以下、コアリング画像ということがある。）との重み付け平均処理を行う。この重み付け平均処理は、ＲＧＢの各チャンネルについて行う。例えば、処理ステップ３では、エッジ検出部６０７３においてＧチャンネルの低周波画像からエッジ保存係数Ｅが得られた場合には、ノイズ除去部６０８３は、ＲＧＢの各チャンネルの高周波画像についてそれぞれこのエッジ保存係数Ｅの情報を用いてエッジ成分が保存された画像（エッジ保存画像）を取得するとともにコアリング画像を取得し、これらの画像について重み付け平均処理を行う。これにより、エッジ強度ｅに応じたエッジ保存量でのエッジ保存がなされた、すなわち、エッジ強度ｅに応じてコアリングの強度が変化するエッジ保存処理が行われたエッジ保存画像を生成することができる。このようなエッジ保存処理が行われることにより、図３に示すように、エッジ保存係数Ｅが大きい画素ほど（１．０の値に近づくほど）、コアリング処理前の高周波画像の画素の値に近い値となってよりエッジ成分が保存され、エッジ保存係数Ｅが小さい画素ほど（０の値に近づくほど）、上記コアリング画像の画素の値に近い値となる。
Ｉｍｇ＿ｏｕｔｐｕｔ＝（１．０−Ｅ）＊Ｉｍｇ＿ｃｏｒｅ＋Ｅ＊Ｉｍｇ＿ｉｎｐｕｔ ・・・（２）
ここで、Ｉｍｇ＿ｏｕｔｐｕｔ：エッジ保存画像
Ｉｍｇ＿ｃｏｒｅ：コアリング画像
Ｉｍｇ＿ｉｎｐｕｔ：各ノイズ除去部に入力される高周波画像

このように、例えば、処理ステップ３では、ノイズ除去部６０８３は、エッジ検出部６０７３からのエッジ保存係数情報に基づいて、ＨＰＦ部６０４３からの高周波画像に対して上記コアリング処理及びエッジ保存処理を行い、エッジ成分を保存しつつノイズ成分が除去された高周波画像を出力する。

本実施の形態では、上述したように、ＲＧＢの各チャンネルからノイズ量の最も少ないチャンネルを選択し、選択したチャンネルの低周波画像に対してエッジ検出処理を行い、これに基づいて、ＲＧＢの各チャンネルの高周波画像についてそれぞれエッジ成分の保存及びノイズ成分の除去が行われる。その結果、ノイズが多いチャンネルの低周波画像によるエッジ検出の精度の影響を低減することができる。すなわち、ノイズをエッジとして誤検出するおそれを低減することができ、エッジ成分の保存精度を良好に保ちながらノイズ除去精度を向上させることができる。

周波数合成部６１１は、上述した合成処理を行う合成部６０９とアップサンプリング（ＵＳ）処理を行うＵＳ部６１０とを備えている。合成部６０９は、処理ステップ１〜ｎ（１〜４）に対応する合成部６０９１〜６０９４を備えている。

各合成部６０９１〜６０９４では、前段の処理ステップのアップサンプリング処理済みの画像（周波数合成画像）と、各ノイズ除去部６０８１〜６０８４によるノイズ除去済みの高周波画像とを合成して、各処理ステップにおける周波数合成画像をＲＧＢのチャンネル毎に生成する。例えば、処理ステップ３においては、ノイズ除去部６０８３からの高周波画像とＵＳ部６１０３からの周波数合成画像との合成処理が行われて周波数合成画像が生成され、この周波数合成画像が上段の処理ステップ２側のＵＳ部６１０２に入力される。最下段の処理ステップである処理ステップ４においては、上述した周波数合成画像ではなく、ＬＰＦ部６０２４から出力された低周波画像そのものが用いられる。すなわち、合成部６０９４では、低周波画像とノイズ除去部６０８４からの高周波画像との合成処理が行われる。

なお、合成部６０９１〜６０９４それぞれにおける合成画像処理は、ノイズ除去部６０８からの高周波画像と、下段の処理ステップからの低周波画像（処理ステップ４では上述したように同一の段での低周波画像）とを合成して、上段の処理ステップに低周波画像として出力する処理であるということができる。これは、各処理ステップにおける合成部、例えば、合成部６０９３側からみると、下段側の処理ステップにおいて生成された周波数合成画像は、高周波画像に対して低周波の画像となることによる。

ＵＳ部６１０は、処理ステップ１に対応するＵＳ部６１０１、処理ステップ２に対応するＵＳ部６１０２及び処理ステップ３に対応するＵＳ部６１０３を備えている。各ＵＳ部６１０１〜６１０３では、前段の処理ステップにおける合成部において生成された周波数合成画像に対して、画像のサイズ（画素数）を縦横ともに２倍にする、例えば、線形補間等の画素補間によるＵＳ処理を行い、このＵＳ処理後の画像を次段の処理ステップの合成部に出力する。なお、ここでのＵＳ処理における倍率は、上述したＤＳ部でのＤＳ処理での１／２の倍率に対応して元のサイズに復元すべく２倍としているが、例えば、ＤＳ処理の倍率が１／３ならばＵＳ処理の倍率を３倍にするといったようにＤＳ処理の倍率に応じた倍率とすることができる。但し、必ずしもＤＳ処理の倍率に応じた倍率にせずともよく、任意の倍率としてもよい。

このような構成において、周波数合成部６１１は、最下段の処理ステップ４から最上段の処理ステップ１へと複数段の処理ステップによる複数回の周波数合成処理とＵＳ処理とを行い、その結果、画像処理部６への入力画像６２００に対する画像として、出力画像６２１０を出力する。このとき、上述したように、ＲＧＢの各チャンネルの画像は、画像処理部６から出力される際に統合される。

次に、第１の実施の形態にかかるノイズ除去処理に関する動作について図５を参照しながら説明する。

まず、撮像センサー３による撮像等によって入力画像６２００が取得されて画像処理部６の周波数分離部６０１に入力される（ステップＳ１０）。次に、周波数分離部６０１のＬＰＦ部６０２及びＤＳ部６０３によって、この入力画像６２００に対して最上段の処理ステップから最下段の処理ステップへと複数段の処理ステップによる複数回のＬＰＦ処理とＤＳ処理とが行われて複数の周波数成分に分離される。すなわち、処理ステップ毎に低周波画像が生成される（ステップＳ２０）。処理ステップ毎に低周波画像が生成されるに従って、ＨＰＦ部６０４によって、各処理ステップに対する入力画像からＬＰＦ処理後の低周波画像が減算されて高周波画像がＲＧＢのチャンネル毎に生成される（ステップＳ３０）。

そして、各処理ステップにおいて、ノイズ量算出部６０５及びチャンネル判定部６０６により、ＲＧＢの各チャンネルのうち、最もノイズ量が少ないチャンネルの高周波画像を判定する。すなわち、ノイズ量算出部６０５によって、ＨＰＦ部６０４によって生成されたＲＧＢの各チャンネルの高周波画像について、それぞれノイズ量が算出される。そして、チャンネル判定部６０６によって、ノイズ量算出部６０５において算出されたＲＧＢの各チャンネルの高周波画像のノイズ量から、何れのチャンネルの画像のノイズ量が最も少ないかが判定される（ステップＳ４０）。

そして、各処理ステップにおいて、エッジ検出部６０７及びノイズ除去部６０８によりエッジ検出処理及びノイズ除去処理が行われる。すなわち、チャンネル判定部６０６によってノイズ量が最も少ないと判定されたチャンネルの低周波画像がエッジ検出部６０７に入力されると、エッジ検出部６０７によって、この低周波画像に対してエッジ強度検出用フィルターを用いたエッジ強度検出フィルター処理が行われて低周波画像のエッジ強度が算出されるとともに、この算出されたエッジ強度の情報からエッジ保存係数Ｅが算出される。また、ノイズ除去部６０８によって、ノイズ除去部６０８に入力されたＲＧＢの各チャンネルの高周波画像に対してそれぞれコアリング処理が行われてノイズ成分が除去されたコアリング画像が生成されて、エッジ検出部６０７において算出されたエッジ保存係数Ｅの情報を用いて、このコアリング画像と高周波画像との重み付け処理が行われることで、ノイズ成分が除去され、且つ、エッジ強度ｅに応じてエッジ成分が保存されたエッジ保存画像がＲＧＢの各チャンネルについて生成される（ステップＳ５０）。そして、周波数合成部６１１によって、最下段の処理ステップの低周波画像と各処理ステップの各高周波画像とが、最下段から最上段の処理ステップへと順に周波数合成処理及びＵＳ処理を繰り返しながら加算され、その結果、ノイズ成分が除去され、且つ、エッジ成分が保存された合成画像が得られる。なお、この合成画像は出力画像６２１０として画像処理部６から出力される。このとき、ＲＧＢの各チャンネルの画像が統合される（ステップＳ６０）。

（第２の実施の形態）
次に、第２の実施の形態に係る画像処理装置が適用される撮像装置の一例であるデジタルカメラ１について説明する。なお、第２の実施の形態では、画像処理部について第１の実施の形態とは異なる他は第１の実施の形態と同一であるため、ここでは、画像処理部について説明し、他の構成については説明を省略する。また、画像処理部において、第１の実施の形態と同様の構成についても説明を省略する。

図６は、画像処理部６ａにおける主にノイズ除去処理に関する回路構成例を示す機能ブロック図である。図６では、ステップ１についてのみ図示しているが、他のステップについても同様の構成となっている。第２の実施の形態では、画像処理部６ａには、画像処理部６ａに入力され、ＲＧＢの各チャンネルに分離された入力画像６２００を入力して輝度信号（Ｙ）を算出し、これを出力する輝度算出部６１２が設けられている。輝度算出部６２１は、ＲＧＢの各画素値から下記式（３）のようにして輝度信号（Ｙ）を求める。
Ｙ＝０．２９９＊Ｒ＋０．５８７＊Ｇ＋０．１４４＊Ｂ ・・・（３）

上述のようにして求められた輝度信号はＹチャンネルとしてＲＧＢの各チャンネルに加えられ、ＹＲＧＢの各チャンネルについて、周波数分離部６０１による周波数分離処理、ＨＰＦ６０４による高周波画像の生成、ノイズ量算出部６０５によるノイズ量の算出、チャンネル判定部６０６によるチャンネル判定、エッジ検出部６０７によるエッジ検出処理が実施される。そして、ノイズ除去部６０８では、ＨＰＦ部６０４において生成されたＲＧＢの各チャンネルの高周波画像に対するノイズ除去処理が実施される。

例えば、ノイズ量算出部６０５によりＹＲＧＢの各チャンネルの高周波画像のノイズ量を算出した結果、チャンネル判定部６０６によりＹチャンネルの高周波画像のノイズ量が最も少ないと判定された場合には、ＬＰＦ部６０２から出力されたＹチャンネルの低周波画像がエッジ検出部６０７に入力され、この低周波画像に基づいてエッジ検出処理及びノイズ除去処理が行われる。

以上のようにして、最下段の処理ステップｎから最上段の処理ステップ１のそれぞれにおいて、ノイズ除去処理が実施されてＲＧＢの各チャンネルの高周波画像が得られると、上述したようにして、周波数合成部６１１による複数回の周波数合成処理とＵＳ処理とが実施されて出力画像６２１０が生成される。なお、最下段の処理ステップｎでは、ＬＰＦ部においてＹＲＧＢの低周波画像が生成されるが、周波数合成処理においては、Ｙチャンネルを除いたＲＧＢの各チャンネルの低周波画像とノイズ除去処理が実施されたＲＧＢの各チャンネルの高周波画像とが合成される。

このように、第２の実施の形態では、第１の実施の形態と同様、ノイズをエッジとして誤検出するおそれを低減することができ、エッジ成分の保存精度を良好に保ちながらノイズ除去精度を向上させることができる。また、比較的ノイズの少ない輝度情報からエッジ検出を精度よく行うことができ、ノイズ除去精度を向上させることができる。

（第３の実施の形態）
次に、第３の実施の形態に係る画像処理装置が適用される撮像装置の一例であるデジタルカメラ１について説明する。なお、第３の実施の形態では、画像処理部について第１の実施の形態とは異なる他は第１の実施の形態と同一であるため、ここでは、画像処理部について説明し、他の構成については説明を省略する。また、画像処理部において、第１の実施の形態と同様の構成についても説明を省略する。

図７は、画像処理部６ｂにおける主にノイズ除去処理に関する回路構成例を示す機能ブロック図である。図７では、ステップ１についてのみ図示しているが、他のステップについても同様の構成となっている。第３の実施の形態では、画像処理部６ｂには、第２の実施の形態において説明した輝度算出部６１２と、制御部８からのチャンネル指定信号を受信し、受信したチャンネル指定信号に対応するチャンネルがエッジ検出処理の対象となるようにチャンネルの選択信号をエッジ検出部６０７に出力するチャンネル選択部６１３とが設けられている。なお、本実施の形態において、輝度算出部６１２が設けられていない構成であってもよい。チャンネル選択部６１３は、処理ステップ１〜ｎ（１〜４）に対応してそれぞれ設けられており、例えば、ステップ１には、チャンネル選択部６１３１が設けられている。チャンネル指定信号は、例えば、温度や湿度、昼夜等の時間帯、周辺の明るさ、撮像センサー３の種類等に応じて制御部８から出力される。なお、何れの条件で何れのチャンネルに対応するチャンネル指定信号が出力されるかについては、ＲＧＢの各チャンネルの画像のノイズの発生の状況等に応じて適宜設定することができる。また、例えば、操作部１０の操作に応じて、出力するチャンネル指定信号を予め設定できるように構成されてもよい。また、ステップ毎に異なるチャンネル指定信号が制御部８から出力されるようにしてもよいし、全てのステップにおいて同一のチャンネル指定信号が制御部８から出力されるようにしてもよい。

エッジ検出部６０７は、ＹＧＲＢの各チャンネルから、チャンネル選択部６１３からのチャンネルの選択信号に応じたチャンネルの低周波画像を入力してエッジ検出処理を行う。

このように、第３の実施の形態では、第１の実施の形態と同様、ノイズをエッジとして誤検出するおそれを低減することができ、エッジ成分の保存精度を良好に保ちながらノイズ除去精度を向上させることができる。また、撮像する毎にチャンネルを切り換えなくて済むので、撮像時のリアルタイムでの処理量を低減させることができるようになる。

以上説明したように、第１〜第３の実施の形態によれば、周波数分離部６０１は、複数の波長領域を含む入力画像を複数の周波数帯における周波数成分に分離する。チャンネル選択部６１３（ノイズ量算出部６０５、チャンネル判定部６０６）は、複数の波長領域から何れかを選択する。エッジ検出部６０７は、複数の周波数帯のそれぞれについて、チャンネル選択部６１３（ノイズ量算出部６０５、チャンネル判定部６０６）によって選択された波長領域の周波数成分における低周波成分からエッジ強度を検出する。ノイズ除去部６０８は、周波数分離部６０１により分離された各周波数帯の周波数成分における高周波成分からノイズ成分を除去するとともに、エッジ検出部６０７によって検出されたエッジ強度に基づいて、高周波成分に対するエッジ成分の保存を行う。周波数合成部６１１は、複数の周波数帯のそれぞれにおける、ノイズ除去部６０８によりノイズ成分が除去されるとともにエッジ成分が保存された高周波成分を合成する。その結果、複数の波長領域を含むカラー画像において、例えば、ノイズ量の少ない波長領域の低周波画像を選択して、この低周波画像についてエッジ検出が行われ、これに基づいてノイズの除去及びエッジ成分の保存が行われるので、カラー画像において、エッジ成分の保存精度を良好に保ちながらノイズ除去精度を向上させることができるようになる。

また、第１及び第２の実施の形態によれば、ノイズ量算出部６０５は、複数の波長領域のそれぞれについて、周波数分離部６０１により分離された各周波数帯の周波数成分における高周波成分からノイズ量を算出する。チャンネル判定部６０６は、ノイズ量算出部６０５により得られた複数の波長領域毎の高周波成分のノイズ量から最も少ないノイズ量である高周波成分の波長領域を判定する。チャンネル判定部６０６によって判定された波長領域が複数の波長領域から選択される。その結果、ノイズ量の最も少ない波長領域の低周波画像についてエッジ検出が行われ、これに基づいてノイズの除去及びエッジ成分の保存が行われるので、エッジ成分の保存精度を良好に保ちながらノイズ除去精度をより向上させることができるようになる。

また、第１〜第３の実施の形態によれば、複数の波長領域は、可視波長の赤色領域と緑色領域と青色領域とを含むので、色チャンネルでのエッジ検出を精度良く行うことができるので、ノイズ除去精度をより向上させることができるようになる。

また、第２及び第３の実施の形態によれば、複数の波長領域は、可視波長の赤色領域と緑色領域と青色領域とから求められる輝度情報を含むので、ノイズの少ない輝度情報を利用してエッジ検出を精度良く行うことができるようになり、ノイズ除去精度をより向上させることができるようになる。

なお、本実施の形態における記述は、本発明に係るデジタルカメラの一例であり、これに限定されるものではない。デジタルカメラを構成する各機能部の細部構成及び細部動作に関しても適宜変更可能である。

また、本実施の形態では、撮像センサー３として、ＣＯＭＳイメージセンサーやＣＣＤイメージセンサー等、ＲＧＢの３つの波長領域の信号を取得する可視光センサーを適用し、これをＡ／Ｄ変換して画像処理を行うようにしたが、上述した可視光センサーの他、例えば、Ｗ（White）、Ｙ（Yellow）、Ｉ（赤外波長領域）、Ｒ（Red）の各波長領域の信号を取得する補色センサーを適用してもよい。この場合、上記ＷＹＩＲの各波長領域の信号からＲＧＢの各チャンネルの画像を生成し、これらに対してエッジ検出処理及びノイズ除去処理を実施することができる。ここで、ＷＹＩＲの各チャンネルの画像から何れかを選択し、選択したチャンネルの低周波画像に対してエッジ検出処理を実施するようにしてもよい。
すなわち、本実施の形態によれば、複数の波長領域は、赤外波長領域を含むので、赤外波長領域の信号を含む画像に対応することができるようになる。

また、本実施の形態において、ＲＧＢ（ＹＲＧＢ）の各チャンネルからエッジ検出部６０７によってエッジ検出処理を行う対象とするチャンネルの低周波画像の選択を実施するタイミングについては、適宜設定することができる。例えば、撮像センサー３によって１フレームの撮像が実施される毎に行ってもよいし、所定時間毎に実施されるようにしてもよいし、撮像の開始時に一度だけ実施されるようにしてもよい。

また、本実施の形態では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ（搬送波）も適用される。

１ デジタルカメラ
６ 画像処理部
６０１ 周波数分離部
６０２ ＬＰＦ部
６０４ ＨＰＦ部
６０５ ノイズ量算出部（波長領域選択部）
６０６ チャンネル判定部（波長領域選択部・波長領域判定部）
６０７ エッジ検出部
６０８ ノイズ除去部
６１１ 周波数合成部

Claims (5)

1. 複数の波長領域を含む入力画像を複数の周波数帯における周波数成分に分離する周波数分離部と、
   前記複数の波長領域から何れかを選択する波長領域選択部と、
   前記複数の周波数帯のそれぞれについて、前記波長領域選択部によって選択された波長領域の周波数成分における低周波成分からエッジ強度を検出するエッジ検出部と、
   前記周波数分離部により分離された各周波数帯の周波数成分における高周波成分からノイズ成分を除去するとともに、前記エッジ検出部によって検出されたエッジ強度に基づいて、前記高周波成分に対するエッジ成分の保存を行うノイズ除去部と、
   前記複数の周波数帯のそれぞれにおける、前記ノイズ除去部によりノイズ成分が除去されるとともに前記エッジ成分が保存された前記高周波成分を合成する周波数合成部と、
   を備え、
   前記波長領域選択部は、
   前記複数の波長領域のそれぞれについて、前記周波数分離部により分離された各周波数帯の周波数成分における高周波成分からノイズ量を算出するノイズ量算出部と、
   前記ノイズ量算出部により得られた前記複数の波長領域毎の高周波成分のノイズ量から最も少ないノイズ量である高周波成分の波長領域を判定する波長領域判定部と
   を備え、
   前記波長領域判定部によって判定された波長領域を前記複数の波長領域から選択することを特徴とする画像処理装置。
2. 前記複数の波長領域は、可視波長の赤色領域と緑色領域と青色領域とを含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の波長領域は、前記可視波長の赤色領域と緑色領域と青色領域とから求められる輝度情報を含むことを特徴とする請求項２に記載の画像処理装置。
4. 前記複数の波長領域は、赤外波長領域を含むことを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
5. 複数の波長領域を含む入力画像を複数の周波数帯における周波数成分に分離する周波数分離工程と、
   前記複数の波長領域から何れかを選択する波長領域選択工程と、
   前記複数の周波数帯のそれぞれについて、前記波長領域選択工程において選択された波長領域の周波数成分における低周波成分からエッジ強度を検出するエッジ検出工程と、
   前記周波数分離工程において分離された各周波数帯の周波数成分における高周波成分からノイズ成分を除去するとともに、前記エッジ検出工程において検出されたエッジ強度に基づいて、前記高周波成分に対するエッジ成分の保存を行うノイズ除去工程と、
   前記複数の周波数帯のそれぞれにおける、前記ノイズ除去工程においてノイズ成分が除去されるとともに前記エッジ成分が保存された前記高周波成分を合成する周波数合成工程と、
   を含み、
   前記波長領域選択工程は、
   前記複数の波長領域のそれぞれについて、前記周波数分離工程において分離された各周波数帯の周波数成分における高周波成分からノイズ量を算出するノイズ量算出工程と、
   前記ノイズ量算出工程において得られた前記複数の波長領域毎の高周波成分のノイズ量から最も少ないノイズ量である高周波成分の波長領域を判定する波長領域判定工程と
   を含み、
   前記波長領域選択工程では、前記波長領域判定工程において判定された波長領域を前記複数の波長領域から選択することを特徴とする画像処理方法。

Images