JP2008015741A - 画像処理装置、画像処理方法及びこれを用いた撮像装置 - Google Patents

Abstract

【課題】広ＤＲ画像であってもノイズ除去精度及びエッジ保存精度が良いものにする。
【解決手段】画像処理装置に、入力画像を複数の周波数帯における周波数成分に分離する周波数分離手段と、該分離処理により得られた各周波数帯の周波数成分における高周波成分からノイズ成分を除去するノイズ除去手段と、該分離処理により得られた各周波数帯の周波数成分における低周波成分からエッジ強度を検出するとともに、検出したエッジ強度に基づいてエッジ成分の保存度合いに関するエッジ保存情報を算出するエッジ保存情報算出手段と、該算出されたエッジ保存情報に基づいて高周波成分に対するエッジ成分の保存を行うエッジ保存手段と、各周波数帯における、ノイズ除去手段によりノイズ成分が除去されて且つエッジ保存手段によりエッジ成分が保存されてなる高周波成分と、低周波成分とを合成する周波数合成手段とを備える。
【選択図】図５

Description

本発明は、画像に対するノイズ除去が可能な画像処理装置であって、特に、広ダイナミックレンジ撮影が可能な撮像装置により得られた広ダイナミックレンジ画像に対するノイズ除去が可能な画像処理装置、画像処理方法及びこれを用いた撮像装置に関するものである。

デジタルカメラ等の撮像装置は、所定の撮像センサを備え、この撮像センサによる撮像によって撮影画像を取得する。一般的に、撮影画像（画像信号）には、撮像センサに特有の例えば暗電流などに起因するノイズ成分が含まれるが、近年における更なる高画質化の要請に伴い、このノイズ成分を精度良く除去することが求められている。

従来におけるノイズ除去の方法として、図２５に示すように、撮影画像からＬＰＦ（ローパスフィルタ）処理によって抽出した低周波成分９２１をこの撮影画像から減算することでノイズ成分を含む或いはノイズ成分としての高周波成分９２２を分離し（低周波成分９２１にはノイズ成分が含まれないことを前提とする）、この高周波成分９２２に対してコアリング等のノイズ除去処理を行うことによってノイズ成分を除去する方法が知られている。しかしながら、ノイズを含む周波数成分として分離した高周波成分９２２の中に、低周波成分９２１より高い周波数ではあるが高周波成分９２２１（高周波成分９２２１と同等の周波数レベルである高周波成分９２２３）よりは低い周波数であるような画像本来の構成要素である周波数成分（高周波数成分９２２２）も含まれている（重畳されている）ことが多く、この従来の方法でノイズ除去を行うと、ノイズ成分と画像本来の構成要素成分（正規の画像成分）とが区別されることなく除去されてしまうことになる。

図２６は、説明の便宜上、上記高周波成分９２２１、９２２２及び高周波成分９２２３を纏めて図示したものであるが、同図に示すように、高周波成分９２２１、９２２３がノイズ成分であり、低周波成分９２２２が画像本来の構成要素であるエッジ成分であるとすると、或るノイズ除去量を設定してこのノイズ除去量の範囲内におけるノイズ成分を除去する場合、同図中右側に示す高周波成分９２２３についてはそのまま全域で除去可能であるが、左側に示す高周波成分９２２１、９２２２については、例えば符号９２３〜９２５で示す箇所はノイズ除去量の範囲外であってノイズ成分の除去が不可能であるだけでなく、当該ノイズ除去量の範囲内においても、例えば符号９２６で示す箇所の高周波成分９２２１を除去しようとすると、符号９２７で示す箇所のエッジ成分（高周波成分９２２２）まで除去されてしまうことになる。

そこで、上記エッジ成分を保存しつつノイズ成分を除去する方法として、例えば特許文献１には、直列に配設した複数のεフィルタによるフィルタ処理（εフィルタ処理；この処理は後述の“階層的”な各処理ステップによる処理ではない）によってエッジ成分が保存された低周波成分を生成し、この低周波成分を元画像から減算することで生成した高周波成分に対してコアリングを行うことによりノイズ除去を行うという技術が開示されている。この技術によれば、元画像から低周波成分にエッジ成分が含まれるように該低周波成分の抽出が行われる、すなわちノイズ除去を行う高周波成分にエッジ成分が含まれないようにすることができるので、エッジ成分はノイズ除去の影響を受けることなく保存される。しかしながら、この技術では、ノイズ成分が上記画像本来の構成要素成分と重なった状態の所謂重畳ノイズとして存在する場合、この重畳ノイズからノイズ成分だけを除去することができないという問題がある。

この問題に対して、例えば特許文献２には、重畳ノイズ成分を含む高周波成分をさらに複数の周波数成分に分解することで、画像本来の構成要素とノイズ成分とを分離してからノイズ除去を行うという技術が開示されている。すなわち、入力画像を複数の周波数成分（帯域成分）に分割する帯域分割処理において、ノイズ除去処理を行う高周波成分における次段の分割処理により生成された高周波成分（中周波成分）を参照し、この次段の高周波成分の最大値から算出した、エッジ検出を行うための正規化係数に基づいて前段の高周波成分を変更する。この正規化係数は、エッジ成分が存在する場合は大きな値となり、且つエッジ成分が存在しない場合には小さい値となるような係数となっており、この係数をノイズ除去処理を行う高周波成分に乗算することで、エッジ成分は保存されて、エッジ成分以外のノイズ成分は除去される。このように、正規化係数を算出する際、帯域分割処理によって高周波成分における画像の構成要素とノイズ成分とが分離されているので、重畳ノイズであってもノイズ成分だけが除去されることになる。
特開２００１−２９８６２１号公報 特開２０００−１３４６２５号公報

ところで、近年、デジタルカメラ等の撮像装置においては、高画質化の要請に伴い、撮像センサが扱うことのできる被写体の輝度範囲、すなわちダイナミックレンジ（ＤＲ）を拡大させることが１つのテーマとなっている。このダイナミックレンジの拡大に関し、例えば入射光量に対して電気信号が対数的に変換されて出力される対数圧縮型の撮像センサ（ログセンサ）、或いは低輝度領域において電気信号が線形的に変換されて出力される線形特性と高輝度領域において電気信号が上記と同様に対数的に変換されて出力される対数特性とからなる光電変換特性を有する撮像センサ（リニアログセンサ）が知られている（このリニアログセンサによる線形特性及び対数特性を有した撮影画像のことを線形／対数画像という）。これら撮像センサは、入射光量に対して自然対数的に変換された出力が得られることから、線形特性だけの光電変換特性を有する撮像センサと比べてより広いダイナミックレンジ（広ＤＲ）を有する画像を一度の露光で得ることができる。

上記リニアログセンサのように撮像デバイスの進歩に伴い撮像系の広ＤＲ化が進む一方、現状ではモニタ等の表示系（画像表示装置）の広ＤＲ化は撮像系ほど進んでおらず、たとえ撮像系の広ＤＲ化が図られたとしても、この広ＤＲ化が図られた撮像系に対して相対的にダイナミックレンジが狭い表示系ではその効果を充分に発揮できない、つまり広ＤＲ化が図られた撮影画像が、モニタ等の表示系のダイナミックレンジと合わせるべく圧縮処理されるため、そのままでは低コントラストな画像となってしまい、撮影画像を好適に再現（表示）できない。

従って、このダイナミックレンジの広い撮影画像が表示系のダイナミックレンジ内に収まるように、例えば撮影画像から照明成分及び反射率成分を抽出して該照明成分を圧縮するＤＲ圧縮処理といった階調変換処理（コントラスト強調処理）を行うことが必要となる。このように、ダイナミックレンジが狭い表示系で再現させるべく上記ＤＲ圧縮処理等の階調変換処理、強いてはＤＲ圧縮処理のような通常よりも大きな圧縮率（増幅率、階調変換率）での階調変換処理が必要となるようなダイナミックレンジが広い画像を“広ＤＲ画像”という。

上記広ＤＲ画像においては、階調変換処理によって正規の画像成分だけでなく、ノイズ成分も大きく増幅されて、（広ＤＲでない）通常のＤＲを有する画像（通常ＤＲ画像、或いは標準ＤＲ画像）と比べて大きくノイズが強調されてしまうことから、上記特許文献１及び２に開示される技術では、ノイズ除去処理において通常ＤＲ画像を取り扱う際に問題とならなかった以下の問題が発生する。

すなわち、特許文献１では、上述のようにノイズ成分が正規の画像成分と重なった状態の重畳ノイズから該ノイズ成分を分離することができず、従って重畳ノイズからノイズ成分だけ除去することができないものの、上記通常ＤＲ画像を扱う場合には、正規の画像成分に対してノイズ成分が大きくなかったため殆ど問題とならなかった。しかしながら、広ＤＲ画像を扱う場合、正規の画像成分に対してノイズ成分が無視できない大きさであることが多く、画像の中でこのノイズ成分が大きく目立ってしまう（顕著なものとなる）という問題がある。

また、特許文献２では、上述のように、エッジ検出を行うための正規化係数を算出するために、帯域分割処理における次段の高周波成分を参照しているが、この高周波成分は、ノイズ除去処理においてノイズ成分を抽出するために分離している成分であり、この成分中にノイズ成分が残存している可能性は高い。この高周波成分を参照してエッジ成分の保存を行うため、ノイズ成分をエッジ成分であると誤検知してノイズ成分を誤って保存する可能性がある。この場合においても、広ＤＲ画像ではノイズ成分が無視できない大きさであることが多く、画像の中でこのノイズ成分が大きく目立ってしまうという問題がある。

本発明は、上記問題に鑑みてなされたもので、画像が広ＤＲ画像であったとしても、画像中においてノイズ成分が目立つといったことなく精度良くノイズ成分を除去することができ（ノイズ除去精度が良く）、且つ、ノイズ成分がエッジ成分であると誤検知されてノイズ成分が誤って保存されるといったことなく精度良くエッジ成分を保存することができ（エッジ保存精度が良く）、ひいては高画質な画像を得ることが可能な画像処理装置、画像処理方法及びこれを用いた撮像装置を提供することを目的とする。

本発明に係る画像処理装置は、入力画像を複数の周波数帯における周波数成分に分離する周波数分離手段と、前記周波数分離手段による分離処理により得られた各周波数帯の周波数成分における高周波成分からノイズ成分を除去するノイズ除去手段と、前記周波数分離手段による分離処理により得られた各周波数帯の周波数成分における低周波成分からエッジ強度を検出するとともに、該検出したエッジ強度に基づいてエッジ成分の保存度合いに関するエッジ保存情報を算出するエッジ保存情報算出手段と、前記エッジ保存情報算出手段により算出されたエッジ保存情報に基づいて前記高周波成分に対するエッジ成分の保存を行うエッジ保存手段と、前記各周波数帯における、前記ノイズ除去手段によりノイズ成分が除去されて且つ前記エッジ保存手段によりエッジ成分が保存されてなる前記高周波成分と、前記低周波成分とを合成する周波数合成手段とを備えることを特徴とする。

上記構成によれば、周波数分離手段によって、入力画像が複数の周波数帯における周波数成分に分離され、ノイズ除去手段によって、周波数分離手段による分離処理により得られた各周波数帯の周波数成分における高周波成分からノイズ成分除去される。そして、エッジ保存情報算出手段によって、周波数分離手段による分離処理により得られた各周波数帯の周波数成分における低周波成分からエッジ強度が検出されるとともに、該検出したエッジ強度に基づいてエッジ成分の保存度合いに関するエッジ保存情報が算出される。そして、エッジ保存手段によって、エッジ保存情報算出手段により算出されたエッジ保存情報に基づいて高周波成分に対するエッジ成分の保存が行われ、周波数合成手段によって、各周波数帯における、ノイズ除去手段によりノイズ成分が除去されて且つエッジ保存手段によりエッジ成分が保存されてなる高周波成分と、低周波成分とが合成される。

また、上記構成において、前記周波数分離手段は、ローパスフィルタ処理を行うことで低周波成分を生成する低周波生成手段と、該低周波生成手段により生成された低周波成分に対してダウンサンプリング処理を行うダウンサンプリング手段とを備え、前記入力画像に対して前記低周波生成手段によるローパスフィルタ処理と前記ダウンサンプリング手段によるダウンサンプリング処理とを所定回数だけ繰り返すことで前記入力画像を複数の周波数帯における周波数成分に分離するようにしてもよい。（請求項２）

これによれば、周波数分離手段が、ローパスフィルタ処理を行うことで低周波成分を生成する低周波生成手段と、該低周波生成手段により生成された低周波成分に対してダウンサンプリング処理を行うダウンサンプリング手段とを備えたものとされ、この周波数分離手段によって、入力画像に対して低周波生成手段によるローパスフィルタ処理とダウンサンプリング手段によるダウンサンプリング処理とが所定回数だけ繰り返されることで入力画像が複数の周波数帯における周波数成分に分離される。

また、上記構成において、前記エッジ保存手段は、前記ノイズ除去手段を用いて、該ノイズ除去手段によるノイズ成分除去処理において前記高周波成分に対するエッジ成分の保存を行うものであって、前記エッジ保存情報算出手段により算出されたエッジ保存情報に基づいて前記ノイズ成分除去処理におけるノイズ成分の除去度合いを変化させることで、該高周波成分に対するエッジ成分の保存を行うようにしてもよい。（請求項３）

これによれば、エッジ保存手段が、ノイズ除去手段を用いて、該ノイズ除去手段によるノイズ成分除去処理において高周波成分に対するエッジ成分の保存を行うものとされ、このエッジ保存手段によって、エッジ保存情報算出手段により算出されたエッジ保存情報に基づいてノイズ成分除去処理におけるノイズ成分の除去度合いが変化されることで、該高周波成分に対するエッジ成分の保存が行われる。

また、上記構成において、前記周波数分離手段による分離処理により得られた各周波数帯の周波数成分から高周波成分を生成する高周波生成手段をさらに備え、前記ノイズ除去手段は、前記高周波生成手段により生成された高周波成分に対してコアリング処理を行うとともに、該コアリング処理が施された高周波成分と該コアリング処理が施される前の高周波成分とを前記エッジ保存情報を用いて重み付け平均することで、前記ノイズ成分除去処理におけるノイズ成分の除去度合いを変化させるようにしてもよい。（請求項４）

これによれば、画像処理装置が、周波数分離手段による分離処理により得られた各周波数帯の周波数成分から高周波成分を生成する高周波生成手段をさらに備えたものとされ、ノイズ除去手段によって、高周波生成手段により生成された高周波成分に対してコアリング処理が行われるとともに、該コアリング処理が施された高周波成分と該コアリング処理が施される前の高周波成分とがエッジ保存情報を用いて重み付け平均されることで、ノイズ成分除去処理におけるノイズ成分の除去度合いが変化される。

また、上記構成において、前記エッジ保存手段は、前記エッジ保存情報算出手段により算出されたエッジ保存情報に基づいて前記高周波成分からエッジ成分を分離するとともに、該エッジ成分が分離された高周波成分から前記ノイズ除去手段によりノイズ成分が除去されてなる高周波成分と、前記高周波成分から分離したエッジ成分とを合成することで、前記高周波成分に対するエッジ成分の保存を行うようにしてもよい。（請求項５）

これによれば、エッジ保存手段によって、エッジ保存情報算出手段により算出されたエッジ保存情報に基づいて高周波成分からエッジ成分が分離されるとともに、該エッジ成分が分離された高周波成分からノイズ除去手段によりノイズ成分が除去されてなる高周波成分と、高周波成分から分離したエッジ成分とが合成されることで、高周波成分に対するエッジ成分の保存が行われる。

また、上記構成において、前記周波数分離手段による分離処理により得られた各周波数帯の周波数成分から高周波成分を生成する高周波生成手段をさらに備え、前記エッジ保存手段は、前記高周波生成手段を用いて、該高周波生成手段による高周波生成処理において前記高周波成分からエッジ成分を分離するものであって、前記低周波生成手段によるローパスフィルタ処理により生成された低周波成分と、該ローパスフィルタ処理前の周波数成分とを前記エッジ保存情報を用いて重み付け平均することでエッジ成分が保存されたエッジ保存低周波成分を生成するとともに、前記高周波生成処理において前記ローパスフィルタ処理前の周波数成分から前記エッジ保存低周波成分を減算して高周波成分を生成することで、前記高周波成分からエッジ成分を分離するようにしてもよい。（請求項６）

これによれば、画像処理装置が、周波数分離手段による分離処理により得られた各周波数帯の周波数成分から高周波成分を生成する高周波生成手段をさらに備えたものとされ、エッジ保存手段が、高周波生成手段を用いて、該高周波生成手段による高周波生成処理において高周波成分からエッジ成分を分離するものとされ、このエッジ保存手段によって、低周波生成手段によるローパスフィルタ処理により生成された低周波成分と、該ローパスフィルタ処理前の周波数成分とがエッジ保存情報を用いて重み付け平均されることでエッジ成分が保存されたエッジ保存低周波成分が生成されるとともに、高周波生成処理においてローパスフィルタ処理前の周波数成分からエッジ保存低周波成分が減算されて高周波成分が生成されることで、高周波成分からエッジ成分が分離される。

また、上記構成において、前記ノイズ除去手段は、コアリング処理によりノイズ成分を除去するようにしてもよい。（請求項７）これによれば、ノイズ除去手段が、コアリング処理によりノイズ成分を除去するものとされる。

また、上記構成において、前記周波数分離手段は、ウェーブレット変換処理により、前記入力画像を高周波成分と低周波成分とに分離して、該分離した高周波成分及び低周波成分のうちの低周波成分をさらに高周波成分と低周波成分とに分離する処理を所定回数だけ繰り返すことで前記入力画像を複数の周波数帯における周波数成分に分離するようにしてもよい。（請求項８）

これによれば、周波数分離手段によって、ウェーブレット変換処理により、入力画像が高周波成分と低周波成分とに分離され、該分離された高周波成分及び低周波成分のうちの低周波成分がさらに高周波成分と低周波成分とに分離される処理が所定回数だけ繰り返されることで入力画像が複数の周波数帯における周波数成分に分離される。

また、上記構成において、前記ノイズ除去手段は、コアリング処理によりノイズ成分の除去を行うものであって、前記エッジ保存手段は、前記ノイズ除去手段を用いて前記コアリング処理において前記高周波成分に対するエッジ成分の保存を行うものであって、前記エッジ保存情報算出手段により算出されたエッジ保存情報に基づいて前記コアリング処理におけるコアリングの度合いを変化させることで、該高周波成分に対するエッジ成分の保存を行うようにしてもよい。（請求項９）

これによれば、ノイズ除去手段が、コアリング処理によりノイズ成分の除去を行うものとされる。そして、エッジ保存手段が、ノイズ除去手段を用いてコアリング処理において高周波成分に対するエッジ成分の保存を行うものとされ、このエッジ保存手段によって、エッジ保存情報算出手段により算出されたエッジ保存情報に基づいてコアリング処理におけるコアリングの度合いが変化されることで、該高周波成分に対するエッジ成分の保存が行われる。

また、上記構成において、前記ノイズ除去手段は、前記コアリング処理において、前記エッジ保存情報に基づいて前記コアリングの度合いに関する重み付け係数が乗算されてなるコアリングレベル情報に応じてコアリング係数を変化させることで、前記コアリングの度合いを変化させるようにしてもよい。（請求項１０）

これによれば、ノイズ除去手段によって、コアリング処理において、エッジ保存情報に基づいてコアリングの度合いに関する重み付け係数が乗算されてなるコアリングレベル情報に応じてコアリング係数が変化されることで、コアリングの度合いが変化される。

また、上記構成において、前記ノイズ除去手段は、前記コアリング処理のコアリング特性におけるコアリング係数間のグラフ上の傾きを変化させることが可能に構成されたものであるようにしてもよい。（請求項１１）

これによれば、ノイズ除去手段が、コアリング処理のコアリング特性におけるコアリング係数間のグラフ上の傾きを変化させることが可能に構成されたものとされる。

また、上記構成において、前記エッジ保存情報は、前記低周波成分のエッジ強度が所定の閾値ｅ２より大きい値となる場合には一定の最大値となり、該エッジ強度が前記閾値ｅ２より小さい値である閾値ｅ１より小さい値となる場合には一定の最小値となり、該エッジ強度が前記閾値ｅ１以上閾値ｅ２以下の値となる場合には、該エッジ強度に応じた前記最小値から最大値までのいずれかの値となるエッジ保存係数であるようにしてもよい。（請求項１２）

これによれば、エッジ保存情報が、低周波成分のエッジ強度が所定の閾値ｅ２より大きい値となる場合には一定の最大値となり、該エッジ強度が閾値ｅ２より小さい値である閾値ｅ１より小さい値となる場合には一定の最小値となり、該エッジ強度が閾値ｅ１以上閾値ｅ２以下の値となる場合には、該エッジ強度に応じた最小値から最大値までのいずれかの値となるエッジ保存係数とされる。

また、本発明に係る画像処理方法は、入力画像を複数の周波数帯における周波数成分に分離する周波数分離工程と、前記周波数分離工程において得られた各周波数帯の周波数成分における高周波成分からノイズ成分を除去するノイズ成分除去工程と、前記周波数分離工程において得られた各周波数帯の周波数成分における低周波成分からエッジ強度を検出するとともに、該検出したエッジ強度に基づいてエッジ成分の保存度合いに関するエッジ保存情報を算出するエッジ保存情報算出工程と、前記エッジ保存情報算出工程において算出されたエッジ保存情報に基づいて前記高周波成分に対するエッジ成分の保存を行うエッジ保存工程と、前記各周波数帯における、前記ノイズ除去工程においてノイズ成分が除去されて且つ前記エッジ保存工程においてエッジ成分が保存されてなる前記高周波成分と、前記低周波成分とを合成する周波数合成工程とを有することを特徴とする。（請求項１４）

上記構成によれば、周波数分離工程において、入力画像が複数の周波数帯における周波数成分に分離され、ノイズ成分除去工程において、周波数分離工程において得られた各周波数帯の周波数成分における高周波成分からノイズ成分が除去される。そして、エッジ保存情報算出工程において、周波数分離工程において得られた各周波数帯の周波数成分における低周波成分からエッジ強度が検出されるとともに、該検出されたエッジ強度に基づいてエッジ成分の保存度合いに関するエッジ保存情報が算出される。そして、エッジ保存工程において、エッジ保存情報算出工程において算出されたエッジ保存情報に基づいて高周波成分に対するエッジ成分の保存が行われ、周波数合成工程において、各周波数帯における、ノイズ除去工程においてノイズ成分が除去されて且つエッジ保存工程においてエッジ成分が保存されてなる高周波成分と、低周波成分とが合成される。

また、上記構成において、前記入力画像は、広ダイナミックレンジ画像であるようにしてもよい（請求項１３、請求項１５）。これによれば、入力画像が広ダイナミックレンジ画像とされる。

ところで、上記「広ダイナミックレンジ撮影」とは、撮影画像のダイナミックレンジがより広くなるような撮影（撮像）、すなわち低輝度から高輝度に亘ってより広範囲に被写体輝度情報を有する画像が得られる撮影である。このような撮像センサは、例えば、当該広範囲における低輝度から高輝度にかけての被写体輝度に対する撮像センサの出力値が、該撮像センサの最大出力値を超えないような光電変換特性を有している。例えばリニアログセンサでは、より広い輝度範囲においてセンサ出力が最大出力値を超えないように、すなわち撮像センサの出力範囲内でより広範囲の被写体輝度が撮像可能となるように、高輝度領域の光電変換特性が対数的に変化する所謂“ねかせた”状態のグラフとなっている。換言すれば、センサ出力値がより高くなる高輝度側になるにつれ、輝度レベルの増加に対するセンサ出力レベルの増加が鈍くなるような光電変換特性となっている。ただし、広ダイナミックレンジ撮影が可能な撮像センサは、このような光電変換特性を有するものでなくともよく、種々の形態のものが採用可能である。

また、本発明に係る撮像装置は、広ダイナミックレンジ撮影が可能に構成された撮像手段と、前記撮像手段により得られた広ダイナミックレンジ画像を複数の周波数帯における周波数成分に分離する周波数分離手段と、前記周波数分離手段による分離処理により得られた各周波数帯の周波数成分における高周波成分からノイズ成分を除去するノイズ除去手段と、前記周波数分離手段による分離処理により得られた各周波数帯の周波数成分における低周波成分からエッジ強度を検出するとともに、該検出したエッジ強度に基づいてエッジ成分の保存度合いに関するエッジ保存情報を算出するエッジ保存情報算出手段と、前記エッジ保存情報算出手段により算出されたエッジ保存情報に基づいて前記高周波成分に対するエッジ成分の保存を行うエッジ保存手段と、前記各周波数帯における、前記ノイズ除去手段によりノイズ成分が除去されて且つ前記エッジ保存手段によりエッジ成分が保存されてなる前記高周波成分と、前記低周波成分とを合成する周波数合成手段とを備えることを特徴とする。（請求項１６）

上記構成によれば、撮像手段によって広ダイナミックレンジ撮影が行われ、周波数分離手段によって、撮像手段により得られた広ダイナミックレンジ画像が複数の周波数帯における周波数成分に分離され、ノイズ除去手段によって、周波数分離手段による分離処理により得られた各周波数帯の周波数成分における高周波成分からノイズ成分除去される。そして、エッジ保存情報算出手段によって、周波数分離手段による分離処理により得られた各周波数帯の周波数成分における低周波成分からエッジ強度が検出されるとともに、該検出したエッジ強度に基づいてエッジ成分の保存度合いに関するエッジ保存情報が算出される。そして、エッジ保存手段によって、エッジ保存情報算出手段により算出されたエッジ保存情報に基づいて高周波成分に対するエッジ成分の保存が行われ、周波数合成手段によって、各周波数帯における、ノイズ除去手段によりノイズ成分が除去されて且つエッジ保存手段によりエッジ成分が保存されてなる高周波成分と、低周波成分とが合成される。

さらに、上記構成において、前記撮像手段は、入射光量に応じた電気信号を発生するとともに、該入射光量に対して電気信号が線形的に変換されて出力される線形特性領域と、該入射光量に対して電気信号が対数的に変換されて出力される対数特性領域とからなる光電変換特性を有する撮像センサであるようにしてもよい。（請求項１７）

これによれば、撮像手段が、入射光量に応じた電気信号を発生するとともに、該入射光量に対して電気信号が線形的に変換されて出力される線形特性領域と、該入射光量に対して電気信号が対数的に変換されて出力される対数特性領域とからなる光電変換特性を有する撮像センサとされる。

請求項１に係る画像処理装置によれば、入力画像が複数の周波数帯における周波数成分に分離され、この分離処理により得られた各周波数帯の周波数成分における高周波成分からノイズ成分が除去されるので、すなわち周波数帯毎に例えば周波数帯毎に設定したノイズ除去量に応じてノイズ成分が除去される構成であるので、精度良くノイズ成分を除去することができる。また、各周波数帯の周波数成分における低周波成分からエッジ強度が検出され、検出されたこのエッジ強度に基づいてエッジ成分の保存度合いに関するエッジ保存情報が算出される構成であるので、すなわち、周波数帯毎にエッジ強度を検出してこれによりエッジ保存情報を決めていることから、及び高周波成分でなく低周波成分（ノイズ成分が残存している可能性が少ない側である低周波成分）からエッジ強度を検出してエッジ保存情報を決めていることから、ノイズ成分がエッジ成分であると誤検知されてノイズ成分が誤って保存されるといったことなく精度良くエッジ成分を保存することができる。このような構成により、入力画像が広ダイナミックレンジ画像であったとしても、ノイズ除去精度の良い且つエッジ保存精度の良い画像処理が可能となり、ひいては高画質な画像を得ることができる。

請求項２に係る画像処理装置によれば、入力画像に対してローパスフィルタ処理及びダウンサンプリング処理を所定回数繰り返すことで入力画像が複数の周波数帯における周波数成分に分離されるので、簡易な構成で入力画像を複数の周波数帯における周波数成分に分離することができる。

請求項３に係る画像処理装置によれば、エッジ保存情報に基づいてノイズ成分除去処理におけるノイズ成分の除去度合いが変化されることで、高周波成分に対するエッジ成分の保存が行われるので、高周波成分に対するエッジ成分の保存をノイズ成分除去処理を利用して効率良く行うことができ、また装置の簡素化を図ることができる。

請求項４に係る画像処理装置によれば、コアリング処理が施された高周波成分とコアリング処理が施される前の高周波成分とがエッジ保存情報を用いて重み付け平均されることで、ノイズ成分除去処理におけるノイズ成分の除去度合いが変化されるので、当該ノイズ成分の除去度合いを変化させる構成を簡易な構成によって実現することができる。

請求項５に係る画像処理装置によれば、高周波成分からエッジ成分を分離しておいてこのエッジ成分が分離された高周波成分からノイズ成分を除去するため、ノイズ成分除去処理においてエッジ成分がノイズ成分であると誤検知されることなく一層精度良くノイズ成分を除去することができ、且つ、このノイズ成分が除去された高周波成分と、分離しておいたエッジ成分とを合成することで高周波成分に対するエッジ成分の保存を行うので、エッジ成分保存処理においてノイズ成分がエッジ成分であると誤検知されることなく一層精度良くエッジ成分を保存することができる。

請求項６に係る画像処理装置によれば、高周波生成処理においてローパスフィルタ処理前の周波数成分から、ローパスフィルタ処理により生成された低周波成分とローパスフィルタ処理前の周波数成分とがエッジ保存情報を用いて重み付け平均されてなるエッジ保存低周波成分を減算して高周波成分を生成することで、高周波成分からエッジ成分が分離されるので、当該高周波成分からエッジ成分を分離させる構成を簡易な構成によって実現することができ、ひいては高周波成分に対するエッジ成分の保存を容易に行うことが可能となる。

請求項７に係る画像処理装置によれば、コアリング処理によりノイズ成分が除去される構成であるので、当該ノイズ成分除去処理やノイズ成分除去の制御が簡単なものとなり、また、ノイズ除去量を閾値（コアリング係数）の情報を用いて容易に制御することができる。

請求項８に係る画像処理装置によれば、理論上、画像の劣化が無いウェーブレット変換処理を用いて入力画像を複数の周波数帯における周波数成分に分離することができ、より高画質な画像を得ることができる。また、このウェーブレット変換処理を用いることによって、装置の簡略化を図ることができる。

請求項９に係る画像処理装置によれば、エッジ保存情報に基づいてコアリング処理におけるコアリングの度合いが変化されることで、高周波成分に対するエッジ成分の保存が行われるので、高周波成分に対するエッジ成分の保存をコアリング処理を利用して効率良く行うことができる。

請求項１０に係る画像処理装置によれば、エッジ保存情報に基づいてコアリングの度合いに関する重み付け係数が乗算されてなるコアリングレベル情報に応じてコアリング係数が変化されることで、コアリングの度合いが変化されるので、当該コアリングの度合いを変化させる構成を簡易な構成によって実現することができる。

請求項１１に係る画像処理装置によれば、コアリング処理のコアリング特性におけるコアリング係数間のグラフ上の傾きを変化させてコアリング特性を調整することが可能となり、これにより、例えば或る画素の絶対値がコアリング係数よりも小さいものをノイズとして一律にカットしてしまい、画像の質感に関するディテイル成分まで欠落させるといった事態が生じることを防止できる、すなわち、画像で目立たない程度の若干のノイズは許容し、画像のディテイル成分は欠落が抑えられた、用途に応じた適正な画像を得ることが可能となる。

請求項１２に係る画像処理装置によれば、エッジ保存情報が、低周波成分のエッジ強度が、閾値ｅ２より大きい場合には一定の最大値、閾値ｅ１より小さい場合には一定の最小値、閾値ｅ１以上閾値ｅ２以下となる場合には最小値から最大値までの値となるようなシンプルなエッジ保存係数として与えられるので、このエッジ保存係数を用いた処理が容易なものとなる。

請求項１３に係る画像処理装置によれば、入力画像が広ダイナミックレンジ画像とされるので、広ダイナミックレンジ画像に対してノイズ除去精度の良い且つエッジ保存精度の良い画像処理が可能となる。

請求項１４に係る画像処理方法によれば、入力画像が複数の周波数帯における周波数成分に分離され、この分離処理により得られた各周波数帯の周波数成分における高周波成分からノイズ成分が除去されるので、すなわち周波数帯毎に例えば周波数帯毎に設定したノイズ除去量に応じてノイズ成分が除去される構成であるので、精度良くノイズ成分を除去することができる。また、各周波数帯の周波数成分における低周波成分からエッジ強度が検出され、検出されたこのエッジ強度に基づいてエッジ成分の保存度合いに関するエッジ保存情報が算出される構成であるので、すなわち、周波数帯毎にエッジ強度を検出してこれによりエッジ保存情報を決めていることから、及び高周波成分でなく低周波成分（ノイズ成分が残存している可能性が少ない側である低周波成分）からエッジ強度を検出してエッジ保存情報を決めていることから、ノイズ成分がエッジ成分であると誤検知されてノイズ成分が誤って保存されるといったことなく精度良くエッジ成分を保存することができる。このような構成により、入力画像が広ダイナミックレンジ画像であったとしても、ノイズ除去精度の良い且つエッジ保存精度の良い画像処理が可能となり、ひいては高画質な画像を得ることができる。

請求項１５に係る画像処理方法によれば、入力画像が広ダイナミックレンジ画像とされるので、広ダイナミックレンジ画像に対してノイズ除去精度の良い且つエッジ保存精度の良い画像処理が可能となる。

請求項１６に係る撮像装置によれば、撮像手段による広ダイナミックレンジ撮影により得られた広ダイナミックレンジ画像が複数の周波数帯における周波数成分に分離され、この分離処理により得られた各周波数帯の周波数成分における高周波成分からノイズ成分が除去されるので、すなわち周波数帯毎に例えば周波数帯毎に設定したノイズ除去量に応じてノイズ成分が除去される構成であるので、精度良くノイズ成分を除去することができる。また、各周波数帯の周波数成分における低周波成分からエッジ強度が検出され、検出されたこのエッジ強度に基づいてエッジ成分の保存度合いに関するエッジ保存情報が算出される構成であるので、すなわち、周波数帯毎にエッジ強度を検出してこれによりエッジ保存情報を決めていることから、及び高周波成分でなく低周波成分（ノイズ成分が残存している可能性が少ない側である低周波成分）からエッジ強度を検出してエッジ保存情報を決めていることから、ノイズ成分がエッジ成分であると誤検知されてノイズ成分が誤って保存されるといったことなく精度良くエッジ成分を保存することができる。このような構成により、広ダイナミックレンジ画像に対するノイズ除去精度の良い且つエッジ保存精度の良い画像処理が可能となり、ひいては高画質な広ダイナミックレンジ画像を得ることができる。

請求項１７に係る撮像装置によれば、撮像手段が入射光量に対して電気信号を対数的に変換して出力することが可能な撮像センサであるので、この撮像センサを用いて容易に広ダイナミックレンジ画像を得ることができる。

（実施形態１）
図１は、第１の実施形態に係る画像処理装置が適用される撮像装置の一例であるデジタルカメラ１の主に撮像処理に関する概略的なブロック構成図を示している。図１に示すようにデジタルカメラ１は、レンズ部２、撮像センサ３、アンプ４、Ａ／Ｄ変換部５、画像処理部６、画像メモリ７、制御部８、モニタ部９及び操作部１０を備えている。

レンズ部２は、被写体光（光像）を取り込むレンズ窓として機能するとともに、この被写体光をカメラ本体の内部に配置されている撮像センサ３へ導くための光学レンズ系を構成するものであり、例えば被写体光の光軸Ｌに沿って直列的に配置される例えばズームレンズやフォーカスレンズ、その他の固定レンズブロックからなるレンズ群である。レンズ部２は、当該レンズの透過光量を調節するための絞り（図略）やシャッタ（図略）を備えており、制御部８によってこの絞りやシャッタの駆動制御がなされる構成となっている。

撮像センサ３は、レンズ部２において結像された被写体光像の光量に応じ、Ｒ、Ｇ、Ｂ各成分の画像信号に光電変換して後段のアンプ４へ出力するものである。本実施形態では、撮像センサ３として、異なる複数の光電変換特性を有する光電変換特性、すなわち、図４に示すようなセンサ入射輝度が低い場合（暗時）に出力画素信号（光電変換により発生する出力電気信号）が線形的に変換されて出力される線形特性領域と、センサ入射輝度が高い場合（明時）に出力画素信号が対数的に変換されて出力される対数特性領域とからなる光電変換特性（低輝度側が線形、高輝度側が対数の光電変換特性）を有する固体撮像素子が用いられる。ただし、撮像センサ３は、上記線形／対数特性からなる光電変換特性だけでなく、線形特性のみ、或いは対数特性のみからなる光電変換特性に任意に切り替えることが可能である。また、この光電変換特性の線形特性領域と対数特性領域との切り替り点（以降、この切り替り点のことを変曲点という）は、撮像センサ３の各画素回路に対する所定の制御信号に基づいて、例えば後述のＭＯＳＦＥＴを駆動するための或るＤＣ電圧におけるハイ（Ｈｉ）とロー（Ｌｏｗ）との電圧差の大きさを変化させることにより任意に制御可能とされている。

図２は、撮像センサ３の一例である二次元のＭＯＳ型固体撮像装置としてのＣＭＯＳイメージセンサの概略構成図である。同図において、Ｇ１１〜Ｇｍｎは、行列（マトリクス）配列された画素を示している。この画素Ｇ１１〜Ｇｍｎからなる画素部の外周縁部近傍には、垂直走査回路３０１と水平走査回路３０２とが配設されている。垂直走査回路３０１は、行のライン（信号線）３０４−１、３０４−２、・・・３０４−ｎ（これらを纏めて行ライン３０４という）を順次走査する。水平走査回路３０２は、各画素から出力信号線３０６−１、３０６−２、・・・３０６−ｍ（これらを纏めて出力信号線３０６という）に導出された光電変換信号を画素毎に水平方向に順次読み出す。なお、各画素は電源ライン３０５により電力供給がなされている。各画素には上記各ラインや出力信号線だけでなく、他のライン、例えばクロックライン等も接続されているが、図２では図示を省略している。

出力信号線３０６−１、３０６−２、・・・３０６−ｍには、それぞれ、後述のトランジスタＴ１２と対になって増幅回路を構成する定電流源３０７−１、３０７−２、・・・３０７−ｍ（これらを纏めて定電流源３０７という）が設けられている。ただし、この増幅回路として、定電流源３０７に代えて抵抗やトランジスタを設けてもよい。この出力信号線３０６を介して出力される各画素の撮像時の画像データ及びリセット時の補正データが、順次、選択回路（サンプルホールド回路）３０８−１、３０８−２、・・・３０８−ｍ（これらを纏めて選択回路３０８という）に出力される。この選択回路３０８に対して、行毎に画像データ及び補正データが出力されてサンプルホールドされる。サンプルホールドされた画像データ及び補正データは、列毎に補正回路３０９に出力され、補正回路３０９において、感度バラツキが除去されるように補正データに基づいて画像データの補正が行われる。そして、補正回路３０９から各画素の感度バラツキが補正された画像データが、各画素毎にシリアルに出力される。

図３は、図２に示す各画素Ｇ１１〜Ｇｍｎの一構成例を示す回路図である。同図に示すように、撮像センサ３の各画素は、フォトダイオードＰＤ１、ＭＯＳＦＥＴ（Metal Oxide Semiconductor Field Effect Transistor）としてのトランジスタＴ１０〜Ｔ１３、及びＦＤ（Floating Diffusion）から構成されている。トランジスタＴ１０〜Ｔ１３は、ここではＮチャンネルＭＯＳＦＥＴが採用されている。ＶＤＤ、φＲＳＢ、φＲＳＴ、φＴＸ及びφＶは、各トランジスタに対する信号（電圧）を示し、ＧＮＤは接地を示している。

フォトダイオードＰＤ１は、感光部すなわち光電変換部であり、被写体からの入射光量に応じた電気信号（光電流ＩＰＤ１）を出力する。トランジスタＴ１２は、上記定電流源３０７と対になってソースフォロワ増幅用の増幅回路（ソースフォロワアンプ）を構成するものであり、後述の電圧Ｖ１ＯＵＴに対する増幅（電流増幅）を行う。トランジスタＴ１３は、ゲートに印加する電圧（信号φＶ）に応じてオン、オフされるスイッチとして動作する信号読み出し用のトランジスタ（行選択トランジスタ）である。トランジスタＴ１３のソースは、上記出力信号線３０６に接続されており、トランジスタＴ１３がオンした場合、トランジスタＴ１２で増幅された電流を出力電流として出力信号線３０６へ導出する。

トランジスタＴ１０は、同トランジスタのゲートに印加される電圧に応じてオン、オフされるスイッチとして動作するものであって、当該ゲート電位の高低によるオン、オフ切り替えに応じて、フォトダイオードＰＤ１で発生した光電流ＩＰＤ１（電荷）のＦＤに対する転送、非転送の切り替えを行う所謂転送ゲートとなるものである。フォトダイオードＰＤ１で発生した光電流ＩＰＤ１はフォトダイオードＰＤ１の寄生容量に流れてその電荷が蓄積され、蓄積電荷量に応じた電圧が発生する。このときトランジスタＴ１０がオン状態であれば、この寄生容量に蓄積された電荷（負電荷）がＦＤへ向けて移動する。ＦＤは、電荷（信号電荷）を一旦保持しておく電荷保持部であり、この保持した電荷を電圧に変える（電荷電圧変換を行う）所謂キャパシタの役割を担うものである。

トランジスタＴ１１（リセットゲートトランジスタ）は、同トランジスタのゲート電圧の高低によるオン、オフ切り替えに応じてＦＤに対するリセットバイアスの印加、非印加の切り替えを行うものであるとともに（例えばトランジスタＴ１１がオン状態の場合、トランジスタＴ１０もオン状態となっており、トランジスタＴ１１、ＦＤ、トランジスタＴ１０及びフォトダイオードＰＤ１を挟んだφＲＳＢ及びＧＮＤ間にリセットバイアスがかけられた状態となる）、ゲート電圧をＭｉｄ電位（中間レベルの電位）とすることで、フォトダイオードＰＤ１からＦＤに移動する電荷（ＦＤを流れる電流）のＦＤ及びトランジスタＴ１１による電荷電圧変換によってそれぞれ線形変換及び対数変換を行わせるものである。

この場合、トランジスタＴ１１には上記Ｍｉｄ電位に応じた電流（リセット電流）が流れ、トランジスタＴ１１のソースがこのリセット電流に応じた電位となる。そして、フォトダイオードＰＤ１から移動してくる電荷による電位が、Ｍｉｄ電位に応じたトランジスタＴ１１のソース電位より小さい場合には、すなわち撮像する被写体の輝度が低く、つまり被写体が暗く、フォトダイオードＰＤ１に入射される入射光量が少ない場合には、ＦＤにおいて線形変換としての電荷電圧変換が行われ、一方、ソース電位を超える場合には、すなわち撮像する被写体の輝度が高く、つまり被写体が明るく、フォトダイオードＰＤ１に入射される入射光量が多い場合には、トランジスタＴ１１において対数変換としての電荷電圧変換が行われる。

これにより、ＦＤとトランジスタＴ１２との接続ノード（出力Ｖ１ＯＵＴ）には、ＦＤにおける光電流ＩＰＤ１の積分値による線形出力としての電圧、或いはトランジスタＴ１１における光電流ＩＰＤ１に応じた電流−電圧変換による対数出力としての電圧が現れる。すなわち、光電変換特性における線形特性領域での出力値はＦＤにおける光電流ＩＰＤ１の積分値となるが、対数特性領域については、ＦＤ部に蓄えられた電荷による電位がトランジスタＴ１１（リセットゲート）のソース電流を超えた領域において、光電流ＩＰＤ１と等しい電流がトランジスタＴ１１に流れ、トランジスタＴ１１において光電流ＩＰＤ１が電流−電圧変換された電圧値が出力値としてＦＤ部に現れる（信号電荷を対数圧縮した電荷が上記寄生容量に蓄積される）。このトランジスタＴ１１での電流−電圧変換が上記対数変換に相当する。そして、トランジスタＴ１３がオンされると、これら各電圧に応じたトランジスタＴ１２による増幅電流が、トランジスタＴ１３を介して出力電流として出力信号線３０６に導出される。このように、撮像センサ３により、被写体輝度（センサ入射輝度）に応じて線形変換又は対数変換された出力信号、すなわち広ＤＲ画像が得られる。

なお、ここでは撮像センサ３の各画素において上記ＮチャンネルＭＯＳＦＥＴを採用しているが、ＰチャンネルＭＯＳＦＥＴを採用してもよい。また、撮像センサ３として、上述のようにＦＤを用いて線形変換及び対数変換を行うＣＭＯＳイメージセンサに限らず、例えばＭＯＳＦＥＴ（Ｐ型又はＮ型）の所謂サブスレッショルド特性を利用することで当該線形変換及び対数変換を行うＣＭＯＳイメージセンサを採用してもよい。ただし、ＣＭＯＳイメージセンサに限らず、ＶＭＩＳイメージセンサやＣＣＤイメージセンサ等であってもよい。

アンプ４は、撮像センサ３から出力された画像信号を増幅するものであり、例えばＡＧＣ（オートゲインコントロール）回路を備え、当該出力信号のゲイン（増幅率）調整を行う。アンプ４は、ＡＧＣ回路の他、アナログ値としての当該画像信号のサンプリングノイズの低減を行うＣＤＳ（相関二重サンプリング）回路を備えていてもよい。ＡＧＣ回路は、適正露出が得られなかった場合、例えば非常に低輝度の被写体を撮影する場合の撮影画像のレベル不足を補償する機能も有する。なお、ＡＧＣ回路に対するゲイン値は制御部８によって設定される。Ａ／Ｄ変換部５は、アンプ４にて増幅されたアナログ値の画像信号（アナログ信号）をデジタル値の画像信号（デジタル信号）に変換するＡ／Ｄ変換処理を行うものであり、撮像センサ３の各画素で受光して得られる画素信号をそれぞれ例えば１２ビットの画素データに変換する。

画像処理部６は、上記Ａ／Ｄ変換処理により得られた画像信号に対する各種画像処理、具体的には、例えば色補間処理、色補正処理及び色空間変換処理といった所謂色処理、或いはホワイトバランス補正処理やノイズ除去処理、ダイナミックレンジ圧縮（ＤＲ圧縮）処理を行うものである。本実施形態では、これら各種画像処理における特にノイズ除去処理について主な特徴点を有しているが、これについては後に詳述する。

画像メモリ７は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリからなり、画像処理部６にて画像処理される前のＲＡＷ画像データ、或いは画像処理部６や制御部８での各種処理時又は処理後の画像データ等のデータを保存（記憶）するものである。

制御部８は、各制御プログラム等を記憶するＲＯＭ、一時的に各種データを格納するＲＡＭ、及び制御プログラム等をＲＯＭから読み出して実行する中央演算処理装置（ＣＰＵ）等からなり、デジタルカメラ１全体の動作制御を司るものである。制御部８は、撮像センサ３や操作部１０等の装置各部からの各種信号に基づき、装置各部が必要とする制御パラメータ、例えば撮影時における最適な露光量に設定するための露光量制御パラメータや最適なダイナミックレンジに設定するためのダイナミックレンジ制御パラメータを算出し、これを送信することで各部の動作を制御する。ただし、“露光量制御”は、例えば絞りの開口量調整や、或いはメカニカルシャッタのシャッタスピードの調整、又は撮像センサ３に対するリセット動作の制御による電荷の積分時間制御（露光時間制御）により実行され、“ダイナミックレンジ制御”は、例えば撮像センサ３の線形特性領域と対数特性領域との切り替わり点（上記変曲点）を制御することで実行される。

制御部８は、これら各制御パラメータに基づき、例えばタイミングジェネレータや駆動部（いずれも図示省略）を介して撮像センサ３やレンズ部２（絞りやシャッタ）に対する撮像動作制御を行う。また制御部８は、これらの制御だけでなく、例えば画像メモリ７に記憶される画像データ等のモニタ部９への表示制御を行ったり、画像処理部６における後述のノイズ除去処理等に関する画像処理制御を行う。

モニタ部９は、例えばカメラ背面に配設されたカラー液晶表示素子からなる液晶表示器（ＬＣＤ；Liquid Crystal Display）等からなり、撮像センサ３で撮影された画像、すなわち画像処理部６で処理された画像や画像メモリ７に保存されている画像等を表示するものである。操作部１０は、デジタルカメラ１に対するユーザによる操作指示（指示入力）を行うものであり、例えば電源スイッチ、レリーズスイッチ、各種撮影モードを設定するモード設定スイッチ、メニュー選択スイッチ等の各種の操作スイッチ群（操作ボタン群）からなる。例えばレリーズスイッチが押下（オン）されることで、撮像動作すなわち撮像センサ３により被写体光が撮像され、これにより得られた撮影画像に対して所要の画像処理が施された後、画像メモリ７等に記録されるといった一連の撮影動作が実行される。

ところで、画像処理部６には、撮像センサ３による撮影により得られた広ＤＲ画像が入力されるが（画像処理部６に入力された広ＤＲ画像のことを適宜、入力画像とも表現する）、この入力された広ＤＲ画像に対する画像処理部６におけるノイズ除去処理について以下に説明する。図５は、画像処理部６における主にノイズ除去処理に関する一回路構成例を示す機能ブロック図である。図５に示すように、画像処理部６は、周波数分離部６１、高周波生成部６４、エッジ検出部６５、ノイズ除去部６６及び周波数合成部６９を備えている。

先ずこれら各機能部を概略的に説明すると、周波数分離部６１は、画像処理部６への入力画像６１０すなわち（２次元の）広ＤＲ画像に対して、所謂階層的な複数の処理ステップ（処理段）でのＬＰＦ処理とダウンサンプリング処理とを行うことによって、該入力画像６１０を複数（複数種類）の周波数成分（周波数帯；帯域成分）に分離（分解）するものである。この周波数成分を分離する処理（周波数分離処理；帯域分割処理）により、処理ステップ毎に低周波成分の画像（低周波画像）が生成される。高周波生成部６４は、周波数分離部６１の上記周波数分離処理における各処理ステップにおいて、ＬＰＦ処理前の画像からＬＰＦ処理後の画像である低周波画像を減算することで、各処理ステップにおける高周波画像を生成するものである。

また、エッジ検出部６５は、当該各処理ステップにおいて、ＬＰＦ処理後の低周波画像に対するエッジ成分に関する検出処理（エッジ検出処理）を行うものである。ノイズ除去部６６は、高周波生成部６４において生成された高周波成分の画像（高周波画像）に対するノイズ成分の除去処理（ノイズ除去処理）を行うものである。周波数合成部６９は、周波数分離部６１による周波数分離処理により生成された上記各処理ステップのうちの最終段の処理ステップでの低周波画像に対する、各処理ステップでの上記ノイズ除去処理後における高周波画像の合成（加算）処理及びアップサンプリング処理を行うことによって、出力画像（画像処理部６での最終出力画像）としてのノイズ除去済みの広ＤＲ画像を生成するものである。

これら各部の構成及び動作の詳細について、図６〜１１を参照しながら説明する。図６は、周波数分離部６１による周波数分離処理について説明するための図であって、図５に示す周波数分離部６１の箇所の部分拡大図である。図６に示すように、周波数分離部６１は、上記ＬＰＦ処理を行うＬＰＦ部６２と上記ダウンサンプリング（Down Sampling；ＤＳ）処理を行うＤＳ部６３とを備えている。ＬＰＦ部６２は、各処理ステップに対応するＬＰＦ部、すなわち処理ステップ１のＬＰＦ部６２１、処理ステップ２のＬＰＦ部６２２・・・、処理ステップ（ｎ−１）のＬＰＦ部６２３及び処理ステップｎのＬＰＦ部６２４を備えている。各ＬＰＦ部６２１〜６２４では、各処理ステップに対する入力画像に対してローパスフィルタを用いたＬＰＦ処理を行い、各処理ステップにおける低周波画像を抽出する。例えば処理ステップ（ｎ−１）においては、入力画像６２３１に対してＬＰＦ部６２３によりＬＰＦ処理が行われて低周波画像６２３２が抽出される。ここでの“入力画像”とは、各処理ステップに対して入力される画像という意味で用いている。この入力画像は、処理ステップ１に対するものはＬＰＦ処理されていない謂わば撮像センサ３から送信されてきた撮影画像そのものの画像データであるが、処理ステップ２から下段の処理ステップではＬＰＦ処理が施された低周波画像となっている。なお、このＬＰＦ処理により抽出された低周波画像は、後述するエッジ検出用（エッジ保存係数算出用）の画像であるとも言える。

ＤＳ部６３は、各処理ステップに対応するＤＳ部、すなわち処理ステップ１に対応するＤＳ部６３１、処理ステップ２に対応するＤＳ部６３２・・・、処理ステップ（ｎ−１）に対応するＤＳ部６３３を備えている。ただし、処理ステップｎは最終段の処理ステップであることから、この処理ステップｎに対応するＤＳ部は備えていない。各ＤＳ部６３１〜６３３では、各処理ステップにおいてＬＰＦ処理により抽出された低周波画像に対して、該画像のサイズつまり画素数を縦横ともに１／２倍にする例えば画素間引きによるＤＳ処理（１／２ＤＳ処理）を行い、このＤＳ処理後の画像を次段の処理ステップのＬＰＦ部へ出力する。例えば処理ステップ（ｎ−１）においては、ＬＰＦ部６２３によるＬＰＦ処理後の低周波画像６２３２に対してＤＳ部６３３によりＤＳ処理が行われ、処理ステップｎに対する入力画像６２４１が生成される。ただし、ここでは、１／２倍のＤＳ処理を行うものとしているが、これに限らず、１／３、１／４倍等、任意の倍率でのＤＳ処理が採用可能である。

ところで、上記処理ステップの数（処理ステップの段数）、すなわち処理ステップｎにおける“ｎ”の値は、任意な値が採用可能であるが、本実施形態では例えば「４」（ｎ＝４）に設定されるものとする（以降、適宜、処理ステップｎを処理ステップ４として説明する）。また、本実施形態では、処理ステップ数ｎ＝４となる場合において、各ＬＰＦ部のＬＰＦ処理は、例えばタップ（Ｔａｐ）数「７」のフィルタサイズのＬＰＦを用いた処理すなわち７×７ＬＰＦ処理であるものとする。当該処理ステップ数とタップ数との関係に関し、タップ数が「７」より小さい値例えば「５」となる場合のＬＰＦ処理である５×５ＬＰＦ処理を行うときには、処理ステップ数ｎは「４」より大きな例えば「８」となるように設定する構成としてもよい。これは、タップ数が小さくなるにつれて、ＬＰＦ処理を１回行う毎の画像の所謂平滑化の度合いが小さくなるので、これに応じてＬＰＦ処理を行う回数すなわち処理ステップの段数を増加させる必要があることによる。ただし、必ずしもこの関係が成立するように処理ステップ数及びタップ数を設定せずともよく、要は、ＬＰＦ部によるＬＰＦ処理により得られる低周波画像から残存ノイズがなくなる、すなわち処理ステップｎにおいてノイズ成分のない低周波成分が抽出されるようになる処理ステップ数（階層の処理段数）やＬＰＦのタップ数が設定されればよい。

このように、周波数分離部６１では、最上段の処理ステップ１から最下段の処理ステップ４へと複数段の処理ステップによる複数回のＬＰＦ処理とダウンサンプリング処理とを行うことにより、入力画像６１０（広ＤＲ画像）を複数の周波数画像へ分解する。なお、ＬＰＦ処理とＤＳ処理とを繰り返し行うことは、順にタップ数を大きくしていきながらＬＰＦ処理を行うことと同等の処理を行っていることになる。

図７は、高周波生成部６４による高周波生成処理について説明するための図であって、図５に示す高周波生成部６４の箇所の部分拡大図である。図７に示すように、高周波生成部６４は、処理ステップ１〜ｎ（１〜４）に対応するＨＰＦ部６４１〜６４４を備えており、各ＨＰＦ部６４１〜６４４において、上記周波数分離部６１側から送信されてきた入力画像及び低周波画像に対して該入力画像から低周波画像を減算することで、ハイパスフィルタ（ＨＰＦ）処理として高周波画像を生成（抽出）する。換言すれば、ＨＰＦ部６４は、ＬＰＦ部６２に入力される前のつまりＬＰＦ処理前の画像から、ＬＰＦ部６２に入力されてＬＰＦ処理された後の画像（低周波画像）を減算することで高周波画像を得る。なお、高周波生成部６４により高周波画像を生成する処理を高周波生成処理という。

例えば、処理ステップ（ｎ−１）つまり処理ステップ３におけるＨＰＦ部６４３では、ＨＰＦ部６４３に、入力画像６２３１、すなわち処理ステップ（ｎ−１）の前段の処理ステップ（ｎ−２）つまり処理ステップ２においてＤＳ部６３２から出力された画像と、低周波画像６２３２すなわちＬＰＦ部６２３から出力された画像とが入力され、この入力画像６２３１に対する低周波画像６２３２の減算が行われ、その結果、ＨＰＦ部６４３により高周波画像６４３２が抽出されて出力される。このように各ＨＰＦ部６４１〜６４４により生成された高周波画像は、各処理ステップの入力画像からノイズ成分を含む高周波成分（重畳ノイズ成分）が分離されたものであり、次の処理においてこの高周波画像からノイズ除去を行うことになる。なお、複数段の処理ステップによる複数回のＨＰＦ処理を行うことによって、１回のＨＰＦ処理では分離しきれなかった重畳ノイズ成分を分離することが可能となる。また、高周波生成部６４を以降、適宜、ＨＰＦ部６４と表現する。

図８は、エッジ検出部６５によるエッジ検出処理、及びノイズ除去部６６によるノイズ除去処理について説明するための図であって、図５に示すエッジ検出部６５及びノイズ除去部６６の箇所の部分拡大図である。図８に示すように、エッジ検出部６５は処理ステップ１〜４に対応するエッジ検出部６５１〜６５４を備えており、またノイズ除去部６６は処理ステップ１〜４に対応するノイズ除去部６６１〜６６４を備えている。これらエッジ検出部６５及びノイズ除去部６６において、上記ＨＰＦ部６４側から送信されてきたノイズ成分を含む高周波画像に対して該高周波画像中のエッジ成分を保存しつつ、ノイズ成分の除去を行う。エッジ検出部６５及びノイズ除去部６６それぞれでのエッジ検出処理及びノイズ除去処理の具体的な方法について説明する。

＜エッジ検出処理＞
エッジ検出部６５１〜６５４は、エッジ検出処理として、それぞれ各処理ステップにおける低周波画像に対してＳｏｂｅｌ（ソベル）フィルタ等のエッジ強度検出用フィルタを用いたフィルタ処理（エッジ強度検出フィルタ処理）を行うことで該低周波画像のエッジ強度を算出し、この算出したエッジ強度の情報からエッジ保存係数Ｅを算出する。当該算出されたエッジ保存係数Ｅの情報は各ノイズ除去部６６１〜６６４へ出力される。例えば処理ステップ３のエッジ検出部６５３の場合、ＨＰＦ部６４側から送信されてきた低周波画像６２３２に対してエッジ強度検出フィルタ処理を行ってエッジ強度を求めるとともに、このエッジ強度からエッジ保存係数Ｅを算出し、算出したこのエッジ保存係数Ｅの情報を、エッジ保存係数情報６５３２としてノイズ除去部６６３へ出力（送信）する。なお、上記Ｓｏｂｅｌフィルタは、微分計算に基づいて謂わば画像中の各画素値間の傾きを検出するものであり、これにより画像におけるエッジの強度を検出することができる。

（エッジ保存係数の算出）
上記エッジ強度及びエッジ保存係数Ｅの算出について、具体的には、各エッジ検出部６５１〜６５４は、各低周波画像に対してタップ数が「３」である３×３Ｓｏｂｅｌフィルタを用いたフィルタ処理（３×３Ｓｏｂｅｌフィルタ処理）を行うことでエッジ強度ｅを算出するとともに、算出したこのエッジ強度ｅに対するエッジ保存係数Ｅを以下の（１）式により算出する。

ｅ＜ｅ１のとき Ｅ＝０（ゼロ）
ｅ１＜ｅ＜ｅ２のとき Ｅ＝（ｅ−ｅ１）／（ｅ２−ｅ１）
ｅ＞ｅ２のとき Ｅ＝１．０ ・・・（１）
但し、ｅ１、ｅ２は、予め設定したエッジ保存係数算出用のしきい値（エッジ保存閾値）であり、ｅ１＜ｅ２の関係を満たしている。

上記（１）式の関係は、図９によって示されるものとなる。すなわち、縦軸をエッジ保存係数Ｅ、横軸をエッジ強度ｅとすると、符号６５５で示すエッジ強度ｅがｅ＜ｅ１となる範囲ではエッジ保存係数Ｅ＝０（エッジ保存の程度が最小となる最小値）となり、符号６５７で示すエッジ強度ｅがｅ＞ｅ２となる範囲ではエッジ保存係数Ｅ＝１．０（エッジ保存の程度が最大となる最大値）となり、符号６５６で示すエッジ強度ｅがｅ１＜ｅ＜ｅ２となる範囲では、エッジ保存係数Ｅが、上記「０」から「１．０」の値まで、傾きを１／（ｅ２−ｅ１）として直線的に変化するものとなる。

上記エッジ保存閾値ｅ１、ｅ２は、どの程度までエッジを保存すればよいかといった謂わば画像の質感に関わる値であり、各処理ステップにおいて好適にエッジ保存が行えるような値として予め設定されるものである。エッジ保存閾値ｅ１、ｅ２は、各処理ステップ毎に予め設定されたものでもよいし、一律に全処理ステップで同じ値として設定されたものでもよい（各処理ステップ毎に設定されているものの互いに同じ値の設定値になっていると考えてもよい）。エッジ保存閾値ｅ１、ｅ２の情報はエッジ検出部６５（各エッジ検出部６５１〜６５４）に記憶されている。また、ここでは上述のようにエッジ強度検出用フィルタとして３×３Ｓｏｂｅｌフィルタを用いているが、タップ数が「３」以外の例えば３よりも大きなＳｏｂｅｌフィルタを用いてもよいし、また、Ｐｒｅｗｉｔｔ（プレウィット）フィルタなど別のフィルタを用いてもよい。

＜ノイズ除去処理＞
ノイズ除去部６６１〜６６４は、ノイズ除去処理として、それぞれ各処理ステップにおける高周波画像に対してコアリング処理を行う。その際、上記エッジ検出処理によって算出したエッジ保存係数Ｅの情報を用いることで、エッジ強度ｅが大きな画素についてはコアリング処理におけるコアリング強度が弱められてよりエッジ成分が保存されるようなエッジ保存処理を行う（エッジ強度ｅが小さな画素についてはコアリング強度が強められてエッジ保存の度合いが弱められる）。

（コアリング処理）
上記コアリング処理に関して具体的には、各ノイズ除去部６６１〜６６４は、該ノイズ除去部６６１〜６６４に入力される高周波画像に対して、図１０に示す例えば符号６６５で示す特性（コアリング特性６６５）に従って高周波画像の変換（画像変換）処理を行うことにより、ノイズ成分を除去する。同図中に示す記号「ｔｈ」はコアリング係数（画像信号のノイズ成分を除去するための係数）である。このコアリング特性６６５に従ったコアリング処理では、入力が−ｔｈより大きくｔｈより小さいときは出力がゼロとなり（当該入力が−ｔｈより大きくｔｈより小さい範囲のデータがノイズ成分として除去されることになる）、入力が−ｔｈ以下であるときには出力が、入力に対してｔｈを加えた値となり、入力がｔｈ以上であるときには出力が、入力に対してｔｈを減じた値となるような変換処理が行われる。

ただし、上述したように高周波画像には、ノイズ成分だけでなくディテイル（Ｄｅｔａｉｌ）成分も含まれているため、コアリング処理によって、注目画素の絶対値がコアリング係数より小さいものすなわち−ｔｈより大きくｔｈより小さい範囲の画像成分が一律にカットされると、ディテイル成分まで欠落してしまうことになる。そこで、コアリング特性６６５の代わりに、上記−ｔｈより大きくｔｈより小さい範囲ではグラフの傾きがｋ（０≦ｋ≦１）となる“ｙ＝ｋｘ”の関係を有するコアリング特性６６６を導入し、このｋｎ値を調整することで、画像で目立たない程度の僅かなノイズは許容し、ディテイル成分の欠落は抑えられるような処理結果が得られる構成としてもよい。なお、コアリング特性６６６を用いる場合、上記ｙ＝ｋｘの例えば符号６６６１、６６６２で示すように入力Ｘの値がコアリング係数ｔｈ（−ｔｈ）の値に近いほどよりディテイル成分が残されることになる。なお、ディテイル成分とは高周波画像におけるノイズ成分以外の画像であって、所謂ぼやけた画像である低周波画像に対し、質感を表すような高周波画像本来の画像（周波数成分）である。

なお、上記コアリング係数ｔｈ（−ｔｈ）は、各処理ステップの高周波画像に存在するノイズ量に応じた値に設定することで、除去精度の良い正確なノイズ除去が可能となる。実際には、撮像センサ３に暗電流などのノイズがあり、このセンサ特有のノイズに応じて高周波画像のノイズ量が決まるということと、各処理ステップの高周波画像それぞれについても（各周波数帯に応じて）互いに異なるノイズ量になるということから、コアリング係数ｔｈ（−ｔｈ）の値は、各デジタルカメラ１で使用される撮像センサ３毎に或いは各処理ステップ毎に、除去したいノイズ量に対応させた好適なものが設定される。このコアリング係数ｔｈは、予め決められた値（固定値）として各ノイズ除去部に記憶されている。ただし、コアリング係数ｔｈは当該固定値として設定される構成でなくともよく、例えば、各処理ステップの高周波画像に存在するノイズ量を検出する所定のノイズ量検出手段を備えておき、これにより検出されたノイズ量に応じて、都度、算出されて設定される構成であってもよい。

（エッジ保存処理）
また、上記エッジ保存処理に関して具体的には、各ノイズ除去部６６１〜６６４は、上記＜エッジ検出処理＞における（エッジ保存係数の算出）で求めたエッジ保存係数Ｅ（図９参照）の情報を用いて、以下の（２）式により、ノイズ除去部６６１〜６６４に入力される高周波画像と、上記コアリング処理の結果得られた画像（これをコアリング画像と表現する）との重み付け処理（重み付け平均処理）を行うことで、エッジ強度ｅに応じたエッジ保存量でのエッジ保存がなされた、つまりエッジ強度ｅに応じてコアリングの度合い（コアリング強度、コアリングレベル）が変化するエッジ保存処理が行われた高周波画像（この高周波画像のことをエッジ保存画像と表現する）を生成する。このようなエッジ保存処理が行われることにより、図９に示すように、エッジ保存係数Ｅが大きい画素ほど（１．０の値に近づくほど）、コアリング処理前の高周波画像の画素の値に近い値となってよりエッジ成分が保存され、エッジ保存係数Ｅが小さい画素ほど（０の値に近づくほど）、上記コアリング画像の画素の値に近い値となる。

Ｉｍｇ＿ｏｕｔｐｕｔ＝（１．０−Ｅ）＊Ｉｍｇ＿ｃｏｒｅ＋Ｅ＊Ｉｍｇ＿ｉｎｐｕｔ
・・・（２）
但し、Ｉｍｇ＿ｏｕｔｐｕｔ：エッジ保存画像
Ｉｍｇ＿ｃｏｒｅ：コアリング画像
Ｉｍｇ＿ｉｎｐｕｔ：各ノイズ除去部に入力される高周波画像
また、記号「＊」は乗算を示す（以降同様）。

このように、各ノイズ除去部６６１〜６６４、例えばノイズ除去部６６３は、エッジ検出部６５３からのエッジ保存係数情報６５３２に基づいて、ＨＰＦ部６４３からの高周波画像６４３２に対して上記コアリング処理及びエッジ保存処理を行い、エッジ成分を保存しつつノイズ成分が除去された高周波画像６６３２を出力する。

図１１は、周波数合成部６９による高周波画像の合成処理及びアップサンプリング処理について説明するための図であって、図５に示す周波数合成部６９の箇所の部分拡大図である。図１１に示すように、周波数合成部６９は、上記合成処理を行う合成部６７と上記アップサンプリング（Up Sampling；ＵＳ）処理を行うＵＳ部６８とを備えている。合成部６７は、各処理ステップに対応する合成部（加算器）、すなわち処理ステップ１の合成部６７１、処理ステップ２の合成部６７２、処理ステップ３（処理ステップｎ−１）の合成部６７３及び処理ステップ４（処理ステップｎ）の合成部６７４を備えている。

各合成部６７１〜６７４では、前処理ステップ（前段（下段）の処理ステップ）のアップサンプリング処理済みの画像（後述の周波数合成画像）と、上記各ノイズ除去部６６１〜６６４によるノイズ除去済みの高周波画像とを合成（加算）して、各処理ステップにおける周波数合成画像を生成する。例えば処理ステップ３においては、ノイズ除去部６６３からの高周波画像６６３２とＵＳ部６８３からの周波数合成画像６７３１との合成処理が行われて周波数合成画像６７３２が生成され、この周波数合成画像６７３２が上段の処理ステップ２側のＵＳ部６８２へ入力される。最下段の処理ステップである処理ステップ４においては、上記周波数合成画像でなく（下段の処理ステップからの画像と合成してなる画像ではなく）、低周波画像つまりＬＰＦ部６２４から出力された低周波画像６２４２（図６参照）そのものが用いられる、すなわち合成部６７４では低周波画像６２４２とノイズ除去部６６４からの高周波画像との合成処理が行われる。

なお、処理ステップの合成部６７１〜６７４それぞれにおける画像合成処理は、ノイズ除去部６６からの高周波画像と、下段の処理ステップからの低周波画像（処理ステップ４では上述したように同じ段での低周波画像）とを合成して、上段の処理ステップへ謂わば低周波画像として出力する処理であると言うことができる。これは、各処理ステップにおける合成部、例えば合成部６７３側から見ると、下段側の処理ステップにおいて生成された周波数合成画像６７３１は、高周波画像６６３２に対して低周波の画像となることによる。

ＵＳ部６８は、各処理ステップに対応するＵＳ部、すなわち処理ステップ１に対応するＵＳ部６８１、処理ステップ２に対応するＵＳ部６８２及び処理ステップ３に対応するＵＳ部６８３を備えている。各ＵＳ部６８１〜６８３では、前段の処理ステップにおける合成部において生成された周波数合成画像に対して、画像のサイズつまり画素数を縦横ともに２倍にする例えば画素補間（例えば線形補間）によるＵＳ処理（２ＵＳ処理）を行い、このＵＳ処理後の画像を次段の処理ステップの合成部へ出力する。なお、ここでのＵＳ処理における倍率は、上記ＤＳ部でのＤＳ処理での１／２倍の倍率に対応してつまり１／２倍に縮小した画像サイズを元のサイズに復元（拡大）するべく２倍としているが、例えばＤＳ処理の倍率が１／３倍ならばＵＳ処理の倍率を３倍にするといったようにＤＳ処理の倍率に応じた倍率とすることができる。ただし、必ずしもＤＳ処理の倍率に応じた倍率にせずともよく、任意の倍率でよい。

このような構成において、周波数合成部６９は、最下段の処理ステップ４から最上段の処理ステップ１へと複数段の処理ステップによる複数回の周波数合成処理とＵＳ処理とを行い、その結果、画像処理部６への入力画像６１０に対応する画像として、出力画像６９０（広ＤＲ画像）を（合成部６７１から）出力する。

図１２は、第１の実施形態に係るノイズ除去処理に関する動作の一例を示すフローチャートである。先ず撮像センサ３による撮像等によって所定の広ＤＲ画像（線形／対数画像）が取得され、この広ＤＲ画像（入力画像６１０）が画像処理部６の周波数分離部６１に入力される（ステップＳ１）。次に、周波数分離部６１（ＬＰＦ部６２及びＤＳ部６３）によって、この入力画像６１０に対して最上段の処理ステップから最下段の処理ステップへと複数段の処理ステップによる複数回のＬＰＦ処理とＤＳ処理とが行われて複数の周波数成分に分解（周波数分離）される、すなわち処理ステップ毎に低周波画像が生成される（ステップＳ２）。処理ステップ毎に上記低周波画像が生成されるに従って、ＨＰＦ部６４によって、各処理ステップに対する入力画像からＬＰＦ処理後の低周波画像が減算されて高周波画像が生成される（ステップＳ３）。

そして、各処理ステップにおいて、エッジ検出部６５及びノイズ除去部６６によりエッジ検出処理及びノイズ除去処理が行われる。すなわち、エッジ検出部６５によって、該エッジ検出部６５に入力された低周波画像に対してエッジ強度検出用フィルタを用いたエッジ強度検出フィルタ処理が行われて低周波画像のエッジ強度が算出されるとともに、この算出されたエッジ強度の情報からエッジ保存係数Ｅが算出される。また、ノイズ除去部６６によって、該ノイズ除去部６６に入力された高周波画像に対してコアリング処理が行われてノイズ成分が除去された高周波画像（コアリング画像）が生成されて、上記エッジ検出部６５において算出されたエッジ保存係数Ｅの情報を用いて、このコアリング画像と高周波画像との重み付け処理が行われることで、ノイズ成分が除去された且つエッジ強度ｅに応じてエッジ成分が保存されたエッジ保存画像（高周波画像）が生成される（ステップＳ４）。そして、周波数合成部６９によって、最下段の処理ステップの低周波画像と各処理ステップの各高周波画像とが、最下段から最上段の処理ステップへと順に周波数合成処理及びＵＳ処理を繰り返しながら足し合わされ（加算され）、その結果、上記ノイズ成分が除去され且つエッジ成分が保存された合成画像が得られる。なお、この合成画像は出力画像６９０（広ＤＲ画像）として画像処理部６から出力される（ステップＳ５）。

（実施形態２）
図１３は、第２の実施形態に係るデジタルカメラ１ａの画像処理部６ａにおける主にノイズ除去処理に関する一回路構成例を示す機能ブロック図である。本画像処理部６ａと第１の実施形態における画像処理部６とは、概略的に言うとエッジ保存を行う処理が異なり、すなわち画像処理部６ａは、画像処理部６と比べて高周波生成部（ＨＰＦ部）６４’、エッジ検出部６５’及びノイズ除去部６６’が異なるとともに、加算器Ａ及び減算器Ｓをさらに備えた構成となっている。これら各部の構成及び動作の詳細について、図１４、１５を参照しながら説明する。なお、図中、画像処理部６と同様の構成は、同一の符号を付してその説明を省略する。

図１４は、図１３におけるＨＰＦ部６４’、エッジ検出部６５’及び減算器Ｓの箇所の部分拡大図である。ＨＰＦ部６４’は、処理ステップ１〜ｎ（１〜４）に対応するＨＰＦ部６４１’〜６４４’を備えており、各ＨＰＦ部６４１’〜６４４’において、周波数分離部６１側から送信されてきた入力画像から、エッジ検出部６５’により生成された画像（後述のエッジ保存低周波画像）を減算することで、ＨＰＦ処理として高周波画像を生成する。

エッジ検出部６５’は、処理ステップ１〜４に対応するエッジ検出部６５１’〜６５４’を備えており、各エッジ検出部６５１’〜６５４’において、周波数分離部６１側から送信されてきた入力画像に対して以下のエッジ検出処理を行う。

＜エッジ検出処理＞
エッジ検出部６５１’〜６５４’は、エッジ検出処理として、それぞれ各処理ステップにおける低周波画像に対してＳｏｂｅｌフィルタ等のエッジ強度検出用フィルタを用いたエッジ強度検出フィルタ処理を行うことで該低周波画像のエッジ強度を算出し、この算出したエッジ強度の情報からエッジ保存係数Ｅを算出する。そして、この算出したエッジ保存係数Ｅの情報を用いたエッジ保存処理に基づいて、エッジ成分が保存された低周波画像（エッジ保存低周波画像と表現する）を生成し、これを各ＨＰＦ部６４１’〜６４４’へ出力する。

（エッジ保存係数の算出）
上記エッジ強度及びエッジ保存係数Ｅの算出について、具体的には、各エッジ検出部６５１’〜６５４’は、各低周波画像に対してタップ数が「３」である３×３Ｓｏｂｅｌフィルタを用いたフィルタ処理（３×３Ｓｏｂｅｌフィルタ処理）を行うことでエッジ強度ｅを算出するとともに、算出したこのエッジ強度ｅに対するエッジ保存係数Ｅを上記（１）式と同様、以下の（３）式により算出する。

ｅ＜ｅ１のとき Ｅ＝０（ゼロ）
ｅ１＜ｅ＜ｅ２のとき Ｅ＝（ｅ−ｅ１）／（ｅ２−ｅ１）
ｅ＞ｅ２のとき Ｅ＝１．０ ・・・（３）
但し、ｅ１、ｅ２；予め設定したエッジ保存閾値（ｅ１＜ｅ２）

この場合も、エッジ保存閾値ｅ１、ｅ２は、各処理ステップ毎に予め設定されたものでもよいし、一律に全処理ステップで同じ値として設定されたものでもよい。また、エッジ保存閾値ｅ１、ｅ２の情報はエッジ検出部６５’（各エッジ検出部６５１’〜６５４’）に記憶されている。また、エッジ強度検出用フィルタとしてタップ数が「３」以外のＳｏｂｅｌフィルタを用いてもよい（Ｐｒｅｗｉｔｔフィルタなど別のフィルタを用いてもよい）。

（エッジ保存処理）
また上記エッジ保存処理に関して、同エッジ検出部６５１’〜６５４’は、上記（エッジ保存係数の算出）で求めたエッジ保存係数Ｅ（図９参照）の情報を用いて、以下の（４）式により、各エッジ検出部６５１’〜６５４’に入力されるＬＰＦ部６１側からの入力画像と低周波画像との重み付け処理（重み付け平均処理）を行うことで、エッジ強度ｅに応じたエッジ保存量でのエッジ保存がなされた低周波画像（上記エッジ保存低周波画像）を生成する。このようなエッジ保存処理が行われることにより、図９に示すように、エッジ保存係数Ｅが大きい画素ほど（１．０の値に近づくほど）、当該入力画像の画素の値に近い値となってよりエッジ成分が保存され、エッジ保存係数Ｅが小さい画素ほど（０の値に近づくほど）、当該低周波画像の画素の値に近い値となる。

Ｉｍｇ＿ｅｄｇｅ＝（１．０−Ｅ）＊Ｉｍｇ＿ｌｏｗ＋Ｅ＊Ｉｍｇ＿ｉｎｐｕｔ
・・・（４）
但し、Ｉｍｇ＿ｅｄｇｅ：エッジ保存画像
Ｉｍｇ＿ｌｏｗ：各エッジ検出部６５１’〜６５４’に入力される低周波画像
Ｉｍｇ＿ｉｎｐｕｔ：各エッジ検出部６５１’〜６５４’に入力される入力画像

このようにエッジ検出部６５１’〜６５４’において得られた各エッジ保存低周波画像はそれぞれＨＰＦ部６４１’〜６４４’へ出力される。各ＨＰＦ部６４１’〜６４４’、例えばＨＰＦ部６４３’では、エッジ検出部６５３’からのエッジ保存低周波画像６５３２’を、入力画像６４３１’から減算することで高周波画像６４３２’を生成する。当該入力画像６４３１’からエッジ保存低周波画像６５３２’を減算することにより、エッジ成分が取り除かれた高周波画像６４３２’を得ることができる。このエッジ成分が除外された高周波画像は後にノイズ除去処理が行われるが、既に高周波画像からエッジ成分が取り除かれているため、ノイズ除去時にエッジ成分がノイズ成分と一緒に除去されてしまうことはない（謂わばエッジ成分を気にすることなくノイズ除去処理を行うことが可能となる）。

また、エッジ検出部６５’の下流側（データ流れにおける下流側）には、減算器Ｓが設けられている。減算器Ｓは、各処理ステップ１〜４に対応する減算器Ｓ１〜Ｓ４を備えており、各減算器Ｓ１〜Ｓ４では、各エッジ検出部６５１’〜６５４’により生成されたエッジ保存低周波画像から、各ＬＰＦ部６２１〜６２４から出力された低周波画像を減算し、これによりエッジ成分を抽出する。このことから、減算器Ｓは、エッジ保存低周波画像からエッジ成分を抽出するエッジ成分抽出部であるとも言える。当該抽出されたエッジ成分は、この後のノイズ除去処理が施されないため、欠落することなく最後まで保存される（後述の出力画像６９０’内に保存される）。例えば処理ステップ３における減算器Ｓ３では、エッジ検出部６５３’からのエッジ保存低周波画像６５３２’から、ＬＰＦ部６２３からの低周波画像６２３２’を減算し、エッジ成分６２３３’を得る。

なお、高周波生成部６４’では高周波画像を生成するのに入力画像を用いているが、この入力画像、すなわち図１３における画像処理部６ａへの入力画像６１０’として、周波数分離部６１の各ＬＰＦ部で用いるＬＰＦよりも平滑度合いが小さい例えば３×３ＬＰＦによるＬＰＦ処理を施した画像を用いることで、該入力画像６１０’中のノイズ成分の残存の影響を減らした高周波画像が生成できる。この場合、入力画像６１０’のエッジ成分もこの３×３ＬＰＦ処理による影響を受けて急峻なエッジが若干平滑化されて（エッジ成分の大きさが若干小さくなり）、急峻なまま保存できなく可能性はあるものの、ノイズ除去を優先させたいような場合には有効な手法である。

図１５は、図１３におけるノイズ除去部６６’及び加算器Ａの箇所の部分拡大図である。ノイズ除去部６６’は、処理ステップ１〜４に対応するノイズ除去部６６１’〜６６４’を備えており、各ノイズ除去部６６１’〜６６４’において、ＨＰＦ部６４’により生成された高周波画像に対して、上記第１の実施形態で説明した＜ノイズ除去処理＞を施す。すなわち、ノイズ除去部６６１’〜６６４’に入力される高周波画像に対して、図１０に示すコアリング特性６６５或いはコアリング特性６６６に基づくコアリング処理を行うことで、該高周波画像からノイズ成分を除去する。例えば処理ステップ３におけるノイズ除去部６６３’では、上記ＨＰＦ部６４３’からの高周波画像６４３２’から当該ノイズ除去を行い、ノイズ除去済みの高周波画像６６３２’を得る。

加算器Ａは、各処理ステップ１〜４に対応する加算器Ａ１〜Ａ４を備えており、各加算器Ａ１〜Ａ４では、上記各減算器Ｓ１〜Ｓ４により抽出されたエッジ成分画像と、上記各ノイズ除去部６６１’〜６６４’によるノイズ除去済みの高周波画像とを加算する。この結果、ノイズ成分が除去され且つエッジ成分が保存された高周波画像（これをエッジ保存高周波画像と表現する）が得られる。この加算器Ａは高周波画像に対してエッジ成分を加算するエッジ成分加算部であるとも言える。例えば処理ステップ３における加算器Ａ３では、上記ノイズ除去部６６３’からの高周波画像６６３２’と上記減算器Ｓ３からのエッジ成分６２３３’とを加算し、エッジ保存高周波画像６６３３’を得る。

ところで、各処理ステップ１〜４において、エッジ成分が減衰している場合、特に上述したように画像処理部６ａへの入力画像６１０’として平滑度合いが小さいＬＰＦ処理が施された入力画像を用いるような場合、このエッジ成分に対して所定のゲイン（増幅率）を掛ける構成としてもよい。これは、エッジ成分の減衰の程度はＬＰＦの強度に応じて変化するので、この減衰の変化分に対応するＬＰＦの強度に応じた増幅度合い（ゲイン）を掛けることでエッジ成分を補正する、すなわちＬＰＦ処理による平滑化により謂わば鈍ったエッジ成分を補正するものである。この場合、各処理ステップにおける例えば減算器Ｓと加算器Ａとの間、例えば処理ステップ３に示すように減算器Ｓ３と加算器Ａ３との間に例えば符号Ｇで示すゲイン部（ゲイン部Ｇ；エッジ成分調整部としてもよい）を設けておき、このゲイン部Ｇによってエッジ成分６２３３’に対して所定のゲインを乗算する処理を行う構成としてもよい。このようなゲイン部Ｇは各処理ステップに対して同様に設けられる。

このように、各処理ステップにおいて図１５に示すように、加算器Ａ１〜Ａ４からの各高周波画像（エッジ保存高周波画像）とＬＰＦ部６２４からの低周波画像とが得られる。これら高周波画像及び低周波画像は、第１の実施形態における図１１での説明と同様、周波数合成部６９の合成部６７及びＵＳ部６８によって、最下段の処理ステップ４から最上段の処理ステップ１へと複数段の処理ステップによる複数回の周波数合成処理とＵＳ処理とを行い、その結果、画像処理部６ａへの入力画像６１０’に対応する画像としての出力画像６９０’を（合成部６７１から）出力する。

図１６は、第２の実施形態に係るノイズ除去処理に関する動作の一例を示すフローチャートである。先ず撮像センサ３による撮像等によって所定の広ＤＲ画像（線形／対数画像）が取得され、この広ＤＲ画像（入力画像６１０’）が画像処理部６ａの周波数分離部６１に入力される（ステップＳ２１）。次に、周波数分離部６１（ＬＰＦ部６２及びＤＳ部６３）によって、この入力画像６１０’に対して最上段の処理ステップから最下段の処理ステップへと複数段の処理ステップによる複数回のＬＰＦ処理とＤＳ処理とが行われて周波数分離され、処理ステップ毎に低周波画像が生成される（ステップＳ２２）。

処理ステップ毎に上記低周波画像が生成されるに従って、ＨＰＦ部６４’によって、各処理ステップに対する入力画像から高周波画像が生成（抽出）される。この高周波画像の生成に際して、エッジ検出部６５’によるエッジ検出処理によって、該エッジ検出部６５’に入力された低周波画像に対してエッジ強度検出用フィルタを用いたエッジ強度検出フィルタ処理が行われて低周波画像のエッジ強度が算出されるとともに、この算出されたエッジ強度の情報からエッジ保存係数Ｅが算出される。そして、このエッジ保存係数Ｅを用いて、エッジ検出部６５’に入力された入力画像と低周波画像との重み付け処理を行うことで、エッジ強度ｅに応じてエッジ成分が保存されるエッジ保存処理がなされたエッジ保存低周波画像が生成される。このエッジ保存低周波画像が上記入力画像から減算されることでエッジ成分が除外された高周波画像が生成される（ステップＳ２３）。

そして、ノイズ除去部６６’によって、該ノイズ除去部６６’に入力された上記エッジ成分が除外された高周波画像に対してコアリング処理によるノイズ除去処理が行われてノイズ成分が除去された高周波画像（コアリング画像）が生成される。このノイズ成分が除去された高周波画像と、減算器Ｓによりエッジ保存低周波画像から低周波画像が減算されて得られたエッジ成分とが加算器Ａによって加算されることで、ノイズ成分が除去され且つエッジ強度ｅに応じてエッジ成分が保存された高周波画像が生成される（ステップＳ２４）。そして、周波数合成部６９によって、最下段の処理ステップの低周波画像と各処理ステップの各高周波画像とが、最下段から最上段の処理ステップへと順に周波数合成処理及びＵＳ処理を繰り返しながら足し合わされ（加算され）、その結果、上記ノイズ成分が除去され且つエッジ成分が保存された合成画像が得られる。得られた合成画像は出力画像６９０’（広ＤＲ画像）として画像処理部６ａから出力される（ステップＳ５）。

なおこのように、第２の実施形態では、ＨＰＦ部６４’でのＨＰＦ処理において（エッジ検出部６５’による情報を用いて）エッジ成分の保存を行うのに対し、第１の実施形態では、ノイズ除去部６６でのノイズ除去処理において（エッジ検出部６５による情報を用いて）エッジ成分の保存を行う構成となっている。ただし、周波数合成部６９（合成部６７）には、同じようにノイズ成分が除去され且つエッジ成分が保存された高周波画像が入力される。また、第１及び第２の実施形態いずれの場合も、エッジ成分の保存に関するエッジ強度やエッジ保存係数Ｅの情報は、ＬＰＦ処理されて得られた低周波画像を利用して（参照して）算出されている。

以上のように第１及び第２の実施形態の構成によって、従来においてはノイズ成分である周波数成分と画像本来の構成要素成分である周波数成分とを分離できなかったものが（図２５、２６参照）、分離可能となる。図１７は、第１及び第２の実施形態における当該周波数分離について概念的に説明するための模式図である。上述したように１段目の処理ステップ１から最下段の処理ステップｎ（処理ステップ４）に亘って階層的に周波数分離を行うことにより、例えば処理ステップ１では、ノイズを含む或る画像（広ＤＲ画像）が、符号７０１で示す高周波成分とそれ以外の符号７０２で示す低周波成分とに分離され、この分離された高周波成分からノイズ成分が除去される。

次の処理ステップ２では、上記処理ステップ１において分離された符号７０２で示す低周波成分が、符号７０３で示す高周波成分とそれ以外の符号７０４で示す低周波成分とに分離される。このようにノイズ除去するべく分離した高周波成分に対する残りの低周波成分をさらに高周波成分と低周波成分とに分離する処理が、以降の処理ステップにおいて順に繰り返される。最下段の処理ステップｎでは、符号７０６で示す高周波成分と符号７０６で示す残りの低周波成分とに分離される。これにより図１７中の右側に示すように、画像が各処理ステップ１〜ｎにおいて得られる高周波成分と、処理ステップｎにおいて得られる低周波成分とに分離される。ただし、最下段の処理ステップｎにおいて得られるこの低周波成分は、上記図５、１３に示す処理ステップ４におけるＬＰＦ部６２４から出力された低周波画像に相当する。

なお、上記周波数分離処理により、図２６において説明したようにノイズ成分としての高周波成分９２２１が重畳された画像本来の高周波成分９２２２は、図１８に示すように高周波成分９２２１と高周波成分９２２２とに分離されることになる。これにより、ノイズ成分としての周波数帯である高周波成分９２２１については、高周波成分９２２１全体が含まれるような大きさのノイズ除去量７２１を設定して全ての高周波成分９２２１が除去されるようにし、一方、含まれるノイズ成分が少ない（ノイズレベルが小さい）周波数帯の高周波成分９２２２については、上記ノイズ除去量７２１より小さい例えばノイズ除去量７２２を設定してノイズ除去を行い、画像本来の成分（エッジ成分）の除去量を最小限に抑えるようにする。

ノイズ除去するべく分離した高周波成分に対する残りの低周波成分を用いて次段の低周波成分を分離する構成において、この低周波成分（低周波画像）からエッジ保存係数を算出することから、各周波数帯（各処理ステップ）でノイズ成分を抽出するために生成した高周波成分でなく、ノイズ成分の残存の可能性がより少ない方の周波数成分から算出したエッジ保存係数を参照してエッジ保存処理を行うことになり、当該エッジ保存係数算出時にエッジ成分とノイズ成分とを誤検知してしまう可能性を低減させることができ、ひいては従来の画像処理よりも精度良くエッジ保存することが可能となる。

ところで、上記第１及び第２の実施形態では、元画像からＬＰＦ処理により低周波画像を抽出し、抽出したこの低周波画像を元画像から減算して高周波画像を抽出し、この高周波画像に対してコアリング処理によりノイズ除去を行う構成であるが、元画像にエッジ（輝度が急峻に変化する部分）が存在する場合、この元画像に対して従来一般的な線形のＬＰＦを用いたＬＰＦ処理を行うことで得られた低周波画像のエッジは、所謂なまった（平滑化された）ものとなってしまう。一方で、エッジを有する低周波画像を減算して得られた高周波画像には、当該低周波画像のエッジに対応したエッジ部を形成するような周波数成分が形成されるが、この高周波画像からノイズ成分を除去しようとするとこのエッジ成分まで除去されることになる。そこで、ノイズ成分とともにエッジ成分まで除去されてしまわないようにする方法として、以下（Ａ）、（Ｂ）の観点での方法が考えられる。

（Ａ）ＬＰＦ処理によってエッジがなまらないように、エッジが維持される（上記輝度が急峻に変化する部分が維持される）ようなＬＰＦ処理を行う。これに関し、従来では例えば図２４に示すように、エッジ維持フィルタであるεフィルタを用いて、急峻なエッジの前後で画素値の差の絶対値が所定の閾値εを超える場合、中心画素Ａｎを中心としてＬＰＦ処理を行うときには画素Ａｍの画素値Ｘｍを上記中心画素Ａｎの画素値Ｘｎに置き換える処理を行うことで画素値Ｘｎの近傍で平滑化し、また、中心画素Ａｍを中心としてＬＰＦ処理を行うときには画素値Ｘｍの近傍で平滑化するとともに、このＬＰＦ処理を行う範囲内に画素値Ｘに近い画素Ａが存在しないエッジ部分の画素Ａでは、当該エッジ部分の画素Ａの画素値Ｘをそのまま出力する。このようなεフィルタを用いたＬＰＦ処理により、符号９０１で示すグラフのようにエッジの急峻な変化が保存される。ただし、本実施形態では、εフィルタを用いる代わりに、元画像からエッジ強度を検出してこれに基づいてエッジ保存係数を算出し、このエッジ保存係数を用いた重み付け処理によってエッジ強度ｅに応じたエッジ保存量に置き換えることで急峻なエッジの部分が保存されるようにしている。

（Ｂ）元画像におけるエッジが存在する部分、すなわち周波数成分の値がある値を超えて大きくなっている部分は、ノイズ除去を行うに際してのコアリング量（ノイズ除去量）を減らすようにする。第１及び第２の実施形態では、これら（Ａ）、（Ｂ）の方法による処理を同時に行ってノイズを除去しようとする概念が基本となっている。

（実施形態３）
図１９及び図２０は、第３の実施形態に係るデジタルカメラ１ｂの画像処理部６ｂにおける主にノイズ除去処理に関する一回路構成例を示す機能ブロック図である。ただし、図１９、２０に示す画像処理部６ｂは、画像処理部６ｂを図１９、２０に亘ってサブバンド分解機能部側とサブバンド合成機能部側との２つの部分に分けて示したものである。本実施形態では、画像処理部６ｂに対する入力画像をウェーブレット（Wavelet）変換によって複数の周波数成分（サブバンド：周波数帯）に分離し、分離したこの周波数成分に対してノイズ除去処理及びエッジ保存処理を施した後、分離されていたこれら周波数成分を合成して出力画像を得る。これにつき以下に詳述する。

図１９、２０に示すように、画像処理部６ｂは、第１サブバンド分解部Ｄ１、第２サブバンド分解部Ｄ２・・・の複数のサブバンド分解部からなるサブバンド分解部Ｄ０と、第１サブバンド合成部Ｃ１、第２サブバンド合成部Ｃ２・・・の複数のサブバンド合成部からなるサブバンド合成部Ｃ０と、各サブバンド合成部に対応して設けられた複数のノイズリダクション（Noise Reduction；ＮＲ）部８９とを備えている。なお、第１サブバンド分解部Ｄ１及び第１サブバンド合成部Ｃ１、第２サブバンド分解部Ｄ２及び第２サブバンド合成部Ｃ２・・・での処理は、それぞれ第１及び第２の実施形態における処理ステップ１、２・・・に対応する。

サブバンド分解部Ｄ０は、第１サブバンド分解部Ｄ１、第２サブバンド分解部Ｄ２・・・によって、画像処理部６ｂに対する入力画像ＩＮをウェーブレット変換を用いて複数の周波数成分（高周波画像及び低周波画像）に分離する、すなわちサブバンド分解処理を行うものである。このサブバンド分解処理は、ウェーブレット変換用の例えばＳＳＫ分解フィルタを用いて行われる。サブバンド分解部Ｄ０は、第１サブバンド分解部Ｄ１、第２サブバンド分解部Ｄ２・・・それぞれに対応して設けられた水平ＨＤ部８０１、８１１・・・からなる水平ＨＤ部８１と、同様に水平ＧＤ部８０２、８１２・・・からなる水平ＧＤ部８２と、同様に垂直ＨＤ部８０３、８１３・・・及び垂直ＨＤ部８０５、８１５・・・からなる垂直ＨＤ部８３と、同様に垂直ＧＤ部８０４、８１４・・・及び垂直ＧＤ部８０６、８１６・・・からなる垂直ＧＤ部８４とを備えている。

水平ＨＤ部８１は、入力画像ＩＮ又は後述の垂直ＧＤ部８４により生成されたＬＬ画像に対して水平方向の分解フィルタ処理を行い、高周波画像（Ｈ画像）を生成する、すなわち図２２に示すように入力画像ＩＮを水平方向における２つの画像に分解し（二分割し）、同図中の符号２２０で示す上方図（上方図２２０）における右半分のＨ画像を生成するものである。

水平ＧＤ部８２は、入力画像ＩＮ又は後述の垂直ＧＤ部８４により生成されたＬＬ画像に対して水平方向の分解フィルタ処理を行い、低周波画像（Ｌ画像）を生成する、すなわち図２２に示すように入力画像ＩＮを水平方向における２つの画像に分解し、上方図２２０における左半分のＬ画像を生成するものである。

垂直ＨＤ部８３は、水平ＨＤ部８１及び水平ＧＤ部８２により生成された上記Ｈ画像及びＬ画像それぞれに対して、垂直方向の分解フィルタ処理を行い、斜め方向高周波画像（ＨＨ画像）及び縦方向高周波画像（ＬＨ画像）を生成する、すなわち、図２２に示すように上記Ｈ画像及びＬ画像をそれぞれ垂直方向における２つの画像に分解し、符号２３０で示す下方図（下方図２３０）における該Ｈ画像及びＬ画像の下半分であるＨＨ画像及びＬＨ画像を生成するものである。

垂直ＧＤ部８４は、水平ＨＤ部８１及び水平ＧＤ部８２により生成された上記Ｈ画像及びＬ画像それぞれに対して、垂直方向の分解フィルタ処理を行い、横方向高周波画像（ＨＬ画像）及び低周波画像（ＬＬ画像）を生成する、すなわち、図２２に示すように上記Ｈ画像及びＬ画像をそれぞれ垂直方向における２つの画像に分解し、下方図２３０における該Ｈ画像及びＬ画像の上半分であるＨＬ画像及びＬＬ画像を生成するものである。

ところで、上記“ＨＤ”とは、ウェーブレット変換を用いたサブバンド分解処理であって、ＨＰＦ処理と１／２ＤＳ処理（第１及び第２の実施形態と同様に１／２倍のＤＳ処理とするがこれに限定されるものではない）とを同時に行うような演算（ＨＤ演算；ＨＰＦ＆１／２ＤＳ演算）であることを示している。このＨＤ演算は、具体的には例えば以下の（５）式による演算とされる。
Ｈ（ｎ）＝（Ｐ（２ｎ）−２Ｐ（２ｎ＋１）＋Ｐ（２ｎ＋２））／２ ・・・（５）

また、上記“ＧＤ”とは、ウェーブレット変換を用いたサブバンド分解処理であって、ＬＰＦ処理と１／２ＤＳ処理（第１及び第２の実施形態と同様に１／２ＤＳ処理とするがこれに限定されるものではない）とを同時に行うような演算（ＧＤ演算；ＬＰＦ＆１／２ＤＳ演算）であることを示している。このＧＤ演算は、具体的には例えば以下の（６）式による演算とされる。
Ｌ（ｎ）＝（−Ｐ（２ｎ−２）＋２Ｐ（２ｎ−１）＋６Ｐ（２ｎ）＋２Ｐ（２ｎ＋１）−Ｐ（２ｎ＋２）／８ ・・・（６）

但し、上記（５）、（６）式中における記号「Ｐ」は画素値を表しており、記号「Ｈ（ｎ）」及び「Ｌ（ｎ）」はそれぞれ高周波画像及び低周波画像である画素番号ｎの画素データを表している。また、記号「（２ｎ）」は画素番号（画素Ｎｏ．）が偶数である画素であり、また「（２ｎ−１）」や「（２ｎ＋１）」は、当該（２ｎ）の画素よりも画素番号が１つ違う奇数番号の画素（画素番号２ｎの画素の例えば前後に隣接する画素）であることを表している。

入力画像ＩＮは、第１サブバンド分解部Ｄ１によって、図２２の下方図２３０に示すようにＨＨ、ＬＨ、ＨＬ、ＬＬ画像の４つの画像に分解される。そして、この４つの画像のうちのＬＬ画像が第２サブバンド分解部Ｄ２に入力され、このＬＬ画像は、第２サブバンド分解部Ｄ２によってさらにＨＨ、ＬＨ、ＨＬ、ＬＬ画像に分解される。第３サブバンド分解部Ｄ３によってこれら画像のうちのＬＬ画像が同様にしてＨＨ、ＬＨ、ＨＬ、ＬＬ画像に分解される（前段の処理ステップにより得られたＬＬ画像が次段の処理ステップでさらに分解される）というように、階層的（多段的）に複数回のつまり複数の処理ステップによるサブバンド分解処理が繰り返される。換言すれば、画像信号が低周波成分と高周波成分に分解され、この低周波成分が同様に繰り返して分解される所謂オクターブ分解が行われる。

なお、本実施形態では、第１及び第２の実施形態と同様、最下段の処理ステップ４すなわち第４サブバンド分解部Ｄ４まで備えているものとするが、好適にノイズ除去及びエッジ保存ができるものであれば、さらに多段のサブバンド分解部或いは当該４段より少ないサブバンド分解部を備える構成であっても構わない。また、実際として、第１サブバンド分解部Ｄ１に入力される入力画像ＩＮは、例えば撮像センサ３による撮影画像（広ＤＲ画像）がベイヤー配列の画像であるとした場合の、フォーマット変換により得られたＲ、Ｇｂ、Ｇｒ、Ｂ色に対応する４ｃｈ（チャンネル）画像であってもよい。この場合、撮影画像を４つのチャンネル画像に分けて各チャンネルの画素データ毎に上記図１９〜２１における各処理を行う構成としてもよい。ただし、必ずしもカラー画像でなくともよく、例えばグレー画像に対しても適用することができる（第１及び第２の実施形態も同様）。

サブバンド合成部Ｃ０は、第１サブバンド合成部Ｃ１、第２サブバンド合成部Ｃ２・・・によって、上記サブバンド分解処理により生成された各処理ステップにおけるＨＨ、ＬＨ、ＨＬ、ＬＬ画像をウェーブレット変換を用いて合成する、すなわちサブバンド合成処理を行うものである。このサブバンド合成処理は、ウェーブレット変換用の例えばＳＳＫ合成フィルタを用いて行われる。サブバンド合成部Ｃ０は、第１サブバンド合成部Ｃ１、第２サブバンド合成部Ｃ２・・・それぞれに対応して設けられた垂直ＰＵ部８２１、８３１・・・及び垂直ＰＵ部８２３、８３３・・・からなる垂直ＰＵ部８５と、同様に垂直ＱＵ部８２２、８３２・・・及び垂直ＱＵ部８２４、８３４・・・からなる垂直ＱＵ部８６と、同様に水平ＰＵ部８２５、８３５・・・からなる水平ＰＵ部８７と、同様に水平ＱＵ部８２６、８３６・・・からなる水平ＱＵ部８８とを備えている。

垂直ＰＵ部８５及び垂直ＱＵ部８６は、上記各サブバンド分解部における垂直ＨＤ部８３及び垂直ＧＤ部８４により生成されたＨＨ、ＬＨ、ＨＬ、ＬＬ画像に対して垂直方向の合成フィルタ処理を行い、高周波画像（Ｈ画像）及び低周波画像（Ｌ画像）を生成するものである。具体的には、例えば第１サブバンド合成部Ｃ１での場合、垂直ＰＵ部８２１と垂直ＱＵ部８２２とによって、ＨＨ画像及びＨＬ画像に対する垂直方向の合成処理によりＨ画像が生成されるとともに、垂直ＰＵ部８２３と垂直ＱＵ部８２４とによって、ＬＨ画像及びＬＬ画像に対する垂直方向の合成処理によりＬ画像が生成される。図２２で説明すると、下方図２３０のＨＨ画像とＨＬ画像とが合成されて上方図２２０の右半分のＨ画像が生成され、また、同じく下方図２３０のＬＨ画像とＬＬ画像とが合成されて上方図２２０の左半分のＬ画像が生成される（第２サブバンド合成部Ｃ２の場合、下方図２３０のＨＨ画像２３１とＨＬ画像２３２とが合成されてなるＨ画像と、ＬＨ画像２３３とＬＬ画像２３４とが合成されてなるＬ画像とが生成される）。

水平ＰＵ部８７及び水平ＱＵ部８８は、上記垂直ＰＵ部８５及び垂直ＱＵ部８６により生成されたＨ及びＬ画像に対して水平方向の合成フィルタ処理を行い、当該Ｈ及びＬ画像が合成されてなる画像を生成するものである。具体的には、例えば第１サブバンド合成部Ｃ１での場合、水平ＰＵ部８２５と水平ＱＵ部８２６とによって、Ｈ画像及びＬ画像に対する水平方向の合成処理により出力画像ＯＵＴが生成される。図２２で説明すると、上方図２２０のＨ画像とＬ画像とが合成されて出力画像ＯＵＴが生成される。また例えば第２サブバンド合成部Ｃ２・・・の場合、水平ＰＵ部８３５と水平ＱＵ部８３６とによってＨ及びＬ画像が合成されてＬＬ画像が生成される。これは図２２において、下方図２３０のＨＨ画像２３１及びＨＬ画像２３２が合成されてなる画像と、ＬＨ画像２３３及びＬＬ画像２３４が合成されてなる画像とが合成されてＬＬ画像２３５が生成されることとなる。

ところで、上記“ＰＵ”とは、ウェーブレット変換を用いたサブバンド合成処理であって、画素番号が２ｎ（偶数）である偶数画素用のフィルタ処理と２倍のＵＳ処理（２ＵＳ処理；第１及び第２の実施形態と同様に２倍のＵＳ処理とするがこれに限定されるものではない）とを同時に行うような演算（ＰＵ演算；２ｎ画素用フィルタ＆２ＵＳ演算）であることを示している。このＰＵ演算は、具体的には例えば以下の（７）式による演算とされる。
Ｐ（２ｎ）＝Ｌ（ｎ）＋（Ｈ（ｎ−１）＋Ｈ（ｎ））／４ ・・・（７）
但し、式中における記号「Ｐ」は画素値を表している（以下（８）式も同様）。また、記号「（ｎ）」、「（ｎ−１）」は画素番号がｎ、（ｎ−１）であることを表しており、記号「Ｌ（ ）」及び「Ｈ（ ）」はそれぞれ低周波画像及び高周波画像であることを表してる。

また、上記“ＱＵ”とは、ウェーブレット変換を用いたサブバンド合成処理であって、画素番号が（２ｎ＋１）（奇数）である奇数画素用のフィルタ処理と上記２ＵＳ処理とを同時に行うような演算（ＱＵ演算；（２ｎ＋１）画素用フィルタ＆２ＵＳ演算）であることを示している。このＱＵ演算は、具体的には例えば以下の（８）式による演算とされる。
Ｐ（２ｎ＋１）＝（Ｌ（ｎ）＋Ｌ（ｎ＋１））／２＋（Ｈ（ｎ−１）−６Ｈ（ｎ）＋Ｈ（ｎ−１））／８ ・・・（８）

これらＰＵ演算及びＱＵ演算は、それぞれ画素番号が偶数及び奇数の画素についての演算であるとともに、上記（７）、（８）式の右辺に示されるように、互いに共通のＬ（ｎ）、Ｈ（ｎ−１）及びＨ（ｎ）の項を用いた演算とされるが、これは、ＵＳ処理が、画像を合成して該合成前の各画像のサイズの２倍のサイズの画像を生成する処理であるため、低周波画像及び高周波画像の両方の画素データを参照しつつ偶数及び奇数の画素から画像を生成することによる。なお、ＰＵ演算及びＱＵ演算においては低周波画像及び高周波画像の両方の画素データを参照するということを、図２０の符号ＣＬ１、ＣＬ２及びＣＬ３に示す高周波画像と低周波画像との信号線間に懸架された交差線によって表している。

ＮＲ部８９は、該ＮＲ部８９に入力される各処理ステップでの高周波画像すなわちＨＨ画像、ＨＬ画像及びＬＨ画像と、低周波画像すなわちＬＬ画像とに対するノイズ除去処理（ノイズリダクション処理；ＮＲ処理）を行うものである。ＮＲ部８９は、第１サブバンド合成部Ｃ１、第２サブバンド合成部Ｃ２・・・それぞれに対して設けられたＮＲ部８４１、ＮＲ部８４２・・・を備えている。これら各ＮＲ部８４１、８４２・・・は、図２１に示すように、第１コアリング部８９１、第２コアリング部８９２、第３コアリング部８９３、コアリング重み付け係数算出部８９４、第１コアリングレベル設定部８９５、第２コアリングレベル設定部８９６、第１乗算器８９７及び第１乗算器８９８を備えている。

第１コアリング部８９１、第２コアリング部８９２及び第３コアリング部８９３は、それぞれＨＨ画像、ＨＬ画像及びＬＨ画像に対するコアリング処理を行うものである。ここでのコアリング処理は、第１の実施形態におけるノイズ除去部６６でのコアリング処理と同様、図１０に示すようにコアリング特性６６５或いはコアリング特性６６６を用いて各画像からノイズ成分の除去を行う。ただし、ここでのコアリング処理は、後述のコアリング重み付け係数により重み付けされたコアリングレベル（コアリング強度、コアリング量）に応じて行われる。

コアリング重み付け係数算出部８９４は、コアリング重み付け係数を算出するものである。コアリング重み付け係数とは、上記エッジ強度に応じたエッジ成分保存用のエッジ保存係数に相当するものであって、どの程度の強度（度合い）でコアリングを行うのかを設定するべくコアリングレベルに対して行う重み付けの係数である。コアリング重み付け係数は、第１の実施形態で説明した（エッジ保存係数の算出）と同様に、低周波画像（ＬＬ画像）に対して、例えば３×３Ｓｏｂｅｌフィルタ処理を行うことでエッジ強度ｅを算出するとともに、算出したこのエッジ強度ｅに対するコアリング重み付け係数を上記（１）式により算出する。これにより得られたコアリング重み付け係数は、上記図９に示すものと同様となる（図９における縦軸のエッジ保存係数Ｅがコアリング重み付け係数に置き換えられたものとなる）。

第１及び第２コアリングレベル設定部８９５、８９６は、各高周波画像に対する処理ステップ毎のコアリングレベル（コアリングの度合い）すなわち上記コアリング係数ｔｈ（−ｔｈ）を設定するものである。第１コアリングレベル設定部８９５は、ＨＨ画像（高周波画像）に対するコアリングレベルを設定し、第２コアリングレベル設定部８９６は、ＬＨ画像及びＨＬ画像（共に高周波画像）に対するコアリングレベル（コアリング係数）を設定する。高周波画像に含まれるノイズ量は処理ステップ毎に異なっているので、コアリングレベルの値は処理ステップ毎に異なるものが設定される。これに関し、第１及び第２コアリングレベル設定部８９５、８９６は、例えば、当該処理ステップ毎に異なるコアリングレベルの情報が記述されたルックアップテーブル（ＬＵＴ）を備えておき、第１及び第２コアリングレベル設定部８９５、８９６に入力されるステップ数情報（これらコアリングレベル設定部を備えるＮＲ部がどの段数目の処理ステップのものであるかを示す情報）に対応するコアリングレベル（各処理ステップに適したコアリングレベル）を、ＬＵＴによるデータ変換処理に基づいて設定する構成であってもよい。

なお、ここでは、コアリングレベル設定部を、ＨＨ画像に対する第１コアリングレベル設定部８９５と、ＨＬ及びＬＨ画像に対する第２コアリングレベル設定部８９６との２つに分けて設けているが、これに限らず、１つのコアリングレベル設定部としてもよい。また、ＨＬ画像及びＬＨ画像のそれぞれに対してコアリングレベル設定部を設ける（合計３つのコアリングレベル設定部が設けられる）構成としてもよい。

第１乗算器８９７は、第１コアリングレベル設定部８９５により設定されたコアリングレベルと、コアリング重み付け係数算出部８９４により算出されたコアリング重み付け係数とを乗算して、重み付けされたコアリングレベルの情報（重み付けコアリングレベル情報８９７１）を第１コアリング部８９１に対して出力するものである。第１乗算器８９８は、第２コアリングレベル設定部８９６により設定されたコアリングレベルと、コアリング重み付け係数算出部８９４により算出されたコアリング重み付け係数とを乗算して、重み付けされたコアリングレベルの情報（重み付けコアリングレベル情報８９８１）を第２及び第３コアリング部８９２、８９３に対して出力するものである。

重み付けコアリングレベル情報８９７１が入力された第１コアリング部８９１では、重み付けコアリングレベル情報８９７１に基づいて、ＨＨ画像に対するコアリング処理の際に、図１０に示す閾値ｔｈ（−ｔｈ）の値を変化させてコアリング強度（量）を調節する。同様に、第２及び第３コアリング部８９２、８９３では、それぞれＨＬ画像及びＬＨ画像に対するコアリング処理の際に、重み付けコアリングレベル情報８９８１に基づいて閾値ｔｈ（−ｔｈ）の値を変化させてコアリング強度を調節する。このようなコアリング処理によって、ノイズ成分が除去されるとともにエッジ強度に応じてエッジ成分が保存されたＨＨ、ＨＬ及びＬＨの各画像が得られる。

なお、ＮＲ部８９のＮＲ部８４１、８４２・・・に入力されるＨＨ、ＨＬ及びＬＨ画像は、処理ステップ１、２・・・に対応する第１サブバンド分解部Ｄ１、第２サブバンド分解部Ｄ２・・・により得られるＨＨ、ＨＬ及びＬＨ画像である。例えばＮＲ部８４１に入力される当該各画像は、垂直ＨＤ部８０３、垂直ＧＤ部８０４及び垂直ＨＤ部８０５それぞれで得られるＨＨ、ＨＬ、ＬＨ画像である。

このような構成において、上記各処理ステップでのサブバンド分解処理により得られた各ＨＨ、ＬＨ、ＨＬ、ＬＬ画像に対する、ＮＲ部でのノイズ除去及びエッジ保存処理並びにサブバンド合成部でのサブバンド合成処理が最下段の処理ステップから上段の処理ステップへと順に繰り返されることで、入力画像ＩＮに対応する合成画像が復元される。この合成画像は、最上段の処理ステップ１での第１サブバンド合成部Ｃ１（水平ＰＵ部８２５）から出力画像ＯＵＴとして出力される。

なお、ＮＲ部及びサブバンド合成部は、各サブバンド分解部に対応して設けられており、ここでは、第１〜第４サブバンド分解部Ｄ１〜Ｄ４に対応して４つ設けられている。また、第３の実施形態では、第１及び第２の実施形態と同様、各処理ステップ（サブバンド合成部）でのサブバンド合成処理は、ＮＲ部８９からの高周波画像（ＨＨ、ＨＬ及びＬＨ画像）と、下段の処理ステップ（サブバンド合成部）からの低周波画像（ＬＬ画像）とを合成して、上段の処理ステップへ低周波画像（ＬＬ画像）として出力する（処理ステップ１では出力画像ＯＵＴとして出力する）処理であると言うことができる。また、第３の実施形態では、画像の周波数分離及び周波数合成についてウェーブレット変換を用いているが、このようにウェーブレット変換を用いたＵＳ処理を行うことにより、すなわち、サブバンド分解においてＨＤ処理及びＧＤ処理を行い、これら処理により生成された各画像のデータをＰＵ処理及びＱＵ処理により謂わばそのまま合成するような処理を行う構成であるため（第１及び第２の実施形態ではＵＳ処理において画素補間を行う構成となっている）、少なくとも理論上、ＵＳ処理に際しての画像の劣化が生じない。

図２３は、第３の実施形態に係るノイズ除去処理に関する動作の一例を示すフローチャートである。先ず撮像センサ３による撮像等によって所定の広ＤＲ画像（線形／対数画像）が取得され、この広ＤＲ画像（入力画像ＩＮ）が画像処理部６ｂのサブバンド分解部Ｄ０（第１サブバンド分解部Ｄ１；水平ＨＤ部８０１）に入力される（ステップＳ４１）。次に、サブバンド分解部Ｄ０によって、この入力画像ＩＮに対して最上段の処理ステップから最下段の処理ステップへと複数段の処理ステップによる複数回のサブバンド分解処理（ウェーブレット変換によるＨＤ処理及びＧＤ処理）が行われて周波数分離され、これにより処理ステップ毎に高周波画像（ＨＨ、ＨＬ及びＬＨ画像）と低周波画像（ＬＬ画像）が生成される（ステップＳ４２）。

そして、ＮＲ部８９によって、上記サブバンド分解部Ｄ０における各処理ステップでのサブバンド分解処理により得られた高周波画像（ＨＨ、ＨＬ及びＬＨ画像）に対するノイズ除去及びエッジ保存処理（コアリング処理）が行われるとともに、サブバンド合成部Ｃ０によって、当該コアリング処理がなされた高周波画像と低周波画像（ＬＬ画像）とに対するサブバンド合成処理（ウェーブレット変換によるＰＵ処理及びＱＵ処理）が最下段の処理ステップから上段の処理ステップへと順に繰り返され、この結果、ノイズ成分が除去され且つエッジ成分が保存された合成画像が得られる。なお、この合成画像は、出力画像ＯＵＴとして（広ＤＲ画像）として画像処理部６ｂから出力される（ステップＳ４３）。

以上のように、第１〜第３の実施形態に係る画像処理装置（画像処理部６（６ａ、６ｂ））によれば、周波数分離部６１（サブバンド分解部Ｄ０）（周波数分離手段）によって、入力画像６１０（６１０’、ＩＮ）が複数の周波数帯（処理ステップ）における周波数成分に分離され、ノイズ除去部６６（ノイズ除去部６６’、第１〜第３コアリング部８９１〜８９３）（ノイズ除去手段）によって、周波数分離手段による分離処理により得られた各周波数帯の周波数成分における高周波成分（高周波画像）からノイズ成分が除去される。そして、エッジ検出部６５（エッジ検出部６５’、コアリング重み付け係数算出部８９４）（エッジ保存情報算出手段）によって、周波数分離手段による分離処理により得られた各周波数帯の周波数成分における低周波成分（低周波画像）からエッジ強度ｅが検出されるとともに、該検出したエッジ強度に基づいてエッジ成分の保存度合いに関するエッジ保存情報（エッジ保存係数Ｅ）が算出される。そして、画像処理部６（６ａ、６ｂ）（エッジ保存手段）によって、エッジ保存情報算出手段により算出されたエッジ保存情報に基づいて高周波成分に対するエッジ成分の保存が行われる（上記「エッジ保存手段」を画像処理部６（６ａ、６ｂ）としているが、このことは、画像処理部は、該画像処理部自身が備える各機能部例えばエッジ検出部６５やノイズ除去部６６の処理動作を制御するものでもあるという観点によるものであり、この画像処理部がエッジ保存手段として各機能部にエッジ保存を行う処理を行わせるものとするものである）。

そして、周波数合成部６９（サブバンド合成部Ｃ０）（周波数合成手段）によって、各周波数帯における、ノイズ除去手段によりノイズ成分が除去されて且つエッジ保存手段によりエッジ成分が保存されてなる高周波成分と、低周波成分とが（例えば図１１に示す高周波画像６６３２と周波数合成画像６７３１とが、或いは図２０に示す高周波画像としてのＨＨ、ＫＬ及びＬＨ画像と低周波画像としてのＬＬ画像とが）合成される。すなわち、各周波数帯において高周波成分と低周波成分との合成画像が作成され、さらにこれら各周波数帯で作成された各合成画像が合成されて出力画像６９０、６９０’又はＯＵＴが得られる。

上述のように、入力画像が複数の周波数帯における周波数成分に分離され、この分離処理により得られた各周波数帯の周波数成分における高周波成分からノイズ成分が除去されるので、すなわち周波数帯毎に例えば周波数帯毎に設定したノイズ除去量に応じてノイズ成分が除去される構成であるので、精度良くノイズ成分を除去することができる。また、各周波数帯の周波数成分における低周波成分からエッジ強度が検出され、検出されたこのエッジ強度に基づいてエッジ成分の保存度合いに関するエッジ保存情報が算出される構成であるので、すなわち、周波数帯毎にエッジ強度を検出してこれによりエッジ保存情報を決めていることから、及び高周波成分でなく低周波成分（ノイズ成分が残存している可能性が少ない側である低周波成分）からエッジ強度を検出してエッジ保存情報を決めていることから、ノイズ成分がエッジ成分であると誤検知されてノイズ成分が誤って保存されるといったことなく精度良くエッジ成分を保存することができる。これにより、入力画像が広ＤＲ画像であったとしても、ノイズ除去精度の良い且つエッジ保存精度の良い画像処理が可能となり、ひいては高画質な画像を得ることができる。

また、周波数分離手段が、ＬＰＦ処理を行うことで低周波成分を生成するＬＰＦ部６２（低周波生成手段）と、該低周波生成手段により生成された低周波成分に対してＤＳ処理を行うＤＳ部６３（ダウンサンプリング手段）とを備えたものとされ、この周波数分離手段によって、入力画像に対して低周波生成手段によるＬＰＦ処理とダウンサンプリング手段によるＤＳ処理とが所定回数だけ繰り返されることで入力画像が複数の周波数帯における周波数成分に分離される。

このように、入力画像に対してＬＰＦ処理及びＤＳ処理を所定回数繰り返すことで入力画像が複数の周波数帯における周波数成分に分離されるので、簡易な構成で入力画像を複数の周波数帯における周波数成分に分離することができる。

また、エッジ保存手段（画像処理部６）が、ノイズ除去手段（ノイズ除去部６６）を用いて、該ノイズ除去手段によるノイズ成分除去処理（ノイズ除去処理）において高周波成分に対するエッジ成分の保存を行うものとされ、このエッジ保存手段によって、エッジ保存情報算出手段（エッジ検出部６５）により算出されたエッジ保存情報（例えばエッジ保存係数情報６５３２）に基づいて上記ノイズ除去手段でのノイズ成分除去処理におけるノイズ成分の除去度合いが変化されることで、該高周波成分に対するエッジ成分の保存が行われる。

このように、エッジ保存情報に基づいてノイズ成分除去処理におけるノイズ成分の除去度合いが変化されることで、高周波成分に対するエッジ成分の保存が行われるので、高周波成分に対するエッジ成分の保存をノイズ成分除去処理を利用して効率良く行うことができ、また画像処理装置の簡素化を図ることができる。

また、画像処理装置６が、周波数分離手段による分離処理により得られた各周波数帯の周波数成分から高周波成分を生成する高周波生成手段（ＨＰＦ部６４）をさらに備えたものとされ、ノイズ除去手段（ノイズ除去部６６）によって、高周波生成手段により生成された高周波成分（例えば高周波画像６４３２）に対してコアリング処理が行われるとともに、該コアリング処理が施された高周波成分（例えば高周波画像６６３２）と該コアリング処理が施される前の高周波成分（上記高周波画像６４３２）とがエッジ保存情報を用いて重み付け平均されることで、ノイズ成分除去処理におけるノイズ成分の除去度合いが変化される。

このように、コアリング処理が施された高周波成分とコアリング処理が施される前の高周波成分とがエッジ保存情報を用いて重み付け平均されることで、ノイズ成分除去処理におけるノイズ成分の除去度合いが変化されるので、当該ノイズ成分の除去度合いを変化させる構成を簡易な構成によって実現することができる。

また、画像処理装置６ａ（エッジ保存手段）によって、エッジ保存情報算出手段（エッジ検出部６５’）により算出されたエッジ保存情報に基づいて高周波成分からエッジ成分が分離されるとともに、該エッジ成分が分離された高周波成分からノイズ除去手段（ノイズ除去部６６’）によりノイズ成分が除去されてなる高周波成分と、高周波成分から分離したエッジ成分とが（加算器Ａによって）合成されることで、高周波成分に対するエッジ成分の保存が行われる。

このように、高周波成分からエッジ成分を分離しておいてこのエッジ成分が分離された高周波成分からノイズ成分を除去するため、ノイズ成分除去処理においてエッジ成分がノイズ成分であると誤検知されることなく一層精度良くノイズ成分を除去することができ、且つ、このノイズ成分が除去された高周波成分と、分離しておいたエッジ成分とを合成することで高周波成分に対するエッジ成分の保存を行うので、エッジ成分保存処理においてノイズ成分がエッジ成分であると誤検知されることなく一層精度良くエッジ成分を保存することができる。

また、画像処理装置６ａが、周波数分離手段（周波数分離部６１）による分離処理により得られた各周波数帯の周波数成分から高周波成分を生成する高周波生成手段（ＨＰＦ部６４’）をさらに備えたものとされ、エッジ保存手段（画像処理装置６ａ）が、高周波生成手段を用いて、該高周波生成手段による高周波生成処理において高周波成分からエッジ成分を分離するものとされ、このエッジ保存手段によって、低周波生成手段（ＬＰＦ部６２）によるＬＰＦ処理により生成された低周波成分（例えば低周波画像６２３２’）と、該ＬＰＦ処理前の周波数成分（上記入力画像６４３１’）とがエッジ保存情報を用いて重み付け平均されることでエッジ成分が保存されたエッジ保存低周波成分（例えばエッジ保存低周波画像６５３２’）が生成されるとともに、高周波生成処理においてＬＰＦ処理前の周波数成分（上記入力画像６４３１’）からこのエッジ保存低周波成分（上記エッジ保存低周波画像６５３２’）が減算されて高周波成分（例えば高周波画像６４３２’）が生成されることで、高周波成分からエッジ成分が分離される。

このように、高周波生成処理においてＬＰＦ処理前の周波数成分から、ＬＰＦ処理により生成された低周波成分とＬＰＦ処理前の周波数成分とがエッジ保存情報を用いて重み付け平均されてなるエッジ保存低周波成分を減算して高周波成分を生成することで、高周波成分からエッジ成分が分離されるので、当該高周波成分からエッジ成分を分離させる構成を簡易な構成によって実現することができ、ひいては高周波成分に対するエッジ成分の保存を容易に行うことが可能となる。

また、ノイズ除去手段（ノイズ除去部６６、６６’；第１〜第３コアリング部８９１〜８９３についても同じ）が、コアリング処理によりノイズ成分を除去するものとされるので、当該ノイズ成分除去処理やノイズ成分除去の制御が簡単なものとなるとともに、ノイズ除去量を閾値（コアリング係数ｔｈ、−ｔｈ）の情報を用いて容易に制御できるようになる。

また、周波数分離手段によって、ウェーブレット変換処理を用いて、入力画像（入力画像ＩＮ）が高周波成分（例えば第１サブバンド分解部Ｄ１に示すＨ画像或いはＨＨ、ＨＬ及びＬＨ画像）と低周波成分（Ｌ画像或いはＬＬ画像）とに分離され、該分離された高周波成分（ＨＨ、ＨＬ及びＬＨ画像）及び低周波成分（ＬＬ画像）のうちの低周波成分（ＬＬ画像）がさらに（次の処理ステップにおける）高周波成分（Ｈ画像或いはＨＨ、ＨＬ及びＬＨ画像）と低周波成分（Ｌ画像或いはＬＬ画像）とに分離される処理が所定回数だけ繰り返されることで入力画像が複数の周波数帯における周波数成分に分離される。

これにより、理論上、画像の劣化が無いウェーブレット変換処理を用いて入力画像を複数の周波数帯における周波数成分に分離することができ、より高画質な画像を得ることができる。また、このウェーブレット変換処理を用いることによって、画像処理装置６ｂの簡略化を図ることができる。

また、ノイズ除去手段（第１〜第３コアリング部８９１〜８９３；或いはＮＲ部８９）が、コアリング処理によりノイズ成分の除去を行うものとされる。そして、エッジ保存手段（画像処理装置６ｂ或いはＮＲ部８９）が、ノイズ除去手段を用いてコアリング処理において高周波成分（図２１に示すＮＲ部８９へ入力されるＨＨ、ＨＬ及びＬＨ画像）に対するエッジ成分の保存を行うものとされ、このエッジ保存手段によって、エッジ保存情報算出手段（コアリング重み付け係数算出部８９４）により算出されたエッジ保存情報（エッジ保存係数Ｅ）に基づいてコアリング処理におけるコアリングの度合いが変化されることで、該高周波成分に対するエッジ成分の保存が行われる。

このように、エッジ保存情報に基づいてコアリング処理におけるコアリングの度合いが変化されることで、高周波成分に対するエッジ成分の保存が行われるので、高周波成分に対するエッジ成分の保存をコアリング処理を利用して効率良く行うことができる。

また、ノイズ除去手段（第１〜第３コアリング部８９１〜８９３）によって、コアリング処理において、エッジ保存情報（エッジ保存係数Ｅ）に基づいてコアリングの度合いに関する重み付け係数（コアリング重み付け係数）が（乗算器８９７、８９８によって）乗算されてなるコアリングレベル情報、すなわち第１及び第２コアリングレベル設定部８９５、８９６に設定されているコアリングレベルに対してコアリング重み付け係数が乗算されてなるコアリングレベルの情報に応じてコアリング係数が変化されることで、コアリングの度合いが変化される。

このように、エッジ保存情報に基づいてコアリングの度合いに関する重み付け係数が乗算されてなるコアリングレベル情報に応じてコアリング係数が変化されることで、コアリングの度合いが変化されるので、当該コアリングの度合いを変化させる構成を簡易な構成によって実現することができる。

また、上記ノイズ除去手段（ノイズ除去部６６、６６’、第１〜第３コアリング部８９１〜８９３）が、コアリング処理のコアリング特性６６６におけるコアリング係数ｔｈ〜−ｔｈ間のグラフ上の傾き（ｋ）を変化させることが可能に構成されたものとされる。

これにより、コアリング処理のコアリング特性におけるコアリング係数間のグラフ上の傾きを変化させてコアリング特性を調整することが可能となるため、例えば或る画素の絶対値がコアリング係数ｔｈよりも小さいもの（区間ｔｈ〜−ｔｈの間の画素値）をノイズとして一律にカットしてしまい、画像の質感に関するディテイル成分まで欠落させるといった事態が生じることを防止できる、すなわち、画像で目立たない程度の若干のノイズは許容し、画像のディテイル成分は欠落が抑えられた、用途に応じた適正な画像を得ることが可能となる。

また、上記エッジ保存情報が、低周波成分のエッジ強度が所定の閾値ｅ２より大きい値となる場合には一定の最大値（例えば１．０）となり、該エッジ強度が閾値ｅ２より小さい値である閾値ｅ１より小さい値となる場合には一定の最小値（０；ゼロ）となり、該エッジ強度が閾値ｅ１以上閾値ｅ２以下の値となる場合には、該エッジ強度に応じた最小値から最大値までのいずれかの値となるエッジ保存係数Ｅとされる。

このように、エッジ保存情報が、低周波成分のエッジ強度が、閾値ｅ２より大きい場合には一定の最大値、閾値ｅ１より小さい場合には一定の最小値、閾値ｅ１以上閾値ｅ２以下となる場合には最小値から最大値までの値となるようなシンプルなエッジ保存係数として与えられるので、このエッジ保存係数を用いて行う処理（エッジ保存処理）が容易なものとなる。

また、上記入力画像が広ＤＲ画像とされるので、広ＤＲ画像に対してノイズ除去精度の良い且つエッジ保存精度の良い画像処理が可能となる（以下の画像処理方法及び撮像装置についても同じ）。

また、第１〜第３の実施形態に係る画像処理方法によれば、周波数分離工程において、入力画像が複数の周波数帯における周波数成分に分離され、ノイズ成分除去工程において、周波数分離工程において得られた各周波数帯の周波数成分における高周波成分からノイズ成分が除去される。そして、エッジ保存情報算出工程において、周波数分離工程において得られた各周波数帯の周波数成分における低周波成分からエッジ強度が検出されるとともに、該検出されたエッジ強度に基づいてエッジ成分の保存度合いに関するエッジ保存情報が算出される。そして、エッジ保存工程において、エッジ保存情報算出工程において算出されたエッジ保存情報に基づいて高周波成分に対するエッジ成分の保存が行われ、周波数合成工程において、各周波数帯における、ノイズ除去工程においてノイズ成分が除去されて且つエッジ保存工程においてエッジ成分が保存されてなる高周波成分と、低周波成分とが合成される。

このように、入力画像が複数の周波数帯における周波数成分に分離され、この分離処理により得られた各周波数帯の周波数成分における高周波成分からノイズ成分が除去されるので、すなわち周波数帯毎に例えば周波数帯毎に設定したノイズ除去量に応じてノイズ成分が除去される構成であるので、精度良くノイズ成分を除去することができる。また、各周波数帯の周波数成分における低周波成分からエッジ強度が検出され、検出されたこのエッジ強度に基づいてエッジ成分の保存度合いに関するエッジ保存情報が算出される構成であるので、すなわち、周波数帯毎にエッジ強度を検出してこれによりエッジ保存情報を決めていることから、及び高周波成分でなく低周波成分（ノイズ成分が残存している可能性が少ない側である低周波成分）からエッジ強度を検出してエッジ保存情報を決めていることから、ノイズ成分がエッジ成分であると誤検知されてノイズ成分が誤って保存されるといったことなく精度良くエッジ成分を保存することができる。このような構成により、入力画像が広ＤＲ画像であったとしても、ノイズ除去精度の良い且つエッジ保存精度の良い画像処理が可能となり、ひいては高画質な画像を得ることができる。

また、第１〜第３の実施形態に係る撮像装置（デジタルカメラ１、１ａ、１ｂ）によれば、撮像センサ３（撮像手段）によって広ＤＲ撮影が行われ、周波数分離手段によって、撮像手段により得られた広ＤＲ画像が複数の周波数帯における周波数成分に分離され、ノイズ除去手段によって、周波数分離手段による分離処理により得られた各周波数帯の周波数成分における高周波成分からノイズ成分除去される。そして、エッジ保存情報算出手段によって、周波数分離手段による分離処理により得られた各周波数帯の周波数成分における低周波成分からエッジ強度が検出されるとともに、該検出したエッジ強度に基づいてエッジ成分の保存度合いに関するエッジ保存情報が算出される。そして、エッジ保存手段によって、エッジ保存情報算出手段により算出されたエッジ保存情報に基づいて高周波成分に対するエッジ成分の保存が行われ、周波数合成手段によって、各周波数帯における、ノイズ除去手段によりノイズ成分が除去されて且つエッジ保存手段によりエッジ成分が保存されてなる高周波成分と、低周波成分とが合成される。

このように、撮像手段による広ＤＲ撮影により得られた広ＤＲ画像が複数の周波数帯における周波数成分に分離され、この分離処理により得られた各周波数帯の周波数成分における高周波成分からノイズ成分が除去されるので、すなわち周波数帯毎に例えば周波数帯毎に設定したノイズ除去量に応じてノイズ成分が除去される構成であるので、精度良くノイズ成分を除去することができる。また、各周波数帯の周波数成分における低周波成分からエッジ強度が検出され、検出されたこのエッジ強度に基づいてエッジ成分の保存度合いに関するエッジ保存情報が算出される構成であるので、すなわち、周波数帯毎にエッジ強度を検出してこれによりエッジ保存情報を決めていることから、及び高周波成分でなく低周波成分（ノイズ成分が残存している可能性が少ない側である低周波成分）からエッジ強度を検出してエッジ保存情報を決めていることから、ノイズ成分がエッジ成分であると誤検知されてノイズ成分が誤って保存されるといったことなく精度良くエッジ成分を保存することができる。このような構成により、広ＤＲ画像に対するノイズ除去精度の良い且つエッジ保存精度の良い画像処理が可能となり、ひいては高画質な広ＤＲ画像を得ることができる。

さらに、撮像手段が、入射光量に応じた電気信号を発生するとともに、該入射光量に対して電気信号が線形的に変換されて出力される線形特性領域と、該入射光量に対して電気信号が対数的に変換されて出力される対数特性領域とからなる光電変換特性を有する撮像センサ３とされる。

このように、撮像手段が入射光量に対して電気信号を対数的に変換して出力することが可能な撮像センサ３であるので、この撮像センサ３を用いて容易に広ＤＲ画像を得ることができる。なお、本発明は、以下の態様をとることができる。

（Ａ）上記各実施形態では、広ＤＲ画像の撮影が可能な、複数の異なる光電変換特性を有する撮像センサ３として、低輝度側が線形特性、高輝度側が対数特性（線形／対数特性）である光電変換特性を有するセンサ（リニアログセンサ）を用いているが、これに限らず、例えば、低輝度側及び高輝度側共に線形の光電変換特性（第１線形特性及び第２線形特性）を有しており、輝度レベルに応じて各線形特性におけるグラフ上の傾きが変化する（異なる）ようなセンサを用いてもよい。また、このように２つの異なる光電変換特性（線形特性及び対数特性、或いは第１線形特性及び第２線形特性）からなる撮像センサでなくともよく、３つ以上の異なる光電変換特性からなる撮像センサであってもよい。また、一度の撮影（露光）で高輝度領域の画像と低輝度領域の画像との２枚の画像を取得し、これらを合成することで広ＤＲ画像を得るような撮像センサであってもよい。要は、ダイナミックレンジの広い画像が取得可能な撮像センサであれば何れの撮像センサであってもよい。なお、上記各実施形態では、画像処理部６（６ａ、６ｂ）に入力される広ＤＲ画像として撮像センサ３により得られた画像を用いているが、撮像センサ３による画像でなくとも広ＤＲ画像であれば何れの画像を用いてもよい。ただし、画像処理部６（６ａ、６ｂ）は、広ＤＲ画像のみが入力されて、この広ＤＲ画像に対してのみ上述した各処理が行われるものではなく、通常の画像（ＤＲが広くない画像）に対しても同様に各処理が行われるものであることは言うまでもない。

（Ｂ）上記第１及び第２の実施形態では、処理ステップの段数（処理ステップ数）やＬＰＦのタップ数が、それぞれ例えば４（ｎ＝４）や７（フィルタサイズが７×７）などと予め決められた値が設定される構成となっているが、このように予め設定せずともよく、例えば各処理ステップにおけるノイズ量を検出することが可能な所定のノイズ検出手段を備えておき、これにより検出したノイズ量が小さくなるすなわち或る閾値以下となるまで処理ステップを繰り返す（処理ステップ段数を増やす）ような構成としてもよい。

（Ｃ）上記各実施形態においては、撮影画像に対するノイズ除去に関する各種処理（周波数分離・合成処理、コアリング処理やエッジ保存処理など）を、デジタルカメラ１（１ａ、１ｂ）内における画像処理部６（６ａ、６ｂ）の処理により実行する構成となっているが、これに限らず、当該各種処理をカメラ外の所定の処理部において実行する構成としてもよい。具体的には、例えばＵＳＢ等を用いたデジタルカメラ１との直接接続（有線）又は無線ＬＡＮ等によるネットワーク接続がなされた、或いはメモリカードといったストレージメディア等を用いて情報伝達可能に構成された、ユーザーインターフェイス（ＵＩ）を備える所定のホスト（例えばＰＣ（Personal Computer）やＰＤＡ（Personal Digital Assistant；個人向け携帯情報端末）において当該処理が実行されてもよい。

第１の実施形態に係る画像処理装置が適用される撮像装置の一例であるデジタルカメラの主に撮像処理に関する概略的なブロック構成図である。 図１に示す撮像センサの一例である二次元のＭＯＳ型固体撮像装置としてのＣＭＯＳイメージセンサの概略構成図である。 図２に示す各画素の一構成例を示す回路図である。 図１に示す撮像センサの光電変換特性の一例を示すグラフ図である。 図１に示す画像処理部における主にノイズ除去処理に関する一回路構成例を示す機能ブロック図である。 図５に示す周波数分離部による周波数分離処理について説明するための図であって、図５に示す周波数分離部の箇所の部分拡大図である。 図５に示す高周波生成部による高周波生成処理について説明するための図であって、図５に示す高周波生成部の箇所の部分拡大図である。 図５に示すエッジ検出部によるエッジ検出処理、及びノイズ除去部によるノイズ除去処理について説明するための図であって、図５に示すエッジ検出部及びノイズ除去部の箇所の部分拡大図である。 上記エッジ検出部において算出されるエッジ保存係数Ｅの一例を示すグラフ図である。 上記ノイズ除去部のコアリング処理におけるコアリング特性の一例を示すグラフ図である。 図５に示す周波数合成部による高周波画像の合成処理及びアップサンプリング処理について説明するための図であって、図５に示す周波数合成部の箇所の部分拡大図である。 第１の実施形態に係るノイズ除去処理に関する動作の一例を示すフローチャートである。 第２の実施形態に係るデジタルカメラの画像処理部における主にノイズ除去処理に関する一回路構成例を示す機能ブロック図である。 図１３に示すＨＰＦ部、エッジ検出部及び減算器の箇所の部分拡大図である。 図１３に示すノイズ除去部及び加算器の箇所の部分拡大図である。 第２の実施形態に係るノイズ除去処理に関する動作の一例を示すフローチャートである。 第１及び第２の実施形態における周波数分離処理について概念的に説明するための模式図である。 第１及び第２の実施形態における周波数分離処理について概念的に説明するための模式図である。 第３の実施形態に係るデジタルカメラの画像処理部における主にノイズ除去処理に関する一回路構成例を示す機能ブロック図であり、該画像処理部におけるサブバンド分解機能部側の一例を示す部分拡大図である。 第３の実施形態に係るデジタルカメラの画像処理部における主にノイズ除去処理に関する一回路構成例を示す機能ブロック図であり、該画像処理部におけるサブバンド合成機能部側の一例を示す部分拡大図である。 図２０に示すＮＲ部の一回路構成例を示す機能ブロック図である。 第３の実施形態におけるウェーブレット変換処理による入力画像ＩＮの高周波画像及び低周波画像への分解（周波数分離処理）について説明するための模式図である。 第３の実施形態に係るノイズ除去処理に関する動作の一例を示すフローチャートである。 従来におけるεフィルタによるＬＰＦ処理を行った場合の画像のエッジについて説明するための模式図である。 従来におけるノイズ除去処理について説明するための模式図である。 従来におけるノイズ除去処理について説明するための模式図である。

符号の説明

１、１ａ、１ｂ デジタルカメラ（撮像装置）
３ 撮像センサ（撮像手段）
６、６ａ、６ｂ 画像処理部（エッジ保存手段）
６１ 周波数分離部（周波数分離手段）
６２ ＬＰＦ部（低周波生成手段）
６３ ＤＳ部（ダウンサンプリング手段）
６４、６４’ ＨＰＦ部（高周波生成手段）
６５、６５’ エッジ検出部（エッジ保存情報算出手段）
６６、６６’ ノイズ除去部（ノイズ除去手段）
６６６ コアリング特性
６７ 合成部
６８ ＵＳ部
６９ 周波数合成部（周波数合成手段）
６１０、６１０’、ＩＮ 入力画像
６９０、６９０’、ＯＵＴ 出力画像
７２１、７２２ ノイズ除去量
８１ 水平ＨＤ部
８０１、８１１ 水平ＨＤ部（高周波生成手段）
８２ 水平ＧＤ部
８０２、８１２ 水平ＧＤ部（低周波生成手段）
８３ 垂直ＨＤ部
８０３、８１３ 垂直ＨＤ部（高周波生成手段）
８０５、８１５ 垂直ＨＤ部（高周波生成手段）
８４ 垂直ＧＤ部
８０４、８１４ 垂直ＧＤ部（高周波生成手段）
８０６、８１６ 垂直ＧＤ部（低周波生成手段）
８５ 垂直ＰＵ部
８６ 垂直ＱＵ部
８７ 水平ＰＵ部
８８ 水平ＱＵ部
８９ ＮＲ部（ノイズ除去手段）
８９１〜８９３ 第１〜第３コアリング部（ノイズ除去手段）
８９４ コアリング重み付け係数算出部（エッジ保存情報算出手段）
８９５、８９６ 第１、第２コアリングレベル設定部
８９７、８９８ 乗算器
Ａ 加算器
Ｓ 減算器
Ｃ０ サブバンド合成部（周波数合成手段）
Ｄ０ サブバンド分解部（周波数分離手段）
Ｇ ゲイン部

Claims (17)

1. 入力画像を複数の周波数帯における周波数成分に分離する周波数分離手段と、
   前記周波数分離手段による分離処理により得られた各周波数帯の周波数成分における高周波成分からノイズ成分を除去するノイズ除去手段と、
   前記周波数分離手段による分離処理により得られた各周波数帯の周波数成分における低周波成分からエッジ強度を検出するとともに、該検出したエッジ強度に基づいてエッジ成分の保存度合いに関するエッジ保存情報を算出するエッジ保存情報算出手段と、
   前記エッジ保存情報算出手段により算出されたエッジ保存情報に基づいて前記高周波成分に対するエッジ成分の保存を行うエッジ保存手段と、
   前記各周波数帯における、前記ノイズ除去手段によりノイズ成分が除去されて且つ前記エッジ保存手段によりエッジ成分が保存されてなる前記高周波成分と、前記低周波成分とを合成する周波数合成手段とを備えることを特徴とする画像処理装置。
2. 前記周波数分離手段は、
   ローパスフィルタ処理を行うことで低周波成分を生成する低周波生成手段と、該低周波生成手段により生成された低周波成分に対してダウンサンプリング処理を行うダウンサンプリング手段とを備え、
   前記入力画像に対して前記低周波生成手段によるローパスフィルタ処理と前記ダウンサンプリング手段によるダウンサンプリング処理とを所定回数だけ繰り返すことで前記入力画像を複数の周波数帯における周波数成分に分離することを特徴とする請求項１に記載の画像処理装置。
3. 前記エッジ保存手段は、
   前記ノイズ除去手段を用いて、該ノイズ除去手段によるノイズ成分除去処理において前記高周波成分に対するエッジ成分の保存を行うものであって、
   前記エッジ保存情報算出手段により算出されたエッジ保存情報に基づいて前記ノイズ成分除去処理におけるノイズ成分の除去度合いを変化させることで、該高周波成分に対するエッジ成分の保存を行うことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記周波数分離手段による分離処理により得られた各周波数帯の周波数成分から高周波成分を生成する高周波生成手段をさらに備え、
   前記ノイズ除去手段は、前記高周波生成手段により生成された高周波成分に対してコアリング処理を行うとともに、該コアリング処理が施された高周波成分と該コアリング処理が施される前の高周波成分とを前記エッジ保存情報を用いて重み付け平均することで、前記ノイズ成分除去処理におけるノイズ成分の除去度合いを変化させることを特徴とする請求項３に記載の画像処理装置。
5. 前記エッジ保存手段は、前記エッジ保存情報算出手段により算出されたエッジ保存情報に基づいて前記高周波成分からエッジ成分を分離するとともに、該エッジ成分が分離された高周波成分から前記ノイズ除去手段によりノイズ成分が除去されてなる高周波成分と、前記高周波成分から分離したエッジ成分とを合成することで、前記高周波成分に対するエッジ成分の保存を行うことを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記周波数分離手段による分離処理により得られた各周波数帯の周波数成分から高周波成分を生成する高周波生成手段をさらに備え、
   前記エッジ保存手段は、
   前記高周波生成手段を用いて、該高周波生成手段による高周波生成処理において前記高周波成分からエッジ成分を分離するものであって、
   前記低周波生成手段によるローパスフィルタ処理により生成された低周波成分と、該ローパスフィルタ処理前の周波数成分とを前記エッジ保存情報を用いて重み付け平均することでエッジ成分が保存されたエッジ保存低周波成分を生成するとともに、前記高周波生成処理において前記ローパスフィルタ処理前の周波数成分から前記エッジ保存低周波成分を減算して高周波成分を生成することで、前記高周波成分からエッジ成分を分離することを特徴とする請求項５に記載の画像処理装置。
7. 前記ノイズ除去手段は、コアリング処理によりノイズ成分を除去することを特徴とする請求項５に記載の画像処理装置。
8. 前記周波数分離手段は、ウェーブレット変換処理により、前記入力画像を高周波成分と低周波成分とに分離し、該分離した高周波成分及び低周波成分のうちの低周波成分をさらに高周波成分と低周波成分とに分離する処理を所定回数だけ繰り返すことで前記入力画像を複数の周波数帯における周波数成分に分離することを特徴とする請求項１に記載の画像処理装置。
9. 前記ノイズ除去手段は、コアリング処理によりノイズ成分の除去を行うものであって、
   前記エッジ保存手段は、
   前記ノイズ除去手段を用いて前記コアリング処理において前記高周波成分に対するエッジ成分の保存を行うものであって、
   前記エッジ保存情報算出手段により算出されたエッジ保存情報に基づいて前記コアリング処理におけるコアリングの度合いを変化させることで、該高周波成分に対するエッジ成分の保存を行うことを特徴とする請求項８に記載の画像処理装置。
10. 前記ノイズ除去手段は、
    前記コアリング処理において、前記エッジ保存情報に基づいて前記コアリングの度合いに関する重み付け係数が乗算されてなるコアリングレベル情報に応じてコアリング係数を変化させることで、前記コアリングの度合いを変化させることを特徴とする請求項９に記載の画像処理装置。
11. 前記ノイズ除去手段は、前記コアリング処理のコアリング特性におけるコアリング係数間のグラフ上の傾きを変化させることが可能に構成されたものであることを特徴とする請求項４、７及び９のいずれかに記載の画像処理装置。
12. 前記エッジ保存情報は、前記低周波成分のエッジ強度が所定の閾値ｅ２より大きい値となる場合には一定の最大値となり、該エッジ強度が前記閾値ｅ２より小さい値である閾値ｅ１より小さい値となる場合には一定の最小値となり、該エッジ強度が前記閾値ｅ１以上閾値ｅ２以下の値となる場合には、該エッジ強度に応じた前記最小値から最大値までのいずれかの値となるエッジ保存係数であることを特徴とする請求項１〜１１のいずれかに記載の画像処理装置。
13. 前記入力画像は、広ダイナミックレンジ画像であることを特徴とする請求項１〜１２のいずれかに記載の画像処理装置。
14. 入力画像を複数の周波数帯における周波数成分に分離する周波数分離工程と、
    前記周波数分離工程において得られた各周波数帯の周波数成分における高周波成分からノイズ成分を除去するノイズ成分除去工程と、
    前記周波数分離工程において得られた各周波数帯の周波数成分における低周波成分からエッジ強度を検出するとともに、該検出したエッジ強度に基づいてエッジ成分の保存度合いに関するエッジ保存情報を算出するエッジ保存情報算出工程と、
    前記エッジ保存情報算出工程において算出されたエッジ保存情報に基づいて前記高周波成分に対するエッジ成分の保存を行うエッジ保存工程と、
    前記各周波数帯における、前記ノイズ除去工程においてノイズ成分が除去されて且つ前記エッジ保存工程においてエッジ成分が保存されてなる前記高周波成分と、前記低周波成分とを合成する周波数合成工程とを有することを特徴とする画像処理方法。
15. 前記入力画像は、広ダイナミックレンジ画像であることを特徴とする請求項１４に記載の画像処理方法。
16. 広ダイナミックレンジ撮影が可能に構成された撮像手段と、
    前記撮像手段により得られた広ダイナミックレンジ画像を複数の周波数帯における周波数成分に分離する周波数分離手段と、
    前記周波数分離手段による分離処理により得られた各周波数帯の周波数成分における高周波成分からノイズ成分を除去するノイズ除去手段と、
    前記周波数分離手段による分離処理により得られた各周波数帯の周波数成分における低周波成分からエッジ強度を検出するとともに、該検出したエッジ強度に基づいてエッジ成分の保存度合いに関するエッジ保存情報を算出するエッジ保存情報算出手段と、
    前記エッジ保存情報算出手段により算出されたエッジ保存情報に基づいて前記高周波成分に対するエッジ成分の保存を行うエッジ保存手段と、
    前記各周波数帯における、前記ノイズ除去手段によりノイズ成分が除去されて且つ前記エッジ保存手段によりエッジ成分が保存されてなる前記高周波成分と、前記低周波成分とを合成する周波数合成手段とを備えることを特徴とする撮像装置。
17. 前記撮像手段は、入射光量に応じた電気信号を発生するとともに、該入射光量に対して電気信号が線形的に変換されて出力される線形特性領域と、該入射光量に対して電気信号が対数的に変換されて出力される対数特性領域とからなる光電変換特性を有する撮像センサであることを特徴とする請求項１６に記載の撮像装置。

Images