JP4979595B2 - 撮像システム、画像処理方法、画像処理プログラム - Google Patents

Description

本発明は、撮像素子からの信号に対してエッジ成分を抽出する撮像システム、画像処理方法、画像処理プログラムに関する。

撮像素子からの信号に対しエッジ成分を抽出する処理には、ラプラシアンのような単一フィルタ処理によるものと、方向別の複数フィルタ処理によるものとに大別できる。後者の例としては、例えば特公平６−９０７２４号公報に示されるように、４方向の矩形領域中で平滑化信号との差が最大となる矩形領域を選択することで方向別のアンシャープマスク処理を行う手法が開示されている。これにより、ゴミなどの点状欠陥の影響を抑制し、より高精度なエッジ成分の抽出が可能となる。また、特許第３２８９４３５号公報ではステップエッジ、インパルス信号、ノイズなどから重み係数を算出し、これからエッジ信号を補正する手法が開示されている。これにより、エッジ信号を成形し、より高精度なエッジ成分の抽出が可能となる。さらに、特開２０００−３０６０８９号公報では、信号をウェーブレットやラプラシアンピラミッドなどで周波数分解し、低周波成分のベクトル情報から高周波成分を補正する手法が開示されている。これにより、エッジ信号を成形すると共にノイズ成分を抑制し、高精細な信号を得ることが可能となる。
特公平６−９０７２４号公報 特許第３２８９４３５号公報 特開２０００−３０６０８９号公報

特公平６−９０７２４号公報では、ゴミなどの輝度差が大きい点状のノイズに対しては識別することができる。しかし、撮像素子に起因するランダムノイズのように等方的に発生するノイズや輝度差の小さい微弱なノイズを識別することには対応できず、多様なノイズに対して安定的にエッジ成分を抽出できないという課題がある。また、特許第３２８９４３５号公報ではノイズが多い場合は小さい重み係数を生成することでノイズの影響を抑制することができる。しかし、ノイズ成分自体は残留するために、強いエッジ強調を行うことには対応できず、絵作りに対する自由度が少ないという課題がある。さらに、特開２０００−３０６０８９号公報では補正のためのベクトル情報を低周波の信号から得ている。ベクトル情報の解像度はウェーブレットやラプラシアンピラミッドの分解レベルに依存するが、一回分解すると１／２に、二回分解すると１／４になる。このために、原信号の解像度でエッジ信号を成形することには対応できず、画素単位の高精細なエッジ成分を生成できないという課題がある。

本発明は上記事情に鑑みてなされたものであり、ノイズ低減処理とエッジ抽出処理を組み合わせることで、ノイズが混在する信号に対しても高精度なエッジ成分の抽出が可能な撮像システム、画像処理方法、画像処理プログラムを提供することを目的とする。

上記の目的を達成するために、本発明のある態様による撮像システムは、撮像素子からの信号を処理する撮像システムであって、上記撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手段と、上記ノイズ低減処理の結果に基づいてエッジ方向を検出するエッジ方向検出手段と、上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出するエッジ抽出手段と、を有し、上記ノイズ低減処理の結果は、上記ノイズ低減処理がなされた上記信号であることを特徴としている。
本発明の他の態様による画像処理方法は、撮像素子からの信号を処理する画像処理方法であって、上記撮像素子からの信号に対してノイズ低減処理を行うノイズ処理ステップと、上記ノイズ低減処理の結果に基づいてエッジ方向を検出するエッジ方向検出ステップと、上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出するエッジ抽出ステップと、を有し、上記ノイズ低減処理の結果は、上記ノイズ低減処理がなされた上記信号であることを特徴としている。
本発明のさらに他の態様による画像処理プログラムは、コンピュータに、撮像素子からの信号を処理する手順を実行させるための画像処理プログラムであって、上記撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手順と、上記ノイズ低減処理の結果に基づいてエッジ方向を検出するエッジ方向検出手順と、上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出するエッジ抽出手順と、を実行させるためのプログラムであってかつ、上記ノイズ低減処理の結果は、上記ノイズ低減処理がなされた上記信号であることを特徴とする画像処理プログラムである。

本発明の撮像システム、画像処理方法、画像処理プログラムによれば、ノイズ低減処理とエッジ抽出処理を組み合わせることで、ノイズが混在する信号に対しても高精度なエッジ成分の抽出が可能となる。

以下、図面を参照して本発明の実施の形態について説明する。

［第１の実施形態］
図１から図２７は本発明の第１の実施形態を示したものであり、図１は第１の実施形態の構成を示すブロック図、図２は注目画素および注目領域に関する説明図、図３はノイズ推定部の構成を示すブロック図、図４はノイズ量の推定に関する説明図であって信号レベルに対する輝度ノイズ量の関係を示す図、図５はノイズ量の推定に関する説明図であってノイズモデルの簡略化を示す図、図６はノイズ量の推定に関する説明図であって簡略化されたノイズモデルからの輝度ノイズ量の算出法を示す図、図７はノイズ低減部の構成を示すブロック図、図８はエッジ方向検出部の構成を示すブロック図、図９はエッジ方向検出部の別形態の構成を示すブロック図、図１０〜図２２はエッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、図１０は注目画素およびその処理領域を示す図、図１１はエッジ抽出される画素位置を示す図、図１２は０°のエッジ抽出フィルタを示す図、図１３は４５°のエッジ抽出フィルタを示す図、図１４は９０°のエッジ抽出フィルタを示す図、図１５は１３５°のエッジ抽出フィルタを示す図、図１６は１８０°のエッジ抽出フィルタを示す図、図１７は２２５°のエッジ抽出フィルタを示す図、図１８は２７０°のエッジ抽出フィルタを示す図、図１９は３１５°のエッジ抽出フィルタを示す図、図２０は等方性エッジ抽出フィルタを示す図、図２１は水平エッジ抽出フィルタの説明図、図２２は垂直エッジ抽出フィルタの説明図、図２３、図２４はエッジ補正部のエッジ補正に関する説明図であって、図２３は８方向のエッジ整形による説明図、図２４は４方向のエッジ整形による説明図、図２５は第１の実施形態の別形態の構成を示すブロック図、図２６、図２７は第１の実施形態における信号処理のフローチャートであって、図２６は全体処理のフローチャート、図２７はノイズ推定処理のフローチャートである。

図１により、第１の実施形態の構成を説明する。図１は、本発明の第１実施形態に係る撮像システムの構成を示すブロック図である。レンズ系１００は被写体像を結像するためのものである。絞り１０１はこのレンズ系１００内に配置されていて、該レンズ系１００における光束の通過範囲を規定するためのものである。ＣＣＤ１０２は、このレンズ系１００を介して結像される光学的な被写体像を光電変換して、電気的な映像信号を出力するものである。増幅器１０３は、このＣＣＤ１０２の出力を所定の増幅率（増幅量，ゲインともいう）に従って増幅するものである。Ａ／Ｄ変換器１０４は、このＣＣＤ１０２から出力され増幅器１０３で増幅されたアナログの映像信号をデジタル信号へ変換するものである。バッファ１０５は、このＡ／Ｄ変換器１０４から出力されたデジタルの映像信号を一時的に記憶するものである。Ａ／Ｄ変換器１０４からの信号は、バッファ１０５を介して抽出部１０９、エッジ抽出部１１４へ転送される。バッファ１０５は、測光評価部１０６、合焦点検出部１０７へも接続されている。測光評価部１０６は、上記バッファ１０５に記憶された映像信号に基づき、被写体に関する測光評価を行って、その評価結果に基づき上記絞り１０１とＣＣＤ１０２と増幅器１０３との制御を行うものである。すなわち、該測光評価部１０６は、絞り１０１の絞り値と、ＣＣＤ１０２の電子シャッタ速度と、増幅器１０３のゲインと、を調整することにより、露出制御を行うようになっている。合焦点検出部１０７は、上記バッファ１０５に記憶された映像信号に基づき合焦点検出を行い、検出結果に基づき後述するＡＦモータ１０８を駆動するものである。ＡＦモータ１０８は、この合焦点検出部１０７により制御されて、上記レンズ系１００に含まれるフォーカスレンズ等の駆動を行い、上記ＣＣＤ１０２の撮像面上に被写体像が結像されるようにするものである。抽出部１０９は、抽出手段であって、上記バッファ１０５に記憶された映像信号から所定領域の映像信号を抽出して出力するものである。抽出部１０９からの信号は、ノイズ推定部１１０およびノイズ低減部１１１へ接続されている。

ノイズ推定部１１０は、ノイズ推定手段であって、この抽出部１０９により抽出された所定領域の映像信号からノイズ量を推定するものである。推定されたノイズ量はノイズ低減部１１１へ転送される。ノイズ低減部１１１は、抽出部１０９で抽出された所定領域の映像信号に関して、ノイズ推定部１１０で推定されたノイズ量に基づきノイズ低減処理を行うものである。ノイズ低減処理後の映像信号はバッファ１１２へ転送される。バッファ１１２は、エッジ方向検出部１１３およびエッジ強調部１１６へ接続されている。エッジ方向検出部１１３は、エッジ方向検出手段であって、バッファ１１２に記憶されたノイズ低減処理後の映像信号からエッジの方向を検出するものである。検出されたエッジ方向は、エッジ抽出部１１４およびエッジ補正部１１５へ転送される。エッジ抽出部１１４は、エッジ抽出手段であって、上記エッジ方向検出部１１３により検出されたエッジ方向に関する情報を基に上記バッファ１０５に記憶された映像信号からエッジ成分を抽出するものである。抽出されたエッジ成分は、エッジ補正部１１５へ転送される。エッジ補正部１１５は、エッジ補正手段であって、上記エッジ方向検出部１１３により検出されたエッジ方向に関する情報を基に上記エッジ抽出部１１４から抽出されたエッジ成分を補正するものである。補正されたエッジ成分は、エッジ強調部１１６へ転送される。エッジ強調部１１６は、エッジ強調手段であって、上記エッジ補正部１１５で補正処理が施されたエッジ成分を用いて、上記バッファ１１２に記憶されたノイズ低減処理後の映像信号のエッジ強調処理を行うものである。エッジ強調処理がなされた映像信号は、信号処理部１１７へ転送される。信号処理部１１７は、信号処理手段であって、上記エッジ強調部１１６でエッジ強調処理が施された映像信号に対して、例えば公知の圧縮処理などの所望の信号処理を行うものである。信号処理がなされた映像信号は、出力部１１８へ転送される。出力部１１８は、出力手段であって、上記信号処理部１１７からの映像信号を例えばメモリカード等に記録するために出力するものである。制御手段に含まれる情報取得手段たる外部Ｉ／Ｆ部１２０は、電源スイッチ，シャッタボタン，動画／静止画の切り換えや圧縮率，画像サイズ，ＩＳＯ感度の設定などの撮影時の各種モードを設定するためのモードスイッチ等へのインターフェースを備えたものである。制御手段とパラメータ算出手段と情報取得手段とを兼ねた制御部１１９は、上記増幅器１０３、Ａ／Ｄ変換器１０４、測光評価部１０６、合焦点検出部１０７、抽出部１０９、ノイズ推定部１１０、ノイズ低減部１１１、エッジ方向検出部１１３、エッジ抽出部１１４、エッジ補正部１１５、エッジ強調部１１６、信号処理部１１７、出力部１１８、外部Ｉ／Ｆ部１２０と双方向に接続されていて、これらを含むこの撮像システムを統合的に制御するものであり、例えばマイクロコンピュータにより構成されている。さらに、ＣＣＤ１０２の近傍に配置された温度センサー１２１からの信号も制御部１１９へ接続されている。

次に、図１において、信号の流れを説明する。外部Ｉ／Ｆ部１２０を介してＩＳＯ感度などの撮影条件を設定した後、不図示のシャッターボタンを半押しにすることでプリ撮像モードに入る。

レンズ系１００，絞り１０１，ＣＣＤ１０２を介して撮影された信号は、アナログ信号として出力される。

なお、本実施形態においてＣＣＤ１０２は白黒用単板ＣＣＤを、出力される信号は輝度信号Ｙを想定する。上記アナログ信号は増幅器１０３によって所定量増幅され、Ａ／Ｄ変換器１０４によってデジタル信号へ変換されてバッファ１０５へ転送される。

なお、本実施形態においてＡ／Ｄ変換器１０４は１２ｂｉｔ階調でデジタル信号へ変換するものと想定する。

バッファ１０５内の映像信号は、測光評価部１０６および合焦点検出部１０７へ転送される。測光評価部１０６では、設定されたＩＳＯ感度，手ぶれ限界のシャッター速度などを加味し、信号中の輝度レベルを求めて適正露光となるように絞り１０１やＣＣＤ１０２の電子シャッター速度や増幅器１０３のゲインなどを制御する。また、合焦点検出部１０７では信号中のエッジ強度を検出し、これが最大となるようにＡＦモータ１０８を制御することで合焦信号を得る。

次に、外部Ｉ／Ｆ部１２０を介してシャッターボタンからの全押し情報が入力されることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ１０５へ転送される。本撮影は、測光評価部１０６によって求められた露光条件、合焦点検出部１０７によって求められた合焦条件に基づき行われ、これらの撮影時の条件は制御部１１９へ転送される。バッファ１０５内の映像信号は抽出部１０９へ転送される。抽出部１０９は、制御部１１９の制御に基づき図２に示されるような注目画素Ｐ₂₂を包含する３×３画素サイズの注目領域Ｐ_ij（ｉ＝１〜３，ｊ＝１〜３）を順次抽出し、ノイズ推定部１１０およびノイズ低減部１１１へ転送する。

なお、図２においては５×５画素サイズの領域を示しているが、これは後述するエッジ処理において５×５画素サイズの領域を要するためで、説明の便宜上５×５画素サイズを示している。

また、以後の説明では注目画素をＰ₂₂と想定するが、注目画素自体は全信号から順次抽出され、その座標位置も順次移動して行く。

ノイズ推定部１１０は、制御部１１９の制御に基づき抽出部１０９からの注目領域および撮影時の情報に基づき注目画素Ｐ₂₂のノイズ量Ｎ₂₂を推定し、これをノイズ低減部１１１へ転送する。ノイズ低減部１１１は、制御部１１９の制御に基づき抽出部１０９からの注目画素Ｐ₂₂に関して、ノイズ推定部１１０からのノイズ量Ｎ₂₂に基づきノイズ低減処理を行い、ノイズ低減処理後の注目画素Ｐ'₂₂およびそのノイズ量Ｎ₂₂をバッファ１１２へ転送する。上記抽出部１０９、ノイズ推定部１１０、ノイズ低減部１１１における処理は、制御部１１９の制御に基づき注目領域単位で同期して行われる。バッファ１１２には、ノイズ低減処理後の全信号およびそのノイズ量が記録されることになる。

エッジ方向検出部１１３は、制御部１１９の制御に基づきバッファ１１２から図１０に示されるようなノイズ低減処理後の注目画素Ｐ'₂₂およびこれを包含する５×５画素サイズの処理領域Ｐ'_kl（ｋ＝０〜４，ｌ＝０〜４）を順次抽出する。その後、注目画素Ｐ'₂₂およびその周囲８画素（Ｐ'₁₁，Ｐ'₂₁，Ｐ'₃₁，Ｐ'₁₂，Ｐ'₃₂，Ｐ'₁₃，Ｐ'₂₃，Ｐ'₃₃）のエッジ方向（Ｄ₂₂およびＤ₁₁，Ｄ₂₁，Ｄ₃₁，Ｄ₁₂，Ｄ₃₂，Ｄ₁₃，Ｄ₂₃，Ｄ₃₃）を検出し、エッジ抽出部１１４およびエッジ補正部１１５へ転送する。エッジ抽出部１１４は、制御部１１９の制御に基づき上記エッジ方向検出部１１３で用いた処理領域と同一位置のノイズ低減処理前の原信号をバッファ１０５から順次抽出する。その後、エッジ方向検出部１１３からのエッジ方向に基づき、注目画素Ｐ'₂₂およびその周囲８画素（Ｐ'₁₁，Ｐ'₂₁，Ｐ'₃₁，Ｐ'₁₂，Ｐ'₃₂，Ｐ'₁₃，Ｐ'₂₃，Ｐ'₃₃）のエッジ成分（Ｅ₂₂およびＥ₁₁，Ｅ₂₁，Ｅ₃₁，Ｅ₁₂，Ｅ₃₂，Ｅ₁₃，Ｅ₂₃，Ｅ₃₃）を抽出し、エッジ補正部１１５へ転送する。

エッジ補正部１１５は、制御部１１９の制御に基づき、注目画素Ｐ'₂₂のエッジ成分Ｅ₂₂に関して、エッジ方向検出部１１３からのエッジ方向Ｄ₂₂およびエッジ抽出部１１４からの周囲８画素のエッジ成分（Ｅ₁₁，Ｅ₂₁，Ｅ₃₁，Ｅ₁₂，Ｅ₃₂，Ｅ₁₃，Ｅ₂₃，Ｅ₃₃）に基づきこれを補正したエッジ成分Ｅ'₂₂を求め、エッジ強調部１１６へ転送する。エッジ強調部１１６は、制御部１１９の制御に基づきバッファ１１２からノイズ低減処理後の注目画素Ｐ'₂₂を順次抽出する。その後、エッジ補正部１１５からのエッジ成分Ｅ'₂₂に基づき、数式１に示すように所定の係数ｇ₁を乗算した後に加算することでエッジ強調処理後の画素値Ｐ"₂₂を求め、信号処理部１１７へ転送する。
［数１］
Ｐ"₂₂＝Ｐ'₂₂＋ｇ₁・Ｅ'₂₂

上記エッジ方向検出部１１３，エッジ抽出部１１４，エッジ補正部１１５，エッジ強調部１１６における処理は、制御部１１９の制御に基づき処理領域単位で同期して行われる。信号処理部１１７は、制御部１１９の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理などを行い、出力部１１８へ転送する。出力部１１８は、メモリーカードなどへ信号を記録保存する。

図３はノイズ推定部１１０の構成の一例を示すものである。ノイズ推定部１１０は、平均算出部２００，ゲイン算出部２０１，標準値付与部２０２，パラメータ用ＲＯＭ２０３，パラメータ選択部２０４，補間部２０５，補正部２０６を備えている。抽出部１０９は、平均算出部２００へ接続している。平均算出部２００は、パラメータ選択部２０４へ接続している。ゲイン算出部２０１，標準値付与部２０２，パラメータ用ＲＯＭ２０３は、パラメータ選択部２０４へ接続している。パラメータ選択部２０４は、補間部２０５および補正部２０６へ接続している。補間部２０５は、補正部２０６を介してノイズ低減部１１１へ接続している。制御部１１９は、平均算出部２００，ゲイン算出部２０１，標準値付与部２０２，パラメータ選択部２０４，補間部２０５，補正部２０６へ双方向に接続されている。

平均算出部２００は、制御部１１９の制御に基づき、抽出部１０９からノイズ低減処理を行う図２に示される注目領域（Ｐ_ij，ｉ＝１〜３，ｊ＝１〜３）の平均値ＡＶ₂₂を数式２に示すように算出して、パラメータ選択部２０４へ転送する。
［数２］
ＡＶ₂₂＝ΣＰ_ij／９

ゲイン算出部２０１は、制御部１１９から転送されるＩＳＯ感度および露光条件に関する情報に基づき増幅器１０３におけるゲインを求め、パラメータ選択部２０４へ転送する。また、制御部１１９は温度センサー１２１からＣＣＤ１０２の温度情報を得て、これをパラメータ選択部２０４へ転送する。

パラメータ選択部２０４は、平均算出部２００からの注目領域の平均値，ゲイン算出部２０１からのゲインの情報，制御部１１９からの温度情報に基づき輝度ノイズ量を推定する。

図４〜図６は、輝度ノイズ量の推定に関する説明図である。図４は、輝度値を信号レベルＬとした場合のノイズ量Ｎをプロットしたものであり、ノイズ量Ｎは信号レベルＬに対して２次曲線的に増加している。図４を２次関数でモデル化すると数式３が得られる。
［数３］
Ｎ＝αＬ²＋βＬ＋γ
ここで、α，β，γは定数項である。しかしながら、ノイズ量は信号レベルだけではなく、撮像素子の温度やゲインによっても変化する。

図４は、一例としてある温度下においてゲインに関連する３種類のＩＳＯ感度１００，２００，４００に対するノイズ量をプロットしている。個々の曲線は数式３に示される形態をしているが、その係数はゲインに関連するＩＳＯ感度により異なる。温度をｔ、ゲインをｇとし、上記を考慮した形でモデルの定式化を行うと数式４となる。
［数４］
Ｎ＝α_gtＬ²＋β_gtＬ＋γ_gt
ここで、α_gt，β_gt，γ_gtは定数項である。ただし、数式４の関数を複数記録し、その都度演算によりノイズ量を算出することは処理的に煩雑である。このために、図５に示すようなモデルの簡略化を行う。

図５においては、最大のノイズ量を与えるモデルを基準ノイズモデルとして選択し、これを所定数の折れ線で近似する。折れ線の変曲点は、信号レベルＬとノイズ量Ｎとを成分とする座標データ（Ｌ_n，Ｎ_n）で表す。ここで、ｎは変曲点の数を示す。また、上記基準ノイズモデルから他のノイズモデルを導出するための補正係数ｋ_gtも用意される。補正係数ｋ_gtは、各ノイズモデルと基準ノイズモデルとの間に最小自乗法を適用することにより算出される。基準ノイズモデルからの他のノイズモデルの導出は、上記補正係数ｋ_gtを乗算することにより行われる。

図６は、図５に示す簡易化されたノイズモデルからノイズ量を算出する方法を示している。例えば、与えられた信号レベルｌ、ゲインｇ、温度ｔに対応するノイズ量Ｎを求めることを想定する。まず、信号レベルｌが基準ノイズモデルのどの区間に属するかを探索する。ここでは、信号レベルｌが（Ｌ_n，Ｎ_n）と（Ｌ_n+1，Ｎ_n+1）間の区間に属するものとする。基準ノイズモデルにおける基準ノイズ量Ｎ_lを線形補間によって求める。
［数５］

次に、基準ノイズ量Ｎ_lに補正係数ｋ_gtを乗算することで、ノイズ量Ｎを求める。
［数６］
Ｎ＝ｋ_gt・Ｎ_l

パラメータ選択部２０４は、平均算出部２００からの注目領域の平均値ＡＶ₂₂から信号レベルｌを、ゲイン算出部２０１からのゲインの情報からゲインｇを、制御部１１９からの温度情報から温度ｔを設定する。次に、信号レベルｌが属する区間の座標データ（Ｌ_n，Ｎ_n）と（Ｌ_n+1，Ｎ_n+1）をパラメータ用ＲＯＭ２０３から探索し、信号レベルｌと共に補間部２０５へ転送する。さらに、補正係数ｋ_gtをパラメータ用ＲＯＭ２０３から探索し、これを補正部２０６へ転送する。

補間部２０５は、制御部１１９の制御に基づきパラメータ選択部２０４からの信号レベルｌおよび区間の座標データ（Ｌ_n，Ｎ_n）と（Ｌ_n+1，Ｎ_n+1）から数式５に基づき基準ノイズモデルにおける基準ノイズ量Ｎ_lを算出し、補正部２０６へ転送する。

補正部２０６は、制御部１１９の制御に基づきパラメータ選択部２０４からの補正係数ｋ_gtおよび補間部２０５からの基準ノイズ量Ｎ_lから数式６に基づきノイズ量Ｎを算出し、注目画素Ｐ₂₂のノイズ量Ｎ₂₂とする。推定されたノイズ量Ｎ₂₂および平均値ＡＶ₂₂はノイズ低減部１１１へ転送される。

なお、上記ノイズ量算出の過程において、温度ｔ，ゲインｇなどの情報を撮影ごとに求める必要はない。任意の情報を標準値付与部２０２に記録させておき、算出過程を省略する構成も可能である。これにより、高速処理や省電力化などが実現できる。

図７はノイズ低減部１１１の構成の一例を示すものである。ノイズ低減部１１１は、範囲設定部３００，切り換え部３０１，第１スムージング部３０２，第２スムージング部３０３を備えている。ノイズ推定部１１０は範囲設定部３００へ、範囲設定部３００は切り換え部３０１，第１スムージング部３０２，第２スムージング部３０３へ接続している。抽出部１０９は切り換え部３０１へ、切り換え部３０１は第１スムージング部３０２および第２スムージング部３０３へ接続している。第１スムージング部３０２および第２スムージング部３０３は、バッファ１１２へ接続している。制御部１１９は、範囲設定部３００，切り換え部３０１，第１スムージング部３０２，第２スムージング部３０３と双方向に接続している。ノイズ推定部１１０は、注目領域の平均値ＡＶ₂₂およびノイズ量Ｎ₂₂を範囲設定部３００へ転送する。

範囲設定部３００は、制御部１１９の制御に基づきノイズ量に関する許容範囲として上限Ｕｐおよび下限Ｌｏｗを数式７のように設定する。
［数７］
Ｕｐ ＝ＡＶ₂₂＋Ｎ₂₂／２
Ｌｏｗ＝ＡＶ₂₂−Ｎ₂₂／２
上記許容範囲Ｕｐ，Ｌｏｗは、切り換え部３０１へ転送される。また、範囲設定部３００は平均値ＡＶ₂₂およびノイズ量Ｎ₂₂を第１スムージング部３０２および第２スムージング部３０３へ転送する。

切り換え部３０１は、制御部１１９の制御に基づき抽出部１０９からの注目画素Ｐ₂₂を読み込み、上記許容範囲に属するか否かの判断を行う。判断は、「ノイズ範囲に属している」，「ノイズ範囲を上回っている」，「ノイズ範囲を下回っている」の三通りである。切り換え部３０１は、「ノイズ範囲に属している」場合は第１スムージング部３０２へ、それ以外は第２スムージング部３０３へ注目画素Ｐ₂₂を転送する。第１スムージング部３０２は、切り換え部３０１からの注目画素Ｐ₂₂に範囲設定部３００からの平均値ＡＶ₂₂を代入する処理を行う。
［数８］
Ｐ'₂₂＝ＡＶ₂₂
数式８でのノイズ低減処理がなされた注目画素Ｐ'₂₂およびノイズ量Ｎ₂₂はバッファ１１２へ転送される。

第２スムージング部３０３は、切り換え部３０１からの注目画素Ｐ₂₂に範囲設定部３００からの平均値ＡＶ₂₂とノイズ量Ｎ₂₂を用いて補正する処理を行う。まず、「ノイズ範囲を上回っている」場合は数式９のように補正する。
［数９］
Ｐ'₂₂＝ＡＶ₂₂−Ｎ₂₂／２
また、「ノイズ範囲を下回っている」場合は数式１０のように補正する。
［数１０］
Ｐ'₂₂＝ＡＶ₂₂＋Ｎ₂₂／２
数式９または数式１０のノイズ低減処理がなされた注目画素Ｐ'₂₂およびノイズ量Ｎ₂₂はバッファ１１２へ転送される。

図８はエッジ方向検出部１１３の構成の一例を示すものである。エッジ方向検出部１１３は、閾値設定部４００，バッファ４０１，フィルタ処理部４０２，フィルタＲＯＭ４０３，バッファ４０４，エッジ選択部４０５，方向決定部４０６を備えている。バッファ１１２は閾値設定部４００およびフィルタ処理部４０２へ接続している。閾値設定部４００は、バッファ４０１を介してエッジ選択部４０５へ接続している。フィルタ処理部４０２は、バッファ４０４，エッジ選択部４０５，方向決定部４０６を介してエッジ抽出部１１４およびエッジ補正部１１５へ接続している。フィルタＲＯＭ４０３は、フィルタ処理部４０２へ接続している。制御部１１９は、閾値設定部４００，フィルタ処理部４０２，エッジ選択部４０５，方向決定部４０６と双方向に接続している。

閾値設定部４００は、制御部１１９の制御に基づきバッファ１１２からノイズ低減処理がなされた注目画素Ｐ'₂₂に対応するノイズ量Ｎ₂₂を読み込み、所定の係数ｇ₂、例えばｇ₂＝２を乗算することでエッジ成分に対する閾値Ｔ₂₂を数式１１に示すように算出する。
［数１１］
Ｔ₂₂＝ｇ₂・Ｎ₂₂

なお、本実施形態では図１０に示される５×５画素サイズの処理領域Ｐ'_kl（ｋ＝０〜４，ｌ＝０〜４）を想定しており、図１１に示される注目画素Ｐ'₂₂およびその周囲８画素（Ｐ'₁₁，Ｐ'₂₁，Ｐ'₃₁，Ｐ'₁₂，Ｐ'₃₂，Ｐ'₁₃，Ｐ'₂₃，Ｐ'₃₃）の９画素に対して閾値（Ｔ₂₂およびＴ₁₁，Ｔ₂₁，Ｔ₃₁，Ｔ₁₂，Ｔ₃₂，Ｔ₁₃，Ｔ₂₃，Ｔ₃₃）は算出される。算出された閾値はバッファ４０１へ転送される。

フィルタ処理部４０２は、制御部１１９の制御に基づきバッファ１１２から図１０に示される５×５画素サイズの処理領域Ｐ'_klを読み込み、注目画素Ｐ'₂₂およびその周囲８画素の９画素に対して３×３サイズのフィルタ処理を行う。図１２〜図１９は、フィルタ処理に用いられる８方向（０°，４５°，９０°，１３５°，１８０°，２２５°，２７０°，３１５°）のフィルタ係数を示す。上記フィルタ係数は、フィルタＲＯＭ４０３に記録されており、必要に応じてフィルタ処理部４０２へ転送される。フィルタ処理部４０２は、図１１に示される９画素に対し８方向のフィルタ処理を行い、これを絶対値化することで計７２のエッジ成分を算出し、バッファ４０４へ転送する。

エッジ選択部４０５は、制御部１１９の制御に基づきバッファ４０１から上記９画素に対する閾値を、バッファ４０４から上記９画素に対する８方向のエッジ成分を読み込む。この後、エッジ選択部４０５は、画素単位で上記閾値と８方向のエッジ成分を比較し、閾値以下のエッジ成分を省略し、閾値以上のエッジ成分を方向決定部４０６へ転送する。

方向決定部４０６は、制御部１１９の制御に基づきエッジ選択部４０５から転送されるエッジ成分を９画素の画素単位で処理する。これは、転送されるエッジ成分をソートし、最大値と、最大値を与える方向と１８０°ずれた対角方向を除く２番目の最大値と、を検出し、両者の差が所定の閾値以上の場合には最大値を与える方向をエッジ方向（Ｄ₂₂およびＤ₁₁，Ｄ₂₁，Ｄ₃₁，Ｄ₁₂，Ｄ₃₂，Ｄ₁₃，Ｄ₂₃，Ｄ₃₃）とする。一方、最大値と２番目の最大値の差が所定の閾値以下の場合には、有効なエッジ方向が複数あると判断し、等方的なエッジ方向とする。また、エッジ選択部４０５から転送される８方向のエッジ成分がない場合、平坦な領域としてエッジ方向がないとする。上記「最大値を与える方向」が得られた場合は、この方向をエッジ抽出部１１４およびエッジ補正部１１５へ転送する。また、「等方的なエッジ方向」および「エッジ方向がない」の場合は、制御部１１９へその情報を転送する。

制御部１１９は、エッジ抽出部１１４を制御し、「最大値を与える方向」が得られた場合は、図１２〜図１９に示されるその方向に対応するフィルタ係数によりエッジ成分の抽出を行わせる。一方、「等方的なエッジ方向」の場合は、図２０に示される等方的なフィルタ係数によりエッジ成分の抽出を行わせる。さらに、「エッジ方向がない」の場合には、エッジ抽出部１１４の処理を中止し、次の注目画素へ処理を移行させる。

なお、上記実施形態ではエッジ方向を決定する上で８方向のフィルタ処理とノイズ量に基づく閾値を使用しているが、このような構成に限定される必要はない。例えば、図９に示されるように、水平，垂直の２方向フィルタ処理と固定的な閾値によるより簡略された構成も可能である。

図９は、図８における閾値設定部４００，バッファ４０１を削除し、エッジ選択部４０５を変動除去部５００へ置換したもので、基本構成は図８に示すエッジ方向検出部１１３と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。

バッファ４０４は変動除去部５００へ、変動除去部５００は方向決定部４０６へ接続している。制御部１１９は、変動除去部５００と双方向に接続している。

フィルタ処理部４０２は、図１１に示される９画素に対し水平，垂直の２方向のフィルタ処理を行い、これを絶対値化することで計１８のエッジ成分を算出し、バッファ４０４へ転送する。図２１，図２２は、水平，垂直の２方向のフィルタ係数を示す。上記フィルタ係数は、フィルタＲＯＭ４０３に記録されており、必要に応じてフィルタ処理部４０２へ転送される。

変動除去部５００は、制御部１１９の制御に基づきバッファ４０４から上記９画素に対する２方向のエッジ成分を読み込む。この後、所定の下位ビット、本実施形態ではＡ／Ｄ変換器１０４を１２ｂｉｔ階調と想定しているため例えば下位４ｂｉｔを削除することで微小な変動成分を除去する。変動成分が除去された２方向のエッジ成分は、方向決定部４０６へ転送される。

方向決定部４０６は、制御部１１９の制御に基づきエッジ選択部４０５から転送されるエッジ成分を９画素の画素単位で処理し、エッジ方向を算出する。数式１２は、注目画素Ｐ'₂₂におけるエッジ方向の算出を示す。
［数１２］
Ｄ₂₂＝ｔａｎ^-1（Ｅ９０₂₂／Ｅ０₂₂）
上記数式１２において、Ｅ０は水平方向のＥ９０は垂直方向のエッジ成分を意味する。数式１２の演算は、図１１に示される９画素に対し画素単位で行われる。

なお、変動成分が除去された結果、水平，垂直の２方向ともエッジ成分が存在しない場合は「エッジ方向がない」として、制御部１１９へその情報を転送する。２方向の処理では、「等方的なエッジ方向」は検出されない。

図２３、図２４は、エッジ補正部１１５におけるエッジ成分の補正に用いる周囲画素を示す。図２３の例では、注目画素Ｐ'₂₂のエッジ方向Ｄ₂₂に基づき周囲８方向にある画素の一つを選択し、そのエッジ成分をＥ_dとした場合に数式１３で算出する。
［数１３］
Ｅ'₂₂＝（Ｅ₂₂＋Ｅ_d）／２
また、図２４の例では、注目画素Ｐ'₂₂のエッジ方向Ｄ₂₂に基づき周囲８方向にある画素の一つを選択し、そのエッジ成分をＥ_d、その対角方向にある画素のエッジ成分をＥ_doとした場合に数式１４で算出する。
［数１４］
Ｅ'₂₂＝（２Ｅ₂₂＋Ｅ_d＋Ｅ_do）／４

上記構成により、ノイズ低減処理後の信号からエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。

また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。この場合、エッジ成分の抽出時に用いたエッジ方向を再利用するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。

さらに、ノイズ低減処理はノイズ推定およびノイズ低減により行われるが、ノイズ推定においては広い領域から推定を行うことで推定精度を高めるようにし、ノイズ低減においては注目画素のみを対象とするようにしたために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。

ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。

さらに、エッジ方向の検出は、複数方向または水平および垂直方向のエッジ強度を求めた後に、ノイズ量に基づく閾値との比較または微小なエッジ強度の除去を行うようにしたために、ノイズによる影響を抑制し精度の高いエッジ方向が得られる。

また、エッジ方向が決定できなかった場合に後段のエッジ抽出処理を停止させるために、無駄な処理を省略でき処理速度を高速化することができる。

さらに、エッジ方向が複数検出された場合に等方的なエッジ抽出処理を行うために、安定した処理結果が得られる。

なお、上記実施形態ではレンズ系１００，絞り１０１，ＣＣＤ１０２，増幅器１０３，Ａ／Ｄ変換器１０４，測光評価部１０６，合焦点検出部１０７，ＡＦモータ１０８，温度センサー１２１を含む撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。

例えば、図２５に示されるように、別体の撮像部で撮像された映像信号を未処理のＲａｗデータ形態で、さらに撮像条件などの付随情報をヘッダ部に記録したメモリカードなどの記録媒体から処理をすることも可能である。

図２５は、図１に示す構成からレンズ系１００，絞り１０１，ＣＣＤ１０２，増幅器１０３，Ａ／Ｄ変換器１０４，測光評価部１０６，合焦点検出部１０７，ＡＦモータ１０８，温度センサー１２１を省略し、入力部６００，ヘッダ情報解析部６０１を追加した構成となっている。基本構成は図１と同様であり、同一の構成には同一の名称と符号を割り当てている。以下、異なる部分のみ説明する。

入力部６００は、バッファ１０５およびヘッダ情報解析部６０１へ接続している。制御部１１９は、入力部６００，ヘッダ情報解析部６０１と双方向に接続している。マウス，キーボードなどの外部Ｉ／Ｆ部１２０を介して再生操作を開始することで、メモリカードなどの記録媒体に保存された信号およびヘッダ情報が入力部６００から読み込まれる。入力部６００からの信号はバッファ１０５へ、ヘッダ情報はヘッダ情報解析部６０１へ転送される。ヘッダ情報解析部６０１は、ヘッダ情報から撮影時の情報を抽出して制御部１１９へ転送する。以後の処理は、図１と同様である。

さらに、上記実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ１０２からの信号を未処理のままのＲａｗデータとして、制御部１１９からの撮影時の温度，ゲインなどをヘッダ情報として出力し、別途ソフトウェアによって処理する構成も可能である。

図２６、図２７に、信号処理のソフトウェア処理に関するフローチャートを示す。

処理を開始すると、まず、信号と温度，ゲインなどのヘッダ情報を読み込む（ステップＳ１）。

次に、図２に示されるような注目画素および３×３画素サイズの注目領域を抽出する（ステップＳ２）。

そして、別途説明するように、抽出した注目領域のノイズ量を推定し、それを注目画素に対するノイズ量として算出する（ステップＳ３）。

続いて、注目画素に数式７に示される許容範囲を設定する（ステップＳ４）。

次に、注目画素が許容範囲内に属するか否かを判断し、属する場合は次のステップＳ６へ、属さない場合はステップＳ７へ分岐する（ステップＳ５）。

ステップＳ５において注目画素が許容範囲内に属すると判断されると、数式８に示される処理を行う（ステップＳ６）。

一方、ステップＳ５において注目画素が許容範囲内に属さないと判断されると、数式９または数式１０に示される処理を行う（ステップＳ７）。

上記ステップＳ６またはステップＳ７の処理が終わると、続いて全注目領域の抽出が完了したかを判断し、完了していない場合はステップＳ２へ、完了した場合はステップＳ９へ分岐する（ステップＳ８）。

上記ステップＳ８で全注目領域の抽出が完了したと判断されると、次に図１０に示されるような注目画素および５×５画素サイズの処理領域を抽出する（ステップＳ９）。

続いて、図１１に示される９画素に関して図１２〜図１９に示される方向別の抽出フィルタを用いてエッジ方向を検出する（ステップＳ１０）。

さらに、ステップＳ１０からのエッジ方向に基づきノイズ低減処理前の原信号からエッジ成分を抽出する（ステップＳ１１）。

次にステップＳ１０で検出したエッジ方向に基づき図２３または図２４に示される近傍画素のエッジ成分により数式１３または数式１４に示される補正処理によってエッジ成分を補正する（ステップＳ１２）。

更に、ノイズ低減処理後の注目画素の信号に数式１に示されるエッジ強調処理を行う（ステップＳ１３）。

そして、全処理領域の抽出が完了したかを判断し、完了していない場合はステップＳ９へ、完了した場合はステップＳ１５へ分岐する（ステップＳ１４）。

ステップＳ１４で全処理領域の抽出が完了したと判断されると、続いて公知の圧縮処理などが行われる（ステップＳ１５）。

その後、処理後の信号が出力され終了する（ステップＳ１６）。

図２７は、上記ステップＳ３におけるノイズ量の推定に関するフローチャートである。

まず、数式２に示される注目領域の平均値を算出する（ステップＳ２０）。

次に、読み込まれたヘッダ情報から温度，ゲインなどの情報を設定する（ステップＳ２１）。このとき、もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。

更に、基準ノイズモデルの座標データおよび補正係数を読み込む（ステップＳ２２）。

続いて、数式５に示される補間処理によって基準ノイズ量を求める（ステップＳ２３）。

次に、数式６に示される補正処理によってノイズ量を求める（ステップＳ２４）。

最後に、算出されたノイズ量を出力して終了する（ステップＳ２５）。

このように、ハードウェアによる実行を前提としていた上述したような処理も、上記第１の実施形態と同様に、コンピュータ等の処理装置においてソフトウェアにより処理することが可能となる。

［第２の実施形態］
図２８から図３７は本発明の第２の実施形態を示したものであり、図２８は第２の実施形態の構成を示すブロック図、図２９、図３０は注目画素および注目領域に関する説明図であって、図２９は注目画素およびその近傍領域を示す図、図３０は注目画素および抽出された類似画素を示す図、図３１は抽出部の構成を示すブロック図、図３２はノイズ推定部の構成を示すブロック図、図３３はエッジ方向検出部の構成を示すブロック図、図３４、図３５はエッジ方向検出部のエッジ抽出フィルタに関する説明図であって、図３４は水平エッジ抽出フィルタを示す図、図３５は垂直エッジ抽出フィルタを示す図、図３６、図３７は第２の実施形態における信号処理のフローチャートであって、図３６は全体処理のフローチャート、図３７はノイズ推定処理のフローチャートである。

図２８は、第２の実施形態の構成を示すブロック図である。本実施形態は、図１に示す第１の実施形態における抽出部１０９，ノイズ推定部１１０，エッジ方向検出部１１３が、抽出部７００，ノイズ推定部７０１，エッジ方向検出部７０２に置換され、バッファ７０３が追加された構成になっている。基本構成は第１の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。

バッファ１０５は、測光評価部１０６，合焦点検出部１０７，抽出部７００，エッジ抽出部１１４へ接続されている。抽出部７００は、ノイズ推定部７０１およびノイズ低減部１１１へ接続されている。ノイズ推定部７０１は抽出部７００，ノイズ低減部１１１，エッジ方向検出部７０２へ接続されている。エッジ方向検出部７０２は、バッファ７０３を介して、エッジ抽出部１１４およびエッジ補正部１１５へ接続されている。制御部１１９は、抽出部７００，ノイズ推定部７０１，エッジ方向検出部７０２と双方向に接続されている。

本実施形態は、基本的に第１の実施形態と同様であり、異なる部分のみ説明する。

図２８において、信号の流れを説明する。抽出部７００は、制御部１１９の制御に基づき図２９に示される注目画素Ｐ₂₂を包含する５×５画素サイズの注目領域Ｐ_ij（ｉ＝０〜４，ｊ＝０〜４）を順次抽出する。上記注目画素Ｐ₂₂は、ノイズ推定部７０１およびノイズ低減部１１１へ転送される。

ノイズ推定部７０１は、制御部１１９の制御に基づきノイズ低減処理を行う注目画素Ｐ₂₂に対する第１のノイズ量Ｎ１₂₂を推定し、これを抽出部７００へ転送する。

抽出部７００は、制御部１１９の制御に基づき、注目画素Ｐ₂₂および上記第１のノイズ量Ｎ１₂₂に基づき注目画素Ｐ₂₂と類似する画素を抽出するための許容範囲を算出する。算出された上記許容範囲に基づき、上記注目領域から類似する類似画素を抽出する。類似画素としては、例えば図３０に示されるような類似画素Ｐ_kl（ｋ＝０〜４のいずれか，ｌ＝０〜４のいずれか）を想定する。抽出された類似画素Ｐ_klおよび注目画素Ｐ₂₂は、ノイズ推定部７０１へ転送される。

ノイズ推定部７０１は、制御部１１９の制御に基づき、ノイズ低減処理を行う注目画素Ｐ₂₂および上記類似画素Ｐ_klに対する第２のノイズ量Ｎ２₂₂を推定し、これをノイズ低減部１１１へ転送する。また、注目画素Ｐ₂₂および上記類似画素Ｐ_klの情報をエッジ方向検出部７０２へ転送する。

ノイズ低減部１１１は、第１の実施形態と同様に注目画素Ｐ₂₂に関して、ノイズ推定部７０１からのノイズ量Ｎ２₂₂に基づきノイズ低減処理を行い、ノイズ低減処理後の注目画素Ｐ'₂₂をバッファ１１２へ転送する。

エッジ方向検出部７０２は、ノイズ推定部７０１からの注目画素Ｐ₂₂および上記類似画素Ｐ_klの情報に基づき、注目画素Ｐ₂₂に対するエッジ方向Ｄ₂₂を検出する。上記エッジ方向Ｄ₂₂は、バッファ７０３へ転送される。

上記抽出部７００，ノイズ推定部７０１，ノイズ低減部１１１，エッジ方向検出部７０２における処理は、制御部１１９の制御に基づき注目領域単位で同期して行われる。

バッファ１１２にはノイズ低減処理後の全信号が、バッファ７０３にはエッジ方向が記録されることになる。

エッジ抽出部１１４は、第１の実施形態と同様にバッファ１０５から注目画素Ｐ₂₂およびその周囲８画素（Ｐ₁₁，Ｐ₂₁，Ｐ₃₁，Ｐ₁₂，Ｐ₃₂，Ｐ₁₃，Ｐ₂₃，Ｐ₃₃）の９画素を含む図３０に示される５×５画素サイズの処理領域を、バッファ７０３からエッジ方向（Ｄ₂₂およびＤ₁₁，Ｄ₂₁，Ｄ₃₁，Ｄ₁₂，Ｄ₃₂，Ｄ₁₃，Ｄ₂₃，Ｄ₃₃）を読み込む。その後、上記９画素に対してエッジ方向に基づき図１２〜図１９に示されるエッジ抽出フィルタを選択し、フィルタ処理を行いエッジ成分（Ｅ₂₂およびＥ₁₁，Ｅ₂₁，Ｅ₃₁，Ｅ₁₂，Ｅ₃₂，Ｅ₁₃，Ｅ₂₃，Ｅ₃₃）を抽出し、エッジ補正部１１５へ転送する。

エッジ補正部１１５は、第１の実施形態と同様に、注目画素Ｐ₂₂のエッジ成分Ｅ₂₂に関して、バッファ７０３からのエッジ方向Ｄ₂₂およびエッジ抽出部１１４からの周囲８画素のエッジ成分（Ｅ₁₁，Ｅ₂₁，Ｅ₃₁，Ｅ₁₂，Ｅ₃₂，Ｅ₁₃，Ｅ₂₃，Ｅ₃₃）に基づきこれを補正したエッジ成分Ｅ'₂₂を求め、エッジ強調部１１６へ転送する。

エッジ強調部１１６は、制御部１１９の制御に基づきバッファ１１２からノイズ低減処理後の注目画素Ｐ'₂₂を順次抽出する。その後、エッジ補正部１１５からのエッジ成分Ｅ'₂₂に基づき第１の実施形態と同様にエッジ強調処理後の画素値Ｐ"₂₂を求め、信号処理部１１７へ転送する。

上記エッジ抽出部１１４，エッジ補正部１１５，エッジ強調部１１６における処理は、制御部１１９の制御に基づき処理領域単位で同期して行われる。

信号処理部１１７は、制御部１１９の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理などを行い、出力部１１８へ転送する。出力部１１８は、メモリーカードなどへ信号を記録保存する。

図３１は抽出部７００の構成の一例を示すものである。抽出部７００は、許容範囲設定部８００，近傍抽出部８０１，類似性調査部８０２，バッファ８０３を備えている。

ノイズ推定部７０１は、許容範囲設定部８００へ接続している。バッファ１０５は、近傍抽出部８０１，類似性調査部８０２，バッファ８０３を介してノイズ推定部７０１へ接続している。近傍抽出部８０１は、ノイズ低減部１１１およびノイズ推定部７０１へ接続している。制御部１１９は、許容範囲設定部８００，近傍抽出部８０１，類似性調査部８０２と双方向に接続されている。

近傍抽出部８０１は、制御部１１９の制御に基づき、バッファ１０５から注目画素Ｐ₂₂を抽出し、ノイズ推定部７０１およびノイズ低減部１１１および許容範囲設定部８００へ転送する。

許容範囲設定部８００は、制御部１１９の制御に基づき、ノイズ推定部７０１から注目画素Ｐ₂₂に対する第１のノイズ量Ｎ１₂₂が転送された後、類似画素を探索するための許容範囲として上限Ａｐｐ＿Ｕｐおよび下限Ａｐｐ＿Ｌｏｗを数式１５のように設定する。
［数１５］
Ａｐｐ＿Ｕｐ ＝Ｐ₂₂＋Ｎ１₂₂／２
Ａｐｐ＿Ｌｏｗ＝Ｐ₂₂−Ｎ１₂₂／２
上記許容範囲は、類似性調査部８０２へ転送される。

近傍抽出部８０１は、制御部１１９の制御に基づき、バッファ１０５から図２９に示される注目領域Ｐ_ijを抽出し、画素単位で順次類似性調査部８０２へ転送する。

類似性調査部８０２は、許容範囲設定部８００からの許容範囲として上限Ａｐｐ＿Ｕｐおよび下限Ａｐｐ＿Ｌｏｗに基づき、近傍抽出部８０１からの画素を調査する。画素が数式１５の許容範囲内にある場合、これを類似画素Ｐ_klとしての有効を意味するフラグ、例えば１を与える。一方、許容範囲外である場合は無効を意味するフラグ、例えば０を与える。上記フラグと画素値は組としてバッファ８０３へ保存される。図３０は、抽出された類似画素の一例を示す。なお、注目画素は必ず類似画素の一つとして抽出されることになる。バッファ８０３上のフラグおよび画素値情報は、制御部１１９の制御に基づき、必要に応じてノイズ推定部７０１へ転送される。

図３２はノイズ推定部７０１の構成の一例を示すものである。ノイズ推定部７０１は、第１の実施形態の図３に示されるノイズ推定部１１０にノイズＬＵＴ（ルックアップテーブル）９００が追加され、パラメータ用ＲＯＭ２０３，パラメータ選択部２０４，補間部２０５，補正部２０６が省略された構成になっている。基本構成は図３に示すノイズ推定部１１０と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。

抽出部７００は、平均算出部２００およびエッジ方向検出部７０２へ接続している。平均算出部２００，ゲイン算出部２０１，標準値付与部２０２は、ノイズＬＵＴ９００へ接続している。ノイズＬＵＴ９００は、ノイズ低減部１１１および抽出部７００へ接続している。制御部１１９は、ノイズＬＵＴ９００へ双方向に接続されている。

平均算出部２００は、制御部１１９の制御に基づき抽出部７００から注目画素Ｐ₂₂、または注目画素Ｐ₂₂と類似画素Ｐ_klとを読み込み、平均値を算出する。上記平均値はノイズＬＵＴ９００へ転送される。

ゲイン算出部２０１は、制御部１１９から転送されるＩＳＯ感度および露光条件に関する情報に基づき増幅器１０３におけるゲインを求め、ノイズＬＵＴ９００へ転送する。

また、制御部１１９は温度センサー１２１からＣＣＤ１０２の温度情報を得て、これをノイズＬＵＴ９００へ転送する。

ノイズＬＵＴ９００は、平均算出部２００からの平均値，ゲイン算出部２０１からのゲインの情報，制御部１１９からの温度情報に基づきノイズ量を推定する。ノイズＬＵＴ９００は、温度，信号値レベル，ゲインとノイズ量間の関係を記録したルックアップテーブルで、第１の実施形態と同様の手法により構築される。ノイズＬＵＴ９００で得られたノイズ量は抽出部７００へ転送される。また、抽出部７００で得られた類似画素を識別するためのフラグ情報および画素値はエッジ方向検出部７０２へ転送される。

なお、標準値付与部２０２は第１の実施形態と同様に、いずれかのパラメータが省略された場合に標準値を与える機能を受け持つ。

図３３はエッジ方向検出部７０２の構成の一例を示すものである。エッジ方向検出部７０２は、水平フィルタ処理部１０００，垂直フィルタ処理部１００１，方向決定部１００２を備えている。ノイズ推定部７０１は、水平フィルタ処理部１０００および垂直フィルタ処理部１００１へ接続している。水平フィルタ処理部１０００および垂直フィルタ処理部１００１は、方向決定部１００２へ接続している。方向決定部１００２は、バッファ７０３へ接続している。制御部１１９は、水平フィルタ処理部１０００，垂直フィルタ処理部１００１，方向決定部１００２と双方向に接続している。

水平フィルタ処理部１０００および垂直フィルタ処理部１００１は、制御部１１９の制御に基づき、図３０に示すように５×５画素サイズの注目画素Ｐ₂₂および類似画素Ｐ_klに関するフラグおよび画素値情報を読み込む。その後、図３４または図３５に示す５×５画素サイズのフィルタ処理と絶対値化を行い、水平または垂直方向のエッジ成分を抽出する。なお、類似画素Ｐ_klに関しては、そのフラグが０である画素は画素値を０に置換してフィルタ処理を行う。上記エッジ成分は、方向決定部１００２へ転送される。

方向決定部１００２は、制御部１１９の制御に基づき水平フィルタ処理部１０００からの水平エッジ成分Ｅ０₂₂および垂直フィルタ処理部１００１からの垂直エッジ成分Ｅ９０₂₂に基づき、数式１２に示されるようにエッジ方向Ｄ₂₂を算出する。算出されたエッジ方向Ｄ₂₂はバッファ７０３へ転送される。

上記構成により、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。

ノイズ低減処理の過程で得られた情報からエッジの方向を検出するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。

また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。この場合、エッジ成分の抽出時に用いたエッジ方向を再利用するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。

さらに、ノイズ低減処理では注目画素から概略的な第１のノイズ量を推定し、第１のノイズ量から類似画素を抽出し、注目画素および類似画素からより精度の高い第２のノイズ量を推定し、第２のノイズ量に基づきノイズ低減処理を行うために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。

ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。

なお、上記第２の実施形態では撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。第１の実施形態と同様に、撮像部と分離した構成も可能である。

さらに、上記第２の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ１０２からの信号を未処理のままのＲａｗデータとして、制御部１１９からの撮影時の温度，ゲインなどをヘッダ情報として出力し、別途ソフトウェアによって処理する構成も可能である。

図３６、図３７は、信号処理のソフトウェア処理に関するフローチャートを示す。なお、図２６、図２７に示す本発明の第１の実施形態における信号処理のフローチャートと同一な処理ステップに関しては、同一なステップ符号を割り当てている。

処理を開始すると、まず信号と温度，ゲインなどのヘッダ情報を読み込む（ステップＳ１）。

次に図２９に示されるような注目画素および５×５画素サイズの注目領域を抽出する（ステップＳ２）。

そして、別途説明するように抽出した注目領域のノイズ量を推定し、それを注目画素に対するノイズ量として算出する（ステップＳ３）。

更に、類似画素を探索するための数式１５に示される許容範囲を設定する（ステップＳ３０）。

その後、図３０に示されるような類似画素を抽出する（ステップＳ３１）。

そして、上述のステップＳ３と同じ処理によって、注目画素および抽出した類似画素を用いてノイズ量を推定し、それを注目画素に対するノイズ量として算出する（ステップＳ３２）。

次に、注目画素に数式７に示される許容範囲を設定する（ステップＳ４）。

そして、注目画素が許容範囲内に属するか否かを判断し、属する場合は次のステップＳ６へ、属さない場合はステップＳ７へ分岐する（ステップＳ５）。

ステップＳ５において注目画素が許容範囲内に属すると判断されると、続けて数式８に示される処理を行う（ステップＳ６）。

一方、ステップＳ５において注目画素が許容範囲内に属さないと判断されると、数式９または数式１０に示される処理を行う（ステップＳ７）。

その後、図３０に示される注目画素および類似画素に関して図３４，図３５に示される水平，垂直用の抽出フィルタを用いてエッジ方向を検出する（ステップＳ１０）。

そして、全注目領域の抽出が完了したかを判断し、完了していない場合はステップＳ２へ、完了した場合は次のステップＳ９へ分岐する（ステップＳ８）。

次に、図３０に示されるような注目画素および類似画素を含む５×５画素サイズの処理領域を抽出する（ステップＳ９）。

更に、ステップＳ１０からのエッジ方向情報に基づきノイズ低減処理前の原信号から注目領域のエッジ成分を抽出する（ステップＳ３３）。

次に、ステップＳ１０で検出したエッジ方向に基づき図２３または図２４に示される近傍画素のエッジ成分により数式１３または数式１４に示される補正処理によってエッジ成分を補正する（ステップＳ１２）。

その後、ノイズ低減処理後の注目画素の信号に数式１に示されるエッジ強調処理を行う（ステップＳ１３）。

そして、全処理領域の抽出が完了したかを判断し、完了していない場合はステップＳ９へ、完了した場合はステップＳ１５へ分岐する（ステップＳ１４）。

全処理領域の抽出が完了した場合は、公知の圧縮処理などが行われ（ステップＳ１５）、処理後の信号が出力され終了する（ステップＳ１６）。

図３７は、上記ステップＳ３およびステップＳ３２におけるノイズ量の推定に関するフローチャートである。

まず、注目領域または注目画素と類似画素の平均値を算出する（ステップＳ２０）。

次に、読み込まれたヘッダ情報から温度，ゲインなどの情報を設定する（ステップＳ２１）。その際、もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。

その後、ルックアップテーブルを用いてノイズ量を求め（ステップＳ４０）、算出されたノイズ量を出力して終了する（ステップＳ２５）。

この様に、ＣＣＤ１０２からの信号を未処理のままのＲａｗデータとし、制御部１１９からの撮影時の温度，ゲインなどをヘッダ情報として付加された映像信号であれば、別途ソフトウェアによって処理する構成も可能である。

［第３の実施形態］
図３８から図４７は本発明の第３の実施形態を示したものであり、図３８は第３の実施形態の構成を示すブロック図、図３９、図４０はＤＣＴ（Discrete Cosine Transform）変換に関する説明図であって、図３９は実空間を示す図、図４０は周波数空間を示す図、図４１はノイズ推定部の構成を示すブロック図、図４２はノイズ低減部の構成を示すブロック図、図４３はエッジ方向検出部の構成を示すブロック図、図４４はエッジ方向検出部で用いる水平，垂直方向の周波数成分に関する説明図、図４５、図４６、図４７は第３の実施形態における信号処理のフローチャートであって、図４５は全体処理のフローチャート、図４６はノイズ推定処理のフローチャート、図４７はエッジ方向検出処理のフローチャートである。

図３８は、本発明の第３の実施形態の構成を示すブロック図である。本実施形態は、図１に示す第１の実施形態におけるノイズ推定部１１０，ノイズ低減部１１１，エッジ方向検出部１１３がノイズ推定部１１０１，ノイズ低減部１１０２，エッジ方向検出部１１０４に置換され、ＤＣＴ変換部１１００，逆ＤＣＴ変換部１１０３，バッファ１１０５が追加された構成になっている。基本構成は第１の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。

抽出部１０９はＤＣＴ変換部１１００へ、ＤＣＴ変換部１１００はノイズ推定部１１０１およびノイズ低減部１１０２へ接続されている。ノイズ低減部１１０２は、逆ＤＣＴ変換部１１０３を介してバッファ１１２へ接続されている。ノイズ推定部１１０１は、ノイズ低減部１１０２およびエッジ方向検出部１１０４へ接続されている。エッジ方向検出部１１０４はバッファ１１０５へ、バッファ１１０５はエッジ抽出部１１４およびエッジ補正部１１５へ接続されている。制御部１１９は、ＤＣＴ変換部１１００，ノイズ推定部１１０１，ノイズ低減部１１０２，逆ＤＣＴ変換部１１０３，エッジ方向検出部１１０４と双方向に接続されている。

本実施形態は、基本的に第１の実施形態と同様であり、異なる部分のみ説明する。

図３８において、信号の流れを説明する。抽出部１０９は、制御部１１９の制御に基づき、図３９に示されるような４×４画素サイズの注目領域（ブロック領域）を順次抽出し、ＤＣＴ変換部１１００へ転送する。

ＤＣＴ変換部１１００は、制御部１１９の制御に基づき上記注目領域に公知のＤＣＴ（Discrete Cosine Transform）変換を行い、図４０に示されるような周波数成分へ変換する。ＤＣＴ変換では、図４０に示されるように、左上を原点すなわち０次成分として、１次以上の高周波成分は０次成分を原点とする同心円上に配置されることになる。本実例では、４×４画素サイズを想定するため次数として５次の高周波成分まで存在することになる。変換後の周波数成分は、ノイズ推定部１１０１およびノイズ低減部１１０２へ転送される。

ノイズ推定部１１０１は、制御部１１９の制御に基づき、周波数成分中の０次成分および撮影時の情報に基づき、０次成分以外の高周波数成分に対するノイズ量を次数成分ごとに算出する。算出されたノイズ量はノイズ低減部１１０２へ、周波数成分はエッジ方向検出部１１０４へ転送される。

ノイズ低減部１１０２は、制御部１１９の制御に基づき、ノイズ推定部１１０１からのノイズ量に基づき０次成分以外の高周波数成分に対してノイズ低減処理を行い、０次成分と共に逆ＤＣＴ変換部１１０３へ転送する。

逆ＤＣＴ変換部１１０３は、制御部１１９の制御に基づき、０次成分とノイズ低減処理後の０次成分以外の高周波数成分に対して逆ＤＣＴ変換を行い、実空間の画素へ変換する。ノイズ低減がなされた上記画素は、バッファ１１２へ転送される。

一方、エッジ方向検出部１１０４は、制御部１１９の制御に基づき、ノイズ推定部１１０１からの周波数成分に基づき水平，垂直方向の周波数成分からエッジ方向を検出する。検出されたエッジ方向は、バッファ１１０５へ転送される。

上記ＤＣＴ変換部１１００，ノイズ推定部１１０１，ノイズ低減部１１０２，逆ＤＣＴ変換部１１０３，エッジ方向検出部１１０４における処理は、制御部１１９の制御に基づき注目領域単位で同期して行われる。

バッファ１１２にはノイズ低減処理後の全信号が、バッファ１１０５には４×４画素単位でエッジ方向が記録されることになる。

エッジ抽出部１１４は、第１の実施形態と同様にバッファ１０５から注目画素Ｐ₂₂およびその周囲８画素（Ｐ₁₁，Ｐ₂₁，Ｐ₃₁，Ｐ₁₂，Ｐ₃₂，Ｐ₁₃，Ｐ₂₃，Ｐ₃₃）の９画素を、バッファ１１０５から各画素が属する４×４画素単位を探索し、エッジ方向（Ｄ₂₂およびＤ₁₁，Ｄ₂₁，Ｄ₃₁，Ｄ₁₂，Ｄ₃₂，Ｄ₁₃，Ｄ₂₃，Ｄ₃₃）を読み込む。その後、上記９画素に対してエッジ方向に基づき図１２〜図１９に示されるエッジ抽出フィルタを選択し、フィルタ処理を行いエッジ成分（Ｅ₂₂およびＥ₁₁，Ｅ₂₁，Ｅ₃₁，Ｅ₁₂，Ｅ₃₂，Ｅ₁₃，Ｅ₂₃，Ｅ₃₃）を抽出し、エッジ補正部１１５へ転送する。

エッジ補正部１１５は、第１の実施形態と同様に、注目画素Ｐ₂₂のエッジ成分Ｅ₂₂に関して、バッファ１１０５からのエッジ方向Ｄ₂₂およびエッジ抽出部１１４からの周囲８画素のエッジ成分（Ｅ₁₁，Ｅ₂₁，Ｅ₃₁，Ｅ₁₂，Ｅ₃₂，Ｅ₁₃，Ｅ₂₃，Ｅ₃₃）に基づきこれを補正したエッジ成分Ｅ'₂₂を求め、エッジ強調部１１６へ転送する。

エッジ強調部１１６は、制御部１１９の制御に基づき、バッファ１１２からノイズ低減処理後の注目画素Ｐ'₂₂を順次抽出する。その後、エッジ補正部１１５からのエッジ成分Ｅ'₂₂に基づき第１の実施形態と同様にエッジ強調処理後の画素値Ｐ"₂₂を求め、信号処理部１１７へ転送する。

上記エッジ抽出部１１４，エッジ補正部１１５，エッジ強調部１１６における処理は、制御部１１９の制御に基づき注目画素単位で同期して行われる。

信号処理部１１７は、制御部１１９の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理などを行い、出力部１１８へ転送する。出力部１１８は、メモリーカードなどへ信号を記録保存する。

図４１はノイズ推定部１１０１の構成の一例を示すものである。ノイズ推定部１１０１は、第１の実施形態の図３に示されるノイズ推定部１１０に０次成分抽出部１２００，ノイズＬＵＴ１２０１が追加され、平均算出部２００，パラメータ用ＲＯＭ２０３，パラメータ選択部２０４，補間部２０５，補正部２０６が省略された構成になっている。基本構成は図３に示すノイズ推定部１１０と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。

ＤＣＴ変換部１１００は、０次成分抽出部１２００およびエッジ方向検出部１１０４へ接続している。０次成分抽出部１２００，ゲイン算出部２０１，標準値付与部２０２は、ノイズＬＵＴ１２０１へ接続している。ノイズＬＵＴ１２０１は、ノイズ低減部１１０２へ接続している。制御部１１９は、０次成分抽出部１２００，ノイズＬＵＴ１２０１へ双方向に接続されている。

０次成分抽出部１２００は、制御部１１９の制御に基づきＤＣＴ変換部１１００から４×４画素サイズの注目領域（ブロック領域）に対する周波数成分を読み込み、その０次成分を抽出する。上記０次成分はノイズＬＵＴ１２０１へ転送される。

ゲイン算出部２０１は、制御部１１９から転送されるＩＳＯ感度および露光条件に関する情報に基づき増幅器１０３におけるゲインを求め、ノイズＬＵＴ１２０１へ転送する。

また、制御部１１９は温度センサー１２１からＣＣＤ１０２の温度情報を得て、これをノイズＬＵＴ１２０１へ転送する。

ノイズＬＵＴ１２０１は、０次成分抽出部１２００からの０次成分，ゲイン算出部２０１からのゲインの情報，制御部１１９からの温度情報に基づき０次成分以外の高周波数成分に対するノイズ量を推定する。

ノイズＬＵＴ１２０１は、温度，信号値レベル，ゲインと０次成分以外の高周波数成分に対するノイズ量間の関係を記録したルックアップテーブルで、第１の実施形態の手法を周波数空間に適用することにより構築される。ノイズＬＵＴ１２０１で得られた０次成分以外の高周波数成分に対するノイズ量はノイズ低減部１１０２へ転送される。

なお、標準値付与部２０２は第１の実施形態と同様に、いずれかのパラメータが省略された場合に標準値を与える機能を受け持つ。

図４２はノイズ低減部１１０２の構成の一例を示すものである。ノイズ低減部１１０２は、第１の実施形態の図７に示されるノイズ低減部１１１に周波数分離部１３００，平均算出部１３０１が追加された構成になっている。基本構成は図７に示されるノイズ低減部１１１と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。

ノイズ推定部１１０１は範囲設定部３００へ接続している。ＤＣＴ変換部１１００は周波数分離部１３００へ、周波数分離部１３００は平均算出部１３０１および逆ＤＣＴ変換部１１０３へ接続している。平均算出部１３０１は、範囲設定部３００および切り換え部３０１へ接続している。第１スムージング部３０２および第２スムージング部３０３は、逆ＤＣＴ変換部１１０３へ接続している。制御部１１９は、周波数分離部１３００，平均算出部１３０１と双方向に接続している。

周波数分離部１３００は、制御部１１９の制御に基づきＤＣＴ変換部１１００から図４０に示されるような周波数成分を読み込み、これを各周波数成分ごとに分離する。分離された０次成分Ｆ₀は逆ＤＣＴ変換部１１０３へ、０次成分以外の高周波数成分Ｆ_Le（Ｌは１〜５の次数を、ｅは各次数に含まれる要素を意味する）は平均算出部１３０１へ転送される。

平均算出部１３０１は、制御部１１９の制御に基づき次数ごとの高周波数成分の平均値ＡＶ＿Ｆ_Lを算出し、これを範囲設定部３００へ転送する。また、高周波数成分Ｆ_Leは切り換え部３０１へ転送される。

範囲設定部３００は、制御部１１９の制御に基づきノイズ推定部１１０１から次数ごとのノイズ量Ｎ＿Ｆ_Lを読み込み、許容範囲として上限Ｆ＿Ｕｐ_Lおよび下限Ｆ＿Ｌｏｗ_Lを次数ごとに設定する。
［数１６］
Ｆ＿Ｕｐ_L ＝ＡＶ＿Ｆ_L＋Ｎ＿Ｆ_L／２
Ｆ＿Ｌｏｗ_L＝ＡＶ＿Ｆ_L−Ｎ＿Ｆ_L／２
上記許容範囲は、切り換え部３０１へ転送される。また、範囲設定部３００は平均値ＡＶ＿Ｆ_Lおよびノイズ量Ｎ＿Ｆ_Lを第１スムージング部３０２および第２スムージング部３０３へ転送する。

切り換え部３０１は、制御部１１９の制御に基づき平均算出部１３０１からの高周波数成分Ｆ_Leを読み込み、上記許容範囲に属するか否かの判断を行う。判断は、「ノイズ範囲に属している」，「ノイズ範囲を上回っている」，「ノイズ範囲を下回っている」の三通りである。切り換え部３０１は、「ノイズ範囲に属している」場合は第１スムージング部３０２へ、それ以外は第２スムージング部３０３へ高周波数成分Ｆ_Lを転送する。

第１スムージング部３０２は、切り換え部３０１からの高周波数成分Ｆ_Leに範囲設定部３００からの平均値ＡＶ＿Ｆ_Lを代入する処理を行う。
［数１７］
Ｆ'_Le＝ＡＶ＿Ｆ_L
数式１７でのノイズ低減処理がなされた高周波数成分Ｆ'_Leは逆ＤＣＴ変換部１１０３へ転送される。

第２スムージング部３０３は、切り換え部３０１からの高周波数成分Ｆ_Leに範囲設定部３００からの平均値ＡＶ＿Ｆ_Lおよびノイズ量Ｎ＿Ｆ_Lを用いて補正する処理を行う。

まず、「ノイズ範囲を上回っている」場合は下記の数式１８のように補正する。
［数１８］
Ｆ'_Le＝ＡＶ＿Ｆ_L−Ｎ＿Ｆ_L／２

また、「ノイズ範囲を下回っている」場合は下記の数式１９のように補正する。
［数１９］
Ｆ'_Le＝ＡＶ＿Ｆ_L＋Ｎ＿Ｆ_L／２
数式１８または数式１９のノイズ低減処理がなされた高周波数成分Ｆ'_Leは逆ＤＣＴ変換部１１０３へ転送される。

図４３はエッジ方向検出部１１０４の構成の一例を示すものである。エッジ方向検出部１１０４は、水平高周波積算部１４００，垂直高周波積算部１４０１，方向決定部１４０２を備えている。ノイズ推定部１１０１は、水平高周波積算部１４００および垂直高周波積算部１４０１へ接続している。水平高周波積算部１４００および垂直高周波積算部１４０１は、方向決定部１４０２へ接続している。方向決定部１４０２は、バッファ１１０５へ接続している。制御部１１９は、水平高周波積算部１４００，垂直高周波積算部１４０１，方向決定部１４０２と双方向に接続している。

水平高周波積算部１４００および垂直高周波積算部１４０１は、制御部１１９の制御に基づき、図４４に示すように周波数成分から水平方向または垂直方向の０次成分を除く高周波成分を読み込む。上記高周波成分は絶対値化された後に積算され、水平または垂直のエッジ成分として、方向決定部１４０２へ転送される。

方向決定部１４０２は、制御部１１９の制御に基づき注目画素Ｐ₂₂を含む４×４画素サイズの注目領域単位（ブロック領域単位）で、水平高周波積算部１４００からの水平エッジ成分Ｅ０₂₂および垂直高周波積算部１４０１からの垂直エッジ成分Ｅ９０₂₂に基づき数式１２に示されるようにエッジ方向Ｄ₂₂を算出する。算出されたエッジ方向はバッファ１１０５へ転送される。

上記構成により、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。ノイズ低減処理の過程で得られた周波数情報からエッジの方向を検出するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。

また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。この場合、エッジ成分の抽出時に用いたエッジ方向を再利用するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。

さらに、ノイズ低減処理では注目領域を周波数空間へ変換し、０次成分からノイズ量を推定しノイズ低減処理を行うために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。

ここで、上記の第３の実施形態の信号処理をソフトウェアで処理する場合のフローチャートを説明する。なお、本フローチャートは、図２６、図２７に示した第１の実施形態のソフトウェア処理に関するフローチャートにおいて、ステップＳ２からステップＳ８までの流れにおける具体的処理内容が異なり、他はほぼ同様の処理であるために、異なる部分についてのみ説明する。

図４５〜図４７に、信号処理のソフトウェア処理に関するフローチャートを示す。

処理を開始すると、まず、信号と温度，ゲインなどのヘッダ情報を読み込み（ステップＳ１）、その後、図３９に示されるような４×４画素サイズの注目領域を順次抽出する（ステップＳ５１）。

次に上記順次抽出した注目領域にＤＣＴ変換を行い、図４０に示されるような周波数成分へ変換し（ステップＳ５２）、０次成分とそれ以外の次数の高周波成分に分離する（ステップＳ５３）。

その後、別途説明するように、０次成分以外の高周波数成分に対するノイズ量を次数成分ごとに算出する（ステップＳ５４）。

また、上記ステップＳ５３で分離した次数ごとの高周波数成分の平均値を算出する（ステップＳ５５）。

続いて、注目領域に数式１６に示される許容範囲を設定する（ステップＳ５６）。

次に、注目画素が許容範囲内に属するか否かを判断し、属する場合は次のステップＳ５８へ、属さない場合はステップＳ５９へ分岐する（ステップＳ５７）。

ステップＳ５７において注目画素が許容範囲内に属すると判断されると、数式１７に示される処理を行う（ステップＳ５８）。

一方、ステップＳ５７において注目画素が許容範囲内に属さないと判断されると、数式１８または数式１９に示される処理を行う（ステップＳ５９）。

次に、０次成分とノイズ低減処理後の０次成分以外の高周波数成分に対して逆ＤＣＴ変換を行い、実空間の画素へ変換する（ステップＳ６０）。

上記ステップＳ６０の処理が終わると、続いて全注目領域の抽出が完了したかを判断し、完了していない場合はステップＳ５２へ、完了した場合はステップＳ９へ分岐する（ステップＳ８）。

上記ステップＳ８で全注目領域の抽出が完了したと判断されると、次に図１０に示されるような注目画素および５×５画素サイズの処理領域を抽出する（ステップＳ９）。

続いて、別途説明するように、図４４に示される水平，垂直方向の周波数成分からエッジ方向を検出する（ステップＳ６１）。

さらに、ステップＳ６１からのエッジ方向に基づきノイズ低減処理前の原信号からエッジ成分を抽出する（ステップＳ１１）。

次にステップＳ１０で検出したエッジ方向に基づき図２３または図２４に示される近傍画素のエッジ成分により数式１３または数式１４に示される補正処理によってエッジ成分を補正する（ステップＳ１２）。

更に、ノイズ低減処理後の注目画素の信号に数式１に示されるエッジ強調処理を行う（ステップＳ１３）。

そして、全処理領域の抽出が完了したかを判断し、完了していない場合はステップＳ９へ、完了した場合はステップＳ１５へ分岐する（ステップＳ１４）。

ステップＳ１４で全処理領域の抽出が完了したと判断されると、続いて公知の圧縮処理などが行われる（ステップＳ１５）。

その後、処理後の信号が出力され終了する（ステップＳ１６）。

図４６は、上記ステップＳ５４におけるノイズ量の推定に関するフローチャートである。

まず、上記ステップＳ５３で分離した４×４画素サイズの注目領域に対する周波数成分の０次成分を抽出する（ステップＳ７１）。

一方、ヘッダー情報に基づきゲイン，温度などの情報を設定する（ステップＳ７２）。このとき、もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。

次にルックアップテーブルを用いてノイズ量を求め（ステップＳ７３）、算出されたノイズ量を出力して終了する（ステップＳ７４）。

図４７は、上述したステップＳ６１のエッジ方向検出処理に関するフローチャートである。

図４４に示されるように０次成分を除く水平方向の高周波成分を絶対値化した後に積算して水平エッジ成分を求める（ステップＳ８１）。また、図４４に示されるように０次成分を除く垂直方向の高周波成分を絶対値化した後に積算して垂直エッジ成分を求める（ステップＳ８２）。

次に、４×４画素サイズの注目領域単位で、上記ステップＳ８１で求めた水平エッジ成分および上記ステップＳ８２で求めた垂直エッジ成分に基づき、上記数式１２に示されるようにエッジ方向を検出し（ステップＳ８３）、検出された方向を出力して終了する（ステップＳ８４）。

なお、上記第３の実施形態においては周波数成分への変換をＤＣＴ変換により行い、変換の処理サイズを４×４画素とする構成になっていたが、このような構成に限定される必要はない。例えば、周波数成分への変換としてはＦＦＴ（Fast Fourier Transform）やＷａｖｅｌｅｔ変換などを使用することもできる。また、処理サイズとしては２×２画素など、より小さくすることで方向検出の精度を向上することもできるし、８×８画素など、より大きくすることで全体の処理を高速化することも可能である。

また、上記第３の実施形態では撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。第１の実施形態と同様に、撮像部と分離した構成も可能である。

［第４の実施形態］
図４８から図５１は本発明の第４の実施形態を示したものであり、図４８は第４の実施形態の構成を示すブロック図、図４９、図５０はカラーフィルタに関する説明図であって、図４９はＢａｙｅｒ型原色フィルタを示す図、図５０は色差線順次型補色フィルタを示す図、図５１は第４の実施形態における信号処理のフローチャートである。

図４８は、第４の実施形態の構成を示すブロック図である。本実施形態は、図１に示す第１の実施形態におけるＣＣＤ１０２がカラーＣＣＤ１５００に置換され、ＰｒｅＷＢ部１５０１，補間部１５０２，Ｙ／Ｃ分離部１５０３，バッファ１５０４，Ｙ／Ｃ合成部１５０５が追加された構成になっている。基本構成は第１の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。

カラーＣＣＤ１５００は、増幅器１０３へ接続されている。また、カラーＣＣＤ１５００の近傍には温度センサー１２１が配置されている。バッファ１０５は、ＰｒｅＷＢ部１５０１，測光評価部１０６，合焦点検出部１０７，補間部１５０２へ接続されている。補間部１５０２は、Ｙ／Ｃ分離部１５０３，バッファ１５０４を介して抽出部１０９およびエッジ抽出部１１４へ接続されている。エッジ強調部１１６はＹ／Ｃ合成部１５０５へ、Ｙ／Ｃ合成部１５０５は信号処理部１１７へ接続されている。制御部１１９は、ＰｒｅＷＢ部１５０１，補間部１５０２，Ｙ／Ｃ分離部１５０３，Ｙ／Ｃ合成部１５０５と双方向に接続されている。

本実施形態は、基本的に第１の実施形態と同様であり、異なる部分のみ説明する。

図４８において、信号の流れを説明する。外部Ｉ／Ｆ部１２０を介してシャッターボタンを半押しにすることでプリ撮像モードに入る。

レンズ系１００，絞り１０１，カラーＣＣＤ１５００を介して撮影された信号は、増幅器１０３，Ａ／Ｄ変換器１０４を介してバッファ１０５へ転送される。なお、本実施形態においてカラーＣＣＤ１５００はＢａｙｅｒ型原色フィルタを前面に配置した単板ＣＣＤを想定する。図４９は、Ｂａｙｅｒ型の色フィルタの構成を示す。Ｂａｙｅｒ型は２×２画素を基本単位とし、赤（Ｒ），青（Ｂ）フィルタが１画素ずつ、緑（Ｇ）フィルタが２画素配置される。

バッファ１０５内の信号は、ＰｅｒＷＢ部１５０１へ転送される。

ＰｒｅＷＢ部１５０１は所定輝度レベルの信号を色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。ＰｒｅＷＢ部１５０１は、上記係数を増幅器１０３へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。

次に、外部Ｉ／Ｆ部１２０を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ１０５へ転送される。なお、ＰｒｅＷＢ部１５０１によって求められたホワイトバランス係数は制御部１１９へ転送される。バッファ１０５内の信号は補間部１５０２へ転送される。

補間部１５０２は、公知の線形補間などの手法を用いて、単板状態から三板状態の信号を生成する。三板状態の信号はＹ／Ｃ分離部１５０３へ転送され輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒに分離される。
［数２０］
Ｙ ＝ ０．２９９００Ｒ＋０．５８７００Ｇ＋０．１１４００Ｂ
Ｃｂ＝−０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５００００Ｂ
Ｃｒ＝ ０．５００００Ｒ−０．４１８６９Ｇ−０．０８１３１Ｂ
輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒはバッファ１５０４へ転送され保存される。

第１の実施形態と同様に抽出部１０９，ノイズ推定部１１０，ノイズ低減部１１１により輝度信号Ｙはノイズ低減処理がなされて輝度信号Ｙ'となる。

なお、図３に示すノイズ推定部１１０中のゲイン算出部２０１は、制御部１１９から転送されるＩＳＯ感度および露光条件に関する情報およびＰｒｅＷＢ部１５０１によって求められたホワイトバランス係数に基づき増幅器１０３におけるゲインを求める。輝度信号Ｙ'と色差信号Ｃｂ，Ｃｒはバッファ１１２へ転送され保存される。

第１の実施形態と同様にエッジ方向検出部１１３は、制御部１１９の制御に基づきバッファ１１２からノイズ低減処理後の輝度信号Ｙ'を読み込み、注目画素Ｐ'₂₂およびこれを包含する５×５画素サイズの処理領域を順次抽出する。その後、注目画素Ｐ'₂₂およびその周囲８画素のエッジ方向を検出する。エッジ方向は、「最大値を与える方向」または「等方的なエッジ方向」または「エッジ方向がない」の三通りで、第１の実施形態と同様に後段の処理が選択される。

エッジ抽出部１１４は、制御部１１９の制御に基づき上記エッジ方向検出部１１３で用いた処理領域と同一位置のノイズ低減処理前の輝度信号Ｙをバッファ１５０４から順次抽出する。その後、エッジ方向検出部１１３からのエッジ方向に基づき、注目画素Ｐ'₂₂およびその周囲８画素のエッジ成分を抽出し、エッジ補正部１１５へ転送する。

エッジ補正部１１５は、制御部１１９の制御に基づき、注目画素Ｐ'₂₂のエッジ成分Ｅ₂₂に関して、エッジ方向検出部１１３からのエッジ方向Ｄ₂₂およびエッジ抽出部１１４からの周囲８画素のエッジ成分に基づきこれを補正したエッジ成分Ｅ'₂₂を求め、エッジ強調部１１６へ転送する。

エッジ強調部１１６は、制御部１１９の制御に基づきバッファ１１２からノイズ低減処理後の輝度信号Ｙ'を読み込み、注目画素Ｐ'₂₂を順次抽出する。その後、エッジ強調部１１６は、エッジ補正部１１５からのエッジ成分Ｅ'₂₂に基づき、エッジ強調処理後の画素値Ｐ"₂₂を求め、エッジ強調処理後の輝度信号Ｙ"としてＹ／Ｃ合成部１５０５へ転送する。また、エッジ強調部１１６はバッファ１１２から色差信号Ｃｂ，Ｃｒを読み込み、これをＹ／Ｃ合成部１５０５へ転送する。

Ｙ／Ｃ合成部１５０５は、制御部１１９の制御に基づきエッジ強調部１１６からのエッジ強調処理後の輝度信号Ｙ"と色差信号Ｃｂ，Ｃｒから、数式２１に示すようにＲ，Ｇ，Ｂ信号を合成する。
［数２１］
Ｒ＝Ｙ" ＋１．４０２００Ｃｒ
Ｇ＝Ｙ"−０．３４４１４Ｃｂ−０．７１４１４Ｃｒ
Ｂ＝Ｙ"＋１．７７２００Ｃｂ
Ｒ，Ｇ，Ｂ信号は信号処理部１１２へ転送される。

信号処理部１１７は、制御部１１９の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理や色強調処理などを行い、出力部１１８へ転送する。出力部１１８は、メモリーカードなどへ信号を記録保存する。

上記構成により、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理後の輝度信号からエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。

また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。

さらに、ノイズ低減処理はノイズ推定およびノイズ低減により行われるが、ノイズ推定においては広い領域から推定を行うことで推定精度を高めるようにし、ノイズ低減においては注目画素のみを対象とするようにしたために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。

ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。

さらに、エッジ方向の検出は、複数方向または水平および垂直方向のエッジ強度を求めた後に、ノイズ量に基づく閾値との比較または微小なエッジ強度の除去を行うようにしたために、ノイズによる影響を抑制し精度の高いエッジ方向が得られる。また、エッジ方向が決定できなかった場合に後段のエッジ抽出処理を停止させるために、無駄な処理を省略でき処理速度を高速化することができる。さらに、エッジ方向が複数検出された場合に等方的なエッジ抽出処理を行うために、安定した処理結果が得られる。

また、カラー撮像素子からの信号に対応することができ、補間処理を行った後に輝度信号と色信号に分離するために、現状の撮影部および信号処理系との親和性が高く、多くの撮像システムへの適用が可能となる。

なお、上記実施形態ではカラーＣＣＤ１５００はＢａｙｅｒ型原色フィルタを前面に配置した単板ＣＣＤを想定したが、このような構成に限定される必要はない。例えば、色差線順次型補色フィルタや二板，三板ＣＣＤにも適用可能である。図５０は、色差線順次型補色フィルタの構成を示す。色差線順次型は２×２画素を基本単位とし、シアン（Ｃｙ），マゼンタ（Ｍｇ），イエロー（Ｙｅ），緑（Ｇ）が１画素ずつ配置される。ただし、ＭｇとＧの位置はラインごとに反転している。この場合、２×２画素領域を１行または１列ずつ重複させながら順次抽出し、下記の数式２２に示す輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒを領域単位に算出する構成も可能である。
［数２２］
Ｙ ＝Ｃｙ＋Ｙｅ＋Ｍｇ＋Ｇ
Ｃｂ＝（Ｃｙ＋Ｍｇ）−（Ｙｅ＋Ｇ）
Ｃｒ＝（Ｙｅ＋Ｍｇ）−（Ｃｙ＋Ｇ）

また、上記第４の実施形態では輝度信号のみにノイズ低減処理を行っていたが、このような構成に限定される必要はない。色差信号に対してもノイズ低減処理を行う構成も可能である。

さらに、上記第４の実施形態では撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。第１の実施形態と同様に、撮像部と別体となる構成も可能である。

また、上記第４の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、カラーＣＣＤ１５００からの信号を未処理のままのＲａｗデータとして、制御部１１９からの撮影時の温度，ゲイン，ホワイトバランス係数などをヘッダ情報として出力し、別途ソフトウェアによって処理する構成も可能である。

図５１は、信号処理のソフトウェア処理に関するフローチャートを示す。なお、図２６に示す第１の実施形態における信号処理の流れと同一な処理ステップに関しては、同一なステップ符号を割り当てている。

まず、信号と温度，ゲイン，ホワイトバランス係数などのヘッダ情報を読み込む（ステップＳ１）。

次に、単板状態の信号を線形補間などで三板状態にする（ステップＳ９０）。

更に、数式２０に示されるように、信号を輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒに分離する（ステップＳ９１）。

その後、図２に示されるように輝度信号から注目画素および３×３画素サイズの注目領域を抽出する（ステップＳ２）。

次に、図２７に示されるフローチャートに基づき抽出した注目領域のノイズ量を推定し、それを注目画素に対するノイズ量として算出する（ステップＳ３）。

そして、注目画素に対して数式７に示される許容範囲を設定する（ステップＳ４）。

その後、注目画素が許容範囲内に属するか否かを判断し、属する場合はステップＳ６へ、属さない場合はステップＳ７へ分岐する（ステップＳ５）。

ステップＳ５において注目画素が許容範囲内に属すると判断されると、数式８に示される処理を行う（ステップＳ６）。

一方、ステップＳ５において注目画素が許容範囲内に属さないと判断されると、数式９または数式１０に示される処理を行う（ステップＳ７）。

次に、全注目領域の抽出が完了したかを判断し、完了していない場合はステップＳ２へ、完了した場合はステップＳ９へ分岐する（ステップＳ８）。

全注目領域の抽出が完了した場合は、図１０に示されるようにノイズ低減後の輝度信号から注目画素を中心とした５×５画素サイズの処理領域を抽出する（ステップＳ９）。

ステップＳ９で抽出した処理領域の画素のうち、図１１に示される９画素に対して図１２〜図１９に示される方向別の抽出フィルタを用いてエッジ方向を検出する（ステップＳ１０）。

その後、ステップＳ１０で検出したエッジ方向に基づきノイズ低減処理前の輝度信号からエッジ成分を抽出する（ステップＳ１１）。

更に、ステップＳ１０からのエッジ方向に基づき図２３または図２４に示される近傍画素のエッジ成分により数式１３または数式１４に示される補正処理によってエッジ成分を補正する（ステップＳ１２）。

次に、ノイズ低減処理後の注目画素の信号に数式１に示されるエッジ強調処理を行う（ステップＳ１３）。

その後、全処理領域の抽出が完了したかを判断し、完了していない場合はステップＳ９へ、完了した場合はステップＳ９２へ分岐する（ステップＳ１４）。

ステップＳ１４で全処理領域の抽出が完了したと判断されると、数式２１に示されるようにＲ，Ｇ，Ｂ信号を合成する（ステップＳ９２）。

次に合成された信号に対して、公知の圧縮処理や色強調処理などが行われる（ステップＳ１５）。

そして、処理後の信号が出力され終了する（ステップＳ１６）。

［第５の実施形態］
図５２から図７２は本発明の第５の実施形態を示したものであり、図５２は第５の実施形態の構成を示すブロック図、図５３〜図５６はＹ／Ｃ分離に関する説明図であって、図５３はＢａｙｅｒ型原色フィルタを示す図、図５４は輝度信号を示す図、図５５はＲ（赤）の色差信号を示す図、図５６はＢ（青）の色差信号を示す図、図５７はエッジ方向抽出部の０°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図、図５８はエッジ方向抽出部の０°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図、図５９はエッジ方向抽出部の４５°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図、図６０はエッジ方向抽出部の４５°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図、図６１はエッジ方向抽出部の９０°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図、図６２はエッジ方向抽出部の９０°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図、図６３はエッジ方向抽出部の１３５°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図、図６４はエッジ方向抽出部の１３５°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図、図６５はエッジ方向抽出部の１８０°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図、図６６はエッジ方向抽出部の１８０°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図、図６７はエッジ方向抽出部の２２５°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図、図６８はエッジ方向抽出部の２２５°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図、図６９はエッジ方向抽出部の２７０°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図、図７０はエッジ方向抽出部の２７０°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図、図７１はエッジ方向抽出部の３１５°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図、図７２はエッジ方向抽出部の３１５°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図である。

図５２は、本発明の第５の実施形態の構成を示すブロック図である。本実施形態は、図１に示す第１の実施形態におけるＣＣＤ１０２がカラーＣＣＤ１６００に置換され、ＰｒｅＷＢ部１６０１，Ｙ／Ｃ分離部１６０２，バッファ１６０３，補間部１６０４，Ｙ／Ｃ合成部１６０５が追加された構成になっている。基本構成は第１の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。

カラーＣＣＤ１６００は、増幅器１０３へ接続されている。また、カラーＣＣＤ１６００の近傍には温度センサー１２１が配置されている。バッファ１０５は、ＰｒｅＷＢ部１６０１，測光評価部１０６，合焦点検出部１０７，Ｙ／Ｃ分離部１６０２へ接続されている。Ｙ／Ｃ分離部１６０２は、バッファ１６０３を介して抽出部１０９およびエッジ抽出部１１４へ接続されている。バッファ１１２は、補間部１６０４を介してエッジ方向検出部１１３およびエッジ強調部１１６へ接続されている。エッジ強調部１１６はＹ／Ｃ合成部１６０５へ、Ｙ／Ｃ合成部１６０５は信号処理部１１７へ接続されている。制御部１１９は、ＰｒｅＷＢ部１６０１，Ｙ／Ｃ分離部１６０２，補間部１６０４，Ｙ／Ｃ合成部１６０５と双方向に接続されている。

本実施形態は、基本的に第１の実施形態と同様であり、異なる部分のみ説明する。

図５２において、信号の流れを説明する。まず外部Ｉ／Ｆ部１２０を介してシャッターボタンを半押しにすることでプリ撮像モードに入る。

レンズ系１００，絞り１０１，カラーＣＣＤ１６００を介して撮影された信号は、増幅器１０３，Ａ／Ｄ変換器１０４を介してバッファ１０５へ転送される。なお、本実施形態においてカラーＣＣＤ１６００は図５３に示すＢａｙｅｒ型原色フィルタを前面に配置した単板ＣＣＤを想定する。

ＰｒｅＷＢ部１６０１では所定輝度レベルの信号を色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。上記係数を増幅器１０３へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。

次に、外部Ｉ／Ｆ部１２０を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ１０５へ転送される。

なお、ＰｒｅＷＢ部１６０１によって求められたホワイトバランス係数は制御部１１９へ転送される。バッファ１０５内の信号はＹ／Ｃ分離部１６０２へ転送される。

Ｙ／Ｃ分離部１６０２は、図５４、図５５、図５６に示すように、輝度信号ＹとしてＧ信号を、色差信号ＣｂとしてＢ信号を、色差信号ＣｒとしてＲ信号を想定する。
［数２３］
Ｙ ＝Ｇ
Ｃｂ＝Ｂ
Ｃｒ＝Ｒ
上記輝度信号および色差信号は補間処理前の単板状態にあり、バッファ１６０３へ転送される。

その後、第１の実施形態と同様に抽出部１０９，ノイズ推定部１１０，ノイズ低減部１１１により輝度信号Ｙはノイズ低減処理がなされて輝度信号Ｙ'となる。

なお、図３に示すノイズ推定部１１０中のゲイン算出部２０１は、制御部１１９から転送されるＩＳＯ感度および露光条件に関する情報およびＰｒｅＷＢ部１６０１によって求められたホワイトバランス係数に基づき増幅器１０３におけるゲインを求める。また、３×３画素サイズの注目領域中に輝度信号Ｙ、すなわちＧ信号は５画素または４画素しか存在しないために、平均値の算出は上記５画素または４画素を用いて行われる。

ノイズ低減後の輝度信号Ｙ'と色差信号Ｃｂ，Ｃｒはバッファ１１２へ転送され保存される。

補間部１６０４は、バッファ１１２から輝度信号Ｙ'と色差信号Ｃｂ，Ｃｒを読み込み、公知の線形補間などの手法を用いて単板状態から三板状態の信号を生成する。

三板状態の信号はエッジ方向検出部１１３およびエッジ強調部１１６へ転送される。

第１の実施形態と同様にエッジ方向検出部１１３は、制御部１１９の制御に基づき補間部１６０４からノイズ低減処理後の輝度信号Ｙ'を読み込み、注目画素Ｐ'₂₂およびこれを包含する５×５画素サイズの処理領域を順次抽出する。その後、注目画素Ｐ'₂₂およびその周囲８画素のエッジ方向を検出する。エッジ方向は、「最大値を与える方向」または「等方的なエッジ方向」または「エッジ方向がない」の三通りで、第１の実施形態と同様に後段の処理が選択される。

エッジ抽出部１１４は、制御部１１９の制御に基づき上記エッジ方向検出部１１３で用いた処理領域と同一位置のノイズ低減処理前の単板状態の輝度信号Ｙをバッファ１６０３から順次抽出する。その後、エッジ方向検出部１１３からのエッジ方向に基づき、注目画素Ｐ'₂₂およびその周囲８画素のエッジ成分を抽出し、エッジ補正部１１５へ転送する。なお、エッジ抽出フィルタは図５７〜図７２に示されるように、単板状態の輝度信号Ｙに適用できる形態を使用する。

エッジ補正部１１５は、制御部１１９の制御に基づき、注目画素Ｐ'₂₂のエッジ成分Ｅ₂₂に関して、エッジ方向検出部１１３からのエッジ方向Ｄ₂₂およびエッジ抽出部１１４からの周囲８画素のエッジ成分に基づきこれを補正したエッジ成分Ｅ'₂₂を求め、エッジ強調部１１６へ転送する。

エッジ強調部１１６は、制御部１１９の制御に基づき補間部１６０４からノイズ低減処理後の輝度信号Ｙ'を読み込み、注目画素Ｐ'₂₂を順次抽出する。その後、エッジ補正部１１５からのエッジ成分Ｅ'₂₂に基づき、エッジ強調処理後の画素値Ｐ"₂₂を求め、エッジ強調処理後の輝度信号Ｙ"としてＹ／Ｃ合成部１６０５へ転送する。また、エッジ強調部１１６は補間部１６０４から色差信号Ｃｂ，Ｃｒを読み込み、これをＹ／Ｃ合成部１６０５へ転送する。

Ｙ／Ｃ合成部１６０５は、制御部１１９の制御に基づきエッジ強調部１１６からのエッジ強調処理後の輝度信号Ｙ"と色差信号Ｃｂ，ＣｒからＲ，Ｇ，Ｂ信号を求める。
［数２４］
Ｒ＝Ｃｒ
Ｇ＝Ｙ"
Ｂ＝Ｃｂ
Ｒ，Ｇ，Ｂ信号は信号処理部１１７へ転送される。

信号処理部１１７は、制御部１１９の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理や色強調処理などを行い、出力部１１８へ転送する。

出力部１１８は、メモリーカードなどへ信号を記録保存する。

上記構成により、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理後の輝度信号からエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。この場合に、エッジ成分の抽出を補間前の信号から行うために、より高精細なエッジ成分の抽出が可能となる。

また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。

さらに、ノイズ低減処理はノイズ推定およびノイズ低減により行われるが、ノイズ推定においては広い領域から推定を行うことで推定精度を高めるようにし、ノイズ低減においては注目画素のみを対象とするようにしたために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。

ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。

さらに、エッジ方向の検出は、複数方向または水平および垂直方向のエッジ強度を求めた後に、ノイズ量に基づく閾値との比較または微小なエッジ強度の除去を行うようにしたために、ノイズによる影響を抑制し精度の高いエッジ方向が得られる。また、エッジ方向が決定できなかった場合に後段のエッジ抽出処理を停止させるために、無駄な処理を省略でき処理速度を高速化することができる。さらに、エッジ方向が複数検出された場合に等方的なエッジ抽出処理を行うために、安定した処理結果が得られる。

また、カラー撮像素子からの信号に対応することができ、現状の撮影部との親和性が高く、多くの撮像システムへの適用が可能となる。

なお、上記実施形態では撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。第１の実施形態と同様に、撮像部と分離した構成も可能である。

さらに、上記第５の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。第１の実施形態と同様に、ソフトウェアによって処理する構成も可能である。

［第６の実施形態］
図７３は本発明の第６の実施形態を示したものであり、第６の実施形態の構成を示したブロック図である。本実施形態は、図２８に示す第２の実施形態におけるＣＣＤ１０２がカラーＣＣＤ１７００に置換され、ＰｒｅＷＢ部１７０１，補間部１７０２，Ｙ／Ｃ分離部１７０３，バッファ１７０４，Ｙ／Ｃ合成部１７０５が追加された構成になっている。基本構成は第２の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。

カラーＣＣＤ１７００は、増幅器１０３へ接続されている。また、カラーＣＣＤ１７００の近傍には温度センサー１２１が配置されている。バッファ１０５は、ＰｒｅＷＢ部１７０１，測光評価部１０６，合焦点検出部１０７，補間部１７０２へ接続されている。補間部１７０２は、Ｙ／Ｃ分離部１７０３，バッファ１７０４を介して抽出部７００およびエッジ抽出部１１４へ接続されている。エッジ強調部１１６はＹ／Ｃ合成部１７０５へ、Ｙ／Ｃ合成部１７０５は信号処理部１１７へ接続されている。制御部１１９は、ＰｒｅＷＢ部１７０１，補間部１７０２，Ｙ／Ｃ分離部１７０３，Ｙ／Ｃ合成部１７０５と双方向に接続されている。

本実施形態は、基本的に第２の実施形態と同様であり、異なる部分のみ説明する。

図７３において、信号の流れを説明する。外部Ｉ／Ｆ部１２０を介してシャッターボタンを半押しにすることでプリ撮像モードに入る。

レンズ系１００，絞り１０１，カラーＣＣＤ１７００を介して撮影された信号は、増幅器１０３，Ａ／Ｄ変換器１０４を介してバッファ１０５へ転送される。なお、本実施形態においてカラーＣＣＤ１７００はＢａｙｅｒ型原色フィルタを前面に配置した単板ＣＣＤを想定する。

バッファ１０５内の信号は、ＰｒｅＷＢ部１７０１へ転送される。

ＰｒｅＷＢ部１７０１では所定輝度レベルの信号を色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。そして上記係数を増幅器１０３へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。

次に、外部Ｉ／Ｆ部１２０を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ１０５へ転送される。

なお、ＰｒｅＷＢ部１７０１によって求められたホワイトバランス係数は制御部１１９へ転送される。バッファ１０５内の信号は補間部１７０２へ転送される。

補間部１７０２は、公知の線形補間などの手法を用いて、単板状態から三板状態の信号を生成する。三板状態の信号はＹ／Ｃ分離部１７０３へ転送され、数式２０に示されるように輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒに分離される。輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒはバッファ１７０４へ転送され保存される。

第２の実施形態と同様に抽出部７００，ノイズ推定部７０１，ノイズ低減部１１１により輝度信号Ｙはノイズ低減処理がなされて輝度信号Ｙ'となる。輝度信号Ｙ'と色差信号Ｃｂ，Ｃｒはバッファ１１２へ転送され保存される。

エッジ方向検出部７０２は、ノイズ推定部７０１からの注目画素および類似画素の情報に基づき、注目画素Ｐ'₂₂に対するエッジ方向Ｄ₂₂を検出する。上記エッジ方向は、バッファ７０３へ転送される。バッファ１１２にはノイズ低減処理後の全信号が、バッファ７０３にはエッジ方向が記録されることになる。

エッジ抽出部１１４は、バッファ１７０４からノイズ低減処理前の輝度信号Ｙを読み込み、注目画素Ｐ₂₂およびその周囲８画素を抽出する。その後、バッファ７０３からのエッジ方向に基づき、注目画素Ｐ'₂₂およびその周囲８画素のエッジ成分を抽出し、エッジ補正部１１５へ転送する。

エッジ補正部１１５は、制御部１１９の制御に基づき、注目画素Ｐ'₂₂のエッジ成分Ｅ₂₂に関して、バッファ７０３からのエッジ方向Ｄ₂₂およびエッジ抽出部１１４からの周囲８画素のエッジ成分に基づきこれを補正したエッジ成分Ｅ'₂₂を求め、エッジ強調部１１６へ転送する。

エッジ強調部１１６は、制御部１１９の制御に基づきバッファ１１２からノイズ低減処理後の輝度信号Ｙ'を読み込み、注目画素Ｐ'₂₂を順次抽出する。その後、エッジ補正部１１５からのエッジ成分Ｅ'₂₂に基づき、エッジ強調処理後の画素値Ｐ"₂₂を求め、エッジ強調処理後の輝度信号Ｙ"としてＹ／Ｃ合成部１７０５へ転送する。また、エッジ強調部１１６はバッファ１１２から色差信号Ｃｂ，Ｃｒを読み込み、これをＹ／Ｃ合成部１７０５へ転送する。

Ｙ／Ｃ合成部１７０５は、制御部１１９の制御に基づきエッジ強調部１１６からのエッジ強調処理後の輝度信号Ｙ"と色差信号Ｃｂ，Ｃｒから数式２１に示されるようにＲ，Ｇ，Ｂ信号を合成する。Ｒ，Ｇ，Ｂ信号は信号処理部１１７へ転送される。

信号処理部１１７は、制御部１１９の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理や色強調処理などを行い、出力部１１８へ転送する。出力部１１８は、メモリーカードなどへ信号を記録保存する。

上記構成により、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理の過程で得られた輝度信号からエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。

ノイズ低減処理の過程で得られた情報からエッジの方向を検出するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。

さらに、ノイズ低減処理では注目画素から概略的な第１のノイズ量を推定し、第１のノイズ量から類似画素を抽出し、注目画素および類似画素からより精度の高い第２のノイズ量を推定し、第２のノイズ量に基づきノイズ低減処理を行うために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。

また、カラー撮像素子からの信号に対応することができ、補間処理を行った後に輝度信号と色信号に分離するために、現状の撮影部および信号処理系との親和性が高く、多くの撮像システムへの適用が可能となる。

なお、上記実施形態では撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。第１の実施形態と同様に、撮像部と分離した構成も可能である。

さらに、上記第６の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。第２の実施形態と同様に、ソフトウェアによって処理する構成も可能である。

［付記］
（１）上記目的を達成するために、第１の発明による撮影システムは、撮像素子からの信号を処理する撮像システムにおいて、撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手段と、上記ノイズ低減処理がなされた信号からエッジ方向を検出するエッジ方向検出手段と、上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出するエッジ抽出手段とを有することを特徴とする。

この発明の適用例は、図１〜図２７に示される第１の実施形態に記載されている。上記構成のノイズ処理手段は図１，図３，図７，図２５に示される抽出部１０９，ノイズ推定部１１０，ノイズ低減部１１１が、エッジ方向検出手段は図１，図８，図９，図２５に示されるエッジ方向検出部１１３が、エッジ抽出手段は図１，図２５に示されるエッジ抽出部１１４がそれぞれ該当する。

この発明の好ましい適用例は、抽出部１０９，ノイズ推定部１１０，ノイズ低減部１１１によってノイズ低減処理を行い、エッジ方向検出部１１３によってノイズ低減処理後の信号からエッジ方向を検出し、エッジ抽出部１１４によって上記エッジ方向に基づきノイズ低減前の原信号からエッジ成分を抽出する撮像システムである。

第１の発明による撮像システムは、ノイズ低減処理後の信号からエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。

（２）また、第２の発明による撮影システムは、撮像素子からの信号を処理する撮像システムにおいて、上記撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手段と、上記ノイズ低減手段からの情報に基づきエッジ方向を検出するエッジ方向検出手段と、上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出するエッジ抽出手段とを有することを特徴とする。

この発明の適用例は、図２８〜図３７に示される第２の実施形態および図３８〜図４７に示される第３の実施形態に記載されている。上記構成のノイズ処理手段は図２８，図３１，図３２に示される抽出部７００，ノイズ推定部７０１，ノイズ低減部１１１および図３８，図４１，図４２に示される抽出部１０９，ＤＣＴ変換部１１００，ノイズ推定部１１０１，ノイズ低減部１１０２，逆ＤＣＴ変換部１１０３が、エッジ方向検出手段は図２８，図３３に示されるエッジ方向検出部７０２および図３８，図４３に示されるエッジ方向検出部１１０４が、エッジ抽出手段は図２８，図３８に示されるエッジ抽出部１１４がそれぞれ該当する。

この発明の好ましい適用例は、抽出部７００，ノイズ推定部７０１，ノイズ低減部１１１または抽出部１０９，ＤＣＴ変換部１１００，ノイズ推定部１１０１，ノイズ低減部１１０２，逆ＤＣＴ変換部１１０３によってノイズ低減処理を行い、エッジ方向検出部７０２またはエッジ方向検出部１１０４によってノイズ低減処理の過程で得られた情報に基づきエッジ方向を検出し、エッジ抽出部１１４によって上記エッジ方向に基づきノイズ低減前の原信号からエッジ成分を抽出する撮像システムである。

第２の発明による撮像システムは、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。さらに、ノイズ低減処理の過程で得られた情報からエッジの方向を検出するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。

（３）また、第３の発明による撮像システムは、カラー撮像素子からの信号を処理する撮像システムにおいて、上記カラー撮像素子からの信号に対して輝度信号および色信号を分離するＹ／Ｃ分離手段と、上記Ｙ／Ｃ分離手段により分離された輝度信号に対してノイズ低減処理を行うノイズ処理手段と、上記ノイズ低減処理がなされた輝度信号からエッジ方向を検出するエッジ方向検出手段と、上記エッジ方向に基づき上記Ｙ／Ｃ分離手段により分離された輝度信号に対してエッジ成分を抽出するエッジ抽出手段とを有することを特徴とする。

この発明の適用例は、図４８〜図５１に示される第４の実施形態および図５２〜図７２に示される第５の実施形態に記載されている。前記構成のＹ／Ｃ分離手段は図４８に示されるＹ／Ｃ分離部１５０３および図５２に示されるＹ／Ｃ分離部１６０２が、ノイズ処理手段は図４８，図５２に示される抽出部１０９，ノイズ推定部１１０，ノイズ低減部１１１が、エッジ方向検出手段は図４８，図５２に示されるエッジ方向検出部１１３が、エッジ抽出手段は図４８，図５２に示されるエッジ抽出部１１４がそれぞれ該当する。

この発明の好ましい適用例は、Ｙ／Ｃ分離部１５０３またはＹ／Ｃ分離部１６０２によって信号を輝度信号と色信号に分離し、抽出部１０９，ノイズ推定部１１０，ノイズ低減部１１１によって輝度信号にノイズ低減処理を行い、エッジ方向検出部１１３によってノイズ低減処理後の輝度信号からエッジ方向を検出し、エッジ抽出部１１４によって上記エッジ方向に基づきノイズ低減前の輝度信号からエッジ成分を抽出する撮像システムである。

第３の発明による撮像システムは、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理後の輝度信号からエッジの概略的な方向を検出し、この方向に基づきノイズ低減処理前の輝度信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。また、カラー撮像素子からの信号に対応するために、多様な撮像系に利用することができる。

（４）また、第４の発明による撮像システムは、カラー撮像素子からの信号を処理する撮像システムにおいて、上記カラー撮像素子からの信号に対して輝度信号および色信号を分離するＹ／Ｃ分離手段と、上記Ｙ／Ｃ分離手段により分離された輝度信号に対してノイズ低減処理を行うノイズ処理手段と、上記ノイズ低減手段からの情報に基づきエッジ方向を検出するエッジ方向検出手段と、上記エッジ方向に基づき上記Ｙ／Ｃ分離手段により分離された輝度信号に対してエッジ成分を抽出するエッジ抽出手段とを有することを特徴とする。

この発明の適用例は、図７３に示される第６の実施形態に記載されている。上記構成のＹ／Ｃ分離手段は図７３に示されるＹ／Ｃ分離部１７０３が、ノイズ処理手段は図７３に示される抽出部７００，ノイズ推定部７０１，ノイズ低減部１１１が、エッジ方向検出手段は図７３に示されるエッジ方向検出部７０２が、エッジ抽出手段は図７３に示されるエッジ抽出部１１４がそれぞれ該当する。

この発明の好ましい適用例は、Ｙ／Ｃ分離部１７０３によって信号を輝度信号と色信号に分離し、抽出部７００，ノイズ推定部７０１，ノイズ低減部１１１によって輝度信号にノイズ低減処理を行い、エッジ方向検出部７０２によってノイズ低減処理の過程で得られた情報に基づきエッジ方向を検出し、エッジ抽出部１１４によって上記エッジ方向に基づきノイズ低減前の輝度信号からエッジ成分を抽出する撮像システムである。

第４の発明による撮像システムは、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づきノイズ低減処理前の輝度信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。また、カラー撮像素子からの信号に対応するために、多様な撮像系に利用することができる。さらにノイズ低減処理の過程で得られた情報からエッジの方向を検出するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。

（５）また、第５の発明による画像処理プログラムは、撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手順と、上記ノイズ低減処理がなされた信号からエッジ方向を検出するエッジ方向検出手順と、上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出する手順と、をコンピュータに実行させるためのプログラムであることを特徴とする。

この発明の適用例は、図２６、図２７に示される第１の実施形態に記載されている。前記構成のノイズ処理手順は図２６、図２７に示されるステップＳ２からステップＳ７までの手順が、エッジ方向検出手順は図２６に示されるステップＳ１０の手順が、エッジ抽出手順は図２６に示されるステップＳ１１の手順がそれぞれ該当する。

第５の発明による画像処理プログラムは、ノイズ低減処理後の信号からエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。

（６）また、第６の発明による画像処理プログラムは、撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手順と、上記ノイズ処理手順からの情報に基づきエッジ方向を検出するエッジ方向検出手順と、上記検出されたエッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出する手順と、をコンピュータに実行させるためのプログラムであることを特徴とする。

この発明の適用例は、図３６、図３７に示される第２の実施形態および図４５、図４６、図４７に示される第３の実施形態に記載されている。前記構成のノイズ処理手順は図３６、図３７に示されるステップＳ２からステップＳ７までの手順および図４５、図４６に示されるステップＳ５１からステップＳ５６までの手順が、エッジ方向検出手順は図３６に示されるステップＳ１０の手順および図４５、図４７に示されるステップＳ５７が、エッジ抽出手順は図３６に示されるステップＳ３３の手順および図４５に示されるステップＳ１１がそれぞれ該当する。

第６の発明による画像処理プログラムは、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。

（７）また、第７の発明による画像処理プログラムは、カラー撮像素子からの信号に対して輝度信号および色信号を分離するＹ／Ｃ分離手順と、上記Ｙ／Ｃ分離手順により分離された輝度信号に対してノイズ低減処理を行うノイズ処理手順と、上記ノイズ低減処理がなされた輝度信号からエッジ方向を検出するエッジ方向検出手順と、上記検出されたエッジ方向に基づき上記Ｙ／Ｃ分離手順により分離された輝度信号に対してエッジ成分を抽出する手順とをコンピュータに実行させるためのプログラムであることを特徴とする。

この発明の適用例は、図５１に示される第４の実施形態に記載されている。上記構成のＹ／Ｃ分離手順は図５１に示されるステップＳ９１が、ノイズ処理手順は図５１に示されるステップＳ２からステップＳ７までの手順が、エッジ方向検出手順は図５１に示されるステップＳ１０の手順が、エッジ抽出手順は図５１に示されるステップＳ１１の手順がそれぞれ該当する。

第７の発明による画像処理プログラムは、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理後の輝度信号からエッジの概略的な方向を検出し、この方向に基づきノイズ低減処理前の輝度信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。また、カラー撮像素子からの信号に対応するために、多様な撮像系に利用することができる。

（８）また、第８の発明による画像処理プログラムは、カラー撮像素子からの信号に対して輝度信号および色信号を分離するＹ／Ｃ分離手順と、上記Ｙ／Ｃ分離手順により分離された輝度信号に対してノイズ低減処理を行うノイズ処理手順と、上記ノイズ処理手順からの情報に基づきエッジ方向を検出するエッジ方向検出手順と、上記検出されたエッジ方向に基づき上記Ｙ／Ｃ分離手順により分離された輝度信号に対してエッジ成分を抽出する手順とをコンピュータに実行させるためのプログラムであることを特徴とする。

この発明の適用例は、図３６、図３７に示される第２の実施形態を、カラー撮像素子からの信号を処理する手順を実行させるための画像処理プログラムに適用させたものが対応する。前記構成のノイズ処理手順は図３６、図３７に示されるステップＳ２からステップＳ７までの手順が、エッジ方向検出手順は図３６に示されるステップＳ１０の手順が、エッジ抽出手順は図３６に示されるステップＳ３３の手順がそれぞれ該当する。

第８の発明による画像処理プログラムは、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づきノイズ低減処理前の輝度信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。また、カラー撮像素子からの信号に対応するために、多様な撮像系に利用することができる。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本出願は、２００５年１２月２８日に日本国に出願された特願２００５−３８０３４６号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

第１の実施形態の構成を示すブロック図。 注目画素および注目領域に関する説明図。 ノイズ推定部の構成を示すブロック図。 ノイズ量の推定に関する説明図であって、信号レベルに対する輝度ノイズ量の関係を示す図。 ノイズ量の推定に関する説明図であって、ノイズモデルの簡略化を示す図。 ノイズ量の推定に関する説明図であって、簡略化されたノイズモデルからの輝度ノイズ量の算出法を示す図。 ノイズ低減部の構成を示すブロック図。 エッジ方向検出部の構成を示すブロック図。 エッジ方向検出部の別形態の構成を示すブロック図。 エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、注目画素およびその処理領域を示す図。 エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、エッジ抽出される画素位置を示す図。 エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、０°のエッジ抽出フィルタを示す図。 エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、４５°のエッジ抽出フィルタを示す図。 エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、９０°のエッジ抽出フィルタを示す図。 エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、１３５°のエッジ抽出フィルタを示す図。 エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、１８０°のエッジ抽出フィルタを示す図。 エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、２２５°のエッジ抽出フィルタを示す図。 エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、２７０°のエッジ抽出フィルタを示す図。 エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、３１５°のエッジ抽出フィルタを示す図。 エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、等方性エッジ抽出フィルタを示す図。 エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、水平エッジ抽出フィルタの説明図。 エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、垂直エッジ抽出フィルタの説明図。 エッジ補正部のエッジ補正に関する説明図であって、８方向のエッジ整形による説明図。 エッジ補正部のエッジ補正に関する説明図であって、４方向のエッジ整形による説明図。 第１の実施形態の別形態の構成を示すブロック図。 第１の実施形態における信号処理の流れを示すフローチャートであって、全体処理のフローチャート。 第１の実施形態における信号処理の流れを示すフローチャートであって、ノイズ推定処理のフローチャート。 第２の実施形態の構成を示すブロック図。 注目画素および注目領域に関する説明図であって、注目画素およびその近傍領域を示す図。 注目画素および注目領域に関する説明図であって、注目画素および抽出された類似画素を示す図。 抽出部の構成を示すブロック図。 ノイズ推定部の構成を示すブロック図。 エッジ方向検出部の構成を示すブロック図。 エッジ方向検出部のエッジ抽出フィルタに関する説明図であって、水平エッジ抽出フィルタを示す図。 エッジ方向検出部のエッジ抽出フィルタに関する説明図であって、垂直エッジ抽出フィルタを示す図。 第２の実施形態における信号処理の流れを示すフローチャートであって、全体処理のフローチャート。 第２の実施形態における信号処理の流れを示すフローチャートであって、ノイズ推定処理のフローチャート。 第３の実施形態の構成を示すブロック図。 ＤＣＴ（Discrete Cosine Transform）変換に関する説明図であって、実空間を示す図。 ＤＣＴ（Discrete Cosine Transform）変換に関する説明図であって、周波数空間を示す図。 ノイズ推定部の構成を示すブロック図。 ノイズ低減部の構成を示すブロック図。 エッジ方向検出部の構成を示すブロック図。 エッジ方向検出部で用いる水平，垂直方向の周波数成分に関する説明図。 第３の実施形態における信号処理の流れを示すフローチャートであって、全体処理のフローチャート。 第３の実施形態における信号処理の流れを示すフローチャートであって、ノイズ推定処理のフローチャート。 第３の実施形態における信号処理の流れを示すフローチャートであって、エッジ方向検出処理のフローチャート。 第４の実施形態の構成を示すブロック図。 カラーフィルタに関する説明図であって、Ｂａｙｅｒ型原色フィルタを示す図。 カラーフィルタに関する説明図であって、色差線順次型補色フィルタを示す図。 第４の実施形態における信号処理の流れを示したフローチャート。 第５の実施形態の構成を示すブロック図。 Ｙ／Ｃ分離に関する説明図であって、Ｂａｙｅｒ型原色フィルタを示す図。 Ｙ／Ｃ分離に関する説明図であって、輝度信号を示す図。 Ｙ／Ｃ分離に関する説明図であって、Ｒ（赤）の色差信号を示す図。 Ｙ／Ｃ分離に関する説明図であって、Ｂ（青）の色差信号を示す図。 エッジ方向抽出部の０°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図。 エッジ方向抽出部の０°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図。 エッジ方向抽出部の４５°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図。 エッジ方向抽出部の４５°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図。 エッジ方向抽出部の９０°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図。 エッジ方向抽出部の９０°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図。 エッジ方向抽出部の１３５°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図。 エッジ方向抽出部の１３５°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図。 エッジ方向抽出部の１８０°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図。 エッジ方向抽出部の１８０°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図。 エッジ方向抽出部の２２５°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図。 エッジ方向抽出部の２２５°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図。 エッジ方向抽出部の２７０°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図。 エッジ方向抽出部の２７０°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図。 エッジ方向抽出部の３１５°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図。 エッジ方向抽出部の３１５°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図。 第６の実施形態の構成を示すブロック図。

符号の説明

１００…レンズ系
１０１…絞り
１０２…ＣＣＤ（撮像素子）
１０３…増幅器
１０４…Ａ／Ｄ変換器（Ａ／Ｄ）
１０５，１１２…画像バッファ（バッファ）
１０９，７００…抽出部
１１０，７０１，１１０１…ノイズ推定部
１１１，１１０２…ノイズ低減部
１１３，７０２，１１０４…エッジ方向検出部
１１４…エッジ抽出部
１１５…エッジ補正部
１１６…エッジ強調部
１１７…信号処理部
１１８…出力部
１１９…制御部
１２０…外部Ｉ／Ｆ部
１２１…温度センサー
２００，１３０１…平均算出部
２０１…ゲイン算出部
２０２…標準値付与部
２０３…パラメータ用ＲＯＭ
２０４…パラメータ選択部
２０５，１５０２，１７０２…補間部
２０６…補正部
３００…範囲設定部
３０２…第１スムージング部
３０３…第２スムージング部
４００…閾値設定部
４０２…フィルタ処理部
４０３…フィルタＲＯＭ
４０５…エッジ選択部
４０６…方向決定部
５００…変動除去部
６００…入力部
６０１…ヘッダ情報解析部
８００…許容範囲設定部
８０１…近傍抽出部
８０２…類似性調査部
９００，１２０１…ノイズＬＵＴ
１０００…水平フィルタ処理部
１００１…垂直フィルタ処理部
１００２…方向決定部
１１００…ＤＣＴ変換部
１１０３…逆ＤＣＴ変換部
１２００…０次成分抽出部
１３００…周波数分離部
１４００…水平高周波積算部
１４０１…垂直高周波積算部
１５００，１６００，１７００…カラーＣＣＤ
１５０１，１６０１，１７０１…ＰｒｅＷＢ部
１５０３，１６０２，１７０３…Ｙ／Ｃ分離部
１５０５，１６０５，１７０５…Ｙ／Ｃ合成部

Claims (31)

1. 撮像素子からの信号を処理する撮像システムであって、
   上記撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手段と、
   上記ノイズ低減処理の結果に基づいてエッジ方向を検出するエッジ方向検出手段と、
   上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出するエッジ抽出手段と、
   を有し、
   上記ノイズ低減処理の結果は、上記ノイズ低減処理がなされた上記信号であることを特徴とする撮像システム。
2. 上記撮像素子はカラー撮像素子であって、
   当該撮像システムは、さらに、上記カラー撮像素子からの信号に対して輝度信号および色信号を分離するＹ／Ｃ分離手段を有し、
   上記ノイズ処理手段は、上記Ｙ／Ｃ分離手段により分離された上記輝度信号に対してノイズ低減処理を行うものであり、
   上記エッジ方向検出手段は、上記ノイズ低減処理の結果に基づいてエッジ方向を検出するものであり、
   上記エッジ抽出手段は、上記エッジ方向に基づき上記Ｙ／Ｃ分離手段により分離された上記輝度信号に対してエッジ成分を抽出するものであることを特徴とする請求項１に記載の撮像システム。
3. 上記ノイズ低減処理の結果は、上記ノイズ低減処理がなされた上記輝度信号であることを特徴とする請求項２に記載の撮像システム。
4. 上記ノイズ低減処理の結果は、上記ノイズ処理手段からの情報であることを特徴とする請求項１または請求項２に記載の撮像システム。
5. 上記抽出されたエッジ成分に基づき、上記ノイズ低減処理がなされた上記信号に対してエッジ強調を行うエッジ強調手段を更に有することを特徴とする請求項１に記載の撮像システム。
6. 上記抽出されたエッジ成分に基づき、上記ノイズ低減処理がなされた上記輝度信号に対してエッジ強調を行うエッジ強調手段を更に有することを特徴とする請求項２に記載の撮像システム。
7. 上記エッジ強調手段は、
   上記検出されたエッジ方向に基づき上記エッジ成分を補正する補正手段を有することを特徴とする請求項６または請求項７に記載の撮像システム。
8. 上記ノイズ処理手段は、
   上記撮像素子からの信号からノイズ低減処理を行う注目画素を含む所定サイズの注目領域を抽出する領域抽出手段と、
   上記注目領域からノイズ量を推定するノイズ推定手段と、
   上記ノイズ量に基づき上記注目画素に平滑化を行うノイズ低減手段と、
   を有することを特徴とする請求項１に記載の撮像システム。
9. 上記ノイズ処理手段は、
   上記Ｙ／Ｃ分離手段により分離された上記輝度信号からノイズ低減処理を行う注目画素を含む所定サイズの注目領域を抽出する領域抽出手段と、
   上記注目領域からノイズ量を推定するノイズ推定手段と、
   上記ノイズ量に基づき上記注目画素に平滑化を行うノイズ低減手段と、
   を有することを特徴とする請求項２に記載の撮像システム。
10. 上記ノイズ処理手段は、
    上記撮像素子からの信号からノイズ低減処理を行う注目画素を抽出する画素抽出手段と、
    上記注目画素から第１のノイズ量を推定する第１のノイズ推定手段と、
    上記注目画素および上記第１のノイズ量に基づき上記注目画素近傍から上記注目画素と類似する類似画素を抽出する類似画素抽出手段と、
    上記注目画素および上記類似画素から第２のノイズ量を推定する第２のノイズ推定手段と、
    上記第２のノイズ量に基づき上記注目画素に平滑化を行うノイズ低減手段と、
    を有することを特徴とする請求項１に記載の撮像システム。
11. 上記ノイズ処理手段は、
    上記Ｙ／Ｃ分離手段により分離された上記輝度信号からノイズ低減処理を行う注目画素を抽出する画素抽出手段と、
    上記注目画素から第１のノイズ量を推定する第１のノイズ推定手段と、
    上記注目画素および上記第１のノイズ量に基づき上記注目画素近傍から上記注目画素と類似する類似画素を抽出する類似画素抽出手段と、
    上記注目画素および上記類似画素から第２のノイズ量を推定する第２のノイズ推定手段と、
    上記第２のノイズ量に基づき上記注目画素に平滑化を行うノイズ低減手段と、
    を有することを特徴とする請求項２に記載の撮像システム。
12. 上記ノイズ処理手段は、
    上記撮像素子からの信号から所定サイズのブロック領域を抽出するブロック抽出手段と、
    上記ブロック領域を周波数空間に変換する変換手段と、
    上記周波数空間における０次成分に基づき０次成分以外の周波数成分に関するノイズ量を推定するノイズ推定手段と、
    上記ノイズ量に基づき上記０次成分以外の周波数成分に平滑化を行うノイズ低減手段と、
    上記０次成分および上記ノイズ低減手段で処理された０次成分以外の周波数成分を実空間へ変換する逆変換手段と、
    を有することを特徴とする請求項１に記載の撮像システム。
13. 上記ノイズ処理手段は、
    上記Ｙ／Ｃ分離手段により分離された上記輝度信号から所定サイズのブロック領域を抽出するブロック抽出手段と、
    上記ブロック領域を周波数空間に変換する変換手段と、
    上記周波数空間における０次成分に基づき０次成分以外の周波数成分に関するノイズ量を推定するノイズ推定手段と、
    上記ノイズ量に基づき上記０次成分以外の周波数成分に平滑化を行うノイズ低減手段と、
    上記０次成分および上記ノイズ低減手段で処理された０次成分以外の周波数成分を実空間へ変換する逆変換手段と、
    を有することを特徴とする請求項２に記載の撮像システム。
14. 上記エッジ方向検出手段は、
    上記ノイズ低減処理された上記信号から複数の所定方向に関するエッジ強度を算出するエッジ強度算出手段と、
    上記エッジ強度を所定の閾値と比較することで選択するエッジ強度選択手段と、
    上記選択されたエッジ強度に基づきエッジ方向を決定するエッジ方向決定手段と、
    を有することを特徴とする請求項１に記載の撮像システム。
15. 上記エッジ方向検出手段は、
    上記ノイズ低減処理された上記輝度信号から複数の所定方向に関するエッジ強度を算出するエッジ強度算出手段と、
    上記エッジ強度を所定の閾値と比較することで選択するエッジ強度選択手段と、
    上記選択されたエッジ強度に基づきエッジ方向を決定するエッジ方向決定手段と、
    を有することを特徴とする請求項３に記載の撮像システム。
16. 上記エッジ強度選択手段は、
    上記ノイズ処理手段からのノイズ量に基づき上記閾値を設定する閾値設定手段を有することを特徴とする請求項１４または請求項１５に記載の撮像システム。
17. 上記エッジ方向検出手段は、
    上記ノイズ低減処理された上記信号から複数の所定方向に関するエッジ強度を算出するエッジ強度算出手段と、
    上記エッジ強度から所定の微小変動を除去するための除去手段と、
    上記微小変動が除去されたエッジ強度に基づきエッジ方向を決定するエッジ方向決定手段と、
    を有することを特徴とする請求項１に記載の撮像システム。
18. 上記エッジ方向検出手段は、
    上記ノイズ低減処理された上記輝度信号から複数の所定方向に関するエッジ強度を算出するエッジ強度算出手段と、
    上記エッジ強度から所定の微小変動を除去するための除去手段と、
    上記微小変動が除去されたエッジ強度に基づきエッジ方向を決定するエッジ方向決定手段と、
    を有することを特徴とする請求項３に記載の撮像システム。
19. 上記エッジ方向検出手段は、
    上記ノイズ低減処理された上記信号から水平および垂直方向に関するエッジ強度を算出するエッジ強度算出手段と、
    上記エッジ強度に基づきエッジ方向を決定するエッジ方向決定手段と、
    を有することを特徴とする請求項１に記載の撮像システム。
20. 上記エッジ方向検出手段は、
    上記ノイズ低減処理された上記輝度信号から水平および垂直方向に関するエッジ強度を算出するエッジ強度算出手段と、
    上記エッジ強度に基づきエッジ方向を決定するエッジ方向決定手段と、
    を有することを特徴とする請求項３に記載の撮像システム。
21. 上記ノイズ処理手段は、
    上記撮像素子からの信号からノイズ低減処理を行う注目画素を含む所定サイズの注目領域を抽出する領域抽出手段と、
    上記注目領域からノイズ量を推定するノイズ推定手段と、
    上記ノイズ量に基づき上記注目画素に平滑化を行うノイズ低減手段とを有し、
    上記エッジ方向検出手段は、
    上記ノイズ推定手段においてノイズ量の推定時に用いた画素情報に基づき、エッジ方向を決定するエッジ方向決定手段を有することを特徴とする請求項４に記載の撮像システム。
22. 上記ノイズ処理手段は、
    上記Ｙ／Ｃ分離手段により分離された上記輝度信号からノイズ低減処理を行う注目画素を含む所定サイズの注目領域を抽出する領域抽出手段と、
    上記注目領域からノイズ量を推定するノイズ推定手段と、
    上記ノイズ量に基づき上記注目画素に平滑化を行うノイズ低減手段とを有し、
    上記エッジ方向検出手段は、
    上記ノイズ推定手段においてノイズ量の推定時に用いた画素情報に基づき、エッジ方向を決定するエッジ方向決定手段を有することを特徴とする請求項２に記載の撮像システム。
23. 上記ノイズ処理手段は、
    上記撮像素子からの信号から所定サイズのブロック領域を抽出するブロック抽出手段と、
    上記ブロック領域を周波数空間に変換する変換手段と、
    上記周波数空間における０次成分に基づき０次成分以外の周波数成分に関するノイズ量を推定するノイズ推定手段と、
    上記ノイズ量に基づき上記０次成分以外の周波数成分に平滑化を行うノイズ低減手段と、
    上記０次成分および上記ノイズ低減手段で処理された０次成分以外の周波数成分を実空間へ変換する逆変換手段とを有し、
    上記エッジ方向検出手段は、
    上記ノイズ処理手段においてノイズ量の推定時に用いた周波数情報に基づき、エッジ方向を決定するエッジ方向決定手段を有することを特徴とする請求項４に記載の撮像システム。
24. 上記ノイズ処理手段は、
    上記Ｙ／Ｃ分離手段により分離された上記輝度信号から所定サイズのブロック領域を抽出するブロック抽出手段と、
    上記ブロック領域を周波数空間に変換する変換手段と、
    上記周波数空間における０次成分に基づき０次成分以外の周波数成分に関するノイズ量を推定するノイズ推定手段と、
    上記ノイズ量に基づき上記０次成分以外の周波数成分に平滑化を行うノイズ低減手段と、
    上記０次成分および上記ノイズ低減手段で処理された０次成分以外の周波数成分を実空間へ変換する逆変換手段とを有し、
    上記エッジ方向検出手段は、
    上記ノイズ処理手段においてノイズ量の推定時に用いた周波数情報に基づき、エッジ方向を決定するエッジ方向決定手段を有することを特徴とする請求項２に記載の撮像システム。
25. 上記エッジ方向決定手段は、
    特定のエッジ方向が決定できなかった場合に、上記エッジ抽出手段の処理を停止させる停止信号を発生させる、停止信号発生手段を有することを特徴とする請求項１４、請求項１５、請求項１７、請求項１８、請求項１９、請求項２０、請求項２１、請求項２２、請求項２３、請求項２４の何れか一に記載の撮像システム。
26. 上記エッジ方向決定手段は、
    複数のエッジ方向が検出された場合に、上記エッジ抽出手段に等方的なエッジ抽出処理を行わせる制御信号を発生させる、等方処理信号発生手段を有することを特徴とする請求項１４、請求項１５、請求項１７、請求項１８、請求項１９、請求項２０、請求項２１、請求項２２、請求項２３、請求項２４の何れか一に記載の撮像システム。
27. 上記カラー撮像素子は、
    Ｒ（赤），Ｇ（緑），Ｂ（青）Ｂａｙｅｒ型原色フィルタを前面に配置した単板撮像素子、またはＣｙ（シアン），Ｍｇ（マゼンタ），Ｙｅ（イエロー），Ｇ（緑）色差線順次型補色フィルタを前面に配置した単板撮像素子であることを特徴とする請求項２に記載の撮像システム。
28. 上記Ｙ／Ｃ分離手段は、
    輝度信号および色信号を分離する前に上記カラー撮像素子の信号を補間処理する補間手段を更に有することを特徴とする請求項２に記載の撮像システム。
29. 上記Ｙ／Ｃ分離手段は、
    輝度信号および色信号を分離した後に上記輝度信号および上記色信号を補間処理する補間手段を更に有することを特徴とする請求項２に記載の撮像システム。
30. 撮像素子からの信号を処理する画像処理方法であって、
    上記撮像素子からの信号に対してノイズ低減処理を行うノイズ処理ステップと、
    上記ノイズ低減処理の結果に基づいてエッジ方向を検出するエッジ方向検出ステップと、
    上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出するエッジ抽出ステップと、
    を有し、
    上記ノイズ低減処理の結果は、上記ノイズ低減処理がなされた上記信号であることを特徴とする画像処理方法。
31. コンピュータに、撮像素子からの信号を処理する手順を実行させるための画像処理プログラムであって、
    上記撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手順と、
    上記ノイズ低減処理の結果に基づいてエッジ方向を検出するエッジ方向検出手順と、
    上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出するエッジ抽出手順と、
    を実行させるためのプログラムであってかつ、
    上記ノイズ低減処理の結果は、上記ノイズ低減処理がなされた上記信号であることを特徴とする画像処理プログラム。

Images