JP2006115078A

JP2006115078A - 画像データの信号処理装置及びその方法

Info

Publication number: JP2006115078A
Application number: JP2004298700A
Authority: JP
Inventors: Sadayoshi Kanazawa; 貞善金澤
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2004-10-13
Filing date: 2004-10-13
Publication date: 2006-04-27
Also published as: CN1761309A; US20060078055A1

Abstract

【課題】様々なサイズへスケーリングされた画像に対して、同等性能のノイズ除去効果を発揮するノイズリダクションフィルタが実現可能とする。
【解決手段】８×８画素ブロックでＤＣＴ符号化されている画像に対してノイズリダクションフィルタを掛ける際は隣接画素を選択し、スケーリングされＤＣＴ符号化のブロックサイズが変化した画像の場合は、元画の画素に対して近い位置の画素を選択することでフィルタに用いる画素数を変えずにフィルタの幅も確保することを可能とする。
【選択図】図１０

Description

本発明は、画像のノイズを低減するノイズ低減（ＮＲ＝ＮｏｉｓｅＲｅｄｕｃｔｉｏｎ）フィルタを用いたフィルタ装置に関する。

ＤＶＤレコーダなどの符号化画像信号を扱う製品では、画質向上のために、ブロックノイズやモスキートノイズを低減するＮＲフィルタを用いるものがある。

〈フィルタ装置１００〉
図１３に、ＮＲ処理を行うフィルタ装置１３００について説明するブロック図を示す。

フィルタ装置１３００は、復号画像信号１３０３を入力とし水平ＮＲ処理画素信号１３０４を出力とする水平ＮＲ処理部１３０１と、水平ＮＲ処理画素信号１３０４を入力としＮＲ処理信号１３０５を出力とする垂直ＮＲ処理部１３０２とを備えている。

水平ＮＲ処理部１３０１は、復号画像信号１３０３の水平ＮＲ処理を行う部分であり、条件判定部１３０６と、水平ＮＲ処理実行部１３０７とを備えている。条件判定部１３０６は、設定された水平ＮＲ判定閾値１３０８に基づいて、復号画像信号１３０３に水平ＮＲフィルタを適用するか否か（フィルタを適用する場合には、数種類のフィルタから適用するフィルタも決定）の適用条件を判定する。水平ＮＲ処理実行部１３０７は、復号画像信号１３０３と条件判定部１３０６の判定結果１３０９とに基づいて、復号画像信号１３０３の水平ＮＲ処理を実行し、水平ＮＲ処理画素信号１３０４を出力する。

垂直ＮＲ処理部１３０２は、水平ＮＲ処理画素信号１３０４の垂直ＮＲ処理を行う部分であり、条件判定部１３１０と、垂直ＮＲ処理実行部１３１１とを備えている。条件判定部１３１０は、設定された垂直ＮＲ判定閾値１３１２に基づいて、水平ＮＲ処理信号１３０４に垂直ＮＲフィルタを適用するか否か（フィルタを適用する場合には、数種類のフィルタから適用するフィルタも決定）の適用条件を判定する。垂直ＮＲ処理実行部１３１１は、水平ＮＲ処理信号１３０４と条件判定部１３１０の判定結果１３１３とに基づいて、水平ＮＲ処理信号１３０４の垂直ＮＲ処理を実行し、ＮＲ処理信号１３０５を出力する。

水平ＮＲ処理部１３０１で行われる処理を、図１４のフィルタ参照画素範囲の輝度Ｙ信号１４００とフィルタ参照隣接画素の差分絶対値計算１４０１と適用フィルタ判定条件１４０２と、図１５のフィルタ種毎の７ｔａｐ係数１５００と水平ＮＲ処理の計算式１５０１を用いて説明する。

水平ＮＲ処理部１３０１が７ｔａｐのフィルタを用いている場合について説明する。条件判定部１３０６で複号画素信号１３０３からフィルタ参照範囲を、フィルタ対象画素とフィルタ対象画素前後３画素ずつの７画素とする。フィルタ対象画素を含んだフィルタ参照範囲の７画素はフィルタ参照範囲の輝度Ｙ信号１４００のように表され（符号化画像信号特有のブロック境界が画素ｎ＋２と画素ｎ＋３の間にあるものとする。）、フィルタ参照隣接画素の差分絶対値計算１４０１のｄ［０］〜ｄ［５］を算出する。フィルタ参照隣接画素の差分絶対値計算１４０１で算出されたｄ［０］〜ｄ［５］と水平ＮＲ閾値判定閾値１３０８を用いて適用フィルタ判定条件１４０３（フィルタ参照隣接画素の差分絶対値計算１４０１でｄ［５］を算出する画素はブロック境界を挟んでいるので、ｄ［５］はブロック境界用の閾値と比較する。）により適用するフィルタを決定し（適用フィルタ判定条件１４０２では、優先順位の高い順に（１）から並べている。）、判定結果１３０９として水平ＮＲ処理実行部１３０７へ送られる。水平ＮＲ処理実行部１３０７では、判定結果１３０９から決まるフィルタ種毎の７ｔａｐ係数１５００とフィルタ参照画素範囲の輝度Ｙ信号１４００を用いて、水平ＮＲの計算式１５０１から水平ＮＲ処理後のフィルタ対象画素輝度信号Ｙ’［０］を算出する。フィルタ対象画素輝度信号Ｙ’［０］が水平ＮＲ処理画素信号１３０４として垂直ＮＲ処理部１３０２に入力される。

垂直ＮＲ処理部１３０２についても、基本的な動作は水平ＮＲ処理部１３０１と同様である。
ISO/IEC,14496-2:2001(E),"Information technology--Coding of audio-visual objects--Part2:Visual",Second edition,2001.12.01,P.448-450

上記説明したフィルタ装置においては、隣接したフィルタ参照画素を用いてＮＲ処理を行っているため、フィルタの対象となる画がスケーリングされＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）符号化のブロックサイズが変化した画像に対して同様のＮＲフィルタを用いた場合、参照する画素数は変わらないがフィルタの対象となる画の解像度が上がっているため、元の画にＮＲフィルタを掛ける場合よりもフィルタの範囲が狭くなってしまう。

また、隣接したフィルタ参照画素を用いてＮＲ処理を行っているため、フィルタ装置のハード構成により制約されるフィルタ参照範囲以下（フィルタのｔａｐ数が５の場合、５画素以下の範囲しか扱えない。）のフィルタしか適用できない。

本発明では、フィルタ参照画素を任意に決めることが可能なので、離散的にも連続的にも自由にフィルタ参照画素が配置可能になる。

つまり、スケーリングされていない画に対してＮＲフィルタを掛ける際は隣接画素を選択し、スケーリングされＤＣＴ符号化のブロックサイズが変化した画像の場合は、スケーリング前の画素に対して近い位置の画素を選択することでフィルタに用いる画素数を変えずにフィルタの幅も確保することが可能となる。

また、フィルタ実行処理部のｔａｐ数が固定されている場合も、フィルタ参照画素数は制約されるが配置は自由に選択することが可能となる。

本発明のフィルタ装置は、フィルタ参照画素を任意に決めることが可能なことから、様々なサイズへスケーリングされた画像に対して、同等性能のノイズ除去効果を発揮するＮＲフィルタが実現可能となった。

また、上記の効果を従来の方法で実現するためには、フィルタ参照範囲に比例した回路規模増加・処理の複雑化が問題となるが、本発明の方法では全てのサイズを回路変更無し・同一アルゴリズムで対応可能。

本発明の請求項１に記載の発明は、複数のノイズ低減フィルタを有するノイズ低減処理実行手段と、前記ノイズ低減処理実行手段が参照する画素を決定するフィルタ参照画素決定手段と、前記フィルタ参照画素決定手段により選ばれた画素を用いて算出された画像特徴量と前記ノイズ低減処理実行手段の有する複数のノイズ低減フィルタそれぞれに対して設定された前記画像特徴量の閾値とに基づいて前記ノイズ低減処理実行手段のノイズ低減フィルタの中から１つを選択するノイズ低減フィルタ選択手段とを備えたものである。

請求項２に記載の発明は、フィルタ対象画素の周囲の画素データを蓄積する画素蓄積メモリを有し、前記フィルタ参照画素決定手段は、前記画素蓄積メモリの範囲内でフィルタ参照画素を選択するものである。

請求項３に記載の発明は、前記フィルタ参照画素決定手段は、ノイズ低減フィルタを掛ける元画の情報に基づいてフィルタ参照画素を決定するものである。

請求項４に記載の発明は、前記フィルタ参照画素決定手段は、前記元画の情報と前記フィルタ対象画素の情報に基づいて各画素毎にフィルタ参照画素を決定するものである。

請求項５に記載の発明は、前記ＮＲ処理実行手段の有する複数のノイズ低減フィルタは、フィルタ強弱などの特性を変える手段の一つとして前記フィルタ参照画素決定手段によりフィルタ参照画素を決定するものである。

請求項６に記載の発明は、前記画像特徴量は、前記フィルタ参照画素決定手段により選ばれたフィルタ参照画素の２画素以上を用いて算出されるものである。

請求項７に記載の発明は、前記ノイズ低減フィルタ選択手段は、前記画像特徴量を算出するのに用いた画素がブロック境界を跨いでいる場合、ブロック境界用に設定された閾値を用いて前記ＮＲフィルタを選択する、ブロック境界判定手段を備えたものである。

（実施の形態１）
図１に、ＮＲ処理を行うフィルタ装置１００について説明するブロック図を示す。

（フィルタ装置１００の構成）
フィルタ装置１００は、復号画像信号１０３を入力とし水平ＮＲ処理画素信号１０４を出力とする水平ＮＲ処理部１０１と、水平ＮＲ処理画素信号１０４を入力としＮＲ処理信号１０５を出力とする垂直ＮＲ処理部１０２とを備えている。

水平ＮＲ処理部１０１は、復号画像信号１０３の水平ＮＲ処理を行う部分であり、画素選択部１０６と、ブロック境界判定部１０７と、条件判定部１０８と、水平ＮＲ処理実行部１０９とを備えている。画素選択部１０６は、復号画像信号１０３を入力としてフィルタ参照画素を決定し、参照画素データ１１０を出力とする。ブロック境界判定部１０７は、参照画素データ１１０を入力としてブロック境界位置を判定し、境界位置１１１を出力とする。条件判定部１０８は、参照画素データ１１０を第一の入力、境界位置１１１を第二の入力、水平ＮＲ判定閾値１１２を第三の入力それぞれを基にして、復号画像信号１０３から選択されたフィルタの参照画素データ１１０に水平ＮＲフィルタを適用するか否か（フィルタを適用する場合には、数種類のフィルタから適用するフィルタも決定）の適用条件を判定し、判定結果１１３を出力とする。水平ＮＲ処理実行部１０９は、復号画像信号１０３から選択されたフィルタの参照画素データ１１０と、条件判定部１０８の判定結果１１３とに基づいて水平ＮＲ処理を実行し、水平ＮＲ処理画素信号１０４を出力する。

垂直ＮＲ処理部１０２は、水平ＮＲ処理画素信号１０４の垂直ＮＲ処理を行う部分であり、画素選択部１１４と、ブロック境界判定部１１５と、条件判定部１１６と、垂直ＮＲ処理実行部１１７とを備えている。画素選択部１１４は、水平ＮＲ処理画素信号１０４を入力としてフィルタ参照画素を決定し、参照画素データ１１８を出力とする。ブロック境界判定部１１５は、参照画素データ１１８を入力としてブロック境界位置を判定し、境界位置１１９を出力とする。条件判定部１１６は、参照画素データ１１８を第一の入力、境界位置１１９を第二の入力、垂直ＮＲ判定閾値１２０を第三の入力それぞれを基にして、水平ＮＲ処理画素信号１０４から選択されたフィルタの参照画素データ１１８に垂直ＮＲフィルタを適用するか否か（フィルタを適用する場合には、数種類のフィルタから適用するフィルタも決定）の適用条件を判定し、判定結果１２１を出力とする。垂直ＮＲ処理実行部１１７は、水平ＮＲ処理画素信号１０４から選択されたフィルタの参照画素データ１１８と、条件判定部１１６の判定結果１２１とに基づいて垂直ＮＲ処理を実行し、ＮＲ処理信号１０５を出力する。

（フィルタ装置１００の動作）
フィルタ装置１００について、図２、図３、図４、図５を用いて、その動作について説明する。図２は実施の形態１におけるフィルタ装置でのＮＲ処理方法を示したフローチャートである。例として、フィルタ対象画素ｎに最大７ｔａｐのＮＲフィルタ処理を行う場合について説明する。

図２に示すステップ２００では、フィルタ対象画素にフィルタ処理を行う際に関係するフィルタ参照画素を決定する。フィルタ参照画素は図３のフィルタ対象画素と参照画素の位置関係３００に示すように選択され、フィルタ対象画素ｎからの距離をｓｔｅｐ［０］〜ｓｔｅｐ［６］とすると、フィルタ参照画素はｎ＋ｓｔｅｐ［０］〜ｎ＋ｓｔｅｐ［６］の７画素と決定する。（フィルタ参照画素の選択方法は後で詳細を説明する。）元の画からスケーリング無しでＮＲ処理を行う際は、フィルタ対象画素から前後隣接の３画素をフィルタ参照画素とするので、図３におけるスケーリング無し時のフィルタ参照画素位置３０１のようにｓｔｅｐ［０］〜ｓｔｅｐ［６］の値が決まる。スケーリング後の画にＮＲ処理を行う場合の例として、図３の３０２に元の画がＣＩＦ（横３６０×縦２４０）サイズからＤ１（横７２０×縦４８０）サイズへスケーリングされた場合のフィルタ参照画素を図示する。ＣＩＦからＤ１の場合は２倍の拡大になるので、図のように一つ飛ばしでフィルタ参照画素が選択される。実施の形態１において、ステップ２００のフィルタ参照画素選択はフィルタ対象画素が変わる度に行われる。

ステップ２０１では、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）やＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）のエンコード時に用いられている８画素×８画素ブロックの２次元ＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）におけるブロック境界位置の判定を行う。（通常ＤＣＴブロックサイズは８画素固定なのでブロック境界も８画素毎に周期的になるが、元になる画がスケーリングされた場合はブロックサイズも変化するので、スケーリングと同じ割合でブロック境界位置を置き換える。）ステップ２００で選択したフィルタ参照画素の範囲内にブロック境界が存在する場合、ブロック境界が存在するフィルタ参照画素の位置（ｎ＋ｓｔｅｐ［０］〜ｎ＋ｓｔｅｐ［６］の何画素目と何画素目の間に存在するのか）を判定する。

ステップ２０２では、ステップ２０３でＮＲフィルタ決定のためにフィルタそれぞれに設定されている画像特徴量の閾値と比較を行うので、フィルタ対象画素から画像特徴量を計算する。図４フィルタ参照画素範囲の輝度Ｙ信号４００に、閾値と比較するための画像特徴量ｄ［０］〜ｄ［５］を図示し、フィルタ参照隣接画素の差分絶対値計算４０１に画像特徴量ｄ［０］〜ｄ［５］の計算式を図示する。

ステップ２０３では、ステップ２０１で求めたブロック境界が存在するフィルタ参照画素の位置と、ステップ２０２で求めた画像特徴量ｄ［０］〜ｄ［５］とを基に、ＮＲフィルタ決定のためにフィルタそれぞれに設定されている画像特徴量の閾値と比較を行いステップ２０４で適用するフィルタを決定する。例として図４に適用フィルタ判定条件４０２を示す。適用フィルタ判定条件４０２では、優先順位の高い順に（１）から並べており、列記する各フィルタに対する条件を充たす場合にフィルタが適用される。尚、各条件において画像特徴量ｄ［０］〜ｄ［５］と比較を行う閾値ｔｈｈ１〜ｔｈｈ５が設定されているが、ブロック境界位置を跨いだフィルタ参照画素間で算出された画像特徴量は、ブロック境界用の閾値ｔｈｈ＿ｂｌｏｃｋと比較を行う。例えば、図４フィルタ参照画素範囲の輝度Ｙ信号４００にブロック境界を図示しているが、このように参照画素ｎ＋ｓｔｅｐ［５］とｎ＋ｓｔｅｐ［６］の間にブロック教会がある場合は、ｎ＋ｓｔｅｐ［５］とｎ＋ｓｔｅｐ［６］から算出されるｄ［５］に対してブロック境界用の閾値ｔｈｈ＿ｂｌｏｃｋが適用される。

ステップ２０４では、フィルタ対象画素ｎに対して、ステップ２００で選ばれたフィルタ参照画素を基に、ステップ２０３で選択されたフィルタでＮＲ処理を実行する。ＮＲ処理の計算は、図４フィルタ参照画素範囲の輝度Ｙ信号レベル４００に示す各画素の輝度レベルＹ［ｎ＋ｓｔｅｐ［０］］〜Ｙ［ｎ＋ｓｔｅｐ［６］］と、図５フィルタ各種の７ｔａｐ係数５００に示すようにステップ２０３で選択されたフィルタに対応する７ｔａｐフィルタの係数ａ［０］〜ａ［６］を用いて、図５水平ＮＲ処理の計算式５０１によりＮＲ処理後のフィルタ対象画素輝度信号Ｙ’［ｎ］を算出する。

ステップ２０５では、ＮＲ処理継続か終了の判断を行う。ＮＲ処理が継続される場合には、ステップ２０６へ進む。

ステップ２０６では、フィルタ対象画素の変更を行う。先のＮＲ処理では画素ｎに対してＮＲ処理を行っていたので、次のｎ＋１をフィルタ対象画素としてステップ２００に進む。更にステップ２００からは、フィルタ対象画素ｎ＋１からフィルタ参照画素を選択し、同様の処理がなされる。

（フィルタ参照画素選択方法）
フィルタ参照画素選択方法について、図６、図７、図８、図９、図１０を用いて、その動作について説明する。図６はフィルタ参照画素選択方法を示したフローチャートである。

例として、３／４Ｄ１（横５４０×縦４８０）サイズからＤ１（横７２０×縦４８０）サイズにスケーリングされた画像で、ｎ番目の画素に対して７ｔａｐフィルタ処理を行う際のフィルタ参照画素決定方法にいて説明する。７ｔａｐフィルタのフィルタ参照画素を選択する場合、フィルタ対象画素は決まっているので、それ以外の６画素（フィルタ対象画素の前方３画素＋後方３画素）を選択する必要がある。

図７の３／４Ｄ１サイズからＤ１サイズにスケーリングされた画像の画素位置７００は、スケーリング前後画像の画素位置関係を示す。スケーリング前画像（３／４Ｄ１）の画素間隔を７分割し、そのマス上にスケーリング後画像（Ｄ１）の画素位置を表している。３／４Ｄ１（横５４０×縦４８０）サイズからＤ１（横７２０×縦４８０）サイズにスケーリングされた場合、横の解像度が４／３倍されることから画素間隔が３／４倍になり、３／４Ｄ１サイズからＤ１サイズにスケーリングされた画像の画素位置７００のような画素の位置関係になる。

図６に示すステップ６００では、図７フィルタ対象画素前方１画素目の決定７０１のようにフィルタ対象画素から近い２画素（ｎ−１とｎ−２）を選択し、スケーリング前画像（３／４Ｄ１）の画素位置（最も近い画素）と選択した２画素間の距離をそれぞれ求め、スケーリング前画像の画素位置と近い方の画素をフィルタ参照画素と決定する。ｎ−１画素とスケーリング前画像の画素位置との距離は２マス、ｎ−２画素とスケーリング前画像の画素位置との距離は４マス、よってｎ−１がフィルタ対象画素前方１画素目となる。

ステップ６０１では、図８フィルタ対象画素前方２画素目の決定８００のようにフィルタ参照画素（ステップ６００でｎ−１がフィルタ参照画素と決まっているのでｎ−１）から近い２画素（ｎ−２とｎ−３）を選択し、スケーリング前画像の画素位置と選択した２画素間の距離をそれぞれ求め、スケーリング前画像の画素位置と近い方の画素をフィルタ参照画素と決定する。ｎ−２画素とスケーリング前画像の画素位置との距離は４マス、ｎ−３画素とスケーリング前画像の画素位置との距離は２マス、よってｎ−３がフィルタ対象画素前方２画素目となる。

ステップ６０２では、図８フィルタ対象画素前方３画素目の決定８０１のようにフィルタ参照画素から近い２画素（ｎ−４とｎ−５）を選択し、スケーリング前画像の画素位置と選択した２画素間の距離をそれぞれ求め、スケーリング前画像の画素位置と近い方の画素をフィルタ参照画素と決定する。ｎ−４画素とスケーリング前画像の画素位置との距離は０マス、ｎ−５画素とスケーリング前画像の画素位置との距離は２マス、よってｎ−４がフィルタ対象画素前方３画素目となる。

ステップ６０３では、図９フィルタ対象画素後方１画素目の決定９００のようにフィルタ対象画素から近い２画素（ｎ＋１とｎ＋２）を選択し、スケーリング前画像の画素位置と選択した２画素間の距離をそれぞれ求め、スケーリング前画像の画素位置と近い方の画素をフィルタ参照画素と決定する。ｎ＋１画素とスケーリング前画像の画素位置との距離は２マス、ｎ＋２画素とスケーリング前画像の画素位置との距離は４マス、よってｎ＋１がフィルタ対象画素後方１画素目となる。

ステップ６０４では、これまでと同様の方法を用いる事で図９フィルタ対象画素後方２画素目の決定９０１に示すとおりｎ＋３がフィルタ対象画素後方２画素目となる。

ステップ６０５でも、これまでと同様の方法を用いる事で図９フィルタ対象画素後方３画素目の決定９０２に示すとおりｎ＋４がフィルタ対象画素後方３画素目となる。

以上で７ｔａｐフィルタのフィルタ参照画素が決定される。

図１０には、各種割合でスケーリングされた画像に対して、７ｔａｐフィルタ処理を行う際に選択されたフィルタ参照画素の一例を示す。

３／４Ｄ１サイズからＤ１サイズにスケーリングされた画像のフィルタ参照画素１０００は、３／４Ｄ１（横５４０×縦４８０）サイズからＤ１（横７２０×縦４８０）サイズにスケーリングされた画像の場合の一例を示す。

２／３Ｄ１サイズからＤ１サイズにスケーリングされた画像のフィルタ参照画素１００１は、２／３Ｄ１（横４８０×縦４８０）サイズからＤ１（横７２０×縦４８０）サイズにスケーリングされた画像の場合の一例を示す。

ＣＩＦ（ｈａｌｆ−Ｄ１）サイズからＤ１サイズにスケーリングされた画像のフィルタ参照画素１００２は、ＣＩＦ（横３６０×縦４８０）サイズもしくはｈａｌｆ−Ｄ１（横３６０×縦４８０）からＤ１（横７２０×縦４８０）サイズにスケーリングされた画像の場合の一例を示す。

（実施の形態２）
図１にＮＲ処理を行うフィルタ装置１００について説明するブロック図を示す。図１に示す判別装置は、実施の形態１と同様の構成である。

（フィルタ装置１００の動作）
フィルタ装置１００について、図１１を用いて、その動作について説明する。図１１は実施の形態２におけるフィルタ装置でのＮＲ処理方法を示したフローチャートである。例として、フィルタ対象画素ｎに最大７ｔａｐのＮＲフィルタ処理を行う場合について説明する。

図１１に示すステップ１１００では、フィルタ対象画素にフィルタ処理を行う際に関係するフィルタ参照画素を決定する。フィルタ参照画素は図３のフィルタ対象画素と参照画素の位置関係３００に示すように選択され、フィルタ対象画素ｎからの距離をｓｔｅｐ［０］〜ｓｔｅｐ［６］とすると、フィルタ参照画素はｎ＋ｓｔｅｐ［０］〜ｎ＋ｓｔｅｐ［６］の７画素と決定する。（フィルタ参照画素の選択方法は後で詳細を説明する。）実施の形態２において、ステップ１１００のフィルタ参照画素選択は、入力の画像特性に応じて自動に、または任意に選択する。フィルタ参照画素を変更する際は、フィルタ対象画素が変わる度にフィルタ参照画素を変えずに、フィルタ処理を施す画像（フレーム）が変わる際に変更することができる。

ステップ１１０１では、実施の形態１ステップ２０１と同様にブロック境界位置の判定を行う。ステップ１１００で選択したフィルタ参照画素の範囲内にブロック境界が存在する場合、ブロック境界が存在するフィルタ参照画素の位置を判定する。

ステップ１１０２では、実施の形態１ステップ２０２と同様にステップ１１０３でＮＲフィルタ決定のためにフィルタそれぞれに設定されている画像特徴量の閾値と比較を行うので、フィルタ対象画素から画像特徴量を計算する。

ステップ１１０３では、実施の形態１ステップ２０３と同様にステップ１１０１で求めたブロック境界が存在するフィルタ参照画素の位置と、ステップ１１０２で求めた画像特徴量ｄ［０］〜ｄ［５］とを基に、ＮＲフィルタ決定のためにフィルタそれぞれに設定されている画像特徴量の閾値と比較を行いステップ１１０４で適用するフィルタを決定する。

ステップ１１０４では、実施の形態１ステップ２０４と同様にフィルタ対象画素ｎに対して、ステップ１１００で選ばれたフィルタ参照画素を基に、ステップ１１０３で選択されたフィルタでＮＲ処理を実行する。

ステップ１１０５では、同一画像（フレーム）内のＮＲ処理継続か、フィルタ処理を施す画像（フレーム）のフィルタ処理が終了したかを判断する。同一画像（フレーム）内のＮＲ処理が全て終了していない場合は、ステップ１１０６へ進む。フィルタ処理を施す画像（フレーム）のフィルタ処理が終了した場合は、ステップ１１０７へ進む。

ステップ１１０６では、フィルタ対象画素の変更を行う。先のＮＲ処理では画素ｎに対してＮＲ処理を行っていたので、次のｎ＋１をフィルタ対象画素としてステップ１１０１に進む。更にステップ１１０１からは、フィルタ対象画素ｎ＋１からフィルタ参照画素を選択し（ステップ１１００のフィルタ参照画素選択を経由しないので、フィルタ対象画素からフィルタ参照画素までの画素間隔を表すｓｔｅｐ［０］〜ｓｔｅｐ［６］が固定のまま）、ステップ１１０１以降同様の処理が施される。

ステップ１１０７では、ＮＲ処理継続か終了の判断を行う。ＮＲ処理が継続される場合には、ステップ１１０８へ進む。

ステップ１１０８では、フィルタ処理対象となる画像（フレーム）を変更してステップ１１００以降同様の処理が施される。

（フィルタ参照画素選択方法）
実施の形態２におけるフィルタ参照画素の選択方法は、入力画像の特性に応じて自動に、またフィルタ特性を変えるために任意に、予め決められた数種類のフィルタ参照画素構造の中から自由に選択する。

例として、ｎ番目の画素に対して７ｔａｐフィルタ処理を行う際のフィルタ参照画素にいて図１２を用いて説明する。

図１２にはフィルタ参照画素選択例を示すが、フィルタ対象画素からそれぞれのフィルタ参照画素までの距離を表すｓｔｅｐ［０］〜ｓｔｅｐ［６］を予め決めておき、入力画像の特性に合わせた設定を自動的に設定、またフィルタの特性を変えるために任意に設定する。

入力画像の特性に合わせた設定を自動的に設定する例は、入力画像のＤＣＴブロックサイズが８×８（スケーリングされていない画像）の場合はフィルタ参照画素選択例（１）１２００を適用し、ＤＣＴブロックサイズが１２×１２（２／３Ｄ１サイズからＤ１サイズにスケーリングされた画像）の場合はフィルタ参照画素選択例（３）１２０２を適用し、ＤＣＴブロックサイズが１６×１６（ＣＩＦサイズからＤ１サイズにスケーリングされた画像）の場合はフィルタ参照画素選択例（４）１２０３を適用するなどである。

フィルタの特性を変えるために任意に設定する例は、強いフィルタ効果を期待する場合には参照範囲の広いフィルタ参照画素選択例（４）１２０３を適用し、弱めのフィルタ効果を期待する場合には参照範囲の狭いフィルタ参照画素選択例（１）１２００を適用するなどである。

フィルタ参照画素を広範囲に設定でき、各入力画像の特性に合わせる事によって、スケーリングなどの処理を施された様々なサイズの画像に対してＮＲフィルタ処理を施したい場合に有用である。

本発明の実施の形態１におけるフィルタ装置１００について説明するブロック図本発明の実施の形態１におけるフィルタ処理の方法を説明するフローチャート本発明の実施の形態１におけるフィルタ参照画素の選択と選択例を説明する模式図本発明の実施の形態１における画像特徴量の計算と適用フィルタ判断方法を説明する模式図本発明の実施の形態１におけるフィルタ処理の計算を説明する模式図本発明の実施の形態１におけるフィルタ参照画素を選択する方法を説明するフローチャート本発明の実施の形態１におけるフィルタ参照画素を選択する方法を説明する模式図本発明の実施の形態１におけるフィルタ参照画素を選択する方法を説明する模式図本発明の実施の形態１におけるフィルタ参照画素を選択する方法を説明する模式図本発明の実施の形態１におけるフィルタ参照画素の選択例を説明する模式図本発明の実施の形態２におけるフィルタ処理の方法を説明するフローチャート（実施の形態２）本発明の実施の形態２におけるフィルタ参照画素の選択例を説明する模式図従来技術におけるフィルタ装置１３００について説明するブロック図従来技術における適用フィルタ判断方法を説明する模式図従来技術におけるフィルタ処理の計算を説明する模式図

符号の説明

１００フィルタ装置
１０１水平ＮＲ処理部
１０２垂直ＮＲ処理部
１０３複号画素信号
１０４水平ＮＲ処理信号
１０５ＮＲ処理信号
１０６画像選択部
１０７ブロック境界判定部
１０８条件判定部
１０９水平ＮＲ処理実行部
１１０参照画素データ
１１１境界位置
１１２水平ＮＲ判定閾値
１１３判定結果
１１４画像選択部
１１５ブロック境界判定部
１１６条件判定部
１１７垂直ＮＲ処理実行部
１１８参照画素データ
１１９境界位置
１２０垂直ＮＲ判定閾値
１２１判定結果

Claims

複数のノイズ低減フィルタを有するノイズ低減処理実行手段と、前記ノイズ低減処理実行手段が参照する画素を決定するフィルタ参照画素決定手段と、前記フィルタ参照画素決定手段により選ばれた画素を用いて算出された画像特徴量と前記ノイズ低減処理実行手段の有する複数のノイズ低減フィルタそれぞれに対して設定された前記画像特徴量の閾値とに基づいて前記ノイズ低減処理実行手段のノイズ低減フィルタの中から１つを選択するノイズ低減フィルタ選択手段とを備えたフィルタ装置。
フィルタ対象画素の周囲の画素データを蓄積する画素蓄積メモリを有し、前記フィルタ参照画素決定手段は、前記画素蓄積メモリの範囲内でフィルタ参照画素を選択する、請求項１に記載のフィルタ装置。
前記フィルタ参照画素決定手段は、ノイズ低減フィルタを掛ける元画の情報に基づいてフィルタ参照画素を決定する、請求項１又は２に記載のフィルタ装置。
前記フィルタ参照画素決定手段は、前記元画の情報と前記フィルタ対象画素の情報に基づいて各画素毎にフィルタ参照画素を決定する、請求項１又は２に記載のフィルタ装置。
前記ＮＲ処理実行手段の有する複数のノイズ低減フィルタは、フィルタ強弱などの特性を変える手段の一つとして前記フィルタ参照画素決定手段によりフィルタ参照画素を決定する、請求項１〜４に記載のフィルタ装置。
前記画像特徴量は、前記フィルタ参照画素決定手段により選ばれたフィルタ参照画素の２画素以上を用いて算出される、請求項１〜５に記載のフィルタ装置。
前記ノイズ低減フィルタ選択手段は、前記画像特徴量を算出するのに用いた画素がブロック境界を跨いでいる場合、ブロック境界用に設定された閾値を用いて前記ＮＲフィルタを選択する、ブロック境界判定手段を備えた請求項１〜６に記載のフィルタ装置。