Nothing Special   »   [go: up one dir, main page]

JPWO2010001911A1 - フィルタ装置 - Google Patents

フィルタ装置 Download PDF

Info

Publication number
JPWO2010001911A1
JPWO2010001911A1 JP2010519083A JP2010519083A JPWO2010001911A1 JP WO2010001911 A1 JPWO2010001911 A1 JP WO2010001911A1 JP 2010519083 A JP2010519083 A JP 2010519083A JP 2010519083 A JP2010519083 A JP 2010519083A JP WO2010001911 A1 JPWO2010001911 A1 JP WO2010001911A1
Authority
JP
Japan
Prior art keywords
pixel
value
adjacent
block
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010519083A
Other languages
English (en)
Inventor
知宏 猪飼
知宏 猪飼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JPWO2010001911A1 publication Critical patent/JPWO2010001911A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本発明に係るフィルタ装置(1)は、ブロックサイズが第1の閾値以上である処理対象ブロックの境界画素の画素値と、境界画素に隣接する隣接画素の画素値との差分絶対値を算出する差分値算出部(11)と、算出した差分絶対値が第2の閾値よりも小さい場合に、処理対象ブロックと隣接ブロックとの境界近傍に位置する処理対象画素のフィルタ処理前の画素値および隣接画素の画素値に基づいて、処理対象画素のフィルタ処理後の画素値を算出する画素値算出部(12)と、を備えている。これによって、画像を分割するブロックサイズの大きさに起因する演算量の増加を抑制しつつ、復号画像の画質の劣化を防止するフィルタ装置を提供することができる。

Description

本発明は、異なるサイズのブロックに分割して符号化された画像情報を復号する際に生じるブロックノイズを除去するフィルタ装置に関する。
画像符号化技術は、テレビジョン受像機から画像処理の可能な携帯電話まで、身近にある多くの映像機器に応用されている。
画像符号化技術の分野では、一般的には、画像データ(画像情報)を複数のブロックに分割し、分割したブロック単位で直交変換を行い、得られた変換係数を量子化したうえで、量子化された変換係数の可変長符号化により符号化する。このような符号化方法では、量子化において情報が損失することにより、画像に劣化が生じる。特には、直交変換を実行する単位である各ブロックの境界において生じる大きな歪み(いわゆる、ブロックノイズ)により、画像に大きな劣化が生じやすい。画像符号化処理において各ブロックの境界にブロックノイズが生じると、符号化された画像を復号した際にもブロックノイズが生じるため、画像を視聴するユーザーが不自然さを感じ易くなる。したがって、一般的な画像復号装置(または画像符号化装置)では、ブロックノイズを除去するために、各ブロックの境界に生じるブロックノイズをフィルタ処理するフィルタ装置が利用されている。
非特許文献1には、基本的なフィルタ処理技術について開示されている。非特許文献1に記載のフィルタ処理技術について、図16を参照しつつ以下に説明する。図16は、ブロック境界における画素および当該画素の画素値を模式的に示した図である。
図16では、画素値p0である画素P0と、画素値q0である画素Q0との間がブロックの境界であるとし、境界から離れるに従って、画素P1、P2、P3、および、画素Q1、Q2、Q3としている。また、各画素における画素値を、それぞれ、画素値p1、p2、p3、および、画素値q1、q2、q3としている。すなわち、図16では、ブロック境界において隣接する2つのブロックのうち、一方のブロックの画素値を画素値pk(kは境界からの距離により定められる値)、他方のブロックの画素値を画素値qk(kは境界からの距離により定められる値)として表している。なお、図16では、境界が水平方向の境界であるのか、または垂直方向の境界であるのかについては区別していない。
また、非特許文献1には、複数のフィルタ処理について開示されているが、本明細書等においては、BS=4と称されるモードを利用したフィルタ処理を例に挙げて説明する。
BS=4では、下記の式(13)および式(14)
d=ABS(p0−q0)・・・(13)
ap=ABS(p2−q0)・・・(14)
を用いて境界の状態を示す値「d」および「ap」を算出する。
次に、フィルタ装置は、算出された「d」および「ap」が、所定の閾値α、βに対して、d<α、かつ、ap<βである場合にフィルタ処理を施す。なお、上記の条件を満たさない場合には、処理対象画素に対するフィルタ処理は実行しない。
上記の条件を満たす場合、すなわちフィルタ処理を施す場合、フィルタ装置は、図17の(a)および図17の(b)に示したフィルタ係数(重み付け)に基づいて、フィルタ処理の処理対象となる画素に対してフィルタ処理を施す。すなわち、下記式
p0´=(p2+2×p1+2×p0+2×q0+q1)/8
p1´=(p2+p1+p0+q0)/4
p2´=(2×p3+3×p2+p1+p0+q0)/8
q0´=(q2+2×q1+2×q0+2×p0+p1)/8
q1´=(q2+q1+q0+p0)/4
q2´=(2×q3+3×q2+q1+q0+p0)/8
を用いて、フィルタ処理後の画素値を算出する。なお、下記式中の画素値p0´、p1´、p2´、q0´、q1´およびq2´は、フィルタ処理後の各処理対象画素における画素値を示している。また、図17の(a)および図17の(b)は、フィルタ処理を施す際の各画素値におけるフィルタ係数を示した図である。
このように、非特許文献1には、フィルタ処理の対象となる処理対象画素周辺の画素の画素値と、フィルタ処理の対象となる境界周辺の画素の画素値とを参照することにより、フィルタ処理を施すフィルタ処理方法について開示されている。しかし、非特許文献1に開示されているフィルタ処理方法は、演算量が非常に大きくなる処理であるため、実際のフィルタ処理では、非特許文献1に記載の処理技術を簡略化した技術が利用されている(例えば、特許文献1)。
特許文献1に記載のフィルタ処理技術であっても、フィルタ装置は、非特許文献1の開示されているフィルタ処理技術と同様に、フィルタ処理を施す前のブロック境界の状態を示す値を算出する。すなわち、フィルタ装置は、ABS(p1−q0)、ABS(p0−q0)およびABS(q0−q1)を算出する。そして、これらのブロック境界の状態を示す値が所定の閾値未満である場合、フィルタ装置は、フィルタ処理の対象となる処理対象画素に対して、フィルタ処理を施す。なお、これらの値が所定の閾値以上である場合には、処理対象画素に対するフィルタ処理は実行しない。
算出したブロック境界の状態を示す値が所定の閾値未満である場合、すなわちフィルタ処理を施す場合、特許文献1に記載のフィルタ装置は、ブロック境界画素の周辺の画素P1および画素Q1の画素値p1および画素値q1を用いて直線補間を行い、ブロック境界に隣接する画素P0および画素Q0におけるフィルタ処理後の画素値p0´および画素値q0´を算出する。具体的には、下記式(15)および式(16)
p0´=p1+(p1−q1)/3・・・(15)
q0´=q0+(q1−p1)/3・・・(16)
を用いてフィルタ処理後の画素P0´の画素値p0´および画素Q0´の画素値q0´を算出する。
図18は、特許文献1におけるフィルタ処理を模式的に示した図である。
なお、特許文献1には、上述したフィルタ処理技術以外にも、より多くの画素を参照することにより、曲線的な補間を実施する方法についても開示されている。
近年、符号化対象画像の高精細化と共に、直交変換を行うブロックのサイズの拡大が検討されている(例えば、非特許文献2参照)。非特許文献2に開示されているように、直交変換を行うブロックのサイズを拡大した場合には、画像の低周波成分、すなわち画像におけるゆるやかな変化が表現し易くなる。
日本国公開特許公報「特開2005−39766号公報」(公開日:平成17年2月10日)
ITU−T、「ISO/IEC14496−10」、2003年5月、第144〜153頁 境田慎一ら、「AVC/H.264の直交変換サイズ拡張による超高精細映像符号化」、電子情報通信学会総合大会D−11−41(2006)
直交変換などの変換を施すブロックのサイズを拡大する場合、直交変換などの変換を施すブロックのサイズに応じたフィルタ処理が必要になる。すなわち、従来よりも大きいサイズのブロックに対してもフィルタ処理を施す必要がある。
しかし、非特許文献1に記載のフィルタ処理技術では、フィルタ処理の対象となる処理対象画素周辺の画素における画素値と、フィルタ処理の対象となる境界周辺の画素の画素値とを参照しなければならない。そのため、直交変換を施すブロックのサイズが大きい場合には、従来のブロックサイズであっても膨大であった演算量がより一層膨大となる。すなわち、非特許文献1に記載のフィルタ処理技術は、従来よりも大きいサイズのブロックに対するフィルタ処理の現実的な手段とはなり得ない。
また、特許文献1に記載のフィルタ処理方法は、フィルタ処理の対象となる処理対象画素における元々の画素値を考慮することなく補間する方法であるため、フィルタ処理を施す範囲が大きくなった場合には適切な補間ができなくなる。そのため、フィルタ処理を施した復号画像において、依然として画質の劣化が生じてしまうという問題を有している。
本発明は、上記の問題点に鑑みてなされたものであり、その主たる目的は、ブロックサイズの大きさに起因する演算量の増加を抑制しつつ、復号される画像の画質の劣化を防止するフィルタ装置を提供することである。
本発明に係るフィルタ装置は、上記課題を解決するために、
サイズの異なる複数のブロックに分割して符号化された画像情報を復号する際に、あるブロックと当該あるブロックに隣接する隣接ブロックとの境界近傍に位置し、かつ、上記あるブロックに属する処理対象画素の画素値を補正するフィルタ装置であって、
上記あるブロックのサイズが第1の閾値以上であるか否かを判定する第1の判定手段と、
上記あるブロックのサイズが上記第1の閾値以上である場合、上記処理対象画素を有する行および列の少なくともいずれかに含まれる上記あるブロック内の画素であり、かつ、上記隣接ブロックに隣接する画素である境界画素の画素値と、上記隣接ブロックにおいて当該境界画素に隣接する隣接画素の画素値との差分絶対値を算出する差分値算出手段と、
算出した上記差分絶対値が第2の閾値よりも小さい場合、上記処理対象画素の画素値と、上記隣接画素の画素値とに基づいて、当該処理対象画素の補正後の画素値を算出する画素値算出手段と、を備えていることを特徴としている。
本発明に係るフィルタ装置は、あるブロックのサイズが第1の閾値以上であり、かつ、あるブロックにおける境界画素の画素値と、隣接ブロックにおいて当該境界画素に隣接する隣接画素の画素値との差分絶対値が第2の閾値よりも小さい場合、処理対象画素の補正前の画素値、および隣接画素の画素値に基づいて、処理対象画素の補正後の画素値を算出する画素値算出手段を備えている。
本発明に係るフィルタ装置における第1の閾値以上のサイズのブロックにおけるフィルタ処理では、必要最小限の画素の画素値を参照して、処理対象画素における補正後の画素値を算出する。すなわち、必要最小限の演算量により、処理対象画素に対してフィルタ処理を施すことができる。
これによって、本発明に係るフィルタ装置は、ブロックノイズの除去の対象となるブロックのサイズの大きさに起因する演算量の増加を抑制しつつ、復号した画像における画質の劣化を防止することができる効果を奏する。
本発明に係るフィルタ装置では、さらに、上記画素値算出手段は、上記処理対象画素が、行および列方向のいずれの方向においても上記あるブロックと上記隣接ブロックとの境界近傍に位置する場合、上記行方向の境界画素に隣接する隣接画素の画素値、および、上記列方向の境界画素に隣接する隣接画素の画素値を上記隣接画素の画素値として用いることが好ましい。
上記の構成によれば、処理対象画素が、行方向および列方向のいずれの方向においてもあるブロックと隣接ブロックとの境界近傍に位置する場合、すなわちブロックの隅のような隣接するブロックの水平方向および垂直方向のいずれの境界部にも近い領域に含まれる場合、水平方向のフィルタ処理と垂直方向のフィルタ処理とを同時に施すことができる。
これによって、処理対象画素に対して水平方向のフィルタ処理と垂直方向のフィルタ処理とが2重に施されてしまうことによる画質の劣化を防止することができる。すなわち、復号した画像の画質の劣化をより一層防止することができる効果を奏する。
本発明に係るフィルタ装置では、さらに、上記あるブロックの各行に含まれる画素のうち、上記隣接ブロックに隣接する境界画素から、行方向に隣接する画素間の画素値の差分絶対値が最初に第3の閾値以上となる画素まで、または、上記あるブロックの各列に含まれる画素のうち、上記隣接ブロックに隣接する境界画素から、列方向に隣接する画素間の画素値の差分絶対値が最初に第3の閾値以上となる画素までを上記処理対象画素とすることが好ましい。
上記の構成によれば、処理対象画素として設定される画素の範囲を、隣接ブロックに隣接する境界画素から、行方向に隣接する画素間の画素値の差分絶対値を算出することにより適宜設定することができる。
これによって、本発明に係るフィルタ装置は、行または列において、フィルタ処理を施す対象となる処理対象画素となり得る画素の範囲、すなわちあるブロックと隣接ブロックとの境界の近傍の意味する範囲を、行または列ごとに適宜設定することができる効果を奏する。
本発明に係るフィルタ装置では、さらに、上記あるブロックのサイズが上記第1の閾値よりも小さい場合、上記あるブロックに隣接するいずれかの隣接ブロックのサイズが上記第1の閾値以上であるか否かを判定する第2の判定手段をさらに備えており、上記画素値算出手段は、上記隣接ブロックのいずれかのサイズが上記第1の閾値以上である場合、上記隣接ブロックのサイズがいずれも上記第1の閾値より小さい場合と比べてフィルタ強度が強くなるように構成することが好ましい。
上記の構成によれば、あるブロックに隣接する隣接ブロックのサイズが第1の閾値未満である場合と比較して、隣接する隣接ブロックのサイズが第1の閾値以上である場合において顕著に生じやすいブロックノイズを除去することができる。
これによって、復号する画像における画質の劣化をより一層防止することができる効果を奏する。
本発明に係るフィルタ装置では、さらに、上記画素値算出手段は、下記式(1)
W1×p+W2×q/(W1+W2)・・・(1)
(上記式(1)中、pは上記処理対象画素の画素値、qは上記隣接画素の画素値、W1およびW2は所定の重み付け係数を示す)
を用いて上記処理対象画素の補正後の画素値を算出することが好ましい。
また、本発明に係るフィルタ装置では、さらに、上記画素値算出手段は、下記式(2)
WP×p+WH×q+WV×r/(WP+WH+WV)・・・(2)
(上記式(2)中、pは上記処理対象画素の画素値、qは行方向の境界画素に隣接する隣接画素の画素値、rは列方向の境界画素に隣接する隣接画素の画素値、WP、WHおよびWVは所定の重み付け係数を示す)
を用いて上記処理対象画素の補正後の画素値を算出することが好ましい。
本発明に係りフィルタ処理方法は、上記課題を解決するために、
サイズの異なる複数のブロックに分割して符号化された画像情報を復号する際に、あるブロックと当該あるブロックに隣接する隣接ブロックとの境界近傍に位置し、かつ、上記あるブロックに属する処理対象画素の画素値を補正するフィルタ処理方法であって、
上記あるブロックのサイズが第1の閾値以上であるか否かを判定する第1の判定ステップと、
上記あるブロックのサイズが上記第1の閾値以上である場合、上記処理対象画素を有する行および列の少なくともいずれかに含まれる上記あるブロック内の画素であって、かつ、上記隣接ブロックに隣接する画素である境界画素の画素値と、上記隣接ブロックにおいて当該境界画素に隣接する隣接画素の画素値との差分絶対値を算出する差分値算出ステップと、
算出した上記差分絶対値が第2の閾値よりも小さい場合、上記処理対象画素の画素値と、上記隣接画素の画素値とに基づいて、当該処理対象画素の補正後の画素値を算出する画素値算出ステップと、を含むことを特徴としている。
上記の構成によれば、本発明に係るフィルタ装置と同様の作用効果を奏する。
また、本発明に係るフィルタ装置を備えた復号装置および符号化装置についても本発明の範疇に含まれる。
なお、上記処理対象画素の補正後の画素値を算出するために参照する画素が、上記あるブロックに属する少なくとも1つの画素と、上記隣接ブロックに属する少なくとも1つの画素であれば、上記フィルタ装置と同様の効果を奏し得る。
すなわち、本発明に係るフィルタ装置は、サイズの異なる複数のブロックに分割して符号化された画像情報を復号する際に、あるブロックと当該あるブロックに隣接する隣接ブロックとの境界近傍に位置し、かつ、上記あるブロックに属する処理対象画素の画素値を補正するフィルタ装置であって、上記あるブロックのサイズが第1の閾値以上であるか否かを判定する第1の判定手段と、上記あるブロックのサイズが上記第1の閾値以上である場合、当該あるブロックに属する少なくとも1つの画素の画素値と、上記隣接ブロックに属する少なくとも1つの画素の画素値とに基づいて、上記処理対象画素の補正後の画素値を算出する画素値算出手段と、を備えている構成としてもよい。また、上記画素値算出手段は、上記あるブロックのサイズが上記第1の閾値以上の場合、当該あるブロックのサイズが上記第1の閾値より小さい場合において用いるよりも少ない数の画素を用いて上記処理対象画素の補正後の画素値を算出する構成としてもよい。
本発明に係るフィルタ装置は、以上のように、ブロックノイズを除去する対象となるあるブロックのサイズが第1の閾値以上であり、かつ、あるブロックにおける境界画素の画素値と、隣接ブロックにおいて当該境界画素に隣接する隣接画素の画素値との差分絶対値が第2の閾値よりも小さい場合、あるブロックと境界ブロックとの境界近傍に位置する処理対象画素の補正前の画素値、および隣接画素の画素値に基づいて、処理対象画素の補正後の画素値を算出する画素値算出手段を備えている。
これによって、本発明に係るフィルタ装置では、処理対象画素を有する対象ブロックのサイズの大きさに起因する演算量の増加を抑制しつつ、復号される画像の画質の劣化を防止することができる効果を奏する。
実施形態1に係るフィルタ装置の要部構成を示すブロック図である。 実施形態1に係るフィルタ装置の動作を示すフローチャートである。 ある画像データにおけるブロック分割を模式的に示した図である。 対象ブロックのサイズが閾値Th1以上のブロックにおける処理対象画素を有する領域を模式的に示した図である。 ブロックの境界部分における画素を模式的に示した図である。 画素P0〜P7および画素Q0におけるフィルタ係数の一例を示す図である。 対象ブロックのサイズが閾値Th1未満であり、隣接ブロックのサイズが閾値Th1以上のブロックにおける処理対象画素を有する領域を模式的に示した図である。 ブロックの境界部分における画素を模式的に示した図である。 閾値Th3の設定方法を示すフローチャートである。 対象ブロックにおいて、隣接するブロックの水平方向および垂直方向のいずれの境界部にも近い領域を示す図である。 図10において斜線により示した領域における画素を模式的に示す図である。 平面的なフィルタ処理を施す領域を模式的に示す図である。 平面的なフィルタ処理を施す際のフィルタ係数の一例を示す図であり、(a)はWVのフィルタ係数を示しており、(b)はWHのフィルタ係数を示しており、(c)はWPのフィルタ係数を示している。 平面的なフィルタ処理を施す際のフィルタ係数の変形例の一例を示す図であり、(a)はWV´のフィルタ係数を示しており、(b)はWP´のフィルタ係数を示している。 実施形態2に係る復号装置の要部構成を示すブロック図である。 ブロック境界における画素および当該画素の画素値を模式的に示した図である。 フィルタ係数の一例を示す図であり、(a)は画素値p0´、p1´、p2´を算出する際のフィルタ係数を示しており、(b)は画素値q0´、q1´、q2´を算出する際のフィルタ係数を示している。 従来技術におけるフィルタ処理を模式的に示した図である。
〔実施形態1〕
本発明に係るフィルタ装置の一実施形態を実施形態1として、図1〜14を参照しつつ以下に説明する。本発明に係るフィルタ装置は、複数のブロックに分割して符号化された画像データ(画像情報)を復号する際に生じるブロックノイズを除去するためのものである。このようなブロックノイズは、隣接するブロックの境界において特に顕著である。したがって、本発明に係るフィルタ装置は、ブロックの境界近傍に位置する処理対象画素に対してブロックノイズを除去するためのフィルタ処理を施す。
(フィルタ装置1の構成)
本実施形態に係るフィルタ装置1の構成を図1に示す。図1は、フィルタ装置1の要部構成を示すブロック図である。図1に示すように、フィルタ装置1は、フィルタ処理前の画素値(補正前の画素値)を入力とし、フィルタ処理後の画素値(補正後の画素値)を出力とする。画素値の入出力の単位は、1画素単位であってもよいし、フィルタ処理の対象となる処理対象画素を有する対象ブロックにおけるブロック境界周辺の複数の画素値を入出力の単位であってもよい。また、フィルタ装置1は、フィルタ処理後の画素値を算出する際に参照する画素値の決定のために、フィルタ処理を施す処理対象画素を有する対象ブロックのサイズを参照する。
フィルタ装置1は、図1に示すように、ブロックサイズ判定部10、差分値算出部11、画素値算出部12、隣接ブロックサイズ判定部13、および出力部14を備えている。各部材について、以下に説明する。
(ブロックサイズ判定部10)
ブロックサイズ判定部10は、画像データを分割する複数のブロックにおいて、フィルタ処理を施す処理対象画素を有する対象ブロックのサイズが閾値Th1以上であるか否かを判定する。
閾値Th1としては、例えば、ブロックの面積(ブロックに含まれる画素の総数)の値を用いることができる。例えば、閾値Th1を1024として設定した場合、ブロックサイズ判定部10は、8×8、16×16、および32×32のサイズのブロックのうち、32×32のサイズのブロックを閾値Th1以上のサイズであると判定する。もちろん、閾値Th1としてブロックの面積以外の値を用いることもできる。ブロックの面積以外としては、例えば、ブロックの縦または横における画素の数を閾値Th1とすることができる。
なお、本明細書等において、フィルタ処理の対象となる「ブロック」とは、変換または逆変換処理における変換または逆変換の単位となるブロックと同一のものである。すなわち、本明細書等における「ブロックのサイズ」とは、変換または逆変換における変換サイズと同じサイズとなる。すなわち、フィルタ装置1におけるブロックのサイズは、画像符号化装置(図示しない)において直交変換を施す変換サイズに等しく、また画像復号装置(図示しない)において逆直交変換を施す変換サイズに等しい。例えば、8×8DCTを用いて直交変換した場合には、フィルタ処理の対象となるブロックのサイズは、8×8のサイズとなる。
また、画像符号化装置では、直交変換の前に縮小・間引き(サブサンプリング)を行い、画像復号装置における逆直交変換の後に拡大・補間を行う場合がある。この場合、フィルタ処理の対象となるブロックのサイズは、前述のように直交変換を行った変換サイズと同じサイズとはならない。この場合のブロックのサイズは、直交変換前の縮小・間引きの前のブロックのサイズ(拡大・補間の後のブロックのサイズ)と同じサイズとなる。なお、ブロックのサイズはスカラー値ではなく、横×縦により表されるベクトル値である。
ここで、ブロックのサイズを表す「A×A」とは、ブロックにおける横方向の画素の数と縦方向の画素の数とを示している。すなわち、本明細書等における「8×8」とは、横方向に8画素、縦方向に8画素の計64画素からなるブロックであることを意味している。
(差分値算出部11)
差分値算出部11は、画素値の差分絶対値を算出する。より具体的には、対象ブロックに隣接する隣接ブロックの画素に隣接する画素である境界画素の画素値と、隣接ブロックにおいて境界画素に隣接する隣接画素の画素値との差分絶対値を算出する。また、場合によっては、対象ブロックにおける画素の画素値の差分絶対値も算出する。差分値算出部11において算出する差分絶対値は、対象ブロックのサイズに応じて決定される。どのような場合にどのような差分絶対値を算出するのかについては、下記に詳述する。
なお、本明細書等における「隣接」とは、基準となる画素またはブロックに対して縦方向(垂直方向)または横方向(水平方向)において接することを意味している。すなわち、基準となる画素またはブロックに対して斜め方向に接するブロックまたは画素は、本明細書等において隣接する画素またはブロックの範疇には含まれない。
また、本明細書等における「差分絶対値」とは、画素値の差分の絶対値を意味している。
(画素値算出部12)
画素値算出部12は、対象ブロックにおける処理対象画素をフィルタ処理することにより、処理対象画素におけるフィルタ処理後の処理後画素値を算出する。処理対象画素のフィルタ処理前の処理前画素値から処理後画素値を算出する算出方法については、対象ブロックのサイズに応じて決定される。どのような場合にどのような算出方法を用いるのかについては、下記に詳述する。
(隣接ブロックサイズ判定部13)
隣接ブロックサイズ判定部13は、対象ブロックのサイズが閾値Th1より小さいときに、対象ブロックに隣接するいずれかの隣接ブロックのサイズが閾値Th1以上であるか否かを判定する。すなわち、対象ブロックに隣接するブロックに閾値Th1以上のサイズのブロックがあるか否かを判定する。
(出力部14)
出力部14は、処理対象画素の処理前画素値を、画素値算出部12において算出した処理後画素値に置き換える。すなわち、処理対象画素の画素値を置換する画素値置換手段である。なお、処理後画素値の出力先については、フィルタ装置1の備えられている装置およびフィルタ装置1の用途に応じて適宜変更される。例えば、フィルタ装置1がループフィルタとして画像復号装置に備えられている場合には、出力部14は復号画像の格納されているフレームメモリに対して出力される。
(フィルタ装置1の動作の概要)
次に、フィルタ装置1の動作の概要について、図2を参照しつつ以下に説明する。図2は、フィルタ装置1の動作の概要を示すフローチャートである。
まず、フィルタ装置1は、フィルタ処理を施す処理対象画素を有する対象ブロックを設定する(ステップS1)。続いて、ブロックサイズ判定部10は、対象ブロックのサイズが閾値Th1以上であるか否かを判定する(ステップS2)。対象ブロックのサイズが閾値Th1以上である場合(ステップS2においてYes)、差分値算出部11は、差分絶対値を算出する(ステップS3)。なお、ステップS3において算出される差分絶対値については、下記に詳述する。
画素値算出部12は、ステップS3において算出した差分絶対値が閾値Th2(第2の閾値)より小さい場合、処理対象画素の処理後画素値を算出する(ステップS4)。なお、差分絶対値が閾値Th2以上である場合には、画素値算出部12は処理対象画素の処理後画素値を算出しない。すなわち、フィルタ装置1は、処理対象画素におけるフィルタ処理を中止する。最後に、出力部14は、算出した処理後画素値を出力する(ステップS5)。対象ブロックのサイズが閾値Th1以上である場合におけるフィルタ装置1の処理を、以下、パターンAと称する。
一方、対象ブロックのサイズが閾値Th1未満である場合(ステップS2においてNo)、隣接ブロックサイズ判定部13は対象ブロックに隣接する隣接ブロックのサイズが、閾値Th1以上であるか否かを判定する(ステップS6)。隣接ブロックのサイズが閾値Th1以上である場合(ステップS6においてYes)、差分値算出部11は、差分絶対値を算出する(ステップS7)。なお、このとき差分値算出部11において算出される差分絶対値は、ステップS3において算出される差分絶対値とは異なる。ステップS7において算出される差分絶対値については、下記に詳述する。
画素値算出部12は、ステップS7において算出した差分絶対値が所定の閾値より小さい場合、処理対象画素の処理後画素値を算出する(ステップS8)。なお、ステップS8における処理後画素値の算出方法は、ステップS4における処理後画素値の算出方法とは異なる。また、差分絶対値が所定の以上である場合には、画素値算出部12は処理対象画素の処理後画素値を算出しない。すなわち、処理対象画素におけるフィルタ処理を中止する。
最後に、出力部14は、算出した処理後画素値を出力する(ステップS5)。対象ブロックのサイズが閾値Th1未満であり、かつ、隣接ブロックのサイズが閾値Th1以上の場合におけるフィルタ装置1の処理を、以下、パターンBと称する。
また、隣接ブロックのサイズが閾値Th1未満である場合(ステップS6においてNo)、差分値算出部11は、差分絶対値を算出する(ステップS9)。なお、このとき差分値算出部11において算出される差分絶対値は、ステップS3およびステップS7において算出される差分絶対値とは異なる。なお、ステップS9において算出される差分絶対値については、下記に詳述する。
画素値算出部12は、ステップS9において算出した差分絶対値が所定の閾値より小さい場合、処理対象画素の処理後画素値を算出する(ステップS10)。なお、ステップS10における処理後画素値の算出方法は、ステップS4およびステップS8における処理後画素値の算出方法とは異なる。また、差分絶対値が所定の以上である場合には、画素値算出部12は処理対象画素の処理後画素値を算出しない。すなわち、処理対象画素におけるフィルタ処理を中止する。
最後に、出力部14は、算出した処理後画素値を出力する(ステップS5)。対象ブロックのサイズが閾値Th1未満であり、かつ、隣接ブロックのサイズも閾値Th1未満の場合におけるフィルタ装置1の処理を、以下、パターンCと称する。
以上説明したように、フィルタ装置1の処理は、対象ブロックのブロックサイズおよび対象ブロックサイズに隣接する隣接ブロックサイズのサイズに応じて、3つの処理パターン(パターンA〜C)に分かれる。これら3つの処理の詳細について、以下に説明する。
(パターンA:対象ブロックのサイズが閾値Th1以上の場合)
フィルタ処理の処理対象画素を有する対象ブロックのサイズが閾値Th1以上である場合における処理対象画素の画素値の算出方法(パターンA)の詳細について、図3〜6を参照しつつ以下に説明する。
ここで、本項では、フィルタ処理の対象となる画像が、図3に示すように分割されている場合を例に挙げて説明する。図3は、ある画像におけるブロック分割の一例を模式的に示した図である。図3に示すように、フィルタ処理の対象となる画像は、32×32のサイズのブロック、16×16のサイズのブロック、および8×8のサイズのブロックの3つのサイズのブロックに分割されている。すなわち、図3に示す画像データは、異なるサイズのブロックにより分割されている。
また、本項では、閾値Th1が「1024」である場合を例に挙げて説明する。したがって、図3において閾値Th1以上であるブロックは32×32のサイズのブロックとなる。すなわち、パターンAの動作によりフィルタ処理を施す画素は、図4において斜線により示した領域の画素となる。図4は、対象ブロックのサイズが閾値Th1以上のブロックにおいてフィルタ処理を施す画素を有する領域を模式的に示した図である。
図5は、図4において斜線により示した領域に含まれる画素を模式的に示した図である。すなわち、ブロックの境界部分における画素を模式的に示した図である。図5では、互いに隣接するブロックのうち、一方のブロックの画素を画素Piとし、もう一方のブロックの画素を画素Qiとしている(iは0〜nであり、nは任意の整数)。なお、画素Piおよび画素Qiにおけるiは、ブロック境界に近いほど値が小さくなる。
また、図5では、画素Piおよび画素Qiに対応する画素値をそれぞれ画素値piおよび画素値qiとして示しており、処理対象画素Pkにおける処理前の画素値pkに対応する処理後の画素値をpk´として示している。ここで、kは閾値Th3以下の整数である。本項では、k=0〜7である場合、すなわち閾値Th3=7である場合を例に挙げて説明する。なお、閾値Th3の詳細な設定方法については下記に詳述するため、ここではその説明を省略する。
パターンAの処理では、差分値算出部11が境界画素の画素値と、隣接画素の画素値との差分絶対値を算出し、画素値算出部12が算出した差分絶対値が閾値Th2よりも小さい場合、処理対象画素の画素値と、隣接画素の画素値とに基づいて、処理対象画素の補正後の画素値を算出する。
具体例を用いてより詳細に説明すると、差分値算出部11は、対象ブロックに隣接する隣接ブロックの画素に隣接する、対象ブロックの画素である境界画素P0の画素値p0と、隣接ブロックにおいて境界画素P0に隣接する隣接画素Q0の画素値q0との差分絶対値dを算出する。すなわち、差分値算出部11は、図2におけるステップS3において、下記式(1)
d=ABS(p0−q0)・・・(1)
を用いて差分絶対値dを算出する。
次に、画素値算出部12は、差分値算出部11において算出した差分絶対値dが閾値Th2未満であるか否かを判定する。すなわち、d<αであるか否かを判定する(α=閾値Th2)。差分絶対値dが閾値Th2未満である場合、すなわちd<αである場合、画素値算出部12は、処理対象画素Pkの処理前の画素値pkおよび隣接画素Q0の画素値q0に基づいて、処理対象画素Pkの処理後の画素値pk´を算出する。
より具体的には、下記式(2)
pk´=(W1×pk+W2×q0)/(W1+W2)・・・(2)
を用いて処理後の画素値pk´を算出する。
なお、式(2)中、W1およびW2は、境界画素からの画素数に応じて設定されている所定のフィルタ係数(重み付け係数)であり、0≦W1、W2≦W1+W2を満たす値である。
各画素におけるフィルタ係数の具体的な例を図6に示す。図6は、画素P0〜P7および画素Q0におけるフィルタ係数の一例を示す図である。処理対象画素P0〜P7における処理後の画素値p0´〜p7´の算出式を、図6に示したフィルタ係数を用いて示すと
p0´=(4×p0+4×q0)/8
p1´=(4×p1+4×q0)/8
p2´=(5×p2+3×q0)/8
p3´=(5×p3+3×q0)/8
p4´=(6×p4+2×q0)/8
p5´=(6×p5+2×q0)/8
p6´=(6×p6+2×q0)/8
p7´=(7×p7+1×q0)/8
となる。
最後に、出力部14は、画素値算出部12において算出した処理後画素値pk´を出力する。なお、出力部14がフィルタ処理後の画素値pk´を出力する先については、フィルタ装置1の搭載されている装置の種類に応じて適宜変更される。
なお、ここでは処理対象画素が画素Pkである場合を例に挙げて説明したが、もちろん処理対象画素が画素Qkであってもよい。この場合は、上記式(2)における画素値pkおよび画素値q0をそれぞれ画素値qkおよび画素値p0と読みかえればよい。
(パターンAの処理動作に関する利点)
以上説明したように、フィルタ装置1におけるパターンAの処理では、処理対象画素Pkの画素値pkおよび隣接画素Q0の画素値q0の2つの画素の画素値のみから、処理対象画素Pkの処理後の画素値pk´を算出する。これは、ブロックサイズの大きいブロックでは、処理対象画素Pkの周辺の画素の画素値を用いて処理後の画素値pk´を算出したとしても、算出される画素値pk´の値がほとんど変化しないためである。
より具体的に説明すると、複数のサイズに分割したブロックを符号化する符号化方式の場合、高周波数成分を含む領域(画素値の変化の大きい領域)は小さなサイズのブロックで符号化され、低周波数成分を含む領域(画素値の変化の小さな領域)は大きなサイズのブロックで符号化される。特に、32×32のサイズのブロックのような8×8のサイズを大きく超えるブロックでは、低周波数成分のみからなる領域となることが多い。
そのため、大きなサイズのブロックでは、処理対象画素Pkの画素値pkと、処理対象画素Pkの周辺の画素(例えば、画素Pk−1の画素値pk−1および画素Pk+1の画素値pk+1)との差が小さくなる。したがって、処理後の画素値pk´を算出する際に、処理対象画素Pkの画素値pkに加えて、処理対象画素Pkの周辺の画素を参照したとしても、算出される画素値はほとんど変化しない。
また、ある画素のフィルタ処理にその周辺の画素値を利用すれば、画素値の変化を抑制することが可能である。しかし、この効果はブロック境界付近の画素に対しては有効であるが、ブロック境界から離れた画素については不要である。サイズの大きいブロックでは、ブロック境界から離れた処理対象画素もサイズの小さいブロックに比べて多くなるため、処理対象画周辺の画素の画素値を参照する必要がない処理対象画素が多くなる。
このように、閾値Th1以上のサイズのブロックにおけるフィルタ処理では、フィルタ処理後の画素値を算出するために、処理対象画素および隣接画素の画素値のみを用いれば十分である。すなわち、フィルタ装置1は、処理対象画素Pkの画素値pkおよび隣接画素Q0の画素値q0の2つの画素の画素値のみから、処理対象画素Pkの処理後の画素値pk´を算出すればよい。これによって、フィルタ装置1は、ブロックのサイズの大きさに起因する演算量の増加を抑制しつつ、復号画像における画質の劣化を防止することができる。
なお、本明細書等における「防止」とは。画質の劣化を完全に防ぐことを意味するものではなく、従来と比較してわずかでも抑制することを意味している。
(パターンB:対象ブロックのサイズが閾値Th1未満であり、隣接ブロックのサイズが閾値Th1以上である場合)
次に、フィルタ処理の処理対象画素を有する対象ブロックのサイズが閾値Th1未満であり、隣接ブロックのサイズが閾値Th1以上である場合における処理対象画素の画素値の算出方法(パターンB)の詳細について以下に説明する。なお、本項でも、上述したパターンAにおける処理と同様に、フィルタ処理の対象となる画像が図3に示すように分割されており、閾値Th1が「1024」である場合を例に挙げて説明する。すなわち、閾値Th1以上であるブロックは32×32のサイズのブロックであり、閾値Th1未満であるブロックは8×8のサイズおよび4×4のサイズのブロックとなる。
したがって、パターンBの動作によりフィルタ処理を施す画素は、図7において斜線により示した領域に含まれる画素となる。図7は、対象ブロックのサイズが閾値Th1未満であり、対象ブロックに隣接する隣接ブロックのサイズが閾値Th1以上のブロックにおいてフィルタ処理を施す画素を有する領域を模式的に示した図である。
なお、本項では図5に示した画素Qkを処理対象画素とする場合を例に挙げて説明する。すなわち処理前の画素値qkに対応する処理後の画素値を画素値qk´となる。なお、kは閾値Th3以下の整数である。本項では、閾値Th3=2である場合、すなわちk=0〜2である場合を例に挙げて説明する。
パターンBにおける処理では、差分値算出部11は、対象ブロックに隣接する隣接ブロックの画素に隣接する、対象ブロックの画素である境界画素Q0の画素値q0と、隣接ブロックにおいて境界画素Q0に隣接する隣接画素P0の画素値p0との差分絶対値dを算出すると共に、境界画素Q0の画素値q0と画素Q2の画素値q2との差分絶対値apを算出する。すなわち、差分値算出部11は、図2におけるステップS7において、下記式(3)および(4)
d=ABS(p0−q0) ・・・(3)
ap=ABS(q2−q0)・・・(4)
を用いて差分絶対値dおよび差分絶対値apを算出する。
次に、画素値算出部12は、差分値算出部11において算出した差分絶対値dおよび差分絶対値apが、それぞれ所定の閾値α1およびβ1未満であるか否かを判定する。すなわち、画素値算出部12は、d<α1かつap<β1であるか否かを判定する。
差分値算出部11において算出した差分絶対値dおよび差分絶対値apがd<α1かつap<β1を満たす場合、画素値算出部12は、隣接画素P0の画素値p0、処理対象画素Qkの処理前の画素値qkおよび処理対象画素Qk周辺の画素の画素値に基づいて、処理対象画素Qkの処理後の画素値qk´を算出する。
処理対象画素Q0、Q1およびQ2における処理後の画素q0´、q1´、q2´の具体的な算出式の一例を以下に示す。
q0´=(q2+2×q1+2×q0+3×p0)/8
q1´=(q2+q1+q0+p0)/4
q2´=(2×q3+2×q2+q1+q0+2×p0)/8
もちろん、下記式におけるフィルタ係数の数値は一例であり、その数値は適宜変更することができる。
最後に、出力部14は、画素値算出部12において算出した処理後画素値qk´を出力する。
(パターンC:対象ブロックのサイズが閾値Th1未満であり、隣接ブロックのサイズも閾値Th1未満である場合)
最後に、フィルタ処理の処理対象画素を有する対象ブロックのサイズが閾値Th1未満であり、隣接ブロックのサイズが閾値Th1未満である場合における処理対象画素の画素値の算出方法(パターンC)の詳細について以下に説明する。ここでも、パターンAおよびパターンBの場合と同様に画像データが図3に示すように分割されている場合を例に挙げて説明する。この場合、パターンCにおけるフィルタ処理を施す処理対象画素は、図4および図7において斜線により示されている領域以外の領域に含まれる画素となる。
パターンCの処理は、従来のフィルタ装置における処理と同様の方法により処理すればよい。パターンCの処理について以下に具体的に説明する。なお、本項では、図5において示した画素Pkを処理対象画素Pkとする場合を例に挙げて説明する。すなわち、処理前の画素値pkに対応する処理後の画素値をpk´となる。ここで、kは閾値Th3以下の整数である。本項では、閾値Th3=2である場合、すなわちk=0〜2である場合を例に挙げて説明する。
差分値算出部11は、対象ブロックに隣接する隣接ブロックの画素に隣接する、対象ブロックの画素である境界画素P0の画素値p0と、隣接ブロックにおいて境界画素P0に隣接する隣接画素Q0の画素値q0との差分絶対値dを算出すると共に、境界画素P0の画素値p0と画素P2の画素値p2との差分絶対値apを算出する。すなわち、差分値算出部11は、図2におけるステップS9において、下記式(5)および(6)
d=ABS(p0−q0) ・・・(5)
ap=ABS(p2−p0)・・・(6)
を用いて差分絶対値dおよび差分絶対値apを算出する。
次に、画素値算出部12は、差分値算出部11において算出した差分絶対値dおよび差分絶対値apが、それぞれ所定の閾値α2およびβ2未満であるか否かを判定する。すなわち、画素値算出部12は、d<α2かつap<β2であるか否かを判定する。
差分値算出部11において算出した差分絶対値dおよび差分絶対値apがd<α2かつap<β2を満たす場合、画素値算出部12は、処理対象画素Pkの処理前の画素値pkおよび処理対象画素Pk周辺の画素の画素値に基づいて、処理対象画素Pkの処理後の画素値pk´を算出する。
処理対象画素P0、P1およびP2における処理後の画素p0´、p1´、p2´の具体的な算出式の一例を以下に示す。
p0´=(p2+2×p1+2×p0+2×q0+q1)/8
p1´=(p2+p1+p0+q0)/4
p2´=(2×p3+3×p2+p1+p0+q0)/8
もちろん、下記式におけるフィルタ係数の数値は一例であり、その数値は適宜変更することができる。
最後に、出力部14は、画素値算出部12において算出した処理後画素値pk´を出力する。
また、処理対象画素を画素Qkとしてもよい。この場合には、上記の式の「p」を「q」に読みかえればよい。すなわち、
q0´=(q2+2×q1+2×q0+2×p0+p1)/8
q1´=(q2+q1+q0+p0)/4
q2´=(2×q3+3×q2+q1+q0+p0)/8
となる。
ここで、対象ブロックに隣接する隣接ブロックのサイズが閾値Th1以上である場合には、隣接ブロックのサイズが閾値Th1未満である場合と比較して、ブロックの境界におけるブロックノイズが顕著となることが多い。これは、閾値Th1よりも大きいサイズのブロックでは、ブロックにおける画素値の変化が小さい、すなわち画像が平坦であるためである。したがって、パターンBにおけるフィルタ処理では、パターンCにおけるフィルタ処理よりもフィルタ強度を強くすることが好ましい。
すなわち、パターンBにおける閾値α1およびβ1とパターンCにおける閾値α2およびβ2とを比較したとき、α1>α2かつβ1>β2であることが好ましい。これによって、パターンBの処理の方がフィルタがかかりやすくなるため、パターンCの処理に比べて強いフィルタを施すことができる。
また、パターンBの処理において各画素値に乗ずるフィルタ係数の値を、パターンCの処理よりもローパス効果が高くなるように設定するようにしてもよい。このようにした場合もパターンCの処理に比べて、パターンBの処理の方が処理対象画素に対してフィルタ強度の強い処理を施すことができる。
(パターンAの変形例)
上述したように、パターンAの処理によるフィルタ方法では、対象ブロックに隣接する隣接ブロックにおいて境界方向に垂直な成分の画素値の変化が大きい場合、すなわち画素値q0周辺の変化が大きい場合にも隣接画素Q0の画素値q0のみを用いる。しかし、対象ブロックに隣接する隣接ブロックにおける隣接画素の画素値において、当該画素値の周辺の変化が大きい場合には、フィルタ処理によって画素値の変化が対象ブロックに及ぼされることがある。この場合、フィルタ処理の対象となる対象ブロックが波打つ(線上のノイズが生じる)ことがある。このような、ノイズは、フィルタ対象範囲が広くなる場合において、特に目立ち、復号した画像が視覚的に不自然に見える可能性が高い。
そのため、このような場合には、処理対象画素Pkの画素値pk´の算出に隣接画素Q0の画素値q0をそのまま用いているのではなく、事前にフィルタ処理した隣接画素の画素値を用いることが好ましい。事前に隣接画素をフィルタ処理する場合におけるフィルタ処理(パターンAの処理の変形例)について、以下に具体的に説明する。
図8は、図5の拡張した図であり、対象ブロックに隣接する1つの境界だけでなく、対象ブロックに隣接する境界全体を示した図である。図8では、互いに隣接するブロックのうち、一方のブロックの画素を画素Pijとし、もう一方のブロックの画素を画素Qijとする(iは0〜nであり、nは任意の整数)。なお、画素Pijおよび画素Qijにおけるiは、ブロック境界に近いほど値が小さくなる。jは、境界に垂直な成分を現すためのインデックスであり、0から〔対象ブロックの垂直方向の画素数−1〕までの値を取る。
したがって、画素Pijの画素値pij´の算出の際には、隣接ブロックの各隣接画素Q0jの画素値q0jを予めフィルタ処理し、そのフィルタ処理後の画素値q0j´を参照する。
この場合、処理対象画素P0j〜P7jにおける処理後の画素値p0j´〜p7j´の算出式の一例を示すと、
p0j´=(4×p0j+4×q0j´)/8
p1j´=(4×p1j+4×q0j´)/8
p2j´=(5×p2j+3×q0j´)/8
p3j´=(5×p3j+3×q0j´)/8
p4j´=(6×p4j+2×q0j´)/8
p5j´=(6×p5j+2×q0j´)/8
p6j´=(6×p6j+2×q0j´)/8
p7j´=(7×p7j+1×q0j´)/8
となる。
なお、画素Q0jの画素値q0j´は、境界方向に垂直な画素間において、ローパス効果がかかるように算出すればよい。
例えば、q0k´=(5×q0k-1 + 6×q0k + 5×q0k+1)/16のような算出式により算出すればよい。なお、ここで、kはjの取りえる範囲内における任意の整数である。
このような処理をすることにより、隣接画素の周辺における画素値の変化が大きい場合であっても、復号した画像におけるブロックノイズの発生を防止することができる。
また、フィルタ処理の対象範囲が広くなればなるほど、同様の変化が水平方向もしくは垂直方向という特定の方向に長く連続することになる。そのため、ブロック境界に生じるブロックノイズが目立つ可能性が高くなる。すなわち、上述したように画素Q0jの画素値q0j´を算出した場合であっても、対象ブロックと隣接ブロックとの間におけるブロックノイズが目立つこと場合がある。
その場合、以下に示すように、フィルタ処理対象画素の位置がブロック境界から離れるにつれて、q0k´を変更するようにすることが好ましい。
より具体的には、画素Q0kの画素値q0k´を用いた算出式である下記式
q0k´´=(5×q0k-1´ + 6×q0k´ + 5×q0k+1´)/16
により算出される画素値q0k´´を画素値q0k´の代わりに用いるようにすることが好ましい。
同様に、画素値q0k´´´の場合には、画素Q0kの画素値q0k´´を用いた算出式である下記式
q0k´´´=(5×q0k-1´´ + 6×q0k´´ + 5×q0k+1´´)/16
を用いればよい。
このようにすることによって、処理対象画素P0j〜P7jにおける処理後の画素値p0j´〜p7j´の算出式の一例を示すと、
p0j´=(4×p0j+4×q0j´)/8
p1j´=(4×p1j+4×q0j´)/8
p2j´=(5×p2j+3×q0j´´)/8
p3j´=(5×p3j+3×q0j´´)/8
p4j´=(6×p4j+2×q0j´´´)/8
p5j´=(6×p5j+2×q0j´´´)/8
p6j´=(6×p6j+2×q0j´´´)/8
p7j´=(7×p7j+1×q0j´´´)/8
となる。
なお、フィルタ処理の対象となる対象ブロックにおける1つの境界をフィルタ処理する度に、隣接ブロックの隣接画素値q0j´、q0j´´などを随時算出することは、処理量の増加をまねくため好適ではない。すなわち、隣接ブロックの隣接画素値q0j´、q0j´´などは、フィルタ処理する前に予め算出しておくことが好ましい。
また、上述の変形例では、垂直方向の場合を例に挙げて説明したが、もちろん水平方向の場合であっても同様である。
(閾値Th3の設定方法の詳細)
次に、閾値Th3、すなわち対象ブロックにおける処理対象画素の範囲の設定について以下に説明する。閾値Th3は、あるブロックにおける行または列に含まれる画素であり、あるブロックに隣接する隣接ブロックに隣接する境界画素から、行または列方向に隣接する画素間の画素値の差分絶対値が最初に閾値Th4(第3の閾値)以上となる画素までの画素数である。閾値Th3は、予め設定されている値であってもよいし、所定のアルゴリズムにより設定される値であってもよい。言い換えれば、フィルタ装置1は、あるブロックの各行または各列に含まれる画素のうち、隣接ブロックに隣接する境界画素から、行方向または列方向に隣接する画素間の画素値の差分絶対値が最初に閾値Th4以上となる画素まで、を処理対象画素とする。
なお、本明細書等における「画素数」とは、境界画素を基点としていくつ目の画素であるのかを示す値を意味している。具体的に図5を参照して説明すると、画素数2の画素は、画素P0を基点とした場合、画素P2となる。なお画素数0の画素は画素P0となる。
閾値Th3の設定方法について、図9を参照しつつ以下に説明する。図9は、閾値Th3の設定方法を示すフローチャートである。なお、本項における画素Pkとは、対象ブロックにおける任意の画素を示しており、画素値pkとは、画素Pkの画素値を示している。また、kは任意の整数である。k=0の画素、すなわち画素P0が対象ブロックにおける境界画素を示しており、kの値が大きくなるにつれて境界画素からの距離が遠くなる。すなわち、kの値は、画素Pkにおける画素数の値と一致する。
まず、フィルタ装置1は、kの値を「0」に設定する、すなわち対象とする画素を画素P0と設定する(ステップS20)。続いて、差分値算出部11は、画素P0の画素値p0と、対象ブロックに隣接する隣接ブロックにおいて画素P0に隣接する隣接画素Q0の画素値q0との差分絶対値を算出する(ステップS21)。そして、差分値算出部11は、算出した差分絶対値が閾値Th2以上であるか否かを判定する(ステップS22)。算出した差分絶対値が閾値Th2以上である場合(ステップS22においてYes)、フィルタ装置1は、処理対象画素に対するフィルタ処理を中止する。これは、上述のフィルタ装置1の動作(図2)において説明したステップS4における処理と同様である。
算出した差分絶対値が閾値Th2未満である場合(ステップS22においてNo)、フィルタ装置1は、kの値に「1」を加算する(ステップS23)。続いて、差分値算出部11は、画素Pkの画素値pkと、画素P(k−1)の画素値p(k−1)との差分絶対値を算出する(ステップS24)。次に、フィルタ装置1は、ステップS24において算出した差分絶対値が閾値Th4以上であるか否かを判定する(ステップS25)。なお、閾値Th4は、フィルタ装置1において予め設定されている値である。閾値Th4は、フィルタ装置1において固定された値であってもよいし、ユーザーにより適宜設定される値であってもよい。
ステップS24において算出した差分絶対値が閾値Th4以上である場合(ステップS25においてNo)、フィルタ装置1は、その時点におけるkの値から「1」を減じた値を閾値Th3として設定する(ステップS26)。すなわち、k=3である場合、閾値Th3=2となり、フィルタ装置1は画素P0〜画素P2までの画素をフィルタ処理の対象画素とする。
一方、ステップS24において算出した差分絶対値が閾値Th4未満である場合(ステップS25においてYes)、フィルタ装置1はその時点におけるkの値が所定値Tn未満であるか否かを判定する(ステップS26)。その時点におけるkの値が所定値Tn以上である場合(ステップS27においてNo)、フィルタ装置1は、その時点におけるkの値を閾値Th3として設定する(ステップS28)。k=3である場合、閾値Th3=3となり、フィルタ装置1は画素P0〜画素P3までの画素をフィルタ処理の対象画素とする。
その時点におけるkの値が所定値Tn未満である場合(ステップS27においてYes)、フィルタ装置1はその時点におけるkの値に「1」を加算し(ステップS23)、ステップS24からの処理を再度実行する。このようにして、フィルタ装置1は、ステップS24において算出した差分絶対値が閾値Th4以上となるか、またはkの値が所定値Tn以上となるまで処理を繰り返す。
なお、所定値Tnは、フィルタ装置1において予め設定された値である。所定値Tnは、対象ブロックにおいて処理対象画素となりえる画素の限界値を設定するものである。上述したように、ブロック境界から離れた場所に位置する画素、すなわち境界画素からの画素数が大きい画素については、フィルタ処理する必要がないため、ステップS24において算出する差分絶対値が閾値Th4未満となり、フィルタ処理を施す必要のない画素までフィルタ処理を施すように設定されてしまうことを防ぐために設定されている値である。
(閾値Th3を所定のアルゴリズムにより設定することによる利点)
一般的な符号化技術では、符号化対象画像に近い予測画像を生成し、符号化対象画像と予測画像の差である予測誤差を変換し符号化する。したがって、フィルタ処理の対象となる対象ブロックの画素値は、予測画像と予測誤差(逆変換後の信号)の和により復号されたものになる。変換を実行する際のブロックのサイズが大きい場合、予測誤差のブロック内の画素値の変化は小さいことが期待できるが、予測画像に大きな変化があった場合には、予測画像と予測誤差の和により得られる復号画像における画素値の変化が小さいとは限らない。すなわち、予測画像の影響により、復号画像における画素値の変化が大きい場合には、フィルタ処理を施す範囲を小さくする設定する必要がある。
しかし、非特許文献1および特許文献1に記載のフィルタ処理技術では、ブロック境界に対して一律にフィルタ処理するか否かを判定することはできるが、ブロック境界の一部にフィルタ処理を行うような処理はできない。
本実施形態に係るフィルタ装置1の構成によれば、上記の問題点を解決することができる。すなわち、フィルタ装置1は、上記に説明したように、隣接画素間の差分絶対値を算出することにより、対象ブロックの行または列における閾値Th3の値を適宜設定することができる。そのため、復号画像における画素値に変化があると考えられる場合には、対象ブロックの行または列において、フィルタ処理を施す画素の範囲を適宜変更することができる。もちろん、復号画像に変化がないと考えられる場合には、所定の画素数の画素までをフィルタ処理するようにしてもよい。
(付記事項)
非特許文献1および特許文献1に記載されているフィルタ処理技術においても、境界の状態を示す値として、画素間の画素値の変換に相当する値(例えば、ABS(p2−p0)、ABS(p1−p0))を算出し、この値を用いてフィルタ処理を施すか否かを判定している。しかし、この判定は、あくまで処理対象である境界全体にフィルタ処理を施すか否かを判定するものであり、ブロックの境界からどの程度の画素数離れた画素までフィルタ処理するかを判定するものではない。
(閾値Th3の設定方法の変形例)
次に、閾値Th3の設定方法の変形例について説明する。この変形例は、対象ブロックに隣接する隣接ブロックにおいて境界方向に垂直な成分の画素値の変化が大きい場合、すなわち画素Q0周辺の画素値の変化が大きい場合を考慮した方法である。図8における画素Pijの画素値pijにフィルタ処理する場合の閾値Th3および所定値Tnを、それぞれ閾値Th3j、所定値Tnjとする。
本変形例の場合、画素値q0j周辺の変化の大きさMAGjを、画素値q0j周辺の値の差分絶対値和などに基づいて算出する。
より具体的には、下記式
MAGk=ABS(q0k−q0k-1)+ABS(q0k−q0k+1)
を用いて算出する。なお、ここで、kはjの取りえる範囲内における任意の整数である。
続いて、算出したMAGjの大きさに基づいて、閾値Th3jの値を複数の候補から選択する。例えば、MAGj>γ1の場合には、閾値Th3j=2と設定し、MAGj≦γ1の場合には、閾値Th3j=4と設定し、MAGj≦γ2の場合には、閾値Th3j=8と設定する。ここで、γ1、γ2は所定の閾値であり、例えば、γ1=8、γ2=4である。
また、所定値Tnjも、閾値Th3jと同様に、MAGを用いて設定することができる。例えば、MAGj>γ1の場合には、所定値Tnj=2と設定し、MAGj≦γ1の場合には、所定値Tnj=4と設定し、MAGj≦γ2の場合には、所定値Tnj=8と設定する。
これらの方法であれば、上述した画素間の画素値の差分絶対値を用いる方法を併用することが可能である。
なお、フィルタ範囲の変化を抑制するためには、MAGjの代わりに、MAGjにローパスフィルタをかけた値を用いることが好ましい。
より具体的には、MAGkを用いた算出式である下記式
MAGk´=(MAGk-1 + 2×MAGk + 2×MAGk+1)/4
を用いて算出されるMAGk´をMAGkの代わりに用いるようにすることが好ましい。
また、フィルタ範囲の変化を抑制するための別の方法として、閾値Th3jの代わりに、閾値Th3jにローパスフィルタをかけた値を用いてもよい。
この場合には、閾値Th3kを用いた算出式である下記式
閾値Th3k´=(Th3k-1 + 2×Th3k + 2×Th3k+1)/4
を用いて算出された閾値Th3k´を用いればよい。
以上説明したような閾値Th3の設定方法の変形例によれば、対象ブロックに隣接する隣接ブロックにおいて境界方向に垂直な成分の画素値の変化が大きい場合においても、フィルタ処理において、フィルタ処理の対象となる対象ブロックが波打つ(線上のノイズが生じる)ことを防止することができる。
(付記事項)
上述した説明に用いた所定の閾値Th2、Th4、Tn、α、β、α1、β1、α2、β2、γ1、およびγ2は、量子化パラメータによって変更されることが好ましい。すなわち、量子化パラメータが大きくなるにつれて、閾値も大きくなるように変更されることが好ましい。
また、対象ブロックにおいて処理対象画素となる範囲は、ブロックのサイズに応じて変更されることが好ましい。すなわち、閾値Th3が境界の状態により設定されないような場合には、ブロックのサイズ毎に閾値Th3を定めればよい。この場合、ブロックのサイズが大きくなるにつれて、閾値Th3も大きくなるように設定される。この場合には、ブロックのサイズが大きくなるにつれて、所定値Tnも大きくなるように、ブロックのサイズ毎に所定値Tnを定めればよい。
(平面的なフィルタ処理)
非特許文献1および特許文献1に記載されているフィルタ処理技術は、フィルタ処理の対象となる処理対象画素を有する対象ブロックにおける2つのブロック境界(垂直方向の境界および水平方向の境界)を順に処理するものである。しかし、非特許文献1および特許文献1に記載のフィルタ処理技術のように、垂直方向の境界および水平方向の境界を順にフィルタ処理するフィルタ処理技術では、垂直方向の境界および水平方向の境界を同時にフィルタ処理する場合と比較して、復号画像の画質に劣化が生じる。
より具体的に説明すると、図10に示すようなブロックの隅のような隣接するブロックの水平方向および垂直方向のいずれの境界部にも近い領域では、水平方向のフィルタ処理と垂直方向のフィルタ処理とが2重に施されることになる。フィルタ処理が2重に施されると、フィルタ処理による平滑化の効果が強くなりすぎるため、復号画像の画質に劣化が生じる。また、水平方向と垂直方向との重みに違いが生じることからも、復号画像の画質に劣化が生じる。
そのため、ブロックの隅のような隣接するブロックの水平方向および垂直方向のいずれの境界部にも近い領域は、水平方向に対するフィルタ処理と垂直方向に対するフィルタ処理とを同時に施すようにすることが好ましい。すなわち、水平方向に対するフィルタ処理と垂直方向に対するフィルタ処理とを一度の処理で同時に施すことにより、フィルタ処理が2重に施されることを防止する。なお、本明細書等において、水平方向および垂直方向に対して同時に施すフィルタ処理を、「平面的なフィルタ処理」と称する。
図10は、対象ブロックにおいて、隣接するブロックの水平方向および垂直方向のいずれの境界部にも近い領域を示す図である。より具体的に説明すると、ブロックX(対象ブロック)において斜線部により示した領域に含まれる画素は、ブロックXとブロックYとの境界(水平方向の境界)における境界画素から閾値Th3以下であり、かつブロックXとブロックZとの境界(垂直方向の境界)における境界画素から閾値Th3以下の画素である。
図10において斜線により示した領域における画素の一例を図11に示す。図11に示す画素Pijは、図10において、ブロックXの斜線により示した領域に含まれる画素である。また、図11では、行方向において画素Pijの最近傍に位置する隣接画素を画素Q0jとし、列方向において画素Pijの最近傍に位置する隣接画素を画素Ri0として示している。
画素Q0jを有する隣接ブロックは、ブロックXに対して横方向に隣接するブロックZであり、画素Ri0を有する隣接ブロックは、ブロックXに対して縦方向に隣接するブロックYである。言い換えれば、ブロックXにおける画素Pijは、画素Q0jから行方向にi画素離れており、かつ、画素Ri0から列方向にj画素離れている画素である。また、iおよびjは、いずれも閾値Th3以下の値である。なお、本明細書等において「行」とはブロックにおける縦方向のラインを意味しており、「列」とはブロックにおける横方向のラインを意味している。
ここで、平面的なフィルタ処理を施す画素は、図10において示したように垂直方向の境界における境界画素からの画素数が閾値Th3以下であり、かつ水平方向の境界における境界画素からの画素数が閾値Th3以下である画素であることが好ましい。したがって、図4に示す領域においてフィルタ処理を施す場合、平面的なフィルタ処理は、図12において斜線により示す領域のみとなる。すなわち、図12において斜線により示す領域以外の領域であり、かつ、図4において斜線により示されている領域については、水平方向または垂直方向のフィルタ処理を施す。
(平面的なフィルタ処理の詳細)
続いて、平面的なフィルタ処理における処理後の画素値の詳細な算出方法について説明する。なお、本項では、処理対象画素Pijが32×32のサイズのブロックに含まれており、画素Pijの行方向における隣接画素が画素Q0jであり、画素Pijの列方向における隣接画素が画素Ri0である場合を例に挙げて説明する。また、本項では、画素Pijのフィルタ処理前の画素値を画素値pij、画素Q0jの画素値を画素値q0j、画素Ri0の画素値をri0とし、画素Pijのフィルタ処理後の画素値を画素値pij´とする。
平面的なフィルタ処理における処理対象画素の処理後の画素値の算出方法は、基本的には、パターンAにおける処理後の画素値の算出方法と同様である。しかし、平面的なフィルタ処理の場合、行方向の境界画素に隣接する隣接画素の画素値、および、列方向の境界画素に隣接する隣接画素の画素値を、隣接画素の画素値として用いる。すなわち、隣接画素Q0jの画素値q0jおよび隣接画素Ri0の画素値ri0の2つの隣接画素の画素値を用いる。
したがって、画素値算出部12は、処理対象画素Pijの画素値pij´を、画素値pij´と画素値q0jと、画素値ri0とに基づいて算出する。より具体的には、画素値算出部12は、下記式(7)
pij´=(WP×pij+WV×q0j+WH×ri0)/(WP+WV+WH)・・・(7)
を用いて処理後の画素値pij´を算出する。
ここで、WP、WV、WHはフィルタ係数であり、WHは行方向の境界画素P0jからの距離(画素数)に応じて設定されるフィルタ係数であり、WVは列方向の境界画素Pi0からの距離(画素数)に応じて設定されるフィルタ係数であり、WPは、WVの値およびWHの値に応じて設定されるフィルタ係数である。すなわち、WV=16−i、WH=16−jにより算出される。また、WP=32−(WHまたはWV)により算出される。なお、WPの算出の際に用いるWHまたはWVの値は、画素数の大きい方の値である。すなわち、処理対象画素が水平方向に画素数3であり、垂直方向に画素数1である場合は、WHの値を用いる。WP、WVおよびWHの一例を図13の(a)〜(c)に示す。
また、上記式(7)では、(WP+WV+WH)の値、すなわち割る数が2のべき乗とはならないため、除算の演算量が多くなるおそれがある。そのため、割る数が2のべき乗(例えば、1024)となるようなフィルタ係数WP´、WV´、WH´を用いるようにしてもよい。割る数を2のべき乗とすることによって、除算の代わりにシフト演算を用いることができる。
このようなフィルタ係数WP´、WV´、WH´は下記式(8)〜(11)
WV´=m×WV・・・(8)
WH´=m×WH・・・(9)
WP´=1024−(WV´+WH´)・・・(10)
m=1024/(WP+WV+WH)・・・(11)
を用いて算出することができる。
なお、「m」は、(WP+WV+WH)の値とmの値とを関連付けて登録したテーブルを参照して設定するようにしてもよい。
この場合には、下記式(12)
pij´=(WP´×pij+WV´×q0j+WH´×ri0)>>10・・・(12)
となるように画素値pij´を算出する。
図14の(a)および図14の(b)は、ぞれぞれ、フィルタ係数WV´、WP´の一例を示す図である。なお、ここにはWH´の一例を示す図については示していないが、WH´は、図14の(a)における「水平方向」を「垂直方向」に読みかえればよい。
(平面的なフィルタ処理による利点)
以上説明したように、フィルタ装置1は、平面的なフィルタ処理を施すことにより、処理対象画素に対して水平方向のフィルタ処理と垂直方向のフィルタ処理とが2重に施されてしまうことを防止することができる。
そのため、水平方向に対するフィルタ処理と垂直方向に対するフィルタ処理とを順に別々に施した場合よりも、復号した画像の画質の劣化をより一層防止することができる効果を奏する。また、フィルタ処理の処理量を低減することもできる。
〔実施形態2〕
(画像復号装置100の構成)
本発明に係るフィルタ装置を備えた画像復号装置について、実施形態2として図15を参照しつつ以下に説明する。図15は、実施形態2に係る画像復号装置100の要部構成を示すブロック図である。なお、なお、実施形態1と同様の部材に関しては、同一の符号を付し、その説明を省略する。
図15に示すように、画像復号装置100は、可変長符号化復号部101、逆量子化・逆変換部102、予測画像生成部103、フレームメモリ104、ブロックサイズ管理部105およびフィルタ装置1を備えている。画像復号装置100におけるフィルタ装置1以外の部材は、従来の画像復号装置と同様の部材を用いることができる。
実施形態1において詳細に説明したフィルタ装置1を除く各部材について説明しつつ、画像復号装置100の動作について以下に説明する。
(画像復号装置100の動作)
可変長符号化復号部101は、復号対象ブロックの予測残差データなどの符号化パラメータを表す符号化データを可変長復号処理する。逆量子化・逆変換部102は、入力されたパラメータを逆量子化すると共に、逆変換する。すなわち、逆量子化・逆変換部102は、復号された予測残差データの量子化係数を逆量子化して出力すると共に、予測残差データの変換係数を逆直交変換して出力する。また、ブロックサイズ管理部105は、可変長復号処理により復号された変換サイズを保存する。なお、逆変換における変換方法としては、直交変換が一般的であるが、これに限定されるものではない。例えば、QMFに代表されるフィルタバンクを用いる方法を用いてもよいし、ガボール関数に代表される非直交基底による変換を用いてもよいし、ウェーブレット変換を用いてもよい。
逆量子化・逆変換部102において逆変換された逆変換後の信号は、予測画像生成部103において生成された予測画像に加算され、復号画像として出力される。出力された復号画像は、フレームメモリ104に格納される。
フィルタ装置1は、ブロックサイズ管理部105から処理対象画素を有する対象ブロックのブロックサイズおよび対象ブロックに隣接するブロックのブロックサイズを取得する。また、フィルタ装置1は、フレームメモリ104に記録されている画素値を参照して、フィルタ処理後の画素値を出力する。すなわち、フィルタ装置1においてフィルタ処理された画素の画素値は、フレームメモリ104に記録される。このとき、フレームメモリ104では、フィルタ装置1においてフィルタ処理された後の画素値が、処理前の画素値に置き換えられる。
フレームメモリ104において格納されたフィルタ処理された画像は、予測画像生成部103において予測画像の生成に用いられる。また、フィルタ装置1においてフィルタ処理された画像は、画像復号装置100の外部に出力画像として出力される。すなわち、フィルタ装置1は、画像復号装置100におけるループフィルタ(すなわち、フレームメモリに格納される画像にかかるフィルタ)として用いることもできるし、またポストフィルタ(すなわち、出力画像にかかるフィルタ)として用いることもできる。
(付記事項)
なお、本実施形態では画像復号装置100にフィルタ装置1を備えている場合について例示しているが、もちろん画像符号化装置に備えられているループフィルタとしてフィルタ装置1を備えるようにしてもよい。この場合、フィルタ装置1以外の部材については、従来公知の画像符号化装置と同様の部材を用いることができる。
(プログラムおよび記録媒体)
フィルタ装置1および画像復号装置100に含まれている各ブロックは、ハードウェアロジックによって構成すればよい。または、次のように、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
すなわちフィルタ装置1および画像復号装置100は、各機能を実現するプログラムの命令を実行するCPU、このプログラムを格納したROM(Read Only Memory)、上記プログラムを実行可能な形式に展開するRAM(Random Access Memory)、および、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)を備えている。この構成により、本発明の目的は、所定の記録媒体によっても、達成できる。
この記録媒体は、上述した機能を実現するソフトウェアであるフィルタ装置1および画像復号装置100のプログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録していればよい。フィルタ装置1および画像復号装置100に、この記録媒体を供給する。これにより、コンピュータとしてのフィルタ装置1および画像復号装置100(またはCPUあるいはMPU)が、供給された記録媒体に記録されているプログラムコードを読み出し、実行すればよい。
プログラムコードをフィルタ装置1および画像復号装置100に供給する記録媒体は、特定の構造または種類のものに限定されない。すなわちこの記録媒体は、たとえば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などとすることができる。
また、フィルタ装置1および画像復号装置100を通信ネットワークと接続可能に構成しても、本発明の目的を達成できる。この場合、上記のプログラムコードを、通信ネットワークを介してフィルタ装置1および画像復号装置100に供給する。この通信ネットワークはフィルタ装置1および画像復号装置100にプログラムコードを供給できるものであればよく、特定の種類または形態に限定されない。たとえばインターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等であればよい。
この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な任意の媒体であればよく、特定の構成または種類のものに限定されない。たとえばIEEE1394、USB(Universal Serial Bus)、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
以上、本発明を実施形態に基づいて具体的に説明したが、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲において種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明に係るフィルタ装置は、画像もしくは動画像符号化装置および画像もしくは動画像復号装置におけるループフィルタまたはポストフィルタとして動作するフィルタ装置として好適に利用することができる。
1 フィルタ装置
10 ブロックサイズ判定部(第1の判定手段)
11 差分値算出部
12 画素値算出部
13 隣接ブロックサイズ判定部(第2の判定手段)
14 出力部
100 画像復号装置
101 可変長符号化復号部
102 逆量子化・逆変換部
103 予測画像生成部
104 フレームメモリ
105 ブロックサイズ管理部
本発明に係るフィルタ装置では、さらに、上記画素値算出手段は、下記式(1)
W1×p+W2×q/(W1+W2)・・・(1)
(上記式(1)中、pは上記処理対象画素の画素値、qは上記隣接画素の画素値、W1およびW2は所定の重み付け係数を示す)
を用いて上記処理対象画素の補正後の画素値を算出することが好ましい。
また、本発明に係るフィルタ装置では、さらに、上記画素値算出手段は、下記式(2)
WP×p+WH×q+WV×r/(WP+WH+WV)・・・(2)
(上記式(2)中、pは上記処理対象画素の画素値、qは行方向の境界画素に隣接する隣接画素の画素値、rは列方向の境界画素に隣接する隣接画素の画素値、WP、WHおよびWVは所定の重み付け係数を示す)
を用いて上記処理対象画素の補正後の画素値を算出することが好ましい。
実施形態1に係るフィルタ装置の要部構成を示すブロック図である。 実施形態1に係るフィルタ装置の動作を示すフローチャートである。 ある画像データにおけるブロック分割を模式的に示した図である。 対象ブロックのサイズが閾値Th1以上のブロックにおける処理対象画素を有する領域を模式的に示した図である。 ブロックの境界部分における画素を模式的に示した図である。 画素P0〜P7および画素Q0におけるフィルタ係数の一例を示す図である。 対象ブロックのサイズが閾値Th1未満であり、隣接ブロックのサイズが閾値Th1以上のブロックにおける処理対象画素を有する領域を模式的に示した図である。 ブロックの境界部分における画素を模式的に示した図である。 閾値Th3の設定方法を示すフローチャートである。 対象ブロックにおいて、隣接するブロックの水平方向および垂直方向のいずれの境界部にも近い領域を示す図である。 図10において斜線により示した領域における画素を模式的に示す図である。 平面的なフィルタ処理を施す領域を模式的に示す図である。 平面的なフィルタ処理を施す際のフィルタ係数の一例を示す図であり、(a)はWHのフィルタ係数を示しており、(b)はWVのフィルタ係数を示しており、(c)はWPのフィルタ係数を示している。 平面的なフィルタ処理を施す際のフィルタ係数の変形例の一例を示す図であり、(a)はWV´のフィルタ係数を示しており、(b)はWP´のフィルタ係数を示している。 実施形態2に係る復号装置の要部構成を示すブロック図である。 ブロック境界における画素および当該画素の画素値を模式的に示した図である。 フィルタ係数の一例を示す図であり、(a)は画素値p0´、p1´、p2´を算出する際のフィルタ係数を示しており、(b)は画素値q0´、q1´、q2´を算出する際のフィルタ係数を示している。 従来技術におけるフィルタ処理を模式的に示した図である。
(パターンB:対象ブロックのサイズが閾値Th1未満であり、隣接ブロックのサイズが閾値Th1以上である場合)
次に、フィルタ処理の処理対象画素を有する対象ブロックのサイズが閾値Th1未満であり、隣接ブロックのサイズが閾値Th1以上である場合における処理対象画素の画素値の算出方法(パターンB)の詳細について以下に説明する。なお、本項でも、上述したパターンAにおける処理と同様に、フィルタ処理の対象となる画像が図3に示すように分割されており、閾値Th1が「1024」である場合を例に挙げて説明する。すなわち、閾値Th1以上であるブロックは32×32のサイズのブロックであり、閾値Th1未満であるブロックは8×8のサイズおよび16×16のサイズのブロックとなる。
(パターンAの変形例)
上述したように、パターンAの処理によるフィルタ方法では、対象ブロックに隣接する隣接ブロックにおいて境界方向に平行な成分の画素値の変化が大きい場合、すなわち画素値q0周辺の変化が大きい場合にも隣接画素Q0の画素値q0のみを用いる。しかし、対象ブロックに隣接する隣接ブロックにおける隣接画素の画素値において、当該画素値の周辺の変化が大きい場合には、フィルタ処理によって画素値の変化が対象ブロックに及ぼされることがある。この場合、フィルタ処理の対象となる対象ブロックが波打つ(線のノイズが生じる)ことがある。このような、ノイズは、フィルタ対象範囲が広くなる場合において、特に目立ち、復号した画像が視覚的に不自然に見える可能性が高い。
図8は、図5の拡張した図であり、対象ブロックに隣接する1つの境界だけでなく、対象ブロックに隣接する境界全体を示した図である。図8では、互いに隣接するブロックのうち、一方のブロックの画素を画素Pijとし、もう一方のブロックの画素を画素Qijとする(iは0〜nであり、nは任意の整数)。なお、画素Pijおよび画素Qijにおけるiは、ブロック境界に近いほど値が小さくなる。jは、境界に平行な成分を現すためのインデックスであり、0から〔対象ブロックの垂直方向の画素数−1〕までの値を取る。
なお、画素Q0jの画素値q0j´は、境界方向に平行な画素間において、ローパス効果がかかるように算出すればよい。
非特許文献1および特許文献1に記載されているフィルタ処理技術においても、境界の状態を示す値として、画素間の画素値の変化に相当する値(例えば、ABS(p2−p0)、ABS(p1−p0))を算出し、この値を用いてフィルタ処理を施すか否かを判定している。しかし、この判定は、あくまで処理対象である境界全体にフィルタ処理を施すか否かを判定するものであり、ブロックの境界からどの程度の画素数離れた画素までフィルタ処理するかを判定するものではない。
(閾値Th3の設定方法の変形例)
次に、閾値Th3の設定方法の変形例について説明する。この変形例は、対象ブロックに隣接する隣接ブロックにおいて境界方向に平行な成分の画素値の変化が大きい場合、すなわち画素Q0周辺の画素値の変化が大きい場合を考慮した方法である。図8における画素Pijの画素値pijにフィルタ処理する場合の閾値Th3および所定値Tnを、それぞれ閾値Th3j、所定値Tnjとする。
より具体的には、MAGkを用いた算出式である下記式
MAGk´=(MAGk-1 + 2×MAGk + MAGk+1)/4
を用いて算出されるMAGk´をMAGkの代わりに用いるようにすることが好ましい。
この場合には、閾値Th3kを用いた算出式である下記式
閾値Th3k´=(Th3k-1 + 2×Th3k + Th3k+1)/4
を用いて算出された閾値Th3k´を用いればよい。
以上説明したような閾値Th3の設定方法の変形例によれば、対象ブロックに隣接する隣接ブロックにおいて境界方向に平行な成分の画素値の変化が大きい場合においても、フィルタ処理において、フィルタ処理の対象となる対象ブロックが波打つ(線のノイズが生じる)ことを防止することができる。
画素Q0jを有する隣接ブロックは、ブロックXに対して横方向に隣接するブロックZであり、画素Ri0を有する隣接ブロックは、ブロックXに対して縦方向に隣接するブロックYである。言い換えれば、ブロックXにおける画素Pijは、画素Q0jから行方向にi画素離れており、かつ、画素Ri0から列方向にj画素離れている画素である。また、iおよびjは、いずれも閾値Th3以下の値である。なお、本明細書等において「行」とはブロックにおける方向のラインを意味しており、「列」とはブロックにおける方向のラインを意味している。
したがって、画素値算出部12は、処理対象画素Pijの画素値pij´を、画素値pijと画素値q0jと、画素値ri0とに基づいて算出する。より具体的には、画素値算出部12は、下記式(7)
pij´=(WP×pij+WV×q0j+WH×ri0)/(WP+WV+WH)・・・(7)
を用いて処理後の画素値pij´を算出する。
ここで、WP、WV、WHはフィルタ係数であり、WHは行方向の境界画素P0jからの距離(画素数)に応じて設定されるフィルタ係数であり、WVは列方向の境界画素Pi0からの距離(画素数)に応じて設定されるフィルタ係数であり、WPは、WVの値およびWHの値に応じて設定されるフィルタ係数である。すなわち、WV=16−、WH=16−により算出される。また、WP=32−(WHまたはWV)により算出される。なお、WPの算出の際に用いるWHまたはWVの値は、画素数の大きい方の値である。すなわち、処理対象画素が水平方向に画素数3であり、垂直方向に画素数1である場合は、WHの値を用いる。WP、WVおよびWHの一例を図13の(a)〜(c)に示す。
図14の(a)および図14の(b)は、ぞれぞれ、フィルタ係数WH´、WP´の一例を示す図である。なお、ここにはWV´の一例を示す図については示していないが、WV´は、図14の(a)における「水平境界からの距離」と「垂直境界からの距離」とを入れ替えたものを用いればよい。

Claims (14)

  1. サイズの異なる複数のブロックに分割して符号化された画像情報を復号する際に、あるブロックと当該あるブロックに隣接する隣接ブロックとの境界近傍に位置し、かつ、上記あるブロックに属する処理対象画素の画素値を補正するフィルタ装置であって、
    上記あるブロックのサイズが第1の閾値以上であるか否かを判定する第1の判定手段と、
    上記あるブロックのサイズが上記第1の閾値以上である場合、当該あるブロックに属する少なくとも1つの画素の画素値と、上記隣接ブロックに属する少なくとも1つの画素の画素値とに基づいて、上記処理対象画素の補正後の画素値を算出する画素値算出手段と、
    を備えていることを特徴とするフィルタ装置。
  2. 上記画素値算出手段は、上記あるブロックのサイズが上記第1の閾値以上の場合、当該あるブロックのサイズが上記第1の閾値より小さい場合において用いるよりも少ない数の画素を用いて上記処理対象画素の補正後の画素値を算出することを特徴とする請求項1に記載のフィルタ装置。
  3. 上記第1の判定手段において、上記あるブロックのサイズが上記第1の閾値以上であると判定された場合、上記処理対象画素を有する行および列の少なくともいずれかに含まれる上記あるブロック内の画素であり、かつ、上記隣接ブロックに隣接する画素である境界画素の画素値と、上記隣接ブロックにおいて当該境界画素に隣接する隣接画素の画素値との差分絶対値を算出する差分値算出手段をさらに備えており、
    上記画素値算出手段は、上記差分値算出手段において算出した差分絶対値が第2の閾値よりも小さい場合、上記処理対象画素の画素値と、上記隣接画素の画素値とに基づいて、当該処理対象画素の補正後の画素値を算出することを特徴とする請求項1または2に記載のフィルタ装置。
  4. 上記画素値算出手段は、上記処理対象画素が、行方向および列方向のいずれの方向においても上記あるブロックと上記隣接ブロックとの境界近傍に位置する場合、上記行方向の境界画素に隣接する隣接画素の画素値、および、上記列方向の境界画素に隣接する隣接画素の画素値を、上記隣接画素の画素値として用いることを特徴とする請求項3に記載のフィルタ装置。
  5. 上記処理対象画素として設定される画素の範囲は、上記あるブロックのサイズに応じて定められることを特徴とする請求項1から4のいずれか1項に記載のフィルタ装置。
  6. 上記処理対象画素は、上記あるブロックの各行に含まれる画素の方向に隣接する画素間の画素値の差分絶対値、または、上記あるブロックの各列に含まれる画素の列方向に隣接する画素間の画素値の差分絶対値を用いて設定されることを特徴とする請求項1から4のいずれか1項に記載のフィルタ装置。
  7. 上記あるブロックに隣接する隣接ブロックのサイズを判定する第2の判定手段をさらに備えており、
    上記画素値算出手段は、上記第2の判定手段において判定された隣接ブロックのサイズに応じて、フィルタ強度を変更するように構成されていることを特徴とする請求項1から6のいずれか1項に記載のフィルタ装置。
  8. 上記あるブロックの各行に含まれる画素のうち、上記隣接ブロックに隣接する境界画素から、行方向に隣接する画素間の画素値の差分絶対値が最初に第3の閾値以上となる画素まで、または、上記あるブロックの各列に含まれる画素のうち、上記隣接ブロックに隣接する境界画素から、列方向に隣接する画素間の画素値の差分絶対値が最初に第3の閾値以上となる画素までを上記処理対象画素とすることを特徴とする請求項6に記載のフィルタ装置。
  9. 上記第2の判定手段は、上記あるブロックのサイズが上記第1の閾値よりも小さい場合、上記あるブロックに隣接するいずれかの隣接ブロックのサイズが上記第1の閾値以上であるか否かを判定し、
    上記画素値算出手段は、上記隣接ブロックのいずれかのサイズが上記第1の閾値以上である場合、上記隣接ブロックのサイズがいずれも上記第1の閾値より小さい場合と比べてフィルタ強度が強くなるように構成されていることを特徴とする請求項7に記載のフィルタ装置。
  10. 上記画素値算出手段は、下記式(1)を用いて上記処理対象画素の補正後の画素値を算出することを特徴とする請求項3に記載のフィルタ装置。
    W1×p+W2×q/(W1+W2)・・・(1)
    (上記式(1)中、pは上記処理対象画素の画素値、qは上記隣接画素の画素値、W1およびW2は所定の重み付け係数を示す)
  11. 上記画素値算出手段は、下記式(2)を用いて上記処理対象画素の補正後の画素値を算出することを特徴とする請求項4に記載のフィルタ装置。
    WP×p+WH×q+WV×r/(WP+WH+WV)・・・(2)
    (上記式(2)中、pは上記処理対象画素の画素値、qは行方向の境界画素に隣接する隣接画素の画素値、rは列方向の境界画素に隣接する隣接画素の画素値、WP、WHおよびWVは所定の重み付け係数を示す)
  12. サイズの異なる複数のブロックに分割して符号化された画像情報を復号する際に、あるブロックと当該あるブロックに隣接する隣接ブロックとの境界近傍に位置し、かつ、上記あるブロックに属する処理対象画素の画素値を補正するフィルタ処理方法であって、
    上記あるブロックのサイズが第1の閾値以上であるか否かを判定する第1の判定ステップと、
    上記あるブロックのサイズが上記第1の閾値以上である場合、上記処理対象画素を有する行および列の少なくともいずれかに含まれる上記あるブロック内の画素であって、かつ、上記隣接ブロックに隣接する画素である境界画素の画素値と、上記隣接ブロックにおいて当該境界画素に隣接する隣接画素の画素値との差分絶対値を算出する差分値算出ステップと、
    算出した上記差分絶対値が第2の閾値よりも小さい場合、上記処理対象画素の画素値と、上記隣接画素の画素値とに基づいて、当該処理対象画素の補正後の画素値を算出する画素値算出ステップと、
    を含むことを特徴とするフィルタ処理方法。
  13. サイズの異なる複数のブロックごとに分割して符号化された画像情報を復号する復号装置であって、請求項1から11のいずれか1項に記載のフィルタ装置を備えていることを特徴とする復号装置。
  14. 画像情報をサイズの異なる複数のブロックに分割して符号化する符号化装置であって、請求項1から11のいずれか1項に記載のフィルタ装置を備えていることを特徴とする符号化装置。
JP2010519083A 2008-07-03 2009-06-30 フィルタ装置 Pending JPWO2010001911A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008174773 2008-07-03
JP2008174773 2008-07-03
PCT/JP2009/062003 WO2010001911A1 (ja) 2008-07-03 2009-06-30 フィルタ装置

Publications (1)

Publication Number Publication Date
JPWO2010001911A1 true JPWO2010001911A1 (ja) 2011-12-22

Family

ID=41466003

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010519083A Pending JPWO2010001911A1 (ja) 2008-07-03 2009-06-30 フィルタ装置

Country Status (5)

Country Link
US (1) US20110110603A1 (ja)
EP (1) EP2312853A1 (ja)
JP (1) JPWO2010001911A1 (ja)
CN (1) CN102077590A (ja)
WO (1) WO2010001911A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011223302A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像処理装置と画像処理方法
TWI508534B (zh) 2010-05-18 2015-11-11 Sony Corp Image processing apparatus and image processing method
JP2011244210A (ja) * 2010-05-18 2011-12-01 Sony Corp 画像処理装置および方法
CN106454356B (zh) * 2010-06-17 2019-11-08 夏普株式会社 解码装置及编码装置
BR112013006832A2 (pt) 2010-09-28 2017-05-23 Samsung Electronics Co Ltd método de filtragem adaptativa, e aparelho de filtragem adaptativa
JP6037064B2 (ja) * 2011-01-18 2016-11-30 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
JP5741092B2 (ja) * 2011-03-15 2015-07-01 富士通株式会社 画像符号化方法及び画像符号化装置
CN102781110B (zh) * 2011-05-12 2015-04-01 中兴通讯股份有限公司 具有跳频功能的资源位置分配方法及装置
CN103563374B (zh) * 2011-05-27 2017-02-08 索尼公司 图像处理设备及方法
US9071818B2 (en) * 2011-08-30 2015-06-30 Organizational Strategies International Pte. Ltd. Video compression system and method using differencing and clustering
JP5698629B2 (ja) * 2011-09-08 2015-04-08 日本放送協会 画像処理装置、フィルタ処理方法及びプログラム
ES2664721T3 (es) * 2011-09-09 2018-04-23 Sun Patent Trust Decisiones de filtro de desbloqueo de baja complejidad
WO2013059597A1 (en) * 2011-10-21 2013-04-25 Organizational Strategies International Pte. Ltd. An interface for use with a video compression system and method using differencing and clustering
TWI581623B (zh) * 2012-04-06 2017-05-01 Sony Corp Image processing apparatus and method, program, and recording medium
RU2737038C2 (ru) * 2012-06-22 2020-11-24 Сони Корпорейшн Устройство и способ обработки изображений
JP6620354B2 (ja) * 2015-09-30 2019-12-18 Kddi株式会社 動画像の処理装置、処理方法及びコンピュータ可読記憶媒体
WO2018066241A1 (en) * 2016-10-03 2018-04-12 Sharp Kabushiki Kaisha Systems and methods for applying deblocking filters to reconstructed video data
CN114173118B (zh) * 2016-12-27 2023-10-20 松下电器(美国)知识产权公司 编码方法、解码方法及发送方法
MX2020006500A (es) * 2017-12-29 2020-09-17 Ericsson Telefon Ab L M Metodos que proporcionan codificacion y/o decodificacion de video usando valores de referencia y dispositivos relacionados.
CN110290384A (zh) * 2018-03-19 2019-09-27 华为技术有限公司 图像滤波方法、装置及视频编解码器
CN117640949A (zh) * 2018-05-23 2024-03-01 松下电器(美国)知识产权公司 解码装置和编码装置
JP6998846B2 (ja) * 2018-08-30 2022-01-18 Kddi株式会社 画像復号装置、画像符号化装置、画像処理システム及びプログラム
JP6839246B2 (ja) * 2019-09-03 2021-03-03 Kddi株式会社 動画像の処理装置、処理方法及びコンピュータ可読記憶媒体
CN111445427B (zh) * 2020-05-20 2022-03-25 青岛信芯微电子科技股份有限公司 视频图像处理方法以及显示设备
US11770584B1 (en) * 2021-05-23 2023-09-26 Damaka, Inc. System and method for optimizing video communications based on device capabilities
US20230281977A1 (en) * 2022-03-07 2023-09-07 Nec Laboratories America, Inc. Semantic image capture fault detection
US12118749B2 (en) * 2022-05-19 2024-10-15 Eys3D Microelectronics, Co. Calibration system and calibration method for multi-camera system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11205792A (ja) * 1998-01-14 1999-07-30 Sony Corp ブロック歪低減方法及び装置
JP2001245179A (ja) * 1999-12-21 2001-09-07 Sanyo Electric Co Ltd 画像データの歪み低減方法、及びその装置
WO2002067589A1 (en) * 2001-02-23 2002-08-29 Seiko Epson Corporation Image processing system, image processing method, and image processing program
JP2003324740A (ja) * 2002-05-07 2003-11-14 Matsushita Electric Ind Co Ltd ブロック歪み除去装置
JP2004180248A (ja) * 2001-11-29 2004-06-24 Matsushita Electric Ind Co Ltd 符号化歪除去方法、動画像符号化方法、動画像復号化方法、およびそれらを実現する装置、プログラム
JP2006521065A (ja) * 2003-03-17 2006-09-14 クゥアルコム・インコーポレイテッド 低ビット・レート・ビデオのビデオ品質を改善するための方法及び装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69738787D1 (de) * 1996-05-14 2008-07-31 Daewoo Electronics Corp Reduzierung von Blockeffekten in einem Bewegtbilddekoder
EP0845909B1 (de) * 1996-11-28 2003-02-12 Alcatel Verfahren und Filter zur Reduzierung des Blocking Effektes
US6317522B1 (en) * 1998-12-03 2001-11-13 Philips Electronics North America Corp. Systems and methods for post-processing decompressed images
US6636645B1 (en) * 2000-06-29 2003-10-21 Eastman Kodak Company Image processing method for reducing noise and blocking artifact in a digital image
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
JP3698158B2 (ja) 2003-06-27 2005-09-21 三菱電機株式会社 ポストフィルタ及びポストフィルタ処理方法並びに映像信号復号化装置
JP2005340940A (ja) * 2004-05-24 2005-12-08 Fuji Photo Film Co Ltd 画像処理方法及び装置並びにプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11205792A (ja) * 1998-01-14 1999-07-30 Sony Corp ブロック歪低減方法及び装置
JP2001245179A (ja) * 1999-12-21 2001-09-07 Sanyo Electric Co Ltd 画像データの歪み低減方法、及びその装置
WO2002067589A1 (en) * 2001-02-23 2002-08-29 Seiko Epson Corporation Image processing system, image processing method, and image processing program
JP2004180248A (ja) * 2001-11-29 2004-06-24 Matsushita Electric Ind Co Ltd 符号化歪除去方法、動画像符号化方法、動画像復号化方法、およびそれらを実現する装置、プログラム
JP2003324740A (ja) * 2002-05-07 2003-11-14 Matsushita Electric Ind Co Ltd ブロック歪み除去装置
JP2006521065A (ja) * 2003-03-17 2006-09-14 クゥアルコム・インコーポレイテッド 低ビット・レート・ビデオのビデオ品質を改善するための方法及び装置

Also Published As

Publication number Publication date
WO2010001911A1 (ja) 2010-01-07
US20110110603A1 (en) 2011-05-12
CN102077590A (zh) 2011-05-25
EP2312853A1 (en) 2011-04-20

Similar Documents

Publication Publication Date Title
WO2010001911A1 (ja) フィルタ装置
TWI771679B (zh) 以區塊為基礎之預測技術
JP5875979B2 (ja) フィルタ装置、画像復号装置、画像符号化装置、および、フィルタパラメータのデータ構造
US8259819B2 (en) Method and apparatus for improving video quality by utilizing a unified loop filter
RU2696311C1 (ru) Устройство и способ для компенсации движения видео с выбираемым интерполяционным фильтром
JP4920599B2 (ja) ハイブリッドビデオ圧縮の量子化雑音除去用の非線形ループ内デノイズフィルタ
JP5684407B2 (ja) ブロッキングアーチファクトを低減する方法、デブロッキングフィルタユニット、符号器、復号器、ユーザ機器、ネットワーク装置、コンピュータプログラム及びコンピュータプログラム記憶媒体
JP5360430B2 (ja) デブロッキングフィルタ処理装置、デブロッキングフィルタ処理方法
EP2522145B1 (en) An apparatus and a method for video processing
US8792738B2 (en) Image decoding apparatus and image coding apparatus
WO2009133844A1 (ja) エッジを考慮したフィルタリング機能を備えた動画像符号化/復号化方法及び装置
US20140233646A1 (en) Methods, apparatuses, and programs for encoding and decoding picture
KR102359415B1 (ko) 비디오 코딩을 위한 인터 예측 장치 및 방법을 위한 보간 필터
JPWO2010041534A1 (ja) 画像加工装置、方法及びプログラム、動画像符号化装置、方法及びプログラム、動画像復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法
TWI727826B (zh) 使用內預測之寫碼技術
JP7538243B2 (ja) 4:4:4のクロマフォーマット及びシングルツリーの場合のすべてのチャネルに対するmip
JP4000157B2 (ja) 画像圧縮方法および画像伸張方法
US20210014511A1 (en) Image processing apparatus and method
JP4403094B2 (ja) スケーラブル符号化方法,スケーラブル復号方法,これらの装置,およびそれらのプログラム,並びにそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
JPH07307942A (ja) 画像雑音除去装置
JPWO2007108254A1 (ja) 動画像符号化装置、及び、動画像復号装置
JP2009147843A (ja) 符号化装置及び方法、復号装置及び方法、並びにプログラム
JP2005260989A (ja) 画像処理装置及び画像処理方法
JP2009206714A (ja) デブロッキングフィルタ
JP2013223149A (ja) 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130507

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130910