JP2021052249A

JP2021052249A - 符号化装置、復号装置、及びプログラム

Info

Publication number: JP2021052249A
Application number: JP2019172328A
Authority: JP
Inventors: 俊輔岩村; Shunsuke Iwamura; 慎平根本; Shimpei Nemoto; 市ヶ谷　敦郎; Atsuro Ichigaya; 敦郎市ヶ谷
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2019-09-20
Filing date: 2019-09-20
Publication date: 2021-04-01
Anticipated expiration: 2039-09-20
Also published as: JP7505869B2; JP2024107426A

Abstract

【課題】デブロッキングフィルタを適切に制御することで画質や符号化効率を向上させる。【解決手段】画像をブロック単位に分割し、ブロック単位で前記画像を符号化する符号化装置において、デブロッキングフィルタを制御するフィルタ制御部は、量子化処理及び逆量子化処理で用いた量子化パラメータと、転換処理及び逆転換処理で用いた転換テーブルとに基づいて、デブロッキングフィルタのフィルタ強度を制御する。転換テーブルは、１つ又は複数のスライスに対して設定されるテーブルであって、転換対象の画素値が取りうる最小値から最大値までの範囲を規定の数に分割した各バンドに対して割り当てる転換後の画素値の数を示す値からなるテーブルである。【選択図】図１

Description

本発明は、符号化装置、復号装置、及びプログラムに関する。

ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）の委員会で勧告された規格群のシリーズなどに代表されるブロック単位で符号化処理を行う映像符号化方式では、ブロック単位で条件の異なる符号化が行われるため、ブロック間の品質が均一でないという特徴がある。

この特徴は、映像の部分領域の信号特性に応じて、例えば、人間の検知しやすい信号特性の領域であれば高品質の信号に符号化し、検知しにくい領域であれば低品質の信号に符号化するように制御することにより視覚的に画質の劣化を感じさせない符号化制御が行えるというメリットがある。デメリットとしては、ブロック単位で符号化を制御するため、ブロック境界に画質の品質差が顕在化し、ブロック状の歪みが検知される場合がある。

このような信号の劣化を低減するため、近年の符号化方式ではデブロッキングフィルタ処理が一般的に用いられる。デブロッキングフィルタは、信号のギャップを低減するためのフィルタであるため、一般的には低域通過フィルタの特性を持つ。

デブロッキングフィルタを固定的に適用すると、高品質領域同士の境界部においては、フィルタ処理による信号劣化が品質改善よりも大きく作用することがあり、逆に過度に低品質に符号化処理された領域同士の境界部においては、フィルタが十分に効果を発揮できない。

このような状況に鑑みて、従来の映像符号化方式であるＨＥＶＣでは、量子化パラメータ（具体的には、境界を挟むブロックの量子化パラメータの平均値）に基づいてデブロッキングフィルタのフィルタ強度を制御している（例えば、非特許文献１参照）。ここで、量子化パラメータとは、１つのブロックに対して１つの値が設定され、このブロックの量子化の粗さ（ステップサイズ）を規定するパラメータをいう。

ところで、新たな映像符号化方式であるＶＶＣの委員会原案では、Ｌｕｍａｍａｐｐｉｎｇａｎｄｃｈｒｏｍａｓｃａｌｉｎｇ（ＬＭＣＳ）が採用されている（例えば、非特許文献２参照）。

ＬＭＣＳでは、入力画像の信号特性に応じて、予測処理や変換処理などの処理を行う前に原画像の輝度信号の値を、ルックアップテーブル（転換テーブル）を用いたマッピング処理により変更し、マッピング後の輝度信号に対して予測処理及び変換処理、量子化処理を適用する。また、原画像の色差信号の値を原画像の輝度信号の値に応じてスケーリング処理により変更し、スケーリング後の色差信号に対して予測処理及び変換処理、量子化処理を適用する。

ＬＭＣＳによれば、原画像の画素値の偏りを利用した輝度信号へのマッピング処理及び色差信号へのスケーリング処理により、符号化効率を向上させることができる。

ＲｅｃｏｍｍｅｎｄａｔｉｏｎＩＴＵ−ＴＨ．２６５，（１２／２０１６），"Ｈｉｇｈｅｆｆｉｃｉｅｎｃｙｖｉｄｅｏｃｏｄｉｎｇ"，ＩｎｔｅｒｎａｔｉｏｎａｌＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎＵｎｉｏｎＪＶＥＴ−Ｏ２００２，"ＡｌｇｏｒｉｔｈｍｄｅｓｃｒｉｐｔｉｏｎｆｏｒＶｅｒｓａｔｉｌｅＶｉｄｅｏＣｏｄｉｎｇａｎｄＴｅｓｔＭｏｄｅｌ６（ＶＴＭ６）"

上述したＬＭＣＳのマッピング処理及びスケーリング処理は、符号化装置側では、原画像に対する予測処理や変換処理、量子化処理の前に行われる。復号装置側では、逆量子化処理、逆変換処理及び予測処理の後にマッピング処理に対応する逆マッピング処理及びスケーリング処理に対応する逆スケーリング処理が行われる。即ち、量子化処理及び逆量子化処理により生じる量子化誤差は、逆マッピング処理及び逆スケーリング処理により増減する可能性がある。

しかしながら、従来の映像符号化方式は、ブロック単位で設定される一意のパラメータである量子化パラメータを考慮してデブロッキングフィルタのフィルタ強度を制御しているものの、フィルタ強度の制御において上述の逆マッピング処理及び逆スケーリング処理を考慮していない。

このため、逆マッピング処理及び逆スケーリング処理に起因するブロックノイズの発生に対してはデブロッキングフィルタのフィルタ強度を制御する方法がなく、デブロッキングフィルタによるブロック歪みの低減効果が不十分であるという問題がある。

そこで、本発明は、デブロッキングフィルタを適切に制御することで画質や符号化効率を向上させる符号化装置、復号装置、及びプログラムを提供することを目的とする。

第１の態様に係る符号化装置は、画像をブロック単位に分割した符号化対象ブロックを符号化する符号化装置であって、前記符号化対象ブロック内の転換テーブルに基づいて輝度信号の各画素値に対するマッピング処理及び色差信号の各画素値に対するスケーリング処理により構成される転換処理をすることで新たな符号化対象ブロックを生成する転換部と、前記転換部で新たに生成された符号化対象ブロックと当該符号化対象ブロックを予測することにより生成した予測ブロックとの差である予測残差に変換処理及び量子化処理を行う変換・量子化部と、前記変換・量子化部により生成された変換係数に逆量子化処理及び逆変換処理することにより前記予測残差を復元する逆量子化・逆変換部と、前記復元した予測残差と前記予測ブロックとを合成することにより合成ブロックを生成する合成部と、前記合成ブロック内の各画素値に対し前記転換処理に対応する逆転換処理をすることにより前記符号化対象ブロックを復元する逆転換部と、前記復元した符号化対象ブロックと当該符号化対象ブロックに隣接する隣接ブロックとの境界にフィルタ処理するデブロッキングフィルタと、前記量子化処理及び前記逆量子化処理で用いた量子化パラメータと前記転換処理及び前記逆転換処理で用いた転換テーブルとに基づいて、前記デブロッキングフィルタのフィルタ強度を制御するフィルタ制御部とを備え、前記転換テーブルは、１つ又は複数のスライスに対して設定されるテーブルであって、転換対象の画素値が取りうる最小値から最大値までの範囲を規定の数に分割した各バンドに対して割り当てる転換後の画素値の数を示す値からなるテーブルであることを要旨とする。

ここで、「スライス」は、「ピクチャ」、「タイル」、「タイルグループ」、「ブリック」のいずれかに読み替えてもよい。

第２の態様に係る復号装置は、画像を分割して生成したブロック単位で符号化ストリームを復号する復号装置であって、前記符号化ストリームを復号することで、復号対象ブロックに対応する変換係数を出力するエントロピー復号部と、前記エントロピー復号部が出力する変換係数に対して逆量子化処理及び逆変換処理を行って予測残差を復元する逆量子化・逆変換部と、前記復元した予測残差と前記復号対象ブロックを予測して生成した予測ブロックとを合成して合成ブロックを生成する合成部と、前記生成した合成ブロック内の各画素値に対して転換テーブルに基づいて符号化側で行った輝度信号の各画素値に対するマッピング処理及び色差信号の各画素値に対するスケーリング処理により構成される転換処理に対応する逆転換処理を行うことにより前記符号化対象ブロックを復元する逆転換部と、前記復元した復号対象ブロックと当該復号対象ブロックに隣接する隣接ブロックとの境界に対するフィルタ処理を行うデブロッキングフィルタと、前記逆量子化処理で用いた量子化パラメータと前記逆転換処理で用いた転換テーブルとに基づいて、前記デブロッキングフィルタのフィルタ強度を制御するフィルタ制御部と、を備え、前記転換テーブルは、１つ又は複数のスライスに対して設定されるテーブルであって、転換対象の画素値が取りうる最小値から最大値までの範囲を規定の数に分割した各バンドに対して割り当てる転換後の画素値の数を示す値からなるテーブルであることを要旨とする。

第３の態様に係るプログラムは、コンピュータを第１の態様に係る符号化装置として機能させることを要旨とする。

第４の態様に係るプログラムは、コンピュータを第２の態様に係る復号装置として機能させることを要旨とする。

本発明によれば、デブロッキングフィルタを適切に制御することで画質や符号化効率を向上させる符号化装置、復号装置、及びプログラムを提供できる。

実施形態に係る符号化装置の構成を示す図である。実施形態に係る転換処理における入力画素値と出力画素値との関係を表すグラフである。実施形態に係る符号化装置の転換部の構成を示す図である。実施形態に係る量子化行列の一例を示す図である。実施形態に係る符号化装置の逆転換部の構成を示す図である。実施形態に係るデブロッキングフィルタの動作例を示す図である。実施形態に係る符号化装置のフィルタ制御部の構成を示す図である。実施形態に係る復号装置の構成を示す図である。実施形態に係る復号装置の逆転換部の構成を示す図である。実施形態に係る復号装置のフィルタ制御部の構成を示す図である。実施形態に係るフィルタ制御部の動作フロー例を示す図である。

図面を参照して、実施形態に係る符号化装置及び復号装置について説明する。実施形態に係る符号化装置及び復号装置は、ＭＰＥＧに代表される動画像の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

＜符号化装置の構成＞
まず、本実施形態に係る符号化装置の構成について説明する。図１は、本実施形態に係る符号化装置１の構成を示す図である。符号化装置１は、スライス単位の画像を分割したブロック単位で符号化を行う装置である。

図１に示すように、符号化装置１は、ブロック分割部１００と、転換部１１０と、減算部１２０と、変換・量子化部１３０と、エントロピー符号化部１４０と、逆量子化・逆変換部１５０と、合成部１６０と、逆転換部１７０と、デブロッキングフィルタ１８０と、フィルタ制御部１８１と、メモリ１８５と、予測部１９０とを有する。

ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像を複数の画像ブロックに分割し、分割された画像ブロックを転換部１１０に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。画像ブロックの形状は正方形に限らず矩形（非正方形）であってもよい。画像ブロックは、符号化装置１が符号化を行う単位（符号化対象ブロック）であり、且つ復号装置が復号を行う単位（復号対象ブロック）である。このような画像ブロックはＣＵ（ＣｏｄｉｎｇＵｎｉｔ）と呼ばれることがある。

ブロック分割部１００は、輝度信号と色差信号とに対してブロック分割を行う。以下において、ブロック分割の形状が輝度信号と色差信号とで同じである場合について主として説明するが、輝度信号と色差信号とで分割を独立に制御可能であってもよい。輝度ブロック及び色差ブロックを特に区別しないときは単に符号化対象ブロックと呼ぶ。

転換部１１０は、ブロック分割部１００から出力される符号化対象ブロック内の各画素値を転換テーブルに基づいて転換処理をすることで転換された新たな符号化対象ブロックを生成し、転換後の新たな符号化対象ブロックを減算部１２０に出力する。

図２は、本実施形態に係る転換処理における入力画素値と出力画素値との関係を表すグラフである。図２において、横軸は入力信号の値であり、縦軸は出力信号の値である。

図２に示すように、転換テーブルは、１つ又は複数のスライスに対して設定されるテーブルであって、転換処理前の入力信号と転換処理後の出力信号との関係を表すための係数テーブルである。具体的には、転換テーブルには、転換前の入力信号（転換対象の画素値）が取りうる最小値から最大値までを予め規定する数（Ｎ）に分割した各バンドに対して、割り当てる変換後の出力信号の画素値の数を示す値が格納されている。

例えば、１０ｂｉｔの画像信号の転換処理においてバンドの数Ｎを１６とした場合を例に転換テーブルについて説明する。転換前の入力信号が取りうる最小値０から最大値１０２３までを、等分割した各バンドに対応する入力信号として割り当てる。例えば１番目のバンドは入力画素値０乃至６３に対応する。また、２番目のバンドは入力画素値の６４乃至１２７に対応する。同様にして１６番目のバンドまで入力信号が割り当たてられている。

なお、各バンドは転換テーブルの各係数の位置に対応する。転換テーブルに格納される係数は各バンドに割り当てられている出力画素値の数を意味する。例えば転換テーブルｌｍｃｓ_ＣＷがｌｍｃｓ_ＣＷ＝｛３９，４０，５５，７０，８０，９０，９７，９７，１０４，８３，５７，５５，４９，４４，３４，３０｝である場合、１番目のバンドに対応する出力画素値は０乃至３８であり、２番目のバンドに対応する出力画素値は３９乃至７８である。３番目から１６番目のバンドについても同様に割り当てられる。

転換テーブル内のあるバンドに対応する値が大きい場合、当該バンドに割り当てられる出力画素値の数が多くなり、逆に小さい場合には、当該バンドに割り当てられる出力画素値の数が少なくなる。このため、転換テーブルによる転換処理が行われた転換後の信号領域に対して量子化処理を行い、再び逆転換により元の信号領域に戻す場合には、転換処理に用いる転換テーブルの値が異なると、同一の量子化処理を行ったとしても量子化誤差の量が異なる。

具体的には、転換テーブルの値が３２である場合には、あるバンドの入力画素値６４個分の画素値が出力画素値３２個分の画素値で表現されるよう転換されることを意味する。符号化装置１で当該出力信号に対する量子化処理が適用され、量子化誤差が生じる場合、復号装置２（図８参照）では、生じた量子化誤差を含めて前記転換処理に対応する逆転換処理が適用される。この際、当該バンドにおける転換テーブルの値が３２であり、逆転換処理では、逆転換処理に対する入力画素値３２個分が出力画素値６４個分の画素値で表現されるよう逆転換される。即ち、復号装置２では、当該バンドに該当する信号に生じた量子化誤差が２倍になって出力されることを意味する。

即ち、画像に対して同一の量子化パラメータを適用する場合にも、転換テーブルの値が小さい領域については量子化誤差が大きくなり、逆に転換テーブルの値が大きい領域については量子化誤差が小さくなる。

転換テーブルは、１つ又は複数のスライスの原画像の輝度信号の値の出現頻度に応じて符号化装置で設定してもよいし、予めシステムで規定した複数の転換テーブルの中から符号化装置で選択してもよいし、予めシステムで規定した転換テーブルを用いてもよい。なお、転換テーブルは、転換後の出力信号が取りうる最小値から最大値までを予め規定する数に分割した各バンドに対して、割り当てる変換前の入力信号の画素値の数を示す値が格納されていてもよいし、転換テーブル内の値を量子化して保持してもよく、転換前後の入力信号と出力信号との関係を示していれば上記の例には限らない。

また、符号化装置１で輝度信号の値の出現頻度に応じて転換テーブルを設定した場合や複数の転換テーブルの中から選択した場合には、なんらかの手段で復号装置２に転換テーブルの情報を伝送する。例えば、テーブルの値の情報をエントロピー符号化し、ストリーム出力してもよい。また、映像のフォーマット情報（例えば映像信号における光信号と電気信号との関係を表すパラメータなど）を基に符号化装置１と復号装置２とで予め用意された転換テーブルを切り替えて用いてもよい。

図３は、本実施形態に係る転換部１１０の構成を示す図である。図３に示すように、転換部１１０は、パラメータ導出部１１１と、マッピング部１１２と、スケーリング部１１３とを有する。

パラメータ導出部１１１は、ブロック分割部１００から出力される符号化対象ブロックの輝度信号に対して適用するマッピング処理に用いるルックアップテーブルの構成要素であるマッピングスケールテーブル及びマッピングオフセットテーブルと、逆マッピングスケールテーブルとを転換テーブルに基づいて算出し、マッピングスケールテーブル及びマッピングオフセットテーブルをマッピング部１１２に出力し、マッピングオフセットテーブル及び逆マッピングスケールテーブルを逆転換部１７０に出力する。

さらに、パラメータ導出部１１１は、算出した逆マッピングスケールテーブルを用いて、スケーリング部１１３における符号化対象ブロックの色差信号に対して適用するスケーリング処理に用いるスケーリング係数テーブルを算出し、算出したスケーリング係数テーブルをスケーリング部１１３に出力する。

パラメータ導出部１１１の動作について詳細を説明する。分割数Ｎの転換テーブルをｌｍｃｓ_ＣＷとするとき、パラメータ導出部１１１は、マッピングオフセットテーブルＬｍｃｓＰｉｖｏｔ、マッピングスケールテーブルＳｃａｌｅＣｏｅｆｆ、及び逆マッピングスケールテーブルＩｎｖＳｃａｌｅＣｏｅｆｆを次の式（１）により算出する。

LmcsPivot[0] = 0
for (i=0; i<=N-1; i++){
LmcsPivot[i+1] = LmcsPivot[i]+lmcs_CW[i]
ScaleCoeff[i] = (lmcs_CW[i]*(1<<11)+(1<<(Log2(64)-1)))>>(Log2(64))
if (lmcs_CW[i] == 0)
InvScaleCoeff[i] = 0
else
InvScaleCoeff[i]=64*(1<<11)/lmcs_CW[i]
}
・・・（１）

但し、「ｘ＜＜ｎ」はｘをｎ桁左シフトする左シフト演算子であり、「ｘ＞＞ｎ」はｘをｎ桁右シフトする右シフト演算子であり、「Ｌｏｇ２（ｘ）」は２を底としたｘの対数を求める演算子である。

さらに、パラメータ導出部１１１は、スケーリング係数テーブルＣｈｒｏｍａＳｃａｌｅＣｏｅｆｆを次の式（２）により算出する。

for (i=0;i<=15;i++){
if (lmcwCW[i]==0)
ChromaScaleCoeff[i]=(1<<11)
else
ChromaScaleCoeff[i]=InvScaleCoeff[i]
}
・・・（２）

マッピング部１１２は、ブロック分割部１００から出力される符号化対象ブロックの輝度信号に対して、パラメータ導出部１１１から出力されたマッピングスケールテーブル及びマッピングオフセットテーブルを用いてマッピング処理を行い、生成されたマッピング処理後の符号化対象ブロックの輝度信号を減算部１２０に出力する。

具体的には、符号化対象ブロック内の輝度信号をＳａｍｐｌｅｓＹ［ｉ］［ｊ］とするとき、マッピング部１１２は、マッピングスケールテーブルＳｃａｌｅＣｏｅｆｆ及びマッピングオフセットテーブルＬｍｃｓＰｉｖｏｔを用いて、マッピング処理後の符号化対象ブロック内の輝度信号ＭａｐＳａｍｐｌｅｓ［ｉ］［ｊ］を次の式（３）により算出する。

idxY=SamplesY[i][j]>>Log2(64)
MapSamples[i][j]=LmcsPivot[idxY]+(ScaleCoeff[idxY]*(SamplesY[i][j]-idxY*64)+(1<<10))>>11
・・・（３）

但し、ｉ＝０…Ｗｙ−１，ｊ＝０…Ｈｙ−１は符号化対象ブロック内の輝度信号の座標であり、Ｗｙ及びＨｙは符号化対象ブロックの輝度信号の幅及び高さをそれぞれ表す。

スケーリング部１１３は、ブロック分割部１００から出力される符号化対象ブロックの色差信号に対して、パラメータ導出部１１１から出力されたスケーリング係数テーブルを用いてスケーリング処理を行い、生成されたスケーリング処理後の符号化対象ブロックの色差信号を減算部１２０に出力する。

具体的には、符号化対象ブロック内の色差信号をＳａｍｐｌｅｓＣ［ｉ］［ｊ］、符号化対象ブロックに隣接する復号済み輝度信号の平均値をＹｉとするとき、スケーリング部１１３は、スケーリング係数テーブルＣｈｒｏｍａＳｃａｌｅＣｏｅｆｆを用いて、スケーリング処理後の符号化対象ブロック内の色差信号ＳｃａｌｅＳａｍｐｌｅｓ［ｉ］［ｊ］を次の式（４）により算出する。

idxYInv = Yi>>Log2(64)
ScaleSamples[i][j]=sign(SampleC[i][j])*((abs(SamplesC[i][j])<<11)+(ChromaScaleCoeff[idxYInv]>>1))/ChromaScaleCoeff[idxYInv]
・・・（４）

但し、ｉ＝０…Ｗｃ−１，ｊ＝０…Ｈｃ−１は符号化対象ブロック内の色差信号の座標であり、Ｗｃ及びＨｃは符号化対象ブロックの色差信号の幅及び高さをそれぞれ表す。また、「ｓｉｇｎ（ｘ）」は変数ｘの符号に応じて−１，０，１のいずれかの値を返す符号関数であり、「ａｂｓ（ｘ）」は変数ｘの絶対値を返す演算子である。

このようにして、転換部１１０は、マッピング部１１２が算出したマッピング後の符号化対象ブロックの輝度信号と、スケーリング部１１３の算出したスケーリング後の符号化対象ブロックの色差信号とにより構成される転換後の新たな符号化対象ブロックを減算部１２０に出力する。

減算部１２０は、転換部１１０から出力される転換後の新たな符号化対象ブロックと、この新たな符号化対象ブロックを予測部１９０が予測した予測ブロックとの差分（誤差）を表す予測残差を算出する。減算部１２０は、ブロックの各画素値から予測ブロックの各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１３０に出力する。

変換・量子化部１３０は、ブロック単位で変換処理及び量子化処理を行う。変換・量子化部１３０は、変換部１３１と、量子化部１３２とを有する。

変換部１３１は、減算部１２０から出力される予測残差に対して変換処理を行って周波数成分ごとの変換係数を算出し、算出した変換係数を量子化部１３２に出力する。変換処理（変換）とは、画素領域の信号を周波数領域の信号に変換する処理をいい、例えば、離散コサイン変換（ＤＣＴ）や離散サイン変換（ＤＳＴ）、カルーネンレーブ変換（ＫＬＴ）、及びそれらを整数化した変換等をいう。また、変換処理には画素領域の信号を周波数領域の信号に変換することなくスケーリング等により調整する変換スキップを含んでもよい。

量子化部１３２は、変換部１３１から出力される変換係数を量子化パラメータ及び量子化行列を用いて量子化し、量子化した変換係数をエントロピー符号化部１４０及び逆量子化・逆変換部１５０に出力する。また、量子化部１３２は、量子化処理に関する情報（具体的には、量子化処理で用いた量子化パラメータ及び量子化行列の情報）を、エントロピー符号化部１４０、逆量子化部１５１、及びフィルタ制御部１８１に出力する。

ここで、量子化パラメータは、１つのブロックに対して１つの値が設定されるパラメータである。具体的には、量子化パラメータは、ブロック内の各変換係数に対して共通して適用されるパラメータであって、量子化の粗さ（ステップサイズ）を定めるパラメータである。

量子化行列は、１つのブロック内の成分ごとに設定される値からなる行列である。具体的には、量子化行列は、ブロックサイズに応じてi×j要素の成分ごとに設定される値（重み付け係数）からなる行列であって、変換係数の低周波から高周波にわたる成分ごとに量子化の粗さを調整するために用いられる。

図４は、量子化行列の一例を示す図である。図４において、ｉ×ｊ＝４×４である一例を示している。図４に示す例では、量子化行列は、水平方向、垂直方向の次数がそれぞれ大きくなるほど、大きな値を有する。このような量子化行列では、より右下に配列された要素に係る変換係数、つまり高域の変換係数ほど低い精度で量子化される。そのため、低域ほど濃淡や色相の空間的変化に鋭敏であるという人間の視覚特性を活用し、主観的な画質を劣化させずに量子化によって高域での情報量を低減することが許容される。

なお、量子化行列は、符号化対象ブロックの予測モード（イントラ予測、インター予測の別）、ブロックサイズ（例えば、２ｘ２、４ｘ４、８ｘ８、１６ｘ１６、３２ｘ３２、６４ｘ６４）、及び１つの輝度・２つの色差信号（ＲＧＢ信号の場合は、Ｒ信号、Ｂ信号、Ｇ信号）のそれぞれの組み合わせについて設定可能である。

エントロピー符号化部１４０は、量子化部１３２から出力される変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化ストリーム（ビットストリーム）を生成し、符号化ストリームを符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄＡｄａｐｔｉｖｅＢｉｎａｒｙＡｒｉｔｈｍｅｔｉｃＣｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。

また、エントロピー符号化部１４０は、ブロック分割部１００から各符号化対象ブロックのサイズ・形状等の情報を取得し、量子化部１３２から量子化処理に関する情報を取得し、予測部１９０から予測に関する情報（例えば、予測モードや動きベクトルの情報）を取得し、これらの情報の符号化も行う。

逆量子化・逆変換部１５０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部１５０は、逆量子化部１５１と、逆変換部１５２とを有する。

逆量子化部１５１は、量子化部１３２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１５１は、量子化部１３２から出力される変換係数を、量子化パラメータ及び量子化行列を用いて逆量子化することにより変換係数を復元し、復元した変換係数を逆変換部１５２に出力する。

逆変換部１５２は、変換部１３１が行う変換処理に対応する逆変換処理を行う。例えば、変換部１３１がＤＣＴを行った場合には、逆変換部１５２は逆ＤＣＴを行う。逆変換部１５２は、逆量子化部１５１から出力される変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１６０に出力する。

合成部１６０は、逆変換部１５２から出力される復元予測残差を、予測部１９０から出力される予測ブロックと画素単位で合成する。合成部１６０は、復元予測残差の各画素値と予測ブロックの各画素値を加算して合成ブロックを算出し、算出した合成ブロックを逆転換部１７０に出力する。

逆転換部１７０は、転換部１１０の転換処理に対応する逆転換処理を行う。具体的には、逆転換部１７０は、合成部１６０から出力される合成ブロック内の各画素値に対して、転換テーブルに基づいて、転換部１１０における転換処理に対応する逆転換処理をすることで符号化対象ブロックを復元（復号）し、復元したブロック単位の復号画像（復元ブロック）をデブロッキングフィルタ１８０に出力する。

図５は、本実施形態に係る逆転換部１７０の構成を示す図である。図５に示すように、逆転換部１７０は、逆マッピング部１７１と、逆スケーリング部１７２とを有する。

逆マッピング部１７１は、合成部１６０から出力される合成ブロックの輝度信号に対して、パラメータ導出部１１１から出力されたマッピングスケールテーブル及びマッピングオフセットテーブルを用いて逆マッピング処理を行い、符号化対象ブロックの輝度信号を復元し、復元した符号化対象ブロックの輝度信号をデブロッキングフィルタ１８０に出力する。

具体的には、合成ブロック内の輝度信号をMapSampleY’[i][j]とするとき、逆マッピング部１７１は、逆マッピングスケールテーブルInvScaleCoeff及びマッピングオフセットテーブルLmcsPivotを用いて、逆マッピング処理後の復元した符号化対象ブロック内の輝度信号RecSmaplesY[i][j]を次の式（５）により算出する。

for (idxYInv = 0; idxYInv<=15;idxYInv++){
if (MapSampleY’[i][j] < LmcsPivot[idxYInv+1])
break
}
idxYInv = Min(idxYInv, 15)
RecSamplesY[i][j]=idxYInv*64+(InvScaleCoeff[idxYInv]*(MapSampleY’[i][j]-LmcsPivot[idxYInv])+(1<<10))>>11
・・・（５）

但し、ｉ＝０…Ｗｙ−１，ｊ＝０…Ｈｙ−１は符号化対象ブロック内の輝度信号の座標であり、Ｗｙ及びＨｙは符号化対象ブロックの輝度信号の幅及び高さである。また、「Ｍｉｎ（ｘ，ｙ）」はｘ及びｙのうち小さい方を返す演算子である。

逆スケーリング部１７２は、合成部１６０から出力される合成ブロックの色差信号に対して、パラメータ導出部１１１から出力されたスケーリング係数テーブルを用いて逆スケーリング処理を行い、符号化対象ブロックの色差信号を復元し、復元した符号化対象ブロックの色差信号をデブロッキングフィルタ１８０に出力する。

具体的には、合成ブロック内の色差信号をＳｃａｌｅＳａｍｐｌｅｓＣ［ｉ］［ｊ］、合成ブロックに隣接する復号済み輝度信号の平均値をＹｉとするとき、逆スケーリング部１７２は、スケーリング係数テーブルＣｈｒｏｍａＳｃａｌｅＣｏｅｆｆを用いて、逆スケーリング処理後の復元された符号化対象ブロックの色差信号ＲｅｃＳａｍｐｌｅＣ［ｉ］［ｊ］を次の式（６）により算出する。

idxYInv = Yi>>Log2(64)
RecSamplesC[i][j]=sign(ScaleSamplesC[i][j])*(abs(ScaleSamplesC[i][j])*ChromaScaleCoeff[idxYInv]+(1<<10))>>11
・・・（６）

但し、ｉ＝０…Ｗｃ−１，ｊ＝０…Ｈｃ−１は符号化対象ブロック内の色差信号の座標であり、Ｗｃ及びＨｃは符号化対象ブロックの色差信号の幅及び高さをそれぞれ表す。

このようにして、逆転換部１７０は、逆マッピング部１７１が復元した符号化対象ブロックの輝度信号と、逆スケーリング部１７２が復元した符号化対象ブロックの色差信号とにより構成される復元後の符号化対象ブロックをデブロッキングフィルタ１８０に出力する。

デブロッキングフィルタ１８０は、復元ブロックと当該復元ブロックに隣接する隣接ブロックとからなる２つのブロックのブロック境界に対するフィルタ処理を行い、フィルタ処理後の復元ブロックをメモリ１８５に出力する。フィルタ処理は、ブロック単位の処理に起因する信号劣化を軽減するための処理であって、隣り合う２つのブロックのブロック境界における信号のギャップを平滑化するフィルタ処理である。デブロッキングフィルタ１８０は、一般的に信号の変動を緩やかにするローパスフィルタとして構成されている。

図６は、本実施形態に係るデブロッキングフィルタ１８０の動作例を示す図である。図６に示す例では、デブロッキングフィルタ１８０は、８×８画素のブロックごとのブロック境界を対象としてフィルタ処理を行う。また、デブロッキングフィルタ１８０は、４行又は４列を単位としてフィルタ処理を行う。図６に示すブロックＰ及びＱでは、デブロッキングフィルタ１８０のフィルタ処理の１単位であり、ブロックサイズが４×４画素である一例を示している。ブロックＰ及びＱのそれぞれは、サブブロックと呼ばれてもよい。デブロッキングフィルタ１８０の動作の詳細については後述する。

フィルタ制御部１８１は、デブロッキングフィルタ１８０を制御する。具体的には、フィルタ制御部１８１は、対象ブロック対のブロック境界に対するフィルタ処理を行うか否かを示す境界強度（Ｂｓ：Ｂｏｕｎｄａｒｙｓｔｒｅｎｇｔｈ）、及びデブロッキングフィルタ１８０のフィルタ強度を制御する。境界強度Ｂｓとは、フィルタ処理を適用するか否か、及びそのフィルタ処理の種類を決定するためのパラメータをいう。なお、フィルタ処理を行うか否かの制御は、境界強度Ｂｓを１以上とするか又はゼロとするかの制御とみなすことができる。

フィルタ制御部１８１は、対象ブロック対の境界近傍領域における画素値の変動や、予測モード、量子化パラメータ、動き補償予測（インター予測）に用いる動きベクトルの値に基づいて、デブロッキングフィルタ１８０を制御する。

詳細については後述するが、本実施形態に係るフィルタ制御部１８１は、量子化部１３２における量子化処理及び逆量子化部１５１における逆変換処理に用いた量子化パラメータと、転換部１１０における転換処理及び逆転換部１７０における逆転換処理に用いた転換テーブルとに基づいて、デブロッキングフィルタ１８０のフィルタ強度を制御する。

このように、ブロック単位で設定される一意のパラメータである量子化パラメータだけではなく、転換テーブルも考慮してデブロッキングフィルタのフィルタ強度を制御することにより、転換処理及び逆転換処理に起因するブロックノイズの発生に対してデブロッキングフィルタ１８０のフィルタ強度を制御可能になり、デブロッキングフィルタ１８０によるブロック歪みの低減効果を向上させることができる。

メモリ１８５は、デブロッキングフィルタ１８０から出力される復元ブロックをフレーム単位で復号画像として蓄積する。メモリ１８５は、記憶している復号画像を予測部１９０（インター予測部１９１）に出力する。

予測部１９０は、ブロック単位で予測処理を行うことにより、符号化対象ブロックに対応する予測ブロックを生成し、生成した予測ブロックを減算部１２０及び合成部１６０に出力する。予測部１９０は、インター予測部１９１と、予測転換部１９２と、イントラ予測部１９３と、切替部１９４とを有する。

インター予測部１９１は、メモリ１８５に記憶された復号画像を参照画像として用いて、ブロックマッチング等の手法により動きベクトルを算出し、符号化対象ブロックを予測してインター予測ブロックを生成する。インター予測部１９１は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１９１は、インター予測に関する情報（動きベクトル等）をエントロピー符号化部１４０及びフィルタ制御部１８１に出力する。

インター予測部１９１は、輝度信号については、インター予測ブロックを予測転換部１９２に出力する。一方、色差信号については、インター予測部１９１は、予測転換部１９２をスキップしてインター予測ブロックを切替部１９４に出力する。

予測転換部１９２は、転換部１１０と同様の転換処理（具体的には、マッピング部１１２のマッピング処理）を行うことにより、新たなインター予測ブロックを生成する。予測転換部１９２は、インター予測ブロック内の輝度信号に対して転換テーブルに基づいたマッピング処理を行って新たなインター予測ブロックを生成し、新たなインター予測ブロックを切替部１９４に出力する。

イントラ予測部１９３は、複数のイントラ予測モードの中から、符号化対象ブロックに適用する最適なイントラ予測モードを選択し、選択したイントラ予測モードを用いて符号化対象ブロックを予測する。具体的には、イントラ予測部１９３は、合成部１６０から出力される合成ブロックのうち、符号化対象ブロックに隣接する合成ブロックの画素値を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部１９４に出力する。また、イントラ予測部１９３は、選択したイントラ予測モードに関する情報をエントロピー符号化部１４０及びフィルタ制御部１８１に出力する。

切替部１９４は、予測転換部１９２（又はインター予測部１９１）から出力されるインター予測ブロックとイントラ予測部１９３から出力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを減算部１２０及び合成部１６０に出力する。

このように、本実施形態に係る符号化装置１は、符号化対象ブロックに対する転換処理を行い新たな符号化対象ブロックを生成する転換部１１０と前記新たな符号化対象ブロックを予測により生成された予測ブロックとの差を表す予測残差に対して変換処理及び量子化処理を行う変換・量子化部１３０と、変換・量子化部で生成された変換係数に対して逆量子化処理及び逆変換処理を行って予測残差を復元する逆量子化・逆変換部１５０と、復元した予測残差と予測ブロックとを合成して合成ブロックを生成する合成部１６０と、合成ブロックに対する逆転換処理を行うことで符号化対象ブロックを復元する逆転換部と、復元した符号化対象ブロックと当該符号化対象ブロックに隣接する隣接ブロックとの境界に対するフィルタ処理を行うデブロッキングフィルタ１８０と、量子化処理及び逆量子化処理で用いた量子化パラメータと転換処理及び逆転換処理で用いた転換テーブルとに基づいて、デブロッキングフィルタ１８０のフィルタ強度を制御するフィルタ制御部１８１とを有する。

次に、本実施形態に係るフィルタ制御部１８１の構成について説明する。本実施形態に係るフィルタ制御部１８１は、符号化対象ブロックに対する量子化処理及び逆量子化処理で用いた量子化パラメータと、隣接ブロックに対する量子化処理及び逆量子化処理で用いた量子化パラメータと、符号化対象ブロック及び隣接ブロックに対する転換処理及び逆転換処理で用いた転換テーブルと、符号化対象ブロックの画素値及び隣接ブロックの画素値とに基づいて、デブロッキングフィルタ１８０のフィルタ強度を制御する。以下において、符号化対象ブロック又はそのサブブロックがブロックＰであり、隣接ブロック又はそのサブブロックがブロックＱであるものとする。

図７は、本実施形態に係るフィルタ制御部１８１の構成を示す図である。図７に示すように、本実施形態に係るフィルタ制御部１８１は、境界強度決定部１８１ａと、代表値導出部１８１ｂと、オフセット算出部１８１ｃと、閾値導出部１８１ｄと、フィルタ強度制御部１８１ｅとを有する。

境界強度決定部１８１ａは、例えば下記の表１に基づいて境界強度Ｂｓを決定し、決定した境界強度Ｂｓの値を閾値導出部１８１ｄ及びフィルタ強度制御部１８１ｅに出力する。本実施形態では、境界強度Ｂｓの値は０，１，２のいずれかとする。なお、輝度信号と色差信号のブロックに対する境界強度をそれぞれ算出してもよいし、輝度信号と色差信号のブロックの境界強度の組み合わせを一つの境界強度として判定してもよい。

表１に示すように、境界強度決定部１８１ａは、ブロックＰ及びＱの少なくとも一方にイントラ予測が適用されている場合、Ｂｓの値を２とする。

一方、境界強度決定部１８１ａは、ブロックＰ及びＱの両方にインター予測が適用されており、且つ少なくとも以下の（ａ）乃至（ｄ）の中の１つの条件を満たす場合には、Ｂｓ値を１とし、その他の場合には、Ｂｓ値を０とする。

（ａ）ブロックＰ及びＱの少なくとも一方が有意な変換係数（即ち、非ゼロ変換係数）を含むこと。

（ｂ）ブロックＰ及びＱの動きベクトルの数又は参照画像が異なること。

（ｃ）ブロックＰ及びＱの動きベクトルの差の絶対値が閾値（例えば１画素）以上であること。

境界強度決定部１８１ａは、決定した境界強度Ｂｓの値が０の場合、ブロックＰ及びＱの境界に対するフィルタ処理を行わないようデブロッキングフィルタ１８０を制御する。

代表値導出部１８１ｂは、ブロックＰ及びブロックＱのぞれぞれの輝度信号に基づいて輝度信号の代表値ｙ_ｐｑを導出し、導出した代表値ｙ_ｐｑをオフセット算出部１８１ｃに出力する。

代表値導出部１８１ｂが導出する代表値ｙ_ｐｑとしては、次の１）もしくは２）のいずれかとする。

１）代表値ｙ_ｐｑは、ブロックＰ及びブロックＱのそれぞれの輝度信号の平均値である。

具体的には、代表導出部１８１ｂは、次の式（７）に示すようにブロックＰ及びブロックＱの平均値を代表値ｙ_ｐｑとする。

y_pq=(ΣYp[i][j]+ΣYq[s][t])/(Wp*Hp+Wq*Hq)
・・・（７）

但し、Ｙｐ及びＹｑはブロックＰ及びブロックＱに含まれる輝度信号をそれぞれ表し、ｉ＝０…Ｈｐ−１，ｊ＝０…Ｗｐ−１はブロックＰ内の座標であり、ｓ＝０…Ｈｑ−１，ｔ＝０…Ｗｑ−１はブロックＱ内の座標であり、Ｗｐ及びＷｑはブロックＰ及びブロックＱの幅をそれぞれ表し、Ｈｐ及びＨｑはブロックＰ及びブロックＱの高さをそれぞれ表す。

２）代表値ｙ_ｐｑは、ブロックＰ及びブロックＱのそれぞれの輝度信号におけるブロック境界付近の平均値である。

具体的には、代表導出部１８１ｂは、ブロックＰ及びブロックＱのブロック境界の平均値を代表値ｙ_ｐｑとする。例えばブロックＰ及びブロックＱが水平に隣り合う場合（即ち、ブロックＰとブロックＱとの間に位置する垂直方向のブロック境界に対するデブロッキング処理を行う場合）には、次の式（８）に示すように、ブロックＰ及びブロックＱの前記ブロック境界に位置する輝度画素値の平均値を代表値ｙｐｑとする。

y_pq=(Yp[0][Wp-1]+Yp[Hp-1][Wp-1]+Yq[0][0]+Yq[Hq-1][0])>>2
・・・（８）

同様に、ブロックＰ及びブロックＱが垂直に隣り合う場合（即ちブロックＰとブロックＱとの間に位置する水平方向のブロック境界に対するデブロッキング処理を行う場合）には、次の式（９）に示すようにブロックＰ及びブロックＱの前記ブロック境界に位置する輝度画素値の平均値を代表値ｙ_ｐｑとする。

ｙ_pq=(Yp[Hp-1][0]+Yp[Hp-1][Wp-1]+Yq[0][0]+Yq[0][Wq-1])>>2
・・・（９）

オフセット算出部１８１ｃは、代表値導出部１８１ｂが導出した代表値ｙ_ｐｑと、ブロックＰ及びブロックＱに対する転換処理及び逆転換処理で用いた転換テーブルとに基づいて、オフセット値を算出する。

具体的には、オフセット算出部１８１ｃは、代表値ｙ_ｐｑを用いて、ブロックＰとブロックＱとの境界に適用するデブロッキングフィルタの制御のためのオフセット値ＱｐＯｆｆｓｅｔを算出し、算出したオフセット値ＱｐＯｆｆｓｅｔを閾値導出部１８１ｄに出力する。例えば、オフセット算出部１８１ｃは、次の式（１０）によりオフセット値ＱｐＯｆｆｓｅｔを算出する。

QpOffset=log2(lmcs_CW[y_pq>>6]/64)×6
・・・（１０）

なお、オフセット算出部１８１ｃでは、ハードウェアでの実装などにおいては、除算やｌｏｇ２関数の処理の代わりに、ルックアップテーブルを用いて式（４）及び式（５）を実装してもよい。

閾値導出部１８１ｄは、ブロックＰに対する量子化処理及び逆量子化処理で用いた量子化パラメータＱｐ_Ｐと、ブロックＱに対する量子化処理及び逆量子化処理で用いた量子化パラメータＱｐ_Ｑと、オフセット算出部１８１ｃが算出したオフセット値ＱｐＯｆｆｓｅｔとに基づいて、デブロッキングフィルタ１８０のフィルタ強度を制御するための閾値β及びｔ_Ｃを導出し、導出した閾値β及びｔ_Ｃをフィルタ強度制御部１８１ｅに出力する。

第１に、閾値導出部１８１ｄは、例えば次の式（１１）により変数ｑＰを算出する。

qP=((Qp_Q+Qp_P +1)>>1+QpOffset)
・・・（１１）

式（１１）は、基本的には、ブロックＰの量子化パラメータＱｐ_Ｐと、ブロックＱの量子化パラメータＱｐ_Ｑとの平均を求める計算式であるが、この計算式において転換テーブルに基づくオフセット値ＱｐＯｆｆｓｅｔが導入されている。なお、式（１１）の計算式は一例に過ぎないものであって、オフセット値ＱｐＯｆｆｓｅｔが反映されたものであれば他の計算式を用いてもよい。

第２に、閾値導出部１８１ｄは、例えば次の式（１２）により、閾値βを導出するためのＱを算出する。

Q=Clip3(0,63,qP+(slice_beta_offset_div2<<1))
・・・（１２）

但し、「Ｃｌｉｐ３（ｘ，ｙ，ｚ）」は、ｚがｘより小さければｘを返し、ｚがｙより大きければｙを返し、それ以外の場合はｚを返すクリップ演算子である。「ｓｌｉｃｅ＿ｂｅｔａ＿ｏｆｆｓｅｔ＿ｄｉｖ２」は、復号装置２にシグナリングするパラメータの１つである。

また、閾値導出部１８１ｄは、例えば次の式（１３）により、閾値ｔ_Ｃを導出するためのＱを算出する。

Q=Clip3(0,65,qP+2*(bS-1)+(slice_tc_offset_div2<<1))
・・・（１３）

但し、「ｂＳ」は境界強度決定部１８１ａが出力するＢｓ値である。「ｓｌｉｃｅ＿ｔｃ＿ｏｆｆｓｅｔ＿ｄｉｖ２」は、復号装置２にシグナリングするパラメータの１つである。

第３に、閾値導出部１８１ｄは、次の表２により、それぞれ算出したＱから閾値β及びｔ_Ｃを導出する。

フィルタ強度制御部１８１ｅは、境界強度決定部１８１ａが出力する境界強度Ｂｓの値と、閾値導出部１８１ｄが出力する閾値β及びｔ_Ｃとに基づいて、デブロッキングフィルタ１８０のフィルタ強度を制御する。

上述の代表値導出部１８１ｂは、ブロックＰ及びブロックＱの前記ブロック境界に位置する輝度画素値の平均値を代表値ｙ_ｐｑとしたが、それぞれのブロックの一部もしくは全体の平均によりブロックＰの代表値ｙ_ｐ及びブロックＱの代表値ｙ_ｑをそれぞれ算出し、前記代表値を用いてブロックＰ及びブロックＱに対するオフセット値を導出してもよい。

具体的には代表値導出部１８１ｂが導出する代表値ｙ_ｐ及びｙ_ｑとしては、次の１）もしくは２）のいずれかとする。

１）ブロックＰ及びブロックＱのそれぞれの平均値を代表値ｙ_ｐ及びｙ_ｑとする。

y_p=(ΣYp[i][j])/(Wp*Hp)
y_q=(ΣYq[s][t])/(Wq*Hq)
・・・（１４）

２）ブロックＰ及びブロックＱのブロック境界に位置する各ブロックの輝度画素値の平均値を代表値ｙ_ｐ及びｙ_ｑとする。

y_p=(Yp[0][Wp-1]+Yp[Hp-1][Wp-1]) >>1
y_q=(Yq[0][0]+Yq[Hq-1][0]) >>1
・・・（１５）

オフセット算出部１８１ｃは前記ｙ_ｐ及びｙ_ｑを用いてブロックＰ及びブロックＱそれぞれに適用するオフセット値ＱｐｐＯｆｆｓｅｔ及びＱｐｑＯｆｆｓｅｔを下記の式により算出する。

QpｐOffset=log2(lmcs_CW[y_p>>6]/64)×6
QpｑOffset=log2(lmcs_CW[y_q>>6]/64)×6
・・・（１６）

閾値導出部１８１ｄは、ブロックＰに対する量子化処理及び逆量子化処理で用いた量子化パラメータＱｐ_Ｐと、ブロックＱに対する量子化処理及び逆量子化処理で用いた量子化パラメータＱｐ_Ｑと、オフセット算出部１８１ｃが算出したオフセット値ＱｐｐＯｆｆｓｅｔ及びＱｐｑＯｆｆｓｅｔとに基づいて、デブロッキングフィルタ１８０のフィルタ強度を制御するための閾値β及びｔ_Ｃを導出し、導出した閾値β及びｔ_Ｃをフィルタ強度制御部１８１ｅに出力する。

閾値導出部１８１ｄは、例えば次の式（１７）により変数ｑＰを算出する。

qP=(Qp_Q+Qp_P +QppOffset +QpqOffset +1)>>1
・・・（１７）

上述のように算出した変数ｑＰを用いて式（１２）及び式（１３）を用いて閾値βを導出するためのＱを算出し、算出したＱ及び表２により閾値β及びｔ_Ｃを導出する。

フィルタ強度制御部１８１ｅは、境界強度Ｂｓの値が１又は２の場合には、次の式（１８）を満たす場合にのみ、フィルタ処理を行うようデブロッキングフィルタ１８０を制御してもよい（図６参照）。

また、フィルタ強度制御部１８１ｅは、フィルタ処理を行う場合、以下の条件式（１９）乃至（２４）を全て満たす場合に強いフィルタを適用し、それ以外の場合に弱いフィルタを適用してもよい（図６参照）。

このように、本実施形態に係るフィルタ制御部１８１は、ブロック単位で設定される一意のパラメータである量子化パラメータだけではなく、転換テーブルも考慮してデブロッキングフィルタ１８０のフィルタ強度を制御する。これにより、転換処理及び逆転換処理に起因するブロックノイズの発生に対してデブロッキングフィルタ１８０のフィルタ強度を制御可能になり、デブロッキングフィルタ１８０によるブロック歪みの低減効果を向上させることができる。

例えば、フィルタ制御部１８１は、転換テーブル中の複数のバンドの中から、符号化対象ブロック及び隣接ブロックに対応するバンドを特定し、特定したバンドに対して割り当てられた転換後の画素値の数を示す値が小さいほど、デブロッキングフィルタ１８０のフィルタ強度が強くなるようにデブロッキングフィルタ１８０を制御する。

これにより、画像に対して同一の量子化パラメータを適用する場合にも、転換テーブルの値が小さい領域については量子化誤差が大きくなり、逆に転換テーブルの値が大きい領域については量子化誤差が小さくなるという性質に着目し、転換テーブルの値が小さい領域におけるブロック境界に対して強いフィルタを適用しやすくなる。

＜復号装置の構成＞
次に、本実施形態に係る復号装置の構成について、上述した符号化装置の構成との相違点を主として説明する。

図８は、本実施形態に係る復号装置２の構成を示す図である。復号装置２は、符号化ストリームから復号対象ブロックを復号する装置である。

図８に示すように、復号装置２は、エントロピー復号部２００と、逆量子化・逆変換部２１０と、合成部２２０と、逆転換部２３０と、デブロッキングフィルタ２４０と、フィルタ制御部２４１と、メモリ２５０と、予測部２６０とを有する。

エントロピー復号部２００は、符号化装置１により生成された符号化ストリームを復号し、各種のシグナリング情報を復号する。具体的には、エントロピー復号部２００は、復号対象ブロックに適用された量子化処理に関する情報を取得し、取得した情報を逆量子化部２１１及びフィルタ制御部２４１に出力する。また、エントロピー復号部２００は、復号対象ブロックに適用された予測に関する情報（例えば、予測種別情報、動きベクトル情報）を取得し、取得した情報を予測部２６０及びフィルタ制御部２４１に出力する。転換テーブルが符号化装置１から伝送される場合、エントロピー復号部２００は、転換テーブルの情報を逆転換部２３０及びフィルタ制御部２４１に出力する。

また、エントロピー復号部２００は、符号化ストリームを復号し、量子化された変換係数を取得し、取得した変換係数を逆量子化・逆変換部２１０（逆量子化部２１１）に出力する。

逆量子化・逆変換部２１０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを有する。

逆量子化部２１１は、符号化装置１の量子化部１３２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー復号部２００から出力される量子化変換係数を、量子化パラメータ及び量子化行列を用いて逆量子化することにより、復号対象ブロックの変換係数を復元し、復元した変換係数を逆変換部２１２に出力する。

逆変換部２１２は、符号化装置１の変換部１３１が行う変換処理に対応する逆変換処理を行う。逆変換部２１２は、逆量子化部２１１から出力される変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２２０に出力する。

合成部２２０は、逆変換部２１２から出力される予測残差と、予測部２６０から出力される予測ブロックとを画素単位で合成することにより合成ブロックを生成し、生成した合成ブロックを逆転換部２３０に出力する。

逆転換部２３０は、符号化装置１の逆転換部１７０と同様な動作を行う。具体的には、逆転換部２３０は、合成部２２０から出力される合成ブロックに対して転換テーブルに基づいて逆転換処理を施すことにより、復号対象ブロックを復元（復号）し、復元ブロックをデブロッキングフィルタ２４０に出力する。

図９は、本実施形態に係る逆転換部２３０の構成を示す図である。図９に示すように、逆転換部２３０は、逆マッピング部２３１と、逆スケーリング部２３２とを有する。

逆マッピング部２３１は、合成部２２０から出力される合成ブロックの輝度信号に対して、マッピングスケールテーブル及びマッピングオフセットテーブルを用いて逆マッピング処理を行い、復号対象ブロックの輝度信号を復元し、復元した復号対象ブロックの輝度信号をデブロッキングフィルタ１８０に出力する。例えば、逆マッピング部２３１は、上記の式（５）により、逆マッピング処理後の復元した復号対象ブロック内の輝度信号を算出する。

逆スケーリング部２３２は、合成部２２０から出力される合成ブロックの色差信号に対して、スケーリング係数テーブルを用いて逆スケーリング処理を行い、復号対象ブロックの色差信号を復元し、復元した復号対象ブロックの色差信号をデブロッキングフィルタ１８０に出力する。例えば、逆スケーリング部２３２は、式（６）により、逆スケーリング処理後の復元された復号対象ブロックの色差信号を算出する。

デブロッキングフィルタ２４０は、符号化装置１のデブロッキングフィルタ１８０と同様な動作を行う。デブロッキングフィルタ２４０は、逆転換部２３０から出力される復元ブロックと当該復元ブロックに隣接するブロックとからなるブロック対（ブロックＰ及びＱ）の境界に対するフィルタ処理を行い、フィルタ処理後の復元ブロックをメモリ２５０に出力する。

フィルタ制御部２４１は、エントロピー復号部２００から出力される情報に基づいて、符号化装置１のフィルタ制御部１８１と同様な動作を行う。フィルタ制御部２４１は、例えば、表１に示した方法で境界強度Ｂｓを選択し、式（７）乃至式（２８）のような方法によりデブロッキングフィルタ１８０のフィルタ強度を制御する。

メモリ２５０は、デブロッキングフィルタ２４０から出力される復元ブロックをフレーム単位で復号画像として記憶する。メモリ２５０は、フレーム単位の復号画像を復号装置２の外部に出力する。

予測部２６０は、ブロック単位で予測を行う。予測部２６０は、インター予測部２６１と、予測転換部２６２と、イントラ予測部２６４と、切替部２６５とを有する。

インター予測部２６１は、メモリ２５０に記憶された復号画像を参照画像として用いて、復号対象ブロックをインター予測により予測する。インター予測部２６１は、エントロピー復号部２００から出力される動きベクトル情報を用いてインター予測を行うことによりインター予測ブロックを生成し、生成したインター予測ブロックを予測転換部２６２に出力する。

予測転換部２６２は符号化装置１の予測転換部１９２と同様な動作を行う。予測転換部２６２は、インター予測部２６１から出力されるインター予測ブロックに対して転換テーブルに基づいて転換処理を行うことにより新たなインター予測ブロックを生成し、生成した新たなインター予測ブロックを切替部２６５に出力する。

イントラ予測部２６４は、エントロピー復号部２００から出力される情報に基づいて、合成部２２０から出力される合成ブロックのうち符号化対象ブロックに隣接する合成ブロックの画素値を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部２６５に出力する。

切替部２６５は、予測転換部２６２（又はインター予測部２６１）から出力されるインター予測ブロックとイントラ予測部２６４から出力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを合成部２２０に出力する。

このように、本実施形態に係る復号装置２は、符号化ストリームを復号することで、復号対象ブロックに対応する変換係数を出力するエントロピー復号部２００と、エントロピー復号部２００が出力する変換係数に対して逆量子化処理及び逆変換処理を行って予測残差を復元する逆量子化・逆変換部２１０と、復元した予測残差と復号対象ブロックを予測した予測ブロックとを合成して合成ブロックを生成する合成部２２０と、生成した合成ブロックに対して転換テーブルに基づいて逆転換処理を行うことにより復号対象ブロックを復元する逆転換部２３０と、復元した復号対象ブロックと当該復号対象ブロックに隣接する隣接ブロックとの境界に対するフィルタ処理を行うデブロッキングフィルタ２４０と、逆量子化処理で用いた量子化パラメータと逆転換処理で用いた転換テーブルとに基づいてデブロッキングフィルタ２４０のフィルタ強度を制御するフィルタ制御部２４１とを有する。

次に、本実施形態に係るフィルタ制御部２４１の構成について説明する。図１０は、本実施形態に係るフィルタ制御部２４１の構成を示す図である。図１０に示すように、本実施形態に係るフィルタ制御部２４１は、境界強度決定部２４１ａと、代表値導出部２４１ｂと、オフセット算出部２４１ｃと、閾値導出部２４１ｄと、フィルタ強度制御部２４１ｅとを有する。

境界強度決定部２４１ａ、代表値導出部２４１ｂ、オフセット算出部２４１ｃ、閾値導出部２４１ｄ、及びフィルタ強度制御部２４１ｅは、符号化装置１の境界強度決定部１８１ａ、代表値導出部１８１ｂ、オフセット算出部１８１ｃ、閾値導出部１８１ｄ、及びフィルタ強度制御部１８１ｅとそれぞれ同様な動作を行う。

＜フィルタ制御部の動作例＞
次に、本実施形態に係るフィルタ制御部１８１及びフィルタ制御部２４１の動作例について説明する。フィルタ制御部１８１及びフィルタ制御部２４１は同じ動作を行うため、ここではフィルタ制御部２４１を例に挙げて説明する。図１１は、本実施形態に係るフィルタ制御部２４１の動作フロー例を示す図である。

図１１に示すように、ステップＳ１において、境界強度決定部２４１ａは、表１に示した方法により境界強度Ｂｓを決定し、決定した境界強度Ｂｓの値を閾値導出部２４１ｄ及びフィルタ強度制御部２４１ｅに出力する。決定された境界強度Ｂｓの値が０である場合、ステップＳ２以降の処理を行わずに、ブロックＰ及びＱの境界に対するフィルタ処理を行わない。

ステップＳ２において、代表値導出部２４１ｂは、ブロックＰ及びブロックＱのそれぞれの輝度信号の代表値ｙ_ｐｑを導出し、導出した代表値ｙ_ｐｑをオフセット算出部２４１ｃに出力する。代表値ｙ_ｐｑを導出する方法とては、上述した１）の方法（式（７））、又は上述した２）の方法（式（８）及び式（９））を用いる。

ステップＳ３において、オフセット算出部２４１ｃは、代表値導出部２４１ｂが導出した代表値ｙ_ｐｑに基づいて、ブロックＰとブロックＱとの境界に対するデブロッキングフィルタ処理を制御するパラメータであるオフセット値を算出する。具体的には、オフセット算出部２４１ｃは、代表値ｙ_ｐｑと、ブロックＰ及びブロックＱに適用した逆転換処理に用いた転換テーブルとを用いて、上記の式（１０）によりオフセット値ＱｐＯｆｆｓｅｔを算出し、算出したオフセット値ＱｐＯｆｆｓｅｔを閾値導出部２４１ｄに出力する。

ステップＳ４において、閾値導出部２４１ｄは、ブロックＰに対する逆量子化処理で用いた量子化パラメータＱｐ_Ｐと、ブロックＱに対する逆量子化処理で用いた量子化パラメータＱｐ_Ｑと、オフセット算出部２４１ｃが算出したオフセット値ＱｐＯｆｆｓｅｔとに基づいて、上記の式（１１）により変数ｑＰを算出する。

ステップＳ５において、閾値導出部２４１ｄは、変数ｑＰに基づいて、上記の式（１２）及び式（１３）により変数Ｑを算出し、算出した変数Ｑから表２により閾値β及びｔ_Ｃを導出する。

ステップＳ６において、フィルタ強度制御部２４１ｅは、境界強度決定部２４１ａが出力する境界強度Ｂｓの値と、閾値導出部２４１ｄが出力する閾値β及びｔ_Ｃとに基づいて、デブロッキングフィルタ２４０のフィルタ強度を制御する。

このように、本実施形態に係るフィルタ制御部２４１は、ブロック単位で設定される一意のパラメータである量子化パラメータだけではなく、逆転換処理に用いる転換テーブルも考慮してデブロッキングフィルタ２４０のフィルタ強度を制御する。これにより、転換処理及び逆転換処理に起因するブロックノイズの発生に対してデブロッキングフィルタ２４０のフィルタ強度を制御可能になり、デブロッキングフィルタ２４０によるブロック歪みの低減効果を向上させることができる。

例えば、フィルタ制御部２４１は、転換テーブル中の複数のバンドの中から、復号対象ブロック及び隣接ブロックに対応するバンドを特定し、特定したバンドに対して割り当てられた転換後の画素値の数を示す値が小さいほど、デブロッキングフィルタ１８０のフィルタ強度が強くなるようにデブロッキングフィルタ２４０を制御する。

＜その他の実施形態＞
上述した実施形態において、代表値導出部１８１ｂ及び２４１ｂが、ブロックＰ及びブロックＱのそれぞれの輝度信号に基づいて代表値ｙ_ｐｑを導出する一例について説明した。しかしながら、代表値導出部１８１ｂ及び２４１ｂは、ブロックＰの輝度信号の代表値ｙ_{ｐｑ（Ｐ）}と、ブロックＱの輝度信号の代表値ｙ_{ｐｑ（Ｑ）}とを導出してもよい。

この場合、オフセット算出部１８１ｃ及び２４１ｃは、例えば次の式（２５）により、代表値ｙ_{ｐｑ（Ｐ）}を用いてブロックＰのオフセット値ＱｐＯｆｆｓｅｔ_Ｐを算出し、代表値ｙ_{ｐｑ（Ｑ）}を用いてブロックＱのオフセット値ＱｐＯｆｆｓｅｔ_Ｑを算出する。

QpOffset_Ｐ=log2(lmcs_CW[y_pq(P)>>6]/64)×6
QpOffset_Q=log2(lmcs_CW[y_pq(Q)>>6]/64)×6
・・・（２５）

そして、閾値導出部１８１ｄ及び２１４ｄは、例えば次の式（２６）により変数ｑＰを算出する。その後の動作については、上述した実施形態と同様である。

qP=((Qp_Q+ QpOffset_Q+ QpOffset_Ｐ+Qp_P+1)>>1)
・・・（２６）

符号化装置１が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体であってもよい。

符号化装置１が行う各処理を実行する回路を集積化し、符号化装置１を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。復号装置２が行う各処理を実行する回路を集積化し、復号装置２を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１：符号化装置
２：復号装置
１００：ブロック分割部
１１０：転換部
１１１：パラメータ導出部
１１２：マッピング部
１１３：スケーリング部
１２０：減算部
１３０：変換・量子化部
１３１：変換部
１３２：量子化部
１４０：エントロピー符号化部
１５０：逆量子化・逆変換部
１５１：逆量子化部
１５２：逆変換部
１６０：合成部
１６２：予測転換部
１７０：逆転換部
１７１：逆マッピング部
１７２：逆スケーリング部
１８０：デブロッキングフィルタ
１８１：フィルタ制御部
１８１ａ：境界強度決定部
１８１ｂ：代表値導出部
１８１ｃ：オフセット算出部
１８１ｄ：閾値導出部
１８１ｅ：フィルタ強度制御部
１８５：メモリ
１９０：予測部
１９１：インター予測部
１９２：予測転換部
１９３：イントラ予測部
１９４：切替部
２００：エントロピー復号部
２１０：逆変換部
２１１：逆量子化部
２１２：逆変換部
２２０：合成部
２３０：逆転換部
２３１：逆マッピング部
２３２：逆スケーリング部
２４０：デブロッキングフィルタ
２４１：フィルタ制御部
２４１ａ：境界強度決定部
２４１ｂ：代表値導出部
２４１ｃ：オフセット算出部
２４１ｄ：閾値導出部
２４１ｅ：フィルタ強度制御部
２５０：メモリ
２６０：予測部
２６１：インター予測部
２６２：予測転換部
２６４：イントラ予測部
２６５：切替部

Claims

画像をブロック単位に分割した符号化対象ブロックを符号化する符号化装置であって、
前記符号化対象ブロック内の転換テーブルに基づいて輝度信号の各画素値に対するマッピング処理及び色差信号の各画素値に対するスケーリング処理により構成される転換処理をすることで新たな符号化対象ブロックを生成する転換部と、
前記転換部で新たに生成された符号化対象ブロックと当該符号化対象ブロックを予測することにより生成した予測ブロックとの差である予測残差に変換処理及び量子化処理を行う変換・量子化部と、
前記変換・量子化部により生成された変換係数に逆量子化処理及び逆変換処理することにより前記予測残差を復元する逆量子化・逆変換部と、
前記復元した予測残差と前記予測ブロックとを合成することにより合成ブロックを生成する合成部と、
前記合成ブロック内の各画素値に対し前記転換処理に対応する逆転換処理をすることにより前記符号化対象ブロックを復元する逆転換部と、
前記復元した符号化対象ブロックと当該符号化対象ブロックに隣接する隣接ブロックとの境界にフィルタ処理するデブロッキングフィルタと、
前記量子化処理及び前記逆量子化処理で用いた量子化パラメータと前記転換処理及び前記逆転換処理で用いた転換テーブルとに基づいて、前記デブロッキングフィルタのフィルタ強度を制御するフィルタ制御部と、を備え、
前記転換テーブルは、１つ又は複数のスライスに対して設定されるテーブルであって、転換対象の画素値が取りうる最小値から最大値までの範囲を規定の数に分割した各バンドに対して割り当てる転換後の画素値の数を示す値からなるテーブルであることを特徴とする符号化装置。
前記フィルタ制御部は、前記符号化対象ブロックに対する前記量子化処理及び前記逆量子化処理で用いた前記量子化パラメータと、前記隣接ブロックに対する前記量子化処理及び前記逆量子化処理で用いた量子化パラメータと、前記符号化対象ブロック及び前記隣接ブロックに対する前記転換処理及び前記逆転換処理で用いた転換テーブルとに基づいて、前記デブロッキングフィルタのフィルタ強度を制御することを特徴とする請求項１に記載の符号化装置。
前記フィルタ制御部は、前記符号化対象ブロックの画素値及び前記隣接ブロックの画素値にさらに基づいて、前記デブロッキングフィルタのフィルタ強度を制御することを特徴とする請求項１又は２に記載の符号化装置。
前記フィルタ制御部は、
前記転換テーブル中の複数のバンドの中から、前記符号化対象ブロック及び前記隣接ブロックに対応するバンドを特定し、
前記特定したバンドに対して割り当てられた転換後の画素値の数を示す値が小さいほど、前記デブロッキングフィルタのフィルタ強度が強くなるように前記デブロッキングフィルタを制御することを特徴とする請求項１乃至３のいずれか１項に記載の符号化装置。
画像を分割して生成したブロック単位で符号化ストリームを復号する復号装置であって、
前記符号化ストリームを復号することで、復号対象ブロックに対応する変換係数を出力するエントロピー復号部と、
前記エントロピー復号部が出力する変換係数に対して逆量子化処理及び逆変換処理を行って予測残差を復元する逆量子化・逆変換部と、
前記復元した予測残差と前記復号対象ブロックを予測して生成した予測ブロックとを合成して合成ブロックを生成する合成部と、
前記生成した合成ブロック内の各画素値に対して転換テーブルに基づいて符号化側で行った輝度信号の各画素値に対するマッピング処理及び色差信号の各画素値に対するスケーリング処理により構成される転換処理に対応する逆転換処理を行うことにより前記符号化対象ブロックを復元する逆転換部と、
前記復元した復号対象ブロックと当該復号対象ブロックに隣接する隣接ブロックとの境界に対するフィルタ処理を行うデブロッキングフィルタと、
前記逆量子化処理で用いた量子化パラメータと前記逆転換処理で用いた転換テーブルとに基づいて、前記デブロッキングフィルタのフィルタ強度を制御するフィルタ制御部と、を備え、
前記転換テーブルは、１つ又は複数のスライスに対して設定されるテーブルであって、転換対象の画素値が取りうる最小値から最大値までの範囲を規定の数に分割した各バンドに対して割り当てる転換後の画素値の数を示す値からなるテーブルであることを特徴とする復号装置。
前記フィルタ制御部は、前記復号対象ブロックに対する前記逆量子化処理で用いた前記量子化パラメータと、前記隣接ブロックに対する前記逆量子化処理で用いた量子化パラメータと、前記復号対象ブロック及び前記隣接ブロックに対する前記逆転換処理で用いた転換テーブルとに基づいて、前記デブロッキングフィルタのフィルタ強度を制御することを特徴とする請求項５に記載の復号装置。
前記フィルタ制御部は、前記復号対象ブロックの画素値及び前記隣接ブロックの画素値にさらに基づいて、前記デブロッキングフィルタのフィルタ強度を制御することを特徴とする請求項５又は６に記載の復号装置。
前記フィルタ制御部は、
前記転換テーブル中の複数のバンドの中から、前記復号対象ブロック及び前記隣接ブロックに対応するバンドを特定し、
前記特定したバンドに対して割り当てられた転換後の画素値の数を示す値が小さいほど、前記デブロッキングフィルタのフィルタ強度が強くなるように前記デブロッキングフィルタを制御することを特徴とする請求項５乃至７のいずれか１項に記載の復号装置。
コンピュータを請求項１に記載の符号化装置として機能させることを特徴とするプログラム。
コンピュータを請求項５に記載の復号装置として機能させることを特徴とするプログラム。