JP7531683B2 - 符号化装置、復号装置、及びプログラム - Google Patents

Description

本発明は、符号化装置、復号装置、及びプログラムに関する。

静止画像や動画像の伝送時並びに保存時のデータ量を圧縮するため、映像符号化方式の研究が行われている。近年、８Ｋ－ＳＨＶに代表されるような超高解像度映像の普及が進んでおり、膨大なデータ量の動画像を伝送するための手法としてＡＶＣ／Ｈ．２６４やＨＥＶＣ／Ｈ．２６５などの符号化方式が知られている。

ＭＰＥＧおよびＩＴＵが合同で標準化を行っている次世代映像符号化方式であるＶＶＣの評価用ソフトウェア（ＶＴＭ）では、フレーム内の空間的な相関を利用したイントラ予測が利用されている（例えば、非特許文献１参照）。

符号化対象ブロックの周辺の復号済参照画素を利用して、Ｐｌａｎａｒ予測、ＤＣ予測、および６５通りの方向性予測の、計６７通りの予測モードからエンコーダ側で最適なモードが選択され、その情報がデコーダ側へ送られる。

一方、色差信号のイントラ予測モードの候補の数は輝度信号ほど多くない。輝度信号で用いられているのと同じ予測モードとしては、ＤＭ（対応する輝度ブロックで用いられた予測モード）、Ｐｌａｎａｒモード（ｍｏｄｅ ０）、垂直方向モード（ｍｏｄｅ ５０）、水平方向モード（ｍｏｄｅ １８）、ＤＣモード（ｍｏｄｅ １）の５通りがある。輝度信号の復号済画素を予測に用いるＬｉｎｅａｒ Ｍｏｄｅｌ（ＬＭ）モードの利用が許可されている場合には、この５モードに加えてＬＭモードも選択肢となり、いずれかのモードを示すフラグがデコーダ側へ伝送される。

イントラスライスにおいては、輝度信号及び色差信号に対して別々のブロック分割が可能となっているため、ＤＭでは符号化対象となる色差ブロックの位置には、対応する複数の輝度ブロックがあることが考えられる。そのため、色差ブロックの対応する位置の中心にある画素が含まれる輝度ブロックのイントラ予測モードをＤＭとして利用する。

また、ＶＶＣでは、複数の変換基底を切り替えるＭｕｌｔｉ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ（ＭＴＳ）が輝度信号の符号化において実装されており、ＤＣＴ－２、ＤＳＴ－７、ＤＣＴ－８がそれぞれ水平方向・垂直方向で利用可能である。一方、現段階では、色差信号にはＭＴＳは実装されておらず、色差信号で利用可能な変換基底は水平方向・垂直方向共にＤＣＴ－２のみとなっている。

ＪＶＥＴ－Ｏ２００１ Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （Ｄｒａｆｔ ６）

ある輝度ブロックと、この輝度ブロックに対応する色差ブロックとにおいて、絵柄やテクスチャに相関がある場合、色差ブロックのイントラ予測モードは、対応する輝度ブロックと同じ予測モードが利用できるＤＭが選択される可能性が高い。しかし、対応する輝度ブロックが利用する変換基底がＤＣＴ－２以外であった場合、その予測残差に対するエネルギー集約が異なるため、ＤＭを選択した場合の符号化効率が悪化する可能性がある。

そこで、本発明は、ＤＭを選択した場合の符号化効率を改善する符号化装置、復号装置、及びプログラムを提供することを目的とする。

第１の態様に係る符号化装置は、画像を構成する輝度信号及び色差信号を分割して生成した輝度ブロック及び色差ブロックを符号化する符号化装置であって、符号化された輝度ブロックに適用されたイントラ予測モードと、当該輝度ブロックに適用された変換処理の変換パラメータと、に基づいて、当該輝度ブロックに対応する色差ブロックに適用するイントラ予測モードを決定するモード決定部を備えることを要旨とする。実施形態に係る符号化装置は、画像を構成する輝度信号及び色差信号を分割して生成した輝度ブロック及び色差ブロックを符号化する符号化装置であって、前記色差ブロックに適用する色差イントラ予測モードの候補として前記輝度ブロックのイントラ予測に適用されたイントラ予測モードを用いる場合、前記色差ブロックに対応する第１輝度ブロックの予測残差の変換処理に適用された変換パラメータを特定する変換パラメータ特定部と、前記特定された変換パラメータが前記色差ブロックに適用可能である場合、前記色差イントラ予測モードの候補として、前記第１輝度ブロックに適用された第１イントラ予測モードを決定するモード決定部と、を備え、前記モード決定部は、前記特定された変換パラメータが前記色差ブロックに適用可能ではない場合、前記色差イントラ予測モードの候補として、前記第１イントラ予測モードとは異なるイントラ予測モードを決定することを要旨とする。

第２の態様に係る復号装置は、画像を構成する輝度信号及び色差信号を分割して生成した輝度ブロック及び色差ブロックを復号する復号装置であって、復号された輝度ブロックに適用されたイントラ予測モードと、当該輝度ブロックに適用された変換処理の変換パラメータと、に基づいて、当該輝度ブロックに対応する色差ブロックに適用するイントラ予測モードを決定するモード決定部を備えることを要旨とする。実施形態に係る復号装置は、画像を構成する輝度信号及び色差信号を分割して生成した輝度ブロック及び色差ブロックを復号する復号装置であって、前記色差ブロックに適用する色差イントラ予測モードの候補として前記輝度ブロックのイントラ予測に適用されたイントラ予測モードを用いる場合、前記色差ブロックに対応する第１輝度ブロックの変換係数の逆変換処理に適用された変換パラメータを特定する変換パラメータ特定部と、前記特定された変換パラメータが前記色差ブロックに適用可能である場合、前記色差イントラ予測モードの候補として、前記第１輝度ブロックに適用された第１イントラ予測モードを決定するモード決定部と、を備え、前記モード決定部は、前記特定された変換パラメータが前記色差ブロックに適用可能ではない場合、前記色差イントラ予測モードの候補として、前記第１イントラ予測モードとは異なるイントラ予測モードを決定することを要旨とする。

第３の態様に係るプログラムは、コンピュータを第１の態様に係る符号化装置として機能させることを要旨とする。

第４の態様に係るプログラムは、コンピュータを第２の態様に係る復号装置として機能させることを要旨とする。

本発明によれば、ＤＭを選択した場合の符号化効率を改善する符号化装置、復号装置、及びプログラムを提供できる。

実施形態に係る符号化装置の構成を示す図である。 実施形態に係るイントラ予測モードの候補を示す図である。 実施形態に係るＤＭの一例を示す図である。 実施形態に係るデフォルト輝度ブロック及びセカンダリー輝度ブロックを示す図である。 実施形態に係る復号装置の構成を示す図である。 実施形態に係るＤＭ決定部の動作例１を示す図である。 実施形態に係るＤＭ決定部の動作例２を示す図である。 実施形態に係るＤＭ決定部の動作例３を示す図である。

図面を参照して、実施形態に係る符号化装置及び復号装置について説明する。実施形態に係る符号化装置及び復号装置は、ＭＰＥＧに代表される動画像の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

＜符号化装置の構成＞
まず、本実施形態に係る符号化装置の構成について説明する。図１は、本実施形態に係る符号化装置１の構成を示す図である。

図１に示すように、符号化装置１は、ブロック分割部１００と、減算部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、合成部１５０と、メモリ１６０と、予測部１７０とを有する。

ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像である原画像を複数の画像ブロックに分割し、分割により得た画像ブロックを減算部１１０に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。画像ブロックの形状は正方形に限らず長方形（非正方形）であってもよい。画像ブロックは、符号化装置１が符号化を行う単位（すなわち、符号化対象ブロック）であり、且つ復号装置が復号を行う単位（すなわち、復号対象ブロック）である。このような画像ブロックはＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれることがある。

具体的には、ブロック分割部１００は、画像を構成する輝度信号及び色差信号に対してブロック分割を行うことで、輝度ブロック及び色差ブロックを出力する。輝度信号と色差信号とで分割を独立に制御可能であってもよい。輝度ブロック及び色差ブロックを特に区別しないときは単に符号化対象ブロックと呼ぶ。

減算部１１０は、ブロック分割部１００から出力される符号化対象ブロックと、符号化対象ブロックを予測部１７０が予測して得た予測ブロックとの差分（誤差）を表す予測残差を算出する。具体的には、減算部１１０は、ブロックの各画素値から予測ブロックの各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。

変換・量子化部１２０は、ブロック単位で変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを有する。

変換部１２１は、減算部１１０から出力される予測残差に対して変換処理を行って変換係数を算出し、算出した変換係数を量子化部１２２に出力する。変換処理とは、例えば、離散コサイン変換（ＤＣＴ）や離散サイン変換（ＤＳＴ）、カルーネンレーブ変換（ＫＬＴ）等をいう。但し、変換処理には、画素領域の信号を周波数領域の信号に変換することなくスケーリング等により調整する変換スキップを含んでもよい。変換部１２１は、符号化対象ブロックに適用する変換処理に関する情報をエントロピー符号化部１３０に出力する。

変換部１２１は、複数の変換基底を切り替えるＭＴＳを輝度信号の符号化において用いる。具体的には、変換部１２１は、輝度ブロックに対して、水平方向及び垂直方向のそれぞれについて、ＤＣＴ－２、ＤＳＴ－７、ＤＣＴ－８の中から選択した変換基底（変換タイプ）を適用する。一方、変換部１２１は、色差ブロックについては、予め定められた変換基底（変換タイプ）を適用するものとする。例えば、変換部１２１は、色差ブロックに対して水平方向・垂直方向共にＤＣＴ－２のみを適用する。ＤＣＴ－２は、予め定められた変換基底である色差変換基底の一例である。

量子化部１２２は、変換部１２１から出力される変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化した変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。

エントロピー符号化部１３０は、量子化部１２２から出力される変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ（ビットストリーム）を生成し、符号化データを符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。なお、エントロピー符号化部１３０は、変換部１２１から変換処理に関する情報が入力され、予測部１７０から予測処理に関する情報が入力され、これらの情報のエントロピー符号化も行う。

逆量子化・逆変換部１４０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを有する。

逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２から出力される変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより変換係数を復元し、復元した変換係数を逆変換部１４２に出力する。

逆変換部１４２は、変換部１２１が行う変換処理に対応する逆変換処理を行う。例えば、変換部１２１が離散コサイン変換を行った場合には、逆変換部１４２は逆離散コサイン変換を行う。逆変換部１４２は、逆量子化部１４１から出力される変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。

合成部１５０は、逆変換部１４２から出力される復元予測残差を、予測部１７０から出力される予測ブロックと画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測ブロックの各画素値を加算して符号化対象ブロックを復号（再構成）し、復号済みブロックをメモリ１６０に出力する。なお、復号済みブロックは、再構成ブロックと呼ばれることもある。

メモリ１６０は、合成部１５０から出力される復号済みブロックを記憶し、復号済みブロックをフレーム単位で復号済み画像として蓄積する。メモリ１６０は、記憶している復号済みブロック若しくは復号済み画像を予測部１７０に出力する。なお、合成部１５０とメモリ１６０との間にループフィルタが設けられてもよい。

予測部１７０は、ブロック単位で予測処理を行う。予測部１７０は、インター予測部１７１と、イントラ予測部１７２と、切替部１７３とを有する。

インター予測部１７１は、フレーム間の相関を利用したインター予測を行う。具体的には、インター予測部１７１は、メモリ１６０に記憶された復号済み画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出し、インター予測の対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部１７３に出力する。ここで、インター予測部１７１は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１７１は、インター予測に関する情報（動きベクトル等）をエントロピー符号化部１３０に出力する。

イントラ予測部１７２は、フレーム内の空間的な相関を利用したイントラ予測を行う。具体的には、イントラ予測部１７２は、メモリ１６０に記憶された復号済み画像のうち、イントラ予測の対象ブロックの周辺にある復号済み画素を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部１７３に出力する。一般的に、イントラ予測部１７２は、複数のイントラ予測モードの中から、イントラ予測の対象ブロックに適用するイントラ予測モードを選択し、選択したイントラ予測モードを用いて対象ブロックを予測する。イントラ予測部１７２は、選択したイントラ予測モードに関する情報をエントロピー符号化部１３０に出力する。

図２は、本実施形態に係るイントラ予測モードの候補を示す図である。図２に示すように、イントラ予測モードの候補は、０から６６までの６７通りのイントラ予測モードがある。イントラ予測モードのモード「０」はＰｌａｎａｒ予測であり、イントラ予測モードのモード「１」はＤＣ予測であり、イントラ予測モードのモード「２」乃至「６６」は方向性予測である。方向性予測において、矢印の方向は参照方向を示し、矢印の起点は予測対象の画素の位置を示し、矢印の終点はこの予測対象画素の予測に用いる参照画素の位置を示す。ブロックの右上頂点及び左下頂点を通る対角線に平行な参照方向として、左下方向を参照するイントラ予測モードであるモード「２」と、右上方向を参照するイントラ予測モードであるモード「６６」とがあり、モード「２」からモード「６６」まで時計回りに所定角度ごとにモード番号が割り振られている。

切替部１７３は、インター予測部１７１から出力されるインター予測ブロックとイントラ予測部１７２から出力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを減算部１１０及び合成部１５０に出力する。

このようにして、符号化装置１は、画像を構成する輝度信号及び色差信号を分割して生成した輝度ブロック及び色差ブロックを符号化する。

符号化装置１において、イントラ予測部１７２は、輝度信号については、輝度ブロックの周辺の復号済み参照画素を利用して、Ｐｌａｎａｒ予測、ＤＣ予測、および６５通りの方向性予測の、計６７通りの予測モードから最適なモードを選択し、その情報をエントロピー符号化部１３０から復号装置へ伝送する。

一方、色差信号のイントラ予測モードの候補の数は、輝度信号ほど多くない。輝度信号で用いられているのと同じ予測モードとしては、ＤＭ（対応する輝度ブロックに適用された予測モード）、Ｐｌａｎａｒモード（ｍｏｄｅ ０）、垂直方向モード（ｍｏｄｅ ５０）、水平方向モード（ｍｏｄｅ １８）、ＤＣモード（ｍｏｄｅ １）の５通りがある。輝度信号の復号済画素を予測に用いるＬｉｎｅａｒ Ｍｏｄｅｌ（ＬＭ）モードの利用が許可されている場合には、この５モードに加えてＬＭモードも選択肢となる。

イントラ予測部１７２は、ＤＭを決定するＤＭ決定部１７２０を有する。ＤＭは、符号化対象となる色差ブロックの位置に対応する輝度ブロックに適用されたイントラ予測モードを、色差信号のイントラ予測モードの候補とするものである。但し、イントラスライスにおいては、輝度信号及び色差信号に対して別々のブロック分割が可能となっている。そのため、色差ブロックの対応する位置の中心にある画素が含まれる輝度ブロックを、色差ブロックの位置に対応する輝度ブロックとして用い、この輝度ブロックに適用されたイントラ予測モードをＤＭとして利用する。

図３は、本実施形態に係るＤＭの一例を示す図である。図３において、輝度ブロック及び色差ブロックのそれぞれが水平４画素・垂直４画素（すなわち、４×４画素）で構成される一例を示している。

図３に示すように、フレーム内での色差ブロックの位置に対応する位置において４つの輝度ブロックＢ１乃至Ｂ４がある。すなわち、１つの色差ブロックが４つの輝度ブロックに対応している。このような場合、ＤＭ決定部１７２０は、色差ブロックの中心位置をカバーする輝度ブロックに適用されたイントラ予測モードをＤＭとして決定する。

図３に示す例において、輝度ブロックＢ１は、色差ブロックの中心位置をカバーする輝度ブロックである。このため、ＤＭ決定部１７２０は、輝度ブロックＢ１に適用されたイントラ予測モードであるｍｏｄｅ ２をＤＭとして決定する。

イントラ予測部１７２は、ある輝度ブロックと、この輝度ブロックに対応する色差ブロックとにおいて、絵柄やテクスチャに相関がある場合、イントラ予測対象の色差ブロックのイントラ予測モードとして、ＤＭ決定部１７２０により決定されたＤＭを選択する可能性が高い。しかし、この色差ブロックに対応する輝度ブロックについて、変換部１２１が変換処理に適用する変換基底がＤＣＴ－２以外であった場合、適用する変換基底が輝度ブロックと色差ブロックとで異なるため、ＤＭを選択した場合の符号化効率が悪化する可能性がある。

また、輝度ブロックに変換スキップが適用可能であって、色差ブロックに変換スキップが適用可能ではないことが想定される。このような想定下において、色差ブロックに対応する輝度ブロックについて変換部１２１が変換スキップを適用すると、ＤＭを選択した場合の符号化効率が悪化する可能性がある。以下において、色差ブロックに変換スキップが適用可能ではないものと仮定する。

さらに、輝度ブロックに二次変換が適用可能であって、色差ブロックに二次変換が適用可能ではないことが想定される。このような想定下において、色差ブロックに対応する輝度ブロックについて変換部１２１が二次変換を適用すると、ＤＭを選択した場合の符号化効率が悪化する可能性がある。以下において、色差ブロックに二次変換が適用可能ではないものと仮定する。

このため、本実施形態に係るＤＭ決定部１７２０は、ＤＭを決定する際に、イントラ予測対象の色差ブロックに対応する輝度ブロックの予測残差の変換処理に適用された変換パラメータを考慮する。ここで、変換パラメータとは、主として変換基底をいうが、変換スキップの有無が変換パラメータに含まれてもよいし、二次変換の有無が変換パラメータに含まれてもよい。ＤＭ決定部１７２０は、変換パラメータ特定部１７２１と、モード決定部１７２２とを有する。

変換パラメータ特定部１７２１は、イントラ予測対象の色差ブロックに対応する第１輝度ブロックの予測残差の変換処理に適用された変換パラメータを特定する。変換パラメータは、「変換基底」、「変換スキップの有無」、及び「二次変換の有無」のうち少なくとも１つである。第１輝度ブロックは、色差ブロックの中心位置をカバーする輝度ブロック（例えば、図３に示す輝度ブロックＢ１）である。以下において、このような第１輝度ブロックを「デフォルト輝度ブロック」と呼ぶ。

モード決定部１７２２は、変換パラメータ特定部１７２１が特定した変換パラメータが色差ブロックに適用可能である場合、ＤＭとして、デフォルト輝度ブロックに適用された第１イントラ予測モード（例えば、図３に示す輝度ブロックＢ１のｍｏｄｅ ２）を決定する。一方、モード決定部１７２２は、特定された変換パラメータが色差ブロックに適用可能ではない場合、ＤＭとして、第１イントラ予測モードとは異なるイントラ予測モードを決定する。

変換パラメータとして「変換基底」を例に挙げると、デフォルト輝度ブロックに適用された変換基底がＤＣＴ－２である場合、色差ブロックに適用可能な変換基底であるため、モード決定部１７２２は、デフォルト輝度ブロックに適用された第１イントラ予測モードをＤＭとして決定する。一方、デフォルト輝度ブロックに適用された変換基底がＤＣＴ－２以外である場合、色差ブロックに適用可能な変換基底ではないため、モード決定部１７２２は、第１イントラ予測モードとは異なるイントラ予測モードを決定する。

変換パラメータとして「変換スキップの有無」を例に挙げると、デフォルト輝度ブロックが変換スキップ「無」である場合、モード決定部１７２２は、デフォルト輝度ブロックに適用された第１イントラ予測モードをＤＭとして決定する。一方、デフォルト輝度ブロックが変換スキップ「有」である場合、モード決定部１７２２は、第１イントラ予測モードとは異なるイントラ予測モードを決定する。

変換パラメータとして「二次変換の有無」を例に挙げると、デフォルト輝度ブロックが二次変換「無」である場合、モード決定部１７２２は、デフォルト輝度ブロックに適用された第１イントラ予測モードをＤＭとして決定する。一方、デフォルト輝度ブロックが二次変換「有」である場合、モード決定部１７２２は、第１イントラ予測モードとは異なるイントラ予測モードを決定する。

デフォルト輝度ブロックに適用された第１イントラ予測モードとは異なるイントラ予測モードをモード決定部１７２２が決定する方法には、次の２通りの方法がある。

１つ目の方法として、モード決定部１７２２は、変換パラメータ特定部１７２１が特定した変換パラメータが色差ブロックに適用可能ではない場合、デフォルト輝度ブロックの周辺の第２輝度ブロックに適用された第２イントラ予測モードをＤＭとして決定する。第２輝度ブロックとは、デフォルト輝度ブロックに対する相対位置が予め定められた輝度ブロックをいい、以下において、このような第２輝度ブロックを「セカンダリー輝度ブロック」と呼ぶ。

図４は、本実施形態に係るデフォルト輝度ブロック及びセカンダリー輝度ブロックを示す図である。図４に示すように、セカンダリー輝度ブロックは、デフォルト輝度ブロックの周辺の輝度ブロックである。図４において、セカンダリー輝度ブロックがデフォルト輝度ブロックの左上の輝度ブロックである一例を示している。

例えば、モード決定部１７２２は、デフォルト輝度ブロックで利用された変換基底が色差信号で利用可能な変換基底（すなわち、ＤＣＴ－２）と同じである場合、デフォルト輝度ブロックに適用された第１イントラ予測モードをＤＭとして決定し、同じではない場合には、セカンダリー輝度ブロックに適用された第２イントラ予測モードをＤＭとして決定する。

ここでは、輝度ブロックの選択肢としてデフォルト輝度ブロック及びセカンダリー輝度ブロックの２つを例示しているが、さらに選択肢を増やしてもよい。例えば、図４に示す輝度ブロックＢ２及びＢ４も選択肢に加える場合、モード決定部１７２２は、条件に合致する輝度ブロックを見つけるか、すべての選択肢を確認するまで判定を繰り返してもよい。

２つ目の方法として、モード決定部１７２２は、変換パラメータ特定部１７２１が特定した変換パラメータが色差ブロックに適用可能ではない場合、予め決められたイントラ予測モードをＤＭとして決定する。

予め決められたイントラ予測モードは、固定的に定められたイントラ予測モードであってもよい。例えば、予め決められたイントラ予測モードは、Ｐｌａｎａｒモードであってもよいし、ＤＣモードであってもよい。

或いは、予め決められたイントラ予測モードは、ブロックの形状に応じて定められてもよい。例えば、予め決められたイントラ予測モードは、縦長ブロックの場合には垂直方向モード、横長ブロックの場合には水平方向モードというように定められてもよい。

或いは、予め決められたイントラ予測モードは、デフォルト輝度ブロックに適用された第１イントラ予測モードに応じて定められてもよい。例えば、予め決められたイントラ予測モードは、第１イントラ予測モードがＰｌａｎａｒモードであった場合には、それ以外のイントラ予測モードであるＤＣモードとしてもよい。

このように、本実施形態に係る符号化装置１によれば、ＤＭを決定する際に、色差ブロックに対応する輝度ブロックの予測残差の変換処理に適用された変換パラメータを考慮することにより、ＤＭを選択した場合の符号化効率の悪化を抑制できるため、ＤＭを選択した場合の符号化効率を改善できる。

＜復号装置の構成＞
次に、本実施形態に係る復号装置の構成について説明する。図５は、本実施形態に係る復号装置２の構成を示す図である。

図５に示すように、復号装置２は、エントロピー復号部２００と、逆量子化・逆変換部２１０と、合成部２２０と、メモリ２３０と、予測部２４０とを有する。

エントロピー復号部２００は、符号化装置１により生成された符号化データを復号し、量子化された変換係数を逆量子化・逆変換部２１０に出力する。また、エントロピー復号部２００は、符号化装置１が決定した変換処理に関する情報を取得し、取得した情報を逆量子化・逆変換部２１０に出力する。さらに、エントロピー復号部２００は、予測処理に関する情報を取得し、取得した情報を予測部２４０に出力する。

逆量子化・逆変換部２１０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを有する。

逆量子化部２１１は、符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー復号部２００から出力される量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、復号対象ブロックの変換係数を復元し、復元した変換係数を逆変換部２１２に出力する。

逆変換部２１２は、符号化装置１の変換部１２１が行う変換処理に対応する逆変換処理を行う。逆変換部２１２は、逆量子化部２１１から出力される変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２２０に出力する。

合成部２２０は、逆変換部２１２から出力される予測残差と、予測部２４０から出力される予測ブロックとを画素単位で合成することにより、元のブロックを復号（再構成）し、復号済みブロックをメモリ２３０に出力する。

メモリ２３０は、合成部２２０から出力される復号済みブロックを記憶し、復号済みブロックをフレーム単位で復号済み画像として蓄積する。メモリ２３０は、復号済みブロック若しくは復号済み画像を予測部２４０に出力する。また、メモリ２３０は、フレーム単位の復号済み画像を復号装置２の外部に出力する。なお、合成部２２０とメモリ２３０との間にループフィルタが設けられてもよい。

予測部２４０は、ブロック単位で予測を行う。予測部２４０は、インター予測部２４１と、イントラ予測部２４２と、切替部２４３とを有する。

インター予測部２４１は、フレーム間の相関を利用したインター予測を行う。具体的には、インター予測部２４１は、エントロピー復号部２００から出力されるインター予測に関する情報（例えば、動きベクトル情報）に基づいて、メモリ２３０に記憶された復号済み画像を参照画像として用いてインター予測の対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部２４３に出力する。

イントラ予測部２４２は、フレーム内の空間的な相関を利用したイントラ予測を行う。具体的には、イントラ予測部２４２は、エントロピー復号部２００から出力されるイントラ予測に関する情報（例えば、イントラ予測モードの情報）に基づいて、メモリ２３０に記憶された復号済み画像のうちイントラ予測の対象ブロックの周辺にある復号済み画素を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部２４３に出力する。

切替部２４３は、インター予測部２４１から出力されるインター予測ブロックとイントラ予測部２４２から出力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを合成部２２０に出力する。

このようにして、復号装置２は、復号対象ブロック（輝度ブロック及び色差ブロック）を復号する。

イントラ予測部２４２は、輝度信号については、Ｐｌａｎａｒ予測、ＤＣ予測、および６５通りの方向性予測の、計６７通りのイントラ予測モードから、エントロピー復号部２００から出力される輝度予測モード情報が示すイントラ予測モードを選択する。

一方、色差信号については、ＤＭ（対応する輝度ブロックに適用された予測モード）、Ｐｌａｎａｒモード（ｍｏｄｅ ０）、垂直方向モード（ｍｏｄｅ ５０）、水平方向モード（ｍｏｄｅ １８）、ＤＣモード（ｍｏｄｅ １）の５通りのイントラ予測モードから、エントロピー復号部２００から出力される色差予測モード情報が示すイントラ予測モードを選択する。なお、ＬＭモードの利用が許可されている場合には、この５モードに加えてＬＭモードも選択肢となる。以下においては、色差予測モード情報が示すイントラ予測モードがＤＭであると仮定する。

イントラ予測部２４２は、ＤＭを決定するＤＭ決定部２４２０を有する。ＤＭ決定部１７２０は、ＤＭを決定する際に、イントラ予測対象の色差ブロックに対応する輝度ブロックの変換係数の逆変換処理に適用された変換パラメータを考慮する。ここで、変換パラメータとは、主として変換基底をいうが、変換スキップの有無が変換パラメータに含まれてもよいし、二次変換の有無が変換パラメータに含まれてもよい。

ＤＭ決定部２４２０は、変換パラメータ特定部２４２１と、モード決定部２４２２とを有する。変換パラメータ特定部２４２１及びモード決定部２４２２は、符号化装置１の変換パラメータ特定部１７２１及びモード決定部１７２２とそれぞれ同様な機能を有する。

具体的には、変換パラメータ特定部２４２１は、イントラ予測対象の色差ブロックに対応するデフォルト輝度ブロックの変換係数の逆変換処理に適用された変換パラメータを特定する。変換パラメータとは、主として変換基底をいうが、変換スキップの有無が変換パラメータに含まれてもよいし、二次変換の有無が変換パラメータに含まれてもよい。

モード決定部２４２２は、変換パラメータ特定部２４２１が特定した変換パラメータが色差ブロックに適用可能である場合、デフォルト輝度ブロックに適用された第１イントラ予測モードをＤＭとして決定する。一方、モード決定部２４２２は、特定された変換パラメータが色差ブロックに適用可能ではない場合、第１イントラ予測モードとは異なるイントラ予測モードをＤＭとして決定する。

上述したように、モード決定部２４２２は、特定された変換パラメータが色差ブロックに適用可能ではない場合、デフォルト輝度ブロックの周辺のセカンダリー輝度ブロックに適用された第２イントラ予測モードをＤＭとして決定する。

或いは、モード決定部２４２２は、特定された変換パラメータが色差ブロックに適用可能ではない場合、予め決められたイントラ予測モードをＤＭとして決定する。

このように、本実施形態に係る復号装置２によれば、ＤＭを決定する際に、色差ブロックに対応する輝度ブロックの変換係数の逆変換処理に適用された変換パラメータを考慮することにより、ＤＭを選択した場合の符号化効率の悪化を抑制できるため、ＤＭを選択した場合の符号化効率を改善できる。

＜ＤＭ決定部の動作＞
次に、本実施形態に係るＤＭ決定部１７２０及び２４２０の動作について説明する。ＤＭ決定部１７２０及び２４２０は同様な動作を行うため、ここではＤＭ決定部２４２０の動作を例に挙げて説明する。

図６は、本実施形態に係るＤＭ決定部２４２０の動作例１を示す図である。

図６に示すように、ステップＳ１１において、ＤＭ決定部２４２０の変換パラメータ特定部２４２１は、イントラ予測対象の色差ブロックに対応するデフォルト輝度ブロックの変換係数の逆変換処理に適用された変換パラメータを特定する。変換パラメータは、「変換基底」、「変換スキップの有無」、及び「二次変換の有無」のうち少なくとも１つである。

ステップＳ１２において、ＤＭ決定部２４２０のモード決定部２４２２は、変換パラメータ特定部２４２１が特定した変換パラメータが色差ブロックに適用可能であるか否かを判定する。

変換パラメータとして「変換基底」を例に挙げると、モード決定部２４２２は、デフォルト輝度ブロックに適用された変換基底が「ＤＣＴ－２」である場合、この変換パラメータが色差ブロックに適用可能であると判定し、処理をステップＳ１３に進めて、デフォルト輝度ブロックに適用された第１イントラ予測モードをＤＭとして決定する。一方、デフォルト輝度ブロックに適用された変換基底が「ＤＣＴ－２」以外である場合、モード決定部２４２２は、この変換パラメータが色差ブロックに適用可能ではないと判定し、処理をステップＳ１４に進めて、セカンダリー輝度ブロックに適用された第２イントラ予測モードをＤＭとして決定する。

変換パラメータとして「変換スキップの有無」を例に挙げると、モード決定部２４２２は、デフォルト輝度ブロックが変換スキップ「無」である場合、この変換パラメータが色差ブロックに適用可能であると判定し、処理をステップＳ１３に進めて、デフォルト輝度ブロックに適用された第１イントラ予測モードをＤＭとして決定する。一方、デフォルト輝度ブロックが変換スキップ「有」である場合、モード決定部２４２２は、この変換パラメータが色差ブロックに適用可能ではないと判定し、処理をステップＳ１４に進めて、セカンダリー輝度ブロックに適用された第２イントラ予測モードをＤＭとして決定する。

変換パラメータとして「二次変換の有無」を例に挙げると、モード決定部２４２２は、デフォルト輝度ブロックが二次変換「無」である場合、この変換パラメータが色差ブロックに適用可能であると判定し、処理をステップＳ１３に進めて、デフォルト輝度ブロックに適用された第１イントラ予測モードをＤＭとして決定する。一方、デフォルト輝度ブロックが二次変換「有」である場合、モード決定部２４２２は、この変換パラメータが色差ブロックに適用可能ではないと判定し、処理をステップＳ１４に進めて、セカンダリー輝度ブロックに適用された第２イントラ予測モードをＤＭとして決定する。

なお、ステップＳ１２において、モード決定部２４２２は、複数の変換パラメータを組み合わせた判定を行ってもよい。例えば、モード決定部２４２２は、デフォルト輝度ブロックの変換係数の逆変換処理において、変換スキップ「無」という第１条件、二次変換「無」という第２条件、及び変換基底が「ＤＣＴ－２」であるという第３条件の全てが満たされた場合、処理をステップＳ１３に進めて、デフォルト輝度ブロックに適用された第１イントラ予測モードをＤＭとして決定する。一方、モード決定部２４２２は、これらの第１条件乃至第３条件のうち少なくとも１つの条件が満たされない場合、処理をステップＳ１４に進めて、セカンダリー輝度ブロックに適用された第２イントラ予測モードをＤＭとして決定する。

図７は、本実施形態に係るＤＭ決定部２４２０の動作例２を示す図である。動作例２においては、輝度ブロックの選択肢として複数のセカンダリー輝度ブロックを用いる。図４に示す例において、１つ目のセカンダリー輝度ブロックが輝度ブロックＢ３、２つ目のセカンダリー輝度ブロックが輝度ブロックＢ４、３つ目のセカンダリー輝度ブロックが輝度ブロックＢ２・・・というように、輝度ブロックの選択肢を増やしている。

図７に示すように、ステップＳ１１乃至Ｓ１３の動作は、上述した動作例１と同様である。

変換パラメータ特定部２４２１がデフォルト輝度ブロックについて特定した変換パラメータが色差ブロックに適用可能ではないと判定した場合（ステップＳ１２：ＮＯ）、ステップＳ２１において、変換パラメータ特定部２４２１は、Ｎ番目（Ｎ≧１）のセカンダリー輝度ブロックの変換係数の逆変換処理に適用された変換パラメータを特定する。

ステップＳ２２において、モード決定部２４２２は、変換パラメータ特定部２４２１がＮ番目のセカンダリー輝度ブロックについて特定した変換パラメータが色差ブロックに適用可能であるか否かを判定する。ステップＳ２２において「ＹＥＳ」である場合、モード決定部２４２２は、処理をステップＳ２４に進めて、Ｎ番目のセカンダリー輝度ブロックに適用されたイントラ予測モード（第２イントラ予測モード）をＤＭとして決定する。一方、ステップＳ２２において「ＮＯ」である場合、判定対象を次のセカンダリー輝度ブロックに変更し（ステップＳ２３）、ステップＳ２１の処理を再開する。

図８は、本実施形態に係るＤＭ決定部２４２０の動作例３を示す図である。

図８に示すように、ステップＳ１１乃至Ｓ１３の動作は、上述した動作例１と同様である。

ステップＳ１２において「ＮＯ」である場合、ステップＳ３１において、モード決定部２４２２は、予め決められたイントラ予測モードをＤＭとして決定する。上述したように、予め決められたイントラ予測モードは、固定的に定められたイントラ予測モードであってもよいし、ブロックの形状に応じて定められてもよいし、デフォルト輝度ブロックに適用された第１イントラ予測モードに応じて定められてもよい。

＜その他の実施形態＞
符号化装置１が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

符号化装置１が行う各処理を実行する回路を集積化し、符号化装置１を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。復号装置２が行う各処理を実行する回路を集積化し、復号装置２を半導体集積回路（チップセット、ＳｏＣ）により構成しても
よい。

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１ ：符号化装置
２ ：復号装置
１００ ：ブロック分割部
１１０ ：減算部
１２０ ：変換・量子化部
１２１ ：変換部
１２２ ：量子化部
１３０ ：エントロピー符号化部
１４０ ：逆量子化・逆変換部
１４１ ：逆量子化部
１４２ ：逆変換部
１５０ ：合成部
１６０ ：メモリ
１７０ ：予測部
１７１ ：インター予測部
１７２ ：イントラ予測部
１７３ ：切替部
２００ ：エントロピー復号部
２１０ ：逆量子化・逆変換部
２１１ ：逆量子化部
２１２ ：逆変換部
２２０ ：合成部
２３０ ：メモリ
２４０ ：予測部
２４１ ：インター予測部
２４２ ：イントラ予測部
２４３ ：切替部
１７２０ ：ＤＭ決定部
１７２１ ：変換パラメータ特定部
１７２２ ：モード決定部
２４２０ ：ＤＭ決定部
２４２１ ：変換パラメータ特定部
２４２２ ：モード決定部

Claims (4)

1. 画像を構成する輝度信号及び色差信号を分割して生成した輝度ブロック及び色差ブロックを符号化する符号化装置であって、
   符号化された輝度ブロックに適用されたイントラ予測モードと、当該輝度ブロックに適用された変換処理の変換パラメータと、に基づいて、当該輝度ブロックに対応する色差ブロックに適用するイントラ予測モードを決定するモード決定部を備えることを特徴とする符号化装置。
2. 画像を構成する輝度信号及び色差信号を分割して生成した輝度ブロック及び色差ブロックを復号する復号装置であって、
   復号された輝度ブロックに適用されたイントラ予測モードと、当該輝度ブロックに適用された変換処理の変換パラメータと、に基づいて、当該輝度ブロックに対応する色差ブロックに適用するイントラ予測モードを決定するモード決定部を備えることを特徴とする復号装置。
3. コンピュータを請求項１に記載の符号化装置として機能させることを特徴とするプログラム。
4. コンピュータを請求項２に記載の復号装置として機能させることを特徴とするプログラム。

Images