JP2020205609A - 画像の符号化及び復号方法、画像の符号化及び復号デバイス、及びこれに対応するコンピュータプログラム - Google Patents

Abstract

【課題】変換操作のセットを記憶するメモリを削減するデジタル画像及びデジタル画像のシーケンスの符号化方法を提供する。【解決手段】画像の符号化方法は、複数の所定の予測モードの中から選択されている予測モードに従って現在ブロックを予測しＣ３、予測の完了時に得られる予測子ブロックと現在ブロックとの間の差を表す残余データブロックを計算しＣ４、選択予測モードに対応付けられて事前に記憶Ｃ０されている変換操作のセットに属する変換操作を残余ブロックのデータに適用しＣ６、変換操作の完了時に得られるデータを符号化するＣ８。選択予測モードに対応付けられている変換操作のセットの記憶Ｃ０中に、セットに含まれる変換操作数は、複数の所定の予測モードのうち少なくとも１つの他の所定の予測モードに対応付けられて記憶されている変換操作のセットに含まれる変換操作数と異なる。【選択図】図１

Description

本発明は一般的に、画像処理の分野に関し、より正確には、デジタル画像、及びデジタル画像のシーケンスの符号化及び復号に関する。

デジタル画像の符号化／復号は、特に、
− 互いに時間的に続く、同じカメラから生じる画像（二次元タイプの符号化／復号）
− 異なる視界に応じて方向付けられた様々なカメラから生じる画像（三次元タイプの符号化／復号）
− テクスチャ及び深度の対応する構成要素（三次元タイプの符号化／復号）
− その他
を含む少なくとも１つの映像シーケンスから生じる画像に適用する。

本発明は、同様にして、二次元又は三次元タイプの画像の符号化／復号に適用する。

本発明は、特に（但し、排他的でない）、ＡＶＣ及びＨＥＶＣの現在の映像符号器及びそれらの拡張機能（ＭＶＣ、三次元ＡＶＣ、ＭＶ−ＨＥＶＣ、三次元ＨＥＶＣなど）で実行される映像符号化、及び対応する復号に適用することができる。

現在の映像符号器（ＭＰＥＧ、Ｈ．２６４、ＨＥＶＣなど）では、映像シーケンスのブロック状表現を使用する。再帰的方法で再度分割されやすい画像を、ブロックに分割する。次に、各ブロックを、画像内予測又は画像間予測によって符号化する。従って、当業者に知られている動き補償を用いて、１つ又は複数の符号化／復号参照画像に対して、ある特定の画像を空間予測（イントラ予測）によって符号化し、他の画像を時間予測（インター予測）によって符号化する。

予測によって減少された元のブロックに対応する、予測残余とも呼ばれる残余ブロックを、各ブロックに対して符号化する。特定の場合、予測を省略でき、残余ブロックは元のブロックと同等であることに留意しよう。残余ブロックを、数学的変換操作を用いて変換してから、例えばスカラタイプの数学的量子化操作を用いて量子化する。簡単にするために、数学的変換操作を、以下「変換」と呼び、数学的量子化操作を、以下「量子化」と呼ぶ。

量子化ステップの完了時に、係数を得る。その後、係数を、選択されている符号化のモードに左右される読み取りの順序で横断する。ＨＥＶＣ規格では、例えば、読み取りの順序は、実行される予測に左右され、「水平」、「垂直」又は「対角」の順序で実行可能である。

上述の横断の完了時に、係数の一次元リストを得る。次に、このリストの係数を、エントロピー符号化によって、ビットの形で符号化する。エントロピー符号化の目的は、損失無しで係数を符号化することにある。

エントロピー符号化の後に得られるビットを、復号器に伝送されることになっているデータ信号又はストリームに書き込む。

それ自体知られている方法で、このような信号は、
− 上述のリストに含まれる量子化係数
− 使用される符号化のモードを表す情報、特に、
・予測のモード（イントラ予測、インター予測、復号器に伝送される情報が無い予測を実行するデフォルト予測（「スキップ」として知られている））
・予測のタイプを指定する情報（方向付け、参照画像など）
・ブロックの分割のタイプ
・必要ならば、動き情報
・その他
を含む。

一旦ストリームを復号器によって受信していると、画像毎に、各画像に対してブロック毎に、復号が行われる。各ブロックに対して、ストリームの対応する要素を読み取る。復号予測残余を生成するように、ブロックの係数の逆量子化及び逆変換を実行する。次に、ブロックの予測を計算し、復号予測残余に予測を追加することによって、ブロックを再構成する。

確かに、丁度説明されている従来の符号化／復号技法により、符号化性能の向上が可能になる。映像の文脈では、特に、
− 画像を伝送するのに使用されるネットワークの所与のビットレートに対する画質の向上
− 事前に固定された画質基準に対する画像の伝送のビットレートの減少
が可能になる。

しかし、特に、最大のメモリ資源／符号化性能の妥協を得る観点から、このような符号化性能は、現在最適化されていなく、更に向上されるかもしれない。

特に、このような最適化は、上述の変換に関連がある。これは、従来、Ｋ個の画素（Ｋ≧１）の判定数を含む残余ブロックに適用される場合、Ｋ個の係数のセットを得ることができる線形変換である。現在の映像符号器／復号器（ＭＰＥＧ、Ｈ．２６４、ＨＥＶＣなど）では、単一の変換を、予測の所与のモードに対応付けて記憶する。

映像符号化の分野において、離散コサイン変換（ＤＣＴ）又は離散サイン変換（ＤＳＴ）は、特に下記の理由で、一般的に有利である。
− これらの変換はブロック変換であり、従って、互いに独立してブロックを操作し易い。
− これらの変換は、ビットレート減少操作が動作する周波数領域の情報の圧縮に効率がよい。

従来の方法で、このような変換は、分離可能又は分離不可能タイプであることができる。

分離可能タイプの変換の処理では、第１の場合によれば、Ｍ×Ｎ行列の形で編成されたＫ個の画素の残余ブロックｘに第１の変換Ａｌを適用する（但し、Ａｌは、Ｍ×Ｍサイズのデータ行列、Ｍ、Ｎは、１以上の自然数）。この第１の変換の適用の完了時に、第１の変換ブロックＡｌ．ｘを得る。

その後、変換ブロックＡｌ．ｘに転置操作ｔを適用する。この転置の完了時に、転置ブロック（Ａｌ．ｘ）^ｔを得る。

最後に、転置ブロック（Ａｌ．ｘ）^ｔに第２の変換Ａｃを適用する（但し、Ａｃは、Ｎ×Ｎサイズのデータ行列）。この第２の変換の適用の完了時に、下記のようなＫ＝Ｎ×Ｍ個の画素の第２の変換ブロックＸを得る。
Ｘ＝Ａｃ・（Ａｌ・ｘ）^ｔ

第２の場合によれば、変換Ａｌ及びＡｃの適用の順序を逆にする。Ｋ＝Ｎ×Ｍ個の画素の第２の変換ブロックＸを、下記の方法で書き込んでもよい。
Ｘ＝Ａｌ・（Ａｃ・ｘ^ｔ）^ｔ

この第２の場合によって得られた変換ブロックＸは、この第１の場合によって得られた変換ブロックＸと同様であり、転置の範囲内である。

残余ブロックｘが正方形、即ちＭ＝Ｎである特定の場合、行列Ａｌ及びＡｃのサイズは同じである。

復号時に、それ自体知られている方法で、上述の変換と逆の変換を適用する。

従って、変換が第１の場合によって適用されている場合、対応する逆変換により、下記の計算を用いて残余ブロックｘを得ることができる。
ｘ＝Ａｌ^−１・（Ａｃ^−１・Ｘ）^ｔ

従って、変換が第２の場合によって適用されている場合、対応する逆変換により、下記の計算を用いて残余ブロックｘを得ることができる。
ｘ＝（Ａｃ^−１・（Ａｌ^−１・Ｘ）^ｔ）^ｔ

Ａｌ^−１及びＡｃ^−１は、変換Ａｌ及びＡｃのそれぞれの逆変換を表す。これらの逆変換により、変換ブロックＸの値に基づいて残余ブロックｘの値を得ることができる。行列が直交で選択され、行列がそれぞれＡｌ及びＡｃの転置行列に対応する場合、行列Ａｌ^−１及びＡｃ^−１は、それぞれＡｌ及びＡｃの逆行列と通常呼ばれる。

分離不可能タイプの変換の処理では、サイズＫ×Ｋの行列Ａによって、次元１×Ｋのベクトルの形で型変換して、残余ブロックｘの乗算として符号化時に書き込まれてもよい。次に、この変換の適用の完了時に得られる変換ブロックＸを、下記の方法で書き込んでもよい。
Ｘ＝Ａ・ｘ

復号時に、逆変換は、Ａが直交である場合、Ａの転置であるＡの逆行列Ａ^−１を変換ブロックＸに掛けることである。このような逆変換により、下記の残余ブロックｘを得ることができる。
ｘ＝Ａ^−１・Ｘ

映像符号化の分野では、特に、出版物（非特許文献１）において、予測の提案モード毎に変換数を増大することが提案されている。従って、空間予測の３５個の異なるモードに従って実行可能な、ＨＥＶＣ規格に準拠する空間予測の枠組みの範囲内で、それぞれ予測の３５個のモードの各々に対応付けて１６の変換を記憶することを提案する。予測のモードを選択する場合、当業者に周知のひずみビットレート基準などの所定の符号化性能基準に従って、予測のこのモードに対して記憶された１６の変換の中から変換を選択する。

従って、考慮される各予測に対して、変換適用ステップは、予測残余信号の性質に最もよく適合されており、当業者に周知の所与のビットレートに対するひずみ基準に従って、符号化性能を向上させる。

しかし、このような方法を用いて、このような適合を実行できるように追加されるべき変換量は、考慮される各予測に対して変換を記憶する必要がある符号器、及び符号化時に適用される変換の逆変換を適用するように変換を知る必要もある復号器で、同時に使用されるべきメモリ資源に影響を与える。

従って、映像符号化における一般的な枠組みである、分離可能変換の場合を考慮すると、ＮＴ＝ｎ＊Ｎ_ＭＰ（但し、ｎは、予測のモード毎に供給されるべき変換数、及びＮ_ＭＰは、予測の提案モード数）のように、変換の総数ＮＴに従って、記憶の必要性を推定することができる。より詳細には、例えば、係数を１バイトに記憶する、サイズ８×８の変換を用いたＨＥＶＣ符号化の場合、２つの変換（垂直及び水平）を記憶する必要があり、これによって、少なくとも（２＊８＊８＊ｎ＊Ｎ_ＭＰ）／１０２４＝４，３７５キロバイト（但し、ｎ＝１、及びＮ_ＭＰ＝３５）を必要とする。

この構成を、以下の表の第１行に表す。この構成の場合、得られる符号化性能も表す。この性能は、ビットレートゲイン、即ち、（一定のひずみで）符号化性能に影響を及ぼすことなく得られる百分率ビットレート減少に対応する。次の行は、２、４、８、１６の８×８変換を、対応する符号化性能だけでなく空間予測の３５個のモードの各々に対応付けてそれぞれ記憶する場合、必要なメモリ資源の展開を表す。

上述の表によれば、メモリ量は、予測のモード毎に供給されるべき変換数と共に直線的に増大し、変換の記憶に当てられるメモリ量が約１キロバイトである、ＨＥＶＣ符号器などの現在の符号器に必要な記憶量と比較して大きくなることに留意すべきである。

更に、最高符号化性能（２．４８％のビットレートゲイン）は、ＨＥＶＣで必要な１キロバイトのメモリ最大量と比較して５６０キロバイトの無視できないメモリ量を必要とすることが分かる。

２．４８％のビットレートゲインが有益であると分かっても、映像符号化／復号システムのハードウェア実装形態のために使用されるメモリは、処理データ量に関して速い必要があると仮定すると、このようなゲインを得るために５６０の変換を記憶する容量７０キロバイトのメモリは、非常に高価すぎると分かる。

Ｎｏｎ−ｓｅｐａｒａｂｌｅ ｍｏｄｅ ｄｅｐｅｎｄｅｎｔ ｔｒａｎｓｆｏｒｍｓ ｆｏｒ Ｉｎｔｒａ ｃｏｄｉｎｇ ｉｎ ＨＥＶＣ，Ａｄｒｉａ Ａｒｒｕｆａｔ ｅｔ ａｌ．ＶＣＩＰ ２０１４

本発明の目的の１つは、上述の先行技術の欠点を改善することにある。

この目的のために、本発明の主題は、ブロックに分割されている少なくとも１つの画像の符号化方法に関し、この方法は、画像の符号化されるべき現在ブロックに対して、
− 予測の複数の所定のモードの中から選択されている予測のモードに従って現在ブロックを予測するステップと、
− 予測の完了時に得られる予測子ブロックと現在ブロックとの間の差を表す残余データブロックを計算するステップと、
− 予測の選択モードに対応付けられて事前に記憶されている変換操作のセットに属する変換操作を残余ブロックのデータに適用するステップと、
− 変換操作の後に得られるデータを符号化するステップと
を実行する。

このような符号化方法は、予測の選択モードに対応付けられている変換操作のセットの記憶中に、このセットに含まれる変換操作数は、予測の複数の所定のモードのうち予測の少なくとも１つの他の所定のモードに対応付けられて記憶されている変換操作のセットに含まれる変換操作数と異なることを特徴とする。

予測のモード毎に幾つかの変換操作がある場合、このような構成により、
− 現在ブロックに関する符号化性能を損なうことなく、先行技術の符号器のメモリ資源と比較して、変換行列の記憶を目的とした符号器のメモリ資源を大幅に減少する、
− 又は、先行技術の符号器のメモリ資源と比較して、変換行列の記憶を目的とした符号器のメモリ資源の増大を必要とすることなく、現在ブロックに関する符号化性能を増大する
ことができる。

特定の実施形態によれば、予測の複数の所定のモードのうち予測の２つのモードにそれぞれ対応付けられて記憶されている変換操作の少なくとも２つのセットに対して、２つのセットの各々における変換操作数は、少なくとも１つの同じ変換操作を共通して含む。

このような構成により、変換行列の記憶を目的とした符号器のメモリ資源を更に減少することができる。

従って、例えば、ＨＥＶＣ規格の枠組みの範囲内で、変換操作の少なくとも２つのセットは、
− 単一の変換操作、例えば、ＤＣＴタイプの変換
− ２つの変換操作、例えば、ＤＣＴタイプの変換及びＤＳＴタイプ
− その他
を共通して含むことができる。

別の特定の実施形態によれば、予測の選択モードに対応付けられている変換操作のセットは、予測の複数の所定のモードのうち予測の少なくとも１つの他のモードに対応付けられて記憶されている。

このような構成により、変換行列の記憶を目的とした符号器のメモリ資源を一層更に減少することができる。

本発明は、「メモリ資源／符号化性能」の妥協を最適化するように、予測のモードに応じて変換操作数を判定する様々な方法を提案する。

特定の実施形態によれば、予測の垂直又は水平方向に対応付けられている予測のモードの場合に判定された変換操作数は、予測の斜め方向に対応付けられている予測のモードの場合に判定された変換操作数よりも大きい。

別の特定の実施形態によれば、現在ブロックのエッジの２つを超える画素を平均することによって予測を計算する、予測のモードの場合に判定された変換操作数は、予測の任意の他のモードに対して判定された変換操作数以上である。

更に別の特定の実施形態によれば、予測の複数の所定のモードの中で、予測の最確モードとして事前に選択されている予測のモードの場合に判定された変換操作数は、予測の最確モードとして事前に選択されていない予測のモードの場合に判定された変換操作数よりも大きい。

更に別の特定の実施形態によれば、予測の選択モードに対応付けられて記憶されている変換操作のセットに含まれる変換操作数は、予測の選択モードを表す情報量に応じて判定されている。

更に、このような構成により、「メモリ資源／符号化性能」の妥協の点で最適な方法で、予測の所与の所定のモードに対して使用されるべき変換操作数を単純に計算することができる。

様々な上述のモード又は実施形態の特徴を、独立して、又は互いに組み合わせで、上述の符号化方法のステップに追加することができる。

更に、本発明は、処理回路を含む、ブロックに分割されている少なくとも１つの画像の符号化デバイスに関し、画像の符号化されるべき現在ブロックに対して、
− 予測の複数の所定のモードの中から選択されている予測のモードに従って現在ブロックを予測し、
− 予測の完了時に得られる予測子ブロックと現在ブロックとの間の差を表す残余データブロックを計算し、
− 予測の選択モードに対応付けられて事前に記憶されている変換操作のセットに属する変換操作を残余ブロックのデータに適用し、
− 変換操作の後に得られるデータを符号化する
ように設計されている。

本発明による符号化デバイスは、処理回路は、予測の選択モードに対応付けられている変換操作のセットを記憶するように設計されており、このセットに含まれる変換操作数は、予測の複数の所定のモードのうち予測の少なくとも１つの他の所定のモードに対応付けられて記憶されている変換操作のセットに含まれる変換操作数と異なることを特徴とする。

このような符号化デバイスは、特に、上述の符号化方法を実行することができる。

更に、本発明は、ブロックに分割されている少なくとも１つの画像を表すデータ信号の復号方法に関し、復号されるべき現在ブロックに対して、
− データ信号において、下記を判定するステップと、
・復号されるべき現在ブロックに対応付けられている現在残余ブロックを表すデータ
・復号されるべき現在ブロックの予測のモードであって、予測の複数の所定のモードに属する予測のこのモード
− 予測の判定モードに従って現在ブロックを予測するステップと、
− 予測の判定モードに対応付けられて事前に記憶されている変換操作のセットに属する変換操作を、残余ブロックを表すデータに適用するステップと、
− 予測の完了時に得られる予測子ブロックと変換操作の後に得られるデータとを用いて現在ブロックを再構成するステップと
を実行する。

このような復号方法は、予測の判定モードに対応付けられている変換操作のセットの記憶中に、このセットに含まれる変換操作数は、予測の複数の所定のモードのうち予測の少なくとも１つの他の所定のモードに対応付けられて記憶されている変換操作のセットに含まれる変換操作数と異なることを特徴とする。

符号器と同様の方法で、このような構成は、符号化時に適用される変換の逆変換を適用するように変換を知る必要もある復号器に有利である。特に、予測のモード毎に幾つかの変換操作がある場合、このような構成により、
− 現在ブロックの再構成の品質を損なうことなく、先行技術の復号器のメモリ資源と比較して、変換行列の記憶を目的とした復号器のメモリ資源を大幅に減少する、
− 又は、先行技術の復号器のメモリ資源と比較して、変換行列の記憶を目的とした復号器のメモリ資源の増大を必要とすることなく、現在ブロックの再構成の品質を増大する
ことができる。

特定の実施形態によれば、予測の複数の所定のモードのうち予測の２つのモードにそれぞれ対応付けられて記憶されている変換操作の少なくとも２つのセットに対して、２つのセットの各々における変換操作数は、少なくとも１つの同じ変換操作を共通して含む。

別の特定の実施形態によれば、予測の判定モードに対応付けられている変換操作のセットは、予測の複数の所定のモードのうち予測の少なくとも１つの他のモードに対応付けられて記憶されている。

更に別の特定の実施形態によれば、予測の垂直又は水平方向に対応付けられている予測のモードの場合に判定された変換操作数は、予測の斜め方向に対応付けられている予測のモードの場合に判定された変換操作数よりも大きい。

更に別の特定の実施形態によれば、現在ブロックのエッジの２つを超える画素を平均することによって予測を計算する、予測のモードの場合に判定された変換操作数は、予測の任意の他のモードに対して判定された変換操作数以上である。

更に別の特定の実施形態によれば、予測の複数の所定のモードの中で、予測の最確モードとして予測の判定モードが事前に選択されている場合に判定された変換操作数は、予測の最確モードとして予測の判定モードが事前に選択されていない場合に判定された変換操作数よりも大きい。

更に別の特定の実施形態によれば、予測の判定モードに対応付けられて記憶されている変換操作のセットに含まれる変換操作数は、予測の判定モードを表す情報量に応じて判定されている。

様々な上述のモード又は実施形態の特徴を、独立して、又は互いに組み合わせで、上述の復号方法のステップに追加することができる。

更に、本発明は、処理回路を含む、ブロックに分割されている少なくとも１つの画像を表すデータ信号の復号デバイスに関し、復号されるべき現在ブロックに対して、
− データ信号において、下記を判定し、
・復号されるべき現在ブロックに対応付けられている現在残余ブロックを表すデータ
・復号されるべき現在ブロックの予測のモードであって、予測の複数の所定のモードに属する予測のこのモード
− 予測の判定モードに従って現在ブロックを予測し、
− 予測の判定モードに対応付けられて事前に記憶されている変換操作のセットに属する変換操作を、残余ブロックを表すデータに適用し、
− 予測の完了時に得られる予測子ブロックと変換操作の後に得られるデータとを用いて現在ブロックを再構成する
ように設計されている。

本発明による復号デバイスは、処理回路は、予測の判定モードに対応付けられている変換操作のセットを記憶するように設計されており、このセットに含まれる変換操作数は、予測の複数の所定のモードのうち予測の少なくとも１つの他の所定のモードに対応付けられて記憶されている変換操作のセットに含まれる変換操作数と異なることを特徴とする。

このような復号デバイスは、特に、上述の復号方法を実行することができる。

更に、本発明は、コンピュータプログラムをコンピュータで実行する場合、本発明による符号化及び復号方法のうち１つを実行する命令を含むコンピュータプログラムに関する。

このプログラムは、任意のプログラミング言語を使用することができ、原始コード、目的コードの形、又は原始コードと目的コードとの間の中間コードの形（例えば、部分的にコンパイルされた形）、又は任意の他の望ましい形であることができる。

本発明は、コンピュータプログラムを記録するコンピュータによって読み取り可能な記録媒体も想定する。このプログラムは、上述のような、本発明による符号化又は復号方法のうち１つを実行するのに適した命令を含む。

本発明は、コンピュータプログラムを記録するコンピュータによって読み取り可能な記録媒体も想定する。このプログラムは、上述のような、本発明による符号化又は復号方法のうち１つを実行するのに適した命令を含む。

記録媒体は、プログラムを記憶可能な任意のエンティティ又はデバイスであることができる。例えば、媒体は、ＲＯＭ（例えば、ＣＤ ＲＯＭ又はマイクロ電子回路ＲＯＭ）などの記憶手段、又は磁気記録手段（例えば、ＵＳＢキー又はハードディスク）を含むことができる。

更に、記録媒体は、無線又は他の手段によって電気又は光学ケーブルを介して伝達可能な電気又は光学信号などの伝送可能媒体であることができる。本発明によるプログラムを、特に、インターネットタイプのネットワークからダウンロードすることができる。

代わりに、記録媒体は、プログラムを組み込む集積回路であることができる。集積回路は、上述の符号化又は復号方法の実行に使用される又は実行するように適合されている。

他の特徴と利点は、下記の図面を参照して説明される好ましい実施形態を読めば明白になるであろう。

本発明による符号化方法のステップを表す。 本発明による符号化デバイスの実施形態を表す。 本発明の一実施形態による、予測のモード毎に変換の可変数を判定する方法のステップを表す。 図３の判定方法による１６個の変換の連続追加の後に、予測のモード毎に判定された変換数を示す表を表す。 図３の反復方法の実行の後に得られるようなメモリ資源／符号化性能の妥協、及び予測のモード毎の同じ変換数で得られるようなメモリ資源／符号化性能の妥協を比較する比較図を表す。 対応する角度の対称に応じたイントラ予測の様々なモードの第１の例示的なグループ化を表す。 対応する角度の対称に応じたイントラ予測の様々なモードの第２の例示的なグループ化を表す。 ＨＥＶＣイントラ予測の３３個のモードと対応する角度方向との間の関係を示すグラフを表す。 対応する角度の対称に応じたイントラ予測の様々なモードの例示的なグループ化を表す。 図３の判定方法の変型例による１６個の変換の連続追加の後に、予測のモードのグループ毎に判定された変換数を示す表を表す。 本発明による復号デバイスの実施形態を表す。 本発明による復号方法の主要なステップを表す。

符号化部の詳細な説明
ここで、本発明の実施形態について説明する。この実施形態では、本発明による符号化方法を用いて、現在又は次の映像符号化規格のうちの何れか１つに準拠する符号化によって得られる２進ストリームに近い２進ストリームに従って画像又は画像のシーケンスを符号化する。

この実施形態において、例えば、現在又は次の映像符号化規格のうちの何れか１つに最初に準拠する符号器の変更によるソフトウェア又はハードウェアのやり方で、本発明による符号化方法を実行する。本発明による符号化方法を、図１に表すようなステップＣ０〜Ｃ９を含むアルゴリズムの形で表す。

本発明の実施形態によれば、本発明による符号化方法を、図２に表す符号化デバイスＣＯで実行する。

図２に示すように、このような符号器デバイスは、
− 符号化されるべき現在画像を受信する入力器ＥＮＴ＿Ｃと、
・バッファメモリＭＴ＿Ｃを含むメモリＭＥＭ＿Ｃと、
・コンピュータプログラムＰＧ＿Ｃによって駆動されるプロセッサＰＲＯＣ＿Ｃと
− を含む、本発明による符号化方法を実行する処理回路ＣＴ＿Ｃと、
− 現在画像の符号化の完了時に得られたデータを含む符号化ストリームを送出する出力器ＳＯＲ＿Ｃと
を含む。

初期設定時に、処理回路ＣＴ＿Ｃによって実行される前に、コンピュータプログラムＰＧ＿Ｃのコード命令を、例えば、ＲＡＭメモリＭＲ＿Ｃにロードする。

図１に表す符号化方法は、静止画である、又は符号化されるべきＬ個の画像ＩＣ_１、…、ＩＣ_ｊ、…、ＩＣ_Ｌ（１≦ｊ≦Ｌ）のシーケンスの一部を形成する任意の現在画像ＩＣ_ｊに適用する。

図１に表すステップＣ１の間に、それ自体知られている方法で、例えば、Ｍ×Ｍ画素（但し、Ｍは、１以上の自然数）のサイズの複数のブロックＢ_１、Ｂ_２、…、Ｂ_ｉ、…、Ｂ_Ｓ（１≦ｉ≦Ｓ）に現在画像ＩＣ_ｊを区分する。このような区分ステップを、図２に表す区分ソフトウェアモジュールＭＰ＿Ｃによって実行し、このモジュールはプロセッサＰＲＯＣ＿Ｃによって駆動される。

本発明の意味の範囲内で、用語「ブロック」は符号化ユニットを意味することに留意すべきである。符号化ユニットの専門用語は、ＨＥＶＣ規格「ＩＳＯ／ＩＥＣ／２３００８−２ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ−Ｔ Ｈ．２６５ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）」で特に使用される。

特に、このような符号化ユニットは、ブロック、マクロブロックとも呼ばれる長方形又は正方形の画素のセット、又は他の幾何学的形状を示す画素のセットにまとまる。

ブロックＢ_１、Ｂ_２、…、Ｂ_ｉ、…、Ｂ_Ｓは、例えば辞書タイプである、横断の所定の順序に従って符号化されることになっている。これは、次々と左から右にブロックを符号化することを意味する。

当然、他のタイプの横断も可能である。従って、スライスと呼ばれる幾つかのサブ画像に画像ＩＣ_ｊを分割し、このタイプの分割を独立して各サブ画像に適用することができる。上述のように行の連続でなく、列の連続を符号化することもできる。更に、行又は列を何れかの方向に横断することができる。

更に、各ブロック自体を、それ自体細分可能なサブブロックに分割することができる。

図１に表すステップＣ２の間に、符号器ＣＯは、画像ＩＣ_ｊの符号化されるべき第１のブロックＢ_ｉ、例えば、第１のブロックＢ_１を、現在ブロックとして選択する。

図１に表すステップＣ３の間に、イントラ及び／又はインター予測の既知の技法によって現在ブロックＢ_ｉを予測する。この目的のために、予測ＭＰ_０、ＭＰ_１、…、ＭＰ_ｖ、…、ＭＰ_Ｒ（但し、０≦ｖ≦Ｒ＋１及び０≦ｓ≦Ｒ＋１）の複数の所定のモードの中から選択された予測ＭＰ_Ｓのモードに従って少なくとも１つの予測子ブロックに対してブロックＢ_ｉを予測する。

それ自体知られている方法で、複数の候補予測子ブロックに対してブロックＢ_ｉを予測する。候補予測子ブロックの各々は、既に符号化されている、又は実際に符号化されてから復号される画素のブロックである。このような予測子ブロックを、符号器ＣＯの図２に表すようなバッファメモリＭＴ＿Ｃに事前に記憶する。

予測ステップＣ３の完了時に、例えば、当業者に周知のひずみビットレート基準を最小化することによって、予測の所定のモードを競合に設定した後に、最適予測子ブロックＢＰ_ｏｐｔが得られる。ブロックＢＰ_ｏｐｔは、現在ブロックＢ_ｉの近似と見なされる。この予測に関する情報は、復号器に伝送されるべきデータ信号又はストリームに書き込まれることになっている。このような情報は、特に予測（インター又はイントラ）のタイプを含み、関連して、予測ＭＰ_Ｓの選択モード、現在ブロックが細分されている場合に現在ブロックの区分のタイプ、インター予測モードが選択されている場合に使用される参照画像指標及び変位ベクトルを含む。この情報は、符号器ＣＯによって圧縮される。

図１に表すステップＣ４の間に、現在ブロックＢ_ｉに関するデータを予測子ブロックＢＰ_ｏｐｔのデータと比較する。より正確には、このステップの間に、従来、得られた予測子ブロックＢＰ_ｏｐｔと現在ブロックＢ_ｉとの間の差を計算する。

次に、ステップＣ４の完了時に、残余ブロックＢｒ_ｉと呼ばれるデータセットを得る。

ステップＣ３及びＣ４を、図２に表す予測符号化ソフトウェアモジュールＰＲＥＤ＿Ｃによって実行し、このモジュールはプロセッサＰＲＯＣ＿Ｃによって駆動される。

図１に表すステップＣ５の間に、図２の符号器ＣＯは、残余ブロックＢｒ_ｉの変換の判定を行う。このような変換は、例えば、
− 例えば、ＤＣＴタイプの離散コサイン変換などの直接変換
− 例えば、ＤＳＴタイプの離散サイン変換などの直接変換
− 出版物“Ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｓｅｄ ｔｒａｎｓｆｏｒｍ ｃｏｍｐｅｔｉｔｉｏｎ ｆｏｒ ｉｎｔｒａ ｃｏｄｉｎｇ ｉｎ ＨＥＶＣ”，Ａｄｒｉａ Ａｒｒｕｆａｔ，Ｐｉｅｒｒｉｃｋ Ｐｈｉｌｉｐｐｅ，Ｏｌｉｖｉｅｒ Ｄｅｆｏｒｇｅｓ，ＩＥＥＥ ＶＣＩＰ，Ｄｅｃ ２０１４に示すようなひずみビットレートによって最適化されるブロック変換
− ＤＷＴタイプのウェーブレット変換
− 出版物“Ｒｅｄｕｃｔｉｏｎ ｏｆ ｂｌｏｃｋｉｎｇ ｅｆｆｅｃｔｓ ｉｎ ｉｍａｇｅ ｃｏｄｉｎｇ ｗｉｔｈ ｌａｐｐｅｄ ｏｒｔｈｏｇｏｎａｌ ｔｒａｎｓｆｏｒｍ”，Ｈ．Ｍａｌｖａｒに示すような重複変換タイプの重複を含む変換
− 又は、任意の他のタイプの利用可能な変換
のような変換であってもよい。

この変換は、変換のセットに属し、図１に表す事前記憶ステップＣ０の間に、予測ＭＰ_Ｓの選択モードに対応付けられて図２のバッファメモリＭＴ＿Ｃに記憶される。この記憶ステップの間に、
− 変換数ＮＢ_０を含む変換のセットに対応付けられて、予測ＭＰ_０の所定のモードを記憶し、
− 変換数ＮＢ_１を含む変換のセットに対応付けられて、予測ＭＰ_１の所定のモードを記憶し、
− …
− 変換数ＮＢ_Ｖを含む変換のセットに対応付けられて、予測ＭＰ_Ｖの所定のモードを記憶し、
− …
− 変換数ＮＢ_Ｒを含む変換のセットに対応付けられて、予測ＭＰ_Ｒの所定のモードを記憶する。

本発明によれば、予測ＭＰ_０、ＭＰ_１、…、ＭＰ_ｖ、…、ＭＰ_Ｒの複数の所定のモードに属する予測ＭＰ_ａ、ＭＰ_ｂの少なくとも２つの異なるモードに対して（但し、０≦ａ≦Ｒ＋１及び０≦ｂ≦Ｒ＋１）、予測ＭＰ_ａのモードに対応付けられている変換のセットに含まれるＮＢ_ａで示す変換数は、予測ＭＰ_ｂのモードに対応付けられて記憶されている変換のセットに含まれるＮＢ_ｂで示す変換数と異なる。

例示的な第１の実施形態によれば、予測の所定のモードの複数の予測ＭＰ_０、ＭＰ_１、…、ＭＰ_ｖ、…、ＭＰ_Ｒのうち予測の２つのモードにそれぞれ対応付けられて記憶されている変換の少なくとも２つのセットに対して、２つのセットの各々における変換数は、少なくとも１つの同じ変換操作を共通して含む。

例えば、ＨＥＶＣ規格に準拠する符号化の場合、２つのセットの各々における変換数は、例えば、
− ＤＳＴタイプの変換、又はＤＣＴタイプの変換、
− 一方はＤＣＴタイプ、他方はＤＳＴタイプの２つの変換、
− 共通の２つを超える変換
を共通して含んでもよい。

その上、変換の２つを超えるセットは、少なくとも１つの同じ変換操作を共通して含むことができる。更に、ＨＥＶＣ規格に準拠する符号化の場合、より詳細には、予測ＤＰＩ_０、ＤＰＩ_１、…、ＤＰＩ_３４の３５の可能な方向を提案する、この規格に準拠するイントラ予測の場合、予測のこれらの３５の方向の各々にそれぞれ対応付けられている変換のセットは、少なくとも１つの同じ変換操作を共通して含むことができる。

図２に表す例示的な第２の実施形態によれば、予測ＭＰ_Ｓの選択モードに対応付けられ、変換数ＮＢ_Ｓを含む変換のセットは、予測ＭＰ_０、ＭＰ_１、…、ＭＰ_ｖ、…、ＭＰ_Ｒの複数の所定のモードのうち、ＭＰ_ｕで示す、予測の少なくとも１つの他のモード（但し、０≦ｕ≦Ｒ＋１）に対応付けられて記憶されている。

従って、ステップＣ４で選択された予測ＭＰ_Ｓのモードに対応付けられている変換のセットに含まれる変換数ＮＢ_Ｓに応じて、上述の判定ステップＣ５は、
− 予測ＭＰ_Ｓのモードに対応付けられている変換のセットが１つの変換のみを含む場合、即ちＮＢ_Ｓ＝１の場合、Ｔ_ｓ，ｋで示す単一の変換を読み取るステップ、
− 又は、予測ＭＰ_Ｓのモードに対応付けられている変換のセットが１つを超える変換を含む場合、即ちＮＢ_Ｓ＞１の場合、幾つかの変換の中から、例えばＴ_ｓ，ｋ＊（但し、０≦ｋ＊≦Ｎ−１）で示す１つの変換を選択するステップ
であり、このような選択は、例えば、
・当業者に周知のビットレート／ひずみ基準を最小化することによって、
・又は、単にビットレートを最小化することによって、
・又は、単にひずみを最小化することによって、
・又は、当業者に周知のビットレートひずみ／複雑性の妥協を最小化することによって、
・又は、単に効率を最小化することによって、
・又は、単に複雑性を最小化することによって、
所定の符号化性能基準に従って実行される。

映像符号化の文脈では、例えば、残余ブロックの係数の変換の計算に含まれる数学的操作（加算、乗算、２進シフト）の回数を数えることによって、複雑性を定義することを想起せよ。

図１に表すステップＣ６の間に、変換Ｔ_ｓ，ｋ又はＴ_ｓ，ｋ＊を用いて残余ブロックＢｒ_ｉを変換する。このような操作を、図２に表す変換ソフトウェアモジュールＭＴＲ＿Ｃによって実行し、このモジュールはプロセッサＰＲＯＣ＿Ｃによって駆動される。ステップＣ６の完了時に、変換ブロックＢｔ_ｉを得る。

図１に表すステップＣ７の間に、例えば、スカラ又はベクトル量子化などの従来の量子化操作に従って、変換ブロックＢｔ_ｉのデータを量子化する。次に、量子化係数のブロックＢｑ_ｉを得る。ステップＣ７を、図２に表す量子化ソフトウェアモジュールＭＱ＿Ｃによって実行し、このモジュールはプロセッサＰＲＯＣ＿Ｃによって駆動される。

図１では、変換アプリケーションステップＣ６の後に、量子化ステップＣ７を表す。しかし、量子化係数を含む整数を用いて実行されるステップＣ６に、ステップＣ７を統合することができる。

それ自体知られている方法で、図１に表すステップＣ８の間に、ブロックＢｑ_ｉのデータを符号化する。このような符号化は、例えば、ＣＡＢＡＣ（「文脈適応２進算術符号器（Ｃｏｎｔｅｘｔ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｅｒ）」）タイプのエントロピー符号化、又は算術又はハフマン（Ｈｕｆｆｍａｎ）タイプのエントロピー符号化である。ステップＣ８の完了時に、現在ブロックＢ_ｉに対応付けられている符号化データｄ_１、ｄ_２、…、ｄ_ｗ、…、ｄ_Ｖ（１≦ｗ≦Ｖ、Ｖは自然数）を得る。

ステップＣ８を、図２に表す符号化ソフトウェアモジュールＭＣ＿Ｃによって実行し、このモジュールはプロセッサＰＲＯＣ＿Ｃによって駆動される。

図１に表すステップＣ９の間に、
− 上述のステップＣ８の完了時に得られた符号化データｄ_１、ｄ_２、…、ｄ_ｗ、…、ｄ_Ｖと、
− ステップＣ５で判定された変換Ｔ_ｓ，ｋ又はＴ_ｓ，ｋ＊の指標ＩＤＸと
を含むデータ信号又はストリームＦを構成する。

指標ＩＤＸを、例えば、２進コードの形でストリームに書き込むことができる。例えば、変換Ｔ_ｓ，ｋ又はＴ_ｓ，ｋ＊が、予測ＭＰ_０、ＭＰ_１、…、ＭＰ_ｖ、…、ＭＰ_ＲのＲ＋１個の所定のモードにそれぞれ対応付けられている変換のＲ＋１個のセットに共通の変換である場合、このような構成を実行する。次に、指標ＩＤＸを、１又は０、例えば１に設定する。一方、変換Ｔ_ｓ，ｋ又はＴ_ｓ，ｋ＊が、予測ＭＰ_０，ＭＰ_１、…、ＭＰ_ｖ、…、ＭＰ_ＲのＲ＋１個の所定のモードにそれぞれ対応付けられている変換のＲ＋１個のセットに共通でない変換である場合、指標ＩＤＸは、値０の第１のビットと、次いで、選択された予測ＭＰ_Ｓのモードに対応付けられている変換のセットに含まれる変換数ＮＢ_Ｓから選択された変換Ｔ_ｓ，ｋ又はＴ_ｓ，ｋ＊を表す追加コードワードとを含む。例えば、ＣＡＢＡＣ符号器を用いて、値０の第１のビットを符号化する。変換数ＮＢ_Ｓが２の累乗である場合、追加コードワードを固定長で符号化することができる。変換数ＮＢ_Ｓが２の累乗である、又は２の累乗でない場合、追加コードワードを可変長コードで符号化することもできる。

ステップＣ９を、図２に表すデータ信号構成ソフトウェアモジュールＭＣＦによって実行し、このモジュールはプロセッサＰＲＯＣ＿Ｃによって駆動される。

その後、図２の符号器ＣＯの出力器ＳＯＲ＿Ｃを介して、データ信号Ｆを、送出してから、通信ネットワーク（図示せず）によって遠隔端末機器に伝送する。遠隔端末機器は、図１０に表す復号器ＤＯを含む。

それ自体知られている方法で、データ信号Ｆは、符号器ＣＯによって符号化された特定の情報、例えば、ステップＣ３で適用された予測（インター又はイントラ）のタイプを更に含み、関連して、選択された予測のモード、ステップＣ３の完了時に得られる得られた予測子ブロックＢＰ_ｏｐｔの指標、現在ブロックが細分されている場合に現在ブロックＢ_ｉの区分のタイプ、インター予測モードで使用される参照画像指標及び運動ベクトルを含む。

その後、残余ブロックＢｒ_ｉを復号する。次に、復号残余ブロックＢＤｒ_ｉを得る。次に、復号残余ブロックＢＤｒ_ｉを最適予測子ブロックＢＰ_ｏｐｔに加えることによって、復号ブロックＢＤ_ｉを構成する。

復号ブロックＢＤ_ｉは、現在画像ＩＣ_ｊの復号方法の完了時に得られる復号ブロックと同じであることに留意すべきであり、これは、明細書で後述される。従って、復号ブロックＢＤ_ｉは、図２の符号器ＣＯによって使用できるようにする。

上述されている符号化ステップＣ１〜Ｃ９を、その後、例えば辞書式順序である所定の順序で、考慮される現在画像ＩＣ_ｊの符号化されるべき各ブロックＢ_１、Ｂ_２、…、Ｂ_ｉ、…、Ｂ_Ｓに対して実行する。

ここで、イントラタイプのＨＥＶＣ符号化の場合、本発明の第１の実施形態による、予測の各所定のモードに対して変換数を判定する方法について、図３〜図８を参照して説明する。

図１の符号化方法のステップの実行前に、下記のステップが行われる。

図３に表すステップＳＴ１の間に、イントラ予測の所与のモードに対応付けられやすい変換最大数ｎ_ｍａｘを判定する。

実施形態では、ｎ_ｍａｘ＝１６で表し、この数は、ＨＥＶＣ規格のイントラ予測ｉｐｍの３５個のモードの各々に共通の少なくとも１つのＨＥＶＣ変換を含む、又は含まないことができる。

図３に表すステップＳＴ２の間に、ＨＥＶＣ規格のイントラ予測ｉｐｍの３５個のモードの各々に対して変換数をゼロに初期設定する。このステップにおいて、予測の各モードは、ＨＥＶＣ（ＤＣＴ又はＤＳＴ）のタイプの単一の共通変換、及びゼロの追加変換を有する。このようなステップを、図４の表ＴＢ１で要約し、表の第１列は、イントラ予測ｉｐｍ_０〜ｉｐｍ_３４の３５個のモードを列挙し、表の第１行は、追加変換の各々の間での第１の１５の反復（ｉｔｅｒ）を列挙する。

表ＴＢ１の第１列に続いて、第１の１５の反復（ｉｔｅｒ）の各々に対して、
− 所与の変換の追加の後に、最良のメモリ資源／符号化性能の妥協に従って選択された予測（ｉｐｍ）のモード
− 第１の反復（ｉｔｅｒ）以来追加された変換の総数（Ｎｂ）
− 追加された変換の全体を記憶するのに符号器で使用される記憶容量（ＲＯＭ）
− 得られる符号化性能（ＢＤＲａｔｅ）、即ち、ＨＥＶＣ符号器に対して得られる百分率ビットレート減少
も列挙する。

表ＴＢ１では、ゼロへの初期設定を、ｉｔｅｒ＝０で表す。

図３に表すステップＳＴ３の間に、第１の変換を追加する間に第１の反復ｉｔｅｒ＝１を行う。

図３に表すステップＳＴ４の間に、イントラ予測の３５個のモードの各々に対して、符号化性能、及び追加変換に対して使用されるべき記憶容量を計算する。

イントラ予測ｉｐｍ_ｘ（但し、０≦ｘ≦３４）の所与のモード、及び所与の反復ｉｔ（但し、ｉｔ≧０）に対して、得られる符号化性能、即ちビットレートゲインを、Ｒ_ｉｔ，ｘで示し、追加変換を記憶する対応記憶容量を、Ｍ_ｉｔ，ｘで示す。

図３に表すステップＳＴ５の間に、イントラ予測の３５個のモードの各々に対して、得られるビットレート差と追加メモリ差との間の比率ａ＿ｘを、下記のように計算する。
ａ＿ｘ＝（Ｒ_ｉｔ，ｘ−Ｒ_０）／（Ｍ_ｉｔ，ｘ−Ｍ_０）（但し、Ｒ_０及びＭ_０は、ＨＥＶＣ規格に対して保存されたビットレート及び追加されたメモリをそれぞれ示す、即ち、反復ｉｔ＝０（Ｒ_０＝０、Ｍ_０＝０）。）

図３に表すステップＳＴ６の間に、比率ａ＿ｘが、最も有利な値、即ち、最小限の追加メモリ資源に対して最大ビットレート減少を示す、イントラ予測ｉｐｍ_ｘのモードを選択する。

図４の表ＴＢ１の第３列に表すように、第１の反復ｉｔ＝１に対して、最も有利であり、イントラ予測０のモードに対応する比率ａ＿０の値である。このモードの指標を、
− ＨＥＶＣ規格に対して保存されたビットレートＲ_１、即ちＲ_１＝０．２％
− ＨＥＶＣ規格に対して追加されたメモリＭ_１、即ちＭ_１＝０．１ｋｂ
に対応付けて、表の第３列の一番下に示す。

図３に表すステップＳＴ７の間に、この第１の反復中に追加された変換を用いて、図２の符号器ＣＯを更新する。

その後、各反復に対して、ステップＳＴ３〜ＳＴ７を再度適用する。

図４に示すように、表ＴＢ１は、実行される第１の１５の反復にわたって、メモリ資源（ＲＯＭ）が増大するにつれて、ビットレートゲイン（ＢＤＲａｔｅ）を反復に応じて向上させる方法を示す。

従って、例えば、表ＴＢ１の最終列に表すように、反復ｉｔｅｒ＝１５で、最も有利であり、イントラ予測２８のモードに対応する比率ａ＿２８の値である。このモードの指標を、
− ＨＥＶＣ規格に対して保存されたビットレートＲ_１５、即ちＲ_１５＝１．０１％
− ＨＥＶＣ規格に対して追加されたメモリＭ_１５、即ちＭ_１５＝２ｋｂ
に対応付けて、表の最終列の一番下に示す。

更に、反復ｉｔｅｒ＝１５で、予測のモード毎に追加されている変換数を表す。従って、下記の通りである。
− イントラ予測０のモードの場合、４つの変換が追加されている。
− イントラ予測１０及び１６のモードの場合、２つの変換がそれぞれ追加されている。
− イントラ予測１、８、９、１１、１４、２５、２７及び２８のモードの場合、１つの変換がそれぞれ追加されている。

従って、反復ｉｔｅｒ＝１５の場合、総数１６個の変換が追加されている。

さて図５を参照して、
− 図４の表ＴＢ１と直接関連して、図３の反復方法の実行の後に、使用されるメモリ資源に対する符号化性能の展開を表す点曲線ＣＢ１と、
− 予測のモード毎に同じ変換数を使用する最先端の符号器を用いて得られるような、使用されるメモリ資源に対する符号化性能の展開を表す実曲線ＣＢ２と
を示す。

２本の曲線ＣＢ１及びＣＢ２を比較することによって、図３に表すような予測のモード毎に変換数を判定する反復方法を実行する場合、所与のメモリの設置面積に対して、符号化性能が大幅に向上されることに留意せよ。それに応じて、図３に表すような予測のモード毎に変換数を判定する反復方法により、判定された変換を記憶するのに必要なメモリ資源を、予想符号化性能に対して、大幅に減少することができる。

予想符号化性能に対して、記憶容量の観点から、本発明によって与えられるゲインを評価するために、固定及び可変記憶容量、及び本発明によって使用される可変記憶容量を用いて得られる記憶容量減少の比較概要を与える表を以下に示す。

従って、２．８％の予想ビットレートゲインに対して、予測のモード毎に固定変換数を使用する先行技術の符号器の記憶容量は、１４０ｋｂであるけれども、予測のモード毎に可変変換数を使用する本発明による符号器の記憶容量は、６０．４ｋｂである。従って、最先端の符号器に対する本発明による符号器の記憶容量の減少を、２．８％の予想ビットレートゲインに対して、５７％と推定することができる。

その結果、本発明による符号化方法では、有利なことに、先行技術の符号化方法で使用されるものと比較して、変換に関して記憶容量に対する影響が限定的な状態で、高い符号化性能を得ることができる。

イントラタイプのＨＥＶＣ符号化の場合に実行される本発明の実施形態について、図１〜図３、図６Ａ、図６Ｂ、図７〜図９を参照して説明する。この実施形態では、図１のステップＣ３の間に選択されたイントラ予測のモードに対応付けられている変換のセットを、予測の複数の所定のモードのうち予測の少なくとも１つの他のモードに対応付けて、事前に記憶する。

この例において、図１のステップＣ３の完了時に、得られる最適予測子ブロックＢＰ_ｏｐｔを、例えば、方向ＤＰＩ_２２であるイントラ予測の最適方向に対応付ける。

本実施形態によれば、イントラ予測の他の方向がイントラ予測ＤＰＩ_２２の方向に関して対称であるという条件で、イントラ予測ＤＰＩ_２２の方向に対応付けられている変換（一意の場合）又は変換のセットを、図１のステップＣ０の間に、イントラ予測の別の方向に事前に対応付ける。このようにして、符号器ＣＯのレベルで、それに応じて、明細書において後述される復号器のレベルで、変換の半分を記憶し、利点は、符号器及び復号器側でメモリが減少することである。

第１の変型例によれば、対称を示すイントラ予測の２つの方向を、同じ変換又は変換の同じセットに対応付ける。

第２の変型例によれば、垂直（又は水平）方向に対して同じ角度差を各々示すイントラ予測の２つの角度方向を、同じ変換又は変換の同じセットに対応付ける。

従って、図６Ａに表すように、水平軸ＡＨに対して３０度の角度を示すイントラ予測の角度方向を、この水平軸に対して−３０度の角度を対称的に示すイントラ予測の角度方向に対応付ける。図７を参照して、イントラ予測のこれらの２つの方向は、方向ＤＰＩ_４及びＤＰＩ_１６にそれぞれ対応する。

同様に、図６Ａに表すように、水平軸に対して−６０度の角度を示すイントラ予測の角度方向を、垂直軸ＡＶに対して−１２０度の角度を対称的に示すイントラ予測の角度方向に対応付ける。図７を参照して、イントラ予測のこれらの２つの方向は、方向ＤＰＩ_２０及びＤＰＩ_３２にそれぞれ対応する。

更に、丁度説明されている例及び更に別の実施形態によれば、イントラ予測の他の方向がイントラ予測ＤＰＩ_２２の方向に関して対称であるという条件で、ステップＣ３で選択されたイントラ予測ＤＰＩ_２２の方向に対応付けられている変換又は複数の変換を、イントラ予測の３つの他の方向に事前に対応付ける。このようにして、符号器ＣＯのレベルで、それに応じて、明細書において後述される復号器のレベルで、変換の４分の１を記憶し、利点は、符号器及び復号器側でメモリが減少することである。

第１の変型例によれば、対称を示すイントラ予測の４つの方向を、同じ変換又は変換の同じセットに対応付ける。

第２の変型例によれば、垂直、水平及び対角軸に対して同じ角度を各々示すイントラ予測の４つの角度方向を、同じ変換又は変換の同じセットに対応付ける。

従って、図６Ａに表すように、水平軸ＡＨに対して３０度の角度を示すイントラ予測の角度方向を、
− この水平軸に対して対称的に−３０度の角度のイントラ予測の角度方向と、
− この水平軸及び対角軸ＡＤに対して対称的に−６０度の角度を示すイントラ予測の角度方向と、
− 対角軸ＡＤに対して対称的に−１２０度の角度を示すイントラ予測の角度方向と
に対応付ける。

図７を参照して、イントラ予測のこれらの４つの方向は、方向ＤＰＩ_４、ＤＰＩ_１６、ＤＰＩ_２０及びＤＰＩ_３２にそれぞれ対応する。

表は、図２の符号器ＣＯのバッファメモリＭＴ＿Ｃにおいて、本発明によって判定されるような、同じ変換（一意の場合）又は変換のセットに対応付けることができる、ＨＥＶＣイントラ予測の方向の９つのグループＧ_１〜Ｇ_９を以下に表す。

図７に示すようなＤＰＩ_２、予測ＤＰＩ_１８及びＤＰＩ_３４の方向にそれぞれ対応する図６Ｂに表すような４５度の倍数（４５度、−４５度及び−１３５度）における角度方向を、３つずつグループ化し、同じ変換又は変換の同じセットに対応付ける。

予測のモードの上述のグループの取得に従って、図１を参照して、変換を判定するステップＣ５の前に、図１のステップＣ４の完了時に得られるような残余ブロックＢｒ_ｉのデータの少なくとも１つの変位のステップＣ４０を行う必要がある場合がある。ステップＣ４０の間に、考慮される各データを、残余ブロックの最も近い近隣を保存しながら、残余ブロック内で変位させる。

ステップＣ４０を、図２に表す計算ソフトウェアモジュールＣＡＬ＿Ｃによって実行し、このモジュールはプロセッサＰＲＯＣ＿Ｃによって駆動される。

第１の実施形態によれば、データ変位のタイプは、転置、即ち、現在残余ブロックのデータの行及び列座標の交換である。

第２の実施形態によれば、データ変位のタイプは、鏡映、即ち、現在残余ブロックの列又は行の交換である。従って、残余ブロックＢｒ_ｉで考慮される各データを、残余ブロックの最も近い近隣を保存しながら、残余ブロック内で変位させる。

第３の実施形態によれば、データ変位のタイプは、転置及び鏡映の組合せである。即ち、下記の通りである。
− 現在残余ブロックのデータに、転置タイプの変位を適用し、次いで、鏡映タイプの変位を適用する。
− 又は、現在残余ブロックのデータに、鏡映タイプの変位を適用し、次いで、転置タイプの変位を適用する。

更に、本発明の別の実施形態によれば、残余ブロックＢｒ_ｉにおけるデータ変位のタイプは、選択された予測ＭＰ_Ｓのモードに左右される。

図８を参照して、残余ブロックＢｒ_ｉの所与の画素が残余ブロックの近隣の画素を保存できる、０〜７の番号を付けた変位の８つの異なる可能なタイプがある。例えば、画素ｐ７に対して、画素ｐ７は、画素ｐ２、ｐ３、ｐ４、ｐ６、ｐ８、ｐ１０、ｐ１１及びｐ１２によって常に囲まれている。特定の方法で、残余ブロックＢｒ_ｉに適用されるタイプ０の鏡映回転により、変更残余ブロックＢｍｒ_ｉを得ることができ、この場合、変更残余ブロックＢｍｒ_ｉは残余ブロックＢｒ_ｉと同じである。

更に、本発明によれば、イントラ予測の方向を、グループ化のモードに従って、変位の８つのタイプのうち１つのタイプに対応付ける。例えば、下記の通りである。
− 同じ変換又は変換の同じセットに対応付けられているイントラ予測ＤＰＩ_２２及びＤＰＩ_６の方向を、図８に表すようなタイプ０及びタイプ５の鏡映回転にそれぞれそれら自体対応付ける。
− 同じ変換又は変換の同じセットに対応付けられているイントラ予測ＤＰＩ_４及びＤＰＩ_１６の方向を、図８に表すようなタイプ０及びタイプ２の鏡映回転にそれぞれそれら自体対応付ける。
− 同じ変換又は変換の同じセットに対応付けられているイントラ予測ＤＰＩ_２０及びＤＰＩ_３２の方向を、図８に表すようなタイプ０及びタイプ１の鏡映回転にそれぞれそれら自体対応付ける。
− 同じ変換又は変換の同じセットに対応付けられているイントラ予測ＤＰＩ_４、ＤＰＩ_１６、ＤＰＩ_２０及びＤＰＩ_３２の方向を、図８に表すようなタイプ６、タイプ４、タイプ０及びタイプ１の鏡映回転にそれぞれそれら自体対応付ける。

さて図９を参照して、表ＴＢ２を示す。表ＴＢ２は、予測の少なくとも２つのモードを変換の同じセットに対応付ける場合、実行される第１の１５の反復にわたって、メモリ資源（ＲＯＭ）が増大するにつれて、ビットレートゲイン（ＢＤＲａｔｅ）を反復に応じて向上させる方法を示す。

従って、例えば、表ＴＢ２の最終列に表すように、反復ｉｔｅｒ＝１５で、最も有利であり、イントラ予測２８のモードに対応する比率ａ＿２８の値である。このモードを、
− 先行技術の符号化方法に対して保存されたビットレートＲ_１５、即ちＲ_１５＝１．２１％
− 先行技術の符号化方法に対して追加されたメモリＭ_１５、即ちＭ_１５＝２．１ｋｂ
に対応付けて、表の最終列の一番下に示す。

更に、反復ｉｔｅｒ＝１５で、予測のモード毎又は予測のモードのグループ毎に追加されている変換数を表す。従って、下記の通りである。
− イントラ予測１のモード及びイントラ予測の方向の上述のグループＧ_３及びＧ_５の場合、１つの変換がそれぞれ追加されている。
− イントラ予測の方向の上述のグループＧ_６、Ｇ_７及びＧ_９の場合、２つの変換がそれぞれ追加されている。
− イントラ予測０のモード及びイントラ予測の方向の上述のグループＧ_８の場合、４つの変換がそれぞれ追加されている。

従って、反復ｉｔｅｒ＝１５の場合、総数１７個の変換が追加されている。

表ＴＢ２では、予測のモードのこのようなグループ化を使用しない符号化方法に対して２０％のオーダーの、変換の記憶に専用のメモリ資源の大幅な減少に気付くことができる。

予想符号化性能に対して、記憶容量の観点から評価される、本発明による予測のモードのこのようなグループ化を用いて与えられるゲインを評価するために、予測のモード毎に同じ変換数を用いた先行技術の符号器にある固定記憶容量、及び本発明による符号器にある可変記憶容量、及び可変記憶容量を用いて得られる記憶容量減少の比較概要を与える表を以下に示す。

従って、１．７％の予想ビットレートゲインに対して、予測のモード毎に固定変換数を使用する符号器の記憶容量は、１７．５ｋｂであるけれども、予測のモード毎又は予測のモードのセット毎に可変変換数を使用する本発明による符号器の記憶容量は、わずか５．３ｋｂである。従って、最先端の符号器に対する本発明による符号器の記憶容量の減少を、１．７％の予想ビットレートゲインに対して、７０％と推定することができる。

本発明の別の実施形態によれば、予測のモード毎又は予測のモードのグループ毎に変換数を判定する反復方法を、変換数を判定する自動方法と交換することができる。

特定の符号化の文脈で、図２の符号器ＣＯが所与の複雑性点で動作することを強いる場合、自動判定方法は、必要であることが分かる。図１のステップＣ５の間に、最適変換の符号器によって選択の調査を制限するように、符号化の間に、競合で変換数を減少する必要がある。

例示的な第１の実施形態によれば、予測の垂直又は水平方向に対応付けられている予測のモードの場合に判定される変換数を、予測の斜め方向に対応付けられている予測のモードの場合に判定される変換数よりも大きくする。

例えば、ＨＥＶＣ規格の場合、イントラ予測の３５個の利用可能なモードの中から、現在ブロックのエッジの２つを超える画素を平均することによって、２つのモード０（Ｐｌａｎａｒ）及び１（ＤＣ）による予測を計算するので、モード０（Ｐｌａｎａｒ）及び１（ＤＣ）が最大平滑化モードであることを当業者は分かっている。その結果、図１のステップＣ０の間に、Ｐｌａｎａｒ及びＤＣモードを、他のＨＥＶＣイントラ予測モードの変換数よりも大きい変換数に対応付ける。

更に、それ自体知られている方法で、水平又は垂直である画像のパターンを予測するのに、モード１０（水平）及び２６（垂直）を使用する。性質（例えば、垂直木、極、水平線など）で頻繁に見つけられるこのようなパターンを、イントラ予測の斜めモードに対応付けられている変換数よりも大きい変換数に対応付ける必要がある。

例示的な第２の実施形態によれば、予測ＭＰ_０、ＭＰ_１、…、ＭＰ_ｖ、…、ＭＰ_Ｒの複数の所定のモードの中で、予測の最確モードとして事前に選択されている予測のモードの場合に判定される変換数は、予測の最確モードとして事前に選択されていない予測のモードの場合に判定される変換数よりも大きい。

例えば、ＨＥＶＣ規格の場合、ＭＰＭｓ（「Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅｓ」）と呼ばれる予測の最確モードのリストを、符号化の前にコンパイルする。特に、モード０（Ｐｌａｎａｒ）、１（ＤＣ）及び２６（垂直）は、リストをコンパイルする場合にデフォルト値で割り当てられる予測のモードである。本発明によれば、イントラ予測のこれらの３つのモードを、図１の記憶ステップＣ０の間に、他のＨＥＶＣイントラ予測モードに対応付けられている変換数よりも大きい変換数に事前に対応付ける。

例示的な第３の実施形態によれば、予測ＭＰ_０、ＭＰ_１、…、ＭＰ_ｖ、…、ＭＰ_Ｒの所定のモードの各々に対応付けられて記憶された変換のセットに含まれる変換数を、予測のこれらのモードの各々を表す情報量に応じて判定する。

例えば、ＨＥＶＣ規格の場合、０（Ｐｌａｎａｒ）、１（ＤＣ）及び２６（垂直）などのイントラ予測の最確モードを、他のモードよりも少ないビットで信号伝送する。本発明によれば、これらの３つのモードを他のモードよりも頻繁に選択するので、イントラ予測の他のモードの変換数よりも大きい変換数にこれらの最確モードを対応付けるのに適切であり、その結果、これらの３つのモードを用いて試験されるべき一層多くの様々な予測子ブロックがある。

従って、本発明によれば、予測のモードの信号伝送をより少ないビットで実行する場合、図１のステップＣ０の間に予測のこのモードに対応付けられて記憶された変換数は、イントラ予測の３５個のモードのセットにわたって変換の平均よりも大きい。

復号部の詳細な説明
ここで、本発明の実施形態について説明する。この実施形態では、本発明による復号方法を用いて、現在又は次の映像復号規格のうちの何れか１つに準拠する復号器によって復号できる画像又は画像のシーケンスを表すデータ信号又はストリームを復号する。

この実施形態において、例えば、このような復号器の変更によるソフトウェア又はハードウェアのやり方で、本発明による復号方法を実行する。

本発明による復号方法を、図１１に表すようなステップＤ０〜Ｄ９を含むアルゴリズムの形で表す。

この実施形態によれば、本発明による復号方法を、図１０に表す復号デバイス又は復号器ＤＯで実行する。

図１０に示すように、このような復号デバイスは、
− 復号されるべき現在データ信号又はストリームＦを受信する入力器ＥＮＴ＿Ｄと、
− 本発明による復号方法を実行する処理回路ＣＴ＿Ｄであって、
・バッファメモリＭＴ＿Ｄを含むメモリＭＥＭ＿Ｄと、
・コンピュータプログラムＰＧ＿Ｄによって駆動されるプロセッサＰＲＯＣ＿Ｄと
− を含む、本発明による復号方法を実行する処理回路ＣＴ＿Ｄと、
− 本発明による復号の完了時に得られたデータを含む再構成された現在画像を送出する出力器ＳＯＲ＿Ｄと
を含む。

初期設定時に、処理回路ＣＴ＿Ｄによって実行される前に、コンピュータプログラムＰＧ＿Ｄのコード命令を、例えば、ＲＡＭメモリＭＲ＿Ｄにロードする。

図１１に表す復号方法は、静止画である、又は復号されるべき画像のシーケンスに属する、復号されるべき現在画像ＩＣ_ｊを表すデータ信号又はストリームＦに適用する。

この目的のために、復号されるべき現在画像ＩＣ_ｊを表す情報を、図１の符号化方法の完了時に送出されるような、復号器ＤＯの入力器ＥＮＴ＿Ｄで受信されるデータ信号Ｆで識別する。

図１１を参照して、ステップＤ１の間に、信号Ｆにおいて、上述の辞書式順序に従って事前に符号化された各ブロックＢ_１、Ｂ_２、…、Ｂ_ｉ、…、Ｂ_Ｓに対応付けられている符号化残余ブロックを判定する。

このような判定ステップＤ１を、図１０に表すストリーム分析識別ソフトウェアモジュールＭＩ＿Ｄによって実行し、このモジュールはプロセッサＰＲＯＣ＿Ｄによって駆動される。

当然、上述以外の他のタイプの横断も可能であり、他のタイプの横断は、符号化時に選択される横断の順序に左右される。

表す例において、復号されるべきブロックＢ_１、Ｂ_２、…、Ｂ_ｉ、…、Ｂ_Ｓは、例えば正方形を有し、例えばＭ×Ｍ画素（但し、Ｍは、１以上の自然数）のサイズである。

更に、復号されるべき各ブロック自体を、それ自体細分可能なサブブロックに分割することができる。

図１１に表すステップＤ２の間に、図１０の復号器ＤＯは、図１の符号化方法の完了時に符号化されている第１のブロックを、復号されるべき現在ブロックＢ_ｉとして選択する。

図１１に表すステップＤ３の間に、図１のステップＣ８の間に符号化されている、復号されるべき現在ブロックＢ_ｉに対応付けられている残余データｄ_１、ｄ_２、…、ｄ_ｗ、…、ｄ_Ｖを、例えば復号によって判定する。このような判定の完了時に、
− ステップＣ７の完了時に得られる量子化ブロックＢｑ_ｉに対応付けられているデジタル情報のセット
− 又は、残余ブロックＢｒ_ｉのデータを変位させるステップＣ４０が符号化時に実行されている場合、ステップＣ７の完了時に得られる量子化変更ブロックＢｍｑ_ｉに対応付けられているデジタル情報のセット
が得られる。

更に、ステップＤ３の間に、データ信号Ｆに書き込まれている、図１のステップＣ３の間の符号化時に実行されるような現在ブロックＢ_ｉの予測のタイプに関する情報を判定する。

この目的のために、ステップＤ３の間に、
− 図１のステップＣ３で選択された予測ＭＰ_Ｓのモード
− ＩＢＰ_ｏｐｔで示す、予測子ブロックＢＰ_ｏｐｔの指標、及び現在ブロックＢ_ｉが区分されている場合に現在ブロックＢ_ｉの区分のタイプ
を判定する。

このような復号ステップＤ３を、図１０に表す復号モジュールＭＤ＿Ｄによって実行し、このモジュールはプロセッサＰＲＯＣ＿Ｄによって駆動される。

図１１に表すステップＤ４の間に、上述のステップＤ３の間に復号されている予測子ブロックの指標ＩＢＰ_ｏｐｔを用いて、復号されるべき現在ブロックの予測復号を行う。この目的のために、それ自体知られている方法で、指標ＩＢＰ_ｏｐｔに対応付けて、図１０の復号器ＤＯのバッファメモリＭＴ＿Ｄにおいて、バッファメモリＭＴ＿Ｄに事前に記憶されている複数の候補予測子ブロックの中で目立つ、対応する予測子ブロックＢＰ_ｏｐｔを選択する。各候補予測子ブロックは、既に復号されている画素のブロックである。

ステップＤ４を、図１０に表す逆予測ソフトウェアモジュールＰＲＥＤ^−１＿Ｄによって実行し、このモジュールはプロセッサＰＲＯＣ＿Ｄによって駆動される。

上述のステップＤ３の完了時に得られている符号化ブロックＢｑ_ｉ又はＢｍｑ_ｉに対応付けられているデータセットである場合に実行される、図１１に表すステップＤ５の間に、図１の量子化ステップＣ７中に実行される量子化と逆の操作である従来の逆量子化操作に従って、このデータセットを逆量子化する。次に、ステップＤ５の完了時に、逆量子化係数ＢＤｑ_ｉの現在セット又は逆量子化変更係数ＢＤｍｑ_ｉの現在セットを得る。このような逆量子化ステップは、例えば、スカラ又はベクトルタイプである。

ステップＤ５を、１０に表す逆量子化ソフトウェアモジュールＭＱ^−１＿Ｄによって実行し、このモジュールはプロセッサＰＲＯＣ＿Ｄによって駆動される。

図１１に表すステップＤ６の間に、図１０の復号器ＤＯは、上述のステップＤ５で得られるような逆量子化係数ＢＤｑ_ｉの現在セット又は逆量子化変更係数ＢＤｍｑ_ｉの現在セットの変換の判定を行う。それ自体知られている方法で、このような変換は、図１のステップＣ５の完了時に符号化で判定される変換と逆の変換であり、例えば、
− 例えば、ＤＣＴタイプの離散コサイン変換などの直接変換
− 例えば、ＤＳＴタイプの離散サイン変換などの直接変換
− 出版物“Ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｓｅｄ ｔｒａｎｓｆｏｒｍ ｃｏｍｐｅｔｉｔｉｏｎ ｆｏｒ ｉｎｔｒａ ｃｏｄｉｎｇ ｉｎ ＨＥＶＣ”，Ａｄｒｉａ Ａｒｒｕｆａｔ，Ｐｉｅｒｒｉｃｋ Ｐｈｉｌｉｐｐｅ，Ｏｌｉｖｉｅｒ Ｄｅｆｏｒｇｅｓ，ＩＥＥＥ ＶＣＩＰ，Ｄｅｃ ２０１４に示すようなひずみビットレートによって最適化されるブロック変換
− ＤＷＴタイプのウェーブレット変換
− 出版物“Ｒｅｄｕｃｔｉｏｎ ｏｆ ｂｌｏｃｋｉｎｇ ｅｆｆｅｃｔｓ ｉｎ ｉｍａｇｅ ｃｏｄｉｎｇ ｗｉｔｈ ｌａｐｐｅｄ ｏｒｔｈｏｇｏｎａｌ ｔｒａｎｓｆｏｒｍ”，Ｈ．Ｍａｌｖａｒに示すような重複変換タイプの重複を含む変換
− 又は、任意の他のタイプの利用可能な変換
の通りである。

この変換は、変換のセットに属し、図１１に表す事前記憶ステップＤ０の間に、予測ＭＰ_Ｓの選択モードに対応付けられて図１０のバッファメモリＭＴ＿Ｄに記憶される。この記憶ステップの間に、
− 変換数ＮＢ_０を含む変換のセットに対応付けられて、予測ＭＰ_０の所定のモードを記憶し、
− 変換数ＮＢ_１を含む変換のセットに対応付けられて、予測ＭＰ_１の所定のモードを記憶し、
− …
− 変換数ＮＢ_Ｖを含む変換のセットに対応付けられて、予測ＭＰ_Ｖの所定のモードを記憶し、
− …
− 変換数ＮＢ_Ｒを含む変換のセットに対応付けられて、予測ＭＰ_Ｒの所定のモードを記憶する。

本発明によれば、予測ＭＰ_０、ＭＰ_１、…、ＭＰ_ｖ、…、ＭＰ_Ｒの複数の所定のモードに属する予測ＭＰ_ａ、ＭＰ_ｂの少なくとも２つの異なるモードに対して（但し、０≦ａ≦Ｒ＋１及び０≦ｂ≦Ｒ＋１）、予測ＭＰ_ａのモードに対応付けられている変換のセットに含まれるＮＢ_ａで示す変換数は、予測ＭＰ_ｂのモードに対応付けられて記憶されている変換のセットに含まれるＮＢ_ｂで示す変換数と異なる。

例示的な第１の実施形態によれば、予測の所定のモードの複数の予測ＭＰ_０、ＭＰ_１、…、ＭＰ_ｖ、…、ＭＰ_Ｒのうち予測の２つのモードにそれぞれ対応付けられて記憶されている変換の少なくとも２つのセットに対して、２つのセットの各々における変換数は、少なくとも１つの同じ変換を共通して含む。

例えば、ＨＥＶＣ規格に準拠する符号化の場合、２つのセットの各々における変換数は、例えば、
− ＤＳＴタイプの変換と逆の変換、又はＤＣＴタイプの変換と逆の変換
− ＤＳＴタイプの変換と逆の変換、及びＤＣＴタイプの変換と逆の変換
− 共通の２つを超える変換
を共通して含んでもよい。

その上、変換の２つを超えるセットは、少なくとも１つの同じ変換操作を共通して含むことができる。更に、ＨＥＶＣ規格に準拠する復号の場合、より詳細には、予測ＤＰＩ_０、ＤＰＩ_１、…、ＤＰＩ_３４の３５の可能な方向を提案する、この規格に準拠する逆イントラ予測の場合、予測のこれらの３５の方向の各々にそれぞれ対応付けられている変換のセットは、少なくとも１つの同じ変換操作を共通して含むことができる。

図１０に表す例示的な第２の実施形態によれば、上述のステップＤ３で判定された予測ＭＰ_Ｓのモードに対応付けられ、変換数ＮＢ_Ｓを含む変換のセットは、予測ＭＰ_０、ＭＰ_１、…、ＭＰ_ｖ、…、ＭＰ_Ｒの複数の所定のモードのうち、ＭＰ_ｕで示す、予測の少なくとも１つの他のモード（但し、０≦ｕ≦Ｒ＋１）に対応付けられて、図１０のバッファメモリＭＴ＿Ｄに記憶されている。

より詳細には、上述の判定ステップＤ６は、上述のステップＣ５（図１）の完了時に符号化で選択されている変換Ｔ_ｓ，ｋ（ＮＢ_Ｓ＝１）又はＴ_ｓ，ｋ＊（ＮＢ_Ｓ＞１）の指標ＩＤＸをデータ信号Ｆにおいて読み取るステップであり、この指標は、上述のステップＣ８（図１）の間にデータ信号Ｆに書き込まれている。

図１１に表すステップＤ７の間に、上述のステップＤ５で得られるような逆量子化係数ＢＤｑ_ｉの現在セット又は逆量子化変更係数ＢＤｍｑ_ｉの現在セットに、変換Ｔ_ｓ，ｋ又はＴ_ｓ，ｋ＊と逆の変換を適用する。ステップＤ７の完了時に、現在復号残余ブロックＢＤｒ_ｉ又は現在復号変更残余ブロックＢＤｍｒ_ｉを得る。

このような操作を、図１０に表す逆変換ソフトウェアモジュールＭＴＲ^−１＿Ｄによって実行し、このモジュールはプロセッサＰＲＯＣ＿Ｄによって駆動される。

図１１では、逆変換ステップＤ７の前に、逆量子化ステップＤ５を表す。しかし、逆量子化係数を含む整数を用いて実行されるステップＤ７に、ステップＤ５を統合することができる。

図１１に表すステップＤ８の間に、上述のステップＤ７の完了時に得られる復号残余ブロックＢＤｒ_ｉに、上述のステップＤ４の完了時に得られている予測子ブロックＢＰ_ｏｐｔを追加することによって、現在ブロックＢ_ｉを再構成する。ステップＤ８の完了時に、現在復号ブロックＢＤ_ｉを得る。

ステップＤ８を、図１０に表すソフトウェアモジュールＣＡＬ１＿Ｄによって実行し、このモジュールはプロセッサＰＲＯＣ＿Ｄによって駆動される。

図１１に表すステップＤ９の間に、現在復号ブロックＢＤ_ｉを復号画像ＩＤ_ｊに書き込む。

このようなステップを、図１０に表す画像再構成ソフトウェアモジュールＵＲＩによって実行し、このモジュールはプロセッサＰＲＯＣ＿Ｄによって駆動される。

上述されている復号ステップを、例えば辞書式順序である所定の順序で、考慮される現在画像ＩＣ_ｊの復号されるべき全てのブロックＢ_１、Ｂ_２、…、Ｂ_ｉ、…、Ｂ_Ｓに対して実行する。

符号化時と同様にして、図３〜図８を参照して、復号方法は、イントラタイプのＨＥＶＣ復号の場合、予測の各所定のモードに対して変換数を判定する方法を、本発明の第１の実施形態によって実行する。

イントラタイプのＨＥＶＣ復号の場合に実行される本発明の実施形態について、図３、図６Ａ、図６Ｂ、図７〜図１１を参照して説明する。この実施形態では、図１１のステップＤ３の間に選択されたイントラ予測のモードに対応付けられている変換のセットを、予測の複数の所定のモードのうち予測の少なくとも１つの他のモードに対応付けて、事前に記憶する。

この例において、図１１のステップＤ３の完了時に、得られる最適予測子ブロックＢＰ_ｏｐｔを、例えば、方向ＤＰＩ_２２であるイントラ予測の最適方向に対応付ける。

本実施形態によれば、イントラ予測の他の方向がイントラ予測ＤＰＩ_２２の方向に関して対称であるという条件で、イントラ予測ＤＰＩ_２２の方向に対応付けられている変換（一意の場合）又は変換のセットを、図１１のステップＤ０の間に、イントラ予測の別の方向に事前に対応付ける。このようにして、復号器ＤＯのレベルで、変換の半分を記憶し、利点は、復号器側でメモリが減少することである。

第１の変型例によれば、対称を示すイントラ予測の２つの方向を、同じ変換又は変換の同じセットに対応付ける。

第２の変型例によれば、垂直（又は水平）方向に対して同じ角度を各々示すイントラ予測の２つの角度方向を、同じ変換又は変換の同じセットに対応付ける。

従って、図６Ａに表すように、水平軸ＡＨに対して３０度の角度を示すイントラ予測の角度方向を、この水平軸に対して−３０度の角度を対称的に示すイントラ予測の角度方向に対応付ける。図７を参照して、イントラ予測のこれらの２つの方向は、方向ＤＰＩ_４及びＤＰＩ_１６にそれぞれ対応する。

同様に、図６Ａに表すように、水平軸に対して−６０度の角度を示すイントラ予測の角度方向を、垂直軸ＡＶに対して−１２０度の角度を対称的に示すイントラ予測の角度方向に対応付ける。図７を参照して、イントラ予測のこれらの２つの方向は、方向ＤＰＩ_２０及びＤＰＩ_３２にそれぞれ対応する。

更に、丁度説明されている例及び更に別の実施形態によれば、イントラ予測の他の方向がイントラ予測ＤＰＩ_２２の方向に関して対称であるという条件で、ステップＤ３で判定されたイントラ予測ＤＰＩ_２２の方向に対応付けられている変換又は複数の変換を、イントラ予測の３つの他の方向に事前に対応付ける。このようにして、復号器ＤＯのレベルで、変換の４分の１を記憶し、利点は、復号器側でメモリが減少することである。

第１の変型例によれば、対称を示すイントラ予測の４つの方向を、同じ変換又は変換の同じセットに対応付ける。

第２の変型例によれば、垂直、水平及び対角軸に対して同じ角度を各々示すイントラ予測の４つの角度方向を、同じ変換又は変換の同じセットに対応付ける。

従って、図６Ａに表すように、水平軸ＡＨに対して３０度の角度を示すイントラ予測の角度方向を、
− この水平軸に対して対称的に−３０度の角度のイントラ予測の角度方向と、
− この水平軸及び対角軸ＡＤに対して対称的に−６０度の角度を示すイントラ予測の角度方向と、
− 対角軸ＡＤに対して対称的に−１２０度の角度を示すイントラ予測の角度方向と
に対応付ける。

図７を参照して、イントラ予測のこれらの４つの方向は、方向ＤＰＩ_４、ＤＰＩ_１６、ＤＰＩ_２０及びＤＰＩ_３２にそれぞれ対応する。

表は、本発明によって判定されるような、同じ変換（一意の場合）又は変換のセットに対応付けることができる、ＨＥＶＣイントラ予測の方向の９つのグループＧ_１〜Ｇ_９を以下に表す。

図７に示すようなＤＰＩ_２、予測ＤＰＩ_１８及びＤＰＩ_３４の方向にそれぞれ対応する図６Ｂに表すような４５度の倍数（４５度、−４５度及び−１３５度）における角度方向を、３つずつグループ化し、図１０の復号器ＤＯのバッファメモリＭＴ＿Ｄにおいて、同じ変換又は変換の同じセットに対応付ける。

予測のモードの上述のグループの取得に従って、図１１を参照して、ステップＤ７の完了時に得られている現在復号変更残余ブロックＢＤｍｒ_ｉである場合、このステップに続いて、現在復号変更残余ブロックＢＤｍｒ_ｉのデータの少なくとも１つの変位のステップＤ７０を行う。考慮される各データを、ブロックの最も近い近隣を保存しながら、このブロック内で変位させる。

ステップＤ７０を、図１０に表す計算ソフトウェアモジュールＣＡＬ２＿Ｄによって実行し、このモジュールはプロセッサＰＲＯＣ＿Ｄによって駆動される。

第１の実施形態によれば、データ変位のタイプは、符号化時に実行される転置と逆の転置、即ち、現在復号変更残余ブロックＢＤｍｒ_ｉのデータの行及び列座標の交換である。

第２の実施形態によれば、データ変位のタイプは、符号化時に実行される鏡映と逆の鏡映、即ち、現在復号変更残余ブロックＢＤｍｒ_ｉの列又は行の交換である。従って、現在復号変更残余ブロックＢＤｍｒ_ｉで考慮される各データを、ブロックの最も近い近隣を保存しながら、ブロック内で変位させる。

第３の実施形態によれば、データ変位のタイプは、逆転置及び逆鏡映の組合せである。即ち、下記の通りである。
− 現在復号変更残余ブロックＢＤｍｒ_ｉのデータに、逆転置タイプの変位を適用し、次いで、逆鏡映タイプの変位を適用する。
− 又は、現在復号変更残余ブロックＢＤｍｒ_ｉのデータに、逆鏡映タイプの変位を適用し、次いで、逆転置タイプの変位を適用する。

更に、本発明の別の実施形態によれば、現在復号変更残余ブロックＢＤｍｒ_ｉにおけるデータ変位のタイプは、上述のステップＤ３で判定された予測ＭＰ_Ｓのモードに左右される。

図８に表すような、符号化時に実行される様々なタイプの変位に対応する方法で、現在復号変更残余ブロックＢＤｍｒ_ｉの所与の画素がブロックの近隣の画素を保存できる、０〜７の番号を付けた変位の８つの異なる可能なタイプが、復号時にもある。例えば、画素ｐ７に対して、画素ｐ７は、画素ｐ２、ｐ３、ｐ４、ｐ６、ｐ８、ｐ１０、ｐ１１及びｐ１２によって常に囲まれている。現在復号変更残余ブロックＢＤｍｒ_ｉのデータは、現在残余ブロックＢｒ_ｉのデータと同じ順序で配置されているので、特定の方法で、タイプ０の鏡映回転と逆の鏡映回転は、データの変位を引き起こさない。

更に、本発明によれば、図１１のステップＤ３の完了時に判定されたイントラ予測の方向を、属するグループに従って、逆変位の８つのタイプのうち１つのタイプに対応付ける。例えば、下記の通りである。
− 同じ変換又は変換の同じセットに対応付けられているイントラ予測ＤＰＩ_２２及びＤＰＩ_６の方向を、図８に表すようなタイプ０及びタイプ５の鏡映回転の各逆鏡映回転にそれぞれそれら自体対応付ける。
− 同じ変換又は変換の同じセットに対応付けられているイントラ予測ＤＰＩ_４及びＤＰＩ_１６の方向を、図８に表すようなタイプ０及びタイプ２の鏡映回転の各逆鏡映回転にそれぞれそれら自体対応付ける。
− 同じ変換又は変換の同じセットに対応付けられているイントラ予測ＤＰＩ_２０及びＤＰＩ_３２の方向を、図８に表すようなタイプ０及びタイプ１の鏡映回転の各逆鏡映回転にそれぞれそれら自体対応付ける。
− 同じ変換又は変換の同じセットに対応付けられているイントラ予測ＤＰＩ_４、ＤＰＩ_１６、ＤＰＩ_２０及びＤＰＩ_３２の方向を、図８に表すようなタイプ６、タイプ４、タイプ０及びタイプ１の鏡映回転の各逆鏡映回転にそれぞれそれら自体対応付ける。

本発明の別の実施形態によれば、符号化時と同じ方法で、予測のモード毎又は予測のモードのグループ毎に変換数を判定する反復方法を、変換数を判定する自動方法と交換することができる。

特定の復号の文脈で、図１０の復号器ＤＯが所与の複雑性点で動作することを強いる場合、自動判定方法は、必要であることが分かる。この所与の複雑性点を、画像部、全画像、又は画像のシーケンスに対して与えられる構成情報の項目による、図２の符号器ＣＯによって、信号伝送することができる。複雑性点は、最大変換数、又は復号器で利用可能な変換数に対する変換数の比率を含むことができる。従って、図１１のステップＤ６の間に、構成情報の信号伝送項目に対応付けられている変換数だけで、図１０のバッファメモリＭＴ＿Ｄにおいて、復号器ＤＯは、符号化時に選択され、ステップＤ３で判定された指標ＩＤＸに対応する変換を探索する。

例示的な第１の実施形態によれば、予測の垂直又は水平方向に対応付けられている予測のモードの場合に判定される変換数を、予測の斜め方向に対応付けられている予測のモードの場合に判定される変換数よりも大きくする。

例えば、ＨＥＶＣ規格の場合、イントラ予測の３５個の利用可能なモードの中から、現在ブロックのエッジのより多くの画素を平均することによって、２つのモード０（Ｐｌａｎａｒ）及び１（ＤＣ）による予測を計算するので、モード０（Ｐｌａｎａｒ）及び１（ＤＣ）が最大平滑化モードであることを当業者は分かっている。その結果、図１１のステップＤ０の間に、Ｐｌａｎａｒ及びＤＣモードを、他のＨＥＶＣイントラ予測モードの変換数よりも大きい変換数に対応付ける。

更に、それ自体知られている方法で、水平又は垂直である画像のパターンを予測するのに、モード１０及び２６を使用する。性質（例えば、垂直木、極、水平線など）で頻繁に見つけられるこのようなパターンを、イントラ予測の斜めモードに対応付けられている変換数よりも大きい変換数に対応付ける必要がある。

例示的な第２の実施形態によれば、予測ＭＰ_０、ＭＰ_１、…、ＭＰ_ｖ、…、ＭＰ_Ｒの複数の所定のモードの中で、予測の最確モードとして事前に選択されている予測のモードの場合に判定される変換数は、予測の最確モードとして事前に選択されていない予測のモードの場合に判定される変換数よりも大きい。

例えば、ＨＥＶＣ規格の場合、ＭＰＭｓ（「Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅｓ」）と呼ばれる予測の最確モードのリストを、符号化の前にコンパイルする。特に、モード０（Ｐｌａｎａｒ）、１（ＤＣ）及び２６（垂直）は、リストをコンパイルする場合にデフォルト値で割り当てられる予測のモードである。本発明によれば、イントラ予測のこれらの３つのモードを、図１Ａの記憶ステップＤ０の間に、他のＨＥＶＣイントラ予測モードに対応付けられている変換数よりも大きい変換数に事前に対応付ける。

例示的な第３の実施形態によれば、予測ＭＰ_０、ＭＰ_１、…、ＭＰ_ｖ、…、ＭＰ_Ｒの所定のモードの各々に対応付けられて記憶された変換のセットに含まれる変換数を、予測のこれらのモードの各々を表す情報量に応じて判定する。

例えば、ＨＥＶＣ規格の場合、０（Ｐｌａｎａｒ）、１（ＤＣ）及び２６（垂直）などのイントラ予測の最確モードを、他のモードよりも少ないビットで信号伝送する。本発明によれば、これらの３つのモードを他のモードよりも頻繁に選択するので、イントラ予測の他のモードの変換数よりも大きい変換数にこれらの最確モードを対応付けるのに適切であり、その結果、これらの３つのモードを用いて試験されるべき一層多くの様々な予測子ブロックがある。

従って、本発明によれば、予測のモードの信号伝送をより少ないビットで実行する場合、図１１のステップＤ０の間に予測のこのモードに対応付けられて記憶された変換数は、イントラ予測の３５個のモードのセットにわたって変換の平均よりも大きい。

上述されている実施形態は全く限定されない証拠のために単に与えられており、本発明の範囲から逸脱することなく当業者が多数の変更を容易に加えることができることは言うまでもない。

ＣＢ１ 点曲線
ＣＢ２ 実曲線
Ｂｍｒ_ｉ 変更残余ブロック

Claims (11)

1. ブロックに分割されている少なくとも１つの画像（ＩＣｊ）の符号化方法であって、
   前記画像の符号化されるべき現在ブロック（Ｂ_ｉ）に対して、
   −インター及びイントラ予測の２つの所定のモードの中から選択されている予測（ＭＰ_Ｓ）のモードに従って前記現在ブロックを予測する（Ｃ３）ステップであって、予測の前記選択モードはイントラである、ステップと、
   −前記予測の完了時に得られる予測子ブロック（ＢＰ_ｏｐｔ）と前記現在ブロックとの間の差を表す残余ブロックを計算する（Ｃ４）ステップと、
   −イントラ予測の前記選択モードに対応付けられてメモリに記憶されている（Ｃ０）変換のセットに属する変換を前記残余ブロックに適用し、変換ブロックを取得する（Ｃ６）ステップと、
   −前記変換ブロックを符号化する（Ｃ８）ステップと
   を実行し、
   前記少なくとも１つの画像を符号化する前に、イントラ予測の前記選択モードに対応付けられている変換の前記セットと、インター予測の前記モードに対応付けられている変換のセットとを前記メモリに記憶し（Ｃ０）、イントラ予測の前記選択モードに対応付けられている変換の前記セットに含まれる変換数は、インター予測の前記モードに対応付けられて記憶されている変換の前記セットに含まれる変換数と異なることを特徴とする、符号化方法。
2. イントラ予測の前記モードに対応付けられている変換の前記セットは、少なくとも１つの分離可能な変換及び少なくとも１つの分離不可能な変換を含み、
   インター予測の前記モードに対応付けられている変換の前記セットは、少なくとも１つの分離可能な変換のみを含むことを特徴とする、請求項１に記載の符号化方法。
3. イントラ予測の前記モードに対応付けられている変換の前記セットと、インター予測の前記モードに対応付けられている変換の前記セットは、少なくとも１つの同じ変換を共通して含むことを特徴とする、請求項１に記載の符号化方法。
4. イントラ予測の前記選択モードに対応付けられている変換の前記セットは、予測の前記２つの所定のモードと異なる予測の少なくとも１つの他のモードに対応付けられて記憶されていることを特徴とする、請求項１〜３のいずれか一項に記載の符号化方法。
5. 処理回路（ＣＴ＿Ｃ）を含む、ブロックに分割されている少なくとも１つの画像（ＩＣ_ｊ）の符号化デバイス（ＣＯ）であって、
   前記画像の符号化されるべき現在ブロック（Ｂ_ｉ）に対して、
   −インター及びイントラ予測の２つの所定のモードの中から選択されている予測のモードに従って前記現在ブロックを予測し、予測の前記選択モードはイントラであり、
   −前記予測の完了時に得られる予測子ブロックと前記現在ブロックとの間の差を表す残余ブロックを計算し、
   −イントラ予測の前記選択モードに対応付けられてメモリに記憶されている変換のセットに属する変換を前記残余ブロックに適用し、変換ブロックを取得し、
   −前記変換ブロックを符号化する
   ように設計されており、
   前記処理回路は、前記少なくとも１つの画像を符号化する前に、イントラ予測の前記選択モードに対応付けられている変換の前記セットと、インター予測の前記モードに対応付けられている変換のセットとを前記メモリに記憶するように設計されており、イントラ予測の前記選択モードに対応付けられている変換の前記セットに含まれる変換数は、インター予測の前記モードに対応付けられて記憶されている変換のセットに含まれる変換数と異なることを特徴とする、符号化デバイス。
6. ブロックに分割されている少なくとも１つの画像（ＩＣ_ｊ）を表すデータ信号（Ｆ）の復号方法であって、
   復号されるべき現在ブロック（Ｂ_ｉ）に対して、
   −前記データ信号において、
   ・復号されるべき前記現在ブロックに対応付けられている現在残余ブロックを表すデータ
   ・復号されるべき前記現在ブロックの予測（ＭＰ_Ｓ）のモードであって、イントラ及びインター予測の２つの所定のモードに属する予測の前記モード
   を判定する（Ｄ３）ステップであって、予測の前記判定モードはイントラである、ステップと、
   −イントラ予測（ＭＰ_Ｓ）の前記判定モードに従って前記現在ブロックを予測する（Ｄ４）ステップと、
   −イントラ予測（ＭＰ_Ｓ）の前記判定モードに対応付けられてメモリに記憶されている（Ｄ０）変換のセットに属する変換を、前記残余ブロックを表す前記データに適用する（Ｄ７）ステップと、
   −前記予測の完了時に得られる予測子ブロックと前記変換の後に得られる前記データとを用いて前記現在ブロックを再構成する（Ｄ８）ステップと
   を実行し、
   前記データ信号を復号する前に、イントラ予測の前記判定モードに対応付けられている変換の前記セットと、インター予測の前記モードに対応付けられている変換のセットとを前記メモリに記憶し（Ｄ０）、イントラ予測の前記判定モードに対応付けられている変換の前記セットに含まれる変換数は、インター予測の前記モードに対応付けられて記憶されている変換の前記セットに含まれる変換数と異なることを特徴とする、復号方法。
7. イントラ予測の前記モードに対応付けられている変換の前記セットは、少なくとも１つの分離可能な変換及び少なくとも１つの分離不可能な変換を含み、
   インター予測の前記モードに対応付けられている変換の前記セットは、少なくとも１つの分離可能な変換のみを含むことを特徴とする、請求項６に記載の復号方法。
8. 変換の前記２つのセットは、少なくとも１つの同じ変換を共通して含むことを特徴とする、請求項６又は７に記載の復号方法。
9. イントラ予測の前記判定モードに対応付けられている変換の前記セットは、インター予測の前記モードと異なる予測の少なくとも１つの他のモードに対応付けられて記憶されていることを特徴とする、請求項６〜８のいずれか一項に記載の復号方法。
10. 処理回路（ＣＴ＿Ｄ）を含む、ブロックに分割されている少なくとも１つの画像（ＩＣ_ｊ）を表すデータ信号（Ｆ）の復号デバイスであって、
    復号されるべき現在ブロック（Ｂ_ｉ）に対して、
    −前記データ信号において、
    ・復号されるべき前記現在ブロックに対応付けられている現在残余ブロックを表すデータ
    ・復号されるべき前記現在ブロックの予測のモードであって、イントラ及びインター予測の２つの所定のモードに属する予測の前記モード
    を判定し、予測の前記判定モードはイントラであり、
    −イントラ予測の前記判定モードに従って前記現在ブロックを予測し、
    −イントラ予測（ＭＰ_Ｓ）の前記判定モードに対応付けられてメモリに記憶されている変換のセットに属する変換を、前記残余ブロックを表す前記データに適用し、
    −前記予測の完了時に得られる予測子ブロックと前記変換の後に得られる前記データとを用いて前記現在ブロックを再構成する
    ように設計されており、
    前記処理回路は、前記データ信号を復号する前に、イントラ予測の前記判定モードに対応付けられている変換の前記セットと、インター予測の前記モードに対応付けられている変換のセットとを前記メモリに記憶するように設計されており、イントラ予測の前記判定モードに対応付けられている変換の前記セットに含まれる変換数は、インター予測のモードに対応付けられて記憶されている変換の前記セットに含まれる変換数と異なることを特徴とする、復号デバイス。
11. コンピュータプログラムをコンピュータで実行する場合、請求項６〜９のいずれか一項に記載の復号方法のステップの実行用のプログラムコード命令を含むコンピュータプログラム。

Images