JP2012516626A - ビデオ符号化およびビデオ復号における変換の選択のための方法および装置 - Google Patents

Abstract

ビデオ符号化における変換選択のための方法および装置が提供される。装置は、ピクチャ内の少なくともブロックの符号化を、２つ以上の利用可能な変換（３２５、３２６、３２７）のセットからブロックの残差に対して適用する変換（３２９）を選択することによって行うビデオ符号化器（３００）を含む。ブロックのための少なくとも１つのリファレンスを予測するために使用されるインター予測モードと、動きベクトルに対応する１つ以上の値と、１つ以上の既に符号化されているブロックの残差の値と、ブロックの予測データの値と、１つ以上の隣接する再構成されたブロックの１つ以上の変換選択と、ブロックの残差のための変換係数に適用される量子化ステップと、のうちの少なくとも１つに基づいて変換が選択される。

Description

（関連出願とのクロスリファレンス）
本出願は、２００９年１月２７日付で出願された仮出願第６１／１４７,７０５号の利益を主張するものであり、その開示内容全体を本願に盛り込んだものとする。さらに、本出願は、２００９年２月１７日付で出願された仮出願第６１／２０７,７８３号の利益を主張するものであり、その開示内容全体を本願に盛り込んだものとする。またさらに、本出願は、２つの別の出願との関連性が高い。これらの出願は、本願と同時に出願され、本願と発明者および出願人が同じであり（代理人整理番号ＰＵ０９０１３７およびＰＵ０９０１３８）、各々の開示内容全体を本願に盛り込んだものとし、各々は、２００９年１月２７日付で出願された仮出願第６１／１４７,７０５号および２００９年２月１７日付で出願された仮出願第６１／２０７,７８３号の利益を主張するものである。

本発明は、一般的には、ビデオ符号化および復号に関し、より具体的には、ビデオ符号化および復号のために使用される変換を選択する方法および装置に関する。

ブロックベースの離散変換は、Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＪＰＥＧ）規格、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ， Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ（ＩＴＵ−Ｔ）Ｈ．２６３勧告（以下、「Ｈ．２６３勧告」と呼ぶ）、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ（ＩＳＯ／ＩＥＣ） Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−１（ＭＰＥＧ−１）規格、ＭＰＥＧ−２規格、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）規格／ＩＴＵ−Ｔ Ｈ．２６４勧告（以下、「ＭＰＥＧ−４ ＡＶＣ規格」と呼ぶ）などを含む、多くの画像および映像（イメージおよびビデオ）の規格および勧告の基本的なコンポーネントであり、広範囲のアプリケーションで使用されている。

離散コサイン変換（ＤＣＴ）は、最も広く使用されているブロック変換である。ＤＣＴスキームは、イメージ／フレームを画素のブロック（通常は、４×４および８×８）に分割し、離散コサイン変換を使用して各ブロックを空間ドメインから周波数ドメインに変換し、ＤＣＴ係数を量子化することによって、イメージ／フレームのローカル空間相関プロパティを活用する。イメージおよびビデオの圧縮規格の多くは、固定された二次元（２−Ｄ）の可分のＤＣＴブロック変換を使用する。幾つかのブロック・サイズ（通常、４×４〜１６×１６のブロック）を使用可能である場合は、これらは、ブロックに対応するサイズを有するＤＣＴを使用するが、各ブロック・サイズについて、１つの変換のみが存在しうる。

しかしながら、イメージおよびビデオのコンテンツのデータは、統計およびプロパティが変化する。従って、ブロックのサイズ毎に単一の変換が利用可能であること、すなわち、ブロックのサイズ毎に単一の変換を強制的に使用することでは、このようなブロックのサイズ毎に利用可能な単一の変換ではなく、異なる変換を使用した場合に利用可能となるであろう潜在的な圧縮利得を実現することはできない。

例えば、ＭＰＥＧ−４ ＡＶＣ 規格のようなイメージおよびビデオの符号化規格においては、ブロックのサイズ毎に、ブロック変換にはただ１つの選択肢しか存在しない。ブロック変換に選択は存在しない。

図１を参照すると、ＭＰＥＧ−４ ＡＶＣ規格に従ったビデオ符号化を実行することが可能なビデオ符号化器が概ね参照符号１００によって示されている。ビデオ符号化器１００は、結合器１８５の非反転入力部と信号通信する出力部を有するフレーム順序付けバッファ１１０を含む。結合器１８５の出力部は、変換器／量子化器１２５の第１の入力部と信号通信するように結合されている。変換器／量子化器１２５の出力部は、エントロピー符号化器１４５の第１の入力部と、逆変換器／逆量子化器１５０の第１の入力部と信号通信するように結合されている。エントロピー符号化器１４５の出力部は、結合器１９０の第１の非反転入力部と信号通信するように結合されている。結合器１９０の出力部は、出力バッファ１３５の第１の入力部と信号通信するように結合されている。

符号化器制御器１０５の第１の出力部は、フレーム順序付けバッファ１１０の第２の入力部と、逆変換器／逆量子化器１５０の第２の入力部と、ピクチャ・タイプ決定モジュール１１５の入力部と、マクロブロック・タイプ（ＭＢタイプ）決定モジュール１２０の第１の入力部と、イントラ予測モジュール１６０の第２の入力部と、デブロッキング・フィルタ１６５の第２の入力部と、動き補償器１７０の第１の入力部と、動き推定器１７５の第１の入力部と、参照ピクチャ・バッファ１８０の第２の入力部と信号通信するように結合されている。

符号化器制御器１０５の第２の出力部は、補助拡張情報（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ（ＳＥＩ））挿入器１３０の第１の入力部と、変換器／量子化器１２５の第２の入力部と、エントロピー符号化器１４５の第２の入力部と、出力バッファ１３５の第２の入力部と、シーケンス・パラメータ・セット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ＳＰＳ））／ピクチャ・パラメータ・セット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ＰＰＳ））挿入器１４０の入力部と信号通信するように結合されている。

ＳＥＩ挿入器１３０の出力部は、結合器１９０の第２の非反転入力部と信号通信するように結合されている。

ピクチャ・タイプ決定モジュール１１５の第１の出力部は、フレーム順序付けバッファ１１０の第３の入力部と信号通信するように結合されている。ピクチャ・タイプ決定モジュール１１５の第２の出力部は、マクロブロック・タイプ決定モジュール１２０の第２の入力部と信号通信するように結合されている。

シーケンス・パラメータ・セット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ＳＰＳ））／ピクチャ・パラメータ・セット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ＰＰＳ））挿入器１４０の出力部は、結合器１９０の第３の非反転入力部と信号通信するように結合されている。

逆変換器／逆量子化器１５０の出力部は、結合器１１９の第１の非反転入力部と信号通信するように結合されている。結合器１１９の出力部は、イントラ予測モジュール１６０の第１の入力部と、デブロッキング・フィルタ１６５の第１の入力部と信号通信するように結合されている。デブロッキング・フィルタ１６５の出力部は、参照ピクチャ・バッファ１８０の第１の入力部と信号通信するように結合されている。参照ピクチャ・バッファ１８０の出力部は、動き推定器１７５の第２の入力部と信号通信するように結合されている。動き推定器１７５の第１の出力部は、動き補償器１７０の第２の入力部と信号通信するように結合されている。動き推定器１７５の第２の出力部は、エントロピー符号化器１４５の第３の入力部と信号通信するように結合されている。

動き補償器１７０の出力部は、スイッチ１９７の第１の入力部と信号通信するように結合されている。イントラ予測モジュール１６０の出力部は、スイッチ１９７の第２の入力部と信号通信するように結合されている。マクロブロック・タイプ決定モジュール１２０の出力部は、スイッチ１９７の第３の入力部と信号通信するように結合されている。スイッチ１９７の第３の入力は、スイッチの「データ」入力（これは、制御入力、即ち、第３の入力と比較される。）が、動き補償器１７０またはイントラ予測モジュール１６０によって供給されるかどうかを判定する。スイッチ１９７の出力部は、結合器１１９の第２の非反転入力部および結合器１８５の反転入力部と信号通信するように結合されている。

フレーム順序付けバッファ１１０の入力部および符号化器制御器１０５の入力部は、符号化器１００の入力部として、入力ピクチャを受信するために利用可能である。さらに、補助拡張情報（ＳＥＩ）挿入器１３０の第２の入力部は、符号化器１００の入力部として、メタデータを受信するために利用可能である。出力バッファ１３５の出力部は、符号化器１００の出力部として、ビットストリームを出力するために利用可能である。

図２を参照すると、ＭＰＥＧ−４ ＡＶＣ規格に従ったビデオ復号処理を実行することが可能なビデオ復号器が概ね参照符号２００によって示されている。ビデオ復号器２００は、エントロピー復号器２４５の第１の入力部と信号通信するように結合された出力部を有する入力バッファ２１０を含む。エントロピー復号器２４５の第１の出力部は、逆変換器／逆量子化器２５０の第１の入力部と信号通信するように結合されている。逆変換器／逆量子化器２５０の出力部は、結合器２２５の第２の非反転入力部と信号通信するように結合されている。結合器２２５の出力部は、デブロッキング・フィルタ２６５の第２の入力部と、イントラ予測モジュール２６０の第１の入力部と信号通信するように結合されている。デブロッキング・フィルタ２６５の第２の出力部は、参照ピクチャ・バッファ２８０の第１の入力部と信号通信するように結合されている。参照ピクチャ・バッファ２８０の出力部は、動き補償器２７０の第２の入力部と信号通信するように結合されている。

エントロピー復号器２４５の第２の出力部は、動き補償器２７０の第３の入力部と、デブロッキング・フィルタ２６５の第１の入力部と信号通信するように結合されている。エントロピー復号器２４５の第３の出力部は、復号器制御器２０５の入力部と信号通信するように結合されている。復号器制御器２０５の第１の出力部は、エントロピー復号器２４５の第２の入力部と信号通信するように結合されている。復号器制御器２０５の第２の出力部は、逆変換器／逆量子化器２５０の第２の入力部と信号通信するように結合されている。復号器制御器２０５の第３の出力部は、デブロッキング・フィルタ２６５の第３の入力部と信号通信するように結合されている。復号器制御器２０５の第４の出力部は、イントラ予測モジュール２６０の第２の入力部と、動き補償器２７０の第１の入力部と、参照ピクチャ・バッファ２８０の第２の入力部と信号通信するように結合されている。

動き補償器２７０の出力部は、スイッチ２９７の第１の入力部と信号通信するように結合されている。イントラ予測モジュール２６０の出力部は、スイッチ２９７の第２の入力部と信号通信するように結合されている。スイッチ２９７の出力部は、結合器２２５の第１の非反転入力部と信号通信するように結合されている。

入力バッファ２１０の入力部は、復号器２００の入力部として、入力ビットストリームを受信するために利用可能である。デブロッキング・フィルタ２６５の第１の出力部は、復号器２００の出力部として、出力ピクチャを出力するために利用可能である。

単一の符号化スキームにおいて複数の変換を使用するために、従来、幾つかの提案がなされている。第１の従来技術においては、最適な線形変換が開示され、これは、カルーネン・レーベ（Ｋａｒｈｕｎｅｎ Ｌｏｅｖｅ（ＫＬＴ））変換と呼ばれる。ＫＬＴは、ＭＰＥＧ−４ ＡＶＣ規格における９個のイントラ予測モードの各々について、最良の変換を導出するために用いられる。各モードの統計が抽出され、対応するＫＬＴが導出される。各イントラ予測残差がＫＬＴを用いて符号化される。９個のイントラ・モードは、データ空間を効果的に分割する。これは、ＤＣＴがもはや最良の変換に近いものとはならないような方法で行い、独特な最良の変換を導出可能で、うまく適用されるように行われる。要するに、この提案は、幾つかの変換を使用するものであるが、各々は選択されたイントラ予測モードに固定されている。

第２の従来技術に係るアプローチは、幾つかの周波数にＤＣＴ変換を修正すること、即ち、様々なワープした周波数応答を得るために、複数の異なるオールパス・フィルタを用いて基本機能を変換することを提案している。結果として得られた変換は、ワープされたＤＣＴ（ｗａｒｐｅｄ ＤＣＴ（ＷＤＣＴ））と呼ばれる。各ブロックについて、徹底的なレート歪み（ｒａｔｅ ｄｉｓｔｏｒｔｉｏｎ（Ｒ‐Ｄ））サーチが実行され、選択された変換は、副情報を用いて示される。このアイディアは、画像圧縮に適用される。

第３の従来技術に係るアプローチは、ＷＤＣＴを使用し、変換された係数自体の内に変換選択を埋め込むことを記載している。この方法は、低ビットレートの画像圧縮では良好なパフォーマンスを示す。さらに、この方法は、平均二乗誤差（ＭＳＥ）を最小化するポスト・フィルタリングを行うステップを追加するものである。フィルタは、符号化器側で決定され、ビッストリームに多重化される。

第４の従来技術に係るアプローチは、大規模なデータベースのための変換のセットの代数的な最適化を提案している。このセットは、データの特定のサブセットについて、各変換がスパース・オプティマル（ｓｐａｒｓｅ‐ｏｐｔｉｍａｌ）となる安定ポイントに達するまで、反復して分割される。符号化器は、各ブロックにおいてどの変換が使用されるかを、四分木を介して示す。従って、変換の選択は、各ブロックに対して独立して行われるものではない。

第５の従来技術に係るアプローチは、インター・フレーム・モードのための整数サイン変換（ｉｎｔｅｇｅｒ ｓｉｎｅ ｔｒａｎｓｆｏｒｍ（ＩＳＴ））を提案している。インター・フレーム残差は、低相関値を有し、ＤＣＴは、相関性の高いデータに対してのみ適している。従って、このアプローチは、−０．５〜０．５の相関値を有するデータに対して効率的な、サイン変換を提案する。この範囲において、部分的に、ＫＬＴは、サイン変換と一致する。ＩＳＴは、ＭＰＥＧ−４ ＡＶＣ規格における整数コサイン変換と全く同様に、サイン変換から導出される。第５の従来技術に係るアプローチは、４×４および８×８のＩＳＴのバージョンを実施している。マクロブロックが４個のサブマクロブロックに分割されない場合には、同じ変換が、マクロブロック全体に適用され、フラグが送信される。次に、各サブマクロブロックにおいて用いられる変換を特定する４個のフラグが送信される。

第６の従来技術に係るアプローチは、第５の従来技術に係るアプローチにおいて提案されているものと同様のスキームを提案している。第６の従来技術に係るアプローチは、空間および周波数ドメインにおいて適応型の予測エラー符号化を可能にする適応型予測エラー符号化（ａｄａｐｔｉｖｅ ｐｒｅｄｉｃｔｉｏｎ ｅｒｒｏｒ ｃｏｄｉｎｇ（ＡＰＥＣ））を提案する。予測エラーの各ブロックについて、変換符号化または空間ドメイン符号化が適用される。より低いレート歪みコストを有するアルゴリズムが選択される。

上述した各アプローチは、最良な変換を選択する範囲が限られたものを提案しており、利用可能な、想定可能なものの全てを十分に活用するものではない。

従来技術のこれらの欠点および短所、さらに、その他の欠点および短所は、ビデオ符号化における変換選択のための方法および装置に関する本願発明の原理によって対処される。

本願発明の原理の一態様によれば、装置が提供される。この装置はビデオ符号化器を備え、このビデオ符号化器はピクチャ内の少なくともブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に適用する変換を選択することによって行う。ブロックのための少なくとも１つのリファレンスを予測するために使用されるインター予測モードと、動きベクトルに対応する１つ以上の値と、１つ以上の既に符号化されているブロックの残差の値と、ブロックの予測データの値と、１つ以上の隣接する再構成されたブロックの１つ以上の変換選択と、ブロックの残差のための各変換係数に対して適用される量子化ステップと、のうちの少なくとも１つに基づいて変換が選択される。

本願発明の原理の別の態様によれば、装置が提供される。この装置はビデオ符号化器を備え、このビデオ符号化器はピクチャ内の少なくともブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に適用する変換を選択することによって行う。ビデオ符号化器は、選択された変換を記述する情報を、少なくとも１つのフラグを使用して情報を明示的に送信することと、ビットストリーム内部のツリー構造を使用して情報を送信することと、選択された変換に対応する変換係数の内部に情報を埋め込むことと、対応する復号器が既に符号化されているデータから選択された変換を推定できるようにすることと、のうちの少なくとも１つによって送信する。

本願発明の原理のさらに別の態様によれば、装置が提供される。この装置はビデオ符号化器を備え、このビデオ符号化器はビデオ・シーケンスにおけるピクチャ内の少なくともブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に適用する変換を選択することによって行う。ビデオ・シーケンスにおける１つ以上の前のピクチャからの再構成されたデータを使用して、変換のセットの決定およびリファインメントのうちの少なくとも一方が行われる。

本願発明の原理のさらに別の態様によれば、装置が提供される。この装置はビデオ符号化器を備え、このビデオ符号化器はピクチャ内の少なくともブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に適用する変換を選択することによって行う。変換のセットは、ブロックのために符号化されることになるデータから決定される。

本願発明の原理の別の態様によれば、ビデオ符号化器における方法が提供される。この方法は、ピクチャ内の少なくともブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に適用する変換を選択することによって行うことを含む。ブロックのための少なくとも１つのリファレンスを予測するために使用されるインター予測モードと、動きベクトルに対応する１つ以上の値と、１つ以上の既に符号化されているブロックの残差の値と、ブロックの予測データの値と、１つ以上の隣接する再構成されたブロックの１つ以上の変換選択と、ブロックの残差のための各変換係数に対して適用される量子化ステップと、のうちの少なくとも１つに基づいて変換が選択される。

本願発明の原理のさらに別の態様によれば、ビデオ符号化器における方法が提供される。この方法は、ピクチャ内の少なくともブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に適用する変換を選択することによって行うことと、選択された変換を記述する情報を、少なくとも１つのフラグを使用して情報を明示的に送信することと、ビットストリーム内部のツリー構造を使用して情報を送信することと、選択された変換に対応する変換係数の内部に情報を埋め込むことと、対応する復号器が既に符号化されているデータから選択された変換を推定できるようにすることと、のうちの少なくとも１つによって送信するステップとを含む。

本願発明の原理のさらに別の態様によれば、ビデオ符号化器における方法が提供される。この方法は、ピクチャ内の少なくとものブロックの符号化を、２つ以上の変換のセットからブロックの残差に適用する変換を選択することによって行う、符号化するステップを含む。ビデオ・シーケンスにおける１つ以上の前のピクチャからの再構成されたデータを使用して、変換のセットの決定およびリファインメントのうちの少なくとも一方が行われる。

本願発明の原理のさらに別の態様によれば、ビデオ符号化器における方法が提供される。この方法は、１つ以上の変換のセットを決定することと、ピクチャ内の少なくともブロックの符号化を、変換のセットからブロックの残差に対して適用する変換を選択することによって行うことと、を含む。変換のセットは、ブロックのために符号化されるべきデータから決定される。

本願発明の原理のこれらの態様、特徴、および利点、さらに、その他の態様、特徴、および利点は、添付の図面と併せて以下の例示的な実施の形態の詳細な説明を参照することによって明らかになるであろう。

本願発明の原理は、以下の例示的な図面に従ってより良好に理解されるであろう。

ＭＰＥＧ−４ ＡＶＣ規格に従ったビデオ符号化を実行する機能を有するビデオ符号化器を示すブロック図である。 ＭＰＥＧ−４ ＡＶＣ規格に従ったビデオ復号を実行する機能を有するビデオ復号器を示すブロック図である。 本願発明の原理の実施の形態に従った、本願発明の原理が適用される変換の選択を用いる例示的なビデオ符号化器を示すブロック図である。 本願発明の原理の実施の形態に従った、本願発明の原理が適用される変換の選択を用いる例示的なビデオ復号器を示すブロック図である。 本願発明の原理の実施の形態に従った、ビデオ符号化器における変換の選択のための例示的な方法を示すフロー図である。 本願発明の原理の実施の形態に従った、ビデオ復号器における変換の選択のための例示的な方法を示すフロー図である。 本願発明の原理の実施の形態に従った、ビデオ符号化器における変換の選択および伝達のための例示的な方法を示すフロー図である。 本願発明の原理の実施の形態に従った、ビデオ復号器における変換の伝達および選択のための例示的な方法を示すフロー図である。 本願発明の原理の実施の形態に従った、ビデオ符号化器における変換の選択および伝達のための別の例示的な方法を示すフロー図である。 本願発明の原理の実施の形態に従った、ビデオ復号器における変換の伝達および選択のための別の例示的な方法を示すフロー図である。

本願の原理は、ビデオ符号化における変換の選択のための方法および装置に関する。

本説明は、本願発明の原理を例示するものである。従って、本願明細書において明示的に記載、または図示されていなくとも、当業者が本願発明の原理を実施する様々な構成を企図することが可能であり、このような構成が本願発明の精神および範囲の中に包含されることが理解できるであろう。

本願明細書に記載された全ての例および条件付の文言は、技術を発展させる、発明者によって寄与された本願発明の原理および概念を読者が理解するのを助けるための教示目的のものであり、このような具体的に記載された例や条件に限定されることなく解釈されるべきである。

また、本願明細書における本願発明の原理、態様、および、本願発明の実施の形態についての全ての記載、さらに、それらの特定の例は、構造的、機能的な均等物を包含するように意図したものである。さらに、このような均等物は、現在公知の均等物だけでなく、将来において開発される均等物、即ち、構造に係らず、同一の機能を実行するように開発された全ての要素を包含するように意図されている。

従って、例えば、当業者であれば、本願明細書において示されたブロック図は、本願発明の原理を実施する回路を例示する概念図であることが理解できよう。同様に、フローチャート、フロー図、状態遷移図、擬似コードなどは、いずれも様々な処理を表すことが理解できよう。これらの処理は、コンピュータによって読み取り可能なメディアにおいて実質的に表すことができ、コンピュータまたはプロセッサにより実行され、このようなコンピュータまたはプロセッサがはっきりと図示されているかどうかに係るものではない。

各図面において示される様々な要素の機能は、専用のハードウエアの使用により提供されてもよく、適切なソフトウエアと関連付けてソフトウエアを実行することが可能なハードウエアの使用によって提供されてもよい。機能がプロセッサによって提供される場合にも、単一の専用プロセッサによって提供されてもよく、単一の共有プロセッサによって提供されてもよく、複数の別個のプロセッサによって提供されてもよく、幾つかのプロセッサが共有されていてもよい。さらに、用語「プロセッサ」または「コントローラ」を明示的に使用した場合であっても、ソフトウエアを実行することが可能なハードウエアのみを意味するように解釈されるべきではなく、限定するものではないが、ディジタル信号プロセッサ（ＤＳＰ）・ハードウエア、ソフトウエアを格納する読み出し専用メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ、および不揮発性の記憶装置を暗黙的に含むことがある。

また、従来のおよび／または慣習的な他のハードウエアを含むこともある。同様に、図面に示されたどのスイッチも概念的なものに過ぎない。これらの機能はプログラム・ロジックの動作を介して、専用のロジックを介して、プログラム制御と専用のロジックとのインタラクションを介して、または、手動でも実行されることがある。文脈からより具体的に理解できるように、実施者により、特定の技術を選択可能である。

特許請求の範囲において、特定の機能を実施するための手段として表現されたいずれの要素も、この機能をどのような方法で実行するものも包含するように意図している。例えば、ａ）機能を実行する回路要素を組み合わせたもの、または、ｂ）形態に関わらず、ソフトウエア、つまり、ファームウエア、マイクロコード等を含み、機能を実施するためにソフトウエアを実行する適当な回路と組み合わせたものも包含する。このような請求の範囲によって定義される本願発明の原理は、請求項に記載された様々な手段によって提供される機能が請求の範囲の要件として、組み合わせられ、まとめられている事実に基づいたものである。従って、このような機能を提供することが可能な手段はどのようなものであっても、本願において示されているものと均等であるとみなされる。

明細書において、本願発明の原理の「一実施の形態」、「実施の形態」、または、この類の表現が言及されている場合、これは、実施の形態に関して記載される特定の特徴事項、構造、特性などが本願の原理の少なくとも１つの実施の形態に含まれることを意味する。従って、明細書全体に渡って様々な箇所に存在する文言「一実施の形態においては」、「実施の形態においては」、または、この類の表現は、必ずしも、同一の実施の形態について言及するものではない。さらに、本願明細書において、「実施の形態」、「実施態様」という表現は、同じ意味で使用されている。

さらに、本願明細書において、「ピクチャ」および「イメージ（画像）」は、同じ意味で使用されており、静止画像またはビデオ・シーケンスからのピクチャを指す。よく知られているように、ピクチャは、フレームまたはフィールドである。

さらに、本願明細書において使用されている単語「ブロック」は、スーパーマクロブロック、マクロブロック・パーティション、さらに、サブマクロブロック・パーティションを含み、任意のブロック・サイズのブロックを指す。

さらに、変換のセット、または、変換に関し、本願明細書において使用されている単語「リファインメント」は、リファレンス（参照）の変換／変換のセットから変換／変換のセットを導出するのに必要な情報を指す。通常、ゼロから変換／変換のセットを導出するために必要な全ての情報を送信するよりも、変換／変換のセットの「差」（リファインメント）の情報を送信する方がより効率的である。

さらに、本願明細書において使用されている用語「副情報」は、通常のビットストリーム内に存在しない追加的なデータを復号器に伝達するためにビットストリーム内に含まれていなければならない追加的な情報を指す。例えば、２つの変換がブロックを符号化するために使用される場合には、選択された変換が信号送信されて復号器が何の逆変換を使用するべきか分かるようにしなければならない。従って、符号化器は、何の逆変換が使用されるべきかを示す１ビットの「副情報」を含む場合がある。

「／（スラッシュ）」、「および／または」、さらに、「〜のうちの少なくとも一方（〜のうちの少なくとも１つ）」の使用は、例えば、「Ａ／Ｂ」、「Ａおよび／またはＢ」、「ＡおよびＢのうちの少なくとも一方」の場合、１番目に列挙されたオプション（Ａ）のみの選択、２番目に列挙されたオプション（Ｂ）のみの選択、または、両方のオプション（ＡおよびＢ）の選択を包含するものと意図されている。別の例として、「Ａ、Ｂ、および／またはＣ」、さらに、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」の場合、このような文言は、１番目に列挙されたオプション（Ａ）のみの選択、２番目に列挙されたオプション（Ｂ）のみの選択、３番目に列挙されたオプション（Ｃ）のみの選択、１番目および２番目に列挙されたオプション（ＡおよびＢ）のみの選択、２番目および３番目に列挙されたオプション（ＡおよびＣ）のみの選択、２番目および３番目に列挙されたオプション（ＢおよびＣ）のみ、または、全ての３つのオプション（Ａ、Ｂ、およびＣ）の選択を包含するものと意図されている。列挙された数の項目の分だけ、このことが拡張されることは、当該技術分野、さらに、関連する技術分野における通常の技術知識を有するものであれば容易に理解できるであろう。

さらに、本願明細書において、本願発明の原理の１つ以上の実施の形態は、ＭＰＥＧ−４ ＡＶＣ規格に対する（または、ＭＰＥＧ−４ ＡＶＣ規格に関する）改良として記載されているが、本願発明の原理は、この規格のみに限定されるものではない。従って、本願発明の原理は、本願発明の原理の精神を逸脱することなく、ＭＰＥＧ−４ ＡＶＣ規格の拡張版を含む、他のビデオ符号化規格、勧告およびその拡張版にも利用することができる。

さらに、本願発明の原理は、ビデオ符号化における変換選択のための方法および装置に関する。画像および映像（イメージおよびビデオ）のコンテンツのデータは、統計およびプロパティが変化することが分かれば、さらに、各ブロックについて幾つかの変換が使用される可能性があり、状況毎に、選択肢の範囲内で最も好ましい変換を選択する場合、潜在的に実現されうる圧縮利得が存在することが分かる。少なくとも１つの実施の形態においては、所与の統計またはパターンに対して変換のセットを最適化／設計し、このセットから、各領域またはブロックについて、最良の変換を選択することを提案する。

従来技術において考慮されていない代替手段を含む、より一般的で広範囲のアプローチを提案する。本願発明の原理に従って、変換のセット（２つ以上の変換）を使用することを記載し、各領域、スライス、ブロック、または、マクロブロックについて、このセットのうち、最良の変換を選択してイメージまたはビデオを符号化する。変換のセットは、統計またはイメージ／ビデオ・パターンの範囲について、最適化、または設計することができる。さらに、本願発明の原理は、最良の変換を選択し、選択された変換を適切に信号送信して、イメージ／ビデオ復号器が選択情報を効率的に復元できるようにする方法に関する。

ビデオ符号化器およびビデオ復号器を１つの可能な変換のみを有するように制限する必要はない。一実施の形態においては、最良のパフォーマンスを得るために、各ブロック、マクロブロック、または、領域について、複数の異なる変換からの選択をビデオ符号化器が行えるようにすることを提案する。そこで、一実施の形態においては、符号化器内の変換のセットを、潜在的な利得を損なわせることのないようなライト（ｌｉｇｈｔ）・シンタックスと組み合わせる。

図３を参照すると、変換選択を有する例示的なビデオ符号化器が概ね参照符号３００によって示されている。ビデオ符号化器３００は、結合器３８５の非反転入力部と信号通信する出力部を有するフレーム順序付けバッファ３１０を含む。結合器３８５の出力部は、変換器／量子化器１ ３２５の入力部と、変換器／量子化器２ ３２６の入力部と、変換器／量子化器ｎ ３２７の入力部と信号通信するように結合されている。変換器／量子化器１ ３２５の出力部は、変換セレクタ３２９の第１の入力部と信号通信するように結合されている。変換器／量子化器２ ３２６の出力部は、変換セレクタ３２９の第２の入力部と信号通信するように結合されている。変換器／量子化器ｎ ３２７の出力部は、変換セレクタ３２９の第３の入力部と信号通信するように結合されている。変換セレクタ３２９の出力部は、エントロピー符号化器３４５の第１の入力部と、逆変換器／逆量子化器３５０の第１の入力部と信号通信するように結合されている。エントロピー符号化器３４５の出力部は、結合器３９０の第１の非反転入力部と信号通信するように結合されている。結合器３９０の出力部は、出力バッファ３３５の第１の入力部と信号通信するように結合されている。

符号化器制御器３０５の第１の出力部は、フレーム順序付けバッファ３１０の第２の入力部と、逆変換器／逆量子化器３５０の第２の入力部と、ピクチャ・タイプ決定モジュール３１５の入力部と、マクロブロック・タイプ（ＭＢタイプ）決定モジュール３２０の第１の入力部と、イントラ予測モジュール３６０の第２の入力部と、デブロッキング・フィルタ３６５の第２の入力部と、動き補償器３７０の第１の入力部と、動き推定器３７５の第１の入力部と、参照ピクチャ・バッファ３８０の第２の入力部と信号通信するように結合されている。

符号化器制御器３０５の第２の出力部は、補助拡張情報（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ（ＳＥＩ））挿入器３３０の第１の入力部と、エントロピー符号化器３４５の第２の入力部と、出力バッファ３３５の第２の入力部と、シーケンス・パラメータ・セット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ＳＰＳ））／ピクチャ・パラメータ・セット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ＰＰＳ））挿入器３４０の入力部と信号通信するように結合されている。

ＳＥＩ挿入器３３０の出力部は、結合器３９０の第２の非反転入力部と信号通信するように結合されている。

ピクチャ・タイプ決定モジュール３１５の第１の出力部は、フレーム順序付けバッファ３１０の第３の入力部と信号通信するように結合されている。ピクチャ・タイプ決定モジュール３１５の第２の出力部は、マクロブロック・タイプ決定モジュール３２０の第２の入力部と信号通信するように結合されている。

シーケンス・パラメータ・セット（ＳＰＳ）／ピクチャ・パラメータ・セット（ＰＰＳ）挿入器３４０の出力部は、結合器３９０の第３の非反転入力部と信号通信するように結合されている。

逆変換器／逆量子化器３５０の出力部は、結合器３１９の第１の非反転入力部と信号通信するように結合されている。結合器３１９の出力部は、イントラ予測モジュール３６０の第１の入力部と、デブロッキング・フィルタ３６５の第１の入力部と信号通信するように結合されている。デブロッキング・フィルタ３６５の出力部は、参照ピクチャ・バッファ３８０の第１の入力部と信号通信するように結合されている。参照ピクチャ・バッファ３８０の出力部は、動き推定器３７５の第２の入力部と、動き補償器３７０の第３の入力部と信号通信するように結合されている。動き推定器３７５の第１の出力部は、動き補償器３７０の第２の入力部と信号通信するように結合されている。動き推定器３７５の第２の出力部は、エントロピー符号化器３４５の第３の入力部と信号通信するように結合されている。

動き補償器３７０の出力部は、スイッチ３９７の第１の入力部と信号通信するように結合されている。イントラ予測モジュール３６０の出力部は、スイッチ３９７の第２の入力部と信号通信するように結合されている。マクロブロック・タイプ決定モジュール３２０の出力部は、スイッチ３９７の第３の入力部と信号通信するように結合されている。スイッチ３９７の第３の入力は、スイッチの（制御入力、即ち、第３の入力と比較される）「データ」入力が、動き補償器３７０またはイントラ予測モジュール３６０によって提供されるかどうかを判定する。スイッチ３９７の出力部は、結合器３１９の第２の非反転入力部および結合器３８５の反転入力部と信号通信するように結合されている。

フレーム順序付けバッファ３１０の入力部および符号化器制御器３０５の入力部は、符号化器３００の入力部として、入力ピクチャを受信するために利用可能である。さらに、補助拡張情報（ＳＥＩ）挿入器３３０の入力部は、符号化器３００の入力部として、メタデータを受信するために利用可能である。出力バッファ３３５の出力部は、符号化器３００の出力部として、ビットストリームを出力するために利用可能である。

一実施の形態においては、ビデオ符号化器３００は、ｎ個の変換のセットから最良の変換を選択し、選択された変換の副情報を送信する。そして、選択された変換（ｉで示す）について、逆変換が実行される。本実施の形態においては、符号化器および復号器側で、各変換がオフラインで導出されて利用可能である。一実施の形態においては、エントロピー符号化器３４５によって実行されるエントロピー符号化は、変更／修正され、どのような変換が使用されているかについての追加的な情報を受け入れる。さらに、これは、各変換が異なるエントロピー符号化（異なる走査順、異なるコンテキストなど）を必要とすることがあるためである。

図４を参照すると、変換選択を有する例示的なビデオ復号器が概ね参照符号４００によって示されている。ビデオ復号器４００は、エントロピー復号器４４５の第１の入力部と信号通信するように結合された出力を有する入力バッファ４１０を含む。エントロピー復号器４４５の第１の出力部は、逆変換器／逆量子化器ｉ ４５０の第１の入力部と信号通信するように結合されている。逆変換器／逆量子化器ｉ ４５０の出力部は、結合器４２５の第２の非反転入力部と信号通信するように結合されている。結合器４２５の出力部は、デブロッキング・フィルタ４６５の第２の入力部と、イントラ予測モジュール４６０の第１の入力部と信号通信するように結合されている。デブロッキング・フィルタ４６５の第２の出力部は、参照ピクチャ・バッファ４８０の第１の入力部と信号通信するように結合されている。参照ピクチャ・バッファ４８０の出力部は、動き補償器４７０の第２の入力部と信号通信するように結合されている。

エントロピー復号器４４５の第２の出力部は、動き補償器４７０の第３の入力部と、デブロッキング・フィルタ４６５の第１の入力部と信号通信するように結合されている。エントロピー復号器４４５の第３の出力部は、復号器コントローラ４０５の入力部と信号通信するように結合されている。復号器コントローラ４０５の第１の出力部は、エントロピー復号器４４５の第２の入力部と信号通信するように結合されている。復号器コントローラ４０５の第２の出力部は、逆変換器／逆量子化器ｉ ４５０の第２の入力部と信号通信するように結合されている。復号器コントローラ４０５の第３の出力部は、デブロッキング・フィルタ４６５の第３の入力部と信号通信するように結合されている。復号器コントローラ４０５の第４の出力部は、イントラ予測モジュール４６０の第２の入力部と、動き補償器４７０の第１の入力部と、参照ピクチャ・バッファ４８０の第２の入力部と信号通信するように結合されている。

動き補償器４７０の出力部は、スイッチ４９７の第１の入力部と信号通信するように結合されている。イントラ予測モジュール４６０の出力部は、スイッチ４９７の第２の入力部と信号通信するように結合されている。スイッチ４９７の出力部は、結合器４２５の第１の非反転入力部と信号通信するように結合されている。

入力バッファ４１０の入力部は、復号器４００の入力部として、入力ビットストリームを受信するために利用可能である。デブロッキング・フィルタ４６５の第１の出力部は、復号器４００の出力部として、出力ピクチャを出力するために利用可能である。

符号化されるデータが利用可能であるとき、または、適切なトレーニング・データのセットが存在するときに、変換の最適なセットを導出する技術が存在する。例えば、幾つかのシーケンスのトレーニング・セットが利用可能であり、これらの技術は、データの各部分について、各変換が最良となるように、データ空間を分割する変換のセットを提供する。そこで、所与のブロックについて、符号化器は、ブロックが属するデータのタイプを決定し、適切な変換を使用しなければならない。変換のセットを導出するこれらの技術は、共通のＫＬＴ、スパース性目的関数（ｓｐａｒｓｉｔｙ ｏｂｊｅｃｔｉｖｅ ｆｕｎｃｔｉｏｎ）、さらに／または、本技術分野および関連する技術分野の当業者によって公知であるか、容易に導き出される技術に基づくものにすることができる。このような技術が利用可能であることを想定した上で、効率的に変換のセットを使用する方法、即ち、最良の変換を選択する方法、さらに、符号化器から情報を復号器に効率的に伝達する方法について述べる。

変換のセットの決定
次に、本願において、使用されている変換のセットを決定する方法について説明する。

一つの実施形態においては、変換のセットは、トレーニング・データとしてシーケンスのセットを用いて、オフラインで導出される。上述したように、良好なトレーニング・セットが確定されると、ＫＬＴに基づく方法、スパース性に基づく方法、エネルギー圧縮、または、その他の方法を使用して変換のセットを導出することができる。

変換のセットに対して、先験的な（ｐｒｉｏｒｉ）設計基準（方向性、周波数など）に基づいて変換を導出する方法が存在する。さらに、上述した第４の従来技術は、代数最適化処理を用いたトレーニング・データに基づくオフライン最適化を提案している。この処理は、所与のデータのために適した変換のセットを取得することを意図したコスト関数によって行われる。コスト関数は、圧縮の目的に沿った２つの条件からなる。このアルゴリズムは、再構成エラー条件を最小にしようとする一方で、変換係数表現のスパース性に関連する条件を最大にしようとするものである。原理上は、スパース性が高まることは、係数の情報を伝達するビットレートが低下することを意味する。本願では、さらに、上記従来技術の少なくとも２つの欠点を克服するアプローチを提案する。第一に、上記のコスト関数の両方の条件のバランスをとるために、重みを明示的に提供する。第二に、より重要なこととして、単一の２−Ｄの不可分の変換の代わりに、最適な垂直の変換および水平の変換を導出することを提案する。このアプローチは、これらの方向の双方の同時最適化を連結することを提案しており、これには、可分な変換のセットに必要な演算量およびメモリが不可分な変換のセットに必要な演算量とメモリよりも少なくなるという、実際のアプリケーションにおいて重要となる利点がある。これと同時に、垂直方向および水平方向における変換を異ならせることができるようにすることにより、両方の方向のために単一のカーネルを有する場合よりもイメージおよびビデオの各ブロックの豊かさをより良好にとらえることが可能となる。

「変換のセット」という表現を用いる際、これらの変換の各々は、不可分である場合もあるし、可分である場合もある。これらの変換が可分である場合、各方向（垂直／水平）は、同じであることもあれば、異なることもある。

別の実施の形態においては、変換の系列（ｆａｍｉｌｙ）のサブセットが選択され、この際、入力データを符号化するためにこのサブセットが良好な特性を有するようにする。例として、符号化するビデオ・データのためにＷＤＣＴのサブセットを決定することができる。さらに、重複変換のサブセットを決定することができる。サブセットが決まると、符号化器は、系列のサブセット内で何の変換が使用されるかの情報を伝達するだけでよい。

別の実施の形態においては、再構成されたビデオの品質に従って、変換のサブセットが選択される。符号化器の量子化ステップ、量子化パラメータ（ＱＰ）、目標ビットレート、ＰＳＮＲ、および／または、所望な出力ビデオ品質を示す任意の尺度パラメータによって、出力の品質が決定される。

別の実施の形態においては、変換のセットは、既に符号化されているデータからオンライン（ｏｎｌｉｎｅ）で導出される。本実施の形態の２つの例示的な実施態様を、以下の通りに示す。１つの例示的な実施態様によれば、前のフレームの再構成されたデータは、利用可能な方法のいずれかにより変換のセットを導出するために、トレーニング・セットとして使用される。別の例示的な実施態様においては、再構成されたデータが使用されて、現在使用中の変換のリファインメントを行うことにより、現在のデータの統計と一致するように、変換がオンラインで更新されるようにする。

別の実施の形態においては、符号化されることになるデータから変換のセットが導出される。符号化されることになるこのようなデータには、限定するものではないが、符号化する次のフレームから得られるオリジナルのフレームまたは統計値が挙げられる。従って、符号化器は、シーケンス、または、シーケンスの次の部分を分析し、利用可能な方法のいずれかを用いて使用する最良の変換のセットを決定するか、または、使用する最良の変換の系列を選択する。この場合、符号化器は、副情報として、使用しようとする変換のセットを送信する必要がある。本実施の形態の幾つかの例示的な実施態様を以下に示す。第１の例示的な実施態様においては、符号化器は、変換の最良のセットを見つけ、使用する全ての変換を送信する。第２の例示的な実施態様においては、使用する最良の変換のセットを見つけ、復号器は、前に復号されたデータから最良のセットを推定することを試行し、これにより、復号器によって推定された変換のリファインメントを符号化器が送信するだけでよいようにする（符号化器と復号器との間でエラーやミスマッチが生じないようにする）。第３の例示的な実施態様においては、符号化器は、（符号化器側と復号器側の双方で利用可能な）変換の様々なセットから、使用する最良のセットを選択し、この特定のセットを復号器に信号送信する。第４の実施態様においては、符号化器は、データに最も適している変換の系列から変換の特定のセットを見つける。次に、符号化器は、選択されている変換の系列の特定のサブセットを復号器に伝達する。

選択された変換の伝達
次に、符号化器と復号器との間で一致が確保されるように、選択された変換を復号器に示す方法について説明する。

一実施態様においては、符号化器は、スライス、マクロブロック、または、ブロック・レベルでのシンタックスに含まれるフラグを用いて選択された変換を復号器に送信することができる。一つの実施形態においては、符号化器側で、各ブロックについて、最良の変換がレート歪みコスト関数を用いて決定される。

別の実施形態においては、選択された変換がフレーム内の複数の異なる領域のために、選択された変換を明示的かつフレキシブルに特定可能なように、四分木（クワッドツリー）または他のタイプのツリーを用いて選択された変換が伝達される。このように、変換の領域は、前の実施の形態の単純なブロック形状よりも、自由に決められるものである。

別の実施形態においては、選択された変換は、変換係数自体の内部の（どの変換を使用することになるかを示す）フラグを隠すことによって、送信することができる。この代替的手段の、想定される実施形態について、以下に説明する。変換のセットにおいて、２つの変換のみが存在するものと仮定する。そこで、変換１が選択されると、符号化器は、変換係数の合計を偶数にする。変換２が選択されると、符号化器は、変換係数の合計を奇数にする。復号器側において、変換係数が復元され、これらの合計のパリティが算出される。パリティが偶数であれば、適用する逆変換は、変換１のものである。パリティが奇数であれば、適用される逆変換は、変換２のものである。このようにして、フラグは、変換係数の中に隠すことができ、復号器側で復元可能であるため、符号化器と復号器の双方が同期している。係数の中にフラグを隠すことは、２つの変換を有するように限定されないことは明らかである。このような技術は、簡単に、任意の数の変換に拡張することができる。

別の実施の形態においては、選択された変換の明示的な情報が送信されない。この場合、そのような情報を既に復号されているデータから推定することができる。この情報は、符号化器と復号器の両方で利用可能でなければならず、データから選択された変換を抽出する方法は、符号化器と復号器の両方において、同じでなければならず、これらは同期している。様々な情報から変換を選択することができる。以下、この暗黙的な信号送信の５つの特定の実施の形態について述べる。もちろん、本願の原理は、暗黙的な信号送信に関する以下の実施の形態に限定されるものではなく、本明細書中に提供された本願の原理の開示内容に鑑み、本技術分野、さらに、関連する技術分野における当業者であれば、本願の原理を逸脱することなく、これらの実施態様およびその他の実施態様を企図することができるであろう。

第１の実施の形態においては、変換を暗黙的に信号送信するためにインター予測モードが用いられる。この実施の形態の一実施態様においては、直接モードであれば、変換１が使用される。そうでない場合には、変換２が使用される。

第２の実施の形態においては、動きベクトルを使用して変換を暗黙的に信号送信する。使用される変換は、ブロック（ブロックのサイズ、方向、参照ピクチャなど）の動きベクトルに依存させることができる。

第３の実施の形態においては、変換は、前に符号化されたブロックの残差に依存する。そこで、前に符号化されたブロックの残差の統計値がセット内の何の変換が使用されるかを決定する。

第４の実施の形態においては、変換の選択は、ブロックのために予測されたデータに依存する。残差と予測データの間には、最良の変換を選択する際に利用可能な、何らかの相関が存在する。例として、予測が方向の要素を有している場合には、この方向性は、通常、残差においても明白である。そこで、所与の方向に対する方向性の変換を使用することで、良好なパフォーマンスが生み出される。なぜならば、方向性の変換は、非方向性の変換とは異なり、残差の方向性の要素を利用できるからである。

第５の実施の形態においては、変換の選択は、符号化器側と復号器側の双方で利用可能な、隣接する再構成済のブロックの変換選択に依存させることができる。

システム
本願発明の原理は、２つの部分、即ち、変換のセットの選択の方法、さらに、各々の特定のブロックのセットの内で選択された変換を伝達する方法に関すると考えることができる。これらの２つの部分の各々のために、幾つかの代替手段が提案される。これらの提案されたアプローチは、各々の部分のために提案された代替手段のいずれかを組み合わせることができる。また、各変換は、特定の量子化処理、さらに、エントロピー符号化に先立って、各係数の異なる走査順を必要とする場合がある。さらに、各走査順は、各変換の統計値に対して適応したものである場合がある。一つの実施形態においては、各変換の走査順は、特定の係数の位置が以前に有意なものとして符号化された回数に適応させることができる。本願発明の原理は、以下の変換の拡張を考慮している。これらは、変換の量子化処理、変換の走査順、さらに、この走査順の潜在的な適応可能性である。

図５を参照すると、ビデオ符号化器における変換選択のための例示的な方法が概ね参照符号５００によって示されている。方法５００は、制御を機能ブロック５１０に受け渡す開始ブロック５０５を含む。機能ブロック５１０は、符号化のためのビデオ・シーケンスを受信し、制御を機能ブロック５１５に受け渡す。機能ブロック５１５は、トレーニング・データ、各々が変換の各系列を表す１つ以上の変換のセット、既に符号化されているデータ、さらに、符号化されるべきデータのうちの１つ以上を決定し、制御を機能ブロック５２０に受け渡す。機能ブロック５２０は、トレーニング・データ、各々が変換の系列の各部分を表す１つ以上の変換のサブセット、既に符号化されているデータ、さらに、符号化されるべきデータのうちの１つ以上に依存して変換ｉを選択し、制御を機能ブロック５２５に受け渡す。機能ブロック５２５は、選択された変換ｉを使用して変換し、ビデオ・シーケンスのピクチャ内のブロックのブロック残差データを量子化し、制御を機能ブロック５３０に受け渡す。機能ブロック５３０は、量子化された係数を出力し、制御を終了ブロック５９９に受け渡す。

トレーニング・データと１つ以上の変換のセットのうちの１つ以上は、オンラインで決定されてもよく（即ち、ビデオ・シーケンスの符号化の間に決定されてもよく）、オフラインで決定されてもよい（例えば、ビデオ・シーケンスの符号化の前に決定されてもよい）ことが理解できよう。

図６を参照すると、ビデオ復号器における変換選択のための例示的な方法が概ね参照符号６００によって示されている。方法６００は、制御を機能ブロック６１０に受け渡す開始ブロック６０５を含む。機能ブロック６１０は、復号のためのビットストリームを受信し、ビットストリームの復号を開始し、制御を機能ブロック６１５に受け渡す。機能ブロック６１５は、トレーニング・データ、各々が変換の各系列を表す１つ以上の変換のセット、既に復号されているデータ、さらに、復号されることになるデータのうちの１つ以上を決定し、制御を機能ブロック６２０に受け渡す。機能ブロック６２０は、トレーニング・データ、各々が変換の系列の各部分を表す１つ以上の変換のサブセット、既に復号されているデータ、さらに、復号されることになるデータのうちの１つ以上に依存して変換ｉを選択し、制御を機能ブロック６２５に受け渡す。機能ブロック６２５は、選択された変換ｉを用いて、ビデオ・シーケンスのピクチャ内のブロックに対し、逆変換を行い、量子化された係数を逆量子化し、制御を機能ブロック６３０に受け渡す。機能ブロック６３０は、ブロック残差データを出力し、制御を終了ブロック６９９に受け渡す。

トレーニング・データと１つ以上の変換のセットのうちの１つ以上は、オンラインで決定されてもよく（即ち、ビデオ・シーケンスの復号の間に決定されてもよく）、オフラインで決定されてもよい（例えば、ビデオ・シーケンスの復号の前に決定されてもよい）ことが理解できよう。

図７を参照すると、ビデオ符号化器における変換の選択および伝達のための例示的な方法が概ね参照符号７００によって示されている。方法７００は、制御を機能ブロック７１０に受け渡す開始ブロック７０５を含む。機能ブロック７１０は、符号化のための入力フレームを受信し、制御を機能ブロック７１５に受け渡す。機能ブロック７１５は、１つ以上の変換のセットのトレーニングを行い、制御を機能ブロック７６５およびループ端ブロック７２０に受け渡す。機能ブロック７６５は、フレーム内で使用される変換のセットを出力し、制御を機能ブロック７７０に受け渡す。ループ端ブロック７２０は入力フレームに渡った各ブロックに対してループを実行し、制御を機能ブロック７２５に受け渡す。機能ブロック７２５は、ブロック残差を取得し、制御をループ端ブロック７３０に受け渡す。ループ端ブロック７３０は、１つ以上の変換のセットに対してループを実行し、制御を機能ブロック７３５に受け渡す。機能ブロック７３５は、１つ以上の変換のセットにおける各変換に関してレート歪み分析を実行し、制御をループ端ブロック７４０に受け渡す。ループ端ブロック７４０は、各変換に対するループを終了し、制御を機能ブロック７４５に受け渡す。機能ブロック７４５は、現在のブロックのために最良の変換を決定し、制御をループ端ブロック７５０に受け渡す。ループ端ブロック７５０は、各ブロック対するループを終了し、制御を機能ブロック７５５および機能ブロック７６０に受け渡す。機能ブロック７５５は、各ブロックについて、量子化された係数を出力し、制御を機能ブロック７７０に受け渡す。機能ブロック７６０は、各ブロックについて、選択された変換を出力し、制御を機能ブロック７７０に受け渡す。機能ブロック７７０は、量子化された係数、フレームにおいて使用されることになる変換のセット（または、セットに対するリファインメント）、さらに、フレーム内の各ブロックの選択された変換を送信する。この際、フレームにおいて使用されることになる変換のセット（または、セットに対するリファインメント）および／またはフレーム内の各ブロックの選択された変換は、明示的または暗黙的に送信される。そして、機能ブロック７７０は、制御を終了ブロック７９９に受け渡す。ブロック７７０に関し、フレームにおいて使用されることになる変換のセット（または、セットに対するリファインメント）および／またはフレーム内の各ブロックの選択された変換が暗黙的に送信される場合には、フレームにおいて使用されることになる変換のセット（または、セットに対するリファインメント）および／またはフレーム内の各ブロックの選択された変換を示す情報が実際の変換の代わりに送信されることがある点が理解できよう。このような場合、復号器は、暗黙的な情報から変換を導出することができる。さらに、フレームにおいて使用されることになる変換のセット（または、セットに対するリファインメント）、フレーム内の各ブロックの選択された変換、および／または、上述したもののうちの少なくとも１つを表す情報がビットストリームに関する副情報として送信されることがある。さらに、フレームにおいて使用されることになる変換のセット（または、セットに対するリファインメント）、フレーム内の各ブロックの選択された変換、および／または、上述したもののうちの少なくとも１つを表す情報は、１つ以上のフラグおよび／またはシンタックス要素を用いて送信されることがある。

図８を参照すると、ビデオ復号器における変換の伝達および選択のための例示的な方法が概ね参照符号８００によって示されている。方法８００は、制御を機能ブロック８１０、機能ブロック８１５、および、機能ブロック８２０に受け渡す開始ブロック８０５を含む。機能ブロック８１０は、明示的または暗黙的に、復号しようとする現在のフレームのために使用されることになる変換のセット、または、セットに対するリファインメントを受信し、制御を機能ブロック８３０に受け渡す。機能ブロック８１５は、現在のフレーム内の各ブロックについて、量子化された係数を受信し、制御をループ端ブロック８２５に受け渡す。機能ブロック８２０は、明示的または暗黙的に、現在のフレーム内の各ブロックについて、選択された変換を受信し、制御を機能ブロック８３０に受け渡す。ループ端ブロック８２５は、現在のフレーム内の各ブロックに対してループを実行し、制御を機能ブロック８３０に受け渡す。機能ブロック８３０は、現在のブロックのための逆変換を決定し、制御を機能ブロック８３５に受け渡す。機能ブロック８３５は、ブロックのために決定された逆変換を適用し、制御をループ端ブロック８４０に受け渡す。ループ端ブロック８４０は、ループを終了し、制御を機能ブロック８４５に受け渡す。機能ブロック８４５は、各ブロックについて、ブロック残差を出力し、制御を終了ブロック８９９に受け渡す。

機能ブロック８１０および８２０に関し、フレームにおいて使用されることになる変換のセット（または、セットに対するリファインメント）および／またはフレーム内の各ブロックの選択された変換が暗黙的に送信される場合には、フレームにおいて使用されるべき変換のセット（または、セットに対するリファインメント）および／またはフレーム内の各ブロックの選択された変換を示す情報が実際の変換の代わりに受信されることがある点が理解できよう。このような場合、復号器は、暗黙的な情報から（例えば、機能ブロック８３０によって）変換を導出することができる。さらに、フレームにおいて使用されることになる変換のセット（または、セットに対するリファインメント）、フレーム内の各ブロックの選択された変換、および／または、上述したもののうちの少なくとも１つを表す情報がビットストリームに関する副情報として受信されることがある。

図９を参照すると、ビデオ符号化器における変換の選択および伝達のための別の例示的な方法が概ね参照符号９００によって示されている。方法９００は、制御を機能ブロック９１０に受け渡す開始ブロック９０５を含む。機能ブロック９１０は、符号化されるべきフレームを入力し、制御を機能ブロック９１５に受け渡す。機能ブロック９１５は、１つ以上の変換のセットのトレーニングを行い、制御を機能ブロック９７０およびループ端ブロック９２０に受け渡す。ループ端ブロック９２０は、フレーム内の各ブロックに対してループを実行し、制御を機能ブロック９２５に受け渡す。機能ブロック９２５は、現在のブロックのブロック残差を取得し、制御をループ端ブロック９３０に受け渡す。ループ端ブロック９３０は、１つ以上の変換のセットに対してループを実行し、制御を機能ブロック９３５に受け渡す。機能ブロック９３５は、現在のブロックの変換および係数の量子化を行い、制御を機能ブロック９４０に受け渡す。機能ブロック９４０は、各係数の中にフラグを埋め込み、制御を機能ブロック９４５に受け渡す。機能ブロック９４５は、レート歪み（ＲＤ：ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ）分析を実行し、制御をループ端ブロック９５０に受け渡す。ループ端ブロック９５０は、各変換に対するループを終了し、制御を機能ブロック９５５に受け渡す。機能ブロック９５５は、現在のブロックのために最良の変換を決定し、制御を機能ブロック９６０に受け渡す。機能ブロック９６０は、各ブロックについて、量子化された係数を出力し、制御をループ端ブロック９６５に受け渡す。ループ端ブロック９６５は、各ブロックに対するループを終了し、制御を終了ブロック９９９に受け渡す。

図１０を参照すると、ビデオ復号器における変換の伝達および選択のための別の例示的な方法が概ね参照符号１０００によって示されている。方法１０００は、制御を機能ブロック１０１０およびループ端ブロック１０１５に受け渡す開始ブロック１００５を含む。機能ブロック１０１０は、明示的または暗黙的に、復号しようとする現在のフレームのために使用されるべき変換のセットを受信し、制御を機能ブロック１０３０に受け渡す。ループ端ブロック１０１５は、現在のフレーム内の各ブロックに対するループを実行し、制御を機能ブロック１０２０に受け渡す。機能ブロック１０２０は、現在のフレーム内の各ブロックについて、量子化された係数を受信し、制御を機能ブロック１０２５に受け渡す。機能ブロック１０２５は、係数から埋め込まれたフラグを抽出し、制御を機能ブロック１０３０に受け渡す。機能ブロック１０３０は、埋め込まれたフラグに基づいて現在のブロックに適用する逆変換を決定し、制御を機能ブロック１０３５に受け渡す。機能ブロック１０３５は、決定された逆変換を使用してブロックを逆変換し、制御を機能ブロック１０４０に受け渡す。機能ブロック１０４０は、ブロック残差を出力し、制御をループ端ブロック１０４５に受け渡す。ループ端ブロック１０４５は、ループを終了し、制御を終了ブロック１０９９に受け渡す。

本発明の多くの付随する利点／特徴の幾つかについて説明する。これらの幾つかは既に述べた通りのものである。例えば、１つの利点／特徴は、ピクチャ内の少なくともブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に対して適用する変換を選択することによって行うビデオ符号化器を有する装置である。ブロックのための少なくとも１つのリファレンスを予測するために使用されるインター予測モードと、動きベクトルに対応する１つ以上の値と、１つ以上の既に符号化されているブロックの残差の値と、ブロックの予測データの値と、１つ以上の隣接する再構成されたブロックの１つ以上の変換選択と、ブロックの残差のための変換係数に対して適用される量子化ステップと、のうちの少なくとも１つに基づいて変換が選択される。

さらに、別の利点／特徴は、上述した符号化器を有する装置であって、変換のセットがオフラインで決定される、この装置である。

さらに、別の利点／特徴は、上述したような、変換のセットがオフラインで決定される符号化器を有する装置であって、変換のセットが、トレーニング・データの使用と、変換の系列のサブセットの選択と、のうちの少なくとも１つによって決定される、この装置である。

さらに、別の利点／特徴は、上述した符号化器を有する装置であって、セットにおける各変換が、可分、または不可分であり、各変換が可分である場合に、各変換の水平方向および垂直方向を異ならせることができる、この装置である。

さらに、別の利点／特徴は、ピクチャ内の少なくともブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に対して適用する変換を選択することによって行うビデオ符号化器を有する装置である。このビデオ符号化器は、選択された変換を記述する情報を、１つ以上のフラグを使用して情報を明示的に送信することと、ビットストリーム内部のツリー構造を使用して情報を送信することと、選択された変換に対応する変換係数の内部に情報を埋め込むことと、対応する復号器が既に符号化されているデータから選択された変換を推定できるようにすることと、のうちの少なくとも１つによって送信する。

さらに、別の利点／特徴は、上述した符号化器を有する装置であって、変換のセットは、トレーニング・データを使用することと変換系列のサブセットを選択することのうちの少なくとも一方によって決定される、この装置である。

さらに、別の利点／特徴はビデオ・シーケンスにおけるピクチャ内の少なくともブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に対して適用する変換を選択することによって行うビデオ符号化器を有する装置である。ビデオ・シーケンスにおける１つ以上の前のピクチャからの再構成されたデータを使用して、変換のセットの決定およびリファインメントのうちの少なくとも一方が行われる。

さらに、別の利点／特徴は、ピクチャ内の少なくともブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に対して適用する変換を選択することによって行うビデオ符号化器を有する装置である。変換のセットは、ブロックのために符号化されるべきデータから決定される。

さらに、別の利点／特徴は、上述した符号化器を有する装置であって、ビデオ符号化器は、変換のセットを決定し、変換のセットを副情報として対応する復号器に送信する、この装置である。

さらに、別の利点／特徴は、上述した符号化器を有する装置であって、ビデオ符号化器は、変換のセットを決定し、ビデオ符号化器と同じ変換のセットを導出するために、リファインメントおよび既に復号されているデータから対応する復号器が変換のセットを予測できるようにする、変換のセットに対するリファインメントを決定し、リファインメントを対応する復号器に送信する、この装置である。

さらに、別の利点／特徴は、上述した符号化器を有する装置であって、ビデオ符号化器は、複数の変換のセットから変換のセットを決定し、変換のセットを副情報として送信する、この装置である。

さらに、別の利点／特徴は、上述した符号化器を有する装置であって、ビデオ符号化器は、変換の系列から、変換の系列のサブセットを表す変換のセットを決定し、ビデオ符号化器は、変換の系列のサブセットのみを送信する、この装置である。

本願の原理のこれらの特徴およびその他の特徴は、関連する分野において通常の知識を有するものであれば、本明細書中の開示内容に基づいて、容易に解明することができるであろう。本願の原理の開示内容は、ハードウエア、ソフトウエア、ファームウエア、特定用途向けプロセッサ、または、これらを組み合わせたものの形態で実施することができることが理解できよう。

より好ましくは、本願の原理の開示内容は、ハードウエアおよびソフトウエアを組み合わせて実施される。さらに、ソフトウエアは、プログラム・ストレージ・ユニットに上に現実的に実装されるアプリケーション・プログラムとして実施される。アプリケーション・プログラムは、適切なアーキテクチャからなるマシンにアップロードされ、このマシンによって実行されるようにしてもよい。好ましくは、このマシンは、１つ以上の中央処理装置（ＣＰＵ）、ランダム・アクセス・メモリ（ＲＡＭ）、入出力部（Ｉ／Ｏ）インタフェースを有するコンピュータ・プラットフォーム上で実施される。また、コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロインストラクション・コードを含むようにしてもよい。本明細書中で開示される様々な処理および機能は、マイクロインストラクション・コードの一部を構成するものでもよいし、アプリケーション・プログラムの一部を構成するものであってもよいし、これらを組み合わせたものであってもよいし、ＣＰＵによって実行されるものであってもよい。さらに、追加的なデータ記憶装置や印刷機等、コンピュータ・プラットフォームに様々な他の周辺機器を結合するようにしてもよい。

添付図面に示すシステムの構成要素および方法のステップの幾つかは、好ましくは、ソフトウエアの形態によって実施されるため、システムの構成要素または処理機能ブロック間の実際の結合は、本願の原理をプログラムする方法によって異なる場合があることが理解できよう。本願明細書の開示する内容に基づいて、関連する技術における通常の技術知識を有するものであれば、本願発明の原理の実施の形態または構成、さらに、類似した実施の形態または構成を企図することができるであろう。

添付図面を参照して本願明細書中で例示的な実施の形態について説明したが、本発明はこれらの実施の形態に厳格に限定されるものではなく、関連技術に関して通常の技術を有する者であれば、本願発明の原理の範囲または精神を逸脱することなく、様々な変更、改変を施すことが可能であることが理解できるであろう。このような変更、改変は、全て、添付の特許請求の範囲に定義されたような本願の原理の範囲に含まれるように意図されている。

Claims (17)

1. 装置であって、
   ピクチャ内の少なくともブロックの符号化を、２つ以上の変換のセットから前記ブロックの残差に適用する変換を選択することによって行うビデオ符号化器（３００）を備え、
   （ｉ）前記ブロックについて少なくとも１つのリファレンスを予測するために使用されるインター予測モードと、
   （ｉｉ）動きベクトルに対応する１つ以上の値と、
   （ｉｉｉ）１つ以上の既に符号化されているブロックの残差の値と、
   （ｉｖ）前記ブロックの予測データの値と、
   （ｖ）１つ以上の隣接する再構成されたブロックの１つ以上の変換選択と、
   （ｖｉ）前記ブロックの前記残差についての変換係数に対して適用される量子化ステップと、
   のうちの少なくとも１つに応じて前記変換が選択される、前記装置。
2. 前記変換のセットがオフラインで決定される、請求項１に記載の装置。
3. 前記変換のセットが、
   （ｉ）トレーニング・データの使用と、
   （ｉｉ）変換の系列のサブセットの選択と、
   のうちの少なくとも１つによって決定される、請求項２に記載の装置。
4. 前記セットにおける各変換が、可分、または不可分であり、各変換が可分である場合に、各変換の水平方向および垂直方向を異ならせることができる、請求項１に記載の装置。
5. 閾値のブロック・サイズより大きなブロック・サイズについてのみ、前記選択された変換を記述する情報が暗黙的に信号送信される、請求項１に記載の装置。
6. ブロック・サイズが閾値のブロック・サイズよりも小さい場合に、前記選択された変換を記述するフラグが前記変換の係数に埋め込まれる、請求項１に記載の装置。
7. ビデオ符号化器における方法であって、
   ピクチャ内の少なくともブロックの符号化（５１０）を、２つ以上の変換のセットから前記ブロックの残差に適用する変換を選択すること（５２０）によって行うことを含み、
   （ｉ）前記ブロックについて少なくとも１つのリファレンスを予測するために使用されるインター予測モードと、
   （ｉｉ）動きベクトルに対応する１つ以上の値と、
   （ｉｉｉ）１つ以上の既に符号化されているブロックの残差の値と、
   （ｉｖ）前記ブロックの予測データの値と、
   （ｖ）１つ以上の隣接する再構成されたブロックの１つ以上の変換選択と、
   （ｖｉ）前記ブロックの前記残差についての変換係数に対して適用される量子化ステップと、
   のうちの少なくとも１つに応じて前記変換が選択される（５２０）、前記方法。
8. 前記変換のセットをオフラインで決定することをさらに含む、請求項７に記載の方法。
9. （ｉ）トレーニング・データの使用（５１５）と、
   （ｉｉ）変換の系列のサブセットの選択（５２０）と、
   のうちの少なくとも１つによって前記変換のセットが決定される、請求項８に記載の方法。
10. 前記セットにおける各変換が、可分、または不可分であり、各変換が可分である場合に、各変換の水平方向および垂直方向を異ならせることができる、請求項７に記載の方法。
11. 閾値のブロック・サイズより大きなブロック・サイズについてのみ、前記選択された変換を記述する情報が暗黙的に信号送信される、請求項７に記載の方法。
12. ブロック・サイズが閾値のブロック・サイズよりも小さい場合に、前記選択された変換を記述するフラグが前記変換の係数に埋め込まれる、請求項７に記載の方法。
13. 閾値のブロック・サイズより大きなブロック・サイズについてのみ、前記選択された変換を記述する情報が暗黙的に信号送信される、請求項７に記載の装置。
14. ブロック・サイズが閾値のブロック・サイズよりも小さい場合に、前記選択された変換を記述するフラグが前記変換の係数に埋め込まれる、請求項７に記載の装置。
15. 装置であって、
    ピクチャ内の少なくともブロックの復号を、２つ以上の逆変換のセットから前記ブロックの量子化された係数に適用する逆変換を決定することによって行うビデオ復号器（４００）を備え、
    （ｉ）前記ブロックについて少なくとも１つのリファレンスを予測するために使用されるインター予測モードと、
    （ｉｉ）動きベクトルに対応する１つ以上の値と、
    （ｉｉｉ）１つ以上の既に符号化されているブロックの残差の値と、
    （ｉｖ）前記ブロックの予測データの値と、
    （ｖ）１つ以上の隣接する再構成されたブロックの１つ以上の逆変換選択と、
    のうちの少なくとも１つに応じて前記逆変換が決定される、前記装置。
16. ビデオ復号器における方法であって、
    ピクチャ内の少なくとものブロックの復号（６１０）を、２つ以上の逆変換のセットから前記ブロックの量子化された係数に適用する逆変換を決定すること（６１５、６２０）によって行うことを含み、
    （ｉ）前記ブロックについて少なくとも１つのリファレンスを予測するために使用されるインター予測モードと、
    （ｉｉ）動きベクトルに対応する１つ以上の値と、
    （ｉｉｉ）１つ以上の既に符号化されているブロックの残差の値と、
    （ｉｖ）前記ブロックの予測データの値と、
    （ｖ）１つ以上の隣接する再構成されたブロックの１つ以上の逆変換選択と、
    のうちの少なくとも１つに応じて前記逆変換が決定される、前記方法。
17. 符号化されたビデオ信号データを有する記憶媒体であって、
    ２つ以上の変換のセットからブロックの残差に適用する変換を選択することによって符号化されたピクチャ内の少なくとも１つのブロックに対応するデータを備え、
    （ｉ）前記ブロックについて少なくとも１つのリファレンスを予測するために使用されるインター予測モードと、
    （ｉｉ）動きベクトルに対応する１つ以上の値と、
    （ｉｉｉ）１つ以上の既に符号化されているブロックの残差の値と、
    （ｉｖ）前記ブロックの予測データの値と、
    （ｖ）１つ以上の隣接する再構成されたブロックの１つ以上の変換選択と、
    （ｖｉ）前記ブロックの前記残差についての変換係数に対して適用される量子化ステップと、
    のうちの少なくとも１つに応じて前記変換が選択される、前記記憶媒体。

Images