JP2016129371A - 動きベクトルを利用する映像符号化／復号化方法及び装置 - Google Patents

Abstract

【課題】動きベクトルの格納に必要なメモリ空間の大きさを減少させることができる映像符号化／復号方法及び装置を提供する。
【解決手段】映像符号化装置１００の動き予測部１１１は、動き予測過程で参照バッファ１９０に格納されている参照ピクチャ内で入力ブロックと最もマッチングがよくなる参照ブロックを探して動きベクトルを求める。動きベクトル生成過程において動きベクトルのダイナミックレンジを制限することにより、動きベクトルの格納に必要なメモリ空間の大きさとメモリからデータを読み取る時に要求されるメモリ接近帯域幅を減少させる。
【選択図】図１

Description

本発明は、映像処理に関し、より詳しくは、動きベクトルを利用した符号化/復号化方法及び装置に関する。

最近、ＨＤ(Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ)解像度をサポートする放送システムが韓国内だけでなく、世界的に拡大されるにつれて、多くのユーザが高解像度、高画質の映像に慣れており、これにより、多くの機関が次世代映像機器に対する開発に拍車を掛けている。また、ＨＤＴＶとともにＨＤＴＶの４倍以上の解像度をサポートするＵＨＤ(Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ)に対する関心が増大しながら、一層高い解像度、高画質の映像に対する圧縮技術が要求されている。

映像の圧縮のために、前のピクチャ及び/又は後のピクチャから現在ピクチャに含まれているピクセル値を予測するインター(ｉｎｔｅｒ)予測技術、ピクチャ内のピクセル情報を利用してピクセル値を予測するイントラ(ｉｎｔｒａ)予測技術及び/又は出現頻度が高いシンボル(ｓｙｍｂｏｌ)に短い符号を割り当て、出現頻度が低いシンボルに長い符号を割り当てるエントロピー符号化技術などが使われることができる。

本発明は、クリップされた動きベクトルを利用して映像を符号化/復号化する方法及び装置を提供する。

本発明は、参照ピクチャの動きベクトルをクリップする方法を提供する。

本発明は、動きベクトルに対する情報を送信する方法を提供する。

［１］本発明の一実施例によると、映像符号化方法が提供される。映像符号化方法は、参照ピクチャの動きベクトルを所定のダイナミックレンジでクリップすることで、クリップされた動きベクトルを生成するステップ、クリップされた動きベクトルをバッファに格納するステップ、及びバッファに格納された動きベクトルを利用して符号化対象ブロックの動きベクトルを符号化するステップを含む。

［２］［１］において、ダイナミックレンジは、映像コーデックのレベルにより定義される。

［３］［１］において、ダイナミックレンジは、所定のビット深度により決定され、ビット深度は、映像コーデックのレベルにより定義される。

［４］［１］において、参照ピクチャの動きベクトルのＸ成分とＹ成分は、互いに異なるダイナミックレンジでクリップされる。

［５］本発明の一実施例によると、映像復号化方法が提供される。映像復号化方法は、参照ピクチャの動きベクトルを所定のダイナミックレンジでクリップすることで、クリップされた動きベクトルを生成するステップ、クリップされた動きベクトルをバッファに格納するステップ、バッファに格納された動きベクトルを利用して復号化対象ブロックの動きベクトルを導出するステップ、及び復号化対象ブロックの動きベクトルを利用してインター予測復号化を実行するステップを含む。

［６］［５］において、ダイナミックレンジは、映像コーデックのレベルにより定義される。

［７］［５］において、ダイナミックレンジは、所定のビット深度により決定され、ビット深度は、映像コーデックのレベルにより定義される。

［８］［５］において、ダイナミックレンジは、所定のビット深度により決定され、ビット深度は、映像符号化装置から送信されるシーケンスパラメータセットを介して取得される。

［９］［８］において、シーケンスパラメータセットは、参照ピクチャの動きベクトルがクリップされたかどうかを示すフラグ及びビット深度を取得するためのパラメータを含む。

［１０］［９］において、映像復号化方法は、参照ピクチャの動きベクトルを圧縮するステップをさらに含み、シーケンスパラメータセットは、参照ピクチャの動きベクトルが圧縮されたかどうかを示すフラグ及び参照ピクチャの動きベクトルの圧縮比率を取得するためのパラメータをさらに含む。

［１１］［５］において、映像復号化方法は、参照ピクチャの動きベクトルの表現解像度を制限するステップをさらに含む。

［１２］［５］において、クリップされた動きベクトルは、優先順位によって格納される。

［１３］［５］において、クリップされた動きベクトルは、インター予測モードに符号化されたブロックの動きベクトルである。

［１４］［５］において、映像復号化方法は、参照ピクチャの動きベクトルに対するスケーリング(ｓｃａｌｉｎｇ)を実行するステップをさらに含む。

［１５］［５］において、参照ピクチャの動きベクトルのＸ成分とＹ成分は、互いに異なるダイナミックレンジでクリップされる。

［１６］［１５］において、Ｘ成分のダイナミックレンジとＹ成分のダイナミックレンジは、映像コーデックのレベルにより定義される。

［１７］本発明の一実施例によると、参照ピクチャバッファ及び動き補償部を含む映像復号化装置が提供される。参照ピクチャバッファは、参照ピクチャを格納する。動き補償部は、参照ピクチャ及び参照ピクチャの動きベクトルを利用して予測ブロックを生成する。ここで、参照ピクチャの動きベクトルは、所定のダイナミックレンジでクリップされたものである。

［１８］［１７］において、ダイナミックレンジは、映像コーデックのレベルにより定義される。

［１９］［１７］において、ダイナミックレンジは、所定のビット深度により決定され、ビット深度は、映像コーデックのレベルにより定義される。

［２０］［１７］において、ダイナミックレンジは、所定のビット深度により決定され、ビット深度は、映像符号化装置から送信されるシーケンスパラメータセットを介して取得される。

本発明によると、クリップされた動きベクトルを利用して映像を符号化/復号化することができる。

本発明によると、動きベクトルの格納に必要なメモリ空間の大きさを減少させることができる。

本発明によると、メモリからデータを読み取るときに要求されるメモリ接近帯域幅を減少させることができる。

映像符号化装置の構造の一例を示すブロック図である。 映像復号化装置の構造の一例を示すブロック図である。 符号化/復号化対象ピクチャと参照ピクチャの一例を示す。 動きベクトルのダイナミックレンジを制限する一例である。 参照ピクチャの動きベクトルを格納する方法を示す順序図である。 参照ピクチャの動きベクトルを格納する方法を示す順序図である。 参照ピクチャの動きベクトルを格納する方法を示す順序図である。 参照ピクチャの動きベクトルを格納する方法を示す順序図である。 動きベクトルを量子化する一例である。 参照ピクチャから動き情報を読み取る例を示す。 参照ピクチャから動き情報を読み取る例を示す。 参照ピクチャから動き情報を読み取る例を示す。 参照ピクチャから動き情報を読み取る例を示す。 本発明の一実施例に係る映像の符号化方法を示す順序図である。 本発明の一実施例に係る映像の復号化方法を示す順序図である。

以下、図面を参照して本発明の実施形態に対して具体的に説明する。ただ、本発明の実施例を説明するにあたって、公知の構成又は機能に対する具体的な説明が本発明の要旨を不明にすると判断される場合にはその詳細な説明は省略する。

一構成要素が他の構成要素に“連結されている”又は“接続されている”と叙述されている場合、他の構成要素に直接連結されている、又は接続されていることもあるが、もう一つの構成要素が中間に存在することもあることを意味する。また、本発明において、特定構成要素を“含む”と叙述されている場合、該当構成要素以外の構成要素を排除するものではなく、追加的な構成要素が本発明の実施例又は技術的思想の範囲に含まれることができることを意味する。

“第１”、“第２”などの用語は、多様な構成要素の説明に使われることができるが、前記構成要素は、前記用語により限定されるものではない。即ち、前記用語は、一つの構成要素を他の構成要素から区別する目的にのみ使われる。例えば、本発明の権利範囲を外れない限り、第１の構成要素は第２の構成要素と命名することができ、同様に、第２の構成要素も第１の構成要素と命名することができる。

また、本発明の実施例に示す構成要素は、互いに異なる特徴的な機能を遂行することを示すために独立的に図示されるものであり、各構成要素が一つのハードウェア又はソフトウェアで具現されることができないことを意味するものではない。即ち、各構成要素は、説明の便宜上区分されたものであり、複数の構成要素が統合されて一つの構成要素として動作したり、一つの構成要素が複数の構成要素に分けられて動作したりすることができ、これは本発明の本質から外れない限り本発明の権利範囲に含まれる。

また、一部構成要素は、本発明の本質的な機能を遂行する必須な構成要素ではなく、性能の向上のための選択的構成要素である。本発明は、選択的構成要素を除いて必須な構成要素のみを含む構造で具現されることもでき、必須な構成要素のみを含む構造も本発明の権利範囲に含まれる。

図１は、映像符号化装置の構造の一例を示すブロック図である。

図１を参照すると、映像符号化装置１００は、動き予測部１１１、動き補償部１１２、イントラ予測部１２０、スイッチ１１５、減算器１２５、変換部１３０、量子化部１４０、エントロピー符号化部１５０、逆量子化部１６０、逆変換部１７０、加算器１７５、フィルタ部１８０、及び参照ピクチャバッファ１９０を含む。

映像符号化装置１００は、入力映像をイントラ予測モード(ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ)又はインター予測モード(ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ)に符号化してビットストリーム(ｂｉｔ ｓｔｒｅａｍ)を出力する。イントラ予測は画面内予測を意味し、インター予測は画面間予測を意味する。映像符号化装置１００は、スイッチ１１５の転換を介してイントラ予測モードとインター予測モードとの間を遷移する。
映像符号化装置１００は、入力映像の入力ブロックに対する予測ブロックを生成した後、入力ブロックと予測ブロックとの残差(ｒｅｓｉｄｕａｌ)を符号化する。

イントラ予測モードの場合、イントラ予測部１２０は、現在ブロック周辺の既に符号化されたブロックのピクセル値を利用して空間的予測を実行することで、予測ブロックを生成する。

インター予測モードの場合、動き予測部１１１は、動き予測過程で参照ピクチャバッファ１９０に格納されている参照ピクチャ内で入力ブロックと最もマッチングがよくなる参照ブロックを探して動きベクトルを求める。動き補償部１１２は、前記動きベクトルを利用して動き補償を実行することで、予測ブロックを生成する。ここで、動きベクトルは、インター予測に使われる２次元ベクトルであり、現在符号化/復号化の対象ブロックと参照ブロックとの間のオフセットを示す。

減算器１２５は、入力ブロックと予測ブロックとの残差に基づいて残差ブロック(ｒｅｓｉｄｕａｌ ｂｌｏｃｋ)を生成し、変換部１３０は、前記残差ブロックを変換(ｔｒａｎｓｆｏｒｍ)して変換係数(ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ)を出力する。
量子化部１４０は、前記変換係数を量子化することで、量子化された係数(ｑｕａｎｔｉｚｅｄ ｃｏｅｆｆｉｃｉｅｎｔ)を出力する。

エントロピー符号化部１５０は、符号化/量子化過程で取得した情報に基づいたエントロピー符号化を実行することで、ビットストリームを出力する。エントロピー符号化は、頻繁に発生されるシンボル(ｓｙｍｂｏｌ)を少ない数のビットで表現することによって符号化の対象シンボルに対するビット列の大きさを減少させる。したがって、エントロピー符号化を介して映像の圧縮性能の向上を期待することができる。エントロピー符号化部１５０は、エントロピー符号化のために、指数ゴロム(ｅｘｐｏｎｅｎｔｉａｌ ｇｏｌｏｍｂ)、ＣＡＶＬＣ(Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ)、ＣＡＢＡＣ(Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ)のような符号化方法を使用することができる。

インター予測符号化を実行するための参照ピクチャとして使われるために符号化されたピクチャは、再び復号化されて格納される必要がある。したがって、逆量子化部１６０は、量子化された係数を逆量子化し、逆変換部１７０は、逆量子化された係数を逆変換(ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ)して復元された残差ブロックを出力する。加算器１７５は、予測ブロックに復元された残差ブロックを加えて復元ブロックを生成する。

フィルタ部１８０は、適応的インループ(ｉｎ−ｌｏｏｐ)フィルタとも呼ばれ、復元ブロックにデブロッキングフィルタリング(ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒｉｎｇ)、ＳＡＯ(Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ)補償、ＡＬＦ(Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒｉｎｇ)のうち少なくとも一つ以上を適用する。デブロッキングフィルタリングは、ブロック間境界に発生したブロック歪曲を除去することを意味し、ＳＡＯ補償は、コーディングエラーを補償するためにピクセル値に適正オフセット(ｏｆｆｓｅｔ)を加えることを意味する。また、ＡＬＦは、復元された映像と元来の映像を比較した値に基づいてフィルタリングを実行することを意味する。

一方、参照ピクチャバッファ１９０は、フィルタ部１８０を経た復元ブロックを格納する。

図２は、映像復号化装置の構造の一例を示すブロック図である。

図２を参照すると、映像復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、イントラ予測部２４０、動き補償部２５０、加算器２５５、フィルタ部２６０、及び参照ピクチャバッファ２７０を含む。

映像復号化装置２００は、ビットストリームをイントラ予測モード又はインター予測モードに復号化することで、復元映像を出力する。映像復号化装置２００は、スイッチの転換を介してイントラ予測モードとインター予測モードとの間を遷移する。映像復号化装置２００は、ビットストリームから残差ブロックを取得して予測ブロックを生成した後、残差ブロックと予測ブロックを加えて復元ブロックを生成する。

エントロピー復号化部２１０は、確率分布に基づいたエントロピー復号化を実行する。
エントロピー復号化過程は、前述したエントロピー符号化過程の反対過程である。即ち、エントロピー復号化部２１０は、頻繁に発生されるシンボルを少ない数のビットで表現したビットストリームから量子化された係数を含むシンボルを生成する。

逆量子化部２２０は、量子化された係数を逆量子化し、逆変換部２３０は、逆量子化された係数を逆変換して残差ブロックを生成する。

イントラ予測モードの場合、イントラ予測部２４０は、現在ブロック周辺の既に復号化されたブロックのピクセル値を利用して空間的予測を実行することで、予測ブロックを生成する。

インター予測モードの場合、動き補償部２５０は、動きベクトル及び参照ピクチャバッファ２７０に格納された参照ピクチャを利用した動き補償を実行することで、予測ブロックを生成する。

加算器２５５は、残差ブロックに予測ブロックを加え、フィルタ部２６０は、加算器を経たブロックにデブロッキングフィルタリング、ＳＡＯ補償、ＡＬＦのうち少なくとも一つ以上を適用して復元映像を出力する。

一方、復元映像は、参照ピクチャバッファ２７０に格納されて動き補償に使われることができる。

以下、ブロックは、符号化/復号化の単位を意味する。符号化/復号化過程で、映像は、所定の大きさで分割されて符号化/復号化される。したがって、ブロックは、符号化ユニット(ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ)、予測ユニット(ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ)、変換ユニット(ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ)などで呼ばれることもあり、一つのブロックは、より小さい大きさの下位ブロックに分割されることもできる。

ここで、予測ユニットは、予測及び/又は動き補償実行の基本単位を意味する。予測ユニットは、複数のパーティション(ｐａｒｔｉｔｉｏｎ)に分割されることができ、各々のパーティションは、予測ユニットパーティション(ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ ｐａｒｔｉｔｉｏｎ)と呼ばれる。予測ユニットが複数のパーティションに分割された場合、予測ユニットパーティションは、予測及び/又は動き補償実行の基本単位になることができる。以下、本発明の実施例において、予測ユニットは、予測ユニットパーティションを意味することもある。

一方、ＨＥＶＣ(Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ)では、向上した動きベクトル予測(ＡＭＶＰ：Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ)に基づいた動きベクトル予測(ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ)方法を使用する。

向上した動きベクトル予測に基づいた動きベクトル予測方法では、符号化/復号化対象ブロックの周辺に位置する復元ブロックの動きベクトル(ＭＶ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ)だけでなく、参照ピクチャ(ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ)内で符号化/復号化対象ブロックと同じ位置又は対応される位置に存在するブロックの動きベクトルを利用することができる。そのとき、参照ピクチャ内で符号化/復号化対象ブロックと同じ位置又は空間的に対応される位置に存在するブロックを同等位置ブロック(ｃｏｌｌｏｃａｔｅｄ ｂｌｏｃｋ)、同等位置ブロックの動きベクトルを同等位置動きベクトル(ｃｏｌｌｏｃａｔｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ)又は時間的動きベクトル(ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ)と呼ぶ。しかし、同等位置ブロック(ｃｏｌｌｏｃａｔｅｄ ｂｌｏｃｋ)は、参照ピクチャの符号化/復号化対象ブロックと必ず同じ位置に存在するブロックだけでなく、符号化/復号化対象ブロックと位置が類似した、即ち、対応される位置に存在するブロックであってもよい。

動き情報併合(ｍｏｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ ｍｅｒｇｅ)方法では、動き情報を周辺に位置する復元ブロックだけでなく同等位置ブロックからも類推し、符号化/復号化対象ブロックの動き情報として利用する。そのとき、動き情報は、インター予測時に必要な参照ピクチャインデックス(ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｉｎｄｅｘ)、動きベクトル、単方向(ｕｎｉ−ｄｉｒｅｃｔｉｏｎ)又は両方向(ｂｉ−ｄｉｒｅｃｔｉｏｎ)などを示すインター予測モード情報、参照ピクチャリスト(ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ)、イントラ予測モードに符号化されたかインター予測モードに符号化されたかに対する予測モード(ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ)情報のうち少なくとも一つ以上を含む情報である。

符号化/復号化対象ブロックで予測された動きベクトル(ｐｒｅｄｉｃｔｉｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ)は、符号化/復号化対象ブロックと空間的に隣接した周辺ブロックの動きベクトルだけでなく、符号化/復号化対象ブロックと時間的に隣接したブロックである同等位置ブロックの動きベクトルであってもよい。

図３は、符号化/復号化対象ピクチャと参照ピクチャの一例を示す。

図３において、ブロックＸは、符号化/復号化対象ピクチャ３１０内の符号化/復号化対象ブロックを示し、ブロックＡ、ブロックＢ、ブロックＣ、ブロックＤ、及びブロックＥは、符号化/復号化対象ブロックの周辺に位置する復元ブロックを示す。そして、参照ピクチャ３２０内のブロックＴは、符号化/復号化対象ブロックと対応される位置に存在する同等位置ブロックを示す。

符号化/復号化対象ブロックで、予測された動きベクトルとして利用する動きベクトルに対しては動きベクトル予測器インデックス(ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ ｉｎｄｅｘ)を介して知ることができる。

表１のように、各々の参照ピクチャリストに対する動きベクトル予測器インデックス(ｍｖｐ_ｉｄｘ_ｌ０,ｍｖｐ_ｉｄｘ_ｌ１)が復号化装置に送信され、復号化装置は、符号化装置が予測した動きベクトルと同じである動きベクトルを予測された動きベクトルとして利用する。

符号化/復号化対象ブロックと空間的に隣接した周辺ブロックの動きベクトルを利用して符号化/復号化対象ブロックを符号化/復号化する場合、相対的に小さい大きさのメモリ(ｍｅｍｏｒｙ)のみで動きベクトルを格納することができる。しかし、時間的動きベクトルを利用する場合、参照ピクチャの全ての動きベクトルをメモリに格納しなければならないため、相対的に大きい大きさのメモリが必要であり、メモリからデータを読み取るときに要求されるメモリ接近帯域幅(ｍｅｍｏｒｙａｃｃｅｓｓ ｂａｎｄｗｉｄｔｈ)の大きさも増加するようになる。したがって、携帯受信端末機など、メモリ空間が十分でない、又は電力の消耗を最小化しなければならない応用環境では時間的動きベクトルを一層効率的に格納する必要がある。

一方、動きベクトルをメモリに格納する従来の技術として動きベクトルの空間解像度(ｓｐａｔｉａｌ ｒｅｓｏｌｕｔｉｏｎ)を低くする方法がある。前記方法では動きベクトルを任意の割合で圧縮してメモリに格納する。例えば、４×４ブロック単位で(に)格納される動きベクトルを４×４以上のブロック単位に格納し、格納される動きベクトルの個数を減らす。そのとき、格納される動きベクトルのブロック大きさを調整するために、圧縮比率に対する情報が送信される。前記情報は、表２のようにシーケンスパラメータセット(ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)を介して送信される。

表２を参照すると、ｍｏｔｉｏｎ_ｖｅｃｔｏｒ_ｂｕｆｆｅｒ_ｃｏｍｐ_ｆｌａｇが１である場合、動きベクトルバッファ圧縮過程が実行される。

ｍｏｔｉｏｎ_ｖｅｃｔｏｒ_ｂｕｆｆｅｒ_ｃｏｍｐ_ｒａｔｉｏ_ｌｏｇ２は、動きベクトルバッファ圧縮過程の圧縮比率を示す。ｍｏｔｉｏｎ_ｖｅｃｔｏｒ_ｂｕｆｆｅｒ_ｃｏｍｐ_ｒａｔｉｏ_ｌｏｇ２が存在しない場合、ｍｏｔｉｏｎ_ｖｅｃｔｏｒ_ｂｕｆｆｅｒ_ｃｏｍｐ_ｒａｔｉｏ_ｌｏｇ２は０に類推され、動きベクトルバッファ圧縮比率を数式１のように表現される。

例えば、１９２０×１０８０(１０８０ｐ)ピクチャの全ての４×４ブロックが異なる動きベクトルを有し、２個の参照ピクチャリストを使用し、各々のリスト毎に２個の参照ピクチャを使用する場合、下記のように、総３.２１Ｍｂｙｔｅｓのメモリ空間が時間的動きベクトルを格納するために要求される。

１．一つの動きベクトル毎に２６ｂｉｓのビット深度(ｂｉｔ ｄｅｐｔｈ)

(１)動きベクトルのＸ成分のダイナミックレンジ(ｄｙｎａｍｉｃ ｒａｎｇｅ)：−２５２乃至＋７６７６(ビット深度：１３ｂｉｔｓ)

(２)動きベクトルのＹ成分のダイナミックレンジ(ｄｙｎａｍｉｃ ｒａｎｇｅ)：−２５２乃至＋４３１６(ビット深度：１３ｂｉｔｓ)

(３)(動きベクトルの各々の成分のダイナミックレンジは、該当ピクチャ内の一番目の予測ユニットを基準に計算された。)

２．４×４ブロック単位の全てが異なる動きベクトルを有する場合：４８０×２７０＝１２９６００ブロック

３．各々のブロック毎に２個の動きベクトルを使用

４．参照ピクチャリストの数：２個

５．参照ピクチャリスト毎に２個の参照ピクチャを使用

⇒２６ｂｉｔｓ×１２９６００ブロック×２個の動きベクトル×２個の参照ピクチャリスト×２個の参照ピクチャ＝２６９５６８００ｂｉｔｓ＝３.２１Ｍｂｙｔｅｓ

前述した動きベクトルの空間解像度を低くする方法によると、動きベクトルの空間的な相関性を利用して要求されるメモリ空間の大きさ及びメモリ接近帯域幅を減らすことができる。しかし、動きベクトルの空間解像度を低くする前記方法は、動きベクトルのダイナミックレンジを制限しなかった。

もし、メモリ空間の大きさを１/４に減らす場合、前述した例で要求されるメモリ空間の大きさは、約０.８Ｍｂｙｔｅｓに減るようになる。そのとき、追加に動きベクトルのダイナミックレンジを制限し、動きベクトルの格納に必要なビット深度を動きベクトルの各々の成分毎に６ｂｉｔｓのみを使用するようにすると、要求されるメモリ空間の大きさは０.３７Ｍｂｙｔｅｓに一層減らすことができる。

したがって、本発明では動きベクトルの格納に必要なメモリ空間の大きさとメモリからデータを読み取るときに要求されるメモリ接近帯域幅を減少させるために、動きベクトルのダイナミックレンジを制限する。ダイナミックレンジが制限された参照ピクチャの動きベクトルは、符号化/復号化対象ブロックで時間的動きベクトルとして利用されることができる。

以下、ダイナミックレンジは、０を基準に動きベクトルの負の成分や正の成分が有することができる最小値と最大値との間の区間を意味し、ビット深度は、動きベクトルの格納に必要な空間の大きさを示すものであり、ビット幅(ｂｉｔ ｗｉｄｔｈ)を意味することもある。また、特別な言及がない限り、動きベクトルは、参照ピクチャの動きベクトル、即ち、時間的動きベクトルを意味する。

動きベクトルの各々の成分は、ダイナミックレンジを外れる場合、該当ダイナミックレンジの最小値又は最大値で表現される。例えば、動きベクトルのＸ成分が３１２であり、動きベクトルの各々の成分のダイナミックレンジの最大値が２５６の場合、動きベクトルのＸ成分は２５６に制限される。

同様に、動きベクトルの各々の成分のビット深度が１６ｂｉｔｓであり、動きベクトルが(−３６,２４)である場合、前記動きベクトルの各々の成分のビット深度を６ｂｉｔｓに制限すると、動きベクトルの各々の成分は−３２乃至＋３１のダイナミックレンジを有するようになり、前記動きベクトルは、ダイナミックレンジ内である(−３２,２４)で表現される。

また、動きベクトルの各々の成分のビット深度が１６ｂｉｔｓであり、動きベクトルが(−４９,１４２)である場合、前記動きベクトルの各々の成分のビット深度を９ｂｉｔｓに制限すると、動きベクトルの各々の成分は−２５６乃至＋２５５のダイナミックレンジを有するようになり、前記動きベクトルは、変化なく(−４９,１４２)で表現される。

図４は、動きベクトルのダイナミックレンジを制限する一例である。

図４を参照すると、−４０９６乃至＋４０９５のダイナミックレンジを有する動きベクトルのダイナミックレンジを−１２８乃至＋１２７に制限すると、ビット深度を１３ｂｉｔｓから８ｂｉｔｓに減少させることができる。

時間的動きベクトルの各々の成分は、Ｎｂｉｔ(ｓ)のビット深度に格納されるために、数式２及び数式３のようにクリップ(ｃｌｉｐ)される。ここで、Ｎは、正の整数である。

ここで、ＭＶ_Ｘは動きベクトルのＸ成分であり、ＭＶ_Ｙは動きベクトルのＹ成分であり、ｍｉｎ(ａ,ｂ)はａとｂのうち小さい値を出力する演算であり、ｍａｘ(ａ,ｂ)はａとｂのうち大きい値を出力する演算である。ｃｌｉｐｐｅｄＭＶ_ＸとｃｌｉｐｐｅｄＭＶ_Ｙは、各々、クリップされた時間的動きベクトルのＸ成分とＹ成分であり、メモリに格納されて符号化/復号化対象ブロックの時間的動きベクトルとして利用される。

例えば、表３のようにメモリ空間の大きさが４８ｂｙｔｅであり、動きベクトルの各々の成分毎に１６ｂｉｔｓのビット深度を使用する場合、総１２個の動きベクトルを格納することができる。

しかし、動きベクトルの各々の成分毎に８ｂｉｔｓのビット深度のみを使用すると、表４のように総２４個の動きベクトルを格納することができる。

したがって、本発明によると、符号化装置及び/又は復号化装置で復元された映像がデブロッキングフィルタ(ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ)、適応的ループフィルタ(ａｄｐａｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ)などのインループフィルタリング(ｉｎ−ｌｏｏｐ ｆｉｌｔｅｒｉｎｇ)過程を経て復元された映像バッファ(ＤＰＢ：ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ)に格納される時、動きベクトルのダイナミックレンジを制限して参照ピクチャの動きベクトルを格納する。ここで、復元された映像バッファは、図１又は図２の参照ピクチャバッファを意味することもある。

Ｉ．動きベクトルクリップ過程

動きベクトルの各々の成分をクリップする過程は、スライスタイプ(ｓｌｉｃｅ_ｔｙｐｅ)がＩピクチャでない場合に実行される。動きベクトルクリップ過程は、フィルタリング過程を終えた後、ツリーブロック(ｔｒｅｅ ｂｌｏｃｋ)又は最大大きさ符号化ユニット(ＬＣＵ：Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ)単位に実行される。

動きベクトルクリップ過程の入力は、現在ピクチャでの予測ユニットの左上端のピクセル位置である(ｘＰ,ｙＰ)と動きベクトル行列ＭｖＬ０及びＭｖＬ１であり、出力は、クリップされた動きベクトル行列ＣＭｖＬ０及びＣＭｖＬ１である。

行列ＭｖＬ０、ＭｖＬ１、ＣＭｖＬ０、及びＣＭｖＬ１に対して数式４乃至数式７の演算が実行される。

ここで、ＴＭＶＢｉｔＷｉｄｔｈは、動きベクトルのビット深度を示し、Ｃｌｉｐ３(ａ,ｂ,ｃ)は、ｃをａとｂとの間の範囲内に存在するようにクリップする関数を意味する。

II．動きベクトル格納過程

図５乃至図８は、参照ピクチャの動きベクトルを格納する方法を示す順序図である。

図５を参照すると、復元された映像を格納する映像バッファと動きベクトルを格納する動きベクトルバッファを共に利用することで、参照ピクチャの動きベクトルを格納することができる。そのとき、復元された映像は、インループフィルタリング過程(Ｓ５１０)を経て、動きベクトルは、ダイナミックレンジが制限(Ｓ５２０)されて格納(Ｓ５４０)される。

また、図６を参照すると、映像バッファと動きベクトルバッファを共に利用し、動きベクトルは、ダイナミックレンジ制限過程(Ｓ６２０)及び空間解像度減少過程(Ｓ６３０)を経て格納(Ｓ６４０)される。

また、図７を参照すると、復元された映像は、インループフィルタリング過程(Ｓ７１０)を経て映像バッファに格納(Ｓ７４０)され、動きベクトルは、ダイナミックレンジが制限(Ｓ７２０)されて動きベクトルバッファに格納(Ｓ７５０)される。

また、図８を参照すると、復元された映像は、インループフィルタリング過程(Ｓ８１０)を経て映像バッファに格納(Ｓ８４０)され、動きベクトルは、ダイナミックレンジ制限過程(Ｓ８２０)及び空間解像度減少過程(Ｓ８３０)を経て格納(Ｓ８５０)される。

一方、図６及び図８の実施例において、ダイナミックレンジ制限過程(Ｓ６２０、Ｓ８２０)と空間解像度減少過程(Ｓ６３０、Ｓ８３０)は、順序に限定されるものではなく、変更されることができる。

また、メモリ接近帯域幅を一層減少させるために、動きベクトルの各々の成分に対するダイナミックレンジを互いに異なるように制限することができる。例えば、Ｘ成分のダイナミックレンジとＹ成分のダイナミックレンジのうち一つのみを制限したり、Ｙ成分のダイナミックレンジをＸ成分のダイナミックレンジより制限したりすることができる。

動きベクトルの制限されたダイナミックレンジは、シーケンスパラメータセット、ピクチャパラメータセット(ＰＰＳ：Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)又はスライスヘッダ(ｓｌｉｃｅ ｈｅａｄｅｒ)等を介して送信され、復号化装置は、シーケンス、ピクチャ又はスライス内で時間的動きベクトルのダイナミックレンジの制限を同様に実行する。そのとき、ダイナミックレンジ範囲内で表現される動きベクトルの格納に必要なメモリ空間の大きさであるビット深度が共に送信されることができる。また、固定された大きさのビット深度を利用して動きベクトルを格納せずに、シーケンスパラメータ、ピクチャパラメータセット又はスライスヘッダなどを介して送信されたダイナミックレンジを利用することで、時間的動きベクトルを映像の動き特性に合うように効率的に格納することもできる。

一方、動きベクトルは、量子化されて格納されることができる。動きベクトルが量子化されて格納される場合、動きベクトルの精密度は減少するようになる。量子化方法には、ステップ大きさ(ｓｔｅｐ ｓｉｚｅ)が均等な均等量子化(ｕｎｉｆｏｒｍ ｑｕａｎｔｉｚａｔｉｏｎ)、ステップ大きさが均等でない非均等量子化(ｎｏｎ−ｕｎｉｆｏｒｍ ｑｕａｎｔｉｚａｔｉｏｎ)などがある。量子化のステップ大きさは、符号化装置と復号化装置で予め約束された固定値に設定され、又はシーケンスパラメータセット、ピクチャパラメータセット、又はスライスヘッダなどを介して符号化装置から復号化装置に送信される。復号化装置では、量子化された動きベクトルをそのまま利用し、又は逆量子化して利用する。図９は、動きベクトルを量子化する一例である。図９を参照すると、動きベクトルが３２乃至４８の成分値を有する場合、動きベクトルは４０に量子化される。

また、動きベクトルは、表現解像度が制限されて格納されることができる。表現解像度は、整数画素単位(１画素単位)、分数画素単位(１/２画素単位、１/４画素単位等)を意味する。例えば、１/４画素単位に処理される動きベクトルの解像度を整数画素で格納することができる。動きベクトルの表現解像度は、符号化装置と復号化装置で予め約束された固定値に設定され、又はシーケンスパラメータセット、ピクチャパラメータセット又はスライスヘッダなどを介して符号化装置から復号化装置に送信される。

また、メモリに格納される時間的動きベクトルのうち一部の動きベクトルに対してのみ動きベクトルのダイナミックレンジ制限過程、空間解像度減少過程、量子化過程を実行することができる。

動きベクトルのダイナミックレンジを制限して格納する場合、動きベクトルのダイナミックレンジに対する情報を追加してメモリに格納することができる。例えば、動きベクトルのダイナミックレンジを−１２８乃至＋１２７にする場合、１のフラグを追加に格納して、−３２乃至＋３１にする場合、０のフラグを追加に格納することができる。そのとき、フラグ情報は、動きベクトルと共に格納され、又は動きベクトルが格納されるメモリでない他のメモリに格納されすることができる。フラグ情報と動きベクトルが異なるメモリに格納される場合、特定動きベクトルが格納されたダイナミックレンジに対して知る時、フラグ情報に任意接近するようにすることができる。また、一部動きベクトルが格納されたダイナミックレンジに対する情報を、シーケンスパラメータセット、ピクチャパラメータセット又はスライスヘッダなどを介して送信し、復号化器でも符号化器と同様に動作するようにすることができる。

動きベクトルの空間解像度を減少させて格納する場合、動きベクトルのブロック大きさに対する情報を追加してメモリに格納することができる。例えば、動きベクトルのブロック大きさを、４×４にする場合に１のフラグを追加に格納し、１６×１６にする場合に０のフラグを追加に格納することができる。そのとき、フラグ情報は、動きベクトルと共に格納され、又は動きベクトルが格納されるメモリでない他のメモリに格納されることができる。フラグ情報と動きベクトルが異なるメモリに格納される場合、特定動きベクトルが格納されたブロック大きさに対して知る時、フラグ情報に任意接近するようにすることができる。また、一部動きベクトルが格納されたブロック大きさに対する情報を、シーケンスパラメータセット、ピクチャパラメータセット又はスライスヘッダなどを介して送信し、復号化器でも符号化器と同様に動作するようにすることができる。

動きベクトルを量子化して格納する場合、動きベクトルの精密度に対する情報を追加してメモリに格納することができる。例えば、量子化のステップ大きさを４にする場合、１のフラグを追加に格納し、量子化のステップ大きさを１にする場合、０のフラグを追加に格納することができる。そのとき、フラグ情報は、動きベクトルと共に格納され、又は動きベクトルが格納されるメモリでない他のメモリに格納されることができる。フラグ情報と動きベクトルが異なるメモリに格納される場合、特定動きベクトルが量子化されて格納されたステップ大きさに対して知る時、フラグ情報に任意接近するようにすることができる。また、一部動きベクトルが量子化されて格納されたステップ大きさに対する情報を、シーケンスパラメータセット、ピクチャパラメータセット又はスライスヘッダなどを介して送信し、復号化器でも符号化器と同様に動作するようにすることができる。

また、動き情報をメモリに格納する場合、動きベクトルの空間解像度を減少させて格納することができる。そのとき、動き情報は、インター予測時に必要な参照ピクチャインデックス(ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｉｎｄｅｘ)、動きベクトル、単方向(ｕｎｉ−ｄｉｒｅｃｔｉｏｎ)又は両方向(ｂｉ−ｄｉｒｅｃｔｉｏｎ)などを示すインター予測モード情報、参照ピクチャリスト(ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ)、イントラ予測モードに符号化されたかインター予測モードに符号化されたかに対する予測モード(ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ)情報のうち少なくとも一つ以上を含む情報である。

例えば、特定領域の複数の動き情報のうちパーティションの大きさが最も大きい予測ユニットの動き情報を代表動き情報としてメモリに格納することができる。そのとき、特定領域は、符号化/復号化対象ブロック内の領域と周辺ブロックの領域を含むことができる。また、特定領域は、ピクチャ又はスライス全体が一定の大きさに分割される場合、動き情報が格納されるブロックを含む領域であってもよい。

例えば、特定領域に含まれる複数の動き情報中に動き情報併合方法や、符号化情報省略(ｓｋｉｐ)方法などで符号化された動き情報を除いた後、代表動き情報をメモリに格納することができる。

例えば、特定領域に含まれる複数の動き情報中に最も頻繁に発生する動き情報を代表動き情報としてメモリに格納することができる。そのとき、ブロックの大きさ別に動き情報の発生回数などを計算することができる。

例えば、特定領域に含まれる複数の動き情報中に特定位置の動き情報を格納することができる。そのとき、特定位置は、特定領域に含まれる位置であり、特定領域の固定された位置であってもよい。また、特定位置は、複数個のうち一つの位置に選択されることができる。複数個の位置が使用される場合、位置別に優先順位が決定されることができ、優先順位によって動き情報がメモリに格納されることができる。

例えば、特定領域に含まれる複数の動き情報をメモリに格納する時、イントラ予測モードに符号化されたブロック、ＰＣＭ(Ｐｕｌｓｅ Ｃｏｄｅｄ Ｍｏｄｕｌａｔｉｏｎ)モードに符号化されたブロック、スライス又はピクチャ境界の外部は、動き情報が存在しないため、該当位置の動き情報は、メモリに格納しない。

もし、前述した例のうち、特定位置の動き情報を格納する時、該当位置の動き情報が存在しない場合、同等位置ブロックの動き情報、先に符号化されるブロックの動き情報又は周辺ブロックの動き情報が該当位置の動き情報として使われることができる。そのとき、特定位置は、符号化/復号化対象ブロック内の周辺に存在するブロック内の一つのサンプル位置又はブロックの位置である。例えば、特定位置の動き情報が存在しない場合、該当位置周辺のインター予測符号化されたブロックの動き情報のうち、中間値(ｍｅｄｉａｎ)又は平均値(ａｖｅｒａｇｅ)をメモリに格納することができる。例えば、特定位置の動き情報が存在しない場合、該当位置の周辺ブロックの動き情報の平均値をメモリに格納することができる。中間値及び平均値を計算する時、周辺ブロックの動き情報が参照ピクチャインデックス、参照ピクチャリスト、インター予測モード情報のうち一つ以上が異なる場合、動きベクトルは、参照ピクチャインデックス、参照ピクチャリスト、インター予測モード情報、及びピクチャディスプレー順序(ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ)などによって大きさ調整されることができる。

III．動きベクトル導出過程

前述した動き情報方法を利用して動き情報をメモリに格納し、動きベクトル予測方法、向上した動きベクトル予測方法又は動き情報併合方法で参照ピクチャの動き情報を利用する場合、格納された動き情報を読み取ることができる。

例えば、参照ピクチャ内で符号化/復号化対象ブロックの位置と対応される位置の動き情報を読み取ることができる。そのとき、参照ピクチャ内で符号化/復号化対象ブロックの位置と対応される位置は、特定領域内の固定された位置や符号化/復号化対象ブロックの位置から相対的である位置である。

図１０乃至図１３は、参照ピクチャから動き情報を読み取る例を示す。

図１０乃至図１３において、ブロックＸは符号化/復号化対象ピクチャ１０１０、１１１０、１２１０、１３１０内の符号化/復号化対象ブロックを示し、ブロックＡ、ブロックＢ、ブロックＣ、ブロックＤ、及びブロックＥは、符号化/復号化対象ブロックの周辺に位置する復元ブロックを示す。そして、参照ピクチャ１０２０、１１２０、１２２０、１３２０内のブロックＴは、符号化/復号化対象ブロックと対応される同等位置ブロックを示す。図１３の参照ピクチャ１３２０内のブロックＹは、符号化/復号化対象ブロック外の位置と対応されるブロックを示す。

図１０を参照すると、参照ピクチャ内で符号化/復号化対象ブロックＸの位置のうち左上端のピクセル位置と対応される位置に該当する動き情報を読み取ることができる。

図１１を参照すると、参照ピクチャ内で符号化/復号化対象ブロックＸの位置のうち中央のピクセル位置と対応される位置に該当する動き情報を読み取ることができる。

図１２を参照すると、参照ピクチャ内で符号化/復号化対象ブロックＸの位置のうち右下端のピクセル位置と対応される位置に該当する動き情報を読み取ることができる。

図１３を参照すると、参照ピクチャ内で符号化/復号化対象ブロックＸの外部の位置と対応される位置に該当する動き情報を読み取ることができる。

メモリに格納された動き情報、即ち、参照ピクチャの動き情報を使用し、動きベクトル予測、向上した動きベクトル予測、動き情報併合、動き情報併合省略(ｍｅｒｇｅ ｓｋｉｐ)などの符号化/復号化方法を実行することができる。

動きベクトルのダイナミックレンジ制限方法、動きベクトルの空間解像度減少方法、動きベクトルの量子化方法、動きベクトルの表現解像度減少方法のうち、少なくとも一つ以上を使用して動きベクトルをメモリに格納し、格納された動きベクトルを符号化する/復号化対象ブロックの動きベクトル予測及び動き情報併合に利用することができる。

参照ピクチャの動きベクトルをメモリから読み取る過程を時間的動きベクトルの導出過程という。時間的動きベクトル導出過程におけるＴＭＶｂｉｔＷｉｄｔｈは、メモリに格納された時間的動きベクトルのビット幅を示す。

時間的動きベクトル導出過程の入力は、現在ピクチャでの予測ユニットの左上端のピクセル位置である(ｘＰ,ｙＰ)、輝度予測ユニットの横長と縦長であるｎＰＳＷとｎＰＳＨ及び現在予測ユニットパーティションの参照ピクチャインデックスであるｒｅｆＩｄｘＬＸであり、出力は、動きベクトル予測値ｍｘＬＸＣｌと存在可否フラグであるａｖａｉｌａｂｌｅＦｌａｇＬＸＣｏｌである。

ＲｅｆＰｉｃＯｒｄｅｒＣｎｔ(ｐｉｃ,ｒｅｆｉｄｘ,ＬＸ)は、ｐｉｃの参照ピクチャＲｅｆＰｉｃＬｉｓｔＸ[ｒｅｆｉｄｘ]のＰｉｃＯｒｄｅｒＣｎｔを出力する関数である。ここで、Ｘは０又は１になることができる。参照ピクチャのＰｉｃＯｒｄｅｒＣｎｔは、ピクチャが“存在しない(ｎｏｎ−ｅｘｉｓｉｔｉｎｇ)”に処理される時まで存在する。Ｃｌｉｐ３(ａ,ｂ,ｃ)は、ｃをａとｂとの間の範囲内に存在するようにクリップする関数を意味する。

同等位置パーティション(ｃｏｌｌｏｃａｔｅｄｐａｒｔｉｔｉｏｎ)を有しているｃｏｌＰｉｃは、スライスタイプ(ｓｌｉｃｅ_ｔｙｐｅ)がＢ−スライスであり、ｃｏｌｌｏｃａｔｅｄ_ｆｒｏｍ_ｌ０_ｆｌａｇが０である場合、ＲｅｆＰｉｃＬｉｓｔ１[０]になる。そうでない場合、即ち、スライスタイプがＰ−スライスであり、ｃｏｌｌｏｃａｔｅｄ_ｆｒｏｍ_ｌ０_ｆｌａｇが１である場合、ＲｅｆＰｉｃＬｉｓｔ０[０]になる。

ｃｏｌＰｕとｃｏｌＰｕの位置である(ｘＰＣｏｌ,ｙＰＣｏｌ)は、下記のような順序に誘導される。

１．現在予測ユニットの右下端の輝度成分位置(ｘＰＲｂ,ｙＰＲｂ)は、数式８及び数式９のように定義される。

２．ｃｏｌＰｕがイントラ予測モードに符号化され、ｃｏｌＰｕが存在しない場合、

(１)現在予測ユニットの中央の輝度成分位置(ｘＰＣｔｒ,ｙＰＣｔｒ)は、数式１０及び数式１１のように定義される。

(２)ｃｏｌＰｕは、ｃｏｌＰｉｃで((ｘＰＣｔｒ>>４)<<４,(ｙＰＣｔｒ>>４)<<４)の位置を含む予測ユニットに設定される。

３．(ｘＰＣｏｌ,ｙＰＣｏｌ)は、ｃｏｌＰｉｃの左上端の輝度成分位置からｃｏｌＰｕの左上端の輝度成分位置の値になる。

ｍｖＬＸＣｏｌとａｖａｉｌａｂｌｅＦｌａｇＬＸＣｏｌは、下記のように誘導される。

１．ｃｏｌＰｕがイントラ予測モードに符号化され、ｃｏｌＰｕが存在しない場合、ｍｖＬＸＣｏｌの各々の成分は０になり、ａｖａｉｌａｂｌｅＦｌａｇＬＸＣｏｌも０になる。

２．そうでない場合、即ち、ｃｏｌＰｕがイントラ予測モードに符号化されず、ｃｏｌＰｕが存在すると、ｍｖＬＸＣｏｌとｒｅｆＩｄｘＣｏｌが下記のように誘導される。

(１)ＰｒｅｄＦｌａｇＬ０[ｘＰＣｏｌ][ｙＰＣｏｌ]が０である場合、動きベクトルｍｖＣｏｌはＭｖＬ１[ｘＰＣｏｌ][ｙＰＣｏｌ]に決定され、参照ピクチャインデックスｒｅｆＩｄｘＣｏｌはＲｅｆＩｄｘＬ１[ｘＰＣｏｌ][ｙＰＣｏｌ]に決定される。

(２)そうでない場合、即ち、ＰｒｅｄＦｌａｇＬ０[ｘＰＣｏｌ][ｙＰＣｏｌ]が１である場合、下記のような過程が実行される。

１)ＰｒｅｄＦｌａｇＬ１[ｘＰＣｏｌ][ｙＰＣｏｌ]が０である場合、動きベクトルｍｖＣｏｌはＭｖＬ０[ｘＰＣｏｌ][ｙＰＣｏｌ]に決定され、参照ピクチャインデックスｒｅｆＩｄｘＣｏｌはＲｅｆＩｄｘＬ０[ｘＰＣｏｌ][ｙＰＣｏｌ]に決定される。

２)そうでない場合、即ち、ＰｒｅｄＦｌａｇＬ１[ｘＰＣｏｌ][ｙＰＣｏｌ]が１である場合、下記のような過程が実行される。

ａ．Ｘは、０又は１になり、下記のような割当過程が実行される。

ｉ．ＲｅｆＩｄｘＣｏｌＬＸはＲｅｆＩｄｘＬＸ[ｘＰＣｏｌ][ｙＰＣｏｌ]で(に)割り当てられる。

ii．ＰｉｃＯｒｄｅｒＣｎｔ(ｃｏｌＰｉｃ)がＰｉｃＯｒｄｅｒＣｎｔ(ｃｕｒｒＰｉｃ)より小さく、ＲｅｆＰｉｃＯｒｄｅｒＣｎｔ(ｃｏｌＰｉｃ,ＲｅｆＩｄｘＣｏｌＬＸ,ＬＸ)がＰｉｃＯｒｄｅｒＣｎｔ(ｃｕｒｒＰｉｃ)より大きい場合、又はＰｉｃＯｒｄｅｒＣｎｔ(ｃｏｌＰｉｃ)がＰｉｃＯｒｄｅｒＣｎｔ(ｃｕｒｒＰｉｃ)より大きく、ＲｅｆＰｉｃＯｒｄｅｒＣｎｔ(ｃｏｌＰｉｃ,ＲｅｆＩｄｘＣｏｌＬＸ,ＬＸ)がＰｉｃＯｒｄｅｒＣｎｔ(ｃｕｒｒＰｉｃ)より小さい場合、ＭｖＸＣｒｏｓｓは１に割り当てられる。

iii．そうでない場合、即ち、ＰｉｃＯｒｄｅｒＣｎｔ(ｃｏｌＰｉｃ)がＰｉｃＯｒｄｅｒＣｎｔ(ｃｕｒｒＰｉｃ)より小さく、ＲｅｆＰｉｃＯｒｄｅｒＣｎｔ(ｃｏｌＰｉｃ,ＲｅｆＩｄｘＣｏｌＬＸ,ＬＸ)がＰｉｃＯｒｄｅｒＣｎｔ(ｃｕｒｒＰｉｃ)より小さい又は同じ場合、又はＰｉｃＯｒｄｅｒＣｎｔ(ｃｏｌＰｉｃ)がＰｉｃＯｒｄｅｒＣｎｔ(ｃｕｒｒＰｉｃ)より大きく、ＲｅｆＰｉｃＯｒｄｅｒＣｎｔ(ｃｏｌＰｉｃ,ＲｅｆＩｄｘＣｏｌＬＸ,ＬＸ)がＰｉｃＯｒｄｅｒＣｎｔ(ｃｕｒｒＰｉｃ)より大きい又は同じ場合、ＭｖＸＣｒｏｓｓは１に割り当てられる。

ｂ．下記の条件のうち一つをみたす場合、動きベクトルｍｖＣｏｌ、参照ピクチャインデックスｒｅｆＩｄｘＣｏｌ、ＬｉｓｔＣｏｌは、各々、ＭｖＬ１[ｘＰＣｏｌ][ｙＰＣｏｌ]、ＲｅｆＩｄｘＣｏｌＬ１、Ｌ１に決定される。

ｉ．Ｍｖ０Ｃｒｏｓｓは０、Ｍｖ１Ｃｒｏｓｓは１。

ii．Ｍｖ０ＣｒｏｓｓとＭｖ１Ｃｒｏｓｓが同じであり、参照ピクチャリストがＬ１。

ｃ．そうでない場合、動きベクトルｍｖＣｏｌ、参照ピクチャインデックスｒｅｆＩｄｘＣｏｌ、ＬｉｓｔＣｏｌは、各々、ＭｖＬ０[ｘＰＣｏｌ][ｙＰＣｏｌ]、ＲｅｆＩｄｘＣｏｌＬ０、Ｌ０に決定される。

３)ａｖａｉｌａｂｌｅＦｌａｇＬＸＣｏｌは１になり、数式１２又は数式１３乃至数式１８の演算が実行される。

ａ．ＰｉｃＯｒｄｅｒＣｎｔ(ｃｏｌＰｉｃ)−ＲｅｆＰｉｃＯｒｄｅｒＣｎｔ(ｃｏｌＰｉｃ,ｒｅｆＩｄｘＣｏｌ,ＬｉｓｔＣｏｌ)がＰｉｃＯｒｄｅｒＣｎｔ(ｃｕｒｒＰｉｃ)−ＲｅｆＰｉｃＯｒｄｅｒＣｎｔ(ｃｕｒｒＰｉｃ,ｒｅｆＩｄｘＬＸ,ＬＸ)である場合、

ｂ．そうでない場合、

ここで、ｔｄとｔｂは、数式１７及び数式１８の通りである。

即ち、数式１３乃至数式１６を参照すると、ｍｖＬＸＣｏｌは、動きベクトルｍｖＣｏｌの大きさ調整値(ｓｃａｌｅｄ ｖｅｒｓｉｏｎ)に誘導される。

一方、動きベクトルがダイナミックレンジでクリップされても、クリップされた動きベクトルが大きさ調整(ｓｃａｌｉｎｇ)される場合、再びダイナミックレンジを外れることができる。したがって、大きさ調整された動きベクトルを導出した後、前記動きベクトルのダイナミックレンジを制限することができる。その場合、数式１５と数式１６は、各々、数式１９と数式２０に代替されることができる。

IV．復号化装置で時間的動きベクトルをクリップするための情報送信方法

以下、復号化装置で時間的動きベクトルを符号化装置と同様の方法でクリップするために必要な情報を送信する方法を説明する。

前述した時間的動きベクトル導出過程でのＴＭＶＢｉｔＷｉｄｔｈは、シーケンスパラメータセット、ピクチャパラメータセット又はスライスヘッダなどを介して符号化装置から復号化装置に送信されることができる。

表５のｂｉｔ_ｗｉｄｔｈ_ｔｅｍｐｏｒａｌ_ｍｏｔｉｏｎ_ｖｅｃｔｏｒ_ｍｉｎｕｓ８は、時間的動きベクトル成分のビット幅を示す。ｂｉｔ_ｗｉｄｔｈ_ｔｅｍｐｏｒａｌ_ｍｏｔｉｏｎ_ｖｅｃｔｏｒ_ｍｉｎｕｓ８が存在しない場合、０に類推され、時間的動きベクトル成分のビット幅は、数式２１のように表現される。

１．情報送信方法１−動きベクトルを圧縮し、動きベクトルのビット深度を制限する場合

表６を参照すると、ｍｏｔｉｏｎ_ｖｅｃｔｏｒ_ｂｕｆｆｅｒ_ｃｏｍｐ_ｆｌａｇが１である場合、動きベクトルバッファ圧縮過程が実行される。

ｍｏｔｉｏｎ_ｖｅｃｔｏｒ_ｂｕｆｆｅｒ_ｃｏｍｐ_ｒａｔｉｏ_ｌｏｇ２は、動きベクトルバッファ圧縮過程の圧縮比率を示す。ｍｏｔｉｏｎ_ｖｅｃｔｏｒ_ｂｕｆｆｅｒ_ｃｏｍｐ_ｒａｔｉｏ_ｌｏｇ２が存在しない場合、０に類推され、動きベクトルバッファ圧縮比率は、数式２２のように表現される。

また、表６を参照すると、ｂｉｔ_ｄｅｐｔｈ_ｔｅｍｐｏｒａｌ_ｍｏｔｉｏｎ_ｖｅｃｔｏｒ_ｃｏｎｓｔｒａｉｎｔ_ｆｌａｇが１である場合、時間的動きベクトルビット深度制限過程が実行される。

ｂｉｔ_ｄｅｐｔｈ_ｔｅｍｐｏｒａｌ_ｍｏｔｉｏｎ_ｖｅｃｔｏｒ_ｍｉｎｕｓ８は、時間的動きベクトルのビット深度を示す。ｂｉｔ_ｄｅｐｔｈ_ｔｅｍｐｏｒａｌ_ｍｏｔｉｏｎ_ｖｅｃｔｏｒ_ｍｉｎｕｓ８が存在しない場合、０に類推され、時間的動きベクトルのビット深度は、数式２３のように表現される。

２．情報送信方法２−動きベクトルのビット深度を制限する場合

表７を参照すると、ｂｉｔ_ｄｅｐｔｈ_ｔｅｍｐｏｒａｌ_ｍｏｔｉｏｎ_ｖｅｃｔｏｒ_ｃｏｎｓｔｒａｉｎｔ_ｆｌａｇが１である場合、時間的動きベクトルビット深度制限過程が実行される。

ｂｉｔ_ｄｅｐｔｈ_ｔｅｍｐｏｒａｌ_ｍｏｔｉｏｎ_ｖｅｃｔｏｒ_ｍｉｎｕｓ８は、時間的動きベクトルのビット深度を示す。ｂｉｔ_ｄｅｐｔｈ_ｔｅｍｐｏｒａｌ_ｍｏｔｉｏｎ_ｖｅｃｔｏｒ_ｍｉｎｕｓ８が存在しない場合、０に類推され、時間的動きベクトルのビット深度は、数式２４のように表現される。

３．情報送信方法３−動きベクトルのビット深度を制限する場合

表８のｂｉｔ_ｄｅｐｔｈ_ｔｅｍｐｏｒａｌ_ｍｏｔｉｏｎ_ｖｅｃｔｏｒ_ｍｉｎｕｓ８は、時間的動きベクトルのビット深度を示す。ｂｉｔ_ｄｅｐｔｈ_ｔｅｍｐｏｒａｌ_ｍｏｔｉｏｎ_ｖｅｃｔｏｒ_ｍｉｎｕｓ８が存在しない場合、０に類推され、時間的動きベクトルのビット深度は、数式２５のように表現される。

４．情報送信方法４−動きベクトルのＸ成分、Ｙ成分の各々に対してビット深度を制限する場合

表９を参照すると、ｂｉｔ_ｄｅｐｔｈ_ｔｅｍｐｏｒａｌ_ｍｏｔｉｏｎ_ｖｅｃｔｏｒ_ｃｏｎｓｔｒａｉｎｔ_ｆｌａｇが１である場合、時間的動きベクトルビット深度制限過程が実行される。

ｂｉｔ_ｄｅｐｔｈ_ｔｅｍｐｏｒａｌ_ｍｏｔｉｏｎ_ｖｅｃｔｏｒ_ｘ_ｍｉｎｕｓ８は、時間的動きベクトルのＸ成分ビット深度を示す。ｂｉｔ_ｄｅｐｔｈ_ｔｅｍｐｏｒａｌ_ｍｏｔｉｏｎ_ｖｅｃｔｏｒ_ｘ_ｍｉｎｕｓ８が存在しない場合、０に類推され、時間的動きベクトルのビット深度は、数式２６のように表現される。

ｂｉｔ_ｄｅｐｔｈ_ｔｅｍｐｏｒａｌ_ｍｏｔｉｏｎ_ｖｅｃｔｏｒ_ｙ_ｍｉｎｕｓ８は、時間的動きベクトルのＹ成分ビット深度を示す。ｂｉｔ_ｄｅｐｔｈ_ｔｅｍｐｏｒａｌ_ｍｏｔｉｏｎ_ｖｅｃｔｏｒ_ｘ_ｍｉｎｕｓ８が存在しない場合、０に類推され、時間的動きベクトルのビット深度は、数式２７のように表現される。

５．情報送信方法５−動きベクトルを圧縮し、動きベクトルのビット深度を制限する場合

表１０を参照すると、ｍｏｔｉｏｎ_ｖｅｃｔｏｒ_ｂｕｆｆｅｒ_ｃｏｍｐ_ｆｌａｇが１である場合、動きベクトルバッファ圧縮過程が実行される。

ｍｏｔｉｏｎ_ｖｅｃｔｏｒ_ｂｕｆｆｅｒ_ｃｏｍｐ_ｒａｔｉｏ_ｌｏｇ２は、動きベクトルバッファ圧縮過程の圧縮比率を示す。ｍｏｔｉｏｎ_ｖｅｃｔｏｒ_ｂｕｆｆｅｒ_ｃｏｍｐ_ｒａｔｉｏ_ｌｏｇ２が存在しない場合、０に類推され、動きベクトルバッファ圧縮比率は、数式２８のように表現される。

Ｖ．映像コーデックのレベルを介したダイナミックレンジの定義

時間的動きベクトルのダイナミックレンジは、シーケンスパラメータセット、ピクチャパラメータセット又はスライスヘッダを介して送信されず、映像コーデックのレベル(ｌｅｖｅｌ)を介して定義されることができる。符号化装置と復号化装置は、レベル情報を利用して動きベクトルの制限されたダイナミックレンジを判別することができる。

また、レベルでも動きベクトルのＸ成分とＹ成分の各々のダイナミックレンジ及び/又はビット深度を互いに異なるように定義することができ、各々の成分の最小値及び最大値を定義することもできる。

表１１と表１２は、前述した時間的動きベクトル導出過程でのＴＭＶＢｉｔＷｉｄｔｈをレベル(ｌｅｖｅｌ)で定義する場合の一例である。

表１１を参照すると、ＴＭＶＢｉｔＷｉｄｔｈは、レベルで定義されたＭａｘＴＭＶＢｉｔＷｉｄｔｈに設定される。そのとき、ＭａｘＴＭＶＢｉｔＷｉｄｔｈは、時間的動きベクトルがメモリに格納される時、動きベクトルの最大ビット幅を示す。

一方、ＴＭＶＢｉｔＷｉｄｔｈはレベルで定義し、定義された値との差(ｄｅｌｔａ ｖａｌｕｅ)をシーケンスパラメータセット、ピクチャパラメータセット、又はスライスヘッダを送信することもできる。即ち、ＴＭＶＢｉｔＷｉｄｔｈは、レベルで定義されたＭａｘＴＭＶＢｉｔＷｉｄｔｈにシーケンスパラメータセット、ピクチャパラメータセット又はスライスヘッダで送信された差を加える値に設定されることができる。そのとき、ＴＭＶＢｉｔＷｉｄｔｈは、時間的動きベクトルがメモリに格納される時、動きベクトルのビット幅を示す。

表１３のｄｅｌｔａ_ｂｉｔ_ｗｉｄｔｈ_ｔｅｍｐｏｒａｌ_ｍｏｔｉｏｎ_ｖｅｃｔｏｒ_ｍｉｎｕｓ８は、時間的動きベクトル成分のビット幅の差を示す。ｄｅｌｔａ_ｂｉｔ_ｗｉｄｔｈ_ｔｅｍｐｏｒａｌ_ｍｏｔｉｏｎ_ｖｅｃｔｏｒ_ｍｉｎｕｓ８が存在しない場合、０に類推され、時間的動きベクトル成分のビット幅は、数式２９のように表現される。

また、表１４のようにレベルに時間的動きベクトルの各々の成分のダイナミックレンジを定義することもできる。

また、表１５乃至表１７のように、レベルに時間的動きベクトルの各々の成分のビット幅を定義することもできる。

また、表１８のようにレベルに時間的動きベクトルＹ成分のビット幅を定義することもできる。

また、時間的動きベクトルのダイナミックレンジは、動きベクトルの制限に対する情報の送信なく符号化装置及び復号化装置で予め約束した固定値に定義され、又は固定されたビット深度の形態に格納されることができる。

ＴＭＶＢｉｔＷｉｄｔｈを符号化装置と復号化装置で同じ値に固定して使用する場合、ＴＭＶＢｉｔＷｉｄｔｈは、４、６、８、１０、１２、１４、１６などの正の整数である。そのとき、ＴＭＶＢｉｔＷｉｄｔｈは、時間的動きベクトルがメモリに格納される時、動きベクトルのビット幅を示す。

図１４は、本発明の一実施例に係る映像の符号化方法を示す順序図である。図１４を参照すると、映像符号化方法は、クリップステップ(Ｓ１４１０)、格納ステップ(Ｓ１４２０)、及び符号化ステップ(Ｓ１４３０)を含む。

映像符号化装置及び/又は復号化装置は、参照ピクチャの動きベクトルを所定のダイナミックレンジでクリップする(Ｓ１４１０)。“Ｉ.動きベクトルクリップ過程”を介して、前述したように、ダイナミックレンジを外れた動きベクトルは、該当ダイナミックレンジの最小値又は最大値で表現される。したがって、“IV.復号化装置で時間的動きベクトルをクリップするための情報送信方法”と“Ｖ.映像コーデックのレベルを介したダイナミックレンジの定義”を介して、前述したように、映像コーデックのレベル及び/又はシーケンスパラメータセット等を介してビット深度を制限したり、映像コーデックのレベルを介してダイナミックレンジを制限したりすることで、参照ピクチャの動きベクトルを所定のダイナミックレンジでクリップすることができる。

映像符号化装置及び/又は復号化装置は、“II.動きベクトル格納過程”を介して、前述したように、クリップされた参照ピクチャの動きベクトルをバッファに格納する(Ｓ１４２０)。動きベクトルは、復元された映像と共に又は別にバッファに格納されることができる。

映像符号化装置は、格納された参照ピクチャの動きベクトルを利用して符号化対象ブロックの動きベクトルを符号化するする(Ｓ１４３０)。“III.動きベクトル導出過程”を介して、前述したように、ＨＥＶＣで使われる向上した動きベクトル予測方法では符号化/復号化対象ブロックの周辺に位置する復元ブロックの動きベクトルだけでなく、参照ピクチャ内で符号化/復号化対象ブロックと同じ位置又は対応される位置に存在するブロックの動きベクトルを利用する。したがって、符号化対象ブロックの動きベクトルは、符号化対象ブロックと隣接した周辺ブロックの動きベクトルだけでなく、参照ピクチャの動きベクトル、即ち、時間的動きベクトルであってもよい。

一方、参照ピクチャの動きベクトルのＸ成分のダイナミックレンジとＹ成分のダイナミックレンジは、互いに異なるように定義されることができるため、参照ピクチャの動きベクトルの各々の成分は、各々のダイナミックレンジでクリップされることができる。

また、参照ピクチャの動きベクトルのダイナミックレンジを制限する方法だけでなく、参照ピクチャの動きベクトルを圧縮する方法を使用することもできる。参照ピクチャの動きベクトルのダイナミックレンジを制限し、又は参照ピクチャの動きベクトルを圧縮する場合、映像コーデックのレベル及び/又はシーケンスパラメータセット等にこれを示すフラグとこれに対するパラメータを定義することができる。

また、メモリに格納された動き情報、即ち、参照ピクチャの動き情報を使用することで、動きベクトル予測、向上した動きベクトル予測、動き情報併合、動き情報併合省略(ｍｅｒｇｅ ｓｋｉｐ)などの符号化方法を実行することもできる。

図１５は、本発明の一実施例に係る映像の復号化方法を示す順序図である。図１５を参照すると、映像復号化方法は、クリップステップ(Ｓ１５１０)、格納ステップ(Ｓ１５２０)、導出ステップ(Ｓ１５３０)、及び復号化ステップ(Ｓ１５４０)を含む。

図１５のクリップステップ(Ｓ１５１０)と格納ステップ(Ｓ１５２０)は、前述した“Ｉ.動きベクトルクリップ過程”と“II.動きベクトル格納過程”を利用する図１４のクリップステップ(Ｓ１４１０)と格納ステップ(Ｓ１４２０)と同様である。また、図１５の導出ステップ(Ｓ１５３０)は、前述した“III.動きベクトル導出過程”を利用し、図１４の符号化ステップ(Ｓ１４３０)と対称的である。したがって、詳細な説明は省略する。

映像復号化装置は、復号化対象ブロックの動きベクトルを利用してインター予測復号化を実行する(Ｓ１５４０)。映像復号化装置は、動きベクトルのダイナミックレンジ制限方法、動きベクトルの空間解像度減少方法、動きベクトルの量子化方法、動きベクトルの表現解像度減少方法のうち、少なくとも一つ以上を使用して動きベクトルをメモリに格納し、格納された動きベクトルを復号化対象ブロックの動きベクトル予測及び動き情報併合に利用することができる。

また、メモリに格納された動き情報、即ち、参照ピクチャの動き情報を使用し、動きベクトル予測、向上した動きベクトル予測、動き情報併合、動き情報併合省略(ｍｅｒｇｅ ｓｋｉｐ)などの復号化方法を実行することもできる。

前述した実施例は、一連のステップ又はブロックで表現された順序図により説明されているが、本発明は、前述したステップの順序に限定されるものではなく、一部のステップは異なるステップと、異なる順序又は同時に発生することができる。また、本発明が属する技術分野の通常の知識を有する者であれば、順序図に示すステップは排他的でなく、他のステップが含まれ、又は一部のステップが削除可能であることを理解することができる。

また、前述した実施例は、多様な態様の例示を含む。多様な態様を示すために、全ての可能な組合せを記述することはできないが、本発明が属する技術分野の通常の知識を有する者であれば、他の組合せが可能であることを認識することができる。したがって、本発明は、特許請求の範囲内に属する全ての交替、修正、及び変更を含む。

Claims (2)

1. 参照ピクチャを格納するための参照ピクチャバッファと、
   前記参照ピクチャ及び前記参照ピクチャの動きベクトルを利用して、予測ブロックを生成するための動き補償部と、
   を含み、
   前記参照ピクチャの前記動きベクトルは、所定のレンジでクリップされ、
   前記参照ピクチャの前記動きベクトルは、所定のブロック単位に格納され、
   前記動き補償部は、前記所定のブロック単位に格納された前記参照ピクチャの前記動きベクトルを利用して、前記予想ブロックを生成することを特徴とする映像復号化装置。
2. 前記参照ピクチャの前記動きベクトルは、大きさ調整され、前記レンジでクリップされることを特徴とする請求項１に記載の映像復号化装置。

Images