JP2022137099A - ビデオデータを処理する方法、装置、非一時的コンピュータ可読記憶媒体 - Google Patents

Abstract

【課題】ピクチャ及びビデオ符号化のためのサブブロックベース予測に関連する方法を提供する。【解決手段】方法は、アフィンモードに基づいてルミナンスブロックの制御点の動きベクトルを決定し、それをルミナンスサブブロックに分割し、クロミナンスブロックをクロミナンスサブブロックに分割し、制御点の動きベクトルに基づいて各ルミナンスサブブロックのルミナンス動きベクトルを決定し、複数のルミナンスサブブロックのルミナンス動きベクトルとカラーフォーマットとに基づいて、各クロミナンスサブブロックのクロミナンス動きベクトルを導出し、各ルミナンスサブブロックのルミナンス動きベクトルに基づいてルミナンスブロックを再構成する。クロミナンスブロックに含まれる第１のクロミナンスグループは、カラーフォーマットに従って２つ又は４つのクロミナンスサブブロックを含み、含まれるクロミナンスサブブロックの動きベクトルは同じである。【選択図】図１３

Description

[関連出願の相互参照]
適用特許法及び／又はパリ条約に基づく規則に基づき、本出願は、２０１８年６月２１日に出願された国際特許出願第ＰＣＴ／ＣＮ２０１８／０９２１１８号及び２０１８年１１月１０日に出願された国際特許出願第ＰＣＴ／ＣＮ２０１８／１１４９３１号の優先権及び利益を適時に主張するものである。米国法の下でのすべての目的のために、国際特許出願第ＰＣＴ／ＣＮ２０１８／０９２１１８号、および国際特許出願第ＰＣＴ／ＣＮ２０１８／１１４９３１号の開示全体が、本出願の開示の一部として参照援用される。

この特許文献は、概してピクチャおよびビデオのコーディング技術を対象としている。

動き補正は、ビデオ内のカメラおよび／またはオブジェクトの動きを考慮（ａｃｃｏｕｎｔ ｆｏｒ）することによって、前のフレームおよび／または将来のフレームが与えられたときに、ビデオ内のフレームを予測する、ビデオ処理における技術である。動き補正は、ビデオ圧縮のためのビデオデータの符号化および復号に使用することができる。

ピクチャおよびビデオコーディングのためのサブブロックベース予測に関連する装置、システムおよび方法を説明する。

１つの代表的な態様において、開示された技術は、ビデオ符号化方法を提供するために使用され取得する。この方法は、現在のビデオブロックの第１成分を第１サブブロックセットに分割し、現在のビデオブロックの第２成分を第２サブブロックセットに分割することを含む。第２成分のサブブロックは、第１成分の一以上のサブブロックに対応する。本方法はまた、現在のビデオブロックのカラーフォーマットに基づいて、第１色成分の一以上の対応するサブブロックの動きベクトルに基づいて、第２成分のサブブロックの動きベクトルを導出するステップを含む。

別の代表的な態様では、開示の技術は、ビデオ復号方法を提供するために使用され取得する。この方法は、第１成分と、少なくとも第２成分とを含むビデオデータブロックを受信することを含む。第１成分は、第１サブブロックセットに分割され、第２成分は、第２サブブロックセットに分割される。第２成分のサブブロックは、第１成分の一以上のサブブロックに対応する。この方法は、ビデオデータブロックのカラーフォーマットに基づいて、第２の成分のサブブロックの動きベクトルを、第１カラー成分の一以上の対応するサブブロックの動きベクトルに基づいて導出することを含む。また、この方法は、導出された動きベクトルに基づいて、ビデオデータブロックを再構成すること、または同じピクチャ内のビデオデータの他のブロックを復号することを含む。

さらに別の代表的な態様では、上述の方法は、プロセッサ実行可能コードの形態で具体化され、コンピュータ読み取り可能なプログラム媒体に記憶される。

さらに別の代表的な態様では、上述の方法を実行するように構成または動作可能なデバイスを開示する。このデバイスは、この方法を実装するようにプログラムされたプロセッサを含んでもよい。

さらに別の代表的な態様では、ビデオエンコーダまたはビデオデコーダ装置が、本明細書に記載の方法を実装することができる。

開示の技術の上記その他の態様および特徴は、図面、明細書および特許請求の範囲により詳細に記載されている。

サブブロックベース予測の一例を示す。

簡略化されたアフィン動きモデルの一例を示す。

サブブロックごとのアフィン動きベクトル場（ＭＶＦ）の例を示す。

コーディングユニットに対する代替的な時間的動きベクトル予測（ＡＴＭＶＰ）アルゴリズムを使用する動き予測の一例を示す。

４つのサブブロックおよび隣接ブロックを有する１つのＣＵの一例を示す。

双方向オプティカルフロー（ＢＩＯ）アルゴリズムによって使用されるオプティカルフロートラジェクトリの一例を示す。

フレームレートアップコンバージョン（ＦＲＵＣ）アルゴリズムにおけるバイラテラルマッチングの一例を示す。

ＦＲＵＣアルゴリズムにおけるテンプレートマッチングの一例を示す。

ＦＲＵＣ法におけるユニラテラル動き推定（ＭＥ）の一例を示す。

本技術による、４：２：０フォーマットで、サブブロックの成分の動きベクトル（ＭＶ）を導出する一例を示す。

本技術による、４：２：０フォーマットで、サブブロックの成分のＭＶを導出する別の例を示す。

本技術によるサブブロックの成分のＭＶを導出するさらに別の例を示す。

本技術の一以上の実施形態によるビデオ符号化方法の一例を示すフローチャートである。

本技術の一以上の実施形態によるビデオ符号化方法の他の一例を示すフローチャートである。

本開示の技術の様々な部分を実装するために利用可能な符号化装置の一例を示すブロック図である。

本開示の技術の様々な部分を実装するために利用可能な符号化装置の一例を示すブロック図である。

本開示の技術の様々な部分を実装するために利用可能なコンピュータシステムその他の制御デバイスのアーキテクチャの一例を示すブロック図である。

本開示の技術の様々な部分を実装するために利用可能なモバイルデバイスの実施形態の一例を示すブロック図を示す。

より高解像度のビデオに対する要求が高まっているため、ビデオコーディング方法および技術は、現代の技術では至るところに存在している。ビデオコーデックは、典型的には、デジタルビデオを圧縮または解凍する電子回路またはソフトウェアを含み、より高いコーディング効率を提供するために絶えず改良されている。ビデオコーデックは、圧縮されていないビデオを圧縮形式に変換し、又はその逆を行う。ビデオ画質、（ビットレートによって決定される）ビデオを表現するために使用されるデータ量、符号化および復号アルゴリズムの複雑さ、データ損失およびエラーに対する感度、編集の容易さ、ランダムアクセス、およびエンドツーエンド遅延（レイテンシ）の間には複雑な関係がある。圧縮フォーマットは、通常、標準的なビデオ圧縮仕様、例えば、高効率ビデオコーディング（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＨＥＶＣ）標準（Ｈ．２６５またはＭＰＥＧ－Ｈ Ｐａｒｔ ２としても知られている）、最終化される汎用ビデオコーディング（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準、または他の現在および／または将来のビデオコーディング標準に準拠する。

サブブロックベース予測は、高効率ビデオコーディング（ＨＥＶＣ）標準によってビデオコーディング標準に最初に導入された。サブブロックベース予測では、コーディングユニット（ＣＵ）または予測ユニット（ＰＵ）のようなブロックは、いくつかの重複しないサブブロックに分割される。異なるサブブロックには、参照インデックスまたは動きベクトル（ＭＶ）のような異なる動き情報が割り当てられ、動き補償（ＭＣ）は各サブブロックに対して個別に実行される。図１は、サブブロックベース予測の一例を示す。

開示の技術の実施形態は、ランタイム性能を改善するために、既存のビデオコーディング標準（例えば、ＨＥＶＣ、Ｈ．２６５）および将来の標準に適用され取得する。本文書では、セクション見出しは、説明の可読性を向上させるために使用しており、いかなる意味においても、説明または実施形態（および／または実装）を各セクションのみに限定するものではない。

ＪＥＭ（Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ）として知られる参照ソフトウェアを用いて、将来のビデオコーディング技術を説明する。ＪＥＭでは、サブブロックベースの予測を、アフィン予測、代替時間動きベクトル予測（ＡＴＭＶＰ）、空間時間動きベクトル予測（ＳＴＭＶＰ）、双方向オプティカルフロー（ＢＩＯ）、フレームレートアップ変換（ＦＲＵＣ）、局所適応動きベクトル解像（ＬＡＭＶＲ）、オーバーラップブロック動き補償（ＯＢＭＣ）、局所照明補償（ＬＩＣ）、デコーダ側動きベクトル精緻化（ＤＭＶＲ）などのいくつかのコーディングツールに採用している。

ＨＥＶＣでは、並進動きモデルのみが動き補償予測（ＭＣＰ）に適用される。しかし、カメラおよびオブジェクトは、ズームイン／ズームアウト、回転、斜視的動き、および／または他の不規則な動きなど、多くの種類の動きを有し取得する。一方、ＪＥＭは単純化したアフィン変換動き補償予測を適用する。図２は、２つの制御点動きベクトルＶ_０およびＶ_１によって記述されるブロック２００のアフィン動き場の例を示す。ブロック２００の動きベクトル場（ＭＶＦ）は、以下の式で表すことができる：

図３は、ブロック３００に対するサブブロック当たりのアフィンＭＶＦの例を示す。各Ｍ×Ｎサブブロックの動きベクトルを導出するために、各サブブロックの中心サンプルの動きベクトルを式（１）に従って計算し、動きベクトル分率精度に丸めることができる（例えば、ＪＥＭでは１／１６）。次に、動き補償補間フィルタを適用して、導出された動きベクトルを有する各サブブロックの予測を生成することができる。ＭＣＰの後、各サブブロックの高精度動きベクトルを丸め、通常の動きベクトルと同じ精度で保存する。

ＪＥＭには、ＡＦ＿ＩＮＴＥＲモードとＡＦ＿ＭＥＲＧＥモードの２つのアフィン動きモードがある。幅と高さの両方が８より大きいＣＵに対して、ＡＦ＿ＩＮＴＥＲモードが適用できる。ＣＵレベルのアフィンフラグはＡＦ＿ＩＮＴＥＲモードが使われるかどうかを示すためにビットストリームでシグナリングされる。ＡＦ＿ＩＮＴＥＲモードでは、動きベクトルペア｛（ｖ_０，ｖ_１）｜ｖ_０＝｛ｖ_Ａ，ｖ_Ｂ，ｖ_ｃ｝，ｖ_１＝｛ｖ_Ｄ，ｖ_Ｅ｝｝を持つ候補リストが隣接ブロックを使って構築される。

ＪＥＭでは、非マージアフィンモードは現在のブロックの幅と高さの両方が８より大きい場合にのみ使用でき、マージアフィンモードは現在のブロックの面積（すなわち幅×高さ）が６４より小さくない場合にのみ使用できる。

図４は、ＣＵ４００の代替時間動きベクトル予測（ＡＴＭＶＰ）動き予測プロセスの例を示す。ＡＴＭＶＰ法は、ＣＵ４００内のサブＣＵ４０１の動きベクトルを２ステップで予測する。第１のステップは、時間ベクトルを有する参照ピクチャ４５０内の対応するブロック４５１を特定することである。参照ピクチャ４５０は、動きソースピクチャとも呼ばれる。第２のステップは、現在のＣＵ４００をサブＣＵ４０１に分割し、各サブＣＵに対応するブロックから各サブＣＵの動きベクトルおよび参照インデックスを取得する。

第１のステップでは、参照ピクチャ４５０と、対応するブロックとは、現在のＣＵ４００の空間的隣接ブロックの動き情報によって決定される。第２のステップでは、サブＣＵ４５１の対応するブロックが、現在のＣＵの座標に時間ベクトルを加えることによって、動きソースピクチャ４５０内の時間ベクトルによって特定される。各サブＣＵに対して、対応するブロックの動き情報（例えば、中心サンプルをカバーする最小の動きグリッド）を用いて、サブＣＵの動き情報を導出する。対応するＮ×Ｎブロックの動き情報が特定された後、ＨＥＶＣのＴＭＶＰと同様に、現在のサブＣＵの動きベクトルおよび参照インデックスに変換される。ここで、動きスケーリングおよびその他の手順が適用される。

空間時間動きベクトル予測（ＳＴＭＶＰ）法では、サブＣＵの動きベクトルはラスタ走査順序に従って再帰的に導出される。図５は、４つのサブブロックおよび隣接ブロックを有する１つのＣＵの例を示す。４×４のサブＣＵ Ａ（５０１）、Ｂ（５０２）、Ｃ（５０３）、Ｄ（５０４）の４つのサブＣＵを含む８×８ＣＵ５００を考える。現在のフレーム内の隣接する４×４ブロックは、ａ（５１１）、ｂ（５１２）、ｃ（５１３）、ｄ（５１４）とラベル付けされている。

サブＣＵ Ａの動き導出は、その２つの空間的隣接者を特定することから始まる。最初の隣接者はサブＣＵ Ａ５０１の上のＮ×Ｎブロック（ブロックｃ５１３）である。このブロックｃ（５１３）が利用できないか、またはイントラコーディングされている場合、サブＣＵ Ａ（５０１）の上の他のＮ×Ｎブロックがチェックされる（ブロックｃ５１３から始めて左から右へ）。第２の隣接者は、サブＣＵ Ａ５０１の左側のブロック（ブロックｂ５１２）である。ブロックｂ（５１２）が利用可能でないか、またはイントラコーディングされている場合、サブＣＵ Ａ５０１の左側にある他のブロックがチェックされる（ブロックｂ５１２から始めて上から下へ）。各リストに対する隣接ブロックから得られた動き情報は、与えられたリストに対する最初の参照フレームにスケーリングされる。次に、サブブロックＡ５０１の時間的動きベクトル予測子（ＴＭＶＰ）が、ＨＥＶＣで規定されたのと同じＴＭＶＰ導出手順に従うことによって導出される。ブロックＤ７０４でコロケーションされたブロックの動き情報は、適宜、フェッチされスケールされる。最後に、動き情報を読み出し、スケーリングした後、すべての利用可能な動きベクトルは、各参照リストに対して別々に平均化される。平均化された動きベクトルは、現在のサブＣＵの動きベクトルとして割り当てられる。

双方向オプティカルフロー（ＢＩＯ）法は、双方向予測のためのブロックごとの動き補償の上で実施されるサンプルごとの動き微細化である。いくつかの実装では、サンプルレベルの動きの精緻化は、シグナリングを使用しない。

Ｉ^（ｋ）をブロック動き補償後の参照ｋ（ｋ＝０，１）からのルミナンス値とし、∂Ｉ^（ｋ）/∂ｘ，∂Ｉ^（ｋ）/∂ｙを、それぞれＩ（ｋ）グラジエントの水平成分と垂直成分とする。オプティカルフローが有効であると仮定すると、動きベクトル場（ｖ_ｘ、ｖ_ｙ）は次式で与えられる：

このオプティカルフロー方程式を各サンプルの動き軌跡に対するエルミート補間と組み合わせると、両端において関数値Ｉ^（ｋ）と微分値∂Ｉ^（ｋ）/∂ｘ，∂Ｉ^（ｋ）/∂ｙの両方に一致するユニークな三次多項式が得られる。ｔ＝０におけるこの多項式の値は次のＢＩＯ予測である。

図６は、双方向オプティカルフロー（ＢＩＯ）法における例示的なオプティカルフローの軌跡を示す。ここで、τ_０とτ_１は、参照フレームまでの距離を示す。距離τ_０とτ_１は、Ｒｅｆ_０とＲｅｆ_１のＰＯＣに基づいてτ_０＝ＰＯＣ（現在）－ＰＯＣ（Ｒｅｆ_０）、τ_１＝ＰＯＣ（Ｒｅｆ_１）－ＰＯＣ（現在）に基づいて計算される。もし、両方の予測が（両方とも過去から、あるいは両方とも将来から）同じ時間の向きから来るとすると、その符号は異なる（たとえば、τ_０・τ_１＜０）。この場合、予測が同時点からでない場合（例えば、τ_０≠τ_１）、ＢＩＯが適用される。両方の参照領域は、非ゼロ動き（例えばＭＶｘ_０，ＭＶｙ_０，ＭＶｘ_１，ＭＶｙ_１≠０）を有し、ブロック動きベクトルは、時間的距離に比例する（例えば、ＭＶｘ_０/（ＭＶｘ_１＝ＭＶｙ_０/ＭＶｙ_１）＝－τ_０/τ_１）。ＪＥＭでは、２つの予測が異なる参照ピクチャからのものである場合、ＢＩＯをすべての双予測ブロックに適用することができる。ＬＩＣ（Ｌｏｃａｌ Ｉｌｌｕｍｉｎａｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）が有効になっているＣＵでは、ＢＩＯを無効にすることができます。

場合によっては、マージフラグが真の場合、ＦＲＵＣフラグはＣＵに対してシグナリングすることができる。ＦＲＵＣフラグが偽の場合、マージインデックスをシグナリングすることができ、通常のマージモードが使用される。ＦＲＵＣフラグが真の場合、追加のＦＲＵＣモードフラグがシグナリングされ、どの方法（例えば、バイラテラルマッチングまたはテンプレートマッチング）を用いてブロックの動作情報を導出するか示す。

エンコーダ側では、ＣＵのためにＦＲＵＣマージモードを使用するかどうかの決定は、通常のマージ候補の場合と同様に、ＲＤコスト選択に基づいて行われる。例えば、複数のマッチングモード（例えば、バイラテラルマッチングおよびテンプレートマッチング）は、ＲＤコスト選択を使用することによって、ＣＵについてチェックされる。最小のコストにつながるものは、さらに他のＣＵモードと比較される。ＦＲＵＣマッチングモードが最も効率的なモードである場合、ＦＲＵＣフラグはＣＵに対してｔｒｕｅに設定され、関連するマッチングモードが使用される。

典型的には、ＦＲＵＣマージモードにおける動き導出プロセスは、２つのステップを有する：最初にＣＵレベルの動きサーチが実行され、その後にサブＣＵレベルの動き精緻化が続く。ＣＵレベルでは、バイラテラルマッチングまたはテンプレートマッチングに基づいて、ＣＵ全体に対して初期動きベクトルを導出する。最初に、ＭＶ候補のリストが生成され、最小マッチングコストをもたらす候補が、さらなるＣＵレベルの改良のための出発点として選択される。次に、開始点周辺でのバイラテラルマッチングまたはテンプレートマッチングに基づくローカルサーチを実行する。ＭＶの結果、最小マッチングコストがＣＵ全体のＭＶとなる。引き続いて、導出されたＣＵ動きベクトルを出発点として、サブＣＵレベルで動き情報をさらに精緻化する。

図７は、フレームレートアップコンバージョン（ＦＲＵＣ）法で使用されるバイラテラルマッチングの例を示す。バイラテラルマッチングは、２つの異なる参照ピクチャ（７１０、７１１）において、現在のＣＵ（７００）の動き軌跡に沿って２つのブロック間の最も近いマッチングを見つけることによって、現在のＣＵの動き情報を導出するために使用される。連続的な動き軌跡の仮定の下で、２つの参照ブロックを指す動きベクトルＭＶ０（７０１）とＭＶ１（７０２）は、現在のピクチャと２つの参照ピクチャの間の時間的距離、例えばＴＤ０（７０３）とＴＤ１（７０４）に比例する。いくつかの実施態様において、現在のピクチャ７００が、時間的に２つの参照ピクチャ（７１０、７１１）の間にあり、現在のピクチャから２つの参照ピクチャまでの時間的距離が同じである場合、バイラテラルマッチングは、ミラーベース双方向ＭＶになる。

図８は、フレームレートアップコンバージョン（Ｆｒａｍｅ－Ｒａｔｅ Ｕｐ Ｃｏｎｖｅｒｓｉｏｎ：ＦＲＵＣ）法で使用されるテンプレートマッチングの例を示す。テンプレートマッチングは、現在のピクチャ内のテンプレート（例えば、現在のＣＵの上および／または左に隣接するブロック）と参照ピクチャ８１０内のブロック（例えば、テンプレートと同じサイズ）との間の最も近いマッチングを見つけることによって、現在のＣＵ８００の動き情報を導出するために使用することができる。前述のＦＲＵＣマージモードを除き、テンプレートマッチングはＡＭＶＰモードにも適用することができる。ＪＥＭとＨＥＶＣの両方で、ＡＭＶＰには２つの候補がある。テンプレートマッチング法を用いて、新しい候補を導出することができる。テンプレートマッチングによって新たに導出された候補が最初の既存のＡＭＶＰ候補と異なる場合、それは（例えば、２番目の既存のＡＭＶＰ候補を削除することによって）ＡＭＶＰ候補リストの最初に挿入され、リストサイズは２に設定される。ＡＭＶＰモードに適用され場合、ＣＵレベルサーチのみが適用される。

ＣＵレベルで設定されたＭＶ候補には、（１）現在のＣＵがＡＭＶＰモードにある場合のオリジナルのＡＭＶＰ候補、（２）すべてのマージ候補、（３）補間されたＭＶフィールド（後述）のいくつかのＭＶ、および／または（４）上部および左側の隣接する動きベクトルが含まれる。

バイラテラルマッチングを使用する場合、マージ候補の各有効ＭＶは、バイラテラルマッチングの仮定の下にＭＶペアを生成するための入力として使用することができる。例えば、マージ候補の有効なＭＶの１つは参照リストＡの（ＭＶａ，ｒｅｆ_ａ）である。そのペア化されたバイラテラルＭＶの参照ピクチャリファレンスｒｅｆ_ｂは、ｒｅｆ_ａとｒｅｆ_ｂが時間的に現在のピクチャの異なる側にあるように、他の参照リストＢに見つかる。参照リストＢにそのようなｒｅｆ_ｂがない場合、ｒｅｆ_ｂはｒｅｆ_ａとは異なる参照として決定され、現在のピクチャとの時間的距離は、リストＢの最小のものである。ｒｅｆ_ｂが決定された後、現在のピクチャとｒｅｆ_ａ、ｒｅｆ_ｂとの時間的距離に基づいてＭＶａをスケーリングすることによってＭＶｂが導出される。

いくつかの実装では、補間されたＭＶフィールドからの４つのＭＶをＣＵレベル候補リストに加えられることができる。より具体的には、現在のＣＵの位置（０、０）、（Ｗ／２、０）、（０、Ｈ／２）および（Ｗ／２、Ｈ／２）に補間されたＭＶが追加される。ＡＭＶＰモードでＦＲＵＣを適用すると、ＣＵレベルのＭＶ候補セットに元のＡＭＶＰ候補も追加される。一部の実装では、ＣＵレベルで、ＡＭＶＰ ＣＵの場合は１５ＭＶ、マージＣＵの場合は１３ＭＶを候補リストに追加できる。

サブＣＵレベルで設定されたＭＶ候補は、ＣＵレベルのサーチから決定されたＭＶ、（２）上、左、左上、及び右上の隣接するＭＶ、（３）参照ピクチャからのコロケーションされたＭＶのスケーリングされたバージョン、（４）１以上のＡＴＭＶＰ候補（例えば４つまで）、および／または（５）１以上のＳＴＭＶＰ候補（例えば４つまで）を含む。参照ピクチャからのスケーリングされたＭＶは以下のように導出される。両方のリストにある参照ピクチャを横断する。参照ピクチャのサブＣＵのコロケーション位置（ｃｏｌｌｏｃａｔｅｄ ｐｏｓｉｔｉｏｎ）のＭＶは、開始ＣＵレベルＭＶを参照してスケーリングされる。ＡＴＭＶＰおよびＳＴＭＶＰ候補は、４つの最初の候補とすることができる。サブＣＵレベルでは、一以上のＭＶ（例えば、１７まで）が候補リストに追加される。

フレームをコーディングする前に、補間された動き場が、片側（ｕｎｉｌａｔｅｒａｌ）ＭＥに基づいて全体ピクチャに対して生成される。その後、動きフィールドは、後にＣＵレベルまたはサブＣＵレベルＭＶ候補として使用されることがある。

いくつかの実施態様において、両方の参照リストにおける各参照ピクチャの動き場を、４×４ブロックレベルで横断する。図９は、ＦＲＵＣ法における片側動き推定（ＭＥ）９００の例を示す。４×４ブロックごとに、ブロックに関連する動きが現在のピクチャの４×４ブロックを通り、そのブロックは補間されたどの動きにも割り当てられていない場合、参照ブロックの動きは時間距離ＴＤ０とＴＤ１（ＨＥＶＣにおけるＴＭＶＰのＭＶスケーリングと同様）に従って現在のピクチャにスケーリングされ、スケーリングされた動きは現在のフレームのブロックに割り当てられる。４×４ブロックにスケーリングされたＭＶが割り当てられていない場合は、そのブロックの動きは、補間された動き場では使用不可としてマークされる。

動きベクトルが端数サンプル位置を指すとき、動き補償補間が必要である。複雑さを減らすために、通常の８タップＨＥＶＣ補間の代わりに双線形補間を、バイラテラルマッチングとテンプレートマッチングの両方に使用することができる。

マッチングコストの計算は、異なるステップで少しずつ異なる。ＣＵレベルで候補セットから候補を選択するとき、マッチングコストは、バイラテラルマッチングまたはテンプレートマッチングの絶対和差（ＳＡＤ）であり得る。開始ＭＶが決定された後、サブＣＵレベルサーチにおけるバイラテラルマッチングのマッチングコストＣは、以下のように計算される：

ここで、ｗは重み係数である。いくつかの実施形態において、ｗは経験的に４に設定することができる。ＭＶおよびＭＶ^Ｓは、それぞれ現在のＭＶおよび開始ＭＶを示す。ＳＡＤは、サブＣＵレベルサーチにおけるテンプレートマッチングのマッチングコストとして依然として使用され得る。

ＦＲＵＣモードでは、ＭＶはルミナンスサンプルのみを使用して導出される。導出された動きは、ＭＣ間予測のためのルミナンス（ｌｕｍａ）とクロミナンス（ｃｈｒｏｍａ）の両方に使用される。ＭＶが決定された後、ルミナンス用の８タップ補間フィルタとクロミナンス用の４タップ補間フィルタを使用して最終ＭＣを実行する。

ＭＶ精緻化は、バイラテラルマッチングコストまたはテンプレートマッチングコストを基準としてパターンベースのＭＶサーチである。ＪＥＭでは、２つのサーチパターンがサポートされている。それぞれＣＵレベルとサブＣＵレベルのＭＶ精緻化のための無制限中心バイアスダイヤモンドサーチ（ＵＣＢＤＳ）と適応クロスサーチである。ＣＵレベルとサブＣＵレベルのＭＶ精緻化の両方について、ＭＶは１／４ルミナンスサンプルＭＶ精度で直接サーチされ、続いて１／８ルミナンスサンプルＭＶ精緻化が行われる。ＣＵおよびサブＣＵステップのＭＶ精緻化のサーチ範囲は、８ルミナンスサンプルに設定される。

バイラテラルマッチングマージモードでは、ＣＵの動き情報が、２つの異なる参照ピクチャにおける現在のＣＵの動き軌跡に沿った２つのブロック間の最も近いマッチに基づいて導出されるので、双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）が適用される。テンプレートマッチングマージモードでは、エンコーダは、ｌｉｓｔ０からの単予測（ｕｎｉ－ｐｒｅｄｉｃｔｉｏｎ）、ｌｉｓｔ１からの単予測、またはＣＵに対する双予測の中から選択することができる。選択は、次のようにテンプレートマッチングコストに基づいて行うことができる

ＩＦ ｃｏｓｔＢｉ ＜＝ ｆａｃｔｏｒ ＊ ｍｉｎ（ｃｏｓｔ０，ｃｏｓｔ１）

双予測を用いる；

Ｏｔｈｅｒｗｉｓｅ， ｉｆ ｃｏｓｔ０ ＜＝ ｃｏｓｔ１

ｌｉｓｔ０からの単予測を用いる；

Ｏｔｈｅｒｗｉｓｅ，

ｌｉｓｔ１からの単予測を用いる；

ここで、ｃｏｓｔ０はｌｉｓｔ０テンプレートマッチングのＳＡＤ、ｃｏｓｔ１はｌｉｓｔ１テンプレートマッチングのＳＡＤ、ｃｏｓｔＢｉは双予測テンプレートマッチングのＳＡＤである。例えば、係数の値が１．２５に等しい場合、それは選択プロセスが双予測に偏っていることを意味する。予測間方向選択（ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ ｄｉｒｅｃｔｉｏｎ ｓｅｌｅｃｔｉｏｎ）を、ＣＵレベルテンプレートマッチングプロセスに適用することができる。

人間の視覚系は、輝度よりも色の位置や動きに敏感ではない。したがって、カラーディテールよりも多くの輝度ディテールを保存することによって帯域幅を最適化することができる。ビデオシステムでは、これは、色差成分を使用することによって達成される。信号はルミナンス（Ｙ’）成分と２つの色差（クロミナンス）成分に分けられる。クロマサブサンプリングは、ルミナンス情報よりもクロマ情報の解像度を低く実装することによって画像を符号化する方法であり、ヒト視覚系においてはルミナンスよりも色差の方が視力が低いことを利用するものである。例えば、一般的なサブサンプリングのタイプには、４：２：２（２つのクロマ成分がルミナンスのサンプルレートの半分でサンプリングされる）、４：１：１（水平方向のカラー解像度が四分の１にされる）、および４：２：０（４：１：１と比較して垂直方向の解像度が半分になる。これは、ＣｂチャネルとＣｒチャネルがそれぞれの交代ラインでのみサンプリングされるためである）がある。一例では、ＨＥＶＣ標準は、クロマ成分（ｍｖＣとして記す）内のＭＣに使用されたＭＶを、ルマ成分（ｍｖとして記す）内のＭＣに使用されるＭＶから導出する方法を規定する。一般に、ｍｖＣは、４：２：０または４：２：２のようなカラーフォーマットに依存する係数をかけたｍｖとして計算される。

現在ピクチャ参照（ｃｕｒｒｅｎｔ ｐｉｃｔｕｒｅ ｒｅｆｅｒｅｎｃｉｎｇ：ＣＰＲ）とも呼ばれるブロック内コピー（ＩＢＣ、またはピクチャブロック内補償）がＨＥＶＣスクリーンコンテンツコーディング拡張（ＳＣＣ）で採用された。このツールは、テキストとグラフィックスが豊富なコンテンツの繰り返しパターンが同一ピクチャ内で頻繁に発生するという点で、スクリーンコンテンツビデオのコーディングに非常に有効である。予測器として同一または類似のパターンを有する以前に再構成されたブロックを有することは、予測誤差を効果的に低減でき、従ってコーディング効率を改善できる。

ＨＥＶＣ ＳＣＣにおけるＣＲＰの設計と同様に、ＶＶＣにおいては、ＩＢＣモードの使用は、シーケンスおよびピクチャレベルの両方でシグナリングされる。ＩＢＣモードは、シーケンスパラメータセット（ＳＰＳ）で有効にされると、ピクチャレベルで有効にすることができる。ＩＢＣモードは、ピクチャレベルで有効にされると、現在の再構成されたピクチャは参照ピクチャとして扱われる。したがって、ＩＢＣモードの使用をシグナリングする既存のＶＶＣインターモードに対して、ブロックレベルの構文変更は必要ない。

ＩＢＣモードの特徴は以下の通りである：

○通常のインターモードとして扱われる。そのため、マージモードとスキップモードはＩＢＣモードでも使用できる。マージ候補リスト構成は統一され、ＩＢＣモードまたはＨＥＶＣインターモードのいずれかでコーディングされた隣接位置からのマージ候補を含む。選択されたマージインデックスに応じて、マージモードまたはスキップモードの現在のブロックは、ＩＢＣモードモード復号化された隣接ブロック、または、参照ピクチャとして異なるピクチャを有する通常のインターモードコーディングされたブロックのいずれかにマージできる。

○ＩＢＣモードのブロックベクトル予測およびコーディング方式は、ＨＥＶＣインターモード（ＡＭＶＰおよびＭＶＤコーディング）における動きベクトル予測およびコーディングに使用される方式を再利用する。

○ブロックベクトルとも呼ばれるＩＢＣモードの動きベクトルは整数ピクセル精度でコーディングされるが、補間および逆ブロック化（ｄｅｂｌｏｃｋｉｎｇ）段階で１／４ピクセル精度が要求されるので、復号後に１／１６ピクセル精度でメモリに保存される。ＩＢＣモードの動きベクトル予測で使用される場合、保存されたベクトル予測子は４だけ右シフトされる。

○サーチ範囲：現在のＣＴＵ内に制限される。

○アフィンモード／三角モード／ＧＢＩ／重み付き予測が有効になっている場合は、ＣＰＲを禁止される。

場合によっては、現在のマージ候補リスト内のあらかじめ定めた候補ペアを平均することによってペア別平均候補が生成され、あらかじめ定めたペアは｛（０，１）、（０，２）、（１，２）、（０，３）、（１，３）、（２，３）｝として定められる。ここで、数字はマージ候補リストへのマージインデックスを表す。平均化された動きベクトルは、各参照リストに対して別々に計算される。両方の動きベクトルが１つのリストにある場合、これらの２つの動きベクトルは、それらが異なる参照ピクチャを指している場合であっても平均される。１つの動きベクトルしか無い場合は、その１つの動きベクトルを直接使用し、動きベクトルがない場合は、このリストを無効のままにする。ペア平均候補は、ＨＥＶＣ標準の組み合わせ候補に取って代わる。２つのマージ候補のＭＶがＭＶ_０＝（ＭＶ_０ｘ，ＭＶ_０ｙ）、ＭＶ_１＝（ＭＶ_１ｘ，ＭＶ_１ｙ）であるとすると、ＭＶ^＊＝（ＭＶ^＊ _ｘ，ＭＶ^＊ _ｙ）と表されるペアのマージ候補のＭＶは以下のように導出される：

ＭＶ^＊ _ｘ＝（ＭＶ_０ｘ＋ＭＶ_１ｘ）／２、及び

ＭＶ^＊ _ｙ＝（ＭＶ_０ｙ＋ＭＶ_１ｙ）／２

また、ＭＶ_０、ＭＶ_１が現在のピクチャを参照している場合（すなわち、ＣＰＲモード）、ＭＶ^＊ _ｘ、ＭＶ^＊ _ｙはさらに丸められ、フルピクセルよりも高い精度の部分を取り除き、整数ＭＶが得られるようにする：

ＭＶ^＊ _ｘ＝（ＭＶ^＊ _ｘ／１６）＜＜４、及び

ＭＶ^＊ _ｙ＝（ＭＶ^＊ _ｙ／１６）＜＜４。

留意点として、各ペアについて、２つのうちの一方がＣＰＲコーディングされ、もう一方がＣＰＲコーディングされていない場合、そのようなペアはペア平均候補となることができない。

三角形予測モード（ＴＰＭ）の概念は、動き補償予測のための新しい三角形パーティションを導入することである。ＴＰＭは、ＣＵを対角方向または逆対角方向の２つの三角形予測ユニットに分割する。ＣＵの各三角予測ユニットは、単一の単予測候補リストから導出された独自の単予測動きベクトルと参照フレームインデックスとを用いて相互予測（ｉｎｔｅｒ－ｐｒｅｄｉｃｔｅｄ）される。三角形予測ユニットを予測した後、対角線エッジに対して適応的重み付けプロセスを実行する。次に、変換と量子化プロセスをＣＵ全体に適用する。留意点として、このモードはマージモードにのみ適用される（注：スキップモードは特別なマージモードとして扱われる）。
ＴＰＭの単予測候補リスト

ＴＰＭ動き候補リストと名付けた単予測候補リストは、５つの単予測動きベクトル候補から構成される。これは、５つの空間的隣接ブロックと２つの時間的コロケーション（ｃｏ－ｌｏｃａｔｅｄ）ブロックを含む７つの隣接ブロックから導出される。７つの隣接ブロックの動きベクトルを収集し、単予測候補リストに、単予測動きベクトル、双予測動きベクトルのＬ０動きベクトル、双予測動きベクトルのＬ１動きベクトル、および双予測動きベクトルのＬ０動きベクトルとＬ１動きベクトルの平均化された動きベクトルの順に入れる。候補の数が５未満の場合、動きベクトルはリストに追加されない。ＴＰＭのためにこのリストに追加された動き候補はＴＰＭ候補と呼ばれ、空間的／時間的ブロックから導出された動き情報はレギュラー動き候補と呼ばれる。

具体的には、以下のステップが含まれる：

（１） 剪定操作を行わずに、（レギュラーマージモードと同様に）Ａ１，Ｂ１，Ｂ０，Ａ０，Ｂ２，Ｃｏｌ，Ｃｏｌ２から、レギュラー動き候補を取得する。

（２）変数ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄ＝０と設定

（３）Ａ１，Ｂ１，Ｂ０，Ａ０，Ｂ２，Ｃｏｌ，Ｃｏｌ２と、５未満のｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄから導出された各レギュラー動き候補について、正規動き候補が単予測（Ｌｉｓｔ０またはＬｉｓｔ１のいずれか）である場合、ＴＰＭ候補としてマージリストに直接追加し、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄを１増加させる。このようなＴＰＭ候補は、「オリジナル単予測候補（ｏｒｉｇｉｎａｌｌｙ ｕｎｉ－ｐｒｅｄｉｃｔｅｄ ｃａｎｄｉｄａｔｅ）」と呼ぶ。

完全な剪定（ｐｒｕｎｉｎｇ）を適用する。

（４）Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２、Ｃｏｌ、Ｃｏｌ２及び５未満のｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄから導出された各動き候補は、正規動き候補が双予測である場合、Ｌｉｓｔ０からの動き情報が、新しいＴＰＭ候補としてＴＰＭマージリスト（すなわち、Ｌｉｓｔ０からの単予測に修正）に追加され、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが１増加される。このようなＴＰＭ候補は「剪定Ｌｉｓｔ０－予測候補」と命名される。

完全な剪定が適用される。

（５）Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２、Ｃｏｌ、Ｃｏｌ２から導出された、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが５未満である各動き候補に対し、レギュラー動き候補が双予測である場合、Ｌｉｓｔ１からの動き情報がＴＰＭマージリストに追加され（すなわち、Ｌｉｓｔ１からの単予測に修正され）、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが１増加される。このようなＴＰＭ候補は「剪定Ｌｉｓｔ１－予測候補」と呼ばれる。

完全な剪定が適用される。

（６）Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２、Ｃｏｌ、Ｃｏｌ２から導出された、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが５未満である各動き候補について、レギュラー動き候補が双予測である場合、Ｌｉｓｔ１の動き情報は最初にＬｉｓｔ０の参照ピクチャにスケーリングされ、２つのＭＶ（一方は元のＬｉｓｔ０から、他方はＬｉｓｔ１からスケーリングされたＭＶ）の平均をＴＰＭマージリストに加算する。そのような候補をＬｉｓｔ０の動き候補からの平均単予測と呼び、ｎｕｍＣｕｒｒｇｅＭｅｒＣａｎｄを１だけ増加させる。

完全な剪定が適用される。

（７）ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが５未満の場合、ゼロ動きベクトル候補が追加される。

候補をリストに挿入する際に、その候補が以前に追加された候補のうちの１つと同一であるかどうかを確認するために、その候補が以前に追加されたすべての候補と比較されなければならない場合、そのプロセスは完全剪定（ｆｕｌｌ ｐｒｕｎｉｎｇ）と呼ばれる。

スケール化されたＭＶを（ＭＶ_１’ｘ，ＭＶ_１’ｙ）で表し、リスト０のＭＶを（ＭＶ_０ｘ，ＭＶ_０ｙ）で表すと仮定する。（ＭＶ^＊ _ｘ，ＭＶ^＊ _ｙ）で示されるＬｉｓｔ０動き候補からの平均単予測は、次のように定義される：

ＭＶ^＊ _ｘ＝（ＭＶ_０ｘ＋ＭＶ_１’ｘ＋１）＞＞１

ＭＶ^＊ _ｙ＝（ＭＶ_０ｙ＋ＭＶ_１’ｙ＋１）＞＞１。

ＪＥＭにおけるアフィン予測のようないくつかの既存の実装では、各成分について独立して式（１）に示されるように、各サブブロックのＭＶがアフィンモデルを用いて計算され、これはルミナンス成分とクロミナンス成分との間の動きベクトルの位置ずれを生じさせる可能性がある。複数の成分の計算もまた、コーディングの非効率性をもたらす。いくつかの他の既存の実装では、Ｌｉｓｔ０動き候補からペアマージ候補／平均化単予測を導出するための動きベクトル平均化演算は、サブブロック予測で使用される丸め方法と整合する必要がある。したがって、統一された設計を取得することが望ましい。

本特許文献は、別の成分（例えばルミナンス成分）の一以上のサブブロックのＭＶから、１つの成分（例えばクロマ成分）のサブブロックのＭＶを計算する様々な実施形態で実施することができる技術を開示している。開示された技術は、異なる成分のＭＶを複数回決定する必要性を排除し、それによって、ビデオコーディング効率を改善する。また、開示の技術は、平均化演算および丸め方法に関して統一された設計を導入する。

そのような技術の使用は、種々の実施例について説明される以下の実施例において明らかになる。以下の例では、限定的に解釈してはならないが、Ｓｈｉｆｔ（ｘ，ｓ）はＳｈｉｆｔ（ｘ，ｓ）＝（ｘ＋ｏｆｆ）＞＞ｓと定義される。

ＳｉｇｎＳｈｉｆｔ（ｘ，ｓ）は以下のように定義される：

ここで、ｏｆｆは整数、例えば０または１＜＜（ｓ－１）である。

いくつかの実施形態において、１つの成分のサブブロックのＭＶは、別の成分の１以上のサブブロックのＭＶに基づいて導出することができる。ここで、別の成分の一以上のサブブロックのＭＶは、アフィンモデルで既に導出されている。このようにして、動き情報を複数導出する必要はない。

いくつかの実施形態では、ＨＥＶＣ標準は、ルミナンス成分（ｍｖと示される）中のＭＣのために使用されるＭＶから、クロミナンス成分（ｍｖＣと示される）中のＭＶを導出する方法を定める。一般に、ｍｖＣは、４：２：０または４：２：２のようなカラーフォーマットに依存する係数をｍｖに乗算することで計算される。図１０は、本技術に係るサブブロックの成分のＭＶを４：２：０フォーマットで導出する例を示す。この例では、ブロックサイズはＹ（ルミナンス成分）で１６×１６、Ｃｂ／Ｃｒ（クロミナンス成分）で８×８である。ルミナンス成分のサブブロックサイズは４×４であり、クロミナンス成分のサブブロックサイズは２×２である。ＭＶ^＊は最初にＹ成分中の４×４サブブロックに対して導出される。Ｃｂおよび／またはＣｒ成分中の２×２サブブロックのＭＶは、ＭＶ^＊に基づいて導出することができる。この特定の例では、ＭＶ^＊の値が最初にコピーされ、Ｃｂおよび／またはＣｒ成分中の２×２サブブロックのＭＶは、ＨＥＶＣ標準に従ってＭＶ^＊に基づいて計算される。

図１１は、本技術に従った、４：２：０フォーマットにおいてサブブロックの成分のＭＶを導出する別の例を示す。この例では、ブロックサイズはルミナンス成分で１６×１６、クロミナンス成分で８×８である。すべての成分のサブブロックサイズは４×４である。ＣｂまたはＣｒ成分の４×４サブブロックは、Ｙ成分の４×４サブブロックに対応する。ルミナンス成分のＭＶ^＊が最初に計算される。次に、ＣｂまたはＣｒ成分中の４×４サブブロックのＭＶが、ＨＥＶＣ標準に従ってＭＶ^＊に基づいて導出される。

いくつかの実施形態では、ＭＶ^＊は、Ｙ成分中の全ての対応するサブブロックＭＶの平均として計算される：ＭＶ^＊＝（ＭＶ_０＋ＭＶ_１＋ＭＶ_２＋ＭＶ_３）／４。ＭＶ^＊＝（ＭＶ^＊ _ｘ、ＭＶ^＊ _ｙ）、ＭＶ_０＝（ＭＶ_０ｘ、ＭＶ_０ｙ）、ＭＶ_１＝（ＭＶ_１ｘ、ＭＶ_１ｙ）、ＭＶ_２＝（ＭＶ_２ｘ、ＭＶ_２ｙ）、ＭＶ_３＝（ＭＶ_３ｘ、ＭＶ_３ｙ）とする。

いくつかの実施形態では、ＭＶ^＊ _ｘ＝Ｓｈｉｆｔ（ＭＶ_０ｘ＋ＭＶ_１ｘ＋ＭＶ_２ｘ＋ＭＶ_３ｘ，２）、ＭＶ^＊ｙ＝Ｓｈｉｆｔ（ＭＶ_０ｙ＋ＭＶ_１ｙ＋ＭＶ_２ｙ＋ＭＶ_３ｙ，２）である。いくつかの実施形態では、ＭＶ^＊ _ｘ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ_０ｘ＋ＭＶ_１ｘ＋ＭＶ_２ｘ＋ＭＶ_３ｘ，２）、ＭＶ^＊ _ｙ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ_０ｙ＋ＭＶ_１ｙ＋ＭＶ_２ｙ＋ＭＶ_３ｙ，２）である。

いくつかの実施形態では、ＭＶ^＊の計算は、以下の演算を使用して行うことができる：

１．ａ ＭＶ’_ｘ＝Ｓｈｉｆｔ（ＭＶ_０ｘ＋ＭＶ_１ｘ，１）

１．ｂ ＭＶ’_ｙ＝Ｓｈｉｆｔ（ＭＶ_０ｙ＋ＭＶ_１ｙ，１）、

１．ｃ ＭＶ’’_ｘ＝Ｓｈｉｆｔ（ＭＶ_２ｘ＋ＭＶ_３ｘ，１），

１．ｄ ＭＶ’’_ｙ＝Ｓｈｉｆｔ（ＭＶ_２ｙ＋ＭＶ_３ｙ，１）

１．ｅ ＭＶ^＊ _ｘ ＝Ｓｈｉｆｔ（ＭＶ’_ｘ＋ＭＶ’’_ｘ，１）、

１．ｆ ＭＶ^＊ _ｙ ＝Ｓｈｉｆｔ（ＭＶ’_ｙ＋ＭＶ’’_ｙ，１）

いくつかの実施形態では、ＭＶ^＊の計算は、以下の演算を使用して行うことができる：

２．ａ ＭＶ’_ｘ＝Ｓｈｉｆｔ（ＭＶ_０ｘ＋ＭＶ_２ｘ，１）

２．ｂ ＭＶ’_ｙ＝Ｓｈｉｆｔ（ＭＶ_０ｙ＋ＭＶ_２ｙ，１）

２．ｃ ＭＶ’’_ｘ＝Ｓｈｉｆｔ（ＭＶ_１ｘ＋ＭＶ_３ｘ，１）

２．ｄ ＭＶ’’_ｙ＝Ｓｈｉｆｔ（ＭＶ_１ｙ＋ＭＶ_３ｙ，１）

２．ｅ ＭＶ^＊ _ｘ ＝Ｓｈｉｆｔ（ＭＶ’_ｘ＋ＭＶ’’_ｘ，１）、

２．ｆ ＭＶ^＊ _ｙ ＝Ｓｈｉｆｔ（ＭＶ’_ｙ＋ＭＶ’’_ｙ，１）

いくつかの実施形態において、ＭＶ^＊の計算は、以下の演算を使用して行うことができる：

３．ａ ＭＶ’_ｘ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ_０ｘ＋ＭＶ_１ｘ，１）

３．ｂ ＭＶ’_ｙ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ_０ｙ＋ＭＶ_１ｙ，１）

３．ｃ ＭＶ’’_ｘ ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ_２ｘ＋ＭＶ_３ｘ，１）

３．ｄ ＭＶ’’_ｙ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ_２ｙ＋ＭＶ_３ｙ，１），

３．ｅ ＭＶ^＊ _ｘ ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ’_ｘ＋ＭＶ’’_ｘ，１）

３．ｆ ＭＶ^＊ _ｙ ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ’_ｙ＋ＭＶ’’_ｙ，１）。

いくつかの実施形態において、ＭＶ^＊の計算は、以下の演算を使用して行うことができる：

４．ａ ＭＶ’_ｘ ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ_０ｘ＋ＭＶ_２ｘ，１）

４．ｂ ＭＶ’_ｙ ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ_０ｙ＋ＭＶ_２ｙ，１）

４．ｃ ＭＶ’’_ｘ ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ_１ｘ＋ＭＶ_３ｘ，１）

４．ｄ ＭＶ’’_ｙ ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ_１ｙ＋ＭＶ_３ｙ，１）

４．ｅ ＭＶ^＊ _ｘ ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ’_ｘ＋ＭＶ’’_ｘ，１）

４．ｆ ＭＶ^＊ _ｙ ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ’_ｙ＋ＭＶ’’_ｙ，１）。

いくつかの実施態様において、ＭＶ^＊は、Ｙ成分中の左上サブブロックのＭＶ（例えば、図１１に示されるようなＭＶ０）に基づいて計算される。いくつかの実施態様において、ＭＶ^＊は、Ｙ成分における中心サブブロックのＭＶに基づいて計算される。いくつかの実施態様において、ＭＶ^＊は、Ｙ成分中の全ての対応するサブブロックの中央値ＭＶに基づいて計算される。図１１に示すこの特定の例では、ＭＶ^＊＝ｍｅｄｉａｎ（ＭＶ_０、ＭＶ_１、ＭＶ_２、ＭＶ_３）である。

いくつかの実施形態では、色成分のサブブロックのＭＶの導出は、４：２：０、４：２：２および／または４：４：４などの色フォーマットに基づいて決定することができる。例えば、色フォーマットが４：４：４の場合、サブサンプリングは行われない。ビデオデータのブロック内のサブブロックサイズとサブブロック数は、すべての成分で同じである。ある成分のサブブロックのＭＶは、別の成分の対応するサブブロックのＭＶと同じである。

別の例として、カラーフォーマットが４：２：２の場合、サブブロックのサイズは、すべての成分について同じにしてもよく、一方、ブロックの数は、成分が異なれば異なってもよい。ルミナンス成分のＭＶ^＊は、まずいくつかの対応するサブブロックのＭＶに基づいて計算される。次いで、ＣｂまたはＣｒ成分中の対応するサブブロックのＭＶ（ｓ）をＭＶ^＊から導出する。

図１２は、本技術によるサブブロックの成分のＭＶを導出するさらに別の例を示す。この例では、ブロックサイズはルミナンス成分で１６×１６、クロミナンス成分で８×１６である。すべての成分のサブブロックサイズは４×４である。ＣｂまたはＣｒ成分の４×４サブブロックは、Ｙ成分の２つの４×４サブブロックに相当する。ルミナンス成分のＭＶ^＊をまず計算する。次に、ＣｂまたはＣｒ成分中の４×４サブブロックのＭＶを、ＨＥＶＣ標準に従ってＭＶ^＊に基づいて導出する。

いくつかの実施態様において、ＭＶ^＊は、Ｙ成分中の全ての対応するサブブロックＭＶの平均として計算される：ＭＶ^＊＝（ＭＶ_０＋ＭＶ_１）／２。ＭＶ^＊＝（ＭＶ^＊ _ｘ、ＭＶ^＊ _ｙ）、ＭＶ_０＝（ＭＶ_０ｘ、ＭＶ_０ｙ）、ＭＶ_１＝（ＭＶ_１ｘ、ＭＶ_１ｙ）とする。

いくつかの実施態様において、ＭＶ^＊ _ｘ＝Ｓｈｉｆｔ（ＭＶ_０ｘ＋ＭＶ_１ｘ，１）、ＭＶ^＊ _ｙ＝Ｓｈｉｆｔ（ＭＶ_０ｙ＋ＭＶ_１ｙ，１）である。いくつかの実施態様において、ＭＶ^＊ _ｘ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ_０ｘ＋ＭＶ_１ｘ，１）、ＭＶ^＊ _ｙ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ_０ｙ＋ＭＶ_１ｙ，１）である。

図１３は、本技術の一以上の実施形態によるビデオ符号化のための例示的方法１３００のフローチャートである。方法１３００は、動作１３１０において、現在のビデオブロックの第１の成分を第１サブブロックセットに分割することを含む。方法１３００は、動作１３２０において、現在のビデオブロックの第２の成分を第２サブブロックセットに分割することを含む。第２の成分のサブブロックは、第１の成分の一以上のサブブロックに対応する。また、方法１３００は、動作１３３０において、現在のビデオブロックのカラーフォーマットに基づいて、第２の成分のサブブロックの動きベクトルを、第１のカラー成分の一以上の対応するサブブロックの動きベクトルに基づいて導出することを含む。

図１４は、本技術の一以上の実施形態によるビデオ符号化のための別の例示的方法１４００のフローチャートである。方法１４００は、動作１４１０において、第１の成分および少なくとも第２の成分を含むビデオデータのブロックを受信することを含む。第１の成分は、第１サブブロックセットに分割され、第２の成分は、第２サブブロックセットに分割される。第２の成分のサブブロックは、第１の成分の一以上のサブブロックに対応する。方法１４００は、動作１４２０において、ビデオデータのブロックのカラーフォーマットに基づいて、第２の成分のサブブロックの動きベクトルを、第１のカラー成分の一以上の対応するサブブロックの動きベクトルに基づいて導出することを含む。方法１４００は、動作１４３０において、導出された動きベクトルに基づいて、ビデオデータのブロックを再構成するか、または同じピクチャ内のビデオデータの他のブロックを復号することを含む。

いくつかの実施態様において、第２の成分のサブブロックは、第１の成分のサブブロックに対応する。例えば、これらの２つのサブブロックは、ピクチャ内で空間的にコロケーション（ｃｏ－ｌｏｃａｔｅｄ）されてもよい。方法１３００または１４００は、さらに、第１の成分のサブブロックの動きベクトルをコピーすることにより、中間動きベクトルセットを計算し、中間動きベクトルセットに係数を適用して、導出された動きベクトルを取得することを含む。前記係数は、カラーフォーマットに関連付けられる。

いくつかの実施態様において、カラーフォーマットは、４：４：４ではなく（例えば、４：２：２又は４：２：０であり）、第１サブブロックセットのうちの少なくとも１つのサブブロックのサイズは、第２サブブロックセットのうちの少なくとも１つのサブブロックのサイズとは異なる。いくつかの実施態様において、カラーフォーマットは、４：４：４であり、第１サブブロックセットのうちの少なくとも１つのサブブロックのサイズは、第２サブブロックセットのうちの少なくとも１つのサブブロックのサイズと同じである。

いくつかの実施態様において、カラーフォーマットは、４：４：４ではなく、第１サブブロックセットのうちの少なくとも１つのサブブロックのサイズは、第２サブブロックセットのうちの少なくとも１つのサブブロックのサイズと同一である。第２の成分のサブブロックは、第１の成分の複数のサブブロックに対応する。いくつかの実施態様において、第２の成分のサブブロックの動きベクトルのうちの少なくとも１つは、第１の成分の複数のサブブロックの対応する動きベクトルの平均に基づいて導出される。

いくつかの実装では、第２の成分のサブブロックは、第１の成分の４つのサブブロックに対応する。４つのサブブロックは、それぞれ、動きベクトルＭＶ_０＝（ＭＶ_０ｘ、ＭＶ_０ｙ）、ＭＶ_１＝（ＭＶ_１ｘ、ＭＶ_１ｙ）、ＭＶ_２＝（ＭＶ_２ｘ、ＭＶ_２ｙ）およびＭＶ_３＝（ＭＶ_３ｘ、ＭＶ_３ｙ）を有する。方法１３００または１４００は、中間動きベクトルセットＭＶ^＊＝（ＭＶ^＊ _ｘ、ＭＶ^＊ _ｙ）を、ＭＶ^＊ _ｘ＝Ｓｈｉｆｔ（ＭＶ_０ｘ＋ＭＶ_１ｘ＋ＭＶ_２ｘ＋ＭＶ_３ｘ，２）及びＭＶ^＊ _ｙ＝Ｓｈｉｆｔ（ＭＶ_ｙ０＋ＭＶ_ｙ１＋ＭＶ_ｙ２＋ＭＶ_ｙ３，２）として計算するステップを含む。Ｓｈｉｆｔ（ｘ，ｓ）＝（ｘ＋ｏｆｆ）≫ｓであり、ｏｆｆおよびｓは整数であり、＞＞は右シフト演算を表す。また、方法１３００または１４００は、中間動きベクトルセットに係数を適用して、導出された動きベクトルを取得することを含み、前記係数は、カラーフォーマットに関連付けられる。

いくつかの実装では、第２の成分のサブブロックは、第１の成分の４つのサブブロックに対応する。４つのサブブロックは、それぞれ、動きベクトルＭＶ_０＝（ＭＶ_０ｘ、ＭＶ_０ｙ）、ＭＶ_１＝（ＭＶ_１ｘ、ＭＶ_１ｙ）、ＭＶ_２＝（ＭＶ_２ｘ、ＭＶ_２ｙ）およびＭＶ_３＝（ＭＶ_３ｘ、ＭＶ_３ｙ）を有する。方法１３００または１４００は、中間動きベクトルセットＭＶ^＊＝（ＭＶ^＊ _ｘ、ＭＶ^＊ _ｙ）をＭＶ^＊ _ｘ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ_０ｘ＋ＭＶ_１ｘ＋ＭＶ_２ｘ＋ＭＶ_３ｘ，２）及びＭＶ^＊ _ｙ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ_０ｙ＋ＭＶ_１ｙ＋ＭＶ_２ｙ＋ＭＶ_３ｙ，２）として計算することを含む。ここで、ＳｉｇｎＳｈｉｆｔ（ｘ，ｓ）＝（ｘ＋ｏｆｆ）≫ｓ（ｘ≧０のとき）または－（（－ｘ＋ｏｆｆ）≫ｓ）（ｘ＜０のとき）であり、ｏｆｆおよびｓは整数であり、＞＞はシフト演算を表す。また、方法１３００または１４００は、中間動きベクトルセットに係数を適用して、導出した動きベクトルを取得することを含み、前記係数は、カラーフォーマットに関連付けられる。

いくつかの実装では、第２の成分のサブブロックは、第１の成分の４つのサブブロックに対応する。４つのサブブロックは、それぞれ、動きベクトルＭＶ_０＝（ＭＶ_０ｘ、ＭＶ_０ｙ）、ＭＶ_１＝（ＭＶ_１ｘ、ＭＶ_１ｙ）、ＭＶ_２＝（ＭＶ_２ｘ、ＭＶ_２ｙ）およびＭＶ_３＝（ＭＶ_３ｘ、ＭＶ_３ｙ）を有する。方法１３００または１４００は、中間動きベクトルセットＭＶ^＊＝（ＭＶ^＊ _ｘ、ＭＶ^＊ _ｙ）を、ＭＶ^＊ _ｘ＝Ｓｈｉｆｔ（ＭＶ’_ｘ＋ＭＶ’’_ｘ，１）及びＭＶ^＊ _ｙ＝Ｓｈｉｆｔ（ＭＶ’_ｙ＋ＭＶ’’_ｙ，１）として計算することを含み、ここでＭＶ’_ｘ＝Ｓｈｉｆｔ（ＭＶ_０ｘ＋ＭＶ_１ｘ，１）、ＭＶ’_ｙ＝Ｓｈｉｆｔ（ＭＶ_０ｙ＋ＭＶ_１ｙ，１）、ＭＶ’’_ｘ＝Ｓｈｉｆｔ（ＭＶ_２ｘ＋ＭＶ_３ｘ，１）及びＭＶ’’_ｙ＝Ｓｈｉｆｔ（ＭＶ_２ｙ＋ＭＶ_３ｙ，１）であり、Ｓｈｉｆｔ（ｘ，ｓ）＝（ｘ＋ｏｆｆ）≫ｓであり、ｏｆｆおよびｓは整数であり、＞＞は右シフト演算を表す。また、方法１３００または１４００は、中間動きベクトルセットに係数を適用して、派生した動きベクトルを取得することを含み、前記係数は、カラーフォーマットに関連付けられる。

いくつかの実装では、第２の成分のサブブロックは、第１の成分の４つのサブブロックに対応する。４つのサブブロックは、それぞれ、動きベクトルＭＶ_０＝（ＭＶ_０ｘ、ＭＶ_０ｙ）、ＭＶ_１＝（ＭＶ_１ｘ、ＭＶ_１ｙ）、ＭＶ_２＝（ＭＶ_２ｘ、ＭＶ_２ｙ）およびＭＶ_３＝（ＭＶ_３ｘ、ＭＶ_３ｙ）を有する。方法１３００または１４００は、中間動きベクトルセットＭＶ^＊＝（ＭＶ^＊ _ｘ、ＭＶ^＊ _ｙ）を、ＭＶ^＊ _ｘ＝Ｓｈｉｆｔ（ＭＶ’_ｘ＋ＭＶ’’_ｘ，１）、ＭＶ^＊ _ｙ＝Ｓｈｉｆｔ（ＭＶ’_ｙ＋ＭＶ’’_ｙ，１）、ＭＶ’_ｘ＝Ｓｈｉｆｔ（ＭＶ_０ｘ＋ＭＶ_２ｘ，１）、ＭＶ’_ｙ＝Ｓｈｉｆｔ（ＭＶ_０ｙ＋ＭＶ_２ｙ，１）、ＭＶ’’_ｘ＝Ｓｈｉｆｔ（ＭＶ_１ｘ＋ＭＶ_３ｘ，１）、ＭＶ’’_ｙ＝Ｓｈｉｆｔ（ＭＶ_１ｙ＋ＭＶ_３ｙ，１）として計算することを含み、Ｓｈｉｆｔ（ｘ，ｓ）＝（ｘ＋ｏｆｆ）≫ｓであり、ｏｆｆおよびｓは整数であり、＞＞は右シフト演算を表す。また、方法１３００または１４００は、中間動きベクトルセットに係数を適用して、導出された動きベクトルを取得することを含み、前記係数はカラーフォーマットに関連付けられる。

いくつかの実装では、第２の成分のサブブロックは、第１の成分の４つのサブブロックに対応する。４つのサブブロックは、それぞれ、動きベクトルＭＶ_０＝（ＭＶ_０ｘ、ＭＶ_０ｙ）、ＭＶ_１＝（ＭＶ_１ｘ、ＭＶ_１ｙ）、ＭＶ_２＝（ＭＶ_２ｘ、ＭＶ_２ｙ）およびＭＶ_３＝（ＭＶ_３ｘ、ＭＶ_３ｙ）を有する。方法１３００または１４００は、中間動きベクトルセットＭＶ^＊＝（ＭＶ^＊ _ｘ、ＭＶ^＊ _ｙ）を、ＭＶ^＊ _ｘ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ’_ｘ＋ＭＶ’’_ｘ，１）、ＭＶ^＊ _ｙ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ’_ｙ＋ＭＶ’’_ｙ，１）、ＭＶ’_ｘ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ_０ｘ＋ＭＶ_１ｘ，１）、ＭＶ’_ｙ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ_０ｙ＋ＭＶ_１ｙ，１）、ＭＶ’’_ｘ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ_２ｘ＋ＭＶ_３ｘ，１）、ＭＶ’’_ｙ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ_２ｙ＋ＭＶ_３ｙ，１）として計算することを含み、ＳｉｇｎＳｈｉｆｔ（ｘ，ｓ）＝（ｘ＋ｏｆｆ）≫ｓ（ｘ≧０のとき）または－（（－ｘ＋ｏｆｆ）≫ｓ）（ｘ＜０のとき）であり、ｏｆｆおよびｓは整数であり、＞＞はシフト演算を表す。また、方法１３００または１４００は、中間動きベクトルセットに係数を適用して、導出された動きベクトルを取得することを含み、前記係数はカラーフォーマットに関連付けられる。

いくつかの実装では、第２の成分のサブブロックは、第１の成分の４つのサブブロックに対応する。４つのサブブロックは、それぞれ、動きベクトルＭＶ_０＝（ＭＶ_０ｘ、ＭＶ_０ｙ）、ＭＶ_１＝（ＭＶ_１ｘ、ＭＶ_１ｙ）、ＭＶ_２＝（ＭＶ_２ｘ、ＭＶ_２ｙ）およびＭＶ_３＝（ＭＶ_３ｘ、ＭＶ_３ｙ）を有する。方法１３００または１４００は、中間動きベクトルセットＭＶ^＊＝（ＭＶ^＊ _ｘ、ＭＶ^＊ _ｙ）を、ＭＶ^＊ _ｘ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ’_ｘ＋ＭＶ’’_ｘ，１）、ＭＶ^＊ _ｙ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ’_ｙ＋ＭＶ’’_ｙ，１）、ＭＶ’_ｘ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ_０ｘ＋ＭＶ_２ｘ，１）、ＭＶ’_ｙ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ_０ｙ＋ＭＶ_２ｙ，１）、ＭＶ’’_ｘ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ_１ｘ＋ＭＶ_３ｘ，１）、ＭＶ’’_ｙ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ_１ｙ＋ＭＶ_３ｙ，１）として計算することを含み、ＳｉｇｎＳｈｉｆｔ（ｘ，ｓ）＝（ｘ＋ｏｆｆ）≫ｓ（ｘ≧０のとき）または－（（－ｘ＋ｏｆｆ）≫ｓ）（ｘ＜０のとき）であり、ｏｆｆおよびｓは整数であり、＞＞はシフト演算を表す。また、方法１３００または１４００は、中間動きベクトルセットに係数を適用し、導出した動きベクトルを取得することを含み、前記係数はカラーフォーマットに関連付けられる。

いくつかの実装では、第２の成分のサブブロックは、第１の成分の２つのサブブロックに対応する。２つのサブブロックは、それぞれ、動きベクトルＭＶ_０＝（ＭＶ_０ｘ、ＭＶ_０ｙ）およびＭＶ_１＝（ＭＶ_１ｘ、ＭＶ_１ｙ）を有する。方法１３００または１４００は、中間動きベクトルセットＭＶ^＊＝（ＭＶ^＊ _ｘ、ＭＶ^＊ _ｙ）を、ＭＶ^＊ _ｘ＝Ｓｈｉｆｔ（ＭＶ_０ｘ＋ＭＶ_１ｘ，１）及びＭＶ^＊ _ｙ＝Ｓｈｉｆｔ（ＭＶ_ｙ０＋ＭＶ_ｙ１，１）として計算することを含み、Ｓｈｉｆｔ（ｘ，ｓ）＝（ｘ＋ｏｆｆ）≫ｓであり、ｏｆｆおよびｓは整数であり、＞＞は右シフト演算を表す。また、方法１３００または１４００は、中間動きベクトルセットに係数を適用して、導出した動きベクトルを取得することを含み、前記係数はカラーフォーマットに関連付けられる。

いくつかの実装では、第２の成分のサブブロックは、第１の成分の２つのサブブロックに対応する。２つのサブブロックは、それぞれ、動きベクトルＭＶ_０＝（ＭＶ_０ｘ、ＭＶ_０ｙ）およびＭＶ_１＝（ＭＶ_１ｘ、ＭＶ_１ｙ）を有する。

方法１３００または１４００は、中間動きベクトルセットＭＶ^＊＝（ＭＶ^＊ _ｘ、ＭＶ^＊ _ｙ）をＭＶ^＊ _ｘ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ_０ｘ＋ＭＶ_１ｘ，１）及びＭＶ^＊ _ｙ＝ＳｉｇｎＳｈｉｆｔ（ＭＶ_ｙ０＋ＭＶ_ｙ１，１）として計算することを含み、ＳｉｇｎＳｈｉｆｔ（ｘ，ｓ）＝（ｘ＋ｏｆｆ）≫ｓ（ｘ≧０のとき）又は－（（－ｘ＋ｏｆｆ）≫ｓ（ｘ＜０のとき）である。

ここで、ｏｆｆとｓは整数であり、＞＞はシフト演算を表す。また、方法１３００または１４００は、中間動きベクトルセットに係数を適用し、導出された動きベクトルを取得することを含み、前記係数はカラーフォーマットに関連付けられる。

いくつかの実施形態では、方法１３００または１４００は、さらに、第１の成分の複数のサブブロックのうちの選択されたサブブロックの動きベクトルに基づいて、中間動きベクトルセットを計算することと、前記中間動きベクトルセットに係数を適用して、導出された動きベクトルを取得することとを含む。係数はカラーフォーマットに関連付けられる。幾つかの実装形態では、選択されたサブブロックは、第１の成分の複数のサブブロックの左上サブブロックである。いくつかの実装では、選択されたサブブロックは、第１の成分の複数のサブブロックの中心サブブロックである。

いくつかの実施形態では、方法１３００または１４００は、第１の成分の複数のサブブロックの動きベクトルの中央値に基づいて中間動きベクトルセットを計算することと、中間動きベクトルセットに係数を適用して、導出された動きベクトルを取得することとを含み、前記係数はカラーフォーマットに関連付けられる。

いくつかの実施形態では、係数の適用は、高効率ビデオコーディング（ＨＥＶＣ）標準で規定されている。

上述の例は、ビデオデコーダおよび／またはビデオエンコーダで実装されてもよい、以下に述べる方法、例えば、方法１３００および１４００のコンテキストに組み込むことができる。

図１５は、本開示の技術の様々な部分（方法１３００および方法１４００を含むが、これらに限定されない）を実装するために利用可能な例示的符号化装置１５００を示すブロック図である。符号化装置１５００は、入力データビットを圧縮する量子化器１５０５を含む。符号化装置１５００はまた、データビットをメモリ１５２５に供給できるように逆量子化器１５１５と、動き予測をする予測器１５２０とを含む。符号化装置１５００は、さらに、符号化されたバイナリコードを生成するバイナリエンコーダ１５３０を含む。

図１６は、本開示の技術の様々な部分（方法１３００および方法１４００を含むが、これらに限定されない）を実装するために利用可能な例示的符号化装置１６００を示すブロック図である。復号装置１６００は、バイナリ符号を復号するバインダリデコーダ１６０５を含む。復号装置１６００はまた、復号されたデータビットをメモリ１６２５に供給するように逆量子化器１６１５と、復号側で動き推定を行う予測器１６２０とを含む。

図１７は、本開示の技術の様々な部分（方法１３００および方法１４００を含むが、これらに限定されない）を実装するために利用可能な、コンピュータシステムまたは他の制御装置１７００のアーキテクチャの一例を示すブロック図である。図１７において、コンピュータシステム１７００は、相互接続１７２５を介して接続された一以上のプロセッサ１７０５およびメモリ１７１０を含む。相互接続１７２５は、適切なブリッジ、アダプタ、またはコントローラによって接続された、任意の一以上の別個の物理バス、ポイントツーポイント接続、またはその両方を表すことができる。従って、相互接続１７２５は、例えば、システムバス、Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ（ＰＣＩ）バス、ハイパートランスポートまたはｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ（ＩＳＡ）バス、ｓｍａｌｌ ｃｏｍｐｕｔｅｒ ｓｙｓｔｅｍ ｉｎｔｅｒｆａｃｅ（ＳＣＳＩ）バス、ユニバーサルシリアルバス（ＵＳＢ）、ＩＩＣ（Ｉ２Ｃ）バス、または「ファイアワイヤ」と呼ばれることもあるＩｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ（ＩＥＥＥ）標準６７４バスを含んでもよい。

プロセッサ１７０５は、例えばホストコンピュータの全体的な動作を制御する中央処理装置を含んでいてもよい。特定の実施形態では、プロセッサ１７０５は、メモリ１７１０に格納されたソフトウェアまたはファームウェアを実行することによって、これを達成する。プロセッサ１７０５は、一以上のプログラマブル汎用または専用マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、プログラマブルコントローラ、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイスなど、またはこれらのデバイスの組み合わせであってもよく、またはこれらを含んでもよい。

メモリ１７１０は、コンピュータシステムのメインメモリであってもよく、またはそれを含むこともできる。メモリ１７１０は、ランダムアクセスメモリ、リードオンリーメモリ、フラッシュメモリなど、またはこれらの装置の組み合わせの任意の好適な形態を表す。使用において、メモリ１７１０は、特に、プロセッサ１７０５によって実行されると、プロセッサ１７０５に、本開示の技術の実施形態を実施する動作を実行させる一組の機械命令を含んでいてもよい。

また、相互接続１７２５を介してプロセッサ１７０５に接続されるのは、（オプションの）ネットワークアダプタ１７１５である。ネットワークアダプタ１７１５は、ストレージクライアントおよび／または他のストレージサーバなどのリモートデバイスと通信する能力をコンピュータシステム１７００に提供し、例えば、イーサネットアダプタまたはファイバチャネルアダプタであってもよい。

図１８は、本開示の技術の種々の部分（方法１６００を含むが、これに限定されない）を実装するために利用可能な、モバイル装置１８００の例示的実施形態のブロック図を示す。モバイル装置１８００は、ラップトップ、スマートフォン、タブレット、カムコーダ、またはビデオを処理可能な他の種類の装置であり得る。モバイル装置１８００は、データを処理するためのプロセッサまたはコントローラ１８０１と、データを格納および／またはバッファするための、プロセッサ１８０１と通信するメモリ１８０２とを含む。例えば、プロセッサ１８０１は、中央処理装置（ＣＰＵ）またはマイクロコントローラ装置（ＭＣＵ）を含むことができる。いくつかの実装では、プロセッサ１８０１はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含むことができる。いくつかの実施態様では、移動装置１８００は、スマートフォン装置の種々の視覚的及び／又は通信データ処理機能のために、グラフィックス処理ユニット、ビデオ処理ユニット、及び／又は無線通信ユニットを含むか、又はそれらと通信している。例えば、メモリ１８０２は、プロセッサ１８０１によって実行されると、例えば情報、コマンド、および／またはデータの受信、処理情報およびデータの処理、および処理情報／データの他のデバイス、例えばアクチュエータまたは外部ディスプレイへの送信または提供などの種々の操作を実行するように、モバイルデバイス１８００を構成するプロセッサ実行可能コードを含み、記憶することができる。

移動装置１８００の種々の機能をサポートするために、メモリ１８０２は、命令、ソフトウェア、値、画像、およびプロセッサ１８０１によって処理または参照される他のデータなどの情報およびデータを格納することができる。例えば、種々のタイプのランダムアクセスメモリ（ＲＡＭ）デバイス、リードオンリーメモリ（ＲＯＭ）デバイス、フラッシュメモリデバイス、および他の適切な記憶媒体を使用して、メモリ１８０２の記憶機能を実現することができる。いくつかの実施態様では、モバイル装置１８００は、プロセッサ１８０１および／またはメモリ１８０２を他のモジュール、ユニットまたは装置にインターフェースする入出力（Ｉ／Ｏ）ユニット１８０３を含む。例えば、Ｉ／Ｏユニット１８０３は、プロセッサ１８０１およびメモリ１８０２をインタフェースして、例えばクラウド内の一以上のコンピュータとユーザ装置との間のような、典型的なデータ通信標準と互換性のある種々のタイプの無線インタフェースを利用することができる。いくつかの実施態様では、モバイル装置１８００は、入出力ユニット１８０３を介した有線接続を使用して、他の装置とインターフェースすることができる。モバイル装置１８００はまた、データ記憶装置および／またはビジュアルまたはオーディオ表示装置１８０４のような他の外部インターフェースとインターフェースして、プロセッサによって処理され得る、メモリに記憶され得る、または表示装置１８０４の出力ユニットまたは外部装置に表示され得るデータおよび情報を読み出しおよび転送することができる。例えば、表示装置１８０４は、ブロックが動き補償アルゴリズムを用いて、及び本開示の技術によって符号化されるかどうかに基づいてブロック内コピーを適用するブロック（ＣＵ、ＰＵまたはＴＵ）を含むビデオフレームを表示することができる。

以上から、言うまでもなく、本明細書において、説明の目的で、本開示の技術の特定の実施形態を説明したが、本発明の範囲を逸脱することなく、種々の修正を行うことができる。従って、本開示の技術は、添付した特許請求の範囲による場合を除き、限定されない。

この特許文献に記載されている主題の実装および機能動作は、本明細書に開示されている構造およびそれらの構造的等価物を含む、種々のシステム、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、もしくはハードウェアにおいて、またはそれらの一以上の組み合わせにおいて実施することができる。本明細書に記載された主題の実装は、一以上のコンピュータプログラム製品、すなわち、データ処理装置による、またはデータ処理装置の動作を制御するための、有形および非一時的コンピュータ読み取り可能媒体上に符号化されたコンピュータプログラム命令の一以上のモジュールとして実装することができる。コンピュータ読取可能媒体は、機械読取可能記憶装置、機械読取可能記憶サブストレート、メモリ装置、機械読取可能伝搬信号に影響を与える物質の組成、またはそれらの一以上の組み合わせであり得る。用語「データ処理ユニット」または「データ処理装置」は、例えば、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサまたはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を包含する。装置は、ハードウェアに加えて、問題のコンピュータプログラムの実行環境を生成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらの一以上の組み合わせを構成するコードを含むことができる。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる）は、コンパイルまたは解釈される言語を含む、任意の形態のプログラミング言語で書くことができ、それは、スタンドアロンプログラムとして、またはコンピューティング環境での使用に適したモジュール、コンポーネント、サブルーチン、または他のユニットを含む、任意の形態で展開することができる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するものではない。プログラムは、他のプログラムまたはデータを保持するファイルの一部分（例えば、マークアップ言語文書に記憶される一以上のスクリプト）、問題のプログラム専用の単一ファイル、または複数の調整されたファイル（例えば、一以上のモジュール、サブプログラム、またはコードの一部分を記憶するファイル）に記憶することができる。コンピュータプログラムは、１つのコンピュータまたは１つのサイトに配置されるか、または複数のサイトに分散され、通信ネットワークによって相互接続される複数のコンピュータ上で実行されるようにデプロイすることができる。

本明細書に記載されるプロセスおよび論理フローは、入力データ上で動作し、出力を生成することによって機能を実行するために、一以上のコンピュータプログラムを実行する一以上のプログラマブルプロセッサによって実行することができる。プロセスおよび論理フローはまた、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）のような特殊目的論理回路によって実行することができ、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）のような特殊目的論理回路として装置を実装することができる。

コンピュータプログラムの実行に適したプロセッサは、例えば、汎用および専用マイクロプロセッサの両方、および任意の種類のデジタルコンピュータの任意の一以上のプロセッサを含む。一般に、プロセッサは、読み出し専用メモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの必須要素は、命令を実行するプロセッサと、命令およびデータを記憶する一以上のメモリデバイスである。一般に、コンピュータはまた、データを記憶するための一以上の大容量記憶装置、例えば、磁気ディスク、磁気光ディスク、または光ディスクを含み、またはデータを受信または転送したりするために動作可能に結合される。しかし、コンピュータは、そのような装置を有する必要はない。コンピュータプログラム命令及びデータを記憶するのに適したコンピュータ読取可能媒体は、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイスのような半導体メモリデバイスを含む、あらゆる形態の不揮発性メモリ、媒体及びメモリデバイスを含む。プロセッサおよびメモリは、特殊目的論理回路によって補足されるか、またはそれに組み込まれ得る。

明細書は、図面と共に、単に例示的とみなされるが、例示は一例を意味する。本明細書中で使用されるように、単数形「ａ」、「ａｎ」および「ｔｈｅ」は、文脈が他に明確に示さない限り、複数形も含むことを意図している。さらに、「ｏｒ」の使用は、文脈が他に明確に示さない限り、「ａｎｄ／ｏｒ」を含むことを意図している。

この特許文献には多くの詳細が含まれているが、これらは、いずれかの発明の範囲または特許請求されることができるものを限定するものではなく、特定の発明の特定の実施形態に特有の特徴の説明と解釈されるべきである。別々の実施形態の文脈でこの特許文献に記載されている特徴は、単一の実施形態で組み合わせて実施することもできる。逆に、単一の実施形態の文脈において説明される種々の特徴は、複数の実施形態において別々に、または任意の適切なサブコンビネーションで実施することもできる。さらに、特徴は、特定の組み合わせにおいて作用するものとして上述され、最初にそのようにクレームされてもよいが、クレームされた組み合わせからの１又は複数の特徴は、場合によっては、組み合わせから切り出されてもよく、クレームされた組み合わせは、サブコンビネーション又はサブコンビネーションのバリエーションに向けられ得る。

同様に、図面には特定の順序で動作が示されているが、これは、所望の結果を達成するために、このような動作を図示した特定の順序でまたはシーケンス順序で実行すること、または、例示されたすべての動作を実行することを要求するものとして理解されるべきではない。さらに、この特許文献に記載されている実施形態における種々のシステムコンポーネントの分離は、すべての実施形態においてこのような分離を必要とするものとして理解されるべきではない。

少数の実施形態および例のみを記述し、他の実施形態、拡張およびバリエーションは、この特許文献に記載され、例示されていることに基づいて行われ得る。

Claims (14)

1. ビデオデータを処理する方法であって、
   ルミナンスブロックと、少なくとも１つのクロミナンスブロックとを含むビデオの現在のビデオユニットと、前記ビデオのビットストリームとの間の変換中に、アフィンモードに基づいて前記ルミナンスブロックの制御点の動きベクトルを決定することと、
   前記ルミナンスブロックをルミナンスサブブロックに分割することと、
   前記少なくとも１つのクロミナンスブロックのうちのクロミナンスブロックをクロミナンスサブブロックに分割することと、
   前記制御点の動きベクトルに基づいて各ルミナンスサブブロックのルミナンス動きベクトルを決定することと、
   複数のルミナンスサブブロックのルミナンス動きベクトルと現在のビデオユニットのカラーフォーマットとに基づいて、各クロミナンスサブブロックのクロミナンス動きベクトルを導出することと、
   各ルミナンスサブブロックのルミナンス動きベクトルに基づいて前記ルミナンスブロックを再構成することとを含み、
   前記クロミナンスブロックは、少なくとも１つの第１のクロミナンスグループを含み、前記第１のクロミナンスグループは、現在のビデオユニットのカラーフォーマットに従って２つまたは４つのクロミナンスサブブロックを含み、前記第１のクロミナンスグループに含まれるクロミナンスサブブロックの動きベクトルは同じである、
   方法。
2. 前記第１のクロミナンスグループに含まれるクロミナンスサブブロックの動きベクトルは、中間動きベクトルにスケーリング係数を適用することに基づいて導出される、請求項１に記載の方法。
3. 前記第１のクロミナンスグループは、前記カラーフォーマットが４：２：２である場合には２つのクロミナンスサブブロックを含み、前記２つのクロミナンスサブブロックに対応する２つのルミナンスサブブロックは、それぞれ、動きベクトルＭＶ０およびＭＶ１を有し、前記中間動きベクトルＭＶ＊は、前記ＭＶ０および前記ＭＶ１に基づいて導出される、請求項２に記載の方法。
4. 前記中間動きベクトルが、前記ＭＶ０及び前記ＭＶ１にオフセットに基づく平均化演算を適用することに基づいて導出される、請求項３に記載の方法。
5. 前記中間動きベクトルＭＶ＊＝Ｓｈｉｆｔ（ＭＶ０＋ＭＶ１，１）であって、Ｓｈｉｆｔ（ｘ，１）＝（ｘ＋ｏｆｆｓｅｔ）＞＞１であり、オフセットが０または１に等しく、かつ＞＞は右シフト演算を表す、
   請求項４に記載の方法。
6. 前記第１のクロミナンスグループは、前記カラーフォーマットが４：２：０である場合に４つのクロミナンスサブブロックを含み、
   ４つのルミナンスサブブロックのうちの左上のものは動きベクトルＭＶ０を有し、
   前記４つのルミナンスサブブロックのうちの右上のものは動きベクトルＭＶ１を有し、前記４つのルミナンスサブブロックのうちの左下のものは動きベクトルＭＶ２を有し、前記４つのルミナンスサブブロックのうちの右下のものは動きベクトルＭＶ３を有し、前記４つのルミナンスサブブロックは前記４つのクロミナンスサブブロックに対応し、前記中間動きベクトルＭＶ＊は、少なくとも前記ＭＶ０および前記ＭＶ３に基づいて導出される、請求項２ないし５のいずれか一項に記載の方法。
7. 前記中間動きベクトルは、少なくとも前記ＭＶ０及びＭＶ３にオフセットベースの平均演算を適用することに基づいて導出される、請求項６に記載の方法。
8. 前記第１のクロミナンスグループに含まれるクロミナンスサブブロックの動きベクトルに基づいて前記クロミナンスブロックを再構成することをさらに含む、
   請求項１ないし７のいずれか一項に記載の方法。
9. 前記第１のクロミナンスグループのユニットの前記クロミナンスブロックを再構成する、請求項８に記載の方法。
10. 前記変換は、現在のビデオユニットを前記ビットストリームに符号化することを含む、請求項１ないし９のいずれか一項に記載の方法。
11. 前記変換は、前記ビットストリームから現在のビデオユニットを復号することを含む、請求項１ないし９のいずれか一項に記載の方法。
12. プロセッサと、命令を格納した非一時メモリとを備える、ビデオデータを処理する装置であって、前記命令は、前記プロセッサにより実行されると、前記プロセッサに、
    ルミナンスブロックと、少なくとも１つのクロミナンスブロックとを含むビデオの現在のビデオユニットと、前記ビデオのビットストリームとの間の変換中に、アフィンモードに基づいて前記ルミナンスブロックの制御点の動きベクトルを決定させ、
    前記ルミナンスブロックをルミナンスサブブロックに分割させ、
    前記少なくとも１つのクロミナンスブロックのうちのクロミナンスブロックをクロミナンスサブブロックに分割させ、
    前記制御点の動きベクトルに基づいて各ルミナンスサブブロックのルミナンス動きベクトルを決定させ、
    複数のルミナンスサブブロックのルミナンス動きベクトルと現在のビデオユニットのカラーフォーマットとに基づいて、各クロミナンスサブブロックのクロミナンス動きベクトルを導出させ、
    各ルミナンスサブブロックのルミナンス動きベクトルに基づいて前記ルミナンスブロックを再構成させ、
    前記クロミナンスブロックは、少なくとも１つの第１のクロミナンスグループを含み、前記第１のクロミナンスグループは、現在のビデオユニットのカラーフォーマットに従って２つまたは４つのクロミナンスサブブロックを含み、前記第１のクロミナンスグループに含まれるクロミナンスサブブロックの動きベクトルは同じである、
    装置。
13. 命令を格納した非一時的コンピュータ可読記憶媒体であって、前記命令は、
    プロセッサに
    ルミナンスブロックと、少なくとも１つのクロミナンスブロックとを含むビデオの現在のビデオユニットと、前記ビデオのビットストリームとの間の変換中に、アフィンモードに基づいて前記ルミナンスブロックの制御点の動きベクトルを決定させ、
    前記ルミナンスブロックをルミナンスサブブロックに分割させ、
    前記少なくとも１つのクロミナンスブロックのうちのクロミナンスブロックをクロミナンスサブブロックに分割させ、
    前記制御点の動きベクトルに基づいて各ルミナンスサブブロックのルミナンス動きベクトルを決定させ、
    複数のルミナンスサブブロックのルミナンス動きベクトルと現在のビデオユニットのカラーフォーマットとに基づいて、各クロミナンスサブブロックのクロミナンス動きベクトルを導出させ、
    各ルミナンスサブブロックのルミナンス動きベクトルに基づいて前記ルミナンスブロックを再構成させ、
    前記クロミナンスブロックは、少なくとも１つの第１のクロミナンスグループを含み、前記第１のクロミナンスグループは、現在のビデオユニットのカラーフォーマットに従って２つまたは４つのクロミナンスサブブロックを含み、前記第１のクロミナンスグループに含まれるクロミナンスサブブロックの動きベクトルは同じである、
    非一時的コンピュータ可読記憶媒体。
14. ビデオ処理装置によって実行される方法によって生成されるビデオのビットストリームを記憶する非一時的なコンピュータ可読記録媒体であって、前記方法は、
    ルミナンスブロックと、少なくとも１つのクロミナンスブロックとを含むビデオの現在のビデオユニットと、前記ビデオのビットストリームとの間の変換中に、アフィンモードに基づいて前記ルミナンスブロックの制御点の動きベクトルを決定することと、
    前記ルミナンスブロックをルミナンスサブブロックに分割することと、
    前記少なくとも１つのクロミナンスブロックのうちのクロミナンスブロックをクロミナンスサブブロックに分割することと、
    前記制御点の動きベクトルに基づいて各ルミナンスサブブロックのルミナンス動きベクトルを決定することと、
    複数のルミナンスサブブロックのルミナンス動きベクトルと現在のビデオユニットのカラーフォーマットとに基づいて、各クロミナンスサブブロックのクロミナンス動きベクトルを導出することと、
    前記決定すること、及び分割することに基づいて前記ビットストリームを生成することであって、前記変換は各ルミナンスサブブロックのルミナンス動きベクトルに基づいてルミナンスブロックを再構成することを含み、
    前記クロミナンスブロックは、少なくとも１つの第１のクロミナンスグループを含み、前記第１のクロミナンスグループは、現在のビデオユニットのカラーフォーマットに従って２つまたは４つのクロミナンスサブブロックを含み、前記第１のクロミナンスグループに含まれるクロミナンスサブブロックの動きベクトルは同じである、
    非一時的なコンピュータ可読記録媒体。

Images