Nothing Special   »   [go: up one dir, main page]

JP7572499B2 - Lut更新の起動 - Google Patents

Lut更新の起動 Download PDF

Info

Publication number
JP7572499B2
JP7572499B2 JP2023072498A JP2023072498A JP7572499B2 JP 7572499 B2 JP7572499 B2 JP 7572499B2 JP 2023072498 A JP2023072498 A JP 2023072498A JP 2023072498 A JP2023072498 A JP 2023072498A JP 7572499 B2 JP7572499 B2 JP 7572499B2
Authority
JP
Japan
Prior art keywords
motion
candidates
motion candidate
block
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023072498A
Other languages
English (en)
Other versions
JP2023099078A (ja
Inventor
リー ジャン
カイ ジャン
ホンビン リウ
ユエ ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2023099078A publication Critical patent/JP2023099078A/ja
Application granted granted Critical
Publication of JP7572499B2 publication Critical patent/JP7572499B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/533Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/567Motion estimation based on rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

関連出願の相互参照
本願は、2019年1月10日出願の国際特許出願第PCT/CN2019/071214号の優先権および利益を張する、2020年1月10日出願の国際特許出願第PCT/CN2020/071332号に基づく特願2021-539078の分割出願である国際出願第PCT/CN2019/071214号の開示全体は、本明細書の開示の一部として参照により援用される。
本特許明細書は、映像コーディング技術、デバイスおよびシステムに関する。
映像圧縮の進歩にもかかわらず、デジタル映像は、依然として、インターネット及び他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像の受信及び表示が可能な接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。
本書は、動きベクトルのマージリストを使用してデジタル映像を符号化および復号化するための方法、システム、およびデバイスを開示する。
一つの例示的な態様において、映像処理方法が開示される。この方法は、1つまたは複数の動き候補テーブルを維持することと、動き候補テーブルを用いたシーケンスにおける複数の映像処理動作を用いて、映像の現在の映像ブロックと前記現在の映像ブロックのコーディングされた表現との間の変換を実行することと、特定の処理動作が完了したことに起因して前記動き候補テーブルを更新することと、を含む。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、1つまたは複数の動き候補テーブルを維持することと、コーディングモード、寸法、映像処理データユニット、または低遅延チェックを含む現在の映像ブロックの特徴に基づいて、i)この1つまたは複数の動き候補テーブルの1つの動き候補テーブルを更新するかどうか、またはii)この動き候補テーブルをどのように更新するかの少なくとも一方を決定することと、前記決定に基づいて、映像の現在の映像ブロックと前記映像のコーディングされた表現との間の変換を実行することと、を含む。
さらに別の例示的な態様において、本明細書で説明される映像符号化方法を実装する映像エンコーダデバイスが開示される。
さらに別の代表的な態様では、本明細書で説明される様々な技法は、非一時的なコンピュータ可読媒体に記憶されるコンピュータプログラム製品として実施され得る。このコンピュータプログラム製品は、本明細書に記載の方法を実行するためのプログラムコードを含む。
さらに別の代表的な態様において、映像デコーダ装置は、本明細書で説明されるような方法を実装してもよい。
1つ以上の実装形態の詳細は、添付の添付ファイル、図面、および以下の説明に記載されている。他の特徴は、説明および図面、並びに特許請求の範囲の記載から明らかとなろう。
映像エンコーダの実装形態の例を示すブロック図である。 H.264映像コーディング規格におけるマクロブロックの分割を示す。 コーディングブロック(CB:Coding Block)を予測ブロック(PU:Prediction Block)に分割する例を示す。 CTBをCBおよび変換ブロック(TB)に細分するための例示的な実装形態を示す。実線はCB境界を示し、点線はTB境界を示し、その分割を含むCTBの例、および対応する4分木を含む。 映像データを分割するための4分木2分木(QTBT:Quad Tree Binary Tree)構造の一例を示す。 映像ブロックの分割の例を示す。 4分木の分割の例を示す。 ツリー型信号通知の例を示す。 マージ候補リスト構築のための導出処理の一例を示す。 空間的マージ候補の位置の例を示す。 空間的マージ候補の冗長性チェックに考慮される候補対の例を示す。 N×2Nおよび2N×N分割の第2のPUの位置の例を示す。 時間的マージ候補のための動きベクトルのスケーリングを示す。 時間的マージ候補の候補位置とその同一位置(co-located)のピクチャを示す。 結合双方向予測マージ候補の例を示す。 動きベクトル予測候補の導出処理の例を示す。 空間的動きベクトル候補のための動きベクトルのスケーリングの例を示す。 CUの動き予測のための例示的なATMVP(Alternative Temporal Motion Prediction)を示す。 ソースブロックおよびソースピクチャの識別の一例を示す。 4つのサブブロックおよび近傍のブロックを有する1つのCUの例を示す。 バイラテラルマッチングの例を示す。 テンプレートマッチングの例を示す。 FRUC(Frame Rate Up Conversion)におけるユニラテラル動き推定(ME:Motion Estimation)の例を示す。 バイラテラルテンプレートマッチングに基づくDMVRの例を示す。 空間的マージ候補を導出するために使用する空間的に近傍のブロックの例を示す。 ルックアップテーブルの更新のための代表的な位置の選択方法の一例を示す。 新しい動き情報のセットでルックアップテーブルを更新する例を示す。 新しい動き情報のセットでルックアップテーブルを更新する例を示す。 本願に記載されるビジュアルメディアの復号化またはビジュアルメディアの符号化技術を実現するためのハードウェアプラットフォームの例を示す。 本願に記載されるビジュアルメディアの復号化またはビジュアルメディアの符号化技術を実現するためのハードウェアプラットフォームの例を示す。 開示される技術のいくつかの実装形態に基づく、映像処理方法のフローチャートの一例である。 開示される技術のいくつかの実装形態に基づく、映像処理方法のフローチャートの一例である。 提案されたHMVP方法による復号化フローチャートの一例を示す。 提案されたHMVP方法を用いたテーブルの更新の例を示す。 冗長性除去に基づくLUT更新方法(1つの冗長性動き候補を除去する)の例を示す。 冗長性除去に基づくLUT更新方法(1つの冗長性動き候補を除去する)の例を示す。 冗長性除去に基づくLUT更新方法(複数の冗長性動き候補を除去する)の例を示す。 冗長性除去に基づくLUT更新方法(複数の冗長性動き候補を除去する)の例を示す。
映像の圧縮率を改良するために、研究者らは、映像を符号化する新しい技術を絶えず求めている。
1.導入
本明細書は、映像コーディング技術に関する。具体的には、映像コーディングにおける動き情報のコーディング(例えば、マージモード、AMVPモード)に関する。本発明は、HEVCのような既存の映像符号化規格またはファイナライズされるべき規格(Versatile Video Coding)に適用され得る。本発明は、将来の映像コーディング規格または映像コーデックにも適用可能である。
簡単な説明
映像コーディング規格は、主に周知のITU-T及びISO/IEC規格の開発によって発展してきた。ITU-TはH.261とH.263を、ISO/IECはMPEG-1とMPEG-4 Visualを、両団体はH.262/MPEG-2 VideoとH.264/MPEG-4 AVC(Advanced Video Coding)とH.265/HEVC規格を共同で作成した。H.262以来、映像コーディング規格は、時間的予測プラス変換コーディングが利用されるハイブリッド映像符号化構造に基づく。典型的なHEVCエンコーダフレームワークの一例を図1に示す。
2.1 分割構造
2.1.1 H.264/AVCにおける分割ツリー構造
以前の規格におけるコーディング層のコアは、16×16ブロックの輝度サンプルを含み、また、通常の4:2:0カラーサンプリングの場合、2つの対応する8×8ブロックの彩度サンプル含むマクロブロックであった。
イントラ符号化ブロックは、画素間の空間的相関を利用するために空間予測を使用する。2つの分割を規定する。16×16および4×4である。
インター符号化ブロックは、ピクチャ間の動きを推定することで、空間的予測の代わりに時間予測を用いる。動きは、16×16マクロブロックまたはそのサブマクロブロック分割のいずれかに対して独立して推定できる。16×8、8×16、8×8、8×4、4×8、4×4(図2参照)。1つのサブマクロブロック分割当たり1つの動きベクトル(MV:Motion Vector)のみが許可される。
2.1.2 HEVCにおける分割ツリー構造
HEVCにおいて、CTUは、様々な局所的特徴に適応するように、コーディングツリー(coding tree)と呼ばれる4分木構造を用いてCUに分割される。インターピクチャ(時間的)予測またはイントラピクチャ(空間的)予測を使用した、ピクチャ領域をコーディングするかどうかの決定は、CUレベルで行われる。各CUは、PU分割タイプに応じて1つ、2つまたは4つのPUに更に分割することができる。1つのPUの内部では、同じ予測処理が適用され、PU単位で関連情報がデコーダに送信される。PU分割タイプに基づく予測処理を適用して残差ブロックを得た後、CUのための符号化ツリーに類似した別の4分木構造に基づいて、CUを変換ユニット(TU:Transform Unit)に分割することができる。HEVC構造の重要な特徴の1つは、CU、PU、TUを含む複数の分割概念を有することである。
以下、HEVCを使用したハイブリッド映像コーディングに関連する様々な特徴に焦点を当てる。
1)コーディングツリーユニットおよびコーディングツリーブロック(CTB:Coding Tree Block)構造。HEVCにおける類似した構造は、コーディングツリーユニット(CTU:Coding Tree Unit)であり、このコーディングツリーユニットは、エンコーダによって選択されたサイズを有し、従来のマクロブロックよりも大きくてもよい。CTUは、輝度CTBと、対応する彩度CTBおよび構文要素とからなる。輝度CTBのサイズL×Lは、L=16、32、または64個のサンプルとして選択することができ、より大きいサイズは、一般的に、より優れた圧縮を有効にする。HEVCは、次いで、ツリー構造および4分木のような信号通知を使用して、CTBをより小さなブロックに分割することをサポートする。
2)コーディングユニット(CU:Coding Unit)およびコーディングブロック(CB:Coding Block):CTUの4分木の構文は、その輝度および彩度のCBのサイズおよび位置を指定する。4分木のルートはCTUに関連付けられる。従って、輝度CTBのサイズは、輝度CBに対してサポートされる最大のサイズである。CTUを輝度CBおよび彩度CBに分割することは、共に信号通知されることである。1つの輝度CBおよび通常2つの彩度CBは、関連する構文と共に、1つのコーディングユニット(CU:Coding Unit)を形成する。CTBは、1つのCUのみを含んでもよく、または複数のCUを形成するように分割されてもよく、各CUは、それに関連付けられた予測ユニット(PU:Prediction Unit)への分割と、1つの変換ユニット(TU:Tree Unit)のツリーとを有する。
3)予測ユニットおよび予測ブロック(PB:Prediction Block):インターピクチャまたはイントラピクチャ予測を使用してピクチャ領域をコーディングするかどうかの決定は、CUレベルで行われる。PUの分割構造は、そのルートがCUレベルにある。基本的な予測タイプの決定に基づいて、次に、輝度CBおよび彩度CBのサイズをさらに分割し、輝度および彩度予測ブロック(PB)から予測することができる。HEVCは、64×64から4×4までの可変PBサイズのサンプルをサポートする。図3は、M×MのCUのための許可されたPBの例を示す。
4)TUおよび変換ブロック:予測残差は、ブロック変換を使用してコーディングされる。TUツリー構造は、そのルートがCUレベルにある。この輝度CB残差は、輝度変換ブロック(TB)と同一であってもよいし、小さな輝度TBにさらに分割されてもよい。彩度TBについても同様である。正方形のTBサイズ4×4、8×8、16×16、および32×32に対して、離散コサイン変換(DCT)の整数基底関数に類似した整数基底関数が規定される。輝度イントラピクチャ予測残差の4×4変換のために、離散サイン変換(DST)の形式から導出される整数変換が代替的に指定される。
図4は、CTBをCB[及び変換ブロック(TB)]に細分する例を示す。実線はCB境界を示し、点線はTB境界を示す。(a)CTBとその分割。(b)対応する4分木。
2.1.2.1変換ブロックおよびユニットへのツリー構造の分割
残差コーディングの場合、CBは、変換ブロック(TB)に再帰的に分割することができる。この分割は、残差4分木によって信号通知される。図4に示すように、1つのブロックを再帰的に象限に分割することができるように、正方形のCBおよびTBの分割のみを指定する。サイズM×Mの所与の輝度CBに対して、フラグは、それがサイズM/2×M/2の4つのブロックに分割されるかどうかを信号通知する。さらなる分割が可能である場合、SPSに示される残留4分木の最大深さによって信号通知されるように、各象限には、それが4つの象限に分割されているかどうかを示すフラグが割り当てられる。残差4分木の結果得られる葉ノードブロックは、変換コーディングによってさらに処理される変換ブロックである。エンコーダは、それが使用することになる最大輝度TBサイズおよび最小輝度TBサイズを示す。CBサイズが最大TBサイズよりも大きい場合、分割は非明示的に行われる。分割により、示された最小値よりも小さい輝度TBサイズとなる場合、分割を行わないことが、非明示的に行われる。輝度TBサイズが4×4である場合を除き、彩度TBサイズは、各寸法において輝度TBサイズの半分であり、この場合、4つの4×4輝度TBによって覆われる領域には1つの4×4彩度TBが使用される。イントラピクチャ予測CUの場合、最近の近傍のTB(CB内またはCB外)の復号サンプルが、イントラピクチャ予測のための参照データとして用いられる。
従来の規格とは対照的に、HEVC設計により、インターピクチャ予測CUのために1つのTBが複数のPBにまたがることが可能となり、4分木構造のTBの分割の潜在的なコーディング効率の利点が最大となる。
2.1.2.2 親子ノード
CTBは、4分木構造に基づいて分割され、そのノードはコーディングユニットである。4分木構造における複数のノードは、葉ノード及び非葉ノードを含む。葉ノードは、木構造内に子ノードを有していない(すなわち、葉ノードはそれ以上分割されていない)。非葉ノードは、ツリー構造のルートノードを含む。ルートノードは、映像データの最初の映像ブロック(例えば、CTB)に対応する。複数のノードのうちのそれぞれの非ルートノードごとに、それぞれの非ルートノードにおいて、それぞれの非ルートノードのツリー構造における親ノードに対応する映像ブロックのサブブロックである映像ブロックに対応する。複数の非葉ノードの各非葉ノードは、ツリー構造において1つ以上の子ノードを有する。
2.1.3 JEMにおけるより大きいCTUを有する4分木+2分木ブロック構造
HEVCを超えた将来の映像コーディング技術を探索するため、2015年には、VCEGとMPEGが共同でJVET(Joint Video Exploration Team)を設立した。それ以来、多くの新しい方法がJVETによって採用され、JEM(Joint Exploration Model)と呼ばれる参照ソフトウェアに組み込まれてきた。
2.1.3.1 QTBTブロックの分割構造
HEVCとは異なり、QTBT構造は、複数の分割タイプの概念を削除する。すなわち、CU、PU、TUのコンセプトの切り離しを取り除き、CU分割の形状の柔軟性を向上させる。QTBTブロック構造において、CUは正方形または長方形のいずれかを有することができる。図5に示すように、まず、コーディングツリーユニット(CTU:Coding Tree Unit)を4分木構造で分割する。4分木の葉ノードは、2分木構造によってさらに分割される。2分木の分割には、対称水平分割と対称垂直分割の2つの分割タイプがある。2分木の葉ノードは、コーディングユニット(CU)と呼ばれ、このセグメント化は、それ以上の分割を行うことなく、予測及び変換処理に使用される。これは、QTBTコーディングブロック構造において、CU、PUおよびTUが同じブロックサイズを有することを意味する。JEMにおいて、CUは、異なる色成分のコーディングブロック(CB)からなり、例えば、4:2:0彩度フォーマットのPおよびBスライスの場合、1つのCUは1つの輝度CBおよび2つの彩度CBを含み、また、CUはしばしば単一の成分のCBからなり、例えば、1つのCUは、1つの輝度CBのみを含み、1つのCUは、1つの輝度CBのみ、またはIスライスの場合、2つの彩度CBのみを含む。
QTBT分割スキームに対して以下のパラメータを規定する。
-CTUのサイズ:1つの4分木のルートノードのサイズ、HEVCと同じ概念
-MinQTSize:最小許容の4分木の葉ノードサイズ
-MaxBTSize:最大許容の2分木ルートノードサイズ
-MaxBTDepth:最大許容の2分木の深さ
-MinBTSize:最小許容の2分木の葉ノードのサイズ
QTBTの分割構造の一例において、CTUのサイズを、2つの対応する64×64ブロックの彩度サンプルを有する128×128の輝度サンプルとして設定し、MinQTSizeを16×16として設定し、MaxBTSizeを64×64として設定し、MinBTSize(幅および高さの両方について)を4×4として設定し、MaxBTDepthを4として設定する。4分木分割は、まずCTUに適用され、4分木の葉ノードを生成する。4分木の葉ノードは、16×16(すなわち、MinQTSize)から128×128(すなわち、CTUサイズ)までのサイズを有することが可能である。4分木の葉ノードが128×128である場合、サイズがMaxBTSize(すなわち、64×64)を超えるため、2分木によってさらに分割されない。そうでない場合、4分木の葉ノードは、2分木によってさらに分割されてもよい。従って、この4分木葉ノードは、2分木のルートノードでもあり、その2分木深さは0である。2分木の深さがMaxBTDepth(すなわち、4)に達した場合、それ以上の分割は考慮されない。2分木のノードの幅がMinBTSize(すなわち、4)に等しい場合、それ以上の水平分割は考慮されない。同様に、2分木のノードの高さがMinBTSizeに等しい場合、それ以上の垂直分割は考慮されない。2分木の葉ノードは、さらに分割することなく、予測および変換処理によってさらに処理される。JEMにおいて、最大CTUサイズは、256×256個の輝度サンプルである。
図5(左)はQTBTを用いたブロックの分割の例を示し、図5(右)は対応するツリー表現を示す。実線は4分木の分割を表し、点線は2分木の分割を表す。2分木の各分割(すなわち、非葉)ノードにおいて、1つのフラグが、どの分割タイプ(すなわち、水平または垂直)が使用されるかを示すために信号通知される。ここで、0は、水平分割を表し、1は、垂直分割を表す。4分木の分割の場合、4分木の分割は常にブロックを水平および垂直に分割し、等分したサイズの4つのサブブロックを生成するため、分割タイプを示す必要がない。
さらに、QTBT方式は、輝度および彩度が別個のQTBC構造を有する能力をサポートする。現在、PおよびBスライスの場合、1つのCTUにおける輝度および彩度CTBは、同じQTBT構造を共有する。しかしながら、Iスライスの場合、輝度CTBはQTBT構造によってCUに分割され、彩度CTBは別のQTBT構造によって彩度CUに分割される。これは、Iスライスにおける1つのCUが1つの輝度成分のコーディングブロックまたは2つの彩度成分のコーディングロックからなり、PまたはBスライスにおける1つのCUが3つの色成分すべてのコーディングブロックからなることを意味する。
HEVCにおいて、小さなブロックのためのインター予測は、動き補償のメモリアクセスを低減するために制限され、その結果、4×8および8×4ブロックのために双方向予測はサポートされず、4×4ブロックのためにインター予測はサポートされない。JEMのQTBTにおいて、これらの制限は取り除かれる。
2.1.4 VVCの3分木
4分木および2分木以外のツリータイプがサポートされる。本実装形態において、図6(d)、(e)に示すように、3分木(TT)分割を2つ以上、すなわち、水平および垂直中心側の3分木を導入する。
図6は、(a)4分木分割、(b)垂直2分木分割、(c)水平2分木分割、(d)垂直中心側3分木分割、(e)水平中心側3分木分割を示す。
ツリーのレベルは2つあり、領域ツリー(4分木)と予測ツリー(2分木または3分木)である。CTUは、まず、領域ツリー(RT:Region Tree)によって分割される。RT葉は、予測ツリー(PT:Prediction Tree)によってさらに分割されてもよい。PT葉はまた、最大PT深さに達するまで、PTでさらに分割されてもよい。PT葉が基本コーディングユニットである。便宜上、ここでもCUと呼ぶ。1つのCUをさらに分割することはできない。予測および変換は両方ともJEMと同様にCUに適用される。分割構造全体を「マルチタイプツリー」と呼ぶ。
2.1.5 分割構造
この応答で使用されるツリー構造は、マルチツリータイプ(Multi-Tree Type:MTT)と呼ばれ、QTBTを一般化したものである。QTBTにおいて、図5に示すように、コーディングツリーユニット(CTU:Coding Tree Unit)が、まず、4分木構造で分割される。4分木の葉ノードは、2分木構造によってさらに分割される。
MTTの基本構造は、2つのタイプのツリーノードを構成する。図7に示すように、領域ツリー(RT:Region Tree)および予測ツリー(PT:Prediction Tree)は、9つのタイプの分割をサポートする。
図7は、(a)4分木分割、(b)垂直2分木分割、(c)水平2分木分割、(d)垂直3分木分割、(e)水平3分木分割、(f)水平上方非対称2分木分割、(g)水平下方非対称2分木分割、(h)垂直左非対称2分木分割、(i)垂直右非対称2分木分割を示す。
領域ツリーは、1つのCTUを4×4サイズの領域ツリーの葉ノードになるように正方形のブロックに再帰的に分割することができる。領域ツリーにおける各ノードにおいて、予測ツリーは、2分木(BT:Bynary Tree)、3分木(TT:Ternary Tree)、および非対称2分木(ABT:Asymmetric Binary Tree)の3つのツリータイプのうちの1つから形成することができる。PT分割において、予測ツリーの枝に4分木の分割を有することは禁止される。JEMにおけるように、輝度ツリーおよび彩度ツリーは、I個のスライスに分けられる。RTおよびPTの信号通知方法を図8に示す。
2.2 HEVC/H.265におけるインター予測
各インター予測されたPUは、1つまたは2つの参照ピクチャリストのための動きパラメータを有する。動きパラメータは、動きベクトル及び参照ピクチャインデックスを含む。2つの参照ピクチャリストのうちの1つの参照ピクチャリストの使用は、inter_pred_idcを使用して信号通知されてもよい。動きベクトルは、予測因子に対する差分として明確にコーディングされてもよく、このようなコーディングモードは、AMVPモードと呼ばれる。
1つのCUがスキップモードでコーディングされる場合、1つのPUがこのCUに関連付けられ、有意な残差係数がなく、コーディングされた動きベクトル差分も参照ピクチャインデックスもない。マージモードを指定し、これにより、現在のPUのための動きパラメータを、空間的及び時間的候補を含む近傍のPUから取得する。マージモードは、スキップモードのためだけでなく、任意のインター予測されたPUに適用することができる。マージモードの代替としては、動きパラメータの明確な送信であり、各参照ピクチャリストおよび参照ピクチャリストの使用に対応する参照ピクチャインデックスに対応する動きベクトルをPUごとに明確に信号通知することである。
2つの参照ピクチャリストのうちの1つを使用することを信号通知が示す場合、サンプルのうちの1つのブロックからPUが生成される。これを「単一予測」と呼ぶ。単一予測は、Pスライス及びBスライスの両方に利用可能である。
両方の参照ピクチャリストを使用することを信号通知が示す場合、サンプルのうちの2つのブロックからPUが生成される。これを「双方向予測」と呼ぶ。Bスライスのみに双方向予測が利用可能である。
以下、HEVCに規定されるインター予測モードについて詳細に説明する。まず、マージモードについて説明する。
2.2.1 マージモード
2.2.1.1 マージモードの候補の導出
マージモードを使用してPUを予測する場合、ビットストリームからマージ候補リストにおけるエントリを指すインデックスを構文解析し、これを使用して動き情報を検索する。このリストの構成は、HEVC規格で規定されており、以下のステップのシーケンスにしたがってまとめることができる。
・ステップ1:初期候補導出
oステップ1.1:空間的候補の導出
oステップ1.2:空間的候補の冗長性チェック
oステップ1.3:時間的候補の導出
・ステップ2:追加候補の挿入
oステップ2.1:双方向予測候補の作成
oステップ2.2:動きゼロ候補の挿入
これらのステップは図9にも概略的に示されている。空間的マージ候補の導出のために、5つの異なる位置にある候補の中から最大4つのマージ候補を選択する。時間的マージ候補の導出のために、2つの候補の中から最大1つのマージ候補を選択する。デコーダ側ではPUごとに一定数の候補を想定しているので、候補数がスライスヘッダで信号通知されるマージ候補の最大数(MaxNumMergeCand)に達しない場合、追加候補が生成される。候補の数は一定であるので、最良マージ候補のインデックスは、短縮された単項2値化(TU:truncated Unary binarization)を使用してコーディングされる。CUのサイズが8に等しい場合、現在のCUのすべてのPUは、2N×2Nの予測ユニットのマージ候補リストと同じ1つのマージ候補リストを共有する。
以下、上述したステップに関連付けられた動作を詳しく説明する。
2.2.1.2 空間的候補の導出
空間的マージ候補の導出において、図10に示す位置にある候補の中から、最大4つのマージ候補を選択する。導出の順序はA、B、B、A、Bである。位置A、B、B、AのいずれかのPUが利用可能でない場合(例えば、別のスライスまたはタイルに属しているため)、またはイントラ符号化された場合にのみ、位置B2が考慮される。位置Aの候補を加えた後、残りの候補の追加は、冗長性チェックの対象となり、それにより、同じ動き情報を有する候補を確実にリストから排除でき、コーディング効率を向上させることができる。計算の複雑性を低減するために、前述の冗長性チェックにおいて、考えられる候補対のすべてを考慮することはしない。代わりに、図11において矢印でリンクされた対のみを考慮し、冗長性チェックに使用される対応する候補が同じ動き情報を有していない場合にのみ、その候補をリストに加える。重複した動き情報の別のソースは、2N×2Nとは異なる分割に関連付けられた「第2のPU」である。一例として、図12は、それぞれN×2Nおよび2N×Nの場合の第2のPUを示す。現在のPUをN×2Nに分割する場合、リスト構築に位置Aの候補は考慮されない。実際、この候補を加えることにより、双方向予測ユニットが同じ動き情報を有するようになり、1つのコーディングユニットに1つのPUのみを有することは冗長である。同様に、現在のPUを2N×Nに分割する場合、位置Bは考慮されない。
2.2.1.3 時間的候補の導出
このステップにおいて、1つの候補のみがリストに追加される。具体的には、この時間的マージ候補の導出において、所与の参照ピクチャリストにおける現在のピクチャとの間に最小のPOC差を有するピクチャに属する同一位置(co-located)PUに基づいて、スケーリングされた動きベクトルを導出する。スライスヘッダにおいて、同一位置PUの導出に使用される参照ピクチャリストが明確に信号通知される。図13に点線で示すように、時間的マージ候補のスケーリングされた動きベクトルが得られる。これは、POC距離tb及びtdを利用して、同一位置PUの動きベクトルからスケーリングしたものである。tbは、現在のピクチャの参照ピクチャと現在のピクチャのPOC差として規定され、tdは、同一位置PUの参照ピクチャと同一位置ピクチャのPOC差として規定する。時間的マージ候補の参照ピクチャインデックスをゼロに等しく設定する。このスケーリング処理の実際的な実現については、HEVC仕様に記載されている。Bスライスの場合、2つの動きベクトル、すなわち、1つは参照ピクチャリスト0のためのもの、もう1つは参照ピクチャリスト1のためのもの、を取得し、これらを組み合わせることによって、双方向予測マージ候補を形成する。時間的マージ候補のための動きベクトルのスケーリングの説明。
参照フレームに属する同一位置PU(Y)において、図6に示すように、候補Cと候補Cとの間で時間的候補の位置を選択する。位置CのPUが利用可能でない場合、イントラ符号化されている場合、または現在のCTUの外側にある場合、位置Cが使用される。そうでない場合、位置Cが時間的マージ候補の導出に使用される。
2.2.1.4 追加候補の挿入
空間的-時間的マージ候補の他に、2つの追加のタイプのマージ候補、すなわち、結合双方向予測マージ候補およびゼロマージ候補がある。空間的-時間的マージ候補を利用して、結合双方向予測マージ候補を生成する。結合双方向予測マージ候補は、Bスライスのみに使用される。最初の候補の第1の参照ピクチャリスト動きパラメータと別の候補の第2の参照ピクチャリスト動きパラメータとを組み合わせることで、結合双方向予測候補を生成する。これら2つのタプルが異なる動きの仮説を提供する場合、これらのタプルは、新しい双方向予測候補を形成する。一例として、図15は、オリジナルリスト(左側)における、mvL0およびrefIdxL0、またはmvL1およびrefIdxL1を有する2つの候補を使用して、最終リスト(右側)に加えられる結合双方向予測マージ候補を生成する場合を示す。これらの追加のマージ候補を生成するために考慮される組み合わせについては、様々な規則が存在する。
ゼロ動き候補を挿入し、マージ候補リストにおける残りのエントリを埋めることにより、MaxNumMergeCand容量にヒットする。これらの候補は、空間的変位がゼロであり、ゼロから始まり、新しいゼロ動き候補をリストに加える度に増加する参照ピクチャインデックスを有する。これらの候補が使用する参照フレームの数は、それぞれ、一方向予測の場合は1つ、双方向予測の場合は2つである。最終的には、これらの候補に対して冗長性チェックは行われない。
2.2.1.5 並列処理のための動き推定領域
符号化処理を高速化するために、動き推定を並列に行うことができ、それによって、所与の領域内のすべての予測ユニットの動きベクトルを同時に導出する。1つの予測ユニットは、その関連する動き推定が完了するまで、隣接PUから動きパラメータを導出することができないので、空間的近傍からのマージ候補の導出は、並列処理に干渉する可能性がある。コーディング効率と処理待ち時間との間のトレードオフを緩和するために、HEVCは、MER(Motion Estimation Region)を規定し、そのサイズは、「log2_parallel_merge_level_minus2」構文要素を使用してピクチャパラメータセットにおいて信号通知される。MERを規定する場合、同じ領域にあるマージ候補は利用不可能であるとしてマークされ、それゆえにリスト構築においては考慮されない。
7.3.2.3 ピクチャパラメータセットRBSP構文
7.3.2.3.1 一般ピクチャパラメータセットRBSP構文
Figure 0007572499000001
log2_parallel_merge_level_minus2+2は、8.5.3.2.2節で指定されたマージモードの輝度動きベクトルの導出処理と、8.5.3.2.3節で指定された空間的マージ候補の導出処理で使用される変数Log2ParMrgLevelの値を指定する。log2_parallel_merge_level_minus2の値は、0~CtbLog2SizeY-2を含む範囲内とする。変数Log2ParMrgLevelは、以下のように導出される。
Log2ParMrgLevel=log2_parallel_merge_level_minus2+2 (7-37)
注3:Log2ParMrgLevelの値は、マージ候補リストを並列に導出する組み込み能力を示す。例えば、Log2ParMrgLevelが6に等しい場合、64×64ブロックに含まれたすべての予測ユニット(PU)およびコーディングユニット(CU)のためのマージ候補リストを並列に導出することができる。
2.2.2 AMVPモードにおける動きベクトル予測
動きベクトル予測は、動きベクトルと近傍のPUとの間の空間的-時間的相関を利用し、これを動きパラメータの明確な伝送に用いる。まず、左側、上側の時間的に近傍のPU位置の可用性をチェックし、冗長な候補を取り除き、ゼロベクトルを加えることで、候補リストの長さを一定にすることにより、動きベクトル候補リストを構築する。次いで、エンコーダは、候補リストから最良の予測因子を選択し、選択された候補を示す対応するインデックスを送信することができる。マージインデックスの信号通知と同様に、最良の動きベクトル候補のインデックスは、短縮された単項を使用して符号化される。この場合の符号化対象の最大値は2である(例えば、図2~図8)。以下の章では、動きベクトル予測候補の導出処理の詳細を説明する。
2.2.2.1 動きベクトル予測候補の導出
図16に、動きベクトル予測候補の導出処理をまとめる。
動きベクトル予測において、空間的動きベクトル候補と時間的動きベクトル候補という2つのタイプの動きベクトル候補が考慮される。空間的動きベクトル候補の導出のために、図11に示したように、5つの異なる位置にある各PUの動きベクトルに基づいて、最終的には2つの動きベクトル候補を導出する。
時間的動きベクトル候補の導出のために、2つの異なる同一位置に配置された位置に基づいて導出された2つの候補から1つの動きベクトル候補を選択する。空間的-時間的候補の最初のリストを作成した後、リストにおける重複した動きベクトル候補を除去する。可能性のある候補の数が2よりも多い場合、関連づけられた参照ピクチャリストにおける参照ピクチャインデックスが1よりも大きい動きベクトル候補をリストから削除する。空間的-時間的動きベクトル候補の数が2未満である場合は、追加のゼロ動きベクトル候補をリストに加える。
2.2.2.2 空間的動きベクトル候補
空間的動きベクトル候補の導出において、図11に示したような位置にあるPUから導出された5つの可能性のある候補のうち、動きマージと同じ位置にあるものを最大2つの候補が考慮される。現在のPUの左側の導出の順序は、A、A、スケーリングされたA、スケーリングされたAとして規定される。現在のPUの上側の導出の順序は、B、B、B、スケーリングされたB、スケーリングされたB、スケーリングされたBとして規定される。そのため、辺ごとに、動きベクトル候補として使用できる場合が4つ、すなわち空間的スケーリングを使用する必要がない2つの場合と、空間的スケーリングを使用する2つの場合とがある。4つの異なる場合をまとめると、以下のようになる。
・空間的スケーリングなし
-(1)同じ参照ピクチャリスト、かつ、同じ参照ピクチャインデックス(同じPOC)
-(2)異なる参照ピクチャリスト、かつ、同じ参照ピクチャ(同じPOC)
・空間的スケーリング
-(3)同じ参照ピクチャリスト、かつ、異なる参照ピクチャ(異なるPOC)
-(4)異なる参照ピクチャリスト、かつ、異なる参照ピクチャ(異なるPOC)
最初に非空間的スケーリングの場合をチェックし、次に空間的スケーリングを行う。参照ピクチャリストにかかわらず、POCが近傍のPUの参照ピクチャと現在のPUの参照ピクチャとで異なる場合、空間的スケーリングを考慮する。左側候補のすべてのPUが利用可能でないか、またはイントラ符号化されている場合、上側の動きベクトルのスケーリングは、左側及び上側MV候補の並列導出に役立つ。そうでない場合、上側の動きベクトルに対して空間的スケーリングは許可されない。
空間的スケーリング処理において、図17に示すように、時間的スケーリングと同様にして、近傍のPUの動きベクトルをスケーリングする。主な違いは、現在のPUの参照ピクチャリスト及びインデックスを入力として与え、実際のスケーリング処理は時間的スケーリングと同じであることである。
2.2.2.3 時間的動きベクトル候補
参照ピクチャインデックスを導出する以外は、時間的マージ候補を導出するための全ての処理は、空間的動きベクトル候補を導出するための処理と同じである(図6等参照)。
参照ピクチャインデックスはデコーダに信号通知される。
2.2.2.4 AMVP情報の信号通知
AMVPモードの場合、ビットストリームにおいて、4つの部分、すなわち、予測方向、参照インデックス、MVD、およびmv予測因子候補インデックスを信号通知することができる。
構文テーブル:
Figure 0007572499000002
7.3.8.9 動きベクトル差構文
Figure 0007572499000003
2.3 JEM(Joint Exploration Model)における新しいインター予測方法
2.3.1 サブCUに基づく動きベクトル予測
QTBTを有するJEMにおいて、各CUは、各予測方向に対して最大1つの動きパラメータセットを有することができる。エンコーダにおいて、大きなCUをサブCUに分割し、大きなCUのすべてのサブCUの動き情報を導出することにより、2つのサブCUレベルの動きベクトル予測方法を考慮する。ATMVP(Alternative Temporal Motion Vector Prediction)方法により、各CUが、配列された参照ピクチャにおける現在のCUよりも小さい複数のブロックから複数の動き情報のセットをフェッチすることが可能となる。STMVP(Spatial-Temporal Motion Vector Prediction)方法において、時間的動きベクトル予測因子および空間的近傍動きベクトルを使用して、サブCUの動きベクトルを再帰的に導出する。
サブCU動き予測のためにより正確な動きフィールドを維持するために、参照フレームの動き圧縮は現在無効にされている。
2.3.1.1 代替の時間的動きベクトル予測
ATMVP(Alternative Temporal Motion Vector Prediction)において、動きベクトルTMVP(Temporal Motion Vector Prediction)方法は、現在のCUより小さいブロックから動き情報の複数のセット(動きベクトル及び参照インデックスを含む)をフェッチすることで修正される。図18に示すように、サブCUは、正方形のN×Nのブロックである(デフォルトでは、Nは4に設定される)。
ATMVPは、CU内のサブCUの動きベクトルを2つのステップで予測する。第1のステップでは、参照ピクチャにおける対応するブロックを、いわゆる時間的ベクトルで特定する。この参照ピクチャをモーションソースピクチャと呼ぶ。第2のステップは、図18に示すように、現在のCUをサブCUに分割し、各サブCUに対応するブロックから各サブCUの動きベクトルならびに参照インデックスを取得する。
第1のステップにおいて、現在のCUの空間的に近傍のブロックの動き情報によって、参照ピクチャ及び対応するブロックを判定する。近傍のブロックの繰り返し走査処理を回避するために、現在のCUのマージ候補リストにおける最初のマージ候補を用いる。最初の利用可能な動きベクトル及びその関連する参照インデックスを、時間的ベクトル及び動きソースピクチャのインデックスに設定する。このように、ATMVPでは、TMVPに比べて、対応するブロックをより正確に特定することができ、対応するブロック(配列されたブロックと呼ばれることがある)は、常に現在のCUに対して右下または中心位置にある。1つの例において、最初のマージ候補が左側の近傍のブロック(すなわち、図19のA1)からのものである場合、関連するMVおよび参照ピクチャを利用して、ソースブロックおよびソースピクチャを特定する。
図19は、ソースブロックおよびソースピクチャの特定の例を示す。
第2のステップにおいて、現在のCUの座標に時間的ベクトルを加えることにより、モーションソースピクチャにおける時間的ベクトルによって、サブCUの対応するブロックを特定する。サブCUごとに、その対応するブロックの動き情報(中心サンプルを覆う最小の動きグリッド)を使用して、サブCUの動き情報を導出する。対応するN×Nブロックの動き情報を特定した後、HEVCのTMVPと同様に、現在のサブCUの動きベクトル及び参照インデックスに変換され、動きスケーリングや他の手順が適用される。例えば、デコーダは、低遅延条件(すなわち、現在のピクチャのすべての参照ピクチャのPOCが現在のピクチャのPOCよりも小さい)が満たされているか否かをチェックし、場合によっては、動きベクトルMVx(参照ピクチャリストXに対応する動きベクトル)を使用して、各サブCUの動きベクトルMVy(Xが0または1に等しく、Yが1-Xに等しい)を予測する。
2.3.1.2 空間的-時間的動きベクトル予測
この方法において、サブCUの動きベクトルは、ラスタスキャンの順に沿って再帰的に導出される。図20にこの概念を示す。4つの4×4のサブCU A、B、C、及びDを含む8×8のCUを考える。現在のフレームの近傍の4×4のブロックには、a、b、c、dというラベルが付けられている。
サブCU Aの動きの導出は、その2つの空間的近傍を特定することで始まる。第1の近傍は、サブCU Aの上のN×Nのブロックである(ブロックc)。このブロックcが利用可能でないか、またはイントラ符号化されている場合、サブCU Aより上の他のN×Nのブロックをチェックする(ブロックcから始まり、左から右へ)。第2の近傍は、サブCU Aの左側のブロックである(ブロックb)。ブロックbが利用可能でないか、またはイントラ符号化されている場合、サブCU Aの左側の他のブロックをチェックする(ブロックbから始まり、上から下へ)。各リストの近傍のブロックから得られた動き情報を、所与のリストの第1の参照フレームにスケーリングする。次に、HEVCで規定されているTMVP(Temporal Motion Vector Predictor)導出と同じ手順に従って、サブブロックAのTMVPを導出する。位置Dの同一位置のブロックの動き情報をフェッチし、それに応じてスケーリングする。最後に、動き情報を検索し、スケーリングした後、参照リストごとにすべての利用可能な動きベクトル(最大3)を別個に平均する。この平均化された動きベクトルを現在のサブCUの動きベクトルとして割り当てる。
図20は、4つのサブブロック(A~D)およびその近傍のブロック(a~d)を有する1つのCUの例を示す。
2.3.1.3 サブCU動き予測モード信号通知
サブCUモードは追加のマージ候補として有効とされ、モードを信号通知するために追加の構文要素は必要とされない。ATMVPモード及びSTMVPモードを表すように、各CUのマージ候補リストに2つの追加のマージ候補を加える。シーケンスパラメータセットがATMVP及びSTMVPが有効であることを示す場合、最大7つのマージ候補を使用する。追加のマージ候補の符号化ロジックは、HMにおけるマージ候補の場合と同じであり、つまり、PまたはBスライスにおける各CUについて、2つの追加のマージ候補に対して2回以上のRDチェックが必要となる。
JEMにおいて、マージインデックスのすべてのビンは、CABACによってコーディングされたコンテキストである。一方、HEVCにおいては、最初のビンのみが符号化されたコンテキストであり、残りのビンはバイパスコーディングされたコンテキストである。
2.3.2 適応動きベクトル差解像度
HEVCにおいて、use_integer_mv_flagがスライスヘッダにおいて0であるとき、1/4輝度サンプルの単位で動きベクトル差分(MVD:Motion Vector Diefference)(動きベクトルとPUの予測動きベクトルとの間の差分)が信号通知される。JEMにおいて、LAMVR(Locally Adaptive Motion Vector Resolution)が導入される。JEMにおいて、MVDは、1/4輝度サンプル、整数輝度サンプル、または4つの輝度サンプルの単位でコーディングできる。MVD分解能はコーディングユニット(CU:Coding Unit)レベルで制御され、MVD解像度フラグは、少なくとも1つの非ゼロMVDモジュールを有する各CUに対して条件付きで信号通知される。
少なくとも1つの非ゼロMVDの構成要素を有するCUの場合、1/4輝度サンプルMV精度がCUにおいて使用されるか否かを示すために、第1のフラグが信号通知される。第1のフラグ(1に等しい)が、1/4輝度サンプルMV精度が使用されていないことを示す場合、整数輝度サンプルMV精度が使用されるか、または4輝度サンプルMV精度が使用されるかを示すために、別のフラグが信号通知される。
CUの第1のMVD解像度フラグがゼロであるか、またはCUに対してコーディングされていない(つまり、CUにおけるすべてのMVDがゼロである)場合、CUに対して1/4輝度サンプルMV解像度が使用される。CUが整数輝度サンプルMV精度または4輝度サンプルMV精度を使用する場合、CUのAMVP候補リストにおけるMVPを対応する精度に丸める。
エンコーダにおいて、CUレベルのRDチェックは、どのMVD解像度をCUに用いるかを判定するために使用される。すなわち、MVD解像度ごとに3回、CUレベルのRDチェックを行う。エンコーダの速度を速めるために、JEMにおいては、以下の符号化方式が適用される。
通常の1/4輝度サンプルMVD解像度を有するCUのRDチェック中、現在のCUの動き情報(整数輝度サンプル精度)が記憶される。整数輝度サンプル及び4輝度サンプルのMVD解像度を有する同じCUのRDチェック中に、記憶された動き情報(丸められた後)は、更なる小範囲の動きベクトル改良の開始点として使用されるので、時間がかかる動き推定処理が3回重複しない。
4輝度サンプルMVD解像度を有するCUのRDチェックを条件付きで呼び出す。CUの場合、整数輝度サンプルMVD解像度のRDコストが1/4輝度サンプルMVD解像度のそれよりもはるかに大きい場合、CUのための4輝度サンプルMVD解像度のRDチェックはスキップされる。
2.3.3 パターンマッチング動きベクトル導出
PMMVD(Pattern Matched Motion Vector Derivation)モードは、FRUC(Frame-Rate Up Conversion)技術に基づく特殊マージモードである。このモードでは、ブロックの動き情報は信号通知されず、デコーダ側で導出される。
そのマージフラグが真である場合、FRUCフラグは、CUに信号通知される。FRUCフラグが偽である場合、マージインデックスは信号通知され、通常のマージモードが使用される。FRUCフラグが真である場合、追加のFRUCモードフラグを信号通知して、どの方法(バイラテラルマッチングまたはテンプレートマッチング)を使用してブロックの動き情報を導出するかを示す。
エンコーダ側では、CUのためにFRUCマージモードを使用するかどうかの決定は、通常のマージ候補に対して行われるのと同じように、RDコストの選択に基づく。つまり、RDコスト選択を使用して、CUに対して2つのマッチングモード(例えば、バイラテラルマッチングおよびテンプレートマッチング)を両方チェックする。最小コストに導くものが、更に、他のCUモードと比較される。FRUCマッチングモードが最も効率的なものである場合、CUに対してFRUCフラグを真に設定し、関連するマッチングモードを使用する。
FRUCマージモードにおける動き導出処理は、2つのステップを有する。まず、CUレベルの動き探索を実行し、次に、サブCUレベルの動き改良を実行する。CUレベルでは、バイラテラルマッチングまたはテンプレートマッチングに基づいて、CU全体のための初期の動きベクトルを導出する。まず、MV候補のリストを生成し、最小マッチングコストに導く候補を、さらなるCUレベル改良の開始点として選択する。そして、開始点付近のバイラテラルマッチングまたはテンプレートマッチングに基づく局所検索を行い、最小マッチングコストとなるMV結果をCU全体のMVとする。続いて、導出されたCU動きベクトルを開始点として、サブCUレベルでの動き情報をさらに改良する。
例えば、W×HのCU動き情報の導出のために、以下の導出処理を行う。第1のステージにおいて、W×HのCU全体のためのMVが導出される。第2のステージにおいて、CUは、M×MのサブCUにさらに分割される。Mの値は、(16)のように計算されるが、Dは、予め規定義された分割深さであり、JEMにおいてデフォルトで3に設定される。そして、各サブCUのMVを導出する。
Figure 0007572499000004
図21に示すように、バイラテラルマッチングは、2つの異なる参照ピクチャにおける現在のCUの動き軌跡に沿った2つのブロック間の最も近いマッチングを見出すことにより、現在のCUの動き情報を導出するために用いられる。連続した動き軌跡を仮定すると、2つの参照ブロックを指す動きベクトルMV0およびMV1は、現在のピクチャと2つの参照ピクチャとの間の時間的距離、例えばTD0およびTD1に比例する。特殊なケースとしては、現在のピクチャが時間的に2つの参照ピクチャの間にあり、現在のピクチャと2つの参照ピクチャとの時間的な距離が同じである場合、バイラテラルマッチングはミラーに基づく双方向MVとなる。
図22に示すように、現在のピクチャにおけるテンプレート(現在のCUの上側および/または左側の近傍のブロック)と、参照ピクチャにおけるブロック(テンプレートと同じサイズ)との間の最も近いマッチングを見出すことで、テンプレートマッチングを使用して、現在のCUの動き情報を導出する。前述のFRUCマージモード以外に、テンプレートマッチングは、AMVPモードにも適用される。JEMにおいて、HEVCと同様、AMVPは2つの候補を有する。テンプレートマッチング法を用いることで、新しい候補を導出する。テンプレートマッチングによって新規に導出された候補が、第1の既存のAMVP候補と異なる場合、AMVP候補リストの最初に挿入し、次に、リストサイズを2(第2の既存のAMVP候補を取り除くことを意味する)に設定する。AMVPモードに適用される場合、CUレベル検索のみが適用される。
2.3.3.1 CUレベルMV候補セット
CUレベルのMV候補セットは、以下からなる。
(i)現在のCUがAMVPモードになっている場合の元のAMVP候補
(ii)すべてのマージ候補、
(iii)補間MVフィールド内の複数のMV。
(iv)上と左の近傍の動きベクトル
バイラテラルマッチングを使用する場合、マージ候補の各有効なMVを入力として使用して、バイラテラルマッチングを仮定してMV対を生成する。例えば、マージ候補の1つの有効なMVは、参照リストAにおいて(MVa,refa)である。そして、refaおよびrefbは、時間的に現在のピクチャの異なる側にあるように、その対をなすバイラテラルMVの参照ピクチャrefbが他の参照リストBにおいて見出される。参照リストBにおいてこのようなrefbが利用可能でない場合、refbをrefaとは異なる参照として決定し、現在のピクチャとの時間的距離はリストBにおける最小値である。refbを決定した後、現在のピクチャとrefa,refbとの時間距離に基づいてMVaをスケーリングすることによりMVbを導出する。
補間されたMVフィールドからの4つのMVもCUレベル候補リストに追加する。具体的には、現在のCUの位置(0,0)、(W/2,0)、(0,H/2)、(W/2,H
/2)の補間されたMVを加算する。
AMVPモードでFRUCを適用する場合、元のAMVP候補をCUレベルMV候補セットにも加える。
CUレベルにおいて、AMVP CUのための最大15のMVおよびマージCUのための最大13のMVを候補リストに加える。
2.3.3.2 サブCUレベルMV候補セット
サブCUレベルのMV候補セットは、以下から構成される。
(i)CUレベルの検索から決定されたMV、
(ii)上、左、左上、右上の近傍のMV、
(iii)参照ピクチャから並置されたMVのスケーリングされたバージョン、
(iv)最大4つのATMVP候補、
(v)最大4つのSTMVP候補
参照ピクチャからのスケーリングされたMVは、以下のように導出される。両方のリストにおける参照ピクチャをすべてトラバースする。参照ピクチャにおけるサブCUの配列位置にあるMVは、開始CUレベルMVの参照に対してスケーリングされる。
ATMVPおよびSTMVPの候補は、最初の4つの候補に限定される
サブCUレベルにおいて、最大17のMVが候補リストに追加される。
2.3.3.3 補間MVフィールドの生成
フレームをコーディングする前に、ユニラテラルMEに基づいてピクチャ全体に対して補間動きフィールドを生成する。そして、この動きフィールドは、後にCUレベルまたはサブCUレベルのMV候補として使用されてもよい。
まず、両方の参照リストにおける各参照ピクチャの動きフィールドは、4×4ブロックレベルでトラバースされる。各4×4ブロックにおいて、(図23に示すように)現在のピクチャの4×4ブロックを通過するブロックに関連する動きで、ブロックが補間動きをまだ割り当てられていない場合、時間的距離TD0およびTD1に基づいて(HEVCにおけるTMVPのMVスケーリングと同様に)、参照ブロックの動きを現在のピクチャにスケーリングし、スケーリングされた動きを現在のフレームのブロックに割り当てる。4×4ブロックにスケーリングされたMVが割り当てられていない場合、ブロックの動きは、補間された動きフィールドにおいて利用不可能であるとマークされる。
2.3.3.4 補間およびマッチングコスト
動きベクトルが分数のサンプル位置を指す場合、動き補償補間が必要である。複雑性を低減するために、通常の8タップHEVC補間の代わりに、バイラテラルマッチングおよびテンプレートマッチングの両方に双線形補間を使用する。
マッチングコストの計算は、異なるステップでは少し異なる。CUレベルの候補セットから候補を選択する場合、マッチングコストは、バイラテラルマッチングまたはテンプレートマッチングの差分の絶対値の和(SAD)である。開始MVを決定した後、サブCUレベル検索におけるバイラテラルマッチングのマッチングコストCを以下のように算出する。
Figure 0007572499000005
ここで、wは、経験的に4に設定された重み係数であり、MVおよびMVは、それぞれ、現在のMVおよび開始MVを示す。SADは、依然として、サブCUレベル検索におけるテンプレートマッチングのマッチングコストとして使用される。
FRUCモードにおいて、MVは、輝度サンプルのみを使用することによって導出される。導出された動きは、MCインター予測のために、輝度および彩度の両方に使用される。MVを決定した後、輝度用の8タップ補間フィルタおよび彩度用の4タップ補間フィルタを使用して、最終的なMCを行う。
2.3.3.5 MVの改良
MV改良は、バイラテラルマッチングコストまたはテンプレートマッチングコストの基準を有するパターンに基づくMV検索である。JEMにおいて、2つの検索パターン、すなわち、UCBDS(Unrestricted Center-Biased Diamond Search)およびCUレベルおよびサブCUレベルでのMV改良のための適応的横断検索をそれぞれサポートする。CUおよびサブCUレベルのMV改良の両方のために、MVは、1/4輝度サンプルMVの精度で直接検索され、これに続いて1/8輝度サンプルMVの改良が行われる。CUおよびサブCUステップのためのMV改良の検索範囲は、8つの輝度サンプルに等しく設定される。
2.3.3.6 テンプレートマッチングFRUCマージモードにおける予測方向の選択
バイラテラルマッチングマージモードにおいては、2つの異なる参照ピクチャにおける現在のCUの動き軌跡に沿った2つのブロック間の最も近いマッチングに基づいて、CUの動き情報を導出するために、双方向予測が常に適用される。テンプレートマッチングマージモードについては、そのような限定はない。テンプレートマッチングマージモードにおいて、エンコーダは、list0からの単一予測、list1からの単一予測、またはCUのための双方向予測のうちから選択することができる。選択は、テンプレートマッチングコストに基づいて、以下のように行う。
costBi<=factor*min(cost0,cost1)の場合
双方向予測を用いる。
そうでない場合、cost0<=cost1であれば、
list0からの単一予測を用いる。
そうでない場合、
list1からの単一予測を用いる。
ここで、cost0はlist0テンプレートマッチングのSADであり、cost1はlist1テンプレートマッチングのSADであり、costBiは双方向予測テンプレートマッチングのSADである。factorの値が1.25である場合、選択処理が双方向予測に偏っていることを意味する。
このインター予測方向選択は、CUレベルのテンプレートマッチング処理にのみ適用される。
2.3.4 デコーダ側動きベクトル改良
双方向予測演算において、1つのブロック領域を予測するために、list0の動きベクトル(MV:Motion Vector)およびlist1のMVをそれぞれ使用して構成される双方向予測されたブロックを組み合わせ、1つの予測信号を形成する。DMVR(Decoder-side Motion Vector Refinement)方法において、バイラテラルテンプレートマッチング処理によって、双方向予測の2つの動きベクトルをさらに改良する。追加の動き情報を送信することなく改良されたMVを得るために、デコーダにおいてバイラテラルテンプレートマッチングを適用し、バイラテラルテンプレートと参照ピクチャにおける再構成サンプルとの間の歪みに基づく検索を行う。
DMVRにおいて、図23に示すように、list0の最初のMV0とlist1のMV1とから、それぞれ、2つの予測ブロックの重み付け結合(すなわち、平均)としてバイラテラルテンプレートを生成する。テンプレートマッチング動作は、生成されたテンプレートと参照ピクチャにおけるサンプル領域(最初の予測ブロックの付近)との間のコスト尺度を計算することからなる。2つの参照ピクチャの各々について、テンプレートコストが最小となるMVを、そのリストの更新されたMVと見なし、元のMVに置き換える。JEMにおいて、各リストに対して9つのMV候補を検索する。9つのMV候補は、元のMVと、水平または垂直方向のいずれかまたは両方向に元のMVに対してオフセットしている1つの輝度サンプルを有する8つの周囲のMVを含む。最後に、2つの新しいMV、すなわち、図24に示すようなMV0’及びMV1’を使用して、最終的な双方向予測結果を生成する。差分の絶対値の和(SAD)をコスト尺度として使用する。
DMVRは、追加の構文要素を送信することなく、過去の参照ピクチャからの1つのMVと、将来の参照ピクチャからの1つのMVとの間の双方向予測のマージモードに適用される。JEMにおいて、LIC、アフィン動き、FRUC、またはサブCUマージ候補がCUに対して有効である場合、DMVRは適用されない。
2.3.5 バイラテラルマッチングの改良を伴うマージ/スキップモード
まず、利用可能な候補の数が最大候補サイズである19に達するまで、空間的に近傍のブロックおよび時間的に近傍のブロックの動きベクトルおよび参照インデックスを冗長性チェック付き候補リストに挿入することで、マージ候補リストを構築する。マージ/スキップモードのマージ候補リストは、予め規定された挿入順に基づいて、HEVC(結合候補およびゼロ候補)に用いられる、空間的候補(図11)、時間的候補、アフィン候補、ATMVP(Advanced Temporal MVP)候補、STMVP(Spatial Temporal MVP)候補、および追加候補を挿入することで構築される。
-ブロック1~4の空間的候補
-ブロック1~4の外挿アフィン候補
-ATMVP
-STMVP
-仮想アフィン候補
-空間的候補(ブロック5)(利用可能な候補の数が6よりも少ない場合にのみ使用される)。
-外挿アフィン候補(ブロック5)
-時間的候補(HEVCのように導出)
-外挿アフィン候補に続く非隣接空間的候補(図25に示すブロック6~49)
-結合候補
-ゼロ候補
なお、ICフラグは、STMVPおよびアフィンを除き、マージ候補から継承される。また、最初の4つの空間的候補について、双方向予測のものを単一予測のものの前に挿入する。
現在のブロックに接続されていないブロックにアクセスすることができる。非隣接ブロックが非イントラモードでコーディングされている場合、関連する動き情報を追加のマージ候補として追加してもよい。
3.本明細書に開示される実施形態が解決しようとする課題の例
現在のHEVC設計は、動き情報をより良くコーディングするために、現在のブロックの近傍のブロック(現在のブロックの隣)の相関をとることができる。しかしながら、近傍のブロックが、異なる動き軌跡を有する異なる対象に対応する可能性がある。この場合、その近傍のブロックからの予測は効率的ではない。
非隣接ブロックの動き情報からの予測は、全ての動き情報(一般的には4×4レベル)をキャッシュに記憶するコストをかけることになり、付加的なコーディング利得をもたらし、ハードウェア実装の複雑性を大幅に増大させる。
4.いくつかの例
以下の例は、一般的な概念を説明するための例であると考えられるべきである。これらの例は狭義に解釈されるべきではない。さらに、これらの例は、任意の方法で組み合わせることができる。
いくつかの実施形態において、1つのブロックの動き情報を予測するために、少なくとも1つの動き候補が記憶された1つ以上のルックアップテーブルを用いてもよい。実施形態は、動き候補を用いて、ルックアップテーブルに記憶された動き情報のセットを示すことができる。従来のAMVPまたはマージモードの場合、実施形態では、動き情報を記憶するためにAMVPまたはマージ候補を使用してもよい。
以下の実施例は、一般的な概念を説明する。
ルックアップテーブルの例
例A1:各ルックアップテーブルは、各候補がその動き情報に関連付けられた1つ以上の動き候補を含んでもよい。
a.動き候補の動き情報は、予測方向、参照インデックス/ピクチャ、動きベクトル、LICフラグ、アフィンフラグ、MVD精度、MVD値の一部または全部を含んでもよい。
b.動き情報は、動き情報がどこから来ているかを示すために、ブロック位置情報および/またはブロック形状をさらに含んでもよい。
c.ルックアップテーブルごとにカウンタをさらに割り当ててもよい。
i.ピクチャ/スライス/LCU(CTU)行/タイルの符号化/復号化の開始時に、カウンタをゼロに初期化してもよい。
ii.一例において、カウンタは、CTU/CTB/CU/CB/PU/一定の領域サイズ(例えば、8×8または16×16)を符号化/復号化した後に更新されてもよい。
iii.一例において、1つの候補をルックアップテーブルに加える度に、カウンタを1つずつ増加させる。
iv.一例において、カウンタは、テーブルのサイズ(許容される動き候補の数)以下であるべきである。
v.代替的に、カウンタを使用して、いくつの動き候補をルックアップテーブルに追加しようとしたかを示してもよい(これらのうちのいくつかはルックアップテーブルに含まれていたが、後にテーブルから削除してもよい)。この場合、カウンタはテーブルのサイズよりも大きくてもよい。
d.テーブルのサイズ(許可される動き候補の数)および/またはテーブルの数は、固定であってもよいし、適応的であってもよい。テーブルのサイズは、すべてのテーブルで同じであってもよいし、異なるテーブルで異なってもよい。
i.代替的に、異なるサイズを異なるルックアップテーブル(例えば、1または2)
に使用してもよい。
ii.一例において、テーブルのサイズおよび/またはテーブルの数は、予め規定されてもよい。
iii.一例において、テーブルのサイズおよび/またはテーブルの数は、VPS(Video Parameter Set)、SPS(Sequence Parameter Set)、PPS(Picture Parameter Set)、スライスヘッダ、タイルヘッダ、CTU(Coding Tree Unit)、CTB(Coding Tree Block)、CU(Coding Unit)またはPU(Prediction Unit)、複数のCTU/CTB/CU/PUを含む領域で信号通知されてもよい。
iv.テーブルのサイズおよび/またはテーブルの数は、スライスタイプ、ピクチャの時間層インデックス、1つのスライスと最も近いイントラスライスとの間のPOC(Picture Order Count)距離に更に依存してもよい。
e.コーディングスレッドに使用されるN個のテーブルが存在し、スライスをコーディングするためにN*P個のテーブルが必要とされ、ここで、Pは、LCU行の数またはタイルの数を示す。
i.代替的に、スライスをコーディングするためにP個のテーブルのみが必要とされてもよく、PはLCU行の数を示し、タイルが無効とされている場合、Nが1よりも大きくなる可能性がある場合でも、各LCU行は1つのルックアップテーブルのみを使用する。
LUTの選択
例B1:ブロックをコーディングする場合、1つのルックアップテーブルからの動き候補の一部または全部を順にチェックすることができる。ブロックをコーディングする間に1つの動き候補をチェックする場合、この動き候補を動き候補リスト(例えば、AMVP、マージ候補リスト)に加えてもよい。
a.代替的に、複数のルックアップテーブルからの動き候補を順にチェックしてもよい。
b.ルックアップテーブルインデックスは、CTU、CTB、CU若しくはPU、または複数のCTU/CTB/CU/PUを含む領域において信号通知されてもよい。
例B2:ルックアップテーブルの選択は、ブロックの位置に依存してもよい。
a.それは、ブロックを含むCTUアドレスに依存してもよい。ここで、アイデアを説明するために、例として二つのルックアップテーブル(デュアルルックアップテーブル、DLUT)を挙げる。
i.ブロックがCTU行内の第1のM個のCTUのうちの1つに位置する場合、第1のルックアップテーブルをブロックのコーディングに利用してもよく、CTU行内の残りのCTUに位置するブロックの場合、第2のルックアップテーブルを利用してもよい。
ii.ブロックがCTU行内の第1のM個のCTUの1つに位置する場合、まず第1のルックアップテーブルの動き候補によってブロックをコーディングするかどうかをチェックし、第1のテーブルに十分な候補がない場合、第2のルックアップテーブルをさらに利用してよい。一方、CTU行の残りのCTUに位置するブロックに対して、第2のルックアップテーブルを利用してもよい。
iii.代替的に、CTU行の残りのCTUに位置するブロックについて、第2のルックアップテーブルの動き候補がまずブロックのコーディングについてチェックされ、第2のテーブルに十分な候補がない場合、第1のルックアップテーブルをさらに利用してよい。
b.それは、ブロックの位置と、1つ以上のルックアップテーブルにおける1つの動き候補に関連付けられた位置との間の距離に依存してもよい。
iv.一例において、1つの動き候補がコーディング対象のブロックまでのより小さな距離に関連付けられている場合、別の動き候補と比較して早くチェックされてもよい。
ルックアップテーブルの使用法
例C1:チェック対象のルックアップテーブルにおける動き候補の総数は、予め規定されてもよい。
a.それは、コーディングされた情報、ブロックサイズ、ブロック形状等にさらに依存してもよい。例えば、AMVPモードの場合、m個の動き候補のみをチェックし、マージモードの場合、n個の動き候補をチェックしてもよい(例えば、m=2、n=44)。
b.一例において、チェック対象の動き候補の総数は、VPS(Video Parameter Set)、SPS(Sequence Paramter Set)、PPS(Picture Parameter Set)、スライスヘッダ、タイルヘッダ、CTU(Coding Tree Set)、CTB(Coding Tree Block)、CU(Coding Unit)またはPU(Prediction Unit)、複数のCTU/CTB/CU/PUを含む領域で信号通知されてもよい。
例C2:ルックアップテーブルに含まれる1つ以上の動き候補は、1つのブロックによって直接継承されてもよい。
a.それらをマージモードコーディングに使用してもよく、すなわち、マージ候補リスト導出処理において動き候補をチェックしてもよい。
b.それらは、アフィンマージモードコーディングに使用してもよい。
i.アフィンフラグが1である場合、ルックアップテーブルにおける動き候補をアフィンマージ候補として加えることができる。
c.以下の場合、ルックアップテーブルにおける動き候補のチェックを有効にしてもよい。
i.TMVP候補を挿入した後、マージ候補リストが満杯になっていない。
ii.空間的マージ候補導出のために特定の空間的に近傍のブロックをチェックした後、マージ候補リストが満杯になっていない。
iii.すべての空間的マージ候補の後、マージ候補リストに空きがある。
iv.双方向予測マージ候補の結合の後、マージ候補リストに空きがある。
v.他のコーディング方式(例えば、HEVCデザインのマージ導出処理、またはJEMデザイン)からマージ候補リストに入れられた空間的または時間的な(例えば、隣接空間および非隣接空間を含む、TMVP、STMVP、ATMVPなど)マージ候補の数が、最大許容マージ候補から、所与の閾値を引いた数よりも少ない場合。
1.一例において、閾値は、1または0に設定される。
2.代替的に、閾値は、SPS/PPS/シーケンス、ピクチャ、スライスヘッダ/タイルにおいて信号通知されてもよく、または予め規定されてもよい。
3.代替的に、閾値は、ブロックごとに適応的に変更されてもよい。例えば、それは、ブロックサイズ/ブロック形状/スライスタイプのようなコーディングされたブロック情報に依存してもよく、および/または利用可能な空間的または時間的マージ候補の数に依存してもよい。
4.他の例において、既にマージ候補リストに含まれていないある種のマージ候補の数が、最大許容マージ候補から、所与の閾値を引いた数未満である場合。「ある種のマージ候補」は、HEVCのような空間的候補であってもよいし、非隣接マージ候補であってもよい。
vi.マージ候補リストに動き候補を追加する前に、プルーニングを適用してもよい。
1.一例において、動き候補は、マージ候補リストの他のコーディング方法から利用可能な空間的または時間的(例えば、隣接空間および非隣接空間、TMVP、STMVP、ATMVP等を含む)マージ候補の全部または一部にプルーニングされてもよい。
2.動き候補は、サブブロックに基づく動き候補、例えば、ATMVP、STMVPにプルーニングされなくてもよい。
3.一例において、現在の動き候補は、マージ候補リストにおける利用可能な動き候補(現在の動き候補の前に挿入された)の全部または一部にプルーニングされてもよい。
4.動き候補に関連するプルーニング動作の数(つまり、動き候補をマージリストにおける他の候補と比較する必要がある回数)は、利用可能な空間的または時間的マージ候補の数に依存してもよい。例えば、新しい動き候補をチェックするとき、マージリストに利用可能な候補がM個ある場合、新しい動き候補を最初のK個(K<=M)の候補とのみ比較することができる。プルーニング関数が偽を返す(例えば、最初のK個の候補のいずれとも同一でない)場合、この新しい動き候補は、M個の候補のすべてと異なると見なされ、マージ候補リストに追加され得る。一例において、Kは、min(K,2)に設定される。
5.一例において、新しく付加された動き候補とマージ候補リストにおける第1のNの候補とを比較するだけである。例えば、N=3、4または5である。Nは、エンコーダからデコーダに信号通知されてもよい。
6.一例において、チェック対象の新しい動き候補は、マージ候補リストにおける最後のNの候補と比較されるのみである。例えば、N=3、4または5である。Nは、エンコーダからデコーダに信号通知されてもよい。
7.一例において、新しい動き候補と比較すべき、リストに以前追加された候補のテーブルからの選択方法は、前回追加された候補がどこから導出されたかに依存してもよい。
a.一例において、ルックアップテーブルにおける動き候補を、所与の時間的および/または空間的に近傍のブロックから導出された候補と比較してもよい。
b.一例において、ルックアップテーブルにおける動き候補の異なるエントリを、以前追加された異なる候補と比較してもよい(すなわち、異なる位置から導出された)。
例C3:ルックアップテーブルに含まれる動き候補は、ブロックの動き情報をコーディングする予測因子として用いられてもよい。
a.それらをAMVPモードコーディングに使用してもよく、すなわち、AMVP候補リスト導出処理において動き候補をチェックしてもよい。
b.以下の場合、ルックアップテーブルにおける動き候補のチェックを有効にしてもよい。
i.TMVP候補を挿入した後、AMVP候補リストが満杯になっていない。
ii.AMVP候補リストは、空間的近傍から選択し、プルーニングした後で、TMVP候補を挿入する直前には、満杯になっていない。
iii.上側の近傍のブロックからのAMVP候補がスケーリング無しで存在しない場合、および/または、左側の近傍のブロックからのAMVP候補がスケーリング無しで存在しない場合。
iv.AMVP候補リストに動き候補を追加する前に、プルーニングを適用してもよい。
v.5.(3)(4)で述べたのと同様の規則をAMVPモードに適用してもよい。
c.現在の参照ピクチャと同一の参照ピクチャを有する動き候補をチェックする。
i.代替的に、現在の参照ピクチャとは異なる参照ピクチャを有する動き候補も(MVスケーリングされた状態で)チェックする。
ii.代替的に、まず、現在の参照ピクチャと同一の参照ピクチャを有するすべての動き候補をチェックし、次に、現在の参照ピクチャとは異なる参照ピクチャを有する動き候補をチェックする。
iii.代替的に、マージした後、動き候補をチェックする。
例C4:ルックアップテーブルにおける動き候補のチェック順序は、以下のように規定される(K(K>=1)個の動き候補をチェックすることができるとする):
a.ルックアップテーブルにおける最後のK個の動き候補は、例えば、LUTへのエントリインデックスの降順に配列される。
b.最初のK%L個の候補。Lは、K>=Lである場合のルックアップテーブルのサイズであり、例えば、LUTへのエントリインデックスの降順に配列される。
c.K>=Lである場合、順番に基づいて、ルックアップテーブルにおけるすべての候補(L個の候補)。一例において、テーブルにおける最初のK%L個の候補を、LUTへのエントリインデックスの降順にチェックし、次に、エントリインデックスの降順に最後の(L-K%L)個の候補をチェックする。
d.代替的に、さらに、動き候補指標の降順に基づく。
e.代替的に、動き候補指標の昇順に基づいてもよい。
f.代替的に、動き候補に関連付けられた位置の距離や現在のブロックなどの候補情報に基づいて、K個の動き候補を選択する。
i.一例において、K個の最も近い動き候補を選択する。
ii.一例において、候補情報は、距離を算出する際に、ブロックの形状をさらに考慮してもよい。
g.一例において、L個の候補を含むテーブルからの動き候補のKのチェック順序は、次のように規定されてもよい:a、a+T、a+T+T、a+T+T+T、...a+T+T+T+...+TK-1のインデックスを持つ候補を順に選択し、aとT(iは0...K-1である)が整数値である。
i.一例において、aは、0(すなわち、テーブルにおける動き候補の最初のエントリに設定される)。代替的に、aを(K-L/K)に設定する。演算「/」は、結果をゼロに切り捨てる整数除算として規定される。代替的に、aは、0とL/Kとの間の任意の整数に設定される。
1.代替的に、aの値は、現在のブロックおよび近傍ブロックのコーディング情報に依存してもよい。
ii.一例において、すべての間隔T(iは0...K-1である)は同じであり、例えばL/Kである。演算「/」は、結果をゼロに切り捨てる整数除算として規定される。
iii.一例において、(K,L,a,T)は、(4,16,0,4)、または(4,12,0,3)、または(4,8,0,1)、または(4,16,3,4)、または(4,12,2,3)、または(4,8,1,2)に設定される。Tはすべてのiについて同じである。
iv.このような方法は、KがLよりも小さい場合にのみ適用されてもよい。
v.代替的に、さらに、Kが閾値以上である場合、7.c.部を適用してもよい。この閾値は、Lとして規定されてもよく、またはKに依存してもよく、またはブロックごとに適応的に変更されてもよい。一例において、閾値は、ルックアップテーブルから新しい動き候補を追加する前のリストにおける利用可能な動き候補の数に依存してもよい。
h.一例において、L個の候補を含むテーブルからの動き候補のKのチェック順序は、次のように規定されてもよい:a、a-T、a-T-T、a-T-T-T、...a-T-T-T-...-TK-1のインデックスを持つ候補を
順に選択し、aとT(iは0...K-1である)が整数値である。
i.一例において、aは、L-1(すなわち、テーブルにおける動き候補の最後のエントリ)に設定される。代替的に、aは、L-1-L/KとL-1との間の任意の整数に設定される。
ii.一例において、すべての間隔Ti(iは0...K-1である)は同じであり、例えばL/Kである。
iii.一例において、(K,L,a,T)は、(4,16,L-1,4)、または(4,12,L-1,3)、または(4,8,L-1,1)、または(4,16,L-4,4)、または(4,12,L-3,3)、または(4,8,L-2,2)に設定される。Tはすべてのiについて同じである。
iv.このような方法は、KがLよりも小さい場合にのみ適用されてもよい。
代替的に、さらに、Kが閾値以上である場合、7.c.部を適用してもよい。この閾値は、Lとして規定されてもよく、またはKに依存してもよく、またはブロックごとに適応的に変更されてもよい。一例において、閾値は、ルックアップテーブルから新しい動き候補を追加する前のリストにおける利用可能な動き候補の数に依存してもよい。
i.ルックテーブルから動き候補を選択する数および/または方法は、コーディングされた情報、例えばブロックサイズ/ブロック形状に依存してもよい。
i.一例において、より小さいブロックサイズの場合、最後のK個の動き候補を選択する代わりに、(最後から始まらない)他のK個の動き候補を選択してもよい。
ii.一例において、コーディングされた情報は、AMVPモードであってもよいし、マージモードであってもよい。
iii.一例において、コーディングされた情報は、アフィンモードまたは非アフィンAMVPモードまたは非アフィンマージモードであってもよい。
iv.一例において、コーディングされた情報は、アフィンAMVP(インター)モードであっても、アフィンマージモードであっても、非アフィンAMVPモードであっても、または非アフィンマージモードであってもよい。
v.一例において、コーディングされた情報は、現在のピクチャ参照CPR(Current Picture Reference)モードであってもよいし、CPRモードでなくてもよい。
vi.代替的に、ルックアップテーブルから動き候補を選択する方法は、ルックアップテーブルにおける動き候補の数、および/または、ルックアップテーブルから新しい動き候補を追加する前のリストにおける利用可能な動き候補の数にさらに依存してよい。
j.一例において、チェック対象のルックアップテーブル内の利用可能な動き候補の最大数(すなわち、マージ/AMVP候補リストに追加されてもよい)は、ルックアップテーブル内の利用可能な動き候補の数(NavaiMCinLUTによって示される)、および/または追加対象の最大許容動き候補の数(NUMmaxMCによって示される)(これは、予め規定されていてもよいし、信号通知されていてもよい)、および/またはルックアップテーブルからの候補をチェックする前の候補リスト内の利用可能な動き候補の数(NavaiCによって示される)に依存していてもよい。
i.一例において、チェック対象のルックアップテーブルにおける動き候補の最大数は、(NavaiMCinLUT,NUMmaxMC,NavaiC)の最小値に設定される。
ii.代替的に、チェック対象のルックアップテーブルにおける動き候補の最大数は、(NavaiMCinLUT,NUMmaxMC-NavaiC)の最小値に設定される。
iii.一例において、NavaiCは、空間的または時間的(隣接および/または
非隣接)な近傍のブロックから導出された挿入候補の数を示す。代替的に、サブブロック候補(AMTVP、STMVPなど)の数は、NavaiCに含まれていない。
iv.NUMmaxMCは、コーディングされたモード例えば、マージモードおよびAMVPモードに依存してもよく、NUMmaxMCは異なる値に設定されてもよい。一例において、マージモードの場合、NUMmaxMCは、4、6、8、10等に設定してもよく、AMVPモードの場合、NUMmaxMCは、1、2、4などに設定してもよい。
v.代替的に、NUMmaxMCは、ブロックサイズ、ブロック形状、スライスタイプ等のような他のコーディングされた情報に依存してもよい。
k.異なるルックアップテーブルのチェック順序は、次のサブセクションのルックアップテーブルの使用法で規定されている。
l.一旦、マージ/AMVP候補リストが最大許容候補数に達すると、このチェック処理は終了する。
m.一旦、マージ/AMVP候補リストが、最大許容候補数から閾値(Th)を減算した値に達すると、このチェック処理は終了する。一例において、Thは、例えば、1、2、または3など、正の整数値として予め規定されてもよい。代替的に、Thは、ブロックごとに適応的に変更されてもよい。代替的に、Thは、SPS/PPS/スライスヘッダ等において信号通知されてもよい。代替的に、Thは、さらに、ブロック形状/ブロックサイズ/コーディングされたモードなどに依存してもよい。代替的に、Thは、LUTからの動き候補を追加する前の利用可能な候補の数に依存してもよい。
n.代替的に、追加された動き候補の数が最大許容動き候補数に達すると、終了する。最大許容動き候補数は、信号通知されてもよく、または予め規定されてもよい。代替的に、最大許容動き候補数は、ブロック形状/ブロックサイズ/コーディングされたモード等にさらに依存してもよい。
o.テーブルサイズを示す1つのシンタックス要素ならびにチェック対象の動き候補の数(すなわち、K=L)は、SPS、PPS、スライスヘッダ、タイルヘッダにおいて信号通知してもよい。
例C5:1つのブロックの動き情報コーディングのためのルックアップテーブルの使用の有効/無効は、SPS、PPS、スライスヘッダ、タイルヘッダ、CTU、CTB、CU、またはPU、複数のCTU/CTB/CU/PUを含む領域において信号通知されてもよい。
例C6:ルックアップテーブルからの予測を適用するかどうかは、さらにコーディングされた情報に依存してもよい。ブロックに適用しないと推測される場合、予測の指示の追加の信号通知はスキップされる。代替的に、ブロックに適用しないと推測される場合、ルックアップテーブルの動き候補にアクセスする必要はなく、関連する動き候補のチェックは省略される。
a.ルックアップテーブルからの予測を適用するかどうかは、ブロックサイズ/ブロック形状に依存してもよい。一例において、より小さなブロック、例えば、4TB、CU、またはPU、複数のCTU/CTB/CU/PUを含む領域において信号通知されてもよい。もよい。
b.ルックアップテーブルからの予測を適用するかどうかは、ブロックがAMVPモードでコーディングされているかマージモードでコーディングされているかに依存してもよい。一例において、AMVPモードの場合、ルックアップテーブルからの予測を行うことは許可されない。
c.ルックアップテーブルからの予測を適用するかどうかは、ブロックがアフィンの動きまたは他の種類の動き(例えば、並進的な動き)でコーディングされるかどうかに依存してもよい。一例において、アフィンモードの場合、ルックアップテーブルからの予測を行うことは許可されない。
例C7:以前コーディングされたフレーム/スライス/タイルにおけるルックアップテーブルの動き候補を使用して、異なるフレーム/スライス/タイルにおけるブロックの動き情報を予測してもよい。
a.一例において、現在のブロックの参照ピクチャに関連付けられたルックアップテーブルのみを、現在のブロックをコーディングするために利用してもよい。
b.一例において、現在のブロックをコーディングするために、現在のブロックの同じスライスタイプおよび/または同じ量子化パラメータを有するピクチャに関連付けられたルックアップテーブルのみを利用してもよい。
ルックアップテーブルの更新
例D1:動き情報を有するブロックをコーディングした後(すなわち、IntraBCモード、インター符号化モード)に、1つ以上のルックアップテーブルを更新してもよい。
a.一例において、ルックアップテーブルを更新するかどうかは、ルックアップテーブルを選択する規則を再利用してもよく、例えば、現在のブロックを符号化/復号化するためにルックアップテーブルを選択することができる場合、ブロックを符号化/復号化した後、選択されたルックアップテーブルをさらに更新してもよい。
b.更新されるべきルックアップテーブルは、コーディングされた情報および/またはブロック/LCUの位置に基づいて選択されてもよい。
c.ブロックが直接信号通知された動き情報でコーディングされる場合(例えば、AMVPモード、通常/アフィンインターモードのMMVDモード、通常/アフィンインターモードのAMVRモード)、ブロックの動き情報をルックアップテーブルに加えることができる。
i.代替的に、ブロックが、いかなる改良も伴わずに、空間的に近傍のブロックから直接継承された動き情報でコーディングされる場合(例えば、改良を伴わない空間的マージ候補)、ブロックの動き情報をルックアップテーブルに加えるべきではない。
ii.代替的に、ブロックが、改良を行って、空間的に近傍のブロックから直接継承された動き情報でコーディングされる場合(DMVR、FRUCなど)、ブロックの動き情報をいかなるルックアップテーブルにも加えるべきではない。
iii.代替的に、ブロックが、ルックアップテーブルに記憶された動き候補から直接継承された動き情報でコーディングされている場合は、ブロックの動き情報は、いかなるルックアップテーブルにも加えるべきではない。
iv.一例において、このような動き情報は、テーブルの最後のエントリまたは次の利用可能な動き候補を記憶するために用いられるエントリ等のように、ルックアップテーブルに直接加えられてもよい。
v.代替的に、このような動き情報は、プルーニングせずに、例えば、いかなるプルーニングもせずに、ルックアップテーブルに直接加えられてもよい。
vi.代替的に、このような動き情報は、ルックアップテーブルを再配列するために使用してもよい。
vii.代替的に、このような動き情報は、プルーニングが制限された状態で(例えば、ルックアップテーブルにおける最新のものと比較して)ルックアップテーブルを更新するために使用してもよい。
d.ブロック内のM個の代表位置が選択され、その代表と関連付けられた動き情報がルックアップテーブルの更新に用いられる。
i.一例において、代表位置は、ブロック内の4つのコーナー位置(例えば、図26のC0~C3)のうちの1つとして規定される。
ii.一例において、代表位置は、ブロック内の中心位置(例えば、図26におけるCa~Cd)として規定される。
iii.ブロックに対してサブブロック予測が許可されない場合、Mは1に設定される。
iv.サブブロック予測がブロックに対して許可される場合、Mは、1、またはサブブロックの総数、または[1とサブブロックの数]の間の一意の値に排他的に設定され得る。
v.代替的に、ブロックのためにサブブロック予測を許可する場合、Mを1に設定することができ、代表的なサブブロックの選択は、以下に基づいて行われる。
1.利用される動き情報の頻度
2.双方向予測ブロックであるか否か
3.参照ピクチャインデックス/参照ピクチャに基づいて
4.他の動きベクトルと比較した動きベクトルの差(例えば、最大MV差を選択する)
5.他のコーディングされた情報
e.M(M>=1)個の代表位置のセットを選択してルックアップテーブルを更新する場合、これらを更なる動き候補としてルックアップテーブルに加える前に、更なる条件がチェックされてもよい。
i.ルックアップテーブルにおける既存の動き候補に対して、新たな動き情報のセットをプルーニングしてもよい。
ii.一例において、動き情報の新しいセットは、ルックアップテーブルにおける既存の動き候補のいずれかまたは一部と同一であってはならない。
iii.代替的に、動き情報の新しいセットおよび1つの既存の動き候補からの同じ参照ピクチャの場合、MV差は、1/複数の閾値よりも小さくならないようにすべきである。例えば、MV差の水平および/または垂直モジュールは、1ピクセルの距離よりも大きくなければならない。
iv.代替的に、K>Lである場合、動き情報の新しいセットを、最後のK個の候補または最初のK%L個の既存の動き候補によってのみプルーニングし、古い動き候補を再びアクティブにすることができるようにする。
v.代替的に、プルーニングは適用しない。
f.動き情報のMのセットがルックアップテーブルを更新するために用いられる場合、対応するカウンタをMだけ増加させるべきである。
g.更新対象のルックアップテーブルのカウンタをKとし、現在のブロックをコーディングする前に、(上記の方法で)選択された動き情報の1つのセットに対して、このブロックをコーディングした後、これを、K%Lに等しいインデックスを有する追加の動き候補として加える(ここで、Lはルックアップテーブルのサイズである)。その例を図27Aおよび図27Bに示す。
i.代替的に、それは、min(K+1,L-1)に等しいインデックスを有する追加の動き候補として追加される。代替的に、更に、K≧Lである場合、第1の動き候補(インデックスが0)をルックアップテーブルから取り除き、後続のK個の候補インデックスを1だけ減らす。
ii.上記両方の方法(K%Lに等しいエントリインデックスに新しい動き候補を加えるか、またはmin(K+1,L+1)に等しいインデックスを加える)の場合、同じ/類似した動き候補が存在するかどうかに関わらず、それらは、前のコーディングされたブロックからの動き情報の最新の数セットを維持しようとしている。
iii.代替的に、動き情報の新しいセットを動き候補としてLUTに追加する場合、まず冗長性チェックを行う。この場合、LUTは以前のコーディングされたブロックからの動き情報の最新のいくつかのセットを保持するが、LUTから冗長な動き情報を除去してもよい。このような方法を、冗長性除去型LUT更新方法(redundancy-removal based LUT updating method)と呼ぶ。
1.LUTに重複した動き候補が存在する場合、LUTに関連付けられたカウンタを増加させなくてもよいし、減少させてもよい。
2.この冗長チェックは、例えば、参照ピクチャ/参照ピクチャのインデックスが同じか否か、および、動きベクトルの差が範囲内にあるかまたは同一であるかをチェックすることなど、マージ候補リスト構築処理におけるプルーニング処理として規定されてもよい。
3.LUT内に冗長動き候補が見つかった場合、その冗長動き候補を現在の位置から最後のLUTに移動させる。
a.同様に、LUT内に冗長動き候補が見つかった場合、この冗長動き候補をLUTから取り除く。また、冗長動き候補の後にLUTに挿入されたすべての動き候補は、前方に移動し、除去された冗長動き候補のエントリを再び満たす。シフトした後、新しい動き候補をLUTに加える。
b.この場合、カウンタは変更されないままである。
c.LUTにおいて冗長動き候補を特定した後、冗長チェック処理を終了する。
4.複数の冗長動き候補を特定することができる。この場合、それらのすべてをLUTから削除する。また、残りの動き候補は、すべて順に前方に移動してもよい。
a.この場合、カウンタを(冗長動き候補の数-1)にて減少させる。
b.maxR個の冗長動き候補(maxRは正の整数の変数)を特定した後、冗長チェック処理を終了する。
5.冗長性チェック処理は、1つ目の動き候補から最後の動き候補まで(すなわち、LUTに付加された順に、動き情報のあるブロックの復号化処理の順に)行うことができる。
6.代替的に、LUTに冗長動き候補がある場合、冗長なものを1つまたは複数個取り除く代わりに、冗長なものから仮想動き候補を導出してもよく、この仮想動き候補を使用して冗長なものを置き換えてもよい。
a.仮想動き候補は、1つ以上の動きベクトルの水平および/または垂直の構成要素にオフセットを加えることで、または同じ参照ピクチャを指している場合には2つの動きベクトルの平均値を加えることで、冗長動き候補から導出されてもよい。代替的に、仮想動き候補は、ルックアップテーブルにおける動きベクトルを入力とする任意の関数から導出されてもよい。例示的な関数は以下の通りである。2つまたは複数の動きベクトルを足し合わせること。2つまたは複数の動きベクトルを平均すること。動きベクトルは、関数に入力される前にスケーリングされてもよい。
b.冗長動き候補と同じ位置に仮想動き候補を加えてもよい。
c.他のすべての動き候補の前に、仮想動き候補を追加してもよい(例えば、最小のエントリインデックス、例えば、ゼロから始まる)。
d.一例において、現在のLUTに空きがある場合など、特定の条件下でのみ適用される。
7.冗長性除去に基づくLUT更新方法は、以下のような特定の条件下で呼び出されてもよい。
a.現在のブロックはマージモードでコーディングされている。
b.現在のブロックはAMVPモードでコーディングされているが、MV差の少なくとも1つの構成要素が非ゼロである。
c.現在のブロックがサブブロックベースの動き予測/動き補償方法でコーディングされているか、またはコーディングされていない(例えば、アフィンモードでコーディングされていない)。
d.現在のブロックはマージモードでコーディングされ、動き情報はあるタイプ(例えば、空間的に近傍のブロックから、左の近傍のブロックから、時間的ブロックから)に関連付けられている。
h.1つのブロックを符号化/復号化した後、1つ以上のルックアップテーブルは、動き情報のM個のセットをテーブルの末端に挿入するだけで、すなわち、既存の候補のすべての後に、更新されてもよい。
i.代替的に、さらに、テーブルにおける既存の動き候補をいくつか削除してもよい。
1.一例において、動き情報のM個のセットを挿入した後、テーブルが一杯である場合、動き候補の最初のいくつかのエントリをテーブルから削除してよい。
2.一例において、動き情報のM個のセットを挿入する前にテーブルに一杯である場合、動き候補の最初のいくつかのエントリをテーブルから削除してよい。
ii.代替的に、さらに、ブロックがテーブルからの動き候補でコーディングされている場合、選択された動き候補をテーブルの最後のエントリに入れるように、テーブルにおける動き候補を再配列してもよい。
i.1つの例において、ブロックを符号化/復号化する前に、ルックアップテーブルには、HMVP、HMVP、HMVP、...、HMVPK-1、HMVP、HMVPK+1、...、HMVPL-1で示される動き候補が含まれていてもよく、HMVPはルックアップテーブルのi番目のエントリを示す。ブロックがHMVPKから予測されている場合(Kが包含的に[0,L-1]の範囲内にある場合)、このブロックを符号化/復号化した後、ルックアップテーブルは、HMVP、HMVP、HMVP、...、HMVPK-1、HMVP、HMVPK+1、...、HMVPL-1、HMVPにて再配列される。
j.1つのイントラ制約ブロックをコーディングした後、ルックアップテーブルを空にしてもよい。
k.動き情報のエントリをルックアップテーブルに追加する場合、動き情報からの導出によって、動き情報のより多くのエントリをテーブルに追加してもよい。この場合、ルックアップテーブルに関連付けられたカウンタを1より大きい数だけ増加させることができる。
i.一例において、動き情報のエントリのMVは、スケーリングされ、テーブルに入れられる。
ii.一例において、動き情報のエントリのMVは、(dx,dy)だけ加算され、テーブルに入れられる。
iii.一例において、動き情報の2つ以上のエントリのMVの平均が計算され、テーブルに入れられる。
例D2:1つのブロックが1つのピクチャ/スライス/タイルの境界に位置する場合、ルックアップテーブルの更新は常に許可されない。
例D3:現在のLCU行をコーディングするために、上側のLCU行の動き情報を無効にしてもよい。
a.この場合、新しいスライス/タイル/LCU行の始まりにおいて、利用可能な動き候補の数を0にリセットしてよい。
例D4:新しい時間層インデックスを使用してスライス/タイルをコーディングする開始時に、利用可能な動き候補の数を0にリセットしてよい。
例D5:ルックアップテーブルは、同じ時間層インデックスを有する1つのスライス/タイル/LCUの行/スライスで連続的に更新されてもよい。
a.代替的に、ルックアップテーブルは、各S(S層インデックスを/CTB/CU/CBを符号化/復号化した後、または特定の領域(例えば、8クスを有する1つのスライス/タイル/LCUの行/スライスで連続的に更新されてもよい。
b.代替的に、ルックアップテーブルは、特定のモード(例えば、S個のインター符号化ブロック)を有する各S(Sライスで連続的に更新されてもよい。候補を再配列して復号化した後にのみ更新されてもよい。代替的に、ルックアップテーブルは、サブブロックに基づく動き予測/動き補償方法でコーディングされていない(例えば、アフィンおよび/またはATMVPモードでコーディングされていない)各S(S>=1)個のインター符号化ブロック(例えば、CU/CB)を符号化/復号化した後にのみ更新されてもよい。
c.代替的に、符号化/復号化されたブロックの左上座標が何らかの条件を満たす場合にのみ、ルックアップテーブルを更新してもよい。例えば、ルックアップテーブルは、(x&M==0)&&(y&M==0)の場合にのみ更新され、ここで、(x,y)は、符号化/復号化されたブロックの左上座標である。Mは、2、4、8、16、32、または64などの整数である。
d.代替的に、1つのルックアップテーブルは、最大許容カウンタに達すると、更新を停止してもよい。
e.一例において、カウンタは予め規定されてもよい。代替的に、VPS(Video Parameter Set)、SPS(Sequence Parameter Set)、PPS(Picture Paramter Set)、スライスヘッダ、タイルヘッダ、CTU(Coding Tree Unit)、CTB(Coding Tree Block)、CU(Coding Unit)またはPU(Prediction Unit)、複数のCTU/CTB/CU/PUをカバーする領域で信号通知される。
例D6:ルックアップテーブル更新プロセスは、異なる手順内で呼び出されてもよい。
a.一例において、マージモードでコーディングされたブロックの場合、ルックアップテーブル更新プロセスは、マージ候補を復号化した後であってもよいし、マージリストを構築した後であってもよく、または動き情報を改良して、および/または改良せずに復号化した後であってもよい。
b.一例において、AMVPでコーディングされたブロックの場合、ルックアップテーブル更新プロセスは、動き情報を改良して、および/または改良せずに復号化した後であってもよい。
c.ルックアップテーブルをいつおよび/またはどのように更新するかは、コーディングされたモード、ブロック寸法、映像処理データユニット、低遅延チェック等に依存してよい。
i.一例において、1つのブロックがAMVPモードでコーディングされる場合、プルーニングせずに、ルックアップテーブルを直接更新してもよい。
ii.代替的に、1つのブロックがマージモードでコーディングされる場合、プルーニングによってルックアップテーブルを更新してもよい。
iii.代替的に、1つのブロックがマージモードでコーディングされ、その動き情報が空間的ブロックおよび/または時間的ブロックから導出される場合、ルックアップテーブルはプルーニングによって更新されてもよい。
iv.代替的に、1つのブロックがマージモードでコーディングされ、その動き情報がルックアップテーブルにおける動き候補から導出される場合、プルーニングせずにルックアップテーブルを再配列してもよい。
v.代替的に、1つのブロックがマージモードでコーディングされ、その動き情報がルックアップテーブルにおける仮想候補(例えば、組み合わされたバイ、ペア、ゼロ動きベクトル候補)から導出される場合、ルックアップテーブルは更新されなくてもよい。
vi.代替的に、1つのブロックがサブブロックマージモードおよび/または三角形マージモードでコーディングされる場合、ルックアップテーブルは更新されなくてもよい。
vii.代替的に、1つのブロックがMMVD(Merge with Motion Vector Differences)モードでコーディングされ、その動き情報が空間的ブロックおよび/または時間的ブロックから導出される場合、ルックアップテーブルを直接更新してもよい。
viii.一例において、1つのブロックが、照明補償(IC:Illumination Compensarion)モードおよび/またはOBMC(Overlapped Block Motion Compensation)モードおよび/またはDMVD(Decode-side Motion Vector Derivation)モードでコーディングされる場合、ルックアップテーブルは、更新されなくてもよい。代替的に、このようなモードで1つのブロックをコーディングする場合、ルックアップテーブルを更新してもよい。
追加の例示的な実施形態
HMVP(Histry-based MVP)方法が提案され、HMVP候補は、以前にコーディングされたブロックの動き情報として規定される。符号化/復号化処理中、複数のHMVP候補を有するテーブルが維持される。新しいスライスに遭遇した場合、テーブルは空になる。インター符号化されたブロックがあるときはいつでも、関連する動き情報を新しいHMVP候補としてテーブルの最後のエントリに加える。全体のコーディングフローを図31に示す。
一例において、テーブルサイズはL(例えば、L=16または6、または44)に設定され、これは、最大L個のHMVP候補をテーブルに追加することができることを示す。
(例11.g.iに対応する)1つの実施形態において、以前にコーディングされたブロックからのL個よりも多いHMVP候補が存在する場合、テーブルが常に最新の以前にコーディングされたL個の動き候補を含むように、FIFO(First-In-First-Out)規則が適用される。図32は、FIFO規則を適用してHMVP候補を除去し、提案される方法で使用されるテーブルに新しいものを追加する例を示す。
(発明11.g.iiiに対応する)別の実施形態において、新しい動き候補を追加するときはいつでも(例えば、現在のブロックがインター符号化され、非アフィンモードであるなど)、まず、冗長性チェック処理を適用し、LUTに同じまたは類似した動き候補があるかどうかを識別する。
いくつかの例を以下に示す。
図33Aは、新しい動き候補を追加する前に、LUTに空きがない場合の例を示す。
図33Bは、新しい動き候補を追加する前に、LUTに空きがある場合の例を示す。
図33Aおよび図33Bは、ともに、冗長性除去に基づくLUT更新方法(1つの冗長性動き候補を除去する)の例を示す。
図34Aおよび図34Bは、冗長性除去に基づくLUT更新方法(複数の冗長性動き候補を除去する、図では2つの候補を示す)の2つの場合の例示の実装形態を示す。
図34Aは、新しい動き候補を追加する前に、LUTに空きがない場合の例を示す。
図34Bは、新しい動き候補を追加する前に、LUTに空きがある場合の例を示す。
HMVP候補は、マージ候補リスト構築処理において使用され得る。TMVP候補の後に、テーブルにおける最後のエントリから最初のエントリ(または、最後のK0個のHMVP、例えば、K0=16または6)までのすべてのHMVP候補を挿入する。HMVP候補に対してプルーニングを適用する。利用可能なマージ候補の総数が信号通知された最大許容マージ候補に達すると、マージ候補リスト構築処理を終了する。代替的に、追加された動き候補の総数が、所与の値に達すると、LUTからの動き候補のフェッチを終了する。
同様に、HMVP候補は、AMVP候補リスト構築処理において使用されてもよい。TMVP候補の後に、テーブルにおける最後のK1個のHMVP候補の動きベクトルを挿入する。AMVP対象参照ピクチャと同じ参照ピクチャを有するHMVP候補のみを用いて、AMVP候補リストを構築する。HMVP候補に対してプルーニングを適用する。一例において、K1は4に設定される。
参考文献
[1]“Overview of the High Efficiency Video Coding (HEVC) Standard”, Gary J.Sullivan, Jens-Rainer Ohm, Woo-Jin Han, and Thomas Wiegand, IEEE Transactions on Circuits and Systems for Video Technology, Vol.22, No.12, December 2012.
[2]“Overview of the H.264/AVC video coding standard”, Ajay Luthra, Pankaj Topiwala, Proceedings of SPIE Vol.5203 Applications of Digital Image Processing XXVI.
[3]J.Chen, E.Alshina, G.J.Sullivan, J.-R.Ohm, J.Boyce, “Algorithm description of Joint Exploration Test Model 7 (JEM7),” JVET-G1001, Aug.2017.
[4]JEM-7.0: https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/ HM-16.6-JEM-7.0.
[5]H.265/HEVC, https://www.itu.int/rec/T-REC-H.265
[6]“Multi-Type-Tree”, JVET-D0117
[7]国際公開公報WO2016/091161号明細書
[8]“Description of SDR, HDR and 360° video coding technology proposal by Qualcomm and Technicolor - low and high complexity versions”, JVET-J0021.
図28Aは、映像処理装置2800のブロック図である。本明細書に記載の方法の1つ以上を実装するために、装置2800を使用してもよい。装置2800は、スマートフォン、タブレット、コンピュータ、IoT(Internet of Things)受信機等に実施されてもよい。装置2800は、1または複数の処理装置2802と、1または複数のメモリ2804と、映像処理ハードウェア2806と、を含んでもよい。プロセッサ2802は、本明細書に記載される1つ以上の方法を実装するように構成されてもよい。メモリ(複数可)2804は、本明細書で説明される方法及び技術を実装するために使用されるデータ及びコードを記憶するために使用してもよい。映像処理ハードウェア2806は、本明細書に記載される技術をハードウェア回路にて実装するために使用されてもよい。
図28Bは、開示される技術が実施され得る映像処理システムのブロック図の別の例である。図28Bは、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム3100を示すブロック図である。様々な実装形態は、システム3100の構成要素の一部または全部を含んでもよい。システム3100は、映像コンテンツを受信するための入力ユニット3102を含んでもよい。映像コンテンツは、未加工または非圧縮フォーマット、例えば、8または10ビットのマルチコンポーネントの画素値で受信されてもよく、または圧縮または符号化のフォーマットで受信されてもよい。入力ユニット3102は、ネットワークインターフェース、周辺バスインターフェース、または記憶インターフェースを表してもよい。ネットワークインターフェースの例としては、イーサネット(登録商標)、PON(Passive Optical Network)等の有線インターフェース、及びWi-Fi(登録商標)またはセルラーインターフェース等の無線インターフェースが挙げられる。
システム3100は、本明細書に記載される様々なコーディングまたは符号化方法を実装することができるコーディングコンポーネント3104を含んでもよい。コーディングコンポーネント3104は、入力3102からの映像の平均ビットレートをコーディングコンポーネント3104の出力に低減し、映像のコーディング表現を生成してもよい。従って、このコーディング技術は、映像圧縮または映像コード変換技術と呼ばれることがある。コーディングコンポーネント3104の出力は、コンポーネント3106によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力3102において受信された、記憶されたまたは通信された映像のビットストリーム(またはコーディングされた)表現は、コンポーネント3108によって使用され、表示インターフェース3110に送信される画素値または表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像展開と呼ばれることがある。さらに、特定の映像処理動作を「コーディング(coding)」動作またはツールと呼ぶが、コーディングツールまたは動作はエンコーダによって用いられ、それに対応する、復号化の結果を逆にする復号化ツールまたは動作がデコーダによって行われることが理解されよう。
周辺バスインターフェースユニットまたは表示インターフェースユニットの例は、USB(Universal Serial Bus)またはHDMI(High Definition Multimedia Interface)(登録商標)またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、SATA(Serial Advanced Technology Attachment)、PCI、IDEインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、またはデジタルデータ処理および/または映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。
いくつかの実施形態において、映像コーディング方法は、図28Aまたは図28Bを参照して説明したように、ハードウェアプラットフォームに実装される装置を使用して実施されてもよい。
図29は、映像処理方法2900の一例のフローチャートである。方法2900は、ステップ2902において、1または複数の動き候補テーブルを維持することを含む。方法2900は、ステップ2904において、動き候補テーブルを用いたシーケンスにおける複数の映像処理動作を用いて、現在の映像ブロックと現在の映像ブロックのコーディングされた表現とを変換することをさらに含む。方法2900は、ステップ2906において、特定の処理動作が完了したことに起因して動き候補テーブルを更新することをさらに含む。
図30は、映像処理方法3000の一例のフローチャートである。方法3000は、ステップ3002において、1つ以上の動き候補テーブルを維持することを含む。方法3000は、ステップ3004において、コーディングモード、寸法、映像処理データユニットまたは低遅延チェックを含む現在の映像ブロックの特徴に基づいて、i)動き候補テーブルの動き候補テーブルを更新するかどうか、またはii)動き候補テーブルをどのように更新するかの少なくとも一方を判定することを更に含む。方法3000は、さらに、ステップ3006において、判定に基づいて、映像の現在の映像ブロックと、映像のコーディングされた表現との間で変換を行うことと、を含む。
方法2900および3000に対して、いくつかの実施形態において、動き情報は、予測方向、参照ピクチャインデックス、動きベクトル値、強度補償フラグ、アフィンフラグ、動きベクトル差精度または動きベクトル差分値のうち少なくとも1つを含む。さらに、動き情報は、動き情報がどこから来ているかを示すために、ブロック位置情報をさらに含んでもよい。いくつかの実施形態において、映像ブロックはCUまたはPUであり、映像の一部は1または複数の映像スライスまたは1または複数の映像ピクチャに対応することができる。
いくつかの実施形態において、各LUTは、関連するカウンタを含み、このカウンタは、この映像のこの部分の最初においてゼロ値に初期化され、この映像のこの部分における各符号化された映像領域ごとに増加される。この映像領域は、コーディングツリーユニット、コーディングツリーブロック、コーディングユニット、コーディングブロック、または予測ユニットのうちの1つを含む。いくつかの実施形態において、カウンタは、対応するLUTに対して、該当するLUTから除去された動き候補の数を示す。いくつかの実施形態において、動き候補のセットはすべてのLUTに対して同じサイズを有していてもよい。いくつかの実施形態において、映像の一部は1つの映像スライスに対応し、LUTの数はN*Pに等しく、Nは1つの復号化スレッド当たりのLUTを表す整数であり、Pは1つの映像スライスにおける最大コーディングユニットの行の数またはタイルの数を表す整数である。方法2900および3000のさらなる詳細は、第4章に提供される実施例および以下に列挙される実施例に記載される。
1.1つまたは複数の動き候補テーブルを維持することと、動き候補テーブルを用いたシーケンスにおける複数の映像処理動作を用いて、映像の現在の映像ブロックと前記現在の映像ブロックのコーディングされた表現との間の変換を実行することと、特定の処理動作が完了したことに起因して前記動き候補テーブルを更新すること、とを含む映像処理方法。
2.特定の処理動作の同一性は、前記現在の映像ブロックのコーディング特性に依存する、例1に記載の方法。
3.現在の映像ブロックはマージモードでコーディングされ、前記動き候補テーブルは、前記変換の一部である以下の動作:
(i)マージ候補の復号化、
(ii)前記マージ候補を含むマージリストの構築、
(iii)改良なしでの動き情報の復号化、または、
(iv)改良ありでの動き情報の復号化、
のうちの少なくとも1つの後に更新される、例1に記載の方法。
4.前記現在の映像ブロックはマージモードでコーディングされ、前記動き候補テーブルは、DMVR(Decode-side Motion Vector Refinement)で改良される前に、復号化された動き情報を用いて更新される、例3に記載の方法。
5.前記現在の映像ブロックをマージモードでコーディングし、前記動き候補テーブルは、MMVD(Merge with Motion Vector Differences)をマージして改良した後、復号化された動き情報を用いて更新される、例3の方法。
6.現在の映像ブロックは、AMVP(Advanced Motion Vector Prediction)モードでコーディングされ、動き情報を改良ありまたは改良なしで復号化した後、動き候補テーブルを更新する、例1の方法。
7.1つまたは複数の動き候補テーブルを維持することと、コーディングモード、寸法、映像処理データユニット、または低遅延チェックを含む現在の映像ブロックの特性に基づいて、i)1つまたは複数の動き候補テーブルの1つの動き候補テーブルを更新するかどうか、またはii)動き候補テーブルをどのように更新するかの少なくとも一方を判定することと、前記判定に基づいて、映像の現在の映像ブロックと前記映像のコーディングされた表現との間の変換を実行することとを含む、映像処理方法。
8.前記現在の映像ブロックはAMVP(Advanced Motion Vector Prediction)モードでコーディングされ、前記動き候補テーブルは、プルーニングせずに更新される、例7に記載の方法。
9.前記現在の映像ブロックはマージモードでコーディングされ、前記動き候補テーブルはプルーニングにより更新される、例7に記載の方法。
10.前記プルーニングは、前記現在の映像ブロックに関連付けられた動き情報と、前記動き候補テーブルにおける少なくとも1つの動き候補とを比較することを含む、例8または9に記載の方法。
11.前記現在の映像ブロックの動き情報は、空間的ブロックまたは時間的ブロックから導出される、例9に記載の方法。
12.前記現在の映像ブロックはマージモードでコーディングされ、前記現在の映像ブロックの動き情報は前記動き候補テーブルにおける動き候補から導出され、前記動き候補テーブルはプルーニングすることなく並べ替えられる、例7に記載の方法。
13.前記現在の映像ブロックはマージモードでコーディングされ、前記現在の映像ブロックの動き情報は前記動き候補テーブルにおける仮想候補から導出され、前記動き候補テーブルは更新されない、例7に記載の方法。
14.前記現在の映像ブロックはサブブロックマージモードおよび/または三角形マージモードでコーディングされ、前記動き候補テーブルは更新されない、例7に記載の方法。
15.現在の映像ブロックはMMVD(Merge withMotion Vector Differences)モードでコーディングされ、前記現在の映像ブロックの動き情報は空間的ブロックまたは時間的ブロックから導出され、前記動き候補テーブルは更新される、例7に記載の方法。
16.前記現在の映像ブロックは、照明補償(IC:Illumication Compensation)モード、OBMC(Overlapped Block Motion Compensation)モード、またはDMVD(Decode-side Motion Vector Derivation)モードのうちの1つまたは複数のモードでコーディングされ、前記動き候補テーブルは更新されない、例7に記載の方法。
17.前記現在の映像ブロックは、照明補償(IC:Illumication Compensation)モード、OBMC(Overlapped Block Motion Compensation)モード、またはDMVD(Decode-side Motion Vector Derivation)モードのうちの1つまたは複数のモードでコーディングされ、前記動き候補テーブルは更新される、例7に記載の方法。
18.前記動き候補テーブルは、HMVP(History Motion Vector Prediction)テーブルである、例1~17のいずれか1つに記載の方法。
19.前記変換を実行することは、前記現在の映像ブロックからコーディングされた表現を生成することを含む、例1~18のいずれかに記載の方法。
20.前記変換を実行することは、前記コーディングされた表現から前記現在の映像ブロックを生成することを含む、例1~18のいずれかに記載の方法。
21.プロセッサと、命令を搭載した非一時的メモリとを備える、映像システムにおける装置であって、前記命令は、前記プロセッサが実行することにより、前記プロセッサに、例1~20のいずれかに記載の前記方法を実行させる、装置。
22.非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、例1~20のいずれかに記載の前記方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
以上、説明の目的で本開示の技術の特定の実施形態を説明したが、本発明の範囲から逸脱することなく様々な修正が可能であることは、理解されるであろう。従って、本開示の技術は、添付の特許請求の範囲による場合を除き、限定されない。
本明細書に記載され、開示された、および他の実施形態、モジュール、および機能操作は、本明細書に開示された構造およびその構造的等価物を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの1つ以上の組み合わせで実施されてもよい。開示された、および他の実施形態は、1つ以上のコンピュータプログラム製品、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1つ以上のコンポーネントとして実装することができる。このコンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの1つ以上の組み合わせであってもよい。「データ処理装置」という用語は、例えば、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサ若しくはコンピュータを含め、データを処理するためのすべての装置、デバイス、及び機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの1つ以上の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報を符号化するように生成される。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる)は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、コンポーネント、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部(例えば、マークアップ言語文書に格納された1つ以上のスクリプト)に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル(例えば、1つ以上のモジュール、サブプログラム、またはコードの一部を格納するファイル)に記憶されていてもよい。1つのコンピュータプログラムを、1つのサイトに位置する1つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開することも可能である。
本明細書に記載された処理及びロジックフローは、入力データ上で動作し、出力を生成することによって機能を行うための1つ以上のコンピュータプログラムの変換を行う1つ以上のプログラマブルプロセッサによって行うことができる。処理及びロジックフローはまた、特定用途のロジック回路、例えば、FPGA(Field Programmable Gate Array)またはASIC(Application Specific Intergrated Circuit)によって行うことができ、装置はまた、特定用途のロジック回路として実装することができる。
コンピュータプログラムの実行に適したプロセッサは、例えば、汎用及び専用マイクロプロセッサの両方、並びに任意の種類のデジタルコンピュータの任意の1つ以上のプロセッサを含む。一般的に、プロセッサは、読み出し専用メモリまたはランダムアクセスメモリまたはその両方から命令及びデータを受信する。コンピュータの本質的な要素は、命令を行うためのプロセッサと、命令及びデータを記憶するための1つ以上のメモリデバイスである。一般的に、コンピュータは、データを記憶するための1つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令及びデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、及びメモリデバイスを含み、例えば、EPROM、EEPROM、フラッシュメモリデバイス、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、及びCD-ROM及びDVD-ROMディスク等の半導体メモリデバイスを含む。プロセッサ及びメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。
本特許明細書は多くの詳細を含むが、これらは、任意の発明の範囲または特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の発明の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許明細書において別個の実施形態の文脈で説明されている特定の特徴は、1つの例において組み合わせて実装してもよい。逆に、1つの例の文脈で説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの1つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で実行されること、または示された全ての操作が実行されることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている例における様々なシステムモジュールの分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。
いくつかの実装形態及び例のみが記載されており、本特許明細書に記載され図示されている内容に基づいて、他の実施形態、拡張及び変形が可能である。

Claims (15)

  1. 映像処理の方法であって、
    1以上の動き候補テーブルを維持することであって、各動き候補テーブルは、1以上の動き候補を有し、少なくとも1つの動き候補テーブルは、少なくとも1つの前の映像ブロックから導出され、前記動き候補テーブルにおける前記動き候補の配置は、前記動き候補テーブルへの前記動き候補の追加の順序に基づく、ことと、
    第1の映像ブロックに対する動き候補リストを導出するための動き候補リスト導出処理を実行することと、
    前記動き候補リストに基づいて、前記第1の映像ブロックに対する動き情報を導出することと、
    MMVD(Merge with Motion Vector Differences)ツールを用いて、前記動き情報を改良することと、
    前記改良された動き情報に基づいて、前記第1の映像ブロックと、前記第1の映像ブロックを含む映像のビットストリームとの間の変換を実行することと、
    前記MMVDツールによって改良された前記改良された動き情報を用いることにより、前記1以上の動き候補テーブルのうちの動き候補テーブルを更新することと、
    を有し、
    前記更新された動き候補テーブルにおける前記1以上の動き候補は、後続のブロックに対する動き候補リストを構築する間に、順にチェックされる、方法。
  2. 前記第1の映像ブロックは、マージモードにてコーディングされる、請求項1に記載の方法。
  3. 前記動き候補テーブルは、少なくとも1つの特定のモードに属する現在のブロックのコーディングモードに基づいて、更新対象が決定される、請求項1または2に記載の方法。
  4. 前記少なくとも1つの特定のモードは、動きベクトル予測モードまたはマージモードの少なくとも一方を含む、請求項3に記載の方法。
  5. 前記少なくとも1つの特定のモードは、サブブロックマージモードまたは矩形マージモードの少なくとも一方を除き、
    前記動き候補テーブルは、前記サブブロックマージモードまたは前記矩形マージモードを用いるブロックから導出された動き情報を用いて更新されない、請求項3に記載の方法。
  6. 前記動き候補テーブルは、HMVP(History Motion Vector Prediction)テーブルである、請求項1から5のいずれか一項に記載の方法。
  7. 前記更新することは、
    プルーニング動作を用いて前記動き候補テーブルを更新することであって、前記プルーニング動作は、前記動き候補テーブルにおける追加対象の新しい動き候補と、前記動き候補テーブルにおける少なくとも1つの動き候補とを比較し、前記動き候補テーブルから前記少なくとも1つの動き候補を削除するか否かを決定する、ことを有する、請求項1から6のいずれか一項に記載の方法。
  8. 前記動き候補リストから導出された動き情報と関連付けられた新しい候補が、前記動き候補テーブルから前記動き候補リストへ追加された動き候補である場合、前記動き候補テーブルは、プルーニング動作を行うことなく並び替えられる、請求項1から7のいずれか一項に記載の方法。
  9. 前記動き候補リストから導出された動き情報と関連付けられた新しい候補が、現在のピクチャとは異なるピクチャにおける前記第1の映像ブロックまたは時間的ブロックを有する前記現在のブロックにおける空間的近傍のブロックに関連付けられた動き候補である場合、前記動き候補テーブルは、プルーニング動作を行って更新される、請求項1から8のいずれか一項に記載の方法。
  10. 動きベクトル予測モードにてコーディングされた第2の映像ブロックに対する動き候補リストを導出するための動き候補リスト導出処理を実行することと、
    前記第2の映像ブロックに対して導出された前記動き候補リストに基づいて、前記第2の映像ブロックに対する動き情報を導出することと、
    前記第2の映像ブロックに対して導出された前記動き情報に基づいて、前記第2の映像ブロックと、前記第2の映像ブロックを有する映像のビットストリームとの間の変換を実行することと、
    改良なしで前記第2の映像ブロックに対して導出された前記動き情報を用いて、前記動き候補テーブルを更新することと、
    を更に有する請求項1から9のいずれか一項に記載の方法。
  11. 前記変換を実行することは、前記第1の映像ブロックに基づいて、前記ビットストリームを生成することを含む、請求項1から10のいずれか一項に記載の方法。
  12. 前記変換を実行することは、前記第1の映像ブロックを前記ビットストリームから生成することを含む、請求項1から10のいずれか一項に記載の方法。
  13. プロセッサと、命令を有する非一時的メモリとを有する、映像データを処理するための装置であって、
    前記命令は、前記プロセッサによって実行された際に、前記プロセッサに、
    1以上の動き候補テーブルを維持することであって、各動き候補テーブルは、1以上の動き候補を有し、少なくとも1つの動き候補テーブルは、少なくとも1つの前の映像ブロックから導出され、前記動き候補テーブルにおける前記動き候補の配置は、前記動き候補テーブルへの前記動き候補の追加の順序に基づく、ことと、
    第1の映像ブロックに対する動き候補リストを導出するための動き候補リスト導出処理を実行することと、
    前記動き候補リストに基づいて、前記第1の映像ブロックに対する動き情報を導出することと、
    MMVD(Merge with Motion Vector Differences)ツールを用いて、前記動き情報を改良することと、
    前記改良された動き情報に基づいて、前記第1の映像ブロックと、前記第1の映像ブロックを含む映像のビットストリームとの間の変換を実行することと、
    前記MMVDツールによって改良された前記改良された動き情報を用いることにより、前記1以上の動き候補テーブルのうちの動き候補テーブルを更新することと、
    を実行させ、
    前記更新された動き候補テーブルにおける前記1以上の動き候補は、後続のブロックに対する動き候補リストを構築する間に、順にチェックされる、装置。
  14. プロセッサに、
    1以上の動き候補テーブルを維持することであって、各動き候補テーブルは、1以上の動き候補を有し、少なくとも1つの動き候補テーブルは、少なくとも1つの前の映像ブロックから導出され、前記動き候補テーブルにおける前記動き候補の配置は、前記動き候補テーブルへの前記動き候補の追加の順序に基づく、ことと、
    第1の映像ブロックに対する動き候補リストを導出するための動き候補リスト導出処理を実行することと、
    前記動き候補リストに基づいて、前記第1の映像ブロックに対する動き情報を導出することと、
    MMVD(Merge with Motion Vector Differences)ツールを用いて、前記動き情報を改良することと、
    前記改良された動き情報に基づいて、前記第1の映像ブロックと、前記第1の映像ブロックを含む映像のビットストリームとの間の変換を実行することと、
    前記MMVDツールによって改良された前記改良された動き情報を用いることにより、前記1以上の動き候補テーブルのうちの動き候補テーブルを更新することと、
    を実行させ、
    前記更新された動き候補テーブルにおける前記1以上の動き候補は、後続のブロックに対する動き候補リストを構築する間に、順にチェックされる、命令を格納する非一時的コンピュータ可読記録媒体。
  15. 像のビットストリームを格納する方法であって、
    前記方法は、
    1以上の動き候補テーブルを維持することであって、各動き候補テーブルは、1以上の動き候補を有し、少なくとも1つの動き候補テーブルは、少なくとも1つの前の映像ブロックから導出され、前記動き候補テーブルにおける前記動き候補の配置は、前記動き候補テーブルへの前記動き候補の追加の順序に基づく、ことと、
    第1の映像ブロックに対する動き候補リストを導出するための動き候補リスト導出処理を実行することと、
    前記動き候補リストに基づいて、前記第1の映像ブロックに対する動き情報を導出することと、
    MMVD(Merge with Motion Vector Differences)ツールを用いて、前記動き情報を改良することと、
    前記改良された動き情報に基づいて、前記ビットストリームを生成することと、
    前記MMVDツールによって改良された前記改良された動き情報を用いることにより、前記1以上の動き候補テーブルのうちの動き候補テーブルを更新することと、
    前記ビットストリームを非一時的なコンピュータ可読記憶媒体に格納することと、
    を有し、
    前記更新された動き候補テーブルにおける前記1以上の動き候補は、後続のブロックに対する動き候補リストを構築する間に、順にチェックされる、方法
JP2023072498A 2019-01-10 2023-04-26 Lut更新の起動 Active JP7572499B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2019/071214 2019-01-10
CN2019071214 2019-01-10
JP2021539078A JP7275286B2 (ja) 2019-01-10 2020-01-10 Lut更新の起動

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021539078A Division JP7275286B2 (ja) 2019-01-10 2020-01-10 Lut更新の起動

Publications (2)

Publication Number Publication Date
JP2023099078A JP2023099078A (ja) 2023-07-11
JP7572499B2 true JP7572499B2 (ja) 2024-10-23

Family

ID=71521971

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021539078A Active JP7275286B2 (ja) 2019-01-10 2020-01-10 Lut更新の起動
JP2023072498A Active JP7572499B2 (ja) 2019-01-10 2023-04-26 Lut更新の起動

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021539078A Active JP7275286B2 (ja) 2019-01-10 2020-01-10 Lut更新の起動

Country Status (6)

Country Link
US (2) US11589071B2 (ja)
EP (1) EP3888355A4 (ja)
JP (2) JP7275286B2 (ja)
KR (2) KR20240010576A (ja)
CN (1) CN113273186A (ja)
WO (1) WO2020143741A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210024502A (ko) 2018-06-29 2021-03-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Hmvp 후보를 병합/amvp에 추가할 때의 부분/풀 프루닝
AU2019293670B2 (en) 2018-06-29 2023-06-08 Beijing Bytedance Network Technology Co., Ltd. Update of look up table: FIFO, constrained FIFO
CN110662053B (zh) 2018-06-29 2022-03-25 北京字节跳动网络技术有限公司 使用查找表的视频处理方法、装置和存储介质
TWI728388B (zh) 2018-06-29 2021-05-21 大陸商北京字節跳動網絡技術有限公司 Lut中的運動候選的檢查順序
JP7460617B2 (ja) 2018-06-29 2024-04-02 北京字節跳動網絡技術有限公司 Lut更新条件
EP3791589A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Which lut to be updated or no updating
JP7295231B2 (ja) 2018-06-29 2023-06-20 北京字節跳動網絡技術有限公司 Lutとamvpの間の相互作用
EP3791586A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
TWI731365B (zh) 2018-07-02 2021-06-21 大陸商北京字節跳動網絡技術有限公司 Merge索引編碼
CN111064961B (zh) 2018-09-12 2023-06-09 北京字节跳动网络技术有限公司 视频处理方法和装置
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
CN113330739A (zh) 2019-01-16 2021-08-31 北京字节跳动网络技术有限公司 Lut中的运动候选的插入顺序
WO2020192611A1 (en) 2019-03-22 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
WO2020244569A1 (en) 2019-06-04 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Conditional implementation of motion candidate list construction process
CN117395397A (zh) 2019-06-04 2024-01-12 北京字节跳动网络技术有限公司 使用临近块信息的运动候选列表构建
KR102662603B1 (ko) 2019-06-06 2024-04-30 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩을 위한 움직임 후보 리스트 구성
EP3984215A4 (en) 2019-07-14 2022-08-24 Beijing Bytedance Network Technology Co., Ltd. TRANSFORM BLOCK SIZE RESTRICTION IN VIDEO CODING
CN117596389A (zh) 2019-09-28 2024-02-23 北京字节跳动网络技术有限公司 视频编解码中的几何分割模式
US12113987B2 (en) * 2020-12-22 2024-10-08 Qualcomm Incorporated Multi-pass decoder-side motion vector refinement
US11477437B2 (en) * 2021-01-28 2022-10-18 Lemon Inc. Coding of motion information
CN118525516A (zh) * 2021-10-15 2024-08-20 抖音视界有限公司 用于视频处理的方法、设备和介质
WO2023185935A1 (en) * 2022-03-29 2023-10-05 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180192071A1 (en) 2017-01-05 2018-07-05 Mediatek Inc. Decoder-side motion vector restoration for video coding
US20200169748A1 (en) 2018-11-27 2020-05-28 Qualcomm Incorporated Decoder-side motion vector refinement

Family Cites Families (301)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7023922B1 (en) 2000-06-21 2006-04-04 Microsoft Corporation Video coding system and method using 3-D discrete wavelet transform and entropy coding with motion information
US7623719B2 (en) 2003-09-26 2009-11-24 The Regents Of The University Of California Video encoding methods and devices
CN100545892C (zh) 2003-12-18 2009-09-30 汤姆森特许公司 生成视频图像场中的查找表的方法和装置
US7801220B2 (en) 2005-01-07 2010-09-21 Microsoft Corporation In-band wavelet video coding with spatial scalability
MX2007012835A (es) 2005-04-13 2007-11-09 Nokia Corp Identificacion de escalabilidad granular fina en la codificacion de video escalable.
US20070025444A1 (en) 2005-07-28 2007-02-01 Shigeyuki Okada Coding Method
CN100539693C (zh) 2005-08-30 2009-09-09 深圳清华大学研究院 快速运动估计方法
CA2666622A1 (en) 2006-10-20 2008-04-24 Nokia Corporation Generic indication of adaptation paths for scalable multimedia
KR100856411B1 (ko) 2006-12-01 2008-09-04 삼성전자주식회사 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
US8228990B2 (en) 2008-01-16 2012-07-24 Sony Corporation Template matching scheme using multiple predictors as candidates for intra-prediction
WO2009094349A1 (en) 2008-01-22 2009-07-30 Dolby Laboratories Licensing Corporation Adaptive motion information cost estimation with dynamic look-up table updating
US8724697B2 (en) 2008-09-26 2014-05-13 Qualcomm Incorporated Locating motion vectors for video data units
HRP20231396T1 (hr) 2009-06-18 2024-05-10 Kabushiki Kaisha Toshiba Video kodiranje
CN102037732B (zh) 2009-07-06 2013-03-27 联发科技(新加坡)私人有限公司 一种执行单循环自适应内插滤波的方法、编码器和译码器
KR20110008653A (ko) 2009-07-20 2011-01-27 삼성전자주식회사 움직임 벡터 예측 방법과 이를 이용한 영상 부호화/복호화 장치 및 방법
EP2991356B1 (en) 2009-10-01 2019-09-04 SK Telecom Co., Ltd. Method and apparatus for encoding/decoding image using variable sized macroblocks
KR101600818B1 (ko) 2009-11-06 2016-03-09 삼성디스플레이 주식회사 3차원 광학 모듈 및 이를 포함하는 디스플레이 장치
JP5338684B2 (ja) 2010-01-08 2013-11-13 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
WO2011095260A1 (en) 2010-02-05 2011-08-11 Telefonaktiebolaget L M Ericsson (Publ) Managing predicted motion vector candidates
WO2011146451A1 (en) 2010-05-20 2011-11-24 Thomson Licensing Methods and apparatus for adaptive motion vector candidate ordering for video encoding and decoding
US10104391B2 (en) 2010-10-01 2018-10-16 Dolby International Ab System for nested entropy encoding
US8711940B2 (en) 2010-11-29 2014-04-29 Mediatek Inc. Method and apparatus of motion vector prediction with extended motion vector predictor
WO2012074344A2 (ko) 2010-12-03 2012-06-07 엘지전자 주식회사 움직임 정보 리스트 인덱싱 방법 및 이러한 방법을 사용하는 장치
KR101269116B1 (ko) 2010-12-14 2013-05-29 엠앤케이홀딩스 주식회사 인터 예측 부호화된 동영상 복호화 방법
US10397599B2 (en) 2010-12-17 2019-08-27 Electronics And Telecommunications Research Institute Method and apparatus for inter prediction using motion vector candidate based on temporal motion prediction
KR20120070479A (ko) 2010-12-21 2012-06-29 한국전자통신연구원 화면 내 예측 방향 정보 부호화/복호화 방법 및 그 장치
US9049455B2 (en) 2010-12-28 2015-06-02 Panasonic Intellectual Property Corporation Of America Image coding method of coding a current picture with prediction using one or both of a first reference picture list including a first current reference picture for a current block and a second reference picture list including a second current reference picture for the current block
GB2492778A (en) 2011-07-11 2013-01-16 Canon Kk Motion compensated image coding by combining motion information predictors
WO2012095467A1 (en) 2011-01-12 2012-07-19 Canon Kabushiki Kaisha Video encoding and decoding with low complexity
US9319716B2 (en) 2011-01-27 2016-04-19 Qualcomm Incorporated Performing motion vector prediction for video coding
US20120195366A1 (en) 2011-02-01 2012-08-02 Mediatek Singapore Pte. Ltd. Method and Apparatus of Adaptive Inter Mode Coding Using Variable Length Codes
KR102216155B1 (ko) 2011-02-09 2021-02-16 엘지전자 주식회사 움직임 정보 저장 방법 및 이를 이용한 시간적 움직임 벡터 예측자 유도 방법
EP2490448A1 (de) 2011-02-18 2012-08-22 Siemens Aktiengesellschaft Kodierverfahren und Bildkodiervorrichtung zur Kompression einer Bildsequenz
US10171813B2 (en) 2011-02-24 2019-01-01 Qualcomm Incorporated Hierarchy of motion prediction video blocks
US9066110B2 (en) 2011-03-08 2015-06-23 Texas Instruments Incorporated Parsing friendly and error resilient merge flag coding in video coding
GB2501835B (en) 2011-03-09 2014-09-03 Canon Kk Video encoding and decoding
US9143795B2 (en) * 2011-04-11 2015-09-22 Texas Instruments Incorporated Parallel motion estimation in video coding
US9247266B2 (en) 2011-04-18 2016-01-26 Texas Instruments Incorporated Temporal motion data candidate derivation in video coding
US20120287999A1 (en) 2011-05-11 2012-11-15 Microsoft Corporation Syntax element prediction in error correction
JP5869564B2 (ja) 2011-05-24 2016-02-24 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 画像符号化方法、画像符号化装置、画像復号方法、画像復号装置、および、画像符号化復号装置
RU2614542C2 (ru) 2011-05-31 2017-03-28 Сан Пэтент Траст Способ кодирования видео, устройство кодирования видео, способ декодирования видео, устройство декодирования видео и устройство кодирования/декодирования видео
DK2717574T3 (da) 2011-05-31 2021-03-15 Jvc Kenwood Corp Apparat til dekodning af bevægelige billeder (film), fremgangsmåde til dekodning af bevægelige billeder og program til dekodning af bevægelige billeder
US9866859B2 (en) 2011-06-14 2018-01-09 Texas Instruments Incorporated Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding
JP5786478B2 (ja) 2011-06-15 2015-09-30 富士通株式会社 動画像復号装置、動画像復号方法、及び動画像復号プログラム
WO2012172668A1 (ja) 2011-06-15 2012-12-20 株式会社 東芝 動画像符号化方法及び装置並びに動画復号化方法及び装置
WO2012173315A1 (ko) 2011-06-17 2012-12-20 엘지전자 주식회사 인트라 예측 모드 부호화/복호화 방법 및 장치
US9282338B2 (en) 2011-06-20 2016-03-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
HUE031000T2 (en) 2011-06-28 2017-06-28 Samsung Electronics Co Ltd Video decoding method using intra prediction
PL3419289T3 (pl) 2011-06-30 2021-04-19 JVC Kenwood Corporation Urządzenie do dekodowania obrazu, sposób dekodowania obrazu i program do dekodowania obrazu
MX2013013029A (es) 2011-06-30 2013-12-02 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, dispositivo de decodificacion de imagenes, dispositivo de codificacion de imagenes y dispositivo de codificacion/decodifi cacion de imagenes.
KR102200578B1 (ko) 2011-06-30 2021-01-11 가부시키가이샤 제이브이씨 켄우드 화상 부호화 장치, 화상 부호화 방법, 화상 부호화 프로그램, 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램
US20130188013A1 (en) 2011-07-22 2013-07-25 Qualcomm Incorporated Mvc based 3dvc codec supporting inside view motion prediction (ivmp) mode
WO2013018369A1 (ja) 2011-08-03 2013-02-07 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号化方法、動画像復号化装置、および、動画像符号化復号化装置
GB2493755B (en) 2011-08-17 2016-10-19 Canon Kk Method and device for encoding a sequence of images and method and device for decoding a sequence of images
MX351933B (es) 2011-08-29 2017-11-01 Ibex Pt Holdings Co Ltd Método para generar un bloque de predicción en modo de predicción de vector de movimiento avanzada (amvp).
US8804816B2 (en) 2011-08-30 2014-08-12 Microsoft Corporation Video encoding enhancements
FI4009641T3 (fi) 2011-09-09 2023-11-09 Lg Electronics Inc Kuvan dekoodausmenetelmä, kuvan koodausmenetelmä, menetelmä datan lähettämiseksi kuvainformaatiolle ja tietokoneella luettava tallennusväline, joka tallentaa bittivirran, joka sisältää koodatun kuvainformaation
MX351041B (es) 2011-09-09 2017-09-29 Kt Corp Método para derivar un vector de movimiento predictivo temporal y aparato que usa el método.
US20130070855A1 (en) 2011-09-17 2013-03-21 Qualcomm Incorporated Hybrid motion vector coding modes for video coding
JP5884697B2 (ja) 2011-09-28 2016-03-15 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム
EP2763414B1 (en) 2011-09-29 2020-09-23 Sharp Kabushiki Kaisha Image decoding device and image decoding method for performing bi-prediction to uni-prediction conversion
WO2013053309A1 (en) 2011-10-11 2013-04-18 Mediatek Inc. Method and apparatus of motion and disparity vector derivation for 3d video coding and hevc
CN105120272B (zh) 2011-10-18 2018-11-23 株式会社Kt 图像解码方法
US9838692B2 (en) 2011-10-18 2017-12-05 Qualcomm Incorporated Detecting availabilities of neighboring video units for video coding
EP3923572A1 (en) 2011-10-19 2021-12-15 Sun Patent Trust Image encoding method, image encoding device, image decoding method, and picture decoding device
EP2716047A4 (en) 2011-10-19 2015-03-18 Mediatek Inc METHOD AND DEVICE FOR DERIVING MOTION VECTOR PREVIEW CANDIDATE SETS
US9462298B2 (en) 2011-10-21 2016-10-04 Qualcomm Incorporated Loop filtering around slice boundaries or tile boundaries in video coding
US20140286433A1 (en) 2011-10-21 2014-09-25 Dolby Laboratories Licensing Corporation Hierarchical motion estimation for video compression and motion analysis
RU2646328C1 (ru) 2011-10-28 2018-03-02 Сан Пэтент Траст Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений и устройство декодирования изображений
US9571833B2 (en) 2011-11-04 2017-02-14 Nokia Technologies Oy Method for coding and an apparatus
KR20130050407A (ko) 2011-11-07 2013-05-16 오수미 인터 모드에서의 움직임 정보 생성 방법
KR20130050406A (ko) 2011-11-07 2013-05-16 오수미 머지 모드에서의 움직임 정보 생성 방법
US20130114717A1 (en) 2011-11-07 2013-05-09 Qualcomm Incorporated Generating additional merge candidates
EP4009640A1 (en) 2011-11-08 2022-06-08 Electronics and Telecommunications Research Institute Method and device for sharing a candidate list
TWI508533B (zh) 2011-11-08 2015-11-11 Samsung Electronics Co Ltd 解碼影像的裝置
GB2556489B (en) 2011-11-08 2018-11-21 Kt Corp A method of decoding a video signal using a merge mode
KR102641723B1 (ko) 2011-11-11 2024-02-29 지이 비디오 컴프레션, 엘엘씨 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
WO2013081365A1 (ko) 2011-11-28 2013-06-06 에스케이텔레콤 주식회사 개선된 머지를 이용한 영상 부호화/복호화 방법 및 장치
US9762904B2 (en) 2011-12-22 2017-09-12 Qualcomm Incorporated Performing motion vector prediction for video coding
WO2013099244A1 (ja) 2011-12-28 2013-07-04 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
US9900615B2 (en) 2011-12-28 2018-02-20 Microsoft Technology Licensing, Llc Representative motion information for temporal motion prediction in video encoding and decoding
US20130188715A1 (en) 2012-01-09 2013-07-25 Qualcomm Incorporated Device and methods for merge list reordering in video coding
CN105791820B (zh) 2012-01-18 2018-03-13 Jvc 建伍株式会社 动图像解码装置以及动图像解码方法
HRP20211943T8 (hr) 2012-01-19 2022-05-13 Electronics And Telecommunications Research Institute Uređaj za kodiranje/dekodiranje slike
SI3512197T1 (sl) 2012-01-20 2020-12-31 Dolby Laboratories Licensing Corporation Postopek preslikave v načinu notranjega napovedovanja
IN2014KN01699A (ja) 2012-01-20 2015-10-23 Fraunhofer Ges Forschung
EP2810443B1 (en) 2012-02-01 2021-03-31 Nokia Technologies Oy Method and apparatus for video coding
US9544592B2 (en) 2012-02-10 2017-01-10 Texas Instruments Incorporated Methods and systems for encoding pictures associated with video data
US9445076B2 (en) 2012-03-14 2016-09-13 Qualcomm Incorporated Disparity vector construction method for 3D-HEVC
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
WO2013140807A1 (ja) 2012-03-23 2013-09-26 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム、並びに動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
US9264706B2 (en) 2012-04-11 2016-02-16 Qualcomm Incorporated Bypass bins for reference index coding in video coding
US9325991B2 (en) 2012-04-11 2016-04-26 Qualcomm Incorporated Motion vector rounding
US9338451B2 (en) 2012-04-12 2016-05-10 Qualcomm Incorporated Common spatial candidate blocks for parallel motion estimation
PL3833023T3 (pl) 2012-04-12 2022-05-30 Jvckenwood Corporation Konstrukcja listy kandydatów do scalania
US20130272412A1 (en) 2012-04-12 2013-10-17 Qualcomm Incorporated Common motion information candidate list construction process
US9503702B2 (en) 2012-04-13 2016-11-22 Qualcomm Incorporated View synthesis mode for three-dimensional video coding
WO2013157251A1 (ja) 2012-04-16 2013-10-24 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム、並びに動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
WO2013169031A1 (ko) 2012-05-10 2013-11-14 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US11317101B2 (en) 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
US9258562B2 (en) 2012-06-13 2016-02-09 Qualcomm Incorporated Derivation of depth map estimate
US20130336406A1 (en) 2012-06-14 2013-12-19 Qualcomm Incorporated Redundancy removal for merge/skip mode motion information candidate list construction
US20130343459A1 (en) 2012-06-22 2013-12-26 Nokia Corporation Method and apparatus for video coding
BR112014033038A2 (pt) 2012-07-02 2017-06-27 Samsung Electronics Co Ltd método de predição de vetor de movimento para inter predição, e aparelho de predição de vetor de movimento para inter predição
CN104412593B (zh) 2012-07-03 2018-11-06 夏普株式会社 图像解码装置以及图像编码装置
US20140071235A1 (en) 2012-09-13 2014-03-13 Qualcomm Incorporated Inter-view motion prediction for 3d video
US9998727B2 (en) 2012-09-19 2018-06-12 Qualcomm Incorporated Advanced inter-view residual prediction in multiview or 3-dimensional video coding
EP2898696B1 (en) 2012-09-19 2022-09-07 Qualcomm Incorporated Selection of pictures for disparity vector derivation
WO2014049196A1 (en) 2012-09-27 2014-04-03 Nokia Corporation Method and techniqal equipment for scalable video coding
JPWO2014054267A1 (ja) 2012-10-01 2016-08-25 パナソニックIpマネジメント株式会社 画像符号化装置及び画像符号化方法
CN104704835B (zh) 2012-10-03 2017-11-24 联发科技股份有限公司 视频编码中运动信息管理的装置与方法
US9699450B2 (en) 2012-10-04 2017-07-04 Qualcomm Incorporated Inter-view predicted motion vector for 3D video
CN102883163B (zh) 2012-10-08 2014-05-28 华为技术有限公司 用于运动矢量预测的运动矢量列表建立的方法、装置
CN110545422B (zh) 2012-10-12 2022-11-22 韩国电子通信研究院 图像编码/解码方法和使用其的装置
US9854234B2 (en) 2012-10-25 2017-12-26 Qualcomm Incorporated Reference picture status for video coding
US9357214B2 (en) 2012-12-07 2016-05-31 Qualcomm Incorporated Advanced merge/skip mode and advanced motion vector prediction (AMVP) mode for 3D video
US9350970B2 (en) 2012-12-14 2016-05-24 Qualcomm Incorporated Disparity vector derivation
JP6215344B2 (ja) 2012-12-14 2017-10-18 クゥアルコム・インコーポレイテッドQualcomm Incorporated 非対称空間解像度を有するテクスチャビューコンポーネントおよび深度ビューコンポーネントの中での内部ビュー動き予測
US10021414B2 (en) 2013-01-04 2018-07-10 Qualcomm Incorporated Bitstream constraints and motion vector restriction for inter-view or inter-layer reference pictures
US9648299B2 (en) 2013-01-04 2017-05-09 Qualcomm Incorporated Indication of presence of texture and depth views in tracks for multiview coding plus depth
CN110611814A (zh) 2013-01-07 2019-12-24 Vid拓展公司 用于可扩展视频编码的运动信息信令
WO2014108088A1 (en) 2013-01-11 2014-07-17 Mediatek Singapore Pte. Ltd. Method and apparatus for efficient coding of depth lookup table
JP5692262B2 (ja) 2013-03-06 2015-04-01 株式会社Jvcケンウッド 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法、及び受信プログラム
US10057594B2 (en) 2013-04-02 2018-08-21 Vid Scale, Inc. Enhanced temporal motion vector prediction for scalable video coding
US10158876B2 (en) 2013-04-10 2018-12-18 Qualcomm Incorporated Backward view synthesis prediction
WO2014166329A1 (en) 2013-04-10 2014-10-16 Mediatek Inc. Method and apparatus of inter-view candidate derivation for three-dimensional video coding
CN104125463A (zh) 2013-04-26 2014-10-29 华为技术有限公司 一种图像预测编码方法及图像编码器
EP2997732A1 (en) 2013-05-15 2016-03-23 VID SCALE, Inc. Single loop decoding based inter layer prediction
US9667990B2 (en) 2013-05-31 2017-05-30 Qualcomm Incorporated Parallel derived disparity vector for 3D video coding with neighbor-based disparity vector derivation
WO2015000108A1 (en) 2013-07-01 2015-01-08 Mediatek Singapore Pte. Ltd. An improved texture merging candidate in 3dvc
WO2015006920A1 (en) 2013-07-16 2015-01-22 Mediatek Singapore Pte. Ltd. An adaptive disparity vector derivation method
KR20190112854A (ko) 2013-09-20 2019-10-07 브이아이디 스케일, 인크. 색역 확장성을 위한 3d 룩업 테이블 코딩을 제공하기 위한 시스템 및 방법
US9667996B2 (en) 2013-09-26 2017-05-30 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
GB2519514A (en) * 2013-10-11 2015-04-29 Canon Kk Method and apparatus for displacement vector component prediction in video coding and decoding
ES2781561T3 (es) 2013-10-18 2020-09-03 Lg Electronics Inc Método que predice síntesis de vistas en la codificación de vídeo multi-vista y método para constituir una lista de candidatos a la fusión mediante el uso del mismo
CN104717510B (zh) 2013-12-13 2018-08-17 华为技术有限公司 用于图像处理的方法和装置
JP6355744B2 (ja) 2014-01-03 2018-07-11 マイクロソフト テクノロジー ライセンシング,エルエルシー ビデオ及び画像符号化/デコーディングにおけるブロックベクトル予測
US9967592B2 (en) 2014-01-11 2018-05-08 Qualcomm Incorporated Block-based advanced residual prediction for 3D video coding
CN106464894B (zh) 2014-02-12 2019-10-18 明达半导体股份有限公司 视频处理方法及装置
CN105556971B (zh) 2014-03-04 2019-07-30 微软技术许可有限责任公司 针对帧内块复制预测中的块翻动和跳跃模式的编码器侧判定
US9591313B2 (en) 2014-03-04 2017-03-07 Vixs Systems, Inc. Video encoder with transform size preprocessing and methods for use therewith
US10567799B2 (en) 2014-03-07 2020-02-18 Qualcomm Incorporated Simplified sub-prediction unit (sub-PU) motion parameter inheritance (MPI)
KR102329126B1 (ko) 2014-03-14 2021-11-19 삼성전자주식회사 인터 레이어 비디오의 복호화 및 부호화를 위한 머지 후보 리스트 구성 방법 및 장치
WO2015139187A1 (en) 2014-03-17 2015-09-24 Mediatek Inc. Low latency encoder decision making for illumination compensation and depth look-up table transmission in video coding
WO2015139203A1 (en) 2014-03-18 2015-09-24 Mediatek Singapore Pte. Ltd. Dlt signaling in 3d video coding
KR20150109282A (ko) 2014-03-19 2015-10-01 주식회사 케이티 다시점 비디오 신호 처리 방법 및 장치
US10554967B2 (en) 2014-03-21 2020-02-04 Futurewei Technologies, Inc. Illumination compensation (IC) refinement based on positional pairings among pixels
EP3130147B1 (en) 2014-05-06 2022-05-04 HFI Innovation Inc. Methods of block vector prediction and decoding for intra block copy mode coding
US10382749B2 (en) 2014-05-23 2019-08-13 Qualcomm Incorporated Coding run values based on palette index in palette-based video coding
WO2015180014A1 (en) 2014-05-26 2015-12-03 Mediatek Singapore Pte. Ltd. An improved merge candidate list construction method for intra block copy
EP3155812B1 (en) 2014-06-16 2023-04-05 QUALCOMM Incorporated Simplified shifting merge candidate and merge list derivation in 3d-hevc
WO2015192780A1 (en) 2014-06-19 2015-12-23 Mediatek Singapore Pte. Ltd. Method and apparatus of candidate generation for single sample mode in video coding
KR102284995B1 (ko) 2014-06-19 2021-08-04 브이아이디 스케일, 인크. 3차원 기반 컬러 매핑에서의 모델 파라미터 최적화를 위한 시스템 및 방법
EP3158751B1 (en) 2014-06-23 2019-07-31 Microsoft Technology Licensing, LLC Encoder decisions based on results of hash-based block matching
CN104079944B (zh) 2014-06-30 2017-12-01 华为技术有限公司 视频编码的运动矢量列表构建方法和系统
WO2016008157A1 (en) 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
WO2016008161A1 (en) 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Temporal derived bi-directional motion vector predictor
KR102276854B1 (ko) 2014-07-31 2021-07-13 삼성전자주식회사 인루프 필터 파라미터 예측을 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
WO2016034058A1 (en) 2014-09-01 2016-03-10 Mediatek Inc. Method of intra picture block copy for screen content and video coding
KR102008592B1 (ko) 2014-09-15 2019-08-07 에이치에프아이 이노베이션 인크. 비디오 코딩에서의 인트라 블록 복사를 위한 디블로킹 방법
US9743110B2 (en) 2014-10-09 2017-08-22 Hfi Innovation Inc. Method of 3D or multi-view video coding including view synthesis prediction
KR20170078672A (ko) 2014-10-31 2017-07-07 삼성전자주식회사 고정밀 스킵 부호화를 이용한 비디오 부호화 장치 및 비디오 복호화 장치 및 그 방법
KR102466902B1 (ko) 2014-10-31 2022-11-14 삼성전자주식회사 움직임 벡터 부복호화 방법 및 장치
US10182240B2 (en) 2014-11-18 2019-01-15 Mediatek Inc. Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate
EP3205109A4 (en) 2014-12-09 2018-03-07 MediaTek Inc. Method of motion vector predictor or merge candidate derivation in video coding
WO2016090568A1 (en) 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US11477477B2 (en) 2015-01-26 2022-10-18 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
US10230980B2 (en) 2015-01-26 2019-03-12 Qualcomm Incorporated Overlapped motion compensation for video coding
US10070130B2 (en) 2015-01-30 2018-09-04 Qualcomm Incorporated Flexible partitioning of prediction units
CN106416254B (zh) 2015-02-06 2019-08-02 微软技术许可有限责任公司 在媒体编码期间跳过评估阶段
US10057574B2 (en) 2015-02-11 2018-08-21 Qualcomm Incorporated Coding tree unit (CTU) level adaptive loop filter (ALF)
US11330284B2 (en) 2015-03-27 2022-05-10 Qualcomm Incorporated Deriving motion information for sub-blocks in video coding
CN107431824B (zh) 2015-04-08 2020-10-02 寰发股份有限公司 视频编解码中调色板模式上下文编解码和二值化的方法
CN104915966B (zh) 2015-05-08 2018-02-09 上海交通大学 基于卡尔曼滤波的帧率上变换运动估计方法及系统
US10200713B2 (en) 2015-05-11 2019-02-05 Qualcomm Incorporated Search region determination for inter coding within a particular picture of video data
US10368072B2 (en) 2015-05-29 2019-07-30 Qualcomm Incorporated Advanced arithmetic coder
US10356416B2 (en) 2015-06-09 2019-07-16 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding
US10887597B2 (en) 2015-06-09 2021-01-05 Qualcomm Incorporated Systems and methods of determining illumination compensation parameters for video coding
US10271064B2 (en) 2015-06-11 2019-04-23 Qualcomm Incorporated Sub-prediction unit motion vector prediction using spatial and/or temporal motion information
US9918102B1 (en) 2015-06-22 2018-03-13 Ambarella, Inc. Inter-prediction candidate selection in a mode decision
WO2017043734A1 (ko) 2015-09-07 2017-03-16 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2017045101A1 (en) 2015-09-14 2017-03-23 Mediatek Singapore Pte. Ltd. Advanced deblocking filter in video coding
US20170094288A1 (en) 2015-09-25 2017-03-30 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US10812822B2 (en) 2015-10-02 2020-10-20 Qualcomm Incorporated Intra block copy merge mode and padding of unavailable IBC reference region
US10462439B2 (en) 2015-10-02 2019-10-29 Vid Scale, Inc. Color correction with a lookup table
EP4192009A1 (en) 2015-11-19 2023-06-07 LX Semicon Co., Ltd. Method and apparatus for encoding/decoding intra prediction mode
CN105681807B (zh) 2016-01-06 2018-11-02 福州瑞芯微电子股份有限公司 一种基于h264协议的分像素运动矢量计算方法和装置
JP6495835B2 (ja) 2016-01-06 2019-04-03 日本電信電話株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム
US10368083B2 (en) 2016-02-15 2019-07-30 Qualcomm Incorporated Picture order count based motion vector pruning
US10200715B2 (en) 2016-02-17 2019-02-05 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices for encoding and decoding video pictures
KR102402045B1 (ko) 2016-04-06 2022-05-25 주식회사 케이티 비디오 신호 처리 방법 및 장치
US20200169726A1 (en) 2016-04-08 2020-05-28 Electronics And Telecommunications Research Institute Method and device for inducing motion prediction information
CN114189678A (zh) 2016-04-26 2022-03-15 英迪股份有限公司 图像解码方法、图像编码方法以及传输比特流的方法
US10142652B2 (en) 2016-05-05 2018-11-27 Google Llc Entropy coding motion vector residuals obtained using reference motion vectors
EP3453178A1 (en) 2016-05-06 2019-03-13 VID SCALE, Inc. Systems and methods for motion compensated residual prediction
US10547854B2 (en) 2016-05-13 2020-01-28 Qualcomm Incorporated Neighbor based signaling of intra prediction modes
US10560718B2 (en) 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
US10560712B2 (en) 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
US10419755B2 (en) 2016-05-16 2019-09-17 Qualcomm Incorporated Confusion of multiple filters in adaptive loop filtering in video coding
US10834404B2 (en) 2016-05-24 2020-11-10 Electronics And Telecommunications Research Institute Image encoding/decoding method and recording medium for same
KR102270228B1 (ko) 2016-07-12 2021-06-28 한국전자통신연구원 영상 부호화/복호화 방법 및 이를 위한 기록 매체
US11800113B2 (en) 2016-07-12 2023-10-24 Electronics And Telecommunications Research Institute Image encoding/decoding method and recording medium therefor
US11638027B2 (en) * 2016-08-08 2023-04-25 Hfi Innovation, Inc. Pattern-based motion vector derivation for video coding
CN109644271B (zh) 2016-09-06 2021-04-13 联发科技股份有限公司 用于二叉树分割块的确定候选集的方法及装置
US10721489B2 (en) 2016-09-06 2020-07-21 Qualcomm Incorporated Geometry-based priority for the construction of candidate lists
WO2018049594A1 (en) 2016-09-14 2018-03-22 Mediatek Inc. Methods of encoder decision for quad-tree plus binary tree structure
US10812791B2 (en) 2016-09-16 2020-10-20 Qualcomm Incorporated Offset vector identification of temporal motion vector predictor
JP7048503B2 (ja) 2016-09-27 2022-04-05 シャープ株式会社 復号装置、符号化装置、復号方法、および、符号化方法
MX2019003553A (es) 2016-09-30 2019-08-12 Huawei Tech Co Ltd Metodo de codificacion de video, metodo de decodificacion de video y terminal.
EP3509304B1 (en) 2016-09-30 2023-11-01 Huawei Technologies Co., Ltd. Method for image decoding and device for image coding and decoding for inter-frame prediction
US10631002B2 (en) 2016-09-30 2020-04-21 Qualcomm Incorporated Frame rate up-conversion coding mode
EP3301919A1 (en) 2016-10-03 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding motion information
US10448010B2 (en) 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
JP2019216294A (ja) 2016-10-14 2019-12-19 シャープ株式会社 エントロピー復号装置、エントロピー符号化装置、画像復号装置および画像符号化装置
US11343530B2 (en) 2016-11-28 2022-05-24 Electronics And Telecommunications Research Institute Image encoding/decoding method and device, and recording medium having bitstream stored thereon
CN116527885A (zh) 2016-12-05 2023-08-01 Lg电子株式会社 图像编解码方法、数字存储介质以及数据发送方法
WO2018117706A1 (ko) 2016-12-22 2018-06-28 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR20180074000A (ko) 2016-12-23 2018-07-03 삼성전자주식회사 비디오 디코딩 방법, 이를 수행하는 비디오 디코더, 비디오 인코딩 방법, 및 이를 수행하는 비디오 인코더
CN106851046A (zh) 2016-12-28 2017-06-13 中国科学院自动化研究所 视频动态超分辨率处理方法及系统
US10681370B2 (en) 2016-12-29 2020-06-09 Qualcomm Incorporated Motion vector generation for affine motion model for video coding
US10701366B2 (en) 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
US20180242024A1 (en) 2017-02-21 2018-08-23 Mediatek Inc. Methods and Apparatuses of Candidate Set Determination for Quad-tree Plus Binary-tree Splitting Blocks
US10595035B2 (en) 2017-03-22 2020-03-17 Qualcomm Incorporated Constraining motion vector information derived by decoder-side motion vector derivation
US10491917B2 (en) 2017-03-22 2019-11-26 Qualcomm Incorporated Decoder-side motion vector derivation
US10805650B2 (en) 2017-03-27 2020-10-13 Qualcomm Incorporated Signaling important video information in network video streaming using mime type parameters
CN117395402A (zh) 2017-04-28 2024-01-12 英迪股份有限公司 图像解码方法、图像编码方法和用于发送比特流的方法
US10742975B2 (en) 2017-05-09 2020-08-11 Futurewei Technologies, Inc. Intra-prediction with multiple reference lines
US20180332312A1 (en) 2017-05-09 2018-11-15 Futurewei Technologies, Inc. Devices And Methods For Video Processing
US10523934B2 (en) 2017-05-31 2019-12-31 Mediatek Inc. Split based motion vector operation reduction
EP3410717A1 (en) 2017-05-31 2018-12-05 Thomson Licensing Methods and apparatus for candidate list pruning
WO2018226015A1 (ko) 2017-06-09 2018-12-13 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US10602180B2 (en) 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
CN109089119B (zh) 2017-06-13 2021-08-13 浙江大学 一种运动矢量预测的方法及设备
US20180376148A1 (en) 2017-06-23 2018-12-27 Qualcomm Incorporated Combination of inter-prediction and intra-prediction in video coding
US10911769B2 (en) 2017-06-23 2021-02-02 Qualcomm Incorporated Motion-based priority for the construction of candidate lists in video coding
US10687077B2 (en) 2017-06-26 2020-06-16 Qualcomm Incorporated Motion information propagation in video coding
EP3422716A1 (en) 2017-06-26 2019-01-02 Thomson Licensing Method and apparatus for most probable mode (mpm) sorting and signaling in video encoding and decoding
CN107295348A (zh) 2017-07-31 2017-10-24 南通海鑫信息科技有限公司 一种图像编码方法
US10284869B2 (en) 2017-09-28 2019-05-07 Google Llc Constrained motion field estimation for hardware efficiency
WO2019067879A1 (en) 2017-09-28 2019-04-04 Vid Scale, Inc. REDUCTION OF COMPLEXITY COMPENSATION OF BLOCK MOVEMENT OF OVERLAPPING BLOCKS
KR102427789B1 (ko) 2017-10-10 2022-08-02 한국전자통신연구원 인터 예측 정보를 사용하는 방법 및 장치
US20190116374A1 (en) 2017-10-17 2019-04-18 Qualcomm Incorporated Coding motion information of video data using coding structure-based candidate list construction
CN118214853A (zh) 2017-10-26 2024-06-18 英迪股份有限公司 用于基于非对称子块的图像编码/解码的方法及装置
KR102387363B1 (ko) 2017-11-30 2022-04-18 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
CN109963155B (zh) 2017-12-23 2023-06-06 华为技术有限公司 图像块的运动信息的预测方法、装置及编解码器
US11172229B2 (en) 2018-01-12 2021-11-09 Qualcomm Incorporated Affine motion compensation with low bandwidth
US11265551B2 (en) 2018-01-18 2022-03-01 Qualcomm Incorporated Decoder-side motion vector derivation
US10652571B2 (en) 2018-01-25 2020-05-12 Qualcomm Incorporated Advanced motion vector prediction speedups for video coding
US11303929B2 (en) 2018-04-02 2022-04-12 Lg Electronics Inc. Image coding method using lookup table for intra prediction mode and apparatus therefor
US10986343B2 (en) 2018-04-15 2021-04-20 Arris Enterprises Llc Reducing overhead for multiple-hypothesis temporal prediction
US11895291B2 (en) 2018-05-23 2024-02-06 Hfi Innovation Inc. Method and apparatus of video coding using bi-directional CU weight
US11412211B2 (en) 2018-05-23 2022-08-09 Kt Corporation Method and apparatus for processing video signal
WO2019234671A1 (en) 2018-06-07 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Improved pmmvd
JP7460617B2 (ja) 2018-06-29 2024-04-02 北京字節跳動網絡技術有限公司 Lut更新条件
CN110662032B (zh) 2018-06-29 2022-09-20 北京字节跳动网络技术有限公司 视频处理方法、装置以及非暂时性计算机可读记录介质
AU2019293670B2 (en) 2018-06-29 2023-06-08 Beijing Bytedance Network Technology Co., Ltd. Update of look up table: FIFO, constrained FIFO
WO2020003266A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Resetting of look up table per slice/tile/lcu row
EP3791586A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
TWI728388B (zh) 2018-06-29 2021-05-21 大陸商北京字節跳動網絡技術有限公司 Lut中的運動候選的檢查順序
CN110662053B (zh) 2018-06-29 2022-03-25 北京字节跳动网络技术有限公司 使用查找表的视频处理方法、装置和存储介质
EP3791589A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Which lut to be updated or no updating
JP7295231B2 (ja) 2018-06-29 2023-06-20 北京字節跳動網絡技術有限公司 Lutとamvpの間の相互作用
KR20210024502A (ko) 2018-06-29 2021-03-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Hmvp 후보를 병합/amvp에 추가할 때의 부분/풀 프루닝
TWI731365B (zh) 2018-07-02 2021-06-21 大陸商北京字節跳動網絡技術有限公司 Merge索引編碼
US10743016B2 (en) 2018-07-06 2020-08-11 Mediatek Inc. Inherited motion information for decoding a current coding unit in a video coding system
US11051036B2 (en) * 2018-07-14 2021-06-29 Mediatek Inc. Method and apparatus of constrained overlapped block motion compensation in video coding
US10491902B1 (en) * 2018-07-16 2019-11-26 Tencent America LLC Method and apparatus for history-based motion vector prediction
US10440378B1 (en) * 2018-07-17 2019-10-08 Tencent America LLC Method and apparatus for history-based motion vector prediction with parallel processing
US11381833B2 (en) 2018-07-19 2022-07-05 Tencent America LLC Method and apparatus for video coding
US10958934B2 (en) 2018-07-27 2021-03-23 Tencent America LLC History-based affine merge and motion vector prediction
US10362330B1 (en) * 2018-07-30 2019-07-23 Tencent America LLC Combining history-based motion vector prediction and non-adjacent merge prediction
WO2020031061A2 (en) 2018-08-04 2020-02-13 Beijing Bytedance Network Technology Co., Ltd. Mvd precision for affine
WO2020030002A1 (en) 2018-08-09 2020-02-13 Huawei Technologies Co., Ltd. Method and apparatus of history-based intra mode coding
CN116781930A (zh) 2018-08-13 2023-09-19 Lg电子株式会社 图像编码/解码方法、图像数据发送方法和存储介质
WO2020043061A1 (en) * 2018-08-28 2020-03-05 FG Innovation Company Limited Device and method for coding video data
CN118055231A (zh) 2018-09-06 2024-05-17 Lg 电子株式会社 使用mpm列表的基于帧内预测的图像编码方法及其装置
CN111064961B (zh) 2018-09-12 2023-06-09 北京字节跳动网络技术有限公司 视频处理方法和装置
US11212550B2 (en) 2018-09-21 2021-12-28 Qualcomm Incorporated History-based motion vector prediction for affine mode
US20200112715A1 (en) 2018-10-05 2020-04-09 Qualcomm Incorporated History-based motion vector prediction for inter prediction coding
US11051034B2 (en) 2018-10-08 2021-06-29 Qualcomm Incorporated History-based motion vector predictor
CN116634170A (zh) 2018-10-10 2023-08-22 华为技术有限公司 帧间预测方法及装置
US11284066B2 (en) 2018-10-10 2022-03-22 Tencent America LLC Method and apparatus for intra block copy in intra-inter blending mode and triangle prediction unit mode
CN112956197A (zh) 2018-10-22 2021-06-11 北京字节跳动网络技术有限公司 基于编解码信息的解码器侧运动矢量推导的限制
WO2020084462A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Restrictions on decoder side motion vector derivation based on block size
CN112889269B (zh) * 2018-10-23 2023-10-27 腾讯美国有限责任公司 视频解码方法及装置
CN111093075B (zh) 2018-10-24 2024-04-26 北京字节跳动网络技术有限公司 子块运动矢量预测中基于空域邻近块的运动候选推导
WO2020088690A1 (en) 2018-11-02 2020-05-07 Beijing Bytedance Network Technology Co., Ltd. Table maintenance for hmvp candidate storage
EP3857890A4 (en) 2018-11-06 2021-09-22 Beijing Bytedance Network Technology Co. Ltd. SIGNALING PAGE INFORMATION FOR INTERPREDICTION WITH GEOMETRIC PARTITIONING
JP2022506162A (ja) 2018-11-06 2022-01-17 北京字節跳動網絡技術有限公司 動き情報の位置依存記憶装置
JP7182098B2 (ja) 2018-11-22 2022-12-02 北京字節跳動網絡技術有限公司 映像処理におけるパルス符号変調技術
CN113170184A (zh) 2018-11-22 2021-07-23 北京字节跳动网络技术有限公司 默认运动候选的配置方法
US11184633B2 (en) 2018-11-27 2021-11-23 Qualcomm Incorporated Simplification of history-based motion vector prediction
CN116684589A (zh) 2018-12-12 2023-09-01 Lg电子株式会社 图像编解码设备和视频信号发送设备
CN113491126B (zh) 2018-12-28 2024-04-05 知识产权之桥一号有限责任公司 图像编码装置、图像编码方法以及图像编码程序、图像解码装置、图像解码方法以及图像解码程序
JP2021513795A (ja) 2019-01-01 2021-05-27 エルジー エレクトロニクス インコーポレイティド 履歴ベース動きベクトル予測に基づいてビデオ信号を処理するための方法及び装置
US11234007B2 (en) * 2019-01-05 2022-01-25 Tencent America LLC Method and apparatus for video coding
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
CN113330739A (zh) 2019-01-16 2021-08-31 北京字节跳动网络技术有限公司 Lut中的运动候选的插入顺序
WO2020192611A1 (en) 2019-03-22 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180192071A1 (en) 2017-01-05 2018-07-05 Mediatek Inc. Decoder-side motion vector restoration for video coding
US20200169748A1 (en) 2018-11-27 2020-05-28 Qualcomm Incorporated Decoder-side motion vector refinement
JP2022507683A (ja) 2018-11-27 2022-01-18 クゥアルコム・インコーポレイテッド デコーダ側動きベクトル改良

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Jianle Chen, et al.,Algorithm description for Versatile Video Coding and Test Model 3 (VTM 3) [online], JVET-L JVET-L1002-v1,ITU-T インターネット<URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/12_Macao/wg11/JVET-L1002-v2.zip><JVET-L1002-v2.docx>,2018年12月24日,pp.1-48
Li Zhang, et al.,CE4: History-based Motion Vector Prediction (Test 4.4.7) [online], JVET-L JVET-L0266-v2,ITU-T インターネット<URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/12_Macao/wg11/JVET-L0266-v3.zip><JVET-L0266_r1.docx>,2018年10月04日,pp.1-6
Li Zhang, et al.,CE4-related: History-based Motion Vector Prediction [online], JVET-K JVET-K0104-v5,ITU-T インターネット<URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/11_Ljubljana/wg11/JVET-K0104-v5.zip><JVET-K0104_r4.docx>,2018年07月18日,pp.1-7

Also Published As

Publication number Publication date
JP2022516191A (ja) 2022-02-24
CN113273186A (zh) 2021-08-17
US20210235108A1 (en) 2021-07-29
WO2020143741A1 (en) 2020-07-16
KR20240010576A (ko) 2024-01-23
KR102648159B1 (ko) 2024-03-18
EP3888355A1 (en) 2021-10-06
JP2023099078A (ja) 2023-07-11
US11589071B2 (en) 2023-02-21
JP7275286B2 (ja) 2023-05-17
EP3888355A4 (en) 2022-03-23
US20230156217A1 (en) 2023-05-18
KR20210110814A (ko) 2021-09-09

Similar Documents

Publication Publication Date Title
JP7572499B2 (ja) Lut更新の起動
JP7534474B2 (ja) ルックアップテーブルの更新:fifo、制限されたfifo
JP7464770B2 (ja) Lutにおける動き候補のチェック順序
JP7544883B2 (ja) Lutとamvpの間の相互作用
CN113383554B (zh) LUT和共享Merge列表之间的交互
JP7295230B2 (ja) スライス/タイル/lcuの行ごとのルックアップテーブルのリセット
JP7193629B2 (ja) 更新されるべき若しくは更新しない何れかのlut
TWI820211B (zh) 取決於總數減去k的開始檢查hmvp候選的條件
TWI752331B (zh) 當向Merge/AMVP添加HMVP候選時的部分/完全修剪

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230428

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241010

R150 Certificate of patent or registration of utility model

Ref document number: 7572499

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150