Nothing Special   »   [go: up one dir, main page]

JP7324841B2 - ビデオ・データ処理方法、装置、記憶媒体及び記憶方法 - Google Patents

ビデオ・データ処理方法、装置、記憶媒体及び記憶方法 Download PDF

Info

Publication number
JP7324841B2
JP7324841B2 JP2021524354A JP2021524354A JP7324841B2 JP 7324841 B2 JP7324841 B2 JP 7324841B2 JP 2021524354 A JP2021524354 A JP 2021524354A JP 2021524354 A JP2021524354 A JP 2021524354A JP 7324841 B2 JP7324841 B2 JP 7324841B2
Authority
JP
Japan
Prior art keywords
motion
merge
candidate
candidates
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021524354A
Other languages
English (en)
Other versions
JP2022506767A (ja
Inventor
ザン,カイ
ザン,リー
リュウ,ホンビン
ワン,ユエ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2022506767A publication Critical patent/JP2022506767A/ja
Application granted granted Critical
Publication of JP7324841B2 publication Critical patent/JP7324841B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • H04N19/543Motion estimation other than block-based using regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

関連出願の相互参照
願は、2019年11月11日に出願された国際特許出願番号PCT/CN2019/117119号の国内段階におけるものであり、これは2018年11月10日に出願された国際特許出願番号PCT/CN2018/114931号に対する優先権を主張し且つその恩恵を享受して行われている。前述の出願のすべての開示は参照により本願の開示の一部として援用される。
技術分野
本願は一般に画像及びビデオ・コーディングの技術を対象としている。
背景
動き補償は、カメラ及び/又はビデオ内のオブジェクトの動きを考慮することによって、現在及び/又は将来のフレームの条件下でビデオ内のフレームを予測するビデオ処理における技術である。動き補償は、ビデオ圧縮のためにビデオ・データの符号化及び復号化で使用されることが可能である。
画像及びビデオ・コーディングのためのサブ・ブロック・ベース予測の統一されたラウンディング方法に関連するデバイス、システム及び方法が説明される。
代表的な一態様において、開示される技術は、ビデオ処理の方法を提供するために使用されることが可能である。
本方法は、ビデオの現在ブロックの処理のために、動き候補のペアに基づいてペアワイズ・マージ候補を生成するステップと、ペアワイズ・マージ候補に基づいて、ビデオの現在ブロックとビットストリーム表現との間の変換を実行するステップとを含み、動き候補のペアは、第1動き候補における参照ピクチャ・リストLの第1動きベクトルMV0 = (MV0x,MV0y)と、第2動き候補における参照ピクチャ・リストLの第2動きベクトルMV1 = (MV1x,MV1y)とを含み、MV* = (MV*x,MV*y)は、
Figure 0007324841000001

であるようなペアワイズ・マージ候補であり、off及びsは整数であり、>>は右シフト演算を表す。
別の代表的な態様において、開示される技術は、ビデオ処理の方法を提供するために使用されることが可能である。
本方法は、ビデオの現在ブロックの処理のために、動き候補のペアに基づいてペアワイズ・マージ候補を生成するステップと、ペアワイズ・マージ候補に基づいて、ビデオの現在ブロックとビットストリーム表現との間の変換を実行するステップとを含み、動き候補のペアは、第1動き候補における参照ピクチャ・リストLの第1動きベクトルMV0 = (MV0x,MV0y)と、第2動き候補における参照ピクチャ・リストLの第2動きベクトルMV1 = (MV1x,MV1y)とを含み、MV* = (MV*x,MV*y)は、
Figure 0007324841000002
であるようなペアワイズ・マージ候補であり、off及びsは整数であり、>>は右シフト演算を表す。
更に別の代表的な態様において、開示される技術は、ビデオ処理の方法を提供するために使用されることが可能である。
本方法は、ビデオの現在ブロックの処理のために、動き候補のペアに基づいてペアワイズ・マージ候補を生成するステップと、ペアワイズ・マージ候補に基づいて、ビデオの現在ブロックとビットストリーム表現との間の変換を実行するステップとを含み、動き候補のペアは、第1動き候補における参照ピクチャ・リストLの第1動きベクトルMV0 = (MV0x,MV0y)と、第2動き候補における参照ピクチャ・リストLの第2動きベクトルMV1 = (MV1x,MV1y)とを含み、MV* = (MV*x,MV*y)は、
Figure 0007324841000003
であるようなペアワイズ・マージ候補であり、off及びsは整数であり、>>は右シフト演算を表す。
更に別の代表的な態様において、開示される技術は、ビデオ処理の方法を提供するために使用されることが可能である。
本方法は、ビデオの現在ブロックの処理のために、ペアワイズ・マージ候補を生成するステップであって、生成は、現在ブロックを含む現在ピクチャを示す動き候補のペアに基づいている、ステップと、ペアワイズ・マージ候補に基づいて、ビデオの現在ブロックとビットストリーム表現との間の変換を実行するステップとを含み、動き候補のペアは、第1動き候補における参照ピクチャ・リストLの第1動きベクトルMV0 = (MV0x,MV0y)と、第2動き候補における参照ピクチャ・リストLの第2動きベクトルMV1 = (MV1x,MV1y)とを含み、MV* = (MV*x,MV*y)は、
Figure 0007324841000004
であるようなペアワイズ・マージ候補であり、off及びsは整数であり、>>は右シフト演算を表す。
更に別の代表的な態様において、開示される技術は、ビデオ処理の方法を提供するために使用されることが可能である。
本方法は、ビデオの現在ブロックの処理のために、ペアワイズ・マージ候補を生成するステップであって、生成は、現在ブロックを含む現在ピクチャを示す動き候補のペアに基づいている、ステップと、ペアワイズ・マージ候補に基づいて、ビデオの現在ブロックとビットストリーム表現との間の変換を実行するステップとを含み、動き候補のペアは、第1動き候補における参照ピクチャ・リストLの第1動きベクトルMV0 = (MV0x,MV0y)と、第2動き候補における参照ピクチャ・リストLの第2動きベクトルMV1 = (MV1x,MV1y)とを含み、MV* = (MV*x,MV*y)は、
Figure 0007324841000005
であるようなペアワイズ・マージ候補であり、off及びsは整数であり、>>は右シフト演算を表す。
更に別の代表的な態様において、開示される技術は、ビデオ処理の方法を提供するために使用されることが可能である。
本方法は、ビデオの現在ブロックの処理のために、ペアワイズ・マージ候補を生成するステップであって、生成は、現在ブロックを含む現在ピクチャを示す動き候補のペアに基づいている、ステップと、ペアワイズ・マージ候補に基づいて、ビデオの現在ブロックとビットストリーム表現との間の変換を実行するステップとを含み、動き候補のペアは、第1動き候補における参照ピクチャ・リストLの第1動きベクトルMV0 = (MV0x,MV0y)と、第2動き候補における参照ピクチャ・リストLの第2動きベクトルMV1 = (MV1x,MV1y)とを含み、MV* = (MV*x,MV*y)は、
Figure 0007324841000006
であるようなペアワイズ・マージ候補であり、off及びsは整数であり、>>は右シフト演算を表す。
更に別の代表的な態様において、開示される技術は、ビデオ処理の方法を提供するために使用されることが可能である。
本方法は、ビデオの現在ブロックの処理のために、ペアワイズ・マージ候補を生成するステップであって、生成は、現在ブロックを含む現在ピクチャを示す動き候補のペアに基づいている、ステップと、ペアワイズ・マージ候補に基づいて、ビデオの現在ブロックとビットストリーム表現との間の変換を実行するステップとを含み、動き候補のペアは、第1動き候補における参照ピクチャ・リストLの第1動きベクトルMV0 = (MV0x,MV0y)と、第2動き候補における参照ピクチャ・リストLの第2動きベクトルMV1 = (MV1x,MV1y)とを含み、MV* = (MV*x,MV*y)は、
Figure 0007324841000007
Figure 0007324841000008
であるようなペアワイズ・マージ候補であり、w,off及びsは整数であり、>>は右シフト演算を表す。
更に別の代表的な態様において、開示される技術は、ビデオ処理の方法を提供するために使用されることが可能である。
本方法は、ビデオの現在ブロックの処理のために、ペアワイズ・マージ候補を生成するステップであって、生成は、現在ブロックを含む現在ピクチャを示す動き候補のペアに基づいている、ステップと、ペアワイズ・マージ候補に基づいて、ビデオの現在ブロックとビットストリーム表現との間の変換を実行するステップとを含み、動き候補のペアは、第1動き候補における参照ピクチャ・リストLの第1動きベクトルMV0 = (MV0x,MV0y)と、第2動き候補における参照ピクチャ・リストLの第2動きベクトルMV1 = (MV1x,MV1y)とを含み、MV* = (MV*x,MV*y)は、
Figure 0007324841000009
であるようなペアワイズ・マージ候補であり、w,off及びsは整数であり、>>は右シフト演算を表す。
更に別の代表的な態様において、開示される技術は、ビデオ処理の方法を提供するために使用されることが可能である。
本方法は、ビデオの現在ブロックの処理のために、ペアワイズ・マージ候補を生成するステップであって、生成は、現在ブロックを含む現在ピクチャを示す動き候補のペアに基づいている、ステップと、ペアワイズ・マージ候補に基づいて、ビデオの現在ブロックとビットストリーム表現との間の変換を実行するステップとを含み、動き候補のペアは、第1動き候補における参照ピクチャ・リストLの第1動きベクトルMV0 = (MV0x,MV0y)と、第2動き候補における参照ピクチャ・リストLの第2動きベクトルMV1 = (MV1x,MV1y)とを含み、MV* = (MV*x,MV*y)は、
Figure 0007324841000010
であるようなペアワイズ・マージ候補であり、w,off及びsは整数であり、>>は右シフト演算を表す。
更に別の代表的な態様において、開示される技術は、ビデオ処理の方法を提供するために使用されることが可能である。
本方法は、幾何学的パーティション・モードを使用してコーディングされたビデオの現在ブロックのために、スケーリングされた動きベクトルとList0動きベクトルとに基づいて、一方向予測動き候補を生成するステップと、一方向予測動き候補に基づいて、ビデオの現在ブロックとビットストリーム表現との間の変換を実行するステップとを含み、スケーリングされた動きベクトルは、MV1’ = (MV1’x,MV1’y)であり、List0動きベクトルは、MV0 = (MV0x,MV0y)であり、MV* = (MV*x,MV*y)は、
Figure 0007324841000011
であるような一方向予測動き候補であり、off及びsは整数であり、>>は右シフト演算を表す。
更に別の代表的な態様において、開示される技術は、ビデオ処理の方法を提供するために使用されることが可能である。
本方法は、幾何学的パーティション・モードを使用してコーディングされたビデオの現在ブロックのために、スケーリングされた動きベクトルとList0動きベクトルとに基づいて、一方向予測動き候補を生成するステップと、一方向予測動き候補に基づいて、ビデオの現在ブロックとビットストリーム表現との間の変換を実行するステップとを含み、スケーリングされた動きベクトルは、MV1’ = (MV1’x,MV1’y)であり、List0動きベクトルは、MV0 = (MV0x,MV0y)であり、MV* = (MV*x,MV*y)は、
Figure 0007324841000012
であるような一方向予測動き候補であり、off及びsは整数であり、>>は右シフト演算を表す。
更に別の代表的な態様において、開示される技術は、ビデオ処理の方法を提供するために使用されることが可能である。
本方法は、幾何学的パーティション・モードを使用してコーディングされたビデオの現在ブロックのために、スケーリングされた動きベクトルとList0動きベクトルとに基づいて、一方向予測動き候補を生成するステップと、一方向予測動き候補に基づいて、ビデオの現在ブロックとビットストリーム表現との間の変換を実行するステップとを含み、スケーリングされた動きベクトルは、MV1’ = (MV1’x,MV1’y)であり、List0動きベクトルは、MV0 = (MV0x,MV0y)であり、MV* = (MV*x,MV*y)は、
Figure 0007324841000013
であるような一方向予測動き候補であり、off及びsは整数であり、>>は右シフト演算を表す。
更に別の代表的な態様において、上記方法は、プロセッサ実行可能コードの形式で具現化され、コンピュータ読み取り可能なプログラム媒体に記憶される。
更に別の代表的な態様において、上記方法を実行するように構成される又は動作することが可能なデバイスが開示される。デバイスは、この方法を実装するようにプログラムされたプロセッサを含んでもよい。
更に別の代表的な態様において、ビデオ・デコーダ装置は、本願で説明されるような方法を実現することができる。
開示される技術の上記及び他の態様及び特徴は、図面、明細書及び特許請求の範囲において、より詳細に説明されている。
サブ・ブロック・ベース予測の一例を示す。
簡略化したアフィン動きモデルの一例を示す。
サブ・ブロック毎のアフィン動きベクトル・フィールド(MVF)の一例を示す。
AF_INTERアフィン動きモードの動きベクトル予測(MVP)の一例を示す。
AF_MERGEアフィン動きモードの候補例を示す。 AF_MERGEアフィン動きモードの候補例を示す。
コーディング・ユニット(CU)の代替的な時間動きベクトル予測(ATMVP)アルゴリズムを使用する動き予測の一例を示す。
空間-時間動きクトル予測(STMVP)アルゴリズムにより使用されるサブ・ブロック及び隣接ブロックを有するコーディング・ユニット(CU)の一例を示す。
双方向オプティカル・フロー(BIO)アルゴリズムにより使用されるオプティカル・フロー軌跡の一例を示す。
ブロック拡張を伴わない双方向オプティカル・フロー(BIO)アルゴリズムの使用例のスナップショットを示す。 ブロック拡張を伴わない双方向オプティカル・フロー(BIO)アルゴリズムの使用例のスナップショットを示す。
フレーム・レート・アップ変換(FRUC)アルゴリズムにおけるバイラテラル・マッチングの一例を示す。
FRUCアルゴリズムにおけるテンプレート・マッチングの一例を示す。
FRUCアルゴリズムにおけるユニラテラル動き推定の一例を示す。
JEMにおける4:2:0フォーマットの異なる成分のサブ・ブロックの一例を示す。
開示される技術による4:2:0フォーマットの異なる成分に対するサブ・ブロックの一例を示す。
開示される技術による4:2:0フォーマットの異なる成分に対するサブ・ブロックの別の例を示す。
開示される技術によるサブ・ブロック動きベクトル(MV)コピーの一例を示す。
開示される技術によるサブ・ブロック動きベクトル(MV)コピーの別の例を示す。
サブ・ブロック動きベクトル(MV)導出の一例を示す。
ビデオ処理の例示的な方法のフローチャートを示す。 ビデオ処理の例示的な方法のフローチャートを示す。 ビデオ処理の例示的な方法のフローチャートを示す。
本明細書で説明されるビジュアル・メディア復号化又はビジュアル・メディア符号化技術を実装するためのハードウェア・プラットフォームの一例のブロック図である。
開示される技術が実装される可能性のある例示的なビデオ処理システムのブロック図である。
高解像度ビデオの増進する要求に起因して、現代の技術においてビデオ・コーディング方法及び技術はユビキタスである。ビデオ・コーデックは、典型的には、デジタル・ビデオを圧縮又は解凍する電子回路又はソフトウェアを含み、より高いコーディング効率を提供するために絶えず改良されている。ビデオ・コーデックは、圧縮されていないビデオを圧縮された形式に変換し、又はその逆を行う。ビデオ品質、ビデオを表現するために使用されるデータ量(ビット・レートによって決定される)、符号化及び復号化アルゴリズムの複雑さ、データ損失及びエラーに対する感度、編集の容易さ、ランダム・アクセス、及びエンド・ツー・エンド遅延(待ち時間)の間には複雑な関係が存在する。圧縮されるフォーマットは、通常、標準的なビデオ圧縮仕様、例えば、高効率ビデオ・コーディング(HEVC)規格(H.265又はMPEG-H Part 2としても知られている)、完成した汎用ビデオ・コーディング規格、又は他の現在及び/又は将来のビデオ・コーディング規格に準拠する。
サブ・ブロック・ベース予測は、先ず高効率ビデオ・コーディング(HEVC)規格によってビデオ・コーディング規格に導入される。サブ・ブロック・ベース予測では、コーディング・ユニット(CU)又は予測ユニット(PU)のようなブロックは、幾つかの重複しないサブ・ブロックに分割される。異なるサブ・ブロックには、参照インデックス又は動きベクトル(MV)のような異なる動き情報が割り当てられる可能性があり、動き補償(MC)は各サブ・ブロックに対して個別に実行される。図1は、サブ・ブロック・ベース予測の一例を示す。
開示される技術の実施形態は、ランタイム・パフォーマンスを改善するために、既存のビデオ・コーディング規格(例えば、HEVC、H.265)及び将来の規格に適用されることが可能である。本書では説明の読みやすさを向上させるためにセクション見出しが使用されており、これは、如何なる方法によっても説明又は実施形態(及び/又は実装)を個々のセクションのみに限定しない。
1.ジョイント探索モデル(JEM)の例
一部の実施形態では、将来のビデオ・コーディング技術は、ジョイント探索モデル(JEM)として知られる参照ソフトウェアを使用して探求される。JEMでは、サブ・ブロック・ベース予測が幾つかのコーディング・ツールで採用されており、例えばアフィン予測、代替時間動きベクトル予測(ATMVP)、空間-時間動きベクトル予測(STMVP)、双方向オプティカル・フロー(BIO)、フレーム・レート・アップ・コンバージョン(FRUC)、局所適応動きベクトル解像度(LAMVR)、オーバーラップ・ブロック動き補償(OBMC)、局所照明補償(LIC)、及びデコーダ側動きベクトル精緻化(DMVR)等で採用されている。
1.1 アフィン予測の例
HEVCでは、並進運動モデルのみが、動き補償予測(MCP)に適用される。しかしながら、カメラ及びオブジェクトは、多くの種類の動き、例えばズーム・イン/アウト、回転、遠近法的な移動、及び/又は他の不規則な動きを有する可能性がある。一方、JEMは、簡略化されたアフィン変換動き補償予測を適用する。図2は、2つの制御点動きベクトルV及びVによって説明されるブロック200のアフィン動きフィールドの例を示す。ブロック200の動きベクトル・フィールド(MVF)は、以下の式で記述することができる:
Figure 0007324841000014
図2に示すように、(v0x,v0y)は左上コーナーの制御点の動きベクトルであり、(v1x,v1y)は右上コーナーの制御点の動きベクトルである。動き補償予測を単純化するために、サブ・ブロック・ベースのアフィン変換予測を適用することができる。サブ・ブロック・サイズM×Nは以下のように導出される:
Figure 0007324841000015
ここで、MvPreは、動きベクトル端数精度(例えば、JEMでは1/16)である。(v2x,v2y)は、式(1)に従って計算される左下の制御点の動きベクトルである。MとNはそれぞれ必要に応じてwとhの除数にするために下方に調整されることが可能である。
図3は、ブロック300に対するサブ・ブロック毎のアフィンMVFの例を示す。各々のM×Nサブ・ブロックの動きベクトルを導出するために、各サブ・ブロックの中心サンプルの動きベクトルが、式(1)に従って計算され、動きベクトル端数精度に丸められることが可能である(例えば、JEMでは1/16)。次に、導出された動きベクトルを有する各サブ・ブロックの予測を生成するために、動き補償補間フィルタを適用することが可能である。MCPの後、各サブ・ブロックの高精度な動きベクトルは丸められ、ノーマルな動きベクトルと同じ精度で保存される。
JEMでは、AF_INTERモードとAF_MERGEモードの2つのアフィン動きモードがある。幅と高さの両方が8より大きいCUについては、AF_INTERモードを適用することが可能である。AF_INTERモードが使用されるかどうかを示すために、CUレベルのアフィン・フラグが、ビットストリームでシグナリングされる。AF_INTERモードでは、動きベクトル・ペアを有する候補リスト{(v0,v1)|v0 = {vA,vB,vC},v1 = {vD,vE}}が、隣接ブロックを使用して構成される。
図4は、AF_INTERモードにおけるブロック400の動きベクトル予測(MVP)の一例を示す。図4に示すように、サブ・ブロックA、B、Cの動きベクトルからvが選択される。隣接ブロックからの動きベクトルは、参照リストに応じてスケーリングされることが可能である。動きベクトルはまた、隣接ブロックに対する参照のピクチャ・オーダー・カウント(POC)と、現在のCUに対する参照のPOCと、現在のCUのPOCとの間の関係に従ってスケーリングされることが可能である。隣接するサブ・ブロックD及びEからvを選択するアプローチは類似している。候補リストの数が2より小さい場合、リストは、AMVP候補の各々を複製することによって構成される動きベクトル・ペアによってパディングされる。候補リストが2より大きい場合、候補は、先ず、隣接する動きベクトルに従って(例えば、ペア候補における2つの動きベクトルの類似性に基づいて)ソートされることが可能である。幾つかの実装では、最初の2つの候補は維持されます。幾つかの実施形態では、どの動きベクトル・ペア候補が、現在CUの制御点動きベクトル予測(CPMVP)として選択されるのかを決定するために、レート歪(RD)コスト検査が使用される。候補リスト内のCPMVPの位置を示すインデックスが、ビットストリームでシグナリングされることが可能である。現在のアフィンCUのCPMVPが決定された後に、アフィン動き推定が適用され、制御点動きベクトル(CPMV)が発見される。次いで、CPMVとCPMVPの差分がビットストリームでシグナリングされる。
CUがAF_MERGEモードで適用される場合、有効な隣接する再構成されたブロックから、アフィン・モードでコーディングされた第1ブロックを取得する。図5Aは、現在のCU500に対する候補ブロックの選択順序の例を示す。図5Aに示されるように、選択順序は、現在のCU500の左(501)、上(502)、右上(503)、左下(504)から左上(505)へのものであるとすることが可能である。図5Bは、AF_MERGEモードにおける現在CU500の候補ブロックの別の例を示す。図5Bに示すように、隣接する左下ブロック501がアフィン・モードでコーディングされる場合、サブ・ブロック501を含むCUの左上コーナー、右上コーナー、及び左下コーナーの動きベクトルv,v及びvが導出される。現在CU500における左上コーナーの動きベクトルvは、v,v及びvに基づいて計算される。現在CUの右上の動きベクトルvは、それに応じて計算されることが可能である。
現在CUのCPMV v及びvが、式(1)のアフィン動きモデルに従って計算された後、現在CUのMVFを生成することができる。現在CUがAF_MERGEモードでコーディングされるかどうかを識別するために、少なくとも1つの隣接ブロックがアフィン・モードで符号化される場合には、アフィン・フラグがビットストリームでシグナリングされることが可能である。
JEMでは、非マージ・アフィン・モードは、現在ブロックの幅と高さの両方が8より大きい場合にのみ使用されることが可能であり;マージ・アフィン・モードは、現在ブロックの面積(即ち、幅×高さ)が64より小さくない場合にのみ使用されることが可能である。
1.2 代替時間動きベクトル予測(ATMVP)の例
ATMVP方法では、時間動きベクトル予測(TMVP)方法が、現在CUより小さなブロックから、複数セットの動き情報(動きベクトル及び参照インデックスを含む)を取り出すことによって修正される。
図6は、CU600のATMVP動き予測処理の一例を示す。ATMVP方法は、CU600内のサブCU601の動きベクトルを2ステップで予測する。第1ステップは、時間ベクトルによって、参照ピクチャ650内の対応するブロック651を識別することである。参照ピクチャ650はまた、動きソース・ピクチャとも呼ばれる。第2ステップは、現在のCU600をサブCU601に分割し、各サブCUの動きベクトル及び参照インデックスを、各サブCUに対応するブロックから取得することである。
第1ステップでは、参照ピクチャ650及び対応するブロックは、現在CU600の空間隣接ブロックの動き情報によって決定される。隣接ブロックの反復的なスキャン処理を回避するために、現在CU600のマージ候補リストの第1マージ候補が使用される。第1の利用可能な動きベクトルとそれに関連する参照インデックスは、時間ベクトルと動きソース・ピクチャに対するインデックスとに設定される。このように、対応するブロックは、TMVPと比較して、より正確に識別されることが可能であり、ここで、対応するブロックは、常に、現在CUに対して右下又は中央の位置にある(コロケートされたブロックと呼ばれることもある)。
第2ステップでは、サブCU651の対応するブロックが、現在CUの座標に時間ベクトルを加えることによって、動きソース・ピクチャ650における時間ベクトルによって識別される。各サブCUに対して、対応するブロックの動き情報(例えば、中心サンプルをカバーする最小の動きグリッド)が、サブCUの動き情報を導出するために使用される。対応するN×Nブロックの動き情報が識別された後、それは、HEVCのTMVPと同様な方法で、現在のサブCUの動きベクトル及び基準インデックスに変換され、ここで、動きスケーリング及びその他の手順が適用される。例えば、デコーダは 低遅延の条件(例えば、現在ピクチャの全ての参照ピクチャのPOCが、現在ピクチャのPOCよりも小さいこと)が満たされているかどうかをチェックし、且つ、動きベクトルMVx(例えば、参照ピクチャ・リストXに対応する動きベクトル)を使用して各サブCUに対して動きベクトルMVyを予測する可能性がある(例えば、Xは0又は1に等しく、Yは1-Xに等しい)。
1.3 空間-時間動き予測(STMVP)の例
STMVP法では、サブCUの動きベクトルは、ラスタ・スキャン順序に従って再帰的に導出される。図7は、4つのサブ・ブロック及び隣接ブロックを有する1つのCUの例を示す。4つの4×4サブCU A(701),B(702),C(703),及びD(704)を含む8×8CU700を考察する。現在フレームにおいて隣接する4×4ブロックは、a(711),b(712),c(713),及びd(714)としてラベル付けされる。
サブCU Aの動き導出は、その2つの空間隣接を識別することから始まる。第1隣接はサブCU A701より上のN×Nブロック(ブロックc713)である。このブロックc(713)が利用可能でないか、又はイントラ・コーディングされている場合、サブCU A(701)の上の他のN×Nブロックが(左から右へ、ブロックc713から始まって)チェックされる。第2隣接はサブCU A701の左に対するブロック(ブロックb712)である。ブロックb(712)が利用可能でないか、又はイントラ・コーディングされている場合、サブCU A701の左側にある他のブロックが(上から下へ、ブロックb712から始まって)チェックされる。各リストに対する隣接ブロックから得られる動き情報は、所与のリストに対する第1参照フレームにスケーリングされる。次に、サブ・ブロックA701の時間動きベクトル予測子(TMVP)が、HEVCで規定されているのと同じTMVP導出手順に従うことによって導出される。ブロックD704におけるコロケートされたブロックの動き情報は、それに応じてフェッチされ、スケーリングされる。最終的に、動き情報を検索してスケーリングした後に、すべての利用可能な動きベクトルは、各々の参照リストに対して別々に平均化される。平均化された動きベクトルは、現在のサブCUの動きベクトルとして割り当てられる。
1.4 双方向オプティカル・フロー(BIO)の例
双方向オプティカル・フロー(BIO)方法は、双方向予測のためのブロックワイズ動き補償のトップで実行されるサンプルワイズ動きリファインメントである。幾つかの実装では、サンプル・レベルの動きリファインメントは、シグナリングを使用しない。
(k)を、ブロック動き補償後のリファレンス(k)(k= 0,1)からのルマ値であるとし、∂I(k)/∂x,∂I(k)/∂yはそれぞれI(k)の勾配の水平及び垂直成分である。オプティカル・フローが妥当であると仮定すると、動きベクトル・フィールド(v,y)は次式により与えられる。
Figure 0007324841000016
各サンプルの動き軌跡に対してエルミート補間とこのオプティカル・フロー方程式とを組み合わせると、両端における関数値I(k)と∂I(k)/∂x,∂I(k)/∂yの導関数との双方に合致する固有の三次多項式を生じる結果となる。t= 0におけるこの多項式の値が、BIO予測である。
Figure 0007324841000017
図8は、双方向オプティカル・フロー(BIO)方法における例示的なオプティカル・フロー軌跡を示す。ここで、τ及びτは参照フレームまでの距離を示す。距離τ及びτはRef0及びRef1に対するPOCに基づいて計算される:t0 = POC(current) - POC(Ref0),t1 = POC(Ref1) - POC(current)。双方の予測が同じ時間方向から(双方とも過去から、又は双方とも将来から)到来する場合、符号は異なる(例えば、τ・τ<0)。この場合において、予測が同じ時点からのものでない場合(例えば、τ≠τ)、BIOが適用される。参照される領域は双方とも非ゼロ動き(例えば、MVx0,MVy0,MVx1,MVy1 ≠ 0)を有し、ブロック動きベクトルは時間距離に比例する(例えば、MVx0/MVx1 = MVy0/MVy1 = -τ/τ)。
動きベクトル・フィールドは、点AとBにおける値の差分Δを最小化することにより決定される。図9A-9Bは、動き軌跡と参照フレーム平面との交わり例を示す。モデルは、Δに対する局所テイラー展開の第1線形項のみを使用する:
Figure 0007324841000018
上記の式におけるすべての値は(i’,j’)として示されるサンプルの場所に依存する。

動きが局所的な周囲エリアで一貫していると仮定すると、Δは、現在予測される点(i,j)を中心とする(2M+1)×(2M+1)の正方形ウィンドウΩ内で最小化されることが可能であり、ここで、Mは2に等しい:
Figure 0007324841000019
この最適化問題に対して、JEMは、先ず、垂直方向、次いで水平方向において最小化を行う簡略化されたアプローチを用いる。これは次のような結果となる:
Figure 0007324841000020
Figure 0007324841000021
where,
Figure 0007324841000022

ゼロ又は非常に小さな値による除算を回避するために、正則化パラメータr及びmを式(7)及び式(8)に導入することが可能である:
r= 500・4d-8 Eq.(10)
m= 700・4d-8 Eq.(11)
ここで、dはビデオ・サンプルのビット深度である。
BIOのメモリ・アクセスを、正規の双方向予測動き補償と同じに保つために、すべての予測と勾配値I(k),∂I(k)/∂x,∂I(k)/∂yが、現在ブロック内の位置について計算される。図9Aは、ブロック900外側のアクセス位置の例を示す。図9Aに示されているように、式(9)において、予測されるブロックの境界における現在予測される点を中心とする(2M+1)×(2M+1)の正方形ウィンドウΩは、ブロック外側の位置にアクセスする必要がある。JEMでは、ブロック外側のI(k),∂I(k)/∂x,∂I(k)/∂yの値は、ブロック内で最も近くの利用可能な値に等しく設定される。例えば、これは、図9Bに示されるように、パディング・エリア901として実現されることが可能である。
BIOでは、動きフィールドは各サンプルに対して洗練されることが可能である、という可能性がある。計算の複雑性を低減するために、BIOのブロック・ベース設計がJEMで使用される。動きのリファインメントは、4×4ブロックに基づいて計算することが可能である。ブロック・ベースBIOでは、4×4ブロックのすべてのサンプルの式(9)におけるsの値を統合することが可能であり、そして、統合された値sが、4×4ブロックのBIO動きベクトル・オフセットを導出するために使用される。より具体的には、以下の式が、ブロック・ベースBIO導出に使用されることが可能である:
Figure 0007324841000023
ここで、bは、予測されるブロックのk番目の4x4ブロックに属するサンプルのセットを示す。式(7)及び式(8)におけるsは、関連する動きベクトル・オフセットを導出するために((sn,bk)>>4)により置換される。
一部のシナリオにおいて、BIOのMV群は、ノイズや不規則な動きのために信頼できないかもしれない。従って、BIOでは、MV群の大きさが閾値にクリップされる。閾値は、現在ピクチャの参照ピクチャがすべて一方向からのものであるかどうかに基づいて決定される。例えば、現在ピクチャのすべての参照ピクチャが一方向からのものである場合、閾値の値は12×214-dに設定され、そうでない場合は12×213-dに設定される。
BIOの勾配は、HEVC動き補償プロセス(例えば、2Dセパラブル有限インパルス応答(FIR))に一致する演算を使用して、動き補償補間により、同時に計算されることが可能である。幾つかの実施形態では、2DセパラブルFIRの入力は、ブロック動きベクトルの分数部分に従って、動き補償プロセス及び分数位置(fracX,fracY)の場合と同じ参照フレーム・サンプルである。水平勾配∂I/∂xの場合、信号は、先ず、デ・スケーリング・シフトd-8による分数位置fracYに対応するBIOfilterSを用いて垂直に補間される。次いで、勾配フィルタBIOfilterGが、18-dのデ・スケーリング・シフトによる分数位置fracXに対応する水平方向に適用される。垂直勾配∂I/∂yの場合、勾配フィルタは、デ・スケーリング・シフトd-8による分数位置fracYに対応するBIOfilterGを用いて垂直に適用される。次いで、信号変位は、18-dのデ・スケーリング・シフトによる分数位置fracXに対応する水平方向において、BIOfilterSを用いて実行される。勾配計算BIOfilterG及び信号変位BIOfilterFの補間フィルタの長さは、合理的な複雑性を維持するために、より短くすることが可能である(例えば、6タップ)。表2は、BIOにおけるブロック動きベクトルの様々な分数位置の勾配計算に使用することが可能な例示的なフィルタを示す。表3は、BIOにおける予測信号生成に使用することが可能な例示的な補間フィルタを示す。
表2:BIOにおける勾配計算のためのフィルタ例
Figure 0007324841000024

表3:BIOにおける予測信号生成のための補間フィルタ例
Figure 0007324841000025
JEMでは、2つの予測が異なる参照ピクチャからのものである場合に、すべての双方向予測ブロックに、BIOを適用することが可能である。ローカル・イルミネーション補償(LIC)がCUに対してイネーブルにされる場合、BIOはディセーブルにされることが可能である。
一部の実施形態では、ノーマルなMCプロセスの後に、OBMCがブロックに適用される。計算の複雑性を低減するために、BIOは、OBMCプロセス中に適用されない可能性がある。これは、BIOが、自身のMVを使用する場合にはブロックのMCプロセスで適用されること、及びBIOが、隣接ブロックのMVがOBMCプロセスの間に使用される場合には、MCプロセスで適用されないことを意味する。
JEMでは、BIOは、ルマ成分に対してのみ呼び出される。
1.5 フレーム・レート・アップ・コンバージョン(FRUC)の例
マージ・フラグが真である場合、FRUCフラグが、CUに対してシグナリングされることが可能である。FRUCフラグが偽である場合、マージ・インデックスがシグナリングされることが可能であり、正規のマージ・モードが使用される。FRUCフラグが真である場合、追加のFRUCモード・フラグが、どの方法(例えば、バイラテラル・マッチング又はテンプレート・マッチング)がブロックの動き情報を導出するために使用されるべきかを示すために、シグナリングされることが可能である。
エンコーダ側では、CUにFRUCマージ・モードを使用するかどうかの判断は、ノーマルなマージ候補について行われるのと同様なRDコスト選択に基づく。例えば、複数のマッチング・モード(例えば、バイラテラル・マッチング及びテンプレート・マッチング)が、RDコスト選択を使用することによって、CUについてチェックされる。最小のコストをもたらすものは、他のCUモードと更に比較される。FRUCマッチング・モードが最も効率的なものである場合、FRUCフラグはCUに対して真に設定され、関連するマッチング・モードが使用される。
典型的には、FRUCマージ・モードにおける動き導出プロセスは:CUレベルの動き検索が最初に実行され、次いでSub-CUレベルの動きリファインメントが続く、という2つのステップを有する。CUレベルでは、バイラテラル・マッチング又はテンプレート・マッチングに基づいて、CU全体に対して初期動きベクトルが導出される。先ず、MV候補のリストが生成され、最小マッチング・コストをもたらす候補が、更なるCUレベルのリファインメントのための出発点として選択される。次いで、開始点周辺でのバイラテラル・マッチング又はテンプレート・マッチングに基づくローカル検索が実行される。最小マッチング・コストをもたらすMVが、CU全体のMVとして採用される。以後、導出されたCU動きベクトルを出発点として、動き情報が、サブCUレベルで更に洗練される。
例えば、W×HのCU動き情報導出の場合、次の導出プロセスが実行される。第1段階では、W×HのCU全体に対するMVが導出される。第2段階では、CUが更にM×MのサブCUに分割されます。Mの値は(16)でのように計算され、Dは、JEMではデフォルトで3に設定される事前に定義された分割深度である。ついで、各々のサブCUに対するMVが導出される。
Figure 0007324841000026
図10は、フレーム・レート・アップ・コンバージョン(FRUC)方法で使用されるバイラテラル・マッチングの例を示す。バイラテラル・マッチングは、2つの異なる参照ピクチャ(1010,1011)において、現在CU(1000)の動き軌跡に沿った2つのブロック間の最も近いマッチングを発見することにより、現在CUの動き情報を導出するために使用される。連続的な動き軌跡の仮定の下で、2つの参照ブロックを指す動きベクトルMV0(1001)とMV1(1002)は、現在ピクチャと2つの参照ピクチャとの間の時間的な距離、例えばTD0(1003)及びTD1(1004)に比例する。幾つかの実施態様において、現在ピクチャ1000が、時間的に、2つの参照ピクチャ(1010,1011)の間にあり、現在ピクチャから2つの参照ピクチャまでの時間的な距離が同じである場合、バイラテラル・マッチングは、ミラー・ベースの双方向MVになる。
図11は、フレーム・レート・アップ・コンバージョン(FRUC)方法で使用されるテンプレート・マッチングの例を示す。テンプレート・マッチングは、現在ピクチャ内のテンプレート(例えば、現在CUの上及び/又は左の隣接ブロック)と参照ピクチャ1110内のブロック(例えば、テンプレートと同じサイズ)との間の最も近いマッチングを発見することによって、現在CU1100の動き情報を導出するために使用されることが可能である。前述のFRUCマージ・モードを除いて、テンプレート・マッチングはAMVPモードにも適用されることも可能である。JEM及びHEVCの両方で、AMVPは2つの候補を有する。テンプレート・マッチング方法を用いて、新しい候補を導出することができる。テンプレート・マッチングによって新たに導出された候補が1番目の既存のAMVP候補と異なる場合、それはAMVP候補リストの最初に挿入され、リスト・サイズは(例えば、2番目の既存のAMVP候補を削除することによって)2に設定される。AMVPモードに適用される場合、CUレベル・サーチのみ適用される。
CUレベルで設定されるMV候補は、以下のもの:(1)現在CUがAMVPモードにある場合には、オリジナルのAMVP候補、(2)すべてのマージ候補、(3)補間されたMVフィールド(後述)内の複数のMV、及び上と左の隣接する動きベクトルを含むことが可能である。
バイラテラル・マッチングを使用する場合、マージ候補の有効な各MVは、バイラテラル・マッチングの仮定を用いてMVペアを生成するために、入力として使用されることが可能である。例えば、マージ候補の1つの有効なMVは、参照リストAにおける(MVa,refa)である。ペアにされたバイラテラルMVの参照ピクチャrefbは、refaとrefbが現在ピクチャの異なる側に一時的に存在するように、他の参照リストBにおいて発見される。そのようなrefbが参照リストBにおいて利用可能でない場合、refbは、refaとは異なる参照として決定され、現在ピクチャまでの時間的な距離は、リストBにおいて最小のものである。refbが決定された後に、MVbは、現在ピクチャとrefa,refbとの間の時間的な距離に基づいて、MVaをスケーリングすることによって導出される。
一部の実装では、補間されたMVフィールドからの4つのMVが、CUレベル候補リストに追加されることも可能である。より具体的には、現在CUの位置(0,0),(W/2,0),(0,H/2)及び(W/2,H/2)における補間されたMVが追加される。FRUCがAMVPモードで適用されると、オリジナルAMVP候補もまた、CUレベルのMV候補セットに追加されることが可能である。一部の実装では、CUレベルにおいて、AMVP CUの場合には15MV、マージCUの場合には13MVが、候補リストに追加されることが可能である。
CUレベルで設定されたMV候補は、CUレベルの探索から決定されたMV、(2)上、左、左上、右上の隣接MV、(3)参照ピクチャからのコロケートされたMVのスケーリングされたバージョン、(4)1つ以上のATMVP候補(例えば4つまで)、及び(5)1つ以上のSTMVP候補(例えば4つまで)を含む。参照ピクチャからのスケーリングされたMVは次のように導出される。両方のリストにある参照ピクチャがトラバースされる。参照ピクチャ内のサブCUのコロケートされた位置におけるMVは、開始CUレベルMVの参照に対してスケーリングされる。ATMVP及びSTMVP候補は、4つの最初の候補であるとすることが可能である。サブCUレベルでは、1つ以上のMV(最大17個まで)が候補リストに追加される。
補間されたMVフィールドの生成
フレームをコーディングする前に、保管された動きフィールドが、ユニラテラルMEに基づいてピクチャ全体について生成される。その後、動きフィールドは、CUレベル又はサブCUレベルMV候補として後に使用されることが可能である。
一部の実施形態では、両方の参照リストにおける各々の参照ピクチャの動きフィールドは、4×4ブロック・レベルでトラバースされる。図12は、FRUC方法におけるユニラテラル動き推定(ME)1200の一例を示す。4×4ブロックの各々に関し、動きが現在ピクチャの4×4ブロックを通過するブロックに関連付けられ、ブロックが如何なる補間された動きにも割り当てられていない場合、参照ブロックの動きは、時間的な距離TD0及びTD1(HEVCにおけるTMVPのMVスケーリングにおけるものと同様な方法)に従って、現在ピクチャに対してスケーリングされ、スケーリングされた動きは現在フレームにおけるブロックに割り当てられる。スケーリングされたMVが4×4ブロックに割り当てられない場合、ブロックの動きは、補間された動きフィールドでは使用不能としてマークされる。
補間及びマッチング・コスト
動きベクトルが分数サンプル位置を指す場合、動き補償補間が必要とされる。複雑さを減らすために、正規の8タップHEVC補間の代わりに、バイリニア補間が、バイラテラル・マッチング及びテンプレート・マッチングの両方に使用されることが可能である。
マッチング・コストの計算は、異なるステップにおいては若干相違する。CUレベルで候補セットから候補を選択する場合、マッチング・コストは、バイラテラル・マッチング又はテンプレート・マッチングの絶対合計差分(SAD)であるとすることが可能である。開始MVが決定された後、サブCUレベル・サーチにおけるバイラテラル・マッチングのマッチング・コストCは、次のように計算される:
Figure 0007324841000027
ここで、wは重み付け因子である。幾つかの実施形態において、wは経験的に4に設定することが可能である。MV及びMVはそれぞれ現在MV及び開始MVを示す。それでもSADはサブCUレベル探索におけるテンプレート・マッチングのマッチング・コストとして使用されることが可能である。
FRUCモードでは、MVは、ルマ・サンプルのみを使用することにより導出される。導出された動きは、MCインター予測のためのルマ及びクロマ両方に使用されるであろう。MVが決定された後、最終的なMCは、ルマについては8タップ補間フィルタ、及びクロマについては4タップ補間フィルタを使用して実行される。
MVリファインメントは、バイラテラル・マッチング・コスト又はテンプレート・マッチング・コストの基準を利用したパターン・ベースのMV探索である。JEMでは、2つの探索パターンがサポートされており、それぞれCUレベルとサブCUレベルにおけるMVリファインメントのための、非制限の中心バイアス・ダイヤモンド探索(UCBDS)と適応クロス探索である。CU及びサブCUレベルのMVリファインメントの両方について、MVは1/4ルマ・サンプルMV精度で直接的に探索され、これは1/8ルマ・サンプルMVリファインメントに続く。CU及びサブCUステップのMVリファインメントの検索レンジは、8つのルマ・サンプルに等しく設定される。
バイラテラル・マッチング・マージ・モードでは、双方向予測が適用され、なぜなら、CUの動き情報が、2つの異なる参照ピクチャにおける現在CUの動き軌跡に沿った2つのブロックの間で最も近いマッチングに基づいて導出されるからである。テンプレート・マッチング・マージ・モードでは、エンコーダは、list0からの一方向予測、list1からの一方向予測、又はCUに対する双方向予測の中から選択することが可能である。選択は、次のようにテンプレート・マッチング・コストに基づいて行うことが可能である。
costBi <= factor*min (cost0,cost)である場合には
双方向予測が使用され;
そうでない場合に、cost0 <= cost1である場合には
List0からの一方向予測が使用され;
そうでない場合に、
List1からの一方向予測が使用される;
ここで、cost0はlist0テンプレート・マッチングのSADであり、cost1はlist1テンプレート・マッチングのSADであり、costBiは双方向テンプレート・マッチングのSADである。例えば、因子の値が1.25に等しい場合、それは選択プロセスが双予測の方にバイアスされていることを意味する。インター予測方向選択は、CUレベル・テンプレート・マッチング・プロセスに適用されることが可能である。
1.6 クロマ成分におけるMCのために導出されるMVの例
一例において、HEVC規格は、ルマ成分(mvとして記される)のMCに使用されるMVから、クロマ成分(mvCとして記される)のMCに使用されるMVを導出する方法を定めている。
一般に、mvCは、4:2:0又は4:2:2のようなカラー・フォーマットに依存する因子を乗算するmvとして計算される。
1.7 VVCにおいて参照する現在ピクチャの例
現在ピクチャ参照(CPR)とも呼ばれるイントラ・ブロック・コピー(IBC,又はイントラピクチャ・ブロック補償)が、HEVCスクリーン・コンテンツ・コーディング拡張(SCC)において採用された。このツールは、テキストとグラフィックスが豊富なコンテンツの繰り返しパターンが、同一ピクチャ内で頻繁に発生するという点で、スクリーン・コンテンツ・ビデオのコーディングに対して非常に効率的である。予測子と等しい又は類似するパターンを有する以前に再構成されたブロックを有することは、予測誤差を効果的に低減することが可能であり、従ってコーディング効率を改善することが可能である。
HEVC SCCにおけるCRPの設計と同様に、VVCにおいて、IBCモードの使用はシーケンス及びピクチャ・レベルの両方でシグナリングされる。IBCモードがシーケンス・パラメータセット(SPS)でイネーブルにされると、それはピクチャ・レベルでイネーブルにされることが可能である。IBCモードがピクチャ・レベルでイネーブルにされると、現在再構成されたピクチャは参照ピクチャとして取り扱われる。従って、IBCモードの使用をシグナリングするために、既存のVVCインター・モードのトップにおいて、ブロック・レベルでのシンタックス変更は必要とされない。
この実施形態の特徴は以下を含む:
○ これはノーマル・インター・モードとして取り扱われる。そのため、マージ及びスキップ・モードもまた、IBCモードで利用可能である。マージ候補リスト構成は統一され、IBCモード又はHEVCインター・モードの何れかでコーディングされた隣接位置からのマージ候補を含む。選択されたマージ・インデックスに応じて、マージ又はスキップ・モードの下での現在ブロックは、IBCモードでコーディングされた隣接するもの、又は別の方法でノーマルなインター・モードでコーディングされたものに、参照ピクチャとして異なるピクチャとともにマージすることが可能である。
○ IBCモードのブロック・ベクトル予測及びコーディング方式は、HEVCインター・モード(AMVP及びMVDコーディング)における動きベクトル予測及びコーディングに使用される方式を再利用する。
○ ブロック・ベクトルとも呼ばれるIBCモードの動きベクトルは、整数ペル精度でコーディングされるが、1/4ペル精度が補間及びデブロッキング段階で要求されるので、復号後に1/16ペル精度でメモリに記憶される。IBCモードの動きベクトル予測で使用される場合、記憶されるベクトル予測子は4つだけ右シフトされるであろう。
○ 探索レンジ:これは、現在のCTU内にあるように制限される。
○ アフィン・モード/三角モード/GBI/重み付き予測がイネーブルにされる場合、CPRは許容されない。
1.8 ペアワイズ平均候補の例
ペアワイズ平均候補は、現在のマージ候補リスト内の候補の所定のペアを平均化することによって生成され、所定のペアは、{(0,1),(0,2),(1,2),(0,3),(1,3),(2,3)}として定められ、数字はマージ候補リストに対するマージ・インデックスを示す。平均化された動きベクトルは、各々の参照リストに対して別々に計算される。両方の動きベクトルが1つのリストで利用可能である場合、これら2つの動きベクトルは、たとえそれらが異なる参照ピクチャを指していたとしても、平均化される。1つの動きベクトルのみが利用可能である場合には、1つを直接的に使用し;動きベクトルが利用可能でない場合には、このリストを無効に維持する。ペアワイズ平均候補は、HEVC規格において、結合された候補に置換する。2つのマージ候補のMVがMV0 = (MV0x,MV0y)及びMV1 = (MV1x,MV1y)であるとすると、MV* = (MV*x,MV*y)として示されるペアワイズ・マージ候補は、次のように導出される:
MV*x = (MV0x + MV1x)/2 及び
MV*y = (MV0y + MV1y)/2
更に、MV0及びMV1が現在ピクチャを指している場合(即ち、CPRモード)、MV*x及びMV*yは、整数MVが得られることを確かにするために、完全なピクセルよりも高い精度を有する部分を除去するように更に丸められる。
MV*x = (MV*x/16) << 4 及び
MV*y = (MV*y/16) << 4
各ペアについて、2つのうちの一方がCPRでコーディングされており、他方がコーディングされていない場合には、そのようなペアは、ペアワイズ平均候補を生成するようには許容されないことに留意を要する。
1.9 三角予測モードの例
三角予測モード(TPM)の概念は、動き補償予測のために新しい三角パーティションを導入することである。それは、対角又は逆対角方向において、CUを2つの三角予測ユニットに分割する。CUの各々の三角予測ユニットは、単独の一方向候補リストから導出された自身の一方向動きベクトル及び参照フレーム・インデックスを用いてインター予測される。三角予測単位を予測した後に、適応重み付けプロセスが対角エッジに対して実行される。次いで、変換及び量子化プロセスがCU全体に適用される。このモードは、マージ・モードにのみ適用されることに留意を要する(注:スキップ・モードは、特別なマージ・モードとして取り扱われる)。
TPMのための一方向予測リスト
TPM動き候補リストと名付けられる一方向候補リストは、5つの一方向動きベクトル候補から構成される。これは、5つの空間隣接ブロックと2つの時間的なコロケートされたブロックとを含む7つの隣接ブロックから導出される。7つの隣接ブロックの動きベクトルが収集され、一方向動きベクトル、双方向予測動きベクトルのL0動きベクトル、双方向予測動きベクトルのL1動きベクトル、並びに、双方向予測動きベクトルのL0及びL1動きベクトルの平均化された動きベクトルの順に従って、一方向候補リストに内に設定される。候補の数が5未満である場合、ゼロ動きベクトルがリストに追加される。TPMのためにこのリストに追加される動き候補はTPM候補と呼ばれ、空間的/時間的ブロックから導出される動き情報は、正規の動き候補と呼ばれる。
より具体的には、以下のステップが包含される:
(1)如何なるプルーニング操作もなしに、A1,B1,B0,A0,B2,Col及びCol2(正規のマージ・モードにおけるものと同様)から、正規の動き候補を取得する。
(2)変数numCurrMergeCand = 0に設定する。
(3)A1,B1,B0,A0,B2,Col及びCol2、及び5未満であるnumCurrMergeCandから導出された正規の動き候補の各々について、正規の動き候補が一方向予測(List0から、又はList1から)である場合、それはnumCurrMergeCandが1つ増やされたTPM候補としてマージ・リストに直接的に加えられる。そのようなTPM候補は、「本来的に一方向予測された候補」と命名される。
完全プルーニングが適用される。
(4)A1,B1,B0,A0,B2,Col及びCol2、及び5未満であるnumCurrMergeCandから導出された動き候補の各々について、正規の動き候補が双方向予測である場合、List0からの動き情報は、numCurrMergeCandが1つ増やされた新たなTPM候補として、TPMマージ・リストに加えられる(即ち、List0からの一方向予測であるように修正される)。そのようなTPM候補は、「打ち切られたList0予測された候補」と命名される。
完全プルーニングが適用される。
(5)A1,B1,B0,A0,B2,Col及びCol2、及び5未満であるnumCurrMergeCandから導出された動き候補の各々について、正規の動き候補が双方向予測である場合、List1からの動き情報は、TPMマージ・リストに加えられ(即ち、List1からの一方向予測であるように修正される)、numCurrMergeCandは1つ増やされる。そのようなTPM候補は、「打ち切られたList1予測された候補」と命名される。
完全プルーニングが適用される。
(6)A1,B1,B0,A0,B2,Col及びCol2、及び5未満であるnumCurrMergeCandから導出された動き候補の各々について、正規の動き候補が双方向予測である場合、List1の動き情報は、先ず、List0参照ピクチャに対してスケーリングされ、2つのMV(一方はオリジナルList0からのものであり、他方はList1からのスケーリングされたMVである)の平均がTPMマージ・リストに追加され、そのような候補は、List0動き候補からの平均された一方向予測と呼ばれ、numCurrMergeCandは1つ増やされる。
完全プルーニングが適用される。
numCurrMergeCandが5未満である場合、ゼロ動きベクトル候補が加えられる。
候補をリストに挿入する際に、以前に追加された候補すべてと比較して、それらのうちの1つと同一であるかどうかを確認しなければならない場合、このようなプロセスは、完全プルーニングと呼ばれる。
スケーリングされたMVが(MV1’x,MV1’y)により示され、List0 MVが(MV0x,MV0y)により示されると仮定する。(MV*x,MV*y)により示されるList0動き候補からの平均化された一方向予測は、次のように定められる。
MV*x = (MV0x + MV1’x + 1) >> 1 及び
MV*y = (MV0y + MV1’y + 1 ) >> 1
2.既存の実装の欠点
既存のサブ・ブロック・ベースの予測技術は次のような問題を有する:
(1)既存の実装では、(JEMでは4×4のような)サブ・ブロックのサイズは、主に、ルマ成分用に設計されている。JEMでは、サブ・ブロックのサイズは4:2:0フォーマットのクロマ成分に対しては2×2であり、4:2:2フォーマットのクロマ成分に対しては2×4である。サブ・ブロックの小さなサイズは、より高い帯域幅要求を課す。図13は、JEMにおける4:2:0フォーマットの異なる成分に対する16×16ブロック(Cb/Crについては8×8)のサブ・ブロックの例を示す。
(2)JEMにおけるアフィン予測のような一部の既存のサブ・ブロック・ベースのツールでは、各サブ・ブロックのMVは、各成分について独立に、式(1)に示されるようなアフィン・モデルを用いて計算され、これはルマ及びクロマ成分の間の動きベクトルの不整合を生じる結果となる。
(3)アフィン予測のような一部の既存のサブ・ブロック・ベースのツールでは、使用上の制約がマージ・モードと非マージ・インター・モード(AMVPモード、又はノーマルなインター・モードとしても知られている)とで異なり、これは統一されることを必要とする。
(4)一部の既存の実装では、List0動き候補からペアワイズ・マージ候補/平均化された一方向予測を導出するための動きベクトル平均化処理は、サブ・ブロック予測で使用される丸め方法と整合されるべきである。そのようにすると、ハードウェアは統一された設計を有することが可能である。
3. ビデオ・コーディングにおける統一されたラウンディングのための方法例
具体例1.
1つのブロックが、カラー成分及び/又はカラー・フォーマット及び/又はブロック形状/サイズに応じて異なる方法でサブ・ブロックに分割される。
(a)1つのルマとそれに対応するクロマ・ブロックに対して(例えば、4:2:0のカラー・フォーマットの場合、1つのM×Nルマ・ブロックは1つのM/2×N/2のCbブロックと1つのM/2×N/2のCrブロックとに対応する)、分割されるサブ・ブロックの数は、異なる成分に対して異なる可能性がある。ブロックが成分に対して大きなサイズを有する場合、ブロックはその成分に対してより多くのサブ・ブロックに分割される。
(b)各々のカラー成分について、サブ・ブロックのサイズは同じであり、例えばY、Cb及びCr成分についてw×hであり、ここで、w×hは8×8,8×4,4×8,4×4等であるとすることが可能である。例えば、w及びhは両方とも4に等しい。図14は、4:2:0フォーマットの異なる成分に対する16×16ブロック(Cb/Crについては8×8)の提案されるサブ・ブロックの例を示す。一例において、w>W又はh>Hの場合に、ブロックは、成分に対してサブ・ブロックに分割されない。
(c)1つのブロック内でサブ・ブロックの異なるサイズが許容されてもよい。一例において、W(又はH)がw(又はh)の整数倍ではない場合、それは、w/hより小さな幅/高さを有するサブ・ブロックを、その隣接する左又は上のサブ・ブロックにマージすることが提案される。図15は、12×16ブロック(Cb/Crについては6×8)がサブ・ブロックに分割される例を示す。サブ・ブロック・サイズは4×4である。Cb/Cr成分については、最後の2つのサブ・ブロックのサイズは2×4であり、そのためそれらは各自の左隣接ブロックにマージされる。
(d)サブ・ブロック・サイズは、ブロック形状に更に依存してもよい。
(i)一例において、正方形ブロックに関し(WはHに等しい)、wはhに等しく設定されてもよい。
(ii)代替的に、非正方形ブロックに関し(WはHに等しくない)、wはhに等しくなくてよい。例えば、W>Hであり、wはhより長く設定されてもよく、その逆も可能である。
(e)異なるカラー成分のサブ・ブロック・サイズ又は異なるブロック形状は、シーケンス・パラメータ・セット(SPS)、ピクチャ・パラメータ・セット(PPS)、スライス・ヘッダでシグナリングされてもよい。
(f)Y成分及びCb/Cr成分のサブ・ブロック・サイズは、異なる方法で決定されてもよい。例えば、Y成分のサブ・ブロック・サイズは、4×4,8×8,4×8,及び8×4のような幾つかの候補から適応的に決定されるが、Cb/Cr成分のサブ・ブロック・サイズは4×4に固定される。
(g)Y成分及びCb/Cr成分のサブ・ブロック・サイズは、4:2:0,4:2:2及び4:4:4のようなカラー・フォーマットに依存してもよい。
具体例2.
1つのカラー成分のサブ・ブロックのMVは、アフィン・モデルで既に導出されている、別のカラー成分の1つ以上のサブ・ブロックのMV(複数可)から導出することが可能である。この場合、同じカラー成分の情報に基づいて、1つのカラー成分の動き情報を3回導出する必要はない。
(a)一例において、1つの成分に対するサブ・ブロックのMVは、別の成分に対する1つの対応するサブ・ブロックのMVから導出することができる。図16は、4:2:0フォーマットの例を示す。各々の成分のブロックは、図13の例に従って分割される。最初に導出されるMV*は、Y成分の対応する4×4サブ・ブロックのMVからコピーされ、次いでCb又はCr成分の2×2サブ・ブロックのMVは、セクション1.6で規定される規則に従ってMV*から導出される。
(b)別の例において、1つの成分に対するサブ・ブロックのMVは、別の成分に対する幾つかの対応するサブ・ブロックのMVから導出することができる。図17は4:2:0フォーマットの例を示し、ここで、Cb又はCr成分の4×4サブ・ブロックは、Y成分における4つの4×4サブ・ブロックに対応する。各々の成分のブロックは、図14の例に従って分割される。最初に導出されるMV*は、他の成分に対する幾つかの対応するサブ・ブロックのMVから計算され、次いでCb又はCr成分の4×4サブ・ブロックのMVは、セクション1.6で規定される規則に従ってMV*から導出される。
(i)一実施形態では、MV*は、Y成分における全ての対応するサブ・ブロックのMVの平均として計算される。一例では、MV* = ( MV0 + MV1 + MV2 + MV3 ) / 4である。但し、MV*= (MV*x,MV*y) ,MV0= (MV0x,MV0y) ,MV1= (MV1x,MV1y) ,MV2= (MV2x,MV2y)及びMV3= (MV3x,MV3y)であると仮定する。
(1)一実施形態では、MV*x= Shift(MV0x+MV1x+MV2x +MV3x,2),MV*y= Shift(MV0y+MV1y+MV2y+MV3y,2)である。
(2)別の実施形態では、MVx*= SignShift(MV0x+MV1x+ MV2x+MV3x,2),MVy*= SignShift(MV0y+MV1y+MV2y+MV3y,2)である。
(3)別の実施形態では、MV*の計算は、以下のステップで順に行われることが可能である:
MV’x= Shift(MV0x+MV1x,1),
MV’y= Shift(MV0y+MV1y,1),
MV’’x= Shift(MV2x+MV3x,1),
MV’’y= Shift(MV2y+MV3y,1),
MV*x= Shift(MV’x+MV’’x,1),及び
MV*y= Shift(MV’y+MV’’y,1).
(4)別の実施形態では、MV*の計算は、以下のステップで順に行われることが可能である:
MV’x= Shift(MV0x+MV2x,1),
MV’y= Shift(MV0y+MV2y,1),
MV’’x= Shift(MV1x+MV3x,1),
MV’’y= Shift(MV1y+MV3y,1),
MV*x= Shift(MV’x+MV’’x,1),及び
MV*y= Shift(MV’y+MV’’y,1).
(5)別の実施形態では、MV*の計算は、以下のステップで順に行われることが可能である:
MV’x= SignShift(MV0x+MV1x,1),
MV’y= SignShift(MV0y+MV1y,1),
MV’’x= SignShift(MV2x+MV3x,1),
MV’’y= SignShift(MV2y+MV3y,1),
MV*x= SignShift(MV’x+MV’’x,1),及び
MV*y= SignShift(MV’y+MV’’y,1).
(6)別の実施形態では、MV*の計算は、以下のステップで順に行われることが可能である:
MV’x= SignShift(MV0x+MV2x,1),
MV’y= SignShift(MV0y+MV2y,1),
MV’’x = SignShift(MV1x+MV3x,1),
MV’’y = SignShift(MV1y+MV3y,1),
MV*x = SignShift(MV’x+MV’’x,1),及び
MV*y = SignShift(MV’y+MV’’y,1).
(ii)一実施形態では、MV*は、Y成分における左上の対応するサブ・ブロックのMVとして計算される。一例では、MV*= MV0である。
(iii)一実施形態では、MV*は、Y成分における中央の対応するサブ・ブロックのMVとして計算される。
(iv)一実施形態では、MV*は、Y成分における全ての対応するサブ・ブロックのMVのメジアンとして計算される。一例では、MV* = median(MV0,MV1,MV2,MV3)である。
(v)1つの成分に対するサブ・ブロックのMVを別の成分から導出する方法は、4:2:0,4:2:2及び4:4:4のようなカラー・フォーマットに基づいて決定されてもよい。
(1)カラー・フォーマットが4:4:4である例において、サブ・ブロック・サイズはすべての成分に対して同じであり、各サブ・ブロックに対するサブ・ブロックのMVは同じである。
(2)カラー・フォーマットが4:2:2である例において、サブ・ブロック・サイズはすべての成分に対して同じである。
最初に導出されるMV*は、他の成分に対する幾つかの対応するサブ・ブロックのMVから計算され、次いで、Cb又はCr成分におけるサブ・ブロックのMVは、セクション2.6で規定される規則に従って、MV*から導出される。図18に示す例では、1つのCb/Crサブ・ブロックは、動きベクトルMV0及びMV1を有する2つのYサブ・ブロックに対応する。
(a)MV* = (MV0+MV1)/2である。ただし、MV*= (MV*x,MV*y),MV0= (MV0x,MV0y),MV1= (MV1x,MV1y)であることを仮定する。
(i)一実施形態では、MV*x= Shift(MV0x+MV1x,1),MV*y= Shift(MV0y+MV1y,1)である。
(ii)別の実施形態では、MVx*= SignShift(MV0x+MV1x,1),MVy*= SignShift(MV0y+MV1y,1)である。
マージ及び非マージ・アフィン・モードに対する統一された制約の例
具体例3.
マージ・アフィン・モードと非マージ・アフィン・モードは、同じブロック・サイズ制約の下で許可又は禁止される。
(a)ブロック・サイズ制約は、1つ又は2つの閾値と比較される幅及び高さに依存する。例えば、現在ブロックの幅と高さが両方ともMより大きい場合(例えば、M=8)、又は幅がM0より大きく(例えば、M=8)且つ高さがM1より大きい場合に(例えば、M0が8に等しく、且つM1が4に等しい)、マージ・アフィン・モードと非マージ・アフィン・モードの両方が許容され;そうでない場合、マージ・アフィン・モードと非マージ・アフィン・モードは両方とも許容されない。
(b)ブロック・サイズ制約は、1つのブロック内のサンプルの総数(すなわち、面積 幅x高さ)に依存する。一例では、現在ブロックの面積(すなわち、幅×高さ)がNより小さくない場合には(例えば、Nは64に等しい)、マージ・アフィン・モードと非マージ・アフィン・モードの両方が許可され;そうでない場合、マージ・アフィン・モードと非マージ・アフィン・モードは両方とも許容されない。
(c)マージ・アフィン・モードに関し、それはJEMでのようにフラグをシグナリングする明示的なモードであるとすることが可能であり、或いはそれは他の実装でのようにフラグをシグナリングしない暗黙的なモードであるとすることが可能である。後者の場合、マージ・アフィン・モードが許容されない場合には、アフィン・マージ候補は、統一されたマージ候補リストに入れられない。
(d)非マージ・アフィン・モードに関し、上記のルールに従ってアフィンが許容されない場合、アフィン・モードの指示のシグナリングはスキップされる。
統一された丸めプロセスの例
具体例4.
1つのマージ候補がMV0 = (MV0x,MV0y)で示される動きベクトルを有し、別のマージ候補がMV1= (MV1x,MV1y)で示される動きベクトルを有すると仮定すると、これら2つのマージ候補から導出されるペアワイズ・マージ候補の1つのMVは、MV*= (MV*x,MV*y)として示されるとすると、次のようにして導出される:
MV*x= Shift(MV0x+MV1x,1),及び
MV*y= Shift(MV0y+MV1y,1).
代替的に、
MV*x= SignShift(MV0x+MV1x,1),及び
MV*y = SignShift(MV0y+MV1y,1).
具体例5.
1つのマージ候補がMV0 = (MV0x,MV0y)で示される動きベクトルを有し、別のマージ候補がMV1= (MV1x,MV1y)で示される動きベクトルを有し、MV0及び/又はMV1が現在ピクチャを示すと仮定すると、これら2つのマージ候補から導出されるペアワイズ・マージ候補の1つのMVは、MV*= (MV*x,MV*y)として示されるとすると、次のようにして導出される:
(a)MV*x= Shift(MV0x+MV1x,1); MV*y= Shift(MV0y+MV1y,1); then MV*x= (Shift(MV*x,4))<<4; MV*y= (Shift(MV*y,4))<<4
(b)MV*x= SignShift(MV0x+MV1x,1); MV*y= SignShift (MV0y+MV1y,1); then MV*x= ( SignShift (MV*x,4))<<4; MV*y= ( SignShift (MV*y,4))<<4
(c)MV*x= (Shift(MV0x+MV1x,(W+1)))<<W; MV*y= (Shift(MV0y+MV1y,(W+1)))<<W,ここで、Wは2又は4のような整数である。Wは、1<<WがMV表現精度に等しくなるような整数である。
(d)MV*x= (SignShift(MV0x+MV1x,(W+1)))<<W; MV*y= (SignShift(MV0y+MV1y,(W+1))) <<W,ここで、Wは2又は4のような整数である。Wは、1<<WがMV表現精度に等しくなるような整数である。
具体例6.
スケーリングされたMVを(MV1’x,MV1’y)によって示し、List0 MVを(MV0x,MV0y)によって示すとする。(MV*x,MV*y)によって示される、List0動き候補からの平均化された一方向予測は、次のように定められる:
MV*x= Shift(MV0x+MV1’x,1),及び
MV*y= Shift(MV0y+MV1’y,1).
代替的に、
MV*x= SignShift(MV0x+MV1’x,1),及び
MV*y = SignShift(MV0y+MV1’y,1).
幾つかの実施形態において、SignShift(x,s)は、0に向かって整数を右シフトすることが可能であり、次のように定められる:
Figure 0007324841000028
ここで、off = (1 << (s-1) ) - 1である。
別の実施形態において、SignShift(x,s)は、代替的に次のように定められることが可能である:
Figure 0007324841000029
ここで、off = (1 << (s-1) ) - 1である。
上記の例は、以下で説明される方法、例えばビデオ・デコーダ及び/又はビデオ・エンコーダで実装において実現されることが可能な方法1930、1960及び1990の状況に組み込まれることが可能である。
図19Aは、ビデオ処理の例示的な方法1930のフローチャートを示す。方法1930は、ステップ1932において、ビデオの現在ブロックの処理のために、動き候補のペアに基づいて、ペアワイズ・マージ候補を生成することを含む。
方法1930は、ステップ1934において、ペアワイズ・マージ候補に基づいて、ビデオの現在ブロックとビットストリーム表現との間の変換を実行することを含む。
図19Bは、ビデオ処理の例示的な方法1960のフローチャートを示す。方法1960は、ステップ1962において、ビデオの現在ブロックの処理のために、ペアワイズ・マージ候補を生成することを含み、生成は、現在ブロックを含む現在ピクチャを示す動き候補のペアに基づいている。
方法1960は、ステップ1964において、ペアワイズ・マージ候補に基づいて、ビデオの現在ブロックとビットストリーム表現との間の変換を実行することを含む。
図19Cは、ビデオ処理の例示的な方法1990のフローチャートを示す。方法1990は、ステップ1992において、幾何学的パーティション・モードを使用してコーディングされたビデオの現在ブロックに対して、スケーリングされた動きベクトル及びList0動きベクトルに基づいて一方向予測動き候補を生成することを含む。
方法1990は、ステップ1994において、一方向予測動き候補に基づいて、ビデオの現在ブロックとビットストリーム表現との間の変換を実行することを含む。
幾つかの実施形態において、以下の技術的解決策が実装される:
A1.
ビデオ処理方法であって、
ビデオの現在ブロックの処理のために、動き候補のペアに基づいてペアワイズ・マージ候補を生成するステップと、
ペアワイズ・マージ候補に基づいて、ビデオの現在ブロックとビットストリーム表現との間の変換を実行するステップと、
を含み、動き候補のペアは、第1動き候補における参照ピクチャ・リストLの第1動きベクトルMV0 = (MV0x,MV0y)と、第2動き候補における参照ピクチャ・リストLの第2動きベクトルMV1 = (MV1x,MV1y)とを含み、MV* = (MV*x,MV*y)は、
Figure 0007324841000030
であるような前記ペアワイズ・マージ候補であり、off及びsは整数であり、>>は右シフト演算を表す、方法。
A2.
ビデオ処理方法であって、
ビデオの現在ブロックの処理のために、動き候補のペアに基づいてペアワイズ・マージ候補を生成するステップと、
ペアワイズ・マージ候補に基づいて、ビデオの現在ブロックとビットストリーム表現との間の変換を実行するステップと、
を含み、動き候補のペアは、第1動き候補における参照ピクチャ・リストLの第1動きベクトルMV0 = (MV0x,MV0y)と、第2動き候補における参照ピクチャ・リストLの第2動きベクトルMV1 = (MV1x,MV1y)とを含み、MV* = (MV*x,MV*y)は、
Figure 0007324841000031
であるようなペアワイズ・マージ候補であり、off及びsは整数であり、>>は右シフト演算を表す、方法。
A3.
ビデオ処理方法であって、
ビデオの現在ブロックの処理のために、動き候補のペアに基づいてペアワイズ・マージ候補を生成するステップと、
ペアワイズ・マージ候補に基づいて、ビデオの現在ブロックとビットストリーム表現との間の変換を実行するステップと、
を含み、動き候補のペアは、第1動き候補における参照ピクチャ・リストLの第1動きベクトルMV0 = (MV0x,MV0y)と、第2動き候補における参照ピクチャ・リストLの第2動きベクトルMV1 = (MV1x,MV1y)とを含み、MV* = (MV*x,MV*y)は、
Figure 0007324841000032
であるようなペアワイズ・マージ候補であり、off及びsは整数であり、>>は右シフト演算を表す、方法。
A4.
マージ候補のペアは、マージ候補リストからのものである、解決策A1-A3のうちの何れかの方法。
A5.
参照ピクチャ・リストLは、参照ピクチャ・リスト0(L0)又は参照ピクチャ・リスト1(L1)を含む、解決策A1-A3のうちの何れかの方法。
A6.
ペアワイズ・マージ候補をマージ候補リストに挿入するステップ
を更に含む解決策A1-A3のうちの何れかの方法。
A7.
変換を実行したことに続いて、マージ候補リストを更新するステップ
を更に含む解決策A1-A3のうちの何れかの方法。
A8.
off = 0である、解決策A1-A7のうちの何れかの方法。
A9.
s = 0という判断に対してoff = 0である、解決策A1-A7のうちの何れかの方法。
A10.
off = 1 << (s-1)である、解決策A1-A7のうちの何れかの方法。
A11.
s ≠ 0という判断に対してoff = 1 << (s-1)である、解決策A1-A7のうちの何れかの方法。
A12.
off = (1 << (s - 1)) - 1である、解決策A1-A7のうちの何れかの方法。
A13.
現在のビデオ・ブロックは、コーディング・ユニットである、解決策A1-A12のうちの何れかの方法。
A14.
変換を実行するステップは、現在のビデオ・ブロックからビットストリーム表現を生成するステップを含む、解決策A1-A13のうちの何れかの方法。
A15.
変換を実行するステップは、ビットストリーム表現から現在のビデオ・ブロックを生成するステップを含む、解決策A1-A13のうちの何れかの方法。
A16.
解決策A1-A15のうちの何れか1つに記載された方法を実現するように構成されたプロセッサを含むビデオ復号化装置。
A17.
解決策A1-A15のうちの何れか1つにおける方法を実行するためのプログラム・コードを含む、非一時的なコンピュータ読み取り可能な媒体に記憶されたコンピュータ・プログラム製品。
幾つかの実施形態において、以下の技術的解決策が実装される:
B1.
ビデオ処理方法であって、
ビデオの現在ブロックの処理のために、ペアワイズ・マージ候補を生成するステップであって、生成は、現在ブロックを含む現在ピクチャを示す動き候補のペアに基づいている、ステップと、
ペアワイズ・マージ候補に基づいて、ビデオの現在ブロックとビットストリーム表現との間の変換を実行するステップと、
を含み、動き候補のペアは、第1動き候補における参照ピクチャ・リストLの第1動きベクトルMV0 = (MV0x,MV0y)と、第2動き候補における参照ピクチャ・リストLの第2動きベクトルMV1 = (MV1x,MV1y)とを含み、MV* = (MV*x,MV*y)は、
Figure 0007324841000033
であるような前記ペアワイズ・マージ候補であり、off及びsは整数であり、>>は右シフト演算を表す、方法。
B2.
ペアワイズ・マージ候補を生成するステップは、更に、
Figure 0007324841000034
のような演算を実行するステップを含む、解決策B1による方法。
B3.ビデオ処理方法であって、
ビデオの現在ブロックの処理のために、ペアワイズ・マージ候補を生成するステップであって、生成は、現在ブロックを含む現在ピクチャを示す動き候補のペアに基づいている、ステップと、
ペアワイズ・マージ候補に基づいて、ビデオの現在ブロックとビットストリーム表現との間の変換を実行するステップと、
を含み、動き候補のペアは、第1動き候補における参照ピクチャ・リストLの第1動きベクトルMV0 = (MV0x,MV0y)と、第2動き候補における参照ピクチャ・リストLの第2動きベクトルMV1 = (MV1x,MV1y)とを含み、MV* = (MV*x,MV*y)は、
Figure 0007324841000035
であるような前記ペアワイズ・マージ候補であり、off及びsは整数であり、>>は右シフト演算を表す、方法。
B4.
ペアワイズ・マージ候補を生成するステップは、更に、
Figure 0007324841000036
のような演算を実行するステップを含む、解決策B3による方法。
B5.
ビデオ処理方法であって、
ビデオの現在ブロックの処理のために、ペアワイズ・マージ候補を生成するステップであって、生成は、現在ブロックを含む現在ピクチャを示す動き候補のペアに基づいている、ステップと、
ペアワイズ・マージ候補に基づいて、ビデオの現在ブロックとビットストリーム表現との間の変換を実行するステップと、
を含み、動き候補のペアは、第1動き候補における参照ピクチャ・リストLの第1動きベクトルMV0 = (MV0x,MV0y)と、第2動き候補における参照ピクチャ・リストLの第2動きベクトルMV1 = (MV1x,MV1y)とを含み、MV* = (MV*x,MV*y)は、
Figure 0007324841000037
であるようなペアワイズ・マージ候補であり、off及びsは整数であり、>>は右シフト演算を表す、方法。
B6.
ペアワイズ・マージ候補を生成するステップは、更に、
Figure 0007324841000038
のような演算を実行するステップを含む、解決策B5による方法。
B7.
ビデオ処理方法であって、
ビデオの現在ブロックの処理のために、ペアワイズ・マージ候補を生成するステップであって、生成は、現在ブロックを含む現在ピクチャを示す動き候補のペアに基づいている、ステップと、
ペアワイズ・マージ候補に基づいて、ビデオの現在ブロックとビットストリーム表現との間の変換を実行するステップと、
を含み、動き候補のペアは、第1動き候補における参照ピクチャ・リストLの第1動きベクトルMV0 = (MV0x,MV0y)と、第2動き候補における参照ピクチャ・リストLの第2動きベクトルMV1 = (MV1x,MV1y)とを含み、MV* = (MV*x,MV*y)は、
Figure 0007324841000039
であるようなペアワイズ・マージ候補であり、W,off及びsは整数であり、>>は右シフト演算を表す、方法。
B8.
ビデオ処理方法であって、
ビデオの現在ブロックの処理のために、ペアワイズ・マージ候補を生成するステップであって、生成は、現在ブロックを含む現在ピクチャを示す動き候補のペアに基づいている、ステップと、
ペアワイズ・マージ候補に基づいて、ビデオの現在ブロックとビットストリーム表現との間の変換を実行するステップと、
を含み、動き候補のペアは、第1動き候補における参照ピクチャ・リストLの第1動きベクトルMV0 = (MV0x,MV0y)と、第2動き候補における参照ピクチャ・リストLの第2動きベクトルMV1 = (MV1x,MV1y)とを含み、MV* = (MV*x,MV*y)は、
Figure 0007324841000040
であるようなペアワイズ・マージ候補であり、W,off及びsは整数であり、>>は右シフト演算を表す、方法。
B9.
ビデオ処理方法であって、
ビデオの現在ブロックの処理のために、ペアワイズ・マージ候補を生成するステップであって、生成は、現在ブロックを含む現在ピクチャを示す動き候補のペアに基づいている、ステップと、
ペアワイズ・マージ候補に基づいて、ビデオの現在ブロックとビットストリーム表現との間の変換を実行するステップと、
を含み、動き候補のペアは、第1動き候補における参照ピクチャ・リストLの第1動きベクトルMV0 = (MV0x,MV0y)と、第2動き候補における参照ピクチャ・リストLの第2動きベクトルMV1 = (MV1x,MV1y)とを含み、MV* = (MV*x,MV*y)は、
Figure 0007324841000041
であるようなペアワイズ・マージ候補であり、W,off及びsは整数であり、>>は右シフト演算を表す、方法。
B10.
W=2又はW=4である、解決策B7-B9のうちの何れかの方法。
B11.
(1<<W)が動きベクトル表現精度である、解決策B10による方法。
B12.
マージ候補のペアは、マージ候補リストからのものである、解決策B1-B11のうちの何れかの方法。
B13.
参照ピクチャ・リストLは、参照ピクチャ・リスト0(L0)又は参照ピクチャ・リスト1(L1)を含む、解決策B1-B11のうちの何れかの方法。
B14.
ペアワイズ・マージ候補をマージ候補リストに挿入するステップ
を更に含むB1-B11のうちの何れかの方法。
B15.
変換を実行したことに続いて、マージ候補リストを更新するステップ
を更に含むB1-B11のうちの何れかの方法。
B16.
off = 0である、B1-B15のうちの何れかの方法。
B17.
s = 0という判断に対してoff = 0である、B1-B15のうちの何れかの方法。
B18.
off = 1 << (s-1)である、B1-B15のうちの何れかの方法。
B19.
s ≠ 0という判断に対してoff = 1 << (s-1)である、B1-B15のうちの何れかの方法。
B20.
off = (1 << (s - 1)) - 1である、B1-B15のうちの何れかの方法。
B21.
現在のビデオ・ブロックは、コーディング・ユニットである、B1-B20のうちの何れかの方法。
B22.
変換を実行するステップは、現在ブロックからビットストリーム表現を生成するステップを含む、B1-B21のうちの何れかの方法。
B23.
変換を実行するステップは、ビットストリーム表現から現在ブロックを生成するステップを含む、B1-B21のうちの何れかの方法。
B24.
B1-B23のうちの何れか1つに記載された方法を実現するように構成されたプロセッサを含むビデオ復号化装置。
B25.
B1-B23のうちの何れか1つにおける方法を実行するためのプログラム・コードを含む、非一時的なコンピュータ読み取り可能な媒体に記憶されたコンピュータ・プログラム製品。
幾つかの実施形態において、以下の技術的解決策が実装される:
C1.
ビデオ処理方法であって、
幾何学的パーティション・モードを使用してコーディングされたビデオの現在ブロックのために、スケーリングされた動きベクトルとList0動きベクトルとに基づいて、一方向予測動き候補を生成するステップと、
一方向予測動き候補に基づいて、ビデオの現在ブロックとビットストリーム表現との間の変換を実行するステップとを含み、
スケーリングされた動きベクトルは、MV1’ = (MV1’x,MV1’y)であり、List0動きベクトルは、MV0 = (MV0x,MV0y)であり、MV* = (MV*x,MV*y)は、
Figure 0007324841000042
であるような一方向予測動き候補であり、off及びsは整数であり、>>は右シフト演算を表す。
C2.
ビデオ処理方法であって、
幾何学的パーティション・モードを使用してコーディングされたビデオの現在ブロックのために、スケーリングされた動きベクトルとList0動きベクトルとに基づいて、一方向予測動き候補を生成するステップと、
一方向予測動き候補に基づいて、ビデオの現在ブロックとビットストリーム表現との間の変換を実行するステップとを含み、
スケーリングされた動きベクトルは、MV1’ = (MV1’x,MV1’y)であり、List0動きベクトルは、MV0 = (MV0x,MV0y)であり、MV* = (MV*x,MV*y)は、
Figure 0007324841000043
であるような一方向予測動き候補であり、off及びsは整数であり、>>は右シフト演算を表す。
C3.
ビデオ処理方法であって、
幾何学的パーティション・モードを使用してコーディングされたビデオの現在ブロックのために、スケーリングされた動きベクトルとList0動きベクトルとに基づいて、一方向予測動き候補を生成するステップと、
一方向予測動き候補に基づいて、ビデオの現在ブロックとビットストリーム表現との間の変換を実行するステップとを含み、
スケーリングされた動きベクトルは、MV1’ = (MV1’x,MV1’y)であり、List0動きベクトルは、MV0 = (MV0x,MV0y)であり、MV* = (MV*x,MV*y)は、
Figure 0007324841000044
であるような一方向予測動き候補であり、off及びsは整数であり、>>は右シフト演算を表す。
C4.
MV*はList0からの参照ピクチャを使用している、解決策C1-C3のうちの何れかの方法。
C5.
スケーリングされた動きベクトルとList0動きベクトルとは、幾何学的パーティション・モードを使用してコーディングされたブロックから導出された動き候補リストからのものである、解決策C1-C3のうちの何れかの方法。
C6.
一方向予測動き候補を動き候補リストに挿入するステップ
を更に含む解決策C1-C3のうちの何れかの方法。
C7.
変換を実行したことに続いて、動き候補リストを更新するステップ
を更に含む解決策C1-C3のうちの何れかの方法。
C8.
off = 0である、解決策C1-C7のうちの何れかの方法。
C9.
s = 0という判断に対してoff = 0である、解決策C1-C7のうちの何れかの方法。
C10.
off = 1 << (s-1)である、解決策C1-C7のうちの何れかの方法。
C11.
s ≠ 0という判断に対してoff = 1 << (s-1)である、解決策C1-C7のうちの何れかの方法。
C12.
off = (1 << (s - 1)) - 1である、解決策C1-C7のうちの何れかの方法。
C13.
幾何学的パーティション・モードは、三角予測モード(TPM)を含む、解決策C1-C7のうちの何れかの方法。
C14.
現在ブロックが複数のパーティションに区分けされ、少なくとも1つのパーティションは非正方形であって非長方形である、解決策C1-C12のうちの何れかの方法。
C15.
現在のビデオ・ブロックは、コーディング・ユニットである、解決策C1-C14のうちの何れかの方法。
C16.
変換は、現在のビデオ・ブロックからビットストリーム表現を生成することを含む、解決策C1-C15のうちの何れかの方法。
C17.
変換は、ビットストリーム表現から現在のビデオ・ブロックを生成することを含む、解決策C1-C15のうちの何れかの方法。
C18.
解決策C1-C17のうちの何れか1つに記載された方法を実現するように構成されたプロセッサを含むビデオ復号化装置。
C19.
解決策C1-C17のうちの何れか1つにおける方法を実行するためのプログラム・コードを含む、非一時的なコンピュータ読み取り可能な媒体に記憶されたコンピュータ・プログラム製品。
4.開示される技術の実装例
図20は、ビデオ処理装置2000のブロック図である。装置2000は、本願で説明される1つ以上の方法を実装するために使用されることが可能である。装置2000は、スマートフォン、タブレット、コンピュータ、モノのインターネット(IoT)受信機などにおいて具体化される可能性がある。装置2000は、1つ又は複数のプロセッサ2002、1つ又は複数のメモリ2004、及びビデオ処理ハードウェア2006を含む可能性がある。プロセッサ2002は、本文書で説明される1つ以上の方法(方法1930、1960及び1990を含むが、これらに限定されない)を実装するように構成されることが可能である。メモリ(メモリ)2004は、本願で説明される方法及び技術を実装するために使用されるデータ及びコードを記憶するために使用されることが可能である。ビデオ処理ハードウェア2006は、ハードウェア回路において、本文書で説明される幾つかの技術を実装するために使用されることが可能である。
一部の実施形態では、ビデオ復号化方法は、図20に関して説明されるようにハードウェア・プラットフォーム上に実装される装置を使用して実装されてもよい。
図21は、本願で開示される様々な技術が実装される可能性がある例示的なビデオ処理システム2100を示すブロック図である。様々な実装は、システム2100の構成要素の一部又は全部を含む可能性がある。システム2100は、ビデオ・コンテンツを受信するための入力2102を含んでもよい。ビデオ・コンテンツは、未処理の又は非圧縮フォーマット、例えば8又は10ビットのマルチ・コンポーネント・ピクセル値で受信されてもよいし、あるいは圧縮された又は符号化されたフォーマットで受信されてもよい。入力2102は、ネットワーク・インターフェース、周辺バス・インターフェース、又は記憶インターフェースを表す可能性がある。ネットワーク・インターフェースの例は、イーサーネット、受動光ネットワーク(PON)等のような有線インターフェース、及びWi-Fi又はセルラー・インターフェースのような無線インターフェースを含む。
システム2100は、本文書で説明される種々のコーディング又は符号化の方法を実装することが可能なコーディング構成要素2104を含んでもよい。コーディング構成要素2104は、入力2102からコーディング構成要素2104の出力へのビデオの平均ビットレートを低減して、ビデオのコーディングされた表現を生成することができる。従って、コーディング技術は、時折、ビデオ圧縮又はビデオ・トランスコーディング技術と呼ばれる。コーディング構成要素2104の出力は、記憶されてもよいし、或いは構成要素2106によって表されるように、接続された通信によって伝送されてもよい。入力2102で受信されたビデオの記憶される又は通信されるビットストリーム(又はコーディングされた)表現は、ディスプレイ・インターフェース2110に送られるピクセル値又は表示可能なビデオを生成するために、コンポーネント2108によって使用されることが可能である。ビットストリーム表現から、ユーザーが見ることが可能なビデオを生成するプロセスは、時折、ビデオ解凍と呼ばれる。更に、特定のビデオ処理操作は、「コーディング」操作又はツールと称されるが、コーディング・ツール又は操作はエンコーダで使用され、コーディングの結果を戻す対応する復号化ツール又は操作は、デコーダで実行されるであろうということは理解されるであろう。
周辺バス・インターフェース又はディスプレイ・インターフェースの例は、ユニバーサル・シリアル・バス(USB)又は高解像度マルチメディア・インターフェース(HDMI(登録商標))又はディスプレイポート等を含む可能性がある。記憶インターフェースの例は、SATA(serial advanced technology attachment)、PCI、IDEインターフェース等を含む。本文書で説明される技術は、携帯電話、ラップトップ、スマートフォン、又はその他のデバイス(デジタル・データ処理及び/又はビデオ表示を実行することができるもの)のような種々の電子装置で具現化されることが可能である。
以上から、本願で開示される技術の特定の実施形態が本明細書で説明の目的で述べられてきたが、本発明の範囲を逸脱することなく、種々の修正が行われる可能性があることは、理解されるであろう。従って、現在開示されている技術は、添付の特許請求の範囲による場合を除いて限定されない。
本文書で説明される対象事項及び機能動作の実装は、本明細書で開示されている構造及びそれらの構造的均等物を含む、種々のシステム、デジタル電子回路、又はコンピュータ・ソフトウェア、ファームウェア、又はハードウェア、又はそれらの1つ以上の組み合わせにおいて実装されることが可能である。本明細書で説明される対象事項の実装は、1つ以上のコンピュータ・プログラム製品として、即ち、データ処理装置による実行、又はその動作を制御するための、有形且つ非一時的なコンピュータ読み取り可能な媒体上に符号化されたコンピュータ・プログラム命令の1つ以上のモジュールとして実装されることが可能である。コンピュータ読み取り可能な媒体は、マシン読み取り可能なストレージ・デバイス、マシン読み取り可能なストレージ基板、メモリ・デバイス、マシン読み取り可能な伝搬信号に影響を及ぼす物質構造、又はそれらの1つ以上の組み合わせであるとすることが可能である。「データ処理ユニット」又は「データ処理装置」という用語は、例えば、プログラマブル・プロセッサ、コンピュータ、又は複数のプロセッサ又はコンピュータを含む、データを処理するためのすべての装置、デバイス、及びマシンを包含する。装置は、ハードウェアに加えて、問題とするコンピュータ・プログラムの実行環境を生成するコード、例えば、プロセッサ・ファームウェア、プロトコル・スタック、データベース管理システム、オペレーティング・システム、又はそれらの1つ以上の組み合わせを構成するコードを含むことが可能である。
コンピュータ・プログラム(プログラム、ソフトウェア、ソフトウェア・アプリケーション、スクリプト、又はコードとしても知られる)は、コンパイルされる又は解釈される言語を含む任意の形式のプログラミング言語で書かれることが可能であり、それは、スタンド・アロン・プログラムとして、又はモジュール、コンポーネント、サブルーチン、若しくはその他のユニット(コンピューティング環境での使用に適したもの)として、任意の形式で配備されることが可能である。コンピュータ・プログラムは、必ずしもファイル・システム内のファイルに対応するものではない。プログラムは、他のプログラム又はデータを保持するファイルの一部分(例えば、マークアップ言語文書に記憶される1つ以上のスクリプト)、問題とするプログラムに専用の単一ファイル、又は複数のコーディネートされたファイル(例えば、1つ以上のモジュール、サブ・プログラム、又はコードの一部分を記憶するファイル)に、記憶されることが可能である。コンピュータ・プログラムは、1つのコンピュータ又は複数のコンピュータ上で実行されるように配備されることが可能であり、複数のコンピュータは、1つのサイトに配置されるか、又は複数のサイトに分散され、通信ネットワークによって相互接続される。
本明細書で説明されるプロセス及び論理フローは、1つ以上のコンピュータ・プログラムを実行する1つ以上のプログラマブル・プロセッサによって実行され、入力データを処理して出力を生成することによって機能を実行することができる。プロセス及び論理フローはまた、FPGA(field programmable gate array)又はASIC(application specific integrated circuit)のような特殊目的論理回路によって実行されることも可能であり、装置はそれらとして実装されることも可能である。
コンピュータ・プログラムの実行に適したプロセッサは、例えば、汎用及び専用マイクロプロセッサの両方、及び任意の種類のデジタル・コンピュータの任意の1つ以上のプロセッサを含む。一般に、プロセッサは、リード・オンリ・メモリ又はランダム・アクセス・メモリ又はその両方から命令及びデータを受け取る。コンピュータの必須要素は、命令を実行するためのプロセッサと、命令及びデータを記憶するための1つ以上のメモリ・デバイスである。一般に、コンピュータはまた、データを記憶するための1つ以上の大容量ストレージ・デバイス、例えば、磁気的な、磁気光学的なディスク、又は光ディスクからデータを受信したり、そこにデータを転送したりするためにそれらを包含し、又はそれらに動き可能に結合されるであろう。しかしながら、コンピュータは、そのようなデバイスを有することは必須ではない。コンピュータ・プログラム命令及びデータを記憶するのに適したコンピュータ読み取り可能な媒体は、例えば、EPROM、EEPROM、及びフラッシュ・メモリ・デバイスのような半導体メモリ・デバイスを含む、あらゆる形式の不揮発性メモリ、媒体及びメモリ・デバイスを含む。プロセッサ及びメモリは、特殊目的論理回路によって補足されるか、又はそれらに組み込まれることが可能である。
明細書は、図面と共に、例示としてしか考慮されないように意図されており、ここで、例示は具体例を意味する。本願で使用されるように、「ある」(“a”,“an”)及び「その」(“the”)という単独の形式は、文脈が明示的に別意を示さない限り、複数も含むように意図されている。更に、「又は」の使用は、文脈が明示的に別意を示さない限り、「及び/又は」を含むように意図されている。
この特許文献は、多くの詳細を含んでいるが、これらは、何れかの発明又はクレームされる可能性のあるものの範囲に対する限定として解釈されるべきではなく、特定の発明の特定の実施形態に特有である可能性のある特徴の説明として解釈されるべきである。別々の実施形態の文脈でこの特許文献で説明されている特定の特徴は、単一の実施形態で組み合わせて実施することも可能である。逆に、単一の実施形態の文脈で説明される種々の特徴は、複数の実施形態で別々に、又は任意の適切なサブコンビネーションで実施されることも可能である。更に、特徴は、特定の組み合わせにおいて作用するものとして上述され、当初にそのようにクレームされるかもしれないが、クレームされる組み合わせからの1つ以上の特徴は、場合によっては、組み合わせから切り出されることが可能であり、クレームされる組み合わせは、サブコンビネーション又はサブコンビネーションの変形に向けられることが可能である。
同様に、動作が特定の順序で図面に示されているが、これは、所望の結果を達成するために、そのような動作が図示の特定の順序で又は連続的な順序で実行されなければならないこと、或いは図示のすべての動作が実行されなければならないこと、を要求するものとして理解されるべきではない。更に、この特許文献で説明される実施形態における種々のシステム構成要素の分け方は、すべての実施形態においてこのような分け方を必要とするものとして理解されるべきではない。
少数の実装及び具体例のみが記述されており、他の実装、拡張、及び変形が、本特許文献で説明及び図示されているものに基づいて行われることが可能である。

Claims (11)

  1. ビデオ・データを処理する方法であって、
    ビデオの現在ブロックのために、少なくとも2つのマージ動き候補を含むマージ動き候補リストを構成するステップと、
    前記マージ動き候補リストに含まれるマージ動き候補のペアから、ペアワイズ平均マージ候補を、前記マージ動き候補リストに対するポジション・インデックスに基づいて導出するステップと、
    前記ペアワイズ平均マージ候補に基づいて、前記ビデオの前記現在ブロックとビットストリームとの間の変換を実行するステップと、
    を含み、前記マージ動き候補のペアは、第1マージ動き候補における参照ピクチャ・リストLの第1動きベクトルMV0 = (MV0x,MV0y)と、第2マージ動き候補における前記参照ピクチャ・リストLの第2動きベクトルMV1 = (MV1x,MV1y)とを含み、MV* = (MV*x,MV*y)は、
    Figure 0007324841000045
    であるような前記ペアワイズ・マージ候補であり、off及びsは整数であり、>>は右シフト演算を表し、off = (1 << (s - 1)) - 1である、方法。
  2. 前記マージ動き候補のペアのポジション・インデックスは、0及び1である、請求項1に記載の方法。
  3. 前記参照ピクチャ・リストLは、参照ピクチャ・リスト0(L0)又は参照ピクチャ・リスト1(L1)を含む、請求項1に記載の方法。
  4. 前記ペアワイズ平均マージ候補を前記マージ動き候補リストに挿入するステップ
    を更に含む請求項1に記載の方法。
  5. off = 0である、請求項1-4のうちの何れか1項に記載の方法。
  6. s = 0という判断に対してoff = 0である、請求項1-4のうちの何れか1項に記載の方法。
  7. 前記変換は、前記現在のブロックを前記ビットストリームに符号化するステップを含む、請求項1-のうちの何れか1項に記載の方法。
  8. 前記変換は、前記現在のブロックを前記ビットストリームから復号化するステップを含む、請求項1-のうちの何れか1項に記載の方法。
  9. プロセッサと命令を伴う非一時的なメモリとを含む、ビデオ・データを処理する装置であって、前記命令は、前記プロセッサにより実行される場合に、前記プロセッサに、
    ビデオの現在ブロックのために、少なくとも2つのマージ動き候補を含むマージ動き候補リストを構成するステップと、
    前記マージ動き候補リストに含まれるマージ動き候補のペアから、ペアワイズ平均マージ候補を、前記マージ動き候補リストに対するポジション・インデックスに基づいて導出するステップと、
    前記ペアワイズ平均マージ候補に基づいて、前記ビデオの前記現在ブロックとビットストリームとの間の変換を実行するステップと、
    を実行させ、前記マージ動き候補のペアは、第1マージ動き候補における参照ピクチャ・リストLの第1動きベクトルMV0 = (MV0x,MV0y)と、第2マージ動き候補における前記参照ピクチャ・リストLの第2動きベクトルMV1 = (MV1x,MV1y)とを含み、MV* = (MV*x,MV*y)は、
    Figure 0007324841000046
    であるような前記ペアワイズ・マージ候補であり、off及びsは整数であり、>>は右シフト演算を表し、off = (1 << (s - 1)) - 1である、装置。
  10. 命令を記憶する非一時的なコンピュータ読み取り可能な記憶媒体であって、前記命令は、プロセッサに、
    ビデオの現在ブロックのために、少なくとも2つのマージ動き候補を含むマージ動き候補リストを構成するステップと、
    前記マージ動き候補リストに含まれるマージ動き候補のペアから、ペアワイズ平均マージ候補を、前記マージ動き候補リストに対するポジション・インデックスに基づいて導出するステップと、
    前記ペアワイズ平均マージ候補に基づいて、前記ビデオの前記現在ブロックとビットストリームとの間の変換を実行するステップと、
    を実行させ、前記マージ動き候補のペアは、第1マージ動き候補における参照ピクチャ・リストLの第1動きベクトルMV0 = (MV0x,MV0y)と、第2マージ動き候補における前記参照ピクチャ・リストLの第2動きベクトルMV1 = (MV1x,MV1y)とを含み、MV* = (MV*x,MV*y)は、
    Figure 0007324841000047
    であるような前記ペアワイズ・マージ候補であり、off及びsは整数であり、>>は右シフト演算を表し、off = (1 << (s - 1)) - 1である、記憶媒体。
  11. ビデオのビットストリームを記憶するための方法であって、
    前記ビデオの現在ブロックのために、少なくとも2つのマージ動き候補を含むマージ動き候補リストを構成するステップと、
    前記マージ動き候補リストに含まれるマージ動き候補のペアから、ペアワイズ平均マージ候補を、前記マージ動き候補リストに対するポジション・インデックスに基づいて決定を行うステップと、
    前記決定に基づいて前記ビットストリームを生成するステップと、
    非一時的なコンピュータ読み取り可能な記憶媒体に前記ビットストリームを記憶するステップと、
    を含み、前記マージ動き候補のペアは、第1マージ動き候補における参照ピクチャ・リストLの第1動きベクトルMV0 = (MV0x,MV0y)と、第2マージ動き候補における前記参照ピクチャ・リストLの第2動きベクトルMV1 = (MV1x,MV1y)とを含み、MV* = (MV*x,MV*y)は、
    Figure 0007324841000048
    であるような前記ペアワイズ・マージ候補であり、off及びsは整数であり、>>は右シフト演算を表し、off = (1 << (s - 1)) - 1である、方法。
JP2021524354A 2018-11-10 2019-11-11 ビデオ・データ処理方法、装置、記憶媒体及び記憶方法 Active JP7324841B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2018114931 2018-11-10
CNPCT/CN2018/114931 2018-11-10
PCT/CN2019/117119 WO2020094151A1 (en) 2018-11-10 2019-11-11 Rounding in pairwise average candidate calculations

Publications (2)

Publication Number Publication Date
JP2022506767A JP2022506767A (ja) 2022-01-17
JP7324841B2 true JP7324841B2 (ja) 2023-08-10

Family

ID=70610974

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021524354A Active JP7324841B2 (ja) 2018-11-10 2019-11-11 ビデオ・データ処理方法、装置、記憶媒体及び記憶方法

Country Status (6)

Country Link
US (3) US20210152846A1 (ja)
EP (1) EP3861723A4 (ja)
JP (1) JP7324841B2 (ja)
KR (1) KR20210089155A (ja)
CN (4) CN116886926A (ja)
WO (3) WO2020094150A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2588003B (en) 2018-06-05 2023-04-19 Beijing Bytedance Network Tech Co Ltd Interaction between pairwise average merging candidates and IBC
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
EP3788782A1 (en) 2018-06-21 2021-03-10 Beijing Bytedance Network Technology Co. Ltd. Sub-block mv inheritance between color components
CN117768651A (zh) 2018-09-24 2024-03-26 北京字节跳动网络技术有限公司 处理视频数据的方法、装置、介质、以及比特流存储方法
CN116886926A (zh) 2018-11-10 2023-10-13 北京字节跳动网络技术有限公司 成对平均候选计算中的取整
CN112997490B (zh) * 2018-11-16 2023-12-22 夏普株式会社 用于在视频编码中导出运动矢量预测的系统和方法
HUE065272T2 (hu) * 2018-12-21 2024-05-28 Beijing Dajia Internet Information Eljárás és berendezés video kódolásnál affine mozgásvektorok származtatására színkomponensekhez
US11032574B2 (en) * 2018-12-31 2021-06-08 Tencent America LLC Method and apparatus for video coding
CN118433426A (zh) 2019-03-12 2024-08-02 腾讯美国有限责任公司 对视频进行编码或解码的方法和装置
JP7446339B2 (ja) 2019-06-04 2024-03-08 北京字節跳動網絡技術有限公司 幾何学的分割モードコーディングを用いた動き候補リスト
EP3963890A4 (en) 2019-06-04 2022-11-02 Beijing Bytedance Network Technology Co., Ltd. BUILDING A LIST OF MOVEMENT CANDIDATES USING NEIGHBOR BLOCK INFORMATION
CN113994699B (zh) 2019-06-06 2024-01-12 北京字节跳动网络技术有限公司 视频编解码的运动候选列表构建
CN114128295B (zh) 2019-07-14 2024-04-12 北京字节跳动网络技术有限公司 视频编解码中几何分割模式候选列表的构建
BR112022001279A2 (pt) 2019-07-26 2022-03-22 Beijing Bytedance Network Tech Co Ltd Método de processamento de vídeo, aparelho em um sistema de vídeo, e, produto de programa de computador
JP6960969B2 (ja) * 2019-09-20 2021-11-05 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN117596389A (zh) 2019-09-28 2024-02-23 北京字节跳动网络技术有限公司 视频编解码中的几何分割模式
CN114556919A (zh) 2019-10-10 2022-05-27 北京字节跳动网络技术有限公司 去块滤波的改进
CN112788345B (zh) * 2019-11-11 2023-10-24 腾讯美国有限责任公司 视频数据解码方法、装置、计算机设备和存储介质
US12113987B2 (en) * 2020-12-22 2024-10-08 Qualcomm Incorporated Multi-pass decoder-side motion vector refinement
CN117597922A (zh) * 2021-06-28 2024-02-23 北京达佳互联信息技术有限公司 用于利用运动矢量细化的几何分区模式的方法和设备
US20240275944A1 (en) * 2021-06-29 2024-08-15 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130107958A1 (en) 2011-10-31 2013-05-02 Fujitsu Limited Video decoding apparatus and method
US20200128237A1 (en) 2018-10-22 2020-04-23 Tencent America LLC Method and apparatus for video coding

Family Cites Families (225)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08186825A (ja) 1994-12-28 1996-07-16 Nippon Hoso Kyokai <Nhk> 動きベクトル検出方法
KR100624355B1 (ko) * 1999-04-26 2006-09-18 코닌클리케 필립스 일렉트로닉스 엔.브이. 서브-픽셀 정밀 움직임 벡터 추정 및 움직임-보상 보간
CN1311409C (zh) 2002-07-31 2007-04-18 皇家飞利浦电子股份有限公司 用于分割的系统和方法
CN100591138C (zh) 2002-11-25 2010-02-17 松下电器产业株式会社 图像编码方法及其装置、图像解码方法及其装置
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
CN100344163C (zh) 2004-06-16 2007-10-17 华为技术有限公司 视频编解码处理方法
CN1777283A (zh) 2004-12-31 2006-05-24 上海广电(集团)有限公司 一种基于微块的视频信号编/解码方法
US8954943B2 (en) 2006-01-26 2015-02-10 International Business Machines Corporation Analyze and reduce number of data reordering operations in SIMD code
JP4826315B2 (ja) 2006-03-31 2011-11-30 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8184715B1 (en) 2007-08-09 2012-05-22 Elemental Technologies, Inc. Method for efficiently executing video encoding operations on stream processor architectures
CN101971631B (zh) 2007-12-21 2013-03-27 艾利森电话股份有限公司 自适应帧内模式选择
CN101605255B (zh) 2008-06-12 2011-05-04 华为技术有限公司 一种视频编解码的方法及装置
WO2020084511A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Simplified entropy coding for sub-block based motion information list
US20110002386A1 (en) 2009-07-06 2011-01-06 Mediatek Singapore Pte. Ltd. Video encoder and method for performing intra-prediction and video data compression
JP5234368B2 (ja) 2009-09-30 2013-07-10 ソニー株式会社 画像処理装置および方法
JP2011147049A (ja) 2010-01-18 2011-07-28 Sony Corp 画像処理装置および方法、並びにプログラム
EP2532159A1 (en) 2010-02-05 2012-12-12 Telefonaktiebolaget L M Ericsson (PUBL) Selecting predicted motion vector candidates
KR101630688B1 (ko) 2010-02-17 2016-06-16 삼성전자주식회사 움직임 예측 장치 및 방법과 영상 처리 장치
CN101895751B (zh) 2010-07-06 2012-02-08 北京大学 帧内预测的方法及装置、基于帧内预测的编/解码方法及系统
US20120294370A1 (en) * 2010-10-06 2012-11-22 Yi-Jen Chiu System and method for low complexity motion vector derivation
CN102685479A (zh) * 2011-03-11 2012-09-19 华为技术有限公司 视频编解码处理方法和装置
SI3937497T1 (sl) * 2011-03-21 2023-06-30 Lg Electronics, Inc. Izbira prediktorja vektorjev gibanja
US20120287999A1 (en) 2011-05-11 2012-11-15 Microsoft Corporation Syntax element prediction in error correction
US9866859B2 (en) 2011-06-14 2018-01-09 Texas Instruments Incorporated Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding
GB201113527D0 (en) * 2011-08-04 2011-09-21 Imagination Tech Ltd External vectors in a motion estimation system
CN107277547B (zh) * 2011-08-29 2020-05-29 苗太平洋控股有限公司 以amvp模式对图像编码的方法
IN2014CN01784A (ja) 2011-08-30 2015-05-29 Nokia Corp
MX353235B (es) 2011-09-29 2018-01-08 Sharp Kk Star Dispositivo de decodificación de imágenes, método de decodificación de imágenes y dispositivo de codificación de imágenes.
JP2013098933A (ja) 2011-11-04 2013-05-20 Sony Corp 画像処理装置および方法
RU2718230C2 (ru) 2011-11-08 2020-03-31 Кт Корпорейшен Способ декодирования видеосигнала
KR20230175325A (ko) 2011-11-11 2023-12-29 엘지전자 주식회사 영상 정보 전송 방법 및 장치와 이를 이용한 복호화 방법 및 장치
JP5895469B2 (ja) * 2011-11-18 2016-03-30 富士通株式会社 動画像符号化装置、および動画像復号装置
KR20130058524A (ko) 2011-11-25 2013-06-04 오수미 색차 인트라 예측 블록 생성 방법
US9451252B2 (en) 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
EP2806635A4 (en) * 2012-01-18 2015-12-02 Korea Electronics Telecomm METHOD AND DEVICE FOR ENCODING AND DECODING AN IMAGE
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
US9325991B2 (en) * 2012-04-11 2016-04-26 Qualcomm Incorporated Motion vector rounding
WO2013152736A1 (en) 2012-04-12 2013-10-17 Mediatek Singapore Pte. Ltd. Method and apparatus for block partition of chroma subsampling formats
CN104272743B (zh) 2012-05-09 2019-01-01 太阳专利托管公司 执行运动矢量预测的方法、编码和解码方法及其装置
US20130329007A1 (en) 2012-06-06 2013-12-12 Qualcomm Incorporated Redundancy removal for advanced motion vector prediction (amvp) in three-dimensional (3d) video coding
WO2014007521A1 (ko) 2012-07-02 2014-01-09 삼성전자 주식회사 비디오 부호화 또는 비디오 복호화를 위한 움직임 벡터 예측 방법 및 장치
KR101955700B1 (ko) 2012-08-29 2019-03-07 브이아이디 스케일, 인크. 스케일러블 비디오 코딩을 위한 모션 벡터 예측 방법 및 장치
US9491461B2 (en) 2012-09-27 2016-11-08 Qualcomm Incorporated Scalable extensions to HEVC and temporal motion vector prediction
AU2012232992A1 (en) 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
JP2015530805A (ja) 2012-09-28 2015-10-15 インテル コーポレイション レイヤ間画素サンプル予測
KR101962442B1 (ko) 2012-10-01 2019-03-26 지이 비디오 컴프레션, 엘엘씨 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩
US9106922B2 (en) * 2012-12-19 2015-08-11 Vanguard Software Solutions, Inc. Motion estimation engine for video encoding
US9615089B2 (en) 2012-12-26 2017-04-04 Samsung Electronics Co., Ltd. Method of encoding and decoding multiview video sequence based on adaptive compensation of local illumination mismatch in inter-frame prediction
US9294777B2 (en) 2012-12-30 2016-03-22 Qualcomm Incorporated Progressive refinement with temporal scalability support in video coding
US9674542B2 (en) 2013-01-02 2017-06-06 Qualcomm Incorporated Motion vector prediction for video coding
US20140254678A1 (en) * 2013-03-11 2014-09-11 Aleksandar Beric Motion estimation using hierarchical phase plane correlation and block matching
US9521425B2 (en) 2013-03-19 2016-12-13 Qualcomm Incorporated Disparity vector derivation in 3D video coding for skip and direct modes
US9491460B2 (en) * 2013-03-29 2016-11-08 Qualcomm Incorporated Bandwidth reduction for video coding prediction
WO2014166116A1 (en) 2013-04-12 2014-10-16 Mediatek Inc. Direct simplified depth coding
US10045014B2 (en) 2013-07-15 2018-08-07 Mediatek Singapore Pte. Ltd. Method of disparity derived depth coding in 3D video coding
US9628795B2 (en) 2013-07-17 2017-04-18 Qualcomm Incorporated Block identification using disparity vector in video coding
WO2015006967A1 (en) 2013-07-19 2015-01-22 Mediatek Singapore Pte. Ltd. Simplified view synthesis prediction for 3d video coding
CN104769947B (zh) 2013-07-26 2019-02-26 北京大学深圳研究生院 一种基于p帧的多假设运动补偿编码方法
CN104488271B (zh) 2013-07-26 2019-05-07 北京大学深圳研究生院 一种基于p帧的多假设运动补偿方法
AU2013228045A1 (en) 2013-09-13 2015-04-02 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
US9667996B2 (en) 2013-09-26 2017-05-30 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
US9762927B2 (en) 2013-09-26 2017-09-12 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
CN103561263B (zh) 2013-11-06 2016-08-24 北京牡丹电子集团有限责任公司数字电视技术中心 基于运动矢量约束和加权运动矢量的运动补偿预测方法
CN105723713A (zh) * 2013-12-19 2016-06-29 夏普株式会社 合并候选导出装置、图像解码装置以及图像编码装置
TWI536811B (zh) 2013-12-27 2016-06-01 財團法人工業技術研究院 影像處理方法與系統、解碼方法、編碼器與解碼器
WO2015100726A1 (en) 2014-01-03 2015-07-09 Microsoft Corporation Block vector prediction in video and image coding/decoding
WO2015109598A1 (en) 2014-01-27 2015-07-30 Mediatek Singapore Pte. Ltd. Methods for motion parameter hole filling
WO2015142054A1 (ko) * 2014-03-19 2015-09-24 주식회사 케이티 다시점 비디오 신호 처리 방법 및 장치
EP3130147B1 (en) 2014-05-06 2022-05-04 HFI Innovation Inc. Methods of block vector prediction and decoding for intra block copy mode coding
US10327001B2 (en) 2014-06-19 2019-06-18 Qualcomm Incorporated Systems and methods for intra-block copy
US20150373362A1 (en) 2014-06-19 2015-12-24 Qualcomm Incorporated Deblocking filter design for intra block copy
KR20230130178A (ko) 2014-06-19 2023-09-11 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 통합된 인트라 블록 카피 및 인터 예측 모드
US20150373350A1 (en) 2014-06-20 2015-12-24 Qualcomm Incorporated Temporal motion vector prediction (tmvp) indication in multi-layer codecs
WO2016008157A1 (en) * 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
CN105282558B (zh) 2014-07-18 2018-06-15 清华大学 帧内像素预测方法、编码方法、解码方法及其装置
US10412387B2 (en) 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
KR102034938B1 (ko) 2014-09-01 2019-10-21 에이치에프아이 이노베이션 인크. 스크린 콘텐츠 및 비디오 코딩을 위한 인트라 픽처 블록 카피의 방법
JP6698077B2 (ja) 2014-09-11 2020-05-27 ユークリッド・ディスカバリーズ・エルエルシーEuclid Discoveries,Llc モデルベースの映像符号化用の知覚的最適化
JP2017532885A (ja) 2014-09-26 2017-11-02 ヴィド スケール インコーポレイテッド 時間ブロックベクトル予測を用いたイントラブロックコピー符号化
US9918105B2 (en) 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
KR102647887B1 (ko) 2014-10-31 2024-03-14 삼성전자주식회사 움직임 벡터 부복호화 방법 및 장치
SG11201703454XA (en) 2014-11-18 2017-06-29 Mediatek Inc Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate
WO2016090568A1 (en) 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US11477477B2 (en) 2015-01-26 2022-10-18 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
WO2016123388A1 (en) 2015-01-29 2016-08-04 Vid Scale, Inc. Palette coding modes and palette flipping
JP2018050091A (ja) 2015-02-02 2018-03-29 シャープ株式会社 画像復号装置、画像符号化装置および予測ベクトル導出装置
US10171828B2 (en) 2015-02-27 2019-01-01 Arris Enterprises Llc Modification of unification of intra block copy and inter signaling related syntax and semantics
US11330284B2 (en) * 2015-03-27 2022-05-10 Qualcomm Incorporated Deriving motion information for sub-blocks in video coding
WO2016165069A1 (en) 2015-04-14 2016-10-20 Mediatek Singapore Pte. Ltd. Advanced temporal motion vector prediction in video coding
KR102206504B1 (ko) 2015-04-29 2021-01-22 에이치에프아이 이노베이션 인크. 인트라 블록 복사 참조 리스트 구축을 위한 방법 및 장치
US20160337662A1 (en) 2015-05-11 2016-11-17 Qualcomm Incorporated Storage and signaling resolutions of motion vectors
CN109005407B (zh) 2015-05-15 2023-09-01 华为技术有限公司 视频图像编码和解码的方法、编码设备和解码设备
WO2016192678A1 (en) 2015-06-03 2016-12-08 Mediatek Inc. Methods for palette coding of image and video data
US10306240B2 (en) 2015-06-08 2019-05-28 Vid Scale, Inc. Intra block copy mode for screen content coding
GB2539213A (en) 2015-06-08 2016-12-14 Canon Kk Schemes for handling an AMVP flag when implementing intra block copy coding mode
US10148977B2 (en) 2015-06-16 2018-12-04 Futurewei Technologies, Inc. Advanced coding techniques for high efficiency video coding (HEVC) screen content coding (SCC) extensions
CN112887711B (zh) 2015-07-27 2023-06-30 寰发股份有限公司 一种视频编解码方法及系统
EP3334157B1 (en) 2015-08-04 2020-09-02 LG Electronics Inc. Inter prediction method and device in video coding system
US10467735B2 (en) 2015-08-25 2019-11-05 Interdigital Vc Holdings, Inc. Inverse tone mapping based on luminance zones
WO2017036399A1 (en) 2015-09-02 2017-03-09 Mediatek Inc. Method and apparatus of motion compensation for video coding based on bi prediction optical flow techniques
WO2017041271A1 (en) 2015-09-10 2017-03-16 Mediatek Singapore Pte. Ltd. Efficient context modeling for coding a block of data
US10375413B2 (en) 2015-09-28 2019-08-06 Qualcomm Incorporated Bi-directional optical flow for video coding
CN109274974B (zh) 2015-09-29 2022-02-11 华为技术有限公司 图像预测的方法及装置
WO2017076221A1 (en) * 2015-11-05 2017-05-11 Mediatek Inc. Method and apparatus of inter prediction using average motion vector for video coding
CN105306944B (zh) 2015-11-30 2018-07-06 哈尔滨工业大学 混合视频编码标准中色度分量预测方法
US20190158870A1 (en) * 2016-01-07 2019-05-23 Mediatek Inc. Method and apparatus for affine merge mode prediction for video coding system
CN105678808A (zh) 2016-01-08 2016-06-15 浙江宇视科技有限公司 运动目标跟踪方法及装置
US9955186B2 (en) 2016-01-11 2018-04-24 Qualcomm Incorporated Block size decision for video coding
US10798403B2 (en) 2016-01-29 2020-10-06 Sharp Kabushiki Kaisha Prediction image generation device, video decoding device, and video coding device
MY201069A (en) 2016-02-05 2024-02-01 Hfi Innovation Inc Method and apparatus of motion compensation based on bi-directional optical flow techniques for video coding
US10368083B2 (en) * 2016-02-15 2019-07-30 Qualcomm Incorporated Picture order count based motion vector pruning
EP3417617A4 (en) 2016-02-17 2019-02-27 Telefonaktiebolaget LM Ericsson (publ) METHOD AND DEVICES FOR CODING AND DECODING VIDEO IMAGES
JP6419170B2 (ja) 2016-02-17 2018-11-07 テレフオンアクチーボラゲット エルエム エリクソン(パブル) ビデオピクチャを符号化および復号する方法および装置
WO2017143467A1 (en) 2016-02-22 2017-08-31 Mediatek Singapore Pte. Ltd. Localized luma mode prediction inheritance for chroma coding
WO2017156669A1 (en) * 2016-03-14 2017-09-21 Mediatek Singapore Pte. Ltd. Methods for motion vector storage in video coding
WO2017157281A1 (en) * 2016-03-16 2017-09-21 Mediatek Inc. Method and apparatus of pattern-based motion vector derivation for video coding
US10455228B2 (en) 2016-03-21 2019-10-22 Qualcomm Incorporated Determining prediction parameters for non-square blocks in video coding
US11223852B2 (en) 2016-03-21 2022-01-11 Qualcomm Incorporated Coding video data using a two-level multi-type-tree framework
DE112017001540B4 (de) 2016-03-25 2023-02-02 Panasonic Intellectual Property Management Co., Ltd. Verfahren und vorrichtungen zum codieren und decodieren von video unter verwendung signalabhängiger adaptiver quantisierung
KR102584349B1 (ko) 2016-03-28 2023-10-04 로즈데일 다이나믹스 엘엘씨 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN116546207A (zh) 2016-04-08 2023-08-04 韩国电子通信研究院 用于导出运动预测信息的方法和装置
US10462459B2 (en) 2016-04-14 2019-10-29 Mediatek Inc. Non-local adaptive loop filter
KR20180132756A (ko) 2016-04-28 2018-12-12 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
JP2019519972A (ja) 2016-05-05 2019-07-11 ヴィド スケール インコーポレイテッド イントラコーディングのための制御点ベースのイントラ方向表現
WO2017194756A1 (en) * 2016-05-12 2017-11-16 Telefonaktiebolaget Lm Ericsson (Publ) Methods and arrangements for coding and decoding motion vectors
US10560718B2 (en) 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
CN109792535B (zh) 2016-05-13 2023-03-28 夏普株式会社 预测图像生成装置、运动图像解码装置以及运动图像编码装置
CN109496430B (zh) 2016-05-13 2022-06-14 Vid拓展公司 用于视频编码的通用式多假设预测的系统及方法
US10560712B2 (en) 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
CA3024900C (en) 2016-05-17 2021-02-16 Arris Enterprises Llc Template matching for jvet intra prediction
US20170339405A1 (en) 2016-05-20 2017-11-23 Arris Enterprises Llc System and method for intra coding
US20200322599A1 (en) 2016-05-28 2020-10-08 Mediatek Inc. Method and apparatus of current picture referencing for video coding using affine motion compensation
EP3482566B1 (en) 2016-07-08 2024-02-28 InterDigital Madison Patent Holdings, SAS Systems and methods for region-of-interest tone remapping
US10368107B2 (en) 2016-08-15 2019-07-30 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US10659802B2 (en) 2016-08-15 2020-05-19 Nokia Technologies Oy Video encoding and decoding
US10326986B2 (en) 2016-08-15 2019-06-18 Qualcomm Incorporated Intra video coding using a decoupled tree structure
CN109691107A (zh) 2016-09-12 2019-04-26 索尼公司 图像处理装置和图像处理方法
WO2018049594A1 (en) 2016-09-14 2018-03-22 Mediatek Inc. Methods of encoder decision for quad-tree plus binary tree structure
US11095892B2 (en) 2016-09-20 2021-08-17 Kt Corporation Method and apparatus for processing video signal
US10631002B2 (en) 2016-09-30 2020-04-21 Qualcomm Incorporated Frame rate up-conversion coding mode
EP3520402A4 (en) 2016-10-03 2019-09-18 Sharp Kabushiki Kaisha SYSTEMS AND METHOD FOR APPLYING DEFLECTION FILTERS IN RECONSTRUCTED VIDEO DATA
EP3301919A1 (en) * 2016-10-03 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding motion information
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
JP2019535202A (ja) * 2016-10-06 2019-12-05 エルジー エレクトロニクス インコーポレイティド インター予測モードベースの画像処理方法及びそのための装置
US20190273943A1 (en) 2016-10-10 2019-09-05 Sharp Kabushiki Kaisha Systems and methods for performing motion compensation for coding of video data
US10750190B2 (en) 2016-10-11 2020-08-18 Lg Electronics Inc. Video decoding method and device in video coding system
US10880546B2 (en) 2016-10-11 2020-12-29 Lg Electronics Inc. Method and apparatus for deriving intra prediction mode for chroma component
US20180109810A1 (en) 2016-10-17 2018-04-19 Mediatek Inc. Method and Apparatus for Reference Picture Generation and Management in 3D Video Compression
WO2018097692A2 (ko) 2016-11-28 2018-05-31 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
JP7044778B2 (ja) * 2016-11-28 2022-03-30 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 画像復号方法、画像符号化方法、及び非一時的なコンピュータ可読記録媒体
WO2018110203A1 (ja) 2016-12-16 2018-06-21 シャープ株式会社 動画像復号装置、および動画像符号化装置
US10750203B2 (en) 2016-12-22 2020-08-18 Mediatek Inc. Method and apparatus of adaptive bi-prediction for video coding
CN110140355B (zh) 2016-12-27 2022-03-08 联发科技股份有限公司 用于视频编解码的双向模板运动向量微调的方法及装置
US10681370B2 (en) 2016-12-29 2020-06-09 Qualcomm Incorporated Motion vector generation for affine motion model for video coding
US20190335170A1 (en) 2017-01-03 2019-10-31 Lg Electronics Inc. Method and apparatus for processing video signal by means of affine prediction
US10873744B2 (en) 2017-01-03 2020-12-22 Lg Electronics Inc. Method and device for processing video signal by means of affine prediction
US10931969B2 (en) 2017-01-04 2021-02-23 Qualcomm Incorporated Motion vector reconstructions for bi-directional optical flow (BIO)
US20180199057A1 (en) 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
US10701366B2 (en) 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
US10523964B2 (en) 2017-03-13 2019-12-31 Qualcomm Incorporated Inter prediction refinement based on bi-directional optical flow (BIO)
US10701390B2 (en) 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
KR20180107761A (ko) 2017-03-22 2018-10-02 한국전자통신연구원 참조 블록을 사용하는 예측 방법 및 장치
US10701391B2 (en) * 2017-03-23 2020-06-30 Qualcomm Incorporated Motion vector difference (MVD) prediction
US10440396B2 (en) 2017-03-28 2019-10-08 Qualcomm Incorporated Filter information sharing among color components
US10542264B2 (en) 2017-04-04 2020-01-21 Arris Enterprises Llc Memory reduction implementation for weighted angular prediction
US10873760B2 (en) * 2017-04-07 2020-12-22 Futurewei Technologies, Inc. Motion vector (MV) constraints and transformation constraints in video coding
US20180310017A1 (en) * 2017-04-21 2018-10-25 Mediatek Inc. Sub-prediction unit temporal motion vector prediction (sub-pu tmvp) for video coding
US10805630B2 (en) 2017-04-28 2020-10-13 Qualcomm Incorporated Gradient based matching for motion search and derivation
US20180332298A1 (en) 2017-05-10 2018-11-15 Futurewei Technologies, Inc. Bidirectional Prediction In Video Compression
US11206419B2 (en) 2017-05-17 2021-12-21 Kt Corporation Method and device for video signal processing
US10904565B2 (en) 2017-06-23 2021-01-26 Qualcomm Incorporated Memory-bandwidth-efficient design for bi-directional optical flow (BIO)
CN110870314B (zh) 2017-06-26 2024-04-02 交互数字Vc控股公司 用于运动补偿的多个预测器候选
US11184636B2 (en) * 2017-06-28 2021-11-23 Sharp Kabushiki Kaisha Video encoding device and video decoding device
US10477237B2 (en) 2017-06-28 2019-11-12 Futurewei Technologies, Inc. Decoder side motion vector refinement in video coding
US11172203B2 (en) 2017-08-08 2021-11-09 Mediatek Inc. Intra merge prediction
US10880573B2 (en) 2017-08-15 2020-12-29 Google Llc Dynamic motion vector referencing for video coding
WO2019050115A1 (ko) * 2017-09-05 2019-03-14 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
JP2021005741A (ja) 2017-09-14 2021-01-14 シャープ株式会社 画像符号化装置及び画像復号装置
US10785494B2 (en) 2017-10-11 2020-09-22 Qualcomm Incorporated Low-complexity design for FRUC
CN109963155B (zh) 2017-12-23 2023-06-06 华为技术有限公司 图像块的运动信息的预测方法、装置及编解码器
MX2020007355A (es) 2018-01-16 2020-10-12 Vid Scale Inc Bipredicción compensada en movimiento basada en compensación de iluminación local.
US10757417B2 (en) 2018-01-20 2020-08-25 Qualcomm Incorporated Affine motion compensation in video coding
US10687071B2 (en) 2018-02-05 2020-06-16 Tencent America LLC Method and apparatus for video coding
US11012715B2 (en) 2018-02-08 2021-05-18 Qualcomm Incorporated Intra block copy for video coding
JP7109558B2 (ja) 2018-02-14 2022-07-29 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 適応型補間フィルタ
US20190306502A1 (en) 2018-04-02 2019-10-03 Qualcomm Incorporated System and method for improved adaptive loop filtering
US10708592B2 (en) 2018-04-02 2020-07-07 Qualcomm Incorporated Deblocking filter for video coding and processing
US20190320181A1 (en) 2018-04-17 2019-10-17 Qualcomm Incorporated Generation of motion vector predictors from multiple neighboring blocks in video coding
US10779002B2 (en) 2018-04-17 2020-09-15 Qualcomm Incorporated Limitation of the MVP derivation based on decoder-side motion vector derivation
US20190364295A1 (en) 2018-05-25 2019-11-28 Tencent America LLC Method and apparatus for video coding
US10986340B2 (en) 2018-06-01 2021-04-20 Qualcomm Incorporated Coding adaptive multiple transform information for video coding
US11109025B2 (en) 2018-06-04 2021-08-31 Tencent America LLC Method and apparatus for sub-block based temporal motion vector prediction
GB2588003B (en) 2018-06-05 2023-04-19 Beijing Bytedance Network Tech Co Ltd Interaction between pairwise average merging candidates and IBC
JP7096373B2 (ja) 2018-06-07 2022-07-05 北京字節跳動網絡技術有限公司 部分的コスト計算
US11303923B2 (en) 2018-06-15 2022-04-12 Intel Corporation Affine motion compensation for current picture referencing
WO2019244056A1 (en) 2018-06-19 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Multi-candidates of different precisions
EP3788782A1 (en) 2018-06-21 2021-03-10 Beijing Bytedance Network Technology Co. Ltd. Sub-block mv inheritance between color components
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
TWI731358B (zh) 2018-06-29 2021-06-21 大陸商北京字節跳動網絡技術有限公司 改進的時域運動向量預測推導
TWI719519B (zh) 2018-07-02 2021-02-21 大陸商北京字節跳動網絡技術有限公司 對於dmvr的塊尺寸限制
US11606575B2 (en) 2018-07-10 2023-03-14 Qualcomm Incorporated Multiple history based non-adjacent MVPs for wavefront processing of video coding
US10491902B1 (en) 2018-07-16 2019-11-26 Tencent America LLC Method and apparatus for history-based motion vector prediction
US10440378B1 (en) 2018-07-17 2019-10-08 Tencent America LLC Method and apparatus for history-based motion vector prediction with parallel processing
US10362330B1 (en) 2018-07-30 2019-07-23 Tencent America LLC Combining history-based motion vector prediction and non-adjacent merge prediction
CN116095312A (zh) 2018-08-04 2023-05-09 北京字节跳动网络技术有限公司 视频处理方法、装置和计算机可读介质
US11336914B2 (en) 2018-08-16 2022-05-17 Qualcomm Incorporated History-based candidate list with classification
KR20200030018A (ko) * 2018-09-11 2020-03-19 김기백 인터 예측을 이용한 영상 부호화/복호화 방법 및 장치
TWI827681B (zh) 2018-09-19 2024-01-01 大陸商北京字節跳動網絡技術有限公司 具有自適應運動矢量分辨率的仿射模式的語法重用
US11212550B2 (en) 2018-09-21 2021-12-28 Qualcomm Incorporated History-based motion vector prediction for affine mode
WO2020060376A1 (ko) 2018-09-22 2020-03-26 엘지전자 주식회사 인터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치
KR20230161543A (ko) 2018-09-23 2023-11-27 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 움직임 벡터 해상도를 갖는 움직임 벡터 수정
CN117768651A (zh) 2018-09-24 2024-03-26 北京字节跳动网络技术有限公司 处理视频数据的方法、装置、介质、以及比特流存储方法
US11051034B2 (en) 2018-10-08 2021-06-29 Qualcomm Incorporated History-based motion vector predictor
US11284066B2 (en) 2018-10-10 2022-03-22 Tencent America LLC Method and apparatus for intra block copy in intra-inter blending mode and triangle prediction unit mode
CN112913249B (zh) 2018-10-22 2022-11-08 北京字节跳动网络技术有限公司 广义双向预测索引的简化编解码
CN117880513A (zh) 2018-10-22 2024-04-12 北京字节跳动网络技术有限公司 基于编解码信息的解码器侧运动矢量推导的限制
CN111147855B (zh) 2018-11-02 2024-10-29 北京字节跳动网络技术有限公司 几何分割预测模式与其他工具之间的协调
KR102607097B1 (ko) 2018-11-05 2023-11-29 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 리파인먼트를 이용한 인터 예측을 위한 보간
EP4221226A1 (en) * 2018-11-07 2023-08-02 HFI Innovation Inc. Method and apparatus of encoding or decoding video blocks by current picture referencing coding
CN116886926A (zh) 2018-11-10 2023-10-13 北京字节跳动网络技术有限公司 成对平均候选计算中的取整
CN113170112B (zh) 2018-11-22 2024-05-10 北京字节跳动网络技术有限公司 用于具有几何分割的帧间预测的构建方法
US11032574B2 (en) 2018-12-31 2021-06-08 Tencent America LLC Method and apparatus for video coding
US11115653B2 (en) 2019-02-22 2021-09-07 Mediatek Inc. Intra block copy merge list simplification
CN113748673B (zh) 2019-03-11 2024-07-05 阿里巴巴集团控股有限公司 用于针对合并模式确定预测权重的方法、设备和系统
CN118433426A (zh) 2019-03-12 2024-08-02 腾讯美国有限责任公司 对视频进行编码或解码的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130107958A1 (en) 2011-10-31 2013-05-02 Fujitsu Limited Video decoding apparatus and method
JP2013098745A (ja) 2011-10-31 2013-05-20 Fujitsu Ltd 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
US20200128237A1 (en) 2018-10-22 2020-04-23 Tencent America LLC Method and apparatus for video coding
WO2020086331A1 (en) 2018-10-22 2020-04-30 Tencent America LLC Method and apparatus for video coding

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Benjamin Bross, Jianle Chen, Shan Liu,Versatile Video Coding (Draft 3) [online], JVET-L JVET-L1001-v2,ITU-T インターネット<URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/12_Macao/wg11/JVET-L1001-v2.zip>,2019年10月17日,i-iv, 1-162
Kai Zhang, Li Zhang, Hongbin Liu, Jizheng Xu, Yue Wang, Pengwei Zhao, Dingkun Hong,AHG16: Clean-up on MV Rounding [online], JVET-M JVET-M0265,ITU-T インターネット<URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/13_Marrakech/wg11/JVET-M0265-v2.zip>,2022年07月27日,1-2
Satoshi Shimada, et al.,Non-CE9/Non-CE13: Averaged merge candidate[online], JCTVC-G JCTVC-G195,インターネット<URL:http://phenix.it-sudparis.eu/jct/doc_end_user/documents/7_Geneva/wg11/JCTVC-G196-v2.zip>,2013年11月08日,1-10
Yu-Ling Hsiao, Tzu-Der Chuang, Ching-Yeh Chen, Chih-Wei Hsu, Yu-Wen Huang, Shaw-Min Lei,CE4.4.12: Pairwise average candidates [online], JVET-L JVET-L0090-v2,ITU-T インターネット<URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/12_Macao/wg11/JVET-L0090-v3.zip>,2019年10月17日,1-18

Also Published As

Publication number Publication date
KR20210089155A (ko) 2021-07-15
US20220070489A1 (en) 2022-03-03
JP2022506767A (ja) 2022-01-17
EP3861723A1 (en) 2021-08-11
US20210152846A1 (en) 2021-05-20
EP3861723A4 (en) 2022-04-20
CN112997495A (zh) 2021-06-18
CN116886926A (zh) 2023-10-13
CN112997480A (zh) 2021-06-18
WO2020094150A1 (en) 2020-05-14
CN112997495B (zh) 2024-02-20
WO2020094151A1 (en) 2020-05-14
CN112970262B (zh) 2024-02-20
US11792421B2 (en) 2023-10-17
CN112970262A (zh) 2021-06-15
WO2020094149A1 (en) 2020-05-14
CN112997480B (zh) 2023-08-22
US20240040144A1 (en) 2024-02-01

Similar Documents

Publication Publication Date Title
JP7324841B2 (ja) ビデオ・データ処理方法、装置、記憶媒体及び記憶方法
US11470341B2 (en) Interaction between different DMVD models
JP7572487B2 (ja) 適応動きベクトル解像度による動きベクトルの変更
JP7212150B2 (ja) 適応動きベクトル解像度によるアフィンモードへの構文の使用
CN112913241B (zh) 解码器侧运动矢量推导的限制
CN112868238B (zh) 局部照明补偿和帧间预测编解码之间的并置
US20210227211A1 (en) Temporal gradient calculations in bio
JP2022137099A (ja) ビデオデータを処理する方法、装置、非一時的コンピュータ可読記憶媒体
TWI709332B (zh) 基於更新的運動矢量的運動預測
TWI850252B (zh) 部分交織的預測

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210507

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210507

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230731

R150 Certificate of patent or registration of utility model

Ref document number: 7324841

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150