Nothing Special   »   [go: up one dir, main page]

JP2024026219A - 非線形適応ループフィルタにおけるパラメータの時間的予測 - Google Patents

非線形適応ループフィルタにおけるパラメータの時間的予測 Download PDF

Info

Publication number
JP2024026219A
JP2024026219A JP2023201865A JP2023201865A JP2024026219A JP 2024026219 A JP2024026219 A JP 2024026219A JP 2023201865 A JP2023201865 A JP 2023201865A JP 2023201865 A JP2023201865 A JP 2023201865A JP 2024026219 A JP2024026219 A JP 2024026219A
Authority
JP
Japan
Prior art keywords
filter
parameters
clipping
video block
current video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023201865A
Other languages
English (en)
Inventor
リー ジャン
Li Zhang
カイ ジャン
Kai Zhang
ホンビン リウ
Hongbin Liu
ユエ ワン
Yue Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2024026219A publication Critical patent/JP2024026219A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】非線形適応ループフィルタリングにおける時間的予測に関するデバイス、システムおよび方法を提供する。【解決手段】非線形適応ループフィルタリングにおけるパラメータの時間的予測方法は、現在の映像ブロックに対して、非線形フィルタリング動作の一部であるクリッピング演算の1つ以上のパラメータを構成することと、前記1つ以上のパラメータに基づいて、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換を行うこととを含む。1つ以上のパラメータは、規則に従って符号化される。【選択図】図8A

Description

関連出願の相互参照
パリ条約に基づく適用可能な特許法および/または規則に基づいて、本願は、2019
年4月15日出願の国際特許出願第PCT/CN2019/082626号の優先権およ
び利益を適時に主張することを目的とする。法に基づくすべての目的のために、上記出願
の開示全体は、本明細書の開示の一部として参照により援用される。
この特許明細書は、映像符号化・復号化の技術、デバイスおよびシステムに関する。
映像圧縮の進歩にもかかわらず、デジタル映像は、依然として、インターネット及び他
のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信及
び表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル映像
の使用に対する帯域幅需要は増大し続けることが予測される。
デジタル映像符号化に関し、具体的には、非線形適応ループフィルタリングにおける時
間的予測に関するデバイス、システム、および方法について記載する。記載された方法は
、既存の映像符号化規格(例えば、高効率映像符号化(HEVC))および将来の映像符
号化規格(例えば、汎用映像符号化(VVC))、又はコーデックの両方に適用され得る
1つの代表的な態様において、開示される技術は、視覚メディア処理の方法を提供する
ために使用してもよい。この方法は、現在の映像ブロックに対して、非線形フィルタリン
グ動作の一部であるクリッピング演算の1つ以上のパラメータを構成することと、前記1
つ以上のパラメータに基づいて、前記現在の映像ブロックと前記現在の映像ブロックのビ
ットストリーム表現との間での変換を行うこととを含み、前記1つ以上のパラメータは、
規則に従って符号化される。
別の代表的な態様において、開示される技術は、視覚メディア処理の方法を提供するた
めに使用してもよい。この方法は、現在の映像ブロックの特性に基づいて、非線形フィル
タリング動作の1つ以上のパラメータを判定することと、1つ以上のパラメータに基づい
て、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換を
行うことと、を含む。
さらに別の代表的な態様において、開示される技術は、視覚メディア処理の方法を提供
するために使用してもよい。この方法は、現在の映像ブロックに対して、非線形フィルタ
リング動作の一部であるクリッピング演算の1つ以上のパラメータを構成することと、前
記1つ以上のパラメータに基づいて、前記現在の映像ブロックと前記現在の映像ブロック
のビットストリーム表現との間での変換を行うこととを含み、前記1つ以上のパラメータ
は、前記非線形フィルタリング動作に関連付けられた少なくとも1つのフィルタ係数の値
とは関係なく、前記ビットストリーム表現で提示される。
さらに別の代表的な態様において、開示される技術は、視覚メディア処理の方法を提供
するために使用してもよい。この方法は、現在の映像ブロックに対して、非線形フィルタ
リング動作の一部であるクリッピング演算の1つ以上のパラメータを構成することと、前
記1つ以上のパラメータに基づいて、前記現在の映像ブロックと前記現在の映像ブロック
のビットストリーム表現との間での変換を行うこととを含み、前記現在の映像ブロックは
、i番目のフィルタからのフィルタ係数を継承し、前記クリッピング演算の前記1つ以上
のパラメータの継承に関連付けられた第1の規則は、フィルタ係数の継承に関連付けられ
た第2の規則とは異なる。
さらに別の代表的な態様において、上記方法は、処理装置が実行可能なコードの形式で
実施され、コンピュータ可読プログラム媒体に記憶される。
さらに別の代表的な態様において、映像エンコーダ装置は、本明細書で説明されるよう
な方法を実装してもよい。
さらに別の代表的な態様において、映像デコーダ装置は、本明細書で説明されるような
方法を実装してもよい。
開示される技術の上記および他の態様および特徴は、図面、説明および特許請求の範囲
でより詳細に説明される。
図1は、映像符号化のためのエンコーダブロック図の例を示す。 図2Aは、形状変換に基づく適応ループフィルタ(GALF)フィルタ形状の例を示す。 図2Bは、形状変換に基づく適応ループフィルタ(GALF)フィルタ形状の例を示す。 図2Cは、形状変換に基づく適応ループフィルタ(GALF)フィルタ形状の例を示す。 図3は、GALFエンコーダ決定のためのフローグラフの例を示す。 図4Aは、適応ループフィルタ(ALF)分類のための例示的なサブサンプリングされたラプラシアン計算を示す。 図4Bは、適応ループフィルタ(ALF)分類のための例示的なサブサンプリングされたラプラシアン計算を示す。 図4Cは、適応ループフィルタ(ALF)分類のための例示的なサブサンプリングされたラプラシアン計算を示す。 図4Dは、適応ループフィルタ(ALF)分類のための例示的なサブサンプリングされたラプラシアン計算を示す。 図5は、バイラテラルフィルタに利用される近傍のサンプルの例を示す。 図6は、重み計算に利用される2つのサンプルを含む窓の例を示す。 図7は、走査パターンの例を示す。 図8Aは、非線形適応ループフィルタリングにおけるパラメータの時間的予測のための例示的な方法のフロー図を示す。 図8Bは、非線形適応ループフィルタリングにおけるパラメータの時間的予測のための例示的な方法のフロー図を示す。 図8Cは、非線形適応ループフィルタリングにおけるパラメータの時間的予測のための例示的な方法のフロー図を示す。 図9は、本特許明細書に記載される映像の復号化又は映像の符号化技術を実現するためのハードウェアプラットフォームの一例を示すブロック図である。 図10は、開示された技術を実装することができる例示的な映像処理システムを示すブロック図である。 図11は、映像メディア処理方法の一例を示すフローチャートである。 図12は、映像メディア処理方法の一例を示すフローチャートである。 図13は、映像メディア処理方法の一例を示すフローチャートである。 図14は、映像メディア処理方法の一例を示すフローチャートである。
より高い解像度の映像の需要が増大しているため、近代技術において、映像符号化法お
よび技術は、遍在している。ビデオコーデックは、一般的に、デジタル映像を圧縮又は展
開する電子回路又はソフトウェアを含み、より高い符号化効率を提供するように絶えず改
良されている。ビデオコーデックは、非圧縮映像を圧縮フォーマットに変換する、又はそ
の逆である。映像の品質、映像を表現するために使用されるデータの数(ビットレートで
決まる)、エンコーディングおよびデコーディングアルゴリズムの複雑性、データの損失
およびエラーに対する敏感さ、編集のしやすさ、ランダムアクセス、およびエンドツーエ
ンドの遅延(待ち時間)の間には複雑な関係がある。この圧縮フォーマットは、通常、標
準的な映像圧縮仕様、例えば、高効率映像符号化(HEVC)規格(H.265またはM
PEG-H Part2としても知られている)、完成させるべき汎用映像符号化(VV
C)規格、または他の現在のおよび/または将来の映像符号化基準に準拠する。
映像符号化規格は、主に周知のITU-TおよびISO/IEC規格の開発によって発
展してきた。ITU-TはH.261とH.263を作り、ISO/IECはMPEG-
1とMPEG-4 Visualを作り、両団体はH.262/MPEG-2 Vide
oとH.264/MPEG-4 AVC(Advanced Video Coding
)とH.265/HEVC規格を共同で作った。H.262以来、映像符号化規格は、時
間予測と変換符号化が利用されるハイブリッド映像符号化構造に基づく。HEVCを超え
た将来の映像符号化技術を探索するため、2015年には、VCEGとMPEGが共同で
JVET(Joint Video Exploration Team)を設立した。
それ以来、多くの新しい方法がJVETによって採用され、JEM(Joint Exp
loration Mode)と呼ばれる参照ソフトウェアに組み込まれてきた。201
8年4月には、VCEG(Q6/16)とISO/IEC JTC1 SC29/WG1
1(MPEG)の間にJoint Video Expert Team(JVET)が
発足し、HEVCと比較して50%のビットレート削減を目標にVVC規格の策定に取り
組んでいる。
開示される技術の実施形態は、ランタイム性能を向上させるために、既存の映像符号化
規格(例えば、HEVC、H.265)および将来の規格に適用されてもよい。本明細書
では、説明の可読性を向上させるために章の見出しを使用しており、説明または実施形態
(および/または実装形態)をそれぞれの章のみに限定するものではない。
1 色空間および彩度サブサンプリングの例
色空間はカラーモデル(またはカラーシステム)としても知られ、色の範囲を数字のタ
プル(tuple)として簡単に記述する抽象的な数学モデルであり、一般的に、3また
は4つの値または色成分(例えばRGB)である。基本的には、色空間は座標系とサブ空
間とを精緻化したものである。
映像圧縮の場合、最も頻繁に使用される色空間は、YCbCrおよびRGBである。
YCbCr、Y’CbCr、またはY Pb/Cb Pr/Crは、YCBCRまたは
Y’CBCRとも呼ばれ、映像およびデジタル写真システムのカラー画像パイプラインの
一部として使用される色空間のファミリーである。Y’は輝度成分であり、CBおよびC
Rは青色差および赤色差クロマ成分である。Y’(素数を有する)はYとは区別され、Y
は輝度であり、ガンマ補正されたRGB原色に基づいて光強度が非線形に符号化されるこ
とを意味する。
クロマサブサンプリングは、人間の視覚システムが、輝度よりも色差の方が知覚が低い
ことを利用して、輝度情報よりもクロマ情報の方が解像度が低くなるように実装して画像
を符号化する方法である。
1.1 4:4:4 カラーフォーマット
3つのY’CbCr成分の各々は、同じサンプルレートを有し、従って、クロマサブサ
ンプリングは存在しない。このスキームは、ハイエンドのフィルムスキャナおよび映画の
ポストプロダクションに使用されることがある。
1.2 4:2:2 カラーフォーマット
2つのクロマ成分は、輝度のサンプルレートの半分でサンプリングされ、例えば、水平
クロマ解像度が半分にされる。これにより、視覚的にほとんどまたは全く差がなく、非圧
縮の映像信号の帯域幅を1/3に低減することができる。
1.3 4:2:0 カラーフォーマット
4:2:0では、水平サンプリングは4:1:1に比べて2倍になるが、このスキーム
ではCbおよびCrチャネルを各1行おきのラインでのみサンプリングするので、垂直解
像度は半分になる。従って、データレートは同じである。CbおよびCrはそれぞれ水平
および垂直方向の両方向に2倍にサブサンプリングされる。異なる水平および垂直位置を
有する4:2:0スキームの3つの変形がある。
○ MPEG-2において、CbおよびCrは水平方向に共座している。Cb、Crは
垂直方向の画素間に位置する(格子間に位置する)。
○ JPEG/JFIFにおいて、H.261、およびMPEG-1、Cb、およびC
rは、交互の輝度サンプルの中間の格子間に位置する。
○ 4:2:0 DVにおいて、CbおよびCrは、水平方向に共座している。垂直方
向において、それらは交互に並ぶ線上に共座している。
2 典型的な映像コーデックの符号化フローの例
図1は、3つのインループフィルタリングブロック、すなわち非ブロック化フィルタ(
DF)、サンプル適応オフセット(SAO)およびALFを含むVVCのエンコーダブロ
ック図の例を示す。DF(予め規定されたフィルタを使用する)とは異なり、SAOおよ
びALFは、現在のピクチャのオリジナルサンプルを利用し、オフセットを追加し、且つ
有限インパルス応答(FIR)フィルタを適用することによって、オフセットおよびフィ
ルタ係数を信号通知する符号化側情報とともに、元のサンプルと再構成サンプルとの間の
平均二乗誤差をそれぞれ低減する。ALFは、各ピクチャの最後の処理ステージに位置し
、前のステージで生成されたアーチファクトを捕捉し、修正しようとするツールと見なす
ことができる。
3 JEMにおける形状変換に基づく適応ループフィルタの例
JEMにおいて、ブロックに基づくフィルタ適応を用いた形状変換に基づく適応ループ
フィルタ(GALF)が適用される。輝度成分は、局所勾配の方向および働きに基づいて
、2×2ブロックごとに25個のフィルタのうち1つを選択する。
3.1 フィルタ形状の例
本願において、輝度成分として、最大3つのダイヤモンドフィルタ形状(図2Aに示す
ように、5×5ダイヤモンド、7×7ダイヤモンド、9×9ダイヤモンドのそれぞれにつ
いて図2B、図2Cに示す)を選択することができる。輝度成分に使用されるフィルタ形
状を示すために、ピクチャレベルでインデックスが信号通知される。1つのピクチャにお
けるクロマ成分に対して、5×5ダイヤモンド形状が常に使用される。
3.1.1 ブロック区分
各2×2ブロックを25個のクラスのうちの1つに分類する。分類インデックスCは、そ
の方向性DおよびアクティビティA^の量子化値に基づいて、以下のように導出される。
Figure 2024026219000002
DおよびA^を計算するために、まず、1-Dラプラシアンを使用して、水平、垂直およ
び2つの対角線方向の勾配を計算する。
Figure 2024026219000003
iおよびjは、2×2ブロックの左上のサンプルの座標を表し、R(i,j)は、座標(
i,j)において再構成されたサンプルを示す。
そして、水平方向および垂直方向の勾配のD最大値およびD最小値を以下のように設定す
る。
Figure 2024026219000004
そして、2つの対角線方向の勾配の最大値および最小値は、以下のように設定される。
Figure 2024026219000005
指向性Dの値を導出するために、これらの値を互いに且つ2つの閾値tおよびtと比
較する。
ステップ1. gmax h,v≦t・gmin h,vとgMax d0,d1≦t・g
min d0,d1の両方がTRUEである場合、Dが0に設定される。
ステップ2. gmax h,v/gmin h,v>gMax d0,d1/gmin
d0,d1の場合、ステップ3から続け、あるいは、ステップ4から続ける。
ステップ3. gmax h,v>t・gmin h,vである場合、Dは2に設定され、
あるいは、Dは1に設定される。
ステップ4. gmax d0,d1>t・gmin d0,d1である場合、Dは4に設
定され、あるいは、Dは3に設定される。
アクティビティ値Aは、以下のように計算される。
Figure 2024026219000006
Aをさらに0~4の範囲に量子化し、量子化された値をA^とする。
ピクチャにおける両クロマ成分に対して、分類方法は適用されず、即ち、単一のALF係
数のセットが各クロマ成分に対して適用される。
3.1.2 フィルタ係数の幾何学的変換
各2×2輝度ブロックをフィルタリングする前に、そのブロックに対して計算された勾
配値に基づいて、フィルタ係数f(k,l)に回転または対角線および垂直方向の反転等
の幾何学的変換を施す。これは、これらの変換をフィルタ支持領域内のサンプルに適用す
ることに等しい。その考えは、ALFが適用される異なるブロックを、それらの方向性を
揃えることによって、より類似させることである。
対角線、垂直方向の反転および回転を含む3つの幾何学的変換を紹介する。
Figure 2024026219000007
ここで、Kはフィルタのサイズであり、0≦k,l≦K-1が係数座標であり、位置(
0,0)は左上隅にあり、位置(K-1,K-1)は右下隅にある。この変換は、そのブ
ロックに対して計算された勾配値に基づいて、フィルタ係数f(k,l)に適用される。
変換と4方向の4つの勾配との関係を表1にまとめる。
Figure 2024026219000008
3.1.3 フィルタパラメータの信号通知
JEMにおいて、GALFフィルタパラメータは、第1のCTUのために、すなわち、
スライスヘッダの後且つ第1のCTUのSAOパラメータの前に信号通知される。最大2
5組の輝度フィルタ係数を信号通知することができる。ビットオーバーヘッドを低減する
ために、異なる分類のフィルタ係数をマージすることができる。また、参照ピクチャのG
ALF係数を記憶し、現在のピクチャのGALF係数として再利用することができる。現
在のピクチャは、参照ピクチャのために記憶されたGALF係数を使用し、GALF係数
信号通知を回避することを選択してもよい。この場合、1つの参照ピクチャへのインデッ
クスのみが信号通知され、記憶されている示された参照ピクチャのGALF係数が現在の
ピクチャに継承される。
GALF時間的予測をサポートするために、GALFフィルタセットの候補リストが保
持される。新しいシーケンスを復号化する開始時は、候補リストは空である。1つのピク
チャを復号化した後、対応するフィルタのセットを候補リストに加えてもよい。候補リス
トのサイズが最大許容値(すなわち、現在のJEMでは6)に達すると、新しい1組のフ
ィルタが、最も古いセットを復号化の順序に上書きし、すなわち、先入れ先出し(FIF
O)規則を適用して候補リストを更新する。重複を回避するために、対応するピクチャが
GALF時間的予測を使用しない場合、1つのセットのみをリストに追加することができ
る。時間的スケーラビリティをサポートするために、複数のフィルタセットの候補リスト
があり、各候補リストは1つの時間層に関連付けられる。具体的には、時間層インデック
ス(TempIdx)が割り当てられた各アレイは、TempIdxが小さい、前回復号
化されたピクチャのフィルタセットを構成してもよい。例えば、k番目の配列は、kに等
しいTempIdxに関連付けられるように割り当てられ、それは、TempIdxがk
以下のピクチャからのフィルタセットのみを含む。特定のピクチャを符号化した後、この
ピクチャに関連付けられたフィルタセットを使用して、等しいまたはより高いTempI
dxに関連付けられた配列を更新する。
GALF係数の時間的予測は、信号通知オーバーヘッドを最小限に抑えるために、イン
ター符号化されたフレームに使用される。イントラフレームの場合、時間的予測は利用不
可能であり、各クラスに1組の16個の固定フィルタが割り当てられる。固定フィルタの
使用を示すために、各クラスのためのフラグが信号通知され、必要に応じて、選択された
固定フィルタのインデックスが信号通知される。所与のクラスに対して固定フィルタを選
択した場合でも、このクラスに対して適応フィルタf(k,l)の係数を送信することが
でき、この場合、再構成画像に適用されるフィルタの係数は両方の係数セットの合計とな
る。
輝度成分のフィルタリング処理は、CUレベルで制御することができる。GALFがC
Uの輝度成分に適用されるかどうかを示すために、1つのフラグが信号通知される。クロ
マ成分の場合、GALFが適用されるかどうかは、ピクチャレベルでのみ示す。
3.1.4 フィルタリング処理
デコーダ側において、1つのブロックに対してGALFが有効化されると、このブロッ
ク内の各サンプルR(i,j)がフィルタリングされ、その結果、以下に示すように、サ
ンプル値R’(i,j)が得られる。ここで、Lは、フィルタ長を表し、fm,nは、フ
ィルタ係数を表し、f(k,l)は、復号化されたフィルタ係数を表す。
Figure 2024026219000009
3.1.5 エンコーダ側フィルタパラメータの判定処理
図3には、GALFのための全体的なエンコーダ決定処理が示されている。各CUの輝
度サンプルに対して、エンコーダは、GALFが適用され、かつ適切な信号通知フラグが
スライスヘッダに含まれているか否かを決定する。クロマサンプルの場合、フィルタを適
用する決定は、CUレベルではなくピクチャレベルに基づいて行われる。さらに、ピクチ
ャのためのクロマGALFは、このピクチャのために輝度GALFが有効化されている場
合にのみチェックされる。
4.VCにおける形状変換に基づく適応ループフィルタの例
現在のVVCにおけるGALFの設計は、JEMにおける設計に比べ、以下のような大
きな変化を有している。
1)適応フィルタ形状を除去する。輝度成分に対しては7×7フィルタ形状のみが許可さ
れ、クロマ成分に対しては5×5フィルタ形状のみが許可される。
2)ALFパラメータの時間的予測および固定フィルタからの予測は、両方とも除去され
る。
3)各CTUに対して、ALFが有効化されるかまたは無効化されるかどうかに関わらず
、1ビットのフラグが信号通知される。
4)クラスインデックスの計算は、2×2の代わりに、4×4レベルで行われる。また、
図4A~図4Dに示すように、JVET-L0147で提案されているように、ALF分
類のためのサブサンプリングされたラプラシアン計算方法が利用される。具体的には、1
つのブロック内の各サンプルごとに水平/垂直/45対角線/135度勾配を計算する必
要がない。その代わりに、1:2サブサンプリングが利用される。
VTM4.0において、適応ループフィルタのフィルタリング処理は、以下のように行
う。
Figure 2024026219000010
ここで、サンプルI(x+i,y+j)入力サンプルであり、0(x,y)はフィルタ
リングされた出力サンプル(即ち、フィルタ結果)であり、w(i,j)はフィルタ係数
を表す。実際において、VTM4.0は、固定小数点精度計算のために整数演算を使用し
て実装される。
Figure 2024026219000011
ここで、Lはフィルタ長を表し、w(i,j)は固定小数点精度におけるフィルタ係数
である。
5 JVET-N0242における非線形適応ループフィルタリング(ALF)
5.1 フィルタリングの再形成
式(11)は、符号化効率に影響を及ぼすことなく、以下の式で再定式化することがで
きる。
Figure 2024026219000012
ここで、w(i,j)は、式(11)におけるフィルタ係数と同じである[例外w(0
,0)、式(13)においては1に等しいが、式(11)において、1-Σ(i,j)≠
(0,0)w(i,j)に等しい]。
5.2 修正されたフィルタ
上記(13)のフィルタ式を使用することで、単純なクリッピング関数を使用して、近
傍のサンプル値I(x+i,y+j)が現在のサンプル値I(x,y)のフィルタリング
と異なり過ぎている場合に、その影響を低減することで、非線形性を容易に導入し、AL
Fをより効率的にする。
この提案において、ALFフィルタは、以下のように修正される。
Figure 2024026219000013
ここで、K(d,b)=min(b,max(-b,d))はクリッピング関数であり
、k(i,j)はクリッピングパラメータであり、これは(i,j)フィルタ係数に依存
する。エンコーダは、最適化を行い、最良のk(i,j)を見出す。なお、整数精度で実
装する場合、丸めΣ(i,j)≠(0,0)w(i,j)×K(I(x+i,y+i)-
I(x,y),k(i,j))を用いたシフトが適用される。
JVET-N0242の実装形態において、1つのALFフィルタごとにクリッピング
パラメータk(i,j)を規定し、1つのフィルタ係数ごとに1つのクリッピング値を信
号通知する。これは、1つの輝度フィルタ当たりビットストリームにおいて、最大12個
のクリッピング値を信号通知することができ、クロマフィルタに対しては最大6個のクリ
ッピング値を信号通知することができることを意味する。
信号通知コストおよびエンコーダの複雑性を制限するために、クリッピング値の評価は
、小さなセットの可能な値に限定する。本提案では、INTERおよびINTRAタイル
グループに対して同じ4つの固定値のみを使用する。
局所的な差の分散は、輝度の場合、クロマの場合よりも大きいことが多いので、輝度フ
ィルタおよびクロマフィルタの2つの異なるセットを使用する。各セットに最大サンプル
値(ここでは、10ビットのビット深度の場合、1024)を含め、必要でない場合、ク
リッピングを無効化することができる。
JVET-N0242試験に使用したクリッピング値のセットを表2に示す。4つの値
は、対数ドメインにおいて、輝度についてのサンプル値(10ビットで符号化される)の
全範囲を、およびクロマについての4~1024の範囲をほぼ等分することによって選択
された。
より正確には、クリッピング値の輝度テーブルは、以下の式によって得られた。
Figure 2024026219000014
同様に、クリッピング値のクロマテーブルは、以下の式に従って取得される。
Figure 2024026219000015
Figure 2024026219000016
選択されたクリッピング値は、上記表2のクリッピング値のインデックスに対応するゴ
ロム符号化方式を使用して、「alf_data」構文要素に符号化される。この符号化
方式は、フィルタインデックスの符号化方式と同じである。
5.2.1 構文、意味論
NLALFによって新規に導入された構文変更(以下、太字、イタリック体、下線付き
フォントで示す)は、以下のようになる。
Figure 2024026219000017
Figure 2024026219000018
6 JVET-N0427におけるCTUに基づくALF
VTM4には適応パラメータセット(APS)が採用された。各APSは、1つのセッ
トの信号通知されたALFフィルタを含み、最大32個のAPSがサポートされる。本提
案では、スライスレベルの時間的フィルタを試験する。1つのタイルグループは、APS
からのALF情報を再利用することにより、オーバーヘッドを低減することができる。A
PSは、先入れ先出し(FIFO)バッファとして更新される。
輝度成分のために、ALFが輝度CTBに適用される場合、16個の固定された、5個
の時間的な、または1つの信号通知されたフィルタセット(スライスレベルで信号通知さ
れる)の中からの選択が示される。フィルタセットインデックスのみが信号通知される。
1つのスライスに対して、25個のフィルタからなる1つの新しいセットのみを信号通知
することができる。1つのスライスに対して新しいセットが信号通知された場合、同じス
ライス内のすべての輝度CTBはそのセットを共有する。固定フィルタセットを使用して
新しいスライスレベルフィルタセットを予測することができ、これを輝度CTBの候補フ
ィルタセットとして使用できる。フィルタの数は合計64個である。
クロマ成分の場合、ALFをクロマCTBに適用する時に、1つのスライスに対して新
しいフィルタを信号通知する場合、CTBはこの新しいフィルタを使用し、そうでない場
合、時間スケーラビリティ制約を満たす最も新しい時間的クロマフィルタを適用する。
スライスレベルの時間的フィルタとして、APSは、先入れ先出し(FIFO)バッフ
ァとして更新される。
7 再構成後フィルタ
7.1 拡散フィルタ(DF)
JVET-L0157において、CUのイントラ/インター予測信号は、拡散フィルタ
によってさらに修正することができる拡散フィルタが提案されている。
均一拡散フィルタ
この均一拡散フィルタは、例えば、下記に定義される、hまたはhIVとして与えら
れるような、固定マスクを用いて予測信号を畳み込むことによって実現される。
予測信号そのものの他に、ブロックの左側および上側にある1つの再構成サンプルの行が
、フィルタリングされた信号の入力として使用され、この場合、これらの再構成サンプル
のインターブロックでの使用を回避することができる。
predを、イントラ予測または動き補償予測によって得られた所与のブロックについ
ての予測信号とする。フィルタの境界点を扱うためには、予測信号を予測信号pred
xtに拡大する必要がある。この拡張予測は、次の2つの方法で形成することができる。
中間ステップとして、ブロックの左上にある1行の再構成サンプルを予測信号に加え、
得られた信号を全方向にミラーリングする。或いは、予測信号そのものだけを全方向にミ
ラーリングする。後者の拡張は、インターブロックに使用される。この場合、予測信号そ
のものだけが、拡張予測信号predextのためのインプットを含む。
フィルタhを使用する場合、前述の境界拡張を使用して、予測信号predをh
predで置き換えることが提案される。ここで、フィルタマスクhは、以下のように
与えられる。
Figure 2024026219000019
フィルタhIVを使用する場合、予測信号predをhIV*predで置き換えるこ
とが提案される。ここで、フィルタhIVは、以下のように与えられる。
IV=h*h*h*h
指向性拡散フィルタ
信号適応拡散フィルタの代わりに、固定マスクを有する指向性フィルタ、水平フィルタ
hor、垂直フィルタhverが使用される。より正確には、前の部分のマスクh
対応する均一拡散フィルタリングは、垂直方向にのみ適用されるかまたは水平方向にのみ
適用されるかのいずれかに制限される。予測信号に、以下の固定フィルタマスクを適用す
ることで垂直フィルタを実現する。
Figure 2024026219000020
転置マスクhhor=h Verを使用することによって、水平フィルタを実現する。
7.2 バイラテラルフィルタ(BF)
JVET-L0406にはバイラテラルフィルタが提案されており、変換係数がゼロで
なく、スライス量子化パラメータが17よりも大きい輝度ブロックに常に適用される。従
って、バイラテラルフィルタの使用を信号通知する必要がない。逆変換の直後の復号化さ
れたサンプルに対して、適用された場合、バイラテラルフィルタが行われる。また、符号
化された情報からフィルタパラメータ、即ち重みを明示的に導出する。
このフィルタリング処理は、以下のように定義される。
Figure 2024026219000021
ここで、P0,0は現在のサンプルの強度であり、P’0,0は現在のサンプルの修正
された強度であり、Pk,0およびWはそれぞれk番目の近傍のサンプルの強度および
重みパラメータである。1つの現在のサンプルおよびその4つの近傍のサンプル(即ち、
K=4)の例を図5に示す。
具体的には、k番目の近傍のサンプルに関連付けられた重みW(x)を以下のように
定義する。
(x)=Distance×Range(x). (2)
ここで、以下である。
Figure 2024026219000022
ここで、σは符号化モードおよび符号化ブロックの大きさに依存する。上述したフィ
ルタリング処理は、TUをさらに分割する場合、イントラ符号化ブロックおよびインター
符号化ブロックに適用され、並列処理を可能にする。
映像信号の統計的特性をよりよく捕捉し、フィルタの性能を改善するために、式(2)
に基づく重み関数をσパラメータで調整し、符号化モードおよびブロック分割のパラメ
ータ(最小寸法)に依存するように、表4にする。
Figure 2024026219000023
符号化性能をさらに改善するために、TUが分割されていない場合のインター符号化ブ
ロックの場合、現在のサンプルとその近傍のサンプルの1つとの間の強度差を、現在のサ
ンプルを含む2つの窓と近傍のサンプルとの間の代表的な強度差に置き換える。そのため
、フィルタリング処理の式を以下のように修正する。
Figure 2024026219000024
ここで、Pk,mおよびP0,mは、それぞれPk,0およびP0,0を中心とする窓内のm番目のサンプル値を表す。本提案において、窓のサイズは3×3に設定される。P2,0およびP0,0を2つのウィンドウ含む例を図6に示す。
7.3 アダマール変換ドメインフィルタ(HF)
JVET-K0068において、1D Hadamard変換ドメインにおけるインル
ープフィルタは、再構成後のCUレベルに適用され、乗算不要で実装されている。予め規
定された条件を満たすすべてのCUブロックに対して提案されたフィルタを適用し、符号
化された情報からフィルタパラメータを導出する。
提案されたフィルタリングは、4×4ブロックを除き、且つスライス量子化パラメータ
が17よりも大きい場合、非ゼロ変換係数を有する輝度再構成ブロックに常に適用される
。フィルタパラメータは、符号化された情報から明示的に導出される。逆変換の直後の復
号化されたサンプルに対して、適用された場合、提案されたフィルタリングが行われる。
再構成されたブロック画素からの各画素に対して、画素処理は、以下のステップを含む

○ 走査パターンに従って、現在の画素を含む処理画素の周囲の4つの近傍の画素を走
査する。
○ 読み取り画素の4点のアダマール変換
○ 次式に基づくスペクトルフィルタリング。
Figure 2024026219000025
ここで、(i)はアダマールスペクトルにおけるスペクトル成分のインデックスであり
、R(i)はインデックスに対応する再構成画素のスペクトル成分であり、σは以下の式
を使用してコーデック量子化パラメータQPから導出するフィルタパラメータである。
Figure 2024026219000026
走査パターンの例を図7に示しており、この中でAは現在の画素であり、{B,C,D
}は周囲の画素である。
CU境界にある画素の場合、走査パターンを調整し、すべての必要な画素が現在のCU
内にくるようにする。
8 仮想パイプライニングデータユニット(VPDU)
仮想パイプラインデータユニット(VPDU)は、ピクチャ内の非重複M×M-lum
a(L)/N×N-chroma(C)ユニットとして定義される。ハードウェアデコー
ダにおいて、連続したVPDUは、複数のパイプラインステージで同時に処理され、異な
るステージは異なるVPDUを同時に処理する。VPDUのサイズはほとんどのパイプラ
インステージにおいてバッファサイズにほぼ比例するので、VPDUのサイズを小さくす
ることが非常に重要であると言われている。HEVCハードウェアデコーダにおいて、V
PDUのサイズは、最大変換ブロック(TB)のサイズに設定される。最大TBサイズを
32×32-L/16×16-C(HEVCのように)から64×64-L/32×32
-C(現在のVVCのように)に拡大することは、符号化利得をもたらすことができ、H
EVCに比べ、VPDUサイズ(64×64-L/32×32-C)の4倍となる。しか
し、VVCでは、さらなる符号化利得を得るために、4分木(QT)符号化ユニット(C
U)分割に加えて、3分木(TT)と2分木(BT)が採用されており、TTとBT分割
は128×128-L/64×64-Cの符号化ツリーブロック(CTU)に再帰的に適
用できるため、HEVCと比較してVPDUサイズ(128×128-L/64×64-
C)が16倍になると言われている。
VVCの現在の設計において、VPDUのサイズは、64×64-L/32×32-C
として定義される。
9 既存の実装形態の欠点
JVET-N0242における非線形ALF(NLALF)設計には、以下の問題があ
る。
(1) GALFにおける分類処理は、ALFを適用する前に再構成されたサンプルを
利用する勾配およびラプラシアン活動に依存する。しかしながら、分類結果が不正確であ
る場合がある。例えば、1つのサンプルについて、そのサンプルとその近傍との間の差は
非常に類似している場合があり、一方、別のサンプルについて、そのサンプルと1つの近
傍との間の差は異なり過ぎ、他のすべてのサンプルについて、差が小さ過ぎる場合もある
。これらの2つの場合において、それらを1つのクラスインデックスに分類することがで
き、これらのクラスインデックスは不当である場合がある。
(2) クリッピングパラメータは、フィルタ係数に関連付けられる。しかしながら、
複数のクラスに対して1つのフィルタを利用してフィルタマージ処理を行ってもよい。ま
た、同じクラスインデックスを有する2つのブロック(現在のGALF設計において、0
・・・24)について、フィルタ係数およびクリッピングパラメータは同じである。しか
しながら、2つのブロックは異なる特徴を有してもよく、例えば、異なる幾何学的変換を
選択してもよい。同じクリッピングパラメータを使用することは、最適ではない場合もあ
る。
(3) クリッピングパラメータのインデックスは、非ゼロフィルタ係数ごとに信号伝
達され、このフィルタ係数は、構文解析ステージにおいてフィルタ係数を構築することを
必要とする。このような設計はハードウェア実装には望ましくない。
(4) 時間的予測処理において、1つのブロックは、前回符号化されたフレームから
のフィルタ係数を継承する場合がある。クリッピングパラメータをどのように扱うかを検
討する必要がある。
(5) bを上限とし、-bを下限とし、dをインプットとするクリッピング関数K(
d,b)=min(b,max(-b,d)。上限と下限の等分した大きさの制限は、最
適でない場合もある。
10 非線形ALFにおけるパラメータの時間的予測のための例示的な方法
本開示の技術の実施形態は、既存の実装の欠点を克服し、それにより、より高い符号化
効率を有する映像符号化を提供する。開示される技術に基づいた非線形適応ループフィル
タリングの時間的予測は、既存のおよび将来の映像符号化規格の両方を向上させることが
でき、様々な実装形態のために以下の例で解明される。以下に提供される開示される技術
の例は、一般的な概念を説明するものであり、限定するものと解釈されるべきではない。
一例において、明確に示されていない限り、逆に示されていない限り、これらの例に記載
されている様々な特徴を組み合わせることができる。
これらの例において、1つのフィルタは複数のフィルタ係数に関連付けられてもよい。
1つのフィルタセットは複数のフィルタを表す。なお、i番目のフィルタをFで表し、
その関連付けられたフィルタ係数をFkで表すと、例えば、変数kは、Fに関連付け
られたk番目のフィルタ係数を表し、例えば、図2におけるCkに対応してもよい。
1. 符号化された情報に従って、NLALFパラメータ(例えば、オン/オフ制御フラ
グ、クリッピングパラメータ)を判定することが提案される。
a. NLALFパラメータ(例えば、オン/オフ制御フラグ、クリッピングパラメー
タ)は、符号化モード情報に依存してもよい。
i. 一例において、どのNLALFパラメータを選択するかは、符号化モード、例
えばイントラモードまたは非イントラモードによって判定されてもよい。
ii. 一例において、どのNLALFパラメータを選択するかは、符号化モード、
例えばイントラモードまたはインターモードによって判定されてもよい。
iii. 一例において、どのNLALFパラメータを選択するかは、IBCモード
または非IBCモード等の符号化モードによって判定されてもよい。
b. NLALFパラメータ(例えば、オン/オフ制御フラグ、クリッピングパラメー
タ)は、変換情報に依存してもよい。
i. 一例において、それらは、変換スキップが適用されるかどうかに依存してもよ
い。
c. NLALFパラメータ(例えば、オン/オフ制御フラグ、クリッピングパラメー
タ)は、残差情報に依存してもよい。
i. 一例において、それらは、ブロックが非ゼロ係数を含むかどうかに依存しても
よい。
d. NLALFパラメータ(例えば、オン/オフ制御フラグ、クリッピングパラメー
タ)は、タイルグループのタイプ/ピクチャのタイプに依存してもよい。
e. NLALFパラメータ(例えば、オン/オフ制御フラグ、クリッピングパラメー
タ)は、1つのタイル/タイルグループ/スライスに関連付けられた時間層情報/参照ピ
クチャ情報等に依存してもよい。
i. 一例において、それらは、すべての参照ピクチャが現在のピクチャと比較して
小さなPOC値に関連付けられているかどうかに依存してもよい。
ii. 一例において、それらは、すべての参照ピクチャが現在のピクチャと比較し
て小さなまたは等しいPOC値に関連付けられているかどうかに依存してもよい。
f. 1つのブロックに関連付けられた参照ピクチャ/動き情報に従って、NLALF
パラメータ(例えば、オン/オフ制御フラグ、クリッピングパラメータ)を判定すること
が提案される。
2. 幾何学的変換に従って、NLALFパラメータ(例えば、on/obiff制御フ
ラグ、クリッピングパラメータ)を判定することが提案される。
a. 一例において、2つのM×N個のブロックに対して、それらが(例えば、同じク
ラスインデックスによって)同じフィルタに関連付けられても、関連付けられたNLAL
Fパラメータ(例えば、クリッピングパラメータ)は異なってもよい。
b. 一例において、1つのフィルタ係数の場合、2つ以上のクリッピングパラメータ
の指示が信号通知されてもよい。
i. 一例において、クリッピングパラメータ/またはクリッピングパラメータのイ
ンデックス、またはクリッピングパラメータの他の表現の数は、許容される幾何学的変換
の数に依存してもよい。
ii. 一例において、1つのフィルタパラメータに関連付けられたクリッピングパ
ラメータ/クリッピングパラメータのインデックスの予測符号化が適用されてもよい。
1) 一例において、1つのサンプルまたはブロックのための1つのフィルタのク
リッピングパラメータは、空間的/時間的に隣接するまたは非隣接の近傍のサンプルまた
はブロックのために使用される別のフィルタの別のクリッピングパラメータによって予測
されてもよい。
3. なお、クリッピング関数の上限と下限の大きさは等しくなくてもよいことが提案さ
れる。
a. 一例において、1つのクリッピング関数のための上限および下限の両方の指示が
信号通知されてもよい。
i. さらに、代替的に、上限と下限との間に予測符号化を適用してもよい。
4. 固定長でクリッピングパラメータ(例えばインデックス)の指示を直接符号化する
ことが提案される。
a. 一例において、それらの各々は、Nビットで符号化されてもよい(例えば、Nは
2に設定される)。
i. 一例において、Nは固定されてもよい。
ii. 一例において、Nは、信号通知されてもよい。
iii. 一例において、Nは、QP、ピクチャ次元等のような符号化された情報に
依存してもよい。
b. 代替的に、これらは、最大値Nを有する切り捨て単項法で符号化されてもよい。
i. 一例において、Nは固定されてもよい。
ii. 一例において、Nは、信号通知されてもよい。
iii. 一例において、Nは、QP、ピクチャ次元等のような符号化された情報
に依存してもよい。
c. 代替的に、これらは、指数ゴロム法で符号化されてもよいが、1つのフィルタに
対して/1つのフィルタセットに対して固定次数で符号化されてもよい。
d. 代替的に、これらは、ランレングス符号化で符号化されてもよい。
i. 一例において、各フィルタにおいて、クリッピングパラメータのインデックス
は、まず「run」として符号化され、連続する同じクリッピングパラメータの数は「l
ength」として符号化されてもよい。
ii. 一例において、すべてのフィルタにおけるそれぞれのk番目のフィルタ係数
について、Fに関連付けられたクリッピングパラメータのインデックスは、まず「ru
n」として符号化され、他のフィルタにおける同じクリッピングパラメータの数は「le
ngth」として符号化されてもよい。
e. 一例において、クリッピングパラメータ(例えば、インデックス)の指示の予測
符号化が適用されてもよい。
i. 一例において、1つのフィルタ内のクリッピングパラメータのために、予測符
号化が適用されてもよい。
ii. 一例において、異なるフィルタ間のクリッピングパラメータのために予測符
号化が適用されてもよい。
1) 一例において、1つの色成分に対して異なるフィルタ間でクリッピングパラ
メータのために、予測符号化が適用されてもよい。
2) 一例において、複数の色成分に対して異なるフィルタ間のクリッピングパラ
メータのために、予測符号化が適用されてもよい。
3) 一例において、異なるサンプルまたはブロックに使用されるフィルタのクリ
ッピングパラメータに予測符号化が適用されてもよい。
iii. 一例において、異なるAPSにおいて信号通知されるクリッピングパラメータ
に予測符号化が適用されてもよい。
5. クリッピングパラメータの構文解析とフィルタ係数の構築を切り離すことが提案さ
れる。
a. 一例において、クリッピングパラメータ(例えば、クリッピングパラメータのイ
ンデックス)の構文解析は、フィルタ係数の値から独立している。
b. 一例において、フィルタ係数が0に等しい場合、関連付けられたクリッピングパ
ラメータの指示が依然として信号通知されてもよい。
6. 1つのブロックがi番目のフィルタからフィルタ係数を継承する場合、i番目のフ
ィルタに関連付けられたクリッピングパラメータは継承されなくてもよい。
a. 一例において、1つのブロックについて時間的予測が有効化されている場合、関
連付けられたクリッピングパラメータを直接継承する代わりに、非ローカルALFを使用
するかどうか(クリッピングを適用するかどうか)を信号通知してもよい。
i. 一例において、クリッピングを適用することが判定された場合、関連付けられ
たクリッピングパラメータを継承してもよい。
b. 一例において、フィルタ係数がi番目のフィルタから継承/予測され、クリッピ
ングパラメータがj番目のフィルタから継承/予測されるとすると、iはjに等しくなく
てもよい。
c. 一例において、フィルタ係数がi番目のフィルタから継承/予測され、クリッピ
ングパラメータがj番目のフィルタから継承/予測されるとすると、i番目およびj番目
のフィルタは、異なるフィルタセットに関連付けられてもよい。
i. 一例において、i番目のフィルタは、第1のピクチャ/タイルグループ/タイ
ル/スライスに関連付けられてもよく、また、j番目のフィルタは、第2のピクチャ/タ
イルグループ/タイル/スライスに関連付けられてもよい。
ii. 一例において、iはjに等しくない。代替的に、iはjに等しい。
d. 一例において、フィルタインデックス等の、どのフィルタに関連付けられたクリ
ッピングパラメータの指示が信号通知されてもよい。
e. 一例において、APSインデックス等の、どのフィルタセットに関連付けられた
クリッピングパラメータの指示が信号通知されてもよい。
i. 代替的に、フィルタインデックスは、さらに信号伝達されてもよい。
7. なお、分類処理において、サンプル差を直接使用する代わりに、切り出したサンプ
ル差を利用してもよい。
a. 一例において、勾配計算処理において、クリッピングされたサンプルの差または
クリッピングされた勾配を使用してもよい。
b. 一例において、アクティビティ計算処理において、クリッピングされたサンプル
の差またはクリッピングされた勾配を使用してもよい。
c. 一例において、垂直方向勾配を計算するために以下を使用してもよい。
k,l=|clip1(R(k,l)-R(k,l-1))+clip2(R(k
,l)-R(k,l+1))|
ここで、clip1およびclip2は、2つのクリッピング関数である。
d. 一例において、水平方向勾配を計算するために以下を使用してもよい。
k,l=|clip1(R(k,l)-R(k-l,1))+clip2(R(k
,l)-R(k+l,1))|
ここで、clip1およびclip2は、2つのクリッピング関数である。
8. クリッピング演算を行うかどうかは、フィルタリング処理に使用するサンプルの位
置(例えば、5.2章のI(x+i,y+j))に依存してもよい。
a. 一例において、フィルタサポートにおけるサンプルがCU/PU/TU/ピクチ
ャ/タイル/タイルグループの境界に位置していない場合、クリッピングは無効化されて
もよい。
b. 一例において、フィルタサポートにおけるサンプルがCU/PU/TU/ピクチ
ャ/タイル/タイルグループ/CTU/仮想パイプライニングデータユニット(VPDU
)の境界に位置する場合、クリッピングを適用してもよい。
c. 代替的に、クリップ操作クリッピング演算を行うかどうかは、CU/PU/TU
/ピクチャ/タイル/タイルグループ/CTU/VPDUの境界からのフィルタリング処
理に使用される前記サンプル間の距離(例えば、5.2章のI(x+i,y+j)))に
依存してもよい。
i. 一例において、前記距離は、予め規定されてもよい(例えば、N個の画素)。
ii. 一例において、この距離は、信号通知されてもよい。
9. 適応ループフィルタ処理に使用されるフィルタの形状(別名フィルタサポート)は
、色表現に依存してもよい。
a. 一例において、前記カラーフォーマットが4:4:4である場合、すべての成分
(例えば、Y、Cb、Cr)のための前記フィルタサポートは同じであるべきである。
i. 例えば、前記フィルタ支持体は、図2Bに示すように、7*7菱形である。
ii. 例えば、前記フィルタ支持体は、図2Aに示すように、5*5菱形である。
b. 一例において、前記カラーフォーマットがRGBである場合、すべての成分のた
めの前記サポート領域である。
i. 例えば、前記フィルタ支持体は、図2Bに示すように、7*7菱形である。
ii. 例えば、前記フィルタ支持体は、図2Aに示すように、5*5菱形である。
上述した例は、以下に説明する方法、例えば、方法800、810、および820のコ
ンテキストに含まれてもよく、これらの方法は、映像デコーダまたは映像エンコーダにお
いて実装されてもよい。
図8Aは、例示的な映像処理方法のフローチャートを示す。方法800は、ステップ8
02において、現在の映像ブロックの特徴に基づいて、非線形フィルタリング動作の1つ
以上のパラメータを判定することを含む。
方法800は、ステップ804において、前記1つ以上のパラメータに基づいて、前記
現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との間での変換を
行うことを含む。
いくつかの実施形態において、前記現在の映像ブロックの特徴は、前記現在の映像ブロ
ックの符号化モードである。一例において、前記現在の前記映像ブロックの符号化モード
は、イントラモード、非イントラモード、イントラブロックコピー(IBC)モードまた
は非IBCモードである。
いくつかの実施形態において、前記特徴は変換情報である。一例において、前記変換情
報は、前記現在の映像ブロックに適用されている変換スキップの指示を含む。
いくつかの実施形態において、前記特徴は残差情報である。一例において、前記残差情
報は、前記現在の映像ブロックにおけるゼロ値の係数を含む。
いくつかの実施形態において、前記特徴は、前記現在の映像ブロックを構成する、タイ
ルグループタイプ、タイルグループのピクチャタイプまたはピクチャである。
いくつかの実施形態において、前記特徴は、前記現在の映像ブロックを構成する、タイ
ル、タイルグループ、ピクチャまたはスライスに関連付けられた時間層情報または参照情
報である。
いくつかの実施形態において、前記特徴は前記現在の映像ブロックに関連付けられた参
照ピクチャまたは動き情報である。
いくつかの実施形態において、前記特徴は幾何学的変換である。
いくつかの実施形態において、前記前記パラメータは、オン/オフ制御フラグまたはク
リッピング関数の1つ以上のパラメータを含む。
いくつかの実施形態において、前記クリッピング関数の上限の大きさは前記クリッピン
グ関数の下限の大きさと異なる。一例において、予測符号化は、前記クリッピング関数の
前記上限と前記下限との間に適用される。
図8Bは、例示的な映像処理方法のフローチャートを示す。方法810は、ステップ8
12において、現在の映像ブロックに対して、非線形フィルタリング動作の一部であるク
リッピング演算の1つ以上のパラメータを構成することを含む。
方法810は、ステップ814において、前記1つ以上のパラメータに基づいて、前記
現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との間での変換を
行うことを含む。
いくつかの実施形態において、前記1つ以上のパラメータは、Nビットの固定長で符号
化される。他の実施形態において、前記1つ以上のパラメータは、Nの最大値を有する切
り捨て単項法で符号化される。一例において、Nは固定される。別の例において、Nが信
号通知される。さらに別の例において、Nは、量子化パラメータを備える前記現在の映像
ブロックの符号化された情報、または前記現在の映像ブロックを備えるピクチャの次元に
基づく。
いくつかの実施形態において、前記1つ以上のパラメータは、1つのフィルタまたはフ
ィルタセットに対して固定次数の指数ゴロム法で符号化される。
いくつかの実施形態において、1つ以上のパラメータは、ランレングス符号化で符号化
される。
いくつかの実施形態において、前記1つ以上のパラメータは、少なくとも1つのフィル
タ係数の値とは独立して信号通知される。
いくつかの実施形態において、前記1つ以上のパラメータは、フィルタ係数をさらに含
み、現在の映像ブロックは、i番目のフィルタから前記フィルタ係数を継承し、前記クリ
ッピング関数の前記1つ以上のパラメータは、i番目のフィルタとは異なるj番目のフィ
ルタから継承される。
図8Cは、例示的な映像処理方法のフローチャートを示す。方法820は、ステップ8
22において、クリッピング演算を含む非線形フィルタリング動作を構成することを含む
方法820は、ステップ824において、非線形フィルタリング動作に基づいて、現在
の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換を行うこと
を含む。
いくつかの実施形態において、前記方法820は、クリッピングされたサンプル差また
は前記クリッピング演算により生成された、クリッピングされた勾配を使用する勾配計算
処理を行うステップをさらに含む。他の実施形態において、方法820は、クリッピング
されたサンプル差またはクリッピング演算によって生成されたクリッピングされた勾配を
使用するアクティビティ計算処理を行うステップをさらに含む。ある実施例において、前
記クリッピングされた勾配は、Vk,l=|clip1(R(k,l)-R(k,l-1
))+clip2(R(k,l)-R(k,l+1))|として算出される垂直方向勾配
を含む。別の実施例において、クリッピングされた勾配は、Hk,l=|clip1(R
(k,l)-R(k,l-1))+clip2(R(k,l)-R(k,l+1))|と
して算出される水平方向勾配を含み、ここで、clip1およびclip2は、それぞれ
第1および第2のクリッピング関数である。
いくつかの実施形態において、この変換を行うことは、現在の映像ブロックの1つ以上
のサンプルをフィルタリングすることを含み、この1つ以上のサンプルの位置に基づいて
クリッピング演算を行う。
いくつかの実施形態において、前記1つ以上のサンプルの位置は、符号化ユニット(C
U)、予測ユニット(PU)、変換ユニット(TU)、ピクチャ、タイル、タイルグルー
プ、符号化ツリーユニット(CTU)または仮想パイプライニングデータユニット(VP
DU)の境界である。
いくつかの実施形態において、および方法800、810、820のコンテキストにお
いて、非線形フィルタリング動作に使用されるフィルタの形状は、色表現に基づく。一例
において、この色表現は、4:4:4のカラーフォーマットまたはRGBのカラーフォー
マットを含む。別の例において、このフィルタは菱形フィルタである。
いくつかの実施形態において、および方法800、810、820のコンテキストにお
いて、非線形フィルタリング動作は、非線形適応ループフィルタリング動作である。
11 開示される技術の例示的な実装形態
図9は、映像処理装置900のブロック図である。装置900は、本明細書に記載の方
法の1つ以上を実装するために使用してもよい。装置900は、スマートフォン、タブレ
ット、コンピュータ、IoT(モノのインターネット)受信機等により実施されてもよい
。装置900は、1つ以上の処理装置902と、1つ以上のメモリ904と、映像処理ハ
ードウェア906と、を含んでもよい。1つまたは複数の処理装置902は、本明細書に
記載される1つ以上の方法(方法800、810および820を含むが、これに限定され
ない)を実装するように構成されてもよい。メモリ(複数可)904は、本明細書で説明
される方法および技術を実装するために使用されるデータおよびコードを記憶するために
使用してもよい。映像処理ハードウェア906は、本明細書に記載される技術をハードウ
ェア回路にて実装するために使用してもよい。
いくつかの実施形態において、映像符号化法は、図9を参照して説明したように、ハー
ドウェアプラットフォームに実装される装置を使用して実施してもよい。
図10は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム
1000を示すブロック図である。様々な実装形態は、システム1000のモジュールの
一部又は全部を含んでもよい。システム1000は、映像コンテンツを受信するための入
力ユニット1002を含んでもよい。映像コンテンツは、未加工又は非圧縮フォーマット
、例えば、8又は10ビットのマルチモジュール画素値で受信されてもよく、又は圧縮又
は符号化フォーマットで受信されてもよい。入力ユニット1002は、ネットワークイン
ターフェース、周辺バスインターフェース、又は記憶インターフェースを表してもよい。
ネットワークインターフェースの例は、イーサネット(登録商標)、受動光ネットワーク
(PON)等の有線インターフェース、およびWi-Fi(登録商標)またはセルラーイ
ンターフェース等の無線インターフェースを含む。
システム1000は、本明細書に記載される様々な符号化又は符号化方法を実装するこ
とができる符号化モジュール1004を含んでもよい。符号化モジュール1004は、入
力ユニット1002からの映像の平均ビットレートを符号化モジュール1004の出力に
低減し、映像の符号化表現を生成してもよい。従って、この符号化技術は、映像圧縮また
は映像コード変換技術と呼ばれることがある。符号化モジュール1004の出力は、モジ
ュール1006によって表されるように、記憶されてもよいし、接続された通信を介して
送信されてもよい。入力ユニット1002において受信された、記憶された又は通信され
た映像のビットストリーム(又は符号化)表現は、モジュール1008によって使用され
て、表示インターフェースユニット1010に送信される画素値又は表示可能な映像を生
成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理
は、映像伸張(映像展開)と呼ばれることがある。さらに、特定の映像処理動作を「符号
化」動作又はツールと呼ぶが、符号化ツール又は動作は、エンコーダで使用され、対応す
る復号化ツール又は動作であり符号化の結果を逆にするものは、デコーダによって行われ
ることが理解されよう。
周辺バスインターフェースユニットまたは表示インターフェースユニットの例は、ユニ
バーサルシリアルバス(USB)または高精細マルチメディアインターフェース(HDM
I(登録商標))またはディスプレイポート等を含んでもよい。ストレージインターフェ
ースの例は、シリアルアドバンスドテクノロジーアタッチメント(SATA)、PCI、
IDEインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソ
コン、スマートフォン、又はデジタルデータ処理及び/又は映像表示を実施可能な他のデ
バイス等の様々な電子デバイスに実施されてもよい。
図11は、映像メディア処理方法の一例を示すフローチャートである。このフローチャ
ートのステップは、本願の第10章の実施例4に関連して説明する。ステップ1102に
おいて、処理は、現在の映像ブロックに対して、非線形フィルタリング動作の一部である
クリッピング演算の1つ以上のパラメータを構成する。ステップ1104において、処理
は、1つ以上のパラメータに基づいて、現在の映像ブロックと現在の映像ブロックのビッ
トストリーム表現との間での変換を行い、1つ以上のパラメータは、規則に従って符号化
される。
図12は、映像メディア処理方法の一例を示すフローチャートである。このフローチャ
ートのステップは、本願の第10章の実施例1に関連して説明する。ステップ1202に
おいて、処理は、現在の映像ブロックの特徴に基づいて、非線形フィルタリング動作の1
つ以上のパラメータを判定する。ステップ1204において、処理は、1つ以上のパラメ
ータに基づいて、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との
間での変換を行う。
図13は、映像メディア処理方法の一例を示すフローチャートである。このフローチャ
ートのステップは、本願の第10章の実施例5に関連して説明する。ステップ1302に
おいて、処理は、現在の映像ブロックに対して、非線形フィルタリング動作の一部である
クリッピング演算の1つ以上のパラメータを構成する。ステップ1304において、処理
は、1つ以上のパラメータに基づいて、現在の映像ブロックと現在の映像ブロックのビッ
トストリーム表現との間での変換を行い、1つ以上のパラメータは、非線形フィルタリン
グ動作に関連付けられた少なくとも1つのフィルタ係数の値とは関係なく、前記ビットス
トリーム表現で提示される。
図14は、映像メディア処理方法の一例を示すフローチャートである。このフローチャ
ートのステップは、本願の第10章の実施例6に関連して説明する。ステップ1402に
おいて、処理は、現在の映像ブロックに対して、非線形フィルタリング動作の一部である
クリッピング演算の1つ以上のパラメータを構成する。ステップ1404において、処理
は、1つ以上のパラメータに基づいて、前記現在の映像ブロックと前記現在の映像ブロッ
クのビットストリーム表現との間での変換を行い、前記現在の映像ブロックは、i番目の
フィルタからのフィルタ係数を継承し、前記クリッピング演算の前記1つ以上のパラメー
タの継承に関連付けられた第1の規則は、フィルタ係数の継承に関連付けられた第2の規
則とは異なる。
ここで説明される様々な実施形態を、項目による形式で提示する。
A1. 視覚メディア処理方法であって、
現在の映像ブロックに対して、非線形フィルタリング動作の一部であるクリッピング演
算の1つ以上のパラメータを構成することと、
前記1つ以上のパラメータに基づいて、前記現在の映像ブロックと前記現在の映像ブロ
ックのビットストリーム表現との間での変換を行うことと、を含み、
前記1つ以上のパラメータは、規則に従って符号化される、
方法。
A2. 前記規則は、Nビットの固定長を有する前記1つ以上のパラメータを符号化す
ることを規定する、項目A1に記載の方法。
A3. 前記規則は、Nの最大値に基づいて、切り捨て単項法で前記1つ以上のパラメ
ータを符号化することを規定する、項目A1に記載の方法。
A4. Nが固定である、項目A1~A3のいずれか1つ以上に記載の方法。
A5. Nが前記ビットストリーム表現で信号通知される、項目A1~A3のいずれか
1つ以上に記載の方法。
A6. Nは、量子化パラメータを備える前記現在の映像ブロックの符号化された情報
、または前記現在の映像ブロックを備えるピクチャの次元に基づく、項目A1~A3のい
ずれか1つ以上に記載の方法。
A7. 前記非線形フィルタリング動作は、1つのフィルタに基づいており、前記規則
は、1つのフィルタまたはフィルタセットに対して固定次数の指数ゴロム法を用いて前記
1つ以上のパラメータを符号化することを規定する、項目A1に記載の方法。
A8. 前記規則は、ランレングス符号化方法に基づく前記1つ以上のパラメータを符
号化することを規定する、項目A1に記載の方法。
A9. 前記規則は、ランレングス符号化方法のランが前記パラメータのインデックス
に対応し、前記ランレングス符号化方法の長さが前記1つ以上のパラメータの連続するパ
ラメータの数が同じであることをさらに規定する、項目A5に記載の方法。
A10. 前記規則は、予測符号化に基づく前記1つ以上のパラメータを符号化するこ
とを規定する、項目A1に記載の方法。
A11. 前記予測符号化は、1つのフィルタ内の1つ以上のパラメータに適用される
、項目A10に記載の方法。
A12. 前記予測符号化は、異なるフィルタ間の1つ以上のパラメータに適用される
、項目A10に記載の方法。
A13. 前記予測符号化は、1つの色成分に使用される異なるフィルタ間の1つ以上
のパラメータに適用される、項目A12に記載の方法。
A14. 前記予測符号化は、異なる色成分に使用される異なるフィルタ間の1つ以上
のパラメータに適用される、項目A12に記載の方法。
A15. 前記予測符号化は、前記現在の映像ブロックの異なるサンプルに使用され
る異なるフィルタ間の1つ以上のパラメータに適用される、項目A12に記載の方法。
A16. 前記予測符号化は、異なる映像ブロックに使用される異なるフィルタ間の1
つ以上のパラメータに適用される、項目A12に記載の方法。
A17. 前記1つ以上のパラメータは、異なる適応パラメータセット(APS)にお
けるフィールドとして含まれる、項目A11に記載の方法。
A18. 前記非線形フィルタリング動作は、異なる方向の勾配計算に基づいてフィル
タインデックスを判定することを含む、適応ループフィルタ(ALF)動作である、項目
A1~A17のいずれか1つ以上に記載の方法。
A19. 前記1つ以上のパラメータは、クリッピングインデックスを含む、項目A1
~A17のいずれか1つ以上に記載の方法。
B1. 視覚メディア処理方法であって、
現在の映像ブロックの特徴に基づいて、非線形フィルタリング動作の1つ以上のパラメ
ータを判定することと、
前記1つ以上のパラメータに基づいて、前記現在の映像ブロックと前記現在の映像ブロ
ックのビットストリーム表現との間での変換を行うことと、を含む、
方法。
B2. 前記現在の映像ブロックの特徴は、前記現在の映像ブロックの符号化モードで
ある、項目B1に記載の方法。
B3. 前記現在の前記映像ブロックの符号化モードは、イントラモード、非イントラ
モード、イントラブロックコピー(IBC)モードまたは非IBCモードである、項目B
2に記載の方法。
B4. 前記特徴が変換情報である、項目B1に記載の方法。
B5. 前記変換情報は、前記現在の映像ブロックに適用されている変換スキップの指
示を含む、項目B4に記載の方法。
B6. 前記特徴が残差情報である、項目B1に記載の方法。
B7. 前記残差情報は、前記現在の映像ブロックにおけるゼロ値の係数を含む、項目
B6に記載の方法。
B8. 前記特徴は、前記現在の映像ブロックを構成する、タイルグループタイプ、タ
イルグループのピクチャタイプまたはピクチャである、項目B1に記載の方法。
B9. 前記特徴は、前記現在の映像ブロックを構成する、タイル、タイルグループ、
ピクチャまたはスライスに関連付けられた時間層情報または参照情報である、項目B1に
記載の方法。
B10. 前記特徴は前記現在の映像ブロックに関連付けられた参照ピクチャまたは動
き情報である、項目B1に記載の方法。
B11. 前記特徴が幾何学的変換である、項目B1に記載の方法。
B12. いくつかの実施形態において、前記1つ以上のパラメータは、オン/オフ制
御フラグおよび/またはクリッピング関数のパラメータを含む、項目B1~B11のいず
れか1つ以上に記載の方法。
B13. 前記クリッピング関数の上限の大きさは前記クリッピング関数の下限の大き
さと異なる、項目B12に記載の方法。
B14. 予測符号化は、前記クリッピング関数の前記上限と前記下限との間に適用さ
れる、項目B13に記載の方法。
B15. 前記クリッピング関数の上限および前記クリッピング関数の下限は、前記ビ
ットストリーム表現におけるフィールドとして含まれる、項目B12に記載の方法。
B16. 前記非線形フィルタリング動作は、第1のフィルタおよび第2のフィルタを
使用することを含み、前記第2のフィルタの前記1つ以上のパラメータは、前記第1のフ
ィルタの前記1つ以上のパラメータを使用して予測される、項目B10に記載の方法。
B17. 前記第1のフィルタおよび前記第2のフィルタは、前記現在の映像ブロック
の異なるサンプルセットに適用される、項目B10に記載の方法。
B18. 前記第1のフィルタおよび前記第2のフィルタは、異なる映像ブロックに関
連付けられたサンプルに適用される、項目B10に記載の方法。
B19. 前記非線形フィルタリング動作に使用されるフィルタの形状は、前記現在の
映像ブロックに関連付けられたサンプルの色表現に基づく、項目A1~B18のいずれか
1つ以上に記載の方法。
B20. 前記色表現は、4:4:4カラーフォーマットまたはRGBカラーフォーマ
ットを含む、項目B19に記載の方法。
B21. 前記フィルタは菱形フィルタである、項目B19に記載の方法。
B22. 前記菱形フィルタは、5×5または7×7のサイズである、項目B19に記
載の方法。
B23. 非線形フィルタリング動作が非線形適応ループフィルタリング動作である、
項目B1~B22のいずれか1つ以上に記載の方法。
B24. 前記非線形フィルタリング動作は、異なる方向の勾配計算に基づいてフィル
タインデックスを判定することを含む、適応ループフィルタ(ALF)動作である、項目
B1~B23のいずれか1つ以上に記載の方法。
B25. 前記1つ以上のパラメータは、クリッピングインデックスを含む、項目B1
~B23のいずれか1つ以上に記載の方法。
B26. 変換は、現在の映像ブロックからビットストリーム表現を生成することを含
む、項目A1~B25のいずれかに記載の方法。
B27. 変換は、ビットストリーム表現から現在の映像ブロックの画素値を生成する
ことを含む、項目A1~B25のいずれかに記載の方法。
B28. 項目A1~B25のいずれか1つ以上に記載の方法を実施するように構成さ
れた処理装置を備える映像エンコーダ装置。
B29. 項目A1~B25のいずれか1つ以上に記載の方法を実施するように構成さ
れた処理装置を備える、映像デコーダ装置。
B30. コードが記憶されたコンピュータ可読媒体であって、コードは、項目A1~
B25の1つ以上のいずれかに記載の方法を実施するための処理装置実行可能命令を具現
化する、コンピュータ可読媒体。
C1. 視覚メディア処理方法であって、
現在の映像ブロックに対して、非線形フィルタリング動作の一部であるクリッピング演
算の1つ以上のパラメータを構成することと、
1つ以上のパラメータに基づいて、現在の映像ブロックと現在の映像ブロックのビット
ストリーム表現との間での変換を行うことと、を含み、
1つ以上のパラメータは、非線形フィルタリング動作に関連付けられた少なくとも1つ
のフィルタ係数の値とは関係なく、前記ビットストリーム表現で提示される、
方法。
C2. 前記少なくとも1つのフィルタ係数の値がゼロである場合、前記1つ以上のパ
ラメータが前記ビットストリーム表現で表される、項目C1に記載の方法。
C3. 前記少なくとも1つのフィルタ係数の値にかかわらず、前記1つ以上のパラメ
ータが前記ビットストリーム表現で表される、項目C1~C2のいずれか1つ以上に記載
の方法。
C4. 前記非線形フィルタリング動作は、異なる方向の勾配計算に基づいてフィルタ
インデックスを判定することを含む、適応ループフィルタ(ALF)動作である、項目C
1~C3のいずれか1つ以上に記載の方法。
C5. 前記1つ以上のパラメータは、クリッピングインデックスを含む、項目C1~
C3のいずれか1つ以上に記載の方法。
D1. 視覚メディア処理方法であって、
現在の映像ブロックに対して、非線形フィルタリング動作の一部であるクリッピング演
算の1つ以上のパラメータを構成することと、
1つ以上のパラメータに基づいて、前記現在の映像ブロックと前記現在の映像ブロック
のビットストリーム表現との間での変換を行うことと、を含み、
前記現在の映像ブロックは、i番目のフィルタからのフィルタ係数を継承し、前記クリ
ッピング演算の前記1つ以上のパラメータの継承に関連付けられた第1の規則は、フィル
タ係数の継承に関連付けられた第2の規則とは異なる、
方法。
D2. 前記第1の規則は、i番目のフィルタからのクリッピング演算の前記1つ以上
のパラメータの継承を排除することを規定する、項目D1に記載の方法。
D3. 項目D1に記載の方法であって、
現在の映像ブロックに対して時間的予測が有効化されていることを識別すると、クリッ
ピング演算を適用するかまたは無効化するかを判定することをさらに含む、方法。
D4. 項目D1に記載の方法であって、
現在の映像ブロックに対して時間的予測が有効化されていることを識別すると、クリッ
ピング演算の前記1つ以上のパラメータの継承を適用するか、排除するかを判定すること
をさらに含む、方法。
D5. 前記第1の規則は、j番目のフィルタからのクリッピング演算の前記1つ以上
のパラメータを継承することを規定する、項目D1に記載の方法。
D6. 前記第1の規則は、前記j番目のフィルタからクリッピング演算の前記1つ以
上のパラメータを継承することを規定し、前記j番目のフィルタと前記i番目のフィルタ
とは異なるフィルタセットに関連付けられる、項目D1に記載の方法。
D7. 前記j番目のフィルタおよび前記i番目のフィルタは、異なるピクチャおよび
/またはタイルグループおよび/またはタイルおよび/またはスライスに関連付けられる
、項目D6に記載の方法。
D8. 前記j番目のフィルタと前記i番目のフィルタとが同じである、項目D6に記
載の方法。
D9. 前記j番目のフィルタと前記i番目のフィルタとが異なる、項目D5に記載の
方法。
D10. 前記第1の規則は、前記ビットストリーム表現におけるフィールドとして前
記クリッピング演算の前記1つ以上のパラメータを含むことを規定する、項目D1に記載
の方法。
D11. 前記フィールドは、適応パラメータセット(APS)インデックスを含む、
項目D10に記載の方法。
D12. 前記クリッピング演算は、クリッピングされたサンプル差またはクリッピン
グ勾配を計算することを含む、項目D1~D11のいずれか1つ以上に記載の方法。
D13. 前記クリッピングされた勾配は、
V_(k,l)=|k(k,l)-R(k,l)-R(k,l-1)+clip2(R
(k,l)-R(k,l+1))|以下のように算出される垂直方向勾配を含み、cli
p1およびclip2は、それぞれ第1および第2のクリッピング関数であり、R(i,
j)は、前記現在の映像ブロックのサンプルを示す、項目D12に記載の方法。
D14. 前記クリッピングされた勾配は、
H_(k,l)=|k(k,l)-R(k-1,l)+clip2(R(k,l)-R
(k+1,l))|のように算出される水平方向勾配を含み、clip1およびclip
2は、それぞれ第1および第2のクリッピング関数であり、R(i,j)は、前記現在の
映像ブロックのサンプルを示す、項目D12に記載の方法。
D15. フィルタリング動作に使用したサンプルの位置に基づいて、クリッピング演
算を選択的に有効化するか、または無効化するかを判定すること、を更に含む、項目D1
~D14のいずれか1つ以上に記載の方法。
D16. 前記サンプルが、符号化ユニット、分割ユニット、変換ユニット、ピクチャ
、タイル、またはタイルグループのうちの1つ以上の境界に位置していない場合、クリッ
ピング演算が無効化される、項目D15に記載の方法。
D17. 前記サンプルが、符号化ユニット、分割ユニット、変換ユニット、ピクチャ
、タイル、タイルグループ、符号化ツリーユニット、または仮想パイプライニングデータ
ユニットのうちの1つ以上の境界に位置している場合、クリッピング演算が有効化される
、項目D15に記載の方法。
D18. 前記位置は、前記サンプルと、符号化ユニット、分割ユニット、変換ユニッ
ト、ピクチャ、タイル、タイルグループ、符号化ツリーユニット、または仮想パイプライ
ニングデータユニットのうちの1つ以上の境界との間の距離に関連する、項目D15に記
載の方法。
D19. 前記距離が予め規定されている、項目D18に記載の方法。
D20. 前記距離が前記ビットストリーム表現で信号通知される、項目D18に記載
の方法。
D21. 前記非線形フィルタリング動作に使用されるフィルタの形状は、前記現在の
映像ブロックに関連付けられたサンプルの色表現に基づく、項目D1~D20のいずれか
1つ以上に記載の方法。
D22. 前記色表現は、4:4:4カラーフォーマットまたはRGBカラーフォーマ
ットを含む、項目D21に記載の方法。
D23. 前記フィルタは菱形フィルタである、項目D21に記載の方法。
D24. 前記菱形フィルタのサイズが5×5または7×7である、項目D23に記載
の方法。
D25. 前記非線形フィルタリング動作は、異なる方向の勾配計算に基づいてフィル
タインデックスを判定することを含む、適応ループフィルタリング(ALF)動作である
、項目D1~D24のいずれか1つ以上に記載の方法。
D26. 前記1つ以上のパラメータは、クリッピングインデックスを含む、項目D1
~D24のいずれか1つ以上に記載の方法。
D27. 変換は、現在の映像ブロックからビットストリーム表現を生成することを含
む、項目C1~D26のいずれかに記載の方法。
D28. 変換は、ビットストリーム表現から現在の映像ブロックの画素値を生成する
ことを含む、項目C1~D26のいずれかに記載の方法。
D29. 項目C1~D26のいずれか1つ以上に記載の方法を実施するように構成さ
れた処理装置を備える、映像エンコーダ装置。
D30. 項目C1~D26のいずれか1つ以上に記載の方法を実施するように構成さ
れた処理装置を備える、映像デコーダ装置。
D31. コードが記憶されたコンピュータ可読媒体であって、コードは、項目C1~
D26の1つ以上のいずれかに記載の方法を実施するための処理装置実行可能命令を具現
化する、コンピュータ可読媒体。
本明細書では、「映像処理」、「映像メディア処理」または「映像メディアの処理」と
いう用語は、映像符号化、映像復号化、映像圧縮、または映像展開を指すことができる。
例えば、映像圧縮アルゴリズムは、映像の画素表現から対応するビットストリーム表現へ
の変換、またはその逆の変換中に適用されてもよい。現在の映像ブロックのビットストリ
ーム表現は、例えば、構文によって規定されるように、ビットストリーム内の同じ場所ま
たは異なる場所に拡散されるビットに対応していてもよい。例えば、1つのマクロブロッ
クは、変換および符号化された誤り残差値の観点から、且つビットストリームにおけるヘ
ッダおよび他のフィールドにおけるビットを使用して符号化されてもよい。さらに、変換
中、デコーダは、上記解決策で説明されているように、判定に基づいて、いくつかのフィ
ールドが存在しても存在しなくてもよいという知識を持って、ビットストリームを構文解
析してもよい。同様に、エンコーダは、特定のシンタックスフィールドが含まれるべきで
あるか、または含まれないべきであるかを判定し、構文フィールドを符号化表現に含める
か、または符号化表現から除外することによって、それに応じて符号化表現を生成しても
よい。
以上、説明の目的で本開示の技術の特定の実施形態を説明したが、本発明の範囲から逸
脱することなく様々な修正が可能であることは、理解されるであろう。従って、本開示の
技術は、添付の特許請求の範囲による場合を除き、限定されない。
本特許明細書に記載された主題および機能操作の実装形態は、本明細書に開示された構
造およびその構造的等価物を含め、様々なシステム、デジタル電子回路、またはコンピュ
ータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、または
それらの1つ以上の組み合わせで実施してもよい。本明細書に記載された主題の実装形態
は、1つ以上のコンピュータプログラム製品、すなわち、データ処理装置によって実行さ
れるため、又はデータ処理装置の操作を制御するために、有形で非可搬性のコンピュータ
可読媒体上に符号化されたコンピュータプログラム命令の1つ以上のモジュールとして実
装することができる。このコンピュータ可読媒体は、機械可読記憶装置、機械可読記憶基
板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、又はこれらの1つ以上
の組み合わせであってもよい。「データ処理ユニット」又は「データ処理装置」という用
語は、例えば、プログラマブル処理装置、コンピュータ、又は複数の処理装置若しくはコ
ンピュータを含め、データを処理するためのすべての装置、デバイス、および機械を含む
。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコー
ド、例えば、処理装置ファームウェア、プロトコルスタック、データベース管理システム
、オペレーティングシステム、またはこれらの1つ以上の組み合わせを構成するコードを
含むことができる。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション
、スクリプト、またはコードとも呼ばれる)は、コンパイルされた言語または解釈された
言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタ
ンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジ
ュール、成分、サブルーチン、または他のユニットとして含む任意の形式で展開すること
ができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対
応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの
一部(例えば、マークアップ言語文書に格納された1つ以上のスクリプト)に記録されて
いてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の
調整ファイル(例えば、1つ以上のモジュール、サブプログラム、またはコードの一部を
格納するファイル)に記憶されていてもよい。1つのコンピュータプログラムを、1つの
サイトに位置する1つのコンピュータ、または複数のサイトに分散され通信ネットワーク
によって相互接続される複数のコンピュータで実行させるように展開することも可能であ
る。
本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生
成することによって機能を実行するための1つ以上のコンピュータプログラムを実行する
1つ以上のプログラマブル処理装置によって行うことができる。処理およびロジックフロ
ーはまた、特定用途のロジック回路、例えば、FPGA(フィールドプログラマブルゲー
トアレイ)またはASIC(特定用途向け集積回路)によって行うことができ、装置はま
た、特別目的のロジック回路として実装することができる。
コンピュータプログラムの実行に適した処理装置は、例えば、汎用および専用マイクロ
処理装置の両方、並びに任意の種類のデジタルコンピュータの任意の1つ以上の処理装置
を含む。一般的に、処理装置は、読み出し専用メモリ又はランダムアクセスメモリ又はそ
の両方から命令及びデータを受信する。コンピュータの本質的な要素は、命令を実行する
ためのプロセッサと、命令およびデータを記憶するための1つ以上の記憶装置とである。
一般的に、コンピュータは、データを記憶するための1つ以上の大容量記憶デバイス、例
えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量
記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能
に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要
はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可
読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば
、EPROM、EEPROM、フラッシュメモリデバイス等の半導体メモリデバイスを含
む。処理装置およびメモリは、特定用途のロジック回路によって補完されてもよく、また
は特定用途のロジック回路に組み込まれてもよい。
本明細書は、図面とともに、例示のみを目的とするものであり、例示的とは例を意味す
ることが意図される。本明細書で使用される場合、単数形「a」、「an」および「th
e」は、文脈からそうでないことが明確に示されていない限り、複数形も含むことが意図
される。さらに、文脈からそうでないことが明確に示されていない限り、「または」の使
用は、「および/または」を含むことが意図される。
本特許明細書は多くの詳細を含むが、これらは、任意の発明の範囲又は特許請求の範囲
を限定するものと解釈されるべきではなく、むしろ、特定の発明の特定の実施形態に特有
であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態の文
脈で説明されている特定の特徴は、1つの例において組み合わせて実装してもよい。逆に
、1つの例のコンテキストで説明された様々な特徴は、複数の実施形態において別個にま
たは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み
合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが
、主張された組み合わせからの1つ以上の特徴は、場合によっては、組み合わせから抜粋
されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネ
ーションのバリエーションに向けられてもよい。
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成
するために、このような動作が示された特定の順番でまたは連続した順番で行われること
、または示された全ての動作が行われることを必要とするものと理解されるべきではない
。また、本特許明細書に記載されている例における様々なシステムの構成要素の分離は、
全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。
いくつかの実装形態および例のみが記載されており、この特許文献に記載され図示され
ているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。
関連出願の相互参照
願は、2021年10月6日に提出した日本特許出願2021-539619号に基づくものであり、この日本特許出願は、2020年4月15日出願の国際特許出願PCT/CN2020/084876号に基づくものであり、この国際特許出願は、2019年4月15日出願の国際特許出願第PCT/CN2019/082626号の優先権および利益を主張する。前述の特許出願は全て、参照によりその全体が本明細書に組み込まれる。

Claims (36)

  1. 視覚メディア処理方法であって、
    現在の映像ブロックに対して、非線形フィルタリング動作の一部であるクリッピング演
    算の1つ以上のパラメータを構成することと、
    前記1つ以上のパラメータに基づいて、前記現在の映像ブロックと前記現在の映像ブロ
    ックのビットストリーム表現との間での変換を行うことと、を含み、
    前記1つ以上のパラメータは、前記非線形フィルタリング動作に関連付けられた少なく
    とも1つのフィルタ係数の値とは関係なく、前記ビットストリーム表現で提示される、
    方法。
  2. 前記少なくとも1つのフィルタ係数の値がゼロである場合、前記1つ以上のパラメータ
    が前記ビットストリーム表現で提示される、
    請求項1に記載の方法。
  3. 前記少なくとも1つのフィルタ係数の前記値にかかわらず、前記1つ以上のパラメータ
    が前記ビットストリーム表現で提示される、
    請求項1~2のいずれか1項以上に記載の方法。
  4. 前記非線形フィルタリング動作は、異なる方向の勾配計算に基づいてフィルタインデッ
    クスを判定することを含む、適応ループフィルタ(ALF)動作である、
    請求項1~3のいずれか1項以上に記載の方法。
  5. 前記1つ以上のパラメータは、クリッピングインデックスを含む、
    請求項1~3のいずれか1項以上に記載の方法。
  6. 現在の映像ブロックに対して、非線形フィルタリング動作の一部であるクリッピング演
    算の1つ以上のパラメータを構成することと、
    前記1つ以上のパラメータに基づいて、前記現在の映像ブロックと前記現在の映像ブロ
    ックのビットストリーム表現との間での変換を行うことと、を含み、
    前記現在の映像ブロックは、i番目のフィルタからのフィルタ係数を継承し、
    前記クリッピング演算の前記1つ以上のパラメータの継承に関連付けられた第1の規則
    は、前記フィルタ係数の継承に関連付けられた第2の規則とは異なる、
    視覚メディア処理方法。
  7. 前記第1の規則は、前記i番目のフィルタからの前記クリッピング演算の前記1つ以上
    のパラメータの継承を排除することを規定する、
    請求項6に記載の方法。
  8. 前記現在の映像ブロックに対して時間的予測が有効化されていることを識別すると、前
    記クリッピング演算を適用するかまたは無効化するかを判定すること、をさらに含む、
    請求項6に記載の方法。
  9. 前記現在の映像ブロックに対して時間的予測が有効化されていることを識別すると、前
    記クリッピング演算の前記1つ以上のパラメータの継承を適用するか、または排除するか
    を判定すること、をさらに含む、請求項6に記載の方法。
  10. 前記第1の規則は、j番目のフィルタからの前記クリッピング演算の前記1つ以上のパ
    ラメータを継承することを規定する、
    請求項6に記載の方法。
  11. 前記第1の規則は、前記j番目のフィルタからの前記クリッピング演算の前記1つ以上
    のパラメータを継承することを規定し、
    前記j番目のフィルタおよび前記i番目のフィルタは、異なるフィルタセットに関連付
    けられる、請求項6に記載の方法。
  12. 前記j番目のフィルタおよび前記i番目のフィルタは、異なるピクチャおよび/または
    タイルグループおよび/またはタイルおよび/またはスライスに関連付けられる、
    請求項11に記載の方法。
  13. 前記j番目のフィルタと前記i番目のフィルタとが同じである、
    請求項11に記載の方法。
  14. 前記j番目のフィルタと前記i番目のフィルタとが異なる、
    請求項10に記載の方法。
  15. 前記第1の規則は、前記ビットストリーム表現におけるフィールドとして前記クリッピ
    ング演算の前記1つ以上のパラメータを含むことを規定する、
    請求項6に記載の方法。
  16. 前記フィールドは、適応パラメータセット(APS)インデックスを含む、
    請求項15に記載の方法。
  17. 前記クリッピング演算は、クリッピングされたサンプル差またはクリッピング勾配を計
    算することを含む、
    請求項6~16のいずれか1項以上に記載の方法。
  18. 前記クリッピングされた勾配は、V_(k,l)=|k(k,l)-R(k,l)-R
    (k,l-1)+clip2(R(k,l)-R(k,l+1))|として算出される垂
    直方向勾配を含み、
    clip1およびclip2は、それぞれ第1および第2のクリッピング関数であり、
    R(i,j)は、前記現在の映像ブロックのサンプルを示す、
    請求項17に記載の方法。
  19. 前記クリッピングされた勾配は、H_(k,l)=|clip1(R(k,l)-R(
    k-1,l))+clip2(R(k,l)-R(k+1,l))|として算出される水
    平方向勾配を含み、
    clip1およびclip2は、それぞれ第1および第2のクリッピング関数であり、
    R(i,j)は、前記現在の映像ブロックのサンプルを示す、
    請求項17に記載の方法。
  20. 前記フィルタリング動作に使用したサンプルの位置に基づいて、前記クリッピング演算
    を選択的に有効化するか、または無効化するかを判定すること、をさらに含む、
    請求項6~19のいずれか1項以上に記載の方法。
  21. 前記サンプルが、符号化ユニット、分割ユニット、変換ユニット、ピクチャ、タイル、
    またはタイルグループのうちの1つ以上の境界に位置していない場合、前記クリッピング
    演算が無効化される、
    請求項20に記載の方法。
  22. 前記サンプルが、符号化ユニット、分割ユニット、変換ユニット、ピクチャ、タイル、
    タイルグループ、符号化ツリーユニット、または仮想パイプライニングデータユニットの
    うちの1つ以上の境界に位置している場合、前記クリッピング演算が有効化される、
    請求項20に記載の方法。
  23. 前記位置は、前記サンプルと、符号化ユニット、分割ユニット、変換ユニット、ピクチ
    ャ、タイル、タイルグループ、符号化ツリーユニット、または仮想パイプライニングデー
    タユニットのうちの1つ以上の境界との間の距離に関連する、
    請求項20に記載の方法。
  24. 前記距離は、予め規定されている、
    請求項23に記載の方法。
  25. 前記距離は、前記ビットストリーム表現で信号通知される、
    請求項23に記載の方法。
  26. 前記非線形フィルタリング動作に使用されるフィルタの形状は、前記現在の映像ブロッ
    クに関連付けられたサンプルの色表現に基づく、
    請求項6~25のいずれか1項以上に記載の方法。
  27. 前記色表現は、4:4:4カラーフォーマットまたはRGBカラーフォーマットを含む

    請求項26に記載の方法。
  28. 前記フィルタは、菱形フィルタである、
    請求項26に記載の方法。
  29. 前記菱形フィルタは、サイズが5×5または7×7である、
    請求項28に記載の方法。
  30. 前記非線形フィルタリング動作は、異なる方向の勾配計算に基づいてフィルタインデッ
    クスを判定することを含む、適応ループフィルタリング(ALF)動作である、
    請求項6~29のいずれか1項以上に記載の方法。
  31. 前記1つ以上のパラメータは、クリッピングインデックスを含む、
    請求項6~29のいずれか1項以上に記載の方法。
  32. 前記変換は、前記現在の映像ブロックから前記ビットストリーム表現を生成することを
    含む、
    請求項1~31のいずれかに記載の方法。
  33. 前記変換は、前記ビットストリーム表現から前記現在の映像ブロックの画素値を生成す
    ることを含む、
    請求項1~31のいずれかに記載の方法。
  34. 請求項1~31のいずれか1項以上に記載の方法を実装するように構成された処理装置
    を備える、
    映像エンコーダ装置。
  35. 請求項1~31のいずれか1項以上に記載の方法を実装するように構成された処理装置
    を備える、
    映像デコーダ装置。
  36. コードが記憶されたコンピュータ可読メディアであって、
    前記コードは、請求項1~31のいずれかまたは複数項に記載の方法を実装するための
    処理装置実行可能命令を具現化する、コンピュータ可読媒体。
JP2023201865A 2019-04-15 2023-11-29 非線形適応ループフィルタにおけるパラメータの時間的予測 Pending JP2024026219A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN2019082626 2019-04-15
CNPCT/CN2019/082626 2019-04-15
PCT/CN2020/084876 WO2020211770A1 (en) 2019-04-15 2020-04-15 Temporal prediction of parameters in non-linear adaptive loop filter
JP2021559619A JP7405865B2 (ja) 2019-04-15 2020-04-15 非線形適応ループフィルタにおけるパラメータの時間的予測

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021559619A Division JP7405865B2 (ja) 2019-04-15 2020-04-15 非線形適応ループフィルタにおけるパラメータの時間的予測

Publications (1)

Publication Number Publication Date
JP2024026219A true JP2024026219A (ja) 2024-02-28

Family

ID=72838043

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021559619A Active JP7405865B2 (ja) 2019-04-15 2020-04-15 非線形適応ループフィルタにおけるパラメータの時間的予測
JP2023201865A Pending JP2024026219A (ja) 2019-04-15 2023-11-29 非線形適応ループフィルタにおけるパラメータの時間的予測

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021559619A Active JP7405865B2 (ja) 2019-04-15 2020-04-15 非線形適応ループフィルタにおけるパラメータの時間的予測

Country Status (6)

Country Link
US (4) US11303894B2 (ja)
EP (1) EP3928524A4 (ja)
JP (2) JP7405865B2 (ja)
KR (1) KR102647470B1 (ja)
CN (3) CN115914627A (ja)
WO (2) WO2020211769A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020211769A1 (en) 2019-04-15 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Clipping parameter derivation in adaptive loop filter
US11368684B2 (en) * 2019-04-23 2022-06-21 Qualcomm Incorporated Adaptation parameter sets (APS) for adaptive loop filter (ALF) parameters
JP7319389B2 (ja) * 2019-05-04 2023-08-01 華為技術有限公司 適応ループ・フィルタを用いたエンコーダ、デコーダおよび対応する方法
CN114097228B (zh) 2019-06-04 2023-12-15 北京字节跳动网络技术有限公司 具有几何分割模式编解码的运动候选列表
WO2020244571A1 (en) 2019-06-04 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Motion candidate list construction using neighboring block information
US11418779B2 (en) 2019-06-11 2022-08-16 Qualcomm Incorporated Clipping indices coding for adaptive loop filter in video coding
US11736688B2 (en) * 2019-06-21 2023-08-22 Qualcomm Incorporated Adaptive loop filter signalling
KR102669852B1 (ko) 2019-07-09 2024-05-29 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링을 위한 샘플 결정
CA3146773A1 (en) 2019-07-11 2021-01-14 Beijing Bytedance Network Technology Co., Ltd. Sample padding in adaptive loop filtering
KR20220030995A (ko) 2019-07-14 2022-03-11 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 변환 블록 크기 제한
CN114175637B (zh) 2019-07-15 2024-04-12 北京字节跳动网络技术有限公司 自适应环路滤波中的分类
EP4014497A4 (en) 2019-09-14 2022-11-30 ByteDance Inc. QUANTIZE PARAMETER FOR CHROMINANCE UNBLOCKING FILTERING
WO2021052453A1 (en) 2019-09-18 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Two-part signaling of adaptive loop filters in video coding
WO2021052508A1 (en) 2019-09-22 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Padding process in adaptive loop filtering
CN114450954B (zh) 2019-09-27 2024-06-25 北京字节跳动网络技术有限公司 不同视频单元之间的自适应环路滤波
CN114450959B (zh) 2019-09-28 2024-08-02 北京字节跳动网络技术有限公司 视频编解码中的几何分割模式
CN114651442A (zh) 2019-10-09 2022-06-21 字节跳动有限公司 视频编解码中的跨分量适应性回路滤波
KR20220071203A (ko) 2019-10-10 2022-05-31 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링에서 이용 불가능한 샘플 위치들에서의 패딩 프로세스
KR20220073745A (ko) 2019-10-14 2022-06-03 바이트댄스 아이엔씨 비디오 처리에서 크로마 잔차 및 필터링의 공동 코딩
EP4042692A4 (en) 2019-10-29 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. COMPONENT ADAPTIVE LOOP FILTER
KR20220106116A (ko) 2019-12-09 2022-07-28 바이트댄스 아이엔씨 비디오 코딩에서 양자화 그룹 사용
MX2022006734A (es) 2019-12-11 2022-06-09 Beijing Bytedance Network Tech Co Ltd Relleno de muestra para filtrado de circuito adaptivo de componente cruzado.
CN114902657A (zh) 2019-12-31 2022-08-12 字节跳动有限公司 视频编解码中的自适应颜色变换
EP4173290A4 (en) 2020-06-30 2024-01-10 Beijing Bytedance Network Technology Co., Ltd. BOUNDARY LOCATION FOR ADAPTIVE LOOP FILTERING
US11595644B2 (en) * 2020-10-01 2023-02-28 Tencent America LLC Method and apparatus for offset in video filtering
CN117813823A (zh) * 2021-08-14 2024-04-02 抖音视界有限公司 视频编解码中自适应环路滤波器的改进融合模式

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070058713A1 (en) 2005-09-14 2007-03-15 Microsoft Corporation Arbitrary resolution change downsizing decoder
WO2008047258A2 (en) 2006-10-20 2008-04-24 Nokia Corporation System and method for implementing low-complexity multi-view video coding
JP4772721B2 (ja) * 2007-03-26 2011-09-14 株式会社東芝 画像処理装置及びその方法
CN101999228A (zh) 2007-10-15 2011-03-30 诺基亚公司 针对多视角视频内容的运动跳跃和单环路编码
US8259819B2 (en) * 2009-12-10 2012-09-04 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for improving video quality by utilizing a unified loop filter
JP2011223337A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像処理装置および方法
EP2557792A4 (en) 2010-04-09 2014-08-13 Mitsubishi Electric Corp VIDEO CODING DEVICE AND VIDEO CODING DEVICE
CN102055981B (zh) * 2010-12-31 2013-07-03 北京大学深圳研究生院 用于视频编码器的去块滤波器及其实现方法
BR122021000264B1 (pt) 2011-06-16 2022-02-22 Ge Video Compression, Llc Codificação de entropia das diferenças do vetor de movimento
US20130107973A1 (en) 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
WO2013082460A2 (en) * 2011-12-02 2013-06-06 Helical Robotics, Llc Mobile robot
US9591331B2 (en) * 2012-03-28 2017-03-07 Qualcomm Incorporated Merge signaling and loop filter on/off signaling
US10575021B2 (en) * 2012-07-03 2020-02-25 Telefonaktiebolaget Lm Ericsson (Publ) Controlling deblocking filtering
WO2014186542A1 (en) 2013-05-15 2014-11-20 Vid Scale, Inc. Single loop decoding based inter layer prediction
US20150049821A1 (en) 2013-08-16 2015-02-19 Qualcomm Incorporated In-loop depth map filtering for 3d video coding
CN103491045B (zh) * 2013-09-03 2016-08-24 大唐移动通信设备有限公司 多载波削峰处理方法与装置
KR102170169B1 (ko) 2013-10-14 2020-10-26 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩 및 디코딩을 위한 인트라 블록 카피 예측 모드의 피쳐
JP6383425B2 (ja) * 2014-02-25 2018-08-29 アップル インコーポレイテッドApple Inc. ビデオ符号化及び復号のための適応的伝達関数
EP4087247A1 (en) * 2014-02-26 2022-11-09 Dolby Laboratories Licensing Corp. Luminance based coding tools for video compression
US9948933B2 (en) 2014-03-14 2018-04-17 Qualcomm Incorporated Block adaptive color-space conversion coding
AU2015231883B2 (en) 2014-03-16 2019-05-16 Interdigital Vc Holdings, Inc. Method and apparatus for the signaling of lossless video coding
US10063867B2 (en) 2014-06-18 2018-08-28 Qualcomm Incorporated Signaling HRD parameters for bitstream partitions
US10057574B2 (en) 2015-02-11 2018-08-21 Qualcomm Incorporated Coding tree unit (CTU) level adaptive loop filter (ALF)
WO2017045101A1 (en) 2015-09-14 2017-03-23 Mediatek Singapore Pte. Ltd. Advanced deblocking filter in video coding
MY193174A (en) * 2015-09-25 2022-09-26 Huawei Tech Co Ltd Apparatus and method for video motion compensation
US20190045224A1 (en) * 2016-02-04 2019-02-07 Mediatek Inc. Method and apparatus of non-local adaptive in-loop filters in video coding
US11563938B2 (en) 2016-02-15 2023-01-24 Qualcomm Incorporated Geometric transforms for filters for video coding
WO2017190288A1 (en) 2016-05-04 2017-11-09 Microsoft Technology Licensing, Llc Intra-picture prediction using non-adjacent reference lines of sample values
WO2017192616A1 (en) 2016-05-06 2017-11-09 Vid Scale, Inc. Systems and methods for motion compensated residual prediction
CN109417639B (zh) * 2016-05-13 2021-12-21 交互数字Vc控股公司 利用自适应裁剪的视频编码的方法和设备
US10419755B2 (en) * 2016-05-16 2019-09-17 Qualcomm Incorporated Confusion of multiple filters in adaptive loop filtering in video coding
US20180041778A1 (en) 2016-08-02 2018-02-08 Qualcomm Incorporated Geometry transformation-based adaptive loop filtering
US10694202B2 (en) 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
WO2018123800A1 (ja) 2016-12-27 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US10506230B2 (en) 2017-01-04 2019-12-10 Qualcomm Incorporated Modified adaptive loop filter temporal prediction for temporal scalability support
WO2018135830A1 (ko) * 2017-01-20 2018-07-26 세종대학교 산학협력단 영상 부호화 방법/장치, 영상 복호화 방법/장치 및 비트스트림을 저장한 기록 매체
US10708591B2 (en) * 2017-03-20 2020-07-07 Qualcomm Incorporated Enhanced deblocking filtering design in video coding
US10559079B2 (en) * 2017-05-19 2020-02-11 Uih America, Inc. System and method for image reconstruction
US10778974B2 (en) 2017-07-05 2020-09-15 Qualcomm Incorporated Adaptive loop filter with enhanced classification methods
US20200236381A1 (en) * 2017-09-28 2020-07-23 Sharp Kabushiki Kaisha Value limiting filter apparatus, video coding apparatus, and video decoding apparatus
US11641488B2 (en) 2017-11-01 2023-05-02 Vid Scale, Inc. Methods for simplifying adaptive loop filter in video coding
US10721469B2 (en) 2017-11-28 2020-07-21 Qualcomm Incorporated Line buffer reduction for adaptive loop filtering in video coding
CN118509596A (zh) 2017-12-19 2024-08-16 Vid拓展公司 用于360度视频译码的面不连续性滤波
US20190238845A1 (en) 2018-01-26 2019-08-01 Qualcomm Incorporated Adaptive loop filtering on deblocking filter results in video coding
US20190306502A1 (en) 2018-04-02 2019-10-03 Qualcomm Incorporated System and method for improved adaptive loop filtering
EP3844959A2 (en) 2018-09-16 2021-07-07 Huawei Technologies Co., Ltd. Apparatus and method for filtering in video coding with look-up table selected based on bitstream information
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
JP7256874B2 (ja) * 2019-03-08 2023-04-12 キヤノン株式会社 アダプティブループフィルタ
US20200304785A1 (en) * 2019-03-22 2020-09-24 Qualcomm Incorporated Simplified non-linear adaptive loop filter
US20200314423A1 (en) * 2019-03-25 2020-10-01 Qualcomm Incorporated Fixed filters with non-linear adaptive loop filter in video coding
WO2020200277A1 (en) * 2019-04-02 2020-10-08 Beijing Bytedance Network Technology Co., Ltd. Adaptive loop filtering in video processing
WO2020211769A1 (en) 2019-04-15 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Clipping parameter derivation in adaptive loop filter
WO2021025165A1 (en) 2019-08-08 2021-02-11 Panasonic Intellectual Property Corporation Of America System and method for video coding
US11202068B2 (en) * 2019-09-16 2021-12-14 Mediatek Inc. Method and apparatus of constrained cross-component adaptive loop filtering for video coding
US11115671B2 (en) * 2019-09-18 2021-09-07 Panasonic Intellectual Property Corporation Of America System and method for video coding
US11516469B2 (en) * 2020-03-02 2022-11-29 Tencent America LLC Loop filter block flexible partitioning

Also Published As

Publication number Publication date
US11729382B2 (en) 2023-08-15
EP3928524A1 (en) 2021-12-29
CN113678464A (zh) 2021-11-19
US20220124327A1 (en) 2022-04-21
US11303894B2 (en) 2022-04-12
JP7405865B2 (ja) 2023-12-26
KR20210145748A (ko) 2021-12-02
US20210368171A1 (en) 2021-11-25
CN115914627A (zh) 2023-04-04
US20210377524A1 (en) 2021-12-02
US20230388492A1 (en) 2023-11-30
CN113678464B (zh) 2022-12-02
US11233995B2 (en) 2022-01-25
CN113678462A (zh) 2021-11-19
EP3928524A4 (en) 2022-06-22
WO2020211769A1 (en) 2020-10-22
CN113678462B (zh) 2023-01-10
KR102647470B1 (ko) 2024-03-14
WO2020211770A1 (en) 2020-10-22
JP2022526633A (ja) 2022-05-25

Similar Documents

Publication Publication Date Title
JP7405865B2 (ja) 非線形適応ループフィルタにおけるパラメータの時間的予測
JP7490102B2 (ja) ビデオ処理における非線形適応ループフィルタリング
JP7425241B2 (ja) 双方向オプティカルフローに基づく映像符号化及び復号化
JP7389251B2 (ja) 輝度の差分を用いるクロスコンポーネント適応ループフィルタ
JP2023179557A (ja) 映像符号化のためのon適応ループフィルタリング
JP7568348B2 (ja) イントラモードにおける予測サンプルフィルタリングのための重み付け係数
JP2024020545A (ja) クロス成分適応ループフィルタ
JP7323711B2 (ja) ビデオコーディングにおける適応ループフィルタの二部分シグナリング
CN113728627A (zh) 用于环路内重构的参数的预测
US20240056570A1 (en) Unified Neural Network Filter Model
KR102698094B1 (ko) 크로마 스케일링의 루마 매핑
RU2812618C2 (ru) Нелинейная адаптивная контурная фильтрация при обработке видеоданных

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241001