Nothing Special   »   [go: up one dir, main page]

JP2024019407A - エンコーダ、デコーダ及び対応する方法 - Google Patents

エンコーダ、デコーダ及び対応する方法 Download PDF

Info

Publication number
JP2024019407A
JP2024019407A JP2023199455A JP2023199455A JP2024019407A JP 2024019407 A JP2024019407 A JP 2024019407A JP 2023199455 A JP2023199455 A JP 2023199455A JP 2023199455 A JP2023199455 A JP 2023199455A JP 2024019407 A JP2024019407 A JP 2024019407A
Authority
JP
Japan
Prior art keywords
picture
sub
subpicture
tile
bitstream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023199455A
Other languages
English (en)
Inventor
ワン，イェ‐クォイ
Yekui Wang
チェン，ジァンレェ
Jianle Chen
ヘンドリー，フヌ
Hendry Fnu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2024019407A publication Critical patent/JP2024019407A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Discrete Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】ビデオコーディングメカニズムが開示される。【解決手段】メカニズムは、サブピクチャを含むピクチャを含むビットストリームを受信することを含む。コーディングツリーブロック(CTB)の単位のサブピクチャの幅及びCTBの単位のサブピクチャの高さは、ビットストリームから取得される。サブピクチャのコーディングブロックは、サブピクチャの幅及びサブピクチャの高さに基づいて復号される。サブピクチャのコーディングブロックは、復号ビデオシーケンスの一部として表示するために転送される。【選択図】図５Ｄ

Description

［技術分野］
本開示は、一般的にビデオコーディングに関し、具体的にはビデオコーディングにおいてピクチャのサブピクチャをコーディングすることに関する。
比較的短いビデオですら描写するために必要とされるビデオデータの量は相当になる可能性があり、これは、データがストリーミングされるとき、或いは制限された帯域幅容量を有する通信ネットワークを横切って通信されるとき、困難を生じることがある。したがって、ビデオデータは、一般的に、現代の電気通信ネットワークを横切って通信される前に圧縮される。メモリリソースが制限されることがあるので、ビデオが記憶デバイスに記憶されるとき、ビデオのサイズも問題になる可能性がある。ビデオ圧縮デバイスは、しばしば、伝送又は記憶の前にビデオデータをコーディングするために送信元においてソフトウェア及び/又はハードウェアを使用し、それにより、デジタルビデオ画像を表すのに必要とされるデータの量を減少させる。次いで、圧縮されたデータは、ビデオデータを復号するビデオ解凍デバイスにより宛先において受信される。制限されたネットワークリソース及びより高いビデオ品質の絶えず増加する要求のため、画像品質にほとんど或いは全く犠牲を払わずに圧縮比を改善する改善された圧縮及び解凍技術が望ましい。
実施形態では、本開示は、デコーダにおいて実現される方法を含み、当該方法は、デコーダの受信機により、サブピクチャを含むピクチャを含むビットストリームを受信するステップと、デコーダのプロセッサにより、ビットストリームからコーディングツリーブロック(coding tree block, CTB)の単位のサブピクチャの幅及びCTBの単位のサブピクチャの高さを取得するステップと、プロセッサにより、サブピクチャの幅及びサブピクチャの高さに基づいてサブピクチャのコーディングブロックを復号するステップとを含む。ビデオコーディングシステムは、ピクチャをサブピクチャに区分してもよい。これは、ビデオをコーディングするとき、異なるサブピクチャが異なって扱われることを可能にする。例えば、サブピクチャは別々に抽出されて表示でき、アプリケーションレベルの変更に基づいて独立してサイズ変更できる等である。いくつかの場合、ピクチャをタイルに区分してタイルをサブピクチャに割り当てることにより、サブピクチャが作成されてもよい。いくつかのビデオコーディングシステムは、サブピクチャに含まれるタイルに関してサブピクチャ境界を記述する。しかし、タイル方式は、いくつかのピクチャで使用されなくてもよい。したがって、このような境界記述は、サブピクチャの使用を、タイルを使用するピクチャに制限し得る。本開示は、CTB及び/又はCTUに関してサブピクチャ境界をシグナリングするためのメカニズムを含む。具体的には、サブピクチャの幅及び高さは、CTBの単位でシグナリングできる。また、サブピクチャの左上CTUの位置は、CTBで測定されるようにピクチャの左上CTUからのオフセットとしてシグナリングできる。CTU及びCTBサイズは、所定の値に設定されてもよい。したがって、CTB及びCTUに関してサブピクチャ寸法及び位置をシグナリングすることは、デコーダが表示のためにサブピクチャを位置決めするのに十分な情報を提供する。これは、タイルが使用されないときであっても、サブピクチャが使用されることを可能にする。また、このシグナリングメカニズムは、複雑さを回避し、比較的少数のビットを使用してコーディングできる。したがって、本例は、サブピクチャがタイルと独立して使用されることを可能にすることにより、更なる機能をビデオコーデックに提供する。さらに、本例は、コーディング効率を増加させ、したがって、エンコーダ及び/又はデコーダにおけるプロセッサ、メモリ及び/又はネットワークリソースの使用を低減する。
任意選択で、上記の態様のいずれかにおいて、当該態様の他の実現方式は、プロセッサにより、ビットストリームからCTBの単位のサブピクチャのオフセットを取得するステップと、プロセッサにより、サブピクチャのオフセットに基づいて、ピクチャに対してサブピクチャを位置決めするステップとを更に含むことを提供する。
任意選択で、上記の態様のいずれかにおいて、当該態様の他の実現方式は、サブピクチャのオフセットが、サブピクチャの左上コーディングツリーユニット(coding tree unit, CTU)の垂直位置及びサブピクチャの左上CTUの水平位置として指定されることを提供する。
任意選択で、上記の態様のいずれかにおいて、当該態様の他の実現方式は、サブピクチャのオフセットが、ピクチャの左上CTUとサブピクチャの左上CTUとの間の差として更に指定されることを提供する。
任意選択で、上記の態様のいずれかにおいて、当該態様の他の実現方式は、サブピクチャの左上CTUの垂直位置がsubpic_ctu_top_left_yとしてビットストリームに記憶され、サブピクチャの左上CTUの垂直位置がsubpic_ctu_top_left_xとしてビットストリームに記憶されることを提供する。
任意選択で、上記の態様のいずれかにおいて、当該態様の他の実現方式は、サブピクチャの幅がsubpic_width_minus1としてビットストリームに記憶され、サブピクチャの高さがsubpic_height_minus1としてビットストリームに記憶されることを提供する。
任意選択で、上記の態様のいずれかにおいて、当該態様の他の実現方式は、サブピクチャの幅、高さ及びオフセットが、ビットストリーム内のシーケンスパラメータセット(sequence parameter set, SPS)から取得されることを提供する。
実施形態では、本開示は、エンコーダにおいて実現される方法を含み、当該方法は、エンコーダのプロセッサにより、ピクチャをサブピクチャに区分するステップと、プロセッサにより、サブピクチャの幅及びサブピクチャの高さを決定するステップと、プロセッサにより、CTBの単位でサブピクチャの幅及びサブピクチャの高さをビットストリームに符号化するステップと、プロセッサにより、サブピクチャのコーディングブロックをビットストリームに符号化するステップと、プロセッサに結合されたメモリにより、デコーダに向けて通信するためにビットストリームを記憶するステップとを含む。ビデオコーディングシステムは、ピクチャをサブピクチャに区分してもよい。これは、ビデオをコーディングするとき、異なるサブピクチャが異なって扱われることを可能にする。例えば、サブピクチャは別々に抽出されて表示でき、アプリケーションレベルの変更に基づいて独立してサイズ変更できる等である。いくつかの場合、ピクチャをタイルに区分してタイルをサブピクチャに割り当てることにより、サブピクチャが作成されてもよい。いくつかのビデオコーディングシステムは、サブピクチャに含まれるタイルに関してサブピクチャ境界を記述する。しかし、タイル方式は、いくつかのピクチャで使用されなくてもよい。したがって、このような境界記述は、サブピクチャの使用を、タイルを使用するピクチャに制限し得る。本開示は、CTB及び/又はCTUに関してサブピクチャ境界をシグナリングするためのメカニズムを含む。具体的には、サブピクチャの幅及び高さは、CTBの単位でシグナリングできる。また、サブピクチャの左上CTUの位置は、CTBで測定されるようにピクチャの左上CTUからのオフセットとしてシグナリングできる。CTU及びCTBサイズは、所定の値に設定されてもよい。したがって、CTB及びCTUに関してサブピクチャ寸法及び位置をシグナリングすることは、デコーダが表示のためにサブピクチャを位置決めするのに十分な情報を提供する。これは、タイルが使用されないときであっても、サブピクチャが使用されることを可能にする。また、このシグナリングメカニズムは、複雑さを回避し、比較的少数のビットを使用してコーディングできる。したがって、本例は、サブピクチャがタイルと独立して使用されることを可能にすることにより、更なる機能をビデオコーデックに提供する。さらに、本例は、コーディング効率を増加させ、したがって、エンコーダ及び/又はデコーダにおけるプロセッサ、メモリ及び/又はネットワークリソースの使用を低減する。
任意選択で、上記の態様のいずれかにおいて、当該態様の他の実現方式は、プロセッサにより、CTBの単位でサブピクチャのオフセットを決定するステップと、プロセッサにより、CTBの単位でサブピクチャのオフセットをビットストリームに符号化するステップとを更に含むことを提供する。
任意選択で、上記の態様のいずれかにおいて、当該態様の他の実現方式は、サブピクチャのオフセットが、サブピクチャの左上CTUの垂直位置及びサブピクチャの左上CTUの水平位置として指定されることを提供する。
任意選択で、上記の態様のいずれかにおいて、当該態様の他の実現方式は、サブピクチャのオフセットが、ピクチャの左上CTUとサブピクチャの左上CTUとの間の差として更に指定されることを提供する。
任意選択で、上記の態様のいずれかにおいて、当該態様の他の実現方式は、サブピクチャの左上CTUの垂直位置がsubpic_ctu_top_left_yとしてビットストリームに符号化され、サブピクチャの左上CTUの垂直位置がsubpic_ctu_top_left_xとしてビットストリームに符号化されることを提供する。
任意選択で、上記の態様のいずれかにおいて、当該態様の他の実現方式は、サブピクチャの幅がsubpic_width_minus1としてビットストリームに符号化され、サブピクチャの高さがsubpic_height_minus1としてビットストリームに符号化されることを提供する。
任意選択で、上記の態様のいずれかにおいて、当該態様の他の実現方式は、サブピクチャの幅、高さ及びオフセットが、SPSにおいてビットストリームに符号化されることを提供する。
実施形態では、本開示は、プロセッサと、プロセッサに結合された受信機と、プロセッサに結合されたメモリと、プロセッサに結合された送信機とを含むビデオコーディングデバイスを含み、プロセッサ、受信機、メモリ及び送信機は、上記の態様のいずれかの方法を実行するように構成される。
実施形態では、本開示は、ビデオコーディングデバイスにより使用するためのコンピュータプログラム製品を含む非一時的なコンピュータ読み取り可能媒体を含み、コンピュータプログラム製品は、プロセッサにより実行されたとき、ビデオコーディングデバイスに上記の態様のいずれかの方法を実行させるように、非一時的なコンピュータ読み取り可能媒体に記憶されたコンピュータ実行可能命令を含む。
実施形態では、本開示は、サブピクチャを含むピクチャを含むビットストリームを受信するための受信手段と、ビットストリームからCTBの単位のサブピクチャの幅及びCTBの単位のサブピクチャの高さを取得するための取得手段と、サブピクチャの幅及びサブピクチャの高さに基づいてサブピクチャのコーディングブロックを復号するための復号手段と、復号ビデオシーケンスの一部として表示するために、サブピクチャのコーディングブロックを転送するための転送手段とを含むデコーダを含む。
任意選択で、上記の態様のいずれかにおいて、当該態様の他の実現方式は、デコーダが上記の態様のいずれかの方法を実行するように更に構成されることを提供する。
実施形態では、本開示は、ピクチャをサブピクチャに区分するための区分手段と、サブピクチャの幅及びサブピクチャの高さを決定するための決定手段と、CTBの単位でサブピクチャの幅及びサブピクチャの高さをビットストリームに符号化し、サブピクチャのコーディングブロックをビットストリームに符号化するための符号化手段と、デコーダに向けて通信するためにビットストリームを記憶するための記憶手段とを含むエンコーダを含む。
任意選択で、上記の態様のいずれかにおいて、当該態様の他の実現方式は、エンコーダが上記の態様のいずれかの方法を実行するように更に構成されることを提供する。
明確性の目的で、本開示の範囲内で新たな実施形態を作成するために、上記の実施形態のいずれか1つは、他の上記の実施形態のいずれか1つ以上と組み合わされてもよい。
これら及び他の特徴は、添付の図面及び特許請求の範囲に関連して考慮される以下の詳細な説明からより明確に理解される。
本開示のより完全な理解のために、ここで、添付の図面及び詳細な説明に関連して考慮される以下の簡単な説明に参照が行われ、ここで、同様の参照符号は同様の部分を表す。
ビデオ信号をコーディングする例示的な方法のフローチャートである。 ビデオコーディングのための例示的なコーディング及び復号(コーデック)システムの概略図である。 例示的なビデオエンコーダを示す概略図である。 例示的なビデオデコーダを示す概略図である。 サブピクチャに区分された例示的なピクチャを示す概略図である。 スライスに区分された例示的なサブピクチャを示す概略図である。 タイルに区分された例示的なスライスを示す概略図である。 コーディングツリーユニット(coding tree unit, CTU)に区分された例示的なスライスを示す概略図である。 一方向インター予測の例を示す概略図である。 双方向インター予測の例を示す概略図である。 隣接するコーディングされたブロックからの候補動きベクトルに基づいて現在のブロックをコーディングする例を示す概略図である。 動きベクトルの候補リストを決定するための例示的なパターンを示す概略図である。 例示的なループ内フィルタを示すブロック図である。 ピクチャのサブピクチャを復号することをサポートするためのコーディングツールパラメータを含む例示的なビットストリームを示す概略図である。 例示的なビデオコーディングデバイスの概略図である。 サブピクチャを含むビデオシーケンスをビットストリームに符号化する例示的な方法のフローチャートである。 ビットストリームからサブピクチャを含むビデオシーケンスを復号する例示的な方法のフローチャートである。 ビットストリームにおいてサブピクチャを含む画像のビデオシーケンスをコーディングするための例示的なシステムの概略図である。
まず、1つ以上の実施形態の例示的な実現方式が以下に提供されるが、開示のシステム及び/又は方法は、現在既知であっても存在していても、いずれかの数の技術を使用して実現されてもよいことが理解されるべきである。本開示は、ここに例示及び記載される例示的な設計及び実現方式を含む、以下に示す例示的な実現方式、図面及び技術に決して限定されるべきでなく、添付の特許請求の範囲の範囲内で、これらの均等物の全範囲と共に変更されてもよい。
以下の略称、すなわち、適応ループフィルタ(Adaptive Loop Filter, ALF)、コーディングツリーブロック(Coding Tree Block, CTB)、コーディングツリーユニット(Coding Tree Unit, CTU)、コーディングユニット(Coding Unit, CU)、コーディングされたビデオシーケンス(Coded Video Sequence, CVS)、共同ビデオ作業部会(Joint Video Experts Team, JVET)、動き制約タイルセット(Motion-Constrained Tile Set, MCTS)、最大転送ユニット(Maximum Transfer Unit, MTU)、ネットワーク抽象化レイヤ(Network Abstraction Layer, NAL)、ピクチャ順序カウント(Picture Order Count, POC)、生バイトシーケンスペイロード(Raw Byte Sequence Payload, RBSP)、サンプル適応オフセット(Sample Adaptive Offset, SAO)、シーケンスパラメータセット(Sequence Parameter Set, SPS)、時間動きベクトル予測(Temporal Motion Vector Prediction, TMVP)、バーサタイルビデオコーディング(Versatile Video Coding, VVC)及びワーキングドラフト(Working Draft, WD)が、ここで使用される。
多くのビデオ圧縮技術が、最小のデータ損失でビデオファイルのサイズを低減するために使用できる。例えば、ビデオ圧縮技術は、ビデオシーケンスにおけるデータ冗長性を低減又は除去するために、空間(例えば、イントラピクチャ)予測及び/又は時間(例えば、インターピクチャ)予測を実行することを含むことができる。ブロックベースのビデオコーディングのために、ビデオスライス(例えば、ビデオピクチャ又はビデオピクチャの一部)は、ビデオブロックに区分されてもよく、これはまた、ツリーブロック、コーディングツリーブロック(coding tree block, CTB)、コーディングツリーユニット(coding tree unit, CTU)、コーディングユニット(coding unit, CU)及び/又はコーディングノードとも呼ばれてもよい。ピクチャのイントラコーディングされる(I)スライス内のビデオブロックは、同じピクチャ内の隣接ブロック内の参照サンプルに関する空間予測を使用してコーディングされる。ピクチャのインターコーディングされる一方向予測(P)又は双方向予測(B)スライス内のビデオブロックは、同じピクチャ内の隣接ブロック内の参照サンプルに関する空間予測、又は他の参照ピクチャ内の参照サンプルに関する時間予測を使用することによりコーディングされてもよい。ピクチャは、フレーム及び/又は画像と呼ばれてもよく、参照ピクチャは、参照フレーム及び/又は参照画像と呼ばれてもよい。空間又は時間予測は、画像ブロックを表す予測ブロックを生じる。残差データは、元の画像ブロックと予測ブロックとの間の画素差を表す。したがって、インターコーディングされるブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コーディングされるブロックと予測ブロックとの間の差を示す残差データとに従って符号化される。イントラコーディングされるブロックは、イントラコーディングモードと残差データとに従って符号化される。更なる圧縮のために、残差データは、画素ドメインから変換ドメインに変換されてもよい。これらは残差変換係数を生じ、これらは量子化されてもよい。量子化された変換係数は、最初に二次元配列に配置されてもよい。量子化された変換係数は、変換係数の一次元ベクトルを生成するためにスキャンされてもよい。エントロピーコーディングは、更に多くの圧縮を達成するために適用されてもよい。このようなビデオ圧縮技術について、以下により詳細に説明する。
符号化されたビデオが正確に復号できることを確保するために、ビデオは、対応するビデオコーディング標準に従って符号化及び復号される。ビデオコーディング標準は、国際電気通信連合(International Telecommunication Union, ITU)標準化部門(ITU Standardization Sector, ITU-T)のH.261、国際標準化機構/国際電気標準会議(International Organization for Standardization/International Electrotechnical Commission, ISO/IEC)の動画像専門家集団(Motion Picture Experts Group, MPEG)-1パート2、ITU-TのH.262又はISO/IECのMPEG-2パート2、ITU-TのH.263、ISO/IECのMPEG-4パート2、ITU-TのH.264又はISO/IECのMPEG-4パート10としても知られる高度ビデオコーディング(Advanced Video Coding, AVC)、及びITU-TのH.265又はMPEG-Hパート2としても知られる高効率ビデオコーディング(High Efficiency Video Coding, HEVC)を含む。AVCは、スケーラブルビデオコーディング(Scalable Video Coding, SVC)、マルチビュービデオコーディング(Multiview Video Coding, MVC)及びマルチビュービデオコーディング・プラス・深度(Multiview Video Coding plus Depth, MVC+D)及び3次元(three dimensional, 3D)AVC(3D-AVC)のような拡張を含む。HEVCは、スケーラブルHEVC(Scalable HEVC, SHVC)、マルチビューHEVC(Multiview HEVC, MV-HEVC)及び3D HEVC(3D-HEVC)のような拡張を含む。ITU-T及びISO/IECの共同ビデオ作業部会(joint video experts team, JVET)は、バーサタイルビデオコーディング(Versatile Video Coding, VVC)と呼ばれるビデオコーディング標準を開発し始めている。VVCはワーキングドラフト(Working Draft, WD)に含まれており、これは、アルゴリズム記述、VVC WDのエンコーダ側記述及び参照ソフトウェアを提供するJVET-M1001-v6を含む。
ビデオ画像をコーディングするために、画像はまず区分され、区分はビットストリームにコーディングされる。様々なピクチャ区分方式が利用可能である。例えば、画像は、通常スライス、従属スライス、タイルに、及び/又は波面並列処理(Wavefront Parallel Processing, WPP)に従って区分できる。簡単のために、HEVCは、ビデオコーディングのためにスライスをCTBのグループに区分するとき、通常スライス、従属スライス、タイル、WPP及びこれらの組み合わせのみが使用できるようにエンコーダを制限する。このような区分は、最大転送ユニット(Maximum Transfer Unit, MTU)サイズのマッチング、並列処理、及び低減したエンドツーエンド遅延をサポートするために適用できる。MTUは、単一パケットで伝送できるデータの最大量を示す。パケットペイロードがMTUを超える場合、そのペイロードはフラグメンテーションと呼ばれるプロセスを通じて2つのパケットに分割される。
単にスライスとも呼ばれる通常スライスは、ループフィルタリング動作のため、いくつかの相互依存性にもかかわらず、同じピクチャ内の他の通常スライスと独立して再現できる画像の区分された部分である。各通常スライスは、伝送のためにそれ自身のネットワーク抽象化レイヤ(Network Abstraction Layer, NAL)ユニットにカプセル化される。さらに、スライス境界を横切るピクチャ内予測(イントラサンプル予測、動き情報予測、コーディングモード予測)及びエントロピーコーディング依存性は、独立した再現をサポートするために無効にされてもよい。このような独立した再現は並列化をサポートする。例えば、通常スライスベースの並列化は、最小のプロセッサ間又はコア間通信を使用する。しかし、各通常スライスは独立しているので、各スライスは個々のスライスヘッダに関連付けられる。通常スライスの使用は、各スライスについてのスライスヘッダのビットコストのため、且つ、スライス境界を横切る予測の欠如のため、実質的なコーディングオーバーヘッドを招く可能性がある。さらに、通常スライスは、MTUサイズ要件のためのマッチングをサポートするために使用されてもよい。具体的には、通常スライスが個々のNALユニットにカプセル化されて独立してコーディングできるので、スライスを複数のパケットに分かれるのを回避するために、各通常スライスはMTU方式におけるMTUよりも小さくなるべきである。したがって、並列化の目標及びMTUサイズのマッチングの目標は、ピクチャ内のスライスレイアウトに矛盾する要求を課すことがある。
従属スライスは通常スライスと同様であるが、短縮されたスライスヘッダを有し、ピクチャ内予測を壊すことなく画像ツリーブロック境界の区分を可能にする。したがって、従属スライスは、通常スライスが複数のNALユニットにフラグメント化されることを可能にし、これは、全体の通常スライスの符号化が完了する前に通常スライスの一部が送出されることを可能にすることにより、低減したエンドツーエンド遅延を提供する。
タイルは、タイルの列及び行を作成する水平及び垂直境界により作成された画像の区分された部分である。タイルは、ラスタスキャン順(右から左及び上から下)にコーディングされてもよい。CTBのスキャン順はタイル内でローカルである。したがって、第1のタイル内のCTBは、次のタイル内のCTBに進む前に、ラスタスキャン順にコーディングされる。通常スライスと同様に、タイルは、ピクチャ内予測依存性及びエントロピー復号依存性を壊す。しかし、タイルは個々のNALユニットに含まれなくてもよく、したがって、タイルはMTUサイズのマッチングに使用されなくてもよい。各タイルは、1つのプロセッサ/コアにより処理される可能性があり、隣接タイルを復号する処理ユニットの間のピクチャ内予測に使用されるプロセッサ間/コア間通信は、(隣接タイルが同じスライス内にあるとき)共有スライスヘッダを伝達し、再現されたサンプル及びメタデータのループフィルタリング関連の共有を実行することに制限され得る。1つよりも多くのタイルがスライスに含まれるとき、スライス内の最初のエントリーポイントオフセット以外の各タイルについてのエントリーポイントバイトオフセットが、スライスヘッダでシグナリングされてもよい。各スライス及びタイルについて、以下の条件、すなわち、1)スライス内の全てのコーディングされたツリーブロックが同じタイルに属すること、及び2)タイル内の全てのコーディングされたツリーブロックが同じスライスに属すること、の少なくとも1つが満たされるべきである。
WPPでは、画像はCTBの単一行に区分される。エントロピー復号及び予測メカニズムは、他の行内のCTBからのデータを使用してもよい。CTB行の並列復号を通じて並列処理が可能になる。例えば、現在の行は、前の行と並列に復号されてもよい。しかし、現在の行の復号は、2つのCTBだけ前の行の復号プロセスから遅延される。この遅延は、現在のCTBがコーディングされる前に、現在の行内の現在のCTBの上のCTB及び右上のCTBに関連するデータが利用可能であることを確保する。この手法は、グラフィックで表されるとき、波面として現れる。このスタガー型開始(staggered start)は、画像がCTB行を含むのと同じ数までのプロセッサ/コアでの並列化を可能にする。ピクチャ内の隣接ツリーブロック行の間のピクチャ内予測が許容されるので、ピクチャ内予測を可能にするためのプロセッサ間/コア間通信は相当になる可能性がある。WPP区分はNALユニットサイズを考慮する。したがって、WPPはMTUサイズのマッチングをサポートしない。しかし、所望の通りMTUサイズのマッチングを実現するために、通常スライスが特定のコーディングオーバーヘッドでWPPに関して使用できる。
タイルはまた、動き制約タイルセットを含んでもよい。動き制約タイルセット(motion constrained tile set, MCTS)は、関連する動きベクトルがMCTS内の全サンプル位置、及び補間のためにMCTS内の全サンプル位置のみを必要とする分数サンプル位置に制約されるように設計されたタイルセットである。さらに、MCTS外のブロックから導出された時間動きベクトル予測のための動きベクトル候補の使用は禁止される。このように、各MCTSは、MCTSに含まれないタイルの存在なしに、独立して復号されてもよい。時間MCTSの補足強化情報(supplemental enhancement information, SEI)メッセージは、ビットストリーム内のMCTSの存在を示し、MCTSをシグナリングするために使用されてもよい。MCTSのSEIメッセージは、MCTSセットについての適合ビットストリームを生成するために、(SEIメッセージのセマンティクスの一部として指定される)MCTSサブビットストリーム抽出で使用できる補足情報を提供する。当該情報は、多数の抽出情報セットを含み、それぞれが多数のMCTSセットを定義し、MCTSサブビットストリーム抽出プロセス中に使用されるべき置換ビデオパラメータセット(video parameter set, VPS)、シーケンスパラメータセット(sequence parameter set, SPS)及びピクチャパラメータセット(picture parameter set, PPS)の生バイトシーケンスペイロード(raw bytes sequence payload, RBSP)バイトを含む。MCTSサブビットストリーム抽出プロセスに従ってサブビットストリームを抽出するとき、パラメータセット(VPS、SPS及びPPS)は書き換えられてもよく或いは置換されてもよく、スライスアドレス関連のシンタックスエレメント(first_slice_segment_in_pic_flag及びslice_segment_addressを含む)の1つ又は全てが抽出されたサブビットストリームにおいて異なる値を使用してもよいので、スライスヘッダは更新されてもよい。
ピクチャはまた、1つ以上のサブピクチャに区分されてもよい。ピクチャをサブピクチャに区分することは、ピクチャの異なる部分がコーディングの観点から異なって扱われることを可能にし得る。例えば、他のサブピクチャを抽出せずに、サブピクチャが抽出されて表示できる。他の例として、異なるサブピクチャは、異なる解像度で表示でき、(例えば、テレビ会議アプリケーションにおいて)互いに相対的に再配置でき、或いは、サブピクチャが共通のピクチャからのデータを併せて含むとしても、別々のピクチャとしてコーディングできる。
サブピクチャの例示的な実現方式は以下の通りである。ピクチャは1つ以上のサブピクチャに区分できる。サブピクチャは、0に等しいアドレスを有するスライス/タイルグループで始まるスライス/タイルグループの長方形又は正方形のセットである。各サブピクチャは、異なるPPSを参照してもよく、したがって、各サブピクチャは、異なる区分メカニズムを使用してもよい。サブピクチャは、復号プロセスにおいてピクチャのように扱われてもよい。現在のサブピクチャを復号するために使用される現在の参照ピクチャは、復号ピクチャバッファ内の参照ピクチャから現在のサブピクチャと同一位置の領域を抽出することにより生成されてもよい。抽出された領域は、復号されたサブピクチャでもよく、したがって、ピクチャ内の同じサイズ及び同じ位置のサブピクチャの間でインター予測が行われてもよい。タイルグループは、サブピクチャのタイルラスタスキャンにおけるタイルのシーケンスでもよい。以下が、ピクチャ内のサブピクチャの位置を決定するために導出されてもよい。各サブピクチャは、ピクチャ境界内のサブピクチャに適合するのに十分大きいピクチャ内のCTUラスタスキャン順における次の非占有位置に含まれてもよい。
様々なビデオコーディングシステムにより使用されるサブピクチャ方式は、コーディング効率及び/又は機能を低減する様々な問題を含む。本開示は、このような問題に対する様々な解決策を含む。第1の例示的な問題では、いくつかのインター予測モードのうち1つに従ってインター予測が実行されてもよい。特定のインター予測モードは、エンコーダ及びデコーダの双方で動きベクトル予測子の候補リストを生成する。これは、エンコーダが全体の動きベクトルをシグナリングする代わりに、候補リストからインデックスをシグナリングすることにより、動きベクトルをシグナリングすることを可能にする。さらに、いくつかのシステムは、独立した抽出のためにサブピクチャを符号化する。これは、現在のサブピクチャが他のサブピクチャからの情報を復号することなく復号されて表示されることを可能にする。これは、サブピクチャ外を指す動きベクトルが使用されるとき、エラーを生じることがある。この理由は、動きベクトルにより指されるデータが復号されないことがあり、したがって、利用可能ではないことがあるからである。
したがって、第1の例では、サブピクチャがピクチャとして扱われるべきであることを示すフラグがここに開示される。このフラグは、サブピクチャの別々の抽出をサポートするように設定される。フラグが設定されたとき、同一位置のブロックから取得された動きベクトル予測子は、サブピクチャ内を指す動きベクトルのみを含む。サブピクチャ外を指すいずれかの動きベクトル予測子は除外される。これは、サブピクチャ外を指す動きベクトルが選択されず、関連するエラーが回避されることを確保する。同一位置のブロックは、現在のピクチャとは異なるピクチャからのブロックである。現在のピクチャ内のブロック(同一位置でないブロック)からの動きベクトル予測子は、補間フィルタのような他のプロセスがこのような動きベクトル予測子についてのエラーを防止し得るので、サブピクチャ外を指してもよい。したがって、本例は、サブピクチャ抽出を実行するときのエラーを防止することにより、更なる機能をビデオエンコーダ/デコーダ(コーデック)に提供する。
第2の例では、サブピクチャがピクチャとして扱われるべきであることを示すフラグがここに開示される。現在のサブピクチャがピクチャのように扱われるとき、現在のサブピクチャは、他のサブピクチャを参照することなく抽出されるべきである。具体的には、本例は、補間フィルタを適用するときに適用されるクリッピング関数を使用する。このクリッピング関数は、別々の抽出をサポートするためのサブピクチャの間の分離を維持するために、補間フィルタが隣接サブピクチャからのデータに依存しないことを確保する。したがって、クリッピング関数は、フラグが設定され、動きベクトルが現在のサブピクチャ外を指すときに適用される。次いで、補間フィルタはクリッピング関数の結果に適用される。したがって、本例は、サブピクチャ抽出を実行するときのエラーを防止することにより、更なる機能をビデオコーデックに提供する。したがって、第1の例及び第2の例は、第1の例示的な問題に対処する。
第2の例示的な問題では、ビデオコーディングシステムは、ピクチャをサブピクチャ、スライス、タイル及び/又はコーディングツリーユニットに区分し、次いで、これらはブロックに区分される。次いで、このようなブロックは、デコーダに向けて伝送するために符号化される。このようなブロックを復号することは、様々なタイプのノイズを含む復号画像を生じることがある。このような問題を修正するために、ビデオコーディングシステムは、ブロック境界を横切って様々なフィルタを適用してもよい。これらのフィルタは、ブロッキング、量子化ノイズ及び他の望ましくないコーディングアーチファクトを除去できる。上記のように、いくつかのシステムは、独立した抽出のためにサブピクチャを符号化する。これは、他のサブピクチャからの情報を復号することなく、現在のサブピクチャが復号されて表示されることを可能にする。このようなシステムでは、サブピクチャは、符号化のためにブロックに区分されてもよい。したがって、サブピクチャエッジに沿ったブロック境界は、サブピクチャ境界と整列してもよい。いくつかの場合、ブロック境界はまた、タイル境界と整列してもよい。フィルタは、このようなブロック境界を横切って適用されてもよく、したがって、サブピクチャ境界及び/又はタイル境界を横切って適用されてもよい。これは、隣接サブピクチャからのデータが利用不可能であるとき、フィルタリングプロセスが予期しない方式で動作することがあるので、現在のサブピクチャが独立して抽出されるときにエラーを引き起こすことがある。
第3の例では、サブピクチャレベルでフィルタリングを制御するフラグがここに開示される。フラグがサブピクチャについて設定されたとき、フィルタは、サブピクチャ境界を横切って適用できる。フラグが設定されていないとき、フィルタは、サブピクチャ境界を横切って適用されない。このように、フィルタは、別々の抽出のために符号化されるサブピクチャについてオフにすることができ、或いは、グループとしての表示のために符号化されるサブピクチャについてオンにすることができる。したがって、本例は、サブピクチャ抽出を実行するときのフィルタ関連のエラーを防止することにより、更なる機能をビデオコーデックに提供する。
第4の例では、タイルレベルでフィルタリングを制御するように設定できるフラグがここに開示される。タイルについてフラグが設定されたとき、フィルタはタイル境界を横切って適用できる。フラグが設定されていないとき、フィルタはタイル境界を横切って適用されない。このように、フィルタは、(例えば、タイルの内部をフィルタリングし続けつつ)タイル境界で使用するためにオフ又はオンにすることができる。したがって、本例は、タイル境界を横切る選択的フィルタリングをサポートすることにより、更なる機能をビデオコーデックに提供する。したがって、第3の例及び第4の例は、第2の例示的な問題に対処する。
第3の例示的な問題では、ビデオコーディングシステムは、ピクチャをサブピクチャに区分してもよい。これは、ビデオをコーディングするとき、異なるサブピクチャが異なって扱われることを可能にする。例えば、サブピクチャは別々に抽出されて表示でき、アプリケーションレベルの変更に基づいて独立してサイズ変更できる等である。いくつかの場合、ピクチャをタイルに区分してタイルをサブピクチャに割り当てることにより、サブピクチャが作成されてもよい。いくつかのビデオコーディングシステムは、サブピクチャに含まれるタイルに関してサブピクチャ境界を記述する。しかし、タイル方式は、いくつかのピクチャで使用されなくてもよい。したがって、このような境界記述は、サブピクチャの使用を、タイルを使用するピクチャに制限し得る。
第5の例では、CTB及び/又はCTUに関してサブピクチャ境界をシグナリングするためのメカニズムがここに開示される。具体的には、サブピクチャの幅及び高さは、CTBの単位でシグナリングできる。また、サブピクチャの左上CTUの位置は、CTBで測定されるようにピクチャの左上CTUからのオフセットとしてシグナリングできる。CTU及びCTBサイズは、所定の値に設定されてもよい。したがって、CTB及びCTUに関してサブピクチャ寸法及び位置をシグナリングすることは、デコーダが表示のためにサブピクチャを位置決めするのに十分な情報を提供する。これは、タイルが使用されないときであっても、サブピクチャが使用されることを可能にする。また、このシグナリングメカニズムは、複雑さを回避し、比較的少数のビットを使用してコーディングできる。したがって、本例は、サブピクチャがタイルと独立して使用されることを可能にすることにより、更なる機能をビデオコーデックに提供する。さらに、本例は、コーディング効率を増加させ、したがって、エンコーダ及び/又はデコーダにおけるプロセッサ、メモリ及び/又はネットワークリソースの使用を低減する。したがって、第5の例は、第3の例示的な問題に対処する。
第4の例示的な問題では、ピクチャは、符号化のために複数のスライスに区分できる。いくつかのビデオコーディングシステムでは、スライスは、ピクチャに対するこれらの位置に基づいてアドレス指定される。更に他のビデオコーディングシステムは、サブピクチャの概念を使用する。上記のように、サブピクチャは、コーディングの観点から、他のサブピクチャと異なって扱われることができる。例えば、サブピクチャは、他のサブピクチャと独立して抽出されて表示できる。このような場合、ピクチャ位置に基づいて生成されるスライスアドレスは、相当の数の想定スライスアドレスが省略されるので、適切に動作しなくなることがある。いくつかのビデオコーディングシステムは、サブピクチャ抽出をサポートするためにスライスアドレスを変更するための要求によってスライスヘッダを動的に書き換えることにより、この問題に対処する。このようなプロセスは、リソース集約的になる可能性がある。この理由は、ユーザがサブピクチャを見ることを要求する毎にこのプロセスが発生し得るからである。
第6の例では、スライスを含むサブピクチャに対してアドレス指定されるスライスがここに開示される。例えば、スライスヘッダは、サブピクチャ識別子(identifier, ID)と、サブピクチャに含まれる各スライスのアドレスとを含んでもよい。さらに、シーケンスパラメータセット(sequence parameter set, SPS)は、サブピクチャIDにより参照され得るサブピクチャの寸法を含んでもよい。したがって、サブピクチャの別々の抽出が要求されるとき、スライスヘッダは書き換えられる必要がない。スライスヘッダ及びSPSは、表示のためにサブピクチャ内のスライスを位置決めすることをサポートするのに十分な情報を含む。したがって、本例は、コーディング効率を増加させ、及び/又はスライスヘッダの冗長な書き換えを回避し、したがって、エンコーダ及び/又はデコーダにおけるプロセッサ、メモリ及び/又はネットワークリソースの使用を低減する。したがって、第6の例は、第4の例示的な問題に対処する。
図１は、ビデオ信号をコーディングする例示的な動作方法100のフローチャートである。具体的には、ビデオ信号はエンコーダにおいて符号化される。符号化プロセスは、ビデオファイルサイズを低減するために様々なメカニズムを使用することによりビデオ信号を圧縮する。より小さいファイルサイズは、圧縮ビデオファイルがユーザに向けて伝送されることを可能にし、一方、関連する帯域幅オーバーヘッドを低減する。次いで、デコーダは、エンドユーザへの表示のために元のビデオ信号を再現するために、圧縮ビデオファイルを復号する。復号プロセスは、一般的に、デコーダがビデオ信号を一貫して再現することを可能にするように符号化プロセスをミラーリングする。
ステップ101において、ビデオ信号がエンコーダに入力される。例えば、ビデオ信号は、メモリに記憶された非圧縮ビデオファイルでもよい。他の例として、ビデオファイルは、ビデオカメラのようなビデオキャプチャデバイスによりキャプチャされ、ビデオのライブストリーミングをサポートするように符号化されてもよい。ビデオファイルは、オーディオ成分及びビデオ成分の双方を含んでもよい。ビデオ成分は、順に見られるときに動きの視覚的な印象を与える一連の画像フレームを含む。フレームは、ここではルマ成分(又はルマサンプル)と呼ばれる光に関して表現される画素と、クロマ成分(又はカラーサンプル)と呼ばれる色とを含む。いくつかの例では、フレームはまた、三次元表示をサポートするための深度値を含んでもよい。
ステップ103において、ビデオはブロックに区分される。区分は、圧縮のために、各フレーム内の画素を正方形及び/又は長方形のブロックに細分することを含む。例えば、高効率ビデオコーディング(High Efficiency Video Coding, HEVC)(H.265及びMPEG-Hパート2としても知られる)では、フレームは、まず、所定のサイズ(例えば、64画素×64画素)のブロックであるコーディングツリーユニット(coding tree unit, CTU)に分割できる。CTUはルマサンプル及びクロマサンプルの双方を含む。コーディングツリーは、CTUをブロックに分割し、次いで、更なる符号化をサポートする構成が達成されるまで、ブロックを再帰的に細分するために使用されてもよい。例えば、フレームのルマ成分は、個々のブロックが比較的均一な照明値を含むまで細分されてもよい。さらに、フレームのクロマ成分は、個々のブロックが比較的均一な色値を含むまで細分されてもよい。したがって、区分メカニズムはビデオフレームの内容に依存して変化する。
ステップ105において、ステップ103で区分された画像ブロックを圧縮するために、様々な圧縮メカニズムが使用される。例えば、インター予測及び/又はイントラ予測が使用されてもよい。インター予測は、共通のシーン内のオブジェクトが連続したフレームに現れる傾向があるという事実を利用するように設計されている。したがって、参照フレーム内のオブジェクトを示すブロックは、隣接フレーム内で繰り返し記述される必要はない。具体的には、テーブルのようなオブジェクトは、複数のフレームにわたって一定の位置に留まり得る。したがって、テーブルは一回記述され、隣接フレームは参照フレームに戻って参照できる。複数のフレームにわたってオブジェクトをマッチングするために、パターンマッチングメカニズムが使用されてもよい。さらに、移動するオブジェクトは、例えば、オブジェクトの動き又はカメラの動きのため、複数のフレームを横切って表されてもよい。特定の例として、ビデオは、複数のフレームにわたってスクリーンを横切って移動する自動車を示してもよい。このような動きを記述するために、動きベクトルが使用できる。動きベクトルは、フレーム内のオブジェクトの座標から参照フレーム内のオブジェクトの座標へのオフセットを提供する二次元ベクトルである。したがって、インター予測は、参照フレーム内の対応するブロックからのオフセットを示す動きベクトルのセットとして、現在のフレーム内の画像ブロックを符号化できる。
イントラ予測は、共通のフレーム内のブロックを符号化する。イントラ予測は、ルマ成分及びクロマ成分がフレーム内で集中する傾向があるという事実を利用する。例えば、樹木の一部における緑色の断片は、同様の緑色の断片に隣接して位置する傾向がある。イントラ予測は、複数の方向予測モード(例えば、HEVCにおける33個)、プラナーモード及び直流(direct current, DC)モードを使用する。方向モードは、現在のブロックが、対応する方向の隣接ブロックのサンプルと同様/同じであることを示す。プラナーモードは、行/列に沿った一連のブロック(例えば、平面)が、行の端における隣接ブロックに基づいて補間できることを示す。プラナーモードは、実質的に、値を変化させる際に比較的一定の傾きを使用することにより、行/列を横切る光/色の滑らかな遷移を示す。DCモードは境界平滑化のために使用され、ブロックが方向予測モードの角度方向に関連する全ての隣接ブロックのサンプルに関連する平均値と同様/同じであることを示す。したがって、イントラ予測ブロックは、実際の値の代わりに、様々な関係予測モード値として画像ブロックを表すことができる。さらに、インター予測ブロックは、実際の値の代わりに、動きベクトル値として画像ブロックを表すことができる。いずれの場合でも、予測ブロックは、いくつかの場合に画像ブロックを正確に表さないことがある。いずれかの差は残差ブロックに記憶される。ファイルを更に圧縮するために、変換が残差ブロックに適用されてもよい。
ステップ107において、様々なフィルタリング技術が適用されてもよい。HEVCでは、フィルタは、ループ内フィルタリング方式に従って適用される。上記のブロックベースの予測は、デコーダにおいてブロック状の画像の生成を生じることがある。さらに、ブロックベースの予測方式は、ブロックを符号化し、次いで、参照ブロックとして後で使用するために、符号化ブロックを再現してもよい。ループ内フィルタリング方式は、ノイズ抑制フィルタ、デブロッキングフィルタ、適応ループフィルタ及びサンプル適応オフセット(sample adaptive offset, SAO)フィルタをブロック/フレームに繰り返し適用する。これらのフィルタは、符号化ファイルが正確に再現できるように、このようなブロッキングアーチファクトを軽減する。さらに、これらのフィルタは、アーチファクトが再現された参照ブロックに基づいて符号化される後続のブロック内に更なるアーチファクトを作成する可能性が低くなるように、再現された参照ブロック内のアーチファクトを軽減する。
一旦ビデオ信号が区分され、圧縮され、フィルタリングされると、ステップ109において、結果のデータはビットストリームに符号化される。ビットストリームは、上記のデータと、デコーダにおける適切なビデオ信号の再現をサポートするのに望ましいいずれかのシグナリングデータとを含む。例えば、このようなデータは、区分データ、予測データ、残差ブロック、及びコーディング命令をデコーダに提供する様々なフラグを含んでもよい。ビットストリームは、要求によってデコーダに向けて伝送するためにメモリに記憶されてもよい。ビットストリームはまた、複数のデコーダに向けてブロードキャスト及び/又はマルチキャストされてもよい。ビットストリームの作成は反復プロセスである。したがって、ステップ101、103、105、107及び109は、多くのフレーム及びブロックにわたって連続的に及び/又は同時に発生してもよい。図１に示す順序は、説明の明確さ及び容易さのために提示されており、ビデオコーディングプロセスを特定の順序に限定することを意図しない。
デコーダはビットストリームを受信し、ステップ111において復号プロセスを開始する。具体的には、デコーダは、ビットストリームを対応するシンタックス及びビデオデータに変換するためにエントロピー復号方式を使用する。ステップ111において、デコーダは、フレームの区分を決定するために、ビットストリームからのシンタックスデータを使用する。区分は、ステップ103におけるブロック区分の結果と一致すべきである。ここで、ステップ111において使用されるエントロピー符号化/復号について説明する。エンコーダは、入力画像内の値の空間位置決めに基づいていくつかの可能な選択肢からブロック区分方式を選択することのように、圧縮プロセスの間に多くの選択を行う。正確な選択肢をシグナリングすることは、多数のビンを使用することがある。ここで使用されるとき、ビンは、変数として扱われるバイナリ値(例えば、コンテキストに依存して変化し得るビット値)である。エントロピーコーディングは、エンコーダが、特定の場合に明らかに実行不可能ないずれかのオプションを破棄することを可能にし、許容可能なオプションのセットを残す。次いで、それぞれの許容可能なオプションには、コードワードが割り当てられる。コードワードの長さは、許容可能なオプションの数に基づく(例えば、2つのオプションについて1つのビン、3つ～4つのオプションについて2つのビン等)。次いで、エンコーダは、選択されたオプションについてコードワードを符号化する。この方式は、全ての可能なオプションの潜在的に大きいセットからの選択を一意に示すこととは対照的に、コードワードが、許容可能なオプションの小さいサブセットからの選択を一意に示すことが望ましいほどの大きさになるので、コードワードのサイズを低減する。次いで、デコーダは、エンコーダと同様の方式で許容可能なオプションのセットを決定することにより、選択を復号する。許容可能なオプションのセットを決定することにより、デコーダは、コードワードを読み取り、エンコーダにより行われる選択を決定できる。
ステップ113において、デコーダはブロック復号を実行する。具体的には、デコーダは、残差ブロックを生成するために逆変換を使用する。次いで、デコーダは、区分に従って画像ブロックを再現するために、残差ブロック及び対応する予測ブロックを使用する。予測ブロックは、ステップ105においてエンコーダで生成されたようにイントラ予測ブロック及びインター予測ブロックの双方を含んでもよい。次いで、再現された画像ブロックは、ステップ111において決定された区分データに従って、再現されたビデオ信号のフレームに位置決めされる。ステップ113についてのシンタックスはまた、上記のようにエントロピーコーディングを介してビットストリームでシグナリングされてもよい。
ステップ115において、エンコーダにおけるステップ107と同様の方式で、再現されたビデオ信号のフレームに対してフィルタリングが実行される。例えば、ブロッキングアーチファクトを除去するために、ノイズ抑制フィルタ、デブロッキングフィルタ、適応ループフィルタ及びSAOフィルタがフレームに適用されてもよい。一旦フレームがフィルタリングされると、ビデオ信号は、エンドユーザにより見るために、ステップ117においてディスプレイに出力できる。
図２は、ビデオコーディングのための例示的なコーディング及び復号(コーデック)システム200の概略図である。具体的には、コーデックシステム200は、動作方法100の実現をサポートするための機能を提供する。コーデックシステム200は、エンコーダ及びデコーダの双方で使用されるコンポーネントを示すように一般化されている。コーデックシステム200は、動作方法100におけるステップ101及び103に関して説明したように、ビデオ信号を受信及び区分し、これは、区分されたビデオ信号201を生じる。次いで、コーデックシステム200は、方法100におけるステップ105、107及び109に関して説明したように、エンコーダとして機能するとき、区分されたビデオ信号201をコーディングされたビットストリームに圧縮する。デコーダとして機能するとき、コーデックシステム200は、動作方法100におけるステップ111、113、115及び117に関して説明したように、ビットストリームから出力ビデオ信号を生成する。コーデックシステム200は、全体コーダ制御コンポーネント211と、変換スケーリング及び量子化コンポーネント213と、イントラピクチャ推定コンポーネント215と、イントラピクチャ予測コンポーネント217と、動き補償コンポーネント219と、動き推定コンポーネント221と、スケーリング及び逆変換コンポーネント229と、フィルタ制御解析コンポーネント227と、ループ内フィルタコンポーネント225と、復号ピクチャバッファコンポーネント223と、ヘッダフォーマット及びコンテキスト適応型バイナリ算術コーディング(context adaptive binary arithmetic coding, CABAC)コンポーネント231とを含む。このようなコンポーネントは、図示のように結合される。図２において、黒線は符号化/復号されるべきデータの移動を示し、破線は他のコンポーネントの動作を制御する制御データの移動を示す。コーデックシステム200のコンポーネントは、全てエンコーダに存在してもよい。デコーダは、コーデックシステム200のコンポーネントのサブセットを含んでもよい。例えば、デコーダは、イントラピクチャ予測コンポーネント217と、動き補償コンポーネント219と、スケーリング及び逆変換コンポーネント229と、ループ内フィルタコンポーネント225と、復号ピクチャバッファコンポーネント223とを含んでもよい。ここで、これらのコンポーネントについて説明する。
区分されたビデオ信号201は、コーディングツリーにより画素のブロックに区分されている、キャプチャされたビデオシーケンスである。コーディングツリーは、画素のブロックを画素のより小さいブロックに細分するために、様々な分割モードを使用する。次いで、これらのブロックは、より小さいブロックに更に細分できる。ブロックは、コーディングツリー上のノードと呼ばれてもよい。より大きい親ノードは、より小さい子ノードに分割される。ノードが細分される回数は、ノード/コーディングツリーの深さと呼ばれる。いくつかの場合、分割されたブロックは、コーディングユニット(coding unit, CU)に含まれることができる。例えば、CUは、CUについての対応するシンタックス命令と共に、ルマブロック、赤色差クロマ(Cr)ブロック及び青色差クロマ(Cb)ブロックを含むCTUのサブ部分とすることができる。分割モードは、使用される分割モードに依存して、変化する形状のそれぞれ2つ、3つ又は4つの子ノードにノードを区分するために使用される二分木(binary tree, BT)、三分木(triple tree, TT)及び四分木(quad tree, QT)を含んでもよい。区分されたビデオ信号201は、圧縮のために、全体コーダ制御コンポーネント211、変換スケーリング及び量子化コンポーネント213、イントラピクチャ推定コンポーネント215、フィルタ制御解析コンポーネント227及び動き推定コンポーネント221に転送される。
全体コーダ制御コンポーネント211は、アプリケーションの制約に従って、ビットストリームへのビデオシーケンスの画像のコーディングに関連する判断を行うように構成される。例えば、全体コーダ制御コンポーネント211は、再現品質に対するビットレート/ビットストリームサイズの最適化を管理する。このような判断は、記憶空間/帯域幅の可用性及び画像解像度要求に基づいて行われてもよい。全体コーダ制御コンポーネント211はまた、バッファのアンダーラン及びオーバーランの問題を軽減するために、伝送速度を考慮してバッファの利用を管理する。これらの問題を管理するために、全体コーダ制御コンポーネント211は、他のコンポーネントによる区分、予測及びフィルタリングを管理する。例えば、全体コーダ制御コンポーネント211は、解像度を増加させて帯域幅の使用を増加させるために圧縮の複雑さを動的に増加させてもよく、或いは、解像度及び帯域幅の使用を減少させるために圧縮の複雑さを減少させてもよい。したがって、全体コーダ制御コンポーネント211は、ビットレートの懸念とビデオ信号再現品質とのバランスを取るために、コーデックシステム200の他のコンポーネントを制御する。全体コーダ制御コンポーネント211は、他のコンポーネントの動作を制御する制御データを作成する。制御データはまた、デコーダにおいて復号するためのパラメータをシグナリングするためのビットストリームに符号化されるために、ヘッダフォーマット及びCABACコンポーネント231に転送される。
区分されたビデオ信号201はまた、インター予測のために動き推定コンポーネント221及び動き補償コンポーネント219に送信される。区分されたビデオ信号201のフレーム又はスライスは、複数のビデオブロックに分割されてもよい。動き推定コンポーネント221及び動き補償コンポーネント219は、時間予測を提供するために、1つ以上の参照フレーム内の1つ以上のブロックに対して受信したビデオブロックのインター予測コーディングを実行する。コーデックシステム200は、例えばビデオデータの各ブロックについて適切なコーディングモードを選択するために、複数のコーディングパスを実行してもよい。
動き推定コンポーネント221及び動き補償コンポーネント219は、高度に統合されてもよいが、概念的な目的のために別々に図示されている。動き推定コンポーネント221により実行される動き推定は、ビデオブロックについての動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、予測ブロックに対してコーディングされたオブジェクトの変位を示してもよい。予測ブロックは、画素差に関して、コーディングされるべきブロックに密接にマッチングすることが見出されたブロックである。予測ブロックはまた、参照ブロックとも呼ばれてもよい。このような画素差は、差分絶対値和(sum of absolute difference, SAD)、差分二乗和(sum of square difference, SSD)又は他の差分メトリックにより決定されてもよい。HEVCは、CTU、コーディングツリーブロック(coding tree block, CTB)及びCUを含むいくつかのコーディングされたオブジェクトを使用する。例えば、CTUはCTBに分割でき、次いで、これはCUに含めるためにCBに分割できる。CUは、予測データを含む予測ユニット(prediction, unit PU)及び/又はCUについての変換残差データを含む変換ユニット(transform unit, TU)として符号化できる。動き推定コンポーネント221は、レート歪み最適化プロセスの一部としてレート歪み解析を使用することにより、動きベクトル、PU及びTUを生成する。例えば、動き推定コンポーネント221は、現在のブロック/フレームについての複数の参照ブロック、複数の動きベクトル等を決定してもよく、最良のレート歪み特性を有する参照ブロック、動きベクトル等を選択してもよい。最良のレート歪み特性は、ビデオ再現の品質(例えば、圧縮によるデータ損失の量)とコーディング効率(例えば、最終的な符号化のサイズ)の双方をバランスさせる。
いくつかの例では、コーデックシステム200は、復号ピクチャバッファコンポーネント223に記憶された参照ピクチャのサブ整数画素位置についての値を計算してもよい。例えば、ビデオコーデックシステム200は、参照ピクチャの1/4画素位置、1/8画素位置又は他の分数画素位置の値を補間してもよい。したがって、動き推定コンポーネント221は、全画素位置及び分数画素位置に対する動き探索を実行し、分数画素精度で動きベクトルを出力してもよい。動き推定コンポーネント221は、PUの位置を参照ピクチャの予測ブロックの位置と比較することにより、インターコーディングされたスライス内のビデオブロックのPUについての動きベクトルを計算する。動き推定コンポーネント221は、符号化のために、計算された動きベクトルを動きデータとしてヘッダフォーマット及びCABACコンポーネント231に出力し、動きを動き補償コンポーネント219に出力する。
動き補償コンポーネント219により実行される動き補償は、動き推定コンポーネント221により決定された動きベクトルに基づいて予測ブロックをフェッチ又は生成することを伴ってもよい。同様に、いくつかの例では、動き推定コンポーネント221及び動き補償コンポーネント219は機能的に統合されてもよい。現在のビデオブロックのPUについての動きベクトルを受信すると、動き補償コンポーネント219は、動きベクトルが指す予測ブロックを特定してもよい。次いで、コーディングされている現在のビデオブロックの画素値から予測ブロックの画素値を減算することにより、残差ビデオブロックが形成され、画素差分値を形成する。一般的に、動き推定コンポーネント221は、ルマ成分に対して動き推定を実行し、動き補償コンポーネント219は、クロマ成分及びルマ成分の双方について、ルマ成分に基づいて計算された動きベクトルを使用する。予測ブロック及び残差ブロックは、変換スケーリング及び量子化コンポーネント213に転送される。
区分されたビデオ信号201はまた、イントラピクチャ推定コンポーネント215及びイントラピクチャ予測コンポーネント217に送信される。動き推定コンポーネント221及び動き補償コンポーネント219と同様に、イントラピクチャ推定コンポーネント215及びイントラピクチャ予測コンポーネント217は、高度に統合されてもよいが、概念的な目的のために別々に図示されている。イントラピクチャ推定コンポーネント215及びイントラピクチャ予測コンポーネント217は、上記のように、フレームの間で動き推定コンポーネント221及び動き補償コンポーネント219により実行されるインター予測の代わりとして、現在のフレーム内のブロックに対して現在のブロックをイントラ予測する。特に、イントラピクチャ推定コンポーネント215は、現在のブロックを符号化するために使用するイントラ予測モードを決定する。いくつかの例では、イントラピクチャ推定コンポーネント215は、複数のテストされたイントラ予測モードから現在のブロックを符号化するための適切なイントラ予測モードを選択する。次いで、選択されたイントラ予測モードは、符号化のためにヘッダフォーマット及びCABACコンポーネント231に転送される。
例えば、イントラピクチャ推定コンポーネント215は、様々なテストされたイントラ予測モードについてレート歪み解析を使用してレート歪み値を計算し、テストされたモードの中で最良のレート歪み特性を有するイントラ予測モードを選択する。レート歪み解析は、一般的に、符号化ブロックを生成するために符号化された元の非符号化ブロックと符号化ブロックとの間の歪み(又はエラー)の量と、符号化ブロックを生成するために使用されるビットレート(例えば、ビット数)とを決定する。イントラピクチャ推定コンポーネント215は、どのイントラ予測モードがブロックについて最良のレート歪み値を示すかを決定するために、様々な符号化ブロックについての歪み及びレートから比を計算する。さらに、イントラピクチャ推定コンポーネント215は、レート歪み最適化(rate-distortion optimization, RDO)に基づく深度モデリングモード(depth modeling mode, DMM)を使用して深度マップの深度ブロックをコーディングするように構成されてもよい。
イントラピクチャ予測コンポーネント217は、エンコーダで実現されるとき、イントラピクチャ推定コンポーネント215により決定された、選択されたイントラピクチャ予測モードに基づいて、予測ブロックから残差ブロックを生成してもよく、或いは、デコーダで実現されるとき、ビットストリームから残差ブロックを読み取ってもよい。残差ブロックは、行列として表される、予測ブロックと元のブロックとの間の値の差を含む。次いで、残差ブロックは、変換スケーリング及び量子化コンポーネント213に転送される。イントラピクチャ推定コンポーネント215及びイントラピクチャ予測コンポーネント217は、ルマ成分及びクロマ成分の双方に対して実行してもよい。
変換スケーリング及び量子化コンポーネント213は、残差ブロックを更に圧縮するように構成される。変換スケーリング及び量子化コンポーネント213は、離散コサイン変換(discrete cosine transform, DCT)、離散サイン変換(discrete sine transform, DST)又は概念的に同様の変換のような変換を残差ブロックに適用し、残差変換係数値を含むビデオブロックを生成する。ウェーブレット変換、整数変換、サブバンド変換又は他のタイプの変換も使用されてもよい。変換は、残差情報を画素値ドメインから周波数ドメインのような変換ドメインに変換してもよい。変換スケーリング及び量子化コンポーネント213はまた、例えば、周波数に基づいて、変換された残差情報をスケーリングするように構成される。このようなスケーリングは、異なる周波数情報が異なる粒度で量子化されるように、スケールファクタを残差情報に適用することを伴い、これは、再現されたビデオの最終的な視覚品質に影響を及ぼしてもよい。変換スケーリング及び量子化コンポーネント213はまた、ビットレートを更に低減するために変換係数を量子化するように構成される。量子化プロセスは、係数の一部又は全部に関連するビット深度を低減してもよい。量子化の程度は、量子化パラメータを調整することにより修正されてもよい。いくつかの例では、次いで、変換スケーリング及び量子化コンポーネント213は、量子化された変換係数を含む行列のスキャンを実行してもよい。量子化された変換係数は、ビットストリームに符号化されるためにヘッダフォーマット及びCABACコンポーネント231に転送される。
スケーリング及び逆変換コンポーネント229は、動き推定をサポートするために変換スケーリング及び量子化コンポーネント213の逆の動作を適用する。スケーリング及び逆変換コンポーネント229は、例えば、他の現在のブロックについての予測ブロックになり得る参照ブロックとして後で使用するために、画素ドメインにおける残差ブロックを再現するために逆スケーリング、変換及び/又は量子化を適用する。動き推定コンポーネント221及び/又は動き補償コンポーネント219は、後のブロック/フレームの動き推定において使用するために、残差ブロックを対応する予測ブロックに戻して加算することにより参照ブロックを計算してもよい。フィルタは、スケーリング、量子化及び変換の間に作成されたアーチファクトを軽減するために、再現された参照ブロックに適用される。そうでなければ、このようなアーチファクトは、後続のブロックが予測されるときに不正確な予測を引き起こす(且つ更なるアーチファクトを作成する)可能性がある。
フィルタ制御解析コンポーネント227及びループ内フィルタコンポーネント225は、フィルタを残差ブロック及び/又は再現された画像ブロックに適用する。例えば、スケーリング及び逆変換コンポーネント229からの変換された残差ブロックは、元の画像ブロックを再現するために、イントラピクチャ予測コンポーネント217及び/又は動き補償コンポーネント219からの対応する予測ブロックと結合されてもよい。次いで、フィルタは、再現された画像ブロックに適用されてもよい。いくつかの例では、フィルタは、代わりに残差ブロックに適用されてもよい。図２における他のコンポーネントと同様に、フィルタ制御解析コンポーネント227及びループ内フィルタコンポーネント225は、高度に統合されており、一緒に実現されてもよいが、概念的な目的のために別々に図示されている。再現された参照ブロックに適用されるフィルタは、特定の空間領域に適用され、このようなフィルタがどのように適用されるかを調整するために複数のパラメータを含む。フィルタ制御解析コンポーネント227は、このようなフィルタがどこに適用されるべきかを決定するために、再現された参照ブロックを解析し、対応するパラメータを設定する。このようなデータは、符号化のためのフィルタ制御データとしてヘッダフォーマット及びCABACコンポーネント231に転送される。ループ内フィルタコンポーネント225は、フィルタ制御データに基づいてこのようなフィルタを適用する。フィルタは、デブロッキングフィルタ、ノイズ抑制フィルタ、SAOフィルタ及び適応ループフィルタを含んでもよい。このようなフィルタは、例に依存して、空間/画素ドメイン(例えば、再現された画素ブロック)又は周波数ドメインにおいて適用されてもよい。
エンコーダとして動作するとき、フィルタリング後の再現された画像ブロック、残差ブロック及び/又は予測ブロックは、上記のように動き推定において後で使用するために、復号ピクチャバッファコンポーネント223に記憶される。デコーダとして動作するとき、復号ピクチャバッファコンポーネント223は、再現及びフィルタリングされたブロックを記憶し、出力ビデオ信号の一部としてディスプレイに向けて転送する。復号ピクチャバッファコンポーネント223は、予測ブロック、残差ブロック及び/又は再現された画像ブロックを記憶できるいずれかのメモリデバイスでもよい。
ヘッダフォーマット及びCABACコンポーネント231は、コーデックシステム200の様々なコンポーネントからデータを受信し、デコーダに向けて伝送するために、このようなデータをコーディングされたビットストリームに符号化する。具体的には、ヘッダフォーマット及びCABACコンポーネント231は、全体制御データ及びフィルタ制御データのような制御データを符号化するための様々なヘッダを生成する。さらに、イントラ予測及び動きデータを含む予測データ並びに量子化された変換係数データの形式の残差データは、全てビットストリームに符号化される。最終的なビットストリームは、元の区分されたビデオ信号201を再現するためにデコーダにより望まれる全ての情報を含む。このような情報はまた、イントラ予測モードインデックステーブル(コードワードマッピングテーブルとも呼ばれる)、様々なブロックについての符号化コンテキストの定義、最確イントラ予測モードの指示、区分情報の指示等を含んでもよい。このようなデータは、エントロピーコーディングを使用することにより符号化されてもよい。例えば、コンテキスト適応型可変長コーディング(context adaptive variable length coding, CAVLC)、CABAC、シンタックスベースのコンテキスト適応型バイナリ算術コーディング(syntax-based context-adaptive binary arithmetic coding, SBAC)、確率区間区分エントロピー(probability interval partitioning entropy, PIPE)コーディング又は他のエントロピーコーディング技術を使用することにより、情報が符号化されてもよい。エントロピーコーディングに続いて、コーディングされたビットストリームは、他のデバイス(例えば、ビデオデコーダ)に伝送されてもよく、或いは、後の伝送又は取得のためにアーカイブされてもよい。
図３は、例示的なビデオエンコーダ300を示すブロック図である。ビデオエンコーダ300は、コーデックシステム200の符号化機能を実現するため、及び/又は動作方法100のステップ101、103、105、107及び/又は109を実現するために使用されてもよい。エンコーダ300は、入力ビデオ信号を区分し、区分されたビデオ信号301を生じ、これは、区分されたビデオ信号201と実質的に同様である。次いで、区分されたビデオ信号301は、エンコーダ300のコンポーネントにより圧縮され、ビットストリームに符号化される。
具体的には、区分されたビデオ信号301は、イントラ予測のためにイントラピクチャ予測コンポーネント317に転送される。イントラピクチャ予測コンポーネント317は、イントラピクチャ推定コンポーネント215及びイントラピクチャ予測コンポーネント217と実質的に同様でもよい。区分されたビデオ信号301はまた、復号ピクチャバッファコンポーネント323内の参照ブロックに基づくインター予測のために、動き補償コンポーネント321に転送される。動き補償コンポーネント321は、動き推定コンポーネント221及び動き補償コンポーネント219と実質的に同様でもよい。イントラピクチャ予測コンポーネント317及び動き補償コンポーネント321からの予測ブロック及び残差ブロックは、残差ブロックの変換及び量子化のために変換及び量子化コンポーネント313に転送される。変換及び量子化コンポーネント313は、変換スケーリング及び量子化コンポーネント213と実質的に同様でもよい。変換及び量子化された残差ブロック並びに対応する予測ブロックは(関連する制御データと共に)、ビットストリームにコーディングするためにエントロピーコーディングコンポーネント331に転送される。エントロピーコーディングコンポーネント331は、ヘッダフォーマット及びCABACコンポーネント231と実質的に同様でもよい。
変換及び量子化された残差ブロック及び/又は対応する予測ブロックはまた、動き補償コンポーネント321により使用するための参照ブロックに再現するために、変換及び量子化コンポーネント313から逆変換及び量子化コンポーネント329に転送される。逆変換及び量子化コンポーネント329は、スケーリング及び逆変換コンポーネント229と実質的に同様でもよい。ループ内フィルタコンポーネント325内のループ内フィルタはまた、例に依存して、残差ブロック及び/又は再現された参照ブロックに適用される。ループ内フィルタコンポーネント325は、フィルタ制御解析コンポーネント227及びループ内フィルタコンポーネント225と実質的に同様でもよい。ループ内フィルタコンポーネント325は、ループ内フィルタコンポーネント225に関して説明したように、複数のフィルタを含んでもよい。次いで、フィルタリングされたブロックは、動き補償コンポーネント321による参照ブロックとして使用するために、復号ピクチャバッファコンポーネント323に記憶される。復号ピクチャバッファコンポーネント323は、復号ピクチャバッファコンポーネント223と実質的に同様でもよい。
図４は、例示的なビデオデコーダ400を示すブロック図である。ビデオデコーダ400は、コーデックシステム200の復号機能を実現するため、及び/又は動作方法100のステップ111、113、115及び/又は117を実現するために使用されてもよい。デコーダ400は、例えば、エンコーダ300からビットストリームを受信し、エンドユーザに表示するために、ビットストリームに基づいて再現された出力ビデオ信号を生成する。
ビットストリームは、エントロピー復号コンポーネント433により受信される。エントロピー復号コンポーネント433は、CAVLC、CABAC、SBAC、PIPEコーディング又は他のエントロピーコーディング技術のようなエントロピー復号方式を実現するように構成される。例えば、エントロピー復号コンポーネント433は、ビットストリーム内のコードワードとして符号化された更なるデータを解釈するためのコンテキストを提供するために、ヘッダ情報を使用してもよい。復号情報は、全体制御データ、フィルタ制御データ、区分情報、動きデータ、予測データ及び残差ブロックからの量子化された変換係数のような、ビデオ信号を復号するためのいずれかの所望の情報を含む。量子化された変換係数は、残差ブロックへの再現のために、逆変換及び量子化コンポーネント429に転送される。逆変換及び量子化コンポーネント429は、逆変換及び量子化コンポーネント329と同様でもよい。
再現された残差ブロック及び/又は予測ブロックは、イントラ予測動作に基づいて画像ブロックに再現するために、イントラピクチャ予測コンポーネント417に転送される。イントラピクチャ予測コンポーネント417は、イントラピクチャ推定コンポーネント215及びイントラピクチャ予測コンポーネント217と同様でもよい。具体的には、イントラピクチャ予測コンポーネント417は、フレーム内の参照ブロックを特定するために予測モードを使用し、イントラ予測画像ブロックを再現するために残差ブロックをその結果に適用する。再現されたイントラ予測画像ブロック及び/又は残差ブロック並びに対応するインター予測データは、ループ内フィルタコンポーネント425を介して復号ピクチャバッファコンポーネント423に転送され、これらのコンポーネントは、復号ピクチャバッファコンポーネント223及びループ内フィルタコンポーネント225とそれぞれ実質的に同様でもよい。ループ内フィルタコンポーネント425は、再現された画像ブロック、残差ブロック及び/又は予測ブロックをフィルタリングし、このような情報が復号ピクチャバッファコンポーネント423に記憶される。復号ピクチャバッファコンポーネント423からの再現された画像ブロックは、インター予測のために動き補償コンポーネント421に転送される。動き補償コンポーネント421は、動き推定コンポーネント221及び/又は動き補償コンポーネント219と実質的に同様でもよい。具体的には、動き補償コンポーネント421は、予測ブロックを生成するために参照ブロックからの動きベクトルを使用し、画像ブロックを再現するために残差ブロックをその結果に適用する。結果の再現されたブロックはまた、ループ内フィルタコンポーネント425を介して復号ピクチャバッファコンポーネント423に転送されてもよい。復号ピクチャバッファコンポーネント423は、更なる再現された画像ブロックを記憶し続け、これらは、区分情報を介してフレームに再現できる。このようなフレームはまた、シーケンスに配置されてもよい。シーケンスは、再現された出力ビデオ信号としてディスプレイに向けて出力される。
図５Ａは、サブピクチャ510に区分された例示的なピクチャ500を示す概略図である。例えば、ピクチャ500は、コーデックシステム200及び/又はエンコーダ300により符号化するために区分でき、コーデックシステム200及び/又はデコーダ400により復号するために区分できる。他の例として、ピクチャ500は、ステップ111においてデコーダにより使用するために、方法100のステップ103においてエンコーダにより区分されてもよい。
ピクチャ500は、指定の時間位置におけるビデオシーケンスの完全な視覚部分を示す画像である。ピクチャ500はまた、画像及び/又はフレームとも呼ばれてもよい。ピクチャ500は、ピクチャ順序カウント(picture order count, POC)により指定されてもよい。POCは、ビデオシーケンスにおけるピクチャ500の出力/表示順序を示すインデックスである。ピクチャ500は、サブピクチャ510に区分できる。サブピクチャ510は、ピクチャ500内の1つ以上のスライス/タイルグループの長方形又は正方形の領域である。サブピクチャ510は任意選択であり、したがって、いくつかのビデオシーケンスはサブピクチャ510を含むが、他のものは含まない。4つのサブピクチャ510が示されているが、ピクチャ500は如何なる数のサブピクチャ510にも区分できる。サブピクチャ510の区分は、全体のコーディングされたビデオシーケンス(coded video sequence)にわたって一貫してもよい。
サブピクチャ510は、ピクチャ500の異なる領域が異なって扱われることを可能にするために使用されてもよい。例えば、指定のサブピクチャ510は、独立して抽出され、デコーダに伝送されてもよい。具体的な例として、仮想現実(virtual reality, VR)ヘッドセットを使用するユーザは、ピクチャ500のサブセットを見てもよく、これは、ピクチャ500に示されるような空間に物理的に存在するという印象をユーザに提供してもよい。このような場合、ユーザに表示される可能性のあるサブピクチャ510のみをストリーミングすることは、コーディング効率を増加させ得る。他の例として、異なるサブピクチャ510は、特定のアプリケーションにおいて異なって扱われてもよい。具体的な例として、テレビ会議アプリケーションは、現在話していないユーザよりも目立つ位置でより高い解像度において活動的な話者を表示してもよい。異なるサブピクチャ510内で異なるユーザを位置決めすることは、この機能をサポートするために表示画像のリアルタイムの再構成をサポートする。
各サブピクチャ510は、一意のサブピクチャIDにより識別でき、これは、全体のCVSについて一貫していてもよい。例えば、ピクチャ500の左上のサブピクチャ510は、0のサブピクチャIDを有してもよい。このような場合、シーケンス内のいずれかのピクチャ500の左上サブピクチャ510は、0のサブピクチャIDにより参照できる。さらに、各サブピクチャ510は、定義された構成を含んでもよく、これは、全体のCVSについて一貫していてもよい。例えば、サブピクチャ510は、高さ、幅及び/又はオフセットを含んでもよい。高さ及び幅は、サブピクチャ510のサイズを記述し、オフセットは、サブピクチャ510の位置を記述する。例えば、行におけるサブピクチャ510の全ての幅の和は、ピクチャ500の幅である。さらに、列におけるサブピクチャ510の全ての高さの和は、ピクチャ500の高さである。さらに、オフセットは、ピクチャ500の左上角に対するサブピクチャ510の左上角の位置を示す。サブピクチャ510の高さ、幅及びオフセットは、ピクチャ500内で対応するサブピクチャ510を位置決めするのに十分な情報を提供する。サブピクチャ510の区分は、全体のCVSにわたって一貫していてもよいので、サブピクチャに関連するパラメータは、シーケンスパラメータセット(sequence parameter set, SPS)に含まれてもよい。
図５Ｂは、スライス515に区分された例示的なサブピクチャ510を示す概略図である。図示のように、ピクチャ500のサブピクチャ510は、1つ以上のスライス515を含んでもよい。スライス515は、単一のネットワーク抽象化レイヤ(network abstraction layer, NAL)ユニットに排他的に含まれるピクチャのタイル内の整数個の完全なタイル又は整数個の連続する完全なCTU行である。4つのスライス515が示されているが、サブピクチャ510は如何なる数のスライス515を含んでもよい。スライス515は、指定のPOCのピクチャ500に特有の視覚データを含む。したがって、スライス515に関連するパラメータは、ピクチャパラメータセット(picture parameter set, PPS)及び/又はスライスヘッダに含まれてもよい。
図５Ｃは、タイル517に区分された例示的なスライス515を示す概略図である。図示のように、ピクチャ500のスライス515は、1つ以上のタイル517を含んでもよい。タイル517は、ピクチャ500を長方形の行及び列に区分することにより作成されてもよい。したがって、タイル517は、ピクチャ内の特定のタイル列及び特定のタイル行内のCTUの長方形又は正方形の領域である。タイル化は任意選択であり、したがって、いくつかのビデオシーケンスはタイル517を含むが、他のものは含まない。4つのタイル517が示されているが、スライス515は如何なる数のタイル517を含んでもよい。タイル517は、指定のPOCのピクチャ500のスライス515に特有の視覚データを含んでもよい。いくつかの場合、スライス515はまた、タイル517に含まれてもよい。したがって、タイル517に関連するパラメータは、PPS及び/又はスライスヘッダに含まれてもよい。
図５Ｄは、CTU519に区分された例示的なスライス515を示す概略図である。図示のように、ピクチャ500のスライス515(又はスライス515のタイル517)は、1つ以上のCTU519を含んでもよい。CTU519は、符号化/復号されるコーディングブロックを作成するためにコーディングツリーにより細分されたピクチャ500の領域である。CTU519は、モノクロピクチャ500のためのルマサンプル、又はカラーピクチャ500のためのルマサンプル及びクロマサンプルの組み合わせを含んでもよい。コーディングツリーにより区分できるルマサンプル又はクロマサンプルのグループ化は、コーディングツリーブロック(coding tree block, CTB)518と呼ばれる。したがって、CTU519は、ルマサンプルのCTB518と、3つのサンプル配列を有するピクチャ500のクロマサンプルの2つの対応するCTB518とを含むか、或いは、モノクロピクチャ、又は3つの別々の色平面及びサンプルをコーディングするために使用されるシンタックス構造を使用してコーディングされたピクチャのサンプルのCTB518を含む。
上記に示すように、ピクチャ500は、サブピクチャ510、スライス515、タイル517、CTU519及び/又はCTB518に区分されてもよく、次いで、これらはブロックに区分される。次いで、このようなブロックは、デコーダに向けた伝送のために符号化される。このようなブロックを復号することは、様々なタイプのノイズを含む復号画像を生じることがある。このような問題を修正するために、ビデオコーディングシステムは、ブロック境界を横切って様々なフィルタを適用してもよい。これらのフィルタは、ブロッキング、量子化ノイズ及び他の望ましくないコーディングアーチファクトを除去できる。上記のように、サブピクチャ510は、独立した抽出を実行するときに使用されてもよい。この場合、現在のサブピクチャ510は、他のサブピクチャ510からの情報を復号せずに復号されて表示されてもよい。したがって、サブピクチャ510エッジに沿ったブロック境界は、サブピクチャ境界と整列してもよい。いくつかの場合、ブロック境界はまた、タイル境界と整列してもよい。フィルタは、このようなブロック境界を横切って適用されてもよく、したがって、サブピクチャ境界及び/又はタイル境界を横切って適用されてもよい。これは、隣接サブピクチャ510からのデータが利用不可能であるときにフィルタリングプロセスが予期しない方式で動作することがあるので、現在のサブピクチャ510が独立して抽出されるときにエラーを引き起こすことがある。
これらの問題に対処するために、サブピクチャ510レベルでフィルタリングを制御するフラグが使用されてもよい。例えば、フラグはloop_filter_across_subpic_enabled_flagとして示されてもよい。サブピクチャ510についてフラグが設定されたとき、フィルタは、対応するサブピクチャ境界を横切って適用できる。フラグが設定されていないとき、フィルタは、対応するサブピクチャ境界を横切って適用されない。このように、フィルタは、別々の抽出のために符号化されるサブピクチャ510についてオフにすることができ、或いは、グループとしての表示のために符号化されるサブピクチャ510についてオンにすることができる。タイル517レベルでフィルタリングを制御するために、他のフラグが設定できる。フラグは、loop_filter_across_tiles_enabled_flagとして示されてもよい。タイル517についてフラグが設定されたとき、フィルタは、タイル境界を横切って適用できる。フラグが設定されていないとき、フィルタは、タイル境界を横切って適用されない。このように、フィルタは、(例えば、タイルの内部をフィルタリングし続けつつ)タイル境界で使用するためにオフ又はオンにすることができる。ここで使用されるとき、フィルタは、フィルタが境界の両側のサンプルに適用されるとき、サブピクチャ510又はタイル517境界を横切って適用される。
また、上記のように、タイル化は任意選択である。しかし、いくつかのビデオコーディングシステムは、サブピクチャ510に含まれるタイル517に関してサブピクチャ境界を記述する。このようなシステムでは、タイル517に関するサブピクチャ境界記述は、サブピクチャ510の使用を、タイル517を使用するピクチャ500に制限する。サブピクチャ510の適用性を拡大するために、サブピクチャ510は、CTB518及び/又はCTU519に関して、境界に関して記述されてもよい。具体的には、サブピクチャ510の幅及び高さは、CTB518の単位でシグナリングできる。さらに、サブピクチャ510の左上CTU519の位置は、CTB518で測定されるようにピクチャ500の左上CTU519からのオフセットとしてシグナリングできる。CTU519及びCTB518サイズは、所定の値に設定されてもよい。したがって、CTB518及びCTU519に関してサブピクチャ寸法及び位置をシグナリングすることは、デコーダが表示のためにサブピクチャ510を位置決めするのに十分な情報を提供する。これは、タイル517が使用されないときであっても、サブピクチャ510が使用されることを可能にする。
さらに、いくつかのビデオコーディングシステムは、スライス515を、ピクチャ500に対するこれらの位置に基づいてアドレス指定する。これは、サブピクチャ510が独立した抽出及び表示のためにコーディングされるときに問題を生じる。このような場合、省略されたサブピクチャ510に関連するスライス515及び対応するアドレスも省略される。スライス515のアドレスの省略は、デコーダがスライス515を適切に位置決めすることを妨げることがある。いくつかのビデオコーディングシステムは、スライス515に関連するスライスヘッダ内のアドレスを動的に書き換えることにより、この問題に対処する。ユーザは、いずれかのサブピクチャを要求してもよいので、このような書き換えは、ユーザがビデオを要求する毎に発生し、これは極めてリソース集約的である。この問題を克服するために、スライス515は、サブピクチャ510が使用されるとき、スライス515を含むサブピクチャ510に対してアドレス指定される。例えば、スライス515は、スライス515を含むサブピクチャ510に特有のインデックス又は他の値により識別できる。スライスアドレスは、スライス515に関連するスライスヘッダにコーディングできる。スライス515を含むサブピクチャ510のサブピクチャIDもまた、スライスヘッダに符号化できる。さらに、サブピクチャ510の寸法/構成は、サブピクチャIDと共にSPSにコーディングできる。したがって、デコーダは、完全なピクチャ500を参照することなく、サブピクチャIDに基づいてSPSからサブピクチャ510構成を取得し、スライス515をサブピクチャ510に位置決めすることができる。したがって、サブピクチャ510が抽出されるときに、スライスヘッダの書き換えが省略でき、これは、エンコーダ、デコーダ及び/又は対応するスライサにおけるリソース使用をかなり低減する。
一旦ピクチャ500がCTB518及び/又はCTU519に区分されると、CTB518及び/又はCTU519はコーディングブロックに更に分割できる。次いで、コーディングブロックは、イントラ予測及び/又はインター予測に従ってコーディングできる。本開示はまた、インター予測メカニズムに関連する改良を含む。インター予測は、一方向インター予測及び/又は双方向インター予測に従って動作できるいくつかの異なるモードで実行できる。
図６は、例えば、ブロック圧縮ステップ105、ブロック復号ステップ113、動き推定コンポーネント221、動き補償コンポーネント219、動き補償コンポーネント321及び/又は動き補償コンポーネント421において、動きベクトル(motion vector, MV)を決定するために実行される、一方向インター予測600の例を示す概略図である。例えば、一方向インター予測600は、ピクチャ500のようなピクチャを区分するときに作成される符号化及び/又は復号ブロックについての動きベクトルを決定するために使用できる。
一方向インター予測600は、現在のフレーム610内の現在のブロック611を予測するために、参照ブロック631を有する参照フレーム630を使用する。参照フレーム630は、図示のように、(例えば、後続の参照フレームとして)現在のフレーム610の後に時間的に配置されてもよいが、いくつかの例では、(例えば、先行の参照フレームとして)現在のフレーム610の前に時間的に配置されてもよい。現在のフレーム610は、特定の時間に符号化/復号される例示的なフレーム/ピクチャである。現在のフレーム610は、参照フレーム630の参照ブロック631内のオブジェクトとマッチングする現在のブロック611内のオブジェクトを含む。参照フレーム630は、現在のフレーム610を符号化するための参照として使用されるフレームであり、参照ブロック631は、現在のフレーム610の現在のブロック611にも含まれるオブジェクトを含む参照フレーム630内のブロックである。
現在のブロック611は、コーディングプロセスにおける指定の点で符号化/復号されているいずれかのコーディングユニットである。現在のブロック611は、全体の区分されたブロックでもよく、或いは、アフィンインター予測モードを使用するときのサブブロックでもよい。現在のフレーム610は、何らかの時間距離(temporal distance, TD)633だけ参照フレーム630から分離している。TD633は、ビデオシーケンスにおいて、現在のフレーム610と参照フレーム630との間の時間量を示し、フレームの単位で測定されてもよい。現在のブロック611についての予測情報は、フレームの間の方向及び時間距離を示す参照インデックスにより、参照フレーム630及び/又は参照ブロック631を参照してもよい。TD633により表される期間にわたって、現在のブロック611内のオブジェクトは、現在のフレーム610内の位置から参照フレーム630内の他の位置(例えば、参照ブロック631の位置)に移動する。例えば、オブジェクトは、時間と共にオブジェクトの動きの方向である動き軌跡613に沿って移動してもよい。動きベクトル635は、TD633にわたる動き軌跡613に沿ったオブジェクトの動きの方向及び大きさを記述する。したがって、符号化された動きベクトル635、参照ブロック631、及び現在のブロック611と参照ブロック631との間の差を含む残差は、現在のブロック611を再現して現在のフレーム610内で現在のブロック611を位置決めするのに十分な情報を提供する。
図７は、例えば、ブロック圧縮ステップ105、ブロック復号ステップ113、動き推定コンポーネント221、動き補償コンポーネント219、動き補償コンポーネント321及び/又は動き補償コンポーネント421において、MVを決定するために実行される、双方向インター予測700の例を示す概略図である。例えば、双方向インター予測700は、ピクチャ500のようなピクチャを区分するときに作成される符号化及び/又は復号ブロックについての動きベクトルを決定するために使用できる。
双方向インター予測700は、一方向インター予測600と同様であるが、現在のフレーム710内の現在のブロック711を予測するために一対の参照フレームを使用する。したがって、現在のフレーム710及び現在のブロック711は、それぞれ現在のフレーム610及び現在のブロック611と実質的に同様である。現在のフレーム710は、ビデオシーケンスにおいて現在のフレーム710の前に生じる先行の参照フレーム720と、ビデオシーケンスにおいて現在のフレーム710の後に生じる後続の参照フレーム730との間に時間的に配置される。先行の参照フレーム720及び後続の参照フレーム730は、他の点では参照フレーム630と実質的に同様である。
現在のブロック711は、先行の参照フレーム720内の先行の参照ブロック721と、後続の参照フレーム730内の後続の参照ブロック731とマッチングされる。このようなマッチングは、ビデオシーケンスの過程において、オブジェクトが、先行の参照ブロック721の位置から動き軌跡713に沿って現在のブロック711を介して後続の参照ブロック731の位置に移動することを示す。現在のフレーム710は、何らかの先行の時間距離(TD0)723だけ先行の参照フレーム720から分離しており、何らかの後続の時間距離(TD1)733だけ後続の参照フレーム730から分離している。TD0 723は、フレームの単位で、ビデオシーケンスにおける先行の参照フレーム720と現在のフレーム710との間の時間量を示す。TD1 733は、フレームの単位で、ビデオシーケンスにおける現在のフレーム710と後続の参照フレーム730との間の時間量を示す。したがって、オブジェクトは、TD0 723により示される期間にわたって、動き軌跡713に沿って先行の参照ブロック721から現在のブロック711に移動する。オブジェクトはまた、TD1 733により示される期間にわたって、動き軌跡713に沿って現在のブロック711から後続の参照ブロック731に移動する。現在のブロック711についての予測情報は、フレームの間の方向及び時間距離を示す一対の参照インデックスにより、先行の参照フレーム720及び/又は先行の参照ブロック721と、後続の参照フレーム730及び/又は後続の参照ブロック731とを参照してもよい。
先行の動きベクトル(MV0)725は、TD0 723にわたる(例えば、先行の参照フレーム720と現在のフレーム710との間の)動き軌跡713に沿ったオブジェクトの動きの方向及び大きさを記述する。後続の動きベクトル(MV1)735は、TD1 733にわたる(例えば、現在のフレーム710と後続の参照フレーム730との間の)動き軌跡713に沿ったオブジェクトの動きの方向及び大きさを記述する。したがって、双方向インター予測700において、現在のブロック711は、先行の参照ブロック721及び/又は後続の参照ブロック731、MV0 725及びMV1 735を使用することによりコーディング及び再現できる。
マージモード及び高度動きベクトル予測(advanced motion vector prediction, AMVP)モードの双方において、候補リストは、候補リスト決定パターンにより定義された順に候補動きベクトルを候補リストに追加することにより生成される。このような候補動きベクトルは、一方向インター予測600、双方向インター予測700又はこれらの組み合わせによる動きベクトルを含んでもよい。具体的には、動きベクトルは、隣接ブロックについて、このようなブロックが符号化されるときに生成される。このような動きベクトルは、現在のブロックについての候補リストに追加され、現在のブロックについての動きベクトルは、候補リストから選択される。次いで、動きベクトルは、候補リスト内の選択された動きベクトルのインデックスとしてシグナリングできる。デコーダは、エンコーダと同じプロセスを使用して候補リストを構築でき、シグナリングされたインデックスに基づいて候補リストから選択された動きベクトルを決定できる。したがって、候補動きベクトルは、このような隣接ブロックが符号化されるときにどの手法が使用されるかに依存して、一方向インター予測600及び/又は双方向インター予測700に従って生成された動きベクトルを含む。
図８は、隣接するコーディングされたブロック802からの候補動きベクトルに基づいて現在のブロック801をコーディングする例800を示す概略図である。エンコーダ300及び/又はデコーダ400の動作方法100、及び/又はコーデックシステム200の機能の使用は、候補リストを生成するために隣接ブロック802を使用できる。このような候補リストは、一方向インター予測600及び/又は双方向インター予測700によるインター予測において使用できる。次いで、候補リストは、現在のブロック801を符号化/復号するために使用でき、これは、ピクチャ500のようなピクチャを区分することにより生成されてもよい。
現在のブロック801は、例に依存して、指定の時間においてエンコーダで符号化されているか或いはデコーダで復号されているブロックである。コーディングされたブロック802は、指定の時間において既に符号化されているブロックである。したがって、コーディングされたブロック802は、候補リストを生成するときに使用するのに潜在的に利用可能である。現在のブロック801及びコーディングされたブロック802は、共通のフレームに含まれてもよく、及び/又は、時間的に隣接するフレームに含まれてもよい。コーディングされたブロック802が現在のブロック801と共に共通のフレームに含まれるとき、コーディングされたブロック802は、現在のブロック801の境界にすぐ隣接する(例えば、接触する)境界を含む。コーディングされたブロック802が時間的に隣接するフレームに含まれるとき、コーディングされたブロック802は、時間的に隣接するフレーム内で、現在のフレーム内の現在のブロック801の位置と同じ位置に位置する。候補リストは、コーディングされたブロック802からの動きベクトルを候補動きベクトルとして追加することにより生成できる。次いで、候補リストから候補動きベクトルを選択し、選択された候補動きベクトルのインデックスをシグナリングすることにより、現在のブロック801がコーディングできる。
図９は、動きベクトルの候補リストを決定するための例示的なパターン900を示す概略図である。具体的には、エンコーダ300及び/又はデコーダ400の動作方法100、及び/又はコーデックシステム200の機能の使用は、ピクチャ500から区分された現在のブロック801を符号化するために、候補リスト911を生成する際に使用する候補リスト決定パターン900を使用できる。結果の候補リスト911は、マージ候補リスト又はAMVP候補リストでもよく、これは、一方向インター予測600及び/又は双方向インター予測700によるインター予測において使用できる。
現在のブロック901を符号化するとき、候補リスト決定パターン900は、有効な候補動きベクトルを求めて、現在のブロックと同じピクチャ/フレーム内で、A0、A1、B0、B1及び/又はB2として示される位置905を探索する。候補リスト決定パターン900はまた、有効な候補動きベクトルを求めて、同一位置のブロック909を探索してもよい。同一位置のブロック909は、現在のブロック901と同じ位置にあるブロック901であるが、時間的に隣接するピクチャ/フレームに含まれる。次いで、候補動きベクトルは、所定の検査順に候補リスト911に配置できる。したがって、候補リスト911は、インデックス付き候補動きベクトルの手続き的に生成されたリストである。
候補リスト911は、現在のブロック901についてインター予測を実行するための動きベクトルを選択するために使用できる。例えば、エンコーダは、候補リスト911からの候補動きベクトルにより指される参照ブロックのサンプルを取得できる。次いで、エンコーダは、現在のブロック901に最も近くマッチングする参照ブロックを指す候補動きベクトルを選択できる。次いで、選択された候補動きベクトルのインデックスは、現在のブロック901を表すように符号化できる。いくつかの場合、候補動きベクトルは、部分的な参照サンプル915を含む参照ブロックを指す。この場合、動きベクトル選択をサポートするための完全な参照サンプル915を再現するために、補間フィルタ913が使用できる。補間フィルタ913は、信号をアップサンプリング可能なフィルタである。具体的には、補間フィルタ913は、部分的な/より低品質の信号を入力として受け付け、より完全な/より高品質の信号の近似値を決定することが可能なフィルタである。したがって、補間フィルタ913は、特定の場合に、現在のブロック901についての参照ブロックを選択する際に、したがって、現在のブロック901を符号化するための動きベクトルを選択する際に使用するための、参照サンプル915の完全なセットを取得するために使用できる。
候補リストを使用することによりインター予測に基づいてブロックをコーディングするための上記のメカニズムは、サブピクチャ510のようなサブピクチャが使用されるとき、特定のエラーを引き起こすことがある。具体的には、現在のブロック901が現在のサブピクチャに含まれるが、動きベクトルが、隣接サブピクチャに少なくとも部分的に位置する参照ブロックを指すとき、問題が生じることがある。このような場合、現在のサブピクチャは、隣接サブピクチャなしで提示するために抽出されてもよい。これが生じるとき、隣接サブピクチャ内の参照ブロックの部分はデコーダに伝送されなくてもよく、したがって、参照ブロックは現在のブロック901を復号するために利用可能でないことがある。これが生じるとき、デコーダは、現在のブロック901を復号するのに十分なデータへのアクセスを有さない。
本開示は、この問題に対処するためのメカニズムを提供する。一例では、現在のサブピクチャがピクチャとして扱われるべきであることを示すフラグが使用される。このフラグは、サブピクチャの別々の抽出をサポートするように設定できる。具体的には、フラグが設定されたとき、現在のサブピクチャは、他のサブピクチャ内のデータを参照することなく符号化されるべきである。この場合、現在のサブピクチャが他のサブピクチャとは別々にコーディングされ、別々のピクチャとして表示できるという点で、現在のサブピクチャはピクチャのように扱われる。したがって、このフラグは、subpic_treated_as_pic_flag[i]として示されてもよく、iは現在のサブピクチャのインデックスである。フラグが設定されたとき、同一位置のブロック909から取得された動きベクトル候補(動きベクトル予測子としても知られる)は、現在のサブピクチャ内を指す動きベクトルのみを含む。現在のサブピクチャ外を指すいずれかの動きベクトル予測子は、候補リスト911から除外される。これは、現在のサブピクチャ外を指す動きベクトルが選択されず、関連するエラーが回避されることを確保する。この例は、特に、同一位置のブロック909からの動きベクトルに当てはまる。同じピクチャ/フレーム内の探索位置905からの動きベクトルは、以下に記載のように、別々のメカニズムにより補正されてもよい。
他の例は、現在のサブピクチャがピクチャとして扱われるとき(例えば、subpic_treated_as_pic_flag[i]が設定されたとき)、探索位置905をアドレス指定するために使用されてもよい。現在のサブピクチャがピクチャのように扱われるとき、現在のサブピクチャは、他のサブピクチャを参照することなく抽出されるべきである。例示的なメカニズムは、補間フィルタ913に関する。補間フィルタ913は、他の位置における関連するサンプルを補間(例えば、予測)するために、1つの位置におけるサンプルに適用できる。本例では、探索位置905におけるコーディングされたブロックからの動きベクトルは、補間フィルタ913が現在のサブピクチャからの参照サンプル915のみに基づいて現在のサブピクチャ外の参照サンプル915を補間できる限り、このような参照サンプル915を指してもよい。したがって、本例は、同じピクチャからの探索位置905からの動きベクトル候補に補間フィルタ913を適用するときに適用されるクリッピング関数を使用する。このクリッピング関数は、隣接サブピクチャからのデータをクリッピングし、したがって、動きベクトル候補により指される参照サンプル915を決定するとき、補間フィルタ913への入力としてこのようなデータを除去する。この手法は、サブピクチャがピクチャとして扱われるとき、別々の抽出及び復号をサポートするように、符号化の間にサブピクチャの間の分離を維持する。クリッピング関数は、ルマサンプルバイリニア補間プロセス、ルマサンプル8タップ補間フィルタリングプロセス及び/又はクロマサンプル補間プロセスに適用されてもよい。
図１０は、例示的なループ内フィルタ1000を示すブロック図である。ループ内フィルタ1000は、ループ内フィルタ225、325及び/又は425を実現するために使用されてもよい。さらに、ループ内フィルタ1000は、方法100を実行するときにエンコーダ及びデコーダにおいて適用されてもよい。さらに、ループ内フィルタ1000は、ピクチャ500から区分された現在のブロック801をフィルタリングするために適用でき、これは、パターン900に従って生成された候補リストに基づいて、一方向インター予測600及び/又は双方向インター予測700に従ってコーディングされてもよい。ループ内フィルタ1000は、デブロッキングフィルタ1043、SAOフィルタ1045及び適応ループフィルタ(adaptive loop filter, ALF)1047を含む。ループ内フィルタ1000のフィルタは、(例えば、参照ブロックとして使用する前に)エンコーダにおいて且つ表示する前にデコーダにおいて、再現された画像ブロックに順に適用される。
デブロッキングフィルタ1043は、ブロックベースのインター及びイントラ予測により作成されたブロック形状のエッジを除去するように構成される。デブロッキングフィルタ1043は、区分境界で生じるクロマ及び/又はルマ値の不連続性を求めて画像部分(例えば、画像スライス)をスキャンする。次いで、デブロッキングフィルタ1043は、このような不連続性を除去するために、平滑化機能をブロック境界に適用する。デブロッキングフィルタ1043の強度は、ブロック境界に隣接する領域で生じる空間的アクティビティ(例えば、ルマ/クロマ成分の分散)に依存して変更されてもよい。
SAOフィルタ1045は、符号化プロセスにより引き起こされるサンプル歪みに関連するアーチファクトを除去するように構成される。エンコーダにおけるSAOフィルタ1045は、相対的なデブロッキングエッジ形状及び/又は方向に基づいて、再現された画像のデブロッキングされたサンプルをいくつかのカテゴリに分類する。次いで、カテゴリに基づいてオフセットが決定され、サンプルに追加される。次いで、オフセットはビットストリームに符号化され、デコーダにおいてSAOフィルタ1045により使用される。SAOフィルタ1045は、バンディングアーチファクト(banding artefact)(滑らかな遷移ではなく値の帯)及びリンギングアーチファクト(ringing artefact)(鋭いエッジ近くのスプリアス信号)を除去する。
ALF1047は、エンコーダにおいて、再現された画像を元の画像と比較するように構成される。ALF1047は、例えば、ウィナー(Wiener)ベースの適応フィルタを介して、再現された画像と元の画像との間の差を記述する係数を決定する。このような係数は、ビットストリームに符号化され、再現された画像と元の画像との間の差を除去するためにデコーダにおけるALF1047により使用される。
ループ内フィルタ1000によりフィルタリングされた画像データは、復号ピクチャバッファ223、323及び/又は423と実質的に同様のピクチャバッファ1023に出力される。上記のように、デブロッキングフィルタ1043、SAOフィルタ1045及び/又はALF1047は、それぞれloop_filter_across_subpic_enabledフラグ及び/又はloop_filter_across_tiles_enabled_flagのようなフラグにより、サブピクチャ境界及び/又はタイル境界でオフにすることができる。
図１１は、ピクチャのサブピクチャを復号することをサポートするためのコーディングツールパラメータを含む例示的なビットストリーム1100を示す概略図である。例えば、ビットストリーム1100は、コーデックシステム200及び/又はデコーダ400により復号するために、コーデックシステム200及び/又はエンコーダ300により生成できる。他の例として、ビットストリーム1100は、ステップ111においてデコーダにより使用するために、方法100のステップ109においてエンコーダにより生成されてもよい。さらに、ビットストリーム1100は、符号化ピクチャ500、対応するサブピクチャ510、及び/又は現在のブロック801及び/又は901のような関連するコーディングされたブロックを含んでもよく、これは、パターン900に従って生成された候補リストに基づいて一方向インター予測600及び/又は双方向インター予測700に従ってコーディングされてもよい。ビットストリーム1100はまた、ループ内フィルタ1000を構成するためのパラメータを含んでもよい。
ビットストリーム1100は、シーケンスパラメータセット(sequence parameter set, SPS)1110、複数のピクチャパラメータセット(picture parameter set, PPS)1111、複数のスライスヘッダ1115及び画像データ1120を含む。SPS1110は、ビットストリーム1100に含まれるビデオシーケンス内の全てのピクチャに共通のシーケンスデータを含む。このようなデータは、ピクチャサイズ、ビット深度、コーディングツールパラメータ、ビットレート制限等を含むことができる。PPS1111は、全体のピクチャに適用するパラメータを含む。したがって、ビデオシーケンス内の各ピクチャは、PPS1111を参照してもよい。各ピクチャはPPS1111を参照するが、いくつかの例では、単一のPPS1111は複数のピクチャのためのデータを含むことができる点に留意すべきである。例えば、複数の同様のピクチャは、同様のパラメータに従ってコーディングされてもよい。このような場合、単一のPPS1111は、このような同様のピクチャのためのデータを含んでもよい。PPS1111は、対応するピクチャ内のスライスに利用可能なコーディングツール、量子化パラメータ、オフセット等を示すことができる。スライスヘッダ1115は、ピクチャ内の各スライスに特有のパラメータを含む。したがって、ビデオシーケンスに、スライス当たり1つのスライスヘッダ1115が存在してもよい。スライスヘッダ1115は、スライスタイプ情報、ピクチャ順序カウント(picture order count, POC)、参照ピクチャリスト、予測重み、タイルエントリポイント、デブロックパラメータ等を含んでもよい。スライスヘッダ1115はまた、いくつかの状況においてタイルグループヘッダとも呼ばれてもよい点に留意すべきである。
画像データ1120は、インター予測及び/又はイントラ予測に従って符号化されたビデオデータと、対応する変換及び量子化された残差データとを含む。例えば、ビデオシーケンスは、画像データとしてコーディングされた複数のピクチャを含む。ピクチャは、ビデオシーケンスの単一のフレームであり、したがって、ビデオシーケンスを表示するときに、一般的に単一のユニットとして表示される。しかし、仮想現実、ピクチャ・イン・ピクチャ等のような特定の技術を実現するために、サブピクチャが表示されてもよい。ピクチャはPPS1111をそれぞれ参照する。ピクチャは、上記のように、サブピクチャ、タイル及び/又はスライスに分割される。いくつかのシステムでは、スライスは、タイルを含むタイルグループと呼ばれる。スライス及び/又はタイルのタイルグループは、スライスヘッダ1115を参照する。スライスは、CTU及び/又はCTBに更に分割される。CTU/CTBは、コーディングツリーに基づいてコーディングブロックに更に分割される。次いで、コーディングブロックは、予測メカニズムに従って符号化/復号できる。
ビットストリーム1100内のパラメータセットは、ここに記載の例を実現するために使用できる様々なデータを含む。第1の例の実現方式をサポートするために、ビットストリーム1100のSPS1110は、指定のサブピクチャに関する、ピクチャとして扱われるサブピクチャのフラグ1131を含む。いくつかの例では、ピクチャとして扱われるサブピクチャのフラグ1131は、subpic_treated_as_pic_flag[i]として示され、iはフラグに関連するサブピクチャのインデックスである。例えば、ピクチャとして扱われるサブピクチャのフラグ1131は、(画像データ1120内の)コーディングされたビデオシーケンス内のそれぞれのコーディングされたピクチャの第iのサブピクチャが、ループ内フィルタリング動作を除く復号プロセスにおいてピクチャとして扱われることを指定するために、1に等しく設定されてもよい。ピクチャとして扱われるサブピクチャのフラグ1131は、現在のピクチャ内の現在のサブピクチャがインター予測に従ってコーディングされているときに使用されてもよい。ピクチャとして扱われるサブピクチャのフラグ1131が、現在のサブピクチャがピクチャとして扱われることを示すように設定されたとき、現在のブロックについての候補動きベクトルの候補リストは、候補リストから、同一位置のブロックに含まれ且つ現在のサブピクチャ外を指す同一位置の動きベクトルを除外することにより決定できる。これは、現在のサブピクチャが他のサブピクチャから別々に抽出されるとき、現在のサブピクチャ外を指す動きベクトルが選択されず、関連するエラーが回避されることを確保する。
いくつかの例では、現在のブロックについての動きベクトルの候補リストは、時間ルマ動きベクトル予測に従って決定される。例えば、現在のブロックがルマサンプルのルマブロックであり、現在のブロックについての選択された現在の動きベクトルが参照ブロック内の参照ルマサンプルを指す時間ルマ動きベクトルであり、現在のブロックが参照ルマサンプルに基づいてコーディングされるとき、時間ルマ動きベクトル予測が使用されてもよい。このような場合、時間ルマ動きベクトル予測は以下に従って実行される。
xColBr=xCb+cbWidth;
yColBr=yCb+cbHeight;
rightBoundaryPos=subpic_treated_as_pic_flag[SubPicIdx]?
SubPicRightBoundaryPos:pic_width_in_luma_samples-1;且つ
botBoundaryPos=subpic_treated_as_pic_flag[SubPicIdx]?
SubPicBotBoundaryPos:pic_height_in_luma_samples-1
ここで、xColBr及びyColBRは同一位置のブロックの位置を指定し、xCb及びyCbは現在のピクチャの左上サンプルに対する現在のブロックの左上サンプルを指定し、cbWidthは現在のブロックの幅であり、cbHeightは現在のブロックの高さであり、SubPicRightBoundaryPosはサブピクチャの右境界の位置であり、SubPicBotBoundaryPosはサブピクチャの下境界の位置であり、pic_width_in_luma_samplesはルマサンプルで測定された現在のピクチャの幅であり、pic_height_in_luma_samplesはルマサンプルで測定された現在のピクチャの高さであり、botBoundaryPosはサブピクチャの下境界の計算された位置であり、rightBoundaryPosはサブピクチャの右境界の計算された位置であり、SubPicIdxはサブピクチャのインデックスであり、yCb>>CtbLog2SizeYがyColBr>>CtbLog2SizeYに等しくないとき、同一位置の動きベクトルは除外され、CtbLog2SizeYはコーディングツリーブロックのサイズを示す。
ピクチャとして扱われるサブピクチャのフラグ1131はまた、第2の例の実現方式のために使用されてもよい。第1の例のように、ピクチャとして扱われるサブピクチャのフラグ1131は、現在のピクチャ内の現在のサブピクチャがインター予測に従ってコーディングされているときに使用されてもよい。この例では、サブピクチャの現在のブロックについて(例えば、候補リストから)動きベクトルが決定できる。ピクチャとして扱われるサブピクチャのフラグ1131が設定されたとき、クリッピング関数が参照ブロック内のサンプル位置に適用できる。サンプル位置は、ルマ値及び/又は一対のクロマ値を含む単一のサンプルを含むことができるピクチャ内の位置である。次いで、動きベクトルが現在のサブピクチャ外を指すとき、補間フィルタが適用できる。このクリッピング関数は、別々の抽出をサポートするためのサブピクチャの間の分離を維持するために、補間フィルタが隣接サブピクチャからのデータに依存しないことを確保する。
クリッピング関数は、ルマサンプルバイリニア補間プロセスにおいて適用できる。ルマサンプルバイリニア補間プロセスは、全サンプルユニット(xIntL,yIntL)におけるルマ位置を含む入力を受信してもよい。ルマサンプルバイリニア補間プロセスは、予測ルマサンプル値(predSampleLXL)を出力する。クリッピング関数は、以下のようにサンプル位置に適用される。subpic_treated_as_pic_flag[SubPicIdx]が1に等しいとき、以下が当てはまる。
xInti=Clip3(SubPicLeftBoundaryPos,SubPicRightBoundaryPos,xIntL+i)、且つ
yInti=Clip3(SubPicTopBoundaryPos,SubPicBotBoundaryPos,yIntL+i)
ここで、subpic_treated_as_pic_flagはサブピクチャがピクチャとして扱われることを示すために設定されるフラグであり、SubPicIdxはサブピクチャのインデックスであり、xInti及びyIntiはインデックスiにおけるクリッピングされたサンプル位置であり、SubPicRightBoundaryPosはサブピクチャの右境界の位置であり、SubPicLeftBoundaryPosはサブピクチャの左境界の位置であり、SubPicTopBoundaryPosはサブピクチャの上境界の位置であり、SubPicBotBoundaryPosはサブピクチャの下境界の位置であり、Clip3は以下に従うクリッピング関数である。
Figure 2024019407000002
 ここで、x、y及びzは数値入力値である。
クリッピング関数はまた、ルマサンプル8タップ補間フィルタリングプロセスにおいて適用できる。ルマサンプル8タップ補間フィルタリングプロセスは、全サンプルユニット(xIntL,yIntL)におけるルマ位置を含む入力を受信する。ルマサンプルバイリニア補間プロセスは、予測ルマサンプル値(predSampleLXL)を出力する。クリッピング関数は、以下のようにサンプル位置に適用される。subpic_treated_as_pic_flag[SubPicIdx]が1に等しいとき、以下が当てはまる。
xInti=Clip3(SubPicLeftBoundaryPos,SubPicRightBoundaryPos,xIntL+i-3)、且つ
yInti=Clip3(SubPicTopBoundaryPos,SubPicBotBoundaryPos,yIntL+i-3)
ここで、subpic_treated_as_pic_flagはサブピクチャがピクチャとして扱われることを示すために設定されるフラグであり、SubPicIdxはサブピクチャのインデックスであり、xInti及びyIntiはインデックスiにおけるクリッピングされたサンプル位置であり、SubPicRightBoundaryPosはサブピクチャの右境界の位置であり、SubPicLeftBoundaryPosはサブピクチャの左境界の位置であり、SubPicTopBoundaryPosはサブピクチャの上境界の位置であり、SubPicBotBoundaryPosはサブピクチャの下境界の位置であり、Clip3は上記の通りである。
クリッピング関数はまた、クロマサンプル補間プロセスにおいて適用できる。クロマサンプル補間プロセスは、全サンプルユニット(xIntC,yIntC)におけるクロマ位置を含む入力を受信する。クロマサンプル補間プロセスは、予測クロマサンプル値(predSampleLXC)を出力する。クリッピング関数は、以下のようにサンプル位置に適用される。subpic_treated_as_pic_flag[SubPicIdx]が1に等しいとき、以下が当てはまる。
xInti=Clip3(SubPicLeftBoundaryPos/SubWidthC,SubPicRightBoundaryPos/SubWidthC,xIntC+i)、且つ
yInti=Clip3(SubPicTopBoundaryPos/SubHeightC,SubPicBotBoundaryPos/SubHeightC,yIntC+i)
ここで、subpic_treated_as_pic_flagはサブピクチャがピクチャとして扱われることを示すために設定されるフラグであり、SubPicIdxはサブピクチャのインデックスであり、xInti及びyIntiはインデックスiにおけるクリッピングされたサンプル位置であり、SubPicRightBoundaryPosはサブピクチャの右境界の位置であり、SubPicLeftBoundaryPosはサブピクチャの左境界の位置であり、SubPicTopBoundaryPosはサブピクチャの上境界の位置であり、SubPicBotBoundaryPosはサブピクチャの下境界の位置であり、SubWidthC及びSubHeightCはルマサンプルとクロマサンプルとの間の水平及び垂直サンプリングレート比を示し、Clip3は上記の通りである。
SPS1110内のサブピクチャを横切るループフィルタ有効化のフラグ1132は、第3の例の実現方式のために使用されてもよい。サブピクチャを横切るループフィルタ有効化のフラグ1132は、フィルタリングが指定のサブピクチャの境界を横切って使用されるか否かを制御するために設定されてもよい。例えば、サブピクチャを横切るループフィルタ有効化のフラグ1132は、loop_filter_across_subpic_enabled_flagとして示されてもよい。サブピクチャを横切るループフィルタ有効化のフラグ1132は、ループ内フィルタリング動作がサブピクチャの境界を横切って実行できることを指定するとき、1に設定されてもよく、或いは、ループ内フィルタリング動作がサブピクチャの境界を横切って実行されないことを指定するとき、0に設定されてもよい。したがって、フィルタリング動作は、サブピクチャを横切るループフィルタ有効化のフラグ1132の値に基づいて、サブピクチャ境界を横切って実行されてもよく或いは実行されなくてもよい。フィルタリング動作は、デブロッキングフィルタ1043、ALF1047及び/又はSAOフィルタ1045を適用することを含んでもよい。このように、フィルタは、別々の抽出のために符号化されるサブピクチャについてオフにすることができ、或いは、グループとしての表示のために符号化されるサブピクチャについてオンにすることができる。
PPS1111内のタイルを横切るループフィルタ有効化のフラグ1134は、第4の例の実現方式のために使用されてもよい。タイルを横切るループフィルタ有効化のフラグ1134は、フィルタリングが指定のタイルの境界を横切って使用されるか否かを制御するために設定されてもよい。例えば、タイルを横切るループフィルタ有効化のフラグ1134は、loop_filter_across_tiles_enabled_flagとして示されてもよい。タイルを横切るループフィルタ有効化のフラグ1134は、ループ内フィルタリング動作がタイルの境界を横切って実行できることを指定するとき、1に設定されてもよく、或いは、ループ内フィルタリング動作がタイルの境界を横切って実行されないことを指定するとき、0に設定されてもよい。したがって、フィルタリング動作は、タイルを横切るループフィルタ有効化のフラグ1134の値に基づいて、指定のタイル境界を横切って実行されてもよく或いは実行されなくてもよい。フィルタリング動作は、デブロッキングフィルタ1043、ALF1047及び/又はSAOフィルタ1045を適用することを含んでもよい。
SPS1110内のサブピクチャデータ1133は、第5の例の実現方式のために使用されてもよい。サブピクチャデータ1133は、画像データ1120内の各サブピクチャについての幅、高さ及びオフセットを含んでもよい。例えば、各サブピクチャの幅及び高さは、CTBの単位でサブピクチャデータ1133に記述できる。いくつかの例では、サブピクチャの幅及び高さは、それぞれsubpic_width_minus1及びsubpic_height_minus1として、サブピクチャデータ1133に記憶される。さらに、各サブピクチャのオフセットは、CTUの単位でサブピクチャデータ1133に記述できる。例えば、各サブピクチャのオフセットは、サブピクチャの左上CTUの垂直位置及び水平位置として指定できる。具体的には、サブピクチャのオフセットは、ピクチャの左上CTUとサブピクチャの左上CTUとの差として指定できる。いくつかの例では、サブピクチャの左上CTUの垂直位置及び水平位置は、それぞれsubpic_ctu_top_left_y及びsubpic_ctu_top_left_xとしてサブピクチャデータ1133に記憶される。この例の実現方式は、タイルに関してではなく、CTB/CTUに関してサブピクチャデータ1133内のサブピクチャを記述する。これは、対応するピクチャ/サブピクチャにおいてタイルが使用されていないときであっても、サブピクチャが使用されることを可能にする。
SPS1110内のサブピクチャデータ1133、スライスヘッダ1115内のスライスアドレス1136及びスライスヘッダ1115内のスライスサブピクチャID1135は、第6の例の実現方式のために使用されてもよい。サブピクチャデータ1133は、第5の例の実現方式において記載されるように実現されてもよい。スライスアドレス1136は、スライスヘッダ1115に関連するスライス(例えば、画像データ1120)のサブピクチャレベルのスライスインデックスを含んでもよい。例えば、スライスは、ピクチャ内のスライスの位置に基づくのではなく、サブピクチャ内のスライスの位置に基づいてインデックス付けされる。スライスアドレス1136は、slice_address変数に記憶されてもよい。スライスサブピクチャID1135は、スライスヘッダ1115に関連するスライスを含むサブピクチャのIDを含む。具体的には、スライスサブピクチャID1135は、サブピクチャデータ1133内の対応するサブピクチャの記述(例えば、幅、高さ及びオフセット)を参照してもよい。スライスサブピクチャID1135は、slice_subpic_id変数に記憶されてもよい。したがって、スライスアドレス1136は、サブピクチャデータ1133に記述されるように、サブピクチャID1135により示されるサブピクチャ内のスライスの位置に基づくインデックスとしてシグナリングされる。このように、サブピクチャが別々に抽出され、他のサブピクチャがビットストリーム1100から省略されるときであっても、サブピクチャ内のスライスの位置が決定できる。これは、このアドレス指定方式が各サブピクチャのアドレスを他のサブピクチャから分離するからである。したがって、ピクチャ内のスライスの位置に基づいてスライスがアドレス指定されるアドレス指定方式において必要とされるように、スライスヘッダ1115は、サブピクチャが抽出されるときに書き換えられる必要がない。この手法は、スライスが(ラスタスキャンスライスとは対照的に)長方形スライスであるときに使用されてもよい点に留意すべきである。例えば、PPS1111内のrect_slice_flagは、スライスが長方形スライスであることを示すために、1に等しく設定できる。
いくつかのビデオコーディングシステムにおいて使用されるサブピクチャの例示的な実現方式は以下の通りである。CVSに存在し得るサブピクチャに関連する情報は、SPSでシグナリングされてもよい。このようなシグナリングは以下の情報を含んでもよい。CVSの各ピクチャに存在するサブピクチャの数はSPSに含まれてもよい。SPS又はCVSのコンテキストにおいて、全てのアクセスユニット(access unit, AU)についての同一位置のサブピクチャは、併せてサブピクチャシーケンスと呼ばれてもよい。各サブピクチャの特性に関連する情報を更に指定するためのループもまた、SPSに含まれてもよい。このような情報は、サブピクチャ識別、サブピクチャの位置(例えば、サブピクチャの左上角ルマサンプルとピクチャの左上角ルマサンプルとの間のオフセット距離)及びサブピクチャのサイズを含んでもよい。さらに、SPSはまた、サブピクチャのそれぞれが動き制約サブピクチャであるか否かをシグナリングするために使用されてもよく、動き制約サブピクチャは、MCTSを含むサブピクチャである。各サブピクチャについてのプロファイル、階層及びレベル情報は、このような情報が別途導出可能でない限り、ビットストリームに含まれてもよい。このような情報は、全体のピクチャを含む元のビットストリームからサブピクチャを抽出することから作成された抽出ビットストリームについてのプロファイル、階層及びレベル情報に使用されてもよい。各サブピクチャのプロファイル及び階層は、元のプロファイル及び階層と同じであると導出されてもよい。各サブピクチャについてのレベルは、明示的にシグナリングされてもよい。このようなシグナリングは、上記のループに存在してもよい。シーケンスレベルの仮想参照デコーダ(hypothetical reference decoder, HRD)パラメータは、各サブピクチャ(又は等価的に各サブピクチャシーケンス)についてのSPSのビデオユーザビリティ情報(video usability information, VUI)部分でシグナリングされてもよい。
ピクチャが2つ以上のサブピクチャに区分されていないとき、サブピクチャの特性(例えば、位置、サイズ等)は、サブピクチャIDを除いて、ビットストリームでシグナリングされなくてもよい。CVS内のピクチャ内のサブピクチャが抽出されるとき、新たなビットストリーム内の各アクセスユニットはサブピクチャを含まなくてもよい。この理由は、新たなビットストリーム内の各AU内の結果の画像データが複数のサブピクチャに区分されないからである。したがって、位置及びサイズのようなサブピクチャ特性は、このような情報がピクチャ特性から導出できるので、SPSから省略されてもよい。しかし、サブピクチャ識別は、抽出されたサブピクチャに含まれるビデオコーディングレイヤ(video coding layer, VCL)NALユニット/タイルグループによりこのIDが参照されることがあるので、依然としてシグナリングされる。リソース使用を低減するために、サブピクチャを抽出するとき、サブピクチャIDを変更することは回避されるべきである。
ピクチャ内のサブピクチャの位置(xオフセット及びyオフセット)は、ルマサンプルの単位でシグナリングでき、サブピクチャの左上角ルマサンプルとピクチャの左上角ルマサンプルとの間の距離を表してもよい。他の例では、ピクチャ内のサブピクチャの位置は、最小コーディングルマブロックサイズ(MinCbSizeY)の単位でシグナリングでき、サブピクチャの左上角ルマサンプルとピクチャの左上角ルマサンプルとの間の距離を表してもよい。他の例では、サブピクチャ位置オフセットの単位は、パラメータセット内のシンタックスエレメントにより明示的に示されてもよく、単位は、CtbSizeY、MinCbSizeY、ルマサンプル又は他の値でもよい。コーデックは、サブピクチャの右境界がピクチャの右境界と一致しないとき、サブピクチャの幅がルマCTUサイズ(CtbSizeY)の整数倍とすることを要求してもよい。同様に、コーデックは、サブピクチャの下境界がピクチャの下境界と一致しないとき、サブピクチャの高さがCtbSizeYの整数倍とすることを更に要求してもよい。コーデックはまた、サブピクチャの幅がルマCTUサイズの整数倍でないとき、サブピクチャがピクチャの最も右の位置に位置することを要求してもよい。同様に、コーデックは、サブピクチャの高さがルマCTUサイズの整数倍でないとき、サブピクチャがピクチャの最も下の位置に位置することを要求してもよい。サブピクチャの幅がルマCTUサイズの単位でシグナリングされ、サブピクチャの幅がルマCTUサイズの整数倍でないとき、ルマサンプルにおける実際の幅は、サブピクチャのオフセット位置、ルマCTUサイズにおけるサブピクチャの幅、及びルマサンプルにおけるピクチャの幅に基づいて導出されてもよい。同様に、サブピクチャの高さがルマCTUサイズの単位でシグナリングされ、サブピクチャの高さがルマCTUサイズの整数倍でないとき、ルマサンプルにおける実際の高さは、サブピクチャのオフセット位置、ルマCTUサイズにおけるサブピクチャの高さ、及びルマサンプルにおけるピクチャの高さに基づいて導出できる。
いずれかのサブピクチャについて、サブピクチャIDは、サブピクチャインデックスと異なってもよい。サブピクチャインデックスは、SPS内のサブピクチャのループでシグナリングされるようなサブピクチャのインデックスでもよい。代替として、サブピクチャインデックスは、ピクチャに対するサブピクチャラスタスキャン順に割り当てられたインデックスでもよい。各サブピクチャのサブピクチャIDの値がそのサブピクチャインデックスと同じであるとき、サブピクチャIDは、シグナリング又は導出されてもよい。各サブピクチャのサブピクチャIDがそのサブピクチャインデックスと異なるとき、サブピクチャIDは、明示的にシグナリングされる。サブピクチャIDをシグナリングするためのビット数は、サブピクチャ特性を含む同じパラメータセットで(例えば、SPSで)シグナリングされてもよい。サブピクチャIDについてのいくつかの値は、特定の目的のために留保されてもよい。このような値の留保は以下の通りとすることができる。タイルグループ/スライスヘッダが、どのサブピクチャがタイルグループを含むかを指定するためのサブピクチャIDを含むとき、タイルグループ/スライスヘッダの最初の数ビットが全て0でないことを確保し、エミュレーション防止コードを生成することを回避するために、値0が留保されてもよく、サブピクチャに使用されなくてもよい。ピクチャのサブピクチャが重複及びギャップなしにピクチャの全領域をカバーしないとき、値(例えば、値1)は、サブピクチャのいずれの部分でもないタイルグループのために留保されてもよい。代替として、残りの領域のサブピクチャIDが明示的にシグナリングされてもよい。サブピクチャIDをシグナリングするためのビット数は、以下のように制約されてもよい。値の範囲は、サブピクチャIDの留保値を含み、ピクチャ内の全てのサブピクチャを一意に識別するのに十分であるべきである。例えば、サブピクチャIDについての最小ビット数はCeil(Log2(ピクチャ内のサブピクチャの数+留保されたサブピクチャIDの数)の値とすることができる。
ループ内のサブピクチャのまとまりは、全体のピクチャをギャップなしに且つ重複なしにカバーするために必要とされてもよい。この制約が適用されるとき、サブピクチャが、サブピクチャが抽出できることを意味する動き制約サブピクチャであるか否かを指定するために、各サブピクチャについてフラグが存在する。代替として、サブピクチャのまとまりが全体のピクチャをカバーしなくてもよい。しかし、ピクチャのサブピクチャの間に重複が存在しなくてもよい。
サブピクチャIDは、サブピクチャ抽出プロセスを支援するために、抽出器がNALユニットビットの残りを理解する必要がないように、NALユニットヘッダの直後に存在してもよい。VCL NALユニットについて、サブピクチャIDはタイルグループヘッダの最初のビットに存在してもよい。非VCL NALユニットについて、以下の条件が当てはまってもよい。サブピクチャIDは、SPSについてのNALユニットヘッダの直後に存在する必要がなくてもよい。PPSに関して、同じピクチャの全てのタイルグループが同じPPSを参照するように制約されているとき、NALユニットヘッダの直後にサブピクチャIDが存在する必要はない。他方、同じピクチャのタイルグループが異なるPPSを参照することが許容される場合、サブピクチャIDはPPSの最初のビット(例えば、PPS NALユニットヘッダの直後)に存在してもよい。この場合、1つのピクチャの2つの異なるタイルグループが同じPPSを共有することは許容されない。代替として、同じピクチャのタイルグループが異なるPPSを参照することが許容され、同じピクチャの異なるタイルグループも同じPPSを共有することが許容されるとき、サブピクチャIDはPPSシンタックスに存在しない。代替として、同じピクチャのタイルグループが異なるPPSを参照することが許容され、同じピクチャの異なるタイルグループも同じPPSを共有することが許容されるとき、サブピクチャIDのリストがPPSシンタックスに存在する。当該リストは、PPSが適用するサブピクチャを示す。他の非VCL NALユニットについて、非VCLユニットがピクチャレベル(例えば、アクセスユニットデリミタ、シーケンスの終了、ビットストリームの終了等)以上に適用する場合、サブピクチャIDがそのNALユニットヘッダの直後に存在する必要はない。そうでない場合、サブピクチャIDはNALユニットヘッダの直後に存在してもよい。
個々のサブピクチャ内のタイル区分は、PPSでシグナリングされてもよいが、同じピクチャ内のタイルグループは、異なるPPSを参照することが許容される。この場合、タイルは、ピクチャを横切るのではなく、各サブピクチャ内でグループ化される。したがって、このような場合のタイルグループ化の概念は、サブピクチャをタイルに区分することを含む。代替として、サブピクチャパラメータセット(Sub-Picture Parameter Set, SPPS)が、個々のサブピクチャ内のタイル区分を記述するために使用されてもよい。SPPSは、SPS IDを参照するシンタックスエレメントを使用することによりSPSを参照する。SPPSはサブピクチャIDを含んでもよい。サブピクチャ抽出の目的のため、サブピクチャIDを参照するシンタックスエレメントは、SPPS内の最初のシンタックスエレメントである。SPPSは、列の数、行の数、均一なタイル間隔等を示すタイル構造を含む。SPPSは、ループフィルタが関連するサブピクチャ境界を横切って有効であるか否かを示すためのフラグを含んでもよい。代替として、各サブピクチャについてのサブピクチャ特性は、SPSの代わりにSPPSでシグナリングされてもよい。個々のサブピクチャ内のタイル区分は、PPSでシグナリングされてもよいが、同じピクチャ内のタイルグループは、異なるPPSを参照することが許容される。一旦アクティブにされると、SPPSは、復号順で連続するAUのシーケンスの間にわたって続いてもよいが、CVSの開始ではないAUにおいて非アクティブ/アクティブにされてもよい。複数のSPPSは、複数のサブピクチャを有する単一レイヤのビットストリームの復号プロセス中のいずれかの時点でアクティブでもよく、SPPSは、AUの異なるサブピクチャにより共有されてもよい。代替として、SPPS及びPPSは1つのパラメータセットにマージできる。これが生じるために、同じサブピクチャに含まれる全てのタイルグループは、SPPSとPPSとの間のマージから生じる同じパラメータセットを参照するように制約されてもよい。
サブピクチャIDをシグナリングするために使用されるビット数は、NALユニットヘッダでシグナリングされてもよい。このような情報は、存在するとき、NALユニットのペイロードの開始(例えば、NALユニットヘッダの直後の最初の数ビット)についてサブピクチャID値を解析する際のサブピクチャ抽出プロセスを支援する。このようなシグナリングのために、NALユニットヘッダ内の留保ビットのいくつかは、NALユニットヘッダの長さを増加させるのを回避するために使用されてもよい。このようなシグナリングのためのビット数は、sub-picture-ID-bit-lenの値をカバーすべきである。例えば、VVCのNALユニットヘッダ内の7つの留保ビットのうち4つのビットがこの目的のために使用されてもよい。
サブピクチャを復号するとき、垂直CTB位置(xCtb)及び水平CTB位置(yCtb)として示される各コーディングツリーブロックの位置は、サブピクチャ内のルマサンプル位置ではなく、ピクチャ内の実際のルマサンプル位置に調整される。このように、全てがサブピクチャではなくピクチャに位置するかのように復号されるので、各参照ピクチャからの同一位置のサブピクチャの抽出は回避できる。コーディングツリーブロックの位置を調整するために、変数SubpictureXOffset及びSubpictureYOffsetは、サブピクチャ位置(subpic_x_offset及びsubpic_y_offset)に基づいて導出される。変数の値は、サブピクチャ内の各コーディングツリーブロックのルマサンプル位置x及びy座標の値にそれぞれ加算される。サブピクチャ抽出プロセスは以下のように定義できる。プロセスへの入力は、抽出されるべきターゲットサブピクチャを含む。これは、サブピクチャID又はサブピクチャ位置の形式で入力できる。入力がサブピクチャの位置であるとき、関連するサブピクチャIDは、SPS内のサブピクチャ情報を解析することにより解決できる。非VCL NALユニットについて、以下が当てはまる。ピクチャサイズ及びレベルに関連するSPS内のシンタックスエレメントは、サブピクチャのサイズ及びレベル情報で更新される。以下の非VCL NALユニット、すなわち、PPS、アクセスユニットデリミタ(access unit delimiter, AUD)、シーケンスの終了(end of sequence, EOS)、ビットストリームの終了(end of bitstream, EOB)、及びピクチャレベル以上に適用可能ないずれかの他の非VCL NALユニットは、抽出によって変更されない。サブピクチャIDがターゲットサブピクチャIDに等しくない残りの非VCL NALユニットは除去される。サブピクチャIDがターゲットサブピクチャIDに等しくないVCL NALユニットも除去される。
サブピクチャネスト化SEIメッセージは、サブピクチャのセットについてのAUレベル又はサブピクチャレベルのSEIメッセージのネスト化に使用されてもよい。サブピクチャネスト化SEIメッセージで搬送されるデータは、バッファリング周期、ピクチャタイミング及び非HRD SEIメッセージを含んでもよい。このSEIメッセージのシンタックス及びセマンティクスは以下の通りとすることができる。全方向性メディアフォーマット(omnidirectional media format, OMAF)環境のようなシステム動作のために、ビューポートをカバーするサブピクチャシーケンスのセットが、OMAFプレイヤにより要求されて復号されてもよい。したがって、シーケンスレベルのSEIメッセージは、長方形又は正方形のピクチャ領域を併せて含むサブピクチャシーケンスのセットの情報を搬送してもよい。当該情報はシステムにより使用でき、当該情報は、最小復号能力と、サブピクチャシーケンスのセットのビットレートとを示す。当該情報は、サブピクチャシーケンスのセットのみを含むビットストリームのレベルと、ビットストリームのビットレートと、任意選択でサブピクチャシーケンスのセットについて指定されたサブビットストリーム抽出プロセスとを含む。
上記の実現方式は、いくつかの問題を含む。ピクチャの幅及び高さ、及び/又はサブピクチャの幅/高さ/オフセットのシグナリングは効率的ではない。このような情報をシグナリングするために、より多くのビットが節約できる。サブピクチャサイズ及び位置情報がSPSでシグナリングされるとき、PPSはタイル構成を含む。さらに、PPSは、同じピクチャの複数のサブピクチャにより共有されることが許容される。したがって、num_tile_columns_minus1及びnum_tile_rows_minus1についての値の範囲はより明確に指定されるべきである。さらに、サブピクチャが動き制約されているか否かを示すフラグのセマンティクスは明確に指定されていない。レベルは、各サブピクチャシーケンスについて必須にシグナリングされる。しかし、サブピクチャシーケンスが独立して復号できないとき、サブピクチャのレベルをシグナリングすることは有用ではない。さらに、いくつかのアプリケーションでは、いくつかのサブピクチャシーケンスは、少なくとも1つの他のサブピクチャシーケンスと一緒に復号されてレンダリングされるべきである。したがって、このようなサブピクチャシーケンスの単一のものについてレベルをシグナリングすることは、有用ではないことがある。さらに、各サブピクチャについてレベル値を決定することは、エンコーダに負担をかけることがある。
独立して復号可能なサブピクチャシーケンスの導入によって、ピクチャの特定の領域の独立した抽出及び復号を必要とするシナリオは、タイルグループに基づいて機能しないことがある。したがって、タイルグループIDの明示的なシグナリングは有用ではないことがある。さらに、PPSシンタックスエレメントpps_seq_parameter_set_id及びloop_filter_across_tiles_enabled_flagのそれぞれの値は、コーディングされたピクチャのタイルグループヘッダにより参照される全てのPPSで同じであるべきである。これは、アクティブなSPSがCVS内で変化するべきでなく、loop_filter_across_tiles_enabled_flagの値がタイルに基づいて並列処理するためにピクチャ内の全てのタイルについて同じであるべきであるからである。ピクチャ内で長方形及びラスタスキャンタイルグループの混合を可能にするか否かは明確に指定されるべきである。異なるタイルグループモードを使用するために、異なるピクチャの一部であり且つCVS内で同じサブピクチャIDを使用するサブピクチャを許容するか否かもまた、指定されるべきである。時間ルマ動きベクトル予測のための導出プロセスは、時間動きベクトル予測(temporal motion vector prediction, TMVP)におけるピクチャ境界としてサブピクチャ境界を扱うことを可能にしないことがある。さらに、ルマサンプルバイリニア補間プロセス、ルマサンプル8タップ補間フィルタリングプロセス及びクロマサンプル補間プロセスは、動き補償におけるピクチャ境界としてサブピクチャ境界を扱うように構成されないことがある。また、サブピクチャ境界におけるデブロッキング、SAO及びALFフィルタリング動作の制御のためのメカニズムも指定されるべきである。
独立して復号可能なサブピクチャシーケンスの導入によって、loop_filter_across_tile_groups_enabled_flagはあまり有用でないことがある。これは、並列処理の目的でループ内フィルタリング動作をオフにすることが、loop_filter_across_tile_groups_enabled_flagを0に等しく設定することによっても満たされることがあるからである。さらに、ピクチャの特定の領域の独立した抽出及び復号を可能にするためのループ内フィルタリング動作をオフにすることは、loop_filter_across_sub_pic_enabled_flagを0に等しく設定することによっても満たされることがある。したがって、loop_filter_across_tile_groups_enabled_flagに基づいてタイルグループ境界を横切るループ内フィルタリング動作をオフにするためのプロセスを更に指定することは、不必要にデコーダに負担をかけ、ビットを浪費する。さらに、上記の復号プロセスは、タイル境界を横切るALFフィルタリング動作をオフにすることを可能にしないことがある。
したがって、本開示は、サブピクチャベースのビデオコーディングをサポートするための設計を含む。サブピクチャは、ピクチャと同じ復号プロセスを使用して独立して復号されてもよく或いは復号されなくてもよい、ピクチャ内の長方形又は正方形の領域である。技術の説明は、バーサタイルビデオコーディング(Versatile Video Coding, VVC)標準に基づく。しかし、当該技術はまた、他のビデオコーデック仕様に適用してもよい。
いくつかの例では、ピクチャ幅及び高さのシンタックスエレメントと、サブピクチャ幅/高さ/offset_x/offset_yのシンタックスエレメントのリストについて、サイズ単位がシグナリングされる。全てのシンタックスエレメントは、xxx_minus1の形式でシグナリングされる。例えば、サイズ単位が64ルマサンプルであるとき、99の幅の値は、6400ルマサンプルのピクチャ幅を指定する。同じ例は、これらのシンタックスエレメントの他のものにも当てはまる。他の例では、以下の1つ以上が当てはまる。サイズ単位は、xxx_minus1の形式でピクチャ幅及び高さのシンタックスエレメントについてシグナリングされてもよい。サブピクチャ幅/高さ/offset_x/offset_yのシンタックスエレメントのリストについてシグナリングされるこのようなサイズ単位は、xxx_minus1の形式でもよい。他の例では、以下の1つ以上が当てはまる。ピクチャ幅及びサブピクチャ幅/offset_xのシンタックスエレメントのリストについてのサイズ単位は、xxx_minus1の形式でシグナリングされてもよい。ピクチャ高さ及びサブピクチャ高さ/offset_yのシンタックスエレメントのリストについてのサイズ単位は、xxx_minus1の形式でシグナリングされてもよい。他の例では、以下の1つ以上が当てはまる。xxx_minus1の形式のピクチャ幅及び高さのシンタックスエレメントは、最小コーディングユニットの単位でシグナリングされてもよい。xxx_minus1の形式のサブピクチャ幅/高さ/offset_x/offset_yのシンタックスエレメントは、CTU又はCTBの単位でシグナリングされてもよい。右ピクチャ境界における各サブピクチャについてのサブピクチャ幅は導出されてもよい。下ピクチャ境界における各サブピクチャについてのサブピクチャ高さは導出されてもよい。サブピクチャ幅/高さ/offset_x/offset_yの他の値は、全てビットストリームでシグナリングされてもよい。他の例では、サブピクチャの幅及び高さ並びにピクチャ内のこれらの位置のシグナリングのためのモードは、サブピクチャが均一なサイズを有する場合について追加されてもよい。サブピクチャは、これらが同じサブピクチャ行及びサブピクチャ列を含むとき、均一なサイズを有する。このモードでは、サブピクチャ行の数、サブピクチャ列の数、各サブピクチャ列の幅及び各サブピクチャ行の高さは、全てシグナリングされてもよい。
他の例では、サブピクチャ幅及び高さのシグナリングは、PPSに含まれなくてもよい。num_tile_columns_minus1及びnum_tile_rows_minus1は、0以上1024のような1つの整数値以下の範囲にあるべきである。他の例では、PPSを参照するサブピクチャが1つよりも多くのタイルを有するとき、存在フラグにより条件付けられた2つのシンタックスエレメントは、PPSでシグナリングされてもよい。これらのシンタックスエレメントは、CTBの単位でサブピクチャ幅及び高さをシグナリングするために使用され、PPSを参照する全てのサブピクチャのサイズを指定する。
他の例では、個々のサブピクチャを記述する更なる情報もまたシグナリングされてもよい。sub_pic_treated_as_pic_flag[i]のようなフラグは、サブピクチャシーケンスのサブピクチャがループ内フィルタリング動作以外の目的で復号プロセスにおいてピクチャとして扱われるか否かを示すために、各サブピクチャシーケンスについてシグナリングされてもよい。サブピクチャシーケンスが適合するレベルは、sub_pic_treated_as_pic_flag[i]が1に等しいときにのみシグナリングされてもよい。サブピクチャシーケンスは、同じサブピクチャIDを有するサブピクチャのCVSである。sub_pic_treated_as_pic_flag[i]が1に等しいとき、サブピクチャシーケンスのレベルもまたシグナリングされてもよい。これは、全てのサブピクチャシーケンスについてのフラグにより、或いは、各サブピクチャシーケンス毎に1つのフラグにより制御できる。他の例では、VCL NALユニットを変更せずにサブビットストリーム抽出が有効にされてもよい。これは、PPSから明示的なタイルグループIDのシグナリングを除去することにより達成できる。tile_group_addressのセマンティクスは、rect_tile_group_flagが長方形タイルグループを示すものと等しいときに指定される。tile_group_addressは、サブピクチャ内のタイルグループの中のタイルグループのタイルグループインデックスを含んでもよい。
他の例では、PPSシンタックスエレメントpps_seq_parameter_set_id及びloop_filter_across_tiles_enabled_flagのそれぞれの値は、コーディングされたピクチャのタイルグループヘッダにより参照される全てのPPSにおいて同じであるものとする。他のPPSシンタックスエレメントは、コーディングされたピクチャのタイルグループヘッダに参照される異なるPPSについて異なってもよい。single_tile_in_pic_flagの値は、コーディングされたピクチャのタイルグループヘッダに参照される異なるPPSについて異なってもよい。このように、CVS内のいくつかのピクチャは、1つのタイルのみを有してもよいが、CVS内のいくつかの他のピクチャは複数のタイルを有してもよい。これはまた、ピクチャのいくつかのサブピクチャ(例えば、非常に大きいもの)が複数のタイルを有することを可能にし、一方、同じピクチャの他のサブピクチャ(例えば、非常に小さいもの)は1つのタイルのみを有する。
他の例では、ピクチャは、長方形及びラスタスキャンタイルグループの混合を含んでもよい。したがって、ピクチャのいくつかのサブピクチャは長方形タイルグループモードを使用し、一方、他のサブピクチャはラスタスキャンタイルグループモードを使用する。この柔軟性は、ビットストリームマージシナリオに有益である。代替として、制約は、ピクチャの全てのサブピクチャが同じタイルグループモードを使用するものとすることを要求してもよい。CVS内の同じサブピクチャIDを有する異なるピクチャからのサブピクチャは、異なるタイルグループモードを使用しなくてもよい。CVS内の同じサブピクチャIDを有する異なるピクチャからのサブピクチャは、異なるタイルグループモードを使用してもよい。
他の例では、サブピクチャについてのsub_pic_treated_as_pic_flag[i]が1に等しいとき、サブピクチャについての時間動きベクトル予測のための同一位置の動きベクトルは、サブピクチャの境界内から生じるように制限される。したがって、サブピクチャについての時間動きベクトル予測は、サブピクチャ境界がピクチャ境界であるかのように扱われる。さらに、サブピクチャ境界をsub_pic_treated_as_pic_flag[i]が1に等しいサブピクチャについての動き補償においてピクチャ境界として扱うことを可能にするために、クリッピング動作は、ルマサンプルバイリニア補間プロセス、ルマサンプル8タップ補間フィルタリングプロセス及びクロマサンプル補間プロセスの一部として指定される。
他の例では、各サブピクチャは、loop_filter_across_sub_pic_enabled_flagのようなシグナリングされたフラグに関連付けられる。フラグは、サブピクチャの境界におけるループ内フィルタリング動作の制御、及び対応する復号プロセスにおけるフィルタリング動作の制御に使用される。デブロッキングフィルタプロセスは、loop_filter_across_sub_pic_enabled_flagが0に等しいサブピクチャの境界と一致するコーディングサブブロックエッジ及び変換ブロックエッジに適用されなくてもよい。代替として、デブロッキングフィルタプロセスは、loop_filter_across_sub_pic_enabled_flagが0に等しいサブピクチャの上又は左境界と一致するコーディングサブブロックエッジ及び変換ブロックエッジに適用されない。代替として、デブロッキングフィルタプロセスは、sub_pic_treated_as_pic_flag[i]が1又は0に等しいサブピクチャの境界と一致するコーディングサブブロックエッジ及び変換ブロックエッジに適用されない。代替として、デブロッキングフィルタプロセスは、サブピクチャの上又は左境界と一致するコーディングサブブロックエッジ及び変換ブロックエッジに適用されない。クリッピング動作は、サブピクチャについてのloop_filter_across_sub_pic_enabled_flagが0に等しいとき、サブピクチャの境界を横切るSAOフィルタリング動作をオフにするように指定されてもよい。クリッピング動作は、loop_filter_across_sub_pic_enabled_flagがサブピクチャについて0に等しいとき、サブピクチャの境界を横切るALFフィルタリング動作をオフにするように指定されてもよい。loop_filter_across_tile_groups_enabled_flagはまた、PPSから除去されてもよい。したがって、loop_filter_across_tiles_enabled_flagが0に等しいとき、サブピクチャ境界ではないタイルグループ境界を横切るループ内フィルタリング動作はオフにされない。ループフィルタ動作は、デブロッキング、SAO及びALFを含んでもよい。他の例では、クリッピング動作は、タイルについてのloop_filter_across_tiles_enabled_flagが0に等しいとき、タイルの境界を横切るALFフィルタリング動作をオフにするように指定される。
上記の例の1つ以上は、以下のように実現されてもよい。サブピクチャは、ピクチャ内の1つ以上のタイルグループ又はスライスの長方形又は正方形の領域として定義されてもよい。処理要素の以下の分割、すなわち、各ピクチャの成分への分割、各成分のCTBへの分割、各ピクチャのサブピクチャへの分割、各サブピクチャのサブピクチャ内のタイル列への分割、各サブピクチャのサブピクチャ内のタイル行への分割、サブピクチャ内の各タイル列のタイルへの分割、サブピクチャ内の各タイル行のタイルへの分割、及び各サブピクチャのタイルグループへの分割は、空間又は成分毎の区分を形成してもよい。
サブピクチャ内のCTBラスタ及びタイルスキャンプロセスについてのプロセスは、以下の通りでもよい。CTBの単位で第iのタイル列の幅を指定する、0以上num_tile_columns_minus1以下の範囲のiについてのリストColWidth[i]は、以下のように導出されてもよい。
Figure 2024019407000003
CTBの単位で第jのタイル行の高さを指定する、0以上num_tile_rows_minus1以下の範囲のjについてのリストRowHeight[j]は、以下のように導出される。
Figure 2024019407000004
CTBの単位で第iのタイル列境界の位置を指定する、0以上num_tile_columns_minus1+1以下の範囲のiについてのリストColBd[i]は、以下のように導出される。
Figure 2024019407000005
CTBの単位で第jのタイル行境界の位置を指定する、0以上num_tile_rows_minus1+1以下の範囲のjについてのリストRowBd[j]は、以下のように導出される。
Figure 2024019407000006
サブピクチャのCTBラスタスキャンにおけるCTBアドレスからサブピクチャのタイルスキャンにおけるCTBアドレスへの変換を指定する、0以上SubPicSizeInCtbsY-1以下の範囲のctbAddrRsについてのリストCtbAddrRsToTs[ctbAddrRs]は、以下のように導出される。
Figure 2024019407000007
タイルスキャンにおけるCTBアドレスからサブピクチャのCTBラスタスキャンにおけるCTBアドレスへの変換を指定する、0以上SubPicSizeInCtbsY-1以下の範囲のctbAddrTsについてのリストCtbAddrTsToRs[ctbAddrTs]は、以下のように導出される。
Figure 2024019407000008
サブピクチャのタイルスキャンにおけるCTBアドレスからタイルIDへの変換を指定する、0以上SubPicSizeInCtbsY-1以下の範囲のctbAddrTsについてのリストTileId[ctbAddrTs]は、以下のように導出される。
Figure 2024019407000009
タイルインデックスからタイル内のCTUの数への変換を指定する、0以上NumTilesInSubPic-1の範囲のtileIdxについてのリストNumCtusInTile[tileIdx]は、以下のように導出される。
Figure 2024019407000010
タイルIDからタイル内の最初のCTBのタイルスキャンにおけるCTBアドレスへの変換を指定する、0以上NumTilesInSubPic-1以下の範囲のtileIdxについてのリストFirstCtbAddrTs[tileIdx]は、以下のように導出される。
Figure 2024019407000011
ルマサンプルの単位で第iのタイル列の幅を指定するColumnWidthInLumaSamples[i]の値は、0以上num_tile_columns_minus1以下の範囲のiについてColWidth[i]<<CtbLog2SizeYに等しく設定される。ルマサンプルの単位で第jのタイル行の高さを指定するRowHeightInLumaSamples[j]の値は、0以上num_tile_rows_minus1以下の範囲のjについてRowHeight[j]<<CtbLog2SizeYに等しく設定される。
例示的なシーケンスパラメータセットRBSPのシンタックスは以下の通りである。
Figure 2024019407000012

Figure 2024019407000013
例示的なピクチャパラメータセットRBSPのシンタックスは以下の通りである。
Figure 2024019407000014
Figure 2024019407000015
例示的な一般タイルグループヘッダのシンタックスは以下の通りである。
Figure 2024019407000016
例示的なコーディングツリーユニットのシンタックスは以下の通りである。
Figure 2024019407000017
例示的なシーケンスパラメータセットRBSPのセマンティクスは以下の通りである。
bit_depth_chroma_minus8は、クロマ配列BitDepthCのサンプルのビット深度を指定し、クロマ量子化パラメータ範囲オフセットQpBdOffsetCの値は以下の通りである。
Figure 2024019407000018
 bit_depth_chroma_minus8は、0以上8以下の範囲にあるものとする。
num_sub_pics_minus1に1を加えたものは、CVS内のそれぞれのコーディングされたピクチャにおけるサブピクチャの数を指定する。num_sub_pics_minus1の値は、0以上1024以下の範囲にあるものとする。sub_pic_id_len_minus1に1を加えたものは、SPS内のシンタックスエレメントsub_pic_id[i]及びタイルグループヘッダ内のシンタックスエレメントtile_group_sub_pic_idを表すために使用されるビット数を指定する。sub_pic_id_len_minus1の値はCeil(Log2(num_sub_pic_minus1+1)-1以上9以下の範囲にあるものとする。sub_pic_level_present_flagは、シンタックスエレメントsub_pic_level_idc[i]が存在してもよいことを指定するために、1に設定される。sub_pic_level_present_flagは、シンタックスエレメントsub_pic_level_idc[i]が存在しないことを指定するために、0に設定される。sub_pic_id[i]は、CVS内のそれぞれのコーディングされたピクチャの第iのサブピクチャのサブピクチャIDを指定する。sub_pic_id[i]の長さは、sub_pic_id_len_minus1+1ビットである。
sub_pic_treated_as_pic_flag[i]は、CVS内のそれぞれのコーディングされたピクチャの第iのサブピクチャが、ループ内フィルタリング動作を除いて、復号プロセスにおいてピクチャとして扱われることを指定するために、1に等しく設定される。sub_pic_treated_as_pic_flag[i]は、CVS内のそれぞれのコーディングされたピクチャの第iのサブピクチャが、ループ内フィルタリング動作を除いて、復号プロセスにおいてピクチャとして扱われないことを指定するために、0に等しく設定される。sub_pic_level_idc[i]は、第iのサブピクチャシーケンスが適合するレベルを示し、第iのサブピクチャシーケンスは、CVS内のsub_pic_id[i]に等しいサブピクチャIDを有するサブピクチャのVCL NALユニットと、これらに関連する非VCL NALユニットのみから構成される。sub_pic_x_offset[i]は、CVS内の各ピクチャの左上角ルマサンプルに対する第iのサブピクチャの左上角ルマサンプルの水平オフセットを、ルマサンプルの単位で指定する。存在しないとき、sub_pic_x_offset[i]の値は0に等しいと推定される。sub_pic_y_offset[i]は、CVS内の各ピクチャの左上角ルマサンプルに対する第iのサブピクチャの左上角ルマサンプルの垂直オフセットを、ルマサンプルの単位で指定する。存在しないとき、sub_pic_y_offset[i]の値は0に等しいと推定される。sub_pic_width_in_luma_samples[i]は、CVS内の各ピクチャの第iのサブピクチャの幅を、ルマサンプルの単位で指定する。sub_pic_x_offset[i]とsub_pic_width_in_luma_samples[i]との和がpic_width_in_luma_samples未満であるとき、sub_pic_width_in_luma_samples[i]の値はCtbSizeYの整数倍とする。存在しないとき、sub_pic_width_in_luma_samples[i]の値は、pic_width_in_luma_samplesと等しいと推定される。sub_pic_height_in_luma_samples[i]は、CVS内の各ピクチャの第iのサブピクチャの高さを、ルマサンプルの単位で指定する。sub_pic_y_offset[i]とsub_pic_height_in_luma_samples[i]との和がpic_height_in_luma_samples未満であるとき、sub_pic_height_in_luma_samples[i]の値はCtbSizeYの整数倍とする。存在しないとき、sub_pic_height_in_luma_samples[i]の値は、pic_height_in_luma_samplesと等しいと推定される。
ビットストリーム適合性について、以下の制約が当てはまる。i及びjのいずれかの整数値について、iがjに等しいとき、sub_pic_id[i]及びsub_pic_id[j]の値は同じでないものとする。いずれか2つのサブピクチャsubpicA及びsubpicBについて、subpicAのサブピクチャIDがsubpicBのサブピクチャIDよりも小さいとき、subPicAのいずれかのコーディングされたタイルグループNALユニットは、復号順でsubPicBのいずれかのコーディングされたタイルグループNALユニットに続くものとする。サブピクチャの形状は、各サブピクチャが、復号されたとき、ピクチャ境界から構成されるか或いは以前に復号されたサブピクチャの境界から構成される、その全体の左境界及び全体の上境界を有するものとする。
サブピクチャIDからサブピクチャインデックスへの変換を指定する、0以上num_sub_pics_minus1以下の範囲のiでのsub_pic_id[i]に等しいspId値についてのリストSubPicIdx[spId]は、以下のように導出される。
Figure 2024019407000019
log2_max_pic_order_cnt_lsb_minus4は、以下のようにピクチャ順序カウントについての復号プロセスにおいて使用される変数MaxPicOrderCntLsbの値を指定する。
Figure 2024019407000020
 log2_max_pic_order_cnt_lsb_minus4の値は、0以上12以下の範囲にあるものとする。
例示的なピクチャパラメータセットRBSPのセマンティクスは以下の通りである。
存在するとき、PPSシンタックスエレメントpps_seq_parameter_set_id及びloop_filter_across_tiles_enabled_flagのそれぞれの値は、コーディングされたピクチャのタイルグループヘッダにより参照される全てのPPSにおいて同じであるとする。pps_pic_parameter_set_idは、他のシンタックスエレメントにより参照するPPSを識別する。pps_pic_parameter_set_idの値は、0以上63以下の範囲にあるものとする。pps_seq_parameter_set_idは、アクティブなSPSについてsps_seq_parameter_set_idの値を指定する。pps_seq_parameter_set_idの値は、0以上15以下の範囲にあるものとする。loop_filter_across_sub_pic_enabled_flagは、ループ内フィルタリング動作がPPSを参照するサブピクチャの境界を横切って実行されてもよいことを指定するために、1に等しく設定される。loop_filter_across_sub_pic_enabled_flagは、ループ内フィルタリング動作がPPSを参照するサブピクチャの境界を横切って実行されないことを指定するために、0に等しく設定される。
single_tile_in_sub_pic_flagは、PPSを参照する各サブピクチャに1つのタイルのみが存在することを指定するために、1に等しく設定される。single_tile_in_sub_pic_flagは、PPSを参照する各サブピクチャに1つよりも多くのタイルが存在することを指定するために、0に等しく設定される。num_tile_columns_minus1に1を加えたものは、サブピクチャを区分するタイル列の数を指定する。num_tile_columns_minus1は、0以上1024以下の範囲にあるものとする。存在しないとき、num_tile_columns_minus1の値は0に等しいと推定される。num_tile_rows_minus1に1を加えたものは、サブピクチャを区分するタイル行の数を指定する。num_tile_rows_minus1は、0以上1024以下の範囲にあるものとする。存在しないとき、num_tile_rows_minus1の値は0に等しいと推定される。変数NumTilesInSubPicは(num_tile_columns_minus1+1)*(num_tile_rows_minus1+1)に等しく設定される。single_tile_in_sub_pic_flagが0に等しいとき、NumTilesInSubPicは1よりも大きいものとする。
uniform_tile_spacing_flagは、タイル列境界及び同様にタイル行境界がサブピクチャの間で均一に分布することを指定するために、1に等しく設定される。uniform_tile_spacing_flagは、タイル列境界及び同様にタイル行境界がサブピクチャの間で均一に分布していないが、シンタックスエレメントtile_column_width_minus1[i]及びtile_row_height_minus1[i]を使用して明示的にシグナリングされることを指定するために、0に等しく設定される。存在しないとき、uniform_tile_spacing_flagの値は1に等しいと推定される。tile_column_width_minus1[i]に1を加えたものは、CTBの単位で第iのタイル列の幅を指定する。tile_row_height_minus1[i]に1を加えたものは、CTBの単位で第iのタイル行の高さを指定する。single_tile_per_tile_groupは、このPPSを参照する各タイルグループが1つのタイルを含むことを指定するために、1に等しく設定される。single_tile_per_tile_groupは、このPPSを参照するタイルグループが1つよりも多くのタイルを含んでもよいことを指定するために、0に等しく設定される。
rect_tile_group_flagは、サブピクチャの各タイルグループ内のタイルがラスタスキャン順であり、タイルグループ情報がPPSでシグナリングされないことを指定するために、0に等しく設定される。rect_tile_group_flagは、各タイルグループ内のタイルがサブピクチャの長方形又は正方形の領域をカバーし、タイルグループ情報がPPSでシグナリングされることを指定するために、1に等しく設定される。single_tile_per_tile_group_flagが1に設定されたとき、rect_tile_group_flagは、1に等しいと推定される。num_tile_groups_in_sub_pic_minus1に1を加えたものは、PPSを参照する各サブピクチャ内のタイルグループの数を指定する。num_tile_groups_in_sub_pic_minus1の値は、0以上NumTilesInSubPic-1以下の範囲にあるものとする。存在せず、single_tile_per_tile_group_flagが1に等しいとき、num_tile_groups_in_sub_pic_minus1の値は、NumTilesInSubPic-1に等しいと推定される。
top_left_tile_idx[i]は、サブピクチャの第iのタイルグループの左上角に位置するタイルのタイルインデックスを指定する。top_left_tile_idx[i]の値は、jに等しくないいずれかのiについて、top_left_tile_idx[j]の値に等しくないものとする。存在しないとき、top_left_tile_idx[i]の値はiに等しいと推定される。top_left_tile_idx[i]シンタックスエレメントの長さはCeil(Log2(NumTilesInSubPic)ビットである。bottom_right_tile_idx[i]は、サブピクチャの第iのタイルグループの右下角に位置するタイルのタイルインデックスを指定する。single_tile_per_tile_group_flagが1に設定されたとき、bottom_right_tile_idx[i]はtop_left_tile_idx[i]に等しいと推定される。bottom_right_tile_idx[i]シンタックスエレメントの長さは、Ceil(Log2(NumTilesInSubPic))ビットである。
いずれかの特定のタイルが1つのタイルグループにのみ含まれるものとすることが、ビットストリーム適合性の要件である。サブピクチャの第iのタイルグループ内のタイル数を指定する変数NumTilesInTileGroup[i]及び関連する変数は、以下のように導出される。
Figure 2024019407000021
loop_filter_across_tiles_enabled_flagは、ループ内フィルタリング動作がPPSを参照するサブピクチャ内のタイル境界を横切って実行されてもよいことを指定するために、1に等しく設定される。loop_filter_across_tiles_enabled_flagは、ループ内フィルタリング動作がPPSを参照するサブピクチャ内のタイル境界を横切って実行されないことを指定するために、0に等しく設定される。ループ内フィルタリング動作は、デブロッキングフィルタ、サンプル適応オフセットフィルタ及び適応ループフィルタ動作を含む。存在しないとき、loop_filter_across_tiles_enabled_flagの値は1に等しいと推定される。num_ref_idx_default_active_minus1[i]に1を加えたものは、iが0に等しいとき、0に等しいnum_ref_idx_active_override_flagを有するP又はBタイルグループについての変数NumRefIdxActive[0]の推定値を指定し、iが1に等しいとき、0に等しいnum_ref_idx_active_override_flagを有するBタイルグループについてのNumRefIdxActive[1]の推定値を指定する。num_ref_idx_default_active_minus1[i]の値は、0以上14以下の範囲にあるものとする。
例示的な一般タイルグループヘッダのセマンティクスは以下の通りである。存在するとき、タイルグループヘッダのシンタックスエレメントtile_group_pic_order_cnt_lsb及びtile_group_temporal_mvp_enabled_flagのそれぞれの値は、コーディングされたピクチャの全てのタイルグループヘッダにおいて同じであるものとする。存在するとき、tile_group_pic_parameter_set_idの値は、コーディングされたサブピクチャの全てのタイルグループヘッダにおいて同じであるものとする。tile_group_pic_parameter_set_idは、使用中のPPSについてのpps_pic_parameter_set_idの値を指定する。tile_group_pic_parameter_set_idの値は、0以上63以下の範囲にあるものとする。現在のピクチャのTemporalIdの値が、現在のピクチャのタイルグループにより参照される各PPSのTemporalIdの値以上であるものとすることが、ビットストリーム適合性の要件である。tile_group_sub_pic_idは、タイルグループが属するサブピクチャを識別する。tile_group_sub_pic_idの長さは、sub_pic_id_len_minus1+1ビットである。tile_group_sub_pic_idの値は、コーディングされたサブピクチャの全てのタイルグループヘッダについて同じであるものとする。
変数SubPicWidthInCtbsY、SubPicHeightInCtbsY及びSubPicSizeInCtbsYは以下のように導出される。
Figure 2024019407000022
以下の変数、すなわち、CTBの単位で第iのタイル列の幅を指定する、0以上num_tile_columns_minus1以下の範囲のiについてのリストColWidth[i]、CTBの単位で第jのタイル行の高さを指定する、0以上num_tile_rows_minus1以下の範囲のjについてのリストRowHeight[j]、CTBの単位で第iのタイル列境界の位置を指定する、0以上num_tile_columns_minus1+1以下の範囲のiについてのリストColBd[i]、CTBの単位で第jのタイル行境界の位置を指定する、0以上num_tile_rows_minus1+1以下の範囲のjについてのリストRowBd[j]、サブピクチャのCTBラスタスキャンにおけるCTBアドレスからサブピクチャのタイルスキャンにおけるCTBアドレスへの変換を指定する、0以上SubPicSizeInCtbsY-1以下の範囲のctbAddrRsについてのリストCtbAddrRsToTs[ctbAddrRs]、サブピクチャのタイルスキャンにおけるCTBアドレスからサブピクチャのCTBラスタスキャンにおけるCTBアドレスへの変換を指定する、0以上SubPicSizeInCtbsY-1以下の範囲のctbAddrTsについてのリストCtbAddrTsToRs[ctbAddrTs]、サブピクチャのタイルスキャンにおけるCTBアドレスからタイルIDへの変換を指定する、0以上SubPicSizeInCtbsY-1以下の範囲のctbAddrTsについてのリストTileId[ctbAddrTs]、タイルインデックスからタイル内のCTUの数への変換を指定する、0以上NumTilesInSubPic-1以下の範囲のtileIdxについてのリストNumCtusInTile[tileIdx]、タイルIDからタイル内の最初のCTBのタイルスキャンにおけるCTBアドレスへの変換を指定する、0以上NumTilesInSubPic-1以下の範囲のtileIdxについてのリストFirstCtbAddrTs[tileIdx]、ルマサンプルの単位で第iのタイル列の幅を指定する、0以上num_tile_columns_minus1以下の範囲のiについてのリストColumnWidthInLumaSamples[i]、及びルマサンプルの単位で第jのタイル行の高さを指定する、0以上num_tile_rows_minus1以下の範囲のjについてのリストRowHeightInLumaSamples[j]は、CTBラスタ及びタイルスキャン変換プロセスを呼び出すことにより導出される。
0以上num_tile_columns_minus1以下の範囲のiについてのColumnWidthInLumaSamples[i]、及び0以上num_tile_rows_minus1以下の範囲のjについてのRowHeightInLumaSamples[j]の値は、全て0よりも大きいものとする。変数SubPicLeftBoundaryPos、SubPicTopBoundaryPos、SubPicRightBoundaryPos及びSubPicBotBoundaryPosは以下のように導出される。
Figure 2024019407000023
現在のサブピクチャ内のインデックスi=0.NumTilesInSubPic-1を有する各タイルについて、変数TileLeftBoundaryPos[i]、TileTopBoundaryPos[i]、TileRightBoundaryPos[i]及びTileBotBoundaryPos[i]は以下のように導出される。
Figure 2024019407000024
tile_group_addressは、タイルグループ内の最初のタイルのタイルアドレスを指定する。存在しないとき、tile_group_addressの値は0に等しいと推定される。rect_tile_group_flagが0に等しい場合、以下が当てはまる。タイルアドレスはタイルIDであり、tile_group_addressの長さはCeil(Log2(NumTilesInSubPic))ビットであり、tile_group_addressの値は0以上NumTilesInSubPic-1以下の範囲にあるものとする。そうでない場合(rect_tile_group_flagが1に等しい場合)、以下が当てはまる。タイルアドレスはサブピクチャ内のタイルグループの中のタイルグループのタイルグループインデックスであり、tile_group_addressの長さはCeil(Log2(num_tile_groups_in_sub_pic_minus1+1))ビットであり、tile_group_addressの値は0以上num_tile_groups_in_sub_pic_minus1以下の範囲にあるものとする。
以下の制約が当てはまることが、ビットストリーム適合性の要件である。tile_group_addressの値は、同じコーディングされたサブピクチャのいずれかの他のコーディングされたタイルグループNALユニットのtile_group_addressの値に等しくないものとする。サブピクチャのタイルグループは、これらのtile_group_address値の増加順であるものとする。サブピクチャのタイルグループの形状は、各タイルが、復号されたとき、サブピクチャ境界から構成されるか或いは以前に復号されたタイルの境界から構成される、その全体の左境界及び全体の上境界を有するものとするようなものとする。
num_tiles_in_tile_group_minus1は、存在するとき、タイルグループ内のタイル数から1を引いたものを指定する。num_tiles_in_tile_group_minus1の値は、0以上NumTilesInSubPic-1以下の範囲にあるものとする。存在しないとき、num_tiles_in_tile_group_minus1の値は0に等しいと推定される。現在のタイルグループ内のタイル数を指定する変数NumTilesInCurrTileGroup、及び現在のタイルグループ内の第iのタイルのタイルインデックスを指定する変数TgTileIdx[i]は、以下のように導出される。
Figure 2024019407000025
 tile_group_typeはタイルグループのコーディングタイプを指定する。
時間ルマ動きベクトル予測のための例示的な導出プロセスは以下の通りである。変数mvLXCol及びavailableFlagLXColは以下のように導出される。tile_group_temporal_mvp_enabled_flagが0に等しい場合、mvLXColの双方の成分は0に等しく設定され、availableFlagLXColは0に等しく設定される。そうでない場合(tile_group_temporal_mvp_enabled_flagが1に等しい場合)、以下の順序のステップが当てはまる。右下の同一位置の動きベクトル、並びに下及び右境界サンプル位置は以下のように導出される。
Figure 2024019407000026
 yCb>>CtbLog2SizeYがyColBr>>CtbLog2SizeYに等しく、yColBrがbotBoundaryPos以下であり、xColBrがrightBoundaryPos以下である場合、以下が当てはまる。変数colCbは、ColPicにより指定された同一位置のピクチャ内の((xColBr>>3)<<3,(yColBr>>3)<<3)により与えられる変更された位置をカバーするルマコーディングブロックを指定する。ルマ位置(xColCb,yColCb)は、ColPicにより指定された同一位置のピクチャの左上ルマサンプルに対する、colCbにより指定された同一位置のルマコーディングブロックの左上サンプルに等しく設定される。同一位置の動きベクトルのための導出プロセスは、入力として、currCb、colCb、(xColCb,yColCb)、refIdxLX及び0に等しく設定されたsbFlagによって呼び出され、出力はmvLXCol及びavailableFlagLXColに割り当てられる。そうでない場合、mvLXColの双方の成分は0に等しく設定され、availableFlagLXColは0に等しく設定される。
例示的なルマサンプルバイリニア補間プロセスは以下の通りである。全サンプルユニット(xInti,yInti)におけるルマ位置は、i=0..1について以下のように導出される。sub_pic_treated_as_pic_flag[SubPicIdx[tile_group_subpic_id]]が1に等しい場合、以下が当てはまる。
Figure 2024019407000027
 そうでない場合(sub_pic_treated_as_pic_flag[SubPicIdx[tile_group_subpic_id]]が0に等しい場合)、以下が当てはまる。
Figure 2024019407000028
例示的なルマサンプル8タップ補間フィルタリングプロセスは以下の通りである。全サンプルユニット(xInti,yInti)におけるルマ位置は、i=0..7について以下のように導出される。sub_pic_treated_as_pic_flag[SubPicIdx[tile_group_subpic_id]]が1に等しい場合、以下が当てはまる。
Figure 2024019407000029
 そうでない場合(sub_pic_treated_as_pic_flag[SubPicIdx[tile_group_subpic_id]]が0に等しい場合)、以下が当てはまる。
Figure 2024019407000030
例示的なクロマサンプル補間プロセスは以下の通りである。変数xOffsetは、(sps_ref_wraparound_offset_minus1+1)*MinCbSizeY)/SubWidthCに等しく設定される。全サンプルユニット(xInti,yInti)におけるクロマ位置は、i=0..3について以下のように導出される。
sub_pic_treated_as_pic_flag[SubPicIdx[tile_group_subpic_id]]が1に等しい場合、以下が当てはまる。
Figure 2024019407000031
 そうでない場合(sub_pic_treated_as_pic_flag[SubPicIdx[tile_group_subpic_id]]が0に等しい場合)、以下が当てはまる。
Figure 2024019407000032
例示的なデブロッキングフィルタプロセスは以下の通りである。デブロッキングフィルタプロセスは、以下のタイプのエッジ、すなわち、ピクチャの境界にあるエッジ、loop_filter_across_sub_pic_enabled_flagが0に等しいサブピクチャの境界に一致するエッジ、loop_filter_across_tiles_enabled_flagが0に等しいタイルの境界に一致するエッジ、tile_group_deblocking_filter_disabled_flagが1に等しいタイルグループの或いはタイルグループ内の上又は左境界に一致するエッジ、考慮される成分の8×8サンプルグリッド境界に対応しないエッジ、エッジの双方側がインター予測を使用するクロマ成分内のエッジ、関連する変換ユニットのエッジではないクロマ変換ブロックのエッジ、及びISP_NO_SPLITに等しくないIntraSubPartitionsSplit値を有するコーディングユニットのルマ変換ブロックを横切るエッジを除く、ピクチャの全てのコーディングサブブロックエッジ及び変換ブロックエッジに適用される。
一方向の例示的なデブロッキングフィルタプロセスは以下の通りである。コーディングブロック幅log2CbW、コーディングブロック高さlog2CbH及びコーディングブロックの左上サンプルの位置(xCb,yCb)を有する各コーディングユニットについて、edgeTypeがEDGE_VERに等しく、xCb%8が0に等しいとき、或いは、edgeTypeがEDGE_HORに等しく、yCb%8が0に等しいとき、エッジは以下の順序のステップによりフィルタリングされる。コーディングブロック幅nCbWは1<<log2CbWに等しく設定され、コーディングブロック高さnCbHは1<<log2CbHに等しく設定される。変数filterEdgeFlagは以下のように導出される。edgeTypeがEDGE_VERに等しく、以下の条件の1つ以上が真である場合、filterEdgeFlagは0に等しく設定される。現在のコーディングブロックの左境界はピクチャの左境界である。現在のコーディングブロックの左境界は、サブピクチャの左又は右境界であり、loop_filter_across_sub_pic_enabled_flagは0に等しい。現在のコーディングブロックの左境界はタイルの左境界であり、loop_filter_across_tiles_enabled_flagは0に等しい。そうでなく、edgeTypeがEDGE_HORに等しく、以下の条件の1つ以上が真である場合、変数filterEdgeFlagは0に等しく設定される。現在のルマコーディングブロックの上境界はピクチャの上境界である。現在のコーディングブロックの上境界は、サブピクチャの上又は下境界であり、loop_filter_across_sub_pic_enabled_flagは0に等しい。現在のコーディングブロックの上境界はタイルの上境界であり、loop_filter_across_tiles_enabled_flagは0に等しい。そうでない場合、filterEdgeFlagは1に等しく設定される。
例示的なCTB変更プロセスは以下の通りである。recPicture[xSi][ySj]をカバーするコーディングブロックを含むコーディングユニットのpcm_loop_filter_disabled_flag、pcm_flag[xYi][yYj]及びcu_transquant_bypass_flagの値に依存して、i=0..nCtbSw-1且つj=0..nCtbSh-1での全てのサンプル位置(xSi,ySj)及び(xYi,yYj)について、以下が当てはまる。k=0..1での全てのサンプル位置(xSik’,ySjk’)及び(xYik’,yYjk’)について以下の条件の1つ以上が真である場合、edgeIdxは0に等しく設定される。位置(xSik’,ySjk’)におけるサンプルはピクチャ境界外にある。位置(xSik’,ySjk’)におけるサンプルは異なるサブピクチャに属し、サンプルrecPicture[xSi][ySj]が属するタイルグループにおけるloop_filter_across_sub_pic_enabled_flagは0に等しい。loop_filter_across_tiles_enabled_flagは0に等しく、位置(xSik’,ySjk’)におけるサンプルは異なるタイルに属する。
ルマサンプルについての例示的なコーディングツリーブロックのフィルタリングプロセスは以下の通りである。フィルタリング後の再現されたルマサンプルalfPictureL[x][y]の導出のために、現在のルマコーディングツリーブロックrecPictureL[x][y]内のそれぞれの再現されたルマサンプルは、x,y=0..CtbSizeY-1によって以下のようにフィルタリングされる。ルマサンプルの所与の配列recPicture内の対応するルマサンプル(x,y)のそれぞれの位置(hx,vy)は以下のように導出される。位置(hx,vy)におけるルマサンプルを含むタイルtileAについてのloop_filter_across_tiles_enabled_flagが0に等しい場合、変数tileIdxをtileAのタイルインデックスとすると、以下が当てはまる。
Figure 2024019407000033
 そうでなく、位置(hx,vy)におけるルマサンプルを含むサブピクチャ内のloop_filter_across_sub_pic_enabled_flagが0に等しい場合、以下が当てはまる。
Figure 2024019407000034
 そうでない場合、以下が当てはまる。
Figure 2024019407000035
ルマサンプルについてのALF転置及びフィルタインデックスのための例示的な導出プロセスは以下の通りである。ルマサンプルの所与の配列recPicture内の対応するルマサンプル(x,y)のそれぞれの位置(hx,vy)は、以下のように導出される。位置(hx,vy)におけるルマサンプルを含むタイルtileAについてのloop_filter_across_tiles_enabled_flagが0に等しい場合、tileIdxをtileAのタイルインデックスとすると、以下が当てはまる。
Figure 2024019407000036
 そうでなく、位置(hx,vy)におけるルマサンプルを含むサブピクチャについてのloop_filter_across_sub_pic_enabled_flagが0に等しい場合、以下が当てはまる。
Figure 2024019407000037
 そうでない場合、以下が当てはまる。
Figure 2024019407000038
クロマサンプルについての例示的なコーディングツリーブロックのフィルタリングプロセスは以下の通りである。フィルタリング後の再現されたクロマサンプルalfPicture[x][y]の導出のために、現在のクロマコーディングツリーブロックrecPicture[x][y]内のそれぞれの再現されたクロマサンプルは、x,y=0..ctbSizeC-1によって以下のようにフィルタリングされる。クロマサンプルの所与の配列recPicture内の対応するクロマサンプル(x,y)のそれぞれの位置(hx,vy)は、以下のように導出される。位置(hx,vy)におけるクロマサンプルを含むタイルtileAについてのloop_filter_across_tiles_enabled_flagが0に等しい場合、tileIdxをtileAのタイルインデックスとすると、以下が当てはまる。
Figure 2024019407000039
 そうでなく、位置(hx,vy)におけるクロマサンプルを含むサブピクチャについてのloop_filter_across_sub_pic_enabled_flagが0に等しい場合、以下が当てはまる。
Figure 2024019407000040
 そうでない場合、以下が当てはまる。
Figure 2024019407000041
変数の和は以下のように導出される。
Figure 2024019407000042
 修正されたフィルタリング後の再現されたクロマピクチャサンプルalfPicture[xCtbC+x][yCtbC+y]は、以下のように導出される。
Figure 2024019407000043
図１２は、例示的なビデオコーディングデバイス1200の概略図である。ビデオコーディングデバイス1200は、ここに記載のように、開示される例/実施形態を実現するのに適している。ビデオコーディングデバイス1200は、ネットワーク上でデータをアップストリーム及び/又はダウンストリームに通信するための送信機及び/又は受信機を含むダウンストリームポート1220、アップストリームポート1250及び/又はトランシーバユニット(Tx/Rx)1210を含む。ビデオコーディングデバイス1200はまた、データを処理するための論理ユニット及び/又は中央処理装置(central processing unit, CPU)を含むプロセッサ1230と、データを記憶するためのメモリ1232とを含む。ビデオコーディングデバイス1200はまた、電気、光又は無線通信ネットワークを介してデータを通信するために、アップストリームポート1250及び/又はダウンストリームポート1220に結合された電気、光・電気(optical-to-electrical, OE)コンポーネント、電気・光(electrical-to-optical, EO)コンポーネント及び/又は無線通信コンポーネントを含んでもよい。ビデオコーディングデバイス1200はまた、ユーザに且つユーザからデータを通信するための入力及び/又は出力(input and/or output, I/O)デバイス1260を含んでもよい。I/Oデバイス1260は、ビデオデータを表示するためのディスプレイ、オーディオデータを出力するためのスピーカ等のような出力デバイスを含んでもよい。I/Oデバイス1260はまた、キーボード、マウス、トラックボール等のような入力デバイス、及び/又はこのような出力デバイスと相互作用するための対応するインターフェースを含んでもよい。
プロセッサ1230は、ハードウェア及びソフトウェアにより実現される。プロセッサ1230は、1つ以上のCPUチップ、(例えば、マルチコアプロセッサとしての)コア、フィールドプログラマブルゲートアレイ(field-programmable gate array, FPGA)、特定用途向け集積回路(application specific integrated circuit, ASIC)及びデジタルシグナルプロセッサ(digital signal processor, DSP)として実現されてもよい。プロセッサ1230は、ダウンストリームポート1220、Tx/Rx1210、アップストリームポート1250及びメモリ1232と通信する。プロセッサ1230は、コーディングモジュール1214を含む。コーディングモジュール1214は、方法100、1300及び1400のような、ここに記載の開示される実施形態を実現し、これらは、ループ内フィルタ1000、ビットストリーム1100、ピクチャ500、及び/又はパターン900に従って生成された候補リストに基づいて一方向インター予測600及び/又は双方向インター予測700に従ってコーディングされ得る現在のブロック801及び/又は901を使用してもよい。コーディングモジュール1214はまた、ここに記載のいずれかの他の方法/メカニズムを実現してもよい。さらに、コーディングモジュール1214は、コーデックシステム200、エンコーダ300及び/又はデコーダ400を実現してもよい。例えば、コーディングモジュール1214は、上記のように、第1、第2、第3、第4、第5及び/又は第6の例の実現方式を実現できる。したがって、コーディングモジュール1214は、ビデオデータをコーディングするとき、ビデオコーディングデバイス1200に更なる機能及び/又はコーディング効率を提供させる。したがって、コーディングモジュール1214は、ビデオコーディングデバイス1200の機能を改善すると共に、ビデオコーディング技術に特有の問題に対処する。さらに、コーディングモジュール1214は、異なる状態へのビデオコーディングデバイス1200の変換をもたらす。代替として、コーディングモジュール1214は、メモリ1232に記憶された命令として実現され、プロセッサ1230により(例えば、非一時的な媒体に記憶されたコンピュータプログラム製品として)実行できる。
メモリ1232は、ディスク、テープドライブ、ソリッドステートドライブ、読み取り専用メモリ(read only memory, ROM)、ランダムアクセスメモリ(random access memory ,RAM)、フラッシュメモリ、三値連想メモリ(ternary content-addressable memory, TCAM)、スタティックランダムアクセスメモリ(static random-access memory, SRAM)等のような1つ以上のメモリタイプを含む。メモリ1232は、プログラムが実行のために選択されるときにこのようなプログラムを記憶し、プログラム実行中に読み取られる命令及びデータを記憶するために、オーバーフローデータ記憶デバイスとして使用されてもよい。
図１３は、ピクチャ500のサブピクチャ510のようなサブピクチャのビデオシーケンスをビットストリーム1100のようなビットストリームに符号化する例示的な方法1300のフローチャートである。方法1300は、ループ内フィルタ1000を使用することにより及び/又はパターン900に従って生成された候補リストに対して一方向インター予測600及び/又は双方向インター予測700に従って現在のブロック801及び/又は901を符号化するための方法100を実行するとき、コーデックシステム200、エンコーダ300及び/又はビデオコーディングデバイス1200のようなエンコーダにより使用されてもよい。
方法1300は、エンコーダが複数のピクチャを含むビデオシーケンスを受信し、例えばユーザ入力に基づいてそのビデオシーケンスをビットストリームに符号化することを決定したときに開始してもよい。ステップ1301において、エンコーダは、ピクチャをサブピクチャに区分する。ステップ1303において、エンコーダは、サブピクチャの幅、サブピクチャの高さ及びサブピクチャのオフセットを決定する。
ステップ1305において、エンコーダは、サブピクチャの幅、サブピクチャの高さ及びサブピクチャのオフセットをビットストリームに符号化する。サブピクチャの幅、高さ及びオフセットは、SPSにおいてビットストリームに符号化されてもよい。サブピクチャの幅及びサブピクチャの高さは、CTBの単位で符号化される。CTBは、所定の数のサンプルを含み、したがって、CTBは、ピクチャ及び/又はサブピクチャにおける所定の単位サイズを記述する。いくつかの例では、サブピクチャの幅は、subpic_width_minus1としてビットストリームに符号化され、subpic_width_minus1は、サブピクチャ幅におけるCTBの数よりも1少ないCTBである。さらに、サブピクチャの高さは、subpic_height_minus1としてビットストリームに符号化されてもよく、subpic_height_minus1は、サブピクチャ高さにおけるCTBの数よりも1少ないCTBである。このように、サブピクチャの幅又は高さは、幅又は高さがそれぞれ1つのCTBである場合、ビットストリームから省略されて推定できる。これはビットを節約し、したがって、コーディング効率を増加させる。さらに、マイナス1のフォーマットで幅及び高さをシグナリングすることはまた、いくつかの場合にビットストリームにおける幅及び高さのコーディングサイズを1ビットだけ低減してもよく、したがって、また、この理由のためにコーディング効率を増加させる。サブピクチャのオフセットは、サブピクチャの左上CTUの垂直位置及びサブピクチャの左上CTUの水平位置として指定されてもよい。例えば、サブピクチャのオフセットは、ピクチャの左上CTUとサブピクチャの左上CTUとの間の垂直差及び水平差として指定されてもよい。上CTUの垂直位置及び水平位置もまた、CTBの単位でシグナリングされてもよい。いくつかの例では、サブピクチャの左上CTUの垂直位置は、subpic_ctu_top_left_yとしてビットストリームに符号化されてもよい。さらに、サブピクチャの左上CTUの垂直位置は、subpic_ctu_top_left_xとしてビットストリームに符号化されてもよい。
ステップ1307において、エンコーダは、サブピクチャのコーディングブロックをビットストリームに符号化する。さらに、ステップ1309において、エンコーダは、デコーダに向けて通信するためにビットストリームを記憶する。
図１４は、ビットストリーム1100のようなビットストリームから、ピクチャ500のサブピクチャ510のようなサブピクチャを含むビデオシーケンスを復号する例示的な方法1400のフローチャートである。方法1400は、ループ内フィルタ1000を使用することにより及び/又はパターン900に従って生成された候補リストに対して一方向インター予測600及び/又は双方向インター予測700に従って現在のブロック801及び/又は901を復号するための方法100を実行するとき、コーデックシステム200、デコーダ400及び/又はビデオコーディングデバイス1200のようなデコーダにより使用されてもよい。
方法1400は、デコーダが、例えば方法1300の結果として、ビデオシーケンスを表すコーディングされたデータのビットストリームを受信し始めるときに開始してもよい。ステップ1401において、デコーダは、サブピクチャを含む/サブピクチャに区分されたピクチャを含むビットストリームを受信する。
ステップ1403において、デコーダは、ビットストリームから、サブピクチャの幅及びサブピクチャの高さ及びサブピクチャのオフセットを取得する。サブピクチャの幅、高さ及びオフセットは、ビットストリーム内のSPSから取得されてもよい。サブピクチャの幅及びサブピクチャの高さは、CTBの単位でビットストリームに含まれる。CTBは、所定の数のサンプルを含み、したがって、CTBは、ピクチャ及び/又はサブピクチャにおける所定の単位サイズを記述する。いくつかの例では、サブピクチャの幅は、変数subpic_width_minus1においてビットストリームから取得され、subpic_width_minus1は、サブピクチャ幅におけるCTBの数よりも1少ないCTBである。さらに、サブピクチャの高さは、変数subpic_height_minus1においてビットストリームから取得されてもよく、subpic_height_minus1は、サブピクチャ高さにおけるCTBの数よりも1少ないCTBである。このように、サブピクチャの幅又は高さは、幅又は高さがそれぞれ1つのCTBである場合、ビットストリームから省略されて推定できる。これはビットを節約し、したがって、コーディング効率を増加させる。さらに、マイナス1のフォーマットで幅及び高さをシグナリングすることはまた、いくつかの場合にビットストリームにおける幅及び高さのコーディングサイズを1ビットだけ低減してもよく、したがって、また、この理由のためにコーディング効率を増加させる。サブピクチャのオフセットは、サブピクチャの左上CTUの垂直位置及びサブピクチャの左上CTUの水平位置として指定されてもよい。例えば、サブピクチャのオフセットは、ピクチャの左上CTUとサブピクチャの左上CTUとの間の垂直差及び水平差としてビットストリームにおいて指定されてもよい。上CTUの垂直位置及び水平位置もまた、CTBの単位でシグナリングされてもよい。いくつかの例では、サブピクチャの左上CTUの垂直位置は、変数subpic_ctu_top_left_yにおいてビットストリームから取得されてもよい。さらに、サブピクチャの左上CTUの垂直位置は、変数subpic_ctu_top_left_xにおいてビットストリームから取得されてもよい。
ステップ1405において、デコーダは、サブピクチャの幅、サブピクチャの高さ及びサブピクチャのオフセットに基づいて、サブピクチャのコーディングブロックを復号する。例えば、デコーダは、サブピクチャ幅、高さ及びオフセットに基づいて、サブピクチャのサイズ及び位置を決定できる。デコーダはまた、この情報に基づいて、(例えば、ピクチャに対する)指定の位置におけるサブピクチャを位置決めし、サブピクチャ内に適切なスライスを含め、ピクチャ及び/又はサブピクチャを再現するためにブロックを復号する前に、正しいコーディングブロックをスライスに含めることができる。ステップ1407において、デコーダは、復号ビデオシーケンスの一部として表示するために、サブピクチャの復号されたコーディングブロックを転送できる。
図１５は、ビットストリーム1100のようなビットストリームにおけるサブピクチャ510のようなサブピクチャを含む、ピクチャ500のような画像のビデオシーケンスをコーディングするための例示的なシステム1500の概略図である。システム1500は、コーデックシステム200、エンコーダ300、デコーダ400及び/又はビデオコーディングデバイス1200のようなエンコーダ及びデコーダにより実現されてもよい。さらに、システム1500は、ループ内フィルタ1000を使用することにより及び/又はパターン900に従って生成された候補リストに対して一方向インター予測600及び/又は双方向インター予測700に従って現在のブロック801及び/又は901をコーディングするための方法100、1300及び/又は1400を実現するときに使用されてもよい。
システム1500は、ビデオエンコーダ1502を含む。ビデオエンコーダ1502は、ピクチャをサブピクチャに区分するための区分モジュール1505を含む。ビデオエンコーダ1502は、サブピクチャの幅及びサブピクチャの高さを決定するための決定モジュール1506を更に含む。ビデオエンコーダ1502は、CTBの単位でサブピクチャの幅及びサブピクチャの高さをビットストリームに符号化するための符号化モジュール1507を更に含む。さらに、符号化モジュール1507は、サブピクチャのコーディングブロックをビットストリームに符号化するためのものである。ビデオエンコーダ1502は、デコーダに向けて通信するためにビットストリームを記憶するための記憶モジュール1508を更に含む。ビデオエンコーダ1502は、ビットストリームをビデオデコーダ1510に向けて送信するための送信モジュール1509を更に含む。ビデオエンコーダ1502は、方法1300のステップのいずれかを実行するように更に構成されてもよい。
システム1500はまた、ビデオデコーダ1510を含む。ビデオデコーダ1510は、サブピクチャを含むピクチャを含むビットストリームを受信するための受信モジュール1511を含む。ビデオデコーダ1510は、ビットストリームから、CTBの単位のサブピクチャの幅及びCTBの単位のサブピクチャの高さを取得するための取得モジュール1512を更に含む。ビデオデコーダ1510は、サブピクチャの幅及びサブピクチャの高さに基づいてサブピクチャのコーディングブロックを復号するための復号モジュール1513を更に含む。ビデオデコーダ1510は、復号ビデオシーケンスの一部として表示するために、サブピクチャのコーディングブロックを転送するための転送モジュール1515を更に含む。ビデオデコーダ1510は、方法1400のステップのいずれかを実行するように更に構成されてもよい。
第1のコンポーネントは、第1のコンポーネントと第2のコンポーネントとの間のライン、トレース又は他の媒体を除き、介在するコンポーネントが存在しないとき、第2のコンポーネントに直接的に結合される。第1のコンポーネントは、第1のコンポーネントと第2のコンポーネントとの間のライン、トレース又は他の媒体以外の介在するコンポーネントが存在するとき、第2のコンポーネントに間接的に結合される。「結合」という用語及びその変形は、直接的に結合されること及び間接的に結合されることの双方を含む。「約」という用語の使用は、特に言及のない限り、後続の数の±10%を含む範囲を意味する。
ここに記載の例示的な方法のステップは、必ずしも記載の順序で実施される必要はないことも理解されるべきであり、このような方法のステップの順序は、単に例示的なものであると理解されるべきである。同様に、更なるステップがこのような方法に含まれてもよく、特定のステップが本開示の様々な実施形態と一致した方法において省略又は結合されてもよい。
本開示においていくつかの実施形態が提供されているが、開示のシステム及び方法は、本開示の真意又は範囲から逸脱することなく、多くの他の特定の形式で具現されてもよいことが理解され得る。本例は、例示的なものであり、限定的なものではないと考えられるべきであり、その意図は、ここに与えられる詳細に限定されないことである。例えば、様々な要素又はコンポーネントは結合されてもよく或いは他のシステムに統合されてもよく、或いは、特定の特徴が省略されてもよく或いは実現されなくてもよい。
さらに、様々な実施形態において個別又は別々として記載及び図示された技術、システム、サブシステム及び方法は、本開示の範囲から逸脱することなく、結合されてもよく或いは他のシステム、コンポーネント、技術又は方法と統合されてもよい。変形、置換及び変更の他の例は当業者により確認可能であり、ここに開示された真意及び範囲から逸脱することなく行われてもよい。

Claims (22)

  1. デコーダにおいて実現される方法であって、
    前記デコーダの受信機により、サブピクチャを含むピクチャのコーディングされたデータを含むビットストリームを受信するステップと、
    前記デコーダのプロセッサにより、前記ビットストリームからコーディングツリーブロック(CTB)の単位の前記サブピクチャの幅及びCTBの単位の前記サブピクチャの高さを取得するステップと、
    前記プロセッサにより、前記サブピクチャの前記幅及び前記サブピクチャの前記高さに基づいて前記サブピクチャのコーディングブロックを復号するステップと
    を含む方法。
  2. 前記プロセッサにより、前記ビットストリームからCTBの単位の前記サブピクチャのオフセットを取得するステップを更に含み、
    前記プロセッサにより、コーディングブロックを復号するステップは、前記プロセッサにより、前記サブピクチャの前記幅、前記サブピクチャの前記高さ及び前記サブピクチャの前記オフセットに基づいて、前記サブピクチャのコーディングブロックを復号するステップを含む、請求項１に記載の方法。
  3. 前記サブピクチャの前記オフセットは、前記サブピクチャの左上コーディングツリーユニット(CTU)の垂直位置及び前記サブピクチャの前記左上CTUの水平位置として指定される、請求項２に記載の方法。
  4. 前記サブピクチャの前記オフセットは、前記ピクチャの左上CTUと前記サブピクチャの前記左上CTUとの間の差として更に指定される、請求項２又は３に記載の方法。
  5. 前記サブピクチャの前記左上CTUの前記垂直位置はsubpic_ctu_top_left_yとして前記ビットストリーム内にあり、前記サブピクチャの前記左上CTUの前記垂直位置はsubpic_ctu_top_left_xとして前記ビットストリーム内にある、請求項３又は４に記載の方法。
  6. 前記サブピクチャの前記幅はsubpic_width_minus1として前記ビットストリームに記憶され、前記サブピクチャの前記高さはsubpic_height_minus1として前記ビットストリームに記憶される、請求項１乃至５のうちいずれか１項に記載の方法。
  7. 前記サブピクチャの前記幅、高さ及びオフセットは、前記ビットストリーム内のシーケンスパラメータセット(SPS)から取得される、請求項１乃至６のうちいずれか１項に記載の方法。
  8. エンコーダにおいて実現される方法であって、
    前記エンコーダのプロセッサにより、ピクチャをサブピクチャに区分するステップと、
    前記プロセッサにより、前記サブピクチャの幅及び前記サブピクチャの高さを決定するステップと、
    前記プロセッサにより、コーディングツリーブロック(CTB)の単位で前記サブピクチャの前記幅及び前記サブピクチャの前記高さをビットストリームに符号化するステップと、
    前記プロセッサにより、前記サブピクチャのコーディングブロックを前記ビットストリームに符号化するステップと
    を含む方法。
  9. 前記プロセッサにより、CTBの単位で前記サブピクチャのオフセットを決定するステップと、
    前記プロセッサにより、CTBの単位で前記サブピクチャの前記オフセットを前記ビットストリームに符号化するステップと
    を更に含む、請求項８に記載の方法。
  10. 前記サブピクチャの前記オフセットは、前記サブピクチャの左上コーディングツリーユニット(CTU)の垂直位置及び前記サブピクチャの前記左上CTUの水平位置として指定される、請求項９に記載の方法。
  11. 前記サブピクチャの前記オフセットは、前記ピクチャの左上CTUと前記サブピクチャの前記左上CTUとの間の差として更に指定される、請求項９又は１０に記載の方法。
  12. 前記サブピクチャの前記左上CTUの前記垂直位置はsubpic_ctu_top_left_yとして前記ビットストリームに符号化され、前記サブピクチャの前記左上CTUの前記垂直位置はsubpic_ctu_top_left_xとして前記ビットストリームに符号化される、請求項１０又は１１に記載の方法。
  13. 前記サブピクチャの前記幅はsubpic_width_minus1として前記ビットストリームに符号化され、前記サブピクチャの前記高さはsubpic_height_minus1として前記ビットストリームに符号化される、請求項８乃至１２のうちいずれか１項に記載の方法。
  14. 前記サブピクチャの前記幅、高さ及びオフセットは、前記ビットストリームのシーケンスパラメータセット(SPS)に符号化される、請求項８乃至１３のうちいずれか１項に記載の方法。
  15. ビデオコーディングデバイスであって、
    プロセッサと、前記プロセッサに結合された受信機と、前記プロセッサに結合されたメモリと、前記プロセッサに結合された送信機とを含み、前記プロセッサ、受信機、メモリ及び送信機は、請求項１乃至１４のうちいずれか１項の方法を実行するように構成される、ビデオコーディングデバイス。
  16. ビデオコーディングデバイスにより使用するためのコンピュータプログラム製品を含む非一時的なコンピュータ読み取り可能媒体であって、
    前記コンピュータプログラム製品は、プロセッサにより実行されたとき、前記ビデオコーディングデバイスに請求項１乃至１４のうちいずれか１項に記載の方法を実行させるように、前記非一時的なコンピュータ読み取り可能媒体に記憶されたコンピュータ実行可能命令を含む、非一時的なコンピュータ読み取り可能媒体。
  17. デコーダであって、
    サブピクチャを含むピクチャのコーディングされたデータを含むビットストリームを受信するように構成された受信ユニットと、
    前記ビットストリームからコーディングツリーブロック(CTB)の単位の前記サブピクチャの幅及びCTBの単位の前記サブピクチャの高さを取得するように構成された取得ユニットと、
    前記サブピクチャの前記幅及び前記サブピクチャの前記高さに基づいて前記サブピクチャのコーディングブロックを復号するように構成された復号ユニットと
    を含むデコーダ。
  18. 前記デコーダは、請求項１乃至７のうちいずれか１項に記載の方法を実行するように更に構成される、請求項１７に記載のデコーダ。
  19. エンコーダであって、
    ピクチャをサブピクチャに区分するように構成された区分ユニットと、
    前記サブピクチャの幅及び前記サブピクチャの高さを決定するように構成された決定ユニットと、
    コーディングツリーブロック(CTB)の単位で前記サブピクチャの前記幅及び前記サブピクチャの前記高さをビットストリームに符号化し、前記サブピクチャのコーディングブロックを前記ビットストリームに符号化するように構成された符号化ユニットと
    を含むエンコーダ。
  20. 前記エンコーダは、請求項８乃至１４のうちいずれか１項に記載の方法を実行するように更に構成される、請求項１９に記載のエンコーダ。
  21. コンピュータ又はプロセッサ上で実行されたとき、請求項１乃至１４のうちいずれか１項に記載の方法を実行するためのプログラムコードを含むコンピュータプログラム製品。
  22. コーディングされたビデオビットストリームを含む非一時的な記憶媒体であって、
    前記コーディングされたビデオビットストリームは、サブピクチャを含むピクチャのコーディングされたデータと、コーディングツリーブロック(CTB)の単位の前記サブピクチャの幅と、CTBの単位の前記サブピクチャの高さとを含む、非一時的な記憶媒体。
JP2023199455A 2019-03-11 2023-11-24 エンコーダ、デコーダ及び対応する方法 Pending JP2024019407A (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201962816751P 2019-03-11 2019-03-11
US62/816,751 2019-03-11
US201962826659P 2019-03-29 2019-03-29
US62/826,659 2019-03-29
PCT/US2020/022091 WO2020185892A1 (en) 2019-03-11 2020-03-11 Sub-picture configuration signaling in video coding
JP2021555038A JP2022525124A (ja) 2019-03-11 2020-03-11 エンコーダ、デコーダ及び対応する方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021555038A Division JP2022525124A (ja) 2019-03-11 2020-03-11 エンコーダ、デコーダ及び対応する方法

Publications (1)

Publication Number Publication Date
JP2024019407A true JP2024019407A (ja) 2024-02-09

Family

ID=72426045

Family Applications (10)

Application Number Title Priority Date Filing Date
JP2021555026A Active JP7430197B2 (ja) 2019-03-11 2020-03-11 エンコーダ、デコーダ及び対応する方法
JP2021555031A Active JP7485689B2 (ja) 2019-03-11 2020-03-11 エンコーダ、デコーダ及び対応する方法
JP2021555043A Active JP7519373B2 (ja) 2019-03-11 2020-03-11 エンコーダ、デコーダ及び対応する方法
JP2021555029A Active JP7401554B2 (ja) 2019-03-11 2020-03-11 エンコーダ、デコーダ及び対応する方法
JP2021555037A Pending JP2022524627A (ja) 2019-03-11 2020-03-11 エンコーダ、デコーダ及び対応する方法
JP2021555038A Pending JP2022525124A (ja) 2019-03-11 2020-03-11 エンコーダ、デコーダ及び対応する方法
JP2023188632A Pending JP2024012507A (ja) 2019-03-11 2023-11-02 エンコーダ、デコーダ及び対応する方法
JP2023195849A Pending JP2024020449A (ja) 2019-03-11 2023-11-17 エンコーダ、デコーダ及び対応する方法
JP2023199455A Pending JP2024019407A (ja) 2019-03-11 2023-11-24 エンコーダ、デコーダ及び対応する方法
JP2023199453A Pending JP2024028754A (ja) 2019-03-11 2023-11-24 エンコーダ、デコーダ及び対応する方法

Family Applications Before (8)

Application Number Title Priority Date Filing Date
JP2021555026A Active JP7430197B2 (ja) 2019-03-11 2020-03-11 エンコーダ、デコーダ及び対応する方法
JP2021555031A Active JP7485689B2 (ja) 2019-03-11 2020-03-11 エンコーダ、デコーダ及び対応する方法
JP2021555043A Active JP7519373B2 (ja) 2019-03-11 2020-03-11 エンコーダ、デコーダ及び対応する方法
JP2021555029A Active JP7401554B2 (ja) 2019-03-11 2020-03-11 エンコーダ、デコーダ及び対応する方法
JP2021555037A Pending JP2022524627A (ja) 2019-03-11 2020-03-11 エンコーダ、デコーダ及び対応する方法
JP2021555038A Pending JP2022525124A (ja) 2019-03-11 2020-03-11 エンコーダ、デコーダ及び対応する方法
JP2023188632A Pending JP2024012507A (ja) 2019-03-11 2023-11-02 エンコーダ、デコーダ及び対応する方法
JP2023195849A Pending JP2024020449A (ja) 2019-03-11 2023-11-17 エンコーダ、デコーダ及び対応する方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023199453A Pending JP2024028754A (ja) 2019-03-11 2023-11-24 エンコーダ、デコーダ及び対応する方法

Country Status (14)

Country Link
US (7) US20210409785A1 (ja)
EP (5) EP3932074B9 (ja)
JP (10) JP7430197B2 (ja)
KR (6) KR20210129221A (ja)
CN (7) CN113557737A (ja)
DK (1) DK3931748T3 (ja)
ES (2) ES2983276T3 (ja)
FI (1) FI3931748T3 (ja)
HU (2) HUE067063T2 (ja)
MX (7) MX2021011016A (ja)
PL (2) PL3931748T3 (ja)
PT (1) PT3931748T (ja)
SG (1) SG11202109980WA (ja)
WO (6) WO2020185885A1 (ja)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2577056B (en) * 2018-09-11 2022-12-14 British Broadcasting Corp Bitstream decoder
PT3931748T (pt) * 2019-03-11 2024-06-27 Huawei Tech Co Ltd Endereços de parcela baseados em subgravura na codificação vídeo
WO2020190108A1 (ko) * 2019-03-21 2020-09-24 가온미디어 주식회사 픽쳐 분할을 처리하는 영상 부호화 방법, 영상 복호화 방법 및 그 장치
US20220182681A1 (en) * 2019-03-24 2022-06-09 Lg Electronics Inc. Image or video coding based on sub-picture handling structure
MX2021011619A (es) 2019-04-01 2021-10-13 Beijing Bytedance Network Tech Co Ltd Uso de filtros de interpolacion para la prediccion de vector de movimiento basada en historia.
US12120334B2 (en) * 2019-05-15 2024-10-15 Hyundai Motor Company Video encoding and decoding method and device
CN114097228B (zh) 2019-06-04 2023-12-15 北京字节跳动网络技术有限公司 具有几何分割模式编解码的运动候选列表
KR102627821B1 (ko) 2019-06-04 2024-01-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 이웃 블록 정보를 사용한 모션 후보 리스트 구성
KR102662603B1 (ko) 2019-06-06 2024-04-30 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩을 위한 움직임 후보 리스트 구성
CN113994671B (zh) 2019-06-14 2024-05-10 北京字节跳动网络技术有限公司 基于颜色格式处理视频单元边界和虚拟边界
JP7433346B2 (ja) 2019-06-14 2024-02-19 北京字節跳動網絡技術有限公司 ビデオ単位境界および仮想境界の処理
US20220312009A1 (en) * 2019-06-20 2022-09-29 Electronics And Telecommunications Research Institute Method and apparatus for image encoding and image decoding using area segmentation
JP7552988B2 (ja) * 2019-06-21 2024-09-18 インターデジタル ヴイシー ホールディングス， インコーポレイテッド オプティカルフローによる動き補償のための精度精緻化
JP7318099B2 (ja) 2019-07-14 2023-07-31 北京字節跳動網絡技術有限公司 ビデオコーディングにおける変換ブロック・サイズ制約
US11095916B2 (en) * 2019-07-23 2021-08-17 Qualcomm Incorporated Wraparound motion compensation in video coding
EP3997869A4 (en) 2019-08-10 2022-10-26 Beijing Bytedance Network Technology Co., Ltd. SUBPICTURE DEPENDENT SIGNALING IN VIDEO STREAMS
US11930170B2 (en) 2019-08-20 2024-03-12 Apple Inc. Method for encoding/decoding image signal and device therefor
KR102635319B1 (ko) 2019-08-20 2024-02-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 프로세싱에서 대안적 보간 필터들의 선택적 사용
CN117319645A (zh) 2019-08-23 2023-12-29 北京字节跳动网络技术有限公司 用于处理视频数据的方法、装置以及计算机可读存储介质
CN114521331A (zh) * 2019-09-13 2022-05-20 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
CN117294847A (zh) 2019-09-18 2023-12-26 北京字节跳动网络技术有限公司 视频编解码中自适应环路滤波器的两部分信令
US20220377344A1 (en) * 2019-09-19 2022-11-24 Vid Scale, Inc. Systems and methods for versatile video coding
US11716488B2 (en) 2019-09-20 2023-08-01 Qualcomm Incorporated Subpicture signaling in high-level syntax for video coding
CN114503594B (zh) 2019-09-22 2024-04-05 北京字节跳动网络技术有限公司 自适应环路滤波中样点填充的选择性应用
BR112022005356A2 (pt) * 2019-09-23 2022-06-14 Ericsson Telefon Ab L M Métodos realizados por um decodificador e por um codificador, programa de computador, portadora, e, aparelhos de decodificação e de codificação
WO2021060801A1 (ko) * 2019-09-23 2021-04-01 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2021060834A1 (ko) * 2019-09-24 2021-04-01 엘지전자 주식회사 서브픽처 기반 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
BR112022005502A2 (pt) * 2019-09-24 2022-06-14 Huawei Tech Co Ltd Flags de filtro para desblocagem de subimagem
EP4022910A4 (en) 2019-09-27 2022-11-16 Beijing Bytedance Network Technology Co., Ltd. ADAPTIVE LOOP FILTERING BETWEEN DIFFERENT VIDEO UNITS
CN117596389A (zh) 2019-09-28 2024-02-23 北京字节跳动网络技术有限公司 视频编解码中的几何分割模式
WO2021063421A1 (en) 2019-10-02 2021-04-08 Beijing Bytedance Network Technology Co., Ltd. Syntax for subpicture signaling in a video bitstream
WO2021071213A1 (ko) * 2019-10-07 2021-04-15 엘지전자 주식회사 서브픽처 구조를 기반으로 인루프 필터링을 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
CN114556939A (zh) 2019-10-10 2022-05-27 北京字节跳动网络技术有限公司 自适应环路滤波中不可用样点位置处的填充处理
KR20220078600A (ko) 2019-10-18 2022-06-10 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브픽처들의 파라미터 세트 시그널링에서의 신택스 제약들
EP4035379A4 (en) 2019-10-23 2023-03-15 Beijing Bytedance Network Technology Co., Ltd. CALCULATION FOR MULTIPLE CODING TOOLS
WO2021078177A1 (en) * 2019-10-23 2021-04-29 Beijing Bytedance Network Technology Co., Ltd. Signaling for reference picture resampling
JP7389251B2 (ja) 2019-10-29 2023-11-29 北京字節跳動網絡技術有限公司 輝度の差分を用いるクロスコンポーネント適応ループフィルタ
US11509938B2 (en) * 2019-11-05 2022-11-22 Hfi Innovation Inc. Method and apparatus of signaling subpicture information in video coding
MX2022006734A (es) 2019-12-11 2022-06-09 Beijing Bytedance Network Tech Co Ltd Relleno de muestra para filtrado de circuito adaptivo de componente cruzado.
GB2590632B (en) * 2019-12-20 2023-07-26 Canon Kk Video coding and decoding
JP2023506878A (ja) * 2019-12-20 2023-02-20 フラウンホッファー－ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ サブピクチャに関連するビデオコーディング
EP4082198A4 (en) 2019-12-27 2023-08-16 Alibaba Group Holding Limited METHOD AND DEVICE FOR SIGNALING SUBPICTURE PARTITIONING INFORMATION
CN115380530A (zh) * 2020-03-20 2022-11-22 字节跳动有限公司 临近子图片的编解码
US11470358B2 (en) * 2020-04-02 2022-10-11 Sharp Kabushiki Kaisha Systems and methods for signaling scaling window information in video coding
JP7524355B2 (ja) * 2020-05-27 2024-07-29 バイトダンス インコーポレイテッド ビデオコーディングでのサブピクチャ及びタイルの使用
JP7522237B2 (ja) 2020-06-30 2024-07-24 北京字節跳動網絡技術有限公司 適応ループフィルタリングのための境界位置
US11785239B2 (en) * 2021-06-29 2023-10-10 Tencent America LLC Independent coded region output supplementary enhancement information message
JP2024534645A (ja) * 2021-09-27 2024-09-20 バイトダンス インコーポレイテッド ビデオ処理ための方法、装置、および媒体
US11954775B2 (en) * 2022-02-23 2024-04-09 International Business Machines Corporation Artboard element positioning in a series of computer-based artboards
EP4254950A1 (en) * 2022-03-31 2023-10-04 Beijing Xiaomi Mobile Software Co., Ltd. Encoding/decoding video picture partitionned in ctu grids
US20240015305A1 (en) * 2022-07-07 2024-01-11 Tencent America LLC Subblock intra and inter coding
WO2024064054A1 (en) * 2022-09-23 2024-03-28 Apple Inc. Method and device for generating metadata estimations based on metadata subdivisions
CN118042163A (zh) * 2022-11-14 2024-05-14 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置、电子设备及存储介质
CN117372933B (zh) * 2023-12-06 2024-02-20 南京智绘星图信息科技有限公司 图像去冗方法、装置及电子设备

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2382940A (en) * 2001-11-27 2003-06-11 Nokia Corp Encoding objects and background blocks
EP2424240A4 (en) * 2009-04-22 2013-04-10 Lg Electronics Inc METHOD FOR MODIFYING REFERENCE COPY LISTS FOR A MORE VIEWED VIDEO
DK2628299T3 (da) 2010-10-14 2019-10-07 Interdigital Vc Holdings Inc Fremgangsmåde og apparat til forbedret entropikodning og -afkodning
US9060174B2 (en) * 2010-12-28 2015-06-16 Fish Dive, Inc. Method and system for selectively breaking prediction in video coding
KR101956284B1 (ko) * 2011-06-30 2019-03-08 엘지전자 주식회사 보간 방법 및 이를 이용한 예측 방법
US9462298B2 (en) * 2011-10-21 2016-10-04 Qualcomm Incorporated Loop filtering around slice boundaries or tile boundaries in video coding
US20130107973A1 (en) 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
US9749661B2 (en) * 2012-01-18 2017-08-29 Qualcomm Incorporated Sub-streams for wavefront parallel processing in video coding
US9591328B2 (en) 2012-01-20 2017-03-07 Sun Patent Trust Methods and apparatuses for encoding and decoding video using temporal motion vector prediction
US10244246B2 (en) * 2012-02-02 2019-03-26 Texas Instruments Incorporated Sub-pictures for pixel rate balancing on multi-core platforms
CN107197259B (zh) * 2012-02-03 2019-11-19 寰发股份有限公司 贯穿图块或条带边界的环路滤波方法及其装置
US20130208808A1 (en) * 2012-02-08 2013-08-15 Panasonic Corporation Image coding method and image decoding method
WO2013168407A1 (en) 2012-05-09 2013-11-14 Panasonic Corporation Method of performing motion vector prediction, encoding and decoding methods, and apparatuses thereof
PT2868103T (pt) * 2012-06-29 2017-03-02 Ge Video Compression Llc Conceito de fluxo de dados de vídeo
US20140003504A1 (en) * 2012-07-02 2014-01-02 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
US9602827B2 (en) * 2012-07-02 2017-03-21 Qualcomm Incorporated Video parameter set including an offset syntax element
US9554146B2 (en) * 2012-09-21 2017-01-24 Qualcomm Incorporated Indication and activation of parameter sets for video coding
EP2898689B1 (en) * 2012-09-21 2020-05-06 Nokia Technologies Oy Method and apparatus for video coding
US9161039B2 (en) * 2012-09-24 2015-10-13 Qualcomm Incorporated Bitstream properties in video coding
US20140085415A1 (en) * 2012-09-27 2014-03-27 Nokia Corporation Method and apparatus for video coding
US9491457B2 (en) * 2012-09-28 2016-11-08 Qualcomm Incorporated Signaling of regions of interest and gradual decoding refresh in video coding
WO2014072571A1 (en) * 2012-10-01 2014-05-15 Nokia Corporation Method and apparatus for scalable video coding
US9596461B2 (en) * 2012-11-26 2017-03-14 Qualcomm Incorporated Loop filtering across constrained intra block boundaries in video coding
US9374585B2 (en) * 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
US20140218473A1 (en) * 2013-01-07 2014-08-07 Nokia Corporation Method and apparatus for video coding and decoding
US10616573B2 (en) * 2013-01-07 2020-04-07 Nokia Technologies Oy Method and apparatus for video coding and decoding
US9294776B2 (en) * 2013-03-05 2016-03-22 Qualcomm Incorporated Parallel processing for video coding
US20140301477A1 (en) * 2013-04-07 2014-10-09 Sharp Laboratories Of America, Inc. Signaling dpb parameters in vps extension and dpb operation
SG10201913545TA (en) * 2013-04-07 2020-02-27 Dolby Int Ab Signaling change in output layer sets
US9591321B2 (en) * 2013-04-07 2017-03-07 Dolby International Ab Signaling change in output layer sets
KR20160002786A (ko) 2013-07-07 2016-01-08 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 장치
US20160173887A1 (en) * 2013-07-10 2016-06-16 Sharp Kabushiki Kaisha Scaling list signaling and parameter sets activation
GB2516224A (en) * 2013-07-11 2015-01-21 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
JP6352383B2 (ja) * 2013-07-14 2018-07-04 シャープ株式会社 復号方法及び復号装置
WO2015008477A1 (en) * 2013-07-14 2015-01-22 Sharp Kabushiki Kaisha Tile alignment signaling and conformance constraints
GB2516424A (en) * 2013-07-15 2015-01-28 Nokia Corp A method, an apparatus and a computer program product for video coding and decoding
GB2516824A (en) * 2013-07-23 2015-02-11 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
GB2516826B (en) * 2013-07-23 2016-06-22 Canon Kk Method, device and computer program for encapsulating partitioned timed media data by creating tracks to be independently encapsulated in at least one media f
US20150103924A1 (en) * 2013-10-13 2015-04-16 Sharp Laboratories Of America, Inc. On operation of decoded picture buffer for interlayer pictures
WO2015052943A1 (en) * 2013-10-13 2015-04-16 Sharp Kabushiki Kaisha Signaling parameters in vps extension and dpb operation
US20150103895A1 (en) * 2013-10-13 2015-04-16 Sharp Laboratories Of America, Inc. Electronic devices for signaling multiple initial buffering parameters
US10257519B2 (en) * 2014-01-02 2019-04-09 Sharp Kabushiki Kaisha Signaling and derivation of decoded picture buffer parameters
US20150195554A1 (en) * 2014-01-03 2015-07-09 Sharp Laboratories Of America, Inc. Constraints and enhancements for a scalable video coding system
WO2015138979A2 (en) * 2014-03-14 2015-09-17 Sharp Laboratories Of America, Inc. Dpb capacity limits
US9699480B2 (en) * 2014-06-13 2017-07-04 Sharp Laboratories Of America, Inc. Level limits
US20160212423A1 (en) * 2015-01-16 2016-07-21 Microsoft Technology Licensing, Llc Filtering to mitigate artifacts when changing chroma sampling rates
US9749646B2 (en) * 2015-01-16 2017-08-29 Microsoft Technology Licensing, Llc Encoding/decoding of high chroma resolution details
US9854201B2 (en) * 2015-01-16 2017-12-26 Microsoft Technology Licensing, Llc Dynamically updating quality to higher chroma sampling rate
WO2017051072A1 (en) * 2015-09-23 2017-03-30 Nokia Technologies Oy A method, an apparatus and a computer program product for coding a 360-degree panoramic video
CN114786009A (zh) * 2016-03-16 2022-07-22 寰发股份有限公司 视频编码中限制块尺寸的视频数据处理方法与装置
CN116546206A (zh) * 2016-04-08 2023-08-04 韩国电子通信研究院 用于导出运动预测信息的方法和装置
US10382781B2 (en) * 2016-09-28 2019-08-13 Qualcomm Incorporated Interpolation filters for intra prediction in video coding
EP3535977A4 (en) * 2016-11-01 2020-05-20 Nokia Technologies Oy APPARATUS, METHOD, AND COMPUTER PROGRAM FOR VIDEO ENCODING AND DECODING
GB2555788A (en) * 2016-11-08 2018-05-16 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
JP2018107500A (ja) 2016-12-22 2018-07-05 キヤノン株式会社 符号化装置、符号化方法及びプログラム、復号装置、復号方法及びプログラム
US11363248B2 (en) * 2017-03-17 2022-06-14 Lg Electronics Inc. Method and device for transmitting region information of 360-degree video
WO2018182377A1 (en) * 2017-03-30 2018-10-04 Samsung Electronics Co., Ltd. Method and apparatus for producing 360 degree image content on rectangular projection by selectively applying in-loop filter
JP7169988B2 (ja) 2017-04-11 2022-11-11 ヴィド スケール インコーポレイテッド 面連続性を使用する３６０度ビデオコーディング
WO2018221368A1 (ja) * 2017-05-31 2018-12-06 シャープ株式会社 動画像復号装置、及び動画像符号化装置
SG11202100010SA (en) * 2017-07-03 2021-02-25 Univ Hanyang Ind Univ Coop Found Method and device for decoding image by using partition unit including additional region
WO2019009473A1 (ko) 2017-07-04 2019-01-10 엘지전자 주식회사 360도 비디오의 영역 기반 처리 방법 및 장치
CN118042095A (zh) * 2017-10-09 2024-05-14 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机程序
JP2021016016A (ja) * 2017-10-20 2021-02-12 シャープ株式会社 動画像符号化装置及び動画像復号装置
EP3744103B1 (en) 2018-01-25 2024-03-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient sub-picture extraction
WO2020103942A1 (en) 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Sub-block temporal motion vector prediction
JP2022511489A (ja) 2018-12-04 2022-01-31 ヴィド スケール インコーポレイテッド タイルグループ区画化
JP7467467B2 (ja) * 2018-12-28 2024-04-15 ビー１、インスティテュート、オブ、イメージ、テクノロジー、インコーポレイテッド イントラ予測基盤の画像符号化／復号化方法及び装置
PT3931748T (pt) * 2019-03-11 2024-06-27 Huawei Tech Co Ltd Endereços de parcela baseados em subgravura na codificação vídeo

Also Published As

Publication number Publication date
EP4358036A2 (en) 2024-04-24
EP3931748A4 (en) 2022-07-06
US20220007014A1 (en) 2022-01-06
CN113615203A (zh) 2021-11-05
CN113574892A (zh) 2021-10-29
CN113557737A (zh) 2021-10-26
US20210409702A1 (en) 2021-12-30
CN113557736A (zh) 2021-10-26
PT3931748T (pt) 2024-06-27
JP7519373B2 (ja) 2024-07-19
WO2020185885A1 (en) 2020-09-17
EP3932074B1 (en) 2024-05-01
MX2024002770A (es) 2024-05-20
PL3932074T3 (pl) 2024-08-12
KR20210129221A (ko) 2021-10-27
JP2024012507A (ja) 2024-01-30
JP7430197B2 (ja) 2024-02-09
EP3931748B1 (en) 2024-04-24
EP4350640A3 (en) 2024-06-05
ES2980868T3 (es) 2024-10-03
WO2020185890A1 (en) 2020-09-17
KR20210134389A (ko) 2021-11-09
JP2024020449A (ja) 2024-02-14
DK3931748T3 (da) 2024-07-08
EP3932072A4 (en) 2022-07-20
MX2021011025A (es) 2021-11-12
WO2020185889A1 (en) 2020-09-17
JP2022525124A (ja) 2022-05-11
JP7401554B2 (ja) 2023-12-19
US20240171738A1 (en) 2024-05-23
MX2021011032A (es) 2021-12-15
US20210409703A1 (en) 2021-12-30
JP2022525127A (ja) 2022-05-11
US20210409785A1 (en) 2021-12-30
US11831816B2 (en) 2023-11-28
EP3932074A4 (en) 2022-06-29
MX2021011029A (es) 2021-12-15
KR20210135308A (ko) 2021-11-12
CN113557744A (zh) 2021-10-26
WO2020185883A1 (en) 2020-09-17
JP2022524627A (ja) 2022-05-09
JP2024028754A (ja) 2024-03-05
MX2021011016A (es) 2021-11-12
KR20210135309A (ko) 2021-11-12
US20210409684A1 (en) 2021-12-30
CN118631988A (zh) 2024-09-10
SG11202109980WA (en) 2021-10-28
CN113574541A (zh) 2021-10-29
MX2021011023A (es) 2021-11-12
WO2020185884A1 (en) 2020-09-17
JP2022524626A (ja) 2022-05-09
US20210409730A1 (en) 2021-12-30
KR20210134033A (ko) 2021-11-08
JP2022524836A (ja) 2022-05-10
ES2983276T3 (es) 2024-10-22
KR20210135307A (ko) 2021-11-12
WO2020185892A1 (en) 2020-09-17
EP4358036A3 (en) 2024-06-19
MX2021011027A (es) 2021-11-12
EP4350640A2 (en) 2024-04-10
FI3931748T3 (fi) 2024-07-02
EP3932072A1 (en) 2022-01-05
JP7485689B2 (ja) 2024-05-16
EP3932074A1 (en) 2022-01-05
US12028517B2 (en) 2024-07-02
PL3931748T3 (pl) 2024-08-12
JP2022524837A (ja) 2022-05-10
EP3931748A1 (en) 2022-01-05
HUE067063T2 (hu) 2024-09-28
HUE066652T2 (hu) 2024-08-28
EP3932074B9 (en) 2024-07-24

Similar Documents

Publication Publication Date Title
JP7401554B2 (ja) エンコーダ、デコーダ及び対応する方法
JP2023029423A (ja) ビデオコーディング方法及び機器

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231222

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231222