JP2023506878A - サブピクチャに関連するビデオコーディング - Google Patents

Abstract

ビデオが符号化されたデータストリームの符号化、処理、及び復号を含む概念が説明され、この場合ビデオは複数の写真を含み、この場合、データストリームは、少なくとも２つのレイヤに複数の画像を含み、この場合、少なくとも１つのレイヤの画像は、所定のレイヤ固有の数のサブピクチャに分割され、１つのレイヤの１つまたは複数の画像またはサブピクチャは、１つまたは複数の他のレイヤの１つまたは複数の画像に対応し、サブピクチャの少なくとも１つは、運動補償のための境界拡張のための境界、及び対応するサブピクチャまたは異なる層内の対応するピクチャの境界の少なくとも１つが互いに一直線化していることの表示を含む。【選択図】図５

Description

本願は、ビデオコーディングの概念、特にサブピクチャに関する。

複数のコード化されたビデオビットストリームまたはデータストリームが共同で復号される特定のビデオベースのアプリケーションが存在する。例えば共同ビットストリームにマージされ、複数の参加者からのコード化されたビデオストリームが単一のエンドポイントで処理されるマルチパーティ会議などの単一のデコーダ、または例えばＶＲ（仮想現実）のアプリケーションでの３６０度のタイルビデオ再生用のタイルベースのストリーミングに供給される。

高効率ビデオコーディング（ＨＥＶＣ）の場合、モーション制約タイルセットが定義され、モーションベクトルは、現在のタイルセット（またはタイル）とは異なるタイルセット（またはタイル）を参照しないように制約された。したがって、問題のタイルセット（またはタイル）は、復号の結果に影響を与えることなく、ビットストリームから抽出するか、別のビットストリームにマージすることができ、例えば復号されたサンプルは、問題のタイルセット（またはタイル）が単独で復号されるか、各画像に対してより多くのタイルセット（またはタイル）を有するビットストリームの一部として復号されるかに関係なく、完全に一致する。

後者では、そのような技術が役立つ３６０度ビデオの例が示されている。ビデオは空間的にセグメント化され、各空間セグメントは、図１に示すように、さまざまな空間解像度の複数の表現で、ストリーミングするクライアントに提供される。この図は、２つの解像度で６×４の空間セグメントに分割された３６０度のビデオを投影したキューブマップを示している。簡単にするために、これらの独立した復号可能な空間セグメントは、この説明ではタイルと呼ばれる。

ユーザは通常、９０×９０度の視野を表す青の中実の視野の境界を介して、図２の左側に示されているように、最新のヘッドマウントディスプレイを使用する場合、３６０度ビデオ全体を構成するタイルのサブセットのみを表示する。図２で緑色で網掛けされている対応するタイルは、最高の解像度でダウンロードされる。

ただし、クライアントのアプリケーションはまた、ユーザの突然の向きの変更を処理するために、図２で赤で網掛けされている現在のビューポートの外側にある他のタイルの表現をダウンロードして復号する必要がある。したがって、このようなアプリケーションのクライアントは、現在のビューポートを最高の解像度でカバーするタイルと、現在のビューポートの外側のタイルを比較的低い解像度でダウンロードするが、タイルの解像度の選択は常にユーザの向きに合わせて調整される。クライアント側でダウンロードした後、ダウンロードしたタイルを単一のビットストリームにマージして単一のデコーダで処理することは、限られた計算リソースと電力リソースを備える一般的なモバイルデバイスの制約に対処する手段である。図３は、上記の例のジョイントビットストリームで可能なタイルの配置を示している。ジョイントビットストリームを生成するためのマージ操作は、圧縮ドメイン処理を介して実行する必要がある、例えばトランスコーディングによるピクセルドメインでの処理を回避する。

ＨＥＶＣビットストリームは主にインターコーディングツールに関係するいくつかの制約に従って符号化しているため、マージプロセスを実行できる、例えば上記のようにモーションベクトルを制約する。

新たに登場したコーデックＶＶＣは、同じ目標を達成するためのより効果的な他の手段、つまりサブピクチャを提供する。サブピクチャを使用すると、全体画像よりも小さい領域を、境界が画像であるかのように扱われるという意味で、画像と同様に扱うことができる、例えば運動補償のために境界拡張を適用し、例えば運動ベクトルが領域の外側を指している場合、領域の最後のサンプル（交差する境界）が繰り返され、画像の境界で行われるのとまったく同じように、予測に使用される参照ブロックにサンプルが生成される。これにより、モーションベクトルはＨＥＶＣ ＭＣＴＳのようにエンコーダで制約されず、対応する効率が低下する。

新しいＶＶＣコーディング標準は、マルチレイヤサポート用のメインプロファイルでスケーラブルなコーディングツールを提供することも想定している。したがって、上記のアプリケーションシナリオのさらに効率的な構成は、低解像度のコンテンツ全体をより少ない頻度のＲＡＰで符号化することによって実現できる。ただし、これには、常にベースレイヤに低解像度のコンテンツが含まれ、拡張レイヤに幾ばくか高解像度のコンテンツが含まれるレイヤコーディング構造を使用する必要がある。階層化されたコーディング構造を図１に示す。

ただし、ビットストリームの単一領域の抽出を可能にするいくつかのユースケースには依然として関心があり得る。例えば、エンドツーエンドの遅れが高次のユーザは、３６０度のビデオ全体を低解像度（すべてのタイル）でダウンロードするが、エンドツーエンドの遅れが低次のユーザは、低解像度コンテンツのタイルを少なくダウンロードする、例えばダウンロードする高解像度タイルと同じ数である。

したがって、階層化されたサブピクチャの抽出は、ビデオコーディングの標準によって適切に処理される必要がある。これには、デコーダ側またはエクストラクター側で適切な知識を保証する追加のシグナリングが必要である。

したがって、本発明の目的は、現在利用可能なメカニズムを改善するこの追加のシグナリングを提供することである。

本願の独立請求項の主題によってこの目的が達成される。

本願の第１の態様によれば、データストリームは、ビデオの複数の画像に復号され、データストリームは、少なくとも２つのレイヤに複数の画像を含む。この場合、少なくとも１つのレイヤの画像は、所定のレイヤ固有の数のサブピクチャ、１つまたは複数の他の層の１つの画像またはサブピクチャに対応する１つのレイヤの画像前記画像またはサブピクチャの１つまたは複数に分割され、サブピクチャの少なくとも１つは、運動補償のための境界拡張のための境界を含む。その中の表示は、言い換えれば、データストリームから復号または解析し、異なるレイヤの対応するサブピクチャまたは対応する画像の境界の少なくとも１つが、互いに一直線化しているという表示を解釈する。

本願の第２の態様によれば、一定のビットレートのデータストリームが処理され、複数の画像のそれぞれが所定の数のサブピクチャに分割される方法で、中に符号化された前記複数の画像を有し、各サブピクチャは、運動補償のための境界拡張の境界を含む。サブピクチャデータストリームは、少なくとも１つのサブピクチャのデータストリームに含まれるダミーデータを保持すること、及び抽出されたデータストリームが関係しない別のサブピクチャのデータストリームに含まれるダミーデータを削除することによって、一定のビットレートで少なくとも１つのサブピクチャに関連するデータストリームから生成する。

本発明の第３の態様によれば、サブピクチャ抽出が、複数のレイヤに符号化されたビデオの複数の画像を有するデータストリームに対して実行され、この場合、すべてのレイヤの複数の画像のそれぞれが所定の数のサブピクチャに分割され、各サブピクチャは運動補償のための境界拡張のための境界を含む。サブピクチャ抽出は、１つまたは複数のサブピクチャに対応しないデータストリームのＮＡＬユニットをドロップすること、及びパラメータセット及び／またはピクチャヘッダを書き換えることによって、関心のある１つまたは複数のサブピクチャに関連する抽出されたデータストリームへデータストリームに対して実行される。

本発明の第４の態様によれば、ビデオの複数の画像がデータストリームに符号化され、複数の画像のそれぞれは、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、各サブピクチャは、運動補償のための境界拡張のための境界を含む。複数の画像は、スライスの単位で符号化され、スライスのスライスヘッダに書き込まれ、第１の構文要素及びサブピクチャ識別情報パラメータがあり、第１の構文要素及びサブピクチャ識別情報パラメータは、１ずつ増加し、ビットで区切られ、１に設定され、スライスの少なくとも１つのスライスヘッダでデータストリームに書き込まれる。

本発明の第５の態様によれば、ビデオの複数の画像がデータストリームに符号化され、複数の画像のそれぞれは、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、各サブピクチャは、運動補償のための境界拡張のための境界を含む。複数の画像がスライスの単位で符号化され、スライスのスライスヘッダに第１の構文要素及びサブピクチャ識別情報パラメータが書き込まれる。その中で、第１の構文要素及びサブピクチャ識別情報パラメータがデータストリームに書き込まれるので、第１の構文要素は第１のビットの長さで書き込まれ、サブピクチャ識別情報パラメータは第２のビットの長さで書き込まれ、第１の構文要素はサブピクチャ識別情報パラメータに先行し、第１の構文要素が１つ増加したデータストリームに書き込まれるように、またサブピクチャ識別情報パラメータが特定の値だけ増加したデータストリームに書き込まれ、その後に少しで続き、１に設定するようにする。

特定の値は、第１のビットの長さと第２のビットの長さの合計が３１ビットより小さいかどうかをチェックし、第１のビットの長さと第２のビットの長さの合計が３１ビットより小さい場合は、特定の値を値１に設定すること、また第１及び第２のビットの長さの合計が３１ビット以上の場合は、特定の値を値４に設定することに決定される。

本発明の第６の態様によれば、ビデオの複数の画像がデータストリームに符号化され、複数の画像のそれぞれは、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、各サブピクチャは、運動補償のための境界拡張のための境界を含む。各サブピクチャは、コンテキスト適応型バイナリ算術コーディングを使用して符号化され、この場合、ビデオエンコーダは、サブピクチャのいずれかが所定ビンとビットの比率を超えることを回避するように、ゼロワードの各サブピクチャの１つまたは複数のスライスの終わりに少なくとも１つのサブピクチャのデータストリームを提供するように構成される。

上記のすべての態様は、符号化または復号に限定されず、符号化及び復号のそれぞれの他の態様は、同じ原理に基づいている。本願の前述の態様に関して、すべての態様などの前述の態様の２つ以上がビデオコーデックに同時に実装されるように、同じものを組み合わせることができることに留意されたい。

本願の好ましい実施形態が、図に関して以下に説明される。

２つの解像度で６ｘ４のタイルに並べられた、立方体地図投影法の３６０度のビデオを示している。 ３６０度ビデオストリーミングのユーザビューポートとタイルの選択を示している。 マージ操作後のジョイントビットストリームにおける結果として生じるタイル配置（パッキング）を示している。 スケーラブルなサブピクチャベースのビットストリームを示している。 例示的な構文要素を示す。 例示的な構文要素を示す。 例示的な構文要素を示す。 例示的な構文要素を示す。 例示的な構文要素を示す。 例示的な構文要素を示す。 例示的な構文要素を示す。 サブピクチャに分割された異なる層の画像を示している。 下位レイヤと上位レイヤの間で一直線化された境界である境界と、下位レイヤで対応がない上位レイヤの境界を示している。 例示的な構文要素を示す。 高解像度層ではなく低解像度層で提供される例示的な関心領域（ＲｏＩ）を示している。 例示的なレイヤ及びサブピクチャ構成を示す。 例示的な構文要素を示す。 例示的な構文要素を示す。 サブピクチャ抽出のために、サブピクチャがダミーデータで埋められている、一定のビットレートを有するデータストリームを示す。 サブピクチャ抽出のために、サブピクチャがダミーデータで埋められている、一定のビットレートを有するデータストリームを示す。 例示的な構文要素を示す。 例示的な構文要素を示す。 例示的な構文要素を示す。 例示的な構文要素を示す。 例示的な構文要素を示す。 ｃａｂａｃゼロワードを使用した符号化を示している。

以下では、本発明の追加の実施形態及び態様が説明され、これらは、個別に、または本明細書に記載の特徴及び機能及び詳細のいずれかと組み合わせて使用することができる。

第１の実施形態は、層及びサブピクチャ、特にサブピクチャの境界一直線化（２．１）に関する。

サブピクチャの境界がレイヤ間で一直線化していることが通知される、例えばレイヤごとに同じ数のサブピクチャが存在し、すべてのサブピクチャの境界はサンプルが正確に併置されている。これは、例えば図４に示されている。このようなシグナリングは、例えばｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｍｅｎｔ＿ａｓ＿ｐｉｃ＿ｆｌａｇによって実装できる。このフラグｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｍｅｎｔ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］が設定されている場合、例えば１に等しい値を持つ場合、コード化されたレイヤワイズビデオシーケンスＣＬＶＳの各コード化された画像のｉ番目のサブピクチャは、ループ内フィルタリング操作を除く、復号プロセスの画像として扱われるように指定される。ｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｍｅｎｔ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］が設定されていない場合、例えば値が０の場合、ＣＬＶＳ内の各コード化画像のｉ番目のサブピクチャは、ループ内フィルタリング操作を除く復号プロセスで画像として扱われないように指定される。フラグが存在しない場合は、例えばｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｍｅｎｔ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］の値は１に等しいと推測される設定されていると見なすことができる。

抽出器／受信機はスライスヘッダに存在するサブピクチャＩＤを検索して、対象のサブピクチャに属していないすべてのＮＡＬユニットをドロップできるため、シグナリングは抽出に有用である。サブピクチャが一直線化されると、サブピクチャＩＤはレイヤ間で１対１でマッピングされる。これは、サブピクチャＩＤ Ａによって識別されるエンハンスメント層サブピクチャＡのすべてのサンプルについて、ベース層サブピクチャＢの併置されたサンプルが、サブピクチャＩＤ Ｂｎによって識別される単一のサブピクチャに属することを意味する。

説明されているように一直線化がない場合、参照レイヤの各サブピクチャに対して、参照レイヤに複数のサブピクチャが存在する可能性があり、ビットストリームの抽出または並列化の観点、レイヤのサブピクチャの部分的なオーバーラップから、遥かに劣悪であることに留意されたい。

特定の実装では、サブピクチャの一直線化の表示は、これがレイヤ固有のシグナリングであるため、ＶＰＳで示されるｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）のｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（）構造の制約フラグによって行うことができる。これは、例えば図５に示されている。

構文は、出力レイヤセット（ＯＬＳ）内のレイヤがサブピクチャを一直線化していることを示すことができる。別のオプションは、ビットストリームの全レイヤの一直線化を示すことであり、例えばすべてのＯＬＳに対して、シグナリングＯＬＳを独立させることが挙げられる。

言い換えれば、この実施形態では、データストリームは、ビデオの複数の画像に復号され、データストリームは、少なくとも２つのレイヤに複数の画像を含む。この例では、１つのレイヤがベースレイヤ（図４の「低解像度」）で、もう１つのレイヤが拡張レイヤ（図４の「高解像度」）である。両方のレイヤの画像は、タイルとも時に呼ばれるサブピクチャに分割され、少なくとも図４の例では、ベースレイヤの各サブピクチャには、エンハンスメントレイヤにおいて対応するサブピクチャがある。図４に示すサブピクチャの境界は、運動補償の境界拡張に使用される。

復号では、異なるレイヤの対応するサブピクチャの境界の少なくとも１つが互いに一直線化していると解釈される表示がある。簡単な注記として、本明細書の説明全体を通して、異なる層のサブピクチャは、それらのコロケーションのために互いに対応していると理解され、すなわち、それらは、それらが含まれる画像の中の同じ位置に配置されることに留意されたい。サブピクチャは、それが含まれている同じピクチャ内の他のいずれかのサブピクチャから独立してコード化される。しかしながら、そのレイヤの画像の相互に対応するサブピクチャを説明する用語の特定の層のサブピクチャ及びこれらの相互に対応するサブピクチャは、これらの相互に対応するサブピクチャの外側の領域からの符号化依存性が不要であるように、また、例えば、境界の拡張がこれらの相互に対応するサブピクチャ内のブロックの運動ベクトルによって指し示される運動補償参照部分、すなわち、サブピクチャの境界を超えて延びるこれらの参照部分の一部分に使用されるよう、運動補償予測及び時間予測を使用して符号化される。そのようなレイヤの画像のサブピクチャへの細分割は、互いに重なり合うサブピクチャが互いに対応し、一種の独立してコード化されたサブビデオを形成するような方法で行われる。サブピクチャは、層間予測に関連して機能する場合もあることに留意されたい。コーディング／デコーディングにレイヤ間予測が利用できる場合、あるレイヤの１つの画像が、下のレイヤの別の画像から予測され、両方の画像が同じ時刻になる。あるレイヤの１つの画像の１つのブロックと呼ばれる領域は、別の層の参照画像のサブピクチャの境界を超えて広がり、１つのブロックが併置されている、つまり領域がオーバーレイされている領域は、境界で埋められる拡張、つまり、参照画像の併置されたサブピクチャの外部からのコンテンツを使用しないことによる。

画像が１つのサブピクチャにのみ分割されている場合、つまり画像がサブピクチャとして扱われている場合、画像はレイヤ間で相互に対応し、画像の境界が一直線化され、運動補償の境界拡張に使用されていることを示す。

少なくとも２つの層内の複数の画像のそれぞれは、１つまたは複数のサブピクチャに分割することもでき、異なる層内の対応するサブピクチャのすべての境界が互いに一直線化する程度まで表示を解釈することができる。

以下は、サブピクチャＩＤの対応（２．２）に関するものである。

サブピクチャの境界の一直線化に加えて、サブピクチャが一直線化されている場合に、レイヤ間で互いに対応するサブピクチャＩＤの検出を容易にすることも必要である。

最初のオプションでは、ビットストリームのサブピクチャＩＤは異なる、例えば各サブピクチャＩＤは、ＯＬＳの１つのレイヤでのみ使用できる。これにより、各レイヤサブピクチャは独自のＩＤによって一意に識別できる。これは、例えば図６に示されている。

これは、２つのレイヤが１つのＯＬＳに属しているかどうかに関係なく、ビットストリーム全体で一意のＩＤ、例えばビットストリームの任意のＯＬＳにも当てはまる可能性があることに留意されたい。したがって、一実施形態では、任意のサブピクチャＩＤの値は、ビットストリーム内で一意である（例えば、ｕｎｉｑｕｅ＿ｉｄｓ＿ｉｎ＿ｂｉｔｓｔｒｅａｍ＿ｆｌａｇ）。

２番目のオプションでは、レイヤ内のサブピクチャは、（ＯＬＳまたはビットストリーム全体の）別のレイヤ内の対応する一直線化されたサブピクチャと同じＩＤ値を有する。これにより、サブピクチャＩＤ値を照合するだけで、対応するサブピクチャを非常に簡単に識別できる。また、抽出プロセスは、対象のサブピクチャごとに１つのＩＤのみが抽出器で必要とされるため、簡略化されている。これは、例えば図７に示されている。ａｌｉｇｎｅｄ＿ｓｕｂｐｉｃｔｕｒｅｓ＿ｉｄｓ＿ｉｎ＿ｏｌｓ＿ｕｎｉｑｕｅ＿ｆｌａｇの代わりに、ＳｕｂｐｉｃＩｄＶａｌ制約を使用することもできる。

以下は、サブピクチャのシグナリング順序（２．３）に関するものである。

サブピクチャＩＤのシグナリング順序、位置、及び寸法も制約されている場合、サブピクチャＩＤの対応の処理を大幅に簡素化できる。これは、対応する一直線化されたサブピクチャと一意のサブピクチャＩＤが示されている場合（例えば、フラグｓｕｂｐｉｃｔｕｒｅｓ＿ｉｎ＿ｏｌｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇとａｌｉｇｎｅｄ＿ｓｕｂｐｉｃｔｕｒｅｓ＿ｉｄｓ＿ｉｎ＿ｏｌｓ＿ｕｎｉｑｕｅ＿ｆｌａｇが１に設定されている場合）、サブピクチャの定義（位置、幅、高さ、境界線の処理、その他のプロパティを含む）をＯＬＳ上のすべてのＳＰＳにわたって一直線化させる必要があることを意味する。

例えば、構文要素ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１は、可能なリサンプリング要素を考慮して、レイヤとそのすべての参照レイヤ、及びｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｘ ［ｉ］、ｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｙ ［ｉ］、ｓｕｂｐｉｃ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１ ［ｉ］、ｓｕｂｐｉｃ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｉ］で同じ値を有する必要がある。

この実施形態では、すべての層のＳＰＳ内のサブピクチャの順序（ＳＰＳ内の構文要素の緑色のマーキングを参照）は、同じになるように制約されている。これにより、サブピクチャとレイヤ間の位置の簡単な照合と検証が可能になる。これは、例えば図８に示されている。

サブピクチャＩＤシグナリングは、以下に示すように、ＳＰＳ、ＰＰＳ、またはＰＨのそれぞれの上書き機能で発生する可能性があり、ａｌｉｇｎｅｄ＿ｓｕｂｐｉｃｔｕｒｅｓ＿ｉｄｓ＿ｉｎ＿ｏｌｓ＿ｆｌａｇが１の場合、サブピクチャＩＤの値はすべてのレイヤで同じである必要がある。ｕｎｉｑｕｅ＿ｓｕｂｐｉｃｔｕｒｅｓ＿ｉｄｓ＿ｉｎ＿ｏｌｓ＿ｆｌａｇが１の場合、サブピクチャＩＤの値は複数のレイヤで発生しないようにする必要がある。これは、例えば図９から１１に示されている。

言い換えれば、この実施形態では、相対的なサブピクチャ位置及びサブピクチャの寸法は、すべての層の対応するサブピクチャについて同じであるという指示が解釈される。例えば、データストリーム内のシグナリング順序を表す対応するサブピクチャの位置と次元を示す構文要素のインデックスは同じである。表示は、データストリームの層ごとに１つのフラグ、フラグがデータストリームに存在する層を含む層のサブピクチャ一直線化を示すフラグ、及び参照画像としてのそのフラグのレイヤの画像のいずれかを使用するものなどの１つまたは複数の上位層を含み得る。

図１２はこれを示す。その中に、階層化されたデータストリームのレイヤの写真が示されている。レイヤ１の画像１２１１は、例示的に、サブピクチャに分割されておらず、言い換えれば、１つのサブピクチャのみに分割されていないため、（サブ）画像Ｌ１（１）が存在する。レイヤ２の画像１２１２は、４つのサブピクチャＬ２（１）からＬ２（４）に分割される。ここでは３から４の上位レイヤの画像は、同じ方法で分割される。画像は層間予測を使用してコード化されている、つまり、層間予測はコーディング／復号に使用できることに留意されたい。ある層の１つの画像は、下の層の別の画像から予測でき、両方の画像は、同じ時刻の場合である。ここでも、サブピクチャの境界は、相互予測で境界の彼方を引き起こす、つまり、ある層の１つの画像の１つのブロックと呼ばれる領域は、別の層の参照画像のサブピクチャの境界を超えて広がり、１つのブロックが併置され、参照画像の併置されたサブピクチャの外部からのコンテンツを使用しないことによって埋められる。さらに、サブピクチャに分割される各レイヤでは、画像は一定のサイズである必要がある場合がある、つまり、各レイヤの画像のサイズは変化しない、つまり、ＲＰＲは使用されない。レイヤＬ１などの単一サブピクチャレイヤの場合、さまざまなピクチャサイズとＲＰＲの適用が許可される場合がある。次に、表示のフラグは、上記のように、レイヤ２以上のサブピクチャが一直線化していることを示し得る。つまり、上位層の画像１２１３、１２１４、層３以上は、すべて層２と同じサブピクチャ分割を有している。層３以上のサブピクチャも、層３と同じサブピクチャＩＤを有している。結果として２超のレイヤには、サブピクチャＬＸ（１）からＬＸ（４）もあり、この場合Ｘはレイヤの番号である。図１２は、いくつかのより高い層３及び４についてこれを例示的に示しているが、１つまたは２つ以上のより高い層も存在することができ、その場合、表示もそれに関連する。したがって、表示が行われたレイヤ（ここではレイヤ２）の上の各レイヤのサブピクチャ、つまりフラグが設定されているサブピクチャは、同じインデックスを有する。レイヤ２の対応するサブピクチャとして１、２、３、または４であり、レイヤ２の対応するサブピクチャと同じサイズ及び併置された境界を有する。対応するサブピクチャは、ピクチャ内で互いに併置されているものである。この場合も、このような表示のフラグは、他の各レイヤにも存在する可能性があり、ここで、レイヤ３やレイヤ４などの上位レイヤにも同じサブピクチャの細分を設定することができる。

少なくとも２つの層の複数の画像のそれぞれが１つまたは複数のサブピクチャに分割されるとき、表示は、１つまたは複数の層のそれぞれについて、それぞれの層よりも高い１つまたは複数のより高い層の画像がサブピクチャに分割されることを示し、所定の層固有のサブピクチャの数がそれぞれの層及び１つまたは複数の上位層に対して等しくなり、所定の層固有の数のサブピクチャの境界がそれぞれの層と１つまたは複数の上位層との間で空間的に一致するようにする。

特に、これを図１２の画像に当てはめると、レイヤ２以上のサブピクチャが一直線化していることが示されれば、レイヤ３以上も対応して一直線化したサブピクチャを有することが明らかになる。

１つまたは複数の上位層は、予測のためにそれぞれの層の画像を使用することができる。

また、サブピクチャのＩＤは、それぞれのレイヤと１つ以上の上位レイヤの間で同じである。

また、図１２には、サブピクチャ抽出器１２１０が示されており、これは、今議論したレイヤがコード化されているビットストリームから、レイヤ２～４の１つまたは複数のサブピクチャの特定のセットに固有の抽出ビットストリームをコーディングするためのものである。完全なビットストリームから、レイヤ化された画像の関心領域に関連する部分を抽出し、ここでは、サブピクチャの例として、画像の右上隅を抽出する。したがって、抽出器１２１０は、タイＲｏＩに関連するビットストリーム全体の部分、すなわち、上記の表示がサブピクチャ調整を示さない、すなわち、上記のフラグが設定されていない任意の層の画像全体に関連する部分を抽出し、及び相互に一直線化されたレイヤ内の画像のサブピクチャに関連する部分、つまり、フラグが設定されている部分と、サブピクチャがＲｏＩをオーバーレイするいずれかの上位レイヤ、ここでは例としてＬ２（２）、Ｌ３（２）、及びＬ４（２）である。言い換えれば、出力層セットにあり、サブピクチャ層、ここでは２～４である、の参照として機能する、図１２の場合のＬ１などの任意の単一サブピクチャ層は、抽出器１２１０によって抽出されたビットストリームに含まれ、抽出されたビットストリームでは、ＨＬＳの層間予測パラメータがそれに応じて調整される、つまり、抽出されたビットストリームでは、レイヤ２～４の以前のサブピクチャに分割された上位層の画像がＲｏＩ内のサブピクチャにのみトリミングされるほど小さいことを反映するために、スケーリングウィンドウの条件が調整される。サブピクチャが互いに一直線化していることを表示が示しているため、抽出は簡単である。サブピクチャ一直線化の表示を利用する別の方法は、復号をより簡単に編成するデコーダである可能性がある。

以下は、下位層（２．４）のサブピクチャの境界サブセットに関するものである。

符号化を高速化するためのレイヤ内の領域の完全並列符号化など、他のユースケースが存在する可能性があり、この場合、解像度が高く、レイヤが高次であるほどサブピクチャの数が多くなる（空間スケーラビリティ）。このような場合、一直線化も望ましい。さらなる実施形態は、上位層のサブピクチャの数が下位（参照）層のサブピクチャの数よりも多い場合、下位層のすべてのサブピクチャの境界が上位層（同じ場所に配置された境界）に対応するものを有することである。図１３は、下位層と上位層の間で一直線化された境界である境界と、下位層で対応がない上位層の境界を示している。

そのプロパティを通知するための例示的な構文を図１４に示す。

以下は、サブピクチャの境界の層状運動補償予測の影響（２．５）に関するものである。

サブピクチャがレイヤ内のみであるか、レイヤ間でも独立したサブピクチャであるかは、ビットストリームに示される。より具体的には、この表示は、レイヤ間で実行される運動補償予測がサブピクチャの境界も考慮に入れるかどうかを示す。一例には、図１５に示されているように、ＲｏＩがコンテンツの低解像度バージョン（低次のレイヤ）で設けられ（例えば、１０８０ｐコンテンツ内の７２０ｐ ＲｏＩ）、高解像度コンテンツ（例えば、４ｋ解像度の高次のレイヤ）では設けられない場合がある。

別の実施形態では、レイヤ間で実行される運動補償予測がサブピクチャの境界をまた考慮に入れるかどうかは、サブピクチャがレイヤ間で一直線化されているかどうかという事実に依存する。そうである場合、中間層予測などの運動補償を考慮して境界が考慮される。例えば、運動補償では境界の外側のサンプル位置を使用すること、またはそのようなサンプル位置のサンプル値は境界内のサンプル値から外挿されることが、許容されない。それ以外の場合、境界は層間運動補償予測では無視される。

以下は、サブピクチャ縮小参照ＯＬＳ（２．６）に関するものである。

レイヤ付きのサブピクチャの使用について検討できるもう１つのユースケースは、ＲｏＩスケーラビリティである。このようなユースケースの潜在的なレイヤとサブピクチャの構成の図を図１６に示す。このような場合、下位レイヤのＲｏＩ部分またはサブピクチャのみが上位レイヤに必要である、つまり、ＲｏＩにのみ関心があるときに、つまり、指定された例のベースレイヤまたは拡張レイヤで７２０ｐバージョンを復号しているときに復号されることが必要なサンプルが少なくて済むことを意味している。それでも、ビットストリームのサブセットのみ復号する必要があること、したがって、ＲｏＩに関連付けられたサブビットストリームのレベルはベースレイヤ全体及びエンハンスメントレイヤよりも低次である（復号されるサンプルが少ない）ことを、デコーダに示す必要がある。

この例では、１０８０＋４Ｋの代わりに、７２０＋４Ｋのみを復号する必要がある。

一実施形態では、ＯＬＳシグナリングは、１つのレイヤが完全に必要とされるのではなく、そのサブピクチャのみが必要であることを示す。各出力レイヤについて、表示がなされると（ｒｅｄｕｃｅｄ＿ｓｕｂｐｉｃ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇが１に等しい）、参照に使用される関連するサブピクチャＩＤのリストが与えられる（ｎｕｍ＿ｓｕｂ＿ｐｉｃ＿ｉｄｓ、ｓｕｂＰｉｃＩｄＴｏＤｅｃｏｄｅＦｏｒＲｅｆｅｒｅｎｃｅ）。これは、例えば図１７に示されている。

別の実施形態では、ＯＬＳ内の層の不要なサブピクチャがＯＬＳビットストリームから削除される場合に必要とされるであろうＰＴＬを示す追加のＰＴＬシグナリングが提示される。オプションを図１８に示しており、この場合、それぞれの構文がＶＰＳに追加されている。

以下は、一定のビットレート（ＣＢＲ）とサブピクチャ（３）に関するものである。

態様によれば、ビデオ処理装置は、複数の画像を含むデータストリームから復号されたビデオの複数の画像を処理するように構成され得、複数の画像、例えばすべてのレイヤの各々が、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、またビデオ処理装置は、ダミーデータを維持することによって、データストリームから一定のビットレートで少なくとも１つのサブピクチャを生成するように構成され、そのデータの例は、サブピクチャの直後のサブピクチャのためのデータストリームに含まれるか、またはデータストリームで別のサブピクチャが発生するまでサブピクチャに隣接していないがサブピクチャの表示、例えばサブピクチャ識別情報を含むデータストリームに含まれる、ＦＤ＿ＮＵＴ及びフィラーペイロード補足拡張情報、ＳＥＩのメッセージがある。データスチームが層状データストリームである場合、このコード化された画像は１つの層に関連する可能性があり、サブピクチャごとのビットレート制御が各層に適用され得ることに留意されたい。

別の態様によれば、ビデオエンコーダは、複数の画像を含むデータストリームにビデオの複数の画像を符号化するように構成され得、すべてのレイヤの複数の画像の各々が、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、またビデオエンコーダは、データストリームのダミーデータ、例えばＦＤ＿ＮＵＴ及びフィラーペイロード補足拡張情報、ＳＥＩのメッセージを包含することによって、一定のビットレートで少なくとも１つのサブピクチャをデータストリームに生成するように構成され、各サブピクチャについて、各サブピクチャの直後であるか、サブピクチャに隣接していないがサブピクチャの表示、例えばサブピクチャ識別情報を含む。

別の態様によれば、ビデオを処理するための方法は、複数の画像を含むデータストリームから復号されたビデオの複数の画像を処理するステップを有し得、複数の画像、例えばすべてのレイヤの各々が、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、また方法は、ダミーデータを維持することによって、データストリームから一定のビットレートで少なくとも１つのサブピクチャを生成するステップを含み、そのデータの例は、サブピクチャの直後のサブピクチャのためのデータストリームに含まれるか、またはデータストリームで別のサブピクチャが発生するまでサブピクチャに隣接していないがサブピクチャの表示、例えばサブピクチャ識別情報を含むデータストリームに含まれる、ＦＤ＿ＮＵＴ及びフィラーペイロード補足拡張情報、ＳＥＩのメッセージがある。

別の態様によれば、ビデオを符号化するための方法は、複数の画像を含むデータストリームにビデオの複数の画像を符号化するステップを有し得、複数の画像、例えばすべてのレイヤの複数の画像の各々が、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、また方法は、データストリームのダミーデータ、例えばＦＤ＿ＮＵＴ及びフィラーペイロード補足拡張情報、ＳＥＩのメッセージを包含することによって、一定のビットレートで少なくとも１つのサブピクチャをデータストリームに符号化するステップを含み、各サブピクチャについて、各サブピクチャの直後であるか、サブピクチャに隣接していないがサブピクチャの表示、例えばサブピクチャ識別情報がある。

サブピクチャを含むビットストリームが符号化され、関連するＨＲＤ構文要素が固定ビットレート（ＣＢＲ）ビットストリームを定義する場合がある、例えば少なくとも１つのスケジューリング値に対してｃｂｒ＿ｆｌａｇは１に設定され、ビットストリームが一定のビットレートビットストリームに対応し、頻繁に、いわゆるフィラーデータ、ＶＣＬ ＮＡＬユニットまたはフィラーペイロードＳＥＩ（非ＶＣＬ ＮＡＬユニット）、例えばＦＤ＿ＮＵＴ及びフィラーペイロードＳＥＩメッセージを使用することによることを示す。

ただし、サブピクチャビットストリームが抽出された場合、このプロパティが引き続き適用されるかどうかは明確ではない。

一実施形態では、サブピクチャの抽出プロセスは、常にＶＢＲビットストリームをもたらす方法で定義される。ＣＢＲケースを示す／保証する可能性はない。その場合、ＦＤ＿ＮＵＴ及びフィラーペイロードＳＥＩメッセージは、抽出プロセス中に単に破棄される。

別の実施形態では、各サブピクチャのＣＢＲ「動作点」は、サブピクチャを構成するＶＣＬ ＮＡＬユニットの直後、したがってサブピクチャのＣＢＲ「動作点」の抽出中に、それぞれのＦＤ＿ＮＵＴ及びフィラーペイロードＳＥＩメッセージを配置することによって保証されることが示され、サブピクチャＶＣＬ ＮＡＬユニットに関連付けられたそれぞれのＦＤ＿ＮＵＴ及びフィラーペイロードＳＥＩメッセージは、サブピクチャのサブビットストリームが抽出プロセス中に抽出されるときに保持され、抽出プロセスが別のサブピクチャを対象とする抽出プロセス中または非ＣＢＲの「動作点」にて保持される。このような表示は、例えばｓｌｉ＿ｃｂｒ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇを使用して実行できる。したがって、例えば、ｓｌｉ＿ｃｂｒ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇが０に等しい場合、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＦＤ＿ＮＵＴに等しいすべてのＮＡＬユニットと、フィラーペイロードＳＥＩメッセージを含むＳＥＩＮＡＬユニットが削除される。

説明されているプロセスでは、ＦＤ＿ＮＵＴまたはフィラーペイロードＳＥＩメッセージがドロップされたかどうかを知るために、ＶＣＬ ＮＡＬユニットとそれに関連する非ＶＣＬＮＡＬユニットの状態を保持する必要があり、直接先行するＶＣＬＮＡＬユニットのサブピクチャＩＤが何であったかを知る必要がある。このプロセスを容易にするために、ＦＤ＿ＮＵＴとＦｉｌｌｅｒ Ｐａｙｌｏａｄ ＳＥＩにシグナリングが追加され、それらが特定のサブピクチャＩＤに属していることを表示する。あるいは、別の実施形態では、次のＳＥＩメッセージまたはＮＡＬユニットが、別のサブピクチャＩＤを示す別のＳＥＩメッセージの存在まで、サブピクチャＩＤを有する所与のサブピクチャに属することを示すＳＥＩメッセージがビットストリームに追加される。

言い換えれば、複数の画像のそれぞれが所定の数のサブピクチャに分割され、各サブピクチャが運動補償のための境界の拡張のための境界を含むように、中に符号化された複数の画像を有する一定のビットレートのデータストリームが処理され、処理により、一定のビットレートの少なくとも１つのサブピクチャに関連するサブピクチャのデータストリームは、少なくとも１つのサブピクチャのデータストリームに含まれるダミーデータを保持し、抽出されたデータストリームが関係しない別のサブピクチャのデータストリームに含まれるダミーデータを除去することによって、データストリームから生成される。

これは、図１９及び２０で見ることができ、処理されたデータストリームにコード化されたビデオの例示的な２つの画像１９１０及び１９２０が示されている。これらの画像は、それぞれサブピクチャ１９１１、１９１２、１９１３、及び１９２１、１９２２、及び１９２３に分割され、いくつかのエンコーダ１９３０によってビットストリーム１９４５の対応するアクセスユニット１９４０及び１９５０に符号化される。

サブピクチャへの細分化は、単に例示のために示されている。説明のために、アクセスユニットＡＵは、それぞれ、いくつかのヘッダ情報部分、ＨＩ１及びＨＩ２も含むように示されているが、これは単に説明のためであり、画像は、いくつかの部分に断片化されたビットストリーム１９４５にコード化されるように示され、例えばそれぞれ、ＶＣＬ ＮＡＬユニット、１９４１、１９４２、１９４３、１９５１、１９５２、及び１９５３などであり、１９４０及び１９５０の画像のサブピクチャごとに１つのＶＣＬユニットが存在するが、これは説明のみを目的として行われ、１つのサブピクチャが複数のそのような部分またはＶＣＬＮＡＬユニットに断片化／コード化することによるものであり得る。

エンコーダは、サブピクチャを表す各データ部分の最後にダミーデータｄを含めることによって、一定のビットレートのデータストリームを作成する、つまり、各サブピクチャのダミーデータ１９４４、１９４５、１９４６、１９５４、１９５５、及び１９５６になる。ダミーデータは、図１９に十字を使用して示されている。それにおいて、ダミーデータ１９４４はサブピクチャ１９１１に対応し、１９４５はサブピクチャ１９１２に対応し、１９４６はサブピクチャ１９１３に対応し、１９５４はサブピクチャ１９２１に対応し、１９５５はサブピクチャ１９２２に対応し、１９５６はサブピクチャ１９２３に対応する。一部のサブピクチャでは、ダミーデータが必要ない可能性がある。

オプションで、前述のように、サブピクチャを複数のＮＡＬユニットに分散させることもできる。この場合、ダミーデータは、各ＮＡＬユニットの最後、またはそのサブピクチャの最後のＮＡＬユニットの最後に挿入できる。

次に、一定のビットレートのデータストリーム１９４５は、サブピクチャ抽出器１９６０によって処理され得、サブピクチャ抽出器１９６０は、例として、サブピクチャ１９１１及び対応するサブピクチャ１９２１、つまり併置されているため、ビットストリーム１９４５でコード化された相互に対応するビデオのサブピクチャに関連する情報を抽出する。抽出されたサブピクチャのセットは複数である可能性がある。抽出の結果、抽出されたビットストリーム１９５５になる。抽出のために、抽出されたサブピクチャ１９１１／１９２１のＮＡＬユニット１９４１及び１９５１が抽出され、抽出されたビットストリーム１９５５に引き継がれ、他のサブピクチャの他のＶＣＬ ＮＡＬユニットは、抽出されないものが無視またはドロップされ、抽出されたサブピクチャ（２）に対応するダミーデータｄのみが抽出されたビットストリーム１９５５に引き継がれ、他のすべてのサブピクチャのダミーデータもドロップされる。つまり、他のＶＣＬ ＮＡＬユニットの場合、ダミーデータｄが削除される。必要に応じて、ヘッダ部分ＨＩ３及びＨＩ４は、以下に詳述するように変更され得る。それらは、ＰＰＳ及び／またはＳＰＳ及び／またはＶＰＳ及び／またはＡＰＳなどのパラメータセットに関連するか、またはそれらを含み得る。

したがって、抽出されたビットストリーム１９５５は、ビットストリーム１９４５のアクセスユニット１９４０及び１９５０に対応するアクセスユニット１９７０及び１９８０を含み、一定のビットレートである。次に、抽出器１９６０によってかように生成されたビットストリームは、デコーダ１９９０によって復号されて、サブビデオ、すなわち、抽出されたサブピクチャ１９１１及び１９２１のみから構成されるサブピクチャを含むビデオを生成することができる。抽出は、当然、ビットストリーム１９４５のビデオの画像の複数のサブピクチャに影響を及ぼし得る。

別の代替案として、１つまたは複数のサブピクチャが１つまたは複数のＮＡＬユニットにコード化されているかどうかに関係なく、ダミーデータは、データストリームの最後にある各アクセスユニット内で順序付けられ得るが、各ダミーデータがそれぞれのアクセスユニットにコード化された対応するサブピクチャと関連する。これは、１９４０と１９５０の代わりに図２０に示されて、アクセスユニット２０４０と２０５０と名付けている。

ダミーデータは、ＶＣＬ ＮＡＬユニットと区別できるように、特定のＮＡＬユニットタイプのＮＡＬユニットである場合があることに留意されたい。

一定のビットレートであるとしてビットストリーム１９４５を取得する別の方法も図２０で説明され得るが、ここでは、一定のビットレートはサブピクチャごとに作成されない。むしろ、それはグローバルに作られている。図２０に示すように、ダミーデータは、ここで、ＡＵの終わりにあるすべてのサブピクチャに完全に含めることができ、図１９に対応するデータストリーム部分のみを例示的に示す。その中で、アクセスユニット２０４０及び２０５０において。サブピクチャを表すデータ部分、それぞれ２０４４、２０４５、２０４６、２０５４、２０５５、及び２０５６は互いに直接続き、ダミーデータはサブピクチャの最後、それぞれのアクセスユニットの最後に追加される。

サブピクチャ選択ダミーデータ削除を実行するかどうか、つまり、サブピクチャビットストリームを抽出するときにすべてのダミーデータを削除する必要があるかどうか、または関心のあるサブピクチャのダミーデータ（複数可）、つまり抽出されるものは、図１９に示すように保持する必要があるかどうか、ということを抽出器によって処理されるビットストリームで表示される。

また、データストリームがサブピクチャごとに一定のビットレートではないことが示されている場合、抽出器１９６０は、すべてのＮＡＬユニットのすべてのダミーデータｄを削除することができ、結果として抽出されるサブピクチャビットストリームは、一定のビットレートではない。

ダミーデータの配置は、アクセスユニット内で、今説明した例に比べて変更される可能性があり、ＶＣＬユニット間またはアクセスユニットの先頭に配置される可能性があることに留意されたい。

処理装置または抽出器１９６０の上記及び下記のプロセスは、例えば、デコーダによっても実行できることに留意されたい。

言い換えれば、データストリームは、解釈、例えば復号及び解析によって処理することができ、データストリームのサブピクチャの少なくとも１つの抽出可能なセットが、抽出されたサブピクチャのビットストリームが一定のビットレートになるように抽出可能であることを示す。この表示は、例えば、ビデオパラメータセット、ＶＰＳ、またはＳＥＩメッセージから処理するか、それらに含めることができ、例えば、ｃｂｒ＿ｆｌａｇまたはｓｌｉ＿ｃｂｒ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇにすることができる。

データストリームはまた、データストリームの１つまたは複数のサブピクチャの抽出可能なセットが一定のビットレートでコード化されていないという表示を解釈して処理することができ、その表示は、例えば、ビデオパラメータセット、ＶＰＳ、またはＳＥＩメッセージにおけるものであり、そのように示される場合は、すべてのダミーデータが削除される。

前述のように、ダミーデータにはＦＤ＿ＮＵＴ、特別なＮＡＬユニットが含まれる場合がある。追加的または代替的に、ダミーデータは、フィラーペイロード補足拡張情報、ＳＥＩ、メッセージを含み得る。

データストリームは、解釈を使用して処理することもでき、例えば、生成が一定のビットレートの抽出されたデータストリームになるかどうか、この場合、ビデオ処理装置はダミーデータｄの保持と削除を実行する、または、生成が一定のビットレートである抽出されたデータストリームに終わらないかどうか、この場合、ビデオ処理装置はすべてのダミーデータの削除を実行するということの、抽出されたデータストリームの生成のためのデータストリームからの表示を復号する。

最後に、前述のダミーデータは、例えば、ＦＤ＿ＮＵＴ及びフィラーペイロード補足拡張情報、ＳＥＩ、メッセージを含むことができる。

以下は、サブピクチャ抽出の完了に関するもの、パラメータセットの書き換え（４）である。

別の態様によれば、ビデオ処理装置は、ビデオの複数の画像を含むデータストリームに対してサブピクチャ抽出を実行するように構成され得、この場合、すべてのレイヤの複数の画像のそれぞれは、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、データストリームでサブピクチャ抽出を実行するときにデータストリームのパラメータセット及び／またはピクチャヘッダを書き換えることが許可されるというデータストリーム内の表示を解釈する。

前の態様を参照するときの別の態様によれば、ビデオ処理装置は、ＨＲＤ関連情報、画像サイズ、及び／または複数の画像の細分化に関する情報をサブピクチャに書き換えるための追加情報を提供するデータストリームの表示を解釈するようにさらに構成され得る。

さらに別の態様によれば、ビデオエンコーダは、ビデオの複数の画像をデータストリームに符号化するように構成され得、データストリームは、複数の画像を含み、この場合、すべてのレイヤの複数の画像のそれぞれは、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、データストリームでサブピクチャ抽出を実行するときにデータストリームのパラメータセット及び／またはピクチャヘッダを書き換えることが、データストリームにおいてサブピクチャ抽出を実行するときに許可される、という表示する。

前の態様を参照するときの別の態様によれば、ビデオエンコーダは、ＨＲＤ関連情報、画像サイズ、及び／または複数の画像の細分化に関する情報をサブピクチャに書き換えるための追加情報を提供するデータストリームの表示を解釈するようにさらに構成され得る。

別の態様によれば、ビデオを処理するための方法は、ビデオの複数の画像を含むデータストリームに対してサブピクチャ抽出を実行するように構成され得、この場合、すべてのレイヤの複数の画像のそれぞれは、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、データストリームでサブピクチャ抽出を実行するときにデータストリームのパラメータセット及び／またはピクチャヘッダを書き換えることが許可されるというデータストリーム内の表示を解釈する。

前の態様を参照するときの別の態様によれば、ビデオを処理するための方法は、ＨＲＤ関連情報、画像サイズ、及び／または複数の画像の細分化に関する情報をサブピクチャに書き換えるための追加情報をデータストリームに表示するようにさらに構成され得る。

別の態様によれば、ビデオを処理するための方法は、ビデオの複数の画像を含むデータストリームにてサブピクチャ抽出実行するステップであって、この場合、すべてのレイヤの複数の画像のそれぞれは、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含む、実行するステップ、及びデータストリームでサブピクチャ抽出を実行するときにデータストリームのパラメータセット及び／またはピクチャヘッダを書き換えることが、データストリームにおいて許可される、という表示を解釈するステップを有し得る。

前の態様を参照するときの別の態様によれば、ビデオを処理するための方法は、ＨＲＤ関連情報、画像サイズ、及び／または複数の画像の細分化に関する情報をサブピクチャに書き換えるための追加情報を提供するデータストリームの表示を解釈するステップをさらに有し得る。

別の態様は、データストリームについて言及し得、それに対しビデオが符号化され、ビデオは複数の画像を含み、この場合、すべてのレイヤの複数の画像のそれぞれは、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、データストリームでサブピクチャ抽出を実行するときにデータストリームのパラメータセット及び／またはピクチャヘッダを書き換えることが許可される、という表示する。

通常、ビットストリーム抽出プロセスは、（サブ）レイヤに対して次のように指定されている。
－ 対象の（サブ）レイヤに対応しないＮＡＬユニットをドロップする
－ ＳＥＩメッセージをドロップする（Ｐｉｃｔｕｒｅ Ｔｉｍｉｎｇ ＳＥＩ、Ｂｕｆｆｅｒｉｎｇ Ｐｅｒｉｏｄ ＳＥＩなど）
－ オプションで、対象の（サブ）レイヤに関連付けられたネストされたＳＥＩメッセージから適切なＳＥＩメッセージを取得する

ただし、上で説明したように、ＮＡＬユニットを（サブ）レイヤごとよりも細かい粒度でドロップする、例えばサブピクチャ抽出では、これまでに解決されていない問題が発生する可能性がある。例は、上記のＣＢＲのＦＤ＿ＮＵＴの説明を参照されたい。別の問題はパラメータセットから発生する。（サブ）レイヤ抽出では、パラメータセットには、抽出された（サブ）レイヤに関係のない追加情報が含まれる可能性があり、例えば、ドロップされた（サブ）レイヤに関する情報が含まれるが、抽出されたサブビットストリームの（サブ）レイヤを依然記述しているという意味で正しいということがある。ドロップされた（サブ）レイヤのその追加情報は、まさに無視し得る。サブピクチャ抽出に関しては、この設計原理は複雑すぎて維持できず、そのため、例えばＨＥＶＣでは、ＭＣＴＳをネストするＳＥＩメッセージに置換パラメータセットが含まれる。ただし、ＶＶＣでは、状況をさらに複雑にし、ＳＥＩメッセージをネストするＨＥＶＣスタイルのソリューションを実行不可能にする画像ヘッダが定義されている。

したがって、サブピクチャ抽出を実行するときにパラメータセットが変更される。パラメータセットには、サブピクチャ抽出を実行するときに変更する必要がある、画像サイズ、ｐｒｏｆｉｌｅ＿ｌｅｖｅｌ情報、タイリング／スライスグリッド（画像ヘッダにも存在する可能性がある）などの情報が含まれていることに留意されたい。

一実施形態では、抽出プロセスは次のように定義される。
－ 対象のサブピクチャに対応しないＮＡＬユニットをドロップする
－ ＳＥＩメッセージをドロップする（Ｐｉｃｔｕｒｅ Ｔｉｍｉｎｇ ＳＥＩ、Ｂｕｆｆｅｒｉｎｇ Ｐｅｒｉｏｄ ＳＥＩなど）
－ 対象の（サブ）レイヤに関連付けられたネストされたＳＥＩメッセージから適切なＳＥＩメッセージを取得する
－ パラメータセットをドロップする
－ 適切なパラメータセットを追加する
－ 画像ヘッダをドロップする
－ 適切な画像ヘッダを追加する

「適切な」パラメータセットと画像ヘッダを生成する必要がある。抽出前のパラメータセットと画像ヘッダを書き直すことによるのが最も見込みがある。
変更が必要な情報は次のとおりである。
－ レベルとＨＲＤ関連
－ 画像のサイズ
－ タイリング／スライス／サブピクチャグリッド

結果として得られるレベル及びＨＲＤ関連の情報は、それぞれのＳＥＩメッセージ（サブピクチャレベル情報ＳＥＩメッセージ）から抽出して、パラメータセットの書き換えに使用できる。

各サブピクチャのサイズはＳＰＳで簡単に見つけられるため、プロセスで抽出された単一のサブピクチャがある場合、結果の画像サイズを簡単に導き出すことができる。ただし、ビットストリームから複数のサブピクチャが抽出される場合、例えば、結果のビットストリームには複数のサブピクチャが含まれ、結果の画像サイズは、外的手段によって定義された配置によって異なる。

一実施形態では、ビットストリームは、元のビットストリーム内の長方形の領域に対応するサブピクチャの抽出のみが許可され、元のビットストリーム内のそれらの相対的な配置が変更されないように保たれることを制約した。したがって、抽出された領域内での並べ替えやギャップは許可されない。

サブピクチャの座標は現在、図２１に示すように、ｔｏｐ＿ｌｅｆｔの座標と幅及び高さを表すパラメータによって定義されている。これにより、左上、右上、左下、右下のコーナーまたは領域を簡単に導出できる。したがって、抽出プロセスは、抽出されたすべてのサブピクチャに対して実行され、さらに小さい座標が見つかった場合（最小値の検索など）、ｔｏｐ＿ｌｅｆｔ座標の最小の「ｘ」及び「ｙ」の座標を更新し、さらに小さい座標が見つかった場合（最大値の検索など）、右下の座標の最大の「ｘ」及び「ｙ」の座標を更新する。例えば、以下が挙げられる。

ＭｉｎＴｏｐＬｅｆｔＸ＝ＰｉｃＷｉｄｔｈ
ＭｉｎＴｏｐＬｅｆｔＹ＝ ＰｉｃＨｅｉｇｈｔ
ＭａｘＢｏｔｔｏｍＲｉｇｈｔＸ＝０
ＭａｘＢｏｔｔｏｍＲｉｇｈｔＹ＝０
Ｆｏｒ ｉ＝０．．ＮｕｍＥｘｔＳｕｂＰｉｃＭｉｎｕｓ１
Ｉｆ（ｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｘ［ ｉ ］＜ＭｉｎＴｏｐＬｅｆｔＸ）
ＭｉｎＴｏｐＬｅｆｔＸ＝ ｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｘ［ ｉ ］
Ｉｆ（ｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｙ［ ｉ ］＜ＭｉｎＴｏｐＬｅｆｔＹ）
ＭｉｎＴｏｐＬｅｆｔＹ＝ ｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｙ［ ｉ ］
Ｉｆ（ｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｘ［ ｉ ］＋ ｓｕｂｐｉｃ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１［ｉ］＞ＭａｘＢｏｔｔｏｍＲｉｇｈｔＸ）
ＭａｘＢｏｔｔｏｍＲｉｇｈｔＸ＝ ｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｘ［ ｉ ］＋ ｓｕｂｐｉｃ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１［ｉ］
Ｉｆ（ｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｙ［ ｉ ］＋ ｓｕｂｐｉｃ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｉ］＞ ＭａｘＢｏｔｔｏｍＲｉｇｈｔＹ）
ＭａｘＢｏｔｔｏｍＲｉｇｈｔＹ＝ ｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｙ［ ｉ ］＋ ｓｕｂｐｉｃ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｉ］

次に、この値を使用して、ＭｉｎＴｏｐＬｅｆｔＸまたはＭｉｎＴｏｐＬｅｆｔＹのそれぞれの値を差し引くことにより、最大画像サイズと、各抽出されたサブピクチャのｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｘ ［ｉ］、ｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｙ［ｉ］の新しい値を導出できる。

代替の実施形態では、議論された値を必要とせずに、または導出することなく、パラメータセット及び画像ヘッダを書き換えることを可能にするシグナリングが提供される。抽出されるサブピクチャの潜在的な組み合わせごとに、パラメータセットで書き換える必要のある画像サイズを提供できる。これは、例えばＳＥＩメッセージの形式で実行できる。ＳＥＩメッセージには、再書き込みに役立つ情報が内部にあることを示すｐａｒａｍｅｔｅｒ＿ｔｙｐｅ構文要素を含めることができる。例えば、タイプ０は、画像サイズ、抽出されたビットストリームのタイプ１レベル、画像ヘッダ内のタイプ２情報、それらの組み合わせなどである。

言い換えると、複数のレイヤに符号化されたビデオの複数の画像を有するデータストリームに対してサブピクチャ抽出を実行し、この場合、すべてのレイヤの複数の画像のそれぞれが所定の数のサブピクチャに分割され、各サブピクチャは運動補償のための境界拡張のための境界を含む。サブピクチャ抽出は、１つまたは複数のサブピクチャに対応しないデータストリームのＮＡＬユニットをドロップすること、及びパラメータセット及び／またはピクチャヘッダを書き換えることによって、関心のある１つまたは複数のサブピクチャに関連する抽出されたデータストリームへデータストリームに対して実行される。

これを図１９に関してもう一度説明していく。サブピクチャ１９１２、１９１３、１９２２、１９２３は、対象のサブピクチャ（複数可）に属していないため、サブピクチャ抽出１９６０では必要なく、対応するＮＡＬユニット１９４２、１９４３、１９５２、１９５３は、抽出によって完全にドロップすることができる。今回、図１９のダミーデータの存在は任意であると理解されるべきであり、または存在する場合、図２０で説明されているように、同じことがサブピクチャによって非特異的である可能性がある。

しかしながら、図１９に関して今説明した例では、抽出器１９６０は、ヘッダ情報ＨＩ１及びＨＩ２をそれぞれＨＩ３及びＨＩ４に書き換えることができる。サブピクチャを抽出するときに同時に行うことができるこのプロセスにおいて、ヘッダ情報は、例えば、ビデオパラメータセット、ＶＰＳ、及び／またはシーケンスパラメータセット、ＳＰＳ、及び／または画像パラメータセット、ＰＰＳなどであり得、その特定の変数値を書き換えることによって変更できる。

書き換えのための情報は、データストリームから導出され得、データストリームに存在することができ、実際のヘッダ情報ＨＩ１及びＨＩ２に加えて、追加情報は、ＨＲＤ関連情報、画像サイズ、及び／またはサブピクチャへの細分割に関連し得る。書き換えが許可されていること、または追加が存在することの表示、及び／または追加情報は、データストリームで示すことができ、例えば、補足の拡張情報、ＳＥＩ、メッセージを伴う。

サブピクチャ抽出は、抽出されたデータストリームが抽出されたサブピクチャのセットからなるように実行でき、そのそれぞれがデータストリーム内の長方形の領域に対応するという点で長方形であるようさらに構成される。

書き換え可能な値には、輝度サンプルのサブピクチャ幅、輝度サンプルのサブピクチャ高さ、レベル情報、ＨＲＤ関連パラメータ、及びピクチャサイズがある。

以下は、ｓｕｂ＿ｐｉｃ＿ｉｄ（５）のエミュレーション防止の廃止に関するものである。

サブピクチャＩＤは、現在ＶＶＣのスライスヘッダに通知される。これは、例えば図２２に示されている。

ただし、それらはスライスヘッダの第１の構文要素の１つとして記述されているため、その値に簡単にアクセスできる。抽出プロセス（またはＩＤを変更／チェックする必要があるマージプロセス）では、サブピクチャＩＤの値を読み書きする必要があるため、簡単にアクセスできることが望ましいことに留意されたい。その値に簡単にアクセスするためにまだ欠けている１つの側面は、エミュレーションの防止である。構文要素ｓｌｉｃｅ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂは最大１６ビットの長さであり、値０、例えば０ｘ００００をとることができる。ｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄの長さは１６ビットである。したがって、ｓｌｉｃｅ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ値とｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄ値の組み合わせによっては、エミュレーション防止が行われる可能性があり、これにより、上位レイヤの適用によるサブピクチャＩＤの解析がより複雑になり、上位レイヤの適用の変更または変更がさらに困難になる、なぜならｓｌｉｃｅ＿ｈｅａｄｅｒにエミュレートされた防止の長さは、ｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄの値がｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄ＊の別の値に変更された場合に変更される可能性がある。

一実施形態では、ｓｌｉｃｅ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂがｓｌｉｃｅ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ＿ｐｌｕｓ１に変更され、ｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄがｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄ＿ｐｌｕｓ１に変更されるため、ｓｌｉｃｅ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂとｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄの間でエミュレーション防止が発生することはない。これはｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄの解析には役立つが、ｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄの値を変更する必要があるユースケースの解決策にはならない。ｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄ＿ｐｌｕｓ１は、ｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄ＿ｐｌｕｓ１を含むスライスヘッダの最後のバイトにあるｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄ＿ｐｌｕｓ１の最下位ビットがゼロでないことを保証しないことに留意されたい。したがって、そのバイトで０ｘ００が発生し、次の２バイトの構文要素の値に応じてエミュレーション防止がトリガーされる可能性がある。

別の実施形態では、１つの１ビット構文要素が、図２３の例のように、ｓｌｉｃ＿ｓｕｂ＿ｐｉｃ＿ｉｄ＿ｐｌｕｓ１の後に続き、これは、説明された問題を解決するであろう。

明らかに、提供されるソリューションにはオーバーヘッドが伴う。例えば、追加の１ビットとｘ＿ｐｌｕｓ１構文要素である。さらに、説明されている問題は次の場合にのみ発生する。

・ ｓｌｉｃｅ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂとｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄの間で発生するエミュレーション防止の場合：両方の構文要素を合わせた長さが２４ビットより大きい場合。
・ ｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄ＿ｐｌｕｓ１及び次の構文要素で発生するエミュレーション防止の場合：ｓｌｉｃｅ＿ｓｕｂ＿ｐｉｃ＿ｉｄ＿ｐｌｕｓ１が複数のバイトにわたる場合。

説明されている問題はあまり頻繁に発生しない可能性があるため、説明されている変更は、画像ヘッダのいずれかのパラメータセットのいくつかのゲーティングフラグに条件付けられる可能性がある。これは、例えば図２４に示されている。ここで、Ｖａｌ（ｓｕｂｐｉｕｃ ｉｄへのオフセット）は、ｓｌｉｃｅ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ＿ｐｌｕｓ１とｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄ＿ｐｌｕｓＶａｌのコード化された長さの組み合わせから次のように決定される。

Ｖａｌ ＝ ｃｏｄｅｄＬｅｎｇｔｈ（ｓｌｉｃｅ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ＿ｐｌｕｓ１ ＋ ｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄ＿ｐｌｕｓＶａｌ） ＜ ３１ ？ １ ： ４．

これは、ｓｌｉｃｅ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ＿ｐｌｕｓ１とｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄ＿ｐｌｕｓＶａｌのコード化された長さが一緒にしても３１ビットより短い場合、Ｖａｌが「１」の値に設定され、それ以外の場合は「４」の値に設定されると読み取れる。

以下は、ＣＡＢＡＣゼロワードに関するものである（６）。

ｃａｂａｃ＿ｚｅｒｏ＿ｗｏｒｄは、各スライスの最後に挿入できる。それらは、画像のどのスライスにも配置できる。現在のビデオの仕様では、ビンとビットの比率が高すぎる場合にｃａｂａｃ＿ｚｅｒｏ＿ｗｏｒｄｓが挿入されることを保証する、画像レベルの制約について説明している。

サブピクチャが抽出され、これらが特定のプロファイルとレベルに準拠していることが示されている場合、ＡＵに適用される次の条件が各サブピクチャにも個別に適用されることが要件である必要がある。

変数ＲａｗＭｉｎＣｕＢｉｔｓを次のように導出する。
ＲａｗＭｉｎＣｕＢｉｔｓ ＝
ＭｉｎＣｂＳｉｚｅＹ＊ＭｉｎＣｂＳｉｚｅＹ＊ （ＢｉｔＤｅｐｔｈ ＋ ２ ＊ ＢｉｔＤｅｐｔｈ／（ ＳｕｂＷｉｄｔｈＣ ＊ ＳｕｂＨｅｉｇｈｔＣ ））

ＢｉｎＣｏｕｎｔｓＩｎＮａｌＵｎｉｔｓの値は、（３２÷３）＊ ＮｕｍＢｙｔｅｓＩｎＶｃｌＮａｌＵｎｉｔｓ ＋（ＲａｗＭｉｎＣｕＢｉｔｓ ＊ ＰｉｃＳｉｚｅＩｎＭｉｎＣｂｓＹ）÷３２以下である必要がある。

したがって、ビットストリーム制約または表示は、各サブピクチャが個別に上記の条件を満たすことを示す。

第１の実施形態として、フラグは、サブピクチャが言及された制約を満たすことを示す制約フラグとしてシグナリングすることができる。これは、例えば図２５に示されている。

別の実施形態では、そのような制約の履行は、以下の条件の一方または両方に基づく。
１） サブピクチャのｓｕｂｐｉｃ＿ｔｒｅａｔｍｅｎｔ＿ａｓ＿ｐｉｃ＿ｆｌａｇが１に等しい
２） ビットストリームには、サブピクチャのレベル適合性表示が含まれ、例えば ＳＥＩメッセージ（既存のｓｕｂｐｉｃ＿ｌｅｖｅｌ＿ｉｎｆｏ ＳＥＩメッセージ）による。

言い換えると、ビデオの複数の画像をデータストリームに符号化することにおいて、複数の画像のそれぞれは、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、各サブピクチャは、コンテキスト適応型バイナリ算術コーディングを使用して符号化され得る。

この場合、データストリームは、サブピクチャのいずれかが所定のビンとビットの比率を超えることを回避するように、ゼロワードの各サブピクチャの１つまたは複数のスライスまたは ＶＣＬ ＮＡＬユニットの終わりに少なくとも１つのサブピクチャを提供する。

図２６に見られるように、エンコーダは、以下の方法でビットストリーム２６０５を生成することができる。２つのアクセスユニット２６２０または２６３０の部分が例示的に示されている。それらのそれぞれは、図１９の画像について例示的に示されるように、サブピクチャに細分されるようにその中に符号化された画像を有する。しかしながら、図２６は、各画像の正確に１つのサブピクチャに関連するビットストリームのそれらの部分に集中している。ＡＵ２６２１の場合、符号化は、例示的に、そのＡＵ２６１０の画像のサブピクチャがコード化された１つのスライス２６２１のみをもたらし、ＡＵ２６０の場合、３つのスライス、すなわち、２６３１、２６３２、及び２６３３が生じ、そのＡＵ２６３０のサブピクチャがコーディングされている。

エンコーダは、ＣＡＢＡＣなどのバイナリ算術コーディングを使用する。つまり、構文要素を使用して、ビデオまたは画像のコンテンツを説明するために生成された構文要素を符号化する。まだバイナリ値が設定されていないものは、ビン文字列に２値化される。したがって、画像は構文要素に符号化され、順次一連のビンに符号化され、順次データストリームに算術的にコード化され、ビットストリームの各部分に至り、その各々は、サブピクチャなど、そこに符号化されたビデオの特定の部分を有する。この部分は特定のビット数を消費し、順次ビンの場合に特定の数を算術的にコード化することによって生成され、ビンとビットの比率が得られる。デコーダは逆のことを行い、１つのサブピクチャに関連付けられた部分が算術的に復号されてビンのシーケンスが生成され、次に２値化されて構文要素が生成され、そこから順次デコーダがサブピクチャを再構築できる。そのため、「ｂｉｎ－ｔｏ－ｂｉｔｒａｔｉｏ」の「ｂｉｎ」は、コード化される２値化されたシンボルのビット数または桁数を表し、「ｂｉｔ」は、ＣＡＢＡＣビットストリームの書き込み／読み取りビット数を表す。

所定のビン対ビット比を超えることを回避するために、エンコーダは、各サブピクチャについて、それぞれのサブピクチャがコード化された１つまたは複数のスライスのＣＡＢＡＣコード化部分のビンとビットの比率をチェックし、比率が高すぎる場合、それぞれのサブピクチャがコード化されている１つまたは複数のスライスの１つまたは複数の終わりにＣＡＢＡＣコード化されるゼロワードをできるだけ多くＣＡＢＡＣエンコーディングエンジンに供給し、レーションがもはや超えられないようにする。これらのｃａｂａｃゼロワードは、図２６ではゼロ、つまり「０」で示されている。それらは、サブピクチャ２６２１の終わり、すなわち最後のスライスの終わりに追加されるか、またはサブピクチャのスライス２６３１、２６３２、及び２６３３の１つまたは複数の端に分散される方法で追加され得る。つまり、図２６は図２６の分散的なバリアントを示しているが、代わりにゼロワードを最後のスライス２６１３の最後に完全に追加することもできる。

データストリーム２６０５は、デコーダ２６４０に到達すると、デコーダがデータストリーム、または少なくとも上記のサブピクチャに関連するその部分を復号し、ＡＵ２６２０及び２６３０内の対応するデータ部分を解析する。そうすることで、デコーダ２６４０は、ビンとビットの比率を超えないために必要なゼロワードの数を決定することによって、特定のサブピクチャの１つまたは複数のスライスの終わりにコード化されたゼロワードの量または数を決定でき、ｃａｂａｃゼロワードを破棄することができる。しかしながら、デコーダ２６４０が、他の手段によってゼロワードを他の構文要素から区別し、その後ゼロワードを破棄することができるような方法でスライスを解析することができることも可能であろう。すなわち、デコーダは、特定の所定の範囲に比率を得るのに必要な数のゼロワードをＣＡＢＡＣ復号し続けるために、特定のサブピクチャの１つまたは複数のスライスのビンとビットの比率をチェックする場合もしない場合もある。そうでない場合、デコーダは、構文的に他の構文要素から、ＣＡＢＡＣ復号されたゼロワードを区別することができる。

比率条件が満たされない場合、デコーダ２６４０は特定のエラーモードに陥り、所定のエラーの処理がデコーダによってトリガーされ得る。

最後に、サブピクチャの数は任意の数であり得ることに留意されたい。言い換えれば、少なくとも１つは、特に２つ以上のサブピクチャを意味することができる。

独立性のプロパティ、例えばｓｕｂｐｉｃ＿ｔｒｅａｔｍｅｎｔ＿ａｓ＿ｐｉｃ＿ｆｌａｇについて、及び対応するレベルの適合性の表示、例えば、補足拡張情報、ＳＥＩ、メッセージについて、各サブピクチャを評価することが出来る。そのとき、評価に応じて、評価に従ってのみ、サブピクチャにゼロワードを提供することができる。

少なくとも１つのサブピクチャの各サブピクチャの１つまたは複数のスライスの終わりにゼロワードでデータストリームを提供することができ、コンテキスト適応算術コーディングを使用するデータストリームへのそれぞれのサブピクチャに対するコード化されたビンの数は、所定の係数と、それぞれのサブピクチャに関連付けられたデータストリームの１つまたは複数のＶＣＬ ＮＡＬユニットのバイト長との間の積を使用して決定される数以下である。

少なくとも１つのサブピクチャの各サブピクチャの１つまたは複数のスライスの終わりにゼロワードでデータストリームを提供することもでき、コンテキスト適応算術コーディングを使用するデータストリームへのそれぞれのサブピクチャに対するコード化されたビンの数は、第１の所定の係数と、それぞれのサブピクチャに関連付けられたデータストリームの１つまたは複数のＶＣＬ ＮＡＬユニットのバイト長との間の第１の積、及び第２の所定の係数と、コーディングブロックごとの最小ビット数とそれぞれのサブピクチャを構成するコーディングブロックの数の間の第２の積の合計を使用して決定される数以下である。

いくつかの態様が装置の観点で説明されているが、これらの態様が対応する方法の説明も表すことが明らかであり、ブロックまたはデバイスは方法ステップ、または方法ステップの特徴に対応する。同様に、方法ステップの観点で説明された態様もまた、対応するブロックもしくは項目、または対応する装置の特徴の説明を表す。いくつかの、またはすべての方法ステップは、例えば、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路などのハードウェア装置によって（またはそれを使用して）実行され得る。いくつかの実施形態では、ほとんどの重要な方法ステップのうちの１つ以上は、そのような装置によって実行されてもよい。

発明のデータストリームは、デジタル記憶媒体に記憶されてもよく、またはインターネットなどの無線伝送媒体または有線伝送媒体などの伝送媒体上で伝送されてもよい。

特定の実装要件に応じて、発明の実施形態は、ハードウェアまたはソフトウェアにおいて実装されてもよい。実装態様は、それぞれの方法が実行されるようにプログラマブルコンピュータシステムと協働する（または、協働することが可能な）、そこに記憶された電子可読制御信号を有する、デジタル記憶媒体、例えば、フロッピーディスク、ＤＶＤ、Ｂｌｕ－Ｒａｙ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュメモリを使用して実行されてもよい。したがって、デジタル記憶媒体は、コンピュータ可読であり得る。

本発明による、いくつかの実施形態は、電子的に可読な制御信号を有するデータキャリアを含み、これらの制御信号がプログラム可能なコンピュータシステムと協働することができることで、本明細書に記載の方法のうちの１つが実行される。

概して、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装され得、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行するときに方法のうちの１つを実行するように動作可能である。プログラムコードは、例えば、機械可読キャリアに格納され得る。

他の実施形態は、本明細書に記載の方法のうちの１つを実行し、機械可読キャリアに格納されるコンピュータプログラムを含む。

換言すれば、本発明の方法の一実施形態は、したがって、コンピュータプログラムがコンピュータ上で実行するときに、本明細書に記載の方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。

したがって、発明の方法の更なる実施形態は、そこに記録された、本明細書で説明される方法の１つを実行するためのコンピュータプログラムを含むデータキャリア（または、デジタル記憶媒体またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体、または記録された媒体は典型的には、有形であり、及び／または非一時的である。

したがって、発明の方法の更なる実施形態は、本明細書で説明される方法の１つを実行するためのコンピュータプログラムを表すデータストリームまたは一連の信号である。データストリームまたは信号シーケンスは、例えば、インターネットを介してなど、データ通信接続を介して転送されるように構成され得る。

さらなる実施形態は、例えば、本明細書に記載の方法のうちの１つを実行するように構成される、または適合されるコンピュータ、またはプログラマブルロジックデバイスなどの処理手段を含む。

さらなる実施形態は、コンピュータを含み、その上には、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムがインストールされている。

本発明による、さらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを受信器に転送する（例えば、電子的に、または光学的に）ように構成される、装置またはシステムを含む。受信器は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであってよい。装置またはシステムは、例えば、コンピュータプログラムを受信器に転送するためのファイルサーバを含み得る。

いくつかの実施形態では、プログラマブルロジックデバイス（例えば、フィールドプログラマブルゲートアレイ）は、本明細書に記載の方法の機能の一部またはすべてを実行するために使用され得る。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法のうちの１つを実行するためにマイクロプロセッサと協働し得る。概して、方法は、いずれかのハードウェア装置によって好ましくは実行される。

本明細書で説明される装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置及びコンピュータの組み合わせを使用して実装されてもよい。

本明細書で説明される装置、または本明細書で説明される装置のいずれかの構成要素は、ハードウェア及び／またはソフトウェアにおいて少なくとも部分的に実装されてもよい。

本明細書で説明される方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置及びコンピュータの組み合わせを使用して実行されてもよい。

本明細書で説明される方法、または本明細書で説明される装置のいずれかの構成要素は、ハードウェア及び／またはソフトウェアにおいて少なくとも部分的に実装されてもよい。

上述の実施形態は、本発明の原理の例示に過ぎない。構成及び詳細の修正や変更が、当業者に明らかであろうことが理解される。したがって、本明細書の実施形態の記述及び説明として提示された具体的な詳細によってではなく、差し迫る特許請求の範囲によってのみ限定されることが意図される。

Claims (169)

1. ビデオデコーダであって、
   データストリームをビデオの複数の画像に復号し、
   この場合、前記データストリームは、少なくとも２つの層に複数の画像を含み、
   この場合、少なくとも１つのレイヤの前記画像（１２１２）は、所定のレイヤ固有の数のサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））、１つまたは複数の他の層の１つの画像またはサブピクチャに対応する１つのレイヤの画像前記画像またはサブピクチャの１つまたは複数に分割され、前記サブピクチャの少なくとも１つは、運動補償のための境界拡張のための境界を含む、
   対応するサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））、または異なるレイヤの対応する画像の前記境界の少なくとも１つが、互いに一直線化しているという表示を解釈するように構成される、前記ビデオデコーダ。
2. 前記少なくとも２つのレイヤの前記複数の画像（１２１２、１２１３、１２１４）のそれぞれが、１つまたは複数のサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）Ｌ２（４））に分割され、
   前記異なるレイヤの対応するサブピクチャのすべての前記境界が互いに一直線化する程度まで前記表示を解釈するように構成されている、請求項１に記載のビデオデコーダ。
3. この場合、各レイヤの前記画像（１２１２、１２１３、１２１４）は、同じ解像度を有し、及び／または
   この場合、前記解像度はレイヤ間で異なり、及び／または
   この場合、各レイヤ内の前記解像度は、連続する画像間で変化する可能性がある、請求項１または２に記載のビデオデコーダ。
4. この場合、１つのレイヤの前記画像（１２１１）はサブピクチャに分割されず、前記サブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））は、他のレイヤの１つの前記画像（１２１２、１２１３、１２１４）の１つが、分割されていない前記画像（１２１１）の１つに対応するように分割されるものに分割されない、請求項１から３のいずれか一項に記載のビデオデコーダ。
5. １つのレイヤの１つの画像（１２１２）のサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））の前記外側の境界が別のレイヤで１つの対応する画像（１２１１）の前記境界と一直線化しているという表示を解釈するようにさらに構成されている、請求項４に記載のビデオデコーダ。
6. 下位レイヤには対応する上位レイヤの境界のサブセットがあるという表示を解釈するようにさらに構成されている、請求項５に記載のビデオデコーダ。
7. 例えば、あるレイヤの前記サブピクチャのそれぞれが別のレイヤの前記サブピクチャの１つに対応するというｓｕｂｐｉｃｔｕｒｅｓ＿ｉｎ＿ｏｌｓ＿ｃｏｈｅｒｅｎｔ＿ｆｌａｇの表示を解釈し、この場合前記表示が所定のセクションにあり、例えば、ビデオパラメータセットＶＰＳ、またはシーケンスパラメータセットＳＰＳのｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（）またはｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）であるようにさらに構成される、請求項１から６のいずれか一項に記載のビデオデコーダ。
8. 前記サブピクチャの境界が少なくとも２つのレイヤにわたって一直線化されているという表示を解釈し、この場合前記表示は、ビデオパラメータセット、ＶＰＳ、またはシーケンスパラメータセット、ＳＰＳ内にあるようにさらに構成されている、請求項１から７のいずれか一項に記載のビデオデコーダ。
9. 例えば、前記サブピクチャの境界が少なくとも２つのレイヤにわたって一直線化されていることの表示ｓｕｂｐｉｃｔｕｒｅｓ＿ｉｎ＿ｏｌｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇを解釈し、この場合、前記表示は前記ＶＰＳの所定のセクションにあり、例えば、ｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（）またはｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）であるようにさらに構成されている、請求項８に記載のビデオデコーダ。
10. この場合、各サブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））にはサブピクチャ識別情報が割り当てられ、前記デコーダはさらに、前記サブピクチャ識別情報がすべてのレイヤに対して一意であるという表示を解釈するように構成される、請求項１から９のいずれか一項に記載のビデオデコーダ。
11. 例えば、前記サブピクチャ識別情報は、所定のセクション内のすべてのレイヤに対して一意であるというｕｎｉｑｕｅ＿ｓｕｂｐｉｃｔｕｒｅｓ＿ｉｄｓ＿ｉｎ＿ｏｌｓ＿ｆｌａｇの表示を解釈し、例えば、ビデオパラメータセットＶＰＳ、またはシーケンスパラメータセットＳＰＳのｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（）またはｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）であるようにさらに構成される、請求項１０に記載のビデオデコーダ。
12. 互いに対応する異なるレイヤの前記サブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））が同じサブピクチャ識別情報を有しているという表示を解釈するようさらに構成された、請求項１から９のいずれか一項に記載のビデオデコーダ。
13. 例えば、互いに対応する異なるレイヤの前記サブピクチャが、所定のセクションで同じサブピクチャ識別情報を有するというａｌｉｇｎｅｄ＿ｓｕｂｐｉｃｔｕｒｅｓ＿ｉｄｓ＿ｉｎ＿ｏｌｓ＿ｆｌａｇの表示を解釈し、例えば、ビデオパラメータセットＶＰＳ、またはシーケンスパラメータセットＳＰＳのｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（）またはｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）であるようにさらに構成される、請求項１２に記載のビデオデコーダ。
14. 相対的なサブピクチャの位置とサブピクチャの寸法が、すべてのレイヤの前記対応するサブピクチャで同じであるという表示を解釈する、例えば前記データストリーム内のシグナリング順序を表す対応するサブピクチャの位置と次元を示す構文要素のインデックスが等しいようにさらに構成された、請求項１から１３のいずれか一項に記載のビデオデコーダ。
15. 前記少なくとも２つのレイヤの前記複数の画像（１２１２、１２１３、１２１４）のそれぞれが、１つまたは複数のサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）Ｌ２（４））に分割され、
    この場合、前記表示は、１つまたは複数のレイヤのそれぞれについて、前記それぞれのレイヤ（１２１２）よりも高い１つまたは複数のより高いレイヤの前記画像（１２１３、１２１４）がサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））に分割され、前記所定のレイヤ固有のサブピクチャの数は、前記それぞれのレイヤ及び前記１つまたは複数の上位レイヤについて等しくなり、所定のレイヤ固有の数のサブピクチャの前記境界が前記それぞれのレイヤと前記１つまたは複数の上位レイヤの間で空間的に一致するようにしているかどうかを示すフラグを含む、請求項１４に記載のビデオデコーダ。
16. 前記１つまたは複数の上位レイヤは、予測のために前記それぞれのレイヤの画像を使用する、請求項１５に記載のビデオデコーダ。
17. この場合、前記フラグは、１つまたは複数のレイヤのそれぞれについて、前記それぞれのレイヤ（１２１２）よりも高い１つまたは複数のより高いレイヤの前記画像（１２１３、１２１４）がサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））に分割され、前記所定のレイヤ固有のサブピクチャの数は、前記それぞれのレイヤ及び前記１つまたは複数の上位レイヤについて等しくなり、所定のレイヤ固有の数のサブピクチャの前記境界が前記それぞれのレイヤと前記１つまたは複数の上位レイヤの間で空間的に一致するようにしていると表示しているとき、前記サブピクチャのＩＤ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））が前記それぞれのレイヤと前記１つまたは複数の上位レイヤの間で同じであることを示す、請求項１４、１５、１６に記載のビデオデコーダ。
18. 前記表示は、シーケンスパラメータセットＳＰＳに含まれている、請求項１４から１７のいずれか一項に記載のビデオデコーダ。
19. 特定のレイヤの前記サブピクチャまたは画像の１つの前記境界の少なくとも１つは、前記特定のレイヤ及び少なくとも１つの他のレイヤが、同じ所定のレイヤ固有の番号のサブピクチャを使用してサブピクチャに分割されていること、及び前記結果のサブピクチャの前記境界が一直線化していることを決定することにより、運動補償のための境界拡張に使用されることを決定するか、または
    特定のレイヤの前記サブピクチャまたはピクチャの１つの前記境界の少なくとも１つが、前記サブピクチャの１つについて、前記サブピクチャが境界拡張プロパティに関して同じレイヤ内または１つ以上のレイヤにまたがる隣接するサブピクチャから独立しているという表示を解釈することにより、運動補償の境界拡張に使用されないことを決定するようにさらに構成される、請求項１から１８のいずれか一項に記載のビデオデコーダ。
20. 前記サブピクチャの境界が、レイヤ間で実行される運動補償のサンプル外挿に使用されるかどうかの表示を解釈するようにさらに構成された、請求項１から１９のいずれか一項に記載のビデオデコーダ。
21. 一直線化されたサブピクチャの前記サブピクチャの境界が、レイヤ間で実行される層間運動予測に使用されるかどうかの表示を解釈するようにさらに構成された、請求項１から２０のいずれか一項に記載のビデオデコーダ。
22. 例えば、前記少なくとも１つの他のレイヤのどのサブピクチャが復号に必要であるかに関して、前記他のレイヤの少なくとも１つについて、所定のレイヤで前記ビデオの所定の空間セクションを復号するためのｒｅｄｕｃｅｄ＿ｓｕｂｐｉｃ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇフラグの表示を解釈するようにさらに構成される、請求項１から２１のいずれか一項に記載のビデオデコーダ。
23. 各レイヤについて、前記サブピクチャが前記ビデオの前記空間的選択に必要であるという表示を解釈し、これは好ましくは前記対応するサブピクチャ識別情報を示し、この場合、前記表示は特に好ましくは補足の強調情報、ＳＥＩ、メッセージ、またはビデオパラメータセット、ＶＰＳ、例えばｎｕｍ＿ｓｕｂ＿ｐｉｃ＿ｉｄｓ及びｓｕｂＰｉｃＩｄＴｏＤｅｃｏｄｅＦｏｒＲｅｆｅｒｅｎｃｅである、または
    スケーリング係数及び／またはオフセットに従って、前記ビデオの前記空間的選択に必要なサブピクチャを導出するようにさらに構成される、請求項２２に記載のビデオデコーダ。
24. 補足拡張情報ＳＥＩ、メッセージ、またはビデオパラメータセットＶＰＳで、前記必要なサブピクチャのみを含むデータストリームの前記必要なプロファイル／レイヤ／レベル、ＰＴＬの表示、例えばｓｕｂｐｉｃ＿ａｄｄ＿ｐｔｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］を解釈するようにさらに構成される、請求項２２または２３に記載のビデオデコーダ。
25. ビデオ処理装置（１９６０）であって、
    複数の画像（１９１０、１９２０）のそれぞれが所定の数のサブピクチャ（１９１１、１９１２、１９１３、１９２１、１９２２、１９２３）に分割される方法で、中に符号化された前記複数の画像（１９１０、１９２０）を有する一定のビットレートのデータストリーム（１９４５）を処理し、各サブピクチャは、運動補償のための境界拡張の境界を含むように構成され、
    この場合、前記ビデオ処理装置（１９６０）は、前記少なくとも１つのサブピクチャの前記データストリームに含まれるダミーデータ（ｄ）を保持すること、及び前記抽出されたデータストリームが関係しない別のサブピクチャの前記データストリームに含まれるダミーデータ（ｄ）を削除することによって、一定のビットレートで少なくとも１つのサブピクチャ（１９１１、１９２１）に関連するサブピクチャデータストリーム（１９５５）を、前記データストリーム（１９４５）から生成するように構成される、前記ビデオ処理装置（１９６０）。
26. 前記データストリームの前記サブピクチャの少なくとも１つが、ビデオパラメータセット、ＶＰＳ、またはＳＥＩメッセージ、例えばｃｂｒ＿ｆｌａｇの一定のビットレートであるという表示を解釈（データストリームから復号及び解析）するようにさらに構成された、請求項２５に記載のビデオ処理装置。
27. 前記データストリームのサブピクチャがビデオパラメータセット、ＶＰＳ、またはＳＥＩメッセージで一定のビットレートではないという表示を解釈し、すべてのダミーデータ、例えばＦＤ＿ＮＵＴ及びフィラーペイロードの補足拡張情報、ＳＥＩ、メッセージを削除するようにさらに構成された、請求項２５または２６に記載のビデオ処理装置。
28. 前記生成が一定のビットレートの前記抽出されたデータストリームになるかどうか、この場合、前記ビデオ処理装置は前記ダミーデータ（ｄ）の前記保持と削除を実行する、または、前記生成が一定のビットレートである前記抽出されたデータストリーム（１９５５）に終わらないかどうか、この場合、ビデオ処理装置はすべてのダミーデータ（ｄ）の削除を実行するということの、前記抽出されたデータストリーム（１９５５）の前記生成のための前記データストリームからの表示を復号するようにさらに構成される、請求項２５または２６に記載のビデオ処理装置。
29. ダミーデータが、例えば、ＦＤ＿ＮＵＴ及びフィラーペイロードの補足拡張情報、ＳＥＩ、メッセージを含む、請求項２５または２６に記載のビデオ処理装置。
30. 複数のレイヤに符号化されたビデオの複数の画像（１９１０、１９２０）を有するデータストリーム（１９４５）に対してサブピクチャ抽出を実行し、すべてのレイヤの前記複数の画像のそれぞれが所定の数のサブピクチャ（１９１１、１９１２、１９１３、１９２１、１９２２、１９２３）に分割され、各サブピクチャは運動補償のための境界拡張のための境界を含むよう構成され、
    この場合、前記ビデオ処理装置（１９６０）は、前記１つまたは複数のサブピクチャ（１９１１、１９２１）に対応しない前記データストリームのＮＡＬユニット（１９４２、１９４３、１９５２、１９５３；２０４５、２０４６、２０５５、２０５６）をドロップすること、及びパラメータセット及び／またはピクチャヘッダ（ＨＩ１、ＨＩ２）を書き換えることによって、関心のある１つまたは複数のサブピクチャ（１９１１、１９２１）に関連する抽出されたデータストリーム（１９５５）へ前記データストリームに対して前記サブピクチャ抽出を実行するように構成される、ビデオ処理装置（１９６０）。
31. 前記データストリームから書き換えるための追加情報、ＨＲＤ関連情報に関連する前記追加情報、画像サイズ、及び／またはサブピクチャへの細分化を導き出すようさらに構成された、請求項３０に記載のビデオ処理装置。
32. 例えば、補足の拡張情報、ＳＥＩ、メッセージについて、前記書き換えが許可されているという前記データストリーム内の表示を解釈するようにさらに構成される、請求項３０または３１に記載のビデオ処理装置。
33. 前記抽出されたデータストリーム（１９５５）が抽出されたサブピクチャのセットからなるように前記サブピクチャ抽出を実行し、そのそれぞれが前記データストリーム内の長方形の領域に対応するという点で長方形であるようさらに構成される、請求項３０から３２のいずれか一項に記載のビデオ処理装置（１９６０）。
34. 輝度サンプルのサブピクチャの幅、
    輝度サンプルのサブピクチャの高さ、
    レベル情報、
    ＨＲＤ関連のパラメータ、及び
    画像サイズの１つまたは複数を示す変数を書き換えるようにさらに構成された、請求項３０から３３のいずれか一項に記載のビデオ処理装置。
35. ビデオエンコーダであって、
    データストリームにビデオの複数の画像に符号化し、
    この場合、前記データストリームは、少なくとも２つの層に複数の画像を含み、
    この場合、少なくとも１つのレイヤの前記画像（１２１２）は、所定のレイヤ固有の数のサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））、１つまたは複数の他の層の１つの画像またはサブピクチャに対応する１つのレイヤの画像前記画像またはサブピクチャの１つまたは複数に分割され、前記サブピクチャの少なくとも１つは、運動補償のための境界拡張のための境界を含む、
    対応するサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））、または異なるレイヤの対応する画像の前記境界の少なくとも１つが、互いに一直線化していると表示するように構成される、前記ビデオエンコーダ。
36. 前記少なくとも２つのレイヤにある前記複数の画像（１２１２、１２１３、１２１４）のそれぞれを、１つまたは複数のサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）Ｌ２（４））に分割し、
    前記異なるレイヤの対応するサブピクチャのすべての前記境界が互いに一直線化する程度まで表示するように構成されている、請求項３５に記載のビデオエンコーダ。
37. この場合、各レイヤの前記画像（１２１２、１２１３、１２１４）は、同じ解像度を有し、及び／または
    この場合、前記解像度はレイヤ間で異なり、及び／または
    この場合、各レイヤ内の前記解像度は、連続する画像間で変化する可能性がある、請求項３５及び３６に記載のビデオエンコーダ。
38. この場合、１つのレイヤの前記画像（１２１１）はサブピクチャに分割されず、サブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））には画像（１２１２、１２１３、他のレイヤの１つの１２１４）は、分割されていない画像（１２１１）の１つに対応するように分割される、請求項３５から３７のいずれか一項に記載のビデオエンコーダ。
39. １つのレイヤの１つの画像（１２１２）のサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））の前記外側の境界が別のレイヤで１つの対応する画像（１２１１）の前記境界と一直線化していると表示するようにさらに構成されている、請求項３８に記載のビデオエンコーダ。
40. 下位レイヤには対応する上位レイヤの境界のサブセットがあると表示するようにさらに構成されている、請求項３９に記載のビデオエンコーダ。
41. 例えば、あるレイヤの前記サブピクチャのそれぞれが別のレイヤの前記サブピクチャの１つに対応するというｓｕｂｐｉｃｔｕｒｅｓ＿ｉｎ＿ｏｌｓ＿ｃｏｈｅｒｅｎｔ＿ｆｌａｇの表示をし、この場合前記表示が所定のセクションにあり、例えば、ビデオパラメータセットＶＰＳ、またはシーケンスパラメータセットＳＰＳのｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（）またはｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）であるようにさらに構成される、請求項３５から４０のいずれか一項に記載のビデオエンコーダ。
42. 前記サブピクチャの境界が少なくとも２つのレイヤにわたって一直線化されていると表示し、この場合前記表示は、ビデオパラメータセット、ＶＰＳ、またはシーケンスパラメータセット、ＳＰＳ内にあるようにさらに構成されている、請求項３５から４１のいずれか一項に記載のビデオエンコーダ。
43. 例えば、前記サブピクチャの境界が少なくとも２つのレイヤにわたって一直線化されていることの表示ｓｕｂｐｉｃｔｕｒｅｓ＿ｉｎ＿ｏｌｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇをし、この場合、前記表示は前記ＶＰＳの所定のセクションにあり、例えば、ｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（）またはｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）であるようにさらに構成されている、請求項４２に記載のビデオエンコーダ。
44. この場合、各サブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））にはサブピクチャ識別情報が割り当てられ、前記デコーダはさらに、前記サブピクチャ識別情報がすべてのレイヤに対して一意であると表示するように構成される、請求項３５から４３のいずれか一項に記載のビデオエンコーダ。
45. 例えば、前記サブピクチャ識別情報は、所定のセクション内のすべてのレイヤに対して一意であるというｕｎｉｑｕｅ＿ｓｕｂｐｉｃｔｕｒｅｓ＿ｉｄｓ＿ｉｎ＿ｏｌｓ＿ｆｌａｇの表示をし、例えば、ビデオパラメータセットＶＰＳ、またはシーケンスパラメータセットＳＰＳのｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（）またはｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）であるようにさらに構成される、請求項４４に記載のビデオエンコーダ。
46. 互いに対応する異なるレイヤの前記サブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））が同じサブピクチャ識別情報を有していると表示するようさらに構成された、請求項３５から４３のいずれか一項に記載のビデオエンコーダ。
47. 例えば、互いに対応する異なるレイヤの前記サブピクチャが、所定のセクションで同じサブピクチャ識別情報を有するというａｌｉｇｎｅｄ＿ｓｕｂｐｉｃｔｕｒｅｓ＿ｉｄｓ＿ｉｎ＿ｏｌｓ＿ｆｌａｇの表示をし、例えば、ビデオパラメータセットＶＰＳ、またはシーケンスパラメータセットＳＰＳのｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（）またはｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）であるようにさらに構成される、請求項４６に記載のビデオエンコーダ。
48. 相対的なサブピクチャの位置とサブピクチャの寸法が、すべてのレイヤの前記対応するサブピクチャで同じであることを示す、例えば、対応するサブピクチャまたは画像の前記データストリームのシグナリング順序に使用される構文要素の前記インデックスが等しくなるようにさらに構成される、請求項３５から４７のいずれか一項に記載のビデオエンコーダ。
49. 前記少なくとも２つのレイヤにある前記複数の画像（１２１２、１２１３、１２１４）のそれぞれを、１つまたは複数のサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）Ｌ２（４））に分割し、
    この場合、前記表示は、１つまたは複数のレイヤのそれぞれについて、前記それぞれのレイヤ（１２１２）よりも高い１つまたは複数のより高いレイヤの前記画像（１２１３、１２１４）がサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））に分割され、前記所定のレイヤ固有のサブピクチャの数は、前記それぞれのレイヤ及び前記１つまたは複数の上位レイヤについて等しくなり、所定のレイヤ固有の数のサブピクチャの前記境界が前記それぞれのレイヤと前記１つまたは複数の上位レイヤの間で空間的に一致するようにしているかどうかを示すフラグを含む、請求項４８に記載のビデオエンコーダ。
50. 前記１つまたは複数の上位レイヤは、予測のために前記それぞれのレイヤの画像を使用する、請求項４９に記載のビデオエンコーダ。
51. この場合、前記フラグは、１つまたは複数のレイヤのそれぞれについて、前記それぞれのレイヤ（１２１２）よりも高い１つまたは複数のより高いレイヤの前記画像（１２１３、１２１４）がサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））に分割され、前記所定のレイヤ固有のサブピクチャの数は、前記それぞれのレイヤ及び前記１つまたは複数の上位レイヤについて等しくなり、所定のレイヤ固有の数のサブピクチャの前記境界が前記それぞれのレイヤと前記１つまたは複数の上位レイヤの間で空間的に一致するようにしていると表示しているとき、前記サブピクチャのＩＤ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））が前記それぞれのレイヤと前記１つまたは複数の上位レイヤの間で同じであることを示す、請求項４８、４９、または５０に記載のビデオエンコーダ。
52. 前記表示は、シーケンスパラメータセットＳＰＳに含まれている、請求項１４８から５１のいずれか一項に記載のビデオエンコーダ。
53. 特定のレイヤの前記サブピクチャまたはピクチャの１つの前記境界の少なくとも１つが、前記サブピクチャの１つについて、前記サブピクチャが境界拡張プロパティに関して同じレイヤ内または１つ以上のレイヤにまたがる隣接するサブピクチャから独立しているという表示をすることにより、運動補償の境界拡張に使用されないことをシグナリングするようにさらに構成される、請求項３５から５２のいずれか一項に記載のビデオエンコーダ。
54. 前記サブピクチャの境界が、レイヤ間で実行される運動補償のサンプル外挿に使用されるかどうか表示するようにさらに構成された、請求項３５から５３のいずれか一項に記載のビデオデコーダ。
55. 一直線化されたサブピクチャの前記サブピクチャの境界が、レイヤ間で実行される層間運動予測に使用されるかどうかの表示を解釈するようにさらに構成された、請求項３５から５４のいずれか一項に記載のビデオエンコーダ。
56. 前記少なくとも１つの他のレイヤのどのサブピクチャが復号に必要であるかに関して、前記他のレイヤの少なくとも１つについて、所定のレイヤで前記ビデオの所定の空間セクションを復号するための、例えばｒｅｄｕｃｅｄ＿ｓｕｂｐｉｃ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇフラグの表示を解釈するようにさらに構成される、請求項３５から５５のいずれか一項に記載のビデオデコーダ。
57. 各レイヤについて、前記ビデオの前記空間的選択に必要なサブピクチャを示すようさらに構成され、
    好ましくは、前記対応するサブピクチャ識別情報を表示し、この場合、前記表示は特に好ましくは補足の強調情報、ＳＥＩ、メッセージ、またはビデオパラメータセット、ＶＰＳ、例えばｎｕｍ＿ｓｕｂ＿ｐｉｃ＿ｉｄｓ及びｓｕｂＰｉｃＩｄＴｏＤｅｃｏｄｅＦｏｒＲｅｆｅｒｅｎｃｅである、または
    スケーリング係数及び／またはオフセットによってなされるようにさらに構成される、請求項５６に記載のビデオエンコーダ。
58. 補足拡張情報ＳＥＩ、メッセージ、またはビデオパラメータセットＶＰＳで、前記必要なサブピクチャのみを含むデータストリームの前記必要なプロファイル／レイヤ／レベル、ＰＴＬの表示、例えばｓｕｂｐｉｃ＿ａｄｄ＿ｐｔｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］をするようにさらに構成される、請求項５６または５７に記載のビデオデコーダ。
59. ビデオエンコーダ（１９３０）であって、
    複数の画像（１９１０、１９２０）のそれぞれが所定の数のサブピクチャ（１９１１、１９１２、１９１３、１９２１、１９２２、１９２３）に分割される方法で、前記複数の画像（１９１０、１９２０）をデータストリーム（１９４５）に符号化し、各サブピクチャは、運動補償のための境界拡張の境界を含むように構成され、
    この場合、前記ビデオエンコーダ（１９３０）は、前記少なくとも１つのサブピクチャのためのダミーデータ（ｄ）を前記データストリームに含めること、及びダミーデータ（ｄ）を、前記抽出されたデータストリームが関係しない別のサブピクチャの前記データストリームに含まないことによって、前記少なくとも１つのサブピクチャ（１９１１、１９２１）に関するサブピクチャデータストリームを一定のビットレートで前記データストリームに符号化するように構成される、前記ビデオエンコーダ。
60. 前記データストリームの前記サブピクチャの少なくとも１つが、ビデオパラメータセット、ＶＰＳ、またはＳＥＩメッセージ、例えばｃｂｒ＿ｆｌａｇの一定のビットレートであるという表示をするようにさらに構成された、請求項５９に記載のビデオエンコーダ。
61. 前記データストリームのサブピクチャがビデオパラメータセット、ＶＰＳ、またはＳＥＩメッセージで一定のビットレートではないと表示し、すべてのダミーデータ、例えばＦＤ＿ＮＵＴ及びフィラーペイロードの補足拡張情報、ＳＥＩ、メッセージを含まないようにさらに構成された、請求項５９または６０に記載のビデオエンコーダ。
62. 前記生成が一定のビットレートの前記抽出されたデータストリームになるかどうか、この場合、前記ビデオエンコーダは前記ダミーデータ（ｄ）の前記包含と不包含を実行する、または、前記生成が一定のビットレートである前記抽出されたデータストリーム（１９５５）に終わらないかどうか、この場合、ビデオエンコーダはいずれのダミーデータ（ｄ）も包含しないことを実行するということを、前記抽出されたデータストリーム（１９５５）の前記生成のため前記データストリームに表示するようにさらに構成される、請求項５９または６０に記載のビデオエンコーダ。
63. ダミーデータが、例えば、ＦＤ＿ＮＵＴ及びフィラーペイロードの補足拡張情報、ＳＥＩ、メッセージを含む、請求項５９または６０に記載のビデオエンコーダ。
64. ビデオエンコーダ（１９３０）であって、
    ビデオの複数の画像（１９１０、１９２０）を複数のレイヤのデータストリーム（１９４５）に符号化し、この場合前記データストリーム（１９４５）は複数の画像（１９１０、１９２０）を有し、すべてのレイヤの前記複数の画像のそれぞれが所定の数のサブピクチャ（１９１１、１９１２、１９１３、１９２１、１９２２、１９２３）に分割され、各サブピクチャは運動補償のための境界拡張のための境界を含むよう構成され、
    この場合、前記ビデオエンコーダ（１９３０）は、前記１つまたは複数のサブピクチャ（１９１１、１９２１）に対応しない前記データストリームへＮＡＬユニット（１９４２、１９４３、１９５２、１９５３；２０４５、２０４６、２０５５、２０５６）を包含しないこと、及びパラメータセット及び／またはピクチャヘッダ（ＨＩ１、ＨＩ２）を書き換えることによって、関心のある１つまたは複数のサブピクチャ（１９１１、１９２１）に関連するデータストリームへ前記データストリームに対して前記サブピクチャ抽出を表示するように構成される、ビデオエンコーダ。
65. 前記データストリームへ書き換えるための追加情報、ＨＲＤ関連情報に関連する前記追加情報、画像サイズ、及び／またはサブピクチャへの細分化を表示するようさらに構成された、請求項６４に記載のビデオエンコーダ。
66. 例えば、補足の拡張情報、ＳＥＩ、メッセージについて、前記書き換えが許可されているという前記データストリーム内に表示するようにさらに構成される、請求項６４または６５に記載のビデオエンコーダ。
67. 輝度サンプルのサブピクチャの幅、
    輝度サンプルのサブピクチャの高さ、
    レベル情報、
    ＨＲＤ関連のパラメータ、及び
    画像サイズの１つまたは複数を示す変数を書き換えるようにさらに構成された、請求項６４から６６のいずれか一項に記載のビデオエンコーダ。
68. ビデオエンコーダであって、
    データストリームにビデオの複数の画像に符号化し、
    この場合、前記複数の画像のそれぞれは、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、
    この場合、前記ビデオエンコーダは、スライスの単位で前記複数の画像を符号化し、前記スライスのスライスヘッダに第１の構文要素及びサブピクチャ識別情報パラメータを書き込むように構成され、
    この場合、前記ビデオエンコーダは、前記第１の構文要素及び前記サブピクチャ識別情報パラメータを前記データストリームに書き込むように構成され、
    １ずつ増加する方法であり、
    前記スライスの少なくとも１つのスライスヘッダで、ビットで区切られる、前記ビデオエンコーダ。
69. 前記スライスの前記スライスヘッダに、第１のビットの長さで前記第１の構文要素を書き込み、第２のビットの長さで前記サブピクチャ識別情報パラメータを書き込み、
    前記第１及び第２のビットの長さの合計が２４ビットより大きいかどうかを確認し、
    前記第１及び第２のビットの長さの合計が２４ビットより大きい場合は、前記第１の構文要素と前記サブピクチャ識別情報パラメータの間のビットを書き込み、
    前記サブピクチャ識別情報パラメータの後に、１に設定された別のビットを書き込むようさらに構成された、請求項６８に記載のビデオエンコーダ。
70. ビデオエンコーダであって、
    ビデオの複数の画像をデータストリームに符号化し、前記複数の画像のそれぞれは、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、各サブピクチャは、運動補償のための境界拡張のための境界を含み、
    この場合、前記ビデオエンコーダは、スライスの単位で複数の画像を符号化し、スライスのスライスヘッダに第１の構文要素及びサブピクチャ識別情報パラメータを書き込むように構成され、
    この場合、前記ビデオエンコーダは、前記第１の構文要素及び前記サブピクチャ識別情報パラメータを前記データストリームに書き込むように構成され、
    第１のビットの長さで前記第１の構文要素を書き込み、第２のビットの長さで前記サブピクチャ識別情報パラメータを書き込み、
    前記第１の構文要素がサブピクチャ識別情報パラメータの前に来るような方法であり、
    前記第１の構文要素が前記データストリームに１増加して書き込まれるようにし、
    前記サブピクチャ識別情報パラメータが前記データストリームに特定の値増加して、その後に１に設定され書き込まれるようにし、
    前記特定の値を、
    前記第１及び第２のビットの長さの合計が３１ビットより小さいかどうかを確認し、
    前記第１及び第２のビットの長さの前記合計が３１ビットより小さい場合は、前記特定の値を値１に設定し、
    前記第１及び第２のビットの長さの前記合計が３１ビットより小さい場合は、前記特定の値を値４に設定することによって、決定する、ビデオエンコーダ。
71. この場合、前記第１の構文要素は前記画像順序カウントパラメータである、請求項６８から７０のいずれか一項に記載のビデオエンコーダ。
72. ビデオエンコーダであって、
    ビデオの複数の画像をデータストリーム（２０６５）に符号化し、前記複数の画像のそれぞれは、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、各サブピクチャは、運動補償のための境界拡張のための境界を含み、
    この場合、前記ビデオエンコーダ（２６１０）は、コンテキスト適応型バイナリ算術符号化を使用して各前記サブピクチャを符号化するように構成され、
    この場合、前記ビデオエンコーダは、サブピクチャのいずれかが所定ビンとビットの比率を超えることを回避するように、ゼロワードの各サブピクチャの１つまたは複数のスライス（２６３１、２６３２、２６３３）の前記終わりに少なくとも１つのサブピクチャの前記データストリームを提供するように構成される、前記ビデオエンコーダ。
73. 独立性のプロパティ、例えばｓｕｂｐｉｃ＿ｔｒｅａｔｍｅｎｔ＿ａｓ＿ｐｉｃ＿ｆｌａｇについて、及び対応するレベルの適合性の表示、例えば、補足拡張情報、ＳＥＩ、メッセージについて各サブピクチャを評価し、また
    前記評価に応じて、前記評価に従ってのみ、サブピクチャに前記ゼロワードを提供するようにさらに構成される、請求項７２に記載のビデオエンコーダ。
74. 前記少なくとも１つのサブピクチャの各サブピクチャの１つまたは複数のスライスの前記終わりに前記データストリームを提供するように構成され、前記コンテキスト適応算術符号化を使用する前記データストリームへの前記それぞれのサブピクチャは、所定の係数と、前記それぞれのサブピクチャに関連付けられた前記データストリームの１つまたは複数のＶＣＬ ＮＡＬユニットのバイト長との間の積を使用して決定される数以下である、請求項７２または７３に記載のビデオエンコーダ（２６１０）。
75. 前記少なくとも１つのサブピクチャの各サブピクチャの１つまたは複数のスライスの前記終わりに前記データストリームを提供するように構成され、前記コンテキスト適応算術符号化を使用する前記データストリームへの前記それぞれのサブピクチャへの符号化されたビンの数は、第１の所定の係数と、前記それぞれのサブピクチャに関連付けられた前記データストリームの１つまたは複数のＶＣＬ ＮＡＬユニットのバイト長との間の第１の積と、第２の所定の係数と、コーディングブロックあたりの最小ビット数と前記それぞれのサブピクチャが構成されるコーディングブロックの数との間の第２の積の合計を使用して決定される数以下である、請求項７２または７３に記載のビデオエンコーダ（２６１０）。
76. ビデオを復号するための方法であって、
    データストリームをビデオの複数の画像に復号することと、
    この場合、前記データストリームは、少なくとも２つの層に複数の画像を含み、
    この場合、少なくとも１つのレイヤの前記画像（１２１２）は、所定のレイヤ固有の数のサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））、１つまたは複数の他の層の１つの画像またはサブピクチャに対応する１つのレイヤの画像前記画像またはサブピクチャの１つまたは複数に分割され、前記サブピクチャの少なくとも１つは、運動補償のための境界拡張のための境界を含む、
    対応するサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））、または異なるレイヤの対応する画像の前記境界の少なくとも１つが、互いに一直線化しているという表示を解釈することとを含む、前記方法。
77. 前記少なくとも２つのレイヤの前記複数の画像（１２１２、１２１３、１２１４）のそれぞれが、１つまたは複数のサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）Ｌ２（４））に分割され、
    前記異なるレイヤの対応するサブピクチャのすべての前記境界が互いに一直線化する程度まで前記表示を解釈することを含む、請求項７６に記載のビデオを復号するための方法。
78. この場合、各レイヤの前記画像（１２１２、１２１３、１２１４）は、同じ解像度を有し、及び／または
    この場合、前記解像度はレイヤ間で異なり、及び／または
    この場合、各レイヤ内の前記解像度は、連続する画像間で変化する可能性がある、請求項７６または７７に記載のビデオを復号するための方法。
79. この場合、１つのレイヤの前記画像（１２１１）はサブピクチャに分割されず、サブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））には画像（１２１２、１２１３、他のレイヤの１つの１２１４）は、分割されていない画像（１２１１）の１つに対応するように分割される、請求項７６、７７、７８のいずれか一項に記載のビデオを復号するための方法。
80. １つのレイヤの１つの画像（１２１２）のサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））の前記外側の境界が別のレイヤ（１２１１）で１つの対応する画像の前記境界と一直線化しているという表示を解釈することをさらに含む、請求項７９に記載のビデオを復号するための方法。
81. 下位レイヤには対応する上位レイヤの境界のサブセットがあるという表示を解釈することをさらに含む、請求項８０に記載のビデオを復号するための方法。
82. 例えば、あるレイヤの前記サブピクチャのそれぞれが別のレイヤの前記サブピクチャの１つに対応するというｓｕｂｐｉｃｔｕｒｅｓ＿ｉｎ＿ｏｌｓ＿ｃｏｈｅｒｅｎｔ＿ｆｌａｇの表示を解釈することをさらに含み、この場合前記表示が所定のセクションにあり、例えば、ビデオパラメータセットＶＰＳ、またはシーケンスパラメータセットＳＰＳのｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（）またはｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）である、請求項７６から８１のいずれか一項に記載のビデオを復号するための方法。
83. 前記サブピクチャの境界が少なくとも２つのレイヤにわたって一直線化されているという表示を解釈することを含み、この場合前記表示は、ビデオパラメータセット、ＶＰＳ、またはシーケンスパラメータセット、ＳＰＳ内にある、請求項７６から８２のいずれか一項に記載のビデオを復号するための方法。
84. 例えば、前記サブピクチャの境界が少なくとも２つのレイヤにわたって一直線化されていることの表示ｓｕｂｐｉｃｔｕｒｅｓ＿ｉｎ＿ｏｌｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇを解釈することをさらに含み、この場合、前記表示は前記ＶＰＳの所定のセクションにあり、例えば、ｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（）またはｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）である、請求項８３に記載のビデオを復号するための方法。
85. この場合、各サブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））にはサブピクチャ識別情報が割り当てられ、前記方法はさらに、前記サブピクチャ識別情報がすべてのレイヤに対して一意であるという表示を解釈することをさらに含む、請求項７６から８４のいずれか一項に記載のビデオを復号するための方法。
86. 例えば、前記サブピクチャ識別情報は、所定のセクション内のすべてのレイヤに対して一意であるというｕｎｉｑｕｅ＿ｓｕｂｐｉｃｔｕｒｅｓ＿ｉｄｓ＿ｉｎ＿ｏｌｓ＿ｆｌａｇの表示を解釈することをさらに含み、例えば、ビデオパラメータセットＶＰＳ、またはシーケンスパラメータセットＳＰＳのｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（）またはｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）である、請求項８５に記載のビデオを復号するための方法。
87. 互いに対応する異なるレイヤの前記サブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））が同じサブピクチャ識別情報を有しているという表示を解釈することをさらに含む、請求項７６から８４のいずれか一項に記載のビデオを復号するための方法。
88. 例えば、互いに対応する異なるレイヤの前記サブピクチャが、所定のセクションで同じサブピクチャ識別情報を有するというａｌｉｇｎｅｄ＿ｓｕｂｐｉｃｔｕｒｅｓ＿ｉｄｓ＿ｉｎ＿ｏｌｓ＿ｆｌａｇの表示を解釈することをさらに含み、例えば、ビデオパラメータセットＶＰＳ、またはシーケンスパラメータセットＳＰＳのｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（）またはｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）である、請求項８７に記載のビデオを復号するための方法。
89. 相対的なサブピクチャの位置とサブピクチャの寸法が、すべてのレイヤの前記対応するサブピクチャで同じであるという表示を解釈することをさらに含み、例えば、対応するサブピクチャまたは画像の前記データストリームのシグナリング順序に使用される構文要素の前記インデックスが等しくなる、請求項８７から８８のいずれか一項に記載のビデオを復号するための方法。
90. 前記少なくとも２つのレイヤの前記複数の画像（１２１２、１２１３、１２１４）のそれぞれが、１つまたは複数のサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）Ｌ２（４））に分割され、
    この場合、前記表示は、１つまたは複数のレイヤのそれぞれについて、前記それぞれのレイヤ（１２１２）よりも高い１つまたは複数のより高いレイヤの前記画像（１２１３、１２１４）がサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））に分割され、前記所定のレイヤ固有のサブピクチャの数は、前記それぞれのレイヤ及び前記１つまたは複数の上位レイヤについて等しくなり、所定のレイヤ固有の数のサブピクチャの前記境界が前記それぞれのレイヤと前記１つまたは複数の上位レイヤの間で空間的に一致するようにしているかどうかを示すフラグを含む、請求項８９に記載のビデオを復号するための方法。
91. 前記１つまたは複数の上位レイヤは、予測のために前記それぞれのレイヤの画像を使用する、請求項９０に記載のビデオを復号するための方法。
92. この場合、前記フラグは、１つまたは複数のレイヤのそれぞれについて、前記それぞれのレイヤ（１２１２）よりも高い１つまたは複数のより高いレイヤの前記画像（１２１３、１２１４）がサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））に分割され、前記所定のレイヤ固有のサブピクチャの数は、前記それぞれのレイヤ及び前記１つまたは複数の上位レイヤについて等しくなり、所定のレイヤ固有の数のサブピクチャの前記境界が前記それぞれのレイヤと前記１つまたは複数の上位レイヤの間で空間的に一致するようにしていると表示しているとき、前記サブピクチャのＩＤ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））が前記それぞれのレイヤと前記１つまたは複数の上位レイヤの間で同じであることを示す、請求項８９、９０、９１に記載のビデオを復号するための方法。
93. 前記表示は、シーケンスパラメータセットＳＰＳに含まれている、請求項８９から９２のいずれか一項に記載のビデオを復号するための方法。
94. 特定のレイヤの前記サブピクチャまたは画像の１つの前記境界の少なくとも１つは、前記特定のレイヤ及び少なくとも１つの他のレイヤが、同じ所定のレイヤ固有の番号のサブピクチャを使用してサブピクチャに分割されていること、及び前記結果のサブピクチャの前記境界が一直線化していることを決定することにより、運動補償のための境界拡張に使用されることを決定すること、または
    特定のレイヤの前記サブピクチャまたはピクチャの１つの前記境界の少なくとも１つが、前記サブピクチャの１つについて、前記サブピクチャが境界拡張プロパティに関して同じレイヤ内または１つ以上のレイヤにまたがる隣接するサブピクチャから独立しているという表示を解釈することにより、運動補償の境界拡張に使用されないことを決定することをさら含む、請求項７６から９３のいずれか一項に記載のビデオを復号するための方法。
95. 前記サブピクチャの境界が、レイヤ間で実行される運動補償のサンプル外挿に使用されるかどうかの表示を解釈することさらに含む、請求項７６から９４のいずれか一項に記載のビデオを復号するための方法。
96. 一直線化されたサブピクチャの前記サブピクチャの境界が、レイヤ間で実行される層間運動予測に使用されるかどうかの表示を解釈することをさらに含む、請求項７６から９５のいずれかに記載のビデオを復号するための方法。
97. 例えば、前記少なくとも１つの他のレイヤのどのサブピクチャが復号に必要であるかに関して、前記他のレイヤの少なくとも１つについて、所定のレイヤで前記ビデオの所定の空間セクションを復号するためのｒｅｄｕｃｅｄ＿ｓｕｂｐｉｃ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇフラグの表示を解釈することをさらに含む、請求項７６から９６のいずれか一項に記載のビデオを復号するための方法。
98. 各レイヤについて、前記サブピクチャが前記ビデオの前記空間的選択に必要であるという表示を解釈すること、これは好ましくは前記対応するサブピクチャ識別情報を示し、この場合、前記表示は特に好ましくは補足の強調情報、ＳＥＩ、メッセージ、またはビデオパラメータセット、ＶＰＳ、例えばｎｕｍ＿ｓｕｂ＿ｐｉｃ＿ｉｄｓ及びｓｕｂＰｉｃＩｄＴｏＤｅｃｏｄｅＦｏｒＲｅｆｅｒｅｎｃｅである、または
    スケーリング係数及び／またはオフセットに従って、前記ビデオの前記空間的選択に必要なサブピクチャを導出することをさらに含む、請求項９７に記載のビデオを復号するための方法。
99. 補足拡張情報ＳＥＩ、メッセージ、またはビデオパラメータセットＶＰＳで、前記必要なサブピクチャのみを含むデータストリームの前記必要なプロファイル／レイヤ／レベル、ＰＴＬの表示、例えばｓｕｂｐｉｃ＿ａｄｄ＿ｐｔｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］を解釈することをさらに含む、請求項９７または９８に記載のビデオを復号するための方法。
100. ビデオを処理するための方法であって、
     複数の画像（１９１０、１９２０）のそれぞれが所定の数のサブピクチャ（１９１１、１９１２、１９１３、１９２１、１９２２、１９２３）に分割される方法で、中に符号化された前記複数の画像（１９１０、１９２０）を有する一定のビットレートのデータストリーム（１９４５）を処理することを含み、各サブピクチャは、運動補償のための境界拡張の境界を含み、また
     この場合、前記方法は、前記少なくとも１つのサブピクチャの前記データストリームに含まれるダミーデータ（ｄ）を保持すること、及び前記抽出されたデータストリームが関係しない別のサブピクチャの前記データストリームに含まれるダミーデータ（ｄ）を削除することによって、一定のビットレートで少なくとも１つのサブピクチャ（１９１１、１９２１）に関連するサブピクチャデータストリーム（１９５５）を、前記データストリーム（１９４５）から生成することを含む、前記方法。
101. 前記データストリームの前記サブピクチャの少なくとも１つが、ビデオパラメータセット、ＶＰＳ、またはＳＥＩメッセージ、例えばｃｂｒ＿ｆｌａｇの一定のビットレートであるという表示を解釈することをさらに含む、請求項１００に記載のビデオを処理するための方法。
102. 前記データストリームのサブピクチャがビデオパラメータセット、ＶＰＳ、またはＳＥＩメッセージで一定のビットレートではなく、すべてのダミーデータ、例えばＦＤ＿ＮＵＴ及びフィラーペイロードの補足拡張情報、ＳＥＩ、メッセージを削除するという表示を解釈することをさらに含む、請求項１００または１０１に記載のビデオを処理するための方法。
103. 前記生成が一定のビットレートの前記抽出されたデータストリームになるかどうか、この場合、前記ビデオ処理装置は前記ダミーデータ（ｄ）の前記保持と削除を実行する、または、前記生成が一定のビットレートである前記抽出されたデータストリーム（１９５５）に終わらないかどうか、この場合、ビデオ処理装置はすべてのダミーデータ（ｄ）の削除を実行するということの、前記抽出されたデータストリーム（１９５５）の前記生成のための前記データストリームからの表示を復号することをさらに含む、請求項１００または１０１に記載のビデオを処理するための方法。
104. ダミーデータが、例えば、ＦＤ＿ＮＵＴ及びフィラーペイロードの補足拡張情報、ＳＥＩ、メッセージを含む、請求項１００または１０１に記載のビデオを処理するための方法。
105. ビデオを処理するための方法であって、
     複数のレイヤに符号化されたビデオの複数の画像（１９１０、１９２０）を有するデータストリーム（１９４５）に対してサブピクチャ抽出を実行することであって、すべてのレイヤの前記複数の画像のそれぞれが所定の数のサブピクチャ（１９１１、１９１２、１９１３、１９２１、１９２２、１９２３）に分割され、各サブピクチャは運動補償のための境界拡張のための境界を含む、前記実行すること、を含み、
     この場合、前記方法は、前記１つまたは複数のサブピクチャ（１９１１、１９２１）に対応しない前記データストリームのＮＡＬユニット（１９４２、１９４３、１９５２、１９５３；２０４５、２０４６、２０５５、２０５６）をドロップすること、及びパラメータセット及び／またはピクチャヘッダ（ＨＩ１、ＨＩ２）を書き換えることによって、関心のある１つまたは複数のサブピクチャ（１９１１、１９２１）に関連する抽出されたデータストリーム（１９５５）へ前記データストリームに対して前記サブピクチャ抽出を実行することを含む、ビデオを処理するための方法。
106. 前記データストリームから書き換えるための追加情報、ＨＲＤ関連情報に関連する前記追加情報、画像サイズ、及び／またはサブピクチャへの細分化を導き出すことをさらに含む、請求項１０５に記載のビデオを処理するための方法。
107. 例えば、補足の拡張情報、ＳＥＩ、メッセージについて、前記書き換えが許可されているという前記データストリーム内の表示を解釈することをさらに含む、請求項１０５または１０６に記載のビデオを処理するための方法。
108. 前記抽出されたデータストリーム（１９５５）が抽出されたサブピクチャのセットからなるように前記サブピクチャ抽出を実行することであって、そのそれぞれが前記データストリーム内の長方形の領域に対応するという点で長方形であるようさらに構成される、前記実行することをさらに含む、請求項１０５から１０７のいずれか一項に記載のビデオを処理するための方法。
109. 輝度サンプルのサブピクチャの幅、
     輝度サンプルのサブピクチャの高さ、
     レベル情報、
     ＨＲＤ関連のパラメータ、及び
     画像サイズの１つまたは複数を示す変数を書き換えることをさらに含む、請求項１０５または１０８のいずれか一項に記載のビデオを処理するための方法。
110. ビデオを符号化するための方法であって、
     データストリームにビデオの複数の画像に符号化すること、
     この場合、前記データストリームは、少なくとも２つの層に複数の画像を含み、
     この場合、少なくとも１つのレイヤの前記画像（１２１２）は、所定のレイヤ固有の数のサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））、１つまたは複数の他の層の１つの画像またはサブピクチャに対応する１つのレイヤの画像前記画像またはサブピクチャの１つまたは複数に分割され、前記サブピクチャの少なくとも１つは、運動補償のための境界拡張のための境界を含む、
     対応するサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））、または異なるレイヤの対応する画像の前記境界の少なくとも１つが、互いに一直線化していると表示することを含む、前記方法。
111. 前記少なくとも２つのレイヤの前記複数の画像（１２１２、１２１３、１２１４）のそれぞれを、１つまたは複数のサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）Ｌ２（４））に分割することを含み、
     前記異なるレイヤの対応するサブピクチャのすべての前記境界が互いに一直線化する程度まで前記表示を解釈することを含む、請求項１１０に記載のビデオを符号化するための方法。
112. この場合、各レイヤの前記画像（１２１２、１２１３、１２１４）は、同じ解像度を有し、及び／または
     この場合、前記解像度はレイヤ間で異なり、及び／または
     この場合、各レイヤ内の前記解像度は、連続する画像間で変化する可能性がある、請求項１１０または１１１に記載のビデオを符号化するための方法。
113. この場合、１つのレイヤの前記画像（１２１１）はサブピクチャに分割されず、サブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））には画像（１２１２、１２１３、他のレイヤの１つの１２１４）は、分割されていない画像（１２１１）の１つに対応するように分割される、請求項１１０、１１１、または１１２に記載のビデオを符号化するための方法。
114. １つのレイヤの１つの画像（１２１２）のサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））の前記外側の境界が別のレイヤで１つの対応する画像（１２１１）の前記境界と一直線化していると表示することをさらに含む、請求項１１３に記載のビデオを符号化するための方法。
115. 下位レイヤには対応する上位レイヤの境界のサブセットがあると表示することをさらに含む、請求項１１４に記載のビデオを符号化するための方法。
116. 例えば、あるレイヤの前記サブピクチャのそれぞれが別のレイヤの前記サブピクチャの１つに対応するというｓｕｂｐｉｃｔｕｒｅｓ＿ｉｎ＿ｏｌｓ＿ｃｏｈｅｒｅｎｔ＿ｆｌａｇを表示することをさらに含み、この場合前記表示が所定のセクションにあり、例えば、ビデオパラメータセットＶＰＳ、またはシーケンスパラメータセットＳＰＳのｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（）またはｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）である、請求項１１０から１１５のいずれか一項に記載のビデオを符号化するための方法。
117. 前記サブピクチャの境界が少なくとも２つのレイヤにわたって一直線化されていると表示することをさらに含み、この場合前記表示は、ビデオパラメータセット、ＶＰＳ、またはシーケンスパラメータセット、ＳＰＳ内にある、請求項１１０から１１６のいずれか一項に記載のビデオを符号化するための方法。
118. 例えば、前記サブピクチャの境界が少なくとも２つのレイヤにわたって一直線化されていることの表示ｓｕｂｐｉｃｔｕｒｅｓ＿ｉｎ＿ｏｌｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇをすることをさらに含み、この場合、前記表示は前記ＶＰＳの所定のセクションにあり、例えば、ｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（）またはｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）である、請求項１１７に記載のビデオを符号化するための方法。
119. この場合、各サブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））にはサブピクチャ識別情報が割り当てられ、前記方法はさらに、前記サブピクチャ識別情報がすべてのレイヤに対して一意であると表示することをさらに含む、請求項１１０から１１８のいずれか一項に記載のビデオを符号化するための方法。
120. 例えば、前記サブピクチャ識別情報は、所定のセクション内のすべてのレイヤに対して一意であるというｕｎｉｑｕｅ＿ｓｕｂｐｉｃｔｕｒｅｓ＿ｉｄｓ＿ｉｎ＿ｏｌｓ＿ｆｌａｇを表示することをさらに含み、例えば、ビデオパラメータセットＶＰＳ、またはシーケンスパラメータセットＳＰＳのｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（）またはｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）である、請求項１１９に記載のビデオを符号化するための方法。
121. 互いに対応する異なるレイヤの前記サブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））が同じサブピクチャ識別情報を有していると表示するようさらに構成された、請求項１１０から１１８のいずれか一項に記載のビデオを符号化するための方法。
122. 例えば、互いに対応する異なるレイヤの前記サブピクチャが、所定のセクションで同じサブピクチャ識別情報を有するというａｌｉｇｎｅｄ＿ｓｕｂｐｉｃｔｕｒｅｓ＿ｉｄｓ＿ｉｎ＿ｏｌｓ＿ｆｌａｇを表示することをさらに含み、例えば、ビデオパラメータセットＶＰＳ、またはシーケンスパラメータセットＳＰＳのｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（）またはｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）である、請求項１２１に記載のビデオを符号化するための方法。
123. 相対的なサブピクチャの位置とサブピクチャの寸法が、すべてのレイヤの前記対応するサブピクチャで同じであることを表示することをさらに含み、例えば、対応するサブピクチャまたは画像の前記データストリームのシグナリング順序に使用される構文要素の前記インデックスが等しくなる、請求項１１０から１２２のいずれか一項に記載のビデオを符号化するための方法。
124. 前記少なくとも２つのレイヤの前記複数の画像（１２１２、１２１３、１２１４）のそれぞれを、１つまたは複数のサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）Ｌ２（４））に分割すること、及び
     １つまたは複数のレイヤのそれぞれについて、前記それぞれのレイヤ（１２１２）よりも高い１つまたは複数のより高いレイヤの前記画像（１２１３、１２１４）がサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））に分割され、前記所定のレイヤ固有のサブピクチャの数は、前記それぞれのレイヤ及び前記１つまたは複数の上位レイヤについて等しくなり、所定のレイヤ固有の数のサブピクチャの前記境界が前記それぞれのレイヤと前記１つまたは複数の上位レイヤの間で空間的に一致するようにしていることを表示することを含む、請求項１２３に記載のビデオを符号化するための方法。
125. 前記１つまたは複数の上位レイヤは、予測のために前記それぞれのレイヤの画像を使用する、請求項１２４に記載のビデオを符号化するための方法。
126. この場合、前記フラグは、１つまたは複数のレイヤのそれぞれについて、前記それぞれのレイヤ（１２１２）よりも高い１つまたは複数のより高いレイヤの前記画像（１２１３、１２１４）がサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））に分割され、前記所定のレイヤ固有のサブピクチャの数は、前記それぞれのレイヤ及び前記１つまたは複数の上位レイヤについて等しくなり、所定のレイヤ固有の数のサブピクチャの前記境界が前記それぞれのレイヤと前記１つまたは複数の上位レイヤの間で空間的に一致するようにしていると表示しているとき、前記サブピクチャのＩＤ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））が前記それぞれのレイヤと前記１つまたは複数の上位レイヤの間で同じであることを示す、請求項１２３、１２４、１２５に記載のビデオを符号化するための方法。
127. 前記表示は、シーケンスパラメータセットＳＰＳに含まれている、請求項１２３から１２６のいずれか一項に記載のビデオデコーダ。
128. 特定のレイヤの前記サブピクチャまたはピクチャの１つの前記境界の少なくとも１つが、前記サブピクチャの１つについて、前記サブピクチャが境界拡張プロパティに関して同じレイヤ内または１つ以上のレイヤにまたがる隣接するサブピクチャから独立しているという表示をすることにより、運動補償の境界拡張に使用されないことをシグナリングすることをさらに含む、請求項１１０から１２７のいずれか一項に記載のビデオを符号化するための方法。
129. 前記サブピクチャの境界が、レイヤ間で実行される運動補償のサンプル外挿に使用されるかどうか表示することをさらに含む、請求項１１０から１２８のいずれか一項に記載のビデオを符号化するための方法。
130. 一直線化されたサブピクチャの前記サブピクチャの境界が、レイヤ間で実行される層間運動予測に使用されるかどうかを表示することをさらに含む、請求項１１０から１２９のいずれか一項に記載のビデオを符号化するための方法。
131. 前記少なくとも１つの他のレイヤのどのサブピクチャが復号に必要であるかに関して、前記他のレイヤの少なくとも１つについて、所定のレイヤで前記ビデオの所定の空間セクションを復号するための、例えば、ｒｅｄｕｃｅｄ＿ｓｕｂｐｉｃ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇを表示することをさらに含む、請求項１１０から１３０のいずれか一項に記載のビデオを符号化するための方法。
132. 各レイヤについて、前記ビデオの前記空間的選択に必要なサブピクチャを表示することをさらに含み、
     好ましくは、前記対応するサブピクチャ識別情報を表示し、この場合、前記表示は特に好ましくは補足の強調情報、ＳＥＩ、メッセージ、またはビデオパラメータセット、ＶＰＳ、例えばｎｕｍ＿ｓｕｂ＿ｐｉｃ＿ｉｄｓ及びｓｕｂＰｉｃＩｄＴｏＤｅｃｏｄｅＦｏｒＲｅｆｅｒｅｎｃｅである、または
     スケーリング係数及び／またはオフセットによってなされる、請求項１３１に記載のビデオを符号化するための方法。
133. 補足拡張情報ＳＥＩ、メッセージ、またはビデオパラメータセットＶＰＳで、前記必要なサブピクチャのみを含むデータストリームの前記必要なプロファイル／レイヤ／レベル、ＰＴＬを表示することをさらに含み、例えばｓｕｂｐｉｃ＿ａｄｄ＿ｐｔｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］をする、請求項１３１または１３２に記載のビデオを符号化するための方法。
134. ビデオを符号化するための方法であって、
     複数の画像（１９１０、１９２０）のそれぞれが所定の数のサブピクチャ（１９１１、１９１２、１９１３、１９２１、１９２２、１９２３）に分割される方法で、前記複数の画像（１９１０、１９２０）をデータストリーム（１９４５）に符号化することをさらに含み、各サブピクチャは、運動補償のための境界拡張の境界を含み、
     この場合、前記方法は、前記少なくとも１つのサブピクチャのためのダミーデータ（ｄ）を前記データストリーム（１９４５）に含めること、及びダミーデータ（ｄ）を、前記抽出されたデータストリームが関係しない別のサブピクチャの前記データストリームに含まないことによって、前記少なくとも１つのサブピクチャ（１９１１、１９２１）に関するサブピクチャデータストリームを一定のビットレートで前記データストリームに符号化することを含む、前記方法。
135. 前記データストリームの前記サブピクチャの少なくとも１つが、ビデオパラメータセット、ＶＰＳ、またはＳＥＩメッセージ、例えばｃｂｒ＿ｆｌａｇの一定のビットレートであるという表示することをさらに含む、請求項１３４に記載のビデオを符号化するための方法。
136. 前記データストリームのサブピクチャがビデオパラメータセット、ＶＰＳ、またはＳＥＩメッセージで一定のビットレートではなく、すべてのダミーデータ、例えばＦＤ＿ＮＵＴ及びフィラーペイロードの補足拡張情報、ＳＥＩ、メッセージを削除すると表示することをさらに含む、請求項１３４または１３５に記載のビデオを処理するための方法。
137. 前記生成が一定のビットレートの前記抽出されたデータストリームになるかどうか、この場合、前記ビデオエンコーダは前記ダミーデータ（ｄ）の前記包含と不包含を実行する、または、前記生成が一定のビットレートである前記抽出されたデータストリーム（１９５５）に終わらないかどうか、この場合、ビデオエンコーダはいずれのダミーデータ（ｄ）も包含しないことを実行するということを、前記抽出されたデータストリーム（１９５５）の前記生成のため前記データストリームに表示することをさらに含む、請求項１３４または１３５に記載のビデオを符号化するための方法。
138. ダミーデータが、例えば、ＦＤ＿ＮＵＴ及びフィラーペイロードの補足拡張情報、ＳＥＩ、メッセージを含む、請求項１３４または１３５に記載のビデオを符号化するための方法。
139. ビデオを符号化するための方法であって、
     ビデオの複数の画像（１９１０、１９２０）を複数のレイヤのデータストリーム（１９４５）を符号化することであって、この場合前記データストリーム（１９４５）は複数の画像（１９１０、１９２０）を有し、すべてのレイヤの前記複数の画像のそれぞれが所定の数のサブピクチャ（１９１１、１９１２、１９１３、１９２１、１９２２、１９２３）に分割され、各サブピクチャは運動補償のための境界拡張のための境界を含む、前記符号化すること、及び
     前記１つまたは複数のサブピクチャ（１９１１、１９２１）に対応しない前記データストリームへＮＡＬユニット（１９４２、１９４３、１９５２、１９５３；２０４５、２０４６、２０５５、２０５６）を包含しないこと、及びパラメータセット及び／またはピクチャヘッダ（ＨＩ１、ＨＩ２）を書き換えることによって、関心のある１つまたは複数のサブピクチャ（１９１１、１９２１）に関連するデータストリームへ前記データストリームに対して前記サブピクチャ抽出を表示することを含む、ビデオを符号化するための方法。
140. 前記データストリームへ書き換えるための追加情報、ＨＲＤ関連情報に関連する前記追加情報、画像サイズ、及び／またはサブピクチャへの細分化を表示することをさらに含む、請求項１３９に記載のビデオを符号化するための方法。
141. 例えば、補足の拡張情報、ＳＥＩ、メッセージについて、前記書き換えが許可されているという前記データストリーム内に表示することをさらに含む、請求項１３９または１４０に記載のビデオを符号化するための方法。
142. 輝度サンプルのサブピクチャの幅、
     輝度サンプルのサブピクチャの高さ、
     レベル情報、
     ＨＲＤ関連のパラメータ、及び
     画像サイズの１つまたは複数を示す変数を書き換えることをさらに含む、請求項１３９または１４１のいずれか一項に記載のビデオを符号化するための方法。
143. ビデオを符号化するための方法であって、
     ビデオの複数の画像をデータストリームに符号化することであって、前記データストリームは複数の画像を含み、前記複数の画像のそれぞれは、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、各サブピクチャは、運動補償のための境界拡張のための境界を含む、前記符号化することを含み、
     この場合、前記方法は、スライスの単位で複数の画像を符号化し、スライスのスライスヘッダに第１の構文要素及びサブピクチャ識別情報パラメータを書き込むことを含み、
     この場合、前記方法は、前記第１の構文要素及び前記サブピクチャ識別情報パラメータを前記データストリームに書き込むことを含み、
     １ずつ増加する方法であり、
     前記スライスの少なくとも１つのスライスヘッダで、ビットで区切られ、１に設定される、前記方法。
144. 前記スライスの前記スライスヘッダに、第１のビットの長さで前記第１の構文要素を書き込み、第２のビットの長さで前記サブピクチャ識別情報パラメータを書き込むこと、
     前記第１及び第２のビットの長さの合計が２４ビットより大きいかどうかを確認すること、
     前記第１及び第２のビットの長さの合計が２４ビットより大きい場合は、前記第１の構文要素と前記サブピクチャ識別情報パラメータの間のビットを書き込むこと、及び
     前記サブピクチャ識別情報パラメータの後に、１に設定された別のビットを書き込むことをさらに含む、請求項１４３に記載のビデオを符号化するための方法。
145. ビデオを符号化するための方法であって、
     ビデオの複数の画像をデータストリームに符号化することであって、前記データストリームは複数の画像を含み、前記複数の画像のそれぞれは、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、各サブピクチャは、運動補償のための境界拡張のための境界を含む、前記符号化することを含み、
     この場合、前記方法は、スライスの単位で複数の画像を符号化し、スライスのスライスヘッダに第１の構文要素及びサブピクチャ識別情報パラメータを書き込むことを含み、
     この場合、前記方法は、前記第１の構文要素及び前記サブピクチャ識別情報パラメータを前記データストリームに書き込むことを含み、
     第１のビットの長さで前記第１の構文要素を書き込み、第２のビットの長さで前記サブピクチャ識別情報パラメータを書き込み、
     前記第１の構文要素がサブピクチャ識別情報パラメータの前に来るような方法であり、
     前記第１の構文要素が前記データストリーム１つ増加して書き込まれるように、
     前記サブピクチャ識別情報パラメータが前記データストリームに書き込まれるように、特定の値だけ増加し、その後にビットが続き、１に設定され、
     前記特定の値を、
     前記第１及び第２のビットの長さの合計が３１ビットより小さいかどうかを確認し、
     前記第１及び第２のビットの長さの前記合計が３１ビットより小さい場合は、前記特定の値を値１に設定し、
     前記第１及び第２のビットの長さの前記合計が３１ビットより小さい場合は、前記特定の値を値４に設定することによって、決定する、前記方法。
146. この場合、前記第１の構文要素は前記画像順序カウントパラメータである、請求項１４５に記載のビデオを符号化するための方法。
147. ビデオを符号化するための方法であって、
     ビデオの複数の画像をデータストリームに符号化することを含み、前記複数の画像のそれぞれは、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、各サブピクチャは、運動補償のための境界拡張のための境界を含み、
     この場合、前記方法は、コンテキスト適応型バイナリ算術符号化を使用して各前記サブピクチャを符号化することを含み、
     この場合、前記方法は、サブピクチャのいずれかが所定ビンとビットの比率を超えることを回避するように、ゼロワードの各サブピクチャの１つまたは複数のスライス（２６３１、２６３２、２６３３）の前記終わりに少なくとも１つのサブピクチャの前記データストリーム（２６０５）を提供することを含む、前記方法。
148. 独立性のプロパティ、例えばｓｕｂｐｉｃ＿ｔｒｅａｔｍｅｎｔ＿ａｓ＿ｐｉｃ＿ｆｌａｇ、及び、例えば、補足拡張情報、ＳＥＩ、メッセージにおける対応するレベルの適合性の表示のため、各サブピクチャを評価すること、及び
     前記評価に応じて、前記評価に従ってのみ、サブピクチャに前記ゼロワードを提供することをさらに含む、請求項１４７に記載のビデオを符号化するための方法。
149. 前記少なくとも１つのサブピクチャの各サブピクチャの１つまたは複数のスライスの前記終わりに前記データストリームを提供することを含み、前記コンテキスト適応算術符号化を使用する前記データストリームへの前記それぞれのサブピクチャは、所定の係数と、前記それぞれのサブピクチャに関連付けられた前記データストリームの１つまたは複数のＶＣＬ ＮＡＬユニットのバイト長との間の積を使用して決定される数以下である、請求項１４７または１４８に記載のビデオを符号化するための方法。
150. 前記少なくとも１つのサブピクチャの各サブピクチャの１つまたは複数のスライスの前記終わりに前記データストリームを提供することを含み、前記コンテキスト適応算術符号化を使用する前記データストリームへの前記それぞれのサブピクチャへの符号化されたビンの数は、第１の所定の係数と、前記それぞれのサブピクチャに関連付けられた前記データストリームの１つまたは複数のＶＣＬ ＮＡＬユニットのバイト長との間の第１の積と、第２の所定の係数と、コーディングブロックあたりの最小ビット数と前記それぞれのサブピクチャが構成されるコーディングブロックの数との間の第２の積の合計を使用して決定される数以下である、請求項１４７、１４８、または１４９に記載のビデオを符号化するための方法。
151. プログラムが処理デバイスで実行されるときに、請求項７６から１５０のいずれか一項のステップを実行するためのソフトウェアコード部分を含む、処理デバイス用のプログラムを含むコンピュータプログラム製品。
152. 前記コンピュータプログラム製品は、前記ソフトウェアコード部分が格納されるコンピュータ可読媒体を含み、前記プログラムは、前記処理デバイスの内部メモリに直接ロード可能である、請求項１５１に記載のコンピュータプログラム製品。
153. ビデオデコーダ（２６４０）であって、
     ビデオの複数の画像をデータストリーム（２０６５）から復号するよう構成され、前記複数の画像のそれぞれは、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、各サブピクチャは、運動補償のための境界拡張のための境界を含み、
     この場合、前記ビデオデコーダ（２６４０）は、コンテキスト適応型バイナリ算術復号を使用して各前記サブピクチャを復号するように構成され、
     この場合、前記ビデオデコーダは、ビンとビットの比率が所定のビンとビットの比率を下回るように、複数のゼロワードを各サブピクチャの１つまたは複数のスライス（２６３１、２６３２、２６３３）の前記終わりに少なくとも１つのサブピクチャのため復号するように構成される、前記ビデオデコーダ。
154. 前記ビンとビット比率が前記所定のビンとビットの比率を下回るまでゼロワードを読み続けるか、構文的にゼロワードを他の構文要素から区別することによって、ゼロワードの数を決定するように構成される、請求項１５３に記載のビデオデコーダ（２６４０）。
155. 独立性のプロパティ、例えばｓｕｂｐｉｃ＿ｔｒｅａｔｍｅｎｔ＿ａｓ＿ｐｉｃ＿ｆｌａｇについて、及び対応するレベルの適合性の表示、例えば、補足拡張情報、ＳＥＩ、メッセージについて各サブピクチャを評価し、また
     前記評価に応じて、前記評価に従ってのみ、サブピクチャに前記ゼロワードを復号するようにさらに構成される、請求項１５３、または１５４に記載のビデオデコーダ。
156. 前記少なくとも１つのサブピクチャの各サブピクチャの１つまたは複数のスライスの前記終わりに前記データストリームを復号するように構成され、前記コンテキスト適応算術符号化を使用する前記データストリームへの前記それぞれのサブピクチャは、所定の係数と、前記それぞれのサブピクチャに関連付けられた前記データストリームの１つまたは複数のＶＣＬ ＮＡＬユニットのバイト長との間の積を使用して決定される数以下である、請求項１５３、１５４、または１５５に記載のビデオデコーダ（２６４０）。
157. 前記少なくとも１つのサブピクチャの各サブピクチャの１つまたは複数のスライスの前記終わりに前記データストリームを復号するように構成され、前記コンテキスト適応算術符号化を使用する前記データストリームへの前記それぞれのサブピクチャへの符号化されたビンの数は、第１の所定の係数と、前記それぞれのサブピクチャに関連付けられた前記データストリームの１つまたは複数のＶＣＬ ＮＡＬユニットのバイト長との間の第１の積と、第２の所定の係数と、コーディングブロックあたりの最小ビット数と前記それぞれのサブピクチャが構成されるコーディングブロックの数との間の第２の積の合計を使用して決定される数以下である、請求項１５３、１５４、または１５５に記載のビデオデコーダ（２６４０）。
158. データストリームであって、
     中に符号化されたビデオであって、複数の画像を含む前記ビデオを有し、
     この場合、前記データストリームは、少なくとも２つの層に複数の画像を含み、
     この場合、少なくとも１つのレイヤの前記画像（１２１２）は、所定のレイヤ固有の数のサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））、１つまたは複数の他の層の１つの画像またはサブピクチャに対応する１つのレイヤの画像前記画像またはサブピクチャの１つまたは複数に分割され、前記サブピクチャの少なくとも１つは、運動補償のための境界拡張のための境界を含む、また
     対応するサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）、Ｌ２（４））、または異なるレイヤの対応する画像の前記境界の少なくとも１つが、互いに一直線化しているという表示を有する、前記データストリーム。
159. 前記少なくとも２つのレイヤの前記複数の画像（１２１２、１２１３、１２１４）のそれぞれが、１つまたは複数のサブピクチャ（Ｌ２（１）、Ｌ２（２）、Ｌ２（３）Ｌ２（４））に分割され、
     前記異なるレイヤの対応するサブピクチャのすべての前記境界が互いに一直線化する程度まで前記表示を有する、請求項１５８に記載のデータストリーム。
160. データストリーム（１９４５）であって、
     符号化された複数の画像（１９１０、１９２０）を有し、
     前記複数の画像（１９１０、１９２０）のそれぞれが所定の数のサブピクチャ（１９１１、１９１２、１９１３、１９２１、１９２２、１９２３）に分割される方法であり、各サブピクチャは、運動補償のための境界拡張の境界を含み、
     この場合、前記データストリーム（１９４５）は、前記少なくとも１つのサブピクチャの前記データストリームに含まれるダミーデータ（ｄ）を保持すること、及び前記抽出されたデータストリームが関係しない別のサブピクチャの前記データストリームに含まれるダミーデータ（ｄ）を削除することによって、一定のビットレートで少なくとも１つのサブピクチャ（１９１１、１９２１）に関するサブピクチャデータストリーム（１９５５）が抽出可能であるように、前記データストリーム（１９４５）が符号化される、前記データストリーム。
161. データストリームであって、
     中でビデオが符号化されたであって、前記ビデオは複数のレイヤでデータストリームに符号化された複数の画像（１９１０、１９２０）を有し、
     全レイヤの前記複数の画像のそれぞれが所定の数のサブピクチャ（１９１１、１９１２、１９１３、１９２１、１９２２、１９２３）に分割され、各サブピクチャは、運動補償のための境界拡張の境界を含み、
     この場合、前記データストリームは、前記１つまたは複数のサブピクチャ（１９１１、１９２１）に対応しない前記データストリームのＮＡＬユニット（１９４２、１９４３、１９５２、１９５３；２０４５、２０４６、２０５５、２０５６）をドロップすること、及びパラメータセット及び／またはピクチャヘッダ（ＨＩ１、ＨＩ２）を書き換えることによって、関心のある１つまたは複数のサブピクチャ（１９１１、１９２１）に関連する抽出されたデータストリーム（１９５５）へサブピクチャ抽出をためのものである、前記データストリーム。
162. 輝度サンプルのサブピクチャの幅、
     輝度サンプルのサブピクチャの高さ、
     レベル情報、
     ＨＲＤ関連のパラメータ、及び
     画像サイズの１つまたは複数を示す変数を書き換えることの表示を有する、請求項１６１に記載のデータストリーム。
163. データストリームであって、
     中に符号化されたビデオであって、複数の画像を含む前記ビデオ、
     この場合、前記複数の画像のそれぞれは、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、
     この場合、前記複数の画像はスライスの単位で符号化され、
     第１の構文要素とサブピクチャ識別情報パラメータが前記スライスのスライスヘッダへの前記データストリームに書き込まれ、
     この場合、前記第１の構文要素及び前記サブピクチャ識別情報パラメータを前記データストリームに書き込み、
     １ずつ増加する方法であり、
     前記スライスの少なくとも１つの前記スライスヘッダで、ビットで区切られ、１に設定される、前記データストリーム。
164. 前記スライスの前記スライスヘッダに、第１のビットの長さで前記第１の構文要素を書き込み、第２のビットの長さで前記サブピクチャ識別情報パラメータを書き込むこと、
     前記第１及び第２のビットの長さの合計が２４ビットより大きい場合は、前記第１の構文要素と前記サブピクチャ識別情報パラメータの間のビットを書き込むこと、及び
     前記サブピクチャ識別情報パラメータの後に、１に設定された別のビットを書き込むことをさらに有する、請求項１６３に記載のデータストリーム。
165. データストリームであって、
     中に符号化されたビデオであって、複数の画像を含む前記ビデオを有し、
     この場合、前記複数の画像のそれぞれは、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、
     この場合、前記複数の画像がスライスの単位で符号化され、スライスのスライスヘッダに第１の構文要素及びサブピクチャ識別情報パラメータが書き込まれ、
     この場合、前記第１の構文要素及び前記サブピクチャ識別情報パラメータを前記データストリームに書き込み、
     第１のビットの長さで前記第１の構文要素を書き込み、第２のビットの長さで前記サブピクチャ識別情報パラメータを書き込み、
     前記第１の構文要素がサブピクチャ識別情報パラメータの前に来るような方法であり、
     前記第１の構文要素が前記データストリーム１つ増加して書き込まれるように、
     前記サブピクチャ識別情報パラメータが前記データストリームに書き込まれるように、特定の値だけ増加し、その後にビットが続き、１に設定され、
     前記特定の値は、
     前記第１及び第２のビットの長さの前記合計が３１ビットより小さい場合は、前記特定の値を値１に設定し、
     前記第１及び第２のビットの長さの前記合計が３１ビットより小さい場合は、前記特定の値を値４に設定する、前記データストリーム。
166. この場合、前記第１の構文要素は前記画像順序カウントパラメータである、請求項１６５に記載のデータストリーム。
167. データストリーム（２６０５）であって、
     中に符号化されたビデオであって、複数の画像を含む前記ビデオを有し、
     この場合、前記複数の画像のそれぞれは、所定の数のサブピクチャに分割され、各サブピクチャは、運動補償のための境界拡張のための境界を含み、
     この場合、前コンテキスト適応型バイナリ算術符号化を使用して各前記サブピクチャを符号化し、
     この場合、前記データストリームは、サブピクチャのいずれかが所定ビンとビットの比率を超えることを回避するように、ゼロワードの各サブピクチャの１つまたは複数のスライス（２６３１、２６３２、２６３３）の前記終わりに少なくとも１つのサブピクチャのための前記ゼロワードを含む、前記データストリーム。
168. 前記少なくとも１つのサブピクチャの各サブピクチャの１つまたは複数のスライスの前記終わりに前記データストリームを復号するように構成され、前記コンテキスト適応算術符号化を使用する前記データストリームへの前記それぞれのサブピクチャは、所定の係数と、前記それぞれのサブピクチャに関連付けられた前記データストリームの１つまたは複数のＶＣＬ ＮＡＬユニットのバイト長との間の積を使用して決定される数以下である、請求項１６７に記載のデータストリーム。
169. 前記少なくとも１つのサブピクチャの各サブピクチャの１つまたは複数のスライスの前記終わりに前記データストリームを復号するように構成され、前記コンテキスト適応算術符号化を使用する前記データストリームへの前記それぞれのサブピクチャへの符号化されたビンの数は、第１の所定の係数と、前記それぞれのサブピクチャに関連付けられた前記データストリームの１つまたは複数のＶＣＬ ＮＡＬユニットのバイト長との間の第１の積と、第２の所定の係数と、コーディングブロックあたりの最小ビット数と前記それぞれのサブピクチャが構成されるコーディングブロックの数との間の第２の積の合計を使用して決定される数以下である、請求項１６７に記載のデータストリーム。

Images