JP6203852B2 - ビデオデータのためのファイルフォーマット - Google Patents

Description

[0001]本出願は、その内容全体が参照により本明細書に組み込まれる、２０１２年１０月４日に出願された米国仮特許出願第６１／７０９，７４８号の利益を主張する。

[0002]本開示は、ビデオ符号化および復号に関する。

[0003]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ １０、アドバンストビデオコーディング（ＡＶＣ：Advanced Video Coding）、現在開発中の高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）規格によって定義された規格、およびそのような規格の拡張に記載されているビデオ圧縮技法など、ビデオ圧縮技法を実装する。ビデオデバイスは、そのようなビデオ圧縮技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。

[0004]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減または除去するために空間的（イントラピクチャ）予測および／または時間的（インターピクチャ）予測を実行する。ブロックベースのビデオコーディングの場合、ビデオスライス（すなわち、ビデオフレームまたはビデオフレームの一部分）がビデオブロックに区分され得る。ピクチャのイントラコーディングされた（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコーディングされた（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測、または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。

[0005]空間的予測または時間的予測は、コーディングされるべきブロックの予測ブロックを生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコーディングされたブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルに従って符号化され、残差データは、コーディングされたブロックと予測ブロックとの間の差分を示す。イントラコーディングされたブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換されて、残差係数が得られ得、その残差係数は、次いで量子化され得る。量子化された係数は、最初は２次元アレイで構成され、係数の１次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するためにエントロピーコーディングが適用され得る。

[0006]マルチビューコーディングビットストリームは、たとえば、複数の視点からのビューを符号化することによって生成され得る。マルチビューコーディング態様を利用するいくつかの３次元（３Ｄ）ビデオ規格が開発されている。たとえば、３Ｄビデオをサポートするために、異なるビューが左眼ビューと右眼ビューを送信し得る。代替的に、いくつかの３Ｄビデオコーディングプロセスは、いわゆるマルチビュー＋深度コーディング（multiview plus depth coding）を適用し得る。マルチビュー＋深度コーディングでは、３Ｄビデオビットストリームが、テクスチャビューコンポーネントだけでなく、深度ビューコンポーネントをも含んでいることがある。たとえば、各ビューは、１つのテクスチャビューコンポーネントと１つの深度ビューコンポーネントとを備え得る。

[0007]概して、本開示では、ビデオコンテンツの記憶のための技法について説明する。いくつかの例では、本技法は、国際標準化機構（ＩＳＯ：International Organization for Standardization）ベースメディアファイルフォーマット（ＩＳＯＢＭＦＦ：ISO base media file format）に基づくファイル中の高効率ビデオコーディング（ＨＥＶＣ）コンテンツの記憶を実現する。たとえば、デバイスが、コード化ピクチャを含んでいる複数のサンプルを備えるファイルを生成し得る。さらに、そのファイルは、その複数のサンプルの中からの１つまたは複数のサンプルを含んでいるサンプルグループを識別するボックスを含んでいることがある。ボックスは、サンプルグループ中の各サンプルがステップワイズ時間サブレイヤアクセス（ＳＴＳＡ：step-wise temporal sub-layer access）サンプルであることをさらに示し得る。同じまたは異なるデバイスは、サンプルグループを識別するボックス中のデータに基づいて、ボックスを含んでいるファイル中のサンプルの中からＳＴＳＡサンプルを識別し得る。

[0008]一例では、本開示では、ビデオデータを処理する方法について説明し、上記方法は、サンプルグループを識別するボックス中のデータに基づいて、ボックスを含んでいるファイル中のサンプルの中からビデオデータのＳＴＳＡサンプルを識別することを備える。

[0009]別の例では、本開示では、ビデオデータを記憶する方法について説明し、上記方法は、ビデオデータのコード化ピクチャを含んでいる複数のサンプルと、その複数のサンプルの中からの１つまたは複数のサンプルを含んでいるサンプルグループを識別するボックスと、ここにおいて、ボックスは、サンプルグループ中の各サンプルがＳＴＳＡサンプルであることをさらに示す、を備えるファイルを生成することを備える。

[0010]別の例では、本開示では、サンプルグループを識別するボックス中のデータに基づいて、ボックスを含んでいるファイル中のビデオデータのサンプルの中からＳＴＳＡサンプルを識別するように構成された１つまたは複数のプロセッサを備えるデバイスについて説明する。

[0011]別の例では、本開示では、ビデオデータのコード化ピクチャを含んでいる複数のサンプルと、その複数のサンプルの中からの１つまたは複数のサンプルを含んでいるサンプルグループを識別するボックスと、ここにおいて、ボックスは、サンプルグループ中の各サンプルがＳＴＳＡサンプルであることをさらに示す、を備えるファイルを生成するように構成された１つまたは複数のプロセッサを備えるデバイスについて説明する。

[0012]別の例では、本開示では、サンプルグループを識別するボックスを含んでいるファイルを受信するための手段と、ボックス中のデータに基づいて、ファイル中のサンプルの中からビデオデータのＳＴＳＡサンプルを識別するための手段とを備えるデバイスについて説明する。

[0013]別の例では、本開示では、ビデオデータのコード化ピクチャを含んでいる複数のサンプルと、その複数のサンプルの中からの１つまたは複数のサンプルを含んでいるサンプルグループを識別するボックスと、ここにおいて、ボックスは、サンプルグループ中の各サンプルがＳＴＳＡサンプルであることをさらに示す、を備えるファイルを生成するための手段と、上記ファイルを出力するための手段とを備えるデバイスについて説明する。

[0014]別の例では、本開示では、実行されたとき、１つまたは複数のプロセッサに、サンプルグループを識別するボックス中のデータに基づいて、ボックスを含んでいるファイル中のサンプルの中からＳＴＳＡサンプルを識別させる命令を記憶した非一時的コンピュータ可読記憶媒体について説明する。

[0015]別の例では、本開示では、実行されたとき、１つまたは複数のプロセッサに、コード化ピクチャを含んでいる複数のサンプルと、その複数のサンプルの中からの１つまたは複数のサンプルを含んでいるサンプルグループを識別するボックスと、ここにおいて、ボックスは、サンプルグループ中の各サンプルがＳＴＳＡサンプルであることをさらに示す、を備えるファイルを生成させる命令を記憶した非一時的コンピュータ可読記憶媒体について説明する。

[0016]本開示の１つまたは複数の例の詳細を添付の図面および以下の説明に記載する。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになろう。

[0017]本開示で説明する技法を利用し得る例示的なビデオコーディングシステムを示すブロック図。 [0018]本開示で説明する技法を実装し得る例示的なビデオエンコーダを示すブロック図。 [0019]本開示で説明する技法を実装し得る例示的なビデオデコーダを示すブロック図。 [0020]本開示の１つまたは複数の技法による例示的な動作を示すフローチャート。 [0021]本開示の１つまたは複数の追加の技法による例示的な動作を示すフローチャート。 [0022]本開示の１つまたは複数の技法による、ファイルの例示的な構造を示す概念図。

[0023]高効率ビデオコーディング（ＨＥＶＣ）ビットストリームなどのビットストリームは、１つまたは複数のコード化ビデオシーケンス（ＣＶＳ：coded video sequence）を形成するコード化ピクチャと関連付けられたデータとの表現を形成するビットのシーケンスを備え得る。コード化ピクチャは、ピクチャのすべてのコーディングツリーユニットを含んでいるピクチャのコード化表現を備え得る。コーディングツリーユニット（ＣＴＵ：coding tree unit）は、ルーマサンプルのコーディングツリーブロック（ＣＴＢ：coding tree block）と、クロマサンプルの２つの対応するＣＴＢと、それらのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。ＣＶＳはアクセスユニットのシーケンスを備え得る。アクセスユニットの各々は、同じ時間インスタンスに関連付けられたコード化ピクチャのセットを備え得る。

[0024]メディアアウェアネットワーク要素（ＭＡＮＥ：media aware network element）または他のタイプのデバイスは、複数のサブレイヤで符号化されたＨＥＶＣビットストリームにビットストリームシニング（bitstream thinning）を適用し得る。レイヤ内の他のピクチャと無関係に復号され得るレイヤ内のピクチャのサブセットを、本明細書では「サブレイヤ」または「時間サブレイヤ」と呼ぶことがある。ネットワークアブストラクションレイヤ（ＮＡＬ：Network Abstraction Layer）ユニットの時間識別子は、そのＮＡＬユニットがそれに関連付けられたサブレイヤを識別する。したがって、ビットストリームの各サブレイヤは異なる時間識別子に関連付けられ得る。第１のＮＡＬユニットの時間識別子が第２のＮＡＬユニットの時間識別子よりも小さい場合、第１のＮＡＬユニットによってカプセル化されたデータは、第２のＮＡＬユニットによってカプセル化されたデータと無関係に復号され得る。

[0025]ビットストリーム中の任意のポイントにおいて、下位サブレイヤ中のピクチャのための復号プロセスは上位サブレイヤのネットワークアブストラクションレイヤ（ＮＡＬ）ユニットに依存しないので、下位サブレイヤ中のピクチャがまだ復号可能であるということに基づいて、ＭＡＮＥは上位サブレイヤのＮＡＬユニットを削除し始めることができる。ある値よりも高い時間識別子をもつすべてのＮＡＬユニットを削除するアクションは時間ダウンスイッチングと呼ばれることがある。時間ダウンスイッチングは常に可能であり得る。

[0026]そのポイントまで転送されていないあるサブレイヤのＮＡＬユニットを転送し始めるアクションは、時間アップスイッチング（temporal up-switching）と呼ばれることがある。いくつかの例では、それにスイッチされるレイヤ中のピクチャのいずれも、スイッチが実行されたビットストリーム中のポイントより前の同じサブレイヤ中のどのピクチャにも依存しない場合のみ、時間アップスイッチングが可能である。時間アップスイッチングが可能であるビットストリーム中のポイントはサブレイヤスイッチングポイントと呼ばれることがある。

[0027]ＨＥＶＣでは、サブレイヤスイッチングポイントに関連付けられた２つのピクチャタイプ、すなわち、時間サブレイヤアクセス（ＴＳＡ：temporal sub-layer access）ピクチャタイプおよびステップワイズ時間サブレイヤアクセス（ＳＴＳＡ）ピクチャタイプがある。ＴＳＡピクチャタイプおよびＳＴＳＡピクチャタイプは、時間サブレイヤスイッチングポイントを示すために使用され得る。ＴＳＡピクチャは、すぐ下位のサブレイヤから、ＴＳＡピクチャを含んでいるサブレイヤまたはいずれかの上位サブレイヤへの、ＴＳＡピクチャにおけるアップスイッチングを可能にする。ＳＴＳＡピクチャは、すぐ下位のサブレイヤから、ＳＴＳＡピクチャを含んでいるサブレイヤへの、ＳＴＳＡピクチャにおけるアップスイッチングを可能にする。したがって、ＴＳＡピクチャとは対照的に、ＳＴＳＡは、必ずしも上位サブレイヤへのアップスイッチングを可能にするとは限らず、ＳＴＳＡピクチャを含んでいるサブレイヤのみへのアップスイッチングを可能にする。

[0028]ＨＥＶＣコンテンツの記憶のためのファイルフォーマット（すなわち、ＨＥＶＣファイルフォーマット）に従って、ファイルは複数の「ボックス」を備え得る。したがって、ＨＥＶＣファイルフォーマットに準拠するファイルは、ボックスと呼ばれる一連のオブジェクトを備え得る。「ボックス」は、一意のタイプ識別子と長さとによって定義されるオブジェクト指向ビルディングブロックであり得る。いくつかの事例では、ＨＥＶＣファイルフォーマットに準拠するファイル中のすべてのデータがボックス内に含まれていることがあり、ボックス中にないファイル中にはデータがないことがある。

[0029]さらに、ＨＥＶＣファイルフォーマットに準拠するファイルは複数のトラックを含み得る。各トラックは、関係するサンプルの時限シーケンスであり得る。ＨＥＶＣファイルフォーマットのコンテキストでは、「サンプル」は、単一のタイムスタンプに関連付けられたデータを備え得る。サンプルの例としては、ビデオの個々のフレーム、復号順序での一連のビデオフレーム、または復号順序でのオーディオの圧縮セクションがある。

[0030]さらに、ＨＥＶＣファイルフォーマットでは、サンプルグルーピングは、１つのサンプルグループのメンバーであるべきトラック中のサンプルの各々の割当てである。サンプルグループ中のサンプルは連続する必要はない。サンプルグループは、ＳａｍｐｌｅＴｏＧｒｏｕｐボックスおよびＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスという２つのデータ構造によって表され得る。ＳａｍｐｌｅＴｏＧｒｏｕｐボックスは、サンプルグループへのサンプルの割当てを表す。サンプルグループエントリごとにＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスの１つのインスタンスがあり得る。ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスは、対応するサンプルグループの特性を記述する。

[0031]ＨＥＶＣコンテンツの記憶のためのファイルフォーマットの既存の設計に関するいくつかの問題または短所がある。たとえば、（ＳＴＳＡサンプルとも呼ばれる）ＳＴＳＡピクチャを含んでいるサンプルをシグナリングするためのコンパクトな方法がない。別の例では、いずれかのサンプルにおいていずれかの上位時間レイヤへの時間サブレイヤアップスイッチングが実行され得るかどうかをシグナリングするための効率的な方法がない。

[0032]本開示の技法は、前述の問題または短所のうちの１つまたは複数を解決し得る。本開示の例示的な技法によれば、デバイス（たとえば、ビデオエンコーダまたは別のデバイス）が、コード化ピクチャを含んでいる複数のサンプルを備えるファイルを生成し得る。そのファイルは、その複数のサンプルの中からの１つまたは複数のサンプルを含んでいるサンプルグループを識別するボックス（たとえば、ＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘ）をも含み得る。ボックスは、サンプルグループ中の各サンプルがＳＴＳＡサンプルであることをさらに示す。したがって、デバイス（たとえば、ビデオデコーダまたは別のデバイス）は、サンプルグループを識別するボックス中のデータに基づいて、ボックスを含んでいるファイル中のサンプルの中からＳＴＳＡサンプルを識別し得る。

[0033]本開示の別の例示的な技法によれば、ビデオエンコーダまたは別のデバイスが、ビデオデータのコード化ピクチャを含んでいるコード化サンプルを記憶するファイルを生成し得る。そのファイルは、記録が適用されたストリームが復号されるときにアクティブにされるすべてのシーケンスパラメータセット（ＳＰＳ）が、それらのＳＰＳに関連付けられたいずれかのサンプルにおいていずれかの上位時間サブレイヤへの時間サブレイヤアップスイッチングが実行され得ることを示すシンタックス要素を有するかどうかを示す要素を含む記録を含むボックスをも含み得る。したがって、ビデオデコーダまたは他のデバイスは、ビデオデータのコード化ピクチャを含んでいるサンプルを含んでいるファイルのボックス中の記録中の要素に基づいて、記録が適用されたストリームが復号されるときにアクティブにされるすべてのＳＰＳが、それらのＳＰＳに関連付けられたいずれかのサンプルにおいていずれかの上位時間サブレイヤへの時間サブレイヤアップスイッチングが実行され得ることを示すシンタックス要素を有することを判断し得る。

[0034]たとえば、ビデオエンコーダはＨＥＶＣデコーダ構成記録を生成し得る。ＨＥＶＣデコーダ構成記録はｔｅｍｐｏｒａｌＩｄＮｅｓｔｅｄ要素を含み得る。ｔｅｍｐｏｒａｌＩＤＮｅｓｔｅｄ要素は、ＨＥＶＣデコーダ構成記録が適用されるストリームのいずれかのサンプルにおいていずれかの上位時間レイヤへの時間サブレイヤアップスイッチングが実行され得るかどうかを示し得る。

[0035]図１は、本開示の技法を利用し得る例示的なビデオコーディングシステム１０を示すブロック図である。本明細書で使用する「ビデオコーダ」という用語は、総称的にビデオエンコーダとビデオデコーダの両方を指す。本開示では、「ビデオコーディング」または「コーディング」という用語は、総称的にビデオ符号化またはビデオ復号を指すことがある。

[0036]図１に示されているように、ビデオコーディングシステム１０は、ソースデバイス１２と宛先デバイス１４とを含む。ソースデバイス１２は、符号化ビデオデータを生成する。したがって、ソースデバイス１２は、ビデオ符号化デバイスまたはビデオ符号化装置と呼ばれることがある。宛先デバイス１４は、ソースデバイス１２によって生成された符号化ビデオデータを復号し得る。したがって、宛先デバイス１４は、ビデオ復号デバイスまたはビデオ復号装置と呼ばれることがある。ソースデバイス１２および宛先デバイス１４は、ビデオコーディングデバイスまたはビデオコーディング装置の例であり得る。

[0037]ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、モバイルコンピューティングデバイス、ノートブック（たとえば、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、車内コンピュータなどを含む、広範囲のデバイスを備え得る。

[0038]宛先デバイス１４は、チャネル１６を介してソースデバイス１２から符号化ビデオデータを受信し得る。チャネル１６は、ソースデバイス１２から宛先デバイス１４に符号化ビデオデータを移動することが可能な１つまたは複数の媒体またはデバイスを備え得る。一例では、チャネル１６は、ソースデバイス１２が符号化ビデオデータを宛先デバイス１４にリアルタイムで直接送信することを可能にする１つまたは複数の通信媒体を備え得る。この例では、ソースデバイス１２は、ワイヤレス通信プロトコルなどの通信規格に従って符号化ビデオデータを変調し得、変調されたビデオデータを宛先デバイス１４に送信し得る。１つまたは複数の通信媒体は、無線周波数（ＲＦ）スペクトルあるいは１つまたは複数の物理伝送線路など、ワイヤレスおよび／またはワイヤード通信媒体を含み得る。１つまたは複数の通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはグローバルネットワーク（たとえば、インターネット）など、パケットベースネットワークの一部を形成し得る。１つまたは複数の通信媒体は、ソースデバイス１２から宛先デバイス１４への通信を可能にする、ルータ、スイッチ、基地局、または他の機器を含み得る。

[0039]別の例では、チャネル１６は、ソースデバイス１２によって生成された符号化ビデオデータを記憶する記憶媒体を含み得る。この例では、宛先デバイス１４は、たとえば、ディスクアクセスまたはカードアクセスを介して、記憶媒体にアクセスし得る。記憶媒体は、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、または符号化ビデオデータを記憶するための他の好適なデジタル記憶媒体など、種々のローカルにアクセスされるデータ記憶媒体を含み得る。

[0040]さらなる例では、チャネル１６は、ソースデバイス１２によって生成された符号化ビデオデータを記憶するファイルサーバまたは別の中間記憶デバイスを含み得る。この例では、宛先デバイス１４は、ストリーミングまたはダウンロードを介して、ファイルサーバまたは他の中間記憶デバイスに記憶された、符号化ビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶することと、符号化ビデオデータを宛先デバイス１４に送信することとが可能なタイプのサーバであり得る。例示的なファイルサーバとしては、（たとえば、ウェブサイト用の）ウェブサーバ、ファイル転送プロトコル（ＦＴＰ）サーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、およびローカルディスクドライブがある。

[0041]宛先デバイス１４は、インターネット接続などの標準的なデータ接続を通して符号化ビデオデータにアクセスし得る。データ接続の例示的なタイプとしては、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適な、ワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ（登録商標）接続）、ワイヤード接続（たとえば、デジタル加入者線（ＤＳＬ）、ケーブルモデムなど）、または両方の組合せがあり得る。ファイルサーバからの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、または両方の組合せであり得る。

[0042]本開示の技法は、ワイヤレス適用例または設定に限定されない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのビデオデータの符号化、データ記憶媒体に記憶されたビデオデータの復号、または他の適用例など、様々なマルチメディア適用例をサポートするビデオコーディングに適用され得る。いくつかの例では、ビデオコーディングシステム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどの適用例をサポートするために、単方向または双方向のビデオ送信をサポートするように構成され得る。

[0043]図１は一例にすぎず、本開示の技法は、符号化デバイスと復号デバイスとの間のデータ通信を必ずしも含むとは限らないビデオコーディング設定（たとえば、ビデオ符号化またはビデオ復号）に適用され得る。他の例では、データがローカルメモリから取り出されること、ネットワークを介してストリーミングされることなどが行われる。ビデオ符号化デバイスはデータを符号化し、メモリに記憶し得、および／またはビデオ復号デバイスはメモリからデータを取り出し、復号し得る。多くの例では、符号化および復号は、互いに通信しないが、メモリにデータを符号化し、および／またはメモリからデータを取り出して復号するだけであるデバイスによって実行される。

[0044]図１の例では、ソースデバイス１２は、ビデオソース１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。いくつかの例では、出力インターフェース２２は、変調器／復調器（モデム）および／または送信機を含み得る。ビデオソース１８は、たとえばビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオデータを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオデータを受信するためのビデオフィードインターフェース、および／またはビデオデータを生成するためのコンピュータグラフィックスシステム、あるいはビデオデータのそのようなソースの組合せを含み得る。

[0045]ビデオエンコーダ２０は、ビデオソース１８からのビデオデータを符号化し得る。いくつかの例では、ソースデバイス１２は、出力インターフェース２２を介して宛先デバイス１４に符号化ビデオデータを直接送信する。他の例では、符号化ビデオデータはまた、復号および／または再生のための宛先デバイス１４による後のアクセスのために記憶媒体またはファイルサーバ上に記憶され得る。

[0046]図１の例では、宛先デバイス１４は、入力インターフェース２８と、ビデオデコーダ３０と、ディスプレイデバイス３２とを含む。いくつかの例では、入力インターフェース２８は受信機および／またはモデムを含む。入力インターフェース２８は、チャネル１６を介して符号化ビデオデータを受信し得る。ビデオデコーダ３０は、符号化ビデオデータを復号し得る。ディスプレイデバイス３２は、復号されたビデオデータを表示し得る。ディスプレイデバイス３２は、宛先デバイス１４と一体化され得るかまたはその外部にあり得る。ディスプレイデバイス３２は、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスを備え得る。

[0047]ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ハードウェアなど、様々な好適な回路のいずれか、あるいはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装される場合、デバイスは、好適な非一時的コンピュータ可読記憶媒体にソフトウェアの命令を記憶し得、１つまたは複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行し得る。（ハードウェア、ソフトウェア、ハードウェアとソフトウェアの組合せなどを含む）上記のいずれも、１つまたは複数のプロセッサであると見なされ得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。

[0048]本開示では、概して、ビデオエンコーダ２０が、ある情報をビデオデコーダ３０などの別のデバイスに「シグナリング」することに言及することがある。「シグナリング」という用語は、概して、圧縮ビデオデータを復号するために使用されるシンタックス要素および／または他のデータの通信を指し得る。そのような通信は、リアルタイムまたはほぼリアルタイムに行われ得る。代替的に、そのような通信は、符号化時に符号化ビットストリーム中でシンタックス要素をコンピュータ可読記憶媒体に記憶するときに行われることがあるなど、ある時間期間にわたって行われ得、次いで、これらの要素は、この媒体に記憶された後の任意の時間に復号デバイスによって取り出され得る。

[0049]いくつかの例では、ビデオエンコーダ２０およびビデオデコーダ３０は、それのスケーラブルビデオコーディング（ＳＶＣ：Scalable Video Coding）拡張と、マルチビュービデオコーディング（ＭＶＣ：Multiview Video Coding）拡張と、ＭＶＣベース３次元ビデオ（３ＤＶ：three-dimensional video）拡張とを含む、国際標準化機構（ＩＳＯ）／ＩＥＣ ＭＰＥＧ−４ ＶｉｓｕａｌおよびＩＴＵ−Ｔ Ｈ．２６４（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られる）などのビデオ圧縮規格に従って動作する。いくつかの事例では、Ｈ．２６４／ＡＶＣのＭＶＣベース３ＤＶ拡張に準拠するどんなビットストリームも、Ｈ．２６４／ＡＶＣのＭＶＣ拡張に準拠するサブビットストリームを常に含んでいる。さらに、ビデオエンコーダ２０およびビデオデコーダ３０は、現在開発中であるＨ．２６４／ＡＶＣへの３ＤＶコーディング拡張（すなわち、ＡＶＣベース３ＤＶ）に従って動作し得る。他の例では、ビデオエンコーダ２０およびビデオデコーダ３０は、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ：International Telecommunication Union Telecommunication Standardization Sector）Ｈ．２６１、国際標準化機構（ＩＳＯ）／国際電気標準会議（ＩＥＣ：International Electrotechnical Commission）ムービングピクチャエキスパートグループ（ＭＰＥＧ：Moving Picture Experts Group）−１ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、およびＩＴＵ−Ｔ Ｈ．２６４、ＩＳＯ／ＩＥＣ Ｖｉｓｕａｌに従って動作し得る。

[0050]他の例では、ビデオエンコーダ２０およびビデオデコーダ３０は、ＩＴＵ−Ｔビデオコーディングエキスパートグループ（ＶＣＥＧ：Video Coding Experts Group）とＩＳＯ／ＩＥＣモーションピクチャエキスパーツグループ（ＭＰＥＧ）とのジョイントコラボレーションチームオンビデオコーディング（ＪＣＴ−ＶＣ：Joint Collaboration Team on Video Coding）によって開発された高効率ビデオコーディング（ＨＥＶＣ）に従って動作し得る。「ＨＥＶＣワーキングドラフト８」と呼ばれるＨＥＶＣ規格のドラフトは、２０１３年９月１７日現在、http://phenix.int-evry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zipから入手可能である、ブロスら、「High Efficiency Video Coding (HEVC) text specification draft 8」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのジョイントコラボレーティブチームオンビデオコーディング（ＪＣＴ−ＶＣ）、第１０回会合、Ｓｔｏｃｋｈｏｌｍ、Ｓｗｅｄｅｎ、２０１２年７月に記載されている。さらに、ビデオエンコーダ２０およびビデオデコーダ３０は、スケーラブルビデオコーディング、マルチビューコーディング、および現在開発中であるＨＥＶＣのための３ＤＶ拡張に従って動作し得る。ＨＥＶＣのスケーラブルビデオコーディング拡張はＳＨＥＶＣと呼ばれることがある。ＨＥＶＣの３ＤＶ拡張はＨＥＶＣベース３ＤＶまたは３Ｄ−ＨＥＶＣと呼ばれることがある。

[0051]ＨＥＶＣおよび他のビデオコーディング仕様では、ビデオシーケンスは一般に一連のピクチャを含む。ピクチャは「フレーム」と呼ばれることもある。ピクチャは、Ｓ_L、Ｓ_Cb、およびＳ_Crと示される３つのサンプルアレイを含み得る。Ｓ_Lは、ルーマサンプルの２次元アレイ（すなわち、ブロック）である。Ｓ_Cbは、Ｃｂクロミナンスサンプルの２次元アレイである。Ｓ_Crは、Ｃｒクロミナンスサンプルの２次元アレイである。クロミナンスサンプルは、本明細書では「クロマ」サンプルと呼ばれることもある。他の事例では、ピクチャは、モノクロームであり得、ルーマサンプルのアレイのみを含み得る。

[0052]ピクチャの符号化表現を生成するために、ビデオエンコーダ２０はコーディングツリーユニット（ＣＴＵ）のセットを生成し得る。ＣＴＵの各々は、ルーマサンプルのコーディングツリーブロックと、クロマサンプルの２つの対応するコーディングツリーブロックと、それらのコーディングツリーブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。３つの別個のカラープレーン（color plane）を有する１つまたは複数のモノクロームピクチャでは、ＣＴＵは、単一のコーディングツリーブロックと、そのコーディングツリーブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。コーディングツリーブロックはサンプルのＮ×Ｎブロックであり得る。ＣＴＵは「ツリーブロック」または「最大コーディングユニット」（ＬＣＵ：largest coding unit）と呼ばれることもある。ＨＥＶＣのＣＴＵは、概して、Ｈ．２６４／ＡＶＣなどの他の規格のマクロブロックに類似し得る。しかしながら、ＣＴＵは、必ずしも特定のサイズに限定されるとは限らず、１つまたは複数のコーディングユニット（ＣＵ：coding unit）を含み得る。スライスは、ラスタ走査順序で連続的に順序付けられた整数個のＣＴＵを含み得る。

[0053]コード化ＣＴＵを生成するために、ビデオエンコーダ２０は、ＣＴＵのコーディングツリーブロックに対して４分木区分を再帰的に実行して、コーディングツリーブロックをコーディングブロックに分割し得、したがって「コーディングツリーユニット」という名称がある。コーディングブロックはサンプルのＮ×Ｎブロックである。ＣＵは、ルーマサンプルアレイとＣｂサンプルアレイとＣｒサンプルアレイとを有するピクチャのルーマサンプルのコーディングブロックと、そのピクチャのクロマサンプルの２つの対応するコーディングブロックと、それらのコーディングブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。３つの別個のカラープレーンを有する１つまたは複数のモノクロームピクチャでは、ＣＵは、単一のコーディングブロックと、そのコーディングブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。

[0054]ビデオエンコーダ２０は、ＣＵのコーディングブロックを１つまたは複数の予測ブロックに区分し得る。予測ブロックは、同じ予測がそれに適用されるサンプルの矩形（すなわち、正方形または非正方形）ブロックである。ＣＵの予測ユニット（ＰＵ：prediction unit）は、ルーマサンプルの予測ブロックと、クロマサンプルの２つの対応する予測ブロックと、それらの予測ブロックを予測するために使用されるシンタックス構造とを備え得る。３つの別個のカラープレーンを有する１つまたは複数のモノクロームピクチャでは、ＰＵは、単一の予測ブロックと、その予測ブロックを予測するために使用されるシンタックス構造とを備え得る。ビデオエンコーダ２０は、ＣＵの各ＰＵのルーマ予測ブロック、Ｃｂ予測ブロック、およびＣｒ予測ブロックのための予測ルーマブロック、予測Ｃｂブロック、および予測Ｃｒブロックを生成し得る。

[0055]ビデオエンコーダ２０は、イントラ予測またはインター予測を使用して、ＰＵのための予測ブロックを生成し得る。ビデオエンコーダ２０がイントラ予測を使用してＰＵの予測ブロックを生成する場合、ビデオエンコーダ２０は、ＰＵに関連付けられたピクチャの復号サンプルに基づいてＰＵの予測ブロックを生成し得る。本開示では、「に基づいて」という句は、「に少なくとも部分的に基づいて」を示し得る。ビデオエンコーダ２０がインター予測を使用してＰＵの予測ブロックを生成する場合、ビデオエンコーダ２０は、ＰＵに関連付けられたピクチャ以外の１つまたは複数のピクチャの復号サンプルに基づいて、ＰＵの予測ブロックを生成し得る。

[0056]インター予測をサポートするために、ビデオエンコーダ２０は、１つまたは複数の参照ピクチャリストを生成し得る。これらの参照ピクチャリストはＲｅｆＰｉｃＬｉｓｔ０およびＲｅｆＰｉｃＬｉｓｔ１と呼ばれることがある。いくつかの例では、ビデオエンコーダ２０は、異なるピクチャまたはピクチャの異なるスライスのために異なる参照ピクチャリストを生成し得る。したがって、異なるピクチャおよび／またはスライスの異なるＰＵは、異なるバージョンのＲｅｆＰｉｃＬｉｓｔ０とＲｅｆＰｉｃＬｉｓｔ１とに関連付けられ得る。

[0057]さらに、ビデオエンコーダ２０がインター予測を使用してＰＵの予測ブロックを生成するとき、ビデオエンコーダ２０は、ＰＵの動き情報をシグナリングし得る。動き情報は、ＰＵの参照インデックスと、ＰＵの動きベクトルとを含み得る。ＰＵの参照インデックスは、ＰＵに関連付けられた参照ピクチャリストのうちの１つ内の、参照ピクチャの位置を示し得る。ＰＵの動きベクトルは、ＰＵの予測ブロックと、参照ピクチャ中の参照ロケーションとの間の空間変位を示し得る。ビデオエンコーダ２０は、参照ロケーションに関連付けられた参照ピクチャのサンプルを使用してＰＵの予測ブロックを生成し得る。ＰＵは２つの参照ピクチャに関連付けられ得るので、ＰＵは、２つの参照インデックスと２つの動きベクトルとを有し得る。したがって、ＰＵは、ＲｅｆＰｉｃＬｉｓｔ０参照インデックスと、ＲｅｆＰｉｃＬｉｓｔ１参照インデックスとを有し得る。ＰＵのＲｅｆＰｉｃＬｉｓｔ０参照インデックスは、ＲｅｆＰｉｃＬｉｓｔ０のＰＵのバージョンにおける参照ピクチャを示す。ＰＵのＲｅｆＰｉｃＬｉｓｔ１参照インデックスは、ＲｅｆＰｉｃＬｉｓｔ１のＰＵのバージョンにおける参照ピクチャを示す。同様に、ＰＵは、ＲｅｆＰｉｃＬｉｓｔ０動きベクトルと、ＲｅｆＰｉｃＬｉｓｔ１動きベクトルとを有し得る。ＰＵのＲｅｆＰｉｃＬｉｓｔ０動きベクトルは、ＲｅｆＰｉｃＬｉｓｔ０のＰＵのバージョンにおける参照ピクチャ中の参照ロケーションを示し得る。ＰＵのＲｅｆＰｉｃＬｉｓｔ１動きベクトルは、ＲｅｆＰｉｃＬｉｓｔ１のＰＵのバージョンにおける参照ピクチャ中の参照ロケーションを示し得る。

[0058]ビデオエンコーダ２０は、ビットストリーム中でＰＵの参照インデックスと動きベクトルとをシグナリングし得る。言い換えれば、ビデオエンコーダ２０は、ビットストリーム中に、ＰＵの参照インデックスと動きベクトルとを示すデータを含め得る。ビデオデコーダ３０は、ＲｅｆＰｉｃＬｉｓｔ０および／またはＲｅｆＰｉｃＬｉｓｔ１のＰＵのバージョンを再構成し得、ＰＵの参照インデックスと動きベクトルとを使用してＰＵのための１つまたは複数の予測ブロックを判断し得る。ビデオデコーダ３０は、サンプルを復号するために、残差データとともに、ＰＵの予測ブロックを使用し得る。

[0059]ビデオエンコーダ２０がＣＵの１つまたは複数のＰＵのための予測ルーマブロックを生成した後に、ビデオエンコーダ２０は、ＣＵのためのルーマ残差ブロックを生成し得る。ＣＵのルーマ残差ブロック中の各サンプルは、ＣＵの予測ルーマブロックのうちの１つ中のルーマサンプルと、ＣＵの元のルーマコーディングブロック中の対応するサンプルとの間の差分を示す。さらに、ビデオエンコーダ２０は、ＣＵのためのＣｂ残差ブロックを生成し得る。ＣＵのＣｂ残差ブロック中の各サンプルは、ＣＵの予測Ｃｂブロックのうちの１つ中のＣｂサンプルと、ＣＵの元のＣｂコーディングブロック中の対応するサンプルとの間の差分を示し得る。ビデオエンコーダ２０はまた、ＣＵのためのＣｒ残差ブロックを生成し得る。ＣＵのＣｒ残差ブロック中の各サンプルは、ＣＵの予測Ｃｒブロックのうちの１つ中のＣｒサンプルと、ＣＵの元のＣｒコーディングブロック中の対応するサンプルとの間の差分を示し得る。

[0060]さらに、ビデオエンコーダ２０は、４分木区分を使用して、ＣＵのルーマ残差ブロック、Ｃｂ残差ブロック、およびＣｒ残差ブロックを１つまたは複数のルーマ変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに分解し得る。変換ブロックは、同じ変換が適用されるサンプルの矩形（たとえば、正方形または非正方形）ブロックであり得る。ＣＵの変換ユニット（ＴＵ：transform unit）は、ルーマサンプルの変換ブロックと、クロマサンプルの２つの対応する変換ブロックと、それらの変換ブロックサンプルを変換するために使用されるシンタックス構造とを備え得る。したがって、ＣＵの各ＴＵは、ルーマ変換ブロックと、Ｃｂ変換ブロックと、Ｃｒ変換ブロックとに関連付けられ得る。ＴＵに関連付けられたルーマ変換ブロックはＣＵのルーマ残差ブロックのサブブロックであり得る。Ｃｂ変換ブロックはＣＵのＣｂ残差ブロックのサブブロックであり得る。Ｃｒ変換ブロックはＣＵのＣｒ残差ブロックのサブブロックであり得る。３つの別個のカラープレーンを有する１つまたは複数のモノクロームピクチャでは、ＴＵは、単一の変換ブロックと、その変換ブロックのサンプルを変換するために使用されるシンタックス構造とを備え得る。

[0061]ビデオエンコーダ２０は、ＴＵのルーマ変換ブロックに１つまたは複数の変換を適用してＴＵのルーマ係数ブロックを生成し得る。係数ブロックは変換係数の２次元アレイであり得る。変換係数はスカラー量であり得る。ビデオエンコーダ２０は、ＴＵのＣｂ変換ブロックに１つまたは複数の変換を適用してＴＵのＣｂ係数ブロックを生成し得る。ビデオエンコーダ２０は、ＴＵのＣｒ変換ブロックに１つまたは複数の変換を適用してＴＵのＣｒ係数ブロックを生成し得る。

[0062]係数ブロック（たとえば、ルーマ係数ブロック、Ｃｂ係数ブロックまたはＣｒ係数ブロック）を生成した後に、ビデオエンコーダ２０は、係数ブロックを量子化し得る。量子化は、概して、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を実現するプロセスを指す。ビデオエンコーダ２０が係数ブロックを量子化した後に、ビデオエンコーダ２０は、量子化変換係数を示すシンタックス要素をエントロピー符号化し得る。たとえば、ビデオエンコーダ２０は、量子化変換係数を示すシンタックス要素に対してコンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ：Context-Adaptive Binary Arithmetic Coding）を実行し得る。

[0063]ビデオエンコーダ２０は、コード化ピクチャと関連付けられたデータとの表現を形成するビットのシーケンスを含むビットストリームを出力し得る。「ビットストリーム」という用語は、ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットストリーム（たとえば、ＮＡＬユニットのシーケンス）、またはバイトストリーム（たとえば、ＨＥＶＣ規格のアネックスＢによって指定されたスタートコードプレフィックスとＮＡＬユニットとを含んでいるＮＡＬユニットストリームのカプセル化）のいずれかを指すために使用される総称であり得る。ＮＡＬユニットは、ＮＡＬユニット中のデータのタイプの指示と、必要に応じてエミュレーション防止ビットが点在するローバイトシーケンスペイロード（ＲＢＳＰ：raw byte sequence payload）の形態でそのデータを含んでいるバイトとを含んでいるシンタックス構造である。ＮＡＬユニットの各々は、ＮＡＬユニットヘッダを含み得、ＲＢＳＰをカプセル化し得る。ＮＡＬユニットヘッダは、ＮＡＬユニットタイプコードを示すシンタックス要素を含み得る。ＮＡＬユニットのＮＡＬユニットヘッダによって指定されたＮＡＬユニットタイプコードは、ＮＡＬユニットのタイプを示す。ＲＢＳＰは、ＮＡＬユニット内にカプセル化された整数個のバイトを含んでいるシンタックス構造であり得る。いくつかの事例では、ＲＢＳＰはゼロビットを含む。

[0064]異なるタイプのＮＡＬユニットは、異なるタイプのＲＢＳＰをカプセル化し得る。たとえば、第１のタイプのＮＡＬユニットはピクチャパラメータセット（ＰＰＳ：picture parameter set）のためのＲＢＳＰをカプセル化し得、第２のタイプのＮＡＬユニットはコード化スライスのためのＲＢＳＰをカプセル化し得、第３のタイプのＮＡＬユニットはＳＥＩのためのＲＢＳＰをカプセル化し得、以下同様である。（パラメータセットおよびＳＥＩメッセージのためのＲＢＳＰとは対照的に）ビデオコーディングデータのためのＲＢＳＰをカプセル化するＮＡＬユニットは、ビデオコーディングレイヤ（ＶＣＬ：video coding layer）ＮＡＬユニットと呼ばれることがある。パラメータセット（たとえば、ビデオパラメータセット（ＶＰＳ：video parameter set）、シーケンスパラメータセット（ＳＰＳ）、ＰＰＳなど）を含んでいるＮＡＬユニットはパラメータセットＮＡＬユニットと呼ばれることがある。

[0065]ビデオデコーダ３０は、ビデオエンコーダ２０によって生成されたビットストリームを受信し得る。さらに、ビデオデコーダ３０は、ビットストリームをパースして、ビットストリームからシンタックス要素を取得し得る。ビデオデコーダ３０は、ビットストリームから取得されたシンタックス要素に少なくとも部分的に基づいてビデオデータのピクチャを再構成し得る。ビデオデータを再構成するためのプロセスは、概して、ビデオエンコーダ２０によって実行されるプロセスの逆であり得る。たとえば、ビデオデコーダ３０は、ＰＵの動きベクトルを使用して現在ＣＵのＰＵのための予測ブロックを判断し得る。さらに、ビデオデコーダ３０は、現在ＣＵのＴＵに関連付けられた係数ブロックを逆量子化し得る。ビデオデコーダ３０は、現在ＣＵのＴＵに関連付けられた変換ブロックを再構成するために係数ブロックに対して逆変換を実行し得る。ビデオデコーダ３０は、現在ＣＵのＰＵのための予測ブロックのサンプルを現在ＣＵのＴＵの変換ブロックの対応するサンプルに加算することによって、現在ＣＵのコーディングブロックを再構成し得る。ピクチャの各ＣＵのためのコーディングブロックを再構成することによって、ビデオデコーダ３０はピクチャを再構成し得る。

[0066]マルチビューコーディングでは、異なる視点からの同じシーンの複数のビューがあり得る。マルチビューコーディングのコンテキストでは、同じ時間インスタンスに対応するピクチャのセットを指すために「アクセスユニット」という用語が使用され得る。したがって、ビデオデータは、時間とともに生じる一連のアクセスユニットとして概念化され得る。「ビューコンポーネント」は、単一のアクセスユニット中のビューのコード化表現であり得る。本開示では、「ビュー」は、同じビュー識別子に関連付けられたビューコンポーネントのシーケンスを指すことがある。いくつかの例では、ビューコンポーネントは、テクスチャビューコンポーネント（すなわち、テクスチャピクチャ）または深度ビューコンポーネント（すなわち、深度ピクチャ）であり得る。

[0067]マルチビューコーディングはビュー間予測をサポートする。ビュー間予測は、ＨＥＶＣにおいて使用されるインター予測と同様であり、同じシンタックス要素を使用し得る。ただし、ビデオコーダが（ＰＵなどの）現在ビデオユニットに対してビュー間予測を実行するとき、ビデオコーダは、参照ピクチャとして、現在ビデオユニットと同じアクセスユニット中にあるが異なるビュー中にあるピクチャを使用し得る。対照的に、従来のインター予測は、参照ピクチャとして異なるアクセスユニット中のピクチャのみを使用する。

[0068]マルチビューコーディングでは、ビデオデコーダ（たとえば、ビデオデコーダ３０）が、あるビュー中のピクチャを他のビュー中のピクチャと無関係に復号することができる場合、そのビューは「ベースビュー」と呼ばれることがある。非ベースビュー中のピクチャをコーディングするとき、ピクチャが、異なるビュー中にあるがビデオコーダが現在コーディング中のピクチャと同じ時間インスタンス（すなわち、アクセスユニット）内にある場合、（ビデオエンコーダ２０またはビデオデコーダ３０などの）ビデオコーダは、参照ピクチャリスト中にピクチャを追加し得る。他のインター予測参照ピクチャと同様に、ビデオコーダは、参照ピクチャリストの任意の位置にビュー間予測参照ピクチャを挿入し得る。

[0069]たとえば、ＮＡＬユニットは、ヘッダ（すなわち、ＮＡＬユニットヘッダ）とペイロード（たとえば、ＲＢＳＰ）とを含み得る。ＮＡＬユニットヘッダはｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓシンタックス要素を含み得る。異なる値を指定するｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔシンタックス要素を有するＮＡＬユニットは、ビットストリームの異なる「レイヤ」に属する。したがって、マルチビューコーディング、３ＤＶ、またはＳＶＣでは、ＮＡＬユニットのｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓシンタックス要素はＮＡＬユニットのレイヤ識別子（すなわち、レイヤＩＤ）を指定する。いくつかの例では、ＮＡＬユニットがマルチビューコーディング、３ＤＶコーディング、またはＳＶＣにおけるベースレイヤに関係する場合、ＮＡＬユニットのｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓシンタックス要素は０に等しい。ビットストリームのベースレイヤ中のデータは、ビットストリームの他のレイヤ中のデータと無関係に復号され得る。ＮＡＬユニットがマルチビューコーディング、３ＤＶ、またはＳＶＣにおけるベースレイヤに関係しない場合、ｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓシンタックス要素は非０値を有し得る。マルチビューコーディングおよび３ＤＶコーディングでは、ビットストリームの異なるレイヤは異なるビューに対応し得る。ＳＶＣでは、ベースレイヤ以外のレイヤは、「エンハンスメントレイヤ」と呼ばれることがあり、ビットストリームから復号されるビデオデータの視覚的品質を向上させる情報を提供し得る。

[0070]さらに、レイヤ内のいくつかのピクチャは、同じレイヤ内の他のピクチャと無関係に復号され得る。したがって、レイヤのいくつかのピクチャのデータをカプセル化しているＮＡＬユニットは、そのレイヤ中の他のピクチャの復号可能性に影響を及ぼすことなしにビットストリームから削除され得る。そのようなピクチャのデータをカプセル化しているＮＡＬユニットを削除すると、ビットストリームのフレームレートが低減し得る。レイヤ内の他のピクチャと無関係に復号され得るレイヤ内のピクチャのサブセットを、本明細書では「サブレイヤ」または「時間サブレイヤ」と呼ぶことがある。

[0071]ＮＡＬユニットはｔｅｍｐｏｒａｌ＿ｉｄシンタックス要素を含み得る。ＮＡＬユニットのｔｅｍｐｏｒａｌ＿ｉｄシンタックス要素はＮＡＬユニットの時間識別子を指定する。ＮＡＬユニットの時間識別子は、そのＮＡＬユニットがそれに関連付けられるサブレイヤを識別する。したがって、ビットストリームの各サブレイヤは異なる時間識別子に関連付けられ得る。第１のＮＡＬユニットの時間識別子が第２のＮＡＬユニットの時間識別子よりも小さい場合、第１のＮＡＬユニットによってカプセル化されたデータは、第２のＮＡＬユニットによってカプセル化されたデータと無関係に復号され得る。

[0072]Ｈ．２６４／ＡＶＣおよびＨＥＶＣでは、ＳＰＳは、ＣＶＳのすべてのスライスに適用される情報を含んでいることがある。ＨＥＶＣでは、ＣＶＳは、瞬時復号リフレッシュ（ＩＤＲ：instantaneous decoding refresh）ピクチャ、あるいは切断リンクアクセス（ＢＬＡ：broken link access）ピクチャ、あるいは、ＩＤＲまたはＢＬＡピクチャでないすべての後続のピクチャを含むビットストリーム中の第１のピクチャであるクリーンランダムアクセス（ＣＲＡ：clean random access）ピクチャから開始し得る。すなわち、ＨＥＶＣでは、ＣＶＳは、復号順序で、ビットストリーム中の第１のアクセスユニットであるＣＲＡアクセスユニットと、ＩＤＲアクセスユニットまたはＢＬＡアクセスユニットと、それに続いて、後続のＩＤＲまたはＢＬＡアクセスユニットを含まないがそれまでのすべての後続のアクセスユニットを含む、０個以上の非ＩＤＲおよび非ＢＬＡアクセスユニットとからなり得る、アクセスユニットのシーケンスを備え得る。

[0073]ＨＥＶＣおよび他のビデオコーディング規格は、ビットストリーム中へのランダムアクセスを可能にするための機構を与える。ランダムアクセスは、ビットストリーム中の第１のコード化ピクチャでないコード化ピクチャから始まるビットストリームの復号を指す。ビットストリームへのランダムアクセスは、ブロードキャスティングおよびストリーミングなど、様々なビデオ適用例において必要とされ得る。ビットストリームへのランダムアクセスは、ユーザが、任意の時間にプログラムに同調すること、異なるチャネル間でスイッチングすること、ビデオの特定の部分にジャンプすること、またはストリーム適応（たとえば、ビットレートの適応、フレームレートの適応、空間解像度の適応など）のために異なるビットストリームにスイッチングすることを可能にし得る。一定の間隔でのビットストリーム中へのランダムアクセスポイント（ＲＡＰ：random access point）ピクチャの挿入はランダムアクセスを可能にし得る。ＲＡＰピクチャの例示的なタイプとしては、ＩＤＲピクチャ、ＣＲＡピクチャ、およびＢＬＡピクチャがある。したがって、ＩＤＲピクチャ、ＣＲＡピクチャおよびＢＬＡピクチャはランダムアクセスポイント（ＲＡＰ）ピクチャと総称される。

[0074]ＩＤＲピクチャはＩスライス（すなわち、イントラ予測のみが使用されるスライス）のみを含んでいる。ＩＤＲピクチャは、復号順序でビットストリーム中の第１のピクチャであり得るか、またはビットストリーム中の後のほうに現れ得る。各ＩＤＲピクチャは、復号順序でＣＶＳの第１のピクチャである。ＩＤＲピクチャは、ＨＥＶＣおよびＨ．２６４／ＡＶＣにおいて指定されているように、ランダムアクセスのために使用され得る。しかしながら、復号順序でＩＤＲピクチャに後続するピクチャは、参照としてＩＤＲピクチャより前に復号されるピクチャを使用することができない。したがって、ランダムアクセスのためにＩＤＲピクチャに依拠するビットストリームは、追加のタイプのランダムアクセスピクチャを使用するビットストリームよりも著しく低いコーディング効率を有し得る。ＩＤＲアクセスユニットは、ＩＤＲピクチャを含んでいるアクセスユニットである。

[0075]復号順序でＣＲＡピクチャに後続するが出力順序でＣＲＡピクチャに先行するピクチャが、参照のためにＣＲＡピクチャの前に復号されるピクチャを使用することを可能にするために、ＣＲＡピクチャの概念はＨＥＶＣに導入された。復号順序でＣＲＡピクチャに後続するが出力順序でＣＲＡピクチャに先行するピクチャは、ＣＲＡピクチャに関連付けられたリーディングピクチャ（またはＣＲＡピクチャのリーディングピクチャ）と呼ばれる。すなわち、コーディング効率を改善するために、ＣＲＡピクチャの概念は、復号順序でＣＲＡピクチャに後続するが出力順序でＣＲＡピクチャに先行するピクチャが、参照としてＣＲＡピクチャの前に復号されるピクチャを使用することを可能にするために、ＨＥＶＣに導入された。ＣＲＡアクセスユニットは、コード化ピクチャがＣＲＡピクチャであるアクセスユニットである。

[0076]ＣＲＡピクチャのリーディングピクチャは、復号順序でそのＣＲＡピクチャの前に生じるＩＤＲピクチャまたはＣＲＡピクチャから復号が開始する場合、正しく復号可能である。しかしながら、ＣＲＡピクチャのリーディングピクチャは、そのＣＲＡピクチャからのランダムアクセスが行われるとき、復号不能であり得る。したがって、ビデオデコーダは、一般に、ランダムアクセス復号中にＣＲＡピクチャのリーディングピクチャを復号する。復号がどこで始まるかによっては利用可能でないことがある参照ピクチャからの誤り伝搬を防止するために、復号順序と出力順序の両方でＣＲＡピクチャに後続するいかなるピクチャも、復号順序または出力順序のいずれかで（リーディングピクチャを含む）ＣＲＡピクチャに先行するどんなピクチャも参照として使用しないことがある。

[0077]切断リンクアクセス（ＢＬＡ）ピクチャの概念は、ＣＲＡピクチャの導入の後にＨＥＶＣに導入され、ＣＲＡピクチャの概念に基づく。ＢＬＡピクチャは、一般にＣＲＡピクチャの位置におけるビットストリームスプライシングから発生し、スプライスドビットストリーム中で、スプライシングポイントＣＲＡピクチャはＢＬＡピクチャに変更される。ＲＡＰピクチャを含んでいるアクセスユニットは、本明細書ではＲＡＰアクセスユニットと呼ばれることがある。ＢＬＡアクセスユニットは、ＢＬＡピクチャを含んでいるアクセスユニットである。

[0078]ＢＬＡピクチャとＣＲＡピクチャとの間の１つの差異は以下の通りである。ＣＲＡピクチャの場合、関連付けられたリーディングピクチャは、復号が復号順序でそのＣＲＡピクチャの前にＲＡＰピクチャから開始する場合、正しく復号可能である。しかしながら、ＣＲＡピクチャに関連付けられたリーディングピクチャは、そのＣＲＡピクチャからのランダムアクセスが行われるとき（すなわち、復号がＣＲＡピクチャから開始するとき、または言い換えれば、ＣＲＡピクチャがビットストリーム中の第１のピクチャであるとき）、正しく復号可能でないことがある。対照的に、復号が復号順序でＢＬＡピクチャの前にＲＡＰピクチャから開始するときでも、ＢＬＡピクチャに関連付けられたリーディングピクチャが復号可能であるシナリオはないことがある。

[0079]特定のＣＲＡピクチャまたは特定のＢＬＡピクチャに関連付けられたリーディングピクチャのいくつかは、その特定のＣＲＡピクチャまたは特定のＢＬＡピクチャがビットストリーム中の第１のピクチャであるときでも、正しく復号可能であり得る。これらのリーディングピクチャは復号可能リーディングピクチャ（ＤＬＰ：decodable leading picture）と呼ばれることがある。他のリーディングピクチャは復号不能リーディングピクチャ（ＮＬＰ：non-decodable leading picture）と呼ばれることがある。また、ＨＥＶＣワーキングドラフト８では、ＮＬＰを廃棄タグ付き（ＴＦＤ：tagged for discard）ピクチャと呼ぶことがある。

[0080]ＶＰＳは、０個以上のＣＶＳ全体に適用されるシンタックス要素を備えるシンタックス構造である。ＳＰＳは、０個以上のＣＶＳ全体に適用されるシンタックス要素を含んでいるシンタックス構造である。ＳＰＳは、ＳＰＳがアクティブであるとき、アクティブであるＶＰＳを識別するシンタックス要素を含み得る。したがって、ＶＰＳのシンタックス要素は、ＳＰＳのシンタックス要素よりも一般的に適用可能であり得る。

[0081]パラメータセット（たとえば、ＶＰＳ、ＳＰＳ、ＰＰＳなど）は、スライスのスライスヘッダから直接または間接的に参照される識別情報を含んでいることがある。参照プロセスは「アクティブ化」として知られる。したがって、ビデオデコーダ３０が特定のスライスを復号しているとき、その特定のスライスのスライスヘッダ中のシンタックス要素によって直接または間接的に参照されるパラメータセットは「アクティブ化される」と言われる。パラメータセットタイプに応じて、アクティブ化は、ピクチャごとにまたはシーケンスごとに行われ得る。たとえば、スライスのスライスヘッダは、ＰＰＳを識別するシンタックス要素を含み得る。したがって、ビデオコーダがスライスをコーディングしたとき、ＰＰＳはアクティブ化され得る。さらに、ＰＰＳは、ＳＰＳを識別するシンタックス要素を含み得る。したがって、ＳＰＳを識別するＰＰＳがアクティブ化されたとき、ＳＰＳはアクティブ化され得る。ＳＰＳは、ＶＰＳを識別するシンタックス要素を含み得る。したがって、ＶＰＳを識別するＳＰＳがアクティブ化されたとき、ＶＰＳはアクティブ化される。

[0082]ＨＥＶＣおよび他のビデオコーディング規格は、プロファイル、ティア、およびレベルを指定する。プロファイル、ティア、およびレベルは、ビットストリームに対する制限を指定し、したがって、ビットストリームを復号するために必要とされる能力に対する限界を指定する。プロファイル、ティア、およびレベルはまた、個々のデコーダ実装間のインターオペラビリティポイントを示すために使用され得る。各プロファイルは、そのプロファイルに準拠するすべてのビデオデコーダによってサポートされるアルゴリズム特徴および限界のサブセットを指定し得る。ビデオエンコーダは、プロファイル中でサポートされるすべての特徴を利用するように要求されない。ティアの各レベルは、シンタックス要素が有し得る値に対する限界のセットを指定し得る。すべてのプロファイルでティアおよびレベル定義の同じセットが使用され得るが、個々の実装形態は、サポートされるプロファイルごとに異なるティアをサポートし、ティア内で異なるレベルをサポートし得る。所与のプロファイルについて、ティアのレベルは、概して、特定のデコーダ処理負荷およびメモリ能力に対応し得る。ビデオデコーダの能力は、特定のプロファイル、ティア、およびレベルの制約に準拠するビデオストリームを復号する能力に関して指定され得る。そのようなプロファイルごとに、そのプロファイルのためにサポートされるティアおよびレベルも表現され得る。いくつかのビデオデコーダは、特定のプロファイル、ティア、またはレベルを復号することが可能でないことがある。

[0083]ＨＥＶＣでは、プロファイル、ティア、およびレベルは、シンタックス構造ｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（ ）シンタックス構造によってシグナリングされ得る。ｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（ ）シンタックス構造はＶＰＳおよび／またはＳＰＳ中に含まれ得る。ｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（ ）シンタックス構造は、ｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｉｄｃシンタックス要素と、ｇｅｎｅｒａｌ＿ｔｉｅｒ＿ｆｌａｇシンタックス要素と、ｇｅｎｅｒａｌ＿ｌｅｖｅｌ＿ｉｄｃシンタックス要素とを含み得る。ｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｉｄｃシンタックス要素は、ＣＶＳが準拠するプロファイルを示し得る。ｇｅｎｅｒａｌ＿ｔｉｅｒ＿ｆｌａｇシンタックス要素は、ｇｅｎｅｒａｌ＿ｌｅｖｅｌ＿ｉｄｃシンタックス要素の解釈のためのティアコンテキストを示し得る。ｇｅｎｅｒａｌ＿ｌｅｖｅｌ＿ｉｄｃシンタックス要素は、ＣＶＳが準拠するレベルを示し得る。これらのシンタックス要素のための他の値は予約済みであり得る。

[0084]ビデオデコーダの能力は、プロファイル、ティア、およびレベルの制約に準拠するビデオストリームを復号する能力に関して指定され得る。そのようなプロファイルごとに、そのプロファイルのためにサポートされるティアおよびレベルも表現され得る。いくつかの例では、ビデオデコーダは、ＨＥＶＣにおいて指定された値の間のｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｉｄｃシンタックス要素の予約済み値が、指定されたプロファイル間の中間の能力を示すと推論しない。ただし、ビデオデコーダは、ＨＥＶＣにおいて指定された値の間のｇｅｎｅｒａｌ＿ｔｉｅｒ＿ｆｌａｇシンタックス要素の特定の値に関連付けられたｇｅｎｅｒａｌ＿ｌｅｖｅｌ＿ｉｄｃシンタックス要素の予約済み値が、ティアの指定されたレベル間の中間の能力を示すと推論し得る。

[0085]１つまたは複数のＨＥＶＣビットストリームは、特定のファイルフォーマットに準拠するファイルに記憶され得る。いくつかの例では、１つまたは複数のビデオデータビットストリーム（たとえば、ＨＥＶＣビットストリーム）は、ＩＳＯベースメディアファイルフォーマット（ＩＳＯＢＭＦＦ）に準拠するファイルに記憶され得る。ＩＳＯＢＭＦＦはＩＳＯ／ＩＥＣ１４４９６−１２と呼ばれることもある。ビデオデータビットストリームの記憶のための他の例示的なファイルフォーマットとしては、ＭＰＥＧ−４ファイルフォーマット（ＩＳＯ／ＩＥＣ１４４９６−１４）、第３世代パートナーシッププロジェクト（３ＧＰＰ：Third Generation Partnership Project）ファイルフォーマット（３ＧＰＰ ＴＳ２６．２４４）、およびＡＶＣファイルフォーマット（ＩＳＯ／ＩＥＣ１４４９６−１５）を含む、ＩＳＯＢＭＦＦから派生したファイルフォーマットがある。ＨＥＶＣビデオコンテンツの記憶のためのＡＶＣファイルフォーマットへの追補がＭＰＥＧによって開発中である。このＡＶＣファイルフォーマット追補はＨＥＶＣファイルフォーマットと呼ばれることがある。すなわち、ＨＥＶＣファイルフォーマットはＭＰＥＧによって開発されており、ＩＳＯ／ＩＥＣ１４４９６−１５の一部分になりつつある。

[0086]ＨＥＶＣファイルフォーマットに準拠するファイルは、論理構造と、時間構造と、物理構造とを有し得る。ファイルの論理構造は、時間並列トラックのセットを含んでいるムービーの論理構造であり得る。ファイルの時間構造は、トラックがサンプルのシーケンスを時間的に含んでいるということである。サンプルのシーケンスは、エディットリストによってムービーのタイムライン中にマッピングされ得る。ＨＥＶＣファイルフォーマットのコンテキストでは、「サンプル」は、単一のタイムスタンプに関連付けられたデータを備え得る。サンプルの例としては、ビデオの個々のフレーム、復号順序での一連のビデオフレーム、または復号順序でのオーディオの圧縮セクションがある。

[0087]物理的に、ＨＥＶＣファイルフォーマットに準拠するファイルは、ボックスと呼ばれる一連のオブジェクトを備え得る。「ボックス」は、一意のタイプ識別子と長さとによって定義されるオブジェクト指向ビルディングブロックであり得る。いくつかの事例では、ＨＥＶＣファイルフォーマットに準拠するファイル中のすべてのデータがボックス内に含まれていることがあり、ボックス中にないファイル中にはデータがないことがある。ＨＥＶＣファイルフォーマットに準拠するファイルは様々なタイプのボックスを含み得る。

[0088]たとえば、ＨＥＶＣファイルフォーマットに準拠するファイルは、ファイルタイプボックス、メディアデータボックス、ムービーボックス、ムービーフラグメントボックスなどを含み得る。この例では、ファイルタイプボックスは、ファイルタイプおよび互換性情報を含む。メディアデータボックスはサンプル（たとえば、コード化ピクチャ）を含んでいることがある。ムービーボックスは、ムービーに関するメタデータ（たとえば、サンプル間の論理関係およびタイミング関係、ならびにまた、サンプルのロケーションへのポインタ）を含んでいることがある。ムービーボックスはいくつかのタイプのサブボックスを含み得る。ムービーボックス中のサブボックスは、１つまたは複数のトラックボックスを含み得る。トラックボックスは、ムービーの個々のトラックに関する情報を含み得る。トラックボックスは、シングルトラックの全体的な情報を指定するトラックヘッダボックスを含み得る。さらに、トラックボックスは、メディア情報ボックスを含んでいるメディアボックスを含み得る。メディア情報ボックスは、トラック中のメディアサンプルのデータインデクシングを含んでいるサンプルテーブルボックスを含み得る。サンプルテーブルボックス中の情報は、時間的にサンプルの位置を特定するために使用され得、トラックのサンプルの各々について、サンプルのタイプ、サイズ、コンテナ、およびそのコンテナ中のオフセットを特定するために使用され得る。

[0089]さらに、サンプルテーブルボックスは、１つまたは複数のＳａｍｐｌｅＴｏＧｒｏｕｐボックスと、１つまたは複数のサンプルグループ記述ボックス（すなわち、ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックス）とを含み得る。ＳａｍｐｌｅＴｏＧｒｏｕｐボックスは、サンプルが属するサンプルグループの関連付けられた記述とともに、サンプルグループを判断するために使用され得る。言い換えれば、ＳａｍｐｌｅＴｏＧｒｏｕｐボックスは、サンプルが属するグループを示し得る。ＳａｍｐｌｅＴｏＧｒｏｕｐボックスは「ｓｂｇｐ」のボックスタイプを有し得る。ＳａｍｐｌｅＴｏＧｒｏｕｐボックスはグルーピングタイプ要素（たとえば、ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ）を含み得る。グルーピングタイプ要素は、サンプルグルーピングのタイプ（すなわち、サンプルグループを形成するために使用される基準）を識別する整数であり得る。さらに、ＳａｍｐｌｅＴｏＧｒｏｕｐボックスは１つまたは複数のエントリを含み得る。ＳａｍｐｌｅＴｏＧｒｏｕｐボックス中の各エントリは、トラック中の異なる重複しない一連の連続するサンプルに関連付けられ得る。各エントリは、サンプルカウント要素（たとえば、ｓａｍｐｌｅ＿ｃｏｕｎｔ）と、グループ記述インデックス要素（たとえば、ｇｒｏｕｐ＿ｄｅｓｃｒｉｐｔｉｏｎ＿ｉｎｄｅｘ）とを示し得る。エントリのサンプルカウント要素は、エントリに関連付けられたサンプルの数を示し得る。言い換えれば、エントリのサンプルカウント要素は、同じサンプルグループ記述子をもつ連続するサンプルの数を与える整数であり得る。グループ記述インデックス要素は、エントリに関連付けられたサンプルの記述を含んでいるＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスを識別し得る。複数のエントリのグループ記述インデックス要素は同じＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスを識別し得る。

[0090]いくつかの例では、以下の擬似コードがＳａｍｐｌｅＴｏＧｒｏｕｐボックスを記述する。

[0091]上記のように、サンプルテーブルボックスは０個以上のＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスを含み得る。ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスはサンプルグループの記述を含み得る。トラック中にサンプルのために２つ以上のサンプルグルーピングがある場合、複数のインスタンスのＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスがあり得る。ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスは「ｓｇｐｄ」のボックスタイプを有し得る。

[0092]いくつかの例では、以下の擬似コードがＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスを記述する。

[0093]上記の擬似コードに示されているように、ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスは、ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ要素、ｅｎｔｒｙ＿ｃｏｕｎｔ要素と、１つまたは複数のエントリとを含み得る。ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘのｇｒｏｕｐｉｎｇ＿ｔｙｐｅ要素は、ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスに関連付けられたＳａｍｐｌｅＴｏＧｒｏｕｐボックスを識別する整数であり得る。ｅｎｔｒｙ＿ｃｏｕｎｔ要素は、ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックス中のエントリの数を示し得る。ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックス中の各エントリは、ＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙオブジェクト、ＡｕｄｉｏＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙオブジェクト、またはＨｉｎｔＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙオブジェクトを含み得る。ＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙオブジェクトは、視覚的（たとえば、ビデオ）サンプルのグループに関する記述を与え得る。ＡｕｄｉｏＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙオブジェクトは、オーディオサンプルのグループに関する記述を与え得る。ＨｉｎｔＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙオブジェクトは、ヒントサンプルのグループに関する記述を与え得る。ＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙオブジェクトおよびＡｕｄｉｏＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙオブジェクトは、抽象的なＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＥｎｔｒｙクラスを拡張する抽象クラスに属し得る。

[0094]さらに、サンプルテーブルボックスは、ストリームについてのフォーマット記述を備えるサンプル記述ボックスを含み得る。特に、サンプル記述ボックスは、１つまたは複数のサンプルエントリのリストを含み得る。サンプルエントリの各々は、メディアタイプ（たとえば、ストリームを復号するために必要とされるデコーダのタイプ）の名前と、必要とされるそのデコーダの何らかのパラメータ化とを含んでいることがある。たとえば、ＨＥＶＣのコンテキストでは、サンプルエントリはＨＥＶＣデコーダ構成記録を含み得る。したがって、ＨＥＶＣデコーダ構成記録は、サンプルテーブルボックスのサブボックスであり得る。ＨＥＶＣデコーダ構成記録は、ＩＳＯ／ＩＥＣ２３００８−２（すなわち、ＨＥＶＣ）ビデオコンテンツのためのデコーダ構成情報を含み得る。たとえば、ＨＥＶＣデコーダ構成記録は、パラメータセット（たとえば、ＶＰＳ、ＳＰＳ、ＰＰＳなど）を含んでいる１つまたは複数のＮＡＬユニットを含み得る。

[0095]上記のように、ＨＥＶＣファイルフォーマットに準拠するファイルはムービーフラグメントボックスを含み得る。ムービーフラグメントボックスは、ムービーフラグメント（すなわち、ムービーのフラグメント）に関するメタデータを含んでいることがある。ムービーフラグメントボックスは、ムービーフラグメントのトラックのフラグメントに関する情報を含むトラックフラグメントボックスを含み得る。さらに、トラックフラグメントボックスは、ムービーフラグメントのサンプルが属するサンプルグループを示し得る１つまたは複数のＳａｍｐｌｅＴｏＧｒｏｕｐボックスを含み得る。

[0096]図１の例では、ビデオコーディングシステム１０はメディアアウェアネットワーク要素（ＭＡＮＥ）２７を含む。ＭＡＮＥ２７は、ソースデバイス１２によって生成されたビデオデータを受信し得、ビデオデータを宛先デバイス１４に転送し得る。ＭＡＮＥ２７（または他のタイプのデバイス）は、複数のサブレイヤで符号化されたＨＥＶＣビットストリームにビットストリームシニングを適用し得る。ビットストリーム中の任意のポイントにおいて、下位サブレイヤ中のピクチャのための復号プロセスは上位サブレイヤのＮＡＬユニットに依存しないので、下位サブレイヤ（すなわち、下位時間識別子に関連付けられたサブレイヤ）中のピクチャがまだ復号可能であるということに基づいて、ＭＡＮＥ２７は上位サブレイヤ（すなわち、上位時間識別子に関連付けられたサブレイヤ）のＮＡＬユニットを削除し始めることができる。ある値よりも高い時間識別子をもつすべてのＮＡＬユニットを削除するアクションは時間ダウンスイッチングと呼ばれることがある。時間ダウンスイッチングは常に可能であり得る。このようにして、時間サブレイヤスイッチングポイントという用語は、あるピクチャと同じサブレイヤ中にあり、復号順序でそのピクチャに先行する、他のピクチャへの依存性を有しないそのようなピクチャを指し得る。

[0097]「時間アップスイッチング」という用語は、そのポイントまで転送されていないあるサブレイヤのＮＡＬユニットを転送し始めるアクションを指し得る。それにスイッチされるレイヤ中のピクチャのいずれも、スイッチが実行されたビットストリーム中のポイントより前の同じサブレイヤ中のどのピクチャにも依存しない場合のみ、時間アップスイッチングは可能であり得る。

[0098]Ｈ．２６４／ＡＶＣビデオコーディング規格のスケーラブルビデオコーディング拡張（すなわち、Ｈ．２６４／ＳＶＣ）では、時間サブレイヤスイッチングポイントは、ＳＰＳ中のｔｅｍｐｏｒａｌ＿ｉｄ＿ｎｅｓｔｉｎｇ＿ｆｌａｇシンタックス要素を通して示され得る。たとえば、特定のＣＶＳに適用可能なＳＰＳ中のｔｅｍｐｏｒａｌ＿ｉｄ＿ｎｅｓｔｉｎｇ＿ｆｌａｇシンタックス要素が１に等しい場合、０よりも大きい時間識別子をもつＣＶＳ中のすべてのピクチャが時間レイヤスイッチングポイントであり得る。さらに、Ｈ．２６４／ＳＶＣでは、時間レベルスイッチングポイントＳＥＩメッセージが時間サブレイヤスイッチングポイントを示し得る。時間レベルスイッチングポイントＳＥＩメッセージが時間サブレイヤスイッチングポイントを示すいくつかの例では、時間レベルスイッチングポイントＳＥＩメッセージは、スイッチポイントにおいて時間レイヤＭ＋１にスイッチアップするために、時間レイヤＭがスイッチングポイントよりどれくらいの期間だけ前に復号されているべきであるかに関する情報を含んでいることがある。

[0099]ＨＥＶＣでは、Ｈ．２６４／ＳＶＣの場合のように、ＳＰＳはｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｎｅｓｔｉｎｇ＿ｆｌａｇシンタックス要素を含み得る。ｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｎｅｓｔｉｎｇ＿ｆｌａｇシンタックス要素が１に等しい値を有するとき、０よりも大きい時間識別子をもつすべてのピクチャがサブレイヤスイッチングポイントである。ＨＥＶＣでは、サブレイヤスイッチングポイントに関連付けられた２つのピクチャタイプ、すなわち、時間サブレイヤアクセス（ＴＳＡ）ピクチャタイプおよびステップワイズ時間サブレイヤアクセス（ＳＴＳＡ）ピクチャタイプがあり得る。ＴＳＡピクチャタイプおよびＳＴＳＡピクチャタイプは、時間サブレイヤスイッチングポイントを示すために使用され得る。

[0100]ＴＳＡピクチャと、復号順序でＴＳＡピクチャに後続するピクチャとは、インター予測参照のために、ＴＳＡピクチャの時間識別子に等しいかまたはそれよりも大きい時間識別子をもつピクチャを使用しない。ＴＳＡピクチャは、すぐ下位のサブレイヤから、ＴＳＡピクチャを含んでいるサブレイヤまたはいずれかの上位サブレイヤへの、ＴＳＡピクチャにおけるアップスイッチングを可能にする。いくつかの例では、すべてのＴＳＡピクチャが０よりも大きい時間識別子を有する。

[0101]ＳＴＳＡピクチャは、インター予測参照のためにＳＴＳＡピクチャと同じＴｅｍｐｏｒａｌＩｄをもつピクチャを使用しない。ＳＴＳＡピクチャと同じ時間識別子をもつ復号順序でＳＴＳＡピクチャに後続するピクチャは、インター予測参照のためにＳＴＳＡピクチャと同じ時間識別子をもつ復号順序でＳＴＳＡピクチャより前のピクチャを使用しない。ＳＴＳＡピクチャは、すぐ下位のサブレイヤから、ＳＴＳＡピクチャを含んでいるサブレイヤへの、ＳＴＳＡピクチャにおけるアップスイッチングを可能にする。いくつかの例では、すべてのＳＴＳＡピクチャが０よりも大きい時間識別子を有する。したがって、ＴＳＡピクチャとは対照的に、ＳＴＳＡピクチャは、必ずしも上位サブレイヤへのアップスイッチングを可能にするとは限らない。そうではなく、ＳＴＳＡピクチャは、ＳＴＳＡピクチャを含んでいるサブレイヤへのアップスイッチングのみを可能にし得る。

[0102]ＨＥＶＣコンテンツの記憶のためのファイルフォーマットの既存の設計に関するいくつかの問題または短所がある。たとえば、（ＳＴＳＡサンプルとも呼ばれる）ＳＴＳＡピクチャを含んでいるサンプルをシグナリングするためのコンパクトな方法がない。別の例では、イントラピクチャを含んでいるサンプルをシグナリングするための効率的な方法がないことがある。イントラピクチャを含んでいるサンプルのシグナリングは、イントラピクチャのみを使用するいくつかのタイプのトリックモード再生を可能にし得る。別の例では、いずれかのサンプルにおいていずれかの上位時間レイヤへの時間サブレイヤアップスイッチングが実行され得るかどうかをシグナリングするための効率的な方法がないことがある。

[0103]本開示の１つの例示的な技法によれば、サンプルグルーピングタイプが「ｓｔｓａ」であり得る、ステップワイズ時間サブレイヤアクセスサンプルグループと称するサンプルグループが、ＳＴＳＡサンプルをマークする。この機構を用いて、ビデオコーダまたは他のデバイスはＳＴＳＡサンプルを容易に識別し得る。

[0104]この例示的な技法によれば、デバイス（たとえば、ビデオエンコーダ２０または別のデバイス）は、コード化ピクチャを含んでいる複数のサンプルを備えるファイルを生成し得る。そのファイルは、その複数のサンプルの中からの１つまたは複数のサンプルを含んでいるサンプルグループを識別するボックス（たとえば、ＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘ）をも含み得る。ボックスは、サンプルグループ中の各サンプルがＳＴＳＡサンプルであることをさらに示す。いくつかの例では、デバイスはファイルを出力し得る。そのような例では、デバイスの出力インターフェース（たとえば、ネットワークインターフェース、ディスクまたはドライブインターフェース、メモリアクセスシステムなど）がファイルを出力し得る。

[0105]同様に、デバイス（たとえば、ビデオデコーダ３０または別のデバイス）は、サンプルグループを識別するボックス中のデータに基づいて、ボックスを含んでいるファイル中のサンプルの中からＳＴＳＡサンプルを識別し得る。いくつかの例では、デバイスの入力インターフェース（たとえば、ネットワークインターフェース、ディスクまたはドライブインターフェース、メモリアクセスシステムなど）が、サンプルグループを識別するボックスを含んでいるファイルを受信し得る。さらに、いくつかの例では、デバイスは、サンプルグループ中のＳＴＳＡサンプルのうちの１つにおいて時間アップスイッチングを実行し得る。さらに、いくつかの例では、ビデオデコーダ３０は、ＳＴＳＡサンプルのうちの１つまたは複数を復号し得る。

[0106]さらに、本開示のいくつかの例示的な技法によれば、サンプルグルーピングタイプが「ｉｐｓｇ」であり得る、イントラピクチャサンプルグループ（すなわち、イントラピクチャサンプルグルーピングエントリ）と称するサンプルグループが、（イントラサンプルも呼ばれる）イントラコード化ピクチャを含んでいるサンプルをマークするように設計される。したがって、ＨＥＶＣビデオトラックは、「ｉｐｓｇ」のｇｒｏｕｐｉｎｇ＿ｔｙｐｅ要素をもつＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘの０個のインスタンスまたは１つのインスタンスを含んでいることがある。この機構を用いて、イントラコード化ピクチャを含んでいるサンプルは、イントラピクチャサンプルグループのみを通して、容易に識別され得る。ビデオデコーダ３０は、イントラコード化ピクチャのうちの１つまたは複数を復号し得る。

[0107]代替的に、イントラピクチャサンプルグループは、非ＲＡＰイントラコード化ピクチャ、すなわち、ＨＥＶＣワーキングドラフト８において定義されているＲＡＰピクチャでないイントラピクチャを含んでいるサンプルのみをマークする。この機構を用いて、イントラコード化ピクチャを含んでいるサンプルは、ＲＡＰピクチャを含んでいるすべてのサンプルをマークする同期サンプルテーブルと、イントラピクチャサンプルグループの両方を通して、容易に識別され得る。このようにして、デバイス（たとえば、ビデオエンコーダ２０または別のデバイス）は、非ランダムアクセスポイント（非ＲＡＰ）イントラコード化ピクチャを備えるファイルを生成し得、ここにおいて、サンプルグループは、ファイル中で非ＲＡＰイントラコード化ピクチャをマークする。

[0108]さらに、本開示のいくつかの例示的な技法によれば、いずれかのサンプルにおいていずれかの上位時間レイヤへの時間サブレイヤアップスイッチングが実行され得るかどうかが、サンプルエントリ中で、たとえば、フラグを使用してシグナリングされる。いくつかの例では、ビデオエンコーダ２０または別のデバイスが、要素を含む記録（たとえば、ＨＥＶＣデコーダ構成記録）を生成し得る。第１の値を有する要素は、いずれかの上位時間レイヤへの時間サブレイヤアップスイッチングが、いずれかのサンプルにおいて実行され得ることを示す。第２の値を有する要素は、いずれかの上位時間レイヤへの時間サブレイヤアップスイッチングが、いずれかのサンプルにおいて実行され得ることが保証されないことを示す。さらに、いくつかの例では、要素が第１の値を有するとき、記録が適用されたストリームが復号されるときにアクティブにされるすべてのＳＰＳは、いずれかの上位時間レイヤへの時間サブレイヤアップスイッチングがいずれかのサンプルにおいて実行され得るかどうかを示すシンタックス要素を有する。

[0109]このようにして、デバイス（たとえば、ビデオエンコーダ２０または他のデバイス）は、ビデオデータのコード化ピクチャを含んでいるコード化サンプルを記憶するファイルを生成し得る。そのファイルは、記録が適用されたストリームが復号されるときにアクティブにされるすべてのＳＰＳが、それらのＳＰＳに関連付けられたいずれかのサンプルにおいていずれかの上位時間サブレイヤへの時間サブレイヤアップスイッチングが実行され得ることを示すシンタックス要素を有するかどうかを示す要素を含む記録（たとえば、ＨＥＶＣデコーダ構成記録などのデコーダ構成記録）を含むボックスをも含み得る。いくつかの例では、デバイスの出力インターフェース（たとえば、ネットワークインターフェース、ディスクまたはドライブインターフェース、メモリアクセスシステムなど）がファイルを出力し得る。したがって、デバイス（たとえば、ビデオデコーダ３０または別のデバイス）は、ビデオデータのコード化ピクチャを含んでいるサンプルを含んでいるファイルのボックス中の記録（たとえば、ＨＥＶＣデコーダ構成記録などのデコーダ構成記録）中の要素に基づいて、記録が適用されたストリームが復号されるときにアクティブにされるすべてのＳＰＳが、それらのＳＰＳに関連付けられたいずれかのサンプルにおいていずれかの上位時間サブレイヤへの時間サブレイヤアップスイッチングが実行され得ることを示すシンタックス要素を有することを判断し得る。いくつかの例では、デバイスの入力インターフェース（たとえば、ネットワークインターフェース、ディスクまたはドライブインターフェース、メモリアクセスシステムなど）が、ビデオデータのコード化ピクチャを含んでいるサンプルを含んでいるファイルを受信し得る。さらに、いくつかの例では、デバイスは、ＳＰＳのうちの１つに関連付けられたサンプルにおいて時間アップスイッチングを実行し得る。

[0110]本開示の技法は、ＨＥＶＣ以外のビデオコーデックを使用して符号化された他のビデオコンテンツにも適用され得る。

[0111]図２は、本開示の技法を実装し得る例示的なビデオエンコーダ２０を示すブロック図である。図２は、説明の目的で与えられており、本開示において広く例示され説明される技法を限定するものと見なされるべきではない。説明の目的で、本開示では、ＨＥＶＣコーディングのコンテキストにおいてビデオエンコーダ２０について説明する。ただし、本開示の技法は、他のコーディング規格または方法に適用可能であり得る。

[0112]図２の例では、ビデオエンコーダ２０は、予測処理ユニット１００と、残差生成ユニット１０２と、変換処理ユニット１０４と、量子化ユニット１０６と、逆量子化ユニット１０８と、逆変換処理ユニット１１０と、再構成ユニット１１２と、フィルタユニット１１４と、復号ピクチャバッファ１１６と、エントロピー符号化ユニット１１８とを含む。予測処理ユニット１００は、インター予測処理ユニット１２０と、イントラ予測処理ユニット１２６とを含む。インター予測処理ユニット１２０は、動き推定ユニット１２２と、動き補償ユニット１２４とを含む。他の例では、ビデオエンコーダ２０は、より多数の、より少数の、または異なる機能構成要素を含み得る。

[0113]ビデオエンコーダ２０はビデオデータを受信し得る。ビデオエンコーダ２０は、ビデオデータのピクチャのスライス中の各ＣＴＵを符号化し得る。ビデオエンコーダ２０は、ＣＴＵのＣＵを符号化して、ＣＵの符号化表現（すなわち、コード化ＣＵ）を生成し得る。ＣＵを符号化することの一部として、予測処理ユニット１００は、ＣＵの１つまたは複数のＰＵの間でＣＵに関連付けられたコーディングブロックを区分し得る。したがって、各ＰＵは、ルーマ予測ブロックと、対応するクロマ予測ブロックとに関連付けられ得る。ビデオエンコーダ２０およびビデオデコーダ３０は、様々なサイズを有するＰＵをサポートし得る。ＣＵのサイズはＣＵのルーマコーディングブロックのサイズを指し得、ＰＵのサイズはＰＵのルーマ予測ブロックのサイズを指し得る。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ビデオエンコーダ２０およびビデオデコーダ３０は、イントラ予測用の２Ｎ×２ＮまたはＮ×ＮのＰＵサイズと、インター予測用の２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、または同様の対称ＰＵサイズとをサポートし得る。ビデオエンコーダ２０およびビデオデコーダ３０は、インター予測用の２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズに対する非対称区分をもサポートし得る。

[0114]インター予測処理ユニット１２０は、ＣＵの各ＰＵに対してインター予測を実行することによってＰＵの予測データを生成し得る。ＰＵの予測データは、ＰＵの予測ブロックと、ＰＵの動き情報とを含み得る。インター予測処理ユニット１２０は、ＰＵがＩスライス中にあるのか、Ｐスライス中にあるのか、Ｂスライス中にあるのかに応じて、ＣＵのＰＵに対して異なる演算を実行し得る。Ｉスライス中では、すべてのＰＵがイントラ予測される。したがって、ＰＵがＩスライス中にある場合、インター予測処理ユニット１２０はＰＵに対してインター予測を実行しない。

[0115]ＰＵがＰスライス中にある場合、動き推定ユニット１２２は、ＰＵの参照領域について参照ピクチャリスト（たとえば、「ＲｅｆＰｉｃＬｉｓｔ０」）中の参照ピクチャを探索し得る。ＰＵの参照領域は、ＰＵの予測ブロックに最も近接して対応するサンプルを含んでいる参照ピクチャ内の領域であり得る。動き推定ユニット１２２は、ＰＵの参照領域を含んでいる参照ピクチャのＲｅｆＰｉｃＬｉｓｔ０中の位置を示す参照インデックスを生成し得る。さらに、動き推定ユニット１２２は、ＰＵのコーディングブロックと参照領域に関連付けられた参照ロケーションとの間の空間変位を示す動きベクトルを生成し得る。たとえば、動きベクトルは、現在ピクチャにおける座標から参照ピクチャにおける座標までのオフセットを与える２次元ベクトルであり得る。動き推定ユニット１２２は、ＰＵの動き情報として、参照インデックスと動きベクトルとを出力し得る。動き補償ユニット１２４は、ＰＵの動きベクトルによって示された参照ロケーションにおける実際のまたは補間されたサンプルに基づいて、ＰＵの予測ブロックを生成し得る。

[0116]ＰＵがＢスライス中にある場合、動き推定ユニット１２２は、ＰＵについての単予測または双予測を実行し得る。ＰＵについての単予測を実行するために、動き推定ユニット１２２は、ＰＵの参照領域についてＲｅｆＰｉｃＬｉｓｔ０の参照ピクチャまたは第２の参照ピクチャリスト（「ＲｅｆＰｉｃＬｉｓｔ１」）を探索し得る。動き推定ユニット１２２は、ＰＵの動き情報として、参照領域を含んでいる参照ピクチャのＲｅｆＰｉｃＬｉｓｔ０またはＲｅｆＰｉｃＬｉｓｔ１中の位置を示す参照インデックスと、ＰＵの予測ブロックと参照領域に関連する参照ロケーションとの間の空間変位を示す動きベクトルと、参照ピクチャがＲｅｆＰｉｃＬｉｓｔ０中にあるのかＲｅｆＰｉｃＬｉｓｔ１中にあるのかを示す１つまたは複数の予測方向インジケータとを出力し得る。動き補償ユニット１２４は、ＰＵの動きベクトルによって示された参照ロケーションにおける実際のまたは補間されたサンプルに少なくとも部分的に基づいて、ＰＵの予測ブロックを生成し得る。

[0117]ＰＵについての双方向インター予測を実行するために、動き推定ユニット１２２は、ＰＵの参照領域についてＲｅｆＰｉｃＬｉｓｔ０中の参照ピクチャを探索し得、またＰＵの別の参照領域についてＲｅｆＰｉｃＬｉｓｔ１中の参照ピクチャを探索し得る。動き推定ユニット１２２は、参照領域を含んでいる参照ピクチャのＲｅｆＰｉｃＬｉｓｔ０およびＲｅｆＰｉｃＬｉｓｔ１中の位置を示す参照インデックスを生成し得る。さらに、動き推定ユニット１２２は、参照領域に関連する参照ロケーションとＰＵの予測ブロックとの間の空間変位を示す動きベクトルを生成し得る。ＰＵの動き情報は、ＰＵの参照インデックスと動きベクトルとを含み得る。動き補償ユニット１２４は、ＰＵの動きベクトルによって示された参照ロケーションにおける実際のまたは補間されたサンプルに少なくとも部分的に基づいて、ＰＵの予測ブロックを生成し得る。

[0118]イントラ予測処理ユニット１２６は、ＰＵに対してイントラ予測を実行することによって、ＰＵの予測データを生成し得る。ＰＵの予測データは、ＰＵの予測ブロックと、様々なシンタックス要素とを含み得る。イントラ予測処理ユニット１２６は、Ｉスライス、Ｐスライス、およびＢスライスの中のＰＵに対してイントラ予測を実行し得る。

[0119]ＰＵに対してイントラ予測を実行するために、イントラ予測処理ユニット１２６は、複数のイントラ予測モードを使用して、ＰＵについて複数セットの予測データを生成し得る。特定のイントラ予測モードを使用してイントラ予測を実行するとき、イントラ予測処理ユニット１２６は、隣接ブロックからのサンプルの特定のセットを使用してＰＵの予測ブロックを生成し得る。隣接ブロックは、ＰＵ、ＣＵ、およびＣＴＵについて左から右、上から下の符号化順序を仮定すると、ＰＵの予測ブロックの上、右上、左上、または左にあり得る。イントラ予測処理ユニット１２６は、様々な数のイントラ予測モード、たとえば、３３個の方向性イントラ予測モードを使用し得る。いくつかの例では、イントラ予測モードの数はＰＵの予測ブロックのサイズに依存し得る。

[0120]予測処理ユニット１００は、ＰＵのためにインター予測処理ユニット１２０によって生成された予測データ、またはＰＵのためにイントラ予測処理ユニット１２６によって生成された予測データの中から、ＣＵのＰＵについての予測データを選択し得る。いくつかの例では、予測処理ユニット１００は、予測データのセットのレート／ひずみメトリックに基づいて、ＣＵのＰＵについての予測データを選択する。選択された予測データの予測ブロックは、本明細書では、選択された予測ブロックと呼ばれることがある。

[0121]残差生成ユニット１０２は、ＣＵのルーマコーディングブロック、Ｃｂコーディングブロック、およびＣｒコーディングブロック、ならびにＣＵのＰＵの選択された予測ルーマブロック、予測Ｃｂブロック、および予測Ｃｒブロックに基づいて、ＣＵのルーマ残差ブロック、Ｃｂ残差ブロック、およびＣｒ残差ブロックを生成し得る。たとえば、残差生成ユニット１０２は、残差ブロック中の各サンプルが、ＣＵのコーディングブロック中のサンプルとＣＵのＰＵの対応する選択された予測ブロック中の対応するサンプルとの間の差分に等しい値を有するように、ＣＵの残差ブロックを生成し得る。

[0122]変換処理ユニット１０４は、４分木区分を実行して、ＣＵの残差ブロックをＣＵのＴＵに関連付けられた変換ブロックに区分し得る。したがって、ＴＵは、ルーマ変換ブロックと、２つの対応するクロマ変換ブロックとに関連付けられ得る。ＣＵのＴＵのルーマ変換ブロックおよびクロマ変換ブロックのサイズおよび位置とは、ＣＵのＰＵの予測ブロックのサイズおよび位置に基づくことも基づかないこともある。

[0123]変換処理ユニット１０４は、ＴＵの変換ブロックに１つまたは複数の変換を適用することによって、ＣＵのＴＵごとに変換係数ブロックを生成し得る。変換処理ユニット１０４は、ＴＵに関連付けられた変換ブロックに様々な変換を適用し得る。たとえば、変換処理ユニット１０４は、離散コサイン変換（ＤＣＴ）、方向性変換、または概念的に同様の変換を変換ブロックに適用し得る。いくつかの例では、変換処理ユニット１０４は変換ブロックに変換を適用しない。そのような例では、変換ブロックは変換係数ブロックとして扱われ得る。

[0124]量子化ユニット１０６は、係数ブロック中の変換係数を量子化し得る。量子化プロセスは、変換係数の一部または全部に関連付けられたビット深度を低減し得る。たとえば、量子化中にｎビット変換係数はｍビット変換係数に切り捨てられ得、ただし、ｎはｍよりも大きい。量子化ユニット１０６は、ＣＵに関連付けられた量子化パラメータ（ＱＰ：quantization parameter）値に基づいてＣＵのＴＵに関連付けられた係数ブロックを量子化し得る。ビデオエンコーダ２０は、ＣＵに関連付けられたＱＰ値を調整することによって、ＣＵに関連付けられた係数ブロックに適用される量子化の程度を調整し得る。量子化は情報の損失をもたらし得、したがって、量子化変換係数は元の係数よりも低い精度を有し得る。

[0125]逆量子化ユニット１０８および逆変換処理ユニット１１０は、それぞれ、係数ブロックに逆量子化および逆変換を適用して、係数ブロックから残差ブロックを再構成し得る。再構成ユニット１１２は、再構成された残差ブロックを、予測処理ユニット１００によって生成された１つまたは複数の予測ブロックからの対応するサンプルに加算して、ＴＵに関連付けられた再構成された変換ブロックを生成し得る。このようにＣＵのＴＵごとに変換ブロックを再構成することによって、ビデオエンコーダ２０は、ＣＵのコーディングブロックを再構成し得る。

[0126]フィルタユニット１１４は、１つまたは複数のデブロッキング演算を実行して、ＣＵに関連付けられたコーディングブロック中のブロッキングアーティファクトを低減し得る。復号ピクチャバッファ１１６は、フィルタユニット１１４が、再構成されたコーディングブロックに対して１つまたは複数のデブロッキング演算を実行した後、再構成されたコーディングブロックを記憶し得る。インター予測処理ユニット１２０は、再構成されたコーディングブロックを含んでいる参照ピクチャを使用して、他のピクチャのＰＵに対してインター予測を実行し得る。さらに、イントラ予測処理ユニット１２６は、復号ピクチャバッファ１１６中の再構成されたコーディングブロックを使用して、ＣＵと同じピクチャ中の他のＰＵに対してイントラ予測を実行し得る。

[0127]エントロピー符号化ユニット１１８は、ビデオエンコーダ２０の他の機能構成要素からデータを受信し得る。たとえば、エントロピー符号化ユニット１１８は、量子化ユニット１０６から係数ブロックを受信し得、予測処理ユニット１００からシンタックス要素を受信し得る。エントロピー符号化ユニット１１８は、データに対して１つまたは複数のエントロピー符号化演算を実行して、エントロピー符号化データを生成し得る。たとえば、エントロピー符号化ユニット１１８は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ：context-adaptive variable length coding）演算、ＣＡＢＡＣ演算、可変対可変（Ｖ２Ｖ：variable-to-variable）長コーディング演算、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）演算、確率間隔区分エントロピー（ＰＩＰＥ：Probability Interval Partitioning Entropy）コーディング演算、指数ゴロム符号化演算、または別のタイプのエントロピー符号化演算をデータに対して実行し得る。ビデオエンコーダ２０は、エントロピー符号化ユニット１１８によって生成されたエントロピー符号化データを含むビットストリームを出力し得る。

[0128]いくつかの例では、ビデオエンコーダ２０は、ビットストリームを含むファイルを生成し得る。本開示の１つまたは複数の技法によれば、ファイルは、コード化ピクチャを含んでいる複数のサンプルを備え得る。ファイルは、その複数のサンプルの中からの１つまたは複数のサンプルを含んでいるサンプルグループを識別するボックスをも備え得る。ボックスは、サンプルグループ中の各サンプルがＳＴＳＡサンプルであることをさらに示し得る。さらに、本開示の１つまたは複数の技法によれば、ファイルは、ビデオデータのコード化ピクチャを含んでいるコード化サンプルを記憶し得る。ファイルは、記録が適用されたストリームが復号されるときにアクティブにされるすべてのＳＰＳが、それらのＳＰＳに関連付けられたいずれかのサンプルにおいていずれかの上位時間サブレイヤへの時間サブレイヤアップスイッチングが実行され得ることを示すシンタックス要素を有するかどうかを示す要素を含む記録を含むボックスをも含み得る。

[0129]図３は、本開示の技法を実装するように構成された例示的なビデオデコーダ３０を示すブロック図である。図３は、説明の目的で与えられており、本開示おいて広く例示され説明される技法を限定するものではない。説明の目的で、本開示では、ＨＥＶＣコーディングのコンテキストにおいてビデオデコーダ３０について説明する。ただし、本開示の技法は、他のコーディング規格または方法に適用可能であり得る。

[0130]図３の例では、ビデオデコーダ３０は、エントロピー復号ユニット１５０と、予測処理ユニット１５２と、逆量子化ユニット１５４と、逆変換処理ユニット１５６と、再構成ユニット１５８と、フィルタユニット１６０と、復号ピクチャバッファ１６２とを含む。予測処理ユニット１５２は、動き補償ユニット１６４と、イントラ予測処理ユニット１６６とを含む。他の例では、ビデオデコーダ３０は、より多数の、より少数の、または異なる機能構成要素を含み得る。

[0131]コード化ピクチャバッファ（ＣＰＢ）１５１は、ビットストリームの符号化ビデオデータ（たとえば、ＮＡＬユニット）を受信し、記憶し得る。エントロピー復号ユニット１５０は、ＣＰＢ１５１からＮＡＬユニットを受信し、ＮＡＬユニットをパースして、ビットストリームからシンタックス要素を取得し得る。エントロピー復号ユニット１５０は、ＮＡＬユニット中のエントロピー符号化されたシンタックス要素をエントロピー復号し得る。予測処理ユニット１５２、逆量子化ユニット１５４、逆変換処理ユニット１５６、再構成ユニット１５８、およびフィルタユニット１６０は、ビットストリームから取得されたシンタックス要素に基づいて復号ビデオデータを生成し得る。

[0132]ビットストリームのＮＡＬユニットは、コード化スライスＮＡＬユニットを含み得る。ビットストリームを復号することの一部として、エントロピー復号ユニット１５０は、コード化スライスＮＡＬユニットからシンタックス要素をパースし、エントロピー復号し得る。コード化スライスの各々は、スライスヘッダとスライスデータとを含み得る。スライスヘッダは、スライスに関するシンタックス要素を含んでいることがある。

[0133]ビットストリームからのシンタックス要素を復号することに加えて、ビデオデコーダ３０は、ＣＵに対して復号演算を実行し得る。ＣＵに対して復号演算を実行することによって、ビデオデコーダ３０はＣＵのコーディングブロックを再構成し得る。

[0134]ＣＵに対して復号演算を実行することの一部として、逆量子化ユニット１５４は、ＣＵのＴＵに関連付けられた係数ブロックを逆量子化（inverse quantize）、すなわち、逆量子化（de-quantize）し得る。逆量子化ユニット１５４は、ＴＵのＣＵに関連付けられたＱＰ値を使用して、量子化の程度を判断し、同様に、逆量子化ユニット１５４が適用するための逆量子化の程度を判断し得る。すなわち、圧縮比、すなわち、元のシーケンスと圧縮されたシーケンスとを表すために使用されるビット数の比は、変換係数を量子化するときに使用されるＱＰの値を調整することによって制御され得る。圧縮比はまた、採用されたエントロピーコーディングの方法に依存し得る。

[0135]逆量子化ユニット１５４が係数ブロックを逆量子化した後に、逆変換処理ユニット１５６は、ＴＵに関連付けられた残差ブロックを生成するために、係数ブロックに１つまたは複数の逆変換を適用し得る。たとえば、逆変換処理ユニット１５６は、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ：Karhunen-Loeve transform）、逆回転変換、逆方向性変換、または別の逆変換を係数ブロックに適用し得る。

[0136]イントラ予測を使用してＰＵが符号化される場合、イントラ予測処理ユニット１６６は、イントラ予測を実行して、ＰＵについての予測ブロックを生成し得る。イントラ予測処理ユニット１６６は、イントラ予測モードを使用して、空間的に隣接するＰＵの予測ブロックに基づいてＰＵの予測ルーマブロック、予測Ｃｂブロック、および予測Ｃｒブロックを生成し得る。イントラ予測処理ユニット１６６は、ビットストリームから復号された１つまたは複数のシンタックス要素に基づいてＰＵのイントラ予測モードを判断し得る。

[0137]予測処理ユニット１５２は、ビットストリームから抽出されたシンタックス要素に基づいて、第１の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ０）および第２の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ１）を構成し得る。さらに、インター予測を使用してＰＵが符号化される場合、エントロピー復号ユニット１５０は、ＰＵの動き情報を取得し得る。動き補償ユニット１６４は、ＰＵの動き情報に基づいて、ＰＵのための１つまたは複数の参照領域を判断し得る。動き補償ユニット１６４は、ＰＵのための１つまたは複数の参照ブロックにおけるサンプルに基づいて、ＰＵの予測ルーマブロック、予測Ｃｂブロック、および予測Ｃｒブロックを生成し得る。

[0138]再構成ユニット１５８は、ＣＵのＴＵに関連付けられたルーマ変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックからの残差値、ならびにＣＵのＰＵの予測ルーマブロック、予測Ｃｂブロック、および予測Ｃｒブロックが適用可能な場合にそれらを使用して、すなわち、イントラ予測データまたはインター予測データのいずれかを使用して、ＣＵのルーマコーディングブロック、Ｃｂコーディングブロック、およびＣｒコーディングブロックを再構成し得る。たとえば、再構成ユニット１５８は、ルーマ変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックのサンプルを予測ルーマブロック、予測Ｃｂブロック、および予測Ｃｒブロックの対応するサンプルに加算して、ＣＵのルーマコーディングブロック、Ｃｂコーディングブロック、およびＣｒコーディングブロックを再構成し得る。

[0139]フィルタユニット１６０は、ＣＵのルーマコーディングブロック、Ｃｂコーディングブロック、およびＣｒコーディングブロックに関連付けられたブロッキングアーティファクトを低減するために、デブロッキング演算を実行し得る。ビデオデコーダ３０は、ＣＵのルーマコーディングブロック、Ｃｂコーディングブロック、およびＣｒコーディングブロックを復号ピクチャバッファ１６２に記憶し得る。復号ピクチャバッファ１６２は、後続の動き補償、イントラ予測、および図１のディスプレイデバイス３２などのディスプレイデバイス上での提示のために参照ピクチャを与え得る。たとえば、ビデオデコーダ３０は、復号ピクチャバッファ１６２中のルーマブロック、Ｃｂブロック、およびＣｒブロックに基づいて、他のＣＵのＰＵに対してイントラ予測演算またはインター予測演算を実行し得る。このようにして、ビデオデコーダ３０は、有意ルーマ係数ブロックの変換係数レベルをビットストリームから抽出し、変換係数レベルを逆量子化し、変換係数レベルに変換を適用して変換ブロックを生成し、変換ブロックに少なくとも部分的に基づいてコーディングブロックを生成し、コーディングブロックを表示のために出力し得る。

[0140]上記のように、ＨＥＶＣファイルフォーマットに準拠するファイルは、ＳａｍｐｌｅＴｏＧｒｏｕｐボックスの０個以上のインスタンスを含み得る。さらに、上記のように、各ＳａｍｐｌｅＴｏＧｒｏｕｐボックスは、サンプルグルーピングのタイプを識別するグルーピングタイプ要素を含み得る。本開示の１つまたは複数の技法によれば、ＳａｍｐｌｅＴｏＧｒｏｕｐボックスは、ＳａｍｐｌｅＴｏＧｒｏｕｐボックスに関連付けられたサンプルグループに属するサンプルがＳＴＳＡであることを示す値（たとえば、「ｓｔｓａ」）をもつグルーピングタイプ要素を含み得る。たとえば、ＨＥＶＣビデオトラックは、「ｓｔｓａ」のｇｒｏｕｐｉｎｇ＿ｔｙｐｅをもつＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘの０個のインスタンスまたは１つのインスタンスを含んでいることがある。ＳａｍｐｌｅＴｏＧｒｏｕｐボックスに関連付けられたサンプルグループに属するサンプルがＳＴＳＡであることを示す値をもつグルーピングタイプ要素をもつＳａｍｐｌｅＴｏＧｒｏｕｐボックスのインスタンス（たとえば、ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ「ｓｔｓａ」をもつＳａｍｐｌｅＴｏＧｒｏｕｐボックス）は、ステップワイズ時間サブレイヤサンプルグループエントリと呼ばれることがある。ステップワイズ時間サブレイヤサンプルグループエントリは、ステップワイズ時間サブレイヤアクセスポイントとしてのサンプルのマーキング（すなわち、ＳＴＳＡ）を表し得る。言い換えれば、ステップワイズ時間サブレイヤサンプルグループエントリは、ＳＴＳＡサンプルをマークするために使用されるサンプルグループであり得る。ステップワイズ時間サブレイヤサンプルグループエントリのグルーピングタイプは「ｓｔｓａ」のグループタイプを有し得る。

[0141]したがって、ビデオエンコーダまたは別のデバイスは、ファイル中の複数のサンプルの中からの１つまたは複数のサンプルを含んでいるサンプルグループを識別するボックス（たとえば、ＳａｍｐｌｅＴｏＧｒｏｕｐボックス）を生成し得る。ボックスは、（たとえば、「ｓｔｓａ」のグルーピングタイプを指定することによって）サンプルグループ中の各サンプルがＳＴＳＡサンプルであることをさらに示し得る。したがって、ビデオデコーダまたは別のデバイスは、ボックス中のデータに基づいて、ファイル中のサンプルの中からＳＴＳＡサンプルを識別し得る。

[0142]上記のように、ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスはサンプルグループの記述を含み得る。さらに、上記のように、ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスは０個以上のエントリを含み得る。ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックス中のエントリは、１つまたは複数のＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙオブジェクトを含み得る。ＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙオブジェクトは、視覚的（たとえば、ビデオ）サンプルのグループに関する記述を与え得る。ＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙオブジェクトはＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙクラスに属し得る。本開示の１つまたは複数の技法によれば、ＳｔｅｐＷｉｓｅＴｅｍｐｏｒａｌＳｕｂＬａｙｅｒＥｎｔｒｙクラスがＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙクラスを拡張し得る。したがって、ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックス中のエントリは、ＳｔｅｐＷｉｓｅＴｅｍｐｏｒａｌＳｕｂＬａｙｅｒＥｎｔｒｙクラスに属するオブジェクト（すなわち、ＳｔｅｐＷｉｓｅＴｅｍｐｏｒａｌＳｕｂＬａｙｅｒＥｎｔｒｙオブジェクト）を含み得る。したがって、ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスはＳｔｅｐＷｉｓｅＴｅｍｐｏｒａｌＳｕｂＬａｙｅｒＥｎｔｒｙオブジェクトのコンテナであり得る。ファイルがＳｔｅｐＷｉｓｅＴｅｍｐｏｒａｌＳｕｂＬａｙｅｒＥｎｔｒｙオブジェクトを含んでいることは必須でなくてよく、ファイルは０個以上のＳｔｅｐＷｉｓｅＴｅｍｐｏｒａｌＳｕｂＬａｙｅｒＥｎｔｒｙオブジェクトを含んでいることがある。

[0143]したがって、以下の記述がステップワイズ時間サブレイヤサンプルグループエントリに当てはまり得る。

グループタイプ：「ｓｔｓａ」
コンテナ：サンプルグループ記述ボックス（「ｓｇｐｄ」）
必須：いいえ
量：０個以上
このサンプルグループは、ステップワイズ時間サブレイヤアクセス（ＳＴＳＡ）サンプルをマークするために使用される。

[0144]以下は、ステップワイズ時間サブレイヤサンプルグループエントリのための例示的なシンタックスである。

[0145]いくつかの例では、ＳｔｅｐＷｉｓｅＴｅｍｐｏｒａｌＳｕｂＬａｙｅｒＥｎｔｒｙオブジェクトを含むＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスのインスタンスは、ステップワイズ時間サブレイヤサンプルグループエントリ（たとえば、「ｓｔｓａ」のグルーピングタイプ要素をもつＳａｍｐｌｅＴｏＧｒｏｕｐボックスのインスタンス）を伴い得る。したがって、いくつかの例では、ＳａｍｐｌｅＴｏＧｒｏｕｐボックスが「ｓｔｓａ」のグルーピングタイプを有するとき、同じグルーピングタイプをもつＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスの付随インスタンスが存在することになる。

[0146]本開示の１つまたは複数の技法によれば、ＨＥＶＣビデオトラックは、「ｉｐｓｇ」のｇｒｏｕｐｉｎｇ＿ｔｙｐｅ要素をもつＳａｍｐｌｅＴｏＧｒｏｕｐの０個のインスタンスまたは１つのインスタンスを含んでいることがある。「ｉｐｓｇ」のｇｒｏｕｐｉｎｇ＿ｔｙｐｅ要素をもつＳａｍｐｌｅＴｏＧｒｏｕｐボックスのインスタンスは、イントラピクチャサンプルグルーピングと呼ばれることがある。「ｉｐｓｇ」のグルーピングタイプ（すなわち、イントラピクチャサンプルグルーピング）をもつＳａｍｐｌｅＴｏＧｒｏｕｐボックスインスタンスは、ステップワイズ時間サブレイヤアクセスポイントとしてサンプルのマーキングを表し得る。したがって、ビデオエンコーダまたは別のデバイスは、ファイル中の複数のサンプルの中からの１つまたは複数のサンプルを含んでいるサンプルグループを識別するボックス（たとえば、ＳａｍｐｌｅＴｏＧｒｏｕｐボックス）を生成し得る。ボックスは、（たとえば、「ｉｐｓｇ」のグルーピングタイプを指定することによって）サンプルグループ中の各サンプルがイントラサンプルであることをさらに示し得る。したがって、ビデオデコーダまたは別のデバイスは、ボックス中のデータに基づいて、ファイル中のサンプルの中からイントラサンプルを識別し得る。

[0147]いくつかの例では、同じグルーピングタイプをもつＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスの付随インスタンスがＨＥＶＣビデオトラック中に存在する。上記のように、ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスは０個以上のエントリを含み得る。ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックス中のエントリは、１つまたは複数のＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙオブジェクトを含み得る。ＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙオブジェクトはＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙクラスに属し得る。さらに、本開示の１つまたは複数の技法によれば、ＩｎｔｒａＰｉｃｔｕｒｅＥｎｔｒｙクラスがＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙクラスを拡張し得る。したがって、ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックス中のエントリは、ＩｎｔｒａＰｉｃｔｕｒｅＥｎｔｒｙクラスに属するオブジェクト（すなわち、ＩｎｔｒａＰｉｃｔｕｒｅＥｎｔｒｙオブジェクトまたはイントラピクチャサンプルグルーピングエントリ）を含み得る。したがって、ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスはＩｎｔｒａＰｉｃｔｕｒｅＥｎｔｒｙオブジェクトのコンテナであり得る。ファイルがＩｎｔｒａＰｉｃｔｕｒｅＥｎｔｒｙオブジェクトを含んでいることは必須でなくてよく、ファイルは０個以上のＩｎｔｒａＰｉｃｔｕｒｅＥｎｔｒｙオブジェクトを含んでいることがある。このようにして、ファイルは、イントラコード化ピクチャを含んでいるサンプルをマークするためにサンプルグループが使用されることを示すエントリ（たとえば、ＩｎｔｒａＰｉｃｔｕｒｅＥｎｔｒｙオブジェクト）を含むサンプルグループ記述ボックス（たとえば、ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックス）を含み得る。

[0148]したがって、以下の記述がＩｎｔｒａＰｉｃｔｕｒｅＥｎｔｒｙエントリに当てはまり得る。

グループタイプ：「ｉｐｓｇ」
コンテナ：サンプルグループ記述ボックス（「ｓｇｐｄ」）
必須：いいえ
量：０個以上
このサンプルグループは、イントラコード化ピクチャを含んでいるサンプル、すなわち、すべてのスライスがイントラスライスであるサンプルをマークするために使用される。

[0149]以下は、イントラピクチャサンプルグルーピングエントリのための例示的なシンタックスである。

[0150]上記のように、ＨＥＶＣファイルフォーマットはＨＥＶＣデコーダ構成記録を規定する。たとえば、ＨＥＶＣファイルフォーマットに準拠するファイルのトラックボックス内のサンプルテーブルボックスがＨＥＶＣデコーダ構成記録を含み得る。ＨＥＶＣデコーダ構成記録は、ＨＥＶＣビデオコンテンツのための構成情報を含んでいる。たとえば、ＨＥＶＣデコーダ記録は０個以上のＮＡＬユニットを含み得る。ＨＥＶＣデコーダ記録中に含まれているＮＡＬユニットは、ＶＰＳ、ＳＰＳ、ＰＰＳなどのパラメータセットを含んでいるＮＡＬユニットを含み得る。

[0151]以下に、ＨＥＶＣデコーダ構成記録のための例示的なシンタックスを与える。ボールドで示された以下のシンタックスの部分は、ＭＰＥＧ出力ドキュメントＷ１２８４６、「Study of ISO/IEC 14496-15:2010/PDAM 2 Carriage of HEVC」、ＭＰＥＧの第１０１回会合、ストックホルム、スウェーデン、２０１２−０７−１６〜２０１２−０７−２０において指定されているＨＥＶＣデコーダ構成記録の修正部分を示し得る。

[0152]ＨＥＶＣデコーダ構成記録は、ＨＥＶＣデコーダ構成記録によって含まれているＮＡＬユニットの長さ、ならびにサンプルエントリに記憶されている場合はパラメータセットの長さを示すために各サンプルにおいて使用される長さフィールド（たとえば、ｌｅｎｇｔｈＳｉｚｅＭｉｎｕｓＯｎｅ）のサイズを含んでいる。ＨＥＶＣデコーダ構成記録は外部でフレーム化され得る。言い換えれば、ＨＥＶＣデコーダ構成記録のサイズは、ＨＥＶＣデコーダ構成記録を含んでいる構造によって与えられ得る。

[0153]さらに、ＨＥＶＣデコーダ構成記録はバージョンフィールドを含んでいることがある。上記に与えた例示的なシンタックスでは、このバージョンフィールドはｃｏｎｆｉｇｕｒａｔｉｏｎＶｅｒｓｉｏｎと称される。記録に適合しない変更は、バージョン番号の変更によって示され得る。いくつかの例では、デバイスまたは他のリーダーが、ＨＥＶＣデコーダ構成記録のバージョンフィールドによって指定されたバージョン番号を認識しない場合、デバイスまたは他のリーダーは、ＨＥＶＣデコーダ構成記録またはＨＥＶＣデコーダ構成記録が適用されたストリームを復号することを試みてはならない。いくつかの例では、ＨＥＶＣデコーダ構成記録に適合する拡張は、ＨＥＶＣデコーダ構成記録を拡張せず、ＨＥＶＣデコーダ構成記録のバージョンフィールドによって指定された構成バージョンコードを変更しない。デバイスまたは他のリーダーは、いくつかの例では、それらのデバイスまたは他のリーダーが理解するデータの定義を越える無認識データを無視するように準備され得る。

[0154]ＶＰＳは、シンタックス要素の中でも、ｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｓｐａｃｅシンタックス要素、ｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｉｄｃシンタックス要素、ｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｃｏｍｐａｔｉｂｉｌｉｔｙ＿ｆｌａｇ［ｉ］シンタックス要素、およびｇｅｎｅｒａｌ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１６ｂｉｔｓシンタックス要素を含み得る。ｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｓｐａｃｅシンタックス要素は、ｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｉｄｃシンタックス要素と、両端値を含む０〜３１の範囲内のｉのすべての値についてのｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｃｏｍｐａｔｉｂｉｌｉｔｙ＿ｆｌａｇ［ｉ］シンタックス要素との解釈のためのコンテキストを指定する。ｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｓｐａｃｅシンタックス要素が０に等しいとき、ｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｉｄｃシンタックス要素は、ＣＶＳが準拠するプロファイルを示す。ＨＥＶＣワーキングドラフト８のアネックスＡは、プロファイルの例示的なセットについて説明している。ｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｓｐａｃｅシンタックス要素が０に等しく、ｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｃｏｍｐａｔｉｂｉｌｉｔｙ＿ｆｌａｇ［ｉ］シンタックス要素が１に等しいとき、ｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｃｏｍｐａｔｉｂｉｌｉｔｙ＿ｆｌａｇ［ｉ］シンタックス要素は、ＣＶＳが、ｉに等しいｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｉｄｃシンタックス要素によって示されたプロファイルに準拠することを示す。ｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｓｐａｃｅシンタックス要素が０に等しいとき、ｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｉｄｃ［ｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｉｄｃ］は１に等しい。「ｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｉｄｃ［ｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｉｄｃ］」は、ｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｉｄｃシンタックス要素によって指定されたインデックス値に関連するｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｉｄｃシンタックス要素を示す。いくつかの例では、ｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｃｏｍｐａｔｉｂｉｌｉｔｙ＿ｆｌａｇ［ｉ］シンタックス要素は、ｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｉｄｃの許容値として指定されていないｉの任意の値について、０に等しい。ＨＥＶＣワーキングドラフト８のアネックスＡは、ｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｉｄｃシンタックス要素の許容値の例示的なセットを指定している。ｇｅｎｅｒａｌ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１６ｂｉｔｓシンタックス要素は、ビットストリーム中で０に等しい。ｇｅｎｅｒａｌ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１６ｂｉｔｓシンタックス要素のいくつかの値は、ＨＥＶＣの拡張のために使用され得る。

[0155]さらに、ＶＰＳは、ｇｅｎｅｒａｌ＿ｔｉｅｒ＿ｆｌａｇシンタックス要素とｇｅｎｅｒａｌ＿ｌｅｖｅｌ＿ｉｄｃシンタックス要素とを含むｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌシンタックス構造を含み得る。ｇｅｎｅｒａｌ＿ｔｉｅｒ＿ｆｌａｇシンタックス要素は、ｇｅｎｅｒａｌ＿ｌｅｖｅｌ＿ｉｄｃシンタックス要素の解釈のためのティアコンテキストを指定する。ｇｅｎｅｒａｌ＿ｌｅｖｅｌ＿ｉｄｃシンタックス要素は、ＣＶＳが準拠するレベルを示す。ＨＥＶＣワーキングドラフト８のアネックスＡは、ｇｅｎｅｒａｌ＿ｔｉｅｒ＿ｆｌａｇシンタックス要素によって指定されたティアコンテキストに基づくｇｅｎｅｒａｌ＿ｌｅｖｅｌ＿ｉｄｃシンタックス要素の例示的な解釈を指定している。

[0156]上記に与えたＨＥＶＣデコーダ構成記録の例示的なシンタックスでは、ｐｒｏｆｉｌｅ＿ｓｐａｃｅ、ｔｉｅｒ＿ｆｌａｇ、ｐｒｏｆｉｌｅ＿ｉｄｃ、ｐｒｏｆｉｌｅ＿ｃｏｍｐａｔｉｂｉｌｉｔｙ＿ｉｎｄｉｃａｔｉｏｎｓ、ｃｏｎｓｔｒａｉｎｔ＿ｉｎｄｉｃａｔｏｒ＿ｆｌａｇｓ、およびｌｅｖｅｌ＿ｉｄｃ要素は、それぞれ、このＨＥＶＣデコーダ構成記録が適用されるストリームについて、ＩＳＯ／ＩＥＣ２３００８−２において定義されているように、シンタックス要素ｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｓｐａｃｅ、ｇｅｎｅｒａｌ＿ｔｉｅｒ＿ｆｌａｇ、ｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｉｄｃ、両端値を含む０〜３１にわたるｉについてのｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｃｏｍｐａｔｉｂｉｌｉｔｙ＿ｆｌａｇ［ｉ］、ｇｅｎｅｒａｌ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１６ｂｉｔｓ、およびｇｅｎｅｒａｌ＿ｌｅｖｅｌ＿ｉｄｃのための整合値を含んでいる。

[0157]一例では、ＨＥＶＣデコーダ構成記録のｐｒｏｆｉｌｅ＿ｓｐａｃｅ、ｔｉｅｒ＿ｆｌａｇ、ｐｒｏｆｉｌｅ＿ｉｄｃ、ｐｒｏｆｉｌｅ＿ｃｏｍｐａｔｉｂｉｌｉｔｙ＿ｉｎｄｉｃａｔｉｏｎｓ、ｃｏｎｓｔｒａｉｎｔ＿ｉｎｄｉｃａｔｏｒ＿ｆｌａｇｓ、およびｌｅｖｅｌ＿ｉｄｃ要素の値は、（ストリームのすべてのパラメータセットまたはすべてのパラメータセットと呼ばれる）ＨＥＶＣデコーダ構成記録によって記述されたストリームが復号されるときにアクティブにされるすべてのパラメータセットについて有効でなければならない。言い換えれば、この例では、ＨＥＶＣデコーダ構成記録のｐｒｏｆｉｌｅ＿ｓｐａｃｅ、ｔｉｅｒ＿ｆｌａｇ、ｐｒｏｆｉｌｅ＿ｉｄｃ、ｐｒｏｆｉｌｅ＿ｃｏｍｐａｔｉｂｉｌｉｔｙ＿ｉｎｄｉｃａｔｉｏｎｓ、ｃｏｎｓｔｒａｉｎｔ＿ｉｎｄｉｃａｔｏｒ＿ｆｌａｇｓ、およびｌｅｖｅｌ＿ｉｄｃ要素の値は、ＨＥＶＣデコーダ構成記録によって記述されたストリームが復号されるときにアクティブにされるパラメータセット中の対応するシンタックス要素の値を正しく記述しなければならない。

[0158]たとえば、ストリームが復号されるときにアクティブにされるＶＰＳの各々中のｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｓｐａｃｅシンタックス要素は、ｐｒｏｆｉｌｅ＿ｓｐａｃｅ要素の値に等しい値を有し得る。言い換えれば、すべてのパラメータセット中のｐｒｏｆｉｌｅ＿ｓｐａｃｅ要素の値は等しくなければならない。したがって、ＨＥＶＣデコーダ構成記録はプロファイル空間要素（たとえば、ｐｒｏｆｉｌｅ＿ｓｐａｃｅ要素）を含み得る。ＨＥＶＣデコーダ構成記録が適用されたストリームが復号されるときにアクティブにされるパラメータセット中のすべての一般プロファイル空間フラグシンタックス要素（たとえば、ｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｓｐａｃｅシンタックス要素）は、プロファイル空間要素の値に一致する値を有し得る。

[0159]さらに、この例では、ティア指示（たとえば、ｔｉｅｒ＿ｆｌａｇ）は、ＨＥＶＣデコーダ構成記録によって記述されたストリームが復号されるときにアクティブにされるすべてのパラメータセット中に示される最も高いティアに等しいかまたはそれよりも大きいティアを示さなければならない。したがって、ＨＥＶＣデコーダ構成記録はティアフラグ要素（たとえば、ｔｉｅｒ＿ｆｌａｇ要素）を含み得る。デバイスは、ＨＥＶＣデコーダ構成記録が適用されたストリームが復号されるときにアクティブにされるパラメータセット中のすべての一般ティアフラグシンタックス要素（たとえば、ｇｅｎｅｒａｌ＿ｔｉｅｒ＿ｆｌａｇシンタックス要素）が、ティアフラグ要素の値に一致する値を有することを判断し得る。一般ティアフラグシンタックス要素の各々は、コード化ビデオシーケンスが準拠するレベルを示す一般レベルインジケータシンタックス要素の解釈のためのティアコンテキストを示し得る。

[0160]この例では、レベル指示要素（たとえば、ｌｅｖｅｌ＿ｉｄｃ）は、すべてのパラメータセット中の最も高いティアについて示される最高レベルに等しいかまたはそれよりも大きい能力のレベルを示さなければならない。したがって、ＨＥＶＣデコーダ構成記録はレベルインジケータ要素（たとえば、ｌｅｖｅｌ＿ｉｄｃ要素）を含み得る。デバイスは、ＨＥＶＣデコーダ構成記録が適用されたストリームが復号されるときにアクティブにされるパラメータセット中のすべての一般レベル指示シンタックス要素（たとえば、ｇｅｎｅｒａｌ＿ｌｅｖｅｌ＿ｉｄｃシンタックス要素）が、レベル要素の値に一致する値を有することを判断し得る。一般レベル指示シンタックス要素の各々は、コード化ビデオシーケンスが準拠するレベルを示し得る。

[0161]この例では、プロファイル指示要素（たとえば、ｐｒｏｆｉｌｅ＿ｉｄｃ）は、ＨＥＶＣデコーダ構成記録に関連付けられたストリームが準拠するプロファイルを示さなければならない。したがって、ＨＥＶＣデコーダ構成記録はプロファイルインジケータ要素（たとえば、ｐｒｏｆｉｌｅ＿ｉｄｃ要素）を含み得る。デバイスは、ＨＥＶＣデコーダ構成記録が適用されたストリームが復号されるときにアクティブにされるパラメータセット中のすべてのプロファイル指示シンタックス要素（たとえば、ｐｒｏｆｉｌｅ＿ｉｄｃシンタックス要素）が、プロファイル指示要素の値に一致する値を有することを判断し得る。プロファイル指示シンタックス要素の各々は、コード化ビデオシーケンスが準拠するプロファイルを示し得る。

[0162]ｐｒｏｆｉｌｅ＿ｃｏｍｐａｔｉｂｉｌｉｔｙ＿ｉｎｄｉｃａｔｉｏｎｓ要素中の各ビットは、すべてのパラメータセットがそのビットを設定する場合のみ、設定され得る。したがって、ＨＥＶＣデコーダ構成記録はプロファイル互換性指示要素（たとえば、ｐｒｏｆｉｌｅ＿ｃｏｍｐａｔｉｂｉｌｉｔｙ＿ｉｎｄｉｃａｔｉｏｎｓ要素）を含み得る。デバイスは、ＨＥＶＣデコーダ構成記録が適用可能であるストリームが復号されるときにアクティブにされるパラメータセット中のすべての一般プロファイル互換性フラグシンタックス要素（たとえば、ｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｃｏｍｐａｔｉｂｉｌｉｔｙ＿ｆｌａｇシンタックス要素）が、プロファイル互換性指示要素の値に一致する値を有することを判断し得る。

[0163]さらに、ＨＥＶＣデコーダ構成記録は制約インジケータフラグ要素（たとえば、ｃｏｎｓｔｒａｉｎｔ＿ｉｎｄｉｃａｔｏｒ＿ｆｌａｇｓ要素）を含み得る。デバイスは、ＨＥＶＣデコーダ構成記録が適用されたストリームが復号されるときにアクティブにされるパラメータセット中のすべての一般予約済みゼロ１６ビットシンタックス要素（たとえば、ｇｅｎｅｒａｌ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１６ビットシンタックス要素）が、プロファイル互換性指示要素の値に一致する値を有することを判断し得る。

[0164]ＨＥＶＣデコーダ構成記録がｐｒｏｆｉｌｅ＿ｓｐａｃｅ、ｔｉｅｒ＿ｆｌａｇ、ｐｒｏｆｉｌｅ＿ｉｄｃ、ｐｒｏｆｉｌｅ＿ｃｏｍｐａｔｉｂｉｌｉｔｙ＿ｉｎｄｉｃａｔｉｏｎｓ、ｃｏｎｓｔｒａｉｎｔ＿ｉｎｄｉｃａｔｏｒ＿ｆｌａｇｓ、およびｌｅｖｅｌ＿ｉｄｃ要素を指定するので、デバイス（たとえば、ビデオデコーダ３０）は、ストリームをパースすることなしにストリームの対応する特性を判断することが可能であり得る。むしろ、デバイスは、ストリームに適用されたＨＥＶＣデコーダ構成記録を検査することによって、ストリームの対応する特性を判断し得る。

[0165]ストリームのＳＰＳが異なるプロファイルでマークされた場合、ストリームは、もしあれば、ストリーム全体が準拠するプロファイルを判断するための検査を必要とし得る。ストリーム全体が検査されない場合、またはストリーム全体が準拠するプロファイルがないことが検査で明らかになる場合、この例では、ストリーム全体は、これらの規則が満たされ得る別々の構成記録（たとえば、ＨＥＶＣデコーダ構成記録）を伴う２つ以上のサブストリームに分割されなければならない。

[0166]ＨＥＶＣデコーダ構成記録は、クロマフォーマットおよびビット深度ならびにＨＥＶＣビデオエレメンタリストリームによって使用される他のフォーマット情報に関する明示的指示を与え得る。エレメンタリストリームは、１つまたは複数のビットストリームのシーケンスを備え得る。エレメンタリストリームが複数のビットストリームを含んでいる場合、最後のビットストリームを除くビットストリームの各々は、ビットストリーム終了（ＥＯＳ：end of bitstream）ＮＡＬユニットとともに終了する。

[0167]いくつかの例では、そのような情報の各タイプは、存在する場合、単一のＨＥＶＣデコーダ構成記録中のすべてのパラメータセットにおいて等しくなければならない。任意のタイプのそのような情報において２つのシーケンスが異なる場合、ビデオプロセッサは、２つの異なるＨＥＶＣデコーダ構成記録を生成するように要求され得る。２つのシーケンスがそれらのビデオユーザビリティ情報（ＶＵＩ：video usability information）中の色空間指示において異なる場合、ビデオプロセッサ（たとえば、ビデオエンコーダ２０または別のデバイス）は、２つの異なるＨＥＶＣデコーダ構成記録を生成するようにレクレ（requre）され得る。ＨＥＶＣでは、ＳＰＳは、ＶＵＩシンタックス要素を含んでいるＶＵＩシンタックス構造を含み得る。

[0168]上記で説明したＨＥＶＣデコーダ構成記録のための例示的なシンタックスでは、ｃｈｒｏｍａＦｏｒｍａｔ要素は、このＨＥＶＣデコーダ構成記録が適用されるストリームのために、ＩＳＯ／ＩＥＣ２３００８−２（すなわち、ＨＥＶＣ）におけるｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃシンタックス要素によって定義されたｃｈｒｏｍａ＿ｆｏｒｍａｔインジケータを含んでいる。ＳＰＳのｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃシンタックス要素はクロマサンプリングを指定し得る。ＨＥＶＣワーキングドラフト８では、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃシンタックス要素は、ＨＥＶＣワーキングドラフト８の第６．２節において指定されたルーマサンプリングに対してクロマサンプリングを指定する。現在ピクチャのためにアクティブにされるＳＰＳのｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃシンタックス要素が０に等しい場合、現在ピクチャは１つのサンプルアレイ（たとえば、ＳＬ）からなり得る。そうではなく、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃシンタックス要素が０に等しくない場合、現在ピクチャは３つのサンプルアレイ（たとえば、ＳＬ、ＳＣｂ、およびＳＣｒ）を備え得る。

[0169]上記に与えたＨＥＶＣデコーダ構成記録のための例示的なシンタックスでは、ｂｉｔＤｅｐｔｈＬｕｍａＭｉｎｕｓ８要素は、このＨＥＶＣデコーダ構成記録が適用されるストリームのために、ＩＳＯ／ＩＥＣ２３００８−２におけるｂｉｔ＿ｄｅｐｔｈ＿ｌｕｍａ＿ｍｉｎｕｓ８シンタックス要素によって定義されたルーマビット深度インジケータを含んでいる。ｂｉｔＤｅｐｔｈＣｈｒｏｍａＭｉｎｕｓ８要素は、この構成記録が適用されるストリームのために、ＩＳＯ／ＩＥＣ２３００８−２におけるｂｉｔ＿ｄｅｐｔｈ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ８シンタックス要素によって定義されたクロマビット深度インジケータを含んでいることがある。サンプル値（たとえば、ルーマサンプルまたはクロマサンプル）のビット深度は、そのサンプル値を表すためにどのくらいのビットが使用されるかを示し得る。

[0170]さらに、上記に与えたＨＥＶＣデコーダ構成記録のための例示的なシンタックスでは、ａｖｇＦｒａｍｅＲａｔｅ要素は、ＨＥＶＣデコーダ構成記録が適用されるストリームのために、フレーム／（２５６秒）の単位で平均フレームレートを与える。０に等しいｖａｌｕｅを有するａｖｇＦｒａｍＲａｔｅ要素は、指定されていない平均フレームレートを示し得る。

[0171]上記に与えたＨＥＶＣデコーダ構成記録のための例示的なシンタックスでは、１に等しいｃｏｎｓｔａｎｔＦｒａｍｅＲａｔｅ要素は、このＨＥＶＣデコーダ構成記録が適用されるストリームが一定のフレームレートであることを示し得る。２に等しいｃｏｎｓｔａｎｔＦｒａｍｅＲａｔｅ要素は、ストリーム中の各時間レイヤの表現が一定のフレームレートであることを示し得る。０に等しいｃｏｎｓｔａｎｔＦｒａｍｅＲａｔｅ要素は、ストリームが一定のフレームレートであることもそうでないこともあり得ることを示す。

[0172]さらに、上記に与えたＨＥＶＣデコーダ構成記録のための例示的なシンタックスでは、ｎｕｍＴｅｍｐｏｒａｌＬａｙｅｒｓ要素は、ＨＥＶＣデコーダ構成記録が適用されるストリームが時間的にスケーラブルであるかどうか、および（ＩＳＯ／ＩＥＣ２３００８−２では時間サブレイヤまたはサブレイヤとも呼ばれる）時間レイヤの含有数がｎｕｍＴｅｍｐｏｒａｌＬａｙｅｒｓに等しいかどうかを示し得る。たとえば、１より大きいｎｕｍＴｅｍｐｏｒａｌＬａｙｅｒｓシンタックス要素は、このＨＥＶＣデコーダ構成記録が適用されるストリームが時間的にスケーラブルであり、時間レイヤの含有数がｎｕｍＴｅｍｐｏｒａｌＬａｙｅｒｓに等しいことを示し得る。この例では、１に等しいｎｕｍＴｅｍｐｏｒａｌＬａｙｅｒｓ要素は、ストリームが時間的にスケーラブルでないことを示し得る。さらに、この例では、０に等しいｎｕｍＴｅｍｐｏｒａｌＬａｙｅｒｓ要素は、ストリームが時間的にスケーラブルであるかどうかが不明であることを示し得る。

[0173]上記に与えたＨＥＶＣデコーダ構成記録のための例示的なシンタックスでは、ｔｅｍｐｏｒａｌＩｄＮｅｓｔｅｄ要素は、ＨＥＶＣデコーダ構成記録がそれに適用されたストリームがときにアクティブにされるすべてのＳＰＳが、０に等しいｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｎｅｓｔｉｎｇ＿ｆｌａｇシンタックス要素を有するかどうかを示し得る。たとえば、１に等しいｔｅｍｐｏｒａｌＩｄＮｅｓｔｅｄ要素は、ＨＥＶＣデコーダ構成記録が適用されたストリームが復号されるときにアクティブにされるすべてのＳＰＳが、１に等しくＩＳＯ／ＩＥＣ２３００８−２において定義されているｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｎｅｓｔｉｎｇ＿ｆｌａｇシンタックス要素を有することを示し得、いずれかのサンプルにおいていずれかの上位時間レイヤへの時間サブレイヤアップスイッチングが実行され得る。この例では、０に等しいｔｅｍｐｏｒａｌＩｄＮｅｓｔｅｄ要素は、ＨＥＶＣデコーダ構成記録が適用されたストリームが復号されるときにアクティブにされるＳＰＳのうちの少なくとも１つが、０に等しいｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｎｅｓｔｉｎｇ＿ｆｌａｇシンタックス要素を有することを示し得る。

[0174]このようにして、デバイスは、ビデオデータのコード化ピクチャを含んでいるコード化サンプルを記憶するファイルを生成し得る。そのファイルは、記録が適用されたストリームが復号されるときにアクティブにされるすべてのＳＰＳが、それらのＳＰＳに関連付けられたいずれかのサンプルにおいていずれかの上位時間サブレイヤへの時間サブレイヤアップスイッチングが実行され得ることを示すｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｎｅｓｔｉｎｇ＿ｆｌａｇシンタックス要素を有するかどうかを示す要素を含む記録を含むボックスをも含んでいる。

[0175]上記に与えたＨＥＶＣデコーダ構成記録のための例示的なシンタックスでは、ｌｅｎｇｔｈＳｉｚｅＭｉｎｕｓＯｎｅ要素＋１は、ＨＥＶＣデコーダ構成記録が適用されるストリーム中のＨＥＶＣビデオサンプル中のＮＡＬＵｎｉｔＬｅｎｇｔｈフィールドのバイトでの長さを示す。たとえば、１バイトのサイズは、０の値で示され得る。このフィールドの値は、１、２、または４バイトでそれぞれ符号化される長さに対応する、０、１、または３のうちの１つになることになる。

[0176]さらに、ＨＥＶＣデコーダ構成は、初期化ＮＡＬユニットを搬送するアレイのセットを含んでいることがある。言い換えれば、ＨＥＶＣデコーダ構成記録中に、初期化ＮＡＬユニットを搬送するためのアレイのセットがある。ＨＥＶＣデコーダ構成記録中のＮＡＬユニットタイプは、ＶＰＳ、ＳＰＳ、ＰＰＳ、およびＳＥＩメッセージを含んでいるＮＡＬユニットに制限され得る。ＨＥＶＣワーキングドラフト８および本開示は、いくつかの予約済みＮＡＬユニットタイプを提供する。将来において、そのような予約済みＮＡＬユニットタイプは、ＨＥＶＣへの拡張を実装するために定義され得る。言い換えれば、ＩＳＯ／ＩＥＣ２３００８−２においておよびこの仕様において予約済みであるＮＡＬユニットタイプは、将来における定義を獲得し得る。いくつかの例では、リーダー（たとえば、ＨＥＶＣデコーダ構成記録を受信し、処理するデバイス）は、予約済みまたは非許可のＮＡＬユニットタイプ値をもつＮＡＬユニットのアレイを無視しなければならない。予約済みまたは非許可のＮＡＬユニットタイプ値をもつＮＡＬユニットのアレイを無視するこの「トレラント」挙動は、エラーが起こらず、それによって、将来の仕様においてこれらのアレイへの後方互換性がある拡張の可能性を可能にするように設計される。いくつかの例では、アレイは、ＶＰＳ、ＳＰＳ、ＰＰＳ、およびＳＥＩの順序であり得る。他の例では、アレイは、ＨＥＶＣデコーダ構成記録内でサイズによって順序付けられ得る。たとえば、アレイは、ＨＥＶＣデコーダ構成記録内で、より小さいアレイがより大きいアレイの前に生じるように順序付けられ得る。

[0177]さらに、上記に与えたＨＥＶＣデコーダ構成記録のための例示的なシンタックスでは、ｎｕｍＡｒｒａｙｓ要素は、示された（１つまたは複数の）タイプのＮＡＬユニットのアレイの数を示す。ＨＥＶＣデコーダ構成記録のａｒｒａｙ＿ｃｏｍｐｌｅｔｅｎｅｓｓ要素は、ストリームが、ＨＥＶＣデコーダ構成記録中のアレイ中にある所与のタイプのＮＡＬユニットに加えて、その所与のタイプのそれらのＮＡＬユニットを含み得るかどうかを示し得る。たとえば、１に等しいａｒｒａｙ＿ｃｏｍｐｌｅｔｅｎｅｓｓ要素は、所与のタイプのすべてのＮＡＬユニットがＨＥＶＣデコーダ構成記録中のＮＡＬユニットのアレイ中にあり、いずれもストリーム中にないことを示し得る。０に等しいａｒｒａｙ＿ｃｏｍｐｌｅｔｅｎｅｓｓ要素は、示されたタイプの追加のＮＡＬユニットがストリーム中にあり得ることを示す。ａｒｒａｙ＿ｃｏｍｐｌｅｔｅｎｅｓｓ要素のデフォルト値および許容値は、サンプルエントリコードによって制約され得る。

[0178]さらに、上記に与えたＨＥＶＣデコーダ構成記録の例示的なシンタックスでは、ＮＡＬ＿ｕｎｉｔ＿ｔｙｐｅ要素は、ＮＡＬユニットのアレイ中のＮＡＬユニットのタイプを示す。この例では、アレイ中のＮＡＬユニットのすべてが、ＮＡＬ＿ｕｎｉｔ＿ｔｙｐｅ要素によって指定されたタイプに属しなければならない。ＮＡＬ＿ｕｎｉｔ＿ｔｙｐｅ要素は、ＩＳＯ／ＩＥＣ２３００８−２において定義されている値を取り得る。いくつかの例では、ＮＡＬ＿ｕｎｉｔ＿ｔｙｐｅ要素は、ＶＰＳ、ＳＰＳ、ＰＰＳ、またはＳＥＩ ＮＡＬユニットを示す値のうちの１つを取るように制限される。

[0179]上記に与えた例示的なＨＥＶＣデコーダ構成記録シンタックスでは、ｎｕｍＮａｌｕｓ要素は、このＨＥＶＣデコーダ構成記録が適用されるストリームのためにＨＥＶＣデコーダ構成記録中に含まれる、示されたタイプのＮＡＬユニットの数を示す。いくつかの例では、ＨＥＶＣデコーダ構成記録のＮＡＬ＿ｕｎｉｔ＿ｔｙｐｅ要素は、ＨＥＶＣデコーダ構成記録がＳＥＩアレイ（すなわち、ＳＥＩ ＮＡＬユニットのアレイ）を含むことを示し得る。たとえば、そのような例では、ｎｕｍＮａｌｕｓが４に等しい場合、ＳＥＩアレイは４つのＳＥＩ ＮＡＬユニットからなり得る。さらに、いくつかのそのような例では、ＳＥＩアレイは、「宣言的」性質のＳＥＩメッセージのみを含んでいなければならない。すなわち、ＳＥＩアレイは、全体としてストリームに関する情報を与えるＳＥＩメッセージのみを含んでいることがある。「宣言的」性質のＳＥＩメッセージの一例は、ユーザデータＳＥＩメッセージである。

[0180]さらに、上記に与えたＨＥＶＣデコーダ構成記録の例示的なシンタックスでは、ＨＥＶＣデコーダ構成記録のｎａｌＵｎｉｔＬｅｎｇｔｈ要素は、ＮＡＬユニットのバイトでの長さを示す。ＨＥＶＣデコーダ構成記録のｎａｌＵｎｉｔ要素は、ＩＳＯ／ＩＥＣ２３００８−２において指定されているように、ＶＰＳ、ＳＰＳ、ＰＰＳ、または宣言的ＳＥＩ ＮＡＬユニットを含んでいることがある。

[0181]図４は、本開示の１つまたは複数の技法による例示的な動作２００を示すフローチャートである。図４の例では、第１のデバイス（たとえば、ビデオエンコーダ２０または別のデバイス）がファイルを生成する（２０２）。ファイルは、複数のサンプルの中からの１つまたは複数のサンプルを含んでいるサンプルグループを識別するコード化ピクチャボックスを含んでいる複数のサンプルを備える。ボックスは、サンプルグループ中の各サンプルがＳＴＳＡサンプルであることをさらに示す。

[0182]さらに、図４の例では、第２のデバイス（たとえば、ビデオデコーダ３０または別のデバイス）が、サンプルグループを識別するボックス中のデータに基づいて、ボックスを含んでいるファイル中のサンプルの中からＳＴＳＡサンプルを識別する（２０４）。

[0183]図５は、本開示の１つまたは複数の追加の技法による例示的な動作２５０を示すフローチャートである。図５の例では、第１のデバイス（たとえば、ビデオエンコーダ２０または別のデバイス）が、ビデオデータのコード化ピクチャを含んでいるコード化サンプルを記憶するファイルを生成する（２５２）。そのファイルは、サンプルエントリが適用されたストリームが復号されるときにアクティブにされるすべてのＳＰＳが、それらのＳＰＳに関連付けられたいずれかのサンプルにおいていずれかの上位時間サブレイヤへの時間サブレイヤアップスイッチングが実行され得ることを示すシンタックス要素を有するかどうかを示す要素を含むサンプルエントリをも含み得る。

[0184]さらに、図５の例では、第２のデバイス（たとえば、ビデオデコーダ３０または別のデバイス）は、ビデオデータのコード化ピクチャを含んでいるサンプルを含んでいるファイルのサンプルエントリ中の要素に基づいて、記録が適用されたストリームが復号されるときにアクティブにされるすべてのＳＰＳが、それらのＳＰＳに関連付けられたいずれかのサンプルにおいていずれかの上位時間サブレイヤへの時間サブレイヤアップスイッチングが実行され得ることを示すシンタックス要素を有することを判断する（２５４）。

[0185]図６は、本開示の１つまたは複数の技法による、ファイル３００の例示的な構造を示す概念図である。図６の例では、ファイル３００は、ムービーボックス３０２と、複数のメディアデータボックス３０４とを含む。メディアデータボックス３０４の各々は、１つまたは複数のサンプル３０５を含み得る。さらに、図６の例では、ムービーボックス３０２はトラックボックス３０６を含む。他の例では、ムービーボックス３０２は、異なるトラックのために複数のトラックボックスを含み得る。トラックボックス３０６はサンプルテーブルボックス３０８を含む。サンプルテーブルボックス３０８は、ＳａｍｐｌｅＴｏＧｒｏｕｐボックス３１０と、ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックス３１２と、ＨＥＶＣデコーダ構成記録３１４とを含む。他の例では、サンプルテーブルボックス３０８は、ＳａｍｐｌｅＴｏＧｒｏｕｐボックス３１０およびＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックス３１２に加えて他のボックスを含み得、および／または複数のＳａｍｐｌｅＴｏＧｒｏｕｐボックスおよびＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスを含み得る。

[0186]本開示の１つまたは複数の例示的な技法によれば、ＳａｍｐｌｅＴｏＧｒｏｕｐボックス３１０は、サンプル３０５の中からの１つまたは複数のサンプルを含んでいるサンプルグループを識別し得る。ＳａｍｐｌｅＴｏＧｒｏｕｐボックス３１０は、サンプルグループ中の各サンプルがＳＴＳＡサンプルであることをさらに示し得る。したがって、デバイスは、ＳａｍｐｌｅＴｏＧｒｏｕｐボックス３１０中のデータに基づいて、ファイル３００中のサンプル３０５の中からＳＴＳＡサンプルを識別し得る。本開示の１つまたは複数の追加の例示的な技法によれば、ＳａｍｐｌｅＴｏＧｒｏｕｐボックス３１０は、サンプルグループ中の各サンプルがイントラサンプルであることを示し得る。したがって、デバイスは、ＳａｍｐｌｅＴｏＧｒｏｕｐボックス３１０中のデータに基づいて、ファイル３００中のサンプル３０５の中からイントラサンプルを識別し得る。

[0187]本開示の１つまたは複数の追加の例示的な技法によれば、ＨＥＶＣデコーダ構成記録３１４は、ＨＥＶＣデコーダ構成記録３１４が適用されたストリームが復号されるときにアクティブにされるすべてのＳＰＳが、それらのＳＰＳに関連付けられたいずれかのサンプルにおいていずれかの上位時間サブレイヤへの時間サブレイヤアップスイッチングが実行され得ることを示すシンタックス要素を有するかどうかを示す要素を含み得る。したがって、デバイスは、ビデオデータのコード化ピクチャを含んでいるサンプル３０５を含んでいるファイル３００のサンプルテーブルボックス３０８中のＨＥＶＣデコーダ構成記録３１４中の要素に基づいて、ＨＥＶＣデコーダ構成記録３１４が適用されたストリームが復号されるときにアクティブにされるすべてのＳＰＳが、それらのＳＰＳに関連付けられたいずれかのサンプルにおいていずれかの上位時間サブレイヤへの時間サブレイヤアップスイッチングが実行され得ることを示すシンタックス要素を有することを判断し得る。

[0188]１つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、一般に、（１）非一時的である有形コンピュータ可読記憶媒体、または（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コードおよび／またはデータ構造を取り出すために、１つまたは複数のコンピュータあるいは１つまたは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。

[0189]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは、命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用されコンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ−ｒａｙディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。

[0190]命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、あるいは他の等価な集積回路またはディスクリート論理回路など、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造、または本明細書で説明した技法の実装に好適な他の構造のいずれかを指すことがある。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用ハードウェアおよび／またはソフトウェアモジュール内に与えられるか、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素において十分に実装され得る。

[0191]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示する技法を実行するように構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明したが、それらの構成要素、モジュール、またはユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明した１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作ハードウェアユニットの集合によって与えられ得る。

[0192]様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］ ビデオデータを処理する方法であって、前記方法が、
サンプルグループを識別するボックス中のデータに基づいて、前記ボックスを含んでいるファイル中のサンプルの中から前記ビデオデータのステップワイズ時間サブレイヤアクセス（ＳＴＳＡ）サンプルを識別すること
を備える、方法。
［Ｃ２］ 前記ボックスがＳａｍｐｌｅＴｏＧｒｏｕｐボックスである、Ｃ１に記載の方法。
［Ｃ３］ 前記ボックスが、「ｓｔｓａ」の値をもつグルーピングタイプ要素を含む、Ｃ１に記載の方法。
［Ｃ４］ 前記ファイルは、ＳＴＳＡサンプルをマークするために前記サンプルグループが使用されることを示すエントリを含むサンプルグループ記述ボックスを含む、Ｃ１に記載の方法。
［Ｃ５］ 前記ボックスが第１のボックスであり、
前記サンプルグループが第１のサンプルグループであり、
前記ファイルが、第２のサンプルグループを識別する第２のボックスを含んでおり、
前記方法が、前記第２のボックス中のデータに基づいて、前記ファイル中の前記サンプルの中からイントラサンプルを識別することをさらに備える、
Ｃ１に記載の方法。
［Ｃ６］ 前記第２のボックスがＳａｍｐｌｅＴｏＧｒｏｕｐボックスであり、
前記第２のボックスが、「ｉｐｓｇ」の値をもつグルーピングタイプ要素を含む、
Ｃ５に記載の方法。
［Ｃ７］ 前記ファイルは、イントラコード化ピクチャを含んでいるサンプルをマークするために前記第２のサンプルグループが使用されることを示すエントリを含むサンプルグループ記述ボックスを含む、Ｃ５に記載の方法。
［Ｃ８］ 前記サンプルグループ中の前記ＳＴＳＡサンプルのうちの１つにおいて時間アップスイッチングを実行することをさらに備える、Ｃ１に記載の方法。
［Ｃ９］ ビデオデータを記憶する方法であって、前記方法は、
前記ビデオデータのコード化ピクチャを含んでいる複数のサンプルと、
前記複数のサンプルの中からの１つまたは複数のサンプルを含んでいるサンプルグループを識別するボックスと、ここにおいて、前記ボックスは、前記サンプルグループ中の各サンプルがステップワイズ時間サブレイヤアクセス（ＳＴＳＡ）サンプルであることをさらに示す、
を備えるファイルを生成することを備える、方法。
［Ｃ１０］ 前記ボックスがＳａｍｐｌｅＴｏＧｒｏｕｐボックスである、Ｃ９に記載の方法。
［Ｃ１１］ 前記ボックスが、「ｓｔｓａ」の値をもつグルーピングタイプ要素を含む、Ｃ９に記載の方法。
［Ｃ１２］ 前記ファイルを生成することは、ＳＴＳＡサンプルをマークするために前記サンプルグループが使用されることを示すサンプルグループ記述ボックスを生成することを備える、Ｃ９に記載の方法。
［Ｃ１３］ 前記ボックスが第１のボックスであり、
前記サンプルグループが第１のサンプルグループであり、
前記ファイルを生成することが、前記ファイル中に第２のボックスを生成することを備え、前記第２のボックスが、前記複数のサンプルの中からの１つまたは複数のサンプルを含んでいる第２のサンプルグループを識別し、ここにおいて、前記第２のボックスは、前記第２のサンプルグループ中の各サンプルがイントラサンプルであることをさらに示す、
Ｃ９に記載の方法。
［Ｃ１４］ 前記第２のボックスがＳａｍｐｌｅＴｏＧｒｏｕｐボックスであり、
前記第２のボックスが、「ｉｐｓｇ」の値をもつグルーピングタイプ要素を含む、
Ｃ１３に記載の方法。
［Ｃ１５］ 前記ファイルを生成することは、イントラコード化ピクチャを含んでいるサンプルをマークするために前記第２のサンプルグループが使用されることを示すエントリを含むサンプルグループ記述ボックスを前記ファイル中に含めることを備える、Ｃ１３に記載の方法。
［Ｃ１６］ サンプルグループを識別するボックス中のデータに基づいて、前記ボックスを含んでいるファイル中のビデオデータのサンプルの中からステップワイズ時間サブレイヤアクセス（ＳＴＳＡ）サンプルを識別するように構成された１つまたは複数のプロセッサを備えるデバイス。
［Ｃ１７］ 前記ボックスがＳａｍｐｌｅＴｏＧｒｏｕｐボックスである、Ｃ１６に記載のデバイス。
［Ｃ１８］ 前記ボックスが、「ｓｔｓａ」の値をもつグルーピングタイプ要素を含む、Ｃ１６に記載のデバイス。
［Ｃ１９］ 前記ファイルは、ＳＴＳＡサンプルをマークするために前記サンプルグループが使用されることを示すエントリを含むサンプルグループ記述ボックスを含む、Ｃ１６に記載のデバイス。
［Ｃ２０］ 前記ボックスが第１のボックスであり、
前記サンプルグループが第１のサンプルグループであり、
前記ファイルが、第２のサンプルグループを識別する第２のボックスを含んでおり、
前記１つまたは複数のプロセッサが、前記第２のボックス中のデータに基づいて、前記ファイル中の前記サンプルの中からイントラサンプルを識別するようにさらに構成された、
Ｃ１６に記載のデバイス。
［Ｃ２１］ 前記第２のボックスがＳａｍｐｌｅＴｏＧｒｏｕｐボックスであり、
前記第２のボックスが、「ｉｐｓｇ」の値をもつグルーピングタイプ要素を含む、
Ｃ２０に記載のデバイス。
［Ｃ２２］ 前記ファイルは、イントラコード化ピクチャを含んでいるサンプルをマークするために前記第２のサンプルグループが使用されることを示すエントリを含むサンプルグループ記述ボックスを含む、Ｃ２０に記載のデバイス。
［Ｃ２３］ 前記１つまたは複数のプロセッサが、前記サンプルグループ中の前記ＳＴＳＡサンプルのうちの１つにおいて時間アップスイッチングを実行するようにさらに構成された、Ｃ１６に記載のデバイス。
［Ｃ２４］ ビデオデータのコード化ピクチャを含んでいる複数のサンプルと、
前記複数のサンプルの中からの１つまたは複数のサンプルを含んでいるサンプルグループを識別するボックスと、ここにおいて、前記ボックスは、前記サンプルグループ中の各サンプルがステップワイズ時間サブレイヤアクセス（ＳＴＳＡ）サンプルであることをさらに示す、
を備えるファイルを生成するように構成された１つまたは複数のプロセッサを備えるデバイス。
［Ｃ２５］ 前記ボックスがＳａｍｐｌｅＴｏＧｒｏｕｐボックスである、Ｃ２４に記載のデバイス。
［Ｃ２６］ 前記ボックスが、「ｓｔｓａ」の値をもつグルーピングタイプ要素を含む、Ｃ２４に記載のデバイス。
［Ｃ２７］ 前記１つまたは複数のプロセッサは、ＳＴＳＡサンプルをマークするために前記サンプルグループが使用されることを示すサンプルグループ記述ボックスを前記ファイル中に生成するように構成された、Ｃ２４に記載のデバイス。
［Ｃ２８］ 前記ボックスが第１のボックスであり、
前記サンプルグループが第１のサンプルグループであり、
前記１つまたは複数のプロセッサが、前記ファイル中に第２のボックスを生成するように構成され、前記第２のボックスが、前記複数のサンプルの中からの１つまたは複数のサンプルを含んでいる第２のサンプルグループを識別し、ここにおいて、前記第２のボックスは、前記第２のサンプルグループ中の各サンプルがイントラサンプルであることをさらに示す、
Ｃ２４に記載のデバイス。
［Ｃ２９］ 前記第２のボックスがＳａｍｐｌｅＴｏＧｒｏｕｐボックスであり、
前記第２のボックスが、「ｉｐｓｇ」の値をもつグルーピングタイプ要素を含む、
Ｃ２８に記載のデバイス。
［Ｃ３０］ 前記１つまたは複数のプロセッサは、前記ファイルが、イントラコード化ピクチャを含んでいるサンプルをマークするために前記第２のサンプルグループが使用されることを示すエントリを含むサンプルグループ記述ボックスを含むように、前記ファイルを生成するように構成された、Ｃ２８に記載のデバイス。
［Ｃ３１］ サンプルグループを識別するボックスを含んでいるファイルを受信するための手段と、
前記ボックス中のデータに基づいて、前記ファイル中のサンプルの中からビデオデータのステップワイズ時間サブレイヤアクセス（ＳＴＳＡ）サンプルを識別するための手段と
を備えるデバイス。
［Ｃ３２］ ビデオデータのコード化ピクチャを含んでいる複数のサンプルと、
前記複数のサンプルの中からの１つまたは複数のサンプルを含んでいるサンプルグループを識別するボックスと、ここにおいて、前記ボックスは、前記サンプルグループ中の各サンプルがステップワイズ時間サブレイヤアクセス（ＳＴＳＡ）サンプルであることをさらに示す、
を備えるファイルを生成するための手段と、
前記ファイルを出力するための手段と
を備えるデバイス。
［Ｃ３３］ 実行されたとき、１つまたは複数のプロセッサに、サンプルグループを識別するボックス中のデータに基づいて、前記ボックスを含んでいるファイル中のサンプルの中からステップワイズ時間サブレイヤアクセス（ＳＴＳＡ）サンプルを識別させる命令を記憶した非一時的コンピュータ可読記憶媒体。
［Ｃ３４］ 実行されたとき、１つまたは複数のプロセッサに、
コード化ピクチャを含んでいる複数のサンプルと、
前記複数のサンプルの中からの１つまたは複数のサンプルを含んでいるサンプルグループを識別するボックスと、ここにおいて、前記ボックスは、前記サンプルグループ中の各サンプルがステップワイズ時間サブレイヤアクセス（ＳＴＳＡ）サンプルであることをさらに示す、
を備えるファイルを生成させる命令を記憶した非一時的コンピュータ可読記憶媒体。

Claims (15)

1. ビデオデータを処理する方法であって、前記方法が、
   ＨＥＶＣコンテンツのためのフォーマットを有するファイルを受信することと、ここにおいて、
   前記ファイルは、サンプルを含み、前記サンプルの各々は、前記ビデオデータのそれぞれのコード化ピクチャを含み、
   前記ファイルは、サンプルグループを識別するボックスを含み、ここにおいて、前記ボックスは、前記サンプルを含まず、ここにおいて、前記ボックスは、前記サンプルのどのサンプルがステップワイズ時間サブレイヤアクセス（ＳＴＳＡ）サンプルであるかをマークするエントリを含み、前記ＳＴＳＡサンプルは、すぐ下位の時間サブレイヤから、前記それぞれのＳＴＳＡサンプルを含んでいる時間サブレイヤへのアップスイッチングを可能にする、
   前記エントリに基づいて、前記ファイル中の前記サンプルの中からＳＴＳＡサンプルを識別すること、
   を備える、方法。
2. 前記サンプルグループ中の前記ＳＴＳＡサンプルのうちの１つにおいてアップスイッチングを実行することをさらに備える、請求項１に記載の方法。
3. 符号化ビデオデータを含むＨＥＶＣコンテンツためのフォーマットを有するファイルを生成する方法であって、前記方法は、
   複数のサンプルと、前記サンプルの各々は、前記ビデオデータのそれぞれのコード化ピクチャを含む、
   サンプルグループを識別するボックスと、ここにおいて、前記ボックスは、前記サンプルを含まず、ここにおいて、前記ボックスは、前記サンプルのどのサンプルがステップワイズ時間サブレイヤアクセス（ＳＴＳＡ）サンプルであるかをマークするエントリを含み、ここにおいて、前記ＳＴＳＡサンプルの各々は、すぐ下位の時間サブレイヤから、前記ＳＴＳＡサンプルを含んでいる時間サブレイヤへの、前記ＳＴＳＡサンプルにおけるアップスイッチングを可能にするサンプルである、
   を備えるファイルを生成することを備える、方法。
4. 前記ボックスがＳａｍｐｌｅＴｏＧｒｏｕｐボックスである、請求項１または３に記載の方法。
5. 前記ボックスが、「ｓｔｓａ」の値をもつグルーピングタイプ要素を含む、請求項１または３に記載の方法。
6. 前記ファイルは、ＳＴＳＡサンプルをマークするために前記サンプルグループが使用されることを示すサンプルグループ記述ボックスを含む、請求項１または３に記載の方法。
7. 前記ボックスが第１のボックスであり、
   前記サンプルグループが第１のサンプルグループであり、
   前記ファイルは、前記ファイル中に第２のボックスを含み、前記第２のボックスが、前記複数のサンプルの中からの１つまたは複数のサンプルを含んでいる第２のサンプルグループを識別し、ここにおいて、前記第２のボックスは、前記第２のサンプルグループ中の各サンプルがイントラサンプルであることをさらに示す、
   請求項１または３に記載の方法。
8. 前記第２のボックスがＳａｍｐｌｅＴｏＧｒｏｕｐボックスであり、
   前記第２のボックスが、「ｉｐｓｇ」の値をもつグルーピングタイプ要素を含む、
   請求項７に記載の方法。
9. 前記ファイルは、イントラコード化ピクチャを含んでいるサンプルをマークするために前記第２のサンプルグループが使用されることを示すエントリを含むサンプルグループ記述ボックスを含む、請求項７に記載の方法。
10. ビデオデータを処理するためのデバイスであって、前記デバイスは、
    ＨＥＶＣコンテンツのためのフォーマットを有するファイルを受信するファイルを受信するための手段と、ここにおいて、
    前記ファイルは、サンプルを含み、
    前記サンプルの各々は、前記ビデオデータのそれぞれのコード化ピクチャを含み、
    前記ファイルは、サンプルグループを識別するボックスを含み、ここにおいて、前記ボックスは、前記サンプルを含まず、ここにおいて、前記ボックスは、前記サンプルのどのサンプルがステップワイズ時間サブレイヤアクセス（ＳＴＳＡ）サンプルであるかをマークするエントリを含み、前記ＳＴＳＡサンプルは、すぐ下位の時間サブレイヤから、前記それぞれのＳＴＳＡサンプルを含んでいる時間サブレイヤへのアップスイッチングを可能にする、
    前記エントリに基づいて、前記ファイル中のサンプルの中からビデオデータの前記ＳＴＳＡサンプルを識別するための手段と、
    を備えるデバイス。
11. 符号化ビデオデータを含むＨＥＶＣコンテンツためのフォーマットを有するファイルを生成するためのデバイスであって、前記デバイスは、
    複数のサンプルと、前記サンプルの各々は、前記ビデオデータのそれぞれのコード化ピクチャを含む、
    サンプルグループを識別するボックスと、ここにおいて、前記ボックスは、前記サンプルを含まず、ここにおいて、前記ボックスは、前記サンプルのどのサンプルがステップワイズ時間サブレイヤアクセス（ＳＴＳＡ）サンプルであるかをマークするエントリを含み、ここにおいて、前記ＳＴＳＡサンプルの各々は、すぐ下位の時間サブレイヤから、前記ＳＴＳＡサンプルを含んでいる時間サブレイヤへの、前記ＳＴＳＡサンプルにおけるアップスイッチングを可能にするサンプルである、
    を備えるファイルを生成するための手段と、
    前記ファイルを出力するための手段と
    を備えるデバイス。
12. 前記ボックスがＳａｍｐｌｅＴｏＧｒｏｕｐボックスである、請求項１０または１１に記載のデバイス。
13. 前記ボックスが、「ｓｔｓａ」の値をもつグルーピングタイプ要素を含む、請求項１０または１１に記載のデバイス。
14. 前記デバイスは、
    集積回路、
    マイクロプロセッサ、または
    ワイヤレス通信デバイス
    のうちの少なくとも１つを備える、請求項１０または１１に記載のデバイス。
15. 実行されたとき、１つまたは複数のプロセッサに、請求項１乃至９のうちのいずれか１項に記載の方法を実行させる命令を記憶した非一時的コンピュータ可読記憶媒体。

Images