JP6728074B2 - マルチレイヤビデオコーディング - Google Patents

Description

[0001]本出願は、その内容全体が参照により本明細書に組み込まれる、２０１４年６月２５日に出願された米国仮出願第６２／０１７，１２０号の利益を主張する。

[0002]本開示は、ビデオコーディングと、ビデオ圧縮と、ビットストリーム中の圧縮されたビデオと関連付けられるデータのシグナリングとに関する。

[0003]デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップコンピュータもしくはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラー電話もしくは衛星無線電話、いわゆる「スマートフォン」、ビデオ会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲のデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ１０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）規格によって定義された規格、およびそのような規格の拡張に記述されているビデオ圧縮技法などのビデオ圧縮技法を実装する。これらのビデオデバイスは、そのようなビデオ圧縮技法を実装することによって、デジタルビデオ情報を効率的に送信し、受信し、符号化し、復号し、および／または記憶し得る。

[0004]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減または除去するために空間的（イントラピクチャ）予測および／または時間的（インターピクチャ）予測を実行する。ブロックベースのビデオコーディングでは、ビデオスライス（すなわち、ビデオフレームまたはビデオフレームの一部）はビデオブロックに区分されてよく、これらのビデオブロックは、ツリーブロック、コーディングユニット（ＣＵ）および／またはコーディングノードと呼ばれることもある。ピクチャのイントラコーディングされた（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコーディングされた（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測、または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。

[0005]空間的予測または時間的予測は、コーディングされるべきブロックの予測ブロックをもたらす。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコーディングされたブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルに従って符号化され、残差データは、コーディングされたブロックと予測ブロックとの間の差分を示す。イントラコーディングされたブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換されて残差変換係数をもたらすことができ、その残差変換係数が、次いで量子化され得る。最初に２次元アレイで構成される量子化された変換係数は、変換係数の１次元ベクトルを生成するために走査されてよく、なお一層の圧縮を達成するためにエントロピーコーディングが適用されてよい。

[0006]本開示は、マルチレイヤビデオコーディングに関する技法を紹介し、より具体的には、独立した非ベースレイヤ（ＩＮＢＬ：independent non-base layer）のための表現フォーマットを含むマルチレイヤビデオコーディングの態様に関する。本開示は、あるＳＥＩメッセージおよびツーアクセスユニットデリミタの解釈のためにＳＰＳが使用されるかＰＰＳが使用されるかを決定するための技法を紹介する。

[0007]一例では、マルチレイヤビデオデータを符号化する方法は、アクセスユニットの第１のピクチャのための第１のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを生成することと、第１のＶＣＬ ＮＡＬユニットは第１のスライスタイプを備える、アクセスユニットの第２のピクチャのための第２のＶＣＬ ＮＡＬユニットを生成することと、第２のＶＣＬ ＮＡＬユニットは第２のスライスタイプを備える、第１のスライスタイプおよび第２のスライスタイプに基づいて、アクセスユニットデリミタ（ＡＵＤ）ＮＡＬユニットを生成することとを含む。

[0008]別の例では、マルチレイヤビデオデータを符号化するための装置は、アクセスユニットの第１のピクチャのための第１のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを生成するための手段と、第１のＶＣＬ ＮＡＬユニットは第１のスライスタイプを備える、アクセスユニットの第２のピクチャのための第２のＶＣＬ ＮＡＬユニットを生成するための手段と、第２のＶＣＬ ＮＡＬユニットは第２のスライスタイプを備える、第１のスライスタイプおよび第２のスライスタイプに基づいて、アクセスユニットデリミタ（ＡＵＤ）ＮＡＬユニットを生成するための手段とを含む。

[0009]別の例では、コンピュータ可読記憶媒体は、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに、アクセスユニットの第１のピクチャのための第１のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを生成することと、第１のＶＣＬ ＮＡＬユニットは第１のスライスタイプを備える、アクセスユニットの第２のピクチャのための第２のＶＣＬ ＮＡＬユニットを生成することと、第２のＶＣＬ ＮＡＬユニットは第２のスライスタイプを備える、第１のスライスタイプおよび第２のスライスタイプに基づいて、アクセスユニットデリミタ（ＡＵＤ）ＮＡＬユニットを生成することとを行わせる命令を記憶する。

[0010]一例では、ビデオデータを処理するためのデバイスは、マルチレイヤビデオデータのビットストリームの少なくとも一部分を記憶するように構成されるメモリと、１つまたは複数のプロセッサとを含み、１つまたは複数のプロセッサは、アクセスユニットの第１のピクチャのための第１のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを生成することと、第１のＶＣＬ ＮＡＬユニットは第１のスライスタイプを備える、アクセスユニットの第２のピクチャのための第２のＶＣＬ ＮＡＬユニットを生成することと、第２のＶＣＬ ＮＡＬユニットは第２のスライスタイプを備える、第１のスライスタイプおよび第２のスライスタイプに基づいて、アクセスユニットデリミタ（ＡＵＤ）ＮＡＬユニットを生成することとを行うように構成される。

[0011]本開示の１つまたは複数の例の詳細が添付の図面および以下の説明に記載される。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになろう。

[0012]本開示で説明される技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図。 [0013]本開示で説明される技法を実装し得る例示的なビデオエンコーダを示すブロック図。 [0014]本開示で説明される技法を実装し得る例示的なビデオデコーダを示すブロック図。 [0015]本開示の１つまたは複数の態様が実装され得る１つの例示的なネットワークを示すブロック図。 [0016]本開示の技法による例示的な方法を示すフローチャート。 [0017]本開示の技法による例示的な方法を示すフローチャート。 [0018]本開示の技法による例示的な方法を示すフローチャート。 [0019]本開示の技法による例示的な方法を示すフローチャート。

[0020]本開示は、マルチレイヤビデオコーディングに関する技法を紹介し、より具体的には、独立した非ベースレイヤ（ＩＮＢＬ：independent non-base layer）のための表現フォーマットを含むマルチレイヤビデオコーディングの態様に関する。本開示は、あるＳＥＩメッセージおよびツーアクセスユニットデリミタの解釈のためにＳＰＳが使用されるかＰＰＳが使用されるかを決定するための技法を紹介する。

[0021]本開示は、マルチレイヤの状況においてＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）規格において定義される補足強化情報（ＳＥＩ）メッセージを適用するための技法を含む。いくつかの事例では、以下で述べられるように、本技法は、ＨＥＶＣに対するマルチビュービデオコーディング拡張（ＭＶ−ＨＥＶＣ）またはＨＥＶＣに対するスケーラブルビデオコーディング（ＳＶＣ）拡張（ＳＨＶＣ）のような、ＨＥＶＣ規格に対するマルチレイヤ拡張とともに実行され得る。本開示の技法は全般にＨＥＶＣの用語を使用して説明されるが、本開示の技法は、いかなる特定のビデオコーディング規格にも必ずしも限定されず、加えて、または代替的に、ＨＥＶＣに対する他の拡張、他のマルチビューコーディング規格および／または他のマルチレイヤビデオコーディング規格とともに使用され得る。加えて、別段述べられない限り、以下で説明されるように、本開示の技法は独立にまたは組み合わせて適用され得ることを想定されたい。

[0022]ビデオデータの「レイヤ」は一般に、ビュー、解像度、忠実度、予備表現などのような少なくとも１つの共通の特性を有するピクチャのシーケンスを指し得る。たとえば、レイヤは、マルチビュービデオデータの特定のビュー（たとえば、視点）と関連付けられるビデオデータを含み得る。別の例として、レイヤは、スケーラブルビデオデータの特定のレイヤと関連付けられるビデオデータを含み得る。したがって、本開示は、ビデオデータのレイヤおよびビューを互換的に指すことがある。すなわち、ビデオデータのビューはビデオデータのレイヤと呼ばれることがあり、またはその逆のこともあり、複数のビューまたは複数のスケーラブルレイヤは、同じように、たとえばマルチレイヤコーディングシステムでは複数のレイヤと呼ばれることがある。加えて、（マルチレイヤビデオコーダまたはマルチレイヤエンコーダ−デコーダとも呼ばれる）マルチレイヤコーデックは、マルチビューコーデックまたはスケーラブルコーデック（たとえば、ＭＶ−ＨＥＶＣ、ＳＨＶＣ、または別のマルチレイヤコーディング技法を使用してビデオデータを符号化および／または復号するように構成されたコーデック）を指すことがある。

[0023]ピクチャはフレームまたはフィールドのいずれかであってよく、フィールドはフレームの１つおきの行（たとえば、偶数番目の行または奇数番目の行）を指し、フレームは偶数番目のフィールド（上フィールドとも呼ばれる）および奇数番目のフィールド（下フィールドとも呼ばれる）のような２つのフィールドの合成を指す。本開示は全般にピクチャまたはフレームに対する参照を伴う技法を説明するが、別段明示的に述べられていない限り、説明される技法はフィールドにも適用可能であり得ることを理解されたい。

[0024]ＨＥＶＣ規格は一般に、すべてが特定の値のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するネットワーク抽象化レイヤ（ＮＡＬ）ユニットと、関連する非ビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットとのセットとして、または階層的関係を有する構文的構造のセットのうちの１つとして、レイヤを定義する。ＨＥＶＣ規格は一般に、ＮＡＬユニットに含まれるデータのタイプの指示と、ローバイトシーケンスペイロード（ＲＢＳＰ）の形態でそのデータを含むバイトとを含む、シンタックス構造として、ＮＡＬユニットを定義する。シンタックス要素「ｎｕｈ＿ｌａｙｅｒ＿ｉｄ」は、ＮＡＬユニットが属するレイヤを識別する。

[0025]マルチレイヤビットストリームは、たとえばＳＨＶＣではベースレイヤと１つまたは複数の非ベースレイヤを含むことがあり、またはたとえばＭＶ−ＨＥＶＣでは複数のビューを含むことがある。スケーラブルビットストリームでは、ベースレイヤは通常、０に等しいレイヤ識別子（たとえば、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）を有し得る。非ベースレイヤは、０よりも大きなレイヤ識別子を有してよく、ベースレイヤに含まれない追加のビデオデータを提供することができる。たとえば、マルチビュービデオデータの非ベースレイヤは、ビデオデータの追加のビューを含み得る。スケーラブルビデオデータの非ベースレイヤは、スケーラブルビデオデータの追加のレイヤを含み得る。非ベースレイヤは、交換可能にエンハンスメントレイヤと呼ばれ得る。

[0026]マルチレイヤビットストリームのアクセスユニット（ＡＵと省略されることがある）は、一般に、共通の時間インスタンスのためのすべてのレイヤ成分（たとえば、すべてのＮＡＬユニット）を含むデータのユニットである。アクセスユニットのレイヤ成分は通常、一緒に出力される（すなわち、実質的に同時に出力される）ことが意図されており、ここで、ピクチャを出力することは一般に、復号ピクチャバッファ（ＤＰＢ）からピクチャを転送すること（たとえば、ＤＰＢから外部メモリにピクチャを記憶すること、ＤＰＢからディスプレイへピクチャを送ることなど）を伴う。ＳＨＶＣ拡張とＭＶ−ＨＥＶＣ拡張とを含むＨＥＶＣ規格は一般に、指定された分類規則に従って互いに関連付けられ、復号順序において連続的であり、ｎｕｈ＿ｌａｙｅｒ＿ｉｄの任意の特定の値を伴う多くとも１つのコーディングされたピクチャを含む、ＮＡＬユニットのセットとして、アクセスユニットを定義する。コーディングされたピクチャのＶＣＬ ＮＡＬユニットを含むことに加えて、アクセスユニットは、非ＶＣＬ ＮＡＬユニットも含み得る。アクセスユニットの復号は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄの任意の特定の値を伴う多くとも１つの復号されたピクチャをもたらす。アクセスユニットのあるシーケンスは、コーディングされたビデオシーケンス（ＣＶＳ：coded video sequence）と呼ばれ得る。

[0027]ビデオデータの符号化された表現を含むビットストリームは、一連のＮＡＬユニットを含み得る。ＮＡＬユニットは、ＶＣＬ ＮＡＬユニットと非ＶＣＬ ＮＡＬユニットとを含み得る。ＶＣＬ ＮＡＬユニットは、ピクチャのコーディングされたスライスを含み得る。非ＶＣＬ ＮＡＬユニットは、たとえば、ビデオパラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、１つまたは複数のＳＥＩメッセージ、または他のタイプのデータのような、他の情報をカプセル化し得る。

[0028]ビットストリームのＮＡＬユニットは、ビットストリームの様々なレイヤと関連付けられ得る。ＳＨＶＣでは、上で述べられたように、ベースレイヤ以外のレイヤは、「エンハンスメントレイヤ」と呼ばれてよく、ビデオデータの再生の品質を改善するデータを含み得る。ＭＶ−ＨＥＶＣのようなマルチビューコーディングおよび３次元ビデオ（３ＤＶ）コーディングでは、レイヤは、異なるビューと関連付けられるデータを含み得る。ビットストリームの各レイヤは、異なるレイヤ識別子と関連付けられる。

[0029]さらに、ＮＡＬユニットは時間識別子を含み得る。ビットストリームの各動作点は、レイヤ識別子のセットと時間識別子とを有する。ＮＡＬユニットが、ある動作点のためのレイヤ識別子のセット中のレイヤ識別子を指定し、ＮＡＬユニットの時間識別子が動作点の時間識別子以下である場合、ＮＡＬユニットは、その動作点と関連付けられる。

[0030]Ｈ．２６４／ＡＶＣとＨＥＶＣの両方でサポートされるＳＥＩ機構により、ビデオエンコーダは、出力ピクチャのサンプル値のビデオデコーダまたは他のデバイスによる正しい復号のために必要とされないが、ピクチャ出力タイミング、表示、ならびに損失の検出および補償のような様々な他の目的で使用され得るようなメタデータをビットストリームに含めることが可能になる。１つまたは複数のＳＥＩメッセージをカプセル化するＮＡＬユニットは、本明細書ではＳＥＩ ＮＡＬユニットと呼ばれる。１つのタイプのＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージである。スケーラブルネスティングＳＥＩメッセージは、１つまたは複数の追加ＳＥＩメッセージを含むＳＥＩメッセージである。スケーラブルネスティングＳＥＩメッセージは、ＳＥＩメッセージがマルチレイヤビットストリームの特定のレイヤに適用されるかまたは時間サブレイヤに適用されるかを示すために使用され得る。スケーラブルネスティングＳＥＩメッセージ中に含まれないＳＥＩメッセージは、本明細書では、ネストされていないＳＥＩメッセージと呼ばれる。

[0031]ある特定のタイプのＳＥＩメッセージは、特定の動作点にのみ適用可能な情報を含む。ビットストリームの動作点は、レイヤ識別子のセットおよび時間識別子と関連付けられる。動作点の表現は、動作点と関連付けられる各ＮＡＬユニットを含み得る。動作点の表現は、元のビットストリームとは異なるフレームレートおよび／またはビットレートを有することがある。これは、動作点の表現が元のビットストリームのいくつかのピクチャおよび／またはいくつかのデータを含まないことがあるからである。

[0032]本開示はさらに、アクセスユニットデリミタ（ＡＵＤ）ＮＡＬユニットに関する技法を含む。ＨＥＶＣ規格によれば、ＡＵＤ ＮＡＬユニットは、コーディングされたピクチャ中に存在するスライスのタイプを示すために、および、アクセスユニットの境界の検出を簡単にするために使用され得る。アクセスユニットデリミタと関連付けられる規範的な復号処理はない。

[0033]以下でより詳細に説明されるように、ビデオデータの表現フォーマットを示すこと、あるＳＥＩメッセージの解釈のためにＳＰＳが使用されるかＰＰＳが使用されるかを決定すること、およびＡＵＤ ＮＡＬユニットの解釈は、シングルレイヤビデオ中に存在しないマルチレイヤビデオにおいてはいくつかの課題をもたらす。本開示は、それらの課題に対処し得る技法を紹介する。

[0034]図１は、本開示で説明される技法を利用し得る例示的なビデオ符号化および復号システム１０を示すブロック図である。システム１０は、マルチレイヤビデオデータを符号化し、カプセル化し、送信し、カプセル化解除し、復号するように構成され得る。図１に示されるように、システム１０は、宛先デバイス１４によって後で復号されるべき符号化されたビデオデータを生成するソースデバイス１２を含む。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンのようなワイヤレス／セルラー電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲のデバイスのいずれかを備え得る。いくつかの場合には、ソースデバイス１２および宛先デバイス１４は、ワイヤレス通信に対応し得る。

[0035]宛先デバイス１４は、リンク１６を介して、復号されるべき符号化されたビデオデータを受信し得る。リンク１６は、ソースデバイス１２から宛先デバイス１４に符号化されたビデオデータを移動することが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、リンク１６は、ソースデバイス１２が、符号化されたビデオデータをリアルタイムで宛先デバイス１４に直接送信することを可能にするための通信媒体を備え得る。符号化されたビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス１４に送信され得る。通信媒体は、高周波（ＲＦ）スペクトルまたは１つもしくは複数の物理伝送線路のような、任意のワイヤレスまたは有線通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなどのパケットベースのネットワークの一部を形成し得る。通信媒体は、ソースデバイス１２から宛先デバイス１４への通信を容易にするために有用であり得る、ルータ、スイッチ、基地局、または任意の他の機器を含み得る。通信媒体はまた、セルラーネットワークまたはモバイルネットワークの一部を形成することがあり、ソースデバイス１２および宛先デバイス１４は、ＧＳＭ（登録商標）ネットワーク、ＣＤＭＡネットワーク、ＬＴＥ（登録商標）ネットワーク、または他のそのようなネットワークのような、セルラー通信規格を使用して通信するように構成され得る。

[0036]代替的に、符号化されたデータは出力インターフェース２２から記憶デバイス３２に出力され得る。同様に、符号化されたデータは、入力インターフェースによって記憶デバイス３２からアクセスされ得る。記憶デバイス３２は、ハードドライブ、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性メモリもしくは不揮発性メモリ、または、符号化されたビデオデータを記憶するための任意の他の好適なデジタル記憶媒体のような、種々の分散したまたはローカルでアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる例では、記憶デバイス３２は、ソースデバイス１２によって生成された符号化されたビデオを保持し得るファイルサーバまたは別の中間記憶デバイスに対応し得る。宛先デバイス１４は、ストリーミングまたはダウンロードを介して、記憶デバイス３２から、記憶されたビデオデータにアクセスすることができる。ファイルサーバは、符号化されたビデオデータを記憶することと、その符号化されたビデオデータを宛先デバイス１４に送信することとが可能な任意のタイプのサーバであり得る。例示的なファイルサーバは、（たとえば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワークアタッチストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブを含む。宛先デバイス１４は、インターネット接続を含む、任意の標準的なデータ接続を通じて符号化されたビデオデータにアクセスし得る。これは、ワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ（登録商標）接続）、有線接続（たとえば、ＤＳＬ、ケーブルモデムなど）、または、ファイルサーバに記憶された符号化されたビデオデータにアクセスするのに適した、両方の組合せを含み得る。記憶デバイス３２からの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、または両方の組合せであり得る。

[0037]本開示の技法は、必ずしもワイヤレスの用途または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例のような、種々のマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、および／またはビデオ電話のような適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。

[0038]図１の例では、ソースデバイス１２は、ビデオソース１８と、ビデオエンコーダ２０と、カプセル化ユニット２１と、出力インターフェース２２とを含む。いくつかの場合、出力インターフェース２２は、変調器／復調器（モデム）および／または送信機を含み得る。ソースデバイス１２において、ビデオソース１８は、ビデオキャプチャデバイス、たとえばビデオカメラ、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および／またはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムのようなソース、またはそのようなソースの組合せを含み得る。一例として、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、いわゆるカメラ電話またはビデオ電話を形成し得る。しかしながら、本開示で説明される技法は、ビデオコーディング全般に適用可能であることがあり、ワイヤレスおよび／または有線の適用例に適用され得る。

[0039]キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータにより生成されたビデオは、ビデオエンコーダ２０によって符号化され得る。カプセル化ユニット２１は、マルチメディアコンテンツの１つまたは複数の表現を形成することができ、ここで、表現の各々は１つまたは複数のレイヤを含み得る。いくつかの例では、ビデオエンコーダ２０は、たとえば、異なるフレームレート、異なるビットレート、異なる解像度、または他のそのような違いを伴う、異なる方法で各レイヤを符号化し得る。したがって、カプセル化ユニット２１は、様々な特性、たとえば、ビットレート、フレームレート、解像度などを有する様々な表現を形成し得る。

[0040]表現の各々は、宛先デバイス１４によって取り出され得るそれぞれのビットストリームに対応し得る。カプセル化ユニット２１は、たとえば、マルチメディアコンテンツに対するｍｅｄｉａ ｐｒｅｓｅｎｔａｔｉｏｎ ｄｅｓｃｒｉｐｔｉｏｎ（ＭＰＤ）データ構造内で、各表現に含まれるビューのビュー識別子（ｖｉｅｗ＿ｉｄ）の範囲の指示を与え得る。たとえば、カプセル化ユニット２１は、表現のビューに対する最大ビュー識別子と最小ビュー識別子との指示を与え得る。ＭＰＤはさらに、マルチメディアコンテンツの複数の表現の各々に対する出力を対象とするビューの最大の数の指示を与え得る。ＭＰＤまたはそのデータは、いくつかの例では、（１つまたは複数の）表現に対するマニフェストに記憶され得る。

[0041]符号化されたビデオデータは、ソースデバイス１２の出力インターフェース２２を介して宛先デバイス１４に直接送信され得る。符号化されたビデオデータは、さらに（または代替的に）、復号および／または再生のための宛先デバイス１４または他のデバイスによる後のアクセスのために、記憶デバイス３２に記憶され得る。

[0042]宛先デバイス１４は、入力インターフェース２８と、カプセル化解除ユニット２９と、ビデオデコーダ３０と、ディスプレイデバイス３１とを含む。いくつかの場合、入力インターフェース２８は、受信機および／またはモデムを含み得る。宛先デバイス１４の入力インターフェース２８は、リンク１６を通じて符号化されたビデオデータを受信する。リンク１６を通じて通信された、または記憶デバイス３２に提供された、符号化されたビデオデータは、ビデオデータを復号する際に、ビデオデコーダ３０のようなビデオデコーダが使用するための、ビデオエンコーダ２０によって生成された種々のシンタックス要素を含み得る。そのようなシンタックス要素は、通信媒体上で送信される、記憶媒体に記憶される、またはファイルサーバに記憶される、符号化されたビデオデータとともに含まれ得る。

[0043]宛先デバイス１４のカプセル化解除ユニット２９は、ビットストリーム（またはマルチレイヤコーディングの状況では「動作点」と呼ばれるビットストリームのサブセット）からのＳＥＩメッセージをカプセル化解除するユニットを表し得る。カプセル化解除ユニット２９は、カプセル化ユニット２１によって実行される動作とは逆の順序で動作を実行して、ＳＥＩメッセージのようなカプセル化された符号化されたビットストリームからのデータをカプセル化解除することができる。

[0044]ディスプレイデバイス３１は、宛先デバイス１４と一体であってよく、またはその外部にあってよい。いくつかの例では、宛先デバイス１４は、一体化されたディスプレイデバイスを含んでよく、また、外部ディスプレイデバイスとインターフェースするように構成されてよい。他の例では、宛先デバイス１４はディスプレイデバイスであり得る。一般に、ディスプレイデバイス３１は、復号されたビデオデータをユーザに表示し、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスのような、種々のディスプレイデバイスのいずれかを備え得る。

[0045]ビデオエンコーダ２０およびビデオデコーダ３０は各々、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアまたはそれらの任意の組合せのような、種々の好適なエンコーダ回路のいずれかとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、１つまたは複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行し得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は１つまたは複数のエンコーダまたはデコーダ中に含まれてよく、そのいずれもが、それぞれのデバイスにおいて複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。

[0046]図１には示されていないが、いくつかの態様では、ビデオエンコーダ２０およびビデオデコーダ３０は各々、オーディオエンコーダおよびデコーダと統合されてよく、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を扱うために、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含み得る。適用可能な場合、いくつかの例では、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータプロトコル（ＵＤＰ）のような他のプロトコルに準拠し得る。

[0047]本開示は全般に、ビデオエンコーダ２０が、ある情報をビデオデコーダ３０のような別のデバイスに「シグナリング」することに言及することがある。「シグナリング」という用語は、全般に、圧縮されたビデオデータを復号するために使用されるシンタックス要素および／または他のデータの通信を指し得る。そのような通信は、リアルタイムまたはほぼリアルタイムで発生し得る。代替的に、そのような通信は、符号化の時に符号化されたビットストリームの中でシンタックス要素をコンピュータ可読記憶媒体に記憶するときに発生し得るなど、ある時間の長さにわたって発生することがあり、これらの要素は次いで、この媒体に記憶された後の任意の時間に復号デバイスによって取り出され得る。

[0048]いくつかの例では、ビデオエンコーダ２０およびビデオデコーダ３０は、そのスケーラブルビデオコーディング（ＳＶＣ）拡張と、マルチビュービデオコーディング（ＭＶＣ）拡張と、ＭＶＣベースの３ＤＶ拡張とを含む、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌおよび（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られる）ＩＴＵ−Ｔ Ｈ．２６４のようなビデオ圧縮規格に従って動作する。他の例では、ビデオエンコーダ２０およびビデオデコーダ３０は、Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｏｎ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＪＣＴ−ＶＣ） ｏｆ ＩＴＵ−Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ （ＶＣＥＧ） ａｎｄ ＩＳＯ／ＩＥＣ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ （ＭＰＥＧ）によって開発されたＨＥＶＣに従って動作し得る。

[0049]さらに、ＨＥＶＣのためのスケーラブルビデオコーディング拡張と、マルチビューコーディング拡張と、３ＤＶ拡張とを作成する作業が進行中である。ＨＥＶＣのスケーラブルビデオコーディング拡張は、ＳＨＶＣと呼ばれることがある。ＳＨＶＣの最近のワーキングドラフト（ＷＤ）（以後、ＳＨＶＣ ＷＤ５または現在のＳＨＶＣ ＷＤと呼ばれる）は、Ｃｈｅｎ他、「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） ｓｃａｌａｂｌｅ ｅｘｔｅｎｓｉｏｎ ｄｒａｆｔ ５」、Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＪＣＴ−ＶＣ） ｏｆ ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３ ａｎｄ ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１、文書ＪＣＴＶＣ−Ｐ１００８＿ｖ４、第１６回会合、サンノゼ、２０１４年１月に記載されている。ＭＶ−ＨＥＶＣの最近のワーキングドラフト（ＷＤ）（以後、ＭＶ−ＨＥＶＣ ＷＤ７または現在のＭＶ−ＨＥＶＣ ＷＤと呼ばれる）は、Ｔｅｃｈ他、「ＭＶ−ＨＥＶＣ Ｄｒａｆｔ Ｔｅｘｔ ７」、Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＪＣＴ−ＶＣ） ｏｆ ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３ ａｎｄ ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１、文書ＪＣＴＶＣ−Ｇ１００４＿ｖ７、第１６回会合、サンノゼ、２０１４年１月に記載されている。

[0050]ＨＥＶＣおよび他のビデオコーディング規格では、ビデオシーケンスは一般に、一連のピクチャを含む。ピクチャは「フレーム」と呼ばれることもある。ピクチャは、Ｓ_L、Ｓ_CbおよびＳ_Crと表される３つのサンプルアレイを含み得る。Ｓ_Lは、ルーマサンプルの２次元アレイ（すなわち、ブロック）である。Ｓ_Cbは、Ｃｂクロミナンスサンプルの２次元アレイである。Ｓ_Crは、Ｃｒクロミナンスサンプルの２次元アレイである。クロミナンスサンプルは、本明細書では「クロマ」サンプルと呼ばれることもある。他の事例では、ピクチャは、モノクロームであってよく、ルーマサンプルのアレイのみを含み得る。

[0051]ビデオエンコーダ２０は、ピクチャの符号化された表現を生成するために、コーディングツリーユニット（ＣＴＵ）のセットを生成することができる。ＣＴＵの各々は、ルーマサンプルのコーディングツリーブロックと、クロマサンプルの２つの対応するコーディングツリーブロックと、それらのコーディングツリーブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。モノクロームピクチャまたは３つの別々のカラープレーンを有するピクチャでは、ＣＴＵは、単一のコーディングツリーブロックと、そのコーディングツリーブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。コーディングツリーブロックは、サンプルのＮｘＮのブロックであり得る。ＣＴＵは、「ツリーブロック」または「最大コーディングユニット」（ＬＣＵ）と呼ばれることもある。ＨＥＶＣのＣＴＵは、Ｈ．２６４／ＡＶＣのような他の規格のマクロブロックに広い意味で類似し得る。しかしながら、ＣＴＵは、必ずしも特定のサイズに限定されるとは限らず、１つまたは複数のコーディングユニット（ＣＵ）を含み得る。スライスは、ラスタースキャン順序で連続的に順序付けられた整数個のＣＴＵを含み得る。

[0052]コーディングされたＣＴＵを生成するために、ビデオエンコーダ２０は、コーディングツリーブロックをコーディングブロックに分割するために、ＣＴＵのコーディングツリーブロックに対して４分木区分を再帰的に実行することができ、したがって「コーディングツリーユニット」という名称である。コーディングブロックは、サンプルのＮｘＮのブロックであり得る。ＣＵは、ルーマサンプルアレイとＣｂサンプルアレイとＣｒサンプルアレイとを有するピクチャのルーマサンプルのコーディングブロックと、そのピクチャのクロマサンプルの２つの対応するコーディングブロックと、それらのコーディングブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。モノクロームピクチャまたは３つの別々のカラープレーンを有するピクチャでは、ＣＵは、単一のコーディングブロックと、そのコーディングブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。

[0053]ビデオエンコーダ２０は、ＣＵのコーディングブロックを１つまたは複数の予測ブロックに区分し得る。予測ブロックは、同じ予測が適用されるサンプルの矩形（すなわち、正方形または非正方形）ブロックである。ＣＵの予測ユニット（ＰＵ）は、ルーマサンプルの予測ブロックと、クロマサンプルの２つの対応する予測ブロックと、それらの予測ブロックを予測するために使用されるシンタックス構造とを備え得る。モノクロームピクチャまたは３つの別個のカラープレーンを有するピクチャでは、ＰＵは、単一の予測ブロックと、その予測ブロックを予測するために使用されるシンタックス構造とを備え得る。ビデオエンコーダ２０は、ＣＵの各ＰＵのルーマ予測ブロック、Ｃｂ予測ブロック、およびＣｒ予測ブロックのための、予測ルーマブロックと、予測Ｃｂブロックと、予測Ｃｒブロックとを生成することができる。

[0054]ビデオエンコーダ２０は、ＰＵの予測ブロックを生成するためにイントラ予測またはインター予測を使用することができる。ビデオエンコーダ２０がＰＵの予測ブロックを生成するためにイントラ予測を使用する場合、ビデオエンコーダ２０は、ＰＵと関連付けられたピクチャの復号されたサンプルに基づいてＰＵの予測ブロックを生成することができる。ビデオエンコーダ２０がＰＵの予測ブロックを生成するためにインター予測を使用する場合、ビデオエンコーダ２０は、ＰＵと関連付けられるピクチャ以外の１つまたは複数のピクチャの復号されたサンプルに基づいて、ＰＵの予測ブロックを生成することができる。

[0055]ビデオエンコーダ２０がＣＵの１つまたは複数のＰＵのための予測ルーマブロックと、予測Ｃｂブロックと、予測Ｃｒブロックとを生成した後、ビデオエンコーダ２０は、ＣＵのためのルーマ残差ブロックを生成することができる。ＣＵのルーマ残差ブロック中の各サンプルは、ＣＵの予測ルーマブロックの１つの中のルーマサンプルとＣＵの元のルーマコーディングブロック中の対応するサンプルとの間の差分を示す。加えて、ビデオエンコーダ２０は、ＣＵのためのＣｂ残差ブロックを生成することができる。ＣＵのＣｂ残差ブロック中の各サンプルは、ＣＵの予測Ｃｂブロックの１つの中のＣｂサンプルと、ＣＵの元のＣｂコーディングブロック中の対応するサンプルとの間の差を示し得る。ビデオエンコーダ２０は、ＣＵのためのＣｒ残差ブロックを生成することもできる。ＣＵのＣｒ残差ブロック中の各サンプルは、ＣＵの予測Ｃｒブロックの１つの中のＣｒサンプルと、ＣＵの元のＣｒコーディングブロック中の対応するサンプルとの間の差分を示し得る。

[0056]さらに、ビデオエンコーダ２０は、ＣＵのルーマ残差ブロックと、Ｃｂ残差ブロックと、Ｃｒ残差ブロックとを、１つまたは複数のルーマ変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに分解するために、４分木区分を使用し得る。変換ブロックは、同じ変換が適用されるサンプルの矩形（たとえば、正方形または非正方形）ブロックである。ＣＵの変換ユニット（ＴＵ）は、ルーマサンプルの変換ブロックと、クロマサンプルの２個の対応する変換ブロックと、それらの変換ブロックサンプルを変換するために使用されるシンタックス構造とを備え得る。したがって、ＣＵの各ＴＵは、ルーマ変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックと関連付けられ得る。ＴＵと関連付けられるルーマ変換ブロックは、ＣＵのルーマ残差ブロックのサブブロックであってよい。Ｃｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであってよい。Ｃｒ変換ブロックは、ＣＵのＣｒ残差ブロックのサブブロックであってよい。モノクロームピクチャまたは３つの別個のカラープレーンを有するピクチャでは、ＴＵは、単一の変換ブロックと、その変換ブロックのサンプルを変換するために使用されるシンタックス構造とを備え得る。

[0057]ビデオエンコーダ２０は、ＴＵのルーマ係数ブロックを生成するために、ＴＵのルーマ変換ブロックに１回または複数回の変換を適用することができる。係数ブロックは、変換係数の２次元アレイであり得る。変換係数は、スカラー量であってよい。ビデオエンコーダ２０は、ＴＵのためのＣｂ係数ブロックを生成するために、ＴＵのＣｂ変換ブロックに１回または複数回の変換を適用することができる。ビデオエンコーダ２０は、ＴＵのためのＣｒ係数ブロックを生成するために、ＴＵのＣｒ変換ブロックに１回または複数回の変換を適用することができる。

[0058]ビデオエンコーダ２０は、係数ブロック（たとえば、ルーマ係数ブロック、Ｃｂ係数ブロック、またはＣｒ係数ブロック）を生成した後、係数ブロックを量子化することができる。量子化は一般に、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化されさらなる圧縮を実現する、処理を指す。ビデオエンコーダ２０が係数ブロックを量子化した後、ビデオエンコーダ２０は、量子化された変換係数を示すシンタックス要素をエントロピー符号化し得る。たとえば、ビデオエンコーダ２０は、量子化された変換係数を示すシンタックス要素に対してコンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）を実行し得る。

[0059]ビデオエンコーダ２０は、コーディングされたピクチャおよび関連するデータの表現を形成するビットのシーケンスを含むビットストリームを出力し得る。ビットストリームは、一連のＮＡＬユニットを備え得る。ＮＡＬユニットは、ＮＡＬユニット中のデータのタイプの指示と、必要に応じてエミュレーション防止ビットが点在しているＲＢＳＰの形態でそのデータを含むバイトとを含む、シンタックス構造である。ＮＡＬユニットの各々は、ＮＡＬユニットヘッダを含み、ＲＢＳＰをカプセル化する。ＮＡＬユニットヘッダは、ＮＡＬユニットタイプコードを指示するシンタックス要素を含み得る。ＮＡＬユニットのＮＡＬユニットヘッダによって指定されるＮＡＬユニットタイプコードは、ＮＡＬユニットのタイプを示す。ＲＢＳＰは、ＮＡＬユニット内にカプセル化された整数個のバイトを含むシンタックス構造であり得る。いくつかの例では、ＲＢＳＰは０ビットを含む。

[0060]異なるタイプのＮＡＬユニットは、異なるタイプのＲＢＳＰをカプセル化し得る。たとえば、第１のタイプのＮＡＬユニットはＰＰＳのためのＲＢＳＰをカプセル化することができ、第２のタイプのＮＡＬユニットはコーディングされたスライスのためのＲＢＳＰをカプセル化することができ、第３のタイプのＮＡＬユニットはＳＥＩメッセージのためのＲＢＳＰをカプセル化することができ、以下同様である。ビデオコーディングデータのためのＲＢＳＰをカプセル化するＮＡＬユニットは（パラメータセットおよびＳＥＩメッセージのためのＲＢＳＰとは対照的に）、ＶＣＬ ＮＡＬユニットと呼ばれることがある。

[0061]ビデオデコーダ３０は、ビデオエンコーダ２０によって生成されたビットストリームを受信し得る。加えて、ビデオデコーダ３０は、ビットストリームからシンタックス要素を取得するために、ビットストリームを構文解析し得る。ビデオデコーダ３０は、ビットストリームから取得されたシンタックス要素に少なくとも一部基づいて、ビデオデータのピクチャを再構築することができる。ビデオデータを再構築するための処理は全般に、ビデオエンコーダ２０によって実行される処理の逆であり得る。加えて、ビデオデコーダ３０は、現在のＣＵのＴＵと関連付けられる係数ブロックを逆量子化し得る。ビデオデコーダ３０は、現在のＣＵのＴＵと関連付けられる変換ブロックを再構築するために、係数ブロックに対して逆変換を実行し得る。ビデオデコーダ３０は、現在のＣＵのＰＵのための予測ブロックのサンプルを現在のＣＵのＴＵの変換ブロックの対応するサンプルに追加することによって、現在のＣＵのコーディングブロックを再構築することができる。ピクチャの各ＣＵのためのコーディングブロックを再構築することによって、ビデオデコーダ３０はピクチャを再構築することができる。

[0062]マルチビューコーディングでは、異なる視点からの同じシーンの複数のビューが存在することがある。上で述べられたように、アクセスユニットは、同じ時間インスタンスに対応するピクチャのセットを含む。したがって、ビデオデータは、時間とともに生じる一連のアクセスユニットとして概念化され得る。「ビュー成分」は、単一のアクセスユニット中のビューのコーディングされた表現であり得る。本開示では、「ビュー」は、同じビュー識別子と関連付けられる一連のビュー成分を指し得る。例示的なタイプのビュー成分は、テクスチャビュー成分と深度ビュー成分とを含み得る。

[0063]マルチビューコーディングは、ビュー間予測をサポートする。ビュー間予測は、ＨＥＶＣにおいて使用されるインター予測と同様であり、同じシンタックス要素を使用し得る。しかしながら、ビデオコーダが現在のビデオユニット（ＰＵのような）に対してビュー間予測を実行するとき、ビデオエンコーダ２０は、参照ピクチャとして、その現在のビデオユニットと同じアクセスユニット中にあるが異なるビューの中にあるピクチャを使用し得る。対照的に、従来のインター予測は、参照ピクチャとして異なるアクセスユニット内のピクチャのみを使用する。

[0064]マルチビューコーディングでは、ビデオデコーダ（たとえば、ビデオデコーダ３０）が、あるビュー中のピクチャを、任意の他のビュー中のピクチャを参照せずに復号することができる場合、そのビューは「ベースビュー」と呼ばれ得る。非ベースビューの１つの中のピクチャをコーディングするとき、あるピクチャが異なるビュー中にあるが、ビデオコーダが現在コーディングしているピクチャと同じ時間インスタンス（すなわち、アクセスユニット）内にある場合、（ビデオエンコーダ２０またはビデオデコーダ３０のような）ビデオコーダは、参照ピクチャリストにそのピクチャを追加することができる。他のインター予測参照ピクチャと同様に、ビデオコーダは、参照ピクチャリストの任意の位置にビュー間予測参照ピクチャを挿入することができる。

[0065]Ｈ．２６４／ＡＶＣとＨＥＶＣの両方においてサポートされるＳＥＩ機構は、ビデオエンコーダ（たとえば、ビデオエンコーダ２０）が、出力ピクチャのサンプル値の正確な復号のためには要求されないが、ピクチャ出力タイミング、表示、ならびに損失の検出および補償のような他の様々な目的で使用され得るようなメタデータをビットストリームに含めることを可能にする。ビデオエンコーダ２０は、ピクチャのサンプル値の正確な復号に必要ではないメタデータをビットストリームに含めるために、ＳＥＩメッセージを使用することができる。しかしながら、ビデオデコーダ３０または他のデバイスは、ＳＥＩメッセージに含まれるメタデータを様々な他の目的で使用することができる。たとえば、ビデオデコーダ３０または別のデバイスは、ピクチャ出力タイミング、ピクチャ表示、損失検出、および誤り補償のために、ＳＥＩメッセージ中のメタデータを使用することができる。

[0066]ビデオエンコーダ２０は、アクセスユニットに含めるための１つまたは複数のＳＥＩ ＮＡＬユニットを生成することができる。言い換えれば、任意の数のＳＥＩ ＮＡＬユニットがアクセスユニットと関連付けられることがある。さらに、各ＳＥＩ ＮＡＬユニットは、１つまたは複数のＳＥＩメッセージを含み得る。つまり、ビデオエンコーダは、任意の数のＳＥＩ ＮＡＬユニットをアクセスユニットに含めることができ、各ＳＥＩ ＮＡＬユニットは、１つまたは複数のＳＥＩメッセージを含み得る。ＳＥＩ ＮＡＬユニットは、ＮＡＬユニットヘッダとペイロードとを含み得る。ＳＥＩ ＮＡＬユニットのＮＡＬユニットヘッダは、少なくとも第１のシンタックス要素と第２のシンタックス要素とを含む。第１のシンタックス要素は、ＳＥＩ ＮＡＬユニットのレイヤ識別子を指定する。第２のシンタックス要素は、ＳＥＩ ＮＡＬユニットの時間識別子を指定する。

[0067]ネストされたＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージに含まれるＳＥＩメッセージを指す。ネストされていないＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージに含まれないＳＥＩメッセージを指す。ＳＥＩ ＮＡＬユニットのペイロードは、ネストされたＳＥＩメッセージまたはネストされていないＳＥＩメッセージを備え得る。

[0068]ＨＥＶＣ規格は、様々なタイプのＳＥＩメッセージのためのシンタックスとセマンティクスとを記述する。しかしながら、ＳＥＩメッセージが規範となる復号処理に影響を及ぼさないので、ＨＥＶＣ規格はＳＥＩメッセージの扱いを記述しない。ＨＥＶＣ規格にＳＥＩメッセージを有する１つの理由は、補足データがＨＥＶＣを使用する様々なシステムにおいて同じように解釈されることを可能にするためである。ＨＥＶＣを使用する規格およびシステムは、ビデオエンコーダに、いくつかのＳＥＩメッセージを生成するように要求することがあり、または特定のタイプの受信されたＳＥＩメッセージの固有の扱いを定義することがある。

[0069]以下の表１は、ＨＥＶＣにおいて規定されるＳＥＩメッセージを列挙し、それらの目的を簡潔に記述している。

[0070]上で紹介されたように、本開示は、マルチレイヤビデオコーディングに関する技法、より具体的には、独立の非ベースレイヤ（ＩＮＢＬ）の表現フォーマットと、あるＳＥＩメッセージの解釈のためにＳＰＳが使用されるかＰＰＳが使用されるかということと、ＡＵＤ ＮＡＬユニットの処理とを含む、マルチレイヤビデオコーディングの態様に関するツー技法を紹介する。

[0071]ビデオエンコーダ２０はマルチレイヤビデオデータを生成するように構成されてよく、ビデオデコーダ３０はマルチレイヤビデオデータを復号するように構成されてよい。マルチレイヤビデオデータは、ベースレイヤと１つまたは複数の非ベースレイヤとを含み得る。非ベースレイヤは、復号のために他のレイヤに従属する従属ベースレイヤと、復号のために他のレイヤに従属しないＩＮＢＬの両方を含み得る。マルチレイヤビデオコーディングにおけるＩＮＢＬの既存の実装形態には、いくつかの潜在的な問題がある。

[0072]既存の実装形態についての潜在的な問題の１つの例として、０よりも大きなレイヤ識別子（たとえば、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）を伴うレイヤは、そのレイヤがＩＮＢＬであるかどうかとは無関係に、ＶＰＳにおいてシグナリングされる表現フォーマットを使用する。表現フォーマットは、幅、高さ、ビット深度、およびカラーフォーマットのようなパラメータを含む。１に等しいＶ１ＣｏｍｐａｔｉｂｌｅＳＰＳＦｌａｇまたは０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを伴うＳＰＳを参照するＩＮＢＬが、たとえばＪＣＴＶＣ−Ｒ００１０ｖ３／ＪＣＴ３Ｖ−Ｉ００１０ｖ３（ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１８＿Ｓａｐｐｏｒｏ／ｗｇ１１／ＪＣＴＶＣ−Ｒ００１０−ｖ３．ｚｉｐ）のＡＨＧ１０成果テキストにおいて規定されるような、ＨＥＶＣバージョン１に適合するベースレイヤとなるように書き換えられることになる場合、ＶＰＳからの使用される表現フォーマットがＳＰＳにおいてシグナリングされる（パラメータのいずれに対する）表現フォーマットとも異なるとき、書換え処理は、表現フォーマットがＶＰＳからの使用される表現フォーマットと同じとなるように、ＳＰＳを変更する必要がある。この要件は、ＳＰＳ全体の書換えを必要とすることがあり、このことは、ＨＥＶＣバージョン１に適合するベースレイヤへのＩＮＢＬの書換え処理を極めて複雑にし得る。

[0073]Ｖ１ＣｏｍｐａｔｉｂｌｅＳＰＳＦｌａｇが１に等しいとき、ＳＰＳは、ＨＥＶＣバージョン１において規定されるＳＰＳシンタックスに適合しており、ＨＥＶＣバージョン１に従って実装されるレガシーのＨＥＶＣデコーダによって構文解析され得る。Ｖ１ＣｏｍｐａｔｉｂｌｅＳＰＳＦｌａｇが０に等しいとき、ＳＰＳは、ＨＥＶＣバージョン１において規定されるＳＰＳシンタックスに適合しておらず、ＨＥＶＣバージョン１に従って実装されるレガシーのＨＥＶＣデコーダによって構文解析され得ない。

[0074]本開示は、上で説明された問題に対処することができるいくつかの技法を紹介する。一例として、ビデオエンコーダ２０は、ＶＰＳからの使用される表現フォーマットおよびＩＮＢＬのためにＳＰＳにおいてシグナリングされる表現フォーマットが同一となるように、マルチレイヤビデオを符号化するように構成され得る。加えて、または代替的に、ＩＮＢＬしか含まないビットストリーム区分に含まれるそのＩＮＢＬに対して、指定される表現フォーマットは、有効ＳＰＳにおいてシグナリングされる表現フォーマットである。加えて、または代替的に、任意のＩＮＢＬに対して、指定される表現フォーマットは、レイヤのための有効ＳＰＳにおいてシグナリングされる表現フォーマットであり得る。

[0075]マルチレイヤビデオの既存の実装形態についての潜在的な問題の別の例として、ＳＥＩメッセージは、たとえばＳＥＩメッセージがネストされるとき、複数のレイヤ、または、複数のレイヤを含む（出力）レイヤセットと関連付けられる（出力）動作点に適用されることがある。そのような事例では、複数の有効ＳＰＳおよび複数の有効ＰＰＳが存在することがある。たとえば、各レイヤに対して有効ＳＰＳおよび有効ＰＰＳが存在することがあり、このことは、いくつかのＳＥＩメッセージがどのＰＰＳまたはＳＰＳに適用されるかを不明確にすることがある。

[0076]たとえば、フラグ「ｇｅｎｅｒａｌ＿ｐｒｏｇｒｅｓｓｉｖｅ＿ｓｏｕｒｃｅ＿ｆｌａｇ」および「ｇｅｎｅｒａｌ＿ｉｎｔｅｒｌａｃｅｄ＿ｓｏｕｒｃｅ＿ｆｌａｇ」が、フレームフィールド情報ＳＥＩメッセージにおけるｆｆｉｎｆｏ＿ｓｏｕｒｃｅ＿ｓｃａｎ＿ｔｙｐｅのセマンティクスにおいて参照される。これらの２つのフラグは、プロファイル、層、およびレベル（ＰＴＬ：profile, tier and level）のシンタックス構造の中に位置し、このシンタックス構造は有効ＳＰＳの各々の中にあることがあり、フラグの複数のインスタンスはＶＰＳの中にも存在することがある。したがって、フレームフィールド情報ＳＥＩメッセージが複数のレイヤに適用されるとき、２つのフラグを含むどのシンタックス構造が適用されるかが明確にされるべきである。フレームフィールド情報ＳＥＩメッセージにおいてｆｆｉｎｆｏ＿ｐｉｃ＿ｓｔｒｕｃｔおよびｆｆｉｎｆｏ＿ｄｕｐｌｉｃａｔｅ＿ｆｌａｇのセマンティクスで使用されるＳＰＳフラグ「ｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇ」について、同様の問題が存在する。

[0077]上で説明された問題をより高い確率で解決するために、本開示は、フレームフィールド情報ＳＥＩメッセージが適用されるレイヤのためのすべての有効ＳＰＳに対してｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇの値が同じであることを要求し得る、符号化の制約を導入する。加えて、または代替的に、本開示は、ｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇの値がレイヤのためのすべてのアクティブＳＰＳに対して同じではない場合に、レイヤのセットに適用されるフレームフィールド情報ＳＥＩメッセージが存在しないことを要求し得る、符号化の制約を導入する。ＨＥＶＣでは、１に等しいｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇは、フィールドを表すピクチャをＣＶＳが伝えることを示し、ピクチャタイミングＳＥＩメッセージが現在のＣＶＳの各アクセスユニット中に存在すべきであることを規定する。ＨＥＶＣでは、０に等しいｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇは、フレームを表すピクチャをＣＶＳが伝えることと、ピクチャタイミングＳＥＩメッセージが現在のＣＶＳの任意のアクセスユニット中に存在することもまたはしないこともあることとを示す。

[0078]同様に、フラグ「ｇｅｎｅｒａｌ＿ｐｒｏｇｒｅｓｓｉｖｅ＿ｓｏｕｒｃｅ＿ｆｌａｇ」および「ｇｅｎｅｒａｌ＿ｉｎｔｅｒｌａｃｅｄ＿ｓｏｕｒｃｅ＿ｆｌａｇ」に対して、本開示はそれぞれ、フレームフィールド情報ＳＥＩメッセージが適用されるレイヤを含むビットストリーム区分に適用されるすべてのＰＴＬシンタックス構造に対して、フラグが同一であることを要求し得る符号化の制約を導入する。ＨＥＶＣによれば、ｇｅｎｅｒａｌ＿ｐｒｏｇｒｅｓｓｉｖｅ＿ｓｏｕｒｃｅ＿ｆｌａｇおよびｇｅｎｅｒａｌ＿ｉｎｔｅｒｌａｃｅｄ＿ｓｏｕｒｃｅ＿ｆｌａｇは、次のように解釈される。
− ｇｅｎｅｒａｌ＿ｐｒｏｇｒｅｓｓｉｖｅ＿ｓｏｕｒｃｅ＿ｆｌａｇが１に等しく、ｇｅｎｅｒａｌ＿ｉｎｔｅｒｌａｃｅｄ＿ｓｏｕｒｃｅ＿ｆｌａｇが０に等しい場合、ＣＶＳにおけるピクチャのソーススキャンタイプは、プログレッシブのみであると解釈されるべきである。
− そうではなく、ｇｅｎｅｒａｌ＿ｐｒｏｇｒｅｓｓｉｖｅ＿ｓｏｕｒｃｅ＿ｆｌａｇが０に等しく、ｇｅｎｅｒａｌ＿ｉｎｔｅｒｌａｃｅｄ＿ｓｏｕｒｃｅ＿ｆｌａｇが１に等しい場合、ＣＶＳにおけるピクチャのソーススキャンタイプは、インターレースのみであると解釈されるべきである。
− そうではなく、ｇｅｎｅｒａｌ＿ｐｒｏｇｒｅｓｓｉｖｅ＿ｓｏｕｒｃｅ＿ｆｌａｇが０に等しく、ｇｅｎｅｒａｌ＿ｉｎｔｅｒｌａｃｅｄ＿ｓｏｕｒｃｅ＿ｆｌａｇが０に等しい場合、ＣＶＳにおけるピクチャのソーススキャンタイプは、未知または未指定であると解釈されるべきである。

[0079]それ以外の場合（ｇｅｎｅｒａｌ＿ｐｒｏｇｒｅｓｓｉｖｅ＿ｓｏｕｒｃｅ＿ｆｌａｇが１に等しく、ｇｅｎｅｒａｌ＿ｉｎｔｅｒｌａｃｅｄ＿ｓｏｕｒｃｅ＿ｆｌａｇが１に等しい）、ＣＶＳの中の各ピクチャのソーススキャンタイプは、ピクチャタイミングＳＥＩメッセージにおいてシンタックス要素ｓｏｕｒｃｅ＿ｓｃａｎ＿ｔｙｐｅを使用してピクチャレベルで示される。そのような制約は、他のＳＥＩメッセージのシンタックス要素にも適用され得る。複数のレイヤまたは複数の（出力）レイヤセットに適用される任意のＳＥＩメッセージｓｅｉＡに対して、ｓｅｉＡの一部ではない任意のシンタックス要素の複数のインスタンスがｓｅｉＡの一部である任意のシンタックス要素のセマンティクスに関与するとき、ｓｅｉＡの一部ではないシンタックス要素の値はすべてのインスタンスに対して同じであることが要求される。したがって、ビデオエンコーダ２０が、ＳＥＩメッセージがマルチレイヤビデオデータの２つ以上のレイヤに適用されることを決定し、マルチレイヤビデオデータの２つ以上のレイヤと関連付けられる複数のインスタンスを有するシンタックス要素をＳＥＩメッセージが参照することを決定する場合、ビデオエンコーダ２０は、複数のインスタンスのすべてを同じ値に設定する。シンタックス要素は、ｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇシンタックス要素、ｇｅｎｅｒａｌ＿ｐｒｏｇｒｅｓｓｉｖｅ＿ｓｏｕｒｃｅ＿ｆｌａｇシンタックス要素、ｇｅｎｅｒａｌ＿ｉｎｔｅｒｌａｃｅｄ＿ｓｏｕｒｃｅ＿ｆｌａｇシンタックス要素、または本明細書で説明される任意の他のそのようなシンタックス要素のいずれであってもよい。

[0080]上で紹介されたように、本開示はまた、ＡＵＤ ＮＡＬユニットに関するいくつかの技法も紹介し、ＡＵＤ ＮＡＬユニットは、現在のように実装されると、マルチレイヤビデオとともに使用されるときにいくつかの潜在的な欠点を有する。ＡＵＤ ＮＡＬユニットにおけるシンタックス要素「ｐｉｃ＿ｔｙｐｅ」のセマンティクスは、マルチレイヤビットストリームのようなマルチレイヤの状況では明確ではないことがある。マルチレイヤの状況におけるアクセスユニットは、１つまたは複数のコーディングされたピクチャを含み得るが、ｐｉｃ＿ｔｙｐｅのセマンティクスは、「コーディングされたピクチャ」の中に存在するスライスのタイプを示すためにｐｉｃ＿ｔｙｐｅが使用され得ることを示している。したがって、アクセスユニットの中に複数のピクチャが存在する可能性がある、マルチレイヤビデオの状況では、現在のセマンティクスは不明確である。

[0081]この潜在的な欠点に対処するために、本開示は、ＡＵＤ ＮＡＬユニットのセマンティクスを次のように変更することを提案する。アクセスユニットデリミタのＲＢＳＰのセマンティクスが次のように変更される（下線付きのテキストが追加され、［［ブラックトテキスト］］が削除される）。
アクセスユニットデリミタは、［［ａ］］アクセスユニットデリミタＮＡＬユニットを含むアクセスユニット中のすべてのコーディングされたピクチャの中に存在するスライスのタイプを示し、アクセスユニットの境界の検出を簡単にするために使用され得る。アクセスユニットデリミタと関連付けられる規範的な復号処理はない。
ｐｉｃ＿ｔｙｐｅは、アクセスユニットデリミタＮＡＬユニットを含むアクセスユニット中のコーディングされたピクチャのすべてのスライスに対するｓｌｉｃｅ＿ｔｙｐｅの値がｐｉｃ＿ｔｙｐｅの所与の値に対して表７−２において列挙されるセットの一員であることを示す。ｐｉｃ＿ｔｙｐｅの値は、本規格のこのバージョンに適合するビットストリームにおいては０、１、または２に等しいものとする。ｐｉｃ＿ｔｙｐｅの他の値は、ＩＴＵ−Ｔ｜ＩＳＯ／ＩＥＣによる将来の使用のために確保されている。本規格のこのバージョンに適合するデコーダは、ｐｉｃ＿ｔｙｐｅの確保されている値を無視するものとする。ｐｉｃ＿ｔｙｐｅの値は、本規格のこのバージョンに適合するビットストリームにおいては０、１、または２に等しいものとする。ｐｉｃ＿ｔｙｐｅの他の値は、ＩＴＵ−Ｔ｜ＩＳＯ／ＩＥＣによる将来の使用のために確保されている。本規格のこのバージョンに適合するデコーダは、ｐｉｃ＿ｔｙｐｅの確保されている値を無視するものとする。

[0082]代替的に、ｐｉｃ＿ｔｙｐｅのセマンティクスは、ｐｉｃ＿ｔｙｐｅの値が、アクセスユニットデリミタＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを伴うアクセスユニット中のコーディングされたピクチャのすべてのスライスに対するｓｌｉｃｅ＿ｔｙｐｅの値がｐｉｃ＿ｔｙｐｅの所与の値に対して表７−２において列挙されるセットの一員であることを示すように、修正され得る。

[0083]マルチレイヤビデオコーディングの既存の実装形態には、０以外の数に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを伴うＡＵＤ ＮＡＬユニットを処理することに関するいくつかの潜在的な問題もある。たとえば、ＨＥＶＣバージョン１の規格には、次の制約がある。
アクセスユニットデリミタＮＡＬユニットが存在するとき、それは第１のＮＡＬユニットであるものとする。どのアクセスユニット中にも多くとも１つのアクセスユニットデリミタＮＡＬユニットがあるものとする。

[0084]この制約は、ＨＥＶＣバージョン１の規格に当てはまる。しかしながら、マルチレイヤビットストリームが０よりも大きなｎｕｈ＿ｌａｙｅｒ＿ｉｄを伴うＡＵＤ ＮＡＬユニットを含むとき、そのようなＡＵＤ ＮＡＬユニットは、バージョン１のデコーダにより、新たなアクセスユニットの始点であると見なされるべきではない。そうしないと、デコーダは、０よりも大きなｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するいずれのＮＡＬユニットも認識せず、そのようなマルチレイヤビットストリームのベースレイヤが別様に復号可能であり得るとしても、そのビットストリームを適合しないものとして見なすので、空のアクセスユニットを見ることになる。

[0085]本開示の技法によれば、ＡＵＤ ＮＡＬユニットの制約は次のように修正され得る（下線付きのテキストが追加されている）。
０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを伴うアクセスユニットデリミタＮＡＬユニットが存在するとき、それは第１のＮＡＬユニットであるものとする。どのアクセスユニット中にも０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを伴う多くとも１つのアクセスユニットデリミタＮＡＬユニットがあるものとする。

[0086]代替的に、この制約は次のように修正される。

[0087]０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを伴うアクセスユニットデリミタＮＡＬユニットが存在するとき、それは第１のＮＡＬユニットであるものとする。どのアクセスユニット中にも多くとも１つのアクセスユニットデリミタＮＡＬユニットがあるものとする。したがって、本開示の技法によれば、ビデオエンコーダ２０は、第１のアクセスユニットに対して、０に等しいレイヤ識別子の値（たとえば、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）の値を有する第１のＡＵＤ ＮＡＬユニットを生成し、第１のアクセスユニットに対して、０よりも大きなレイヤ識別子を有する後続のＡＵＤ ＮＡＬユニットを生成することができる。ビデオデコーダ３０は、第１のアクセスユニットに対して、０に等しいレイヤ識別子を伴う第１のＡＵＤ ＮＡＬユニットを受信することができ、第１のアクセスユニットに対して、０よりも大きなレイヤ識別子を有する後続のＡＵＤ ＮＡＬユニットを受信することができる。第１のアクセスユニットにおいて、第２のＡＵＤ ＮＡＬユニットは、第１のＡＵＤ ＮＡＬユニットおよび少なくとも１つのＶＣＬ ＮＡＬユニットに後続する。

[0088]図２は、本開示で説明される技法を実装し得る例示的なビデオエンコーダ２０を示すブロック図である。図２は、説明のために与えられており、本開示で広く例示され説明される技法を限定するものと見なされるべきではない。説明のために、本開示は、ＨＥＶＣコーディングの状況においてビデオエンコーダ２０を説明する。しかしながら、本開示の技法は、他のコーディング規格または方法にも適用可能であり得る。

[0089]ビデオエンコーダ２０は、本開示で説明される技法を実装し得る別の例示的なデバイスである後処理エンティティ２７にビデオを出力するように構成され得る。後処理エンティティ２７は、メディア認識ネットワーク要素（ＭＡＮＥ）、分割／編集デバイスまたは他の中間デバイスのような、ビデオエンコーダ２０からの符号化されたビデオデータを処理し得るビデオエンティティの例を表すものとする。いくつかの事例では、後処理エンティティ２７はネットワークエンティティの例であってよい。いくつかのビデオ符号化システムでは、後処理エンティティ２７およびビデオエンコーダ２０は別個のデバイスの部分であってよく、他の事例では、後処理エンティティ２７に関して説明される機能は、ビデオエンコーダ２０を備える同じデバイスによって実行されてよい。

[0090]ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコーディングとインターコーディングとを実行し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間冗長性を低減または除去するために空間予測に依拠する。インターコーディングは、ビデオシーケンスの隣接するフレームまたはピクチャ内のビデオの時間的冗長性を低減または除去するために時間予測に依拠する。イントラモード（Ｉモード）は、いくつかの空間ベースの圧縮モードのいずれかを指し得る。単方向予測（Ｐモード）または双予測（Ｂモード）のようなインターモードは、いくつかの時間ベースの圧縮モードのいずれかを指し得る。

[0091]図２の例では、ビデオエンコーダ２０は、ビデオデータメモリ３３と、区分ユニット３５と、予測処理ユニット４１と、フィルタユニット６３と、復号ピクチャバッファ（ＤＰＢ）６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６とを含む。予測処理ユニット４１は、動き推定ユニット４２と、動き補償ユニット４４と、イントラ予測処理ユニット４６とを含む。ビデオブロックの再構築のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換処理ユニット６０と、加算器６２とを含む。フィルタユニット６３は、デブロッキングフィルタ、適応ループフィルタ（ＡＬＦ）、およびサンプル適応オフセット（ＳＡＯ）フィルタのような、１つまたは複数のループフィルタを表すことが意図されている。図２では、フィルタユニット６３はループ内フィルタであるものとして示されているが、他の構成では、フィルタユニット６３はループ後フィルタとして実装され得る。

[0092]図２に示されるように、ビデオエンコーダ２０はビデオデータを受信し、受信されたビデオデータをビデオデータメモリ３３に記憶する。ビデオデータメモリ３３は、ビデオエンコーダ２０のコンポーネントによって符号化されるべきビデオデータを記憶し得る。ビデオデータメモリ３３に記憶されたビデオデータは、たとえば、ビデオソース１８から取得され得る。ＤＰＢ６４は、たとえば、イントラコーディングモードまたはインターコーディングモードでビデオエンコーダ２０によってビデオデータを符号化する際に使用するための、参照ビデオデータを記憶する参照ピクチャメモリであり得る。ビデオデータメモリ３３およびＤＰＢ６４は、同期ＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ（登録商標））、または他のタイプのメモリデバイスのような、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ３３およびＤＰＢ６４は、同じメモリデバイスまたは別個のメモリデバイスによって与えられ得る。様々な例では、ビデオデータメモリ３３は、ビデオエンコーダ２０の他のコンポーネントとともにオンチップであるか、またはそれらのコンポーネントに対してオフチップであり得る。

[0093]区分ユニット３５は、ビデオデータメモリ３３からビデオデータを取り出し、ビデオデータをビデオブロックに区分する。この区分は、たとえば、ＬＣＵおよびＣＵの４分木構造に従って、スライス、タイル、または他のより大きいユニットへの区分、ならびにビデオブロックの区分も含み得る。ビデオエンコーダ２０は一般に、符号化されるべきビデオスライス内のビデオブロックを符号化するコンポーネントを示す。スライスは、複数のビデオブロック（場合によってはタイルと呼ばれるビデオブロックのセット）に分割され得る。予測処理ユニット４１は、誤差結果（たとえばコーディングレートおよびひずみレベル）に基づいて現在のビデオブロックについて、複数のイントラコーディングモードの１つ、または複数のインターコーディングモードの１つのような、複数の可能なコーディングモードの１つを選択し得る。予測処理ユニット４１は、得られたイントラコーディングされたブロックまたはインターコーディングされたブロックを、残差ブロックデータを生成するために加算器５０に与え、参照ピクチャとして使用するための符号化されたブロックを再構築するために加算器６２に与え得る。

[0094]予測処理ユニット４１内のイントラ予測処理ユニット４６は、空間的圧縮を行うために、コーディングされるべき現在のブロックと同じフレームまたはスライス中の１つまたは複数の隣接ブロックに対して現在のビデオブロックのイントラ予測コーディングを実行することができる。予測処理ユニット４１内の動き推定ユニット４２および動き補償ユニット４４は、時間的圧縮を行うために、１つまたは複数の参照ピクチャ中の１つまたは複数の予測ブロックに対して現在のビデオブロックのインター予測コーディングを実行する。

[0095]動き推定ユニット４２は、ビデオシーケンスの所定のパターンに従ってビデオスライスのためのインター予測モードを決定するように構成され得る。所定のパターンは、シーケンス中のビデオスライスをＰスライスまたはＢスライスとして指定することができる。動き推定ユニット４２および動き補償ユニット４４は、高度に統合され得るが、概念的な目的のために別々に示されている。動き推定ユニット４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成する処理である。動きベクトルは、たとえば、参照ピクチャ内の予測ブロックに対する現在のビデオフレームまたはピクチャ内のビデオブロックのＰＵの変位を示し得る。

[0096]予測ブロックは、絶対値差分和（ＳＡＤ）、差分２乗和（ＳＳＤ）、または他の差分の尺度によって決定され得るピクセル差分に関して、コーディングされるべきビデオブロックのＰＵに厳密に一致することが判明しているブロックである。いくつかの例では、ビデオエンコーダ２０は、ＤＰＢ６４に記憶された参照ピクチャのサブ整数ピクセル位置の値を計算し得る。たとえば、ビデオエンコーダ２０は、参照ピクチャの４分の１ピクセル位置、８分の１ピクセル位置、または他の分数ピクセル位置の値を補間し得る。したがって、動き推定ユニット４２は、フルピクセル位置と分数ピクセル位置とに対して動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。

[0097]動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコーディングされたスライスにおけるビデオブロックのＰＵのための動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）または第２の参照ピクチャリスト（リスト１）から選択されてよく、それらの参照ピクチャリストの各々は、ＤＰＢ６４に記憶された１つまたは複数の参照ピクチャを識別する。動き推定ユニット４２は、計算された動きベクトルをエントロピー符号化ユニット５６と動き補償ユニット４４とに送る。

[0098]動き補償ユニット４４によって実行される動き補償は、動き推定によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成すること、場合によってはサブピクセル精度への補間を実行することを伴い得る。現在のビデオブロックのＰＵのための動きベクトルを受信すると、動き補償ユニット４４は、動きベクトルが参照ピクチャリストの１つにおいて指す予測ブロックの位置を特定し得る。ビデオエンコーダ２０は、コーディングされている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって残差ビデオブロックを形成する。ピクセル差分値は、ブロックの残差データを形成し、ルーマとクロマの両方の差分成分を含み得る。加算器５０は、この減算演算を実行する１つまたは複数のコンポーネントを表す。動き補償ユニット４４はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用するための、ビデオブロックおよびビデオスライスと関連付けられるシンタックス要素を生成し得る。

[0099]イントラ予測処理ユニット４６は、上で説明されたように、動き推定ユニット４２および動き補償ユニット４４によって実行されるインター予測の代替として、現在のブロックをイントラ予測し得る。特に、イントラ予測処理ユニット４６は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定し得る。いくつかの例では、イントラ予測処理ユニット４６は、たとえば、別個の符号化パスの間に、様々なイントラ予測モードを使用して現在のブロックを符号化することができ、イントラ予測処理ユニット４６（または、いくつかの例では、モード選択ユニット４０）は、試験されたモードから使用するのに適切なイントラ予測モードを選択することができる。たとえば、イントラ予測処理ユニット４６は、様々な試験されたイントラ予測モードに対するレートひずみ分析を使用してレートひずみ値を計算し、試験されたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択し得る。レートひずみ分析は、一般に、符号化されたブロックと、符号化されたブロックを生成するために符号化された元の符号化されていないブロックとの間のひずみ（または誤差）の量、ならびに符号化されたブロックを生成するために使用されたビットレート（すなわち、ビットの数）を決定する。イントラ予測処理ユニット４６は、符号化された様々なブロックのひずみおよびレートから比を計算し、どのイントラ予測モードがブロックの最良のレートひずみ値を示すかを決定し得る。

[0100]いずれの場合も、ブロックのためのイントラ予測モードを選択した後に、イントラ予測処理ユニット４６は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット５６に与え得る。エントロピー符号化ユニット５６は、本開示の技法に従って、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ２０は、複数のイントラ予測モードインデックステーブルおよび複数の修正されたイントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）と、様々なブロックの符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル、および修正されたイントラ予測モードインデックステーブルの指示とを含み得る構成データを、送信されるビットストリームに含め得る。

[0101]予測処理ユニット４１が、インター予測またはイントラ予測のいずれかを介して、現在のビデオブロックのための予測ブロックを生成した後に、ビデオエンコーダ２０は、現在のビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロック中の残差ビデオデータは、１つまたは複数のＴＵ中に含まれ、変換処理ユニット５２に適用され得る。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）または概念的に同様の変換などの変換を使用して、残差ビデオデータを残差変換係数に変換する。変換処理ユニット５２は、残差ビデオデータをピクセル領域からの周波数領域などの変換領域に変換し得る。

[0102]変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送り得る。量子化ユニット５４は、ビットレートをさらに低減するために変換係数を量子化する。量子化処理は、係数の一部またはすべてと関連付けられるビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって変更され得る。いくつかの例では、量子化ユニット５４は次いで、量子化された変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット５６が、走査を実行し得る。

[0103]量子化の後、エントロピー符号化ユニット５６は、量子化された変換係数をエントロピー符号化する。たとえば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コーディング、または別のエントロピー符号化方法もしくは技法を実行し得る。エントロピー符号化ユニット５６によるエントロピー符号化の後に、符号化されたビットストリームは、ビデオデコーダ３０に送信され、またはビデオデコーダ３０による後の送信または取り出しのためにアーカイブされ得る。エントロピー符号化ユニット５６はまた、コーディングされている現在のビデオスライスのための動きベクトルと他のシンタックス要素とをエントロピー符号化することができる。

[0104]逆量子化ユニット５８および逆変換処理ユニット６０は、それぞれ逆量子化および逆変換を適用して、参照ピクチャの参照ブロックとして後で使用するためにピクセル領域において残差ブロックを再構築する。動き補償ユニット４４は、残差ブロックを参照ピクチャリストの１つの中の参照ピクチャの１つの予測ブロックに加算することによって参照ブロックを計算することができる。動き補償ユニット４４はまた、再構築された残差ブロックに１つまたは複数の補間フィルタを適用して、動き推定において使用するためのサブ整数ピクセル値を計算し得る。加算器６２は、再構築された残差ブロックを動き補償ユニット４４によって生成された動き補償予測ブロックに加算して、ＤＰＢ６４に記憶するための参照ブロックを生成する。参照ブロックは、後続のビデオフレームまたはピクチャ中のブロックをインター予測するために、動き推定ユニット４２および動き補償ユニット４４によって参照ブロックとして使用され得る。

[0105]本開示の態様によれば、ビデオエンコーダ２０は、マルチレイヤビデオデータの２つ以上のレイヤに補足強化情報（ＳＥＩ）メッセージが適用されることを決定し、マルチレイヤビデオデータの２つ以上のレイヤと関連付けられる複数のインスタンスを有するシンタックス要素をＳＥＩメッセージが参照することを決定するように構成され得る。そのような事例では、ビデオエンコーダ２０は、複数のインスタンスのすべてを同じ値に設定することができる。

[0106]本開示の態様によれば、ビデオエンコーダ２０はまた、アクセスユニットの第１のピクチャに対する第１のＶＣＬ ＮＡＬユニットを生成するように構成され得る。第１のＶＣＬ ＮＡＬユニットは、第１のスライスタイプを含む。ビデオエンコーダ２０は、アクセスユニットの第２のピクチャに対する第２のＶＣＬ ＮＡＬユニットを生成することができる。第２のＶＣＬ ＮＡＬユニットは、第２のスライスタイプを含む。ビデオエンコーダ２０は、第１のスライスタイプおよび第２のスライスタイプに基づいて、ＡＵＤ ＮＡＬユニットを生成することができる。

[0107]図３は、本開示で説明される技法を実装し得る例示的なビデオデコーダ３０を示すブロック図である。図３は、説明のために与えられており、本開示で広く例示され説明される技法に対する限定ではない。説明のために、本開示は、ＨＥＶＣコーディングの状況においてビデオデコーダ３０を説明する。しかしながら、本開示の技法は、他のコーディング規格またはコーディング方法に適用可能であり得る。

[0108]図３の例では、ビデオデコーダ３０は、エントロピー復号ユニット８０と、予測処理ユニット８１と、逆量子化ユニット８６と、逆変換処理ユニット８８と、加算器９０と、フィルタユニット９１と、参照ピクチャメモリ９２とを含む。予測処理ユニット８１は、動き補償ユニット８２と、イントラ予測処理ユニット８４とを含む。ビデオデコーダ３０は、いくつかの例では、図２からのビデオエンコーダ２０に関して説明された符号化パスとは全般に逆の復号パスを実行し得る。

[0109]復号処理の間、ビデオデコーダ３０は、符号化されたビデオスライスのビデオブロックと、関連するシンタックス要素とを表す、符号化されたビデオビットストリームをビデオエンコーダ２０から受信する。ビデオデコーダ３０は、ネットワークエンティティ７８から符号化されたビデオビットストリームを受信し得る。ネットワークエンティティ７８は、たとえば、上で説明された技法の１つまたは複数を実装するように構成されたサーバ、ＭＡＮＥ、ビデオエディタ／スプライサ、または他のそのようなデバイスであり得る。ネットワークエンティティ７８は、ビデオエンコーダ２０のようなビデオエンコーダを含んでもよく、または含まなくてもよい。本開示で説明される技法のいくつかは、ネットワークエンティティ７８が符号化されたビデオビットストリームをビデオデコーダ３０に送信するよりも前に、ネットワークエンティティ７８によって実施され得る。いくつかのビデオ復号システムでは、ネットワークエンティティ７８およびビデオデコーダ３０は別個のデバイスの一部であり得るが、他の事例では、ネットワークエンティティ７８に関して説明される機能は、ビデオデコーダ３０を備える同じデバイスによって実行され得る。

[0110]復号処理の間、ビデオデコーダ３０は、符号化されたビデオスライスのビデオブロックと、関連するシンタックス要素とを表す、符号化されたビデオビットストリームをビデオエンコーダ２０から受信する。ビデオデコーダ３０は、受信された符号化されたビデオビットストリームをビデオデータメモリ７９に記憶する。ビデオデータメモリ７９は、ビデオデコーダ３０のコンポーネントによって復号されるべき符号化されたビデオビットストリームのようなビデオデータを記憶し得る。ビデオデータメモリ７９に記憶されたビデオデータは、たとえば、リンク１６を介して、記憶デバイス２６から、または、カメラのようなローカルビデオソースから、または、物理データ記憶媒体にアクセスすることによって取得され得る。ビデオデータメモリ７９は、符号化されたビデオビットストリームからの符号化されたビデオデータを記憶するコーディングピクチャバッファ（ＣＰＢ）を形成し得る。ＤＰＢ９４は、たとえば、イントラコーディングモードまたはインターコーディングモードでビデオデコーダ３０によってビデオデータを復号する際に使用するための参照ビデオデータを記憶する参照ピクチャメモリであり得る。ビデオデータメモリ７９およびＤＰＢ９４は、ＤＲＡＭ、ＳＤＲＡＭ、ＭＲＡＭ、ＲＲＡＭ、または他のタイプのメモリデバイスのような、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ７９およびＤＰＢ９４は、同じメモリデバイスまたは別個のメモリデバイスによって与えられ得る。様々な例では、ビデオデータメモリ７９は、ビデオデコーダ３０の他のコンポーネントとともにオンチップであるか、またはそれらのコンポーネントに対してオフチップであり得る。

[0111]ビデオデコーダ３０のエントロピー復号ユニット８０は、量子化された係数と、動きベクトルと、他のシンタックス要素とを生成するために、ビデオデータメモリ７９に記憶されているビデオデータを復号する。エントロピー復号ユニット８０は、動きベクトルと他のシンタックス要素とを予測処理ユニット８１に転送する。ビデオデコーダ３０は、ビデオスライスレベルおよび／またはビデオブロックレベルでシンタックス要素を受信することができる。

[0112]ビデオスライスがイントラコーディングされた（Ｉ）スライスとしてコーディングされるとき、予測処理ユニット８１のイントラ予測処理ユニット８４は、シグナリングされたイントラ予測モードと、現在のフレームまたはピクチャの前に復号されたブロックからのデータとに基づいて、現在のビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコーディングされる（すなわち、ＢまたはＰ）スライスとしてコーディングされるとき、予測処理ユニット８１の動き補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトルおよび他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの１つの中の、参照ピクチャの１つから生成され得る。ビデオデコーダ３０は、参照ピクチャメモリ９２に記憶された参照ピクチャに基づいて、デフォルトの構築技法を使用して、参照フレームリスト、すなわち、リスト０とリスト１とを構築することができる。

[0113]動き補償ユニット８２は、動きベクトルと他のシンタックス要素とを構文解析することによって現在のビデオスライスのビデオブロックのための予測情報を決定し、復号されている現在のビデオブロックのための予測ブロックを生成するために予測情報を使用する。たとえば、動き補償ユニット８２は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（たとえば、イントラまたはインター予測）と、インター予測スライスタイプ（たとえば、ＢスライスまたはＰスライス）と、スライスの参照ピクチャリストの１つまたは複数のための構築情報と、スライスの各々のインター符号化されたビデオブロックのための動きベクトルと、スライスの各々のインターコーディングされたビデオブロックのためのインター予測ステータスと、現在のビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素のいくつかを使用する。

[0114]動き補償ユニット８２はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット８２は、ビデオブロックの符号化の間にビデオエンコーダ２０によって使用されるような補間フィルタを使用して、参照ブロックのサブ整数ピクセルの補間された値を計算し得る。この場合、動き補償ユニット８２は、受信されたシンタックス要素からビデオエンコーダ２０によって使用される補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成し得る。

[0115]逆量子化ユニット８６は、ビットストリーム中で与えられ、エントロピー復号ユニット８０によって復号された量子化された変換係数を逆量子化（inverse quantize）、すなわち、逆量子化（de-quantize）する。逆量子化処理は、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するための、ビデオスライス中のビデオブロックごとにビデオエンコーダ２０によって計算される量子化パラメータの使用を含み得る。逆変換ユニット８８は、ピクセル領域において残差ブロックを生成するために、逆変換、たとえば、逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換処理を変換係数に適用する。

[0116]動き補償ユニット８２が、動きベクトルおよび他のシンタックス要素に基づいて現在のビデオブロックのための予測ブロックを生成した後、ビデオデコーダ３０は、逆変換処理ユニット８８からの残差ブロックを動き補償ユニット８２によって生成された対応する予測ブロックと加算することによって、復号されたビデオブロックを形成する。加算器９０は、この加算演算を実行する１つまたは複数のコンポーネントを表す。所望される場合、ピクセル移行を平滑化するために、または別様にビデオ品質を向上させるために、（コーディングループの中とコーディングループの後のいずれかの）ループフィルタも使用され得る。

[0117]フィルタユニット９１は、デブロッキングフィルタ、適応ループフィルタ（ＡＬＦ）、およびサンプル適応オフセット（ＳＡＯ）フィルタのような、１つまたは複数のループフィルタを表すことが意図されている。図３では、フィルタユニット９１はループ内フィルタであるとして示されているが、他の構成では、フィルタユニット９１はループ後フィルタとして実装され得る。所与のフレームまたはピクチャ中の復号されたビデオブロックは、次いで、後続の動き補償のために使用される参照ピクチャを記憶する参照ピクチャメモリ９２に記憶される。参照ピクチャメモリ９２はまた、図１のディスプレイデバイス３１のようなディスプレイデバイス上での後の表示のために、復号されたビデオを記憶する。

[0118]本開示の態様によれば、ビデオデコーダ３０は、非ＩＮＢＬ）とＩＮＢＬとを含む複数のレイヤを備えるコーディングされたビデオデータを受信するように構成され得る。ビデオデコーダ３０は、第１の表現フォーマットパラメータを含むコーディングされたビデオデータと関連付けられるＶＰＳを受信し、第２の表現フォーマットパラメータを含むＩＮＢＬと関連付けられるＳＰＳを受信することができる。ビデオデコーダ３０は、第１の表現フォーマットパラメータに基づいて非ＩＮＢＬを復号し、第２の表現フォーマットパラメータに基づいてＩＮＢＬを復号することができる。

[0119]図４は、ネットワーク１２０の一部を形成するデバイスの例示的なセットを示すブロック図である。この例では、ネットワーク１２０は、ルーティングデバイス１２４Ａ、１２４Ｂ（ルーティングデバイス１２４）と、トランスコーディングデバイス１２６とを含む。ルーティングデバイス１２４およびトランスコーディングデバイス１２６は、ネットワーク１２０の一部を形成し得る少数のデバイスを表すことが意図される。スイッチ、ハブ、ゲートウェイ、ファイアウォール、ブリッジ、および他のそのようなデバイスのような、他のネットワークデバイスも、ネットワーク１２０に含まれ得る。その上、サーバデバイス１２２とクライアントデバイス１２８との間のネットワーク経路に沿って追加のネットワークデバイスが設けられ得る。いくつかの例では、サーバデバイス１２２はソースデバイス１２（図１）に対応し得るが、クライアントデバイス１２８は宛先デバイス１４（図１）に対応し得る。

[0120]一般に、ルーティングデバイス１２４は、ネットワーク１２０を通じてネットワークデータを交換するための１つまたは複数のルーティングプロトコルを実装する。いくつかの例では、ルーティングデバイス１２４は、プロキシまたはキャッシュ動作を実行するように構成され得る。したがって、いくつかの例では、ルーティングデバイス１２４はプロキシデバイスと呼ばれることがある。一般に、ルーティングデバイス１２４は、ネットワーク１２０を通じたルートを発見するためにルーティングプロトコルを実行する。そのようなルーティングプロトコルを実行することによって、ルーティングデバイス１２４Ｂは、それ自体からサーバデバイス１２２へのルーティングデバイス１２４Ａを介したネットワークルートを発見し得る。ルーティングデバイス１２４の１つまたは複数は、本開示の１つまたは複数の態様を使用するＭＡＮＥを備え得る。

[0121]たとえば、ＭＡＮＥは、非ＩＮＢＬとＩＮＢＬとを含む複数のレイヤを含むコーディングされたビデオデータを受信するように構成され得る。ＭＡＮＥは、第１の表現フォーマットパラメータを含むコーディングされたビデオデータと関連付けられるＶＰＳを受信することができる。ＭＡＮＥは、第２の表現フォーマットパラメータを含むＩＮＢＬと関連付けられるＳＰＳを受信することができる。ＭＡＮＥは、第１の表現フォーマットパラメータに基づいて非ＩＮＢＬを処理し、第２の表現フォーマットパラメータに基づいてＩＮＢＬを処理することができる。第２の表現フォーマットパラメータコンプライズイズに基づいてＩＮＢＬを処理することの一部として、ＭＡＮＥは、第２の表現フォーマットパラメータに基づいて、ＩＮＢＬをベースレイヤとなるように書き換えることができる。書換え処理の一部として、ＭＡＮＥは、ＩＮＢＬを、たとえばＨＥＶＣバージョン１に適合するベースレイヤへと、トランスコーディング（または変換）する。ＭＡＮＥは、ＩＮＢＬを入力として受信し、ＨＥＶＣバージョン１のデコーダに出力を送信する。

[0122]本開示の技法は、ルーティングデバイス１２４およびトランスコーディングデバイス１２６のようなネットワークデバイスによって実施され得るが、クライアントデバイス１２８によっても実施され得る。このように、ルーティングデバイス１２４、トランスコーディングデバイス１２６、およびクライアントデバイス１２８は、本開示の技法を実行するように構成されるデバイスの例を表す。その上、図１のデバイス、ならびに図２に示されるビデオエンコーダ２０および図３に示されるビデオデコーダ３０も、本開示の技法を実行するように構成され得る例示的なデバイスである。

[0123]図５は、本開示の技法による、マルチレイヤビデオデータを処理する方法を示すフローチャートである。図５の技法は、一般的なビデオ処理デバイスに関して説明される。ビデオ処理デバイスは、たとえば、後処理エンティティ２７、ネットワークエンティティ７８、ビデオデコーダ３０、ルーティングデバイス１２４、またはトランスコーディングデバイス１２６のような、ビデオ処理デバイスに対応し得る。ビデオ処理デバイスは、非ＩＮＢＬとＩＮＢＬとを含むコーディングされたビデオデータを受信する（１４０）。ビデオ処理デバイスは、コーディングされたビデオデータのために、第１の表現フォーマットパラメータを含むＶＰＳを受信する（１４２）。ビデオ処理デバイスは、第２の表現フォーマットパラメータを含むＩＮＢＬと関連付けられるＳＰＳを受信する（１４４）。ビデオ処理デバイスは、第１の表現フォーマットパラメータに基づいて非ＩＮＢＬを処理し（１４６）、第２の表現フォーマットパラメータに基づいてＩＮＢＬを処理する（１４８）。第１の表現フォーマットパラメータのうちの表現フォーマットパラメータの少なくとも１つの値は、第２の表現フォーマットパラメータのうちの表現フォーマットパラメータの少なくとも１つの値と異なり得る。

[0124]ビデオ処理デバイスがＭＡＮＥである場合、ビデオ処理デバイスは、第２の表現フォーマットパラメータに基づいてＩＮＢＬをベースレイヤとなるように書き換えることによって、第２の表現フォーマットパラメータに基づいてＩＮＢＬを処理することができる。ＩＮＢＬは、０よりも大きなレイヤ識別情報（たとえば、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）を有することがあり、ＩＮＢＬを書き換えることの一部として、ビデオ処理デバイスは、ＩＮＢＬのレイヤ識別情報を０に設定することができるので、０に等しいレイヤ識別情報を伴うベースレイヤを作成する。ＩＮＢＬから書き換えられたベースレイヤは、マルチレイヤビデオをサポートしないＨＥＶＣバージョン１のデコーダによって復号可能であり得る。

[0125]ビデオ処理デバイスがビデオデコーダである場合、ビデオ処理デバイスは、ＩＮＢＬを復号することによって、第２の表現フォーマットパラメータに基づいてＩＮＢＬをプロセシングすることができる。ＩＮＢＬを復号した後で、ビデオデコーダは、ＩＮＢＬおよび非ＩＮＢＬに基づいて、復号されたビデオを出力または表示することができる。

[0126]図６は、本開示の技法による、マルチレイヤビデオデータを符号化する方法を示すフローチャートである。図６の技法は、ビデオエンコーダ２０に関して説明される。ビデオエンコーダ２０は、マルチレイヤビデオデータの２つ以上のレイヤにＳＥＩメッセージが適用されることを決定する（１５０）。ビデオエンコーダ２０は、マルチレイヤビデオデータの２つ以上のレイヤと関連付けられる複数のインスタンスを有するシンタックス要素をＳＥＩメッセージが参照することを決定する（１５２）。マルチレイヤビデオデータの２つ以上のレイヤと関連付けられる複数のインスタンスを有するシンタックス要素をＳＥＩメッセージが参照することに応答して、ビデオエンコーダ２０は、複数のインスタンスのすべてを同じ値に設定する（１５４）。シンタックス要素の複数のインスタンスは、マルチレイヤビデオデータの第１のレイヤと関連付けられる第１のシーケンスパラメータセット中のシンタックス要素の第１のインスタンスと、マルチレイヤビデオデータの第２のレイヤと関連付けられる第２のシーケンスパラメータセット中のシンタックス要素の第２のインスタンスとを含み得る。シンタックス要素は、ｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇシンタックス要素、ｇｅｎｅｒａｌ＿ｐｒｏｇｒｅｓｓｉｖｅ＿ｓｏｕｒｃｅ＿ｆｌａｇシンタックス要素、またはｇｅｎｅｒａｌ＿ｉｎｔｅｒｌａｃｅｄ＿ｓｏｕｒｃｅ＿ｆｌａｇシンタックス要素のいずれであってもよい。

[0127]図７は、本開示の技法による、マルチレイヤビデオデータを符号化する方法を示すフローチャートである。図７の技法は、ビデオエンコーダ２０に関して説明される。ビデオエンコーダ２０は、アクセスユニットの第１のピクチャに対する第１のＶＣＬ ＮＡＬユニットを生成する（１６０）。第１のＶＣＬ ＮＡＬユニットは、第１のスライスタイプを含む。ビデオエンコーダ２０は、アクセスユニットの第２のピクチャに対する第２のＶＣＬ ＮＡＬユニットを生成する（１６２）。第２のＶＣＬ ＮＡＬユニットは、第２のスライスタイプを含む。ビデオエンコーダ２０は、第１のスライスタイプおよび第２のスライスタイプに基づいて、ＡＵＤ ＮＡＬユニットを生成する（１６４）。

[0128]ビデオエンコーダ２０は、第１のスライスタイプと第２のスライスタイプの両方をアクセスユニットが含むことを示すピクチャタイプシンタックス要素をＡＵＤ ＮＡＬユニットにおいて示すことによって、ＡＵＤ ＮＡＬユニットを生成することができる。第１のＡＵＤ ＮＡＬユニットは、アクセスユニットと先行するアクセスユニットとの境界を特定するために使用され得る。ＡＵＤ ＮＡＬユニットは、加えて、または代替的に、アクセスユニット中のすべてのピクチャに対するピクチャタイプを示すために使用され得る。第１のスライスタイプおよび第２のスライスタイプは、Ｉスライス、Ｐスライス、およびＢスライスからなる群から選択されてよく、または、第１のスライスタイプおよび第２のスライスタイプは、ＩスライスおよびＰスライスからなる群から選択されてよい。

[0129]図８は、本開示の技法による、マルチレイヤビデオデータを符号化する方法を示すフローチャートである。図８の技法は、ビデオデコーダ３０に関して説明される。ビデオデコーダ３０は、第１のアクセスユニットに対する第１のＡＵＤ ＮＡＬユニットを受信する（１７０）。第１のＡＵＤ ＮＡＬユニットのためのレイヤ識別子は０に等しい。ビデオデコーダ３０は、第１のアクセスユニットに対する第２のＡＵＤ ＮＡＬユニットを受信する（１７２）。第２のＡＵＤ ＮＡＬユニットのためのレイヤ識別子は０よりも大きい。ビデオデコーダ３０は、第１のアクセスユニットを復号する（１７４）。

[0130]第１のアクセスユニット中の第２のＡＵＤ ＮＡＬユニットは、復号順序において、第１のＡＵＤ ＮＡＬユニットと、第１のアクセスユニット中の少なくとも１つのビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットとに後続し得る。第１のＡＵＤ ＮＡＬユニットは、復号順序において、第１のアクセスユニット中で最初のＮＡＬユニットであり得る。第１のＡＵＤ ＮＡＬユニットは、第１のアクセスユニットと先行するアクセスユニットとの境界を特定することができる。いくつかの例では、第１のＡＵＤ ＮＡＬユニット以外の、第１のアクセスユニット中の他のＡＵＤ ＮＡＬユニットは、０に等しいレイヤ識別子を有しないことがある。

[0131]１つまたは複数の例では、説明される機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、一般に、（１）非一時的である有形のコンピュータ可読記憶媒体または（２）信号または搬送波などの通信媒体に相当し得る。データ記憶媒体は、本開示で説明される技法の実装のために命令、コードおよび／またはデータ構造を取り出すために、１つもしくは複数のコンピュータまたは１つもしくは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。

[0132]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、フラッシュメモリ、または、命令またはデータ構造の形式で所望のプログラムコードを記憶するために使用されコンピュータによってアクセスされ得る任意の他の媒体を備え得る。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、ウェブサイト、サーバ、または他のリモートソースから、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ−ｒａｙディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲に含まれるべきである。

[0133]命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、または他の等価な集積回路もしくはディスクリート論理回路のような、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用される「プロセッサ」という用語は、上述の構造または本明細書で説明された技法の実装に好適な任意の他の構造のいずれかを指し得る。加えて、いくつかの態様では、本明細書で説明される機能は、符号化および復号のために構成された専用のハードウェアおよび／もしくはソフトウェアモジュール内で与えられ、または複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素において完全に実装され得る。

[0134]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示される技法を実行するように構成されたデバイスの機能的態様を強調するために、様々なコンポーネント、モジュール、またはユニットが説明されたが、それらのコンポーネント、モジュール、またはユニットを、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上で説明されたように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上で説明された１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わされてよく、または相互動作するハードウェアユニットの集合によって与えられてよい。

[0135]様々な例が説明されてきた。これらおよび他の例は以下の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
マルチレイヤビデオデータを符号化する方法であって、
アクセスユニットの第１のピクチャのための第１のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを生成することと、前記第１のＶＣＬ ＮＡＬユニットは第１のスライスタイプを備える、
前記アクセスユニットの第２のピクチャのための第２のＶＣＬ ＮＡＬユニットを生成することと、前記第２のＶＣＬ ＮＡＬユニットは第２のスライスタイプを備える、
前記第１のスライスタイプおよび第２のスライスタイプに基づいて、アクセスユニットデリミタ（ＡＵＤ）ＮＡＬユニットを生成することとを備える、方法。
［Ｃ２］
前記ＡＵＤ ＮＡＬユニットを生成することが、前記第１のスライスタイプと前記第２のスライスタイプの両方をアクセスユニットが含むことを示すピクチャタイプシンタックス要素を前記ＡＵＤ ＮＡＬユニットにおいて示すことを備える、Ｃ１に記載の方法。
［Ｃ３］
前記ＡＵＤ ＮＡＬユニットが、前記アクセスユニット中のすべてのピクチャに対するピクチャタイプを示す、Ｃ１に記載の方法。
［Ｃ４］
前記第１のスライスタイプおよび前記第２のスライスタイプが、Ｉスライス、Ｐスライス、およびＢスライスからなる群から選択される、Ｃ１に記載の方法。
［Ｃ５］
前記第１のスライスタイプおよび前記第２のスライスタイプが、ＩスライスおよびＰスライスからなる群から選択される、Ｃ１に記載の方法。
［Ｃ６］
前記第１のＡＵＤ ＮＡＬユニットが、前記アクセスユニットと先行するアクセスユニットとの境界を特定する、Ｃ１に記載の方法。
［Ｃ７］
ワイヤレス通信デバイス上で実行可能であり、前記ワイヤレス通信デバイスが、
前記マルチレイヤビデオデータを記憶するように構成されるメモリと、
前記メモリに記憶されている前記マルチレイヤビデオデータを処理するための命令を実行するように構成される１つまたは複数のプロセッサと、
前記マルチレイヤビデオデータを送信するように構成される送信機とを備える、Ｃ１に記載の方法。
［Ｃ８］
前記ワイヤレス通信デバイスが携帯電話であり、前記送信機が、セルラー通信規格に従って変調されたデータとして前記マルチレイヤビデオデータを送信するように構成される、Ｃ７に記載の方法。
［Ｃ９］
ビデオデータを処理するためのデバイスであって、
マルチレイヤビデオデータのビットストリームの少なくとも一部分を記憶するように構成されるメモリと、
１つまたは複数のプロセッサとを備え、前記１つまたは複数のプロセッサが、
アクセスユニットの第１のピクチャのための第１のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを生成することと、前記第１のＶＣＬ ＮＡＬユニットは第１のスライスタイプを備える、
前記アクセスユニットの第２のピクチャのための第２のＶＣＬ ＮＡＬユニットを生成することと、前記第２のＶＣＬ ＮＡＬユニットは第２のスライスタイプを備える、
前記第１のスライスタイプおよび第２のスライスタイプに基づいて、アクセスユニットデリミタ（ＡＵＤ）ＮＡＬユニットを生成することと
を行うように構成される、デバイス。
［Ｃ１０］
前記ＡＵＤ ＮＡＬユニットを生成するために、前記１つまたは複数のプロセッサが、前記第１のスライスタイプと前記第２のスライスタイプの両方をアクセスユニットが含むことを示すピクチャタイプシンタックス要素を前記ＡＵＤ ＮＡＬユニットにおいて生成する、Ｃ９に記載のデバイス。
［Ｃ１１］
前記ＡＵＤ ＮＡＬユニットが、前記アクセスユニット中のすべてのピクチャに対するピクチャタイプを示す、Ｃ９に記載のデバイス。
［Ｃ１２］
前記第１のスライスタイプおよび前記第２のスライスタイプが、Ｉスライス、Ｐスライス、およびＢスライスからなる群から選択される、Ｃ９に記載のデバイス。
［Ｃ１３］
前記第１のスライスタイプおよび前記第２のスライスタイプが、ＩスライスおよびＰスライスからなる群から選択される、Ｃ９に記載のデバイス。
［Ｃ１４］
前記第１のＡＵＤ ＮＡＬユニットが、前記アクセスユニットと先行するアクセスユニットとの境界を特定する、Ｃ９に記載のデバイス。
［Ｃ１５］
ワイヤレス通信デバイスであり、
前記マルチレイヤビデオデータを送信するように構成される送信機をさらに備える、Ｃ９に記載のデバイス。
［Ｃ１６］
前記ワイヤレス通信デバイスが携帯電話を備え、前記送信機が、セルラー通信規格に従って変調されたデータとして前記マルチレイヤビデオデータを送信するように構成される、Ｃ１５に記載のデバイス。
［Ｃ１７］
マルチレイヤビデオデータを符号化するための装置であって、
アクセスユニットの第１のピクチャのための第１のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを生成するための手段と、前記第１のＶＣＬ ＮＡＬユニットは第１のスライスタイプを備える、
前記アクセスユニットの第２のピクチャのための第２のＶＣＬ ＮＡＬユニットを生成するための手段と、前記第２のＶＣＬ ＮＡＬユニットは第２のスライスタイプを備える、
前記第１のスライスタイプおよび第２のスライスタイプに基づいて、アクセスユニットデリミタ（ＡＵＤ）ＮＡＬユニットを生成するための手段とを備える、装置。
［Ｃ１８］
前記ＡＵＤ ＮＡＬユニットを生成するための前記手段が、前記第１のスライスタイプと前記第２のスライスタイプの両方をアクセスユニットが含むことを示すピクチャタイプシンタックス要素を前記ＡＵＤ ＮＡＬユニットにおいて示すための手段を備える、Ｃ１７に記載の装置。
［Ｃ１９］
前記ＡＵＤ ＮＡＬユニットが、前記アクセスユニット中のすべてのピクチャに対するピクチャタイプを示す、Ｃ１７に記載の装置。
［Ｃ２０］
前記第１のスライスタイプおよび前記第２のスライスタイプが、Ｉスライス、Ｐスライス、およびＢスライスからなる群から選択される、Ｃ１７に記載の装置。
［Ｃ２１］
前記第１のスライスタイプおよび前記第２のスライスタイプが、ＩスライスおよびＰスライスからなる群から選択される、Ｃ１７に記載の装置。
［Ｃ２２］
前記第１のＡＵＤ ＮＡＬユニットが、前記アクセスユニットと先行するアクセスユニットとの境界を特定する、Ｃ１７に記載の装置。
［Ｃ２３］
１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、
アクセスユニットの第１のピクチャのための第１のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを生成することと、前記第１のＶＣＬ ＮＡＬユニットは第１のスライスタイプを備える、
前記アクセスユニットの第２のピクチャのための第２のＶＣＬ ＮＡＬユニットを生成することと、前記第２のＶＣＬ ＮＡＬユニットは第２のスライスタイプを備える、
前記第１のスライスタイプおよび第２のスライスタイプに基づいて、アクセスユニットデリミタ（ＡＵＤ）ＮＡＬユニットを生成することとを行わせる命令を記憶した、コンピュータ可読記憶媒体。
［Ｃ２４］
前記ＡＵＤ ＮＡＬユニットを生成するために、前記１つまたは複数のプロセッサが、前記第１のスライスタイプと前記第２のスライスタイプの両方をアクセスユニットが含むことを示すピクチャタイプシンタックス要素を前記ＡＵＤ ＮＡＬユニットに含める、Ｃ２３に記載のコンピュータ可読記憶媒体。
［Ｃ２５］
前記ＡＵＤ ＮＡＬユニットが、前記アクセスユニット中のすべてのピクチャに対するピクチャタイプを示す、Ｃ２３に記載のコンピュータ可読記憶媒体。
［Ｃ２６］
前記第１のスライスタイプおよび前記第２のスライスタイプが、Ｉスライス、Ｐスライス、およびＢスライスからなる群から選択される、Ｃ２３に記載のコンピュータ可読記憶媒体。
［Ｃ２７］
前記第１のスライスタイプおよび前記第２のスライスタイプが、ＩスライスおよびＰスライスからなる群から選択される、Ｃ２３に記載のコンピュータ可読記憶媒体。
［Ｃ２８］
前記第１のＡＵＤ ＮＡＬユニットが、前記アクセスユニットと先行するアクセスユニットとの境界を特定する、Ｃ２３に記載のコンピュータ可読記憶媒体。

Claims (15)

1. マルチレイヤＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）ビデオデータを符号化する方法であって、
   アクセスユニットの第１のピクチャのために第１のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを生成すること、前記第１のＶＣＬ ＮＡＬユニットは第１のスライスタイプを備える、と、
   前記アクセスユニットの第２のピクチャのために第２のＶＣＬ ＮＡＬユニットを生成すること、前記第２のＶＣＬ ＮＡＬユニットは第２のスライスタイプを備える、と、
   前記第１のスライスタイプおよび前記第２のスライスタイプに基づいて前記アクセスユニットに対するアクセスユニットデリミタ（ＡＵＤ）ＮＡＬユニットを生成すること、ここにおいて前記ＡＵＤ ＮＡＬユニットのピクチャタイプシンタックス要素は、前記アクセスユニット中のすべてのピクチャに対するピクチャタイプを示し、前記ピクチャタイプは、複数のＶＣＬ ＮＡＬユニットの各々によって備えられたスライスタイプを備えるスライスタイプの関連付けられたセットを有する、と、
   を備える、方法。
2. 前記複数のＶＣＬ ＮＡＬユニットの各々によって備えられた前記スライスタイプが、Ｉスライス、Ｐスライス、およびＢスライスからなる群から選択される、請求項１に記載の方法。
3. 前記複数のＶＣＬ ＮＡＬユニットの各々によって備えられた前記スライスタイプが、ＩスライスおよびＰスライスからなる群から選択される、請求項１に記載の方法。
4. 前記ＡＵＤ ＮＡＬユニットが、前記アクセスユニットと先行するアクセスユニットとの境界を特定する、請求項１に記載の方法。
5. ワイヤレス通信デバイス上で実行可能であり、前記ワイヤレス通信デバイスが、
   前記マルチレイヤＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）ビデオデータを記憶するように構成されるメモリと、
   前記メモリに記憶されている前記マルチレイヤＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）ビデオデータを処理するための命令を実行するように構成される１つまたは複数のプロセッサと、
   前記マルチレイヤＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）ビデオデータを送信するように構成される送信機と
   を備える、請求項１に記載の方法。
6. 前記ワイヤレス通信デバイスが携帯電話であり、前記送信機が、セルラー通信規格に従って変調されたデータとして前記マルチレイヤＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）ビデオデータを送信するように構成される、請求項５に記載の方法。
7. Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）ビデオデータを処理するためのデバイスであって、
   マルチレイヤビデオデータのビットストリームの少なくとも一部分を記憶するように構成されるメモリと、
   １つまたは複数のプロセッサとを備え、前記１つまたは複数のプロセッサが、
   アクセスユニットの第１のピクチャのために第１のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを生成すること、前記第１のＶＣＬ ＮＡＬユニットは第１のスライスタイプを備える、と、
   前記アクセスユニットの第２のピクチャのために第２のＶＣＬ ＮＡＬユニットを生成すること、前記第２のＶＣＬ ＮＡＬユニットは第２のスライスタイプを備える、と、
   前記第１のスライスタイプおよび前記第２のスライスタイプに基づいて前記アクセスユニットに対するアクセスユニットデリミタ（ＡＵＤ）ＮＡＬユニットを生成すること、ここにおいて前記ＡＵＤ ＮＡＬユニットのピクチャタイプシンタックス要素は、前記アクセスユニット中のすべてのピクチャに対するピクチャタイプを示し、前記ピクチャタイプは、複数のＶＣＬ ＮＡＬユニットの各々によって備えられたスライスタイプを備えるスライスタイプの関連付けられたセットを有する、と、
   を行うように構成される、デバイス。
8. 前記複数のＶＣＬ ＮＡＬユニットの各々によって備えられた前記スライスタイプが、Ｉスライス、Ｐスライス、およびＢスライスからなる群から選択される、請求項７に記載のデバイス。
9. 前記複数のＶＣＬ ＮＡＬユニットの各々によって備えられた前記スライスタイプが、ＩスライスおよびＰスライスからなる群から選択される、または前記ＡＵＤ ＮＡＬユニットが、前記アクセスユニットと先行するアクセスユニットとの境界を特定する、請求項７に記載のデバイス。
10. ワイヤレス通信デバイスであり、
    前記マルチレイヤビデオデータを送信するように構成される送信機をさらに備える、請求項７に記載のデバイス。
11. 前記ワイヤレス通信デバイスが携帯電話を備え、前記送信機が、セルラー通信規格に従って変調されたデータとして前記マルチレイヤビデオデータを送信するように構成される、請求項１０に記載のデバイス。
12. マルチレイヤＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）ビデオデータを符号化するための装置であって、
    アクセスユニットの第１のピクチャのために第１のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを生成するための手段、前記第１のＶＣＬ ＮＡＬユニットは第１のスライスタイプを備える、と、
    前記アクセスユニットの第２のピクチャのために第２のＶＣＬ ＮＡＬユニットを生成するための手段、前記第２のＶＣＬ ＮＡＬユニットは第２のスライスタイプを備える、と、
    前記第１のスライスタイプおよび前記第２のスライスタイプに基づいて前記アクセスユニットに対するアクセスユニットデリミタ（ＡＵＤ）ＮＡＬユニットを生成するための手段、ここにおいて前記ＡＵＤ ＮＡＬユニットのピクチャタイプシンタックス要素は、前記アクセスユニット中のすべてのピクチャに対するピクチャタイプを示し、前記ピクチャタイプは、複数のＶＣＬ ＮＡＬユニットの各々によって備えられたスライスタイプを備えるスライスタイプの関連付けられたセットを有する、と、
    を備える、装置。
13. 前記複数のＶＣＬ ＮＡＬユニットの各々によって備えられた前記スライスタイプが、Ｉスライス、Ｐスライス、およびＢスライスからなる群から選択される、請求項１２に記載の装置。
14. 前記複数のＶＣＬ ＮＡＬユニットの各々によって備えられた前記スライスタイプが、ＩスライスおよびＰスライスからなる群から選択される、または前記ＡＵＤ ＮＡＬユニットが、前記アクセスユニットと先行するアクセスユニットとの境界を特定する、請求項１２に記載の装置。
15. １つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、
    アクセスユニットの第１のピクチャのために第１のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを生成すること、前記第１のＶＣＬ ＮＡＬユニットは第１のスライスタイプを備える、と、
    前記アクセスユニットの第２のピクチャのために第２のＶＣＬ ＮＡＬユニットを生成すること、前記第２のＶＣＬ ＮＡＬユニットは第２のスライスタイプを備える、と、
    前記第１のスライスタイプおよび前記第２のスライスタイプに基づいて前記アクセスユニットに対するアクセスユニットデリミタ（ＡＵＤ）ＮＡＬユニットを生成すること、ここにおいて前記ＡＵＤ ＮＡＬユニットのピクチャタイプシンタックス要素は、前記アクセスユニット中のすべてのピクチャに対するピクチャタイプを示し、前記ピクチャタイプは、複数のＶＣＬ ＮＡＬユニットの各々によって備えられたスライスタイプを備えるスライスタイプの関連付けられたセットを有する、と、
    を行わせる、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）ビデオデータを符号化するための命令を記憶した、コンピュータ可読記憶媒体。

Images