Nothing Special   »   [go: up one dir, main page]

JP6700176B2 - マルチレイヤビデオコーデックのためのマルチモード抽出のサポート - Google Patents

マルチレイヤビデオコーデックのためのマルチモード抽出のサポート Download PDF

Info

Publication number
JP6700176B2
JP6700176B2 JP2016522812A JP2016522812A JP6700176B2 JP 6700176 B2 JP6700176 B2 JP 6700176B2 JP 2016522812 A JP2016522812 A JP 2016522812A JP 2016522812 A JP2016522812 A JP 2016522812A JP 6700176 B2 JP6700176 B2 JP 6700176B2
Authority
JP
Japan
Prior art keywords
bitstream
extraction mode
layer set
target output
output layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016522812A
Other languages
English (en)
Other versions
JP2016539544A (ja
JP2016539544A5 (ja
Inventor
チェン、イン
ワン、イェ−クイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2016539544A publication Critical patent/JP2016539544A/ja
Publication of JP2016539544A5 publication Critical patent/JP2016539544A5/ja
Application granted granted Critical
Publication of JP6700176B2 publication Critical patent/JP6700176B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343Extraction or processing of packetized elementary streams [PES]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

[0001]本出願は、その各々の内容全体が参照により本明細書に組み込まれる、2013年10月15日に出願された米国仮特許出願第61/891,317号、及び2014年1月3日に出願された米国仮特許出願第61/923,624号の利益を主張する。
[0002]本開示は、ビデオ符号化及び復号に関する。
[0003]デジタルビデオ能力(digital video capabilities)は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップコンピュータ又はデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録機器、デジタルメディアプレーヤ、ビデオゲーム機器、ビデオゲームコンソール、セルラー電話機又は衛星無線電話機、所謂「スマートフォン」、ビデオ会議機器、ビデオストリーミング機器、及び類似物を含む広範囲の機器に組み込まれ得る。デジタルビデオ機器は、MPEG−2、MPEG−4、ITU−T H.263、ITU−T H.264/MPEG−4、Part10、先進ビデオコード化(AVC:Advanced Video Coding)、高効率ビデオコード化(HEVC:High Efficiency Video Coding)規格によって定義された規格、及びそのような規格の拡張に記述されているビデオ圧縮技法などのビデオ圧縮技法を実装する。これらのビデオ機器は、そのようなビデオ圧縮技法を実装することによって、デジタルビデオ情報をより効率的に送信し、受信し、符号化し、復号し、及び/又は記憶することができる。
[0004]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減又は除去するために、空間(ピクチャ内)予測及び/又は時間(ピクチャ間)予測を実施する。ブロックベースのビデオコード化の場合、ビデオスライス(即ち、ビデオフレーム又はビデオフレームの一部分)がビデオブロックに区分され得る。ピクチャのイントラコード化(I)スライスの中のビデオブロックは、同じピクチャの中の隣接ブロックにおける参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化(P又はB)スライスの中のビデオブロックは、同じピクチャの中の隣接ブロックにおける参照サンプルに対する空間的予測、又は他の参照ピクチャの中の参照サンプルに対する時間的予測を使用し得る。ピクチャは、フレームと呼ばれることがあり、参照ピクチャは、参照フレームと呼ばれることがある。
[0005]空間的又は時間的予測は、コード化されるべきブロックの予測ブロックを生じる。残差データは、コード化されるべき元のブロックと予測ブロックとの間の画素差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルに従って符号化され、残差データは、コード化ブロックと予測ブロックとの間の差分を示す。イントラコード化ブロックは、イントラコード化モード及び残差データに従って符号化される。更なる圧縮のために、残差データは、画素領域から変換領域に変換されて残差係数をもたらすことができ、その残差係数が次いで量子化され得る。最初に2次元アレイで構成される量子化係数は、係数の1次元ベクトルを生成するために走査される場合があり、なお一層の圧縮を達成するためにエントロピーコード化が適用される場合がある。
[0006]マルチビューコード化ビットストリームは、例えば、複数の視点からのビューを符号化することによって生成され得る。マルチビューコード化態様を利用する幾つかの3次元(3D)ビデオ規格が開発されている。例えば、3Dビデオをサポートするために、異なるビューが左目のビューと右目のビューとを送信し得る。或いは、幾つかの3Dビデオコード化処理は、所謂マルチビュープラス深度コード化を適用し得る。マルチビュープラス深度コード化では、3Dビデオビットストリームは、テクスチャビュー成分だけでなく深度ビュー成分も含み得る。例えば、各ビューは、1つのテクスチャビュー成分と1つの深度ビュー成分とを備え得る。
[0007]概して、本開示は、マルチレイヤビデオコーデックのためのマルチモードビットストリーム抽出モードのより優れたサポートのための方法に関し、技法は、複数のモードの各々を用いて抽出されたサブビットストリームが、マルチレイヤビデオコーデックにおける、及びシステムレイヤにおけるマルチモード抽出の能力の指示に適合することを可能にすることを含む。
[0008]一態様において、本開示は、ビデオデータを処理する方法について記載し、この方法は、ビデオデータのコード化表現を含む第1のビットストリームから、第1のビットストリームを第2のビットストリームから抽出するのに使われた抽出モードの指示を含む補足拡張情報(SEI)メッセージを取得することを備え、ここにおいて、第1のビットストリームは、抽出モードに従って第2のビットストリームから抽出されたサブビットストリームであり、抽出モードが第1の抽出モードであるか第2の抽出モードであるかにかかわらず、第1のビットストリームは、目標出力レイヤセット中のピクチャを復号し出力するための十分なネットワーク抽象化レイヤ(NAL)単位を含み、抽出モードが第1の抽出モードである場合、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含み、抽出モードが第2の抽出モードである場合、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含まない。
[0009]別の態様では、本開示は、ビデオデータを処理する方法について記載し、この方法は、第2のビットストリームから第1のビットストリームを抽出するのに使われた抽出モードの指示を含むSEIメッセージを生成することと、第1のビットストリームはビデオデータのコード化表現を含む、ここにおいて、第1のビットストリームは、抽出モードに従って第2のビットストリームから抽出されたサブビットストリームであり、抽出モードが第1の抽出モードであるか第2の抽出モードであるかにかかわらず、第1のビットストリームは、第1のビットストリームについて、目標出力レイヤセット中のピクチャを復号し出力するための十分なNAL単位を含み、抽出モードが第1の抽出モードである場合、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含み、抽出モードが第2の抽出モードである場合、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含まない、SEIメッセージを第1のビットストリーム中に含めることとを備える。
[0010]別の態様では、本開示は、ビデオデータを処理するための機器について記載し、この機器は、ビデオデータを記憶するメモリと、ビデオデータのコード化表現を含む第1のビットストリームから、第1のビットストリームを第2のビットストリームから抽出するのに使われた抽出モードの指示を含むSEIメッセージを取得するように構成された1つ又は複数のプロセッサと、ここにおいて、第1のビットストリームは、抽出モードに従って第2のビットストリームから抽出されたサブビットストリームであり、抽出モードが第1の抽出モードであるか第2の抽出モードであるかにかかわらず、第1のビットストリームは、第1のビットストリームについて、目標出力レイヤセット中のピクチャを復号し出力するための十分なNAL単位を含み、抽出モードが第1の抽出モードである場合、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含み、抽出モードが第2の抽出モードである場合、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含まない、を備える。
[0011]別の態様では、本開示は、ビデオデータを処理するための機器について記載し、この機器は、ビデオデータを記憶するメモリと、第1のビットストリームを第2のビットストリームから抽出するのに使われた抽出モードの指示を含むSEIメッセージを生成し、第1のビットストリームはビデオデータのコード化表現を含む、ここにおいて、第1のビットストリームは、抽出モードに従って第2のビットストリームから抽出されたサブビットストリームであり、抽出モードが第1の抽出モードであるか第2の抽出モードであるかにかかわらず、第1のビットストリームは、第1のビットストリームについて、目標出力レイヤセット中のピクチャを復号し出力するための十分なNAL単位を含み、抽出モードが第1の抽出モードである場合、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含み、抽出モードが第2の抽出モードである場合、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含まない、SEIメッセージを第1のビットストリーム中に含めるように構成された1つ又は複数のプロセッサとを備える。
[0012]別の態様では、本開示は、ビデオデータを処理するための機器について記載し、この機器は、ビデオデータのコード化表現を含む第1のビットストリームから、第1のビットストリームを第2のビットストリームから抽出するのに使われた抽出モードの指示を含むSEIメッセージを取得するための手段を備え、ここにおいて、第1のビットストリームは、抽出モードに従って第2のビットストリームから抽出されたサブビットストリームであり、抽出モードが第1の抽出モードであるか第2の抽出モードであるかにかかわらず、第1のビットストリームは、目標出力レイヤセット中のピクチャを復号し出力するための十分なNAL単位を含み、抽出モードが第1の抽出モードである場合、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含み、抽出モードが第2の抽出モードである場合、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含まない。
[0013]別の態様では、本開示は、ビデオデータを処理するための機器について記載し、この機器は、第1のビットストリームを第2のビットストリームから抽出するのに使われた抽出モードの指示を含むSEIメッセージを生成するための手段と、第1のビットストリームはビデオデータのコード化表現を含む、ここにおいて、第1のビットストリームは、抽出モードに従って第2のビットストリームから抽出されたサブビットストリームであり、抽出モードが第1の抽出モードであるか第2の抽出モードであるかにかかわらず、第1のビットストリームは、第1のビットストリームについて、目標出力レイヤセット中のピクチャを復号し出力するための十分なNAL単位を含み、抽出モードが第1の抽出モードである場合、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含み、抽出モードが第2の抽出モードである場合、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含まない、SEIメッセージを第1のビットストリーム中に含めるための手段とを備える。
[0014]別の態様では、本開示は、命令を記憶したコンピュータ可読データ記憶媒体について記載し、命令は、実行されると、機器に、ビデオデータのコード化表現を含む第1のビットストリームから、第1のビットストリームを第2のビットストリームから抽出するのに使われた抽出モードの指示を含むSEIメッセージを取得させ、ここにおいて、第1のビットストリームは、抽出モードに従って第2のビットストリームから抽出されたサブビットストリームであり、抽出モードが第1の抽出モードであるか第2の抽出モードであるかにかかわらず、第1のビットストリームは、目標出力レイヤセット中のピクチャを復号し出力するための十分なNAL単位を含み、抽出モードが第1の抽出モードである場合、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含み、抽出モードが第2の抽出モードである場合、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含まない。
[0015]別の態様では、本開示は、命令を記憶したコンピュータ可読データ記憶媒体について記載し、命令は、実行されると、機器に、第1のビットストリームを第2のビットストリームから抽出するのに使われた抽出モードの指示を含むSEIメッセージを生成させ、第1のビットストリームはビデオデータのコード化表現を含む、ここにおいて、第1のビットストリームは、抽出モードに従って第2のビットストリームから抽出されたサブビットストリームであり、抽出モードが第1の抽出モードであるか第2の抽出モードであるかにかかわらず、第1のビットストリームは、第1のビットストリームについて、目標出力レイヤセット中のピクチャを復号し出力するための十分なNAL単位を含み、抽出モードが第1の抽出モードである場合、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含み、抽出モードが第2の抽出モードである場合、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含まない、SEIメッセージを第1のビットストリーム中に含めさせる。
[0016]本開示の1つ又は複数の例の詳細は、添付図面及び下記の説明に記載される。他の特徴、目的、及び利点は、説明、図面、及び特許請求の範囲から明らかになるであろう。
[0017]本開示で説明される技法を利用することができる例示的なビデオコード化システムを示すブロック図。 [0018]例示的なビデオエンコーダを示すブロック図。 [0019]例示的なビデオデコーダを示すブロック図。 [0020]本開示の1つ又は複数の技法による、例示的な媒介機器(intermediate device)を示すブロック図。 [0021]本開示の1つ又は複数の技法による、コンピュータ機器の例示的な動作を示すフローチャート。 [0022]本開示の1つ又は複数の技法による、コンピュータ機器の例示的な動作を示すフローチャート。
[0023]概して、コード化ビデオビットストリームは、コード化ピクチャを表すビットのシーケンスと、1つ又は複数のコード化ビデオシーケンスを形成する関連付けられたデータとを備える。ビットのシーケンスは、ネットワーク抽象化レイヤ(NAL)単位ストリーム又はバイトストリームを形成し得る。NAL単位ストリームはNAL単位のストリームである。マルチビューコード化及びスケーラブルビデオコード化において、各NAL単位は、NAL単位が属すレイヤを指定し得る。同じビットストリーム中の異なるNAL単位は、それらの異なるNAL単位が異なるレイヤに属すと規定する場合がある。マルチビューコード化において、レイヤの各々は、異なるビューに対応し得る。スケーラブルビデオコード化において、レイヤは、ベースレイヤと1つ又は複数の強化レイヤとを含み得る。特定のレイヤに属すNAL単位は、コード化ピクチャのデータを含み得るので、コード化ピクチャは、その特定のレイヤに属すと言うこともできる。
[0024]ビットストリームのサイズを縮小するために、コンピュータ機器は、ビットストリームから特定のNAL単位を抽出すればよい。例えば、コンピュータ機器は、レイヤの特定のセットに属すNAL単位を全て、ビットストリームから抽出してよい。ビットストリームから抽出されたNAL単位は、ビットストリームのサブセットである。本開示は、別のビットストリームから抽出されたNAL単位を備えるビットストリームを、サブビットストリームと呼ぶ場合がある。サブビットストリームは、ビットストリームから抽出されたのではないNAL単位を使用せずに復号可能であり得る。コンピュータ機器は、ビットストリームから抽出されたのではないNAL単位を破棄してよい。代替として、コンピュータ機器は、共通ソースビットストリームから1つ又は複数のサブビットストリームを抽出し、様々なサブビットストリームについてのデータ、及びソースビットストリームについてのデータを、異なるそれぞれの宛先にフォワードすることができる。説明を簡単にするために、本開示は、ビットストリームからサブビットストリームのNAL単位を抽出することを、ビットストリームからサブビットストリームを抽出することとして記載する場合がある。
[0025]コンピュータ機器は、様々な抽出モードに従って、ビットストリームからサブビットストリームを抽出することができる。概して、抽出モードとは、ソースビットストリームからサブビットストリームを抽出するモードである。例えば、コンピュータ機器が、ある抽出モードに従って、ビットストリームからサブビットストリームを抽出するとき、サブビットストリームは「完全抽出可能」であり得る。サブビットストリームが完全抽出可能である場合、サブビットストリームから再帰的に更に抽出された各サブビットストリームは、適合ビットストリームであり得る。本開示において、適合ビットストリームとは、ビデオコード化規格に適合するビットストリームであり得る。言い換えると、適合ビットストリームとは、ビデオコード化規格に従って正しく復号され得るビットストリームである。別の例では、コンピュータ機器が、別の抽出モードに従ってビットストリームからサブビットストリームを抽出すると、サブビットストリームは「サイズ最適化」され得る。ビットストリームから抽出されたサブビットストリームがサイズ最適化された場合、サブビットストリームは、目標出力レイヤのセットの正しい復号に必要とされない、ビットストリームのピクチャを除外してよく、結果として、サブビットストリームは適用可能ビデオコード化規格に適合しなくなる場合があるが、それにもかかわらず復号可能なままである。目標出力レイヤのセット中の各レイヤは、後に続く出力(例えば、表示)を意図されたピクチャを含み得る。サイズ最適化ビットストリームは、目標出力レイヤのセット以外のレイヤに属すNAL単位を含むことができ、というのは、そのようなNAL単位は、目標出力レイヤのセットのピクチャの復号に必要とされるデータを含み得るからである。サイズ最適化ビットストリームはそのようなピクチャを除外するので、サイズ最適化ビットストリームから特定のサブビットストリームを抽出することは不可能であり得る。例えば、サイズ最適化ビットストリームは、レイヤ間(例えば、ビュー間)予測に使われる、特定のレイヤのNAL単位を含むが、特定のレイヤの他のNAL単位、例えば、レイヤ間予測に使われないNAL単位は除外してよい。従って、完全抽出可能ビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含み得るが、サイズ最適化ビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含まない。
[0026]ビットストリームを受信する、メディアアウェアネットワーク要素(MANE)などのコンピュータ機器は、あったとしても、ビットストリームを生じるのに使われる抽出モードを決定することができない場合がある。例えば、ビットストリームが完全抽出可能ビットストリームであるかサイズ最適化ビットストリームであるかをコンピュータ機器が決定するのは現実的でない場合がある。コンピュータ機器が、ビットストリームからサブビットストリームを抽出し、ビットストリームが偶然にも、完全抽出可能ビットストリームである場合、抽出されたサブビットストリームは、ビデオデコーダが復号することが可能であり得る適合ビットストリームである。但し、コンピュータ機器がビットストリームからサブビットストリームを抽出し、ビットストリームが偶然にも、サイズ最適化ビットストリームである場合、抽出されたサブビットストリームは、ビデオデコーダが復号することが可能な適合ビットストリームでない場合がある。
[0027]本開示の技法はこの問題に対処し得る。例えば、本開示の1つ又は複数の技法によると、コンピュータ機器は、ビデオデータのコード化表現を含む第1のビットストリームから、第1のビットストリームを第2のビットストリームから抽出するのに使われた抽出モードの指示を含む補足拡張情報(SEI)メッセージを取得することができる。第1のビットストリームは、抽出モードに従って第2のビットストリームから抽出されたサブビットストリームである。抽出モードが第1の抽出モードであるか第2の抽出モードであるかにかかわらず、第1のビットストリームは、第1のビットストリームについての、目標出力レイヤセット中のピクチャを復号し出力するための十分なネットワーク抽象化レイヤ(NAL)単位を含む。抽出モードが第1の抽出モードである場合、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含む。抽出モードが第2の抽出モードである場合、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含まない。同様に、コンピュータ機器は、第1のビットストリームを第2のビットストリームから抽出するのに使われた抽出モードの指示を含むSEIメッセージを生成することができる。コンピュータ機器は、第1のビットストリーム中にSEIメッセージを含めることができる。
[0028]図1は、本開示の技法を利用することができる例示的なビデオコード化システム10を示すブロック図である。本明細書で使用する「ビデオコーダ」という用語は、ビデオエンコーダとビデオデコーダの両方を総称的に指す。本開示では、「ビデオコード化」又は「コード化」という用語は、ビデオ符号化又はビデオ復号を総称的に指す場合がある。
[0029]図1に示すように、ビデオコード化システム10は、発信源機器12と、宛先機器14とを含む。発信源機器12は符号化ビデオデータを生成する。従って、発信源機器12は、ビデオ符号化機器又はビデオ符号化装置と呼ばれ得る。宛先機器14は、発信源機器12によって生成された符号化ビデオデータを復号することができる。従って、宛先機器14は、ビデオ復号機器又はビデオ復号装置と呼ばれ得る。発信源機器12及び宛先機器14は、ビデオコード化機器又はビデオコード化装置の例であり得る。
[0030]発信源機器12及び宛先機器14は、デスクトップコンピュータ、モバイルコンピュータ機器、ノートブック(例えば、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、所謂「スマート」フォンなどの電話ハンドセット、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、車内コンピュータなどを含む、広範囲の機器を備える場合がある。
[0031]宛先機器14は、チャネル16を介して発信源機器12から符号化ビデオデータを受信することができる。チャネル16は、発信源機器12から宛先機器14に符号化ビデオデータを移動させることが可能な、1つ又は複数の媒体又は機器を備える場合がある。一例では、チャネル16は、発信源機器12がリアルタイムで符号化ビデオデータを直接宛先機器14に送信することを可能にする、1つ又は複数の通信媒体を備える場合がある。この例では、発信源機器12は、ワイヤレス通信プロトコルなどの通信規格に従って符号化ビデオデータを変調することができ、変調されたビデオデータを宛先機器14に送信することができる。1つ又は複数の通信媒体は、高周波(RF)スペクトル又は1つ又は複数の物理伝送線路などの、ワイヤレス及び/又は有線通信媒体を含み得る。1つ又は複数の通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はグローバルネットワーク(例えば、インターネット)などの、パケットベースネットワークの一部を形成し得る。1つ又は複数の通信媒体は、発信源機器12から宛先機器14への通信を容易にする、ルータ、スイッチ、基地局、又は他の機器を含み得る。
[0032]別の例では、チャネル16は、発信源機器12によって生成された符号化ビデオデータを記憶する記憶媒体を含み得る。この例では、宛先機器14は、例えば、ディスクアクセス又はカードアクセスを介して、記憶媒体にアクセスし得る。記憶媒体は、Blu−ray(登録商標)ディスク、DVD、CD−ROM、フラッシュメモリ、又は符号化ビデオデータを記憶するための他の適切なデジタル記憶媒体など、種々のローカルにアクセスされるデータ記憶媒体を含み得る。
[0033]更なる例では、チャネル16は、発信源機器12によって生成された符号化ビデオデータを記憶する、ファイルサーバ又は別の中間記憶機器を含む場合がある。この例では、宛先機器14は、ストリーミング又はダウンロードを介して、ファイルサーバ又は他の中間記憶機器に記憶された符号化ビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶することと、符号化ビデオデータを宛先機器14に送信することとが可能なタイプのサーバであり得る。例示的なファイルサーバは、(例えば、ウェブサイト用の)ウェブサーバ、ファイル転送プロトコル(FTP)サーバ、ネットワーク接続記憶(NAS)機器、及びローカルディスクドライブを含む。
[0034]更に、図1の例では、ビデオコード化システム10は、媒介機器19を含む。媒介機器19は、発信源機器12によって符号化されたビデオデータを受信し得る。幾つかの例では、媒介機器19は、チャネル16と同様のチャネルを介して、発信源機器12から符号化ビデオデータを受信する場合がある。媒介機器19は、符号化ビデオデータを処理することができる。例えば、媒介機器19は、符号化ビデオデータから特定のNAL単位を削除するために、符号化ビデオデータにビットストリーム抽出を適用すればよい。宛先機器14は、媒介機器19によって処理されたビデオデータを受信し得る。幾つかの例では、宛先機器14は、チャネル16と同様のチャネルを介して、処理されたビデオデータを受信する場合がある。様々な例において、媒介機器19は、様々なタイプのコンピュータ機器を備える場合がある。例えば、幾つかの例では、媒介機器19はメディアアウェアネットワーク要素(MANE)を備える。更に、幾つかの例では、媒介機器19は、コンテンツ配信ネットワーク(CDN)の一部である。
[0035]宛先機器14は、インターネット接続などの標準的なデータ接続を通じて、符号化ビデオデータにアクセスし得る。データ接続の例示的なタイプは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適な、ワイヤレスチャネル(例えば、Wi−Fi(登録商標)接続)、有線接続(例えば、デジタル加入者線(DSL)、ケーブルモデムなど)、又は両方の組合せを含み得る。ファイルサーバからの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、又は両方の組合せであり得る。
[0036]本開示の技法は、ワイヤレスの適用例又は設定に限定されない。本技法は、無線テレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、例えばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのビデオデータの符号化、データ記憶媒体に記憶されたビデオデータの復号、又は他の用途などの、様々なマルチメディア用途をサポートするビデオコード化に適用され得る。幾つかの例では、ビデオコード化システム10は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、及び/又はビデオテレフォニーなどの用途をサポートするために、一方向又は双方向のビデオ送信をサポートするように構成され得る。
[0037]図1は例にすぎず、本開示の技法は、符号化機器と復号機器との間の任意のデータ通信を必ずしも含むとは限らないビデオコード化設定(例えば、ビデオ符号化又はビデオ復号)に適用される場合がある。他の例では、データが、ローカルメモリから取り出されること、ネットワークを通じてストリーミングされることなどが行われる。ビデオ符号化機器はデータを符号化し、メモリに記憶することができ、及び/又は、ビデオ復号機器はメモリからデータを取り出し、復号することができる。多くの例では、符号化及び復号は、互いに通信しないが、メモリにデータを符号化し、及び/又はメモリからデータを取り出して復号するだけである機器によって実施される。
[0038]図1の例では、発信源機器12は、ビデオ発信源18と、ビデオエンコーダ20と、出力インターフェース22とを含む。幾つかの例では、出力インターフェース22は、変調器/復調器(モデム)及び/又は送信機を含み得る。ビデオ発信源18は、撮像装置、例えばビデオカメラ、以前に撮影されたビデオデータを含むビデオアーカイブ、ビデオコンテンツプロバイダからビデオデータを受信するためのビデオフィードインターフェース、及び/又は、ビデオデータを生成するためのコンピュータラフィックスシステム、又はビデオデータのそのような発信源の組合せを含み得る。
[0039]ビデオエンコーダ20は、ビデオ発信源18からのビデオデータを符号化することができる。幾つかの例では、発信源機器12は、出力インターフェース22を介して宛先機器14に符号化ビデオデータを直接送信する。他の例では、符号化ビデオデータはまた、復号及び/又は再生のための宛先機器14による後のアクセスのために、記憶媒体又はファイルサーバ上に記憶され得る。
[0040]図1の例では、宛先機器14は、入力インターフェース28と、ビデオデコーダ30と、表示装置32とを含む。幾つかの例では、入力インターフェース28は、受信機及び/又はモデムを含む。入力インターフェース28は、チャネル16を介して符号化ビデオデータを受信することができる。ビデオデコーダ30は、符号化ビデオデータを復号し得る。表示装置32は、復号ビデオデータを表示することができる。表示装置32は、宛先機器14と一体化され得るか、又はその外部にあり得る。表示装置32は、液晶表示器(LCD)、プラズマ表示器、有機発光ダイオード(OLED)表示器、又は別のタイプの表示装置などの様々な表示装置を備える場合がある。
[0041]ビデオエンコーダ20及びビデオデコーダ30は、各々、1つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理回路、ハードウェア、又はそれらの任意の組合せなどの、様々な適切な回路のうちのいずれかとして実装される場合がある。本技法がソフトウェアに部分的に実装される場合、機器は、適切な非一時的コンピュータ可読記憶媒体にソフトウェア用の命令を記憶し、1つ又は複数のプロセッサを使用してその命令をハードウェア内で実行して、本開示の技法を実施することができる。(ハードウェア、ソフトウェア、ハードウェアとソフトウェアの組合せなどを含む)上記のいずれもが、1つ又は複数のプロセッサであると見なされ得る。ビデオエンコーダ20及びビデオデコーダ30の各々は、1つ又は複数のエンコーダ又はデコーダに含まれてよく、それらのうちのいずれかが、それぞれの機器の中で組み合わされたエンコーダ/デコーダ(CODEC)の一部として組み込まれてよい。
[0042]本開示は、概して、ビデオエンコーダ20が、ある情報をビデオデコーダ30などの別の機器に「信号伝達(signaling)」することに言及する場合がある。「信号伝達」という用語は、概して、圧縮ビデオデータを復号するために使用されるシンタックス要素及び/又は他のデータの通信を指し得る。そのような通信は、リアルタイム又はほぼリアルタイムに起こり得る。代替的に、そのような通信は、符号化時に符号化されたビットストリーム内でシンタックス要素をコンピュータ可読記憶媒体に記憶するときに行われる場合があるなど、ある時間期間にわたって行われ得、次いで、これらの要素は、この媒体に記憶された後の任意の時間に復号機器によって取り出され得る。
[0043]幾つかの例では、ビデオエンコーダ20及びビデオデコーダ30は、そのスケーラブルビデオコード化(SVC)拡張(extension)、マルチビュービデオコード化(MVC)拡張、及びMVCベース3DV拡張を含む、ISO/IEC MPEG−4 Visual及び(ISO/IEC MPEG−4 AVCとしても知られる)ITU−T H.264などのビデオ圧縮規格に従って動作する。幾つかの事例では、H.264/AVCのMVCベース3DV拡張に適合するどのビットストリームも、H.264/AVCのMVC拡張に準拠するサブビットストリームを常に含む。更に、H.264/AVCへの3次元ビデオ(3DV)コード化拡張、即ちAVCベースの3DVを生成するための取組みが進行中である。他の例では、ビデオエンコーダ20及びビデオデコーダ30は、ITU−T H.261、ISO/IEC MPEG−1 Visual、ITU−T H.262又はISO/IEC MPEG−2 Visual、ITU−T H.264、及びITU−T H.264、ISO/IEC Visualに従って動作することができる。
[0044]更に、他の例では、ビデオエンコーダ20及びビデオデコーダ30は、ITU−Tビデオコード化エキスパートグループ(VCEG)とISO/IECモーションピクチャエキスパーツグループ(MPEG)とのビデオコード化共同研究部会(JCT−VC)によって開発された高効率ビデオコード化(HEVC)、及びその拡張に従って動作し得る。本明細書においてこれ以降HEVC WD又は「HEVCバージョン1」と呼ばれる、HEVC規格の暫定仕様書が、http://phenix.int−evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC−N1003−v1.zipから入手可能である。HEVC規格の別の暫定仕様書が、http://phenix.int−evry.fr/jct/doc_end_user/documents/15_Geneva/wg11/JCTVC−O1003−v2.zipから入手可能である。
[0045]HEVCのためのスケーラブルビデオコード化拡張と、マルチビューコード化拡張と、3DV拡張とを作成する作業が進行中である。HEVCのスケーラブルビデオコード化拡張はSHEVC又はSHVCと呼ばれることがある。これ以降SHVC WD3と呼ばれる、SHVCの作業草案(WD)が、http://phenix.it−sudparis.eu/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC−N1008−v3.zipから入手可能である。これ以降SHVC WD4と呼ばれる、SHVCの別の作業草案が、http://phenix.int−evry.fr/jct/doc_end_user/documents/15_Geneva/wg11/JCTVC−O1008−v1.zipから入手可能である。HEVCに対するマルチビュー拡張、即ちMV−HEVCも、JCT−3Vによって開発されている。本明細書においてこれ以降MV−HEVC WD5と呼ばれる、MV−HEVCの作業草案(WD)が、http://phenix.it−sudparis.eu/jct2/doc_end_user/documents/5_Vienna/wg11/JCT3V−E1004−v6.zipから入手可能である。本明細書においてこれ以降MV−HEVC WD6と呼ばれるMV−HEVCの別の作業草案が、http://phenix.it−sudparis.eu/jct2/doc_end_user/documents/6_Geneva/wg11/JCT3V−F1004−v6.zipから入手可能である。
[0046]現時点で、VCEG及びMPEGの3Dビデオコード化共同研究部会(JCT−3C)は、HEVCに基づく3DV規格を開発中であり、規格化作業の一部は、HEVC(MV−HEVC)に基づくマルチビュービデオコーデック、及びHEVC(3D−HEVC)に基づく3Dビデオコード化についての別の一部の規格化を含む。MV−HEVCでは、HEVCにおけるコード化単位(CU)/予測単位(PU)レベルにおけるモジュールが再設計される必要がなく、MV−HEVCに完全に再使用され得ないように、MV−HEVCにおいてハイレベルシンタックス(HLS)の変更しか存在しないことが保証されるべきである。言い換えれば、MV−HEVCは、高レベルのシンタックス変更だけを実現し、CU/PUレベルのシンタックス変更など、低レベルのシンタックス変更を実現しない。3D−HEVCでは、コード化ユニット/予測ユニットレベルのコード化ツールを含む新たなコード化ツールが、テクスチャビューと深度ビューの両方に関して含められ、サポートされ得る。3D−HEVC用のテストモデル(例えば、ソフトウェア3D−HTM)は、[3D−HTM version 7.0]:https://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM−7.0/のリンクからダウンロード可能である
[0047]3D−HEVCの参照ソフトウェア記述ならびに作業草案は、次のように入手可能である。即ち、Gerhard Tech、Krzysztof Wegner、Ying Chen、Sehoon Yea、「3D−HEVC Test Model4」、JCT3V−D1005_spec_v1、ITU−T SG 16 WP 3の3Dビデオコード化拡張開発共同研究部会、及びISO/IEC JTC 1/SC 29/WG 11、4nd会合、韓国、仁川、2013年4月が、http://phenix.it−sudparis.eu/jct2/doc_end_user/documents/2_Shanghai/wg11/JCT3V−B1005−v1.zipのリンクからダウンロード可能である。3D−HEVCの参照ソフトウェア記述の別のバージョンは、http://phenix.it−sudparis.eu/jct2/doc_end_user/current_document.php?id=706から入手可能であり得る。ビデオエンコーダ20及びビデオデコーダ30は、SHEVC、MV−HEVC、及び/又は3D−HEVCに従って動作し得る。
[0048]HEVC及び他のビデオコード化仕様では、ビデオシーケンスは一般に一連のピクチャを含む。ピクチャは「フレーム」と呼ばれることもある。ピクチャは、SL、SCb及びSCrと示される3つのサンプルアレイを含み得る。SLは、ルーマサンプルの2次元アレイ(即ち、ブロック)である。SCbは、Cbクロミナンスサンプルの2次元アレイである。SCrは、Crクロミナンスサンプルの2次元アレイである。クロミナンスサンプルは、本明細書では「クロマ」サンプルと呼ばれる場合もある。他の事例では、ピクチャは、モノクロームであってよく、ルーマサンプルのアレイのみを含み得る。
[0049]ピクチャの符号化表現を生成するために、ビデオエンコーダ20は、コード化ツリー単位(CTU)のセットを生成することができる。CTUの各々は、ルーマサンプルのコード化ツリーブロックと、クロマサンプルの2つの対応するコード化ツリーブロックと、それらのコード化ツリーブロックのサンプルをコード化するために使用されるシンタックス構造とを備え得る。3つの別個のカラープレーンを有する1つ又は複数のモノクロームピクチャでは、CTUは、単一のコード化ツリーブロックと、そのコード化ツリーブロックのサンプルをコード化するために使用されるシンタックス構造とを備える場合がある。コード化ツリーブロックは、サンプルのN×Nのブロックであり得る。CTUは、「ツリーブロック」又は「最大コード化単位」(LCU)とも呼ばれることがある。HEVCのCTUは、H.264/AVCのような、他の規格のマクロブロックに広い意味で類似し得る。しかしながら、CTUは、必ずしも特定のサイズには限定されず、1つ又は複数のコード化単位(CU)を含み得る。スライスは、ラスタースキャン順序、又は他の順序で連続的に順序付けられた整数個のCTUを含み得る。
[0050]コード化CTUを生成するために、ビデオエンコーダ20は、コード化ツリーブロックをコード化ブロックに分割するように、CTUのコード化ツリーブロックに対して4分木区分を再帰的に実施することができ、従って「コード化ツリー単位」という名称である。コード化ブロックは、N×Nブロックのサンプルである。CUは、ルーマサンプルアレイとCbサンプルアレイとCrサンプルアレイとを有するピクチャのルーマサンプルのコード化ブロックと、クロマサンプルの2つの対応するコード化ブロックと、それらのコード化ブロックのサンプルをコード化するために使用されるシンタックス構造とを備える場合がある。3つの別個のカラープレーンを有する1つ又は複数のモノクロームピクチャでは、CUは、単一のコード化ブロックと、そのコード化ブロックのサンプルをコード化するために使用されるシンタックス構造とを備える場合がある。
[0051]ビデオエンコーダ20は、CUのコード化ブロックを1つ又は複数の予測ブロックに区分し得る。予測ブロックは、同じ予測が適用されるサンプルの矩形(即ち、正方形又は非正方形)ブロックである。CUの予測単位(PU)は、ルーマサンプルの予測ブロックと、クロマサンプルの2つの対応する予測ブロックと、それらの予測ブロックを予測するために使用されるシンタックス構造とを備え得る。ビデオエンコーダ20は、CUの各PUのルーマ予測ブロック、Cb予測ブロック、及びCr予測ブロックの予測ルーマブロック、予測Cbブロック、及び予測Crブロックを生成してもよい。3つの別個のカラープレーンを有する1つ又は複数のモノクロームピクチャでは、PUは、単一の予測ブロックと、その予測ブロックを予測するために使用されるシンタックス構造とを備える場合がある。
[0052]ビデオエンコーダ20は、PUのための予測ブロックを生成するために、イントラ予測又はインター予測を使用し得る。ビデオエンコーダ20がPUの予測ブロックを生成するためにイントラ予測を使用する場合、ビデオエンコーダ20は、PUに関連付けられたピクチャの復号されたサンプルに基づいて、PUの予測ブロックを生成し得る。各PUのルーマ成分に関するHEVCの幾つかのバージョンでは、(2〜34までインデックス付けされた)33個の角度予測モードと、(1とインデックス付けされた)DCモードと、(0とインデックス付けされた)平面モードとを有するイントラ予測方法が利用される。
[0053]ビデオエンコーダ20がPUの予測ブロックを生成するためにインター予測を使用する場合、ビデオエンコーダ20は、PUに関連付けられたピクチャ以外の1つ又は複数のピクチャの復号されたサンプルに基づいて、PUの予測ブロックを生成し得る。インター予測は、単方向インター予測(即ち、単予測)又は双方向インター予測(即ち、双予測)であり得る。単予測又は双予測を実施するために、ビデオエンコーダ20は、現在のスライスに対して、第1の参照ピクチャリスト(RefPicList0)と第2の参照ピクチャリスト(RefPicList1)とを生成し得る。参照ピクチャリストの各々は、1つ又は複数の参照ピクチャを含み得る。単予測を使用するとき、ビデオエンコーダ20は、参照ピクチャ内の参照位置を決定するために、RefPicList0とRefPicList1のいずれか又は両方の中の参照ピクチャを探索することができる。更に、単予測を使用するとき、ビデオエンコーダ20は、参照位置(reference location)に対応するサンプルに少なくとも部分的に基づいて、PUの予測ブロックを生成することができる。その上、単予測を使用するとき、ビデオエンコーダ20は、PUの予測ブロックと参照位置との間の空間的変位を示す単一の動きベクトルを生成することができる。PUの予測ブロックと参照位置との間の空間変位を示すために、動きベクトルは、PUの予測ブロックと参照位置との間の水平変位を指定する水平成分を含み得、PUの予測ブロックと参照位置との間の垂直変位を指定する垂直成分を含み得る。
[0054]PUを符号化するために双予測を使用するとき、ビデオエンコーダ20は、RefPicList0中の参照ピクチャ中の第1の参照位置と、RefPicList1中の参照ピクチャ中の第2の参照位置とを決定し得る。ビデオエンコーダ20は、次いで、第1の参照位置及び第2の参照位置に対応するサンプルに少なくとも部分的に基づいて、PUのための予測ブロックを生成することができる。更に、PUを符号化するために双予測を使用するとき、ビデオエンコーダ20は、PUのサンプルブロックと第1の参照位置との間の空間変位を示す第1の動きベクトルと、PUの予測ブロックと第2の参照位置との間の空間変位を示す第2の動きベクトルとを生成することができる。
[0055]ビデオエンコーダ20が、CUの1つ又は複数のPUのための予測ブロック(例えば、予測ルーマブロック、予測Cbブロック、及び予測Crブロック)を生成した後、ビデオエンコーダ20は、CUのための1つ又は複数の残差ブロックを生成し得る。CUの残差ブロック中の各サンプルは、CUの予測ブロック中のサンプルと、CUのコード化ブロック中の対応するサンプルとの差を示し得る。例えば、ビデオエンコーダ20は、CUのためのルーマ残差ブロックを生成し得る。CUのルーマ残差ブロック中の各サンプルは、CUのPUのルーマ予測ブロックのうちの1つの中のルーマサンプルと、CUのルーマコード化ブロック中の対応するサンプルとの間の差分を示す。更に、ビデオエンコーダ20は、CUのためのCb残差ブロックを生成し得る。CUのCb残差ブロックの中の各サンプルは、CUのPUの予測Cbブロックのうちの1つの中のCbサンプルと、CUのCbコード化ブロックの中の対応するサンプルとの間の差分を示し得る。ビデオエンコーダ20は、CUに関するCr残差ブロックを生成することもできる。CUのCr残差ブロックの中の各サンプルは、CUのPUの予測Crブロックのうちの1つの中のCrサンプルと、CUのCrコード化ブロックの中の対応するサンプルとの間の差分を示し得る。
[0056]更に、ビデオエンコーダ20は、CUの残差ブロック(例えば、ルーマ残差ブロック、Cb残差ブロック、及びCr残差ブロック)を、1つ又は複数の変換ブロック(例えば、ルーマ変換ブロック、Cb変換ブロック、及びCr変換ブロック)に分解するために、4分木区分化を使用し得る。変換ブロックは、同じ変換が適用されるサンプルの矩形(例えば、正方形又は非正方形)ブロックである。CUの変換単位(TU)は、ルーマサンプルの変換ブロックと、クロマサンプルの2個の対応する変換ブロックと、それらの変換ブロックサンプルを変換するために使用されるシンタックス構造とを備え得る。従って、CUの各TUは、ルーマ変換ブロック、Cb変換ブロック、及びCr変換ブロックに関連付けられ得る。TUに関連付けられたルーマ変換ブロックは、CUのルーマ残差ブロックのサブブロックであり得る。Cb変換ブロックは、CUのCb残差ブロックのサブブロックであり得る。Cr変換ブロックは、CUのCr残差ブロックのサブブロックであり得る。3つの別個のカラープレーンを有する1つ又は複数のモノクロームピクチャでは、TUは、単一の変換ブロックと、その変換ブロックのサンプルを変換するために使用されるシンタックス構造とを備える場合がある。
[0057]ビデオエンコーダ20は、TUのための係数ブロックを生成するために、TUの変換ブロックに1つ又は複数の変換を適用し得る。係数ブロックは、変換係数の2次元アレイであり得る。変換係数は、スカラー量であってよい。例えば、ビデオエンコーダ20は、TUのためのルーマ係数ブロックを生成するために、TUのルーマ変換ブロックに1つ又は複数の変換を適用し得る。ビデオエンコーダ20は、TUのためのCb係数ブロックを生成するために、TUのCb変換ブロックに1つ又は複数の変換を適用し得る。ビデオエンコーダ20は、TUのためのCr係数ブロックを生成するために、TUのCr変換ブロックに1つ又は複数の変換を適用し得る。
[0058]係数ブロック(例えば、ルーマ係数ブロック、Cb係数ブロック又はCr係数ブロック)を生成した後、ビデオエンコーダ20は、係数ブロックを量子化し得る。量子化は、一般に、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、更なる圧縮を実現するプロセスを指す。ビデオエンコーダ20が係数ブロックを量子化した後、ビデオエンコーダ20は、量子化変換係数を示すシンタックス要素をエントロピー符号化することができる。例えば、ビデオエンコーダ20は、量子化変換係数を示すシンタックス要素に対して、コンテキスト適応型バイナリ算術コード化(CABAC:Context-Adaptive Binary Arithmetic Coding)を実施することができる。
[0059]ビデオエンコーダ20は、コード化ピクチャと関連付けられたデータとの表現を形成するビットのシーケンスを含むビットストリームを出力し得る。ビットストリームは、一連のネットワーク抽象化レイヤ(NAL)単位を備え得る。NAL単位は、NAL単位中のデータのタイプの指示と、必要に応じてエミュレーション防止ビットが散在させられているローバイトシーケンスペイロード(RBSP)の形態でそのデータを含むバイトとを含む、シンタックス構造である。NAL単位の各々は、NAL単位ヘッダを含み、RBSPをカプセル化する。NAL単位ヘッダは、NAL単位タイプコードを含むシンタックス要素を含み得る。NAL単位のNAL単位ヘッダによって指定されるNAL単位タイプコードは、NAL単位のタイプを示す。RBSPは、NAL単位内にカプセル化された整数個のバイトを含むシンタックス構造であり得る。幾つかの事例では、RBSPは0ビットを含む。
[0060]異なるタイプのNAL単位は、異なるタイプのRBSPをカプセル化することができる。例えば、第1のタイプのNAL単位はピクチャパラメータセット(PPS)のためのRBSPをカプセル化し得、第2のタイプのNAL単位はコード化スライスのためのRBSPをカプセル化し得、第3のタイプのNAL単位は補助強化情報(SEI)のためのRBSP(即ち、SEI RBSP)をカプセル化し得、以下同様である。ビデオコード化データに関するRBSPをカプセル化するNAL単位は(パラメータセット及びSEIメッセージのためのRBSPとは対照的に)、ビデオコード化レイヤ(VCL)NAL単位と呼ばれる場合がある。SEIは、VCL NAL単位からのコード化ピクチャのサンプルを復号するために必要ではない情報を含んでいる。SEI RBSPは、1つ又は複数のSEIメッセージを含み得る。
[0061]HEVC及び他のビデオコード化規格は、様々なタイプのパラメータセットを提供する。例えば、ビデオパラメータセット(VPS)とは、0個以上のコード化ビデオシーケンス(CVS)全体に当てはまるシンタックス要素を備えるシンタックス構造である。シーケンスパラメータセット(SPS)は、CVSの全てのスライスに適用する情報を含み得る。SPSは、SPSがアクティブであるときアクティブであるVPSを識別するシンタックス要素を含む場合がある。従って、VPSのシンタックス要素は、SPSのシンタックス要素よりも一般的に適用可能であり得る。PPSは、0個又はそれ以上のコード化ピクチャに適用されるシンタックス要素を備えるシンタックス構造である。PPSは、PPSがアクティブであるときにアクティブであるSPSを識別するシンタックス要素を含み得る。スライスのスライスヘッダは、スライスがコード化されているときにアクティブであるPPSを示すシンタックス要素を含む場合がある。パラメータセットは、ビデオコード化規格の特定の拡張についての拡張を含み得る。パラメータセットの拡張は、ビデオコード化規格の拡張に特有のシンタックス要素を含み得る。例えば、パラメータセットの拡張は、SHVC、MV−HEVC、又は3D−HEVCにおいて使われるシンタックス要素を含み得るが、ベースHEVCにおいて使われるシンタックス要素は含まない。
[0062]ビデオデコーダ30は、ビデオエンコーダ20によって生成されたビットストリームを受信し得る。加えて、ビデオデコーダ30は、ビットストリームを解析して、ビットストリームからシンタックス要素を取得することができる。ビデオデコーダ30は、ビットストリームから取得されたシンタックス要素に少なくとも部分的に基づいて、ビデオデータのピクチャを再構築することができる。ビデオデータを再構築するためのプロセスは、一般に、ビデオエンコーダ20によって実施されるプロセスの逆であり得る。例えば、ビデオデコーダ30は、現在のCUのPUに関する予測ブロックを決定するために、PUの動きベクトルを使用することができる。加えて、ビデオデコーダ30は、現在CUのTUに関連付けられた係数ブロックを逆量子化することができる。ビデオデコーダ30は、現在CUのTUに関連付けられた変換ブロックを再構築するために、係数ブロックに対して逆変換を実施することができる。ビデオデコーダ30は、現在CUのPUに関する予測ブロックのサンプルを現在CUのTUの変換ブロックの対応するサンプルに加算することによって、現在CUのコード化ブロックを再構築することができる。ピクチャの各CUに関するコード化ブロックを再構築することによって、ビデオデコーダ30はピクチャを再構築することができる。
[0063]マルチビューコード化では、異なる視点からの同じシーンの複数のビューが存在する場合がある。「アクセス単位」という用語は、同じ時間インスタンスに対応するピクチャのセットを指すために使用される場合がある。従って、ビデオデータは、時間とともに生じる一連のアクセス単位として概念化され得る。「ビュー成分」は、単一のアクセス単位の中のビューのコード化表現であり得る。本開示では、「ビュー」は、同じビュー識別子に関連付けられたビュー成分のシーケンス又はセットを指すことがある。ビュー成分は、テクスチャビュー成分と深度ビュー成分とを含み得る。本開示では、「ビュー」は、同じビュー識別子と関連付けられた1つ又は複数のビュー成分のセット又はシーケンスを指す場合がある。
[0064]テクスチャビュー成分(即ち、テクスチャピクチャ)は、単一のアクセス単位中のビューのテクスチャのコード化表現であり得る。テクスチャビューは、ビュー順序インデックスの同一の値に関連付けられるテクスチャビュー成分のシーケンスであり得る。ビューのビュー順序インデックスは、他のビューに対するビューのカメラ位置を示すことができる。深度ビュー成分(即ち、深度ピクチャ)は、単一のアクセス単位中のビューの深度のコード化表現であり得る。深度ビューは、ビュー順序インデックスの同一の値に関連付けられた1つ又は複数の深度ビュー成分のセット又はシーケンスであり得る。
[0065]マルチビューコード化はビュー間予測をサポートする。ビュー間予測は、HEVCにおいて使用されるインター予測と同様であり、同じシンタックス要素を使用することができる。しかしながら、ビデオコーダが(PUなどの)現在ビデオブロックに対してビュー間予測を実施するとき、ビデオエンコーダ20は、参照ピクチャとして、その現在ビデオブロックと同じアクセス単位内にあるが、異なるビュー内にあるピクチャを使用することができる。対照的に、従来のインター予測は、参照ピクチャとして異なるアクセス単位内のピクチャのみを使用する。
[0066]マルチビューコード化では、ビットストリームは複数のレイヤを有する場合がある。これらのレイヤの各々は、異なるビューに対応し得る。マルチビューコード化では、ビデオデコーダ(例えば、ビデオデコーダ30)が、あるビュー中のピクチャを任意の他のビュー中のピクチャを参照せずに復号することができる場合、そのビューは「ベースビュー」と呼ばれることがある。ビューは、ピクチャの復号が1つ又は複数の他のビュー中のピクチャの復号に依存する場合、「非ベースビュー」又は「依存ビュー」と呼ばれ得る。非ベースビューのうちの1つの中のピクチャをコード化するとき、異なるビューの中にあるがビデオコーダが現在コード化しているピクチャと同じ時間インスタンス(即ち、アクセス単位)内にあるピクチャを、ビデオコーダ(ビデオエンコーダ20又はビデオデコーダ30など)は、参照ピクチャリストに含め得る。他のインター予測参照ピクチャと同様に、ビデオコーダは、参照ピクチャリストの任意の位置にビュー間予測参照ピクチャを挿入することができる。
[0067]SVCでは、ベースレイヤ以外のレイヤは、「拡張レイヤ」と呼ばれることがあり、ビットストリームから復号されるビデオデータの視覚的品質を向上させる情報を提供し得る。SVCは、空間解像度、信号対ノイズ比(即ち、品質)又は時間レートを強化し得る。スケーラブルビデオコード化(例えば、SHVC)では、「レイヤ表現」は、単一のアクセス単位中の空間レイヤのコード化された表現であり得る。説明を簡単にするために、本開示は、ビュー成分及び/又はレイヤ表現を「ビュー成分/レイヤ表現」と呼び得る。
[0068]レイヤを実装するために、NAL単位のヘッダは、nuh_reserved_zero_6bitsシンタックス要素を含み得る。HEVCバージョン1において、nuh_reserved_zero_6bitsシンタックス要素は予約済みである。但し、MV−HEVC、3D−HEVC、及びSVCでは、nuh_reserved_zero_6bitsシンタックス要素は、nuh_layer_idシンタックス要素と呼ばれる。nuh_layer_idシンタックス要素は、レイヤの識別子を指定する。異なる値を指定するnuh_layer_idシンタックス要素を有する、ビットストリームのNAL単位は、ビットストリームの異なるレイヤに属す。
[0069]幾つかの例では、NAL単位が、マルチビューコード化(例えば、MV−HEVC)、3DVコード化(例えば、3D−HEVC)、又はスケーラブルビデオコード化(例えば、SHVC)におけるベースレイヤに関する場合、NAL単位のnuh_layer_idシンタックス要素は0に等しい。ビットストリームのベースレイヤ内のデータは、ビットストリームの任意の他のレイヤ中のデータを参照せずに復号され得る。NAL単位が、マルチビューコード化、3DV、又はスケーラブルビデオコード化におけるベースレイヤに関係しない場合、NAL単位のnuh_layer_idシンタックス要素は非0値を有することができる。
[0070]更に、レイヤ内の幾つかのビュー成分/レイヤ表現は、同じレイヤ内の他のビュー成分/レイヤ表現を参照せずに復号され得る。従って、レイヤの幾つかのビュー成分/レイヤ表現のデータをカプセル化したNAL単位は、そのレイヤ中の他のビュー成分/レイヤ表現の復号可能性に影響を及ぼすことなくビットストリームから除去され得る。そのようなビュー成分/レイヤ表現のデータをカプセル化したNAL単位を除去すると、ビットストリームのフレームレートが低減し得る。レイヤ内の他のビュー成分/レイヤ表現を参照せずに復号され得るレイヤ内のビュー成分/レイヤ表現のサブセットは、本明細書では「サブレイヤ」又は「時間サブレイヤ」と呼ばれ得る。
[0071]NAL単位は、NAL単位の時間識別子(即ち、TemporalId)を指定するtemporal_idシンタックス要素を含み得る。NAL単位の時間識別子は、そのNAL単位が属すサブレイヤを識別する。従って、ビットストリームの各サブレイヤは、異なる時間識別子を有し得る。概して、レイヤの第1のNAL単位の時間識別子が同じレイヤの第2のNAL単位の時間識別子未満の場合、第1のNAL単位によってカプセル化されたデータは、第2のNAL単位によってカプセル化されたデータを参照せずに復号され得る。
[0072]ビットストリームは、複数の動作点に関連付けられ得る。ビットストリームの各動作点は、レイヤ識別子のセット(例えば、nuh_layer_id値のセット)及び時間識別子に関連付けられる。レイヤ識別子のセットはOpLayerIdSetと表記され得るし、時間識別子はTemporalIDと表記され得る。NAL単位のレイヤ識別子が動作点のレイヤ識別子のセット内にあり、NAL単位の時間識別子が動作点の時間識別子以下である場合、NAL単位は動作点に関連付けられる。
[0073]ビデオプロセッサ(例えば、メディアアウェアネットワーク要素(MANE)、スプライシングエンジン、ビデオデコーダ、又は他の機器)は、HEVCビットストリームにビットストリーム間引き(bitstream thinning)を適用することができる。ビットストリーム中の任意のポイントにおいて、下位サブレイヤ中のピクチャのための復号プロセスは上位サブレイヤのNAL単位に依存しないので、下位サブレイヤ(即ち、下位時間識別子に関連付けられたサブレイヤ)中のピクチャがまだ復号可能であるということに基づいて、ビデオプロセッサは上位サブレイヤ(即ち、上位時間識別子に関連付けられたサブレイヤ)のNAL単位を削除し始め、又は復号を停止することができる。ある値よりも高い時間識別子をもつ全てのNAL単位を削除し、又は復号を停止するアクションは時間ダウンスイッチングと呼ばれることがある。時間ダウンスイッチングは常に可能であり得る。
[0074]「時間アップスイッチング」という用語は、そのポイントまで送付又は復号されていないあるサブレイヤのNAL単位を送付し始め、又は復号し始めるアクションを指し得る。それにスイッチされるレイヤ中のピクチャのいずれも、スイッチが実施されたビットストリーム中のポイントより前の同じサブレイヤ中のどのピクチャにも依存しない場合のみ、時間アップスイッチングは可能であり得る。このように、「時間サブレイヤスイッチングポイント」という用語は、あるピクチャと同じサブレイヤ中にあり、復号順序でそのピクチャに先行する、他のピクチャへの依存性を有しないそのようなピクチャを指し得る。
[0075]SVC、MVC、MVCプラス深度(MVC+D)(3D−HEVC)、及びHEVCバージョン1は、サブビットストリーム抽出プロセスを規定する。例えば、HEVCバージョン1の条項10は、サブビットストリーム抽出プロセスを規定する。HEVCバージョン1において、サブビットストリーム抽出プロセスは、ビットストリームと、目標最高時間識別子と、目標レイヤセットとを、入力としてとる。更に、HEVCバージョン1において、サブビットストリーム抽出プロセスは、サブビットストリームを出力として与える。サブビットストリーム抽出プロセスによって与えられるサブビットストリームは、目標レイヤセットに属さないVCL NAL単位を含まず、目標最高時間識別子よりも大きい時間識別子を有するVCL NAL単位を含まない。幾つかの例では、各抽出可能サブビットストリームは、適合ビットストリームであることが求められる。
[0076]ビットストリーム抽出プロセスの設計において、例えばMVC開発において検討されてきた1つの問題は、最良サブビットストリーム自己完全性を、又はサブビットストリームの最適サイズを目標とするかということである。サブビットストリーム自己完全性を目標とするサブビットストリームが抽出された場合、サブストリームから、再帰的に更に抽出された各サブビットストリームは、適合ビットストリームであり得る。最適サイズを目標とするサブビットストリームが抽出された場合、目標出力レイヤの正しい復号に必要とされない一部又は全部のピクチャは、抽出されたサブビットストリームに含まれなくてもよい。
[0077]最良自己完全性(best self-completeness)を目標にすると、ビットストリーム抽出プロセスがより規定しやすくなり得る。ビットストリーム抽出が、ストリーミングサーバ又は中間ネットワーク要素によって実施され、ビットストリームの各サブセットが一部のエンドユーザによって更に要求され得る場合、自己完全サブビットストリームは、依然として「完全抽出可能」であり、より有用である。但し、一方、抽出されたサブビットストリームが、エンドユーザに直接送られ、更に抽出されると仮定されない場合、ビットストリームの最適サイズを目標にすることによって、より良好な送信帯域幅効率が達成され得る。最適サイズを目標にすることによって生成されたそのようなサブビットストリームは、「最適抽出された」と見なされる。アプリケーションに依存して適用されるいずれかの利点を可能にするために、サブビットストリーム抽出プロセスは、最良抽出動作を適応的に選ぶように設計されてよい。
[0078]Wangら、「MV−HEVC/SHVC HLS:On changing of the highest layer ID across AUs and multi−mode(登録商標) bitstream extraction」、ITU−T SG16WP3及びISO/IEC JTC1/SC29/WG11のビデオコード化共同研究部会(JCT−VC)、第14回会合、オーストリア、ウィーン、2013年7月25日〜8月2日、文書番号JCTVC−N0267、ならびにITU−T SG16WP3及びISO/IEC JTC1/SC29/WG11の3Dビデオコード化共同研究部会拡張、第5回会合、オーストリア、ウィーン、2013年7月27日〜8月2日、文書番号JCT3V−E0087(これ以降、「JCTVC−N0267/JCT3V−E0087」)は、マルチモードビットストリーム抽出のサポートを提案した。JCTVC−N0267/JCT3V−E0087は、HEVC WDの下位条項10に対する以下の変更を提案した(追加事項は下線が引かれ(例えば、「追加テキスト」)、削除事項は、二重角括弧付きの斜体で示されている(例えば、「[[消去されたテキスト]]」))。
サブビットストリーム抽出プロセス このプロセスへの入力は、ビットストリーム、目標最高TemporalId値tIdTarget、[[及び]]目標レイヤ識別子リストlayerIdListTarget、目標出力レイヤ識別子リストTargetOptLayerIdList、及び抽出モードsubExtModeIdcであり、これは、存在するときは外部手段によって指定され、又は外部手段によって指定されないときは0に等しくセットされる。
このプロセスの出力は、サブビットストリームである。
両端値を含む0〜6の範囲内の任意の値に等しいtIdTargetと、アクティブビデオパラメータセット中で指定されるレイヤセットに関連付けられたレイヤ識別子リストに等しいlayerIdListTargetとをもつ、この下位条項において指定されるプロセスのどの出力サブビットストリームも、subExtModeIdcが0に等しいときは適合ビットストリームであるものとするというのは、入力ビットストリームに対するビットストリーム適合の要件である。
注釈1−適合ビットストリームは、nuh_layer_idが0に等しく、TemporalIdが0に等しい1つ又は複数のコード化スライスのセグメントNAL単位を含む。
出力サブビットストリームは、次のように導出される。
− 以下の2つの条件のうちの1つ又は複数が真であるとき、0に等しいnuh_layer_idを有し、非ネスト化バッファリング期間SEIメッセージ、非ネスト化ピクチャタイミングSEIメッセージ、又は非ネスト化復号単位情報SEIメッセージを含む全ての補足拡張情報(SEI)NAL単位を削除する。
− layerIdListTargetは、ビットストリーム中の全てのNAL単位中にnuh_layer_idの値全てを含むわけではない。
− tIdTargetは、ビットストリーム中の全てのNAL単位中の最も大きいTemporalIdよりも小さい。
注釈2−サブビットストリームに適用可能なSEIメッセージが、元のビットストリーム中にネスト化SEIメッセージとして存在していたのならば、「スマート」ビットストリーム抽出器が、適切な非ネスト化バッファリングピクチャSEIメッセージと、非ネスト化ピクチャタイミングSEIメッセージと、非ネスト化復号単位情報SEIメッセージとを、抽出されたサブビットストリームに含め得る。
− layerIdListTargetに含まれる値の中にないtIdTarget又はnuh_layer_idよりも大きいTemporalIdをもつ全てのNAL単位を削除する。
subExtModeIdcが0よりも大きいとき、TargetOptLayerIdListに含まれる値の中にないnuh_layer_idをもつとともに、max_tid_il_ref_pics_plus1[LayerIdxInVps[nuh_layer_id]]−1よりも大きいTemporalIdをもつNAL単位を更に削除する。
subExtModeIdcが1よりも大きいとき、TargetOptLayerIdListに含まれる値の中にないnuh_layer_id及び1に等しいdiscardable_flagをもつNAL単位を更に削除する。
[0079]discardable_flagは、スライスセグメントヘッダ中に含まれるシンタックス要素である。MV−HEVC WD5において定義されるように、1に等しいdiscardable_flagは、コード化ピクチャがインター予測用の参照ピクチャとして使われず、復号順序で後続のピクチャの復号プロセスにおいてレイヤ間参照ピクチャとして使われないと指定する。0に等しいdiscardable_flagは、コード化ピクチャがインター予測用の参照ピクチャとして使われてよく、復号順序で後続のピクチャの復号プロセスにおいてレイヤ間参照ピクチャとして使われてよいと指定する。存在しないとき、discardable_flagの値は0に等しいと推論される。
[0080]JCTVC−N0267及びJCT3V−E0087において提案されるマルチモードビットストリーム抽出プロセスは、可能性として、以下の問題を有する。第1に、マルチモードビットストリーム抽出プロセスは、目標レイヤ識別子リスト及び目標temporalIdの同じ入力を用いて、複数のサブビットストリームを生じる。但し、これらの複数のサブビットストリームは必ずしも適合ビットストリームではなく、従って、適合MV−HEVC/SHVCデコーダは、サブビットストリームの幾つかを復号することができない場合があり得る。
[0081]第2に、「完全抽出可能」サブビットストリームは、どの可能モードでも、後でビットストリーム抽出に使われてよい。但し、「最適抽出された」サブビットストリームとは、幾つかのレイヤにおける幾つかの復号ピクチャの欠如である場合があり得る。従って、特に、ビットストリームが、前の抽出プロセス中に目標出力レイヤに属さないレイヤを含む場合、そのようなビットストリームから、幾つかの出力レイヤセットを問題なく抽出することが不可能である場合があり得る。従って、ビットストリームに対してどのようなタイプのビットストリーム抽出が実施され得るかは、このようにビットストリームのプロパティとして示されるべきである。
[0082]第3に、ビットストリーム抽出モードにかかわらず、サブビットストリームは、目標出力レイヤセット内のピクチャを復号し出力するための十分なNAL単位を含む。従って、目標出力レイヤ(JCTVC−N0267/JCT3V−E0087におけるようなTargetOptLayerIdList)セットが、前の抽出において使われたものを超えない(及び、従って、目標レイヤ(現行のHEVC及びJCTVC−N0267/JCT3V−E0087におけるようなlayerIdListTarget)が、前の抽出において使われたレイヤを超えない)限り、どのモードに対する更なるビットストリーム抽出も可能である。但し、抽出されたビットストリームは、どれが、抽出されたビットストリームを生じるのに使われた目標レイヤ及び/又は目標出力レイヤセットだったかを示す情報を含まない。
[0083]第4に、JCTVC−N0267/JCT3V−E0087において提案されるビットストリーム抽出プロセスへの入力は、目標レイヤと出力レイヤセットの両方を含む。但し、出力レイヤセットの入力を用いると、「完全抽出可能」サブビットストリームを抽出することしないモードにおいて、目標レイヤの情報は冗長になる。目標レイヤが指定されるときでも、目標レイヤによって依存する幾つかの他のレイヤが目標レイヤに含まれないということにより、即ち、目標レイヤが自己包含でないとき、目標レイヤの各レイヤが明白に復号され得るかどうかは明らかでない。従って、多くのシナリオにおいて、ビットストリーム抽出プロセス向けの入力としての目標レイヤの存在は、十分でもなく、必要でもない。
[0084]本開示の技法は、上に記載した問題のうちの1つ又は複数に対処し得る。本開示の技法の要約が以下に提示され、本開示の技法の例示的実装形態が以下のセクションにおいて挙げられる。本開示の技法の幾つかは独立して適用されてよく、本開示の技法の幾つかは組み合わせて適用されてよい。
[0085]本開示の第1の例示的な技法によると、抽出レベル又は適合レベル指示が、動作点についての適合のレベルを指定するためにビデオコーデック及びシステムにおいて採り入れられてよく、これは、そのような指示に関連付けられたビットストリームがビットストリーム抽出により生じたかどうか、及びそうである場合、どのレベルにおいて生じたかということにも関連する。例えば、0に等しい指示は、ビットストリームがビットストリーム抽出プロセスを通っていないか、又は0に等しいsubExtModeIdcのモードを用いて抽出されたことを意味する。そのような値は、ビットストリームが、0以上のsubExtModeIdcを用いて柔軟に抽出され得ることを意味する。別の例では、1に等しい指示は、ビットストリームが、1に等しいsubExtModeIdcのモードを用いるビットストリーム抽出プロセスによって生じた可能性があることを意味する。そのような値は、以下で説明する、本開示の第3の例示的な技法でのように別段に指定されない限り、ビットストリームがそれ以上抽出されなくてよいことを意味する。
[0086]本開示の第2の例示的な技法によると、複数の抽出モードの各々を用いて抽出されたサブビットストリームは、適合すると見なされ得る。一態様では、各適合動作点の一部として、出力レイヤセットが適合レベル指示に関連付けられる。
[0087]本開示の第2の例示的な技法の別の態様では、目標出力レイヤセット及び目標TemporalIdによって定義される同じ動作点に対してであっても、含まれるコード化ピクチャは、異なるモードから抽出されたサブビットストリームに対しては異なり、従って、仮想参照デコーダ(HRD)パラメータの信号伝達についての指示を有すると提案される。「仮想参照デコーダ」又は「HRD」とは、ビデオバッファリングモデルである。HRDは、データが復号のためにどのようにバッファリングされるべきかと、復号データが出力のためにどのようにバッファリングされるかとを記述する。例えば、HRDは、ビデオデコーダ中のコード化ピクチャバッファ(「CPB」)及び復号ピクチャバッファ(「DPB」)の動作を記述する。CPBは、HRDによって指定された復号順序でアクセス単位を含む先入れ先出しバッファである。DPBは、HRDによって指定された参照、出力並べ替え、又は出力遅延のために復号ピクチャを保持するバッファである。ビデオエンコーダは、HRDパラメータのセットを信号伝達することができる。HRDパラメータは、HRDの様々な態様を制御する。HRDパラメータには、初期CPB削除遅延、CPBサイズ、ビットレート、初期DPB出力遅延、及びDPBサイズが含まれ得る。これらのHRDパラメータは、ビデオパラメータセット(VPS)及び/又はシーケンスパラメータセット(SPS)中で指定されるhrd_parameters()シンタックス構造中でコード化され得る。HRDパラメータは、バッファリング期間SEIメッセージ又はピクチャタイミングSEIメッセージ中でも指定され得る。
[0088]H.264/AVC及びHEVCでは、ビットストリームの適合性及びデコーダの適合性がHRD仕様の一部として規定される。言い換えれば、HRDモデルは、ビットストリームが規格に適合するかどうかを決定する検査と、デコーダが規格に適合するかどうかを決定する検査とを規定する。HRDはある種類のデコーダとして命名されたが、ビデオエンコーダは、通常、ビットストリームの適合性を保証するためにHRDを使用するが、ビデオデコーダは、通常、HRDを必要としない。
[0089]H.264/AVC及びHEVCは両方とも、2つのタイプのビットストリーム又はHRDの適合性、即ちタイプIとタイプIIとを規定する。タイプIのビットストリームは、ビットストリーム内の全てのアクセス単位用のVCL NAL単位及びフィラーデータNAL単位のみを含んでいるNAL単位ストリームである。タイプIIのビットストリームは、ビットストリーム内の全てのアクセス単位用のVCL NAL単位及びフィラーデータNAL単位に加えて、以下のフィラーデータNAL単位以外の更なる非VCL NAL単位、及び、NAL単位ストリームからバイトストリームを形成する全てのleading_zero_8bits、zero_byte、start_coded_prefix_one_3bytes、及びtrailing_zero_8bitsのシンタックス要素のうちの少なくとも1つを含んでいるNAL単位ストリームである。
[0090]ビットストリームがビデオコード化規格に適合するかどうかを決定するビットストリーム適合性検査を機器が実施するとき、機器はビットストリームの動作点を選択することができる。次いで、機器は、選択された動作点に適用可能なHRDパラメータのセットを決定することができる。機器は、HRDの挙動を構成するために、選択された動作点に適用可能なHRDパラメータのセットを使用することができる。より詳細には、機器は、仮想ストリームスケジューラ(HSS)、CPB、復号プロセス、DPBなどの、HRDの特定の構成要素の挙動を構成するために、適用可能なHRDパラメータのセットを使用することができる。その後、HSSは、特定のスケジュールに従って、HRDのCPBにビットストリームのコード化ビデオデータを注入することができる。更に、機器は、CPB内のコード化ビデオデータを復号する復号プロセスを起動することができる。復号プロセスは、DPBに復号ピクチャを出力することができる。機器がHRDを通してデータを移動させるとき、機器は、制約の特定のセットが満たされたままであるかどうかを決定することができる。例えば、機器は、HRDが選択された動作点の動作点表現を復号している間、CPB又はDPBにおいてオーバーフロー又はアンダーフローの状態が発生するかどうかを決定することができる。機器は、このようにして、ビットストリームの各動作点を選択し処理することができる。ビットストリームの動作点が制約を破られるようにさせない場合、機器は、ビットストリームがビデオコード化規格に適合すると決定することができる。
[0091]H.264/AVCとHEVCの両方は、2つのタイプのデコーダ適合性、即ち、出力タイミングデコーダ適合性と出力順序デコーダ適合性とを規定する。特定のプロファイル、ティア、及びレベルに対する適合性を主張するデコーダは、HEVCなどのビデオコード化規格のビットストリーム適合性要件に適合する全てのビットストリームの復号に成功することができる。本開示では、「プロファイル」はビットストリームシンタックスのサブセットを指す場合がある。「ティア」及び「レベル」は、各プロファイル内で指定され得る。ティアのレベルは、ビットストリーム内のシンタックス要素の値に課された制約条件の指定されたセットであり得る。これらの制約は、値に関する単純な制限であり得る。代替として、これらの制約は、値の演算の組合せ(例えば、ピクチャの幅×ピクチャの高さ×毎秒復号されるピクチャの数)に関する制約の形態をとる場合がある。通常、下位ティアに規定されたレベルは、上位ティアに規定されたレベルよりも制約される。
[0092]本開示の第3の例示的な技法によると、ビットストリーム抽出動作によって生じた各サブビットストリームについて、どの抽出モードが、サブビットストリームを生じるのに使われたかを示すためのSEIメッセージが生じられ得る。言い換えると、コンピュータ機器は、ビデオデータのコード化表現を含むサブビットストリーム中に、サブビットストリームを生じるのに使われた抽出モードの指示を含むSEIメッセージを含め得る。更に、又は代替として、そのようなサブビットストリームについて、サブビットストリームを生じるのに使われた目標出力レイヤセットは、SEIメッセージ中で信号伝達され得る。
[0093]従って、幾つかの例では、コンピュータ機器(例えば、宛先機器14、媒介機器19)は、ビデオデータのコード化表現を含む第1のビットストリームから、第1のビットストリームを第2のビットストリームから抽出するのに使われた抽出モードの指示を含むSEIメッセージを取得し得る。そのような例において、第1のビットストリームは、抽出モードに従って第2のビットストリームから抽出されたサブビットストリームである。抽出モードが第1の抽出モードであるか第2の抽出モードであるかにかかわらず、第1のビットストリームは、第1のビットストリームについて、目標出力レイヤセット中のピクチャを復号し出力するための十分なNAL単位を含む。抽出モードが第1の抽出モードである(例えば、第1のビットストリームが完全抽出可能サブビットストリームである)場合、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャ(例えば、1に等しいdiscardable_flagをもつピクチャ)を含む。抽出モードが第2のモードである(例えば、第1のビットストリームがサイズ最適化サブビットストリームである)場合、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含まない。同様に、コンピュータ機器(例えば、発信源機器12、媒介機器19)は、第1のビットストリームを第2のビットストリームから抽出するのに使われた抽出モードの指示を含むSEIメッセージを生成し、ビデオデータのコード化表現を含む第1のビットストリーム中に含めることができる。
[0094]幾つかの例では、抽出モードが第1の抽出モードである場合、第1のビットストリームは、目標時間識別子よりも大きい時間識別子を有するとともに、目標出力レイヤセット中に含まれる値の中にないレイヤ識別子を有する、第2のビットストリームのNAL単位を、目標出力レイヤセットについては除外する。更に、抽出モードが第2の抽出モードである場合、第1のビットストリームは、目標出力レイヤセット中のレイヤの正しい復号に必要とされないどのコード化ピクチャにも対応する、第2のビットストリームのNAL単位を更に除外する。
[0095]そのようなSEIメッセージを用いると、「完全抽出可能(fully extractable)」ビットストリーム抽出が、レイヤを含む全てに適用され得るわけではなくても、入力としての目標出力レイヤセットが、信号伝達された目標出力レイヤセットを超えない限り、全ての抽出モードが適用され得る。従って、幾つかの例では、完全抽出可能サブビットストリームのための目標出力レイヤセットがビットストリームのための目標出力レイヤセットを超えない限り、ビットストリームから完全抽出可能サブビットストリームが抽出され得ると、コンピュータ機器が決定してよい。完全抽出可能サブビットストリームは、完全抽出可能サブビットストリームのための目標出力レイヤセット内のピクチャを復号するための十分なNAL単位を含む。代替として、適合レベル(又は抽出モード)の少なくともそのような指示は、profile_tier_levelシンタックス構造中に存在してよく、指示は、予約済みビットを使用することによって存在する。
[0096]代替として、そのような指示は、外部手段を通して、例えば、そのようなサブビットストリームに対応する基本ストリームに関連付けられたISOベースメディアファイルフォーマットメタデータ(例えば、サンプル記述中の指示)として与えられ得る。従って、コンピュータ機器は、外部手段を通して、ビットストリームを生じるのに使われた抽出モードの指示を取得することができる。指示が、第1の抽出モードを使ってビットストリームが生じたことを示す場合、適合する第2のサブビットストリームがビットストリームから抽出可能である。指示が、第2の、異なる抽出モードを使ってビットストリームが生じたことを示す場合、どの適合サブビットストリームもビットストリームから抽出可能でない。外部手段は、ビットストリーム中に含まれない情報のソースであり得る。
[0097]本開示の第4の例示的な技法によると、アンブレラビットストリーム抽出プロセスが、マルチレイヤコーデック、例えば、MV−HEVC又はSHVCにおいて定義され得る。アンブレラビットストリーム抽出プロセスは最終的に、HEVCにおいて定義されるか、又はJCTVC−N0267/JCT3V−E0087において定義されるビットストリーム抽出プロセスを呼び出す。アンブレラビットストリーム抽出プロセスは、目標出力レイヤセットと、目標TemporalIdと、ビットストリーム抽出モードとを含む入力をとる。それらの中でも、目標出力レイヤセットが、目標レイヤ(layerIdListTarget)を導出するのに使われ、導出された目標レイヤならびに他の入力は、HEVC又はJCTVC−N0267/JCT3V−E0087において定義されるビットストリーム抽出プロセス向けの入力として使われる。代替として、更に、そのようなアンブレラビットストリーム抽出が、目標レイヤよりもむしろ、出力レイヤセットに主に基づいて定義されるときであっても、抽出プロセスのHEVCバージョン1方式は、依然として利用可能と見なされる。従って、サブビットストリームが、抽出の後、1つの動作点に必ずしも対応するわけではないことが可能である。そうではなく、サブビットストリームは、複数の動作点の合同である。抽出プロセスのそのようなHEVCバージョン1方式は、ビットストリーム抽出モードが0のときに呼び出されてよく、そのようなケースでは、出力レイヤセットは無視される。
[0098]本開示の第5の例示的な技法によると、ISOベースメディアファイルフォーマット又はMPEG−2TS、即ち少なくとも出力レイヤセットで表される動作点を記述するボックス又は記述子の形で、抽出レベル指示が信号伝達され得る。
[0099]本開示の技法のうちの1つ又は複数によると、以下は、HEVC WDの下位条項10への提案された変更を示す(追加事項は下線が引かれ(例えば、「追加テキスト」)、削除事項は、二重角括弧付き斜体で示される(例えば、「[[消去されたテキスト]]」))。
このプロセスへの入力は、subExtModeIdcが0に等しくない場合、ビットストリーム、目標最高TemporalId値tIdTarget、[[及び]]目標レイヤ識別子リストlayerIdListTarget、抽出モードsubExtModeIdc、及び目標出力レイヤ識別子リストTargetOptLayerIdListである。
このプロセスの出力は、サブビットストリームである。
両端値を含む0〜6の範囲内の任意の値に等しいtIdTargetと、アクティブビデオパラメータセット中で指定されるレイヤセットに関連付けられたレイヤ識別子リストに等しいlayerIdListTargetとをもつ、この下位条項において指定されるプロセスのどの出力サブビットストリームも、subExtModeIdcが3未満のときは適合ビットストリームであるものとするというのは、入力ビットストリームに対するビットストリーム適合の要件である。
注釈1−適合ビットストリームは、nuh_layer_idが0に等しく、TemporalIdが0に等しい1つ又は複数のコード化スライスのセグメントNAL単位を含む。
出力サブビットストリームは、次のように導出される。
− 以下の2つの条件のうちの1つ又は複数が真であるとき、0に等しいnuh_layer_idを有し、非ネスト化バッファリング期間SEIメッセージ、非ネスト化ピクチャタイミングSEIメッセージ、又は非ネスト化復号単位情報SEIメッセージを含む全てのSEI NAL単位を削除する。
− layerIdListTargetは、ビットストリーム中の全てのNAL単位中にnuh_layer_idの値全てを含むわけではない。
− tIdTargetは、ビットストリーム中の全てのNAL単位中の最も大きいTemporalIdよりも小さい。
注釈2−サブビットストリームに適用可能なSEIメッセージが、元のビットストリーム中にネスト化SEIメッセージとして存在していたのならば、「スマート」ビットストリーム抽出器が、適切な非ネスト化バッファリングピクチャSEIメッセージと、非ネスト化ピクチャタイミングSEIメッセージと、非ネスト化復号単位情報SEIメッセージとを、抽出されたサブビットストリームに含め得る。
− layerIdListTargetに含まれる値の中にないtIdTarget又はnuh_layer_idよりも大きいTemporalIdをもつ全てのNAL単位を削除する。
subExtModeIdcが0よりも大きいとき、TargetOptLayerIdListに含まれる値の中にないnuh_layer_idをもつとともに、max_tid_il_ref_pics_plus1[LayerIdxInVps[nuh_layer_id]]−1よりも大きいTemporalIdをもつNAL単位を更に削除する。
subExtModeIdcが1よりも大きいとき、TargetOptLayerIdListに含まれる値の中にないnuh_layer_id及び1に等しいdiscardable_flagをもつNAL単位を更に削除する。
[0100]上に示したHEVCバージョン1の下位条項10のバージョンは、抽出モードsubExtModeIncが0よりも大きい場合のみ、目標出力レイヤ識別子リストTargetOptLayerIdListがサブビットストリーム抽出プロセスへの入力として与えられるという点で、JCTVC−N0267/JCT3V−E0087において提案されるHEVCバージョン1の下位条項10のバージョンとは異なる。更に、上に示したHEVCバージョン1の下位条項10のバージョンは、入力ビットストリームが適合ビットストリームと見なされるための要件が異なるという点で、JCTVC−N0267/JCT3V−E0087において提案されるHEVCバージョン1の下位条項10のバージョンとは異なる。
[0101]本開示の幾つかの技法によると、複数の適合レベルが、VPS中の出力レイヤセットについて信号伝達される。例えば、ビデオエンコーダ又は他のコンピュータ機器が、VPS中の出力レイヤセットについての複数の適合レベルを信号伝達し得る。以下の表1は、SHVC WD3の下位条項F.7.3.2.1.1に記載されるVPS拡張シンタックスに対する例示的な変更を示す(シンタックス要素は太字で示され(例えば、「シンタックス要素」)、追加事項は下線が引かれる(例えば、「追加テキスト」))。
Figure 0006700176
Figure 0006700176
Figure 0006700176
Figure 0006700176
[0102]本開示において、形式u(n)のタイプ記述子を有するシンタックス要素は、nビットを用いる符号なし値であり、但し、nは整数である。u(v)の形のタイプ記述子を有するシンタックス要素は、他のシンタックス要素の値に依存したやり方で長さが変わる符号なし値である。更に、ue(v)の形のタイプ記述子を有するシンタックス要素は、左ビットが先頭の、符号なし整数0次指数ゴロムコード化シンタックス要素である。
[0103]上の表1において、num_present_conformance_level_minus1[i]プラス1は、第iの出力レイヤセットについての適合レベルの数を指定する。num_present_conformance_level_minus1[i]の値は、両端値を含む0〜2までの範囲内である。更に、表1において、conform_level[i][j]は、第iの出力レイヤセット用に存在する第jの適合レベルを指定する。存在しないとき、conform_level[i][j]はjに等しいと推論される。
[0104]更に、表1の例に関して、outLayerSetを出力レイヤセットとし、presentLayersetを、出力レイヤセットが復号されるために存在するレイヤセットとし、maxTidを、presentLayersetのレイヤ中のピクチャのTemporalIdの最も大きい値とする。0に等しい適合レベル値は、presentLayerset中の各レイヤの最も高いTemporalId値がmaxTidに等しく、各アクセス単位がpresentLayerset中の各レイヤからの1つのピクチャを含むことを示す。1に等しい適合レベル値は、outLayerSet中の各レイヤの最も高いTemporalId値がmaxTidに等しく、各アクセス単位が、outLayerSet中の各レイヤからの1つのピクチャを含むことを示し、更に、presentLayerset内にあるがoutLayerSet中にはない各レイヤAについて、このレイヤ中のピクチャの最も高いTemporalIdがmaxTidPreLayerである場合、maxTidPreLayerよりも小さいか、又は等しいTemporalIdをもつ各アクセス単位において、レイヤA中のピクチャはアクセス単位中に存在する。1に等しい適合レベル値は、outLayerSet中の各レイヤの最も高いTemporalId値がmaxTidに等しく、各アクセス単位がoutLayerSet中の各レイヤからの1つのピクチャを含むことを示す。
[0105]従って、前の段落の例において、conform_levelシンタックス要素(即ち、ビットストリームを生じるのに使われた抽出モードの指示)は、適合レベルを示す。0に等しい適合レベルは、現在のレイヤセット中の各レイヤの最も高い時間識別子が現在のレイヤセットの最大時間識別子に等しいことと、サブビットストリームの各アクセス単位が、現在のレイヤセット中の各レイヤからの1つのピクチャを含むこととを示す。更に、現在のレイヤセットは、サブビットストリーム用に存在するレイヤのセットである。現在のレイヤセットの最大時間識別子は、現在のレイヤセットにあるレイヤ中のピクチャの、最も大きい時間識別子である。更に、1に等しい適合レベルは、目標出力レイヤセット中の各レイヤの最も高い時間識別子が現在のレイヤセットの最大時間識別子に等しく、サブビットストリームの各アクセス単位が、目標出力レイヤセット中の各レイヤからの1つのピクチャを含むことを示す。1に等しい適合レベルは、目標出力レイヤセット中にない、現在のレイヤセット中の各それぞれのレイヤについて、それぞれのレイヤ中のピクチャの最も高い時間識別子が、現在のレイヤセットの最大時間識別子である場合、現在のレイヤセットの最大時間識別子よりも小さいか、又は等しい時間識別子をもつ各アクセス単位が、それぞれのレイヤ中にピクチャを含むことを更に示す。抽出モードにかかわらず、サブビットストリームは、出力レイヤセット内のピクチャを復号するための十分なNAL単位を含む。
[0106]幾つかの例では、1又は2若しくは両方に等しい適合レベル値は、outLayerSet中の各レイヤの最も高いTemporalId値がmaxTidに等しく、各アクセス単位が、各レイヤからの1つのピクチャをoutLyaerSet中に含むことを求めない場合がある。
[0107]代替として、幾つかの例では、適合レベル1は、次のように定義される。即ち、1に等しい適合レベル値は、presentLayerset内の各レイヤAについて、このレイヤ中のピクチャの最も高いTemporalIdがmaxTidPreLayerである場合、maxTidPreLayerよりも小さいか、又は等しいTemporalIdをもつ各アクセス単位中で、レイヤA中のピクチャがアクセス単位中に存在することを示す。
[0108]従って、前の段落の例において、conform_levelシンタックス要素は適合レベルを示す。0に等しい適合レベルは、現在のレイヤセット中の各レイヤの最も高い時間識別子が現在のレイヤセットの最大時間識別子に等しいことと、サブビットストリームの各アクセス単位が、現在のレイヤセット中の各レイヤからの1つのピクチャを含むこととを示す。現在のレイヤセットは、サブビットストリーム用に存在するレイヤのセットである。現在のレイヤセットの最大時間識別子は、現在のレイヤセットにあるレイヤ中のピクチャの、最も大きい時間識別子である。更に、この例では、1に等しい適合レベルは、現在のレイヤセット中の各それぞれのレイヤについて、それぞれのレイヤ中のピクチャの最も高い時間識別子が、現在のレイヤセットの最大時間識別子である場合、現在のレイヤセットの最大時間識別子よりも小さいか、又は等しい時間識別子をもつ各アクセス単位が、それぞれのレイヤ中にピクチャを含むことを示す。抽出モードにかかわらず、サブビットストリームは、出力レイヤセット内のピクチャを復号するための十分なNAL単位を含む。
[0109]更に、表1において、profile_level_tier_idx[i][j]は、第jの適合レベルをもつ第iの出力レイヤセットに適用されるprofile_tier_level()シンタックス構造の、VPS中のprofile_tier_level()シンタックス構造のリストに、インデックスを指定する。profile_level_tier_idx[i]シンタックス要素の長さは、Ceil(Log2(vps_num_profile_tier_level_minus1+1))ビットである。profile_level_tier_idx[0][0]の値は、0に等しいと推論される。profile_level_tier_idx[i][j]の値は、両端値を含む、0〜vps_num_profile_tier_level_minus1の範囲内にあるものとする。
[0110]表1において、add_vps_num_hrd_parametersは、VPS RBSPのVPS拡張において存在するhrd_parameters()シンタックス構造の数を指定する。更に、hrd_output_layer_set_idx[i]は、VPS拡張における第iのhrd_parameters()シンタックス構造が該当するレイヤセットの、VPSによって指定される出力レイヤセットの中へのインデックスを指定する。hrd_output_layer_set_idx[i]は、シンタックス中で現れるように、両端値を含む0〜1023の範囲内にある。
[0111]更に、表1において、vps_ext_hrd_conformance_level_idx[i]は、第hrd_output_layer_set_idx[i]の出力レイヤセット向けにVPS拡張において指定される適合レベルへのインデックスを指定する。num_present_conformance_level_minus1[hrd_output_layer_set_idx[i]]が0に等しいとき、vps_ext_hrd_conformance_level_idx[i]は、0に等しくなるように導出される。VPS中の第iのhrd_parameters()シンタックス構造に関連付けられた、第hrd_layer_set_idx[i]]の出力レイヤセットの適合レベルは、0に等しいと推論される。
[0112]表1において、1に等しいadd_cprms_present_flag[i]は、全てのサブレイヤにとって共通するHRDパラメータが、VPS拡張中の第iのhrd_parameters()シンタックス構造中に存在することを指定する。0に等しいadd_cprms_present_flag[i]は、全てのサブレイヤに対して共通するHRDパラメータが、VPS拡張中の第iのhrd_parameters()シンタックス構造中に存在せず、VPS拡張中の第(i−1)のhrd_parameters()シンタックス構造と同じになるように導出されることを指定する。add_cprms_present_flag[0]は、1に等しいと推論される。
[0113]MV−HEVCの幾つかのバージョンにおいて、各レイヤセットについて特性が信号伝達される。レイヤセットについてのそのような特性は、レイヤセットについての平均ビットレート、レイヤセットについての最大ビットレート、レイヤセットについて一定のピクチャレートがあるかどうか、レイヤセットについての平均ピクチャレートを含み得る。そのような特性は、VPSのビデオ使用性情報(VUI)拡張において信号伝達され得る。幾つかの事例では、異なる適合レベルを有し得る各出力レイヤセットについてそのような特性を信号伝達することが望ましい場合がある。以下の表2は、本開示の1つ又は複数の技法による、vps_vuiシンタックス構造に対する変更を示し、シンタックス要素は太字で示され(例えば、「シンタックス要素」)、追加事項は下線が引かれ(例えば、「追加テキスト」))、消去は、二重角括弧付きの斜体で示される(例えば、「[[消去されたテキスト]]」)。
Figure 0006700176
Figure 0006700176
[0114]表2において、NumConformancePoints変数の値は、上の表1に記載したように決定され得る。
[0115]米国仮特許出願第61/889,515号及び第61/890,841号は、DPBサイズ及び他の関連シンタックス要素が、(出力レイヤセットに対応する)各動作点について存在することを提案している。この文書では、そのような信号伝達は、異なる適合レベルをもつ様々な出力レイヤセットに拡張され得る。以下の表3において、太字で示されるシンタックス要素(例えば、「シンタックス要素」)、追加事項は下線付きで示され(例えば、「追加テキスト」))、消去は、二重角括弧内の斜体で示される(例えば、「[[消去されたテキスト]]」)。
Figure 0006700176
[0116]上述したように、本開示の1つ又は複数の技法によると、抽出モードの指示は、HRDパラメータ中で信号伝達され得る。幾つかの例では、HRDパラメータはSEIメッセージ中で信号伝達され得る。例えば、バッファリング期間SEIメッセージ、ピクチャタイミングSEIメッセージ、及び復号単位情報SEIメッセージ中でのピクチャレベルHRDパラメータの信号伝達のために、現在のスケーラブルなネスティングSEIメッセージは、これらの3タイプのSEIメッセージのうちのいずれかのネスト化SEIメッセージが、適合点のうちのどれに適用可能かが明白に示され得るように修正される。バッファリング期間SEIメッセージは、復号順序での、関連するアクセス単位(即ち、バッファリング期間SEIメッセージに関連付けられたアクセス単位)の位置におけるHRDの初期化のための初期CPB削除遅延及び初期CPB削除遅延オフセット情報を与えるメッセージである。ピクチャタイミングSEIメッセージは、SEIメッセージに関連付けられたアクセス単位についてのCPB除去遅延及びDPB出力遅延情報を提供するSEIメッセージである。復号単位情報SEIメッセージは、SEIメッセージに関連付けられた復号ユニットについてのCPB除去遅延情報を提供するSEIメッセージである。以下の表4は、ネスト化バッファリング期間SEIメッセージ、ネスト化ピクチャタイミングSEIメッセージ、又はネスト化復号単位情報SEIメッセージが、特定の適合点に適用可能であると明白に示され得るように修正される、スケーラブルなネスティングSEIメッセージの例示的なシンタックスを示す。
Figure 0006700176
[0117]上の表4において、nesting_cp_cl[i]は、このSEIメッセージ中に含まれるSEIメッセージが該当する、アクティブVPSによって指定される第nesting_cp_idx[i]の出力レイヤセットの適合レベルを指定する。幾つかの例では、nesting_cp_cl[i]の値は、0よりも大きく、3未満であるものとする。幾つかの例では、nesting_cp_cl[i]の値は、3よりも小さいものとする。適合レベルは、本開示の他の例で説明されるように指示され得る。
[0118]本開示の他の例示的技法は、上述したSEIメッセージと同じ機能性を達成するが、既存のスケーラブルなネスティングSEIメッセージには手を加えないように設計される、新たなスケーラブルなネスティングSEIメッセージを提供する。以下の表5は、そのような新たなスケーラブルなネスティングSEIメッセージについてのシンタックス及びセマンティクスの例示的なセットである。
Figure 0006700176
[0119]表5のスケーラブルなネスティングSEIメッセージは、様々な動作点に対応するビットストリームサブセットにSEIメッセージを関連付けるための機構を提供する。表5の新たなスケーラブルネスティングSEIメッセージは、1つ又は複数のSEIメッセージを含む。幾つかの例では、表5の新たなスケーラブルなネスティングSEIメッセージは、別のSEIメッセージ中には含まれないものとする。
[0120]表5の例において、新たなスケーラブルなネスティングSEIメッセージは、バッファリング期間SEIメッセージ、ピクチャタイミングSEIメッセージ、及び復号単位情報SEIメッセージ以外の他のどのSEIメッセージも含まないものとする。更に、表5において、nesting_num_cps_minus1プラス1は、以下のnesting_cp_idx[i]シンタックス要素の数を指定する。nesting_num_cps_minus1の値は、両端値を含む0〜2047の範囲内であるものとする。代替として、nesting_num_cps_minus1の値は、両端値を含む0〜3071の範囲内であるものとする。更に、変数nestingNumCpsは、nesting_num_cps_minus1+1に等しく設定される。
[0121]表5において、nesting_cp_max_tid_plus1[i]は、変数maxTemporalId[i]を指定するのに使われる。nesting_cp_max_tid_plus1[i]の値は、現在のSEI NAL単位のnuh_temporal_id_plus1よりも大きいか、又は等しいものとする。変数maxTemporalId[i]は、nesting_cp_max_tid_plus1[i]−1に等しく設定される。nesting_cp_idx[i]は、出力レイヤセットのインデックスを指定する。nesting_cp_idx[i]の値は、両端値を含む0〜1023の範囲内にあるものとする。nesting_cp_cl[i]は、このSEIメッセージ中に含まれるSEIメッセージが該当する、アクティブVPSによって指定される第nesting_cp_idx[i]の出力レイヤセットの適合レベルを指定する。nesting_cp_cl[i]の値は、0よりも大きく、3未満であるものとする。代替として、nesting_cp_cl[i]の値は、3よりも小さいものとする。
[0122]新たなスケーラブルなネスティングSEIメッセージ中に含まれるSEIメッセージは、両端値を含む0〜nestingNumCps−1の範囲内の全てのi値について、サブビットストリームsubBitstream[i]に該当し、ここで各サブビットストリームsubBitstream[i]は、入力として、ビットストリーム、maxTemporalId[i]、nesting_cp_idx[i]、及びnesting_cp_cl[i]をもつサブビットストリーム抽出プロセス(下記参照)の出力である。nesting_zero_bitは0に等しいものとする。
[0123]2つのSEIメッセージ(即ち、表4のスケーラブルなネスティングと、表5の新たなスケーラブルなネスティング)の両方が、SPS中のsps_extension_flagと同様に挿入された拡張ビットを有し得る。そのような機能性が、スケーラブルなネスティングSEI中で有効化された場合、nesting_cp_cl[i]が、以下の表6に示すように、SEI拡張において信号伝達され得る。
Figure 0006700176
[0124]VPS、目標HighestTid及び適合レベルによって指定される目標出力レイヤセットへのインデックスによって、動作点が識別され得る。ビットストリーム適合テスト用に目標動作点が選択されると、テスト中のビットストリーム、HighestTid、目標出力レイヤセットへのインデックス、及び適合レベルを入力としてもつ、以下で詳細に説明するビットストリーム抽出プロセスが呼び出され、出力サブビットストリームはBitstreamToDecodeに割り当てられる。
[0125]hrd_output_layer_set_idx[i]及びvps_ext_hrd_conformance_level_idx[i]によってVPS中で指定される、目標動作点に適用可能なhrd_parameters()シンタックス構造が選ばれ、目標動作点に適用可能なsub_layer_hrd_parameters()シンタックス構造が、HighestTidに基づいて更に選ばれる。
[0126]アクセス単位0について、(新たなスケーラブルなネスティングSEIメッセージによって指定されるように)目標動作点に適用可能なバッファリング期間SEIメッセージが選択される。アクセス単位0から始まる、BitstreamToDecode中の各アクセス単位について、アクセス単位に関連付けられるとともに(新たなスケーラブルなネスティングSEIメッセージによって指定されるように)目標動作点に該当するピクチャタイミングSEIメッセージが選択され、SubPicHrdFlagが1に等しく、sub_pic_cpb_params_in_pic_timing_sei_flagが0に等しいとき、(新たなスケーラブルなネスティングSEIメッセージによって指定されるように)アクセス単位中の復号単位に関連付けられるとともに目標動作点に該当する復号単位情報SEIメッセージが選択される。
[0127]上述したように、本開示の1つ又は複数の技法によると、サブビットストリーム抽出プロセスによって生じた各サブビットストリームについて、コンピュータ機器は、どの抽出モードがサブビットストリームを生じるのに使われたかを示すSEIメッセージ(例えば、ビットストリーム抽出状況情報SEIメッセージ)を生成することができる。以下の表7は、そのようなSEIメッセージのための例示的なシンタックスを示す。
Figure 0006700176
[0128]表7のSEIメッセージなどのビットストリーム抽出状況情報SEIメッセージが存在するとき、ビットストリーム抽出状況情報SEIメッセージは、ビットストリームに関連付けられ、ビットストリームが該当する適合レベルを示し、ビットストリームの目標出力レイヤを示す。出力レイヤセット情報(例えば、output_layer_set_from_vps_flag、output_layer_set_idx_to_vps、及び/又はoutput_layer_present_flagシンタックス要素)がビットストリーム抽出状況情報SEIメッセージ中に存在するとき、ビットストリーム抽出プロセスへの入力として与えられる出力レイヤセットが、ビットストリーム抽出状況情報SEIメッセージ中で指定される出力レイヤセットに属す場合、どの抽出モードをもつビットストリーム抽出プロセスも適用し得る。出力レイヤセット情報がビットストリーム抽出状況情報SEIメッセージ中に存在せず、又はビットストリーム抽出状況情報SEIメッセージが存在しないとき、出力レイヤは、(1に等しいlayer_id_included_flagをもつ)VPS中で信号伝達されるレイヤを全て含む。ビットストリーム抽出状況情報SEIメッセージが存在しないとき、適合レベルは、VPS中で信号伝達されるレイヤを全て出力レイヤとして有する出力レイヤセットについて、VPS中に存在するconform_levelの最も低い値であると推論される。conform_levelのセマンティクスは、本開示の他の例で説明されるのと同じであり得る。
[0129]表7において、lp_sei_active_vps_id(本開示は、active_vps_idと呼ぶ場合もある)は、このSEIメッセージを含むCVSのアクティブVPSを識別する。lp_sei_active_vps_idの値は、SEIメッセージを含むアクセス単位のVCL NAL単位のためのアクティブなVPSのvps_video_parameter_set_idの値に等しいものとする。conformance_indicationは、このSEIメッセージに関連付けられたビットストリームの適合レベルを指定する。適合レベルは、本開示の他の箇所で記載されるのと同じように定義され得る。
[0130]更に、表7において、1に等しいoutput_layer_set_info_present_flagは、このSEIメッセージに関連付けられた出力レイヤセットがVPS中で定義されることを指定する。このように、SEIメッセージは、ビットストリームを生じるのに使われた目標出力レイヤセットを示すデータを含む。ビットストリームを生じるのに使われた目標出力レイヤセットを示すデータは、VPS中で指定される出力レイヤセットへのインデックスを指定するシンタックス要素を備える。
[0131]0に等しいoutput_layer_set_info_present_flagは、このSEIメッセージに関連付けられた出力レイヤセットがVPS中で定義される場合もされない場合もあることを指定する。output_layer_set_idx_to_vpsは、VPS中で指定される出力レイヤセットへのインデックスを指定する。1に等しいoutput_layer_present_flag[i]は、iに等しいnuh_layer_idの値が、このSEIメッセージに関連付けられた出力レイヤセット中に含まれると規定する。0に等しいoutput_layer_present_flag[i][j]は、iに等しいnuh_layer_idの値が、このSEIメッセージに関連付けられた出力レイヤセット中に含まれないと規定する。このように、SEIメッセージは、目標出力レイヤセットを示すデータを含み得る。このデータは、一連のシンタックス要素(例えば、output_layer_present_flagシンタックス要素)を備え得る。一連のシンタックス要素中の各それぞれのシンタックス要素について、それぞれのシンタックス要素についてのそれぞれの位置インデックス(例えば、i)は、一連のシンタックス要素内でのそれぞれのシンタックス要素の場所を示す。それぞれのシンタックス要素の値が1に等しい場合、それぞれのシンタックス要素についてのそれぞれの位置インデックスに等しいレイヤ識別子を有するレイヤは、サブビットストリームを生じるのに使われた目標出力レイヤセット中に含まれる。それぞれのシンタックス要素の値が0に等しい場合、それぞれのシンタックス要素についてのそれぞれの位置インデックスに等しいレイヤ識別子を有するレイヤは、サブビットストリームを生じるのに使われた目標出力レイヤセット中に含まれない。
[0132]従って、幾つかの例では、表7のSEIメッセージは、ビットストリーム用の目標出力レイヤセットを示すデータを含む。ビットストリームを生じるのに使われた抽出モードにかかわらず、ビットストリームは、目標出力レイヤセット内のピクチャを復号するための十分なNAL単位を含む。更に、第2の抽出モード(例えば、サイズ最適化サブビットストリームを生成する抽出モード)を使ってビットストリームが抽出された場合、ビットストリームは、ソースビットストリームの各それぞれのNAL単位について、以下の基準の両方がそれぞれのNAL単位について満足される場合、それぞれのNAL単位がサブビットストリーム中になくなるようにソースビットストリームからそれぞれのNAL単位が削除されるように生じられている。
i)それぞれのNAL単位は、目標出力レイヤセットについての目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を有する。
ii)それぞれのNAL単位の時間識別子が、それぞれのNAL単位が属すレイヤのピクチャによって使われるレイヤ間参照ピクチャの最大時間識別子よりも大きい。
[0133]更に、幾つかの例では、抽出モードが第2の抽出モードである場合、それぞれのNAL単位は、以下の場合、それぞれのNAL単位がビットストリーム中にないようにソースビットストリームから削除される。
i)それぞれのNAL単位は、目標出力レイヤセットについての目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を有する。
ii)それぞれのNAL単位のフラグが、それぞれのNAL単位に対応するコード化ピクチャが、復号順序で後続のピクチャの復号プロセス中で参照ピクチャとして使われないことを指定する。
[0134]幾つかの例では、出力レイヤセットを出力するために、復号される必要があるレイヤの数及びどのレイヤが復号される必要があるかは、VPSに基づいて導出され得る。代替として、そのようなレイヤは、このSEIメッセージ中で信号伝達され得る。
[0135]上に示したように、本開示の幾つかの例では、profile_tier_levelシンタックス構造中に、適合レベルの指示が存在し得る。そのような適合レベルは、表8において以下で示すように、プロファイル、ティア及びレベルシンタックス構造中に示され得る。
Figure 0006700176
Figure 0006700176
[0136]上の表8において、conformance_levelは、出力レイヤセットが該当する適合レベルを指定する。適合レベルは、本開示の他の箇所で記載されるのと同じように定義され得る。
[0137]上述したように、本開示の幾つかの例では、アンブレラビットストリーム抽出プロセスがマルチレイヤコーデックにおいて定義され得る。言い換えると、最終入力が、出力レイヤセットへのインデックスとビットストリーム抽出モードの組合せ、明示的出力レイヤセットとビットストリーム抽出モードの組合せ、又は単に目標レイヤのセットになることを可能にするために、抽出プロセスがMV−HEVC/SHVCにおいて定義される。
[0138]最終入力が目標レイヤのセットであるとき、ビットストリーム抽出モードは、0であると見なされ、出力レイヤセットを入力としてとらない。以下は、この例による例示的なサブビットストリーム抽出プロセスである。
F.10 サブビットストリーム抽出プロセス
このプロセスへの入力は、ビットストリーム、目標最高TemporalId値tIdTarget、及び以下のうちの1つである。
− 出力レイヤセットへのインデックスoutputLayerSetIdx及びビットストリーム抽出モードsubExtModeIdc。
− 目標出力レイヤ識別子リストinputOptLayerIdList及びビットストリーム抽出モードsubExtModeIdc。
− 目標レイヤ識別子リストlayerIdListTarget。
この下位条項への入力パラメータ
最終入力が、出力レイヤセットoutputLayerSetIdxへのインデックスと、ビットストリーム抽出モードsubExtModeIdcとを含む場合、目標出力レイヤ識別子リストTargetOptLayerIdList及びlayerIdListTargetは次のように導出される。
最終入力が、出力レイヤセットoutputLayerSetIdxへのインデックスと、ビットストリーム抽出モードsubExtModeIdcとを含む場合、目標出力レイヤ識別子リストTargetOptLayerIdList及びlayerIdListTargetは次のように導出される。
lsIdx = outputLayerSetIdx;
layerIdListTarget = LayerSetLayerIdList[ lsIdx ].
for( k = 0, j = 0; j < NumLayersInIdList[ lsIdx ];j++) {
layerIdListTarget[ j ] = LayerSetLayerIdList[ lsIdx ][ j ]
if( output_layer_flag[ lsIdx ][ j ] )
outputLayerSetIdx[ k++ ] = LayerSetLayerIdList[ lsIdx ][ j ]
}
そうではなく、最終入力が、目標出力レイヤ識別子リストinputOptLayerIdList、ビットストリーム抽出モードsubExtModeIdcを含む場合、目標出力レイヤ識別子リストTargetOptLayerIdListは、inputOptLayerIdListに等しくなるように設定され、layerIdListTargetは、そのようなレイヤ識別子が含まれていなかった限り、TargetOptLayerIdList中に含まれる各レイヤの任意の直接又は間接依存レイヤのnuh_layer_idを含むように導出される。そのようなプロセスは、MVCビットストリーム抽出プロセスの場合と同様である。
そうでない場合、TargetOptLayerIdListは、空になるように設定され、subExtModeIdcは0に設定される。
セクション4.1.1において規定されるサブビットストリーム抽出プロセスは、入力としてtIdTarget、layerIdListTarget及びsubExtModeIdcを有して適用され、subExtModeIdcが0に等しくない場合、TargetOptLayerIdList、追加入力としてのsubExtModeIdcの場合。
現在のビットストリームが、confLevelの適合レベルを有するものとする。出力レイヤセット又は目標出力レイヤ識別子リストへのインデックスが、ビットストリーム抽出のための入力として使われるとき、(0〜2に等しい値をもつ)どの抽出モードも該当し得る。抽出プロセスの後、サブビットストリームは、max(subExtModeIdc,confLevel)に等しいconformance_indicationをもつビットストリーム状況情報SEIメッセージを有する。
[0139]目標レイヤ識別子リストがビットストリーム抽出のための入力として使われると、抽出プロセスの後、サブビットストリームは、confLevelに等しいconformance_indicationをもつビットストリーム状況情報SEIメッセージを有する(即ち、適合レベルは変わらない)。
[0140]ビデオエンコーダ20及びビデオデコーダ30は、上に記載した本開示の技法のうち1つ又は複数を実装することができる。例えば、ビデオデコーダ30は、ビットストリーム中のデータに基づいて、指示を取得し得る。このビットストリームは、ビデオデータの符号化表現を備える。ビデオデコーダ30は、指示に少なくとも部分的に基づいて、ビットストリームからサブビットストリームが抽出され得るかどうか決定することができる。同様に、ビデオエンコーダ20は、ビットストリームからサブビットストリームが抽出され得るかどうかの指示を与えるデータを含むビットストリームを生じることができる。
[0141]本開示の追加例は、適合性はないが、主に帯域幅を削減するための幾つかのアプリケーションシナリオのために与えられ得るサブビットストリームを示すためのシステムと方法とを含む。
[0142]第15回JCT−VC及び第6回JCT−3V会合において論じられたように、マルチモードを用いて生成される、抽出されたサブビットストリームを認めることは、この段階では、最も適したソリューションではない場合があり得る。但し、そのような不完全サブビットストリームを考慮することは、例えば、幾つかのアプリケーションシナリオの場合は帯域幅の削減のために、依然として有用な場合があり、本開示は、SEIメッセージ中の全てのサブビットストリームについて、異なる抽出モードに対応するピクチャ存在プロパティを示すことを提案する。本開示は、このSEIメッセージを、サブビットストリームピクチャ存在プロパティSEIメッセージと呼ぶ場合がある。以下の例において列挙される特徴は、実施態様によっては、単独で、又は適切に組み合わせて使われ得る。
[0143]幾つかの例では、SEIメッセージ(例えば、サブビットストリームピクチャ存在プロパティSEIメッセージ)は、サブビットストリーム中に存在する全てのレイヤからのピクチャを含むわけではない少なくとも1つのアクセス単位を含むサブビットストリームを除く、VPS中の適合ビットストリームとしては示されない全てのサブビットストリームのプロパティを示すために与えられる。例えば、SEIメッセージ(例えば、サブビットストリームピクチャ存在プロパティSEIメッセージ)は、サブビットストリーム中に存在する全てのレイヤからのピクチャを含むわけではない少なくとも1つのアクセス単位を含むサブビットストリームを除く、VPS中の適合ビットストリームとしては示されない全てのサブビットストリームのプロパティを示すために与えられ得る。各サブビットストリームについて、目標出力レイヤではないレイヤ用のサブビットストリームの完全性のレベルが信号伝達される。各サブビットストリームについて、最大ビットレート、平均ビットレート及び平均ピクチャレートが信号伝達される。
[0144]以下の表9は、本開示の1つ又は複数の技法による例示的なサブビットストリームピクチャ存在プロパティSEIメッセージシンタックスを示す。
Figure 0006700176
[0145]表9のサブビットストリームピクチャ存在プロパティSEIメッセージは、存在するとき、ビットストリームに関連付けられ、サブビットストリームの各々について、そのピクチャ存在レベルとビットレートとを示す。
[0146]表9の例において、lp_sei_active_vps_idは、このSEIメッセージを含むCVSのアクティブVPSを識別する。lp_sei_active_vps_idの値は、SEIメッセージを含むアクセス単位のVCL NAL単位のためのアクティブなVPSのvps_video_parameter_set_idの値に等しいものとする。更に、表9の例において、num_additional_sub_streamsは、このSEIメッセージ中にプロパティが存在するサブビットストリームの数を指定する。
[0147]picture_presence_info_indication_minus1[i]プラス1は、このSEIメッセージに関連付けられた第iのサブビットストリームのピクチャ存在レベルを指定する。picture_presence_info_indication_minus1[i]の値は、両端値を含む0〜1の範囲内であり、値2及び3は予約されている。0に等しい値は、以下のビットレート及びピクチャレート情報が、output_layer_set_idx_to_vps[i]によって識別される出力レイヤセットに対応するビットストリームへの以下のプロセスに従って抽出されたサブビットストリームについてのものであることを示す。
− 以下の2つの条件のうちの1つ又は複数が真であるとき、0に等しいnuh_layer_idを有し、非ネスト化バッファリング期間SEIメッセージ、非ネスト化ピクチャタイミングSEIメッセージ、又は非ネスト化復号単位情報SEIメッセージを含む全てのSEI NAL単位を削除する。
− layerIdListTargetは、ビットストリーム中の全てのNAL単位中にnuh_layer_idの値全てを含むわけではない。
− tIdTargetは、ビットストリーム中の全てのNAL単位中の最も大きいTemporalIdよりも小さい。
− layerIdListTargetに含まれる値の中にないtIdTarget又はnuh_layer_idよりも大きいTemporalIdをもつ全てのNAL単位を削除する。
− TargetOptLayerIdListに含まれる値の中にないnuh_layer_idをもつとともに、max_tid_il_ref_pics_plus1[LayerIdxInVps[nuh_layer_id]]−1よりも大きいTemporalIdをもつNAL単位を更に削除する。
[0148]1に等しいpicture_presence_info_indication_minus1の値は、以下のビットレート及びピクチャレート情報が、以下のプロセスに従って抽出されたサブビットストリームについてであることを示す。
− 以下の2つの条件のうちの1つ又は複数が真であるとき、0に等しいnuh_layer_idを有し、非ネスト化バッファリング期間SEIメッセージ、非ネスト化ピクチャタイミングSEIメッセージ、又は非ネスト化復号単位情報SEIメッセージを含む全てのSEI NAL単位を削除する。
− layerIdListTargetは、ビットストリーム中の全てのNAL単位中にnuh_layer_idの値全てを含むわけではない。
− tIdTargetは、ビットストリーム中の全てのNAL単位中の最も大きいTemporalIdよりも小さい。
− layerIdListTargetに含まれる値の中にないtIdTarget又はnuh_layer_idよりも大きいTemporalIdをもつ全てのNAL単位を削除する。
− TargetOptLayerIdListに含まれる値の中にないnuh_layer_idをもつとともに、max_tid_il_ref_pics_plus1[LayerIdxInVps[nuh_layer_id]]−1よりも大きいTemporalIdをもつNAL単位を更に削除する。
− TargetOptLayerIdListに含まれる値の中にないnuh_layer_id及び1に等しいdiscardable_flagをもつNAL単位を更に削除する。
[0149]更に、表9の例において、output_layer_set_idx_to_vps[i]は、出力レイヤセットへのインデックスを、第iのサブビットストリーム用のVPS中で指定されるように指定する。1に等しいbit_rate_present_flag[i]は、第iのサブビットストリームについてのビットレート情報が存在すると指定する。0に等しいbit_rate_present_flag[i]は、第iのサブビットストリームについてのビットレート情報が存在しないと指定する。1に等しいpic_rate_present_flag[i]は、第iのサブビットストリームについてのピクチャレート情報が存在し、存在すると指定する。0に等しいpic_rate_present_flag[i]は、第iのサブビットストリームについてのピクチャレート情報が存在しないと指定する。
[0150]表9の例において、avg_bit_rate[i]は、第iのサブビットストリームの平均ビットレートを、1秒あたりのビット数で示す。値は、BitRateBPS(avg_bit_rate[i])によって与えられ、関数BitRateBPS()は次のように指定される。
BitRateBPS( x ) = ( x & ( 214 - 1 ) ) * 10( 2 + ( x >> 14 ) ) (F-X)
この平均ビットレートは、条項F.13において規定されているアクセス単位削除時間に従って導出される。以下において、bTotalは、第iのサブビットストリームの全てのNAL単位中のビット数であり、t1は、VPSが適用される最初のアクセス単位の(秒での)削除時間であり、t2は、VPSが適用される(復号順序で)最後のアクセス単位の(秒での)削除時間である。xがavg_bit_rate[i]の値を指定する場合、以下が適用される。
− t1がt2に等しくない場合、以下の条件が真であるものとする。
( x & ( 214 - 1 ) ) = = Round( bTotal ÷ ( ( t2 - t1 ) * 10( 2 + (x >> 14 ) ) ) ) (F-X+1)
− 他の場合(t1がt2に等しい)、以下の条件が真であるものとする。
( x & ( 214 - 1 ) ) = = 0 (F-X+2)
[0151]更に、表9の例において、max_bit_rate[i]は、条項F.13において規定されているアクセス単位削除時間の、任意の1秒時間ウィンドウ中の第iのサブビットストリームのビットレートについての上限を示す。1秒あたりのビット数でのビットレートについての上限は、BitRateBPS(max_bit_rate[i])によって与えられる。ビットレート値は、条項F.13において規定されているアクセス単位削除時間に従って導出される。以下において、t1は(秒での)任意の時点であり、t2は、t1+1÷100に等しく設定され、bTotalは、アクセス単位の全てのNAL単位中のビット数であり、削除時間は、t1よりも大きいか又はそれに等しく、t2よりも小さい。xがmax_bit_rate[i]の値を指定する場合、t1の全ての値について以下の条件に従うものとする。
( x & ( 214 - 1 ) ) >= bTotal ÷ ( ( t2 - t1 ) * 10( 2 + ( x >> 14 ) ) ) (F-X+3)
[0152]表9の例において、constant_pic_rate_idc[i]は、第iのサブビットストリームのピクチャレートが一定であるかどうかを示す。以下において、時間セグメントtSegは、第iのサブビットストリームの、復号順序で2つ以上の連続するアクセス単位の任意のセットであり、auTotal(tSeg)は、時間セグメントtSeg中のアクセス単位の数であり、t1(tSeg)は、時間セグメントtSegの(復号順序で)最初のアクセス単位の(秒での)削除時間であり、t2(tSeg)は、時間セグメントtSegの(復号順序で)最後のアクセス単位の(秒での)削除時間であり、avgPicRate(tSeg)は、時間セグメントtSeg中の平均ピクチャレートであり、次のように規定される。
avgPicRate( tSeg ) = = Round( auTotal( tSeg ) * 256 ÷
( t2( tSeg ) - t1( tSeg ) ) ) (F-X+4)
第iのサブビットストリームが、1つ若しくは2つのアクセス単位を含むだけであるか、又は時間セグメント全てにわたってavgPicRate(tSeg)の値が一定である場合、ピクチャレートが一定であり、それ以外の場合、ピクチャレートは一定でない。
[0153]0に等しいconstant_pic_rate_idc[i]は、第iのサブビットストリームのピクチャレートが一定でないことを示す。1に等しいconstant_pic_rate_idc[i]は、第iのサブビットストリームのピクチャレートが一定であることを示す。2に等しいconstant_pic_rate_idc[i]は、第iのサブビットストリームのピクチャレートが一定である場合も、一定でない場合もあることを示す。constant_pic_rate_idc[i]の値は、両端値を含む0〜2の範囲内にあるものとする。
[0154]更に、表9の例において、avg_pic_rate[i]は、第iのサブビットストリームの、256秒ごとのピクチャの単位での、平均ピクチャレートを示す。auTotalが第iのサブビットストリームにおけるアクセス単位の数である場合、t1は、VPSが適用される最初のアクセス単位の(秒での)削除時間であり、t2は、VPSが適用される(復号順序で)最後のアクセス単位の(秒での)削除時間であり、以下が適用される。
- t1がt2に等しくない場合、以下の条件が真であるものとする。
avg_pic_rate[i] = = Round( auTotal * 256 ÷ ( t2 - t1 ) ) (F-X+5)
- 他の場合(t1がt2に等しい)、以下の条件が真であるものとする。
avg_pic_rate[i] = = 0 (F-X+6)
[0155]図2は、例示的なビデオエンコーダ20を示すブロック図である。図2は、説明の目的で与えられており、本開示において広く例示され、説明される技法を限定するものと見なされるべきではない。説明のために、本開示は、HEVCコード化のコンテキストにおいてビデオエンコーダ20を説明する。しかしながら、本開示の技法は、他のコード化規格又は方法に適用可能であり得る。
[0156]図2の例では、ビデオエンコーダ20は、予測処理ユニット100と、ビデオデータメモリ101と、残差生成ユニット102と、変換処理ユニット104と、量子化ユニット106と、逆量子化ユニット108と、逆変換処理ユニット110と、再構築ユニット112と、フィルタユニット114と、復号ピクチャバッファ116と、エントロピー符号化ユニット118とを含む。予測処理ユニット100は、インター予測処理ユニット120と、イントラ予測処理ユニット126とを含む。インター予測処理ユニット120は、動き推定ユニット122と、動き補償ユニット124とを含む。他の例では、ビデオエンコーダ20は、より多いか、より少ないか、又は異なる機能的な構成要素を含む場合がある。
[0157]ビデオエンコーダ20は、ビデオデータを受信することができる。ビデオデータメモリ101は、ビデオエンコーダ20の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオデータメモリ101に記憶されるビデオデータは、例えば、ビデオ発信源18から得られ得る。復号ピクチャバッファ116は、例えば、イントラコード化モード又はインターコード化モードでビデオエンコーダ20によってビデオデータを符号化する際に使用するための参照ビデオデータを記憶する参照ピクチャメモリであり得る。ビデオデータメモリ101及び復号ピクチャバッファ116は、同期DRAM(SDRAM)、磁気抵抗RAM(MRAM)、抵抗RAM(RRAM(登録商標))、又は他のタイプのメモリ機器を含む、ダイナミックランダムアクセスメモリ(DRAM)のような様々なメモリ機器のいずれかによって形成され得る。ビデオデータメモリ101及び復号ピクチャバッファ116は、同じメモリ機器又は別個のメモリ機器によって提供され得る。様々な例では、ビデオデータメモリ101は、ビデオエンコーダ20の他の構成要素とともにオンチップであるか、又はそれらの構成要素に対してオフチップであり得る。
[0158]ビデオエンコーダ20は、ビデオデータのピクチャのスライスの中の各CTUを符号化し得る。幾つかの例では、CTUの各々は、等しいサイズのルーマコード化ツリーブロック(CTB)と、ピクチャの対応するクロマCTBとに関連付けられ得る。CTUを符号化することの一部として、予測処理ユニット100は、CTUのCTBを徐々により小さいブロックに分割するために、4分木区分を実施し得る。より小さいブロックは、CUのコード化ブロックであり得る。例えば、予測処理ユニット100は、CTUと関連付けられたCTBを4つの等しいサイズのサブブロックに区分することができ、サブブロックの1つ又は複数を4つの等しいサイズのサブサブブロックに区分することができ、以下同様である。
[0159]ビデオエンコーダ20は、CUの符号化表現(即ち、コード化CU)を生成するために、CTUのCUを符号化し得る。CUを符号化することの一部として、予測処理ユニット100は、CUの1つ又は複数のPUの間でCUに関連付けられたコード化ブロックを区分し得る。従って、各PUは、ルーマ予測ブロック及び対応するクロマ予測ブロックに関連付けられ得る。ビデオエンコーダ20及びビデオデコーダ30は、様々なサイズを有するPUをサポートすることができる。上で示されたように、CUのサイズはCUのルーマコード化ブロックのサイズを指すことがあり、PUのサイズはPUのルーマ予測ブロックのサイズを指すことがある。特定のCUのサイズを2N×2Nと仮定すると、ビデオエンコーダ20及びビデオデコーダ30は、イントラ予測の場合は2N×2N又はN×NのPUサイズをサポートすることができ、インター予測の場合は2N×2N、2N×N、N×2N、N×N、又は同様の対称のPUサイズをサポートすることができる。ビデオエンコーダ20及びビデオデコーダ30はまた、インター予測のために、2N×nU、2N×nD、nL×2N、及びnR×2NのPUサイズに対する非対称区分化をサポートすることができる。
[0160]インター予測処理ユニット120は、CUの各PUに対してインター予測を実施することによって、PUのための予測データを生成し得る。PUのための予測データは、PUの予測ブロックとPUのための動き情報とを含み得る。インター予測処理ユニット120は、PUがIスライス、Pスライス、又はBスライス中にあるかに応じて、CUのPUに対して異なる演算を実施し得る。Iスライス中では、全てのPUがイントラ予測される。従って、PUがIスライス中にある場合、インター予測処理ユニット120はPUに対してインター予測を実施しない。
[0161]PUがPスライスの中にある場合、動き推定ユニット122は、PUのための参照領域について参照ピクチャのリスト(例えば、「RefPicList0」)の中で参照ピクチャを探索し得る。PUのための参照領域は、PUの予測ブロックに最も密接に対応するサンプルを含んでいる参照ピクチャ内の領域であり得る。動き推定ユニット122は、PUのための参照領域を含んでいる参照ピクチャのRefPicList0中の位置を示す参照インデックスを生成することができる。加えて、動き推定ユニット122は、PUのコード化ブロックと参照領域に関連付けられた参照位置との間の空間変位を示す動きベクトルを生成し得る。例えば、動きベクトルは、現在のピクチャにおける座標から参照ピクチャにおける座標までのオフセットを与える2次元ベクトルであり得る。動き推定ユニット122は、PUの動き情報として、参照インデックスと動きベクトルとを出力することができる。動き補償ユニット124は、PUの動きベクトルによって示された参照位置における実際の又は補間されたサンプルに基づいて、PUの予測ブロックを生成し得る。
[0162]PUがBスライス中にある場合、動き推定ユニット122は、PUについての単予測又は双予測を実施し得る。PUについての単予測を実施するために、動き推定ユニット122は、PUの参照領域についてRefPicList0の参照ピクチャ又は第2の参照ピクチャリスト(「RefPicList1」)を探索し得る。動き推定ユニット122は、PUの動き情報として、参照領域を含んでいる参照ピクチャのRefPicList0又はRefPicList1中の位置を示す参照インデックスと、PUの予測ブロックと参照領域に関連付けられた参照位置との間の空間変位を示す動きベクトルと、参照ピクチャがRefPicList0中にあるかRefPicList1中にあるかを示す1つ又は複数の予測方向インジケータとを出力することができる。動き補償ユニット124は、PUの動きベクトルによって示された参照位置における実際の又は補間されたサンプルに少なくとも部分的に基づいて、PUの予測ブロックを生成することができる。
[0163]PUについての双方向インター予測を実施するために、動き推定ユニット122は、PU用の参照領域について、RefPicList0内の参照ピクチャを探索することができ、PU用の別の参照領域について、RefPicList1内の参照ピクチャを探索することもできる。動き推定ユニット122は、参照領域を含んでいる参照ピクチャのRefPicList0及びRefPicList1中の位置を示す参照インデックスを生成することができる。更に、動き推定ユニット122は、参照領域に関連する参照位置とPUの予測ブロックとの間の空間変位を示す動きベクトルを生成し得る。PUの動き情報は、PUの参照インデックスと動きベクトルとを含み得る。動き補償ユニット124は、PUの動きベクトルによって示された参照位置における実際の又は補間されたサンプルに少なくとも部分的に基づいて、PUの予測ブロックを生成し得る。
[0164]イントラ予測処理ユニット126は、PUに対してイントラ予測を実施することによって、PUのための予測データを生成し得る。PUのための予測データは、PUのための予測ブロックと、様々なシンタックス要素とを含み得る。イントラ予測処理ユニット126は、Iスライス、Pスライス、及びBスライスの中のPUに対してイントラ予測を実施し得る。
[0165]PUに対してイントラ予測を実施するために、イントラ予測処理ユニット126は、複数のイントラ予測モードを使用して、PUについて予測ブロックの複数セットを生成し得る。特定のイントラ予測モードを使用してイントラ予測を実施するとき、イントラ予測処理ユニット126は、隣接ブロックからのサンプルの特定のセットを使用してPUの予測ブロックを生成し得る。隣接ブロックは、PU、CU、及びCTUについて左から右、上から下の符号化順序を仮定すると、PUの予測ブロックの上、右上、左上、又は左にあり得る。イントラ予測処理ユニット126は、様々な数のイントラ予測モード、例えば33方向のイントラ予測モードを使用することができる。幾つかの例では、イントラ予測モードの数はPUの予測ブロックのサイズに依存し得る。
[0166]予測処理ユニット100は、PUについてインター予測処理ユニット120によって生成された予測データ、又はPUについてイントラ予測処理ユニット126によって生成された予測データの中から、CUのPUについての予測データを選択することができる。幾つかの例では、予測処理ユニット100は、予測データのレート/歪みメトリックのセットに基づいて、CUのPUについての予測データを選択する。選択された予測データの予測ブロックは、本明細書では、選択された予測ブロックと呼ばれることがある。
[0167]残差生成ユニット102は、CUのコード化ブロック(例えば、ルーマコード化ブロック、Cbコード化ブロック、及びCrコード化ブロック)、及びCUのPUの選択された予測ブロック(例えば、予測ルーマブロック、予測Cbブロック、及び予測Crブロック)に基づいて、CUの残差ブロック(例えば、ルーマ、Cb、及びCr残差ブロック)を生成し得る。例えば、残差生成ユニット102は、残差ブロックの中の各サンプルが、CUのコード化ブロックの中のサンプルと、CUのPUの対応する選択された予測ブロックの中の対応するサンプルとの差分に等しい値を有するように、CUの残差ブロックを生成し得る。
[0168]変換処理ユニット104は、CUの残差ブロックをCUのTUに関連付けられた変換ブロックに区分するために、4分木区分を実施すればよい。従って、TUは、ルーマ変換ブロックと、2つの対応するクロマ変換ブロックとに関連付けられ得る。CUのTUのルーマ変換ブロック及びクロマ変換ブロックのサイズ及び位置は、CUのPUの予測ブロックのサイズ及び位置に基づく場合も、又は基づかない場合もある。
[0169]変換処理ユニット104は、TUの変換ブロックに1つ又は複数の変換を適用することによって、CUのTUごとに変換係数ブロックを生成し得る。変換処理ユニット104は、TUに関連付けられた変換ブロックに様々な変換を適用し得る。例えば、変換処理ユニット104は、離散コサイン変換(DCT)、方向性変換、又は概念的に同様の変換を変換ブロックに適用し得る。幾つかの例において、変換処理ユニット104は変換ブロックに変換を適用しない。そのような例では、変換ブロックは、変換係数ブロックとして扱われ得る。
[0170]量子化ユニット106は、係数ブロック内の変換係数を量子化し得る。量子化プロセスは、変換係数の一部又は全てに関連付けられたビット深度を低減し得る。例えば、量子化中にnビット変換係数はmビット変換係数に切り捨てられ得、但し、nはmよりも大きい。量子化ユニット106は、CUに関連付けられた量子化パラメータ(QP)値に基づいてCUのTUに関連付けられた係数ブロックを量子化し得る。ビデオエンコーダ20は、CUに関連付けられたQP値を調整することによって、CUに関連付けられた係数ブロックに適用される量子化の程度を調整することができる。量子化は、情報の喪失をもたらすことがあり、従って、量子化された変換係数は、元の係数よりも低い精度を有することがある。
[0171]逆量子化ユニット108及び逆変換処理ユニット110は、係数ブロックから残差ブロックを再構築するために、それぞれ、係数ブロックに逆量子化と逆変換とを適用することができる。再構築ユニット112は、TUに関連付けられる再構築された変換ブロックを生成するために、再構築された残差ブロックを、予測処理ユニット100によって生成された1つ又は複数の予測ブロックからの対応するサンプルに加算することができる。このようにCUの各TUのための変換ブロックを再構築することによって、ビデオエンコーダ20は、CUのコード化ブロックを再構築することができる。
[0172]フィルタユニット114は、CUに関連付けられたコード化ブロックの中のブロック歪み(blocking artifacts)を低減するために、1つ又は複数のデブロッキング動作を実施し得る。復号ピクチャバッファ116は、フィルタユニット114が、再構築されたコード化ブロックに対して1つ又は複数のデブロッキング動作を実施した後、再構築されたコード化ブロックを記憶することができる。インター予測処理ユニット120は、他のピクチャのPUに対してインター予測を実施するために、再構築されたコード化ブロックを含んでいる参照ピクチャを使用することができる。加えて、イントラ予測処理ユニット126は、CUと同じピクチャ内の他のPUに対してイントラ予測を実施するために、復号ピクチャバッファ116内の再構築されたコード化ブロックを使用することができる。
[0173]エントロピー符号化ユニット118は、ビデオエンコーダ20の他の機能構成要素からデータを受け取ることができる。例えば、エントロピー符号化ユニット118は、量子化ユニット106から係数ブロックを受け取ることができ、予測処理ユニット100からシンタックス要素を受け取ることができる。エントロピー符号化ユニット118は、エントロピー符号化データを生成するために、データに対して1つ又は複数のエントロピー符号化演算を実施することができる。例えば、エントロピー符号化ユニット118は、コンテキスト適応型可変長コード化(CAVLC)演算、CABAC演算、変数間(V2V)レングスコード化演算、シンタックスベースコンテキスト適応型バイナリ算術コード化(SBAC)演算、確率間隔区分化エントロピー(PIPE)コード化演算、指数ゴロム符号化演算、又は別のタイプのエントロピー符号化演算をデータに対して実施することができる。ビデオエンコーダ20は、エントロピー符号化ユニット118によって生成されたエントロピー符号化データを含むビットストリームを出力することができる。
[0174]本開示の少なくとも幾つかの例によると、図2のビデオエンコーダ20は、ビデオデータのコード化表現を含む第1のビットストリーム中に、第1のビットストリームを第2のビットストリームから抽出するのに使われた抽出モードの指示を含むSEIメッセージを含めることができる。抽出モードが第1の抽出モードである場合、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含む。抽出モードが第2の抽出モードである場合、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含まない。
[0175]図3は、例示的なビデオデコーダ30を示すブロック図である。図3は、説明の目的で与えられており、本開示において広く例示され、説明される技法を限定するものではない。説明のために、本開示は、HEVCコード化のコンテキストにおいてビデオデコーダ30を説明する。しかしながら、本開示の技法は他のコード化規格又は方法に適用可能であり得る。
[0176]図3の例では、ビデオデコーダ30は、エントロピー復号ユニット150と、予測処理ユニット152と、逆量子化ユニット154と、逆変換処理ユニット156と、再構築ユニット158と、フィルタユニット160と、復号ピクチャバッファ162とを含む。予測処理ユニット152は、動き補償ユニット164とイントラ予測処理ユニット166とを含む。他の例では、ビデオデコーダ30は、より多いか、より少ないか、又は異なる機能的な構成要素を含む場合がある。
[0177]コード化ピクチャバッファ(CPB)151は、ビットストリームの符号化ビデオデータ(例えば、NAL単位)を受信し、記憶することができる。CPB151に記憶されるビデオデータは、例えば、チャネル16から、例えば、カメラなどのローカルビデオ発信源から、ビデオデータの有線又はワイヤレスネットワーク通信を介して、又は物理データ記憶媒体にアクセスすることによって、取得され得る。CPB151は、符号化ビデオビットストリームからの符号化ビデオデータを記憶するビデオデータメモリを形成し得る。復号ピクチャバッファ162は、例えば、イントラコード化モード又はインターコード化モードでビデオデコーダ30によってビデオデータを復号する際に使用するための参照ビデオデータを記憶する参照ピクチャメモリであり得る。CPB151及び復号ピクチャバッファ162は、同期DRAM(SDRAM)、磁気抵抗RAM(MRAM)、抵抗RAM(RRAM)、又は他のタイプのメモリ機器を含む、ダイナミックランダムアクセスメモリ(DRAM)のような様々なメモリ機器のいずれかによって形成され得る。CPB151及び復号ピクチャバッファ162は、同じメモリ機器又は別個のメモリ機器によって提供され得る。様々な例では、CPB151は、ビデオデコーダ30の他の構成要素とともにオンチップであってよく、又はそれらの構成要素に対してオフチップであってもよい。
[0178]エントロピー復号ユニット150は、CPB151からNAL単位を受信することができ、NAL単位を解析してビットストリームからシンタックス要素を取得することができる。エントロピー復号ユニット150は、NAL単位内のエントロピー符号化シンタックス要素をエントロピー復号することができる。予測処理ユニット152、逆量子化ユニット154、逆変換処理ユニット156、再構築ユニット158、及びフィルタユニット160は、ビットストリームから抽出されたシンタックス要素に基づいて、復号ビデオデータを生成することができる。
[0179]ビットストリームのNAL単位は、コード化スライスNAL単位を含む場合がある。ビットストリームを復号することの一部として、エントロピー復号ユニット150は、コード化スライスNAL単位からシンタックス要素を抽出し、エントロピー復号し得る。コード化スライスの各々は、スライスヘッダと、スライスデータとを含む場合がある。スライスヘッダは、スライスに関係するシンタックス要素を含んでいる場合がある。
[0180]本開示の技法の少なくとも幾つかによると、ビデオデコーダ30(例えば、エントロピー復号ユニット150など、ビデオデコーダ30の1つのある構成要素)は、ビデオデータのコード化表現を含む第1のビットストリームから、第1のビットストリームを第2のビットストリームから抽出するのに使われた抽出モードの指示を含むSEIメッセージを取得することができる。抽出モードが第1の抽出モードである場合、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含む。抽出モードが第2の抽出モードであれば、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含まない。幾つかの例では、ビデオデコーダ30は、SEIメッセージを取得することなく、又は第1のビットストリームを生じるのに使われた抽出モードを決定することなく、第1のビットストリームを復号され得る。従って、サイズ最適化ビットストリームは、ピクチャのわずかな割合(例えば、レイヤ間予測に使われるもの)のみがそれに対して存在するレイヤを含むことができ、ビデオデコーダ30は、それにもかかわらず、ピクチャを再構築することと、再構築ピクチャを出力することなく、それらのピクチャをレイヤ間参照ピクチャとして使うこととを、適切に実施することができる。
[0181]ビットストリームからシンタックス要素を取得することに加えて、ビデオデコーダ30は、CUに対して復号演算を実施し得る。CUに対して復号演算を実施することによって、ビデオデコーダ30はCUのコード化ブロックを再構築し得る。
[0182]CUに対して復号演算を実施することの一部として、逆量子化ユニット154は、CUのTUに関連付けられた係数ブロックを逆の量子化(inverse quantize)、即ち、逆量子化(de-quantize)し得る。逆量子化ユニット154は、量子化の程度を決定するために、また同様に、逆量子化ユニット154が適用すべき逆量子化の程度を決定するために、TUのCUに関連付けられたQP値を使用することができる。つまり、圧縮比、即ち、元のシーケンスと圧縮されたシーケンスとを表すために使用されるビット数の比は、変換係数を量子化するときに使用されるQPの値を調整することによって制御され得る。圧縮比はまた、採用されるエントロピーコード化の方法に依存し得る。
[0183]逆量子化ユニット154が係数ブロックを逆量子化した後、逆変換処理ユニット156は、TUに関連付けられた残差ブロックを生成するために、係数ブロックに1つ又は複数の逆変換を適用し得る。例えば、逆変換処理ユニット156は、逆DCT、逆整数変換、逆カルーネンレーベ変換(KLT)、逆回転変換、逆方向変換、又は別の逆変換を、係数ブロックに適用し得る。
[0184]PUがイントラ予測を使用して符号化される場合、イントラ予測処理ユニット166は、PUのための予測ブロックを生成するために、イントラ予測を実施し得る。イントラ予測処理ユニット166は、空間的に隣接するPUの予測ブロックに基づいて、PUのための予測ブロック(例えば、予想ルーマブロック、予測Cbブロック、及び予測Crブロック)を生成するために、イントラ予測モードを使用することができる。イントラ予測処理ユニット166は、ビットストリームから復号された1つ又は複数のシンタックス要素に基づいて、PUのためのイントラ予測モードを決定し得る。
[0185]予測処理ユニット152は、ビットストリームから抽出されたシンタックス要素に基づいて、第1の参照ピクチャリスト(RefPicList0)と第2の参照ピクチャリスト(RefPicList1)とを構築することができる。更に、インター予測を使用してPUが符号化される場合、エントロピー復号ユニット150は、PUの動き情報を取得し得る。動き補償ユニット164は、PUの動き情報に基づいて、PUに対する1つ又は複数の参照領域を決定することができる。動き補償ユニット164は、PUのための1つ又は複数の参照ブロックにおけるサンプルブロックに基づいて、PUのための予測ブロック(例えば、予測ルーマブロック、予測Cbブロック、及び予測Crブロック)を生成することができる。
[0186]再構築ユニット158は、CUのコード化ブロック(例えば、ルーマコード化ブロック、Cbコード化ブロック、及びCrコード化ブロック)を再構築するために、適宜、CUのTUの変換ブロック(例えば、ルーマ変換ブロック、Cb変換ブロック、及びCr変換ブロック)、並びにCUのPUの予測ブロック(例えば、ルーマ変換ブロック、予測Cb変換ブロック、及び予測Cr変換ブロック)からの残差値、即ち、イントラ予測データ又はインター予測データのいずれかを使用し得る。例えば、再構築ユニット158は、CUのコード化ブロック(例えば、ルーマコード化ブロック、Cbコード化ブロック、及びCrコード化ブロック)を再構築するために、変換ブロック(例えば、ルーマ変換ブロック、Cb変換ブロック、及びCr変換ブロック)のサンプルを、予測ブロック(例えば、ルーマ予測ブロック、Cb予測ブロック、及びCr予測ブロック)の対応するサンプルに加算することができる。
[0187]フィルタユニット160は、CUのコード化ブロック(例えば、ルーマコード化ブロック、Cbコード化ブロック、及びCrコード化ブロック)に関連付けられたブロック歪みを低減するために、デブロッキング演算を実施することができる。ビデオデコーダ30は、CUのコード化ブロック(例えば、ルーマコード化ブロック、Cbコード化ブロック、及びCrコード化ブロック)を復号ピクチャバッファ162に記憶することができる。復号ピクチャバッファ162は、後続の動き補償、イントラ予測、及び図1の表示装置32のような表示装置上での提示のために、参照ピクチャを提供することができる。例えば、ビデオデコーダ30は、復号ピクチャバッファ162の中のブロック(例えば、ルーマブロック、Cbブロック、及びCrブロック)に基づいて、他のCUのPUに対してイントラ予測演算又はインター予測演算を実施し得る。このようにして、ビデオデコーダ30は、有意な係数ブロックの変換係数レベルをビットストリームから抽出し、変換係数レベルを逆量子化し、変換ブロックを生成するため、変換ブロックに少なくとも部分的に基づいてコード化ブロックを生成するため、及びコード化ブロックを表示のために出力するために、変換係数レベルに変換を適用することができる。
[0188]図4は、本開示の1つ又は複数の技法による、例示的な媒介機器19を示すブロック図である。図4は、説明のために提供されるものであり、本開示において広く例示され記載される技法を限定するものではない。図4の例において、媒介機器19は、モード決定ユニット180と、ビットストリーム抽出ユニット182と、SEI生成ユニット184とを備える。
[0189]モード決定ユニット180及びビットストリーム抽出ユニット182は、ソースビットストリームを受信し得る。幾つかの例では、モード決定ユニット180及びビットストリーム抽出ユニット182は、ビデオエンコーダ20などのビデオエンコーダからソースビットストリームを受信し得る。他の例では、モード決定ユニット180及びビットストリーム抽出ユニット182は、別のビットストリームからソースビットストリームを抽出した可能性がある別の媒介機器から、ソースビットストリームを受信し得る。
[0190]モード決定ユニット180は、存在する場合はどのビットストリーム抽出プロセスをソースビットストリームに適用するべきか決定することができる。一例では、モード決定ユニット180は、ソースビットストリームから、ソースビットストリームを生じるのに使われた抽出モードの指示を含むSEIメッセージを取得し得る。この例では、SEIメッセージが、サイズ最適化ビットストリーム抽出モードがソースビットストリームを生じるのに使われたことを示す場合、モード決定ユニット180は、ソースビットストリームにどのビットストリーム抽出プロセスも適用しないと決定してよい。但し、SEIメッセージが、「完全抽出可能(fully extractable)」ビットストリーム抽出モードが、ソースビットストリームを生じるのに使われたことを示す場合、モード決定ユニット180は、「完全抽出可能」ビットストリーム抽出プロセス、又は「サイズ最適化」ビットストリーム抽出プロセスをソースビットストリームに適用するか決定することができる。
[0191]モード決定ユニット180が、ソースビットストリームにビットストリーム抽出プロセスを適用するという決定を行ったとき、モード決定ユニット180は、決定されたビットストリーム抽出プロセスの指示を、ビットストリーム抽出ユニット182及びSEI生成ユニット184に与えることができる。ビットストリーム抽出ユニット182は、ソースビットストリームからサブビットストリームを抽出するための、決定するビットストリーム抽出モードを適用することができる。更に、SEI生成ユニット184は、決定されたビットストリーム抽出モードの指示を含むSEIメッセージを生成することができる。SEI生成ユニット184は、生成されたSEIメッセージを、ビットストリーム抽出ユニット182によって生じたサブビットストリーム中に含めてよい。
[0192]このようにして、媒介機器19は、ビデオデータのコード化表現を含む第1のビットストリームから、第1のビットストリームを第2のビットストリームから抽出するのに使われた抽出モードの指示を含むSEIメッセージを取得することができる。抽出モードが第1の抽出モードである場合、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含む。抽出モードが第2の抽出モードであれば、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含まない。
[0193]更に、媒介機器19は、第1のビットストリーム中に、第1のビットストリームを第2のビットストリームから抽出するのに使われた抽出モードの指示を含むSEIメッセージを含めてよい。抽出モードが第1の抽出モードである場合、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含む。抽出モードが第2の抽出モードである場合、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含まない。
[0194]図5Aは、本開示の1つ又は複数の技法による、コンピュータ機器の例示的な動作を示すフローチャートである。図5Aの動作は、本開示の他のフローチャートに示す動作とともに、例である。本開示の技法による他の例示的な動作は、より多数の、より少数の、又は異なるアクションを含み得る。
[0195]図5Aの例において、コンピュータ機器(媒介機器19や宛先機器14など)は、ビデオデータのコード化表現を含む第1のビットストリームから、第1のビットストリームを第2のビットストリームから抽出するのに使われた抽出モードの指示を含むSEIメッセージを取得することができる(200)。第1のビットストリームは、抽出モードに従って第2のビットストリームから抽出されたサブビットストリームである。抽出モードが第1の抽出モードである場合、第1のビットストリームは、第1のビットストリーム用の目標出力レイヤセットの正しい復号に必要とされない1つ又は複数のコード化ピクチャを含む。抽出モードが第2の抽出モードである場合、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含まない。抽出モードが第1の抽出モードであるか第2の抽出モードであるかにかかわらず、第1のビットストリームは、第1のビットストリームについて、目標出力レイヤセット中のピクチャを復号し出力するための十分なNAL単位を含む。幾つかの例では、SEIメッセージは、上の表7に示されるシンタックスに適合し、その指示が、conformance_indicationシンタックス要素である。
[0196]更に、図5Aの例において、コンピュータ機器は、抽出モードの指示に基づいて、第1のビットストリームからサブビットストリームを抽出するかどうか決定することができる(202)。この決定に基づいて、コンピュータ機器は、第1のビットストリームからサブビットストリームを抽出することができる。上述したように、図5Aは例である。他の例としては、より多数の、より少数の、又は異なるアクションがあり得る。例えば、本開示の幾つかの例は、アクション202を除外する。
[0197]図5Bは、本開示の1つ又は複数の技法による、コンピュータ機器の例示的な動作を示すフローチャートである。図5Bの例において、コンピュータ機器(発信源機器12や媒介機器19など)は、抽出動作を適応的に選ぶことができる(250)。コンピュータ機器は、様々な要因に基づいて抽出動作を選んでよい。例えば、コンピュータ機器は、抽出動作から得られるサブビットストリームが、エンドユーザによって使われることを意図されるか、又は意図されないかどうか、若しくはサブビットストリームから更なるサブビットストリームを抽出させるかどうかに基づいて抽出動作を選ぶ場合がある。例えば、サブビットストリーム抽出を実施する機器と、クライアント機器との間のネットワーク経路が比較的短く、及び/又はサブビットストリーム抽出を実施することができる後続機器が、クライアント機器までのネットワーク経路沿いに存在しない場合、機器は、「最適サイズ」抽出モードを選択してよい。一方、抽出機器とクライアント機器との間のネットワーク経路が比較的長く、及び/又はサブビットストリーム抽出を実施することができる1つ又は複数の機器が経路沿いにある場合、抽出機器は「完全抽出可能」モードを選択してよい。
[0198]幾つかの例では、抽出機器はCDNの一部である。CDNは、多数の顧客(例えば、数十万の顧客)にサービスすることができる。CDN中の「アップフロント」機器は、完全抽出可能抽出モードを好むように、又は単にビットストリーム抽出を完全に避けるようにさえも構成され得る。但し、クライアント機器の前の「最終」MANEは、どのようなサブビットストリームが各クライアント機器によって(例えば、それぞれのクライアント機器の復号及びレンダリング能力を決定するクライアントソフトウェアをインストール済みのクライアント機器により)必要とされるかを正確に決定することが可能な場合があり、従って、最終MANEは、サイズ最適抽出モードを「好み」得る。つまり、ネットワーク送信におけるラストマイルが通常、最大のボトルネックであるので、「ラストマイル」に近い「最適サイズ」抽出の選択が好まれ得る。
[0199]更に、図5Bの例において、コンピュータ機器は、選ばれた抽出動作を使って、第1のビットストリームを第2のビットストリームから抽出することができる(252)。例えば、選ばれた抽出動作に依存して、コンピュータ機器は、ソースビットストリームから完全抽出可能ビットストリームを、又はソースビットストリームからサイズ最適化ビットストリームを抽出することができる。幾つかの例では、コンピュータ機器は第2のビットストリームを生成する。他の例では、コンピュータ機器は、発信源機器12など、別のコンピュータ機器から第2のビットストリームを受信する。
[0200]コンピュータ機器は、第1のビットストリームを第2のビットストリームから抽出するのに使われた抽出モードの指示を含むSEIメッセージを生成することができる(254)。言い換えると、SEIメッセージは、選ばれた抽出モードの指示を含む。例えば、抽出モードが第1の抽出モードである場合、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含む。この例では、抽出モードが第2の抽出モードである場合、第1のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない1つ又は複数のコード化ピクチャを含まない。抽出モードが第1の抽出モードであるか第2の抽出モードであるかにかかわらず、第1のビットストリームは、第1のビットストリーム用の目標出力レイヤセット中のピクチャを復号し出力するための十分なNAL単位を含む。幾つかの例では、SEIメッセージは、上の表7に示されるシンタックスに適合し、その指示が、conformance_indicationシンタックス要素である。更に、図5Bの例において、コンピュータ機器は、SEIメッセージを第1のビットストリーム中に含める(256)。
[0201]上述したように、図5Bは例である。他の例としては、より多数の、より少数の、又は異なるアクションがあり得る。例えば、本開示の幾つかの例は、アクション250及び/又は252を除外する。
[0202]以下の段落は、本開示による様々な実施例を与える。
[0203]実施例1. ビデオデータを処理するための方法であって、ビットストリーム中のデータに基づいて、指示を取得することと、ここにおいて、ビットストリームはビデオデータの符号化表現を備える、指示に少なくとも部分的に基づいて、ビットストリームからサブビットストリームが抽出され得るかどうか決定することとを備える方法。
[0204]実施例2. 指示が第1の値を有するとき、ビットストリームは、ビットストリーム抽出プロセスを受けていないか、又はビットストリームは、ビットストリームからサブビットストリームを抽出させるビットストリーム抽出プロセスを用いて親ビットストリームから抽出されており、指示が第2の、異なる値を有するとき、ビットストリームは親ビットストリームから抽出されており、サブビットストリームはビットストリームから抽出されなくてよい、実施例1に記載の方法。
[0205]実施例3. 指示が第1の値を有するとき、ビットストリームは、ビットストリーム抽出プロセスを受けていないか、又はビットストリームは完全抽出可能ビットストリームであり、指示が第2の、異なる値を有するとき、ビットストリームは、最適抽出ビットストリームである、実施例1に記載の方法。
[0206]実施例4. ビデオデータを処理するための方法であって、ビットストリームからサブビットストリームが抽出され得るかどうかの指示を与えるデータを含むビットストリームを生成することを備える方法。
[0207]実施例5. 指示が第1の値を有するとき、ビットストリームは、ビットストリーム抽出プロセスを受けていないか、又はビットストリームは、ビットストリームからサブビットストリームを抽出させるビットストリーム抽出プロセスを用いて親ビットストリームから抽出されており、指示が第2の、異なる値を有するとき、ビットストリームは親ビットストリームから抽出されており、サブビットストリームはビットストリームから抽出されなくてよい、実施例4に記載の方法。
[0208]実施例6. 指示が第1の値を有するとき、ビットストリームは、ビットストリーム抽出プロセスを受けていないか、又はビットストリームは完全抽出可能ビットストリームであり、指示が第2の、異なる値を有するとき、ビットストリームは、最適抽出ビットストリームである、実施例4に記載の方法。
[0209]実施例7. ビデオデータを処理する方法であって、ビデオデータの符号化表現を含むビットストリームから、出力レイヤセットについての幾つかの適合レベルの指示を取得することと、出力レイヤセットについての適合レベルの各々について、ビットストリームから、適合レベル指示を取得することとを備える方法。
[0210]実施例8. ビデオデータを処理する方法であって、ビデオデータの符号化表現を含むビットストリーム中に、出力レイヤセットについての幾つかの適合レベルの指示を含めることと、出力レイヤセットについての適合レベルの各々について、ビットストリーム中に、適合レベル指示を含めることとを備える方法。
[0211]実施例9. ビデオデータを処理する方法であって、ビデオデータの符号化表現を含むビットストリーム中の仮想参照デコーダ(HRD)パラメータのセット中に、出力レイヤセットの適合レベルの指示を含めることを備える方法。
[0212]実施例10. ビデオデータを処理する方法であって、ビデオデータのコード化表現を含むビットストリームから、ビットストリームを生じるのに使われた抽出モードの指示を含むSEIメッセージを取得することを備え、ここにおいて、ビットストリームが、第1の抽出モードを使って生じた場合、適合サブビットストリームがビットストリームから抽出可能であり、及びここにおいて、ビットストリームが、第2の、異なる抽出モードを使って生じた場合、どの適合サブビットストリームもビットストリームから抽出可能でない、方法。
[0213]実施例11. SEIメッセージは、ビットストリームを生成するのに使われた目標出力レイヤセットを示すデータを含む、実施例10に記載の方法。
[0214]実施例12. ビデオデータを処理する方法であって、ビデオデータのコード化表現を含むビットストリーム中に、ビットストリームを生じるのに使われた抽出モードの指示を含むSEIメッセージを含めることを備え、ここにおいて、ビットストリームが、第1の抽出モードを使って生じた場合、適合サブビットストリームがビットストリームから抽出可能であり、及びここにおいて、ビットストリームが、第2の、異なる抽出モードを使って生じた場合、どの適合サブビットストリームもビットストリームから抽出可能でない、方法。
[0215]実施例13. SEIメッセージは、ビットストリームを生成するのに使われた目標出力レイヤセットを示すデータを含む、実施例12に記載の方法。
[0216]実施例14. ビデオデータを処理する方法であって、ビデオデータのコード化表現を含むビットストリームから、プロファイルと、ティアと、レベル情報とを含むシンタックス構造メッセージを取得することを備え、シンタックス構造は、ビットストリームを生じるのに使われた抽出モードの指示を更に含み、ここにおいて、ビットストリームが、第1の抽出モードを使って生じた場合、適合サブビットストリームはビットストリームから抽出可能であり、及びここにおいて、ビットストリームが、第2の、異なる抽出モードを使って生じた場合、どの適合サブビットストリームもビットストリームから抽出可能でない、方法。
[0217]実施例15. ビデオデータを処理する方法であって、ビデオデータのコード化表現を含むビットストリーム中に、プロファイルと、ティアと、レベル情報とを含むシンタックス構造メッセージを含めることを備え、シンタックス構造は、ビットストリームを生じるのに使われた抽出モードの指示を更に含み、ここにおいて、ビットストリームが、第1の抽出モードを使って生じた場合、適合サブビットストリームはビットストリームから抽出可能であり、及びここにおいて、ビットストリームが、第2の、異なる抽出モードを使って生じた場合、どの適合サブビットストリームもビットストリームから抽出可能でない、方法。
[0218]実施例16. ビデオデータを処理する方法であって、ビデオデータのコード化表現を含むビットストリームを含む、国際標準化機構(ISO)ベースメディアファイルフォーマットファイル中のメタデータから、ビットストリームを生じるのに使われた抽出モードの指示を取得することを備え、ここにおいて、ビットストリームが、第1の抽出モードを使って生じた場合、適合サブビットストリームはビットストリームから抽出可能であり、及びここにおいて、ビットストリームが、第2の、異なる抽出モードを使って生じた場合、どの適合サブビットストリームもビットストリームから抽出可能でない、方法。
[0219]実施例17. メタデータはサンプル記述中にある、実施例16に記載の方法。
[0220]実施例18. ビデオデータを処理する方法であって、国際標準化機構(ISO)ベースメディアファイルフォーマットファイル中に、ビデオデータのコード化表現を含むビットストリームを含むメタデータを含めることを備え、メタデータは、ビットストリームを生じるのに使われた抽出モードの指示を含み、ここにおいて、ビットストリームが、第1の抽出モードを使って生じた場合、適合サブビットストリームはビットストリームから抽出可能であり、及びここにおいて、ビットストリームが、第2の、異なる抽出モードを使って生じた場合、どの適合サブビットストリームもビットストリームから抽出可能でない、方法。
[0221]実施例19. メタデータはサンプル記述中にある、実施例18に記載の方法。
[0222]実施例20. ビデオデータを処理する方法であって、親ビットストリームから第1のサブビットストリームを抽出する第1のビットストリーム抽出プロセスを実施することを備え、ここにおいて、ビットストリーム抽出プロセスは、目標出力レイヤセットと、目標時間識別子と、第3のパラメータとを入力としてとり、ここにおいて、第3のパラメータは、出力レイヤセットへのインデックス及びビットストリーム抽出モードインジケータ、目標出力レイヤ識別済みリスト及びビットストリーム抽出モードインジケータ、又は目標レイヤ識別子リストであることを許可され、ここにおいて、第1のビットストリーム抽出プロセスを実施することは、目標出力レイヤセットと目標時間識別子とを入力としてとる第2のビットストリーム抽出プロセスを呼び出すことを備える、方法。
[0223]実施例21. 第2のビットストリーム抽出プロセスは、ビットストリーム抽出モードインジケータを入力として更にとる、実施例21に記載の方法。
[0224]実施例22. ビデオデータを処理する方法であって、ファイル中のボックス又は記述子中のデータに少なくとも部分的に基づいて、抽出レベル指示を決定することを備え、ここにおいて、ボックス又は記述子は、少なくとも1つの出力レイヤセットで表される動作点を記述し、ここにおいて、抽出レベル指示が第1の値を有する場合、適合サブビットストリームがビットストリームから抽出可能であり、及びここにおいて、抽出レベル指示が第2の、異なる値を有する場合、どの適合サブビットストリームもビットストリームから抽出可能でない、方法。
[0225]実施例23. ファイルは、国際標準化機構(ISO)ベースメディアファイルフォーマット又はMPEG−2 TSファイルフォーマットに適合する、実施例22に記載の方法。
[0226]実施例24. ビデオデータを処理する方法であって、ファイル中のボックス又は記述子中に、抽出レベル指示を示すデータを含めることを備え、ここにおいて、ボックス又は記述子は、少なくとも1つの出力レイヤセットで表される動作点を記述し、ここにおいて、抽出レベル指示が第1の値を有する場合、適合サブビットストリームはビットストリームから抽出可能であり、及びここにおいて、抽出レベル指示が第2の、異なる値を有する場合、どの適合サブビットストリームもビットストリームから抽出可能でない、方法。
[0227]本明細書で開示された実施形態に関して記載された様々な例示的な論理ブロック、モジュール、回路、及びアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、又は両方の組合せとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、及びステップについて、上記では概してそれらの機能性に関して説明した。そのような機能性をハードウェアとして実装するか、ソフトウェアとして実装するかは、特定の適用例及び全体的なシステムに課される設計制約に依存する。当業者は、説明した機能性を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本発明の範囲からの逸脱を生じるものと解釈すべきではない。
[0228]1つ又は複数の例において、前述の機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信機器ハンドセット、又はワイヤレス通信機器ハンドセット及び他の機器における適用例を含む複数の用途を有する集積回路機器などの、様々な機器のいずれかにおいて実装され得る。モジュール又は構成要素として記載された任意の特徴は、集積論理機器内で一緒に、又は個別であるが相互運用可能な論理機器として別々に実装され得る。ソフトウェアで実装される場合、機能は1つ以上の命令又はコードとしてコンピュータ可読媒体上に記憶されるか、若しくはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。ソフトウェアに実装された場合、本技法は、実行されると、上記で説明された方法のうちの1つ又は複数を実施する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって、少なくとも部分的に実現され得る。コンピュータ可読媒体は、データ記憶媒体などの有形の媒体に対応するコンピュータ可読記憶媒体、又は、例えば、通信プロトコルに従う、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、一般に、(1)非一時的である有形のコンピュータ可読記憶媒体、又は(2)信号若しくは搬送波などの通信媒体に対応することができる。データ記憶媒体は、本開示で説明した技法の実施のために命令、コード、及び/又はデータ構造を取り出すため、に1つ以上のコンピュータ又は1つ以上のプロセッサによってアクセスされ得る任意の使用可能な媒体とされ得る。コンピュータ可読データ記憶媒体は、パッケージング材料を含むことがあるコンピュータプログラム製品の一部を形成し得る。従って、コンピュータプログラム製品は、コンピュータ可読媒体を含む場合がある。
[0229]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、不揮発性ランダムアクセスメモリ(NVRAM)、EEPROM(登録商標)、CD−ROM、FLASHメモリ、又は他の光ディスク記憶装置、磁気ディスク記憶装置、若しくは他の磁気ストレージ機器、フラッシュメモリ、又は、命令若しくはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を備え得る。また、任意の接続が、コンピュータ可読媒体と適切に呼ばれる。本技法は、追加又は代替として、伝搬信号又は電波などの、命令又はデータ構造の形態でプログラムコードを搬送又は伝達し、コンピュータによってアクセスされ、読み取られ、及び/又は実行され得るコンピュータ可読通信媒体によって、少なくとも部分的に実現され得る。例えば、命令が、ウェブサイト、サーバ、又は他のリモートソースから、同軸ケーブル、光ファイバケーブル、より対線、デジタル加入者回線(DSL)、又は赤外線、無線、及びマイクロ波などのワイヤレス技術を使用して送信される場合に、同軸ケーブル、光ファイバケーブル、より対線、DSL、又は赤外線、無線、及びマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク(disk)及びディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)及びブルーレイ(登録商標)ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲の中に含まれるべきである。
[0230]命令は、1つ又は複数のデジタルシグナルプロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、又は他の同等の集積された論理回路若しくは個別の論理回路などの、1つ以上のプロセッサによって実行され得る。従って、「プロセッサ」という用語は、本明細書で使用するように、前述の構造のいずれか、又は本明細書で説明された技法の実装に適した任意の他の構造を指し得る。そのようなプロセッサは、本開示に記載された技法のいずれかを実施するように構成され得る。加えて、幾つかの態様では、本明細書で説明した機能は、符号化及び復号のために構成されるか、又は複合コーデックに組み込まれる、専用のハードウェアモジュール及び/又はソフトウェアモジュール内で提供され得る。また、本技法は、1つ又は複数の回路又は論理要素で十分に実装され得る。
[0231]汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは任意の従来のプロセッサ、コントローラ、マイクロプロセッサ、又は状態機械であり得る。プロセッサはまた、コンピュータ機器の組合せ、例えば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つ又は複数のマイクロプロセッサ、又は任意の他のそのような構成としても実装され得る。従って、本明細書で使用する「プロセッサ」という用語は、上記の構造、上記の構造の任意の組合せ、又は本明細書に記載された技法の実装に適した任意の他の構造若しくは装置のいずれかを指し得る。更に、幾つかの態様では、本明細書に記載された機能は、符号化及び復号のために構成された専用のソフトウェアモジュール又はハードウェアモジュール内に提供され得るか、又は複合ビデオエンコーダ/デコーダ(コーデック)に組み込まれ得る。
[0232]本明細書で説明したコード化技法は、例示的なビデオ符号化及び復号システムにおける実施形態であり得る。システムは、宛先機器によって後で復号されるべき符号化ビデオデータを与える発信源機器を含む。特に、発信源機器は、コンピュータ可読媒体を介してビデオデータを宛先機器に与える。発信源機器及び宛先機器は、デスクトップコンピュータ、ノートブック(即ち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、所謂「スマート」フォンなどの電話ハンドセット、所謂「スマート」パッド、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミング機器などを含む、広範囲にわたる機器のいずれかを備え得る。場合によっては、発信源機器及び宛先機器はワイヤレス通信のために装備され得る。
[0233]本開示の技法は、ワイヤレスハンドセット、集積回路(IC)又はICのセット(例えば、チップセット)を含む、多種多様な機器又は装置で実装され得る。本開示では、開示する技法を実施するように構成された機器の機能的態様を強調するために様々な構成要素、モジュール、又はユニットについて説明したが、それらの構成要素、モジュール、又はユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。そうではなく、上記で説明したように、様々なユニットは、コーデックハードウェアユニット中で組み合わせられるか、又は上記で説明した1つ又は複数のプロセッサを含む、適切なソフトウェア及び/又はファームウェアとともに相互動作可能なハードウェアユニットの集合によって提供され得る。
[0234]宛先機器は、コンピュータ可読媒体を介して復号されるべき符号化ビデオデータを受信し得る。コンピュータ可読媒体は、発信源機器から宛先機器に符号化ビデオデータを移動することが可能な任意のタイプの媒体又は機器を備え得る。一例では、コンピュータ可読媒体は、発信源機器が符号化ビデオデータを宛先機器にリアルタイムで直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先機器に送信され得る。通信媒体は、無線周波(RF)スペクトル又は1つ又は複数の物理伝送線路など、任意のワイヤレス通信媒体又は有線通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワークなどのパケットベースネットワーク、又はインターネットなどのグローバルネットワークの一部を形成し得る。通信媒体は、発信源機器から宛先機器への通信を可能にするために有用であり得る、ルータ、スイッチ、基地局、又は任意の他の機器を含み得る。
[0235]幾つかの例では、符号化データは、出力インターフェースから記憶機器に出力され得る。同様に、符号化データは、入力インターフェースによって記憶機器からアクセスされ得る。記憶機器は、ハードドライブ、Blu−rayディスク、DVD、CD−ROM、フラッシュメモリ、揮発性又は不揮発性メモリ、若しくは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散された又はローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。更なる一例では、記憶機器は、発信源機器によって生成された符号化ビデオを記憶し得るファイルサーバ又は別の中間記憶機器に対応し得る。宛先機器は、ストリーミング又はダウンロードを介して記憶機器から記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先機器に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバとしては、(例えば、ウェブサイトのための)ウェブサーバ、FTPサーバ、ネットワーク接続ストレージ(NAS)機器、又はローカルディスクドライブがある。宛先機器は、インターネット接続を含む、任意の標準的なデータ接続を通じて符号化ビデオデータにアクセスし得る。これは、ファイルサーバ上に記憶された符号化ビデオデータにアクセスするのに適した、ワイヤレスチャネル(例えば、Wi−Fi接続)、有線接続(例えば、DSL、ケーブルモデムなど)、又はその両方の組合せを含み得る。記憶機器からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、又はそれらの組合せであり得る。
[0236]本開示の技法は、ワイヤレス応用又はワイヤレス設定に必ずしも制限されない。本技法は、無線テレビジョンブロードキャスト、ケーブルテレビジョン送信、衛星テレビジョン送信、HTTP上の動的適応ストリーミング(DASH:dynamic adaptive streaming over HTTP)などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体上に記憶されたデジタルビデオの復号、又は他の応用例など、様々なマルチメディア応用のいずれかをサポートするビデオコード化に適用され得る。幾つかの例では、システムは、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、及び/又はビデオテレフォニーなどの適用例をサポートするために、一方向又は双方向のビデオ送信をサポートするように構成され得る。
[0237]一例では、発信源機器は、ビデオ発信源と、ビデオエンコーダと、出力インターフェースとを含む。宛先機器は、入力インターフェースと、ビデオデコーダと、表示装置とを含み得る。発信源機器のビデオエンコーダは、本明細書で開示する技法を適用するように構成され得る。他の例では、発信源機器及び宛先機器は、他の構成要素又は配置を含むことができる。例えば、発信源機器は、外部カメラなどの外部ビデオ発信源からビデオデータを受信し得る。同様に、宛先機器は、内蔵表示装置を含むのではなく、外部表示装置とインターフェースし得る。上記の例示的なシステム一例にすぎない。ビデオデータを並列に処理するための技法は、任意のデジタルビデオ符号化及び/又は復号機器によって実施され得る。概して、本開示の技法は、ビデオ符号化機器によって実施されるが、本技法は、通常「コーデック」と呼ばれるビデオエンコーダ/デコーダによっても実施され得る。その上、本開示の技法はビデオプリプロセッサによっても実施され得る。発信源機器及び宛先機器は、発信源機器が宛先機器に送信するためのコード化ビデオデータを生成するような、コード化機器の例にすぎない。幾つかの例では、発信源機器及び宛先機器は、機器の各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように、実質的に対称的に動作し得る。従って、例示的なシステムは、例えば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、又はビデオテレフォニーのための、ビデオ機器間の一方向又は双方向のビデオ送信をサポートし得る。
[0238]ビデオ発信源は、ビデオカメラなどの撮像装置、以前に撮影されたビデオを含んでいるビデオアーカイブ、及び/又はビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。更なる代替として、ビデオ発信源は、ソースビデオとしてのコンピュータラフィックスベースのデータ、又はライブビデオとアーカイブビデオとコンピュータ生成ビデオとの組合せを生成し得る。場合によっては、ビデオ発信源がビデオカメラである場合、発信源機器及び宛先機器は、所謂カメラフォン又はビデオフォンを形成し得る。但し、上述のように、本開示で説明する技法は、概してビデオコード化に適用可能であり得、ワイヤレス及び/又は有線適用例に適用され得る。各場合において、撮影されたビデオ、以前に撮影されたビデオ、又はコンピュータ生成ビデオは、ビデオエンコーダによって符号化され得る。符号化されたビデオ情報は、次いで、出力インターフェースによってコンピュータ可読媒体上に出力され得る。
[0239]述べたように、コンピュータ可読媒体は、ワイヤレスブロードキャスト又は有線ネットワーク送信などの一時媒体、又はハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Blu−rayディスク、若しくは他のコンピュータ可読媒体などの記憶媒体(即ち、非一時的記憶媒体)を含み得る。幾つかの例では、ネットワークサーバ(図示せず)は、例えば、ネットワーク送信を介して、発信源機器から符号化ビデオデータを受信し、その符号化ビデオデータを宛先機器に与え得る。同様に、ディスクスタンピング設備など、媒体製造設備のコンピュータ機器は、発信源機器から符号化ビデオデータを受信し、その符号化ビデオデータを含んでいるディスクを生成し得る。従って、コンピュータ可読媒体は、様々な例において、様々な形態の1つ又は複数のコンピュータ可読媒体を含むものと理解され得る。
[0240]宛先機器の入力インターフェースはコンピュータ可読媒体から情報を受信する。コンピュータ可読媒体の情報は、ビデオエンコーダによって定義され、ビデオデコーダによっても使用される、ブロック及び他のコード化されたユニット、例えば、ピクチャグループ(GOP)の特性及び/又は処理を記述するシンタックス要素を含む、シンタックス情報を含み得る。表示装置は、復号ビデオデータをユーザに対して表示し、陰極線管(CRT)、液晶表示器(LCD)、プラズマ表示器、有機発光ダイオード(OLED)表示器、又は別のタイプの表示装置など、様々な表示装置のいずれかを備え得る。本発明の様々な実施形態について説明した。
[0241]様々な例が、説明された。これら及び他の例は、以下の特許請求の範囲に含まれる。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
[1] ビデオデータを処理する方法であって、前記ビデオデータのコード化表現を含む第1のビットストリームから、前記第1のビットストリームを第2のビットストリームから抽出するために使われた抽出モードの指示を含む補足拡張情報(SEI)メッセージを取得することを備え、ここにおいて、前記第1のビットストリームは、前記抽出モードに従って前記第2のビットストリームから抽出されたサブビットストリームであり、前記抽出モードが第1の抽出モードであるか第2の抽出モードであるかにかかわらず、前記第1のビットストリームは、目標出力レイヤセット中のピクチャを復号し出力するための十分なネットワーク抽象化レイヤ(NAL)単位を含み、前記抽出モードが前記第1の抽出モードである場合、前記第1のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない1つ以上のコード化ピクチャを含み、前記抽出モードが前記第2の抽出モードである場合、前記第1のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない前記1つ以上のコード化ピクチャを含まない、方法。
[2] 前記抽出モードが前記第1の抽出モードである場合、前記第1のビットストリームは、目標時間識別子よりも大きい時間識別子を有するとともに、目標出力レイヤセット中に含まれる値の中にないレイヤ識別子を前記目標出力レイヤセット向けに有する、前記第2のビットストリームのNAL単位を除外し、前記抽出モードが前記第2の抽出モードである場合、前記第1のビットストリームは、前記目標出力レイヤセット中のレイヤの正しい復号に必要とされないいずれかのコード化ピクチャに対応する、前記第2のビットストリームのNAL単位を更に除外する、[1]に記載の方法。
[3] 前記第1の抽出モードは自己完全性を目標とし、前記第2の抽出モードはサイズ最適化を目標とする、[1]に記載の方法。
[4] 前記抽出モードが前記第2の抽出モードである場合、前記第2のビットストリームのそれぞれのNAL単位について、前記それぞれのNAL単位は、i)前記それぞれのNAL単位が、目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を、前記目標出力レイヤセット向けに有する、及び ii)前記それぞれのNAL単位の時間識別子が、前記それぞれのNAL単位が属すレイヤのピクチャによって使われるレイヤ間参照ピクチャの最大時間識別子よりも大きい、という基準の両方が前記それぞれのNAL単位について満足される場合、前記それぞれのNAL単位が前記第1のビットストリーム中にないように、前記第2のビットストリームから削除される、[1]に記載の方法。
[5] 前記抽出モードが前記第2の抽出モードである場合、前記それぞれのNAL単位は、i)前記それぞれのNAL単位が、目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を前記目標出力レイヤセット向けに有し、ii)前記それぞれのNAL単位のフラグが、前記それぞれのNAL単位に対応するコード化ピクチャが、復号順序で後続のピクチャの復号プロセスにおいて参照ピクチャとして使われないと指定する場合、前記それぞれのNAL単位が前記第1のビットストリーム中にないように、前記第2のビットストリームから削除される、[4]に記載の方法。
[6] 完全抽出可能サブビットストリーム向けの目標出力レイヤセットが前記第1のビットストリーム向けの前記目標出力レイヤセットを超えない限り、前記第1のビットストリームから前記完全抽出可能サブビットストリームが抽出され得ると決定することを更に備え、前記完全抽出可能サブビットストリームは、前記完全抽出可能サブビットストリーム向けの前記目標出力レイヤセット内のピクチャを復号するための十分なネットワーク抽象化レイヤ(NAL)単位を含む、[4]に記載の方法。
[7] 前記SEIメッセージは、前記目標出力レイヤセットを示すデータを備える、[1]に記載の方法。
[8] 前記抽出モードの前記指示は適合レベルを示し、0に等しい前記適合レベルは、現在のレイヤセット中の各レイヤの最も高い時間識別子が前記現在のレイヤセットの最大時間識別子に等しいことと、前記第1のビットストリームの各アクセス単位が、前記現在のレイヤセット中の各レイヤからの1つのピクチャを含むこととを示し、前記現在のレイヤセットは、前記第1のビットストリーム向けに存在するレイヤのセットであり、前記現在のレイヤセットの前記最大時間識別子は、前記現在のレイヤセットにあるレイヤ中のピクチャの、最も大きい時間識別子であり、1に等しい前記適合レベルは、前記目標出力レイヤセット中の各レイヤの最も高い時間識別子が、前記現在のレイヤセットの前記最大時間識別子に等しく、前記第1のビットストリームの各アクセス単位が、前記目標出力レイヤセット中の各レイヤからの1つのピクチャを含み、前記目標出力レイヤセット中にない前記現在のレイヤセット中の各それぞれのレイヤについて、前記それぞれのレイヤ中のピクチャの最も高い時間識別子が、前記現在のレイヤセットの前記最大時間識別子である場合、前記現在のレイヤセットの前記最大時間識別子よりも小さいか、又は等しい時間識別子をもつ各アクセス単位が、前記それぞれのレイヤ中にピクチャを含むことを示す、[1]に記載の方法。
[9] 前記抽出モードの前記指示は適合レベルを示し、0に等しい前記適合レベルは、現在のレイヤセット中の各レイヤの最も高い時間識別子が前記現在のレイヤセットの最大時間識別子に等しいことと、前記第1のビットストリームの各アクセス単位が、前記現在のレイヤセット中の各レイヤからの1つのピクチャを含むこととを示し、前記現在のレイヤセットは、前記第1のビットストリーム向けに存在するレイヤのセットであり、前記現在のレイヤセットの前記最大時間識別子は、前記現在のレイヤセットにあるレイヤ中のピクチャの、最も大きい時間識別子であり、1に等しい前記適合レベルは、前記現在のレイヤセット中の各それぞれのレイヤについて、前記それぞれのレイヤ中のピクチャの最も高い時間識別子が、前記現在のレイヤセットの前記最大時間識別子である場合、前記現在のレイヤセットの前記最大時間識別子よりも小さいか、又は等しい時間識別子をもつ各アクセス単位が、前記それぞれのレイヤ中にピクチャを含むことを示す、[1]に記載の方法。
[10] 前記抽出モードの前記指示に基づいて、前記第1のビットストリームからサブビットストリームを抽出するかどうか決定することと、前記決定することに基づいて、前記第1のビットストリームから前記サブビットストリームを抽出することとを更に備える、[1]に記載の方法。
[11] ビデオデータを処理する方法であって、第1のビットストリームを第2のビットストリームから抽出するのに使われた抽出モードの指示を含む補足拡張情報(SEI)メッセージを生成することと、前記第1のビットストリームは前記ビデオデータのコード化表現を含む、ここにおいて、前記第1のビットストリームは、前記抽出モードに従って前記第2のビットストリームから抽出されたサブビットストリームであり、前記抽出モードが第1の抽出モードであるか第2の抽出モードであるかにかかわらず、前記第1のビットストリームは、前記第1のビットストリーム向けの目標出力レイヤセット中のピクチャを復号し出力するための十分なネットワーク抽象化レイヤ(NAL)単位を含み、前記抽出モードが前記第1の抽出モードである場合、前記第1のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない1つ以上のコード化ピクチャを含み、前記抽出モードが前記第2の抽出モードである場合、前記第1のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない前記1つ以上のコード化ピクチャを含まない、前記SEIメッセージを前記第1のビットストリーム中に含めることとを備える方法。
[12] 前記抽出モードが前記第1の抽出モードである場合、前記第1のビットストリームは、目標時間識別子よりも大きい時間識別子を有するとともに、前記目標出力レイヤセット向けの目標出力レイヤ識別子リストに含まれる値の中にないレイヤ識別子を有する、前記第2のビットストリームのNAL単位を除外し、前記抽出モードが前記第2の抽出モードである場合、前記第1のビットストリームは、前記目標出力レイヤセット中のレイヤの正しい復号に必要とされないいずれかのコード化ピクチャに対応する、前記第2のビットストリームのNAL単位を更に除外する、[11]に記載の方法。
[13] 前記第1の抽出モードは自己完全性を目標とし、前記第2の抽出モードはサイズ最適化を目標とする、[11]に記載の方法。
[14] 前記抽出モードが前記第2の抽出モードである場合、前記第2のビットストリームの各それぞれのNAL単位について、前記それぞれのNAL単位は、i)前記それぞれのNAL単位が、目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を前記目標出力レイヤセット向けに有する、及びii)前記それぞれのNAL単位の時間識別子が、前記それぞれのNAL単位が属するレイヤのピクチャによって使われるレイヤ間参照ピクチャの最大時間識別子よりも大きい、という基準の両方が前記それぞれのNAL単位について満足される場合、前記それぞれのNAL単位が前記第1のビットストリーム中にないように、前記第2のビットストリームから削除される、[11]に記載の方法。
[15] 前記抽出モードが前記第2の抽出モードである場合、前記それぞれのNAL単位は、i)前記それぞれのNAL単位が、目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を前記目標出力レイヤセット向けに有し、ii)前記それぞれのNAL単位のフラグが、前記それぞれのNAL単位に対応するコード化ピクチャが、復号順序で後続のピクチャの復号プロセスにおいて参照ピクチャとして使われないと指定する場合、前記それぞれのNAL単位が前記第1のビットストリーム中にないように、前記第2のビットストリームから削除される、[14]に記載の方法。
[16] 完全抽出可能サブビットストリーム向けの目標出力レイヤセットが前記第1のビットストリーム向けの前記目標出力レイヤセットを超えない限り、前記完全抽出可能サブビットストリームは、前記第1のビットストリームから抽出されてよく、前記完全抽出可能サブビットストリームは、前記完全抽出可能サブビットストリーム向けの前記目標出力レイヤセット内のピクチャを復号するための十分なネットワーク抽象化レイヤ(NAL)単位を含む、[14]に記載の方法。
[17] 前記SEIメッセージを生成することは、前記SEIメッセージ中に、前記目標出力レイヤセットを示すデータを含めることを備える、[11]に記載の方法。
[18] 前記抽出モードの前記指示は適合レベルを示し、0に等しい前記適合レベルは、現在のレイヤセット中の各レイヤの最も高い時間識別子が前記現在のレイヤセットの最大時間識別子に等しいことと、前記第1のビットストリームの各アクセス単位が、前記現在のレイヤセット中の各レイヤからの1つのピクチャを含むこととを示し、前記現在のレイヤセットは、前記第1のビットストリーム向けに存在するレイヤのセットであり、前記現在のレイヤセットの前記最大時間識別子は、前記現在のレイヤセットにあるレイヤ中のピクチャの、最も大きい時間識別子であり、1に等しい前記適合レベルは、前記目標出力レイヤセット中の各レイヤの最も高い時間識別子が、前記現在のレイヤセットの前記最大時間識別子に等しく、前記第1のビットストリームの各アクセス単位が、前記目標出力レイヤセット中の各レイヤからの1つのピクチャを含み、前記目標出力レイヤセット中にない前記現在のレイヤセット中の各それぞれのレイヤについて、前記それぞれのレイヤ中のピクチャの最も高い時間識別子が、前記現在のレイヤセットの前記最大時間識別子である場合、前記現在のレイヤセットの前記最大時間識別子よりも小さいか、又は等しい時間識別子をもつ各アクセス単位が、前記それぞれのレイヤ中にピクチャを含むことを示す、[11]に記載の方法。
[19] 前記抽出モードの前記指示は適合レベルを示し、0に等しい前記適合レベルは、現在のレイヤセット中の各レイヤの最も高い時間識別子が前記現在のレイヤセットの最大時間識別子に等しいことと、前記第1のビットストリームの各アクセス単位が、前記現在のレイヤセット中の各レイヤからの1つのピクチャを含むこととを示し、前記現在のレイヤセットは、前記第1のビットストリーム向けに存在するレイヤのセットであり、前記現在のレイヤセットの前記最大時間識別子は、前記現在のレイヤセットにあるレイヤ中のピクチャの、最も大きい時間識別子であり、1に等しい前記適合レベルは、前記現在のレイヤセット中の各それぞれのレイヤについて、前記それぞれのレイヤ中のピクチャの最も高い時間識別子が、前記現在のレイヤセットの前記最大時間識別子である場合、前記現在のレイヤセットの前記最大時間識別子よりも小さいか、又は等しい時間識別子をもつ各アクセス単位が、前記それぞれのレイヤ中にピクチャを含むことを示す、[11]に記載の方法。
[20] 前記抽出モードを適応的に選ぶことと、選ばれた前記抽出モードを使って、前記第1のビットストリームを前記第2のビットストリームから抽出することとを更に備える、[11]に記載の方法。
[21] ビデオデータを処理するための機器であって、前記ビデオデータを記憶するメモリと、前記ビデオデータのコード化表現を含む第1のビットストリームから、前記第1のビットストリームを第2のビットストリームから抽出するのに使われた抽出モードの指示を含む補足拡張情報(SEI)メッセージを取得するように構成された1つ以上のプロセッサとを備え、ここにおいて、前記第1のビットストリームは、前記抽出モードに従って前記第2のビットストリームから抽出されたサブビットストリームであり、前記抽出モードが第1の抽出モードであるか第2の抽出モードであるかにかかわらず、前記第1のビットストリームは、前記第1のビットストリーム向けの目標出力レイヤセット中のピクチャを復号し出力するための十分なネットワーク抽象化レイヤ(NAL)単位を含み、前記抽出モードが前記第1の抽出モードである場合、前記第1のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない1つ以上のコード化ピクチャを含み、前記抽出モードが前記第2の抽出モードである場合、前記第1のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない前記1つ以上のコード化ピクチャを含まない、機器。
[22] 前記抽出モードが前記第1の抽出モードである場合、前記第1のビットストリームは、目標時間識別子よりも大きい時間識別子を有するとともに、前記目標出力レイヤセット向けの目標出力レイヤ識別子リストに含まれる値の中にないレイヤ識別子を有する、前記第2のビットストリームのNAL単位を除外し、前記抽出モードが前記第2の抽出モードである場合、前記第1のビットストリームは、前記目標出力レイヤ識別子リスト中のレイヤの正しい復号に必要とされないコード化ピクチャに対応する、前記第2のビットストリームのNAL単位を更に除外する、[21]に記載の機器。
[23] 前記抽出モードが前記第2の抽出モードである場合、前記第2のビットストリームの各それぞれのNAL単位について、前記それぞれのNAL単位は、i)前記それぞれのNAL単位が、目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を前記目標出力レイヤセット向けに有する、及び ii)前記それぞれのNAL単位の時間識別子が、前記それぞれのNAL単位が属すレイヤのピクチャによって使われるレイヤ間参照ピクチャの最大時間識別子よりも大きい、という基準の両方が前記それぞれのNAL単位について満足される場合、前記それぞれのNAL単位が前記第1のビットストリーム中にないように、前記第2のビットストリームから削除される、[21]に記載の機器。
[24] 前記抽出モードが前記第2の抽出モードである場合、前記それぞれのNAL単位は、i)前記それぞれのNAL単位が、前記第1のビットストリームを生じるのに使われた前記目標出力レイヤセットについての目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を有し、ii)前記それぞれのNAL単位のフラグが、前記それぞれのNAL単位に対応するコード化ピクチャが、復号順序で後続のピクチャの復号プロセスにおいて参照ピクチャとして使われないと指定する場合、前記それぞれのNAL単位が前記第1のビットストリーム中にないように、前記第2のビットストリームから削除される、[23]に記載の機器。
[25] 前記1つ以上のプロセッサは、前記抽出モードに基づいて、前記第1のビットストリームからサブビットストリームを抽出するかどうか決定し、前記決定に基づいて、前記第1のビットストリームから前記サブビットストリームを抽出するように構成される、[23]に記載の機器。
[26] ビデオデータを処理するための機器であって、前記ビデオデータを記憶するメモリと、1つ以上のプロセッサとを備え、前記1つ以上のプロセッサは、第1のビットストリームを第2のビットストリームから抽出するのに使われた抽出モードの指示を含む補足拡張情報(SEI)メッセージを生成し、前記第1のビットストリームは前記ビデオデータのコード化表現を含む、ここにおいて、前記第1のビットストリームは、前記抽出モードに従って前記第2のビットストリームから抽出されたサブビットストリームであり、前記抽出モードが第1の抽出モードであるか第2の抽出モードであるかにかかわらず、前記第1のビットストリームは、前記第1のビットストリーム向けの目標出力レイヤセット中のピクチャを復号し出力するための十分なネットワーク抽象化レイヤ(NAL)単位を含み、前記抽出モードが前記第1の抽出モードである場合、前記第1のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない1つ以上のコード化ピクチャを含み、前記抽出モードが前記第2の抽出モードである場合、前記第1のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない前記1つ以上のコード化ピクチャを含まない、前記SEIメッセージを前記第1のビットストリーム中に含めるように構成される、機器。
[27] 前記抽出モードが前記第2の抽出モードである場合、前記第2のビットストリームの各それぞれのNAL単位について、前記それぞれのNAL単位は、i)前記それぞれのNAL単位が、前記第1のビットストリームを生じるのに使われた前記目標出力レイヤセットについての目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を有する、及び ii)前記それぞれのNAL単位の時間識別子が、前記それぞれのNAL単位が属すレイヤのピクチャによって使われるレイヤ間参照ピクチャの最大時間識別子よりも大きい、という基準の両方が前記それぞれのNAL単位について満足される場合、前記それぞれのNAL単位が前記第1のビットストリーム中にないように、前記第2のビットストリームから削除される、[26]に記載の機器。
[28] 前記抽出モードが前記第2の抽出モードである場合、前記それぞれのNAL単位は、i)前記それぞれのNAL単位が、目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を前記目標出力レイヤセット向けに有し、ii)前記それぞれのNAL単位のフラグが、前記それぞれのNAL単位に対応するコード化ピクチャが、復号順序で後続のピクチャの復号プロセスにおいて参照ピクチャとして使われないと指定する場合、前記それぞれのNAL単位が前記第1のビットストリーム中にないように、前記第2のビットストリームから削除される、[27]に記載の機器。
[29] 前記1つ以上のプロセッサは、前記SEIメッセージ中に、前記目標出力レイヤセットを示すデータを含めるように構成される、[26]に記載の機器。
[30] 前記1つ以上のプロセッサは、前記抽出モードを適応的に選び、選ばれた前記抽出モードを使って、前記第1のビットストリームを前記第2のビットストリームから抽出するように構成される、[26]に記載の機器。

Claims (15)

  1. ビデオデータを処理する方法であって、
    前記ビデオデータのコード化表現を含む第1のビットストリームから、前記第1のビットストリームを第2のビットストリームから抽出するために使われた抽出モードの指示を含む補足拡張情報(SEI)メッセージを取得することを備え、ここにおいて、
    前記第1のビットストリームは、前記抽出モードに従って前記第2のビットストリームから抽出されたサブビットストリームであり 、
    前記抽出モードが第1の抽出モード又は第2の抽出モードであるとして示されるかどうかにかかわらず、前記第1のビットストリームは、目標出力レイヤセット中のピクチャを復号し出力するための十分なネットワーク抽象化レイヤ(NAL)単位を含み、
    前記抽出モードが前記第1の抽出モードであるとして示される場合、前記第1のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない1つ以上のコード化ピクチャを含み、
    前記抽出モードが前記第2の抽出モードであるとして示される場合、前記第1のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない前記1つ以上のコード化ピクチャを含まない、
    前記SEIメッセージは、前記第1のビットストリームを生じるのに使われた前記目標出力レイヤセットを示すデータを含み、前記目標出力レイヤセットを示す前記データは、ビデオパラメータセット(VPS)中で指定される出力レイヤセットへのインデックスを指定するシンタックス要素を備え、
    完全抽出可能サブビットストリームのための目標出力レイヤセットが前記第1のビットストリームのための前記目標出力レイヤセットを超えない限り、前記第1のビットストリームから前記完全抽出可能サブビットストリームが抽出され、前記完全抽出可能サブビットストリームは、前記完全抽出可能サブビットストリームのための前記目標出力レイヤセット内のピクチャを復号するための十分なNAL単位を含む、方法。
  2. 前記抽出モードが前記第1の抽出モードであるとして示される場合、前記第1のビットストリームは、目標時間識別子よりも大きい時間識別子を有するとともに、目標出力レイヤセット中に含まれる値の中にないレイヤ識別子を前記目標出力レイヤセットのために有する、前記第2のビットストリームのNAL単位を除外し、
    前記抽出モードが前記第2の抽出モードであるとして示される場合、前記第1のビットストリームは、前記目標出力レイヤセット中のレイヤの正しい復号に必要とされないいずれかのコード化ピクチャに対応する、前記第2のビットストリームのNAL単位を更に除外する、請求項1に記載の方法。
  3. 前記第1の抽出モードは自己完全性を目標とし、前記第2の抽出モードはサイズ最適化を目標とする、請求項1に記載の方法。
  4. 前記抽出モードが前記第2の抽出モードであるとして示される場合、前記第2のビットストリームのそれぞれのNAL単位について、前記それぞれのNAL単位は、
    i)前記それぞれのNAL単位が、目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を、前記目標出力レイヤセットのために有する、及び
    ii)前記それぞれのNAL単位の時間識別子が、前記それぞれのNAL単位が属すレイヤのピクチャによって使われるレイヤ間参照ピクチャの最大時間識別子よりも大きい、
    という基準の両方が前記それぞれのNAL単位について満足される場合、前記それぞれのNAL単位が前記第1のビットストリーム中にないように、前記第2のビットストリームから削除される、請求項1に記載の方法。
  5. 前記抽出モードが前記第2の抽出モードであるとして示される場合、前記それぞれのNAL単位は、
    i)前記それぞれのNAL単位が、目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を前記目標出力レイヤセットのために有し、
    ii)前記それぞれのNAL単位のフラグが、前記それぞれのNAL単位に対応するコード化ピクチャが、復号順序で後続のピクチャの復号プロセスにおいて参照ピクチャとして使われないと指定する
    という場合に、前記それぞれのNAL単位が前記第1のビットストリーム中にないように、前記第2のビットストリームから削除される、請求項4に記載の方法。
  6. 完全抽出可能サブビットストリームのための目標出力レイヤセットが前記第1のビットストリームのための前記目標出力レイヤセットを超えない限り、前記第1のビットストリームから前記完全抽出可能サブビットストリームが抽出され得ると決定することを更に備える、請求項4に記載の方法。
  7. 前記SEIメッセージは、前記目標出力レイヤセットを示すデータを備える、請求項1に記載の方法。
  8. 前記抽出モードの前記指示は適合レベルを示し、
    0に等しい前記適合レベルは、現在のレイヤセット中の各レイヤの最も高い時間識別子が前記現在のレイヤセットの最大時間識別子に等しいことと、前記第1のビットストリームの各アクセス単位が、前記現在のレイヤセット中の各レイヤからの1つのピクチャを含むこととを示し、
    前記現在のレイヤセットは、前記第1のビットストリームのために存在するレイヤのセットであり、
    前記現在のレイヤセットの前記最大時間識別子は、前記現在のレイヤセットにあるレイヤ中のピクチャの、最も大きい時間識別子であり、
    1に等しい前記適合レベルは、
    前記目標出力レイヤセット中の各レイヤの最も高い時間識別子が、前記現在のレイヤセットの前記最大時間識別子に等しく、前記第1のビットストリームの各アクセス単位が、前記目標出力レイヤセット中の各レイヤからの1つのピクチャを含み、
    前記目標出力レイヤセット中にない前記現在のレイヤセット中の各それぞれのレイヤについて、前記それぞれのレイヤ中のピクチャの最も高い時間識別子が、前記現在のレイヤセットの前記最大時間識別子である場合、前記現在のレイヤセットの前記最大時間識別子よりも小さいか、又は等しい時間識別子をもつ各アクセス単位が、前記それぞれのレイヤ中にピクチャを含む
    ことを示す、請求項1に記載の方法。
  9. 前記抽出モードの前記指示は適合レベルを示し、
    0に等しい前記適合レベルは、現在のレイヤセット中の各レイヤの最も高い時間識別子が前記現在のレイヤセットの最大時間識別子に等しいことと、前記第1のビットストリームの各アクセス単位が、前記現在のレイヤセット中の各レイヤからの1つのピクチャを含むこととを示し、
    前記現在のレイヤセットは、前記第1のビットストリームのために存在するレイヤのセットであり、
    前記現在のレイヤセットの前記最大時間識別子は、前記現在のレイヤセットにあるレイヤ中のピクチャの、最も大きい時間識別子であり、
    1に等しい前記適合レベルは、前記現在のレイヤセット中の各それぞれのレイヤについて、前記それぞれのレイヤ中のピクチャの最も高い時間識別子が、前記現在のレイヤセットの前記最大時間識別子である場合、前記現在のレイヤセットの前記最大時間識別子よりも小さいか、又は等しい時間識別子をもつ各アクセス単位が、前記それぞれのレイヤ中にピクチャを含むことを示す、請求項1に記載の方法。
  10. 前記抽出モードの前記指示に基づいて、前記第1のビットストリームからサブビットストリームを抽出するかどうか決定することと、
    前記決定することに基づいて、前記第1のビットストリームから前記サブビットストリームを抽出することと
    を更に備える、請求項1に記載の方法。
  11. ビデオデータを処理する方法であって、
    第1のビットストリームを第2のビットストリームから抽出するのに使われた抽出モードの指示を含む補足拡張情報(SEI)メッセージを生成することと、前記第1のビットストリームは前記ビデオデータのコード化表現を含み、
    前記SEIメッセージを前記第1のビットストリーム中に含めることと
    を備え、ここにおいて、
    前記第1のビットストリームは、前記抽出モードに従って前記第2のビットストリームから抽出されたサブビットストリームであり、
    前記抽出モードが第1の抽出モード又は第2の抽出モードであるとして示されるかどうかにかかわらず、前記第1のビットストリームは、前記第1のビットストリームのための目標出力レイヤセット中のピクチャを復号し出力するための十分なネットワーク抽象化レイヤ(NAL)単位を含み、
    前記抽出モードが前記第1の抽出モードであるとして示される場合、前記第1のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない1つ以上のコード化ピクチャを含み、
    前記抽出モードが前記第2の抽出モードであるとして示される場合、前記第1のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない前記1つ以上のコード化ピクチャを含まない、
    前記SEIメッセージは、前記第1のビットストリームを生じるのに使われた前記目標出力レイヤセットを示すデータを含み、前記目標出力レイヤセットを示す前記データは、ビデオパラメータセット(VPS)中で指定される出力レイヤセットへのインデックスを指定するシンタックス要素を備え、
    完全抽出可能サブビットストリームのための目標出力レイヤセットが前記第1のビットストリームのための前記目標出力レイヤセットを超えない限り、前記第1のビットストリームから前記完全抽出可能サブビットストリームが抽出され、前記完全抽出可能サブビットストリームは、前記完全抽出可能サブビットストリームのための前記目標出力レイヤセット内のピクチャを復号するための十分なNAL単位を含む、方法。
  12. 前記抽出モードを適応的に選ぶことと、
    前記選ばれた前記抽出モードを使って、前記第1のビットストリームを前記第2のビットストリームから抽出することと
    を更に備える、請求項11に記載の方法。
  13. ビデオデータを処理するための機器であって、
    前記ビデオデータを記憶するメモリと、
    前記ビデオデータのコード化表現を含む第1のビットストリームから、前記第1のビットストリームを第2のビットストリームから抽出するのに使われた抽出モードの指示を含む補足拡張情報(SEI)メッセージを取得するように構成された1つ以上のプロセッサと
    を備え、ここにおいて、
    前記第1のビットストリームは、前記抽出モードに従って前記第2のビットストリームから抽出されたサブビットストリームであり、
    前記抽出モードが第1の抽出モード又は第2の抽出モードであるとして示されるかどうかにかかわらず、前記第1のビットストリームは、前記第1のビットストリームのための目標出力レイヤセット中のピクチャを復号し出力するための十分なネットワーク抽象化レイヤ(NAL)単位を含み、
    前記抽出モードが前記第1の抽出モードであるとして示される場合、前記第1のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない1つ以上のコード化ピクチャを含み、
    前記抽出モードが前記第2の抽出モードであるとして示される場合、前記第1のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない前記1つ以上のコード化ピクチャを含まない、
    前記SEIメッセージは、前記第1のビットストリームを生じるのに使われた前記目標出力レイヤセットを示すデータを含み、前記目標出力レイヤセットを示す前記データは、ビデオパラメータセット(VPS)中で指定される出力レイヤセットへのインデックスを指定するシンタックス要素を備え、
    完全抽出可能サブビットストリームのための目標出力レイヤセットが前記第1のビットストリームのための前記目標出力レイヤセットを超えない限り、前記第1のビットストリームから前記完全抽出可能サブビットストリームが抽出され、前記完全抽出可能サブビットストリームは、前記完全抽出可能サブビットストリームのための前記目標出力レイヤセット内のピクチャを復号するための十分なNAL単位を含む、機器。
  14. ビデオデータを処理するための機器であって、
    前記ビデオデータを記憶するメモリと、
    1つ以上のプロセッサと
    を備え、前記1つ以上のプロセッサは、
    第1のビットストリームを第2のビットストリームから抽出するのに使われた抽出モードの指示を含む補足拡張情報(SEI)メッセージを生成し、前記第1のビットストリームは前記ビデオデータのコード化表現を含み、
    前記SEIメッセージを前記第1のビットストリーム中に含める
    ように構成され、ここにおいて、
    前記第1のビットストリームは、前記抽出モードに従って前記第2のビットストリームから抽出されたサブビットストリームであり、
    前記抽出モードが第1の抽出モード又は第2の抽出モードであるとして示されるかにかかわらず、前記第1のビットストリームは、前記第1のビットストリームのための目標出力レイヤセット中のピクチャを復号し出力するための十分なネットワーク抽象化レイヤ(NAL)単位を含み、
    前記抽出モードが前記第1の抽出モードであるとして示される場合、前記第1のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない1つ以上のコード化ピクチャを含み、
    前記抽出モードが前記第2の抽出モードであるとして示される場合、前記第1のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない前記1つ以上のコード化ピクチャを含まない、
    前記SEIメッセージは、前記第1のビットストリームを生じるのに使われた前記目標出力レイヤセットを示すデータを含み、前記目標出力レイヤセットを示す前記データは、ビデオパラメータセット(VPS)中で指定される出力レイヤセットへのインデックスを指定するシンタックス要素を備え、
    完全抽出可能サブビットストリームのための目標出力レイヤセットが前記第1のビットストリームのための前記目標出力レイヤセットを超えない限り、前記第1のビットストリームから前記完全抽出可能サブビットストリームが抽出され、前記完全抽出可能サブビットストリームは、前記完全抽出可能サブビットストリームのための前記目標出力レイヤセット内のピクチャを復号するための十分なNAL単位を含む、機器。
  15. プロセッサによって実行されると、前記プロセッサに請求項1乃至12のうちのいずれか一項に記載の方法を実施させる命令を記憶したコンピュータ可読媒体。
JP2016522812A 2013-10-15 2014-10-15 マルチレイヤビデオコーデックのためのマルチモード抽出のサポート Active JP6700176B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361891317P 2013-10-15 2013-10-15
US61/891,317 2013-10-15
US201461923624P 2014-01-03 2014-01-03
US61/923,624 2014-01-03
US14/514,300 2014-10-14
US14/514,300 US10284858B2 (en) 2013-10-15 2014-10-14 Support of multi-mode extraction for multi-layer video codecs
PCT/US2014/060617 WO2015057787A1 (en) 2013-10-15 2014-10-15 Support of multi-mode extraction for multi-layer video codecs

Publications (3)

Publication Number Publication Date
JP2016539544A JP2016539544A (ja) 2016-12-15
JP2016539544A5 JP2016539544A5 (ja) 2017-11-02
JP6700176B2 true JP6700176B2 (ja) 2020-05-27

Family

ID=52809627

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016522812A Active JP6700176B2 (ja) 2013-10-15 2014-10-15 マルチレイヤビデオコーデックのためのマルチモード抽出のサポート

Country Status (8)

Country Link
US (1) US10284858B2 (ja)
EP (1) EP3058743B1 (ja)
JP (1) JP6700176B2 (ja)
KR (1) KR102054040B1 (ja)
CN (1) CN105612752B (ja)
BR (1) BR112016008374B1 (ja)
MX (1) MX364544B (ja)
WO (1) WO2015057787A1 (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9374585B2 (en) * 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
US10595031B2 (en) 2013-07-12 2020-03-17 Qualcomm Incorporated Selection of target output layers in high efficiency video coding extensions
US9402083B2 (en) * 2014-04-24 2016-07-26 Vidyo, Inc. Signaling conformance points using profile space
US9699480B2 (en) * 2014-06-13 2017-07-04 Sharp Laboratories Of America, Inc. Level limits
WO2015192989A1 (en) * 2014-06-18 2015-12-23 Telefonaktiebolaget L M Ericsson (Publ) Robust encoding and decoding of pictures in video
KR101895176B1 (ko) * 2014-06-18 2018-09-04 텔레폰악티에볼라겟엘엠에릭슨(펍) 독립 랜덤 액세스 포인트 화상
JP2017522767A (ja) 2014-06-18 2017-08-10 テレフオンアクチーボラゲット エルエム エリクソン(パブル) ビデオビットストリームにおけるランダムアクセス
US9979983B2 (en) * 2015-03-16 2018-05-22 Microsoft Technology Licensing, Llc Application- or context-guided video decoding performance enhancements
US10129566B2 (en) 2015-03-16 2018-11-13 Microsoft Technology Licensing, Llc Standard-guided video decoding performance enhancements
US10834153B2 (en) * 2016-08-24 2020-11-10 Qualcomm Incorporated System level signaling of SEI tracks for media data streaming
US10904521B2 (en) 2017-03-03 2021-01-26 Qualcomm Incorporated Extracting MCTS sub-bitstreams for video coding
US11284112B2 (en) 2018-12-06 2022-03-22 Tencent America LLC Method and apparatus for a primary transform using an 8-bit transform core
EP3891994A1 (en) * 2018-12-07 2021-10-13 InterDigital VC Holdings, Inc. Managing coding tools combinations and restrictions
BR112022005527A2 (pt) 2019-09-24 2022-06-21 Huawei Tech Co Ltd Dispositivos de codificação e decodificação de vídeo, e de produto de computador, e método associado
US11265567B2 (en) 2019-10-08 2022-03-01 Tencent America LLC Method for output layer set signaling in scalable video stream
KR20220113400A (ko) * 2019-12-20 2022-08-12 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 비디오 데이터 스트림, 비디오 인코더, hrd 타이밍 픽스를 위한 장치 및 방법, 확장가능하고 병합가능한 비트스트림들을 위한 추가 기능들
CN117560496A (zh) 2019-12-26 2024-02-13 字节跳动有限公司 条带类型和视频层的信令通知
BR112022012708A2 (pt) 2019-12-26 2022-09-06 Bytedance Inc Métodos para processamento de vídeo e para armazenar fluxo contínuo de bits, aparelhos de decodificação e de codificação de vídeo, mídias de armazenamento e de gravação legíveis por computador não transitórias, e, método, aparelho ou sistema
CN113055668B (zh) * 2019-12-27 2023-06-02 腾讯美国有限责任公司 从已编码视频比特流中提取子比特流的方法和设备
WO2021134055A1 (en) 2019-12-27 2021-07-01 Bytedance Inc. Subpicture signaling in parameter sets
US11356681B2 (en) * 2019-12-27 2022-06-07 Tencent America LLC Coded video sub-bitstream extraction
BR112022013594A2 (pt) 2020-01-09 2022-09-13 Bytedance Inc Método e aparelho de processamento de vídeo, método para armazenar um fluxo de bits, e, mídia legível por computador
WO2021170091A1 (en) 2020-02-29 2021-09-02 Beijing Bytedance Network Technology Co., Ltd. Constrains for high level syntax elements
CN115315941A (zh) * 2020-03-17 2022-11-08 字节跳动有限公司 可缩放视频编解码中的解码图片缓冲存储器分配和图片输出
US11228776B1 (en) * 2020-03-27 2022-01-18 Tencent America LLC Method for output layer set mode in multilayered video stream
US11297350B1 (en) * 2020-03-27 2022-04-05 Tencent America LLC Method for output layer set for multilayered video stream
CN115516860A (zh) * 2020-05-04 2022-12-23 Lg电子株式会社 图像解码方法及其设备
US11431998B2 (en) * 2020-05-22 2022-08-30 Tencent America LLC Systems and methods for decoding based on inferred video parameter sets
JP2023526955A (ja) 2020-05-22 2023-06-26 ジーイー ビデオ コンプレッション エルエルシー ビデオエンコーダ、ビデオデコーダ、符号化及び復号のための方法、並びに高度なビデオ符号化概念を実現するためのビデオデータストリーム
WO2021233448A1 (en) 2020-05-22 2021-11-25 Beijing Bytedance Network Technology Co., Ltd. Signalling of general level index
CN116057931A (zh) * 2020-06-06 2023-05-02 Lg电子株式会社 针对缩放性的基于子比特流提取的图像编码设备和方法
KR20230019848A (ko) * 2020-06-09 2023-02-09 바이트댄스 아이엔씨 서브픽처 서브비트스트림 추출 프로세스 향상들
US11962936B2 (en) 2020-09-29 2024-04-16 Lemon Inc. Syntax for dependent random access point indication in video bitstreams
US11962808B2 (en) * 2021-04-18 2024-04-16 Lemon Inc. Video usability information in common media application format
US20240196015A1 (en) * 2021-04-23 2024-06-13 Lg Electronics Inc. Image encoding/decoding method and device based on sei message including layer identifier information, and method for transmitting bitstream
WO2023222521A1 (en) * 2022-05-19 2023-11-23 Interdigital Ce Patent Holdings, Sas Sei adapted for multiple conformance points
CN114745600B (zh) * 2022-06-10 2022-09-27 中国传媒大学 一种基于sei的视频标签标注方法及装置

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7860161B2 (en) * 2003-12-15 2010-12-28 Microsoft Corporation Enhancement layer transcoding of fine-granular scalable video bitstreams
US7440626B2 (en) * 2004-12-02 2008-10-21 Mitsubishi Electric Research Laboratories, Inc. Image transcoding
US7728877B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Laboratories, Inc. Method and system for synthesizing multiview videos
DE102005001287A1 (de) * 2005-01-11 2006-07-20 Siemens Ag Verfahren und Vorrichtung zur Verarbeitung von skalierbaren Daten
US7756206B2 (en) * 2005-04-13 2010-07-13 Nokia Corporation FGS identification in scalable video coding
WO2006129184A1 (en) * 2005-06-03 2006-12-07 Nokia Corporation Residual prediction mode in scalable video coding
CN101317460A (zh) * 2005-10-11 2008-12-03 诺基亚公司 用于有效的可伸缩流适配的系统和方法
KR100772868B1 (ko) * 2005-11-29 2007-11-02 삼성전자주식회사 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치
JP5192393B2 (ja) * 2006-01-12 2013-05-08 エルジー エレクトロニクス インコーポレイティド 多視点ビデオの処理
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
US20080037880A1 (en) * 2006-08-11 2008-02-14 Lcj Enterprises Llc Scalable, progressive image compression and archiving system over a low bit rate internet protocol network
US8170094B2 (en) * 2006-11-30 2012-05-01 Motorola Mobility, Inc. Method and system for scalable bitstream extraction
JP2010516098A (ja) * 2007-01-04 2010-05-13 トムソン ライセンシング マルチ・ビュー符号化ビデオにおいて高レベル・シンタックス参照ビューを用いてエラー隠蔽を行う方法および装置
EP2100459B1 (en) * 2007-01-08 2019-04-03 Nokia Technologies Oy System and method for providing and using predetermined signaling of interoperability points for transcoded media streams
US20080317124A1 (en) * 2007-06-25 2008-12-25 Sukhee Cho Multi-view video coding system, decoding system, bitstream extraction system for decoding base view and supporting view random access
WO2009001313A2 (en) * 2007-06-26 2008-12-31 Nokia Corporation System and method for indicating temporal layer switching points
EP2086237B1 (en) * 2008-02-04 2012-06-27 Alcatel Lucent Method and device for reordering and multiplexing multimedia packets from multimedia streams pertaining to interrelated sessions
US20100005185A1 (en) * 2008-06-24 2010-01-07 Zhengye Liu Substream trading in a peer to peer live streaming system
CN101662677B (zh) * 2008-08-29 2011-08-10 华为终端有限公司 码流转换系统及方法、码流识别单元和方案确定单元
CN102150432A (zh) * 2008-09-17 2011-08-10 夏普株式会社 可分级视频流解码装置以及可分级视频流生成装置
WO2010124136A1 (en) * 2009-04-24 2010-10-28 Delta Vidyo, Inc. An efficient video skimmer
JP5614901B2 (ja) * 2009-05-01 2014-10-29 トムソン ライセンシングThomson Licensing 3dvの参照ピクチャ・リスト
US8411746B2 (en) * 2009-06-12 2013-04-02 Qualcomm Incorporated Multiview video coding over MPEG-2 systems
US8780999B2 (en) * 2009-06-12 2014-07-15 Qualcomm Incorporated Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems
JPWO2012029886A1 (ja) * 2010-09-03 2013-10-31 ソニー株式会社 符号化装置および符号化方法、並びに復号装置および復号方法
US20120269275A1 (en) * 2010-10-20 2012-10-25 Nokia Corporation Method and device for video coding and decoding
JP5738434B2 (ja) * 2011-01-14 2015-06-24 ヴィディオ・インコーポレーテッド 改善されたnalユニットヘッダ
US10034009B2 (en) * 2011-01-14 2018-07-24 Vidyo, Inc. High layer syntax for temporal scalability
KR101744355B1 (ko) * 2011-01-19 2017-06-08 삼성전자주식회사 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
CN105100822B (zh) 2011-01-28 2018-05-11 华为技术有限公司 辅助视频补充信息承载方法、处理方法、装置与系统
WO2013006114A2 (en) * 2011-07-05 2013-01-10 Telefonaktiebolaget L M Ericsson (Publ) Reference picture management for layered video
US10237565B2 (en) * 2011-08-01 2019-03-19 Qualcomm Incorporated Coding parameter sets for various dimensions in video coding
US9591318B2 (en) * 2011-09-16 2017-03-07 Microsoft Technology Licensing, Llc Multi-layer encoding and decoding
US20140286415A1 (en) * 2011-10-05 2014-09-25 Electronics And Telecommunications Research Institute Video encoding/decoding method and apparatus for same
WO2013106521A2 (en) * 2012-01-10 2013-07-18 Vidyo, Inc. Techniques for layered video encoding and decoding
CN104396240B (zh) * 2012-01-31 2018-02-02 Vid拓展公司 用于可缩放的高效视频编码(hevc)的参考图片集(rps)信令
US20130222537A1 (en) * 2012-02-29 2013-08-29 Qualcomm Incorporated Bitstream extraction in three-dimensional video
KR20130107861A (ko) * 2012-03-23 2013-10-02 한국전자통신연구원 인터 레이어 인트라 예측 방법 및 장치
EP2991357A1 (en) * 2012-04-06 2016-03-02 Vidyo, Inc. Level signaling for layered video coding
US9277533B2 (en) * 2012-05-17 2016-03-01 Vid Scale, Inc. Scalable video coding over simultaneous unicast/multicast LTE DL shared channel
US9838688B2 (en) * 2012-06-22 2017-12-05 Mediatek Inc. Method and apparatus of adaptive intra prediction for inter-layer and inter-view coding
IN2014MN02408A (ja) * 2012-06-28 2015-08-21 Sony Corp
RU2612577C2 (ru) * 2012-07-02 2017-03-09 Нокиа Текнолоджиз Ой Способ и устройство для кодирования видеоинформации
BR112015006178B1 (pt) * 2012-09-21 2022-11-16 Nokia Technologies Oy Métodos, aparelhos e meio não transitório legível por computador para codificação e decodificação de vídeo
CA2884500C (en) * 2012-09-27 2017-09-05 Dolby Laboratories Licensing Corporation Inter-layer reference picture processing for coding-standard scalability
US9479779B2 (en) 2012-10-01 2016-10-25 Qualcomm Incorporated Sub-bitstream extraction for multiview, three-dimensional (3D) and scalable media bitstreams
US9781413B2 (en) * 2012-10-02 2017-10-03 Qualcomm Incorporated Signaling of layer identifiers for operation points
US9942545B2 (en) * 2013-01-03 2018-04-10 Texas Instruments Incorporated Methods and apparatus for indicating picture buffer size for coded scalable video
US9532067B2 (en) * 2013-04-05 2016-12-27 Sharp Kabushiki Kaisha Decoding of inter-layer reference picture set and reference picture list construction
US9351009B2 (en) * 2013-04-05 2016-05-24 Sharp Kabushiki Kaisha Marking pictures for inter-layer prediction
KR20140122202A (ko) * 2013-04-05 2014-10-17 삼성전자주식회사 계층 식별자 확장에 따른 비디오 스트림 부호화 방법 및 그 장치, 계층 식별자 확장에 따른 따른 비디오 스트림 복호화 방법 및 그 장치
US9591321B2 (en) * 2013-04-07 2017-03-07 Dolby International Ab Signaling change in output layer sets
US10070140B2 (en) * 2013-04-08 2018-09-04 Hfi Innovation Inc. Method and apparatus for quantization matrix signaling and representation in scalable video coding
US10595031B2 (en) * 2013-07-12 2020-03-17 Qualcomm Incorporated Selection of target output layers in high efficiency video coding extensions
JP6352383B2 (ja) * 2013-07-14 2018-07-04 シャープ株式会社 復号方法及び復号装置
US10057588B2 (en) * 2013-07-15 2018-08-21 Kt Corporation Scalable video signal encoding/decoding method and device
US9525883B2 (en) * 2013-07-15 2016-12-20 Qualcomm Incorporated Cross-layer alignment of intra random access point pictures
CN105453564B (zh) * 2013-07-30 2019-05-10 株式会社Kt 支持多个层的图像编码和解码方法以及使用该方法的装置
JP5789004B2 (ja) * 2013-08-09 2015-10-07 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、符号化装置および符号化方法
US20160249056A1 (en) * 2013-10-10 2016-08-25 Sharp Kabushiki Kaisha Image decoding device, image coding device, and coded data
US9819941B2 (en) 2013-10-10 2017-11-14 Qualcomm Incorporated Signaling for sub-decoded picture buffer (sub-DPB) based DPB operations in video coding
CN109905703B (zh) * 2013-10-11 2023-11-17 Vid拓展公司 Hevc扩展的高级句法
US20160255353A1 (en) * 2013-10-11 2016-09-01 Sharp Kabushiki Kaisha Highest temporal sub-layer list
JP2016539540A (ja) * 2013-10-11 2016-12-15 テレフオンアクチーボラゲット エルエム エリクソン(パブル) ビデオビットストリームをトランスコーディングする方法及び構成
US20150103924A1 (en) * 2013-10-13 2015-04-16 Sharp Laboratories Of America, Inc. On operation of decoded picture buffer for interlayer pictures
WO2015052943A1 (en) * 2013-10-13 2015-04-16 Sharp Kabushiki Kaisha Signaling parameters in vps extension and dpb operation
WO2015056158A1 (en) * 2013-10-14 2015-04-23 Nokia Technologies Oy Multi-layer hypothetical reference decoder
WO2015064990A1 (ko) * 2013-10-29 2015-05-07 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치

Also Published As

Publication number Publication date
US20150103888A1 (en) 2015-04-16
JP2016539544A (ja) 2016-12-15
MX2016004721A (es) 2016-07-26
EP3058743B1 (en) 2022-05-25
KR20160070769A (ko) 2016-06-20
BR112016008374B1 (pt) 2023-05-09
US10284858B2 (en) 2019-05-07
EP3058743A1 (en) 2016-08-24
CN105612752B (zh) 2018-11-02
CN105612752A (zh) 2016-05-25
WO2015057787A1 (en) 2015-04-23
KR102054040B1 (ko) 2019-12-09
BR112016008374A2 (ja) 2017-08-01
MX364544B (es) 2019-04-30

Similar Documents

Publication Publication Date Title
JP6700176B2 (ja) マルチレイヤビデオコーデックのためのマルチモード抽出のサポート
KR102384092B1 (ko) 비디오 코딩에서 파티셔닝 방식들에 대한 가상 참조 디코더 파라미터들의 적합성을 테스트하기 위한 방법 및 디바이스
KR101776448B1 (ko) 비디오 코딩에 있어서의 비-네스팅된 sei 메시지들
JP6077124B2 (ja) 仮想参照デコーダパラメータシンタックス構造
JP6203852B2 (ja) ビデオデータのためのファイルフォーマット
KR101751144B1 (ko) 비디오 코딩에서의 파라미터 세트들
JP2015526973A (ja) Hevcおよび拡張のためのビデオパラメータセット
KR101968376B1 (ko) 3차원 비디오에서의 비트스트림 추출

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170919

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170919

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200430

R150 Certificate of patent or registration of utility model

Ref document number: 6700176

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250