JP5896596B2 - コード化タイミング情報のないビデオ・エレメンタリ・ストリームをマルチプレクスする方法及び装置 - Google Patents

Description

本発明は、一般に、イメージ処理に関し、特に、ＡＶＣ（Advanced Video Codec）エレメンタリ・ストリームのマルチプレクスに関する。

デジタル放送業界は、現在、高解像度、インターネット・プロトコル・テレビジョン（ＩＰＴＶ）及びモバイル・ビデオを含む多くの技術的な進歩がある。これら技術の重要な要因は、圧縮効率であり、Ｈ．２６４／ＡＶＣ（Advanced Video Codec/MPEG-4、パート１０）ビデオ・コーデックにおける低い帯域幅要求である。ＭＰＥＧ−２（Moving Picture Expert Group）及びＨ．２６４の両方は、動画エンコード処理用の国際標準であり、イメージ・フレーム又はイメージ・フィールドを「ピクチャ」と呼ぶ圧縮単位として定義している。各「ピクチャ」をエンコード及びデコード処理のアクセス・ユニット（ＡＵ）として用いる。

ＭＰＥＧ−２トランスポート・ストリーム（ＴＳ）内の追加のエレメンタリ・ストリーム（ＥＳ）としてＨ．２６４／ＡＶＣを組み込むＭＰＥＧ−２標準への拡張により、放送局及びネットワーク・オペレータに便利であり魅力的になる。

エレメンタリ・ストリーム（ＥＳ）は、基本的には、１つのオーディオ又はビデオ信号の生の圧縮表現である。エレメンタリ・ストリームのフォーマットは、ストリーム内で送られるコーデック又はデータに応じて決まり、パケット化エレメンタリ・ストリームにパケット化する際に共通ヘッダを送る。

ＭＰＥＧ−２システムにおいて、ビデオ・エレメンタリ・ストリームをパケット化エレメンタリ・ストリーム（ＰＥＳ）に組み立てる。プレゼンテーション・タイム・スタンプ（ＰＴＳ）をパケット化エレメンタリ・ストリームのヘッダ内に入れる。双方向予測コード化がイネーブルされたときに、デコード・タイム・スタンプ（ＤＴＳ）も、Ｉ又はＰピクチャのＰＥＳヘッダに入れる。

Ｈ．２６４ビデオ・エレメンタリ・ストリームは、一般的には、ファイルとして蓄積される一方、遅延モードにてマルチプレクスされる。Ｈ．２６４ビデオ・エレメンタリ・ストリームは、ネットワーク・アブストラクション・レーヤ（ＮＡＬ：Network Abstraction Layer）ユニット・シンタックス構造により構成される。ＮＡＬユニットは、ビデオ符号化レーヤ（ＶＣＬ：Video Coding Layer）及び非ＶＣＬ＿ＮＡＬユニットに分類される。ＶＣＬ＿ＮＡＬユニットは、ビデオ・ピクチャを表すデータを含んでいる。非ＶＣＬ＿ＮＡＬユニットは、多数のＶＣＬ＿ＮＡＬユニットに供給するピクチャ・パラメータ・セット（ＰＰＳ：Picture Parameter Set）及びシーケンス・パラメータ・セット（ＳＰＳ：Sequence Parameter Set）の如き追加情報を含んでいる。シーケンス・パラメータ・セット（ＳＰＳ）のパラメータは、フレーム数 を制限する識別子、ピクチャ・オーダー・カウント（ＰＯＣ）及びストリームのフレーム・レートを含んでいる。ＳＥＩ＿ＮＡＬユニットもコード化して、有用性を強化するが、ＶＣＬ＿ＮＡＬユニットをデコードする必要がない。

スライス・ヘッダ及びスライス・データをデコードする前に、１つ以上のシーケンス・パラメータ・セット及びピクチャ・パラメータ・セットをデコーダに送る。コード化スライス・ヘッダは、ピクチャ・パラメータ・セットを参照し、これは、特定のピクチャ・パラメータ・セットを活性化する。他のスライス・ヘッダを参照することにより異なるピクチャ・パラメータ・セットが活性化されるまで、活性化されたピクチャ・パラメータ・セットがアクティブを維持する。同様に、ピクチャ・パラメータ・セットは、シーケンス・パラメータ・セットを活性化する識別子を参照する。異なるシーケンス・パラメータ・セットが活性化されるまで、活性化されたＳＰＳがアクティブを維持する。

Ｈ．２６４ビデオ・エレメンタリ・ストリームは、コード化ビデオ・シーケンスとみなすことができる。コード化ビデオ・シーケンスは、１つ以上のアクセス・ユニットから成る。各アクセス・ユニット（ＡＵ）は、正確に１つのコード化ピクチャを常に含む１組のＮＡＬである。１次（primary）コード化ピクチャに加え、ＡＵも１つ以上の冗長コード化ピクチャ又は他のＮＡＬユニットを含んでいるが、コード化ピクチャのスライス又はスライス・データ分割は含んでいない。ＡＵのデコード結果は、常にデコード化ピクチャとなる。従来のアクセス・ユニットの一般的な構造を図１に示す。

パケット化エレメンタリ・ストリーム（ＰＥＳ）：特定目的に対して、圧縮器からオーディオ又はビデオを運ぶエンドレスの連続エレメンタリ・ストリームをＰＥＳパケットに分解する必要がある。同期用にタイム・スタンプ（ＰＴＳ及びＤＴＳ）を含むヘッダにより、これらパケットを識別する。ＰＥＳパケットを用いて、プログラム・ストリーム又はトランスポート・ストリームを作成する。双方向のコード化なので、圧縮後、ピクチャをシーケンスで送る。これらは、利用可能なデータ量が必要であり、マルチプレクス及び伝送のために可変遅延が条件となる。オーディオ及びビデオが互いにロックされるのを維持するために、タイム・スタンプを周期的に各ピクセルに組み込む。

タイム・スタンプは、９０ＫＨｚクロックで駆動されるカウンタのサンプルである３３ビットの数である。このクロックは、２７ＭＨｚプログラム・クロックを３００で分周して得られる。時間の表現は均等間隔なので、タイム・スタンプが全てのプレゼンテーション・ユニットに含まれるのは本質的ではない。代わりに、デコードによりタイム・スタンプを補間できるが、タイム・スタンプは、プログラム・ストリーム又はトランスポート・ストリームのいずれでも７００ｍｓ以上離れてはならない。

タイム・スタンプは、特定のアクセス・ユニットが時間的にどこであるかを示す。ビデオ及びオーディオＰＥＳパケット内のヘッダにタイム・スタンプを組み込むことにより、リップ・シンクを得る。デコーダが選択ＰＥＳパケットを受けると、各アクセス・ユニットをデコードし、それをＲＡＭでバッファする。タイム・ライン・カウントがタイム・スタンプの値に達すると、ＲＡＭを読み出す。この動作には、２つの望ましい結果がある。第１に、効果的なタイムベース補正を各エレメンタリ・ストリーム内で行える。第２に、ビデオ及びオーディオのエレメンタリ・ストリームを互いに同期して、プログラムを作成できる。

ＰＥＳパケットを１８８バイト固定のＴＳパケットに分割する。トランスポート・ストリーム（ＴＳ）パケットは、常にヘッダで始まる。パケットの残りは、ペイロードと呼ばれるデータを運ぶ。各ＰＥＳは、ＴＳパケットのペイロードを形成する。ＴＳヘッダは、比較的小さいが、特定の目的（例えば、ＰＣＲの伝送）にとって、ヘッダを拡張してもよい。この場合、ペイロードが小さくなって、ＴＳパケットの全体のサイズは変化しない。

図２は、オーディオ・ストリーム及びビデオ・ストリームを単一のトランスポート・ストリームにマルチプレクスする従来の方法を示す。パケット化手段（パケッタイザ）２０２ａ及び２０２ｂは、ビデオ・エンコーダ２０１ａ及びオーディオ・エンコーダ２０１ｂからビデオ・ストリーム及びオーディオ・ストリームを夫々受ける。これらストリームをＴＳマルチプレクサ２０３でマルチプレクスして、出力にて単一のトランスポート・ストリームを得る。各アクセス・ユニットは、１次コード化ピクチャを含んでいる。１次コード化ピクチャは、Ｉスライス（ＩＤＲの場合にイントラ・スライスであり、スライスが整数個のマクロブロックを含む）、Ｐスライス（予測スライス）又はＢスライス（イントラ予測を用いてデコードされるスライス）にできる。運ばれるピクチャの形式は、スライス・ヘッダのスライス形式をデコードすることにより求める。エレメンタリ・スライスがＢフレームのアクセス・ユニットを含むとき、連続的なコード化Ｂフレームの数は、可変であり、制約がない。ビット・ストリームにおけるコード化フレームの順序は、コード化順序と呼ばれ、デコーダが再構成する順序である。デコード化処理の出力での再構成フレームの順序は、表示順序と呼ばれ、常に、コーディング順と同じという訳ではない。プレゼンテーション・タイム・スタンプ及びデコード・タイム・スタンプは、ＰＥＳヘッダ中にコード化され、ピクチャの表示及びデコードの順序を決める。

シーケンス・パラメータ・セットは、ビデオ・ユーザビリティ情報（ＶＵＩ）も含んでいる。ＨＲＤ（仮想参照デコーダ：Hypothetical Reference Decoder）パラメータは、ビデオ・ユーザビリティ情報により知らされる。ＨＲＤパラメータは、ビット・レート情報と、コード化ピクチャ・バッファ及びデコード化ピクチャ・バッファの値とを含んでいる。ＨＲＤを用いて、ビット・ストリーム及びデコーダの確認をチェックする。また、オプションとしてのＳＥＩメッセージに沿ったＨＲＤ情報が、存在するならば、ストリーム内でコード化されたピクチャのＰＴＳ及びＤＴＳの値の計算を支援する。更なる情報については、Ｈ．２６４標準の付属書Ｃを参照されたい。

特開２００７−２５９１９５号公報

Ｈ．２６４ビデオ・エレメンタリ・ストリームが、コード化されたビデオ・ユーザビリティ情報（ＶＵＩ）内にＨＲＤパラメータがないとき、参考パラメータ・リストであるlist0及びlist1の数を用いて予測できる。しかし、これは、面倒な処理である。

よって、コード化されたタイミング情報のないこれらエレメンタリ・ストリームに対して、タイミング情報を得るために、基準リストlist0及びlist1を作成する必要のない方法が求められている。

本発明の概念は、以下の通りである。
（１）トランスポート・ストリーム（ＴＳ）を生成するためにコード化されたタイミング情報のない高解像度ビデオ・エレメンタリ・ストリームをマルチプレクスする方法であって；ｎ個のアクセス・ユニット（ＡＵ）の各々について、その次のＡＵのタイミング情報を得るための先読み処理を実行し、ｎ個のＡＵをリストに構成し；上記リスト中のＡＵのスタート部分を指し示すようポインタを初期化し；上記リストからＡＵのスタート部分を順次繰り返しチェック（参照）し；上記リストの順位が最初のＡＵからタイミング情報を計算してヘッダを構成し；上記ＴＳ内に上記ヘッダを書き込み；上記ＴＳの残りのバイトを上記エレメンタリ・ストリームからのデータで埋める方法。
（２）ｎ個の上記ＡＵの各々について、その次のＡＵのタイミング情報を得るための先読み処理を実行し、ｎ個のアクセス・ユニットを構成するステップは；単一のＡＵが形成されるまで、上記高解像度ビデオ・エレメンタリ・ストリームをそのスタート部分から読み出し、単一の上記ＡＵのスタート部分及びエンド部分を記録し；上記形成した単一のＡＵを上記リストにプッシュし；上記リストにプッシュされた上記ＡＵでコード化された１次ピクチャの形式をチェック（調査）し；プレゼンテーション・タイム・スタンプ（ＰＴＳ）及びデコード・タイム・スタンプ（ＤＴＳ）を含むタイミング情報を計算して、上記エレメンタリ・ストリーム用に可変フレーム・レート（ｔｃ）を導出し；上記１次ピクチャ・コード化形式がＢフレームならば、dts(n)=dts(n-1)+tc及びpts(n)=dts(n)を計算し；上記１次ピクチャ・コード化形式がＩ又はＰフレームならば、dts(n)=dts(n-1)+tc及びpts(n)=dts(n)+ps_offset*tcを計算して、次のＩ又はＰフレームが発生する前に先立つＢフレームの数（pts_offset）用の次のアクセス・ユニットをチェックし；タイミング情報を計算するためのステップを順次繰り返すために次のＡＵを構成して上記次のＡＵを上記リストにプッシュすることを特徴とする概念１の方法。
（３）上記高解像度エレメンタリ・ストリームは、Ｈ．２６４／ＡＶＣビデオ・エレメンタリ・ストリームである概念１の方法。
（４）上記ＴＳは、ＭＰＥＧ−２ＴＳである概念１の方法。
（５）上記マルチプレクスは、コード化されたＮＡＬ／ＶＣＬ−ＨＲＤパラメータ（シーケンス・パラメータ・セットのＶＵＩ情報の一部として）又はサプレメンタル・エンハンスメント情報（ＳＥＩ）のいずれもないＨ．２６４ビデオ・エレメンタリ・ストリームの遅延時間マルチプレクスである概念１の方法。
（６）ピクチャ形式（Ｂ、Ｐ又はＩ）情報を用いて、パケット化エレメンタリ・ストリーム（ＰＥＳ）のＰＴＳ及びＤＴＳ値を計算する概念２の方法。
（７）可変ｔｃは、フレーム又はフィールド・レートであり、tc=num_units_in_tick/time_scaleとして導出される概念２の方法。
（８）ＰＥＳパケットが固定１８８バイトＴＳパケットに分解される概念２の方法。
（９）トランスポート・ストリーム（ＴＳ）を生成するためにコード化されたタイミング情報のない高解像度ビデオ・エレメンタリ・ストリームをマルチプレクスする装置であって；ｎ個のアクセス・ユニット（ＡＵ）の各々について、その次のＡＵのタイミング情報を得るための先読み処理を実行し、ｎ個のＡＵをリストに構成する手段と；上記リスト中のＡＵのスタート部分を指し示すようポインタを初期化する手段と；上記リストからＡＵのスタート部分を順次繰り返し参照する手段と；上記リストの最高のＡＵからタイミング情報を計算してヘッダを構成する手段と；上記ＴＳ内に上記ヘッダを書き込む手段と；上記ＴＳの残りのバイトを上記エレメンタリ・ストリームからのデータで埋める手段とを具えた装置。
（１０）ｎ個のアクセス・ユニット（ＡＵ）の各々について、その次のＡＵのタイミング情報を得るための先読み処理を実行し、ｎ個のＡＵをリストに構成する手段は；単一のＡＵが形成されるまで、上記高解像度ビデオ・エレメンタリ・ストリームをそのスタート部分から読み出し、単一の上記ＡＵのスタート部分及びエンド部分を記録し；上記形成した単一のＡＵを上記リストにプッシュし；上記リストにプッシュされた上記ＡＵでコード化された１次ピクチャの形式をチェックし；プレゼンテーション・タイム・スタンプ（ＰＴＳ）及びデコード・タイム・スタンプ（ＤＴＳ）を含むタイミング情報を計算して、上記エレメンタリ・ストリーム用に可変フレーム・レート（ｔｃ）を導出し；上記１次ピクチャ・コード化形式がＢフレームならば、dts(n)=dts(n-1)+tc及びpts(n)=dts(n)を計算し；上記１次ピクチャ・コード化形式がＩ又はＰフレームならば、dts(n)=dts(n-1)+tc及びpts(n)=dts(n)+ps_offset*tcを計算して、次のＩ又はＰフレームが発生する前に先立つＢフレームの数（pts_offset）用の次のアクセス・ユニットをチェックし；タイミング情報を計算するためのステップを順次繰り返すために次のＡＵを構成して上記次のＡＵを上記リストにプッシュすることを特徴とする概念９の装置。
（１１）上記高解像度エレメンタリ・ストリームは、Ｈ．２６４／ＡＶＣビデオ・エレメンタリ・ストリームである概念９の装置。
（１２）上記ＴＳは、ＭＰＥＧ−２ＴＳである概念９の装置。
（１３）上記マルチプレクスは、コード化されたＮＡＬ／ＶＣＬ−ＨＲＤパラメータ（シーケンス・パラメータ・セットのＶＵＩ情報の一部として）又はサプレメンタル・エンハンスメント情報（ＳＥＩ）のいずれもないＨ．２６４ビデオ・エレメンタリ・ストリームの遅延時間マルチプレクスである概念９の装置。
（１４）ピクチャ形式（Ｂ、Ｐ又はＩ）情報を用いて、上記パケット化エレメンタリ・ストリーム（ＰＥＳ）の上記ＰＴＳ及びＤＴＳ値を計算する概念１０の装置。
（１５）可変ｔｃは、フレーム又はフィールド・レートであり、tc=num_units_in_tick/time_scaleとして導出される概念１０の装置。
（１６）ＰＥＳパケットが固定１８８バイトＴＳパケットに分解される概念１０の装置。

本発明の目的は、コード化されたタイミング・パラメータのない高解像度ビデオ・エレメンタリ・ストリームの遅延時間マルチプレクスに適用できるメカニズムの提供にある。

本発明の他の目的は、ビデオ・エレメンタリ・ストリームの効果的なマルチプレクスを行ってトランスポート・ストリーム（ＴＳ）を発生する方法の提供にある。

よって、本発明の実施例は、コード化されたタイミング情報がなくてもエレメンタリ・ストリームをマルチプレクスする装置及び方法の提供にある。

いくつかの実施例において、ｎ個のアクセス・ユニット（ＡＵ）を構成して１つずつリストにプッシュする。各アクセス・ユニットは、先読みして、次のアクセス・ユニット用のタイミング情報を得ることができる。リストの最上位（順位が最初）のアクセス・ユニットからタイミング情報を計算して、ヘッダを構成する。このヘッダをＴＳに書き込み、ＴＳの残りのバイトをエレメンタリ・ストリームからのデータで埋める。よって、トランスポート・ストリームを構成する。

いくつかの実施例において、アクセス・ユニットの各々でコード化された１次ピクチャ形式を繰り返しチェックして、各々のプレゼンテーション・タイム・スタンプ（ＰＴＳ）及びデコード・タイム・スタンプ（ＤＴＳ）を含むタイミング情報を計算する。よって、可変フレーム・レート（ｔｃ）をエレメンタリ・ストリーム用に導出する。

コード化された１次ピクチャ形式がＢフレームならば、ＤＴＳであるdts及びＰＴＳであるptsを次のように計算する。
dts(n)=dts(n-1)+tc
pts(n)=dts(n)
Ｂフレームのpts及びdtsの間にいなかるオフセットを含むことなく、同時点にＢフレームをデコードし表示する。

Ｐ及びＩ形式のピクチャ・フレームに対して、dts及びptsを次のように計算する。
dts(n)=dts(n-1)+tc
pts(n)=dts(n)+pts_offset*tc
次に、次のＩ又はＰフレームが生じる前に先んずるＢフレームの数（pts_offset）に対してアクセス・ユニットをチェックする。

本発明のその他の特徴は、添付図を参照した以下の説明から明らかになろう。

本発明の実施例を添付図に示し、これについて説明する。これら図は、説明のためであり、本発明を限定するものではない。これら実施例により本発明を一般的に説明するが、本発明の要旨をこれら特定の実施例に限定するものではないことが理解できよう。

従来のアクセス・ユニットの一般的な構造を示す。 オーディオ及びビデオを単一のトランスポート・ストリームにマルチプレクスする従来の方法を示す。 本発明の実施例を説明する流れ図である。 本発明の実施例により高解像度ビデオ・エレメンタリ・ストリームをトランスポート・ストリームにマルチプレクスする方法を示す流れ図である。 本発明の実施例によるマルチプレクス装置のブロック図である。

ここで説明する本発明の装置及び種々の方法は、トランスポート・ストリーム（ＴＳ）を作成するために、コード化されたタイミング情報のない高解像度ビデオ・エレメンタリ・ストリームをマルチプレクスする。いくつかの実施例において、ｎ個のアクセス・ユニット（ＡＵ）を構成して、１つずつリストにプッシュ（追加）する。各アクセス・ユニットは、先読み（look ahead）をして、次のアクセス・ユニット用のタイミングの情報を得ることができる。リストの最上位アクセス・ユニットからのタイミング情報を計算することにより、ヘッダを構成する。このヘッダをＴＳに書き込み、ＴＳの残りのバイトをエレメンタリ・ストリームからのデータで埋める。これによって、トランスポート・ストリームを構成する。

上述の如く、本発明の実施例は、コード化されたタイミング・パラメータ（パラメータ情報）のない高解像度ビデオ・エレメンタリ・ストリームの遅延時間マルチプレクスに適用できるメカニズムを提供するものである。

図３を参照して、本発明の方法の実施例を説明する。本発明の方法は、基準リストlist0及びlist1（標準に記述される如き）を構成することなく、デコード処理内でフレーム再順序化する方法である。ビデオ・シーケンスがＢフレームを含んでいないとき、コード化順序は、常に表示順序と同じである。Ｂスライスの発生は、ビデオ・フレームのコード化順序が表示順序と異なることを意味する。コード化フレームのマルチプレクスされた順序が変化しないということは、これらに関連したＰＴＳ値が１ビットだけアップ・ダウンのジャンプをする。

［計算タイム・スタンプの先読み方法］
図３は本発明の実施例による先読み方法の流れ図を示す。この先読み方法は、ｎ個のアクセス・ユニット（ＡＵ）のリストを維持し、このアクティブＡＵリストをマルチプレクスに用いる。ステップ３０１及び開始において、リストを空にする。エレメンタリ・ストリームをパケット化エレメンタリ・ストリームに変換する間、スタート・ポイントに注意する（ポインタを読み出してファイルのスタート・ポイントを記録）。ステップ３０２にて、単一のアクセス・ユニットを形成するまで、エレメンタリ・ストリームをスタートから読み出す。ステップ３０２にてエンド・ポイントにも注意する（ポインタを読み出してファイルのエンド・ポイントを記録）。

アクセス・ユニットは、データの小さなロジック単位を表すエレメンタリ・ストリームのセグメントである。しばしば、エレメンタリ・ストリームの他の部分を参照することなく、アクセス・ユニットを直接用いることができる。例えば、ビデオの単一フレームが、アクセス・ユニットでもよく、又は、デコードの際、３２ｍｓ期間を表すファイルの部分でもよい。

いくつかの実施例において、アクセス・ユニットの各々でコード化された１次ピクチャ形式を繰り返しチェックして、各々に対してプレゼンテーション・タイム・スタンプ（ＰＴＳ）及びデコード・タイム・スタンプ（ＤＴＳ）を含むタイミング情報を計算する。また、可変フレーム・レート（tc）をエレメンタリ・ストリーム用に導出する。ステップ３０３において、Ｂ形式１次ピクチャ形式用に各ＡＵをチェックするので、次のステップにてＰＴＳ及びＤＴＳ値を計算できる。

ＰＴＳ及びＤＴＳ値を計算するために、まず、可変tc（又は場合に応じて、フレーム・レート／フィールド・レート）を次のように導出し、これをクロック・チックと呼ぶ。なお、ＤＴＳ及びＰＴＳは、大文字表記も小文字表記も同様として扱う。
tc=num_units_in_tick/time_scale,
n=0,
dts(n-1)=0
pts(n-1)=0（アクセスＡＵリストが空のため）
「num_units_in_tick」及び「time_scale」は、アクティブ・シーケンス・パラメータ・セットのビデオ・ユーザビリティ情報の一部である。

シーケンス・パラメータ・セットがアクティブ・ピクチャ・パラメータ・セットでコード化された識別子に応じてアクティブになるので、値tcを変化させることができ、これはストリームを通じて固定で残らない。

単一のアクセス・ユニットを形成した後、これをアクティブＡＵリスト（ActiveAUlist）にプッシュ（追加）する。リストにプッシュされたアクセス・ユニットでコード化されたピクチャに応じて、ストリーム内に生じる次のフレームを見つけるか否かを判断する。上記のステップ３０３にて説明したように、Ｂ形式１次ピクチャ形式用に各ＡＵをチェックする。形成されたＡＵでコード化された１次ピクチャがＢフレームならば、ステップ３０５にて、ＤＴＳ及びＰＴＳを次のように計算する。なお、ＤＴＳ及びＰＴＳは、大文字表記も小文字表記も同様として扱う。
dts(n)=dts(n-1)+tc
pts(n)=dts(n)
Ｂフレームは、デコード及び表示が同時になされる。即ち、Ｂフレームのpts及びdtsの間にオフセットがない。

ステップ３０４において、ＡＵのエンド・ポイントに注意し、ＰＴＳオフセットをゼロに設定する。ステップ３０６にて、他のフレームＩ又はＰに対して次のアクセス・ユニットを構成する。そして、ステップ３０７にて、次のＩ又はＰフレームが生じる前に先立つＢフレームの数（pts_offset）について、次のＡＵをチェックする。この情報が利用可能なったら、ステップ３０８にて、ＤＴＳ及びＰＴＳを次のように計算する。なお、ＤＴＳ及びＰＴＳは、大文字表記も小文字表記も同様として扱う。
dts(n)=dts(n-1)+tc
pts(n)=dts(n)+pts_offset*tc

ステップ３０９にて、ファイル・ポインタをアクセス・ユニット（ｎ）のエンドに戻して蓄積し、これをアクティブＡＵリストにプッシュ（追加）する。これは、アクセス・ユニットを形成する１つの繰り返しである。次の繰り返しに対して、ステップ３１０にて、ｎの値を１だけ増分し（N=n+1）、ステップ３０２〜３０９を繰り返す。

ＳＰＳのＶＵＩシンタックス・エレメントの一部としてのＨＲＤパラメータのないストリームに対して、この先取り方法が続く。ＳＰＳの一部としてのＨＲＤ情報を運ぶストリームに対して、ＳＥＩ情報及びＨＲＤパラメータ（コード化されたNal hr dor vel hrd）を用いて、タイミング情報を計算する。アクセス・ユニット用のタイミングを計算するための式に対する一般的なオーディオビジアル・サービス用のＩＴＵ−Ｔ＿Ｈ．２６４アドバンスド・ビデオ・コード化の添付Ｃを参照されたい。

この先読み方法を用いて形成したアクティブＡＵリストをマルチプレクスに用いる。図４は、本発明の実施例によりＨ．２６４エレメント・ストリームをトランスポート・ストリームにマルチプレクスする方法を示す。

図４を参照する。ステップ４０１にて、リストのトップ・エレメント（最上位の要素）は、トランスポート・ストリームに書き込むべきアクセス・ユニット（ＡＵ）を含んでいる。ステップ４０２にて、ＡＵのスタート部分をチェックする。ステップ４０３にて、ＡＵがＴＳパケットで始まっていたら、ペイロード・ユニット・スタート（payload_unit_start）指標が真（１）にマークされ、ステップ４０４にて、ＴＳヘッダがＴＳパケットに書き込まれる。これは、ＴＳペイロードがＰＥＳスタート部分を含むことを示す。よって、ステップ４０５にて、ＡＵのスタート部分を再チェックする。ＡＵのスタート部分が真であるとわかると、ステップ４０６にてＰＥＳヘッダがＴＳパケットに書き込まれる。これは、ＴＳペイロードの第１バイトがＰＥＳヘッダの値スタート・バイトを含まなければならないためである。そして、ステップ４０７にて、ＡＵのスタート部分を偽に設定する。この場合、ＴＳペイロードのサイズを１バイトだけ減少させる。よって、読み出しバイトがステップ４０８で次のように計算される。
［読み取りバイト］＝１８８−［ＴＳヘッダ・サイズ］−［ＰＥＳヘッダ・サイズ］
ステップ４０９にて、読み取りバイトをファイルからＴＳパケットに書き込む。アクティブＡＵリストのトップ・エレメントからのＰＴＳ及びＤＴＳ値により、ＰＥＳヘッダを構成する。このＰＥＳヘッダがＴＳペイロードに含まれる。ＴＳペイロードの残りのバイトをＨ．２６４アクセス・ユニットで埋める。よって、ステップ４１０にて、最上位ＡＵのエンドをチェックする。最上位ＡＵのエンドが真であると、ステップ４１１にてＡＵのスタート部分を偽に設定し、ＴＳ構成の１つの繰り返しを終わらせる。その後の繰り返しに対して、ステップ４１１にてｎ（図４ではＮにて示す）の値を１だけ増分して（Ｎ＝Ｎ＋１）、ステップ４０２〜４１０を繰り返す。

図５は、本発明の実施例によるマルチプレクス装置のブロック図である。この装置５０１は、トランスポート・ストリーム（ＴＳ）を生成するために、コード化されたタイミング情報がない高解像度ビデオ・エレメンタリ・ストリームをマルチプレクスする回路５０２を具えている。回路５０２は、ｎ個のアクセス・ユニット（ＡＵ）をリストに構成できる。先読みして次のＡＵ用のタイミングの情報が得られるように、各ＡＵが構成される。この回路５０２は、リストからのＡＵのスタート部分を指し示すようポインタを初期化し、リストからのＡＵのスタート部分を順次繰り返し参照し、リストの最上位（順位が最初の）ＡＵからのタイミング情報を計算してヘッダを構成し、ヘッダをＴＳに書き込む。ＴＳの残りのバイトをエレメンタリ・ストリームからのデータで埋める。

装置５０１の回路５０２は、図４で示したように、最上位ＡＵのスタートのチェック（ステップ４０２）を可能とし、ペイロード・ユニット・スタート指標（payload_unit-start_indiator）を真としてマークする（ステップ４０３）。回路５０２は、ＴＳパケット内にＴＳヘッダを書き込めるようにもする（ステップ４０４）。これは、ＴＳペイロードがＰＥＳスタートを含んでいることを示す。よって、回路５０２は、ＡＵのスタートを再度チェックする（ステップ４０５）。ＡＵのスタートが真であるとわかると、ＰＥＳヘッダをＴＳパケットに書き込む（ステップ４０６）。これは、ＴＳペイロードの第１バイトがＰＥＳヘッダの値スタート・バイトを含まなければならないためである。次に、回路５０２は、ＡＵのスタートを偽に設定する（ステップ４０７）。この場合、ＴＳペイロードのサイズは、１バイトだけ減る。よって、読み取りバイト（Readbytes）を次のように計算する。
［読み取りバイト］＝１８８−［ＴＳヘッダ・サイズ］−［ＰＥＳヘッダ・サイズ］
回路５０２は、更に読み取りバイトがファイルからＴＳパケットに書き込まれるようにする（ステップ４０９）。アクティブＡＵリストのトップ要素からのＰＴＳ及びＤＴＳにより、ＰＥＳヘッダを構成する。このＰＥＳヘッダがＴＳペイロードに含まれる。そして、ＴＳペイロードの残りのバイトは、Ｈ．２６４アクセス・ユニットにより埋める。続いて、最上位ＡＵのエンドをチェックする（ステップ４１０）。この最上位ＡＵのエンドが真であると、装置の回路５０２により、ＡＵのスタートを偽に設定してＴＳ構成の１つの繰り返しを終了する。その後の繰り返しとＴＳ構成のために、ｎの値を１だけ増分する（ステップ４１１）。

［本発明のアプリケーション］
ここで説明した種々の実施例を用いて、Ｈ．２６４エレメンタリ・ストリームの有効なマルチプレクスを行って、ＭＰＥＧ−２トランスポート・ストリーム（ＴＳ）を発生できる。これらをＨ．２６４ビデオ・エレメンタリ・ストリームの遅延時間マルチプレクスにて適用できる。これは、コード化ＮＡＬ／ＶＣＬ−ＨＲＤパラメータ（シーケンス・パラメータ・セットのＶＵＩ情報の一部として）又はサプレメンタル・エンハンスメント情報（ＳＥＩ:Supplemental Enhancement Information）のいずれもない。Ｈ．２６４エレメンタリ・ストリームの各アクセス・ユニット（ＡＵ）は、ファイル内の次のアクセス・ユニットのピクチャ形式に関する情報に対して先読みできる。このピクチャ形式情報を用いて、パケット化エレメンタリ・ストリーム（ＰＥＳ）のＰＴＳ及びＤＴＳ値を計算できる。次に、各ＡＵをＰＥＳパケットにパケット化して、ＴＳパケットのストリームに分解できる。

理解を助けるために、本発明の特定の実施例について詳細に説明した。しかし、当業者は、これら特定実施例を用いなくても、本発明を実現できよう。本発明は、ハードウェアでもソフトウェアでも実現できる。ブロック図に示した構成及び装置は、本発明の実施例を説明するためであり、本発明が曖昧になるのを防ぐためである。また、種々の要素の間の接続が直接的である必要はなく、中間的なデータ伝送をエンコード、再フォーマット又は変調してもよい。

本明細書で一実施例又は実施例と呼んでいるのは、実施例に関連して説明した特定の特徴、構造、特性又は機能が本発明の少なくとも一実施例に含まれる。本明細書にて、各実施例における装置は、全てが同じ構成である必要はない。

よって、本発明に関する上述の説明は、本発明を明確にし理解しやすくするためのものであり、本発明をこれら実施例そのものに限定するものではない。

２０１ ビデオ・エンコーダ
２０２ パケット化手段
２０３ トランスポート・ストリーム・マルチプレクサ
５０２ 回路

Claims (4)

1. コード化されたタイミング情報のない高解像度ビデオ・エレメンタリ・ストリームをマルチプレクスしてトランスポート・ストリーム（ＴＳ）を生成する方法であって、
   ｎ個のアクセス・ユニット（ＡＵ）の各々について、その次のＡＵのタイミング情報を得るための先読み処理を実行し、ｎ個の上記ＡＵをリスト中に構成する処理と、
   上記リスト中のＡＵのスタート部分を指し示すようポインタを初期化する処理と、
   上記リスト中のＡＵのスタート部分を順次繰り返し調査する処理と、
   上記リストの順位が最初のＡＵからタイミング情報を計算してヘッダを構成する処理と、
   上記ＴＳ内に上記ヘッダを書き込む処理と、
   上記ＴＳの残りのバイトを上記エレメンタリ・ストリームからのデータで埋める処理と
   を具え、
   上記先読み処理が、
   プレゼンテーション・タイム・スタンプ（ＰＴＳ）及びデコード・タイム・スタンプ（ＤＴＳ）を含むタイミング情報を生成すると共に、上記ＡＵのそれぞれについてフレーム・レート（ｔｃ）を導出する処理と、
   先行するＡＵの上記ＤＴＳから現在のＡＵに関する上記ＤＴＳを生成する処理と、
   現在の上記ＡＵの上記ＤＴＳから、現在の上記ＡＵのＰＴＳを生成する処理と
   を含むことを特徴とする方法。
2. ｎ個の上記ＡＵの各々について、その次のＡＵのタイミング情報を得るための先読み処理を実行し、ｎ個の上記ＡＵをリスト中に構成する処理が、
   単一のＡＵが形成されるまで、上記高解像度ビデオ・エレメンタリ・ストリームをそのスタート部分から読み出し、単一の上記ＡＵのスタート部分及びエンド部分を記録する処理と、
   形成した上記ＡＵを上記リストに追加する処理と、
   上記リストに追加された上記ＡＵ中にコード化されたピクチャ形式を調査する処理と、
   もしコード化された上記ピクチャ形式がＢフレームなら、ｄｔｓ（ｎ）＝ｄｔｓ（ｎ−１）＋ｔｃ及びｐｔｓ（ｎ）＝ｄｔｓ（ｎ）を計算する処理と、
   もしコード化された上記ピクチャ形式がＩ又はＰフレームなら、ｄｔｓ（ｎ）＝ｄｔｓ（ｎ−１）＋ｔｃ及びｐｔｓ（ｎ）＝ｄｔｓ（ｎ）＋ｐｔｓ＿ｏｆｆｓｅｔ＊ｔｃを計算すると共に、次のＩ又はＰフレームが生じる前のＢフレームの個数（ｐｔｓ＿ｏｆｆｓｅｔ）について、次のＡＵを調査する処理と、
   上記タイミング情報を計算する処理を順次繰り返すために、次のＡＵを構成し、上記次のＡＵを上記リストに追加する処理と
   を具える請求項１記載の方法。
3. コード化されたタイミング情報のない高解像度ビデオ・エレメンタリ・ストリームをマルチプレクスしてトランスポート・ストリーム（ＴＳ）を生成する回路を具える装置であって、上記回路が、
   ｎ個のアクセス・ユニット（ＡＵ）の各々について、その次のＡＵのタイミング情報を得るための先読み処理を実行し、ｎ個の上記ＡＵをリスト中に構成する処理と、
   上記リスト中のＡＵのスタート部分を指し示すようポインタを初期化する処理と、
   上記リスト中のＡＵのスタート部分を順次繰り返し調査する処理と、
   上記リストの順位が最初のＡＵからタイミング情報を計算してヘッダを構成する処理と、
   上記ＴＳ内に上記ヘッダを書き込む処理と、
   上記ＴＳの残りのバイトを上記エレメンタリ・ストリームからのデータで埋める処理と
   を行うように構成され、
   上記先読み処理が、
   プレゼンテーション・タイム・スタンプ（ＰＴＳ）及びデコード・タイム・スタンプ（ＤＴＳ）を含むタイミング情報を生成すると共に、上記ＡＵのそれぞれについてフレーム・レート（ｔｃ）を導出する処理と、
   先行するＡＵの上記ＤＴＳから現在のＡＵに関する上記ＤＴＳを生成する処理と、
   現在の上記ＡＵの上記ＤＴＳから現在の上記ＡＵのＰＴＳを生成する処理と
   を含むことを特徴とする装置。
4. ｎ個の上記ＡＵの各々について、その次のＡＵのタイミング情報を得るための先読み処理を実行し、ｎ個の上記ＡＵをリスト中に構成する処理において、上記回路が、
   単一のＡＵが形成されるまで、上記高解像度ビデオ・エレメンタリ・ストリームをそのスタート部分から読み出し、単一の上記ＡＵのスタート部分及びエンド部分を記録する処理と、
   形成した上記ＡＵを上記リストに追加する処理と、
   上記リストに追加された上記ＡＵ中にコード化されたピクチャ形式を調査する処理と、
   もしコード化された上記ピクチャ形式がＢフレームなら、ｄｔｓ（ｎ）＝ｄｔｓ（ｎ−１）＋ｔｃ及びｐｔｓ（ｎ）＝ｄｔｓ（ｎ）を計算する処理と、
   もしコード化された上記ピクチャ形式がＩ又はＰフレームなら、ｄｔｓ（ｎ）＝ｄｔｓ（ｎ−１）＋ｔｃ及びｐｔｓ（ｎ）＝ｄｔｓ（ｎ）＋ｐｔｓ＿ｏｆｆｓｅｔ＊ｔｃを計算すると共に、次のＩ又はＰフレームが生じる前のＢフレームの個数（ｐｔｓ＿ｏｆｆｓｅｔ）について、次のＡＵを調査する処理と、
   上記タイミング情報を計算する処理を順次繰り返すために、次のＡＵを構成し、上記次のＡＵを上記リストに追加する処理と
   を更に行うよう構成される請求項３記載の装置。

Images