JP2006511148A

JP2006511148A - 階層化メディアデータを処理する方法及び装置

Info

Publication number: JP2006511148A
Application number: JP2004561782A
Authority: JP
Inventors: ハーアーブリュルス，ウィルヘルミュス; エムアーライカエルト，アルベルト; ウェーエルレイブラント，ホーデルト; イェーウェーメルテンス，マルク
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2002-12-20
Filing date: 2003-12-01
Publication date: 2006-03-30
Also published as: CN1726719A; AU2003303166A1; KR20050088448A; US20060098937A1; EP1584193A1; WO2004057873A1

Abstract

本発明は、ベースレイヤストリームとＨＤＴＶを提供するためのエンハンスメントレイヤストリームとを有する階層化デジタル映像ストリームを処理するための方法及び装置（１００）として開示されるかもしれない。ベースレイヤストリームとエンハンスメントレイヤストリームの何れかがハードディスク（１０１）に格納され、他方が光ディスクドライブ（１０２）により光ディスクに格納される。これらのストリームは、ＨＤＴＶを提供するため利用されるまで個別処理される。階層化映像ストリームがＨＤＴＶクオリティにより再生されるとき、ベースレイヤストリームとエンハンスメントレイヤストリームが、同一のフレームを参照するため、同期装置（１０６）により同期化される。その後、同期化されたストリームは、ベースデコーダ（１０５ａ）とエンハンスメントデコーダ（１０５ｂ）により復号され、加算器１１２により合成された復号化ストリームを出力する。

Description

本発明は、一般にメディアデータストリームの処理技術に関し、より詳細には、第１メディアデータストリームと該第１メディアデータストリームに関連する第２メディアデータストリームとを有する階層化メディアデータストリームの処理技術に関する。

音声/映像データなどのデジタルメディアデータに特有の大量のデータ量のため、フルモーション高品位映像信号の送信及び格納は、ハイビジョンテレビ（ＨＤＴＶ）の開発において重大な問題である。より詳細には、各デジタル画像フレームは、あるシステムの表示解像度に従って画素アレイから構成される静止画像である。この結果、高解像度映像シーケンスに含まれる未処理のデジタル情報の情報量はかなり大きなものとなる。送信を要するデータ量を低減するため、データを圧縮する圧縮スキームが用いられている。ＭＰＥＧ−２、ＭＰＥＧ−４及びＨ．２６４を含む様々な音声/映像圧縮規格または処理が確立されてきた。

メディアデータが異なるレイヤにおいて様々な解像度及び/またはクオリティにより利用可能である場合、デジタル音声/映像などの多数のメディアデータアプリケーションが利用可能である。これを実現する方法は、スケーラブル技術として概ね呼ばれている。スケーラビリティの利用性には３つの軸がある。第１は、時間スケーラビリティとしばしば呼ばれる時間軸に関するスケーラビリティである。第２は、信号対ノイズスケーラビリティあるいは細粒度スケーラビリティとしばしば呼ばれるクオリティ軸に関するスケーラビリティである。第３は、空間スケーラビリティあるいは階層符号化としばしば呼ばれる解像度軸（画像における画素数）である。階層符号化では、ビットストリームは、２以上の関連するビットストリーム、すなわちレイヤに分割される。各レイヤは、単一の高解像度信号を構成するため合成することができる。例えば、ベースレイヤは低質のメディアデータ信号を提供する一方、エンハンスメントレイヤはベースレイヤ画像の解像度を向上させることが可能な追加情報を提供する。

特に、空間スケーラビリティは、異なる音声/映像規格または機能間の互換性を提供することが可能である。空間スケーラビリティでは、ベースレイヤは入力音声/映像シーケンスより低い解像度を有するかもしれず、この場合、エンハンスメントレイヤは入力シーケンスレイヤにベースレイヤの解像度を復元可能な情報を搬送する。

ＤＶＤ（ＤｉｇｉｔａｌＶｉｄｅｏＤｉｓｃ）プレーヤーやセットトップボックス（ＳＴＢ）などのメディアデータの再生及び/または記録を行う装置は、ＤＶＤ、ＤＶＤ＋Ｒ及びＤＶＤ＋ＲＷなどの着脱可能な光ディスクに対する記録または読出しを行う光ディスクドライブ（ＯＤＤ）及びハードディスクを有するハードディスクドライブ（ＨＤＤ）の両方をしばしば有する。インターネットやケーブルテレビネットワークなどの無線または有線ベースの送信チャネルを介しリモートソースからダウンロードされるメディアデータ、あるいは地上波配信システムを介し配信されるメディアデータは、ＨＤＤに格納することができるか、あるいはＤＶＤに記録することができる。その後、格納されたコンテンツは、以降における再生のため、ＨＤＤやＤＶＤから抽出することができる。

ＤＶＤレコーダやＳＴＢなどのメディアデータ装置のＨＤＤの能力と、携帯ラジオ、携帯電話、カーラジオなどの他の機器のメモリの能力は、限定的なものである。このような装置のＨＤＤでは、ハードディスクは近い将来、通常は５０〜１００ギガバイト、すなわち、ＨＤＴＶクオリティによる映像の約１０〜２０時間分（平均１０Ｍｂｉｔｓ/ｓを仮定）を超えることはないであろう。これは、タイムシフトレコーディング（ｔｉｍｅｓｈｉｆｔｒｅｃｏｒｄｉｎｇ）には十分であるが、映像アーカイブ全体を有するには不十分である。ＨＤＤ/光ディスクドライブの組み合わせを有するメディアデータ装置では、メディアデータは光ディスク上にアーカイブされてもよいし、あるいは光ディスクから読み出されてもよい。このことは、映像アーカイブのアクセス性を大きく減少させ、例えば、オンラインブラウジングは不可能となる。

ＨＤＤ/光ディスクの組み合わせを有する装置の所有者は、以下の少なくとも２つの理由のため、
１）アーカイブ処理のため、典型的には、これは同じ装置上で再生されるコンテンツである。
２）共有化のため、コンテンツは異なる装置上で視聴される。
着脱可能な光ディスクにハードディスク上に記録されているコンテンツをコピーすることを所望するかもしれない。

コンテンツ提供者とコンテンツ所有者は、ＨＤＤから光ディスクへのコンテンツのコピーの許可には消極的であるかもしれない。すなわち、コンテンツがＨＤＤ上にのみある限り、当該コンテンツは制御可能であり、コピープロテクション及び/または限定アクセススキームを通じて、確実に当該コンテンツが許可なくコピーすることを不可とし、制御不可な状態では配布されないようにすることができる。しかしながら、アーカイブ処理のためには、原則的に反対はない。なぜなら、その意図はさらなる配布ではないからであるが、しかしながら、アーカイブ処理されたコンテンツを異なる装置で以降において視聴可能とされることを回避するためのセキュア機構が必要とされる。共有化目的に関しては、いくつかのケースでは、これを禁止するのでなく、ＨＤＤ上においてオリジナルコンテンツにより提供されるようなフルコンテンツを搬送しないコピーの作成を許可することが、配信者及び/またはコンテンツ提供者にとっては関心がある。

メディアデータの提供者にとっては、ベースレイヤの無条件な利用とエンハンスメントレイヤの条件付の利用を制限することに関心がある。ここでは、エンハンスメントレイヤの利用は、その再生をある回数またはある期間に限定される。当該期間が経過すると、あるいは当該回数使い切ると、エンハンスメントレイヤストリーム及び/またはベースレイヤストリームは、それらが格納されているメモリから削除されてもよい。しかしながら、階層化されたストリームが一緒に処理される場合、これは不可能となる。

ネットワークを介し配信または配布されるコンテンツは、例えば、携帯ラジオ、携帯電話やカーラジオに配信されるときなど、ある帯域幅を必要とする。しかしながら、階層化されたメディアデータは、あまりに広域なものであるため、高質の解像度により限定された帯域幅を有するチャネルを介し配信することはできないか、メモリの記憶スペースは限定的なものであるかもしれない。従って、低解像度メディアデータのみが装置に送信される。これは、視聴者は高解像度コンテンツを好む場合には問題となる。

本発明は、従来技術における上記問題点を解決し、添付された独立クレームにより方法、装置及びコンピュータ可読プログラムを提供することにより上記問題点を解決する。

本発明による一般的な解決法は、第１メディアデータストリームと該第１メディアデータストリームの解像度を向上させるための情報を有する第２メディアデータストリームとを、第２メディアデータストリームがこの向上化のため利用されるまで個別に処理するというものである。

より詳細には、一実施例によると、第１メディアデータストリームはベースレイヤストリームであり、第２メディアデータストリームは第１メディアデータストリームの解像度を向上させるためのエンハンスメントレイヤストリームである。何れのストリームも、それらがＨＤＴＶストリームなどの向上した解像度を有するメディアデータストリームを提供するため利用されるまで、個別に処理される。

本発明の一特徴によると、第１及び第２メディアデータストリームを個別処理する方法が提供される。第１及び第２メディアデータストリームは、インターネットを介し信号として受信された送信ストリームにおいて受信され、あるいは送信媒体の異なるチャネルを介し受信されるなど、少なくとも１つの媒体から抽出される。その後、メディアデータストリームのデータは、ハードディスクや光ディスクなどの別々の媒体に格納される。

本発明の他の特徴によると、本方法は、高品位解像度によりメディアデータストリームを再生する可能性を提供し、ここでは、第１メディアデータストリームは、ハードディスクや送信媒体の第１チャネルなどの第１媒体から取得される。第２メディアデータストリームは、第１媒体以外の送信媒体の第２チャネルまたは光ディスクなどの第２倍体から取得される。その後、これらのストリームは復号され、高解像度を有するメディアデータを提供するため同一フレームまたはシーケンスを参照するよう同期化される。

本発明のさらなる他の特徴によると、メディアデータストリームを個別処理する装置が提供される。本装置は、メディアデータストリームを別々の媒体に格納するよう構成される。本装置は、第１メディアデータストリームを取得する手段と、第２メディアデータストリームを取得する手段とを有し、第２メディアデータストリームが第１メディアデータストリームの解像度を向上させるため利用されるまで、第１及び第２メディアデータストリームを個別処理するよう構成される。

本発明の他の特徴によると、第１及び第２メディアデータストリームを別々の媒体から抽出する装置が提供される。本装置は、抽出したストリームを同期化し、当該ストリームを復号し、復号されたストリームをエンハンストメディアデータストリームに合成するよう構成される。

本発明のさらなる特徴によると、プロセッサなどのコンピュータによる処理のためのコンピュータプログラムを有するコンピュータ可読媒体が提供される。本コンピュータプログラムは、独立項の方法の請求項に記載される発明に従う方法を実行するコードセグメントを有する。

本発明の好適な実施例では、ベースレイヤストリームなどの第１メディアデータストリームと、該第１メディアデータストリームに関する情報を有するエンハンスメントレイヤストリームなどの第２メディアデータストリームとが個別に処理される方法が提供される。この好適な実施例では、メディアデータストリームは、ＭＰＥＧ−２、ＭＰＥＧ−４またはＨ．２６４などの圧縮技術を用いて符号化されるビットストリームとして与えられるデジタル音声/映像データである。しかしながら、他の実施例では、本発明による方法は、デジタル配信及び/またはコンテンツ提供技術において利用され、第１メディアデータストリームの解像度は、デジタルラジオなどにおいて第２メディアデータストリームを用いて向上される。

図１は、本発明の一実施例によるセットトップボックス（ＳＴＢ）１００のブロック図である。ＳＴＢは、書き換え可能及び/または読み出し可能なメモリの組み合わせを有し、本実施例では、ＨＤＤ１０１と光ディスクに対する書き込み及び/または読み出しを行うための光ディスクドライブ（ＯＤＤ）１０２とを有する。本明細書で用いられるときには、「ＨＤＤ」という用語は、特に記載がない場合には、ハードディスクを有するハードディスクドライブを意味する。ＨＤＤ１０１とＯＤＤ１０２は、ベースレイヤとエンハンスメントレイヤとを有するデジタル高品位テレビ（ＨＤＴＶ）データなどの階層化メディアデータを処理するよう構成される。さらに、ＳＴＢ１００は、デジタル音声/映像データを配信するための衛星または地上波インタフェースなどの無線送信媒体を介しメディアデータを取得するため、ＨＤＤ１０１とＯＤＤ１０２に接続された受信機１０３を有する。代わりに、あるいはそれに加えて、受信機１０３は、インターネットやケーブルテレビネットワークなどの有線送信媒体を介し階層化メディアデータを抽出するよう構成されてもよい。ＳＴＢ１００はまた、ベースレイヤストリームデータとエンハンスメントレイヤストリームデータとを、それらが復号化される前に同期させるよう構成される前段の同期装置１０６に接続されるベースデコーダ１０５ａとエンハンスメントデコーダ１０５ｂとを有するデコーダ１０４を有する。また、ベースデコーダ１０５ａとエンハンスメントデコーダ１０５ｂは、復号したストリームを合成されたメディアデータストリームに追加するよう構成される合成装置１１２に動作可能に接続される。中央処理ユニット（ＣＰＵ）やマイクロコントローラなどのコントローラ１０７が、ＳＴＢ１００の全体動作とＳＴＢ１００の特定コンポーネントの動作を制御するよう設けられる。図解の簡単化のため、コントローラ１０７の各接続は図１では図示されない。図１において、ＳＴＢ１００の一部ではないが、第１及び第２メディアデータストリームのための情報を搬送する信号１１０と、ＯＤＤがメディアデータストリームを格納及び/または抽出することが可能な光ディスク１１１が示される。理解されるように、本発明はＳＴＢ１００に限定されるものではなく、例示のためだけに開示されている。本発明の範囲は、ハードディスクドライブＨＤＤを有するＤＶＤレコーダなど、以下で説明されるような本発明による方法を実行するための機能を有する任意の装置を有する。

他の実施例では、図１に示されるＳＴＢ１００は、コントローラ１０７に接続され、ＳＴＢ１００が特定のコンテンツに対する再生許可が与えられていることを確認するためなど、メッセージをコンテンツ提供者に送信するよう構成される送信機１０８を有する。

本発明のさらなる他の実施例では、受信機は、受信時には階層化されていないメディアデータストリームを受信する。このため、受信したメディアデータストリームは、空間スケーラビリティを提供する圧縮技術に従ってメディアデータストリームをベースレイヤストリームとエンハンスメントレイヤストリームに符号化するエンコーダ１０９に転送される。これら各ストリームは、ＨＤＤ１０１またはＯＤＤ１０２に転送される。他の実施例では、エンコーダ１０９がトランスコーダとして設けられる。

本発明の一実施例によると、ＳＴＢ１００は、ベースレイヤストリームなどの第１メディアデータレイヤストリームをＨＤＤ１０１などの第１メモリに格納し、エンハンスメントレイヤストリームなどの第２メディアデータストリームをＯＤＤ１０２により光ディスク１１１などの別のメモリに格納するため、階層化メディアデータストリームの少なくとも２つのレイヤを個別処理することができる。代わりに、あるいはそれに加えて、ＳＴＢ１００は、信号１１０などの第１媒体から第１メディアデータストリームを取得し、ＨＤＤ１０１や光ディスク１１１などの第２媒体から関連する第２メディアデータストリームを取得することが可能である。

一実施例では、ベースレイヤは、例えば、店頭で販売されているＤＶＤなどの第１メモリ上に与えられる。ベースレイヤのクオリティを向上させるエンハンスメントレイヤは、インターネットや送信チャネルを介し配信される信号などの第２媒体を介し与えられる。エンハンスメントレイヤの提供者は、支払われる金額に応じて、１回または２回などの特定回数または特定期間にエンハンスメントレイヤの利用を制限するようにしてもよい。

他の実施例では、すべてのメディアデータ、すなわち、ベースレイヤストリームと関連するエンハンスメントレイヤストリームは共に、受信機１０３により受信され、ＨＤＤ１０１に格納される。本発明によると、ベースレイヤとエンハンスメントレイヤは、以下のように別々のメモリに格納されてもよい。

１）ベースレイヤはＨＤＤ１０１に格納され、エンハンスメントレイヤはＯＤＤ１０２に送信され、エンハンスメントメディアデータストリームは、ＤＶＤ＋ＲやＤＶＤ＋ＲＷなどの書き換え可能な光ディスクに書き込まれる。この場合、メディアデータアーカイブは、検索及び参照のためコントローラ１０７により直接アクセス可能なＨＤＤ１０１上にベースクオリティにより格納される。ベースレイヤストリームは、エンハンスメントレイヤストリームなしに再生されてもよい。しかしながら、コンテンツを高質により視聴することが好まれる場合、関連するエンハンスメントレイヤストリームを有する光ディスク１１１がＯＤＤ１０２に挿入される必要がある。このようにして、１００ＧＢのハードディスクは、高質のコンテンツがＨＤＤ１０１に格納された場合より、５倍までの映像コンテンツを保持することができる。さらに、高質のコンテンツはエンハンスメントレイヤと関連したベースレイヤを有する装置上のみで視聴可能であるため、コピープロテクション機構が提供されることとなる。光ディスク１１１にロードされたエンハンスメントレイヤは、ベースレイヤなしでは役に立たない。

２）エンハンスメントレイヤストリームはＨＤＤ１０１に格納され、ベースレイヤストリームはＨＤＤ１０１から光ディスク１１１にオフロード（ｏｆｆ−ｌｏａｄ）される。この場合、異なる装置間の共有のため、ベースレイヤストリームは光ディスク１１上で利用可能である。しかしながら、高質のメディアデータストリームの実現は、エンハンスメントレイヤが格納されるＳＴＢ１００に限定される。これにより、エンハンスメントレイヤストリームに対するセキュリティプロテクションが提供される。またこの場合、エンハンスメントレイヤストリームは、その利用前にタイムスタンプや証明書の有効性をチェックなどすることにより、エンハンスメントレイヤの有効性が確認される必要がある条件付の利用に限定されるかもしれない。

ＨＤＤ１０１やＯＤＤ１０２を用いた光ディスク１１１などの第１媒体から抽出されたベースレイヤストリームは、エンハンスメントレイヤストリームなしで低質により再生されるかもしれない。ベースレイヤストリームは、符号化されたベースレイヤストリームを復号するベースデコーダ１０５ａに与えられる。ベースデコーダ１０５ａは、ディスプレイへの再生時、低いクオリティを有するメディアデータストリームを生成するであろう。

図２は、本発明の一実施例により実行される、高いクオリティを有する復号されたメディアデータストリームを提供する第１及び第２メディアデータストリームを処理するための各ステップのフローチャートである。第１ステップ２００では、エンハンスメントレイヤストリームが、ＨＤＤ１０１またはＯＤＤ１０２を用いた光ディスク１１１などの第１記憶媒体から抽出される。また、関連するベースレイヤストリームは、ＨＤＤ１０１またはＯＤＤ１０２を用いた光ディスク１１１などのエンハンスメントレイヤの媒体以外の別の第２媒体から抽出される。ステップ２０１において、符号化されたエンハンスメントレイヤとベースレイヤは同期装置１０６に与えられ、ステップ２０２において、同期装置１０６により両方のストリームの情報がデコーダへの転送時に同一のフレームを参照していることを確認する。これに関しては、以下で詳細に説明されるであろう。その後ステップ２０３において、エンハンスメントレイヤストリームはエンハンスメントデコーダ１０５ｂに転送され、ベースレイヤストリームはベースデコーダ１０５ａに転送される。そこで、ベースレイヤストリームとエンハンスメントレイヤストリームは復号される。最後にステップ２０４において、高いクオリティを有する復号されたエンハンストメディアデータストリームが、復号されたベースレイヤストリームと復号されたエンハンスメントレイヤストリームを合成することにより合成装置１１２により与えられ、ディスプレイに再生される。

図３は、本発明の他の実施例により実行される各ステップのフローチャートである。第１ステップ３００では、メディアデータが、送信チャネルを介し受信されるなどすることにより抽出される。ステップ３０１において、メディアデータストリームが階層的に受信されたか決定される。ステップ３０１の判定が否定的なものである場合、ステップ３０２においてメディアデータストリームはエンコーダ１０９に転送され、ステップ３０３において当該メディアデータストリームは、ベースレイヤストリームとエンハンスメントレイヤストリームに符号化される。その後ステップ３０４において、符号化されたベースレイヤストリームとエンハンスメントレイヤストリームは、格納のためＨＤＤ１０１に転送される。しかしながら、メディアデータストリームが階層的に受信される場合、すなわち、ステップ３０１における判定が肯定的なものである場合、当該処理はステップ３０４に続く。最後にステップ３０５において、エンハンスメントレイヤストリームあるいはベースレイヤストリームがＯＤＤ１０２に転送され、ステップ３０６において光ディスク１１１上の受信したストリームが格納される。あるいは、ステップ３０４において、エンハンスメントレイヤストリームまたはベースレイヤストリームは、ＨＤＤ１０１に一時的に格納されることなく、直接ＯＤＤ１０２に転送される。

図４は、本発明の他の実施例による、少なくともベースレイヤストリームなどの第１メディアデータストリームと、この第１メディアデータストリームに関連するエンハンスメントレイヤストリームなどの第２メディアデータストリームとを有するデジタル階層化メディアデータストリームを受信する装置４００のブロック図である。本装置４００は、携帯ラジオ、携帯電話あるいはカーラジオとして実現されてもよい。装置４００は、第１及び第２チャネルを介し受信したデジタルラジオなどの無線インタフェースなどを介し配信されるデジタル符号化データパケットを受信するよう構成される受信機４０１を有する。さらに、装置４００は、着脱可能な光ディスクや内部ソリッドステートメモリなどに格納する記憶ユニット４０２を有する。さらに、装置４００は、各々ＭＰＥＧ−２、ＭＰＥＧ−４あるいはＨ．２６４などの空間スケーラブル符号化技術を用いて符号化されたデータパケットを復号可能なベースデコーダ４０４ａとエンハンスメントデコーダ４０４ｂを有するデコーダ４０３を有する。また、装置４００は、デコーダ４０４ａと４０４ｂの前段に設けられ、デコーダ４０４ａと４０４ｂに接続された同期装置４０５を有する。この同期装置４０５は、ベースレイヤストリームとエンハンスメントレイヤストリームのデータを同期化するよう構成され、ここでは、ベースレイヤストリームとエンハンスメントレイヤからの情報は、デコーダに供給されたとき、コンテンツの同一部分を参照する。また、合成装置４０９はベースデコーダ４０４ａとエンハンスメントデコーダ４０４ｂに接続され、復号されたベースレイヤストリームとエンハンスメントレイヤストリームを合成するよう構成される。装置４００の全体処理を制御するため、ＣＰＵなどのコントローラ４０６が記載されたその他のコンポーネントの各々に接続される。しかしながら、図４において、無線または有線送信媒体を介し異なるチャネルを通じて受信される第１信号４０７と第２信号４０８が示される。これらの信号はそれぞれ、第１メディアデータストリームと第２メディアデータストリームのための情報を搬送する。

本発明の一実施例によると、第１メディアデータストリームは、第１ＡＭ/ＭＷ（ＡｍｐｌｉｔｕｄｅＭｏｄｕｌａｔｅｄ/ＭｅｄｉｕｍＷａｖｅ）チャネルなどの送信媒体の第１チャネルを介し受信機４０１により受信されるなどにより、第１媒体から取得される。また、第２メディアデータストリームは、送信インタフェースの第２チャネルを介し受信機４０１により受信されるなどにより、第２媒体から取得される。第１メディアデータストリームと第２メディアデータストリームは、ある意味では関連付けされているか、あるいは相互関連している。第１メディアデータストリームは、例えば、ベースレイヤストリームを有し、第２メディアデータストリームは、例えば、第１メディアデータストリームのクオリティを向上させるためのエンハンスメントレイヤストリームを有するようにしてもよい。

他の実施例では、第１メディアデータストリームは、再生されるだけでなく、記憶ユニット４０２に格納される曲を再生するための高質の音声データを有する。第２メディアデータストリームは、例えば、低いクオリティを有するチャネルを介し配信されるトークショーであってもよい。このとき、以前に高質のチャネルを介し受信した曲がトークショーに登場する場合、コントローラ４０６は、この特定の曲が記憶ユニット４０２に格納されているかチェックすることができ、この格納されている曲が低質チャネルを介し送信された同じ曲を有するメディアデータ部分より優先されるかチェックすることができる。その後、受信された対応する曲の代わりに、格納されている曲が記憶ユニット４０２から抽出され、同期装置４０５により同期化され、デコーダ４０３と４０４により復号される。記憶ユニット４０２に格納される曲数は、例えば、ヒットリストの上位１００曲に限定することも可能である。特定の曲を特定するため、各曲にはＲＤＳによる識別子などが備えられる必要がある。高質の曲を記憶ユニット４０２に格納する代わりに、この曲のエンハンスメントレイヤデータのみが記憶ユニット４０２に格納される。その後、エンハンスメントレイヤデータは、低質チャネルを介し送信されたトークショーなどに含まれる当該曲の関連するベースレイヤストリームと合成される。

前述のように、ベースレイヤストリームとエンハンスメントレイヤストリームは同期化され、同期装置１０６により当該情報は同一のフレームまたは音声シーケンスに合成される。本発明の一実施例によると、この同期処理は、例えば、ＭＰＥＧ−２では必須であるフレームごとのタイムスタンプを用いることにより、あるいはフレーム番号を用いることにより実現される。すべてのケースにおいて、これらのタイムスタンプは機能するであろう。しかしながら、ベースレイヤとエンハンスメントレイヤのフレームレートが異なるとき、復号されたベースレイヤとエンハンスメントレイヤフレームが互いに対応しているということを確認するため、フレーム番号の利用が考慮される必要がある。すなわち、ベースレイヤが毎秒１５フレーム、エンハンスメントレイヤが毎秒６０フレームなどのように、フレームレートが異なる場合、ベースストリームのフレーム番号１はエンハンスメントストリームのフレーム番号１に対応するが、ベースレイヤのフレーム番号２はエンハンスメントレイヤのフレーム番号２に対応せず、訂正が必要となる。このとき、ベースレイヤフレーム番号１は、エンハンスメントレイヤフレーム番号１に一致するが、ベースレイヤフレーム番号２はエンハンスメントレイヤフレーム番号５に一致する、などとなってしまう。一体的な記憶システムでは、エンコーダ１０９などの第１及び第２メディアデータストリームのソースは、ＨＤＤ１０１やＯＤＤ１０２などの記憶ユニットと同じユニットにあり、データは暗号化されずに格納され、フレーム番号は十分である。しかしながら、階層化メディアデータが記憶装置とデコーダとの間でデジタルインタフェースや配信チャネルを介し送信される必要がある場合、フレーム番号は十分ではなくなるであろう。このとき、記憶装置は、ベースレイヤストリームとエンハンスメントレイヤストリームの両方の再生が十分同期化されているか知ることはできない。この場合、データはトランスポートストリームとしてデジタルインタフェースまたは送信チャネルを介し送信される必要がある。ベースレイヤとエンハンスメントレイヤの各パケットには、各自のＰＩＤ（ＰａｋｅｔＩＤｅｎｔｉｆｉｅｒ）番号を割当て可能である。ここで、同期装置がストリームを同期させるため読み出すことが可能な両方のストリームのトランスポートストリームパケットにタイムスタンプを追加することにより、同期化が与えられる。好ましくは、タイムスタンプは、トランスポートストリームのプログラムクロック基準（ＰＣＲ）タイムベースに結合される。ＰＣＲタイムベースは、通常はすべてのトランスポートストリームに存在する。従って、両方のレイヤが同じトランスポートストリームを共有することが好ましい。しかしながら、エンハンスメントレイヤが個別に配信されるときなど、これに該当しない場合には、両方のストリームは同じＰＣＲタイムベースを有することが考慮されねばならない。注目されるように、パッケージレベルでの同期化は、フレームレベルの同期化の置き換えとはならず、依然として必要とされる。

前述のように、限定アクセス（ＣＡ）権限は、レイヤの何れかをプロテクトすることができる。ベースレイヤとエンハンスメントレイヤにおける分離が配信装置により与えられ、両方のレイヤがＣＡ権限によりプロテクトされている場合、２つのレイヤの各々は、メディアデータストリームを解読するための鍵として必要とされる暗号化された制御ワードを含む関連するＥＣＭ（ＥｎｔｉｔｌｅｍｅｎｔＣｏｎｔｒｏｌＮｕｍｂｅｒ）のＰＩＤ番号に結合された各自のＰＩＤ番号を有するべきである。各ストリームに対し、別々のＥＣＭが利用可能であり、ベースレイヤストリームとエンハンスメントレイヤストリームは異なる限定的権限を有するかもしれない。

本発明による上述の階層化メディアデータストリームの用途と利用は様々であり、ＨＤＴＶ/ＳＤＴＶ（ＳｔａｎｄａｒｄＤｅｆｉｎｉｔｉｏｎＴｅｌｅｖｉｓｉｏｎ）分割などの一例となるフィールドを有する。ここで、ベースレイヤストリームがＳＤ解像度（すなわち、６０Ｈｚでは４８０ｉ、または５０Ｈｚでは５７６ｉ）により映像コンテンツを再生し、エンハンスメントレイヤストリームは映像コンテンツをＨＤＴＶ解像度（例えば、１０８０ｉまたは７２０ｐ）まで向上させる。前述の実施例と同様のＳＤＴＶ/ＣＩＦ分割の他の実施例では、ベースレイヤストリームはＣＩＦ情報を搬送し、エンハンスメントレイヤストリームはＳＤＴＶサープラス（ｓｕｒｐｌｕｓ）を搬送する。また、エンハンスメントデータは、映像がフルクオリティで視聴可能となるように、インターネットを介し与えられるカラー訂正プロファイル（数ビットのみ）とすることができる。

他のアプリケーションは、ＨＤＤ及びＯＤＤを有するＳＴＢまたはＤＶＤプレーヤーに関し、第１メディアデータストリームは、ＨＤＤや光ディスクなどの第１媒体に対し格納/抽出され、第２メディアデータストリームは、ＨＤＤや光ディスクなどの第１媒体以外の第２媒体に対し格納/抽出される。また、両方のストリームはインターネットなどの同一媒体から抽出することが可能である。これはインターネットなどからコンテンツをダウンロードする可能性を提供し、光ディスク上に与えられるベースレイヤストリームの全体または一部を向上させるのに利用することが可能である。セットトップボックスは、例えば、デジタルプログラムガイドによりテレビに表示される（ＳＤクオリティにより）映画に対するエンハンスメントデータを検出するため、ビデオオンデマンドサイトを自動的にスキャンすることができる。あるいは、関連するメディアデータストリームの１つは光ディスク上にダウンロードすることができ、その他のものはＨＤＤ上に格納される。あるいは、ベースレイヤストリームとエンハンスメントレイヤストリームは、別々のチャネルから同時に抽出される。

他のアプリケーションはデジタルラジオによるものであり、１つの送信チャネルのクオリティは低く、より高いクオリティが好ましい。配信された第１メディアデータストリームは、第１メディアデータストリームのユーザ体感を向上させるためのデータを含む第２メディアデータストリームにより向上させることができる。例えば音声では、第２メディアデータストリームは、低周波数エフェクトチャネルの低周波数などの追加チャネル、あるいは好ましくは予め、第１メディアデータストリームから独立に配信され、メモリに格納される追加サラウンドチャネルを有することが可能である。

本発明のさらなる他の用途は、上述のように、認証されていない複製に対するセキュリティ機構を提供することである。ＳＴＢは、通常のＤＶＤプレーヤーやディスクでは現在使用されていないＤＶＤの有効性を検証するＤＶＤベーシックエンジンからの物理的性質（もとのディスク上で変調されるウォブル情報など）を検出することができる。光ディスクがＤＶＤ＋Ｒ上などでビットコピーされる場合、ウォブル情報は失われ、エンハンスメントストリームが利用可能であるときでさえ、ＳＴＢにおいてはＨＤＴＶとしては再生されない。複製が許可されていないウォブル情報以外の他のデータが、本発明の範囲内で利用可能である。また、ＳＴＢやＤＶＤレコーダは、ＤＶＤ＋ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ−ＲあるいはＤＶＤ−ＲＷの存在を検出することができ、ここでは、ＤＶＤはＨＤＴＶとして再生することが拒絶されている無許可のコピーとみなされる。

本発明の一部の実施例では、第２メディアデータストリームは、より高いアスペクト比により生成することにより知覚される画質を向上させるため、ビデオ画像のサイドの冗長画素などの冗長なサンプルを有する。

他の実施例では、第２メディアデータストリームは、例えば、より高い知覚によるクオリティにより生成するため、第１データストリームの映像または音声データに対し実行されるいくつかの変換を記述するためなど、所定の機能または機能の詳細に関するパラメータなどのいくつかのデータを有するだけである。これらの実施例の効果は、第２データチャネルまたはストレージがより小さな容量を有するようにすることが可能となり、第２メディアデータストリームのコンテンツが受信したビット数に応じて支払われる場合、これらの実施例では、低価格によるクオリティの向上が実現される。

例えば、第２メディアデータファイルは、モデルパラメータを有するのみであるかもしれない。例えば、カラー訂正プロファイルは、第１メディアデータストリームのいくつかのビデオ画像に適用されるデータとして送信することが可能である。例えば、夜のシーンは、画素をカラー訂正マトリックによりマトリックス化することにより、追加的な効果に対しより青みがかったものとすることができる。

また、第２メディアデータストリームのフィルタリングパラメータまたはフィルタ仕様を提供し、第１フィルタにより映像フレームの中心などの画素群と、ビデオ画像の近く去れる解像度を増やすため第１メディアデータストリームの第２フィルタにより境界領域をフィルタリングすることが可能である。あるいは、３次元コンピュータ生成キャラクタを提供するモデルは、第１メディアデータストリームの何れかに重ね合わせるのに用いられる第２メディアデータストリームに与えることができる。

適用される変換は、画像内の異なる領域、異なるオブジェクトなど（例えば、オブジェクト指向の圧縮映像など）に対して異なるものとすることができる。極めて複雑なパラメータ処理が、冗長なサンプルに必要とされるものより少ないビットにより記述することが可能である。

本発明による方法は、コントローラによる処理のためのコンピュータプログラムを有するコントローラ１０７と４０６のレジスタなどの図５に示されるコンピュータ可読媒体上に構成することが可能である。このような場合、コンピュータプログラムは、上述の好適または他の実施例に関して説明されたものなどのように、本方法を実行するためのコードセグメントを有するであろう。

本発明は、特定の実施例を参照して説明された。しかしながら、例えば、ハードウェアやソフトウェアなどにより上記方法を実行する上述のもの以外の異なる方法ステップなどの上記好適な実施例以外の他の実施例は、添付された請求項の範囲内で等しく可能である。

さらに、「有する」との用語は、他の要素またはステップを排除するものでなく、「ある」という用語は、複数存在することを排除するものでなく、単一のプロセッサまたは他のユニットは、請求項に記載されたユニットまたは回路のいくつかの機能を実現するかもしれない。

他の実施例では、本装置は、音声信号及び/または映像信号を処理するための処理手段を有する。

図１は、ハードディスクドライブ/光ディスクドライブの組み合わせを有する本発明の一実施例による装置のブロック図である。図２は、本発明による方法の一実施例のフローチャートである。図３は、本発明による方法の他の実施例のフローチャートである。図４は、本発明のさらなる実施例による装置のブロック図である。図５は、コンピュータ可読プログラムを示す。

Claims

第１デジタルメディアデータストリームと該第１メディアデータストリームに関する追加情報を有する第２デジタルメディアデータストリームとを処理する方法であって、
前記第１メディアデータストリームのメディアデータを第１媒体から抽出するステップと、
前記第２メディアデータストリームのメディアデータを第２媒体から抽出するステップと、
を有することを特徴とする方法。
請求項１記載の方法であって、
前記第１メディアデータストリームは、ベースレイヤストリームであり、
前記第２メディアデータストリームは、前記第１メディアデータストリームのクオリティを向上させるための情報を有し、
前記第１及び第２メディアデータストリームは、前記第２メディアデータストリームが前記第１メディアデータストリームの解像度を向上させるのに利用されるまで、個別処理される、
ことを特徴とする方法。
請求項１記載の方法であって、
前記第１メディアデータストリームのメディアデータは、第１メモリから、または無線若しくは有線ベースの送信媒体の第１チャネルを介し前記第１メディアデータストリームを搬送する信号から抽出され、
前記第２メディアデータストリームのメディアデータは、第２メモリから、または無線若しくは有線ベースの送信媒体の第２チャネルを介し前記第２メディアデータストリームを搬送する信号から抽出される、
ことを特徴とする方法。
請求項３記載の方法であって、
前記第１メモリはハードディスクまたはソリッドステートメモリであると共に、前記第２メモリは光ディスクであり、または、
前記第２メモリはハードディスクまたはソリッドステートメモリであると共に、前記第１メモリは光ディスクである、
ことを特徴とする方法。
請求項１記載の方法であって、さらに、
前記第１及び第２メディアデータストリームの少なくとも１つの時間制限の有効性をチェックするステップを有することを特徴とする方法。
請求項１記載の方法であって、
前記処理するステップはさらに、
複製許可されていないデータが存在することをチェックすることにより、前記第１または第２メディアデータストリームの何れかが許可されていないコピーであるか判断するステップと、
許可されずに複製されたメディアデータストリームの再生を禁止するステップと、
を有することを特徴とする方法。
請求項１記載の方法であって、さらに、
タイムスタンプ、フレーム番号またはパケット識別子を用いて、前記第１及び第２メディアデータストリームを同期化するステップを有することを特徴とする方法。
請求項７記載の方法であって、さらに、
前記第１メディアデータストリームを復号するステップと、
前記第２メディアデータストリームを復号するステップと、
を有することを特徴とする方法。
請求項８記載の方法であって、さらに、
前記復号された第１メディアデータストリームと前記復号された第２メディアデータストリームを復号されたエンハンストメディアデータストリームに合成するステップを有することを特徴とする方法。
請求項１記載の方法であって、さらに、
少なくとも前記第１メディアデータストリームまたは前記第２メディアデータストリームのメディアデータを、該メディアデータがもはや有効でない場合、メモリから削除するステップを有することを特徴とする方法。
請求項１記載の方法であって、
前記第２メディアデータストリームは、再生時、前記第１メディアデータストリームの解像度を向上させるためのモデルデータを有することを特徴とする方法。
請求項１記載の方法であって、さらに、
前記第１及び第２メディアデータストリームのデータを少なくとも第１媒体から抽出するステップと、
前記第１及び第２メディアデータストリームを別々の媒体に格納するステップと、
を有することを特徴とする方法。
請求項１２記載の方法であって、
前記第１メディアデータストリームは、第１メモリに格納され、
前記第２メディアデータストリームは、第２メモリに格納される、
ことを特徴とする方法。
請求項１２記載の方法であって、
前記第１メディアデータストリームはハードディスクに格納されると共に、前記第２メディアデータストリームは光ディスクに格納され、または、
前記第２メディアデータストリームはハードディスクに格納されると共に、前記第１メディアデータストリームは光ディスクに格納される、
ことを特徴とする方法。
請求項１２記載の方法であって、
前記第１及び第２メディアデータストリームのデータは、別々の第１媒体と第２媒体から抽出されることを特徴とする方法。
請求項１２記載の方法であって、
前記データは、前記第１及び第２メディアデータストリームのメディアデータを搬送する無線または有線ベースの送信媒体を介し受信される信号から抽出されることを特徴とする方法。
請求項１２記載の方法であって、
前記データを抽出するステップは、前記第１及び第２メディアデータストリームを送信媒体を介し受信された階層化送信ストリームから抽出するステップを有することを特徴とする方法。
請求項１２記載の方法であって、
前記データを抽出するステップはさらに、前記抽出されたメディアデータを前記第１及び第２メディアデータストリームである少なくとも２つの関連するレイヤに符号化するステップを有することを特徴とする方法。
第１メディアデータストリームと該第１メディアデータストリームに関する追加情報を有する第２メディアデータストリームとを処理する装置であって、
前記第１及び第２メディアデータストリームのメディアデータを抽出する手段と、
前記第１及び第２メディアデータストリームのメディアデータを別々の媒体に格納する手段と、
を有することを特徴とする装置。
請求項１９記載の装置であって、さらに、
メディアデータストリームを前記第１及び第２メディアデータストリームに符号化する手段を有することを特徴とする装置。
第１メディアデータストリームと該第１メディアデータストリームに関する追加情報を有する第２メディアデータストリームとを処理する装置であって、
前記第１メディアデータストリームのメディアデータを第１媒体から抽出する手段と、
前記第２メディアデータストリームのメディアデータを第２媒体から抽出する手段と、
を有することを特徴とする装置。
請求項２１記載の装置であって、さらに、
前記第１及び第２メディアデータストリームを同期化する手段と、
前記第１メディアデータストリームを復号する手段と、
前記第２メディアデータストリームを復号する手段と、
前記復号されたメディアデータストリームを合成する手段と、
を有することを特徴とする装置。
コンピュータにより処理のためのコンピュータプログラムを有するコンピュータ可読媒体であって、
前記コンピュータプログラムは、請求項１乃至１８何れか一項記載の方法を実行するためのコードセグメントを有することを特徴とする媒体。