JP2003143575A

JP2003143575A - マルチメディア再生方法及び装置

Info

Publication number: JP2003143575A
Application number: JP2001338168A
Authority: JP
Inventors: Reiko Noda; 玲子野田; Toru Imai; 徹今井; Tatsuya Koretsu; 達也是津
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2001-11-02
Filing date: 2001-11-02
Publication date: 2003-05-16

Abstract

(57)【要約】【課題】シーン記述情報によって記述されたマルチメデ
ィアデータを各メディアオブジェクト間で同期を正しく
とりつつ、シーンの途中から再生する。【解決手段】マルチメディアデータに含まれる各メディ
アオブジェクトの再生に関する時間的順序関係を指定す
るシーン記述情報を内部表現に変換する構文解析部２０
３、内部表現を解釈して時間的順序関係を判定する解釈
部２０５、ネットワークを介してシーン記述情報で時間
的順序関係が指定されたメディアオブジェクトの再生時
間を属性として持つデータを取得する送受信部２０１、
判定された時間的順序関係及び再生時間を属性として持
つデータにより示される再生時間に基づいて、受信した
マルチメディアデータに含まれる各メディアオブジェク
トの再生開始時点を計算する制御部２０９、判定された
順序的関係及び計算された再生開始時点に従ってマルチ
メディアデータを再生する再生部２１０を有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えばＳＭＩＬ(S
ynchronized Multimedia Integrated Language)で記述
されたマルチメディアデータを受信して再生するマルチ
メディア再生方法及び装置に関する。

【０００２】

【従来の技術】画像、音声、テキストその他のディジタ
ル化されたマルチメディアデータを関連付けて表示する
ための記述言語として、ＨＴＭＬ(HyperText Markup La
nguage)が知られている。さらに、マルチメディアデー
タを時間的、空間的に関連付けて表示制御を行うＳＭＩ
ＬやＢＩＦＳなどのシーン記述言語がＷ３ＣやＩＳＯ／
ＩＥＣで規格化されている。

【０００３】映像、音声その他のマルチメディアデータ
の素材を時間空間で指定し、連結して作成した一続きの
プレゼンテーションをマルチメディアシーンと呼ぶ。マ
ルチメディアデータとは、このようなマルチメディアシ
ーンを構成する一連のデータであり、メディアオブジェ
クトとは映像、音声その他の素材データを表す。

【０００４】ＳＭＩＬで扱うことのできるマルチメディ
アデータのオブジェクト形式には、動画、音声、静止
画、アニメーション、テキスト、テキストストリームな
どがある。動画のオブジェクトはビデオオブジェクト、
音声のオブジェクトはオーディオオブジェクト、静止画
のオブジェクトはイメージオブジェクトである。

【０００５】アニメーションとは、一連の静止画を連続
的に表示する画像形式のことである。テキストストリー
ムは、テキストをスクロールさせたり、表示する文字列
の内容を時間的に変化させる文字列制御を行うメディア
の形式である。このようなシーン内の動画、音声、静止
画、テキストなどのメディアオブジェクトを含むマルチ
メディアデータをネットワーク上で転送する処理には、
ダウンロード型転送処理とストリーム型転送処理があ
る。

【０００６】図３は、ＳＭＩＬによるマルチメディアシ
ーンの記述例であり、当該マルチメディアシーンを構成
するマルチメディアデータの各メディアオブジェクトの
再生に関する時間的順序関係を記述している。図４に
は、図３のＳＭＩＬによって記述されたマルチメディア
シーンの表示例を示す。図３に示されるようにＳＭＩＬ
文書は<smil>で始まり、</smil>で終わる。<smil>要素
には<head>と<body>の２つの要素があり、<head>にはレ
イアウト情報やドキュメントの性質を記述し、<body>要
素には表示するメディアオブジェクトの指定や時間的振
る舞いを記述する。レイアウトは、<head>要素の中で<l
ayout>要素を用いて記述する。図３の３〜７行目が該当
部分である。<root-layout>要素でシーンの大きさを指
定し、<region>要素で表示領域を指定する。<root-layo
ut>要素の属性には、シーンの幅と高さを指定するwidt
h,height属性などがある。<region>要素の属性には、領
域の幅と高さを指定するwidth,height属性、表示の全体
領域の上からの表示位置と左からの表示位置を指定する
top,left属性、表示領域に識別子を付けるid属性、背景
色を指定するbackgroundColor属性などがある。

【０００７】図３及び図４においては、メディアオブジ
ェクトはビデオオブジェクト、オーディオオブジェク
ト、イメージオブジェクト及びテキストオブジェクトを
含んであり、ビデオオブジェクト、オーディオオブジェ
クト、イメージオブジェクトはそれぞれ動画、音声、静
止画のオブジェクトである。

【０００８】これらの各メディアオブジェクトの同期制
御は、<body>要素の中で行う。<par>要素は、要素内の
メディアオブジェクトの同時再生を行うことを指示する
記述である。<seq>要素は、要素内のメディアオブジェ
クトを記述の上から順に再生を行うことを指示する記述
である。ここで、<par>〜</par>内に含まれる複数のメ
ディアオブジェクト要素の組、もしくは親要素に<par>
要素を持たない単数のメディアオブジェクト要素をブロ
ックと呼ぶ。各ブロック内の要素は、前ブロックの要素
が再生を終了した後に再生が開始される。すなわち、あ
るブロック内の要素が再生を終了した後、後ブロックの
要素の再生が開始される。メディアオブジェクトの属性
には、表示の開始、終了タイミングを指定するbegin,en
d属性、表示時間を指定するdur属性、メディアオブジェ
クトを表示する領域を領域の識別子で指定するregion属
性、メディアオブジェクトのＵＲＬを示すsrc属性など
がある。

【０００９】メディアオブジェクト要素にbegin属性が
時間値で指定されているとき、その要素の親要素が<par
>要素である場合は、<par>要素の開始時刻からbegin属
性により指定された時間が経過した時点で再生を開始
し、その要素の親要素が<seq>要素である場合は、前要
素の終了時刻からbegin属性により指定された時間が経
過した時点で再生を開始する。end属性に時間値が指定
されているとき、その要素の親要素が<par>要素である
場合は、<par>要素の開始時刻からend属性により指定さ
れた時間が経過した時点で再生を終了し、その要素の親
要素が<seq>要素である場合は、前要素の終了時刻からe
nd属性により指定された時間が経過した時点で再生を終
了する。

【００１０】begin属性やend属性にイベント値が指定さ
れているときは、そのイベントが発生した時刻に再生を
開始あるいは終了する。begin属性が指定されていない
場合は、ブロックの開始時刻、すなわちbegin=”0s”が
明示的に指定されている場合と同等であり、end, dur属
性が指定されていない場合は、終了時刻はメディア本来
の終了時刻が採用される。

【００１１】例えば、図３の１０行目〜２５行目の<seq
>要素で囲まれた要素は順に再生される。すなわち、ま
ず１１行目〜１６行目の<par>要素で囲まれた要素が同
時に再生され、これらの再生が完了した後、１７行目〜
２４行目の<par>要素で囲まれた部分が同時に再生され
る。図３のsample1.smilで記述されたシーンの表示空間
は、図４（ａ）のようになる。図４（ａ）の一番外側の
矩形は、root-layoutにより指定されたシーン全体の領
域である。図４（ａ）のシーン全体の領域の上側の矩形
は、図３の５行目で示された領域videoを示し、下側の
矩形は、図３の６行目で示された領域descを示す。

【００１２】さらに、<body>内の記述により図４（ｂ）
のように領域descでイメージオブジェクトimage1.jpgが
２５秒間再生され、イメージオブジェクトimage1.jpgの
再生開始から５秒後に領域videoでビデオオブジェクトv
ideo1.mp4が１０秒間再生される。イメージオブジェク
トimage1.jpgが再生を終了した後、領域videoでビデオ
オブジェクトvideo2.mp4、領域descでテキストオブジェ
クトtext1.txtが同時に再生を開始し、5秒遅れてオーデ
ィオオブジェクトaudio1.mp3が再生を開始する。テキス
トオブジェクトtext1.txtは１５秒間再生され、ビデオ
オブジェクトvideo2.mp4及びオーディオオブジェクトau
dio1.mp3はメディア自体が終了するまで再生される。ビ
デオオブジェクトvideo2.mp4が再生を終了すると続いて
ビデオオブジェクトvideo3.mp4が再生を開始し、メディ
ア自体が終了するまで再生が行われる。

【００１３】また、ＳＭＩＬではＳＭＩＬファイル及び
ＳＭＩＬファイル内の任意の要素に対するリンクを生成
することができる。例えば、図３の１３行目〜１５行目
で示される<a>要素で囲まれた要素は、リンク元の要素
となる。<a>要素はhref属性を持ち、リンク先のＳＭＩ
ＬファイルのＵＲＬもしくはＳＭＩＬファイルのＵＲＬ
とＳＭＩＬファイル内の任意の要素のidを示す#から始
まるフラグメントを指定する。１３行目の<a>要素で
は、リンク先として同じＳＭＩＬファイル内の２０行目
に示されるビデオオブジェクトvideo3.mp4が指定されて
いる。

【００１４】従って、図３のＳＭＩＬファイルの再生中
の再生開始から２５秒までの間に、図４のdesc領域に表
示されているイメージオブジェクトimage1.jpgに対して
ユーザがマウスなどによるクリックなどの動作を行う
と、ビデオオブジェクトvideo3.mp4が再生を開始する時
点からシーンが再生される。すなわち、ビデオオブジェ
クトvideo3.mp4がクリップの０秒目から領域videoで再
生され、同時にオーディオオブジェクトaudio1.mp3がビ
デオオブジェクトvideo2.mp4の再生時間からオーディオ
オブジェクトaudio1.mp3の開始遅延時間（５秒間）を減
じた時間だけクリップを早送りした時点から再生を開始
する。

【００１５】

【発明が解決する課題】上記のようなＳＭＩＬなどによ
り記述されたマルチメディアデータをネットワークを介
して受信し、再生中にＳＭＩＬファイルの内部に含まれ
る要素を示すリンクを実行した場合や、ＳＭＩＬファイ
ルの内部に含まれる要素を指定し、その要素からの再生
を行う場合、すなわちマルチメディアデータをシーンの
途中から再生する場合には、各要素と同期しているメデ
ィアオブジェクトの再生開始時点を計算することによっ
て、正しく同期再生しなければならない。

【００１６】ＳＭＩＬファイルのようなシーン記述情報
は、各マルチメディアオブジェクトをノードとした入れ
子構造で記述されているため、各マルチメディアオブジ
ェクトの再生開始時点は、各マルチメディアオブジェク
トの再生に関連する他のマルチメディアオブジェクトの
再生開始時刻及び終了時刻から計算によって求まる。

【００１７】しかし、動画コンテンツや音声コンテンツ
などのマルチメディアデータがストリーミング再生され
る場合、一般にはＳＭＩＬファイルの記述からマルチメ
ディアデータの各メディアオブジェクトの再生終了時刻
を得ることはできない。実際にストリーミング再生を行
えば、再生終了時刻を得ることができるが、これに従っ
てメディアオブジェクトの再生開始時点を求めて再生を
行うと、ＳＭＩＬの記述に反する動作になり、再生を行
わなくとも多大な遅延が生じる。

【００１８】従って、再生時間（再生所要時間）がＳＭ
ＩＬの記述に明記されていないメディアオブジェクトが
途中再生を開始するメディアオブジェクトより時間的に
前に再生するよう指定されている場合、同期して再生を
開始しなければならないメディアオブジェクトの再生開
始時点を一般には計算できない。例えば、図３及び図４
の例で、ビデオオブジェクトvideo3.mp4の再生開始時点
からＳＭＩＬファイルで記述されたシーンを再生する場
合、ビデオオブジェクトvideo2.mp4とオーディオオブジ
ェクトaudio1.mp3の再生時間が明確でないと、正しく同
期再生することができない。

【００１９】具体的には、例えば図４の例のようにビデ
オオブジェクトvideo2.mp4の再生時間が１５秒以上の場
合には、ビデオオブジェクトvideo3.mp4の再生開始時点
で同期して再生されるマルチメディアオブジェクトは、
オーディオオブジェクトaudio1.mp3のみとなる。一方、
図４の例とは異なり、ビデオオブジェクトvideo2.mp4が
１５秒未満のコンテンツであった場合には、ビデオオブ
ジェクトvideo3.mp4の再生開始時点で同期して再生され
るマルチメディアオブジェクトは、テキストオブジェク
トtext1.txt及びオーディオオブジェクトaudio1.mp3と
なる。しかし、ＳＭＩＬファイルの記述からはビデオオ
ブジェクトvideo2.mp4の再生時間を得ることはできない
ため、同期して再生するオブジェクトを特定できない。
また、オーディオオブジェクトaudio2.mp3の再生開始時
点は、ビデオオブジェクトvideo2.mp4の再生時間からオ
ーディオオブジェクトaudio1.mp3の開始遅延時間（５
秒）を減じた時間だけクリップを早送りした時点となる
ため、ビデオオブジェクトvideo2.mp4の再生時間が明確
でないと計算することができない。

【００２０】このようにＳＭＩＬファイルに代表される
シーン記述情報で記述されたマルチメディアデータの再
生において、従来の技術では再生時間の不明なメディア
オブジェクトを含むシーンを途中から再生する場合に、
同期のとれた再生を行うことができないという問題点が
あった。

【００２１】本発明は、シーン記述情報によって記述さ
れたマルチメディアデータを各メディアオブジェクト間
で同期を正しくとりつつ、シーンの途中から再生するこ
とを可能とするマルチメディア再生方法及び装置を提供
することを目的とする。

【００２２】

【発明を解決するための手段】上記課題を解決するた
め、本発明ではネットワークを介して転送される複数の
メディアオブジェクトを含むマルチメディアデータを受
信して再生するマルチメディア再生に際して、マルチメ
ディアデータに含まれる各メディアオブジェクトの再生
に関する時間的順序関係を記述したシーン記述情報を入
力し、このシーン記述情報から時間的順序関係を判定す
る。一方、ネットワークを介してシーン記述情報によっ
て時間的順序関係が記述された少なくとも一つのメディ
アオブジェクトの再生時間を属性として持つデータを取
得し、判定された時間的順序関係及び該再生時間を属性
として持つデータにより示される再生時間に基づいて、
受信したマルチメディアデータに含まれる各メディアオ
ブジェクトの再生開始時点を計算する。判定された順序
的関係及び計算された再生開始時点に従って、受信した
マルチメディアデータを再生する。

【００２３】より具体的には、シーン記述情報によって
時間的順序関係が記述された複数のメディアオブジェク
トを、一つのメディアオブジェクトまたは同時再生され
るべき複数のメディアオブジェクトを含むブロックに区
分したシーン記述情報を入力する。マルチメディアデー
タを途中から再生する場合のエントリとして指定された
メディアオブジェクトを含むブロック内の少なくとも一
つのメディアオブジェクトの再生時間を属性として持つ
データを取得する。時間的順序関係及び再生時間に基づ
いて、マルチメディアデータを途中から再生する場合の
エントリとして指定されたメディアオブジェクトを含む
ブロック内の各メディアオブジェクトの再生開始時点を
計算する。

【００２４】本発明に係るマルチメディア再生装置は、
マルチメディアデータに含まれる各メディアオブジェク
トの再生に関する時間的順序関係を記述したシーン記述
情報を構文解析して内部表現に変換する手段と、内部表
現を解釈して時間的順序関係を判定する手段と、ネット
ワークを介してシーン記述情報によって時間的順序関係
が記述された少なくとも一つのメディアオブジェクトの
再生時間を属性として持つデータを取得する手段と、判
定された時間的順序関係及び再生時間を属性として持つ
データにより示される再生時間に基づいて、受信したマ
ルチメディアデータに含まれる各メディアオブジェクト
の再生開始時点を計算する手段と、判定された順序的関
係及び計算された再生開始時点に従って、受信したマル
チメディアデータを再生する手段とを有する。

【００２５】本発明によると、ネットワークを介して転
送される複数のメディアオブジェクトを含むマルチメデ
ィアデータを受信して再生する処理をコンピュータに実
行させるためのプログラムであって、マルチメディアデ
ータに含まれる各メディアオブジェクトの再生に関する
時間的順序関係を記述したシーン記述情報を入力する処
理と、シーン記述情報から前記時間的順序関係を判定す
る処理と、ネットワークを介してシーン記述情報によっ
て時間的順序関係が記述された少なくとも一つのメディ
アオブジェクトの再生時間を属性として持つデータを取
得する処理と、判定された時間的順序関係及び再生時間
を属性として持つデータにより示される再生時間に基づ
いて、受信したマルチメディアデータに含まれる各メデ
ィアオブジェクトの再生開始時点を計算する処理と、判
定された順序的関係及び計算された再生開始時点に従っ
て、受信したマルチメディアデータを再生する処理とを
コンピュータに実行させるためのプログラムが提供され
る。

【００２６】また、本発明によるとネットワークを介し
て転送される複数のメディアオブジェクトを含むマルチ
メディアデータを受信して再生する処理をコンピュータ
に実行させるためのプログラムであって、マルチメディ
アデータに含まれる各メディアオブジェクトの再生に関
する時間的順序関係を記述したシーン記述情報であっ
て、該時間的順序関係が記述された複数のメディアオブ
ジェクトを、一つのメディアオブジェクトまたは同時再
生されるべき複数のメディアオブジェクトを含むブロッ
クに区分したシーン記述情報を入力する処理と、シーン
記述情報から時間的順序関係を判定する処理と、ネット
ワークを介してシーン記述情報によって時間的順序関係
が記述された少なくともメディアオブジェクトのうち、
マルチメディアデータを途中から再生する場合のエント
リとして指定されたメディアオブジェクトを含むブロッ
ク内の少なくとも一つのメディアオブジェクトの再生時
間を属性として持つデータを取得する処理と、判定され
た時間的順序関係及び再生時間を属性として持つデータ
により示される再生時間に基づいて、受信したマルチメ
ディアデータに含まれる各メディアオブジェクトのうち
エントリとして指定されたメディアオブジェクトを含む
ブロック内の各メディアオブジェクトの再生開始時点を
計算する処理と、判定された順序的関係及び計算された
再生開始時点に従って、受信したマルチメディアデータ
を再生する処理とをコンピュータに実行させるためのプ
ログラムが提供される。さらに、本発明によると上記プ
ログラムを格納した記録媒体を提供することもできる。

【００２７】

【発明の実施の形態】以下、本発明の実施の形態を図を
用いて説明する。図１は、本発明の一実施形態に係るマ
ルチメディア再生装置を含むデータ転送システムの全体
的な構成を示している。このデータ転送システムは、マ
ルチメディアデータ配信装置である複数のサーバ１０
１,１０２と、サーバ１０１,１０２から転送されるマル
チメディアデータを受信して再生するマルチメディア再
生装置としてのクライアント端末２００を含み、各サー
バ１０１，１０２とクライアント端末２００はネットワ
ーク３００により接続されている。

【００２８】サーバ１０１，１０２からクライアント端
末２００へのマルチメディアデータの転送処理は、原則
としてクライアント端末２００を使用するユーザが再生
したい全てのマルチメディアデータの受信完了後に再生
を行うようにマルチメディアデータを転送するダウンロ
ード型転送処理と、再生したい全てのマルチメディアデ
ータの受信が完了する前にマルチメディアデータの再生
を開始するようにマルチメディアデータを転送するスト
リーム型転送処理の２つの処理を含む。

【００２９】サーバ１０１または１０２からクライアン
ト端末２００への転送プロトコルとして、ストリーム型
転送処理ではＲＴＳＰ（Real-time Streaming protoco
l）が用いられ、ダウンロード型転送処理ではＨＴＴＰ
（Hypertext Transfer protocol）が用いられるものと
する。例えば、第１のサーバ１０１が転送プロトコルに
ＨＴＴＰを用いてマルチメディアデータの転送を行い、
第２のサーバ１０２が転送プロトコルにＲＴＳＰを用い
てマルチメディアデータの転送を行うものとする。図１
に示した例では、第１のサーバ１０１はfoo.comという
識別子、第２のサーバ１０２はbar.comという識別子で
それぞれ示される別の計算機で実現されるが、必ずしも
この限りではなく、サーバ１０１，１０２が同じ計算機
で実現され、同じ識別子で表現されても構わない。

【００３０】第１のサーバ１０１は、シーン記述情報と
して例えばＳＭＩＬファイルを保持するとともに、この
ＳＭＩＬファイルで記述されるマルチメディアシーンに
含まれるダウンロード型のマルチメディアオブジェクト
からなるマルチメディアデータを保持している。第２の
サーバ１０２は、第１のサーバ１０１に保持されている
ＳＭＩＬファイルで記述されるマルチメディアシーンに
含まれるストリーム型のマルチメディアオブジェクト
と、そのマルチメディアオブジェクトの所在とそのオブ
ジェクトを要求するための属性を記述したセッションデ
ィスクリプションプロトコル（ＳＤＰ）データを保持し
ている。

【００３１】ＳＤＰは、マルチメディアオブジェクトの
エンコード方式、データ種別、所在場所、時間情報及び
伝送形式などのデータストリーミングに関する記述方法
であり、ＩＥＴＦ（Internet Engineering Task Forc
e）で規格化されている（ＲＦＣ２３２７）。ＳＤＰデ
ータは、ＳＭＩＬファイルで記述されたマルチメディア
シーンに含まれるメディアオブジェクトの再生時間を属
性として持っている。ＳＤＰデータの具体例について
は、後述する。

【００３２】図２には、サーバ１０１，１０２より転送
されるマルチメディアデータを受信して表示再生を行う
クライアント端末２００の内部構成を示す。送受信部２
０１は、基本的にサーバ１０１，１０２にマルチメディ
アデータの転送要求を送信する機能と、サーバ１０１，
１０２から転送されてくるシーン記述情報であるＳＭＩ
Ｌファイル及び該ＳＭＩＬファイルで記述されたマルチ
メディアシーンに含まれるマルチメディアオブジェクト
及びＳＤＰデータを受信する機能を有する。

【００３３】送受信部２０１で受信されたＳＭＩＬファ
イル、マルチメディアオブジェクト及びＳＤＰデータ
は、受信バッファ２０２に一時格納される。構文解析部
２０３は、受信バッファ２０２に格納されたＳＭＩＬフ
ァイルを読み込んで構文解析を行い、そのＳＭＩＬファ
イルを例えばＷ３Ｃで規定されるＤＯＭ（Document Obj
ect Model）２０４などのファイルの内部表現に展開
（変換）する。解釈部２０５は、ＤＯＭツリーを解析し
てマルチメディアオブジェクトの再生開始時刻を決定す
るタイミングツリー２０７と、マルチメディアデータの
表示領域を決定する領域テーブル２０８を作成する。

【００３４】解釈部２０５で作成されたタイミングツリ
ー２０７は、制御部２０９を介して転送スケジューリン
グ部２０６に転送される。転送スケジューリング部２０
６では、制御部２０９による制御下でタイミングツリー
２０７に基づいてマルチメディアシーン内のマルチメデ
ィアオブジェクトの転送スケジューリングを行い、その
スケジューリングに基づき送受信部２０１を介してサー
バ１０１または１０２にマルチメディアオブジェクト及
びＳＤＰデータの転送要求を行う。転送スケジューリン
グ部２０６はＳＤＰデータを解析し、ＳＤＰデータの記
述に含まれるマルチメディアオブジェクトの再生時間を
得て制御部２０９に通知する。

【００３５】制御部２０９は、再生部２１０からの再生
開始／終了コマンド及びユーザからの入力イベントと、
転送スケジューリング部２０６からＳＤＰデータに記述
されたマルチメディアオブジェクトの再生時間を受け取
り、これらに基づいて解釈部２０５に対してタイミング
ツリー２０７を更新させる制御を行う。さらに、制御部
２０９は再生部２１０からの再生開始／終了コマンド、
ユーザからの入力イベント、タイミングツリー２０７及
び領域テーブル２０８に基づいて転送スケジューリング
部２０６及び再生部２１０の制御を行う。

【００３６】再生部２１０は、制御部２１０による制御
下で受信バッファ２０２に格納されたマルチメディアオ
ブジェクトを読み込み、そのマルチメディアオブジェク
トの種類（データ型）に基づきデコーダ２１１ａ〜２１
１ｄのいずれかを選択する。マルチメディアオブジェク
トが例えばＭＰＥＧ方式などによって符号化された映像
（ビデオ）や、ＪＰＥＧ方式等によって符号化された静
止画（イメージ）の場合、デコーダ２１１ａ〜２１１ｃ
によって復号が行われ、ディスプレイ２１２で表示再生
が行われる。マルチメディアオブジェクトがＭＰ３方式
などによって符号化される音楽や音声の場合には、デコ
ーダ２１１ｄによって復号が行われ、スピーカ２１３で
再生される。

【００３７】なお、受信バッファ２０２、ＤＯＭツリー
２０４、タイミングツリー２０７及び領域テーブル２０
８は、コンピュータの主記憶にあってもよいし、フラッ
シュメモリやハードディスクなどの記憶媒体にあっても
よい。

【００３８】また、本実施形態ではクライアント端末２
００において、シーン記述情報であるＳＭＩＬファイル
をマルチメディアデータ配信装置である第１のサーバ１
０１からネットワーク３００を介して入力すると説明し
たが、これに限られるものではなく、例えばマルチメデ
ィアデータ配信装置とは別の箇所から入力してもよい
し、クライアント端末２００側で用意して入力するよう
にしても構わない。次に、本実施形態のデータ転送シス
テムの動作の概略を説明する。まず、ユーザが例えば図
３に示したＳＭＩＬファイルsample1.smilのＵＲＬであ
るhttp://foo.com/sample1.smilを指定するか、ディス
プレイ２１２で表示中のホームページ内の該ＵＲＬに対
するリンクをクリックするなどの動作を行うことで、sa
mple1.smilの転送の要求を行うと、送受信部２０１は該
ＵＲＬに記述された第１のサーバ２０１に対してsample
1.smilの転送を要求する。これによりＳＭＩＬファイル
sample1.smilがサーバ１０１からクライアント端末２０
０に転送され、クライアント端末２００では送受信部２
０１によりsample1.smilを受信し、受信バッファ２０２
に格納する。

【００３９】受信バッファ２０２に格納されたＳＭＩＬ
ファイルsample1.smilは、構文解析部２０３によって読
み込まれ、ＤＯＭツリー２０４に展開される。図５は、
ＤＯＭツリー１０４の例を示す図である。ＳＭＩＬファ
イルは、開始タグに対応した終了タグが必ず存在し、こ
れらがネストされた構造をしている。このタグの階層構
造を、タグをノードとしたツリー構造として表現したの
がＤＯＭツリー２０４である。

【００４０】ＤＯＭツリー２０４の各ノードには、それ
ぞれのタグで表される要素が持つ属性値を格納する。図
５の例では、ルートノードは図３の１行目と２２行目で
表されるsmilとなり、その子ノードは図３の２行目〜８
行目で表されるheadと９行目〜２１行目で示されるbody
となる。headの子ノードは図３の３行目〜６行目で示さ
れるlayoutとなり、その子ノードは４行目のroot-layou
t及び５行目と６行目のregionとなる。root-layoutやre
gionは属性を持つので、その値は各ノード内に格納され
る。bodyの子ノードについても同様に順次タグを解析
し、ツリー構造に展開する。

【００４１】ＤＯＭツリー２０４は解釈部２０５によっ
て読み込まれ、領域テーブル２０８が作成される。図６
は領域テーブル２０８の例を示す図であり、図５のＤＯ
Ｍツリー２０４のlayout要素の子要素であるregion要素
の属性から作成されるテーブルである。領域テーブル２
０８は、例えば領域を識別子を格納するid、背景色を格
納するbgcolor、領域の左上の座標を格納する位置、領
域の幅と高さを格納するサイズの４つの組からなる。

【００４２】例えば、図３の例では５行目のregion要素
より、id属性の値を図６のidに格納する。また、top,le
ft属性からこの矩形領域の左上の座標を図６の位置に格
納し、width, height属性からこの矩形領域の幅と高さ
を図６のサイズに格納する。backgroundColor属性は指
定されていないため、“−”が図６のbgcolorに格納さ
れる。６行目のregion要素に関しても同様に、図６の領
域テーブル２０８に格納される。この領域テーブル２０
８は、マルチメディアオブジェクトの表示時に参照さ
れ、これに基づき表示位置が指定される。

【００４３】解釈部２０６では、タイミングツリー２０
７も作成される。図７はタイミングツリー２０７を示す
図であり、図５に示したＤＯＭツリー２０４のbody要素
の子要素から、par要素、seq要素及びマルチメディアオ
ブジェクト要素を解析することによって作成される。タ
イミングツリー２０７の各ノードには、マルチメディア
オブジェクト要素の属性情報（begin, end, dur, alt,
title, longdesc, fill, region, src, type）が格納さ
れるほか、各要素の実効的な開始・終了時刻がその属性
情報より計算され、付与される。各要素の実効的な再生
開始時刻及び再生終了時刻は、SMIL2.0仕様書に記載さ
れている時間モデルより計算される。

【００４４】例えば、図７の例では初めのseq要素の実
効的な開始時刻は、再生が開始された時刻（play）であ
り、seq要素の1番目の子要素parの実効的な開始時刻
は、親要素であるseqの実効的な開始時刻（parent.begi
n）である。これはplayに等しい。さらに、par要素の子
要素であるvideo要素とimg要素の実効的な開始時刻は、
begin属性に明示的に時間値が指定されているため、親
要素の実効的開始時刻にその値を加えた時刻となる。す
なわち、video要素の実効的開始時刻はparent.begin+5s
となり、img要素の実効的開始時刻はparent.beginとな
る。

【００４５】一般に、ある要素の実効的な再生開始時刻
及び再生終了時刻は、親要素及び前要素の再生開始時
刻、再生終了時刻及びユーザからのイベントの発生時刻
から決定されるため、図１の制御部２０９は再生開始／
終了コマンドやユーザからのイベントを検知するたびに
解釈部２０５にタイミングツリー２０７を更新するよう
指示を出す。

【００４６】図８は、ＳＭＩＬファイルsample1.smilに
よるシーンの再生が開始された直後のタイミングツリー
２０７を示している。このタイミングツリー２０７はシ
ーンの再生を開始した時刻を制御部２０９が検知し、そ
の時刻を解釈部２０５に伝え、解釈部１０５がそれに伴
って更新したものである。この例の場合、シーンの再生
が開始された時刻が２００１年２月１９日１６時３０分
１５秒（2001/2/19 16:30:15:000）とすると、まずseq
要素の実効的開始時刻を2001/2/19 16:30:15:000に更新
する。これによってseq要素の初めの子要素のpar要素の
実効的開始時刻が確定するので、次に2001/2/19 16:30:
15:000に更新する。これによりpar要素の子要素であるv
ideo要素の再生開始時刻及び再生終了時刻が確定するの
で、par要素の子要素であるvideo要素の実効的開始時刻
を2001/2/19 16:30:20:000に更新し、実効的終了時刻も
2001/2/19 16:30:25:000に更新する。

【００４７】また、img要素の実効的開始時刻及び実効
的終了時刻も同様に確定するので、2001/2/19 16:30:1
5:000, 2001/2/19 16:30:40:000に更新する。これに伴
って、親要素のpar要素の実効的終了時刻も確定し、max
(2001/2/19 16:30:25:000, 2001/2/19 16:30:40:000)、
すなわち2001/2/19 16:30:40:000に更新する。また、se
q要素の次の子要素であるpar要素の実効的開始時刻も確
定し、2001/2/19 16:30:40:000に更新する。さらに、そ
の子要素であるvideo要素、audio要素及びtext要素の実
効的開始時刻、seq要素の子要素である１番目のvideo要
素の実効的開始時刻及びtext要素の実効的終了時刻につ
いても同様に確定し、それぞれ2001/2/1916:30:40:000,
2001/2/19 16:30:45:000, 2001/2/19 16:30:40:000, 2
001/2/1916:30:40:000, 2001/2/19 16:30:55:000に更新
する。このように解釈部２０５は、イベントにより確定
した時刻を基にタイミングツリーの再生開始時刻または
再生終了時刻の確定した要素を更新する。

【００４８】転送スケジューリング部２０６は、制御部
２０９により更新されたタイミングツリー２０７の再生
開始時刻に間に合うように、マルチメディアオブジェク
トをサーバ１０１あるいは１０２から取得する旨の指示
を送受信部２０１に出す。この指示を受けて、送受信部
２０１は当該オブジェクトがダウンロード型オブジェク
トであった場合はＨＴＴＰを用いてオブジェクトのデー
タを取得し、受信バッファ２０２に格納する。

【００４９】当該オブジェクトがストリーム型オブジェ
クトであった場合は、転送スケジューラ２０６はＳＤＰ
データを要求する旨の指示を送受信部２０１に出す。こ
の指示を受けて、送受信部２０１はサーバ１０２に対し
て当該オブジェクトのＳＤＰデータを取得するためのコ
マンドＤＥＳＣＲＩＢＥを送信する。このコマンドＤＥ
ＳＣＲＩＢＥを受けたサーバ１０２はＳＤＰデータを送
信し、これを送受信部２０１が受信して受信バッファ２
０２に格納する。ＤＥＳＣＲＩＢＥとは、クライアント
からオブジェクトのＵＲＬに記述されたサーバに対し、
当該オブジェクトのＳＤＰデータを要求するＲＴＳＰの
コマンドであり、具体的な仕様についてはＩＥＴＦの発
行するＲＴＳＰの仕様書ＲＦＣ２３２６の１０章に記載
されている。

【００５０】図９は、ＳＤＰデータの記述の一部を示す
例である。属性mには、メディアの種類、メディアが送
信されるポート番号、プロトコル、ペイロードタイプが
指定される。属性a=controlにはメディアオブジェクト
の所在を示すＵＲＬを指定し、属性a=rangeにはメディ
アの開始時間と終了時間を指定する。図９の例では、メ
ディアの種類が動画であり、送信ポートはクライアント
で割り当てることを示す０、送信のプロトコルはＲＴＰ
／ＡＶＰ、ペイロードタイプは９６であることが指定さ
れている。メディアオブジェクトのデータの所在を示す
ＵＲＬは、rtsp://bar.com/video2.mp4/TrackID=1と指
定されている。ＭＰ４はＭＰＥＧ−４を格納するための
ファイルフォーマットとしてＩＳＯで規定された国際標
準規格（ＩＳＯ／ＩＥＣ１４４９６）であり、ＭＰ４
ファイル内の各トラックにメディアのデータが格納され
ている。図９の例では、ＭＰ４ファイル内のTrackIDが1
のメディアデータを示している。

【００５１】また、図９のＳＤＰデータの記述では、メ
ディアオブジェクトの再生は０秒目から開始し、１８秒
目に終了することを示している。すなわち、ＳＤＰデー
タはメディアオブジェクトの再生時間を属性として持っ
ている。

【００５２】転送スケジューラ２０６は、受信バッファ
２０２に格納されたＳＤＰデータを読み込んで解析し、
クライアントのポート番号、プロトコル、所在場所及び
再生時間を得る。図９に示したＳＤＰデータの例では、
クライアントのポート番号はクライアントが割り当てる
ことを示す０が指定されているため、送受信部２０１に
ポートの割り当てを指定する。プロトコルはＲＴＰ／Ａ
ＶＰであり、所在場所はrtsp://bar.com/video2.mp4/Tr
ackID=1、そして再生時間は１８秒となる。

【００５３】転送スケジューラ２０６は、サーバ１０２
に対して送受信部２０１が割り当てたポート番号、ＳＤ
Ｐデータから得た所在場所、プロトコルを用いてＳＥＴ
ＵＰの要求を行うように送受信部２０１に指示を出すと
ともに、メディアオブジェクトの再生時間を制御部２０
９に通知する。その後、転送スケジューラ２０６はＰＬ
ＡＹコマンドを送信するように送受信部２０１に指示を
出し、送受信部２０１は再生開始に必要なデータ量を受
信バッファ２０２に格納する。ＳＥＴＵＰとは、ＲＴＳ
Ｐにおいてクライアントからサーバに対する転送準備の
要求であり、この要求を受けたサーバはセッションを生
成し、オブジェクトの転送を開始できる状態にする。Ｐ
ＬＡＹとは、ＲＴＳＰにおいてクライアントからサーバ
に対するデータ転送の要求であり、この要求を受けたサ
ーバはオブジェクトのデータの転送を開始する。ＳＥＴ
ＵＰ、ＰＬＡＹの具体的な方法については、ＲＴＳＰの
ＲＦＣ２３２６の１０章に記載されている。

【００５４】受信バッファ２０２に格納されたマルチメ
ディアオブジェクトデータは、再生部２１０に渡され
る。制御部２０９は、タイミングツリー２０７及び領域
テーブル２０８に基づいて再生部２１０に対して該当時
刻・位置にオブジェクトを再生するように指示を出す。
再生部２１０は、この指示に従いオブジェクトのデータ
型によりデコーダ２１１ａ〜２１１ｄを選択し、選択し
たデコーダの出力をディスプレイ２１２及びスピーカ２
１３へ送出する。再生部２１０は再生が開始または終了
すると、その旨を制御部２０９に通知する。制御部２０
９は、この通知を受けて解析部２０５に対してタイミン
グツリー２０７の更新指示を出す。これらの処理は、シ
ーン内のマルチメディアオブジェクトの表示再生を終了
するまで行われる。

【００５５】次に、図３で示されるマルチメディアシー
ンに含まれるイメージオブジェクトimage1.jpgに表示に
対してユーザによるマウスクリックなどの操作が行われ
ることにより、イメージオブジェクトimage1.jpgに指定
されたリンクが実行されたときの制御部２０９の動作に
ついて説明する。図３で示される１４行目のイメージオ
ブジェクトimage1.jpgに対して指定されているリンクで
ある１３行目の<a>要素のhref属性は、”#video3”と指
定されている。これは同じＳＭＩＬファイル内の要素の
idがvideo3である要素の再生開始時点から、マルチメデ
ィアシーンの再生を開始することを意味する。図３の例
では、id=”video3”と指定されている、ビデオオブジ
ェクトvideo3.mp4を示す２０行目の要素が再生のエント
リポイントとなる。

【００５６】図４（ｂ）によれば、ビデオオブジェクト
video3.mp4が再生を開始するとき、これと同期して再生
されているメディアオブジェクトは、オーディオオブジ
ェクトaudio1.mp3のみである。ところが、ビデオオブジ
ェクトvideo3.mp4が属するブロックと同じブロック内の
ビデオオブジェクトvideo2.mp4とオーディオオブジェク
トaudio1.mp3の再生時間によっては、video3.mp4と同期
して再生されるオブジェクトは必ずしもaudio1.mp3のみ
とはならないない可能性がある。例えば、ビデオオブジ
ェクトvideo2.mp4の再生時間が１５秒よりも短い場合
は、オーディオオブジェクトaudio1.mp3のみでなく、テ
キストオブジェクトtext1.txtも同時に表示されなけれ
ばならない。従って、このようにマルチメディアシーン
の途中から再生を開始する場合は、ブロック内の時間的
に連続なメディアオブジェクト（ビデオオブジェクト及
びオーディオオブジェクト）の再生時間を得る必要があ
る。

【００５７】以下、図１０に示すフローチャートを用い
て、本実施形態におけるマルチメディアシーンの途中か
らマルチメディアデータの再生を行う場合の処理手順に
ついて説明する。まず、ＳＭＩＬファイル内のオブジェ
クトに対するリンクが実行されると、制御部２０９はそ
のオブジェクトを含むブロックを得る（ステップＳ
１）。図３及び図４の例では、ブロック２となる。次
に、制御部２０９はブロック内の連続メディアオブジェ
クト（時間的に連続なメディアオブジェクト）のＳＤＰ
データを要求するように、転送スケジューラ２０６に指
示を出す（ステップＳ２）。この指示に基づいて、転送
スケジューラ２０６が送受信部２０１に対してＳＤＰデ
ータをサーバ１０２に要求する旨の指示を出すと、送受
信部２０１はＳＤＰデータを要求するコマンドＤＥＳＣ
ＲＩＢＥを送信し、サーバ１０２よりＳＤＰデータを受
信して受信バッファ２０２に格納する。

【００５８】次に、転送スケジューラ２０６は受信バッ
ファ２０２より当該ＳＤＰデータを読み込んで解析し、
ＳＤＰデータのa=rangeに記載された連続メディアオブ
ジェクトの再生時間を取得する（ステップＳ３）。次に、制御部２０９は解釈部２０５に対し、マルチメデ
ィアシーンの途中からマルチメディアデータを再生する
場合の途中再生のエントリとして指定された要素の実効
的開始時刻を再生開始時刻playとして、タイミングツリ
ー２０７を更新させる（ステップＳ４）。

【００５９】図３の例において、ブロック２の連続メデ
ィアオブジェクトを構成するオーディオオブジェクトau
dio1.mp3、ビデオオブジェクトvideo2.mp4及びビデオオ
ブジェクトvideo3.mp4の再生時間がそれぞれａ秒、ｖ１
秒及びｖ２秒とすると、ステップＳ４により更新された
タイミングツリー２０７は図１１のようになる。さら
に、例えば再生開始時刻が2001/7/19 10:18:00であると
し、オーディオオブジェクトaudio1.mp3の再生時間がａ
＝３０秒、ビデオオブジェクトvideo2.mp4の再生時間が
ｖ１＝２５秒、ビデオオブジェクトvideo3.mp4の再生時
間がｖ２＝１５秒とすると、ステップＳ４により更新さ
れたタイミングツリー２０７は図１２のようになる。

【００６０】制御部２０９は、このようにして計算され
たメディアオブジェクトの各要素の実効的開始時刻と実
効的終了時刻から、各メディアオブジェクトの再生開始
時点を求める（ステップＳ５）。ある要素の実効的開始
時刻と実効的終了時刻が、途中再生のエントリとして指
定された要素の実効的開始時刻を含み、その要素が連続
メディアオブジェクトを示す要素であった場合、制御部
２０９はその実効的開始時刻と指定されたメディアオブ
ジェクトの実効的開始時刻の差を求める。

【００６１】図１２のタイミングツリー２０７より、図
３の例では指定されたメディアオブジェクトの再生開始
時刻は2001/7/19 10:18:00であり、この時刻を実効的開
始時刻と実効的終了時刻が含むメディアオブジェクトは
オーディオオブジェクトaudio1.mp3のみであり、実効的
開始時刻との差は２０秒である。従って、オーディオオ
ブジェクトaudio1.mp3は２０秒目から再生されることに
なる。

【００６２】さらに、制御部２０９はブロック内の途中
から再生されるメディアオブジェクト、及びこれから再
生されるべきメディアオブジェクトの再生開始に必要な
データを取得するように転送スケジューラ２０６に指示
を出し、その指示を受けた転送スケジューラ２０６は送
受信部２０１に対し、ダウンロード型オブジェクトのダ
ウンロードとストリーム型オブジェクトのバッファリン
グを行うように指示する（ステップＳ６）。この手順に
ついては、前述の通常再生時と同様である。

【００６３】ブロック内のこれから再生されるべきメデ
ィアオブジェクトのダウンロードとバッファリングが完
了すると、制御部２０９は前記通常再生時と同様の処理
を行い、再生を開始する（ステップＳ７）。

【００６４】以上に示した途中再生の動作においては、
再生中のマルチメディアシーンと同じＳＭＩＬファイル
内のある要素に対するリンクの実行時について説明した
が、他のＳＭＩＬファイル内のある要素に対するリンク
の実行時、及びユーザがはじめに指定するＵＲＬがＳＭ
ＩＬファイル内のある要素を示す場合（例えばhttp://f
oo.com/sample1.smi#video3）も同様の処理が行われ
る。

【００６５】このように本実施形態では、ＳＭＩＬのよ
うなシーン記述情報によって各メディアオブジェクトの
再生に関する時間的順序関係が記述されたマルチメディ
アシーンの途中からマルチメディアデータを再生する場
合、予め連続メディアオブジェクトの再生時間をＳＤＰ
データを取得することによって、シーン内のマルチメデ
ィアオブジェクトの再生開始時点を計算し、シーン記述
情報の記述に正しく従った同期再生を行うことができ
る。

【００６６】

【発明の効果】以上説明したように、本発明によればＳ
ＭＩＬのようなシーン記述情報によって各メディアオブ
ジェクトの再生に関する時間的順序が記述されたマルチ
メディアシーンの途中からマルチメディアデータを再生
する場合にも、シーン記述情報の記述に正しく従った同
期再生を行うことができる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係るマルチメディア再生
装置を含むデータ転送システムの全体構成を示すブロッ
ク図

【図２】同実施形態に係るマルチメディア再生装置の内
部構成を示すブロック図

【図３】同実施形態に係るマルチメディア再生装置にて
扱われるＳＭＩＬにより記述されたシーンを説明するた
めの図

【図４】ＳＭＩＬにより記述されたマルチメディアシー
ンの各メディアオブジェクト表示領域及び表示時間を説
明するための図

【図５】ＳＭＩＬファイルをＤＯＭツリーとして展開し
た図

【図６】同実施形態に係るマルチメディア再生装置で扱
われる領域テーブルを説明するための図

【図７】同実施形態に係るマルチメディア再生装置で扱
われるマルチメディアオブジェクトの表示時刻を制御す
るためのタイミングツリーの初期状態を示す図

【図８】同タイミングツリーの再生開始直後の状態を示
す図

【図９】同実施形態におけるＳＤＰデータの記述の一部
を示す図

【図１０】同実施形態における制御部の途中再生の処理
手順を説明するためのフローチャート

【図１１】同実施形態におけるシーン途中再生時のマル
チメディアオブジェクトの表示時刻を制御するためのタ
イミングツリーの状態を示す図

【図１２】図１１のタイミングツリーの具体的な状態例
を示す図

【符号の説明】

１０１，１０２…サーバ（マルチメディアデータ配信装
置）２００…クライアント端末（マルチメディア再生装置）３００…ネットワーク２０１…送受信部２０２…受信バッファ２０３…構文解析部２０４…ＤＯＭツリー２０５…解釈部２０６…転送スケジューリング部２０７…タイミングツリー２０８…領域テーブル２０９…制御部２１０…再生部２１１ａ〜２１１ｄ…デコーダ２１２…ディスプレイ２１３…スピーカ

───────────────────────────────────────────────────── フロントページの続き (72)発明者是津達也神奈川県川崎市幸区小向東芝町１番地株式会社東芝研究開発センター内Ｆターム(参考） 5C053 GB06 GB37 JA01 KA05 LA06 LA15 5C064 BA07 BB10 BC18 BC23 BD02 BD08 BD09

Claims

【特許請求の範囲】

【請求項１】ネットワークを介して転送される複数のメ
ディアオブジェクトを含むマルチメディアデータを受信
して再生するマルチメディア再生方法において、前記マルチメディアデータに含まれる各メディアオブジ
ェクトの再生に関する時間的順序関係を記述したシーン
記述情報を入力するステップと、前記シーン記述情報から前記時間的順序関係を判定する
ステップと、前記ネットワークを介して前記シーン記述情報によって
前記時間的順序関係が記述された少なくとも一つの前記
メディアオブジェクトの再生時間を属性として持つデー
タを取得するステップと、判定された前記時間的順序関係及び前記再生時間を属性
として持つデータにより示される再生時間に基づいて、
受信した前記マルチメディアデータに含まれる各メディ
アオブジェクトの再生開始時点を計算するステップと、判定された前記順序的関係及び計算された前記再生開始
時点に従って、受信した前記マルチメディアデータを再
生するステップとを具備するマルチメディア再生方法。
【請求項２】前記シーン記述情報を入力するステップ
は、前記シーン記述情報によって前記時間的順序関係が
記述された複数のメディアオブジェクトを、一つのメデ
ィアオブジェクトまたは同時再生されるべき複数のメデ
ィアオブジェクトを含むブロックに区分したシーン記述
情報を入力し、前記再生時間を属性として持つデータを取得するステッ
プは、前記マルチメディアデータを途中から再生する場
合のエントリとして指定されたメディアオブジェクトを
含むブロック内の少なくとも一つのメディアオブジェク
トの再生時間を属性として持つデータを取得し、前記再生開始時点を計算するステップは、前記時間的順
序関係及び前記再生時間に基づいて、前記エントリとし
て指定されたメディアオブジェクトを含むブロック内の
各メディアオブジェクトの再生開始時点を計算する請求
項１記載のマルチメディア再生方法。
【請求項３】前記再生時間を属性として持つデータを取
得するステップは、該データとしてセッションデスクリ
プションプロトコルデータを取得する請求項１記載のマ
ルチメディア再生方法。
【請求項４】ネットワークを介して転送される複数のメ
ディアオブジェクトを含むマルチメディアデータを受信
して再生するマルチメディア再生装置において、前記マルチメディアデータに含まれる各メディアオブジ
ェクトの再生に関する時間的順序関係を記述したシーン
記述情報を構文解析して内部表現に変換する手段と、前記内部表現を解釈して前記時間的順序関係を判定する
手段と、前記ネットワークを介して前記シーン記述情報によって
前記時間的順序関係が記述された少なくとも一つの前記
メディアオブジェクトの再生時間を属性として持つデー
タを取得する手段と、判定された前記時間的順序関係及び前記再生時間を属性
として持つデータにより示される再生時間に基づいて、
受信した前記マルチメディアデータに含まれる各メディ
アオブジェクトの再生開始時点を計算する手段と、判定された前記順序的関係及び計算された前記再生開始
時点に従って、受信した前記マルチメディアデータを再
生する手段とを具備するマルチメディア再生装置。
【請求項５】ネットワークを介して転送される複数のメ
ディアオブジェクトを含むマルチメディアデータを受信
して再生する処理をコンピュータに実行させるためのプ
ログラムであって、前記マルチメディアデータに含まれる各メディアオブジ
ェクトの再生に関する時間的順序関係を記述したシーン
記述情報を入力する処理と、前記シーン記述情報から前記時間的順序関係を判定する
処理と、前記ネットワークを介して前記シーン記述情報によって
前記時間的順序関係が記述された少なくとも一つの前記
メディアオブジェクトの再生時間を属性として持つデー
タを取得する処理と、判定された前記時間的順序関係及び前記再生時間を属性
として持つデータにより示される再生時間に基づいて、
受信した前記マルチメディアデータに含まれる各メディ
アオブジェクトの再生開始時点を計算する処理と、判定された前記順序的関係及び計算された前記再生開始
時点に従って、受信した前記マルチメディアデータを再
生する処理とをコンピュータに実行させるためのプログ
ラム。
【請求項６】ネットワークを介して転送される複数のメ
ディアオブジェクトを含むマルチメディアデータを受信
して再生する処理をコンピュータに実行させるためのプ
ログラムであって、前記マルチメディアデータに含まれる各メディアオブジ
ェクトの再生に関する時間的順序関係を記述したシーン
記述情報であって、該時間的順序関係が記述された複数
のメディアオブジェクトを、一つのメディアオブジェク
トまたは同時再生されるべき複数のメディアオブジェク
トを含むブロックに区分したシーン記述情報を入力する
処理と、前記シーン記述情報から前記時間的順序関係を判定する
処理と、前記ネットワークを介して前記シーン記述情報によって
前記時間的順序関係が記述された少なくともメディアオ
ブジェクトのうち、前記マルチメディアデータを途中か
ら再生する場合のエントリとして指定されたメディアオ
ブジェクトを含むブロック内の少なくとも一つのメディ
アオブジェクトの再生時間を属性として持つデータを取
得する処理と、判定された前記時間的順序関係及び前記再生時間を属性
として持つデータにより示される再生時間に基づいて、
受信した前記マルチメディアデータに含まれる各メディ
アオブジェクトのうち前記エントリとして指定されたメ
ディアオブジェクトを含むブロック内の各メディアオブ
ジェクトの再生開始時点を計算する再生開始時点を計算
する処理と、判定された前記順序的関係及び計算された前記再生開始
時点に従って、受信した前記マルチメディアデータを再
生する処理とをコンピュータに実行させるためのプログ
ラム。