JP2003143575A - Multimedia reproducing method and device - Google Patents
Multimedia reproducing method and deviceInfo
- Publication number
- JP2003143575A JP2003143575A JP2001338168A JP2001338168A JP2003143575A JP 2003143575 A JP2003143575 A JP 2003143575A JP 2001338168 A JP2001338168 A JP 2001338168A JP 2001338168 A JP2001338168 A JP 2001338168A JP 2003143575 A JP2003143575 A JP 2003143575A
- Authority
- JP
- Japan
- Prior art keywords
- reproduction
- data
- multimedia
- description information
- reproducing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、例えばＳＭＩＬ(S
ynchronized Multimedia Integrated Language)で記述
されたマルチメディアデータを受信して再生するマルチ
メディア再生方法及び装置に関する。TECHNICAL FIELD The present invention relates to SMIL (S
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a multimedia reproducing method and device for receiving and reproducing multimedia data described in synchronized Multimedia Integrated Language).
【０００２】[0002]
【従来の技術】画像、音声、テキストその他のディジタ
ル化されたマルチメディアデータを関連付けて表示する
ための記述言語として、ＨＴＭＬ(HyperText Markup La
nguage)が知られている。さらに、マルチメディアデー
タを時間的、空間的に関連付けて表示制御を行うＳＭＩ
ＬやＢＩＦＳなどのシーン記述言語がＷ３ＣやＩＳＯ／
ＩＥＣで規格化されている。2. Description of the Related Art HTML (HyperText Markup Lapse) is used as a description language for displaying images, voices, texts and other digitized multimedia data in association with each other.
nguage) is known. In addition, SMI that controls display by associating multimedia data temporally and spatially
Scene description languages such as L and BIFS are W3C and ISO /
It is standardized by IEC.
【０００３】映像、音声その他のマルチメディアデータ
の素材を時間空間で指定し、連結して作成した一続きの
プレゼンテーションをマルチメディアシーンと呼ぶ。マ
ルチメディアデータとは、このようなマルチメディアシ
ーンを構成する一連のデータであり、メディアオブジェ
クトとは映像、音声その他の素材データを表す。A series of presentations created by linking materials of multimedia data such as video, audio and the like in a time space are called a multimedia scene. The multimedia data is a series of data that constitutes such a multimedia scene, and the media object represents video, audio and other material data.
【０００４】ＳＭＩＬで扱うことのできるマルチメディ
アデータのオブジェクト形式には、動画、音声、静止
画、アニメーション、テキスト、テキストストリームな
どがある。動画のオブジェクトはビデオオブジェクト、
音声のオブジェクトはオーディオオブジェクト、静止画
のオブジェクトはイメージオブジェクトである。The object formats of multimedia data that can be handled by SMIL include moving pictures, sounds, still pictures, animations, texts and text streams. Video objects are video objects,
The audio object is an audio object and the still image object is an image object.
【０００５】アニメーションとは、一連の静止画を連続
的に表示する画像形式のことである。テキストストリー
ムは、テキストをスクロールさせたり、表示する文字列
の内容を時間的に変化させる文字列制御を行うメディア
の形式である。このようなシーン内の動画、音声、静止
画、テキストなどのメディアオブジェクトを含むマルチ
メディアデータをネットワーク上で転送する処理には、
ダウンロード型転送処理とストリーム型転送処理があ
る。Animation is an image format in which a series of still images are continuously displayed. The text stream is a form of media that performs character string control that scrolls the text and changes the content of the displayed character string with time. To transfer multimedia data including media objects such as video, audio, still image, and text in the scene on the network,
There are download type transfer processing and stream type transfer processing.
【０００６】図３は、ＳＭＩＬによるマルチメディアシ
ーンの記述例であり、当該マルチメディアシーンを構成
するマルチメディアデータの各メディアオブジェクトの
再生に関する時間的順序関係を記述している。図４に
は、図３のＳＭＩＬによって記述されたマルチメディア
シーンの表示例を示す。図３に示されるようにＳＭＩＬ
文書は<smil>で始まり、</smil>で終わる。<smil>要素
には<head>と<body>の２つの要素があり、<head>にはレ
イアウト情報やドキュメントの性質を記述し、<body>要
素には表示するメディアオブジェクトの指定や時間的振
る舞いを記述する。レイアウトは、<head>要素の中で<l
ayout>要素を用いて記述する。図３の３〜７行目が該当
部分である。<root-layout>要素でシーンの大きさを指
定し、<region>要素で表示領域を指定する。<root-layo
ut>要素の属性には、シーンの幅と高さを指定するwidt
h,height属性などがある。<region>要素の属性には、領
域の幅と高さを指定するwidth,height属性、表示の全体
領域の上からの表示位置と左からの表示位置を指定する
top,left属性、表示領域に識別子を付けるid属性、背景
色を指定するbackgroundColor属性などがある。[0006] FIG. 3 is an example of description of a multimedia scene in SMIL, and describes the temporal order relation regarding the reproduction of each media object of the multimedia data forming the multimedia scene. FIG. 4 shows a display example of a multimedia scene described by SMIL in FIG. SMIL as shown in FIG.
Documents start with <smil> and end with </ smil>. The <smil> element has two elements, <head> and <body>, the <head> describes the layout information and the nature of the document, and the <body> element specifies the media object to be displayed and the time. Describe the behavior. The layout is <l> in the <head> element.
Describe using ayout> element. The 3rd to 7th lines in FIG. 3 are the relevant portions. Specify the size of the scene in the <root-layout> element and the display area in the <region> element. <root-layo
The attributes of the ut> element are widt that specifies the width and height of the scene.
There are h and height attributes. For the attributes of the <region> element, specify the width and height attributes that specify the width and height of the area, and specify the display position from the top and the display position from the left of the entire display area.
There are top and left attributes, an id attribute that assigns an identifier to the display area, and a backgroundColor attribute that specifies the background color.
【０００７】図３及び図４においては、メディアオブジ
ェクトはビデオオブジェクト、オーディオオブジェク
ト、イメージオブジェクト及びテキストオブジェクトを
含んであり、ビデオオブジェクト、オーディオオブジェ
クト、イメージオブジェクトはそれぞれ動画、音声、静
止画のオブジェクトである。In FIGS. 3 and 4, the media objects include video objects, audio objects, image objects and text objects, and the video objects, audio objects and image objects are moving picture, audio and still picture objects, respectively. .
【０００８】これらの各メディアオブジェクトの同期制
御は、<body>要素の中で行う。<par>要素は、要素内の
メディアオブジェクトの同時再生を行うことを指示する
記述である。<seq>要素は、要素内のメディアオブジェ
クトを記述の上から順に再生を行うことを指示する記述
である。ここで、<par>〜</par>内に含まれる複数のメ
ディアオブジェクト要素の組、もしくは親要素に<par>
要素を持たない単数のメディアオブジェクト要素をブロ
ックと呼ぶ。各ブロック内の要素は、前ブロックの要素
が再生を終了した後に再生が開始される。すなわち、あ
るブロック内の要素が再生を終了した後、後ブロックの
要素の再生が開始される。メディアオブジェクトの属性
には、表示の開始、終了タイミングを指定するbegin,en
d属性、表示時間を指定するdur属性、メディアオブジェ
クトを表示する領域を領域の識別子で指定するregion属
性、メディアオブジェクトのＵＲＬを示すsrc属性など
がある。The synchronization control of each of these media objects is performed in the <body> element. The <par> element is a description that instructs simultaneous playback of the media objects in the element. The <seq> element is a description that instructs the media objects in the element to be played in order from the top of the description. Here, a pair of media object elements included in <par> ~ </ par>, or the parent element <par>
A single media object element that has no elements is called a block. The element in each block is started to be reproduced after the element of the previous block has completed reproduction. That is, after the reproduction of the elements in a certain block is completed, the reproduction of the elements of the subsequent block is started. The attributes of the media object are begin, en that specify the start and end timing of the display.
There are a d attribute, a dur attribute for designating a display time, a region attribute for designating a region for displaying a media object by a region identifier, and a src attribute for indicating a URL of the media object.
【０００９】メディアオブジェクト要素にbegin属性が
時間値で指定されているとき、その要素の親要素が<par
>要素である場合は、<par>要素の開始時刻からbegin属
性により指定された時間が経過した時点で再生を開始
し、その要素の親要素が<seq>要素である場合は、前要
素の終了時刻からbegin属性により指定された時間が経
過した時点で再生を開始する。end属性に時間値が指定
されているとき、その要素の親要素が<par>要素である
場合は、<par>要素の開始時刻からend属性により指定さ
れた時間が経過した時点で再生を終了し、その要素の親
要素が<seq>要素である場合は、前要素の終了時刻からe
nd属性により指定された時間が経過した時点で再生を終
了する。When the begin attribute is specified by the time value in the media object element, the parent element of the element is <par
> Element, playback starts when the time specified by the begin attribute has passed from the start time of the <par> element, and if the parent element of that element is the <seq> element, Playback starts when the time specified by the begin attribute has passed from the end time. When the time value is specified in the end attribute and the parent element of the element is a <par> element, the playback ends when the time specified by the end attribute has elapsed from the start time of the <par> element. If the parent element of the element is a <seq> element, e from the end time of the previous element
Playback ends when the time specified by the nd attribute has elapsed.
【００１０】begin属性やend属性にイベント値が指定さ
れているときは、そのイベントが発生した時刻に再生を
開始あるいは終了する。begin属性が指定されていない
場合は、ブロックの開始時刻、すなわちbegin=”0s”が
明示的に指定されている場合と同等であり、end, dur属
性が指定されていない場合は、終了時刻はメディア本来
の終了時刻が採用される。When an event value is designated in the begin attribute or the end attribute, the reproduction is started or ended at the time when the event occurs. If the begin attribute is not specified, it is equivalent to the block start time, that is, when begin = ”0s” is explicitly specified. If the end and dur attributes are not specified, the end time is The original end time of the media is adopted.
【００１１】例えば、図３の１０行目〜２５行目の<seq
>要素で囲まれた要素は順に再生される。すなわち、ま
ず１１行目〜１６行目の<par>要素で囲まれた要素が同
時に再生され、これらの再生が完了した後、１７行目〜
２４行目の<par>要素で囲まれた部分が同時に再生され
る。図３のsample1.smilで記述されたシーンの表示空間
は、図４（ａ）のようになる。図４（ａ）の一番外側の
矩形は、root-layoutにより指定されたシーン全体の領
域である。図４（ａ）のシーン全体の領域の上側の矩形
は、図３の５行目で示された領域videoを示し、下側の
矩形は、図３の６行目で示された領域descを示す。For example, <seq on the 10th to 25th lines in FIG.
> The elements enclosed by the elements are played in order. That is, first, the elements enclosed by the <par> elements on the 11th to 16th lines are reproduced at the same time, and after these reproductions are completed, the 17th line to
The part surrounded by the <par> elements on the 24th line is reproduced at the same time. The display space of the scene described in sample1.smil in FIG. 3 is as shown in FIG. 4 (a). The outermost rectangle in FIG. 4A is the area of the entire scene designated by the root-layout. The rectangle on the upper side of the region of the entire scene in FIG. 4A indicates the region video shown on the fifth line in FIG. 3, and the rectangle on the lower side indicates the region desc shown on the sixth line in FIG. Show.
【００１２】さらに、<body>内の記述により図４（ｂ）
のように領域descでイメージオブジェクトimage1.jpgが
２５秒間再生され、イメージオブジェクトimage1.jpgの
再生開始から５秒後に領域videoでビデオオブジェクトv
ideo1.mp4が１０秒間再生される。イメージオブジェク
トimage1.jpgが再生を終了した後、領域videoでビデオ
オブジェクトvideo2.mp4、領域descでテキストオブジェ
クトtext1.txtが同時に再生を開始し、5秒遅れてオーデ
ィオオブジェクトaudio1.mp3が再生を開始する。テキス
トオブジェクトtext1.txtは１５秒間再生され、ビデオ
オブジェクトvideo2.mp4及びオーディオオブジェクトau
dio1.mp3はメディア自体が終了するまで再生される。ビ
デオオブジェクトvideo2.mp4が再生を終了すると続いて
ビデオオブジェクトvideo3.mp4が再生を開始し、メディ
ア自体が終了するまで再生が行われる。Further, according to the description in <body>, FIG.
The image object image1.jpg is played in the area desc for 25 seconds, and 5 seconds after the start of playing the image object image1.jpg, the video object v is displayed in the area video.
video1.mp4 is played for 10 seconds. After the image object image1.jpg finishes playing, the video object video2.mp4 starts playing in the area video and the text object text1.txt starts playing in the area desc at the same time, and the audio object audio1.mp3 starts playing 5 seconds later. . The text object text1.txt is played for 15 seconds and the video object video2.mp4 and audio object au
dio1.mp3 will be played until the end of the media itself. When the video object video2.mp4 finishes playing, the video object video3.mp4 starts playing next, and playing continues until the media itself ends.
【００１３】また、ＳＭＩＬではＳＭＩＬファイル及び
ＳＭＩＬファイル内の任意の要素に対するリンクを生成
することができる。例えば、図３の１３行目〜１５行目
で示される<a>要素で囲まれた要素は、リンク元の要素
となる。<a>要素はhref属性を持ち、リンク先のＳＭＩ
ＬファイルのＵＲＬもしくはＳＭＩＬファイルのＵＲＬ
とＳＭＩＬファイル内の任意の要素のidを示す#から始
まるフラグメントを指定する。１３行目の<a>要素で
は、リンク先として同じＳＭＩＬファイル内の２０行目
に示されるビデオオブジェクトvideo3.mp4が指定されて
いる。In SMIL, a link to an SMIL file and an arbitrary element in the SMIL file can be created. For example, the element surrounded by the <a> elements shown on the 13th to 15th lines in FIG. 3 becomes the element of the link source. The <a> element has an href attribute and is the SMI of the link destination.
URL of L file or URL of SMIL file
And specify a fragment starting with # that indicates the id of an arbitrary element in the SMIL file. In the <a> element on the 13th line, the video object video3.mp4 shown on the 20th line in the same SMIL file as the link destination is specified.
【００１４】従って、図３のＳＭＩＬファイルの再生中
の再生開始から２５秒までの間に、図４のdesc領域に表
示されているイメージオブジェクトimage1.jpgに対して
ユーザがマウスなどによるクリックなどの動作を行う
と、ビデオオブジェクトvideo3.mp4が再生を開始する時
点からシーンが再生される。すなわち、ビデオオブジェ
クトvideo3.mp4がクリップの０秒目から領域videoで再
生され、同時にオーディオオブジェクトaudio1.mp3がビ
デオオブジェクトvideo2.mp4の再生時間からオーディオ
オブジェクトaudio1.mp3の開始遅延時間（５秒間）を減
じた時間だけクリップを早送りした時点から再生を開始
する。Therefore, during 25 seconds from the start of reproduction during reproduction of the SMIL file shown in FIG. 3, the user clicks on the image object image1.jpg displayed in the desc area of FIG. 4 with a mouse or the like. When the operation is performed, the scene is played from the time when the video object video3.mp4 starts playing. That is, the video object video3.mp4 is played in the area video from the 0th second of the clip, and at the same time, the audio object audio1.mp3 has the start delay time (5 seconds) of the audio object audio1.mp3 from the playback time of the video object video2.mp4. Playback starts from the point when the clip is fast-forwarded for the reduced time.
【００１５】[0015]
【発明が解決する課題】上記のようなＳＭＩＬなどによ
り記述されたマルチメディアデータをネットワークを介
して受信し、再生中にＳＭＩＬファイルの内部に含まれ
る要素を示すリンクを実行した場合や、ＳＭＩＬファイ
ルの内部に含まれる要素を指定し、その要素からの再生
を行う場合、すなわちマルチメディアデータをシーンの
途中から再生する場合には、各要素と同期しているメデ
ィアオブジェクトの再生開始時点を計算することによっ
て、正しく同期再生しなければならない。When multimedia data described in SMIL or the like as described above is received through a network and a link indicating an element included in the SMIL file is executed during reproduction, or when the SMIL file is executed. When specifying the element contained in the element and playing from that element, that is, when playing the multimedia data from the middle of the scene, calculate the playback start time of the media object synchronized with each element Therefore, it is necessary to correctly perform the synchronous reproduction.
【００１６】ＳＭＩＬファイルのようなシーン記述情報
は、各マルチメディアオブジェクトをノードとした入れ
子構造で記述されているため、各マルチメディアオブジ
ェクトの再生開始時点は、各マルチメディアオブジェク
トの再生に関連する他のマルチメディアオブジェクトの
再生開始時刻及び終了時刻から計算によって求まる。Since the scene description information such as the SMIL file is described in a nested structure in which each multimedia object is a node, the reproduction start time point of each multimedia object is related to the reproduction of each multimedia object. It can be calculated from the reproduction start time and end time of the multimedia object.
【００１７】しかし、動画コンテンツや音声コンテンツ
などのマルチメディアデータがストリーミング再生され
る場合、一般にはＳＭＩＬファイルの記述からマルチメ
ディアデータの各メディアオブジェクトの再生終了時刻
を得ることはできない。実際にストリーミング再生を行
えば、再生終了時刻を得ることができるが、これに従っ
てメディアオブジェクトの再生開始時点を求めて再生を
行うと、ＳＭＩＬの記述に反する動作になり、再生を行
わなくとも多大な遅延が生じる。However, when multimedia data such as moving image content and audio content is reproduced by streaming, generally, the reproduction end time of each media object of the multimedia data cannot be obtained from the description of the SMIL file. When the streaming reproduction is actually performed, the reproduction end time can be obtained. However, if the reproduction start time of the media object is obtained according to the reproduction end time, the operation is contrary to the SMIL description, and even if the reproduction is not performed, the reproduction end time becomes large. There will be a delay.
【００１８】従って、再生時間（再生所要時間）がＳＭ
ＩＬの記述に明記されていないメディアオブジェクトが
途中再生を開始するメディアオブジェクトより時間的に
前に再生するよう指定されている場合、同期して再生を
開始しなければならないメディアオブジェクトの再生開
始時点を一般には計算できない。例えば、図３及び図４
の例で、ビデオオブジェクトvideo3.mp4の再生開始時点
からＳＭＩＬファイルで記述されたシーンを再生する場
合、ビデオオブジェクトvideo2.mp4とオーディオオブジ
ェクトaudio1.mp3の再生時間が明確でないと、正しく同
期再生することができない。Therefore, the reproduction time (reproduction required time) is SM
If a media object that is not specified in the IL description is specified to be played earlier in time than the media object that starts playing midway, the playback start time of the media object that must start playing in synchronization is specified. Generally, it cannot be calculated. For example, FIGS.
In the example above, when playing the scene described in the SMIL file from the playback start point of the video object video3.mp4, if the playback times of the video object video2.mp4 and audio object audio1.mp3 are not clear, the synchronized playback will be performed correctly. I can't.
【００１９】具体的には、例えば図４の例のようにビデ
オオブジェクトvideo2.mp4の再生時間が１５秒以上の場
合には、ビデオオブジェクトvideo3.mp4の再生開始時点
で同期して再生されるマルチメディアオブジェクトは、
オーディオオブジェクトaudio1.mp3のみとなる。一方、
図４の例とは異なり、ビデオオブジェクトvideo2.mp4が
１５秒未満のコンテンツであった場合には、ビデオオブ
ジェクトvideo3.mp4の再生開始時点で同期して再生され
るマルチメディアオブジェクトは、テキストオブジェク
トtext1.txt及びオーディオオブジェクトaudio1.mp3と
なる。しかし、ＳＭＩＬファイルの記述からはビデオオ
ブジェクトvideo2.mp4の再生時間を得ることはできない
ため、同期して再生するオブジェクトを特定できない。
また、オーディオオブジェクトaudio2.mp3の再生開始時
点は、ビデオオブジェクトvideo2.mp4の再生時間からオ
ーディオオブジェクトaudio1.mp3の開始遅延時間（５
秒）を減じた時間だけクリップを早送りした時点となる
ため、ビデオオブジェクトvideo2.mp4の再生時間が明確
でないと計算することができない。Concretely, for example, when the reproduction time of the video object video2.mp4 is 15 seconds or more as in the example of FIG. 4, the multi object reproduced in synchronization with the reproduction start time of the video object video3.mp4. Media objects
Only audio object audio1.mp3. on the other hand,
Unlike the example of FIG. 4, when the video object video2.mp4 has a content of less than 15 seconds, the multimedia object that is played back synchronously at the start of playback of the video object video3.mp4 is the text object text1. .txt and audio object audio1.mp3. However, since the reproduction time of the video object video2.mp4 cannot be obtained from the description of the SMIL file, the object to be reproduced in synchronization cannot be specified.
Also, the playback start time of the audio object audio2.mp3 is the start delay time (5 seconds) of the audio object audio1.mp3 from the playback time of the video object video2.mp4.
Since it is the time when the clip is fast-forwarded by the time of subtracting (sec), it cannot be calculated unless the playback time of the video object video2.mp4 is clear.
【００２０】このようにＳＭＩＬファイルに代表される
シーン記述情報で記述されたマルチメディアデータの再
生において、従来の技術では再生時間の不明なメディア
オブジェクトを含むシーンを途中から再生する場合に、
同期のとれた再生を行うことができないという問題点が
あった。As described above, in the reproduction of multimedia data described by the scene description information represented by the SMIL file, when a scene including a media object whose reproduction time is unknown is reproduced from the middle in the conventional technique,
There is a problem in that synchronized reproduction cannot be performed.
【００２１】本発明は、シーン記述情報によって記述さ
れたマルチメディアデータを各メディアオブジェクト間
で同期を正しくとりつつ、シーンの途中から再生するこ
とを可能とするマルチメディア再生方法及び装置を提供
することを目的とする。The present invention provides a multimedia reproducing method and apparatus capable of reproducing multimedia data described by scene description information from the middle of a scene while properly synchronizing the media objects. With the goal.
【００２２】[0022]
【発明を解決するための手段】上記課題を解決するた
め、本発明ではネットワークを介して転送される複数の
メディアオブジェクトを含むマルチメディアデータを受
信して再生するマルチメディア再生に際して、マルチメ
ディアデータに含まれる各メディアオブジェクトの再生
に関する時間的順序関係を記述したシーン記述情報を入
力し、このシーン記述情報から時間的順序関係を判定す
る。一方、ネットワークを介してシーン記述情報によっ
て時間的順序関係が記述された少なくとも一つのメディ
アオブジェクトの再生時間を属性として持つデータを取
得し、判定された時間的順序関係及び該再生時間を属性
として持つデータにより示される再生時間に基づいて、
受信したマルチメディアデータに含まれる各メディアオ
ブジェクトの再生開始時点を計算する。判定された順序
的関係及び計算された再生開始時点に従って、受信した
マルチメディアデータを再生する。In order to solve the above problems, according to the present invention, when multimedia data is reproduced by receiving multimedia data including a plurality of media objects transferred via a network, the multimedia data is converted into multimedia data. The scene description information describing the temporal order relation regarding the reproduction of each included media object is input, and the temporal order relation is determined from the scene description information. On the other hand, via the network, the data having the reproduction time of at least one media object in which the temporal order relation is described by the scene description information as an attribute is acquired, and the determined temporal order relation and the reproduction time are held as attributes Based on the play time indicated by the data,
The playback start time of each media object included in the received multimedia data is calculated. The received multimedia data is reproduced according to the determined order relation and the calculated reproduction start time.
【００２３】より具体的には、シーン記述情報によって
時間的順序関係が記述された複数のメディアオブジェク
トを、一つのメディアオブジェクトまたは同時再生され
るべき複数のメディアオブジェクトを含むブロックに区
分したシーン記述情報を入力する。マルチメディアデー
タを途中から再生する場合のエントリとして指定された
メディアオブジェクトを含むブロック内の少なくとも一
つのメディアオブジェクトの再生時間を属性として持つ
データを取得する。時間的順序関係及び再生時間に基づ
いて、マルチメディアデータを途中から再生する場合の
エントリとして指定されたメディアオブジェクトを含む
ブロック内の各メディアオブジェクトの再生開始時点を
計算する。More specifically, scene description information in which a plurality of media objects whose temporal order relationships are described by the scene description information are divided into blocks containing one media object or a plurality of media objects to be simultaneously played back. Enter. Data having, as an attribute, a reproduction time of at least one media object in a block including a media object designated as an entry when reproducing multimedia data from the middle is acquired. Based on the temporal order relation and the reproduction time, the reproduction start time of each media object in the block including the media object designated as the entry when the multimedia data is reproduced from the middle is calculated.
【００２４】本発明に係るマルチメディア再生装置は、
マルチメディアデータに含まれる各メディアオブジェク
トの再生に関する時間的順序関係を記述したシーン記述
情報を構文解析して内部表現に変換する手段と、内部表
現を解釈して時間的順序関係を判定する手段と、ネット
ワークを介してシーン記述情報によって時間的順序関係
が記述された少なくとも一つのメディアオブジェクトの
再生時間を属性として持つデータを取得する手段と、判
定された時間的順序関係及び再生時間を属性として持つ
データにより示される再生時間に基づいて、受信したマ
ルチメディアデータに含まれる各メディアオブジェクト
の再生開始時点を計算する手段と、判定された順序的関
係及び計算された再生開始時点に従って、受信したマル
チメディアデータを再生する手段とを有する。The multimedia reproducing apparatus according to the present invention is
A means for parsing scene description information describing a temporal order relation regarding reproduction of each media object included in multimedia data and converting the scene description information into an internal representation; a means for interpreting the internal representation to determine a temporal order relation. , Means for acquiring data having as an attribute the reproduction time of at least one media object in which the temporal order relation is described by the scene description information via the network, and having the determined temporal order relation and the reproduction time as attributes Means for calculating the reproduction start time of each media object included in the received multimedia data based on the reproduction time indicated by the data, and the received multimedia according to the determined order relation and the calculated reproduction start time And means for reproducing the data.
【００２５】本発明によると、ネットワークを介して転
送される複数のメディアオブジェクトを含むマルチメデ
ィアデータを受信して再生する処理をコンピュータに実
行させるためのプログラムであって、マルチメディアデ
ータに含まれる各メディアオブジェクトの再生に関する
時間的順序関係を記述したシーン記述情報を入力する処
理と、シーン記述情報から前記時間的順序関係を判定す
る処理と、ネットワークを介してシーン記述情報によっ
て時間的順序関係が記述された少なくとも一つのメディ
アオブジェクトの再生時間を属性として持つデータを取
得する処理と、判定された時間的順序関係及び再生時間
を属性として持つデータにより示される再生時間に基づ
いて、受信したマルチメディアデータに含まれる各メデ
ィアオブジェクトの再生開始時点を計算する処理と、判
定された順序的関係及び計算された再生開始時点に従っ
て、受信したマルチメディアデータを再生する処理とを
コンピュータに実行させるためのプログラムが提供され
る。According to the present invention, there is provided a program for causing a computer to execute a process of receiving and reproducing multimedia data including a plurality of media objects transferred via a network, each program being included in the multimedia data. A process of inputting scene description information that describes a temporal order relationship regarding reproduction of a media object, a process of determining the temporal order relationship from the scene description information, and a temporal order relationship described by the scene description information via a network. The received multimedia data based on the process of acquiring the data having the reproduction time of at least one media object as the attribute, and the reproduction time indicated by the data having the determined temporal order relationship and the reproduction time as the attribute. Each media object contained in A process of calculating the reproduction start time, in accordance with the reproduction start time, which is that the determined sequence relationships and calculations, a program for executing a process of reproducing the multimedia data received in the computer is provided.
【００２６】また、本発明によるとネットワークを介し
て転送される複数のメディアオブジェクトを含むマルチ
メディアデータを受信して再生する処理をコンピュータ
に実行させるためのプログラムであって、マルチメディ
アデータに含まれる各メディアオブジェクトの再生に関
する時間的順序関係を記述したシーン記述情報であっ
て、該時間的順序関係が記述された複数のメディアオブ
ジェクトを、一つのメディアオブジェクトまたは同時再
生されるべき複数のメディアオブジェクトを含むブロッ
クに区分したシーン記述情報を入力する処理と、シーン
記述情報から時間的順序関係を判定する処理と、ネット
ワークを介してシーン記述情報によって時間的順序関係
が記述された少なくともメディアオブジェクトのうち、
マルチメディアデータを途中から再生する場合のエント
リとして指定されたメディアオブジェクトを含むブロッ
ク内の少なくとも一つのメディアオブジェクトの再生時
間を属性として持つデータを取得する処理と、判定され
た時間的順序関係及び再生時間を属性として持つデータ
により示される再生時間に基づいて、受信したマルチメ
ディアデータに含まれる各メディアオブジェクトのうち
エントリとして指定されたメディアオブジェクトを含む
ブロック内の各メディアオブジェクトの再生開始時点を
計算する処理と、判定された順序的関係及び計算された
再生開始時点に従って、受信したマルチメディアデータ
を再生する処理とをコンピュータに実行させるためのプ
ログラムが提供される。さらに、本発明によると上記プ
ログラムを格納した記録媒体を提供することもできる。Further, according to the present invention, it is a program for causing a computer to execute a process of receiving and reproducing multimedia data including a plurality of media objects transferred via a network, and included in the multimedia data. Scene description information describing a temporal order relation regarding reproduction of each media object, wherein a plurality of media objects in which the temporal order relation is described are defined as one media object or a plurality of media objects to be simultaneously reproduced. Of the at least media object in which the temporal order relation is described by the scene description information via the network, the process of inputting the scene description information divided into the blocks including the process, the process of determining the temporal order relation from the scene description information,
Processing for obtaining data having as an attribute the playback time of at least one media object in a block including the media object specified as an entry when playing multimedia data from the middle, and the determined temporal order relationship and playback Calculates the playback start time of each media object in the block including the media object specified as the entry among the media objects included in the received multimedia data, based on the playback time indicated by the data having time as an attribute. A program for causing a computer to execute processing and processing for playing received multimedia data according to the determined sequential relationship and the calculated playback start time is provided. Furthermore, according to the present invention, it is possible to provide a recording medium storing the above program.
【００２７】[0027]
【発明の実施の形態】以下、本発明の実施の形態を図を
用いて説明する。図１は、本発明の一実施形態に係るマ
ルチメディア再生装置を含むデータ転送システムの全体
的な構成を示している。このデータ転送システムは、マ
ルチメディアデータ配信装置である複数のサーバ１０
１,１０２と、サーバ１０１,１０２から転送されるマル
チメディアデータを受信して再生するマルチメディア再
生装置としてのクライアント端末２００を含み、各サー
バ１０１，１０２とクライアント端末２００はネットワ
ーク３００により接続されている。BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 shows the overall configuration of a data transfer system including a multimedia playback device according to an embodiment of the present invention. This data transfer system includes a plurality of servers 10 which are multimedia data distribution devices.
1 and 102, and a client terminal 200 as a multimedia playback device that receives and plays multimedia data transferred from the servers 101 and 102. The servers 101 and 102 and the client terminal 200 are connected by a network 300. There is.
【００２８】サーバ１０１，１０２からクライアント端
末２００へのマルチメディアデータの転送処理は、原則
としてクライアント端末２００を使用するユーザが再生
したい全てのマルチメディアデータの受信完了後に再生
を行うようにマルチメディアデータを転送するダウンロ
ード型転送処理と、再生したい全てのマルチメディアデ
ータの受信が完了する前にマルチメディアデータの再生
を開始するようにマルチメディアデータを転送するスト
リーム型転送処理の２つの処理を含む。In principle, the multimedia data transfer process from the servers 101 and 102 to the client terminal 200 is performed so that the user who uses the client terminal 200 plays back all multimedia data after receiving the multimedia data. And a download type transfer process for transferring the multimedia data and a stream type transfer process for transferring the multimedia data so that the reproduction of the multimedia data is started before the reception of all the multimedia data to be reproduced is completed.
【００２９】サーバ１０１または１０２からクライアン
ト端末２００への転送プロトコルとして、ストリーム型
転送処理ではＲＴＳＰ（Real-time Streaming protoco
l）が用いられ、ダウンロード型転送処理ではＨＴＴＰ
（Hypertext Transfer protocol）が用いられるものと
する。例えば、第１のサーバ１０１が転送プロトコルに
ＨＴＴＰを用いてマルチメディアデータの転送を行い、
第２のサーバ１０２が転送プロトコルにＲＴＳＰを用い
てマルチメディアデータの転送を行うものとする。図１
に示した例では、第１のサーバ１０１はfoo.comという
識別子、第２のサーバ１０２はbar.comという識別子で
それぞれ示される別の計算機で実現されるが、必ずしも
この限りではなく、サーバ１０１，１０２が同じ計算機
で実現され、同じ識別子で表現されても構わない。As a transfer protocol from the server 101 or 102 to the client terminal 200, RTSP (Real-time Streaming protocol) is used in the stream type transfer processing.
l) is used, and HTTP is used for download type transfer processing.
(Hypertext Transfer protocol) shall be used. For example, the first server 101 transfers multimedia data using HTTP as a transfer protocol,
It is assumed that the second server 102 transfers multimedia data using RTSP as a transfer protocol. Figure 1
In the example shown in FIG. 2, the first server 101 is realized by another computer indicated by the identifier foo.com, and the second server 102 is indicated by the identifier bar.com. However, the present invention is not limited to this. , 102 may be realized by the same computer and expressed by the same identifier.
【００３０】第１のサーバ１０１は、シーン記述情報と
して例えばＳＭＩＬファイルを保持するとともに、この
ＳＭＩＬファイルで記述されるマルチメディアシーンに
含まれるダウンロード型のマルチメディアオブジェクト
からなるマルチメディアデータを保持している。第２の
サーバ１０２は、第１のサーバ１０１に保持されている
ＳＭＩＬファイルで記述されるマルチメディアシーンに
含まれるストリーム型のマルチメディアオブジェクト
と、そのマルチメディアオブジェクトの所在とそのオブ
ジェクトを要求するための属性を記述したセッションデ
ィスクリプションプロトコル（ＳＤＰ）データを保持し
ている。The first server 101 holds, for example, an SMIL file as scene description information, and also holds multimedia data composed of downloadable multimedia objects included in a multimedia scene described by this SMIL file. There is. The second server 102 requests the stream-type multimedia object included in the multimedia scene described in the SMIL file held in the first server 101, the location of the multimedia object, and the object. It holds session description protocol (SDP) data describing the attributes of the.
【００３１】ＳＤＰは、マルチメディアオブジェクトの
エンコード方式、データ種別、所在場所、時間情報及び
伝送形式などのデータストリーミングに関する記述方法
であり、ＩＥＴＦ（Internet Engineering Task Forc
e）で規格化されている（ＲＦＣ２３２７）。ＳＤＰデ
ータは、ＳＭＩＬファイルで記述されたマルチメディア
シーンに含まれるメディアオブジェクトの再生時間を属
性として持っている。ＳＤＰデータの具体例について
は、後述する。SDP is a description method relating to data streaming such as multimedia object encoding method, data type, location, time information and transmission format, and IETF (Internet Engineering Task Forc).
e) standardized (RFC2327). The SDP data has, as an attribute, the reproduction time of the media object included in the multimedia scene described in the SMIL file. A specific example of SDP data will be described later.
【００３２】図２には、サーバ１０１，１０２より転送
されるマルチメディアデータを受信して表示再生を行う
クライアント端末２００の内部構成を示す。送受信部２
０１は、基本的にサーバ１０１，１０２にマルチメディ
アデータの転送要求を送信する機能と、サーバ１０１，
１０２から転送されてくるシーン記述情報であるＳＭＩ
Ｌファイル及び該ＳＭＩＬファイルで記述されたマルチ
メディアシーンに含まれるマルチメディアオブジェクト
及びＳＤＰデータを受信する機能を有する。FIG. 2 shows the internal structure of the client terminal 200 that receives the multimedia data transferred from the servers 101 and 102 and performs display / playback. Transmitter / receiver 2
01 is basically a function of transmitting a multimedia data transfer request to the servers 101 and 102, and a server 101,
SMI, which is scene description information transferred from 102
It has a function of receiving the multimedia object and the SDP data included in the multimedia scene described in the L file and the SMIL file.
【００３３】送受信部２０１で受信されたＳＭＩＬファ
イル、マルチメディアオブジェクト及びＳＤＰデータ
は、受信バッファ２０２に一時格納される。構文解析部
２０３は、受信バッファ２０２に格納されたＳＭＩＬフ
ァイルを読み込んで構文解析を行い、そのＳＭＩＬファ
イルを例えばＷ３Ｃで規定されるＤＯＭ（Document Obj
ect Model）２０４などのファイルの内部表現に展開
（変換）する。解釈部２０５は、ＤＯＭツリーを解析し
てマルチメディアオブジェクトの再生開始時刻を決定す
るタイミングツリー２０７と、マルチメディアデータの
表示領域を決定する領域テーブル２０８を作成する。The SMIL file, multimedia object and SDP data received by the transmission / reception unit 201 are temporarily stored in the reception buffer 202. The syntax analysis unit 203 reads the SMIL file stored in the reception buffer 202, performs syntax analysis, and analyzes the SMIL file, for example, a DOM (Document Obj) specified by W3C.
ect Model) 204 and other files are expanded (converted) into an internal representation. The interpretation unit 205 analyzes the DOM tree and creates a timing tree 207 that determines the reproduction start time of the multimedia object and an area table 208 that determines the display area of the multimedia data.
【００３４】解釈部２０５で作成されたタイミングツリ
ー２０７は、制御部２０９を介して転送スケジューリン
グ部２０６に転送される。転送スケジューリング部２０
６では、制御部２０９による制御下でタイミングツリー
２０７に基づいてマルチメディアシーン内のマルチメデ
ィアオブジェクトの転送スケジューリングを行い、その
スケジューリングに基づき送受信部２０１を介してサー
バ１０１または１０２にマルチメディアオブジェクト及
びＳＤＰデータの転送要求を行う。転送スケジューリン
グ部２０６はＳＤＰデータを解析し、ＳＤＰデータの記
述に含まれるマルチメディアオブジェクトの再生時間を
得て制御部２０９に通知する。The timing tree 207 created by the interpretation unit 205 is transferred to the transfer scheduling unit 206 via the control unit 209. Transfer scheduling unit 20
6, under the control of the control unit 209, the transfer scheduling of the multimedia object in the multimedia scene is performed based on the timing tree 207, and the multimedia object and the SDP are transmitted to the server 101 or 102 via the transmission / reception unit 201 based on the scheduling. Make a data transfer request. The transfer scheduling unit 206 analyzes the SDP data, obtains the reproduction time of the multimedia object included in the SDP data description, and notifies the control unit 209 of the reproduction time.
【００３５】制御部２０９は、再生部２１０からの再生
開始／終了コマンド及びユーザからの入力イベントと、
転送スケジューリング部２０６からＳＤＰデータに記述
されたマルチメディアオブジェクトの再生時間を受け取
り、これらに基づいて解釈部２０５に対してタイミング
ツリー２０７を更新させる制御を行う。さらに、制御部
２０９は再生部２１０からの再生開始／終了コマンド、
ユーザからの入力イベント、タイミングツリー２０７及
び領域テーブル２０８に基づいて転送スケジューリング
部２０６及び再生部２１０の制御を行う。The control unit 209 receives a reproduction start / end command from the reproduction unit 210 and an input event from the user,
The reproduction time of the multimedia object described in the SDP data is received from the transfer scheduling unit 206, and the control unit 205 controls the interpretation unit 205 to update the timing tree 207 based on these. Further, the control unit 209 controls the reproduction start / end command from the reproduction unit 210,
The transfer scheduling unit 206 and the reproduction unit 210 are controlled based on the input event from the user, the timing tree 207, and the area table 208.
【００３６】再生部２１０は、制御部２１０による制御
下で受信バッファ２０２に格納されたマルチメディアオ
ブジェクトを読み込み、そのマルチメディアオブジェク
トの種類（データ型）に基づきデコーダ２１１ａ〜２１
１ｄのいずれかを選択する。マルチメディアオブジェク
トが例えばＭＰＥＧ方式などによって符号化された映像
（ビデオ）や、ＪＰＥＧ方式等によって符号化された静
止画（イメージ）の場合、デコーダ２１１ａ〜２１１ｃ
によって復号が行われ、ディスプレイ２１２で表示再生
が行われる。マルチメディアオブジェクトがＭＰ３方式
などによって符号化される音楽や音声の場合には、デコ
ーダ２１１ｄによって復号が行われ、スピーカ２１３で
再生される。The reproduction unit 210 reads the multimedia object stored in the reception buffer 202 under the control of the control unit 210, and the decoders 211a to 211a based on the type (data type) of the multimedia object.
Select either 1d. In the case where the multimedia object is, for example, a video (video) coded by the MPEG system or the like, or a still image (image) coded by the JPEG system or the like, the decoders 211a to 211c
Decoding is performed by and the display reproduction is performed on the display 212. In the case of music or voice in which the multimedia object is encoded by the MP3 method or the like, the multimedia object is decoded by the decoder 211d and reproduced by the speaker 213.
【００３７】なお、受信バッファ２０２、ＤＯＭツリー
２０４、タイミングツリー２０７及び領域テーブル２０
８は、コンピュータの主記憶にあってもよいし、フラッ
シュメモリやハードディスクなどの記憶媒体にあっても
よい。The receiving buffer 202, the DOM tree 204, the timing tree 207, and the area table 20.
8 may be in the main memory of the computer or in a storage medium such as a flash memory or a hard disk.
【００３８】また、本実施形態ではクライアント端末２
００において、シーン記述情報であるＳＭＩＬファイル
をマルチメディアデータ配信装置である第１のサーバ１
０１からネットワーク３００を介して入力すると説明し
たが、これに限られるものではなく、例えばマルチメデ
ィアデータ配信装置とは別の箇所から入力してもよい
し、クライアント端末２００側で用意して入力するよう
にしても構わない。次に、本実施形態のデータ転送シス
テムの動作の概略を説明する。まず、ユーザが例えば図
３に示したＳＭＩＬファイルsample1.smilのＵＲＬであ
るhttp://foo.com/sample1.smilを指定するか、ディス
プレイ２１２で表示中のホームページ内の該ＵＲＬに対
するリンクをクリックするなどの動作を行うことで、sa
mple1.smilの転送の要求を行うと、送受信部２０１は該
ＵＲＬに記述された第１のサーバ２０１に対してsample
1.smilの転送を要求する。これによりＳＭＩＬファイル
sample1.smilがサーバ１０１からクライアント端末２０
０に転送され、クライアント端末２００では送受信部２
０１によりsample1.smilを受信し、受信バッファ２０２
に格納する。In this embodiment, the client terminal 2
00, the SMIL file which is the scene description information is transmitted to the first server 1 which is the multimedia data distribution device.
Although it is described that the input is made from 01 via the network 300, the input is not limited to this, and the input may be made from a place different from the multimedia data distribution device, or may be input and prepared on the client terminal 200 side. You may do so. Next, an outline of the operation of the data transfer system of this embodiment will be described. First, the user specifies, for example, the URL http://foo.com/sample1.smil which is the URL of the SMIL file sample1.smil shown in FIG. 3 or clicks a link to the URL on the home page currently displayed on the display 212. By performing actions such as
When a request to transfer mple1.smil is made, the transmission / reception unit 201 sends a sample to the first server 201 described in the URL.
1. Request smil transfer. This allows SMIL files
sample1.smil is from server 101 to client terminal 20
0, and in the client terminal 200, the transmission / reception unit 2
01 receives sample1.smil, receive buffer 202
To store.
【００３９】受信バッファ２０２に格納されたＳＭＩＬ
ファイルsample1.smilは、構文解析部２０３によって読
み込まれ、ＤＯＭツリー２０４に展開される。図５は、
ＤＯＭツリー１０４の例を示す図である。ＳＭＩＬファ
イルは、開始タグに対応した終了タグが必ず存在し、こ
れらがネストされた構造をしている。このタグの階層構
造を、タグをノードとしたツリー構造として表現したの
がＤＯＭツリー２０４である。SMIL stored in receive buffer 202
The file sample1.smil is read by the syntax analysis unit 203 and expanded in the DOM tree 204. Figure 5
It is a figure which shows the example of DOM tree 104. The SMIL file always has an end tag corresponding to the start tag, and has a nested structure. The DOM tree 204 represents the hierarchical structure of the tags as a tree structure with the tags as nodes.
【００４０】ＤＯＭツリー２０４の各ノードには、それ
ぞれのタグで表される要素が持つ属性値を格納する。図
５の例では、ルートノードは図３の１行目と２２行目で
表されるsmilとなり、その子ノードは図３の２行目〜８
行目で表されるheadと９行目〜２１行目で示されるbody
となる。headの子ノードは図３の３行目〜６行目で示さ
れるlayoutとなり、その子ノードは４行目のroot-layou
t及び５行目と６行目のregionとなる。root-layoutやre
gionは属性を持つので、その値は各ノード内に格納され
る。bodyの子ノードについても同様に順次タグを解析
し、ツリー構造に展開する。Each node of the DOM tree 204 stores the attribute value of the element represented by each tag. In the example of FIG. 5, the root node is smil represented by the 1st and 22nd lines of FIG. 3, and its child nodes are the 2nd to 8th lines of FIG.
Head represented by the line and body represented by lines 9 to 21
Becomes The child node of head is the layout shown in the 3rd to 6th lines in Fig. 3, and its child node is the root-layou in the 4th line.
It becomes the region of t and the 5th and 6th lines. root-layout or re
Since gion has attributes, its value is stored in each node. Similarly for the child nodes of body, the tags are analyzed in the same way and expanded into a tree structure.
【００４１】ＤＯＭツリー２０４は解釈部２０５によっ
て読み込まれ、領域テーブル２０８が作成される。図６
は領域テーブル２０８の例を示す図であり、図５のＤＯ
Ｍツリー２０４のlayout要素の子要素であるregion要素
の属性から作成されるテーブルである。領域テーブル２
０８は、例えば領域を識別子を格納するid、背景色を格
納するbgcolor、領域の左上の座標を格納する位置、領
域の幅と高さを格納するサイズの４つの組からなる。The DOM tree 204 is read by the interpretation unit 205, and the area table 208 is created. Figure 6
6 is a diagram showing an example of a region table 208, which is DO in FIG.
It is a table created from the attributes of a region element that is a child element of the layout element of the M-tree 204. Area table 2
08 is composed of four groups, for example, an id that stores an area, a bgcolor that stores a background color, a position that stores the upper left coordinates of the area, and a size that stores the width and height of the area.
【００４２】例えば、図３の例では５行目のregion要素
より、id属性の値を図６のidに格納する。また、top,le
ft属性からこの矩形領域の左上の座標を図６の位置に格
納し、width, height属性からこの矩形領域の幅と高さ
を図６のサイズに格納する。backgroundColor属性は指
定されていないため、“−”が図６のbgcolorに格納さ
れる。６行目のregion要素に関しても同様に、図６の領
域テーブル２０８に格納される。この領域テーブル２０
８は、マルチメディアオブジェクトの表示時に参照さ
れ、これに基づき表示位置が指定される。For example, in the example of FIG. 3, the value of the id attribute is stored in the id of FIG. 6 from the region element on the 5th line. Also, top, le
The upper left coordinates of this rectangular area are stored in the position of FIG. 6 from the ft attribute, and the width and height of this rectangular area are stored in the size of FIG. 6 from the width and height attributes. Since the backgroundColor attribute is not specified, "-" is stored in bgcolor in FIG. Similarly, the region element in the sixth line is also stored in the region table 208 in FIG. This area table 20
8 is referred to when the multimedia object is displayed, and the display position is designated based on this.
【００４３】解釈部２０６では、タイミングツリー２０
７も作成される。図７はタイミングツリー２０７を示す
図であり、図５に示したＤＯＭツリー２０４のbody要素
の子要素から、par要素、seq要素及びマルチメディアオ
ブジェクト要素を解析することによって作成される。タ
イミングツリー２０７の各ノードには、マルチメディア
オブジェクト要素の属性情報（begin, end, dur, alt,
title, longdesc, fill, region, src, type）が格納さ
れるほか、各要素の実効的な開始・終了時刻がその属性
情報より計算され、付与される。各要素の実効的な再生
開始時刻及び再生終了時刻は、SMIL2.0仕様書に記載さ
れている時間モデルより計算される。In the interpreting unit 206, the timing tree 20
7 is also created. FIG. 7 is a diagram showing the timing tree 207, which is created by analyzing par elements, seq elements, and multimedia object elements from child elements of the body element of the DOM tree 204 shown in FIG. At each node of the timing tree 207, attribute information (begin, end, dur, alt,
title, longdesc, fill, region, src, type) are stored, and the effective start and end times of each element are calculated and added from the attribute information. The effective playback start time and playback end time of each element are calculated from the time model described in the SMIL 2.0 specifications.
【００４４】例えば、図７の例では初めのseq要素の実
効的な開始時刻は、再生が開始された時刻（play）であ
り、seq要素の1番目の子要素parの実効的な開始時刻
は、親要素であるseqの実効的な開始時刻（parent.begi
n）である。これはplayに等しい。さらに、par要素の子
要素であるvideo要素とimg要素の実効的な開始時刻は、
begin属性に明示的に時間値が指定されているため、親
要素の実効的開始時刻にその値を加えた時刻となる。す
なわち、video要素の実効的開始時刻はparent.begin+5s
となり、img要素の実効的開始時刻はparent.beginとな
る。For example, in the example of FIG. 7, the effective start time of the first seq element is the time (play) when the reproduction is started, and the effective start time of the first child element par of the seq element is , The effective start time of the parent element seq (parent.begi
n). This is equal to play. Furthermore, the effective start times of the video element and img element that are child elements of the par element are
Since the time value is explicitly specified in the begin attribute, the time will be the effective start time of the parent element plus that value. That is, the effective start time of the video element is parent.begin + 5s
And the effective start time of the img element is parent.begin.
【００４５】一般に、ある要素の実効的な再生開始時刻
及び再生終了時刻は、親要素及び前要素の再生開始時
刻、再生終了時刻及びユーザからのイベントの発生時刻
から決定されるため、図１の制御部２０９は再生開始／
終了コマンドやユーザからのイベントを検知するたびに
解釈部２０５にタイミングツリー２０７を更新するよう
指示を出す。Generally, the effective reproduction start time and reproduction end time of a certain element are determined from the reproduction start time and reproduction end time of the parent element and the previous element, and the event occurrence time from the user, and therefore, in FIG. The control unit 209 starts playback /
Every time an end command or an event from the user is detected, the interpretation unit 205 is instructed to update the timing tree 207.
【００４６】図８は、ＳＭＩＬファイルsample1.smilに
よるシーンの再生が開始された直後のタイミングツリー
２０７を示している。このタイミングツリー２０７はシ
ーンの再生を開始した時刻を制御部２０９が検知し、そ
の時刻を解釈部２０５に伝え、解釈部１０５がそれに伴
って更新したものである。この例の場合、シーンの再生
が開始された時刻が２００１年２月１９日１６時３０分
１５秒（2001/2/19 16:30:15:000）とすると、まずseq
要素の実効的開始時刻を2001/2/19 16:30:15:000に更新
する。これによってseq要素の初めの子要素のpar要素の
実効的開始時刻が確定するので、次に2001/2/19 16:30:
15:000に更新する。これによりpar要素の子要素であるv
ideo要素の再生開始時刻及び再生終了時刻が確定するの
で、par要素の子要素であるvideo要素の実効的開始時刻
を2001/2/19 16:30:20:000に更新し、実効的終了時刻も
2001/2/19 16:30:25:000に更新する。FIG. 8 shows the timing tree 207 immediately after the reproduction of the scene by the SMIL file sample1.smil is started. The timing tree 207 is one in which the control unit 209 detects the time when the reproduction of the scene is started, informs the time to the interpretation unit 205, and the interpretation unit 105 updates it accordingly. In the case of this example, if the time when the reproduction of the scene is started is 16:30:15 on February 19, 2001 (2001/2/19 16: 30: 15: 000), first seq
Update the effective start time of the element to 2001/2/19 16: 30: 15: 000. This establishes the effective start time of the par element, which is the first child element of the seq element.Next, 2001/2/19 16:30:
Updated at 15: 000. This allows v, which is a child element of the par element
Since the playback start time and playback end time of the ideo element are fixed, the effective start time of the video element, which is a child element of the par element, is updated to 2001/2/19 16: 30: 20: 000, and the effective end time is updated. Also
2001/2/19 Updated at 16: 30: 25: 000.
【００４７】また、img要素の実効的開始時刻及び実効
的終了時刻も同様に確定するので、2001/2/19 16:30:1
5:000, 2001/2/19 16:30:40:000に更新する。これに伴
って、親要素のpar要素の実効的終了時刻も確定し、max
(2001/2/19 16:30:25:000, 2001/2/19 16:30:40:000)、
すなわち2001/2/19 16:30:40:000に更新する。また、se
q要素の次の子要素であるpar要素の実効的開始時刻も確
定し、2001/2/19 16:30:40:000に更新する。さらに、そ
の子要素であるvideo要素、audio要素及びtext要素の実
効的開始時刻、seq要素の子要素である１番目のvideo要
素の実効的開始時刻及びtext要素の実効的終了時刻につ
いても同様に確定し、それぞれ2001/2/1916:30:40:000,
2001/2/19 16:30:45:000, 2001/2/19 16:30:40:000, 2
001/2/1916:30:40:000, 2001/2/19 16:30:55:000に更新
する。このように解釈部２０５は、イベントにより確定
した時刻を基にタイミングツリーの再生開始時刻または
再生終了時刻の確定した要素を更新する。Since the effective start time and effective end time of the img element are similarly determined, 2001/2/19 16: 30: 1
Updated at 5: 000, 2001/2/19 16: 30: 40: 000. Along with this, the effective end time of the par element of the parent element is also determined, and max
(2001/2/19 16: 30: 25: 000, 2001/2/19 16: 30: 40: 000),
In other words, it will be updated at 2001/2/19 16: 30: 40: 000. Also, se
The effective start time of the par element, which is the next child element of the q element, is also fixed and updated to 2001/2/19 16: 30: 40: 000. Furthermore, the effective start times of its child elements, video element, audio element, and text element, the effective start time of the first video element that is a child element of the seq element, and the effective end time of the text element are similarly determined. 2001/2/19 16: 30: 40: 000, respectively
2001/2/19 16: 30: 45: 000, 2001/2/19 16: 30: 40: 000, 2
Updated at 001/2/19 16: 30: 40: 000, 2001/2/19 16: 30: 55: 000. In this way, the interpretation unit 205 updates the element of which the reproduction start time or the reproduction end time of the timing tree is confirmed, based on the time confirmed by the event.
【００４８】転送スケジューリング部２０６は、制御部
２０９により更新されたタイミングツリー２０７の再生
開始時刻に間に合うように、マルチメディアオブジェク
トをサーバ１０１あるいは１０２から取得する旨の指示
を送受信部２０１に出す。この指示を受けて、送受信部
２０１は当該オブジェクトがダウンロード型オブジェク
トであった場合はＨＴＴＰを用いてオブジェクトのデー
タを取得し、受信バッファ２０２に格納する。The transfer scheduling unit 206 issues an instruction to the transmitting / receiving unit 201 to acquire the multimedia object from the server 101 or 102 in time for the reproduction start time of the timing tree 207 updated by the control unit 209. In response to this instruction, if the object is a download type object, the transmission / reception unit 201 acquires the object data using HTTP and stores it in the reception buffer 202.
【００４９】当該オブジェクトがストリーム型オブジェ
クトであった場合は、転送スケジューラ２０６はＳＤＰ
データを要求する旨の指示を送受信部２０１に出す。こ
の指示を受けて、送受信部２０１はサーバ１０２に対し
て当該オブジェクトのＳＤＰデータを取得するためのコ
マンドＤＥＳＣＲＩＢＥを送信する。このコマンドＤＥ
ＳＣＲＩＢＥを受けたサーバ１０２はＳＤＰデータを送
信し、これを送受信部２０１が受信して受信バッファ２
０２に格納する。ＤＥＳＣＲＩＢＥとは、クライアント
からオブジェクトのＵＲＬに記述されたサーバに対し、
当該オブジェクトのＳＤＰデータを要求するＲＴＳＰの
コマンドであり、具体的な仕様についてはＩＥＴＦの発
行するＲＴＳＰの仕様書ＲＦＣ２３２６の１０章に記載
されている。If the object is a stream type object, the transfer scheduler 206 uses the SDP
The transmission / reception unit 201 is instructed to request data. In response to this instruction, the transmission / reception unit 201 transmits to the server 102 a command DESCRIBE for acquiring the SDP data of the object. This command DE
The server 102 receiving the SCRIBE transmits the SDP data, and the transmitting / receiving unit 201 receives the SDP data, and the receiving buffer 2
Stored in 02. With DESCRIBE, the client sends to the server described in the URL of the object,
This is an RTSP command for requesting SDP data of the object, and its specific specifications are described in Chapter 10 of RTSP specification RFC2326 issued by IETF.
【００５０】図９は、ＳＤＰデータの記述の一部を示す
例である。属性mには、メディアの種類、メディアが送
信されるポート番号、プロトコル、ペイロードタイプが
指定される。属性a=controlにはメディアオブジェクト
の所在を示すＵＲＬを指定し、属性a=rangeにはメディ
アの開始時間と終了時間を指定する。図９の例では、メ
ディアの種類が動画であり、送信ポートはクライアント
で割り当てることを示す０、送信のプロトコルはＲＴＰ
／ＡＶＰ、ペイロードタイプは９６であることが指定さ
れている。メディアオブジェクトのデータの所在を示す
ＵＲＬは、rtsp://bar.com/video2.mp4/TrackID=1と指
定されている。ＭＰ４はＭＰＥＧ−４を格納するための
ファイルフォーマットとしてＩＳＯで規定された国際標
準規格（ＩＳＯ／ＩＥＣ １４４９６）であり、ＭＰ４
ファイル内の各トラックにメディアのデータが格納され
ている。図９の例では、ＭＰ４ファイル内のTrackIDが1
のメディアデータを示している。FIG. 9 is an example showing a part of the description of the SDP data. In the attribute m, the type of medium, the port number to which the medium is transmitted, the protocol, and the payload type are specified. The attribute a = control specifies a URL indicating the location of the media object, and the attribute a = range specifies the start time and end time of the media. In the example of FIG. 9, the media type is a moving image, the transmission port is 0 indicating that the client allocates it, and the transmission protocol is RTP.
It is specified that / AVP and payload type are 96. The URL indicating the location of the data of the media object is designated as rtsp: //bar.com/video2.mp4/TrackID=1. MP4 is an international standard (ISO / IEC 14496) defined by ISO as a file format for storing MPEG-4.
Media data is stored in each track in the file. In the example of FIG. 9, the TrackID in the MP4 file is 1
Shows the media data of.
【００５１】また、図９のＳＤＰデータの記述では、メ
ディアオブジェクトの再生は０秒目から開始し、１８秒
目に終了することを示している。すなわち、ＳＤＰデー
タはメディアオブジェクトの再生時間を属性として持っ
ている。Further, the description of the SDP data in FIG. 9 indicates that the reproduction of the media object starts at 0 second and ends at 18 seconds. That is, the SDP data has the reproduction time of the media object as an attribute.
【００５２】転送スケジューラ２０６は、受信バッファ
２０２に格納されたＳＤＰデータを読み込んで解析し、
クライアントのポート番号、プロトコル、所在場所及び
再生時間を得る。図９に示したＳＤＰデータの例では、
クライアントのポート番号はクライアントが割り当てる
ことを示す０が指定されているため、送受信部２０１に
ポートの割り当てを指定する。プロトコルはＲＴＰ／Ａ
ＶＰであり、所在場所はrtsp://bar.com/video2.mp4/Tr
ackID=1、そして再生時間は１８秒となる。The transfer scheduler 206 reads and analyzes the SDP data stored in the reception buffer 202,
Get client port number, protocol, location and play time. In the example of the SDP data shown in FIG. 9,
Since 0 indicating that the client is to be assigned is designated as the port number of the client, the transmission / reception unit 201 is designated to assign the port. Protocol is RTP / A
It is a VP and is located at rtsp: //bar.com/video2.mp4/Tr
ackID = 1, and the playback time is 18 seconds.
【００５３】転送スケジューラ２０６は、サーバ１０２
に対して送受信部２０１が割り当てたポート番号、ＳＤ
Ｐデータから得た所在場所、プロトコルを用いてＳＥＴ
ＵＰの要求を行うように送受信部２０１に指示を出すと
ともに、メディアオブジェクトの再生時間を制御部２０
９に通知する。その後、転送スケジューラ２０６はＰＬ
ＡＹコマンドを送信するように送受信部２０１に指示を
出し、送受信部２０１は再生開始に必要なデータ量を受
信バッファ２０２に格納する。ＳＥＴＵＰとは、ＲＴＳ
Ｐにおいてクライアントからサーバに対する転送準備の
要求であり、この要求を受けたサーバはセッションを生
成し、オブジェクトの転送を開始できる状態にする。Ｐ
ＬＡＹとは、ＲＴＳＰにおいてクライアントからサーバ
に対するデータ転送の要求であり、この要求を受けたサ
ーバはオブジェクトのデータの転送を開始する。ＳＥＴ
ＵＰ、ＰＬＡＹの具体的な方法については、ＲＴＳＰの
ＲＦＣ２３２６の１０章に記載されている。The transfer scheduler 206 uses the server 102.
The port number assigned by the transmitter / receiver 201 to the SD
Location using P data, SET using protocol
The transmission / reception unit 201 is instructed to make the UP request, and the control unit 20 sets the reproduction time of the media object.
Notify 9. After that, the transfer scheduler 206
The transmission / reception unit 201 is instructed to transmit the AY command, and the transmission / reception unit 201 stores the amount of data required for starting reproduction in the reception buffer 202. SETUP is RTS
In P, the request from the client to the server for transfer preparation is received, and the server that receives this request creates a session and makes it ready to start transferring the object. P
LAY is a request for data transfer from a client to a server in RTSP, and the server receiving this request starts the transfer of object data. SET
The specific method of UP and PLAY is described in Chapter 10 of RFC2326 of RTSP.
【００５４】受信バッファ２０２に格納されたマルチメ
ディアオブジェクトデータは、再生部２１０に渡され
る。制御部２０９は、タイミングツリー２０７及び領域
テーブル２０８に基づいて再生部２１０に対して該当時
刻・位置にオブジェクトを再生するように指示を出す。
再生部２１０は、この指示に従いオブジェクトのデータ
型によりデコーダ２１１ａ〜２１１ｄを選択し、選択し
たデコーダの出力をディスプレイ２１２及びスピーカ２
１３へ送出する。再生部２１０は再生が開始または終了
すると、その旨を制御部２０９に通知する。制御部２０
９は、この通知を受けて解析部２０５に対してタイミン
グツリー２０７の更新指示を出す。これらの処理は、シ
ーン内のマルチメディアオブジェクトの表示再生を終了
するまで行われる。The multimedia object data stored in the reception buffer 202 is passed to the reproduction section 210. The control unit 209 instructs the reproduction unit 210 to reproduce the object at the relevant time / position based on the timing tree 207 and the area table 208.
The reproduction unit 210 selects the decoders 211a to 211d according to the data type of the object according to this instruction, and outputs the output of the selected decoder to the display 212 and the speaker 2.
Send to 13. When the reproduction unit 210 starts or ends the reproduction, it notifies the control unit 209 of that fact. Control unit 20
Receiving this notification, 9 issues an instruction to update the timing tree 207 to the analysis unit 205. These processes are performed until the display / playback of the multimedia object in the scene is completed.
【００５５】次に、図３で示されるマルチメディアシー
ンに含まれるイメージオブジェクトimage1.jpgに表示に
対してユーザによるマウスクリックなどの操作が行われ
ることにより、イメージオブジェクトimage1.jpgに指定
されたリンクが実行されたときの制御部２０９の動作に
ついて説明する。図３で示される１４行目のイメージオ
ブジェクトimage1.jpgに対して指定されているリンクで
ある１３行目の<a>要素のhref属性は、”#video3”と指
定されている。これは同じＳＭＩＬファイル内の要素の
idがvideo3である要素の再生開始時点から、マルチメデ
ィアシーンの再生を開始することを意味する。図３の例
では、id=”video3”と指定されている、ビデオオブジ
ェクトvideo3.mp4を示す２０行目の要素が再生のエント
リポイントとなる。Next, the user operates the mouse to click on the image object image1.jpg included in the multimedia scene shown in FIG. 3 to display the link specified in the image object image1.jpg. The operation of the control unit 209 when is executed will be described. The href attribute of the <a> element on the 13th line, which is the link specified for the image object image1.jpg on the 14th line shown in FIG. 3, is specified as “# video3”. This is for an element in the same SMIL file
This means to start playing the multimedia scene from the time when the element whose id is video3 starts playing. In the example of FIG. 3, the element on the 20th line indicating the video object video3.mp4 designated as id = “video3” is the entry point for reproduction.
【００５６】図４（ｂ）によれば、ビデオオブジェクト
video3.mp4が再生を開始するとき、これと同期して再生
されているメディアオブジェクトは、オーディオオブジ
ェクトaudio1.mp3のみである。ところが、ビデオオブジ
ェクトvideo3.mp4が属するブロックと同じブロック内の
ビデオオブジェクトvideo2.mp4とオーディオオブジェク
トaudio1.mp3の再生時間によっては、video3.mp4と同期
して再生されるオブジェクトは必ずしもaudio1.mp3のみ
とはならないない可能性がある。例えば、ビデオオブジ
ェクトvideo2.mp4の再生時間が１５秒よりも短い場合
は、オーディオオブジェクトaudio1.mp3のみでなく、テ
キストオブジェクトtext1.txtも同時に表示されなけれ
ばならない。従って、このようにマルチメディアシーン
の途中から再生を開始する場合は、ブロック内の時間的
に連続なメディアオブジェクト（ビデオオブジェクト及
びオーディオオブジェクト）の再生時間を得る必要があ
る。According to FIG. 4B, the video object
When video3.mp4 starts playing, the audio object audio1.mp3 is the only media object playing in synchronization with this. However, depending on the playing time of the video object video2.mp4 and audio object audio1.mp3 in the same block as the block to which the video object video3.mp4 belongs, the only object that plays in synchronization with video3.mp4 is not necessarily audio1.mp3. It may not be possible. For example, if the playback time of the video object video2.mp4 is shorter than 15 seconds, not only the audio object audio1.mp3 but also the text object text1.txt must be displayed at the same time. Therefore, when the reproduction is started from the middle of the multimedia scene in this way, it is necessary to obtain the reproduction time of the temporally continuous media objects (video object and audio object) in the block.
【００５７】以下、図１０に示すフローチャートを用い
て、本実施形態におけるマルチメディアシーンの途中か
らマルチメディアデータの再生を行う場合の処理手順に
ついて説明する。まず、ＳＭＩＬファイル内のオブジェ
クトに対するリンクが実行されると、制御部２０９はそ
のオブジェクトを含むブロックを得る（ステップＳ
１）。図３及び図４の例では、ブロック２となる。次
に、制御部２０９はブロック内の連続メディアオブジェ
クト（時間的に連続なメディアオブジェクト）のＳＤＰ
データを要求するように、転送スケジューラ２０６に指
示を出す（ステップＳ２）。この指示に基づいて、転送
スケジューラ２０６が送受信部２０１に対してＳＤＰデ
ータをサーバ１０２に要求する旨の指示を出すと、送受
信部２０１はＳＤＰデータを要求するコマンドＤＥＳＣ
ＲＩＢＥを送信し、サーバ１０２よりＳＤＰデータを受
信して受信バッファ２０２に格納する。The processing procedure for reproducing the multimedia data from the middle of the multimedia scene in this embodiment will be described below with reference to the flowchart shown in FIG. First, when the link to the object in the SMIL file is executed, the control unit 209 obtains a block including the object (step S
1). In the example of FIGS. 3 and 4, the block is 2. Next, the control unit 209 determines the SDP of continuous media objects (temporally continuous media objects) in the block.
The transfer scheduler 206 is instructed to request the data (step S2). Based on this instruction, when the transfer scheduler 206 issues an instruction to the transmission / reception unit 201 to request the server 102 for SDP data, the transmission / reception unit 201 sends a command DESC requesting SDP data.
RIBE is transmitted, SDP data is received from the server 102, and stored in the reception buffer 202.
【００５８】次に、転送スケジューラ２０６は受信バッ
ファ２０２より当該ＳＤＰデータを読み込んで解析し、
ＳＤＰデータのa=rangeに記載された連続メディアオブ
ジェクトの再生時間を取得する（ステップＳ３）。
次に、制御部２０９は解釈部２０５に対し、マルチメデ
ィアシーンの途中からマルチメディアデータを再生する
場合の途中再生のエントリとして指定された要素の実効
的開始時刻を再生開始時刻playとして、タイミングツリ
ー２０７を更新させる（ステップＳ４）。Next, the transfer scheduler 206 reads the SDP data from the reception buffer 202 and analyzes it.
The reproduction time of the continuous media object described in a = range of the SDP data is acquired (step S3). Next, the control unit 209 instructs the interpreting unit 205 to set the effective start time of the element designated as the entry of the intermediate reproduction when the multimedia data is reproduced from the middle of the multimedia scene as the reproduction start time play to the timing tree. 207 is updated (step S4).
【００５９】図３の例において、ブロック２の連続メデ
ィアオブジェクトを構成するオーディオオブジェクトau
dio1.mp3、ビデオオブジェクトvideo2.mp4及びビデオオ
ブジェクトvideo3.mp4の再生時間がそれぞれａ秒、ｖ１
秒及びｖ２秒とすると、ステップＳ４により更新された
タイミングツリー２０７は図１１のようになる。さら
に、例えば再生開始時刻が2001/7/19 10:18:00であると
し、オーディオオブジェクトaudio1.mp3の再生時間がａ
＝３０秒、ビデオオブジェクトvideo2.mp4の再生時間が
ｖ１＝２５秒、ビデオオブジェクトvideo3.mp4の再生時
間がｖ２＝１５秒とすると、ステップＳ４により更新さ
れたタイミングツリー２０７は図１２のようになる。In the example of FIG. 3, the audio object au which constitutes the continuous media object of block 2
The playback time of dio1.mp3, video object video2.mp4 and video object video3.mp4 is a second and v1 respectively.
Seconds and v2 seconds, the timing tree 207 updated in step S4 is as shown in FIG. Furthermore, assuming that the reproduction start time is 2001/7/19 10:18:00, and the reproduction time of the audio object audio1.mp3 is a
= 30 seconds, the reproduction time of the video object video2.mp4 is v1 = 25 seconds, and the reproduction time of the video object video3.mp4 is v2 = 15 seconds, the timing tree 207 updated in step S4 is as shown in FIG. .
【００６０】制御部２０９は、このようにして計算され
たメディアオブジェクトの各要素の実効的開始時刻と実
効的終了時刻から、各メディアオブジェクトの再生開始
時点を求める（ステップＳ５）。ある要素の実効的開始
時刻と実効的終了時刻が、途中再生のエントリとして指
定された要素の実効的開始時刻を含み、その要素が連続
メディアオブジェクトを示す要素であった場合、制御部
２０９はその実効的開始時刻と指定されたメディアオブ
ジェクトの実効的開始時刻の差を求める。The control unit 209 obtains the reproduction start time of each media object from the effective start time and effective end time of each element of the media object calculated in this way (step S5). When the effective start time and the effective end time of a certain element include the effective start time of the element designated as the entry for midway reproduction, and the element is an element indicating a continuous media object, the control unit 209 outputs the element. Gets the difference between the effective start time and the effective start time of the specified media object.
【００６１】図１２のタイミングツリー２０７より、図
３の例では指定されたメディアオブジェクトの再生開始
時刻は2001/7/19 10:18:00であり、この時刻を実効的開
始時刻と実効的終了時刻が含むメディアオブジェクトは
オーディオオブジェクトaudio1.mp3のみであり、実効的
開始時刻との差は２０秒である。従って、オーディオオ
ブジェクトaudio1.mp3は２０秒目から再生されることに
なる。From the timing tree 207 of FIG. 12, in the example of FIG. 3, the reproduction start time of the designated media object is 2001/7/19 10:18:00, and this time is an effective start time and an effective end. The media object included in the time is only the audio object audio1.mp3, and the difference from the effective start time is 20 seconds. Therefore, the audio object audio1.mp3 will be reproduced from the 20th second.
【００６２】さらに、制御部２０９はブロック内の途中
から再生されるメディアオブジェクト、及びこれから再
生されるべきメディアオブジェクトの再生開始に必要な
データを取得するように転送スケジューラ２０６に指示
を出し、その指示を受けた転送スケジューラ２０６は送
受信部２０１に対し、ダウンロード型オブジェクトのダ
ウンロードとストリーム型オブジェクトのバッファリン
グを行うように指示する（ステップＳ６）。この手順に
ついては、前述の通常再生時と同様である。Further, the control unit 209 issues an instruction to the transfer scheduler 206 so as to acquire the data required to start the reproduction of the media object to be reproduced from the middle of the block and the media object to be reproduced, and the instruction is given. The transfer scheduler 206 having received the instruction instructs the transmission / reception unit 201 to perform download of the download type object and buffering of the stream type object (step S6). This procedure is the same as in the above-described normal reproduction.
【００６３】ブロック内のこれから再生されるべきメデ
ィアオブジェクトのダウンロードとバッファリングが完
了すると、制御部２０９は前記通常再生時と同様の処理
を行い、再生を開始する（ステップＳ７）。When the download and buffering of the media object to be reproduced in the block is completed, the control unit 209 performs the same processing as in the normal reproduction and starts the reproduction (step S7).
【００６４】以上に示した途中再生の動作においては、
再生中のマルチメディアシーンと同じＳＭＩＬファイル
内のある要素に対するリンクの実行時について説明した
が、他のＳＭＩＬファイル内のある要素に対するリンク
の実行時、及びユーザがはじめに指定するＵＲＬがＳＭ
ＩＬファイル内のある要素を示す場合（例えばhttp://f
oo.com/sample1.smi#video3）も同様の処理が行われ
る。In the midway reproduction operation shown above,
The execution time of a link to a certain element in the same SMIL file as the multimedia scene being played was explained, but the execution time of a link to a certain element in another SMIL file and the URL specified by the user are SM.
When indicating an element in the IL file (for example, http: // f
The same process is performed for oo.com/sample1.smi#video3).
【００６５】このように本実施形態では、ＳＭＩＬのよ
うなシーン記述情報によって各メディアオブジェクトの
再生に関する時間的順序関係が記述されたマルチメディ
アシーンの途中からマルチメディアデータを再生する場
合、予め連続メディアオブジェクトの再生時間をＳＤＰ
データを取得することによって、シーン内のマルチメデ
ィアオブジェクトの再生開始時点を計算し、シーン記述
情報の記述に正しく従った同期再生を行うことができ
る。As described above, in this embodiment, when the multimedia data is reproduced from the middle of the multimedia scene in which the temporal order relation regarding the reproduction of each media object is described by the scene description information such as SMIL, the continuous media is previously recorded. SDP the playback time of the object
By acquiring the data, it is possible to calculate the playback start time of the multimedia object in the scene and perform the synchronized playback that correctly follows the description of the scene description information.
【００６６】[0066]
【発明の効果】以上説明したように、本発明によればＳ
ＭＩＬのようなシーン記述情報によって各メディアオブ
ジェクトの再生に関する時間的順序が記述されたマルチ
メディアシーンの途中からマルチメディアデータを再生
する場合にも、シーン記述情報の記述に正しく従った同
期再生を行うことができる。As described above, according to the present invention, S
Even when the multimedia data is reproduced from the middle of the multimedia scene in which the temporal order regarding the reproduction of each media object is described by the scene description information such as MIL, the synchronous reproduction is correctly performed according to the description of the scene description information. be able to.
【図１】本発明の一実施形態に係るマルチメディア再生
装置を含むデータ転送システムの全体構成を示すブロッ
ク図FIG. 1 is a block diagram showing an overall configuration of a data transfer system including a multimedia playback device according to an embodiment of the present invention.
【図２】同実施形態に係るマルチメディア再生装置の内
部構成を示すブロック図FIG. 2 is a block diagram showing an internal configuration of the multimedia playback device according to the embodiment.
【図３】同実施形態に係るマルチメディア再生装置にて
扱われるＳＭＩＬにより記述されたシーンを説明するた
めの図FIG. 3 is a diagram for explaining a scene described in SMIL handled by the multimedia playback device according to the embodiment.
【図４】ＳＭＩＬにより記述されたマルチメディアシー
ンの各メディアオブジェクト表示領域及び表示時間を説
明するための図FIG. 4 is a diagram for explaining each media object display area and display time of a multimedia scene described by SMIL.
【図５】ＳＭＩＬファイルをＤＯＭツリーとして展開し
た図FIG. 5 is a diagram in which a SMIL file is expanded as a DOM tree.
【図６】同実施形態に係るマルチメディア再生装置で扱
われる領域テーブルを説明するための図FIG. 6 is an exemplary view for explaining an area table handled by the multimedia playback device according to the embodiment.
【図７】同実施形態に係るマルチメディア再生装置で扱
われるマルチメディアオブジェクトの表示時刻を制御す
るためのタイミングツリーの初期状態を示す図FIG. 7 is a diagram showing an initial state of a timing tree for controlling display time of a multimedia object handled by the multimedia playback device according to the embodiment.
【図８】同タイミングツリーの再生開始直後の状態を示
す図FIG. 8 is a diagram showing a state immediately after the reproduction of the same timing tree is started.
【図９】同実施形態におけるＳＤＰデータの記述の一部
を示す図FIG. 9 is a diagram showing a part of the description of SDP data in the same embodiment.
【図１０】同実施形態における制御部の途中再生の処理
手順を説明するためのフローチャートFIG. 10 is a flowchart for explaining a processing procedure of midway reproduction of the control unit in the embodiment.
【図１１】同実施形態におけるシーン途中再生時のマル
チメディアオブジェクトの表示時刻を制御するためのタ
イミングツリーの状態を示す図FIG. 11 is a diagram showing a state of a timing tree for controlling the display time of a multimedia object during mid-scene playback of a scene in the same embodiment.
【図１２】図１１のタイミングツリーの具体的な状態例
を示す図12 is a diagram showing an example of a specific state of the timing tree of FIG.
１０１，１０２…サーバ（マルチメディアデータ配信装
置）
２００…クライアント端末（マルチメディア再生装置）
３００…ネットワーク
２０１…送受信部
２０２…受信バッファ
２０３…構文解析部
２０４…ＤＯＭツリー
２０５…解釈部
２０６…転送スケジューリング部
２０７…タイミングツリー
２０８…領域テーブル
２０９…制御部
２１０…再生部
２１１ａ〜２１１ｄ…デコーダ
２１２…ディスプレイ
２１３…スピーカ101, 102 ... Server (multimedia data distribution device) 200 ... Client terminal (multimedia reproduction device) 300 ... Network 201 ... Transmission / reception unit 202 ... Reception buffer 203 ... Syntax analysis unit 204 ... DOM tree 205 ... Interpretation unit 206 ... Transfer scheduling Unit 207 ... Timing tree 208 ... Region table 209 ... Control unit 210 ... Playback units 211a to 211d ... Decoder 212 ... Display 213 ... Speaker
───────────────────────────────────────────────────── フロントページの続き (72)発明者 是津 達也 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 Ｆターム(参考） 5C053 GB06 GB37 JA01 KA05 LA06 LA15 5C064 BA07 BB10 BC18 BC23 BD02 BD08 BD09 ─────────────────────────────────────────────────── ─── Continued front page (72) Inventor Tatsuya Koretsu 1st Komukai Toshiba-cho, Sachi-ku, Kawasaki-shi, Kanagawa Inside the Toshiba Research and Development Center F-term (reference) 5C053 GB06 GB37 JA01 KA05 LA06 LA15 5C064 BA07 BB10 BC18 BC23 BD02 BD08 BD09
Claims (6)
ディアオブジェクトを含むマルチメディアデータを受信
して再生するマルチメディア再生方法において、 前記マルチメディアデータに含まれる各メディアオブジ
ェクトの再生に関する時間的順序関係を記述したシーン
記述情報を入力するステップと、 前記シーン記述情報から前記時間的順序関係を判定する
ステップと、 前記ネットワークを介して前記シーン記述情報によって
前記時間的順序関係が記述された少なくとも一つの前記
メディアオブジェクトの再生時間を属性として持つデー
タを取得するステップと、 判定された前記時間的順序関係及び前記再生時間を属性
として持つデータにより示される再生時間に基づいて、
受信した前記マルチメディアデータに含まれる各メディ
アオブジェクトの再生開始時点を計算するステップと、 判定された前記順序的関係及び計算された前記再生開始
時点に従って、受信した前記マルチメディアデータを再
生するステップとを具備するマルチメディア再生方法。1. A multimedia reproducing method for receiving and reproducing multimedia data including a plurality of media objects transferred via a network, wherein a temporal order relation regarding reproduction of each media object included in the multimedia data. Inputting the scene description information described above, determining the temporal order relationship from the scene description information, and at least one of the temporal order relationships described by the scene description information via the network. Acquiring data having a play time of the media object as an attribute, based on the determined temporal order relationship and a play time indicated by the data having the play time as an attribute,
Calculating a reproduction start time point of each media object included in the received multimedia data; reproducing the received multimedia data according to the determined order relation and the calculated reproduction start time point; A multimedia playback method comprising:
は、前記シーン記述情報によって前記時間的順序関係が
記述された複数のメディアオブジェクトを、一つのメデ
ィアオブジェクトまたは同時再生されるべき複数のメデ
ィアオブジェクトを含むブロックに区分したシーン記述
情報を入力し、 前記再生時間を属性として持つデータを取得するステッ
プは、前記マルチメディアデータを途中から再生する場
合のエントリとして指定されたメディアオブジェクトを
含むブロック内の少なくとも一つのメディアオブジェク
トの再生時間を属性として持つデータを取得し、 前記再生開始時点を計算するステップは、前記時間的順
序関係及び前記再生時間に基づいて、前記エントリとし
て指定されたメディアオブジェクトを含むブロック内の
各メディアオブジェクトの再生開始時点を計算する請求
項１記載のマルチメディア再生方法。2. The step of inputting the scene description information includes a plurality of media objects in which the temporal order relationship is described by the scene description information, one media object or a plurality of media objects to be simultaneously reproduced. The step of inputting the scene description information divided into the blocks containing the data and obtaining the data having the reproduction time as an attribute includes at least the block in the block containing the media object specified as the entry when the multimedia data is reproduced from the middle. The step of obtaining the data having the reproduction time of one media object as an attribute and calculating the reproduction start time includes a block including the media object specified as the entry based on the temporal order relation and the reproduction time. Each media in Multimedia reproduction method according to claim 1, wherein calculating the reproduction start time point of the object.
得するステップは、該データとしてセッションデスクリ
プションプロトコルデータを取得する請求項１記載のマ
ルチメディア再生方法。3. The multimedia reproducing method according to claim 1, wherein the step of acquiring the data having the reproduction time as an attribute acquires session description protocol data as the data.
ディアオブジェクトを含むマルチメディアデータを受信
して再生するマルチメディア再生装置において、 前記マルチメディアデータに含まれる各メディアオブジ
ェクトの再生に関する時間的順序関係を記述したシーン
記述情報を構文解析して内部表現に変換する手段と、 前記内部表現を解釈して前記時間的順序関係を判定する
手段と、 前記ネットワークを介して前記シーン記述情報によって
前記時間的順序関係が記述された少なくとも一つの前記
メディアオブジェクトの再生時間を属性として持つデー
タを取得する手段と、 判定された前記時間的順序関係及び前記再生時間を属性
として持つデータにより示される再生時間に基づいて、
受信した前記マルチメディアデータに含まれる各メディ
アオブジェクトの再生開始時点を計算する手段と、 判定された前記順序的関係及び計算された前記再生開始
時点に従って、受信した前記マルチメディアデータを再
生する手段とを具備するマルチメディア再生装置。4. A multimedia reproducing apparatus for receiving and reproducing multimedia data including a plurality of media objects transferred via a network, wherein a temporal order relation regarding reproduction of each media object included in the multimedia data. Means for parsing the scene description information describing the above and converting it into an internal representation, means for interpreting the internal representation and determining the temporal order relation, and the temporal description according to the scene description information via the network. Means for obtaining data having a play time of at least one of the media objects in which an order relation is described as an attribute, and based on the determined temporal order relationship and a play time indicated by the data having the play time as an attribute hand,
Means for calculating a reproduction start time point of each media object included in the received multimedia data; and means for reproducing the received multimedia data according to the determined order relation and the calculated reproduction start time point. A multimedia playback device comprising.
ディアオブジェクトを含むマルチメディアデータを受信
して再生する処理をコンピュータに実行させるためのプ
ログラムであって、 前記マルチメディアデータに含まれる各メディアオブジ
ェクトの再生に関する時間的順序関係を記述したシーン
記述情報を入力する処理と、 前記シーン記述情報から前記時間的順序関係を判定する
処理と、 前記ネットワークを介して前記シーン記述情報によって
前記時間的順序関係が記述された少なくとも一つの前記
メディアオブジェクトの再生時間を属性として持つデー
タを取得する処理と、 判定された前記時間的順序関係及び前記再生時間を属性
として持つデータにより示される再生時間に基づいて、
受信した前記マルチメディアデータに含まれる各メディ
アオブジェクトの再生開始時点を計算する処理と、 判定された前記順序的関係及び計算された前記再生開始
時点に従って、受信した前記マルチメディアデータを再
生する処理とをコンピュータに実行させるためのプログ
ラム。5. A program for causing a computer to execute a process of receiving and reproducing multimedia data including a plurality of media objects transferred via a network, each media object included in the multimedia data. Inputting scene description information that describes a temporal order relationship regarding reproduction of a scene, processing for determining the temporal order relationship from the scene description information, and the temporal order relationship based on the scene description information via the network. A process for acquiring data having a reproduction time of at least one of the media objects described as an attribute, and a reproduction time indicated by the determined temporal order relationship and the data having the reproduction time as an attribute,
A process of calculating a reproduction start time point of each media object included in the received multimedia data; a process of reproducing the received multimedia data according to the determined order relation and the calculated reproduction start time point. A program that causes a computer to execute.
ディアオブジェクトを含むマルチメディアデータを受信
して再生する処理をコンピュータに実行させるためのプ
ログラムであって、 前記マルチメディアデータに含まれる各メディアオブジ
ェクトの再生に関する時間的順序関係を記述したシーン
記述情報であって、該時間的順序関係が記述された複数
のメディアオブジェクトを、一つのメディアオブジェク
トまたは同時再生されるべき複数のメディアオブジェク
トを含むブロックに区分したシーン記述情報を入力する
処理と、 前記シーン記述情報から前記時間的順序関係を判定する
処理と、 前記ネットワークを介して前記シーン記述情報によって
前記時間的順序関係が記述された少なくともメディアオ
ブジェクトのうち、前記マルチメディアデータを途中か
ら再生する場合のエントリとして指定されたメディアオ
ブジェクトを含むブロック内の少なくとも一つのメディ
アオブジェクトの再生時間を属性として持つデータを取
得する処理と、 判定された前記時間的順序関係及び前記再生時間を属性
として持つデータにより示される再生時間に基づいて、
受信した前記マルチメディアデータに含まれる各メディ
アオブジェクトのうち前記エントリとして指定されたメ
ディアオブジェクトを含むブロック内の各メディアオブ
ジェクトの再生開始時点を計算する再生開始時点を計算
する処理と、 判定された前記順序的関係及び計算された前記再生開始
時点に従って、受信した前記マルチメディアデータを再
生する処理とをコンピュータに実行させるためのプログ
ラム。6. A program for causing a computer to execute a process of receiving and reproducing multimedia data including a plurality of media objects transferred via a network, each media object included in the multimedia data. Scene description information describing a temporal order relation regarding reproduction of a plurality of media objects in which the temporal order relation is described, into one media object or a block including a plurality of media objects to be simultaneously reproduced. A process of inputting the divided scene description information, a process of determining the temporal order relation from the scene description information, and a process of at least a media object in which the temporal order relation is described by the scene description information via the network. Of which, the multimedia Processing to obtain data having as an attribute the reproduction time of at least one media object in the block including the media object specified as the entry when reproducing the data from the middle, and the determined temporal order relationship and the reproduction Based on the playback time indicated by the data that has time as an attribute,
A process of calculating a reproduction start time point of a reproduction start time point of each media object in a block including the media object specified as the entry among the media objects included in the received multimedia data; A program for causing a computer to execute a process of reproducing the received multimedia data according to an order relation and the calculated reproduction start time point.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001338168A JP2003143575A (en) | 2001-11-02 | 2001-11-02 | Multimedia reproducing method and device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001338168A JP2003143575A (en) | 2001-11-02 | 2001-11-02 | Multimedia reproducing method and device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003143575A true JP2003143575A (en) | 2003-05-16 |
Family
ID=19152701
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001338168A Pending JP2003143575A (en) | 2001-11-02 | 2001-11-02 | Multimedia reproducing method and device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003143575A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100991619B1 (en) | 2003-09-17 | 2010-11-04 | 엘지전자 주식회사 | System and Method for broadcasting service for trick play based on contents |
| JP2010539742A (en) * | 2007-09-10 | 2010-12-16 | ヴァントリックス コーポレーション | Method and system for adaptation of multimedia messaging service (MMS) to video |
| US8959635B2 (en) | 2007-09-28 | 2015-02-17 | Vantrix Corporation | Generation and delivery of multimedia content-adaptation notifications |
| US9794319B2 (en) | 2007-09-10 | 2017-10-17 | Vantrix Corporation | Modular transcoding pipeline |
| US9811470B2 (en) | 2012-08-28 | 2017-11-07 | Vantrix Corporation | Method and system for self-tuning cache management |
| US10097463B2 (en) | 2009-12-01 | 2018-10-09 | Vantrix Corporation | System and methods for efficient media delivery using cache |
-
2001
- 2001-11-02 JP JP2001338168A patent/JP2003143575A/en active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100991619B1 (en) | 2003-09-17 | 2010-11-04 | 엘지전자 주식회사 | System and Method for broadcasting service for trick play based on contents |
| JP2010539742A (en) * | 2007-09-10 | 2010-12-16 | ヴァントリックス コーポレーション | Method and system for adaptation of multimedia messaging service (MMS) to video |
| US8677241B2 (en) | 2007-09-10 | 2014-03-18 | Vantrix Corporation | Method and system for multimedia messaging service (MMS) to video adaptation |
| US9794319B2 (en) | 2007-09-10 | 2017-10-17 | Vantrix Corporation | Modular transcoding pipeline |
| US8959635B2 (en) | 2007-09-28 | 2015-02-17 | Vantrix Corporation | Generation and delivery of multimedia content-adaptation notifications |
| US10097463B2 (en) | 2009-12-01 | 2018-10-09 | Vantrix Corporation | System and methods for efficient media delivery using cache |
| US10567287B2 (en) | 2009-12-01 | 2020-02-18 | Vantrix Corporation | System and methods for efficient media delivery using cache |
| US9811470B2 (en) | 2012-08-28 | 2017-11-07 | Vantrix Corporation | Method and system for self-tuning cache management |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6570646B2 (en) | Audio video file live streaming method, system and server | |
| JP4304108B2 (en) | METADATA DISTRIBUTION DEVICE, VIDEO REPRODUCTION DEVICE, AND VIDEO REPRODUCTION SYSTEM | |
| US6715126B1 (en) | Efficient streaming of synchronized web content from multiple sources | |
| RU2292584C2 (en) | Method and device for synchronization of interactive content | |
| JP4294933B2 (en) | Multimedia content editing apparatus and multimedia content reproducing apparatus | |
| JP2004120440A (en) | Server device and client device | |
| JP6969013B2 (en) | Synchronous playback method, device and storage medium for media files | |
| US20080104123A1 (en) | Data structure of metadata and reproduction method of the same | |
| KR20040096718A (en) | Multimedia data decoding apparatus, audio data receiving method and audio data structure therein | |
| EP1239646B1 (en) | Contents playback method and apparatus | |
| JP2003153254A (en) | Data processing apparatus and method, as well as program, and storage medium | |
| JP2005277847A (en) | Image reproduction system, image transmission apparatus, image receiving apparatus, image reproduction method, image reproduction program, and recording medium | |
| JP2003143575A (en) | Multimedia reproducing method and device | |
| US20060053150A1 (en) | Data structure of metadata relevant to moving image | |
| JP7438486B2 (en) | Information processing device, information processing method and program | |
| JP2002176638A (en) | Data communication system and device, data communication method and recording medium | |
| JP6294527B2 (en) | Transmission device, transmission method, reproduction device, and reproduction method | |
| US20060080337A1 (en) | Data structure of metadata, reproduction apparatus of the metadata and reproduction method of the same | |
| CN112188256B (en) | Information processing method, information providing device, electronic device, and storage medium | |
| US7664373B2 (en) | Program, data processing method, and system of same | |
| JP2001285832A (en) | Data receiver, data receiving method, data transmitting method and data storage medium | |
| JP2001092706A (en) | Data transmitting method, data receiving method and data receiver | |
| JP7237927B2 (en) | Information processing device, information processing device and program | |
| WO2005002231A1 (en) | Video edition device | |
| JP2024040912A (en) | Information processing apparatus, reception apparatus, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050726 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050926 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051018 |