背景技术
近年,广播的数字化逐渐发展。而且,广播与通信的融合也逐渐发展。在广播领域中,已经开始进行卫星数字广播,今后也将要使得地面波广播数字化。
又,通过使得广播内容数字化,除了以往的声像之外还进行数据广播。又,在通信领域中,从音乐方面起进行通过因特网的数字内容分配。再者,还出现了广播电视的因特网广播站。
再者,今后,声音及图像等内容连续的媒体将会通过各种路径(传送媒体)逐渐走入家庭。如此,通过通信与广播的融合、数字化,能够进行利用说明内容或者相关内容元数据的以往没有的服务。
例如,将在CS数字广播中采用的EPG(Electric Program Guide(电子节目指南;“数字广播中所使用的节目排列信息标准规格ARIB STD-B1.1版”或者“prETS 300 468 Digital Broadcasting systems for television,sound and dataservices;Specification for Service Information(SI)in Digital VideoBroadcasting(DVB)systems”)采用MPEG-2(Motion Picturecoding Experts Groupphase2;“ISO/IEC13818-1~3”)的专用对话插入到声像PES(PacketizedElementary Stream)包中,由此,提供信息之外的EPG信息。
又,在BS数字广播中,预订采用了MPEG-2的专用PES包的数据广播。再者,在广播站的播音室之间或者广播站之间传送材料的用户数据格式(“ANSI/SMPTE291M-1996 Ancillary Date Packet ande Space Formatting”)中,插入说明内容的元数据,也能够进行内容管理。
以下,参照图15对于以往的信息处理系统进行说明。图15是以往的信息处理系统的框图。
在信息提供节点1501上,设有存储用于说明AV数据流与AV数据流的元数据存储部分1502。又,在信息提供节点1501上,设有将存放在存储部分1502中的AV数据流与元数据进行多路复用并产生多路复用数据流1503并输出的信息提供部分1504。信息提供部分1504将多路复用数据流1503通过因特网1505发送给信息利用节点1506。
另一方面,在信息利用节点1506上,设有从多路复用数据流中抽出AV数据流与元数据并对它们实施处理而进行利用的信息利用部分1507。又,在信息利用节点1506上设有存放由信息用部分1507抽出的AV数据流与元数据的存储部分1508。又,信息利用部分1507读出并利用存储在存储部分1508中的AV数据流与元数据。
接着,参照图14对于信息提供部分1504存储说明。图14是以往的信息提供部分的框图。
在信息提供部分1504中,设有从存储部分1502读出AV数据流与元数据的访问部分1601。访问部分1601将AV数据流1602与元数据1603输出到多路复用部分1604。
多路复用部分1604将由访问部分1601输入的AV数据流1602与元数据1603进行多路复用处理后的多路复用数据流1503发送到信息利用节点1506。
接着,参照图17对于多路复用部分1604生成多路复用数据流的处理进行说明。
图中1503所示的图表示MPEG-2TS(Transport Stream)的PES包层并且表示多路复用数据流。以1701表示的部分表示视频PES包。以1702表示的部分表示音频PES包。以1703表示的部分表示专用PES包。1603表示元数据的PES包层,1704是构成元数据的第1 PES包,1705是构成元数据的第2PES包。
多路复用部分1604分割元数据1603并且将其作为专用PES包,从第1 PES包1704到第2 PES包1705,顺次适当地插入由视频PES包1701以及音频PES包1702构成的AV数据流之间,获得作为MPEG-2的多路复用数据流。
又,以往的元数据由于是AV数据流这样的辅助数据,例如标题等较的数据,故仅对元数据进行处理。即,不必使得元数据与AV数据流在时间上同步。因此,以往的元数据不形成与AV数据流同步的结构,故使得元数据成为大小几乎相等的包,并以相等间隔适当地插入到AV数据流之间。
这样,多路复用部分1604将该多路复用数据流1503送至信息利用节点1506。
接着,参照图18对于信息利用部分1507进行说明。图18是以往的信息利用部分的框图。
在信息利用部分1507中,设有从多路复用数据流1503中分离、抽出AV数据流1801与元数据1802并且输出的抽出部分1803。抽出部分1803将分离、抽出的AV数据流1801与元数据1802输出到访问部分1804。
访问部分1804将由抽出部分1803输入的AV数据流1801以及元数据1802存储到存储部分1508。又,访问部分1804将从存储部分1508读出的AV数据流1805以及元数据1806输出到显示部分1807。显示部分1807显示由访问部分1804输入的AV数据流1805与元数据1806中的任意之一或者两者。
接着,参照图19对于信息利用部分1507的处理进行说明。图19是以往的信息利用部分的处理流程图。
抽出部分1803进行元数据的清理(purging)即进行语法分析(ST1901)。此后,执行访问部分1804以及显示部分1807的处理(ST1902)。
如此,以往的信息处理系统将由信息提供节点1501将AV数据流与元数据多路复用后的多路复用数据流发送到信息利用节点1506,由此,通过信息利用节点除了AV信息之外还能够显示相关于AV信息的说明。
又,近年,随着数据传送基础设施的发展,希望元数据不仅仅作为AV数据流的辅助数据,并且还包含多种多样的信息,从而将元数据与数据流相关连地进行处理。
然而,在上述以往的信息处理系统中,只有取得所有的元数据后,才能够进行元数据的清理。例如,当元数据以<metadata>开始时,直到出现</metadata>这样表示元数据结束为止,不能够进行元数据的清理。
因此,为了使得元数据的处理时间与AV数据流的显示或处理时间精密一致、或者由元数据本身处理AV数据流,不是取得全部元数据之后,就不能够开始处理。因此,在以往的信息处理系统中,存在很难以细小的单位处理AV数据流的问题。
又,将元数据几乎均等地分配给多路复用的数据流。因此,特别是在元数据的数据量大时,读取所有元数据前,也读取大量AV数据流。因此,会带来节点间应答时间的延迟以及网络堵塞增加的问题。
最佳实施形态
以下,参照附图对于本发明的实施形态进行详细说明。
(实施形态1)
以下,对于本发明实施形态1的信息处理系统进行说明。图1表示实施形态1的信息处理系统的框图。
在信息提供节点101中,设有存储AV数据流与AV数据流所相关的元数据的存储部分102。元数据是说明相关的AV数据流的数据或者是用于处理元数据本身的数据。又,信息提供节点101中,装封存放在存储部分102中的AV流与元数据并且生成装封后的数据流103,将装封后的数据流103通过因特网105发送到作为信息接收侧装置的信息利用节点106。
另一方面,在信息利用节点106中设有从装封后的数据流103中抽出AV数据流与元数据并对它们实施规定处理并利用的信息利用部分107。又,在信息利用节点106中,设有存放由信息利用部分107抽出的AV数据流与元数据的存储部分108。又,信息利用部分107读出并利用存放在存储部分108中的AV数据流与元数据。
接着,用图2对于信息提供部分104进行说明。图2是实施形态1的信息提供部分的框图。
在信息提供部分104中,设有从存储部分102读出AV数据流与元数据的访问部分201。访问部分201将AV数据流202与元数据203输出到同步部分4。
同步部分204使得由访问部分201读出的AV数据流202与元数据203时间上同步,将取得同步后的AV数据流205与元数据206输出到装封部分207。
装封部分207装封输入的同步AV数据流205与元数据206并且作为封化数据流103发送到信息利用节点106。
又,本发明为了能部分地执行元数据,将元数据进行单元化。这样,使得AV数据流的段同与其对应的元数据的单元同步,装封同步后的数据流的包与元数据的单元的包并且生成装封后的数据流。
以下,对于本发明信息提供部分104的动作进行详细说明。
首先,参照图3A、图3B对于存放在存储部分102中的AV数据流202与元数据203进行说明。
AV数据流202是将视频PES包301与音频PES包302交织而形成的数据流。又,在本实施形态中,以在存储部分102中存放了AV数据流202的形态进行说明,但也可以是存放了视频数据流与音频数据流的形态。
又,元数据203在结构上具有多个作为元数据的处理单元的MPU(MatadataProcessing Unit,元数据处理单元)303。
利用访问部分201从存储部分102读出这样结构的元数据203与AV数据流202。然后,访问部分201将读出的AV数据流202与元数据203输出到同步部分204。
接收了AV数据流202与元数据203的同步部分204首先进入将元数据203单元化的处理。这里,参照图4A、图4B对于定义元数据203以及MPU303的情况进行说明。图4A、图4B是表示XML的DTD的图。在图4A中,401是表示定义元数据203的元数据定义(metadata.dtd)的图。又,在图4B中,图402所示的图表示定义MPU303的MPU定义(mpu.dtd)。
元数据定义401规定元数据203具有一个以上的MPU30的定义。MPU303的内容则规定参照MPC定义402的定义。
MPU定义402规定MPU303具有一个以上的element_data的定义。又,element_data的内容规定参照user_defined.dtdl的定义。再者,MPU402的定义规定MPU303附有作为序列号的no。
如此,利用user_defined.dtd能够使得在MPU303中包含对于每种服务不同的处理内容。因此,能够扩大设计处理AV数据流的元数据的自由度。
又,利用user_defined.dtd能够使得在MPU303中包含不依赖传输规范的处理内容。因此,由于元数据能够适用于不同的传输规范,故能够对应于各种传输规范来提供元数据的服务。
接着,参照图5A、图5B对于元数据203的单元化进行说明。在图5A中,501所示的图表示根据元数据定义401结构化陈述了元数据203的元数据(XML事例)。又,在图5B中,502所示的图表示根据MPU定义402结构化陈述了MPU303的MPU(XML事例)。
如上所述,当根据元数据定义401时,由MPU定义402的集合定义元数据203。利用该元数据定义401,结构化陈述了元数据203的是元数据(XML事例)501。从图可知,在元数据(XML事例)501的事例中包含多个MPU3033。这样,元数据203作为元数据(XML事例)501而存放在存储部分102中。
又,当根据MPU定义402时,MPU303由以user_difined.dtd定义的元数据的集合表示。利用该MPU定义402,对于每个MPU结构化陈述了MPU303的是MPU(XML示例)502。如图可知,在MPU(XML示例)502中包含多个user_difined.dtd。这样,MPU303作为MPU(XML示例)502存放在存储部分102中。
又,MPU303具有从<mpu>到</mpu>的内容。即,同步部分204只要有从<mpu>到</mpu>的信息,就能够把握MPU303的内容并能够进行MPU303的处理。因此,同步部分204从元数据203取出MPU303时,抽出根据MPU定义402定义的MPU标记(这里为<mpu>)内侧的内容。
如此,通过使得由MPU303这样的下级信息构成元数据203,同步部分204对于每个MPU303进行元数据203的处理的同时能够更精细地使得AV数据202与元数据203同步。
其次,同步部分204使用图6所示的语法(syntax)装封从访问部分201传送来的元数据203。图6是表示实施形态1以及实施形态2的元数据的语法。
在图6中,metadata_601是位置信息、内容信息或者程序等的元数据的类型。metadata_subtype602是GPS或结构记载(MPEG-7)等的具体元数据类型。MPU_length603是从MPU_length字段之后到MPU的最后位置的数据长的位数。MPU由一个以上的PES包构成,它是进行编码时分割Metadata ElemmmentaryStream的元数据的再现单位。media_sync_flag604是表示AV数据流与元数据是否时间同步的标识。overwrite_flag605是表示是否对以前的元数据进行盖写的标记。element_data_length606是element_data609的数据位长(M)。start_time607是作为元数据表示的AV数据流的部分的段的开始时间。dutation()608是作为元数据表示的AV数据流的部分的段的连续时间。element_data609是元数据的实际数据。
又,图6所示的语法当元数据的数据量少而不进行单元化时以else以下的语法610进行记载。
这样,同步部分204将始端包的处理开始时间607与时间长608所指定的AV数据流的处理对象段与处理对象段所对应的元数据203的一部分作为装封化数据流(专用PES)进行装封。
使得元数据203为PES包时,将MPU303作为图6所示的元数据的语法中的要素(element_data),使得AV数据流的段始端包的处理开始时间(start_time)与时间长度(dutation())与元数据的实际数据一起进行成包化。
由此,MPU303能够具有用于取得与AV数据流202同步的信息。因此,使得MPU303与AV数据流202同步。由此,在信息提供节点101侧,能够决定元数据203的动作。
又,在实施形态1中,如图7所示,使得由第1PES包701与第2PES包702这2个包构成MPU303。在这种情况下,参照图7对于同步部分204使得MPU303成为专用PES包并且与视频PES包301、音频PES包302交错的动作进行说明。又,根据MPU303的大小与包的大小,能够任意地决定使得MPU303为几个包。
实施形态1的情况下,为了在所对应的AV数据流段的始端包703的处理开始时间(start_time)705之前处理第1PES包701与第2PES包702,而作为比始端包703时间上提前的专用PES包708配置第1PES包701与第2PES包702。
再者,在第2PES包702的到达时间t704与对应的始端包703的处理开始时间(start_time)705的差额Δ706中,分配足够时间,用于作为信息接收侧的信息利用部分107从第1PES包701与第2PES包702生成MPU303,并且传送生成的MPU303的内容,执行处理。
然后,将如此利用同步部分204使得同步之后的AV数据流205与元数据206输入装封部分207。
装封部分207装封输入的AV数据流205与元数据206并且将其作为装封的数据流103而发送。
如上所述,根据实施形态1,通过设置使得AV数据流与元数据同步的同步部分204、对于每个单元装封AV数据流与元数据的装封部分207,由此在每个单元重新构成元数据并能够与AV数据流进行装封。由此,可部分执行元数据,能分配处理作为元数据一部分的段的程序,提高应答时间,削减必要的存储容量,减少网络堵塞。
再者,根据实施形态1,作为元数据以及元数据的单元,采用以XML记载的结构化陈述,通过从元数据到单元以及单元到元数据的重新构成,能够使得处理AV数据流的元数据具有扩展性,提高了设计元数据的自由度。又,能够将以XML等记载的结构化陈述作为元数据原样地进行利用。
(实施形态2)
其次,对于本发明实施形态2的信息处理系统进行说明。图8是实施形态2的信息利用部分107的框图。
在信息利用部分107中,设有从输入的封化数据流103中抽出AV数据流801与元数据802并输出的抽出部分803。抽出部分803将抽出的AV数据流801与元数据802输出到访问部分804。
访问部分804将AV数据流801与元数据8002记录到存储部分108。又,访问部分804读出存放在存储部分108中的AV数据流805与元数据806并输出到同步部分807。
同步部分807对于由访问部分804读出的AV数据流805与元数据806,在每个MPU303获得时间同步并输出到中心处理部分808。
在中心处理部分808中设有显示部分809。显示部分809使得输入同步后的AV数据流810与元数据811时间同步并显示它们。
如此,信息利用部分107在抽出部分803从装封后的数据流103中抽出AV数据流801与元数据802。然后,在同步部分807中,对应于AV数据流801的段加以单元化的元数据802,每一单元使AV数据流801与其对应的元数据802的单元同步。然后,在显示部分809对于每个单元显示同步后的元数据811与AV数据流810。
接着,参照图9的流程图对于信息利用节点106的元数据处理动作进行详细说明。首先,抽出部分803从接收到的封化数据流103中抽出AV数据流与元数据的MPU303。然后,信息利用部107对于MPU303进行清理(ST901)。接着,在信息利用部分107中确认是否合并MPU303并作为元数据802而重新构成(ST902)。然后,在信息利用部分107中,确认是否以单元单位执行MPPU303(ST903)。
然后,ST902、ST903中在信息利用部分107确认后的结果是合并MPU且执行MPU时,由中心处理部分808执行处理(ST904)。然后,在信息利用部分107中,进行MPU的合并(ST905)。又,这里所指的处理是在实施形态2中为显示处理,也可以后述实施形态那样为变换处理以及传送处理。
然后,在信息处理部分107中,判断是否出现时间或数字表示的MPU的限制,即判断是否存在表示MPU的处理单元的事件(ST906),重复ST904、905直到出现事件为止。又,事件信息当具有通用性时,可以存放在软件中或在固定使用的情况下预先使得终端具有该信息。
然后,在信息利用部分107中,从通过ST906集中的MPU进行元数据的润色现即元数据的格式化。根据该事件将格式化的元数据存储到存储部分108。然后,中心处理部分808读出该格式化的数据并进行各种处理。
如此,在ST904中,不仅对于每个作为处理最小单位的MPU进行处理,也能够利用事件进行根据合并了MPU后的数据的处理。
由此,可利用事件任意地设定处理MPU的单位,故能够改变元数据进行处理的AV数据的段的长度。即,能够对于短的AV数据处理元数据,或者对于长的AV数据处理元数据。例如,如汽车行驶导向系统那样,能够以短周期更新元数据显示,或者能够如新闻节目那样以长周期更新元数据显示。
又,根据该事件,通过将格式化后的数据存放到存储部分108中,能够通过用户的操作读出该信息并进行处理。
又,在ST902、ST903中,在信息利用部分107中,确认的各结果为合并且MPU不执行时,进行MPU的合并(ST908)。然后,在信息利用部分107中,判断是否存在时间或数字表示的MPU的限制,即有关完成合并MPU的事件(ST909),重复ST908直到事件出现。然后,从通过处理P107集合的MPU再现元数据。然后,在信息利用部分107中,从在ST906中集合的MPU中进行元数据的润色,即进行元数据的格式化(ST910)。根据该事件,将格式化后的数据存储到存储部分108中。然后,中心处理部分808读出该格式化后的数据并进行各种处理。
如此,可不对每个作为处理最小单位的MPU进行处理,而仅进行以根据事件合并后的MPU的数据为基础的处理。
又,ST902、ST903中在信息利用部分107确认后的结果是非合并MPU且执行MPU时,执行逐次处理(ST911)。这样,在信息利用部分107中,判断是否存在以时间或数字对MPU的限制,即判断是否存在表示处理MPU的单位的事件(ST912),重复ST911直到出现事件为止。
如此,可不进行以根据事件合并MPU的数据为基础的处理,而对于每个作为处理最小单位的MPU进行处理。
又,ST902、ST903中在信息利用部分107确认后的各结果为非合并MPU且非执行MPU时,特别不进行有关MPU的处理。
如上所述,根据包含在MPU303中的内容,能够适当地改变抽出方法。
以下,对于信息利用部分107的动作进行说明。信息利用部分107从由抽出部分803输入的封化数据流103中抽出AV数据流801与元数据802并且输出到访问部分804。访问部分804在将AV数据流801与元数据802记录到存储部分108之后,读出AV数据流805与元数据806并输出到同步部分807。同步部分807对于由访问部分804读出的AV数据流805与元数据806,在每个MPU303取得时间同步,并输出到中心处理部分808。在中心处理部分808中,显示部分809使得输入的AV数据流810与元数据811时间同步并且进行显示。
如上所述,根据实施形态2,通过设置分离抽出AV数据流与元数据的抽出部分803、对存储部分108读出写入AV数据流与元数据的访问部分804、使得读出的AV数据流与元数据的处理同步的同步部分807、作为中心处理部分808的显示部分809,能够使元数据与AV数据流的处理时间精确地同步。这样,对于作为AV数据流部分的段,能够改变处理。
再者,能够将中心处理部分808的显示部分809进行显示的方法的有关信息作为元数据。显示方法的有关信息是指显示关于元数据的信息的位置信息、显示的尺寸信息、显示更新信息等。
由此,在信息提供节点101上,能够将用于显示元数据的适当方法传送到信息利用节点106。结果,在信息利用节点106上能够适当地显示元数据。因此,当元数据为广告等的情况下,能够指定在希望显示广告的时间上进行显示,当元数据为节目说明所相关的信息时,能够不妨碍图像而显示说明所相关的信息。
又,根据实施形态2,作为元数据以及元数据的单元,采用以XML记载的结构化陈述,通过从元数据到单元以及从单元到元数据重新构成结构化陈述,能够提高设计处理AV数据流的元数据的自由度,能够将以XML等记载的结构化陈述作为元数据原样利用。
(实施形态3)
其次,对于本发明实施形态3的信息处理方法进行说明。图10是实施形态3的信息利用部分1001的框图。又,对于与已经说明的结构相同的部分,采用相同的符号并且省略说明。
在实施形态3的信息利用部分1001中,将实施形态2中的信息利用部分1001的中心处理部分808置换成中心处理部分1002。以下,以中心处理部分1002为中心对于信息利用部分1001进行说明。
在中心处理部分1002中设有传送部分1003与装封部分1006。
传送部分1003进行用于将从同步部分807输入的AV数据流810与元数据811传送到其他信息利用节点的设定,例如地址设定。又,传送部分1003对于每个MPU303取时间同步并且将AV数据流1004与元数据1005输出到装封部分1006。
装封部分1006将输入的AV数据流1004与元数据1005再次装封并且作为封化数据流1007发送给其他节点。如此,由于装封部分1006再次装封AV数据流1004与元数据,能够维持元数据与AV数据流的处理时间的精密同步并同时分散处理的负担。
又,装封部分1006的动作与实施形态1的装封部分207相同,故省略说明。
以下,对于信息利用部分1001的动作进行说明。信息利用部分1001从由抽出部分803输入的封化数据流103中抽出AV数据流801与元数据802并输出到访问部分804。访问部分804将AV数据流801与元数据就802记录到存储部分108之后,读出AV数据流805与元数据806并输出到同步部分807。
同步部分807对于由访问部分804读出的AV数据流805与元数据806在每个MPU303取时间同步并输出到中心处理部分1002。在中心处理部分1002中,进行用于将传送部分1003输入的AV数据流810与元数据811传送到其他信息利用节点的设定,对于每个MPU303取时间同步并输出到装封部分1006,装封部分1006再次装封输入的AV数据流1004与元数据105并作为封化数据流1007而发送到其他节点。
如上所述,通过构成信息利用部分1001,传送部分1003进行用于将从同步部分807输入的AV数据流810与元数据传送到其他信息利用节点的设定,对于每个MPU303取得时间同步并且输出到装封步骤23,装封部分1006能够再次装封从传送部分1003输入的AV数据流1004与元数据1005并且作为封化数据流1007发送到其他节点。
如上所述,根据实施形态3,通过在信息利用部分1001中设定分离、抽出AV数据流与元数据的抽出部分803、对于存储部分108读出写入AV数据流与元数据的访问部分804、使得由访问部分804读出的AV数据流与元数据的处理同步的同步部分807、中心处理部分1002中的传送部分1003以及装封部分1006,能够精密地维持元数据与AV数据流的处理时间的同步并分散处理的负担,同时能够改变对于作为AV数据流部分的段的处理。
再者,根据实施形态4,也能够将传送部分1003以及装封部分1006的处理方法相关的信息或处理程序本身作为元数据。这里所谓的处理方法是指根据传送地址改变插入元数据的位置的处理等等。由此,在信息提供节点101,能够将用于传送、装封元数据的适当方法传送到信息利用节点106。结果在信息利用节点106上能够适当地传送、装封元数据。
(实施形态4)
其次,对于本发明实施形态4的信息处理系统进行说明。图11是实施形态4的信息利用部分1101的框图。又,对于与已经说明的构造相同的部分,采用相同符号并省略说明。
实施形态4的信息利用部分1101是在实施形态2的信息利用部分107或者实施形态3的信息利用部分1001中设置变换部分1102。以下,以变换部分1102为中心对于信息利用部分1101进行说明。
变换部分1102根据元数据811变换AV数据流810,作为T-AV数据流1103与T-元数据1103而输出到中心处理部分1105。这里所谓的变换是指,根据发送目的处的终端以及显示装置进行颜色变换,或者根据发送目的处终端以及显示装置变换图像信息的格式,或者根据发送目的处终端将音频格式变换成MP3以及移动电话的格式等等。
中心处理部分1105进行与实施形态2所示的中心处理部分808或者实施形态3所示的中心处理部分1002中任意之一相同的动作。
中心处理部分1105为中心处理部分808时,在中心处理部分1105中设置显示部分809。此时,显示部分809使得输入的T-AV数据流1103与T-元数据1104时间同步并进行显示。
又,当中心处理部分1105为中心处理部分1002时,在中心处理部分1105设置传送部分1003以及装封部分1106。此时,传送部分1003进行用于将输入的T-AV数据流1103与T-元数据1104传送到其他信息利用节点的设定,对于每个MPU303取时间同步并且输出到装封部分1006。又,对于实施形态3中的装封部分的动作与实施形态1的装封部分207相同。
以下,对于信息利用部分1101的动作进行说明。信息利用部分1101从抽出部分803输入的封化数据流103中抽出AV数据流801与元数据802并且输出到访问部分804。然后,访问部分804将AV数据流801与元数据802记录到存储部分108之后,读出AV数据流805与元数据806并输出到同步部分807。然后,同步部分807对于由访问部分804读出的AV数据流805与元数据806,在每个MPU303取时间同步并且输出到1102。然后,变换部分1102根据元数据811变换AV数据流,作为T-AV数据流1103与T-元数据1104输出到中心处理部分1105。
这样,当中心处理部分1105为实施形态2的中心处理部分808时,显示部分809使将输入的T-AV数据流1103与T-元数据1104取时间同步并且进行显示。又,中心处理部分1105为实施形态1的中心处理部分1002时,传送部分103进行用于将输入的T-AV数据流1103与T-元数据1104传送到其他信息利用节点的设定,在每个MPU303,取时间同步并且输出到装封部分1006。装封部分1006将输入的T-AV数据流1103与T-元数据1104再次装封并且作为封化数据流1007进行发送。
如上所述,根据实施形态4,通过在信息利用部分1101中设定分离、抽出AV数据流与元数据的抽出部分803、对于存储部分108读出写入AV数据流与元数据的访问部分804、使得由访问部分804读出的AV数据流与元数据的处理同步的同步部分807、变换同步的AV数据流与元数据的变换部分1102、作为中心处理部分1105由显示部分809或传送部分1003以及装封部分1006构成的利用程序,能够改变进行元数据的变换处理的位置。进行变换处理的位置例如是服务器、终端、网络的节点(网关)等。
又,根据实施形态4,能够改变对于作为AV数据流部分的段的处理。又,能够变换AV数据流以及元数据。
再者,根据实施形态4,还能够再对于变换后的AV数据流以及元数据进行处理。
又,再根据实施形态4,作为元数据以及元数据的单元采用以XML记载的结构化陈述,通过从元数据到单元以及从单元到元数据的结构化陈述的重新构成,能够提高设计处理AV数据流的元数据的自由度,能够将以XML等记载的结构化陈述作为元数据而就此利用。
又,根据实施形态4,在中心处理部分1105中,能够将作为处理元数据的方法的显示方法、传送方法以及装封方法所相关的信息作为元数据。
(实施形态5)
以下,参照本发明实施形态5的信息处理系统进行说明。图12是表示实施形态5的信息处理系统的框图。又,对于已经说明的部分采用相同的符号。
实施形态5的构造是省略由实施形态1的信息提供部分104使得AV数据流与元数据同步的处理。如此,通过省略同步处理,当AV数据流与元数据不必须同步时,通过省略同步处理,能够提高处理速度,同时能够简化构造。例如,当不需要获得AV数据流与元数据的同步的情况是指,将元数据如标题信息那样进行汇集后全部传送而可以仅对于每个单元进行处理的情况以及可以使得元数据与AV数据流默认为同步的情况、能够在信息利用侧的终端进行预定的控制的情况、不需实时性地处理元数据的情况等。
以下,对于实施形态5的信息处理系统的结构进行说明。
在信息提供节点1201上,设有存储AV数据流以及相关于AV数据流的元数据的存储部分102。元数据是指说明相关的AV数据的数据或者用于处理元数据本身的的数据等等。又,在信息提供节点1201上,设有装封存放在存储部分102中的AV数据流和元数据并且生成、输出封化数据流1203的信息提供部分1204。信息提供部分1204通过网络104将封化数据流1203发送到作为信息接收侧装置的信息利用节点1206。
另一方面,在信息利用节点1206上,设置从封化数据流1203中抽出AV数据流与元数据并且对它们实施规定处理而进行利用的信息利用部分1207。又,信息利用节点1206上,设有存放由信息利用部分1207抽出的AV数据流与元数据的存储部分108。又,信息利用部分1207读出存储在存储部分108中的AV数据流与元数据并且进行利用。
其次,参照图13对于信息提供部分1204进行说明。图13是实施形态5的信息提供部分的框图。
在信息提供部分1204中,设有从存储部分102中读出AV数据流与元数据的访问部分1301。访问部分1301将AV数据流1302与元数据1303输出到单元化部分1304。
单元化部分1304在MPU303中重新形成由访问部分1301读出的元数据1306,同时将由访问部分1301读出的AV数据流1305与元数据1306输出到装封部分1307。
装封部分1307装封输入的AV数据流1305与元数据1306并且作为封化数据流1203发送到信息利用节点1206。
又,实施形态5也与实施形态1相同地,为了部分执行元数据而使得元数据成为单元。这样,使得AV数据流与元数据单元成为包,封化数据流的包与元数据的单元的包并且生成封化数据流。
以下,对于本发明的信息提供部分1204的动作进行详细说明。又,对于存放在存储部分102中的AV数据流1302与元数据1303,与实施形态1中的AV数据流202、203相同。
通过访问部分1301从存储部分102读出这样结构的元数据1303与AV数据流1302。然后,访问部分1301将读出的AV数据流1302与元数据1303输出到单元化部分1304。
接收了AV数据流1302与元数据1303的单元化部分1304首先转向使得元数据1303成为单元的处理。
又,对于元数据1303以及MPU303的定义,与实施形态1的元数据203与实施形态1中所说明的MPU303相同,省略说明。又,元数据1303的单元化也与实施形态1的元数据203的单元化相同,故省略说明。
根据图4A所示的元数据定义401,由MPU定义402的集合表示元数据1303。因此,根据元数据定义401结构化陈述元数据1303,作为图5A所示的元数据(XML事例)502存放在存储部分102。
又,MPU303具有从<mpu>到</mpu>的内容。即,单元化部分1304只要有从<mpu>到</mpu>的信息,就能够掌握MPU303的内容,能够进行MPU303的处理。因此,单元化部分1304在从元数据1303取出MPU303时,抽出由MPU定义402定义的MPU标记(这里为<mpu>)这样的标记的内侧内容。
如此,通过使得以MPU303这样的下级信息构成元数据1303,单元化部分1304能够对于每个MPU303进行元数据1303的处理。由此,单元化部分1304能够使得对于每个单元处理AV数据流1302与元数据1303。
接着,装封部分1307与实施形态1相同地,采用图6所示的语法装封从单元化部分1304传送来的元数据1306。
然后,装封部分1307将由始端包的处理开始时间607与时间长度608指定的AV数据流的处理对象段与处理对象段所对应的元数据1303的一部分作为封化数据流(专用PES)进行装封。
接着,单元化部分1304使得MPU303成为专用PES包而进行成包化,与视频PES包、音频PES包交错。
然后,装封部分207装封输入的AV数据流1305与元数据1306并且作为封化数据流1203进行发送。
如上所述,根据实施形态5,通过设置将AV数据流与元数据单元化的单元化部分1304、将元数据对于每个单元装封AV数据流与元数据的装封部分1307,对于每个单元从新构成元数据并且能够与AV数据流引起进行装封。由此,能够执行部分的元数据,能够进行处理作为AV数据流一部分的段的程序的分配并且提高应答速度,削减必要的存储容量减少网络堵塞。
又,实施形态5与实施形态1不同,由于省略了同步处理,在不需要使得AV数据流与元数据同步的情况下,通过省略同步处理,能够提高处理速度,也能够简化构造。
(实施形态6)
其次,对于本发明实施形态6的信息处理系统进行说明。图14是实施形态6的信息利用部分1207的框图。
在实施形态6中,构造上省略了实施形态2中从信息利用部分107使得AV数据流与元数据同步的处理。如此,通过省略同步处理,当不需要使得AV数据流与元数据同步的情况下,省略同步处理,由此在提高处理速度的同时能够简化构造。例如,当不需要使得AV数据流与元数据同步的情况是指,将元数据如标题信息那样进行汇集后全部传送可以仅对于每个单元进行处理的情况以及可以使得元数据与AV数据流默认为同步的情况、能够在信息利用侧的终端进行预定的控制的情况、不需实时性地处理元数据的情况等。
在信息利用部分1207中,设有从输入的封化数据流1203中抽出AV数据流1401与元数据1402并且输出的抽出部分1403。抽出部分1403将抽出的AV数据流1401与元数据1402输出到访问部分1404。
访问部分1404将AV数据流1401与元数据1402记录到存储部分108。又,访问部分1404读出存放在存储部分108中的AV数据流与元数据1406并且输出到中心处理部分1407。
中心处理部分1407进行与实施形态2所示的中心处理部分808相同的动作。当重新处理部分1407为中心处理部分808时,在中心处理部分1407设置显示部分1408。此时,显示部分1408显示输入的AV数据流1405与元数据1406。
如此,信息利用部分1207在抽出部分1403中,从封化数据流1203抽出AV数据流1401与元数据1402。然后,在显示部分1408中,对于每个单元显示元数据1406与AV数据流1405。
以下,对于信息利用部分1207的动作进行说明。信息利用部分1207从由抽出部分1402输入的封化数据流1203中抽出AV数据流1401与元数据1402并且输出到访问部分1404。访问部分1404将AV数据流1401与元数据1402记录到存储部分108之后,读出AV数据流1405与元数据1406并且输出到中心处理部分1407。在中心处理部分1407中,显示部分1408显示输入的AV数据流1405与元数据1406。
如上所述,根据实施形态6,通过设置分离、抽出AV数据流与元数据的抽出部分1403、对于存储部分108读出写入AV数据流与元数据的访问部分1404、作为中心处理部分1407的显示部分1408,对于作为AV数据流一部分的段能够改变处理。
又,实施形态6与实施形态2不同之处在于,由于省略同步处理,故当不需要获得AV数据流与元数据同步的情况下,能够通过省略同步处理来提高处理速度,同时简化构造。
又,在实施形态6中,对于从实施形态2中省略掉同步部分807的情况进行了说明,但也可以从实施形态3、4中省略掉同步部分807。
从实施形态1到实施形态6,各处理部分能够将各自的所有或者一部分动作作为程序(软件)存放到CD-ROM以及DVD等计算机可读存储媒体中,计算机通过读取程序,由计算机的CPU等来执行各处理部分的动作。
又,也可以将各处理部分的所有或一部分动作作为程序(软件),存放在因特网等通信手段上的存储媒体中,通过因特网等将程序下载到信息终端并且由信息终端执行各处理部分的动作。
又,也可以采用专用的硬件构成各处理部分。
又,在实施形态1到实施形态6中,作为具有时间连续性的内容数据流,使用AV数据流进行了说明,但也可以不为AV数据流,而为其他数据流、文件以及少量信息,只要认为作为数据流应用是有用的,都可以获得与上述实施形态相同的效果。
又,在实施形态1到实施形态6中,通过XML的DTD执行元数据定义以及MPU定义,而也可以采用XML RDF以及XML Schema,还可以采用其他的定义手段。
又,在实施形态1到实施形态6中,以MPEG-2系统的PES包说明成包化,但也可以是MPEG-1系统以及MPEG-4、SMPTE Ancillary Data Packet以及其他传送格式、数据流格式、文件格式。
又,在实施形态1到实施形态6中,作为传送元数据的传送层以专用PES进行了说明,但也可将以后要预约的元数据用PES以及MPEG-7用PES、MPEG-2 PSI(Program Specific Information的区段(所谓的“传送带”)作为传送层。
又,在从实施形态1到实施形态4中,作为同步的变换例,为了使得能够在从中途接收时接收需要的元数据,也可以反复插入一个MPU。
又,在实施形态1到实施形态6中,网络105、150可以是地面波广播网、卫星广播网、有线电视广播网、电路交换网、包交换网、ATM、因特网、其他网络以及包媒体、硬盘、存储器等。
本说明书根据1999年7月14日申请的特愿平11-200095。其内容都包含于本说明书中。