CN1698370A - 数据处理装置 - Google Patents

Abstract

一种数据处理装置，具有：信号输入部，其输入视频信号和音频信号；压缩部，其通过压缩编码视频信号和音频信号来生成视频数据和音频数据；流组合部，其通过分割视频数据和音频数据来生成多个信息包，生成将与视频数据相关的视频信息包和与音频数据相关的音频信息包多路复合的多个数据单位，以及生成包含多个数据单位的数据流；记录部，其将数据流记录到记录介质。该流组合部至少基于视频再生时间确定在数据单位中所包含的视频信息包和音频信息包。在与规定数据单位中所存储的视频数据相对应的全部音频数据未包含在规定的数据单位中时，在音频数据中，将拷贝了作为至少未包含部分之部分音频数据的拷贝数据包含在数据流中。

Description

数据处理装置

技术领域

本发明涉及实时记录包含视频和音频之内容的方法和装置。

背景技术

用低的位速率来压缩和编码视频(影像)信号和音频(声音)信号的各种数据流被标准化。作为这种数据流的例子，已知MPEG2系统标准(ISO/IEC 13818-1)的系统流。系统流包括程序流(PS)、传输流(TS)和PES流3种。

近年来，相变光盘、MO等光盘作为用于记录数据流的记录介质以代替磁带正受到关注。现在，作为将内容数据流实时记录在相变光盘(例如DVD)中并能进行编辑的标准，规定了DVD视频记录标准(以后称为“VR标准”)(DVD Specifications for Re-writable/Re-recordable Discs Part3VIDEO RECORDING VERSION 1.0 September 1999)。而且，作为记录电影等再生专用内容的数据流的包介质(package media)使用的标准，规定了DVD视频标准(以后称为“视频标准”)。

图1表示依据VR标准的MPEG2程序流10的数据结构(以后将该流记述为“VR标准流10”)。

VR标准流10包含多个视频对象(Video Object；VOB)#1、#2、…、#k。例如，当假设VR标准流10为由摄录机(cam-corder)摄影的内容时，各VOB存储了通过从用户开始录像到停止录像之一次录像动作所生成的动态图像数据。

各VOB包含多个VOB单位(Video Object unit；VOBU)#1、#2、…、#n。各VOBU，主要是包含在作为视频再生时间之从0.4秒到1秒范围内的视频数据的数据单位。

下面，将图1中最初配置的VOBU#1和接着配置的VOBU#2作为例子来说明VOBU的数据结构。

VOBU#1是通过将作为MPEG程序流之低位层的包多个集合而构成的。VR标准流10内的各包的数据长度(包长)是恒定的(2k字节(2048字节))。在VOBU的开头，配置图1中用“R”表示的实时信息包(RDI包)11。在RDI包11的后面，包含多个用“V”表示的视频包(视频包12等)和用“A”表示的音频包(音频包13等)。即使再生时间相同，如果视频数据是可变位速率，则各VOBU的数据大小在最大记录再生速率以下的范围变动，如果视频数据是固定位速率，则各VOBU的数据大小几乎是恒定的。

各包存储了下面的信息。如在日本国特开2001-197417号公报中所记载，RDI包11存储了被用来控制VR标准流10之再生的信息、表示例如VOBU再生时序的信息、以及用来控制VR标准流10之拷贝的信息。视频包12存储了被MPEG2压缩的视频数据。音频包13存储了通过例如MPEG2音频标准压缩的音频数据。在邻近的视频包12和音频包13中，存储了例如被同步再生的视频数据和音频数据。

VOBU#2也是由多个包构成的。在VOBU#2的开头，配置RDI包14，其后配置了多个视频包15和音频包16等。各包中所存储的信息的内容是与VOBU#1中的相同。

RDI包有时不被记录到VOB内各VOBU的开头。此时，视频包必然被记录在VOBU开头。

图2表示通过视频包内的视频数据构成的视频流和通过音频包内的音频数据构成的音频流之间的关系。

具体地，在VOBU#i中，通过在包含视频包22的一个以上包中所存储的视频数据来构成视频流的画面(picture)21b。接着，通过在包含视频包22的一个以上包中所存储的视频数据来构成下一个画面，并且通过再以后的视频包中所存储的视频数据来构成的再下一个画面。另一方面，通过在音频包23a中所存储的音频数据来构成音频帧23b。对于其他的音频包也是相同的。而且，一个音频帧的数据也可以通过分割成2个以上的音频包被存储。也可以将多个音频帧包含在一个音频包内。

假设VOBU所包含音频帧的数据在VOBU内完成。即，假设VOBU所包含音频帧的数据完全存在于VOBU内，而在下一个VOBU上不包含。

基于在各视频包和音频包的信息包头部所存储的用于指定再生时间的信息(显示时间标记(presentation time stamp)；PTS)来再生视频帧和音频帧。图2中，视频画面21b和音频帧23b以几乎相同的时间再生。即，两者同步再生。

关注VOBU#i的视频包24a和24b。通过从视频包24a到视频包24b的视频包中所存储的视频数据来构成VOBU#i最后的画面24c。如上述，各VOBU以视频再生时间等作为基准构建的，并不特别考虑音频来构建。因此，即使附加再生时间信息(PTS)使得与视频画面24c同步再生，音频帧25c的数据也被存储在下一个VOBU#(i+1)的音频包25a和25b等中。

这样，与视频帧同步再生的音频帧偏离记录位置的原因是由于在规定了视频包和音频包多路复合规则的系统目标译码器(P-STD)内，视频数据使用的缓冲器的数据大小(例如为224k大小)要比音频数据使用的缓冲器的大小(例如为4k大小)大很多。音频数据由于可蓄积的数据量少，因此被多路复合以便在再生时刻之前读入。

对于这种程序流，用户能够将希望的VOBU再生顺序作为“播放列表”登录。再生装置基于播放列表通过取得指定的某个VOBU的数据来再生视频等，然后，通过从指定的VOBU的开口读出数据来继续再生。

但是，在应该同步再生的视频数据和音频数据存储在不同的VOBU中时，在基于播放列表的再生中，产生了音频被途中中断之类的问题。其原因是尽管读出了再生对象之VOBU的数据，但接着没有读出在所配置的非再生对象的VOBU中所存储的音频数据。此时，只再生视频而没有再生出理应与其同步再生的音频。

例如，图2中，假设播放列表在再生了VOBU#i之后指定再生VOBU#k(k≠(i+1))。此时，在读出了VOBU#i的视频画面24c的数据之后读出下一个VOBU#k内的数据。因此，应该同步于视频画面24c而再生的在VOBU#(i+1)中存储的音频帧25c的数据没有被读出，没有再生音频。结果，用户就听到语音被中途切掉。

在VOBU#k中，从VOBU#k内的何处开始存储了与其开头的视频画面对应的音频帧对每个VOBU是不同的。从哪里开始存储由在VOBU#k和其前的VOBU(VOBU#(k-1))之间的相对关系决定。具体地，由程序流的位量和系统目标译码器(P-STD)的缓冲器大小来决定。因此，即使应该同步再生的音频帧在VOBU#i中完整，未必就立即存储应该与VOBU#k同步再生的音频帧。由于这个原因，用户就听到语音被中途切掉。

发明内容

本发明的目的在于即使在基于播放列表等再生视频和音频的情况下，也能使语音被中途切掉的期间显著减少，或者没有语音被中途切掉的期间。

根据本发明的数据处理装置，具有：信号输入部，其输入视频信号和音频信号；压缩部，其通过压缩编码所述视频信号和所述音频信号，生成视频数据和音频数据；流组合部，其通过分割所述视频数据和所述音频数据来生成多个信息包，生成将与所述视频数据相关的视频信息包和与所述音频数据相关的音频信息包多路复合的多个数据单位，以及生成包含多个所述数据单位的数据流；和记录部，其将所述数据流记录到记录介质。所述流组合部至少基于视频再生时间确定在所述数据单位中所包含的视频信息包和音频信息包，并且在与规定数据单位中所存储的视频数据相对应的全部音频数据未包含在所述规定的数据单位中时，在所述音频数据中，将拷贝了作为至少未包含部分之部分音频数据的拷贝数据包含在所述数据流中。

所述流组合部也可以将与所述数据单位对应的所述拷贝数据存储到后续数据单位的至少配置在开头的视频信息包内。

所述流组合部也可以将对应的所述拷贝数据存储到所述数据单位内。

所述流组合部也可以将所述拷贝数据存储到所述数据流内专用的音频流内。

所述流组合部也可以将所述拷贝数据存储到所述数据流内专用的私有数据流内。

所述流组合部也可以将拷贝了与所述视频数据同步的整个所述音频数据的拷贝数据包含在所述规定的数据单位内。

所述流组合部也可以将所述拷贝数据存储到所述数据流内专用的私有数据流内。

所述流组合部也可以将拷贝了与所述视频数据同步的整个所述音频数据的拷贝数据存储到所述数据流内专用的音频流内。

所述流组合部也可以将拷贝了与所述视频数据同步的整个所述音频数据的拷贝数据存储到所述数据流内专用的音频流内，而且作为表示所述拷贝数据之传输时间的传输时间信息，规定比所述拷贝源之数据单位内的传输时间提早偏离了规定时间的传输时间，并进行记录。

所述流组合部，也可以作为包含了所述多个数据单位的第一文件和包含了所述拷贝数据的第二文件，生成所述数据流；所述记录部将所述数据单位和拷贝数据连续记录到所述记录介质。

所述流组合部也可以根据拷贝了与所述视频数据对应的全部所述音频数据的拷贝数据来生成所述第二文件。

也可以在所述声音数据中附加速率信息，所述音频数据具有按照第一速率的数据长度；所述压缩部根据比所述第一速率更小的第二速率来压缩编码所述音频信号并存储为所述音频数据；所述流组合部将所述拷贝数据存储到空闲区域，该空闲区域对应于在相对所述第二速率规定的第2数据长度和相对所述第一速率规定的所述音频数据的第1数据长度之间的差。

依据本发明的数据处理方法，包括：接收视频信号和音频信号的步骤；通过压缩编码所述视频信号和所述音频信号，生成视频数据和音频数据的步骤；通过分割所述视频数据和所述音频数据来生成多个信息包的步骤，生成将与所述视频数据相关的视频信息包和与所述音频数据相关的音频信息包多路复合的多个数据单位，以及生成包含多个所述数据单位的数据流的步骤；和将所述数据流记录到记录介质的步骤；用于生成所述数据流的步骤至少基于视频再生时间确定在所述数据单位中所包含的视频信息包和音频信息包，并且在与规定数据单位中所存储的视频数据相对应的全部音频数据未包含在所述规定的数据单位中时，在所述音频数据中，将拷贝了作为至少未包含部分之部分音频数据的拷贝数据包含在所述数据流中。

用于生成所述数据流的步骤也可以将与所述数据单位对应的所述拷贝数据存储到在后续数据单位配置在开头的视频信息包内。

用于生成所述数据流的步骤也可以将拷贝了与所述视频数据对应的整个所述音频数据的拷贝数据包含在所述规定的数据单位内。

用于生成所述数据流的步骤，也可以作为包含了所述多个数据单位的第一文件和包含了所述拷贝数据的第二文件，生成所述数据流；所述记录步骤将所述数据单位和所述拷贝数据连续记录到所述记录介质。

用于生成所述数据流的步骤也可以根据拷贝了与所述视频数据对应的全部所述音频数据的拷贝数据来生成所述第二文件。

也可以在所述声音数据中附加速率信息，所述音频数据具有按照第一速率的数据长度；用于生成所述音频数据的步骤通过用第一速率压缩编码所述音频信号来生成所述音频数据；用于生成所述所述数据流的步骤对于在所述规定数据单位中包含的所述音频数据，通过设定比作为所述速率信息的所述第一速率更早的第二速率值来生成所述音频数据，并且将所述拷贝数据存储到空闲区域，该空闲区域对应于在相对所述第二速率规定的第2数据长度和相对所述第一速率规定的所述音频数据的第1数据长度之间的差。

在本发明的记录介质中记录了包含多个数据单位的数据流。所述多个数据单位的每一个通过将与视频数据相关的视频信息包和与所述音频数据相关的音频信息包多路复合而构成。所述视频数据和与所述视频数据对应的音频数据的一部分被存储在规定的数据单位中，而作为与所述视频数据对应的所述音频数据之其他部分的部分音频数据不被存储在所述规定的数据单位中。所述数据流还包含拷贝了所述部分音频数据的拷贝数据。

根据本发明的数据处理装置，接收和解码上述数据流并输出视频信号和音频信号。数据处理装置具有：再生控制部，其在数据流所包含的数据中指示构成再生对象的数据的读出；读出部，其基于所述再生控制部的指示，从所述数据流的所述规定的数据单位中读出所述视频数据和与所述视频数据对应的音频数据的一部分；和解码部，其通过解码所述视频数据和所述音频数据的一部分来同步输出视频信号和音频信号。所述再生控制部还指示在所述指示之后的所述拷贝数据的读出，所述解码部在解码了所述音频数据的一部分之后通过解码所述拷贝数据来与所述视频信号同步输出。

附图说明

图1是表示依据VR标准的MPEG2程序流10的数据结构示意图。

图2是表示通过视频包内的视频数据构成的视频流和通过音频包内的音频数据构成的音频流之间的关系的示意图。

图3是表示数据处理装置30之功能的构成框图。

图4是表示VR标准流10的数据结构的示意图。

图5是表示VR标准流10和光盘131的记录区域域之间的关系的示意图。

图6是表示被记录的VR标准流10和管理信息在光盘131文件系统中被管理的状态的示意图。

图7是表示根据实施方式1的VOBU、视频流和音频流之间关系的示意图。

图8是表示数据处理装置30之记录处理步骤的流程图。

图9是表示根据实施方式2的VOBU、视频流和音频流之间关系的示意图。

图10是表示根据实施方式3的VOBU、视频流和音频流之间关系的示意图。

图11是表示根据实施方式4的VOBU、视频流和音频流之间关系的示意图。

图12是表示根据实施方式5的VOBU、视频流和音频流之间关系的示意图。

图13是表示根据实施方式5变形例的VOBU、视频流和音频流之间关系的示意图。

图14是表示根据实施方式6的VOBU、视频流和音频流之间关系的示意图。

图15是表示AC-3标准之音频帧的数据结构、附加信息位置和大小的示意图。

图16(a)和(b)是表示具有根据音频数据种类之子信息流ID的音频包数据结构的示意图。

图17表示MPEG-1音频标准之音频帧的数据结构。

具体实施方式

(实施方式1)

下面，说明根据本实施方式之数据处理装置的结构，同时，说明与数据处理装置的处理相关的数据流的数据结构。之后，说明数据处理装置进行的记录动作和再生动作。而且，在本说明书中，将依据DVD视频记录标准(VR标准)的MPEG2程序流(VR标准流)例举作为数据流例子进行说明。

图3表示数据处理装置30之功能的构成框图。数据处理装置30具有记录功能，其将VR标准流10实时记录到DVD-RAM盘、蓝光盘(BD)等相变光盘131所代表的记录介质上。数据处理装置30还具有通过读出所记录的VR标准流10来解码和再生的再生功能。但是，在进行根据本发明的处理中，数据处理装置30不一定非要设置记录功能和再生功能两者。数据处理装置30是例如固定型装置、摄录机(cam-corder)。

下面，说明涉及数据处理装置30之记录功能的结构。数据处理装置30具有：视频信号输入部100；音频信号输入部102；MPEG2PS编码器170；记录部120；连续数据区域检测部160；记录控制部161和逻辑块管理部163。

首先，说明数据处理装置30之记录动作的概要。当生成记录VR标准流10时，MPEG2PS编码器170的PS组合部104(后述)通过至少基于视频再生时间来决定在作为数据单位的视频对象单位(Video ObjectUnit；VOBU)中包含的视频包和音频包而生成VOBU。当在同一VOBU内不包含与视频对应之音频的全部数据时，将至少拷贝了未包含之音频数据的拷贝数据包含并记录在VR标准流10中。这里，“与视频对应之音频”是指“与视频同步且再生的音频”。

拷贝数据被存储在后续的VOBU内(例如为最初视频包内的用户数据区域)，或者存储在除了VR标准流10文件之外的其他音频文件中。或者，音频数据也可作为私有信息流被存储，还可作为附加信息被存储，以便同步再生的视频和音频装入到一个VOBU内。

而且，可以将与视频对应之音频的全部数据作为不同的音频流交错(interleave)在相同的VOBU内。还可以存储在除了VR标准流10文件之外的其他音频文件中。或者还可以将与视频对应之音频的全部数据作为私有信息流存储。

下面，参考图3～图6说明涉及数据处理装置30之记录功能的各组合部件的一般功能。然后，参考图7、图8等说明数据处理装置30的具体记录动作。

视频信号输入部100是视频信号输入端子，其接收表示视频数据的视频信号。音频信号输入部102是音频信号输入端子，其接收表示音频数据的音频信号。例如，当数据处理装置30是视频记录器时，视频信号输入部100和音频信号输入部102分别与调谐器(tuner)部(未图示)的视频输出部和音频输出部连接，并分别从它们那里接收视频信号和音频信号。当数据处理装置30是电影记录器、摄录机等时，视频信号输入部100和音频信号输入部102分别接收从摄像机的CCD(未图示)和话筒输出的视频信号和音频信号。

MPEG2PS编码器170(以后记述为“编码器170”)接收视频信号和音频信号并生成依据VR标准的MPEG2程序流(PS)即VR标准流10。编码器170具有视频压缩部101、音频压缩部103和PS组合部104。视频压缩部101和音频压缩部103基于MPEG2标准分别压缩编码从视频信号和音频信号中得到的视频数据和音频数据。PS组合部104在将被压缩编码的视频数据和音频数据分别分割成2k字节单位的视频包和音频包并使这些包依次排列构成一个VOBU的同时，通过在开头附加RDI包27来生成VR标准流10。

图4表示VR标准流10的数据结构。VR标准流10包含多个VOBU。尽管图4中记载了2个VOBU，但还可以包含更多。VR标准流10内的各VOBU由多个包构成。由于这些包和各包中所包含的信息已经参考图1进行了说明，在这里省略说明。

下面，说明视频包12-1等的数据结构。视频包12存储了被MPEG2压缩的视频数据12a。视频包12包含包头部12b、以及用来识别是视频包的PES信息包头部12c。而且，如果是VOBU最初的视频包，则在包头部12b中还包含系统头部(未图示)。

图4所示视频包12-1的视频数据12a与在后续视频包12-2之后的视频数据12d等一起构成I帧44的数据。进而，在I帧之后接着记录构成B帧45或者P帧的视频包。

视频数据12a包含序列(sequence)头部41、用户数据42和GOP头部43。在MPEG2标准中，规定了汇集多个视频帧的“画面组”(Group ofPicture；GOP)。序列头部41表示由多个GOP构成的序列的开头。另一方面，GOP头部43表示各GOP的开头。GOP的开头帧是I帧。由于这些头部是公知的，其详细说明省略。用户头部42被设置在序列头部41和GOP头部43之间，其能够记述任意数据。

在序列头部41、用户数据42和GOP头部43的开头附加了用于识别其每一个的开始代码。例如，在序列头部41是“000001B3”，在用户数据42是“000001B5”以及在GOP头部43是“000001B8”(全部为16进制表示)。继续用户数据42的读出直到检测出GOP头部43的开始代码为止，当检测出GOP头部43的开始代码时，在这之前获得的数据当中除掉用户数据42的开头头部B5的部分作为用户数据被获得。

而且，各VOBU内整个GOP的再生时间原则上被调整为处在0.4秒以上1.0秒以下的范围内，但最后VOBU的再生时间被例外地调整在0秒以上1.0秒以下的范围内。为了VR标准流10被实时记录，停止了不够0.4秒时间的记录。如果在该范围内，对于各VOBU，容许视频之再生时间的变动。

记录部120基于记录控制部161的指令，控制拾取器130，从由记录控制部161指令的逻辑块编号的位置开始记录VR标准流10的视频对象单位(VOBU)。此时，记录部120将各VOBU分割成32K字节单位，在该单位下通过附加错误校正码而作为一个逻辑块记录到光盘131上。当在一个逻辑块的半路上一个VOBU的记录结束时，不空出间隙而连续地进行下一个VOBU的记录。

图5表示VR标准流10和光盘131记录区域之间的关系。VR标准流10的各VOBU被记录到光盘131的连续数据区域。连续数据区域由物理上连续的逻辑块构成，在该区域上按最大速率下之再生时间记录17秒以上的数据。数据处理装置30在每个逻辑块上提供了错误校正码。逻辑块的数据大小为32k字节。各逻辑块包含了16个2k字节的扇区。

连续数据区域检测部160检查通过逻辑块管理部163管理的光盘131扇区的使用状况，并检测可以存储与上述时间长度相当的数据但未使用的连续的空闲逻辑块区域。

并不用经常检测出用于确保连续再生的17秒以上的连续的空闲逻辑块区域，例如，也可以一边通过计算剩余再生数据的累积量来跟踪，一边动态地确定连续的空闲逻辑块的数据大小。即，当在记录中的某个时刻能够确保20秒量的连续数据区域时，通过确保作为其后续的14秒量的连续数据区域，就可以保证连续再生。

记录控制部161控制记录部120的动作。记录控制部161指示记录部120将VR标准流10作为数据文件(例如文件名“VR_MOVIE.VRO”)记录，并被记录到光盘131中。而且，记录部120也将从记录控制部161接收的对VR标准流之管理信息文件(文件名VR_MANGR.IFO)记录到光盘131。管理信息中包含例如每个VOBU的数据大小、所包含视频场(field)数、以及开头I帧的数据大小。

下面是记录控制部161更具体的控制动作。即，记录控制部161预先将指令输出到连续数据区域检测部160，检测连续的空闲逻辑块区域。记录控制部161在每当发生了逻辑块单位的写入时就将该逻辑块编号通知记录部120，以及当逻辑块使用结束时通知逻辑块管理部163。对于连续数据检测部160，记录控制部161可以动态地检测连续的空闲逻辑块区域的大小。连续数据区域检测部160将一个连续数据区域的剩余部分进行最大记录再生速率换算，在分割例如3秒量的时刻再次检测下一个连续数据区域。当一个连续数据区域变满时，记录控制部161指示向下一个连续数据区域的写入。

图6表示被记录的VR标准流10和管理信息在光盘131文件系统中被管理的状态。例如使用UDF(Universal Disk Format)标准的文件系统或者ISO/IEC 13346(Volume and file structure of write-once and rewritablemedia using non-sequential recording for information interchange)文件系统。图6中，连续记录的VR标准流10被记录作为文件名VR_MOVIE.VRO。管理信息被记录作为文件名VR_MANGR.IFO。各文件用FID(文件识别说明符)管理文件名和文件入口的位置。通过使用文件入口内的分配说明符(Allocation Descriptor)，使一个文件与构成该文件的数据区域相关联。在分配说明符中将开头扇区序号设定作为用于构成文件的文件入口的位置。VR标准流文件的文件入口包括用于管理各连续数据区域(CDA：Continuous Data Area)a～c的分配说明符a～c。一个文件被分成多个区域a～c的原因是因为在区域a的半途存在不良逻辑块和不能写入的PC文件等。另一方面，管理信息文件的文件入口保存了参考记录管理信息之区域的分配说明符。

逻辑块管理部163根据由记录控制部161通知的使用结束的逻辑块编号，通过掌握每个逻辑块编号的使用状况来进行管理。即，通过使用以UDF或者ISO/IEC 13346文件结构来规定构成逻辑块编号的各扇区单位之使用情况的空位(space bit)说明符区域，就可记录和管理已经使用或者没有使用的区域。在记录处理的最后阶段，将文件识别符(FID)和文件入口写入盘上的文件管理区域。

UDF标准与ISO/IEC 13346标准的子集合相当。通过插入1394接口和SBP-2(串行总线协议-2)协议而将相变光盘驱动器连接到PC，则在PC上也可以将在依据UDF形式写入的文件按一个文件处理。

下面，说明根据本实施方式之数据处理装置30的具体记录动作。在以下的说明中，所谓“对应”之术语是假设为表示应该同步再生的视频和音频或者与其相关的视频数据和音频数据。

现在，PS组合部104假定所对应的视频数据和音频数据全部生成了未包含在一个VOBU中的VR标准流。如上述，由于基于视频再生时间等确定VOBU，音频数据的一部分可以考虑被存储在与所对应视频数据不同的随后的VOBU中。与视频数据相同的VOBU中所包含的音频数据包含了整数个音频帧。

图7表示根据本实施方式的VOBU、视频流和音频流之间的关系。最上层表示作为MPEG文件设置的用于构成VR标准流10的VOBU之集合，第2层表示各VOBU中所包含视频数据的集合，第3层表示与视频数据之集合对应的音频数据的集合。将VOBU#i中所包含的视频数据表达成V(i)等。与视频数据V(i)同步再生的音频数据表达为音频数据A₀(i)。最上层表示用于构成MPEG2程序流的VOBU。第2层表示各VOBU中所存储的视频帧的集合。将与各视频帧集合同步再生的音频数据A₀(i)的存储位置和VOBU界限之间的位置关系以纵向点线表示在第3层上(后面的图9、10、11、12、13、14也大概相同)。

在上述假定之下，与视频数据V(i)同步再生的音频数据A₀(i)的存储位置从VOBU#i的半路开始，末尾被存储在VOBU(i+1)的开头部分。图7中，从VOBU#(i+1)的开头到音频数据A₀(i+1)的前端所存储的数据A和存储在与存储了视频数据的VOBU#i不同的VOBU#(i+1)中的音频数据相当。该音频数据在后面被称为“分离存储数据”。

PS组合部104在VOBU#i和VOBU#(i+1)生成时生成表示与分离存储数据相同内容的拷贝数据。将该拷贝数据随后存储在VOBU#i后面的VOBU#(i+1)开头的视频包中。具体地，将拷贝数据存储在开头视频包的用户数据区域(例如图4的用户数据区域42)中。将拷贝数据存储在用户数据区域42中意味着将视频和音频的各数据都存储在一个VR标准流10(一个文件)内。所谓拷贝数据是指分离存储数据之音频数据本身的拷贝。

此时，可以只拷贝基本流(elementary stream)，也可以以包单位拷贝。但是，当实施包单位的拷贝时，音频包之包头部的SCR值由于不必具有作为传输时序的意义因此可以按原样的拷贝值。包内PES信息包头部中的PTS值变成可直接利用。

而且，PS组合部104在VOBU#(i+1)和VOBU#(i+2)生成时在与视频数据V(i+1)对应的音频数据A₀(i+1)中也生成表示与VOBU#(i+2)中所存储的分离存储数据相同内容的拷贝数据。然后，将该拷贝数据存储到VOBU#i后面的VOBU(i+1)开头的视频包中。

PS组合部104由于具有通过把握应该将视频的哪个画面和音频的哪个帧进行同步再生而附加PTS的功能，因此在音频数据A₀中，可掌握哪个部分是分离存储数据。因此，识别分离存储数据是容易的。

图8是表示数据处理装置30之记录处理步骤的流程图。首先在步骤S81中，视频信号输入部100和音频信号输入部102分别接收视频信号和音频信号。在步骤S82中，视频压缩部101和音频压缩部103压缩编码从各信号中获得的视频数据和音频数据。

PS组合部104在下一个步骤S83中，基于视频再生时间等生成VOBU#i。根据系统目标解码器模型(model)的规定来确定VOBU#i内视频包等的各包的配置(顺序)。例如，各包的配置(顺序)被确定成满足在程序流系统目标解码器(P-STD)模型中规定的缓冲器容量的规定。

接着，在步骤S84中，判断所对应的视频数据和音频数据是否被存储在同一VOBU内。当存储在同一VOBU内时，将所生成的VOBU的数据送到步骤记录部120。记录部120将该数据记录到光盘131中。此后，重复从步骤S83开始的处理。

当对应的视频数据和音频数据没有存储在同一VOBU内时，即当与视频数据对应的音频数据的一部分数据A作为分离存储数据存储在后续的VOBU中时，处理进行到步骤S85。在步骤S85中，PS组合部104通过将分离存储数据(图7的部分数据A)记述到下一个VOBU#(i+1)开头的视频包中的用户数据区域而输出到记录部120。记录部120将该数据记录到光盘131。

然后，在步骤S86中，判断PS组合部104是否处理了全部的视频数据和音频数据。当处理没有结束时，重复从步骤S83开始的处理，当处理结束时，结束记录动作。

下面，再次参考图3说明与数据处理装置30的再生功能相关的各组合部件的功能。之后，说明数据处理装置30的再生动作。

数据处理装置30具有：视频显示部110；音频输出部112；再生部121；变换部141；输出接口部140；再生控制部162；播放列表再生控制部164和MPEG2PS解码器171。

视频显示部110是用于输出视频的电视机等显示装置，音频输出部112是用于输出视频和音频的扬声器等。视频显示部110和音频输出部112不是输出处理装置30的必要部件，可以是作为外部装置而设置的。再生部121将基于再生控制部162的指令借助光拾取器130而从光盘131中读出的作为模拟信号的VR标准流10，作为数字信号再生。再生控制部162通过识别在构成再生对象的VOBU和该VOBU中所含数据而将该数据的读出指示给光拾取器130。播放列表再生控制部164根据用户指定的步骤再生动态图像的各场面(scene)。各场面例如以VOBU单位管理。

MPEG2-PS解码器171(以后称为“解码器171”)具有：程序流分解部114；视频伸长部111和音频伸长部113。程序流分解部114(以后记述为“PS分解部”)从VR标准流10中分离视频数据和音频数据。视频伸长部111将基于MPEG2标准而压缩编码的视频数据按照其标准进行解码并作为视频信号输出。同样，音频伸长部113将基于MPEG1-音频标准而压缩编码的音频数据按照其标准进行解码并作为音频信号输出。

首先，说明数据处理装置30的一般再生动作。当数据处理装置30再生所记录的VR标准流10时，并行进行来自光盘131的数据读出和所读出数据的解码(再生)。此时，通过控制使得与数据最大再生速率相比数据读出速率变成更高速，应该再生的数据足够操作。结果，当继续VR标准流10的再生时，在每个单位时间，正因为数据最大再生速率和数据读出速率之间速率的差别，使得能够额外确保应该再生的数据。数据处理装置30通过在拾取器130不能够读出数据期间(例如在搜寻操作中)再生额外确保的数据，能够实现没有被中途切掉的VR标准流10的再生。

例如，假设再生部121的数据读出速率是11.08Mbps、PS分解部114的数据最大再生速率是10.08Mbps、拾取器的最大移动时间是1.5秒，为了再生没有被中途切掉的VR标准流10，在拾取器130的移动中，15.12M位的额外数据成为必要。为了确保这种数据，需要15.12秒期间连续读出。即，在用数据读出速率11.08Mbps和数据最大记录再生速率10.08Mbps的差除15.12M位的时间来进行连续读出是必要的。因此，由于在15.12秒连续数据读出的期间读出最大167.53M位的数据(即16.62秒量的再生数据)，通过确保16.62秒(约17秒)以上的连续数据区域，有可能保证连续的数据再生。在连续数据区域的途中，可以具有数个不良逻辑块。但是，在这种情况下，通过预见到为读入有关再生的不良逻辑块所需要的读出时间，需要比再生时间16.62秒量稍微多些地确保连续数据区域。

下面，说明数据处理装置30的具体再生动作。首先，说明当从VR标准流10的开头顺序地再生视频和音频时的数据处理装置30的动作。

再生控制部162识别构成再生对象的VOBU，指示光拾取器130使得从最开始顺次读出数据。PS分解部114将借助拾取器130和再生部121再生的VR标准流10分离成视频数据和音频数据。视频伸长部111和音频伸长部113分别解码视频数据和音频数据，结果，将基于所得视频信号的视频显示在视频显示部110中，将基于音频信号的音频输出到音频输出部112。

下面，基于规定用户希望之VOBU再生顺序的“播放列表”，说明数据处理装置30再生光盘131所记录的VR标准流10的动作。

现在，假定播放列表的某一部分在再生了VOBU#i之后指定再生VOBU#k(k≠(i+1))。播放列表再生控制部164首先指示光拾取器131读出VOBU#i。PS分解部114将借助拾取器130和再生部121再生的VOBU#i的数据分离成视频数据和音频数据并解码输出。此时，当数据被记述到VOBU#i开头存在的视频包的用户数据区域时，该数据由于不是与VOBU#i视频对应的音频数据而忽视。

当在VOBU#i最后读出数据时，播放列表再生控制部164指示光拾取器130以便读出在后续VOBU#(i+1)开头存在的视频包之用户数据区域的数据。由于该数据是与VOBU#i所含视频对应的音频相关的分离存储数据，音频伸长部113在VOBU#i内的音频数据解码之后解码该分离存储数据并作为音频输出。之后，基于来自播放列表再生控制部164的指令，读出作为下一个再生对象即VOBU#k的数据，PS分解部114借助再生部121获得作为下一个再生对象即VOBU#k的数据，并且解码输出。

由于RDI包被配置在VOBU的开头以及视频包被配置在其下一个位置，因此能够容易且迅速地实现读出在后续VOBU开头之视频包内的分离存储数据。记录横跨VOBU开头附近之多个视频包的分离存储数据的情况也是相同的。数据处理装置30通过再生时还读出该分离存储数据，由于获得了与VOBU所包含视频对应的音频的全部数据，因此音频没有被中途切掉地被再生。代替将音频数据A₀(i)内的分离存储数据存储到VOBU(i+1)开头视频包的用户数据内，可以多路复合存储到VOBU(i)内的私有信息流中。

数据处理装置30能够不介入如上述那样的流之分离和解码而输出记录的数据。即，变换部141将所读出的VR标准流10变换到规定的格式(例如为DVD视频标准格式)，输出接口部140输出变换后的流。此时，在应该读出之VR标准流10的VOBU的数据的基础上，通过读出后续VOBU开头存在的视频包的用户数据区域的数据，在输出目的地装置中可以进行音频没有被中途切掉的再生。输出接口部140是依据例如IEEE1394标准的接口，可以控制来自外部装置的数据读出和来自外部装置的数据写入处理。

后续实施方式2以后的各实施方式是与本实施方式数据处理装置30之记录/再生动作相关的各种变形。在实施方式1说明的数据处理装置30的各组合部分在以下实施方式中除非特别说明以以外，认为具有相同的功能。

(实施方式2)

根据实施方式1，假设VR标准流10中分别存储了一个对应的视频流和音频流，音频数据中，将没有与视频数据存储在同一VOBU中的数据(分离存储数据)的拷贝存储到后续VOBU之视频数据内(视频包内)。

根据本实施方式，还记录所对应的每一个视频流和音频流再加上拷贝该音频流之数据的其他的音频流。下面，具体说明本实施方式的记录动作。

图9表示根据本实施方式的VOBU、视频流和音频流之间的关系。该VR标准流10尽管被规定作为与实施方式1相同的一个MPEG文件，但多路复合了与实施方式1不同的2个音频流。现在，将与视频流对应的音频流假设为“音频流#0”。在音频流#0中，存在分离存储数据。

PS组合部104将音频流#0的数据拷贝作为另外的音频流#1记录到光盘131。更具体地，PS组合部104通过拷贝与VOBU#i所包含视频对应的音频流#0的数据来生成音频流#1的音频包。然后，将这些音频包多路复合到VR标准流10的VOBU#i内。音频流#0和#1通过在各包的信息包头部中记述的流ID是可以分别识别的。而且，被拷贝数据的容量必须满足作为程序流的系统目标解码器(P-STD)之音频缓冲器所容许范围的限制。图9中，拷贝了用于构成音频流#0之音频数据A₀(i)、A₀(i+1)、A₀(i+2)等的数据被存储作为A₁(i)、A₁(i+1)、A₁(i+2)等。

但是，由于假定音频流#1和音频流#2的位速率是相同的，A₀(i)的拷贝数据不一定能够存储在VOBU#i内。当VOBU#i内视频帧的总再生时间和VOBU#i的数据的总传输时间(VOBU#i开头的SCR值和VOBU#i+1开头的SCR值的差)相等时，A0(i)的拷贝数据有可能正好存储。

但是，为了没有被中途切掉地再生与视频对应的音频，在VOBU#i的读出结束一致，只要可能，有必要尽可能多地取得与该视频对应的音频数据。因此，PS组合部104通过修正与音频流#0相关的音频包中带有的MPEG标准的SCR和PTS来生成关于音频流#1的SCR和PTS。即，PS组合部104当涉及存储表示相同音频之数据的包时，将音频流#1的视频包中带有的SCR和PTS的值设置成比音频流#0的包中带有的SCR和PTS的值小给定量。当SCR和PTS变为更小时，该包是能够配置在VR标准流10内的包排列上更早读出的位置上。因此，变成能够将与实施方式1的分离存储数据相当的VOBU#(i+1)内的数据更多地存储在VOBU#i中。

PS组合部104将表示SCR和PTS较小设定量的变化量数据记录到例如在VOBU#i开头所配置的视频包的用户数据区域42中。

下面，说明根据本实施方式的数据处理装置30的再生动作。由于下面的说明在基于播放列表的再生中是特别有效的，以该情况作为例子说明。

播放列表再生控制部164在解码光盘131所记录的VOBU#i的视频的同时，解码流#1而不是流#0。这是因为与流#0相比，与VOBU#i内所存储的视频数据对应的音频数据更多的来自于流#1的数据。

但是，有必要记录具有复制数据之音频流#1对于音频流#0的时间偏移量。原因如上述，流#1的各音频包的SCR和PTS由于被设定为比流#0小的值，不能够按原样与视频进行同步再生。因此，PS分解部114从VOBU#i开头设置的视频包的用户数据区域42中读出再生时间的偏离量并将该值加到PTS，即通过延迟再生时间，再生音频。通过这样，能够同步再生视频和音频。

可以将例如与VOBU#i开头视频帧同步的音频流#0的音频帧AF#0之PTS和包含AF#0拷贝数据的音频帧之PTS的差值记录到对动态图像流文件“VR_MOVIE.VRO”的管理信息文件内。可以将差值记录到各VOBU之RDI包内的制造商独立数据区域。通过这，再生控制部在再生VOBU#i时，从VOBU开头视频帧的时间标记中减去差值，变成可以再生在其减法结果以后的音频流#1中所包含的音频帧。

可以将再生时间的偏离量记录到对每个VOBU的RDI包内的制造商独立数据区域中。

当借助与PC连接的光盘驱动器PC再生应用软件再生已记录的动态图像文件时，再生音频流#0。即，在将动态图像文件作为一般的MPEG文件再生时使用音频流#0。

即使是在不包含与各VOBU内对应的全部音频数据的情况下，由于对于音频流#0所生成分离存储数据的数据量能够相当程度的小，因此在基于播放列表的再生中，能够实现音频的几乎无缝再生。

可以将与音频流#1记录内容相关的信息另外记录。例如，可以将表示音频流#0之复制数据存储在音频流#1内的标志(flag)记录到对于动态图像流文件“VR_MOVIE.VRO”的管理信息文件内。希望该标志至少以VOB单位记录。可以记录在动态图像流VOB内或者音频流#1内等。通过该标志，可以区别在音频流#1内是存储了与音频流#0不同的其他音频，还是存储了音频流#0的拷贝。

(实施方式3)

在实施方式1中，分离存储数据被存储在视频包内的用户数据区域42中。

在本实施方式中，数据处理装置30将分离存储数据记录作为与规定VR标准流10的MPEG文件不同的其他文件数据。

图10表示根据本实施方式的VOBU、视频流和音频流之间的关系。PS组合部104在VOBU#i生成时，识别与该VOBU相关的分离存储数据和生成拷贝了该分离存储数据的音频数据#i。PS组合部104物理上交互记录该音频数据和构成VR标准流10的各VOBU。各音频数据和各VOBU分别被记录作为一个音频文件和一个MPEG文件。PS组合部104将音频数据#i交错到VOBU#i的紧接之后。

另一方面，当基于播放列表再生时，即使当播放列表在VOBU#i再生之后指定VOBU#k(k≠(i+1))的再生时，播放列表再生控制部164不仅读出VOBU#i而且还读出后续的音频数据#i，此后，读出下次应该再生的VOBU#k的数据。当通过PS分解部114分离成视频数据和音频数据之后，视频伸长部111和音频伸长部113解码并输出视频数据和音频数据。特别地，音频伸长部113在解码和再生了VOBU#i内所含音频包的音频数据之后，解码和再生音频数据文件中所含的音频数据#i。

由于与分离存储数据相关的音频数据被存储在再生对象之VOBU的下一个上，因此能够容易且快速地实现连续地读出该音频数据。由于数据处理装置30再生时通过还读出该分离存储数据而全部获得与VOBU所含视频对应的音频数据，因此音频没有被中途切掉地再生。

本实施方式中，尽管将分离存储数据的拷贝记录在所对应的VOBU之后，将其记录在所对应的VOBU之前也是可以的。

(实施方式4)

在实施方式3中，数据处理装置，只基于音频流中的分离存储数据，生成和记录与MPEG文件不同的音频文件。与例如VOBU#i相关的音频数据#i被记录在VOBU#i之后。

另一方面，根据本实施方式的数据处理装置对于音频流的全部数据生成和记录与MPEG文件不同的音频文件。而且，与各VOBU相关的音频数据被记录在该VOBU之前。

图11表示根据本实施方式的VOBU、视频流和音频流之间的关系。PS组合部104在VOBU#i生成时，识别与该VOBU所含的视频数据V(i)对应的音频数据A₀(i)，生成拷贝了构成音频数据A₀(i)之数据的音频数据#i。PS组合部104物理上交互记录该音频数据和构成VR标准流10的各VOBU。各音频数据和各VOBU分别被记录作为一个音频文件和一个MPEG文件。PS组合部104将音频数据#i交错到VOBU#i的紧接之前。

另一方面，当基于播放列表再生时，播放列表再生控制部164指示在VOBU#i读出之前使得最先进行音频数据#i的读出。于是，在VOBU#i读出结束之前，由于结束音频数据#i的读出和结束通过音频伸长部113的解码，因此能够与VOBU#i的视频同步来再生全部音频。因此，即使当后来指定VOBU#k(k≠(i+1))的再生时，也能够实现音频的无缝再生。

尽管本实施方式说明了将音频数据#i记录在VOBU#i之前，但与实施方式3相同，可以将音频数据#i记录在VOBU#i之后。此时，在VOBU#i再生之后而开始其他VOBU读出之前，必须读出音频数据#i。

在上述实施方式3和4中，尽管没有特别述及音频文件内的数据结构，但可以是音频的基本流，可以是包含音频流的MPEG2程序流，可以是包含音频流的MP4流，也可以是其他的系统流。

(实施方式5)

在实施方式1中，将VOBU#i中关联的分离存储数据存储到下一个VOBU#(i+1)中。

另一方面，在本实施方式中，将VOBU#i中关联的分离存储数据作为另外的流存储到该VOBU#i中。

图12表示根据本实施方式的VOBU、视频流和音频流之间的关系。PS组合部104通过拷贝VOBU#i中关联的分离存储数据A，将其作为分离存储数据A的部分专用的私有信息流多路复合到VOBU#i中。

在VR标准流10中，为了识别该流中所含视频流和音频流，带有流ID。流ID被存储到PES信息包头部，例如，视频流的流ID为例如0xE0，音频流的流ID为0xC0或者0xBD。0xBD是根据MPEG-2系统标准在私有信息流使用中所规定的值。当0xBD使用于在VR标准中的音频流时，还通过PES信息包头部紧接之后的一个字节来识别该音频流的压缩编码。0xBD被用作为本实施方式中新设置的私有流的流ID。

当基于播放列表再生时，即使当播放列表在VOBU#i再生之后指定VOBU#k(k≠(i+1))的再生时，由于通过与音频流#0连续而读出作为私有信息流所包含的分离存储数据A来再生，因此能够容易实现没有被中途切掉音频的情况。

在私有信息流中，通过拷贝不只是分离存储数据A还拷贝音频流的全部数据，能够将其作为分离存储数据A的部分专用私有信息流多路复合到VOBU#i内。图13表示根据本实施方式之变形例的VOBU、视频流和音频流之间的关系。

PS组合部104将与VOBU#i所包含视频对应的音频数据的拷贝记录作为VOBU#i内专用的私有信息流1(stream_ID＝0xBD)。假设该私有信息流使用的系统目标解码器的缓冲器大小具有至少可蓄积2秒量的音频数据的大小。在这里，“2秒”的意思是将VOBU所含视频的最大再生时间(1秒)和系统目标解码器的最大再生延迟时间(1秒)相加的数值。

当基于播放列表再生时，即使当播放列表在VOBU#i再生之后指定VOBU#k(k≠(i+1))的再生时，如果再生在私有信息流1中存储的音频数据#0的拷贝的音频数据，则容易实现没有被中途切掉音频的情况。

如本实施方式，通过将拷贝了音频流的数据记录作为私有信息流，在MPEG文件以VOBU单位进行编辑的情况下，能够容易地无缝再生音频数据。其原因是例如当进行结合2个VOBU的编辑处理时，这些VOBU内所含私有信息流被结合并获得结合的分离存储数据。

(实施方式6)

在实施方式5的第一例中，PS组合部104将VOBU#i关联的分离存储数据A存储作为VOBU#i内的私有信息流。

另一方面，在本实施方式中，将VOBU#i关联的分离存储数据A的拷贝作为附加数据记录在VOBU#i之音频帧内。

图14表示根据本实施方式的VOBU、视频流和音频流之间的关系。PS组合部104将在VOBU#i的音频流#0中关联的分离存储数据A拷贝存储到VOBU#i音频帧内的附加数据(AD)区域中。

图15表示音频压缩部103生成的AC-3标准的音频帧的数据结构。AC-3音频帧由同步信息(SI)、位流信息(BSI)、音频块(从ABn到ABn+5)和附属信息(AD)构成。

在同步信息(SI)中记录了表示音频帧之位速率的速率信息。在本实施方式中，假设音频帧的位速率是448kbps(帧大小代码表示448kbps)。音频帧具有与在同步信息(SI)中规定的位速率相对应的数据长度(图15所示为1792字节)。但是，音频压缩部103在实际上以256kbps以下的位速率记录同步信息、位流信息以及音频块的有效数据，而附属信息区域为了后面记录的分离存储数据A而空闲着。

这样，将确保在与448kbps数据速率对应的1帧数据长度(1792字节)和与256kbps数据速率对应的1帧数据长度(1024字节)之间的差即192kbps的数据长度(768字节)的附属信息区域。PS组合部104将图14所示的分离存储数据A的拷贝数据存储到该附属信息区域内。与分离存储数据A对应的音频的平均位速率是小于448kbps的数据和256kbps之间的差，假设为192kbps。

通过在上述那样当初记录的音频流的各音频帧内设置空闲区域而将分离存储数据拷贝到该空闲区域，能够实质上存储在VOBU内没有存储的音频数据(分离存储数据)。

当基于播放列表再生时，在VOBU的数据读出结束时，通过PS分解部114分析数据流，音频伸长部113能够获得在现有技术之数据结构中不能够获得的分离存储数据A的拷贝数据。通过这，即使在通常音频被中途切掉的视频场面中，也能够连续地与视频同步地再生音频。

可以将同步信息(SI)中规定的位速率之二分之一的位速率应用为实际的位速率，剩余的二分之一应用为分离存储数据的位速率。例如，AC-3音频流是448kbps，实际的位流可以假设为224kbps，分离存储数据的位流也为224kbps。通过将音频帧这样构成，能够将音频流#0的音频数据全部存储到附属信息区域中。而且，作为分离存储数据之拷贝的音频流可以是依据AC-3标准之音频帧连续的形式，并且，分离存储数据A的一个音频帧可以经过2个AC-3标准的音频帧被记录到附属信息内。分离存储数据的数据结构可以是包含音频之基本流的MPEG2程序流，也可以是其他的系统流。

尽管本实施方式只将分理存储数据存储在附属信息区域内，但是如果可以保证记录空间，也可以全部存储音频流#0。

(实施方式7)

在实施方式6中，将分离存储数据A存储到AC-3标准的音频帧的附加信息(AD)区域上。在本实施方式中，将分离存储数据A存储到MPEG-1音频标准的音频帧内的附加数据(ancillary_data)区域上。其他结构与实施方式6的相同。

图17表示本实施方式中MPEG-1音频标准之音频帧的数据结构。MPEG-1音频标准的音频帧具有头部、错误检查(error check)、音频数据和附加数据(ancillary_data)，音频压缩部103生成具有图17所示数据结构的音频帧。

将表示音频帧的位速率、采样频率、以及层(layer)的信息记录到头部。在本实施方式中，假设分别是384kbps、48kHz、以及2层。此时，各音频帧具有按照在头部规定位速率之信息的数据长度。但是，音频压缩部103在实际上将头部、错误检查以及音频数据的总和记录成为256kbps相当以下，并且附加数据区域被空闲着用于在后面记录的分离存储数据A的拷贝。

通过这样，将确保在与384kbps数据速率对应的1帧数据长度(1152字节)和与256kbps数据速率对应的1帧数据长度(768字节)之间的差即128kbps的数据长度(384字节)的附加数据区域。PS组合部104将图14所示的分离存储数据A的拷贝数据存储到该数据区域内。作为分离存储数据A之拷贝而存储的音频位速率假设是平均小于128kbps。

通过在上述那样当初记录的音频流的各音频帧内设置空闲区域而将分离存储数据拷贝到该空闲区域，能够实质上存储在VOBU内没有存储的音频数据(分离存储数据)。

当基于播放列表再生时，在VOBU的数据读出结束时，通过PS分解部114分析数据流，音频伸长部113能够获得在现有技术之数据结构中不能够获得的分离存储数据A的拷贝数据。通过这，即使在通常音频被中途切掉的视频场面中，也能够连续地与视频同步地再生音频。

尽管本实施方式只将分理存储数据存储在附属信息区域内，但是如果可以保证记录空间，也可以全部存储音频流#0。

而且，作为分离存储数据之拷贝的音频流可以是依据MPEG-1音频标准之音频帧连续的形式，并且，分离存储数据A的一个音频帧可以横跨2个MPEG-1音频标准的音频帧内的附加数据区域被记录。分离存储数据的数据结构可以是包含音频之基本流的MPEG2程序流，也可以是其他的系统流。

在到此说明的实施方式中，以用哪种方式来记录和再生分离存储数据的拷贝或者音频流#0的全部拷贝数据作为课题。但是，操作数据处理装置30使得在记录时不进行特别的处理，在再生时直接读出分离存储数据自身。具体地，当播放列表在VOBU#i再生之后指定VOBU#k(k≠(i+1))的再生时，播放列表再生控制部164在读出VOBU#i的数据之后，必须读出分离存储数据，此后，可以开始VOBU#k的读出。据此，在使分离存储数据之冗长记录成为不必要的同时，也使无缝再生音频成为可能。但是，由于MPEG2标准上具有读出最长1秒量之程序流的必要，因此视频的无缝再生有可能变得困难。因此，在这种情况下的程序流生成时，希望尽可能少地生成分离存储数据。

为了通过压缩编码使得不存在分离存储数据来构成VOBU，例如视频伸长部111可以生成各帧，使得各VOBU之视频帧大小变成在“视频位速率/1秒间隔帧数”以下。这样，就成为不生成与音频相关的分离存储数据。其原因是在1帧期间每次能够传送1帧的音频数据。而且，有必要通过限制I(帧内)帧的数据大小来注意产生画质下降的问题。

或者，通过提供所谓使分离存储数据包含规定帧数(例如4帧)之内的音频数据的限制，音频伸长部113可以压缩编码音频数据。

在本说明书中，尽管将作为程序流的VR标准流作为例子，但也能够使用MPEG1的系统流或者MPEG2的传输流。而且，传输流可以是依据使用传输流的数字电视广播标准的形式。还可以是依据使用传输流的数字数据广播的形式。在传输流的使用中，利用了传输流信息包(packet)。而且，所谓“包(pack)”，公知为信息包(packet)的一个例示的形式。

尽管将作为程序流的VR标准流作为例子，但也可以是将用ISO/IEC14496-12规定的ISO Base Media File Format(基本媒体文件格式)作为基础的数据流。

尽管记录介质是相变光盘，但也能够使用例如蓝光盘、DVD-RAM、DVD-R、DVD-RW、DVD+RW、MO、CD-R、CD-RW等光盘以及硬盘等其他盘形状的记录介质。还可以是闪烁存储器等半导体存储器。与此相关的，尽管读写头是光盘使用的拾取器，但也可是例如在记录介质为MO时的拾取器以及磁头，或者在硬盘时的磁头。

在本说明书中，说明了在播放列表再生时能够没有中途切掉地再生音频的技术。但是，严格地具有仅在音频1帧以下的时间上不存在音频数据的情况。这是因为在接着VOBU#i读出VOBU#k(k≠(i+1))时，视频帧周期和音频帧周期是稍微不同的，不能够完全同步。为了防止1帧以下之音频数据的缺失，可以额外地包含分离存储数据再加上后续该数据的1音频帧的数据(实施方式1，3，4和5)。这样尽管变成包含了额外的音频数据，但额外的部分可以不再生。

作为从实施方式1到5中的音频压缩方式，一般能够使用MPEG-1音频或者MPEG-2音频、AAC、AC-3等。而且，AC-3的情况是在如图16(a)所示的音频数据被存储在VOBU内时存储作为私有信息流(stream_ID＝0xBD)的情况。此时，例如在实施方式5中，有必要与存储了分离存储数据的私有信息流那样的、使用了别的私有信息流1的其他流相区别。因此，PS组合部104通过将子流ID(0x80)在接着PES信息包头部只设置1字节就可识别。图16(a)表示具有子流ID(0x80)并且包含AC-3数据的音频包的数据结构。

为了通过区别而识别实施方式5中说明的私有信息流和AC-3使用的私有信息流，可以使用不同数值的子流ID。图16(b)表示具有子流ID(0xFF)并且包含数据的音频包的数据结构。该数值是在DVD音频标准中规定的值(0xFF)。

从实施方式5到7中的分离存储数据可以只是基本流或者拷贝PES信息包头部。在上述说明中，尽管没有说到2个VOBU范围中的音频帧应该与哪一个VOBU同步再生，但可以考虑例如视频帧之PTS以后的音频帧对应于相同的VOBU。而且，在本实施方式中，尽管举出MPEG-2视频流作为视频数据进行了说明，但也能够使用MPEG-4视频流和MPEG-4AVC视频流等其他压缩编码形式。

(工业实用性)

根据本发明，能够获得这种记录装置，其即使是在同一数据单位(例如VOBU)内不包含与视频对应的音频的全部数据的情况下，也将拷贝了至少不包含音频数据的拷贝数据记录到例如在存取时能够容易存取到该数据单位的位置(例如下一个VOBU的开头部分、该VOBU紧接之前或者紧接之后)。

这样，特别在基于播放列表而同步再生视频和音频的情况下，与对包含视频数据的数据单位进行存取的同时，可获得应该同步再生的全部音频数据。因此，能够获得这种再生装置，其在跨过场景时能够大幅度降低音频的中途中断，并能够给用户提供改善的视听环境。

Claims (18)

1、一种数据处理装置，具有：

信号输入部，其输入视频信号和音频信号；

压缩部，其通过压缩编码所述视频信号和所述音频信号，生成视频数据和音频数据；

流组合部，其通过分割所述视频数据和所述音频数据来生成多个信息包，生成将与所述视频数据相关的视频信息包和与所述音频数据相关的音频信息包多路复合的多个数据单位，以及生成包含多个所述数据单位的数据流；和

记录部，其将所述数据流记录到记录介质；

所述流组合部至少基于视频再生时间确定在所述数据单位中所包含的视频信息包和音频信息包，并且在与规定数据单位中所存储的视频数据相对应的全部音频数据未包含在所述规定的数据单位中时，在所述音频数据中，将拷贝了作为至少未包含部分之部分音频数据的拷贝数据包含在所述数据流中。

2、根据权利要求1所述的数据处理装置，其特征在于，所述流组合部将与所述数据单位对应的所述拷贝数据存储到后续数据单位的至少配置在开头的视频信息包内。

3、根据权利要求1所述的数据处理装置，其特征在于，所述流组合部将对应的所述拷贝数据存储到所述数据单位内。

4、根据权利要求1所述的数据处理装置，其特征在于，所述流组合部将所述拷贝数据存储到所述数据流内专用的音频流内。

5、根据权利要求1所述的数据处理装置，其特征在于，所述流组合部将所述拷贝数据存储到所述数据流内专用的私有数据流内。

6、根据权利要求1所述的数据处理装置，其特征在于，所述流组合部将拷贝了与所述视频数据同步的整个所述音频数据的拷贝数据包含在所述规定的数据单位内。

7、根据权利要求6所述的数据处理装置，其特征在于，所述流组合部将所述拷贝数据存储到所述数据流内专用的私有数据流内。

8、根据权利要求1所述的数据处理装置，其特征在于，所述流组合部将拷贝了与所述视频数据同步的整个所述音频数据的拷贝数据存储到所述数据流内专用的音频流内。

9、根据权利要求1所述的数据处理装置，其特征在于，所述流组合部将拷贝了与所述视频数据同步的整个所述音频数据的拷贝数据存储到所述数据流内专用的音频流内，而且作为表示所述拷贝数据之传输时间的传输时间信息，规定比所述拷贝源之数据单位内的传输时间提早偏离了规定时间的传输时间，并进行记录。

10、根据权利要求1所述的数据处理装置，其特征在于，所述流组合部，作为包含了所述多个数据单位的第一文件和包含了所述拷贝数据的第二文件，生成所述数据流；

所述记录部将所述数据单位和拷贝数据连续记录到所述记录介质。

11、根据权利要求10所述的数据处理装置，其特征在于，所述流组合部根据拷贝了与所述视频数据对应的全部所述音频数据的拷贝数据来生成所述第二文件。

12、根据权利要求1所述的数据处理装置，其特征在于，

所述音频数据具有按照第一速率的数据长度；

所述压缩部根据比所述第一速率更小的第二速率来压缩编码所述音频信号并存储为所述音频数据；

所述流组合部将所述拷贝数据存储到空闲区域，该空闲区域对应于在相对所述第二速率规定的第2数据长度和相对所述第一速率规定的所述音频数据的第1数据长度之间的差。

13、一种数据处理方法，包括：

接收视频信号和音频信号的步骤；

通过压缩编码所述视频信号和所述音频信号，生成视频数据和音频数据的步骤；

通过分割所述视频数据和所述音频数据来生成多个信息包的步骤，生成将与所述视频数据相关的视频信息包和与所述音频数据相关的音频信息包多路复合的多个数据单位，以及生成包含多个所述数据单位的数据流的步骤；和

将所述数据流记录到记录介质的步骤；

用于生成所述数据流的步骤至少基于视频再生时间确定在所述数据单位中所包含的视频信息包和音频信息包，并且在与规定数据单位中所存储的视频数据相对应的全部音频数据未包含在所述规定的数据单位中时，在所述音频数据中，将拷贝了作为至少未包含部分之部分音频数据的拷贝数据包含在所述数据流中。

14、根据权利要求13所述的数据处理方法，其特征在于，用于生成所述数据流的步骤将与所述数据单位对应的所述拷贝数据存储到在后续数据单位配置在开头的视频信息包内。

15、根据权利要求13所述的数据处理方法，其特征在于，用于生成所述数据流的步骤将拷贝了与所述视频数据对应的整个所述音频数据的拷贝数据包含在所述规定的数据单位内。

16、根据权利要求13所述的数据处理方法，其特征在于，用于生成所述数据流的步骤，作为包含了所述多个数据单位的第一文件和包含了所述拷贝数据的第二文件，生成所述数据流；

所述记录步骤将所述数据单位和所述拷贝数据连续记录到所述记录介质。

17、根据权利要求16所述的数据处理方法，其特征在于，用于生成所述数据流的步骤根据拷贝了与所述视频数据对应的全部所述音频数据的拷贝数据来生成所述第二文件。

18、根据权利要求13所述的数据处理方法，其特征在于，

所述音频数据具有按照第一速率的数据长度；

用于生成所述音频数据的步骤通过用第一速率压缩编码所述音频信号来生成所述音频数据；

用于生成所述所述数据流的步骤对于在所述规定数据单位中包含的所述音频数据，通过设定比作为所述速率信息的所述第一速率更早的第二速率值来生成所述音频数据，并且将所述拷贝数据存储到空闲区域，该空闲区域对应于在相对所述第二速率规定的第2数据长度和相对所述第一速率规定的所述音频数据的第1数据长度之间的差。

Images