Nothing Special   »   [go: up one dir, main page]

WO2004080071A1 - データ処理装置 - Google Patents

データ処理装置 Download PDF

Info

Publication number
WO2004080071A1
WO2004080071A1 PCT/JP2004/002678 JP2004002678W WO2004080071A1 WO 2004080071 A1 WO2004080071 A1 WO 2004080071A1 JP 2004002678 W JP2004002678 W JP 2004002678W WO 2004080071 A1 WO2004080071 A1 WO 2004080071A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
audio
stream
video
unit
Prior art date
Application number
PCT/JP2004/002678
Other languages
English (en)
French (fr)
Inventor
Masanori Itoh
Osamu Okauchi
Tadashi Nakamura
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to US10/519,776 priority Critical patent/US7386553B2/en
Priority to JP2005503083A priority patent/JPWO2004080071A1/ja
Publication of WO2004080071A1 publication Critical patent/WO2004080071A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals

Definitions

  • the present invention describes in real time content including video and audio.
  • Various data streams have been standardized that compress and encode video (video) and audio (audio) signals at low bit rates.
  • a system stream of the MPEG2 system standard (IS0 / IEC 13818-1) is known.
  • the system stream includes three types: a program stream (PS), a transport stream (TS), and a PES stream.
  • PS program stream
  • TS transport stream
  • PES PES stream
  • the DVD video recording standard (hereinafter referred to as the “VR standard”) has been defined as a standard that enables real-time recording and editing of content data streams on phase-change optical disks (eg, DVDs).
  • the DVD video standard (hereinafter referred to as “video standard”) is specified as a standard for package media that records a data stream of playback-only content such as a movie.
  • Figure 1 shows the MPEG2 program stream 1 conforming to the VR standard.
  • the data structure is 0 (hereinafter, this stream is referred to as “VR standard stream 10”).
  • the VR standard stream 10 includes a plurality of video objects (Video OBjects; VOBs) # 1, # 2, '..., #K.
  • VOBs Video OBjects
  • VOBs Video OBjects
  • #K Video OBjects
  • each V ⁇ B is a moving picture generated by a single recording operation from the start of recording by the user to the stop of recording. Data is stored.
  • Each VOB includes a plurality of VOB units (Video OBject units; VOBUs) # 1, # 2,..., #N.
  • VOB units Video OBject units; VOBUs
  • Each VOBU is a data unit mainly including video data in the range of 0.4 second to 1 second in video playback time.
  • V ⁇ BU # 1 arranged first in FIG. 1
  • VOBU # 2 arranged next thereto as an example.
  • V ⁇ BU # 1 is composed of a plurality of packs, which are lower layers of the MPEG program stream.
  • the data length (pack length) of each pack in the VR standard stream 10 is constant (2 kilobytes (20 kilobytes). 48 bytes)).
  • RDI pack real-time information pack
  • a plurality of video packs indicated by "V” video packs 12 and the like
  • a plurality of audio packs indicated by "A” audio packs 13 and the like
  • each pack is in stores the following information.
  • the RDI pack 11 is information used to control the reproduction of the VR standard stream 10, for example, VOBU.
  • the video pack 12 stores the video data compressed by the MPEG2.
  • the audio pack 13 stores, for example, audio data compressed according to the MPEG2—audio standard.
  • the adjacent video packs 12 and audio packs 13 store, for example, video data and audio data that are reproduced in synchronization.
  • VOBU # 2 also consists of multiple packs. At the head of VOB U # 2, an RDI pack 14 is arranged, and thereafter, a plurality of video packs 15 and audio packs 16 are arranged. The content of the information stored in each pack is the same as V ⁇ BU # 1.
  • FIG. 2 shows the relationship between a video stream composed of video data in a video pack and an audio stream composed of audio data in an audio pack.
  • a picture 21 b of a video stream is constituted by video data stored in one or more packs including a video pack 21 a.
  • the next picture is constituted by the video data stored in one or more packs including video pack 22, and the next picture is further formed by the video data stored in the subsequent video packs.
  • the audio data stored in the audio pack 23a constitutes an audio frame 23b.
  • data of one audio frame may be divided into two or more audio packs and stored.
  • one audio pack may include a plurality of audio frames.
  • V OBU voice frame included in V OBU is completed within V ⁇ BU. That is, it is assumed that the voice frame data included in VOBU all exists in V ⁇ BU, and is not included in the next VOBU.
  • Video frames and audio frames are based on information (presentation time stamp; PTS) that specifies the playback time stored in the bucket header of each video pack and audio pack. Will be played.
  • PTS presentation time stamp
  • the video picture 21b and the audio frame 23b are reproduced at substantially the same time. That is, they are played back in synchronization.
  • the last picture 24c of VOBU # i is composed of the video data stored in the video packs 24a to 24b.
  • each VOBU is constructed based on the playback time of video, etc., and is not specifically constructed in consideration of audio. Therefore, even if the playback time information (PTS) is added so that the data of the audio frame 25c is played back in synchronization with the video picture 24c, the audio of the next VO BU # (i + 1) is output. Stored in packs 25a and 25b, etc.
  • the recording position of the audio frame played back in synchronization with the video frame is shifted because the video target and video pack are multiplexed in the system target decoder (P-STD) that defines the multiplexing rules.
  • P-STD system target decoder
  • the data size of the data buffer for example, 224 kbytes
  • the size of the audio data buffer for example, 4 kbytes. Since the amount of data that can be stored in audio data is small, it is multiplexed so that it is read immediately before the playback timing.
  • the user can register a desired VOBU playback order as a “playlist”.
  • the playback device uses the specified VOBU based on the playlist.
  • the VOBU is obtained and the video is played back. After that, the data is read from the head of the specified VOBU and playback is continued.
  • V ⁇ B U # k (k ⁇ (i + 1)) is specified.
  • the data in the next V ⁇ BU # k is read. Therefore, the data of the audio frame 25c stored in VOBU # (i + 1), which should be reproduced in synchronization with the video picture 24c, is not read out, and no audio is reproduced. As a result, the user hears the sound cut off halfway.
  • V @ BU # k where in the middle of V @ BU # k the audio frame corresponding to the first video picture is stored differs for each VOBU.
  • the storage location is determined by the relative relationship between V ⁇ BU #k and the previous VO BU (VOBU # (k-1)). Specifically, the bit size of the program stream and the buffer size of the system target decoder (P-STD) Is determined. Therefore, even if there are all audio frames that should be played back in synchronization with V ⁇ BU #i, audio frames that should be played back in synchronization with VOBU #k are not always stored immediately. . For this reason, the user can hear the sound cut off halfway.
  • An object of the present invention is to significantly reduce the period in which audio is interrupted or to eliminate the period in which audio is interrupted even when video and audio are reproduced based on a playlist or the like. Disclosure of the invention
  • a data input device to which a video signal and an audio signal are input; a compression unit that compresses and encodes the video signal and the audio signal to generate video data and audio data; Generating a plurality of buckets by dividing the video data and the audio data, generating a plurality of data units in which a video packet related to the video data and an audio packet related to the audio data are multiplexed, A stream assembling unit that generates a data stream including a unit; and a recording unit that records the data stream on a recording medium.
  • the stream assembling unit includes at least a video packet and an audio bucket to be included in the data unit.
  • the audio data corresponding to the video data stored in a predetermined data unit is determined based on the video playback time. When the whole of the data is not included in the predetermined data unit, among the voice data evening, copy the partial audio data is a portion that does not include at least — Include the copied data in the data stream.
  • the stream assembler may store the copy data corresponding to the data unit in a video packet arranged at the beginning of a subsequent data table.
  • the stream assembler may store the corresponding copy data in the data unit.
  • the stream assembling unit may store the copy data in a dedicated audio stream in the data stream.
  • the stream assembling unit may store the copy data in a dedicated private data stream in the data stream.
  • the stream assembling unit may store the audio data corresponding to the video data.
  • Copy data obtained by copying the entire evening may be included in the predetermined data unit.
  • a copy of the entire evening may be stored in a dedicated audio stream in the data stream.
  • the stream assembling section stores a copy of the entire audio data synchronized with the video data in a dedicated audio stream in the data stream, and further indicates a transfer timing of the copy data.
  • the transfer timing information the transfer timing within the data unit of the copy source is also shifted earlier by a predetermined time.
  • the transfer timing may be specified and recorded.
  • the stream assembling unit generates the data stream as a first file including the plurality of data units and a second file including the copy data, and the recording unit includes the data unit and the copy data May be continuously recorded on the recording medium.
  • the stream assembling unit may generate the second file based on a copy data obtained by copying all of the audio data corresponding to the video data.
  • Rate information is added to the audio data, the audio data has a data length corresponding to the rate information, and the compression unit compresses and encodes the audio signal at a first rate to produce the audio data.
  • the stream assembler generates data, and sets the value of the second rate earlier than the first rate as the rate information for the audio data included in the predetermined data unit, and And an empty area corresponding to a difference between a second data length defined for the second rate and a first data length of the audio data defined for the first rate.
  • the copy data may be stored.
  • the data processing method includes: receiving a video signal and an audio signal; compressing and encoding the video signal and the audio signal to generate video data and audio data; And generating a plurality of data units in which a video bucket relating to the video data and an audio bucket relating to the audio data are multiplexed. Generating a data stream including a plurality of the data units; and recording the data stream on a recording medium.
  • the step of generating the data stream includes: determining a video bucket and an audio bucket to be included in the data unit based on at least a playback time of the video, and determining the audio bucket corresponding to the video data stored in the predetermined data unit. If the entirety is not included in the predetermined data unit, copy data obtained by copying a partial audio data which is at least a part not included in the audio data is included in the data stream. .
  • the copy data corresponding to the data unit may be stored in a video packet arranged first in a subsequent data unit.
  • the step of generating the data stream may include, in the predetermined data unit, copy data obtained by copying all of the audio data corresponding to the video data.
  • the step of generating the data stream may include generating the data stream based on a first file including the plurality of data units and a second file including the copy data.
  • the step of generating the data stream may include generating the second file using copy data obtained by copying all of the audio data corresponding to the video data.
  • Rate information is added to the audio data, and the audio data has a data length according to the rate information.
  • Generating the audio data by compressing and encoding the audio signal at a first rate, and generating the data stream comprises: Setting the value of the second rate earlier than the first rate as the rate information to generate the audio data, and generating a second data length defined for the second rate;
  • the copy data may be stored in a free area corresponding to a difference from the first data length of the audio data defined for the copy data.
  • a data stream including a plurality of data units is recorded.
  • Each of the plurality of data units is configured by multiplexing a video packet relating to video data and an audio packet relating to the audio data.
  • the video data and a part of the audio data corresponding to the video data are stored in a predetermined data unit, and the partial audio data that is another part of the audio data corresponding to the video data is the Not stored in the specified data unit.
  • the data stream further includes a copy data obtained by copying the partial audio data.
  • a data processing device receives and decodes the above data stream, and outputs a video signal and an audio signal.
  • the data processing device includes: a reproduction control unit that instructs to read out data to be reproduced among the data included in the data stream; and the predetermined data unit of the data stream based on the instruction of the reproduction control unit. From the video data and audio data corresponding to the video data A reading unit that reads a part thereof; and a decoding unit that decodes a part of the video data and the audio data and synchronously outputs a video signal and an audio signal.
  • the reproduction control unit further instructs the reading of the copy data after the instruction, and the decoding unit decodes the copy data after decoding a part of the audio data and synchronizes with the video signal. Output. BRIEF DESCRIPTION OF THE FIGURES
  • FIG. 1 is a diagram showing a data structure of the MPEG2 program stream 10 conforming to the VR standard.
  • FIG. 2 is a diagram showing a relationship between a video stream composed of video data in a video pack and an audio stream composed of audio data in an audio pack.
  • FIG. 3 is a diagram showing a configuration of a functional block of the data processing device 30.
  • FIG. 4 is a diagram showing a data structure of the VR standard stream 10.
  • FIG. 5 is a diagram showing a relationship between the VR standard stream 10 and the recording area of the optical disk 13.
  • FIG. 6 is a diagram showing a state where the recorded VR standard stream 10 and management information are managed in the file system of the optical disk 13 1.
  • FIG. 7 is a diagram showing a relationship between a VOBU according to the first embodiment, and a video stream and an audio stream.
  • FIG. 8 is a flowchart showing the procedure of the recording process of the data processing device 30.
  • FIG. 9 is a diagram showing a relationship between a VOBU according to the second embodiment, and a video stream and an audio stream.
  • FIG. 10 is a diagram showing a relationship between a VOBU according to the third embodiment and a video stream and an audio stream.
  • FIG. 11 is a diagram illustrating a relationship between a VOB U according to the fourth embodiment, and a video stream and an audio stream.
  • FIG. 12 is a diagram illustrating a relationship between a VOBU according to the fifth embodiment and a video stream and an audio stream.
  • FIG. 13 is a diagram showing a relationship between a VOBU according to a modification of the fifth embodiment, and a video stream and an audio stream.
  • FIG. 14 is a diagram showing a relationship between a VOBU according to the sixth embodiment, and a video stream and an audio stream.
  • FIG. 15 is a diagram showing the data structure of the audio frame of the AC-3 standard and the position and size of the additional information.
  • FIGS. 16A and 16B are diagrams showing the data structure of an audio pack having a substream ID according to the type of audio data.
  • Fig. 17 shows the data structure of the audio frame of the MPEG-1 audio standard.
  • FIG. 3 shows a configuration of a functional block of the data processing device 30.
  • the data processing unit 30 is a recording function that records a VR standard stream 10 in real time on a recording medium such as a phase change optical disk 131, such as a DVD-RAM disk or Blu-ray disk (BD). It has. Further, the data processing device 30 also has a reproduction function of reading, decoding, and reproducing the recorded VR standard stream 10. However, in performing the process according to the present invention, the data processing device 30 does not necessarily have to have both the recording function and the reproducing function.
  • the data processing device 30 is, for example, a stationary device, a camcorder.
  • the data processing device 30 includes a video signal input unit 100, an audio signal input unit 102, an MPEG2 PS encoder 170, a recording unit 120, and a continuous data area detection unit 160. And a recording control unit 161, and a logical block management unit 163.
  • the PS assembling section 104 (described later) of the MP EG 2 PS encoder 170 communicates with the video object unit (Video Object Unit; VOB U) as a data unit. Include Video packs and audio packs are determined based on at least the video playback time to generate VOBUs. If the same VOBU does not include all the audio data corresponding to the video, at least copy data obtained by copying at least the audio data that is not included is included in the VR standard stream 10 and recorded.
  • “audio corresponding to video” means “audio played back in synchronization with video”.
  • the copy data is stored in the subsequent VOBU (for example, the user data area in the first video pack) or in an audio file different from the VR standard stream 10 file.
  • the audio data may be stored as a private stream, or may be stored as additional information so that the video and audio that are played back synchronously fit within one VOBU.
  • all audio data corresponding to video may be interleaved as different audio streams in the same VOBU.
  • the audio file may be stored in a separate audio file from the VR standard stream 10 file.
  • all audio data corresponding to video may be stored as a private stream.
  • the video signal input unit 100 is a video signal input terminal, and receives a video signal representing video data.
  • the audio signal input unit 102 is an audio signal input terminal, and receives an audio signal representing audio data.
  • the video signal input unit 100 and the audio signal input unit 102 are connected to a video output unit and an audio output unit of a tuner unit (not shown), respectively. Are connected and receive video and audio signals from each.
  • the data processing device 30 is a copy recorder, a camcorder, or the like
  • the video signal input unit 100 and the audio signal input unit 102 are connected to a camera CCD (not shown) and a microphone, respectively. Receives output video and audio signals.
  • MP EG 2—PS encoder 170 receives video and audio signals, and is compatible with VR standards MP EG 2 program stream (PS), ie, VR The encoder 170 generates a standard stream 10.
  • the encoder 170 includes a video compression unit 101, an audio compression unit 103, and a PS assembling unit 104 (the video compression unit 101 and the audio compression unit 101).
  • 103 compresses and encodes the video data and audio data obtained from the video signal and the audio signal, respectively, based on the MPEG 2.
  • the PS assembling unit 104 compresses and encodes the video data and the audio.
  • the data is divided into video packs and audio packs in units of 2 kilobytes each, and these packs are arranged in order to form one VOBU, and the RDI
  • the VR standard stream 10 is generated by adding the pack 27.
  • FIG. 4 shows the data structure of the VR standard stream 10.
  • the VR standard stream 10 includes a plurality of V ⁇ BU. Although FIG. 4 shows two V U BUs, more may be included.
  • Each VOBU in the VR standard stream 10 is composed of a plurality of packs. These packs and the information contained in each pack are as described with reference to FIG. 1, and will not be described here.
  • the video pack 12 stores MPEG2 compressed video (video) data 12a.
  • the video pack 12 includes a pack header 12b and a PES packet header 12c for specifying that the video pack is a video pack.
  • the system header (not shown) is also included in the pack header 12b.
  • the video data 12a of the video pack 12-1 shown in FIG. 4 constitutes the data of the I frame 44 together with the video data 12d of the subsequent video pack 12-2 and the like. Further, video packs composing the B frame 45 or the P frame following the I frame are continuously recorded.
  • the video data 12a includes a sequence header 41, a user data 42, and a GOP header 43.
  • a group of pictures is composed of multiple video frames.
  • the sequence header 41 indicates the start of a sequence composed of a plurality of GPs.
  • the GOP header 43 indicates the beginning of each GOP.
  • G ⁇ P top frame —M is an I-frame. Since these headers are well known, a detailed description thereof will be omitted.
  • the user data 42 is provided between the sequence header 41 and the GOP header 43, and can describe arbitrary data.
  • the playback time of all GOPs in each VOBU is adjusted so that it is within the range of 0.4 seconds or more and 1.0 seconds or less in principle. It is adjusted within the range of 0 seconds or more and 1.0 seconds or less. This is because the VR standard stream 10 is recorded in real time, and recording can be stopped at a timing of less than 0.4 seconds. Within these ranges, fluctuations in video playback time are allowed for each VOBU.
  • the recording unit 120 controls the pickup 130 based on the instruction of the recording control unit 161, and the VR standard stream 10 from the position of the logical block number instructed by the recording control unit 161.
  • the recording unit 120 divides each ⁇ 8 11 into 32 byte units, adds an error correction code in each unit, and records one logical block on the optical disc 13 1 as one c .
  • the recording of one VOBU is completed in the middle of a logical block, the recording of the next VOBU is continuously performed without leaving a gap.
  • FIG. 5 shows the relationship between the VR standard stream 10 and the recording area of the optical disc 13 1.
  • Each V ⁇ BU of the VR standard stream 10 is recorded in the continuous data area of the optical disc 13 1.
  • the continuous data area is composed of physically continuous logical blocks, and data of 17 seconds or more is recorded in this area at the maximum playback time.
  • the data processing device 30 adds an error correction code to each logical block.
  • the data size of a logical block is 32 kbytes.
  • Each logical block contains 16 2K byte sectors.
  • the continuous data area detector 160 checks the use status of the sectors of the optical disk 131 managed by the logical block manager 163, and stores unused data corresponding to the above-mentioned time length. Consecutive free logical block areas are detected.
  • a continuous free logical block area of 17 seconds or longer is not always detected.
  • the block overnight size may be dynamically determined. That is, if a continuous data area of 20 seconds can be secured at a certain point during recording, a continuous data area of 14 seconds can be secured as a continuation to guarantee continuous playback. Good.
  • the recording control section 16 1 controls the operation of the recording section 120.
  • the recording control unit 16 1 instructs the recording unit 120 to record the VR standard stream 10 as a data file (for example, a file name “VR—MOVIE. VR0”) and causes the optical disc 13 1 to record.
  • the recording unit 120 also records the management information file (file name VR—MANGR.IFO) for the VR standard stream received from the recording control unit 161, on the optical disk 131.
  • the management information includes, for example, the data size of each VOBU, the number of included video fields, and the data size of the first I frame.
  • the more specific control operation of the recording control unit 161 is as followsc : the recording control unit 161 issues an instruction to the continuous data area detection unit 160 in advance, so that a continuous free logical block is generated. and c allowed to detect an area, the recording control unit 1 6 1 notifies the logical block number each time a write logic block unit is generated in the recording unit 1 2 0, logical block becomes spent In this case, the logical block management unit 163 is notified. Note that the recording control unit 161 may cause the continuous data area detection unit 160 to dynamically detect the size of a continuous free logical block area. The continuous data area detection unit 160 re-detects the next continuous data area when the remainder of one continuous data area is converted into the maximum recording / reproducing rate, for example, less than 3 seconds.
  • FIG. 6 shows a state in which the recorded VR standard stream 10 and management information are managed in the file system of the optical disk 13 1.
  • UDF Universal Disk Format
  • ISO / IEC1334 6 Volume and file structure of write-once and rewritable media using non-sequential recording for information interchange
  • FIG. 6 a continuously recorded VR standard stream 10 is recorded as a file name VR—M ⁇ VIE.VR ⁇ .
  • the management information is recorded as file name VR—MANGR. IFO.
  • the file name and the location of the file entry are managed by FID (File Identifier Descriptor).
  • FID Frazier Identifier Descriptor
  • an Allocation Descriptor in a file entry is used to associate a file with the data areas that make up that file.
  • Allocation-The first sector number is set in the descriptor as the position of the file entry that makes up the file.
  • the file entry of the VR standard stream file includes an arrangement and a descriptor a to c that manage each of the continuous data areas (CDA). The reason that one file is divided into a plurality of areas a to c is that there were bad logical blocks and unwritable PC files in the middle of area a.
  • the file entry of the management information file holds the location descriptor d which refers to the area where the management information is recorded.
  • the logical block management unit 163 manages the usage status of each logical block number based on the used logical block number notified from the recording control unit 161. In other words, the usage status of each sector that constitutes the logical block number is used or unused by using the UDF or the space / bit / descriptor area specified by the file configuration of IS0 / IEC 13346. Is recorded and managed. Then, in the final stage of the recording process, the file identifier (FID) and the file 'entry are written to the file management area on the disk.
  • FID file identifier
  • the UDF standard is equivalent to a subset of the IS0 / IEC 13346 standard.
  • a phase change optical disk drive must be connected to a PC via the 1394 interface and the SBP-2 (Serial Bus Protocol-2) protocol. This allows a file written in a UDF-compliant format to be handled as a single file from a PC.
  • SBP-2 Serial Bus Protocol-2
  • the PS assembling unit 104 has generated a VR standard stream 10 in which all of the corresponding video data and audio data are not included in one VOBU.
  • the VOBU is determined based on the video playback time, etc., it can be considered that a part of the audio data is stored in a subsequent VOBU different from the corresponding video data.
  • the audio data included in the same VOBU as the video data includes an integer number of audio frames.
  • FIG. 7 shows the relationship between a VOBU according to the present embodiment, and a video stream and an audio stream.
  • the top row shows the set of VOBUs that make up the VR standard stream 10 set as an MPEG file.
  • the second row is a set of video data included in each VOBU
  • the third row is a set of video data—evening Represents a set of audio data corresponding to.
  • the video data included in VOBU # i is represented as V (i) or the like.
  • the top row shows the V ⁇ BUs that make up the MPEG-2 program stream.
  • the second row shows the set of video frames stored in each V ⁇ BU.
  • the third row shows the storage location of audio data Ao (i) played back in synchronization with each set of video frames and the VOBU boundary.
  • the vertical dotted line shows the positional relationship between the two ( Figures 9, 10, 11, 12, 13,
  • the storage position of (i) starts in the middle of VOBU # i. The end is stored at the beginning of VOBU (i + 1).
  • data A stored from the beginning of -V ⁇ BU # (i + 1) to before audio data A Q (i + 1) is VO BU # i in which video data is stored.
  • This audio data is hereinafter referred to as “separated storage data”.
  • the PS assembling unit 104 generates copy data representing the same contents as the separated storage data when generating V ⁇ BU # i and V ⁇ BU # (i + 1).
  • the copy data is stored after the first video pack of VOBU # (i + 1) following VOBU # i.
  • the copy data is stored in the user data area of the first video pack (for example, the user data area 42 in FIG. 4).
  • Storing copy data in the user data overnight area 42 means storing all video and audio data in one VR standard stream 10 (one file).
  • the copy data means a copy of the audio data itself of the separated storage data.
  • the SCR value of the pack header of the audio pack does not need to have any meaning as the transfer timing, so the copy value may be used.
  • the PTS value in the PES packet header in the pack can be used as it is.
  • the PS assembling unit 104 also generates the audio data A corresponding to the video data V (i + 1) even when V ⁇ BU # (i + 1) and # (i + 2) are generated. Of (i + 1), copy data representing the same contents as the separate storage data stored in VOBU # (i + 2) is generated. Then, the copy data is stored in the first video pack of VOBU # (i + 1) following V ⁇ BU # i.
  • the PS assembler 104 determines which picture in the video and which Audio data A because it has the function of adding PTS by knowing whether playback should be performed in sync with the frame. Of which are separated and stored. Therefore, it is easy to specify separated storage data.
  • FIG. 8 is a flowchart showing a procedure of a recording process of the data processing device 30.
  • the video signal input unit 100 and the audio signal input unit 102 receive a video signal and an audio signal, respectively.
  • the video compression section 101 and the audio compression section 103 compression-encode the video data and the audio data obtained from each signal.
  • the PS assembling unit 104 generates VOBU # i based on the video playback time and the like.
  • the arrangement (order) of each pack such as video packs in VOBU # i is determined in accordance with the rules of the system target decoder model. For example, the arrangement (order) of each pack is determined so as to satisfy the buffer capacity specification specified in the program stream, system, target decoder (P-STD) model.
  • step S84 it is determined whether the corresponding video data and audio data are stored in the same VOBU.
  • the data of the generated VOBU is sent to the sequential recording unit 120.
  • the recording unit 120 records the data on the optical disc 1331.
  • the processing from step S83 is repeated.
  • the PS assembling unit 104 describes the separated storage data (partial data A in FIG. 7) in the user data overnight area of the first video pack of the next VOBU # (i + 1), and records the data. Output to 120.
  • the recording unit 120 records the data on the optical disc 13 1.
  • step S86 the PS assembling unit 104 determines whether all the video data and audio data have been processed. If the processing has not been completed, the processing from step S83 is repeated. If the processing has been completed, the recording operation is completed.
  • the data processing device 30 includes a video display unit 110, an audio output unit 112, a playback unit 121, a conversion unit 141, an output interface unit 140, and a playback control unit 1622. And a playlist playback control unit 164 and an MPEG2 PS decoder 171.
  • the video display unit 110 is a display device such as a television that outputs a video
  • the audio output unit 112 is a speaker or the like that outputs video and audio. Note that the video display unit 110 and the audio output unit 112 are not essential elements of the data processing device 30, and may be provided as external devices.
  • the playback unit 121 converts the VR standard stream 10 as an analog signal read from the optical disc 13 through the optical pickup 130 based on the instruction of the playback control unit 162 into a digital signal.
  • the c- reproduction control unit 162 for reproducing as a signal specifies the V ⁇ BU to be reproduced and the data included in the VOBU, and instructs the optical pickup 130 to read the data.
  • the playlist playback control unit 164 plays each scene of the moving image in the order specified by the user. Each scene is managed, for example, on a VOB U basis.
  • the MPEG 2-PS decoder 17 1 (hereinafter, referred to as “decoder 17 1”) has a program stream decomposing unit 114, a video decompressing unit 111, and an audio decompressing unit 113.
  • the program stream decomposition unit 114 (hereinafter referred to as “PS decomposition unit 114”) separates video data and audio data from the VR standard stream 110.
  • the video decompression unit 111 decodes the video data compressed and coded based on the MPEG 2 standard according to that standard and outputs it as a video signal.
  • MPEG 1 Decodes audio data that has been compression-encoded based on the standard and outputs it as an audio signal.
  • the data processing device 30 When reproducing the VR standard stream 10 recorded by the data processing device 30, the data read from the optical disc 13 1 and the decoding (reproduction) of the read data are performed in parallel. At this time, control is performed so that the data read rate is faster than the maximum playback rate during the night. It operates so that there is no shortage of data to be reproduced. As a result, if the reproduction of the VR standard stream 10 is continued, extra data to be reproduced can be secured per unit time by the rate difference between the maximum data reproduction rate and the data read rate. The data processing device 30 reproduces the extra standard data 10 by playing back the extra data secured during the period when the pickup 130 cannot read the data (for example, during seek operation). It can be realized.
  • the data read rate of the playback unit 1 2 1 is 11.0 '8 Mbps
  • the maximum data playback rate of the PS decomposition unit 114 is 10.0 8 Mb ps
  • the maximum moving time of the pick-up is 1 At 5 seconds
  • 15.2 Mbits of extra data is required during the movement of the pickup 130 in order to reproduce the VR standard stream 10 without interruption.
  • the reproduction control unit 162 specifies the VOBU to be reproduced and instructs the optical pickup 130 to read data sequentially from the beginning.
  • the PS decomposition section 114 separates the VR standard stream 10 reproduced via the pickup 130 and the reproduction section 121 into video data and audio data.
  • the video decompression unit 111 and the audio decompression unit 113 decode the video data and the audio data, respectively, display a video based on the obtained video signal on the video display unit 110, and display the video based on the audio signal.
  • the audio is output from the audio output unit 112.
  • the playlist playback control unit 164 first instructs the optical pickup 130 to read VOBU # i.
  • the PS disassembly unit 114 separates the data of the VOB U # i reproduced via the optical pickup 130 and the reproduction unit 121 into video data and audio data, decodes and outputs the data. At this time, if data is described in the user data overnight area of the video pack existing first in VOBU # i, the data is ignored because it is not audio data corresponding to the video of V ⁇ BU # i. .
  • the playlist playback control unit 164 reads the data in the user data area of the first video pack of the following VOBU # (i + 1). Instruct the optical pickup 1 to 3. Since this data is separated and stored data relating to the audio corresponding to the video included in V ⁇ BU # i, the audio decompression unit 113 decodes the data after decoding the audio data in V ⁇ BU # i. The stored data is decoded and output as audio. After that, the data of the next playback target VO BU #k is read out based on the instruction from the playlist playback control section 164, and the PS decomposition section 114 reads the next data via the playback section 121. Obtain data of V ⁇ BU # k which is the playback target of, decode and output.
  • the RDI pack is placed at the head of the V ⁇ BU, and the video pack is placed next to it, it is easy and quick to read the separated stored data in the first video pack of the following VOBU.
  • Separately stored data is recorded over multiple video packs near the beginning of the VOBU.
  • the data processor 30 also reads out the separated storage data at the time of reproduction, thereby obtaining all the data of the sound corresponding to the video included in the VOBU, so that the sound is reproduced without interruption.
  • the separate storage data in the audio data A o (i) is the user data of the first video pack of VOBU (i + 1). Instead of storing in a private stream, it may be stored and multiplexed in a private stream in V ⁇ BU (i).
  • the data processing device 30 can also output the recorded data without going through the above-described stream separation and decoding. That is, the conversion unit 144 converts the read VR standard stream 10 into a predetermined format (for example, the format of the DVD video standard), and the output interface unit 140 outputs the converted stream. At this time, in addition to the data of the VOB U of the VR standard stream 10 to be read, the data of the user data area of the first video pack of the following V ⁇ BU is read, so that the output destination device Also, playback without interruption of audio becomes possible.
  • the output interface unit 140 is an interface conforming to, for example, the IEEE 1394 standard, and can control data reading from an external device and data writing from the external device. It is possible.
  • the following second and subsequent embodiments are various variations on the recording / reproducing operation of the data processing device 30 of the present embodiment.
  • Each component of the data processing device 30 described in the first embodiment has the same function in the following embodiments unless otherwise specified.
  • the VR standard stream 10 stores one corresponding video stream and one corresponding audio stream, and that the audio data is not stored in the same VOBU as the video data.
  • a copy of the new data was stored in the following V BU video data (in the video pack).
  • FIG. 9 shows a relationship between a VOBU according to the present embodiment, and a video stream and an audio stream.
  • the VR standard stream 10 is defined as one MPEG file as in the first embodiment, but unlike the first embodiment, two audio streams are multiplexed. Now, let the audio stream corresponding to the video stream be “audio stream # 0”. In audio stream # 0, separate storage data exists.
  • the PS assembling unit 104 records a copy of the data of the audio stream # 0 as another audio stream # 1 on the optical disk 131. More specifically, PS assembling section 104 copies the data of audio stream # 0 corresponding to the video included in V ⁇ BU # i, and generates an audio pack of audio stream # 1. Then, those audio packs are multiplexed into VOBU # i of the VR standard stream 10.
  • the audio streams # 0 and # 1 can each be identified by the stream ID described in the packet header of each pack.
  • the amount of data to be copied is limited by the system stream of the program stream ⁇
  • the audio buffer of the target decoder (P-STD). Must be satisfied.
  • audio data A that constitutes audio stream # 0. (I), A. (I + 1), A. (I + 2) or the like copied de Isseki a is, (i), A 1 ( i + 1), is stored as A 1 (i + 2) and the like.
  • the copy data of Ao (i) cannot always be stored in the VOBU # i.
  • the total playback time of the video frame in V ⁇ BU # i and the total transfer time of V ⁇ BU # i data (the difference between the first SCR value of V OBU # i and the first SCR value of V ⁇ BU # i + 1) If the differences are equal, the copy data of A o (i) can be stored exactly.
  • the PS assembling unit 104 modifies the SCR and PTS of the MPEG standard attached to the audio pack for the audio stream # 0, and generates the SCR and PTS for the audio stream # 1. In other words, the PS assembling unit 104 converts the values of SCR and PTS attached to the audio pack of audio stream # 1 into the audio stream # 0 when examining the pack storing data representing the same audio. Set a predetermined amount smaller than the SCR and PTS values attached to the packs.
  • the pack can be placed at a position in the VR array stream 10 where it is read earlier on the pack array. This is because that. Therefore, the data in VOBU # (i + 1) corresponding to the separated storage data in the first embodiment can be stored more in V ⁇ BU # i.
  • the PS assembling unit 104 describes the change amount data indicating the amount by which the SCR and PTS are set to be small, for example, in the user data area 42 of the video pack arranged at the beginning of VOBU # i.
  • the playlist playback control unit 164 decodes not the stream # 0 but the stream # 1 in accordance with the decoding of the VOBU # i video recorded on the optical disc 1331. This is because the audio data corresponding to the video data stored in VOBU # i has more data of stream # 1 than stream # 0.
  • the PS decomposition section 114 reads the shift amount of the reproduction timing from the user data area 42 of the video pack arranged at the beginning of VOBU # i and adds this value to the PTS, that is, the reproduction time. Delays and plays the sound. This allows video and audio to be synchronized for playback. Monkey
  • the difference value between the PTS of the audio frame AF # 0 that is synchronized with the first video frame of VOBU # i and the PTS of the audio frame that includes the copy data of AF # 0, and the video stream file It may be recorded in the management information file for the file “VR—MOV I E. VRO”. Also, the difference value may be recorded in the original data storage area in the RDI pack of each VOBU.
  • the playback control unit subtracts the difference value from the evening stamp value of the video frame at the beginning of the VOBU, and outputs the audio included in the audio stream # 1 after the subtraction result. All you have to do is play the frame.
  • the shift amount of the playback evening may be recorded in the manufacturer-specific data area in the RDI pack for each VOBU.
  • the audio stream # 0 is played back. That is, when a moving image file is played back as a general MPEG file, the audio stream # 0 is used.
  • audio stream # 0 within audio stream # 1 A flag indicating that duplicate data is stored may be recorded in the management information file for the video stream file “VR—MOVIE. VRO”. This flag should be recorded at least in VOB units. Also, it may be recorded in the video stream VOB or the audio stream # 1. This flag makes it possible to distinguish whether the audio stream # 1 stores audio different from the audio stream # 0 or a copy of the audio stream # 0.
  • the separated storage data is stored in the user data area 42 in the video pack.
  • the data processing device 30 records the separated storage data as a file of a file different from the MPEG file that specifies the VR standard stream 10.
  • FIG. 10 shows the relationship between the V ⁇ BU and the video stream and the audio stream according to the present embodiment.
  • the PS assembling unit 104 specifies the separated storage data related to the VOBU # i, and generates the audio data #i obtained by copying the separated storage data. Then, the PS assembling unit 104 physically and alternately records the audio data and each VOBU constituting the VR standard stream 10. Each audio data and each V ⁇ BU are recorded as one audio file and one MPEG file, respectively.
  • the PS assembling section 104 interleaves the audio data #i immediately after V ⁇ BU # i.
  • the unit 164 reads not only VOBU #i but also the following audio data #i, and then reads the data of V ⁇ BU # k to be reproduced next. Then, after being separated into video data and audio data in the PS decomposition section 114, the video expansion section 111 and the audio expansion section 113 decode and output the video data and the audio data. In particular, the audio decompression unit 113 decodes and reproduces audio data in the audio pack included in VOBU # i, and then decodes audio data #i included in the audio data file. And play.
  • the data processing device 30 Since audio data related to the separated storage data is stored next to the VOB U to be reproduced, continuous reading of the audio data can be easily and quickly realized.
  • the data processing device 30 also obtains all audio data corresponding to the video included in V ⁇ BU by reading the separated and stored data during reproduction, so that the audio is reproduced without interruption.
  • a copy of the separated storage data is recorded immediately after the corresponding VOB U, but may be recorded immediately before the corresponding VOBU c (Embodiment 4)
  • the data processing device generates and records an audio file different from the MPEG file based only on the separated and stored data of the audio stream. Also, for example, the sound related to V ⁇ BU # i Voice data #i was recorded immediately after VOBU # i.
  • the data processing device generates and records an audio file different from the MPEG file for all data of the audio stream. Further, audio data related to each V ⁇ BU is recorded before the VOBU.
  • FIG. 11 shows a relationship between a VOBU according to the present embodiment, a video stream and an audio stream.
  • the PS assembling unit 104 specifies the audio data A Q (i) corresponding to the video data V (i) included in the VOBU at the time of generating V ⁇ BU # i
  • the audio data A Generates audio data #i that is a copy of the data that constitutes (i).
  • the PS assembling section 104 physically and alternately records the audio data and each VOB U constituting the VR standard stream 10.
  • Each audio data and each V ⁇ BU are recorded as one audio file and one MPEG file, respectively.
  • the PS assembling unit 104 interleaves the audio data—even #i immediately before VOBU # i.
  • the playlist reproduction control unit 164 instructs to read out the audio data #i first before reading out V @ BU # i. Then, before the reading of V ⁇ BU # i ends, the reading of the audio data #i ends, and the decoding by the audio decompression unit 113 ends. Synchronously, all audio can be played. Therefore, even when playback of VOBU # k (k ⁇ (i + 1)) is specified later, seamless playback of voice can be realized. Note that, in the present embodiment, the audio data #i is recorded before the VOBU # i, but the audio data #i may be recorded after the VOBU # i, as in the third embodiment. In this case, it is necessary to read the audio data #i after the reproduction of V ⁇ BU # i and before starting reading of another V ⁇ BU.
  • the structure of the data in the audio file is not specifically mentioned, but may be an elementary audio stream or an MPEG2 program stream including the audio stream. It may be an MP4 stream including an audio stream, or another system stream.
  • the separated storage data related to VOBU # i is stored in the next V ⁇ BU # (i + 1).
  • the separated storage data related to VOBU # i is stored in VOBU # i as another stream.
  • FIG. 12 shows a relationship between a VOBU according to the present embodiment, a video stream and an audio stream.
  • the PS assembling unit 104 copies the separated storage data A related to VOBU # i, and multiplexes in VOBU # i as a private stream dedicated to the part of the separated storage data A.
  • a stream ID is added to identify the video stream and the audio stream included in the stream.
  • the stream ID is stored in the PES packet header.
  • the stream ID of the video stream is OxE0
  • the stream ID of the audio stream is OxCO or OxBD.
  • O x BD is a value specified for the private stream in the MP EG-2 system standard.
  • the compression code of the audio stream is further identified by one byte immediately after the PES packet header.
  • OxBD is used as a stream ID of a private stream newly provided.
  • FIG. 13 shows a relationship between a VOB U according to a modification of the present embodiment, and a video stream and an audio stream.
  • the PS assembling unit 104 stores the separated storage data A related to V ⁇ BU # i as a private stream in VOBU # i.
  • a copy of A is recorded as additional data in the audio frame of VO BU # i.
  • FIG. 14 shows a VOBU according to the present embodiment, a video stream and This shows the relationship with the audio stream.
  • the PS assembling unit 104 copies and stores the separated storage data A related to the audio stream # 0 of VOBU # i in the additional data (AD) area in the audio frame of VOBU # i.
  • FIG. 15 shows a data structure of an AC-3 standard audio frame generated by the audio compression unit 103.
  • the audio frame of A C-3 is composed of synchronization information (S I), bit stream information (B S I), audio block (AB n to AB n +5), and additional information (AD).
  • S I synchronization information
  • B S I bit stream information
  • AD additional information
  • rate information indicating the bit rate of the audio frame is recorded.
  • the bit rate of the audio frame is 448 kbps (the frame size code indicates 448 kbps).
  • the audio frame has a data length (1792 bytes shown in Fig. 15) according to the bit rate information specified in the synchronization information (SI).
  • the audio compression unit 103 actually records the synchronization information, bit stream information, and the effective data of the audio block at a bit rate of 256 kbps or less, and the auxiliary information area is recorded later. Reserved for separated storage data A.
  • the PS assembling unit 104 stores the copy data of the separated storage data A shown in FIG. 14 in the attached information area. Minute The average bit rate of the voice corresponding to the remote storage data A shall be 192 kbps, which is smaller than the difference between 4488 kbps data and 256 kbps. '
  • an empty area is provided in each audio frame of the audio stream recorded from the beginning, and the separated storage data is copied to the empty area, so that the audio data not stored in the VOBU (separation) Storage data) can be stored substantially.
  • the PS decomposer 114 analyzes the data stream, and the audio decompressor 113 can separate the data that cannot be obtained with the conventional data structure. Copy data of stored data A can be obtained. As a result, even in a video scene where the audio is normally interrupted, the audio can be seamlessly reproduced in synchronization with the video.
  • a bit rate half of the bit rate specified in the synchronization information (SI) may be used for the actual bit rate, and the other half may be used for the bit rate of the separated storage data.
  • the audio stream of AC-3 may be 448 kbps
  • the actual bit stream may be 224 kbps
  • the pit stream of the separated storage data may be 224 kbps.
  • all the audio data of audio stream # 0 can be stored in the auxiliary information area.
  • the compliant voice frame may be in a continuous form, and one voice frame of the separated and stored data A may be composed of two AC-3 standards. It may be recorded in the additional information over the audio frame of the case.
  • the data structure of the separated storage data may be an MPEG2 program stream including an audio elementary stream, or may be another system stream.
  • the separated storage data A is stored in the additional information (AD) area of the AC-3 standard audio frame.
  • the separated storage data A is stored in the additional data (ancillary_data) area in the audio frame of the MPEG-11 audio standard.
  • Other configurations are the same as in the sixth embodiment.
  • FIG. 17 shows the data structure of an audio frame of the MPEG-1 audio standard in the present embodiment.
  • the audio frame of the MPEG-1 audio standard has a header, an error check, audio data, and additional data (ancillary_data).
  • the audio compression unit 103 has an audio frame having the data structure shown in Fig. 17 Generate
  • the header records information indicating the bit rate, sampling frequency, and layer of the audio frame. In the present embodiment, they are 384 kbps, 48 kHz, and layer 2, respectively. At this time, each audio frame has a data length corresponding to the information of the bit rate specified in the header. However, the audio compression unit 103 Actually, the total of the header, error check, and audio data is recorded so as to be equal to or less than 256 kbps, and the additional data area is left empty for copying the separated storage data A to be recorded later.
  • the PS assembling unit 104 stores the copy data of the separated storage data A shown in Fig. 14 in this data area.
  • the bit rate of the audio stored as a copy of the separated storage data A is 1 28 kbps or less on average
  • an empty area is provided in each audio frame of the audio stream recorded from the beginning, and the separated storage data is copied to the empty area, so that the audio data not stored in the VOBU (separate storage) Data) can be substantially stored.
  • the PS decomposing unit 114 analyzes the data stream, so that the audio decompressing unit 113 can be obtained with the conventional data structure. No copy data of separated storage data A can be obtained. As a result, even in a video scene where the audio is normally interrupted, the audio can be reproduced seamlessly in synchronization with the video.
  • the audio stream that is a copy of the separated storage data may be a continuous form of audio frames conforming to the MPEG-1 audio standard.
  • one audio frame of the separated storage data A may be Two MPEGs may be recorded over the additional data area in the audio frame of the 1 audio standard.
  • the data structure of the separated storage data may be an MPEG2 program stream including an audio elementary stream, or may be another system stream.
  • the data processing device 30 may be operated so that no special processing is performed during recording, and the separated storage data itself is directly read during reproduction.
  • the playlist specifies playback of VOBU # k (k ⁇ (i + 1)) after playback of V ⁇ BU # i
  • the playlist playback control unit 164 After reading the data, it is necessary to always read the separated storage data, and then start reading V # BU # k. According to this, redundant recording of separated storage data is not required, and audio can be reproduced seamlessly.
  • the MPEG2 standard it is necessary to read a program stream for a maximum of 1 second, which may make seamless playback of video difficult. Therefore, in this case, when generating the program stream, the separated storage data is It is desirable to generate it so that it disappears.
  • the video decompression unit 111 sets the video frame size of each VOBU to less than ⁇ video bit rate Z frames per second '' or less. What is necessary is just to generate each frame so that it becomes. As a result, no separate storage data is generated for audio. The reason is that one frame of audio data can be transmitted each time in one frame period. It should be noted that the data size of the I (Intra) frame is limited, and the image quality may be degraded.
  • the audio decompression unit 113 may compress and encode the audio data with a restriction that the separated and stored data includes audio data within a predetermined number of frames (for example, 4 frames).
  • the VR standard stream which is a program stream
  • the transport stream may be in a format conforming to a digital television broadcasting standard using a transport stream.
  • the format may be a format based on digital data broadcasting using a transport stream.
  • transport stream packets are used. Note that a "pack" is known as one exemplary form of a bucket.
  • VR standard stream which is a program stream
  • the recording medium is described as a phase change optical disk, for example, a B1 u-ray disk, DVD-RAM, DVD-R, DVD-RW-DVD + RW, M ⁇ , CD-R, CD-RW, etc.
  • Other optical disks and recording media in other disk shapes such as hard disks can also be used.
  • a semiconductor memory such as a flash memory may be used.
  • the read / write head is a pickup for an optical disk. For example, if the recording medium is M0, the read / write head is a pickup and a magnetic head, and if the hard disk is a hard disk, it is a magnetic head.
  • MP EG-1 audio or MP EG-2 audio, AA can be generally used as the audio compression method.
  • the PS assembling unit 104 provides a substream ID (0x80) in only one byte next to the PES packet header so that it can be identified.
  • FIG. 16 (a) shows a data structure of an audio pack having a substream ID (0x80) and including AC-3 data.
  • FIG. 16 (b) shows the data structure of an audio pack having a substream ID (0XFF) and including data. This value is a value (O x FF) specified in the DVD-Video standard.
  • the separated storage data may be only the elementary stream or the PES packet header may be copied.
  • the above description does not mention which VOBU the audio frame at the boundary between the two VOBUs should be played in synchronization with, for example, the audio frames after the PTS of the video frame are in the same VOBU. Just think that it corresponds.
  • MPEG-2 video stream is used as video data.
  • other compression encoding formats such as an MPEG-4 video stream and an MPEG-4 AVC video stream, may be used.
  • copy data obtained by copying at least audio data that is not included at least For example, it is possible to obtain a recording device that records the data at a position that can be easily accessed when accessing the data unit (for example, at the beginning of the next VOBU, immediately before or immediately after the VOBU).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

　データ処理装置は、映像信号および音声信号が入力される信号入力部と、映像信号および音声信号を圧縮符号化して、映像データおよび音声データを生成する圧縮部と、映像データおよび音声データを分割してパケットを複数生成し、映像データに関する映像パケットおよび音声データに関する音声パケットを多重化したデータ単位を複数生成し、複数のデータ単位を含むデータストリームを生成するストリーム組立部と、データストリームを記録媒体に記録する記録部とを有している。このストリーム組立部は、データ単位に含める映像パケットおよび音声パケットを少なくとも映像の再生時間に基づいて決定する。そして、所定のデータ単位に格納された映像データに対応する音声データの全部が所定のデータ単位に含まれない場合には、音声データのうち、少なくとも含まれない部分である部分音声データをコピーしたコピーデータをデータストリーム内に含める。

Description

データ処理装置
技術分野 本発明は、 映像および音声を含むコンテンツをリアルタイムで記 明
録する方法および装置に関する。
細 背景技術
映像 （ビデオ） 信号および音声 （オーディオ） 信号を低いビット レートで圧縮し符号化する種々のデータストリームが規格化されて いる。 そのようなデータストリームの例として、 MP EG 2システ ム規格（IS0/IEC 13818- 1)のシステムストリームが知られている。 システムストリームは、 プログラムストリーム （P S) 、 卜ランス ポートストリーム （T S) 、 および P E Sストリームの 3種類を包 含する。
近年、 磁気テープに代わって、 相変化光ディスク、 MO等の光デ イスクが、 データストリームを記録するための記録媒体として注目 を浴びてきている。 現在、 相変化光ディスク （例えば DVD) にコ ンテンッのデータストリームをリアルタイムで記録し、 編集等を可 能にする規格として、 D VDビデオレコーディング規格 （以下、 「V R規格」 と称する） が規定されている （DVD Specifications for Re-wri table/Re- recordable Discs Part3 VIDEO RECORDING version 1.0 September 1999)。 また、 映画等の再生専用コンテン ッのデータストリームを記録する、 パッケージメディァ用の規格と して、 DVDビデオ規格 （以下、 「ビデオ規格」 と称する） が規定 されている。
図 1は、 VR規格に準拠した MP E G 2プログラムストリーム 1
0のデータ構造を示す （以下、 このストリームを 「VR規格ストリ ーム 1 0」 と記述する） 。
VR規格ストリーム 1 0は、 複数のビデオオブジェクト （Video OBject ； VOB) # 1、 # 2、' · · ·、 # kを含んでいる。 例えば， VR規格ストリーム 1 0がカムコーダで撮影されたコンテンツとす ると、 各 V〇Bは、 ユーザが録画を開始してから録画を停止するま での 1回の録画動作によって生成された動画データが格納されてい る。
各 VOBは、 複数の VOBュニッ ト （Video OBject unit ； V O B U) # 1、 # 2、 · · · 、 # nを含んでいる。 各 VOBUは、 主 として、 映像の再生時間にして 0. 4秒から 1秒までの範囲内の映 像データを含むデータ単位である。
以下、 図 1において最初に配置された V〇BU# 1とその次に配 置された VOBU# 2を例にして、 V〇 B Uのデ一夕構造を説明す る。
V〇BU# 1は、 MP E Gプログラムストリ一ムの下位階層であ るパックが複数集まって構成されている。 VR規格ストリーム 1 0 内の各パックのデータ長 （パック長） は一定 （ 2キロバイ ト （2 0 48バイ ト） ） である。 VOBUの先頭には、 図 1に "R" で示さ れるリアルタイムインフォメーションパック （RD Iパック） 1 1 が配置されている。 RD Iパック 1 1の後には、 "V" で示される ビデオパック （ビデオパック 1 2等） および " A" で示されるォ一 ディォパック （オーディオパック 1 3等） が複数含まれている。 な お、 各 VOBUのデータサイズは、 再生時間が同じであっても映像 データが可変ビットレートであれば最大記録再生レート以下の範囲 で変動し、 映像データが固定ビッ トレー卜であればほぼ一定である t 各パックは以下の情報を格納している。 例えば日本国特開 2 0 0 1一 1 9 74 1 7号公報に記載されているように、 RD Iパック 1 1は、 VR規格ストリーム 1 0の再生を制御するために用いられる 情報、 例えば VOBUの再生タイミングを示す情報や、 VR規格ス 卜リーム 1 0のコピーを制御するための情報を格納している。 ビデ ォパック 1 2は、 MP EG 2圧縮された映像デ一夕を格納している。 オーディオパック 1 3は、 例えば MP E G 2—オーディオ規格によ つて圧縮された音声データを格納している。 近接するビデオパック 1 2およびオーディオパック 1 3には、 例えば、 同期して再生され る映像データおよび音声データが格納されている。
VOBU# 2もまた、 複数のパックから構成されている。 VOB U# 2の先頭には、 RD Iパック 1 4が配置され、 その後、 ビデオ パック 1 5およびオーディォパック 1 6等が複数配置されている。 各パックに格納される情報の内容は V〇 BU # 1と同様である。
なお、 VOB内の各 VOBU先頭へ、 RD Iパックは記録されな いこともある。 このときは、 V〇 B U先頭には必ずビデオパックが 記録される。
図 2は、 ビデオパック内の映像データによって構成される映像ス トリームと、 オーディォパック内の音声データによって構成される 音声ス卜リームとの関係を示す。
具体的には、 V〇B U # iでは、 ビデオパック 2 1 aを含む 1以 上のパックに格納された映像データによって、 映像ストリームのピ クチャ 2 1 bが構成される。 次いで、 ビデオパック 2 2を含む 1個 以上のパックに格納された映像データによって、 次のピクチャが構 成され、 さらに以降のビデオパックに格納された映像デ一夕によつ てさらに次のピクチャが構成される。 一方、 オーディオパック 2 3 aに格納された音声デ一夕によって音声フレーム 2 3 bが構成され る。 その他のオーディオパックについても同様である。 なお、 1つ の音声フレームのデータは 2以上のオーディォパックに分割されて 格納されていてもよい。 また、 ひとつのオーディオパック内に複数 の音声フレームを含んでいてもよい。
また、 V O B Uに含まれる音声フレームのデ一夕は V〇 B U内で 完結しているとする。 すなわち、 V O B Uに含まれる音声フレーム のデータは V〇 B U内に全て存在し、 次の V O B Uには含まれない とする。
映像フレームおよび音声フレームは、 各ビデオパックおよびォー ディォパックのバケツ卜ヘッダに格納されている再生時刻を指定す る情報 （プレゼンテーションタイムスタンプ； P T S ) に基づいて 再生される。 図 2では、 ビデオピクチャ 2 1 bと音声フレーム 2 3 bとがほぼ同時刻に再生される。 すなわち、 両者は同期して再生さ れる。
V〇 B U # iのビデオパック 24 aおよび 24 bに注目する。 ビ デォパック 24 aからビデオパック 24 bまでのビデオパックに格 納された映像データによって、 VOBU# iの最後のピクチャ 24 cが構成される。 上述のように、 各 VOBUは映像の再生時間等を 基準として構築されており、 音声を考慮して特に構築されているわ けではない。 そのため、 音声フレーム 2 5 cのデータは、 ビデオピ クチャ 24 cと同期して再生されるように再生時刻情報 （PT S) が付加されていても次の VO B U# ( i + 1 ) のオーディォパック 2 5 aおよび 2 5 b等に格納される。
このように、 映像フレームと同期して再生される音声フレームの 記録位置がずれる理由は、 ビデオパックとオーディォパックの多重 化ルールを規定しているシステムターゲッ トデコーダ ( P - S T D) 内において、 ビデオデータ用のバッファのデータサイズ （例え ば 2 24 kバイト） が、 音声データ用のバッファのサイズ （例えば 4 kバイ ト） よりもかなり大きいためである。 音声デ一夕は蓄積可 能なデータ量が少ないので、 再生タイミングの直前で読み込むよう に多重化される。
このようなプログラムストリームに対して、 ユーザは、 希望する VOBUの再生順序を 「プレイリスト」 として登録することができ る。 再生装置はプレイリストに基づいて、 指定されたある VOBU のデータを取得して映像等を再生し、 その後、 指定された VOBU の先頭からデータを読み出して再生を継続する。
しかし、 同期して再生すべき映像データおよび音声データが異な る VOBUに格納されている場合には、 プレイリストに基づく再生 中、 音声が途切れるという問題が生じていた。 その理由は、 再生対 象の VO B Uのデータは読み出されるが、 その次に配置された非再 生対象の VO BUに格納された音声デ一夕は読み出されないからで ある。 この場合には、 映像のみが再生され、 それと同期して再生さ れるはずの音声は再生されない。
例えば、 図 2において、 プレイリストが VOBU# iの再生後に
V〇B U# k ( k≠ ( i + 1 )) の再生を指定しているとする。 こ のとき、 VOBU# iのビデオピクチャ 24 cのデ一夕が読み出さ れた後は、 次の V〇BU# k内のデータが読み出される。 よって、 ビデオピクチャ 24 cに同期して再生されるべき、 VOBU# ( i + 1 ) に格納された音声フレーム 2 5 cのデータは読み出されず、 音声は再生されない。 その結果、 ユーザには途中で音声が途切れて 聞こえる。
また、 V〇BU# kにおいても、 その先頭のビデオピクチャに対 応する音声フレームが V〇BU# k内の途中のどこから格納されて いるのかは VOBU毎に異なる。 どこから格納されているかは、 V 〇 B U # kとそれ以前の VO B U (VOBU# (k— 1)) との相 対関係で決定される。 具体的にはプログラムストリームのビット量 とシステムターゲットデコーダ （P— S TD) のバッファサイズに よって決定される。 したがって、 仮に V〇B U # i内に同期して再 生されるべき音声フレームが全てあったとしても、 V O B U # kと 同期して再生されるべき音声フレームが直ぐに格納されているとは 限らない。 この理由によっても、 ユーザには途中で音声が途切れて 聞える。
本発明の目的は、 プレイリスト等に基づいて映像および音声を再 生する場合であっても、 音声が途切れる期間を著しく少なくする、 または音声が途切れる期間がないようにすることである。 発明の開示
本発明によるデータ処理装置は、 映像信号および音声信号が入力 される信号入力部と、 前記映像信号および前記音声信号を圧縮符号 化して、 映像デ一夕および音声データを生成する圧縮部と、 前記映 像デ一夕および前記音声データを分割してバケツトを複数生成し、 前記映像データに関する映像パケッ トおよび前記音声データに関す る音声パケットを多重化したデータ単位を複数生成し、 複数の前記 データ単位を含むデータストリームを生成するストリーム組立部と， 前記データストリームを記録媒体に記録する記録部とを有している, 前記ストリーム組立部は、 前記データ単位に含める映像パケットぉ よび音声バケツトを少なくとも映像の再生時間に基づいて決定し、 所定のデータ単位に格納された映像デ一夕に対応する音声データの 全部が前記所定のデータ単位に含まれない場合には、 前記音声デー 夕のうち、 少なくとも含まれない部分である部分音声データをコピ —したコピーデータを前記データストリーム内に含める。
前記ストリーム組立部は、 前記データ単位に対応する前記コピー データを、 後続のデータ卓位の最初に配置された映像パケッ ト内に 格納してもよい。
前記ストリーム組立部は、 前記デ一夕単位内に、 対応する前記コ ピーデータを格納してもよい。 前記ストリーム組立部は、 前記コピーデータを、 前記データスト リーム内の専用の音声ストリーム内に格納してもよい。
前記ストリーム組立部は、 前記コピーデータを、 前記データストリ ーム内の専用のプライべ一トデ一タストリ一ム内に格納してもよい 前記ストリーム組立部は、 前記映像データに対応する前記音声デ —夕のすべてをコピーしたコピーデータを、 前記所定のデータ単位 に含めてもよい。
前記ストリーム組立部は、 前記コピ一データを、 前記データストリ ーム内の専用のプライべ一トデータストリーム内に格納してもよい c 前記ストリーム組立部は、 前記映像データに同期する前記音声デ —夕のすべてをコピーしたコピーデ一夕を、 前記データストリーム 内の専用の音声ストリーム内に格納してもよい。
前記ストリーム組立部は、 前記映像データに同期する前記音声デ —夕のすべてをコピーしたコピーデ一夕を、 前記データストリーム 内の専用の音声ストリーム内に格納し、 さらに前記コピーデータの 転送タイミングを示す転送夕イミング情報として、 前記コピー元の データ単位内の転送タイミングょりも所定の時間だけ早くシフトし た転送タイミングを規定して記録してもよい。
前記ストリーム組立部は、 前記複数のデータ単位を含む第 1ファ ィルおよび前記コピーデータを含む第 2ファイルとして、 前記デー 夕ストリームを生成し、 前記記録部は、 前記データ単位とコピーデ 一夕とを前記記録媒体に連続的に記録してもよい。
前記ストリーム組立部は、 前記映像データに対応する前記音声デ 一夕のすべてをコピーしたコピーデ一夕によって前記第 2ファイル を生成してもよい。
前記音声データにはレート情報が付加され、 前記音声データは前 記レート情報に応じたデータ長を有しており、 前記圧縮部は第 1 レ —卜で前記音声信号を圧縮符号化して前記音声データを生成し、 前 記ストリーム組立部は、 前記所定のデータ単位に含まれる前記音声 データに対して、 前記レート情報として前記第 1レートよりも早い 第 2レートの値を設定して前記音声データを生成し、 前記第 2レー トに対して規定される第 2データ長と、 前記第 1 レー卜に対して規 定される前記音声データの第 1データ長との差分に対応する空き領 域に、 前記コピーデータを格納してもよい。
本発明によるデータ処理方法は、 映像信号および音声信号を受け 取るステップと、 前記映像信号および前記音声信号を圧縮符号化し て、 映像データおよび音声データを生成するステップと、 前記映像 データおよび前記音声データを分割してパケッ 卜を複数生成するス テツプし、 前記映像データに関する映像バケツ トおよび前記音声デ 一夕に関する音声バケツ トを多重化したデータ単位を複数生成し、 複数の前記データ単位を含むデ一タストリームを生成するステップ と、 前記データストリームを記録媒体に記録するステップとを包含 する。 前記データストリームを生成するステップは、 前記データ単 位に含める映像バケツトおよび音声バケツトを少なくとも映像の再 生時間に基づいて決定し、 所定のデータ単位に格納された映像デー 夕に対応する音声データの全部が前記所定のデータ単位に含まれな い場合には、 前記音声デ一夕のうち、 少なくとも含まれない部分で ある部分音声デ一夕をコピーしたコピーデータを前記データストリ —ム内に含める。
前記デ一タストリームを生成するステップは、 前記データ単位に 対応する前記コピーデータを、 後続のデータ単位の最初に配置され た映像パケッ ト内に格納してもよい。
前記データストリームを生成するステップは、 前記映像データに 対応する前記音声データのすべてをコピーしたコピーデ一タを、 前 記所定のデータ単位に含めてもよい。
前記データストリームを生成するステップは、 前記複数のデータ 単位を含む第 1ファイルおよび前記コピ一データを含む第 2フアイ ルに基づいて、 前記デ一タストリームを生成してもよい。
前記デ一タストリームを生成するステップは、 前記映像データに 対応する前記音声データのすべてをコピーしたコピーデータによつ て前記第 2ファイルを生成してもよい。
前記音声データにはレート情報が付加され、 前記音声データは前 記レート情報に応じたデータ長を有しており、 前記音声データを生 成するステップは、 第 1 レートで前記音声信号を圧縮符号化して前 記音声データを生成し、 前記前記データストリームを生成するステ ップは、 前記所定のデータ単位に含まれる前記音声データに対して、 前記レート情報として前記第 1 レートよりも早い第 2レートの値を 設定して前記音声データを生成し、 前記第 2レートに対して規定さ れる第 2データ長と、 前記第 1レートに対して規定される前記音声 データの第 1データ長との差分に対応する空き領域に、 前記コピー データを格納してもよい。
本発明の記録媒体には、 複数のデータ単位を含むデ一タストリ一 ムが記録されている。 前記複数のデ一夕単位の各々は、 映像データ に関する映像パケッ トおよび前記音声データに関する音声パケッ ト が多重化して構成されている。 前記映像データおよび前記映像デー 夕に対応する音声データの一部は所定のデータ単位内に格納され、 前記映像デ一夕に対応する前記音声データの他の一部である部分音 声データは前記所定のデータ単位内に格納されていない。 前記デー タストリームは、 さらに前記部分音声データをコピーしたコピーデ 一夕を含んでいる。
本発明によるデータ処理装置は、 上述のデータストリームを受け 取ってデコードし、 映像信号および音声信号を出力する。 データ処 理装置は、 データストリームに含まれるデータのうち、 再生の対象 となるデータの読み出しを指示する再生制御部と、 前記再生制御部 の指示に基づいて、 前記データストリームの前記所定のデータ単位 から前記映像データおよび前記映像データに対応する音声データの 一部を読み出す読み出し部と、 前記映像データおよび前記音声デー 夕の一部をデコードして映像信号および音声信号を同期して出力す るデコード部とを有している。 前記再生制御部は、 前記指示の後に 前記コピ一データの読み出しをさらに指示し、 前記デコード部は前 記音声データの一部をデコードした後に前記コピーデータをデコー ドして前記映像信号と同期して出力する。 図面の簡単な説明
図 1は、 V R規格に準拠した M P E G 2プログラムストリ一ム 1 0のデータ構造を示す図である。
図 2は、 ビデオパック内の映像データによって構成される映像ス トリームと、 オーディォパック内の音声データによって構成される 音声ストリ一ムとの関係を示す図である。
図 3は、 データ処理装置 3 0の機能ブロックの構成を示す図であ る。
図 4は、 V R規格ストリーム 1 0のデータ構造を示す図である。 図 5は、 V R規格ストリーム 1 0と光ディスク 1 3 1の記録領域 との関係を示す図である。
図 6は、 記録された V R規格ストリーム 1 0および管理情報が光 ディスク 1 3 1のファイルシステムにおいて管理されている状態を 示す図である。
図 7は、 実施形態 1による V O B Uと、 映像ストリームおよび音 声ストリームとの関係を示す図である。 図 8は、 データ処理装置 3 0の記録処理の手順を示すフローチヤ 一卜である。
図 9は、 実施形態 2による VOBUと、 映像ストリームおよび音 声ストリームとの関係を示す図である。
図 1 0は、 実施形態 3による VOBUと、 映像ストリームおよび 音声ストリームとの関係を示す図である。
図 1 1は、 実施形態 4による VOB Uと、 映像ストリームおよび 音声ストリームとの関係を示す図である。
図 1 2は、 実施形態 5による VOBUと、 映像ストリームおよび 音声ストリームとの関係を示す図である。
図 1 3は、 実施形態 5の変形例による VOBUと、 映像ストリ一 ムおよび音声ストリームとの関係を示す図である。
図 1 4は、 実施形態 6による VOBUと、 映像ストリームおよび 音声ス卜リ一ムとの関係を示す図である。
図 1 5は、 AC— 3規格の音声フレームのデータ構造および付加 情報の位置およびサイズを示す図である。
図 1 6 (a) および （b) は、 音声データの種類に応じたサブス トリーム I Dを有するオーディオパックのデータ構造を示す図であ る。
図 1 7は、 MP E G— 1オーディオ規格の音声フレームのデータ 構造を示す。 発明を実施するための最良の形態 (実施形態 1)
以下では、 本実施形態によるデータ処理装置の構成を説明し、 あ わせて、 データ処理装置の処理に関連するデータストリームのデー 夕構造を説明する。 その後、 データ処理装置が行う記録動作および 再生動作を説明する。 なお、 本明細書では、 データストリームの例 として DVDビデオレコーディング規格 （VR規格） に準拠した M P EG 2プログラムストリーム （VR規格ストリーム） を例に挙げ て説明する。
図 3は、 データ処理装置 3 0の機能ブロックの構成を示す。 デー 夕処理装置 3 0は、 DVD— RAMディスク、 B l u— r a yディ スク （BD) 等の相変化光ディスク 1 3 1に代表される記録媒体に、 リアルタイムで VR規格ストリーム 1 0を記録する記録機能を有す る。 また、 データ処理装置 3 0は、 記録した VR規格ストリーム 1 0を読み出して復号し、 再生する再生機能も有する。 ただし、 本発 明による処理を行う上で、 データ処理装置 3 0は必ずしも記録機能 および再生機能の両方を設けていなくてもよい。 データ処理装置 3 0は、 例えば据え置き型の装置、 カムコーダである。
以下、 データ処理装置 3 0の記録機能に関する構成を説明する。 データ処理装置 3 0は、 映像信号入力部 1 0 0と、 音声信号入力部 1 0 2と、 MP EG 2 P Sエンコーダ 1 7 0と、 記録部 1 2 0と、 連続データ領域検出部 1 6 0と、 記録制御部 1 6 1と、 論理ブロッ ク管理部 1 6 3とを有する。
まず、 データ処理装置 3 0の記録動作の概要を説明する。 VR規 格ストリーム 1 0を生成して記録する際、 MP E G 2 P Sェンコ一 ダ 1 7 0の P S組立部 1 04 (後述） は、 データ単位であるビデオ オブジェク トュニッ ト （Video Object Unit ； VOB U) に含める ビデオパックおよびオーディオパックを、 少なくとも映像の再生時 間に基づいて決定して VOBUを生成する。 そして、 同一の VOB U内に、 映像に対応する音声の全てのデータが含まれない場合には, 少なくとも含まれない音声データをコピーしたコピーデータを VR 規格ストリーム 1 0に含めて記録する。 ここで、 「映像に対応する 音声」 とは、 「映像と同期して再生される音声」 を意味する。
コピーデータは、 後続の VOBU内 （例えば最初のビデオパック 内のユーザデータ領域） に格納され、 または、 VR規格ストリーム 1 0のファイルとは別の音声ファイルに格納される。 または、 同期 して再生される映像および音声が 1つの VOBU内に収まるように、 音声データがプライべ一トストリームとして格納されてもよいし、 付加情報として格納されてもよい。
さらに、 映像に対応する音声のデータすベてを異なる音声ストリ ームとして同じ VOBU内にインターリーブしてもよい。 また、 V R規格ストリーム 1 0のファイルとは別の音声ファイルに格納して もよい。 または、 映像に対応する音声のデータすベてを、 プライべ —トストリームとして格納してもよい。
以下では、 図 3〜 6を参照しながらデータ処理装置 30の記録機 能に関する各構成要素の一般的な機能を説明し、 その後、 図 7、 8 等を参照しながらデータ処理装置 3 0のデータ処理装置 3 0の具体 的な記録動作を説明する。
映像信号入力部 1 0 0は映像信号入力端子であり、 映像データを 表す映像信号を受け取る。 音声信号入力部 1 0 2は音声信号入力端 子であり、 音声データを表す音声信号を受け取る。 例えば、 データ 処理装置 3 0がビデオレコーダである場合には、 映像信号入力部 1 0 0および音声信号入力部 1 0 2は、 それぞれチューナ部 （図示せ ず） の映像出力部および音声出力部と接続され、 それぞれから映像 信号および音声信号を受け取る。 また、 データ処理装置 3 0がムー ピーレコーダ、 カムコーダ等である場合には、 映像信号入力部 1 0 0および音声信号入力部 1 0 2は、 それぞれカメラの C CD (図示 せず) およびマイクから出力された映像信号および音声信号を受け 取る。
MP E G 2— P Sエンコーダ 1 7 0 (以下、 「エンコーダ 1 7 0 J と記述する） は、 映像信号および音声信号を受け取り、 VR規 格に準拠した MP E G 2プログラムストリーム （P S) 、 すなわち， VR規格ストリーム 1 0を生成する。 エンコーダ 1 7 0は、 映像圧 縮部 1 0 1と、 音声圧縮部 1 0 3と、 P S組立部 1 04とを有する ( 映像圧縮部 1 0 1および音声圧縮部 1 0 3は、 それぞれ映像信号お よび音声信号から得られた映像データおよび音声データを MP E G 2規格に基づいて圧縮符号化する。 P S組立部 1 04は、 圧縮符号 化された映像データと音声データを、 それぞれ 2キロバイ ト単位の ビデオパック及びオーディォパックに分割し、 これらのパックがー つの VOBUを構成するよう順番に並べるとともに、 先頭に RD I パック 2 7を付加して VR規格ストリーム 1 0を生成する。
図 4は、 VR規格ストリーム 1 0のデータ構造を示す。 VR規格 ストリーム 1 0は複数の V〇 B Uを含んでいる。 図 4には 2つの V 〇 B Uが記載されているが、 より多く含んでいてもよい。 VR規格 ストリーム 1 0内の各 VOBUは、 複数のパックから構成されてい る。 これらのパックおよび各パックに含まれる情報は図 1を参照し ながら説明したとおりであるので、 ここでは省略する。
以下、 ビデオパック 1 2— 1等のデータ構造を説明する。 ビデオ パック 1 2は、 MP E G 2圧縮された映像 （ビデオ） データ 1 2 a を格納している。 なお、 ビデオパック 1 2はパックヘッダ 1 2 b、 およびビデオパックであることを特定する P E Sパケットヘッダ 1 2 cが含まれる。 さらに VOBUの最初のビデオパックであればパ ックヘッダ 1 2 bの中にシステムヘッダ （図示せず） も含まれる。 図 4に示すビデオパック 1 2— 1の映像データ 1 2 aは、 後続の ビデオパック 1 2 - 2以後の映像データ 1 2 d等とともに I フレー ム 44のデータを構成する。 さらに I フレームに続く Bフレーム 4 5または Pフレームを構成するビデオパックが続けて記録される。 また、 映像データ 1 2 aは、 シーケンスヘッダ 4 1、 ユーザデ一 夕 42および GOPヘッダ 43を含んでいる。 MP E G 2規格では. ビデオフレームを複数まとめた 「グループ ' ォブ · ピクチャ」
(Group Of Picture； GOP) が規定されている。 シーケンスへッ ダ 4 1は、 複数の G〇Pで構成されたシーケンスの先頭を表す。 一 方、 GOPヘッダ 4 3は各 GOPの先頭を表す。 G〇Pの先頭フレ —ムは Iフレームである。 これらのへッダについては周知であるた め、 その詳細な説明は省略する。 ユーザデータ 42は、 シーケンス ヘッダ 4 1および GOPヘッダ 43の間に設けられ、 任意のデータ を記述することができる。
シーケンスヘッダ 4 1、 ユーザデータ 42および GOPヘッダ 4
3の先頭には、 その各々を識別するための開始コードが付加されて いる。 例えば、 シーケンスヘッダ 4 1には " 0 0 0 0 0 1 B 3 " 、 ュ一ザデータ 42には " 0 0 0 0 0 1 B 5 " 、 および G O Pヘッダ 43には " 0 0 0 0 0 1 B 8 " である （いずれも 1 6進数表記） 。 ユーザデータ 42の読み出しは、 次の GOPヘッダ 43の開始コ一 ドが検出されるまで継続し、 G〇 Pヘッダ 4 3の開始コードが検出 されると、 それまでに得られたデータのうち、 ユーザデータ 42の 先頭ヘッダ B 5を除いた部分がユーザデータとして得られる。
なお、 各 VO B U内の全 GO Pの再生時間は、 原則として 0. 4 秒以上かつ 1. 0秒以下の範囲に収まるように調整されており、 例 外的に最後の VOBUの再生時間は、 0秒以上かつ 1. 0秒以下の 範囲で調整されている。 VR規格ストリーム 1 0はリアルタイムで 記録されるため、 0. 4秒未満のタイミングで記録が停止され得る からである。 これらの範囲内であれば、 各 VOBUについてビデオ の再生時間の変動が許容される。
記録部 1 2 0は、 記録制御部 1 6 1の指示に基づいてピックアツ プ 1 3 0を制御し、 記録制御部 1 6 1によって指示された論理プロ ック番号の位置から VR規格ストリーム 1 0のビデオオブジェク ト ユニット （V O B U ) を記録する。 このとき、 記録部 1 2 0は、 各 〇8 11を 3 2 バィ ト単位に分割し、 その単位で誤り訂正符号を 付加して一つの論理ブロックとして光ディスク 1 3 1上に記録する c 一つの論理ブロックの途中で一つの V O B Uの記録が終了した場合 は、 隙間を開けることなく次の V O B Uの記録を連続的に行う。
図 5は、 V R規格ストリーム 1 0と光ディスク 1 3 1の記録領域 との関係を示す。 V R規格ストリーム 1 0の各 V〇 B Uは、 光ディ スク 1 3 1の連続データ領域に記録される。 連続データ領域は物理 的に連続する論理ブロックから構成されており、 この領域には最大 レートでの再生時間にして 1 7秒以上のデータが記録される。 デー 夕処理装置 3 0は、 論理ブロックごとに誤り訂正符号を付与する。 論理ブロックのデ一夕サイズは 3 2 kバイ トである。 各論理ブロッ クは、 2 Kバイ トのセクタを 1 6個含む。
連続データ領域検出部 1 6 0は、 論理ブロック管理部 1 6 3によ つて管理される光ディスク 1 3 1のセクタの使用状況を調べ、 上述 の時間長に相当するデータを格納可能な、 未使用の連続した空き論 理ブロック領域を検出する。
なお、 連続再生保証のために 1 7秒以上の連続した空き論理プロ ック領域を常に検出することなく、 例えば、 余分な再生データの蓄 積量を計算してトレースしながら、 連続した空き論理ブロックのデ 一夕サイズを動的に決定してもよい。 すなわち、 記録中のある時点 で 2 0秒分の連続データ領域を確保できたときには、 その続きとし ては 1 4秒分の連続データ領域を確保して、 連続再生を保証しても よい。
記録制御部 1 6 1は、 記録部 1 2 0の動作を制御する。 記録制御 部 1 6 1は、 VR規格ストリーム 1 0をデータファイル （例えばフ アイル名" VR— MOVIE. VR0" ) として記録するように記録部 1 2 0に 指示し、 光ディスク 1 3 1に記録させる。 また、 記録部 1 2 0は記 録制御部 1 6 1から受け取った VR規格ストリームに対する管理情 報ファイル （ファイル名 VR— MANGR. I F O) も光ディスク 1 3 1へ記録する。 管理情報には、 例えば VOBU毎のデータサイ ズ、 含まれる映像フィールド数、 および先頭の I フレームのデータ サイズが含まれる。
記録制御部 1 6 1のより具体的な制御動作は以下のとおりである c すなわち、 記録制御部 1 6 1は、 予め連続データ領域検出部 1 6 0 に指示を出して、 連続した空き論理プロック領域を検出させておく c そして、 記録制御部 1 6 1は、 論理ブロック単位の書き込みが発生 するたびに当該論理ブロック番号を記録部 1 2 0に通知し、 論理ブ ロックが使用済みになった場合には論理ブロック管理部 1 6 3に通 知する。 なお、 記録制御部 1 6 1は、 連続データ領域検出部 1 6 0 に対して連続した空き論理ブロック領域のサイズを動的に検出させ てもよい。 連続データ領域検出部 1 6 0は、 1つの連続デ一夕領域 の残りが最大記録再生レート換算で、 例えば 3秒分を切った時点で， 次の連続データ領域を再検出する。 そして、 1つの連続データ領域 がー杯になると、 記録制御部 1 6 1は次の連続データ領域への書き 込みを指示する。 図 6は、 記録された VR規格ス卜リーム 1 0および管理情報が光 ディスク 1 3 1のファイルシステムにおいて管理されている状態を 示す。 例えば UD F (Universal Disk Format) 規格のファイルシ ステム、 または I S O/ I E C 1 3 3 4 6 (Volume and file structure of write - once and rewritable media using non- sequent ial recording for information interchange) ファイ レシ ステムが利用される。 図 6では、 連続して記録された VR規格スト リーム 1 0がファイル名 VR— M〇 V I E. VR〇として記録され ている。 また、 管理情報はファイル名 VR— MANGR. I F Oと して記録されている。 各ファイルは、 ファイル名及びファイル · ェ ントリの位置が、 F I D (File Identifier Descriptor) で管理さ れる。 さらに、 ファイル · エントリ内のアロケーション ·ディスク リプ夕 （Allocation Descriptor) を使って、 1つのファイルとそ のファイルを構成するデータ領域を関係付ける。 アロケーション - ディスクリプタにはファイルを構成するファイル■ェントリの位置 として先頭セクタ番号が設定される。 VR規格ストリームファイル のファイル ·エントリは、 各連続デ一夕領域 （C D A ： Contiguous Data Area) a〜 cを管理するァロケ一シヨン · ディスクリプ夕 a 〜 cを含む。 1つのファイルが複数の領域 a〜 cに分かれている理 由は、 領域 aの途中に不良論理ブロック、 書き込みができない P C ファイル等が存在したからである。 一方、 管理情報ファイルのファ ィル · エントリは、 管理情報を記録する領域を参照するァロケーシ ヨン ·ディスクリプタ dを保持する。 論理ブロック管理部 1 6 3は、 記録制御部 1 6 1から通知された 使用済み論理プロック番号によって論理プロック番号ごとの使用状 況を把握して管理を行う。 すなわち、 論理ブロック番号を構成する 各セクタ単位の使用状況を、 UD Fまたは IS0/IEC 13346のフアイ ル構成で規定されているスペース · ビッ ト · ディスクリプ夕領域を 用いて、 使用済みもしくは未使用であるかを記録して管理すること になる。 そして、 記録処理の最終段階において、 ファイル · アイデ ンティファイア （F I D) 及びファイル 'エントリをディスク上の ファイル管理領域へ書き込む。
なお、 UD F規格は IS0/IEC 13346規格のサブセッ トに相当する, また、 相変化光ディスクドライブを 1 3 94インタフェース及び S B P— 2 (Serial Bus Protocol-2) プロトコルを介して P Cへ接 続することにより、 UDFに準拠した形態で書きこんだファィルが P Cからも 1つのファイルとして扱うことが可能である。
次に、 本実施形態によるデータ処理装置 3 0の具体的な記録動作 を説明する。 以下の説明においては、 「対応する」 という語は、 同 期して再生されるべき映像および音声、 または、 それらに関する映 像データおよび音声データを表すとする。
いま、 P S組立部 1 04が、 対応する映像データおよび音声デー 夕のすべてが 1つの VO B Uに含まれていない V R規格ストリーム 1 0を生成したとする。 上述のように、 VOBUは映像の再生時間 等に基づいて定められるため、 音声データの一部が、 対応する映像 データとは異なる以降の VO B Uに格納されていると考えればよい, なお、 映像データと同じ VOBUに含まれる音声データは、 整数個 の音声フレームを含む。
図 7は、 本実施形態による VOBUと、 映像ストリームおよび音 声ストリームとの関係を示す。 最上段に MP E Gファイルとして設 けられる VR規格ストリーム 1 0を構成する VOBUの集合を示し、 2段目が各 VOBUに含まれる映像デ一夕の集合、 3段目が映像デ —夕の集合に対応する音声データの集合を表す。 VOBU# iに含 まれる映像データを V ( i ) などと表す。 映像データ V ( i.) に同 期して再生される音声データは音声データ AQ ( i ) などと表す。 最上段に MP E G— 2プログラムストリームを構成する V〇 B Uを 示す。 第 2段に各 V〇 B Uに格納される映像フレームの集合を示す ( 第 3段にそれぞれの映像フレームの集合と同期して再生される音声 デ一夕 Ao ( i ) の格納位置と VOBU境界との位置関係を縦の点 線で示す （以降の図 9、 1 0、 1 1、 1 2、 1 3、 1 4も概ね同様 である） 。
上述した想定の下では、 映像データ V ( i ) に同期して再生され る音声データ A。 （ i ) の格納位置は VOBU#iの途中から始まり. 末尾は VOBU ( i + 1 ) の先頭部分に格納されている。 図 7では- V〇BU# ( i + 1 ) の先頭から音声データ AQ ( i + 1) の前ま でに格納されているデータ Aが、 映像データが格納されている VO BU# i とは異なる V〇BU# ( i + 1 ) に格納されることになつ た音声データに相当する。 この音声データを、 以下 「分離格納デ一 夕」 と称する。 P S組立部 1 04は、 V〇BU# iおよび V〇BU# ( i + 1 ) の生成時に、 分離格納データと同じ内容を表すコピーデータを生成 する。 そして、 そのコピーデータを、 VOBU# iの次の VOBU # ( i + 1 ) の先頭のビデオパック以降に格納する。 具体的には、 コピーデータを先頭のビデオパックのユーザデータ領域 （例えば図 4のユーザデータ領域 4 2 ) に格納する。 コピーデータをユーザデ 一夕領域 42に格納することは、 映像および音声の各データをすベ て 1つの VR規格ストリーム 1 0 ( 1つのファイル） 内に格納する ことを意味している。 なお、 コピーデ一夕とは、 分離格納データの 音声データそのもののコピーを意味する。
なお、 このとき、 エレメンタリーストリームのみをコピーしても よいし、 パック単位でコピーしてもよい。 だだし、 パック単位のコ ピ一を実施する場合、 オーディオパックのパックヘッダの S CR値 は、 転送夕イミングとしての意味を持たせる必要はないのでコピー 値のままでよい。 また、 パック内の P E Sパケッ トヘッダ内の P T S値はそのまま利用可能となる。
さらに、 P S組立部 1 04は、 V〇BU# ( i + 1 ) および # ( i + 2) の生成時にも、 映像データ V ( i + 1 ) に対応する音声 データ A。 （ i + 1 ) のうち、 VOBU# ( i + 2) に格納される 分離格納データと同じ内容を表すコピーデータを生成する。 そして そのコピーデ一夕を、 V〇BU# iの次の VOBU# ( i + 1) の 先頭のビデオパックに格納する。
なお、 P S組立部 1 04は、 映像のどのピクチャと音声のどのフ レームとを同期して再生させるべきか把握して P T Sを付加する機 能を有しているため、 音声データ A。のうち、 どの部分が分離格納 デ一夕であるかを把握している。 よって、 分離格納データを特定す ることは容易である。
図 8は、 データ処理装置 3 0の記録処理の手順を示すフローチヤ ートである。 まずステップ S 8 1において、 映像信号入力部 1 0 0 および音声信号入力部 1 0 2は、 それぞれ映像信号および音声信号 を受け取る。 ステップ S 8 2において、 映像圧縮部 1 0 1および音 声圧縮部 1 0 3は、 各信号から得られた映像データおよび音声デー 夕を圧縮符号化する。
P S組立部 1 04は、 次のステップ S 8 3において、 映像の再生 時間等に基づいて VOBU# iを生成する。 なお、 VOBU# i内 のビデオパック等の各パックの配置 （順序） は、 システムターゲッ トデコーダモデルの規定に従って決定される。 例えば各パックの配 置 （順序） は、 プログラムストリーム · システム · ターゲット ·デ コーダ （P— S TD) モデルにおいて規定されたバッファ容量の規 定を満たすように決定される。
次に、 ステップ S 84において、 対応する映像データおよび音声 データが同一の VO BU内に格納されるか否かを判定する。 同一の VOBU内に格納される場合には、 生成した VOBUのデ一夕を順 次記録部 1 2 0に送る。 そして記録部 1 2 0はそのデータを光ディ スク 1 3 1に記録する。 その後、 ステップ S 8 3からの処理が繰り 返される。 対応する映像データおよび音声データが同一の V〇 BU内に格納 されない場合、 すなわち、 後続の VOBUに、 映像データに対応す る音声デ一夕の一部分のデータ Aを分離格納データとして格納する ことになつたときは、 処理はステップ S 8 5に進む。 ステップ S 8 5では、 P S組立部 1 04は、 分離格納データ （図 7の部分データ A) を次の VOBU# ( i + 1 ) の先頭のビデオパックのユーザデ 一夕領域に記述して記録部 1 2 0に出力する。 記録部 1 2 0はその データを光ディスク 1 3 1に記録する。
その後、 ステップ S 8 6において、 P S組立部 1 04は全ての映 像データおよび音声デ一夕を処理したか否かを判定する。 処理が終 了していない場合にはステップ S 8 3からの処理を繰り返し、 処理 が終了した場合には、 記録動作を終了する。
次に、 再び図 3を参照しながら、 データ処理装置 3 0の再生機能 に関する各構成要素の機能を説明し、 その後、 データ処理装置 3 0 の再生動作を説明する。
データ処理装置 3 0は、 映像表示部 1 1 0と、 音声出力部 1 1 2 と、 再生部 1 2 1と、 変換部 1 4 1と、 出力インターフェース部 1 40と、 再生制御部 1 6 2と、 プレイリスト再生制御部 1 64と、 MP EG 2 P Sデコーダ 1 7 1とを有する。
映像表示部 1 1 0は映像を出力するテレビ等の表示機器であり、 音声出力部 1 1 2は映像および音声を出力するスピーカ等である。 なお、 映像表示部 1 1 0および音声出力部 1 1 2はデータ処理装置 3 0の必須の要素ではなく、 外部機器として設けられていてもよい, 再生部 1 2 1は、 再生制御部 1 6 2の指示に基づいて光ピックアツ プ 1 3 0を介して光ディスク 1 3 1から読み出されたアナログ信号 としての VR規格ストリ一ム 1 0を、 デジタル信号として再生する c 再生制御部 1 6 2は、 再生の対象となる V〇 B Uおよびその VO B Uに含まれるデータを特定して、 そのデータの読み出しを光ピック アップ 1 3 0に指示する。 プレイリスト再生制御部 1 64は、 ユー ザが指定した順序で動画の各シーンを再生する。 各シーンは、 例え ば VOB U単位で管理される。
MP E G 2—P Sデコーダ 1 7 1 (以下、 「デコーダ 1 7 1」 と 記述する） は、 プログラムストリーム分解部 1 1 4、 映像伸長部 1 1 1および音声伸長部 1 1 3を有する。 プログラムストリ一ム分解 部 1 1 4 (以下 「P S分解部 1 1 4」 と記述する） は、 VR規格ス 卜リーム 1 0から映像デ一夕および音声データを分離する。 映像伸 長部 1 1 1は、 MP E G 2規格に基づいて圧縮符号化された映像デ —夕をその規格にしたがってデコ一ドして映像信号として出力する < 音声伸長部 1 1 3も同様に、 MP E G 1—才一ディォ規格に基づい て圧縮符号化された音声デ一夕をその規格にしたがってデコードし て音声信号として出力する。
まず、 データ処理装置 3 0の一般的な再生動作を説明する。 デー 夕処理装置 3 0が記録された VR規格ストリーム 1 0を再生すると きは、 光ディスク 1 3 1からのデータの読み出しと読み出したデー 夕のデコード （再生） を並列的に行う。 このとき、 デ一夕の最大再 生レートよりもデータの読出レートの方が高速となるように制御し て、 再生すべきデータが不足しないように動作する。 その結果、 V R規格ストリーム 1 0の再生を継続すると、 単位時間あたり、 デー 夕最大再生レートとデータ読み出しレートとのレート差分だけ再生 すべきデータを余分に確保できることになる。 デ一夕処理装置 3 0 は、 ピックアップ 1 3 0がデータを読み出しできない期間中 （例え ばシーク動作中） に余分に確保したデータを再生することにより、 途切れのない VR規格ストリーム 1 0の再生を実現することができ る。
例えば、 再生部 1 2 1のデータ読み出しレートが 1 1. 0 '8 M b p s、 P S分解部 1 1 4のデ一タ最大再生レートが 1 0. 0 8 Mb p s、 ピックアツプの最大移動時間が 1. 5秒とすると、 途切れる ことなく VR規格ストリ一ム 1 0を再生するためには、 ピックアツ プ 1 3 0の移動中に 1 5. 1 2 Mビッ卜の余分なデータが必要にな る。 これだけのデータを確保するためには、 1 5. 1 2秒間の連続 読み出しが必要になる。 すなわち、 1 5. 1 2 Mビッ トを、 デ一夕 読み出しレート 1 1. 0 8 Mb p s とデータ最大記録再生レート 1 0. 0 8 Mb p sの差で除算した時間だけ連続読み出しする必要が ある。 したがって、 1 5. 1 2秒間の連続データ読み出しの間【こ最 大 1 6 7. 5 3 Mビッ ト分のデータ （すなわち 1 6. 6 2秒分の再 生デ一夕） を読み出すことになるので、 1 6. 6 2秒 （約 1 7秒） 分以上の連続データ領域を確保することにより、 連続的なデータ再 生を保証することが可能となる。 なお、 連続デ一夕領域の途中には、 数個の不良論理ブロックがあってもよい。 ただし、 この場合には、 再生時にかかる不良論理プロックを読み込むのに必要な読み出し時 間を見越して、 連続データ領域を再生時間にして 1 6. 6 2秒分よ りも若干多く確保する必要がある。
次に、 データ処理装置 3 0の具体的な再生動作を説明する。 まず、 VR規格ストリーム 1 0の先頭から順に映像および音声を再生する 際のデータ処理装置 3 0の動作を説明する。
再生制御部 1 6 2は、 再生の対象となる VO B Uを特定し、 その 最初から順次データを読み出すように光ピックアップ 1 3 0に指示 する。 P S分解部 1 1 4は、 ピックアップ 1 3 0および再生部 1 2 1を介して再生された VR規格ストリ一ム 1 0を映像デ一夕および 音声データに分離する。 映像伸長部 1 1 1および音声伸長部 1 1 3 は、 それぞれ映像データおよび音声データをデコードし、 その結果 得られた映像信号に基づく映像を映像表示部 1 1 0において表示し、 音声信号に基づく音声を音声出力部 1 1 2において出力する。
次に、 ュ一ザが希望する VOBUの再生順序を規定した 「プレイ リスト」 に基づいて、 デ一夕処理装置 3 0が光ディスク 1 3 1に記 録された VR規格ストリーム 1 0を再生する動作を説明する。
いま、 プレイリストのある一部分が VOBU# iの再生後に VO BU# k (k≠ ( i + 1 ) ) の再生を指定しているとする。 プレイ リスト再生制御部 1 64は、 まず VOBU# iの読み出しを光ピッ クアップ 1 3 0に指示する。 P S分解部 1 1 4は、 光ピックアップ 1 3 0および再生部 1 2 1を介して再生された VOB U# i のデー 夕を映像デ一夕および音声データに分離してデコードし出力する。 このとき、 VOBU# iの最初に存在するビデオパックのユーザデ 一夕領域にデータが記述されている場合には、 そのデータは V〇 B U# iの映像に対応する音声のデータではないため無視する。
そして、 VOBU# iの最後までデータが読み出されると、 プレ ィリスト再生制御部 1 64は、 後続の VO B U # ( i + 1 ) の最初 に存在するビデオパックのュ一ザデータ領域のデータを読み出すよ うに光ピックアップ 1 3 0に指示する。 このデータは、 V〇BU# i に含まれる映像に対応する音声に関する分離格納データであるか ら、 音声伸長部 1 1 3は、 V〇BU# i内の音声デ一夕のデコード 後にその分離格納データをデコードして音声として出力する。 その 後、 プレイリスト再生制御部 1 64からの指示に基づいて次の再生 対象である VO B U # kのデータが読み出され、 P S分解部 1 1 4 は、 再生部 1 2 1を介して次の再生対象である V〇BU# kのデ一 タを得て、 デコードして出力する。
V〇 B Uの先頭には RD Iパックが配置され、 その次にはビデオ パックが配置されるので、 後続の V O B Uの最初のビデオパック内 の分離格納データを読み出すことは容易かつ迅速に実現できる。 ま た、 VOBU先頭付近の複数のビデオパックに亘つて分離格納デー 夕が記録される.場合も同様である。 データ処理装置 3 0は再生時に その分離格納データをも読み出すことにより、 VOBUに含まれる 映像に対応する音声のすべてのデータが得られるため、 音声が途切 れることなく再生される。 なお、 音声データ A o ( i ) 内の分離格 納データを VOBU ( i + 1 ) の先頭ビデオパックのユーザデータ 内に格納する代わりに、 V〇BU ( i ) 内のプライべ一トストリ一 ム内に格納して多重してもよい。
なお、 データ処理装置 3 0は、 記録したデータを上述のようなス トリームの分離およびデコードを介することなく出力することもで きる。 すなわち、 変換部 1 4 1は読み出された VR規格ストリーム 1 0を所定のフォーマツ ト （例えば DVDビデオ規格のフォーマツ ト） に変換し、 出力インタフェース部 1 4 0は変換後のストリーム を出力する。 このときも、 読み出すべき VR規格ストリーム 1 0の VOB Uのデ一夕に加えて、 後続の V〇 BUの最初に存在するビデ ォパックのユーザデータ領域のデータを読み出すことにより、 出力 先の機器においても音声の途切れがない再生が可能になる。 なお、 出力インタフェース部 1 4 0は、 例えば I E E E 1 3 94規格に準 拠したイン夕一フェースであり、 外部機器からのデータの読み出し および外部機器からのデ一夕の書き込み処理を制御することが可能 である。
続く実施形態 2以降の各実施形態は、 本実施形態のデータ処理装 置 3 0の記録 ·再生動作に関する種々のバリエーションである。 実 施形態 1で説明したデータ処理装置 3 0の各構成要素は、 以下の実 施形態においても、 特に説明しない限り同じ機能を有するとする。
(実施形態 2)
実施形態 1では、 VR規格ストリーム 1 0には、 対応する映像ス トリームおよび音声ストリームがそれぞれ 1つずつ格納されている とし、 音声データのうち、 映像データと同じ VOBUに格納されな いデータ （分離格納データ） のコピーを後続の V〇 B Uの映像デー 夕内 （ビデオパック内） に格納していた。
本実施形態では、 対応する各 1つの映像ストリームおよび音声ス トリームに加えて、 その音声ストリームのデータをコピーした別の 音声ストリームをさらに記録する。 以下、 本実施形態の記録動作を 具体的に説明する。
図 9は、 本実施形態による VOBUと、 映像ストリームおよび音 声ストリームとの関係を示す。 この VR規格ストリーム 1 0は、 実 施形態 1と同様 1つの MP E Gファイルとして規定されているが、 実施形態 1 と異なり 2つの音声ストリームが多重されている。 いま、 映像ストリームに対応する音声ストリームを 「音声ストリーム # 0」 とする。 音声ストリーム # 0では、 分離格納データが存在して いる。
P S組立部 1 0 4は、 音声ストリーム # 0のデータのコピ一を、 別の音声ストリーム # 1 として光ディスク 1 3 1に記録する。 より 具体的には、 P S組立部 1 04は、 V〇 BU# i に含まれる映像に 対応する音声のストリーム # 0のデータをコピーして、 音声ストリ ーム # 1のオーディオパックを生成する。 そして、 それらのオーデ ィォパックを VR規格ストリーム 1 0の VOBU# i内に多重化す る。 音声ストリーム # 0および # 1は、 それぞれ、 各パックのパケ ッ トヘッダに記述されたストリーム I Dによって識別可能である。 なお、 コピーされるデータの容量は、 プログラムストリームのシス テム ■ ターゲッ卜 ·デコーダ （P— S TD) の音声パッファが許容 する範囲内である等の制限を満たす必要がある。 図 9では、 音声ス トリーム # 0を構成する音声データ A。 （ i ) 、 A。 （ i + 1 ) 、 A。 （ i + 2 ) 等をコピーしたデ一夕が、 ( i ) 、 A 1 ( i + 1 ) 、 A1 ( i + 2) 等として格納される。
ただし、 音声ストリーム # 1と音声ストリーム # 2のビッ トレ一 トは同じであるものとしているので、 A o ( i ) のコピーデータが VOBU# i内に格納できるとは限らない。 V〇BU# i内の映像 フレームの総再生時間と、 V〇BU# i のデータの総転送時間 （V OBU# i先頭の S CR値と V〇BU# i + 1先頭の S C R値との 差分） が等しい場合は A o ( i ) のコピーデータがちょうど格納可 能となる。
ただし、 映像に対応する音声を途切れることなく再生するために は、 VOBU# iの読み出しの終了に合わせて、 その映像に対応す る音声のデータを可能な限り多く取得する必要がある。 そこで、 P S組立部 1 04は、 音声ストリーム # 0に関するオーディオパック に付される MP E G規格の S C Rおよび PT Sを修正して、 音声ス トリ一ム # 1についての S CRおよび P T Sを生成する。 すなわち、 P S組立部 1 0 4は、 同じ音声を表すデ一夕を格納したパックに関 してみたとき、 音声ストリーム # 1のオーディオパックに付される S C Rおよび P T Sの値を、 音声ストリーム # 0のパックに付され る S C Rおよび P T Sの値よりも所定量だけ小さく設定する。 S C Rおよび P T Sがより小さくなると、 そのパックは、 VR規格スト リーム 1 0内のパック配列上より早く読み出される位置に配置し得 るからである。 よって、 実施形態 1における分離格納データに相当 する VOBU# ( i + 1) 内のデ一夕を、 V〇BU# i内により多 く格納できるようになる。
P S組立部 1 04は、 S C Rおよび P T Sを小さく設定した量を 示す変化量データを、 例えば VOBU# iの最初に配置されたビデ ォパックのユーザデータ領域 42に記述しておく。
次に、 本実施形態によるデータ処理装置 3 0の再生動作を説明す る。 以下の説明はプレイリストに基づく再生時において特に有効で あるため、 その場合を例にして説明する。
プレイリスト再生制御部 1 64は、 光ディスク 1 3 1に記録され た VOBU# iの映像のデコードにあわせて、 ストリーム # 0では なく、 ストリーム # 1をデコードする。 VOBU# i内に格納され ている映像データに対応する音声データは、 ストリーム # 0よりも ストリーム # 1のデータのほうが多いからである。
ただし、 複製データを持つ音声ストリーム # 1の音声ストリーム
# 0に対する時間シフト量を記録する必要がある。 その理由は上述 のように、 ストリーム # 1の各オーディォパックの S C Rおよび P T Sはストリーム # 0よりも小さい値に設定されているため、 その ままでは映像と同期して再生させることはできないからである。 よ つて、 P S分解部 1 1 4は、 VOBU# iの最初に配置されたビデ ォパックのユーザデータ領域 42から、 再生タイミングのシフト量 を読み出して、 この値を P T Sに加算して、 すなわち再生時間を遅 らせて音声を再生する。 これにより、 映像と音声を同期して再生で さる。
例えば VOBU# iの先頭映像フレームと同期する音声ストリー ム # 0の音声フレーム AF # 0の PT Sと、 AF # 0のコピーデー 夕を含む音声フレームの P T Sとの差分値を、 動画ストリームファ ィル " VR— MOV I E. VRO" に対する管理情報ファイル内に 記録してもよい。 また、 差分値を各 VOBUの RD Iパック内のメ 一力独自デ一夕領域へ記録してもよい。 これにより、 再生制御部は、 V〇BU# i を再生する場合に、 VO B U先頭の映像フレームの夕 ィムスタンプ値から差分値を減算し、 その減算結果以降の音声スト リーム # 1に含まれる音声フレームを再生すればよいことになる。 また、 VOBU毎に RD Iパック内のメーカ独自データ領域の中 に再生夕イミングのシフト量を記録してもよい。
なお、 P Cに接続された光ディスクドライブを介して P Cの再生 アプリケーションソフトが記録済みの動画ファイルを再生する場合 は、 音声ストリーム # 0の方が再生される。 すなわち、 動画フアイ ルを一般的な MP E Gファイルとして再生される場合には音声スト リーム # 0が使われる。
各 VO B U内に対応する全ての音声のデータが含まれない場合で あっても、 音声ストリーム # 0に関して生じていた分離格納データ のデータ量は相当程度小さくすることができるので、 プレイリスト に基づく再生において、 音声のほぼシームレスな再生を実現できる < なお、 音声ス卜リーム # 1の記録内容に関する情報を別途記録し てもよい。 例えば、 音声ストリーム # 1内に音声ストリーム # 0の 複製データが格納されていることを示すフラグを動画ストリームフ アイル " VR— MO V I E. VRO" に対する管理情報ファイル内 に記録してもよい。 このフラグは少なくとも VOB単位で記録する のが望ましい。 また、 動画ストリーム VOB内、 もしくは音声スト リーム # 1内等に記録してもよい。 このフラグにより、 音声ストリ ーム # 1内に音声ストリ一ム # 0とは別の音声が格納されているの か、 音声ストリーム # 0のコピーが格納されているのかを区別可能 になる。
(実施形態 3)
実施形態 1では、 分離格納データはビデオパック内のユーザデー 夕領域 42に格納されていた。
本実施形態では、 データ処理装置 3 0は、 VR規格ストリーム 1 0を規定する MP E Gファイルとは別のファイルのデ一夕として分 離格納デ一夕を記録する。
図 1 0は、 本実施形態による V〇 B Uと、 映像ストリームおよび 音声ストリームとの関係を示す。 P S組立部 1 04は、 VOBU# i の生成時に、 その VOBUに関連する分離格納データを特定する と、 分離格納データをコピーした音声データ # i を生成する。 そし て、 P S組立部 1 04は、 その音声データと VR規格ストリーム 1 0を構成する各 VOBUとを物理的に交互に記録する。 各音声デー 夕および各 V〇 B Uはそれぞれ、 ひとつの音声ファイルおよびひと つの MP E Gファイルとして記録される。 P S組立部 1 04は、 音 声デ一タ # i を V〇BU# iの直後にィンターリーブする。 一方、 プレイリストに基づく再生時には、 プレイリストが VOB U# i の再生後に V〇BU# k (k≠ ( i + 1 ) ) の再生を指定し ているときであっても、 ブレイリスト再生制御部 1 6 4は VOBU # iだけでなく後続の音声デ一タ# i までを読み出し、 その後、 次 に再生すべき V〇BU# kのデータを読み出す。 そして、 P S分解 部 1 1 4において映像データと音声データとに分離した後、 映像伸 長部 1 1 1および音声伸長部 1 1 3は映像データおよび音声データ をデコードして出力する。 特に、 音声伸長部 1 1 3は、 VOBU# i内に含まれていたオーディォパック内の音声データのデコ一ドぉ よび再生した後、 音声データファイルに含まれていた音声データ # i をデコードし再生する。
再生対象の VOB Uの次に分離格納デ一夕に関する音声データが 格納されているので、 その音声データを連続的に読み出すことは容 易かつ迅速に実現できる。 データ処理装置 3 0は再生時にその分離 格納データをも読み出すことにより、 V〇 B Uに含まれる映像に対 応する音声のデータがすべて得られるため、 音声が途切れることな く再生される。
なお、 本実施形態では対応する VOB Uの直後に分離格納データ のコピーを記録したが、 対応する VOBUの直前に記録してもよい c (実施形態 4)
実施形態 3では、 データ処理装置は、 音声ストリームのうちの分 離格納デ一夕のみに基づいて MP E Gファイルとは別の音声フアイ ルを生成し記録していた。 また、 例えば V〇BU# i に関連する音 声データ # iは、 VOBU# iの直後に記録されていた。
一方、 本実施形態によるデータ処理装置は、 音声ストリームのす ぺてのデータに対して、 MP EGファイルとは別の音声ファイルを 生成し記録する。 さらに、 各 V〇BUに関連する音声データは、 そ の VO B Uの前に記録される。
図 1 1は、 本実施形態による VOBUと、 映像ストリームおよび 音声ストリームとの関係を示す。 P S組立部 1 04は、 V〇BU# i の生成時に、 その VOBUに含まれる映像データ V ( i ) に対応 する音声データ AQ ( i ) を特定すると、 音声データ A。 （ i ) を 構成するデータをコピーした音声データ # i を生成する。 そして、 P S組立部 1 04は、 その音声データと VR規格ストリ一ム 1 0を 構成する各 VOB Uとを物理的に交互に記録する。 各音声データお よび各 V〇 B Uはそれぞれ、 ひとつの音声ファイルおよびひとつの MP E Gファイルとして記録される。 P S組立部 1 0 4は、 音声デ —夕 # i を VOBU# iの直前にインターリーブする。
一方、 プレイリストに基づく再生時には、 プレイリスト再生制御 部 1 64は、 V〇BU# i の読み出しの前に音声データ # iの読み 出しを先に行うように指示する。 すると、 V〇BU# iの読み出し が終了する前に、 音声データ # iの読み出しが終了し、 さらに、 音 声伸長部 1 1 3によるデコードが終了するので、 V〇BU# iの映 像に同期して、 すべての音声を再生できる。 よって、 後に VOBU # k ( k≠ ( i + 1 ) ) の再生を指定しているときであっても、 音 声のシ一ムレスな再生を実現できる。 なお、 本実施形態では VOBU# iの前に音声データ # i を記録 するとして説明したが、 実施形態 3と同様に、 VOBU# iの後に 音声データ # iを記録してもよい。 このときは、 V〇BU# iの再 生後、 他の V〇BUの読み出しを開始する前に、 音声データ # i を 読み出す必要がある。
上述の実施形態 3および 4では、 音声ファイル内のデータの構造 には特に言及していないが、 音声のエレメンタリ一ストリームであ つてもよいし、 音声ストリームを含む MP E G 2プログラムストリ ームであってもよいし、 音声ストリ一ムを含 MP 4ストリームであ つてもよいし、 その他のシステムストリームであってもよい。
(実施形態 5)
実施形態 1では、 VOBU# i に関連する分離格納データを、 次 の V〇 BU # ( i + 1 ) に格納するものとした。
一方、 本実施形態では、 VOBU# i に関連する分離格納データ をその VOBU# i に別のストリームとして格納する。
図 1 2は、 本実施形態による VOBUと、 映像ストリームおよび 音声ストリームとの関係を示す。 P S組立部 1 04は、 VOBU# i に関連する分離格納データ Aをコピーして、 VOBU# i内に分 離格納データ Aの部分専用のプライべ一トス卜リームとして多重化 する。
VR規格ス卜リーム 1 0では、 そのストリ一ムに含まれる映像ス トリームおよび音声ストリ一ムを識別するために、 ストリーム I D が付されている。 ストリーム I Dは P E Sパケッ トヘッダに格納さ れており、 例えば映像ストリームのストリーム I Dは、 例えば O x E 0、 音声ストリームのストリーム I Dは O x C Oまたはは O x B Dである。 O x BDは MP E G— 2システム規格でプライべ一トス トリーム用に規定された値である。 VR規格において音声ストリー ムに 0 X B Dを使用する場合は、 さらに P E Sパケッ トヘッダの直 後の 1バイ トによりその音声ストリームの圧縮符号を識別する。 本 実施形態において新たに設けるプライべ一トストリームのストリー ム I Dとして、 O xBDが用いられる。
プレイリストに基づく再生時には、 プレイリス卜が VOBU# i の再生後に VOBU# k (k≠ ( i + 1 ) ) の再生を指定している ときであっても、 音声ストリーム # 0に続けてプライべ一トストリ ームとして含まれている分離格納データ Aを読み出して再生するの で、 音声を途切れなくすることが容易に実現可能になる。
なお、 プライべ一トストリームに、 分離格納データ Aのみでなく 音声ストリームの全体のデ一夕をコピーして、 V〇BU# i内に分 離格納データ Aの部分専用のプライべ一トストリームとして多重化 することもできる。 図 1 3は、 本実施形態の変形例による VOB U と、 映像ストリームおよび音声ストリームとの関係を示す。
P S組立部 1 04は、 VOBU# i に含まれる映像に対応する音 声デ一夕のコピーを、 VO B U# i内の専用のプライべ一トストリ ーム 1 ( s t r e am— I D= 0 X B D) として記録する。 このプ ライべ一トストリーム用のシステム · ターゲット ·デコーダのバッ ファサイズは少なくとも音声データ 2秒分を蓄積可能なサイズを有 するとする。 ここで 「2秒」 の意味は、 VOB Uに含まれる映像の 最大の再生時間 （ 1秒） とシステム · ターゲット ·デコーダの最大 再生遅延時間 （ 1秒） を加算した数値である。
プレイリストに基づく再生時には、 プレイリストが VOBU# i の再生後に VOBU# k ( k Φ ( i + 1 ) ) の再生を指定している ときであっても、 常にプライベートストリーム 1に格納された音声 デ一夕 # 0のコピーの音声データを再生すれば音声を途切れなくす ることが容易に実現できる。
本実施形態のように、 音声ストリームをコピーしたデータをブラ ィペートストリームとして記録することにより、 MP E Gファイル の VO B U単位で編集する場合において、 音声デ一夕を容易にシー ムレス再生することができる。 その理由は、 例えば、 2つの VOB Uを結合する編集処理を行ったときには、 それらの V〇 B Uに含ま れるプライベートストリームも結合され、 結合された分離格納デー 夕が得られるからである。
(実施形態 6)
実施形態 5の第 1の例では、 P S組立部 1 0 4は、 V〇B U# i に関連する分離格納データ Aを、 VOB U# i内のプライべ一トス トリームとして格納した。
一方、 本実施形態では、 V〇B U# i に関連する分離格納データ
Aのコピーを、 VO BU# iの音声フレーム内に付加データとして 記録する。
図 1 4は、 本実施形態による VOBUと、 映像ストリームおよび 音声ストリームとの関係を示す。 P S組立部 1 04は、 VOBU# iの音声ストリーム # 0に関連する分離格納データ Aを、 VOBU # iの音声フレーム内の付加デ一夕（AD)領域内にコピーして格納 する。
図 1 5は、 音声圧縮部 1 0 3が生成する AC— 3規格の音声フレ 一ムのデ一夕構造を示す。 A C— 3の音声フレームは、 同期情報 (S I ) 、 ビットストリーム情報 （B S I ) 、 音声ブロック （AB nから AB n + 5) および付属情報 （AD) から構成される。
同期情報 （S I ) には、 音声フレームのビッ トレートを示すレー ト情報が記録される。 本実施形態では、 音声フレームのビットレー トは 448 k b p sであるとしている （フレームサイズコードが 4 4 8 k b p sを示す） 。 音声フレームは、 同期情報 （S I ) に規定 されたビットレートの情報に応じたデータ長 （図 1 5に示す 1 7 9 2バイ ト） を有している。 ただし、 音声圧縮部 1 0 3は、 実際には 同期情報、 ビッ トストリーム情報、 および音声ブロックの有効デー 夕を 2 5 6 k b p s以下のビットレ一卜で記録し、 付属情報領域は 後から記録する分離格納データ Aのために空けておく。
これにより、 448 k b p sのデ一夕レートに対応する 1フレー ム分のデータ長 （ 1 7 9 2バイ ト） と、 2 5 6 k b p sのデータレ ートに対応する 1フレーム分のデータ長 （ 1 0 24バイト） との差 分、 1 9 2 k b p s分のデータ長 （ 7 6 8バイ 卜） の付属情報領域 が確保されることになる。 P S組立部 1 04は、 その付属情報領域 内に図 1 4に示す分離格納データ Aのコピーデータを格納する。 分 離格納データ Aに対応する音声の平均ビッ トレ一トは、 44 8 k b p sのデータと 2 5 6 k b p s との差分以下である、 1 9 2 k b p sであるものとする。 '
以上のように当初から記録される音声ストリ一ムの各音声フレー ム内に空き領域を設け、 その空き領域に分離格納データをコピーす ることにより、 VOBU内に格納されなかった音声データ （分離格 納データ） を実質的に格納できる。
プレイリストに基づく再生時には、 V〇 B Uのデータの読み出し が終わると、 P S分解部 1 14がデータストリームを解析すること により、 音声伸長部 1 1 3は従来のデータ構造では得ることができ ない分離格納データ Aのコピーデータを得ることができる。 これに より、 通常では音声が途切れる映像の場面においても、 映像に同期 して音声がシームレスに再生できる。
同期情報 （S I ) において規定しているビッ トレートの半分のビ ッ トレートを実際のビットレートに充て、 残り半分を分離格納デ一 夕のビッ トレートに充ててもよい。 例えば、 AC— 3の音声ストリ —ムは 448 k b p sで、 実際のビッ トストリ一ムが 2 24 k b p s、 分離格納デー夕のピットストリームも 2 2 4 k b p s としても よい。 音声フレームをこのように構成することにより、 音声ストリ ーム # 0の音声データを全て付属情報領域へ格納することができる ( なお、 分離格納データのコピーである音声ストリームは、 AC— 3 規格に準拠した音声フレームが連続した形態であってもよく、 さら に、 分離格納データ Aの 1個の音声フレームが、 2個の AC— 3規 格の音声フレームに亘つて付属情報内に記録されてもよい。 また、 分離格納データのデ一夕構造は、 音声のエレメンタリーストリーム を含む MP E G 2プログラムストリームであってもよいし、 その他 のシステムストリームであってもよい。
なお、 本実施形態では分理格納データのみが付属情報領域内に格 納されるものとしたが、 記録スペースを確保可能であれば音声スト リーム # 0を全て格納してもよい。
(実施形態 7)
実施形態 6では、 分離格納データ Aを AC— 3規格の音声フレー ムの付加情報 （AD) 領域へ格納した。 本実施形態では、 MP E G 一 1 オー デ ィ ォ規格 の 音声 フ レ ー ム 内 の 付加 デー タ (ancillary_data) 領域へ分離格納データ Aを格納する。 他の構成 は実施形態 6と同様である。
図 1 7は本実施形態における MP E G— 1オーディォ規格の音声 フレームのデータ構造を示す。 MP E G— 1オーディオ規格の音声 フレームは、 ヘッダ、 エラーチェック、 音声データおよび付加デー 夕（ancillary_data)を有しており、 音声圧縮部 1 0 3は、 図 1 7に 示すデータ構造を有する音声フレームを生成する
へッダには音声フレームのビッ トレート、 サンプリング周波数、 およびレイヤを示す情報が記録される。 本実施形態では、 それぞれ 3 84 k b p s、 4 8 kH z、 およびレイヤ 2であるとしている。 このとき、 各音声フレームは、 ヘッダに規定されたビットレートの 情報に応じたデータ長を有している。 ただし、 音声圧縮部 1 0 3は、 実際にはヘッダ、 エラーチェック、 および音声データの合計が 2 5 6 k b p s相当以下となるように記録し、 付加データ領域は後から 記録する分離格納データ Aのコピーのために空けておく。
これにより、 3 84 k b p sのデ一夕レ一トに対応する 1フレ一 ム分のデータ長 （ 1 1 5 2バイト） と、 2 5 6 k b p sのデータレ ートに対応する 1フレーム分のデータ長 （ 7 6 8パイ ト） との差分. すなわち 1 2 8 k b p s分のデータ長 （ 3 84バイ ト） の付加デ一 夕領域が確保されることになる。 P S組立部 1 04はこのデータ領 域内に、 図 1 4に示す分離格納データ Aのコピーデータを格納する 分離格納デ一夕 Aのコピーとして格納される音声のビットレートは 平均 1 2 8 k b p s以下であるとする。
以上のように当初から記録される音声ストリームの各音声フレー ム内に空き領域を設け、 その空き領域に分離格納データをコピーす ることにより、 VOBU内に格納されなかった音声データ （分離格 納データ） を実質的に格納できる。
プレイリストに基づく再生時には、 VOBUのデータの読み出し が終わると、 P S分解部 1 1 4がデ一タストリ一ムを解析すること により、 音声伸長部 1 1 3は従来のデータ構造では得ることができ ない分離格納データ Aのコピーデータを得ることができる。 これに より、 通常では音声が途切れる映像の場面においても、 映像に同期 して音声がシ一ムレスに再生できる。
なお、 本実施の形態では分理格納データのみが付属情報領域内に 格納されるとしたが、 記録スペースを確保可能であれば音声ストリ ーム # 0を全て格納してもよい。
なお、 分離格納データのコピーである音声ストリームは、 MP E G— 1オーディォ規格に準拠した音声フレームが連続した形態であ つてもよく、 さらに、 分離格納デ一夕 Aの 1個の音声フレームが、 2個の MP E G— 1オーディォ規格の音声フレーム内の付加データ 領域に亘つて記録されてもよい。 また、 分離格納データのデータ構 造は、 音声のエレメンタリーストリ一ムを含む MP E G 2プロダラ ムストリームであってもよいし、 その他のシステムストリームであ つてもよい。
これまで説明した実施形態では、 分離格納デ一夕のコピーまたは 音声ストリーム # 0全体のコピーデータを、 どのような態様で記録 し、 かつ再生するかを問題としていた。 しかし、 記録時には特段の 処理を行わず、 再生時に分離格納データ自身を直接読み出すようデ 一夕処理装置 3 0を動作させてもよい。 具体的には、 プレイリスト が V〇BU# i の再生後に VOBU# k (k≠ ( i + 1 ) ) の再生 を指定しているとき、 プレイリスト再生制御部 1 64は、 VOBU # iのデータを読み出した後、 必ず分離格納データを読み出し、 そ の後、 V〇BU# kの読み出しを開始すればよい。 これによれば、 分離格納データの冗長な記録が不要になるとともに、 音声をシーム レスに再生することも可能になる。 ただし、 MP E G 2規格上は最 長 1秒分のプログラムストリームを読み出す必要があるため、 映像 のシームレス再生が困難になるおそれがある。 したがって、 この場 合プログラムストリーム生成時に、 できるだけ分離格納データが少 なくなるよう生成にすることが望ましい。
分離格納データが存在しないように圧縮符号化して VOBUを構 成するためには、 例えば映像伸長部 1 1 1は各 VOBUの映像フレ ームサイズが 「映像のビットレート Z 1秒間のフレーム数」 以下に なるように各フレームを生成すればよい。 これにより、 音声に関し て分離格納データが生成されることはなくなる。 その理由は、 1フ レーム期間では毎回 1フレーム分の音声データを伝送できるからで ある。 なお、 I ( I n t r a) フレームのデータサイズが制限され て画質が低下するおそれが生じる点に留意が必要である。
または、 分離格納データが所定のフレーム数 （例えば 4フレー ム） 以内の音声データを含むという制限をつけて、 音声伸長部 1 1 3が音声データを圧縮符号化してもよい。
本明細書では、 プログラムストリームである VR規格ストリ一ム を例にしたが、 M P E G 1のシステムストリームまたは MP E G 2 のトランスポートストリームを利用することもできる。 なお、 トラ ンスポ一トストリ一ムは、 トランスポートストリームを用いたデジ タルテレビ放送規格に準拠した形式であってもよい。 また、 さらに トランスポートストリームを用いたデジタルデータ放送に準拠した 形式であってもよい。 卜ランスポー卜ストリームの利用においては、 トランスポートス トリームパケッ トが利用される。 なお、 「パッ ク」 とはバケツトの 1つの例示的な形態として知られている。
また、 プログラムストリームである VR規格ストリ一ムを例にし たが、 I S OZ I E C 1 449 6— 1 2で規定される I S 0 B a s e M e d i a F i l e F o rma tをべ一スにしたデー 夕ストリームであってもよい。
また、 記録媒体は相変化光ディスクであるとしたが、 例えば B 1 u— r a yディスク、 DVD— RAM、 DVD-R, D VD -RW- DVD + RW, M〇、 CD-R, C D— R W等の光ディスクや、 ハ 一ドディスク等の他のディスク形状の記録媒体も利用できる。 また- フラッシュメモリ等の半導体メモリであってもよい。 これに関連し て、 読み書きヘッ ドは光ディスク用のピックアップとしたが、 例え ば、 記録媒体が M 0の場合にはピックアップ及び磁気ヘッドとなり, またハードディスクの場合は磁気へッドとなる。
なお、 本明細書では、 プレイリスト再生時に音声が途切れなく再 生できる技術を説明した。 しかし、 厳密には音声 1フレーム分以下 の間だけ音声データが存在しないケースがある。 これは V〇 BU# i の次に VOBU# k (k≠ ( i + 1 ) ) を読み出す際に、 映像フ レーム周期と音声のフレーム周期が若干異なり、 完全には同期でき ないからである。 この 1フレーム以下の音声データの欠落を防ぐに は、 分離格納データに加えて、 このデータに続く 1音声フレームの データを余分に含めればよい （実施形態 1、 3、 4および 5) 。 そ して、 これにより余分な音声データを含むことになるが、 余分な部 分は再生しないようにすればよい。
なお、 実施の形態 1から 5までは音声の圧縮方式として、 MP E G— 1オーディオもしくは MP E G— 2オーディオ、 AA (：、 AC — 3等を一般に使用することができる。 なお、 AC— 3の場合は、 図 1 6 (a) に示すように音声データは VOBU内に格納される際 にプライべ一トストリ一ム 1 ( s t r e a m一 I D = 0 x B D) と して格納される場合がある。 このときは、 例えば実施形態 5におけ る、 分離格納データを格納するプライべ一トストリ一ムのような、 別のプライベートストリーム 1を使用する他のストリームと区別す る必要がある。 そこで P S組立部 1 0 4は、 サブス トリーム I D (0 x 8 0) を P E Sパケッ トヘッダの次に 1バイ トだけに設けて 識別可能にする。 図 1 6 ( a ) は、 サブストリーム I D ( 0 x 8 0) を有し、 AC— 3データを含むオーディオパックのデータ構造 を示す。
実施形態 5において説明したプライべ一卜ス卜リームと AC _ 3 用のプライベートストリームを区別して識別するために、 異なる数 値のサブストリーム I Dを用いてもよい。 図 1 6 (b) は、 サブス トリ一ム I D ( 0 X F F) を有し、 データを含むオーディオパック のデータ構造を示す。 この数値は、 D VD— V i d e o規格におい て規定されている値 （O x F F) である。
なお、 実施の形態 5から 7までにおいて分離格納データはエレメ ンタリーストリームのみか、 または、 P E Sパケットヘッダまでが コピーされていてもよい。 上述の説明では、 2つの VOBUの境界 における音声フレームがいずれの VO B Uと同期して再生されるべ きかについては言及していないが、 例えば映像フレームの P T S以 降の音声フレームが同じ VO BUに対応すると考えればよい。 なお， 本実施形態では、 ビデオデータとして MP E G— 2ビデオストリー ムを挙げて説明したが、 MP E G— 4ビデオストリームや MP E G - 4 AVCビデオストリーム等の他の圧縮符号化形式を用いること もできる。 産業上の利用可能性
本発明によれば、 同一のデータ単位 （例えば VOBU) 内に映像 に対応する音声の全てのデータが含まれない場合であっても、 少な くとも含まれない音声デ一夕をコピーしたコピーデータを、 例えば そのデータ単位へのアクセスの際に容易にアクセスできる位置 （例 えば、 次の VOBUの先頭部分、 その VOBUの直前または直後） に記録する記録装置を得ることができる。
これにより、 特にプレイリストに基づいて映像および音声を同期 して再生する場合には、 映像データを含むデ一夕単位へのアクセス とともに、 同期して再生されるべき全ての音声データが得られる。 よって、 シーンをまたぐ際の音声の途切れを大幅に低減でき、 ユー ザの視聴環境の向上に供することができる再生装置を得ることがで さる。

Claims

請 求 の 範 囲
1 . 映像信号および音声信号が入力される信号入力部と、
前記映像信号および前記音声信号を圧縮符号化して、 映像データ および音声データを生成する圧縮部と、
前記映像データおよび前記音声データを分割してバケツ トを複数 生成し、 前記映像データに関する映像バケツ トおよび前記音声デ一 夕に関する音声バケツトを多重化したデータ単位を複数生成し、 複 数の前記データ単位を含むデータストリームを生成するストリ一ム 組立部と、
前記データストリームを記録媒体に記録する記録部と
を有し、 前記ストリーム組立部は、 前記デ一夕単位に含める映像 バケツ トおよび音声パケットを少なくとも映像の再生時間に基づい て決定し、 所定のデータ単位に格納された映像データに対応する音 声データの全部が前記所定のデータ単位に含まれない場合には、 前 記音声データのうち、 少なくとも含まれない部分である部分音声デ —夕をコピーしたコピーデータを前記デ一タストリーム内に含める、 データ処理装置。
2 . 前記ストリーム組立部は、 前記データ単位に対応する前記コ ピ—データを、 後続のデータ単位の少なくとも最初に配置された映 像パケット内に格納する、 請求項 1に記載のデータ処理装置。
3 . 前記ストリーム組立部は、 前記データ単位内に、 対応する前 記コピーデ一夕を格納する、 請求項 1に記載.のデータ処理装置。
4 . 前記ストリーム組立部は、 前記コピーデータを、 前記データ ストリーム内の専用の音声ストリーム内に格納する、 請求項 1に記 載のデータ処理装置。
5 . 前記ストリーム組立部は、 前記コピーデータを、 前記データ ストリーム内の専用のプライべ一トデータストリーム内に格納する、 請求項 1に記載のデータ処理装置。
6 . 前記ストリーム組立部は、 前記映像データに同期する前記音 声データのすべてをコピーしたコピーデータを、 前記所定のデータ 単位に含める、 請求項 1に記載のデータ処理装置。
7 . 前記ストリーム組立部は、 前記コピーデータを、 前記データ ストリーム内の専用のプライべ一トデ一夕ストリーム内に格納する、 請求項 6に記載のデータ処理装置。
8 . 前記ストリーム組立部は、 前記映像データに同期する前記音 声データのすべてをコピーしたコピーデータを、 前記データストリ ーム内の専用の音声ストリーム内に格納する、 請求項 1に記載のデ 一夕処理装置。
9 . 前記ストリーム組立部は、 前記映像データに同期する前記音 声データのすべてをコピーしたコピーデータを、 前記データストリ ーム内の専用の音声ストリーム内に格納し、 さらに前記コピーデー 夕の転送タイミングを示す転送タイミング情報として、 前記コピー 元のデータ単位内の転送タイミングよりも所定の時間だけ早くシフ トした転送夕イミングを規定して記録する、 請求項 1に記載のデー 夕処理装置。
1 0 . 前記ストリーム組立部は、 前記複数のデータ単位を含む第 1ファイルおよび前記コピーデ一夕を含む第 2ファイルとして、 前 記データストリームを生成し、
前記記録部は、 前記データ単位とコピーデータとを前記記録媒体 に連続的に記録する、 請求項 1に記載のデータ処理装置。
1 1 . 前記ストリーム組立部は、 前記映像データに対応する前記 音声データのすべてをコピーしたコピーデータによって前記第 2フ アイルを生成する、 請求項 1 0に記載のデータ処理装置。
1 2 . 前記音声データは第 1 レートに応じたデータ長を有してお り、
前記圧縮部は前記第 1レートよりも小さい第 2のレートにより前 記音声信号を圧縮符号化して前記音声データに格納し、 前記ストリーム組立部は、 前記第 2レートに対して規定される第 2データ長と、 前記第 1レートに対して規定される前記音声デ一タ の第 1データ長との差分に対応する空き領域に、 前記コピーデ一タ を格納する、 請求項 1に記載のデータ処理装置。
1 3 . 映像信号および音声信号を受け取るステップと、
前記映像信号および前記音声信号を圧縮符号化して、 映像データ および音声デ一夕を生成するステツプと、
前記映像データおよび前記音声データを分割してバケツ トを複数 生成するステップし、 前記映像データに関する映像バケツ トおよび 前記音声データに関する音声バケツ トを多重化したデータ単位を複 数生成し、 複数の前記デ一タ単位を含むデータストリームを生成す るステップと、
前記データストリームを記録媒体に記録するステップとを包含し、 前記デ一タストリームを生成するステップは、 前記データ単位に 含める映像バケツトおよび音声バケツ トを少なくとも映像の再生時 間に基づいて決定し、 所定のデータ単位に格納された映像データに 対応する音声データの全部が前記所定のデータ単位に含まれない場 合には、 前記音声データのうち、 少なくとも含まれない部分である 部分音声データをコピーしたコピーデータを前記データストリーム 内に含める、 データ処理方法。
1 4 . 前記データストリームを生成するステップは、 前記データ 単位に対応する前記コピーデータを、 後続のデータ単位の最初に配 置された映像バケツト内に格納する、 請求項 1 3に記載のデータ処 理方法。
1 5 . 前記データストリームを生成するステップは、 前記映像デ 一夕に対応する前記音声データのすべてをコピーしたコピーデータ を、 前記所定のデータ単位に含める、 請求項 1 3に記載のデータ処 理方法。
1 6 . 前記データストリームを生成するステップは、 前記複数の デ一夕単位を含む第 1ファイルおよび前記コピーデータを含む第 2 ファイルとして、 前記データストリームを生成し、
前記記録するステップは、 前記デー夕単位と前記コピーデータと を前記記録媒体に連続的に記録する、 請求項 1 3に記載のデータ処 理方法。
1 7 . 前記データストリームを生成するステップは、 前記映像デ 一夕に対応する前記音声データのすべてをコピーしたコピーデータ によって前記第 2ファイルを生成する、 請求項 1 6に記載のデータ 処理方法。
1 8 . 前記音声データは第 1レートに応じたデータ長を有してお り、 前記音声データを生成するステップは、 第 1レートで前記音声信 号を圧縮符号化して前記音声データを生成し、
前記前記データストリームを生成するステップは、 前記所定のデ 一夕単位に含まれる前記音声データに対して、 前記レート情報とし て前記第 1レートよりも早い第 2レートの値を設定して前記音声デ —夕を生成し、 前記第 2レ一卜に対して規定される第 2データ長と， 前記第 1レートに対して規定される前記音声データの第 1データ長 との差分に対応する空き領域に、 前記コピーデータを格納する、 請 求項 1 3に記載のデータ処理方法。
PCT/JP2004/002678 2003-03-06 2004-03-03 データ処理装置 WO2004080071A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US10/519,776 US7386553B2 (en) 2003-03-06 2004-03-03 Data processing device
JP2005503083A JPWO2004080071A1 (ja) 2003-03-06 2004-03-03 データ処理装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2003059931 2003-03-06
JP2003-059931 2003-03-06
JP2003118252 2003-04-23
JP2003-118252 2003-04-23

Publications (1)

Publication Number Publication Date
WO2004080071A1 true WO2004080071A1 (ja) 2004-09-16

Family

ID=32964903

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/002678 WO2004080071A1 (ja) 2003-03-06 2004-03-03 データ処理装置

Country Status (3)

Country Link
US (1) US7386553B2 (ja)
JP (1) JPWO2004080071A1 (ja)
WO (1) WO2004080071A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101642112B1 (ko) * 2015-10-29 2016-07-22 주식회사 님버스 이동통신망에서 실시간 멀티미디어를 송수신하기 위한 모뎀 본딩 시스템 및 방법
JP2021531923A (ja) * 2018-08-06 2021-11-25 アマゾン テクノロジーズ インコーポレイテッド ネットワークアプリケーションを制御するためのシステムおよびデバイス

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060127170A (ko) * 2004-03-03 2006-12-11 코닌클리즈케 필립스 일렉트로닉스 엔.브이. 비디오 스트림 처리 회로 및 방법
US7624021B2 (en) 2004-07-02 2009-11-24 Apple Inc. Universal container for audio data
JP4270161B2 (ja) * 2005-04-15 2009-05-27 ソニー株式会社 情報記録再生システム、情報記録再生装置及び情報記録再生方法
US20090106807A1 (en) * 2007-10-19 2009-04-23 Hitachi, Ltd. Video Distribution System for Switching Video Streams
DE102008044635A1 (de) * 2008-07-22 2010-02-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Bereitstellen einer Fernsehsequenz
BR112013027226A2 (pt) 2011-04-28 2016-12-27 Panasonic Corp dispositivo de processamento de vídeo e método de processamento de vídeo
JP6426901B2 (ja) * 2014-03-14 2018-11-21 富士通クライアントコンピューティング株式会社 配信方法、再生装置、配信装置、転送制御プログラムおよび配信制御プログラム
CN110321300A (zh) * 2019-05-20 2019-10-11 中国船舶重工集团公司第七一五研究所 一种信号处理数据高速记录与回放模块的实现方法
US11570396B1 (en) * 2021-11-24 2023-01-31 Dish Network L.L.C. Audio trick mode

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002354426A (ja) * 2001-05-28 2002-12-06 Canon Inc 記録装置及びその方法
JP2003045161A (ja) * 2001-08-01 2003-02-14 Plannet Associate Co Ltd デジタル音声映像情報の編集方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6172988B1 (en) * 1996-01-31 2001-01-09 Tiernan Communications, Inc. Method for universal messaging and multiplexing of video, audio, and data streams
CN1253017C (zh) 1997-12-15 2006-04-19 松下电器产业株式会社 用于把视频目标记录在光盘上的记录设备及其方法
US7558472B2 (en) * 2000-08-22 2009-07-07 Tivo Inc. Multimedia signal processing system
GB9911989D0 (en) * 1999-05-25 1999-07-21 Pace Micro Tech Plc Data transport strems processing
US6272286B1 (en) 1999-07-09 2001-08-07 Matsushita Electric Industrial Co., Ltd. Optical disc, a recorder, a player, a recording method, and a reproducing method that are all used for the optical disc
GB9930788D0 (en) * 1999-12-30 2000-02-16 Koninkl Philips Electronics Nv Method and apparatus for converting data streams
US20020197058A1 (en) 2001-05-28 2002-12-26 Koichiro Suzuki Recording apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002354426A (ja) * 2001-05-28 2002-12-06 Canon Inc 記録装置及びその方法
JP2003045161A (ja) * 2001-08-01 2003-02-14 Plannet Associate Co Ltd デジタル音声映像情報の編集方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101642112B1 (ko) * 2015-10-29 2016-07-22 주식회사 님버스 이동통신망에서 실시간 멀티미디어를 송수신하기 위한 모뎀 본딩 시스템 및 방법
JP2021531923A (ja) * 2018-08-06 2021-11-25 アマゾン テクノロジーズ インコーポレイテッド ネットワークアプリケーションを制御するためのシステムおよびデバイス

Also Published As

Publication number Publication date
JPWO2004080071A1 (ja) 2006-06-08
US20060165387A1 (en) 2006-07-27
US7386553B2 (en) 2008-06-10

Similar Documents

Publication Publication Date Title
EP0924704B1 (en) Optical disc recording apparatus, and optical disc recording method for facilitating dubbing, storage medium for storing optical disc recording program for facilitating dubbing
CA2439467C (en) A method and an apparatus for stream conversion, a method and an apparatus for data recording, and data recording medium
JP4299836B2 (ja) データ処理装置
US6782193B1 (en) Optical disc recording apparatus, optical disc reproduction apparatus, and optical disc recording method that are all suitable for seamless reproduction
JP2004118986A (ja) 情報記録装置および方法
JPWO2005015907A1 (ja) データ処理装置
WO2004080071A1 (ja) データ処理装置
JP2003274367A (ja) 再生装置
JP2006121235A (ja) デジタルストリーム信号の情報媒体、記録方法、再生方法、記録装置および再生装置
JPWO2002080542A1 (ja) Ａｖデータ記録再生装置及び方法、並びに当該ａｖデータ記録再生装置又は方法で記録された記録媒体
KR100625406B1 (ko) 데이터 처리 장치
JP4481929B2 (ja) データストリームの記録方法および装置
WO2004030358A1 (ja) データ処理装置
KR100987767B1 (ko) 정지 영상이 기록된 정보 저장 매체, 그 재생 장치 및 방법
US20040076406A1 (en) Information recording apparatus and method
JP2003174622A (ja) 音声／映像情報記録再生装置および方法、および音声／映像情報記録再生装置および方法を用いて情報が記録された記録媒体
EP1457990A1 (en) Audio/video information recording/reproducing apparatus and method, and recording medium in which information is recorded by using the audio/video information recording/reproducing apparatus and method
JP2003132628A (ja) 情報記録再生装置
JP2004355806A (ja) 情報記録再生装置
JP2006121213A (ja) データ変換装置、データ変換方法、データ変換プログラム及びプログラム記録媒体

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 2005503083

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 20048003767

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2006165387

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10519776

Country of ref document: US

122 Ep: pct application non-entry in european phase
WWP Wipo information: published in national office

Ref document number: 10519776

Country of ref document: US