Nothing Special   »   [go: up one dir, main page]

WO2010143441A1 - 再生装置、集積回路、記録媒体 - Google Patents

再生装置、集積回路、記録媒体 Download PDF

Info

Publication number
WO2010143441A1
WO2010143441A1 PCT/JP2010/003881 JP2010003881W WO2010143441A1 WO 2010143441 A1 WO2010143441 A1 WO 2010143441A1 JP 2010003881 W JP2010003881 W JP 2010003881W WO 2010143441 A1 WO2010143441 A1 WO 2010143441A1
Authority
WO
WIPO (PCT)
Prior art keywords
stream
playback
stereoscopic
playback device
information
Prior art date
Application number
PCT/JP2010/003881
Other languages
English (en)
French (fr)
Inventor
池田航
佐々木泰治
小川智輝
矢羽田洋
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to MX2011002795A priority Critical patent/MX2011002795A/es
Priority to RU2011110045/07A priority patent/RU2011110045A/ru
Priority to EP10785973.8A priority patent/EP2343906B1/en
Priority to CN2010800026463A priority patent/CN102160389B/zh
Priority to BRPI1004351-9A priority patent/BRPI1004351A2/pt
Priority to JP2011503697A priority patent/JP4724257B2/ja
Priority to US13/063,065 priority patent/US8593511B2/en
Publication of WO2010143441A1 publication Critical patent/WO2010143441A1/ja
Priority to ZA2011/01977A priority patent/ZA201101977B/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Definitions

  • the present invention belongs to the technical field of 3D video and 2D video playback technology.
  • the 2D video is an image expressed by pixels on the XY plane by regarding the display screen of the display device as the XY plane, and is also called a planar view image.
  • 3D video is an image in which the depth in the Z-axis direction is added to the pixels on the XY plane on the screen of the display device.
  • 3D video can be viewed by the user by playing both the left-view video that should be viewed with the left eye and the right-view video that should be viewed with the right eye, and exhibiting the stereoscopic effect on these left-view video and right-view video. To be served.
  • the user feels that the pixel having the positive Z-axis coordinate is in front of the screen of the display device, and feels that the pixel having the negative Z-axis coordinate exists behind the screen.
  • 2D playback device When storing 3D video on an optical disc, playback compatibility with a playback device that can play back only the optical disc storing 2D video (hereinafter referred to as “2D playback device”) is required. If the 2D playback device cannot play back 3D video as 2D video from an optical disc that stores 3D video, it is necessary to produce two types of 3D discs and 2D discs for the same content, resulting in high costs. . Therefore, an optical disc containing 3D video is played back as 2D video on a 2D playback device, and as 2D video or 3D video on a playback device that can play back 2D video and 3D video (hereinafter referred to as “2D / 3D playback device”). It must be reproducible.
  • Patent Document 1 As a prior art of a technology for ensuring reproduction compatibility with an optical disc storing 3D video, there is one described in Patent Document 1 below.
  • subtitles and GUI are usually displayed in combination with moving images. This is because, although a moving image can realize a stereoscopic effect, if subtitles and GUI are displayed while being reproduced in plan view, they cannot be matched.
  • the graphics (representing the manufacturing entity of the playback device) that handles the graphics that represent subtitles and GUIs when designing the playback device include the design philosophy that always guarantees the stereoscopic effect of the graphics and the stereoscopic effect of the graphics. There is a design philosophy that does not guarantee.
  • the design philosophy that always ensures the stereoscopic effect of graphics has the following problems. In other words, hardware design, evaluation, and quality control are difficult just to realize the stereoscopic effect of moving images. However, adding a stereo function of graphics to a playback device and managing the quality of it is a great deal for the manufacturer. It will be a burden.
  • the design philosophy that does not guarantee the stereoscopic effect of graphics is as follows. For graphics, a full-scale stereoscopic effect like a moving image is not necessary, and it is often sufficient to simply provide a sense of depth by offset control of a plane memory. Therefore, with regard to the graphics playback unit, if the design concept of adopting a playback device is adopted so as to realize a simple stereoscopic effect by offset control, the cost reduction of the playback device capable of the stereoscopic effect can be promoted. it can.
  • there is a type of graphics that moves characters in a movie work in synchronization with moving images. In the design philosophy of always adopting offset control, such a character must be displayed in a planar manner, and the stereoscopic effect is cheap. If such cheapness cannot be wiped off, it will be difficult to sell the playback device as a high-end model.
  • the number of playback devices becomes only high-end models or low-priced models, which hinders the enhancement of products in the market and prevents the spread of playback devices that can realize stereoscopic playback.
  • the purpose of the present invention is to enhance the product lineup by introducing multiple models, a model with high-quality stereoscopic effect function and a model without high-grade stereoscopic effect function, to the market. It is to provide a playback device.
  • a playback apparatus for solving the above problems is as follows.
  • a stream number register that stores a stream number corresponding to a graphics stream to be played back;
  • a capability register indicating the graphics playback capability of the playback device;
  • the graphics stream playback type includes a first playback type that performs playback using a planar graphics stream, and a second playback type that performs stereoscopic playback using a pair of a left-eye graphics stream and a right-eye graphics stream.
  • the capability register indicates whether or not the playback device has a capability of performing stereoscopic playback using a pair of a left-eye graphics stream and a right-eye graphics stream. According to the playback capability indicated in the capability register, the playback type of the graphics stream corresponding to the stream number stored in the stream number register is selected.
  • the stereoscopic effect of graphics is feasible is indicated in the capability flag, and for the graphics stream that is set to be capable of the stereoscopic effect in the extension stream selection table, the stereoscopic effect of this graphics is set. Whether or not to do so is conditioned by this capability flag, so the manufacturer can set the capability flag to “No Capability” even if a graphics stream with a stereoscopic effect is recorded on the recording medium. Thus, the stereoscopic effect of the graphics stream can be stopped, and the stereoscopic reproduction using the planar graphics stream that can easily perform quality control can be executed instead.
  • the playback device may solve the following additional technical problems.
  • An object of the present invention is to provide a playback apparatus capable of starting stereoscopic playback while there is an exhilaration that “stereoscopic video starts from now”.
  • a playback device that can solve the above problems
  • a capability register indicating whether or not a stereoscopic display capability exists in a display device connected to the playback device; It has a mode register that stores its own output mode, It is determined whether a plurality of conditions are satisfied, and when a plurality of conditions are satisfied, a stereoscopic output mode is set in the mode register,
  • the first condition among the plurality of conditions is that the capability register indicates that a stereoscopic display capability exists in a display device connected to the playback device
  • the second condition among the plurality of conditions is to indicate that the initial value of the output mode recorded in the recording medium is the stereoscopic output mode, When reading the disc, it is determined whether or not the first condition and the second condition are satisfied, and when the first condition and the second condition are satisfied, the stereoscopic output mode is set in the mode register.
  • the playback device When the initial value of the output mode on the recording medium indicates that stereoscopic playback is possible, the playback device enters the stereoscopic output mode simultaneously with the loading of the disc on the condition that the playback device has the playback capability of stereoscopic playback. . Therefore, when the initial value indicates that stereoscopic playback is possible, it is possible to immerse in virtual reality by stereoscopic playback by wearing glasses immediately after loading the recording medium.
  • a control program called a stream selection procedure has been established for the stream selection procedure in the current playback device for planar view.
  • the output mode selection procedure is incompatible with the stream selection procedure, a control program is developed. There is a problem that man-hours are doubled.
  • An object of the present invention is to provide a playback apparatus that can realize mode setting and has high compatibility with a stream selection procedure in a playback apparatus for planar view.
  • a playback device that can solve the above problems
  • a capability register indicating whether or not a stereoscopic display capability exists in a display device connected to the playback device; It has a mode register that stores its own output mode, It is determined whether a plurality of conditions are satisfied, and when a plurality of conditions are satisfied, a stereoscopic output mode is set in the mode register,
  • playlist information indicating a playback path is recorded
  • the first condition among the plurality of conditions is that the capability register indicates that a stereoscopic display capability exists in a display device connected to the playback device
  • the second condition among the plurality of conditions is that the playlist information to be reproduced includes an extended stream selection table for stereoscopic viewing.
  • the extended stream selection table is a list indicating elementary streams that can be selected by the playback device in the stereoscopic playback mode in association with stream numbers; If the output mode stored in the mode register is the stereoscopic output mode at the start of playback of the playlist, it is determined whether the first condition and the second condition are satisfied, and the first condition and the first condition are determined. When two conditions are satisfied, the stereoscopic output mode stored in the mode register is maintained.
  • the output mode is switched on the condition that the extended stream selection table for stereoscopic view exists in the current playlist information, so the existing stream selection based on the playlist information is selected.
  • An appropriate mode can be selected from the planar view output mode and the stereoscopic view output mode without greatly modifying the procedure.
  • An object of the present invention is to provide a playback device that does not impair the playback quality guaranteed by the author in playlist units.
  • the playback device capable of solving the above-described problems is a plan view stored in the mode register even if the plurality of conditions are satisfied. The output mode is maintained.
  • An object of the present invention is to provide a playback device that does not impair the quality of playback guaranteed by the author in playlist units.
  • a playback device capable of solving the above-described problems maintains the output mode stored in the mode register while a playlist is being played back.
  • An object of the present invention is to provide a playback device that does not require a significant modification to a control program even when connected to a display device capable of autostereoscopic viewing.
  • a playback device that can solve the above problems
  • a capability register indicating whether or not a stereoscopic display capability exists in a display device connected to the playback device; It has a mode register that stores its own output mode, It is determined whether or not a predetermined condition is satisfied, and when the predetermined condition is satisfied, a stereoscopic output mode is set in the mode register,
  • the capability register includes a necessity flag, and the necessity flag indicates that the stereoscopic glasses have a stereoscopic display capability when a display device connected to the playback device has a stereoscopic display capability.
  • the necessity flag indicates that wearing stereoscopic glasses is not necessary when viewing stereoscopic video
  • the stereoscopic output mode is set in the mode register. It is characterized by.
  • the playback device when connected to a display device capable of autostereoscopic viewing, either the stereoscopic display device capable of autostereoscopic viewing or the stereoscopic display device capable of autostereoscopic viewing is not available. Even if there is a possibility of becoming a connection partner, selection of an appropriate output mode can be realized.
  • An object of the present invention is to provide a playback device that can provide a guarantee that the quality does not change greatly depending on the resolution of the video and the display device.
  • a playback device that can solve the above problems
  • a capability register indicating whether or not a stereoscopic display capability exists in a display device connected to the playback device; It has a mode register that stores its own output mode, It is determined whether or not a predetermined condition is satisfied, and when the predetermined condition is satisfied, a stereoscopic output mode is set in the mode register,
  • the capability register includes a display type flag, and the display type flag indicates whether a display method in the display device connected to the playback device is of a standard image quality or a high image quality, and is displayed on the display device. If the method is standard image quality, it is determined that the predetermined condition is not satisfied.
  • the playback device since the television has standard image quality, if the image quality required for stereoscopic playback cannot be ensured, the setting of the planar playback mode can be maintained, so the resolution is not sufficient. It is possible to prevent the viewer's vision from being affected by realizing the stereoscopic reproduction without any change.
  • the playback device when the playback device performs stereoscopic playback, in a transmission system that transmits picture data to be displayed to the display device in an uncompressed state, parameters such as a video format and a frame rate are required for negotiation.
  • the reason is as follows.
  • a transmission system that presupposes non-compressed transmission of picture data it is necessary to transmit the picture data to be displayed in each frame period of the display device to the display device that is the connection partner in an uncompressed state. Therefore, uncompressed pixel data transmission in synchronization with the horizontal display period and the vertical display period must be realized between the display device and the playback device.
  • the amount of pixel data to be transmitted in synchronization with the horizontal display period and the vertical display period depends on the video format of the image, which of the video formats and frame rates can be processed on the display device side is determined on the playback device side. It is necessary to exchange information such as which video format and frame rate can be processed to determine the best frame rate and video format that can be processed by both parties.
  • the processing capability of the frame rate and video format in the playback device depends on the frame rate and video format of the video stream recorded on the recording medium, and the playlist to be played back when the title is selected is determined. Without this, it is impossible to acquire such information.
  • the display device is informed and an attempt is made to start the negotiation, there is a situation in which the actual stereoscopic reproduction is not easily started because the display start of the stereoscopic video by the display device is delayed. Specifically, the activation delay caused by this negotiation is on the order of about 5 seconds.
  • An object of the present invention is to provide a recording medium that can eliminate a startup delay due to negotiation when the recording medium is loaded.
  • a recording medium capable of solving the above problems is A recording medium on which an index table is recorded,
  • the index table includes application information;
  • the application information is Including initial output mode information, format and frame rate information,
  • the initial output mode information is information indicating whether the output mode preferentially set in the playback device is a planar output mode or a stereoscopic output mode,
  • the format / frame rate information indicates a video format and a frame rate that can be used as output mode information of a playback apparatus when a recording medium is inserted.
  • application information exists in the index table, and this application information includes information on the video format and video rate as parameters necessary for negotiation. Therefore, after reading the index table, playback of the first play title is performed. Simultaneously with the processing, negotiation with the counterpart device can be started. Since the playback process of the first play title and the negotiation with the counterpart device can be executed in parallel, the activation delay can be reduced to about half the time.
  • the entry map is generated by adding an entry pointing to picture data at the head of the GOP to the entry map when recording a video stream.
  • the main transport stream When the main transport stream is generated from the main view video stream and the sub transport stream is generated from the sub view video stream and recorded as a stereoscopic interleaved stream file, it is pointed by an entry in the extended entry map.
  • the picture data and the picture data pointed to by the entry in the basic entry map may be arranged in different pairs of extents.
  • the information amount of each picture data in the main view video stream and the sub view stream is different for each frame.
  • An attempt is made to divide a main transport stream including a main-view video stream and a sub-transport stream including a sub-view stream having different amounts of information for each frame into a recording medium by dividing the sub-transport stream so as not to cause an underflow of the read buffer. Then, since the amount of information for each frame differs from each other, the base view picture data pointed to in the basic entry map and the sub-view picture data pointed to in the extended entry map do not have the same pair area. These may belong to different pair regions.
  • An object of the present invention is to provide a recording medium that can eliminate a delay in randomly accessing a set of base-view picture data and sub-view picture data.
  • a recording medium for solving the above problems is A recording medium on which a stream file and a stream management file are recorded,
  • the stream file includes a video stream composed of a plurality of picture data
  • the stream management file includes an entry map,
  • the entry map includes an entry indicating an address of picture data in association with a reproduction time,
  • the picture data includes main view picture data constituting a main view of stereoscopic video and subview picture data constituting a subview of stereoscopic video
  • the entry map includes a basic entry map that is used when reproducing a stereoscopic image and an extended entry map that is used together with the basic entry map when reproducing a stereoscopic image.
  • the corresponding extended entry map has an entry at the same time as the entry of the basic entry map.
  • the stream file is a stereoscopic interleave file configured by alternately arranging extents constituting the main view stream and extents constituting the sub-view stream,
  • the i-th extent specified by the identification number i among the extents constituting the main view stream includes the main view picture data indicated by the entry of the basic entry map
  • the i-th extent specified by the same identification number i as the identification number i is the sub-view picture indicated by the entry at the same time as the entry of the basic entry map of the extended entry map It is characterized by including data.
  • the entry of the extended entry map is sub-view picture data and should be played back at the same playback time. Only the picture data pointed by the entry of the basic entry map is pointed.
  • the extent is determined using the entry map and extended entry map as a clue. If accessed, base view GOPs and sub-view GOPs can be played together. Thereby, the delay of the reproduction start can be eliminated.
  • 1 shows a home theater system including a recording medium as a package medium, a playback device as a player device, a display device, and glasses.
  • a recording medium as a package medium
  • a playback device as a player device
  • a display device and glasses.
  • An example in which the user's face is drawn on the left side and the dinosaur skeleton that is the object is viewed from the left eye on the right side, and an example in which the dinosaur skeleton that is the object is viewed from the right eye are shown.
  • An example of an internal structure of the base view video stream and dependent view video stream for stereoscopic vision is shown.
  • 1 shows an internal configuration of a recording medium according to a first embodiment.
  • the internal structure of main TS and sub-TS is shown.
  • the internal structure of playlist information is shown.
  • An example of a basic stream selection table is shown.
  • the internal structure of an extension stream selection table is shown.
  • the stream registration sequence in the extended stream selection table is shown. It shows what ES is demultiplexed from the main TS and sub-TS by the basic stream selection table and the extended stream selection table. Indicates the change in stream number assignment in 2D output mode and 3D output mode.
  • regenerating apparatus is shown.
  • the internal structure of a PG decoder is shown.
  • the internal structure of a text subtitle decoder is shown.
  • the decoder model of IG decoder is shown.
  • the circuit configuration for synthesizing the output of the decoder model and outputting in 3D-LR format is shown.
  • a circuit configuration for synthesizing outputs of these decoder models and outputting them in the 1 plane + offset mode system is shown.
  • FIG. 3 is a diagram depicting an internal configuration of a register set 203 and a playback control unit. Indicates the bit assignment of PSR24.
  • the playlist playback procedure is shown. It is a flowchart which shows the process sequence about Procedure when playback condition is changed about PGtestST stream. It is a flowchart which shows the process sequence which selects the optimal PG_text subtitle stream about a current play item. It is a flowchart which shows the processing procedure of Procedure
  • Procedure when playback condition is changed is shown.
  • the bit assignment of the player setting register for realizing the 3D output mode is shown. It is a figure which shows an example of the internal structure of a BD-J object. It is a flowchart which shows the process sequence of the output mode setting in a BD-J title. It is a flowchart which shows an example of the behavior of initial HAVi device configuration selection. Indicates the bit assignment of PSR23. It is a flowchart which shows the determination procedure of the stereoscopic reproduction capability in PSR23. It is explanatory drawing for demonstrating an index table. It is a flowchart which shows the process sequence at the time of disk insertion.
  • the play item reproduction procedure is shown. It shows how an ATC sequence is restored from data blocks constituting a stereoscopic interleaved stream file. It is a figure which shows how restoration of an ATC sequence is performed. An example of extent start point information in base view clip information and an example of extent start point information in dependent view clip information are shown. It is a figure for demonstrating the source packet number of the arbitrary data blocks in ATC sequence 1 and 2.
  • FIG. An ATC sequence restoration procedure is shown. An optical disk recording method will be described. It is a flowchart which shows the process sequence of an authoring process. The processing procedure of an AV file writing process is shown.
  • the internal structure of a multilayered optical disk is shown.
  • An optical disk application format based on a file system is shown.
  • the structure of the 2D / 3D playback device is shown.
  • the figure which shows the form about the usage act of the recording medium based on this invention, the internal structure of BD-ROM, and the internal structure of an index file The figure which shows typically the structure of AV clip, how each stream is multiplexed in AV clip. The figure which shows in more detail how a video stream and an audio stream are stored in a PES packet sequence, and shows a TS packet and source packet structure in an AV clip.
  • the figure which shows the internal structure of a play list and the internal structure of a play item The figure explaining the internal structure of a 2D playback device, and player variables Diagram showing the internal configuration of the system target decoder
  • the recording medium provided with the above problem solving means can be implemented as a package medium for selling contents over the counter. Further, the playback device corresponding to the recording medium can be implemented as a player device for playing back the package medium, and the integrated circuit corresponding to the recording medium is implemented as a system LSI incorporated in the player device. Can do.
  • FIG. 1 shows a home theater system including a recording medium as a package medium, a playback device as a player device, a display device, and glasses.
  • the recording medium 100 as the package medium and the playback device 200 as the player device constitute a home theater system together with the display device 300, the 3D glasses 400, and the remote controller 500, and are used by the user. Is done.
  • the recording medium 100 supplies, for example, a movie work to the home theater system. Some of these movie works constitute a stereoscopic image.
  • the stereoscopic video is composed of at least two viewpoint videos.
  • the viewpoint video is a video having some deflection, and the two viewpoint videos are composed of a main view video and a subview video.
  • FIG. 1 there are various types of recording media 100 such as a disk type and a memory card type.
  • the “recording medium” described below is a disk medium. Suppose there is.
  • the playback device 200 is connected to the display device 300 and plays back the recording medium 100.
  • the playback device has two output modes, 2D output mode and 3D output mode, to play back the main view video stream representing the main view video and the subview video stream representing the subview video. Is a 2D / 3D playback device (player).
  • the display device 300 is a television and provides a user with an interactive operating environment by displaying a playback image of a movie work or displaying a menu or the like.
  • the display device 300 according to the present embodiment realizes stereoscopic vision by wearing 3D glasses 400 by a user. However, if the display device 300 is a lenticular type, the 3D glasses 400 are not necessary.
  • the 3D glasses 400 are provided with a liquid crystal shutter, and allow the user to view parallax images by the sequential separation method or the polarization glasses method.
  • a parallax image is a set of videos composed of a video image that enters the right eye and a video image that enters the left eye, and allows stereoscopic viewing so that only pictures corresponding to each eye enter the user's eyes.
  • FIG. 4B shows the display time of the left-eye video. At the moment when the image for the left eye is displayed on the screen, the aforementioned 3D glasses 400 transmit the liquid crystal shutter corresponding to the left eye and shield the liquid crystal shutter corresponding to the right eye.
  • FIG. 4C shows the time when the right-eye video is displayed. At the moment when the image for the right eye is displayed on the screen, the liquid crystal shutter corresponding to the right eye is made transparent, and the liquid crystal shutter corresponding to the left eye is shielded from light.
  • the remote controller 500 is a device for receiving operation items for AV playback.
  • the remote controller 500 is a device that accepts an operation on a hierarchical GUI from a user. To accept such an operation, the remote controller 500 moves a menu key for calling a menu constituting the GUI and a focus of the GUI component constituting the menu. An arrow key to be moved, a determination key for performing a confirmation operation on a GUI component constituting the menu, a return key for returning a hierarchical menu to a higher level, and a numerical key.
  • the output mode of the playback device that causes the display device 300 to display an image in the 3D output mode is referred to as “3D output mode”.
  • the output mode of the playback device that causes the display device 300 to display an image in the 2D output mode is referred to as a “2D output mode”.
  • a feature of the first embodiment is that the capability of whether or not stereoscopic viewing using a right-eye graphics stream and a left-eye graphics stream can be realized is set in a register in the playback device.
  • the parallax image method (referred to as 3D-LR mode) is a method of performing stereoscopic viewing by preparing a video entering the right eye and a video entering the left eye so that only a picture corresponding to each eye enters.
  • Fig. 2 shows the user's face on the left side, and the right side shows an example when the dinosaur skeleton, the target object, is viewed from the left eye, and an example when the dinosaur skeleton, the target object, is viewed from the right eye. ing.
  • the left and right scenes are overlapped by the afterimage reaction of the eyes in the user's brain, and it can be recognized that there is a stereoscopic image on the extension line in the center of the face. .
  • the MPEG4-MVC method is used as a video stream encoding method for realizing such a stereoscopic view.
  • the “base view video stream” in MPEG4-MVC is a main view video stream
  • the “dependent view video stream” in MPEG4-MVC is a sub-view video stream.
  • the MPEG-4 MVC base-view video stream is a sub-bit stream with a view_id of 0 and a sequence of view components with a view_id of 0.
  • MPEG-4 MVC base-view video stream obeys the limitations of MPEG-4 AVC video stream.
  • MPEG-4 MVC dependent view video stream ⁇ ⁇ is a sub-bit stream with view_id of 1 and a sequence of view components with view_id of 1.
  • a view component refers to each of a plurality of picture data that is simultaneously played back for stereoscopic playback in one frame period. Compression encoding using the correlation between viewpoints is achieved by using the view components of the base-view video stream and the dependent-view video stream as picture data and realizing compression encoding using the correlation between pictures. Made.
  • a combination of the view component of the base view video stream and the view component of the dependent view video stream allocated in one frame period constitutes one access unit, and this access unit is random. Access is possible.
  • Both the base view video stream and the dependent view video stream have a GOP structure in which each view component is a “picture”, and are composed of a closed GOP and an open GOP.
  • the closed GOP is composed of an IDR picture, a B picture following the IDR picture, and a P picture.
  • the open GOP is composed of a Non-IDR I picture, a B picture following the Non-IDR I picture, and a P picture.
  • a B picture refers to a picture composed of Bidirectionally predictive (B) format slice data
  • a P picture refers to a picture composed of Predictive (P) format slice data.
  • the B picture includes a refrenceB (Br) picture and a nonrefrenceB (B) picture.
  • the IDR picture is placed at the top of the closed GOP. Although the IDR picture does not become the head in the display order, other pictures (B picture, P picture) other than the IDR picture cannot have a dependency relationship with pictures existing in the GOP before the closed GOP. Thus, the closed GOP has a role of completing the dependency.
  • FIG. 3 shows an example of the internal configuration of a base-view video stream and a dependent-view video stream for stereoscopic viewing.
  • the second level in the figure shows the internal structure of the base view video stream.
  • This stream includes view components whose picture types are I1, P2, Br3, Br4, P5, Br6, Br7, and P9. These view components are decoded according to Decode Time Stamp (DTS).
  • DTS Decode Time Stamp
  • the first row shows a left eye image.
  • the decoded view components I1, P2, Br3, Br4, P5, Br6, Br7, and P9 are played in the order of I1, Br3, Br4, P2, Br6, Br7, and P5 according to PTS. Will be played.
  • the fourth row shows the internal structure of the dependent-view video stream.
  • This dependent view video stream includes picture type view components P1, P2, B3, B4, P5, B6, B7, and P8. These view components are decoded according to DTS.
  • the third row shows a right eye image. The right-eye image is reproduced by reproducing the decoded view components P1, P2, B3, B4, P5, B6, B7, and P8 in the order of P1, B3, B4, P2, B6, B7, and P5 according to PTS. Will be played.
  • the fifth row shows how the state of the 3D glasses 400 is changed. As shown in the fifth row, the right-eye shutter is closed when the left-eye image is viewed, and the left-eye shutter is closed when the right-eye image is viewed.
  • the video frame of the base-view video stream and the video frame of the dependent-view stream are alternately output as “B”-“D”-“B”-“D” in a 1/48 second display period.
  • the mode is referred to as “BD presentation mode”.
  • 3D-Depth that realizes a stereoscopic effect using 2D images and depth information.
  • the same video frame is output twice or more while maintaining the output mode in 3D mode.
  • the playback type to be performed is called BB presentation mode. In the BB presentation mode, only the video frames of the base-view video stream that can be reproduced independently are repeatedly output as “B”-“B”-“B”-“B”.
  • the above-described BD presentation mode and BB presentation mode are the basic output modes of the playback device.
  • the playback device has an output mode of 1 plane + Offset mode.
  • 1plane + Offset mode (also referred to as 3D-Offset mode) is an output mode that realizes stereoscopic viewing by incorporating a shift unit in the subsequent stage of the plane memory and causing the shift unit to function.
  • the plane offset unit shifts the pixel coordinates of the line unit in the plane memory leftward or rightward in each of the left view period and the right view period, and the image points of the right visual line and the left visual line are moved forward or The depth feeling is changed by displacing in the depth direction.
  • the image point of the line of sight of both eyes will be in front, and in the right view period in the left view period, the right view period If the pixel coordinates are changed to the left, the image point of the line of sight of both eyes will be in front.
  • This plane shift is ideal for easily creating stereoscopic images because only one plane memory is required for stereoscopic viewing.
  • This plane shift is only suitable for stereoscopic effects such as menus and subtitles because it only produces a stereoscopic image in which a planar image comes to the front or pulls in the back. This is somewhat unsatisfactory for realizing the stereoscopic effect. This is because the indentation and unevenness of the character's face cannot be reproduced.
  • the playback device configuration When supporting 1 plane + Offset mode, the playback device configuration is as follows.
  • the playback apparatus includes a plane memory, a CLUT unit, and a combining unit, and a shift unit is incorporated between the CLUT unit and the combining unit.
  • achieves the coordinate change of a pixel as mentioned above using the offset in the offset sequence integrated in the access unit structure of dependent view video stream. By doing so, the degree of popping out of the pixels in the 1 plane + offset mode is precisely synchronized with the MVC video stream.
  • the 1 plane + offset modes there is a 1 plane + zero offset mode.
  • the 1 plane + zero-offset mode is a display mode in which, when the pop-up menu is on, the offset value is set to zero and a stereoscopic effect is given only to the pop-up menu.
  • the plane memory subject to shift control by the offset sequence is a plurality of plane memories constituting a predetermined layer model.
  • the plane memory stores pixel data for one screen obtained by decoding the elementary stream in units of lines, and outputs these pixel data along the horizontal synchronization signal and the vertical synchronization signal. It is memory.
  • Each plane memory stores pixel data for one screen obtained by decoding of a video decoder, a PG decoder, and an IG decoder.
  • the predetermined layer model is composed of a left-eye video plane layer, a right-eye video plane layer, a PG plane layer, and an IG / BD-J plane layer. This is intended for layer composition in the order of the / BD-J plane.
  • the process of superimposing the pixel values of the pixel data stored in the plane memory of the two layers is executed for all combinations of the two layers in the layer model. That is done.
  • the plain memory of each layer will be described.
  • the left-eye video plane is a plane memory that can store the pixel data for one screen obtained by decoding the view component and that constitutes picture data for the left eye.
  • the right-eye video plane is a plane memory that can store the pixel data for one screen obtained by decoding the view component, that constitutes the picture data for the right eye.
  • the presentation graphics (PG) plane is a plane memory used for storing graphics obtained by a decoding process performed by a graphics decoder operating in a pipeline manner.
  • the IG / BD-J plane is a plane memory that functions as an IG plane in one operation mode and functions as a BD-J plane in another operation mode.
  • An interactive graphics (IG) plane is a plane memory used for storing graphics obtained by decoding by a graphics decoder that operates on the premise of interactive processing.
  • the BD-J plane is a plane memory that can be used to store drawing image graphics obtained by an object-oriented programming language application performing drawing processing.
  • the IG plane and the BD-J plane are exclusive, and when one of them is used, the other is not used. Therefore, the IG plane and the BD-J plane share one plane memory. .
  • the IG / BD-J plane and the PG plane are for the base view and the dependent view. There is no plane memory for each of the dent views. Therefore, the IG / BD-J plane and PG plane are subject to shift control.
  • FIG. 4 shows an internal configuration of the recording medium according to the first embodiment.
  • the recording medium according to the first embodiment includes “index table”, “program file of operation mode object”, “playlist information file”, “stream information file”, “stream”. File "is recorded.
  • the index table is management information relating to the entire recording medium, and the recording medium is uniquely recognized by the reproducing apparatus by first reading the index table after the recording medium is inserted into the reproducing apparatus.
  • the program file of the operation mode object stores a control program for operating the playback device. Some programs are described by commands, and some programs are described by an object-oriented compiler language.
  • the former program supplies a plurality of navigation commands as a batch job to the playback device, and operates the playback device based on these navigation commands. This command-based operation mode is called “HDMV mode”.
  • the latter program supplies a bytecode application, which is an instance of a class structure, to the playback device in the object-oriented compiler language-based operation mode, and operates the playback device based on this instance.
  • a Java (TM) application which is one of bytecode applications, can be used as an instance of the class structure.
  • the operation mode based on the object-oriented compiler language is called “BD-J mode”.
  • the stream file stores a transport stream obtained by multiplexing a video stream, one or more audio streams, and a graphics stream.
  • the 2D dedicated stream file has a normal transport stream format
  • the 2D-3D combined stream file has a stereoscopic interleaved stream file format.
  • the stereoscopic interleaved stream file format is an interleaved format of the extent of the main transport stream (main TS) including the base view stream and the extent of the sub transport stream (sub TS) including the dependent view video stream. Are arranged alternately.
  • the main TS stored in the stream file includes packet management information (PCR, PMT, PAT) defined in the European digital broadcasting standard as information for managing and controlling a plurality of types of PES streams.
  • packet management information PCR, PMT, PAT
  • PCR Program_Clock_Reference
  • ATS Arriv Time Clock
  • STC System Time Clock
  • PMT Program_map_table
  • PID of each stream such as video / audio / graphics included in the stream file
  • stream attribute information corresponding to each PID and various descriptors related to TS.
  • the descriptor includes copy control information for instructing whether or not to permit copying of the stream file.
  • PAT Program Association Table
  • PCR, PMT, and PAT have a role to define a partial TS that constitutes one broadcast program (Program) in the European digital broadcasting standard, and the playback device constitutes one broadcast program in the European digital broadcasting standard.
  • the TS can be used for processing by the decoder as if it were a partial TS. This is intended to be compatible with a European digital broadcasting standard terminal device and a recording medium playback device.
  • the extent set in the main TS and the extent in the sub-TS are set to a data size that does not cause the double buffer to underflow during playback, and the playback device can read these extent sets seamlessly.
  • the stream information file guarantees random access to an arbitrary source packet in the transport stream in the stream file and continuous reproduction with other transport streams. Through this stream information file, the stream file is managed as an “AV clip”.
  • the stream information file is a basic entry map that indicates information such as the encoding format, frame rate, bit rate, resolution, etc. of the stream in an AV clip, and the source packet number at the head position of the GOP in association with the presentation time stamp of the frame period. Therefore, if this stream information file is loaded into the memory before accessing the stream file, it can be understood what the transport stream in the stream file to be accessed is. , Random access execution can be guaranteed.
  • the stream information file includes a 2D stream information file and a 3D stream information file.
  • the 3D stream information file includes clip information for base view (clip base information) and clip information for dependent view ( Clip dependent information) and an extended entry map for stereoscopic viewing.
  • the clip base information includes extent start point information for the base view, and the clip dependent information includes extent start point information for the dependent view.
  • the extent start point information for the base view is composed of a plurality of source packet numbers. Each source packet number indicates in what packet the extent division position in the main TS exists.
  • the extent start point information for the dependent view is also composed of a plurality of source packet numbers, and indicates how many packets have the division position in the sub-TS.
  • the “ATC sequence” refers to an array of source packets that do not have a discontinuity (no arrival time-base discontinutiy) in the Arrival_Time_Clock referenced by the Arrival_Time_Stamp. Since the ATC sequence is a source packet sequence in which ATC time stamps are continuous, each source packet constituting the ATC sequence is continuous while the clock counter that measures the arrival time clock of the playback device is measuring time. Source packet depacketizing processing and continuous packet filtering processing.
  • the ATC sequence is an array of source packets, an array of TS packets with consecutive time stamps on the STC time axis is called an STC sequence.
  • the “STC sequence” refers to an array of TS packets that does not have an STC (System Time Clock) discontinuity point (system time-base discontinuity) that is a TS system reference time.
  • the discontinuity point of STC is a point where discontinuity information (discontinuity_indicator) of a PCR packet carrying PCR (Program Clock Reference) that is referred to by the decoder to obtain STC is ON.
  • each TS packet constituting the STC sequence is played back while the clock counter that counts the system time clock of the playback device is counting. It will be used for the continuous decoding process of the decoder existing in the apparatus.
  • the extended entry map indicates the source packet number of the access unit delimiter that is the head position of the GOP head view component in the dependent-view video stream in association with the presentation time stamp representing the GOP head frame period.
  • the basic entry map in the 3D stream information file is compatible with the 2D stream information file, but is associated with the presentation time stamp indicating the GOP head frame period, and the GOP head view component of the base view video stream. Indicates the source packet number of the access unit delimiter at the head position.
  • the playlist information file is a file that stores information for causing the playback device to play back the playlist.
  • a “playlist” is a playback path defined by specifying playback sections on the time axis of the transport stream (TS) and logically specifying the playback order between the playback sections. Of these, it plays the role of defining which part is played back and in what order the scene is developed.
  • the playlist information defines the “type” of the playlist.
  • the playback path defined by the playlist information is a so-called “multipath”. Multipath is a bundle of a playback path (main path) defined for a main TS and a playback path (subpath) defined for a subordinate stream. If the playback path of the base-view video stream is defined in this multi-pass and the playback path of the dependent-view video stream is defined in the sub-path, the combination of video streams for reproducing stereoscopic vision can be preferably defined. it can.
  • An application based on an object-oriented programming language orders the generation of a framework player instance that reproduces this playlist information, so that AV reproduction by multipass can be started.
  • the framework player instance is actual data generated on the heap memory of the virtual machine based on the media framework player class.
  • the command-based program can also start playback by multipass by issuing a playback command specifying this playlist information as an argument.
  • Playlist information includes one or more play item information.
  • the play item information is playback section information that defines one or more sets of a time point that becomes In_Time and a time point that becomes Out_Time on the playback time axis of the video stream.
  • the playlist information has a hierarchical structure of play item information-stream information-transport stream, and the ratio of the combination of the transport stream and stream information and the play item information has a one-to-many relationship.
  • One transport stream can be referred to from a plurality of pieces of play item information. Therefore, it is possible to efficiently create a variation of a movie work by adopting a transport stream created for a playlist as a bank film and referring to it from play item information in a plurality of playlist information files.
  • Yes bank film is a term in the movie industry and refers to video content that is reused in multiple scenes).
  • a unit of a playlist is not recognized by the user, a plurality of variations (for example, a theater release version or a TV broadcast version) derived from a stream file are recognized as a playlist.
  • the playlist information includes 2D playlist information and 3D playlist information, and the difference between them is that a base view indicator and a stereoscopic stream number table exist in the 3D playlist information.
  • the “stereoscopic stream number table” is a table showing stream entries and stream attributes of elementary streams to be reproduced only in the 3D output mode in association with stream numbers.
  • Base view indicator is information indicating whether a base-view video stream serving as a basis for compression coding using correlation between viewpoints should be displayed as a left eye or a right eye.
  • the stereoscopic effect can be reversed.
  • a playlist intended for a stereoscopic effect in which an object appears in front of the screen has already been created
  • a stereoscopic effect in which the object appears in the back of the screen is separate from the playlist.
  • An intended playlist can be created. Therefore, in the 3D playlist, there is an effect that it is possible to easily create variations of the playlist with different stereoscopic effects.
  • FIG. 4B shows the internal configuration of the main TS
  • FIG. 4C shows the internal configuration of the sub-TS.
  • the main TS includes one base-view video stream, 32 left-eye PG streams, 32 left-eye IG streams, and 32 audio streams.
  • the sub-TS includes one dependent-view video stream, 32 right-eye PG streams, and 32 right-eye IG streams.
  • Elementary streams (ES) multiplexed in TS include video streams, audio streams, presentation graphics streams, and interactive graphics streams.
  • the base view video stream constitutes the primary video stream in the picture-in-picture application.
  • the picture-in-picture application includes a secondary video stream in addition to the primary video stream.
  • the primary video stream is a video stream composed of picture data that becomes a parent screen in a picture-in-picture application.
  • the secondary video stream is a video stream composed of picture data inserted into a part of the parent screen as a child screen in picture-in-picture.
  • the picture data constituting the primary video stream and the picture data constituting the secondary video stream are decoded and stored in separate plane memories. There are components (Scalling & Positioning) for changing the scaling of the picture data constituting the secondary video stream and positioning the display coordinates in the previous stage of the plane memory for storing the picture data constituting the secondary video stream.
  • Audio stream There are two types of audio streams, a primary audio stream and a secondary audio stream.
  • the primary audio stream is an audio stream that should be a main sound when mixing reproduction is performed
  • the secondary audio stream is an audio stream that should be a sub sound when mixing reproduction is performed.
  • the secondary audio stream includes information for downsampling for mixing and information for gain control.
  • the PG stream is a graphics stream suitable for subtitle display that can be precisely synchronized with video by adopting a pipeline in the decoder.
  • Up to 32 2DPG streams, up to 32 left-eye PG streams, and up to 32 right-eye PG streams can be defined. Each of these PG streams is provided with a different packet identifier. By instructing the demultiplexer to specify a packet identifier to be reproduced, a desired one of these PG streams is provided for reproduction. Will be.
  • PG stream is not limited to character reproduction like subtitles. Any graphics playback that requires precise synchronization, such as displaying a mascot character of a movie work and synchronizing it with a moving image, should be adopted as a playback target by the PG stream. Can do.
  • -Streams that are not multiplexed into a stream file but show subtitles include text subtitle (textST) streams in addition to PG streams.
  • the textST stream is a stream that represents the content of subtitles in character code.
  • the PG stream and the text subtitle stream are registered in the same stream registration column on the assumption that these types are not distinguished and are the same stream type. Then, when executing the stream selection procedure, the PG stream or text subtitle stream to be reproduced is determined according to the stream registration order in the stream registration sequence. Since the PG stream and the text subtitle stream are provided to the stream selection procedure without distinguishing the stream type, the PG stream and the text subtitle stream are classified into one stream type, that is, “PG_text subtitle stream (abbreviated, It may be called a subtitle stream) ”.
  • the PG_text subtitle stream for 2D is played back in 1plane + Offset mode.
  • the 2DPG_text subtitle stream is a 1 plane + OffsetPG_text subtitle stream.
  • Interactive graphics (IG) stream IG stream is a graphics stream that can display a menu as the video stream is played and can display a pop-up menu according to the user's operation by providing information on interactive operations. is there.
  • the IG stream has two types, 2DIG stream and stereoscopic IG stream, like PG stream.
  • the control information of the IG stream (referred to as the dialog control segment) has information (User_interface_model) that defines the user interface model, and the author can set the user interface model information to set the menu as the video stream playback progresses. Can be specified (always on), or a pop-up menu can be displayed according to user operation (pop-up menu on).
  • the significance of the IG stream having dialogue operation information is as follows.
  • the Java virtual machine instructs the playback control engine, which is the main player of playback control, to start playback of a playlist in response to a request from the application
  • the Java virtual machine instructs the playback control engine to play, and then plays the playlist. Returns a response indicating that it has started to the application.
  • the Java virtual machine does not wait for execution completion. This is because the Java virtual machine is a so-called event-driven operating entity and can operate while the playback control engine is playing back a playlist.
  • the command interpreter when the command interpreter commands the playback control engine to play a playlist, it waits for completion of the playlist playback until the playlist playback ends. While playback by the playback control engine continues, the command execution unit cannot execute interactive processing. Instead of this command interpreter, the graphics decoder performs an interactive operation. In order to cause the graphics decoder to perform an interactive operation, control information defining an interactive operation using a button member is incorporated in the IG stream. *
  • 3D display mode which 3D display mode is allowed depends on the stream type.
  • two output modes such as a BD presentation mode and a BB presentation mode are allowed.
  • the BB presentation mode is allowed only when the pop-up menu is turned on.
  • the type of primary video stream in the case of playback in the BD presentation mode is called “stereoscopic BD playback type”.
  • the type of primary video stream in the case of playback in the BB presentation mode is called stereoscopic BB playback type.
  • 3 Three output modes are allowed for the 3D display mode of the PG stream: BD presentation mode, 1 plane + offset mode, and 1 plane + zero offset mode.
  • the 1 plane + zero offset mode is allowed only when the pop-up menu is on.
  • the type of PG stream in the case of playback in the BD presentation mode is called “stereoscopic playback type”.
  • the type of PG stream and PG_text subtitle stream when played back in the 1 plane + Offset mode is referred to as a 1 plane + Offset type.
  • the types of PG stream and PG_text subtitle stream when played back in the 1 plane + Zero Offset mode are referred to as 1plane + Zero Offset type.
  • the text subtitle stream 3D display mode allows two output modes: 1 plane + offset mode and 1 plane + zero offset mode.
  • 1 plane + zero-offset mode is allowed only when the pop-up menu is turned on.
  • 3D display mode of IG stream allows 3 output modes such as BD presentation mode, 1 plane + offset mode, 1 plane + zero offset mode.
  • the 1 plane + zero offset mode is allowed only when the pop-up menu is turned on.
  • picture-in-picture cannot be used when the 3D output mode is executed unless otherwise specified. This is because both the picture-in-picture and 3D output modes require two video planes for storing uncompressed picture data. Unless otherwise specified, sound mixing cannot be used in 3D output mode.
  • FIG. 5 shows the internal structure of the main TS and sub-TS.
  • Figure (a) shows the internal structure of the main TS.
  • the main TS is composed of the following source packets.
  • a source packet having a packet ID of 0x0100 constitutes Program_Map_Table
  • a TS packet having a packet ID of 0x1001 constitutes a PCR.
  • a source packet sequence having a packet ID of 0x1011 constitutes a primary video stream.
  • Thirty-two 2DIG streams are configured from the source packet sequence having packet IDs of 0x1400 to 0x141F.
  • a primary audio stream is configured from a source packet sequence having a packet identifier of 0x1100 to a source packet sequence having a packet identifier of 0x111F.
  • Figure (b) shows the internal structure of the sub-TS.
  • the sub-TS is composed of the following source packets.
  • the source packet sequence having a packet identifier of Ox1012 constitutes a dependent view video stream.
  • Thirty-two left-eye IG streams are configured from a source packet sequence having a packet identifier of 0x1420 to a source packet sequence having a packet ID of 0x143F.
  • a source packet sequence having a packet identifier of 0x145F from a source packet sequence having a packet identifier of Ox1440 constitutes 32 right-eye IG streams.
  • the multipath has an internal configuration as shown in FIG. FIG. 6 shows the internal structure of the playlist information.
  • the playlist information includes “main path information”, “sub path information”, “play list mark information”, and “extension data”.
  • main path information “main path information”
  • sub path information “sub path information”
  • play list mark information “extension data”.
  • Main path information is composed of one or more main playback section information.
  • FIG. 6B is a diagram showing the internal configuration of the main path information and the sub path information. As shown in the figure, the main path information is composed of one or more main playback section information.
  • the sub-path information is composed of one or more subordinate playback section information.
  • the main playback section information is called play item information, and is information that defines a logical playback section by defining one or more sets of time points that become In_Time and time points that become Out_Time on the TS playback time axis. It is.
  • the playback device includes a play item number register that stores the number of the current play item. Among a plurality of pieces of playlist information, the information stored in the play item number register is the current playback target.
  • FIG. 6C shows the internal structure of the play item information. As shown in the figure, it includes “stream reference information”, “in timeout time information”, “connection state information”, and “basic stream selection table”.
  • the stream reference information includes “stream information file name information (clip_information_file_name)” indicating a stream information file managing a transport stream constituting a play item as an “AV clip”, and “clip code indicating an encoding method in the TS. And “STC identifier reference (STC_ID_referrence)” indicating which STC sequence has in-time and out-time set in the STC sequence of the TS.
  • Subordinate playback section information is called sub-path information and is composed of a plurality of sub-playitem information.
  • FIG.6 (d) shows the internal structure of a sub play item.
  • the sub play item information is information that defines a playback section constituting a sub path by defining a combination of in time and out time on the time axis of the STC sequence.
  • Stream reference information includes “stream information file name information”, “clip encoding scheme identifier”, and “STC identifier reference”, as with play item information.
  • “In timeout time information (SubPlayItem_In_Time, SubPlayItem_Out_Time)” indicates the start point of the sub play item on the STC sequence time axis and the end point of the sub play item on the STC sequence time axis.
  • Synchronized play item reference (Sync_PlayItem_Id) is information for uniquely specifying a play item to be synchronized with the sub play item.
  • the sub play item in time exists on the playback time axis of the play item specified by the synchronous play item reference.
  • Playlist mark information is information that defines mark points specific to the playback section, and indicates where the mark point is located on the reference line indicating the playback section and the time axis of the digital stream. Including a time stamp to indicate and attribute information indicating an attribute of the mark point, The attribute information indicates whether the mark point defined by the playlist mark information is a link point or an entry mark.
  • the link point is a mark point that can be linked by a link command but is not a selection target when the chapter skip operation is performed by the user.
  • the entry mark is a mark point that can be linked by a link command and is a selection target when a chapter skip operation is performed by the user.
  • the link command embedded in the button information of the IG stream specifies the cue position in the form of indirect reference via playlist mark information.
  • the basic stream selection table is referred to by a multi-pass main path when a current play item becomes a current play item among a plurality of play items constituting a playlist.
  • the basic stream selection table is referred to by a multi-pass main path when a current play item becomes a current play item among a plurality of play items constituting a playlist.
  • the stream type here refers to a type such as a primary video stream in picture-in-picture, a secondary video stream in picture-in-picture, a primary audio stream in sound mixing, a secondary audio stream in sound mixing, a PG_text subtitle stream, and an IG stream
  • the basic stream selection table can register a stream that should be permitted to be reproduced for each of these stream types.
  • the basic stream selection table is composed of a stream registration array.
  • stream registration refers to the stream number, which ES is to be permitted to be played when the play item to which the basic stream selection table belongs becomes the current play item.
  • the stream registration has a data structure in which a combination of a stream entry and a stream attribute is associated with a logical stream number.
  • the stream number in the stream registration is represented by an integer value such as 1, 2, 3, and the maximum number of stream numbers is the number of streams of the corresponding stream type.
  • the playback apparatus has a stream number register for each stream type, and the ES indicated by the stream number stored here becomes the ES that is the current playback target, that is, the current stream.
  • the ES packet identifier to be reproduced is described. Since the ES packet identifier to be reproduced can be described in the stream entry, the stream number in the stream registration is stored in the stream number register of the reproduction apparatus, and the reproduction apparatus is based on the packet identifier in the stream entry in the stream registration.
  • the PID filter causes the playback device to perform packet filtering. By doing so, the ES TS packet whose reproduction is permitted in the basic stream selection table is output to the decoder, and the ES is reproduced.
  • stream registrations in the basic stream selection table are arranged in accordance with the order of stream numbers, and the order of stream registration based on the order of stream numbers is “reproduction device can reproduce”, “stream language attribute is When there are a plurality of streams satisfying the condition “matching the language setting of the playback apparatus”, the stream to be selected is determined according to the order of the stream numbers in the stream registration sequence.
  • the playback device when there is a stream registration in the basic stream selection table that cannot be played back by the playback device, the stream is excluded from playback, and “the playback device can play back the stream”.
  • the author gives the playback device a guideline on which of the streams should be preferentially selected. I can tell you.
  • the selection procedure for selecting which of the streams satisfies the condition that the language attribute of “matches the language setting of the playback apparatus” is called a stream selection procedure.
  • the stream selection procedure is executed when the current play item is switched to a new one, or when stream switching is requested by the user.
  • the stream registration column in the basic stream selection table uniformly assigns a priority order to the stream specified by the sub play item information and the stream specified by the play item information, it is multiplexed with the video stream. Even if the stream is not specified, it is a target for selection when selecting a stream to be reproduced in synchronization with the video stream if it is specified by the sub play item information.
  • the playback device can play back the stream specified by the sub play item information, and the priority order of the stream specified by the sub play item information is the priority of the graphics stream multiplexed with the video stream.
  • the stream specified by the sub play item information can be used for reproduction instead of the stream multiplexed with the video stream.
  • the stream number described in the basic stream selection table can be used as an operand of the set stream command.
  • a set stream command is a command that sets the stream number specified in the operand as the current stream number in the stream number register and instructs the playback device to switch the current stream.
  • the command-based program plays back the stream switching. Used when the device is executed.
  • the stream change UO is a user operation event that sets the stream number specified in the argument as the current stream number in the stream number register and instructs the playback apparatus to switch the current stream.
  • the set stream API is an API that sets the stream number specified in the argument as the current stream number in the stream number register and instructs the playback device to switch the current stream. This is used when the playback apparatus executes switching.
  • FIG. 7 shows an example of the basic stream selection table.
  • FIG. 6A shows a plurality of streams provided in the basic stream selection table when there are types such as primary video stream, secondary video stream, PG stream, IG stream, secondary video stream, and secondary audio stream. Indicates the registration column.
  • FIG. 5B shows what ES is separated from the main TS and sub-TS by the basic stream selection table. The left side of the figure shows the main TS and sub-TS, and the middle shows the basic stream selection table and the demultiplexing unit. The right side shows a primary video stream, a primary audio stream, a PG stream, an IG stream, a secondary video stream, and a secondary audio stream that are separated based on the basic stream selection table.
  • the extended stream selection table must be stored in the data block in the extension data of the playlist information file.
  • the extension information (subpath block extension) of the subpath information must be stored in the data block of the extension data in the playlist information file.
  • the extended stream selection table is a stream selection table that is used together with the stream selection table only in the stereoscopic output mode, and can be selected when a play item is reproduced or a sub-path associated therewith is being reproduced.
  • the extended stream selection table indicates an ES that should be allowed to be reproduced only in the stereoscopic output mode, and includes a stream registration column.
  • Each stream registration information in the stream registration sequence includes a stream number, a stream entry corresponding to the stream number, and a stream attribute. Since the extended stream selection table means an extension specific to the stereoscopic output mode, a playlist in which the extended stream selection table (STN_table_SS) is associated with each piece of play item information is referred to as a “3D playlist”.
  • the stream entry in the extended stream selection table is a packet that the playback device should use for demultiplexing when the corresponding stream number is set in the stream number register in the playback device when the playback device is set to the stereoscopic output mode. Indicates an identifier.
  • the difference from the basic stream selection table is that the stream registration sequence in the extended stream selection table is not subject to the stream selection procedure. That is, the stream registration information in the stream registration sequence in the basic stream selection table is interpreted as the priority order of each ES, and the stream number in any of the stream registration information is written into the stream number register.
  • the stream registration sequence in the extension stream selection table is not subject to the stream selection procedure, and the stream registration information in the extension stream selection table is stored in the stream number when any stream number is stored in the stream number register. Used only for the purpose of retrieving the corresponding stream entry and stream attributes.
  • the target stream selection table is switched from the basic stream selection table to the extended stream selection table.
  • the identity of the numbers cannot be maintained, and the identity of the language attributes may be lost.
  • the extended stream selection table is also used for the above.
  • the stream number described in the extended stream selection table can be used as an operand of a set stream command or a set stereoscopic stream command.
  • the set stereoscopic stream command is a command that sets a stream number for stereoscopic viewing specified in an operand as a current stream number in the stream number register and instructs the playback device to switch the current stream. Is used when causing the playback device to switch to the stereoscopic stream.
  • the extended stream selection table is composed of a stream registration column for a dependent-view video stream, a stream registration column for a PG stream, and a stream registration column for an IG stream.
  • the stream registration sequence in the extended stream selection table is combined with the stream registration sequence of the same stream type in the stream selection table.
  • This combination combines the stream registration column of the dependent-view video stream in the extension stream selection table with the stream registration column of the primary video stream in the stream selection table, and the extension stream into the stream registration column of the PG stream in the stream selection table. This is done by combining the stream registration sequence of the PG stream in the selection table and combining the stream registration sequence of the IG stream in the extension stream selection table with the stream registration sequence of the IG stream.
  • the above procedure is executed for the stream registration column in the basic stream selection table among the combined stream selection tables.
  • FIG. 8 shows the internal structure of the extension stream selection table.
  • the extended stream selection table includes an overall length (length) of the extended stream selection table, a pop-up period fixed offset (Fixed_offset_during_Popup), and a stream registration sequence corresponding to each stream type in each play item.
  • a stream registration sequence corresponding to each of the play items # 1 to #N is provided in the extended stream selection table.
  • the stream registration sequence corresponding to each play item is a dependent view stream registration sequence, a PG stream registration sequence, and an IG stream registration sequence.
  • “Fixed_offset_during_Popup” is a pop-up period fixed offset, and controls the playback type of video or PG_text subtitle stream when the pop-up menu by IG stream is set to ON.
  • the “Fixed_offset_during_Popup” field is set to ON when the user_interface_model field in the IG stream is ON, that is, the user interface of the pop-up menu is set to ON. If the user_interface_model field in the IG stream is off, that is, if it is set to an AlwaysON user interface, it is set to off.
  • the video stream is in the BD presentation mode.
  • the stereoscopic PG stream is a stereoscopic reproduction type.
  • the PG_text subtitle stream is in the 1 plane + Offset mode.
  • the video stream is in the BB presentation mode.
  • the stereoscopic PG stream is in 1 plane + Offset mode, and the PG stream for 1 plane + Offset is reproduced as a 1 plane + zero offset reproduction type.
  • PG_text subtitle stream is 1plane + zero offset in 1plane + offset mode.
  • Offset sequence number information (number_of_offset_sequence in the figure) indicates the number of offset sequences in the dependent view stream.
  • extension stream selection table This value in the extension stream selection table is the same as the number of offset sequences included in the dependent view stream.
  • FIG. 9 shows a stream registration sequence in the extension stream selection table.
  • FIG. 9A shows the internal structure of the stream registration sequence of the dependent-view video stream.
  • the stream registration sequence of the dependent view stream is composed of v (x) SS_dependet_view_blocks.
  • v (x) is the number of primary video streams permitted to be reproduced in the basic stream selection table of play item information #x.
  • the lead line in the figure shows the internal structure of the dependent view stream stream registration sequence in close-up.
  • SS_dependet_view_block is composed of a stream number, a stream entry, a stream attribute, and the number of offset sequences (number_of_offset_sequence).
  • the stream entry includes a sub-path identifier reference (ref_to_Subpath_id) that specifies a sub-path to which a dependent-view video stream playback path belongs, and a stream file reference that specifies a stream file in which the dependent-view video stream is stored ( ref_to_subClip_entry_id) and a packet identifier (ref_to_stream_PID_subclip) of the dependent-view video stream in the stream file.
  • a sub-path identifier reference ref_to_Subpath_id
  • ref_to_subClip_entry_id a stream file in which the dependent-view video stream is stored
  • ref_to_stream_PID_subclip packet identifier of the dependent-view video stream in the stream file.
  • Stream attribute includes the language attribute of the dependent-view video stream.
  • Number of offset sequences (number_of_offset_sequence)” indicates the number of offsets present in the dependent-view video stream.
  • the stream registration column of the dependent-view video stream is provided with stream registration information for a plurality of dependent-view video streams in terms of the data structure. Normally, since the number of base-view video streams is one, the number of pieces of stream registration information in the dependent-view video stream is also unique.
  • FIG. 9B shows the internal configuration of the stream registration sequence of the PG stream.
  • the stream registration sequence of the PG stream is composed of P (x) pieces of stream registration information.
  • P (x) is the number of PG streams permitted to be reproduced in the basic stream selection table of play item information #x.
  • the leader line in the figure shows a close-up of the common internal structure of the stream registration sequence.
  • PG_text subtitle offset sequence ID reference information (PGtextST_offset_sequence_id_ref) is PG_text subtitle stream offset sequence reference information, and indicates an offset sequence for a PG_text subtitle stream in 1 plane + Offset mode.
  • the offset metadata is supplied by the dependent view video stream access unit.
  • the playback device must apply the offset provided by this field to the 1 plane + Offset mode type presentation graphics (PG) plane.
  • PG Offset mode type presentation graphics
  • this field is an undefined value (FF)
  • the playback device does not apply this offset to the PG stream plane memory.
  • Steposcopic PG presence / absence flag indicates the validity and existence of the left-eye IG stream entry, right-eye IG stream entry, and stream attribute in the PG stream. If there is no structure in the stereoscopic PG stream, this field must be set to 0. If there is a structure in the stereoscopic PG stream, this field must be set to 1.
  • the “left-eye stream entry” includes a sub-path identifier reference (ref_to_Subpath_id) that specifies the sub-path to which the playback path of the left-eye PG stream belongs, and a stream file reference (ref_to_subClip_entry_id) that specifies the stream file in which the left-eye PG stream is stored. And the packet identifier (ref_to_stream_PID_subclip) of the left-eye PG stream in the stream file.
  • the “right-eye stream entry” includes a sub-path identifier reference (ref_to_Subpath_id) that specifies the sub-path to which the playback path of the right-eye PG stream belongs, and a stream file reference (ref_to_subClip_entry_id) that specifies the stream file in which the right-eye PG stream is stored. And the packet identifier (ref_to_stream_PID_subclip) of the right-eye PG stream in the stream file.
  • stream_entry_for_depentdent_view in the stream registration information of the extension stream selection table is different from the stream file referenced by the stream entry of the basic stream selection table, the stream file storing the right-eye PG stream is revisited. Must be read.
  • Communication stream attribute includes language attributes of the left-eye PG stream and the right-eye PG stream.
  • the “stereoscopic PG_text subtitle offset sequence reference information (SS_PG_textST_offset_sequence_id_ref)” is reference information for referring to the offset sequence for the PG_text subtitle stream, and indicates an offset sequence for the PG_text subtitle stream.
  • the playback device must apply the offset provided by this field to the PG plane.
  • this field is an undefined value (FF)
  • the playback device does not apply this offset to the PG stream plane memory.
  • FIG. 9C shows the internal structure of the stream registration sequence of the IG stream.
  • the stream registration sequence of the IG stream includes I (x) pieces of stream registration information.
  • I (x) is the number of IG streams permitted to be reproduced in the basic stream selection table of play item information #x.
  • the lead lines in the figure show a close-up of the common internal configuration of the stream registration sequence.
  • IG offset sequence ID reference information (IG_offset_sequence_id_ref) is an interactive graphics offset sequence reference, which is a reference of the sequence ID of the IG stream in the 1 plane + Offset mode. This value indicates the offset sequence ID defined in the offset sequence.
  • offset metadata is provided by the dependent-view video stream. The playback device must apply the offset provided by this field to the 1 plane + Offset mode type IG stream.
  • the playback device does not apply this offset to the interactive graphics plane.
  • Offset direction information in BB mode indicates the offset direction in the interactive graphics (IG) plane in the 1 plane + offset mode while the IG stream is played on the user interface of the pop-up menu in the BB presentation mode.
  • Offset value information in BB mode indicates the offset value of the IG plane in 1 plane + Offset mode in units of pixels while the IG stream is played back by the pop-up menu user interface in the BB presentation mode.
  • Steposcopic IG presence / absence flag indicates the validity and existence of the left-eye IG stream entry, the right-eye IG stream entry, and the stream attribute in the IG stream. If the data structure of the stereoscopic IG stream does not exist, this field must be set to the value 0. If the IG stream that is permitted to be played is a stereoscopic IG stream, this field must be set to a value of 1.
  • the “left-eye stream entry” includes a sub-path identifier reference (ref_to_Subpath_id) that specifies the sub-path to which the playback path of the left-eye IG stream belongs, and a stream file reference (ref_to_subClip_entry_id) that specifies the stream file in which the left-eye IG stream is stored. ) And the packet identifier (ref_to_stream_PID_subclip) of the left-eye IG stream in the stream file.
  • Light-eye stream entry includes a sub-path identifier reference (ref_to_Subpath_id) that specifies the sub-path to which the playback path of the right-eye IG stream belongs, and a stream file reference (ref_to_subClip_entry_id) that specifies the stream file in which the right-eye IG stream is stored. ) And the packet identifier (ref_to_stream_PID_subclip) of the right-eye IG stream in the stream file.
  • the stream file referenced by stream_entry_for_depentdent_view in the stream registration information of the extended stream selection table is different from the stream file referenced by the stream entry of the basic stream selection table, the stream file storing the right-eye IG stream is It must be read again.
  • Communication stream attribute includes language attribute of left-eye IG stream and right-eye IG stream.
  • Steposcopic IG offset sequence reference information is a reference of an offset sequence ID for a stereoscopic type IG stream, and indicates an offset sequence in offset metadata of a dependent-view video stream.
  • the playback device must apply the offset provided by this field to the stereoscopic type IG plane.
  • the reference information of the offset sequence for the PG_text subtitle stream and the reference information of the offset sequence for the IG stream are described in the stream registration information in association with the stream number.
  • Stream entries in the stereoscopic dependent view block must not change in the playlist.
  • the sub path ID reference and the sub clip entry ID reference do not change in the playlist. .
  • the stream attribute stream encoding method in the stereoscopic dependent view block is set to “0x20”.
  • FIG. 10 shows what ES is demultiplexed from the main TS and sub-TS by the basic stream selection table and the extended stream selection table.
  • the demultiplexing unit is shown, and on the upper side, a combination of a basic stream selection table and an extended stream selection table is shown.
  • FIG. 11 shows changes in stream number assignment in 2D output mode and 3D output mode.
  • the column indicates the stream number of primary video stream # 1, the stream number of primary audio streams # 1 and # 2, the stream number of PG_text subtitle streams # 1, # 2 and # 3, and the stream of IG streams # 1 and # 2. Numbers are shown.
  • the ES surrounded only by the broken line on the left side is an ES that is subject to demultiplexing only in the 2D output mode, and indicates that playback is permitted by the stream selection table (STN_table).
  • the ES surrounded only by the broken line on the right side is an ES that is subject to demultiplexing in the 3D output mode, and indicates that playback is permitted by the extension stream selection table (STN_table_SS).
  • the ES surrounded by both the left and right broken line frames indicates the ES to be demultiplexed in the 2D output mode and the 3D output mode.
  • the MPEG4-MVC base-view video stream is surrounded by both the left and right dashed frames, so it can be seen that it is the playback target in both 2D output mode and 3D output mode .
  • the MPEG4-MVC dependent-view video stream is only played back in the 3D output mode because it is surrounded only by the broken line on the right side.
  • PG stream # 1 and PG stream # 2 are 2DPG streams, and are surrounded by left and right broken line frames. This indicates that PG stream # 1 and PG stream # 2 are playback targets in both the 2D output mode and the 3D output mode. On the other hand, since the left-eye PG stream and the right-eye PG stream are surrounded only by the right broken line frame, it can be seen that they are reproduced only in the 3D output mode.
  • IG stream # 1 and IG stream # 2 are 2DIG streams, and are surrounded by left and right broken line frames. This indicates that IG stream # 1 and IG stream # 2 are playback targets in the 2D output mode and the 3D output mode.
  • IG stream # 1 and IG stream # 2 are playback targets in the 2D output mode and the 3D output mode.
  • the left-eye IG stream and the right-eye IG stream are surrounded only by the right dashed line frame, it can be seen that they are reproduced only in the 3D output mode.
  • the dependent view video stream is added as a playback target in the stream type of the video stream in the 3D output mode.
  • the PG stream stream type is added with the left-eye PG stream and the right-eye PG stream.
  • the IG stream type is the left-eye IG stream and the right-eye IG stream. I understand that.
  • the reason why the left-eye PG stream and the right-eye PG stream are added as playback targets is to realize stereoscopic playback using the left-eye PG stream and right-eye PG stream in the 3D output mode.
  • the reason why the left-eye IG stream and the right-eye IG stream are added as playback targets is to realize stereoscopic playback using the left-eye IG stream and right-eye IG stream in the 3D output mode.
  • FIG. 12 shows the internal structure of the playback device.
  • the playback apparatus includes a reading unit 201, a memory 202, a register set 203, a decoder 204, a demultiplexing unit 205, a plane memory set 206, a shift unit 207, a layer synthesis unit 208, a transmission / reception unit 209, and a playback control unit. 210.
  • the internal configuration of this figure only describes the minimum necessary components for implementing the playback apparatus including the problem solving means. A more detailed internal configuration will be left to the description of the subsequent embodiment.
  • the reading unit 201 reads an index table, a program file, a playlist information file, a stream information file, and a stream file from the recording medium.
  • the reading unit 201 uses the extent start point information in the clip base information in the 3D stream information file and the extent start point information in the clip dependent information to perform stereoscopic interleaving.
  • the stream file is divided into an ATC sequence 1 corresponding to the main TS and an ATC sequence 2 corresponding to the sub-TS, and the ATC sequence 1 and the ATC sequence 2 are stored in separate read buffers. .
  • This division includes processing for extracting source packets from the stereoscopic interleaved stream file and adding them to the ATC sequence 1 by the number of packets of the source packet number indicated in the extent start point information in the clip dependent information; This is done by repeating the process of extracting the source packet from the stereoscopic interleaved stream file and adding it to the ATC sequence 2 by the number of packets of the source packet number indicated in the extent start point information in the clip base information.
  • the memory 202 stores a combined stream registration sequence obtained by combining the basic stream selection table and the extended stream selection table included in the playlist information.
  • the register set 203 is composed of various registers for the playback device to operate.
  • the decoder 204 for each stream type includes a video decoder 211, a PG decoder 212, a text subtitle decoder 213, an IG decoder 214, and an audio decoder.
  • the demultiplexing unit 205 includes a source depacketizer that converts a source packet into a TS packet, a PID filter that performs packet filtering, and has a packet identifier described in the stream entry of the basic stream selection table of 3D playlist information
  • the source packet is converted to a TS packet and then output to the decoder.
  • the source packet having the packet identifier described in the stream entry of the stereoscopic stream selection table of the 3D playlist information is converted to a TS packet and then the decoder Output to.
  • Which packet identifier is used among the plurality of entries in the basic stream selection table and the plurality of entries in the extended stream selection table depends on the setting of the stream number register in the player status register.
  • the stream number register is a register that stores the current stream number.
  • the plane memory set 206 is composed of a plurality of plane memories.
  • plane memories constitute a layer model, and the contents stored in each plane memory are used for layer synthesis.
  • the plane memory set includes plane memory for the left eye and plane memory for the right eye, and decodes uncompressed picture data and dependent view view components obtained by decoding the base view view components of individual access units.
  • the uncompressed picture data obtained is written into the left-eye plane memory and the right-eye plane memory. This writing is performed when the playback start time indicated in the presentation time stamp of each access unit comes.
  • the decoded picture data is written to either the left-eye plane memory or the right-eye plane memory depends on the base view indicator in the playlist information. If the base view indicator designates the base view video stream as “for left eye”, the picture data that is the view component of the base view video stream is written to the plane memory for the left eye, and the view component of the dependent view video stream Is written in the plane memory for the right eye.
  • the base view indicator specifies the base view video stream as “for right eye”
  • the picture data that is the view component of the base view video stream is written to the plane memory for the right eye, and the view of the dependent view video stream is displayed.
  • the picture data as a component is written into the plane memory for the left eye.
  • the shift unit 207 shifts the pixel coordinates.
  • the layer synthesis unit 208 performs layer synthesis in a plurality of plane memories.
  • the transmission / reception unit 209 When the transmission / reception unit 209 is connected to another device in the home theater system via an interface, the transmission / reception unit 209 goes to the data transmission phase through the negotiation phase and performs data transmission.
  • this negotiation phase the capabilities (including decoding capability, playback capability, and display frequency) of the counterpart device are ascertained and set in the player setting register to determine the transmission method for subsequent transmissions.
  • Including a mutual authentication phase in which each device is validated.
  • one line of uncompressed and plain text pixel data in the combined picture data is transferred to the display device at a high transfer rate in accordance with the horizontal synchronization period of the display device.
  • audio data in uncompressed / plaintext format is sent to other devices (including not only the display device but also an amplifier and a speaker) connected to the playback device. Forward.
  • devices such as a display device, an amplifier, and a speaker can receive uncompressed / plaintext picture data and uncompressed / plaintext audio data, and can realize reproduction output.
  • the counterpart device has a decoding capability, it is possible to pass-through transmission of a video stream and an audio stream.
  • pass-through transmission a video stream and an audio stream can be transmitted in a compressed / encrypted format.
  • the playback control unit 210 performs random access from an arbitrary time point on the time axis of the video stream. Specifically, when playback from an arbitrary time point on the time axis of the video stream is ordered, an access unit corresponding to the arbitrary point of time using the basic entry map and the extended entry map in the 3D stream information file Search the source packet number of.
  • the access unit includes a set of a view component of a base view video stream and a view component of a dependent view video stream, and a source packet storing an access unit delimiter for the access unit by the search. Source packet numbers are identified. Random access is performed by executing reading from the source packet number and decoding.
  • the main TS, sub-time is used by using the in-time and out-time specified in the main path information of the 3D playlist information and the in-time and out-time specified in the sub-path information.
  • Play list reproduction is started by executing random access to each TS.
  • the video decoder 211 is a representative decoder among the decoders in the decoder set 204, and is preloaded with view components constituting the dependent-view video stream, and is located at the head of the closed GOP in the base-view video stream. Decodes the view component of the picture type (IDR type) intended for refresh. In this decoding, all of the coded data buffer and the decoded data buffer are cleared. After decoding the IDR type view component in this way, the subsequent view component of the base view video stream that is compression-encoded based on the correlation with the view component and the view component of the dependent view video stream are decoded. . If uncompressed picture data for the view component is obtained by decoding, the picture data is stored in the decoded data buffer, and the picture data is used as a reference picture.
  • IDR type picture type
  • motion compensation is performed for the subsequent view component of the base view video stream and the view component of the dependent view video stream. If uncompressed picture data is obtained for the subsequent view component of the base-view video stream and the view component of the dependent-view video stream by motion compensation, these are stored in the decoded data buffer and used as reference pictures.
  • the above decoding is performed when the decoding start time indicated in the decoding time stamp of each access unit arrives.
  • the configuration of the decoder in the PG stream is 1 decoder + 1 plane when the 1 plane + offset method is adopted.
  • the configuration is 2 decoders + 2 planes.
  • the decoder configuration in the IG stream is a 2 decoder + 2 plane configuration when the 3D-LR system is adopted.
  • the configuration is 1 decoder + 1 plane.
  • the structure is 1 decoder + 1 plane.
  • the left-eye PG stream and the right-eye PG stream each include a plurality of display sets.
  • a display set is a collection of functional segments that constitute one screen display.
  • the functional segment is a processing unit that is stored in the payload of a PES packet of about 2 Kbytes and supplied to the decoder, and reproduction control is performed using DTS and PTS.
  • Epoch start display set is a collection of functional segments that start the memory management by resetting the composition buffer, code data buffer, and graphics plane in the graphics decoder, and are necessary for screen configuration. Includes all functional segments.
  • Normal case display set is a display set that performs screen configuration while maintaining memory management of the composition buffer, code data buffer, and graphics plane in the graphics decoder. It includes functional segments that are differences.
  • An acquisition point display set is a display set that includes all functional segments necessary for screen composition, but is a composition buffer, code data buffer, and graphics plane memory in a graphics decoder. It is a display set that does not reset management. This acquisition point display set may have functional segments with different contents from the previous display set.
  • the start and end points of these display sets are assigned to the same point on the playback time axis in the STC sequence for the left eye and the right eye.
  • the types of display sets existing at the same time point on the time axis are the same. That is, if the left-eye display set is an epoch start display set, the right-eye display set at the same time point in the STC sequence time axis becomes an epoch start display set.
  • the right-eye acquisition point display set at the same time on the time axis of the STC sequence is also an epoch start display set.
  • Each display set includes multiple functional segments.
  • the plurality of functional segments include the following.
  • the object definition segment is a functional segment that defines a graphics object.
  • the graphics definition segment defines a graphics object by using a code value and a run length of the code value.
  • the pallet definition segment includes pallet data indicating the correspondence between each code value and luminance, red color difference / blue color difference.
  • the correspondence between the code value, the luminance, and the color difference is set to the same content.
  • Window definition segment is a functional segment that defines a rectangular frame called a window in a plane memory for expanding an uncompressed graphics object on the screen. Drawing of graphics objects is restricted inside the plane memory, and drawing of graphics objects is not possible outside this window.
  • the playback device Since a part of the plane memory is designated as a window for displaying graphics, the playback device does not need to draw graphics for the entire plane. Graphics only need to be drawn for a window of a limited size. Since it is possible to omit drawing of the display plane other than the window, the burden on the software on the playback device side is much lighter.
  • the screen configuration segment is a functional segment that defines the screen configuration using the graphics object, and includes a plurality of control items for the composition controller in the graphics decoder.
  • the screen configuration segment is a functional segment that defines the details of the display set in the graphics stream and also defines the screen configuration using the graphics object.
  • Such screen configurations include Cut-In / Out, Fade-In / Out, Color Change, Scroll, and Wipe-In / Out.
  • End segment A functional segment located at the end of a plurality of functional segments belonging to one display set.
  • the playback device interprets the screen segment to the end segment as a functional segment constituting one display set.
  • the start point of the display set is specified by the DTS of the PES packet storing the screen composition segment
  • the end point of the display set is specified by the PTS of the PES packet storing the screen composition segment.
  • the graphics stream for the left eye and the graphics stream for the right eye are packetized elementary streams (PES), the screen configuration segment is stored in the PES packet, and the PTS of the PES packet storing the screen configuration segment is the screen configuration segment. Indicates when to perform display by the display set to which it belongs.
  • PES packetized elementary streams
  • the PTS value of the PES packet storing the screen composition segment is the same for the left-eye video stream and the right-eye video stream.
  • the PG decoder was obtained by decoding a "coded data buffer” that stores functional segments read from the PG stream, a "stream graphics processor” that decodes screen composition segments to obtain graphics objects, and "Object buffer” for storing graphics objects, "Composition buffer” for storing screen composition segments, and screen composition segments stored in the composition buffer, based on the control items in these screen composition segments, And a “composition controller” that performs screen composition on the graphics plane using the graphics object obtained in the object buffer.
  • a transport buffer for adjusting the input speed of TS packets that make up the functional segment exists in the previous stage of the graphics plane.
  • a CLUT unit that converts the pixel code that configures the graphics object stored in the graphics plane into luminance and color differences based on the graphics plane and the palette definition segment, and a shift unit for plane shift And exist.
  • the pipeline in the PG stream is a graphics object obtained by decoding the object definition segment belonging to the display set that is a graphics decoder and writing the graphics object to the object buffer, and decoding the object definition segment belonging to the preceding display set. Is performed simultaneously with the process of writing the data from the object buffer to the plain memory.
  • FIG. 13 shows the internal configuration of the PG decoder.
  • FIG. 5A shows a decoder model for displaying in the 1 plane + offset mode method.
  • FIG. 5B shows a decoder model for displaying LR data.
  • the part corresponding to the main body of the PG decoder is surrounded by a black frame, and the part corresponding to the latter stage of the PG decoder is surrounded by an alternate long and short dash line.
  • the PG decoder has a single decoder configuration
  • the graphics plane also has a single plane configuration.
  • the graphics plane output is divided into left-eye output and right-eye output, and a shift unit is added to each left-eye output and right-eye output.
  • FIG. 5B there are two pairs of transport buffer, PG decoder, graphics plane, and CLUT, and the left-eye stream and the right-eye stream can be processed independently.
  • the PG decoder Since the offset sequence is included in the video stream for the right eye, in the plain offset format, the PG decoder has a single decoder configuration, and the output of this one PG decoder is switched between the left eye and the right eye.
  • a text subtitle stream is composed of a plurality of subtitle description data.
  • the text subtitle decoder uses a “subtitle processor” that separates text codes and control information from subtitle description data, a “management information buffer” that stores text codes separated from subtitle description data, and font data. , "Text render” that expands the text code in the management information buffer into a bitmap, "object buffer” that stores the bitmap obtained by the expansion, and control information separated from the caption description data, A “drawing control unit” that executes control of text subtitle reproduction along the axis.
  • the text subtitle decoder there is a “font preload buffer” that preloads font data, a “TS buffer” that adjusts the input speed of TS packets that make up the text subtitle stream, and a text subtitle stream that is prior to play item playback.
  • a “caption preload buffer” for preloading.
  • FIG. 14 shows the internal structure of the text subtitle decoder.
  • FIG. 4A shows a decoder model of the text subtitle decoder in the 1 plane + Offset mode
  • FIG. 4B shows a decoder model of the text subtitle decoder in the 3D-LR system.
  • the portion corresponding to the text subtitle decoder main body is surrounded by a black frame
  • the portion corresponding to the subsequent stage of the text subtitle decoder is surrounded by an alternate long and short dash line.
  • a portion corresponding to the preceding stage of the text subtitle decoder is surrounded by a broken line frame.
  • the graphics plane output is divided into left eye and right eye outputs, and a shift unit is added to each left eye output and right eye output.
  • FIG. 5B there are a left-eye graphics plane and a right-eye graphics plane, and a bitmap developed by the text subtitle decoder is written to each of these graphics planes.
  • the text subtitle stream Unlike the PG stream, the text subtitle stream generates subtitles by rendering engine by sending font data and character codes instead of sending graphics data as a bitmap. Therefore, stereoscopic viewing of subtitles is realized by 1plane + Offset mode. To do.
  • Each of the left-eye IG stream and the right-eye IG stream includes a plurality of display sets, and each display set includes a plurality of functional segments.
  • epoch start display sets normal case display sets
  • acquisition point display sets acquisition point display sets
  • epoch continuation display sets There are the following types.
  • This object definition segment is the same as that of the PG stream, except that the graphics object of the IG stream defines the in-effect, out-effect of the page, normal state of the button member, selected state, and active state. Is.
  • the object definition segments are grouped together that define the same state of the button member and those that constitute the same effect video.
  • a group of object definition segments that define the same state is called a graphics data set.
  • the dialog control segment includes a plurality of page information, and the plurality of page information is information defining the screen configuration of the multi-page menu.
  • Each page information includes an effect sequence and a plurality of button information. And a reference value of the palette identifier.
  • the button information is information that realizes an interactive screen configuration on each page constituting the multi-page menu by displaying the graphics object as one state of the button member.
  • the effect sequence is an in-effect that is reproduced prior to display of a page corresponding to page information or an out-effect that is reproduced after display of the page by using a graphics object, and includes effect information.
  • the effect information is information that defines an individual screen configuration when playing an in-effect or an out-effect, and what screen configuration should be executed in the window (partial area) defined by the window definition segment on the graphics plane.
  • a screen composition object that defines the kika and effect period information indicating a time interval between the next screen composition in the same area.
  • the screen configuration object in the effect sequence specifies the same control content as the screen configuration segment of the PG stream.
  • the one that defines the graphics object used for the in-effect is arranged before the object definition segment that defines the graphics object used for the button member in the graphics data string.
  • Each button information in the page information is information that realizes an interactive screen configuration on each page constituting the multi-page menu by displaying the graphics object as one state of the button member.
  • the button information includes a set button page command.
  • the set button page command causes the playback device to perform processing for setting a page other than the first page as the current page when the corresponding button member is activated. It is a command.
  • End segment A functional segment located at the end of a plurality of functional segments belonging to one display set.
  • the dialogue control segment to this end segment are interpreted as functional segments constituting one display set.
  • control items of the same dialog control segment in the left-eye graphics stream and the right-eye graphics stream include button proximity information, selection timeout time stamp, user timeout duration, and composition timeout information.
  • Button proximity information is information that designates which button should be selected when a certain button is in the selected state and there is a key operation instructing one of the up, down, left, and right directions. .
  • Selection time-out time stamp indicates a time-out time for automatically activating the button member in the current page and causing the playback device to execute the set button page command.
  • the user timeout duration indicates a timeout period for returning the current page to the first page so that only the first page is displayed.
  • composition time-out information indicates a time for ending the interactive screen display by the dialog control segment.
  • the start time of the display set is specified by the DTS of the PES packet storing the dialog control segment
  • the end time of the display set is specified by the composition timeout time of the dialog control segment.
  • these DTS and composition timeout time are set to the same time.
  • the IG decoder is obtained by decoding a "coded data buffer” that stores functional segments read from the IG stream, a "stream graphics processor” that decodes screen composition segments to obtain graphics objects, and
  • the "object buffer” that stores the graphics objects that are stored, the “composition buffer” that stores the screen composition segments, and the screen composition segments that are stored in the composition buffer are decoded, and the control items in these screen composition segments
  • a “composition controller” that configures a screen on the graphics plane using the graphics object obtained in the object buffer.
  • FIG. 15 shows a decoder model of the IG decoder.
  • the portion corresponding to the IG decoder body is surrounded by a black frame, and the portion corresponding to the latter stage of the graphics decoder is surrounded by a one-dot chain line.
  • the portion corresponding to the previous stage of the IG decoder is surrounded by a broken line frame.
  • FIG. 15A shows a decoder model for displaying a 2D format IG stream in the LR format by the 1 plane + Offset mode method.
  • FIG. 4B shows an IG stream decoder model, which is a decoder model for displaying LR data. *
  • These decoders include a circuit for reflecting the value of the system parameter in the offset in order to control the depth information of the menu graphics from the program.
  • Figure (b) is a two-decoder model, and the offset value can be changed by a command. Therefore, the depth information of the menu can be changed with a command. Offset values are also given different values on the left and right. On the other hand, in the case of the Depth method, Offset becomes invalid.
  • the composition controller in the graphics decoder displays, using the graphics data of the graphics data set corresponding to the selected state, the button member that is the current button among the button members that exist on the dialog screen, and the other button members are displayed as normal. By displaying the graphics data set corresponding to the state, the initial display of the interactive screen is realized.
  • the button number of the button member in the normal state located around the current button and existing in the direction designated by the user operation Writing to the register, the button member that has newly become the current button is changed from the normal state to the selected state by the writing.
  • the dialog screen is updated by taking out the graphics data constituting the active state from the graphics data set and displaying it. Is realized. *
  • dialog screen updates need to be executed in common for the left eye and right eye, so in the 2-decoder model, the composition controller is shared between the left-eye graphics decoder and the right-eye graphics decoder. It is desirable to do.
  • the left-eye navigation command and the right-eye navigation command in the stereoscopic IG stream are made the same, and the button configuration of the graphics object for 3D and 2D is made the same, thereby realizing mutual switching.
  • the 2DIG stream and the stereoscopic IG stream have the same attributes and number of navigation commands and button information, only the display of the graphics object can be switched. Switching from 3D-LR mode to L image only can be switched without reloading, but the display position may be biased. It is desirable that the title creator's intention of which one is adopted is indicated by a flag, and the playback apparatus performs switching based on this flag.
  • ⁇ Reload does not occur when switching between 1plane + Offset mode and 2D mode. This is because it is not necessary to load the IG stream and only invalidate the Offset.
  • ⁇ Reloading occurs when switching between 3D-LR mode and 2D mode because the stream is different.
  • the process of superimposing the pixel values of the pixel data stored in the plane memory between layers in the layer model of the plane memory is executed for all combinations between the layers in the layer model. That is done.
  • the process of superimposing the pixel values of the pixel data stored in the plane memory of the two layers in the layer model of the plane memory is performed for all combinations of the two layers in the layer model. It is done by executing.
  • the pixel value of the line unit of the plane memory located in a certain layer is multiplied by the transmittance ⁇ as a weight
  • the pixel value of the line unit of the plane memory located in the lower layer is multiplied by (1-transmission ⁇ ) Is added to the pixel values that have been weighted for luminance, and the addition result is used as the pixel value of the pixel in line units in the hierarchy.
  • the layer composition is realized by repeatedly performing the superimposition between the hierarchies between the line-unit pixels located in two adjacent hierarchies of the layer model.
  • a multiplication unit for multiplying individual pixel values by an equivalence rate and an addition unit for performing addition between pixels are provided. Including.
  • FIG. 16 shows a circuit configuration for synthesizing the output of the decoder model and outputting it in the 3D-LR system.
  • the layer model of the video plane, PG plane, and IG plane is surrounded by a black frame, and the portion corresponding to the subsequent stage of the plane memory is surrounded by a one-dot chain line.
  • the plane memory configuration in the 3D-LR system is divided into a left plane and a right plane for each of the video plane, PG plane, and IG plane.
  • the output of the plane memory is subjected to layer synthesis for each of the left eye and the right eye.
  • FIG. 17 shows a circuit configuration for synthesizing the outputs of these decoder models and outputting them in the 1 plane + offset mode method.
  • the layer model of the left-eye video plane, right-eye video plane, PG plane, and IG plane is enclosed by a black frame, and the portion corresponding to the subsequent stage of the plane memory is enclosed by a one-dot chain line.
  • a video plane for the left eye and one for the right eye are prepared.
  • the PG plane and IG plane are not separated for the left eye and the right eye, and there is only one common plane memory for the left eye and the right eye.
  • the layer synthesis as described above is performed for each of the left-eye output and the right-eye output.
  • the playback device hardware configuration is basically 2 decoders + 2 planes, 1 plane + offset mode, 2D
  • the playback device is switched to the output mode, one of the combinations of 1 decoder and 1 plane is invalidated to have a 1 decoder + 1 plane configuration.
  • the manufacturer that manufactures the playback device can freely determine whether the above decoder model is a 1-decoder configuration, a 2-decoder configuration, a plane model is a 1-plane configuration, or a 2-plane configuration.
  • a high-end model with a 2-decoder configuration and 2-plane configuration by design set it as having stereoscopic PG playback capability and stereoscopic IG playback capability, and selling as a low-priced model
  • the lineup can be enhanced by setting no stereoscopic PG playback capability and no stereoscopic IG playback capability.
  • Such a configuration for presence / absence of the reproduction capability of the stereoscopic PG and a configuration for the presence / absence of the reproduction capability of the stereoscopic IG exist in the register set.
  • the register set includes a plurality of player status registers and a plurality of player setting registers.
  • Each of the player status register and the player setting register is a register having a word length of 32 bits.
  • Each register having a 32-bit length is given a register number, and the register to be accessed is specified by using this register number.
  • each bit data that constitutes one word (32 bits) of each register is called b0 to b31.
  • the most significant bit is called b31, and the least significant bit is called b0.
  • the bit range from the bit position of the bx bit to the bit position of the by bit is expressed by the notation [bx: by].
  • a 32-bit length bit string stored in the player setting register / player status register of a predetermined register number and having a value in an arbitrary bit range [bx: by] is the value of the operating system when the program operates. Treated as environment variables (system parameters or player variables).
  • a program that performs playback control can acquire system parameters through system properties and an application programming interface (API). Unless otherwise prohibited, the program can rewrite the values of the player status register and player setting register. For an object-oriented programming language-based program, it is a requirement that legitimate authority is given to obtain and rewrite system parameters.
  • the player status register is a hardware resource for storing the numerical value that is the operand when the MPU of the playback device performs an arithmetic operation or a bit operation, and the initial value is set when the optical disc is loaded.
  • This is a register for determining the validity of the stored value when the state of the playback device changes, such as a change of the current play item.
  • the stored value includes a current title number, a current playlist number, a current play item number, a current stream number, a current chapter number, and the like. Since the initial value is stored when the optical disk is loaded, the stored value is temporary. If the optical disk is ejected or the playback apparatus is turned off, the stored value loses its validity.
  • the player setting register is different from the player status register in that power supply measures are taken. Since power supply measures are taken, the stored value is saved in a non-volatile memory when the playback device is turned off, and the stored value is restored when the playback device is powered on.
  • FIG. 18 is a diagram depicting the internal configuration of the register set 203 and the playback control unit.
  • the left side of the figure shows the internal configuration of the register set 203.
  • the right side shows the internal structure of the playback control unit.
  • the player status register and the player setting register to which the respective register numbers are assigned indicate what they are.
  • PSR0 is a stream number register for the IG stream, and stores the current IG stream number.
  • PSR2 is a stream number register for the PG stream and stores the current PG stream number.
  • PSR24 is a setting of “Player Capability for 3D”. This indicates whether or not the playback device has the ability to perform stereoscopic playback.
  • the playback control unit refers to the PSR 24 in the register set 203 and the stream selection table of the current playlist information in the memory, and a stream selection procedure that uniquely determines the current PG stream number and the current IG stream number in the current playlist. Exists.
  • This stream selection procedure includes “Initialization” and “Procedure playback condition changed”.
  • FIG. 19 shows the bit assignment of PSR24.
  • PSR24 represents the 3D capability of the playback device.
  • the program in the recording medium cannot change the value of PSR24.
  • B0 indicates stereoscopic display 1280 x 720 50p video display capability.
  • the stereoscopic display 1280 ⁇ 720 50p video display capability is set to “0”, it indicates that the playback device does not have processing capability to display 1280 ⁇ 720/50 Hz progressive video.
  • the playback apparatus has a playback capability of playing back 1280 ⁇ 720/50 Hz progressive video.
  • B2 indicates stereoscopic PG capability.
  • the stereoscopic PG capability is set to “0” to indicate that the playback device does not have the capability of playing back the stereoscopic PG. Setting it to “1” indicates that the playback device has the capability of playing back the stereoscopic PG.
  • B3 indicates stereoscopic IG capability.
  • the stereoscopic IG capability is set to “0” to indicate that the playback device does not have the ability to reproduce the stereoscopic IG. Setting it to “1” indicates that the playback apparatus has the ability to play back the stereoscopic IG.
  • B5 indicates the capability of BD-J mode in 3D output mode. When this b5 is set to “1”, it indicates that the playback apparatus can process the BD-J mode in the 3D output mode. When b5 is set to “0”, it indicates that the playback apparatus cannot process the BD-J mode in the 3D output mode. Since the usage of b5 of PSR24 is out of the main point of the present embodiment, the explanation will be given to the subsequent embodiment.
  • each of the IG decoder and PG decoder is configured with two decoders and each of IG and PG is stereoscopically supported.
  • a configuration is possible in which only PG is supported for stereoscopic viewing and IG is only supported for 1 plane + offset.
  • each IG and PG in order to sell the playback device as a low-priced model, it is possible to configure each IG and PG to be compatible with 1 plane + Offset while each IG decoder and PG decoder is configured with two decoders. Since it is configured with a common configuration of two decoder models, the availability of IG stereoscopic view and PG stereoscopic view can be changed according to the grade of the model, so when the manufacturer commercializes the playback device It will be possible to enhance the lineup.
  • both PG and IG are configured with one decoder, the possibility of stereoscopic playback is clearly indicated, so even if the playlist to be played is compatible with stereoscopic viewing, the playback type is incorrect. Setting to stereoscopic PG and stereoscopic IG can be prevented.
  • the above reproduction control can be realized by describing the processing procedures shown in the flowcharts of FIGS. 20 to 25 in an object-oriented compiler language and causing the computer to execute them.
  • FIG. 20 shows a playlist playback procedure.
  • This flowchart constitutes a loop in which the current play item number is set to 1 in step S1, and then the processing in steps S2 to S6 is repeated.
  • the stream number is determined by Procedure when playback condition is changed (step S2), the stream file storing the ES corresponding to the stream number is opened, the source packet sequence is read (step S3), and read.
  • the source packet sequence corresponding to the stream number is instructed to be demultiplexed (step S4), and the read source packet is output from the in-time to the out-time of the play item and out from the in-time of the sub-play item.
  • the process of instructing the decoder to play until time is repeated until the current play item number reaches the final number. If it is not the final number (No in step S6), the current play item number is incremented and the process proceeds to step S2.
  • step S7 it is determined whether or not there is a stream selection request in step S7, and if there is a request, the requested stream number is set to x and Procedure when stream change is requested is executed (step S8). If it is the final number, the process ends (Yes in step S6).
  • the PG_text subtitle stream referred to by the PG_text subtitle stream number of PSR2 is selected using the output mode (PSR22), the stereoscopic PG capability in PSR24, and is_SS_PG.
  • FIG. 21 is a flowchart showing the processing procedure for the Procedure when playback condition is changed for the PGtestST stream.
  • the processes in steps S11 to S22 are common to the 3D output mode and the 2D output mode.
  • Steps S23 to S26 are processing specific to the 3D output mode.
  • step S11 the current PG_text subtitle stream number is acquired from PSR2, and in step S12, it is determined whether the current PG_text subtitle stream number is for the PG stream or the text subtitle stream.
  • step S13 checks whether or not the PG stream corresponding to the current PG_text subtitle stream number satisfies the condition (A) and the condition (B).
  • condition (A) and condition (B) are defined as follows.
  • the playback device has the ability to decode the PG stream specified from the current PG_text subtitle stream number.
  • the playback device has the ability to play the specified language.
  • step S14 it is checked whether or not the text subtitle stream corresponding to the current PG_text subtitle stream number satisfies the condition (A) and the condition (B).
  • the playback device has the ability to expand the character code of the text subtitle stream of the current PG_text subtitle stream number into a bitmap. Such reproduction capability is indicated by PSR 30 in the register set 23.
  • the playback device must have the ability to support the language characteristics of the text subtitle stream of the current PG_text subtitle stream number.
  • the text subtitle stream of that language can be said to be “decoded”, and the character code in that language is expanded into a bitmap. Capabilities and support capabilities that support the characteristics of the language need to exist on the playback device side.
  • the English subtitles display is supported only for the language characteristics when the functions of "horizontal writing", “kerning”, and “ligature / hugging” are supported. Judgment can be made.
  • Japanese subtitles can be determined to support language characteristics only when the functions “horizontal writing”, “vertical writing”, “line ending prohibition”, and “ruby” are supported.
  • Arabic subtitle display can be determined to support the language characteristics only when the functions of “drawing from right to left” and “ligatures / hugging” are supported.
  • a text subtitle stream of a certain language can be developed into a bitmap and the characteristics of the language can be supported, it can be said that the above conditions (A) and (B) are satisfied. If the text subtitle stream of the language can be expanded into a bitmap, but the characteristics of the language cannot be supported, the condition (B) is not satisfied and only the condition (A) is satisfied be able to.
  • the support capability for each language is set for each language in each bit of PSR48 to 61 in the register set. Specifically, in PSR48 to 61, there are flags corresponding to each of the 3-byte language codes defined in IS0639-2 / T. In these flags, text subtitles corresponding to each language code are present. The presence or absence of display capability is set.
  • the 3-byte code “ita” indicates Italian
  • the 3-byte code “jpn” indicates Japanese
  • the 3-byte code “jav” indicates Javanese. Since the language codes defined in IS0639-2 / T cover 430 languages in this way by 3-byte codes, the text subtitle stream described in the stream number table can be decoded when determining the current PG_text subtitle stream. In determining whether or not, the flags in the PSRs 48 to 61 are referred to. In this way, it is possible to properly determine whether or not even a minority language can be decoded.
  • step S15 the playback device determines whether or not the condition (Z) is satisfied.
  • the condition (Z) means that the user plays back subtitles in an unsupported language that does not support language characteristics. This intention is shown in PSR30 in the register set.
  • step S16 is executed. This is to determine whether or not the number of PG_text subtitle streams in the stream selection table of the current play item is zero. If there is no PG_text subtitle stream that is permitted to be played back in the stream selection table, the PG_text subtitle stream number in PSR2 is maintained (step S17).
  • step S18 is executed. This is a step for asking the validity of the current PG_text subtitle stream number, is the current PG_text subtitle stream number less than or equal to the total number of stream_entry in the stream selection table, and satisfies the conditions (A) and (B)? Determine if.
  • step S20 determines whether or not the current PG_text subtitle stream number is equal to or less than the total number of stream_entry in the stream selection table and satisfies the conditions (A) and (Z). If it is satisfied, the PG_text subtitle stream number of the text subtitle in the unsupported language is set in PSR2, but since the user intends to play back the unsupported language, PSR2 is not changed (step S21). If it is determined in step S20 that the condition is not satisfied, an optimum stream for the current play item is selected (step S22).
  • the subsequent steps S23 to S25 are processes specific to the 3D output mode. Specifically, in the 3D output mode, is_SS_PG of the PG stream specified by the PG stream number of PSR2 is acquired from the stream registration information in the extension stream selection table (step S23), and the acquired is_SS_PG flag is “1”. In addition, it is determined whether or not the b2 stereoscopic PG capability in the PSR 24 is “1” (step S24). If step S24 is Yes, the playback type is set to stereoscopic PG using the left eye PG stream and right eye PG stream (step S25).
  • the demultiplexing unit performs demultiplexing of the TS packet of the packet identifier corresponding to the stream number of the current stream stored in PSR2 but indicated by the packet identifier reference in the right eye stream entry and the left eye stream entry. Make it.
  • step S24 the playback type is set to 1 plane + OffsetPG (step S26).
  • the playback type is 1 plane + Offset PG
  • the offset sequence will be described. There are a plurality of offset sequences used in the 1 plane + Offset mode in the video access unit of the dependent-view video stream.
  • the video access unit of the dependent-view video stream is configured by arranging the video access unit delimiter, sequence parameter set, picture parameter set, MVC scalable nesting SEI message, first view component, sequence end code, stream end code Is done.
  • a user data container exists in the MVC scalable nesting SEI message.
  • the user data container is unregistered user data (unregistered user data), and there are three types: closed caption information, GOP structure map, and offset metadata. Which of these types is specified in the type_indicator in the container.
  • the offset metadata is a sequence list for the PG plane, the IG plane, and the BD-J plane.
  • the presentation graphics_text subtitle and the IG / BD-J plane are played back in the 1 plane + Offset mode in the stereoscopic playback mode. Used for offset setting. Specifically, offset control for the PG plane, the IG plane, and the BD-J plane when the graphics to be combined with the picture data is reproduced in the 1 plane + Offset mode is shown.
  • the offset metadata must be stored in the MVC scalable nesting SEI message of the first video component of each GOP in the dependent view access unit encoding order.
  • the offset sequence is a parameter sequence that indicates control parameters in the case of synthesizing each piece of picture data belonging to the group of pictures and graphics, and is composed of the number of control parameters indicated by number_of_displayed_frames_in_GOP.
  • the This control parameter includes plane offset direction information and a plane offset value.
  • the plane offset direction information (Plane_offset_direction) indicates the offset direction in the plane.
  • Behind setting with value 1, that is, the plane memory exists behind the TV or screen, and the plane is shifted to the left in the left view period, and the plane is shifted to the right in the right view period.
  • the plane offset direction information indicates the front setting, the Z-axis coordinate of the control parameter in the three-dimensional coordinate system is a positive coordinate.
  • the plane offset direction information indicates behind setting, the Z-axis coordinate of the control parameter in the three-dimensional coordinate system is a negative coordinate.
  • the plane offset value (Plane_offset_value) is a designation of the horizontal displacement amount of the pixels constituting the graphics, and indicates the plane offset value in units of pixels.
  • FIG. 22 is a flowchart showing a processing procedure for selecting an optimum PG_text subtitle stream for the current playitem.
  • step S30 it is checked whether or not all the PG_text subtitle streams satisfy the conditions (a) to (c).
  • conditions (a) to (c) are defined as follows.
  • the playback device has the ability to decode PG stream i.
  • PG_language_code of PG stream i matches the language setting in the playback device.
  • the language setting in the playback apparatus is indicated by PSR17 in the register set.
  • conditions (a) to (c) are defined as follows.
  • the playback device must have the ability to expand the character code of the text subtitle stream i into a bitmap.
  • the playback device has the ability to support the language attribute of the text subtitle stream i.
  • step S31 it is determined whether or not the playback device satisfies the condition (Z) (: playback of unsupported language) described in the previous flowchart. If not, it is determined in step S32 whether there is a PG_text subtitle stream that satisfies the conditions (a) to (c). If there is a PG_text subtitle stream satisfying the conditions (a) to (c), select the stream entry whose corresponding stream entry is at the top in the stream selection table, and select the selected PG_text subtitle stream number. , PSR2 is set (step S33).
  • step S34 If there is no PG_text subtitle stream that satisfies the conditions (a) to (c), it is determined in step S34 whether or not there is a PG_text subtitle stream that satisfies a more relaxed condition.
  • the relaxed condition means that the condition (a) and the condition (b) are satisfied, and it is determined in step S34 whether there is a PG_text subtitle stream that satisfies this condition. If there is a PG_text subtitle stream satisfying the conditions (a) and (b), select the stream entry whose corresponding stream entry is at the top in the stream selection table and select the selected PG_text subtitle stream number. , PSR2 is set (step S36).
  • step S35 If not, the PG_text subtitle stream number of 0xFFF is set in PSR2 (step S35). If it is determined in step S31 that the condition (Z) is satisfied, it is determined in step S37 whether a PG_text subtitle stream that satisfies another relaxed condition exists. The other relaxed conditions satisfy the conditions (a) and (c). In step S37, it is determined whether or not there is a PG_text subtitle stream that satisfies these conditions.
  • the PG_text subtitle stream number of the selected PG_text subtitle stream satisfying the condition (a) and the condition (c) is selected by selecting the stream stream corresponding to the first entry in the stream selection table. Is set to PSR2 (step S38).
  • step S39 it is determined in step S39 whether there is a PG_text subtitle stream that satisfies the condition (a). If present, select the PG_text subtitle stream that satisfies the condition (a) whose corresponding stream entry is at the top in the stream selection table, and set the selected PG_text subtitle stream number to PSR2 (Step S40). If not, 0xFFF is set to PSR2 (step S35).
  • FIG. 23 is a flowchart showing a procedure of “Procedure when stream change is requested” to be executed when a stream change is requested by the set stereoscopic stream command (SetstreamSSCommand).
  • step S41 it is determined whether the number X designated by the operand in the set stereoscopic stream command means the stream number for the PG stream or the stream number for the text subtitle stream.
  • step S42 checks whether or not the PG stream (PGx) corresponding to the number X satisfies the following conditions (A) and (B).
  • the playback device must be capable of decoding the PG stream specified by number X.
  • Step S43 checks whether or not the text subtitle stream (textSTx) corresponding to the number X satisfies the following condition (A) and condition (B).
  • the playback device has the ability to expand the character code of the text subtitle stream X corresponding to the number X into a bitmap.
  • the playback device must have the ability to support the language attribute of the text subtitle stream X corresponding to the number X.
  • step S44 the playback device checks whether or not the condition (Z) is satisfied, and performs the determination in step S45. In this determination, it is determined whether or not the number is equal to or less than the total number of stream_entry in the stream selection table and the conditions (A) and (B) are satisfied. If it satisfies, the PG_text subtitle stream of the PG_text subtitle stream number corresponding to the number X is selected and set to PSR2 (step S46).
  • step S45 If it is determined in step S45 that the condition is not satisfied, the determination in step S47 is executed. This determination is to determine whether the number is equal to or less than the total number of stream_entry in the stream selection table and satisfies the conditions (A) and (Z). If satisfied, the PG_text subtitle stream corresponding to the number X is selected, and the PG_text subtitle stream number is set to PSR2 (step S48).
  • step S49 the determination in step S49 is performed. This determination is to determine whether the number X is 0xFFF. Otherwise, the PSR2 value is maintained assuming that there is no PG_text subtitle stream that is permitted to be played back in the stream selection table (step S50).
  • an optimal PG_text subtitle stream is selected for the current play item (step S51).
  • the selection of the optimum PG_text subtitle stream is the same as that shown in FIG.
  • the subsequent steps S52 to S55 are processes specific to the 3D output mode. Specifically, the is_SS_PG of the PG stream X specified by the PG stream number X is acquired from the stream registration information in the extension stream selection table (step S52), the acquired is_SS_PG flag is “1”, and the PSR24 It is determined whether or not the stereoscopic PG capability is “1” (step S53). If step S53 is Yes, the playback type is set to stereoscopic PG (step S54). If step S53 is No, the playback type is set to 1 plane + Offset (step S55).
  • FIG. 24 is a flowchart showing the processing procedure of Procedure when stream is requested to be executed when a stream change is requested by a set stream command or a user operation requesting a stream number change.
  • step S56 the stream number designated by the operand of the set stream command or the stream number designated by the user operation requesting the stream number change is set to the number X, and then steps S41 to S55 are performed. Execute the process. Since the processing contents of steps S41 to S55 are the same as those in FIG. 23, the same reference numerals are given and the description thereof is omitted.
  • the IG stream referred to by the IG stream number of PSR0 is selected using the output mode in PSR22, the stereoscopic PG capability in PSR24, and is_SS_IG.
  • FIG. 25 is a flowchart showing a processing procedure for determining the current IG stream and determining the reproduction type of the current IG stream.
  • FIG. 25 (a) shows Procedure when playback condition is changed for determining the current IG stream when the play item changes and the playback state of the playback device changes.
  • steps S61 to S65 are steps common to the 2D output mode and the 3D output mode
  • steps S64 to S67 are steps unique to the 3D output mode.
  • Step S61 is a determination of whether or not the number of entries in the stream selection table is 0. If it is 0, the value of PSR0 is maintained (step S64).
  • Step S62 determines whether the number of entries in the stream selection table is larger than that in PSR0 when the number of entries in the stream selection table is not zero. If Step S62 is Yes, PSR0 is maintained (Step S65). If the value of PSR0 is larger than the entry number, 1 is set in PSR0 (step S63). The subsequent steps S64 to S67 are unique to the 3D output mode. In the 3D output mode, is_SS_IG of the IG stream specified by the IG stream number of PSR0 is acquired from the stream registration information in the extension stream selection table (step S64), the acquired is_SS_IG flag is “1”, and in PSR24 It is determined whether or not the stereoscopic IG capability indicated by b3 is “1” (step S65).
  • step S65 the playback type is set to stereoscopic IG (step S66).
  • the playback type is stereoscopic IG
  • the packet identifier reference in the right eye stream entry and the left eye stream entry corresponding to the stream number of the current stream stored in PSR0 among the plurality of stream registration information in the extended stream selection table is displayed. Used to perform stereoscopic reproduction.
  • the demultiplexing unit performs demultiplexing of the TS packet of the packet identifier corresponding to the stream number of the current stream stored in PSR0 but designated by the packet identifier reference in the right eye stream entry and the left eye stream entry. Make it.
  • step S65 the playback type is set to 1 plane + OffsetIG (step S67).
  • the playback type is 1plane + OffsetIG
  • the offset sequence indicated by the stereoscopic IG offset sequence ID reference information corresponding to the stream number of the current stream stored in PSR0 among a plurality of stream registration information in the extended stream selection table Is used to perform IG playback in 1plane + Offset mode.
  • the offset sequence indicated by the stereoscopic IG offset sequence ID reference information is extracted from the video decoder and supplied to the shift unit To do.
  • FIG. 25 (b) is a flowchart showing the setting procedure of PSR0 when a stream change is requested by a set stereoscopic stream command (SetstreamSSCommand), a set stream command, and a user operation requesting a stream number change.
  • SetstreamSSCommand set stereoscopic stream command
  • FIG. 25 (b) is a flowchart showing the setting procedure of PSR0 when a stream change is requested by a set stereoscopic stream command (SetstreamSSCommand), a set stream command, and a user operation requesting a stream number change.
  • the stream number specified by the command operand or the user operation is number X.
  • Step S71 in this flowchart determines whether the number of entries in the stream selection table is greater than the number X. If X satisfies this condition, X is set in PSR0 (step S74). If X is larger than the entry number, 1 is set to PSR0 (step S72). In the 3D output mode, is_SS_IG of the IG stream specified by the IG stream number of PSR0 is acquired from the stream registration information in the extension stream selection table (step S73), the acquired is_SS_IG flag is “1”, and in PSR24 It is determined whether or not the stereoscopic IG capability is “1” (step S74). If step S74 is Yes, the playback type is set to stereoscopic IG (step S75). If step S74 is No, the playback type is set to 1 plane + Offset (step S76).
  • FIG. 26 shows what packet identifiers are output to the demultiplexing unit according to the combined stream registration sequence.
  • the combined stream registration sequence includes three stream registration information in the basic stream selection table and three stream registration information in the extension stream selection table.
  • the three stream registration information in the basic stream selection table has stream numbers “1”, “2”, and “3”, and the stream attributes in the three stream registration information are English, Japanese, and Chinese. Language attribute.
  • the three stream registration information in the extended stream selection table has stream numbers “1”, “2”, and “3”, and the stream attributes in the three stream registration information are English, Japanese, and Chinese. Language attribute.
  • the stream identifier in the stream entry is different between the stream registration information in the basic stream selection table and the stream registration information in the extension stream selection table.
  • the stream registration information in the extension stream selection table is the left-eye PG stream for the BD presentation mode. Packet identifier for the right eye PG stream.
  • FIG. 5B shows the setting of the stream number and the packet identifier when such a combined stream registration sequence is supplied to a playback device whose language setting is Chinese and whose output mode is set to 2D output mode. Output.
  • the arrows with a1, a2, and a3 in the figure schematically show language setting match determination, stream number setting in the stream number register, and packet identifier output to the demultiplexing unit.
  • FIG. 26 (c) shows the setting of the stream number and the packet identifier when such a combined stream registration sequence is supplied to a playback device whose language setting is Chinese and whose playback type is set to stereoscopic PG. Output.
  • the arrows a4, a5, and a6 in the figure schematically indicate language setting match determination, stream number setting for the stream number register, and packet identifier output to the demultiplexing unit.
  • FIG. 27 shows what packet identifiers are output to the demultiplexing unit according to the combined stream registration sequence.
  • FIG. 27 (a) shows a combined stream registration sequence used as the subject of the operation example.
  • the combined stream registration sequence includes three stream registration information in the basic stream selection table and three stream registration information in the extension stream selection table.
  • the three stream registration information in the basic stream selection table has stream numbers “1”, “2”, and “3”, respectively.
  • the stream attributes in the three stream registration information are all Chinese language attributes. have.
  • the three stream registration information in the extended stream selection table has stream numbers “1”, “2”, and “3”, respectively, and the stream attributes in the three stream registration information also have Chinese language attributes. is doing.
  • the stream identifier in the stream entry is different between the stream registration information in the basic stream selection table and the stream registration information in the extension stream selection table.
  • the stream registration information in the extension stream selection table is the left-eye PG stream for the BD presentation mode. Packet identifier for the right eye PG stream.
  • FIG. 5B shows the setting of the stream number and the packet identifier when such a combined stream registration sequence is supplied to a playback device whose language setting is Chinese and whose output mode is set to 2D output mode. Output.
  • the arrows with a1, a2, and a3 in the figure schematically indicate language setting match determination, stream number setting, and packet identifier output.
  • the packet identifier in the stream entry in the basic stream selection table is output to the demultiplexing unit.
  • the TS packet specified by the packet identifier of the stream entry in the stream registration information of the stream number “1” in the basic stream selection table is output to the decoder.
  • (C) shows the setting of the stream number and the output of the packet identifier when such a combined stream registration sequence is supplied to a playback device whose language setting is Chinese and whose playback type is set to 1 plane + Offset type. Show.
  • the arrows a4, a5, and a6 in the figure schematically indicate language setting match determination, stream number setting, and packet identifier output.
  • the stream registration information of the stream number “1” it is determined that the language setting on the playback device side matches the stream attribute, and the stream number included in the stream registration information of the stream number “1” is the stream number register. Is written to.
  • the packet identifier in the stream entry in the basic stream selection table is output to the demultiplexing unit.
  • two types of TS packets specified by the set of packet identifiers stored in the stream entry in the stream registration information of the stream number “1” in the extension stream selection table are output to the decoder.
  • the capability flag As described above, according to the present embodiment, whether or not the stereoscopic effect of graphics is feasible is indicated by the capability flag, and the graphics that is set to be capable of the stereoscopic effect in the extension stream selection table is described. As for the stream, whether or not to perform the stereoscopic effect of the graphics is conditioned by the capability flag. Therefore, even if the graphics stream having the stereoscopic effect is recorded on the recording medium, the manufacturer can display the capability flag. By setting “No Capability”, the stereoscopic effect of the graphics stream can be stopped, and offset control that facilitates quality control can be executed instead.
  • the presence / absence of processing ability of stereoscopic IG and stereoscopic PG, and the playback type of IG and PG are determined by the stream selection procedure.
  • the output mode in the playback device is determined by the mode selection procedure. This is an embodiment.
  • This mode selection procedure is executed when a title is selected.
  • the title of this specification has at least one operation mode object as an essential component.
  • the operation mode object is an operation management table that defines details of the behavior of the playback device during title playback in a certain mode. These titles are classified into HDMV titles and BD-J titles.
  • HDMV title is a title that should be played in HDMV mode, and consists of a movie object and a playlist (playlist information, clip information, stream file) that is played by a playback command in the movie object. Is done.
  • the “movie object” is an operation mode object associated with the title number of the HDMV title in the index table, and a resume flag indicating whether resume is possible or a menu call is added to the batch program composed of the navigation command string.
  • a flag indicating whether or not to mask is associated with a flag indicating whether or not to mask the title search.
  • BD-J title is a title to be played in BD-J mode, and consists of a class archive file and a BD-J object.
  • a class archive file is a file in which a class structure file (class file) of a bytecode application is archived together with a digital certificate manifest file, a disk signature signature file, a disk signature encryption key file, and a permission request file. is there.
  • the application is loaded together as a class archive file.
  • the validity of the application can be verified using a digital certificate, a disk signature, and a disk signature encryption key.
  • the permission request file exists, the operation by the application can be limited to those given a certain authority.
  • a bytecode application that is archived in a class archive file is an executable program obtained by compiling a class structure written using object-oriented programming language source code. Code).
  • the bytecode application in the present embodiment is event-driven, and state transition is performed by an event. There are four state transition states: "Loaded”, “Pause”, “Active”, and "Destroid”.
  • key events that trigger application operations are registered in advance. .
  • the key event that triggers the operation of the bytecode application is registered by an event listener of the xlet interface. This completes the description of the class archive file.
  • BD-J object specifies the details of the behavior of the playback device in BD-J mode.
  • the details of the behavior are as follows: application class loading when the corresponding title becomes the current title (1), application signaling when the corresponding title becomes the current title (2), activated by the application signaling HAVi device configuration (3) when the application executes GUI processing, playlist access for the current title (4), cache-in / cache-out of the class archive file when the corresponding title becomes the current title (5 ),
  • event assignment (6) in which an event that triggers an activated application is assigned to a key.
  • “Class loading” is a process of generating an instance of a class file archived in a class archive file in the platform heap area.
  • “Application signaling” is an application that automatically starts an application that is an instance of a class file. It is control which prescribes whether or not the life cycle of the application is the title boundary or the disc boundary.
  • the title boundary is management that causes a thread that is an application to disappear from the heap area simultaneously with the end of the title
  • the disk boundary is management that causes a thread that is an application to disappear from the heap area simultaneously with the disk ejection.
  • control that does not delete a thread from the heap area even if the disk is ejected is called “disk unboundary”.
  • “HAVi device configuration” defines the resolution of the graphics plane and the font used for character display when the application executes the GUI processing.
  • Playlist access is the designation of a playlist that can be played by the started application and a playlist that should be automatically played when a title is selected.
  • Class archive file cache-in is the process of pre-reading the class archive file subject to class loading to the cache.
  • Class archive file cache-out is the process of caching the class archive file existing in the cache. It is processing to delete from.
  • Event assignment for application driving is to assign an event registered in the event listener of the application to a key that can be operated by the user.
  • BD-J applications those for which application signaling is performed in the application management table in the BD-J object are referred to as “BD-J applications”.
  • modules such as a command interpreter for executing navigation commands and a playback control engine for decoding and playing back playlists are the main operating elements of the software. .
  • a class loader for class loading an application manager for application signaling, a HAVi device, a playback control engine for playlist playback using the Java media framework, and cash-in and cash-out management
  • the software group such as the cache manager for event management and the event manager for event processing, that is, the software group similar to the software group in the multimedia platform terminal of digital broadcasting becomes the main subject of operation, so from BD-J title to HDMV title When switching from the HDMV title to the BD-J title, the software configuration of the playback device is greatly different.
  • the current mode selection procedure is used to achieve the two processes of checking whether the output mode is optimal for the software operating subject after switching and selecting the optimal output mode for the operating mode after switching. Executed when a title is selected.
  • the operating subject of the mode selection procedure is a procedure execution unit in the playback control unit 210.
  • the output mode is stored in the register set 203.
  • FIG. 28 is a diagram depicting the internal configuration of the register set 203 and the playback control unit 210.
  • the left side of the figure shows the internal configuration of the register set 203.
  • the right side shows the internal configuration of the playback control unit 210.
  • the player status register and the player setting register to which the respective register numbers are assigned indicate what they are.
  • PSR1 is a stream number register for audio streams and stores the current audio stream number.
  • PSR2 is a stream number register for the PG stream and stores the current PG stream number.
  • PSR4 is set to a value between 1 and 100 to indicate the current title number.
  • ⁇ PSR5 indicates the current chapter number when set to a value between 1 and 999, and indicates that the chapter number is invalid in the playback device when set to 0xFFFF.
  • PSR6 is set to a value between 0 and 999 to indicate the current playlist number.
  • ⁇ PSR7 is set to a value between 0 and 255 to indicate the current play item number.
  • ⁇ PSR8 is set to a value between 0 and OxFFFFFF to indicate the current playback point (current PTM) with a time accuracy of 45 KHz.
  • current PTM current playback point
  • PSR10 is a stream number register for the IG stream, and stores the current IG stream number.
  • PSR21 indicates whether the user intends to execute stereoscopic playback.
  • PSR23 is a setting of “Display Capability for video”. This indicates whether or not the display device, which is a connection partner of the playback device, has the ability to execute stereoscopic playback.
  • PSR24 is a setting of “Player Capability for 3D”. This indicates whether or not the playback device has the ability to perform stereoscopic playback.
  • the procedure execution unit uniquely determines the output mode in the current playlist by referring to the PSR4, PSR6, PSR21, and PSR23 in the register set 203 and the stream selection table of the current playlist information.
  • Player Capability for 3D in PSR24 means the overall capability related to 3D playback of the playback device, and may be simply expressed as “3D-Capability”.
  • PSR23 specifies the output mode, and the selection model of the state transition is specified as shown in FIG.
  • FIG. 29 shows the state transition of the output mode selection model.
  • the ellipse schematically depicts this general state, that is, “Invalid” and “valid”, which are possible values of the output mode value. Invalid indicates that the output mode is invalid, and Valid indicates that the output mode is valid.
  • State transition includes start of playlist playback, change of output mode requested by navigation command or BD-J application, jump to BD-J title.
  • a state transition occurs, a procedure for obtaining an output mode reference is executed.
  • arrows jm1, jm2, jm3,..., Jm12 schematically indicate events that trigger state transitions.
  • the state transitions in this figure include the following.
  • “Load a disc” means that the BD-ROM is loaded.
  • Start Presentation means start of playlist playback (start Playlist playback) in HDMV mode. In BD-J mode, this means branching to a BD-J title. This is because the playlist is not an indispensable component of the BD-J title. Therefore, when the BD-J title branches to the BD-J title, playback of the playlist is not always started.
  • “Jump to BD-J title” means branching to the BD-J title. Specifically, it means that the BD-J title becomes the current title in the index table.
  • Start Playlist Playback means that a playlist number meaning any playlist is set in the PSR, and the playlist information is read to the memory as current playlist information.
  • “Change Output Mode” means that the BD-J application that has the authority to switch to the 3D output mode changes the output mode by calling the API.
  • Term “Term “Terminate presentation” means that playback of the playlist ends in the HDMV mode, and jumps from the BD-J title to the HDMV title in the BD-J mode.
  • the output mode changes to the temporary state “Initialization”.
  • the state of the output mode selection temporarily changes to “Initialization state” and then changes to invalid state.
  • the output mode transits to Valid according to the result of Procedure when playback condition is changed. If the output mode is valid and Start Presentation ends, the state transitions to Invalid.
  • the navigation command in the movie object must be executed prior to the start of playlist playback in order for the content provider to set the output mode preference.
  • a navigation command is executed on a movie object, it becomes Invalid in this model.
  • the state transition in FIG. 29 is realized by a prescribed procedure called a mode selection procedure.
  • This mode selection procedure includes Initialization and ProcedureProwhen playback condition is changed.
  • FIG. 30 shows the initialization procedure
  • Step S501 is a determination as to whether or not the disc unbound BD-J application is operating.
  • Step S502 indicates that Stereoscopic Display Capability in PSR23 indicates “capability present”, and Initial_output_mode information in the index table (index.bdmv) is This is a determination as to whether or not “stereoscopic output mode” is indicated. Since the data structure of the Initial_output_mode information is out of the scope of the present embodiment, the description will be given to the subsequent embodiment.
  • step S501 If step S501 is Yes, the current output mode is maintained in step S503. If Step S501 is No and Step S502 is Yes, PSR22 is set to the stereoscopic output mode in Step S4. If Step S501 is No and Step S502 is No, the output mode in PSR22 is set to 2D output mode in Step S5.
  • initial_output_mode information when the initial_output_mode information is on, the playback device enters the 3D output mode at the same time as the disc is loaded on condition that the playback device has playback capability in the BD presentation mode. Therefore, if initial_output_mode information is on, it is possible to immerse yourself in virtual reality through stereoscopic reproduction by wearing glasses immediately after loading a recording medium.
  • FIG. 31 shows the procedure of Procedure when playback condition is changed.
  • Step S511 is a determination as to whether or not the output mode in PSR22 is the 2D output mode, and step S513 indicates that Stereoscopic Display Capability in PSR23 indicates “Capability exists”, and the extension stream selection table is displayed in the playlist. Is a determination of whether or not exists.
  • Step S511 If Step S511 is Yes, the current output mode is not changed in Step S512. Even if Step S511 is No and Step S513 is Yes, the current output mode is not changed (Step S512). If step S511 is No and step S513 is No, the current output mode is changed to the 2D output mode (step S514).
  • the registers used for realizing the 3D output mode are registers No. 21, No. 22, No. 23, and No. 24, and FIG. 32 shows bit assignments in these registers.
  • FIG. 32 shows the bit assignment of the player setting register for realizing the 3D output mode.
  • Figure (a) shows the bit assignment of PSR21.
  • the least significant bit b0 is an output mode reference, and is set to 0b to indicate that it is a 2D output mode, and is set to 1b to indicate that it is a stereoscopic output mode. Show. Navigation commands and BD-J applications cannot rewrite this PSR21 value.
  • Figure (b) shows the bit assignment of PSR22.
  • B0 in PSR22 represents the current output mode. If the output mode changes, the video output at the playback device must change correspondingly. The value of the output mode must be controlled by the selection model.
  • the effectiveness of the output mode can be maintained even if there is a change in the state of the playback device or a stream switching request from the user.
  • FIG. 33 is a diagram illustrating an example of an internal configuration of a BD-J object.
  • the BD-J object includes an “application management table”, “terminal management table”, “application cache information”, “playlist access information”, and “key interest table”.
  • the “application management table” is a control table that instructs the application manager and class loader to perform application signaling with the title as a boundary.
  • the “terminal management table” is a font used for the HAVi configuration and GUI for realizing the GUI. This is a management table for instructing the multimedia home platform (MHP) whether or not there is a user operation mask.
  • “Application cache information” is a control table for instructing the cache manager to cache in / out the archive file when the title is selected, and playback control is performed to specify automatic playback of the playlist when the “playlist access information” title is selected. This is a control table for instructing the engine (PCE).
  • the “key interest table” is a control table that instructs the event manager to associate keys with events.
  • the lead line bj1 shows a close-up entry in the application management table.
  • the application management table entry indicates whether the application should be automatically started in the title (AutoStart) or whether it should be started after waiting for a call from another application (Present).
  • “Control code” indicating “application type” and “application ID” indicating the target application using a 5-digit numerical value that is the file name of the archive file in which the BD-J application to be started is archived , “Application descriptor”.
  • a lead line bj2 shows a close-up of the internal configuration of the “application descriptor”.
  • the “application descriptor” includes “priority” when the application is loaded and “binding” indicating whether the application is title unbound or discbound.
  • ⁇ Information '' a character string indicating the name of the application, a ⁇ language code '' indicating the language attribute of the application, an ⁇ icon locator '' indicating the location of the icon associated with the application, and an ⁇ application profile value '' Is stored.
  • a lead line bj3 shows the configuration information in the terminal management table in close-up.
  • the configuration information is information for instructing the playback apparatus to secure the graphics plane.
  • the terminal management table includes HD3D_1920 ⁇ 1080, HD3D_1280 ⁇ 720, HD_1920 ⁇ 1080, HD_1280 ⁇ 720, QHD_960. ⁇ 540, SD, SD — 50HZ — 720 ⁇ 576, SD — 60HZ — 720 ⁇ 480 can be set.
  • a lead line bj4 shows a close-up of the internal structure of information specifying an automatic reproduction playlist in the playlist access information.
  • 3D playlist 1920 ⁇ 1080, 3D playlist 1280 ⁇ 720, 2D playlist 1920 ⁇ 1080, 2D playlist 1280 ⁇ 720, 2D playlist 720 are used to specify the automatic playback playlist. * 576 and 2D playlist 720 * 480 can be specified.
  • the playback device When any title is selected, the playback device starts playback of the playlist specified by the playlist access information corresponding to the selected current title without waiting for a playback instruction from the application. If the BD-J application execution ends before the end of list playback, playback of the playlist is continued.
  • APIs that can be used to realize stereoscopic playback in BD-J applications include Java2Micro_Edition (J2ME) Personal Basis Profile (PBP 1.0) and GloballyationExecutable MHP specification (GEM1.0.2) for package media targets.
  • J2ME Java2Micro_Edition
  • PBP 1.0 Personal Basis Profile
  • GEM1.0.2 GloballyationExecutable MHP specification
  • java.net for network processing
  • java.awt for GUI processing
  • java.lang for language processing
  • java.io for I / O processing for recording media
  • utilities It is possible to describe a BD-J title that can be played back in 3D by structured programming using methods, constructors, interfaces, and events of classes such as java.util and javax.media for the media framework.
  • Actions that should be performed by default in a BD-J title that assumes stereoscopic viewing such as instructions for playing a 3D playlist in a BD-J title, use a source code that generates an xlet context that is an instance of the initial xlet class. Can be created by writing. Such an xlet context throws a state change exception event indicating a state change at the time of instance generation, and then acquires the hold value of the player state register and the player setting register in the playback device, and the acquired hold value is the capability of 3D playback.
  • 3D playlist is played after judging whether or not it indicates the presence of
  • the 3D playlist is played back here using the locator that specifies the 3D playlist and the manager's create player method "javax.media.Manager.createPlayer" in javax.media. This is done by generating a player instance.
  • the exception when the player instance cannot be generated can be described with a catch statement that catches the javax.meia.NoPlayerEception event, and the exception when there is no 3D playlist catches the java.io.IOException event Can be described with a catch statement.
  • BD-J extension includes in-lid methods from methods in the java.net, java.awt, java.lang, java.io, java.util, and javax.media classes. Because it is a super interface, BD-J assumes stereoscopic playback on the extension of programming techniques using java.net, java.awt, java.lang, java.io, java.util, javax.media classes You can create a title.
  • the extension API for BD-J mode includes a setting acquisition class that orders register setting status acquisition and status acquisition.
  • the setting acquisition class includes a constant field indicating a holding value of each PSR, an acquisition method for instructing acquisition of the holding value of the PSR, and a setting method for instructing setting of the holding value of the PSR.
  • the method of the setting acquisition class includes the in-line method of the method of the java.lang.object class. If the argument at the time of the method call is invalid, the java.lang.IlleghalArgumentException event that is an event of the java.lang class is thrown. Since this class inherits the methods and events of java.lang.object, the programmer can create a program that uses the retained value of the register set with an extension of java.lang.object.
  • FIG. 34 is a flowchart showing the processing procedure for setting the output mode in the BD-J title.
  • step S521 is a flowchart showing the procedure of ProcedureProwhen BD-J Title is changed.
  • step S522 the output mode is acquired from the PSR 22, and in step S522, the output mode is set to either the 2D output mode or the stereoscopic output mode depending on the behavior of the HAVi device configuration selection.
  • step S523 is a flowchart showing the processing procedure of Procedure when Output Mode change is requested.
  • the output mode is acquired from the PSR 22, and in step S524, the output mode is set to either the 2D output mode or the stereoscopic output mode depending on the behavior of the initial HAVi device configuration.
  • FIG. 35 is a flowchart showing an example of the behavior of the initial HAVi device configuration selection.
  • the processes of step S534, step S535, and step S537 are selectively executed according to the determination results of step S530, step S531, step S532, step S533, and step S536.
  • Step S530 is a determination as to whether or not an automatic playback playlist exists.
  • Step S531 is a determination of whether or not b5 in PSR24 is “1”.
  • b5 being “1” means that processing in the BD-J mode is possible in the 3D output mode.
  • Step S532 is a determination as to whether or not the previous display mode is 3D.
  • Step S533 is a determination as to whether or not the automatic playback playlist of the selected title is a 1920 ⁇ 1080 3D playlist or a 1280 ⁇ 720 3D playlist.
  • step S537 and S538 are executed.
  • Step S537 is a determination of whether or not b5 in PSR24 is “1”.
  • b5 being “1” means that processing in the BD-J mode is possible in the 3D output mode.
  • Step S538 is a determination as to whether or not the resolution of the HAVi device configuration in the BD-J object is HD3D — 1920 ⁇ 1080, HD3D — 1280 ⁇ 720.
  • Step S537 is Yes and Step S538 is Yes, the display mode is set to 3D in Step S535, and is set to 1920 ⁇ 1080 or 1280 ⁇ 720 depending on the resolution of the HAVi device configuration in the BD-J object. To do. If either step S537 or step S538 is No, the display mode is set to 2D in step S536, and the resolution is set to the resolution of the HAVi device configuration in the BD-J object.
  • Step S531 If there is an automatic playback playlist, whether or not b5 of PSR24 is “1” in step S531, whether or not the previous display mode is 3D in step S532, or the playlist is a 3D playlist in step S533, It is determined whether the resolution is 1920 ⁇ 1080 or 1280 ⁇ 720. If any of Step S531, Step S532, and Step S533 is No, in Step S534, the display mode is set to 2D, and the resolution is set to the resolution of the automatic playback playlist.
  • step S532 is Yes and step S533 is also Yes, the display mode is set to 3D and the resolution is set to 1920 ⁇ 1080 or 1280 ⁇ 720 depending on the resolution of the automatic playback playlist in step S535. To do.
  • stereoscopic playback can be realized using the resolution defined by the HAVi device configuration based on the BD-J object.
  • the present embodiment relates to an improvement in a case where the internal configuration of a player setting register indicating the stereoscopic display capability of a display device connected to a playback device is made more specific.
  • FIG. 36 shows the bit assignment of PSR23.
  • PSR23 represents the characteristic value of the display device connected to the playback device. Navigation commands and BD-J applications cannot rewrite the value of PSR23. The value of PSR23 is automatically set before starting playback when the display device provides them through the interface. If these values cannot be obtained automatically, they are set by the user.
  • B0 of PSR23 indicates the stereoscopic display capability of the display device.
  • the connected display device When the stereoscopic display capability is set to “0”, the connected display device has a processing capability to display 1920 ⁇ 1080 / 23.976 Hz progressive video or 1920 ⁇ 1080 / 59.94 Hz progressive video. Indicates that it has not.
  • B1 of PSR23 indicates the stereoscopic display 1280 ⁇ 720 50p video display capability of the display device.
  • the stereoscopic display 1280 ⁇ 720 50p video display capability when set to “0”, indicates that the connected display device does not have the processing capability to display 1280 ⁇ 720/50 Hz progressive video. When set to “1”, it indicates that the connected display device has a processing capability to display 1280 ⁇ 720/50 Hz progressive video.
  • B2 of PSR23 indicates an autostereoscopic visibility flag.
  • the auto-stereoscopic flag (No glasses required for stereoscopic display) is set to ⁇ 0 '' to indicate that the connected TV system requires glasses to view the stereoscopic output mode. Setting it to “1” indicates that the connected TV system does not require glasses to view the stereoscopic output mode.
  • the screen horizontal size (Horozontal display size) from b8 to b19 represents the horizontal size of the connected display device in cm.
  • the horizontal size of the connected display device is expressed in cm.
  • 0xFFE indicates that the display is 4094 cm.
  • 0xFFF indicates that the display is larger than the horizontal length of 4094 cm.
  • FIG. 37 is a flowchart showing a procedure for determining the stereoscopic reproduction capability in PSR23. This flowchart concludes whether there is a stereoscopic playback capability or no stereoscopic playback capability, depending on the combination of the determination results of the determination steps of steps S515 to S517.
  • Step S515 is a determination of whether or not b2 of PSR23 is “1”
  • step S516 is a determination of whether or not b0 of PSR23 is “1”.
  • Step S517 is determination of whether b1 of PSR23 is "1”.
  • step S5155 b2 of PSR23 being “1” indicates that autostereoscopic viewing is possible without glasses.
  • b1 of PSR23 is “1”
  • a determination result that stereoscopic reproduction is possible is given in step S518 without passing through the determination in steps S516 and S517.
  • the reason why the stereoscopic display can be performed without the glasses is that the stereoscopic display is exclusive, and a determination result can be given that the stereoscopic reproduction is possible regardless of the resolution.
  • step S516 b0 of PSR23 being “1” indicates that stereoscopic reproduction at 1920 ⁇ 1080 / 23.976 Hz and 1280 ⁇ 720 / 59.94 Hz is possible. Therefore, even if Step S515 is No, if Step S516 is Yes, a determination result that stereoscopic playback is possible is made in Step S518.
  • step S517 if b1 of PSR23 is “1”, stereoscopic playback at 1280 ⁇ 720/50 Hz is possible even when stereoscopic playback at 1920 ⁇ 1080 / 23.976 Hz and 1280 ⁇ 720 / 59.94 Hz is impossible. Indicates that there is. Therefore, even if Step S515 to Step S516 are No, if Step S517 is Yes, a determination result that stereoscopic playback is possible is made in Step S518.
  • step S517 is No, stereoscopic reproduction is impossible and 2D output is forcibly performed.
  • an optimal combination of resolution and frame rate is determined according to the stereoscopic display capability connected to the playback device, so that data transfer to the display device is optimal. Can be.
  • the present embodiment relates to an improvement for optimizing the frame rate and resolution of a display device.
  • the resolution is determined from the terminal management table of the BD-J object and the playlist in the title.
  • the resolution and the frame rate remain undecided. Therefore, in this embodiment, information on resolution and frame rate is incorporated in the index table.
  • the index table is management information relating to the entire recording medium, and the recording medium is uniquely recognized in the reproducing apparatus by first reading the index table after the recording medium is inserted into the reproducing apparatus.
  • the index table defines a correspondence between a plurality of title numbers that can be stored in the title number register in the playback apparatus and an operation mode object that defines an operation mode.
  • the title recorded on the recording medium is a set of an operation mode object specified by the title number and a play list reproduced from the operation mode object.
  • the title number in the title number register is 0, 1 to 999, and an undefined value (0xFFFF).
  • Title number 0 is the title number of the top menu title.
  • the top menu title is a title that can be called by a menu call operation by the user.
  • the title number of indefinite value (0xFFFF) is the title number of the first play title.
  • the first play title is a title that displays a warning to a viewer, a logo display by a content provider, or the like immediately after loading a recording medium.
  • the index table has an entry (title index) corresponding to each title number, and by describing an operation mode object that defines an operation mode in each title index, what kind of operation each title performs Specify in detail whether to operate in the mode.
  • FIG. 38 is an explanatory diagram for explaining the index table.
  • FIG. 38A shows the internal structure of the index table file.
  • the index table file includes a plurality of title indexes and BDMV application information.
  • FIG. 38B is defined by a common data structure of the title index.
  • This common data structure includes “object type”, “movie object reference”, and “object file name information”.
  • Object type indicates whether the operation mode object associated with the corresponding title is a Movie object or a BD-J object.
  • Object file name information indicates the file name of the BD-J object associated with the title.
  • “Movie object reference” indicates an identifier of a movie object associated with a title.
  • the value of the title number register changes from 0 to FFFF ⁇ 1 to 999 ⁇ 0 after loading the recording medium.
  • This change in the title number starts playing the first play title when the recording medium is loaded, and after playing the first play title, plays the title indicated by the title number of the title number register from 1 to 999,
  • the top menu title is reproduced and the user waits for selection.
  • the title having title numbers 1 to 999 the title having the same title number as the title number stored in the title number register becomes the current reproduction target, that is, the current title.
  • the number to be set in the title number register is determined by the user operation on the top menu title or the setting of the title number register by the program.
  • FIG. 38C shows the internal structure of the BDMV application information (ApplinfoBDMV).
  • the BDMV application information includes “initial output mode preference (initial_outputmode_preference)”, “stereoscopic content presence / absence flag (SS_content_exist_flag)”, “video format information (video_format)”, “video rate information (video_rate)”. Is comprised.
  • “Initial output mode preference (initial_outputmode_preference)” is a preference of the initial output mode in the disc, “0” indicates the 2D output mode, and “1” indicates the stereoscopic output mode.
  • the initial output mode reference is set to “stereoscopic output mode”
  • the display device has a stereoscopic display capability when the disc is loaded.
  • the playback device is set to the stereoscopic output mode.
  • Steposcopic content existence flag indicates whether the profile 5 function is used or not. This field is set to “1” if any of the following conditions is met.
  • -Has a 3D playlist with an extended stream selection table embedded-The BD-J application currently being signaled in the application management table in the BD-J object is in the set of application profile values in its application descriptor, Includes “Profile 5”.
  • “Profile 5” is an application profile corresponding to stereoscopic playback. Therefore, even if there is no 3D playlist in the title corresponding to the BD-J object, or even when there is no playlist itself, such a stereoscopic BD-J application has a stereoscopic playback capability.
  • the presence / absence flag is set to “ON”.
  • the mode selection procedure of PSR22 is not executed while the corresponding disc is loaded, so the PSR22 mode selection procedure is not executed. Is fixed in 2D output mode. On the other hand, the mode selection procedure is executed only when the stereoscopic content presence / absence flag is set.
  • Video format information indicates a video format in the high-bandwidth digital output function using a 4-bit value.
  • the video format can be determined by negotiation when the disc is inserted.
  • the video format information is valid from the playback of the first play title to the playback of the top menu title or the playback of the title specified by the title number from 0 to 999.
  • Video rate information (video_rate) is a 4-bit value indicating the video rate in the high bandwidth digital output function. When the disc is inserted, this video rate can be determined by negotiation. Either video format information or video frame information can be set to zero. If either is set to 0, both fields are ignored by the playback device.
  • the “video rate” is a unit representing the number of frames per second, and is expressed in a unit system of FPS (Frame Per Second). If the frame period is considered as a wavelength, the frame rate can be expressed as “frequency”, and “Hz” may be used as a unit system for the frame rate.
  • the video rate information is valid from when the first play title is reproduced until when the top menu title is reproduced or when the title indicated by the title number from 0 to 999 is reproduced.
  • FIG. 39 is a flowchart showing a processing procedure when inserting a disc.
  • the index table (Index.bdmv) is read from the inserted disc (step S501), and the negotiation for executing the high bandwidth digital output function described in the BDMV application information of the read Index.bdmv is started.
  • Step S502 the process proceeds to a loop of Steps S503 to S509. This loop sets the current title number of 0xFFF in the first play title in the title number register (step S503), and determines whether the object type of the title index corresponding to the current title is a BD-J object. (Step S504) If the object is not a BD-J object, the movie object indicated by the movie object reference of the title index corresponding to the current title is loaded (Step S505).
  • Step S506 A process of loading the BD-J object indicated by the object file name information of the index (step S506) and starting the title reproduction based on the loaded object (step S509).
  • Step S508 is to repeat until No, the step S509 is determined as Yes.
  • Step S503 to Step S509 proceeds to the loop consisting of Step S508 to Step S509 after the start of the title reproduction. If it is determined that the title reproduction is completed in this loop (Yes in step S508), the current title number in the title number register is updated (step S510), and the process proceeds to step S504.
  • step S508 If the disc is ejected in the loop from step S508 to step S509, the processing of this flowchart ends. Since format rate information is present in the index table, negotiation can be executed prior to playback of the first play title.
  • FIG. 40 is a diagram illustrating an exchange between the display device and the playback device.
  • FIG. 40 (a) shows a data transfer phase and a negotiation phase.
  • the playback device is shown on the left side, and the display device is shown on the right side.
  • the first symbolically indicates the negotiation phase ph1
  • the next symbolically indicates the data transmission phase ph2 by 23.976 FPS.
  • the last symbolically shows the data transmission phase ph3 according to 47.954FPS.
  • the display frame is substantially doubled. Specifically, if 23.976FPS was used in 2D output mode, it becomes 47.954FPS in 3D output mode.
  • the base view component and the dependent view component are combined and transferred in the same frame period as the 2D output mode in a side-by-side manner, so that the frame rate does not fluctuate. . That is, even in the 2D output mode, the frame rate remains 23.976 FPS, and the data to be transmitted is changed to a combination of a base view component and a dependent view component. By doing so, the change in the frame rate at the time of switching between the 2D output mode and the 3D output mode is eliminated without causing a change in the frame rate.
  • the information of the frame rate and the video format is provided in the information that is read first when the disc is loaded, that is, in the index table.
  • (B) is a timing chart.
  • the first level shows the module manager processing in time series
  • the second level shows the transmission unit processing in time series.
  • the transmission unit goes through two phases: negotiation and data transfer.
  • the module manager reads the index table, selects the first play title, executes the operation mode object constituting the first play title, plays the playlist, selects the titles 0 to 999, and selects the titles 0 to 999. It can be seen that there are five phases: execution of the operation mode object that constitutes and play list reproduction. Arrows fy1 and fy schematically indicate format and rate instructions from the manager to the transmission unit. Since the format and rate are instructed to the transmitter almost at the same time as the selection of the first play title, negotiation is started in parallel with the selection process of the first play title, and the start time of data transfer is greatly accelerated. You can see that
  • the application information exists in the index table in the recording medium, and the application information includes the format rate as a parameter necessary for authentication. Simultaneously with the reproduction process of the first play title, mutual authentication with the counterpart device can be started. Since the reproduction process of the first play title and the mutual authentication process with the counterpart device can be executed in parallel, the activation delay can be reduced to about half the time.
  • a file in the UDF is composed of a plurality of extents managed by file entries.
  • the “file entry” includes a “descriptor tag”, an “ICB tag”, and an “allocation descriptor”.
  • Descriptor tag is a tag indicating that it is a file entry.
  • the tag includes types such as a file entry descriptor and a space bitmap descriptor. In the case of a file entry, “261” indicating the file entry is described as the descriptor tag.
  • the “allocation descriptor” includes a logical block number (LBN) that indicates the recording position of the extent that constitutes a lower file under a certain directory.
  • the allocation descriptor includes data indicating the extent length and a logical block number indicating the recording position of the extent. However, the upper 2 bits of the data indicating the extent length are set to “0” to indicate that they are allocated and recorded extents, and by being set to “1”, the allocated and unrecorded extents are indicated. It shows that it is. By being set to “0”, it indicates that the extent is a continuation of the allocation identifier.
  • the file entry has a plurality of allocation descriptors for each extent.
  • Stereoscopic interleaved stream file is a stream file (2TS interleaved file) in which 2TS is converted into an interleaved format. It is a 5-digit integer value and an extension indicating that the file is an interleaved format file for stereoscopic playback. identified by (ssif).
  • the stereoscopic interleaved stream file is composed of extent SS [n], and extent SS [n] (EXTSS [n]) is specified by index number n.
  • the index number n is a number that is incremented one by one from the beginning of the stereoscopic interleaved stream file.
  • Extent SS [n] is configured as a combination of a dependent view data block and a base view data block.
  • the base view data block and dependent view data block that make up extent SS [n] are subject to cross-reference from file 2D, file base, and file dependent.
  • Cross reference refers to registering one data object recorded on a recording medium in a file entry as an extent of a plurality of files.
  • the start address and the continuous length of the base view data block and the dependent view data block are registered in the file entry of the file 2D, the file base file entry, and the file dependent file entry. .
  • the file base is a virtual stream file that “stores” the main TS indicated by the extent start point information in the clip information corresponding to the file 2D, and includes at least one extent 1 [i ] (Referred to as EXT1 [i]).
  • Extent 1 [i] is the i-th extent in the file base, i is the index number of the extent, and is incremented starting from 0 at the beginning of the file base.
  • the file base is a virtual stream file for handling a stereoscopic interleaved stream file, which is a 2TS file, as a 1TS file, and is created virtually by constructing the file entry in the memory of the playback device.
  • the file base is specified by opening the file using the file name of the stereoscopic interleaved stream file.
  • the playback device middleware generates a file entry that identifies the file-based extent in the memory when the file open using the file name of the stereoscopic interleaved stream file is called, and Is virtually opened.
  • a stereoscopic interleaved stream file can be regarded as “includes only 1TS”, and a 2TS stereoscopic interleaved stream file can be read from a recording medium as a 1TS file base.
  • the BB presentation mode when only the base view data block is to be read, only the extents constituting this file base are read. Even if the mode is changed from the BB presentation mode to the BD presentation mode, the reading range is changed from the extent recording range constituting the file base to the extent recording area constituting the stereoscopic interleaved stream file. If it is enlarged, both the base view data block and the dependent view data block can be read, so that the efficiency of reading the file is not lowered.
  • the file dependent is a stream file that “stores” the sub-TS, and is composed of extent 2 [i] (EXT2 [i]).
  • EXT2 [i] is the i-th extent in the file dependent, i is the index number of the extent, and is incremented starting from 0 at the beginning of the file dependent.
  • a file dependent is a virtual stream file for handling a stereoscopic interleaved stream file, which is a 2TS file, as a 1TS file containing a sub-TS, and the file entry is constructed in the memory of the playback device. It is generated virtually.
  • Dependent video stream is given a file name that is a 5-digit number that is the file name of the stereoscopic interleaved stream file plus one. Accessed using this file name.
  • a dummy file is recorded on the recording medium, and the identification number of the dependent-view video stream, “number added by 1”, is assigned to the dummy file.
  • a dummy file is a file that has only a file name and no actual extent, and the dependent-view video stream is treated as being stored in this dummy file.
  • the file 2D is a 1TS stream file storing the main TS that is played back in the 2D output mode, and is composed of extents 2D.
  • the file 2D is identified by a 5-digit integer value and an extension (ssif) indicating that the file is an interleaved format file for stereoscopic playback.
  • FIG. 41 shows the correspondence between extents, file 2D / file base, and file dependent.
  • the first row shows file 2D / file base, file dependent 00001.m2ts, 00002.m2ts, and the second row shows the extent and dependent view data block storing the base view data block. Indicates the stored extent.
  • the third row shows 00001.ssif, which is a stereoscopic interleaved stream file.
  • extents EXT1 [i], EXT2 [i], EXT1 [i + 1], and EXT2 [i + 1] are registered as extents of 00001.ssif. You can see that As described above, it is understood that the extents EXT1 [i] and EXT1 [i + 1] have the duality that they belong to 00001.ssif and at the same time belong to 00001.m2ts.
  • the extension “ssif” is an acronym for StereoScopic Interleave File, and indicates that it is in an interleaved format for stereoscopic playback.
  • an interleaved extent unit a combination of extents constituting a file base and extents constituting a file dependent, which are specified by the same extent identifier.
  • EXT1 [ A pair of i + 1] and EXT2 [i + 1] is an interleaved extent unit [i + 1].
  • FIG. 42 shows the relationship between the stereoscopic interleaved stream file and the file 2D / file base.
  • the third tier in Fig. 3 (a) shows the internal structure of the interleaved stream file.
  • Stereoscopic interleaved stream files are the extents EXT1 [1] and EXT1 [2] that store the base view data block, and the extents EXT2 [1] and EXT2 [2] that store the dependent view data block. Are arranged alternately.
  • the first row shows the internal structure of file 2D and file base.
  • the file 2D / file base is composed of only the extents EXT1 [1] and EXT1 [2] storing the base view data block among the extents constituting the interleaved stream file in the third stage.
  • the file name of the file 2D is the same as that of the interleaved stream file, but the extension is different.
  • the second tier shows the internal structure of the Dependent.
  • Fi dependent consists only of the extents EXT2 [1], EXT2 [2], and EXT2 [2] that store the dependent view data block among the extents constituting the interleaved stream file in the third stage. ing.
  • the file dependent file name is obtained by adding 1 to the file name of the interleaved stream file, and the extension is different.
  • the 2D playback device is a discriminating method that is the same as the conventional 2D playback method, and it is necessary to be able to access only the 2D playlist and 2D stream, so the file format that the 2D playback device can recognize for the base view video stream Is stored in.
  • the first method is to refer to the playlist information as described above, that is, the main TS uses the same file name as the 2D playback method so that it can also be used for 2D playback, and the interleaved stream file changes the extension. It is.
  • 00001.m2ts and 00001.ssif are coupled by the same file name “00001” while one is a 2D system and the other is a 3D system.
  • the existing 2D playback device plays only the file 2D.
  • the 3D-compatible playback device only refers to the file 2D containing the main TS in the playlist, but if there is a file with the same identification number but a different extension, the file is found and used for 3D video.
  • the main TS and the sub TS are output.
  • the second method is to divide folders.
  • the main TS is stored in a folder with an existing folder name (eg STREAM), but the sub TS is stored in the folder with a 3D-specific name (eg SSIF) with the same file name “00001”. deep.
  • a playlist refers to a file
  • the 2D playback device refers only to the file in the STREAM folder.
  • the file with the same name is simultaneously referenced from the “STREAM” and SSIF folders.
  • the main TS and sub-TS can be associated with each other.
  • the third method is based on an identification number.
  • the file dependent identification number is obtained by adding “1” to the file 2D identification number as shown in FIG.
  • association is performed according to a certain rule, such as assigning an identification number “0002”.
  • the file dependent named according to the above rule is treated as a dummy file having no substance. This is because the substance of the file dependent is only a stereoscopic interleaved stream file.
  • the file name thus associated is described in the stream registration information in the basic stream selection table and the sub clip entry ID reference (ref_to_subclip_entry_id) of the stream entry in the stream registration information in the extension stream selection table.
  • the file name of the identification number obtained by adding “1” to the identification number described in the sub clip entry ID reference is authenticated as the file name of the dummy file, and the file dependent is virtualized.
  • the clip information file is also identified by the same rule.
  • the base view data block (B [i]) is the i-th data block of the main TS.
  • the main TS is a TS specified as the main path base axis through the clip information file name information (clip information file name information) of the current play item information.
  • “I” of B [i] is an index number that is incremented by setting the first data block of the file base to 0.
  • the base view data block shared by the file 2D and file base, and the base view data block specific to the file 2D are extents of the file 2D, and set to a length that does not cause buffer underflow in the playback device. Has been.
  • the head sector address is described in the allocation descriptor in the file entry of the file 2D.
  • the base sector data block specific to the file base has its head sector address not described in the allocation descriptor in the file entry. Instead, the source packet of the head source packet in the base view data block is pointed by the extent start point information in the clip information of the clip information file corresponding to the main TS. Therefore, it is necessary to derive the head sector address of the base view data block specific to the file base using the allocation descriptor in the file entry of the stereoscopic interleaved stream file and the extent start point information in the clip information.
  • the dependent view data block (D [i]) is the i-th data block of the sub-TS.
  • the sub-TS is a TS that is designated as a sub-path base in the stream entry in the stream registration sequence of the extended stream selection table corresponding to the current playitem information.
  • “I” of D [i] is an index number that is incremented with the first data block of the file dependent as 0.
  • Dependent view data block is a file dependent extent and is set to a length that does not cause double buffer underflow in the playback device.
  • the dependent view data block is arranged before the base view data block to be reproduced at the same reproduction time. Therefore, when the stereoscopic interleaved stream file is read, the dependent view data block is always read before the base view data block.
  • Dependent view data block is not shared with file 2D, so the start sector address is not described in the allocation descriptor in the file entry of file 2D. Instead, the source packet of the head source packet in the dependent view data block is pointed by the extent start point information in the clip information. Therefore, it is necessary to derive the start sector address of the dependent view data block using the allocation descriptor in the file entry of the file 2D and the extent start point information in the clip information.
  • the extent of the file 2D may be common with the file-based extent or may not be common with the file base.
  • File 2D extent consists of B [0], B [1], B [2], B [3] 2D, B [4] 2D, and file-based extents are B [0], B [1] , B [2], B [3] ss, B [4] ss.
  • B [0], B [1], and B [2] are base view data blocks that are shared with the file base.
  • B [3] 2D and B [4] 2D are file 2D-specific base view data blocks that are not shared with the file base.
  • B [3] ss and B [4] ss are base view data blocks specific to the file base that are not shared with the file 2D.
  • the data in B [3] 2D and the data in B [3] ss have bit-for-bit identity.
  • the data in B [4] 2D and the data in B [4] ss have bit-for-bit identity.
  • the data blocks B [2], B [3] 2D, and B [4] 2D in these files 2D constitute an extent (big extent) having a large continuous length immediately before the place where the long jump occurs.
  • File 2D can form a big extent immediately before a long jump, so there is no need to worry about underflow of the read buffer even when playing a stereoscopic interleaved stream file in 2D output mode. .
  • File 2D and file base are identical, although their extents are partially different. Therefore, these file 2D and file base are collectively referred to as “file 2D / file base”.
  • FIG. 43 shows the interrelationship between the stereoscopic interleaved stream file, file 2D, and file base.
  • the first row shows a file 2D
  • the second row is a data block on the recording medium
  • the third row is a stereoscopic interleaved stream file
  • the fourth row is a file base
  • the fifth row is a file dependent. Indicates a dent.
  • the data blocks in the second stage are the above-described D [1], B [1], D [2], B [2], D [3], B [3] ss, D [4], B [4 ] ss, B [3] 2D, B [4] 2D.
  • the arrows ex1, ex2, ex3, and ex4 represent the belonging relationship that B [1], B [2], B [3] 2D, and B [4] 2D of the data blocks constitute the extent of the file 2D. Indicates.
  • arrows ex5 and ex6 indicate D [1], B [1], D [2], B [2], D [3], B [3] ss, D [4], B [4 among the data blocks.
  • ] ss indicates the belonging relationship that forms an extent of a stereoscopic interleaved stream file.
  • B [1], B [2], B [3] ss, and B [4] ss among the data blocks constituting this stereoscopic interleaved stream file are file-based extents.
  • the fifth row indicates that D [1], D [2], D [3], and D [4] among the data blocks constituting the stereoscopic interleaved stream file are file dependent extents. .
  • FIG. 44 shows a 2D playlist and a 3D playlist.
  • the first level is 2D playlist information
  • the second level is a bases data block
  • the third level is a 3D playlist
  • the fourth level is a dependent view data block.
  • Arrows rf1, rf2, and rf3 indicate playback paths by combining the file name 00001 described in clip_information_file_name in the playitem information of the 2D playlist information and the extension m2ts.
  • a playback path on the base view side is configured by the data blocks B [1], B [2], and B [3] 2D.
  • Arrows rf4, rf5, rf6, and rf7 indicate playback paths specified by the play item information of the 3D playlist information.
  • a playback path on the base view side is configured using B [1], B [2], B [3] ss, and B [4] ss.
  • Arrows rf8, rf9, rf10, and rf11 indicate playback paths specified by the sub play item information of the 3D playlist information.
  • the dependent view side playback path is configured using D [1], D [2], D [3], and D [4].
  • the data block constituting the playback path specified by these play item information and sub play item information is obtained by combining the file name described in clip_information_file_name in the play item information and the extension ssif to open the file. Can be read.
  • the playlist information that defines these 3D playlist and 2D playlist The common description is sufficient to describe (see symbols df1 and df2). Therefore, if playlist information that realizes this 3D playlist is described, it functions as a 3D playlist when the output mode of the playback device is the stereoscopic output mode, and the output mode of the playback device is the 2D output mode. When it is, it will function as a 2D playlist.
  • the 2D playlist and 3D playlist in this figure are interpreted as 2D playlists and 3D playlists according to the output mode of the playback device that interprets one playlist information. It is possible to reduce the time and effort of the person who performs the authoring.
  • clip_information_file_name in the play item information of the 2D playlist describes the file name of the file 2D.
  • Clip_information_file_name in the play item information of the 3D playlist describes a file base file name. Since the file base is a virtual file and the file name is the same as that of the stereoscopic interleaved stream file, the file name of the stereoscopic interleaved stream file may be described in clip_information_file_name in the play item information.
  • Ref_to_subclip_entry_id in the stream registration information of the extension stream selection table describes the file name of the file dependent. The file name of the file dependent is obtained by adding 1 to the identification number of the stereoscopic interleaved stream file.
  • the stereoscopic interleaved stream file is converted into the file 2D, the file base, and the file. Since the file can be opened as any of the dependent files, the stereoscopic interleaved stream file can be handled in the same manner as a normal stream file on the decoder side. Therefore, it is possible to positively incorporate a stereoscopic interleaved stream file into the storage system of the base-view video stream and the dependent-view video stream.
  • FIG. 45 shows the internal structure of the clip information file.
  • (A) shows a 2D clip information file
  • (b) shows a 3D clip information file.
  • These clip information files include “clip information”, “sequence information”, “program information”, and “feature point information”.
  • “Clip information” indicates for each ATC sequence what kind of AV clip each source packet sequence stored in the stream file is.
  • Sequence information is configured to indicate, for each ATC sequence, information (ATC sequence information) indicating what ATC sequence is one or more source packet sequences stored in the stream file.
  • the ATC sequence information includes information indicating the source packet number where the source packet that is the starting point of the ATC exists, an offset between the STC sequence identifier and the ATC sequence identifier, and STC sequence information for each of a plurality of STC sequences. Including.
  • the STC sequence information includes the packet number of the source packet storing the PCR in the STC sequence, information indicating where in the ATC sequence the source packet that is the start point of the STC sequence exists, and the playback start time in the STC sequence , Including playback end time.
  • Program information is information indicating the program configuration of the main TS and sub-TS managed as “AV clips” by the clip information file, and what ES is multiplexed with the AV clip. Indicates. Specifically, it indicates what packet identifier the ES multiplexed in the AV clip has and what encoding method it uses. It is clearly shown in this program information which encoding method is used to compress and encode the video stream among MPEG2-video, MPEG4-AVC and the like.
  • Feature point information is information indicating, for each ES, where a plurality of ES feature points multiplexed in an AV clip exist. Information indicating feature points for each ES is called a basic entry map.
  • an access unit delimiter indicating the head of an I picture type view component located at the head of an open GOP or a closed GOP is a feature point.
  • an access unit delimiter that indicates the start position of an audio frame that exists every other period, such as every second, is a feature point.
  • An access unit delimiter that indicates the head position of a display that has all the functional segments necessary for display is a feature point.
  • a feature point in an ATC sequence is represented by a source packet number.
  • the same feature point is expressed using PTS indicating the time point on the STC time axis.
  • each entry point that makes up the entry map has a source packet number that indicates the location of the feature point in the ATC sequence and the PTS that indicates the location of the feature point in the STC sequence. It includes a flag (is_angle_change flag) indicating whether or not the angle can be switched to a point, and information (I_size) indicating the size of the intra picture existing at the head of the GOP. Since the source packet located at the head of the interleave unit constituting the multi-angle section can be switched in angle, the is_angle_change flag of the entry point that points to the head source packet of the interleave unit is always set to ON. In addition, the entry point to which the head source packet of the interleave unit is inserted is associated with In_Time in the play item information by the entry point.
  • the entry map for each ES shows the source packet number of the feature point for each stream type in association with the PTS, so by referring to this entry map, from any point in the STC sequence to that point A source packet number indicating the location of the feature point for each closest ES can be derived.
  • the clip information file for 3D has the internal configuration shown in FIG. 45 (b).
  • clip information for file 2D which is normal clip information (management information)
  • a clip for file dependent Information “clip dependent information (base view management information)” and file base clip information “clip base information (base view management information)” exist.
  • clip dependent information base view management information
  • file base clip information clip base information (base view management information)
  • the difference between 2D clip information, clip base information, and clip dependent information is that there is metadata including an extent start point sequence inside the clip base information and clip dependent information.
  • clip dependent information includes an extent start point sequence
  • clip base information also includes an extent start point sequence
  • the feature point information includes a basic entry map
  • the extension data includes an extended entry map
  • the clip information file is divided into a clip base information file and a clip dependent information file.
  • (C) in the figure shows a clip base information file. As shown in this figure, it consists of clip base information and a basic entry map.
  • the clip base information includes an extent start point information table.
  • (D) in the figure shows a clip dependent information file.
  • the clip dependent information file includes clip dependent information and an extended entry map.
  • the clip dependent information includes an extent start point information table.
  • the clip information file in the 2D output mode exists in the clip information file directory (CLPI directory).
  • CLPI directory The clip base information file is generated from the clip information file in the 3D output mode and is handled as being stored in the clip information file in the 2D output mode.
  • the dummy clip information file has a number corresponding to the file 2D / file base, that is, the file 2D / file base.
  • a file name having a number obtained by adding “1” to the identification number is assigned.
  • the clip dependent information file is generated from the clip information file corresponding to the file 2D in the 3D output mode, and is handled as being stored in the dummy clip information file.
  • the clip information file in 2D output mode is 00001.clpi
  • the clip base information file is treated as being stored in 00001.clpi in 3D output mode, and clip dependent information in 3D output mode.
  • the file is handled as being stored in 00002clpi.
  • the stereoscopic interleaved stream file is composed of two clip AV streams (BDAV MPEG2 transport stream).
  • the extent start point information table pair provides a way to divide a stereoscopic interleaved stream file into two AV streams.
  • the extent start point information table is supplied as follows.
  • the pair of extent start point information table is The information is stored in the clip information referred to by the angle ID value and the clip information referenced by the sub clip entry ID value, respectively, and supplied to the playback device.
  • the ID1 value and ID2 value in the extension data in ext_data_entry () must be set to 0x0002 and 0x0004, respectively.
  • the clip information file with the extent start point information table must satisfy the following two conditions.
  • FIG. 46 shows the relationship among a clip information file, a playlist, and a stereoscopic interleaved stream file.
  • the right side shows a stereoscopic interleaved stream file
  • the left side shows a clip information file.
  • the middle shows the file base in the first row, the clip base information file in the second row, the 3D playlist in the third row, the clip dependent information file in the fourth row, and the file base in the fifth row. Indicates the pendent.
  • Arrows bk1 and bk2 indicate that the file base and file dependent can be obtained by dividing the stream file on the right side.
  • the clip information file on the left side includes feature point information, extension data, clip base information, and clip dependent information.
  • Arrows bk3 and bk4 schematically indicate that the extent start point information table in the clip base information and the extent start point information table in the clip dependent information provide a way to divide the stereoscopic interleaved stream file.
  • FIG. 47 shows the internal structure of clip base information and clip dependent information.
  • the clip base information and the clip dependent information are configured by “clip stream type information” indicating what type of stream the corresponding AV clip belongs to and the corresponding AV clip.
  • “Application type” indicating what type of application is a movie application, time-based slide show application, browsable slide show application, etc., and after the source packet passes through the source packet depacketizer in the playback device , “TS recording rate” indicating how much TS packets are transferred in the AV clip, “number of source packets” indicating the number of source packets constituting the corresponding AV clip, and the previous AV clip Structure It composed of an ATC of the difference between the ATC sequence as "ATC difference value", because the "Extent start point information table" to be.
  • (B) shows the internal structure of the extent start point information table.
  • the extent start point information table is composed of number_of_extent_start_points and number_of_extent_start_points SPN_start_points.
  • “Number_of_extent_start_points” indicates the number of extents belonging to the related AV stream file.
  • the number_of_extent_start_points of the pair of the extent start point information table in the clip base information and the extent start point information table in the clip dependent information has the same value.
  • SPN_extent_start (SPN_extent_start [0] to SPN_extent_start [number_of_extent_start_point]) is composed of number_of_extent_start_point + 1 SPN_extent_start.
  • SPN_extent_start is indicated by an extent identifier [extent_id], and is a 32-bit value indicating the source packet number of the source packet from which the extent_id-th extent in the AV stream file starts.
  • An extension entry map exists in the extension data. Similar to the basic entry map, the extended entry map is composed of a plurality of entry points. More specifically, each entry point constituting the extended entry map has a source packet number indicating the location of the feature point in the ATC sequence associated with the PTS indicating the location of the feature point in the STC sequence. It includes a flag (is_angle_change flag) indicating whether or not the angle can be switched to the feature point, and information (I_size) indicating the size of the intra picture existing at the head of the GOP.
  • the extended entry map is different in that the following restrictions are added to the extended entry map.
  • FIG. 48 is a diagram showing a basic entry map and an extended entry map.
  • the fifth row shows a plurality of sets of dependent view data blocks and base view data blocks.
  • the fourth level shows a source packet sequence constituting the dependent view data block and the base view data block.
  • the first level shows view components specified by the PTS.
  • the second row shows a basic entry map, and the third row shows an extended entry map.
  • the application type 8
  • the source packet located at the head of GOP (i) of the base-view video stream and the source packet located at the head of GOP (i) of the dependent-view video stream are in the same interleave extent unit. If it belongs, the entry pointing to the GOP (i) head source packet of the base-view video stream and the GOP (i) head source packet of the dependent-view video stream is in both the basic entry map and the extended entry map. Added. Therefore, in this case, if both the basic entry map and the extended entry map are used, continuous reading of the GOP (i) of the base-view video stream and the GOP (i) of the dependent-view video stream can be ensured.
  • FIG. 49 shows entries that are not allowed in the extended entry map.
  • GOP ( i) Do not add an entry pointing to the first source packet to either the basic entry map or the extended entry map. In this case, since the GOP (i) of the base-view video stream and the GOP (i) of the dependent-view video stream are excluded from the random access destinations, it is possible to prevent a decrease in access performance.
  • FIG. 50 shows a play item playback procedure
  • Step S201 is a determination as to whether or not the current output mode is the 3D output mode. If the current output mode is the 2D output mode, steps S203 to S206 are executed.
  • step S203 the stream file specified by “XXXXX” described in Clip_Information_file_name of the current play item and the extension “m2ts” is opened.
  • step S204 the entry point corresponding to the packet ID of the video stream is opened. Is used to convert the current PlayItem.In_Time and the current PlayItem.Out_Time into Start_SPN [i] and End_SPN [i].
  • step S205 the extent belonging to the read range [i] for reading the TS packet [i] of the packet ID [i] from Start_SPN [i] to End_SPN [i] is specified, and in step S206, the read range [i] The drive of the recording medium is instructed to continuously read the extents belonging to.
  • step S300 If the current output mode is the stereoscopic output mode, the process proceeds to a loop of step S300 to step S60.
  • step S300 the stream file specified by “XXXXX” described in Clip_Information_file_name of the current play item and the extension “ssif” is opened, and in step S301, according to the base view indicator of the current play item information,
  • the base view video stream is assigned to one of the left view video plane and the right view video plane
  • the dependent view video stream is assigned to the other of the left view video plane and the right view video plane.
  • step S302 the current PlayItem.In_Time and the current PlayItem.Out_Time are converted into Start_SPN [i] and End_SPN [i] using the basic entry map corresponding to the base view video stream.
  • step S303 SubPlayItemIn_Time and SubPlayItemOut_Time are converted to Start_SPN [j] and End_SPN [j] using the extended entry map corresponding to the dependent-view video stream (step S304).
  • step S305 The extent belonging to the read range [i] for reading the TS packet [i] constituting the base-view video stream from Start_SPN [i] to End_SPN [i] is specified (step S305), and the TS packet with the packet ID [j]
  • step S306 The extent belonging to the read range for reading [j] from Start_SPN [j] to End_SPN [j] is specified (step S306).
  • step S307 the extents belonging to the reading ranges [i] and [j] are sorted in ascending order of the addresses, and the extents belonging to the reading ranges [i] and [j] are continuously used by using the addresses sorted in step S308. Instruct the drive to read automatically. After that, when the source packet sequence is read out, in step S309, the base view ATC sequence and the dependent view ATC sequence are restored and sent to the base view PID filter and the dependent view PID filter.
  • the entry in the extended entry map is dependent-view picture data, Only the base view picture data to be reproduced at the same reproduction time is pointed to that pointed by the entry of the basic entry map.
  • the extent is determined using the basic entry map and extended entry map as a clue. If you access, you can play the base view GOP and the dependent view GOP together. Thereby, the delay of the reproduction start can be eliminated.
  • the present embodiment relates to an improvement for realizing a stereoscopic slide show application.
  • High-accuracy random access is random access using “one picture” as an access unit, such as one image ahead or 10 images ahead.
  • the entry map of the video stream has a time accuracy of about 1 second, such as an interval of 1 second, and the time interval of 1 second can include 20 to 30 pictures. For this reason, when attempting to achieve random access with picture accuracy using the above-described entry map, it is not sufficient to refer to the entry map alone, and analysis of the stream is required.
  • stream analysis means that the header of a picture is extracted from the entry position described in the entry map, the size of the picture is read from this header, and the recording position of the next picture is determined based on the size. The process of specifying is repeated many times to reach the desired picture recording position. Since this analysis involves frequent access to the stream, it takes a considerable amount of time to read out the pictures 3 and 5 pictures ahead from the entry position. Random access with picture accuracy takes a considerable amount of time, so even if you try to add a function that allows you to display the previous or next picture or display about 10 pictures in response to a user operation, Not as easy to use as you would expect.
  • the entry point for the slide show shows the entry address for each picture in the video stream in association with the playback time.
  • the playlist mark information designates individual picture data.
  • the recording position on the video stream can be derived from an arbitrary point on the time axis, and random access with picture accuracy of one or three pictures ahead can be realized, so that it can respond quickly to user operations. It is possible to create an application that can display the previous and next pictures or can display several pictures.
  • the video stream that can be stereoscopically reproduced has been in the interleaved format.
  • the picture data constituting the slideshow is L-L-L, R-R-R. It will be arranged in the order. All picture data in such an order constitutes a slide show, and if individual picture data is designated by an entry point, the entry point is 00: 00 ⁇ 00: 1 ⁇ 00: 02, 00:00. It will be arranged in the order of ⁇ 00: 01 ⁇ 00: 02.
  • Entry points in the entry map must be arranged so that their playback times are in ascending order, which violates the restrictions on the entry map. Therefore, as a unique restriction when the application type of the AV clip is a slide show, the picture data constituting the left view stream and the picture data constituting the right view stream are converted to 1TS. In this way, if 1TS is used, the picture data constituting the left view stream and the picture data constituting the right view stream can be arranged in the order of LLRLRLR, and For the entry points of these picture data, the playback time at the entry point is 00: 00 ⁇ 00: 00 ⁇ 00: 01 ⁇ 00: 01 ⁇ 00: 02 ⁇ 00: 02 ⁇ 00: 03, 00:03. Can be arranged to be
  • an access unit delimiter that is the head of picture data that is a base view still image is a picture that is a dependent view still image.
  • An access unit that precedes the head of the data and the tail of the picture data that is a dependent-view still image represents the head in the picture data of the base-view still image to be reproduced next to the base-view still image It precedes the delimiter.
  • the source packet storing the access unit delimiter that is the head of the picture data of the base view still image and the source packet storing the access unit delimiter that is the head of the picture data of the dependent view still image are other than itself. This picture data is not included. That is, picture data representing a base view still picture and picture data representing a dependent view still picture are arranged in the recording area in the order of base view-dependent view-base view-dependent view in a complete state. It is out.
  • the left view picture data and right view picture data are multiplexed for the following reasons.
  • picture data is recorded on a recording medium as one extent, the minimum extent length cannot be satisfied.
  • a plurality of picture data are arranged in time order as described above, multiplexed, and a multiplexed TS is recorded. By doing so, it becomes possible to divide and record the TS so as to satisfy the minimum extent length.
  • the entry of the extended entry map is dependent view picture data, and points only to the base view picture data to be reproduced at the same reproduction time pointed by the entry of the basic entry map.
  • the entry map is set so as to indicate all the pictures in the base-view video stream. Therefore, all the pictures in the dependent-view video stream are indicated by the extended entry map due to the above-described restrictions.
  • the playback time of picture data in the base-view video stream is designated as the entry time by the basic entry map
  • the playback time of picture data in the dependent-view video stream is designated by the extended entry map as the entry time. Therefore, even if one of the picture data composing the base-view video stream and the picture data composing the dependent-view video stream is selected as the access destination for random access, the detour overhead of passing through the preceding IDR picture Will not occur.
  • a set of arbitrary L image picture data and R image picture data can be read and used for playback without performing stream analysis.
  • a slide show application that can randomly access arbitrary picture data can be easily realized.
  • the present embodiment relates to an improvement for restoring an ATC sequence from data blocks constituting a stereoscopic interleaved stream file.
  • FIG. 51 shows how an ATC sequence is restored from data blocks constituting a stereoscopic interleaved stream file.
  • the fourth row shows a plurality of data blocks constituting a stereoscopic interleaved stream file
  • the third row shows a source packet sequence multiplexed into the main TS and sub-TS.
  • the second row shows the STC sequence 2 that constitutes the dependent view, the entry map, and the ATC sequence 2 that constitutes the dependent view.
  • the first row shows the STC sequence 1 that constitutes the base view.
  • a set of ATC sequence 1 composing the entry map and base view is shown.
  • the arrows from the 3rd level to the 2nd level and the 1st level indicate the ATC sequence 1 and ATC from the data blocks of the two TSs (main TS and sub-TS) interleaved in the stereoscopic interleaved stream file. It shows schematically that sequence 2 is restored.
  • These ATC sequences correspond to the STC sequences by the entry map in the clip information.
  • the reading unit of the playback device in the present embodiment is configured to accept source packet input from two recording media, and is input from two drives for accessing each of the two recording media. 2 read buffers for temporarily storing source packets and outputting them to the decoder.
  • An ATC sequence restoration unit exists between the two drives and the two read buffers. This ATC sequence restoration unit separates the ATC sequence that constitutes the base view and the ATC sequence that constitutes the dependent view stream from the source packet in the interleaved stream file read from one recording medium, It writes to each of the two read buffers. By doing so, the playback apparatus can process the ATC sequence constituting the base-view video stream and the ATC sequence constituting the dependent-view stream as if they were read from different recording media.
  • FIG. 52 is a diagram showing how the ATC sequence is restored.
  • FIG. 4A shows the internal configuration of the reading unit provided with the ATC sequence restoration unit. As described above, the ATC sequence restoration unit is interposed between the two drives and the two read buffers.
  • the arrow B0 in the figure symbolically shows the source packet input from one drive, the arrow B1 writes the ATC sequence 1 constituting the base view video stream, and the arrow D1 shows the dependent view The writing of the ATC sequence 2 constituting the stream is schematically shown.
  • FIG. 52 (b) shows how the two ATC sequences obtained by the ATC sequence restoration unit are handled.
  • a PID filter existing in the demultiplexing unit is shown in the middle of the figure.
  • the left side shows two ATC sequences obtained by the ATC sequence restoration unit.
  • the right side shows the base-view video stream, dependent-view video stream, left-eye PG stream, right-eye PG stream, base-view IG stream, and dependent-view IG stream obtained by demultiplexing these two ATC sequences. .
  • FIG. 53 shows an example of extent start point information in the base view clip information and an example of extent start point information in the dependent view clip information.
  • (A) shows extent start point information of base-view clip information and extent start point information of dependent-view clip information. *
  • (B) is a base view data block B [0], B [1], B [2]... B [n] constituting the ATC sequence 1, and a dependent view data block constituting the ATC sequence 2.
  • (C) shows the number of source packets of the dependent view data block and the number of source packets of the base view data block.
  • (D) indicates a plurality of data blocks included in the stereoscopic interleaved stream file.
  • the ATC sequence 2 is composed of dependent view data blocks D [0], D [1], D [2]... D [n]
  • 0, b1, b2, b3, b4 which are the relative source packet numbers of the dependent view data blocks D [0], D [1], D [2], ... D [n] .. bn is described in SPN_extent_start of the extent start point information of the file dependent.
  • ATC sequence 1 is composed of base view data blocks B [0], B [1], B [2]... B [n], 0 is the number of relative source packets of the base view data block.
  • a1, a2, a3, a4... an are described in SPN_extent_start of the file-based extent start point information.
  • FIG. 4C shows the number of source packets of an arbitrary dependent view data block D [x] and an arbitrary base view data block b [x] in the stereoscopic interleaved stream file.
  • the head source packet number of the base view data block B [x] is ax and the head source packet number of the base view data block B [x + 1] is ax + 1, B [n] is formed.
  • the number of source packets is ax + 1 ⁇ ax.
  • the source packets that constitute B [n] The number is number_of_source_packet1-an.
  • leading source packet number of the dependent view data block and the leading source packet number of the base view data block are as shown in (d).
  • the first SPN of D [0] is “0” and the first SPN of B [0] is “b1”.
  • the head SPN of D [1] is “b1 + a1” because it is the sum of the source packet number b1 of the preceding D [0] and the source packet number a1 of B [0].
  • the source packet number b1 of the preceding D [0] the source packet number a1 of the B [0] the source packet number b2-b1 of the preceding D [1]
  • FIG. 54 is a diagram for explaining the source packet number of an arbitrary data block in the ATC sequences 1 and 2.
  • the source packet number in the stereoscopic interleaved stream file of D [x] existing in the source packet number of bx is obtained in the ATC sequence 2 of FIG.
  • the head source packet number of D [x] is D [0], B [0], D [1], B [1], D [2], B [2], ... D [x -1] and B [x-1]
  • the total number of source packets is “bx + ax” as shown in FIG.
  • the head source packet number of B [x] is D [0], B [0], D [1], B [1], D [2], B [2]... Since it is the sum of the source packet numbers of the relative source packet numbers of D [x ⁇ 1], B [x ⁇ 1], and D [x], “bx + 1 + ax”.
  • FIG. 5C shows a file base having the base view data block as an extent and a file dependent having the dependent view data block as an extent.
  • the first LBN and continuous length of EXT1 [x], which is the file-based extent corresponding to B [x], and the first LBN and continuous length of EXT2 [x], which is the extent of the file dependent corresponding to D [x], are as follows: Asking.
  • the LBN of the extent of the stereoscopic interleaved stream file closest to these LBNs is calculated by using the LBN obtained by the above conversion for file_offset which is an argument of the function SSIF_LBN (file_offset).
  • the function SSIF_LBN is a function that returns the LBN corresponding to file_offset by following the SSIF allocation descriptor from file_offset.
  • the first LBN of EXT2 [x] is SSIF_LBN ((bx + ax) * 192/2048), and the first LBN of EXT1 [x] is SSIF_LBN ((bx + 1 + ax) * 192/2048). .
  • EXT2 [x] is (SSIF_LBN ((bx + 1 + ax) * 192/2048) ⁇ SSIF_LBN ((bx + ax) * 192/2048)).
  • the continuous length of EXT1 [x] is (SSIF_LBN ((bx + 1 + ax + 1) * 192/2048) ⁇ SSIF_LBN ((bx + 1 + ax) * 192/2048)). If a file entry indicating the head LBN and the continuous length is generated on the memory, a file base and a file dependent can be virtually obtained.
  • the demultiplexing by these two PID filters is based on the basic stream selection table and the extended stream selection table shown in the first embodiment.
  • the ATC sequence restoration unit is realized by creating a program that causes a hardware resource to execute the process of FIG. FIG. 55 shows an ATC sequence restoration procedure.
  • step S91 the ATC sequence for base view is ATC sequence 1
  • the ATC sequence for dependent view is ATC sequence 2.
  • the variable x is initialized to 1. This variable x indicates the dependent view data block and the base view data block. Thereafter, the loop from step S94 to step S96 is repeated.
  • step S93 It is determined whether or not the source packet number bx indicated by the variable x is the source packet number bn indicated by the last numerical value n of the base view data block (step S93). From the source packet (bx + ax) indicated by the number bx + ax to the packet immediately before the source packet (bx + 1 + ax) indicated by bx + 1 + ax is added to the ATC sequence 2 (step S94), and the source packet (bx + 1 + ax) ) To the packet immediately before the source packet (bx + 1 + ax + 1) is added to the ATC sequence 1 (step S95), and the variable x is incremented (step S96). Repeat until.
  • step S93 If the determination in step S93 is Yes, (number_of_source_packet2-bn) source packets from the source packet number bn are added to the ATC sequence 2 (step S97), and (number_of_source_packet1-an) source packets from the source packet number an Is added to the ATC sequence 1 (step S98).
  • Step S99 a file entry indicating the first LBN and the continuous length of the base view data block in the number of sectors is generated on the memory, and the file base is virtually opened.
  • Step S100 a file entry indicating the first LBN and the continuous length of the dependent view data block by the number of sectors is generated on the memory, and the file dependent is virtually opened.
  • Sector search is a process in which when random access is performed from an arbitrary time point, the source packet number of the source packet corresponding to that point is specified, and the file is read from the sector including the source packet of that source packet number. It is.
  • Stereoscopic interleaved stream files have a large extent, so the search range for sector search is wide, and when random access is commanded from an arbitrary point in time, a considerable amount of processing time is required to specify the sector to be read. It may take.
  • interleave stream file consists of a data block that makes up the base-view video stream and a data block that makes up the dependent-view stream. The reason is that this allocation descriptor only indicates the start address of the long extent.
  • the file base is composed of a plurality of extents with a short length, and the start address of each extent is indicated in the allocation descriptor.
  • the identification of the sector to be read is completed in a short time.
  • the data blocks that make up the base-view video stream are managed as file-based extents, and the start address of the data block is specified in the allocation descriptor in the file entry corresponding to the file base. If the sector search is started from the head address of the extent including the position, it is possible to reach the sector including the source packet that becomes the random access position at an early stage.
  • the data blocks constituting the base-view video stream are managed as file-based extents, and the start address and continuous length of each extent are indicated in the allocation descriptor of the file entry for the file base. Random access from any point in time in the view video stream becomes faster.
  • the specific sector search procedure is as follows. By using an entry map corresponding to the base-view video stream, a source packet number that is a random access position corresponding to an arbitrary time point is derived.
  • extent start pointing information in the clip information corresponding to the base-view video stream it is specified which extent includes the source packet number serving as a random access position.
  • the allocation descriptor of the file entry corresponding to the file base it is possible to specify the head sector address of the extent that includes the source packet number serving as the random access position.
  • a file pointer is set at the head sector address, file read is performed, and packet analysis is performed on the read source packet, thereby specifying a source packet having a source packet number serving as a random access position. Then, the source packet of the specified source packet number is read out. As a result, random access to the main TS is efficiently performed. The same applies to the sub-TS.
  • the base-view video stream extent and the dependent-view video stream extent in the interleaved stream file are aligned based on the extent start point information and multiplexed. Since the data is supplied to the separation unit and the decoder, the decoder and the program are assumed to have two files, that is, a file dependent that stores a file-based dependent-view video stream that stores a base-view video stream, on a recording medium. Can be handled.
  • the base-view video stream and the dependent-view video stream for stereoscopic viewing are recorded as an interleaved stream file, the base-view video stream and the dependent-view video stream can be accessed independently. The processing efficiency can be improved.
  • an AV file that is a stream file and a non-AV file that is a file other than a stream file are created in real time, and are directly written in the AV data recording area and the non-AV data recording area on the recording medium.
  • the recording medium according to the present embodiment is also specified by a recording method using real-time recording and a recording method using preformat recording.
  • a recording apparatus that executes the recording method creates an AV clip in real time and records it on a BD-RE or BD-R, a hard disk, or a semiconductor memory card.
  • the AV clip may be a TS obtained by real-time encoding of an analog input signal by the recording device, or may be a TS obtained by partializing the TS digitally input by the recording device.
  • a recording apparatus that performs real-time recording includes a video encoder that encodes a video signal to obtain a video stream, an audio encoder that encodes an audio signal to obtain an audio stream, a video stream, an audio stream, and the like.
  • a multiplexer that obtains TS and a source packetizer that converts TS packets that make up a digital stream in MPEG2-TS format into source packets, stores the MPEG2 digital stream converted into source packet format in an AV clip file, and stores the BD -Write to RE, BD-R, etc.
  • the control unit of the recording apparatus performs processing for generating clip information and playlist information on the memory. Specifically, when a recording process is requested by the user, the control unit creates an AV clip stream file and a clip information file on the BD-RE and BD-R.
  • the control unit of the recording apparatus is positioned at the head in this GOP.
  • the PTS of the intra picture and the packet number of the source packet storing the head part of this GOP are acquired, and this combination of PTS and packet number is used as the EP_PTS entry and EP_SPN entry in the entry map of the clip information file. Append. Thereafter, each time a GOP is generated, a set of EP_PTS entries and EP_SPN entries is added to the entry map of the clip information file.
  • the is_angle_change flag set to “ON” is added to the set of EP_PTS entry and EP_SPN entry. If the head of the GOP is not an IDR picture, the is_angle_change flag set to “off” is added to the set of EP_PTS entry and EP_SPN entry.
  • the stream attribute information in the clip information file is set according to the stream attribute to be recorded. If AV clips and clip information are generated and written to BD-RE and BD-R as described above, playlist information that defines the playback path is generated via the basic entry map in the clip information. Write to BD-RE and BD-R. By executing such processing in the real-time recording technique, a hierarchical structure of AV clip-clip information-playlist information can be obtained on BD-RE and BD-R.
  • the above is a recording apparatus that executes a recording method by real-time recording. Next, a recording method by preformat recording will be described.
  • the recording method by preformat recording is an optical disc manufacturing method including an authoring process.
  • FIG. 56 shows an optical disk recording method.
  • FIG. 4A is a flowchart showing a recording method by preformat recording, and shows a processing procedure of an optical disc manufacturing method.
  • the optical disk manufacturing method includes an authoring step, a signature step, a media key acquisition step, a media key encryption step, a physical formatting step, an identifier embedding step, a mastering step, and a replication step.
  • the authoring step S201 creates a bit stream representing the entire image of the volume area of the optical disc.
  • AACS ⁇ LA is an organization that manages licenses related to copyright protection technology for next-generation digital home appliances.
  • the authoring site that authors an optical disc using the authoring device and the mastering site that performs mastering using the mastering device receive a license from AACS-LA. It also manages media keys and invalidation information. Then, a part of the bit stream signed from AACS LA is acquired.
  • Media key acquisition step S203 acquires a media key from AACS LA.
  • a unique media key is not always used, and a new one is updated when the number of optical discs manufactured so far reaches a certain number.
  • By updating the media key it is possible to exclude a specific manufacturer or device, and even if the encryption key is broken, it can be invalidated by using the invalidation information.
  • Media key encryption step S204 encrypts the key used for encryption of the bitstream using the media key acquired in the media key acquisition step.
  • Physical format step S205 executes physical formatting on the bitstream.
  • identifier embedding step S206 a unique identifier that cannot be detected by a general device is embedded in the bit stream recorded on the optical disc as a digital watermark. This can prevent mass production of pirated copies due to unauthorized mastering.
  • Mastering step S207 creates an optical disc master.
  • a photoresist layer is formed on a glass substrate, and the photoresist layer is exposed to a laser beam so as to correspond to a desired groove or pit, and is subjected to development processing.
  • This groove or pit represents each bit value of the 8-16 modulated bit stream.
  • an optical disc master is manufactured based on the photoresist in which irregularities corresponding to grooves and pits are formed by such laser cutting.
  • Replication step S208 mass-produces an optical disc that is a duplicate of the master disc of the optical disc.
  • FIG. 5B shows a case where a general user does not mass-produce an optical disc, but a general user uses a PC to record various files described in the above embodiments on a BD-R, BD-RE, etc.
  • the processing procedure of the recording method by format recording is shown. Compared to (a) in the figure, in the recording method according to (b) in the figure, there is no physical format (step S205), mastering (step S207), and replication (step S208). Instead, writing of each file is performed. There is a process (step S209).
  • FIG. 57 is a flowchart showing the processing procedure of the authoring process.
  • reel sets for the main TS and sub-TS are defined.
  • a “reel” is a file that stores data that is the material of an elementary stream, and exists in a drive on a local network in the authoring system. These reels include L images and R images captured by a 3D camera, audio recorded at the time of recording, audio recorded afterwards, subtitles for each language, and menu data.
  • a “reel set” is a group of links to a material file that represents a set of elementary streams to be multiplexed in one TS.
  • a reel set is defined for each of the main TS and sub-TS.
  • step S102 the prototypes of the play item and the sub play item are defined, and the reproduction order of the play item and the sub play item is defined, thereby defining the prototype of the main path and the sub path.
  • the definition of the prototype of the play item is made by accepting designation of a reel that should be permitted to be reproduced in the play item and designation of In_Time / Out_Time through the GUI in the planar output mode.
  • the definition of the prototype of the sub play item is made by accepting, via the GUI, designation of a reel that should be permitted to be played on the play item corresponding to the sub play item and designation of In_Time / Out_Time in the stereoscopic output mode. .
  • Specified reels that should be allowed to be played back consist of a GUI that checks the check box for the material file links in the reel set that should be allowed to play. At this time, a numerical value input field is displayed in association with each reel. Then, the priority order for each reel is received by this numerical value input field, and this is set as the priority order corresponding to the reel.
  • a stream selection table and an extended stream selection table are generated from the above-described reel settings that should be permitted to be reproduced and priority settings.
  • In_Time and Out_Time are specified on the GUI by displaying the time axis of the base view video stream or dependent view video stream as a graphic, and moving the slide bar along the graphic time axis. Is performed by the recording apparatus executing a process of accepting the position setting from the user.
  • the definition of the play order of the play item and the sub play item is displayed on the GUI by displaying the picture of the play item In_Time as a thumbnail, and the recording apparatus accepts an operation of setting the play order for the thumbnail from the user. Made in
  • a plurality of elementary streams are obtained by encoding the material file specified by the reel set.
  • the plurality of elementary streams include a base-view video stream and a dependent-view video stream, and an audio stream, a PG stream, and an IG stream to be multiplexed with the base-view video stream and the dependent-view video stream. .
  • step S104 the same elementary stream belonging to the same reel set as the base-view video stream among the elementary streams obtained by encoding is multiplexed with the base-view video stream to obtain one main TS.
  • step S105 one sub-TS is obtained by multiplexing the elementary streams obtained by encoding that belong to the same reel set as the dependent-view video stream with the dependent-view video stream.
  • step S106 a prototype of the clip information file is generated based on the parameters set at the time of encoding and multiplexing.
  • step S107 play item information and sub play item information are generated based on a prototype of the play item, and main path information and sub path information are generated by defining a playback order in these play item information and sub play item information. Then, play list information is defined.
  • the play item In the creation of play item information, the play item is set to be playable in the elementary stream multiplexed in the main TS, which is specified to be played in the planar view output mode in the basic structure of the play item.
  • a stream selection table is generated in the information.
  • In_Time and Out_Time defined in the above-described editing work are described in the play item information in order to define the playback section in the base-view video stream.
  • the elementary stream multiplexed in the sub TS is set to playable in the basic structure of the play item that is specified to be played in the stereoscopic output mode.
  • An extension stream selection table is generated in the extension data of the list information. Since the play item information and the sub play item information are defined based on the information in the clip information file, they are set based on the prototype of the clip information file.
  • step S108 the main TS, the sub TS, the prototype of the clip information file, and the prototype of the playlist information are converted into a directory file group according to a predetermined application format.
  • main TS, sub TS, clip information, play item information, and sub play item information are generated, main TS and sub TS are converted into independent stream files, and clip information is clip information.
  • clip information is clip information.
  • the offset sequence can be created in the process of encoding. .
  • FIG. 58 shows the processing procedure of the AV file writing process.
  • AV file writing is realized by the flowchart of this figure.
  • step S401 xxxxx.ssif is created and a file entry is created on the memory of the recording device.
  • step S402 it is determined whether or not an empty continuous sector area can be secured. If it can be secured, in step S403, the source packet sequence constituting the dependent view data block is converted to EXT2 in the empty continuous sector area. Only [i] is written, and then Steps S404 to S408 are executed. If it cannot be secured, an exception process is performed in step S409, and then the recording method is terminated.
  • Steps S404 to S408 constitute a loop in which the processes of Steps S404 to S406 and Step S408 are repeated until Step S407 is determined to be No.
  • step S405 only EXT1 [i] writes the source packet sequence constituting the base view data block in the empty continuous sector area.
  • step S406 the start address in which the source packet sequence is written and the allocation identifier indicating the continuous length are added to the file entry and registered as an extent.
  • extent start point information indicating the head source packet number of the written source packet sequence is added to the metadata in the clip base information and clip dependent information.
  • Step S407 defines a loop termination condition, and determines whether or not an unwritten source packet exists in the base view data block and the dependent view data block. If it exists, the process proceeds to step S408 to continue the loop. If it does not exist, the process proceeds to step S410.
  • Step S408 is a determination as to whether or not there is a continuous sector area. If it exists, the process proceeds to step S403, and if it does not exist, the process returns to step S402.
  • step S410 xxxxx.ssif is closed and the file entry is written to the recording medium.
  • step S411 xxxxx.m2ts is created, and a file entry of xxxxx.m2ts is generated in the memory.
  • step S412 an allocation descriptor indicating the start address and continuous length of the base view data block unique to the file 2D is added to the file entry of xxxxx.m2ts.
  • xxxxx.m2ts is closed and a file entry is written.
  • Step S404 is a determination as to whether or not a long jump occurrence point exists within the range of EXTSS + EXT2D.
  • the long jump occurrence point is assumed to be a layer boundary. If a layer boundary exists within the range of EXTSS + EXT2D, the base view data block is duplicated and a long jump is generated between the base view data block B [i] ss and the base view data block B [i] 2D in step S420. Writing is performed immediately before the point, and then the process proceeds to step S406. These become file 2D extents and file-based extents.
  • EXT2D EXT1 [n]
  • EXT2 [n] EXT2 [n]
  • EXTss [n] EXTss
  • the lower limit of EXT2D is determined so as not to cause a buffer underflow of the read buffer in the playback device during the jump period from each base view data block to the next base view data block during playback in 2D output mode.
  • the jump from the nth base view data block to the (n + 1) th base view data block takes time Tjump2D (n), and each base view data block is read to the read buffer at the speed Rud2D, and
  • the lower limit value of EXT2D is expressed by the following condition 1.
  • the double buffer is composed of a read buffer 1 and a read buffer 2.
  • the read buffer 1 is the same as the read buffer of the 2D playback device.
  • the jump from the nth base view data block to the pth dependent view data block takes time TFjump3D (n), and from the pth dependent view data block ( Assume that the jump to the (n + 1) th base view data block takes time TBjump3D (n).
  • each base view data block is read to the read buffer 1 at the speed Rud3D
  • each dependent view data block is read to the read buffer 2 at the speed Rud3D
  • the base view data is read from the read buffer 1 to the video decoder.
  • the lower limit value of EXT1 [n] is expressed by the following condition 2.
  • the continuous length of the big extent is set to this lower limit value or a value exceeding this lower limit value.
  • the jump from the (n + 1) th base view data block to the (p + 1) th dependent view data block takes time TFjump3D (n + 1), and the read buffer 2 sends it to the decoder.
  • the lower limit value of EXT2 [n] is expressed by the following condition 3.
  • Tdiff means a delay time associated with the preloading of the dependent view data block in EXTss and the preloading of the dependent view data block in EXTssnext. The meaning of Tdiff is explained below.
  • EXTss playback is delayed by the period required for preloading this dependent-view data block, so in EXTss, the time required for preloading the data block of the first dependent-view data block is the delay period of playback.
  • the playback start of the video decoder may be delayed only during that time. That is, in the reproduction of EXTssnext, the period during which the leading dependent view data block is preloaded is a “grace period” in which the start of video decoder reproduction is suspended.
  • Tdiff is derived as a value obtained by subtracting the delay period from the grace period of the dependent view data block. Specifically, it is calculated so as to satisfy the following formula.
  • Tdiff ceil [(((S1stEXT1 [i] EXTSSnext] -S1stEXT1 [i] EXTSS) x1000x8) / Rud72]
  • Tdiff means the difference between the reading period of S1stEXT2 [i] EXTss and the reading period of S1stEXT2 [i] EXTssnext, and S1stEXT2 [i] EXTss is the size of EXT2 [i] located at the beginning of EXTss.
  • EXTssNEXT is the size of EXT2 [i] located at the beginning of EXTssNEXT.
  • EXTssnext is an extent in a stereoscopic interleaved stream file, is located immediately after EXTss, and is reproduced seamlessly with EXTss.
  • Rextss is the average bit rate of EXTss and is derived from the following formula.
  • ATCDextss ceil [Nsp ⁇ 188 ⁇ 8 / (ATCDextss / 27000000)]
  • ATCDextss ATCstart_extssnext -ATCstart_extss
  • ATCDextss ATClast_extss-ATCstart_extss + ceil (27000000x188x8 / min (Rts1, Rts2)) ATCDextss is the ATC period of EXTss.
  • ATCstart_EXTSS is the minimum ATC value indicated by the ATC field of the source packet sequence in EXTss.
  • ATCstart_EXTssnext is the minimum ATC value indicated by the ATC field of the source packet sequence in EXTssnext.
  • ATClast_EXTSS is the maximum ATC value indicated by the ATC field of the source packet sequence in EXTss.
  • Nsp is the number of source packets in the main TS and sub-TS that have an ATC value corresponding to an ATC within the range of ATCDexss.
  • Rts1 is the value of the TS recording rate in the main TS, and its maximum value is 48 Mbps.
  • Rts2 is the TS recording rate value in the sub-TS, and its maximum value is 48 Mbps.
  • EXTSs contains the first data byte of the ATC sequence used by the previous play item (play item 1) if two play items are present continuously.
  • EXTss has a size that is equal to or larger than the minimum extent size defined in Condition 4.
  • EXTss is the first data byte of the ATC sequence used in the previous play item
  • EXTss contains the data byte of the ATC sequence used by the current play item (play item 2).
  • EXTss has a size that is equal to or larger than the minimum extent size defined in Condition 4.
  • EXTss is the last data byte of the ATC sequence used in play item 2
  • the recording process is performed as follows.
  • This boundary match divides the access unit delimiter of the GOP (i) first video access unit in the sub-TS as being the boundary of the dependent view data block, and the GOP (i) first video access in the main TS This is done by dividing the unit's access unit delimiter as being the boundary of the base view data block. In this division, the extent length restriction described above must be satisfied.
  • the top video access of GOP (i) in the sub-TS is attempted by inserting a padding packet either immediately before the access unit delimiter of the unit or immediately before the access unit delimiter of the first video access unit of GOP (i) in the main TS.
  • an entry pointing to the source packet number of the source packet storing the access unit delimiter of the first access unit of the dependent view GOP is added to the extension entry map.
  • an entry for pointing the source packet of the source packet storing the access unit delimiter of the head access unit of the base view GOP is added to the basic entry map.
  • the source packet storing the access unit delimiter of the first access unit of the dependent view GOP is located in the middle of the dependent view data block without boundary matching by padding packet insertion being successful, pointing to the source packet Do not add such entries to the extended entry map.
  • the source packet storing the access unit delimiter of the first access unit of the base view GOP is located in the middle of the base view data block, an entry that points to the source packet is not added to the extension entry map.
  • the process of generating an entry map after recording the base view data block and the dependent view data block detects the GOP head from the recorded stereoscopic interleaved stream file, and enters an entry pointing to this GOP head. This is realized by adding to the map.
  • a procedure for creating a basic entry map and an extended entry map by GOP head detection and entry addition will be described with reference to FIG.
  • FIG. 59 is a flowchart showing a procedure for creating a basic entry map and an extended entry map.
  • step S601 a basic entry map and an extended entry map are generated on the memory, and the process proceeds to a loop of steps S602 to S610.
  • the variable x indicates the GOP.
  • the variable x is initialized to 1 (step S602), the head of GOP (x) is specified (step S603), and the head PTS of the GOP SPN (x) corresponding to (x) is specified (step S604). Thereafter, the determinations in step S605 and step S607 are executed.
  • Step S605 determines whether SPN (x) is the head of EXT1 [i]. If it is not the head, steps S606 to S609 are skipped. If it is the head, in step S606, EXT2 [j] having SPN (y) corresponding to PTS (x) at the head is specified.
  • Step S607 is a determination as to whether or not the variable i specifying EXT1 [i] matches the variable j specifying EXT2 [j]. If the variable i does not match, the subsequent processing is skipped. If they match, EP_entry (x) indicating the combination of PTS (x) -SPN (x) is added to the basic entry map (step S608), and EP_entry (x) indicating the combination of PTS (x) -SPN (y) Is added to the extended entry map (step S609).
  • Step S610 is a determination of whether or not the variable x indicates the last GOP. If not, the variable x is incremented and the process proceeds to step S603.
  • the index table described in the sixth embodiment can be generated as follows.
  • the display frequency of each playlist to be recorded on the recording medium is determined by creating a base-view video stream, a dependent-view video stream, a clip information file, and a playlist information file.
  • the resolution and display frequency of the playlist used in the first play title, or the resolution and display frequency of the playlist designated by the title numbers 0 to 999 are displayed in the video format in the BDMV application information of the index table.
  • Set to information and frame rate information are set in the index table.
  • FIG. 60 is a flowchart showing a procedure for creating a BD-J application, a BD-J object, a movie object, and an index table.
  • a source program for instructing the playback device to generate a player instance for the playlist is created by object-oriented programming.
  • the created source program is compiled and archived. Create a J application.
  • Step S703 is a process of creating a BD-J object, and step S704 describes a movie object using a command for playing a playlist.
  • step S705 an index table is created by describing the association between the title number and the BD-J object, and in step S706, a playlist to be used as the first play title is selected.
  • step S707 BDMV application information indicating the video format and video rate of the playlist in the first play title is created.
  • an index table including the title index and BDMV application information is created.
  • the BD-J object, BD-J application, movie object, and index table are written to the recording medium.
  • a recording medium that can be created with the above recording will be described.
  • FIG. 61 shows the internal structure of a multilayered optical disc.
  • the first row shows an example of a multilayered optical disk
  • the second row is a drawing in which spiral tracks existing on each recording layer are stretched in the horizontal direction.
  • the spiral tracks in these recording layers are treated as one continuous volume area.
  • the volume area is composed of a lead-in located at the innermost circumference, a lead-out located at the outermost circumference, a recording area of the first recording layer, a recording area of the second recording layer, and a recording area of the third recording layer existing therebetween. Is done.
  • the recording area of the first recording layer, the recording area of the second recording layer, and the recording area of the third recording layer constitute one continuous logical address space.
  • the volume area is assigned a serial number in units of accessing the optical disc from the beginning, and this number is called a logical address.
  • Reading data from the optical disk is performed by designating a logical address.
  • a read-only disk such as a BD-ROM
  • basically sectors having consecutive logical addresses are also continuous in physical arrangement on the optical disk. That is, the data of sectors with consecutive logical addresses can be read without seeking.
  • continuous reading is not possible at the boundary of the recording layer even if logical addresses are continuous. Therefore, it is assumed that the logical address of the layer boundary is registered in advance in the recording apparatus.
  • file system management information is recorded immediately after the lead-in area, followed by a partition area managed by the file system management information.
  • a file system is a mechanism for expressing data on a disc in units called directories or files.
  • the file system is recorded in UDF (Universal Disc Disc Format).
  • UDF Universal Disc Disc Format
  • FAT file system
  • NTFS file system
  • the fourth row shows the area allocation in the file system area managed by the file system.
  • a non-AV data recording area exists on the inner circumference side.
  • An AV data recording area exists immediately after the non-AV data recording area.
  • the fifth row shows the recorded contents of these non-AV data recording areas and AV data recording areas.
  • In the AV data recording area there are extents constituting the AV file.
  • In the non-AV data recording area there are extents constituting non-AV files other than AV files.
  • FIG. 62 shows an optical disc application format based on the file system.
  • BDMV directory is a directory where data such as TS and management information handled by BD-ROM is recorded. Under the BDMV directory, there are five subdirectories called “PLAYLIST directory”, “CLIPINF directory”, “STREAM directory”, “BDJO directory”, and “JAR directory”. In the BDMV directory, “index.bdmv ”And“ MovieObject.bdmv ”are arranged.
  • Index.bdmv (fixed file name) stores the index table.
  • “MovieObject.bdmv (fixed file name)” stores one or more movie objects.
  • a movie object is a program file that defines the control procedure to be performed by the playback device in an operation mode (HDMV mode) mainly controlled by a command interpreter.
  • HDMV mode operation mode
  • a user can use one or more commands, GUI menu calls, and title calls. Contains a mask flag that specifies whether to mask these calls.
  • BDJO directory there is a program file (xxxxx.bdjo [“xxxxx” is variable, extension “bdjo” is fixed]) with the extension bdjo.
  • This program file stores a BD-J object that defines a control procedure to be performed by the playback device in the BD-J mode.
  • Java (registered trademark) application is actually the Java (registered trademark) archive file (YYYYY.jar) stored in the JAR directory under the BDMV directory.
  • the application is, for example, a Java (registered trademark) application, and includes one or more xlet programs loaded in a heap area (also referred to as work memory) of the virtual machine.
  • An application is configured from the xlet program and data loaded in the work memory.
  • Extents constituting files existing in the above directories are recorded in the non-AV data area.
  • the "STREAM directory” is a directory that stores stream files. This directory stores stream files in the format xxxxx.m2ts ([xxxxx is variable, extension "m2ts" is fixed]).
  • Partition areas are "area where file set descriptor is recorded”, “area where end descriptor is recorded”, “ROOT directory area”, “BDMV directory area”, “JAR directory area”, “BDJO directory area” , “PLAYLIST directory area”, “CLIPINF directory area”, and “STREAM directory area”, which are areas accessed by the file system.
  • ROI directory area "area where file set descriptor is recorded”
  • end descriptor is recorded
  • ROOT directory area "BDMV directory area”
  • JAR directory area JAR directory area
  • BDJO directory area BDJO directory area
  • PROLAYLIST directory area “CLIPINF directory area”
  • STREAM directory area which are areas accessed by the file system.
  • File set descriptor includes a logical block number (LBN) indicating a sector in which a file entry of the ROOT directory is recorded in the directory area.
  • LBN logical block number
  • end descriptor indicates the end of the file set descriptor.
  • the plurality of directory areas as described above all have a common internal configuration. That is, the “directory area” is composed of a “file entry”, a “directory file”, and a “file recording area for a lower file”.
  • “File entry” includes “descriptor tag”, “ICB tag”, and “allocation descriptor”.
  • Descriptor tag is a tag indicating that it is a file entry.
  • Allocation descriptor includes a logical block number (LBN) indicating the recording position of the directory file. This completes the description of the file entry. Next, the details of the directory file will be described.
  • LBN logical block number
  • Database file includes “file identification descriptor for lower directory” and “file identification descriptor of lower file”.
  • the “file identifier descriptor of the lower directory” is reference information for accessing the lower directory under its own, the identification information indicating the lower directory, the length of the directory name of the lower directory, and the lower directory It consists of a file entry address indicating in which logical block number the file entry is recorded and the directory name of the lower directory.
  • the “file identification descriptor of the lower file” is reference information for accessing the file under its own, the identification information indicating the lower file, the length of the lower file name, and the file entry for the lower file Is composed of a file entry address indicating in which logical block number is recorded and a file name of a lower file.
  • the file identifier descriptors in the directory files of these directories indicate in which logical block the file entries of the lower directory and the lower file are recorded. If this file identifier descriptor is followed, The file entry in the BDMV directory can be reached from the file entry in the ROOT directory, and the file entry in the PLAYLIST directory can be reached from the file entry in the BDMV directory. Similarly, file entries in the JAR directory, BDJO directory, CLIPINF directory, and STREAM directory can be reached. *
  • the “file recording area of a lower file” is an area in which the substance of a lower file under a certain directory is recorded. A “file entry” and one or more “extents” for the lower file are included. It is recorded.
  • the main stream file of the present application is a file recording area existing in the directory area of the directory to which the file belongs, and follows the file identification descriptor in the directory file and the allocation identifier in the file entry. Can be accessed.
  • FIG. 63 shows the configuration of the 2D / 3D playback device.
  • the 2D / 3D playback device includes a BD-ROM drive 1, a read buffer 2a, a read buffer 2b, a switch 3, a system target decoder 4, a plane memory set 5a, a plane synthesis unit 5b, an HDMI transmission / reception unit 6, a playback control unit 7, and a memory.
  • Register set 203 program execution unit 11, program memory 12, HDMV module 13, BD-J platform 14, middleware 15, mode management module 16, user event processing unit 17, local storage 18, and nonvolatile memory 19.
  • the BD-ROM drive 1 reads data from the BD-ROM disc based on a request from the playback control unit 7 in the same manner as the 2D playback device, but the AV clip read from the BD-ROM disc is read from the read buffer 2a. It is transferred to the buffer 2b.
  • the reproduction control unit 7 sends a read request instructing to alternately read out the base view data block and the dependent view data block in extent units.
  • the BD-ROM drive 1 reads the extents constituting the base view data block into the read buffer 2a, and reads the extents constituting the dependent view data block into the read buffer 2b.
  • speed performance higher than the BD-ROM drive of the 2D playback device is required.
  • the read buffer 2a is a buffer composed of a dual port memory or the like for storing data of the base view data block read by the BD-ROM drive 1.
  • the read buffer 2b is a buffer composed of a dual port memory or the like for storing the data of the dependent view data block read by the BD-ROM drive 1.
  • the switch 3 is a switch for switching the data input source for the read buffer to either the BD-ROM drive 1 or the local storage 18.
  • the system target decoder 4 performs a demultiplexing process on the source packet read to the read buffer 2a and the source packet read to the read buffer 2b to perform a stream decoding process.
  • the plane memory set 5a is composed of a plurality of plane memories.
  • the plane memory includes a left view video plane, a right view video plane, a secondary video plane, an IG plane, and a PG plane.
  • the plane synthesis unit 5b performs the plane synthesis described in the previous embodiments.
  • a TV etc.
  • it is necessary to play back the left eye image and right eye image alternately using shutter glasses it is output as it is.
  • a temporary buffer is prepared and the left eye is transferred first. Store the image in a temporary buffer and output it simultaneously after the right-eye image is transferred.
  • the HDMI transmitting / receiving unit 6 executes the negotiation phase described in the first embodiment in the HDMI standard (HDMI: High Definition Multimedia Interface), for example.
  • HDMI High Definition Multimedia Interface
  • the playback control unit 7 includes a playback engine 7a and a playback control engine 7b.
  • the playback of the 3D playlist is instructed by the program execution unit 11 or the like, the base view data block of the play item to be played back in the 3D playlist And the dependent view data block of the sub play item of the 3D sub-pass that is played back in synchronization with the play item.
  • it interprets the entry map of the corresponding clip information file, and based on the extent start type that indicates which extent is located first, the extent of the base view data block and the dependent view data from the playback start point It requests the BD-ROM drive 1 to read the block extents alternately.
  • the first extent is read into the read buffer 2a or the read buffer 2b, and then transfer from the read buffer 2a and the read buffer 2b to the system target decoder 4 is started.
  • the playback engine 7a executes an AV playback function.
  • AV playback function is a group of functions followed from DVD playback device and CD playback device, playback start, playback stop, pause, release of pause, release of still image function, fast-forward that specifies the playback speed as immediate value, This is a process such as rewind, audio switching, secondary video picture data switching, and angle switching with the playback speed specified as an immediate value.
  • the playback control engine 7b executes a playlist playback function in response to a function call from a command interpreter that is an HDMV mode operation subject and a Java platform that is an BD-J mode operation subject.
  • the playlist playback function refers to performing playback start and playback stop according to current playlist information and current clip information constituting the current playlist among the AV playback functions described above.
  • the memory is a memory for storing current playlist information and current clip information.
  • Current playlist information refers to information that is currently processed among multiple playlist information that can be accessed from a BD-ROM, a built-in media drive, or a removable media drive.
  • Current clip information refers to information that is currently processed among a plurality of clip information that can be accessed from a BD-ROM, a built-in media drive, or a removable media drive.
  • the playback status / setting register (Player Status / Setting Register) set 10 includes general-purpose registers that can store arbitrary information used by the program file in addition to the playback status register and the playback setting register described in the above embodiments.
  • the program execution unit 11 is a processor that executes a program stored in a BD program file. The operation is performed according to the stored program, and the following control is performed. (1) Command the playback control unit 7 to play a playlist. (2) Transfer PNG / JPEG for menu and game graphics to the system target decoder and display it on the screen. These can be performed freely according to the creation of the program, and how to control them depends on the programming process of the BD-J application by the authoring process.
  • the program memory 12 is a memory that stores a current dynamic scenario and is used for processing by an HDMV module that is an HDMV mode operating entity and a Java platform that is an BD-J mode operating entity.
  • the current dynamic scenario is an index.bdmv, BD-J object, or movie object currently recorded on the BD-ROM that is currently being executed.
  • the program memory 12 includes a heap memory.
  • the heap memory is a stack area in which the bytecode of the system application, the bytecode of the BD-J application, the system parameter used by the system application, and the application parameter used by the BD-J application are arranged.
  • the HDMV module 13 is a command interpreter. And the HDMV mode control is executed by decoding and executing the navigation commands constituting the movie object.
  • the BD-J platform 14 is a Java platform that is the main operating entity of the BD-J mode, and is fully loaded with Java2Micro_Edition (J2ME) Personal Basis Profile (PBP 1.0) and Globally Executable MHP specification (GEM1.0.2) for package media targets. It is implemented and consists of a class loader, a bytecode interpreter, and an application manager.
  • J2ME Java2Micro_Edition
  • PBP 1.0 Personal Basis Profile
  • GEM1.0.2 Globally Executable MHP specification
  • the class loader is one of the system applications, and loads the BD-J application by reading the byte code from the class file existing in the JAR archive file and storing it in the heap memory 31.
  • Bytecode interpreter is a so-called Java virtual machine that converts the bytecodes that make up the BD-J application stored in the heap memory and the bytecodes that make up the system application into native codes, which are executed by the MPU.
  • the application manager is one of the system applications. Based on the application management table in the BD-J object, the BD-J application application signaling, such as starting the BD-J application or ending the BD-J application I do. This completes the description of the internal configuration of the BD-J platform.
  • the middleware 15 is an operating system for embedded software, and includes a kernel and device drivers.
  • the kernel provides a playback device-specific function to the BD-J application in response to an application programming interface (API) call from the BD-J application.
  • API application programming interface
  • hardware control such as activation of an interrupt handler unit by an interrupt signal is realized.
  • the mode management module 16 holds Index.bdmv read from the BD-ROM, built-in media drive, or removable media drive, and performs mode management and branch control.
  • the mode management by the mode management module is a module assignment that determines whether the BD-J platform 22 or the HDMV module executes a dynamic scenario.
  • the user event processing unit 17 requests the program execution unit 16 and the playback control unit 7 to execute processing in response to a user operation through the remote controller. For example, when a button is pressed with the remote controller, the program execution unit 16 is requested to execute a command included in the button. For example, when the fast forward / rewind button is pressed on the remote controller, the playback control unit 7 is instructed to execute fast forward / rewind processing for the AV clip of the playlist currently being played back.
  • the local storage 18 includes a built-in media drive for accessing the hard disk and a removable media drive for accessing the semiconductor memory card, and is used for storing downloaded additional content and data used by the application.
  • the storage area for additional content is divided for each BD-ROM, and the area that an application can use to hold data is divided for each application.
  • the non-volatile memory 19 is a recording medium such as a readable / writable memory, and is a medium capable of holding recorded contents even when power is not supplied, such as a flash memory or FeRAM. This is used for backup of stored contents in the register set 203.
  • FIG. 64 (a) is a diagram showing a form of usage of the recording medium according to the present invention.
  • the recording medium according to the present invention is a BD-ROM 101.
  • the BD-ROM 101 is used for supplying movie works to a home theater system formed by a playback device 102, a television 103, and a remote controller 104.
  • FIG. 64 (b) is a diagram showing the structure of the BD-ROM.
  • the BD-ROM 101 is shown on the fourth level of this figure, and tracks on the BD-ROM are shown on the third level.
  • the track formed in a spiral shape from the inner periphery to the outer periphery of the BD-ROM 101 is drawn in the horizontal direction.
  • the BD-ROM 101 has a spiral recording area from the inner circumference to the outer circumference like other optical disks such as DVD and CD, and can record logical data between the inner lead-in and the outer lead-out. It has a volume area.
  • the volume area is assigned a serial number in units of accessing the optical disc from the beginning, and this number is called a logical address. Reading data from the optical disk is performed by designating a logical address.
  • the logical addresses are defined as being continuous even in the physical arrangement on the optical disk. That is, data having consecutive logical addresses can be read without performing a seek.
  • BCA Burt Cutting Area
  • file system volume information is recorded from the beginning, followed by application data such as video data.
  • the file system is a mechanism for expressing data on a disc in units called directories or files.
  • directories or files In the case of the BD-ROM 101, it is recorded in UDF (Universal Disc Format).
  • UDF Universal Disc Format
  • FAT or NTFS file system
  • This file system makes it possible to read logical data recorded in the same way as a normal PC using a directory and file structure.
  • the directory and file structure on the BD-ROM 101 has a BDMV directory directly under the root directory (ROOT).
  • the BDMV directory is a directory in which data such as AV content and management information handled by the BD-ROM 101 is recorded.
  • Under the BDMV directory there are an index file (index.bdmv) in which an index table constituting a title is defined, a PLAYLIST directory, a CLIPINF directory, a STREAM directory, a BDJO directory, and a JAR directory.
  • AV clip (XXX.M2TS) in which AV content such as video and audio is multiplexed and stored, clip information file (XXX.CLPI) in which AV clip management information is stored, and play that defines the logical playback path of the AV clip
  • a list file (YYY.MPLS) and a BD program file (AAA.PROG) in which a program for defining a dynamic scenario is stored are placed under the STREAM directory, CLIPINF directory, and PLAYLIST directory, respectively.
  • the index file has an index table shown in FIG.
  • the index table is the highest layer table that defines the title structure such as all titles, top menus, and first play stored in the BD-ROM. In this table, all titles, top menus, and program files to be executed first from FirstPlay are designated.
  • the BD-ROM player refers to the index table and executes a predetermined BD program file.
  • FirstPlay is set by the content provider, and a BD program file that is automatically executed when the disc is inserted is set.
  • the top menu specifies a movie object and a BDJ object to be called when a command such as “return to menu” is executed by a user operation on the remote controller.
  • BD program file (AAA.PRG) stores the program to be specified and executed from the title. There are several program files, and the prefix (AAA) is used to identify the program.
  • the program used here is a proprietary interpreter program called command navigation in the case of Blu-ray, but the language system is not the essence of the present invention, so it is a general-purpose programming language such as Java or JavaScrip. It does not matter.
  • a playlist to be played back by this program is designated.
  • AV clip is a digital stream in MPEG-2 transport stream format.
  • FIG. 65 (a) is a diagram showing the configuration of an AV clip.
  • an AV clip is obtained by multiplexing one or more of a video stream, an audio stream, a presentation graphics stream (PG), and an interactive graphics stream.
  • the video stream indicates the main video and sub-video of the movie
  • the audio stream (IG) indicates the main audio portion of the movie and the sub-audio mixed with the main audio
  • the presentation graphics stream indicates the subtitles of the movie.
  • the main video indicates a normal video displayed on the screen
  • the sub-video is a video displayed on a small screen in the main video.
  • the interactive graphics stream indicates an interactive screen created by arranging GUI parts on the screen.
  • the video stream is encoded and recorded using a method such as MPEG-2, MPEG-4 AVC, or SMPTE VC-1.
  • the audio stream is compressed and encoded by a method such as Dolby AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD, or linear PCM.
  • moving picture compression coding such as MPEG-2, MPEG-4 AVC, SMPTE VC-1, etc.
  • data amount is compressed using redundancy in the spatial direction and temporal direction of moving images.
  • inter-picture predictive coding is used as a method of using temporal redundancy.
  • inter-picture predictive coding when a certain picture is coded, a picture that is forward or backward in display time order is used as a reference picture. Then, the amount of motion from the reference picture is detected, and the amount of data is compressed by removing the redundancy in the spatial direction from the difference value between the motion compensated picture and the picture to be coded.
  • a picture that does not have a reference picture and performs intra-picture predictive coding using only a picture to be coded is called an I picture.
  • a picture is a unit of encoding that includes both a frame and a field.
  • a picture that is inter-picture prediction encoded with reference to one already processed picture is called a P picture
  • a picture that is inter-picture predictively encoded with reference to two already processed pictures at the same time is called a B picture.
  • a picture that is referred to by other pictures in the B picture is called a Br picture.
  • a field having a frame structure and a field having a field structure are referred to as a video access unit here.
  • Each stream included in the AV clip is identified by PID.
  • PID For example, an array x1011 for a video stream used for movie images, an array x1100 to 0x111F for an audio stream, an array x1200 to 0x121F for a presentation graphics, and an array x1400 to 0x141F for an interactive graphics stream
  • Arrays x1B00 to 0x1B1F are allocated to video streams used for sub-pictures
  • arrays x1A00 to 0x1A1F are allocated to audio streams used for sub-audios to be mixed with main audio.
  • FIG. 65 (b) is a diagram schematically showing how AV clips are multiplexed.
  • a video stream 501 composed of a plurality of video frames and an audio stream 504 composed of a plurality of audio frames are converted into PES packet sequences 502 and 505, respectively, and converted into TS packets 503 and 506, respectively.
  • the data of the presentation graphics stream 507 and the interactive graphics 510 are converted into PES packet sequences 508 and 511, respectively, and further converted into TS packets 509 and 512.
  • the AV click step S513 is configured by multiplexing these TS packets into one stream.
  • FIG. 66 (a) shows in more detail how the video stream is stored in the PES packet sequence.
  • the first level in the figure shows a video frame sequence of the video stream.
  • the second level shows a PES packet sequence.
  • multiple Video Presentation Unit I-pictures, B-pictures, and P-pictures in the video stream are divided for each picture and stored in the payload of the PES packet.
  • Each PES packet has a PES header, and a PTS (Presentation Time-Stamp) that is a picture display time and a DTS (Decoding Time-Stamp) that is a picture decoding time are stored in the PES header.
  • PTS Presentation Time-Stamp
  • DTS Decoding Time-Stamp
  • FIG. 66 (b) shows the format of the TS packet that is finally written in the AV clip.
  • the TS packet is a 188-byte fixed-length packet composed of a 4-byte TS header having information such as a PID for identifying a stream and a 184-byte TS payload for storing data.
  • the PES packet described above is divided into TS payloads.
  • a 4-byte TP_Extra_Header is added to a TS packet, forms a 192-byte source packet, and is written to an AV clip.
  • TP_Extra_Header describes information such as ATS (Arrival_Time_Stamp).
  • ATS indicates the transfer start time of the TS packet to the PID filter of the system target decoder 1503 described later.
  • source packets are arranged as shown in the lower part of FIG. 66B, and the number incremented from the head of the AV clip is called SPN (source packet number).
  • TS packets included in AV clips include PAT (Program Association Table), PMT (Program Map Table), PCR (Program Clock Reference), etc. in addition to video, audio, subtitles, and other streams.
  • the PAT indicates what PMT PID is used in the AV clip, and is registered in the PAT array of the PAT itself.
  • the PMT has the PID of each stream such as video, audio, and subtitles included in the AV clip, the stream attribute information corresponding to each PID, and various descriptors related to the AV clip.
  • the descriptor includes copy control information for instructing permission / non-permission of copying of the AV clip.
  • the PCR corresponds to the ATS in which the PCR packet is transferred to the decoder. Has STC time information.
  • FIG. 67 (a) is a diagram for explaining the data structure of the PMT in detail.
  • a PMT header describing the length of data included in the PMT is arranged at the head of the PMT. Behind that, a plurality of descriptors related to the AV clip are arranged.
  • the copy control information described above is described as a descriptor.
  • a plurality of pieces of stream information regarding each stream included in the AV clip are arranged after the descriptor.
  • the stream information is composed of a stream descriptor in which a stream type, a stream PID, and stream attribute information (frame rate, aspect ratio, etc.) are described in order to identify a compression codec of the stream.
  • the clip information file is AV clip management information as shown in FIG. 67 (b), has a one-to-one correspondence with the AV clip, and includes clip information, stream attribute information, and an entry map.
  • Clip information is composed of a system rate, a playback start time, and a playback end time as shown in FIG. 67 (b).
  • the system rate indicates the maximum transfer rate of the AV clip to the PID filter of the system target decoder described later.
  • the ATS interval included in the AV clip is set to be equal to or less than the system rate.
  • the playback start time is the PTS of the first video frame of the AV clip, and the playback end time is set by adding the playback interval of one frame to the PTS of the video frame at the end of the AV clip.
  • attribute information about each stream included in the AV clip is registered for each PID.
  • the attribute information has different information for each video stream, audio stream, presentation graphics stream, and interactive graphics stream.
  • the video stream attribute information includes the compression codec used to compress the video stream, the resolution of the individual picture data constituting the video stream, the aspect ratio, and the frame rate. It has information such as how much it is.
  • the audio stream attribute information includes the compression codec used to compress the audio stream, the number of channels included in the audio stream, the language supported, and the sampling frequency. With information. These pieces of information are used for initialization of the decoder before the player reproduces it.
  • the entry map includes entry map header information 1101, a PTS indicating the display time of each I picture of the video stream included in the AV clip, and the SPN of the AV clip starting from each I picture.
  • a pair of PTS and SPN information indicated by one row of the table is referred to as an entry point.
  • a value incremented for each entry point with the head set to 0 is referred to as an entry point ID (hereinafter referred to as EP_ID).
  • EP_ID entry point ID
  • entry map header information 1101 is stored at the top of the entry map, and information such as the PID and the number of entry points of the video stream pointed to by the corresponding entry map is stored here.
  • the play list indicates the playback route of the AV clip.
  • the play list is composed of one or more play items 1201, and each play item indicates a playback section for an AV clip.
  • Each play item 1201 is identified by a play item ID, and is described in the order to be reproduced in the play list.
  • the playlist includes an entry mark 1202 indicating a playback start point.
  • the entry mark 1202 can be given within the playback section defined by the play item.
  • the entry mark 1202 is attached at a position that can be a playback start point for the play item. Used. For example, it is possible to reproduce a chapter by adding an entry mark 1202 to the position at the beginning of a chapter in a movie title.
  • a playback path of a series of play items is defined here as a main path 1205.
  • the play item includes clip information 1301 to be reproduced, a reproduction start time 1302 and a reproduction end time 1303, a connection condition 1310, and a stream selection table 1305. Since the playback start time and playback end time are time information, the player refers to the entry map of the clip information file, acquires the SPN corresponding to the specified playback start time and playback end time, and specifies the read start position. To perform playback processing.
  • the connection condition 1310 indicates the forward play item and the connection type.
  • the connection condition 1310 of the play item is “1”, it indicates that the AV clip indicated by the play item does not guarantee seamless connection with the AV clip indicated by the play item before the play item.
  • the play item connection condition 1310 is “5” or “6”, it is guaranteed that the AV clip indicated by the play item is seamlessly connected to the AV clip indicated by the play item before the play item.
  • the connection condition 1310 is “5”, the continuity of STC between play items may be interrupted, that is, the AV clip of the play item after connection is longer than the video display time at the end of the AV clip of the play item before connection.
  • the start time of the first video display time may be discontinuous.
  • the AV clip of the play item before connection is input to the PID filter of the system target decoder 1503 to be described later, and the AV clip of the play item after connection is input to the PID filter of the system target decoder 1503 and played back, It is necessary to create an AV clip so that the decoding of the system target decoder 1503 does not fail.
  • the connection condition 1310 is “6”
  • the AV clip of the play item before connection and the AV clip of the play item after connection must be reproducible as one AV clip. That is, the STC continues and the ATC also continues between the AV clip of the play item before connection and the AV clip of the play item after connection.
  • the stream selection table 1305 includes a plurality of stream entries 1309, and the stream entry 1309 includes a stream selection number 1306, stream path information 1307, and stream identification information 1308.
  • the stream selection number 1306 is a number that is sequentially incremented from the beginning of the stream entry 1309 included in the stream selection table, and is used for stream identification in the player.
  • the stream identification information 1308 is information such as PID, and indicates a stream multiplexed in the AV clip to be referred to.
  • attribute information of each stream is recorded at the same time.
  • the attribute information is information indicating the nature of each stream, and includes, for example, language attributes in the case of audio, presentation graphics, and interactive graphics.
  • the playlist can have one or more sub-paths as shown in FIG. 69 (c).
  • the subpaths are assigned IDs in the order of registration in the playlist, and are used as subpath IDs to identify the subpaths.
  • the sub path indicates a series of reproduction paths that are reproduced in synchronization with the main path.
  • the sub play item has clip information 1301 to be reproduced, a reproduction start time 1302 and a reproduction end time 1303 in the same manner as the play item, and the reproduction start time 1302 and the reproduction end time 1303 of the sub play item are on the same time axis as the main path. expressed.
  • the presentation graphics 1 multiplexed in the AV clip of the sub play item # 2 to be played back in synchronization with the playback section is played back in the play item # 2 playback section.
  • the sub play item has a field called SP connection condition having the same meaning as the connection condition of the play item.
  • the AV clip at the sub play item boundary where the SP connection condition is “5” or “6” needs to follow the same conditions as the connection condition “5” or “6”.
  • the above is the data structure for storing 2D video in the BD-ROM that is the recording medium according to the present invention.
  • FIG. 70 (a) shows the configuration of the 2D playback device 1500.
  • the 2D playback device 1500 includes a BD-ROM drive 1501, a read buffer 1502, a system target decoder 1503, a program recording memory 1504, a management information recording memory 1505, a program execution unit 1506, a playback control unit 1507, a player variable 1508, and a user event processing unit.
  • Reference numeral 1509 denotes a plane adder 1510.
  • the BD-ROM drive 1501 reads data from the BD-ROM disc based on a request from the playback control unit 1507. AV clips read from the BD-ROM disc are transferred to the read buffer 1502, index files, playlist files, and clip information files are transferred to the management information memory 1505, and movie object files are transferred to the program memory 1504.
  • the read buffer 1502 stores data read using a BD-ROM drive
  • the management information memory 1505 stores management information of index files, playlist files, and clip information files
  • the program recording memory 1504 stores memory for movie object files. And so on.
  • the system target decoder 1503 performs demultiplexing processing on the source packet read to the read buffer 1502 and performs stream decoding processing. Information such as codec type and stream attribute necessary for decoding the stream included in the AV clip is transferred from the playback control unit 1507.
  • the system target decoder 1503 converts the decoded main video video stream, sub video video stream, interactive graphics stream, and presentation graphics stream into a main video plane, a sub video plane, and an interactive graphics plane (IG plane) as respective plane memories. Write to the presentation graphics plane (PG plane).
  • the system target decoder 1503 mixes the decoded main audio stream and sub audio stream and outputs them to a speaker or the like.
  • system target decoder 1503 performs a process of decoding graphics data such as JPEG and PNG to be displayed on a menu or the like transferred from the program execution unit 1506 and writing it to the image plane. Details of the system target decoder 1503 will be described later.
  • the user event processing unit 1509 requests the program execution unit 1506 and the playback control unit 1507 to execute processing in response to a user operation through the remote controller. For example, when a button is pressed with the remote controller, the program execution unit 1506 is requested to execute a command included in the button. For example, when the fast forward / rewind button is pressed on the remote controller, the playback control unit 1507 is instructed to execute fast forward / rewind processing for the AV clip of the playlist currently being played back.
  • the playback control unit 1507 has a function of controlling playback of AV clips by controlling the BD-ROM drive 1501 and the system target decoder 1503.
  • the playback control unit 1507 interprets the playlist information and controls the playback processing of the AV clip based on the playback command from the program execution unit 1506 and the notification from the user event processing unit 1509. Also, the playback control unit 1507 sets and references the player variable 1508 and performs a playback operation.
  • the player variable 1508 includes a system parameter (SPRM) indicating a player state and a general parameter (GPRM) that can be used for general purposes.
  • SPRM system parameter
  • GPRM general parameter
  • FIG. 70 (b) shows a list of system parameters (SPRM).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

 再生装置は、記録媒体に記録されたストリーム選択テーブルに従って、グラフィクスストリームを再生する。プロシージャ手段は、ケーパビリティレジスタに示される再生能力に従い、カレントストリーム番号に対応するグラフィクスの再生タイプを決定する。 グラフィクスストリームの再生タイプには、平面視グラフィクスストリームを用いた再生を行う第1の再生タイプと、左目用グラフィクスストリーム、及び、右目用グラフィクスストリームの組みを用いて立体視再生を行う第2の再生タイプとがあり、ケーパビリティレジスタは、左目用グラフィクスストリーム、及び、右目用グラフィクスストリームの組みを用いた立体視再生を実行する能力がグラフィクスデコーダに存在するか否かを示す。

Description

再生装置、集積回路、記録媒体
  
 本発明は、3D映像及び2D映像の再生技術の技術分野に属する発明である 
  
 2D映像とは、表示装置の表示画面をX-Y平面として捉えて、このX-Y平面上の画素にて表現される画像であり、平面視画像とも呼ばれる。 
 対照的に3D映像とは、表示装置の画面におけるX-Y平面上の画素に、Z軸方向の奥行きを加えた画像である。3D映像は、左目で視聴すべきレフトビュー映像と、右目で視聴すべきライトビュー映像とを共に再生して、これらレフトビュー映像、ライトビュー映像で立体視効果を発揮することにより、ユーザによる視聴に供される。3D映像における画素のうち、正のZ軸座標をもつものをユーザは、表示装置の画面より手前にあると感じ、負のZ軸座標をもつものを、画面より奥に存在すると感じる。 
 光ディスクに3D映像を格納する場合には、2D映像が格納された光ディスクのみを再生できる再生装置(以下、「2D再生装置」と呼ぶ)との再生互換性が求められる。3D映像を格納した光ディスクを、2D再生装置が3D映像を2D映像として再生できない場合、同じコンテンツを3D用ディスクと、2D用ディスクとの2種類を製作する必要があり、コスト高になってしまう。よって、3D映像が格納された光ディスクは、2D再生装置では2D映像として再生し、2D映像と3D映像を再生できる再生装置(以下、「2D/3D再生装置」)では、2D映像もしくは3D映像として再生できることが求められる。 
 3D映像が格納された光ディスクでの再生互換性を確保する技術の先行技術としては、以下の特許文献1に記載されたものがある。 
  
特許第3935507号公報
  
 ところで動画像について立体視効果を行う場合、字幕やGUIを表すグラフィクスについても何等かの立体視効果の実現が求められる。これらの字幕やGUIは、通常、動画像と合成して表示される。動画像が立体視効果を実現することができるのに、字幕やGUIが平面視再生のままで表示されるのでは、両者の整合が取れないからである。
 マニファクチャ(再生装置の製造主体のことである)が再生装置を設計するにあたっての字幕やGUIを表すグラフィクスの扱いとしては、グラフィクスの立体視効果を常に保障する設計思想と、グラフィクスの立体視効果を保障しない設計思想とがある。
 グラフィクスの立体視効果を常に保障する設計思想においては以下の問題がある。つまり動画像の立体視効果の実現だけでも、ハードウェアの設計や評価、品質管理が大変なのに、グラフィクスの立体視機能を再生装置に追加してそれの品質管理を行うのは、マニファクチャにとって多大な負担になる。
 よって、字幕やGUIを表すグラフィクスについても立体視効果を常に保障するという再生装置の設計思想では、製品の低価格化が図れないという問題がある。
 グラフィクスの立体視効果を保障しない設計思想とは、以下のものである。グラフィクスについては、動画像のような本格的な立体視効果が必要ではなく、プレーンメモリのオフセット制御によって簡易に奥行き感をもたらすだけで充分であることも多い。よってグラフィクスの再生部については、オフセット制御で簡易な立体視効果を実現するよう再生装置を採用するとの設計思想に徹すれば、立体視効果が可能な再生装置の低価格化を推進することができる。しかしグラフィクスの中には、映画作品中のキャラクターを動画像と同期して動作させるようなタイプのものがある。オフセット制御を常に採用するという設計思想では、かかるキャラクターを平面的に表示させざるを得ず、立体視効果が安っぽいものとなる。このような安っぽさが拭えないと、再生装置を高級機種として販売することが困難になる。
 よって思想のどちらかに偏ると、何れも上述したような弊害が生じる。また再生装置が高級機種ばかりになったり、低価格の機種ばかりになって、市場における製品の充実化を妨げ、立体視再生の実現が可能な再生装置の普及を妨げる。
 本発明の目的は、高品位な立体視効果機能をもった機種、高品位な立体視効果機能をもたない機種という複数機種を市場に投入して、製品ラインナップの充実化を図ることができる再生装置を提供することである。 
  
 上記課題を解決するための再生装置は、
 前記ストリーム選択テーブルに登録されているストリーム番号のうち、再生対象であるグラフィクスストリームに対応するストリーム番号を格納するストリーム番号レジスタと、
 前記再生装置のグラフィクス再生能力を示すケーパビリティレジスタとを備え、

 グラフィクスストリームの再生タイプには、平面視グラフィクスストリームを用いた再生を行う第1の再生タイプと、左目用グラフィクスストリームと右目用グラフィクスストリームのペアを用いて立体視再生を行う第2の再生タイプとがあり、
 前記ケーパビリティレジスタは、左目用グラフィクスストリームと右目用グラフィクスストリームのペアを用いた立体視再生を行う能力が再生装置に存在するか否かを示しており、
 前記ケーパビリティレジスタに示される再生能力に従い、前記ストリーム番号レジスタに格納されたストリーム番号に対応するグラフィクスストリームの再生タイプを選択する ことを特徴とする。
  
 グラフィクスの立体視効果の実現性の可否が、ケーパビリティフラグに示されており、拡張ストリーム選択テーブルにおいて、立体視効果可能であると設定されているグラフィクスストリームについては、このグラフィクスの立体視効果を行うかどうかが、このケーパビリティフラグによって条件付けられるので、マニファクチャは、たとえ記録媒体に立体視効果をもつグラフィクスストリームが記録されていたとしても、ケーパビリティフラグを「ケーパビリティなし」と設定することで、かかるグラフィクスストリームの立体視効果に歯止めをかけ、品質管理を行い易い平面視グラフィクスストリームを用いた立体視再生を代わりに実行することができる。
 こうすることで、高品位な立体視効果機能をもった機種、かかる立体視効果機能をもたない機種という複数機種の再生装置を市場に投入して、製品ラインナップの充実化を図ることができる。
 以上が、解決しようとする課題欄で述べた技術的課題の解決を図る技術的思想の創作である。任意的ではあるが、上記再生装置は、以下のような追加的な技術的課題の解決を図るものであってもよい。
 (追加的技術的課題その1)
 現行の再生装置で主流になっているものは、立体視視聴用の眼鏡を装着して表示装置を視聴するというものである。このような視聴スタイルで、立体視を楽しむには、立体視の映画作品が記録された記録媒体を再生装置に装填した上、眼鏡をかけるという2つの動作が必要であるので、立体視再生の視聴を楽しむまでに時間がかかり、これらの動作をしている間に、「立体視映像がこれから始まる」という高揚感がなくなってしまうこともある。
 本発明の目的は、「立体視映像がこれから始まる」という高揚感が存在するうちに、立体視再生を開始することができる再生装置を提供することである。
 上記課題を解決することができる再生装置は、
 前記再生装置に接続されている表示装置に立体視表示能力が存在するか否かを示すケーパビリティレジスタと、
 自機の出力モードを格納しているモードレジスタとを備え、 
 複数の条件が成立するかどうかを判定して、複数の条件が成立した場合に、前記モードレジスタに立体視出力モードを設定し、
 前記複数の条件のうち第1条件は、前記ケーパビリティレジスタが、前記再生装置に接続されている表示装置に立体視表示能力が存在することを示していることであり、
 前記複数の条件のうち第2条件は、記録媒体に記録された、出力モードの初期値が立体視出力モードである旨を示すことであり、
 ディスク読み込み時に、前記第1条件と前記第2条件が成立するかどうかの判定を行い、前記第1条件と前記第2条件が成立した場合、前記モードレジスタに立体視出力モードを設定する
 ことを特徴とする。
 記録媒体における出力モードの初期値が立体視再生可能である旨を示す場合、再生装置が立体視再生の再生能力が存在することを要件として、ディスク装填と同時に再生装置が立体視出力モードになる。よって初期値が立体視再生可能であるである旨を示す場合、記録媒体を装填してすぐ眼鏡をかけることで、立体視再生による仮想現実感に浸ることができる。
 (追加的な技術的課題その2)
 現行の平面視用再生装置におけるストリーム選択手順については、ストリーム選択プロシージャという制御プログラムが確立されている。立体視再生装置においては、立体視出力モードと、平面視出力モードとの切り替えを保障する必要があるが、出力モードの選択手順が、かかるストリーム選択プロシージャと相容れないものであれば、制御プログラムの開発工数が倍増してしまうという問題がある。
 本発明の目的は、平面視用の再生装置におけるストリーム選択プロシージャと親和性が高い、モード設定を実現することができる再生装置を提供することである。
 上記課題を解決することができる再生装置は、
 前記再生装置に接続されている表示装置に立体視表示能力が存在するか否かを示すケーパビリティレジスタと、
 自機の出力モードを格納しているモードレジスタとを備え、 
 複数の条件が成立するかどうかを判定して、複数の条件が成立した場合に、前記モードレジスタに立体視出力モードを設定し、
 前記記録媒体には、再生経路を示すプレイリスト情報が記録されており、
 前記複数の条件のうち第1条件は、前記ケーパビリティレジスタが、前記再生装置に接続されている表示装置に立体視表示能力が存在することを示していることであり、
 前記複数の条件のうち第2条件は、再生するプレイリスト情報が、立体視用の拡張ストリーム選択テーブルを含むことであり、
 前記拡張ストリーム選択テーブルは、立体視再生モードにおいて前記再生装置が選択可能なエレメンタリストリームを、ストリーム番号と対応付けて示すリストであり、
 プレイリスト再生開始時に、前記モードレジスタに格納されている出力モードが立体視出力モードの場合、前記第1条件と前記第2条件が成立するかどうかの判定を行い、前記第1条件と前記第2条件が成立した場合、前記モードレジスタに格納されている立体視出力モードを維持する
 ことを特徴とする。
 平面視用のストリーム選択テーブルとは別に、立体視用の拡張ストリーム選択テーブルがカレントのプレイリスト情報に存在することを要件として、出力モードを切り替えるので、プレイリスト情報を基準にした既存のストリーム選択プロシージャに大きな改変を加えることなく、平面視出力モード、立体視出力モードのうち、適切なモードを選択することができる。
 (追加的な技術的課題その3)
 プレイリストの再生中は、プレイリストを構成するプレイアイテム間のシームレス接続が配慮されており、その再生の品位にオーサリング者による細心の注意が払われている。しかしながら、プレイリストの再生の途中で出力モードが立体視出力モードから平面視出力モードに切り替わったり、また平面視出力モードから立体視出力モードに切り替ったりすると、このプレイリスト単位でオーサリング者によって保障されている再生の品位が損なわれるという恐れがある。
 本発明の目的は、プレイリスト単位でオーサリング者によって保障されている再生の品位が損なわない再生装置を提供することである。
 上記課題を解決することができる再生装置は、前記モードレジスタに格納されている出力モードが平面視出力モードであれば、前記複数の条件が成立したとしても、モードレジスタに格納されている平面視出力モードを維持することを特徴とする。
 プレイリスト再生中は、立体視出力モードと、平面視出力モードとの切り替えを禁止するので、プレイリストの再生の途中で平面視から立体視に切り替わることによる表示画像の突然の乱れの発生を回避することができる。
 (追加的な技術的課題その4)
 プレイリストの再生中は、プレイリストを構成するプレイアイテム間のシームレス接続が配慮されており、その再生の品位にオーサリング者による細心の注意が払われている。しかしながら、ユーザからの要求によってプレイリストの再生の途中で出力モードが立体視出力モードから平面視出力モードに切り替わったり、また平面視出力モードから立体視出力モードに切り替ったりすると、このプレイリスト単位でオーサリング者によって保障されている再生の品位が損なわれるという恐れがある。
 本発明の目的は、プレイリスト単位でオーサリング者によって保障されている再生の品位が損なうことがない再生装置を提供することである。
 上記課題を解決することができる再生装置は、プレイリストの再生中であれば、前記モードレジスタに格納されている出力モードを維持することを特徴とする。
 プレイリストの再生の途中で平面視から立体視に切り替わることによる表示画像の突然の乱れの発生を回避することができる。
 (追加的な技術的課題その5)
 今後、主流となる立体視表示形式は、眼鏡を着用するものであるが、近い将来、裸眼立体視が可能になるような表示装置が市場投入されることは充分に考えられる。そのような裸眼立体視を行える表示装置が市場投入されると再生装置における制御プログラムに大きな改変に迫られる。そうすると、また改めて制御プログラムを開発せざるを得ず、マニファクチャの負担が倍増する。また裸眼立体視が可能な表示装置の開発時期は、現段階では予測することはできず、そのような将来性を踏まえた再生装置の開発計画を立案することは不可能に近い。
 本発明の目的は、裸眼立体視が可能な表示装置に接続されたとしても、制御プログラムに大きな改変を加えなくて済む再生装置を提供することである。
 上記課題を解決することができる再生装置は、
 前記再生装置に接続されている表示装置に立体視表示能力が存在するか否かを示すケーパビリティレジスタと、
 自機の出力モードを格納しているモードレジスタとを備え、
 所定の条件が成立するかどうかを判定して、所定の条件が成立した場合に、前記モードレジスタに立体視出力モードを設定し、 
 前記立体視表示能力を有する表示装置には、立体視映像を見る際に、立体視眼鏡の着用が必要なものと不要なものとがあり、
 前記ケーパビリティレジスタは、要否フラグを含み、前記要否フラグは、前記再生装置に接続されている表示装置に立体視表示能力が存在する場合、立体視映像を見る際に、立体視眼鏡の着用が必要か否かを示し、
 前記要否フラグが、立体視映像を見る際に、立体視眼鏡の着用が不要である旨を示している場合、前記所定の条件を満たすと判定し、前記モードレジスタに立体視出力モードを設定する
 ことを特徴とする。
 上記再生装置によれば、裸眼立体視が可能な表示装置に接続されている場合、裸眼立体視が可能な立体視表示装置、又は、裸眼立体視が不可能な立体視表示装置のどちらかが接続相手になる可能性があっても、適切な出力モードの選択を実現することができる。
 
 (追加的な技術的課題その6)
 立体視再生は長い歴史をもつが、旧来の立体視再生は映像に充分な解像度を確保しえなかったことから、映画作品の主流になれなかったという経緯がある。再生装置の接続相手となる表示装置の表示能力で、立体視再生の品位が大きく変わるようでは、旧来の立体視再生とおなじ轍を踏む恐れがある。
 本発明の目的は、映像や表示装置の解像度で、品位が大きく変わることがないという保障をもたらすことができる再生装置を提供することである。
 上記課題を解決することができる再生装置は、
 前記再生装置に接続されている表示装置に立体視表示能力が存在するか否かを示すケーパビリティレジスタと、
 自機の出力モードを格納しているモードレジスタとを備え、
 所定の条件が成立するかどうかを判定して、所定の条件が成立した場合に、前記モードレジスタに立体視出力モードを設定し、 
 前記ケーパビリティレジスタは、表示タイプフラグを含み、前記表示タイプフラグは、前記再生装置に接続されている表示装置における表示方式が標準画質のものか、高画質のものかを示し、表示装置における表示方式が標準画質であれば、前記所定の条件を満たさないと判定する
 ことを特徴とする。
 上記再生装置によれば、テレビが標準画質であることから、立体視再生に必要な画質を確保し得ない場合には、平面視再生モードの設定を維持することができるので、解像度が充分でないまま立体視再生を実現することによる視聴者の視覚等への影響を防止することができる。
 
  (追加的な技術的課題その7)
 上記再生装置を、表示装置に接続する際、何等かのインターフェイスを通じて両装置を接続せねばならない。
 ここで、再生装置が立体視再生を行う場合、表示させるべきピクチャデータを非圧縮状態で表示装置に伝送する伝送系では、ネゴシエーションに、ビデオフォーマット・フレームレートといったパラメータが必要になる。理由は以下の通りである。つまり、ピクチャデータの非圧縮伝送を前提にした伝送系においては、表示装置の各フレーム期間で表示されるべきピクチャデータを、非圧縮の状態のまま、接続相手である表示装置に伝送にする必要があるので、表示装置と、再生装置との間で、水平表示期間、垂直表示期間と同期した非圧縮の画素データ伝送を実現せねばならない。
 一方、水平表示期間、垂直表示期間と同期して伝送すべき画素データの量は、画像のビデオフォーマットに依存するので、表示装置側で処理できるビデオフォーマットやフレームレートはどれか、再生装置側で処理できるビデオフォーマットやフレームレートはどれかといった情報を互いにやりとりして、双方が処理することができるフレームレート、ビデオフォーマットのうち、最良のものを決定にする必要がある。
 しかし、再生装置におけるフレームレート、ビデオフォーマットの処理能力は、記録媒体に記録されているビデオストリームのフレームレート、ビデオフォーマットに依存するものであり、タイトルが選択されて再生されるべきプレイリストが定まらないと、これらの情報を取得することはできない。
 よって、ディスクが装填された段階では、ディスクに記録されている複数のビデオストリームのうち、どれが再生対象になるかは定まらず、またプレイリストの選択を待って、これらのフレームレートやフォーマットを表示装置に伝えてネゴシエーションを開始しようとすると、表示装置による立体視映像の表示開始が遅れて実際の立体視再生がなかなか開始されないという事態が生じる。具体的には、このネゴシエーションによって生じる起動遅延は、5秒程度のオーダーになる。
 本発明の目的は、記録媒体装填時におけるネゴシエーションによる起動遅延を解消することができる記録媒体を提供することである。
 上記課題を解決することができる記録媒体は、
 インデックステーブルが記録された記録媒体であって、
 前記インデックステーブルは、アプリケーション情報を含み、
 前記アプリケーション情報は、
 初期出力モード情報と、フォーマット・フレームレート情報とを含み、
 前記初期出力モード情報は、再生装置に優先的に設定される出力モードが平面視出力モードか立体視出力モードかを示す情報であり、
 前記フォーマット・フレームレート情報は、記録媒体を挿入時に、再生装置の出力モード情報として利用することができる映像フォーマット、及び、フレームレートを示す
 ことを特徴とする。
 上記記録媒体では、インデックステーブルにアプリケーション情報が存在しており、このアプリケーション情報は、ネゴシエーションに必要なパラメータとして、ビデオフォーマット、ビデオレートの情報を含むので、インデックステーブルの読み取り後、ファーストプレイタイトルの再生処理と同時に、相手側機器とのネゴシエーションを開始することができる。ファーストプレイタイトルの再生処理と、相手側機器とのネゴシエーションとをパラレルに実行することができるので、起動遅延は、約半分の時間にまで低減させることができる。
 (追加的な技術的課題その8)
 また、上記再生装置がビデオストリームを格納したストリームファイルのランダムアクセスを実現する場合、記録媒体に記録されたエントリーマップを手掛かりにして、GOPの先頭位置を特定する。
 エントリーマップは、ビデオストリームの記録にあたって、GOPの先頭にあたるピクチャデータをポインティングするエントリーをエントリーマップに追加してゆくことで生成される。
 メインビュービデオストリームからメイントランスポートストリームを生成すると共に、サブビュービデオストリームからサブトランスポートストリームを生成して、これらを立体視インターリーブドストリームファイルとして記録する場合、拡張エントリーマップにおけるエントリーによってポインティングされているピクチャデータと、基本エントリーマップにおけるエントリーによってポインティングされているピクチャデータとが、別々のエクステントのペアに配置されることがある。
 メインビュービデオストリーム及びサブビューストリームにおけるそれぞれのピクチャデータはその情報量がフレーム毎に違う。フレーム毎に情報量が異なるメインビュービデオストリームを含むメイントランスポートストリーム及びサブビューストリームを含むサブトランスポートストリームを、リードバッファのアンダーフローを招かないような固定長で分割して記録媒体に記録しようとすると、フレーム毎の情報量が互いに異なることから、基本エントリーマップにてポインティングされているベースビューピクチャデータと、拡張エントリーマップにてポインティングされているサブビューピクチャデータとが、同じペア領域とはならず、これらが別々のペア領域に帰属してしまうことも有り得る。
 ベースビューピクチャデータと、サブビューピクチャデータとが別々のペア領域に帰属した場合、これらベースビューピクチャデータ及びサブビューピクチャデータのランダムアクセスを実行しようとすると、任意の再生時刻に対応するピクチャデータの組みをデコーダに送り込むため、別々のエクステントのペアをアクセスして、これらに記録されているピクチャデータの組みを読み出す必要が生じる。ランダムアクセスの度に、別々のエクステントのペアをアクセスするというのは、光ピックアップのシークの多発を招き、再生開始の遅延をもたらす。
 本発明の目的は、ベースビューピクチャデータ、サブビューピクチャデータの組みをランダムアクセスする際の遅延をなくすことができる記録媒体を提供することである。
 上記課題を解決する記録媒体は、
 ストリームファイルと、ストリーム管理ファイルとが記録された記録媒体であって、
 前記ストリームファイルは、複数のピクチャデータによって構成されるビデオストリームを含み、
 前記ストリーム管理ファイルは、エントリーマップを含み、
 前記エントリーマップは、ピクチャデータのアドレスを、再生時刻に対応付けて示すエントリーを含み、
 前記ピクチャデータには、立体視映像のメインビューを構成するメインビューピクチャデータと、立体視映像のサブビューを構成するサブビューピクチャデータとがあり、
 前記エントリーマップには、平面視映像の再生時に使用される基本エントリーマップと、立体視映像の再生時に、前記基本エントリーマップと共に使用される拡張エントリーマップとがあり、
 対応する拡張エントリーマップは、基本エントリーマップのエントリーと同じ時刻のエントリーを有することを特徴とする。
 また前記ストリームファイルは、メインビューストリームを構成するエクステントと、サブビューストリームを構成するエクステントとを交互に配置することで構成される立体視インターリーブファイルであり、
 メインビューストリームを構成するエクステントのうち、識別番号iによって特定されるi番目のエクステントが、基本エントリーマップのエントリーによって示されるメインビューピクチャデータを含む場合、
 サブビューストリームを構成するエクステントのうち、前記識別番号iと同一の識別番号iによって特定されるi番目のエクステントは、拡張エントリーマップの前記基本エントリーマップの前記エントリーと同じ時刻のエントリーによって示されるサブビューピクチャデータを含む
 ことを特徴とする。
 上記記録媒体では、メイントランスポートストリームにおけるGOP及びサブトランスポートストリームにおけるGOPを記録媒体に記録するにあたって、拡張エントリーマップのエントリーは、サブビューピクチャデータであって、同じ再生時刻で再生されるべきベースビューピクチャデータが、基本エントリーマップのエントリーによってポインティングされているもののみをポインティングするようにしている。
 基本エントリーマップのエントリーによってポインティングされているピクチャデータと、拡張エントリーマップのエントリーによってポインティングされているピクチャデータとが、同じエクステントのペアに存在するので、エントリーマップ、拡張エントリーマップを手掛かりにしてエクステントをアクセスすれば、ベースビューのGOP、サブビューのGOPをまとめて再生することができる。これにより、再生開始の遅延を解消することができる。
パッケージ媒体である記録媒体、プレーヤ機器である再生装置、表示装置、眼鏡によって構成されるホームシアターシステムを示す。 ユーザーの顔を左側に描き、右側に対象物たる恐竜の骨格を左目から見た場合の例と、対象物たる恐竜の骨格を、右目から見た場合の例とを示している。 立体視のためのベースビュービデオストリーム、ディペンデントビュービデオストリームの内部構成の一例を示す。 第1実施形態に係る記録媒体における内部構成を示す。 メインTS及びサブTSの内部構成を示す。 プレイリスト情報の内部構成を示す。 基本ストリーム選択テーブルの一例を示す。 拡張ストリーム選択テーブルの内部構成を示す。 拡張ストリーム選択テーブルにおけるストリーム登録列を示す。 基本ストリーム選択テーブル、拡張ストリーム選択テーブルによりメインTS、サブTSからどのようなESが多重分離されるかを示す。 2D出力モード、3D出力モードにおけるストリーム番号の割り当て変化を示す。 再生装置の内部構成を示す。 PGデコーダの内部構成を示す。 テキスト字幕デコーダの内部構成を示す。 IGデコーダのデコーダモデルを示す。 デコーダモデルの出力を合成し、3D-LR方式で出力するための回路構成を示す。 これらのデコーダモデルの出力を合成し、1plane+Offsetモード方式で出力するための回路構成を示している。 レジスタセット203の内部構成と、再生制御部とを描いた図である。 PSR24のビットアサインを示す。 プレイリスト再生手順を示す。 PGtestSTストリームについてのProcedure when playback condition is changedについての処理手順を示すフローチャートである。 カレントプレイアイテムについて最適なPG_テキスト字幕ストリームを選択する処理手順を示すフローチャートである。 セット立体視ストリームコマンド(SetstreamSSCommand)によってストリーム変化が要求された場合に実行すべきProcedure when stream change is requestedの処理手順を示すフローチャートである。 セットストリームコマンド、又は、ストリーム番号変更を要求するユーザ操作によってストリーム変化が要求された場合に実行すべきProcedure when stream change is requestedの処理手順を示すフローチャートである。 カレントIGストリームの決定及びカレントIGストリームの再生タイプ決定の処理手順を示すフローチャートである。 結合ストリーム登録列によってどのようなパケット識別子が多重分離部に出力されるかを示す。 結合ストリーム登録列によってどのようなパケット識別子が多重分離部に出力されるかを示す。 レジスタセット203の内部構成と、再生制御部210とを描いた図である。 出力モードの選択モデルの状態遷移を示す。 Initializationの処理手順を示す。 Procedure when playback condition is changedの処理手順を示す。 3D出力モード実現のためのプレーヤ設定レジスタのビットアサインを示す。 BD-Jオブジェクトの内部構成の一例を示す図である。 BD-Jタイトルにおける出力モード設定の処理手順を示すフローチャートである。 イニシャルHAViデバイスコンフィグレーションセレクションのビヘイビアの一例を示すフローチャートである。 PSR23のビットアサインを示す。 PSR23における立体視再生ケーパビリティの判定手順を示すフローチャートである。 インデックステーブルを説明するための説明図である。 ディスクインサート時の処理手順を示すフローチャートである。 表示装置と、再生装置との間の間のやりとりを示す図である。 エクステントと、ファイル2D/ファイルベース、ファイルディペンデントとの対応付けを示す。 立体視インターリーブドストリームファイルと、ファイル2D/ファイルベースとの関係を示す。 立体視インターリーブドストリームファイル、ファイル2D、ファイルベースの相互関係を示す。 2Dプレイリスト、3Dプレイリストを示す。 クリップ情報ファイルの内部構成を示す。 クリップ情報ファイルと、プレイリストと、立体視インターリーブドストリームファイルとの関係を示す。 クリップベース情報、クリップディペンデント情報の内部構成を示す図である。 基本エントリーマップと、拡張エントリーマップとを示す図である。 拡張エントリーマップにおいて許容されないエントリーを示す。 プレイアイテムの再生手順を示す。 立体視インターリーブドストリームファイル構成するデータブロックからATCシーケンスがどのように復元されるかを示す。 ATCシーケンスの復元がどのように行われるかを示す図である。 ベースビュークリップ情報におけるエクステントスタートポイント情報の一例と、ディペンデントビュークリップ情報におけるエクステントスタートポイント情報の一例を示す。 ATCシーケンス1、2における任意のデータブロックのソースパケット番号を説明するための図である。 ATCシーケンス復元手順を示す。 光ディスクの記録方法を示す。 オーサリング行程の処理手順を示すフローチャートである。 AVファイル書込工程の処理手順を示す。 基本エントリーマップ、拡張エントリーマップの作成手順を示すフローチャートである。 BD-Jアプリケーション、BD-Jオブジェクト、ムービーオブジェクト、インデックステーブルの作成手順を示すフローチャートである。 多層化された光ディスクの内部構成を示す。 ファイルシステムを前提にした光ディスクのアプリケーションフォーマットを示す。 2D/3D再生装置の構成を示している。 本発明に係る記録媒体の、使用行為についての形態、BD-ROMの内部構成、インデックスファイルの内部構成を示す図 AVクリップの構成、各ストリームがAVクリップにおいてどのように多重化されているかを模式的に示す図 PESパケット列に、ビデオストリーム及びオーディオストリームがどのように格納されるかを更に詳しく示し、AVクリップにおけるTSパケットとソースパケット構造を示す図 PMTのデータ構成、クリップ情報ファイルの内部構成を示す図 ストリーム属性情報の内部構成、エントリマップの内部構成を示す図 プレイリストの内部構成、プレイアイテムの内部構成を示す図 2D再生装置の内部構成、プレーヤ変数を説明する図 システムターゲットデコーダの内部構成を示す図 対応3D方式を識別するシステムパラメータを説明する図 対応3D方式を識別するシステムパラメータの自動取得の様子を説明する図 2Dプレイリストと3Dプレイリストの再生を切り替えるデータ構造を示す図 2Dプレイリストと3Dプレイリストの再生を切り替えるフローを示す図 3D映像と2D映像を同時出力する場合を説明する図 2D/3D表示形式を示すシステムパラメータの状態遷移を説明する図 2D/3D表示形式を示すシステムパラメータの状態遷移の初期化フローを示す図 2D/3D表示形式を示すシステムパラメータの状態遷移のタイトル変更フロー、2D/3D表示形式を示すシステムパラメータの状態遷移のプレイリスト変更フローを示す図 2D/3D表示形式を示すシステムパラメータの状態遷移の2D/3D切り替えフローを示す図 2D/3D表示形式を示すシステムパラメータの状態遷移のMovie Titleの場合を示す図 2D/3D表示形式を示すシステムパラメータの状態遷移のJava Titleの場合を示す図 2D/3D表示形式を示すシステムパラメータの状態遷移のタイトル切り替えの場合を示す図 ストリーム再生開始までのHDMI認証を効率化する方法の説明図 2D/3D再生装置で3D映像再生を説明する図 2D映像ストリームの場合のタイムマップの説明図 3D映像ストリームが独立した2本のストリームの場合のタイムマップの説明図 3D映像ストリームが1本のトランスポートストリームの場合のタイムマップの説明図 3D映像ストリームが1本のトランスポートストリームの場合のタイムマップの説明図 字幕・グラフィクスのオフセット情報と有効・無効切り替えの説明図 2D/3D表示形式を示すシステムパラメータの状態遷移の初期化フローを示す図 立体視の説明図 2D/3D再生装置を集積回路を用いて実現した構成例である。 ストリーム処理部の代表的な構成を示す機能ブロック図である。 切替部がDMACであった場合の切替部53周辺の概念図である。 AV出力部の代表的な構成を示す機能ブロック図である。 AV出力部もしくは再生装置のデータ出力部分を詳細に示した構成例である。 集積回路における制御バス及びデータバスの配置を示した図である。 集積回路における制御バス及びデータバスの配置を示した図である。 表示装置を集積回路を用いて実現した構成例である。 表示装置におけるAV出力部の代表的な構成を示す機能ブロック図である。 再生装置における動作手順を簡単に示したフローチャートである。 再生装置における動作手順を詳細に示したフローチャートである。
 上記課題解決手段を具備した記録媒体は、コンテンツを店頭販売するためのパッケージ媒体として実施することができる。また、この記録媒体に対応する再生装置は、パッケージ媒体を再生するためのプレーヤ機器として実施することができ、この記録媒体に対応する集積回路は、当該プレーヤ機器に組込まれるシステムLSIとして実施することができる。
 図1は、パッケージ媒体である記録媒体、プレーヤ機器である再生装置、表示装置、眼鏡によって構成されるホームシアターシステムを示す。同図(a)に示すように、上記パッケージ媒体である記録媒体100、プレーヤ機器である再生装置200は、表示装置300、3D眼鏡400、リモコン500と共にホームシアターシステムを構成し、ユーザによる使用に供される。
 記録媒体100は、上記ホームシアターシステムに、例えば映画作品を供給する。この映画作品には、立体視映像を構成するものがある。ここで立体視映像は、少なくとも2つの視点映像から構成される。視点映像とは、何等かの偏向性をもった映像のことであり、上記2つの視点映像は、メインビュー映像と、サブビュー映像とから構成される。記録媒体100には、図1に示すように、ディスク型のもの、メモリカード型のもの等様々なタイプが存在するが、特に断らない限り以降の説明で述べる「記録媒体」は、ディスク媒体であるとする。
 再生装置200は、表示装置300と接続され、記録媒体100を再生する。再生装置は、メインビュー映像を表すメインビュービデオストリーム、サブビュー映像を表すサブビュービデオストリームを再生するため、2D出力モード、3D出力モードという2つの出力モードを具備しており、これらの相互切り替えを可能とする2D/3D再生装置(プレーヤ)である。
 表示装置300はテレビであり、映画作品の再生映像を表示したり、メニュー等を表示することで、対話的な操作環境をユーザに提供する。本実施形態の表示装置300は、3D眼鏡400をユーザが着用することで立体視を実現するものだが、表示装置300がレンチキュラー方式のものなら、3D眼鏡400は不要となる。
 3D眼鏡400は、液晶シャッターを備え、継時分離方式あるいは偏光メガネ方式による視差画像をユーザに視聴させる。視差画像とは、右目に入る映像と、左目に入る映像とから構成される一組の映像であり、それぞれの目に対応したピクチャーだけがユーザの目に入るようにして立体視を行わせる。 同図(b)は、左目用映像の表示時を示す。画面上に左目用の映像が表示されている瞬間において、前述の3D眼鏡400は、左目に対応する液晶シャッターを透過にし、右目に対応する液晶シャッターは遮光する。同図(c)は、右目用映像の表示時を示す。画面上に右目用の映像が表示されている瞬間において、先ほどと逆に右目に対応する液晶シャッターを透光にし、左目に対応する液晶シャッターを遮光する。
 リモコン500は、AV再生のための操作項目を受け付けるための機器である。またリモコン500は、階層化されたGUIに対する操作をユーザから受け付ける機器であり、かかる操作受け付けのため、リモコン500は、GUIを構成するメニューを呼び出すメニューキー、メニューを構成するGUI部品のフォーカスを移動させる矢印キー、メニューを構成するGUI部品に対して確定操作を行う決定キー、階層化されたメニューをより上位のものにもどってゆくための戻りキー、数値キーを備える。
 図1のホームシアターシステムにおいて、3D出力モードでの画像表示を表示装置300に行わせる再生装置の出力モードを「3D出力モード」という。2D出力モードでの画像表示を表示装置300に行わせる再生装置の出力モードを「2D出力モード」という。
 以上が、記録媒体及び再生装置の使用形態についての説明である。
 (第1実施形態)
 第1実施形態の特徴は、右目用のグラフィクスストリーム、左目用のグラフィクスストリームを用いた立体視を実現することができるかどうかのケーパビリティを、再生装置におけるレジスタに設定している点である。
 以降の説明において、メインビュー及びサブビューは、視差画像方式を実現するものとする。視差画像方式(3D-LRモードという)は、右目に入る映像と、左目に入る映像とを各々用意し、それぞれの目に対応したピクチャーだけが入るようにして立体視を行う方法である。図2は、ユーザーの顔を左側に描き、右側には、対象物たる恐竜の骨格を左目から見た場合の例と、対象物たる恐竜の骨格を、右目から見た場合の例とを示している。右目及び左目の透光、遮光から繰り返されれば、ユーザの脳内では、目の残像反応により左右のシーンの重合せがなされ、顔の中央の延長線上に立体映像が存在すると認識することができる。
 このような立体視を実現するためのビデオストリームの符号化方式として、MPEG4-MVC方式によるものを用いる。以降の説明において、MPEG4-MVCにおける「ベースビュービデオストリーム」が、メインビュービデオストリームであり、MPEG4-MVCにおける「ディペンデントビュービデオストリーム」がサブビュービデオストリームであるものとする。
 MPEG-4 MVC ベースビュービデオストリームは、view_idが0のサブビットストリームであり、view_idが0のビューコンポーネントのシーケンスである。MPEG-4 MVC ベースビュービデオストリームは、MPEG-4 AVCビデオストリームの制約を守る。
 MPEG-4 MVC ディペンデントビュービデオストリーム は、view_idが1のサブビットストリームであり、view_idが1のビューコンポーネントのシーケンスである。
 ビューコンポーネントとは、一個のフレーム期間において、立体視再生のために同時に再生される複数のピクチャデータのそれぞれのものをいう。視点間の相関性を用いた圧縮符号化は、ベースビュービデオストリーム及びディペンデントビュービデオストリームのビューコンポーネントをピクチャデータとして用いて、ピクチャ間の相関性を用いた圧縮符号化を実現することでなされる。1つのフレーム期間に割り当てられたベースビュービデオストリームのビューコンポーネントと、ディペンデントビュービデオストリームのビューコンポーネントとの組みが、1個のアクセスユニットを構成することになり、このアクセスユニットの単位でランダムアクセスが可能になる。
 ベースビュービデオストリーム及びディペンデントビュービデオストリームは、何れも個々のビューコンポーネントを「ピクチャ」としたGOP構造を有しており、クローズドGOP、オープンGOPから構成される。クローズドGOPは、IDRピクチャと、このIDRピクチャに続くBピクチャと、Pピクチャとから構成される。オープンGOPは、Non-IDR Iピクチャと、Non-IDR Iピクチャに続くBピクチャと、Pピクチャとから構成される。
 Non-IDR Iピクチャ、Pピクチャ、Bピクチャは、他のピクチャとのフレーム相関性に基づき圧縮符号化されている。Bピクチャとは、Bidirectionally predictive(B)形式のスライスデータからなるピクチャをいい、Pピクチャとは、Predictive(P)形式のスライスデータからなるピクチャをいう。Bピクチャには、refrenceB(Br)ピクチャと、nonrefrenceB(B)ピクチャとがある。
 クローズドGOPは、IDRピクチャが先頭に配置される。表示順序においてIDRピクチャは先頭にならないが、IDRピクチャ以外の他のピクチャ(Bピクチャ,Pピクチャ)は、クローズドGOPより前のGOPに存在するピクチャと依存関係をもつことはできない。このようにクローズドGOPは、依存関係を完結させる役割をもつ。
 図3は、立体視のためのベースビュービデオストリーム、ディペンデントビュービデオストリームの内部構成の一例を示す。
 本図の第2段目は、ベースビュービデオストリームの内部構成を示す。このストリームには、ピクチャタイプがI1,P2,Br3,Br4,P5,Br6,Br7,P9というビューコンポーネントが含まれている。これらのビューコンポーネントは、Decode Time Stamp(DTS)に従いデコードされる。第1段目は、左目画像を示す。そうしてデコードされたビューコンポーネントI1,P2,Br3,Br4,P5,Br6,Br7,P9をPTSに従い、I1,Br3,Br4,P2,Br6,Br7,P5の順序で再生することで、左目画像が再生されることになる。
 第4段目は、ディペンデントビュービデオストリームの内部構成を示す。このディペンデントビュービデオストリームは、P1,P2,B3,B4,P5,B6,B7,P8というピクチャタイプのビューコンポーネントが含まれている。これらのビューコンポーネントは、DTSに従いデコードされる。第3段目は、右目画像を示す。そうしてデコードされたビューコンポーネントP1,P2,B3,B4,P5,B6,B7,P8をPTSに従い、P1,B3,B4,P2,B6,B7,P5の順序で再生することで、右目画像が再生されることになる。
 第5段目は、3D眼鏡400の状態をどのように変化させるかを示す。この第5段目に示すように、左目画像の視聴時は、右目のシャッターを閉じ、右目画像の視聴時は、左目のシャッターを閉じていることがわかる。
 ベースビュービデオストリームのビデオフレームと、ディペンデントビューストリームのビデオフレームとを1/48秒の表示周期において、「B」ー「D」ー「B」ー「D」というように交互で出力するモードを、「B-Dプレゼンテーションモード」という。
 更に、B-Dプレゼンテーションモードには、L画像、R画像を用いて立体視効果を実現する3D-LR方式の他、2D画像と、深度情報とを用いて立体視効果を実現する3D-Depth方式がある。
 ベースビュービデオストリームのビデオフレームと、ディペンデントビューストリームのビデオフレームとを交互に出力するのではなく、出力モードを3Dモードに維持したまま、同じビデオフレームを2回以上繰り返し出力するという処理を行う再生タイプを、B-Bプレゼンテーションモードという。B-Bプレゼンテーションモードでは、単独再生可能なベースビュービデオストリームのビデオフレームのみが「B」-「B」-「B」-「B」というように繰り返し出力される。
 以上のB-Dプレゼンテーションモード、B-Bプレゼンテーションモードが、再生装置の出力モードの基本となるが、これらのモード以外にも、再生装置には、1plane+Offsetモードという出力モードが存在する。
 1plane+Offsetモード(3D-Offsetモードともいう)は、プレーンメモリの後段にシフト部を組込んで、シフト部を機能させることで立体視を実現する出力モードである。プレーンオフセット部は、レフトビュー期間及びライトビュー期間のそれぞれにおいて、プレーンメモリにおけるライン単位の画素の座標を、左方向又は右方向にシフトさせ、右目視線及び左目視線の結像点を手前方向、又は、奥行方向に変位させることで奥行き感を変化させる。具体的には、レフトビュー期間で左方向、ライトビュー期間で右方向に、画素座標を変化させれば、両目の視線の結像点は手前になり、レフトビュー期間で右方向、ライトビュー期間で左方向に、画素座標を変化させれば、両目の視線の結像点は手前になる。
 かかるプレーンシフトでは、立体視のためのプレーンメモリが1プレーンで足りるので、簡易に立体視映像を作り出すのに最適である。このプレーンシフトでは、平面的な映像が手前に来たり、奥に引込んだりするという立体視映像を産み出すに過ぎないから、メニューや字幕の立体視効果には適しているものの、キャラクターや物体の立体視効果の実現にはやや物足りない。キャラクターの顔のくぼみや凹凸等が再現できないからである。
 1plane+Offsetモードをサポートする場合、再生装置の構成は以下の通りになる。グラフィクスの再生のため、再生装置にはプレーンメモリと、CLUT部、合成部が存在しており、このCLUT部、合成部の間にシフト部が組み入れられる。そして、シフト部は、ディペンデントビュービデオストリームのアクセスユニット構造に組込まれたオフセットシーケンスにおけるオフセットを用いて、上述したような画素の座標変化を実現する。こうすることで、1plane+Offsetモードにおける画素の飛び出度合は、MVCビデオストリームと緻密に同期したものになる。この1plane+Offsetモードの中には、1plane+Zero Offsetモードがある。1plane+Zero Offsetモードは、ポップアップメニューがオンである場合、オフセット値をゼロにして、ポップアップメニューだけに立体視効果を与える表示モードである。
 オフセットシーケンスによるシフト制御の対象となるプレーンメモリは、所定のレイヤモデルを構成する複数のプレーンメモリである。プレーンメモリとは、エレメンタリストリームをデコードすることで得られた一画面分の画素データをライン単位で格納しておき、水平同期信号、垂直同期信号に沿ってこれらの画素データを出力するためのメモリである。個々のプレーンメモリは、ビデオデコーダ、PGデコーダ、IGデコーダのデコードによって得られた1画面分の画素データを格納する。
 所定のレイヤモデルは、左目ビデオプレーン及び右目ビデオプレーンの階層、PGプレーンの階層、IG/BD-Jプレーンの階層から構成され、各階層のプレーンメモリの格納内容を、ビデオプレーン→PGプレーン→IG/BD-Jプレーンの順にレイヤ合成することを意図したものである。
 上記レイヤ合成は、プレーンメモリのレイヤモデルにおいて、2つの階層のプレーンメモリに格納されている画素データの画素値を重畳させるという処理を、レイヤモデルにおける2つの階層の全ての組合せに対して実行することでなされる。以下、各階層のプレーンメモリについて述べる。
 左目ビデオプレーンは、ビューコンポーネントをデコードすることで得られる一画面分の画素データのうち、左目用のピクチャデータを構成するものを格納することができるプレーンメモリである。右目ビデオプレーンは、ビューコンポーネントをデコードすることで得られる一画面分の画素データのうち、右目用のピクチャデータを構成するものを格納することができるプレーンメモリである。
 プレゼンテーショングラフィクス(PG)プレーンとは、パイプライン式で動作するグラフィクスデコーダが、デコード処理を行うことで得られたグラフィクスの格納に用いられるプレーンメモリである。IG/BD-Jプレーンとは、ある動作モードでは、IGプレーンとして機能し、別の動作モードでは、BD-Jプレーンとして機能するプレーンメモリである。インタラクティブグラフィクス(IG)プレーンとは、対話的な処理を前提にして動作するグラフィクスデコーダが、デコードを行うことで得られたグラフィクスの格納に用いられるプレーンメモリである。BD-Jプレーンは、オブジェクト指向プログラミング言語のアプリケーションが描画処理を行うことで得た描画イメージグラフィクスの格納に用いることができるプレーンメモリである。IGプレーンとBD-Jプレーンとは排他的なものであり、何れか一方が利用されている場合、他方は利用されないため、IGプレーンとBD-Jプレーンとでは1つのプレーンメモリを兼用している。
 上記レイヤモデルにおいて、ビデオプレーンについては、ベースビュー用のビデオプレーンと、ディペンデントビュー用のビデオプレーンとが存在するものの、IG/BD-Jプレーン、PGプレーンについては、ベースビュー用、ディペンデントビュー用のそれぞれについて、プレーンメモリが存在する訳ではない。よってIG/BD-Jプレーン、PGプレーンがシフト制御の対象になる。
 以上が3D出力モードについての説明である。続いて、本実施形態に係る記録媒体の内部構成について説明する。
 図4は、第1実施形態に係る記録媒体における内部構成を示す。本図(a)に示すように、第1実施形態に係る記録媒体には、「インデックステーブル」、「動作モードオブジェクトのプログラムファイル」、「プレイリスト情報ファイル」、「ストリーム情報ファイル」、「ストリームファイル」が記録されている。
 <インデックステーブル>
 インデックステーブルは記録媒体全体に関する管理情報であり、再生装置への記録媒体挿入後に、インデックステーブルが最初に読み出されることで、再生装置において記録媒体が一意に認識される。
 <動作モードオブジェクトのプログラムファイル>
 動作モードオブジェクトのプログラムファイルは、再生装置を動作させるための制御プログラムを格納している。このプログラムには、コマンドによって記述されたものと、オブジェクト指向のコンパイラ言語によって記述されたものがある。前者のプログラムは、コマンドベースの動作モードにおいて、複数のナビゲーションコマンドをバッチジョブとして再生装置に供給し、これらナビゲーションコマンドに基づき再生装置を動作させる。このコマンドベースの動作モードを、「HDMVモード」と呼ぶ。
 後者のプログラムは、オブジェクト指向型のコンパイラ言語ベースの動作モードにおいて、クラス構造体のインスタンスであるバイトコードアプリケーションを再生装置に供給し、このインスタンスに基づき再生装置を動作させる。クラス構造体のインスタンスには、バイトコードアプリケーションの1つであるJava(TM)アプリケーションを用いることができる。オブジェクト指向型コンパイラ言語ベースの動作モードを、「BD-Jモード」と呼ぶ。
 <ストリームファイル>
 ストリームファイルは、ビデオストリーム、1つ以上のオーディオストリーム、グラフィクスストリームを多重化することで得られたトランスポートストリームを格納している。ストリームファイルには、2D専用のものと、2D-3D兼用のものとがある。2D専用のストリームファイルは、通常のトランスポートストリーム形式であり、2D-3D兼用のストリームファイルは、立体視インターリーブドストリームファイルのファイル形式を有する。
 立体視インターリーブドストリームファイル形式とは、ベースビューストリームを含むメインのトランスポートストリーム(メインTS)のエクステントと、ディペンデントビュービデオストリームを含むサブトランスポートストリーム(サブTS)のエクステントとをインターリーブ形式で交互配置したものである。
 ストリームファイルに格納されるメインTSは、複数種別のPESストリームを管理・制御するための情報として、欧州デジタル放送規格に規定されたパケット管理情報(PCR,PMT,PAT)を具備している。
 PCR(Program_Clock_Reference)は、ATSの時間軸であるATC(Arrival Time Clock)とPTS・DTSの時間軸であるSTC(System Time Clock)の同期を取るために、そのPCRパケットがデコーダに転送されるATSに対応するSTC時間の情報を持つ。
 PMT(Program_map_table)は、ストリームファイル中に含まれる映像・音声・グラフィクスなどの各ストリームのPIDと各PIDに対応するストリームの属性情報を持ち、またTSに関する各種ディスクリプタを持つ。ディスクリプタにはストリームファイルのコピーを許可・不許可を指示するコピーコントロール情報などがある。
 PAT(Program Association Table)は、TS中に利用されるPMTのPIDが何であるかを示し、PAT自身のPID配列で登録される。
 これらのPCR,PMT,PATは、欧州デジタル放送規格において、一個の放送番組(Program)を構成するパーシャルTSを規定する役割をもち、再生装置は、欧州デジタル放送規格において、一個の放送番組を構成するパーシャルTSを扱うかの如く、TSをデコーダによる処理に供することができる。これは、欧州デジタル放送規格の端末装置と、記録媒体再生装置との互換性を意図したものである。
 メインTSにおけるエクステント及びサブTSにおけるエクステントの組みは、再生時においてダブルバッファをアンダーフローさせないデータサイズに設定されており、再生装置は、これらのエクステントの組みを途切れなく読み込んでゆくことができる。
 以上がストリームファイルについての説明である。
 <ストリーム情報ファイル>
 ストリーム情報ファイルは、ストリームファイルにおけるトランスポートストリーム内の任意のソースパケットに対するランダムアクセスや、他のトランスポートストリームとの途切れ無き再生を保障する。このストリーム情報ファイルを通じることにより、ストリームファイルは「AVクリップ」として管理されることになる。ストリーム情報ファイルは、AVクリップにおけるストリームの符号化形式、フレームレート、ビットレート、解像度等の情報や、GOPの先頭位置のソースパケット番号を、フレーム期間のプレゼンテーションタイムスタンプと対応付けて示す基本エントリーマップをもっているので、ストリームファイルのアクセスに先立ち、このストリーム情報ファイルをメモリにロードしておけば、アクセスしようとするストリームファイル中のトランスポートストリームがどのようなものであるのかを把握することができるので、ランダムアクセスの実行を保障することができる。ストリーム情報ファイルには、2Dストリーム情報ファイルと、3Dストリーム情報ファイルとがあり、3Dストリーム情報ファイルは、ベースビューのためのクリップ情報(クリップベース情報)と、ディペンデントビューのためのクリップ情報(クリップディペンデント情報)と、立体視用の拡張エントリーマップとを含む。
 クリップベース情報は、ベースビューのためのエクステントスタートポイント情報を含み、クリップディペンデント情報は、ディペンデントビューのためのエクステントスタートポイント情報を含む。ベースビューのためのエクステントスタートポイント情報は、複数のソースパケット番号から構成される。それぞれのソースパケット番号は、メインTSにおけるエクステントの分割位置が何パケット目に存在するかを示す。ディペンデントビューのためのエクステントスタートポイント情報も複数のソースパケット番号から構成され、サブTSにおける分割位置が何パケットに存在するかを示す。これらのエクステントスタートポイント情報を用いることで、立体視インターリーブドストリームファイルは、メインTSを構成するATCシーケンス1と、サブTSを構成するATCシーケンス2とに分割されることになる。「ATCシーケンス」とは、ソースパケットの配列であって、そのArrival_Time_Stampが参照しているArrival_Time_Clockに、不連続点(no arrival time-base discontinutiy)が存在しないものをいう。ATCシーケンスは、ATCのタイムスタンプが連続しているソースパケット列であるから、再生装置のアライバルタイムクロックを計時するクロックカウンタが計時を行っている間、ATCシーケンスを構成する各ソースパケットは、連続的なソースパケットデパケッタイジング処理、及び、連続的なパケットフィルタリング処理に供されることになる。
 ATCシーケンスがソースパケットの配列であるのに対し、STC時間軸におけるタイムスタンプが連続しているTSパケットの配列をSTCシーケンスという。「STCシーケンス」とは、TSパケットの配列であって、TSのシステム基準時刻であるSTC(System Time Clock)の不連続点(system time-base discontinuity)をもたないものをいう。STCの不連続点とは、デコーダがSTCを得るために参照するPCR(Program Clock Reference)を運ぶPCRパケットの不連続情報(discontinuity_indicator)がONである点である。STCシーケンスは、STCのタイムスタンプが連続しているTSパケット列であるから、再生装置のシステムタイムクロックを計時するクロックカウンタが計時を行っている間、STCシーケンスを構成する各TSパケットは、再生装置内に存在するデコーダの連続的なデコード処理に供されることになる。   
 拡張エントリーマップは、GOP先頭のフレーム期間を表すプレゼンテーションタイムスタンプに対応付けて、ディペンデントビュービデオストリームにおけるGOP先頭のビューコンポーネントの先頭位置となるアクセスユニットデリミターのソースパケット番号を示す。
 一方、3Dストリーム情報ファイルにおける基本エントリーマップは、2Dストリーム情報ファイルとの互換をもちつつも、GOP先頭のフレーム期間を表すプレゼンテーションタイムスタンプに対応付けて、ベースビュービデオストリームにおけるGOP先頭のビューコンポーネントの先頭位置となるアクセスユニットデリミターのソースパケット番号を示す。
 <プレイリスト情報ファイル>
 プレイリスト情報ファイルは、再生装置にプレイリストを再生させるための情報を格納したファイルである。「プレイリスト」とは、トランスポートストリーム(TS)の時間軸上で再生区間を規定するとともに、この再生区間同士の再生順序を論理的に指定することで規定される再生経路であり、TSのうち、どれをどの部分だけ再生して、どのような順序でシーン展開してゆくかを規定する役割をもつ。プレイリスト情報は、かかるプレイリストの「型」を定義する。プレイリスト情報によって定義される再生経路は、いわゆる「マルチパス」である。マルチパスとは、主となるTSに対して定義された再生経路(メインパス)と、従となるストリームに対して定義された再生経路(サブパス)とを束ねたものである。このマルチパスにおいてベースビュービデオストリームの再生経路を規定し、サブパスにおいてディペンデントビュービデオストリームの再生経路を規定すれば、立体視を再生するためのビデオストリームの組合せを、好適に規定することができる。
 オブジェクト指向プログラミング言語ベースのアプリケーションが、このプレイリスト情報を再生するフレームワークプレーヤインスタンスの生成を命じることで、マルチパスによるAV再生を開始させることができる。フレームワークプレーヤインスタンスとは、メディアフレームワークプレーヤクラスを基にして仮想マシンのヒープメモリ上に生成される実際のデータのことである。またコマンドベースのプログラムが、このプレイリスト情報を引き数で指定した再生コマンドを発行することで、マルチパスによる再生を開始することもできる。
 プレイリスト情報は、1つ以上のプレイアイテム情報を含む。プレイアイテム情報とは、ビデオストリームの再生時間軸のうち、In_Timeとなる時点と、Out_Timeとなる時点の組みを1つ以上定義する再生区間情報である。
 プレイリスト情報は、プレイアイテム情報-ストリーム情報-トランスポートストリームという階層構造を有しており、トランスポートストリーム及びストリーム情報の組みと、プレイアイテム情報との比率については、1対多の関係にして、1つのトランスポートストリームを複数のプレイアイテム情報から多重参照することができる。よって、あるプレイリストのために作成されたトランスポートストリームをバンクフィルムとして採用し、これを複数のプレイリスト情報ファイルにおけるプレイアイテム情報から参照することで、映画作品のバリエーションを効率良く作成することができる(尚、バンクフィルムとは、映画業界の用語であり、複数のシーンで使いまわしされる映像内容のことである)。
 一般には、プレイリストという単位はユーザから認識されないので、ストリームファイルから派生した複数のバリエーション(例えば劇場公開版やTV放映版)が、プレイリストとして認識される。
 プレイリスト情報には、2Dプレイリスト情報と、3Dプレイリスト情報とがあり、これらの違いは、3Dプレイリスト情報内にベースビューインディケータと、立体視ストリーム番号テーブルとが存在することである。
 「立体視ストリーム番号テーブル」とは、3D出力モードでのみ再生すべきエレメンタリストリームのストリームエントリー及びストリーム属性を、ストリーム番号に対応付けて示すテーブルである。
 「ベースビューインディケータ」は、視点間の相関性を利用した圧縮符号化の基礎となるベースビュービデオストリームを、左目及び右目のどちらとして表示されるべきかを示す情報である。このプレイリスト情報におけるベースビューインディケータを変化させることで、ベースビュービデオストリームを、左目及び右目用のうちどちらにするかという割り当てをプレイリストのレベルで変化させることができる。
 ストリームの構造に依拠しないプレイリストのレベルで、上記割り当てを変化させることができるので、画像中の物体の位置及び角度がベースビュー=左目、ディペンデントビュー=右目用のように設定されているプレイリストが存在する場合、このプレイリストとは別バージョンとして、ベースビュー=右目用、ディペンデントビュー=左目のように設定されているプレイリストを作成することができる。
 プレイリストのレベルで、ベースビュー、ディペンデントビューに対する左目、右目用の割り当てを逆転させれば、立体視効果を逆転させることができる。例えば、画面の手前に対象物が出現するような立体視効果を意図したプレイリストが既に作成されている場合、かかるプレイリストと別に、画面の奥に対象物が出現するような立体視効果を意図したプレイリストを作成することができる。よって3Dプレイリストでは、立体視効果が異なる、プレイリストのバリエーションを簡易に作成することがでるという効果を奏する。
 
 図4(b)は、メインTSの内部構成を示し、同図(c)は、サブTSの内部構成を示す。同図(b)に示すように、メインTSは、1本のベースビュービデオストリームと、32本の左目PGストリーム、32本の左目用IGストリーム、32本のオーディオストリームを含むものとする。同図(c)に示すように、サブTSは、1本のディペンデントビュービデオストリームと、32本の右目PGストリーム、32本の右目用IGストリームを含むものとする。
 次に、TSの内部構成について説明する。
 TSに多重化されるエレメンタリストリーム(ES)は、ビデオストリーム、オーディオストリーム、プレゼンテーショングラフィクスストリーム、インタラクティブグラフィクスストリームがある。
 ・ビデオストリーム
 ベースビュービデオストリームは、ピクチャインピクチャアプリケーションにおけるプライマリビデオストリームを構成する。ピクチャインピクチャアプリケーションは、このプライマリビデオストリームの他、セカンダリビデオストリームから構成される。プライマリビデオストリームとは、ピクチャインピクチャアプリケーションにおいて親画面となるピクチャデータから構成されるビデオストリームである。対照的に、セカンダリビデオストリームとは、ピクチャインピクチャにおいて子画面として、親画面の一部にはめ込まれるピクチャデータから構成されるビデオストリームである。
 プライマリビデオストリームを構成するピクチャデータと、セカンダリビデオストリームを構成するピクチャデータとはデコード後、別々のプレーンメモリに格納される。セカンダリビデオストリームを構成するピクチャデータを格納するプレーンメモリの前段には、セカンダリビデオストリームを構成するピクチャデータのスケーリング変更及び表示座標の位置決めを行う構成要素(Scalling&Positioning)が存在する。
 ・オーディオストリーム
 オーディオストリームには、プライマリオーディオストリーム、セカンダリオーディオストリームの2種類がある。プライマリオーディオストリームは、ミキシング再生を行う場合、主音声となるべきオーディオストリームであり、セカンダリオーディオストリームは、ミキシング再生を行う場合、副音声をとなるべきオーディオストリームである。セカンダリオーディオストリームは、このミキシングのためのダウンサンプリングのための情報、ゲイン制御のための情報が存在する。
 ・プレゼンテーショングラフィクスストリーム(PGストリーム)
 PGストリームは、デコーダにパイプラインを採用することで、映像との緻密な同期を実現することができ、字幕表示に適したグラフィクスストリームであり、2DPGストリームと、立体視PGストリームという2つの種類がある。立体視PGストリームには、左目PGストリーム及び右目PGストリームという二種類のものがある。
 2DPGストリームは最大32本、左目PGストリームの最大32本、右目PGストリームも最大32本定義することができる。これらのPGストリームには、それぞれ、別々のパケット識別子が付与されており、多重分離部に、再生すべきパケット識別子を指示することで、これらのPGストリームのうち、所望のものが再生に供されることになる。
 パイプラインによるデコード動作の実現により、動画像との緻密な同期を実現するので、PGストリームの用途は字幕のような文字再生に限定されない。映画作品のマスコットキャラクタを表示して、これを動画像と同期させつつ動作させるなど、緻密な同期が必要なグラフィクス再生であれば、どのようなものも、PGストリームによる再生対象として、採用することができる。
 ストリームファイルに多重化されないが、字幕を現すストリームには、PGストリームの他に、テキスト字幕(textST)ストリームというものがある。textSTストリームは、字幕の内容をキャラクタコードで現したストリームである。
 PGストリーム、テキスト字幕ストリームは、これらの種類が区別されることなく、同じストリーム種別であるとして、これらPGストリーム及びテキスト字幕ストリームは、同じストリーム登録列に登録される。そして、ストリーム選択のプロシージャを実行するにあたって、ストリーム登録列におけるストリーム登録の順位に従い、再生されるべきPGストリーム又はテキスト字幕ストリームが定まる。PGストリーム、テキスト字幕ストリームは、ストリーム種が区別されることなく、ストリーム選択のプロシージャに供されるのでこれらPGストリーム及びテキスト字幕ストリームを1つのストリーム種別、つまり、「PG_テキスト字幕ストリーム(略して、字幕ストリームと呼ぶ場合もある)」という種別で扱う。
 2D用のPG_テキスト字幕ストリームは、1plane+Offsetモードにおいて再生される。以降の説明では、2DPG_テキスト字幕ストリームを、1plane+OffsetPG_テキスト字幕ストリームであるとして説明する。
 ・インタラクティブグラフィクス(IG)ストリーム
 IGストリームは、対話操作の情報を具備することで、ビデオストリームの再生進行に伴ってメニューを表示したり、またユーザ操作に従いポップアップメニューを表示することができるグラフィクスストリームである。
 IGストリームもPGストリームと同様、2DIGストリームと、立体視IGストリームという2つの種類がある。IGストリームの制御情報(対話制御セグメントという)は、ユーザインターフェイスモデルを規定する情報(User_interface_model)をもっており、オーサリング者は、このユーザインターフェイスモデル情報を設定することで、ビデオストリームの再生進行に伴ってメニューを表示するか(Alwaysオンという)、ユーザ操作に従いポップアップメニューを表示するか(ポップアップメニューオン)の何れかを指定することができる。
 IGストリームが対話操作の情報をもつ意義は以下の通りである。Java仮想マシンがアプリケーションからの要求に応じてプレイリスト再生の開始を再生制御の主体である再生制御エンジンに指示する場合、Java仮想マシンは、再生制御エンジンに再生を命じた後、プレイリスト再生を開始した旨のレスポンスをアプリケーションに返す。つまり、再生制御エンジンによるプレイリスト再生が継続している間、Java仮想マシンは、実行終了待ちにはならない。何故なら、Java仮想マシンは、いわゆるイベントドリブン型の動作主体であり、再生制御エンジンがプレイリストの再生を行っている間も、動作を行うことができるからである。
 一方、HDMVモードにおいて、コマンドインタプリタが、プレイリスト再生を再生制御エンジンに命じる場合、プレイリスト再生が終了するまで、そのプレイリスト再生の実行終了待ちとなる。再生制御エンジンによる再生が継続している間、コマンド実行部は、対話的な処理を実行することはできない。このコマンドインタプリタの代わりに、グラフィクスデコーダが対話的な動作を行う。グラフィクスデコーダに対話的な動作を行わせるため、IGストリームには、ボタン部材を用いた対話的な操作を規定する制御情報が組込まれている。 
 ・各ストリーム種別において許容される表示モード
 3D表示モードのどれが許容されるかは、ストリーム種別によって異なる。プライマリビデオストリームの3D表示モードには、B-Dプレゼンテーションモード、B-Bプレゼンテーションモードといった2つの出力モードが許容される。プライマリビデオストリームにおいて、B-Bプレゼンテーションモードが許容されるのは、ポップアップメニューがオンになっている場合のみである。B-Dプレゼンテーションモードで再生される場合におけるプライマリビデオストリームの類型を、「立体視B-D再生タイプ」という。B-Bプレゼンテーションモードで再生される場合におけるプライマリビデオストリームの類型を、立体視B-B再生タイプという。
 PGストリームの3D表示モードには、B-Dプレゼンテーションモード、1plane+Offsetモード、1plane+Zero Offsetモードといった3つの出力モードが許容される。PGストリームにおいて、1plane+Zero Offsetモードが許容されるのは、ポップアップメニューがオンになっている場合のみである。B-Dプレゼンテーションモードで再生される場合におけるPGストリームの類型を、「立体視再生タイプ」という。1plane+Offsetモードで再生される場合におけるPGストリーム,PG_テキスト字幕ストリームの類型を、1plane+Offsetタイプという。1plane+Zero Offsetモードで再生される場合におけるPGストリーム,PG_テキスト字幕ストリームの類型を、1plane+Zero Offsetタイプという。
 テキスト字幕ストリームの3D表示モードには、1plane+Offsetモード、1plane+Zero Offsetモードといった2つの出力モードが許容される。テキスト字幕ストリームにおいて、1plane+Zero Offsetモードが許容されるのは、ポップアップメニューがオンになっている場合のみである。
 IGストリームの3D表示モードには、B-Dプレゼンテーションモード、1plane+Offsetモード、1plane+Zero Offsetモードといった3つの出力モードが許容される。IGストリームにおいて、1plane+Zero Offsetモードが許容されるのは、ポップアップメニューがオンになっている場合のみである。以降の説明では、特に断らない限り3D出力モード実行時には、ピクチャインピクチャは使用できないものとする。ピクチャインピクチャ及び3D出力モードは、何れも非圧縮のピクチャデータを格納するためのビデオプレーンを2つ必要とするからである。また特に断らない限り、3D出力モードでは、サウンドミキシングも使用できないものとする。
 続いて、メインTS及びサブTSの内部構成について説明する。図5は、メインTS及びサブTSの内部構成を示す。
 同図(a)は、メインTSの内部構成を示す。メインTSは、以下のソースパケットによって構成されている。
 0x0100のパケットIDを有するソースパケットはProgram_Map_Tableを構成し、0x1001のパケットIDを有するTSパケットはPCRを構成する。
 0x1011のパケットIDを有するソースパケット列は、プライマリビデオストリームを構成する。
 0x1200から0x121FのパケットIDを有するソースパケット列までは、32本の2DPGストリームを構成する。
 0x1400から0x141FのパケットIDを有するソースパケット列までは 32本の2DIGストリームを構成する。
 0x1100のパケット識別子を有するソースパケット列から、0x111Fのパケット識別子を有するソースパケット列までは、プライマリオーディオストリームを構成する。
 これらのソースパケットのパケット識別子を多重分離部に指示することにより、メインTSに多重化されている複数のESのうち、所望のものを分離してデコーダに供することができる。
 図(b)は、サブTSの内部構成を示す。サブTSは、以下のソースパケットによって構成されている。
 Ox1012のパケット識別子を有するソースパケット列は、ディペンデントビュービデオストリームを構成する。
 0x1220のパケット識別子を有するソースパケット列から0x123FのパケットIDを有するソースパケット列までは、32本の左目PGストリームを構成する。
 Ox1240のパケット識別子を有するソースパケット列から0x125Fのパケット識別子を有するソースパケット列までは、32本の右目PGストリームを構成する。
 0x1420のパケット識別子を有するソースパケット列から0x143FのパケットIDを有するソースパケット列までは 32本の左目用IGストリームを構成する。
 Ox1440のパケット識別子を有するソースパケット列から0x145Fのパケット識別子を有するソースパケット列は、32本の右目用IGストリームを構成する。
 以上がストリームファイルについての説明である。続いて、プレイリスト情報の詳細について説明する。
 上述したようなマルチパスを定義するため、図6のような内部構成を有する。図6は、プレイリスト情報の内部構成を示す。同図(a)に示すようにプレイリスト情報は、「メインパス情報」、「サブパス情報」、「プレイリストマーク情報」、「エクステンションデータ」を含む。以下、これらの構成要素について説明する。
 1)メインパス情報は、1つ以上の主たる再生区間情報から構成される。図6(b)は、メインパス情報、及び、サブパス情報の内部構成を示す図であり、本図に示すように、メインパス情報は、1つ以上の主たる再生区間情報から構成される。サブパス情報は、1つ以上の従たる再生区間情報から構成される。
 主たる再生区間情報はプレイアイテム情報と呼ばれ、TSの再生時間軸のうち、In_Timeとなる時点と、Out_Timeとなる時点の組みを1つ以上定義することにより、論理的な再生区間を定義する情報である。再生装置には、カレントのプレイアイテムの番号を格納するプレイアイテム番号レジスタを含み、複数のプレイリスト情報のうち、このプレイアイテム番号レジスタに格納されているものが、現在の再生対象になる。
 図6(c)は、プレイアイテム情報の内部構成を示す。本図に示すように、「ストリーム参照情報」、「インタイムアウトタイム情報」、「接続状態情報」、「基本ストリーム選択テーブル」を含む。
 ストリーム参照情報は、プレイアイテムを構成するトランスポートストリームを「AVクリップ」として管理しているストリーム情報ファイルを示す「ストリーム情報ファイルネーム情報(clip_information_file_name)」、そのTSにおける符号化方式を示す「クリップ符号化方式識別子(Clip_codec_indentifier)」、当該TSのSTCシーケンスにおいて、インタイム及びアウトタイムが設定されているSTCシーケンスがどれであるかを示す「STC識別子レファレンス(STC_ID_referrence)」を含む。
 以上がプレイアイテム情報についての説明である。
 2)従たる再生区間情報は、サブパス情報と呼ばれ、複数のサブプレイアイテム情報から構成される。図6(d)は、サブプレイアイテムの内部構成を示す。本図に示すように、サブプレイアイテム情報は、STCシーケンスの時間軸にインタイムと、アウトタイムとの組みを規定することで、サブパスを構成する再生区間を定義する情報であり、「ストリーム参照情報」、「インタイムアウトタイム情報」、「シンクロプレイアイテムレファレンス」、「シンクロ開始時刻情報」を含む。
  『ストリーム参照情報』は、プレイアイテム情報と同様、『ストリーム情報ファイルネーム情報』『クリップ符号化方式識別子』、『STC識別子レファレンス』を含む。
 『インタイムアウトタイム情報(SubPlayItem_In_Time,SubPlayItem_Out_Time)』は、STCシーケンス時間軸における、サブプレイアイテムの始点と、STCシーケンス時間軸上における、サブプレイアイテムの終点とを示す。
 「シンクロプレイアイテムレファレンス(Sync_PlayItem_Id)」は、プレイアイテムのうち、本サブプレイアイテムが同期すべきものを一意に指定する情報である。サブプレイアイテムインタイムは、この同期プレイアイテム参照子で指定されたプレイアイテムの再生時間軸上に存在する。
 「シンクロ開始時刻情報(Sync_Start_PTS_of_PlayItem)」は、同期プレイアイテム参照子で指定されたプレイアイテムのSTCシーケンスの時間軸のうち、サブプレイアイテムインタイムで指定されたサブプレイアイテムの始点が、どの時点に写像されるかを示す
 3)プレイリストマーク情報は、再生区間固有のマークポイントを定義する情報であり、再生区間を示す参照子と、デジタルストリームの時間軸において、マークポイントが何処にあるかを示すタイムスタンプと、マークポイントの属性を示す属性情報とを含み、
 前記属性情報は、プレイリストマーク情報により定義されたマークポイントが、リンクポイントであるか、エントリーマークであるかを示す。
 リンクポイントは、リンクコマンドによるリンクが可能であるが、チャプタースキップ操作がユーザによりなされた場合の選択対象にはならないマークポイントである。
 エントリーマークは、リンクコマンドによるリンクが可能であり、尚且つチャプタースキップ操作がユーザによりなされた場合の選択対象になるマークポイントである。
 IGストリームのボタン情報内に組込まれたリンクコマンドは、プレイリストマーク情報を介した間接参照の形式で頭出し位置を指定している。
 
 <基本ストリーム選択テーブル(STreamNumber_table)>
 前記基本ストリーム選択テーブルは、プレイリストを構成する複数のプレイアイテムのうち、その基本ストリーム選択テーブルを包含しているのものがカレントプレイアイテムになった際、マルチパスのメインパスにて参照されているAVクリップに多重化されているES、及び、マルチパスのサブパスにて参照されているAVクリップに多重化されているESのうち、どれの再生を許可するかを、複数のストリーム種別毎に規定するテーブルである。ここでのストリーム種別とは、ピクチャインピクチャにおけるプライマリビデオストリーム、ピクチャインピクチャにおけるセカンダリビデオストリーム、サウンドミキシングにおけるプライマリオーディオストリーム、サウンドミキシングにおけるセカンダリオーディオストリーム、PG_テキスト字幕ストリーム、IGストリームといった種別をいい、基本ストリーム選択テーブルは、これらのストリーム種別毎に、再生を許可すべきストリームを登録することができる。具体的には、基本ストリーム選択テーブルは、ストリーム登録の配列から構成される。ここでストリーム登録とは、基本ストリーム選択テーブルが帰属しているプレイアイテムがカレントプレイアイテムになった際、再生を許可すべきESがどのようなストリームであるかを、そのストリーム番号に対応付けて示すものであり、ストリーム登録は、論理的なストリーム番号に、ストリームエントリー及びストリーム属性の組合せを対応付けるというデータ構造になっている。
 ストリーム登録におけるストリーム番号は、1、2、3というような整数値で表現され、ストリーム番号の最大数は、対応するストリーム種別のストリーム本数となる。
 再生装置には、このストリーム種別毎に、ストリーム番号レジスタが存在しており、ここに格納されたストリーム番号で指示されるESが、現在再生対象になっているES、つまりカレントストリームになる。
 このストリームエントリー内に、再生すべきESのパケット識別子が記述される。ストリームエントリー内に、再生すべきESのパケット識別子を記述することができるので、ストリーム登録におけるストリーム番号を再生装置のストリーム番号レジスタに格納し、ストリーム登録におけるストリームエントリー内のパケット識別子に基づいて再生装置のPIDフィルタにパケットフィルタリングを再生装置に実行させる。こうすることで、基本ストリーム選択テーブルにおいて再生が許可されたESのTSパケットがデコーダに出力され、ESの再生がなされることになる。
 基本ストリーム選択テーブルにおけるこれらのストリーム登録は、ストリーム番号の順序に従って並べられており、ストリーム番号の順序に基づくストリーム登録の順位は、「再生装置が再生することができる」、「ストリームの言語属性が再生装置の言語設定と一致する」の条件を満たすストリームが複数存在する場合、ストリーム登録列におけるストリーム番号の順位によって、選択対象となるストリームが決定される。
 こうすることで、基本ストリーム選択テーブルにおけるストリーム登録の中に、再生装置が再生できないものが存在する場合、かかるストリームは再生から除外されることになり、また、「再生装置が再生することができる」、「ストリームの言語属性が再生装置の言語設定と一致する」との条件を満たすストリームが複数存在する場合は、それらのうちどれを優先的に選択すべきかという指針をオーサリング者は再生装置に伝えることができる。
 「再生装置が再生することができる」、「ストリームの言語属性が再生装置の言語設定と一致する」という条件を満たすストリームが存在するかどうかという判定や、「再生することができる」、「ストリームの言語属性が再生装置の言語設定と一致する」との条件を満たすストリームのうちどれを選択するかという選択手順は、ストリーム選択プロシージャと呼ばれる。ストリーム選択プロシージャは、カレントプレイアイテムが新しいものに切り替った際、また、ユーザからストリーム切り替えが要求された際、実行される。
 カレントプレイアイテムが新しいものに切り替わる等、再生装置の状態変化が生じた際、上述したような判定や選択を行い、再生装置のストリーム番号レジスタにストリーム番号を設定する一連の手順を「状態変化時に実行すべきプロシージャ」という。ストリーム番号レジスタは、ストリーム種別毎に存在するから、上記プロシージャは、ストリーム種別ごとに実行されることになる。
 ストリーム切り替え要求がユーザによってなされた場合、上述したような判定や選択を行い、再生装置のストリーム番号レジスタにストリーム番号を設定する一連の手順を「ストリーム変化が要求された際のプロシージャ」という。
 ディスクが装填された際、ストリーム番号レジスタをストリーム登録列における初期値に設定しておくとの手順を、「初期化」という。
 基本ストリーム選択テーブルにおけるストリーム登録列は、サブプレイアイテム情報によって指定されているストリームと、プレイアイテム情報によって指定されているストリームとに一律に優先順序を付与しているので、ビデオストリームとは多重化されていないストリームであっても、サブプレイアイテム情報によって指定されていれば、ビデオストリームと同期再生すべきストリームの選択にあたっての選択の対象となる。
 そして、サブプレイアイテム情報にて指定されたストリームを再生装置が再生することができ、尚且つ、サブプレイアイテム情報にて指定されたストリームの優先順序がビデオストリームと多重化されたグラフィクスストリームの優先順序よりも高い場合は、ビデオストリームと多重化されたストリームの代わりに、サブプレイアイテム情報にて指定されたストリームを再生に供することができる。
 基本ストリーム選択テーブルにおけるストリーム番号の用途を述べる。基本ストリーム選択テーブルに記載されたストリーム番号は、セットストリームコマンドのオペランドに使うことができる。
 セットストリームコマンドとは、オペランドに指定されたストリーム番号をカレントストリーム番号としてストリーム番号レジスタに設定して、カレントストリームの切り替えを再生装置に命じるコマンドであり、コマンドベースのプログラムが、ストリームの切り替えを再生装置に実行させる際に用いられる。
 また、ストリームチェンジUOの引き数やセットストリームAPIの引き数にも使用することができる。ストリームチェンジUOとは、引き数に指定されたストリーム番号をカレントストリーム番号としてストリーム番号レジスタに設定して、カレントストリームの切り替えを再生装置に命じるユーザ操作イベントである。
 セットストリームAPIとは、引き数に指定されたストリーム番号をカレントストリーム番号としてストリーム番号レジスタに設定して、カレントストリームの切り替えを再生装置に命じるAPIであり、オブジェクト指向プログラミング言語ベースのプログラムが、ストリーム切り替えを再生装置に実行させる際に用いられる。
 図7は、基本ストリーム選択テーブルの一例を示す。同図(a)は、ストリーム種別に、プライマリビデオストリーム、セカンダリビデオストリーム、PGストリーム、IGストリーム、セカンダリビデオストリーム、セカンダリオーディオストリームといった種別が存在する場合に、基本ストリーム選択テーブルに設けられる複数のストリーム登録列を示す。同図(b)は、基本ストリーム選択テーブルにより、メインTS,サブTSから、どのようなESが分離されるかを示す。同図左側は、メインTS、サブTSを示し、真ん中は、基本ストリーム選択テーブルと、多重分離部とを示す。右側は、基本ストリーム選択テーブルに基づき分離されるプライマリビデオストリーム、プライマリオーディオストリーム、PGストリーム、IGストリーム、セカンダリビデオストリーム、セカンダリオーディオストリームを示す。
 続いて、エクステンションデータの詳細について説明する。
 MVCビデオストリームをプレイリスト情報が参照する場合、拡張ストリーム選択テーブルは、プレイリスト情報ファイルのエクステンションデータにおけるデータブロックに格納されねばならない。
 ディスク上のMVCビデオストリームをプレイリスト情報が参照する場合、サブパス情報の拡張情報(サブパスブロックエクステンション)は、プレイリスト情報ファイルにおけるエクステンションデータのデータブロックに格納されねねばならない。
 2D再生装置は、プレイリストファイルにおけるエクステンションデータに遭遇した際、未知のエクステンションデータを無視せねばならない。
 <拡張ストリーム選択テーブル(STreamNumber_table_StereoScopic(SS))>
 拡張ストリーム選択テーブルは、立体視出力モードにおいてのみ、ストリーム選択テーブルと共に使用されるストリーム選択テーブルであり、プレイアイテムの再生や、これに関連するサブパスが再生されている際、選択することができるESを定義する。
 前記拡張ストリーム選択テーブルは、立体視出力モードにおいてのみ再生を許可すべきESを示し、ストリーム登録列を含む。ストリーム登録列における個々のストリーム登録情報は、ストリーム番号と、そのストリーム番号に対応するストリームエントリーと、ストリーム属性とを含む。拡張ストリーム選択テーブルは、立体視出力モード固有の拡張を意味するので、各プレイアイテム情報に拡張ストリーム選択テーブル(STN_table_SS)が関連付けられているプレイリストを「3Dプレイリスト」という。
 拡張ストリーム選択テーブルにおけるストリームエントリーは、再生装置が立体視出力モードに設定されている場合において、対応するストリーム番号が再生装置におけるストリーム番号レジスタに設定された際、再生装置が多重分離に用いるべきパケット識別子を示す。ここで、基本ストリーム選択テーブルとの違いは、拡張ストリーム選択テーブルにおけるストリーム登録列は、ストリーム選択プロシージャの対象にならない点である。つまり、基本ストリーム選択テーブルにおけるストリーム登録列におけるストリーム登録情報は、個々のESの優先順序と解釈され、何れかのストリーム登録情報内のストリーム番号が、ストリーム番号レジスタに書き込まれる。しかし拡張ストリーム選択テーブルにおけるストリーム登録列は、ストリーム選択プロシージャの対象とはならず、拡張ストリーム選択テーブルにおけるストリーム登録情報は、何れかのストリーム番号がストリーム番号レジスタに格納された際、そのストリーム番号に対応するストリームエントリー及びストリーム属性を取り出すという目的のみに用いられる。
 2D出力モードから3D出力モードへと出力モードが切り替った際、対象となるストリーム選択テーブルが、基本ストリーム選択テーブルから拡張ストリーム選択テーブルに切り替ったために、ストリーム選択プロシージャを実行したとなると、ストリーム番号の同一性を維持することができず、強いては、言語属性の同一性も失われる可能性がある。
 2D出力モードから3D出力モードへの切り替え時に、言語属性を始めとするストリーム属性の同一性を維持するため、拡張ストリーム選択テーブルの用途を、上記のものにも留めている。
 拡張ストリーム選択テーブルにおけるストリーム番号の用途を述べる。拡張ストリーム選択テーブルに記載されたストリーム番号は、セットストリームコマンドやセット立体視ストリームコマンドのオペランドに使うことができる。
 セット立体視ストリームコマンドとは、オペランドに指定された立体視のためのストリーム番号をカレントストリーム番号としてストリーム番号レジスタに設定して、カレントストリームの切り替えを再生装置に命じるコマンドであり、コマンドベースのプログラムが、立体視ストリームへの切り替えを再生装置に実行させる際に用いられる。
 また、ストリームチェンジUOの引き数やセットストリームAPIの引き数にも使用することができる。
 前記拡張ストリーム選択テーブルは、ディペンデントビュービデオストリームのストリーム登録列、PGストリームのストリーム登録列、IGストリームのストリーム登録列から構成される。
 拡張ストリーム選択テーブルにおけるストリーム登録列は、ストリーム選択テーブルにおける同じストリーム種別のストリーム登録列に結合される。この結合は、ストリーム選択テーブルにおけるプライマリビデオストリームのストリーム登録列に、拡張ストリーム選択テーブルにおけるディペンデントビュービデオストリームのストリーム登録列を結合し、ストリーム選択テーブルにおけるPGストリームのストリーム登録列に、拡張ストリーム選択テーブルにおけるPGストリームのストリーム登録列を結合し、IGストリームのストリーム登録列に、拡張ストリーム選択テーブルにおけるIGストリームのストリーム登録列を結合することでなされる。
 上記の結合がなされれば、結合後のストリーム選択テーブルのうち、基本ストリーム選択テーブルにおけるストリーム登録列に対して上記プロシージャが実行される。
 図8は、拡張ストリーム選択テーブルの内部構成を示す。拡張ストリーム選択テーブルは、拡張ストリーム選択テーブルの全体長(length)、ポップアップ期間固定オフセット(Fixed_offset_during_Popup)、各プレイアイテムにおけるそれぞれのストリーム種別に対応するストリーム登録列から構成される。
 ここでプレイアイテム#1~#NというN個のプレイアイテムが存在する場合、プレイアイテム#1~#Nのそれぞれに対応するストリーム登録列が、拡張ストリーム選択テーブルに設けられる。各プレイアイテムに対応するストリーム登録列は、ディペンデントビューストリーム登録列、PGストリーム登録列、IGストリーム登録列である。
 『Fixed_offset_during_Popup』は、ポップアップ期間固定オフセットであり、IGストリームによるポップアップメニューがオンに設定されている場合、ビデオやPG_テキスト字幕ストリームの再生タイプを制御する。この『Fixed_offset_during_Popup』フィールドは、IGストリームにおけるuser_interface_modelフィールドがオン、つまり、ポップアップメニューのユーザインターフェイスがオンに設定されている場合、オンに設定される。IGストリームにおけるuser_interface_modelフィールドがオフ、つまり、AlwaysONのユーザインターフェイスに設定されている場合、オフに設定される。
 ポップアップ期間固定オフセット「=0」、つまり、IGストリームのユーザインターフェイスにおいてポップアップメニューがオフに設定されている場合、ビデオストリームはB-Dプレゼンテーションモードとなる。立体視PGストリームは、立体視再生タイプになる。1plane+Offsetモードの再生時において、PG_テキスト字幕ストリームは、1plane+Offsetモードになる。
 ポップアップ期間固定オフセット「1」、つまり、IGストリームのポップアップメニューがオンである場合、ビデオストリームはB-Bプレゼンテーションモードとなる。立体視PGストリームは、1plane+Offsetモードになり、1plane+Offset用のPGストリームは、1plane+Zero offset再生タイプとして再生される。
 1plane+OffsetモードにおいてPG_テキスト字幕ストリームは、1plane+Zero offsetになる。
 『オフセットシーケンス本数情報(図中のnumber_of_offset_sequence)』は、ディペンデントビューストリームにおけるオフセットシーケンスの個数を示す。
 拡張ストリーム選択テーブルにおけるこの値は、ディペンデントビューストリームに含まれるオフセットシーケンスの個数と同じになる。
 図9は、拡張ストリーム選択テーブルにおけるストリーム登録列を示す。
 図9(a)は、ディペンデントビュービデオストリームのストリーム登録列の内部構成を示す。ディペンデントビューストリームのストリーム登録列は、v(x)個のSS_dependet_view_blockから構成される。ここで、v(x)とは、プレイアイテム情報#xの基本ストリーム選択テーブルにおいて、再生が許可されているプライマリビデオストリームの本数である。図中の引き出し線は、ディペンデントビューストリームのストリーム登録列の内部構成をクローズアップして示している。引出線に示すように、SS_dependet_view_blockは、ストリーム番号と、ストリームエントリーと、ストリーム属性と、オフセットシーケンス数(number_of_offset_sequence)とから構成される。
 ストリームエントリーは、ディペンデントビュービデオストリームの再生パスが帰属しているサブパスを指定するサブパス識別子レファレンス(ref_to_Subpath_id)と、ディペンデントビュービデオストリームが格納されているストリームファイルを指定するストリームファイルレファレンス(ref_to_subClip_entry_id)と、当該ストリームファイルにおけるディペンデントビュービデオストリームのパケット識別子(ref_to_stream_PID_subclip)とを含む。
 『ストリーム属性』は、ディペンデントビュービデオストリームの言語属性を含む。
 『オフセットシーケンス数(number_of_offset_sequence)』は、ディペンデントビュービデオストリーム内に存在するオフセットの本数を示す。
 図9(a)においてディペンデントビュービデオストリームのストリーム登録列は、データ構造上、複数のディペンデントビュービデオストリームについてのストリーム登録情報を設けるものになっている。通常、ベースビュービデオストリームの本数は1つであるから、ディペンデントビュービデオストリームにおけるストリーム登録情報の個数も唯一つになる。
 図9(b)は、PGストリームのストリーム登録列の内部構成を示す。PGストリームのストリーム登録列は、P(x)個のストリーム登録情報から構成される。ここで、P(x)とは、プレイアイテム情報#xの基本ストリーム選択テーブルにおいて、再生が許可されているPGストリームの本数である。
 図中の引き出し線は、ストリーム登録列の共通の内部構成をクローズアップして示している。
 『PG_テキスト字幕オフセットシーケンスIDレファレンス情報(PGtextST_offset_sequence_id_ref)』は、PG_テキスト字幕ストリームオフセットシーケンスレファレンス情報であり、1plane+OffsetモードのPG_テキスト字幕ストリームについてのオフセットシーケンスを指示する。
 オフセットメタデータは、ディペンデントビュービデオストリームのアクセスユニットによって供給される。再生装置は、このフィールドによって提供されたオフセットを1plane+Offsetモードタイプのプレゼンテーショングラフィクス(PG)プレーンに適用せねばならない。
 このフィールドが不定値(FF)である場合、再生装置はPGストリームプレーンメモリに、このオフセットを適用しない。
 『立体視PG存否フラグ(is_SS_PG)』は、PGストリームにおける左目用IGのストリームエントリー、右目用IGのストリームエントリー、ストリーム属性の有効性と、存在とを指示する。立体視PGストリームにおける構造が存在しない場合、このフィールドは0に設定されねばならない。立体視PGストリームにおける構造が存在する場合、このフィールドは1に設定されねばならない。
 『左目ストリームエントリー』は、左目PGストリームの再生パスが帰属しているサブパスを指定するサブパス識別子レファレンス(ref_to_Subpath_id)と、左目PGストリームが格納されているストリームファイルを指定するストリームファイルレファレンス(ref_to_subClip_entry_id)と、当該ストリームファイルにおける左目PGストリームのパケット識別子(ref_to_stream_PID_subclip)とを含む。
 『右目ストリームエントリー』は、右目PGストリームの再生パスが帰属しているサブパスを指定するサブパス識別子レファレンス(ref_to_Subpath_id)と、右目PGストリームが格納されているストリームファイルを指定するストリームファイルレファレンス(ref_to_subClip_entry_id)と、当該ストリームファイルにおける右目PGストリームのパケット識別子(ref_to_stream_PID_subclip)とを含む。拡張ストリーム選択テーブルのストリーム登録情報におけるstream_entry_for_depentdent_viewによって参照されているストリームファイルが、基本ストリーム選択テーブルのストリームエントリーによって参照されているストリームファイルとは異なる場合、右目PGストリームを格納しているストリームファイルを改めて読み出さねばならない。
 『共通ストリーム属性』は、左目PGストリーム及び右目PGストリームの言語属性を含む。
 『立体視PG_テキスト字幕オフセットシーケンスレファレンス情報(SS_PG_textST_offset_sequence_id_ref)』は、PG_テキスト字幕ストリーム用のオフセットシーケンスを参照するためのレファレンス情報であり、PG_テキスト字幕ストリームのためのオフセットシーケンスを指示する。再生装置は、このフィールドによって提供されたオフセットをPGプレーンに適用せねばならない。
 このフィールドが不定値(FF)である場合、再生装置はPGストリームプレーンメモリに、このオフセットを適用しない。
 図9(c)は、IGストリームのストリーム登録列の内部構成を示す。IGストリームのストリーム登録列は、I(x)個のストリーム登録情報から構成される。ここで、I(x)とは、プレイアイテム情報#xの基本ストリーム選択テーブルにおいて、再生が許可されているIGストリームの本数である。図中の引き出し線は、ストリーム登録列の共通の内部構成をクローズアップして示している。
 『IGオフセットシーケンスIDレファレンス情報(IG_offset_sequence_id_ref)』は、インタラクティブグラフィクスオフセットシーケンスレファレンスであり、1plane+OffsetモードのIGストリームのシーケンスIDのレファレンスである。この値は、オフセットシーケンスに定義されているオフセットシーケンスIDを指示する。上述したように、オフセットメタデータは、ディペンデントビュービデオストリームによって供給される。再生装置は、このフィールドによって提供されたオフセットを1plane+OffsetモードタイプのIGストリームに適用せねばならない。
 このフィールドが不定値(FF)である場合、再生装置はインタラクティブグラフィクススプレーンに、このオフセットを適用しない。
 『B-Bモード時のオフセット方向情報(IG_Plane_offset_direction_during_BB_video)』は、B-Bプレゼンテーションモードにおいてポップアップメニューのユーザインターフェイスで、IGストリームが再生されている間、1plane+Offsetモードにおけるインタラクティブグラフィクス(IG)プレーンにおけるオフセット方向を指示する。
 値「0」でフロント設定、つまり、プレーンメモリは、TVと視聴者との間に存在し、レフトビュー期間においてプレーンは右方向に、ライトビュー期間においてプレーンは左方向にシフトされる。
 値「=1」でビハインド設定、つまり、プレーンメモリは、TV又はスクリーンの背後に存在し、レフトプレーンは左方向に、ライトプレーンは右方向にシフトされる。
 『B-Bモード時のオフセット値情報(IG_Plane_offset_value_during_BB_video)』は、B-BプレゼンテーションモードでポップアップメニューのユーザインターフェイスによってIGストリームが再生されている間、1plane+OffsetモードにおけるIGプレーンのオフセット値を画素単位で指示する。
 『立体視IG存否フラグ(is_SS_IG)』は、、IGストリームにおける左目用IGのストリームエントリー、右目用IGのストリームエントリー、ストリーム属性の有効性と、存在とを指示する。立体視IGストリームのデータ構造が存在しない場合、このフィールドは値0に設定されねばならない。再生が許可されているIGストリームが立体視IGストリームである場合、このフィールドは、値1に設定されねばならない。
 『左目ストリームエントリー』は、左目用IGストリームの再生パスが帰属しているサブパスを指定するサブパス識別子レファレンス(ref_to_Subpath_id)と、左目用IGストリームが格納されているストリームファイルを指定するストリームファイルレファレンス(ref_to_subClip_entry_id)と、当該ストリームファイルにおける左目用IGストリームのパケット識別子(ref_to_stream_PID_subclip)とを含む。
 『右目ストリームエントリー』は、右目用IGストリームの再生パスが帰属しているサブパスを指定するサブパス識別子レファレンス(ref_to_Subpath_id)と、右目用IGストリームが格納されているストリームファイルを指定するストリームファイルレファレンス(ref_to_subClip_entry_id)と、当該ストリームファイルにおける右目用IGストリームのパケット識別子(ref_to_stream_PID_subclip)とを含む。拡張ストリーム選択テーブルのストリーム登録情報におけるstream_entry_for_depentdent_viewによって参照されているストリームファイルが、基本ストリーム選択テーブルのストリームエントリーによって参照されているストリームファイルとは異なる場合、右目用IGストリームを格納しているストリームファイルを改めて読み出さねばならない。
 『共通ストリーム属性』は、左目用IGストリーム及び右目IGストリームの言語属性を含む。
 『立体視IGオフセットシーケンスレファレンス情報』は、立体視タイプのIGストリームのためのオフセットシーケンスIDのレファレンスであり、ディペンデントビュービデオストリームのオフセットメタデータにおけるオフセットシーケンスを指示する。再生装置は、このフィールドによって提供されたオフセットを立体視タイプのIGプレーンに適用せねばならない。
 このフィールドが不定値(FF)である場合、再生装置はIGプレーンに、このオフセットを適用しない。
 PG_テキスト字幕ストリーム用のオフセットシーケンスのレファレンス情報及びIGストリーム用のオフセットシーケンスのレファレンス情報は、ストリーム番号に対応付けて、ストリーム登録情報に記載されているため、装置状態の変化時やストリーム変更要求の発生時にストリーム選択プロシージャが実行され、装置側の言語設定に応じたストリーム番号がストリーム番号レジスタに設定された場合、その新たなストリーム番号に対応したレファレンスによって指示されるオフセットシーケンスが、ビデオデコーダからシフト部に供給されることになる。こうすることで、再生装置における言語設定に応じた、最適なオフセットシーケンスがシフト部に供給されるので、1plane+Offsetモードにおけるグラフィクスの奥行きを、再生装置の言語設定に応じた最適なものにすることができる。
 拡張ストリーム選択テーブルにおける制限について説明する。
 立体視ディペンデントビューブロックにおけるストリームエントリーは、プレイリストにおいて変化してはならない。
 立体視ディペンデントビューブロックにおけるストリームエントリーのタイプがサブパスによって使用されるESタイプ(ストリームタイプ=2)であれば、サブパスIDレファレンスと、サブクリップエントリーIDレファレンス(ref_to_subclip_entry_id)とはプレイリストにおいて変化しない。
 ストリームエントリー、ベースビューのためのストリームエントリー、ディペンデントビューのためのストリームエントリーのタイプとして許されるESのタイプは、プレイアイテムによって使用されるAVクリップ内のES (ストリームタイプ「=1」)、サブパスによって使用されるAVクリップ内のES(ストリームタイプ=2)の2つタイプのみである。
 立体視ディペンデントビューブロックにおけるストリーム属性のストリーム符号化方式は、「0x20」に設定される。
 図10は、基本ストリーム選択テーブル、拡張ストリーム選択テーブルによりメインTS、サブTSからどのようなESが多重分離されるかを示す。
 本図の真ん中には、多重分離部を示し、その上側には基本ストリーム選択テーブルと、拡張ストリーム選択テーブルとの組みを示す。左側にはメインTS、サブTS、右側には、多重分離されるベースビュービデオストリーム、ディペンデントビュービデオストリーム、左目PGストリーム、右目PGストリーム、左目用IGストリーム、右目用IGストリーム、プライマリオーディオストリームを示す。
 図11は、2D出力モード、3D出力モードにおけるストリーム番号の割り当て変化を示す。
 縦欄は、プライマリビデオストリーム#1というストリーム番号、プライマリオーディオストリーム#1、#2というストリーム番号、PG_テキスト字幕ストリーム#1、#2、#3というストリーム番号、IGストリーム#1,#2というストリーム番号を示している。
 左側の破線枠にのみ囲まれるESは、2D出力モードにおいてのみ、多重分離の対象になるESであり、ストリーム選択テーブル(STN_table)によって再生が許可されているものを示す。
 右側の破線枠にのみ囲まれるESは、3D出力モードにおいて多重分離の対象になるESであり、拡張ストリーム選択テーブル(STN_table_SS)によって再生が許可されているものを示す。
 左側及び右側の破線枠の双方に囲まれるESは、2D出力モード及び3D出力モードにおいて多重分離の対象になるESを示す。
 ビデオストリーム#1のストリーム番号だけに着目すると、MPEG4-MVCベースビュービデオストリームは、左右両方の破線枠に囲まれるので、2D出力モード及び3D出力モードの双方で再生対象になっていることがわかる。しかし、MPEG4-MVCディペンデントビュービデオストリームは、右側の破線枠のみに囲まれているので、3D出力モードでのみ再生されることがわかる。
 プライマリオーディオストリーム#1、#2のストリーム番号に着目すると、オーディオストリームは、左右両方の破線枠に囲まれるので、2D出力モード及び3D出力モードの双方で再生対象になっていることがわかる。
 PG_テキスト字幕ストリームに着目すると、PGストリーム#1、PGストリーム#2は2DPGストリームであり、左右の破線枠によって囲まれている。これは、PGストリーム#1、PGストリーム#2が2D出力モード、3D出力モードの双方で再生対象になっていることがわかる。一方、左目PGストリーム、右目PGストリームは右側の破線枠のみに囲まれているので、3D出力モードでのみ再生されることがわかる。
 また、IGストリームに着目すると、IGストリーム#1、IGストリーム#2は2DIGストリームであり、左右の破線枠によって囲まれている。これは、IGストリーム#1、IGストリーム#2が2D出力モード及び3D出力モードで再生対象になっていることがわかる。一方、左目IGストリーム、右目IGストリームは右側の破線枠のみに囲まれているので、3D出力モードでのみ再生されることがわかる。
 以上より、3D出力モードにおいてビデオストリームというストリーム種別では、ディペンデントビュービデオストリームが再生対象として加わることがわかる。
 また3D出力モードにおいてPGストリームというストリーム種別では、再生対象が、左目PGストリーム及び右目PGストリームが追加されており、3D出力モードにおいてIGストリームというストリーム種別では左目IGストリーム及び右目IGストリームが追加されていることがわかる。左目PGストリーム及び右目PGストリームが、再生対象として加えられているのは、3D出力モードにおいて、左目PGストリーム及び右目PGストリームを用いて立体視再生を実現するためである。左目IGストリーム及び右目IGストリームが、再生対象として加えられているのは、3D出力モードにおいて、左目IGストリーム及び右目IGストリームを用いて立体視再生を実現するためである。
 以上が記録媒体についての説明である。続いて、再生装置の詳細について説明する。
 図12は、再生装置の内部構成を示す。本図に示すように再生装置は、読出部201、メモリ202、レジスタセット203、デコーダ204、多重分離部205、プレーンメモリセット206、シフト部207、レイヤ合成部208、送受信部209、再生制御部210から構成される。本図の内部構成は、課題解決手段を具備した再生装置を実施するための必要最低限の構成要素を記述したに過ぎない。より詳細な内部構成については、後段の実施形態に説明の場を譲る。
 読出部201は、記録媒体からインデックステーブル、プログラムファイル、プレイリスト情報ファイル、ストリーム情報ファイル、ストリームファイルを読み出す。読出部201は、立体視インターリーブドストリームファイルの読み出しにあたって、3Dストリーム情報ファイルにおけるクリップベース情報内のエクステントスタートポイント情報と、クリップディペンデント情報内のエクステントスタートポイント情報とを用いて、立体視インターリーブドストリームファイルを、メインTSに対応するATCシーケンス1と、サブTSに対応するATCシーケンス2とに分割して、ATCシーケンス1と、ATCシーケンス2とを別々のリードバッファに格納するという処理を行う。この分割は、クリップディペンデント情報におけるエクステントスタートポイント情報に示されているソースパケット番号のパケット数だけ、立体視インターリーブドストリームファイルからソースパケットを対取り出してATCシーケンス1に追加するという処理と、クリップベース情報におけるエクステントスタートポイント情報に示されているソースパケット番号のパケット数だけ、立体視インターリーブドストリームファイルからソースパケットを取り出してATCシーケンス2に追加するという処理とを繰り返すことでなされる。
 メモリ202は、プレイリスト情報に含まれる基本ストリーム選択テーブルと、拡張ストリーム選択テーブルとを結合することで得られた結合ストリーム登録列を格納する。
 レジスタセット203は、再生装置が動作を行うための様々なレジスタから構成される。
 ストリーム種別毎のデコーダ204は、ビデオデコーダ211、PGデコーダ212、テキスト字幕デコーダ213、IGデコーダ214、オーディオデコーダから構成される。
 多重分離部205は、ソースパケットをTSパケットに変換するソースデパケッタイザ、パケットフィルタリングを実行するPIDフィルタを備え、3Dプレイリスト情報の基本ストリーム選択テーブルのストリームエントリーに記述されているパケット識別子を有するソースパケットを、TSパケットに変換した上でデコーダに出力し、3Dプレイリスト情報の立体視ストリーム選択テーブルのストリームエントリーに記述されているパケット識別子を有するソースパケットを、TSパケットに変換した上でデコーダに出力する。基本ストリーム選択テーブルの複数のエントリー及び拡張ストリーム選択テーブルの複数のエントリーのうち、どれのパケット識別子をもちいるかは、プレーヤ状態レジスタのうち、ストリーム番号レジスタの設定に従う。ストリーム番号レジスタとは、カレントのストリーム番号を格納しているレジスタである。
 プレーンメモリセット206は、複数のプレーンメモリから構成される。
 これらのプレーンメモリは、レイヤモデルを構成しており、個々のプレーンメモリの格納内容は、レイヤ合成に供される。プレーンメモリセットは、左目用プレーンメモリ、右目用プレーンメモリを含み、個々のアクセスユニットのベースビューのビューコンポーネントをデコードすることで得られた非圧縮のピクチャデータ、ディペンデントビューのビューコンポーネントをデコードすることで得られた非圧縮のピクチャデータが、これら左目用プレーンメモリ、右目用プレーンメモリに書き込まれる。この書き込みは、個々のアクセスユニットのプレゼンテーションタイムスタンプに示されている再生開始時刻の到来時になされる。
 左目用のプレーンメモリ、右目用プレーンメモリのうち、どちらにデコード後のピクチャデータを書き込むかは、プレイリスト情報におけるベースビューインディケータに従う。ベースビューインディケータが、ベースビュービデオストリームを「左目用」として指定していれば、ベースビュービデオストリームのビューコンポーネントとなるピクチャデータが左目用プレーンメモリに書き込まれ、ディペンデントビュービデオストリームのビューコンポーネントとなるピクチャデータが右目用のプレーンメモリに書き込まれる。
 ベースビューインディケータが、ベースビュービデオストリームを「右目用」として指定していれば、ベースビュービデオストリームのビューコンポーネントであるピクチャデータが右目用のプレーンメモリに書き込まれ、ディペンデントビュービデオストリームのビューコンポーネントであるピクチャデータが左目用のプレーンメモリに書き込まれる。そして、これらのビューコンポーネントは、順次表示装置に出力される。具体的にいうと、一個のフレーム期間において、左目用プレーンメモリのピクチャデータと、右目用プレーンメモリのピクチャデータとを同時に出力する。
 シフト部207は、画素の座標のシフトを実行する。
 レイヤ合成部208は、複数のプレーンメモリにおけるレイヤ合成を行う。
 送受信部209は、ホームシアターシステムにおける他の機器とインターフェイスを介して接続された際、ネゴシエーションフェーズを経て、データ伝送フェーズに移行し、データ伝送を行う。
 このネゴシエーションフェーズは、相手側機器のケーパビリティ(デコード能力、再生能力、表示周波数を含む)を把握して、プレーヤ設定レジスタに設定しておき、以降の伝送のための伝送方式を定めるものであり、互いの装置の正当性を確認し合う相互認証フェーズを含む。このネゴシエーションフェーズを経て、レイヤ合成がなされたピクチャデータにおける一ライン分の非圧縮・平文形式の画素データを、表示装置における水平同期期間に従い表示装置に高い転送レートで転送する。一方、表示装置における水平帰線期間、及び、垂直帰線期間において、再生装置と接続された他の装置(表示装置のみならずアンプ、スピーカを含む)に、非圧縮・平文形式のオーディオデータを転送する。こうすることで、表示装置、アンプ、スピーカといった機器は、非圧縮・平文形式のピクチャデータ、非圧縮・平文形式のオーディオデータを受け取ることができ、再生出力を実現することができる。また、相手側機器にデコード能力が存在する場合、ビデオストリーム、オーディオストリームのパススルー伝送が可能になる。パススルー伝送では、ビデオストリーム、オーディオストリームを圧縮・暗号化形式のまま伝送することができる。
 再生制御部210は、ビデオストリームの時間軸における任意の時点からのランダムアクセスを実行する。具体的には、ビデオストリームの時間軸における任意の時点からの再生が命じられた場合、3Dストリーム情報ファイルにおける基本エントリーマップと、拡張エントリーマップとを用いて、その任意の時点に対応するアクセスユニットのソースパケット番号をサーチする。かかるアクセスユニットは、ベースビュービデオストリームのビューコンポーネント、及び、ディペンデントビュービデオストリームのビューコンポーネントの組みを含むものであり、上記サーチによって、当該アクセスユニットについてのアクセスユニットデリミターを格納したソースパケットのソースパケット番号が特定される。かかるソースパケット番号からの読み出し、及び、デコードを実行することでランダムアクセスがなされる。3Dプレイリスト再生にあたっては、3Dプレイリスト情報のメインパス情報にて規定されているインタイム、アウトタイムと、サブパス情報にて規定されているインタイム、アウトタイムとを用いて、メインTS、サブTSのそれぞれに対してランダムアクセスを実行することで、プレイリスト再生を開始する。
 ビデオデコーダ211は、デコーダセット204におけるデコーダのうち、代表的なデコーダであり、ディペンデントビュービデオストリームを構成するビューコンポーネントをプリロードした上、ベースビュービデオストリーム内のクローズGOPの先頭に位置するデコーダリフレッシュを意図したピクチャタイプ(IDRタイプ)のビューコンポーネントをデコードする。このデコードにあたって、コーデッドデータバッファ、デコードデータバッファを全クリアする。こうしてIDRタイプのビューコンポーネントをデコードした後、このビューコンポーネントとの相関性に基づき圧縮符号化されているベースビュービデオストリームの後続のビューコンポーネント、及び、ディペンデントビュービデオストリームのビューコンポーネントをデコードする。デコードによって当該ビューコンポーネントについての非圧縮のピクチャデータが得られれば、デコードデータバッファに格納し、かかるピクチャデータを参照ピクチャとする。
 この参照ピクチャを用いて、ベースビュービデオストリームの後続のビューコンポーネント、及び、ディペンデントビュービデオストリームのビューコンポーネントについて、動き補償を行う。動き補償によって、ベースビュービデオストリームの後続のビューコンポーネント、及び、ディペンデントビュービデオストリームのビューコンポーネントについて、非圧縮のピクチャデータが得られれば、これらをデコードデータバッファに格納し参照ピクチャとする。以上のデコードは、個々のアクセスユニットのデコードタイムスタンプに示されているデコード開始時刻が到来時になされる。
 以下、PGデコーダ212、テキスト字幕デコーダ213、IGデコーダ214と、これらのデコーダのデコードの対象となるストリームの内部構成について説明する。
 PGストリームにおけるデコーダの構成は、1plane+Offset方式を採用する場合、1デコーダ+1プレーン構成になる。3D-LR方式を採用する場合、2デコーダ+2プレーン構成になる。
 同じく、IGストリームにおけるデコーダ構成は、3D-LR方式を採用する場合、2デコーダ+2プレーン構成になる。一方、1plane+Offset方式を採用する場合、1デコーダ+1プレーン構成になる。
 テキスト字幕ストリームにおけるデコーダ構成では3D-LR方式が存在せず、1plane+Offsetモードである場合、1デコーダ+1プレーン構成になる。
 始めに、PGストリームの内部構成と、PGストリームをデコードするPGデコーダの内部構成とについて説明する。
 左目用PGストリーム、右目用PGストリームは、何れも複数のディスプレイセットを含む。ディスプレイセットとは、一個の画面表示を構成する機能セグメントの集まりのことである。機能セグメントは、約2KバイトのPESパケットのペイロードに格納されてデコーダに供給され、DTS、PTSを用いて、再生制御がなされる処理単位のことである。
 ディスプレイセットには、以下の類型がある。
 A.エポックスタートのディスプレイセット
 エポックスタートのディスプレイセットとは、グラフィクスデコーダにおけるコンポジションバッファ、コードデータバッファ、グラフィクスプレーンをリセットして、メモリ管理を開始させる機能セグメントの集まりであり、画面構成に必要な機能セグメントを全て含んでいる。
 B.ノーマルケースのディスプレイセット
 ノーマルケースのディスプレイセットとは、グラフィクスデコーダにおけるコンポジションバッファ、コードデータバッファ、グラフィクスプレーンのメモリ管理を継続したまま画面構成を行うディスプレイセットであり、先行するディスプレイセットからの差分となる機能セグメントを含んでいる。
 C.アクジッションポイントのディスプレイセット
 アクジッションポイントのディスプレイセットとは、画面構成に必要な機能セグメントを全て含むディスプレイセットであるが、グラフィクスデコーダにおけるコンポジションバッファ、コードデータバッファ、グラフィクスプレーンのメモリ管理をリセットさせないディスプレイセットである。このアクジッションポイントのディスプレイセットには、前のディスプレイセットとは異なる内容の機能セグメントが存在してもよい。
 D.エポックコンティニューのディスプレイセット
 エポックコンティニューのディスプレイセットとは、PGストリームの再生を許可しているプレイアイテムと、その直前のプレイアイテムとの接続形態が、クリーンブレークを伴うシームレス接続(CC=5)である場合、再生装置におけるコンポジションバッファ、コードデータバッファ、オブジェクトバッファ、グラフィクスプレーンにおけるメモリ管理を、そのまま継続させる旨を示す。この際、オブジェクトバッファ、グラフィクスプレーン上に得られたグラフィクスオブジェクトは、廃棄されることなく、オブジェクトバッファ、グラフィクスプレーン上で存続する。
 左目用と、右目用とでは、STCシーケンスにおける再生時間軸の同一時点に、これらのディスプレイセットの始点・終点が割り当てられている。そして、左目用PGストリームと、右目用PGストリームとでは、時間軸上の同じ時点に存在するディスプレイセットの類型は、同一になっている。つまり左目用側のディスプレイセットがエポックスタートのディスプレイセットであるなら、STCシーケンスの時間軸において同じ時点の右目用側のディスプレイセットは、エポックスタートのディスプレイセットになる。
 また、左目用側のディスプレイセットがアクジッションポイントのディスプレイセットであるなら、STCシーケンスの時間軸において同じ時点の右目用側のアクジッションポイントのディスプレイセットも、エポックスタートのディスプレイセットになる。
 各ディスプレイセットは、複数の機能セグメントを含む。この複数の機能セグメントには以下のものがある。
 (1)オブジェクト定義セグメント
 オブジェクト定義セグメントは、グラフィクスオブジェクトを定義する機能セグメントである。グラフィクス定義セグメントは、コード値と、そのコード値のランレングスとを用いることで、グラフィクスオブジェクトを定義している。
 (2)パレット定義セグメント
 パレット定義セグメントは、各コード値と、輝度、赤色差・青色差との対応関係を示したパレットデータを含む。左目用グラフィクスストリームのパレット定義セグメントと、右目用グラフィクスストリームのパレット定義セグメントとでは、コード値と、輝度及び色差との対応関係が同一の内容に設定されている。
 (3)ウィンドゥ定義セグメント
 ウィンドゥ定義セグメントは、非圧縮のグラフィクスオブジェクトを画面上に展開するためのプレーンメモリにおいて、ウィンドゥと呼ばれる矩形枠を定義する機能セグメントである。グラフィクスオブジェクトの描画は、このプレーンメモリの内部で制限されており、このウィンドゥの外部では、グラフィクスオブジェクトの描画は行えない。
 プレーンメモリの一部をグラフィクスの表示のためのウィンドゥとして指定するので、再生装置は、プレーン全体のグラフィクス描画を行う必要はない。ある限られた大きさのウィンドゥに対してのみ、グラフィクス描画を行えばよい。表示用の平面のうち、ウィンドゥ以外の部分の描画を省くことができるので、再生装置側のソフトウェアの負担は遥かに軽くなる。
 (4)画面構成セグメント
 画面構成セグメントは、グラフィクスオブジェクトを用いた画面構成を規定する機能セグメントであり、グラフィクスデコーダにおけるコンポジションコントローラに対する複数の制御項目を含む。画面構成セグメントは、グラフィクスストリームにおけるディスプレイセットの詳細を規定すると共に、グラフィクスオブジェクトを用いた画面構成を規定する機能セグメントである。かかる画面構成には、Cut-In/Out、Fade-In/Out、Color Change、Scroll、Wipe-In/Outといったものがあり、画面構成セグメントによる画面構成を伴うことにより、ある字幕を徐々に消去しつつ、次の字幕を表示させるという表示効果が実現可能になる。
 (5)エンドセグメント
 1つのディスプレイセットに属する複数の機能セグメントの最後尾に位置する機能セグメントである。再生装置は、画面構成セグメントからこのエンドセグメントまでが、1つのディスプレイセットを構成する機能セグメントであるとして解釈する。
 PGストリームにおいてディスプレイセットの開始時点は、画面構成セグメントを格納したPESパケットのDTSによって特定され、ディスプレイセットの終了時点は、画面構成セグメントを格納したPESパケットのPTSによって特定される。
 左目用グラフィクスストリーム及び右目用グラフィクスストリームは、パケッタイズドエレメンタリストリーム(PES)であり、画面構成セグメントは、PESパケットに格納され、画面構成セグメントを格納したPESパケットのPTSは、画面構成セグメントが属するディスプレイセットによる表示を何時実行するかを示す。
 画面構成セグメントを格納したPESパケットのPTSの値は、左目用ビデオストリームと、右目用ビデオストリームとで同一の内容になっている。
 ・PGデコーダのデコーダモデル
 PGデコーダは、PGストリームから読み出される機能セグメントを格納する「コーデッドデータバッファ」と、画面構成セグメントをデコードしてグラフィクスオブジェクトを得る「ストリームグラフィクスプロセッサ」と、デコードにより得られたグラフィクスオブジェクトを格納する「オブジェクトバッファ」と、画面構成セグメントを格納する「コンポジションバッファ」と、コンポジションバッファに格納された画面構成セグメントを解読して、これらの画面構成セグメントにおける制御項目に基づき、オブジェクトバッファに得られたグラフィクスオブジェクトを用いてグラフィクスプレーン上で画面構成を行う「コンポジションコントローラ」とを含む。
 このグラフィクスプレーンの前段には、機能セグメントを構成するTSパケットの入力速度を調整するためのトランスポートバッファが存在する。
 グラフィクスデコーダの後段には、グラフィクスプレーンと、パレット定義セグメントに基づいて、グラフィクスプレーンに格納されたグラフィクスオブジェクトを構成する画素コードを、輝度・色差に変換するCLUT部と、プレーンシフトのためのシフト部とが存在する。
 PGストリームにおけるパイプラインは、グラフィクスデコーダあるディスプレイセットに属するオブジェクト定義セグメントをデコードしてグラフィクスオブジェクトをオブジェクトバッファに書き込む処理と、先行するディスプレイセットに属するオブジェクト定義セグメントをデコードすることにより得られたグラフィクスオブジェクトをオブジェクトバッファからプレーンメモリに書き込む処理とを同時に実行することでなされる。
 図13は、PGデコーダの内部構成を示す。同図(a)は、1plane+Offsetモード方式で表示するためのデコーダモデルである。同図(b)は、LR方式のデータを表示する場合のデコーダモデルである。
 本図において、PGデコーダの本体にあたる部分は黒枠で囲こみ、PGデコーダ後段にあたる部分は一点鎖線で囲っている。
 同図(a)では、PGデコーダは1デコーダ構成になっており、グラフィクスプレーンも1プレーン構成になっている。しかしグラフィクスプレーンの出力が、左目用、右目用のそれぞれに別れていて、個々の左目用出力、右目用出力に対して、シフト部が付加される。
 同図(b)では、トランスポートバッファ-PGデコーダ-グラフィクスプレーン-CLUT部が2組み存在していて、左目用ストリーム、右目用ストリームをそれぞれ独立に処理することができる。
 オフセットシーケンスは右目用ビデオストリームに含まれているので、プレーンオフセット形式では、PGデコーダは1デコーダ構成になり、この1つのPGデコーダの出力が、左目用と右目用とに切り替えられる。
 PGデコーダの2D/3D切り替え時の動作は以下の通りである。
 1.1plane+Offsetモードと2Dモードとの相互切り替え時は、シームレスに切り替えられる。これは、Offsetを無効化することでなされる。
 2.3D-LRモードと、2Dモードとでは、PID切り替えが伴うため、一端字幕が消える。これはストリーム切り替えと同じである。
 以上がPGデコーダについての説明である。続いて、テキスト字幕デコーダの詳細について説明する。
 ・テキスト字幕デコーダのデコーダモデル
 テキスト字幕ストリームは、複数の字幕記述データから構成される。
 テキスト字幕デコーダは、字幕記述データから、テキストコードと、制御情報とを分離する「字幕プロセッサ」と、字幕記述データから分離されたテキストコードを格納する「管理情報バッファ」と、フォントデータを用いて、管理情報バッファ内のテキストコードをビットマップに展開する「テキストレンダー」と、展開により得られたビットマップを格納する「オブジェクトバッファ」と、字幕記述データから分離された制御情報を用いて、時間軸に沿ったテキスト字幕再生の制御を実行する「描画制御部」とを含む。
 テキスト字幕デコーダの前段には、フォントデータのプリロードを行う「フォントプリロードバッファ」、テキスト字幕ストリームを構成するTSパケットの入力速度を調整する「TSバッファ」、プレイアイテムの再生に先立ち、テキスト字幕ストリームをプリロードしておくための「字幕プリロードバッファ」が存在する。
 グラフィクスデコーダの後段には、「グラフィクスプレーン」と、パレット定義セグメントに基づいて、グラフィクスプレーンに格納されたグラフィクスオブジェクトを構成する画素コードを、輝度・色差に変換する「CLUT部」と、プレーンシフトのためのシフト部が存在する。
 図14は、テキスト字幕デコーダの内部構成を示す。同図(a)は、1plane+Offsetモードにおけるテキスト字幕デコーダのデコーダモデルを示し、同図(b)は、3D-LR方式におけるテキスト字幕デコーダのデコーダモデルを示す。本図において、テキスト字幕デコーダ本体にあたる部分は黒枠で囲こみ、テキスト字幕デコーダ後段にあたる部分は一点鎖線で囲んでいる。テキスト字幕デコーダ前段にあたる部分は、破線枠で囲んでいる。
 同図(a)では、グラフィクスプレーンの出力が、左目用、右目用のそれぞれに別れていて、個々の左目用出力、右目用出力に対して、シフト部が付加される。
 同図(b)では、左目用のグラフィクスプレーンと、右目用のグラフィクスプレーンとが存在していて、テキスト字幕デコーダによって展開されたビットマップを、これらのそれぞれのグラフィクスプレーンに書き込む。
 テキスト字幕ストリームは、PGストリームと異なり、グラフィクスデータをビットマップとして送るのではなく、フォントデータと文字コードを送ることにより、レンダリングエンジンで字幕を生成するから、字幕の立体視は、1plane+Offsetモードによって実現する。
 以上がテキスト字幕ストリーム及びテキスト字幕デコーダについての説明である。続いて、IGストリームの内部構成と、IGデコーダの構成とについて説明する。
 ・IGストリーム
 左目用IGストリーム、右目用IGストリームは何れも複数のディスプレイセットを含み、各ディスプレイセットは、複数の機能セグメントを含む。ディスプレイセットには、PGストリームと同様、エポックスタートのディスプレイセット、ノーマルケースのディスプレイセット、アクジッションポイントのディスプレイセット、エポックコンティニューのディスプレイセットが存在する
 これらのディスプレイセットに属する複数の機能セグメントには以下の種類がある。
 (1)オブジェクト定義セグメント
 このオブジェクト定義セグメントは、PGストリームのものと同じである但しIGストリームのグラフィクスオブジェクトは、ページのインエフェクト、アウトエフェクト、ボタン部材のノーマル状態、セレクテッド状態、アクティブ状態を定義するものである。オブジェクト定義セグメントは、ボタン部材の同じ状態を定義するもの同士、同じエフェクト映像を構成するもの同士、グループ化されている。同じ状態を定義するオブジェクト定義セグメントを寄せ集めたグループをグラフィクスデータ集合という。
 (2)パレット定義セグメント
 パレット定義セグメントは、PGストリームのものと同じである。
 (3)対話制御セグメント
 対話制御セグメントは、複数のページ情報を含み、複数のページ情報は、マルチページメニューの画面構成を規定する情報であり、各ページ情報は、エフェクトシーケンスと、複数のボタン情報と、パレット識別子の参照値とを含む。
 ボタン情報は、グラフィクスオブジェクトをボタン部材の一状態として表示させることにより、マルチページメニューを構成する各ページ上で対話的な画面構成を実現する情報である。
 エフェクトシーケンスは、グラフィクスオブジェクトを用いて、ページ情報に対応するページの表示に先立ち再生されるインエフェクト、又は、当該ページの表示後に再生されるアウトエフェクトを構成するものであり、エフェクト情報を含む。
 エフェクト情報は、インエフェクト又はアウトエフェクトを再生するにあたっての個々の画面構成を規定する情報であり、グラフィクスプレーン上のウィンドゥ定義セグメントで定義されたウィンドゥ(部分領域)においてどのような画面構成を実行すべきかを規定する画面構成オブジェクトと、同領域における次の画面構成との時間間隔を示すエフェクト期間情報とを含む。
 エフェクトシーケンスにおける画面構成オブジェクトは、PGストリームの画面構成セグメントと同じような制御内容を規定する。オブジェクト定義セグメントのうち、前記インエフェクトに用いられるグラフィクスオブジェクトを定義するものは、グラフィクスデータ列において、ボタン部材に用いられるグラフィクスオブジェクトを定義するオブジェクト定義セグメントより前に配置されている。
 ページ情報における各ボタン情報は、グラフィクスオブジェクトをボタン部材の一状態として表示させることにより、マルチページメニューを構成する各ページ上で対話的な画面構成を実現する情報である。前記ボタン情報はセットボタンページコマンドを含み、セットボタンページコマンドは、対応するボタン部材がアクティブ状態になった際、ファーストページ以外の他のページを、カレントページとして設定する処理を再生装置に行わせるコマンドである。
 IGストリームの再生時において、プレーンシフトにおけるオフセットをページ毎に変更させたい場合は、ボタン情報にオフセットを変更するナビゲーションコマンド組込んでおき、該当するボタン情報において、ナビゲーションコマンドのオートアクティベートを規定しておく。これにより、IGストリームのストリーム登録情報に規定されているオフセットの値や方向を自動的に変更できるようにする。
 (4)エンドセグメント
 1つのディスプレイセットに属する複数の機能セグメントの最後尾に位置する機能セグメントである。対話制御セグメントからこのエンドセグメントまでが、1つのディスプレイセットを構成する機能セグメントであるとして解釈される。
 左目用グラフィクスストリームと、右目用グラフィクスストリームとにおいて、同一となる対話制御セグメントの制御項目には、ボタン近接情報、セレクションタイムアウトタイムスタンプ、ユーザタイムアウトディレーション、コンポジションタイムアウト情報がある。
 1.ボタン近接情報
 ボタン近接情報は、あるボタンがセレクテッド状態になっていて、上下左右方向の何れかを指示するキー操作があった場合、どのボタンをセレクテッド状態にすべきかを指定する情報である。
 2.セレクションタイムアウトタイムスタンプ
 セレクションタイムアウトタイムスタンプは、カレントページにおけるボタン部材を自動的にアクティベートして、セットボタンページコマンドを再生装置に実行させるためのタイムアウト時間を示す。
 3.ユーザタイムアウトディレーション
 ユーザタイムアウトディレーションは、カレントページをファーストページに戻して、ファーストページのみが表示されている状態にするためのタイムアウト時間を示す。
 4.コンポジションタイムアウト情報
 コンポジションタイムアウト情報は、対話制御セグメントによる対話的な画面表示を終了させる時間を示す。IGストリームにおいてディスプレイセットの開始時点は、対話制御セグメントを格納したPESパケットのDTSによって特定され、ディスプレイセットの終了時点は、対話制御セグメントのコンポジションタイムアウト時刻によって特定される。左目用、右目用では、これらのDTSと、コンポジションタイムアウト時刻とは同一時点に設定される。
 ・IGデコーダのデコーダモデル
 IGデコーダは、IGストリームから読み出されう機能セグメントを格納する「コーデッドデータバッファ」と、画面構成セグメントをデコードしてグラフィクスオブジェクトを得る「ストリームグラフィクスプロセッサ」と、デコードにより得られたグラフィクスオブジェクトを格納する「オブジェクトバッファ」と、画面構成セグメントを格納する「コンポジションバッファ」と、コンポジションバッファに格納された画面構成セグメントを解読して、これらの画面構成セグメントにおける制御項目に基づき、オブジェクトバッファに得られたグラフィクスオブジェクトを用いてグラフィクスプレーン上で画面構成を行う「コンポジションコントローラ」とを含む。
 このグラフィクスプレーンの前段には、機能セグメントを構成するTSパケットの入力速度を調整するための「トランスポートバッファ」が存在する。
 グラフィクスデコーダの後段には、「グラフィクスプレーン」と、パレット定義セグメントに基づいて、グラフィクスプレーンに格納されたグラフィクスオブジェクトを構成する画素コードを、輝度・色差に変換する「CLUT部」と、プレーンシフトのための「シフト部」とが存在する。
 図15は、IGデコーダのデコーダモデルを示す。本図では、IGデコーダ本体にあたる部分は黒枠で囲こみ、グラフィクスデコーダ後段にあたる部分は一点鎖線で囲んでいる。IGデコーダ前段にあたる部分は、破線枠で囲んでいる。
 図15(a)は、2D形式のIGストリームを1plane+Offsetモード方式によってLR形式で表示するためのデコーダモデルである。同図(b)は、IGストリームのデコーダモデルであるが、LR方式のデータを表示する場合のデコーダモデルである。 
 これらのデコーダでは、メニューグラフィクスの深度情報をプログラムから制御するために、システムパラメータの値をオフセットに反映するための回路を含んでいる。
 同図(b)は、2デコーダモデルであり、コマンドによりoffset値の変更が可能になる。よってメニューの深度情報をコマンドで変えることができる。Offset値は左右異なる値も与えられる。一方、Depth方式の場合、Offsetは無効になる。
 グラフィクスデコーダにおけるコンポジションコントローラは、対話画面に存在するボタン部材のうち、カレントボタンになるものを、セレクテッド状態に対応するグラフィクスデータ集合のグラフィクスデータを用いて表示し、それ以外のボタン部材を、ノーマル状態に対応するグラフィクスデータ集合を用いて表示することで、対話画面の初期表示を実現する。
 上下左右の4方向の何れかを指定する旨のユーザ操作があった場合、カレントボタンの周辺に位置するノーマル状態のボタン部材のうち、ユーザ操作により指定された方向に存在するものの番号をボタン番号レジスタに書き込み、当該書き込みによって、新たにカレントボタンになったボタン部材をノーマル状態からセレクテッド状態に変化させる。
 対話画面においてセレクテッド状態になっているボタン部材をアクティブ状態に変化させる旨のユーザ操作があった場合、当該アクティブ状態を構成するグラフィクスデータをグラフィクスデータ集合から取り出して表示に供することで対話画面の更新を実現する。   
 これらの対話画面の更新は、左目用、右目用で共通に実行にする必要があるので、2デコーダモデルにおいて、コンポジションコントローラを、左目用のグラフィクスデコーダと、右目用のグラフィクスデコーダとで共通化することが望ましい。
 この場合、立体視IGストリームにおける左目用・右目用のナビゲーションコマンドは同一化し、3D用と2D用のグラフィクスオブジェクトのボタン構成を同一にすることで、相互切り替えを実現する。
 2DIGストリームと、立体視IGストリームとでは、ナビゲーションコマンドおよびボタン情報の属性・数などが同じであれば、グラフィクスオブジェクトの表示のみの切り替えが可能となる。3D-LRモードからL画像のみへの切り替えでは、再ロードなしに切り替え可能だが、表示位置が偏る可能性がある。どちらを採用するかのタイトル制作者の意図をフラグに示させておき、このフラグに基づき再生装置が切り替えを行うことが望ましい。
 以下に、モード切り替え時における留意事項をまとめた。
 ・1plane+Offsetモードと、2Dモードとの切り替えにおいては再ロードは発生しない。これはIGストリームのロードは必要ではなく、Offsetの無効化のみとなるからである。
 ・3D-LRモードと、2Dモードとの切り替えにおいて、ストリームが異なるため、再ロードが発生する。
 以上がIGストリーム及びIGデコーダについての説明である。続いて、プレーンメモリの詳細について説明する。
 1plane+Offsetモード方式におけるプレーンメモリ構成について説明する。
 プレーンメモリのレイヤ合成は、プレーンメモリのレイヤモデルにおいて、階層間のプレーンメモリに格納されている画素データの画素値を重畳させるという処理を、レイヤモデルにおける階層間の全ての組合せに対して実行することでなされる。合成部208によるレイヤ合成は、プレーンメモリのレイヤモデルにおいて、2つの階層のプレーンメモリに格納されている画素データの画素値を重畳させるという処理を、レイヤモデルにおける2つの階層の全ての組合せに対して実行することでなされる。
 階層間の重畳は、ある階層に位置するプレーンメモリのライン単位の画素値に透過率αを重みとして乗じるとともに、その下位階層に位置するプレーンメモリのライン単位の画素値に(1-透過率α)という重みを乗じて これら輝度の重み付けがなされた画素値同士を加算し、加算結果を、その階層におけるライン単位の画素の画素値とする処理である。この階層間の重畳を、レイヤモデルの隣接する2つ階層に位置するライン単位の画素同士で繰り返し実行することにより、上記レイヤ合成は実現される。
 プレーンメモリ後段は、上述したようなCLUT部、シフト部の他、レイヤ合成を実現するため、個々の画素値に等価率を乗算するための乗算部、画素同士の加算を行うための加算部を含む。
 図16は、デコーダモデルの出力を合成し、3D-LR方式で出力するための回路構成を示す。ビデオプレーン、PGプレーン、IGプレーンのレイヤモデルは黒枠で囲こみ、プレーンメモリ後段にあたる部分は一点鎖線で囲んでいる。本図からも明らかなように、上述したようなレイヤモデルは、2組み存在していることがわかる。また、プレーンメモリ後段にあたる部位も、2組み存在していることがわかる。
 レイヤモデル、プレーンメモリ後段が2組み存在することにより、3D-LR方式におけるプレーンメモリ構成は、ビデオプレーン、PGプレーン、IGプレーンのそれぞれが、左目用と、右目用とに別れていて、これらのプレーンメモリの出力をレイヤ合成を、左目用、右目用のそれぞれについて実行するようになっている。
 図17は、これらのデコーダモデルの出力を合成し、1plane+Offsetモード方式で出力するための回路構成を示している。 
 左目ビデオプレーン、右目ビデオプレーン、PGプレーン、IGプレーンのレイヤモデルは黒枠で囲こみ、プレーンメモリ後段にあたる部分は一点鎖線で囲んでいる。本図からも明らかなように、上述したようなレイヤモデルは、1組みだけが存在していることがわかる。また、プレーンメモリ後段にあたる部位は、2組み存在している。
 1plane+Offsetモード方式では、ビデオプレーンは、左目用のものと、右目用のものとが準備されている。PGプレーン、IGプレーンについては、左目用、右目用のそれぞれに別れておらず、左目用、右目用で共通の1枚のプレーンメモリのみが存在する。そして、これらの左目用出力、右目用出力のそれぞれに対して上述したようなレイヤ合成がなされるようになっている。
 再生装置は、B-Dプレゼンテーションモード、1plane+Offsetモードの双方をサポートにする必要があるので、再生装置のハードウェア構成としては、基本的に2デコーダ+2プレーンの構成になっていて、1plane+Offsetモード、2D出力モードに再生装置が切り替った際、1デコーダ+1プレーンの組みのうち一方を無効化して、1デコーダ+1プレーン構成になる。
 以上のデコーダモデルを1デコーダ構成にするか、2デコーダ構成にするか、プレーンモデルを1プレーン構成にするか、2プレーン構成にするかは再生装置を製造するマニファクチャが自由に定めることができる。無論、設計上は2デコーダ構成、2プレーン構成にしておいて高級機種として販売する場合は、立体視PGの再生能力有、立体視IGの再生能力有と設定し、廉価機種として販売する場合は、立体視PGの再生能力無、立体視IGの再生能力無と設定することで、ラインナップの充実を図ることができる。このような立体視PGの再生能力有無のコンフィグレーション、立体視IGの再生能力有無のコンフィグレーションは、レジスタセットに存在する。
 以下、レジスタセットについて説明する。
 レジスタセットは、複数のプレーヤ状態レジスタ、複数のプレーヤ設定レジスタから構成される。個々のプレーヤ状態レジスタ、プレーヤ設定レジスタは何れも語長が32ビットのレジスタであり、32ビット長のレジスタのそれぞれにはレジスタ番号が与えられ、このレジスタ番号を用いてアクセスすべきレジスタが特定される。
 各レジスタの一語(32ビット)を構成する各ビットデータのビット位置は、b0~b31と呼ばれる。最上位ビットはb31、最下位ビットはb0と呼ぶ。そして、32ビットのうち、bxビット目のビット位置からbyビット目のビット位置までのビット範囲は、[bx:by]という表記で表現される。
 所定のレジスタ番号のプレーヤ設定レジスタ/プレーヤ状態レジスタに格納されている32ビット長のビット列であって、任意のビット範囲[bx:by]のものの値は、プログラムが動作を行うにあたっての動作システムの環境変数(システムパラメータ又はプレーヤ変数という)として扱われる。再生制御を行うプログラムは、システムプロパティやアプリケーションプログラミングインターフェイス(API)を通じて、システムパラメータを取得することができる。また、特に禁止されていない限り、これらのプレーヤ状態レジスタ、プレーヤ設定レジスタの値をプログラムは書き換えることができる。オブジェクト指向プログラミング言語ベースのプログラムについては、システムパラメータの取得や書き換えについて正当権限が与えられていることが要件になる。
 プレーヤ状態レジスタは、再生装置のMPUが算術演算やビット演算を行う際、その被演算子となる数値を格納しておくためのハードウェア資源であり、光ディスクが装填された際に初期値が設定され、またカレントプレイアイテムの変更等、再生装置の状態が変化した際に、その格納値の有効性が判定されるレジスタである。この格納値としては、カレントのタイトル番号、カレントのプレイリスト番号、カレントのプレイアイテム番号、カレントのストリーム番号、カレントのチャプター番号等がある。光ディスクの装填時に初期値が格納されるので、この格納値は一時的なものであり、光ディスクがイジェクトされたり、また再生装置の電源が断たれれば、この格納値は有効性を失う。

 プレーヤ設定レジスタは、電源対策が施されている点がプレーヤ状態レジスタとは異なる。電源対策が施されているので、再生装置の電源遮断時において、その格納値が不揮発性のメモリに退避され、再生装置の電源投入時において、その格納値が復帰される。再生装置の製造主体(マニファクチャ)が再生装置の出荷時に定めた再生装置の各種コンフィグレーションや、ユーザがセットアップ手順に従い設定した各種コンフィグレーション、そして、再生装置がTVシステムやステレオ、アンプ等のホームシアターシステムの機器と接続された際、接続相手となる機器とのネゴシエーションにより判明した相手側機器のケーパビリティがプレーヤ設定レジスタに設定される。
 図18は、レジスタセット203の内部構成と、再生制御部とを描いた図である。
 本図の左側にはレジスタセット203の内部構成を示している。右側には再生制御部の内部構成を示している。
 それぞれのレジスタ番号が割り当てられたプレーヤ状態レジスタ、プレーヤ設定レジスタは、どのようなものであるかを示す。
 PSR0は、IGストリームのためのストリーム番号レジスタであり、カレントのIGストリーム番号を格納する。
 PSR2は、PGストリームのためのストリーム番号レジスタであり、カレントのPGストリーム番号を格納する。
 PSR24は、「Player Capability for 3D」の設定である。これは、再生装置に立体視再生を実行する能力が存在するかどうかを示す。
 一方、再生制御部は、レジスタセット203におけるPSR24と、メモリにおけるカレントプレイリスト情報のストリーム選択テーブルとを参照して、カレントプレイリストにおけるカレントPGストリーム番号、カレントIGストリーム番号を一意に定めるストリーム選択プロシージャが存在する。このストリーム選択プロシージャは、「Initialization」、「Procedure when playback condition changed」が存在する。
 図19は、PSR24のビットアサインを示す。PSR24は、再生装置の3Dケーパビリティを表す。記録媒体におけるプログラムは、PSR24の値を変化させることはできない。
 b0は、立体視1280×720 50pビデオ表示ケーパビリティを示す。立体視1280×720 50pビデオ表示ケーパビリティは、「0」に設定された際、1280×720/50Hzプログレッシブビデオを表示する処理能力を再生装置が有していない旨を示す。「1」に設定された際、1280×720/50Hzプログレッシブビデオを再生する再生能力を再生装置が有している旨を示す。
 b2は、立体視PGケーパビリティを示す。立体視PGケーパビリティは、「0」に設定されることで立体視PGを再生する能力を再生装置が有していない旨を示す。「1」に設定されることで立体視PGを再生する能力を再生装置が有している旨を示す。
 b3は、立体視IGケーパビリティを示す。立体視IGケーパビリティは、「0」に設定されることで再生装置が立体視IGを再生する能力を有していない旨を示す。「1」に設定されることで再生装置が立体視IGを再生する能力を有している旨を示す。
 b5は、3D出力モードにおけるBD-Jモードのケーパビリティを示す。このb5が「1」に設定された場合、3D出力モードにおいて再生装置は、BD-Jモードを処理できる旨を示す。b5が「0」に設定された場合、3D出力モードにおいて再生装置は、BD-Jモードを処理できない旨を示す。PSR24のb5の用法については、本実施形態の主眼からは外れるので、後段の実施形態に説明の場を譲る。
 このPSR24では、IG、PGのそれぞれについて立体視再生の可否を設定することができるので、IGデコーダ、PGデコーダのそれぞれを2デコーダで構成して、IG、PGのそれぞれを立体視対応するというコンフィグレーションが可能になるし、また、IG、PGを2デコーダ構成としつつ、IGのみを立体視対応、PGは1plane+Offset対応に留めるというコンフィグレーションも可能になる。逆に、PGのみを立体視対応、IGは1plane+Offset対応に留めるというコンフィグレーションが可能になる。
 更に再生装置を低価格機種として販売するため、IGデコーダ、PGデコーダのそれぞれを2デコーダで構成しておきつつも、IG、PGのそれぞれを1plane+Offset対応に留めるというコンフィグレーションも可能になる。2デコーダモデルという共通構成で構成しておいて、機種のグレードに応じて、IGの立体視の可否、PGの立体視の可否を変更することができるので、マニファクチャが再生装置を製品化するにあたってのラインナップの充実を図ることが可能になる。
 またPG、IGの双方、どちらか一方を1デコーダで構成した場合、立体視再生の可否が明示されていることで、たとえ再生すべきプレイリストが立体視対応のものでも、再生タイプが誤って立体視PG、立体視IGに設定されるのを防止することができる。
 以上の再生制御は、図20から図25までのフローチャートに示される処理手順をオブジェクト指向型コンパイラ言語で記述してコンピュータに実行させることで実現することができる。
 図20は、プレイリスト再生手順を示す。本フローチャートは、ステップS1においてカレントプレイアイテム番号を1に設定した後、ステップS2~ステップS6の処理を繰り返すループを構成する。このループでは、Procedure when playback condition is changedによりストリーム番号を決定して(ステップS2)、ストリーム番号に対応するESを格納したストリームファイルをオープンしてソースパケット列を読み出し(ステップS3)、読み出されたソースパケット列のうち、ストリーム番号に対応しているものの多重分離を指示し(ステップS4)、読み出されたソースパケットをプレイアイテムのインタイムからアウトタイムまで、サブプレイアイテムのインタイムからアウトタイムまで再生するようデコーダに命じる(ステップS5)という処理を、カレントプレイアイテム番号が最終番号になるまで繰り返すものである。ここで最終番号でなければ(ステップS6でNo)、カレントプレイアイテム番号がインクリメントされて、ステップS2に移行する。
 この際、ステップS7においてストリーム選択要求があったかどうかを判定し、もし要求があれば、要求されたストリーム番号をxにして、Procedure when stream change is requestedを実行する(ステップS8)。最終番号であれば、処理を終了する(ステップS6でYes)。
 
 <カレントPGストリームの決定及びカレントPGストリームの再生タイプ決定>
 PSR2のPG_テキスト字幕ストリーム番号によって参照されるPG_テキスト字幕ストリームは、出力モード(PSR22)、PSR24における立体視PGケーパビリティと、is_SS_PGを用いて選択される。
 図21は、PGtestSTストリームについてのProcedure when playback condition is changedについての処理手順を示すフローチャートである。本フローチャートのうち、ステップS11~ステップS22の処理は、3D出力モード及び2D出力モードの共通処理となる。ステップS23~ステップS26が、3D出力モード特有の処理となる。
 ステップS11においてPSR2からカレントPG_テキスト字幕ストリーム番号を取得し、ステップS12において、カレントPG_テキスト字幕ストリーム番号は、PGストリームについてのものかテキスト字幕ストリームについてのものかを判定する。ステップS13は、カレントPG_テキスト字幕ストリーム番号に対応するPGストリームが、条件(A)、条件(B)を満たすか否かをチェックする。
 ここで条件(A),条件(B)は、以下のように規定される。
 
 条件(A):カレントPG_テキスト字幕ストリーム番号から特定されるPGストリームをデコードする能力が再生装置に存在する。
 条件(B):特定された言語を再生する能力が再生装置に存在する。
 一方ステップS14では、カレントPG_テキスト字幕ストリーム番号に対応するテキスト字幕ストリームが、条件(A)、条件(B)を満たすか否かをチェックするものである。
 
 条件(A):カレントPG_テキスト字幕ストリーム番号のテキスト字幕ストリームのキャラクターコードをビットマップに展開する能力が再生装置に存在すること。かかる再生能力は、レジスタセット23におけるPSR30に示されている。
 条件(B):カレントPG_テキスト字幕ストリーム番号のテキスト字幕ストリームの言語特性をサポートする能力が再生装置に存在すること。
 ここで、ある言語の字幕がテキスト字幕ストリームで表現されている場合、その言語のテキスト字幕ストリームを、「デコードすることができる」といえるには、その言語における文字コードを、ビットマップに展開する能力と、その言語の特性をサポートするサポート能力とが再生装置側に存在する必要がある。
 英語、日本語、アラビア語を例にとってみると、英語の字幕表示は、「横書き」,「カーニング」,「合字・抱き字」という機能がサポートされて初めて、言語特性がサポートされていると判断することができる。
 日本語の字幕表示は、「横書き」,「縦書き」,「行末禁則」,「ルビ」という機能がサポートされて初めて、言語特性がサポートされていると判断することができる。
 アラビア語の字幕表示は、「右から左の描画」、「合字・抱き字」という機能がサポートされて初めて、言語特性がサポートされていると判断することができる。
 ある言語のテキスト字幕ストリームをビットマップに展開することができ、その言語の特性をサポートすることができる場合、上記条件(A)、条件(B)は、満たされているということができる。その言語のテキスト字幕ストリームをビットマップに展開することができるが、その言語の特性をサポートすることができない場合、上記条件(B)は満たされず、条件(A)のみが、満たされているということができる。
 言語毎のサポート能力は、レジスタセットにおけるPSR48~61の各ビットにおいて、言語毎に設定されている。具体的には、PSR48~61には、IS0639-2/Tで規定された3バイトの言語コードのそれぞれに対応するフラグが存在しており、これらのフラグに、各言語コードに対応するテキスト字幕の表示能力の有無が設定されている。
 IS0639-2/Tで規定された3バイトの言語コードにおいて「ita」という3バイトのコードはイタリア語を示し、「jpn」という3バイトのコードは日本語を示す。「jav」という3バイトのコードはジャワ語を示す。IS0639-2/Tで規定された言語コードは、このようは3バイトのコードによって430言語を網羅するから、カレントPG_テキスト字幕ストリームの決定において、ストリーム番号テーブルに記載されたテキスト字幕ストリームがデコードできるかどうかの判定にあたって、このPSR48~61におけるフラグを参照する。こうすることで、少数派の言語であっても、デコードできるかどうかを適格に判断可能となる。
 以上の判定を経た後、ステップS15を実行する。ステップS15は、再生装置は、条件(Z)を満たすか否かを判定するものである
 ここで条件(Z)とは、言語特性のサポートがないアンサポート言語の字幕を、再生することをユーザが意図していることであり、かかる意図は、レジスタセットにおけるPSR30に示されている。
 その後、ステップS16の判定ステップを実行する。これは、カレントプレイアイテムのストリーム選択テーブルにおけるPG_テキスト字幕ストリームの本数が=0であるか否かを判定するものである。ストリーム選択テーブルに再生が許可されているPG_テキスト字幕ストリームが存在しない場合、PSR2におけるPG_テキスト字幕ストリームの番号を維持する(ステップS17)。
 カレントストリーム選択テーブルにおいて再生が許可されているPG_テキスト字幕ストリームが少なくとも1つ存在する場合、ステップS18を実行する。これは、カレントPG_テキスト字幕ストリーム番号の有効性を問うステップであり、カレントPG_テキスト字幕ストリーム番号がストリーム選択テーブルにおけるstream_entryの総数以下であり、且つ、条件(A)、条件(B)を満たすかどうかを判定する。
 もしステップS18で満たさないと判定されたなら、ステップS20の判定を実行する。これは、カレントPG_テキスト字幕ストリーム番号がストリーム選択テーブルにおけるstream_entryの総数以下であり、且つ、条件(A)(Z)を満たすかどうかを判定するものである。もし満たすなら、PSR2には、アンサポート言語のテキスト字幕のPG_テキスト字幕ストリーム番号が設定されているが、ユーザはアンサポート言語の再生を意図しているので、PSR2を変化させない(ステップS21)。ステップS20において満たさないと判定されたなら、カレントプレイアイテムについて最適なストリームを選択する(ステップS22)。
 以降のステップS23~ステップS25は3D出力モード特有の処理である。具体的には、3D出力モードでは、PSR2のPGストリーム番号によって特定されるPGストリームのis_SS_PGを拡張ストリーム選択テーブルにおけるストリーム登録情報から取得し(ステップS23)、取得したis_SS_PGフラグが「1」であり、かつ、PSR24におけるb2の立体視PGケーパビリティが「1」であるか否かを判定する(ステップS24)。ステップS24がYesであれば、再生タイプを左目PGストリーム及び右目PGストリームを用いる立体視PGとする(ステップS25)。
 再生タイプを立体視PGとした場合、拡張ストリーム選択テーブルにおける複数のストリーム登録情報のうち、PSR2に格納されたカレントストリームのストリーム番号に対応するものの右目ストリームエントリー及び左目ストリームエントリー内のパケット識別子レファレンスを用いて、立体視再生を行う。具体的には、PSR2に格納されたカレントストリームのストリーム番号に対応するものの右目ストリームエントリー及び左目ストリームエントリー内のパケット識別子レファレンスで指示されているパケット識別子のTSパケットの多重分離を多重分離部に行わせる。
 ステップS24がNoであれば、再生タイプを1plane+OffsetPGとする(ステップS26)。再生タイプを1plane+OffsetPGとした場合、拡張ストリーム選択テーブルにおける複数のストリーム登録情報のうち、PSR2に格納されたカレントストリームのストリーム番号に対応するもののPG_テキスト字幕オフセットシーケンスIDレファレンス情報で指示されているオフセットシーケンスを用いて、1plane+OffsetモードでのPG再生を実行する。
 ここでオフセットシーケンスについて説明する。1plane+Offsetモードに用いられるオフセットシーケンスは、ディペンデントビュービデオストリームのビデオアクセスユニット内に複数存在する。
 ディペンデントビュービデオストリームのビデオアクセスユニットは、ビデオアクセスユニットデリミター、シーケンスパラメータセット、ピクチャパラメータセット、MVCスケーラブルネスティングSEIメッセージ、ファーズトビューコンポーネント、シーケンス終端コード、ストリーム終端コードを配列することにより構成される。そしてこのMVCスケーラブルネスティングSEIメッセージの中に、ユーザデータコンテナが存在する。ユーザデータコンテナは、アンレジスタードユーザデータ(未登録ユーザデータ)のことであり、クローズドキャプション情報、GOP構造マップ、オフセットメタデータという3つの種類がある。これらの種類のうち何れかであるかは、コンテナ中のtype_indicatorに明示される。
 オフセットメタデータは、PGプレーン、IGプレーン、BD-Jプレーンのためのシーケンスリストであり、立体視再生モードにおいてプレゼンテーショングラフィクス_テキスト字幕、IG/BD-Jプレーンが1plane+Offsetモードで再生されている間におけるオフセット設定に用いられる。具体的には、ピクチャデータと合成すべきグラフィクスを、1plane+Offsetモードで再生する場合におけるPGプレーン、IGプレーン、BD-Jプレーンに対するオフセット制御を示す。
 オフセットメタデータは、ディペンデントビューアクセスユニットの符号化順序における各GOPの先頭のビデオコンポーネントのMVCスケーラブルネスティングSEIメッセージに格納されねばならない。オフセットメタデータの内部に、上述した複数のオフセットシーケンスが存在する。オフセットシーケンスは、グループオブピクチャに属する各ピクチャデータと、グラフィクスとを合成する場合における制御パラメータを、グループオブピクチャにおけるフレーム期間毎に示すパラメータシーケンスであり、number_of_displayed_frames_in_GOPに示される個数の制御パラメータから構成される。この制御パラメータは、プレーンオフセット方向情報と、プレーンオフセット値とから構成される。
 プレーンオフセット方向情報(Plane_offset_direction)は、プレーンにおけるオフセット方向を指示する。値「0」でフロント設定、つまり、プレーンメモリは、TVと視聴者との間に存在し、レフトビュー期間においてプレーンは右方向に、ライトビュー期間においてプレーンは左方向にシフトされる。値=1でビハインド設定、つまり、プレーンメモリは、TV又はスクリーンの背後に存在し、レフトビュー期間においてプレーンは左方向に、ライトビュー期間においてプレーンは右方向にシフトされる。プレーンオフセット方向情報がフロント設定を示す場合、3次元座標系における制御パラメータのZ軸座標は、正の座標になる。プレーンオフセット方向情報がビハインド設定を示す場合、3次元座標系における制御パラメータのZ軸座標は、負の座標になる。
 プレーンオフセット値(Plane_offset_value)は、グラフィクスを構成する画素の水平方向の変位量の指定であり、プレーンのオフセット値を画素単位で指示する。
 PGの再生タイプが1plane+OffsetPGに設定されれば、ディペンデントビュービデオストリームのSEIメッセージに格納されている複数のオフセットシーケンスのうち、カレントストリーム番号のストリーム登録情報内のPG_テキスト字幕オフセットシーケンスIDレファレンス情報で指示されているオフセットシーケンスをビデオデコーダから取り出し、シフト部に供給する。 
 以上が、PG_テキスト字幕ストリームにおけるProcedure when playback condition is changedについての説明である。
 図22は、カレントプレイアイテムについて最適なPG_テキスト字幕ストリームを選択する処理手順を示すフローチャートである。
 ステップS30において、全てのPG_テキスト字幕ストリームについて、条件(a)~条件(c)を満たすかどうかをチェックする。
 チェック対象となるPGストリームを、PGストリームiとした場合、条件(a)~条件(c)は、以下のように規定される。
 条件(a):PGストリームiをデコードする能力が再生装置に存在する。
 条件(b):PGストリームiのPG_language_codeが、再生装置における言語設定と一致している。ここで、再生装置における言語設定は、レジスタセットにおけるPSR17に示されている。
 チェック対象となるテキスト字幕ストリームを、テキスト字幕ストリームiとした場合、条件(a)~条件(c)は、以下のように規定される。
 条件(a):テキスト字幕ストリームiのキャラクターコードをビットマップに展開する能力が再生装置に存在すること。
 条件(b):テキスト字幕ストリームiの言語属性をサポートする能力が再生装置に存在すること。
 条件(c):テキスト字幕ストリームiのtextST_language_codeが、再生装置における言語設定と一致していること。 
 以上のチェックを経た後、ステップS31では、再生装置が、前のフローチャートで述べた条件(Z)(:アンサポート言語の再生)を満たすかどうかを判定する。みたさない場合、ステップS32において、条件(a)~条件(c)を満たすPG_テキスト字幕ストリームが存在するかを判定する。存在するなら、条件(a)~条件(c)を満たすPG_テキスト字幕ストリームのうち、対応するストリームエントリーがストリーム選択テーブルにおいて先頭順位に位置するものを選択して、選択したPG_テキスト字幕ストリーム番号を、PSR2に設定する(ステップS33)。
 条件(a)~条件(c)を満たすPG_テキスト字幕ストリームが存在しないなら、ステップS34において、より緩和された条件を満たすPG_テキスト字幕ストリームが存在するか否かを判定する。緩和された条件とは、条件(a)、条件(b)を満たすことであり、これを満たすPG_テキスト字幕ストリームが存在するかが、ステップS34で判定される。存在するなら、条件(a)、条件(b)を満たすPG_テキスト字幕ストリームのうち、対応するストリームエントリーがストリーム選択テーブルにおいて先頭順位に位置するものを選択して、選択したPG_テキスト字幕ストリーム番号を、PSR2に設定する(ステップS36)。
 存在しないなら、0xFFFであるPG_テキスト字幕ストリーム番号をPSR2に設定する(ステップS35)。ステップS31において、条件(Z)を満たすと判定されたなら、ステップS37において、別の緩和された条件を満たすPG_テキスト字幕ストリームが存在するかを判定する。別の緩和された条件とは、条件(a)、条件(c)を満たすものであり、ステップS37では、これらを満たすPG_テキスト字幕ストリームが存在するかか否かが判定される。
 もし存在するなら、条件(a)、条件(c)を満たすPG_テキスト字幕ストリームのうち、対応するストリームエントリーがストリーム選択テーブルの最初に位置するものを選択して、選択したもののPG_テキスト字幕ストリーム番号を、PSR2に設定する(ステップS38)。
 存在しない場合、ステップS39において、条件(a)を満たすPG_テキスト字幕ストリームが存在するかを判定する。存在する場合、条件(a)を満たすPG_テキスト字幕ストリームのうち、対応するストリームエントリーがストリーム選択テーブルにおいて先頭順位に位置するものを選択して、選択したもののPG_テキスト字幕ストリーム番号を、PSR2に設定する(ステップS40)。存在しない場合、0xFFFをPSR2に設定する(ステップS35)。
 以上が、最適なPG_テキスト字幕ストリームの選択手順についての説明である。
 
 図23は、セット立体視ストリームコマンド(SetstreamSSCommand)によってストリーム変化が要求された場合に実行すべきProcedure when stream change is requestedの処理手順を示すフローチャートである。
 ステップS41では、セット立体視ストリームコマンドにおいて、オペランドで指定された番号Xは、PGストリームについてのストリーム番号を意味するか、テキスト字幕ストリームについてのストリーム番号を意味するかを判定する。ステップS42は、番号Xに対応するPGストリーム(PGx)が、以下の条件(A)、条件(B)を満たすか否かをチェックする。
 条件(A):番号Xから特定されるPGストリームをデコードする能力が再生装置に存在すること。
 条件(B):特定されたPGストリームの属性となる言語が、再生装置の言語属性に一致すること。
 ステップS43は、番号Xに対応するテキスト字幕ストリーム(textSTx)が、以下の条件(A)、条件(B)を満たすか否かをチェックする。
 条件(A):番号Xに対応するテキスト字幕ストリームXのキャラクターコードをビットマップに展開する能力が再生装置に存在すること。
 条件(B):番号Xに対応するテキスト字幕ストリームXの言語属性をサポートする能力が再生装置に存在すること。
 ステップS44では、再生装置は、条件(Z)を満たすか否かをチェックし、ステップS45の判定を行う。この判定は、番号がストリーム選択テーブルにおけるstream_entryの総数以下であり、且つ、条件(A)(B)を満たすかどうかを判定する。もし満たすなら、番号XにあたるPG_テキスト字幕ストリーム番号のPG_テキスト字幕ストリームを選択して、PSR2に設定する(ステップS46)。
 ステップS45において満たさないと判定されたなら、ステップS47の判定を実行する。この判定は、番号がストリーム選択テーブルにおけるstream_entryの総数以下であり、且つ、条件(A)(Z)を満たすかどうかを判定するものである。満たすなら、番号XにあたるPG_テキスト字幕ストリームを選択して、そのPG_テキスト字幕ストリーム番号をPSR2に設定する(ステップS48)。
 満たさないなら、ステップS49の判定を行う。この判定は、番号Xが、0xFFFであるか否かを判定するものである。そうでないなら、ストリーム選択テーブルに再生が許可されているPG_テキスト字幕ストリームが存在しないとして、PSR2の値を維持する(ステップS50)。
 0xFFFであるなら、カレントプレイアイテムについて最適なPG_テキスト字幕ストリームを選択する(ステップS51)。この最適なPG_テキスト字幕ストリームの選択は、図22に示したものと同じである。
 以降のステップS52~ステップS55は3D出力モード特有の処理である。具体的には、PGストリーム番号Xによって特定されるPGストリームXのis_SS_PGを拡張ストリーム選択テーブルにおけるストリーム登録情報から取得し(ステップS52)、取得したis_SS_PGフラグが「1」であり、かつ、PSR24における立体視PGケーパビリティが「1」であるか否かを判定する(ステップS53)。ステップS53がYesであれば、再生タイプを立体視PGとする(ステップS54)。ステップS53がNoであれば、再生タイプを1plane+Offsetとする(ステップS55)。
 図24は、セットストリームコマンド、又は、ストリーム番号変更を要求するユーザ操作によってストリーム変化が要求された場合に実行すべきProcedure when stream change is requestedの処理手順を示すフローチャートである。本フローチャートでは、ステップS56において、セットストリームコマンドのオペランドで指定されたストリーム番号、又は、ストリーム番号変更を要求するユーザ操作で指定されたストリーム番号を番号Xに設定した上で、ステップS41~ステップS55の処理を実行する。このステップS41~ステップS55の処理内容は、図23と同一のものであるから、同一の参照符号を付してその説明を省略する。
 <カレントIGストリームの決定及びカレントIGストリームの再生タイプ決定>
 PSR0のIGストリーム番号によって参照されるIGストリームは、PSR22における出力モードと、PSR24における立体視PGケーパビリティと、is_SS_IGとを用いて選択される。
 図25は、カレントIGストリームの決定及びカレントIGストリームの再生タイプ決定の処理手順を示すフローチャートである。
 図25(a)は、プレイアイテムが変化し、再生装置の再生状態が変化した場合におけるカレントIGストリーム決定のためのProcedure when playback condition is changedを示す。本フローチャートのうち、ステップS61~ステップS65は2D出力モード及び3D出力モードの共通のステップであり、ステップS64~ステップS67は3D出力モード特有のステップである。
 ステップS61は、ストリーム選択テーブルにおけるentry数が0であるか否かの判定であり、もし0であればPSR0の値を維持する(ステップS64)。
 ステップS62は、ストリーム選択テーブルにおけるentry数は0ではない場合に、PSR0よりストリーム選択テーブルのentry数が多いかを判定するものである。もしステップS62がYesであればPSR0を維持する(ステップS65)。もしPSR0の値がentry数より大きい場合、PSR0に1を設定する(ステップS63)。以降のステップS64~ステップS67は3D出力モード特有のステップである。3D出力モードでは、PSR0のIGストリーム番号によって特定されるIGストリームのis_SS_IGを拡張ストリーム選択テーブルにおけるストリーム登録情報から取得し(ステップS64)、取得したis_SS_IGフラグが「1」であり、かつ、PSR24におけるb3に示される立体視IGケーパビリティが「1」であるか否かを判定する(ステップS65)。ステップS65がYesであれば、再生タイプを立体視IGとする(ステップS66)。再生タイプを立体視IGとした場合、拡張ストリーム選択テーブルにおける複数のストリーム登録情報のうち、PSR0に格納されたカレントストリームのストリーム番号に対応するものの右目ストリームエントリー及び左目ストリームエントリー内のパケット識別子レファレンスを用いて、立体視再生を行う。具体的には、PSR0に格納されたカレントストリームのストリーム番号に対応するものの右目ストリームエントリー及び左目ストリームエントリー内のパケット識別子レファレンスで指示されているパケット識別子のTSパケットの多重分離を多重分離部に行わせる。
 ステップS65がNoであれば、再生タイプを1plane+OffsetIGとする(ステップS67)。 再生タイプを1plane+OffsetIGとした場合、拡張ストリーム選択テーブルにおける複数のストリーム登録情報のうち、PSR0に格納されたカレントストリームのストリーム番号に対応するものの立体視IGオフセットシーケンスIDレファレンス情報で指示されているオフセットシーケンスを用いて、1plane+OffsetモードでのIG再生を実行する。具体的には、ディペンデントビューストリームのSEIメッセージに格納されている複数のオフセットシーケンスのうち、立体視IGオフセットシーケンスIDレファレンス情報で指示されているオフセットシーケンスをビデオデコーダから取り出し、シフト部に供給する。
 図25(b)は、セット立体視ストリームコマンド(SetstreamSSCommand)、セットストリームコマンド、及び、ストリーム番号変更を要求するユーザ操作によってストリーム変化が要求された場合におけるPSR0の設定手順を示すフローチャートである。
 セット立体視ストリームコマンド(SetstreamSSCommand)、セットストリームコマンド、及び、ストリーム番号変更を要求するユーザ操作によってストリーム変化が要求された場合、コマンドのオペランドやユーザ操作で指定されたストリーム番号を番号Xとする。
 本フローチャートにおけるステップS71は、番号Xよりストリーム選択テーブルのentry数が多いかを判定するものである。もしXがこの条件を満たすなら、PSR0にXを設定する(ステップS74)。もしXがentry数より大きい場合は、PSR0に1を設定する(ステップS72)。3D出力モードでは、PSR0のIGストリーム番号によって特定されるIGストリームのis_SS_IGを拡張ストリーム選択テーブルにおけるストリーム登録情報から取得し(ステップS73)、取得したis_SS_IGフラグが「1」であり、かつ、PSR24における立体視IGケーパビリティが「1」であるか否かを判定する(ステップS74)。ステップS74がYesであれば、再生タイプを立体視IGとする(ステップS75)。ステップS74がNoであれば、再生タイプを1plane+Offsetとする(ステップS76)。
 図26は、結合ストリーム登録列によってどのようなパケット識別子が多重分離部に出力されるかを示す。
 同図(a)は、動作例の題材として用いる結合ストリーム登録列を示す。結合ストリーム登録列は、基本ストリーム選択テーブルにおける3つのストリーム登録情報と、拡張ストリーム選択テーブルにおける3つのストリーム登録情報とから構成されるものである。基本ストリーム選択テーブルにおける3つのストリーム登録情報はそれぞれ、ストリーム番号「1」、「2」、「3」のストリーム番号を有し、3つのストリーム登録情報におけるストリーム属性は、英語、日本語、中国語の言語属性を有している。
 拡張ストリーム選択テーブルにおける3つのストリーム登録情報はそれぞれ、ストリーム番号「1」、「2」、「3」のストリーム番号を有し、3つのストリーム登録情報におけるストリーム属性は、英語、日本語、中国語の言語属性を有している。基本ストリーム選択テーブルにおけるストリーム登録情報と、拡張ストリーム選択テーブルにおけるストリーム登録情報とではストリームエントリーにおけるパケット識別子が異なり、拡張ストリーム選択テーブルにおけるストリーム登録情報は、B-Dプレゼンテーションモードのための左目PGストリームのためのパケット識別子、右目PGストリームのためのパケット識別子を含む。
 同図(b)は、言語設定が中国語であり、出力モードが2D出力モードに設定された再生装置に、かかる結合ストリーム登録列が供給された場合における、ストリーム番号の設定と、パケット識別子の出力とを示す。
 図中のa1、a2,a3を付した矢印は、言語設定の一致判定、ストリーム番号レジスタへのストリーム番号の設定、多重分離部へのパケット識別子の出力を
模式的に示したものである。
 プロシージャにおいて、ストリーム番号=3のストリーム登録情報において、再生装置側の言語設定と、ストリーム属性との一致が判定され、このストリーム番号=3のストリーム登録情報に含まれるストリーム番号がストリーム番号レジスタに書き込まれる。この際、基本ストリーム選択テーブルにおけるストリームエントリーにおけるパケット識別子が多重分離部に出力される。こうすることで、基本ストリーム選択テーブルにおけるストリーム番号=3のストリーム登録情報におけるストリームエントリーのパケット識別子によって特定されるTSパケットが、デコーダに出力されることになる。
 図26(c)は、言語設定が中国語であり、再生タイプが立体視PGに設定された再生装置に、かかる結合ストリーム登録列が供給された場合における、ストリーム番号の設定と、パケット識別子の出力とを示す。
 図中のa4,a5,a6を付した矢印は、言語設定の一致判定、ストリーム番号レジスタに対するストリーム番号の設定、多重分離部へのパケット識別子の出力を模式的に示したものである。
 ストリーム選択プロシージャにおいて、ストリーム番号=3のストリーム登録情報において、再生装置側の言語設定と、ストリーム属性との一致が判定され、このストリーム番号=3のストリーム登録情報に含まれるストリーム番号がストリーム番号レジスタに書き込まれる。この際、基本ストリーム選択テーブルにおけるストリームエントリーにおけるパケット識別子が多重分離部に出力される。こうすることで、拡張ストリーム選択テーブルにおけるストリーム番号=3のストリーム登録情報におけるストリームエントリーに格納されたパケット識別子の組みによって特定される2系統のTSパケットが、デコーダに出力されることになる。
 図27は、結合ストリーム登録列によってどのようなパケット識別子が多重分離部に出力されるかを示す。
 図27(a)は、動作例の題材として用いる結合ストリーム登録列を示す。結合ストリーム登録列は、基本ストリーム選択テーブルにおける3つのストリーム登録情報と、拡張ストリーム選択テーブルにおける3つのストリーム登録情報とから構成されるものである。基本ストリーム選択テーブルにおける3つのストリーム登録情報はそれぞれ、ストリーム番号「1」、「2」、「3」のストリーム番号を有し、3つのストリーム登録情報におけるストリーム属性は、何れかも中国語の言語属性を有している。
 拡張ストリーム選択テーブルにおける3つのストリーム登録情報はそれぞれ、ストリーム番号「1」、「2」、「3」のストリーム番号を有し、3つのストリーム登録情報におけるストリーム属性も、中国語の言語属性を有している。基本ストリーム選択テーブルにおけるストリーム登録情報と、拡張ストリーム選択テーブルにおけるストリーム登録情報とではストリームエントリーにおけるパケット識別子が異なり、拡張ストリーム選択テーブルにおけるストリーム登録情報は、B-Dプレゼンテーションモードのための左目PGストリームのためのパケット識別子、右目PGストリームのためのパケット識別子を含む。
 同図(b)は、言語設定が中国語であり、出力モードが2D出力モードに設定された再生装置に、かかる結合ストリーム登録列が供給された場合における、ストリーム番号の設定と、パケット識別子の出力とを示す。
 図中のa1,a2,a3を付した矢印は、言語設定の一致判定、ストリーム番号の設定、パケット識別子の出力を模式的に示したものである。
 ストリーム選択プロシージャにおいて、ストリーム番号=3のストリーム登録情報において、再生装置側の言語設定と、ストリーム属性との一致が判定され、このストリーム番号=「1」がストリーム番号レジスタに書き込まれる。この際、基本ストリーム選択テーブルにおけるストリームエントリーにおけるパケット識別子が多重分離部に出力される。こうすることで、基本ストリーム選択テーブルにおけるストリーム番号「1」のストリーム登録情報におけるストリームエントリーのパケット識別子によって特定されるTSパケットが、デコーダに出力されることになる。
 (c)は、言語設定が中国語であり、再生タイプが1plane+Offsetタイプに設定された再生装置に、かかる結合ストリーム登録列が供給された場合における、ストリーム番号の設定と、パケット識別子の出力とを示す。
 図中のa4,a5,a6を付した矢印は、言語設定の一致判定、ストリーム番号の設定、パケット識別子の出力を模式的に示したものである。
 プロシージャにおいて、ストリーム番号「1」のストリーム登録情報において、再生装置側の言語設定と、ストリーム属性との一致が判定され、このストリーム番号「1」のストリーム登録情報に含まれるストリーム番号がストリーム番号レジスタに書き込まれる。この際、基本ストリーム選択テーブルにおけるストリームエントリーにおけるパケット識別子が多重分離部に出力される。こうすることで、拡張ストリーム選択テーブルにおけるストリーム番号「1」のストリーム登録情報におけるストリームエントリーに格納されたパケット識別子の組みによって特定される2系統のTSパケットが、デコーダに出力されることになる。
 以上のように本実施形態によれば、グラフィクスの立体視効果の実現性の可否が、ケーパビリティフラグに示されており、拡張ストリーム選択テーブルにおいて、立体視効果可能であると設定されているグラフィクスストリームについては、このグラフィクスの立体視効果を行うかどうかが、このケーパビリティフラグによって条件付けられるので、マニファクチャは、たとえ記録媒体に立体視効果をもつグラフィクスストリームが記録されていたとしても、ケーパビリティフラグを「ケーパビリティなし」と設定することで、かかるグラフィクスストリームの立体視効果に歯止めをかけ、品質管理を行い易いオフセット制御を代わりに実行することができる。
 こうすることで、高品位な立体視効果機能をもった機種、かかる立体視効果機能をもたない機種という複数機種の再生装置を市場に投入して、製品ラインナップの充実化を図ることができる。
 
 (第2実施形態)
 第1実施形態では、立体視IG、立体視PGの処理能力の有無、IG、PGの再生タイプをストリーム選択プロシージャで定めたが、本実施形態では、再生装置における出力モードをモード選択プロシージャで決定するという実施形態である。
 かかるモード選択プロシージャは、タイトルの選択時に実行される。ここで本明細書のタイトルは、少なくとも1つの動作モードオブジェクトを必須の構成要素とする。動作モードオブジェクトとは、あるモードにおけるタイトル再生時の再生装置の挙動の詳細を規定する動作管理テーブルである。そして、このタイトルには、HDMVタイトル、BD-Jタイトルといった種別がある。
 「HDMVタイトル」とは、HDMVモードで再生されるべきタイトルのことであり、ムービーオブジェクトと、ムービーオブジェクト内の再生コマンドで再生されるプレイリスト(プレイリスト情報、クリップ情報、ストリームファイル)とから構成される。
 「ムービーオブジェクト」とは、インデックステーブルにおいてHDMVタイトルのタイトル番号に対応付けられた動作モードオブジェクトのことであり、ナビゲーションコマンド列から構成されるバッチプログラムに、レジュームの可否を示すレジュームフラグ、メニューコールをマスクするか否かを示すフラグ、タイトルサーチをマスクするか否かを示すフラグを対応付けることで構成されている。
 「BD-Jタイトル」とは、BD-Jモードで再生されるべきタイトルのことであり、クラスアーカイブファイルと、BD-Jオブジェクトとから構成される。
 「クラスアーカイブファイル」は、バイトコードアプリケーションのクラス構造体のファイル(クラスファイル)を、デジタル証明書マニフェストファイル、ディスク署名シグネチャファイル、ディスク署名暗号鍵ファイル、パーミッションリクエストファイルとひとまとめにしてアーカイブしたファイルである。アプリケーションのロードは、このクラスアーカイブファイルをひとまとめにしてなされ、クラスロード時に、デジタル証明書、ディスク署名、ディスク署名暗号鍵を用いたアプリケーションの正当性の検証ができるようになっている。またパーミッションリクエストファイルが存在するので、アプリケーションによる動作を、一定の権限が与えられたのものに限定することができる。
 クラスアーカイブファイルにアーカイブされるバイトコードアプリケーションは、オブジェクト指向プログラミング言語のソースコードを用いて記述されたクラス構造体をコンパイルすることで得られた実行形式のプログラムであり、機器に依存しないコード(バイトコード)によって構成されるものをいう。本実施形態におけるバイトコードアプリケーションは、イベントドリブンであり、イベントによって状態遷移がなされる。状態遷移の状態には、「ローデッド」,「ポーズ」,「アクティブ」「デストロイド」といった4つの状態があり、バイトコードアプリケーションには、アプリケーションの動作のトリガとなるキーイベントが予め登録されている。バイトコードアプリケーションの動作のトリガとなるキーイベントの登録は、xletインターフェイスのイベントリスナによってなされる。以上がクラスアーカイブファイルについての説明である。
 続いて、BD-Jモードの動作モードオブジェクトであるBD-Jオブジェクトの詳細について説明する。
 「BD-Jオブジェクト」は、BD-Jモードにおける再生装置の挙動の詳細を規定する。その挙動の詳細には、対応するタイトルがカレントタイトルになった際のアプリケーションのクラスロード(1)、対応するタイトルがカレントタイトルになった際のアプリケーションシグナリング(2)、当該アプリケーションシグナリングによって起動されたアプリケーションがGUI処理を実行するにあたってのHAViデバイスコンフィグレーション(3)、当該カレントタイトルにおけるプレイリストアクセス(4)、対応するタイトルがカレントタイトルになった場合のクラスアーカイブファイルのキャッシュイン・キャッシュアウト(5)、起動されたアプリケーションのトリガとなるイベントをキーに割り当てるというイベント割当て(6)がある。
 「クラスロード」とは、クラスアーカイブファイルにアーカイブされているクラスファイルのインスタンスを、プラットフォームのヒープ領域に生成する処理であり、「アプリケーションシグナリング」は、クラスファイルのインスタンスであるアプリケーションを自動起動させるか否か、又は、アプリケーションの生存区間をタイトルバウンダリーとするかディスクバウンダリーとするかを規定する制御である。タイトルバウンダリーとは、タイトルの終了と同時にアプリケーションであるスレッドをヒープ領域から消滅させるという管理であり、ディスクバウンダリーとは、ディスクイジェクトと同時にアプリケーションであるスレッドをヒープ領域から消滅させる管理である。逆にディスクイジェクトがされてもスレッドをヒープ領域から削除しない制御を「ディスクアンバウンダリー」という。「HAViデバイスコンフィグレーション」は、アプリケーションがGUI処理を実行するにあたってのグラフィクスプレーンの解像度や文字表示に用いるフォント等を規定するものである。
 「プレイリストアクセス」とは、起動されたアプリケーションが再生を命じることができるプレイリストやタイトル選択時に自動的に再生すべきプレイリストの指定である。
 「クラスアーカイブファイルのキャッシュイン」とは、クラスロードの対象となるクラスアーカイブファイルをキャッシュに先読みするとの処理であり、「クラスアーカイブファイルのキャッシュアウト」とは、キャッシュに存在するクラスアーカイブファイルをキャッシュから削除するとの処理である。「アプリケーション駆動のためのイベント割当」は、ユーザが操作可能なキーに、アプリケーションのイベントリスナに登録されているイベントを割り当てるというものである。
 バイトコードアプリケーションのうち、BD-Jオブジェクト内のアプリケーション管理テーブルでアプリケーションシグナリングがなされるものを「BD-Jアプリケーション」という。
、HDMVタイトルをBD-Jタイトルと対比すると、上述のHDMVタイトルでは、ナビゲーションコマンドを実行するためのコマンドインタプリタやプレイリストを解読して再生するための再生制御エンジンといったモジュールがソフトウェアの動作主体になる。
 これに対しBD-Jタイトルでは、クラスロードのためのクラスローダやアプリケーションシグナリングのためのアプリケーションマネージャ、HAViデバイス、Javaメディアフレームワークによるプレイリスト再生のための再生制御エンジン、キャッシュイン・キャッシュアウト管理のためのキャッシュマネージャ、イベント処理のためのイベントマネージャといったソフトウェア群、つまり、デジタル放送のマルチメディアプラットフォーム端末におけるソフトウェア群と良く似たソフトウェア群が動作主体になるので、BD-JタイトルからHDMVタイトルへの切り替わり、HDMVタイトルからBD-Jタイトルへの切り替わりでは、再生装置におけるソフトウェア構成が大きく異なるものになる。
 出力モードが切り替え後のソフトウェアの動作主体にとって、最適なものになっているかの確認と、切り替え後の動作モードに最適な出力モードの選択という2つの処理を実現するべく、上記モード選択プロシージャをカレントタイトルの選択時に実行する。
 モード選択プロシージャの動作主体は、再生制御部210におけるプロシージャ実行部である。また、出力モードは、レジスタセット203に格納される。
 図28は、レジスタセット203の内部構成と、再生制御部210とを描いた図である。本図の左側にはレジスタセット203の内部構成を示している。右側には再生制御部210の内部構成を示している。
 それぞれのレジスタ番号が割り当てられたプレーヤ状態レジスタ、プレーヤ設定レジスタは、どのようなものであるかを示す。
 PSR1は、オーディオストリームのためのストリーム番号レジスタであり、カレントのオーディオストリーム番号を格納する。
 PSR2は、PGストリームのためのストリーム番号レジスタであり、カレントのPGストリーム番号を格納する。
 PSR4は、1~100の値に設定されることで、カレントのタイトル番号を示す。
 PSR5は、1~999の値に設定されることで、カレントのチャプター番号を示し、0xFFFFに設定されることで、再生装置においてチャプター番号が無効であることを示す。
 PSR6は、0~999の値に設定されることで、カレントプレイリストの番号を示す。
 PSR7は、0~255の値に設定されることで、カレントプレイアイテムの番号を示す。
 PSR8は、0~OxFFFFFFFFの値に設定されることで、45KHzの時間精度を用いて現在の再生時点(カレントPTM)を示す。以上がPSRについての説明である。
 PSR10は、IGストリームのためのストリーム番号レジスタであり、カレントのIGストリーム番号を格納する。
 PSR21は、ユーザが、立体視再生を実行することを意図しているかどうかを示す。
 PSR22は、出力モード値を示す。
 PSR23は、「Display Capability for video」の設定である。これは、再生装置の接続相手である表示装置に立体視再生を実行する能力が存在するかどうかを示す。
 PSR24は、「Player Capability for 3D」の設定である。これは、再生装置に立体視再生を実行する能力が存在するかどうかを示す。
 一方、プロシージャ実行部は、レジスタセット203におけるPSR4,PSR6,PSR21,PSR23と、カレントプレイリスト情報のストリーム選択テーブルとを参照して、カレントプレイリストにおける出力モードを一意に定める。PSR24におけるPlayer Capability for 3Dは、再生装置の3D再生に関する能力全般を意味するものなので、「3D-Capability」と簡単に表記する場合がある。
 PSR23は、出力モードを規定するものであり、その状態遷移の選択モデルは、図29に示すように規定されている。
 図29は、出力モードの選択モデルの状態遷移を示す。この選択モデルには、2つの一般的な状態が存在する。楕円は、この一般的な状態、つまり、出力モード値がとりうる値である「Invalid」,「valid」を模式的に描いたものである。Invalidは出力モードが無効であり、Validは出力モードが有効である旨を示す。
 一般的な状態は、状態遷移が起こらない限り、維持される。状態遷移は、プレイリスト再生の開始、ナビゲーションコマンドやBD-Jアプリケーションにより要求された出力モード変化、BD-Jタイトルへのジャンプがある。状態遷移が発生した際、出力モードプリレファレンスを獲得するためのプロシージャが実行される。
 図中の矢印jm1,jm2,jm3・・・・jm12は、状態遷移のトリガとなる事象を模式的に示す。本図における状態遷移には、以下のものがある。
 『Load a disc』とは、BD-ROMが装填されたという状態を意味する。
 『Start Presentation』とは、HDMVモードにおいて、プレイリストの再生開始(start Playlist playback)を意味する。BD-Jモードにおいては、BD-Jタイトルへの分岐を意味する。何故なら、BD-Jタイトルは、プレイリストが必須の構成要素になっていないので、BD-Jタイトルに分岐した場合、必ずしも、プレイリストの再生が開始されるとは限らないからである。
 『Jump to BD-J title』は、BD-Jタイトルへの分岐を意味する。具体的には、インデックステーブルにおいて、BD-Jタイトルがカレントタイトルになることをいう。
 『Start Playlist Playback』は、何等かのプレイリストを意味するプレイリスト番号が、PSRに設定されて、プレイリスト情報が、カレントプレイリスト情報としてメモリに読み出されることをいう。
 『Change Output Mode』とは、3D出力モードへの切り替えの権限を有したBD-JアプリケーションがAPIをコールすることで、出力モードを変化することをいう。
 『Terminate presentation』とは、HDMVモードの場合は、プレイリストの再生が終了することをいい、BD-Jモードの場合は、BD-JタイトルからHDMVタイトルへとジャンプすることをいう。
 ディスクがロードされた際、出力モードの状態は、一時的な状態「Initialization」に遷移る。出力モードセレクションの状態は、一時的に「Initialization state」に遷移した後、invalid stateに遷移する。
 Output Mode Selectionの状態は、再生開始(Start Presentation)がアクティブになるまで、Invalidに維持される。HDMVモードにおいて「Start Presentation」は、プレイリストの再生が開始されたことを意味する。BD-JモードにおいてStart Presentation」は、BD-Jタイトルの再生が開始され、BD-Jアプリケーションが何等かの動作を開始したことを意味する。必ずしも、プレイリストの再生が開始されたことを意味するとは限らない。
 Start Presentationがアクティブになった際、出力モードは、一時的な状態である「Procedure when playback condition is changed」に遷移する。
 出力モードは、Procedure when playback condition is changedの結果に従ってValidに遷移する。出力モードが有効であって、Start Presentationが終了すれば、状態はInvalidに遷移する。
 ムービーオブジェクトにおけるナビゲーションコマンドは、コンテンツプロバイダが出力モードプリレファレンスを設定するために、プレイリスト再生の開始に先立ち、実行されねばならない。ムービーオブジェクトにおけるナビゲーションコマンドが実行された際、このモデルでは、Invalidになる。
 図29の状態遷移は、モード選択プロシージャと呼ばれる規定の手順によって実現される。このモード選択プロシージャは、Initializationと、Procedure when playback condition is changedとから構成される。
 図30は、Initializationの処理手順を示す。
 ステップS501は、ディスクアンバウンドのBD-Jアプリケーションが動作中かどうかの判定であり、ステップS502は、PSR23におけるStereoscopic Display Capabilityが「Capability有」を示し、インデックステーブル(index.bdmv)におけるInitial_output_mode情報が「立体視出力モード」を示すかどうかの判定である。Initial_output_mode情報のデータ構造については、本実施形態の主眼からは外れるので、後段の実施形態に説明の場を譲る。
 ステップS501がYesであれば、ステップS503においてカレントの出力モードを維持する。ステップS501がNo、ステップS502がYesであれば、ステップS4においてPSR22を立体視出力モードに設定する。ステップS501がNo、ステップS502がNoであればステップS5においてPSR22における出力モードを、2D出力モードに設定する。
 以上のInitializationによれば、initial_output_mode情報がオンになっている場合、再生装置にB-Dプレゼンテーションモードの再生能力が存在することを要件として、ディスク装填と同時に再生装置が3D出力モードになる。よってinitial_output_mode情報がオンであれば、記録媒体を装填してすぐ眼鏡をかけることで、立体視再生による仮想現実感に浸ることができる。
 図31は、Procedure when playback condition is changedの処理手順を示す。ステップS511は、PSR22における出力モードは、2D出力モードであるか否かの判定であり、ステップS513は、PSR23におけるStereoscopic Display Capabilityが「Capability有」を示し、尚且つ、プレイリストに拡張ストリーム選択テーブルが存在するかどうかの判定である。
 ステップS511がYesであればステップS512において、カレント出力モードを変化させない。ステップS511がNo、ステップS513がYesであってもカレント出力モードを変化させない(ステップS512)。ステップS511がNo、ステップS513がNoであればカレント出力モードを2D出力モードに変化させる(ステップS514)。
 以下、3D出力モード実現のためのプレーヤ設定レジスタのビットアサインについて説明する。3D出力モードの実現のために用いられているレジスタは、21番号、22番、23番、24番のレジスタであり、これらのレジスタにおけるビットアサインを示したのが図32である。図32は、3D出力モード実現のためのプレーヤ設定レジスタのビットアサインを示す。
 同図(a)は、PSR21のビットアサインを示す。本図において、最下位ビットb0が、出力モードプリレファレンスであり、0bに設定されることで、2D出力モードである旨を示し、1bに設定されることで、立体視出力モードである旨を示す。ナビゲーションコマンドやBD-JアプリケーションはこのPSR21の値を書き換えることはできない。
 同図(b)は、PSR22のビットアサインを示す。PSR22におけるb0は、カレントの出力モードを表す。出力モードが変化すれば、再生装置におけるビデオ出力は、対応して変化しなければならない。出力モードの値は、選択モデルによって制御されねばならない。
 以上のように本実施形態によれば、再生装置の状態変化やユーザからのストリーム切り替え要求があったとしても、出力モードの有効性を保つことができる。
 (第3実施形態)
 前の実施形態では、カレントタイトルの選択時に出力モードを定めたが、本実施形態は、BD-Jタイトルがカレントタイトルとして選択された際、このカレントタイトルにおける出力モードを、どのようにして決定するかを示す実施形態である。
 以降、BD-Jオブジェクトについて説明する。図33は、BD-Jオブジェクトの内部構成の一例を示す図である。本図に示すようにBD-Jオブジェクトは、「アプリケーション管理テーブル」、「端末管理テーブル」、「アプリケーションキャッシュ情報」、「プレイリストアクセス情報」、「キーインタレストテーブル」から構成される。
 「アプリケーション管理テーブル」は、タイトルをバウンダリィとしたアプリケーションシグナリングをアプリケーションマネージャやクラスローダに指示する制御テーブルであり、「端末管理テーブル」は、GUIを実現するためのHAViコンフィグレーションやGUIに用いるフォント、ユーザ操作のマスクの有無をマルチディアホームプラットフォーム(MHP)に指示する管理テーブルである。「アプリケーションキャッシュ情報」は、タイトル選択時のアーカイブファイルのキャッシュイン/キャッシュアウトをキャッシュマネージャに指示する制御テーブルであり、「プレイリストアクセス情報」タイトル選択時におけるプレイリストの自動再生の指定を再生制御エンジン(PCE)に指示する制御テーブルである。「キーインタレストテーブル」は、キーと、イベントとの対応付けをイベントマネージャに指示する制御テーブルである。
 引き出し線bj1は、アプリケーション管理テーブルにおけるエントリーをクローズアップして示している。この引き出し線に示すように、アプリケーション管理テーブルのエントリーは、タイトルにおいて、アプリケーションを自動的に起動させるべきか(AutoStart)、他のアプリケーションからの呼出しを待って起動すべきか(Present)という起動の仕方を示す「制御コード」と、「アプリケーションタイプ」と、起動すべきBD-Jアプリケーションをアーカイブしたアーカイブファイルのファイル名となる5桁の数値を用いて、対象となるアプリケーションを示す「アプリケーションID」と、「アプリケーション記述子」を含む。引き出し線bj2は、「アプリケーション記述子」の内部構成をクローズアップして示している。本引出線に示すように、「アプリケーション記述子」は、アプリケーションがロードされる場合の「優先度」と、アプリケーションがタイトルアンバウンドであるか否か、ディスクバウンドであるか否かを示す「バインディング情報」と、アプリケーションの名称を示す文字列と、アプリケーションの言語属性を示す「言語コード」と、アプリケーションに対応づけるアイコンの所在を指し示す「アイコンロケータ」と、「アプリケーションのプロファイル値」を、アプリケーション毎にして格納している。3D出力モードに対応するアプリケーションについては、このプロファイル値が=5に設定される。インデックステーブルにおけるBDMVアプリケーション情報の立体視コンテンツ存在フラグが1に設定されることは、このアプリケーションのプロファイル値が=5に設定されることが要件とされる。
 引き出し線bj3は、端末管理テーブルにおけるコンフィグレーション情報をクローズアップして示している。コンフィグレーション情報は、グラフィクスプレーンの確保を再生装置に指示する情報であり、この引き出し線bj3に示すように、端末管理テーブルは、HD3D_1920×1080、HD3D_1280×720、HD_1920×1080、HD_1280×720、QHD_960×540,SD,SD_50HZ_720×576,SD_60HZ_720×480の何れかに設定することができる。

 引き出し線bj4は、プレイリストアクセス情報における自動再生プレイリストを指定する情報の内部構成をクローズアップして示している。引出線bj4に示すように、自動再生プレイリストを指定する情報として、3Dプレイリスト1920×1080、3Dプレイリスト1280×720、2Dプレイリスト1920×1080、2Dプレイリスト1280×720、2Dプレイリスト720×576、2Dプレイリスト720×480の指定が可能になる。
 何れかのタイトルが選択された際、再生装置は、選択されたカレントタイトルに対応するもののプレイリストアクセス情報により指定されたプレイリストの再生を、アプリケーションからの再生指示を待つことなく開始し、プレイリスト再生の終了よりも、BD-Jアプリケーション実行が先に終了した場合、プレイリストの再生を継続して行う。
 こうした先行再生により、アプリケーションのクラスロードに時間がかかり、描画イメージが表示されないため、対話画面がなかなか出力されないような場合、プレイリスト再生による再生映像がそのまま出力させるので、アプリケーションにおける起動遅延が顕著な場合でも、とりあえずプレイリストの再生映像をユーザに視聴させることができる。アプリケーションのスターティングディレィの間、何かが写っている状態にしておくことができるので、ユーザに安心感を与えることができる。
 BD-Jアプリケーションにおいて立体視再生の実現に利用できるAPIには、Java2Micro_Edition(J2ME) Personal Basis Profile(PBP 1.0)と、Globally Executable MHP specification(GEM1.0.2)for package media targetsがある。これらのAPIを利用すれば、ネットワーク処理のためのjava.net、GUI処理のためのjava.awt、言語処理のためのjava.lang、記録媒体に対するI/O処理のためのjava.io、ユーティリティであるjava.util、メディアフレームワークのためのjavax.mediaといったクラスのメソッド、コンストラクタ、インターフェイス、イベントを用いた構造化プログラミングで、3D再生が可能なBD-Jタイトルの記述が可能になる。
 BD-Jタイトルにおける3Dプレイリストの再生指示等、立体視を前提にしたBD-Jタイトルにおいてデフォルトで行うべき動作は、初期xletクラスのインスタンスであるxletコンテキストを生成させるようなプログラムをソースコードで記述することで作成できる。かかるxletコンテキストは、インスタンス生成時に状態変化を示す状態変化エクセプションイベントをスロウして、その後、再生装置におけるプレーヤ状態レジスタ、プレーヤ設定レジスタの保持値の取得を行い、取得した保持値が3D再生の能力の存在を示すものかどうかを判断した上で3Dプレイリストの再生を実行する。
 ここでの3Dプレイリストの再生は、3Dプレイリストを指定するロケータと、javax.mediaにおけるマネージャのクリエイトプレーヤメソッド「javax.media.Manager.createPlayer」とを利用して、3Dプレイリストの再生のためのプレーヤインスタンスを生成することでなされる。また、プレーヤインスタンスを生成できないときのイクセプションは、javax.meia.NoPlayerEceptionイベントをキャッチするcatch文で記述することができ、3Dプレイリストがないときのイクセプションは、java.io.IOExceptionイベントをキャッチするcatch文で記述することができる。
 またBD-JモードのためのエクステンションAPI(BD-Jエクステンションと呼ばれる)を用いることで、これまでの実施形態で述べた立体視再生のためのデータ構造、立体視再生における再生単位を用いた制御を実現する。このBD-Jエクステンションはjava.net、java.awt、java.lang、java.io、java.util、javax.mediaクラスのメソッドからのインへリッドメソッドを含み、これらのクラスのインターフェイスをエンベデッドインターフェイス、スーパーインターフェイスとしているので、java.net、java.awt、java.lang、java.io、java.util、javax.mediaクラスを用いたプログラミング技法の延長線上で、立体視再生を前提にしたBD-Jタイトルを作成することができる。
 例えばBD-JモードのためのエクステンションAPIは、レジスタセットの状態設定や状態取得を命じる設定取得クラスを含む。かかる設定取得クラスは、各PSRの保持値を示すコンスタントフィールドと、PSRの保持値の取得を命じる取得メソッドと、PSRの保持値の設定を命じる設定メソッドとから構成される。
  設定取得クラスのメソッドは、java.lang.objectクラスのメソッドのインヘリッドメソッドを含む。また、メソッドコールの際の引数が不正であれば、java.langクラスのイベントであるjava.lang.IlleghalArgumentExceptionイベントをスロウする。本クラスは、java.lang.objectのメソッドやイベントを継承しているので、プログラマは、java.lang.objectの延長線で、レジスタセットの保持値を利用したプログラムを作成することができる。
 図34は、BD-Jタイトルにおける出力モード設定の処理手順を示すフローチャートである。
 (a)は、Procedure when BD-J Title is changedの処理手順を示すフローチャートである。ステップS521では、PSR22から出力モードを取得し、ステップS522では、HAViデバイスコンフィグレーションセレクションのビヘイビアに依拠して、2D出力モード又は立体視出力モードの何れかに出力モードを設定する。
 (b)は、Procedure when Output Mode change is requestedの処理手順を示すフローチャートである。ステップS523では、PSR22から出力モードを取得し、ステップS524では、イニシャルHAViデバイスコンフィグレーションのビヘイビアに依拠して、2D出力モード又は立体視出力モードの何れかに出力モードを設定する。
 図35は、イニシャルHAViデバイスコンフィグレーションセレクションのビヘイビアの一例を示すフローチャートである。本フローチャートは、ステップS530、ステップS531、ステップS532、ステップS533、ステップS536の判定結果に応じて、ステップS534、ステップS535、ステップS537の処理を選択的に実行する。
 ステップS530は、自動再生プレイリストが存在するかどうかの判定である。
 ステップS531は、PSR24におけるb5が「1」であるか否かの判定である。ここでb5が「1」であることは、3D出力モードにおいて、BD-Jモードの処理が可能であることを意味する。
 ステップS532は、直前の表示モードは3Dであるか否かの判定である。ステップS533は、選択されたタイトルの自動再生プレイリストが、1920×1080の3Dプレイリスト又は1280×720の3Dプレイリストであるかどうかの判定である。
 自動再生プレイリストが存在しない場合、ステップS537、ステップS538の判定を実行する。
 ステップS537は、PSR24におけるb5が「1」であるか否かの判定である。ここでb5が「1」であることは、3D出力モードにおいて、BD-Jモードの処理が可能であることを意味する。
 ステップS538は、BD-JオブジェクトにおけるHAViデバイスコンフィグレーションの解像度がHD3D_1920×1080、HD3D_1280×720であるかどうかの判定である。
 もしステップS537がYes、ステップS538がYesであれば、ステップS535において、表示モードを3Dに設定し、BD-JオブジェクトにおけるHAViデバイスコンフィグレーションの解像度に応じて1920×1080、あるいは1280×720に設定する。もしステップS537、ステップS538のどちらかがNoであれば、ステップS536において表示モードを2Dに設定し、解像度をBD-JオブジェクトにおけるHAViデバイスコンフィグレーションの解像度に設定する。
 自動再生プレイリストが存在する場合、ステップS531においてPSR24のb5が「1」であるか、ステップS532において直前の表示モードが3Dであるかどうか、又は、ステップS533においてプレイリストが3Dプレイリストで、その解像度が1920×1080、1280×720であるがどうかが判定される。ステップS531、ステップS532、ステップS533のどれかがNoであれば、ステップS534において表示モードを2Dに設定し、解像度を、自動再生プレイリストの解像度に設定する。
 ステップS532がYes、ステップS533もYesと判定された場合、ステップS535において、表示モードを3Dに設定し、解像度を、自動再生プレイリストの解像度に応じて1920×1080、又は、1280×720に設定する。
 以上のように本実施形態によれば、BD-Jオブジェクトに基づき、HAViデバイスコンフィグレーションで規定された解像度を用いて立体視再生を実現することができる。
 (第4実施形態)
 本実施形態は、再生装置に接続された表示装置の立体視表示ケーパビリティを示すプレーヤ設定レジスタの内部構成をより具体的なものにして実施する場合の改良に関する。
 図36は、PSR23のビットアサインを示す。PSR23は、再生装置に接続されている表示装置の特性値を表す。ナビゲーションコマンドやBD-Jアプリケーションは、PSR23の値を書き換えることはできない。PSR23の値は、表示装置がインターフェイスを通じてこれらを提供した際、再生を開始する前に、自動的に設定される。これらの値を自動取得できない場合、これらはユーザによって設定される。
 PSR23のb0は、表示装置の立体視表示ケーパビリティを示す。
 立体視表示ケーパビリティは、「0」に設定された際、接続されている表示装置が、1920×1080/23.976Hzプログレッシブビデオ、又は、1920×1080/59.94Hzプログレッシブビデオを表示する処理能力を有していない旨を示す。
 「1」に設定された際、接続されている表示装置が、1920×1080/23.976Hzプログレッシブビデオ、又は、1920×1080/59.94Hzプログレッシブビデオを表示する処理能力を有している旨を示す。
 PSR23のb1は、表示装置の立体視1280×720 50pビデオ表示ケーパビリティを示す。
 立体視1280×720 50pビデオ表示ケーパビリティは、「0」に設定された際、接続されている表示装置が、1280×720/50Hzプログレッシブビデオを表示する処理能力を有していない旨を示す。「1」に設定された際、接続されている表示装置が、1280×720/50Hzプログレッシブビデオを表示する処理能力を有している旨を示す。
 PSR23のb2は、裸眼立体視可否フラグを示す。
 裸眼立体視可否フラグ(No glasses required for stereoscopic display)は、「0」に設定されることで接続されているTVシステムが、立体視出力モードを視聴するのに眼鏡を必要とする旨を示し「1」に設定されることで接続されているTVシステムが、立体視出力モードを視聴するのに眼鏡を必要としない旨を示す。
 b8からb19までの画面横サイズ(Horozontal display size)は、接続されている表示装置の水平サイズをcm単位で表す。0x000である場合、未定義であり、0x001から0xFFEまでである場合、接続されている表示装置の水平サイズをcm単位で表す。ここで0xFFEは、4094cmのディスプレイである旨を示す。0xFFFは、水平長4094cmより大きいディスプレイである旨を示す。
 PSR23のビットアサインを用いると、PSR23における立体視ケーパビリティの判定手順は、図37のフローチャートに示されるものとなる。
 図37は、PSR23における立体視再生ケーパビリティの判定手順を示すフローチャートである。本フローチャートは、ステップS515~ステップS517の判定ステップの判定結果の組合せに応じて、立体視再生ケーパビリティが存在するか、立体視再生ケーパビリティがが存在しないかという結論を下す。ステップS515は、PSR23のb2が「1」であるか否かの判定であり、ステップS516は、PSR23のb0が「1」であるか否かの判定である。ステップS517は、PSR23のb1が「1」であるか否かの判定である。ステップS515においてPSR23のb2が「1」であることは、眼鏡なしで裸眼立体視が可能であることを示す。よってPSR23のb1が「1」であれば、ステップS516及びステップS517の判定を経ることなく、ステップS518において、立体視再生可能であるとの判定結果を下す。眼鏡なしで立体視表示をすることができるは、立体視専用のものであり、解像度に関係なく、立体視再生可能であると判定結果を下すことができるからである。
 ステップS516において、PSR23のb0が「1」であることは、1920×1080/23.976Hz、及び、1280×720/59.94Hzにおける立体視再生が可能であることを示す。よってステップS515がNoであっても、ステップS516がYesであれば、ステップS518において、立体視再生可能であるとの判定結果を下す。
 ステップS517において、PSR23のb1が「1」であることは、1920×1080/23.976Hz,1280×720/59.94Hzの立体視再生が不可能でも、1280×720/50Hzにおける立体視再生が可能であることを示す。よってステップS515-ステップS516がNoであっても、ステップS517がYesであれば、ステップS518において、立体視再生可能であるとの判定結果を下す。
 PSR23のb0が「0」、PSR23のb1が「0」であることは、SD画像であることを示す。よって、ステップS517がNoであれば、立体視再生が不可能であり、強制的に2D出力を行う。
 これは、SD画像では、充分な品位の立体視再生を実現することができないからである。
 以上のように本実施形態によれば、再生装置に接続された立体視表示ケーパビリティに応じて、最適な解像度と、フレームレートとの組みを決定するので、表示装置に対するデータ転送を最適なものにすることができる。
 (第5実施形態)
 本実施形態は、表示装置のフレームレートや解像度を最適にする改良に関する。これまでの実施形態では、BD-Jオブジェクトの端末管理テーブルやタイトルにおけるプレイリストから解像度を決定していたが、タイトルが未選択の状態においては、解像度やフレームレートは未定のままであった。そこで本実施形態は、インデックステーブルに、解像度やフレームレートの情報を組み込んでいる。
 インデックステーブルは記録媒体全体に関する管理情報であり、再生装置への記録媒体挿入後に、インデックステーブルが最初に読み出されることで、再生装置において記録媒体が一意に認識される。
 インデックステーブルは、再生装置におけるタイトル番号レジスタに格納され得る複数のタイトル番号と、動作モードを規定する動作モードオブジェクトとの対応付けを規定する。記録媒体に記録されているタイトルとは、タイトル番号によって特定される動作モードオブジェクトと、この動作モードオブジェクトから再生されるプレイリストとの組みをいう。映画作品と、タイトルとの関係は、映画作品と、それの複数バージョンとの関係である。つまり1つのバージョンしかないような映画作品は、「映画作品=タイトル」という関係になる。映画作品に、劇場公開版、ディレクターズカット版、TV放映版等、複数のバージョンがある場合、映画作品における個々のバージョンが1つのタイトルになる。
 ここで、タイトル番号レジスタにおけるタイトル番号は、0、1~999、不定値(0xFFFF)という番号がある。タイトル番号0は、トップメニュータイトルのタイトル番号である。トップメニュータイトルとは、ユーザによるメニューコール操作によって呼び出すことができるタイトルである。不定値(0xFFFF)のタイトル番号は、ファーストプレイタイトルのタイトル番号である。ファーストプレイタイトルとは、記録媒体の装填直後に、視聴者への警告やコンテンツプロバイダによるロゴ表示等を行うタイトルである。
 インデックステーブルは、各タイトル番号のそれぞれに対応したエントリー(タイトルインデックス)を有し、個々のタイトルインデックスに、動作モードを規定する動作モードオブジェクトを記述することで、各々のタイトルが、どのような動作モードで動作するのかを詳細に規定する。
 図38は、インデックステーブルを説明するための説明図である。図38(a)は、インデックステーブルファイルの内部構成を示す。本図に示すようにインデックステーブルファイルは、複数のタイトルインデックスと、BDMVアプリケーション情報とを含む。
 図38(b)は、タイトルインデックスの共通のデータ構造で定義される。この共通のデータ構造は、『オブジェクトタイプ』と、『ムービーオブジェクトレファレンス』と、『オブジェクトファイル名情報』とを含む。『オブジェクトタイプ』は、該当するタイトルに関付けられている動作モードオブジェクトが、MovieオブジェクトであるかBD-Jオブジェクトであるかを示す。『オブジェクトファイル名情報』は、タイトルに関連付けられたBD-J オブジェクトのファイル名を示す。『ムービーオブジェクトレファレンス』は、タイトルに関連付けられたムービーオブジェクトの識別子を示す。
 再生装置においてタイトル番号レジスタの値は、記録媒体の装填後、不定値0xFFFF→1~999→0というように変化する。このタイトル番号の変化は、記録媒体の装填時に、ファーストプレイタイトルの再生を開始し、ファーストプレイタイトルの再生後、1から999までのタイトル番号レジスタのタイトル番号で指示されるタイトルの再生を行い、タイトル番号で指示されるタイトルの再生が終了すれば、トップメニュータイトルを再生してユーザによる選択待ちを行うというものである。1~999のタイトル番号をもつタイトルのうち、タイトル番号レジスタに格納されているタイトル番号と、同じタイトル番号をもつものが、現在の再生対象、つまりカレントタイトルになる。タイトル番号レジスタにどのような番号を設定するかは、トップメニュータイトルに対するユーザ操作や、プログラムによるタイトル番号レジスタの設定によって決定される。
 図38(c)は、BDMVアプリケーション情報(ApplinfoBDMV)の内部構成を示す。本図に示すように、BDMVアプリケーション情報は、「初期出力モードプレファレンス(initial_outputmode_preference)」、「立体視コンテンツ存否フラグ(SS_content_exist_flag)」、「ビデオフォーマット情報(video_format)」、「ビデオレート情報(video_rate)」から構成される。
 「初期出力モードプレファレンス(initial_outputmode_preference)」は、ディスクにおける初期出力モードのプレファレンスであり、「0」で2D出力モード、「1」で立体視出力モードを示す。既に、第2実施形態で説明したように、本初期出力モードレファレンスが『立体視出力モード』に設定されている場合、表示装置に立体視表示能力が存在することを前提として、ディスク装填時において、再生装置は立体視出力モードに設定される。
 「立体視コンテンツ存否フラグ(SS_content_exist_flag)」は、プロファイル5機能を用いているか否かを示す。以下の条件の何れかを満たす場合、このフィールドは「1」に設定される。
 -拡張ストリーム選択テーブルが組み込まれた3Dプレイリストをもつ
 -BD-Jオブジェクトにおけるアプリケーション管理テーブル内で現在シグナリングされているBD-Jアプリケーションは、自身のアプリケーション記述子におけるアプリケーションプロファイル値のセット内に、「プロファイル5」を含む。プロファイル5」とは、立体視再生に対応したアプリケーションプロファイルである。よってBD-Jオブジェクトに対応するタイトルに3Dプレイリストが存在しない場合や、プレイリストそのものがない場合であっても、かかるBD-Jアプリケーションが立体視の再生能力を有している場合、上記立体視存否フラグは「オン」に設定される。
 -立体視出力モードを用いる。
 立体視コンテンツ存否フラグが、「存在しない」と設定されている場合、対応するディスクが装填されている間は3D出力モードに移行することはないから、PSR22のモード選択プロシージャを実行せず、PSR22を2D出力モードのまま固定化する。一方、立体視コンテンツ存否フラグが存在すると設定されている場合のみ、モード選択プロシージャを実行する。
 「ビデオフォーマット情報(video_format)」は、高バンド幅デジタル出力機能におけるビデオフォーマットを4ビットの値を用いて指示する。ディスク挿入時において、このビデオフォーマットを、ネゴシエートによって定めることができる。ビデオフォーマット情報は、ファーストプレイタイトルの再生がなされてから、トップメニュータイトルの再生時、又は、0~999のタイトル番号で指示されるタイトルの再生時まで有効になる。
 トップメニュータイトルの再生後、又は、0~999のタイトル番号で指示されるタイトルの再生後は、そのタイトルにおけるプレイリストにおけるピクチャや、そのタイトルにおけるメニューの表示解像度が適用されるからである。
 「ビデオレート情報(video_rate)」は、高バンド幅デジタル出力機能におけるビデオレートを指示する4ビットの値である。ディスク挿入時において、このビデオレートを、ネゴシエートによって定めることができる。ビデオフォーマット情報、ビデオフレーム情報は、どちらかを0に設定することができる。どちらかが0に設定された場合、両フィールドは、再生装置によって無視される。「ビデオレート」とは、1秒当りのフレーム数を表す単位であり、FPS(Frame Per Second)という単位系で表現される。フレーム期間を波長と考えれば、フレームレートは「周波数」として表現することができ、フレームレートの表記には、単位系として「Hz」を用いることもある。ビデオレート情報は、ファーストプレイタイトルの再生がなされてから、トップメニュータイトルの再生時、又は、0~999のタイトル番号で指示されるタイトルの再生時まで有効になる。
 トップメニュータイトルの再生後、又は、0~999のタイトル番号で指示されるタイトルの再生後は、そのタイトルにおけるプレイリストにおけるビデオストリームのビデオレートが適用されるからである。
 以上が記録媒体についての説明である。続いて、再生装置の詳細について説明する。再生装置が、ディスクインサート時に、以下の処理手順を実行する点が新しい。
 図39は、ディスクインサート時の処理手順を示すフローチャートである。
 インサートされたディスクからインデックステーブル(Index.bdmv)を読み出し(ステップS501)、読み出されたIndex.bdmvのBDMVアプリケーション情報に記載された高バンド幅デジタル出力機能を実行するためのネゴシエーションを開始させて(ステップS502)、ステップS503~ステップS509のループに移行する。このループは、ファーストプレイタイトルにおける0xFFFのカレントタイトル番号を、タイトル番号レジスタに設定して(ステップS503)、カレントタイトルに対応するタイトルインデックスのオブジェクトタイプがBD-Jオブジェクトであるか否かを判定し(ステップS504)、BD-Jオブジェクトでないなら、カレントタイトルに対応するタイトルインデックスのムービーオブジェクトレファレンスによって示されるムービーオブジェクトをロードし(ステップS505) 、BD-Jオブジェクトであるなら、カレントタイトルに対応するタイトルインデックスのオブジェクトファイル名情報によって示されるBD-Jオブジェクトをロードして(ステップS506)、ロードしたオブジェクトに基づき、タイトル再生を開始する(ステップS509)という処理を、ステップS508がNo、ステップS509がYesと判定されるまで繰り返すものである。
 ステップS503-ステップS509のループは、タイトル再生の開始後、ステップS508-ステップS509からなるループに移行する。本ループでタイトル再生が終了したと判定された場合(ステップS508でYes)、タイトル番号レジスタのカレントタイトル番号を更新した上で(ステップS510)、ステップS504に移行する。
 ステップS508-ステップS509のループで、ディスクイジェクトがなされた場合、本フローチャートの処理は終了する。インデックステーブルに、フォーマットレートの情報が存在するので、ファーストプレイタイトルの再生に先立ち、ネゴシエーションを実行することができる。
 図40は、表示装置と、再生装置との間の間のやりとりを示す図である。
 図40(a)は、データ転送フェーズ、ネゴシエーションフェーズを示す。左側に再生装置を示し、右側に表示装置を示す。再生装置と、表示装置との間の3つの矢印のうち、先頭のものはネゴシエーションフェーズph1を象徴的に示し、次のものは、23.976FPSによるデータ伝送フェーズph2を象徴的に示す。最後のものは、47.954FPSによるデータ伝送フェーズph3を象徴的に示す。
 3D出力モードでは、各フレームにおいてベースビューコンポーネント、ディペンデントビューコンポーネントの双方を伝送するので、実質的には表示フレームは倍になる。具体的には、2D出力モードにおいて23.976FPSを使用していた場合、3D出力モードでは47.954FPSになる。しかし本図の一例では、ベースビューコンポーネント及びディペンデントビューコンポーネントを結合して、サイドバイサイド方式で、2D出力モードと同じフレーム期間内に転送することにより、フレームレートの変動を発生させないようにしている。つまり、2D出力モードであっても、フレームレートは23.976FPSのままで、伝送すべきデータを、ベースビューコンポーネント及びディペンデントビューコンポーネントの組みに変更する。こうすることで、フレームレートの変更を招かずに、2D出力モードと、3D出力モードとの切替え時におけるフレームレートの変動をなくすようにしている。
 しかし、ディスク装填直後のネゴシエーションフェーズには、相互認証が存在し、この相互認証の過程ではフレームレートやビデオフォーマットが必要になる。しかしこれらフレームレートやビデオフォーマットの情報はビデオストリーム固有の情報であるから、タイトルが選択されて再生されるべきプレイリストが定まらないと、これらの情報を取得することはできない。
 一方、Initializationのプロシージャで述べたように、initial_output_mode情報がオンになっており、再生装置にB-Dプレゼンテーションモードの再生能力が存在する場合、ディスクの装填と同時に、3D再生を開始させることができる。しかし、表示装置によるネゴシエーションに時間がかかると、3D眼鏡をかけて立体視映像の視聴の準備をしたとしても、立体視映像が表示装置になかなか表示されず、ユーザの苛立ちを募らせてしまうという好ましくない事態が生じる。
 そこで本実施形態では、上述したようにフレームレートやビデオフォーマットの情報を、ディスク装填時に第1に読み取られる情報、つまり、インデックステーブルに設けることにしている。
 同図(b)は、タイミングチャートである。第1段目は、モジュールマネージャの処理を時系列に示し、第2段目は、送信部の処理を時系列に示す。
 第2段目によると、送信部は、ネゴシエーション、データ転送という2つのフェーズを経ることがわかる。
 第1段目によると、モジュールマネージャは、インデックステーブルの読み出し、ファーストプレイタイトルの選択、ファーストプレイタイトルを構成する動作モードオブジェクトの実行及びプレイリスト再生、タイトル0~999の選択、タイトル0~999を構成する動作モードオブジェクトの実行及びプレイリスト再生という5つのフェーズを経ることがわかる。矢印fy1,fyは、マネージャから送信部へのフォーマット、レートの指示を模式的に示す。送信部へのフォーマット、レートの指示は、ファーストプレイタイトルの選択とほぼ同時になされているので、ファーストプレイタイトルの選択処理と並行してネゴシエーションが開始されており、データ転送の開始時期が格段に早まっていることがわかる。
 以上のように本実施形態によれば、上記記録媒体では、インデックステーブルにアプリケーション情報が存在しており、このアプリケーション情報は、認証に必要なパラメータとして、フォーマットレートを含むので、インデックステーブルの読み取り後、ファーストプレイタイトルの再生処理と同時に、相手側機器との相互認証を開始することができる。ファーストプレイタイトルの再生処理と、相手側機器との相互認証処理とをパラレルに実行することができるので、起動遅延は、約半分の時間にまで低減させることができる。
 (第6実施形態)
 本実施形態では、立体視インターリーブドストリームファイルの内部構造についての改良である。
 前提事項として、UDFファイルシステムにおけるファイルについて簡単に説明する。UDFにおけるファイルは、ファイルエントリーによって管理されている複数のエクステントから構成される。「ファイルエントリ」は、「記述子タグ」と、「ICBタグ」と、「アロケーション記述子」とを含む。
 「記述子タグ」は、自身がファイルエントリである旨を示すタグである。タグには、ファイルエントリ記述子、スペースビットマップ記述子などの種別があるが、ファイルエントリの場合には、記述子タグとしてファイルエントリを示す「261」が記述される。
 「ICBタグ」は、ファイルエントリ自身に関する属性情報を示す。
 「アロケーション記述子」は、あるディレクトリの配下にある下位ファイルを構成するエクステントの記録位置を示す論理ブロック番号(LBN)を含む。アロケーション記述子は、エクステント長を示すデータと、エクステントの記録位置を示す論理ブロック番号とを含む。ただしエクステント長を示すデータの上位2ビットは、「0」に設定されることで、割り付け済みかつ記録済みエクステントである旨を示し、「1」に設定されることで、割り付け済みかつ未記録エクステントである旨を示す。「0」に設定されることで、アロケーション識別子の続きのエクステントであることを示す。あるディレクトリの配下にある下位ファイルが複数のエクステントに分割されている場合には、ファイルエントリはエストテント毎に複数のアロケーション記述子を有することになる。
 上述したようなファイルエントリーのアロケーション識別子を参照することで、ストリームファイルを構成するエクステントのアドレスを知得することができる。
 次に、本実施形態で想定されているファイルの種別について説明する。
 <立体視インターリーブドストリームファイル(FileSS)>
 立体視インターリーブドストリームファイル(FileSS)は、2TSをインターリーブ形式にしたストリームファイル(2TSインターリーブファイル)であり、5桁の整数値と、立体視再生用のインターリーブド形式ファイルである旨を示す拡張子(ssif)とによって識別される。立体視インターリーブドストリームファイルは、エクステントSS[n]から構成され、エクステントSS[n](EXTSS[n])は、インデックス番号nによって特定される。インデックス番号nは、立体視インターリーブドストリームファイルの先頭から1つずつインクリメントされる番号である。
 エクステントSS[n]は、ディペンデントビューデータブロックと、ベースビューデータブロックとの組みとして構成される。
 エクステントSS[n]を構成するベースビューデータブロック、ディペンデントビューデータブロックは、ファイル2D、ファイルベース、ファイルディペンデントからのクロスレファレンスの対象となる。クロスレファレンスとは、記録媒体に記録された1つのデータ客体を、複数のファイルのエクステントとして、ファイルエントリーに登録しておくことをいう。本実施形態では、ファイル2Dのファイルエントリー、ファイルベースのファイルエントリー、ファイルディペンデントのファイルエントリーに、ベースビューデータブロック、ディペンデントビューデータブロックの先頭アドレス及び連続長が登録されることになる。
 <ファイルベース(FileBase)>
 ファイルベース(FileBase)は、ファイル2Dに対応するクリップ情報におけるエクステントスタートポイント情報によって指示されるメインTSを「格納している」とされる仮想的なストリームファイルであり、少なくとも1つのエクステント1[i](EXT1[i]と呼ぶ)によって構成される。エクステント1[i]は、ファイルベースにおけるi番目のエクステントであり、iは、エクステントのインデックス番号であり、ファイルベースの先頭を0としてインクリメントされる。ファイルベースは、2TSファイルである立体視インターリーブドストリームファイルを、1TSファイルとして扱うための仮想的なストリームファイルであり、そのファイルエントリーを、再生装置のメモリ上で構築することで仮想的に生成される。
 実際の読み出しにあたって、ファイルベースは、この立体視インターリーブドストリームファイルのファイル名を用いてファイルオープンを行うことで特定される。具体的にいうと再生装置のミドルウェアは、立体視インターリーブドストリームファイルのファイル名を用いたファイルオープンがコールされた場合、ファイルベースのエクステントを特定するファイルエントリーをメモリ上で生成して、ファイルベースを仮想的にオープンする。立体視インターリーブドストリームファイルは、「1TSのみを包含している」とみなすことができ、2TSの立体視インターリーブドストリームファイルを1TSのファイルベースとして記録媒体から読み出すことができる。
 B-Bプレゼンテーションモードにおいて、ベースビューデータブロックのみを読み出したい場合は、このファイルベースを構成するエクステントのみが読み出しの対象になる。B-BプレゼンテーションモードからB-Dプレゼンテーションモードへのモード変更があったとしても、読出範囲を、ファイルベースを構成するエクステントの記録範囲から、立体視インターリーブドストリームファイルを構成するエクステントの記録領域に拡大すれば、ベースビューデータブロック、ディペンデントビューデータブロックの双方を読み出すことができるから、ファイル読み出しの効率性を低下させることはない。
 <ファイルディペンデント(FileDependent)>
 ファイルディペンデント(FileDependent)は、サブTSを「格納している」とされるストリームファイルであり、エクステント2[i](EXT2[i])によって構成される。EXT2[i]は、ファイルディペンデントにおけるi番目のエクステントであり、iは、エクステントのインデックス番号であり、ファイルディペンデントの先頭を0としてインクリメントされる。ファイルディペンデントは、2TSファイルである立体視インターリーブドストリームファイルを、サブTSを格納した1TSファイルとして扱うための仮想的なストリームファイルであり、そのファイルエントリーを、再生装置のメモリ上で構築することで仮想的に生成される。
 ディペンデントビュービデオストリームは、立体視インターリーブドストリームファイルのファイル名である5桁番号に、1を加算した番号がファイル名として付与される。このファイル名を用いてアクセスされる。記録媒体には、ダミーファイルが記録されていて、ディペンデントビュービデオストリームの識別番号である、「1を加算した番号」がこのダミーファイルに付与される。ダミーファイルとは、ファイル名のみが存在していて、実体であるエクステントが存在しないファイルであり、ディペンデントビュービデオストリームは、このダミーファイルに格納されるとして扱われる。
 <ファイル2D(File2D)>
 ファイル2Dは、2D出力モードにおいて再生されるメインTSを格納している1TSのストリームファイルであり、エクステント2Dから構成される。ファイル2Dは、5桁の整数値と、立体視再生用のインターリーブド形式ファイルである旨を示す拡張子(ssif)とによって識別される。
 図41は、エクステントと、ファイル2D/ファイルベース、ファイルディペンデントとの対応付けを示す。
 第1段目は、ファイル2D/ファイルベース、ファイルディペンデントである00001.m2ts,00002.m2tsを示し、第2段目は、ベースビューデータブロックを格納したエクステント、ディペンデントビューデータブロックを格納したエクステントを示す。第3段目は、立体視インターリーブドストリームファイルである00001.ssifを示す。
 破線の矢印h1,h2,h3,h4は、エクステントEXT1[i],EXT2[i]が、どのファイルに帰属しているかというアロケーション識別子による帰属関係を示す。矢印h1,h2に示される帰属関係によると、エクステントEXT1[i],EXT1[i+1]は、ファイルベースである00001.m2tsのエクステントとして登録されていることがわかる。
 矢印h3,h4に示される帰属関係によると、エクステントEXT2[i],EXT2[i+1]は、ファイルディペンデントである00002.m2tsのエクステントとして登録されていることがわかる。
 矢印h5,h6,h7,h8に示される帰属関係によると、エクステントEXT1[i],EXT2[i],EXT1[i+1],EXT2[i+1]は、00001.ssifのエクステントとして登録されていることがわかる。以上のように、エクステントEXT1[i],EXT1[i+1]は、00001.ssifに帰属すると同時に、00001.m2tsに帰属するという二重性を有していることがわかる。この「ssif」という拡張子は、StereoScopic Interleave Fileの頭文字をとったものであり、立体視再生のため、インターリーブ形式になっていることを示す。
 ここで、ファイルベースを構成するエクステントと、ファイルディペンデントを構成するエクステントとの組みであって、同じエクステント識別子で特定されるものを「インターリーブエクステントユニット」という。この図41の例において、エクステント識別子=iで特定されるEXT1[i]と、EXT2[i]とのペアがインターリーブエクステントユニット[i]になり、エクステント識別子=i+1で特定されるEXT1[i+1]と、EXT2[i+1]とのペアがインターリーブエクステントユニット[i+1]になる。立体視インターリーブドストリームファイルに対するランダムアクセスにあたっては、このエクステント識別子で特定されるインターリーブエクステントユニットが一度に記録媒体から読み出されることを保障せねばならない。
 図42は、立体視インターリーブドストリームファイルと、ファイル2D/ファイルベースとの関係を示す。
 同図(a)の第3段目は、インターリーブドストリームファイルの内部構成を示す。立体視インターリーブドストリームファイルは、ベースビューデータブロックを格納したエクステントEXT1[1],EXT1[2]のそれぞれと、ディペンデントビューデータブロックを格納したエクステントEXT2[1],EXT2[2]のそれぞれとが交互配置されることで構成される。
 第1段目は、ファイル2D及びファイルベースの内部構成を示す。ファイル2D/ファイルベースは、第3段目におけるインターリーブドストリームファイルを構成するエクステントのうち、ベースビューデータブロックを格納したエクステントEXT1[1],EXT1[2]のみから構成されている。ファイル2Dのファイル名は、インターリーブドストリームファイルのファイル名が同一だが、拡張子が異なる。
 第2段目は、ファイディペンデントの内部構成を示す。ファイディペンデントは、第3段目におけるインターリーブドストリームファイルを構成するエクステントのうち、ディペンデントビューデータブロックを格納するエクステントEXT2[1],EXT2[2],EXT2[2]のみから構成されている。ファイルディペンデントのファイル名は、インターリーブドストリームファイルのファイル名に1を加算したものになっており、また拡張子が異なる。
 3D映像を含む光ディスクであったとしても、全ての再生装置が3D再生方式に対応しているとは限らないため、2Dでの再生がサポートされることが望ましい。ただし、2D再生のみに対応した再生装置は、3Dで拡張されたデータ構造などは判別できない。2D再生装置は旧来の2D再生方式のままの判別方法で、2Dプレイリストおよび2Dストリームにのみアクセスできる必要があるので、ベースビュービデオストリームについては、2D方式の再生装置が認識できるようなファイル形式で格納されている。
 1つ目の方法は、上述したようなプレイリスト情報の参照、つまり、メインTSは2D再生でも利用できるように2D再生方式と同じファイル名を使い、インターリーブ形式のストリームファイルは拡張子を変える方法である。同図(b)における00001.m2ts、及び、00001.ssifは、一方は2D方式、他方は3D方式でありながら同じファイル名「00001」によってカップリングされている。
 プレイリストは、メインTSのAVクリップしか参照しないため、既存の2D再生装置ではファイル2Dしか再生しない。3D対応の再生装置は、プレイリストはメインTSの入ったファイル2Dしか参照していないが、同じ識別番号を持ち、拡張子のみ異なるファイルが存在する場合は、そのファイルを見つけ出し、3D映像のためのインターリーブ形式のストリームファイルであると判断して、メインTSと、サブTSとを出力する。
 2つ目の方法は、フォルダを分ける方法である。メインTSは既存のフォルダ名(例:STREAM)を持つフォルダ内に格納しておくが、サブTSは、3D特有の名前を持つフォルダ(例:SSIF)に同じファイル名『00001』で格納しておく。プレイリストがファイルを参照する際、2D再生装置ではSTREAMフォルダ内のファイルのみを参照するが、3D再生装置の場合は「STREAM」とSSIFフォルダの中から、同じ名前のファイルを同時に参照することにより、メインTSと、サブTSとを関連づけることが可能となる。
 3つ目の方法は、識別番号によるものである。ファイル2D/ファイルベースの識別番号が「00001」である場合、ファイルディペンデントの識別番号は、同図(c)に示すようにこのファイル2Dの識別番号に「1」を加算した番号、つまり、「0002」という識別番号を付与する等、一定のルールに従って関連づけを行う方法である。しかし記録媒体のファイルシステムにおいて、上述のルールで命名されたファイルディペンデントは、あくまでも実体のないダミーファイルとして扱われる。これは、ファイルディペンデントの実体は、立体視インターリーブドストリームファイルに過ぎないとの理由による。こうして関連付けられたファイル名を、基本ストリーム選択テーブルにおけるストリーム登録情報、及び、拡張ストリーム選択テーブルにおけるストリーム登録情報におけるストリームエントリーのサブクリップエントリーIDレファレンス(ref_to_subclip_entry_id)に記述しておく。一方、再生装置については、サブクリップエントリーIDレファレンスに記述された識別番号に「1」を加算した識別番号のファイル名は、ダミーファイルのファイル名であると認証して、ファイルディペンデントを仮想的にオープンする処理を実行する。こうすれば、ストリーム選択プロシージャにおいて、上述したような関連付けがなされたファイルディペンデントが確実に記録媒体から読み出されることになる。
 クリップ情報ファイルについても、同様のルールで識別される。
 以上が、ファイル2D、ファイルベース、ファイルディペンデントについての説明である。
 以下、データブロックの詳細について説明する。
 <ベースビューデータブロック>
 ベースビューデータブロック(B[i])は、メインTSのi番目のデータブロックである。ここで、メインTSとは、カレントプレイアイテム情報のクリップ情報ファイル名情報(クリップ情報ファイルネーム情報)を通じて、メインパスの基軸として指定されているTSである。B[i]の「i」は、ファイルベースの先頭のデータブロックを0としてインクリメントされるインデックス番号である。
 ベースビューデータブロックには、ファイルベースと、ファイル2Dとで共通化されるものと、ファイルベースと、ファイル2Dとで共通化されていないものとがある。
 ファイル2D及びファイルベースで共通化されるベースビューデータブロック、及び、ファイル2D固有のベースビューデータブロックは、ファイル2Dのエクステントになるものであり、再生装置におけるバッファアンダーフローを生じさせない長さに設定されている。そしてその先頭のセクタアドレスは、ファイル2Dのファイルエントリーにおけるアロケーション記述子に記述されている。
 ファイル2Dと共通化されていないファイルベース固有のベースビューデータブロックは、ファイル2Dのエクステントにはならないから、再生装置におけるシングルバッファをアンダーフローを生じさせない長さに設定されている訳ではない。より小さいサイズ、つまり、再生装置におけるダブルバッファをアンダーフローさせない長さに設定されている。
 またファイルベース固有のベースビューデータブロックは、その先頭セクタアドレスがファイルエントリーにおけるアロケーション記述子に記述されていない。代わりに、ベースビューデータブロックにおける先頭ソースパケットのソースパケットが、メインTSに対応するクリップ情報ファイルのクリップ情報内のエクステントスタートポイント情報によって、ポインティングされている。そのため、ファイルベース固有のベースビューデータブロックの先頭セクタアドレスは、立体視インターリーブドストリームファイルのファイルエントリーにおけるアロケーション記述子と、クリップ情報内のエクステントスタートポイント情報とを用いて導きだす必要がある。
 <ディペンデントビューデータブロック>
 ディペンデントビューデータブロック(D[i])は、サブTSのi番目のデータブロックである。サブTSとは、カレントプレイアイテム情報に対応する拡張ストリーム選択テーブルのストリーム登録列におけるストリームエントリーにおいて、サブパスの基軸として指定されているTSである。D[i]の「i」は、ファイルディペンデントの先頭のデータブロックを0としてインクリメントされるインデックス番号である。
 ディペンデントビューデータブロックは、ファイルディペンデントのエクステントになるものであり、再生装置におけるダブルバッファのアンダーフローを生じさせない長さに設定されている。
 また、記録媒体の連続領域上で、ディペンデントビューデータブロックは、同じ再生時間で再生されるべきベースビューデータブロックより手前に配置される。そのため、立体視インターリーブドストリームファイルの読み出し時にあたって、ディペンデントビューデータブロックは、必ずベースビューデータブロックより先に読み出されることになる。
 ディペンデントビューデータブロックは、ファイル2Dと共通化されていないので、その先頭セクタアドレスが、ファイル2Dのファイルエントリーにおけるアロケーション記述子に記述されていない。代わりに、ディペンデントビューデータブロックにおける先頭ソースパケットのソースパケットが、クリップ情報内のエクステントスタートポイント情報によって、ポインティングされている。そのため、ディペンデントビューデータブロックの先頭セクタアドレスは、ファイル2Dのファイルエントリーにおけるアロケーション記述子と、クリップ情報内のエクステントスタートポイント情報とを用いて導きだす必要がある。
 <エクステントの類型>
 上述したように、ファイル2Dのエクステントには、ファイルベースのエクステントと共通のものと、ファイルベースと共通ではないものとがある。
 ファイル2Dのエクステントが、B[0]、B[1]、B[2]、B[3]2D、B[4]2Dから構成され、ファイルベースのエクステントがB[0]、B[1]、B[2]、B[3]ss、B[4]ssから構成されるものとする。B[0]、B[1]、B[2]は、ファイルベースと共通化されているベースビューデータブロックである。B[3]2D、B[4]2Dは、ファイルベースと共通化されていない、ファイル2D固有のベースビューデータブロックである。
 またB[3]ss、B[4]ssは、ファイル2Dと共通化されていない、ファイルベース固有のベースビューデータブロックである。
 B[3]2Dにおけるデータと、B[3]ssのデータとは、bit-for-bitの同一性を有する。B[4]2Dにおけるデータと、B[4]ssのデータとは、bit-for-bitの同一性を有する。
 これらのファイル2DにおけるデータブロックB[2]、B[3]2D、B[4]2Dは、ロングジャンプを生じさせる場所の直前において、連続長が大きいエクステント(ビッグエクステント)を構成する。ファイル2Dは、ロングジャンプの直前で、ビックエクステントを形成することができるので、立体視インターリーブドストリームファイルを2D出力モードで再生する場合であっても、リードバッファのアンダーフローを危惧する必要はない。
 ファイル2D及びファイルベースは、エクステントが一部異なっているものの、同一性を有しているので、これらファイル2D及びファイルベースを併せて、「ファイル2D/ファイルベース」という。
 図43は、立体視インターリーブドストリームファイル、ファイル2D、ファイルベースの相互関係を示す。第1段目はファイル2Dを示し、第2段目は記録媒体上のデータブロック、第3段目は立体視インターリーブドストリームファイル、第4段目はファイルベース、第5段目はファイルディペンデントを示す。
 第2段目におけるデータブロックは、上述したD[1],B[1],D[2],B[2],D[3],B[3]ss,D[4],B[4]ss,B[3]2D,B[4]2Dである。そして矢印ex1,ex2,ex3,ex4は、データブロックのうち、B[1],B[2],B[3]2D,B[4]2Dがファイル2Dのエクステントを構成しているという帰属関係を示す。
 矢印ex5,ex6は、データブロックのうち、D[1],B[1],D[2],B[2],D[3],B[3]ss,D[4],B[4]ssが立体視インターリーブドストリームファイルのエクステントを構成しているという帰属関係を示す。
 第4段目は、この立体視インターリーブドストリームファイルを構成するデータブロックのうち、B[1],B[2],B[3]ss,B[4]ssがファイルベースのエクステントとなり、第5段目は、立体視インターリーブドストリームファイルを構成するデータブロックのうち、D[1],D[2],D[3],D[4]がファイルディペンデントのエクステントになることを示す。
 図44は、2Dプレイリスト、3Dプレイリストを示す。第1段目は、2Dプレイリスト情報であり、第2段目は、ベーズデータブロック、第3段目は、3Dプレイリスト、第4段目は、ディペンデントビューデータブロックを示す。
 矢印rf1,rf2,rf3は、2Dプレイリスト情報のプレイアイテム情報におけるclip_information_file_nameに記述されているファイル名00001と、拡張子m2tsとを組合せることによる再生経路を示す。この場合、データブロックB[1],B[2],B[3]2Dによってベースビュー側の再生経路が構成される。
 矢印rf4,rf5,rf6,rf7は、3Dプレイリスト情報のプレイアイテム情報により指定される再生経路を示す。この場合、B[1],B[2],B[3]ss,B[4]ssを用いてベースビュー側の再生経路が構成される。
 矢印rf8,rf9,rf10,rf11は、3Dプレイリスト情報のサブプレイアイテム情報により指定される再生経路を示す。この場合、D[1],D[2],D[3],D[4]を用いてディペンデントビュー側の再生経路が構成される。これらのプレイアイテム情報、サブプレイアイテム情報により指定される再生経路を構成するデータブロックは、プレイアイテム情報におけるclip_information_file_nameに記述されているファイル名と、拡張子ssifとを組合せてファイルオープンを行うことで読み出すことができる。
 本図の3Dプレイリストにおけるクリップ情報ファイルネーム情報、2Dプレイリスにおけるクリップ情報ファイルネーム情報は、共通のファイル名を記述しているので、これら3Dプレイリスト、2Dプレイリストを定義するようなプレイリスト情報を記述するにあたっては共通する記述で足りる(符号df1,df2参照)。よって、この3Dプレイリストを実現するようなプレイリスト情報を記述しておけは、再生装置の出力モードが立体視出力モードのときは3Dプレイリストとして機能し、再生装置の出力モードが2D出力モードのときは2Dプレイリストとして機能することになる。本図の2Dプレイリスト、3Dプレイリストは、1つのプレイリスト情報を記述しておくことで、これを解釈する再生装置の出力モードに応じて、2Dプレイリスト、3Dプレイリストとして解釈されるので、オーサリングを行う者の手間を軽減することができる。
 立体視インターリーブドストリームファイルにメインTS、サブTSを格納する場合、2Dプレイリストのプレイアイテム情報におけるclip_information_file_nameは、ファイル2Dのファイル名を記述する。3Dプレイリストのプレイアイテム情報におけるclip_information_file_nameは、ファイルベースのファイル名を記述する。ファイルベースは、仮想的なファイルであり、そのファイル名は、立体視インターリーブドストリームファイルと同じものなので、立体視インターリーブドストリームファイルのファイル名をプレイアイテム情報におけるclip_information_file_nameに記述しておけばよい。拡張ストリーム選択テーブルのストリーム登録情報におけるref_to_subclip_entry_idは、ファイルディペンデントのファイル名を記述する。ファイルディペンデントのファイル名は、立体視インターリーブドストリームファイルの識別番号に、1を加算したものである。
 以上のように、ベースビューデータブロックと、ディペンデントビューデータブロックとを1つの立体視インターリーブドストリームファイルに格納しつつも、立体視インターリーブドストリームファイルを、ファイル2D、ファイルベース、及び、ファイルディペンデントのうち、何れかのファイルとしてオープンすることができるので、デコーダ側では、立体視インターリーブドストリームファイルを通常のストリームファイルと同様に取り扱うことができる。よって、ベースビュービデオストリーム、ディペンデントビュービデオストリームの格納方式に、積極的に立体視インターリーブドストリームファイルを取り入れることができる。
 次にクリップ情報ファイルの詳細な内部構造について説明する。
 図45は、クリップ情報ファイルの内部構成を示す。
 同図(a)は、2Dのクリップ情報ファイル、同図(b)は、3D用のクリップ情報ファイルを示す。これらのクリップ情報ファイルは、『クリップ情報』、『シーケンス情報』、『プログラム情報』、『特徴点情報』を含む。
 『クリップ情報』は、ストリームファイルに格納されているソースパケット列のそれぞれが、どのようなAVクリップであるかをATCシーケンス毎に示す。
 『シーケンス情報』は、ストリームファイルに格納されている1又は複数のソースパケット列がどのようなATCシーケンスであるかを示す情報(ATCシーケンス情報)をATCシーケンス毎に示す構成になっている。ATCシーケンス情報は、ATCの開始点たるソースパケットがどこに存在するかをソースパケット番号で示す情報、STCシーケンス識別子ーATCシーケンス識別子間のオフセットと、複数のSTCシーケンスのそれぞれについてのSTCシーケンス情報とを含む。STCシーケンス情報は、そのSTCシーケンスにおけるPCRを格納しているソースパケットのパケット番号、そのATCシーケンスのうち、どこにSTCシーケンスの開始点たるソースパケットが存在するかを示す情報、STCシーケンスにおける再生開始時刻、再生終了時刻を含む。
 『プログラム情報』は、クリップ情報ファイルによって「AVクリップ」であるとして管理されているメインTS、サブTSのプログラム構成を示す情報であり、AVクリップがどのようなESを多重化したものであるかを示す。具体的には、AVクリップに多重化されているESがどのようなパケット識別子を有しているか、どのような符号化方式であるかを示す。ビデオストリームが、MPEG2-video,MPEG4-AVC等のうち、どの符号化方式を用いて圧縮符号化されているかは、このプログラム情報内に明示される。
 『特徴点情報』は、AVクリップに多重化されている複数のESの特徴点がどこに存在するかを、ES毎に示す情報である。ES毎の特徴点を示す情報が、基本エントリーマップと呼ばれる。
 何が特徴点になるかは、ストリームの種別毎に異なる。ベースビュービデオストリーム、ディペンデントビュービデオストリームの場合は、オープンGOP、クローズドGOPの先頭に位置するIピクチャタイプのビューコンポーネントの先頭を示すアクセスユニットデリッミターが特徴点となる。オーディオストリームの場合は、1秒置き等、一定期間置きに存在するオーディオフレームの先頭位置を示すアクセスユニットデリッミターが特徴点となり、PGストリーム、IGストリームの場合は、グラフィクスストリームのディスプレイセットのうち、表示に必要な全ての機能セグメントを具備したもの(エポックスタートのディスプレイセット、アクジッションポイントのディスプレイセット)の先頭位置を示すアクセスユニットデリッミターが特徴点となる。
 また特徴点をどのように表すかは、ATCシーケンス、STCシーケンスのそれぞれで異なる。ATCシーケンスにおいて特徴点は、ソースパケット番号で表現される。STCシーケンスにおいては、同じ特徴点が、STC時間軸における時点を示すPTSを用いて表現される。
 上記違いに鑑みES毎の基本エントリーマップは、複数のエントリーポイントから構成されている。具体的にいうと、エントリーマップを構成する個々のエントリーポイントは、ATCシーケンスにおける特徴点の所在を示すソースパケット番号が、STCシーケンスにおける特徴点の所在を示すPTSと対応付けられており、その特徴点へのアングル切り替えが可能であるか否かを示すフラグ(is_angle_changeフラグ)と、GOP先頭に存在するイントラピクチャのサイズを示す情報(I_size)とを具備している。マルチアングル区間を構成するインターリーブユニットの先頭に位置するソースパケットは、アングル切り替えが可能になっているため、インターリーブユニットの先頭ソースパケットを差すエントリーポイントのis_angle_changeフラグは、必ずオンに設定される。また、インターリーブユニットの先頭ソースパケットを差すエントリーポイントは、エントリーポイントによって、プレイアイテム情報におけるIn_Timeと対応付けられている。
 ES毎のエントリーマップは、これらストリーム種別毎の特徴点のソースパケット番号を、PTSに対応付けて示しているので、このエントリーマップを参照することで、STCシーケンスにおける任意の時点から、その時点に最も近いES毎の特徴点の所在を示すソースパケット番号を導くことができる。
 以上が2D用のクリップ情報ファイルについての説明である。続いて、3D用のクリップ情報ファイルの詳細について説明する。3D用のクリップ情報ファイルは、図45(b)の内部構成になっていて、通常のクリップ情報(管理情報)である「ファイル2D用のクリップ情報」の他に、ファイルディペンデント用のクリップ情報である「クリップディペンデント情報(ベースビュー管理情報)」、ファイルベース用のクリップ情報である「クリップベース情報(ベースビュー管理情報)」が存在する。これは以下の理由による。上述したように、立体視インターリーブドストリームファイルと、通常のストリームファイルとの混同を避けるため、立体視インターリーブドストリームファイルは、ストリームファイルとは異なるディレクトリに格納される。そのため立体視インターリーブドストリームファイルには、クリップ情報ファイルを対応付けることができない。そこで、クリップディペンデント情報、及び、クリップベース情報は、ファイル2Dに対応するクリップ情報ファイルに格納されることになる。
 2D用のクリップ情報と、クリップベース情報及びクリップディペンデント情報との違いは、クリップベース情報及びクリップディペンデント情報の内部に、エクステントスタートポイント列を含むメタデータが存在する点である。
 同図(b)において、クリップディペンデント情報は、エクステントスタートポイント列を含み、クリップベース情報も、エクステントスタートポイント列を含む。特徴点情報は、基本となるエントリーマップを含み、エクステンションデータは、拡張エントリーマップを含む。
 3D出力モードにおいてクリップ情報ファイルは、クリップベース情報ファイルと、クリップディペンデント情報ファイルとに分割される。
 同図(c)は、クリップベース情報ファイルを示す。本図に示すように、クリップベース情報と、基本エントリーマップとから構成される。クリップベース情報は、エクステントスタートポイント情報テーブルを含む。
 同図(d)は、クリップディペンデント情報ファイルを示す。本図によるとクリップディペンデント情報ファイルは、クリップディペンデント情報と、拡張エントリーマップとを含む。クリップディペンデント情報は、エクステントスタートポイント情報テーブルを含む。
 クリップ情報ファイル用のディレクトリ(CLPIディレクトリ)には、2D出力モードのクリップ情報ファイルが存在している。クリップベース情報ファイルは、3D出力モードにおいて、クリップ情報ファイルから生成され、この2D出力モードのクリップ情報ファイルに格納されているものとして扱われる。
 クリップ情報ファイル用のディレクトリ(CLPIディレクトリ)には、ダミーのクリップ情報ファイルが存在しており、このダミーのクリップ情報ファイルには、ファイル2D/ファイルベースに対応する番号、つまり、ファイル2D/ファイルベースの識別番号に「1」を加算した番号のファイル名が付与されている。クリップディペンデント情報ファイルは、3D出力モードにおいて、ファイル2Dに対応するクリップ情報ファイルから生成され、このダミーのクリップ情報ファイルに格納されているものとして扱われる。ここで、2D出力モードのクリップ情報ファイルが00001.clpiであれば、3D出力モードにおいてクリップベース情報ファイルは、00001.clpiに格納されているものとして扱われ、3D出力モードにおいてクリップディペンデント情報ファイルは、00002.clpiに格納されているものとして扱われる。
 <エクステントスタートポイント>

 エクステントスタートポイントについて説明する。
 上述したように立体視インターリーブドストリームファイルは、2つのクリップAVストリーム(BDAV MPEG2トランスポートストリーム)から構成される。エクステントスタートポイント情報テーブルのペアは、立体視インターリーブドストリームファイルを2つのAVストリームに分割する途を与える。エクステントスタートポイント情報テーブルは、以下のように供給される。
 (1)エクステントスタートポイント情報テーブルは、サブパスタイプ=8のサブパスを含むプレイリストのプレイアイテムによって参照されるクリップ情報に格納されて再生装置に供給される。サブパスタイプ=8のサブパスとは、オンディスクタイプのOut-of-MUXディペンデントビュービデオストリーム再生パスである。
 (2)別のエクステントスタートポイント情報テーブルは、サブパスタイプ=8のサブパスを含むプレイリストのサブプレイアイテムによって参照されるクリップ情報に格納されて再生装置に供給される。
 もしプレイアイテム情報に、マルチアングル区間を構成していて、マルチアングル区間が存在することを示すフラグ(イズマルチアングルフラグ)が「オン」に設定された場合、エクステントスタートポイント情報テーブルのペアは、それぞれアングルID値によって参照されるクリップ情報、及び、サブクリップエントリーID値によって参照されるクリップ情報に格納されて再生装置に供給される。
 クリップ情報ファイルにおけるエクステントスタートポイント情報テーブルのデータ構造について説明する。ext_data_entry()内のエクステンションデータにおけるID1値と、ID2値とは、それぞれ0x0002,0x0004に設定さねればならない。
 エクステントスタートポイント情報テーブルをもつクリップ情報ファイルは、以下の2つの条件を満たす必要がある。
 (a)サブパスタイプ=8のサブパスを含むプレイリストのプレイアイテムによって参照されねばならない。
 (b)サブパスタイプ=8のサブパスにおけるサブプレイアイテムによって参照されねばならない。ここで、サブパスタイプ=8とは、オンディスクタイプのOut-of-MUXディペンデントビュービデオストリーム再生パスをいう。
 図46は、クリップ情報ファイルと、プレイリストと、立体視インターリーブドストリームファイルとの関係を示す。右側は、立体視インターリーブドストリームファイルを示し、左側はクリップ情報ファイルを示す。真ん中は第1段目にファイルベースを示し、第2段目にクリップベース情報ファイル、第3段目に3Dプレイリスト、第4段目にクリップディペンデント情報ファイル、第5段目にファイルディペンデントを示す。
 矢印bk1,bk2は、右側におけるストリームファイルを分割することで、ファイルベース、ファイルディペンデントが得られることを示す。
 左側におけるクリップ情報ファイルは、特徴点情報、エクステンションデータ、クリップベース情報、クリップディペンデント情報を含む。矢印bk3,bk4は、クリップベース情報におけるエクステントスタートポイント情報テーブル、クリップディペンデント情報におけるエクステントスタートポイント情報テーブルが、立体視インターリーブドストリームファイルを分割する途を与えることを模式的に示す。
 図47は、クリップベース情報、クリップディペンデント情報の内部構成を示す図である。本図(a)に示すようにクリップベース情報、クリップディペンデント情報は、対応するAVクリップがどのようなストリームの類型に属するかを示す『クリップストリームタイプ情報』と、対応するAVクリップによって構成されるアプリケーションが、ムービーアプリケーション、タイムベーススライドショーアプリケーション、ブラウザブルスライドショーアプリケーション等、どのような類型に属するかを示す『アプリケーションタイプ』と、再生装置において、ソースパケットがソースパケットデパケッタイザを通過した後、AVクリップにおけるTSパケットがどれだけの転送レートで転送されるかを示す『TSレコーディングレート』と、対応するAVクリップを構成するソースパケット数を示す『ソースパケット数』と、前のAVクリップを構成するATCシーケンスとのATCの差分である『ATC差分値』と、『エクステントスタートポイント情報テーブル』とから構成される。
 同図(b)は、エクステントスタートポイント情報テーブルの内部構成を示す。本図に示すようにエクステントスタートポイント情報テーブルは、number_of_extent_start_pointsと、number_of_extent_start_points個のSPN_start_pointから構成される。
 number_of_extent_start_pointsは、関連するAVストリームファイルに帰属するエクステントの個数を示す。クリップベース情報におけるエクステントスタートポイント情報テーブルと、クリップディペンデント情報におけるエクステントスタートポイント情報テーブルとのペアは、number_of_extent_start_pointsが同じ値になる。
 SPN_extent_start(SPN_extent_start[0]~SPN_extent_start[number_of_extent_start_point])は、number_of_extent_start_point+1個のSPN_extent_startから構成される。SPN_extent_startは、エクステント識別子[extent_id]によって指示され、AVストリームファイルにおけるextent_id番目のエクステントが開始するソースパケットのソースパケット番号を示す32ビットの値である。
 次に、クリップ情報ファイルのエクステンションデータについて説明する。エクステンションデータには、拡張エントリーマップが存在する。拡張エントリーマップは、基本エントリーマップと同様、複数のエントリーポイントから構成されている。具体的にいうと、拡張エントリーマップを構成する個々のエントリーポイントは、ATCシーケンスにおける特徴点の所在を示すソースパケット番号が、STCシーケンスにおける特徴点の所在を示すPTSと対応付けられており、その特徴点へのアングル切り替えが可能であるか否かを示すフラグ(is_angle_changeフラグ)と、GOP先頭に存在するイントラピクチャのサイズを示す情報(I_size)とを具備している。しかし拡張エントリーマップには、以下の制限が、拡張エントリーマップに加えられている点が異なる。
 拡張エントリーマップ内に、MPEG4-MVCビューコンポーネントのためのエントリーが存在する場合、拡張エントリーマップにおけるPTSと同じビューコンポーネントに対応するエントリーが拡張エントリーマップに存在せねばならない。
 アプリケーションタイプが1、8の2つのクリップ情報ファイルであって、立体視インターリーブドストリームファイルに対応するものが存在する場合、以下の条件が満たされねばならない。つまり、アプリケーションタイプ「=1」のクリップ情報(プライマリビデオストリームというアプリケーションタイプのクリップ情報である)のエクステントID値によって指示されるエクステントが、ベースビュービデオストリームのPTS_EP_Startによって参照されるソースパケットをもつ場合、アプリケーションタイプ=8のクリップ情報の同じエクステントID値によって指示されるエクステントは、ディペンデントビューストリームの同じ値のPTS_EP_Startによって参照されるソースパケットを含んでいなければならない。
 図48は、基本エントリーマップと、拡張エントリーマップとを示す図である。本図において、第5段目は、ディペンデントビューデータブロックと、ベースビューデータブロックとの複数の組みを示す。第4段目は、ディペンデントビューデータブロック及びベースビューデータブロックを構成するソースパケット列を示す。第1段目は、PTSにて特定されるビューコンポーネントを示す。そして第2段目は、基本エントリーマップを示し、第3段目は、拡張エントリーマップを示す。
 エクステントID=1のエクステントスタートポイントによって指示されるエクステント[1]が、ベースビュービデオストリームのPTS_EP_Start=t1のエントリーによって参照されるSPN=n1のソースパケット[n1]をもつ場合、アプリケーションタイプ=8のクリップ情報の同じエクステントIDである、エクステントID=1のエクステントスタートポイントによって指示されるエクステント[1]は、ディペンデントビューストリームの同じ値のエントリーである、PTS_EP_Start=t1のエントリーによって参照されるSPN=n11のソースパケット[n11]を含む。
 以上のように、ベースビュービデオストリームのGOP(i)の先頭に位置するソースパケットと、ディペンデントビュービデオストリームのGOP(i)の先頭に位置するソースパケットとが、同一のインターリーブエクステントユニットに属する場合、ベースビュービデオストリームのGOP(i)先頭のソースパケット、及び、ディペンデントビュービデオストリームのGOP(i)の先頭ソースパケットをポインティングするエントリーが、基本エントリーマップ及び拡張エントリーマップの双方に追加される。よってこの場合、基本エントリーマップ及び拡張エントリーマップの双方を用いれば、ベースビュービデオストリームのGOP(i)、及び、ディペンデントビュービデオストリームのGOP(i)の連続読み出しを保障することができる。
 図49は、拡張エントリーマップにおいて許容されないエントリーを示す。
 ベースビュービデオストリームのPTS_EP_Start=xのエントリーによって参照されるSPN=xのソースパケット[x]が、エクステントID=xにて参照されるファイルベースエクステントの先頭に存在していて、PTS_EP_Start=xのエントリーによって参照されるSPN=yのソースパケット[y]が、エクステントID「=j」にて参照されるファイルディペンデントエクステントの先頭に存在しており、iとjとが異なるものとする。
 エクステントID=iのクリップディペンデントのエクステントスタートポイントによって指示されるエクステント[i]は、ベースビュービデオストリームの同じ値のエントリーである、PTS_EP_Start=xのエントリーによって参照されるSPN=xのソースパケットを含んでいるとはいえないから、拡張エントリーマップにはPTS_EP_Start=xのエントリーを追加することはできない。
 ベースビュービデオストリームのGOP(i)の先頭に位置するソースパケットと、ディペンデントビュービデオストリームのGOP(i)の先頭に位置するソースパケットとが、別々のインターリーブエクステントユニットに属する場合、GOP(i)先頭のソースパケットをポインティングするエントリーを、基本エントリーマップ及び拡張エントリーマップの何れにも追加しない。この場合、ランダムアクセスのアクセス先から、ベースビュービデオストリームのGOP(i)、及び、ディペンデントビュービデオストリームのGOP(i)が除外されるので、アクセス性能の低下を防止することができる。
 図50は、プレイアイテムの再生手順を示す。
 ステップS201は、カレント出力モードが3D出力モードであるか否かの判定であり、カレント出力モードが2D出力モードであれば、ステップS203~ステップS206を実行する。
 ステップS203において、カレントプレイアイテムのClip_Information_file_nameに記述されている「XXXXX」と、拡張子「m2ts」とで指定されているストリームファイルをオープンし、ステップS204において、ビデオストリームのパケットIDに対応するエントリーポイントを用いて、カレントPlayItem.In_Time及びカレントPlayItem.Out_TimeをStart_SPN[i]及びEnd_SPN[i]に変換する。
 ステップS205では、パケットID[i]のTSパケット[i]をStart_SPN[i]からEnd_SPN[i]まで読み出すための読出範囲[i]に属するエクステントを特定し、ステップS206において、読出範囲[i]に属するエクステントを連続的に読み出すよう、記録媒体のドライブに指示する。
 カレント出力モードが立体視出力モードであれば、ステップS300~ステップS60のループに移行する。
 ステップS300において、カレントプレイアイテムのClip_Information_file_nameに記述されている「XXXXX」と、拡張子「ssif」とで指定されているストリームファイルをオープンし、ステップS301において、カレントプレイアイテム情報のベースビューインディケータに従い、ベースビュービデオストリームをレフトビュービデオプレーン及びライトビュービデオプレーンのどちらか一方に割り当て、ディペンデントビュービデオストリームを、レフトビュービデオプレーン及びライトビュービデオプレーンの他方に割り当てる。
 ステップS302において、ベースビュービデオストリームに対応する基本エントリーマップを用いて、カレントPlayItem.In_Time及びカレントPlayItem.Out_TimeをStart_SPN[i]及びEnd_SPN[i]に変換する。
 ステップS303では、ディペンデントビュービデオストリームに対応する拡張エントリーマップを用いて、SubPlayItemIn_Time、SubPlayItemOut_TimeをStart_SPN[j]、End_SPN[j]に変換する(ステップS304)。
 ベースビュービデオストリームを構成するTSパケット[i]をStart_SPN[i]からEnd_SPN[i]まで読み出すための読出範囲[i]に属するエクステントを特定し(ステップS305)、パケットID[j]のTSパケット[j]をStart_SPN[j]からEnd_SPN[j]まで読み出すための読出範囲に属するエクステントを特定する(ステップS306)。そしてステップS307において読出範囲[i],[j]に属するエクステントをアドレスの昇順にソートして、ステップS308においてソートされたアドレスを用いて、読出範囲[i],[j]に属するエクステントを連続的に読み出すよう、ドライブに指示する。その後、ソースパケット列が読み出されれば、ステップS309においてベースビューのATCシーケンス、ディペンデントビューのATCシーケンスをそれぞれ復元して、ベースビュー用のPIDフィルタ、ディペンデントビュー用のPIDフィルタに送り込む。
 以上のように本実施形態によれば、上記記録媒体では、メインTSにおけるGOP及びサブTSにおけるGOPを記録媒体に記録するにあたって、拡張エントリーマップにおけるエントリーは、ディペンデントビューピクチャデータであって、同じ再生時刻で再生されるべきベースビューピクチャデータが、基本エントリーマップのエントリーによってポインティングされているもののみをポインティングするようにしている。
 基本エントリーマップのエントリーによってポインティングされているピクチャデータと、拡張エントリーマップのエントリーによってポインティングされているピクチャデータとが、同じエクステントのペアに存在するので、基本エントリーマップ、拡張エントリーマップを手掛かりにしてエクステントをアクセスすれば、ベースビューのGOP、ディペンデントビューのGOPをまとめて再生することができる。これにより、再生開始の遅延を解消することができる。
 (第7実施形態) 
 本実施形態は、立体視スライドショーのアプリケーションを実現する改良に関する。 
 スライドショーは、静止画から構成されていることから、映画よりも、高精度なランダムアクセスが要求される。高精度なランダムアクセスとは、1枚先、10枚先というように、「一枚のピクチャ」をアクセス単位にしたランダムアクセスである。ビデオストリームのエントリーマップは、1秒間隔というように、1秒程度の時間精度をもち、この1秒という時間間隔には、20~30枚のピクチャが包含され得る。そのため、上述したエントリーマップを用いてピクチャ精度でのランダムアクセスを実現しようとすると、エントリーマップの参照だけでは足りず、ストリームに対する解析が必要になる。 
 ここでの「ストリームの解析」とは、エントリーマップに記載されているエントリー位置から、ピクチャのヘッダを取り出し、このヘッダからピクチャのサイズを読み出して、そのサイズに基づき、次のピクチャの記録位置を特定するという処理を、何回も繰り返し、所望のピクチャの記録位置まで辿りつくというものである。かかる解析は、ストリームに対する高頻度のアクセスを伴うものなので、エントリー位置から3枚先、5枚先のピクチャを読み出すだけでも、相当の時間がかかる。ピクチャ精度のランダムアクセスに相当の時間がかかるため、ユーザ操作に即応して、前後のピクチャを表示させたり、10枚前後のピクチャを表示させうる機能をスライドショーに追加しようとしても、制作者サイドが期待するような、使い勝手にならない。 
 スライドショーに対するエントリーポイントは、ビデオストリームにおけるピクチャ毎のエントリーアドレスを再生時刻に対応づけて示している。そして、プレイリストマーク情報は、個々のピクチャデータを指定するようにしている。 
 このように個々のピクチャデータがエントリーポイントと、プレイリストマーク情報とによって指示されれば、1枚先、3枚先というように、ピクチャ精度のランダムアクセスが要求されたとしても、ビデオストリームの解析を伴うことなく、ピクチャ精度のランダムアクセスを実現することができる。 
 時間軸上の任意の時点からビデオストリーム上の記録位置を導くことができ、また、1枚先、3枚先というピクチャ精度でのランダムアクセスを実現することができるので、ユーザ操作に即応して、前後のピクチャを表示させたり、数枚前後のピクチャを表示させうるアプリケーションを制作することができる。 
 これまでの実施形態において、立体視再生可能なビデオストリームは、インターリーブ形式にしていたが、このようにインターリーブ形式にすると、スライドショーを構成するピクチャデータは、L-LーL、R-RーRというような順序で配列されることになる。このような順序の全てのピクチャデータが、スライドショーを構成しており、個々のピクチャデータがエントリーポイントによって指示されれば、エントリーポイントは、00:00→00:01→00:02、00:00→00:01→00:02というような順序で、配列されることになる。 
 エントリーマップにおけるエントリーポイントは、その再生時刻が昇順になるように並ばなければならず、エントリーマップに対する制約に違反する。そこで、AVクリップのアプリケーションタイプがスライドショーである場合の特有の制限として、レフトビューストリームを構成するピクチャデータ、及び、ライトビューストリームを構成するピクチャデータを1TS化することにする。このように、1TS化すれば、レフトビューストリームを構成するピクチャデータ、及び、ライトビューストリームを構成するピクチャデータをL-R-L-R-L-Rという順序で配列することができ、そして、これらのピクチャデータのエントリーポイントについては、そのエントリーポイントにおける再生時刻が、00:00→00:00→00:01→00:01→00:02→00:02→00:03、00:03になるように配列することができる。 
 1枚のスライドをなすピクチャデータを時間順序に配列し、その上で多重化を行うことで、多重化されたピクチャデータのかたまりが、記録媒体の連続領域に記録されることになる。 
 ベースビュー静止画データ、ディペンデントビュー静止画データが多重化されたトランスポートストリームにおいて、ベースビュー静止画であるピクチャデータの先頭であるアクセスユニットデリミターは、ディペンデントビュー静止画であるピクチャデータの先頭より先行しており、且つ、ディペンデントビュー静止画であるピクチャデータの後尾は、前記ベースビュー静止画の次に再生されるべきベースビュー静止画のピクチャデータにおける先頭を表すアクセスユニットデリミターより先行している。そして、これらベースビュー静止画のピクチャデータの先頭であるアクセスユニットデリミターを格納したソースパケット、ディペンデントビュー静止画のピクチャデータの先頭であるアクセスユニットデリミターを格納したソースパケットは、自身以外のピクチャデータを含んでいない。つまり、ベースビュー静止画を表すピクチャデータ、ディペンデントビュー静止画を表すピクチャデータは、完結した状態で、ベースビュー-ディペンデントビュー-ベースビュー-ディペンデントビューの順に、記録領域に並んでいる。 
 レフトビューのピクチャデータ、ライトビューのピクチャデータを多重化しているのは以下の理由による。ピクチャデータを一個のエクステントとして記録媒体に記録しようとすると、最小エクステント長を満たせない。最小エクステント長を満たすため、複数のピクチャデータを上述したように時間順序に配置した上多重化して、多重化されたTSを記録する。こうすることで、最小エクステント長を満たすように、TSを分割して記録することが可能になる。 
 対照的に、サイズが比較的小さいため、1枚の静止画を表示するためのデータを固めて配置した方が、読み取り効率が上がることになる。  
 以上がスライドショーを構成する場合におけるストリームファイルの改良についての説明である。続いて、エントリーマップにおける改良の詳細について説明する。
 拡張エントリーマップのエントリーは、ディペンデントビューピクチャデータであって、同じ再生時刻で再生されるべきベースビューピクチャデータが、基本エントリーマップのエントリーによってポインティングされているもののみをポインティングする。スライドショーでは、ベースビュービデオストリームにおける全てのピクチャを指示するようエントリーマップを設定するので、上述した制約により、ディペンデントビュービデオストリームにおける全てのピクチャが、拡張エントリーマップによって指示されることになる。
 こうして、ベースビュービデオストリームにおけるピクチャデータの再生時点が、エントリー時刻として、基本エントリーマップにより指定され、ディペンデントビュービデオストリームにおけるピクチャデータの再生時点が、エントリー時刻として、拡張エントリーマップにより指定されるので、ベースビュービデオストリームを構成するピクチャデータ、ディペンデントビュービデオストリームを構成するピクチャデータのうち、どれかをランダムアクセスのアクセス先に選ぶ場合でも、先行するIDRピクチャを経由するという迂回のオーバーヘッドが発生することはない。 
 以上のように本実施形態によれば、ストリーム解析を行うことなく、任意のL画像のピクチャデータ、R画像のピクチャデータの組みを読み出して、再生に供することができるので、ユーザのスキップ操作に従い、任意のピクチャデータをランダムアクセスすることができるスライドショーアプリケーションを容易に実現することができる。 
 (第8実施形態)
 本実施形態は、立体視インターリーブドストリームファイルを構成するデータブロックから、ATCシーケンスを復元するための改良に関する。図51は、立体視インターリーブドストリームファイル構成するデータブロックからATCシーケンスがどのように復元されるかを示す。
 第4段目は、立体視インターリーブドストリームファイルを構成する複数のデータブロックを示し、第3段目は、メインTS、サブTSに多重化されるソースパケット列を示す。
 第2段目は、ディペンデントビューを構成するSTCシーケンス2、エントリーマップ、ディペンデントビューを構成するATCシーケンス2の組みを示し、第1段目は、ベースビューを構成するSTCシーケンス1、エントリーマップ、ベースビューを構成するATCシーケンス1の組みを示す。第3段目から第2段目、第1段目への矢印は、立体視インターリーブドストリームファイルにインターリーブ化されている2つのTS(メインTS、サブTS)のデータブロックからATCシーケンス1、ATCシーケンス2が復元されることを模式的に示す。これらのATCシーケンスは、クリップ情報におけるエントリーマップによって、STCシーケンスとの対応がとられる。
 以上が本実施形態に係る記録媒体についての説明である。続いて、再生装置の詳細について説明する。
 本実施形態における再生装置の読出部は、2つの記録媒体からのソースパケット入力を受け付ける構成になっており、2つの記録媒体のそれぞれをアクセスするための2つのドライブ、これら2つのドライブから入力されたソースパケットを一旦格納してデコーダに出力するための2つのリードバッファを含む。そして、2つのドライブと、2つのリードバッファとの間に、ATCシーケンス復元部が存在する。このATCシーケンス復元部は、1つの記録媒体から読み出されたインターリーブドストリームファイル内のソースパケットから、ベースビューを構成するATCシーケンスと、ディペンデントビューストリームを構成するATCシーケンスとを分離し、2つのリードバッファのそれぞれに書き込むものである。こうすることで再生装置は、ベースビュービデオストリームを構成するATCシーケンス、ディペンデントビューストリームを構成するATCシーケンスがそれぞれ別々の記録媒体から読み出されたかのように処理することができる。
  図52は、ATCシーケンスの復元がどのように行われるかを示す図である。同図(a)は、ATCシーケンス復元部を具備した読出部の内部構成を示す。上述したように、2つのドライブと、2つのリードバッファとの間にATCシーケンス復元部が介在している。図中の矢印B0は、1つのドライブからのソースパケット入力を象徴的に示したものであり、矢印B1は、ベースビュービデオストリームを構成するATCシーケンス1の書き込み、矢印D1は、ディペンデントビューストリームを構成するATCシーケンス2の書き込みを模式的に示す。
 図52(b)は、ATCシーケンス復元部によって得られた2つのATCシーケンスが、どのように取り扱われるかを示す。図中の真ん中に多重分離部内に存在するPIDフィルタを示す。左側は、ATCシーケンス復元部によって得られた2つのATCシーケンスを示す。右側は、これらの2つのATCシーケンスを多重分離することで得られるベースビュービデオストリーム、ディペンデントビュービデオストリーム、左目PGストリーム、右目PGストリーム、ベースビューIGストリーム、ディペンデントビューIGストリームを示す。
 図53は、ベースビュークリップ情報におけるエクステントスタートポイント情報の一例と、ディペンデントビュークリップ情報におけるエクステントスタートポイント情報の一例を示す。(a)は、ベースビュークリップ情報のエクステントスタートポイント情報と、ディペンデントビュークリップ情報のエクステントスタートポイント情報とを示す。   
 (b)は、ATCシーケンス1を構成するベースビューデータブロックB[0],B[1],B[2]・・・・B[n]、ATCシーケンス2を構成するディペンデントビューデータブロックD[0],D[1],D[2]・・・・D[n]、を示す。(c)は、ディペンデントビューデータブロックのソースパケット数、ベースビューデータブロックのソースパケット数を示す。
 (d)は、立体視インターリーブドストリームファイルに包含される複数のデータブロックを示す。
 同図(b)に示すように、ATCシーケンス2が、ディペンデントビューデータブロックD[0],D[1],D[2]・・・・D[n]から構成されるとすると、ATCシーケンス2における、ディペンデントビューデータブロックD[0],D[1],D[2]・・・・D[n]の相対ソースパケット数である0,b1,b2,b3,b4・・・bnがファイルディペンデントのエクステントスタートポイント情報のSPN_extent_startに記載される。
 ATCシーケンス1が、ベースビューデータブロックB[0],B[1],B[2]・・・・B[n]によって構成されるとすると、ベースビューデータブロックの相対ソースパケット数である0,a1,a2,a3,a4・・・anが、ファイルベースのエクステントスタートポイント情報のSPN_extent_startに記載される。
 同図(c)は、立体視インターリーブドストリームファイルにおける任意のディペンデントビューデータブロックD[x]、任意のベースビューデータブロックb[x]のソースパケット数である。ディペンデントビューデータブロックD[x]の先頭ソースパケット番号がbxであり、ディペンデントビューデータブロックD[x+1]の先頭ソースパケット番号がbx+1である場合、D[x]を構成するソースパケット数は、bx+1-bxになる。
 同じく、ベースビューデータブロックB[x]の先頭ソースパケット番号がaxであり、ベースビューデータブロックB[x+1]の先頭ソースパケット番号がax+1である場合、B[n]を構成するソースパケット数は、ax+1-axになる。
 立体視インターリーブドストリームファイルにおける最後のベースビューデータブロックB[n]の先頭ソースパケット番号がanであり、ATCシーケンス1におけるソースパケットの個数がnumber_of_source_packet1である場合、B[n]を構成するソースパケット数は、number_of_source_packet1-anになる。
 立体視インターリーブドストリームファイルにおける最後のベースビューデータブロックD[n]の先頭ソースパケット番号がbnであり、ATCシーケンス2におけるソースパケットの個数がnumber_of_source_packet2である場合、D[n]を構成するソースパケット数は、number_of_source_packet2-bnになる。
 そうすると、ディペンデントビューデータブロックの先頭ソースパケット番号、ベースビューデータブロックの先頭ソースパケット番号は、(d)に示す通りになる。
 立体視インターリーブドストリームファイルにおいて、D[0]の先頭SPNは「0」、B[0]の先頭SPNは「b1」になる。
 D[1]の先頭SPNについては、先行するD[0]のソースパケット数b1と、B[0]のソースパケット数a1との和になるから「b1+a1」になる。
 B[1]の先頭SPNについては、先行するD[0]のソースパケット数b1と、B[0]のソースパケット数a1と、先行するD[1]のソースパケット数b2-b1との和になるから「b2+a1(=b1+a1+b2-b1)」になる。
 D[2]の先頭SPNについては、先行するD[0]のソースパケット数b1と、B[0]のソースパケット数a1と、先行するD[1]のソースパケット数b2-b1と、B[1]のソースパケット数a2-a1との和になるから「b2+a2(=b1+a1+b2-b1+a2-a1)」になる。
 B[2]の先頭SPNについては、先行するD[0]のソースパケット数b1と、B[0]のソースパケット数a1と、先行するD[1]のソースパケット数b2-b1と、B[1]のソースパケット数a2-a1と、D[2]のソースパケット数b3-b2との和になるから「b3+a2(=b1+a1+b2-b1+a2-a1+b3-b2)」になる。
  図54は、ATCシーケンス1、2における任意のデータブロックのソースパケット番号を説明するための図である。
   同図(a)のATCシーケンス2において、bxのソースパケット番号に存在するD[x]の立体視インターリーブドストリームファイルにおけるソースパケット番号を求める場合を考える。この場合、D[x]の先頭ソースパケット番号は、D[0],B[0],D[1],B[1],D[2],B[2]・・・・D[x-1],B[x-1]の相対ソースパケット数のソースパケット数の総和になるから、同図(b)に示すように「bx+ax」になる。
 同図(a)のATCシーケンス1において、axのソースパケット番号に存在するB[x]の立体視インターリーブドストリームファイルにおけるソースパケット番号を求める場合を考える。この場合、同図(b)に示すように、B[x]の先頭ソースパケット番号は、D[0],B[0],D[1],B[1],D[2],B[2]・・・・D[x-1],B[x-1],D[x]の相対ソースパケット数のソースパケット数の総和になるから、「bx+1+ax」になる。
 同図(c)は、上記ベースビューデータブロックをエクステントとするファイルベースと、上記ディペンデントビューデータブロックをエクステントとするファイルディペンデントとを示す。
 B[x]にあたるファイルベースのエクステントであるEXT1[x]の先頭LBN及び連続長、及び、D[x]にあたるファイルディペンデントのエクステントであるEXT2[x]の先頭LBN及び連続長は以下のように求められる。
 D[x]の先頭ソースパケット番号からLBNを求めるには、((bx+ax)*192/2048)という計算でソースパケットをLBNに変換する。同じく、B[x]の先頭ソースパケット番号からLBNを求めるには、((bx+1+ax)*192/2048)という計算でソースパケットをLBNに変換する。ここで「192」は、ソースパケットサイズをバイト数で表したものであり、「2048」は、セクタサイズ(論理ブロックサイズ)をバイト数で表したものである。これらのLBNに最も近い、立体視インターリーブドストリームファイルのエクステントのLBNは、上記変換によって得られたLBNを、関数SSIF_LBN(file_offset) の引数であるfile_offsetに用いることで算出される。関数SSIF_LBNは、file_offsetから、SSIFのアロケーション既述子をたどって、file_offsetに該当するLBNを返す関数である。
 こうすることで、EXT2[x]の先頭LBNは、SSIF_LBN((bx+ax)*192/2048)になり、EXT1[x]の先頭LBNは、SSIF_LBN((bx+1+ax)*192/2048)になる。
 一方、EXT2[x]の連続長は、(SSIF_LBN((bx+1+ax)*192/2048)-SSIF_LBN((bx+ax)*192/2048))になる。EXT1[x]の連続長は、(SSIF_LBN((bx+1+ax+1)*192/2048)-SSIF_LBN((bx+1+ax)*192/2048))になる。これらの先頭LBN及び連続長を示すファイルエントリーをメモリ上で生成すれば、ファイルベース、ファイルディペンデントを仮想的に得ることができる。
 これらの2つのPIDフィルタによる多重分離は、第1実施形態に示した基本ストリーム選択テーブル、拡張ストリーム選択テーブルによる。このATCシーケンス復元部は、図55の処理をハードウェア資源に実行させるプログラムを作成することで実現される。図55は、ATCシーケンス復元手順を示す。
 ステップS91は、ベースビュー用のATCシーケンスをATCシーケンス1とし、ディペンデントビュー用のATCシーケンスをATCシーケンス2とする。ステップS92では、変数xを1に初期化する。この変数xは、ディペンデントビューデータブロック、ベースビューデータブロックを指示する。以降、ステップS94~ステップS96のループを繰り返す。
 変数xによって指示されるソースパケット番号bxが、ベースビューデータブロックの最後の数値nによって指示されるソースパケット番号bnであるか否かを判定し(ステップS93)、もしそうでなければ、ソースパケット番号bx+axによって指示されるソースパケット(bx+ax)から、bx+1+axによって指示されるソースパケット(bx+1+ax)の直前のパケットまでをATCシーケンス2に追加し(ステップS94)、ソースパケット(bx+1+ax)からソースパケット(bx+1+ax+1)の直前のパケットまでをATCシーケンス1に追加して(ステップS95)、変数xをインクリメントする(ステップS96)という処理を、ステップS93がYesと判定されるまで繰り返す。
 ステップS93がYesと判定されれば、ソースパケット番号bnから(number_of_source_packet2-bn)個のソースパケットをATCシーケンス2に追加し(ステップS97)、ソースパケット番号anから(number_of_source_packet1-an)個のソースパケットをATCシーケンス1に追加する(ステップS98)。
 以上のように、ATCシーケンス1、2が復元されれば、ベースビューデータブロックの先頭LBN及び連続長をセクタ数で示すファイルエントリーをメモリ上で生成して、ファイルベースを仮想的にオープンする(ステップS99)。同様に、ディペンデントビューデータブロックの先頭LBN及び連続長をセクタ数で示すファイルエントリーをメモリ上で生成して、ファイルディペンデントを仮想的にオープンする(ステップS100)。
 <ファイルベースをオープンすることの技術的意義>
 ここで任意の時点からのランダムアクセスを行う際、ストリームファイル内のセクタサーチを行う必要がある。セクタサーチとは、任意の時点からのランダムアクセスを行う際、その時点に対応するソースパケットのソースパケット番号を特定して、そのソースパケット番号のソースパケットを含むセクタから、ファイルリードを行うという処理である。
 立体視インターリーブドストリームファイルは、一個のエクステントが大きいため、セクタサーチの探索範囲が広く、任意の時点からのランダムアクセスが命じられた際、読み出し先となるセクタの特定に、かなりの処理時間を要することがある。
 これは、インターリーブストリームファイルは、ベースビュービデオストリームを構成するデータブロック、ディペンデントビューストリームを構成するデータブロックがインターリーブ配置されて一本の長いエクステントを構成しており、インターリーブストリームファイルのファイルエントリーのアロケーション記述子は、その長いエクステントの先頭アドレスを示しているに過ぎないとの理由による。
 これに対してファイルベースは、長さが短い複数のエクステントから構成されており、個々のエクステントの先頭アドレスがアロケーション記述子に示されているため、セクタサーチにあたっての探索範囲が狭く、任意の時点からのランダムアクセスが命じられた際、読み出し先となるセクタの特定が、短時間で完了する。
 つまり、ベースビュービデオストリームを構成するデータブロックが、ファイルベースのエクステントとして管理されており、データブロックの先頭アドレスが、ファイルベースに対応するファイルエントリーにおけるアロケーション記述子に明記されているので、ランダムアクセス位置を包含しているエクステントの先頭アドレスから、セクタサーチを開始すれば、早期にランダムアクセス位置となるソースパケットを含むセクタにまで到達することができる。
 このようにベースビュービデオストリームを構成するデータブロックを、ファイルベースのエクステントとして管理し、各エクステントの先頭アドレス及び連続長を、ファイルベースについてのファイルエントリーのアロケーション記述子に示しておくことにより、ベースビュービデオストリームにおける任意の時点からのランダムアクセスが高速になる。
 具体的なセクタサーチの手順は以下のものになる。ベースビュービデオストリームに対応するエントリーマップを用いることにより、任意の時点に対応するランダムアクセス位置であるソースパケット番号を導き出す。
 次に、ベースビュービデオストリームに対応するクリップ情報内のエクステントスタートポインティング情報を用いることにより、ランダムアクセス位置となるソースパケット番号を包含しているエクステントがどれであるかを特定する。
 更に、ファイルベースに対応するファイルエントリーのアロケーション記述子を参照すれば、ランダムアクセス位置となるソースパケット番号を包含しているエクステントの先頭セクタアドレスを特定することができる。その先頭セクタアドレスにファイルポインタを設定して、ファイルリードを行い、読み出されたソースパケットに対するパケット解析を実行することで、ランダムアクセス位置となるソースパケット番号のソースパケットを特定する。そして特定されたソースパケット番号のソースパケットを読み出す。これにより、メインTSに対するランダムアクセスが効率的に実行されることになる。サブTSも同様である。
 以上のように本実施形態によれば、エクステントスタートポイント情報に基づき、インターリーブドストリームファイルにおけるベースビュービデオストリームのエクステント、ディペンデントビュービデオストリームのエクステントをエクステントスタートポイント情報に基づき整列した上で多重分離部、デコーダに供するので、デコーダやプログラムは、ベースビュービデオストリームを格納したファイルベースディペンデントビュービデオストリームを格納したファイルディペンデントという2つのファイルが記録媒体に仮想的に存在するものとして扱うことができる。
 立体視のためのベースビュービデオストリーム、ディペンデントビュービデオストリームをインターリーブストリームファイルとして記録媒体しつつも、ベースビュービデオストリーム及びディペンデントビュービデオストリームの単体アクセスを可能にせしめるので、再生装置の処理の効率性を向上させることができる。
 (第9実施形態)
 本実施形態では、これまでの実施形態に示した記録媒体の作り方、つまり、記録方法の形態について説明する。
 本実施形態に係る記録方法は、ストリームファイルであるAVファイル、ストリームファイル以外のファイルである非AVファイルをリアルタイムに作成して、記録媒体におけるAVデータ記録領域、非AVデータ記録領域にダイレクトに書き込むというリアルタイムレコーディングとして実現することができる。それだけではなく、ボリューム領域に記録すべきビットストリームの全体像を事前に作成して、このビットストリームを元に原盤ディスクを作成し、この原盤ディスクをプレスすることで、光ディスクを量産するというプレフォーマットレコーディングも含む。本実施形態に係る記録媒体は、リアルタイムレコーディングによる記録方法、及び、プレフォーマットレコーディングによる記録方法によっても特定されるものでもある。
 リアルタイムレコーディング技術により記録方法を実現する場合、当該記録方法を実行する記録装置は、リアルタイムにAVクリップを作成して、BD-RE又はBD-R、ハードディスク、半導体メモリカードに記録する。
 この場合AVクリップは、アナログ入力信号を記録装置がリアルタイムエンコードすることにより得られたTSであってもよいし、記録装置がデジタル入力したTSをパーシャル化することで得られるTSであってもよい。リアルタイムレコーディングを実行する記録装置は、ビデオ信号をエンコードしてビデオストリームを得るビデオエンコーダと、オーディオ信号をエンコードしてオーディオストリームを得るオーディオエンコーダと、ビデオストリーム、オーディオストリーム等を多重化して、MPEG2-TSを得るマルチプレクサと、MPEG2-TS形式のデジタルストリームを構成するTSパケットをソースパケットに変換するソースパケッタイザとを備え、ソースパケット形式に変換されたMPEG2デジタルストリームをAVクリップファイルに格納してBD-RE,BD-R等に書き込む。デジタルストリームの書き込むと共に、記録装置の制御部は、メモリ上でクリップ情報やプレイリスト情報を生成する処理を行う。具体的には、ユーザによって録画処理が要求された際、制御部は、AVクリップのストリームファイル及びクリップ情報ファイルをBD-RE,BD-R上にクリエイトする。
 そして、装置外部から入力されるTSからビデオストリームにおけるGOPの先頭位置が検出されるか、エンコーダによってビデオストリームのGOPが生成されれば、記録装置の制御部は、このGOPにおいて、先頭に位置するイントラピクチャのPTSと、このGOPの先頭部分を格納したソースパケットのパケット番号とを取得して、このPTS及びパケット番号の組みを、EP_PTSエントリー及びEP_SPNエントリーの組みとして、クリップ情報ファイルのエントリーマップに追記する。以降、GOPが生成される度に、EP_PTSエントリー及びEP_SPNエントリーの組みを、クリップ情報ファイルのエントリーマップに追記してゆく。この際、GOPの先頭がIDRピクチャである場合は、「オン」に設定されたis_angle_changeフラグをEP_PTSエントリー及びEP_SPNエントリーの組みに追加する。GOPの先頭がIDRピクチャでなければ場合は、「オフ」に設定されたis_angle_changeフラグをEP_PTSエントリー及びEP_SPNエントリーの組みに追加する。
 また、クリップ情報ファイルにおけるストリームの属性情報については、記録されるべきストリームの属性に従い設定する。以上のようにしてAVクリップ、クリップ情報が生成されてBD-RE,BD-Rに書き込まれれば、このクリップ情報内の基本エントリーマップを介して、再生経路を定義するプレイリスト情報を生成し、BD-RE,BD-Rに書き込む。このような処理を、リアルタイムレコーディング技術において実行することで、AVクリップ-クリップ情報-プレイリスト情報という階層構造をBD-RE,BD-R上に得ることができる。
 以上がリアルタイムレコーディングによる記録方法を実行する記録装置である。続いて、プレフォーマットレコーディングによる記録方法について説明する。
 プレフォーマットレコーディングによる記録方法は、オーサリング行程を含むような光ディスクの製造方法となる。
 図56は、光ディスクの記録方法を示す。同図(a)は、プレフォーマットレコーディングによる記録方法を示すフローチャートであり光ディスクの製造方法の処理手順を示す。光ディスクの製造方法は、オーサリングステップ、署名ステップ、メディア鍵取得ステップ、メディア鍵暗号ステップ、物理フォーマットステップ、識別子埋め込みステップ、マスタリングステップ、レプリケーションステップを含む。
 オーサリングステップS201は、光ディスクのボリューム領域の全体像を表すビットストリームを作成する。
 署名ステップS202は、光ディスクの製造にあたってAACS LAに対して署名要求を行う。具体的には、ビットストリームの一ステップを抜き出し、AACS LAに送付する。ここでAACS LAは、次世代のデジタル家電機器における著作物保護技術に関するライセンスを管理する団体である。オーサリング装置を用いて光ディスクのオーサリングを行うオーサリングサイト、及び、マスタリング装置を用いてマスタリングを実行するマスタリングサイトは、AACS LAよりライセンスの提供を受ける。また、メディア鍵、無効化情報を管理する。そして、AACS LAより署名されたビットストリームの一部分を取得する。
 メディア鍵取得ステップS203は、AACS LAからメディア鍵を取得する。メディア鍵は、常に固有のものが使用されるわけではなく、これまで製造された光ディスクの枚数が一定枚数まで達すると新しいものに更新される。メディア鍵を更新することにより、特定のメーカーや機器を排除することができ、万が一暗号鍵が破られたとしても、無効化情報を用いることでそれ自体を無効化することができる。
 メディア鍵暗号化ステップS204は、メディア鍵取得ステップにより取得したメディア鍵を用いて、ビットストリームの暗号化に用いた鍵を暗号化する。
 物理フォーマットステップS205は、ビットストリームに対して物理フォーマットを実行する。
 識別子埋込みステップS206は、光ディスクに収録されるビットストリームに、一般の機器では検出することができない一意の識別子を電子透かしとして埋め込む。これにより、不正なマスタリングによる海賊版の量産を防ぐことができる。
 マスタリングステップS207は、光ディスクの原盤を作製する。まず、ガラス基板上にフォトレジスト層を形成し、当該フォトレジスト層に対して、所望するグルーブやピットに対応するようにレーザ光を照射して露光し、現像処理を施す。このグルーブやピットは、8ー16変調されたビットストリームの各ビット値を表すものである。その後、このようなレーザカッティングによってグルーブやピットに対応した凹凸が形成されたフォトレジストを元にして、光ディスクの原盤を作製する。
 レプリケーションステップS208は、光ディスクの原盤を用いて、その複製である光ディスクを大量生産する。
 同図(b)は、光ディスクを大量生産するのではなく、一般ユーザがPCを使って、BD-R,BD-RE等に、これまでの実施形態で述べた各種ファイルを記録する場合のプリフォーマットレコーディングによる記録方法の処理手順を示す。同図(a)と比較すると、同図(b)による記録方法では、物理フォーマット(ステッステップS205)、マスタリング(ステップS207)、レプリケーション(ステップS208)が存在せず、代わりに、各ファイルの書き込み行程(ステップS209)が存在する。
 次にオーサリング行程について説明する。
 図57は、オーサリング行程の処理手順を示すフローチャートである。
 ステップS101において、メインTS及びサブTSについてのリールセットを定義する。「リール」とは、エレメンタリストリームの素材となるデータを格納したファイルであり、オーサリングシステムでは、ローカルネットワーク上のドライブ上に存在する。3Dカメラによって撮影されたL画像やR画像、撮影時に録音された音声や、その後のアフレコで収録された音声、言語毎の字幕、メニューをデータ化したものが、これらリールに該当する。「リールセット」とは、1つのTSに多重化されるべきエレメンタリストリームの集合を表した、素材ファイルへのリンク群である。ここでは、メインTS、サブTSのそれぞれについてリールセットが定義される。
 ステップS102において、プレイアイテム、サブプレイアイテムの原型を定義し、プレイアイテム、サブプレイアイテムの再生順序を定義することでメインパス、サブパスの原型を定義する。プレイアイテムの原型の定義は、平面視出力モードにおいて、そのプレイアイテムで再生を許可すべきリールの指定と、In_Time/Out_Timeとの指定を、GUIを通じて受け付けることでなされる。サブプレイアイテムの原型の定義は、立体視出力モードにおいて、そのサブプレイアイテムに対応するプレイアイテムで再生を許可すべきリールの指定と、In_Time/Out_Timeとの指定を、GUIを通じて受け付けることでなされる。
 再生を許可すべきリールの指定は、リールセットにおける素材ファイルのリンクのうち、再生を許可すべきものをチェックボックスでチェックするというGUIで構成される。この際、各リールに対応付けて数値入力欄を表示する。そして、この数値入力欄によって、各リールについての優先順位を受け付け、これをリールに対応する優先順位とする。以上の再生を許可すべきリールの設定と、優先順位の設定とからストリーム選択テーブル、拡張ストリーム選択テーブルが生成されることになる。
 In_Time及びOut_Timeの指定は、GUI上で、ベースビュービデオストリーム又はディペンデントビュービデオストリームの時間軸を図形化して表示し、図形化された時間軸において、スライドバーを移動させて、そのスライドバーの位置設定をユーザから受け付けるという処理を記録装置が実行することでなされる。
 プレイアイテム、サブプレイアイテムの再生順序の定義は、GUI上でプレイアイテムのIn_Timeにおけるピクチャをサムネール化して表示し、このサムネールに対して、再生順序を設定するという操作を記録装置がユーザから受け付けることでなされる。
 ステップS103では、リールセットにて指定された素材ファイルをエンコードすることにより、複数のエレメンタリストリームを得る。これらの複数のエレメンタリストリームは、ベースビュービデオストリーム、ディペンデントビュービデオストリームと、これらベースビュービデオストリーム、ディペンデントビュービデオストリームと多重化されるべきオーディオストリーム、PGストリーム、IGストリームがある。
 ステップS104では、エンコードで得られたエレメンタリストリームのうち、ベースビュービデオストリームと同じリールセットに属する同じするものを、当該ベースビュービデオストリームと多重化することで、1つのメインTSを得る。
 ステップS105では、エンコードで得られたエレメンタリストリームのうち、ディペンデントビュービデオストリームと同じリールセットに属するものを、当該ディペンデントビュービデオストリームと多重化することで、1つのサブTSを得る。
 ステップS106では、エンコード及び多重化時に設定されたパラメータを元に、クリップ情報ファイルの原型を生成する。
 ステップS107では、プレイアイテムの原型を元にプレイアイテム情報、サブプレイアイテム情報を生成し、これらのプレイアイテム情報、サブプレイアイテム情報に再生順序を定義することで、メインパス情報、サブパス情報を生成して、プレイリスト情報を定義する。
 プレイアイテム情報の作成においては、メインTSに多重化されたエレメンタリストリームのうち、プレイアイテムの基本構造において平面視出力モードで再生すべきと規定されたものを再生可能に設定すべく、プレイアイテム情報内にストリーム選択テーブルを生成する。また、ベースビュービデオストリームにおける再生区間を規定するため、上述の編集作業で規定されたIn_Time、Out_Timeをプレイアイテム情報に記載する。
 サブプレイアイテム情報の作成においては、サブTSに多重化されたエレメンタリストリームのうち、プレイアイテムの基本構造において立体視出力モードで再生すべきと規定されたものを再生可能に設定すべく、プレイリスト情報のエクステンションデータ内に拡張ストリーム選択テーブルを生成する。プレイアイテム情報、サブプレイアイテム情報は、クリップ情報ファイル内の情報を元に定義されるからクリップ情報ファイルの原型を元にして設定される。
 ステップS108では、メインTS、サブTS、クリップ情報ファイルの原型、プレイリスト情報の原型を、所定のアプリケーションフォーマットに従ったディレクトリーファイル群に変換する。
 以上の過程を得て、メインTS、サブTS、クリップ情報、プレイアイテム情報、サブプレイアイテム情報が生成されれば、メインTS、サブTSをそれぞれ独立したストリームファイルに変換し、クリップ情報をクリップ情報ファイルに変換し、プレイアイテム情報及びサブプレイアイテム情報をプレイリスト情報ファイルに変換することで、記録媒体に記録されるべき一連のファイルセットを得る。
 その後、ビデオストリームのエンコード行程の実行にあたって、上記変換で得たプレーンオフセット値、オフセット方向情報を、各GOPのメタデータに記載すれば、オフセットシーケンスは、エンコードの過程で作成しておくことができる。
 図58は、AVファイル書込工程の処理手順を示す。リアルタイムレコーディングによる記録方法や、マスタリング、レプリケーションを伴い記録方法の実施では、AVファイルの書き込みを、本図のフローチャートによって実現する。
 ステップS401において、xxxxx.ssifをクリエイトして、記録装置のメモリ上にファイルエントリーを作成する。ステップS402は、空きの連続セクタ領域を確保し得たかどうかの判定であり、確保し得たなら、ステップS403において、空きの連続セクタ領域にディペンデントビューデータブロックを構成するソースパケット列をEXT2[i]だけ書き込み、その後、ステップS404~ステップS408を実行する。確保し得ない場合は、ステップS409で例外処理をした後、記録方法を終了する。
 ステップS404~ステップS408は、ステップS407がNoと判定されるまで、ステップS404~ステップS406、ステップS408の処理を繰り返すループを構成している。
 ステップS405は、空きの連続セクタ領域に、ベースビューデータブロックを構成するソースパケット列をEXT1[i]だけ書き込む。ステップS406は、ソースパケット列が書き込まれた先頭アドレス及び連続長を示すアロケーション識別子をファイルエントリーに追記して、エクステントとして登録する。これに伴い、書き込まれたソースパケット列の先頭ソースパケット番号を指し示すエクステントスタートポイント情報を、クリップベース情報、クリップディペンデント情報内のメタデータに追記する。
 ステップS407は、ループの終了条件を規定するものであり、ベースビューデータブロック、ディペンデントビューデータブロックに未書込のソースパケットが存在するかどうかの判定を行う。存在すれば、ステップS408に移行して、ループを継続する。存在しなければ、ステップS410に移行する。
 ステップS408は、連続セクタ領域が存在するかどうかの判定であり、存在すれば、ステップS403に移行し、存在しなければ、ステップS402まで戻る。
 ステップS410では、xxxxx.ssifをクローズして、ファイルエントリーを記録媒体に書き込む。ステップS411では、xxxxx.m2tsをクリエイトして、メモリにxxxxx.m2tsのファイルエントリーを生成する。ステップS412では、ファイル2Dで固有となるベースビューデータブロックの先頭アドレス及び連続長を示すアロケーション記述子をxxxxx.m2tsのファイルエントリーに追記する。ステップS413では、xxxxx.m2tsをクローズして、ファイルエントリーを書き込む。
 ステップS404は、EXTSS+EXT2Dの範囲内に、ロングジャンプの発生地点が存在するかどうかの判定である。ここでのロングジャンプの発生地点は、層境界であるものとする。EXTSS+EXT2Dの範囲内に層境界が存在する場合、ステップS420において、ベースビューデータブロックを複製して、ベースビューデータブロックB[i]ssと、ベースビューデータブロックB[i]2Dとをロングジャンプ発生地点の直前までに書き込み、その後、ステップS406に移行する。これらが、ファイル2Dのエクステント、ファイルベースのエクステントになる。
 以下、EXT2D、EXT1[n]、EXT2[n]、EXTss[n]の具体的な値を説明する。
 EXT2Dの下限値は、2D出力モードの再生時、各ベースビューデータブロックから次のベースビューデータブロックまでのジャンプ期間中において、再生装置におけるリードバッファのバッファアンダーフローを生じないように決定される。
 n番目のベースビューデータブロックから(n+1)番目のベースビューデータブロックまでのジャンプが時間Tjump2D(n)を要し、各ベースビューデータブロックが,リードバッファに速度Rud2Dで読み出され、かつ、リードバッファからビデオデコーダへ前記ベースビューデータブロックが平均速度Rbext2Dで転送されるとき、EXT2Dの下限値は以下の条件1の式で表される。
 <条件1>
 EXT2Dの下限値 ≧(Rud2D×Rbext2D)/(Rud2D-Rbext2D)×Tjump2D(n)
 ベースビューデータブロックB[n]ssに対応するエクステントをEXT1[n]であるものとする。この場合、EXT1[n]の下限値は、B-Dプレゼンテーションモードの再生時、各ベースビューデータブロックから次のディペンデントビューデータブロックまでのジャンプ期間と、当該ディペンデントビューデータブロックから次のベースビューデータブロックまでのジャンプ期間とを通して、ダブルバッファのアンダーフローを生じさせないように決定される。
 ここでのダブルバッファは、リードバッファ1、リードバッファ2から構成されるものとする。リードバッファ1は、2D再生装置のリードバッファと同一物である。
 B-Dプレゼンテーションモードの再生において、n番目のベースビューデータブロックからp番目のディペンデントビューデータブロックまでのジャンプが時間TFjump3D(n)を要し、p番目のディペンデントビューデータブロックから(n+1)番目のベースビューデータブロックまでのジャンプが時間TBjump3D(n)を要するものとする。
 そして各ベースビューデータブロックがリードバッファ1へ速度Rud3Dで読み出され、各ディペンデントビューデータブロックがリードバッファ2へ速度Rud3Dで読み出され、かつ、リードバッファ1からビデオデコーダへ前記ベースビューデータブロックが平均速度Rbext3Dで転送されるとき、EXT1[n]の下限値は、以下の条件2の式で表される。ビックエクステントの連続長は、この下限値、又は、この下限値を上回る値に設定される。
 <条件2>
 EXT1[n]の下限値 ≧(Rud3D×Rbext3D)/(Rud3D-Rbext3D)
             ×(TFjump3D(n)+EXT2[n]/(Rud3D+TBjump3D(n)))
             
 EXT2の下限値は、B-Dプレゼンテーションモードの再生時、各ディペンデントビューエクステントから次のベースビューエクステントまでのジャンプ期間と、当該ベースビューエクステントから次のディペンデントビューエクステントまでのジャンプ期間とを通して再生装置におけるダブルバッファにアンダーフローを生じさせないように決定されている。
 (n+1)番目のベースビューデータブロックから(p+1)番目のディペンデントビューデータブロックまでのジャンプが時間TFjump3D(n+1)を要し、かつ、リードバッファ2からデコーダへ前記ディペンデントビューストリームファイルが平均速度Rdext3Dで転送されるとき、EXT2[n]の下限値は以下の条件3の式で表される。
 <条件3>
 EXT2[n]の下限値 ≧(Rud3D×Rbext3D)/(Rud3D-Rdext3D)
             ×(TBjump3D(n)+EXT1[n+1]/(Rud3D+TFjump3D(n+1)))
             
 <EXTSSの具体的な値>
 あるエクステントの読み出しから、次のエクステントへのジャンプにあたって、そのジャンプの直前のバッファ占有量は、充分なものでなければならない。そうすると、立体視インターリーブドストリームファイルの読み出し時にあたってリードバッファは、1つのエクステントによって充填される必要があり、バッファアンダーフローの発生を避けねばならない。
 しかしEXTSSは、エクステントからエクステントへのジャンプ期間Tjumpだけではなく、Tdiffに基づき定める必要がある。ここでTdiffは、EXTssにおけるディペンデントビューデータブロックのプリロードと、EXTssnextにおけるディペンデントビューデータブロックのプリロードとに伴う遅延時間を意味する。以下にTdiffの意味合いについて解説すると、立体視インターリーブドストリームファイルの読み出しにあたって、先頭のディペンデントビューデータブロックをプリロードしている間は再生を開始することはできない。
 EXTssでは、このディペンデントビューデータブロックのプリロードに要する期間だけ再生が遅れるから、EXTssにおいて先頭のディペンデントビューのデータブロックのプリロードに要する時間は、再生がその分遅れてしまうという「遅延期間」となる。
 逆にEXTssnextにおいては、EXTssからEXTssnextへのジャンプの直後に、先頭のディペンデントビューデータブロックのプリロードが行われるから、その間だけビデオデコーダの再生開始が遅れてもよいことになる。つまりEXTssnextの再生にあたって、先頭のディペンデントビューデータブロックのプリロードが行われる期間は、ビデオデコーダ再生開始が猶予される「猶予期間」となる。
 以上を踏まえるとTdiffは、ディペンデントビューデータブロックの猶予期間から遅延期間を引いた値として導かれることになる。具体的には、以下の式を満たすように算出される。
 
 Tdiff=ceil[((S1stEXT1[i]EXTSSnext]-S1stEXT1[i]EXTSS)x1000x8)/Rud72]
 ここでTdiffは、S1stEXT2[i]EXTssの読出期間と、S1stEXT2[i]EXTssnextの読出期間との差分を意味し、S1stEXT2[i]EXTssは、EXTssの最初に位置するEXT2[i]のサイズであり、S1stEXT2[i]EXTssNEXTは、EXTssNEXTの最初に位置するEXT2[i]のサイズである。EXTssnextは、立体視インターリーブドストリームファイルにおけるエクステントであって、EXTssの直後に位置し、EXTssとシームレスに再生されるものである。
 
 このTdiffと、EXTssnextへのジャンプ時間(Tjump)とを用いれば、各エクステントにおける平均ビットレートに基づく最小エクステントサイズであるSextssは、以下の条件4を満たす値として算出される。
 <条件4>
 SextSS[Byte]≧ceil[(Tjump+Tdiff×Rud72)/(1000×8))×(Rextss×192)/(Rud72×188-Rextss×192)]
 
 ここで、Rud72は、立体視出力モードにおけるBD-ROMドライブからのデータレートである。
 Rextssは、EXTssの平均ビットレートであり、以下の式から導かれる。
 Rextss=ceil[Nsp×188×8/(ATCDextss/27000000)]
 ATCDextss=ATCstart_extssnext -ATCstart_extss
 ATCDextss=ATClast_extss - ATCstart_extss + ceil(27000000x188x8/min(Rts1,Rts2))
 ATCDextssは、EXTssのATC期間である。
 ATCstart_EXTSSは、EXTssにおけるソースパケット列のATCフィールドによって指示される最小のATC値である。
 ATCstart_EXTssnextは、EXTssnextにおけるソースパケット列のATCフィールドによって指示される最小のATC値である。
 ATClast_EXTSSは、EXTssにおけるソースパケット列のATCフィールドによって指示される最大のATC値である。
 Nspは、メインTS、サブTSにおけるソースパケットであって、ATCDexssの範囲内にあるATCに対応するATC値をもつものの個数である。
 Rts1は、メインTSにおけるTSレコーディングレートの値であり、その最大値は、48Mbpsである。
 Rts2は、サブTSにおけるTSレコーディングレートの値であり、その最大値は、48Mbpsである。
 2つのプレイアイテムを連続的に再生存在する場合、EXTssは、Previousプレイアイテム(プレイアイテム1)によって使用されるATCシーケンスの最初のデータバイトを含む。
 ・EXTssは、条件4において定義された最小エクステントサイズ以上のサイズをもつ。
 ・EXTssがPreviousプレイアイテムにて使用されるATCシーケンスの最初のデータバイトである場合、Previousプレイアイテムのコネクションコンディション情報は、=5、=6に設定されない。この場合、EXTssのサイズを満たさなくてもよい。
 
 EXTssは、カレントプレイアイテム(プレイアイテム2)によって使用されるATCシーケンスのデータバイトを含む。
 ・EXTssは、条件4において定義された最小エクステントサイズ以上のサイズをもつ。
 ・EXTssがプレイアイテム2にて使用されるATCシーケンスの最後のデータバイトである場合、プレイアイテム2のコネクションコンディション情報は、=5、=6に設定されない。この場合、EXTssのサイズを満たさなくてもよい。
 
 <ベースビューデータブロック、ディペンデントビューデータブロックの記録の詳細>
 メインTSにおけるGOP及びサブTSにおけるGOPを記録媒体に記録するにあたって、拡張エントリーマップにおける拡張エントリーマップのエントリーは、ディペンデントビューピクチャデータであって、同じ再生時刻で再生されるべきベースビューピクチャデータが、基本エントリーマップのエントリーによってポインティングされているもののみをポインティングするようにしている。 
 そのようなポインティングを実現するべく、記録処理を以下のように行う。
 記録処理時において、ディペンデントビューデータブロック及びベースビューデータブロックの境界と、ディペンデントビューGOP及びベースビューGOPの境界との一致を試みる。この境界一致は、サブTSにおけるGOP(i)の先頭ビデオアクセスユニットのアクセスユニットデリミターを、ディペンデントビューデータブロックの境界であるととして分割し、メインTSにおけるGOP(i)の先頭ビデオアクセスユニットのアクセスユニットデリミターを、ベースビューデータブロックの境界であるとして分割することでなされる。この分割にあたっては、先に述べたエクステント長の制約を満たさねばならない。
 分割にあたって、ベースビューデータブロック、ディペンデントビューデータブロックの何れかが、再生装置のダブルバッファをアンダーフローさせないようなエクステント長の制約を満たさない場合、サブTSにおけるGOP(i)の先頭ビデオアクセスユニットのアクセスユニットデリミターの直前、及び、メインTSにおけるGOP(i)の先頭ビデオアクセスユニットのアクセスユニットデリミターの直前のどちらかに、パディングパケットを挿入することで上記境界一致を試みる。
 上述した手法で境界一致に成功した場合、ディペンデントビューGOPの先頭アクセスユニットのアクセスユニットデリミターを格納したソースパケットのソースパケット番号をポインティングするエントリーを拡張エントリーマップに追加する。それと共に、ベースビューGOPの先頭アクセスユニットのアクセスユニットデリミターを格納したソースパケットのソースパケットをポインティングするエントリーを基本エントリーマップに追加する。
 パディングパケット挿入による境界一致に成功せず、ディペンデントビューGOPの先頭アクセスユニットのアクセスユニットデリミターを格納したソースパケットが、ディペンデントビューデータブロックの途中に位置した場合、かかるソースパケットをポインティングするようなエントリーを拡張エントリーマップに追加しない。同様に、ベースビューGOPの先頭アクセスユニットのアクセスユニットデリミターを格納したソースパケットが、ベースビューデータブロックの途中に位置した場合、かかるソースパケットをポインティングするようなエントリーを拡張エントリーマップに追加しない。
 こうしたエントリーを拡張エントリーマップから除外することで、ベースビュー、ディペンデントビューの組みが必ず基本エントリーマップ、拡張エントリーマップのエントリーによってポインティングされていることが、保障されることになる。
 ベースビューデータブロック、ディペンデントビューデータブロックの記録後に、エントリーマップを生成するという処理は、記録された立体視インターリーブドストリームファイルからGOP先頭を検出して、このGOP先頭をポインティングするエントリーをエントリーマップに追加してゆくという処理で実現される。GOP先頭検出及びエントリー追加によって、基本エントリーマップ、拡張エントリーマップを作成してゆく手順を、図54参照しながら説明する。
 図59は、基本エントリーマップ及び拡張エントリーマップの作成手順を示すフローチャートである。
 ステップS601において、基本エントリーマップ及び拡張エントリーマップの雛形をメモリ上に生成し、ステップS602~ステップS610のループに移行する。このループにおいて変数xは、GOPを指示するものであり、かかるループでは、変数xを1に初期化して(ステップS602)、GOP(x)の先頭を特定し(ステップS603)、GOPの先頭PTS(x)に対応するSPN(x)を特定する(ステップS604)。以降、ステップS605、ステップS607の判定を実行する。ステップS605は、SPN(x)がEXT1[i]の先頭であるか否かの判定であり、先頭でなければ、ステップS606~ステップS609をスキップする。先頭であれば、ステップS606においてPTS(x)に対応するSPN(y)を先頭に有するEXT2[j]を特定する。
 ステップS607は、EXT1[i]を特定する変数iが、EXT2[j]を特定する変数jと一致するかどうかの判定であり、一致しなければ以降の処理をスキップする。一致すれば、PTS(x)-SPN(x)の組みを示すEP_entry(x)を基本エントリーマップに追加し(ステップS608)、PTS(x)-SPN(y)の組みを示すEP_entry(x)を拡張エントリーマップに追加する(ステップS609)。
 ステップS610は、変数xが最後のGOPを指示するものかどうかの判定であり、最後でなければ、変数xをインクリメントしてステップS603に移行する。
 <インデックステーブルの生成方法>
 第6実施形態で述べたインデックステーブルは、以下のようにして生成することができる。図55のフローチャートにおいて、ベースビュービデオストリーム、ディペンデントビュービデオストリーム、クリップ情報ファイル、プレイリスト情報ファイルを作成することで、記録媒体に記録すべき各プレイリストの表示周波数が判明する。これらのうち、ファーストプレイタイトルで使用されるプレイリストの解像度・表示周波数、又は、タイトル番号0~999で指示されるタイトルのプレイリストの解像度・表示周波数を、インデックステーブルのBDMVアプリケーション情報におけるビデオフォーマット情報及びフレームレート情報に設定する。こうすることで、プレイリスト再生時に適用すべき解像度・表示周波数が、インデックステーブルにおいて設定されることになる。
 図60は、BD-Jアプリケーション、BD-Jオブジェクト、ムービーオブジェクト、インデックステーブルの作成手順を示すフローチャートである。ステップS701は、プレイリストについてのプレーヤインスタンスの生成を再生装置に命じるソースプログラムを、オブジェクト指向プログラミングで作成し、ステップS702では、そうして作成されたソースプログラムのコンパイルやアーカイブ化を行い、BD-Jアプリケーションを作成する。
 ステップS703は、BD-Jオブジェクトの作成行程であり、ステップS704は、プレイリスト再生を命じるコマンドを用いてムービーオブジェクトを記述する。ステップS705では、タイトル番号と、BD-Jオブジェクトとの対応付けを記述することで、インデックステーブルを作成し、ステップS706ではファーストプレイタイトルとするプレイリストを選択する。ステップS707では、ファーストプレイタイトルにおけるプレイリストのビデオフォーマット、ビデオレートを示すBDMVアプリケーション情報を作成し、ステップS708ではタイトルインデックス、BDMVアプリケーション情報を含むインデックステーブルを作成する。ステップS709では、BD-Jオブジェクト、BD-Jアプリケーション、ムービーオブジェクト、インデックステーブルを記録媒体に書き込む。
 以上の記録で作成することができる記録媒体について説明する。
 図61は、多層化された光ディスクの内部構成を示す。
 第1段目は、多層化された光ディスクの一例を示し、第2段目は、各記録層上に存在する螺旋トラックを水平方向に引き伸ばして描いた図である。これらの記録層における螺旋トラックは、1つの連続したボリューム領域として扱われる。ボリューム領域は、最内周に位置するリードイン、最外周に位置するリードアウト、この間に存在する第1記録層の記録領域、第2記録層の記録領域、第3記録層の記録領域から構成される。これらの第1記録層の記録領域、第2記録層の記録領域、第3記録層の記録領域は、1つの連続した論理アドレス空間を構成する。
 ボリューム領域は、先頭から光ディスクをアクセスする単位で通し番号が振られており、この番号のことを論理アドレスと呼ぶ。光ディスクからのデータの読み出しは論理アドレスを指定することで行う。ここで、BD-ROMのような読み込み専用ディスクの場合には、基本的に論理アドレスが連続しているセクタは、光ディスク上の物理的な配置においても連続している。すなわち、論理アドレスが連続しているセクタのデータはシークを行わずに読み出すことが可能である。ただし、記録層の境界においては、論理アドレスが連続していたとしても連続的な読み出しはできない。そのため、層境界の論理アドレスは、予め記録装置に登録されているものとする。
 ボリューム領域は、リードイン領域の直後にファイルシステム管理情報が記録されていて、これに続いて、ファイルシステム管理情報にて管理されるパーティション領域が存在する。ファイルシステムとはディスク上のデータをディレクトリまたはファイルと呼ばれる単位で表現する仕組みであり、BD-ROMの場合ではUDF(Universal Disc Format)によって記録される。日常使っているPC(パーソナルコンピュータ)の場合でも、FATまたはNTFSと呼ばれるファイルシステムを通すことにより、ディレクトリやファイルという構造でハードディスクに記録されたデータがコンピュータ上で表現され、ユーザビリティを高めている。このファイルシステムにより、通常のPCと同じように記録されている論理データをディレクトリ、ファイル構造を使って読み出すことが可能になっている。 
 第4段目は、ファイルシステムで管理されるファイルシステム領域における領域割り当てを示す。ファイルシステム領域のうち、内周側には、非AVデータ記録領域が存在する。非AVデータ記録領域の直後には、AVデータ記録領域が存在する。第5段目は、これら非AVデータ記録領域及びAVデータ記録領域の記録内容を示す。AVデータ記録領域には、AVファイルを構成する構成するエクステントが存在する。非AVデータ記録領域には、AVファイル以外の非AVファイルを構成するエクステントが存在する。
 図62は、ファイルシステムを前提にした光ディスクのアプリケーションフォーマットを示す。
 BDMVディレクトリはBD-ROMで扱うTSや管理情報などのデータが記録されているディレクトリである。BDMVディレクトリの配下には、「PLAYLISTディレクトリ」、「CLIPINFディレクトリ」、「STREAMディレクトリ」、「BDJOディレクトリ」、「JARディレクトリ」と呼ばれる5つのサブディレクトリが存在し、BDMVディレクトリには、「index.bdmv」,「MovieObject.bdmv」の2種類のファイルが配置されている。
 「index.bdmv(ファイル名固定)」は、インデックステーブルを格納している。
 「MovieObject.bdmv(ファイル名固定)」は、1つ以上のムービーオブジェクトを格納している。ムービーオブジェクトは、コマンドインタプリタを制御主体とした動作モード(HDMVモード)において、再生装置が行うべき制御手順を規定するプログラムファイルであり、1つ以上のコマンドと、GUIに対するメニューコール、タイトルコールがユーザによってなされた場合、これらのコールをマスクするかどうかを規定するマスクフラグを含む。
 「BDJOディレクトリ」には、拡張子bdjoが付与されたプログラムファイル(xxxxx.bdjo[「xxxxx」は可変、拡張子「bdjo」は固定])が存在する。このプログラムファイルは、BD-Jモードにおいて、再生装置が行うべき制御手順を規定するBDーJオブジェクトを格納している。
 このJava(登録商標)アプリケーションの実体にあたるのが、BDMVディレクトリ配下のJARディレクトリに格納されたJava(登録商標)アーカイブファイル(YYYYY.jar)である。   
 
 アプリケーションは例えばJava(登録商標)アプリケーションであり、仮想マシンのヒープ領域(ワークメモリとも呼ばれる)にロードされた1つ以上のxletプログラムからなる。このワークメモリにロードされたxletプログラム、及び、データから、アプリケーションは構成されることになる。
 「PLAYLISTディレクトリ」には、拡張子mplsが付与されたプレイリスト情報ファイル(xxxxx.mpls[「xxxxx」は可変、拡張子「mpls」は固定])が存在する。
 「CLIPINFディレクトリ」には、拡張子clpiが付与されたクリップ情報ファイル(xxxxx.clpi [「xxxxx」は可変、拡張子"clpi」は固定])が存在する。
 以上のディレクトリに存在するファイルを構成するエクステントは、非AVデータ領域に記録される。
 「STREAMディレクトリ」は、ストリームファイルを格納しているディレクトリであり、本ディレクトリには、xxxxx.m2ts([「xxxxx」は可変、拡張子「m2ts」は固定])という形式でストリームファイルが格納される。
 上述したようなファイルは、パーティション領域において、物理的に連続する複数のセクタ上に形成される。パーティション領域は、「ファイルセット記述子が記録された領域」、「終端記述子が記録された領域」、「ROOTディレクトリ領域」、「BDMVディレクトリ領域」、「JARディレクトリ領域」、「BDJOディレクトリ領域」、「PLAYLISTディレクトリ領域」、「CLIPINFディレクトリ領域」、「STREAMディレクトリ領域」から構成され、ファイルシステムによってアクセスされる領域のことである。以降、これらの領域について説明する。
 「ファイルセット記述子」は、ディレクトリ領域のうち、ROOTディレクトリのファイルエントリが記録されているセクタを指し示す論理ブロック番号(LBN)を含む。「終端記述子」は、ファイルセット記述子の終端を示す。
 次に、ディレクトリ領域の詳細について説明する。上述したような複数のディレクトリ領域は、何れも共通の内部構成を有している。つまり、「ディレクトリ領域」は、「ファイルエントリ」と、「ディレクトリファイル」と、「下位ファイルについてのファイル記録領域」とから構成される。
 「ファイルエントリ」は、「記述子タグ」と、「ICBタグ」と、「アロケーション記述子」とを含む。
 「記述子タグ」は、自身がファイルエントリである旨を示すタグである。
 「ICBタグ」は、ファイルエントリ自身に関する属性情報を示す。
 「アロケーション記述子」は、ディレクトリファイルの記録位置を示す論理ブロック番号(LBN)を含む。以上がファイルエントリーについての説明である。続いて、ディレクトリファイルの詳細について説明する。
 「ディレクトリファイル」は、「下位ディレクトリについてのファイル識別記述子」と、「下位ファイルのファイル識別記述子」とを含む。
 「下位ディレクトリのファイル識別記述子」は、自身の配下にある下位ディレクトリをアクセスするための参照情報であり、その下位ディレクトリを示す識別情報と、その下位ディレクトリのディレクトリ名の長さと、下位ディレクトリのファイルエントリがどの論理ブロック番号に記録されているかを示すファイルエントリアドレスと、その下位ディレクトリのディレクトリ名とから構成される。
 「下位ファイルのファイル識別記述子」は、自身の配下にあるファイルをアクセスするための参照情報であり、その下位ファイルを示す識別情報と、その下位ファイル名の長さと、下位ファイルについてのファイルエントリがどの論理ブロック番号に記録されているかを示すファイルエントリアドレスと、下位ファイルのファイル名とから構成される。
 これらのディレクトリのディレクトリファイルにおけるファイル識別記述子には、下位ディレクトリ及び下位ファイルのファイルエントリーが、どの論理ブロックに記録されているかが示されているので、このファイル識別記述子を辿ってゆけば、ROOTディレクトリのファイルエントリーからBDMVディレクトリのファイルエントリーに到達することができ、また、BDMVディレクトリのファイルエントリーからPLAYLISTディレクトリのファイルエントリーに到達することができる。同様に、JARディレクトリ、BDJOディレクトリ、CLIPINFディレクトリ、STREAMディレクトリのファイルエントリーにも到達することができる。   
 「下位ファイルのファイル記録領域」とは、あるディレクトリの配下にある下位ファイルの実体が記録されている領域であり、当該下位ファイルについての「ファイルエントリ」と、1つ以上の「エクステント」とが記録されている。
 本願の主眼となるストリームファイルは、そのファイルが帰属するディレクトリのディレクトリ領域内に存在するファイル記録領域のことであり、ディレクトリファイルにおけるファイル識別記述子、及び、ファイルエントリーにおけるアローケーション識別子を辿ってゆくことで、アクセスすることができる。
 (第10実施形態)
 本実施形態では、これまでの実施形態で説明した再生装置の機能を統合した、2D/3D再生装置の内部構成について説明する。
 図63は、2D/3D再生装置の構成を示している。2D/3D再生装置は、BD-ROMドライブ1、リードバッファ2a、リードバッファ2b、スイッチ3、システムターゲットデコーダ4、プレーンメモリセット5a、プレーン合成部5b、HDMI送受信部6、再生制御部7、メモリ、レジスタセット203、プログラム実行部11、プログラムメモリ12、HDMVモジュール13、BD-Jプラットフォーム14、ミドルウェア15、モード管理モジュール16、ユーザイベント処理部17、ローカルストレージ18、不揮発メモリ19から構成されている。
 BD-ROMドライブ1は、2D再生装置と同様に再生制御部7からの要求を元にBD-ROMディスクからデータを読み出すが、BD-ROMディスクから読み出されたAVクリップはリードバッファ2aかリードバッファ2bに転送される。
 3D映像を再生する際には、再生制御部7からはベースビューデータブロックとディペンデントビューデータブロックとをエクステント単位で交互に読み出す旨を指示する読出要求が送られる。BD-ROMドライブ1は、ベースビューデータブロックを構成するエクステントをリードバッファ2aに読み出し、ディペンデントビューデータブロックを構成するエクステントをリードバッファ2bに読み出す。3D映像を再生する際には、ベースビューデータブロックとディペンデントビューデータブロックの両方を同時に読み込む必要があるため、2D再生装置のBD-ROMドライブ以上のスピード性能が求められる。
 リードバッファ2aは、BD-ROMドライブ1が読み込んだベースビューデータブロックのデータを格納するデュアルポートメモリ等で構成されたバッファである。
 リードバッファ2bは、BD-ROMドライブ1が読み込んだディペンデントビューデータブロックのデータを格納するデュアルポートメモリ等で構成されたバッファである。
 スイッチ3は、リードバッファに対するデータ入力源を、BD-ROMドライブ1又はローカルストレージ18の何れかに切り替えるためのスイッチである。
 システムターゲットデコーダ4は、リードバッファ2aに読み出されたソースパケットとリードバッファ2bに読み出されたソースパケットに対して多重分離処理を行いストリームのデコード処理を行う。
 プレーンメモリセット5aは、複数のプレーンメモリから構成される。プレーンメモリには、レフトビュービデオプレーン、ライトビュービデオプレーン、セカンダリビデオプレーン、IGプレーン、PGプレーンといったものがある。
 プレーン合成部5bは、これまでの実施形態で説明したプレーン合成を行う。テレビなどへの出力する場合には3Dの方式に合わせた出力を行う。シャッタメガネを利用して交互に左目イメージ・右目イメージを再生することが必要な場合はそのまま出力し、例えばレンチキュラーのテレビに出力する場合は、テンポラリのバッファを用意して、先に転送される左目イメージをテンポラリバッファに格納して、右目イメージが転送された後に同時に出力する。
 HDMI送受信部6は、例えばHDMI規格(HDMI:High Definition Multimedia Interface)において、第1実施形態に述べたネゴシエーションフェーズを実行する。ネゴシエーションフェーズでは、立体視表示に対応しているかに関する情報、平面表示可能な解像度に関する情報、立体表示可能な解像度に関する情報をテレビから受け取ることができる。
 再生制御部7は、再生エンジン7a、再生制御エンジン7bを含み、3Dプレイリストの再生がプログラム実行部11などから命じられると、3Dプレイリストの中で再生対象となるプレイアイテムのベースビューデータブロックを特定し、そのプレイアイテムと同期して再生される3D用のサブパスのサブプレイアイテムのディペンデントビューデータブロックを特定する。その後、対応するクリップ情報ファイルのエントリマップを解釈し、どちらのエクステントから先にエクステントが配置されているか示すエクステント開始タイプに基づき、再生開始地点からベースビューデータブロックのエクステントと、ディペンデントビューデータブロックのエクステントとを交互に読み出すようにBD-ROMドライブ1に要求する。再生開始するときには、最初のエクステントをリードバッファ2aか、リードバッファ2bに読みきった後に、リードバッファ2aとリードバッファ2bからシステムターゲットデコーダ4に転送を開始する。
 再生エンジン7aは、AV再生機能を実行する。AV再生機能とは、DVD再生装置、CD再生装置から踏襲した機能群であり、再生開始、再生停止、一時停止、一時停止の解除、静止画機能の解除、再生速度を即値で指定した早送り、再生速度を即値で指定した巻戻し、音声切り替え、セカンダリビデオ用のピクチャデータ切り替え、アングル切り替えといった処理である。
 再生制御エンジン7bは、HDMVモードの動作主体であるコマンドインタプリタ、BD-Jモードの動作主体であるJavaプラットフォームからの関数呼び出しに応じて、プレイリストの再生機能を実行する。プレイリスト再生機能とは、上述したAV再生機能のうち、再生開始や再生停止をカレントプレイリストを構成するカレントプレイリスト情報、カレントクリップ情報に従って行うことをいう。
 メモリは、カレントプレイリスト情報やカレントクリップ情報を格納しておくためのメモリである。カレントプレイリスト情報とは、BD-ROMまたはビルドインメディアドライブ、リムーバブルメディアドライブからアクセスできる複数プレイリスト情報のうち、現在処理対象になっているものをいう。カレントクリップ情報とは、BD-ROMまたはビルドインメディアドライブ、リムーバブルメディアドライブからアクセスできる複数クリップ情報のうち、現在処理対象になっているものをいう。
 再生状態/設定レジスタ(Player Status/Setting Register)セット10は、これまでの実施形態で述べた再生状態レジスタ、再生設定レジスタの他、プログラムファイルが利用する任意の情報を格納できる汎用レジスタを含む。
 プログラム実行部11は、BDプログラムファイルに格納されたプログラムを実行するプロセッサである。格納されたプログラムに従って動作を行い、次のような制御を行う。(1)再生制御部7に対してプレイリスト再生を命令する。(2)システムターゲットデコーダに対してメニューやゲームのグラフィクスのためのPNG・JPEGを転送して画面に表示する。これらはプログラムの作りに応じて自由に行うことができ、どのように制御するかは、オーサリング工程によるBD-Jアプリケーションのプログラミング工程によって決まる。
 プログラムメモリ12は、カレント動的シナリオを格納しておき、HDMVモードの動作主体であるHDMVモジュール、BD-Jモードの動作主体であるJavaプラットフォームによる処理に供されるメモリである。カレント動的シナリオとは、BD-ROMに記録されているIndex.bdmv、BD-Jオブジェクト、ムービーブジェクトのうち、現在実行対象になっているものをいう。またプログラムメモリ12は、ヒープメモリを含む。
 ヒープメモリは、システムアプリケーションのバイトコード、BD-Jアプリケーションのバイトコード、システムアプリケーションが利用するシステムパラメータ、BD-Jアプリケーションが利用するアプリケーションパラメータが配置されるスタック領域である
 HDMVモジュール13は、コマンドインタプリタを具備し、ムービーオブジェクトを構成するナビゲーションコマンドを解読して実行することでHDMVモードの制御を実行する。
 BD-Jプラットフォーム14は、BD-Jモードの動作主体であるJavaプラットフォームであり、Java2Micro_Edition(J2ME) Personal Basis Profile(PBP 1.0)と、Globally Executable MHP specification(GEM1.0.2)for package media targetsとをフル実装しており、クラスローダ、バイトコードインタプリタ、アプリケーションマネージャから構成される。
 クラスローダは、システムアプリケーションの1つであり、JARアーカイブファイルに存在するクラスファイルからバイトコードを読み出して、ヒープメモリ31に格納することにより、BD-Jアプリケーションのロードを行う。
 バイトコードインタプリタは、いわゆるJava仮想マシンであり、ヒープメモリに格納されているBD-Jアプリケーションを構成するバイトコード、システムアプリケーションを構成するバイトコードをネィティブコードに変換して、MPUに実行させる。
 アプリケーションマネージャは、システムアプリケーションの1つであり、BD-Jオブジェクト内のアプリケーション管理テーブルに基づき、BD-Jアプリケーションを起動したりBD-Jアプリケーションを終了したりする等、BD-Jアプリケーションのアプリケーションシグナリングを行う。以上で、BD-Jプラットフォーム部の内部構成についての説明を終える。
 ミドルウェア15は、組込みソフトウェアのためのオペレーティングシステムであり、カーネル、デバイスドライバから構成される。カーネルは、BD-Jアプリケーションからのアプリケーションプログラミングインターフェイス(API)のコールに応じて、再生装置特有の機能をBD-Jアプリケーションに提供する。また、割込信号により割込ハンドラ部を起動する等のハードウェア制御を実現する。
 モード管理モジュール16は、BD-ROMまたはビルドインメディアドライブ、リムーバブルメディアドライブから読み出されたIndex.bdmvを保持して、モード管理及び分岐制御を行う。モード管理モジュールによるモード管理とは、動的シナリオを、BD-Jプラットフォーム22、HDMVモジュールのどちらに実行させるかという、モジュールの割り当てである。
 ユーザイベント処理部17は、リモコンを通じたユーザ操作に応答して、プログラム実行部16や再生制御部7に処理の実行を依頼する。例えば、リモコンでボタンを押した場合は、そのボタンに含まれるコマンドを実行するようプログラム実行部16に依頼する。例えば、リモコンで早送り・巻戻しボタンが押された場合には、再生制御部7に、現在再生しているプレイリストのAVクリップに対する早送り・巻戻し処理の実行を命令する。
 ローカルストレージ18は、ハードディスクをアクセスするためのビルドインメディアドライブ、半導体メモリカードをアクセスするためのリムーバブルメディアドライブを備え、ダウンロードしてきた追加コンテンツやアプリケーションが使うデータなどの保存に用いられる。追加コンテンツの保存領域はBD-ROM毎に分かれており、またアプリケーションがデータの保持に使用できる領域はアプリケーション毎に分かれている。
 不揮発メモリ19は、読み書き可能なメモリなどの記録媒体であり、電源が供給されなくても、記録内容を保持できる媒体、例えばフラッシュメモリ、FeRAMなどである。これは、レジスタセット203における記憶内容のバックアップに用いられる。
  (第11実施形態)
 以降の実施形態は、本願の優先権主張の基礎となった特許出願の願書に添付した明細書及び図面に記載された発明と同一発明(以下、本発明と呼ぶ)を実施するための形態である。
 先ず始めに、本発明に係る記録媒体の実施行為のうち、使用行為についての形態を説明する。図64(a)は、本発明に係る記録媒体の、使用行為についての形態を示す図である。本図において、本発明に係る記録媒体はBD-ROM101である。このBD-ROM101は、再生装置102、テレビ103、リモコン104により形成されるホームシアターシステムに、映画作品を供給するという用途に供される。
 以上が本発明に係る記録媒体の使用形態についての説明である。
 次に本発明に係る記録媒体であるBD-ROMの、2D映像を格納するためのデータ構造について説明する。
 図64(b)は、BD-ROMの構成を示す図である。
 本図の第4段目にBD-ROM101を示し、第3段目にBD-ROM上のトラックを示す。本図のトラック、BD-ROM101の内周から外周にかけて螺旋状に形成されているトラックを横方向に引き伸ばして描画している。BD-ROM101は他の光ディスク、例えばDVDやCDなどと同様にその内周から外周に向けてらせん状に記録領域を持ち、内周のリードインと外周のリードアウトの間に論理データを記録できるボリューム領域を有している。ボリューム領域は、先頭から光ディスクをアクセスする単位で通し番号が振られており、この番号のことを論理アドレスと呼ぶ。光ディスクからのデータの読み出しは論理アドレスを指定することで行う。ここでは論理アドレスは、光ディスク上の物理的な配置においても、連続していると定義する。すなわち、論理アドレスが連続しているデータはシークを行わずに読み出すことが可能である。また、リードインの内側にはBCA(Burst Cutting Area)と呼ばれるドライブでしか読み出せない特別な領域がある。この領域はアプリケーションから読み出せないため、例えば著作権保護技術などに利用されることがよくある。
 ボリューム領域には、先頭からファイルシステムのボリューム情報が記録され、続いて映像データなどのアプリケーションデータが記録されている。ファイルシステムとはディスク上のデータをディレクトリまたはファイルと呼ばれる単位で表現する仕組みであり、BD-ROM101の場合ではUDF(Universal Disc Format)によって記録される。日常使っているPC(パーソナルコンピュータ)の場合でも、FATまたはNTFSと呼ばれるファイルシステムを通すことにより、ディレクトリやファイルという構造でハードディスクに記録されたデータがコンピュータ上で表現され、ユーザビリティを高めている。このファイルシステムにより、通常のPCと同じように記録されている論理データをディレクトリ、ファイル構造を使って読み出しする事が可能になっている。
 BD-ROM101上のディレクトリ、ファイル構造は、ルートディレクトリ(ROOT)直下にBDMVディレクトリが置かれている。BDMVディレクトリはBD-ROM101で扱うAVコンテンツや管理情報などのデータが記録されているディレクトリである。BDMVディレクトリの配下には、タイトルを構成するインデックステーブルが定義されたインデックスファイル(index.bdmv)、PLAYLISTディレクトリ、CLIPINFディレクトリ、STREAMディレクトリ、BDJOディレクトリ、JARディレクトリが存在する。映像・音声といったAVコンテンツが多重化され格納されたAVクリップ(XXX.M2TS)、AVクリップの管理情報を格納したクリップ情報ファイル(XXX.CLPI)、AVクリップの論理的な再生経路を定義したプレイリストファイル(YYY.MPLS)、動的なシナリオを定義するためのプログラムが格納されたBDプログラムファイル(AAA.PROG)は、それぞれ前述のSTREAMディレクトリ、CLIPINFディレクトリ、PLAYLISTディレクトリの下に配置される。
 以下に、BDMVディレクトリ配下に置かれる各ファイルのデータ構造について説明する。
 まずインデックスファイル(Index.bdmv)について説明する。インデックスファイルは図64(c)に示すインデックステーブルを持つ。インデックステーブルはBD-ROMに格納されるすべてのタイトル、トップメニュー、FirstPlayといったタイトル構成を定義する最上位層のテーブルである。このテーブルには、全てのタイトル、トップメニュー、FirstPlayから最初に実行されるプログラムファイルが指定されている。BD-ROMの再生機は、タイトルあるいはメニューが呼び出されるたびにインデックステーブルを参照して、所定のBDプログラムファイルを実行する。ここで、FirstPlayとは、コンテンツプロバイダによって設定されるもので、ディスク投入時に自動実行されるBDプログラムファイルが設定されている。また、トップメニューは、リモコンでのユーザ操作で、「メニューに戻る」というようなコマンドが実行されるときに、呼び出されるムービーオブジェクト、BDJオブジェクトが指定されている。
 BDプログラムファイル(AAA.PRG)はタイトルから指定、実行されるプログラムが格納されている。プログラムのファイルは複数あり、プリフィックス(AAA)がプログラムを識別するのに使用される。ここで使用されるプログラムは、ブルーレイの場合はコマンドナビゲーションと呼ばれる独自仕様のインタープリタ方式のプログラムが使われるが、言語方式は本発明の本質ではないため、JavaやJavaScripのような汎用のプログラミング言語であっても構わない。このプログラムによって再生されるプレイリストが指定される。
 続いて、AVクリップ(XXX.M2TS)とクリップ情報ファイル(XXX.CLPI)について説明する。
 AVクリップは、MPEG-2トランスポートストリーム形式のデジタルストリームである。
 図65(a)は、AVクリップの構成を示す図である。本図に示すようにAVクリップは、ビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム(PG)、インタラクティブグラファイックスストリームのうち、1つ以上を多重化することで得られる。ビデオストリームは映画の主映像および副映像を、オーディオストリーム(IG)は映画の主音声部分とその主音声とミキシングする副音声を、プレゼンテーショングラフィックスストリームは、映画の字幕をそれぞれ示している。ここで主映像とは画面に表示される通常の映像を示し、副映像とは主映像の中に小さな画面で表示する映像のことである。また、インタラクティブグラフィックスストリームは、画面上にGUI部品を配置することにより作成される対話画面を示している。ビデオストリームは、MPEG-2、MPEG-4 AVC、または、SMPTE VC-1などの方式を使って符号化記録されている。オーディオストリームは、ドルビーAC-3、Dolby Digital Plus、MLP、DTS、DTS-HD、または、リニアPCMのなどの方式で圧縮・符号化記録されている。
 ビデオストリームの構成について説明する。MPEG-2、MPEG-4 AVC、SMPTE VC-1などの動画圧縮符号化においては、動画像の空間方向および時間方向の冗長性を利用してデータ量の圧縮を行う。時間方向の冗長性を利用する方法として、ピクチャ間予測符号化が用いられる。ピクチャ間予測符号化では、あるピクチャを符号化する際に、表示時間順で前方または後方にあるピクチャを参照ピクチャとする。そして、その参照ピクチャからの動き量を検出し、動き補償を行ったピクチャと符号化対照のピクチャとの差分値に対して空間方向の冗長度を取り除くことによりデータ量の圧縮を行う。
 ここでは、参照ピクチャを持たずに符号化対象ピクチャのみを用いてピクチャ内予測符号化を行うピクチャをIピクチャと呼ぶ。ピクチャとは、フレームおよびフィールドの両者を包含する1つの符号化の単位である。また、既に処理済の1枚のピクチャを参照してピクチャ間予測符号化するピクチャをPピクチャとよび、既に処理済みの2枚のピクチャを同時に参照してピクチャ間予測符号化するピクチャをBピクチャと呼び、Bピクチャの中で他のピクチャから参照されるピクチャをBrピクチャと呼ぶ。また、フレーム構造の場合のフレーム、フィールド構造のフィールドを、ここではビデオアクセスユニットと呼ぶ。
 AVクリップに含まれる各ストリームはPIDによって識別される。例えば、映画の映像に利用するビデオストリームに配列x1011が、オーディオストリームに配列x1100から0x111Fまでが、プレゼンテーショングラフィックスに配列x1200から0x121Fまでが、インタラクティブグラフィックスストリームに配列x1400から0x141Fまでが、映画の副映像に利用するビデオストリームに配列x1B00から0x1B1Fまで、主音声とミキシングする副音声に利用するオーディオストリームに配列x1A00から0x1A1Fが、それぞれ割り当てられている。
 図65(b)は、AVクリップがどのように多重化されるかを模式的に示す図である。まず、複数のビデオフレームからなるビデオストリーム501、複数のオーディオフレームからなるオーディオストリーム504を、それぞれPESパケット列502および505に変換し、TSパケット503および506に変換する。同じくプレゼンテーショングラフィックスストリーム507およびインタラクティブグラフィックス510のデータをそれぞれPESパケット列508および511に変換し、更にTSパケット509および512に変換する。AVクリッステップS513はこれらのTSパケットを1本のストリームに多重化することで構成される。
 図66(a)は、PESパケット列に、ビデオストリームがどのように格納されるかを更に詳しく示している。本図における第1段目はビデオストリームのビデオフレーム列を示す。第2段目は、PESパケット列を示す。本図の矢印yy1,yy2, yy3, yy4に示すように、ビデオストリームにおける複数のVideo Presentation UnitであるIピクチャ、Bピクチャ、Pピクチャは、ピクチャ毎に分割され、PESパケットのペイロードに格納される。各PESパケットはPESヘッダを持ち、PESヘッダには、ピクチャの表示時刻であるPTS(Presentation Time-Stamp)やピクチャの復号時刻であるDTS(Decoding Time-Stamp)が格納される。
 図66(b)は、AVクリップに最終的に書き込まれるTSパケットの形式を示している。TSパケットは、ストリームを識別するPIDなどの情報を持つ4ByteのTSヘッダとデータを格納する184ByteのTSペイロードから構成される188Byte固定長のパケットであり、前述で説明したPESパケットは分割されTSペイロードに格納される。BD-ROMの場合、TSパケットには、4ByteのTP_Extra_Headerが付与され、192Byteのソースパケットを構成し、AVクリップに書き込まれる。TP_Extra_HeaderにはATS(Arrival_Time_Stamp)などの情報が記載される。ATSは当該TSパケットの後述するシステムターゲットデコーダ1503のPIDフィルタへの転送開始時刻を示す。AVクリップには図66(b)下段に示すようにソースパケットが並ぶこととなり、AVクリップの先頭からインクリメントする番号はSPN(ソースパケットナンバー)と呼ばれる。
 また、AVクリップに含まれるTSパケットには、映像・音声・字幕などの各ストリーム以外にもPAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)などがある。PATはAVクリップ中に利用されるPMTのPIDが何であるかを示し、PAT自身のPID配列で登録される。PMTは、AVクリップ中に含まれる映像・音声・字幕などの各ストリームのPIDと各PIDに対応するストリームの属性情報を持ち、またAVクリップに関する各種ディスクリプタを持つ。ディスクリプタにはAVクリップのコピーを許可・不許可を指示するコピーコントロール情報などがある。PCRは、ATSの時間軸であるATC(Arrival Time Clock)とPTS・DTSの時間軸であるSTC(System Time Clock)の同期を取るために、そのPCRパケットがデコーダに転送されるATSに対応するSTC時間の情報を持つ。
 図67(a)は、PMTのデータ構造を詳しく説明する図である。PMTの先頭には、そのPMTに含まれるデータの長さなどを記したPMTヘッダが配置される。その後ろには、AVクリップに関するディスクリプタが複数配置される。前述したコピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、AVクリップに含まれる各ストリームに関するストリーム情報が複数配置される。ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ、ストリームのPID、ストリームの属性情報(フレームレート、アスペクト比など)が記載されたストリームディスクリプタから構成される。ストリームディスクリプタはAVクリップに存在するストリームの数だけ存在する。
 クリップ情報ファイルは、図67(b)に示すようにAVクリップの管理情報であり、AVクリップと1対1に対応し、クリップ情報、ストリーム属性情報とエントリマップから構成される。
 クリップ情報は図67(b)に示すようにシステムレート、再生開始時刻、再生終了時刻から構成されている。システムレートはAVクリップの、後述するシステムターゲットデコーダのPIDフィルタへの最大転送レートを示す。AVクリップ中に含まれるATSの間隔はシステムレート以下になるように設定されている。再生開始時刻はAVクリップの先頭のビデオフレームのPTSであり、再生終了時刻はAVクリップの終端のビデオフレームのPTSに1フレーム分の再生間隔を足したものが設定される。
 ストリーム属性情報は図68(a)に示すように、AVクリップに含まれる各ストリームについての属性情報が、PID毎に登録される。属性情報はビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム毎に異なる情報を持つ。ビデオストリーム属性情報は、そのビデオストリームがどのような圧縮コーデックで圧縮されたか、ビデオストリームを構成する個々のピクチャデータの解像度がどれだけであるか、アスペクト比はどれだけであるか、フレームレートはどれだけであるかなどの情報を持つ。オーディオストリーム属性情報は、そのオーディオストリームがどのような圧縮コーデックで圧縮されたか、そのオーディオストリームに含まれるチャンネル数は何であるか、何の言語に対応するか、サンプリング周波数がどれだけであるかなどの情報を持つ。これらの情報は、プレーヤが再生する前のデコーダの初期化などに利用される。
 エントリマップは、図68(b)に示すように、エントリマップヘッダ情報1101と、AVクリップ内に含まれるビデオストリームの各Iピクチャの表示時刻を示すPTSと各Iピクチャが開始するAVクリップのSPNが記載されたテーブル情報である。ここではテーブルの1つの行で示される対となるPTSとSPNの情報をエントリポイントと呼ぶことにする。また先頭を0として各エントリポイント毎にインクリメントした値をエントリポイントID(以下EP_ID)と呼ぶことにする。このエントリマップを利用することにより、再生機はビデオストリームの時間軸上の任意の地点に対応するAVクリップのファイル位置を特定することが出来るようになる。例えば、早送り・巻戻しの特殊再生の際には、エントリマップに登録されるIピクチャを特定し選択して再生することによりAVクリップを解析することなく効率的に処理を行うことが出来る。また、エントリマップはAVクリップ内に多重化される各ビデオストリーム毎に作られ、PIDで管理される。また、エントリマップには、先頭にエントリマップヘッダ情報1101が格納され、ここには該当エントリマップが指すビデオストリームのPIDやエントリポイント数などの情報が格納される。
 次に、プレイリストファイル(YYY.MPLS)について説明する。
 プレイリストは、AVクリップの再生経路を示すものである。図69(a)に示すように、プレイリストは1つ以上のプレイアイテム1201から構成され、各プレイアイテムはAVクリップに対する再生区間を示す。各プレイアイテム1201はそれぞれプレイアイテムIDで識別され、プレイリスト内で再生されるべき順序で記述されている。また、プレイリストは再生開始点を示すエントリマーク1202を含んでいる。エントリマーク1202はプレイアイテムで定義される再生区間内に対して付与することでき、図69(a)に示すように、プレイアイテムに対して再生開始点となりうる位置に付けられ、頭出し再生に利用される。例えば、映画タイトルにおいて、エントリマーク1202をチャプタの先頭となる位置に付与することで、チャプタ再生することが可能である。なお、一連のプレイアイテムの再生経路をメインパス1205とここでは定義する。
 プレイアイテムの内容について図69(b)を用いて説明する。プレイアイテムには、再生するクリップ情報1301と再生開始時刻1302および再生終了時刻1303、コネクションコンディション1310、ストリーム選択テーブル1305が含まれている。再生開始時刻と再生終了時刻は時間情報であるため、再生機はクリップ情報ファイルのエントリマップを参照し、指定された再生開始時刻および再生終了時刻に対応するSPNを取得し、読み出し開始位置を特定して再生処理を行う。
 コネクションコンディション1310は、前方プレイアイテムと接続タイプを示している。プレイアイテムのコネクションコンディション1310が「1」の場合は、プレイアイテムが指し示すAVクリップは、そのプレイアイテムの前のプレイアイテムが指し示すAVクリップとシームレス接続が保証されないことを示す。プレイアイテムのコネクションコンディション1310が「5」か「6」の場合は、プレイアイテムが指し示すAVクリップは、そのプレイアイテムの前のプレイアイテムが指し示すAVクリップとシームレスに接続されることが保証される。コネクションコンディション1310が「5」の場合は、プレイアイテム間でSTCの連続性が途切れていても良く、つまり、接続前プレイアイテムのAVクリップ終端のビデオ表示時刻よりも、接続後プレイアイテムのAVクリップ先頭のビデオ表示時刻開始時刻は不連続でよい。ただし、接続前プレイアイテムのAVクリップを後述するシステムターゲットデコーダ1503のPIDフィルタに入力した後に続けて、接続後プレイアイテムのAVクリップをシステムターゲットデコーダ1503のPIDフィルタに入力して再生したときに、システムターゲットデコーダ1503のデコードが破綻しないようにAVクリップを作成する必要がある。また接続前プレイアイテムのAVクリップのオーディオの終端フレームと、接続後プレイアイテムのオーディオの先頭フレームは再生時間軸で重なら無ければならないなどの制約条件がある。また、コネクションコンディション1310が「6」の場合は、接続前プレイアイテムのAVクリップと接続後プレイアイテムのAVクリップを結合したときに1本のAVクリップとして再生できなければならない。つまり、接続前プレイアイテムのAVクリップと接続後プレイアイテムのAVクリップ間でSTCは連続し、またATCも連続する。
 ストリーム選択テーブル1305は、複数のストリームエントリ1309からなり、ストリームエントリ1309はストリーム選択番号1306、ストリームパス情報1307、ストリーム識別情報1308からなる。ストリーム選択番号1306は、ストリーム選択テーブルに含まれるストリームエントリ1309の先頭から順にインクリメントされる番号であり、プレーヤでのストリーム識別のために利用される。ストリームパス情報1307は、ストリーム識別情報1308によって示されるストリームが、どのAVクリップに多重化されているかを示す情報であり、例えば「メインパス」であれば、該当するプレイアイテムのAVクリップを示し、「サブパスID=1」であれば、そのサブパスIDが示すサブパスにおいて、該当するプレイアイテムの再生区間に対応するサブプレイアイテムのAVクリップを示す。サブパスについては次の節で説明する。ストリーム識別情報1308は、PIDなどの情報であり、参照するAVクリップに多重化されているストリームを示す。また、ストリームエントリ1309には、各ストリームの属性情報も同時に記録されている。ここで属性情報とは、各ストリームの性質を示す情報で、例えばオーディオ、プレゼンテーショングラフィックス、インタラクティブグラフィックスの場合には、言語属性などが含まれる。
 プレイリストは、図69(c)に示すように1つ以上のサブパスを有することが出来る。サブパスはプレイリストに登録される順にIDが振られ、サブパスIDとして、サブパスを識別するために使われる。サブパスは、メインパスと同期して再生される一連の再生経路を示す。サブプレイアイテムは、プレイアイテムと同様に再生するクリップ情報1301と再生開始時刻1302および再生終了時刻1303を持ち、サブプレイアイテムの再生開始時刻1302と再生終了時刻1303は、メインパスと同じ時間軸で表される。例えば、プレイアイテム#2のストリーム選択テーブル1305に登録されているあるストリームエントリ1309が、サブパスID=0でプレゼンテーショングラフィックス1を示す場合は、サブパスID=0のサブパスの中で、プレイアイテム#2の再生区間に同期して再生するサブプレイアイテム#2のAVクリップの中に多重化されるプレゼンテーショングラフィックス1が、プレイアイテム#2再生区間に再生されることになる。また、サブプレイアイテムには、プレイアイテムのコネクションコンディションと同じ意味を持つSPコネクションコンディションというフィールドが存在する。SPコネクションコンディションが「5」もしくは「6」のサブプレイアイテム境界のAVクリップは、コネクションコンディション「5」もしくは「6」と同じ上記条件を守る必要がある。
 以上が、本発明にかかる記録媒体であるBD-ROMの、2D映像を格納するためのデータ構造である。
 続いて、本発明にかかる2D映像を格納するBD-ROMを再生する再生装置(2D再生装置)について説明する。
 図70(a)は、2D再生装置1500の構成を示している。2D再生装置1500は、BD-ROMドライブ1501、リードバッファ1502、システムターゲットデコーダ1503、プログラム記録メモリ1504、管理情報記録メモリ1505、プログラム実行部1506、再生制御部1507、プレーヤ変数1508、ユーザイベント処理部1509、プレーン加算部1510から構成されている。
 BD-ROMドライブ1501は、再生制御部1507からの要求を元にBD-ROMディスクからデータを読み出す。BD-ROMディスクから読み出れたAVクリップはリードバッファ1502に、インデックスファイル、プレイリストファイル、クリップ情報ファイルは管理情報メモリ1505に、ムービーオブジェクトファイルはプログラムメモリ1504に、それぞれ転送される。
 リードバッファ1502は、BD-ROMドライブを使って読み込んだデータを、管理情報メモリ1505はインデックスファイル、プレイリストファイル、クリップ情報ファイルの管理情報を、プログラム記録メモリ1504は、ムービーオブジェクトファイルを格納するメモリ等で構成されたバッファである。
 システムターゲットデコーダ1503は、リードバッファ1502に読み出されたソースパケットに対して多重分離処理を行い、ストリームのデコード処理を行う。AVクリップに含まれるストリームのデコードに必要な、コーデック種類やストリーム属性などの情報は再生制御部1507から転送される。システムターゲットデコーダ1503はデコードした主映像ビデオストリーム、副映像ビデオストリーム、インタラクティブグラフィックスストリーム、プレゼンテーショングラフィックスストリームを、それぞれのプレーンメモリである主映像プレーン、副映像プレーン、インタラクティブグラフィックスプレーン(IGプレーン)、プレゼンテーショングラフィックスプレーン(PGプレーン)に書き出す。またシステムターゲットデコーダ1503はデコードした主音声ストリーム、副音声ストリームを、ミキシングしスピーカなどに出力する。また、システムターゲットデコーダ1503は、プログラム実行部1506より転送されるメニューなどに表示するためのJPEG,PNGなどのグラフィックスデータをデコードして、イメージプレーンに書き出す処理を行う。システムターゲットデコーダ1503の詳細については後述する。
 ユーザイベント処理部1509は、リモコンを通じたユーザ操作に応答して、プログラム実行部1506や再生制御部1507に処理の実行を依頼する。例えば、リモコンでボタンを押した場合は、そのボタンに含まれるコマンドを実行するようプログラム実行部1506に依頼する。例えば、リモコンで早送り・巻戻しボタンが押された場合には、再生制御部1507に、現在再生しているプレイリストのAVクリップに対する早送り・巻戻し処理の実行を命令する。
 再生制御部1507は、BD-ROMドライブ1501とシステムターゲットデコーダ1503を制御して、AVクリップの再生を制御する機能を持つ。再生制御部1507は、プログラム実行部1506からの再生命令や、ユーザイベント処理部1509より通知に基づき、プレイリスト情報を解釈してAVクリップの再生処理を制御する。また、再生制御部1507は、プレーヤ変数1508の設定や参照を行い、再生動作を行う。
 プレーヤ変数1508は、プレーヤの状態を示すシステムパラメータ(SPRM)と一般用途として使用可能なゼネラルパラメータ(GPRM)とがある。
 図70(b)はシステムパラメータ(SPRM)の一覧である。
  SPRM(0)   : 言語コード
  SPRM(1)   : 主音声ストリーム番号
  SPRM(2)   : 字幕ストリーム番号
  SPRM(3)   : アングル番号
  SPRM(4)   : タイトル番号
  SPRM(5)   : チャプタ番号
  SPRM(6)   : プログラム番号
  SPRM(7)   : セル番号

  SPRM(8)   : 選択キー情報
  SPRM(9)   : ナビゲーションタイマー
  SPRM(10)  : 再生時刻情報
  SPRM(11)  : カラオケ用ミキシングモード
  SPRM(12)  : パレンタル用国情報
  SPRM(13)  : パレンタルレベル
  SPRM(14)  : プレーヤ設定値(ビデオ)
  SPRM(15)  : プレーヤ設定値(オーディオ)
  SPRM(16)  : 音声ストリーム用言語コード
  SPRM(17)  : 音声ストリーム用言語コード
  SPRM(18)  : 字幕ストリーム用言語コード
  SPRM(19)  : 字幕ストリーム用言語コード
  SPRM(20)  : プレーヤリージョンコード
  SPRM(21)  : 2D/3D出力モードのユーザー優先選択
  SPRM(22)  : 現在の2D/3D出力モード
  SPRM(23)  : ディスプレイの3D映像表示能力
  SPRM(24)  : 3D映像再生能力
  SPRM(25)  : 予備
  SPRM(26)  : 予備
  SPRM(27)  : 予備
  SPRM(28)  : 予備
  SPRM(29)  : 予備
  SPRM(30)  : 予備
  SPRM(31)  : 予備
 SPRM(10)は、AVクリップに属する各ピクチャデータが表示される度に更新される。つまり再生装置が新たなピクチャデータを表示させれば、その新たなピクチャデータの表示時刻(PTS)を示す値にSPRM(10)は更新される。このSPRM(10)を参照すれば、現在の再生時点を知得することができる。
 SPRM(16)の音声ストリーム用言語コードやSPRM(18)の字幕ストリーム用言語コードは、プレーヤのOSDなどで設定できる項目であり、プレーヤのデフォルトの言語コードを示す。例えば、SPRM(16)の音声ストリーム用言語コードが英語であれば、プレイリストを再生する上で、プレイアイテムのストリーム選択テーブルの中から同じ言語コードを持つストリームエントリを探し出し、その音声ストリームを選択して再生するといった機能をBDプログラムファイルに入れることができる。
 
 また、再生制御部1507は、システムパラメータの状態をチェックしながら再生する。また、SPRM(1)、SPRM(2)、SPRM(21)、SPRM(22)は、それぞれ音声ストリーム番号、字幕ストリーム番号、副映像ストリーム、副音声ストリームの番号を示し、これらの値は、前述したストリーム選択番号606に対応する。例えば、プログラム実行部1506によって、音声ストリーム番号SPRM(1)が変更されたとする。再生制御部1507は、現在再生しているプレイアイテムのストリーム選択テーブル605の中から、ストリーム選択番号606と比較して、一致するストリームエントリ609を参照し、再生する音声ストリームを切り替える。このようにしてどの音声・字幕・副映像ストリームを再生するかどうかを切り替える。
 プログラム実行部1506はBDプログラムファイルに格納されたプログラムを実行するプロセッサである。格納されたプログラムに従って動作を行い、次のような制御を行う。(1)再生制御部1506に対してプレイリスト再生を命令する。(2)システムターゲットデコーダに対してメニューやゲームのグラフィックスのためのPNG・JPEGを転送して画面に表示する。これらはプログラムの作りに応じて自由に行うことが出来、どのように制御するかは、オーサリング工程によるBDプログラムファイルのプログラミング工程によって決まる。
 プレーン加算部は、主映像プレーン、副映像プレーン、インタラクティブグラフィックスプレーン、プレゼンテーショングラフィックスプレーン、イメージプレーンを瞬時に重畳し、TVなどの画面に表示する。
 次に、図71を参照しながらシステムターゲットデコーダ1503について説明する。
 ソースデパケットタイザは、システムターゲットデコーダ1503に転送されるソースパケットを解釈し、TSパケットを取り出しPIDフィルタに送出する。この送出にあたって、各ソースパケットのATSに応じてデコーダへの入力時刻を調整する。具体的には、ATCカウンタが生成するATCの値と、ソースパケットのATS値とが同一になった瞬間に、AVクリップの記録レートにしたがって、そのTSパケットだけをPIDフィルタに転送する。
 PIDフィルタは、ソースデパケッタイザから出力されたTSパケットのうち、TSパケットのPIDが、再生に必要とされるPIDに一致するものを、PIDにしたがって、主映像ビデオデコーダ、副映像ビデオデコーダ、IGデコーダ、PGデコーダ、音声デコーダ、副音声デコーダに転送する。例えば、BD-ROMの場合には、TSパケットに含まれるPIDが0x1011である場合は主映像ビデオデコーダに、PIDが0x1B00から0x1B1Fである場合は副映像ビデオデコーダに、PIDが0x1100から0x111Fである場合は主音声デコーダに、PIDが0x1A00から0x1A1Fである場合は副音声デコーダに、PIDが0x1200から0x121Fである場合はPGデコーダに、PIDが0x1400から0x141Fである場合はIGデコーダに転送される。
 主映像ビデオデコーダは、TB(TransportStreamBuffer)1701、MB(Multiplexing Buffer)1702、EB(ElementaryStreamBuffer)1703,圧縮映像デコーダ1704、DPB(Decoded Picture Buffer)1705から構成される。
 TB1701は、ビデオストリームを含むTSパケットがPIDフィルタ1702から出力された際、TSパケットのまま一旦蓄積されるバッファである。
 MB1702は、TB1701からEB1702にビデオストリームを出力するにあたって、一旦PESパケットを蓄積しておくためのバッファである。TB1701からMB1702にデータが転送される際に、TSパケットのTSヘッダは取り除かれる。
 EB1703は、符号化状態にあるピクチャ(Iピクチャ、Bピクチャ、Pピクチャ)が格納されるバッファである。MB1702からEB1703にデータが転送される際にPESヘッダが取り除かれる。
 圧縮映像デコーダ1704、ビデオエレメンタリストリームの個々のビデオアクセスユニットを所定の復号時刻(DTS)ごとにデコードすることによりフレーム/フィールド画像を作成する。AVクリップに多重化されるビデオストリームの圧縮符号化形式にはMPEG2、MPEG4AVC、VC1などがあるため、ストリームの属性に応じて、圧縮映像デコーダ1704のデコード方法は切り替えられる。圧縮映像デコーダ1704は、デコードされたフレーム/フィールド画像はDPB1705に転送し、表示時刻(PTS)のタイミングで対応するフレーム/フィールド画像を主映像プレーンに書き出す。
 DPB1705は、復号されたフレーム/フィールド画像を一時的に保持しておくバッファである。圧縮映像デコーダ1704が、ピクチャ間予測符号化されたPピクチャやBピクチャなどのビデオアクセスユニットをデコードする際に、既にデコードされたピクチャを参照するために利用する。
 副映像ビデオデコーダは、主映像ビデオデコーダと同様の構成を持ち、入力される副映像ビデオストリームのデコードを行い、表示時刻(PTS)のタイミングでピクチャを副映像プレーンに書き出す。
 IGデコーダは、ソースパケタイザから入力されるTSパケットからインタラクティブグラフィックスストリームを抽出してデコードし、非圧縮のグラフィックスデータを表示時刻(PTS)のタイミングでIGプレーンに書き出す。
 PGデコーダは、ソースパケタイザから入力されるTSパケットからプレゼンテーショングラフィックスストリームを抽出してデコードし、非圧縮のグラフィックスデータを表示時刻(PTS)のタイミングでPGプレーンに書き出す。
 主音声デコーダは、緩衝バッファを有し、バッファにデータを蓄えながら、TSヘッダ、PESヘッダなどの情報を取り除いて、音声ストリームのデコード処理を行い、非圧縮のLPCM状態のオーディオデータを得て再生時刻(PTS)のタイミングで音声ミキサーに出力する。AVクリップに多重化されるオーディオストリームの圧縮符号化形式にはAC3、DTSなどがあるため、ストリームの属性に応じて、圧縮音声の復号化方式を切り替える。
 副音声デコーダは、主音声デコーダと同様の構成を持ち、入力される副音声ストリームのデコードを行い、表示時刻のタイミングで非圧縮のLPCMの状態のオーディオデータを音声ミキサーに出力する。AVクリップに多重化されるオーディオストリームの圧縮符号化形式にはDolbyDigitalPlus、DTS-HD LBRなどがあるため、ストリームの属性に応じて、圧縮音声の復号化方式を切り替える。
 音声ミキサーは、主音声デコーダから出力される非圧縮音声データと副音声デコーダから出力される非圧縮音声データとをミキシング(音の重ね合わせ)をしてスピーカなどに出力する。
 イメージプロセッサは、プログラム実行部から転送されるグラフィックスデータ(PNG・JPEG)をデコードして、プログラム実行部から指定される表示時刻にしたがって、イメージプレーンに出力する。
 
 以上が本発明にかかる2D再生装置の構成である。
 (3D再生の原理)
 次に図92を用いて家庭用ディスプレイで立体視を行う原理を説明する。立体視を実現する手法としては、ホログラフィ技術を用いる方法と、視差画像を用いる方式の大きく2つある。
 まず、1つ目のホログラフィ技術の特徴としては、人間が通常物体を認識するのと全く同じように物体を立体として再現することができるが、動画生成に関しては、技術的な理論は確立しているが、ホログラフィ用の動画をリアルタイムで生成する膨大な演算量を伴うコンピューター、及び1mmの間に数千本の線を引けるだけの解像度を持ったディスプレイデバイスが必要であるが、現在の技術での実現は非常に難しく、商用として実用化されている例はほとんどない。
 
 2つ目の視差画像を用いた方式で、右目に入る映像と、左目に入る映像を各々用意し、それぞれの目に対応したピクチャーだけが入るようにして立体視を行う方法である。図92でユーザーが顔の中央の延長線上にある、比較的小さな立方体を見ている様子を上から見た図であり、右上の図は左目が見た場合の例を示しており、右下の図は同じ立方体を右目が見た場合の例を示している。
 この方式のメリットは、高々右目用と左目用の2つの視点の映像を準備するだけで立体視を実現できることにあり、技術的には、左右のそれぞれの目に対応した絵を、いかにして対応した目にだけ見せることができるかの観点から、いくつかの技術が実用化されている。
 ひとつは、継時分離方式と呼ばれるもので、ディスプレイ上に左目用及び右目用として時間軸方向で交互に表示される映像を、ユーザーは継時型ステレオ眼鏡(液晶シャッター付)を通して観察することにより、目の残像反応により左右のシーンを重ね、立体映像として認識する。より詳細には、ディスプレイ上には、左目用の映像が表示されている瞬間には、前述の継時型ステレオ眼鏡は、左目に対応する液晶シャッターを透過にし、右目に対応する液晶シャッターは遮光する。ディスプレイ上に右目用の映像が表示されている瞬間には、先ほどと逆に右目に対応する液晶シャッターを透過にし、左目に対応する液晶シャッターを遮光する。この方式では、左右の映像を時間軸方向で交互に表示させるために、例えば、通常の2次元の映画であれば1秒に24枚の映像を表示させるのに対して、左右の映像合わせて1秒に48枚の映像を表示させる必要がある。従って、この方式では、一画面の書き換えが比較的早いディスプレイにおいて好適であるが、1秒間に所定の回数書き換え可能なディスプレイであれば限定されない。
 また、別の方法としては、先ほどの継時分離方式では左右のピクチャーを時間軸方向で交互に出力していたのに対して、一画面中の縦方向に左目用のピクチャーと右目用のピクチャーを同時に交互に並べ、ディスプレイ表面にレンチキュラーレンズと呼ばれる蒲鉾上のレンズを通して、左目用のピクチャーを構成する画素は左目だけに結像し、右目用のピクチャーを構成する画素は右目だけに結像するようにすることで、左右の目に視差のあるピクチャーを見せ、3Dとしてみることができる方式である。なお、レンチキュラーレンズだけでなく、同様の機能を持たせたデバイス、例えば液晶素子を用いてもよいし、また左目用の画素には縦偏光のフィルター、右目用の画素には横偏光のフィルターを設置し、視聴者は、左目用には縦偏光、右目用には横偏光のフィルターを設置した偏光メガネを用いてディスプレイを見ることによって立体視が可能となる。
 この視差画像を用いた立体視は、既に遊園地の遊具などで一般的に使用されており、技術的にも確立されているため、家庭における実用化に最も近いものと言える。なお、視差画像を用いた立体視のための方法はこの他に非接触モード色分離方式などさまざまな技術が提案されており、本実施の例においては、継時分離方式あるいは偏光メガネ方式を例として用いて説明するが、視差画像を用いる限りこれら2方式に限定するものではない。
 本実施の例では、立体視に使う視差画像を情報記録媒体に格納する方法を説明する。ここでは、左目用の画面が格納された映像を「左目映像」、右目用の画面が格納された映像を「右目映像」、両方の映像のことを「3D映像」と呼ぶことにする。(2D/3D表示の切り替え)
 次に本発明に係る記録媒体であるBD-ROMの、3D映像を格納するためのデータ構造について説明する。
 データ構造の基本部分は、3D映像を格納するためのデータ構造と同じであり、拡張または異なる部分を中心に説明する。3D映像を格納したBD-ROMに対して、2D映像のみを再生することができる再生装置を2D再生装置、2D映像と3D映像をどちらも再生できる再生装置を2D/3D再生装置として説明を行う。
 
 再生装置の状態を示すシステムパラメータ(SPRM)には、再生装置が2D再生装置か、2D/3D再生装置かを識別するためのフラグが用意されている。ここでは図72を例に、SPRM(24)がプレーヤが持通常再生D再生能力を示格納先D-Capabilityパラメータ群であるとして説明する。
 3D再生能力は、ビデオ映像の3D表示能力と、グラフィクスの3D表示能力がそれぞれ判定できるようになっている。ビデオ映像の3D表示能力とは、ステレオ映像方式の2画面分の左右映像をそれぞれデコードして表示できる能力のことである。グラフィクスの3D表示能力とは、左目用グラフィクスと右目用グラフィクスの2つのグラフィクスを独立してデコードしてプレーン上に描画する能力である。
 また、ビデオ映像の表示能力に関しては、さらに、解像度とフレームレートごとに細分化して再生能力を示すことも可能である。1920x1080/59.94iのビデオフォーマットの3D映像の表示能力など、個別に識別することが可能であれば、LSIの性能に合わせて、対応可能な3D表示をプログラムか検出可能になる。
 なお、システムパラメータの値をBD-ROM上のJAVAプログラムからアクセスする場合は、プレーヤのシステムプロパティとしてアクセスすることも可能である。
 また、図73のように、ディスプレイとプレーヤが、HDMIのようにディスプレイの性能・対応方式をプレーヤに送信できる伝送方式により接続されている場合、ディスプレイの3D対応範囲をSPRM(23)に自動的に設定してもよい。また、ディスプレイの性能を伝送できない場合は、ユーザーが手動で設定してもよい。
 ディスプレイから対応方式を取得できる場合は、単純な対応方式の他、ディスプレイのサイズ、解像度、ディスプレイから視聴する人までの距離など3D再生に影響する情報を取得し、システムパラメータに格納しておくことで、後で説明するプログラムによる最適な再生方式の選択に活用することも可能である。
 図74はインデックスファイル(Index.bdmv)とBDプログラムファイル(001.PRG)の関係を示している。3D映像を格納したBD-ROMには、2D映像を再生する経路が記載された2Dプレイリスト2601と、3D方式1映像を再生する経路が記載された3Dプレイリスト2602、3D方式2映像を再生する経路が記載された3Dプレイリスト2603が用意されている。ユーザからタイトルが選択され、実行されたBDプログラムファイルは、プログラムの中で、再生装置が3D映像再生に対応しているか、対応している場合にユーザが3D映像再生を選択しているかを調べて、再生するプレイリストを切り替える。3D再生方式を複数想定する場合は、それぞれ対応した方式のプレイリストを準備しておき、プレーヤがBD-ROMに格納されたプレイリストに対応している場合は、対応した3Dプレイリストを選択、対応していない場合は、2Dプレイリストを選択する。
 たとえば、3D方式1が2画面ステレオ再生方式、3D方式2がサイド・バイ・サイド方式であり、プレーヤがサイド・バイ・サイド方式にのみ対応している場合、プログラムはそのプレーヤで再生可能であるサイド・バイ・サイド方式の3Dプレイリスト005.MPLSを選択して再生する。
 なお、BD-ROMに格納されているプログラムはオーサリング側が作成するものであり、複数の3D形式にプレーヤが対応している場合、どの3D再生方式を優先的に選択するかは、オーサリング側の意志に依存する。
 なお、FirstPlayのようにディスク挿入時にまず最初に再生されるプレイリストは、安全のため必ずどのプレーヤでも再生される2D映像で構成されることが望ましい。
 図75はBDプログラムファイルのプログラムでの2Dプレイリストと、3Dプレイリストの選択フローを示している。
 S2701にて、SPRM(24)の値をチェックし、値が0の場合は該当再生装置は2D再生装置であるため、2Dプレイリストを再生し、値が1の場合はS2702に進む。
 S2702にて、ユーザに2D映像の再生を希望するか、3D映像の再生を希望するかを、メニュー画面を表示して問い合わせる。ユーザのリモコンなどでの選択の結果、2D映像の再生を希望する場合は2Dプレイリストを再生し、3D映像の再生を希望する場合はS2703に進む。
 S2703にて、ディスプレイが3D映像の再生に対応しているかをチェックする。例えば、HDMIにて結線を行い、再生装置がディスプレイに対して、3D映像再生に対応しているかどうかを問い合わせる。3D映像の再生に対応していない場合は、2Dプレイリストを再生するが、ユーザに対してテレビ側の準備が整っていない旨をメニュー画面などで提示しても良い。3D映像の再生に対応している場合は、3Dプレイリストを再生する。
 旧来のアナログ方式では3D映像に対応していないため、3D映像は出力できない。プレーヤが3D映像再生中は、図76のように、アナログ出力に「3D映像再生中です。3D対応ディスプレイでご覧ください。」などのメッセージを表示して、ユーザーが誤った端子に接続したり、対応していないディスプレイに接続していることを知らせるためのメッセージを表示する。
 接続されているディスプレイが2Dディスプレイのみの場合は、自動的に2Dプレイリストに再生を切り替えてもよい。プレーヤに2Dディスプレイと、3Dディスプレイが接続されており、同時に出力している場合は、2Dディしプレイ側に3D映像の左目映像か右目映像のいずれかのみを出力する。どちらの映像をアナログ用に出力するかは、プレイリストなどに格納された、2D出力優先映像情報に従う。この仕組みにより、2Dと3Dとを同時に出力する場合、2Dと3D用の映像を同時にデコードしたり、2Dと3D用のプレイリストを独立して扱えなくても、同時にディスプレイに出力することが可能となる。
 同様にOSD(システム組み込みメニュー)表示を行う際、3Dディスプレイには3D対応のOSD表示を行うが、アナログ出力のように2Dしか対応しない出力には専用の2D映像、あるいは、左目映像のみ/右目映像のみを出力する。
 3D用の出力と2D用の出力が困難な場合は、リモコンにサブディスプレイを設け、そちらに表示してもよい。
 図77は、プレーヤの2D/3D出力を示すシステムパラメータに不正な値が設定され、映像が表示されなくなることを回避するためのプログラムに関する説明である。破線四角形は処理を示しており、楕円はプログラム動作を示し、ごのシステムパラメータの状態、矢印はプログラムが動作するタイミングが併記されている。
 このプログラムは、ディスク挿入時、タイトル切り替え時、PlayList切り替え時、ユーザー要求により表示形式切り替え時に、それぞれの判定ロジックで、システムパラメータの値が有効な値以外には変更されないことを保証する。このプログラムは、各プレーヤ上に組み込まれている。
 タイトルには2種類存在し、AVを管理するPlayListが再生中のみアプリケーションが有効であるMovie titleと、PlayListが再生されていなくてもJavaプログラムから画面を描画することが可能なJava titleがある。
 図中の矢印とプログラムが動作するタイミングには、Movie titleの時のみ動作するものと、Java titleの時のみ動作するものと、タイトルの種類にかかわらず動作するものがある。
 システムパラメータの値が「Invalid」とは、システムパラメータの値が出力に反映されていない状態であり、たとえシステムパラメータの値が変更されても、2D/3Dの出力は切り替わらない。この場合の動作は不定でも良い。
 対して、「Valid」とは、システムパラメータの値が出力に反映されている状態であり、システムパラメータが2Dを示していれ第2記録媒体D出力であり、3Dを示していれ倍速再生D出力である。なお、切り替え時は、HDMIの再認証などが発生するため、システムパラメータの値の変更と出力形式の切り替えに多少のタイムラグがあっても良い。
 ディスク挿入時には、「Initialization」として示されている、図78、図91で示すプログラムが処理される。接続されているディスプレイが眼鏡を必要とせずに立体視できる(レンチキュラーなど)ものであれば、自動的に出力モードを3Dにしてもよい。
 Java titleへ切り替わる時には、「Procedure when title is changed」として示されている、図79(a)で示すプログラムが処理される。SD画質では十分に立体映像を表現できないため、Java管理情報がSD解像度を設定する場合は、自動的に2Dモードに切り替えてもよい。
 PlayList再生開始時には、「Procedure when playback condition is changed」として示されている、図79(b)で示すプログラムが処理される。
 2D/3D出力の切り替え時には、「Procedure when title change is requested」として示されている、図80で示すプログラムが処理される。
 図81は、図77の説明図のうち、Movie titleの場合のみを抜き出してものである。
 図82は、図77の説明図のうち、Java titleの場合のみを抜き出したものである。
 図83は、図77の説明図のうち、タイトル切り替えの場合のみを抜き出したものである。
 (HDMI認証の事前処理)
 図84は、再生開始時の映像表示までの時間を短縮する方法について説明している。
 再生開始時の処理としては、プレーヤにディスクが挿入され、AVを再生する準備やプログラム実行環境の起動を待ち、プログラムに従って再生するPlayListを選択し、再生するビデオストリームが決定してから、ビデオの解像度とフレームレートを検出して、HDMIの認証を行い、TVとの接続が確立後、AVの再生を開始する。
 HDMI認証には時間がかかるため、再生開始までにかなりの時間を待たされる懸念がある。
 そこで、図84(a)に示すように、再生するPlayListが決定する前に、最初に読み込まれるナビゲーションデータの一部に、HDMI認証に必要なビデオ解像度とフレームレートなどの情報を記録しておき、図84(b)に示すように、AVを再生する準備やプログラム実行環境の起動処理と並行してHDMI認証を行っておけば、PlayList選択後、すぐに再生を開始することが可能になる。
 事前にオーサリングされ作り込まれたコンテンツが記録されているBD-ROMの場合、ディスク再生中のPlayListに含まれるビデオ解像度とフレームレートを合わせておくことも可能であるため、事前にHDMI認証を完了させておくと、PlayList再生開始時に待ち時間を短縮する効果が得られる。
 また、たとえPlayListによってはビデオ解像度やフレームレートが異なったとしても、最初に再生されるPlayListや本編のPlayListはオーサリング時点で分かっているため、そのPlayListに含まれるビデオの解像度とフレームレートで事前に認証を済ませておけば、やはりPlayList再生開始時に待ち時間を短縮する効果が得られる。
 
 (特殊再生における映像データ読み込み)
 3D映像が格納されたディスクで、再生互換性を確保するためのディスクと再生装置の従来例としては、図85に示すような方法が知られている。ディスクには、左目用の画面が格納された2D/左目映像ビデオストリームと、右目用の画面が格納された右目映像ビデオストリームが格納されている。
 各AVストリームは、ディスク上に幾つかのエクステントに分割され、交互にディスク上に配置されている。連続して再生するため、隣接する2D/左目AVストリームのエクステントと、右目AVストリームのエクステントは同じ同一再生時間を有しており、インターリーブ配置されているか、両ストリームが1つのストリームに多重化されている。
 2D/左目AVストリームが配置されたエクステントは、それぞれを順次再生した場合に、シームレス再生できるようにディスクのシーク性能や読み込み速度を元に配置されている。ディスクは、2D再生装置に装填されると、2D/左目AVストリームであるが再生され、2D映像を出力する。一方で、ディスクが3D再生装置に装填され、ユーザが3D再生を選択した場合は、2D/左目AVストリームと右目AVストリームがエクステント単位で交互に読み込まれる。つまり、ドライブのシークが発生しないように連続的に読み込まれる。読み込まれたAVストリームは、2D/左目映像ビデオストリームは左目用映像デコーダに、右目映像ビデオストリームは右目用映像デコーダに入力され、それぞれ両方のストリームを復号して、例えば左目画面・右目画面が交互にテレビに出力される。この出力画像は、1/48秒毎に右目と左目のシャッタが切り替わる立体メガネで見ると立体映像に見える。このような構成にすることで、3D映像が格納されたディスクが、2D再生装置で2D映像で再生し、2D/3D再生装置では3D映像を再生することができる。
 通常再生を行う場合は、再生するストリームファイルを指定して先頭から連続して読み込めばよいが、早送りのように映像の部分区間を高速に切り替えて読み込む場合は、読み込み位置を示したナビゲーション情報が必要となる。特に高速に早送りする場合は、Iピクチャのみを読み込んで、次に表示すべきIピクチャにシークすることを繰り返すため、Iピクチャの位置を効率的に読み込むためのナビゲーション情報が必要となる。
 図86は、2D映像の場合のナビゲーション情報を示しており、Iピクチャの開始アドレスとサイズを格納したタイムマップがそれにあたる。
 2D/左目用ストリームと、右目用ストリームが異なるファイルあるいは異なるトランスポートストリームに多重化されている場合は、各々独立した個別のタイムマップを持っておけばよく、早送り再生時に同じ時刻の映像をそれぞれ読み込んで表示すればよい。
 なお、図87に示すように、早送りなどの特殊再生時も、左目用映像と右目用映像はペアでなければ立体に見えないため、同じ時刻の映像を読み込んで表示する必要がある。そのため、それぞれのタイムマップの時刻が異なる場合は、早送り中の立体映像表示は困難であるため、タイムマップの時刻を合わせておく必要がある。
 2D/左目用ストリームと、右目用ストリームが同じトランスポートストリームに多重化されている場合は、個別にタイムマップを作る方法と、左目用・右目用ペアごとに1つのタイムマップを作る方法がある。
 図88は、個別にタイムマップを持つ場合である。1つのトランスポートストリームに多重化されているが、読み込み方法は2つに分かれている場合と同じである。読み取り領域が重なる場合は、連続で読み込むための工夫などは必要である。
 図89は、左目用・右目用ペアごとに1つのタイムマップを作る場合である。ペアごとにエントリーを登録するため、左目用と右目用のIピクチャの時刻は同じである。左目用Iピクチャの先頭アドレスと右目用Iピクチャの先頭アドレスのうち先にあるもののアドレスを登録し、左目用Iピクチャの終端アドレスと右目用Iピクチャの終端アドレスのうち後にあるもののアドレスと先ほどの先頭アドレスとの距離をサイズとして登録する。この方法の場合、あるエントリーを読み取るときに左目用と右目用のピクチャは必ずペアになっている利点があるが、それぞれのIピクチャの距離が離れている場合、間に異なるピクチャの映像が含まれてしまい、余分な読み取りが発生する可能性がある。ただし、シークする時間よりも不要なデータを読み込んで捨てた方が時間効率がよい場合もあるため、こちらの方式の方が効果的な場合もある。
(字幕・グラフィクスの合成)
 図90は、字幕あるいはグラフィクスデータの利用について説明する図である。
 2D用の字幕データと、3D用の左目用字幕データ、右目用字幕データがそれぞれ異なる場合、2Dの字幕データの容量に対して、約3倍のグラフィクスデータ容量が必要となり、ディスクの容量を圧迫する。対策として、2D用の字幕を左目用と右目用に表示位置を変えて映像に対して視差を生じ、浮かせたり凹ませて見せる方法と、3D用に作り込んだ左目用映像と右目映像のうち、2D表示の場合は片側だけ表示する方法が考えられる。前者は2Dのグラフィクスデータサイズとほぼ同じ、後者は約2倍のデータ量ですむ。
 どちらの場合も、3D左目用字幕データと2D用字幕データは、グラフィクスとしては同じものであり、表示形式が2D表示の場合はオフセットなし、3D表示の場合はオフセットありで表示する。
 なお、オフセットデータは、字幕・グラフィクスデータに設定されていてもよいし、ナビゲーション情報から与えられてもよいし、映像データに埋め込まれており、各フレームごとあるいはGOP単位ごとに設定されていてもよい。
 (第13実施形態)
 本実施形態では、これまでの実施形態において説明された構造のデータを再生する再生装置に関して、集積回路803を用いて実現した構成例について説明する。
 図93は、集積回路803を用いて構成された再生装置を示す図である。
 媒体IF部801は、媒体からデータを受信して(読み出して)、集積回路803に転送する。なお媒体IF部801は、前述の実施形態において説明した構造のデータを媒体から受信する。媒体IF部801は、例えば、媒体が光ディスクやハードディスクの場合はディスクドライブ、媒体がSDカードやUSBメモリ等の半導体メモリの場合はカードIF、媒体がCATV等を含む放送波の場合はCANチューナーやSiチューナー、媒体がイーサネット(登録商標)、無線LAN、無線公衆回線等のネットワークの場合は、ネットワークIF、等である。
 メモリ802は、媒体から受信した(読み出した)データを一旦格納したり、集積回路803における処理途中のデータを一時的に格納するメモリで、例えばSDRAM(Synchronous Dynamic Random Access Memory)、DDRx SDRAM(Double-Date-Ratex Synchronous Dynamic Random Access Memory;x=1,2,3・・・)等が用いられる。なおメモリ802は、任意の個数備えていればよく、必要に応じて単数でも複数でも構わない。
 集積回路803は、媒体IF部801から転送されたデータに対して映像・音声処理を施すシステムLSIで、ストリーム処理部805、主制御部806、信号処理部807、AV出力部808、メモリ制御部809等から構成される。
 主制御部806は、タイマ機能や割り込み機能を有するプロセッサコアを有し、プロセッサコアはプログラムメモリ等に格納されたプログラムに従って、集積回路803全体の制御を行う。なお、プログラムメモリ等には、予めOS等の基本ソフトが格納されている。
 ストリーム処理部805は、主制御部806の制御の下、媒体から媒体IF部801経由で転送されたデータを受信し、集積回路803内のデータバスを経由してメモリ802に格納したり、受信したデータを映像系データ(ビデオ/グラフィクス(PG,IG))、音声系データに分離する。前述したとおり媒体上のデータは、レフトビュービデオストリームを含む2D/L用のAVクリップとライトビュービデオストリームを含むR用のAVクリップが、幾つかのエクステントに分割された状態で交互に配置されたものである。従って、主制御部806は、集積回路803がレフトビューストリームを含む左目用データを受信した場合は、メモリ802の第1の領域にデータが格納されるように、ライトビュービデオストリームを含む右目用データを受信した場合は、メモリ802の第2の領域にデータが格納されるように制御する。ここで、左目用データは左目用エクステントに属しており、右目用データは右目用エクステントに属している。なお、メモリ802における第1、第2の領域は単一のメモリが論理的に領域分割されたものでもよいし、物理的に異なるメモリでもよい。また、本実施形態においては、レフトビュービデオストリームを含む左目用データをメインビューデータ、ライトビュービデオストリームを含む右目用データをサブビューデータとして説明を続けるが、右目用データがメインビューデータ、左目用データがサブビューデータであっても構わない。また、グラフィクスストリームは、メインビューデータ及びサブビューデータのいずれか一方、もしくは両方に多重化されている。
 信号処理部807は、主制御部806の制御の下、ストリーム処理部805が分離した映像系データ、音声系データに対し、適切な方式でデコードする。映像系データは、MPEG-2、MPEG-4 AVC、MPEG4-MVC、SMPTE VC-1などの方式を使って符号化記録されており、また音声系データは、ドルビーAC-3、Dolby Digital Plus、MLP、DTS、DTS-HD、リニアPCMなどの方式で圧縮・符号化記録されているので、信号処理部807はこれらに対応した方式でデコードする。なお、信号処理部807のモデルは、例えば第1実施形態の図12における各種デコーダがそれに当たる。
 メモリ制御部809は、集積回路803内の各機能ブロックからメモリ802へのアクセスを調停する。
 AV出力部808は、主制御部806の制御の下、信号処理部807においてデコードされた映像系データを重畳したり、映像系データのフォーマット変換等をして集積回路803外へ出力する。
 図94は、ストリーム処理部805の代表的な構成を示す機能ブロック図である。ストリーム処理部805は、デバイス・ストリームIF部851、多重分離部852、切替部853等を備える。
 デバイス・ストリームIF部851は、媒体IF部801と集積回路803間のデータ転送用インターフェースであり、例えば、媒体が光ディスクやハードディスクの場合はSATA(Serial Advanced Technology Attachment)、ATAPI(Advanced Technology Attachment Packet Interface)、PATA(Parallel Advanced Technology Attachment)、媒体がSDカードやUSBメモリ等の半導体メモリの場合はカードIF、媒体がCATV等を含む放送波などの場合はチューナーIF、媒体がイーサネット、無線LAN、無線公衆回線等のネットワークの場合は、ネットワークIF、等である。なお、媒体の種類によっては、デバイス・ストリームIF部851が媒体IF部801の機能の一部を肩代わりしても構わないし、媒体IF部801が集積回路803に内蔵されていても構わない。
 多重分離部852は、媒体から転送された映像・音声を含む再生データを映像系データと音声系データに分離する。前述の各エクステントは、映像・音声・PG(字幕)・IG(メニュー)等の各ソースパケットから構成されており(但し、サブビューデータは音声を含まない場合もある)、各ソースパケットに含まれているPID(識別子)に従って、映像系・音声系の各TSパケットに分離し、信号処理部807に転送する。処理済のデータは、直接もしくは一旦メモリ802に格納された後、信号処理部807に転送される。なお、多重分離部852のモデルは、例えば、第1実施形態の多重分離部を構成するソースデパケタイザ、PIDフィルタがそれに当たる。
 切替部853は、デバイス・ストリームIF部851が左目用データを受信した時はメモリ802の第1の領域に格納されるように、右目用データを受信した時はメモリ802の第2の領域に格納されるように、出力先(格納先)を切り替える。ここで、切替部853は例えばDMAC(Direct Memory Access Controller)である。図95は切替部853がDMACであった場合の切替部853周辺の概念図である。DMACは、主制御部806の制御の下、デバイス・ストリームIF部が受信したデータとそのデータ格納先アドレスをメモリ制御部809に対して送信する。具体的には、デバイス・ストリームIF部が左目用データを受信した時はアドレス1(第1の格納領域)を、右目用データを受信した時はアドレス2(第2の格納領域)をメモリ制御部809に送信することで、受信データによってその出力先(格納先)を切り替えている。メモリ制御部809は、DMACから送られてきた格納先アドレスに従ってメモリ802にデータを格納する。なお、主制御部806の代わりに切替部853を制御する専用の回路を設けても構わない。
 ここでは、ストリーム処理部805の代表的な構成として、デバイス・ストリームIF部851、多重分離部852、切替部853について説明したが、受信した暗号化データや鍵データ等を復号する暗号エンジン部、媒体~再生装置間の機器認証プロトコル等の実行制御や秘密鍵を保持するセキュア管理部、ダイレクトメモリアクセス用のコントローラ等を更に備えていてもよい。これまでは媒体から受信したデータをメモリ802に格納する際に、切替部853が左目用データ・右目用データかによって格納先を切り替える場合について説明してきたが、媒体から受信したデータを一旦メモリ802に格納した後に、多重分離部852へデータを転送する際に、左目用データ・右目用データを振り分けてもよい。
 図96は、AV出力部808の代表的な構成を示す機能ブロック図である。AV出力部808は、画像重畳部881と、ビデオ出力フォーマット変換部882、オーディオ・ビデオ出力IF部883等を備える。
 画像重畳部881は、デコードされた映像系のデータを重畳する。具体的には、レフトビュービデオデータもしくはライトビュービデオデータと、PG(字幕)、IG(メニュー)をピクチャ単位で重畳する。画像重畳部801のモデルは、例えば図16などである。前述のとおり、グラフィクスストリームの再生タイプには、平面視グラフィクスストリームを用いた第1の再生方法と、左目用のグラフィクスストリームと右目用のグラフィクスストリームのペアを用いた立体視再生を行う第2の再生方法があり、どちらの再生方法を選択するかは、媒体中に存在するデータとそれを再生する再生装置の再生能力との組み合わせによって決まる。具体的には、媒体は、グラフィクスストリームに、左目用グラフィクスストリームと右目用グラフィクスストリームのペアが存在するか否かを示す識別フラグを有している。また再生装置は、メモリ802中に左目用グラフィクスストリームと右目用グラフィクスストリームのペアを用いた立体視再生を行う能力があるか否かを示す情報を有しており、識別フラグが左目用グラフィクスストリームと右目用グラフィクスストリームのペアが存在することを示し、且つ再生装置が左目用グラフィクスストリームと右目用グラフィクスストリームのペアを用いた立体視再生を行う能力がある場合に、第2の再生方法が選択され、それ以外は第1の再生方法が選択される。第2の再生方法が選択された時は、レフトビュービデオデータと対応する左目用グラフィクスデータが重畳され、ライトビュービデオデータと対応する右目用グラフィクスデータが重畳される。また、第1の再生方法が選択された時は、平面視グラフィクスデータには水平座標の+方向もしくは-方向のオフセットが与えられ、レフトビュービデオデータは、+方向にオフセットが与えられた対応する平面視グラフィクスデータと重畳され、ライトビュービデオデータは、-方向にオフセットが与えられた対応する平面視グラフィクスデータが重畳される。なお、オフセット制御のための情報は、サブビューストリームに含まれている。
 ビデオ出力フォーマット変換部882は、デコードされた映像系データに対して、拡大または縮小するリサイズ処理、走査方式をプログレッシブ方式及びインターレース方式の一方から他方に変換するIP変換処理、ノイズを除去するノイズリダクション処理、フレームレートを変換するフレームレート変換処理などを必要に応じて行う。
 オーディオ・ビデオ出力IF部883は、画像重畳やフォーマット変換された映像系データとデコードされた音声系データとに対して、データ送信形式に合わせてエンコード等を行う。なお、後述するようにオーディオ・ビデオ出力IF部883は、一部集積回路803外に備えられても構わない。
 図97は、AV出力部808もしくは再生装置のデータ出力部分を、より詳細に示した構成例である。本実施の形態における集積回路803及び再生装置は、複数の映像系データ、音声系データのデータ送信形式に対応している。図96におけるオーディオ・ビデオ出力IF部883は、アナログビデオ出力IF部883a、アナログオーディオ出力IF部883c、デジタルオーディオ・出力IF部883bに対応する。
 アナログビデオ出力IF部883aは、画像重畳処理や出力フォーマット変換処理された映像系データを、アナログ映像信号形式に変換・エンコードし、出力する。例えば、NTSC、PAL、SECAMの3方式のいずれかに対応したコンポジットビデオエンコーダー、S映像信号(Y/C分離)用エンコーダー、コンポーネント映像信号用エンコーダーや、DAC(D/Aコンバータ)等がそれに当たる。
 デジタルオーディオ・ビデオ出力IF部883bは、デコードされた音声系データと画像重畳処理や出力フォーマット変換された映像系データを一体化、更に暗号化した後、データ送信規格に合わせてエンコードし、出力する。例えば、HDMI(High-Definition Multimedia InterFace)等がそれに当たる。
 アナログオーディオ出力IF部883cは、デコードされた音声系データをD/A変換しアナログ音声データを出力するオーディオDAC等がそれに当たる。
 これら映像系データ及び音声系データの送信形式は、表示装置・スピーカー側がサポートしているデータ受信装置(データ入力端子)に依存して切り替えたり、またユーザーの選択によって送信形式を切り替えることが可能である。更に、単一の送信形式だけではなく、並行して複数の送信形式にて同一のコンテンツに対応したデータを送信することも可能である。
 ここでは、AV出力部808の代表的な構成として、画像重畳部881、ビデオ出力フォーマット変換部882、オーディオ・ビデオ出力IF部883について説明したが、フィルタ処理、画面合成、曲線描画、3D表示等のグラフィックス処理を行うグラフッィクスエンジン部等を更に備えていてもよい。
 以上が、本実施の形態における再生装置の構成についての説明である。なお、前述の集積回路803に含まれる各機能ブロックは全てが内蔵されていなくても良いし、逆に図93のメモリ802が集積回路803に内蔵されていてもよい。また、本実施形態においては、主制御部806と信号処理部807は異なる機能ブロックとして説明してきたが、主制御部806が信号処理部807の処理の一部を行っても構わない。
 また、例えば図100のように、本実施の形態における再生装置の処理を表示装置において行っても構わない。その際、媒体IF部801が受信したデータは集積回路803によって信号処理され、処理された映像系データは表示駆動部8010を経由して表示パネル811を通して出力され、処理された音声系データは、スピーカー812を通して出力される。ここで、AV出力部808は例えば図101のように構成され、集積回路803内部もしくは外部のビデオ出力IF部884及びオーディオ出力IF部885を通してデータ転送が行われる。なお、ビデオ出力IF部884及びオーディオ出力IF部885をそれぞれ複数備えていてもよいし、ビデオとオーディオ共通のIF部を備えていてもよい。
 また、集積回路803における制御バスやデータバスの経路は、各処理ブロックの処理手順や処理内容によって任意に配置されるが、例えば図98のように、各処理ブロックどうしを直接結ぶようにデータバスを配置してもよいし、図99のように各処理ブロックどうしをメモリ802(メモリ制御部809)を介して結ぶようにデータバスを配置してもよい。
 また、集積回路803は、複数のチップを一つのパッケージに封止し、見かけ上一つのLSIにしたマルチチップ・モジュールであっても構わない。
 また、LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
 次に、以上のように構成された再生装置の動作について説明する。
 図102は、媒体からデータを受信し(読み出し)、デコードした後に、映像信号及び音声信号として出力する再生動作手順を簡単に示すフローチャートである。
 S801:媒体からデータを受信する(読み出す)(媒体IF部801、ストリーム処理部805)。
 S802:S801において受信された(読み出された)データを各種データ(映像系データ・音声系データ)に分離する(ストリーム処理部805)。
 S803:S802において分離された各種データを適切な形式でデコードする(信号処理部807)。
 S804:S803においてデコード処理された各種データのうち、映像系のものについて重畳処理を行う(AV出力部808)。
 S805:S802~S804において処理された映像系データ及び音声系データを出力する(AV出力部808)。
 図103は、より詳細に再生動作手順を示したフローチャートである。各動作・処理は、主制御部806の制御の下、行われる。
 S901:ストリーム処理部805のデバイス・ストリームIF部851は、媒体IF部801を通して媒体に格納されている再生されるデータ以外の、データを再生するために必要なデータ(PLAYLIST、CLIPINF等)を受信し(読み出し)、メモリ802に格納する(媒体IF部801、デバイスIF部851、メモリ制御部809、メモリ802)。
 S902:主制御部806は、受信されたCLIPINFに含まれるストリーム属性情報から、媒体に格納されている映像データ及び音声データの圧縮形式を認識し、対応するデコード処理ができるように信号処理部807の初期化を行う(主制御部806)。
 S903:ストリーム処理部805のデバイス・ストリームIF部851は、媒体IF部801を通して媒体に格納されている映像・音声など再生されるデータを受信し(読み出し)、切替部853、メモリ制御部809を経由してメモリ802に格納する。なお、データはエクステント単位で受信し(読み出され)、左目用データを受信した(読み出した)時は第1の領域へ、右目用データを受信した(読み出した)時は第2の領域へ格納されるよう、主制御部806が切替部853を制御し、切替部853がデータの出力先(格納先)を切り替える(媒体IF部801、デバイスIF部851、主制御部806、切替部853、メモリ制御部809、メモリ802)。
 S904:メモリ802に格納されたデータは、ストリーム処理部805の多重分離部852に転送され、多重分離部852はストリームデータを構成するソースパケットに含まれるPIDに従って映像系(主映像、副映像、PG(字幕)、IG(メニュー))、音声系(音声、副音声)のいずれであるか認識し、TSパケット単位で信号処理部807の対応する各デコーダへ転送する。(多重分離部852)。
 S905:信号処理部807の各デコーダは、転送されてきたTSパケットに対して、適切な方式でデコード処理を行う(信号処理部807)。
 S906:信号処理部807においてデコードされた映像系データのうち、レフトビュービデオストリーム及びライトビュービデオストリームに対応するデータを、表示装置4に合わせてリサイズする(ビデオ出力フォーマット変換部882)。
 S907:S906においてリサイズされたビデオストリームと、PG(字幕)・IG(メニュー)とが重畳される(画像重畳部881)。
 S908:S907において重畳された映像データに対して、走査方式の変換であるIP変換を行う(ビデオ出力フォーマット変換部882)。
S909:これまでの処理を行った映像系データ及び音声系データに対して、表示装置・スピーカー4のデータ出力方式、もしくは表示装置・スピーカー4へのデータ送信方式に従って、エンコードやD/A変換等を行う。例えば、映像系データ・音声系データをそれぞれ、アナログまたはデジタル出力に対応するために処理を行う。映像系データのアナログ出力としては、コンポジット映像信号やS映像信号やコンポーネント映像信号等をサポートしている。また映像系・音声系データのデジタル出力は、HDMIをサポートしている(オーディオ・ビデオ出力IF部883)。
 S910:S909において処理された映像系データ及び音声系データを、表示装置・スピーカー4に送信、出力する(オーディオ・ビデオ出力IF部883、表示装置・スピーカー4)。
 以上が、本実施の形態における再生装置の動作手順の説明である。なお、処理ごとに処理結果をメモリ802に一旦格納しても構わない。また、図100の表示装置で再生処理を行った場合も基本的に同様の動作手順であり、図93の再生装置の各機能ブロックに対応する機能ブロックが同様の処理を行う。また、本動作手順では、ビデオ出力フォーマット変換部882においてリサイズ処理及びIP変換処理を行う場合について説明したが、必要に応じて処理を省略しても構わないし、また他の処理(ノイズリダクション処理、フレームレート変換処理等)を行っても構わない。更に、可能なものについては処理手順を変更しても構わない。
 
 
  (備考)
 以上、本願の出願時点において、出願人が知り得る最良の実施形態について説明したが、以下に示す技術的トピックについては、更なる改良や変更実施を加えることができる。各実施形態に示した通り実施するか、これらの改良・変更を施すか否かは、何れも任意的であり、実施する者の主観によることは留意されたい。
 (光ディスクの再生)
 BD-ROMドライブは、半導体レーザ、コリメートレンズ、ビームスプリッタ、対物レンズ、集光レンズ、光検出器を有する光学ヘッドを備える。半導体レーザから出射された光ビームは、コリメートレンズ、ビームスプリッタ、対物レンズを通って、光ディスクの情報面に集光される。
 集光された光ビームは、光ディスク上で反射/回折され、対物レンズ、ビームスプリッタ、集光レンズを通って、光検出器に集光される。光検出器にて集光された光の光量に応じて、再生信号を生成する。
 (記録媒体のバリエーション)
 各実施の形態における記録媒体は、光ディスク、半導体メモリーカード等、パッケージメディア全般を含んでいる。本実施の形態の記録媒体は予め必要なデータが記録された光ディスク(例えばBD-ROM、DVD-ROMなどの既存の読み取り可能な光ディスク)を例に説明をするが、これに限定される必要はなく、例えば、放送またはネットワークを経由して配信された本発明の実施に必要なデータを含んだ3Dコンテンツを光ディスクへ書き込む機能を有する端末装置(例えば左記の機能は再生装置に組み込まれていても良いし、再生装置とは別の装置であってもよい)を利用して書き込み可能な光ディスク(例えばBD-RE、DVD-RAMなどの既存の書き込み可能な光ディスク)に記録し、この記録した光ディスクを本発明の再生装置に適用しても本発明の実施は可能である。
 (半導体メモリカード記録装置及び再生装置の実施形態)
 各実施の形態で説明をしたデータ構造を半導体メモリーに記録する記録装置、及び、再生する再生装置の実施形態について説明する。
 まず、前提となる技術として、BD-ROMに記録されているデータの著作権保護の仕組みについて説明する。
 BD-ROMに記録されたデータのうち、例えば著作権の保護、データの秘匿性の向上の観点からデータの一部が、必要に応じて暗号化されている場合がある。
 例えば、BD-ROMに記録されたデータのうち、暗号化されているデータは、例えばビデオストリームに対応するデータ、オーディオストリームに対応するデータ、またはこれらを含むストリームに対応するデータであったりする。
 以後、BD-ROMに記録されたデータのうち、暗号化されているデータの解読について説明をする。
 半導体メモリカード再生装置においては、BD-ROM内の暗号化されたデータを解読するために必要な鍵に対応するデータ(例えばデバイスキー)が予め再生装置に記憶されている。
 一方、BD-ROMには暗号化されたデータを解読するために必要な鍵に対応するデータ(例えば上述のデバイスキーに対応するMKB(メディアキーブロック))と、暗号化されたデータを解読するための鍵自体を暗号化したデータ(例えば上述のデバイスキー及びMKBに対応する暗号化タイトルキー)が記録されている。ここで、デバイスキー、MKB、及び暗号化タイトルキーは対になっており、さらにBD-ROM上の通常コピーできない領域(BCAと呼ばれる領域)に書き込まれた識別子(例えばボリュームID)とも対応付けがされている。この組み合わせが正しくなければ、暗号の解読ができないものとする。組み合わせが正しい場合のみ、暗号解読に必要な鍵(例えば上述のデバイスキー、MKB及びボリュームIDを元に、暗号化タイトルキーを復号して得られるタイトルキー)を導き出すことができ、この暗号解読に必要な鍵を用いて、暗号化されたデータの解読が可能となる。
 装填されたBD-ROMを再生装置において再生する場合、例えばBD-ROM内の暗号化タイトルキー、MKBと対になっている(または対応する)デバイスキーが再生装置内になければ、暗号化されたデータは再生がなされない。何故ならば、暗号化されたデータの解読に必要な鍵(タイトルキー)は、鍵自体が暗号化されて(暗号化タイトルキー)BD-ROM上に記録されており、MKBとデバイスキーの組み合わせが正しくなければ、暗号の解読に必要な鍵を導き出すことができないからである。
 逆に暗号化タイトルキー、MKB、デバイスキー及びボリュームIDの組み合わせが正しければ、例えば上述の暗号解読に必要な鍵(デバイスキー、MKB及びボリュームIDを元に、暗号化タイトルキーを復号して得られるタイトルキー)を用いてビデオストリームがデコーダにてデコードされ、オーディオストリームがオーディオデコーダにてデコードされるように再生装置は構成されている。
 以上が、BD-ROMに記録されているデータの著作権保護の仕組みであるが、この仕組みは、BD-ROMに必ずしも限定されるのではなく、例えば、読込み/書込み可能な半導体メモリー(例えばSDカードなどの可搬性を有する半導体メモリーカード)に適用した場合においても、実施が可能である。
 半導体メモリーカード再生装置の再生手順について説明する。光ディスクでは例えば、光ディスクドライブを介してデータを読み出すように構成していたのに対し、半導体メモリーカードを用いた場合には、半導体メモリーカード内のデータを読み出すためのI/Fを介してデータを読み出すように構成すればよい。
 より詳細には、再生装置のスロットに半導体メモリーカードが挿入されると、半導体メモリーカードI/Fを経由して再生装置と半導体メモリーカードが電気的に接続される。半導体メモリーカードに記録されたデータは半導体メモリーカードI/Fを介して読み出すように構成すれば良い。
 (受信装置としての実施形態)
 各実施形態で説明した再生装置は、本実施の形態で説明をしたデータに相応するデータ(配信データ)を電子配信サービスの配信サーバから受信し、半導体メモリカードに記録する端末装置としても実現することができる。
 かかる端末装置は、各実施形態で説明した再生装置がそのような動作を行なえるように構成をされていても良いし、本実施の形態の再生装置とは別に半導体メモリーに配信データを記憶することを行う専用の端末装置にて行なうような形態であっても良い。ここでは再生装置が行なう例について説明をする。また記録先の半導体メモリーとしてSDカードを例に説明をする。
 再生装置が備えるスロットに挿入されたSDメモリーカードに配信データを記録する場合、まず配信データを蓄積する配信サーバへ配信データの送信を要求する。このとき再生装置は挿入したSDメモリーカードを一意に識別するための識別情報(例えば個々のSDメモリーカード固有の識別番号、より具体的には、例えばSDメモリーカードのシリアル番号等)をSDメモリーカードから読み出して、読み出した識別情報を配信要求とともに、配信サーバへ送信する。
 この、SDメモリーカードを一意に識別するための識別情報は例えば上述のボリュームIDに相当する。
 一方、配信サーバでは、配信するデータのうち必要なデータ(例えばビデオストリーム、オーディオストリーム等)が暗号解読に必要な鍵(例えばタイトルキー)を用いて暗号の解除ができるように暗号化がなされてサーバ上に格納されている。
 例えば配信サーバは、秘密鍵を保持しており、半導体メモリーカードの固有の識別番号のそれぞれに対して異なる公開鍵情報が動的に生成できるように構成されている。
 また、配信サーバは、暗号化されたデータの解読に必要な鍵(タイトルキー)自身に対して暗号化ができるように構成されている(つまり暗号化タイトルキーを生成できるように構成されている)。
 生成される公開鍵情報は例えば上述のMKB、ボリュームID及び暗号化タイトルキーに相当する情報を含む。暗号化されたデータは例えば半導体メモリー固有の識別番号、後述する公開鍵情報に含まれる公開鍵本体、および再生装置に予め記録されたデバイスキーの組み合わせが正しければ、暗号解読に必要な鍵(例えばデバイスキー、MKB及び半導体メモリー固有の識別番号を元に、暗号化タイトルキーを復号して得られるタイトルキー)が得られ、この得られた暗号解読に必要な鍵(タイトルキー)を用いて、暗号化されたデータの解読ができるものである。
 次に、再生装置は、受信した公開鍵情報と配信データをスロットに挿入した半導体メモリーカードの記録領域に記録する。
 次に、半導体メモリーカードの記録領域に記録した公開鍵情報と配信データに含まれるデータのうち暗号化したデータを復号して再生する方法の一例について説明をする。
 受信した公開鍵情報は例えば公開鍵本体(例えば上述のMKB及び暗号化タイトルキー)、署名情報、半導体メモリーカードの固有の識別番号、および無効にすべきデバイスに関する情報を示すデバイスリストが記録されている。
 署名情報には例えば、公開鍵情報のハッシュ値を含む。
 デバイスリストには例えば、不正に再生がなされる可能性があるデバイスに関する情報が記載されている。これは例えば再生装置に予め記録されたデバイスキー、再生装置の識別番号、または再生装置が備えるデコーダの識別番号といったように、不正に再生される可能性がある装置、装置に含まれる部品、または機能(プログラム)といったものを一意に特定するための情報である。
 半導体メモリーカードの記録領域に記録した配信データのうち、暗号化されたデータの再生に関し、説明をする。
 まず、公開鍵本体を利用して暗号化したデータを復号する前に復号鍵本体を機能させてよいかどうかに関するチェックを行う。
 具体的には、(1) 公開鍵情報に含まれる半導体メモリー固有の識別情報と半導体メモリーカードに予め記憶されている固有の識別番号とが一致するかどうかのチェック(2) 再生装置内で算出した公開鍵情報のハッシュ値と署名情報に含まれるハッシュ値が一致するかのチェック(3) 公開鍵情報に含まれるデバイスリストに示される情報に基づいて、再生を行う再生装置が不正な再生が可能かどうかのチェック(例えば公開鍵情報に含まれるデバイスリストに示されるデバイスキーと、再生装置に予め記憶されたデバイスキーが一致するかどうかのチェック)
 を行なう。これらのチェックを行なう順番は、どのような順序で行なってもよい。
 上述の(1)~(3)のチェックにおいて、公開鍵情報に含まれる半導体メモリー固有の識別情報と半導体メモリーに予め記憶されている固有の識別番号とが一致しない、再生装置内で算出した公開鍵情報のハッシュ値と署名情報に含まれるハッシュ値が一致しない、または、再生を行う再生装置が不正に再生される可能性があると判断した、のいずれかを満足すれば、再生装置は、暗号化されたデータの解読がなされないように制御する。
 また、公開鍵情報に含まれる半導体メモリーカードの固有の識別情報と半導体メモリーカードに予め記憶されている固有の識別番号とが一致し、かつ再生装置内で算出した公開鍵情報のハッシュ値と署名情報に含まれるハッシュ値が一致し、かつ再生を行う再生装置が不正に再生される可能性がないと判断したのであれば、半導体メモリー固有の識別番号、公開鍵情報に含まれる公開鍵本体、および再生装置に予め記録されたデバイスキーの組み合わせが正しいと判断し、暗号解読に必要な鍵(デバイスキー、MKB及び半導体メモリー固有の識別番号を元に、暗号化タイトルキーを復号して得られるタイトルキー)を用いて、暗号化されたデータの解読を行なう。
 例えば暗号化されたデータがビデオストリーム、オーディオストリームである場合、ビデオデコーダは上述の暗号解読に必要な鍵(暗号化タイトルキーを復号して得られるタイトルキー)を利用してビデオストリームを復号し(デコードし)、オーディオデコーダは、上述の暗号解読に必要な鍵を利用してオーディオストリームを復号する(デコードする)。
 このように構成をすることにより、電子配信時において不正利用される可能性がある再生装置、部品、機能(プログラム)などが分っている場合、これらを識別するための情報をデバイスリストに示して、配信するようにすれば、再生装置側がデバイスリストに示されているものを含むような場合には公開鍵情報(公開鍵本体)を用いた復号を抑止できるようにできるため、半導体メモリー固有の識別番号、公開鍵情報に含まれる公開鍵本体、および再生装置に予め記録されたデバイスキーの組み合わせが、たとえ正しくても、暗号化されたデータの解読がなされないように制御できるため、不正な装置上での配信データの利用を抑止することが可能となる。
 また半導体メモリーカードに予め記録されている半導体メモリーカードの固有の識別子は秘匿性の高い記録領域に格納するような構成を採用するのが望ましい。何故ならば、半導体メモリーカードに予め記録されている固有の識別番号(例えばSDメモリーカードを例にすればSDメモリーカードのシリアル番号等)は改竄がなされると、違法コピーが容易になされてしまう。何故ならば複数の半導体メモリーカードには、それぞれ異なる固有の識別番号が割り当てられているが、この固有の識別番号が同一となるように改竄がなされてしまえば、上述の(1)の判定が意味を成さなくなり、改竄がなされた数に相当する違法コピーがなされてしまう可能性があるからである。
 従って、半導体メモリーカードの固有の識別番号といった情報は秘匿性が高い記録領域に記録するような構成を採用するのが望ましい。
 このような構成を実現するために、例えば半導体メモリーカードは、半導体メモリーカードの固有の識別子と言った秘匿性の高いデータを記録するための記録領域を通常のデータを格納する記録領域(第1の記録領域と称す)とは別の記録領域(第2の記録領域と称す)に設けること、およびこの第2の記録領域へのアクセスをするための制御回路を設けるとともに、第2の記録領域へのアクセスには制御回路を介してのみアクセスできるような構成とする。
 例えば、第2の記録領域に記録されているデータは暗号化がなされて、記録されており、制御回路は、例えば暗号化されたデータを復号するための回路が組み込まれている。制御回路へ第2の記録領域へのデータのアクセスが合った場合には、暗号を復号し、復号したデータを返すように構成すれば良い。または、制御回路は第2の記録領域に記録されているデータの格納場所の情報を保持しており、データのアクセスの要求があれば、対応するデータの格納場所を特定し、特定した格納場所から読み取ったデータを返すような構成としても良い。
 再生装置上で動作するアプリケーションで、電子配信を利用して半導体メモリーカードに記録する要求するアプリケーションは、メモリーカードI/Fを介して制御回路へ第2の記録領域に記録されたデータ(例えば半導体メモリ固有の識別番号)へのアクセス要求を発行すると、要求を受けた制御回路は第2の記録領域に記録されたデータを読み出して再生装置上で動作するアプリケーションへ返す。この半導体メモリーカードの固有の識別番号とともに必要なデータの配信要求を配信サーバに要求し、配信サーバから送られる公開鍵情報、および対応する配信データを第1の記録領域に記録するように構成すればよい。   
 また、再生装置上で動作するアプリケーションで、電子配信を利用して半導体メモリーカードに記録を要求するアプリケーションは、メモリーカードI/Fを介して制御回路へ第2の記録領域に記録されたデータ(例えば半導体メモリ固有の識別番号)へのアクセス要求を発行する前に、アプリケーションの改竄がされていないかを事前にチェックすることが望ましい。改竄のチェックには例えば既存のX.509仕様に準拠したデジタル証明書を利用したチェックなどを利用しても良い。
 また、半導体メモリーカードの第1の記録領域に記録された配信データへのアクセスは半導体メモリーカードが有する制御回路を介してアクセスする必要は必ずしもない。
 本発明に係る情報記録媒体は3D映像を格納しているが、2D映像を再生する装置と、3D映像を再生する装置のどちらでも再生できるため、互換性を意識することなく3D映像を格納した映画タイトルなどの動画コンテンツを市場に供給することができ、映画市場や民生機器市場を活性化させることができる。故に本発明に係る記録媒体、再生装置は、映画産業や民生機器産業において高い利用可能性をもつ
    100 記録媒体
    200 再生装置
    300 表示装置
    400 3D眼鏡

Claims (18)

  1.  記録媒体に記録されたグラフィクスストリームを再生する再生装置であって、
     前記記録媒体には、前記再生装置が選択可能なグラフィックスストリームを、ストリーム番号と対応付けて示すストリーム選択テーブルが記録されており、
     前記再生装置は、
     前記ストリーム選択テーブルに登録されているストリーム番号のうち、再生対象であるグラフィクスストリームに対応するストリーム番号を格納するストリーム番号レジスタと、
     前記再生装置のグラフィクス再生能力を示すケーパビリティレジスタとを備え、
     グラフィクスストリームの再生タイプには、平面視グラフィクスストリームを用いた再生を行う第1の再生タイプと、左目用グラフィクスストリームと右目用グラフィクスストリームのペアを用いて立体視再生を行う第2の再生タイプとがあり、
     前記ケーパビリティレジスタは、左目用グラフィクスストリームと右目用グラフィクスストリームのペアを用いた立体視再生を行う能力が再生装置に存在するか否かを示しており、
     前記ケーパビリティレジスタに示される再生能力に従い、前記ストリーム番号レジスタに格納されたストリーム番号に対応するグラフィクスストリームの再生タイプを選択する ことを特徴とする再生装置。
  2.  前記再生装置は、
     前記ケーパビリティレジスタが、左目用グラフィクスストリームと右目用グラフィクスストリームのペアを用いた立体視再生を行う能力が再生装置に存在しないことを示す場合、前記第1の再生タイプを選択する
     ことを特徴とする請求項1記載の再生装置。
  3.  前記記録媒体には、立体視再生モードにおいて、前記再生装置が選択可能なグラフィクスストリームを、ストリーム番号と対応付けて示す拡張ストリーム選択テーブルが記録されており、
     前記拡張ストリーム選択テーブルは、識別フラグを含み、 
     前記識別フラグは、
     立体視再生モードにおいて、前記再生装置が選択可能なグラフィクスストリームに、左目用グラフィクスストリームと右目用グラフィクスストリームのペアが存在するか否かを示し、
     前記再生装置は、
    前記識別フラグが、左目用グラフィクスストリームと右目用グラフィクスストリームのペアが存在する旨を識別フラグが示しており、且つ
    前記ケーパビリティレジスタが、左目用グラフィクスストリームと右目用グラフィクスストリームのペアを用いた立体視再生を行う能力が再生装置に存在することを示す場合、前記第2の再生タイプを選択する
     ことを特徴とする請求項1記載の再生装置。
  4.  グラフィクスストリームには、プレゼンテーショングラフィクスストリームと、インタラクティブグラフィクスストリームとがある 
     ことを特徴とする請求項3記載の再生装置。
  5.  平面視映像の再生に利用されるメインビュービデオストリームと、前記メインビュービデオストリームと組み合わされて立体視映像の再生に利用されるサブビュービデオストリームと、グラフィクスストリームと、識別フラグを含むデータを再生する再生装置に搭載される半導体集積回路であって、
     前記メインビュービデオストリームは、メインビュートランスポートストリームとして多重化された後、複数のメインビューデータ群に分割され、
     前記サブビュービデオストリームは、サブビュートランスポートストリームとして多重化された後、複数のサブビューデータ群に分割され、
     前記ストリームデータにおいては、前記メインビューデータ群と前記サブビューデータ群は交互に配置されており、
     前記グラフィクスストリームは、前記メインビュートランスポートストリーム及び前記サブビュートランスポートストリームのうち何れか一方、もしくは両方に多重化されており、前記メインビューデータ群とサブビューデータ群の少なくとも何れかは、グラフィクスデータを含み、

     前記グラフィクスストリームの再生タイプには、平面視グラフィクスストリームを用いた再生を行う第1の再生タイプと、左目用のグラフィクスストリームと右目用のグラフィクスストリームのペアを用いた立体視再生を行う第2の再生タイプとがあり、
     前記識別フラグは、立体視再生モードにおいて、前記グラフィクスストリームに、左目用グラフィクスストリームと右目用グラフィクスストリームのペアが存在するか否かを示し、
     前記半導体集積回路は、
     前記半導体集積回路の制御を行う主制御部と、
     前記ストリームデータを受信し、前記半導体集積回路の内部もしくは外部に設けられたメモリに一旦格納した後、ビデオデータとグラフィクスデータに多重分離するストリーム処理部と、
     前記ビデオデータと前記グラフィクスデータをそれぞれデコードする信号処理部と、デコードされた前記ビデオデータを出力するAV出力部とを備えており、
     前記ストリーム処理部は、受信した前記ストリームデータの格納先を前記メモリ内の第1の領域と第2の領域との間で切り替える切替部を備えており、
     前記主制御部は、前記メインビューデータ群に属しているデータを、前記第1の領域に格納するように前記切替部を制御し、前記サブビューデータ群に属しているデータを、前記第2の領域に格納するように前記切替部を制御し、
     前記メモリ内の第3の領域には、前記左目用グラフィクスストリームと右目用グラフィクスストリームのペアを用いた立体視再生を行う能力が前記再生装置に存在するか否かを示した情報が格納されており、
     前記主制御部は、前記左目用グラフィクスストリームと右目用グラフィクスストリームのペアを用いた立体視再生を行う能力が前記再生装置に存在するか否かを示した情報と前記識別フラグに従って、前記グラフィクスストリームの再生タイプを選択し、
     前記AV出力部は、選択された再生タイプに従って前記デコードされたビデオデータと前記グラフィクスデータを重畳し、重畳されたデータを出力する
     ことを特徴とする半導体集積回路。
  6.  記録媒体を再生する再生装置であって、
     前記再生装置に接続されている表示装置に立体視表示能力が存在するか否かを示すケーパビリティレジスタと、
     自機の出力モードを格納しているモードレジスタとを備え、 
     複数の条件が成立するかどうかを判定して、複数の条件が成立した場合に、前記モードレジスタに立体視出力モードを設定し、
     前記複数の条件のうち第1条件は、前記ケーパビリティレジスタが、前記再生装置に接続されている表示装置に立体視表示能力が存在することを示していることであり、
     前記複数の条件のうち第2条件は、記録媒体に記録された、出力モードの初期値が立体視出力モードである旨を示すことであり、
     ディスク読み込み時に、前記第1条件と前記第2条件が成立するかどうかの判定を行い、前記第1条件と前記第2条件が成立した場合、前記モードレジスタに立体視出力モードを設定する
     ことを特徴とする再生装置。
  7.  記録媒体を再生する再生装置であって、
    前記再生装置に接続されている表示装置に立体視表示能力が存在するか否かを示すケーパビリティレジスタと、
     自機の出力モードを格納しているモードレジスタとを備え、 
     複数の条件が成立するかどうかを判定して、複数の条件が成立した場合に、前記モードレジスタに立体視出力モードを設定し、
     前記記録媒体には、再生経路を示すプレイリスト情報が記録されており、
     前記複数の条件のうち第1条件は、前記ケーパビリティレジスタが、前記再生装置に接続されている表示装置に立体視表示能力が存在することを示していることであり、
     前記複数の条件のうち第2条件は、再生するプレイリスト情報が、立体視用の拡張ストリーム選択テーブルを含むことであり、
     前記拡張ストリーム選択テーブルは、立体視再生モードにおいて前記再生装置が選択可能なエレメンタリストリームを、ストリーム番号と対応付けて示すリストであり、
     プレイリスト再生開始時に、前記モードレジスタに格納されている出力モードが立体視出力モードの場合、前記第1条件と前記第2条件が成立するかどうかの判定を行い、前記第1条件と前記第2条件が成立した場合、前記モードレジスタに格納されている立体視出力モードを維持する
     ことを特徴とする再生装置。
  8.  前記再生装置は、前記モードレジスタに格納されている出力モードが平面視出力モードであれば、前記複数の条件が成立したとしても、モードレジスタに格納されている平面視出力モードを維持する
     ことを特徴とする請求項7記載の再生装置。
  9.  前記再生装置は、プレイリストの再生中であれば、前記モードレジスタに格納されている出力モードを維持する
     ことを特徴とする請求項7記載の再生装置。
  10.  記録媒体を再生する再生装置であって、
     前記再生装置に接続されている表示装置に立体視表示能力が存在するか否かを示すケーパビリティレジスタと、
     自機の出力モードを格納しているモードレジスタとを備え、
     所定の条件が成立するかどうかを判定して、所定の条件が成立した場合に、前記モードレジスタに立体視出力モードを設定し、 
     前記立体視表示能力を有する表示装置には、立体視映像を見る際に、立体視眼鏡の着用が必要なものと不要なものとがあり、
     前記ケーパビリティレジスタは、要否フラグを含み、前記要否フラグは、前記再生装置に接続されている表示装置に立体視表示能力が存在する場合、立体視映像を見る際に、立体視眼鏡の着用が必要か否かを示し、
     前記要否フラグが、立体視映像を見る際に、立体視眼鏡の着用が不要である旨を示している場合、前記所定の条件を満たすと判定し、前記モードレジスタに立体視出力モードを設定する
     ことを特徴とする再生装置。
  11.  記録媒体を再生する再生装置であって、
     前記再生装置に接続されている表示装置に立体視表示能力が存在するか否かを示すケーパビリティレジスタと、
     自機の出力モードを格納しているモードレジスタとを備え、
     所定の条件が成立するかどうかを判定して、所定の条件が成立した場合に、前記モードレジスタに立体視出力モードを設定し、 
     前記ケーパビリティレジスタは、表示タイプフラグを含み、前記表示タイプフラグは、前記再生装置に接続されている表示装置における表示方式が標準画質のものか、高画質のものかを示し、表示装置における表示方式が標準画質であれば、前記所定の条件を満たさないと判定する
     ことを特徴とする再生装置。
  12.  前記表示タイプフラグは、第1フラグ、第2フラグから構成され、
     前記第1フラグは、オンに設定されることで、表示装置における表示可能方式が、1920×1080/23.976Hz立体視又は1280×720/59.94Hz立体視である旨を示し、オフに設定されることでそうでない旨を示し、
     前記第2フラグは、オンに設定されることで、表示装置における表示可能方式が、1280×720/50Hz立体視である旨を示し、オフに設定されることでそうでない旨を示し、
     表示装置が標準画質に対応する旨は、第1フラグ及び第2フラグがオフに設定されることで表現される
     ことを特徴とする請求項11記載の再生装置。
  13.  インデックステーブルが記録された記録媒体であって、
     前記インデックステーブルは、アプリケーション情報を含み、
     前記アプリケーション情報は、
     初期出力モード情報と、フォーマット・フレームレート情報とを含み、
     前記初期出力モード情報は、再生装置に優先的に設定される出力モードが平面視出力モードか立体視出力モードかを示す情報であり、
     前記フォーマット・フレームレート情報は、記録媒体を挿入時に、再生装置の出力モード情報として利用することができる映像フォーマット、及び、フレームレートを示す
     ことを特徴とする記録媒体。
  14.  インデックステーブルが記録された記録媒体を再生する再生装置であって、
    前記インデックステーブルは、アプリケーション情報を含み、
     前記アプリケーション情報は、
     初期出力モード情報と、フォーマット・フレームレート情報とを含み、
     前記初期出力モード情報は、再生装置による出力モードの初期設定が平面視出力モードか立体視出力モードかを示す情報であり、
     前記フォーマット・フレームレート情報は、再生装置による再生出力において採用することができる映像フォーマット、及び、フレームレートを示し、
     前記再生装置は、
     前記記録媒体を挿入時に、前記フォーマット・フレームレート情報を読み出して、再生装置の出力モード情報として利用する
     ことを特徴とする再生装置。
  15.  ストリームファイルと、ストリーム管理ファイルとが記録された記録媒体であって、
     前記ストリームファイルは、複数のピクチャデータによって構成されるビデオストリームを含み、
     前記ストリーム管理ファイルは、エントリーマップを含み、
     前記エントリーマップは、ピクチャデータのアドレスを、再生時刻に対応付けて示すエントリーを含み、
     前記ピクチャデータには、立体視映像のメインビューを構成するメインビューピクチャデータと、立体視映像のサブビューを構成するサブビューピクチャデータとがあり、
     前記エントリーマップには、平面視映像の再生時に使用される基本エントリーマップと、立体視映像の再生時に、前記基本エントリーマップと共に使用される拡張エントリーマップとがあり、
     対応する拡張エントリーマップは、基本エントリーマップのエントリーと同じ時刻のエントリーを有する
     ことを特徴とする記録媒体。
  16. 前記ストリームファイルは、メインビューストリームを構成するエクステントと、サブビューストリームを構成するエクステントとを交互に配置することで構成される立体視インターリーブファイルであり、
     メインビューストリームを構成するエクステントのうち、識別番号iによって特定されるi番目のエクステントが、基本エントリーマップのエントリーによって示されるメインビューピクチャデータを含む場合、
     サブビューストリームを構成するエクステントのうち、前記識別番号iと同一の識別番号iによって特定されるi番目のエクステントは、拡張エントリーマップの前記基本エントリーマップの前記エントリーと同じ時刻のエントリーによって示されるサブビューピクチャデータを含む
     ことを特徴とする請求項15記載の記録媒体。
  17.  ストリームファイルと、ストリーム管理ファイルとが記録された記録媒体を再生する再生装置であって、
     前記ストリームファイルは、複数のピクチャデータによって構成されるビデオストリームを含み、
     前記ストリーム管理ファイルは、エントリーマップを含み、
     前記エントリーマップは、ピクチャデータのアドレスを、再生時刻に対応付けて示すエントリーを含み、
     記録媒体に記録された前記ピクチャデータと、前記エントリーマップを、記録媒体から読み出す読出手段と、
     前記ピクチャデータをデコードすることにより、映像の再生を行う再生手段とを備え、
     前記読出手段は、前記ピクチャデータのうち、エントリーマップのエントリーによって示されているもののランダムアクセスを実行し、
     前記ピクチャデータには、立体視映像のメインビューを構成するメインビューピクチャデータと、立体視映像のサブビューを構成するサブビューピクチャデータとがあり、
     前記エントリーマップには、平面視映像の再生時に使用される基本エントリーマップと、立体視映像の再生時に、前記基本エントリーマップと共に使用される拡張エントリーマップとがあり、
     拡張エントリーマップは、基本エントリーマップのエントリーと同じ時刻のエントリーを有する
     ことを特徴とする再生装置。
  18. 前記ストリームファイルは、メインビューストリームを構成するエクステントと、サブビューストリームを構成するエクステントとを交互に配置することで構成される立体視インターリーブファイルであり、
     メインビューストリームを構成するエクステントのうち、識別番号iによって特定されるi番目のエクステントが、基本エントリーマップのエントリーによって示されるメインビューピクチャデータを含む場合、
     サブビューストリームを構成するエクステントのうち、前記識別番号iと同一の識別番号iによって特定されるi番目のエクステントは、拡張エントリーマップの前記基本エントリーマップの前記エントリーと同じ時刻のエントリーによって示されるサブビューピクチャデータを含む
     ことを特徴とする請求項17記載の再生装置。
PCT/JP2010/003881 2009-06-11 2010-06-10 再生装置、集積回路、記録媒体 WO2010143441A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
MX2011002795A MX2011002795A (es) 2009-06-11 2010-06-10 Dispositivo de reproduccion, circuito integrado y medio de grabacion.
RU2011110045/07A RU2011110045A (ru) 2009-06-11 2010-06-10 Устройство воспроизведения, интегральная схема, носитель записи
EP10785973.8A EP2343906B1 (en) 2009-06-11 2010-06-10 Playback device, integrated circuit, recording medium
CN2010800026463A CN102160389B (zh) 2009-06-11 2010-06-10 再现装置、集成电路、记录介质
BRPI1004351-9A BRPI1004351A2 (pt) 2009-06-11 2010-06-10 Dispositivo de reprodução, circuito integrado, meio de gravação.
JP2011503697A JP4724257B2 (ja) 2009-06-11 2010-06-10 再生装置
US13/063,065 US8593511B2 (en) 2009-06-11 2010-06-10 Playback device, integrated circuit, recording medium
ZA2011/01977A ZA201101977B (en) 2009-06-11 2011-03-15 Playback device,integrated circuit,recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-140055 2009-06-11
JP2009140055 2009-06-11

Publications (1)

Publication Number Publication Date
WO2010143441A1 true WO2010143441A1 (ja) 2010-12-16

Family

ID=43308702

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/003881 WO2010143441A1 (ja) 2009-06-11 2010-06-10 再生装置、集積回路、記録媒体

Country Status (11)

Country Link
US (1) US8593511B2 (ja)
EP (1) EP2343906B1 (ja)
JP (3) JP4724257B2 (ja)
KR (1) KR20120036790A (ja)
CN (1) CN102160389B (ja)
BR (1) BRPI1004351A2 (ja)
MX (1) MX2011002795A (ja)
RU (1) RU2011110045A (ja)
TW (1) TW201112233A (ja)
WO (1) WO2010143441A1 (ja)
ZA (1) ZA201101977B (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012147350A1 (ja) * 2011-04-28 2012-11-01 パナソニック株式会社 高画質化に関わる記録媒体、再生装置、記録装置、符号化方法、復号化方法
WO2013099289A1 (ja) * 2011-12-28 2013-07-04 パナソニック株式会社 再生装置、送信装置、再生方法及び送信方法
EP2685730A1 (en) * 2011-05-27 2014-01-15 Sony Corporation Playback device, playback method, and program
WO2015129033A1 (ja) * 2014-02-28 2015-09-03 三菱電機株式会社 ディスク再生装置
US10554944B2 (en) 2015-01-09 2020-02-04 Sony Corporation Playing apparatus, playing method, information processing apparatus, and information processing method

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101506217B1 (ko) * 2008-01-31 2015-03-26 삼성전자주식회사 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
US11711592B2 (en) 2010-04-06 2023-07-25 Comcast Cable Communications, Llc Distribution of multiple signals of video content independently over a network
US10448083B2 (en) 2010-04-06 2019-10-15 Comcast Cable Communications, Llc Streaming and rendering of 3-dimensional video
KR101831775B1 (ko) * 2010-12-07 2018-02-26 삼성전자주식회사 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법
US9491437B2 (en) 2010-12-07 2016-11-08 Samsung Electronics Co., Ltd. Transmitter for transmitting data for constituting content, receiver for receiving and processing data, and method therefor
US9204123B2 (en) * 2011-01-14 2015-12-01 Comcast Cable Communications, Llc Video content generation
CN103181172B (zh) * 2011-08-24 2015-11-25 松下电器产业株式会社 记录介质、再现装置、记录装置及记录方法
CN103748898B (zh) * 2011-08-29 2017-08-15 索尼公司 发送设备、ait发送方法和接收设备
EP2597876A1 (en) 2011-11-24 2013-05-29 Koninklijke Philips Electronics N.V. Interlaced 3D video
WO2013101602A1 (en) * 2011-12-26 2013-07-04 Intel Corporation Techniques for managing three-dimensional graphics display modes
US9066082B2 (en) * 2013-03-15 2015-06-23 International Business Machines Corporation Forensics in multi-channel media content
JP6255760B2 (ja) * 2013-07-16 2018-01-10 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
EP3671746B1 (en) * 2014-06-20 2023-08-30 Panasonic Intellectual Property Management Co., Ltd. Playback method and playback apparatus
JPWO2016038791A1 (ja) * 2014-09-10 2017-06-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 記録媒体、再生装置および再生方法
WO2016038811A1 (ja) * 2014-09-12 2016-03-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 記録媒体、再生装置、および再生方法
CN110971887B (zh) * 2014-11-04 2021-11-02 松下电器(美国)知识产权公司 再现方法、再现装置以及记录介质
JP2020022179A (ja) * 2014-11-04 2020-02-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 再生方法、プログラムおよび再生装置
CN113242448B (zh) * 2015-06-02 2023-07-14 索尼公司 发送装置和方法、媒体处理装置和方法以及接收装置
AU2016308731A1 (en) 2015-08-18 2018-03-15 Magic Leap, Inc. Virtual and augmented reality systems and methods
CA3008441A1 (en) 2015-12-21 2017-06-29 Amazon Technologies, Inc. Sharing video footage from audio/video recording and communication devices
US10733456B2 (en) 2015-12-21 2020-08-04 A9.Com, Inc. Sharing video footage from audio/video recording and communication devices
US10650247B2 (en) 2015-12-21 2020-05-12 A9.Com, Inc. Sharing video footage from audio/video recording and communication devices
US11546612B2 (en) * 2021-06-02 2023-01-03 Western Digital Technologies, Inc. Data storage device and method for application-defined data retrieval in surveillance systems
CN115291850B (zh) * 2022-08-11 2023-03-07 广州芯德通信科技股份有限公司 基于java语言的自定义交互数据的管理方法、系统、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11191895A (ja) * 1996-12-04 1999-07-13 Matsushita Electric Ind Co Ltd 高解像度および立体映像記録用光ディスク、光ディスク再生装置、および光ディスク記録装置
WO2005124780A1 (ja) * 2004-06-18 2005-12-29 Matsushita Electric Industrial Co., Ltd. 再生装置、プログラム、再生方法
JP2006135747A (ja) * 2004-11-08 2006-05-25 Canon Inc 三次元画像変換装置ならびに制御方法
JP3935507B2 (ja) 1996-02-28 2007-06-27 松下電器産業株式会社 高解像度および立体映像記録用光ディスク、光ディスク再生装置、光ディスク記録装置
WO2010038412A1 (ja) * 2008-09-30 2010-04-08 パナソニック株式会社 3d映像が記録された記録媒体、3d映像を再生する再生装置、およびシステムlsi

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4739418A (en) * 1985-03-20 1988-04-19 Victor Company Of Japan, Ltd. Information signal recording disc recorded with stereoscopic television signal
JPH01109990A (ja) * 1987-10-23 1989-04-26 Sanyo Electric Co Ltd 立体ビデオディスクレコーダ
JPH07298307A (ja) * 1994-04-28 1995-11-10 Canon Inc 画像記録再生装置
US6484266B2 (en) * 1995-09-29 2002-11-19 Matsushita Electric Industrial Co., Ltd. Method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
TW436777B (en) * 1995-09-29 2001-05-28 Matsushita Electric Ind Co Ltd A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
EP1011268B1 (en) * 1997-08-29 2010-03-03 Panasonic Corporation Optical disk having hierarchically encoded digital video recorded thereon, reproducing and recording apparatuses therefor
WO2002009444A1 (en) * 2000-07-21 2002-01-31 Matsushita Electric Industrial Co., Ltd. Signal transmission system
JPWO2003092303A1 (ja) * 2002-04-25 2005-09-08 シャープ株式会社 マルチメディア情報生成装置およびマルチメディア情報再生装置
JP3975147B2 (ja) * 2002-10-01 2007-09-12 パイオニア株式会社 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
JP2004274125A (ja) 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
JP4086718B2 (ja) * 2003-06-10 2008-05-14 キヤノン株式会社 情報処理方法及び情報処理装置
US7552450B1 (en) * 2003-09-30 2009-06-23 Microsoft Corporation Systems and methods for enabling applications via an application programming interface (API) to interface with and configure digital media components
WO2005074394A2 (en) * 2004-02-10 2005-08-18 Lg Electronics Inc. Recording medium having a data structure for managing various data and recording and reproducing methods and apparatuses
JP4349249B2 (ja) * 2004-10-06 2009-10-21 株式会社日立製作所 画像再生装置及び画像再生方法
KR100657322B1 (ko) * 2005-07-02 2006-12-14 삼성전자주식회사 로컬 3차원 비디오를 구현하기 위한 인코딩/디코딩 방법 및장치
JP5011842B2 (ja) * 2006-06-22 2012-08-29 株式会社ニコン 画像再生装置
JP2008124963A (ja) * 2006-11-15 2008-05-29 Matsushita Electric Ind Co Ltd 3次元画像データ用画像ファイルの画像ファイル生成装置及び画像再生装置
KR101430279B1 (ko) * 2007-03-02 2014-08-14 파나소닉 주식회사 재생장치, 시스템 lsi, 초기화방법
RU2473980C2 (ru) 2007-11-01 2013-01-27 Панасоник Корпорэйшн Носитель записи, устройство воспроизведения, устройство записи, способ воспроизведения и способ записи
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
KR20100095464A (ko) * 2007-12-18 2010-08-30 코닌클리케 필립스 일렉트로닉스 엔.브이. 디스플레이 인터페이스를 통한 입체 이미지 데이터의 전송
MX2009009963A (es) 2008-01-17 2009-10-08 Panasonic Corp Medio de grabacion en el cual se graba video en tercera dimension, medio de grabacion para grabar video en tercera dimension y dispositivo y metodo de reproduccion para reproducir video en tercera dimension.
WO2010013382A1 (ja) 2008-07-31 2010-02-04 三菱電機株式会社 映像符号化装置、映像符号化方法、映像再生装置、映像再生方法、映像記録媒体、及び映像データストリーム
WO2010076846A1 (ja) * 2008-12-29 2010-07-08 パナソニック株式会社 記録媒体、再生装置、及び集積回路
US20100303437A1 (en) * 2009-05-26 2010-12-02 Panasonic Corporation Recording medium, playback device, integrated circuit, playback method, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3935507B2 (ja) 1996-02-28 2007-06-27 松下電器産業株式会社 高解像度および立体映像記録用光ディスク、光ディスク再生装置、光ディスク記録装置
JPH11191895A (ja) * 1996-12-04 1999-07-13 Matsushita Electric Ind Co Ltd 高解像度および立体映像記録用光ディスク、光ディスク再生装置、および光ディスク記録装置
WO2005124780A1 (ja) * 2004-06-18 2005-12-29 Matsushita Electric Industrial Co., Ltd. 再生装置、プログラム、再生方法
JP2006135747A (ja) * 2004-11-08 2006-05-25 Canon Inc 三次元画像変換装置ならびに制御方法
WO2010038412A1 (ja) * 2008-09-30 2010-04-08 パナソニック株式会社 3d映像が記録された記録媒体、3d映像を再生する再生装置、およびシステムlsi

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2343906A4

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012147350A1 (ja) * 2011-04-28 2012-11-01 パナソニック株式会社 高画質化に関わる記録媒体、再生装置、記録装置、符号化方法、復号化方法
JPWO2012147350A1 (ja) * 2011-04-28 2014-07-28 パナソニック株式会社 高画質化に関わる記録媒体、再生装置、記録装置、符号化方法、復号化方法
JP5914888B2 (ja) * 2011-04-28 2016-05-11 パナソニックIpマネジメント株式会社 高画質化に関わる記録媒体、再生装置、記録装置、符号化方法、復号化方法
US9392246B2 (en) 2011-04-28 2016-07-12 Panasonic Intellectual Property Management Co., Ltd. Recording medium, playback device, recording device, encoding method, and decoding method related to higher image quality
EP2685730A1 (en) * 2011-05-27 2014-01-15 Sony Corporation Playback device, playback method, and program
CN103548344A (zh) * 2011-05-27 2014-01-29 索尼公司 再现装置、再现方法及程序
EP2685730A4 (en) * 2011-05-27 2014-10-29 Sony Corp READING DEVICE, READING METHOD, AND PROGRAM
WO2013099289A1 (ja) * 2011-12-28 2013-07-04 パナソニック株式会社 再生装置、送信装置、再生方法及び送信方法
WO2015129033A1 (ja) * 2014-02-28 2015-09-03 三菱電機株式会社 ディスク再生装置
JP5933869B2 (ja) * 2014-02-28 2016-06-15 三菱電機株式会社 ディスク再生装置
US10554944B2 (en) 2015-01-09 2020-02-04 Sony Corporation Playing apparatus, playing method, information processing apparatus, and information processing method

Also Published As

Publication number Publication date
EP2343906A4 (en) 2014-01-22
CN102160389A (zh) 2011-08-17
TW201112233A (en) 2011-04-01
RU2011110045A (ru) 2013-07-20
US8593511B2 (en) 2013-11-26
US20110164121A1 (en) 2011-07-07
JPWO2010143441A1 (ja) 2012-11-22
CN102160389B (zh) 2013-03-27
JP5497679B2 (ja) 2014-05-21
JP2011160431A (ja) 2011-08-18
ZA201101977B (en) 2012-04-25
EP2343906B1 (en) 2016-08-10
JP4724255B1 (ja) 2011-07-13
KR20120036790A (ko) 2012-04-18
MX2011002795A (es) 2011-04-11
JP2011155657A (ja) 2011-08-11
BRPI1004351A2 (pt) 2020-06-23
EP2343906A1 (en) 2011-07-13
JP4724257B2 (ja) 2011-07-13

Similar Documents

Publication Publication Date Title
JP5497679B2 (ja) 半導体集積回路
JP5451667B2 (ja) 3d映像を再生するための半導体集積回路
JP5336436B2 (ja) 集積回路
WO2010143439A1 (ja) 再生装置、集積回路、記録媒体
JP4629805B2 (ja) 再生装置、記録方法、記録媒体再生システム
WO2010095381A1 (ja) 記録媒体、再生装置、集積回路
WO2010095410A1 (ja) 記録媒体、再生装置、集積回路

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080002646.3

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2011503697

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10785973

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 924/KOLNP/2011

Country of ref document: IN

REEP Request for entry into the european phase

Ref document number: 2010785973

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2010785973

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13063065

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: MX/A/2011/002795

Country of ref document: MX

ENP Entry into the national phase

Ref document number: 20117006144

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 12011500561

Country of ref document: PH

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2011110045

Country of ref document: RU

ENP Entry into the national phase

Ref document number: PI1004351

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20110317