WO2010146780A1 - 再生装置およびコンテンツ再生方法 - Google Patents
再生装置およびコンテンツ再生方法 Download PDFInfo
- Publication number
- WO2010146780A1 WO2010146780A1 PCT/JP2010/003624 JP2010003624W WO2010146780A1 WO 2010146780 A1 WO2010146780 A1 WO 2010146780A1 JP 2010003624 W JP2010003624 W JP 2010003624W WO 2010146780 A1 WO2010146780 A1 WO 2010146780A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- time
- decoding
- content
- processing time
- playback
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 83
- 238000012545 processing Methods 0.000 claims abstract description 185
- 230000003111 delayed effect Effects 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims description 68
- 238000004891 communication Methods 0.000 claims description 13
- 230000001360 synchronised effect Effects 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 239000000470 constituent Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44231—Monitoring of peripheral device or external card, e.g. to detect processing problems in a handheld device or the failure of an external recording device
Definitions
- the present invention relates to a playback device and a content playback method for performing processing for playing back the same content in a plurality of devices.
- the scene is, for example, a scene where the same video content is viewed on two display devices installed in the vehicle.
- One of the two display devices is installed near the front seat in the vehicle, for example.
- the other of the two display devices is installed near the rear seat in the vehicle, for example.
- video content playback devices and display devices have different mounting methods, processing speeds, presence / absence of high image quality processing, and the like for each device. Therefore, due to these complex factors, there is a difference in the timing for displaying video in each device.
- the video synchronization signal is distributed from the master playback device to the slave playback device in consideration of the position of DTS (Decode Timing Stamp) of MPEG (Moving Picture Experts Group). Is disclosed (hereinafter referred to as Conventional Technology A).
- Patent Document 2 notifies the server that the client is ready for decoding, and starts decoding after a decoding start request from the server arrives at the client, thereby preventing a shift in video display timing.
- a technique for preventing (hereinafter, referred to as conventional technique B) is disclosed.
- JP 2005-223488 A Japanese Patent Laid-Open No. 2005-294941
- FIG. 8 is a diagram for explaining a display timing shift in the case where the same video content is simultaneously played by a plurality of playback devices.
- the playback device B has a lower content processing capacity than the playback device A. Further, it is assumed that a monitor for displaying video is connected to each of the playback device A and the playback device B. In addition, it is assumed that each of the playback device A and the playback device B starts the video content decoding process at time t0, which is the same timing.
- the playback device A can display the video on the monitor corresponding to the playback device A at the time t1 when the time T1 has elapsed from the time t0, whereas the playback device B has the time T2 elapsed from the time t0.
- the video is displayed on the monitor corresponding to the playback device B. That is, the display timing shift occurs.
- the present invention has been made in order to solve the above-described problems, and an object of the present invention is to make it possible to display videos obtained from the same content at a plurality of devices at the same timing. It is to provide a device or the like.
- a playback device has a function of decoding encoded content, which is digital content in which video composed of a plurality of frames is encoded, and the same encoded Each of the plurality of devices that acquires content from the outside. Each of the plurality of devices is associated with a monitor that displays a video obtained by decoding the encoded content.
- the playback device performs a decoding process for decoding the encoded content stored in the buffer and a buffer for storing the encoded content, and sequentially decodes the frames obtained by the decoding process in accordance with external control.
- a decoder for outputting to a monitor corresponding to the apparatus and a control unit for controlling the decoder are provided.
- the control unit is a time period from when the decoder starts decoding the encoded content until the monitor corresponding to the device displays the first frame obtained by the decoding processing for the encoded content.
- the self-device output processing time is calculated.
- the control unit further causes each of other devices (an integer greater than or equal to 1) other than the own device to start decoding processing for decoding the encoded content after the other unit among the plurality of devices.
- the other device image processing time which is the time until the corresponding monitor displays the first frame obtained by the decoding process on the encoded content, is acquired from each of the n other devices.
- the control unit further sets the longest time among the n other device output processing times and the own device output processing time as the maximum processing time, and subtracts the own device output processing time from the maximum processing time.
- An adjustment time is calculated.
- the control unit causes the decoder to start the decoding process at a timing delayed by the adjustment time from the same predetermined timing at which the decoding process is to be started in each of the plurality of devices
- the control unit displays its own device output processing time from when the decoder starts decoding the encoded content until the monitor corresponding to the own device displays the first frame obtained from the encoded content. Is calculated.
- the control unit displays the first frame obtained from the encoded content by the monitor corresponding to the other device after each of the n other devices starts the decoding process for decoding the encoded content.
- the image output processing time of the other device until the time is acquired from each of the n other devices.
- the control unit sets an adjustment time obtained by subtracting the own device output processing time from the maximum processing time, with the longest time among the n other device output processing times and the own device output processing time. calculate.
- the control unit causes the decoder to start the decoding process at a timing delayed by the adjustment time from the same predetermined timing.
- n is assumed to be “1”.
- the encoded content is decoded by the playback device and one other device.
- the number of image processing times for other devices is one.
- the processing capability of the playback device is higher than the processing capability of other devices, and the own device output processing time is shorter than one other device output processing time. Further, it is assumed that the one other device image processing time is the maximum processing time.
- the time obtained by subtracting the self-device output processing time from the other device output processing time is the adjustment time.
- the control unit of the playback device causes the decoder to start decoding processing at a timing delayed by an adjustment time from a predetermined timing.
- the time (0 seconds) obtained by subtracting the image processing time (maximum processing time) from other devices from the maximum processing time is the adjustment time.
- the other devices start the decoding process at a timing delayed by an adjustment time (0 seconds) from the predetermined timing. That is, another device starts the decoding process at a predetermined timing.
- the timing at which the first frame obtained from the encoded content is displayed on the corresponding monitor can be made the same.
- videos obtained from the same content can be displayed at the same timing on a plurality of devices.
- the control unit includes a decoding processing time required for decoding the first frame corresponding to the encoded content after the decoder starts decoding the encoded content, and a monitor corresponding to the own device. Obtains a display processing time which is a time required for displaying the first frame after receiving the first frame obtained by the decoding processing performed by the decoder. The self image output processing time is calculated by adding the display processing time.
- control unit transmits its own device output processing time to each of the n other devices through communication.
- the encoded content is content distributed by broadcasting.
- the encoded content is content recorded on a recording medium.
- all or some of a plurality of components constituting such a playback apparatus 100 may be realized as a system LSI (Large Scale Integration).
- the present invention may be realized as a content reproduction method in which the operation of the characteristic components included in the reproduction apparatus 100 is a step. Further, the present invention may be realized as a program that causes a computer to execute each step included in such a content reproduction method. Further, the present invention may be realized as a computer-readable recording medium that stores such a program. The program may be distributed via a transmission medium such as the Internet.
- videos obtained from the same content can be displayed at the same timing in a plurality of devices.
- FIG. 1 is a block diagram showing a configuration of a content reproduction system according to the first embodiment.
- FIG. 2 is a flowchart of the image processing time calculation process.
- FIG. 3 is a flowchart of the adjustment time calculation process.
- FIG. 4 is a flowchart of the synchronized playback process.
- FIG. 5 is a diagram for explaining an example of synchronized playback of content.
- FIG. 6 is a block diagram illustrating a configuration of the content reproduction system according to the first modification of the first embodiment.
- FIG. 7 is a block diagram illustrating a configuration of a content reproduction system according to the second modification of the first embodiment.
- FIG. 8 is a diagram for explaining a shift in display timing when the same video content is played back simultaneously on a plurality of playback devices.
- FIG. 1 is a block diagram showing a configuration of a content reproduction system 1000 according to the first embodiment.
- FIG. 1 shows a stream transmission apparatus 10 that is not included in the content reproduction system 1000.
- the stream transmission device 10 is a device that distributes a broadcast stream ST as a broadcast wave by broadcasting.
- the broadcast stream ST is digital content (hereinafter referred to as encoded content) in which a video composed of a plurality of frames and audio are encoded by a predetermined moving image compression technique.
- the predetermined moving image compression technique is, for example, MPEG (Moving Picture Picture Experts Group) 2 or H.264. This is a compression technique based on H.264 and the like.
- the stream transmitting apparatus 10 is not limited to broadcasting, and may distribute the broadcasting stream ST using, for example, an Internet line.
- content reproduction system 1000 includes reproduction apparatuses 100.1 and 100.2.
- each of playback device 100.1 and playback device 100.2 receives broadcast stream ST as the same encoded content from stream transmission device 10. That is, the encoded content is content distributed by broadcasting.
- each of the playback device 100.1 and the playback device 100.2 is also simply referred to as the playback device 100.
- the playback device 100 is, for example, a digital tuner. Although details will be described later, the playback device 100 has a function of playing back video and audio by decoding a broadcast stream ST as encoded content.
- the playback device 100 is not limited to a digital tuner, and may be any device as long as it has a function of playing back video and audio by decoding the broadcast stream ST.
- a monitor 200 is connected to each of the playback devices 100.1 and 100.2. That is, the monitor 200 is associated with each of the playback devices 100.1 and 100.2.
- the monitor 200 is a display device for displaying video. Note that the monitor 200 outputs sound simultaneously with the display of the video by a speaker (not shown).
- the playback device 100 includes a communication unit 110, a control unit 120, a buffer 130, and a decoder 140.
- the playback device 100.1 and the playback device 100.2 are also referred to as a first playback device and a second playback device, respectively.
- the communication unit 110 has a function of receiving a broadcast stream ST as a broadcast wave. Further, the communication unit 110 has a function of performing data communication with other devices via the network 30 using a wired technology or a wireless technology.
- the network 30 is, for example, a LAN (Local Area Network).
- the wired technology is a technology based on Ethernet (registered trademark), for example.
- the radio technology is a technology based on, for example, IEEE 802.11g. Note that the wireless technology is not limited to the technology based on IEEE 802.11g, and may be another wireless technology.
- the buffer 130 is a memory for temporarily storing data.
- the buffer 130 temporarily stores the broadcast stream ST as encoded content received by the communication unit 110.
- the decoder 140 performs a decoding process for decoding the broadcast stream ST as the encoded content according to control from the outside.
- the decoding process is a decoding process corresponding to a moving image compression technique (for example, MPEG2, H.264, etc.) used for generating encoded content.
- the decoder 140 performs a decoding process, and sequentially outputs the frames obtained by the decoding process to the monitor 200 corresponding to the own apparatus. In addition, the decoder 140 performs decoding processing, and sequentially outputs audio data obtained by the decoding processing to the monitor 200.
- the decoder 140 calculates a time required for decoding the first frame corresponding to the encoded content after the decoder 140 starts decoding the encoded content (hereinafter referred to as a decoding processing time).
- the decoding processing information shown is stored in advance in a memory (not shown) inside the decoder 140.
- the decoding processing time is, for example, 20 milliseconds. Note that when the processing capability of the decoder 140 is different for each playback device, the decoding processing time is different for each playback device. The higher the processing capability of the decoder 140, the shorter the decoding processing time. When there is a request for decoding processing information from the outside, the decoder 140 transmits the decoding processing information to the outside.
- Each of the decoders 140 of the first playback device and the second playback device stores the decoding processing information indicating the decoding processing time corresponding to the same encoded content in a memory (not shown) in the decoder 140 in advance. To do.
- the monitor 200 Each time the monitor 200 receives a frame from the decoder 140, the monitor 200 displays the frame.
- the monitor 200 outputs sound based on the sound data received from the decoder 140 from a speaker (not shown).
- the monitor 200 displays display time information indicating the time required to display the first frame after receiving the first frame corresponding to the encoded content (hereinafter referred to as display processing time). It is stored in an internal memory (not shown).
- the display processing time is a time unique to the monitor.
- the display processing time is, for example, 10 milliseconds.
- the image processing time is a time obtained by adding the decoding processing time and the display processing time.
- the image quality improving process may be performed.
- the image quality enhancement process is executed by, for example, a circuit (not shown).
- the time required for the image quality improvement processing is referred to as the image quality improvement processing time.
- the high image quality processing includes, for example, deblocking filter processing, high resolution processing for increasing image resolution, inter-frame interpolation processing, and the like.
- the inter-frame complementing process is a process of increasing the number of frames displayed per second from 60 to 120, for example.
- the image output processing time is a time obtained by adding the decoding processing time, the image quality enhancement processing time, and the display processing time.
- the control unit 120 controls the buffer 130 and the decoder 140, details of which will be described later.
- the number of playback devices 100 included in the content playback system 1000 is not limited to two, and may be three or more.
- image output processing time calculation processing is processing performed in advance before each playback device 100 included in the content playback system 1000 performs processing for displaying video on a corresponding monitor (for example, when the power is turned on).
- FIG. 2 is a flowchart of the image processing time calculation process.
- step S111 time information acquisition processing is performed.
- the control unit 120 requests the decoding process information from the decoder 140 to obtain the decoding process information from the decoder 140. Further, the control unit 120 obtains display time information from the monitor 200 by requesting decoding processing information from the corresponding monitor 200.
- step S112 the control unit 120 adds the decoding processing time indicated by the decoding processing information and the display processing time indicated by the display time information to thereby display the image output processing time of the own device (hereinafter referred to as the own device output processing time). Calculated).
- the own device output processing time indicates that the monitor 200 corresponding to the own device displays the first frame obtained by the decoding processing on the encoded content after the decoder 140 starts decoding the encoded content. It is time to do.
- control unit 120 stores image output time information indicating the calculated image output processing time in a memory (not shown) inside the control unit 120.
- the control unit 120 of each playback device 100 stores the output time information.
- the image output time information may be stored in advance in the control unit 120 of each playback device 100. In this case, each playback device 100 does not perform the image output processing time calculation process.
- the adjustment time calculation process is a process performed after each playback apparatus 100 included in the content playback system 1000 performs the image output process time calculation process.
- FIG. 3 is a flowchart of the adjustment time calculation process. In the following description, as an example, it is assumed that the adjustment time calculation process is performed by the playback device 100.1.
- step S211 image output time information acquisition processing is performed.
- the control unit 120 uses the communication unit 110 to make n (an integer greater than or equal to 1) playback devices other than the own device among the plurality of playback devices 100 included in the content playback system 1000.
- An image output time information acquisition request is transmitted to each (hereinafter referred to as another playback device).
- the image output time information acquisition request is a request for acquiring unique image output time information from each of the other playback devices.
- control unit 120 of each of the n other playback devices When the control unit 120 of each of the n other playback devices receives the output time information acquisition request using the communication unit 110, the control unit 120 transmits the output time information of the own device and the output time information acquisition request. To the playback apparatus 100.1. That is, the control unit 120 transmits the own device output processing time indicated by the output time information of the own device to each of the other n playback devices through communication.
- control unit 120 of the playback device 100.1 obtains n pieces of image output time information (hereinafter referred to as other device output time information) from each of the other n playback devices.
- image output processing time indicated by the other device image output time information is referred to as the other device image output processing time.
- the image output processing time of the other device is obtained by the decoding process for the encoded content by the monitor 200 corresponding to the other device after the other device (playback device) starts the decoding process for decoding the encoded content. This is the time until the first frame is displayed.
- step S212 the control unit 120 includes the own device output processing time indicated by the output time information of the own device and the n other device output processing times indicated by the n other device output time information.
- the longest time is set as the maximum processing time.
- n 1. Further, it is assumed that the self-device output processing time is 25 milliseconds, and the other-device output processing time is 30 milliseconds. In this case, the maximum processing time is 30 milliseconds.
- step S213 the control unit 120 calculates the adjustment time by subtracting the self-device output processing time from the maximum processing time.
- the maximum processing time is 30 milliseconds
- the self image output processing time is 25 milliseconds.
- the adjustment time is 5 milliseconds.
- the maximum processing time is 30 milliseconds
- the self-device output processing time is 30 milliseconds. In this case, the adjustment time is 0 milliseconds.
- the control unit 120 stores adjustment time information indicating the calculated adjustment time in a memory (not shown) inside the control unit 120.
- the control unit 120 of each playback device 100 stores the adjustment time information.
- each of the plurality of playback devices 100 included in the content playback system 1000 obtains the same encoded content (for example, broadcast stream ST) from the outside, and stores the same encoded content in the buffer 130.
- the same encoded content is stored in each buffer 130 of the plurality of playback devices 100 included in the content playback system 1000.
- the synchronized playback process is simultaneously performed in each playback device 100.
- the timing at which the decoder 140 of each playback device 100 starts decoding the encoded content is the same. It is assumed that it is a predetermined timing. That is, the same predetermined timing is a timing at which decoding processing is scheduled to start in each of the plurality of playback devices 100.
- FIG. 4 is a flowchart of the synchronized playback process.
- step S311 a reproduction start process is performed.
- the control unit 120 causes the decoder 140 to start a decoding process for decoding the encoded content at a timing delayed by the adjustment time indicated by the adjustment time information from the same predetermined timing as described above.
- the content playback system 1000 includes two playback devices 100 (a first playback device and a second playback device). Further, it is assumed that each of the first playback device and the second playback device simultaneously performs the synchronized playback processing of FIG.
- FIG. 5 is a diagram for explaining an example of synchronized playback of content.
- time t1 is assumed to be the time at the same predetermined timing scheduled in step S311.
- the decoding processing time, display processing time, self-device output processing time, and adjustment time of the first playback device are 17 milliseconds, 8 milliseconds, 25 milliseconds, and 5 milliseconds, respectively.
- the decoding processing time, display processing time, self-device output processing time, and adjustment time of the second playback device are 20 milliseconds, 10 milliseconds, 30 milliseconds, and 0 milliseconds, respectively.
- the data processing capability of the decoder 140 of the first playback device is different from the data processing capability of the decoder 140 of the second playback device. Further, it is assumed that the data processing capability of the monitor 200 corresponding to the first playback device is different from the data processing capability of the monitor 200 corresponding to the second playback device.
- the control unit 120 of the first playback device that performs the synchronized playback process sends the encoded content to the decoder 140 at the time t2 that is delayed by an adjustment time of 5 milliseconds from the time t1 as the same predetermined timing. Start the decoding process to decode.
- the self image output processing time of the first playback device is 25 milliseconds. Therefore, the time when the monitor 200 corresponding to the first playback device displays the first frame is time t3 when 25 milliseconds have elapsed from time t2.
- the control unit 120 of the second playback device that performs the synchronized playback processing is encoded in the decoder 140 at the time t1 that is delayed by the adjustment time of 0 milliseconds from the time t1 as the same predetermined timing.
- the decoding process for decoding the content is started. That is, the control unit 120 of the second playback device causes the decoder 140 to start a decoding process for decoding the encoded content at time t1 as the same predetermined timing.
- the self image output processing time of the second playback device is 30 milliseconds. Therefore, the time when the monitor 200 corresponding to the second playback device displays the first frame is time t3 when 30 milliseconds have elapsed from time t1.
- videos obtained from the same content can be displayed at the same timing on a plurality of devices having different processing capabilities.
- each playback device in a plurality of playback devices, the output processing time of each playback device is notified to each other before decoding of the encoded content is started.
- each of the plurality of playback devices calculates an adjustment time corresponding to its own device using the image processing time of the other playback devices.
- each of the plurality of playback devices starts a decoding process for decoding the encoded content at a timing delayed by an adjustment time corresponding to the own device from a predetermined predetermined timing.
- video obtained from the same content is displayed at the same timing on a plurality of devices with different processing capabilities by adjusting the content decoding start time in consideration of the processing capability of other playback devices. be able to. That is, regardless of the difference in processing capability, videos obtained from the same content can be displayed at the same timing on a plurality of devices.
- synchronization of video display timing can be ensured with minimum communication by providing a mechanism for correcting the timing of starting playback of content in each playback device.
- the decoding start timing is controlled.
- the present invention is not limited to this, and the control unit 120 may change the time during which the buffer 130 holds the encoded content in consideration of the adjustment time. .
- the time from when the content decoding process is started until the monitor 200 displays the video is used as a reference.
- the present invention is not limited to this, and the monitor 200 is started after the content decoding process is started.
- the adjustment time or the like may be calculated based on the time until the sound is output.
- the buffer 130 encodes at the same time that the communication unit 110 receives the broadcast stream ST as the encoded content.
- the control unit 120 may control the buffer 130 so that the time for holding the completed content is 0 second. That is, the buffer function of the buffer 130 may not be used.
- the encoded content is immediately transmitted to the decoder 140 via the buffer 130.
- FIG. 6 is a block diagram illustrating a configuration of a content reproduction system 1000A according to the first modification of the first embodiment.
- content reproduction system 1000A is different from content reproduction system 1000 in FIG. 1 in that network 30 is not used and input interface 300 is included. Other than that, it is the same as content reproduction system 1000, and therefore detailed description will not be repeated.
- the input interface 300 is an interface for accepting user input operations.
- the input interface 300 is, for example, a remote controller.
- the input interface 300 has a function of transmitting information input by a user operation to a specific playback device 100.
- the user knows the self-device output processing time of each playback device 100 included in the content playback system 1000A by prior measurement or the like.
- the user uses the input interface 300 to transmit the self image output processing time of the second playback device to the first playback device.
- the user uses the input interface 300 to transmit the self image output processing time of the first playback device to the second playback device.
- each of the first and second playback devices can obtain the image output processing time of the other device.
- the user may directly transmit the adjustment time of each playback device 100 to the corresponding playback device 100 using the input interface 300.
- each of the playback devices 100 can determine the decoding start timing of the encoded content by performing the various processes described in the first embodiment.
- the information input through the input interface 300 may be information that can specify the image processing time unique to the playback device, such as the model number of the playback device to be synchronized. As a result, each of the playback devices 100 can determine the decoding start timing of the encoded content.
- FIG. 7 is a block diagram illustrating a configuration of a content reproduction system 1000 according to the second modification of the first embodiment. Note that FIG. 7 shows a recording medium 50 that is not included in the content reproduction system 1000 for explanation.
- the second modification of the present embodiment is different from the first embodiment in that the encoded content is supplied to the recording medium 50 instead of the stream transmission device 10.
- the configuration of content reproduction system 1000 in Modification 2 of the first embodiment is similar to that of content reproduction system 1000 in FIG. 1, and therefore detailed description will not be repeated.
- the recording medium 50 is, for example, a DVD (Digital Versatile Disk), a CD (Compact Disc), a memory card, or the like. Content A as encoded content is recorded on the recording medium 50.
- the control unit 120 of each playback device 100 reads the same content A from the recording medium 50 and stores the content A as encoded content in the buffer 130. Thereafter, in each playback device 100, the image output processing time calculation process, the adjustment time calculation process, and the synchronous playback process described in the first embodiment are performed.
- all or some of the plurality of constituent elements constituting the reproducing apparatus 100 may be configured by hardware. Further, all or some of the components constituting the playback apparatus 100 may be a module of a program executed by a CPU (Central Processing Unit) or the like.
- a CPU Central Processing Unit
- the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on one chip. Specifically, a microprocessor, a ROM (Read Only Memory), a RAM (Random Access Memory), etc. It is a computer system comprised including.
- control unit 120, the buffer 130, and the decoder 140 may be composed of one system LSI.
- the present invention may be realized as a content reproduction method in which the operation of the characteristic components included in the reproduction apparatus 100 is a step. Further, the present invention may be realized as a program that causes a computer to execute each step included in such a content reproduction method. Further, the present invention may be realized as a computer-readable recording medium that stores such a program. The program may be distributed via a transmission medium such as the Internet.
- the present invention is useful when viewing the same video content at the same time on a plurality of display devices.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
再生装置(100.1)において、コントロール部(120)は、デコーダー(140)がデコード処理を開始してから、対応するモニタ(200)が1番目のフレームを表示するまでの自装置出画処理時間を算出する。再生装置(100.1)のコントロール部(120)は、再生装置(100.2)がデコード処理を開始してから、対応するモニタ(200)が1番目のフレームを表示するまでの他装置出画処理時間を、再生装置(100.2)から取得する。コントロール部(120)は、他装置出画処理時間と自装置出画処理時間とのうち、最も長い時間を最大処理時間とし、該最大処理時間から自装置出画処理時間を減算した調整時間を算出する。再生装置(100.1)のコントロール部(120)は、所定タイミングより調整時間だけ遅らせたタイミングでデコーダー(140)にデコード処理を開始させる。
Description
本発明は、複数の装置において、同一のコンテンツを再生するための処理を行う再生装置およびコンテンツ再生方法に関する。
近年、ネットワークの普及による映像および音声の配信技術の普及が進みつつある。また、地上デジタル放送およびワンセグ放送のような同一の映像コンテンツのサイマル放送も実現されている。そのため、複数の表示装置において、同一時刻に同一の映像コンテンツを視聴する場面が増えつつある。当該場面は、例えば、車内に設置された2台の表示装置において、同一の映像コンテンツを視聴するという場面である。当該2台の表示装置の一方は、例えば、車内の前部座席付近に設置される。当該2台の表示装置の他方は、例えば、車内の後部座席付近に設置される。
一方、映像コンテンツの再生装置および表示装置は、各装置毎に、実装手法の違い、処理速度の差異および高画質化処理の有無等がある。そのため、これらの複合要因により、各装置において、映像を表示するタイミングにずれが生じてしまう。
特許文献1には、MPEG(Moving Picture Experts Group)のDTS(Decode Timing Stamp)の位置を考慮して、映像同期信号をマスタ再生装置からスレーブ再生装置に配信することにより、映像の表示タイミングのずれを防ぐ技術(以下、従来技術Aという)が開示されている。
また、特許文献2には、クライアントがデコード可能状態になったことをサーバに通知して、サーバからのデコード開始要求がクライアントに来てからデコードを開始することにより、映像の表示タイミングのずれを防ぐ技術(以下、従来技術Bという)が開示されている。
しかしながら、複数の再生装置において映像コンテンツを同時に再生しようとしても、各再生装置の処理能力の違いがあると、従来技術Aまたは従来技術Bに基づく処理を行ったとしても、映像の表示タイミングのずれは発生してしまう。
図8は、複数の再生装置において同一の映像コンテンツを同時に再生する場合における表示タイミングのずれを説明するための図である。
図8において、再生装置Bは、再生装置Aよりもコンテンツの処理能力が低いとする。また、再生装置Aおよび再生装置Bの各々には、映像を表示するモニタが接続されているとする。また、再生装置Aおよび再生装置Bの各々は、同じタイミングである時刻t0に、映像コンテンツのデコード処理を開始したとする。
この場合、再生装置Aは、時刻t0から時間T1経過した時刻t1において、該再生装置Aに対応するモニタに映像を表示させることができるのに対し、再生装置Bは、時刻t0から時間T2経過した時刻t2において、該再生装置Bに対応するモニタに映像を表示させることになる。すなわち、映像の表示タイミングのずれが生じる。
本発明は、上述の問題点を解決するためになされたものであって、その目的は、複数の装置において、同一のコンテンツから得られる映像を、同一のタイミングで表示することを可能とする再生装置等を提供することである。
上述の課題を解決するために、この発明のある局面に従う再生装置は、複数のフレームから構成される映像がエンコードされたデジタルコンテンツであるエンコード済コンテンツをデコードする機能を有し、同一のエンコード済コンテンツを外部から取得する複数の装置の各々の装置である。複数の装置の各々には、エンコード済コンテンツのデコードにより得られる映像を表示するモニタが対応づけられる。再生装置は、エンコード済コンテンツを記憶するバッファと、外部からの制御に応じて、バッファに記憶されたエンコード済コンテンツをデコードするデコード処理を行うとともに、該デコード処理により得られたフレームを順次、自装置に対応するモニタへ出力するデコーダーと、デコーダーを制御するコントロール部とを備える。コントロール部は、さらに、デコーダーがエンコード済コンテンツに対しデコード処理を開始してから、自装置に対応するモニタが該エンコード済コンテンツに対するデコード処理により得られる1番目のフレームを表示するまでの時間である自装置出画処理時間を算出する。コントロール部は、さらに、複数の装置のうち自装置以外のn(1以上の整数)台の他の装置の各々が、エンコード済コンテンツをデコードするデコード処理を開始してから、該他の装置に対応するモニタが該エンコード済コンテンツに対するデコード処理により得られる1番目のフレームを表示するまでの時間である他装置出画処理時間を、n台の他の装置の各々から取得する。コントロール部は、さらに、n個の他装置出画処理時間と自装置出画処理時間とのうち、最も長い時間を最大処理時間とし、該最大処理時間から自装置出画処理時間を減算した時間である調整時間を算出する。コントロール部は、複数の装置の各々においてデコード処理を開始する予定の同一の所定タイミングより調整時間だけ遅らせたタイミングでデコーダーにデコード処理を開始させる。
すなわち、コントロール部は、デコーダーがエンコード済コンテンツに対しデコード処理を開始してから、自装置に対応するモニタが該エンコード済コンテンツから得られる1番目のフレームを表示するまでの自装置出画処理時間を算出する。コントロール部は、n台の他の装置の各々が、エンコード済コンテンツをデコードするデコード処理を開始してから、該他の装置に対応するモニタが該エンコード済コンテンツから得られる1番目のフレームを表示するまでの他装置出画処理時間を、n台の他の装置の各々から取得する。コントロール部は、n個の他装置出画処理時間と自装置出画処理時間とのうち、最も長い時間を最大処理時間とし、該最大処理時間から自装置出画処理時間を減算した調整時間を算出する。コントロール部は、同一の所定タイミングより調整時間だけ遅らせたタイミングでデコーダーにデコード処理を開始させる。
ここで、nは“1”であるとする。この場合、再生装置と、1台の他の装置とにおいて、エンコード済コンテンツがデコードされる。また、この場合、他装置出画処理時間の数は1個である。
また、再生装置の処理能力が、他の装置の処理能力より高いとし、自装置出画処理時間は1個の他装置出画処理時間より短いとする。また、当該1個の他装置出画処理時間が最大処理時間であるとする。
この場合、他装置出画処理時間から自装置出画処理時間を減算した時間が調整時間となる。また、この場合、再生装置のコントロール部は、所定タイミングより調整時間だけ遅らせたタイミングでデコーダーにデコード処理を開始させる。
一方、他の装置においては、最大処理時間から他装置出画処理時間(最大処理時間)を減算した時間(0秒)が、調整時間となる。この場合、他の装置は、所定タイミングより調整時間(0秒)だけ遅らせたタイミングでデコード処理を開始する。すなわち、他の装置は、所定タイミングでデコード処理を開始する。
そのため、複数の装置の各々において同一のエンコード済コンテンツがデコードされる場合において、対応するモニタにエンコード済コンテンツから得られる1番目のフレームが表示されるタイミングを同一にすることができる。
すなわち、複数の装置において、同一のコンテンツから得られる映像を、同一のタイミングで表示することができる。
好ましくは、コントロール部は、デコーダーがエンコード済コンテンツに対しデコード処理を開始してから、該エンコード済コンテンツに対応する1番目のフレームをデコードするまでに要するデコード処理時間と、自装置に対応するモニタが、デコーダーが行うデコード処理により得られた1番目のフレームを受信してから該1番目のフレームを表示するまでに要する時間である表示処理時間とを取得し、コントロール部は、デコード処理時間と、表示処理時間とを加算することにより自装置出画処理時間を算出する。
好ましくは、コントロール部は、通信により、自装置出画処理時間を、n台の他の装置の各々へ送信する。
好ましくは、エンコード済コンテンツは、放送により配信されるコンテンツである。
好ましくは、エンコード済コンテンツは、記録媒体に記録されたコンテンツである。
なお、本発明は、このような再生装置100を構成する複数の構成要素の全てまたは一部を、システムLSI(Large Scale Integration:大規模集積回路)として実現してもよい。
また、本発明は、再生装置100が備える特徴的な構成部の動作をステップとするコンテンツ再生方法として実現してもよい。また、本発明は、そのようなコンテンツ再生方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現してもよい。また、本発明は、そのようなプログラムを格納するコンピュータ読み取り可能な記録媒体として実現されてもよい。また、当該プログラムは、インターネット等の伝送媒体を介して配信されてもよい。
本発明により、複数の装置において、同一のコンテンツから得られる映像を、同一のタイミングで表示することができる。
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
<第1の実施の形態>
(システムの構成)
図1は、第1の実施の形態におけるコンテンツ再生システム1000の構成を示すブロック図である。なお、図1には、説明のために、コンテンツ再生システム1000に含まれないストリーム送信装置10が示される。ストリーム送信装置10は、放送により、放送波としての放送ストリームSTを配信する装置である。
(システムの構成)
図1は、第1の実施の形態におけるコンテンツ再生システム1000の構成を示すブロック図である。なお、図1には、説明のために、コンテンツ再生システム1000に含まれないストリーム送信装置10が示される。ストリーム送信装置10は、放送により、放送波としての放送ストリームSTを配信する装置である。
放送ストリームSTは、所定の動画像圧縮技術により、複数のフレームから構成される映像と、音声とがエンコードされたデジタルコンテンツ(以下、エンコード済コンテンツという)である。所定の動画像圧縮技術は、例えば、MPEG(Moving Picture Experts Group)2、H.264等に基づく圧縮技術である。なお、ストリーム送信装置10は、放送に限定されることなく、例えば、インターネット回線等を使用して、放送ストリームSTを配信してもよい。
図1を参照して、コンテンツ再生システム1000は、再生装置100.1,100.2を含む。本実施の形態において、再生装置100.1および再生装置100.2の各々は、ストリーム送信装置10から同一のエンコード済コンテンツとしての放送ストリームSTを受信するとする。すなわち、エンコード済コンテンツは、放送により配信されるコンテンツである。
以下においては、再生装置100.1および再生装置100.2の各々を、単に、再生装置100ともいう。
再生装置100は、例えば、デジタルチューナーである。詳細は後述するが再生装置100は、エンコード済コンテンツとしての放送ストリームSTをデコードすることにより、映像および音声を再生する機能を有する。
なお、再生装置100は、デジタルチューナーに限定されることなく、放送ストリームSTをデコードすることにより映像および音声を再生する機能を有する装置であれば、どのような装置であってもよい。
再生装置100.1,100.2の各々には、モニタ200が接続される。すなわち、再生装置100.1,100.2の各々には、モニタ200が対応づけられる。
モニタ200は、映像を表示するための表示装置である。なお、モニタ200は、図示しないスピーカーにより、当該映像の表示と同時に音声も出力する。
再生装置100は、通信部110と、コントロール部120と、バッファ130と、デコーダー140とを備える。以下においては、再生装置100.1および再生装置100.2を、それぞれ、第1の再生装置および第2の再生装置ともいう。
通信部110は、放送波としての放送ストリームSTを受信する機能を有する。また、通信部110は、有線技術または無線技術を利用して、ネットワーク30を介して、他の装置とデータ通信を行なう機能を有する。ネットワーク30は、たとえば、LAN(Local Area Network)である。有線技術は、例えば、イーサネット(登録商標)に基づく技術である。無線技術は、たとえば、IEEE802.11gに基づく技術である。なお、無線技術は、IEEE802.11gに基づく技術に限定されることなく、その他の無線技術であってもよい。
バッファ130は、データを一時的に記憶するためのメモリである。バッファ130は、通信部110により受信された、エンコード済コンテンツとしての放送ストリームSTを、一時的に記憶する。
デコーダー140は、外部からの制御に応じて、エンコード済コンテンツとしての放送ストリームSTをデコードするデコード処理を行う。当該デコード処理は、エンコード済コンテンツを生成するために使用された動画像圧縮技術(例えば、MPEG2、H.264等)に対応したデコード処理である。
デコーダー140は、デコード処理を行うとともに、該デコード処理により得られたフレームを順次、自装置に対応するモニタ200へ出力する。また、デコーダー140は、デコード処理を行うとともに、該デコード処理により得られた音声データを、モニタ200へ順次、出力する。
また、デコーダー140は、当該デコーダー140がエンコード済コンテンツに対しデコード処理を開始してから、当該エンコード済コンテンツに対応する1番目のフレームをデコードするまでに要する時間(以下、デコード処理時間という)を示すデコード処理情報を、予めデコーダー140内部の図示しないメモリに記憶している。
デコード処理時間は、例えば、20ミリ秒であるとする。なお、デコード処理時間は、デコーダー140の処理能力が再生装置毎に異なる場合、再生装置毎に異なる時間となる。デコーダー140の処理能力が高い程、デコード処理時間は短くなる。デコーダー140は、外部からデコード処理情報の要求があった場合、当該デコード処理情報を、当該外部へ送信する。
第1の再生装置および第2の再生装置の各々のデコーダー140は、同一のエンコード済コンテンツに対応するデコード処理時間を示すデコード処理情報を、予めデコーダー140内部の図示しないメモリに記憶しているとする。
モニタ200は、デコーダー140からフレームを受信する毎に、当該フレームを表示する。また、モニタ200は、デコーダー140から受信した音声データに基づく音声を、図示しないスピーカーから出力する。
また、モニタ200は、エンコード済コンテンツに対応する1番目のフレームを受信してから該1番目のフレームを表示するまでに要する時間(以下、表示処理時間という)を示す表示時間情報を、モニタ200内部の図示しないメモリに記憶している。表示処理時間は、モニタ固有の時間である。表示処理時間は、例えば、10ミリ秒である。モニタ200は、外部装置から表示時間情報の要求があった場合、表示時間情報を、当該外部装置へ送信する。
以下においては、デコーダー140が、エンコード済コンテンツに対しデコード処理を開始してから、自装置に対応するモニタ200が当該エンコード済コンテンツに対するデコード処理により得られる1番目のフレームを表示するまでの時間を、出画処理時間という。出画処理時間は、デコード処理時間と、表示処理時間とを加算した時間である。
なお、デコーダー140がデコード処理を行った後に、高画質化処理が行われてもよい。高画質化処理は、例えば、図示しない回路等により実行される。以下においては、高画質化処理に要する時間を高画質化処理時間という。高画質化処理は、例えば、デブロッキングフィルタ処理、画像の解像度をあげるための高解像度化処理、フレーム間補完処理等である。フレーム間補完処理は、1秒あたりに表示するフレームの数を、例えば、60から120に増やす処理である。
この場合、出画処理時間は、デコード処理時間と、高画質化処理時間と、表示処理時間とを加算した時間である。
コントロール部120は、詳細は後述するがバッファ130およびデコーダー140を制御する。
なお、コンテンツ再生システム1000に含まれる再生装置100の台数は、2台に限定されることなく、3台以上であってもよい。
(出画処理時間の算出)
次に、出画処理時間を算出するための処理(以下、出画処理時間算出処理という)について説明する。出画処理時間算出処理は、コンテンツ再生システム1000に含まれる各再生装置100が、対応するモニタに映像を表示させる処理を行う前(例えば、電源起動時)に、予め行う処理である。
次に、出画処理時間を算出するための処理(以下、出画処理時間算出処理という)について説明する。出画処理時間算出処理は、コンテンツ再生システム1000に含まれる各再生装置100が、対応するモニタに映像を表示させる処理を行う前(例えば、電源起動時)に、予め行う処理である。
図2は、出画処理時間算出処理のフローチャートである。
ステップS111では、時間情報取得処理が行われる。時間情報取得処理では、コントロール部120が、デコーダー140に対しデコード処理情報を要求することにより、デコーダー140からデコード処理情報を得る。また、コントロール部120は、対応するモニタ200に対しデコード処理情報を要求することにより、モニタ200から表示時間情報を得る。
ステップS112では、コントロール部120が、デコード処理情報が示すデコード処理時間と、表示時間情報が示す表示処理時間とを加算することにより、自装置の出画処理時間(以下、自装置出画処理時間という)を算出する。
すなわち、自装置出画処理時間は、デコーダー140がエンコード済コンテンツに対しデコード処理を開始してから、自装置に対応するモニタ200が該エンコード済コンテンツに対するデコード処理により得られる1番目のフレームを表示するまでの時間である。
そして、コントロール部120は、算出した出画処理時間を示す出画時間情報を、コントロール部120内部の図示しないメモリに記憶する。
以上の出画処理時間算出処理が、コンテンツ再生システム1000に含まれる各再生装置100において行われることにより、各再生装置100のコントロール部120は、出画時間情報を記憶する。
なお、出画時間情報は、各再生装置100のコントロール部120に予め記憶されていてもよい。この場合、各再生装置100は出画処理時間算出処理を行わない。
(調整時間の算出)
次に、コンテンツ再生システム1000に含まれる複数の再生装置100の各々が行う、エンコード済コンテンツのデコードの開始時間を調整するための調整時間を算出するための処理(以下、調整時間算出処理という)について説明する。
次に、コンテンツ再生システム1000に含まれる複数の再生装置100の各々が行う、エンコード済コンテンツのデコードの開始時間を調整するための調整時間を算出するための処理(以下、調整時間算出処理という)について説明する。
調整時間算出処理は、コンテンツ再生システム1000に含まれる各再生装置100が出画処理時間算出処理を行った後に行う処理である。
図3は、調整時間算出処理のフローチャートである。なお、以下においては、一例として、調整時間算出処理を、再生装置100.1が行っているとして説明する。
ステップS211では、出画時間情報取得処理が行われる。出画時間情報取得処理では、コントロール部120が、通信部110を利用して、コンテンツ再生システム1000に含まれる複数の再生装置100のうち自装置以外のn(1以上の整数)台の再生装置(以下、他の再生装置という)の各々へ、出画時間情報取得要求を送信する。出画時間情報取得要求は、各他の再生装置から、固有の出画時間情報を取得するための要求である。
n台の他の再生装置の各々のコントロール部120は、通信部110を利用して、出画時間情報取得要求を受信すると、自装置の出画時間情報を、出画時間情報取得要求を送信した再生装置100.1へ送信する。すなわち、コントロール部120は、通信により、自装置の出画時間情報が示す自装置出画処理時間を、n台の他の再生装置の各々へ送信する。
これにより、再生装置100.1のコントロール部120は、n台の他の再生装置から、それぞれ、n個の出画時間情報(以下、他装置出画時間情報という)を取得する。以下においては、他装置出画時間情報が示す出画処理時間を、他装置出画処理時間という。
他装置出画処理時間は、他の装置(再生装置)がエンコード済コンテンツをデコードするデコード処理を開始してから、該他の装置に対応するモニタ200が該エンコード済コンテンツに対するデコード処理により得られる1番目のフレームを表示するまでの時間である。
ステップS212では、コントロール部120が、自装置の出画時間情報が示す自装置出画処理時間と、n個の他装置出画時間情報がそれぞれ示すn個の他装置出画処理時間とのうち、最も長い時間を、最大処理時間とする。
ここで、n=1であるとする。また、自装置出画処理時間が25ミリ秒であり、他装置出画処理時間は30ミリ秒であるとする。この場合、最大処理時間は30ミリ秒となる。
ステップS213では、コントロール部120が、最大処理時間から、自装置出画処理時間を減算することにより、調整時間を算出する。
ここで、一例として、最大処理時間は30ミリ秒であるとし、自装置出画処理時間は25ミリ秒であるとする。この場合、調整時間は5ミリ秒となる。また、一例として、最大処理時間は30ミリ秒であるとし、自装置出画処理時間は30ミリ秒であるとする。この場合、調整時間は0ミリ秒となる。
そして、コントロール部120は、算出した調整時間を示す調整時間情報を、コントロール部120内部の図示しないメモリに記憶する。
以上の調整時間算出処理が、コンテンツ再生システム1000に含まれる各再生装置100において行われることにより、各再生装置100のコントロール部120は、調整時間情報を記憶する。
(コンテンツの同期再生)
次に、コンテンツ再生システム1000に含まれる複数の再生装置100において、デジタルコンテンツを同時に再生するための処理(以下、同期再生処理という)について説明する。なお、各再生装置100のコントロール部120は、前述した図2の出画処理時間算出処理および図3の調整時間算出処理を行うことにより、調整時間情報を記憶しているとする。
次に、コンテンツ再生システム1000に含まれる複数の再生装置100において、デジタルコンテンツを同時に再生するための処理(以下、同期再生処理という)について説明する。なお、各再生装置100のコントロール部120は、前述した図2の出画処理時間算出処理および図3の調整時間算出処理を行うことにより、調整時間情報を記憶しているとする。
ここで、コンテンツ再生システム1000に含まれる複数の再生装置100の各々は、同一のエンコード済コンテンツ(例えば、放送ストリームST)を外部から取得し、当該同一のエンコード済コンテンツを、バッファ130に記憶させたとする。すなわち、コンテンツ再生システム1000に含まれる複数の再生装置100の各々のバッファ130には、同一のエンコード済コンテンツが記憶されているとする。同期再生処理は、各再生装置100において、同時に行われる。
ここで、仮に、各再生装置100が調整時間を考慮せずに同一のエンコード済コンテンツの再生を同時に行う場合、各再生装置100のデコーダー140がエンコード済コンテンツのデコードを開始するタイミングは、同一の所定タイミングであるとする。すなわち、当該同一の所定タイミングは、複数の再生装置100の各々においてデコード処理を開始する予定のタイミングである。
図4は、同期再生処理のフローチャートである。
ステップS311では、再生開始処理が行われる。再生開始処理では、コントロール部120が、上記予定の同一の所定タイミングより調整時間情報が示す調整時間だけ遅らせたタイミングで、デコーダー140にエンコード済コンテンツをデコードするデコード処理を開始させる。
ここで、一例として、コンテンツ再生システム1000には、2台の再生装置100(第1の再生装置および第2の再生装置)が含まれるとする。また、第1の再生装置および第2の再生装置の各々が、図4の同期再生処理を同時に行うとする。
以下において、第1の再生装置および第2の再生装置におけるコンテンツの同期再生について説明する。
図5は、コンテンツの同期再生の一例を説明するための図である。図5において、時刻t1は、ステップS311における予定の同一の所定タイミングの時刻であるとする。
ここで、第1の再生装置のデコード処理時間、表示処理時間、自装置出画処理時間および調整時間は、それぞれ、17ミリ秒、8ミリ秒、25ミリ秒および5ミリ秒であるとする。また、第2の再生装置のデコード処理時間、表示処理時間、自装置出画処理時間および調整時間は、それぞれ、20ミリ秒、10ミリ秒、30ミリ秒および0ミリ秒であるとする。
すなわち、第1の再生装置のデコーダー140のデータ処理能力と第2の再生装置のデコーダー140のデータ処理能力とが異なるとする。また、第1の再生装置に対応するモニタ200のデータ処理能力と第2の再生装置に対応するモニタ200のデータ処理能力とが異なるとする。
この場合、同期再生処理を行う第1の再生装置のコントロール部120は、予定の同一の所定タイミングとしての時刻t1より、調整時間5ミリ秒だけ遅らせた時刻t2で、デコーダー140にエンコード済コンテンツをデコードするデコード処理を開始させる。第1の再生装置の自装置出画処理時間は、25ミリ秒である。そのため、第1の再生装置に対応するモニタ200が1番目のフレームを表示する時刻は、時刻t2から25ミリ秒経過した時刻t3となる。
また、この場合、同期再生処理を行う第2の再生装置のコントロール部120は、予定の同一の所定タイミングとしての時刻t1より、調整時間0ミリ秒だけ遅らせた時刻t1で、デコーダー140にエンコード済コンテンツをデコードするデコード処理を開始させる。すなわち、第2の再生装置のコントロール部120は、予定の同一の所定タイミングとしての時刻t1で、デコーダー140にエンコード済コンテンツをデコードするデコード処理を開始させる。
第2の再生装置の自装置出画処理時間は、30ミリ秒である。そのため、第2の再生装置に対応するモニタ200が1番目のフレームを表示する時刻は、時刻t1から30ミリ秒経過した時刻t3となる。
すなわち、第1の再生装置および第2の再生装置の各々において、同期再生処理が行われることにより、第1の再生装置および第1の再生装置に対応するモニタ200と、第2の再生装置および第2の再生装置に対応するモニタ200とのデータ処理能力が異なっていたとしても、同一のエンコード済コンテンツに対するデコード処理により得られる1番目のフレームを、同一のタイミング(時刻t3)で表示することができる。
つまり、処理能力の異なる複数の装置において、同一のコンテンツから得られる映像を、同一のタイミングで表示することができる。
以上説明したように、本実施の形態によれば、複数の再生装置において、各再生装置の出画処理時間を、エンコード済コンテンツのデコードを開始する前に、互いに通知しておく。また、複数の再生装置の各々は、他の再生装置の出画処理時間を利用して、自装置に対応した調整時間を算出する。
そして、複数の再生装置の各々は、予定の同一の所定タイミングより、自装置に対応する調整時間だけ遅らせたタイミングで、エンコード済コンテンツをデコードするデコード処理を開始させる。
すなわち、他の再生装置の処理能力を考慮して、コンテンツのデコードの開始時間を調整することにより、処理能力の異なる複数の装置において、同一のコンテンツから得られる映像を、同一のタイミングで表示することができる。すなわち、処理能力の差に関わらず、複数の装置において、同一のコンテンツから得られる映像を、同一のタイミングで表示することができる。
また、本実施の形態によれば、コンテンツの再生開始のタイミングを補正する仕組みを個々の再生装置内に持たせることにより、最小限の通信により映像の表示タイミングの同期を保証することが出来る。
また、同じ仕組みを有する機器を複数使用する場合、機器の性能や再生形態(ビットレート、フォーマット、映像・音声いずれかの有無など)の差異によらず柔軟に構成することが可能となる。
また、本実施の形態によれば、同じコンテンツを再生することが保証されている場合において、コンテンツの相互配信も不要となるメリットがあり、離れた場所での同一DVD再生など同時体験をもたらすことによる新しい視聴スタイルおよびコミュニケーションが提案できる。
なお、本発明では、デコードの開始タイミングを制御したが、これに限定されず、バッファ130が、エンコード済コンテンツを保持する時間を、コントロール部120が調整時間を考慮して、変化させてもよい。
また、本発明では、コンテンツのデコード処理が開始されてから、モニタ200が映像を表示するまでの時間を基準としたが、これに限定されず、コンテンツのデコード処理が開始されてから、モニタ200が音声を出力するまでの時間を基準として、調整時間等を算出してもよい。
また、図3のステップS212の処理により特定された最大処理時間が、自装置出画処理時間である場合、通信部110がエンコード済コンテンツとしての放送ストリームSTを受信したと同時に、バッファ130がエンコード済コンテンツを保持する時間が0秒となるように、コントロール部120がバッファ130を制御してもよい。すなわち、バッファ130のバッファとしての機能を利用しないようにしてもよい。
この場合、エンコード済コンテンツは、バッファ130を介して、即座に、デコーダー140に送信される。
<第1の実施の形態の変形例1>
本実施の形態の変形例1では、各再生装置が、ネットワーク30を利用せずに、コンテンツの同期再生を実現するための構成を示す。
本実施の形態の変形例1では、各再生装置が、ネットワーク30を利用せずに、コンテンツの同期再生を実現するための構成を示す。
図6は、第1の実施の形態の変形例1におけるコンテンツ再生システム1000Aの構成を示すブロック図である。
図6を参照して、コンテンツ再生システム1000Aは、図1のコンテンツ再生システム1000と比較して、ネットワーク30を利用しない点と、入力インターフェース300を含む点が異なる。それ以外は、コンテンツ再生システム1000と同様なので詳細な説明は繰り返さない。
入力インターフェース300は、ユーザの入力操作を受け付けるためのインターフェースである。入力インターフェース300は、例えば、リモートコントローラである。入力インターフェース300は、ユーザの操作により入力された情報を、特定の再生装置100へ送信する機能を有する。
例えば、ユーザは、コンテンツ再生システム1000Aに含まれる各再生装置100の自装置出画処理時間を事前の測定等により知っているとする。この場合、例えば、ユーザは、入力インターフェース300を利用して、第2の再生装置の自装置出画処理時間を第1の再生装置へ送信する。また、ユーザは、入力インターフェース300を利用して、第1の再生装置の自装置出画処理時間を第2の再生装置へ送信する。
これにより、第1および第2の再生装置の各々は、他装置出画処理時間を得ることができる。
なお、ユーザは、入力インターフェース300を利用して、各再生装置100の調整時間を、対応する再生装置100へ直接送信してもよい。
以上のような処理が行われることにより、各再生装置100の各々は、第1の実施の形態で説明した各種処理を行うことにより、エンコード済コンテンツのデコードの開始タイミングを決定することができる。
なお、入力インターフェース300において入力される情報は、同期する再生装置の型番など、再生装置固有の出画処理時間が特定できる情報であってもよい。これにより、各再生装置100の各々は、エンコード済コンテンツのデコードの開始タイミングを決定することができる。
以上の構成のコンテンツ再生システム1000Aにおいても、第1の実施の形態と同様な効果を得ることができる。
<第1の実施の形態の変形例2>
図7は、第1の実施の形態の変形例2におけるコンテンツ再生システム1000の構成を示すブロック図である。なお、図7には、説明のために、コンテンツ再生システム1000に含まれない記録媒体50が示される。
図7は、第1の実施の形態の変形例2におけるコンテンツ再生システム1000の構成を示すブロック図である。なお、図7には、説明のために、コンテンツ再生システム1000に含まれない記録媒体50が示される。
本実施の形態の変形例2では、第1の実施の形態と比較して、エンコード済コンテンツを供給するものが、ストリーム送信装置10の代わり記録媒体50である点が異なる。なお、第1の実施の形態の変形例2におけるコンテンツ再生システム1000の構成は、図1のコンテンツ再生システム1000と同様なので詳細な説明は繰り返さない。
記録媒体50は、例えば、DVD(Digital Versatile Disk)、CD(Compact Disc)、メモリカード等である。記録媒体50には、エンコード済コンテンツとしてのコンテンツAが記録されている。
各再生装置100のコントロール部120は、記録媒体50から同一のコンテンツAを読出し、エンコード済コンテンツとしてのコンテンツAを、バッファ130に記憶させる。その後、各再生装置100において、第1の実施の形態で説明した出画処理時間算出処理、調整時間算出処理および同期再生処理が行なわれる。
以上の構成のコンテンツ再生システム1000においても、第1の実施の形態と同様な効果を得ることができる。
以上、本発明における再生装置100について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
また、上記の再生装置100を構成する複数の構成要素の全てまたは一部は、ハードウエアで構成されてもよい。また、上記の再生装置100を構成する構成要素の全てまたは一部は、CPU(Central Processing Unit)等により実行されるプログラムのモジュールであってもよい。
また、上記の再生装置100を構成する複数の構成要素の全てまたは一部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されてもよい。システムLSIは、複数の構成要素を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM(Read Only Memory)及びRAM(Random Access Memory)などを含んで構成されるコンピュータシステムである。
例えば、図1において、コントロール部120、バッファ130およびデコーダー140は、1個のシステムLSIから構成されてもよい。
また、本発明は、再生装置100が備える特徴的な構成部の動作をステップとするコンテンツ再生方法として実現してもよい。また、本発明は、そのようなコンテンツ再生方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現してもよい。また、本発明は、そのようなプログラムを格納するコンピュータ読み取り可能な記録媒体として実現されてもよい。また、当該プログラムは、インターネット等の伝送媒体を介して配信されてもよい。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
本発明は、複数の表示装置において、同一時刻に同一の映像コンテンツを視聴する場合において有用である。
50 記録媒体
100.1,100.2 再生装置
120 コントロール部
130 バッファ
140 デコーダー
1000,1000A コンテンツ再生システム
100.1,100.2 再生装置
120 コントロール部
130 バッファ
140 デコーダー
1000,1000A コンテンツ再生システム
Claims (6)
- 複数のフレームから構成される映像がエンコードされたデジタルコンテンツであるエンコード済コンテンツをデコードする機能を有し、同一の前記エンコード済コンテンツを外部から取得する複数の装置の各々の装置としての再生装置であって、
前記複数の装置の各々には、前記エンコード済コンテンツのデコードにより得られる映像を表示するモニタが対応づけられ、
前記再生装置は、
前記エンコード済コンテンツを記憶するバッファと、
外部からの制御に応じて、前記バッファに記憶された前記エンコード済コンテンツをデコードするデコード処理を行うとともに、該デコード処理により得られたフレームを順次、自装置に対応するモニタへ出力するデコーダーと、
前記デコーダーを制御するコントロール部とを備え、
前記コントロール部は、さらに、前記デコーダーが前記エンコード済コンテンツに対し前記デコード処理を開始してから、自装置に対応するモニタが該エンコード済コンテンツに対するデコード処理により得られる1番目のフレームを表示するまでの時間である自装置出画処理時間を算出し、
前記コントロール部は、さらに、前記複数の装置のうち自装置以外のn(1以上の整数)台の他の装置の各々が、前記エンコード済コンテンツをデコードするデコード処理を開始してから、該他の装置に対応するモニタが該エンコード済コンテンツに対するデコード処理により得られる1番目のフレームを表示するまでの時間である他装置出画処理時間を、前記n台の他の装置の各々から取得し、
前記コントロール部は、さらに、n個の前記他装置出画処理時間と前記自装置出画処理時間とのうち、最も長い時間を最大処理時間とし、該最大処理時間から前記自装置出画処理時間を減算した時間である調整時間を算出し、
前記コントロール部は、前記複数の装置の各々において前記デコード処理を開始する予定の同一の所定タイミングより前記調整時間だけ遅らせたタイミングで前記デコーダーに前記デコード処理を開始させる、
再生装置。 - 前記コントロール部は、前記デコーダーが前記エンコード済コンテンツに対し前記デコード処理を開始してから、該エンコード済コンテンツに対応する1番目のフレームをデコードするまでに要するデコード処理時間と、自装置に対応するモニタが、前記デコーダーが行う前記デコード処理により得られた1番目のフレームを受信してから該1番目のフレームを表示するまでに要する時間である表示処理時間とを取得し、
前記コントロール部は、前記デコード処理時間と、前記表示処理時間とを加算することにより前記自装置出画処理時間を算出する、
請求項1に記載の再生装置。 - 前記コントロール部は、さらに、通信により、前記自装置出画処理時間を、前記n台の他の装置の各々へ送信する、
請求項1または2に記載の再生装置。 - 前記エンコード済コンテンツは、放送により配信されるコンテンツである、
請求項1~3のいずれかに記載の再生装置。 - 前記エンコード済コンテンツは、記録媒体に記録されたコンテンツである、
請求項1~3のいずれかに記載の再生装置。 - 複数のフレームから構成される映像がエンコードされたデジタルコンテンツであるエンコード済コンテンツをデコードするデコード処理を行うデコーダーを有し、同一の前記エンコード済コンテンツを外部から取得する複数の装置の各々が行うコンテンツ再生方法であって、
前記複数の装置の各々には、前記エンコード済コンテンツのデコードにより得られる映像を表示するモニタが対応づけられ、
前記コンテンツ再生方法は、
前記複数の装置のうちの第1の装置が、該第1の装置の前記デコーダーが前記エンコード済コンテンツに対し前記デコード処理を開始してから、前記第1の装置に対応するモニタが該エンコード済コンテンツに対するデコード処理により得られる1番目のフレームを表示するまでの時間である自装置出画処理時間を算出するステップと、
前記第1の装置が、前記複数の装置のうち前記第1の装置以外のn(1以上の整数)台の第2の装置の各々が、前記エンコード済コンテンツをデコードするデコード処理を開始してから、該第2の装置に対応するモニタが該エンコード済コンテンツに対するデコード処理により得られる1番目のフレームを表示するまでの時間である他装置出画処理時間を、前記n台の第2の装置の各々から取得するステップと、
前記第1の装置が、n個の前記他装置出画処理時間と前記自装置出画処理時間とのうち、最も長い時間を最大処理時間とし、該最大処理時間から前記自装置出画処理時間を減算した時間である調整時間を算出するステップと、
前記第1の装置が、前記複数の装置の各々において前記デコード処理を開始する予定の同一の所定タイミングより前記調整時間だけ遅らせたタイミングで前記第1の装置の前記デコーダーに前記デコード処理を開始させるステップと
を備える、コンテンツ再生方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009-143734 | 2009-06-16 | ||
JP2009143734A JP2011004015A (ja) | 2009-06-16 | 2009-06-16 | 再生装置およびコンテンツ再生方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2010146780A1 true WO2010146780A1 (ja) | 2010-12-23 |
Family
ID=43356115
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2010/003624 WO2010146780A1 (ja) | 2009-06-16 | 2010-05-31 | 再生装置およびコンテンツ再生方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2011004015A (ja) |
WO (1) | WO2010146780A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108882019A (zh) * | 2017-05-09 | 2018-11-23 | 腾讯科技(深圳)有限公司 | 视频播放测试方法、电子设备及系统 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5682533B2 (ja) * | 2011-10-19 | 2015-03-11 | トヨタ自動車株式会社 | 通信端末装置及び通信方法 |
JP2015062263A (ja) * | 2012-01-19 | 2015-04-02 | パナソニック株式会社 | 車載用電子機器とそれを用いた再生システム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000308012A (ja) * | 1999-04-22 | 2000-11-02 | Mitsubishi Electric Corp | 映像音声再生装置 |
JP2002354029A (ja) * | 2001-05-29 | 2002-12-06 | Sony Corp | データ送受信システム、データ送信方法、データ再生方法、データ送信プログラムおよびデータ再生プログラム |
JP2003235027A (ja) * | 2002-02-12 | 2003-08-22 | Matsushita Electric Ind Co Ltd | 配信映像の同時再生方法、映像配信システムおよび端末装置 |
JP2004135062A (ja) * | 2002-10-10 | 2004-04-30 | Matsushita Electric Ind Co Ltd | 映像コミュニケーションシステム及び映像コミュニケーション方法 |
-
2009
- 2009-06-16 JP JP2009143734A patent/JP2011004015A/ja active Pending
-
2010
- 2010-05-31 WO PCT/JP2010/003624 patent/WO2010146780A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000308012A (ja) * | 1999-04-22 | 2000-11-02 | Mitsubishi Electric Corp | 映像音声再生装置 |
JP2002354029A (ja) * | 2001-05-29 | 2002-12-06 | Sony Corp | データ送受信システム、データ送信方法、データ再生方法、データ送信プログラムおよびデータ再生プログラム |
JP2003235027A (ja) * | 2002-02-12 | 2003-08-22 | Matsushita Electric Ind Co Ltd | 配信映像の同時再生方法、映像配信システムおよび端末装置 |
JP2004135062A (ja) * | 2002-10-10 | 2004-04-30 | Matsushita Electric Ind Co Ltd | 映像コミュニケーションシステム及び映像コミュニケーション方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108882019A (zh) * | 2017-05-09 | 2018-11-23 | 腾讯科技(深圳)有限公司 | 视频播放测试方法、电子设备及系统 |
Also Published As
Publication number | Publication date |
---|---|
JP2011004015A (ja) | 2011-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101350754B1 (ko) | 채널 변경 시간을 감소시키고 채널 변경 동안 오디오/비디오 콘텐츠를 동기화하는 방법 | |
JP6184408B2 (ja) | 受信装置及びその受信方法 | |
US20140137168A1 (en) | Transmitting apparatus, control method for transmitting apparatus, control program, and recording medium | |
JPWO2012067219A1 (ja) | コンテンツデータ生成装置、コンテンツデータ生成方法、コンピュータプログラムおよび記録媒体 | |
JP2008539639A (ja) | 暗号システムにおいて暗号化データ・ストリームを処理する装置及び方法 | |
US20210195256A1 (en) | Decoder equipment with two audio links | |
JP5881219B2 (ja) | 単一の復号器でチャンネル変更を可能にする受信機および該受信機での方法 | |
JP6823540B2 (ja) | 映像処理方法、映像処理システム及び映像送信装置 | |
JP2007504707A (ja) | コンテンツ提供システム及びこれのための移動端末 | |
WO2010146780A1 (ja) | 再生装置およびコンテンツ再生方法 | |
KR20080076079A (ko) | 디지털 방송 재생 방법 및 장치, 디지털 방송 녹화 방법 | |
WO2014115389A1 (ja) | ビデオ表示装置及びビデオ表示方法 | |
KR101731829B1 (ko) | 디지털 영상 수신기의 디지털 콘텐츠 처리 장치 및 방법 | |
KR20090031100A (ko) | 방송 컨텐트 재생 방법 및 장치와 방송 컨텐트 제공 방법및 장치 | |
JP2005346781A (ja) | デジタル情報再生装置及び方法 | |
JP2006019888A (ja) | 記録装置および記録制御方法 | |
JP4823960B2 (ja) | 再生制御方法および受信装置 | |
JP4213697B2 (ja) | 動画ストリームの画像再生装置及び方法 | |
JP4850041B2 (ja) | 映像再生システム、映像再生の同期方法および映像再生端末 | |
JP4364619B2 (ja) | 複数映像時刻同期表示端末、複数映像時刻同期表示方法、プログラム、および記録媒体 | |
JP4289055B2 (ja) | トランスコーダおよびこれを用いた記録再生装置 | |
JP4197078B2 (ja) | 蓄積型デジタル放送における映像音声の部分再生方法及び受信装置 | |
JP2010245756A (ja) | 通信ネットワークシステム、コンテンツ再生方法、及びサーバ | |
JP4762340B2 (ja) | 信号処理装置及び信号処理方法 | |
JP5178680B2 (ja) | 複数のプロセサを利用する映像装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 10789165 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 10789165 Country of ref document: EP Kind code of ref document: A1 |