JP4311570B2 - 再生装置、ビデオ復号装置および同期再生方法 - Google Patents
再生装置、ビデオ復号装置および同期再生方法 Download PDFInfo
- Publication number
- JP4311570B2 JP4311570B2 JP2005194383A JP2005194383A JP4311570B2 JP 4311570 B2 JP4311570 B2 JP 4311570B2 JP 2005194383 A JP2005194383 A JP 2005194383A JP 2005194383 A JP2005194383 A JP 2005194383A JP 4311570 B2 JP4311570 B2 JP 4311570B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- decoded
- time stamp
- video
- stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000001360 synchronised effect Effects 0.000 title claims description 34
- 238000000034 method Methods 0.000 title claims description 17
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000000926 separation method Methods 0.000 claims description 4
- 239000000872 buffer Substances 0.000 description 21
- 238000013139 quantization Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000008707 rearrangement Effects 0.000 description 9
- 239000012536 storage buffer Substances 0.000 description 7
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001094 photothermal spectroscopy Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
- H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
- H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
この発明は、ビデオとオーディオが多重化されたストリームを復号する再生装置、ビデオ復号装置、および同期再生方法に関する。
ＤＶＤ（Digital Versatile Disc）などの大容量の光ディスクメディアを再生可能なメディアプレーヤやパーソナルコンピュータが普及しており、高品質の映像コンテンツがＤＶＤなどに格納されて提供されている。また、テレビ放送などで提供されるコンテンツをＤＶＤに録画することのできるＤＶＤレコーダも普及している。ＤＶＤなどの記録媒体にビデオやオーディオを蓄積するためには圧縮符号化技術が不可欠である。また、映像コンテンツでは、動画に音声や字幕が同期して再生される必要があり、同期再生のための制御機構も必須である。
動画像圧縮符号化技術の標準として、ＭＰＥＧ（Moving Picture Experts Group）やＨ．２６４／ＡＶＣ（Advanced Video Coding）がある。ビデオやオーディオの符号化ストリームは、再生時刻情報など同期再生に必要なヘッダ情報とともにシステム多重化されて、記録媒体に蓄積される。蓄積メディア向けのシステム多重化技術の標準として、ＭＰＥＧ−２システムのプログラムストリームなどがある。
ＭＰＥＧ−２システムのプログラムストリームでは、ビデオおよびオーディオの再生の単位であるアクセスユニット単位で再生すべき時刻を示すＰＴＳ（Presentation Time Stamp、プレゼンテーションタイムスタンプ）情報が付加されている。ビデオとオーディオの同期再生は、このＰＴＳ情報にもとづいて行われる。
ＭＰＥＧ−２システムのプログラムストリームなどの多重化ストリームを先頭から再生せずに、途中の画像から再生するランダムアクセスを行った場合、システムレイヤで得られるＰＴＳ情報だけではビデオとオーディオの同期再生を正しく行うことができないことがある。ビデオのストリームは、動画像符号化処理レイヤにおいて、未来のフレームを参照するフレーム間予測符号化が行われていることがあり、ランダムアクセスポイントからの再生を行った場合、フレームの復号順序と表示順序が一致せず、ランダムアクセスの際に取得されたシステムレイヤで取得されたＰＴＳ情報は、そのままではビデオとオーディオの同期再生のための基準タイムスタンプとして利用することができないからである。
表示順序において先頭となるピクチャのＰＴＳ情報を何らかの方法で取得し、表示先頭ピクチャのＰＴＳ情報を基準としてオーディオや字幕を同期させる必要があるが、多重化ストリームのファイルサイズを小さく抑えるため、ＰＴＳ情報はランダムアクセスポイントのピクチャにしか付加されていないことが多く、同期再生に必要なＰＴＳ情報はシステムレイヤでは得られない。
本発明はこうした課題に鑑みてなされたものであり、その目的は、ビデオとオーディオなどが多重化されたストリームをランダムアクセスして再生する際に、ビデオとオーディオなどを同期させることのできる再生装置、ビデオ復号装置および同期再生方法を提供することにある。
上記課題を解決するために、本発明のある態様の再生装置は、ビデオストリームとオーディオストリームが多重化された多重化ストリームからビデオデータとオーディオデータを分離する分離部と、前記ビデオデータを復号するビデオ復号部と、前記オーディオデータを復号するオーディオ復号部と、前記オーディオ復号部にビデオの再生と同期を取るための同期信号を与える制御部とを含む。前記ビデオ復号部は、前記多重化ストリームに対して途中のピクチャから再生するランダムアクセスがなされた場合に、最初に復号される復号先頭ピクチャの再生時刻を指定する再生タイムスタンプを前記ビデオストリームから取得し、前記復号先頭ピクチャの再生タイムスタンプをもとに最初に表示される表示先頭ピクチャの再生タイムスタンプを算出するタイムスタンプ算出部を含む。前記制御部は、算出された前記表示先頭ピクチャの再生タイムスタンプを前記同期信号として前記オーディオ復号部に与える。
本発明の別の態様もまた、再生装置である。この装置は、ビデオストリーム、オーディオストリームおよび字幕ストリームが多重化された多重化ストリームからビデオデータ、オーディオデータおよび字幕データを分離する分離部と、前記ビデオデータを復号するビデオ復号部と、前記オーディオデータを復号するオーディオ復号部と、前記字幕データを復号する字幕復号部と、前記オーディオ復号部および前記字幕復号部にビデオの再生と同期を取るための同期信号を与える制御部とを含む。前記ビデオ復号部は、前記多重化ストリームに対して途中のピクチャから再生するランダムアクセスがなされた場合に、最初に復号される復号先頭ピクチャの再生時刻を指定する再生タイムスタンプを前記ビデオストリームから取得し、前記復号先頭ピクチャの再生タイムスタンプをもとに最初に表示される表示先頭ピクチャの再生タイムスタンプを算出するタイムスタンプ算出部を含む。前記制御部は、算出された前記表示先頭ピクチャの再生タイムスタンプを前記同期信号として前記オーディオ復号部および前記字幕復号部に与える。
本発明のさらに別の態様は、ビデオ復号装置である。この装置は、ビデオストリームとオーディオストリームが多重化された多重化ストリームから分離されたビデオデータを復号する復号部と、前記多重化ストリームに対して途中のピクチャから再生するランダムアクセスがなされた場合に、最初に復号される復号先頭ピクチャの再生時刻を指定する再生タイムスタンプを前記ビデオストリームから取得し、前記復号先頭ピクチャの再生タイムスタンプをもとに最初に表示される表示先頭ピクチャの再生タイムスタンプを算出するタイムスタンプ算出部とを含む。
本発明のさらに別の態様は、同期再生方法である。この方法は、ビデオストリームとオーディオストリームが多重化された多重化ストリームに対して途中のピクチャから再生するランダムアクセスがなされた場合に、最初に復号される復号先頭ピクチャの再生時刻を指定する再生タイムスタンプを前記ビデオストリームから取得し、前記復号先頭ピクチャの再生タイムスタンプをもとに最初に表示される表示先頭ピクチャの再生タイムスタンプを算出し、算出された前記表示先頭ピクチャの再生タイムスタンプに同期させて前記オーディオストリームを復号して再生する。
本発明のさらに別の態様は、プログラムである。このプログラムは、ビデオストリームとオーディオストリームが多重化された多重化ストリームに対して途中のピクチャから再生するランダムアクセスがなされた場合に、最初に復号される復号先頭ピクチャの再生時刻を指定する再生タイムスタンプを前記ビデオストリームから取得するステップと、前記復号先頭ピクチャの再生タイムスタンプをもとに最初に表示される表示先頭ピクチャの再生タイムスタンプを算出するステップと、ビデオの再生にオーディオの再生を同期させるための同期信号として、算出された前記表示先頭ピクチャの再生タイムスタンプを出力するステップとをコンピュータに実行させる。
このプログラムは、ビデオやオーディオのデコーダ等のハードウエア資源の基本的な制御を行なうために機器に組み込まれるファームウエアの一部として提供されてもよい。このファームウエアは、たとえば、機器内のＲＯＭやフラッシュメモリなどの半導体メモリに格納される。このファームウエアを提供するため、あるいはファームウエアの一部をアップデートするために、このプログラムを記録したコンピュータ読み取り可能な記録媒体が提供されてもよく、また、このプログラムが通信回線で伝送されてもよい。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、ビデオとオーディオなどが多重化されたストリームをランダムアクセスして再生する際に、ビデオとオーディオなどを正確に同期させることができる。
図１は、実施の形態に係る多重符号化装置２００の構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。
多重符号化装置２００には、ビデオデータ、オーディオデータおよび字幕データが入力される。このオーディオと字幕はビデオと同期して再生されるべきものである。
ビデオエンコーダ２１０は、一例として、Ｈ．２６４／ＡＶＣ規格にしたがって、入力されたビデオデータを符号化し、符号化ビデオストリームを生成する。
オーディオエンコーダ２２０は、一例として、ＭＰＥＧオーディオなどの規格にしたがって、入力されたオーディオデータを符号化し、符号化オーディオストリームを出力する。字幕エンコーダ２３０は、入力された字幕データを符号化し、符号化字幕ストリームを出力する。
ビデオエンコーダ２１０、オーディオエンコーダ２２０および字幕エンコーダ２３０により符号化されたストリームは、エレメンタリストリーム（Elementary Stream；ＥＳ）と呼ばれる。
Ｈ．２６４／ＡＶＣ規格では、動画像符号化処理を行うＶＣＬ（Video Coding Layer、ビデオ符号化層）と呼ばれるレイヤと、符号化されたデータを伝送または蓄積するシステムレイヤとの間に、ＮＡＬ（Network Abstraction Layer、ネットワーク抽象層）と呼ばれるレイヤが設けられている。
ビデオ、オーディオ、字幕の各エレメンタリストリームは、このＮＡＬと呼ばれるレイヤでＮＡＬユニットと呼ばれる単位で扱われ、情報の伝送や蓄積を行うためのシステムレイヤにマッピングされる。
ビデオストリームにおいてピクチャ単位でのアクセスを可能とするために、いくつかのＮＡＬユニットがアクセスユニットと呼ばれる単位にまとめられる。オーディオストリーム、字幕ストリームも同様に、いくつかのＮＡＬユニットをまとめたアクセスユニット単位でアクセス可能に構成される。
本実施の形態の多重符号化装置２００は、システムレイヤにおいてＭＰＥＧ−２システムのプログラムストリーム（Program Stream；ＰＳ）の規格にしたがって、多重化ストリームを生成し、記録媒体に蓄積する。多重化のために、ビデオ、オーディオ、字幕の各ストリームはパケット化される。
ビデオパケット化部２４０は、ビデオエンコーダ２１０から出力される符号化ビデオストリームをＰＥＳ（Packetized Elementary Stream）パケットにパケット化する。同様に、オーディオパケット化部２５０は、オーディオエンコーダ２２０から出力される符号化オーディオストリームをＰＥＳパケットにパケット化し、字幕パケット化部２６０は、字幕エンコーダ２３０から出力される符号化字幕ストリームをＰＥＳパケットにパケット化する。
多重化部２７０は、ビデオ、オーディオおよび字幕のＰＥＳパケットをＭＰＥＧ−２システムのプログラムストリームとして多重化し、生成された多重化ストリームを出力する。生成された多重化ストリームは、ＤＶＤやメモリカードなどの記録媒体に記録される。
図２は、ビデオエンコーダ２１０の構成図である。ビデオエンコーダ２１０は、フレーム単位で動画像の入力信号を受け取り、フレーム画像を符号化し、動画像の符号化ストリームを出力する。
Ａ／Ｄ変換部５０は、アナログ入力信号をデジタル化し、フレーム並べ替え用バッファ５２に与える。フレーム並べ替え用バッファ５２は、フレーム間予測符号化のためにフレームを並べ替えて保持するバッファである。Ｈ．２６４／ＡＶＣ規格では、フレーム間予測符号化の際、過去、未来のいずれのフレームを参照画像としてもよく、また参照するフレームの枚数も任意であり、フレームの並べ替え用のバッファを設け、動き予測・補償部６６に参照画像を供給する必要がある。
動き予測・補償部６６は、フレーム並べ替え用バッファ５２に格納されている過去または未来の画像フレームを参照画像として利用し、Ｐ（Predictive）フレームまたはＢ（Bi-predictive prediction）フレームのマクロブロック毎に動き予測を行い、動きベクトルと動き補償された予測画像とを生成する。動き予測・補償部６６は、生成した動きベクトルを可変長符号化部６８に与え、予測画像を差分器５４に与える。
差分器５４は、フレーム並べ替え用バッファ５２から供給される画像フレームがＩ（Intra）フレームである場合、そのまま直交変換部５６に供給し、Ｐ／Ｂフレームである場合は、動き予測・補償部６６から供給される予測画像との差分を計算して直交変換部５６に供給する。
直交変換部５６は、供給されたＩフレームの画像もしくはＰ／Ｂフレームの差分画像を離散コサイン変換（Discrete Cosine Transform；ＤＣＴ）し、得られたＤＣＴ係数を量子化部５８に与える。
量子化部５８は、ＤＣＴ係数を量子化し、可変長符号化部６８に与える。また、量子化部５８は、動き補償を行うために、画像フレームの量子化されたＤＣＴ係数を逆量子化部６０に供給する。逆量子化部６０は、与えられた量子化データを逆量子化し、逆直交変換部６２に与え、逆直交変換部６２は、与えられた逆量子化データを逆離散コサイン変換する。これにより、符号化された画像フレームが復元される。復元された画像フレームはフレームメモリ６４に格納される。
動き予測・補償部６６は、フレームメモリ６４に格納された再構成されたフレーム画像を符号化対象フレームとして参照し、動き補償を行う。
可変長符号化部６８は、量子化部５８により量子化されたＤＣＴ係数の可変長符号化を行い、可変長符号化された圧縮画像データを蓄積バッファ７０に格納する。可変長符号化部６８は、Ｐ／Ｂフレームの場合は、動き予測・補償部６６から与えられた動きベクトルとともに差分画像の量子化されたＤＣＴ係数を可変長符号化する。
レート制御部７２は、蓄積バッファ７０に蓄積されるフレーム画像のフレームレートを制御し、量子化部５８における量子化ステップを調整する。フレーム画像は可変長符号化されるため、各フレームのデータ量は符号化するまで判明しない。そのため、蓄積バッファ７０に蓄積されたフレーム画像を再生するときのフレームレートを検出して、量子化ステップを増減し、所定のフレームレートで再生が可能な符号量に調整する必要がある。
蓄積バッファ７０に蓄積された圧縮フレーム画像と動きベクトル情報を含む画像圧縮情報が符号化ビデオストリームとして出力され、ビデオパケット化部２４０に供給される。
図３は、多重符号化装置２００により生成されるプログラムストリーム３００のデータ構造を説明する図である。
ＭＰＥＧ−２システムのプログラムストリーム３００は、ビデオストリーム、オーディオストリームおよび字幕ストリームがＰＥＳパケットとしてパケット化され、多重化されたものである。複数のＰＥＳパケットをまとめた単位はパック（Pack）と呼ばれ、プログラムストリーム３００は、パックを順次並べたデータ構造をもつ。ここでは、１つのパック内に１つのＰＥＳパケットを含む構成を採用している。
先頭のパックは、パックヘッダ３０２とビデオＰＥＳパケット３０４を含む。ビデオＰＥＳパケット３０４のヘッダには、ビデオの再生時刻の基準を与えるＰＴＳ情報３０５が含まれ、ペイロードにはビデオデータ３０６が含まれる。
このＰＴＳ情報３０５は、ランダムアクセスの対象となるアクセスユニットのビデオＰＥＳパケットにのみ含まれ、ランダムアクセスの対象とならないアクセスユニットのビデオＰＥＳパケットにはＰＴＳ情報は含まれない。プログラムストリーム３００のデータサイズが大きくなるのを避けるためである。もっともプログラムストリーム３００のデータサイズが大きくなってもかまわない場合は、ランダムアクセスの対象であるかどうかを問わず、すべてのアクセスユニットのビデオＰＥＳパケットのヘッダにＰＴＳ情報をもたせてもかまわない。
第２のパックは、パックヘッダ３０８とビデオＰＥＳパケット３１０を含む。第３のパックは、パックヘッダ３１２とオーディオＰＥＳパケット３１４を含む。第４のパックは、パックヘッダ３１６と字幕ＰＥＳパケット３１８を含む。オーディオＰＥＳパケット３１４および字幕ＰＥＳパケット３１８のヘッダにも、オーディオおよび字幕の再生時刻の基準を与えるＰＴＳ情報が適宜含まれている。
ビデオストリームのアクセスユニットがランダムアクセスされた場合、ランダムアクセスされたアクセスユニットのビデオＰＥＳパケット３０４のヘッダからＰＴＳ情報３０５が取り出される。
Ｈ．２６４／ＡＶＣ規格では、ＩＤＲ（Instantaneous Decoding Refresh）ピクチャを用いたランダムアクセス機能が規定されている。ＩＤＲピクチャは、そのピクチャよりも前のピクチャの情報がなくても、それ以降のピクチャの復号が可能となるピクチャであり、参照ピクチャを一時的に保持していたバッファもリセットされる。多重符号化装置２００のビデオエンコーダ２１０は、ＩＤＲピクチャに対してＰＴＳ情報を記録しており、記録媒体に格納されたプログラムストリーム３００がランダムアクセスされた際、復号先頭ピクチャであるＩＤＲピクチャからＰＴＳ値が取得される。
このように、ＭＰＥＧ−２システムのプログラムストリームでは、ビデオ、オーディオおよび字幕の同期再生のために、ビデオ、オーディオおよび字幕のそれぞれについて、再生の単位であるアクセスユニットに、再生出力時刻を示すＰＴＳが付加されている。ビデオ、オーディオおよび字幕の各アクセスユニットのＰＴＳを同期させることで、ビデオ、オーディオおよび字幕の同期再生が基本的には可能である。
しかしながら、プログラムストリームに対してランダムアクセスを行った場合、ビデオストリームは、未来のフレームを参照するフレーム間予測符号化がなされているため、符号化ビデオストリームから復号されるピクチャの順序と、表示されるピクチャの順序は一致しない。したがって、復号順序において最初のピクチャが表示順序において最初になるとは限らない。ランダムアクセスしたときに得られるビデオのＰＴＳは、復号先頭のピクチャから取得されたものであるから、表示順序で最初のピクチャのＰＴＳとは一般に異なる。復号先頭ピクチャのＰＴＳに合わせてオーディオや字幕を同期させてしまうと、復号先頭ピクチャは表示順の最初のピクチャではない場合に、同期が正しく取れないことになる。そこで、本実施の形態の同期再生装置１００では、同期再生を正しく行えるように、復号先頭ピクチャのＰＴＳから表示先頭ピクチャのＰＴＳを内部的に算出する。
図４は、実施の形態に係る同期再生装置１００の構成図である。これらの機能ブロックもハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。
同期再生装置１００は、ビデオ、オーディオおよび字幕のパケットが多重化されたストリームの入力を受け取り、ビデオ、オーディオおよび字幕の同期再生を行う。この多重化ストリームは、多重符号化装置２００により生成され、記録媒体に蓄積されたものであり、ランダムアクセスされ、ランダムアクセスされたポイントからストリームのパケットデータが読み出され、同期再生装置１００に入力される。
多重分離部１１０は、入力された多重化ストリームからビデオパケット、オーディオパケットおよび字幕パケットを分離し、それぞれビデオデコーダ１３０、オーディオデコーダ１４０および字幕デコーダ１５０に供給する。
また、多重分離部１１０は、システムレイヤにおいて、ビデオパケットからＰＴＳ情報を抽出し、得られたＰＴＳをクロック制御部１２０に与える。このＰＴＳは、ビデオストリームのランダムアクセスポイントにおけるアクセスユニットのヘッダから取得されるものであり、復号先頭ピクチャのＰＴＳ（以下、「復号先頭ＰＴＳ」という）である。
クロック制御部１２０は、ビデオの再生に同期させるための同期信号をオーディオデコーダ１４０および字幕デコーダ１５０に与え、同期制御を行う。まず、クロック制御部１２０は、復号先頭ＰＴＳをビデオデコーダ１３０に与える。
ビデオデコーダ１３０は、入力されたビデオの圧縮情報を復号するとともに、復号先頭ＰＴＳをもとにして表示先頭ピクチャのＰＴＳ（以下、「表示先頭ＰＴＳ」という）を算出する。ビデオデコーダ１３０は、表示先頭ＰＴＳをクロック制御部１２０に与える。また、ビデオデコーダ１３０は、復号されたビデオデータを表示出力部１６０に与える。
クロック制御部１２０は、ビデオデコーダ１３０から与えられた表示先頭ＰＴＳを同期信号としてオーディオデコーダ１４０および字幕デコーダ１５０に与える。オーディオデコーダ１４０および字幕デコーダ１５０は、表示先頭ＰＴＳと同じＰＴＳ値をもつオーディオおよび字幕のアクセスユニットを復号し、オーディオデコーダ１４０は復号されたオーディオデータを音声出力部１７０に与え、字幕デコーダ１５０は復号された字幕データを表示出力部１６０に与える。
表示出力部１６０は、ビデオデータと字幕データを表示装置に表示し、音声出力部１７０はオーディオデータをスピーカから出力する。表示先頭ピクチャのＰＴＳに同期して、オーディオデータと字幕データが再生されているため、オーディオと字幕がビデオに正しく同期する。
図５は、ビデオデコーダ１３０の構成図である。ビデオデコーダ１３０は、多重分離部１１０からビデオの符号化フレーム画像と動きベクトル情報を含む画像圧縮情報の入力を受け取り、圧縮された画像情報を復号して出力信号を生成する。
蓄積バッファ１０は、多重分離部１１０から入力される画像圧縮情報を蓄積する。可変長復号部１２は、蓄積バッファ１０に蓄積された画像圧縮情報を可変長復号し、復号された画像データを逆量子化部１４に供給し、動きベクトル情報を動き補償部２２に供給する。
逆量子化部１４は、可変長復号部１２により復号された画像データを逆量子化し、逆直交変換部１６に供給する。逆直交変換部１６は、逆量子化部１４により逆量子化されたＤＣＴ係数を逆離散コサイン変換（ＩＤＣＴ）することにより、元の画像データを復元する。逆直交変換部１６により復元された画像データは、加算器１８に供給される。
逆直交変換部１６から出力される画像データがＩフレームである場合、加算器１８は、Ｉフレームの画像データをそのままフレーム並べ替え用バッファ２４に格納するとともに、Ｐ／Ｂフレームの予測画像を生成する際の参照画像としてフレームメモリ２０に格納する。
逆直交変換部１６から出力された画像データがＰ／Ｂフレームである場合、その画像データは差分画像であるため、加算器１８は、その差分画像と動き補償部２２から供給される予測画像とを加算することにより、元の画像データを復元し、フレーム並べ替え用バッファ２４に格納する。
動き補償部２２は、可変長復号部１２から供給される動きベクトル情報と、フレームメモリ２０に格納された参照画像とを用いて、Ｐ／Ｂフレームの予測画像を生成し、加算器１８に供給する。
フレーム並べ替え用バッファ２４は、蓄積されたフレーム画像を表示順序に並べ替えるためのバッファであり、表示順に並べ替えられたフレーム画像はＤ／Ａ変換部２６に供給される。Ｄ／Ａ変換部２６はフレーム画像をアナログ信号に変換し、表示出力部１６０に出力する。
表示先頭ＰＴＳ算出部２８は、クロック制御部１２０から復号先頭ＰＴＳを取得する。また、可変長復号部１２は、復号されたビデオストリームから「ＣＰＢ引き抜き遅延時間」（cpb_removal_delay）と「ＤＰＢ出力遅延時間」（dpb_output_delay）の２つのパラメータを抽出し、表示先頭ＰＴＳ算出部２８に供給する。表示先頭ＰＴＳ算出部２８は、復号先頭ＰＴＳ、ＣＰＢ引き抜き遅延およびＤＰＢ出力遅延にもとづいて、表示先頭ＰＴＳを算出し、クロック制御部１２０に与える。
ここで、「ＣＰＢ引き抜き遅延時間」と「ＤＰＢ出力遅延時間」は、Ｈ．２６４／ＡＶＣ規格により符号化されるビデオストリームのシンタックスパラメータであり、ピクチャタイミングＳＥＩ（Picture Timing Supplemental Enhancement Information）に含まれる情報である。これらのパラメータは、Ｈ．２６４／ＡＶＣで採用されている仮想デコーダモデルにしたがって規定されている。以下、この仮想デコーダモデルについて説明する。
ビデオデコーダ１３０は、ビデオのビットストリームを蓄積バッファ１０にバッファリングしながら、符号化されたデータを復号し、画像を再生するが、このとき、蓄積バッファ１０がオーバーフローしたり、アンダーフローすることがないように、ビットストリームが生成されている必要がある。このため、Ｈ．２６４／ＡＶＣ規格では、仮想デコーダモデルによりデコーダの振る舞いがモデル化されている。
仮想デコーダモデルでは、ＣＰＢ（Coded Picture Buffer、符号化ピクチャバッファ）とＤＰＢ（Decoded Picture Buffer、復号ピクチャバッファ）の２つのバッファが規定されている。ＣＰＢは、復号処理に投入される前のビットストリームを蓄積するバッファであり、図５のビデオデコーダ１３０の蓄積バッファ１０に相当する。ＤＰＢは、デコーダにより復号されたピクチャを表示するまでの間、蓄積するバッファであり、ビデオデコーダ１３０のフレーム並べ替え用バッファ２４に相当する。
アクセスユニットのデータは、まずＣＰＢに入力され、各アクセスユニットのデータは、ＣＰＢリムーバルタイム（CPB removal time）で指定された時刻（「ＣＰＢ引き抜き時刻」と呼ぶ）にＣＰＢから取り出され、復号される。
復号されたピクチャは、ＣＰＢ引き抜き時刻にＤＰＢに入力され、蓄積される。ＤＰＢに蓄積されたピクチャは、ＤＰＢアウトプットタイム（DPB output time）で指定された時刻（「ＤＰＢ出力時刻」という）にＤＰＢから出力され、表示される。
仮想デコーダでは、ビデオストリームのデータは、ＣＰＢから引き抜かれると同時に、瞬時に復号されて、ＤＰＢに入力されるものとしてモデル化されている。ＤＰＢは、動き補償のために参照ピクチャを一時的に保持するため、復号されたピクチャの表示順序を入れ替えるため、および表示出力時刻まで復号されたピクチャを保持しておくために使用される。
ＣＰＢ引き抜き時刻とＤＰＢ出力時刻が同じであるなら、ＣＰＢから引き抜かれて復号されたピクチャは、ＤＰＢに蓄積されずに、そのまま出力されるが、そのピクチャが参照ピクチャであるなら、動き補償の際に参照するためにＤＰＢに保持される。また、ＤＰＢ出力時刻がＣＰＢ引き抜き時刻よりも大きい場合は、ＣＰＢから引き抜かれて復号されたピクチャは、表示順序を入れ替えるために、ＤＰＢにいったん蓄積され、ＤＰＢ出力時刻まで出力が遅延される。
「ＣＰＢ引き抜き遅延時間」は、最初のピクチャの復号が始まってから、あるピクチャがＣＰＢから引き抜かれるまでの遅延時間であり、「ＤＰＢ出力遅延時間」は、あるピクチャがＣＰＢから引き抜かれた後、ＤＰＢから出力されるまでの遅延時間である。
図６は、表示先頭ＰＴＳ算出部２８による表示先頭ＰＴＳの算出手順を説明する図である。同図の上段にはピクチャの復号順序が示され、下段にはピクチャの表示順序が示されている。
符号化ビデオストリームにおいて、ＩＤＲ２、Ｐ５、Ｂ０、Ｂ１の順でピクチャが復号されるとする。ＩＤＲ２は、ランダムアクセスされた復号先頭ピクチャである。ＩＤＲ、Ｐ、Ｂの各記号は、それぞれＩＤＲピクチャ、Ｐピクチャ、Ｂピクチャであることを示し、各記号の後ろの数字は表示順序を示す。すなわち、Ｂ０、Ｂ１、ＩＤＲ２の順でピクチャが表示される。Ｂ０が表示先頭ピクチャである。
ＩＤＲ２の復号時刻において、ＩＤＲ２のＰＴＳ値であるＰＴＳＩＤＲ２と、ＤＰＢ出力遅延時間であるｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙＩＤＲ２が取得される。ＰＴＳＩＤＲ２は復号先頭ＰＴＳである。ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙＩＤＲ２は、符号３３４で示すように、復号先頭ピクチャＩＤＲ２がＣＰＢから引き抜かれて復号が開始される時刻から、その復号先頭ピクチャＩＤＲ２がＤＰＢから出力される時刻までの遅延時間である。
次に、表示先頭ピクチャＢ０の表示時刻において、ＣＰＢ引き抜き遅延時間であるｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙＢ０と、ＤＰＢ出力遅延時間であるｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙＢ０が取得される。
ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙＢ０は、符号３３０で示すように、復号先頭ピクチャＩＤＲ２がＣＰＢから引き抜かれて復号が開始される時刻から、表示先頭ピクチャＢ０がＣＰＢから引き抜かれて復号が開始される時刻までの遅延時間である。
ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙＢ０は、符号３３２で示すように、表示先頭ピクチャＢ０がＣＰＢから引き抜かれて復号が開始される時刻から、その表示先頭ピクチャＢ０がＤＰＢから出力される時刻までの遅延時間である。
表示先頭ＰＴＳ算出部２８は、表示先頭ピクチャＢ０のＰＴＳ値であるＰＴＳＢ０を次式により算出する。
ＰＴＳＢ０＝ＰＴＳＩＤＲ２−（ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙＩＤＲ２−（ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙＢ０＋ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙＢ０））
この式は、同図からも明らかなように、復号先頭ピクチャＩＤＲ２のＰＴＳＩＤＲ２から復号先頭ピクチャＩＤＲ２のＤＰＢ出力遅延時間ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙＩＤＲ２を減算し、その計算結果に、表示先頭ピクチャＢ０のＣＰＢ引き抜き遅延時間ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙＢ０とＤＢＰ出力遅延時間ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙＢ０を加算すると、表示先頭ピクチャＢ０のＰＴＳＢ０が求まることを示している。
ここで、表示先頭ピクチャＢ０のＣＰＢ引き抜き遅延時間ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙＢ０とＤＢＰ出力遅延時間ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙＢ０の和は、復号先頭ピクチャＩＤＲ２がＣＰＢから引き抜かれて復号が開始される時刻から、表示先頭ピクチャＢ０がＤＰＢから出力される時刻までの遅延時間である。
なお、表示先頭ピクチャが復号先頭ピクチャと同一である場合は、表示先頭ピクチャのＰＴＳ値を求める必要はない。復号先頭ピクチャのＰＴＳ値がそのまま利用できるからである。復号先頭ピクチャが表示先頭ピクチャになるかどうかは復号処理が進むまで判明しないが、最初に表示出力されるピクチャがＰＴＳ値をもっていれば、それは復号先頭ピクチャでもあったということであり、その復号先頭ピクチャのもつＰＴＳ値をそのまま利用すればよい。これにより、表示先頭ピクチャが復号先頭ピクチャと同一である場合に表示先頭ＰＴＳの計算を省略して、処理コストを減らすことができる。
図７は、同期再生装置１００による同期再生処理の手順を説明するフローチャートである。
クロック制御部１２０は、多重分離部１１０により分離された符号化ビデオストリームにおいて、ランダムアクセスポイントのパケットヘッダから復号先頭ＰＴＳを取得し、ビデオデコーダ１３０に与える（Ｓ１０）。
ビデオデコーダ１３０において、表示先頭ＰＴＳ算出部２８は、可変長復号部１２により復号されたビデオストリームの復号先頭アクセスユニットからＤＢＰ出力遅延時間ｄｂｐ＿ｏｕｔｐｕｔ＿ｄｅｌａｙを取得する（Ｓ１２）。
最初のピクチャが表示される際、表示先頭ＰＴＳ算出部２８は、復号先頭アクセスユニットと表示先頭アクセスユニットが一致するかどうかを判定する（Ｓ１４）。復号先頭アクセスユニットと表示先頭アクセスユニットが一致する場合（Ｓ１４のＹ）、表示先頭ＰＴＳを保持する変数に復号先頭ＰＴＳの値を代入する（Ｓ２０）。
復号先頭アクセスユニットと表示先頭アクセスユニットが一致しない場合（Ｓ１４のＮ）、表示先頭ＰＴＳ算出部２８は、表示先頭アクセスユニットからＣＰＢ引き抜き遅延時間ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙとＤＰＢ出力遅延時間ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙを取得する（Ｓ１６）。
表示先頭ＰＴＳ算出部２８は、復号先頭ＰＴＳから復号先頭アクセスユニットのＤＢＰ出力遅延時間ｄｂｐ＿ｏｕｔｐｕｔ＿ｄｅｌａｙを減算し、表示先頭アクセスユニットのＣＰＢ引き抜き遅延時間ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙとＤＰＢ出力遅延時間ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙを加算することにより、表示先頭ＰＴＳを算出する（Ｓ１８）。
表示先頭ＰＴＳ算出部２８は、ステップＳ２０またはステップＳ１８で得られた表示先頭ＰＴＳを出力し、クロック制御部１２０に与える（Ｓ２２）。
クロック制御部１２０は、ビデオデコーダ１３０から取得した表示先頭ＰＴＳをオーディオデコーダ１４０と字幕デコーダ１５０に与え、オーディオデコーダ１４０および字幕デコーダ１５０はそれぞれ、ビデオの表示先頭ＰＴＳと同期するオーディオおよび字幕を復号する（Ｓ２４）。
ビデオデコーダ１３０、オーディオデコーダ１４０および字幕デコーダ１５０の復号結果を受けて、表示出力部１６０および音声出力部１７０は、ビデオ、オーディオおよび字幕を同期再生する（Ｓ２６）。
以上述べたように、本実施の形態の同期再生装置１００によれば、復号先頭ピクチャのＰＴＳ値をシステムレイヤで取得し、ビデオストリームのパラメータであるＣＰＢ引き抜き遅延時間とＤＰＢ出力遅延時間を参照して、表示先頭ピクチャのＰＴＳ値を計算により求めることができる。これにより、表示先頭ピクチャのＰＴＳ値を基準としてオーディオと字幕の再生を行うことが可能となり、ランダムアクセスを行った場合でも、ビデオの再生にオーディオと字幕の再生を正確に同期させることができる。
表示先頭ピクチャのＰＴＳ値を計算により求めることができるため、すべてのピクチャにシステムレイヤでＰＴＳ情報をもたせる必要がなく、ランダムアクセスポイントのピクチャにのみＰＴＳ情報を付加するだけで済む。そのため、システムレイヤにおけるオーバーヘッドを減らすことができ、同期制御のための処理が軽くなる。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を説明する。
上記の実施の形態では、システムレイヤにおいてＭＰＥＧ−２システムのプログラムストリームを用いて、ビデオストリームとオーディオストリームの多重化が行われ、蓄積用の多重化ストリームを生成したが、システムレイヤでは、ＭＰＥＧ−２システム以外の規格が用いられてもよい。たとえば、Ｈ．２６４／ＡＶＣファイルフォーマットにしたがって、ビデオとオーディオの多重化が行われてもよい。また、ＶＣＬのレイヤについても、実施の形態では、Ｈ．２６４／ＡＶＣを用いて動画の符号化を行ったが、復号先頭ＰＴＳから表示先頭ＰＴＳを算出するために必要なパラメータが動画ストリームから取得できる規格であれば、Ｈ．２６４／ＡＶＣ以外の規格が用いられてもよい。
上記の実施の形態では、記録媒体に蓄積された多重化ストリームをランダムアクセスしたときに、ビデオの復号先頭ＰＴＳから表示先頭ＰＴＳを算出する手順を説明したが、この手順は、放送される多重化ストリームにおいて、放送の途中から視聴する際にも適用することができる。放送途中から視聴する際でも、符号化ビデオストリームの復号先頭ピクチャと表示先頭ピクチャが一致しない状況が発生するため、表示先頭ピクチャのＰＴＳを求めて、オーディオや字幕を同期させる必要があるからである。このように、本発明の同期制御は、蓄積メディア向けの多重化ストリームだけでなく、ＭＰＥＧ−２システムのトランスポートストリームやＲＴＰ（Real-time Trasnport Protocol）などにより伝送される伝送メディア向けの多重化ストリームに対しても適用することができる。
１０ 蓄積バッファ、 １２ 可変長復号部、 １４ 逆量子化部、 １６ 逆直交変換部、 １８ 加算器、 ２０ フレームメモリ、 ２２ 動き補償部、 ２４ フレーム並べ替え用バッファ、 ２６ Ｄ／Ａ変換部、 ２８ 表示先頭ＰＴＳ算出部、 １００ 同期再生装置、 １１０ 多重分離部、 １２０ クロック制御部、 １３０ ビデオデコーダ、 １４０ オーディオデコーダ、 １５０ 字幕デコーダ、 １６０ 表示出力部、 １７０ 音声出力部、 ２００ 多重符号化装置、 ２１０ ビデオエンコーダ、 ２２０ オーディオエンコーダ、 ２３０ 字幕エンコーダ、 ２４０ ビデオパケット化部、 ２５０ オーディオパケット化部、 ２６０ 字幕パケット化部、 ２７０ 多重化部。
Claims (12)
- ビデオストリームとオーディオストリームが多重化された多重化ストリームからビデオデータとオーディオデータを分離する分離部と、
前記ビデオデータを復号するビデオ復号部と、
前記オーディオデータを復号するオーディオ復号部と、
前記オーディオ復号部にビデオの再生と同期を取るための同期信号を与える制御部とを含み、
前記ビデオ復号部は、前記多重化ストリームに対して途中のピクチャから再生するランダムアクセスがなされた場合に、最初に復号される復号先頭ピクチャの再生時刻を指定する再生タイムスタンプを前記ビデオストリームから取得し、前記復号先頭ピクチャの再生タイムスタンプをもとに最初に表示される表示先頭ピクチャの再生タイムスタンプを算出するタイムスタンプ算出部を含み、
前記制御部は、算出された前記表示先頭ピクチャの再生タイムスタンプを前記同期信号として前記オーディオ復号部に与えることを特徴とする再生装置。 - 前記タイムスタンプ算出部は、前記復号先頭ピクチャおよび前記表示先頭ピクチャの表示遅延に関するパラメータを前記ビデオストリームから取得し、前記表示遅延に関するパラメータを利用して前記復号先頭ピクチャの再生タイムスタンプをもとに前記表示先頭ピクチャの再生タイムスタンプを算出することを特徴とする請求項１に記載の再生装置。
- 前記復号先頭ピクチャの表示遅延に関するパラメータは、前記復号先頭ピクチャが復号されてから表示されるまでの遅延時間を示すものであることを特徴とする請求項２に記載の再生装置。
- 前記表示先頭ピクチャの表示遅延に関するパラメータは、前記復号先頭ピクチャが復号されてから前記表示先頭ピクチャが表示されるまでの遅延時間を示すものであることを特徴とする請求項２または３に記載の再生装置。
- 前記表示先頭ピクチャの表示遅延に関するパラメータは、前記復号先頭ピクチャが復号されてから前記表示先頭ピクチャが復号されるまでの遅延時間と、前記表示先頭ピクチャが復号されてから前記表示先頭ピクチャが表示されるまでの遅延時間を示すものであることを特徴とする請求項２または３に記載の再生装置。
- 前記タイムスタンプ算出部は、前記復号先頭ピクチャの再生タイムスタンプから、前記復号先頭ピクチャが復号されてから表示されるまでの遅延時間を減算し、その減算結果に、前記復号先頭ピクチャが復号されてから前記表示先頭ピクチャが表示されるまでの遅延時間を加算することにより、前記表示先頭ピクチャの再生タイムスタンプを算出することを特徴とする請求項４に記載の再生装置。
- 前記タイムスタンプ算出部は、前記復号先頭ピクチャと前記表示先頭ピクチャが異なる場合にのみ、前記表示先頭ピクチャの再生タイムスタンプの算出を行い、前記復号先頭ピクチャと前記表示先頭ピクチャが一致する場合は、前記復号先頭の再生タイムスタンプをそのまま前記表示先頭ピクチャの再生タイムスタンプとして前記制御部に与えることを特徴とする請求項１から６のいずれかに記載の再生装置。
- ビデオストリーム、オーディオストリームおよび字幕ストリームが多重化された多重化ストリームからビデオデータ、オーディオデータおよび字幕データを分離する分離部と、
前記ビデオデータを復号するビデオ復号部と、
前記オーディオデータを復号するオーディオ復号部と、
前記字幕データを復号する字幕復号部と、
前記オーディオ復号部および前記字幕復号部にビデオの再生と同期を取るための同期信号を与える制御部とを含み、
前記ビデオ復号部は、前記多重化ストリームに対して途中のピクチャから再生するランダムアクセスがなされた場合に、最初に復号される復号先頭ピクチャの再生時刻を指定する再生タイムスタンプを前記ビデオストリームから取得し、前記復号先頭ピクチャの再生タイムスタンプをもとに最初に表示される表示先頭ピクチャの再生タイムスタンプを算出するタイムスタンプ算出部を含み、
前記制御部は、算出された前記表示先頭ピクチャの再生タイムスタンプを前記同期信号として前記オーディオ復号部および前記字幕復号部に与えることを特徴とする再生装置。 - ビデオストリームとオーディオストリームが多重化された多重化ストリームから分離されたビデオデータを復号する復号部と、
前記多重化ストリームに対して途中のピクチャから再生するランダムアクセスがなされた場合に、最初に復号される復号先頭ピクチャの再生時刻を指定する再生タイムスタンプを前記ビデオストリームから取得し、前記復号先頭ピクチャの再生タイムスタンプをもとに最初に表示される表示先頭ピクチャの再生タイムスタンプを算出するタイムスタンプ算出部とを含むことを特徴とするビデオ復号装置。 - ビデオストリームとオーディオストリームが多重化された多重化ストリームに対して途中のピクチャから再生するランダムアクセスがなされた場合に、最初に復号される復号先頭ピクチャの再生時刻を指定する再生タイムスタンプを前記ビデオストリームから取得し、前記復号先頭ピクチャの再生タイムスタンプをもとに最初に表示される表示先頭ピクチャの再生タイムスタンプを算出し、算出された前記表示先頭ピクチャの再生タイムスタンプに同期させて前記オーディオストリームを復号して再生することを特徴とする同期再生方法。
- ビデオストリームとオーディオストリームが多重化された多重化ストリームに対して途中のピクチャから再生するランダムアクセスがなされた場合に、最初に復号される復号先頭ピクチャの再生時刻を指定する再生タイムスタンプを前記ビデオストリームから取得するステップと、
前記復号先頭ピクチャの再生タイムスタンプをもとに最初に表示される表示先頭ピクチャの再生タイムスタンプを算出するステップと、
ビデオの再生にオーディオの再生を同期させるための同期信号として、算出された前記表示先頭ピクチャの再生タイムスタンプを出力するステップとをコンピュータに実行させることを特徴とするプログラム。 - 請求項１１に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005194383A JP4311570B2 (ja) | 2005-07-01 | 2005-07-01 | 再生装置、ビデオ復号装置および同期再生方法 |
| PCT/JP2006/311921 WO2007004395A1 (ja) | 2005-07-01 | 2006-06-14 | 再生装置、ビデオ復号装置、同期再生方法、プログラム及び記録媒体 |
| EP20060766690 EP1909278B1 (en) | 2005-07-01 | 2006-06-14 | Reproduction device, video decoding device, synchronization/reproduction method, program, and recording medium |
| US11/922,942 US7844166B2 (en) | 2005-07-01 | 2006-06-14 | Reproduction device, video decoding device, synchronization/reproduction method, program and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005194383A JP4311570B2 (ja) | 2005-07-01 | 2005-07-01 | 再生装置、ビデオ復号装置および同期再生方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007012218A JP2007012218A (ja) | 2007-01-18 |
| JP4311570B2 true JP4311570B2 (ja) | 2009-08-12 |
Family
ID=37604270
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005194383A Expired - Fee Related JP4311570B2 (ja) | 2005-07-01 | 2005-07-01 | 再生装置、ビデオ復号装置および同期再生方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7844166B2 (ja) |
| EP (1) | EP1909278B1 (ja) |
| JP (1) | JP4311570B2 (ja) |
| WO (1) | WO2007004395A1 (ja) |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090180546A1 (en) | 2008-01-09 | 2009-07-16 | Rodriguez Arturo A | Assistance for processing pictures in concatenated video streams |
| US8416859B2 (en) | 2006-11-13 | 2013-04-09 | Cisco Technology, Inc. | Signalling and extraction in compressed video of pictures belonging to interdependency tiers |
| US8875199B2 (en) * | 2006-11-13 | 2014-10-28 | Cisco Technology, Inc. | Indicating picture usefulness for playback optimization |
| US8804845B2 (en) | 2007-07-31 | 2014-08-12 | Cisco Technology, Inc. | Non-enhancing media redundancy coding for mitigating transmission impairments |
| US8958486B2 (en) | 2007-07-31 | 2015-02-17 | Cisco Technology, Inc. | Simultaneous processing of media and redundancy streams for mitigating impairments |
| US8718388B2 (en) | 2007-12-11 | 2014-05-06 | Cisco Technology, Inc. | Video processing with tiered interdependencies of pictures |
| US8416858B2 (en) | 2008-02-29 | 2013-04-09 | Cisco Technology, Inc. | Signalling picture encoding schemes and associated picture properties |
| WO2009152450A1 (en) | 2008-06-12 | 2009-12-17 | Cisco Technology, Inc. | Picture interdependencies signals in context of mmco to assist stream manipulation |
| US8699578B2 (en) | 2008-06-17 | 2014-04-15 | Cisco Technology, Inc. | Methods and systems for processing multi-latticed video streams |
| US8705631B2 (en) | 2008-06-17 | 2014-04-22 | Cisco Technology, Inc. | Time-shifted transport of multi-latticed video for resiliency from burst-error effects |
| US8971402B2 (en) | 2008-06-17 | 2015-03-03 | Cisco Technology, Inc. | Processing of impaired and incomplete multi-latticed video streams |
| US8320465B2 (en) | 2008-11-12 | 2012-11-27 | Cisco Technology, Inc. | Error concealment of plural processed representations of a single video signal received in a video program |
| CN104113749B (zh) * | 2009-01-08 | 2016-10-26 | Lg电子株式会社 | 3d字幕信号发送方法和3d字幕显示方法 |
| WO2010096767A1 (en) | 2009-02-20 | 2010-08-26 | Cisco Technology, Inc. | Signalling of decodable sub-sequences |
| US8782261B1 (en) | 2009-04-03 | 2014-07-15 | Cisco Technology, Inc. | System and method for authorization of segment boundary notifications |
| RU2011147112A (ru) * | 2009-04-20 | 2013-05-27 | Конинклейке Филипс Электроникс Н.В. | Верификация и синхронизация файлов, полученных отдельно от видеоконтента |
| US8949883B2 (en) | 2009-05-12 | 2015-02-03 | Cisco Technology, Inc. | Signalling buffer characteristics for splicing operations of video streams |
| US8279926B2 (en) | 2009-06-18 | 2012-10-02 | Cisco Technology, Inc. | Dynamic streaming with latticed representations of video |
| US20110222837A1 (en) * | 2010-03-11 | 2011-09-15 | Cisco Technology, Inc. | Management of picture referencing in video streams for plural playback modes |
| ES2370218B1 (es) * | 2010-05-20 | 2012-10-18 | Universidad Carlos Iii De Madrid | Procedimiento y dispositivo para sincronizar subtítulos con audio en subtitulación en directo. |
| JP4889836B1 (ja) * | 2010-08-18 | 2012-03-07 | パナソニック株式会社 | ３ｄ符号化装置 |
| US9420307B2 (en) | 2011-09-23 | 2016-08-16 | Qualcomm Incorporated | Coding reference pictures for a reference picture set |
| JP5791451B2 (ja) * | 2011-09-29 | 2015-10-07 | キヤノン株式会社 | 符号化装置およびプログラム |
| CN102623032B (zh) * | 2012-04-01 | 2014-09-17 | 深圳英飞拓科技股份有限公司 | 一种实现硬盘录像机同步回放的方法 |
| CN107801029B (zh) * | 2012-04-23 | 2020-06-05 | 太阳专利托管公司 | 编码方法及编码装置 |
| ES2936058T3 (es) * | 2012-08-09 | 2023-03-14 | Sun Patent Trust | Procedimiento y aparato de codificación de imágenes |
| US9554146B2 (en) * | 2012-09-21 | 2017-01-24 | Qualcomm Incorporated | Indication and activation of parameter sets for video coding |
| US9503753B2 (en) * | 2012-09-24 | 2016-11-22 | Qualcomm Incorporated | Coded picture buffer arrival and nominal removal times in video coding |
| US9661341B2 (en) | 2013-01-07 | 2017-05-23 | Microsoft Technology Licensing, Llc | Syntax and semantics for buffering information to simplify video splicing |
| JP2015226305A (ja) * | 2014-05-30 | 2015-12-14 | 三菱電機株式会社 | 符号化装置 |
| JP6729547B2 (ja) * | 2015-02-20 | 2020-07-22 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
| CN106211102B (zh) * | 2016-09-14 | 2020-05-05 | Oppo广东移动通信有限公司 | 一种聊天信息区别同步的方法及装置 |
| CN107864393A (zh) * | 2017-11-17 | 2018-03-30 | 青岛海信电器股份有限公司 | 视频与字幕同步显示的方法及装置 |
| KR102437726B1 (ko) * | 2020-10-12 | 2022-08-26 | 세종대학교 산학협력단 | 스낵 컬처 컨텐츠 저장 방법 및 장치 |
| US11361108B1 (en) | 2021-03-11 | 2022-06-14 | Tsj Technology, Inc. | Unidirectional communication system for public access to detained persons |
| CN114302215B (zh) * | 2021-12-29 | 2023-09-29 | 北京奕斯伟计算技术股份有限公司 | 视频数据流解码系统、方法、电子设备和介质 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3197766B2 (ja) | 1994-02-17 | 2001-08-13 | 三洋電機株式会社 | Ｍｐｅｇオーディオデコーダ、ｍｐｅｇビデオデコーダおよびｍｐｅｇシステムデコーダ |
| JP3264303B2 (ja) | 1994-04-06 | 2002-03-11 | ソニー株式会社 | オーディオ情報および動画像情報の再生方法および再生装置 |
| JP3814929B2 (ja) | 1997-03-19 | 2006-08-30 | ソニー株式会社 | 符号化データ再生方法及び再生装置 |
| JPH11149717A (ja) | 1997-11-19 | 1999-06-02 | Toshiba Corp | デコード処理方法及び装置 |
| KR19990061872A (ko) * | 1997-12-31 | 1999-07-26 | 서평원 | 에스티비에서 비디오데이터 전송제어시스템 |
| JP3422686B2 (ja) | 1998-06-12 | 2003-06-30 | 三菱電機株式会社 | データ復号装置及びデータ復号方法 |
| JP3806020B2 (ja) * | 1999-02-18 | 2006-08-09 | 株式会社東芝 | ストリームデータの情報記憶媒体、その記録方法、再生方法、記録装置および再生装置 |
| JP2001238208A (ja) | 2000-02-21 | 2001-08-31 | Matsushita Electric Ind Co Ltd | 動画像復号化方法および動画像復号化装置 |
| JP3542976B2 (ja) | 2000-03-29 | 2004-07-14 | 松下電器産業株式会社 | 圧縮符号化データ再生方法および装置 |
| US6906755B2 (en) * | 2002-01-04 | 2005-06-14 | Microsoft Corporation | Method and apparatus for synchronizing audio and video data |
| JP3922447B2 (ja) | 2002-09-25 | 2007-05-30 | ソニー株式会社 | 情報再生装置および方法、記録媒体、並びにプログラム |
| WO2005025224A1 (ja) * | 2003-09-02 | 2005-03-17 | Sony Corporation | コンテンツ受信装置、ビデオオーディオ出力タイミング制御方法及びコンテンツ提供システム |
-
2005
- 2005-07-01 JP JP2005194383A patent/JP4311570B2/ja not_active Expired - Fee Related
-
2006
- 2006-06-14 WO PCT/JP2006/311921 patent/WO2007004395A1/ja active Application Filing
- 2006-06-14 US US11/922,942 patent/US7844166B2/en active Active
- 2006-06-14 EP EP20060766690 patent/EP1909278B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| EP1909278B1 (en) | 2012-06-20 |
| WO2007004395A1 (ja) | 2007-01-11 |
| US7844166B2 (en) | 2010-11-30 |
| JP2007012218A (ja) | 2007-01-18 |
| EP1909278A4 (en) | 2009-11-18 |
| US20090214178A1 (en) | 2009-08-27 |
| EP1909278A1 (en) | 2008-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4311570B2 (ja) | 再生装置、ビデオ復号装置および同期再生方法 | |
| JP2002518898A (ja) | ディジタルビデオレコーダのトリックプレイ信号生成 | |
| KR101132043B1 (ko) | 디코더 장치 및 디코드 방법 | |
| JP2003169292A (ja) | アフレコ装置、コンピュータプログラム、記録媒体、伝送方法及び再生装置 | |
| JP2008167061A (ja) | 符号化装置及び符号化方法 | |
| JP2001204032A (ja) | Ｍｐｅｇ復号装置 | |
| KR100975170B1 (ko) | 화상 데이터 재생 장치 및 방법 | |
| JP4092681B2 (ja) | Ｍｐｅｇ記録装置、再生装置及び伝送装置 | |
| JP3748234B2 (ja) | Ｍｐｅｇデータ記録方法 | |
| JP4569847B2 (ja) | データ再構築装置及びデータ再構築方法 | |
| JP2823806B2 (ja) | 画像復号装置 | |
| JP4178521B2 (ja) | 符号化映像信号の記録方法、及び映像信号符号化装置 | |
| KR20040010173A (ko) | 화상 데이터 재생 장치 및 방법 | |
| JPH099215A (ja) | データ多重方法、データ伝送方法、及び多重データ復号方法、多重データ復号装置 | |
| JP2005198350A (ja) | アフレコ信号再生方法 | |
| JP3847848B2 (ja) | 信号処理装置 | |
| JP3748243B2 (ja) | Ｍｐｅｇデータ記録装置 | |
| JP3748244B2 (ja) | Ｍｐｅｇデータ記録装置 | |
| JP3748242B2 (ja) | Ｍｐｅｇデータ記録方法 | |
| JP3748240B2 (ja) | Ｍｐｅｇデータ記録方法 | |
| JP3748241B2 (ja) | Ｍｐｅｇデータ記録方法 | |
| JP3748245B2 (ja) | Ｍｐｅｇデータ記録装置 | |
| JP2007325304A (ja) | Ｍｐｅｇデータ記録再生方法 | |
| JP2005198349A (ja) | 記録媒体 | |
| JP2006311135A (ja) | 動画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090119 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090507 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090507 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120522 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4311570 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130522 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140522 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |