JP3698376B2 - 同期再生装置 - Google Patents
同期再生装置 Download PDFInfo
- Publication number
- JP3698376B2 JP3698376B2 JP21651096A JP21651096A JP3698376B2 JP 3698376 B2 JP3698376 B2 JP 3698376B2 JP 21651096 A JP21651096 A JP 21651096A JP 21651096 A JP21651096 A JP 21651096A JP 3698376 B2 JP3698376 B2 JP 3698376B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- audio
- display time
- reproduced
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Synchronizing For Television (AREA)
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は映像信号と音声信号とを同期させながら再生する同期再生装置に関し、特にデジタル符号化された映像信号，及び音声信号の各ビットストリームを復号化再生する際の同期再生装置に関するものである。
【０００２】
【従来の技術】
映像信号と音声信号とを同期させながら再生する同期再生装置においては、デジタル符号化された映像信号と音声信号にそれぞれの表示時刻のデータを付与してパケット化し、これらの多重化された情報は蓄積メディアや通信メディア等の伝送媒体に記録される。このような伝送媒体に記憶された多重化ビットストリームは復号化装置に伝送され、映像信号と音声信号に分離してそれぞれ復号化再生される。この再生時に映像信号と音声信号の同期をとることは必要不可欠であり、映画などにおける人物のセリフと口の動きの一致を指すリップシンクレベルの同期は、約１／１０秒以内の誤差に抑える必要があるといわれる。
【０００３】
動画像圧縮符号化の国際標準であるＭＰＥＧ規格等では上記のような同期をとるために、符号化装置には時刻基準となるシステム時計と、時間基準となるＳＣＲ(System Clock Reference)やＰＣＲ(Program Clock Reference) が設けられており、システム時計はこのＳＣＲやＰＣＲの値を参照することによって正しい時刻にセット・校正される。また、映像信号，及び音声信号の再生の基本単位である映像フレーム，及び音声フレームの表示を、いつすべきかを示す表示時刻であるＰＴＳ(Presentation Time Stamp) のデータがデジタル符号化された映像信号，及び音声信号の各ビットストリームに付与してパケット化されている。
【０００４】
復号化装置には符号化装置のシステム時計と同様に、時刻基準となる内部時計が設けられ、この内部時計の示す時刻が映像フレーム，及び音声フレームのそれぞれに付加された映像表示時刻，及び音声表示時刻と一致したとき、その映像フレーム，及び音声フレームを表示することにより、映像信号と音声信号の同期再生出力が可能となる。このような復号化装置の内部時計の周波数は、システム時計の周波数と同じ２７ＭＨｚでカウントアップされ、また、その内部時計を正しい時刻にセット・校正するための時間基準となるＳＣＲやＰＣＲのデータは、映像信号と音声信号の多重化ビットストリームと一緒に符号化装置から伝送媒体をへて復号化装置に伝送される。
【０００５】
図１４(a) は、映像信号と音声信号の同期再生の仕組みの概念を示す説明図である。図において、中段は復号化装置が有する内部時計を表し、右方向に進むにつれて時刻はカウントアップされる。上段と下段はそれぞれ再生映像信号，再生音声信号を表し、映像フレーム，音声フレームが時間軸にそって連続的に表示されていく状態を示している。また、映像フレームの表示周期は５，音声フレームの表示周期は４であり、各フレームの先頭に付いている数字はそのフレームに対応する表示時刻を示している。
【０００６】
このように、映像信号と音声信号の表示周波数、または符号化装置のシステム時計と復号化装置の内部時計の周波数が異なる場合、再生映像信号と再生音声信号の同期ずれが発生する可能性がある。また、復号化装置におけるシステムの構成方法によっては符号化装置の各周波数との一致がとれなくなり、結果として再生映像信号と再生音声信号の同期ずれが生じることになる。
【０００７】
例えば復号化装置において、映像信号の表示周波数がずれてしまった場合の例を図１４(b) に示す。この図は、復号化装置における映像信号の周波数が符号化装置における映像信号の周波数の５／６倍となり、映像フレームの表示周期が５から６にずれた場合の例を示している。その結果映像フレームと音声フレームの相対位置がずれていき、映像表示時刻が２０である音声フレームに比べて、映像表示時刻が２０である映像フレーム１３０１は時間４だけ遅れて表示され、再生映像信号と再生音声信号の同期ずれが発生している。
【０００８】
上記のように、復号化装置では映像フレーム，及び音声フレームのもつ映像表示時刻，及び音声表示時刻が内部時計の示す時刻と一致したときに、そのフレームを表示するようにしているので、映像信号と音声信号の同期を保った状態で復号化再生をすることができる。このとき、再生映像信号と再生音声信号の同期を保つには、映像フレーム，及び音声フレームのもつ映像表示時刻，及び音声表示時刻と内部時計の時刻との比較を行うことにより、映像表示時刻，及び音声表示時刻と内部時計の時刻とのずれを検出して、表示タイミングの補正を行う必要がある。
【０００９】
ここで、各音声フレームの音声表示時刻を内部時計の時刻に合わせて音声信号の復号化再生を操作すると、結果として一部の音声フレームが欠落して表示され、再生音声信号に不連続が発生する場合がある。この例を図１５に示す。図１５(a) は、各音声フレームのもつ音声表示時刻が内部時計の時刻とずれて、再生映像信号と再生音声信号に同期ずれが発生している場合の例を示す図である。ここで、図１５(b) に示すように、各音声フレームの音声表示時刻を内部時計に合わせることによって同期ずれを解消すると、連続する音声フレームの間に時間的不連続が発生して音声信号が滑らかに再生されず、結果として音質の劣化が生じることになる。この音質の劣化は人間の耳に知覚されやすい。
【００１０】
そこで、従来の復号化装置には、図１５(c) に示すような、再生音声信号の出力を重視する方法であるオーディオマスタ方式（例えば、特開平７−５０８１８号に開示）が適用されていた。この図に示すように、オーディオマスタ方式では、各音声フレームを表示すると同時に各音声フレームの音声表示時刻を用いて内部時計の時刻が更新されているので、連続する音声フレームの間に時間的不連続が発生することなく、音声信号が滑らかに再生出力されることになる。このとき各映像フレームの映像表示時刻は内部時計の時刻と比較され、その比較の結果により各映像フレームの表示を早めたり遅らせたりする操作を行っている。
【００１１】
このようなオーディオマスタ方式における映像フレームの表示の操作の例を図１６を用いて説明する。図１６(a) は、内部時計が各音声フレームの音声表示時刻を用いて更新され、映像表示時刻は内部時計の時刻とずれている状態を示している。まず、映像フレームの映像表示時刻から内部時計の時刻を引いて差分値を求め、この差分値と所定の範囲との比較をし、差分値が所定の範囲に収まらない場合に映像フレームの表示を早めたり遅らせたりする操作を行う。このような所定の範囲は、つまり再生映像信号と再生音声信号の同期ずれの許容範囲であり、例えば−５〜＋５と設定する。
【００１２】
図１６(a) より、内部時計の時刻２６において、映像フレーム１５０１の差分値は−６であり許容範囲−５〜＋５を越えている。差分値が−６であるということは、この映像フレーム１５０１を表示すべき時刻を大きく過ぎているということを示している。この場合、図１６(b) に示すように、映像フレーム１５０１は表示せず、その次の映像フレーム１５０２を表示する。
【００１３】
また、図１６(c) では、時刻１２において、映像フレーム１５０３の差分値は＋６であり許容範囲−５〜＋５を越えている。差分値が＋６であるということは、この映像フレーム１５０３を表示すべき時刻にまだ達していないということを示している。この場合、図１６(d) に示すように、映像フレーム１５０４の表示を再度行なう。
【００１４】
上記のようにして、オーディオマスタ方式を適用した復号化装置では、映像フレームの表示のみを操作して音声フレームの時間的連続性を保ちながら同期ずれを解消するようにしているので、音声の品質を落さずに再生映像信号と再生音声信号の同期が保たれることになる。
【００１５】
【発明が解決しようとする課題】
そこで、本発明が解決しようとする第１の課題を図１７を用いて説明する。図１７(a) ，図１７(b) は、オーディオマスタ方式を適用した復号化装置の起動状態におけるデータの開始部分が入力された場合の例を示す説明図である。図１７(a) に示すように、起動状態における音声フレームの音声表示時刻は０，映像フレームの映像表示時刻は１であり、このように音声表示時刻の方が映像表示時刻よりも早い場合は、映像信号と音声信号の同期再生が可能となり問題はない。
【００１６】
しかしながら、図１７(b) に示すように、起動状態において音声フレームの音声表示時刻（時刻５）の方が映像フレームの映像表示時刻（時刻０）よりも遅い場合は、最初の音声フレーム１６０１の音声表示時刻５から内部時計のカウントアップを開始するため、映像表示時刻０である映像フレーム１６０２の表示が飛ばされてしまい、映像信号の頭欠けが起きてしまうという問題点が生じる。
【００１７】
次に、本発明が解決しようとする第２の課題を図１８を用いて説明する。図１８(a) は、オーディオマスタ方式を適用した復号化装置の再生映像信号と再生音声信号が共に正常に出力されている通常状態において、音声表示時刻に時間的不連続が存在する場合の例を示す図である。この図において、映像フレームの表示周期は５，音声フレームの表示周期は４であり、音声フレーム１７０４と音声フレーム１７０５との間に時間飛びが発生している。このとき、図１８(b) に示すように、オーディオマスタ方式を適用した復号化装置では再生音声信号の時間的連続性を重視しているので、音声フレーム１７０５を表示すると同時にその音声表示時刻２０を用いて内部時計が更新され、映像フレーム１７０２を表示しようとするとその映像表示時刻と内部時計の時刻２３との差分値が−８となり許容範囲−５〜＋５を越えてしまう。そのため、映像フレーム１７０２の表示は飛ばされて次の映像フレーム１７０３が表示されるが、この映像フレーム１７０３は正確に同期がとれた状態ではない。
【００１８】
このように音声表示時刻に不連続が存在すると、映像フレームが欠落して映像フレームの滑らかな表示をすることができず、しかも欠落した映像フレームの次の映像フレームは正確な同期状態で再生できないという問題点が生じる。
【００１９】
さらに、本発明が解決しようとする第３の課題を図１９を用いて説明する。図１９(a) は、オーディオマスタ方式を適用した復号化装置の再生映像信号と再生音声信号が共に正常に出力されている通常状態において、トラックジャンプ等により多重化ビットストリームの入力データに時間的不連続が発生した場合の例を示す図である。この図において、映像フレームの表示周期は５，音声フレームの表示周期は４であり、映像フレーム１８０１と映像フレーム１８０２、また、音声フレーム１８０４と音声フレーム１８０５の間に時間飛びが発生している。このとき、図１９(b) に示すように、復号化装置にオーディオマスタ方式を適用せず、再生映像信号の連続性を重視して映像フレームの表示をすると、シーンチェンジと同様の効果を得ることができ問題はない。
【００２０】
しかしながら、図１９(c) に示すように、オーディオマスタ方式を適用した復号化装置では映像フレーム１８０２を表示する際、内部時計は音声フレーム１８０５の表示時刻２４で更新されているので、映像フレーム１８０２の映像表示時刻２０と内部時計の時刻１０との差分値が＋１０となり、許容範囲を越えてしまい映像フレーム１８０１の表示が再度行なわれる。次に映像フレーム１８０２を表示しようとするが、今度はその映像表示時刻２０と内部時計の時刻２７との差分値が−７となり、許容範囲を越えてしまうため映像フレーム１８０２の表示は飛ばされ次の映像フレーム１８０３が表示される。しかもこの映像フレーム１８０３は正確に同期がとれた状態ではない。
【００２１】
このように通常状態において、トラックジャンプ等のため多重化ビットストリームに時間的不連続が発生した場合、オーディオマスタ方式を適用した復号化装置では映像フレームが欠落して映像フレームの滑らかな表示をすることができず、しかも欠落した映像フレームの次の映像フレームは正確な同期状態で再生できないという問題点が生じる。
【００２２】
本発明は上記の問題に鑑みてなされたものであり、起動動作時や通常動作時に、映像表示時刻や音声表示時刻に時間的不連続が発生するいかなる場合においても、それぞれの場合に応じて最適な映像フレームと音声フレームの表示が行われて映像信号と音声信号の同期再生が可能となる、同期再生装置を提供することを目的とする。
【００２３】
【課題を解決するための手段】
上記課題を解決するために、本発明の請求項１にかかる発明は、再生映像信号の基本単位である映像フレームを符号化した映像符号化データと、該映像フレームの再生映像信号を出力すべき時刻を示す映像表示時刻のデータと、再生音声信号の基本単位である音声フレームを符号化した音声符号化データと、該音声フレームの再生音声信号を出力すべき時刻を示す音声表示時刻のデータと、システム時刻のデータと、がパケット化された多重化ビットストリームを入力とし、上記多重化ビットストリームから上記映像符号化データ，上記音声符号化データ，上記映像表示時刻データ，上記音声表示時刻データ，上記システム時刻データを分離するシステム多重化分離手段と、上記映像符号化データを復号化し、再生映像信号を得る映像信号復号化手段と、上記音声符号化データを復号化し、再生音声信号を得る音声信号復号化手段とを備え、映像信号と音声信号を同期させながら再生する同期再生装置であって、再生映像信号と再生音声信号の出力を開始する起動動作時は、上記システム多重化分離手段により上記多重化ビットストリームから分離された上記システム時刻を選択し、起動動作の後の、再生映像信号と再生音声信号の出力を連続的に行う通常動作時は、上記システム多重化分離手段により上記多重化ビットストリームから分離された上記音声表示時刻を選択する選択手段と、上記起動動作時には、上記選択手段が出力する上記システム時刻を参照して自身の時刻を設定し、上記通常動作時には、上記選択手段が出力する上記音声表示時刻を参照して自身の時刻を設定し、連続した基準時刻を発生する内部時計と、上記起動動作時，及び上記通常動作時には、上記映像表示時刻と上記内部時計の時刻との差分値を求め、該差分値を映像表示時刻誤差として出力する映像表示時刻比較手段と、上記起動動作時，及び上記通常動作時には、上記音声表示時刻と上記内部時計の時刻との差分値を求め、該差分値を音声表示時刻誤差として出力する音声表示時刻比較手段と、上記起動動作時には、上記映像表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＶＳ）〜ＴＨｍａｘ（ＶＳ）内に収まったときに、上記再生映像信号の出力を開始するよう、上記映像信号復号化手段を制御し、上記通常動作時には、上記映像表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＶＭ）〜ＴＨｍａｘ（ＶＭ）内に収まるように、上記再生映像信号の出力を早めるか，遅らせるかして、上記映像信号復号化手段を制御する映像制御手段と、上記起動動作時には、上記音声表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＡＳ）〜ＴＨｍａｘ（ＡＳ）内に収まったときに、上記再生音声信号の出力を開始するよう、上記音声信号復号化手段を制御し、上記通常動作時には、上記音声表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＡＭ）〜ＴＨｍａｘ（ＡＭ）内に収まるように、上記再生音声信号の出力を早めるか，遅らせるかして、上記音声信号復号化手段を制御する音声制御手段と、を具備することを特徴とするものである。
【００２４】
また、本発明の請求項２にかかる同期再生装置は、請求項１記載の同期再生装置において、上記映像制御手段は、上記起動動作時には、上記映像表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＶＳ）〜ＴＨｍａｘ（ＶＳ）内に収まったときに、上記再生映像信号の出力を開始するよう、上記映像信号復号化手段を制御し、上記通常動作時には、上記映像表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＶＭ）〜ＴＨｍａｘ（ＶＭ）内に収まっているかを監視し、その範囲を越えた場合、所定の範囲ＴＨｍｉｎ（ＶＳ）〜ＴＨｍａｘ（ＶＳ）内に収まるように、上記再生映像信号の出力を早めるか，遅らせるかして、上記映像信号復号化手段を制御するものであり、上記音声制御手段は、上記起動動作時には、上記音声表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＡＳ）〜ＴＨｍａｘ（ＡＳ）内に収まったときに、上記再生音声信号の出力を開始するよう、上記音声信号復号化手段を制御し、上記通常動作時には、上記音声表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＡＭ）〜ＴＨｍａｘ（ＡＭ）内に収まっているかを監視し、その範囲を越えた場合、所定の範囲ＴＨｍｉｎ（ＡＳ）〜ＴＨｍａｘ（ＡＳ）内に収まるように、上記再生音声信号の出力を早めるか，遅らせるかして、上記音声信号復号化手段を制御するものであることを特徴とするものである。
【００２５】
また、本発明の請求項３にかかる同期再生装置は、請求項１，又は２記載の同期再生装置において、上記選択手段は、上記通常動作時において上記多重化ビットストリームに時間的不連続が発生する時には、上記通常動作に復帰するまでの間、上記システム多重化分離手段により上記多重化ビットストリームから分離された映像表示時刻を選択するものであり、上記内部時計は、上記多重化ビットストリームの不連続発生時には、上記選択手段の出力する映像表示時刻を参照して自身の時刻を設定し、連続した基準時刻を発生するものであり、上記映像表示時刻比較手段は、上記多重化ビットストリームの不連続発生時には、上記映像表示時刻と上記内部時計の時刻との差分値を求め、該差分値を映像表示時刻誤差として出力するものであり、上記音声表示時刻比較手段は、上記多重化ビットストリームの不連続発生時には、上記音声表示時刻と上記内部時計の時刻との差分値を求め、該差分値を音声表示時刻誤差として出力するものであり、上記映像制御手段は、上記多重化ビットストリームの不連続発生時には、上記映像表示時刻誤差の値にかかわらず、上記再生映像信号を欠落なく出力するよう、上記映像信号復号化手段を制御し、上記映像表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＶＬ）〜ＴＨｍａｘ（ＶＬ）を超えるときは、上記再生音声信号の出力を開始するよう、上記音声信号復号化手段を起動制御し、上記再生音声信号の出力が開始された時点で、上記映像制御手段は上記通常動作時の制御に復帰するものであり、上記音声制御手段は、上記多重化ビットストリームの不連続発生時には、上記再生音声信号の出力を停止するよう、上記音声信号復号化手段をリセット制御し、上記映像制御手段が上記音声信号復号化手段を起動制御した後、上記音声表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＡＳ）〜ＴＨｍａｘ（ＡＳ）内になったときに、上記再生音声信号の出力を開始するよう、上記音声復号化手段を制御し、上記再生音声信号の出力が開始された時点で、上記通常動作時の制御に復帰するものであることを特徴とするものである。
【００２６】
また、本発明の請求項４にかかる同期再生装置は、請求項１ないし３のいずれかに記載の同期再生装置において、上記映像信号復号化手段は、上記映像符号化データを復号化し、再生映像信号を得るとともに、上記映像表示時刻を出力するものであり、上記音声信号復号化手段は、上記音声符号化データを復号化し、再生音声信号を得るとともに、上記音声表示時刻を出力するものであることを特徴とするものである。
【００２７】
また、本発明の請求項５にかかる同期再生装置は、請求項１ないし４のいずれかに記載の同期再生装置において、外部からの起動要求の情報，及びリセット要求の情報，及び多重化ビットストリームの時間的不連続発生の情報を、上記選択手段と上記映像制御手段と上記音声制御手段と、に通知する外部インタフェースを具備することを特徴とするものである。
【００２８】
また、本発明の請求項６にかかる同期再生装置は、請求項１ないし５のいずれかに記載の同期再生装置において、外部からの起動要求の情報，及びリセット要求の情報を、上記選択手段と上記映像制御手段と上記音声制御手段と、に通知する外部インタフェースと、多重化ビットストリームの時間的不連続発生を検出し、その情報を上記選択手段と上記映像制御手段と上記音声制御手段と、に通知するビットストリーム検出手段と、を具備することを特徴とするものである。
【００２９】
【発明の実施の形態】
実施の形態１．
本発明の実施の形態１による同期再生装置について、図面を参照しながら説明する。
図１は、本実施の形態１による同期再生装置の構成を示すブロック図である。
【００３０】
図１に示されるように、本同期再生装置には再生映像信号の基本単位である映像フレームを符号化した映像ビットストリームと、映像フレームの再生映像信号を出力すべき時刻を示す映像表示時刻のデータと、再生音声信号の基本単位である音声フレームを符号化した音声ビットストリームと、音声フレームの再生音声信号を出力すべき時刻を示す音声表示時刻のデータと、システム時刻のデータと、がパケット化された多重化ビットストリーム１１０が入力されている。
【００３１】
図において、システム多重化分離手段１０１は多重化ビットストリーム１１０を入力とし、多重化ビットストリーム１１０から映像ビットストリーム１１１，音声ビットストリーム１１２，映像表示時刻のデータ１１３，音声表示時刻のデータ１１４，システム時刻のデータ１１５を分離して、それぞれのデータを出力としている。
映像信号復号化手段１０２は、システム多重化分離手段１０１により多重化ビットストリーム１１０から分離された映像ビットストリーム１１１の復号化処理を行ない、映像制御手段１０８からの制御信号１１９に従って表示すべき映像フレームの再生映像信号１１６を出力する。また、映像制御手段１０８からのリセット制御により映像ビットストリーム１１１の復号化処理を停止して初期状態となり、映像制御手段１０８からの起動制御により映像ビットストリーム１１１の復号化処理を開始する。
音声信号復号化手段１０３は、システム多重化分離手段１０１により多重化ビットストリーム１１０から分離された音声ビットストリーム１１２の復号化処理を行ない、音声制御手段１０９からの制御信号１２１に従って表示すべき音声フレームの再生音声信号１１７を出力する。また、音声制御手段１０９からのリセット制御により音声ビットストリーム１１２の復号化処理を停止して初期状態となり、映像制御手段１０８，及び音声制御手段１０９からの起動制御により音声ビットストリーム１１２の復号化処理を開始する。
内部時計１０４は、所定の周期でカウントアップを行ない、選択手段１０５が選択したシステム時刻１１５，映像表示時刻１１３，音声表示時刻１１４のいずれかを参照して自身の時刻を設定し、連続した基準時刻を発生する。
選択手段１０５は、後述の本同期再生装置がシステム全体として作動する４つの各状態に応じて、システム多重化分離手段１０１により多重化ビットストリーム１１０から分離されたシステム時刻１１５，映像表示時刻１１３，音声表示時刻１１４のいずれかを適応的に選択し、それを用いて内部時計１０４を更新する。
映像表示時刻比較手段１０６は、システム多重化分離手段１０１により多重化ビットストリーム１１０から分離された映像表示時刻１１３から、内部時計１０４の時刻を引いた差分値を計算し、映像表示時刻誤差１１８として出力する。
音声表示時刻比較手段１０７は、システム多重化分離手段１０１により多重化ビットストリーム１１０から分離された音声表示時刻１１４から、内部時計１０４の時刻を引いた差分値を計算し、音声表示時刻誤差１２０として出力する。
映像制御手段１０８は、映像表示時刻誤差１１８と後述する所定の誤差許容範囲との比較を行い、その結果に基づいて映像信号復号化手段１０２を制御する信号１１９を出力する。また、映像信号復号化手段１０２のリセット制御を行い、映像信号復号化手段１０２，及び音声信号復号化手段１０３の起動制御も行う。
音声制御手段１０９は、音声表示時刻誤差１２０と所定の誤差許容範囲との比較を行い、その結果に基づいて音声信号復号化手段１０３を制御する信号１２１を出力する。また、音声信号復号化手段１０３のリセット制御，及び起動制御も行う。
【００３２】
次に、本実施の形態１による映像信号と音声信号の同期再生装置がシステム全体として作動する状態について、図２を参照しながら説明する。
図２は、本実施の形態１の同期再生装置がシステム全体として作動する４つの状態の遷移関係を示す説明図である。起動状態は、映像ビットストリーム１１１と音声ビットストリーム１１２の復号化処理が始まった状態である。再生映像信号１１６と再生音声信号１１７の出力がともに開始するまではこの状態に留まるが、再生映像信号１１６と再生音声信号１１７の出力がともに開始されると、システムは起動状態から通常状態に遷移する。
【００３３】
通常状態は、再生映像信号１１６と再生音声信号１１７がともに正常に出力されている状態である。正常に出力されている状態とは、再生映像信号１１６と再生音声信号１１７の同期がとれており、連続的に映像フレームと音声フレームの出力を行っている状態のことである。この通常動作時に多重化ビットストリーム１１０の時間的不連続が発生すると、システムは通常状態からビットストリーム不連続発生状態に遷移する。
【００３４】
ビットストリーム不連続発生状態は、通常状態において多重化ビットストリーム１１０に時間的不連続が発生したことにより、システムが通常状態からこのビットストリーム不連続発生状態に遷移して、映像信号と音声信号の同期回復のための復帰処理が行われている状態である。そして映像信号と音声信号の同期が回復して、再生映像信号１１６と再生音声信号１１７がともに正常に出力され始めると、システムはビットストリーム不連続発生状態から通常状態に復帰する。
【００３５】
リセット状態は、映像ビットストリーム１１１と音声ビットストリーム１１２の復号化がともに停止して初期状態に戻った状態である。通常状態においてリセット要求が発生した場合、システムは通常状態からリセット状態に遷移する。そして次の起動要求が発生すると、システムはリセット状態から起動状態に遷移する。
【００３６】
以上説明したシステムの各状態のそれぞれに対応した、映像制御手段と音声制御手段と選択手段の処理内容について、図３を用いて説明する。
まず、上述のシステムの各状態に応じて、映像制御手段と音声制御手段がそれぞれ適応的に使い分ける４つの処理モードについて、図３を参照しながら説明する。図３(a) は、起動状態における映像制御手段，音声制御手段，選択手段の処理モードを示す説明図である。このように起動状態においては、映像制御手段１０８と音声制御手段１０９はともにスタートアップ処理を行う。再生映像信号１１６の出力が開始すると、映像制御手段１０８の処理モードはメイン処理に移行し、再生音声信号１１７の出力が開始すると、音声制御手段１０９の処理モードはメイン処理に移行する。
【００３７】
図３(b) は、通常状態における映像制御手段，音声制御手段，選択手段の処理モードを示す説明図である。このように通常状態においては、基本的に映像制御手段１０８と音声制御手段１０９はメイン処理を行う。音声表示時刻誤差１２０が後述の所定の誤差許容範囲ＴＨｍｉｎ（ＡＭ）〜ＴＨｍａｘ（ＡＭ）内に収まらない場合は、次の再生音声信号１１７の出力が開始されるまでの間、音声制御手段１０９の処理モードは一時的にスタートアップ処理に移行する。そして再生映像信号１１６と再生音声信号１１７の同期がとれて連続的に映像フレームと音声フレームの出力を行うことができるような正常状態に回復すると、音声制御手段１０９の処理モードはメイン処理に復帰する。
映像表示時刻誤差１１８が後述の所定の誤差許容範囲ＴＨｍｉｎ（ＶＭ）〜ＴＨｍａｘ（ＶＭ）内に収まらない場合は、次の再生映像信号１１６の出力が開始されるまでの間、映像制御手段１０８の処理モードは一時的にスタートアップ処理２に移行する場合がある。ただし、映像制御手段１０８の処理モードはスタートアップ処理２に移行せずメイン処理のままである場合もある。そして再生映像信号１１６と再生音声信号１１７の同期がとれて連続的に映像フレームと音声フレームの出力を行うことができるような正常状態に回復すると、映像制御手段１０８の処理モードもメイン処理に復帰する。
【００３８】
図３(c) は、通常状態において多重化ビットストリームに時間的不連続が発生したときの、映像制御手段，音声制御手段，選択手段の処理モードを示す説明図である。このようにビットストリーム不連続発生状態においては、映像制御手段１０８はシームレス処理を行い、音声制御手段１０９は待機している。音声信号復号化手段１０３が起動すると、映像制御手段１０８の処理モードはメイン処理に移行し、また、音声制御手段１０９の処理モードはスタートアップ処理に移行する。なお、図３(c) には示していないが、再生映像信号１１６と再生音声信号１１７の同期がとれて連続的に映像フレームと音声フレームの出力を行うことができるような正常状態に回復すると、音声制御手段１０９の処理モードはメイン処理に復帰する。
【００３９】
図３(d) は、リセット状態における映像制御手段，音声制御手段，選択手段の処理モードを示す説明図である。このようにリセット状態においては、映像制御手段１０８と音声制御手段１０９はともにリセット処理を行う。
【００４０】
次に、システムの各状態に応じて、選択手段が選択する時刻について図３を用いて説明する。選択手段１０５は、本実施の形態１による同期再生装置がとる４つのシステムの状態のそれぞれに対応して、適応的にシステム時刻，映像表示時刻，音声表示時刻のいずれか１つを選択する。そしてその時刻を用いて内部時計１０４を更新する。ただし音声表示時刻１１４が選択された場合は、音声表示時刻比較手段１０７が音声表示時刻１１４と内部時計１０４の時刻との差分値を求め、その結果出力された音声表示時刻誤差１２０が後述する所定の誤差許容範囲内に収まっている場合にのみ、内部時計１０４の更新を行う。
【００４１】
起動状態における選択手段１０５は、図３(a) に示すように、システム時刻１１５を選択する。
通常状態における選択手段１０５は、図３(b) に示すように、基本的に音声表示時刻１１４を選択する。ただし音声表示時刻誤差１２０が後述する所定の誤差許容範囲ＴＨｍｉｎ（ＡＭ）〜ＴＨｍａｘ（ＡＭ）内に収まらない場合は、内部時計１０４の更新を行わない。なお、音声制御手段１０９の処理モードがスタートアップ処理からメイン処理に遷移するまでの間、一時的に内部時計１０４の更新を停止する。
通常状態においてビットストリームに不連続が発生したときは、図３(c) に示すように、選択手段１０５は映像表示時刻１１３を選択する。
リセット状態においては、図３(d) に示すように、選択手段１０５は内部時計１０４の更新は行っても行わなくてもよい。
【００４２】
さらに、本実施の形態１の同期再生装置における映像制御手段，音声制御手段，選択手段の詳細な動作について説明する。
まず、映像制御手段の動作について図４を用いて説明する。図４(a) は、音声制御手段の処理モードがスタートアップ処理であるときの処理内容を示す説明図である。音声表示時刻誤差１２０と所定の誤差許容範囲ＴＨｍｉｎ（ＡＳ）〜ＴＨｍａｘ（ＡＳ）との比較の結果に基づいて、音声制御手段１０９は図４(a) に示すような制御信号１２１を音声信号復号化手段１０３に対して出力する。
比較の結果、音声表示時刻誤差１２０がＴＨｍｉｎ（ＡＳ）〜ＴＨｍａｘ（ＡＳ）範囲内にある場合は、音声制御手段１０９は音声信号復号化手段１０３に対してその音声フレームを「表示せよ」という指示を与える制御信号１２１を出力する。音声表示時刻誤差１２０が誤差許容範囲の下限ＴＨｍｉｎ（ＡＳ）を下回る場合はその音声フレームを表示すべき時刻をすでに過ぎていると判断し、音声制御手段１０９は音声信号復号化手段１０３に対してその音声フレームの「表示を飛ばせ」という指示を与える制御信号１２１を出力する。音声表示時刻誤差１２０が誤差許容範囲の上限ＴＨｍａｘ（ＡＳ）を上回る場合には、その音声フレームを表示すべき時刻にはまだ達していないと判断し、音声制御手段１０９は音声信号復号化手段１０３に対してその音声フレームの「表示を待て」という指示を与える制御信号１２１を出力する。
【００４３】
図４(b) は、音声制御手段の処理モードがメイン処理であるときの処理内容を示す説明図である。音声表示時刻誤差１２０と所定の誤差許容範囲ＴＨｍｉｎ（ＡＭ）〜ＴＨｍａｘ（ＡＭ）との比較の結果に基づいて、音声制御手段１０９は制御信号１２１を音声信号復号化手段１０３に対して出力する。その処理内容は、音声制御手段１０９の処理モードがスタートアップ処理であるとき（図４(a) 参照）と同じであるが、誤差許容範囲ＴＨｍｉｎ（ＡＭ）〜ＴＨｍａｘ（ＡＭ）の値に異なる値を用いている（図６参照）。これは以下の理由による。スタートアップ処理が行われるのは、主に起動動作時において再生開始のタイミングを合わせるときであるので、比較的高い比較精度が要求される。それに対しメイン処理が行われるのは、主に通常動作時において音声表示時刻の時間的不連続を検出するときであるので、あまり高い比較精度は要求されない。逆に誤差許容範囲を狭めすぎると不必要な補正を行ってしまうことになるため、若干の余裕を持たせる方が効果的である。そのためスタートアップ処理とメイン処理の誤差許容範囲には（数１）の関係が満たされている。
【００４４】
図５(a) は、映像制御手段１０８の処理モードがスタートアップ処理であるときの処理内容を示す図である。映像表示時刻誤差１１８と所定の誤差許容範囲ＴＨｍｉｎ（ＶＳ）〜ＴＨｍａｘ（ＶＳ）との比較の結果に基づいて、映像制御手段１０８は制御信号１１９を映像信号復号化手段１０２に対して出力する。その処理内容は、音声制御手段１０９の処理モードがスタートアップ処理であるとき（図４(a) 参照）と同じであるが、誤差許容範囲ＴＨｍｉｎ（ＶＳ）〜ＴＨｍａｘ（ＶＳ）の値に音声制御手段１０９の場合とは異なる値を用いている（図６参照）。
【００４５】
図５(b) は、映像制御手段１０８の処理モードがメイン処理であるときの処理内容を示す説明図である。映像表示時刻誤差１１８と所定の誤差許容範囲ＴＨｍｉｎ（ＶＭ）〜ＴＨｍａｘ（ＶＭ）との比較の結果に基づいて、映像制御手段１０８は制御信号１１９を映像信号復号化手段１０２に対して出力する。
比較の結果、映像表示時刻誤差１１８がＴＨｍｉｎ（ＶＭ）〜ＴＨｍａｘ（ＶＭ）範囲内にある場合は、映像制御手段１０８は映像信号復号化手段１０２に対して、その映像フレームを「表示せよ」という指示を与える制御信号１１９を出力する。映像表示時刻誤差１１８が誤差許容範囲の下限ＴＨｍｉｎ（ＶＭ）を下回る場合は、その映像フレームを表示すべき時刻をすでに過ぎていると判断し、映像制御手段１０８は映像信号復号化手段１０２に対して、その映像フレームの「表示を飛ばせ」という指示と次の映像フレームの「表示せよ」という指示を、同時に与える制御信号１１９を出力する。映像表示時刻誤差１１８が誤差許容範囲の上限ＴＨｍａｘ（ＶＭ）を上回る場合には、その映像フレームを表示すべき時刻にはまだ達していないと判断し、映像制御手段１０８は映像信号復号化手段１０２に対して、その映像フレームの「表示を待て」という指示と前の映像フレームの「表示せよ」という指示を、同時に与える制御信号１１９を出力する。
【００４６】
図５(c) は、映像制御手段１０８の処理モードがシームレス処理であるときの処理内容を示す説明図である。映像表示時刻誤差１１８と所定の許容誤差範囲ＴＨｍｉｎ（ＶＬ）〜ＴＨｍａｘ（ＶＬ）との比較の結果に基づいて、映像制御手段１０８は制御信号１１９を映像信号復号化手段１０２へ出力する。その処理内容は、比較の結果によらず映像フレームを「表示せよ」という指示を与えるものである。また、映像制御手段１０８は制御信号１１９を音声信号復号化手段１０３へも出力する。その処理内容は、映像表示時刻誤差１１８が許容誤差範囲ＴＨｍｉｎ（ＶＬ）〜ＴＨｍａｘ（ＶＬ）内にない場合にのみ、音声信号復号化手段１０３の起動制御を行うというものである。
【００４７】
図５(d) は、映像制御手段１０８の処理モードがスタートアップ処理２であるときの処理内容を示す図である。映像表示時刻誤差１１８と所定の許容誤差範囲ＴＨｍｉｎ（ＶＳ2 ）〜ＴＨｍａｘ（ＶＳ2 ）との比較の結果に基づいて、映像制御手段１０８は制御信号１１９を映像信号復号化手段１０２へ出力する。その処理内容は、映像制御手段１０８の処理モードがスタートアップ処理であるとき（図５(a) 参照）と同じであるが、誤差許容範囲ＴＨｍｉｎ（ＶＳ2 ）〜ＴＨｍａｘ（ＶＳ2 ）の値にスタートアップ処理の場合とは異なる値を用いている（図６参照）。
【００４８】
映像制御手段１０８の処理モードがリセット処理であるときの処理内容は図示しないが、映像信号復号化手段１０２にリセット信号を送るというものである。
【００４９】
音声制御手段１０９の処理モードがリセット処理であるときの処理内容は図示しないが、音声信号復号化手段１０３にリセット信号を送るというものである。
【００５０】
上記のように構成された本実施の形態１による同期再生装置の、システムの各状態のそれぞれに対応した詳細な動作について図を参照しながら説明する。なお、以下の説明に共通して映像フレームの表示周期は５，音声フレームの表示周期は４とし、映像表示時刻誤差１１８，及び音声表示時刻誤差１２０と比較される誤差許容範囲には、図６(a) ，(b) に示す設定値の例を用いている。
【００５１】
まず、起動状態における同期再生装置の動作について図７を用いて説明する。図において、上から順に映像制御手段１０８の処理モード，映像復号化手段１０２の出力する再生映像信号１１６，内部時計１０４の時刻，音声復号化手段１０３の出力する再生音声信号１１７，音声制御手段１０９の処理モードを表している。このように起動状態においては、図３(a) より、映像制御手段１０８と音声制御手段１０９はともにスタートアップ処理を行い、選択手段１０５はシステム時刻１１５を選択する。
【００５２】
図７に示すように、まず内部時計１０４の時刻が選択手段１０５の選択したシステム時刻１１５により０にセットされる。時刻０において、映像フレーム７０１の映像表示時刻誤差は３、音声フレーム７０２の音声表示時刻誤差は５となり、図４(a) ，図５(a) ，図６(a) より、どちらも誤差許容範囲の上限を越えており、映像フレーム７０１と音声フレーム７０２はともに表示するのを待たされる。時刻１，時刻２においても同様である。
【００５３】
時刻３において、映像フレーム７０１の映像表示時刻誤差１１８が０となり、誤差許容範囲ＴＨｍｉｎ（ＶＳ）〜ＴＨｍａｘ（ＶＳ）内に入るため、映像フレーム７０１の再生映像信号１１６の出力が開始され、映像制御手段１０８の処理モードはメイン処理に移行する。
時刻５において、音声フレーム７０２の音声表示時刻誤差１２０が０となり、誤差許容範囲ＴＨｍｉｎ（ＡＳ）〜ＴＨｍａｘ（ＡＳ）内に入るため、音声フレーム７０２の再生音声信号１１７の出力が開始される。この時刻５の時点で、再生映像信号１１６と再生音声信号１１７が共に出力されることになり、図２より、システムの状態は起動状態から通常状態へ遷移する。通常状態においては図３(b) より、映像制御手段１０８と音声制御手段１０９はともにメイン処理を行い、選択手段１０５は音声表示時刻１１４を選択する。よって、内部時計１０４の時刻は音声フレーム７０３以降の各音声フレームの音声表示時刻を用いて更新される。
【００５４】
上記のような処理を行うことで本実施の形態１による同期再生装置は、起動動作時において、映像フレームの頭欠けを起こすことなく、映像信号と音声信号の同期再生を開始することが可能となる。
【００５５】
次に、通常状態における同期再生装置の動作について、図１６，図８を用いて説明する。
通常状態では、図３(b) より、映像制御手段１０８と音声制御手段１０９は共にメイン処理を行い、選択手段１０５は音声表示時刻１１４を選択する。
【００５６】
まず、通常状態において、再生映像信号と再生音声信号に同期ずれが発生した場合の同期再生装置の動作の例について、図１６を用いて説明する。
図１６(a) ，(b) について説明する。図１６(a) において、映像フレーム１５０１の映像表示時刻誤差１１８は−６であり、図５(b) ，図６(a) より、誤差許容範囲の下限ＴＨｍｉｎ（ＶＭ）を下回っている。よって、映像フレーム１５０１の表示は飛ばされ、図１６(b) に示すように、次の映像フレーム１５０２が表示される。
【００５７】
図１６(c) ，(d) について説明する。図１６(c) において、映像フレーム１５０３の映像表示時刻誤差１１８は＋６であり、図５(b) ，図６(a) より、誤差許容範囲の上限ＴＨｍａｘ（ＶＭ）を上回っている。よって、映像フレーム１５０３の表示は待たされ、図１６(d) に示すように、その直前に表示された映像フレーム１５０４が引き続き表示される。時刻１６で、映像フレーム１５０３の映像表示時刻誤差１１８は＋２となり誤差許容範囲ＴＨｍｉｎ（ＶＭ）〜ＴＨｍａｘ（ＶＭ）内に収まるため、今度は映像フレーム１５０３がそのまま表示される。
【００５８】
上記のような処理を行うことで本実施の形態１による同期再生装置は、通常動作時において、再生映像信号と再生音声信号に同期ずれが発生しても、映像信号と音声信号の同期再生を回復することが可能となる。
【００５９】
なお、上記図１６に示した実施例は、映像表示時刻誤差１１８が誤差許容範囲ＴＨｍｉｎ（ＶＭ）〜ＴＨｍａｘ（ＶＭ）を超過したとき、映像制御手段１０８の処理モードがメイン処理のままである場合についての実施の形態であった。しかしながら映像表示時刻誤差１１８が誤差許容範囲を超過するとき、図３(b) に示すように、映像制御手段１０８の処理モードがメイン処理のままである必要は必ずしもなく、スタートアップ処理２に移行してもよい。スタートアップ処理２に移行する場合の実施例について、図２０を用いて以下に説明する。
【００６０】
図２０において、誤差許容範囲ＴＨｍｉｎ（ＶＭ）〜ＴＨｍａｘ（ＶＭ）とＴＨｍｉｎ（ＶＳ）〜ＴＨｍａｘ（ＶＳ）には、図６(b) に示す値を用いており、ＴＨｍｉｎ（ＶＭ）〜ＴＨｍａｘ（ＶＭ）の数値は−９〜＋９、ＴＨｍｉｎ（ＶＳ）〜ＴＨｍａｘ（ＶＳ）の数値は−２．５〜＋２．５である。つまり、図６(a) に示す値を用いた誤差許容範囲よりも、若干余裕を持たせた範囲となるように、図２０の実施例における誤差許容範囲の数値は設定されている。
【００６１】
時刻３０において、映像フレーム２００１の映像表示時刻誤差１１８は−１０であり、誤差許容範囲の下限ＴＨｍｉｎ（ＶＭ）の−９を下回っている。よって、図５(d) より、映像フレーム２００１の表示は飛ばされ、図２０(b) に示すように、次の映像フレーム２００２が表示される。映像制御手段１０８の処理モードは、映像フレーム２００２の表示と同時に、メイン処理からスタートアップ処理２に移行する（図３(b) 参照）。
【００６２】
時刻３４において、映像フレーム２００３の映像表示時刻誤差１１８は−４となり、スタートアップ処理２における誤差許容範囲ＴＨｍｉｎ（ＶＳ）の−２．５を下回っている。よって、図５(d) より、映像フレーム２００３の表示は飛ばされる。
次の映像フレーム２００４の映像表示時刻誤差１１８は＋１となり、誤差許容範囲ＴＨｍｉｎ（ＶＳ）〜ＴＨｍａｘ（ＶＳ）内に入るため、図２０(c) に示すように、映像フレーム２００４が表示される。そして、映像制御手段１０８の処理モードは、図３(b) に示すように、メイン処理に移行する。
ここで、映像表示時刻誤差１１８が誤差許容範囲ＴＨｍｉｎ（ＶＭ）〜ＴＨｍａｘ（ＶＭ）を超過したときに、なぜ映像制御手段１０８の処理モードをスタートアップ処理２に移行させるかの理由について説明する。映像フレーム２００３を表示しようとするとき、映像制御手段１０８の処理モードがメイン処理のままであれば、映像表示時刻誤差１１８は−４であるので、誤差許容範囲ＴＨｍｉｎ（ＶＭ）〜ＴＨｍａｘ（ＶＭ）内に入り、映像フレーム２００３を表示することができる。しかしながら、映像表示時刻誤差１１８が−４であるというのは、映像信号と音声信号の同期再生が正確に回復したとはいいがたい。そこで、同期ずれ検出時（映像フレーム２００１を表示しようとするとき）の誤差許容範囲ＴＨｍｉｎ（ＶＭ）〜ＴＨｍａｘ（ＶＭ）よりも、狭い誤差許容範囲ＴＨｍｉｎ（ＶＳ）〜ＴＨｍａｘ（ＶＳ）を用いることにより、映像表示時刻誤差１１８が−４である映像フレーム２００３の表示は飛ばされ、映像表示時刻誤差１１８が＋１である映像フレーム２００４の表示が行われ、つまり、映像信号と音声信号の同期再生の精度を高めることができる。
【００６３】
上記のように、本実施の形態１による同期再生装置は、映像信号と音声信号の同期再生を回復した後、一時的に起動状態での同期補正動作を行うことにより、映像信号と音声信号のより精度の高い同期再生が可能となる。
【００６４】
次に、通常状態において、映像表示時刻と音声表示時刻のいずれかに時間的不連続が発生した場合の同期再生装置の動作の例について、図８を用いて説明する。図８(a) は、通常状態において、音声表示時刻１１４に時間的不連続が存在する場合の、同期再生装置の動作の例を示す図である。このように、連続する音声フレーム８０１と音声フレーム８０２との間に時間飛びが存在している。時刻３２までは、図３(b) より、映像制御手段１０８と音声制御手段１０９は共にメイン処理を行っており、再生映像信号と再生音声信号は共に通常状態での連続出力中である。また、選択手段１０５は音声表示時刻１１４を選択している。
【００６５】
時刻３２において、次の音声フレーム８０２の再生音声信号を出力しようとするが、音声フレーム８０２の音声表示時刻誤差１２０は＋８であり、図４(b) ，図６(a) より、許容範囲の上限ＴＨｍａｘ（ＡＭ）を上回る。よって、時刻３２では、音声フレーム８０２の表示は待たされると同時に、図３(b) より、音声制御手段１０９はスタートアップ処理に移行する。また、選択手段１０５による内部時計１０４の更新も行われない。
時刻３３において、音声フレーム８０２の音声表示時刻誤差１２０は＋７であり、図４(a) ，図６(a) より許容範囲の上限ＴＨｍａｘ（ＡＳ）を上回る。よって、時刻３３でも、音声フレーム８０２の表示は待たされる。時刻３４〜時刻３９においても同様に、音声フレーム８０２の表示は待たされる。
時刻４０になって、音声フレーム８０２の音声表示時刻誤差１２０は０となり、誤差許容範囲ＴＨｍｉｎ（ＡＳ）〜ＴＨｍａｘ（ＡＳ）内に入るため、音声フレーム８０２の再生音声信号１１７の出力が開始されると同時に、図３(b) より、音声制御手段１０９の処理モードはメイン処理に移行する。
【００６６】
上記のような処理を行うことで本実施の形態１による同期再生装置は、通常動作時において、音声表示時刻に時間的不連続が存在する場合でも、映像フレームを欠落させることなく、映像信号と音声信号の同期再生が可能となる。
【００６７】
図８(b) は、通常状態において、映像表示時刻１１４に時間的不連続が存在する場合の同期再生装置の動作の例を示す図である。このように、連続する映像フレーム８０３と映像フレーム８０４との間には時間飛びが存在している。時刻３０までは、図３(b) より、映像制御手段１０８と音声制御手段１０９は共にメイン処理を行っており、再生映像信号と再生音声信号は共に通常状態での連続出力中である。また、選択手段１０５は音声表示時刻１１４を選択している。
【００６８】
時刻３０において、次の映像フレーム８０４の再生映像信号を出力しようとするが、映像フレーム８０４の映像表示時刻誤差１１８は＋１２であり、図５(b) ，図６(a) より、誤差許容範囲の上限ＴＨｍａｘ（ＶＭ）を上回る。よって、映像フレーム８０４の表示は待たされ、その直前に表示された映像フレーム８０３が引き続き表示される。時刻３５においても同様である。
時刻４０になって、映像フレーム８０４の映像表示時刻誤差１２０は＋２となり、誤差許容範囲ＴＨｍｉｎ（ＶＭ）〜ＴＨｍａｘ（ＶＭ）内に入るため、映像フレーム８０４の再生映像信号１１６の出力が開始される。
【００６９】
上記のような処理を行うことで本実施の形態１による同期再生装置は、通常動作時において、映像表示時刻に時間的不連続が存在する場合でも、映像フレームを違和感無く連続的に表示しながら、映像信号と音声信号の同期再生が可能となる。
【００７０】
次に、通常状態において、多重化ビットストリームに不連続が発生した場合の同期再生装置の動作の例を、図９を用いて説明する。図９(a) は、ビットストリーム不連続発生状態における、同期再生装置への多重化ビットストリームの入力データを示す説明図であり、このようなトラックジャンプ等の発生によって、時間的連続性が切れた状態でのデータが本同期再生装置に入力されることになる。
【００７１】
この入力に対する同期再生装置の動作の流れを図９(b) と図１０(a) 〜図１０(b) に示す。
図９(b) より、時刻４７までは、映像制御手段１０８と音声制御手段１０９は共にメイン処理を行っており、再生映像信号と再生音声信号は共に通常状態での連続出力中である。また、選択手段１０５は音声表示時刻１１４を選択している。時刻４７において、ビットストリーム不連続発生が検出される。このとき、図２より、システムは通常状態からビットストリーム不連続発生状態へ遷移するので、図３(c) に示すように、音声制御手段１０９はリセット処理を行い、音声信号復号化手段１０３での復号化処理は停止する。音声フレーム９０３の再生音声信号の出力は打ち切られ、続く音声フレーム９０４の再生音声信号の出力も行われない。
【００７２】
映像制御手段１０８の処理モードはシームレス処理へ移行し、選択手段１０５は映像表示時刻１１３を選択するため、映像フレーム９０１の表示時に、そのフレームのもつ映像表示時刻１１３である時刻５０にて内部時計１０４が更新される。
次の時刻５５において、映像フレーム９０２の映像表示時刻誤差１１８が−３５となり、図５(c) ，図６(a) より、誤差許容範囲の下限ＴＨｍｉｎ（ＶＬ）を下回るので、映像制御手段１０８は音声信号復号化手段１０３に起動をかける。このときの様子を図１０(a) に示す。また、シームレス処理中においては、映像制御手段１０８は映像表示時刻誤差の値によらず映像フレームを『表示せよ』という制御信号１２１を出力しているので、映像フレーム９０２はそのまま表示され、内部時計１０４はこの映像フレーム９０２の映像表示時刻を用いて更新される。
【００７３】
音声信号復号化手段１０３に起動がかかると、音声制御手段１０９の処理モードはスタートアップ処理に遷移する。時刻２０における音声フレーム９０５の音声表示時刻誤差１２０は−２であり、図４(a) ，図６(a) より、誤差許容範囲の下限ＴＨｍｉｎ（ＡＳ）を下回っている。よって、音声フレーム９０５の表示は飛ばされ、音声表示時刻１１４が時刻２２である音声フレーム９０６の表示を試みる。しかし、時刻２０における音声フレーム９０６の音声表示時刻誤差１２０は＋２となり、図４(a) ，図６(a) より、誤差許容範囲の上限ＴＨｍａｘ（ＡＳ）を下回っている。よって、音声フレーム９０６の表示は待たされる。時刻２１においても同様である。
【００７４】
時刻２２においては、図１０(b) に示すように、音声表示時刻１１４が時刻２２である音声フレーム９０６の音声表示時刻誤差１２０が０となり、誤差許容範囲ＴＨｍｉｎ（ＡＳ）〜ＴＨｍａｘ（ＡＳ）内に入るため、音声フレーム９０６の再生音声信号の出力が開始される。この時点で、再生映像信号１１６と再生音声信号１１７は共に出力が開始されることとなり、図２より、システムはビットストリーム不連続発生状態から通常状態へ遷移する。通常状態においては、図３(b) より、映像制御手段１０８と音声制御手段１０９は共にメイン処理を行い、選択手段１０５は音声表示時刻１１４を選択するため、内部時計１０４は音声フレーム９０７以降の各音声フレームの音声表示時刻を用いて更新される。
【００７５】
上記のような処理を行うことで本実施の形態１による同期再生装置は、ビットストリーム不連続発生時において、映像フレームを欠落なく連続的に表示しながら、映像信号と音声信号の同期再生が可能となる。
【００７６】
なお、本実施の形態１では、図６(a) に示すように、映像制御手段１０８と音声制御手段１０９がスタートアップ処理を行っているときの、映像表示時刻誤差１１８と音声表示時刻誤差１２１の許容範囲を０〜０としたが、図６(b) に示すスタートアップ処理２のように、０以外の値で幾分の余裕を持たせてもよい。特に、映像においては符号化装置内の映像垂直同期信号に同期して再生映像信号を出力する必要があるため、ＮＴＳＣにおいては、約３０分の１秒の単位が内部時計１０４と各映像フレームの表示時刻との比較が可能な最小周期になる。そのため、映像表示時刻誤差１１８が０になる可能性は低く、映像が表示され始めないことが起こりうる。一番効果的なのは、許容範囲の幅を映像フレームの周期である約３０分の１秒にすることであり、−１／１５秒〜＋１／１５秒とすることにより最も正確に再生映像信号の出力を開始することができる。
【００７７】
また、本実施の形態１では、図６に示すように、映像制御手段１０８がメイン処理を行っているときの映像表示時刻誤差１１８の誤差許容範囲を−５〜＋５、音声制御手段１０９がメイン処理を行っているときの音声表示時刻誤差１２１の誤差許容範囲を−４〜＋４とした。これは映像フレーム，及び音声フレームそれぞれの表示周期を用いて定めたものであるが、この定め方に限るものではなく、（数１）の関係を満たすものであればよい。
【００７８】
【数１】
【００７９】
さらに、本実施の形態１では、図６に示すように、映像制御手段１０８がシームレス処理を行っているときの、映像表示時刻誤差１１８の誤差許容範囲を−１５〜＋１５とした。これは映像フレームの表示周期の３倍の値を用いて定めたものであるが、この定め方に限るものではなく、（数２）の関係を満たすものであればよい。
【００８０】
【数２】
【００８１】
以上のように、本実施の形態１の同期再生装置によれば、起動動作時は、最初の映像フレームからの再生が可能となり、映像信号と音声信号の同期再生を開始することができる。また、通常動作時は、再生映像信号と再生音声信号に同期ずれが発生したり、あるいは映像表示時刻，及び音声表示時刻に時間的不連続が発生したり、あるいは多重化ビットストリームに時間的不連続が発生しても、映像フレームを違和感無く連続的に表示しながら、映像信号と音声信号の同期再生を保つことができる。このように、いかなる場合においても、良好な状態での映像信号と音声信号の同期再生が可能となる。
【００８２】
実施の形態２．
次に、本発明の実施の形態２による同期再生装置について、図１１を参照しながら説明する。図１１は、本実施の形態２による同期再生装置の構成を示すブロック図である。実施の形態１による同期再生装置の構成（図１）は、映像信号復号化手段１０２には、システム多重化分離手段１０１で分離された映像ビットストリーム１１１を入力し、音声信号復号化手段１０３には、音声ビットストリーム１１２を入力していたが、本実施の形態２では、映像信号復号化手段１０２には、映像ビットストリーム１１１と映像表示時刻１１３を入力し、映像信号復号化手段１０２を中継した映像表示時刻１１３を、映像表示時刻比較手段１０６と選択手段１０５に対して出力するようにし、また、音声信号復号化手段１０２には、音声ビットストリーム１１２と音声表示時刻１１４を入力し、音声信号復号化手段１０２を中継した音声表示時刻１１３を、音声表示時刻比較手段１０７と選択手段１０５に対して出力する構成としたものである。この理由を以下に示す。
【００８３】
国際標準規格であるＭＰＥＧでは、すべての映像フレーム，及び音声フレームにその表示時刻であるＰＴＳを付加する必要はないため、ＰＴＳを持たない映像フレーム，及び音声フレームが存在する可能性がある。このため、実施の形態１のように、映像ビットストリーム１１１と映像表示時刻１１３，及び音声ビットストリーム１１２と音声表示時刻１１４を、それぞれ分離して扱うと、各フレームとその表示時刻との対応関係が乱れる可能性がある。さらに、特に映像ビットストリームには、双方向のフレームから符号化予測を行うＢピクチャが存在し、映像フレームの符号化順と復号化順は異なるため、各フレームと表示時刻との対応関係はより複雑なものとなる。
この対応関係がとれないまま、映像表示時刻比較手段１０６，及び音声表示時刻比較手段１０７による、映像フレーム，及び音声フレームの表示時刻と内部時計１０４の時刻との比較結果に基づいて、各フレームの復号化を行って再生映像信号と再生音声信号を出力すると、同期ずれが生じることになる。
このような理由から、上述のように本実施の形態２では、映像ビットストリーム１１１と映像表示時刻１１３，及び音声表示時刻１１４と音声ビットストリーム１１２を対応付けてから、映像信号復号化手段１０２，及び音声信号復号化手段１０３に入力するようにした。
【００８４】
以上のような構成とすることで本実施の形態２による同期再生装置は、映像フレーム，及び音声フレームとそれぞれの表示時刻との対応関係を、適切な状態で保つことができるので、映像信号と音声信号の正確な同期再生が可能となる。
【００８５】
実施の形態３．
次に、本発明の実施の形態３による同期再生装置について、図１２を参照しながら説明する。図１２は、本実施の形態３による同期再生装置の構成を示すブロック図である。実施の形態２による同期再生装置の構成（図１１）は、本同期再生装置に対する起動要求，リセット要求，多重化ビットストリームの不連続を検出するのは、選択手段１０５，映像制御手段１０８，音声制御手段１０９での制御において内部的に発生するものとしていたが、本実施の形態３では、本同期再生装置に対する起動要求，リセット要求，多重化ビットストリームの不連続を検出するのは外部ＣＰＵ（図示せず）とし、このような外部ＣＰＵからの情報（外部からのコマンド１１０３）は、外部インタフェース１１０３にて解読され、その結果を制御信号１１０２として、選択手段１０５，映像制御手段１０８，音声制御手段１０９に入力する構成としたものである。
【００８６】
以上のような構成とすることで本実施の形態３による同期再生装置は、ＣＰＵを介した外部からの柔軟なシステム制御が可能であり、実用的なものとなる。
【００８７】
実施の形態４．
次に、本発明の実施の形態４による同期再生装置について、図１３を参照しながら説明する。図１３は、本実施の形態４による同期再生装置の構成を示すブロック図であり、実施の形態３による同期再生装置の構成（図１２）は、多重化ビットストリームの不連続を検出するのは、外部ＣＰＵであったが、本実施の形態４では、多重化ビットストリームの不連続を検出するのは、ビットストリーム不連続検出手段１２０１とし、その情報を選択手段１０５，映像制御手段１０８，音声制御手段１０９に入力する構成としたものである。
【００８８】
以上のような構成とすることで本実施の形態４による同期再生装置は、外部ＣＰＵでは検出不可能な、多重化ビットストリーム内に内在しているビットストリーム不連続に対しても、適切なシステム制御が可能となる。
【００８９】
【発明の効果】
以上説明してきたように、本発明の同期再生装置によれば、起動動作時や通常動作時に、再生映像信号と再生音声信号の同期ずれが発生するような場合が生じても、適応的に同期再生方式をオーディオマスタ方式から他方式に切替えるようにしたので、いかなる場合であっても最適な映像フレームと音声フレームの復号化を行うことが可能となり、再生映像信号と再生音声信号の同期を保つことができる効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態１による同期再生装置の構成を示すブロック図である。
【図２】本実施の形態１による同期再生装置がシステム全体として作動する場合の、各システムの状態の遷移関係を示す図である。
【図３】本実施の形態１による同期再生装置の、起動状態（(a) ），通常状態（(b) ），通常状態において多重化ビットストリームに不連続が発生したとき（(c) ），リセット状態（(d) ）における、映像制御手段，音声制御手段，選択手段の処理内容を示した説明図である。
【図４】本実施の形態１による同期再生装置の音声制御手段の処理モードがスタートアップ処理（(a) ），メイン処理（(b) ）であるときの、その処理内容を示した説明図である。
【図５】本実施の形態１による同期再生装置の映像制御手段の処理モードがスタートアップ処理（(a) ），メイン処理（(b) ），シームレス処理（(c) ）であるときの、その処理内容を示した説明図である。
【図６】本実施の形態１による同期再生装置の、誤差許容範囲の設定値の例を示した図である。
【図７】本実施の形態１による同期再生装置の、起動状態における動作の例を示す説明図である。
【図８】本実施の形態１による同期再生装置の、通常状態において音声表示時刻に不連続が存在する場合の動作の例を示す説明図（(a) ），及び通常状態において映像表示時刻に不連続が存在する場合の動作の例を示す説明図（(b) ）である。
【図９】本実施の形態１による同期再生装置の、通常状態において多重化ビットストリームに不連続が発生したときの、入力データの例を示す説明図（(a) ），及びビットストリーム不連続発生状態における動作の、第１の過程の例を示す説明図（(b) ）である。
【図１０】本実施の形態１による同期再生装置の、通常状態において多重化ビットストリームに不連続が発生したときの、動作の第２の過程（(a) ），第３の過程（(b) ）の例を示す説明図を示す説明図である。
【図１１】本実施の形態２による同期再生装置の構成を示すブロック図である。
【図１２】本実施の形態３による同期再生装置の構成を示すブロック図である。
【図１３】本実施の形態４による同期再生装置の構成を示すブロック図である。
【図１４】従来の同期再生装置の、映像信号と音声信号の同期再生の仕組みの概念を示す説明図（(a) ），及び映像信号と音声信号に同期ずれが発生する場合の概念を示す説明図（(b) ）である。
【図１５】従来の同期再生装置の、再生音声信号に同期ずれが発生した場合の例を示す説明図（(a) ），及び再生音声信号に同期ずれが発生した場合に、再生音声信号を操作して同期ずれを解消する動作の例を示す説明図（(b) ），及びオーディオマスタ方式を用いて同期ずれを解消する動作の例を示す説明図（(c) ）である。
【図１６】オーディオマスタ方式を適用した従来の同期再生装置の、再生映像信号に同期ずれが発生した場合の例を示す説明図（(a) ），及び再生映像信号を操作して同期ずれを解消する動作の例を示す説明図（(b) ，(c) ，(d) ）である。
【図１７】本発明が解決しようとする第１の課題を示す説明図。
【図１８】本発明が解決しようとする第２の課題を示す説明図。
【図１９】本発明が解決しようとする第３の課題を示す説明図。
【図２０】本実施の形態１による同期再生装置の、再生映像信号に同期ずれが発生した場合の例を示す説明図（(a) ），及び再生映像信号を操作して同期ずれを解消する動作の例を示す説明図（(b) ，(c) ）である。
【符号の説明】
１０１ システム多重化分離手段、１０２ 映像信号復号化手段、１０３ 音声信号復号化手段、１０４ 内部時計、１０５ 選択手段、１０６ 映像表示時刻比較手段、１０７ 音声表示時刻比較手段、１０８ 映像制御手段、１０９ 音声制御手段、１１０ 多重化ビットストリーム、１１１ 映像ビットストリーム、１１２ 音声ビットストリーム、１１３ 映像表示時刻、１１４ 音声表示時刻、１１５ システム時刻、１１６ 再生映像信号、１１７ 再生音声信号、１１８ 映像表示時刻誤差、１１９，１２１ 制御信号、１２０ 音声表示時刻誤差、１００１ 映像表示時刻、１００２ 音声表示時刻、１１０１ 外部インタフェース、１１０２ 制御信号、１１０３ 外部からのコマンド、１２０１ ビットストリーム不連続検出手段、７０１，８０３，８０４，９０１，９０２，１３０１ 映像フレーム、１５０１〜１５０４，１６０２，１７０１〜１７０３，１８０１〜１８０３ 映像フレーム、７０２，７０３，８０１，８０２ 音声フレーム、９０３〜９０７，１６０１，１７０４，１７０５，１８０４，１８０５ 音声フレーム。
【発明の属する技術分野】
この発明は映像信号と音声信号とを同期させながら再生する同期再生装置に関し、特にデジタル符号化された映像信号，及び音声信号の各ビットストリームを復号化再生する際の同期再生装置に関するものである。
【０００２】
【従来の技術】
映像信号と音声信号とを同期させながら再生する同期再生装置においては、デジタル符号化された映像信号と音声信号にそれぞれの表示時刻のデータを付与してパケット化し、これらの多重化された情報は蓄積メディアや通信メディア等の伝送媒体に記録される。このような伝送媒体に記憶された多重化ビットストリームは復号化装置に伝送され、映像信号と音声信号に分離してそれぞれ復号化再生される。この再生時に映像信号と音声信号の同期をとることは必要不可欠であり、映画などにおける人物のセリフと口の動きの一致を指すリップシンクレベルの同期は、約１／１０秒以内の誤差に抑える必要があるといわれる。
【０００３】
動画像圧縮符号化の国際標準であるＭＰＥＧ規格等では上記のような同期をとるために、符号化装置には時刻基準となるシステム時計と、時間基準となるＳＣＲ(System Clock Reference)やＰＣＲ(Program Clock Reference) が設けられており、システム時計はこのＳＣＲやＰＣＲの値を参照することによって正しい時刻にセット・校正される。また、映像信号，及び音声信号の再生の基本単位である映像フレーム，及び音声フレームの表示を、いつすべきかを示す表示時刻であるＰＴＳ(Presentation Time Stamp) のデータがデジタル符号化された映像信号，及び音声信号の各ビットストリームに付与してパケット化されている。
【０００４】
復号化装置には符号化装置のシステム時計と同様に、時刻基準となる内部時計が設けられ、この内部時計の示す時刻が映像フレーム，及び音声フレームのそれぞれに付加された映像表示時刻，及び音声表示時刻と一致したとき、その映像フレーム，及び音声フレームを表示することにより、映像信号と音声信号の同期再生出力が可能となる。このような復号化装置の内部時計の周波数は、システム時計の周波数と同じ２７ＭＨｚでカウントアップされ、また、その内部時計を正しい時刻にセット・校正するための時間基準となるＳＣＲやＰＣＲのデータは、映像信号と音声信号の多重化ビットストリームと一緒に符号化装置から伝送媒体をへて復号化装置に伝送される。
【０００５】
図１４(a) は、映像信号と音声信号の同期再生の仕組みの概念を示す説明図である。図において、中段は復号化装置が有する内部時計を表し、右方向に進むにつれて時刻はカウントアップされる。上段と下段はそれぞれ再生映像信号，再生音声信号を表し、映像フレーム，音声フレームが時間軸にそって連続的に表示されていく状態を示している。また、映像フレームの表示周期は５，音声フレームの表示周期は４であり、各フレームの先頭に付いている数字はそのフレームに対応する表示時刻を示している。
【０００６】
このように、映像信号と音声信号の表示周波数、または符号化装置のシステム時計と復号化装置の内部時計の周波数が異なる場合、再生映像信号と再生音声信号の同期ずれが発生する可能性がある。また、復号化装置におけるシステムの構成方法によっては符号化装置の各周波数との一致がとれなくなり、結果として再生映像信号と再生音声信号の同期ずれが生じることになる。
【０００７】
例えば復号化装置において、映像信号の表示周波数がずれてしまった場合の例を図１４(b) に示す。この図は、復号化装置における映像信号の周波数が符号化装置における映像信号の周波数の５／６倍となり、映像フレームの表示周期が５から６にずれた場合の例を示している。その結果映像フレームと音声フレームの相対位置がずれていき、映像表示時刻が２０である音声フレームに比べて、映像表示時刻が２０である映像フレーム１３０１は時間４だけ遅れて表示され、再生映像信号と再生音声信号の同期ずれが発生している。
【０００８】
上記のように、復号化装置では映像フレーム，及び音声フレームのもつ映像表示時刻，及び音声表示時刻が内部時計の示す時刻と一致したときに、そのフレームを表示するようにしているので、映像信号と音声信号の同期を保った状態で復号化再生をすることができる。このとき、再生映像信号と再生音声信号の同期を保つには、映像フレーム，及び音声フレームのもつ映像表示時刻，及び音声表示時刻と内部時計の時刻との比較を行うことにより、映像表示時刻，及び音声表示時刻と内部時計の時刻とのずれを検出して、表示タイミングの補正を行う必要がある。
【０００９】
ここで、各音声フレームの音声表示時刻を内部時計の時刻に合わせて音声信号の復号化再生を操作すると、結果として一部の音声フレームが欠落して表示され、再生音声信号に不連続が発生する場合がある。この例を図１５に示す。図１５(a) は、各音声フレームのもつ音声表示時刻が内部時計の時刻とずれて、再生映像信号と再生音声信号に同期ずれが発生している場合の例を示す図である。ここで、図１５(b) に示すように、各音声フレームの音声表示時刻を内部時計に合わせることによって同期ずれを解消すると、連続する音声フレームの間に時間的不連続が発生して音声信号が滑らかに再生されず、結果として音質の劣化が生じることになる。この音質の劣化は人間の耳に知覚されやすい。
【００１０】
そこで、従来の復号化装置には、図１５(c) に示すような、再生音声信号の出力を重視する方法であるオーディオマスタ方式（例えば、特開平７−５０８１８号に開示）が適用されていた。この図に示すように、オーディオマスタ方式では、各音声フレームを表示すると同時に各音声フレームの音声表示時刻を用いて内部時計の時刻が更新されているので、連続する音声フレームの間に時間的不連続が発生することなく、音声信号が滑らかに再生出力されることになる。このとき各映像フレームの映像表示時刻は内部時計の時刻と比較され、その比較の結果により各映像フレームの表示を早めたり遅らせたりする操作を行っている。
【００１１】
このようなオーディオマスタ方式における映像フレームの表示の操作の例を図１６を用いて説明する。図１６(a) は、内部時計が各音声フレームの音声表示時刻を用いて更新され、映像表示時刻は内部時計の時刻とずれている状態を示している。まず、映像フレームの映像表示時刻から内部時計の時刻を引いて差分値を求め、この差分値と所定の範囲との比較をし、差分値が所定の範囲に収まらない場合に映像フレームの表示を早めたり遅らせたりする操作を行う。このような所定の範囲は、つまり再生映像信号と再生音声信号の同期ずれの許容範囲であり、例えば−５〜＋５と設定する。
【００１２】
図１６(a) より、内部時計の時刻２６において、映像フレーム１５０１の差分値は−６であり許容範囲−５〜＋５を越えている。差分値が−６であるということは、この映像フレーム１５０１を表示すべき時刻を大きく過ぎているということを示している。この場合、図１６(b) に示すように、映像フレーム１５０１は表示せず、その次の映像フレーム１５０２を表示する。
【００１３】
また、図１６(c) では、時刻１２において、映像フレーム１５０３の差分値は＋６であり許容範囲−５〜＋５を越えている。差分値が＋６であるということは、この映像フレーム１５０３を表示すべき時刻にまだ達していないということを示している。この場合、図１６(d) に示すように、映像フレーム１５０４の表示を再度行なう。
【００１４】
上記のようにして、オーディオマスタ方式を適用した復号化装置では、映像フレームの表示のみを操作して音声フレームの時間的連続性を保ちながら同期ずれを解消するようにしているので、音声の品質を落さずに再生映像信号と再生音声信号の同期が保たれることになる。
【００１５】
【発明が解決しようとする課題】
そこで、本発明が解決しようとする第１の課題を図１７を用いて説明する。図１７(a) ，図１７(b) は、オーディオマスタ方式を適用した復号化装置の起動状態におけるデータの開始部分が入力された場合の例を示す説明図である。図１７(a) に示すように、起動状態における音声フレームの音声表示時刻は０，映像フレームの映像表示時刻は１であり、このように音声表示時刻の方が映像表示時刻よりも早い場合は、映像信号と音声信号の同期再生が可能となり問題はない。
【００１６】
しかしながら、図１７(b) に示すように、起動状態において音声フレームの音声表示時刻（時刻５）の方が映像フレームの映像表示時刻（時刻０）よりも遅い場合は、最初の音声フレーム１６０１の音声表示時刻５から内部時計のカウントアップを開始するため、映像表示時刻０である映像フレーム１６０２の表示が飛ばされてしまい、映像信号の頭欠けが起きてしまうという問題点が生じる。
【００１７】
次に、本発明が解決しようとする第２の課題を図１８を用いて説明する。図１８(a) は、オーディオマスタ方式を適用した復号化装置の再生映像信号と再生音声信号が共に正常に出力されている通常状態において、音声表示時刻に時間的不連続が存在する場合の例を示す図である。この図において、映像フレームの表示周期は５，音声フレームの表示周期は４であり、音声フレーム１７０４と音声フレーム１７０５との間に時間飛びが発生している。このとき、図１８(b) に示すように、オーディオマスタ方式を適用した復号化装置では再生音声信号の時間的連続性を重視しているので、音声フレーム１７０５を表示すると同時にその音声表示時刻２０を用いて内部時計が更新され、映像フレーム１７０２を表示しようとするとその映像表示時刻と内部時計の時刻２３との差分値が−８となり許容範囲−５〜＋５を越えてしまう。そのため、映像フレーム１７０２の表示は飛ばされて次の映像フレーム１７０３が表示されるが、この映像フレーム１７０３は正確に同期がとれた状態ではない。
【００１８】
このように音声表示時刻に不連続が存在すると、映像フレームが欠落して映像フレームの滑らかな表示をすることができず、しかも欠落した映像フレームの次の映像フレームは正確な同期状態で再生できないという問題点が生じる。
【００１９】
さらに、本発明が解決しようとする第３の課題を図１９を用いて説明する。図１９(a) は、オーディオマスタ方式を適用した復号化装置の再生映像信号と再生音声信号が共に正常に出力されている通常状態において、トラックジャンプ等により多重化ビットストリームの入力データに時間的不連続が発生した場合の例を示す図である。この図において、映像フレームの表示周期は５，音声フレームの表示周期は４であり、映像フレーム１８０１と映像フレーム１８０２、また、音声フレーム１８０４と音声フレーム１８０５の間に時間飛びが発生している。このとき、図１９(b) に示すように、復号化装置にオーディオマスタ方式を適用せず、再生映像信号の連続性を重視して映像フレームの表示をすると、シーンチェンジと同様の効果を得ることができ問題はない。
【００２０】
しかしながら、図１９(c) に示すように、オーディオマスタ方式を適用した復号化装置では映像フレーム１８０２を表示する際、内部時計は音声フレーム１８０５の表示時刻２４で更新されているので、映像フレーム１８０２の映像表示時刻２０と内部時計の時刻１０との差分値が＋１０となり、許容範囲を越えてしまい映像フレーム１８０１の表示が再度行なわれる。次に映像フレーム１８０２を表示しようとするが、今度はその映像表示時刻２０と内部時計の時刻２７との差分値が−７となり、許容範囲を越えてしまうため映像フレーム１８０２の表示は飛ばされ次の映像フレーム１８０３が表示される。しかもこの映像フレーム１８０３は正確に同期がとれた状態ではない。
【００２１】
このように通常状態において、トラックジャンプ等のため多重化ビットストリームに時間的不連続が発生した場合、オーディオマスタ方式を適用した復号化装置では映像フレームが欠落して映像フレームの滑らかな表示をすることができず、しかも欠落した映像フレームの次の映像フレームは正確な同期状態で再生できないという問題点が生じる。
【００２２】
本発明は上記の問題に鑑みてなされたものであり、起動動作時や通常動作時に、映像表示時刻や音声表示時刻に時間的不連続が発生するいかなる場合においても、それぞれの場合に応じて最適な映像フレームと音声フレームの表示が行われて映像信号と音声信号の同期再生が可能となる、同期再生装置を提供することを目的とする。
【００２３】
【課題を解決するための手段】
上記課題を解決するために、本発明の請求項１にかかる発明は、再生映像信号の基本単位である映像フレームを符号化した映像符号化データと、該映像フレームの再生映像信号を出力すべき時刻を示す映像表示時刻のデータと、再生音声信号の基本単位である音声フレームを符号化した音声符号化データと、該音声フレームの再生音声信号を出力すべき時刻を示す音声表示時刻のデータと、システム時刻のデータと、がパケット化された多重化ビットストリームを入力とし、上記多重化ビットストリームから上記映像符号化データ，上記音声符号化データ，上記映像表示時刻データ，上記音声表示時刻データ，上記システム時刻データを分離するシステム多重化分離手段と、上記映像符号化データを復号化し、再生映像信号を得る映像信号復号化手段と、上記音声符号化データを復号化し、再生音声信号を得る音声信号復号化手段とを備え、映像信号と音声信号を同期させながら再生する同期再生装置であって、再生映像信号と再生音声信号の出力を開始する起動動作時は、上記システム多重化分離手段により上記多重化ビットストリームから分離された上記システム時刻を選択し、起動動作の後の、再生映像信号と再生音声信号の出力を連続的に行う通常動作時は、上記システム多重化分離手段により上記多重化ビットストリームから分離された上記音声表示時刻を選択する選択手段と、上記起動動作時には、上記選択手段が出力する上記システム時刻を参照して自身の時刻を設定し、上記通常動作時には、上記選択手段が出力する上記音声表示時刻を参照して自身の時刻を設定し、連続した基準時刻を発生する内部時計と、上記起動動作時，及び上記通常動作時には、上記映像表示時刻と上記内部時計の時刻との差分値を求め、該差分値を映像表示時刻誤差として出力する映像表示時刻比較手段と、上記起動動作時，及び上記通常動作時には、上記音声表示時刻と上記内部時計の時刻との差分値を求め、該差分値を音声表示時刻誤差として出力する音声表示時刻比較手段と、上記起動動作時には、上記映像表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＶＳ）〜ＴＨｍａｘ（ＶＳ）内に収まったときに、上記再生映像信号の出力を開始するよう、上記映像信号復号化手段を制御し、上記通常動作時には、上記映像表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＶＭ）〜ＴＨｍａｘ（ＶＭ）内に収まるように、上記再生映像信号の出力を早めるか，遅らせるかして、上記映像信号復号化手段を制御する映像制御手段と、上記起動動作時には、上記音声表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＡＳ）〜ＴＨｍａｘ（ＡＳ）内に収まったときに、上記再生音声信号の出力を開始するよう、上記音声信号復号化手段を制御し、上記通常動作時には、上記音声表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＡＭ）〜ＴＨｍａｘ（ＡＭ）内に収まるように、上記再生音声信号の出力を早めるか，遅らせるかして、上記音声信号復号化手段を制御する音声制御手段と、を具備することを特徴とするものである。
【００２４】
また、本発明の請求項２にかかる同期再生装置は、請求項１記載の同期再生装置において、上記映像制御手段は、上記起動動作時には、上記映像表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＶＳ）〜ＴＨｍａｘ（ＶＳ）内に収まったときに、上記再生映像信号の出力を開始するよう、上記映像信号復号化手段を制御し、上記通常動作時には、上記映像表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＶＭ）〜ＴＨｍａｘ（ＶＭ）内に収まっているかを監視し、その範囲を越えた場合、所定の範囲ＴＨｍｉｎ（ＶＳ）〜ＴＨｍａｘ（ＶＳ）内に収まるように、上記再生映像信号の出力を早めるか，遅らせるかして、上記映像信号復号化手段を制御するものであり、上記音声制御手段は、上記起動動作時には、上記音声表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＡＳ）〜ＴＨｍａｘ（ＡＳ）内に収まったときに、上記再生音声信号の出力を開始するよう、上記音声信号復号化手段を制御し、上記通常動作時には、上記音声表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＡＭ）〜ＴＨｍａｘ（ＡＭ）内に収まっているかを監視し、その範囲を越えた場合、所定の範囲ＴＨｍｉｎ（ＡＳ）〜ＴＨｍａｘ（ＡＳ）内に収まるように、上記再生音声信号の出力を早めるか，遅らせるかして、上記音声信号復号化手段を制御するものであることを特徴とするものである。
【００２５】
また、本発明の請求項３にかかる同期再生装置は、請求項１，又は２記載の同期再生装置において、上記選択手段は、上記通常動作時において上記多重化ビットストリームに時間的不連続が発生する時には、上記通常動作に復帰するまでの間、上記システム多重化分離手段により上記多重化ビットストリームから分離された映像表示時刻を選択するものであり、上記内部時計は、上記多重化ビットストリームの不連続発生時には、上記選択手段の出力する映像表示時刻を参照して自身の時刻を設定し、連続した基準時刻を発生するものであり、上記映像表示時刻比較手段は、上記多重化ビットストリームの不連続発生時には、上記映像表示時刻と上記内部時計の時刻との差分値を求め、該差分値を映像表示時刻誤差として出力するものであり、上記音声表示時刻比較手段は、上記多重化ビットストリームの不連続発生時には、上記音声表示時刻と上記内部時計の時刻との差分値を求め、該差分値を音声表示時刻誤差として出力するものであり、上記映像制御手段は、上記多重化ビットストリームの不連続発生時には、上記映像表示時刻誤差の値にかかわらず、上記再生映像信号を欠落なく出力するよう、上記映像信号復号化手段を制御し、上記映像表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＶＬ）〜ＴＨｍａｘ（ＶＬ）を超えるときは、上記再生音声信号の出力を開始するよう、上記音声信号復号化手段を起動制御し、上記再生音声信号の出力が開始された時点で、上記映像制御手段は上記通常動作時の制御に復帰するものであり、上記音声制御手段は、上記多重化ビットストリームの不連続発生時には、上記再生音声信号の出力を停止するよう、上記音声信号復号化手段をリセット制御し、上記映像制御手段が上記音声信号復号化手段を起動制御した後、上記音声表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＡＳ）〜ＴＨｍａｘ（ＡＳ）内になったときに、上記再生音声信号の出力を開始するよう、上記音声復号化手段を制御し、上記再生音声信号の出力が開始された時点で、上記通常動作時の制御に復帰するものであることを特徴とするものである。
【００２６】
また、本発明の請求項４にかかる同期再生装置は、請求項１ないし３のいずれかに記載の同期再生装置において、上記映像信号復号化手段は、上記映像符号化データを復号化し、再生映像信号を得るとともに、上記映像表示時刻を出力するものであり、上記音声信号復号化手段は、上記音声符号化データを復号化し、再生音声信号を得るとともに、上記音声表示時刻を出力するものであることを特徴とするものである。
【００２７】
また、本発明の請求項５にかかる同期再生装置は、請求項１ないし４のいずれかに記載の同期再生装置において、外部からの起動要求の情報，及びリセット要求の情報，及び多重化ビットストリームの時間的不連続発生の情報を、上記選択手段と上記映像制御手段と上記音声制御手段と、に通知する外部インタフェースを具備することを特徴とするものである。
【００２８】
また、本発明の請求項６にかかる同期再生装置は、請求項１ないし５のいずれかに記載の同期再生装置において、外部からの起動要求の情報，及びリセット要求の情報を、上記選択手段と上記映像制御手段と上記音声制御手段と、に通知する外部インタフェースと、多重化ビットストリームの時間的不連続発生を検出し、その情報を上記選択手段と上記映像制御手段と上記音声制御手段と、に通知するビットストリーム検出手段と、を具備することを特徴とするものである。
【００２９】
【発明の実施の形態】
実施の形態１．
本発明の実施の形態１による同期再生装置について、図面を参照しながら説明する。
図１は、本実施の形態１による同期再生装置の構成を示すブロック図である。
【００３０】
図１に示されるように、本同期再生装置には再生映像信号の基本単位である映像フレームを符号化した映像ビットストリームと、映像フレームの再生映像信号を出力すべき時刻を示す映像表示時刻のデータと、再生音声信号の基本単位である音声フレームを符号化した音声ビットストリームと、音声フレームの再生音声信号を出力すべき時刻を示す音声表示時刻のデータと、システム時刻のデータと、がパケット化された多重化ビットストリーム１１０が入力されている。
【００３１】
図において、システム多重化分離手段１０１は多重化ビットストリーム１１０を入力とし、多重化ビットストリーム１１０から映像ビットストリーム１１１，音声ビットストリーム１１２，映像表示時刻のデータ１１３，音声表示時刻のデータ１１４，システム時刻のデータ１１５を分離して、それぞれのデータを出力としている。
映像信号復号化手段１０２は、システム多重化分離手段１０１により多重化ビットストリーム１１０から分離された映像ビットストリーム１１１の復号化処理を行ない、映像制御手段１０８からの制御信号１１９に従って表示すべき映像フレームの再生映像信号１１６を出力する。また、映像制御手段１０８からのリセット制御により映像ビットストリーム１１１の復号化処理を停止して初期状態となり、映像制御手段１０８からの起動制御により映像ビットストリーム１１１の復号化処理を開始する。
音声信号復号化手段１０３は、システム多重化分離手段１０１により多重化ビットストリーム１１０から分離された音声ビットストリーム１１２の復号化処理を行ない、音声制御手段１０９からの制御信号１２１に従って表示すべき音声フレームの再生音声信号１１７を出力する。また、音声制御手段１０９からのリセット制御により音声ビットストリーム１１２の復号化処理を停止して初期状態となり、映像制御手段１０８，及び音声制御手段１０９からの起動制御により音声ビットストリーム１１２の復号化処理を開始する。
内部時計１０４は、所定の周期でカウントアップを行ない、選択手段１０５が選択したシステム時刻１１５，映像表示時刻１１３，音声表示時刻１１４のいずれかを参照して自身の時刻を設定し、連続した基準時刻を発生する。
選択手段１０５は、後述の本同期再生装置がシステム全体として作動する４つの各状態に応じて、システム多重化分離手段１０１により多重化ビットストリーム１１０から分離されたシステム時刻１１５，映像表示時刻１１３，音声表示時刻１１４のいずれかを適応的に選択し、それを用いて内部時計１０４を更新する。
映像表示時刻比較手段１０６は、システム多重化分離手段１０１により多重化ビットストリーム１１０から分離された映像表示時刻１１３から、内部時計１０４の時刻を引いた差分値を計算し、映像表示時刻誤差１１８として出力する。
音声表示時刻比較手段１０７は、システム多重化分離手段１０１により多重化ビットストリーム１１０から分離された音声表示時刻１１４から、内部時計１０４の時刻を引いた差分値を計算し、音声表示時刻誤差１２０として出力する。
映像制御手段１０８は、映像表示時刻誤差１１８と後述する所定の誤差許容範囲との比較を行い、その結果に基づいて映像信号復号化手段１０２を制御する信号１１９を出力する。また、映像信号復号化手段１０２のリセット制御を行い、映像信号復号化手段１０２，及び音声信号復号化手段１０３の起動制御も行う。
音声制御手段１０９は、音声表示時刻誤差１２０と所定の誤差許容範囲との比較を行い、その結果に基づいて音声信号復号化手段１０３を制御する信号１２１を出力する。また、音声信号復号化手段１０３のリセット制御，及び起動制御も行う。
【００３２】
次に、本実施の形態１による映像信号と音声信号の同期再生装置がシステム全体として作動する状態について、図２を参照しながら説明する。
図２は、本実施の形態１の同期再生装置がシステム全体として作動する４つの状態の遷移関係を示す説明図である。起動状態は、映像ビットストリーム１１１と音声ビットストリーム１１２の復号化処理が始まった状態である。再生映像信号１１６と再生音声信号１１７の出力がともに開始するまではこの状態に留まるが、再生映像信号１１６と再生音声信号１１７の出力がともに開始されると、システムは起動状態から通常状態に遷移する。
【００３３】
通常状態は、再生映像信号１１６と再生音声信号１１７がともに正常に出力されている状態である。正常に出力されている状態とは、再生映像信号１１６と再生音声信号１１７の同期がとれており、連続的に映像フレームと音声フレームの出力を行っている状態のことである。この通常動作時に多重化ビットストリーム１１０の時間的不連続が発生すると、システムは通常状態からビットストリーム不連続発生状態に遷移する。
【００３４】
ビットストリーム不連続発生状態は、通常状態において多重化ビットストリーム１１０に時間的不連続が発生したことにより、システムが通常状態からこのビットストリーム不連続発生状態に遷移して、映像信号と音声信号の同期回復のための復帰処理が行われている状態である。そして映像信号と音声信号の同期が回復して、再生映像信号１１６と再生音声信号１１７がともに正常に出力され始めると、システムはビットストリーム不連続発生状態から通常状態に復帰する。
【００３５】
リセット状態は、映像ビットストリーム１１１と音声ビットストリーム１１２の復号化がともに停止して初期状態に戻った状態である。通常状態においてリセット要求が発生した場合、システムは通常状態からリセット状態に遷移する。そして次の起動要求が発生すると、システムはリセット状態から起動状態に遷移する。
【００３６】
以上説明したシステムの各状態のそれぞれに対応した、映像制御手段と音声制御手段と選択手段の処理内容について、図３を用いて説明する。
まず、上述のシステムの各状態に応じて、映像制御手段と音声制御手段がそれぞれ適応的に使い分ける４つの処理モードについて、図３を参照しながら説明する。図３(a) は、起動状態における映像制御手段，音声制御手段，選択手段の処理モードを示す説明図である。このように起動状態においては、映像制御手段１０８と音声制御手段１０９はともにスタートアップ処理を行う。再生映像信号１１６の出力が開始すると、映像制御手段１０８の処理モードはメイン処理に移行し、再生音声信号１１７の出力が開始すると、音声制御手段１０９の処理モードはメイン処理に移行する。
【００３７】
図３(b) は、通常状態における映像制御手段，音声制御手段，選択手段の処理モードを示す説明図である。このように通常状態においては、基本的に映像制御手段１０８と音声制御手段１０９はメイン処理を行う。音声表示時刻誤差１２０が後述の所定の誤差許容範囲ＴＨｍｉｎ（ＡＭ）〜ＴＨｍａｘ（ＡＭ）内に収まらない場合は、次の再生音声信号１１７の出力が開始されるまでの間、音声制御手段１０９の処理モードは一時的にスタートアップ処理に移行する。そして再生映像信号１１６と再生音声信号１１７の同期がとれて連続的に映像フレームと音声フレームの出力を行うことができるような正常状態に回復すると、音声制御手段１０９の処理モードはメイン処理に復帰する。
映像表示時刻誤差１１８が後述の所定の誤差許容範囲ＴＨｍｉｎ（ＶＭ）〜ＴＨｍａｘ（ＶＭ）内に収まらない場合は、次の再生映像信号１１６の出力が開始されるまでの間、映像制御手段１０８の処理モードは一時的にスタートアップ処理２に移行する場合がある。ただし、映像制御手段１０８の処理モードはスタートアップ処理２に移行せずメイン処理のままである場合もある。そして再生映像信号１１６と再生音声信号１１７の同期がとれて連続的に映像フレームと音声フレームの出力を行うことができるような正常状態に回復すると、映像制御手段１０８の処理モードもメイン処理に復帰する。
【００３８】
図３(c) は、通常状態において多重化ビットストリームに時間的不連続が発生したときの、映像制御手段，音声制御手段，選択手段の処理モードを示す説明図である。このようにビットストリーム不連続発生状態においては、映像制御手段１０８はシームレス処理を行い、音声制御手段１０９は待機している。音声信号復号化手段１０３が起動すると、映像制御手段１０８の処理モードはメイン処理に移行し、また、音声制御手段１０９の処理モードはスタートアップ処理に移行する。なお、図３(c) には示していないが、再生映像信号１１６と再生音声信号１１７の同期がとれて連続的に映像フレームと音声フレームの出力を行うことができるような正常状態に回復すると、音声制御手段１０９の処理モードはメイン処理に復帰する。
【００３９】
図３(d) は、リセット状態における映像制御手段，音声制御手段，選択手段の処理モードを示す説明図である。このようにリセット状態においては、映像制御手段１０８と音声制御手段１０９はともにリセット処理を行う。
【００４０】
次に、システムの各状態に応じて、選択手段が選択する時刻について図３を用いて説明する。選択手段１０５は、本実施の形態１による同期再生装置がとる４つのシステムの状態のそれぞれに対応して、適応的にシステム時刻，映像表示時刻，音声表示時刻のいずれか１つを選択する。そしてその時刻を用いて内部時計１０４を更新する。ただし音声表示時刻１１４が選択された場合は、音声表示時刻比較手段１０７が音声表示時刻１１４と内部時計１０４の時刻との差分値を求め、その結果出力された音声表示時刻誤差１２０が後述する所定の誤差許容範囲内に収まっている場合にのみ、内部時計１０４の更新を行う。
【００４１】
起動状態における選択手段１０５は、図３(a) に示すように、システム時刻１１５を選択する。
通常状態における選択手段１０５は、図３(b) に示すように、基本的に音声表示時刻１１４を選択する。ただし音声表示時刻誤差１２０が後述する所定の誤差許容範囲ＴＨｍｉｎ（ＡＭ）〜ＴＨｍａｘ（ＡＭ）内に収まらない場合は、内部時計１０４の更新を行わない。なお、音声制御手段１０９の処理モードがスタートアップ処理からメイン処理に遷移するまでの間、一時的に内部時計１０４の更新を停止する。
通常状態においてビットストリームに不連続が発生したときは、図３(c) に示すように、選択手段１０５は映像表示時刻１１３を選択する。
リセット状態においては、図３(d) に示すように、選択手段１０５は内部時計１０４の更新は行っても行わなくてもよい。
【００４２】
さらに、本実施の形態１の同期再生装置における映像制御手段，音声制御手段，選択手段の詳細な動作について説明する。
まず、映像制御手段の動作について図４を用いて説明する。図４(a) は、音声制御手段の処理モードがスタートアップ処理であるときの処理内容を示す説明図である。音声表示時刻誤差１２０と所定の誤差許容範囲ＴＨｍｉｎ（ＡＳ）〜ＴＨｍａｘ（ＡＳ）との比較の結果に基づいて、音声制御手段１０９は図４(a) に示すような制御信号１２１を音声信号復号化手段１０３に対して出力する。
比較の結果、音声表示時刻誤差１２０がＴＨｍｉｎ（ＡＳ）〜ＴＨｍａｘ（ＡＳ）範囲内にある場合は、音声制御手段１０９は音声信号復号化手段１０３に対してその音声フレームを「表示せよ」という指示を与える制御信号１２１を出力する。音声表示時刻誤差１２０が誤差許容範囲の下限ＴＨｍｉｎ（ＡＳ）を下回る場合はその音声フレームを表示すべき時刻をすでに過ぎていると判断し、音声制御手段１０９は音声信号復号化手段１０３に対してその音声フレームの「表示を飛ばせ」という指示を与える制御信号１２１を出力する。音声表示時刻誤差１２０が誤差許容範囲の上限ＴＨｍａｘ（ＡＳ）を上回る場合には、その音声フレームを表示すべき時刻にはまだ達していないと判断し、音声制御手段１０９は音声信号復号化手段１０３に対してその音声フレームの「表示を待て」という指示を与える制御信号１２１を出力する。
【００４３】
図４(b) は、音声制御手段の処理モードがメイン処理であるときの処理内容を示す説明図である。音声表示時刻誤差１２０と所定の誤差許容範囲ＴＨｍｉｎ（ＡＭ）〜ＴＨｍａｘ（ＡＭ）との比較の結果に基づいて、音声制御手段１０９は制御信号１２１を音声信号復号化手段１０３に対して出力する。その処理内容は、音声制御手段１０９の処理モードがスタートアップ処理であるとき（図４(a) 参照）と同じであるが、誤差許容範囲ＴＨｍｉｎ（ＡＭ）〜ＴＨｍａｘ（ＡＭ）の値に異なる値を用いている（図６参照）。これは以下の理由による。スタートアップ処理が行われるのは、主に起動動作時において再生開始のタイミングを合わせるときであるので、比較的高い比較精度が要求される。それに対しメイン処理が行われるのは、主に通常動作時において音声表示時刻の時間的不連続を検出するときであるので、あまり高い比較精度は要求されない。逆に誤差許容範囲を狭めすぎると不必要な補正を行ってしまうことになるため、若干の余裕を持たせる方が効果的である。そのためスタートアップ処理とメイン処理の誤差許容範囲には（数１）の関係が満たされている。
【００４４】
図５(a) は、映像制御手段１０８の処理モードがスタートアップ処理であるときの処理内容を示す図である。映像表示時刻誤差１１８と所定の誤差許容範囲ＴＨｍｉｎ（ＶＳ）〜ＴＨｍａｘ（ＶＳ）との比較の結果に基づいて、映像制御手段１０８は制御信号１１９を映像信号復号化手段１０２に対して出力する。その処理内容は、音声制御手段１０９の処理モードがスタートアップ処理であるとき（図４(a) 参照）と同じであるが、誤差許容範囲ＴＨｍｉｎ（ＶＳ）〜ＴＨｍａｘ（ＶＳ）の値に音声制御手段１０９の場合とは異なる値を用いている（図６参照）。
【００４５】
図５(b) は、映像制御手段１０８の処理モードがメイン処理であるときの処理内容を示す説明図である。映像表示時刻誤差１１８と所定の誤差許容範囲ＴＨｍｉｎ（ＶＭ）〜ＴＨｍａｘ（ＶＭ）との比較の結果に基づいて、映像制御手段１０８は制御信号１１９を映像信号復号化手段１０２に対して出力する。
比較の結果、映像表示時刻誤差１１８がＴＨｍｉｎ（ＶＭ）〜ＴＨｍａｘ（ＶＭ）範囲内にある場合は、映像制御手段１０８は映像信号復号化手段１０２に対して、その映像フレームを「表示せよ」という指示を与える制御信号１１９を出力する。映像表示時刻誤差１１８が誤差許容範囲の下限ＴＨｍｉｎ（ＶＭ）を下回る場合は、その映像フレームを表示すべき時刻をすでに過ぎていると判断し、映像制御手段１０８は映像信号復号化手段１０２に対して、その映像フレームの「表示を飛ばせ」という指示と次の映像フレームの「表示せよ」という指示を、同時に与える制御信号１１９を出力する。映像表示時刻誤差１１８が誤差許容範囲の上限ＴＨｍａｘ（ＶＭ）を上回る場合には、その映像フレームを表示すべき時刻にはまだ達していないと判断し、映像制御手段１０８は映像信号復号化手段１０２に対して、その映像フレームの「表示を待て」という指示と前の映像フレームの「表示せよ」という指示を、同時に与える制御信号１１９を出力する。
【００４６】
図５(c) は、映像制御手段１０８の処理モードがシームレス処理であるときの処理内容を示す説明図である。映像表示時刻誤差１１８と所定の許容誤差範囲ＴＨｍｉｎ（ＶＬ）〜ＴＨｍａｘ（ＶＬ）との比較の結果に基づいて、映像制御手段１０８は制御信号１１９を映像信号復号化手段１０２へ出力する。その処理内容は、比較の結果によらず映像フレームを「表示せよ」という指示を与えるものである。また、映像制御手段１０８は制御信号１１９を音声信号復号化手段１０３へも出力する。その処理内容は、映像表示時刻誤差１１８が許容誤差範囲ＴＨｍｉｎ（ＶＬ）〜ＴＨｍａｘ（ＶＬ）内にない場合にのみ、音声信号復号化手段１０３の起動制御を行うというものである。
【００４７】
図５(d) は、映像制御手段１０８の処理モードがスタートアップ処理２であるときの処理内容を示す図である。映像表示時刻誤差１１８と所定の許容誤差範囲ＴＨｍｉｎ（ＶＳ2 ）〜ＴＨｍａｘ（ＶＳ2 ）との比較の結果に基づいて、映像制御手段１０８は制御信号１１９を映像信号復号化手段１０２へ出力する。その処理内容は、映像制御手段１０８の処理モードがスタートアップ処理であるとき（図５(a) 参照）と同じであるが、誤差許容範囲ＴＨｍｉｎ（ＶＳ2 ）〜ＴＨｍａｘ（ＶＳ2 ）の値にスタートアップ処理の場合とは異なる値を用いている（図６参照）。
【００４８】
映像制御手段１０８の処理モードがリセット処理であるときの処理内容は図示しないが、映像信号復号化手段１０２にリセット信号を送るというものである。
【００４９】
音声制御手段１０９の処理モードがリセット処理であるときの処理内容は図示しないが、音声信号復号化手段１０３にリセット信号を送るというものである。
【００５０】
上記のように構成された本実施の形態１による同期再生装置の、システムの各状態のそれぞれに対応した詳細な動作について図を参照しながら説明する。なお、以下の説明に共通して映像フレームの表示周期は５，音声フレームの表示周期は４とし、映像表示時刻誤差１１８，及び音声表示時刻誤差１２０と比較される誤差許容範囲には、図６(a) ，(b) に示す設定値の例を用いている。
【００５１】
まず、起動状態における同期再生装置の動作について図７を用いて説明する。図において、上から順に映像制御手段１０８の処理モード，映像復号化手段１０２の出力する再生映像信号１１６，内部時計１０４の時刻，音声復号化手段１０３の出力する再生音声信号１１７，音声制御手段１０９の処理モードを表している。このように起動状態においては、図３(a) より、映像制御手段１０８と音声制御手段１０９はともにスタートアップ処理を行い、選択手段１０５はシステム時刻１１５を選択する。
【００５２】
図７に示すように、まず内部時計１０４の時刻が選択手段１０５の選択したシステム時刻１１５により０にセットされる。時刻０において、映像フレーム７０１の映像表示時刻誤差は３、音声フレーム７０２の音声表示時刻誤差は５となり、図４(a) ，図５(a) ，図６(a) より、どちらも誤差許容範囲の上限を越えており、映像フレーム７０１と音声フレーム７０２はともに表示するのを待たされる。時刻１，時刻２においても同様である。
【００５３】
時刻３において、映像フレーム７０１の映像表示時刻誤差１１８が０となり、誤差許容範囲ＴＨｍｉｎ（ＶＳ）〜ＴＨｍａｘ（ＶＳ）内に入るため、映像フレーム７０１の再生映像信号１１６の出力が開始され、映像制御手段１０８の処理モードはメイン処理に移行する。
時刻５において、音声フレーム７０２の音声表示時刻誤差１２０が０となり、誤差許容範囲ＴＨｍｉｎ（ＡＳ）〜ＴＨｍａｘ（ＡＳ）内に入るため、音声フレーム７０２の再生音声信号１１７の出力が開始される。この時刻５の時点で、再生映像信号１１６と再生音声信号１１７が共に出力されることになり、図２より、システムの状態は起動状態から通常状態へ遷移する。通常状態においては図３(b) より、映像制御手段１０８と音声制御手段１０９はともにメイン処理を行い、選択手段１０５は音声表示時刻１１４を選択する。よって、内部時計１０４の時刻は音声フレーム７０３以降の各音声フレームの音声表示時刻を用いて更新される。
【００５４】
上記のような処理を行うことで本実施の形態１による同期再生装置は、起動動作時において、映像フレームの頭欠けを起こすことなく、映像信号と音声信号の同期再生を開始することが可能となる。
【００５５】
次に、通常状態における同期再生装置の動作について、図１６，図８を用いて説明する。
通常状態では、図３(b) より、映像制御手段１０８と音声制御手段１０９は共にメイン処理を行い、選択手段１０５は音声表示時刻１１４を選択する。
【００５６】
まず、通常状態において、再生映像信号と再生音声信号に同期ずれが発生した場合の同期再生装置の動作の例について、図１６を用いて説明する。
図１６(a) ，(b) について説明する。図１６(a) において、映像フレーム１５０１の映像表示時刻誤差１１８は−６であり、図５(b) ，図６(a) より、誤差許容範囲の下限ＴＨｍｉｎ（ＶＭ）を下回っている。よって、映像フレーム１５０１の表示は飛ばされ、図１６(b) に示すように、次の映像フレーム１５０２が表示される。
【００５７】
図１６(c) ，(d) について説明する。図１６(c) において、映像フレーム１５０３の映像表示時刻誤差１１８は＋６であり、図５(b) ，図６(a) より、誤差許容範囲の上限ＴＨｍａｘ（ＶＭ）を上回っている。よって、映像フレーム１５０３の表示は待たされ、図１６(d) に示すように、その直前に表示された映像フレーム１５０４が引き続き表示される。時刻１６で、映像フレーム１５０３の映像表示時刻誤差１１８は＋２となり誤差許容範囲ＴＨｍｉｎ（ＶＭ）〜ＴＨｍａｘ（ＶＭ）内に収まるため、今度は映像フレーム１５０３がそのまま表示される。
【００５８】
上記のような処理を行うことで本実施の形態１による同期再生装置は、通常動作時において、再生映像信号と再生音声信号に同期ずれが発生しても、映像信号と音声信号の同期再生を回復することが可能となる。
【００５９】
なお、上記図１６に示した実施例は、映像表示時刻誤差１１８が誤差許容範囲ＴＨｍｉｎ（ＶＭ）〜ＴＨｍａｘ（ＶＭ）を超過したとき、映像制御手段１０８の処理モードがメイン処理のままである場合についての実施の形態であった。しかしながら映像表示時刻誤差１１８が誤差許容範囲を超過するとき、図３(b) に示すように、映像制御手段１０８の処理モードがメイン処理のままである必要は必ずしもなく、スタートアップ処理２に移行してもよい。スタートアップ処理２に移行する場合の実施例について、図２０を用いて以下に説明する。
【００６０】
図２０において、誤差許容範囲ＴＨｍｉｎ（ＶＭ）〜ＴＨｍａｘ（ＶＭ）とＴＨｍｉｎ（ＶＳ）〜ＴＨｍａｘ（ＶＳ）には、図６(b) に示す値を用いており、ＴＨｍｉｎ（ＶＭ）〜ＴＨｍａｘ（ＶＭ）の数値は−９〜＋９、ＴＨｍｉｎ（ＶＳ）〜ＴＨｍａｘ（ＶＳ）の数値は−２．５〜＋２．５である。つまり、図６(a) に示す値を用いた誤差許容範囲よりも、若干余裕を持たせた範囲となるように、図２０の実施例における誤差許容範囲の数値は設定されている。
【００６１】
時刻３０において、映像フレーム２００１の映像表示時刻誤差１１８は−１０であり、誤差許容範囲の下限ＴＨｍｉｎ（ＶＭ）の−９を下回っている。よって、図５(d) より、映像フレーム２００１の表示は飛ばされ、図２０(b) に示すように、次の映像フレーム２００２が表示される。映像制御手段１０８の処理モードは、映像フレーム２００２の表示と同時に、メイン処理からスタートアップ処理２に移行する（図３(b) 参照）。
【００６２】
時刻３４において、映像フレーム２００３の映像表示時刻誤差１１８は−４となり、スタートアップ処理２における誤差許容範囲ＴＨｍｉｎ（ＶＳ）の−２．５を下回っている。よって、図５(d) より、映像フレーム２００３の表示は飛ばされる。
次の映像フレーム２００４の映像表示時刻誤差１１８は＋１となり、誤差許容範囲ＴＨｍｉｎ（ＶＳ）〜ＴＨｍａｘ（ＶＳ）内に入るため、図２０(c) に示すように、映像フレーム２００４が表示される。そして、映像制御手段１０８の処理モードは、図３(b) に示すように、メイン処理に移行する。
ここで、映像表示時刻誤差１１８が誤差許容範囲ＴＨｍｉｎ（ＶＭ）〜ＴＨｍａｘ（ＶＭ）を超過したときに、なぜ映像制御手段１０８の処理モードをスタートアップ処理２に移行させるかの理由について説明する。映像フレーム２００３を表示しようとするとき、映像制御手段１０８の処理モードがメイン処理のままであれば、映像表示時刻誤差１１８は−４であるので、誤差許容範囲ＴＨｍｉｎ（ＶＭ）〜ＴＨｍａｘ（ＶＭ）内に入り、映像フレーム２００３を表示することができる。しかしながら、映像表示時刻誤差１１８が−４であるというのは、映像信号と音声信号の同期再生が正確に回復したとはいいがたい。そこで、同期ずれ検出時（映像フレーム２００１を表示しようとするとき）の誤差許容範囲ＴＨｍｉｎ（ＶＭ）〜ＴＨｍａｘ（ＶＭ）よりも、狭い誤差許容範囲ＴＨｍｉｎ（ＶＳ）〜ＴＨｍａｘ（ＶＳ）を用いることにより、映像表示時刻誤差１１８が−４である映像フレーム２００３の表示は飛ばされ、映像表示時刻誤差１１８が＋１である映像フレーム２００４の表示が行われ、つまり、映像信号と音声信号の同期再生の精度を高めることができる。
【００６３】
上記のように、本実施の形態１による同期再生装置は、映像信号と音声信号の同期再生を回復した後、一時的に起動状態での同期補正動作を行うことにより、映像信号と音声信号のより精度の高い同期再生が可能となる。
【００６４】
次に、通常状態において、映像表示時刻と音声表示時刻のいずれかに時間的不連続が発生した場合の同期再生装置の動作の例について、図８を用いて説明する。図８(a) は、通常状態において、音声表示時刻１１４に時間的不連続が存在する場合の、同期再生装置の動作の例を示す図である。このように、連続する音声フレーム８０１と音声フレーム８０２との間に時間飛びが存在している。時刻３２までは、図３(b) より、映像制御手段１０８と音声制御手段１０９は共にメイン処理を行っており、再生映像信号と再生音声信号は共に通常状態での連続出力中である。また、選択手段１０５は音声表示時刻１１４を選択している。
【００６５】
時刻３２において、次の音声フレーム８０２の再生音声信号を出力しようとするが、音声フレーム８０２の音声表示時刻誤差１２０は＋８であり、図４(b) ，図６(a) より、許容範囲の上限ＴＨｍａｘ（ＡＭ）を上回る。よって、時刻３２では、音声フレーム８０２の表示は待たされると同時に、図３(b) より、音声制御手段１０９はスタートアップ処理に移行する。また、選択手段１０５による内部時計１０４の更新も行われない。
時刻３３において、音声フレーム８０２の音声表示時刻誤差１２０は＋７であり、図４(a) ，図６(a) より許容範囲の上限ＴＨｍａｘ（ＡＳ）を上回る。よって、時刻３３でも、音声フレーム８０２の表示は待たされる。時刻３４〜時刻３９においても同様に、音声フレーム８０２の表示は待たされる。
時刻４０になって、音声フレーム８０２の音声表示時刻誤差１２０は０となり、誤差許容範囲ＴＨｍｉｎ（ＡＳ）〜ＴＨｍａｘ（ＡＳ）内に入るため、音声フレーム８０２の再生音声信号１１７の出力が開始されると同時に、図３(b) より、音声制御手段１０９の処理モードはメイン処理に移行する。
【００６６】
上記のような処理を行うことで本実施の形態１による同期再生装置は、通常動作時において、音声表示時刻に時間的不連続が存在する場合でも、映像フレームを欠落させることなく、映像信号と音声信号の同期再生が可能となる。
【００６７】
図８(b) は、通常状態において、映像表示時刻１１４に時間的不連続が存在する場合の同期再生装置の動作の例を示す図である。このように、連続する映像フレーム８０３と映像フレーム８０４との間には時間飛びが存在している。時刻３０までは、図３(b) より、映像制御手段１０８と音声制御手段１０９は共にメイン処理を行っており、再生映像信号と再生音声信号は共に通常状態での連続出力中である。また、選択手段１０５は音声表示時刻１１４を選択している。
【００６８】
時刻３０において、次の映像フレーム８０４の再生映像信号を出力しようとするが、映像フレーム８０４の映像表示時刻誤差１１８は＋１２であり、図５(b) ，図６(a) より、誤差許容範囲の上限ＴＨｍａｘ（ＶＭ）を上回る。よって、映像フレーム８０４の表示は待たされ、その直前に表示された映像フレーム８０３が引き続き表示される。時刻３５においても同様である。
時刻４０になって、映像フレーム８０４の映像表示時刻誤差１２０は＋２となり、誤差許容範囲ＴＨｍｉｎ（ＶＭ）〜ＴＨｍａｘ（ＶＭ）内に入るため、映像フレーム８０４の再生映像信号１１６の出力が開始される。
【００６９】
上記のような処理を行うことで本実施の形態１による同期再生装置は、通常動作時において、映像表示時刻に時間的不連続が存在する場合でも、映像フレームを違和感無く連続的に表示しながら、映像信号と音声信号の同期再生が可能となる。
【００７０】
次に、通常状態において、多重化ビットストリームに不連続が発生した場合の同期再生装置の動作の例を、図９を用いて説明する。図９(a) は、ビットストリーム不連続発生状態における、同期再生装置への多重化ビットストリームの入力データを示す説明図であり、このようなトラックジャンプ等の発生によって、時間的連続性が切れた状態でのデータが本同期再生装置に入力されることになる。
【００７１】
この入力に対する同期再生装置の動作の流れを図９(b) と図１０(a) 〜図１０(b) に示す。
図９(b) より、時刻４７までは、映像制御手段１０８と音声制御手段１０９は共にメイン処理を行っており、再生映像信号と再生音声信号は共に通常状態での連続出力中である。また、選択手段１０５は音声表示時刻１１４を選択している。時刻４７において、ビットストリーム不連続発生が検出される。このとき、図２より、システムは通常状態からビットストリーム不連続発生状態へ遷移するので、図３(c) に示すように、音声制御手段１０９はリセット処理を行い、音声信号復号化手段１０３での復号化処理は停止する。音声フレーム９０３の再生音声信号の出力は打ち切られ、続く音声フレーム９０４の再生音声信号の出力も行われない。
【００７２】
映像制御手段１０８の処理モードはシームレス処理へ移行し、選択手段１０５は映像表示時刻１１３を選択するため、映像フレーム９０１の表示時に、そのフレームのもつ映像表示時刻１１３である時刻５０にて内部時計１０４が更新される。
次の時刻５５において、映像フレーム９０２の映像表示時刻誤差１１８が−３５となり、図５(c) ，図６(a) より、誤差許容範囲の下限ＴＨｍｉｎ（ＶＬ）を下回るので、映像制御手段１０８は音声信号復号化手段１０３に起動をかける。このときの様子を図１０(a) に示す。また、シームレス処理中においては、映像制御手段１０８は映像表示時刻誤差の値によらず映像フレームを『表示せよ』という制御信号１２１を出力しているので、映像フレーム９０２はそのまま表示され、内部時計１０４はこの映像フレーム９０２の映像表示時刻を用いて更新される。
【００７３】
音声信号復号化手段１０３に起動がかかると、音声制御手段１０９の処理モードはスタートアップ処理に遷移する。時刻２０における音声フレーム９０５の音声表示時刻誤差１２０は−２であり、図４(a) ，図６(a) より、誤差許容範囲の下限ＴＨｍｉｎ（ＡＳ）を下回っている。よって、音声フレーム９０５の表示は飛ばされ、音声表示時刻１１４が時刻２２である音声フレーム９０６の表示を試みる。しかし、時刻２０における音声フレーム９０６の音声表示時刻誤差１２０は＋２となり、図４(a) ，図６(a) より、誤差許容範囲の上限ＴＨｍａｘ（ＡＳ）を下回っている。よって、音声フレーム９０６の表示は待たされる。時刻２１においても同様である。
【００７４】
時刻２２においては、図１０(b) に示すように、音声表示時刻１１４が時刻２２である音声フレーム９０６の音声表示時刻誤差１２０が０となり、誤差許容範囲ＴＨｍｉｎ（ＡＳ）〜ＴＨｍａｘ（ＡＳ）内に入るため、音声フレーム９０６の再生音声信号の出力が開始される。この時点で、再生映像信号１１６と再生音声信号１１７は共に出力が開始されることとなり、図２より、システムはビットストリーム不連続発生状態から通常状態へ遷移する。通常状態においては、図３(b) より、映像制御手段１０８と音声制御手段１０９は共にメイン処理を行い、選択手段１０５は音声表示時刻１１４を選択するため、内部時計１０４は音声フレーム９０７以降の各音声フレームの音声表示時刻を用いて更新される。
【００７５】
上記のような処理を行うことで本実施の形態１による同期再生装置は、ビットストリーム不連続発生時において、映像フレームを欠落なく連続的に表示しながら、映像信号と音声信号の同期再生が可能となる。
【００７６】
なお、本実施の形態１では、図６(a) に示すように、映像制御手段１０８と音声制御手段１０９がスタートアップ処理を行っているときの、映像表示時刻誤差１１８と音声表示時刻誤差１２１の許容範囲を０〜０としたが、図６(b) に示すスタートアップ処理２のように、０以外の値で幾分の余裕を持たせてもよい。特に、映像においては符号化装置内の映像垂直同期信号に同期して再生映像信号を出力する必要があるため、ＮＴＳＣにおいては、約３０分の１秒の単位が内部時計１０４と各映像フレームの表示時刻との比較が可能な最小周期になる。そのため、映像表示時刻誤差１１８が０になる可能性は低く、映像が表示され始めないことが起こりうる。一番効果的なのは、許容範囲の幅を映像フレームの周期である約３０分の１秒にすることであり、−１／１５秒〜＋１／１５秒とすることにより最も正確に再生映像信号の出力を開始することができる。
【００７７】
また、本実施の形態１では、図６に示すように、映像制御手段１０８がメイン処理を行っているときの映像表示時刻誤差１１８の誤差許容範囲を−５〜＋５、音声制御手段１０９がメイン処理を行っているときの音声表示時刻誤差１２１の誤差許容範囲を−４〜＋４とした。これは映像フレーム，及び音声フレームそれぞれの表示周期を用いて定めたものであるが、この定め方に限るものではなく、（数１）の関係を満たすものであればよい。
【００７８】
【数１】
さらに、本実施の形態１では、図６に示すように、映像制御手段１０８がシームレス処理を行っているときの、映像表示時刻誤差１１８の誤差許容範囲を−１５〜＋１５とした。これは映像フレームの表示周期の３倍の値を用いて定めたものであるが、この定め方に限るものではなく、（数２）の関係を満たすものであればよい。
【００８０】
【数２】
以上のように、本実施の形態１の同期再生装置によれば、起動動作時は、最初の映像フレームからの再生が可能となり、映像信号と音声信号の同期再生を開始することができる。また、通常動作時は、再生映像信号と再生音声信号に同期ずれが発生したり、あるいは映像表示時刻，及び音声表示時刻に時間的不連続が発生したり、あるいは多重化ビットストリームに時間的不連続が発生しても、映像フレームを違和感無く連続的に表示しながら、映像信号と音声信号の同期再生を保つことができる。このように、いかなる場合においても、良好な状態での映像信号と音声信号の同期再生が可能となる。
【００８２】
実施の形態２．
次に、本発明の実施の形態２による同期再生装置について、図１１を参照しながら説明する。図１１は、本実施の形態２による同期再生装置の構成を示すブロック図である。実施の形態１による同期再生装置の構成（図１）は、映像信号復号化手段１０２には、システム多重化分離手段１０１で分離された映像ビットストリーム１１１を入力し、音声信号復号化手段１０３には、音声ビットストリーム１１２を入力していたが、本実施の形態２では、映像信号復号化手段１０２には、映像ビットストリーム１１１と映像表示時刻１１３を入力し、映像信号復号化手段１０２を中継した映像表示時刻１１３を、映像表示時刻比較手段１０６と選択手段１０５に対して出力するようにし、また、音声信号復号化手段１０２には、音声ビットストリーム１１２と音声表示時刻１１４を入力し、音声信号復号化手段１０２を中継した音声表示時刻１１３を、音声表示時刻比較手段１０７と選択手段１０５に対して出力する構成としたものである。この理由を以下に示す。
【００８３】
国際標準規格であるＭＰＥＧでは、すべての映像フレーム，及び音声フレームにその表示時刻であるＰＴＳを付加する必要はないため、ＰＴＳを持たない映像フレーム，及び音声フレームが存在する可能性がある。このため、実施の形態１のように、映像ビットストリーム１１１と映像表示時刻１１３，及び音声ビットストリーム１１２と音声表示時刻１１４を、それぞれ分離して扱うと、各フレームとその表示時刻との対応関係が乱れる可能性がある。さらに、特に映像ビットストリームには、双方向のフレームから符号化予測を行うＢピクチャが存在し、映像フレームの符号化順と復号化順は異なるため、各フレームと表示時刻との対応関係はより複雑なものとなる。
この対応関係がとれないまま、映像表示時刻比較手段１０６，及び音声表示時刻比較手段１０７による、映像フレーム，及び音声フレームの表示時刻と内部時計１０４の時刻との比較結果に基づいて、各フレームの復号化を行って再生映像信号と再生音声信号を出力すると、同期ずれが生じることになる。
このような理由から、上述のように本実施の形態２では、映像ビットストリーム１１１と映像表示時刻１１３，及び音声表示時刻１１４と音声ビットストリーム１１２を対応付けてから、映像信号復号化手段１０２，及び音声信号復号化手段１０３に入力するようにした。
【００８４】
以上のような構成とすることで本実施の形態２による同期再生装置は、映像フレーム，及び音声フレームとそれぞれの表示時刻との対応関係を、適切な状態で保つことができるので、映像信号と音声信号の正確な同期再生が可能となる。
【００８５】
実施の形態３．
次に、本発明の実施の形態３による同期再生装置について、図１２を参照しながら説明する。図１２は、本実施の形態３による同期再生装置の構成を示すブロック図である。実施の形態２による同期再生装置の構成（図１１）は、本同期再生装置に対する起動要求，リセット要求，多重化ビットストリームの不連続を検出するのは、選択手段１０５，映像制御手段１０８，音声制御手段１０９での制御において内部的に発生するものとしていたが、本実施の形態３では、本同期再生装置に対する起動要求，リセット要求，多重化ビットストリームの不連続を検出するのは外部ＣＰＵ（図示せず）とし、このような外部ＣＰＵからの情報（外部からのコマンド１１０３）は、外部インタフェース１１０３にて解読され、その結果を制御信号１１０２として、選択手段１０５，映像制御手段１０８，音声制御手段１０９に入力する構成としたものである。
【００８６】
以上のような構成とすることで本実施の形態３による同期再生装置は、ＣＰＵを介した外部からの柔軟なシステム制御が可能であり、実用的なものとなる。
【００８７】
実施の形態４．
次に、本発明の実施の形態４による同期再生装置について、図１３を参照しながら説明する。図１３は、本実施の形態４による同期再生装置の構成を示すブロック図であり、実施の形態３による同期再生装置の構成（図１２）は、多重化ビットストリームの不連続を検出するのは、外部ＣＰＵであったが、本実施の形態４では、多重化ビットストリームの不連続を検出するのは、ビットストリーム不連続検出手段１２０１とし、その情報を選択手段１０５，映像制御手段１０８，音声制御手段１０９に入力する構成としたものである。
【００８８】
以上のような構成とすることで本実施の形態４による同期再生装置は、外部ＣＰＵでは検出不可能な、多重化ビットストリーム内に内在しているビットストリーム不連続に対しても、適切なシステム制御が可能となる。
【００８９】
【発明の効果】
以上説明してきたように、本発明の同期再生装置によれば、起動動作時や通常動作時に、再生映像信号と再生音声信号の同期ずれが発生するような場合が生じても、適応的に同期再生方式をオーディオマスタ方式から他方式に切替えるようにしたので、いかなる場合であっても最適な映像フレームと音声フレームの復号化を行うことが可能となり、再生映像信号と再生音声信号の同期を保つことができる効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態１による同期再生装置の構成を示すブロック図である。
【図２】本実施の形態１による同期再生装置がシステム全体として作動する場合の、各システムの状態の遷移関係を示す図である。
【図３】本実施の形態１による同期再生装置の、起動状態（(a) ），通常状態（(b) ），通常状態において多重化ビットストリームに不連続が発生したとき（(c) ），リセット状態（(d) ）における、映像制御手段，音声制御手段，選択手段の処理内容を示した説明図である。
【図４】本実施の形態１による同期再生装置の音声制御手段の処理モードがスタートアップ処理（(a) ），メイン処理（(b) ）であるときの、その処理内容を示した説明図である。
【図５】本実施の形態１による同期再生装置の映像制御手段の処理モードがスタートアップ処理（(a) ），メイン処理（(b) ），シームレス処理（(c) ）であるときの、その処理内容を示した説明図である。
【図６】本実施の形態１による同期再生装置の、誤差許容範囲の設定値の例を示した図である。
【図７】本実施の形態１による同期再生装置の、起動状態における動作の例を示す説明図である。
【図８】本実施の形態１による同期再生装置の、通常状態において音声表示時刻に不連続が存在する場合の動作の例を示す説明図（(a) ），及び通常状態において映像表示時刻に不連続が存在する場合の動作の例を示す説明図（(b) ）である。
【図９】本実施の形態１による同期再生装置の、通常状態において多重化ビットストリームに不連続が発生したときの、入力データの例を示す説明図（(a) ），及びビットストリーム不連続発生状態における動作の、第１の過程の例を示す説明図（(b) ）である。
【図１０】本実施の形態１による同期再生装置の、通常状態において多重化ビットストリームに不連続が発生したときの、動作の第２の過程（(a) ），第３の過程（(b) ）の例を示す説明図を示す説明図である。
【図１１】本実施の形態２による同期再生装置の構成を示すブロック図である。
【図１２】本実施の形態３による同期再生装置の構成を示すブロック図である。
【図１３】本実施の形態４による同期再生装置の構成を示すブロック図である。
【図１４】従来の同期再生装置の、映像信号と音声信号の同期再生の仕組みの概念を示す説明図（(a) ），及び映像信号と音声信号に同期ずれが発生する場合の概念を示す説明図（(b) ）である。
【図１５】従来の同期再生装置の、再生音声信号に同期ずれが発生した場合の例を示す説明図（(a) ），及び再生音声信号に同期ずれが発生した場合に、再生音声信号を操作して同期ずれを解消する動作の例を示す説明図（(b) ），及びオーディオマスタ方式を用いて同期ずれを解消する動作の例を示す説明図（(c) ）である。
【図１６】オーディオマスタ方式を適用した従来の同期再生装置の、再生映像信号に同期ずれが発生した場合の例を示す説明図（(a) ），及び再生映像信号を操作して同期ずれを解消する動作の例を示す説明図（(b) ，(c) ，(d) ）である。
【図１７】本発明が解決しようとする第１の課題を示す説明図。
【図１８】本発明が解決しようとする第２の課題を示す説明図。
【図１９】本発明が解決しようとする第３の課題を示す説明図。
【図２０】本実施の形態１による同期再生装置の、再生映像信号に同期ずれが発生した場合の例を示す説明図（(a) ），及び再生映像信号を操作して同期ずれを解消する動作の例を示す説明図（(b) ，(c) ）である。
【符号の説明】
１０１ システム多重化分離手段、１０２ 映像信号復号化手段、１０３ 音声信号復号化手段、１０４ 内部時計、１０５ 選択手段、１０６ 映像表示時刻比較手段、１０７ 音声表示時刻比較手段、１０８ 映像制御手段、１０９ 音声制御手段、１１０ 多重化ビットストリーム、１１１ 映像ビットストリーム、１１２ 音声ビットストリーム、１１３ 映像表示時刻、１１４ 音声表示時刻、１１５ システム時刻、１１６ 再生映像信号、１１７ 再生音声信号、１１８ 映像表示時刻誤差、１１９，１２１ 制御信号、１２０ 音声表示時刻誤差、１００１ 映像表示時刻、１００２ 音声表示時刻、１１０１ 外部インタフェース、１１０２ 制御信号、１１０３ 外部からのコマンド、１２０１ ビットストリーム不連続検出手段、７０１，８０３，８０４，９０１，９０２，１３０１ 映像フレーム、１５０１〜１５０４，１６０２，１７０１〜１７０３，１８０１〜１８０３ 映像フレーム、７０２，７０３，８０１，８０２ 音声フレーム、９０３〜９０７，１６０１，１７０４，１７０５，１８０４，１８０５ 音声フレーム。
Claims (6)
- 再生映像信号の基本単位である映像フレームを符号化した映像符号化データと、該映像フレームの再生映像信号を出力すべき時刻を示す映像表示時刻のデータと、再生音声信号の基本単位である音声フレームを符号化した音声符号化データと、該音声フレームの再生音声信号を出力すべき時刻を示す音声表示時刻のデータと、システム時刻のデータと、がパケット化された多重化ビットストリームを入力とし、
上記多重化ビットストリームから上記映像符号化データ，上記音声符号化データ，上記映像表示時刻データ，上記音声表示時刻データ，上記システム時刻データを分離するシステム多重化分離手段と、
上記映像符号化データを復号化し、再生映像信号を得る映像信号復号化手段と、
上記音声符号化データを復号化し、再生音声信号を得る音声信号復号化手段とを備え、
映像信号と音声信号を同期させながら再生する同期再生装置であって、
再生映像信号と再生音声信号の出力を開始する起動動作時は、上記システム多重化分離手段により上記多重化ビットストリームから分離された上記システム時刻を選択し、起動動作の後の、再生映像信号と再生音声信号の出力を連続的に行う通常動作時は、上記システム多重化分離手段により上記多重化ビットストリームから分離された上記音声表示時刻を選択する選択手段と、
上記起動動作時には、上記選択手段が出力する上記システム時刻を参照して自身の時刻を設定し、上記通常動作時には、上記選択手段が出力する上記音声表示時刻を参照して自身の時刻を設定し、連続した基準時刻を発生する内部時計と、
上記起動動作時，及び上記通常動作時には、上記映像表示時刻と上記内部時計の時刻との差分値を求め、該差分値を映像表示時刻誤差として出力する映像表示時刻比較手段と、
上記起動動作時，及び上記通常動作時には、上記音声表示時刻と上記内部時計の時刻との差分値を求め、該差分値を音声表示時刻誤差として出力する音声表示時刻比較手段と、
上記起動動作時には、上記映像表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＶＳ）〜ＴＨｍａｘ（ＶＳ）内に収まったときに、上記再生映像信号の出力を開始するよう、上記映像信号復号化手段を制御し、上記通常動作時には、上記映像表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＶＭ）〜ＴＨｍａｘ（ＶＭ）内に収まるように、上記再生映像信号の出力を早めるか，遅らせるかして、上記映像信号復号化手段を制御する映像制御手段と、
上記起動動作時には、上記音声表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＡＳ）〜ＴＨｍａｘ（ＡＳ）内に収まったときに、上記再生音声信号の出力を開始するよう、上記音声信号復号化手段を制御し、上記通常動作時には、上記音声表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＡＭ）〜ＴＨｍａｘ（ＡＭ）内に収まるように、上記再生音声信号の出力を早めるか，遅らせるかして、上記音声信号復号化手段を制御する音声制御手段と、を具備することを特徴とする同期再生装置。 - 請求項１記載の同期再生装置において、
上記映像制御手段は、上記起動動作時には、上記映像表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＶＳ）〜ＴＨｍａｘ（ＶＳ）内に収まったときに、上記再生映像信号の出力を開始するよう、上記映像信号復号化手段を制御し、上記通常動作時には、上記映像表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＶＭ）〜ＴＨｍａｘ（ＶＭ）内に収まっているかを監視し、その範囲を越えた場合、所定の範囲ＴＨｍｉｎ（ＶＳ）〜ＴＨｍａｘ（ＶＳ）内に収まるように、上記再生映像信号の出力を早めるか，遅らせるかして、上記映像信号復号化手段を制御するものであり、
上記音声制御手段は、上記起動動作時には、上記音声表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＡＳ）〜ＴＨｍａｘ（ＡＳ）内に収まったときに、上記再生音声信号の出力を開始するよう、上記音声信号復号化手段を制御し、上記通常動作時には、上記音声表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＡＭ）〜ＴＨｍａｘ（ＡＭ）内に収まっているかを監視し、その範囲を越えた場合、所定の範囲ＴＨｍｉｎ（ＡＳ）〜ＴＨｍａｘ（ＡＳ）内に収まるように、上記再生音声信号の出力を早めるか，遅らせるかして、上記音声信号復号化手段を制御するものであることを特徴とする同期再生装置。 - 請求項１，又は２記載の同期再生装置において、
上記選択手段は、上記通常動作時において上記多重化ビットストリームに時間的不連続が発生する時には、上記通常動作に復帰するまでの間、上記システム多重化分離手段により上記多重化ビットストリームから分離された映像表示時刻を選択するものであり、
上記内部時計は、上記多重化ビットストリームの不連続発生時には、上記選択手段の出力する映像表示時刻を参照して自身の時刻を設定し、連続した基準時刻を発生するものであり、
上記映像表示時刻比較手段は、上記多重化ビットストリームの不連続発生時には、上記映像表示時刻と上記内部時計の時刻との差分値を求め、該差分値を映像表示時刻誤差として出力するものであり、
上記音声表示時刻比較手段は、上記多重化ビットストリームの不連続発生時には、上記音声表示時刻と上記内部時計の時刻との差分値を求め、該差分値を音声表示時刻誤差として出力するものであり、
上記映像制御手段は、上記多重化ビットストリームの不連続発生時には、上記映像表示時刻誤差の値にかかわらず、上記再生映像信号を欠落なく出力するよう、上記映像信号復号化手段を制御し、上記映像表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＶＬ）〜ＴＨｍａｘ（ＶＬ）を超えるときは、上記再生音声信号の出力を開始するよう、上記音声信号復号化手段を起動制御し、上記再生音声信号の出力が開始された時点で、上記映像制御手段は上記通常動作時の制御に復帰するものであり、
上記音声制御手段は、上記多重化ビットストリームの不連続発生時には、上記再生音声信号の出力を停止するよう、上記音声信号復号化手段をリセット制御し、上記映像制御手段が上記音声信号復号化手段を起動制御した後、上記音声表示時刻誤差が所定の範囲ＴＨｍｉｎ（ＡＳ）〜ＴＨｍａｘ（ＡＳ）内になったときに、上記再生音声信号の出力を開始するよう、上記音声復号化手段を制御し、上記再生音声信号の出力が開始された時点で、上記通常動作時の制御に復帰するものであることを特徴とする同期再生装置。 - 請求項１ないし３のいずれかに記載の同期再生装置において、
上記映像信号復号化手段は、上記映像符号化データを復号化し、再生映像信号を得るとともに、上記映像表示時刻を出力するものであり、
上記音声信号復号化手段は、上記音声符号化データを復号化し、再生音声信号を得るとともに、上記音声表示時刻を出力するものであることを特徴とする同期再生装置。 - 請求項１ないし４のいずれかに記載の同期再生装置において、
外部からの起動要求の情報，及びリセット要求の情報，及び多重化ビットストリームの時間的不連続発生の情報を、上記選択手段と上記映像制御手段と上記音声制御手段と、に通知する外部インタフェースを具備することを特徴とする同期再生装置。 - 請求項１ないし５のいずれかに記載の同期再生装置において、
外部からの起動要求の情報，及びリセット要求の情報を、上記選択手段と上記映像制御手段と上記音声制御手段と、に通知する外部インタフェースと、
多重化ビットストリームの時間的不連続発生を検出し、その情報を上記選択手段と上記映像制御手段と上記音声制御手段と、に通知するビットストリーム検出手段と、を具備することを特徴とする同期再生装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21651096A JP3698376B2 (ja) | 1996-08-19 | 1996-08-19 | 同期再生装置 |
| US08/912,196 US6018376A (en) | 1996-08-19 | 1997-08-18 | Synchronous reproduction apparatus |
| CN97116057A CN1112050C (zh) | 1996-08-19 | 1997-08-19 | 同步再生装置 |
| KR1019970039290A KR100256061B1 (ko) | 1996-08-19 | 1997-08-19 | 동기 재생 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21651096A JP3698376B2 (ja) | 1996-08-19 | 1996-08-19 | 同期再生装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1066069A JPH1066069A (ja) | 1998-03-06 |
| JP3698376B2 true JP3698376B2 (ja) | 2005-09-21 |
Family
ID=16689568
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21651096A Expired - Fee Related JP3698376B2 (ja) | 1996-08-19 | 1996-08-19 | 同期再生装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6018376A (ja) |
| JP (1) | JP3698376B2 (ja) |
| KR (1) | KR100256061B1 (ja) |
| CN (1) | CN1112050C (ja) |
Families Citing this family (93)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3555746B2 (ja) * | 1998-12-24 | 2004-08-18 | 日本ビクター株式会社 | 情報圧縮装置 |
| DE19930824C2 (de) * | 1999-07-03 | 2001-05-31 | Grundig Ag | Bild- und Tonwiedergabegerät und Verfahren für dessen Betrieb |
| KR100332783B1 (ko) * | 1999-11-15 | 2002-04-18 | 구자홍 | 기록매체의 엠펙 비트 스트림 디스플레이 시점 조절장치및 방법 |
| DE19956913C2 (de) * | 1999-11-26 | 2001-11-29 | Grundig Ag | Verfahren und Vorrichtung zur Anpassung der Laufzeitdifferenz von Video- und Audiosignal in einem Fernsehgerät |
| US6654956B1 (en) * | 2000-04-10 | 2003-11-25 | Sigma Designs, Inc. | Method, apparatus and computer program product for synchronizing presentation of digital video data with serving of digital video data |
| US7030930B2 (en) * | 2001-03-06 | 2006-04-18 | Ati Technologies, Inc. | System for digitized audio stream synchronization and method thereof |
| JP3629253B2 (ja) * | 2002-05-31 | 2005-03-16 | 株式会社東芝 | 音声再生装置および同装置で用いられる音声再生制御方法 |
| JP4305065B2 (ja) * | 2003-06-12 | 2009-07-29 | ソニー株式会社 | Ａｖ同期処理装置および方法ならびにａｖ記録装置 |
| US8086752B2 (en) | 2006-11-22 | 2011-12-27 | Sonos, Inc. | Systems and methods for synchronizing operations among a plurality of independently clocked digital data processing devices that independently source digital data |
| US11650784B2 (en) | 2003-07-28 | 2023-05-16 | Sonos, Inc. | Adjusting volume levels |
| US11106424B2 (en) | 2003-07-28 | 2021-08-31 | Sonos, Inc. | Synchronizing operations among a plurality of independently clocked digital data processing devices |
| US8290603B1 (en) | 2004-06-05 | 2012-10-16 | Sonos, Inc. | User interfaces for controlling and manipulating groupings in a multi-zone media system |
| US11294618B2 (en) | 2003-07-28 | 2022-04-05 | Sonos, Inc. | Media player system |
| US11106425B2 (en) | 2003-07-28 | 2021-08-31 | Sonos, Inc. | Synchronizing operations among a plurality of independently clocked digital data processing devices |
| US9207905B2 (en) | 2003-07-28 | 2015-12-08 | Sonos, Inc. | Method and apparatus for providing synchrony group status information |
| US8234395B2 (en) | 2003-07-28 | 2012-07-31 | Sonos, Inc. | System and method for synchronizing operations among a plurality of independently clocked digital data processing devices |
| US9977561B2 (en) | 2004-04-01 | 2018-05-22 | Sonos, Inc. | Systems, methods, apparatus, and articles of manufacture to provide guest access |
| US8024055B1 (en) | 2004-05-15 | 2011-09-20 | Sonos, Inc. | Method and system for controlling amplifiers |
| US8326951B1 (en) | 2004-06-05 | 2012-12-04 | Sonos, Inc. | Establishing a secure wireless network with minimum human intervention |
| US8868698B2 (en) | 2004-06-05 | 2014-10-21 | Sonos, Inc. | Establishing a secure wireless network with minimum human intervention |
| US7400653B2 (en) * | 2004-06-18 | 2008-07-15 | Dolby Laboratories Licensing Corporation | Maintaining synchronization of streaming audio and video using internet protocol |
| KR101174131B1 (ko) * | 2004-10-14 | 2012-08-14 | 삼성전자주식회사 | 멀티미디어 방송 수신시의 에러 검출 방법 및 장치 |
| US7649874B2 (en) * | 2005-03-10 | 2010-01-19 | Qualcomm Incorporated | Methods and apparatus for providing power efficient time management for mobile media |
| US20060209210A1 (en) * | 2005-03-18 | 2006-09-21 | Ati Technologies Inc. | Automatic audio and video synchronization |
| KR20060105890A (ko) * | 2005-03-31 | 2006-10-12 | 삼성전자주식회사 | 디지털 방송 수신 장치 및 그 장치에서의 동기화 처리 방법 |
| JP2007124090A (ja) * | 2005-10-26 | 2007-05-17 | Renesas Technology Corp | 情報機器 |
| CN100428798C (zh) * | 2006-03-07 | 2008-10-22 | 华为技术有限公司 | 一种数字电视解码方法和系统 |
| TWI322949B (en) | 2006-03-24 | 2010-04-01 | Quanta Comp Inc | Apparatus and method for determining rendering duration of video frame |
| CN101071602B (zh) * | 2006-05-09 | 2010-08-25 | 广达电脑股份有限公司 | 决定视频帧播放持续时间的方法及装置 |
| CN101800063B (zh) * | 2006-05-09 | 2011-05-25 | 广达电脑股份有限公司 | 决定视频帧播放持续时间的方法及装置 |
| US7961792B2 (en) * | 2006-05-16 | 2011-06-14 | Lsi Corporation | Robust system for maintaining audio/video synchronization during playback of multimedia streams with no embedded time stamps |
| KR100748370B1 (ko) | 2006-05-25 | 2007-08-10 | (주)엠씨에스로직 | 비디오 및 오디오 데이터를 동기화하는 방법 및 동영상재생 장치 |
| US9420332B2 (en) * | 2006-07-06 | 2016-08-16 | Qualcomm Incorporated | Clock compensation techniques for audio decoding |
| JP4983147B2 (ja) * | 2006-08-18 | 2012-07-25 | 富士通セミコンダクター株式会社 | 多重化装置、多重化方法および多重化プログラム |
| US9202509B2 (en) | 2006-09-12 | 2015-12-01 | Sonos, Inc. | Controlling and grouping in a multi-zone media system |
| US8788080B1 (en) | 2006-09-12 | 2014-07-22 | Sonos, Inc. | Multi-channel pairing in a media system |
| US8483853B1 (en) | 2006-09-12 | 2013-07-09 | Sonos, Inc. | Controlling and manipulating groupings in a multi-zone media system |
| CN1920947B (zh) * | 2006-09-15 | 2011-05-11 | 清华大学 | 用于低比特率音频编码的语音/音乐检测器 |
| CN101193311B (zh) * | 2006-12-21 | 2010-10-13 | 腾讯科技（深圳）有限公司 | 一种p2p系统中音视频数据的同步方法 |
| JP4823960B2 (ja) * | 2007-04-12 | 2011-11-24 | ソニー株式会社 | 再生制御方法および受信装置 |
| CN101137066B (zh) * | 2007-05-11 | 2011-01-05 | 中兴通讯股份有限公司 | 一种多媒体数据流同步控制的方法及装置 |
| WO2009028038A1 (ja) * | 2007-08-27 | 2009-03-05 | Fujitsu Limited | デコーダ装置、およびデコード方法 |
| US8331459B2 (en) * | 2007-09-26 | 2012-12-11 | Intel Corporation | Method and apparatus for smooth digital media playback |
| US8111971B2 (en) * | 2007-12-05 | 2012-02-07 | Cisco Technology, Inc. | Systems and methods of reducing media stream delay through independent decoder clocks |
| CN101877791A (zh) * | 2010-06-04 | 2010-11-03 | 浙江工业大学 | 一种视频网络传输中基于mpeg4的音视频同步控制方法 |
| US9565426B2 (en) | 2010-11-12 | 2017-02-07 | At&T Intellectual Property I, L.P. | Lip sync error detection and correction |
| US11429343B2 (en) | 2011-01-25 | 2022-08-30 | Sonos, Inc. | Stereo playback configuration and control |
| US11265652B2 (en) | 2011-01-25 | 2022-03-01 | Sonos, Inc. | Playback device pairing |
| US8938312B2 (en) | 2011-04-18 | 2015-01-20 | Sonos, Inc. | Smart line-in processing |
| US9042556B2 (en) | 2011-07-19 | 2015-05-26 | Sonos, Inc | Shaping sound responsive to speaker orientation |
| US9084058B2 (en) | 2011-12-29 | 2015-07-14 | Sonos, Inc. | Sound field calibration using listener localization |
| CN103220058A (zh) * | 2012-01-20 | 2013-07-24 | 旭扬半导体股份有限公司 | 音频数据与视觉数据同步装置及其方法 |
| US9729115B2 (en) | 2012-04-27 | 2017-08-08 | Sonos, Inc. | Intelligently increasing the sound level of player |
| US9706323B2 (en) | 2014-09-09 | 2017-07-11 | Sonos, Inc. | Playback device calibration |
| US9690539B2 (en) | 2012-06-28 | 2017-06-27 | Sonos, Inc. | Speaker calibration user interface |
| US9106192B2 (en) | 2012-06-28 | 2015-08-11 | Sonos, Inc. | System and method for device playback calibration |
| US9219460B2 (en) | 2014-03-17 | 2015-12-22 | Sonos, Inc. | Audio settings based on environment |
| US9008330B2 (en) | 2012-09-28 | 2015-04-14 | Sonos, Inc. | Crossover frequency adjustments for audio speakers |
| CN103402140B (zh) * | 2013-08-01 | 2016-12-28 | 深圳英飞拓科技股份有限公司 | 一种分布式ip视频解码器同步拼接上墙的方法和系统 |
| US9244516B2 (en) | 2013-09-30 | 2016-01-26 | Sonos, Inc. | Media playback system using standby mode in a mesh network |
| US9226073B2 (en) | 2014-02-06 | 2015-12-29 | Sonos, Inc. | Audio output balancing during synchronized playback |
| US9226087B2 (en) | 2014-02-06 | 2015-12-29 | Sonos, Inc. | Audio output balancing during synchronized playback |
| US9264839B2 (en) | 2014-03-17 | 2016-02-16 | Sonos, Inc. | Playback device configuration based on proximity detection |
| US9891881B2 (en) | 2014-09-09 | 2018-02-13 | Sonos, Inc. | Audio processing algorithm database |
| US10127006B2 (en) | 2014-09-09 | 2018-11-13 | Sonos, Inc. | Facilitating calibration of an audio playback device |
| US9952825B2 (en) | 2014-09-09 | 2018-04-24 | Sonos, Inc. | Audio processing algorithms |
| US9910634B2 (en) | 2014-09-09 | 2018-03-06 | Sonos, Inc. | Microphone calibration |
| US9916835B2 (en) * | 2015-01-22 | 2018-03-13 | Sennheiser Electronic Gmbh & Co. Kg | Digital wireless audio transmission system |
| US10664224B2 (en) | 2015-04-24 | 2020-05-26 | Sonos, Inc. | Speaker calibration user interface |
| WO2016172593A1 (en) | 2015-04-24 | 2016-10-27 | Sonos, Inc. | Playback device calibration user interfaces |
| US10248376B2 (en) | 2015-06-11 | 2019-04-02 | Sonos, Inc. | Multiple groupings in a playback system |
| US9538305B2 (en) | 2015-07-28 | 2017-01-03 | Sonos, Inc. | Calibration error conditions |
| US9693165B2 (en) | 2015-09-17 | 2017-06-27 | Sonos, Inc. | Validation of audio calibration using multi-dimensional motion check |
| JP6437695B2 (ja) | 2015-09-17 | 2018-12-12 | ソノズ インコーポレイテッド | オーディオ再生デバイスのキャリブレーションを容易にする方法 |
| US10303422B1 (en) | 2016-01-05 | 2019-05-28 | Sonos, Inc. | Multiple-device setup |
| US9743207B1 (en) | 2016-01-18 | 2017-08-22 | Sonos, Inc. | Calibration using multiple recording devices |
| US11106423B2 (en) | 2016-01-25 | 2021-08-31 | Sonos, Inc. | Evaluating calibration of a playback device |
| US10003899B2 (en) | 2016-01-25 | 2018-06-19 | Sonos, Inc. | Calibration with particular locations |
| US9864574B2 (en) | 2016-04-01 | 2018-01-09 | Sonos, Inc. | Playback device calibration based on representation spectral characteristics |
| US9860662B2 (en) | 2016-04-01 | 2018-01-02 | Sonos, Inc. | Updating playback device configuration information based on calibration data |
| US9763018B1 (en) | 2016-04-12 | 2017-09-12 | Sonos, Inc. | Calibration of audio playback devices |
| CN105959774B (zh) * | 2016-05-05 | 2020-05-01 | 青岛海信电器股份有限公司 | 音画同步方法、系统和电视机 |
| US9794710B1 (en) | 2016-07-15 | 2017-10-17 | Sonos, Inc. | Spatial audio correction |
| US9860670B1 (en) | 2016-07-15 | 2018-01-02 | Sonos, Inc. | Spectral correction using spatial calibration |
| US10372406B2 (en) | 2016-07-22 | 2019-08-06 | Sonos, Inc. | Calibration interface |
| US10459684B2 (en) | 2016-08-05 | 2019-10-29 | Sonos, Inc. | Calibration of a playback device based on an estimated frequency response |
| US10712997B2 (en) | 2016-10-17 | 2020-07-14 | Sonos, Inc. | Room association based on name |
| US10299061B1 (en) | 2018-08-28 | 2019-05-21 | Sonos, Inc. | Playback device calibration |
| US11206484B2 (en) | 2018-08-28 | 2021-12-21 | Sonos, Inc. | Passive speaker authentication |
| US10734965B1 (en) | 2019-08-12 | 2020-08-04 | Sonos, Inc. | Audio calibration of a portable playback device |
| KR102634845B1 (ko) * | 2021-02-22 | 2024-02-06 | 주식회사 케이티 | 콘텐츠 출력 장치 및 콘텐츠 출력 방법 |
| CN115776588A (zh) * | 2021-09-09 | 2023-03-10 | 北京字跳网络技术有限公司 | 视频处理方法、装置、电子设备、介质及程序产品 |
| KR102709016B1 (ko) * | 2022-07-22 | 2024-09-24 | 엘지전자 주식회사 | 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스 및 그 제어 방법 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU3927693A (en) * | 1992-04-01 | 1993-11-08 | Intel Corporation | Method and apparatus for compressing and decompressing a sequence of digital video images using sync frames |
| US5815634A (en) * | 1994-09-30 | 1998-09-29 | Cirrus Logic, Inc. | Stream synchronization method and apparatus for MPEG playback system |
-
1996
- 1996-08-19 JP JP21651096A patent/JP3698376B2/ja not_active Expired - Fee Related
-
1997
- 1997-08-18 US US08/912,196 patent/US6018376A/en not_active Expired - Fee Related
- 1997-08-19 KR KR1019970039290A patent/KR100256061B1/ko not_active IP Right Cessation
- 1997-08-19 CN CN97116057A patent/CN1112050C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN1175854A (zh) | 1998-03-11 |
| KR19980018763A (ko) | 1998-06-05 |
| JPH1066069A (ja) | 1998-03-06 |
| CN1112050C (zh) | 2003-06-18 |
| KR100256061B1 (ko) | 2000-05-01 |
| US6018376A (en) | 2000-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3698376B2 (ja) | 同期再生装置 | |
| JP3094999B2 (ja) | オーディオ・ビデオ同期再生装置 | |
| JP3106987B2 (ja) | オーディオ・ビデオ同期再生装置 | |
| KR100290331B1 (ko) | 오디오-비디오 신호의 동기 재생 장치 | |
| JP2004208308A (ja) | オーディオフレームおよび／またはビデオフレームの再生を同期化する方法と装置、ビデオドライバ回路、デコーダボックス | |
| JPH10164508A (ja) | オーディオ・ビデオ同期再生装置 | |
| KR20080108432A (ko) | 재생장치, 휴대전화기 및 재생방법 | |
| JP2007028261A (ja) | 映像音声再生装置および映像音声再生方法 | |
| US20090096921A1 (en) | Image processing apparatus, method, program, and recording medium | |
| JPH10262208A (ja) | 同期ずれ制御装置及び方法 | |
| JP3100308B2 (ja) | 画像及び音声情報の再生システム | |
| KR100629097B1 (ko) | 정보 신호 디코딩 방법 및 장치 | |
| JPH10283715A (ja) | デジタル・ビデオ・ディスクにおけるサブ・ピクチャ・ユニットの高速再生システム及び方法 | |
| KR100693233B1 (ko) | 데이터 기록 재생 장치 | |
| JP3159098B2 (ja) | 画像と音声の同期再生装置 | |
| JP4096915B2 (ja) | デジタル情報再生装置及び方法 | |
| JP4359024B2 (ja) | 同期制御方法と装置およびそれを用いた同期再生装置およびテレビジョン受信装置 | |
| JP3570785B2 (ja) | 動画像伸張再生方法および装置 | |
| US20070248170A1 (en) | Transmitting Apparatus, Receiving Apparatus, and Reproducing Apparatus | |
| JPH10210483A (ja) | 動画像再生装置及びその方法 | |
| JPH08140054A (ja) | オーディオ信号及びビデオ信号同期再生方法 | |
| JPH099215A (ja) | データ多重方法、データ伝送方法、及び多重データ復号方法、多重データ復号装置 | |
| JP2001177833A (ja) | データ復号装置及びデータ復号方法 | |
| JP2001186529A (ja) | Ｍｐｅｇデコード回路並列駆動システム | |
| JP3671969B2 (ja) | データ多重方法及び多重データ復号方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050628 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050704 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090715 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090715 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100715 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110715 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110715 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120715 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |