JP3100308B2 - 画像及び音声情報の再生システム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、光ディスクやハードデ
イスクなどの記録媒体に圧縮記録された画像及び音声情
報を再生する画像及び音声情報の再生システムに関す
る。

【０００２】

【従来の技術】近年、光ディスクやハードデイスクなど
の記録媒体に画像データと音声データを圧縮処理して記
録しておき、それを伸張処理して再生するという再生シ
ステムが普及しつつある。通常、画像データ処理部と音
声データ処理部では、処理速度に違いがあるため、画像
データと音声データの再生タイミングに違いが発生す
る。したがって、このような再生システムでは、画像デ
ータとそれに対応する音声データの同期をとる必要があ
る。

【０００３】画像データと音声データとの同期をとる従
来例として、ＭＰＥＧ（Moving Picture Expert Grou
p：ＩＳＯ１１１７２準拠）規格がある。このＭＰＥＧ
規格では、画像データ及び音声データにそれぞれ時刻情
報としてＭＰＥＧ規格で定めるＰＴＳ（Presentation T
ime−Stamps）がついている。ここで、ＰＴＳとは、Ｍ
ＰＥＧ規格（ＩＳＯ１１１７２−１）によれば、３３ビ
ット、９０ｋＨｚで表される情報で、圧縮データ上に記
録され、画像フレームや音声フレームに対して付加され
るものであり、画像フレームを表示すべき時刻情報及び
音声フレームを出力すべき時刻情報である。

【０００４】現在、ＭＰＥＧ画像デコーダ、ＭＰＥＧ音
声デコーダと呼ばれる専用のＬＳＩのなかには、現在表
示している画像のＰＴＳや現在出力している音声のＰＴ
Ｓを情報として外部へ出力するＬＳＩがあり、画像のＰ
ＴＳと音声のＰＴＳとを比較し、画像を音声に合わせ
る、又は音声を画像に合わせることによって同期が実現
できる。また、ＭＰＥＧ画像デコーダとＭＰＥＧ音声デ
コーダが１チップで構成され、ＬＳＩ自身でＰＴＳを比
較し同期するというものもある。

【０００５】しかし、初期のＬＳＩは、ＭＰＥＧ画像デ
コーダとＭＰＥＧ音声デコーダが独立しており、さら
に、ＰＴＳを出力するものも少なかった。また、現在で
もコストを抑えるなどの理由により、ＰＴＳ情報や同期
に関する機能を持たない画像、音声デコーダが多く存在
する。この場合の同期は、いわゆる「暗黙同期（implic
it synchronization）」と呼ばれる方式に頼っていた。
この「暗黙同期」というのは、特に出力側での補正は行
わず、データの入力速度とデコーダの動作速度の精度に
頼った方法である。

【０００６】また、その他に同期をとる従来例として
は、例えば特開平６−１２１２７６号公報に開示された
技術がある。この技術を簡単に説明すると、画像データ
と音声データは、それぞれフレームと呼ばれる単位で圧
縮処理されており、それらフレームにはそれぞれフレー
ム番号が記録されている。そして、現在処理中の画像フ
レームと音声フレームとのフレーム番号を比較し、例え
ば音声フレーム番号が画像フレーム番号より大ならば、
音声処理より画像処理が遅くなっていると判断し、画像
の圧縮処理をそのフレームで中断して、次のフレームの
画像圧縮処理を再開するというものである。

【０００７】

【発明が解決しようとする課題】ところで、上述の「暗
黙同期」方法によれば、画像及び音声情報の再生システ
ムにおいて、画像処理系と音声処理系のクロックのずれ
等様々な要因により、一概に同期しているとは言えな
い。したがって、上述の「暗黙同期」方法に、時刻情報
としてのＰＴＳを監視する手段を取り入れればよいが、
ＬＳＩにデータを入力した後では、時刻情報は失われて
しまうので、ＬＳＩにデータを入力する前に、ＰＴＳを
獲得する必要がある。ＰＴＳを獲得して、その後にデー
タをＬＳＩに入力するわけだが、そのＰＴＳに対応する
画像がどの時点で出力されるか判断するのは困難であ
る。それは、ＭＰＥＧの性質上、データ上のピクチャの
順番と出力されるピクチャの順番とは異なるからであ
る。

【０００８】また、ＰＴＳは、ＭＰＥＧ規格（ＩＳＯ１
１１７２−１、２、３）によれば、最大０．７秒の間隔
でフレームに付加されていればよいと、規定しているの
で、全ての画像フレーム及び音声フレームに必ず付いて
いる訳ではない。したがって、ＰＴＳを監視するだけで
は、ＰＴＳが記録してある間隔以下の精度では同期でき
ない場合があるという問題点がある。

【０００９】次に、上述の特開平６−１２１２７６号公
報によれば、画像処理をそのフレームで中断し、次のフ
レームの処理を再開するが、このような手法は、ＪＰＥ
Ｇ（Joint Photographic Expert Group ：ＩＳＯ１０９
１８準拠）のようなフレーム単位でデータが完結してい
る方式には適しているが、ＭＰＥＧのようなフレーム間
で予測するといった方式には適さない。なぜならば、Ｉ
ピクチャ（Intra-coded picture ：イントラ符号化画
像）又はＰピクチャ（Predictive-coded picture：前方
予測符号化画像）と呼ばれる画像フレームは、他のＰピ
クチャ及びＢピクチャ（Bidirectionally predictive-c
oded picture：両方向予測符号化画像）のデコード処理
に必要であるので、デコード処理を中断してその画像フ
レームを破棄することはできないからである。

【００１０】なお、ここで、Ｉピクチャとは、その１枚
だけで符号化が完結したピクチャであり、通常、静止画
はＩピクチャで構成される。また、Ｐピクチャは、予測
画像として、既に復号化された前のＩピクチャもしくは
Ｐピクチャを利用するピクチャである。さらに、Ｂピク
チャは、予測画像として、既に復号化された前後のＩピ
クチャもしくはＰピクチャを利用するピクチャで、この
Ｂピクチャは、画像データのデータ圧縮率が高いので、
動画ストリームで特に使用される。他に、Ｄピクチャ
（ＤＣ coded picuture ：ＤＣイントラ符号化画像）と
呼ばれる画像フレームがあるが、これは、通常使用しな
い特殊なピクチャである。

【００１１】そこで、本発明は、上記の点に着目してな
されたものであり、１フレーム単位の精度で又は再生す
べき画像データの最小画像再生時間単位の精度で時刻情
報を監視することができ、時刻情報を出力しないデコー
ダを用いても上記精度で画像及び音声の同期をとりつつ
再生することができる画像及び音声情報の再生システム
を得ることを目的とするものである。

【００１２】

【００１３】

【課題を解決するための手段】本発明に係る画像及び音
声情報の再生システムは、上記目的を達成するための手
段として、画像データ及び音声データから獲得される再
生すべき先頭の画像及び音声の時刻情報に基づいて再生
される現在出力中の再生画像及び再生音声の時刻情報を
フレーム単位で算出する時刻情報算出手段と、前記時刻
情報算出手段により算出された現在出力中の再生画像の
時刻情報と再生音声の時刻情報とから再生画像と再生音
声のいずれかが所定量以上進んでいるか否かを判定する
判定手段と、前記判定手段による判定の結果、再生画像
が再生音声より前記所定量以上進んでいる場合に画像再
生を遅延させるとともに、再生画像が再生音声より前記
所定量以上遅れている場合に画像再生を促進させる画像
再生制御手段と、遅延又は促進があってから所定時間を
経過したか否かを判断する手段とを備え、前記画像再生
制御手段が前記所定時間を経過したときのみ次の遅延又
は促進を行うよう構成したものである。

【００１４】また、本発明に係る画像及び音声情報の再
生システムは、上記目的を達成するための手段として、
画像データ及び音声データから獲得される再生すべき先
頭の画像及び音声の時刻情報に基づいて再生される現在
出力中の再生画像及び再生音声の時刻情報をフレーム単
位で算出する時刻情報算出手段と、前記時刻情報算出手
段により算出された現在出力中の再生画像の時刻情報と
再生音声の時刻情報とから再生画像と再生音声のいずれ
かが所定量以上進んでいるか否かを判定する判定手段
と、前記判定手段による判定の結果、再生画像が再生音
声より前記所定量以上進んでいる場合に画像再生を遅延
させるとともに、再生画像が再生音声より前記所定量以
上遅れている場合に画像再生を促進させる画像再生制御
手段とを備え、前記時刻情報算出手段として、再生され
ている画像及び音声のフレーム更新情報と再生画像及び
再生音声のフレームレート情報とに基づいて現在出力中
の再生画像及び再生音声の時刻情報をそれぞれ演算によ
り算出するよう構成されたものである。

【００１５】また、本発明に係る画像及び音声情報の再
生システムは、上記目的を達成するための手段として、
画像データ及び音声データから獲得される再生すべき先
頭の画像及び音声の時刻情報に基づいて再生される現在
出力中の再生画像及び再生音声の時刻情報をフレーム単
位で算出する時刻情報算出手段と、前記時刻情報算出手
段により算出された現在出力中の再生画像の時刻情報と
再生音声の時刻情報とから再生画像と再生音声のいずれ
かが所定量以上進んでいるか否かを判定する判定手段
と、前記判定手段による判定の結果、再生画像が再生音
声より前記所定量以上進んでいる場合に画像再生を遅延
させるとともに、再生画像が再生音声より前記所定量以
上遅れている場合に画像再生を促進させる画像再生制御
手段とを備え、前記時刻情報算出手段として、再生され
ている画像のフレーム更新情報と再生画像のフレームレ
ート情報とに基づいて現在出力中の再生画像の時刻情報
を演算により算出するとともに、前記音声データより再
生すべき音声の時刻情報を随時獲得し再生音声の時刻情
報として出力するよう構成されたものである。

【００１６】また、前記時刻情報算出手段として、前記
音声データより再生すべき音声の時刻情報が獲得できな
かった場合に、再生されている音声のフレーム更新情報
と再生音声のフレームレート情報とに基づいて現在出力
中の再生音声の時刻情報を演算により算出するよう構成
することができる。

【００１７】また、前記画像データ及び音声データは、
ＭＰＥＧ規格による圧縮データであり、前記画像及び音
声の時刻情報は、ＰＴＳとすることができる。

【００１８】また、前記画像再生制御手段として、再生
画像が再生音声より所定量以上進んでいる場合に、両者
の時刻情報が一致するまで画像フレームデータの再生を
一時停止させることにより画像再生を遅延させるよう構
成することができる。

【００１９】また、前記画像再生制御手段として、再生
画像が再生音声より所定量以上進んでいる場合に、画像
フレームデータの再生を１フレーム又１フィールド単位
で遅延させるよう構成することができる。

【００２０】また、前記画像再生制御手段として、画像
フレームデータのピクチャタイプがＢピクチャである場
合に、画像フレームデータの再生を１枚単位でスキップ
させるよう構成することができる。

【００２１】また、前記画像再生制御手段として、画像
フレームデータの再生がスキップされたことを判断した
場合に、再生画像の時刻情報に補正値を加算するよう構
成することができる。

【００２２】さらに、前記画像再生制御手段として、画
像フレームデータのピクチャタイプがＩピクチャ又はＰ
ピクチャのときは、画像フレームデータの再生をスキッ
プさせないよう構成することができる。

【００２３】

【００２４】

【作用】本発明に係る画像及び音声情報の再生システム
においては、時刻情報算出手段により、現在出力中の再
生画像及び再生音声の時刻情報がフレーム単位で算出さ
れ、判定手段により、現在出力中の再生画像の時刻情報
と再生音声の時刻情報との差分が所定値以上あり、かつ
再生画像の時刻情報が再生音声の時刻情報に対して所定
値より大きいと判定された場合には、画像再生制御手段
によって画像再生を遅延させるとともに、他方、再生画
像の時刻情報が再生音声に対し所定値より小さいと判定
された場合には、画像再生制御手段によって画像再生を
促進させるよう制御され、画像再生制御手段により、所
定時間を経過したときのみ次の遅延又は促進が行われる
ので、１フレーム単位の精度で時刻情報を監視すること
ができ、また、時刻情報を出力しないデコーダを用いて
も１画像フレーム単位の精度で画像及び音声の同期を実
現させることができ、また、音声に対して画像を合わせ
る方式を採用したため、音切れもなく同期再生を実行で
き、さらに、画像と音声の同期を徐々にとることがで
き、デコーダの負担が少なく、画像の動きに不自然さが
なくなる。

【００２５】また、本発明に係る画像及び音声情報の再
生システムにおいては、時刻情報算出手段により、現在
出力中の再生画像及び再生音声の時刻情報がフレーム単
位で算出され、判定手段により、現在出力中の再生画像
の時刻情報と再生音声の時刻情報との差分が所定値以上
あり、かつ再生画像の時刻情報が再生音声の時刻情報に
対し所定値より大きいと判定された場合には、画像再生
制御手段によって画像再生を遅延させるとともに、他
方、再生画像の時刻情報が再生音声に対し所定値より小
さいと判定された場合には、画像再生制御手段によって
画像再生を促進させるよう制御され、時刻情報算出手段
により、再生されている画像及び音声のフレーム更新情
報と再生画像及び再生音声のフレームレート情報とに基
づいて現在出力中の再生画像及び再生音声の時刻情報が
それぞれ演算により算出されるので、１フレーム単位の
精度で時刻情報を監視することができ、また、時刻情報
を出力しないデコーダを用いても１画像フレーム単位の
精度で画像及び音声の同期を実現させることができ、ま
た、音声に対して画像を合わせる方式を採用したため、
音切れもなく同期再生を実行でき、さらに、時刻情報を
出力しないデコーダを用いた場合であっても、現在出力
中の再生画像の時刻情報と再生音声の時刻情報とを確実
に算出することができる。

【００２６】また、本発明に係る画像及び音声情報の再
生システムにおいては、時刻情報算出手段により、現在
出力中の再生画像及び再生音声の時刻情報がフレーム単
位で算出され、判定手段により、現在出力中の再生画像
の時刻情報と再生音声の時刻情報との差分が所定値以上
あり、かつ再生画像の時刻情報が再生音声の時刻情報に
対して所定値より大きいと判定された場合には、画像再
生制御手段によって画像再生を遅延させるとともに、他
方、再生画像の時刻情報が再生音声に対し所定値より小
さいと判定された場合には、画像再生制御手段によって
画像再生を促進させるよう制御され、時刻情報算出手段
により、再生されている画像のフレーム更新情報と再生
画像のフレームレート情報とに基づいて現在出力中の再
生画像の時刻情報が演算により算出されるとともに、前
記音声データより再生すべき音声の時刻情報が随時獲得
され再生音声の時刻情報として出力されるので、１フレ
ーム単位の精度で時刻情報を監視することができ、ま
た、時刻情報を出力しないデコーダを用いても１画像フ
レーム単位の精度で画像及び音声の同期を実現させるこ
とができ、また、音声に対して画像を合わせる方式を採
用したため、音切れもなく同期再生を実行でき、さら
に、音声のフレーム更新情報が出力されない場合であっ
ても有効であり、現在出力中の再生音声の時刻情報とを
確実に得ることができる。

【００２７】また、前記時刻情報算出手段により、前記
音声データより再生すべき音声の時刻情報が獲得できな
かった場合に、再生されている音声のフレーム更新情報
と再生音声のフレームレート情報とに基づいて現在出力
中の再生音声の時刻情報を演算により算出するようにし
たので、音声データより再生すべき音声の時刻情報が獲
得できなかった場合であっても有効であり、現在出力中
の再生音声の時刻情報とを演算によって確実に算出する
ことができる。

【００２８】また、前記画像データ及び音声データをＭ
ＰＥＧ規格による圧縮データとするとともに、前記画像
及び音声の時刻情報をＰＴＳとすることにより、ＭＰＥ
Ｇ規格による圧縮データを採用したものにおいても、Ｍ
ＰＥＧのデコーダ処理に破綻をきたすことなく、同期さ
せることができる。

【００２９】また、前記画像再生制御手段により、再生
画像の時刻情報が再生音声の時刻情報に対し所定値より
大きい場合に、時刻情報が一致するまで画像フレームデ
ータの再生を一時停止させるようにしたので、画像再生
が進んでいる場合に、画像フレームデータの表示及びデ
コードを時刻情報が一致するまで遅延させて、音声再生
との同期を実現できる。

【００３０】また、前記画像再生制御手段により、再生
画像の時刻情報が再生音声の時刻情報に対し所定値より
大きい場合に、画像フレームデータの再生を１フレーム
単位又は１フィールド単位で遅延させるようにしたの
で、画像再生が進んでいる場合に、画像フレームデータ
の表示及びデコードを１フレーム単位又は１フィールド
単位でで遅延させて、音声再生との同期を実現できる。

【００３１】また、前記画像再生制御手段により、再生
画像の時刻情報が再生音声の時刻情報に対し所定値より
小さい場合であり、かつ画像フレームデータのピクチャ
タイプがＢピクチャである場合は、画像フレームデータ
の再生を１枚単位でスキップさせるようにしたので、画
像再生が遅れている場合に、画像フレームデータの表示
及びデコードを１枚単位でスキップさせて、音声再生と
の同期を実現できる。

【００３２】また、前記画像再生制御手段により、画像
フレームデータの再生がスキップされたことを判断した
場合に、再生画像の時刻情報に補正値を加算するように
したので、再生画像のスキップ実行による同期処理時に
も再生画像の時刻情報を適切に補正することができる。

【００３３】さらに、前記画像再生制御手段により、再
生画像の時刻情報が再生音声の時刻情報に対し所定値よ
り小さい場合であり、かつ画像フレームデータのピクチ
ャタイプがＢピクチャでない場合に、画像再生が促進さ
れるのをパスさせるようにしたので、再生画像が遅れて
いる場合で、画像フレームデータのピクチャタイプがＩ
ピクチャ又はＰピクチャの場合に、ＭＰＥＧの性質に適
合させるべくピクチャデータを破棄せず、かつ画像再生
を促進させることもなく、したがって、デコーダ処理を
中断させることなく、また促進処理時の負荷もかけるこ
とがない。

【００３４】

【実施例】以下、添付図面を参照して本発明の一実施例
について説明する。図１は本発明の実施例に適用する画
像及び音声情報の再生システムの概念を説明するブロッ
ク図である。図１に示す画像及び音声情報の再生システ
ムは、ＣＰＵ（中央演算処理装置）やメモリなどを含む
中央処理部１、画像データ及び音声データが記録された
情報記憶媒体としての光ディスク２、光ディスク２に記
録された情報を読み出すための光ディスク読み出し制御
部３、ローカルバス４、該ローカルバス４を介して入力
される光ディスク読み出し制御部３からの画像データを
処理する画像処理部５、その処理結果を表示する表示装
置６、ローカルバス４を介して入力される光ディスク読
み出し制御部３からの音声データを処理する音声処理部
７、その処理結果を出力するスピーカ８、光ディスク読
み出し制御部３からの画像及び音声データを格納するた
めのバッファメモリ９、ローカルバス４を介して中央処
理部１との間で制御要求等をやり取りする外部システム
１０、この外部システム１０とローカルバス４との間の
インターフェイス機能を果たすバスインターフェイス１
１を備えている。なお、図１では、記録媒体の一例とし
て、光ディスク２を想定しているが、これを、ハードデ
ィスクやフロッピィーディスク又はＲＯＭなどに置き換
えてもよい。

【００３５】次に、前記構成に係る画像及び音声情報の
再生システムの動作について説明する。外部システム１
０により、バスインターフェイス部１１及びローカルバ
ス４を介して、中央処理部１に対して、画像処理部５と
音声処理部７及び光ディスク読み出し制御部３の制御要
求が出されると、中央処理部１は、この制御要求を受け
て、光ディスク２に記録された情報を光ディスク読み出
し制御部３により読み出し、光ディスク２に記録された
情報の内容を判断する。

【００３６】中央処理部１は、光ディスク２に記録され
た情報が画像データであれば、ローカルバス４を介して
画像処理部５にデータを転送し、この画像処理部５によ
る処理結果を表示装置６に表示する。また、光ディスク
２に記録された情報が音声データであれば、ローカルバ
ス４を介して音声処理部７にデータを転送し、この音声
処理部７による処理結果をスピーカ８より出力する。一
方、光ディスク２に記録された情報が画像データや音声
データでない場合、画像データや音声データであっても
直ちに処理する必要がない場合、又はデータの内容を中
央処理部１によって解析する必要がある場合には、バッ
ファメモリ９にデータを格納する。

【００３７】また、図２は本発明による具体的な画像及
び音声情報の再生システムの実施例を示すブロック図で
ある。なお、図２に示す実施例において、図１と同一の
部分は同一符号を付す。また、図１では記録媒体として
光ディスク２を想定したが、この図２では記録媒体とし
てコンパクトディスク（ＣＤ）１２を採用するととも
に、画像データ及び音声データとして、ＭＰＥＧ規格に
よる圧縮データをそれぞれ採用しており、これに伴い、
図１に示す光ディスク読み出し制御部３、画像処理部
５、音声処理部７に対応するものとして、ＣＤ読み出し
制御部１３、ＭＰＥＧ画像処理部１５、ＭＰＥＧ音声処
理部１７を採用している。

【００３８】次に、図２に示す構成に係る画像及び音声
情報の再生システムの動作を、図３に示す音声フレーム
更新情報を受信したときの中央処理部１による音声フレ
ーム処理フローチャート及び図４に示す画像フレーム更
新情報を受信したときの中央処理部１による画像フレー
ム処理フローチャートを参照して説明する。この図３及
び図４に示すフローチャートは、いずれも中央処理部１
による処理を示すものであるが、ここで、ステップＳ３
０１とＳ４０１は、画像データ及び音声データから獲得
される再生すべき先頭の画像及び音声の時刻情報に基づ
いて再生される現在出力中の再生画像及び再生音声の時
刻情報をフレーム単位で算出する時刻情報算出手段を構
成し、また、ステップＳ４０２〜Ｓ４０４は、その時刻
情報算出手段により算出された現在出力中の再生画像の
時刻情報と再生音声の時刻情報との差分が所定値以上あ
り、かつ再生画像の時刻情報が再生音声の時刻情報より
所定値より大きいか否かを判定する判定手段を構成し、
さらに、ステップＳ４０５〜Ｓ４１１は、その判定手段
による判定結果、再生画像の時刻情報が再生音声の時刻
情報に対し所定値より大きい場合に画像再生を遅延させ
るとともに、再生画像の時刻情報が再生音声に対し所定
値より小さい場合に画像再生を促進させ、また、再生画
像の時刻情報が再生音声の時刻情報に対し所定値より小
さい場合であり、かつ画像フレームデータのピクチャタ
イプがＢピクチャである場合は、画像フレームデータの
再生をスキップさせる画像再生制御手段を構成してい
る。

【００３９】まず、外部システム１０により、バスイン
ターフェイス部１１とローカルバス４を介して、中央処
理部１に対して、制御要求が発行されると、中央処理部
１は、この制御要求に基づいてＣＤ読み出し制御部１３
を制御し、読み出された画像圧縮データ及び音声圧縮デ
ータをバッファメモリ９に格納し、バッファメモリ９に
格納された画像圧縮データ及び音声圧縮データより再生
すべき先頭の画像のＰＴＳ及び音声のＰＴＳを獲得す
る。そして、ＭＰＥＧ画像処理部１５及びＭＰＥＧ音声
処理部１７を制御し、表示装置６及びスピーカ８からの
画像と音声の再生を開始する。

【００４０】これに基づき、ＭＰＥＧ画像処理部１５
は、表示している画像が更新された場合、画像フレーム
更新情報をローカルバス４を介して中央処理部１に随時
出力する。同様に、ＭＰＥＧ音声処理部１７は、出力し
ている音声が更新された場合、音声フレーム更新情報を
ローカルバス４を介して中央処理部１に随時出力する。
中央処理部１は、画像フレーム更新情報及び音声フレー
ム更新情報を監視し、ＭＰＥＧ画像処理部１５及びＭＰ
ＥＧ音声処理部１６で獲得される画像フレームレート及
び音声フレームレートの情報から現在出力中の画像のＰ
ＴＳ及び音声のＰＴＳを演算により算出し、算出された
画像及び音声のフレームレートに応じた値を画像及び音
声ＰＴＳに加算する（ステップＳ４０１、Ｓ３０１）。
なお、画像フレームレート及び音声フレームレートの情
報は、ＭＰＥＧ画像処理部１５及びＭＰＥＧ音声処理部
１７から獲得するが、ＣＤ読み出し制御部１３から読み
出された画像圧縮データ及び音声圧縮データから中央処
理部１が直接獲得する方法もある。

【００４１】ここで、仮に、ＭＰＥＧ画像圧縮データの
フレームレートが２９．９７Ｈｚであるとすると、１回
の画像フレーム更新情報につき３００３を画像ＰＴＳに
加算する。また、ＭＰＥＧ音声圧縮データがレイヤー２
（サンプリング周波数４４．１ｋＨｚ）とすると、１回
の音声フレーム更新情報につき２３５１を音声ＰＴＳに
加算する。そして、現在の音声再生に対して、所定の値
より画像再生が遅れているか、又は進んでいるかを判断
する（ステップＳ４０２〜Ｓ４０４）。

【００４２】なお、上述の所定の値とは、ＡＶ同期誤差
の主観評価実験によれば、「音声が２０ｍｓ先行ないし
５０ｍｓ遅延の範囲でほとんど検知されない」とあるの
で、１〜２画像フレームがよいと考えられるが、遅延等
の命令の処理時間が使用しているデコーダによって違う
場合があるため、システム上の最適値に設定する必要が
ある。よって、本実施例では、ｎ画像フレームとする。
ステップＳ４０３でＹＥＳなら、画像再生制御間隔が所
定時間ｍを超えているか否かを判断する（ステップＳ４
１２）。この画像再生制御間隔とは、後述の遅延、促
進、スキップなどの画像信号の時間軸制御がなされた後
の経過時間を言う。すなわち、所定時間ｍを０．２秒に
設定すれば、１秒間に最大５回、ＮＴＳＣ方式の場合、
最大約６コマに１回の割合でしか時間軸制御が行われな
いようになる。ステップＳ４１２でＹＥＳならば、画像
ＰＴＳと音声ＰＴＳを比較し、いずれが大きいかを判断
する（ステップＳ４０４）。

【００４３】上述のＰＴＳの比較による判断結果、画像
ＰＴＳの値が音声ＰＴＳの値より大きい場合、つまり画
像再生が音声再生に対して所定量以上進んでいる場合
は、画像フレームデータの表示及びデコードを遅延させ
る命令をローカルバス４を介してＭＰＥＧ画像処理部１
５に発行する（ステップＳ４０５）。他方、画像ＰＴＳ
の値が音声ＰＴＳの値より大きくない場合、つまり画像
再生が音声再生に対して所定量以上遅れている場合で
は、その時点で、次にデコードすべき画像フレームデー
タのピクチャタイプをローカルバス４を介してＭＰＥＧ
画像処理部１５から獲得し、判断する（ステップＳ４０
６、Ｓ４０７）。

【００４４】そして、そのピクチャがＢピクチャか否か
を判断し（ステップＳ４０７）、Ｂピクチャでない場
合、つまりＩピクチャ又はＰピクチャの場合は、画像フ
レームデータの表示を促進させる命令をローカルバス４
を介してＭＰＥＧ画像処理部１５に発行する（ステップ
Ｓ４０８）。他方、Ｂピクチャの場合は、画像フレーム
データのデコードを１枚単位でスキップさせる命令をロ
ーカルバス４を介してＭＰＥＧ画像処理部１５に発行す
る（ステップＳ４１０）。

【００４５】このように、画像ＰＴＳの値が音声ＰＴＳ
の値より大きくない場合、つまり画像再生が遅れている
場合に、その時点で、次にデコードすべき画像フレーム
データのピクチャタイプで、処理を変える理由は、ＭＰ
ＥＧのように、フレーム間予測方式の場合、Ｉピクチャ
やＰピクチャは、他のピクチャを作成するときに必要と
なるので、デコードをスキップすることはできないため
である。そして、スキップした場合は、スキップしたと
いう情報を確認し（ステップＳ４１１）、その後、補正
値を演算により画像ＰＴＳに反映させる（ステップＳ４
０９）。

【００４６】ここで、スキップしたという情報とは、Ｌ
ＳＩからのスキップしたという情報や、デコードすべき
ピクチャ数と表示したピクチャ数を所定時間カウントし
てそれを比較することにより得る。また、スキップした
という情報がない場合は、スキップされたと推測される
所定の間隔をおいてから、補正値を演算により画像のＰ
ＴＳに反映させるというものでもよい。なお、上述の画
像フレームデータの表示及びデコードを遅延させる命令
というのは、ＰＴＳが一致するまで一時停止する命令で
もよいし、１フレーム単位で遅延させる命令でもよい
し、１フィールド単位で遅延させる命令でもよい。

【００４７】また、画像再生が遅れている場合の処理
は、ＬＳＩがＢピクチャの画像フレームデータのデコー
ドを１枚単位でスキップさせる命令を持っていれば、そ
の命令をローカルバス４を介してＭＰＥＧ画像処理部１
５に発行するというものでもよい。また、画像再生が遅
れている場合の処理は、その時点で次にデコードすべき
画像フレームデータのピクチャタイプをローカルバス４
を介してＭＰＥＧ画像処理部１５から獲得し、Ｉピクチ
ャ又はＰピクチャのとき、遅延や促進といった時間軸制
御を行わず、すなわち、ステップＳ４０８で画像再生が
促進されるのをパスさせるようにしてＭＰＥＧの性質に
適合させるべくピクチャデータを破棄せず、また画像再
生を促進させることもなく、したがって、デコーダ処理
を中断させることなく、かつ促進処理時の負荷もかける
ことがなく、同期処理を実行するようにしてもよい。図
５はかかる制御を示すフローチャートであり、図４との
差異はステップＳ４０８を省いたところにある。

【００４８】また、Ｂピクチャの場合に、画像フレーム
データのデコードを１枚単位でスキップさせる命令をロ
ーカルバス４を介してＭＰＥＧ画像処理部１５に発行す
るというものでもよい。また、画像再生が遅れている場
合の処理は、画像フレームデータの表示を促進させる命
令をローカルバス４を介してＭＰＥＧ画像処理部１５に
発行するというものでもよい。

【００４９】なお、他の実施例としては、中央処理部１
が音声データより随時ＰＴＳが獲得できる場合では、そ
の値に固定遅延値を加えＰＴＳを更新する。これは、音
声データの場合、画像データのように入力データの順番
と出力の順番が異なることはないので、固定遅延だけ考
えればよいためである。この実施例では、音声フレーム
更新情報を出力しない場合においても有効である。

【００５０】また、他の実施例としては、中央処理部１
が音声データより間欠的にＰＴＳが獲得できる場合で
は、上述の音声フレーム更新情報による演算と併用し、
音声フレームが更新された時点で、音声データよりＰＴ
Ｓが獲得できなかった場合は、演算によりＰＴＳを更新
し、獲得できた場合、その値に固定遅延値を加え、ＰＴ
Ｓを更新する方法がある。このような方法により、同期
処理を行う。

【００５１】上記図４及び図５の例では、画像再生が音
声再生より遅れているときは、ステップＳ４０７でピク
チャタイプを判断して、処理を変更しているが、より簡
便な手法としては、図６に示すようにステップＳ４０４
でＮＯのとき、ピクチャタイプを判断せずに画像処理部
に促進命令を発行するステップＳ４０８を実行するよう
にしてもよい。図６の方法では、画像再生が音声再生よ
り所定量以上遅れているときは、ピクチャタイプを判断
せずに画像処理部に促進命令を発行しているので、コマ
落ちがなく（全てのコマが時間短縮されて表示され
る）、全てのコマについてデコードが行われる。これに
対して、図４、図５ではＢピクチャでスキップが行われ
るので、コマ落ちがある（表示されないコマがある）
が、その分デコード量が減少するのでデコーダの負担は
軽い。また図５では、促進を行わないのデコーダの負荷
が最も軽くなる。

【００５２】なお、図４乃至図６において、ステップＳ
４１２はステップＳ４０３とステップＳ１４０４の間に
設けられているが、必ずしもここでなくともよい。ま
た、所定時間ｍを０とすることもできる。すなわち、ス
テップＳ４１２を省区こともできる。

【００５３】

【００５４】

【発明の効果】以上説明したように、本発明の画像及び
音声情報の再生システムによれば、時刻情報算出手段に
より、現在出力中の再生画像及び再生音声の時刻情報が
フレーム単位で算出され、判定手段により、現在出力中
の再生画像の時刻情報と再生音声の時刻情報との差分が
所定値以上あり、かつ再生画像の時刻情報が再生音声の
時刻情報に対して所定値より大きいと判定された場合に
は、画像再生制御手段によって画像再生を遅延させると
ともに、他方、再生画像の時刻情報が再生音声に対し所
定値より小さいと判定された場合には、画像再生制御手
段によって画像再生を促進させるよう制御され、画像再
生制御手段により、前記所定時間を経過したときのみ次
の遅延又は促進が行われるので、１フレーム単位の精度
で時刻情報を監視することができ、また、時刻情報を出
力しないデコーダを用いても１画像フレーム単位の精度
で画像及び音声の同期を実現させることができ、音声に
対して画像を合わせる方式を採用したため、音切れもな
く同期を実行でき、画像と音声の同期を徐々にとること
ができ、デコーダの負担が少なく、画像の動きに不自然
さがなくなるという効果がある。なお、時刻情報の監視
は上記実施例では１フレーム単位の精度であるが、再生
すべき画像データの最小画像再生時間単位の精度とする
ことができる。

【００５５】また、本発明に係る画像及び音声情報の再
生システムによれば、時刻情報算出手段により、現在出
力中の再生画像及び再生音声の時刻情報がフレーム単位
で算出され、判定手段により、現在出力中の再生画像の
時刻情報と再生音声の時刻情報との差分が所定値以上あ
り、かつ再生画像の時刻情報が再生音声の時刻情報に対
して所定値より大きいと判定された場合には、画像再生
制御手段によって画像再生を遅延させるとともに、他
方、再生画像の時刻情報が再生音声に対し所定値より小
さいと判定された場合には、画像再生制御手段によって
画像再生を促進させるよう制御され、時刻情報算出手段
により、再生されている画像及び音声のフレーム更新情
報と再生画像及び再生音声のフレームレート情報とに基
づいて現在出力中の再生画像及び再生音声の時刻情報が
それぞれ演算により算出されるので、１フレーム単位の
精度で時刻情報を監視することができ、また、時刻情報
を出力しないデコーダを用いても１画像フレーム単位の
精度で画像及び音声の同期を実現させることができ、ま
た、音声に対して画像を合わせる方式を採用したため、
音切れもなく同期再生を実行でき、さらに、時刻情報を
出力しないデコーダを用いた場合であっても、現在出力
中の再生画像の時刻情報と再生音声の時刻情報とを確実
に算出することができるという効果がある。

【００５６】また、本発明に係る画像及び音声情報の再
生システムよれば、時刻情報算出手段により、現在出力
中の再生画像及び再生音声の時刻情報がフレーム単位で
算出され、判定手段により、現在出力中の再生画像の時
刻情報と再生音声の時刻情報との差分が所定値以上あ
り、かつ再生画像の時刻情報が再生音声の時刻情報に対
して所定値より大きいと判定された場合には、画像再生
制御手段によって画像再生を遅延させるとともに、他
方、再生画像の時刻情報が再生音声に対し所定値より小
さいと判定された場合には、画像再生制御手段によって
画像再生を促進させるよう制御され、時刻情報算出手段
により、再生されている画像のフレーム更新情報と再生
画像のフレームレート情報とに基づいて現在出力中の再
生画像の時刻情報が演算により算出されるとともに、前
記音声データより再生すべき音声の時刻情報が随時獲得
され再生音声の時刻情報として出力されるので、１フレ
ーム単位の精度で時刻情報を監視することができ、ま
た、時刻情報を出力しないデコーダを用いても１画像フ
レーム単位の精度で画像及び音声の同期を実現させるこ
とができ、また、音声に対して画像を合わせる方式を採
用したため、音切れもなく同期再生を実行でき、さら
に、音声のフレーム更新情報が出力されない場合であっ
ても有効であり、現在出力中の再生音声の時刻情報とを
確実に得ることができるという効果がある。

【００５７】また、時刻情報算出手段により、音声デー
タより再生すべき音声の時刻情報が獲得できなかった場
合に、再生されている音声のフレーム更新情報と再生音
声のフレームレート情報とに基づいて現在出力中の再生
音声の時刻情報を演算により算出するようにしたので、
音声データより再生すべき音声の時刻情報が獲得できな
かった場合であっても有効であり、現在出力中の再生音
声の時刻情報とを演算によって確実に算出することがで
きるという効果がある。

【００５８】また、画像データ及び音声データをＭＰＥ
Ｇ規格による圧縮データとするとともに、画像及び音声
の時刻情報をＰＴＳとすることにより、ＭＰＥＧ規格に
よる圧縮データを採用したものにおいても、ＭＰＥＧの
デコーダ処理に破綻をきたすことなく、同期させること
ができるという効果がある。

【００５９】また、画像再生制御手段により、再生画像
の時刻情報が再生音声の時刻情報に対し所定値より大き
い場合に、時刻情報が一致するまで画像フレームデータ
の再生を一時停止させるようにしたので、画像再生が進
んでいる場合に、画像フレームデータの表示及びデコー
ドを時刻情報が一致するまで遅延させて、音声再生との
同期を実現できるという効果がある。

【００６０】また、画像再生制御手段により、再生画像
の時刻情報が再生音声の時刻情報に対し所定値より大き
い場合に、画像フレームデータの再生を１フレーム単位
で遅延させるようにしたので、画像再生が進んでいる場
合に、画像フレームデータの表示及びデコードを１フレ
ーム単位で遅延させて、音声再生との同期を実現できる
という効果がある。

【００６１】また、画像再生制御手段により、再生画像
の時刻情報が再生音声の時刻情報に対し所定値より大き
い場合に、画像フレームデータの再生を１フィールド単
位で遅延させるようにしたので、画像再生が進んでいる
場合に、画像フレームデータの表示及びデコードを１フ
ィールド単位で遅延させて、音声再生との同期を実現で
きるという効果がある。

【００６２】また、画像再生制御手段により、再生画像
の時刻情報が再生音声の時刻情報に対し所定値より小さ
い場合であり、かつ画像フレームデータのピクチャタイ
プがＢピクチャである場合は、画像フレームデータの再
生を１枚単位でスキップさせるようにしたので、画像再
生が遅れている場合に、画像フレームデータの表示及び
デコードを１枚単位でスキップさせて、音声再生との同
期を実現できるという効果がある。

【００６３】また、画像再生制御手段により、画像フレ
ームデータの再生がスキップされたことを判断した場合
に、再生画像の時刻情報に補正値を加算するようにした
ので、再生画像のスキップ実行による同期処理時にも再
生画像の時刻情報を適切に補正することができるという
効果がある。

【００６４】さらに、画像再生制御手段により、再生画
像の時刻情報が再生音声の時刻情報に対し所定値より小
さい場合であり、かつ画像フレームデータのピクチャタ
イプがＢピクチャでない場合に、画像再生が促進される
のをパスさせるようにしたので、再生画像が遅れている
場合で、画像フレームデータのピクチャタイプがＩピク
チャ又はＰピクチャの場合に、ＭＰＥＧの性質に適合さ
せるべくピクチャデータを破棄せず、また画像再生を促
進させることもなく、したがって、デコーダ処理を中断
させることなく、かつ促進処理時の負荷もかけることが
なく、同期処理を実行できるという効果がある。

【図面の簡単な説明】

【図１】本発明の画像及び音声情報の再生システムの好
ましい実施例に適用するシステムの概念を説明するブロ
ック図である。

【図２】本発明によるシステムの実施例を示すブロック
図である。

【図３】本発明によるシステムの実施例の動作を示すも
ので、音声フレーム更新信号を受信したときの中央処理
部１の処理のフローチャートである。

【図４】本発明によるシステムの実施例の動作を示すも
ので、画像フレーム更新信号を受信したときの中央処理
部１の処理のフローチャートである。

【図５】本発明によるシステムの他の実施例の動作を示
すもので、画像フレーム更新信号を受信したときの中央
処理部１の処理のフローチャートである。

【図６】本発明によるシステムの更に他の実施例の動作
を示すもので、画像フレーム更新信号を受信したときの
中央処理部１の処理のフローチャートである。

【符号の説明】

１ 中央処理部（時刻情報演算手段、判定手段、画像再
生制御手段） ２ 光ディスク ３ 光ディスク読み出し制御部 ４ ローカルバス ５ 画像処理部 ６ 表示装置 ７ 音声処理部 ８ スピーカ ９ バッファメモリ １０ 外部システム １１ バスインターフェイス部 １２ コンパクトディスク（ＣＤ） １３ ＣＤ読み出し制御部 １５ ＭＰＥＧ画像処理部 １７ ＭＰＥＧ音声処理部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 七條 俊一 神奈川県横浜市神奈川区守屋町３丁目12 番地 日本ビクター株式会社内 (72)発明者 大塚 伸二 東京都千代田区神田駿河台４丁目６番地 株式会社日立製作所内 (72)発明者 伊藤 保 東京都千代田区神田駿河台４丁目６番地 株式会社日立製作所内 (56)参考文献 特開 平８−212701（ＪＰ，Ａ) 特開 平６−237437（ＪＰ，Ａ) 特開 平７−170490（ＪＰ，Ａ) 特開 平６−121276（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/91 - 5/956 H04N 5/85 H04N 7/24 - 7/68 G11B 20/10 - 20/12

Claims (12)

(57)【特許請求の範囲】
1. 【請求項１】 画像データ及び音声データから獲得され
   る再生すべき先頭の画像及び音声の時刻情報に基づいて
   再生される現在出力中の再生画像及び再生音声の時刻情
   報をフレーム単位で算出する時刻情報算出手段と、 前記時刻情報算出手段により算出された現在出力中の再
   生画像の時刻情報と再生音声の時刻情報とから再生画像
   と再生音声のいずれかが所定量以上進んでいるか否かを
   判定する判定手段と、 前記判定手段による判定の結果、再生画像が再生音声よ
   り前記所定量以上進んでいる場合に画像再生を遅延させ
   るとともに、再生画像が再生音声より前記所定量以上遅
   れている場合に画像再生を促進させる画像再生制御手段
   と、 前記遅延又は促進があってから所定時間を経過したか否
   かを判断する手段とを有し、 前記画像再生制御手段が前記所定時間を経過したときの
   み次の遅延又は促進を行うよう構成されている画像及び
   音声情報の再生システム。
2. 【請求項２】 前記時刻情報算出手段は、再生されてい
   る画像及び音声のフレーム更新情報と再生画像及び再生
   音声のフレームレート情報とに基づいて現在出力中の再
   生画像及び再生音声の時刻情報をそれぞれ演算により算
   出するものである請求項１記載の画像及び音声情報の再
   生システム。
3. 【請求項３】 画像データ及び音声データから獲得され
   る再生すべき先頭の画像及び音声の時刻情報に基づいて
   再生される現在出力中の再生画像及び再生音声の時刻情
   報をフレーム単位で算出する時刻情報算出手段と、 前記時刻情報算出手段により算出された現在出力中の再
   生画像の時刻情報と再生音声の時刻情報とから再生画像
   と再生音声のいずれかが所定量以上進んでいるか否かを
   判定する判定手段と、 前記判定手段による判定の結果、再生画像が再生音声よ
   り前記所定量以上進んでいる場合に画像再生を遅延させ
   るとともに、再生画像が再生音声より前記所定量以上遅
   れている場合に画像再生を促進させる画像再生制御手段
   とを有し、 前記時刻情報算出手段は、再生されている画像及び音声
   のフレーム更新情報と再生画像及び再生音声のフレーム
   レート情報とに基づいて現在出力中の再生画像及び再生
   音声の時刻情報をそれぞれ演算により算出するものであ
   る画像及び音声情報の再生システム。
4. 【請求項４】 画像データ及び音声データから獲得され
   る再生すべき先頭の画像及び音声の時刻情報に基づいて
   再生される現在出力中の再生画像及び再生音声の時刻情
   報をフレーム単位で算出する時刻情報算出手段と、 前記時刻情報算出手段により算出された現在出力中の再
   生画像の時刻情報と再生音声の時刻情報とから再生画像
   と再生音声のいずれかが所定量以上進んでいるか否かを
   判定する判定手段と、 前記判定手段による判定の結果、再生画像が再生音声よ
   り前記所定量以上進んでいる場合に画像再生を遅延させ
   るとともに、再生画像が再生音声より前記所定量以上遅
   れている場合に画像再生を促進させる画像再生制御手段
   とを有し、 前記時刻情報算出手段は、再生されている画像のフレー
   ム更新情報と再生画像のフレームレート情報とに基づい
   て現在出力中の再生画像の時刻情報を演算により算出す
   るとともに、前記音声データより再生すべき音声の時刻
   情報を随時獲得し再生音声の時刻情報として出力するも
   のである画像及び音声情報の再生システム。
5. 【請求項５】 前記時刻情報算出手段は、再生されてい
   る画像のフレーム更新情報と再生画像のフレームレート
   情報とに基づいて現在出力中の再生画像の時刻情報を演
   算により算出するとともに、前記音声データより再生す
   べき音声の時刻情報を随時獲得し再生音声の時刻情報と
   して出力するものである請求項１ないし３のいずれか１
   つに記載の画像及び音声情報の再生システム。
6. 【請求項６】 前記時刻情報算出手段は、前記音声デー
   タより再生すべき音声の時刻情報が獲得できなかった場
   合に、再生されている音声のフレーム更新情報と再生音
   声のフレームレート情報とに基づいて現在出力中の再生
   音声の時刻情報を演算により算出するものである請求項
   ４又は５記載の画像及び音声情報の再生システム。
7. 【請求項７】 前記画像データ及び音声データは、ＭＰ
   ＥＧ(Moving Picture Expert Group) 規格による圧縮デ
   ータであり、前記画像及び音声の時刻情報は、ＰＴＳ(P
   resentation Time−Stamps) である請求項１ないし６の
   いずれか１つに記載の画像及び音声情報の再生システ
   ム。
8. 【請求項８】 前記画像再生制御手段は、再生画像が再
   生音声より所定量以上進んでいる場合に、両者の時刻情
   報が一致するまで画像フレームデータの再生を一時停止
   させることにより画像再生を遅延させるものである請求
   項７記載の画像及び音声情報の再生システム。
9. 【請求項９】 前記画像再生制御手段は、再生画像が再
   生音声より所定量以上進んでいる場合に、画像フレーム
   データの再生を１フレーム又は１フィールド単位で遅延
   させるものである請求項７記載の画像及び音声情報の再
   生システム。
10. 【請求項１０】 前記画像再生制御手段は、再生画像が
    再生音声より所定量以上遅れている場合に、画像フレー
    ムデータのピクチャタイプがＢピクチャ（Bidirectiona
    lly predictive-coded picture：両方向予測符号化画
    像）であるときは、画像フレームデータの再生を１枚単
    位でスキップさせるものである請求項７ないし９のいず
    れか１つに記載の画像及び音声情報の再生システム。
11. 【請求項１１】 前記画像再生制御手段は、画像フレー
    ムデータの再生がスキップされたことを判断した場合
    に、再生画像の時刻情報に補正値を加算するものである
    請求項１０記載の画像及び音声情報の再生システム。
12. 【請求項１２】 前記画像再生制御手段は、再生画像が
    再生音声より所定量以上遅れている場合であっても、画
    像フレームデータのピクチャタイプがＩピクチャ又はＰ
    ピクチャのときは、前記遅延を実行しないものである請
    求項７ないし９のいずれか１つに記載の画像及び音声情
    報の再生システム。