JP3906712B2 - データストリーム処理装置 - Google Patents
データストリーム処理装置 Download PDFInfo
- Publication number
- JP3906712B2 JP3906712B2 JP2002050669A JP2002050669A JP3906712B2 JP 3906712 B2 JP3906712 B2 JP 3906712B2 JP 2002050669 A JP2002050669 A JP 2002050669A JP 2002050669 A JP2002050669 A JP 2002050669A JP 3906712 B2 JP3906712 B2 JP 3906712B2
- Authority
- JP
- Japan
- Prior art keywords
- data stream
- unit
- data
- image
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4347—Demultiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
- H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Time-Division Multiplex Systems (AREA)
- Synchronisation In Digital Transmission Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像情報や音声情報等を含んだデータに対して、符号化や復号化等の処理を行うデータストリーム処理装置に関する。
【０００２】
【従来の技術】
映像や音声の情報を圧縮する方式の１つに、国際規格のＭＰＥＧ２がある。ＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２）は、映像、音声を個別に圧縮し、圧縮された映像や音声、及びデータ等を同期化して多重化する方式で、蓄積メディアやネットワークなどに適合する。ＭＰＥＧ２には、１つのプログラムの多重・分離方式であるＭＰＥＧ２−ＰＳ（Ｐｒｏｇｒａｍ Ｓｔｒｅａｍ）及びマルチプログラムに対応したＭＰＥＧ２−ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）の２種類の方式がある。ＭＰＥＧ２−ＴＳは、複数のプログラムデータを１つの連続的データ（以下「データストリーム」）として扱うことができるため、テレビ放送などに主に用いられる。
【０００３】
ＭＰＥＧ２−ＴＳによって圧縮されるデータには、映像や音声の各フレームを復号化する時刻、再生する時刻として、再生時刻情報（ＰＴＳ）、復号時刻情報（ＤＴＳ）が含まれる。また、圧縮されたデータを復号する復号化装置（以下、「復号化装置」）側の時刻の基準となるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）の値を、データを圧縮する符号化装置（以下、「符号化装置」）側で意図した値になるように補正するために復号化装置で使用される、ＳＣＲ（Ｓｙｓｔｅｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）及びＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）の２種類の時刻情報も、圧縮されたデータに含まれる。
【０００４】
ここで、復号化装置側でＰＣＲを用いてＳＴＣを補正しなければ、符号化装置側のシステムクロックに対し、復号化装置側のＳＴＣが徐々にずれる現象が発生する。復号化装置側のＳＴＣが、符号化装置側のシステムクロックよりも前にずれる場合、符号化装置からデータストリームが完全に到着する前、すなわち、映像データや音声データを含むデータストリームを格納するバッファが一時的に空になった状態で、復号化装置側は復号又は再生時間となる。つまり、復号化装置側では、同一の映像、音声の繰り返しが生じる。一方、復号化装置側のＳＴＣが符号化装置のシステムクロックよりも後ろにずれる場合、復号化装置側で復号や再生を行うタイミングが遅れ、映像データや音声データを含むデータストリームを格納するバッファに符号化装置側から送られたデータストリームを格納することができなくなる。その結果、映像、音声の駒落ちが発生する。
【０００５】
上述した復号化装置側での映像や音声の繰り返し又は駒落ちを回避するため、ＭＰＥＧ２−ＴＳの規格では、符号化装置側のシステムクロックと復号化装置側のＳＴＣの周波数とを完全に一致させるための、ＳＴＣと一体となったＰＬＬ（Ｐｈａｓｅ Ｌｏｃｋｅｄ Ｌｏｏｐ）を復号化装置に実装することが義務づけられている。復号化装置側のＰＬＬは、自らが有する基準時間カウンタのカウンタ値と圧縮されたデータストリームに埋め込まれているＰＣＲとの差分に基づいて、符号化装置側と完全に周波数が一致したクロックを生成する。このように、ＰＣＲを使用してＳＴＣを補正することにより、符号化装置側で意図したタイミングで、復号化装置側で映像、音声を同期して再生することが可能となる。なお、ＭＰＥＧ２の場合、システムクロックは２７ＭＨｚであり、８１０Ｈｚ以内の誤差が許されている。
【０００６】
【発明が解決しようとする課題】
最近、テレビ会議システムやビデオチャット等を実現するために、複数の遠隔地で符号化された映像、音声がネットワーク等で転送され、受信側が複数のデータストリームを受信して復号化する機能が要求されている。
【０００７】
従来技術を用いて上記要求を満たそうとした場合、復号化装置側に、ＭＰＥＧ２−ＴＳ方式に従った複数のデータストリームが転送される。この場合、すべてのデータストリームに対して、符号化装置側で意図したタイミングに復号化装置側のＳＴＣを補正するためには、復号化装置側に複数のＰＬＬが必要となる。しかし、これは復号化装置のコストアップの要因となる。また、複数のモニタにそれぞれのデータストリームを出力する場合、上記の複数のＰＬＬでデータストリーム毎に基準時間を校正し、複数の基準周波数でデータストリームを再生することができるが、１つのモニタに複数のデータストリームを同時再生する場合には、単一の基準周波数で再生を行う必要があるため、全てのデータストリームをそれぞれの時間情報に従い再生することができない。
【０００８】
上記要求を満たすための技術が特開２００１−５４９９公報に開示されている。本技術では、復号化装置に、複数のデータストリームから各々のデータストリームのＰＣＲを取得し、複数のＰＣＲから何れか一つを選択する基準時間情報選択部が設けられている。本技術における復号化装置は、基準時間情報選択部で選択されたＰＣＲを使用してＳＴＣを補正する。
【０００９】
しかし、本技術を用いた場合、復号化装置では、選択されたデータストリーム以外のデータストリームに対して正確な時間で再生できない。さらに、ネットワークや無線等でジッタやパケット損失が発生する環境下では、本技術では、基準周波数の違いによる再生時の不具合を減少させるための基準時間情報選択の処理が複雑化するという課題がある。さらに、一つのデータストリームの転送においても、ネットワークのジッタやパケット損失により、ＰＣＲデータの取りこぼしが生じ、復号化装置側でタイミングよくデータを再生することが出来ない。
【００１０】
本発明の目的は、一つ、又は多数の符号化装置から送出されるデータストリームを、復号化装置側においてタイミングよく再生することができるデータストリーム符号化装置及び復号化装置を提供することである。
【００１１】
【課題を解決するための手段】
本発明の目的を達成するために、本発明のデータストリーム処理装置は、装置外部から時間情報が入力される基準周波数制御部と、基準周波数制御部によって生成される信号に基づいてデータストリームの入出力を行うデータストリーム制御部とを有する構成とする。
【００１２】
また、基準周波数制御部は、時間情報が入力される基準時間情報取得部と、データストリーム処理部内の周波数を定める信号を生成する発信器と、基準時間情報取得部に入力される時間情報と発信器から発信される信号の周波数とのずれを計算し、計算結果に基づいて発信器を制御する発信器制御部とを有する構成としても良い。
【００１３】
更に、データストリーム処理部は、外部から入力されたデータを格納するデータストリーム格納部と、データストリーム格納部に格納されたデータを加工して外部へ出力するデータストリーム処理部とを有する構成としても良い。
【００１４】
また、データストリーム処理部は、データストリーム格納部から入力されるデータを画像符号化情報と音声符号化情報とに分離するデータストリーム分離部と、データストリーム分離部から入力される画像符号化情報から画像データを生成する画像デコーダ部と、データストリーム分離部から入力される前記音声符号化情報から音声データを生成する音声デコーダ部と、画像データを選択及び合成して外部へ出力する画像選択合成部と、音声データを選択及び合成して外部へ出力する音声選択合成部とを有する構成としても良い。
【００１５】
更に、データストリーム格納部は、外部から入力される画像データを格納する画像格納部と、外部から入力される音声データを格納する音声格納部とを有し、データストリーム処理部は、画像データから画像符号化情報を生成する画像エンコーダ部と、音声データから音声符号化情報を生成する音声エンコーダ部と、画像符号化情報と音声符号化情報を多重化し、データストリームを生成するストリーム多重化部とを有する構成としても良い。
【００１６】
尚、時間情報は、ＮＴＰサーバから送信される時間情報でも良い。
【００１７】
【発明の実施の形態】
図１は、本発明を適用したデータストリーム処理装置１の構成を示す図である。尚、データストリーム処理装置とは、データ符号化装置、データ復号化装置及びデータ符号化／復号化装置を総称した名称である。
【００１８】
データストリーム処理装置１は、基準周波数制御部１１及びデータストリーム制御部１２を有する。基準周波数制御部１１は、データストリーム処理装置１の外部から入力される時間情報に基づいて、装置内部のデータ送信等のタイミングを規定する基準周波数を制御する。データストリーム制御部１２は、外部から入力されたデータストリームを一旦格納し、基準周波数制御部１１で生成される信号で定められる基準周波数に基づいて、データストリームを出力する。
【００１９】
基準周波数制御部１１は、発振器１３、基準時間カウンタ１６、発振器制御部１７、及び基準時間情報取得部１５を有する。
【００２０】
基準時間カウンタ１６は、発振器１３から出力されるクロック信号によって定められる基準周波数（本実施形態では２７ＭＨｚ）に同期してカウントアップされる。発振制御部１７は、基準時間カウンタ１６のカウンタ値と基準時間情報取得部１５が外部から取得した時間情報との差分を使って、発振器１３を制御する。基準時間情報取得部１５が取得する時間情報の一例として、ＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）がある。
【００２１】
図１０は、ＮＴＰのフォーマットを示す図である。ＮＴＰの時間情報は、１９００年１月１日からの秒数（３２ビット）と秒の小数部（３２ビット）から構成される、２３２Ｈｚ（約４ＧＨｚ）のカウンタ値である。発振制御部１７は、外部から取得したＮＴＰの時間情報と、ＮＴＰを取得した時の基準時間カウンタ１６のカウンタ値を保存する。その後、発振制御部１７は、次に取得したＮＴＰの時間情報及びその時の基準時間カウンタ１６のカウンタ値と、先に保存された以前の時間情報及び基準時間カウンタ１６のカウンタ値とを比較して、各々の増分を計算する。さらに発信制御部１７は、ＮＴＰの時間情報の増分と基準時間カウンタ１６のカウンタ値の増分を比較し、その差分量に応じて、発振器１３を制御する。
【００２２】
データストリーム制御部１２は、外部から入力されるデータストリームを格納するデータストリーム格納部１４と、データストリーム格納部１４に格納されたデータストリームを加工して出力するデータストリーム処理部１８とを有する。データストリーム処理部１８は、発信器１３によって生成されるクロック信号のクロックに従って、加工されたデータストリームを外部に出力する。
【００２３】
図２は、図１で説明したデータストリーム処理装置１をデータストリーム復号化装置２として使用する場合の一実施形態の構成を示す図である。
【００２４】
データ復号化装置２において、データストリーム制御部１２のデータストリーム処理部１８は、データストリーム分離部２３、画像デコーダ部２４、音声デコーダ部２５、画像選択合成部２６、及び音声選択合成部２７を有する。尚、基準周波数制御部１１の構成は図１と同一である。
【００２５】
データストリーム格納部１４には、外部から入力されたデータストリーム（本実施例においては、ＭＰＥＧ２−ＴＳ）が格納される。データストリーム分離部２３は、データストリーム格納部１４から入力されたデータストリームから、画像符号化情報（ビデオストリーム及びＰＴＳ、ＤＴＳ）、及び音声符号化情報（オーディオストリーム及びＰＴＳ、ＤＴＳ）を抽出する。また、データストリーム分離部２３は、抽出した画像符号化情報を画像デコーダ部２４へ、音声符号化情報を音声デコーダ部２５へ出力する。本実施形態においては、データストリームに含まれているＰＣＲは、基準周波数の制御に使用しない。
【００２６】
画像デコーダ部２４は、データストリーム分離部２３から入力された画像符号化情報を画像デコーダ部２４が有するバッファに格納する。その後、画像デコーダ部２４は、基準時間カウンタ１６のカウント値（ＳＴＣ）とデータに含まれるＤＴＳとが等しくなったタイミングで画像データの復号化処理を開始する。生成された画像データは、画像選択合成部２６へ出力される。
【００２７】
一方、音声デコーダ部２５は、ストリーム分離部２３から入力された音声符号化情報を、ＳＴＣとデータに含まれるＤＴＳとが一致するタイミングで復号化する。生成された音声データは音声選択合成部２７へ出力される。
【００２８】
画像選択合成部２６は、画像デコーダ部２４から入力された複数の画像データから、ユーザが表示を要求している画像データを選択し、モニタ等の表示機器に出力するために用意された１フレーム分の画像データ格納領域の指定された位置に、それぞれの画像データを重み付けして加算した値を格納することにより、複数の画像データを合成する。その後、画像選択合成部２６は、基準時間カウンタ１６のカウント値（ＳＴＣ）とデータに含まれるＰＴＳとが等しくなったタイミングで、合成した画像データを画像信号として出力する。
【００２９】
同様に、音声出力部２７は、音声デコーダ部２５から入力された複数の音声データから、ユーザが表示を要求している音声データを選択し、スピーカー等の音声機器に出力するために用意された１フレーム分の音声データ格納領域に、それぞれの音声データの周波数レベルまたは出力レベルを重み付けして加算した値を格納することにより、複数の音声データを合成する。
【００３０】
図３は、図１のデータストリーム処理装置１をデータストリーム符号化装置３として使用する場合の構成を示す図である。
【００３１】
データストリーム格納部１４は、画像格納部３３、及び音声格納部３４から構成される。データストリーム処理部１８は、画像エンコーダ部３５、音声エンコーダ部３６、及びデータストリーム多重化部３７から構成される。尚、基準周波数制御部１１は、図１と同じ構成である。
【００３２】
画像格納部３３は、外部から入力されるデータストリーム、具体的には映像信号を画像データとして格納する。音声格納部３４は、外部から入力される音声信号を音声データとして格納する。画像エンコーダ部３５は、画像入力部３３から入力された画像データを符号化して画像符号化情報を生成する。音声エンコーダ部３６は、音声入力部３４から入力された音声データを符号化し、音声符号化情報を生成する。
【００３３】
データストリーム多重化部３７は、基準時間カウンタ１６のカウンタ値をもとに、ＰＴＳ、ＤＴＳ、及びＰＣＲを生成する。さらに、データストリーム多重部３７は、これらの時刻情報と画像符号化情報、音声符号化情報からデータストリームを生成して外部へ出力する。
【００３４】
図４は、データストリーム復号化装置の別の実施形態の構成を示す図である。本実施形態では、基準時間情報取得部１５が外部から時間情報を取得できない場合においても基準周波数を補正し、徐々に各々の符号化側の意図する時間と復号化側のＳＴＣとが離れてしまう現象を最小限に抑えることができる。
【００３５】
基準周波数制御部４１は、基準時間情報選択部４３を有する点が、図１の基準周波数制御部１１の構成と異なる。データストリーム制御部４８は、データストリーム分離部４４の機能が、図２で説明したデータストリーム分離部１８と異なる。
【００３６】
データストリーム分離部４４は、入力された複数のデータストリームの各々からＰＣＲを抽出し、基準時間情報選択部４３に出力する。基準時間情報選択部４３は、上記ＰＣＲと基準時間情報取得部１５から入力される時間情報とのうち何れか一つを選択し、発振制御部１７に出力する。基準時間情報選択部４３は、基準時間情報取得部１５から時間情報が入力されなくなった場合は、データストリーム分離部４４から入力されるＰＣＲを選択する。ここで、時間情報が入力されなくなった場合とは、装置内部に設けられた時間間隔の閾値を超えて外部から時間情報が入力されなくなることを指す。閾値を超えても時間情報が外部から入力されない場合、基準時間情報選択部４３は、ＰＣＲを選択する。
【００３７】
本実施形態によれば、もし何らかの理由で基準時間情報取得部１５が外部から基準時間情報を取得できない状態に陥った場合、データストリーム復号化装置４が、データストリーム分離部４３で抽出したＰＣＲを選択することにより、ある程度、再生時の不具合を減少させることが可能になる。
【００３８】
図７は、データストリーム符号化装置３及びデータストリーム復号化装置２をネットワークに接続した場合の構成の一実施形態を示す図である。
【００３９】
ネットワーク６１には、データストリーム符号化装置３、データストリーム復号化装置２に加え、基準時間局６２が接続される。基準時間局６２が供給する時間情報は、各々のデータストリーム符号化装置３及びデータストリーム復号化装置２の各々が有する基準時間情報取得部１５で取得される。取得された時間情報に基づいて、データストリーム符号化装置３及びデータストリーム復号化装置２双方は、基準時間局６２の基準周波数と同一になるように、各々の基準周波数を補正する。したがって、図７のようにデータストリーム符号化装置３が複数ある場合であっても、データストリーム符号化装置３及びデータストリーム復号化装置２双方の基準周波数がずれることはない。これにより、データストリーム復号化装置２におけるデータ再生時の基準周波数のずれによる不具合を回避することができる。
【００４０】
尚、基準基地局としては、通常のホストコンピュータ、ＧＰＳ（Global Positioning Satellite）、ＮＴＰサーバ等を使用することが考えられる。ＮＴＰサーバとは、インターネットに接続されたコンピュータ間で時間を同期させる技術に用いられるサーバである。本技術によれば、インターネットに接続された計算機は、全世界に散らばったＮＴＰサーバを利用することで、自分自身の時間を調整することができる。また、あるサーバがＮＴＰサーバの役割をも有する場合、各クライアントは、このサーバを使って、自分自身の時間をＮＴＰサーバと同一のシステム時間に調整することができる。ＮＴＰの技術では、最終的に、基準基地局と各計算機との時間の差が数十ミリ秒以内に収まる。したがって、基準時間局としてＮＴＰサーバを採用すれば、符号化装置側と復号化装置側との基準時間の誤差を常に数十ミリ秒以内に抑えることができる。
【００４１】
しかし、基準時間情報取得部１５が、ＮＴＰによって供給される時間情報を取得した場合、前述したように数十ミリ秒の誤差が含まれる可能性がある。この場合、データストリーム復号化装置２において、１組の時間情報とカウンタ値を使用して発振器１３を制御すると、基準周波数が安定しないことがありうる。
【００４２】
図５は、上記の課題を解決するデータストリーム復号化装置５の実施形態を示す図である。
【００４３】
基準周波数制御部５１は、レジスタ５２を有する点が基準周波数制御部１１と異なる。
基準時間情報取得部１５は、外部から基準時間情報を取得したら、基準時間情報と基準時間カウンタ１６のカウンタ値をレジスタ５２に登録する。レジスタ５２は、図６に示すように、基準時間とカウンタ値の履歴が格納される構成を有する。この履歴により、基準周波数制御部５１は、基準時間とカウンタ値の増加傾向を把握することができる。発振制御部１７は、レジスタ５２に格納されている基準時間とカウンタ値の履歴から把握した増加傾向を基に、発振器１３の制御を行う。例えば、発信制御部１７は、基準時刻の増加時間、及び、カウンタ値の増加時間の平均値を求めて、これらの平均値の差分に応じて発振器１３を制御する。
【００４４】
本実施形態では、データストリーム復号化装置５は、レジスタ５２に格納された基準時間とカウンタ値の履歴に基づいて、基準時間、カウンタ値の増加傾向を解析して発振器１７を制御する。これにより、データストリーム復号化装置において、より変動の少ない基準周波数のクロックを生成することができる。
【００４５】
図９は、本発明を適用したデータストリーム符号化／復号化処理装置６３の構成を示す図である。
【００４６】
データストリーム符号化／復号化処理装置７１は、基準周波数制御部１１及びデータストリーム制御部１２を有する。基準周波数制御部１１の構成は図２、図３と同一である。また、データストリーム制御部１２は、復号化処理を実行する図２のデータストリーム格納部１４とデータストリーム処理部１８、符号化処理を実行する図３のデータストリーム格納部１４とデータストリーム処理部１８を有する。データストリーム符号化／復号化装置７１は、一つの基準周波数制御部１１で、符号化処理を行う部分と復号化処理を行う部分へ基準周波数を送信する。
【００４７】
図８は、図９に示した、複数のデータストリーム符号化／復号化装置を、ネットワーク６１を介して接続したシステムを示す図である。
【００４８】
この構成により、自分が位置する装置で符号化した映像、音声のデータストリームを転送し、離れた位置に存在する装置で符号化された複数の映像、音声のデータストリームをお互いが送受信することが可能となる。これにより、テレビ会議システムやビデオチャット等の双方向の通信システムで、画像、音声の繰り返しや欠落の発生を減少させることが出来る。
【００４９】
他の装置から１本のデータストリームが一時的に転送されなくなった場合においても、従来技術ではそのデータストリームの基準時間を使用していた場合問題が発生したが、本システムでは、外部から基準時間を取得するので問題は起きない。
【００５０】
【発明の効果】
本発明によれば、１つ又は複数のデータストリームを受信し、表示装置に表示する場合であっても、符号化装置側と復号化装置側との基準周波数の違いによる画像、音声の繰り返しや欠落を解消することができる。
【図面の簡単な説明】
【図１】本発明のデータストリーム処理装置の構成を示す図である。
【図２】本発明のデータストリーム復号化処理装置の構成を示す図である。
【図３】本発明のデータストリーム符号化処理装置の構成を示す図である。
【図４】本発明のデータストリーム復号化処理装置の構成を示す図である。
【図５】本発明のデータストリーム復号化処理装置の構成を示す図である。
【図６】基準時間情報および基準時間カウンタのカウンタ値を格納するレジスタの構成を示す図である。
【図７】本発明のデータストリーム処理装置をネットワークに接続した構成を示す図である。
【図８】本発明のデータストリーム処理装置をネットワークに接続した構成を示す図である。
【図９】本発明のデータストリーム符号化／復号化処理装置の構成を示す図である。
【図１０】ＮＴＰのフォーマットを示す図である。
【符号の説明】
１…データストリーム処理装置、１１…基準周波数制御部、１２…データストリーム制御部、１３…発振器、１４…データストリーム格納部、１５…基準時間情報取得部、１６…基準時間カウンタ、１７…発振器制御部、１８…データストリーム処理部、２１…基準周波数制御部、２３…データストリーム分離部、２４…画像デコーダ部、２５…音声デコーダ部、２６…画像選択合成部、２７…音声選択合成部、３３…画像格納部、３４…音声格納部、３５…画像エンコーダ部、３６…音声エンコーダ部、３７…ストリーム多重化部、４３…基準時間情報選択部、５２…レジスタ、６１…ネットワーク、６２…基準時間局、７１…データストリーム符号化／復号化装置。
【発明の属する技術分野】
本発明は、映像情報や音声情報等を含んだデータに対して、符号化や復号化等の処理を行うデータストリーム処理装置に関する。
【０００２】
【従来の技術】
映像や音声の情報を圧縮する方式の１つに、国際規格のＭＰＥＧ２がある。ＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２）は、映像、音声を個別に圧縮し、圧縮された映像や音声、及びデータ等を同期化して多重化する方式で、蓄積メディアやネットワークなどに適合する。ＭＰＥＧ２には、１つのプログラムの多重・分離方式であるＭＰＥＧ２−ＰＳ（Ｐｒｏｇｒａｍ Ｓｔｒｅａｍ）及びマルチプログラムに対応したＭＰＥＧ２−ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）の２種類の方式がある。ＭＰＥＧ２−ＴＳは、複数のプログラムデータを１つの連続的データ（以下「データストリーム」）として扱うことができるため、テレビ放送などに主に用いられる。
【０００３】
ＭＰＥＧ２−ＴＳによって圧縮されるデータには、映像や音声の各フレームを復号化する時刻、再生する時刻として、再生時刻情報（ＰＴＳ）、復号時刻情報（ＤＴＳ）が含まれる。また、圧縮されたデータを復号する復号化装置（以下、「復号化装置」）側の時刻の基準となるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）の値を、データを圧縮する符号化装置（以下、「符号化装置」）側で意図した値になるように補正するために復号化装置で使用される、ＳＣＲ（Ｓｙｓｔｅｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）及びＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）の２種類の時刻情報も、圧縮されたデータに含まれる。
【０００４】
ここで、復号化装置側でＰＣＲを用いてＳＴＣを補正しなければ、符号化装置側のシステムクロックに対し、復号化装置側のＳＴＣが徐々にずれる現象が発生する。復号化装置側のＳＴＣが、符号化装置側のシステムクロックよりも前にずれる場合、符号化装置からデータストリームが完全に到着する前、すなわち、映像データや音声データを含むデータストリームを格納するバッファが一時的に空になった状態で、復号化装置側は復号又は再生時間となる。つまり、復号化装置側では、同一の映像、音声の繰り返しが生じる。一方、復号化装置側のＳＴＣが符号化装置のシステムクロックよりも後ろにずれる場合、復号化装置側で復号や再生を行うタイミングが遅れ、映像データや音声データを含むデータストリームを格納するバッファに符号化装置側から送られたデータストリームを格納することができなくなる。その結果、映像、音声の駒落ちが発生する。
【０００５】
上述した復号化装置側での映像や音声の繰り返し又は駒落ちを回避するため、ＭＰＥＧ２−ＴＳの規格では、符号化装置側のシステムクロックと復号化装置側のＳＴＣの周波数とを完全に一致させるための、ＳＴＣと一体となったＰＬＬ（Ｐｈａｓｅ Ｌｏｃｋｅｄ Ｌｏｏｐ）を復号化装置に実装することが義務づけられている。復号化装置側のＰＬＬは、自らが有する基準時間カウンタのカウンタ値と圧縮されたデータストリームに埋め込まれているＰＣＲとの差分に基づいて、符号化装置側と完全に周波数が一致したクロックを生成する。このように、ＰＣＲを使用してＳＴＣを補正することにより、符号化装置側で意図したタイミングで、復号化装置側で映像、音声を同期して再生することが可能となる。なお、ＭＰＥＧ２の場合、システムクロックは２７ＭＨｚであり、８１０Ｈｚ以内の誤差が許されている。
【０００６】
【発明が解決しようとする課題】
最近、テレビ会議システムやビデオチャット等を実現するために、複数の遠隔地で符号化された映像、音声がネットワーク等で転送され、受信側が複数のデータストリームを受信して復号化する機能が要求されている。
【０００７】
従来技術を用いて上記要求を満たそうとした場合、復号化装置側に、ＭＰＥＧ２−ＴＳ方式に従った複数のデータストリームが転送される。この場合、すべてのデータストリームに対して、符号化装置側で意図したタイミングに復号化装置側のＳＴＣを補正するためには、復号化装置側に複数のＰＬＬが必要となる。しかし、これは復号化装置のコストアップの要因となる。また、複数のモニタにそれぞれのデータストリームを出力する場合、上記の複数のＰＬＬでデータストリーム毎に基準時間を校正し、複数の基準周波数でデータストリームを再生することができるが、１つのモニタに複数のデータストリームを同時再生する場合には、単一の基準周波数で再生を行う必要があるため、全てのデータストリームをそれぞれの時間情報に従い再生することができない。
【０００８】
上記要求を満たすための技術が特開２００１−５４９９公報に開示されている。本技術では、復号化装置に、複数のデータストリームから各々のデータストリームのＰＣＲを取得し、複数のＰＣＲから何れか一つを選択する基準時間情報選択部が設けられている。本技術における復号化装置は、基準時間情報選択部で選択されたＰＣＲを使用してＳＴＣを補正する。
【０００９】
しかし、本技術を用いた場合、復号化装置では、選択されたデータストリーム以外のデータストリームに対して正確な時間で再生できない。さらに、ネットワークや無線等でジッタやパケット損失が発生する環境下では、本技術では、基準周波数の違いによる再生時の不具合を減少させるための基準時間情報選択の処理が複雑化するという課題がある。さらに、一つのデータストリームの転送においても、ネットワークのジッタやパケット損失により、ＰＣＲデータの取りこぼしが生じ、復号化装置側でタイミングよくデータを再生することが出来ない。
【００１０】
本発明の目的は、一つ、又は多数の符号化装置から送出されるデータストリームを、復号化装置側においてタイミングよく再生することができるデータストリーム符号化装置及び復号化装置を提供することである。
【００１１】
【課題を解決するための手段】
本発明の目的を達成するために、本発明のデータストリーム処理装置は、装置外部から時間情報が入力される基準周波数制御部と、基準周波数制御部によって生成される信号に基づいてデータストリームの入出力を行うデータストリーム制御部とを有する構成とする。
【００１２】
また、基準周波数制御部は、時間情報が入力される基準時間情報取得部と、データストリーム処理部内の周波数を定める信号を生成する発信器と、基準時間情報取得部に入力される時間情報と発信器から発信される信号の周波数とのずれを計算し、計算結果に基づいて発信器を制御する発信器制御部とを有する構成としても良い。
【００１３】
更に、データストリーム処理部は、外部から入力されたデータを格納するデータストリーム格納部と、データストリーム格納部に格納されたデータを加工して外部へ出力するデータストリーム処理部とを有する構成としても良い。
【００１４】
また、データストリーム処理部は、データストリーム格納部から入力されるデータを画像符号化情報と音声符号化情報とに分離するデータストリーム分離部と、データストリーム分離部から入力される画像符号化情報から画像データを生成する画像デコーダ部と、データストリーム分離部から入力される前記音声符号化情報から音声データを生成する音声デコーダ部と、画像データを選択及び合成して外部へ出力する画像選択合成部と、音声データを選択及び合成して外部へ出力する音声選択合成部とを有する構成としても良い。
【００１５】
更に、データストリーム格納部は、外部から入力される画像データを格納する画像格納部と、外部から入力される音声データを格納する音声格納部とを有し、データストリーム処理部は、画像データから画像符号化情報を生成する画像エンコーダ部と、音声データから音声符号化情報を生成する音声エンコーダ部と、画像符号化情報と音声符号化情報を多重化し、データストリームを生成するストリーム多重化部とを有する構成としても良い。
【００１６】
尚、時間情報は、ＮＴＰサーバから送信される時間情報でも良い。
【００１７】
【発明の実施の形態】
図１は、本発明を適用したデータストリーム処理装置１の構成を示す図である。尚、データストリーム処理装置とは、データ符号化装置、データ復号化装置及びデータ符号化／復号化装置を総称した名称である。
【００１８】
データストリーム処理装置１は、基準周波数制御部１１及びデータストリーム制御部１２を有する。基準周波数制御部１１は、データストリーム処理装置１の外部から入力される時間情報に基づいて、装置内部のデータ送信等のタイミングを規定する基準周波数を制御する。データストリーム制御部１２は、外部から入力されたデータストリームを一旦格納し、基準周波数制御部１１で生成される信号で定められる基準周波数に基づいて、データストリームを出力する。
【００１９】
基準周波数制御部１１は、発振器１３、基準時間カウンタ１６、発振器制御部１７、及び基準時間情報取得部１５を有する。
【００２０】
基準時間カウンタ１６は、発振器１３から出力されるクロック信号によって定められる基準周波数（本実施形態では２７ＭＨｚ）に同期してカウントアップされる。発振制御部１７は、基準時間カウンタ１６のカウンタ値と基準時間情報取得部１５が外部から取得した時間情報との差分を使って、発振器１３を制御する。基準時間情報取得部１５が取得する時間情報の一例として、ＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）がある。
【００２１】
図１０は、ＮＴＰのフォーマットを示す図である。ＮＴＰの時間情報は、１９００年１月１日からの秒数（３２ビット）と秒の小数部（３２ビット）から構成される、２３２Ｈｚ（約４ＧＨｚ）のカウンタ値である。発振制御部１７は、外部から取得したＮＴＰの時間情報と、ＮＴＰを取得した時の基準時間カウンタ１６のカウンタ値を保存する。その後、発振制御部１７は、次に取得したＮＴＰの時間情報及びその時の基準時間カウンタ１６のカウンタ値と、先に保存された以前の時間情報及び基準時間カウンタ１６のカウンタ値とを比較して、各々の増分を計算する。さらに発信制御部１７は、ＮＴＰの時間情報の増分と基準時間カウンタ１６のカウンタ値の増分を比較し、その差分量に応じて、発振器１３を制御する。
【００２２】
データストリーム制御部１２は、外部から入力されるデータストリームを格納するデータストリーム格納部１４と、データストリーム格納部１４に格納されたデータストリームを加工して出力するデータストリーム処理部１８とを有する。データストリーム処理部１８は、発信器１３によって生成されるクロック信号のクロックに従って、加工されたデータストリームを外部に出力する。
【００２３】
図２は、図１で説明したデータストリーム処理装置１をデータストリーム復号化装置２として使用する場合の一実施形態の構成を示す図である。
【００２４】
データ復号化装置２において、データストリーム制御部１２のデータストリーム処理部１８は、データストリーム分離部２３、画像デコーダ部２４、音声デコーダ部２５、画像選択合成部２６、及び音声選択合成部２７を有する。尚、基準周波数制御部１１の構成は図１と同一である。
【００２５】
データストリーム格納部１４には、外部から入力されたデータストリーム（本実施例においては、ＭＰＥＧ２−ＴＳ）が格納される。データストリーム分離部２３は、データストリーム格納部１４から入力されたデータストリームから、画像符号化情報（ビデオストリーム及びＰＴＳ、ＤＴＳ）、及び音声符号化情報（オーディオストリーム及びＰＴＳ、ＤＴＳ）を抽出する。また、データストリーム分離部２３は、抽出した画像符号化情報を画像デコーダ部２４へ、音声符号化情報を音声デコーダ部２５へ出力する。本実施形態においては、データストリームに含まれているＰＣＲは、基準周波数の制御に使用しない。
【００２６】
画像デコーダ部２４は、データストリーム分離部２３から入力された画像符号化情報を画像デコーダ部２４が有するバッファに格納する。その後、画像デコーダ部２４は、基準時間カウンタ１６のカウント値（ＳＴＣ）とデータに含まれるＤＴＳとが等しくなったタイミングで画像データの復号化処理を開始する。生成された画像データは、画像選択合成部２６へ出力される。
【００２７】
一方、音声デコーダ部２５は、ストリーム分離部２３から入力された音声符号化情報を、ＳＴＣとデータに含まれるＤＴＳとが一致するタイミングで復号化する。生成された音声データは音声選択合成部２７へ出力される。
【００２８】
画像選択合成部２６は、画像デコーダ部２４から入力された複数の画像データから、ユーザが表示を要求している画像データを選択し、モニタ等の表示機器に出力するために用意された１フレーム分の画像データ格納領域の指定された位置に、それぞれの画像データを重み付けして加算した値を格納することにより、複数の画像データを合成する。その後、画像選択合成部２６は、基準時間カウンタ１６のカウント値（ＳＴＣ）とデータに含まれるＰＴＳとが等しくなったタイミングで、合成した画像データを画像信号として出力する。
【００２９】
同様に、音声出力部２７は、音声デコーダ部２５から入力された複数の音声データから、ユーザが表示を要求している音声データを選択し、スピーカー等の音声機器に出力するために用意された１フレーム分の音声データ格納領域に、それぞれの音声データの周波数レベルまたは出力レベルを重み付けして加算した値を格納することにより、複数の音声データを合成する。
【００３０】
図３は、図１のデータストリーム処理装置１をデータストリーム符号化装置３として使用する場合の構成を示す図である。
【００３１】
データストリーム格納部１４は、画像格納部３３、及び音声格納部３４から構成される。データストリーム処理部１８は、画像エンコーダ部３５、音声エンコーダ部３６、及びデータストリーム多重化部３７から構成される。尚、基準周波数制御部１１は、図１と同じ構成である。
【００３２】
画像格納部３３は、外部から入力されるデータストリーム、具体的には映像信号を画像データとして格納する。音声格納部３４は、外部から入力される音声信号を音声データとして格納する。画像エンコーダ部３５は、画像入力部３３から入力された画像データを符号化して画像符号化情報を生成する。音声エンコーダ部３６は、音声入力部３４から入力された音声データを符号化し、音声符号化情報を生成する。
【００３３】
データストリーム多重化部３７は、基準時間カウンタ１６のカウンタ値をもとに、ＰＴＳ、ＤＴＳ、及びＰＣＲを生成する。さらに、データストリーム多重部３７は、これらの時刻情報と画像符号化情報、音声符号化情報からデータストリームを生成して外部へ出力する。
【００３４】
図４は、データストリーム復号化装置の別の実施形態の構成を示す図である。本実施形態では、基準時間情報取得部１５が外部から時間情報を取得できない場合においても基準周波数を補正し、徐々に各々の符号化側の意図する時間と復号化側のＳＴＣとが離れてしまう現象を最小限に抑えることができる。
【００３５】
基準周波数制御部４１は、基準時間情報選択部４３を有する点が、図１の基準周波数制御部１１の構成と異なる。データストリーム制御部４８は、データストリーム分離部４４の機能が、図２で説明したデータストリーム分離部１８と異なる。
【００３６】
データストリーム分離部４４は、入力された複数のデータストリームの各々からＰＣＲを抽出し、基準時間情報選択部４３に出力する。基準時間情報選択部４３は、上記ＰＣＲと基準時間情報取得部１５から入力される時間情報とのうち何れか一つを選択し、発振制御部１７に出力する。基準時間情報選択部４３は、基準時間情報取得部１５から時間情報が入力されなくなった場合は、データストリーム分離部４４から入力されるＰＣＲを選択する。ここで、時間情報が入力されなくなった場合とは、装置内部に設けられた時間間隔の閾値を超えて外部から時間情報が入力されなくなることを指す。閾値を超えても時間情報が外部から入力されない場合、基準時間情報選択部４３は、ＰＣＲを選択する。
【００３７】
本実施形態によれば、もし何らかの理由で基準時間情報取得部１５が外部から基準時間情報を取得できない状態に陥った場合、データストリーム復号化装置４が、データストリーム分離部４３で抽出したＰＣＲを選択することにより、ある程度、再生時の不具合を減少させることが可能になる。
【００３８】
図７は、データストリーム符号化装置３及びデータストリーム復号化装置２をネットワークに接続した場合の構成の一実施形態を示す図である。
【００３９】
ネットワーク６１には、データストリーム符号化装置３、データストリーム復号化装置２に加え、基準時間局６２が接続される。基準時間局６２が供給する時間情報は、各々のデータストリーム符号化装置３及びデータストリーム復号化装置２の各々が有する基準時間情報取得部１５で取得される。取得された時間情報に基づいて、データストリーム符号化装置３及びデータストリーム復号化装置２双方は、基準時間局６２の基準周波数と同一になるように、各々の基準周波数を補正する。したがって、図７のようにデータストリーム符号化装置３が複数ある場合であっても、データストリーム符号化装置３及びデータストリーム復号化装置２双方の基準周波数がずれることはない。これにより、データストリーム復号化装置２におけるデータ再生時の基準周波数のずれによる不具合を回避することができる。
【００４０】
尚、基準基地局としては、通常のホストコンピュータ、ＧＰＳ（Global Positioning Satellite）、ＮＴＰサーバ等を使用することが考えられる。ＮＴＰサーバとは、インターネットに接続されたコンピュータ間で時間を同期させる技術に用いられるサーバである。本技術によれば、インターネットに接続された計算機は、全世界に散らばったＮＴＰサーバを利用することで、自分自身の時間を調整することができる。また、あるサーバがＮＴＰサーバの役割をも有する場合、各クライアントは、このサーバを使って、自分自身の時間をＮＴＰサーバと同一のシステム時間に調整することができる。ＮＴＰの技術では、最終的に、基準基地局と各計算機との時間の差が数十ミリ秒以内に収まる。したがって、基準時間局としてＮＴＰサーバを採用すれば、符号化装置側と復号化装置側との基準時間の誤差を常に数十ミリ秒以内に抑えることができる。
【００４１】
しかし、基準時間情報取得部１５が、ＮＴＰによって供給される時間情報を取得した場合、前述したように数十ミリ秒の誤差が含まれる可能性がある。この場合、データストリーム復号化装置２において、１組の時間情報とカウンタ値を使用して発振器１３を制御すると、基準周波数が安定しないことがありうる。
【００４２】
図５は、上記の課題を解決するデータストリーム復号化装置５の実施形態を示す図である。
【００４３】
基準周波数制御部５１は、レジスタ５２を有する点が基準周波数制御部１１と異なる。
基準時間情報取得部１５は、外部から基準時間情報を取得したら、基準時間情報と基準時間カウンタ１６のカウンタ値をレジスタ５２に登録する。レジスタ５２は、図６に示すように、基準時間とカウンタ値の履歴が格納される構成を有する。この履歴により、基準周波数制御部５１は、基準時間とカウンタ値の増加傾向を把握することができる。発振制御部１７は、レジスタ５２に格納されている基準時間とカウンタ値の履歴から把握した増加傾向を基に、発振器１３の制御を行う。例えば、発信制御部１７は、基準時刻の増加時間、及び、カウンタ値の増加時間の平均値を求めて、これらの平均値の差分に応じて発振器１３を制御する。
【００４４】
本実施形態では、データストリーム復号化装置５は、レジスタ５２に格納された基準時間とカウンタ値の履歴に基づいて、基準時間、カウンタ値の増加傾向を解析して発振器１７を制御する。これにより、データストリーム復号化装置において、より変動の少ない基準周波数のクロックを生成することができる。
【００４５】
図９は、本発明を適用したデータストリーム符号化／復号化処理装置６３の構成を示す図である。
【００４６】
データストリーム符号化／復号化処理装置７１は、基準周波数制御部１１及びデータストリーム制御部１２を有する。基準周波数制御部１１の構成は図２、図３と同一である。また、データストリーム制御部１２は、復号化処理を実行する図２のデータストリーム格納部１４とデータストリーム処理部１８、符号化処理を実行する図３のデータストリーム格納部１４とデータストリーム処理部１８を有する。データストリーム符号化／復号化装置７１は、一つの基準周波数制御部１１で、符号化処理を行う部分と復号化処理を行う部分へ基準周波数を送信する。
【００４７】
図８は、図９に示した、複数のデータストリーム符号化／復号化装置を、ネットワーク６１を介して接続したシステムを示す図である。
【００４８】
この構成により、自分が位置する装置で符号化した映像、音声のデータストリームを転送し、離れた位置に存在する装置で符号化された複数の映像、音声のデータストリームをお互いが送受信することが可能となる。これにより、テレビ会議システムやビデオチャット等の双方向の通信システムで、画像、音声の繰り返しや欠落の発生を減少させることが出来る。
【００４９】
他の装置から１本のデータストリームが一時的に転送されなくなった場合においても、従来技術ではそのデータストリームの基準時間を使用していた場合問題が発生したが、本システムでは、外部から基準時間を取得するので問題は起きない。
【００５０】
【発明の効果】
本発明によれば、１つ又は複数のデータストリームを受信し、表示装置に表示する場合であっても、符号化装置側と復号化装置側との基準周波数の違いによる画像、音声の繰り返しや欠落を解消することができる。
【図面の簡単な説明】
【図１】本発明のデータストリーム処理装置の構成を示す図である。
【図２】本発明のデータストリーム復号化処理装置の構成を示す図である。
【図３】本発明のデータストリーム符号化処理装置の構成を示す図である。
【図４】本発明のデータストリーム復号化処理装置の構成を示す図である。
【図５】本発明のデータストリーム復号化処理装置の構成を示す図である。
【図６】基準時間情報および基準時間カウンタのカウンタ値を格納するレジスタの構成を示す図である。
【図７】本発明のデータストリーム処理装置をネットワークに接続した構成を示す図である。
【図８】本発明のデータストリーム処理装置をネットワークに接続した構成を示す図である。
【図９】本発明のデータストリーム符号化／復号化処理装置の構成を示す図である。
【図１０】ＮＴＰのフォーマットを示す図である。
【符号の説明】
１…データストリーム処理装置、１１…基準周波数制御部、１２…データストリーム制御部、１３…発振器、１４…データストリーム格納部、１５…基準時間情報取得部、１６…基準時間カウンタ、１７…発振器制御部、１８…データストリーム処理部、２１…基準周波数制御部、２３…データストリーム分離部、２４…画像デコーダ部、２５…音声デコーダ部、２６…画像選択合成部、２７…音声選択合成部、３３…画像格納部、３４…音声格納部、３５…画像エンコーダ部、３６…音声エンコーダ部、３７…ストリーム多重化部、４３…基準時間情報選択部、５２…レジスタ、６１…ネットワーク、６２…基準時間局、７１…データストリーム符号化／復号化装置。
Claims (5)
- 装置外部のＮＴＰサーバから送信される時間情報が入力される基準周波数制御部と、
前記基準周波数制御部によって生成されるクロック信号に基づいてデータストリームの入出力を行うデータストリーム制御部を有し、
前記基準周波数制御部は、
前記時間情報が入力される基準時間情報取得部と、
前記データストリーム制御部に供給されるとともに該データストリーム処理装置の基準時間カウンタに供給されて基準周波数を定めるクロック信号を生成する発振器と、
前記時間情報と前記基準時間カウンタのカウンタ値の履歴を格納するレジスタと、
前記レジスタに格納されている前記時間情報と前記カウンタ値の履歴から、前記時間情報の増加時間及び前記前記カウンタ値の増加時間の平均値を求めて、これらの平均値の差分に応じて前記発振器を制御する発振器制御部を備えて基準周波数のクロック信号を生成することを特徴とするデータストリーム処理装置。 - 前記データストリーム処理部は、
外部から入力されたデータストリームを格納するデータストリーム格納部と、
前記データストリーム格納部に格納されたデータストリームを加工して外部へ出力するデータストリーム処理部と
を有することを特徴とする請求項１に記載されたデータストリーム処理装置。 - 前記データストリーム処理部は、
前記データストリーム格納部から入力されるデータストリームを画像符号化情報と音声符号化情報とに分離するデータストリーム分離部と、
前記データストリーム分離部から入力される前記画像符号化情報から画像データを生成する画像デコーダ部と、
前記データストリーム分離部から入力される前記音声符号化情報から音声データを生成する音声デコーダ部と、
前記画像データを選択及び合成して外部へ出力する画像選択合成部と、
前記音声データを選択及び合成して外部へ出力する音声選択合成部を有することを特徴とする請求項２記載のデータストリーム処理装置。 - 前記基準周波数制御部は、前記データストリーム分離部によって抽出される基準時間情報と、前記基準時間情報取得部が取得した時間情報の内いずれか一つを選択して前記発振器制御部に出力する基準時間情報選択部を有することを特徴とする請求項３記載のデータストリーム処理装置。
- 前記データストリーム格納部は、外部から入力される画像データストリームを格納する画像格納部と、外部から入力される音声データストリームを格納する音声格納部を有し、
前記データストリーム処理部は、前記画像データストリームから画像符号化情報を生成する画像エンコーダ部と、前記音声データストリームから音声符号化情報を生成する音声エンコーダ部と、
前記画像符号化情報と前記音声符号化情報を多重化し、データストリームを生成するストリーム多重化部を有することを特徴とする請求項２のデータストリーム処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002050669A JP3906712B2 (ja) | 2002-02-27 | 2002-02-27 | データストリーム処理装置 |
| US10/306,574 US20030190139A1 (en) | 2002-02-27 | 2002-11-27 | Data stream processor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002050669A JP3906712B2 (ja) | 2002-02-27 | 2002-02-27 | データストリーム処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003259365A JP2003259365A (ja) | 2003-09-12 |
| JP3906712B2 true JP3906712B2 (ja) | 2007-04-18 |
Family
ID=28662837
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002050669A Expired - Fee Related JP3906712B2 (ja) | 2002-02-27 | 2002-02-27 | データストリーム処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20030190139A1 (ja) |
| JP (1) | JP3906712B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6901606B2 (en) * | 2003-05-20 | 2005-05-31 | Nielsen Media Research, Inc. | Method and apparatus for detecting time-compressed broadcast content |
| EP1715612B1 (en) * | 2004-09-09 | 2011-08-10 | Panasonic Corporation | Transmitting apparatus, relaying apparatus, receiving apparatus and network system including these apparatus |
| US8233540B2 (en) * | 2005-03-10 | 2012-07-31 | Qualcomm Incorporated | Method of time base reconstruction for discrete time labeled video |
| JP4742836B2 (ja) * | 2005-12-07 | 2011-08-10 | パナソニック株式会社 | 受信装置 |
| JP2009033326A (ja) * | 2007-07-25 | 2009-02-12 | Hitachi Information & Communication Engineering Ltd | パケット伝送装置及び方法 |
| JP5418003B2 (ja) | 2009-06-12 | 2014-02-19 | ソニー株式会社 | 情報処理装置、同期補正方法及びコンピュータプログラム |
| WO2012059976A1 (ja) * | 2010-11-02 | 2012-05-10 | 株式会社日立製作所 | プログラム、ストリームデータ処理方法及びストリームデータ処理計算機 |
| JP5783017B2 (ja) * | 2011-12-02 | 2015-09-24 | 富士通株式会社 | 発振器の周波数誤差補正装置、周波数誤差補正方法、周波数誤差補正プログラム及び周波数誤差補正システム |
| EP3101902A4 (en) * | 2014-01-31 | 2017-08-09 | Sony Corporation | Transmission device, transmission method, reception device, and reception method |
| KR20180080463A (ko) | 2017-01-04 | 2018-07-12 | 삼성전자주식회사 | 반도체 장치 및 반도체 장치의 동작 방법 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2970558B2 (ja) * | 1996-10-25 | 1999-11-02 | 日本電気株式会社 | オーディオ／ビデオ／コンピュータグラフィクス同期再生合成方式及び方法 |
| US6345079B1 (en) * | 1997-10-29 | 2002-02-05 | Victor Company Of Japan, Ltd. | Clock signal generation apparatus |
| JP3593883B2 (ja) * | 1998-05-15 | 2004-11-24 | 株式会社日立製作所 | 映像ストリーム送受信システム |
| JP4618960B2 (ja) * | 1999-09-21 | 2011-01-26 | エヌエックスピー ビー ヴィ | クロック回復 |
| FI20000638A (fi) * | 2000-03-17 | 2001-09-18 | Nokia Mobile Phones Ltd | Oskillaattorin säätö |
-
2002
- 2002-02-27 JP JP2002050669A patent/JP3906712B2/ja not_active Expired - Fee Related
- 2002-11-27 US US10/306,574 patent/US20030190139A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20030190139A1 (en) | 2003-10-09 |
| JP2003259365A (ja) | 2003-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7983345B2 (en) | Content receiving apparatus, video/audio output timing control method, and content provision system | |
| US8189679B2 (en) | Content receiving apparatus, method of controlling video-audio output timing and content providing system | |
| JP3925311B2 (ja) | データ配信システム | |
| US7656948B2 (en) | Transcoding system and method for maintaining timing parameters before and after performing transcoding process | |
| JP4182437B2 (ja) | オーディオビデオ同期システム及びモニター装置 | |
| JP6317872B2 (ja) | 異なるネットワークを介して受信したコンテンツのレンダリングを同期するデコーダ及びそれにおける方法 | |
| US8107538B2 (en) | Moving image distribution system and moving image distribution server | |
| WO2014188960A1 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
| JP2004525545A (ja) | 複数の独立したメディア・ストリームを時間軸で同期するウェブキャスト方法及びシステム | |
| JP2006238424A (ja) | 無線環境におけるマルチメディア配信のためのシステム及び方法 | |
| JP2006186580A (ja) | 再生装置およびデコード制御方法 | |
| JP2009272945A (ja) | 同期再生装置 | |
| US20070286245A1 (en) | Digital signal processing apparatus and data stream processing method | |
| JP3906712B2 (ja) | データストリーム処理装置 | |
| JP2003249922A (ja) | データ受信装置、および受信データ処理方法、並びにコンピュータ・プログラム | |
| US7397822B2 (en) | Method and system for compensating for timing violations of a multiplex of at least two media packet streams | |
| JP4742836B2 (ja) | 受信装置 | |
| JP4192766B2 (ja) | 受信装置および方法、記録媒体、並びにプログラム | |
| JP2004015553A (ja) | 同期制御方法と装置およびそれを用いた同期再生装置およびテレビジョン受信装置 | |
| JP4882213B2 (ja) | コンテンツ受信装置、ビデオオーディオ出力タイミング制御方法及びコンテンツ提供システム | |
| JP4735932B2 (ja) | コンテンツ受信装置、ビデオオーディオ出力タイミング制御方法及びコンテンツ提供システム | |
| KR20130008436A (ko) | Ｍｍｔ 복합 전달 서비스에서 ｍｍｔ 패킷 스트림 동기화를 위한 타이밍 정보 제공 방법 및 ｍｍｔ 패킷 스트림 동기화 방법 | |
| JP6504294B2 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
| JP4212404B2 (ja) | ストリーム受信機のシステムクロック制御装置及びシステムクロック制御方法 | |
| JP2022159374A (ja) | 送信方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040323 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060613 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060809 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061003 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061226 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070108 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100126 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110126 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |