Nothing Special   »   [go: up one dir, main page]

JP2008017351A - パケットストリーム受信装置 - Google Patents

パケットストリーム受信装置 Download PDF

Info

Publication number
JP2008017351A
JP2008017351A JP2006188577A JP2006188577A JP2008017351A JP 2008017351 A JP2008017351 A JP 2008017351A JP 2006188577 A JP2006188577 A JP 2006188577A JP 2006188577 A JP2006188577 A JP 2006188577A JP 2008017351 A JP2008017351 A JP 2008017351A
Authority
JP
Japan
Prior art keywords
discontinuity
display time
packet
frames
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006188577A
Other languages
English (en)
Inventor
Hiroshi Mori
弘史 森
Shiyouko Osada
将高 長田
Tatsunori Saito
龍則 斉藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2006188577A priority Critical patent/JP2008017351A/ja
Priority to US11/796,950 priority patent/US20080007653A1/en
Publication of JP2008017351A publication Critical patent/JP2008017351A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4425—Monitoring of client processing errors or hardware failure

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

【課題】パケットロス等により欠落したフレームの数を正確に把握することで、タイミングズレが生じることなく出力することを可能とする。
【解決手段】本発明は、パケットより表示時間を抽出するパケット分離部１と、このパケットの不連続性を検出する不連続検出部２と、この不連続性が検出された以降の復号フレームを蓄積する蓄積バッファ４と、上記蓄積バッファ４が上記復号フレームを蓄積している場合には、上記不連続性の検出時である不連続点から表示時間の取得までに受信した実フレーム数に基づいて欠落したフレーム数を算出する表示時刻比較部６と、を具備することを特徴とするパケットストリーム受信装置である。
【選択図】 図１

Description

本発明は、オーディオ誤り補償機能を備えたパケットストリーム受信装置に関する。
従来、例えばＩＳＢＴ−Ｔにおける移動体向け地上波デジタル放送等では、音声符号化方式としてＭＰＥＧ−２ＡＡＣ（Advanced-Audio-Coding）の規格が採用されており、符号化ストリームがトランスポートストリーム（以下、ＴＳストリームと称する）のパケットに多重化されて伝送されている。そして、今日では、この伝送過程で生じたパケットロスにより欠落したフレームを補間する種々の技術が開示されている。
例えば、特許文献１では、パケットロスが発生したときに復号側でエラーの隠蔽処理を行う技術が開示されている（同文献の段落［００２６］等を参照）。
特開２０００−３０７６７２号公報
しかしながら、ＭＰＥＧ−２ＡＡＣ等の音声符号化では、フレーム番号を表す情報が存在しないことから、デコード中に誤りを検出した際、欠落したフレーム数を正確に検出することができない。また、従来のデコーダでは、ランダム誤り環境を想定している為、誤りを検出すると１フレーム欠落したと判定していたが、複数のフレームが欠落した場合には、正確に欠落フレーム数を検出することができない。
さらに、特許文献１では、パケットロスによってどのフレームに欠落が発生したかを検出する技術については開示されておらず、正確に復号を行うことができない。
本発明の目的は、パケットロス等により欠落したフレームの数を正確に把握することでタイミングズレを生じさせることなく出力することを可能とすることにある。
本発明の第１の態様によれば、パケットより表示時間を抽出するパケット分離手段と、上記パケットの不連続性を検出する不連続検出手段と、上記不連続性が検出された以降の復号フレームを蓄積する蓄積バッファ手段と、上記蓄積バッファ手段が上記復号フレームを蓄積している場合には、上記不連続性の検出時である不連続点から表示時間の取得までに受信した実フレーム数に基づいて欠落したフレーム数を算出する表示時刻比較手段と、を具備することを特徴とするパケットストリーム受信装置が提供される。
本発明の第２の態様によれば、トランスポートストリームの各パケットに多重化されたＰＥＳパケットより表示時刻タイムスタンプを抽出するパケット分離手段と、上記トランスポートストリームの上記各パケットのパケットヘッダの連続性指標に基づいてパケットの不連続性を検出して不連続情報を出力する不連続検出手段と、上記不連続検出手段からの不連続情報を受信し、更に上記符号化された音声フレームを復号化して復号フレームを出力する復号手段と、上記復号手段が上記不連続検出手段より不連続情報を受け取った以降の復号フレームを蓄積する蓄積バッファ手段と、上記蓄積バッファ手段が復号フレームを蓄積している場合には、上記前の表示時刻タイムスタンプと不連続発生後の表示時刻タイムスタンプとの間隔から当該表示時刻タイムスタンプ間に存在する全フレーム数を算出し、上記不連続情報により特定される不連続点から上記不連続発生後の表示時刻タイムスタンプまでに受信した実フレーム数を算出し、全フレーム数から実フレーム数を減算することで欠落したフレーム数を算出する表示時刻比較手段と、を具備することを特徴とするパケットストリーム受信装置が提供される。
本発明の第３の態様によれば、トランスポートストリームの各パケットに多重化されたＰＥＳパケットより表示時刻タイムスタンプ、符号化された音声フレームを抽出するパケット分離手段と、上記トランスポートストリームの上記各パケットのパケットヘッダの連続性指標に基づいてパケットの不連続性を検出して不連続情報を出力する不連続検出手段と、上記不連続検出手段からの不連続情報を受信し、更に上記符号化された音声フレームを復号化して復号フレームを出力する復号手段と、上記復号手段が上記不連続検出手段より不連続情報を受け取った以降の復号フレームを蓄積する蓄積バッファ手段と、上記蓄積バッファ手段が復号フレームを蓄積している場合には、上記前の表示時刻タイムスタンプと不連続発生後の表示時刻タイムスタンプとの間隔から当該表示時刻タイムスタンプ間に存在する全フレーム数を算出し、上記不連続情報により特定される不連続点から上記不連続発生後の表示時刻タイムスタンプまでに受信した実フレーム数を算出し、全フレーム数から実フレーム数を減算することで欠落したフレーム数を算出する表示時刻比較手段と、上記欠落フレーム数に応じて補間フレームを生成する欠落フレーム補完手段と、上記復号手段から復号フレームが入力されると、前の表示時刻タイムスタンプにフレーム時間を順次加算することで復号フレームの表示時刻を算出する表示時刻算出手段と、上記表示時刻に基づいて、上記復号フレームを上記補完フレームで補完しつつ出力するよう制御する表示制御手段と、上記表示制御手段の制御に基づいて出力する出力手段と、を具備することを特徴とするパケットストリーム受信装置が提供される。
本発明によれば、パケットロス等により欠落したフレームの数を正確に把握することでタイミングズレを生じさせることなく出力することを可能とするオーディオ誤り補償機能を備えたパケットストリーム受信装置を提供することができる。
以下、添付図面を参照して、本発明の実施の形態について説明する。
図１には、本発明の一実施の形態に係るパケットストリーム受信装置の構成を示し説明する。ここでは、図２の概念図を適宜参照しつつ説明を進める。
この図１に示されるように、パケットストリーム受信装置は、パケット分離部１と不連続検出部２、オーディオ復号部３、蓄積バッファ４、表示時刻算出部５、表示時刻比較部６、欠落フレーム補間部７、表示制御部８、そして、スピーカ９を有している。
このような構成において、ＭＰＥＧ−２などで伝送されたトランスポートストリーム（以下、ＴＳストリームと称する）が受信されると、パケット分離部１に入力される。
ここで、このＴＳストリームは、図２（ａ）に示されるような構成となっており、複数のＴＳパケットで構成されている。各ＴＳパケットは、１８８バイトの固定長のパケットであり、ＴＳパケットヘッダ（図２中、ＴＳ Ｈで示す）とＴＳパケットペイロードで構成されている。
そして、このＴＳパケットペイロードには、パケッタライズド・エレメンタリ・ストリーム（PES; Packetized Elementary Stream）パケットをＴＳパケットペイロードのサイズに応じて分割したデータが格納されている。各ＰＥＳパケットは、ＰＥＳパケットヘッダ（図２中、ＰＥＳ Ｈで示す）とＰＥＳパケットペイロード（図２中、Frame＃１、＃２…に相当する）で構成されている。
さらに、このＰＥＳパケットヘッダには、表示時刻タイムスタンプ(PTS; Presentation Time Stamp)等が含まれている。このＰＴＳにより表示時刻が定まる。
パケット分離部１は、ＴＳパケットヘッダを取り出し、更にＰＥＳパケットのＰＥＳパケットヘッダからＰＴＳを抽出し、ＰＥＳパケットペイロードから符号化された音声フレームを抽出する。この抽出の結果は、図２（ｂ）に示される通りである。
続いて、不連続検出部２は、抽出されたＴＳパケットヘッダの連続性指標に基づいてパケットの不連続を検出し、不連続を検出した場合には不連続情報をオーディオ復号部３に送る。この例では、不連続検出部２は、カウンタ（Continuity Counter）に基いて不連続が発生しているか否かを判断するが、これに限定されるものではない。
そして、オーディオ復号部３は、ＰＥＳパケットペイロードをデコードし、復号化された音声フレーム（以下、これを「復号フレーム」という）を生成する。
次いで、表示時刻算出部５は、このオーディオ復号部３から復号フレームが入力されると、前表示時間にフレーム時間を加算することで表示時刻を算出する。そして、蓄積バッファ４は、オーディオ復号部３が不連続検出部２より不連続情報を受け取った以降の復号フレームを蓄積する。以下では、この蓄積バッファに蓄積された復号フレームの数を「蓄積フレーム数」と称する。表示時刻比較部６は、この蓄積バッファ４に存在する蓄積フレーム数が“０”であるならば、特に不連続は発生していないので、表示時刻算出部５にて算出された表示時刻とオーディオ復号部３を介して得たＰＴＳとを比較することで欠落フレームがあるか否かを判定する。ランダム誤りを検出するためである。
一方、表示時刻比較部６は、蓄積バッファ４に蓄積フレームが１フレーム以上存在している場合には、パケットロスが発生しているので、現フレームの表示時刻をＰＴＳに設定し、それ以前のフレームには、現ＰＴＳから逆引きして表示時刻を設定する。
こうして、欠落フレーム補間部７は、欠落フレームが存在する場合には、表示時刻比較部６より通知された欠落フレーム数に応じて補間フレームを生成し、当該補完フレームを表示制御部８に出力する。そして、表示制御部８は、表示時刻算出部５より送られた表示時刻、復号フレームに基づき、欠落フレーム補完部７から送られた補完フレームで欠落したフレームを適宜補完しつつ、音声をスピーカ９より出力する。
ここで、従来技術では、図２（ｃ）に示されるように、Syntaxエラーを検出するとＡＤＴＳヘッダを検出し、レングスを確認し、デコードしたフレームはFrame＃１〜＃５の間で３フレーム（フレーム＃２，＃３，＃４）抜けているものの、抜けたフレーム数を認識することができなかったため、１フレーム抜けたものとして処理していた。
すると、正常ストリームであれば、ＰＴＳ＃２とＰＴＳ＃７との間には５フレーム存在するはずであるところ、パケットロスにより３フレームしか処理していないため、同期が合わず、即ち同期エラーが発生し、再同期する必要が生じていた。
これに対して、この実施の形態に係るパケットストリーム受信装置では、図２（ｄ）に示されるように、パケット分離部１から送られた連続性指標に基いて、不連続検出部２がパケットロスを検出すると、分離ストリームに不連続点（図中、“Discon”と標記）を明示する不連続情報を挿入する。そして、表示時刻比較部６は、挿入された不連続情報を検出すると、ＰＴＳ間隔からＰＴＳ間に存在するフレーム数を算出する。これにより、不連続により欠落したフレーム数を正確に把握することが可能となる。そして、不連続点からＰＴＳを持つフレームまでに受信したフレーム数を探索し、この検出したフレーム数とＰＴＳ間隔とからパケットロスにより欠落したフレーム数を取得する。
尚、不連続検出部２からの不連続情報がない区間で発生した誤りについては、ランダム誤りによるものと推定できるため、図２（ｅ）に示されるように、パケットロスとランダム誤りにより誤り耐性処理を切り替えることで対応することができる。
即ち、この場合には、伝送過程でSyntaxエラーを検出すると、それは不連続点ではないので、誤りにより欠落したフレームは１枚のみと判定することになる。
以上の処理の結果、得られるオーディオ出力は図３に示される。正常なパケットストリームのオーディオ出力（図３の上段参照）に比べて、パケットロスが発生した場合、従来であれば、同期が合わず再同期する必要があったが（図３の中段参照）、本実施の形態に係るパケットストリーム受信装置によれば、検出したフレーム数とＰＴＳ間隔とからパケットロスにより欠落したフレーム数を取得することが可能となるので、再同期をとる必要がなく、タイミングズレを防止することができる（図３の下段参照）。
以下、図４のフローチャートを参照して、本発明の一実施の形態に係るパケットストリーム受信装置におけるパケット分離部１による一連の処理を更に詳細に説明する。
パケット分離部１は、ＴＳパケットを読み込み（ステップＳ１）、当該ＴＳパケットのＴＳパケットヘッダに含まれている連続性指標であるカウンタ（Continuity Counter)に基いて不連続が発生しているか否かを判断する（ステップＳ２）。不連続が発生していないと判断した場合にはステップＳ４に移行する。一方、ステップＳ２において、不連続が発生していると判断した場合には、不連続情報（この例ではフラグ情報DisconFlag）をオーディオ復号部３に転送し、ステップＳ４に移行する（ステップＳ３）。
続いて、パケット分離部１は、ＴＳパケットに多重化されたＰＥＳパケットのＰＥＳパケットヘッダにＰＴＳが含まれているか否かを判断し（ステップＳ４）、当該ＰＴＳが含まれていない場合には、ステップＳ６に移行する。一方、ステップＳ４において、当該ＰＴＳが含まれている場合には、ＰＴＳをオーディオ復号部３に転送した後、ステップＳ６に移行する（ステップＳ５）。こうして、パケット分離部１は、ＴＳパケットのＰＥＳパケットペイロードの符号化された音声フレーム（図２においてFrame＃１，＃２…で示す部分）をオーディオ復号部３に転送し（ステップＳ６）、上記ステップＳ１に戻り、上記処理をＴＳパケットストリームの各ＴＳパケットについて繰り返す。
次に、図５のフローチャートを参照して、本発明の一実施の形態に係るパケットストリーム受信装置のオーディオ復号部３等による一連の処理を更に詳述する。
不連続情報（この例ではフラグ情報DisconFlag）を受信すると、オーディオ復号部３は、当該不連続情報をストアし（この例では、storeBufFlagにフラグ情報DisconFlagをストア）（ステップＳ１１）、符号化された音声フレームを１フレーム分復号化する（ステップＳ１２）。続いて、表示時間(PTS)の取得の有無を判断する（ステップＳ１３）。
このステップＳ１３にて、ＰＴＳが取得されていないと判断した場合には、不連続情報がストアされているかを判断する（ステップＳ１４）。この例では、storeBufFlagにストアされているDisconFlagの真偽を判断する。ステップＳ１４にて、不連続情報がストアされていない場合には、不連続前の表示時間(prev.PTS)にフレーム時間長(frame time)を加算することで現表示時間（curPTS）を算出し（ステップＳ１５）、ステップＳ２５に移行する。一方、ステップＳ１４にて、不連続情報がストアされている場合には、復号フレームを蓄積バッファ４に蓄積し（ステップＳ１６）、蓄積フレーム数に係るカウントをインクリメントし（numStoreFrame++）（ステップＳ１７）、ステップＳ２５に移行する。
一方、上記ステップＳ１３において、表示時間(PTS)が取得されていると判断した場合には、続いて不連続情報がストアされているか否かを判断する（ステップＳ１８）。ここでも先と同様に、storeBufFlagにストアされているDisconFlagの真偽を判断する。
そして、このステップＳ１８にて、不連続情報がストアされていない場合には、現復号フレームの表示時間を算出する（ステップＳ１９）。この現表示時間（curPTS）は、不連続前の表示時間（prev.PTS）にフレーム時間長（frameTime）を加算することで求まる。
そして、上記ステップＳ１３で取得した表示時間(PTS)が上記ステップＳ１９で算出した現表示時間(curPTS)と等しいか否かを判断し（ステップＳ２０）、両者が等しいと判断した場合には各種変数の初期化（この例は、蓄積バッファ４の蓄積フレーム数storeFrameを０とし、不連続情報に係るstoreBufFlagをFALSEとする）を行い（ステップＳ２４）、ステップＳ２５に移行する。これに対して、両者が等しくないと判断した場合には、ランダム誤りが発生したものとして、現フレームと前フレーム間の欠落フレーム数を算出し((PTS-prev.PTS)/frameTime)(ステップＳ２１)、この欠落フレーム補間部７にて欠落フレーム数のフレームを補間し（ステップＳ２２）、各種変数の初期化を行う（この例は、蓄積フレーム数storeFrameを０とし、不連続情報に係るstoreBufFlagをFALSEとする)（ステップＳ２４）。一方、ステップＳ１８にて、不連続情報がストアされていると判断した場合には、詳細は後述するサブルーチン「蓄積フレーム処理」を実行し（ステップＳ２３）、各種変数の初期化（この例では、蓄積フレーム数storeFrameを０とし、不連続情報に係るstoreBufFlagをFALSEとする)（ステップＳ２４）。
こうして、ステップＳ２５では、直近フレームの表示時間を保存し(この例ではPrev.PTS=curPTS)（ステップＳ２５）、表示制御部８による表示制御を行い（ステップＳ２６）、一連の処理を終了する。
次に、図６のフローチャートを参照して、図５のステップＳ２３で実行されるサブルーチン蓄積フレーム処理について更に詳細に説明する。
この蓄積フレーム処理に入ると、先ず不連続点の欠落フレーム数(numLostFrame)を算出する（ステップＳ３１）。現時刻から不連続発生時刻までのフレーム数は、｛現表示時間(PTS)−不連続前の表示時間(prev.PTS)｝をフレーム時間長(frameTime)で除算することで求められるので、現時刻から不連続発生時刻までのフレーム数から蓄積バッファ４に蓄積されたフレーム数を減算することで求まる。
例えば、図２（ｂ）の例では、次のようになる。
不連続前の表示時間 ： prev.PTS→Frame1
現時刻の表示時間 ： PTS→Frame7
蓄積バッファのフレーム数 ： numStoreFrame=2(Frame5,6)
不連続点の欠落フレーム数 ： numLostFrame=3
続いて、欠落フレーム補完部７は、欠落フレームの補間を行う（ステップＳ３２乃至Ｓ３５）。即ち、現表示時間（curPTS）を不連続前の表示時間（prev.PTS）とフレーム時間長（frameTime）との和により算出し（ステップＳ３２）、欠落フレームを補間し（ステップＳ３３）、不連続点の欠落フレーム数を一つデクリメントし（ステップＳ３４）、以上の処理をnumLostFrameが０となるまで繰り返す（ステップＳ３５）。
以上で、欠落フレームが全て補間されることになる。
次いで、蓄積バッファ４に格納された蓄積フレームに時間情報を付加する（ステップＳ３６乃至Ｓ３８）。即ち、現表示時間（curPTS）を不連続前の表示時間（prev.PTS）とフレーム時間長（frameTime）との和により算出し（ステップＳ３２）、当該カウンタの値が蓄積されたフレーム数となるまで、蓄積フレームへの時間情報の付加を繰り返す（ステップＳ３７、Ｓ３８）。以上の処理の後、現復号フレーム(curPTS=PTS)を特定し（ステップＳ３９）、図５のステップＳ２３以降の処理にリターンする。
尚、蓄積バッファ４に蓄積されたフレームのリセットのタイミングについては、時間情報により制御する方法、データ量により制御する方法等、種々の方法を採り得る。
以上説明したように、本発明の一実施の形態によれば、不連続が発生したタイミングで不連続情報を挿入することで、当該不連続情報、ＰＴＳ間隔などから欠落したフレーム数を正確に把握することができることから、タイミングズレが生じることなくオーディオ出力を行うことができるパケットストリーム受信装置が提供される。
以上、本発明の一の実施の形態について説明したが、本発明はこれに限定されることなく、その趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。
本発明の一実施の形態に係るパケットストリーム受信装置の構成図である。 （ａ）乃至（ｅ）はパケットロスの検出過程を示す概念図である。 従来技術と実施の形態に係る装置との出力の相違を示す図である。 本発明の一実施の形態に係るパケットストリーム受信装置におけるパケット分離部１による一連の処理を更に詳細に説明するフローチャートである。 本発明の一実施の形態に係るパケットストリーム受信装置におけるオーディオ復号部３による一連の処理を更に詳細に説明するフローチャートである。 図５のステップＳ２３で実行されるサブルーチン蓄積フレーム処理について更に詳細に説明するフローチャートである。
符号の説明
１…パケット分離部、２…不連続検出部、３…オーディオ復号部、４…蓄積バッファ、５…表示時刻算出部、６…表示時刻比較部、７…欠落フレーム補間部、８…表示制御部、９…スピーカ。

Claims (5)

  1. パケットより表示時間を抽出するパケット分離手段と、
    上記パケットの不連続性を検出する不連続検出手段と、
    上記不連続性が検出された以降の復号フレームを蓄積する蓄積バッファ手段と、
    上記蓄積バッファ手段が上記復号フレームを蓄積している場合には、上記不連続性の検出時である不連続点から表示時間の取得までに受信した実フレーム数に基づいて欠落したフレーム数を算出する表示時刻比較手段と、
    を具備することを特徴とするパケットストリーム受信装置。
  2. トランスポートストリームの各パケットに多重化されたＰＥＳパケットより表示時刻タイムスタンプを抽出するパケット分離手段と、
    上記トランスポートストリームの上記各パケットのパケットヘッダの連続性指標に基づいてパケットの不連続性を検出して不連続情報を出力する不連続検出手段と、
    上記不連続検出手段からの不連続情報を受信し、更に上記符号化された音声フレームを復号化して復号フレームを出力する復号手段と、
    上記復号手段が上記不連続検出手段より不連続情報を受け取った以降の復号フレームを蓄積する蓄積バッファ手段と、
    上記蓄積バッファ手段が復号フレームを蓄積している場合には、上記前の表示時刻タイムスタンプと不連続発生後の表示時刻タイムスタンプとの間隔から当該表示時刻タイムスタンプ間に存在する全フレーム数を算出し、上記不連続情報により特定される不連続点から上記不連続発生後の表示時刻タイムスタンプまでに受信した実フレーム数を算出し、全フレーム数から実フレーム数を減算することで欠落したフレーム数を算出する表示時刻比較手段と、
    を具備することを特徴とするパケットストリーム受信装置。
  3. トランスポートストリームの各パケットに多重化されたＰＥＳパケットより表示時刻タイムスタンプ、符号化された音声フレームを抽出するパケット分離手段と、
    上記トランスポートストリームの上記各パケットのパケットヘッダの連続性指標に基づいてパケットの不連続性を検出して不連続情報を出力する不連続検出手段と、
    上記不連続検出手段からの不連続情報を受信し、更に上記符号化された音声フレームを復号化して復号フレームを出力する復号手段と、
    上記復号手段が上記不連続検出手段より不連続情報を受け取った以降の復号フレームを蓄積する蓄積バッファ手段と、
    上記蓄積バッファ手段が復号フレームを蓄積している場合には、上記前の表示時刻タイムスタンプと不連続発生後の表示時刻タイムスタンプとの間隔から当該表示時刻タイムスタンプ間に存在する全フレーム数を算出し、上記不連続情報により特定される不連続点から上記不連続発生後の表示時刻タイムスタンプまでに受信した実フレーム数を算出し、全フレーム数から実フレーム数を減算することで欠落したフレーム数を算出する表示時刻比較手段と、
    上記欠落フレーム数に応じて補間フレームを生成する欠落フレーム補完手段と、
    上記復号手段から復号フレームが入力されると、前の表示時刻タイムスタンプにフレーム時間を順次加算することで復号フレームの表示時刻を算出する表示時刻算出手段と、
    上記表示時刻に基づいて、上記復号フレームを上記補完フレームで補完しつつ出力するよう制御する表示制御手段と、
    上記表示制御手段の制御に基づいて出力する出力手段と、
    を具備することを特徴とするパケットストリーム受信装置。
  4. 上記表示時刻比較手段は、上記前の表示時刻タイムスタンプと上記不連続発生後の表示時刻タイムスタンプとの差をフレーム時間長で除算することで全フレーム数を算出し、上記不連続情報により特定される不連続点と上記不連続発生後の表示時刻タイムスタンプとの差をフレーム時間長で除算することで実フレーム数を算出し、全フレーム数から実フレーム数を減算することで欠落したフレーム数を算出する、ことを更に特徴とする請求項２又は３のいずれかに記載のパケットストリーム受信装置。
  5. 上記不連続点以降、当該不連続発生後の表示時刻タイムスタンプの取得までにエラーが発生した場合には、誤りにより欠落したフレーム数を１として処理する、請求項２または３のいずれかに記載のパケットストリーム受信装置。
JP2006188577A 2006-07-07 2006-07-07 パケットストリーム受信装置 Pending JP2008017351A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006188577A JP2008017351A (ja) 2006-07-07 2006-07-07 パケットストリーム受信装置
US11/796,950 US20080007653A1 (en) 2006-07-07 2007-04-30 Packet stream receiving apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006188577A JP2008017351A (ja) 2006-07-07 2006-07-07 パケットストリーム受信装置

Publications (1)

Publication Number Publication Date
JP2008017351A true JP2008017351A (ja) 2008-01-24

Family

ID=38918783

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006188577A Pending JP2008017351A (ja) 2006-07-07 2006-07-07 パケットストリーム受信装置

Country Status (2)

Country Link
US (1) US20080007653A1 (ja)
JP (1) JP2008017351A (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2451828A (en) * 2007-08-13 2009-02-18 Snell & Wilcox Ltd Digital audio processing method for identifying periods in which samples may be deleted or repeated unobtrusively
US8331459B2 (en) * 2007-09-26 2012-12-11 Intel Corporation Method and apparatus for smooth digital media playback
US20100158130A1 (en) * 2008-12-22 2010-06-24 Mediatek Inc. Video decoding method
US8437619B2 (en) 2010-12-20 2013-05-07 General Instrument Corporation Method of processing a sequence of coded video frames
JP2012142874A (ja) * 2011-01-06 2012-07-26 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US8438595B1 (en) 2011-11-04 2013-05-07 General Instrument Corporation Method and apparatus for temporal correlation of content-specific metadata with content obtained from disparate sources
US20140056354A1 (en) * 2012-08-21 2014-02-27 Mediatek Inc. Video processing apparatus and method
CN111883147B (zh) * 2020-07-23 2024-05-07 北京达佳互联信息技术有限公司 音频数据处理方法、装置、计算机设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04127747A (ja) * 1990-09-19 1992-04-28 Toshiba Corp 可変レート符号化方式
US6373842B1 (en) * 1998-11-19 2002-04-16 Nortel Networks Limited Unidirectional streaming services in wireless systems
US6661793B1 (en) * 1999-01-19 2003-12-09 Vocaltec Communications Ltd. Method and apparatus for reconstructing media
JP4481444B2 (ja) * 2000-06-30 2010-06-16 株式会社東芝 画像符号化装置
US7567570B2 (en) * 2002-03-19 2009-07-28 Network Equipment Technologies, Inc. Reliable transport of TDM data streams over packet networks
JP3836077B2 (ja) * 2002-11-14 2006-10-18 松下電器産業株式会社 伝送データ構造及びそれを伝送するための方法並びに装置
GB2399263A (en) * 2003-03-07 2004-09-08 Zarlink Semiconductor Ltd Clock synchronisation over a packet network
US7551647B2 (en) * 2004-07-19 2009-06-23 Qvidium Technologies, Inc. System and method for clock synchronization over packet-switched networks
US7433358B1 (en) * 2005-07-08 2008-10-07 Cisco Technology, Inc. Characterization of impaired intervals in a voice over packet session using audio frame loss concealment

Also Published As

Publication number Publication date
US20080007653A1 (en) 2008-01-10

Similar Documents

Publication Publication Date Title
EP2306736B1 (en) Method and apparatus for processing video and audio data received in decoding system
JP2008017351A (ja) パケットストリーム受信装置
US20080101478A1 (en) Decoding device and decoding method
JP4983923B2 (ja) デコーダ装置、およびデコード方法
US7656947B2 (en) Synchronization device and synchronization method in digital broadcast receiver
US20020181600A1 (en) Stream converting apparatus that converts data stream of first format possibly containing error into correct data stream of second format
JP2009290768A (ja) 映像処理装置および映像処理方法
JP5632711B2 (ja) 送信装置、受信装置及び伝送システム
JP2005217486A (ja) ストリーム復号装置
JP3920125B2 (ja) 復号装置及び復号方法
TWI762980B (zh) 數位串流錯誤檢查方法與電路系統
JP5741064B2 (ja) 映像音声処理装置および映像音声処理方法
JP4690965B2 (ja) データ記録再生装置
KR0154005B1 (ko) 시스템 부호화기를 위한 재생시간정보 발생장치
JP2006254298A (ja) 動画再生装置及び動画再生方法
JP2008035216A (ja) 動画像復号装置
JPH1188878A (ja) 不連続トランスポートストリームパケット処理装置
JP2002281498A (ja) 受信再生装置
JP4127799B2 (ja) 復号再生装置
JP4390666B2 (ja) 圧縮映像データ及び圧縮音声データの復号再生方法及び復号再生装置
JP4472711B2 (ja) 音声データ処理装置および音声データ処理方法
US8290284B2 (en) Error determination device and error determination method
WO2009090728A1 (ja) メディア再生装置
JP2012109655A (ja) メディア受信装置
JP4820877B2 (ja) 情報データ受信装置、情報データ受信方法、情報データ受信プログラムおよび情報データ受信プログラムを格納した記録媒体