JP2006270595A - 映像符号化回路、映像符号化装置および多重化回路 - Google Patents

Abstract

【課題】０周回が生じても、ローカルタイムスタンプをＰＴＳに正常に変換することが可能な映像符号化回路、映像符号化装置および多重化回路を提供する。
【解決手段】ＥＳパース部２１は、H.264エレメンタリーストリームをフレーム単位で分割してＰＥＳペイロードとして出力するとともに、各ＰＥＳペイロードの構成要素を分析して、ＰＴＳ生成部２３におけるタイムスタンプ変換処理に必要な情報を抽出する。０周回判定部２２は、０周回が発生したか否かを判定し、０周回が発生しない場合には、ＰＴＳ生成部２３は、通常処理手段２３ａを用いて、通常の処理によりＰＴＳを生成する。一方、０周回が発生した場合には、ＰＴＳ生成部２３は、０周回処理手段２３ｂを用いて、通常の処理により求めたＰＴＳに、前フレームのローカルタイムスタンプのビット長に基づいて求めた補正値δを加えた値をＰＴＳとするようにしたものである。
【選択図】 図３

Description

この発明は、ローカルタイムスタンプを任意のビット長で設定可能な動画圧縮方式を用いて、動画像信号を符号化する映像符号化装置に関する。

周知のように、例えばＩＴＵ−Ｔ（International Telecommunication Union-Telecommunication Sector）勧告H.264などの動画圧縮方式は、ローカルタイムスタンプを任意のビット長（１〜３２ビット）に設定することを可能としている（例えば、非特許文献１参照）。

しかしながら、上記ビット長を任意に設定可能であることより、設定値によっては０周回を起こす可能性がある。符号化装置において０周回を起こした場合、ローカルタイムスタンプをＰＴＳ（Presentation Time Stamp）に正常に変換できないという問題があった。
大久保榮監修「H.264/AVC教科書」（株）インプレスコミュニケーションズ、２００４年７月３０日。

従来の映像符号化装置では、ローカルタイムスタンプを任意のビット長に設定することが可能な動画圧縮方式を採用する場合、上記ビット長の設定値によっては０周回を起こす可能性があり、０周回を起こすとローカルタイムスタンプをＰＴＳに正常に変換できないという問題があった。
この発明は上記の問題を解決すべくなされたもので、０周回が生じても、ローカルタイムスタンプをＰＴＳに正常に変換することが可能な映像符号化回路、映像符号化装置および多重化回路を提供することを目的とする。

上記の目的を達成するために、この発明は、タイムスタンプを任意のビット長で設定可能な動画圧縮方式を用いて、動画像信号を符号化する映像符号化回路において、動画圧縮方式を用いて動画像信号をフレーム単位の符号化データに符号化し、この符号化データにタイムスタンプを付与する符号化手段と、この符号化手段が生成した符号化データに付与されるタイムスタンプを検出するタイムスタンプ検出手段と、このタイムスタンプ検出手段が検出したタイムスタンプのカウント値に基づいて、０周回の発生を検出する０周回検出手段と、タイムスタンプ検出手段が検出したタイムスタンプに基づいて、符号化データの提示時刻を示す提示タイムスタンプを生成するものであって、０周回検出手段が０周回の発生を検出した場合には、０周回発生を検出するのに０周回検出手段が用いたタイムスタンプのビット長に基づいて、生成した提示タイムスタンプを補正する提示タイムスタンプ生成手段と、符号化手段が生成した符号化データをパケット化するパケット化手段と、このパケット化手段がパケット化した符号化データに、提示タイムスタンプ生成手段が生成した提示タイムスタンプを付加するパケット生成手段とを具備して構成するようにした。

以上述べたように、この発明では、０周回検出手段が０周回の発生を検出し、０周回が発生した場合には、タイムスタンプのビット長に基づいて補正した提示タイムスタンプを求めるようにしている。
したがって、この発明によれば、０周回が生じても、ローカルタイムスタンプを提示タイムスタンプに正常に変換することが可能な映像符号化装置を提供できる。

以下、図面を参照して、この発明の一実施形態について説明する。
図１は、この発明に係わる映像符号化回路の構成を機能ブロックで示したものであり、この回路は映像符号化装置に実装される。映像符号化回路は、H.264エンコーダ１０と、MPEG-2 Systems TS 多重器２０とを備える。ここでは機能ブロックで示すが、これらの構成は１つのＤＳＰチップとその制御プログラムで実現することも可能である。

H.264エンコーダ１０は、動画像の映像情報にＩＴＵ−Ｔ勧告H.264の動画圧縮方式にしたがった符号化処理を施して、符号化データとしてH.264エレメンタリーストリーム（ＥＳ：Elementary Stream）を生成する。

H.264エンコーダ１０は、図２に示すようなＨＲＤ（Hypothetical Reference Decoder）モデルに基づくものである。このＨＲＤモデルは、ＣＰＢ（Coded Picture Buffer）１と、デコーダ２と、ＤＰＢ（Decoded Picture Buffer）３とを備える。ＣＰＢ１は、符号化データをバッファしてデコーダ２に出力する。デコーダ２によってデコードされたデータは、ＤＰＢ３でバッファされた後、出力される。

なお、以下の説明では、ＣＰＢ１からｎ番目のフレームの符号化データが出力される時刻をtr,n(n)とし、ＤＰＢ３から復号されたデータが出力される時刻をto,dpb(n)として説明する。またＤＰＢ３では、時間dpb_output_delay(n)だけバッファされるものとする。

MPEG-2 Systems TS 多重器２０は、上記H.264エレメンタリーストリームなどのビデオデータやオーディオデータ、その他のデータを、それぞれ１８８バイトのＴＳ（Transport Stream）パケットにパケット化し、これらを多重化したトランスポートストリーム（ＴＳ）を生成する。以下の説明では、H.264エレメンタリーストリームに係わる構成について詳述する。

このMPEG-2 Systems TS 多重器２０は、図３に示すように、ＥＳ（Elementary Stream）パース（parse）部２１と、０周回判定部２２と、ＰＴＳ（Presentation Time Stamp）生成部２３と、ＰＥＳ（Packetized Elementary Stream）パケット生成部２４と、ＴＳ（Transport Stream）パケット生成部２５、多重スイッチ２６とを備える。

ＥＳパース部２１は、例えば上記H.264エレメンタリーストリームをフレーム単位で分割してＰＥＳペイロードとしてＰＥＳパケット生成部２４に出力するとともに、各ＰＥＳペイロードの構成要素（シンタックス）を分析して、ＰＴＳ生成部２３におけるタイムスタンプ変換処理に必要な情報を上記ＰＥＳペイロードから抽出し、ＰＴＳ生成部２３に通知する。また、この抽出した情報のうち、ローカルタイムスタンプについては、０周回判定部２２に出力する。

０周回判定部２２は、ＥＳパース部２１が検出した各フレームのローカルタイムスタンプを、フレーム間で比較して、ローカルタイムスタンプに０周回が発生したか否かを判定し、この判定結果をＰＴＳ生成部２３に出力する。ここでの具体的な検出方法としては、あるフレームｆ_ｎのタイムスタンプが示す時間ｔ_ｎを、上記フレームｆ_ｎに続くフレームｆ_ｎ＋１のタイムスタンプが示す時間ｔ_ｎ＋１から減算して、その減算結果の符号が負の場合に０周回が発生したものと判定する。

ＰＴＳ生成部２３は、通常処理手段２３ａと０周回処理手段２３ｂとを備えている。通常処理手段２３ａと０周回処理手段２３ｂは、いずれもＰＴＳ（Presentation Time Stamp）を生成するものであるが、０周回判定部２２が０周回の発生を検出しない場合には、通常処理手段２３ａによってＰＴＳを生成し、一方、０周回の発生を検出した場合には、０周回処理手段２３ｂによってＰＴＳを生成する。

通常処理手段２３ａは、下式（１）および（２）に基づいて上記ＰＴＳを求める。ここでＰＴＳは、下式（２）のto,dpb(n)に相当する。ｎは、処理対象となるフレームがｎ番目のフレームであることを示す。

なお、上式において、tr,n(nb)は当該ｎ番目のフレームから見て、過去直近のＩＤＲフレーム（ｎｂ番目のフレーム）について求めたtr,n(n)である。またこれに備え、上記tr,n(nb)は、ＰＴＳ生成部２３が保持している。具体的にはＰＴＳ生成部２３は、ＥＳパース部２１から通知される情報に基づいて、自己が求めたtr,n(n)がＩＤＲフレームに関するものであることを検出し、これをtr,n(nb)として、少なくとも次のＩＤＲフレームに対する処理を行うまで保持する。

また上式（１）および（２）において、ｔｃは１クロックあたりの時間解像度を示す。またcpb_removal_delay(n)は、ローカルタイムスタンプの値に相当し、ＥＳパース部２１がＰＥＳペイロードから検出した値が代入される。同様に、ｔｃは、ＥＳパース部２１によってＰＥＳペイロードから検出された値を用いる。また、dpb_output_delay(n)についても、ＥＳパース部２１によってＰＥＳペイロードから検出された値を用いる。

一方、０周回処理手段２３ｂは、上述したような通常処理手段２３ａの処理により時刻to,dpb(n)を求め、これに補正値δを加えた値をＰＴＳとすることで、０周回を考慮した値を生成し、ＰＥＳパケット生成部２４に出力する。

補正値δは、例えば次のように求める。前フレーム（ｎ−１番目）のローカルタイムスタンプcpb_removal_delay(n-1)のビット長をＥＳパース部２１から通知される情報に基づいて検出し、このビット長で表現可能な最大時刻t_max(n-1)を求める。そして、このt_max(n-1)から上記cpb_removal_delay(n-1)を減じた値を補正値δとする。このため、ＰＴＳ生成部２３は、ＥＳパース部２１から通知される情報のうち、少なくとも１フレーム前の上記情報を保持するようにする。

ＰＥＳパケット生成部２４は、ＰＴＳ生成部２３で求められたＰＴＳなどを挿入したＰＥＳヘッダを生成し、これをＥＳパース部２１から出力されるＰＥＳペイロードの先頭に付加して、ＰＥＳパケットを生成する。

ＴＳパケット生成部２５は、上記ＰＥＳパケットを１８４バイトのＴＳ（Transport Stream）ペイロードに分割し、各ＴＳペイロードの先頭にＴＳ（Transport Stream）ヘッダを付加してＴＳ（Transport Stream）パケットを生成する。

ＴＳパケット生成部２５で生成されたＴＳパケットは、多重スイッチ２６にて、他の系統（図示しない）によりＴＳパケット化されたオーディオデータなどと多重化されて、トランスポートストリーム（ＴＳ）として出力される。

以上のように、上記構成の映像符号化装置では、０周回判定部２２で０周回が発生したか否かを判定し、０周回が発生しない場合には、ＰＴＳ生成部２３は、通常処理手段２３ａを用いて、通常の処理によりＰＴＳを生成する。一方、０周回が発生した場合には、ＰＴＳ生成部２３は、０周回処理手段２３ｂを用いて、通常の処理により求めたＰＴＳに、前フレームのローカルタイムスタンプのビット長に基づいて求めた補正値δを加えた値をＰＴＳとするようにしている。

したがって、上記構成の映像符号化装置によれば、ローカルタイムスタンプのビット長を短くすることで０周回が発生しても、ローカルタイムスタンプをＰＴＳに正常に変換することができる。このため、ローカルタイムスタンプのビット長を短くすることができ、伝送情報量を削減することができる。

なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。

この発明に係わる映像符号化回路の一実施の形態の構成を示す回路ブロック図。 図１に示した映像符号化回路のH.264エンコーダのＨＲＤモデルを示す図。 図１に示した映像符号化回路のMPEG-2 Systems TS 多重器の構成を示す回路ブロック図。

符号の説明

１…ＣＰＢ、２…デコーダ、３…ＤＰＢ、１０…H.264エンコーダ、２０…MPEG-2 Systems TS 多重器、２１…ＥＳパース部、２２…０周回判定部、２３…ＰＴＳ生成部、２３ａ…通常処理手段、２３ｂ…０周回処理手段、２４…ＰＥＳパケット生成部、２５…ＴＳパケット生成部、２６…多重スイッチ。

Claims (9)

1. ローカルタイムスタンプを任意のビット長で設定可能な動画圧縮方式を用いて、動画像信号を符号化する映像符号化回路において、
   前記動画圧縮方式を用いて動画像信号をフレーム単位の符号化データに符号化し、この符号化データに前記ローカルタイムスタンプを付与する符号化手段と、
   この符号化手段が生成した符号化データに付与されるローカルタイムスタンプを検出するローカルタイムスタンプ検出手段と、
   このローカルタイムスタンプ検出手段が検出したローカルタイムスタンプのカウント値に基づいて、０周回の発生を検出する０周回検出手段と、
   前記ローカルタイムスタンプ検出手段が検出したローカルタイムスタンプに基づいて、前記符号化データの提示時刻を示す提示タイムスタンプを生成するものであって、前記０周回検出手段が０周回の発生を検出した場合には、前記０周回発生を検出するのに０周回検出手段が用いたローカルタイムスタンプのビット長に基づいて、前記生成した提示タイムスタンプを補正する提示タイムスタンプ生成手段と、
   前記符号化手段が生成した符号化データをパケット化するパケット化手段と、
   このパケット化手段がパケット化した符号化データに、前記提示タイムスタンプ生成手段が生成した提示タイムスタンプを付加するパケット生成手段とを具備したことを特徴とする映像符号化回路。
2. 前記０周回検出手段は、前記ローカルタイムスタンプ検出手段が検出した連続する２つのローカルタイムスタンプのカウント値を比較することにより、０周回の発生を検出することを特徴とする請求項１に記載の映像符号化回路。
3. 前記提示タイムスタンプ生成手段は、前記０周回検出手段が０周回の発生を検出した場合に、前記０周回発生を検出するのに０周回検出手段が用いた２つのローカルタイムスタンプのうち、時間的に先行するローカルタイムスタンプからそのビット長で表現される最大カウント値を求め、この最大カウント値から、前記時間的に先行するローカルタイムスタンプのカウント値を減じた値に基づいて、前記生成した提示タイムスタンプを補正することを特徴とする請求項２に記載の映像符号化回路。
4. ローカルタイムスタンプを任意のビット長で設定可能な動画圧縮方式を用いて、動画像信号を符号化する映像符号化装置において、
   前記動画圧縮方式を用いて動画像信号をフレーム単位の符号化データに符号化し、この符号化データに前記ローカルタイムスタンプを付与する符号化手段と、
   この符号化手段が生成した符号化データに付与されるローカルタイムスタンプを検出するローカルタイムスタンプ検出手段と、
   このローカルタイムスタンプ検出手段が検出したローカルタイムスタンプのカウント値に基づいて、０周回の発生を検出する０周回検出手段と、
   前記ローカルタイムスタンプ検出手段が検出したローカルタイムスタンプに基づいて、前記符号化データの提示時刻を示す提示タイムスタンプを生成するものであって、前記０周回検出手段が０周回の発生を検出した場合には、前記０周回発生を検出するのに０周回検出手段が用いたローカルタイムスタンプのビット長に基づいて、前記生成した提示タイムスタンプを補正する提示タイムスタンプ生成手段と、
   前記符号化手段が生成した符号化データをパケット化するパケット化手段と、
   このパケット化手段がパケット化した符号化データに、前記提示タイムスタンプ生成手段が生成した提示タイムスタンプを付加するパケット生成手段とを具備したことを特徴とする映像符号化装置。
5. 前記０周回検出手段は、前記ローカルタイムスタンプ検出手段が検出した連続する２つのローカルタイムスタンプのカウント値を比較することにより、０周回の発生を検出することを特徴とする請求項４に記載の映像符号化装置。
6. 前記提示タイムスタンプ生成手段は、前記０周回検出手段が０周回の発生を検出した場合に、前記０周回発生を検出するのに０周回検出手段が用いた２つのローカルタイムスタンプのうち、時間的に先行するローカルタイムスタンプからそのビット長で表現される最大カウント値を求め、この最大カウント値から、前記時間的に先行するローカルタイムスタンプのカウント値を減じた値に基づいて、前記生成した提示タイムスタンプを補正することを特徴とする請求項５に記載の映像符号化装置。
7. ローカルタイムスタンプを任意のビット長で設定可能な動画圧縮方式によって生成された動画像の符号化データを、他の符号化データとパケット多重する多重化回路において、
   前記動画像の符号化データに付与されるローカルタイムスタンプを検出するローカルタイムスタンプ検出手段と、
   このローカルタイムスタンプ検出手段が検出したローカルタイムスタンプのカウント値に基づいて、０周回の発生を検出する０周回検出手段と、
   前記ローカルタイムスタンプ検出手段が検出したローカルタイムスタンプに基づいて、前記符号化データの提示時刻を示す提示タイムスタンプを生成するものであって、前記０周回検出手段が０周回の発生を検出した場合には、前記０周回発生を検出するのに０周回検出手段が用いたローカルタイムスタンプのビット長に基づいて、前記生成した提示タイムスタンプを補正する提示タイムスタンプ生成手段と、
   前記符号化手段が生成した符号化データをパケット化するパケット化手段と、
   このパケット化手段がパケット化した符号化データに、前記提示タイムスタンプ生成手段が生成した提示タイムスタンプを付加するパケット生成手段とを具備したことを特徴とする多重化回路。
8. 前記０周回検出手段は、前記ローカルタイムスタンプ検出手段が検出した連続する２つのローカルタイムスタンプのカウント値を比較することにより、０周回の発生を検出することを特徴とする請求項７に記載の多重化回路。
9. 前記提示タイムスタンプ生成手段は、前記０周回検出手段が０周回の発生を検出した場合に、前記０周回発生を検出するのに０周回検出手段が用いた２つのローカルタイムスタンプのうち、時間的に先行するローカルタイムスタンプからそのビット長で表現される最大カウント値を求め、この最大カウント値から、前記時間的に先行するローカルタイムスタンプのカウント値を減じた値に基づいて、前記生成した提示タイムスタンプを補正することを特徴とする請求項８に記載の多重化回路。

Images