JP5380862B2

JP5380862B2 - Ｉｐストリーム送受信システム、ｉｐストリーム受信装置及びそれらに用いる受信処理タイミング同期化方法

Info

Publication number: JP5380862B2
Application number: JP2008054241A
Authority: JP
Inventors: 延幸長藤
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2008-03-05
Filing date: 2008-03-05
Publication date: 2014-01-08
Anticipated expiration: 2028-03-05
Also published as: JP2009212876A; US20090225791A1; US8315312B2

Description

本発明はＩＰストリーム送受信システム、ＩＰストリーム受信装置及びそれらに用いる受信処理タイミング同期化方法並びにそのプログラムに関し、特にＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）ストリームの受信処理のタイミング同期化に関する。

ＩＰネットワーク上等でリアルタイムに映像、音声ストリーム等を送受信する場合には、一般的にＵＤＰ（ＵｓｅｒＤａｔａｇｒａｍＰｒｏｔｏｃｏｌ）パケットが用いられ、また映像、音声ストリームはＭＰＥＧ２（ＭｏｖｉｎｇＰｉｃｔｕｒｅｓＥｘｐｅｒｔＧｒｏｕｐ−２）−ＴＳ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）に代表される符号化データや非圧縮（ＰＣＭ：ＰｕｌｓｅＣｏｄｅＭｏｄｕｌａｔｉｏｎ）データ等が用いられている。

このＩＰストリームの受信処理における同期タイミング（例えば、ＴＳタイムスタンプ等）は、ＵＤＰより上位で定義されるプロトコル［例えば、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅＴｒａｍｓｐｏｒｔＰｒｏｔｏｃｏｌ）等］上で付加されている。この場合、ＩＰストリームとしては、図９に示すようなＲＴＰヘッダを付加する例がある。

図９に示すＩＰストリームは、「ＩＰヘッダ」、「ＵＤＰヘッダ」、「ＲＴＰヘッダ」、「ペイロード（ＰＡＹＬＯＡＤ）（映像、音声等）」から構成され、同期タイミングが「ＲＴＰヘッダ」に挿入される。尚、上記の同期タイミングの代わりに、例えば、ＲＴＰヘッダ上のシーケンス番号先頭等を用いることも可能である。

ＩＰストリームを送受信するシステムの構成例を図１０に示す。図１０において、映像／音声送信装置は、映像／音声入力及び映像フレーム同期を基に映像／音声の符号化処理を行う映像／音声符号化処理回路３１と、符号化処理されたＭＰＥＧ２−ＴＳ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）パケット（以下、ＴＳパケットとする）にＴＳタイムスタンプを付加するＴＳタイムスタンプ付加回路３２と、ＴＳパケットに冗長パケットを付加するＦＥＣ（ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ：順方向誤り訂正）符号化回路３３と、ＴＳパケットにＲＴＰヘッダを付加するＲＴＰ化回路３４と、ＵＤＰヘッダやＩＰヘッダを付加してＩＰ網１００に送信するＵＤＰ／ＩＰ送信回路３５とを含んで構成されている。

また、映像／音声受信装置は、ＩＰ網１００からＩＰパケットを受信しかつＩＰパケットから「ＩＰヘッダ」、「ＵＤＰヘッダ」を外して出力するＵＤＰ／ＩＰ受信回路４１と、その出力されたパケットから「ＲＴＰヘッダ」を外して出力するＲＴＰ外し回路４２と、ペイロードのＴＳパケットに対してＦＥＣ復号化を行うＦＥＣ復号化回路４３と、ＦＥＣ復号して誤り訂正が行われたＴＳパケットからＴＳタイムスタンプを再生するＴＳタイムスタンプ再生回路４４と、ＴＳパケットから映像／音声の復号化処理を行う映像／音声復号処理回路４５とを含んで構成されている。

このＩＰストリームの同期タイミング（受信処理タイミング）は、ＩＰストリームを受信した直後のＦＥＣ復号化処理等（ブロック、フレーミング処理）に必要となる。ここで、ブロックとはｎ個のＴＳパケットからなる組を指している。また、ＦＥＣ復号化処理等にて、後述する誤り訂正処理が行われてロストしたＴＳパケットの復元が行われる（例えば、特許文献１参照）。

上記の同期タイミングは、送信側でＴＳパケットの先頭バイト到達時の時間を、送信直前に、ＴＳタイムスタンプとして付加し（図９参照）、受信側のＴＳタイムスタンプ再生回路４４でＴＳタイムスタンプを再生し、ＴＳパケット先頭に付加されているタイムスタンプ情報を見ながら、送信時（ＴＳタイムスタンプ付加時）とパケット間隔が同じになるように、図示せぬＦＩＦＯ（ＦｉｒｓｔＩｎＦｉｒｓｔＯｕｔ）等を使って制御している。ここで、タイムスタンプ情報は２７ＭＨｚ、カウント値３２ｂｉｔ（４Ｂｙｔｅ）で表現される。これは、一般的に、タイムスタンプ付きＴＳ（ＴＴＳ）と呼ばれることがある。

本発明に関連するＴＳタイムスタンプの付加例を図１１に示している。この図１１に示す例の場合、ＴＳパケット＃０のＴＳタイムスタンプをｔ０、ＴＳパケット＃１のＴＳタイムスタンプをｔ１とし、ＴＳパケット＃０をＦＩＦＯから読出し開始した時間をｔＡとすると、ＴＳパケット＃１のＦＩＦＯから読出すタイミングｔＢは、
ｔＢ＝ｔＡ＋（ｔ１−ｔ０）
という式によって算出される。

また、ＦＥＣ処理においては、一般にリード・ソロモン符号やＬＤＰＣ（ｌｏｗｄｅｎｓｉｔｙｐａｒｉｔｙｃｈｅｃｋ）符号等の「線形符号」を利用することができる。以下、ＬＤＰＣ符号を例に取ってパケットレベル（１パケット＝符号語の１ビット）の誤り訂正動作について簡単に説明する。

まず、送信側において、ＦＥＣ処理に、パケット「０」〜「６」が入力されると、図１２に示すように、予め設定された検査行列を基に冗長パケット「７」〜「９」が作成される。この例の場合、冗長パケット「７」はパケット「１」とパケット「３」とパケット「５」との排他的論理和（ｅＸｃｌｕｓｉｖｅＯＲ）をとることで算出され、冗長パケット「８」はパケット「２」とパケット「４」とパケット「６」との排他的論理和をとることで算出され、冗長パケット「９」はパケット「０」とパケット「３」とパケット「６」との排他的論理和をとることで算出される。

受信側では、図１３に示すように、冗長パケット「７」〜「９」が付加されかつパケット「０」，「３」，「６」がロストしたＩＰストリームを受信すると、受信パケットのシーケンス番号をみて受信したパケットの位置に‘０’を書込むことでエラーリストを作成する。この時、エラーリストの初期値を‘１’とする。この場合、パケット「０」，「３」，「６」がロストしているので、エラーリストは‘１００１００１０００’となる。

このエラーリストと上記の検査行列とを突き合わせ、エラーリストを頭から順にリードし、エラーリストが‘１’の部分に対応する「列」に重み（‘１’）があれば、それを「エラー重み」（丸で囲んだ箇所）と定義し、「エラー重み」が行毎に幾つあるかをカウントしていく（行エラー重み数）。

図１３に示す例では、検査行列の１行目の行エラー重み数が「１」、検査行列の２行目の行エラー重み数が「１」、検査行列の３行目の行エラー重み数が「３」となる。この結果から、検査行列の１行目及び２行目が復元可能と判断され、それぞれ検査行列の１行目及び２行目の「エラー重み」以外の重み（‘１’）の部分のパケットの排他的論理和をとることでロストしたパケット「３」，「６」を復元する。この例の場合、ロストしたパケット「３」はパケット「１」とパケット「５」とパケット「７」との排他的論理和をとることで復元され、ロストしたパケット「６」はパケット「２」とパケット「４」とパケット「８」との排他的論理和をとることで復元される。

以上の処理は、ＦＥＣ処理における「サーチ」と呼ばれており、１回目の「サーチ」ではロストしたパケット「３」，「６」が復元されたこととなる。続いて、ＦＥＣ処理では、２回目の「サーチ」が行われるが、その際に、ロストしたパケット「３」，「６」が復元されたので、復元されたパケット「３」，「６」の位置に‘０’を書込むことでエラーリストを更新する。

２回目の「サーチ」でも、上記と同様に、エラーリストと上記の検査行列とを突き合わせ、エラーリストを頭から順にリードし、エラーリストが‘１’の部分に対応する「列」に重み（‘１’）があれば、それを「エラー重み」（丸で囲んだ箇所）と定義し、「エラー重み」が行毎に幾つあるかをカウントしていく（行エラー重み数）。

図１４に示す例では、検査行列の１行目の行エラー重み数が「０」、検査行列の２行目の行エラー重み数が「０」、検査行列の３行目の行エラー重み数が「１」となる。この結果から、検査行列の３行目が復元可能と判断され、検査行列の３行目の「エラー重み」以外の重み（‘１’）の部分のパケットの排他的論理和をとることでロストしたパケット「０」を復元する。この例の場合、ロストしたパケット「０」はパケット「３」とパケット「６」とパケット「９」との排他的論理和をとることで復元される。

以上に示したように、ＬＤＰＣのような誤り訂正処理では、エラー訂正可能なパターンがなくなるまで何度もサーチを繰り返し行う。しかしながら、ＬＤＰＣのような誤り訂正処理時間には、図１５，１６に示すようなリアルタイムで処理する場合、限りがあるため（１ＦＥＣブロック時間）、各ＦＥＣブロックの訂正開始時間を規定する必要がある。この場合、各ＦＥＣブロックの訂正開始時間はＦＥＣ出力タイミング（＝ＴＳタイムスタンプ再生タイミング）より決定される。

図１５，１６に示すように、ＦＥＣ処理は、「ＦＥＣ入力」、「ＦＥＣ訂正」、「ＦＥＣ出力」が順次行われる。つまり、まず、ＦＥＣ入力＃１の処理が行われ、ＦＥＣ入力＃１の処理が終了すると、ＦＥＣ入力＃２の処理とＦＥＣ訂正＃１の処理とが行われる。続いて、ＦＥＣ入力＃２の処理が終了すると、ＦＥＣ入力＃３の処理とＦＥＣ訂正＃２の処理とＦＥＣ出力＃１の処理とが行われる。このように、ＦＥＣ処理では、ＦＥＣ入力、ＦＥＣ訂正、ＦＥＣ出力各々の処理が順次行われる。

図１０に示すＩＰストリームを送受信するシステムでは、ＴＳパケットに付加されたＴＴＳの時間情報を使って正しいブロック同期生成を行うことができるので、安定的・効果的に誤り訂正等の処理を行うことができる。ＴＴＳは、図９に示すように、ペイロード中の各ＴＳパケットの先頭に２７ＭＨｚ精度の時間情報として付加されている。

しかしながら、ＩＰメディア伝送上は、特段の規定がなければ、ＴＴＳを付加しなくともよいため、図１７に示すように、ＴＴＳなしのＩＰストリームを送受信するシステムの構成も考えられる。図１７において、映像／音声送信装置は、映像／音声符号化処理回路３１と、ＦＥＣ符号化回路３３と、ＲＴＰ化回路３４と、ＵＤＰ／ＩＰ送信回路３５とを含んで構成され、映像／音声受信装置は、ＵＤＰ／ＩＰ受信回路４１と、ＲＴＰタイムスタンプ再生回路４６と、ＦＥＣ復号化回路４３と、映像／音声復号処理回路４５とを含んで構成されている。

これら映像／音声送信装置及び映像／音声受信装置は、図１８，１９に示すように動作する。尚、図１７に示すシステムでは、ＴＴＳがないため、映像／音声送信装置においてＲＴＰ化回路３４で付加するＲＴＰヘッダのタイムスタンプ（図９参照）を、映像／音声受信装置においてＲＴＰタイムスタンプ再生回路４６でＲＴＰヘッダのタイムスタンプを再生してブロック同期生成を行っている。

特開２００５−２１０２１９号公報

上述した本発明に関連するＩＰストリームの受信装置では、図１９に示すように、ＲＴＰヘッダのタイムスタンプを再生してブロック同期生成を行っている。しかしながら、ＲＴＰヘッダのタイムスタンプの時間情報は、９０ＫＨｚの精度しかない。

そのため、ＴＴＳなしのＩＰストリームを送受信するシステムでは、受信同期がＲＴＰヘッダのタイムスタンプの時間情報の精度以上の精度で行うことができないので、受信出力品質に影響を与えてしまう。例えば、ＩＰストリームの受信が安定な状態でも、最大９０ＫＨｚのジッタが生じるため、安定的・効果的に誤り訂正等の処理を行うことが困難となる。

具体的には、誤り訂正処理時間を充分に確保することが難しくなる場合があり、前のブロックの受信処理の時間がネットワークジッタ（最大９０ＫＨｚのジッタ）で延びてしまうと、そのブロックに続くブロックの誤り訂正処理時間が充分に確保できなくなる等の影響を与えてしまう。誤り訂正処理時間が短くなると、サーチの繰り返し回数が減ることとなり、誤り訂正能力が弱くなってしまうこととなる。

そこで、本発明の目的は上記の問題点を解消し、タイムスタンプ付きＴＳがない場合でも、受信側において、送信側に同期化した信号タイミングを安定的に生成することができ、処理タイミングの安定化及び誤り訂正処理能力の安定化を図ることができるＩＰストリーム送受信システム、ＩＰストリーム受信装置及びそれらに用いる受信処理タイミング同期化方法並びにそのプログラムを提供することにある。

本発明によるＩＰストリーム送受信システムは、
受信ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）ストリームの入力時にその受信処理タイミングにて前記受信ＩＰストリームを受信した直後のＦＥＣ（ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ：順方向誤り訂正）復号処理を少なくとも行うＩＰストリーム受信装置に、
前記受信ＩＰストリーム中に定期的に付加されているＰＣＲ（ＰｒｏｇｒａｍＣｌｏｃｋＲｅｆｅｒｅｎｃｅ）を抽出するＰＣＲ抽出手段と、
前記ＰＣＲ抽出手段で抽出されたＰＣＲが入っていたＲＴＰ（Ｒｅａｌ−ｔｉｍｅＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌ）パケットのシーケンス番号及びこのＲＴＰパケットのペイロード部での位置情報を検出するＲＴＰ情報抽出手段と、
前記ＰＣＲ抽出手段で抽出されたＰＣＲと前記ＲＴＰ情報抽出手段で検出された情報とに基づいて前記ＦＥＣ復号処理のブロック同期を生成する同期計算手段とを有し、
前記同期計算手段は、ｎ，ｎ＋１番目（ｎは正の整数）のＰＣＲ差分と、前記ｎ，ｎ＋１番目のＰＣＲ間のＴＳパケット数と、１ＲＴＰパケット周期とを算出し、それらの算出結果を基に１ＦＥＣブロック同期を算出している。

本発明によるＩＰストリーム受信装置は、
受信ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）ストリームの入力時にその受信処理タイミングにて前記受信ＩＰストリームを受信した直後のＦＥＣ（ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ：順方向誤り訂正）復号処理を少なくとも行うＩＰストリーム受信装置であって、
前記受信ＩＰストリーム中に定期的に付加されているＰＣＲ（ＰｒｏｇｒａｍＣｌｏｃｋＲｅｆｅｒｅｎｃｅ）を抽出するＰＣＲ抽出手段と、
前記ＰＣＲ抽出手段で抽出されたＰＣＲが入っていたＲＴＰ（Ｒｅａｌ−ｔｉｍｅＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌ）パケットのシーケンス番号及びこのＲＴＰパケットのペイロード部での位置情報を検出するＲＴＰ情報抽出手段と、
前記ＰＣＲ抽出手段で抽出されたＰＣＲと前記ＲＴＰ情報抽出手段で検出された情報とに基づいて前記ＦＥＣ復号処理のブロック同期を生成する同期計算手段とを有し、
前記同期計算手段は、ｎ，ｎ＋１番目（ｎは正の整数）のＰＣＲ差分と、前記ｎ，ｎ＋１番目のＰＣＲ間のＴＳパケット数と、１ＲＴＰパケット周期とを算出し、それらの算出結果を基に１ＦＥＣブロック同期を算出している。

本発明による受信処理タイミング同期化方法は、
受信ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）ストリームの入力時にその受信処理タイミングにて前記受信ＩＰストリームを受信した直後のＦＥＣ（ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ：順方向誤り訂正）復号処理を少なくとも行うＩＰストリーム受信装置が、
前記受信ＩＰストリーム中に定期的に付加されているＰＣＲ（ＰｒｏｇｒａｍＣｌｏｃｋＲｅｆｅｒｅｎｃｅ）を抽出するＰＣＲ抽出処理と、
前記ＰＣＲ抽出手段で抽出されたＰＣＲが入っていたＲＴＰ（Ｒｅａｌ−ｔｉｍｅＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌ）パケットのシーケンス番号及びこのＲＴＰパケットのペイロード部での位置情報を検出するＲＴＰ情報抽出処理と、
前記ＰＣＲ抽出処理で抽出されたＰＣＲと前記ＲＴＰ情報抽出処理で検出された情報とに基づいて前記ＦＥＣ復号処理のブロック同期を生成する同期計算処理とを実行し、
前記同期計算処理は、ｎ，ｎ＋１番目（ｎは正の整数）のＰＣＲ差分と、前記ｎ，ｎ＋１番目のＰＣＲ間のＴＳパケット数と、１ＲＴＰパケット周期とを算出し、それらの算出結果を基に１ＦＥＣブロック同期を算出することを特徴とする。

本発明によるプログラムは、
受信ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）ストリームの入力時にその受信処理タイミングにて前記受信ＩＰストリームを受信した直後のＦＥＣ（ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ：順方向誤り訂正）復号処理を少なくとも行うＩＰストリーム受信装置内のコンピュータに実行させるためのプログラムであって、
前記受信ＩＰストリーム中に定期的に付加されているＰＣＲ（ＰｒｏｇｒａｍＣｌｏｃｋＲｅｆｅｒｅｎｃｅ）を抽出するＰＣＲ抽出処理と、
前記ＰＣＲ抽出処理で抽出されたＰＣＲが入っていたＲＴＰ（Ｒｅａｌ−ｔｉｍｅＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌ）パケットのシーケンス番号及びこのＲＴＰパケットのペイロード部での位置情報を検出するＲＴＰ情報抽出処理と、
前記ＰＣＲ抽出処理で抽出されたＰＣＲと前記ＲＴＰ情報抽出処理で検出された情報とに基づいて前記ＦＥＣ復号処理のブロック同期を生成する同期計算処理とを含み、
前記同期計算処理は、ｎ，ｎ＋１番目（ｎは正の整数）のＰＣＲ差分と、前記ｎ，ｎ＋１番目のＰＣＲ間のＴＳパケット数と、１ＲＴＰパケット周期とを算出し、それらの算出結果を基に１ＦＥＣブロック同期を算出することを特徴とする。

本発明は、上記のような構成及び動作とすることで、タイムスタンプ付きＴＳがない場合でも、受信側において、送信側に同期化した信号タイミングを安定的に生成することができ、処理タイミングの安定化及び誤り訂正処理能力の安定化を図ることができるという効果が得られる。

次に、本発明の実施の形態について図面を参照して説明する。まず、本発明の概念について図１を参照して説明する。図１は本発明によるＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）ストリーム受信装置の構成例を示すブロック図である。図１において、本発明によるＩＰストリーム受信装置は、ＵＤＰ（ＵｓｅｒＤａｔａｇｒａｍＰｒｏｔｏｃｏｌ）／ＩＰ受信回路１１と、ＰＣＲ（ＰｒｏｇｒａｍＣｌｏｃｋＲｅｆｅｒｅｎｃｅ）抽出回路１２と、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅＴｒａｍｓｐｏｒｔＰｒｏｔｏｃｏｌ）情報抽出回路１３と、同期計算回路１４と、ＲＴＰ外し回路１５と、ＦＥＣ（ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ：順方向誤り訂正）復号化回路１６とを含んで構成されている。

尚、ＰＣＲ抽出回路１２、ＲＴＰ情報抽出回路１３、同期計算回路１４の処理は、コンピュータ［例えば、ＣＰＵ（中央処理装置）等］がメモリ等に格納されたプログラムを実行することでも実現可能である。また、本発明によるＩＰストリーム送受信システムでは、ＩＰストリーム送信装置及びＩＰストリーム受信装置として、映像／音声送信装置及び映像／音声受信装置の例について説明する。

ＵＤＰ／ＩＰ受信回路１１は、図示せぬＩＰ網からＩＰパケットを受信すると、ＩＰパケットからＵＤＰヘッダやＩＰヘッダを外してＲＴＰ外し回路１５に送出する。ＲＴＰ外し回路１５は、ＵＤＰヘッダやＩＰヘッダが外されたパケットからＲＴＰヘッダを外してＭＰＥＧ２−ＴＳ（ＭｏｖｉｎｇＰｉｃｔｕｒｅｓＥｘｐｅｒｔＧｒｏｕｐ−２）−ＴＳ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）パケット（以下、ＴＳパケットとする）を取出し、そのＴＳパケットをＦＥＣ復号化回路１６に送る。

ＰＣＲ抽出回路１２は、ＵＤＰヘッダやＩＰヘッダが外されたパケット（ＲＴＰヘッダを外す前のパケット）からＰＣＲを抽出する。ＲＴＰ情報抽出回路１３は、ＵＤＰヘッダやＩＰヘッダが外されたパケットのＲＴＰヘッダから後述する同期計算回路１４でのブロック同期の生成に使用するＲＴＰ情報を抽出する。

同期計算回路１４は、ＰＣＲ抽出回路１２で抽出されたＰＣＲ値とＲＴＰ情報抽出回路１３で抽出されたＲＴＰ情報とに基づいてブロック同期の生成を行う。ＦＥＣ復号化回路１６は、ＲＴＰヘッダが外されたＴＳパケットに対して、同期計算回路１４で生成されたブロック同期に基づいてＦＥＣ復号化を行い、そのＴＳパケットに対して誤り訂正を行う。

尚、本発明によるＩＰストリーム送受信システムのＩＰストリーム送信装置は、図１７に示すＴＴＳなしのＩＰストリームを送受信するシステムの映像／音声送信装置と同様の構成となっているので、その図示及び説明は省略する。

ここで、ＰＣＲとは、ＭＰＥＧシステムの復号器において、時刻基準となるＳＴＣ（ＳｙｓｔｅｍＴｉｍｅＣｌｏｃｋ）値（基準となる同期情報）を、符号器側で意図した値にセットするための情報であり、複数パケットに１回の割合でＴＳヘッダ内のアダプテーションフィールドに書込まれている。

ＰＣＲ情報は、２７ＭＨｚで３００カウントした９ビットのＰＣＲ＿ＥＸＴと、ＰＣＲ＿ＥＸＴ一周期に相当する９０ＫＨｚを基準にした３３ビットのＰＣＲ＿ＢＡＳＥとから構成されている。尚、地上ディジタルテレビジョン送出運用規定［ＡＲＩＢ（ＡｓｓｏｃｉａｔｉｏｎｏｆＲａｄｉｏＩｎｄｕｓｔｒｉｅｓａｎｄＢｕｓｉｎｅｓｓｅｓｏｆＪａｐａｎ）ＴＲ−Ｂ１４］では、図２に示すように、ＰＣＲ送出周期が１００ｍｓ以下と規定されている。

本発明では、上記のように、ＭＰＥＧ２−ＴＳストリーム中に定期的に付加されているＰＣＲ情報を用いて高精度なＲＴＰ再生同期、ＦＥＣブロック同期を生成することによって、タイムスタンプ付きＴＳがない場合でも、受信側において、送信側に同期化した信号タイミングを安定的に生成することができ、処理タイミングの安定化及び誤り訂正処理能力の安定化を図ることができる。

図３は本発明の実施の形態によるＩＰストリーム受信装置としての映像／音声受信装置の構成例を示すブロック図である。図３において、映像／音声受信装置は、ＵＤＰ／ＩＰ受信回路１１と、ＰＣＲ抽出回路１２と、ＲＴＰ情報抽出回路１３と、同期計算回路１４と、ＲＴＰ外し回路１５と、ＦＥＣ復号化回路１６と、映像／音声復号化処理回路（ＭＰＥＧ２）１７とを含んで構成されている。

ＵＤＰ／ＩＰ受信回路１１は、ＩＰ網１００からＩＰパケットを受信すると、ＩＰパケットからＵＤＰヘッダやＩＰヘッダを外してＲＴＰ外し回路１５に送出する。ＲＴＰ外し回路１５は、ＵＤＰヘッダやＩＰヘッダが外されたパケットからＲＴＰヘッダを外してＴＳパケットを取出し、そのＴＳパケットをＦＥＣ復号化回路１６に送る。

映像／音声復号化処理回路１７は、ＴＳパケット（誤り訂正された）を受取ると、ＴＳパケットに対して映像／音声の復号化処理を行い、映像／音声を図示せぬ他の回路に出力するとともに、映像フレーム同期を再生して他の回路に出力する。

ここで、ＦＥＣ復号化回路１６は、同期計算回路１４からブロック同期が送られてくると、ブロック同期に従って上記のＦＥＣ入力処理、ＦＥＣ訂正処理、ＦＥＣ出力処理を実行する。

図４は本発明の実施の形態で用いるＲＴＰヘッダの構成を示す図である。図４において、ＲＴＰヘッダは、「ｖ（バージョン）」、「ｐ（パディング）」、「ｘ（拡張）」、「ｃｃ［ＣＳＲＣ（ｃｏｎｔｒｉｂｕｔｉｎｇｓｏｕｒｃｅｉｄｅｎｔｉｆｉｅｒ）数］」、「ｍ（マーカー）」、「ｐｔ（ペイロード・タイプ）」、「ｓｅｑ（シーケンス番号）」、「タイムスタンプ」、「ＳＳＲＣ（ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎｓｏｕｒｃｅｉｄｅｎｔｉｆｉｅｒ）」、「ＣＳＲＣ」から構成されている。

ＲＴＰヘッダは、上記の図９に示すように、「ペイロード（ＰＡＹＬＯＡＤ）（映像、音声等）」の前段に付加され、１２バイト（９６ビット）の固定ヘッダ部分（「ｖ」、「ｐ」、「ｘ」、「ｃｃ」、「ｍ」、「ｐｔ」、「ｓｅｑ」、「タイムスタンプ」、「ＳＳＲＣ」）と、ＣＳＲＣ識別子の０〜６４バイトの可変長ヘッダ部分とから構成されている。

尚、「シーケンス番号」は、ＲＴＰパケットの順番を表すフィールドで、パケットを１つ送る毎に値を１つずつ増やして設定される。このフィールドを用いることで、受信側ではパケットロスを検知したり、パケットの順序を知ることが可能である。「シーケンス番号」は、初期値として、乱数にすることが推奨されている。

また、「タイムスタンプ」は、ＲＴＰペイロードの最初のデータがサンプリングされた瞬間の時刻情報が記述される。受信側では、再生時のタイミングをこのタイムスタンプによって決定する。「タイムスタンプ」は、実際の時刻とは関係なく、固定周波数でサンプリングしている場合には、サンプル数を設定することができる。

サンプリング周波数が９０ＫＨｚの場合には、約１１μｓに１度サンプリングされる。例えば、１１ｍｓに１度、ＲＴＰバケットを送信する場合には、「１１［ｍｓ］／１１［μｓ］＝１０００」となり、１パケット毎に１０００ずつ値を増加させることになる。「タイムスタンプ」も、初期値として、乱数にすることが推奨されている。

図５は本発明の実施の形態で用いるＴＳパケットの構成を示す図である。図５において、ＴＳパケットは、「ＴＳヘッダ」、「アダプテーションフィールド」、「ペイロード」から構成されている。図５において、「ＴＳヘッダ」の「Ａ」は「アダプテーションフィールドコントロール」、「アダプテーションフィールド」の「Ｂ」は「アダプテーションフィールド長」、「アダプテーションフィールド」の「Ｃ」は「ＰＣＲ」を示している。

図６は本発明の実施の形態で用いるＴＳパケットにおける多重化とＰＩＤ（ＰａｃｋｅｔＩＤ）との関係を示す図である。この図６を参照して、ＰＣＲ抽出回路１２にてＰＣＲを抽出する処理について説明する。

上記のＴＳヘッダには、ＴＳパケットに含まれる情報の種類を判別するためにＰＩＤが含まれている。ＰＣＲは、ＰＣＲＰＩＤを持つＴＳパケットに含まれているが、パケットの種類とＰＩＤの値との対応が一定ではないため、ＰＣＲの値を知るためには、ＰＣＲＰＩＤの値を知る必要がある。上記のパケットの種類とＰＩＤの値との対応を行うための対応表は、ＴＳパケットのデータの中に含まれている。この対応表は、ＰＭＴ（ＰｒｏｇｒａｍＭａｐＴａｂｌｅ）と呼ばれている。

また、このＰＭＴのデータが含まれているＴＳパケットのＰＩＤも、上記と同様に、一定ではなく、ＰＡＴ（ＰｒｏｇｒａｍＡｓｓｉｇｎＴａｂｌｅ）と呼ばれるパケットの中で定義されている。但し、ＰＡＴが含まれるパケットのＰＩＤは、「０」と規定されている。

したがって、ＰＣＲ抽出回路１２は、（１）ＰＩＤが「０」のパケットを探索し、ＰＡＴの解析を行ってＰＭＴのＰＩＤを取得する、（２）ＰＩＤが、取得したＰＭＴのＰＩＤと一致するパケットを探索し、ＰＭＴの解析を行ってＰＣＲのＰＩＤを取得する、（３）ＰＩＤが、取得したＰＣＲのＰＩＤと一致するパケットを探索し、そのパケットからＰＣＲの値を取得する、という処理を行うことでＰＣＲを抽出することができる。

図７は図３のＰＣＲ抽出回路１２とＲＴＰ情報抽出回路１３と同期計算回路１４とによるブロック同期の生成処理を示すフローチャートであり、図８は本発明の実施の形態によるブロック同期の生成処理の具体例を説明するための図である。これら図３〜図８を参照して本発明の実施の形態によるブロック同期の生成処理について具体的に説明する。尚、図７に示すＰＣＲ抽出回路１２とＲＴＰ情報抽出回路１３と同期計算回路１４とによるブロック同期の生成処理は、上述したように、コンピュータがプログラムを実行することで実現可能である。

ＰＣＲ抽出回路１２は、受信したＩＰストリームが入力されると（図７ステップＳ１）、上述した手順でＭＰＥＧ２−ＴＳストリーム中のＰＣＲを抽出し（図７ステップＳ２）、ＰＣＲ値（ＰＣＲ）を抽出する（図７ステップＳ３）。

ＲＴＰ情報抽出回路１３は、ＰＣＲ抽出回路１２で抽出されたＰＣＲが入っていたＲＴＰパケットの「シーケンス番号」（ＳＮ）及びそのＰＣＲが入っていたＲＴＰパケットのペイロード部での位置［ペイロード部の何ＴＳパケット目（ＴＮ）にあったか］を検出する（図７ステップＳ４）。

同期計算回路１４は、ｎ，ｎ＋１番目（ｎは正の整数）のＰＣＲ差分を算出する（図７ステップＳ５）。このＰＣＲ差分Ｄｉｆ＿ＰＣＲ（ｎ）は、ｎ番目のＰＣＲをＰＣＲ（ｎ）、ｎ＋１番目のＰＣＲをＰＣＲ（ｎ＋１）とすると、
Ｄｉｆ＿ＰＣＲ（ｎ）＝ＰＣＲ（ｎ＋１）−ＰＣＲ（ｎ）
という式で計算される。

また、同期計算回路１４は、ｎ，ｎ＋１番目各々のシーケンス番号及びペイロード部での位置からｎ，ｎ＋１番目のＰＣＲ間のＴＳパケット数を算出する（図７ステップＳ６）。このＰＣＲ間のＴＳパケット数ＴＳＮ（ｎ）は、ｎ番目のシーケンス番号をＳＮ（ｎ）、ペイロード部での位置をＴＮ（ｎ）とし、ｎ＋１番目のシーケンス番号をＳＮ（ｎ＋１）、ペイロード部での位置をＴＮ（ｎ＋１）とし、１ＲＴＰパケット中のＴＳパケット数をＴＰとすると、
ＴＳＮ（ｎ）＝［ＳＮ（ｎ＋１）−ＳＮ（ｎ）］×ＴＰ
−ＴＮ（ｎ）＋ＴＮ（ｎ＋１）
という式で計算される。

さらに、同期計算回路１４は、１ＲＴＰパケット周期を算出する（図７ステップＳ７）。この１ＲＴＰパケット周期ＲＴ（ｎ）は、
ＲＴ（ｎ）＝Ｄｉｆ＿ＰＣＲ（ｎ）／［ＴＳＮ（ｎ）／ＴＰ］
という式で計算される。

さらにまた、同期計算回路１４は、１ＦＥＣブロック周期を算出してＦＥＣ復号化回路１６に送出する（図７ステップＳ８）。この１ＦＥＣブロック周期ＦＴ（ｎ）は、１ＦＥＣブロック中のＲＴＰパケット数をＲＰとすると、
ＦＴ（ｎ）＝ＲＴ（ｎ）×ＲＰ
という式で計算される。

ＰＣＲ抽出回路１２、ＲＴＰ情報抽出回路１３、同期計算回路１４は、それぞれＩＰストリームが終了するまで（図７ステップＳ９）、上記の処理を繰り返し行う（図７ステップＳ２〜Ｓ９）。

次に、図８を参照して本発明の実施の形態によるブロック同期の生成処理について具体的に説明する。ここで、１ＲＴＰパケット中のＴＳパケット数ＴＰ＝７とし、１ＦＥＣブロック中のＲＴＰパケット数ＲＰ＝１０とする。また、ＰＣＲ値等は図８に示す値とする。

まず、ＰＣＲ差分Ｄｉｆ＿ＰＣＲ（ｎ）は、
Ｄｉｆ＿ＰＣＲ（ｎ）＝ＰＣＲ（ｎ＋１）−ＰＣＲ（ｎ）
＝２８０，０００−１０，０００
＝２７０，０００
となる。

ＰＣＲ間のＴＳパケット数ＴＳＮ（ｎ）は、
ＴＳＮ（ｎ）＝［ＳＮ（ｎ＋１）−ＳＮ（ｎ）］×ＴＰ
−ＴＮ（ｎ）＋ＴＮ（ｎ＋１）
＝（３１２−１２）×７−３＋６
＝２１０３
となる。

１ＲＴＰパケット周期ＲＴ（ｎ）は、
ＲＴ（ｎ）＝Ｄｉｆ＿ＰＣＲ（ｎ）／［ＴＳＮ（ｎ）／ＴＰ］
＝２７０，０００／（２１０３／７）
≒８９８．７
となる。

１ＦＥＣブロック周期ＦＴ（ｎ）は、
ＦＴ（ｎ）＝ＲＴ（ｎ）×ＲＰ
＝８９８．７×１０
＝８９８７
となる。

このように、本実施の形態では、ＭＰＥＧ２−ＴＳストリーム中に定期的に付加されているＰＣＲ情報を用いることで、高精度なＲＴＰ再生同期、ＦＥＣブロック同期を生成することができるので、タイムスタンプ付きＴＳがない場合でも、受信側において、送信側に同期化した信号タイミングを安定的に生成することができ、処理タイミングの安定化及び誤り訂正処理能力の安定化を図ることができる。

本発明によるＩＰストリーム受信装置の構成例を示すブロック図である。本発明にて用いるＰＣＲ送出周期を示す図である。本発明の実施の形態によるＩＰストリーム受信装置としての映像／音声受信装置の構成例を示すブロック図である。本発明の実施の形態で用いるＲＴＰヘッダの構成を示す図である。本発明の実施の形態で用いるＴＳパケットの構成を示す図である。本発明の実施の形態で用いるＴＳパケットにおける多重化とＰＩＤとの関係を示す図である。図３のＰＣＲ抽出回路とＲＴＰ情報抽出回路と同期計算回路とによるブロック同期の生成処理を示すフローチャートである。本発明の実施の形態によるブロック同期の生成処理の具体例を説明するための図である。本発明に関連するシステムにおけるＩＰストリームの構成を示す図である。本発明に関連するＩＰストリームを送受信するシステムの構成例を示すブロック図である。本発明に関連するＴＳタイムスタンプの付加例を示す図である。本発明に関連するＦＥＣ処理の処理例を示す図である。本発明に関連するＦＥＣ処理の処理例を示す図である。本発明に関連するＦＥＣ処理の処理例を示す図である。本発明に関連するＩＰストリームを送受信するシステムの送信側の動作を示すタイミングチャートである。本発明に関連するＩＰストリームを送受信するシステムの受信側の動作を示すタイミングチャートである。本発明に関連するＴＴＳなしのＩＰストリームを送受信するシステムの構成例を示すブロック図である。本発明に関連するＴＴＳなしのＩＰストリームを送受信するシステムの送信側の動作を示すタイミングチャートである。本発明に関連するＴＴＳなしのＩＰストリームを送受信するシステムの受信側の動作を示すタイミングチャートである。

符号の説明

１１ＵＤＰ／ＩＰ受信回路
１２ＰＣＲ抽出回路
１３ＲＴＰ情報抽出回路
１４同期計算回路
１５ＲＴＰ外し回路
１６ＦＥＣ復号化回路
１７映像／音声復号化処理回路（ＭＰＥＧ２）
１００ＩＰ網

Claims

受信ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）ストリームの入力時にその受信処理タイミングにて前記受信ＩＰストリームを受信した直後のＦＥＣ（ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ：順方向誤り訂正）復号処理を少なくとも行うＩＰストリーム受信装置に、
前記受信ＩＰストリーム中に定期的に付加されているＰＣＲ（ＰｒｏｇｒａｍＣｌｏｃｋＲｅｆｅｒｅｎｃｅ）を抽出するＰＣＲ抽出手段と、
前記ＰＣＲ抽出手段で抽出されたＰＣＲが入っていたＲＴＰ（Ｒｅａｌ−ｔｉｍｅＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌ）パケットのシーケンス番号及びこのＲＴＰパケットのペイロード部での位置情報を検出するＲＴＰ情報抽出手段と、
前記ＰＣＲ抽出手段で抽出されたＰＣＲと前記ＲＴＰ情報抽出手段で検出された情報とに基づいて前記ＦＥＣ復号処理のブロック同期を生成する同期計算手段とを有し、
前記同期計算手段は、ｎ，ｎ＋１番目（ｎは正の整数）のＰＣＲ差分と、前記ｎ，ｎ＋１番目のＰＣＲ間のＴＳパケット数と、１ＲＴＰパケット周期とを算出し、それらの算出結果を基に１ＦＥＣブロック同期を算出することを特徴とするＩＰストリーム送受信システム。
前記ＰＣＲ抽出手段は、前記受信ＩＰストリームのＰＡＴ（ＰｒｏｇｒａｍＡｓｓｉｇｎＴａｂｌｅ）を解析してＰＭＴ（ＰｒｏｇｒａｍＭａｐＴａｂｌｅ）のデータを取得し、前記ＰＭＴを解析して前記ＰＣＲの値を抽出することを特徴とする請求項１記載のＩＰストリーム送受信システム。
前記受信ＩＰストリームは、少なくとも映像及び音声ストリームのＵＤＰ（ＵｓｅｒＤａｔａｇｒａｍＰｒｏｔｏｃｏｌ）パケットであることを特徴とする請求項１または２記載のＩＰストリーム送受信システム。
前記映像及び音声ストリームは、ＭＰＥＧ２（ＭｏｖｉｎｇＰｉｃｔｕｒｅｓＥｘｐｅｒｔＧｒｏｕｐ−２）−ＴＳ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）を含む符号化データ及び非圧縮データであることを特徴とする請求項３記載のＩＰストリーム送受信システム。
受信ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）ストリームの入力時にその受信処理タイミングにて前記受信ＩＰストリームを受信した直後のＦＥＣ（ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ：順方向誤り訂正）復号処理を少なくとも行うＩＰストリーム受信装置であって、
前記受信ＩＰストリーム中に定期的に付加されているＰＣＲ（ＰｒｏｇｒａｍＣｌｏｃｋＲｅｆｅｒｅｎｃｅ）を抽出するＰＣＲ抽出手段と、
前記ＰＣＲ抽出手段で抽出されたＰＣＲが入っていたＲＴＰ（Ｒｅａｌ−ｔｉｍｅＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌ）パケットのシーケンス番号及びこのＲＴＰパケットのペイロード部での位置情報を検出するＲＴＰ情報抽出手段と、
前記ＰＣＲ抽出手段で抽出されたＰＣＲと前記ＲＴＰ情報抽出手段で検出された情報とに基づいて前記ＦＥＣ復号処理のブロック同期を生成する同期計算手段とを有し、
前記同期計算手段は、ｎ，ｎ＋１番目（ｎは正の整数）のＰＣＲ差分と、前記ｎ，ｎ＋１番目のＰＣＲ間のＴＳパケット数と、１ＲＴＰパケット周期とを算出し、それらの算出結果を基に１ＦＥＣブロック同期を算出することを特徴とするＩＰストリーム受信装置。
前記ＰＣＲ抽出手段は、前記受信ＩＰストリームのＰＡＴ（ＰｒｏｇｒａｍＡｓｓｉｇｎＴａｂｌｅ）を解析してＰＭＴ（ＰｒｏｇｒａｍＭａｐＴａｂｌｅ）のデータを取得し、前記ＰＭＴを解析して前記ＰＣＲの値を抽出することを特徴とする請求項５記載のＩＰストリーム受信装置。
前記受信ＩＰストリームは、少なくとも映像及び音声ストリームのＵＤＰ（ＵｓｅｒＤａｔａｇｒａｍＰｒｏｔｏｃｏｌ）パケットであることを特徴とする請求項５または６記載のＩＰストリーム受信装置。
前記映像及び音声ストリームは、ＭＰＥＧ２（ＭｏｖｉｎｇＰｉｃｔｕｒｅｓＥｘｐｅｒｔＧｒｏｕｐ−２）−ＴＳ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）を含む符号化データ及び非圧縮データであることを特徴とする請求項７記載のＩＰストリーム受信装置。
受信ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）ストリームの入力時にその受信処理タイミングにて前記受信ＩＰストリームを受信した直後のＦＥＣ（ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ：順方向誤り訂正）復号処理を少なくとも行うＩＰストリーム受信装置が、
前記受信ＩＰストリーム中に定期的に付加されているＰＣＲ（ＰｒｏｇｒａｍＣｌｏｃｋＲｅｆｅｒｅｎｃｅ）を抽出するＰＣＲ抽出処理と、
前記ＰＣＲ抽出手段で抽出されたＰＣＲが入っていたＲＴＰ（Ｒｅａｌ−ｔｉｍｅＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌ）パケットのシーケンス番号及びこのＲＴＰパケットのペイロード部での位置情報を検出するＲＴＰ情報抽出処理と、
前記ＰＣＲ抽出処理で抽出されたＰＣＲと前記ＲＴＰ情報抽出処理で検出された情報とに基づいて前記ＦＥＣ復号処理のブロック同期を生成する同期計算処理とを実行し、
前記同期計算処理は、ｎ，ｎ＋１番目（ｎは正の整数）のＰＣＲ差分と、前記ｎ，ｎ＋１番目のＰＣＲ間のＴＳパケット数と、１ＲＴＰパケット周期とを算出し、それらの算出結果を基に１ＦＥＣブロック同期を算出することを特徴とする受信処理タイミング同期化方法。
前記ＰＣＲ抽出処理は、前記受信ＩＰストリームのＰＡＴ（ＰｒｏｇｒａｍＡｓｓｉｇｎＴａｂｌｅ）を解析してＰＭＴ（ＰｒｏｇｒａｍＭａｐＴａｂｌｅ）のデータを取得し、前記ＰＭＴを解析して前記ＰＣＲの値を抽出することを特徴とする請求項９記載の受信処理タイミング同期化方法。
前記受信ＩＰストリームは、少なくとも映像及び音声ストリームのＵＤＰ（ＵｓｅｒＤａｔａｇｒａｍＰｒｏｔｏｃｏｌ）パケットであることを特徴とする請求項９または１０記載の受信処理タイミング同期化方法。
前記映像及び音声ストリームは、ＭＰＥＧ２（ＭｏｖｉｎｇＰｉｃｔｕｒｅｓＥｘｐｅｒｔＧｒｏｕｐ−２）−ＴＳ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）を含む符号化データ及び非圧縮データであることを特徴とする請求項１１記載の受信処理タイミング同期化方法。
受信ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）ストリームの入力時にその受信処理タイミングにて前記受信ＩＰストリームを受信した直後のＦＥＣ（ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ：順方向誤り訂正）復号処理を少なくとも行うＩＰストリーム受信装置内のコンピュータに実行させるためのプログラムであって、
前記受信ＩＰストリーム中に定期的に付加されているＰＣＲ（ＰｒｏｇｒａｍＣｌｏｃｋＲｅｆｅｒｅｎｃｅ）を抽出するＰＣＲ抽出処理と、
前記ＰＣＲ抽出手段で抽出されたＰＣＲが入っていたＲＴＰ（Ｒｅａｌ−ｔｉｍｅＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌ）パケットのシーケンス番号及びこのＲＴＰパケットのペイロード部での位置情報を検出するＲＴＰ情報抽出処理と、
前記ＰＣＲ抽出処理で抽出されたＰＣＲと前記ＲＴＰ情報抽出処理で検出された情報とに基づいて前記ＦＥＣ復号処理のブロック同期を生成する同期計算処理とを含み、
前記同期計算処理は、ｎ，ｎ＋１番目（ｎは正の整数）のＰＣＲ差分と、前記ｎ，ｎ＋１番目のＰＣＲ間のＴＳパケット数と、１ＲＴＰパケット周期とを算出し、それらの算出結果を基に１ＦＥＣブロック同期を算出することを特徴とするプログラム。