JP2006066973A - 双方向映像通信品質制御システム、利用者端末、品質管理サーバ及びプログラム - Google Patents

Abstract

【課題】映像ストリーミング配信サービス及び双方向映像通信サービスを含む複数のサービスが混在する場合に、個々のサービス間で悪影響を与え合うことなく、サービスの品質を向上させることが可能な双方向映像通信品質制御システム、利用者端末、品質管理サーバ及びプログラムを提供する。
【解決手段】利用者端末１００の映像ストリーミング品質測定部１３が映像ストリーミングに関する品質パラメータを取得し、双方向映像通信品質測定部１４が双方向映像通信に関する品質パラメータを取得し、ＦＥＣ品質測定部２１がＦＥＣ符号器／復号器２０による誤り訂正に関する品質パラメータ、及びＲＴＰカプセル化を施した通信に関する品質パラメータを取得する。品質管理サーバ７０の受信レート判断部７３が、前記品質パラメータを受信し、利用者端末の受信レートを判断する。そして、エンコードレート制御部７４が、受信レート判断部７３からの指示に従い、利用者端末が保持するエンコードレートを制御する。
【選択図】図２

Description

本発明は、インターネットプロトコル（ＩＰ）を用いたネットワーク（以下、単に「ネットワーク」という。）を介して提供されるサーバクライアント型の映像ストリーミング配信や、ＭＣＵ（Ｍｕｌｔｉｐｏｉｎｔ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）型及びＰ２Ｐ（Ｐｅｅｒ Ｔｏ Ｐｅｅｒ）型の双方向映像通信といった異なる複数のサービスが各利用者端末内で混在するシステムにおいて、個々のサービスから得られる品質情報を管理、分析し、お互いのサービスに影響を与えずにネットワーク資源を最大限有効に活用するための制御を行う双方向映像通信制御技術に関するものである。

図１に、従来の双方向映像通信品質制御システムの構成図を示す。この双方向映像通信品質制御システムは、インターネット上の映像ストリーミング配信サービス及び双方向映像通信サービスを制御するシステムである。図１において、双方向映像通信品質制御システムは、利用者が映像ストリーミング配信サービス及び双方向映像通信サービスの提供を受ける利用者端末１０−１，１０−２、受信データの誤りを自己訂正するＦＥＣ（Ｆｏｒｗａｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ）符号処理及び復号処理を行う符号器／復号器２０−１，２０−２、インターネット等のネットワーク３０、ｗｅｂサーバ４０、映像ストリーミング配信サービスを提供するストリーミングサーバ５０、及び利用者端末１０−１，１０−２間の双方向映像通信サービスを提供する双方向映像通信管理サーバ６０を備えている。利用者端末１０−１，１０−２は、それぞれＦＥＣ符号器／復号器２０−１，２０−２及びＩＳＰ（Ｉｎｔｅｒｎｅｔ Ｓｅｒｖｉｃｅ Ｐｒｏｖｉｄｅｒ）等を介してネットワーク３０に接続される。ネットワーク３０は、ネットワーク接続機器であるルータ装置等を用いて複数のネットワークを相互接続することにより構成され、通信を行うようになっている。また、ｗｅｂサーバ４０、ストリーミングサーバ５０及び双方向映像通信管理サーバ６０は、ルータ装置、スイッチ装置等を介してネットワーク３０に接続される。

尚、利用者端末１０−１，２０は、ＦＥＣ符号器／復号器２０−１，２０−２等を介さないで、ネットワーク３０に直接接続されるようにしてもよい。同様に、ｗｅｂサーバ４０、ストリーミングサーバ５０及び双方向映像通信管理サーバ６０も、ルータ装置等を介さないで、ネットワーク３０に直接接続されるようにしてもよい。また、ＦＥＣ符号器／復号器２０−１，２０−２は、利用者端末１０−１，１０−２とネットワーク３０との間に配置されているが、利用者端末１０−１，１０−２内に配置されるようにしてもよい。

次に、映像ストリーミング配信サービスの動作について説明する。まず、利用者の操作により、利用者端末１０−１，１０−２は、利用者が視聴したいストリーミングコンテンツのリソースを識別するための文字列であるＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を含むメタファイルをｗｅｂサーバ４０等から取得する。これにより、利用者はリソースを特定することができる。

利用者が利用者端末１０−１，１０−２上で動作する映像ストリーミング再生アプリケーションを用いて前記ＵＲＬを指定すると、利用者端末１０−１，１０−２は、マルチメディアプレゼンテーション制御プロトコルであるＲＴＳＰ（Ｒｅａｌ Ｔｉｍｅ Ｓｔｒｅａｍｉｎｇ Ｐｒｏｔｏｃｏｌ）やＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）を利用して、ストリーミングコンテンツに対するリクエストメッセージをストリーミングサーバ５０へ送信する。ストリーミングサーバ５０は、利用者端末１０−１，１０−２からリクエストメッセージを受信すると、当該メッセージに応じて利用者端末１０−１，１０−２と通信を行い、ストリーミング配信に利用する転送プロトコルや配信帯域を決定するためのネゴシエーション処理を行う。そして、利用者端末１０−１，１０−２は、バッファリング処理を行った後、実際にストリーミングコンテンツの再生を開始する。

利用者端末１０−１，１０−２及びストリーミングサーバ５０は、ストリーミングコンテンツの再生が開始された後も、ストリーミング配信状況及び受信状況に関して通信を行い、これらの状況データを再送制御や配信ビットレート制御に利用することにより、視聴品質を維持する。また、利用者端末１０−１，１０−２は、利用者がストリーミングコンテンツを視聴中に、ネットワーク状況の悪化等によりバッファリングを満たすコンテンツデータの量が不足した場合には、当該ストリーミングコンテンツの再生を一時停止する。そして、利用者端末１０−１，１０−２は、再度バッファリングを満たすべきコンテンツデータが一定量を超えるまでバッファリング処理を行い、その後当該ストリーミングコンテンツを再生する。このような動作により、利用者端末１０−１，１０−２は、映像ストリーミングの品質劣化を防ぐことができる。

次に、双方向映像通信サービスの動作について説明する。この双方向映像通信サービスのシグナリングの手法には、主にＲＴＳＰやＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）、Ｈ．３２３（ＩＴＵ−Ｔ勧告）等の手法がある。ここでは、その一例としてＳＩＰサーバである双方向映像通信管理サーバ６０を用いた手法について説明する。これは、各利用者端末が、それぞれに割り当てられたＳＩＰ−ＵＲＩ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒ）を用いて利用者端末を識別し、お互いに双方向映像通信を行うものである。まず、利用者端末１０−１，１０−２は、ＲＥＧＩＳＴＥＲメッセージを双方向映像通信管理サーバ６０へ送信し、利用者端末１０−１，１０−２の状態、その状態の変化、使用するＳＩＰ−ＵＲＩ等を双方向映像通信管理サーバ６０へ通知する。双方向映像通信管理サーバ６０は、利用者端末１０−１，１０−２からＲＥＧＩＳＴＥＲメッセージを受信すると、動的に利用者端末１０−１，１０−２の状態を管理する。

利用者端末１０−１，１０−２は、双方向映像通信管理サーバ６０を介してＩＮＶＩＴＥメッセージを送信し、相手が応じた場合には、利用者端末１０−１，１０−２間で双方向映像通信を開始する。このＩＮＶＩＴＥメッセージには、双方向映像通信を一意に識別するためのＣａｌｌ−ＩＤや、ＳＤＰ（Ｓｅｓｓｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ Ｐｒｏｔｏｃｏｌ）により双方向映像通信を行う利用者端末間で使用される映像及び音声の符号化方式や転送レート等の能力情報が含まれる。利用者端末１０−１，１０−２は、これらの情報を交換し、どのような双方向映像通信を行うかを決定し、双方向映像通信を開始する。

ここで、図１に示した従来の双方向映像通信品質制御システムでは、以下に示す２つの品質制御方式を用いて、双方向映像通信を行う利用者端末１０−１，１０−２における品質劣化を防いでいる。第１の品質制御方式はＦＥＣ方式である（例えば、非特許文献１を参照。）。この方式は、利用者端末１０−１，１０−２が、双方向映像通信に関しＦＥＣ符号器／復号器２０−１，２０−１を用いてＦＥＣ処理を行い、冗長度を向上させ、ネットワーク３０でのパケット損失に関して誤り訂正を行うことにより、品質を確保するものである。また、この方式では、パケット損失に関する誤り訂正可能な範囲が冗長度により決定されるが、利用者端末１０−１，１０−２が、変化するネットワーク３０の状態に柔軟に対応するためにＦＥＣ処理時のパケット損失を監視し、動的に冗長度を調整することにより、パケット損失を一定値以下に抑えることが可能である。

また、第２の品質制御方式は、映像信号及び音声信号を通信用のデータに変換する速度を表すエンコードレートを動的に変更する方式である（例えば、非特許文献２を参照。）。この方式は、利用者端末１０−１，１０−２が、双方向映像通信に関し、アプリレイヤでパケット損失やフレームレート等を監視し、再生品質を推測し、再生品質の劣化または改善に従って動的に送信側の利用者端末のエンコードレートを調整及び制御することにより、再生品質を最適化し、品質劣化を最小限に留めるものである。

照日，鎌田，植松，"双方向リアルタイムアプリケーションへのＦＥＣの適用可能性"，２００３年電子情報通信学会ソサイエティ大会，Ｂ−７−３３ 岡崎，吉村他，"マルチレイヤ品質監視による適応型双方向映像転送技術の検討"，信学技法ＮＳ２００４−４４，２００４年

従来の双方向映像通信品質制御システムでは、双方向映像通信おけるエンコードレートの変更判断は、各利用者端末におけるアプリケーションレイヤの品質情報であるフレーム損失、フレームレート、または利用者端末間のエンドエンドでのＲＴＣＰ（ＲＴＰ（Ｒｅａｌ Ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ） Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）が示すパケット損失数やジッタ値等の比較的高いレイヤの品質パラメータを用いて行われていた。このため、利用者端末において、映像が一時停止したり、フレームがスキップしたりする等の一時的な品質劣化を防ぐことができないという問題があった。

また、双方向映像通信におけるエンコードレートを動的に制御する場合、特に、利用者端末の環境に最適なエンコードレートを判定することが困難である。このため、単純に、エンコードレートを上昇させて品質劣化を確認した場合にエンコードレートを低下させるという制御方式では、利用者端末において映像品質の劣化が激しくなり、本来利用可能な最大帯域に近い帯域でエンコードレートが共振してしまうという問題があった。

また、映像ストリーミングを視聴しながら双方向映像通信を行う利用者端末で複数のサービスが混在する状況下では、前述した双方向映像通信におけるエンコードレート共振の問題により、他のサービスである映像ストリーミングの再生品質の劣化も招いてしまうという問題があった。

一方、ＦＥＣ方式では、利用者端末間のネットワーク状況の悪化を吸収するために、冗長パケットを用いた誤り訂正技術によりパケット損失に対応するようにした。この場合、冗長度を上げて誤り訂正能力を向上させることにより、双方向映像通信の品質を確保することが可能である。しかし、冗長度を上げることにより使用帯域が増大し、この使用帯域の増大によりネットワークの輻輳を招き、結果として他のサービスに悪影響を与えてしまうという問題があった。

そこで、本発明はこのような問題に鑑みてなされたものであり、その目的は、複数の利用者が同じ映像ストリーミングを視聴しながら双方向映像通信を行うような、各利用者端末において双方向映像通信を含む複数のサービスが混在する場合に、個々のサービス間で悪影響を与え合うことなくサービスの品質を向上させ、ネットワーク帯域を有効活用可能な双方向映像通信品質制御システム、利用者端末、品質管理サーバ及びプログラムを提供することにある。具体的には、利用者端末からの映像ストリーミングに関する品質情報、双方向映像通信に関する生品質情報、ＲＴＰによる品質情報、ＦＥＣの修復情報等の各種品質情報を用いて、利用者端末における最適な受信帯域を推定し、適切にエンコードレートを動的に制御することにより前記目的を達成する。

請求項１の双方向映像通信品質制御システムは、映像ストリーミングコンテンツが格納されたストリーミングサーバと、双方向映像通信を管理する双方向映像通信管理サーバと、エンコードレートを保持し、利用者のコンテンツ視聴要求に従って前記ストリーミングサーバへアクセスし、映像ストリーミングコンテンツの配信を受け、該コンテンツを再生すると共に、前記エンコードレートを用いて利用者間の双方向映像通信を実現する複数の利用者端末と、該利用者端末により再生されている映像ストリーミングコンテンツ及び双方向映像通信に関する情報、並びにこれらの品質を管理し制御する品質管理サーバとがそれぞれＩＰ網に接続され、双方向映像通信の品質制御を実現するシステムであって、前記利用者端末は、映像ストリーミングに関する品質パラメータとしてバッファリング情報及び再送情報を取得する機能、及び前記品質パラメータを前記品質管理サーバへ送信する機能を有する映像ストリーミング品質測定部と、双方向映像通信に関する品質パラメータとしてアプリケーションレイヤにおける品質情報を取得する機能、及び前記品質パラメータを前記品質管理サーバへ送信する機能を有する双方向映像通信品質測定部と、双方向映像通信に関する誤り訂正のＦＥＣ処理を行う機能を有するＦＥＣ符号器／復号器による誤り訂正に関する品質パラメータとしてＦＥＣ修復状態、及びＲＴＰカプセル化を施した通信に関する品質パラメータとしてＲＴＣＰメッセージ内の各パラメータのうちの少なくとも一つを取得する機能、及び前記品質パラメータを前記品質管理サーバへ送信する機能を有するＦＥＣ品質測定部とを備え、前記品質管理サーバは、同一の映像ストリーミングコンテンツを各利用者に視聴させながら双方向映像通信を行う複数の利用者端末の情報を管理する機能を有するグループメンバ管理部と、双方向映像通信に関する受信可能帯域及びエンコードレートを管理する機能を有するエンコードレート管理部と、前記利用者端末に備えた映像ストリーミング品質測定部、双方向映像通信品質測定部及びＦＥＣ品質測定部のうちの少なくとも一つの測定部により送信された品質パラメータを受信する機能、及び該品質パラメータを用いて、前記グループメンバ管理部により管理された複数の利用者端末の受信レートをそれぞれ判断する機能を有する受信レート判断部と、該受信レート判断部からの指示に従い、前記利用者端末により保持されたエンコードレートを制御する機能、及び前記エンコードレート管理部により管理されたエンコードレートを変更する機能を有するエンコードレート制御部とを備えたことを特徴とする。これにより、双方向映像通信を含む複数のサービスを、ＩＰ網を経由して利用者端末へ提供する際に、品質管理サーバが利用者端末における品質パラメータに基づいて利用者端末の受信レートを算出し、エンコードレートを制御するようにした。つまり、アクティブな品質測定手段を用いることなく、お互いのサービス品質を考慮した制御を行うようにしたから、個々のサービスの品質劣化を防ぎ、各利用者端末のネットワーク品質の有効利用を実現できる。

請求項２の双方向映像通信品質制御システムは、前記利用者端末の映像ストリーミング品質測定部が、映像ストリーミングに関する品質パラメータとして、バッファリングに要した処理時間を表すバッファリング処理時間、バッファ容量、バッファ使用量、パケット損失数、パケット再送数、再生レート、及び映像ストリーミング状態の遷移情報のうちの少なくとも一つを取得する機能、及び定期的にまたは該品質パラメータが所定の閾値を上回る若しくは下回る場合に、前記品質パラメータを品質管理サーバへ送信する機能を有することを特徴とする。例えば、利用者端末の映像ストリーミング品質測定部は、受信する映像ストリーミングに関して、映像ストリーミング再生アプリケーションが提供するＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を用いてアプリレイヤの品質パラメータを監視して取得し、品質管理サーバへ送信することにより、各利用者端末における映像ストリーミングの品質の把握を可能とし、実時間で品質劣化、品質劣化の予兆、品質改善を検出することが可能となる。

請求項３の双方向映像通信品質制御システムは、前記利用者端末の双方向映像通信品質測定部が、双方向映像通信に関する品質パラメータとして、アプリケーションレイヤにおけるパケット損失数、パケット損失率、フレームレート、受信レート、受信エンコードレート、及び送信エンコードレートのうちの少なくとも一つを取得する機能、及び定期的にまたは前記品質パラメータが所定の閾値を上回る若しくは下回る場合に、前記品質パラメータを品質管理サーバへ送信する機能を有することを特徴とする。例えば、利用者端末の双方向映像通信品質測定部は、双方向映像通信に関して、双方向映像通信アプリケーションが提供するＡＰＩを用いてアプリレイヤの品質パラメータを監視して取得し、品質管理サーバへ送信することにより、各利用者端末における双方向映像通信の品質の把握を可能とし、実時間で品質劣化、品質劣化の予兆、品質改善を検出することが可能となる。

請求項４の双方向映像通信品質制御システムは、前記利用者端末のＦＥＣ品質測定部が、ＦＥＣ符号器／復号器による誤り訂正に関する品質パラメータとして、ＦＥＣ処理前のパケット損失数、パケット損失率、ＦＥＣ処理後のパケット損失数、パケット損失率、及びＦＥＣ処理によるパケット修復率のうちの少なくとも一つを取得する機能、及び定期的にまたは前記品質パラメータが所定の閾値を上回る若しくは下回る場合に、前記品質パラメータを前記品質管理サーバへ送信する機能を有することを特徴とする。これにより、双方向映像通信に関し、各利用者端末の受信品質の把握を可能とし、実時間で品質劣化、品質改善を検出することが可能となる。

請求項５の双方向映像通信品質制御システムは、前記利用者端末のＦＥＣ品質測定部が、ＲＴＰカプセル化を施した通信に関する品質パラメータとして、ＲＴＣＰメッセージのパケット損失数及びジッタ値ののうちの少なくとも一つを取得する機能、及び定期的にまたは前記品質パラメータが所定の閾値を上回る若しくは下回る場合に、前記品質パラメータを前記品質管理サーバへ送信する機能を有することを特徴とする。これにより、ＦＥＣ符号器／復号器間のネットワーク品質の把握を可能とし、実時間で品質劣化、品質改善を検出することが可能となる。

請求項６の双方向映像通信品質制御システムは、前記品質管理サーバのグループメンバ管理部が、利用者端末のＩＰアドレス、利用者端末名、ＨＴＴＰのｃｏｏｋｉｅ情報、ＳＩＰのＵＲＩ、利用者端末で実行される映像ストリーミング再生アプリケーションの識別ＩＤ、及び利用者端末で実行される双方向映像通信アプリケーションの識別ＩＤのうちの少なくとも一つの利用者識別情報と、利用者端末が取得するメタファイル、現在再生している映像ストリーミングのコンテンツ情報及び利用者端末がアクセスしているＷｅｂページのＵＲＬのうちの少なくとも一つの映像ストリーミング視聴情報と、ＳＩＰのＩＮＶＩＴＥメッセージ、ＢＹＥメッセージ、ＳＩＰメッセージのＣａｌｌ−ＩＤ、利用者端末で実行される双方向映像通信アプリケーションが提示する情報のうちの少なくとも一つの双方向映像通信状態情報とを管理すると共に、同一の映像ストリーミングコンテンツを各利用者に視聴させながら双方向映像通信を行う複数の利用者端末を分類及び管理する機能を有することを特徴とする。グループメンバ管理部は、このような利用者識別情報、映像ストリーミング視聴情報及び双方向映像通信状態情報を管理し及び識別することにより、どの利用者端末とどの利用者端末とが、同一の映像ストリーミングコンテンツを利用者に視聴させながら双方向映像通信を行っているかについて管理することが可能となり、複数の利用者端末をグループとして把握及び管理することが可能となる。

請求項７の双方向映像通信品質制御システムは、前記品質管理サーバのエンコードレート管理部が、グループメンバ管理部により管理された利用者端末の情報を取得する機能、及び該取得した利用者端末の情報を用いて利用者端末毎の双方向映像通信に関する受信可能帯域及びエンコードレートを管理する機能を有することを特徴とする。エンコードレート管理部は、グループメンバ管理部により利用者端末間の関係を把握することができ、利用者間の双方向映像通信に使用している送／受信帯域を実時間で把握及び管理することが可能となる。

請求項８の双方向映像通信品質制御システムは、前記品質管理サーバの受信レート判断部が受信レート変更判断手段を有し、該受信レート変更判断手段が、前記映像ストリーミング品質測定部、双方向映像通信品質測定部及びＦＥＣ品質測定部により取得された品質パラメータのうちの少なくとも一つを用いて、利用者端末における受信品質劣化または回復を把握し、前記受信レートの変更を判断する機能を有することを特徴とする。これにより、受信品質の劣化または改善を判断し、適切な受信レートを把握することが可能となる。

請求項９の双方向映像通信品質制御システムは、前記品質管理サーバの受信レート判断部が受信可能帯域推定手段を有し、該受信可能帯域推定手段が、前記映像ストリーミング品質測定部により取得されたバッファリング処理時間、バッファ容量、及び再生レートの品質パラメータのうちの少なくとも一つを用いて、前記複数の利用者端末の受信可能帯域を推定する機能を有することを特徴とする。これにより、各利用者端末における最適な受信レートを判断し、お互いのサービス品質に影響を与えずにかつ有効なネットワーク帯域の利用が可能となる。

請求項１０の双方向映像通信品質制御システムは、前記品質管理サーバの受信レート判断部が受信可能帯域修正手段を有し、該受信可能帯域修正手段が、前記映像ストリーミング品質測定部、双方向映像通信品質測定部及びＦＥＣ品質測定部により取得された品質パラメータのうちの少なくとも一つを監視して利用者端末の受信状況を判断する機能、及び該受信状況に基づいて前記受信可能帯域推定手段により推定された受信可能帯域を修正する機能を有することを特徴とする。これにより、ネットワークの状況に応じた動的な受信可能帯域の修正が可能となる。

請求項１１の双方向映像通信品質制御システムは、前記品質管理サーバのエンコードレート制御部が、グループメンバ管理部により管理された利用者端末の情報と、エンコードレート管理部により管理された受信可能帯域及びエンコードレートと、受信レート判断部により判断された受信レートとを用いて、利用者端末毎のエンコードレートを算出する機能、該算出されたエンコードレートで前記エンコードレート管理部を更新する機能、及び前記利用者端末により保持されたエンコードレートを制御する機能を有することを特徴とする。これにより、ネットワークの状況に応じた最適なエンコードレートの選択が可能となり、お互いのサービスに悪影響を与えないことを可能とする。

請求項１２の利用者端末は、映像ストリーミングコンテンツが格納されたストリーミングサーバと、双方向映像通信を管理する双方向映像通信管理サーバと、エンコードレートを保持し、利用者のコンテンツ視聴要求に従って前記ストリーミングサーバへアクセスし、映像ストリーミングコンテンツの配信を受け、該コンテンツを再生すると共に、前記エンコードレートを用いて利用者間の双方向映像通信を実現する複数の利用者端末と、該利用者端末により再生されている映像ストリーミングコンテンツ及び双方向映像通信に関する情報、並びにこれらの品質を管理し制御する品質管理サーバとがそれぞれＩＰ網に接続されるシステムの下で、双方向映像通信の品質制御を実現する利用者端末であって、映像ストリーミングに関する品質パラメータとしてバッファリング情報及び再送情報を取得する機能、及び前記品質パラメータを前記品質管理サーバへ送信する機能を有する映像ストリーミング品質測定部と、双方向映像通信に関する品質パラメータとしてアプリケーションレイヤにおける品質情報を取得する機能、及び前記品質パラメータを前記品質管理サーバへ送信する機能を有する双方向映像通信品質測定部と、双方向映像通信に関する誤り訂正のＦＥＣ処理を行う機能を有するＦＥＣ符号器／復号器による誤り訂正に関する品質パラメータとしてＦＥＣ修復状態、及びＲＴＰカプセル化を施した通信に関する品質パラメータとしてＲＴＣＰメッセージ内の各パラメータのうちの少なくとも一つを取得する機能、及び前記品質パラメータを前記品質管理サーバへ送信する機能を有するＦＥＣ品質測定部とを備え、前記品質管理サーバに、映像ストリーミング品質測定部、双方向映像通信品質測定部及びＦＥＣ品質測定部のうちの少なくとも一つの測定部が取得した品質パラメータを受信させ、該受信させた品質パラメータを用いて該利用者端末の受信レートを判断させ、該利用者端末が保持するエンコードレートを制御させることを特徴とする。

請求項１３の品質管理サーバは、映像ストリーミングコンテンツが格納されたストリーミングサーバと、双方向映像通信を管理する双方向映像通信管理サーバと、エンコードレートを保持し、利用者のコンテンツ視聴要求に従って前記ストリーミングサーバへアクセスし、映像ストリーミングコンテンツの配信を受け、該コンテンツを再生すると共に、前記エンコードレートを用いて利用者間の双方向映像通信を実現する複数の利用者端末と、該利用者端末により再生されている映像ストリーミングコンテンツ及び双方向映像通信に関する情報、並びにこれらの品質を管理し制御する品質管理サーバとがそれぞれＩＰ網に接続されるシステムの下で、双方向映像通信の品質制御を実現する品質管理サーバであって、同一の映像ストリーミングコンテンツを各利用者に視聴させながら双方向映像通信を行う複数の利用者端末の情報を管理する機能を有するグループメンバ管理部と、双方向映像通信に関する受信可能帯域及びエンコードレートを管理する機能を有するエンコードレート管理部と、前記利用者端末に取得させた、映像ストリーミングに関するバッファリング情報及び再送情報の品質パラメータ、双方向映像通信に関するアプリケーションレイヤにおける品質情報の品質パラメータ、双方向映像通信に関する誤り訂正のＦＥＣ処理を行うＦＥＣ符号器／復号器による誤り訂正に関するＦＥＣ修復状態の品質パラメータ、及びＲＴＰカプセル化を施した通信に関するＲＴＣＰメッセージ内の各パラメータの品質パラメータのうちの少なくとも一つを受信する機能、及び該品質パラメータを用いて、前記グループメンバ管理部により管理された複数の利用者端末の受信レートをそれぞれ判断する機能を有する受信レート判断部と、該受信レート判断部からの指示に従い、前記利用者端末により保持されたエンコードレートを制御する機能、及び前記エンコードレート管理部により管理されたエンコードレートを変更する機能を有するエンコードレート制御部とを備えたことを特徴とする。

請求項１４の双方向映像通信品質制御プログラムは、映像ストリーミングコンテンツが格納されたストリーミングサーバと、双方向映像通信を管理する双方向映像通信管理サーバと、エンコードレートを保持し、利用者のコンテンツ視聴要求に従って前記ストリーミングサーバへアクセスし、映像ストリーミングコンテンツの配信を受け、該コンテンツを再生すると共に、前記エンコードレートを用いて利用者間の双方向映像通信を実現する複数の利用者端末と、該利用者端末により再生されている映像ストリーミングコンテンツ及び双方向映像通信に関する情報、並びにこれらの品質を管理し制御する品質管理サーバとがそれぞれＩＰ網に接続されるシステムにより、双方向映像通信の品質制御を実現するプログラムであって、前記利用者端末を構成するコンピュータに、映像ストリーミングに関する品質パラメータとしてバッファリング情報及び再送情報を取得し、前記品質パラメータを前記品質管理サーバへ送信する映像ストリーミング品質測定処理と、双方向映像通信に関する品質パラメータとしてアプリケーションレイヤにおける品質情報を取得し、前記品質パラメータを前記品質管理サーバへ送信する双方向映像通信品質測定処理と、双方向映像通信に関する誤り訂正のＦＥＣ処理を行う機能を有するＦＥＣ符号器／復号器による誤り訂正に関する品質パラメータとしてＦＥＣ修復状態、及びＲＴＰカプセル化を施した通信に関する品質パラメータとしてＲＴＣＰメッセージ内の各パラメータのうちの少なくとも一つを取得し、前記品質パラメータを前記品質管理サーバへ送信するＦＥＣ品質測定処理とを実行させ、前記品質管理サーバを構成するコンピュータに、同一の映像ストリーミングコンテンツを各利用者に視聴させながら双方向映像通信を行う複数の利用者端末の情報を管理するグループメンバ管理処理と、双方向映像通信に関する受信可能帯域及びエンコードレートを管理するエンコードレート管理処理と、前記利用者端末による映像ストリーミング品質測定処理、双方向映像通信品質測定処理及びＦＥＣ品質測定処理のうちの少なくとも一つの処理により送信された品質パラメータを受信し、該品質パラメータを用いて、前記グループメンバ管理処理により管理された複数の利用者端末の受信レートをそれぞれ判断する受信レート判断処理と、該受信レート判断処理に従い、前記利用者端末により保持されたエンコードレートを制御し、前記エンコードレート管理処理により管理されたエンコードレートを変更するエンコードレート制御処理とを実行させることを特徴とする。

本発明によれば、双方向映像通信を含む複数のサービスをＩＰ網を経由したサービスを提供する際に、品質を測定するためのパケットを送信する等のアクティブな品質測定手段を用いることなく、お互いのサービス品質を考慮した制御を行うことにより、個々のサービスの品質劣化を防ぎ、各利用者端末のネットワーク品質を有効に利用することが可能となる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。
図２は、本発明による双方向映像通信品質制御システムの一実施例を示す構成図である。この双方向映像通信品質制御システムは、利用者が映像ストリーミング配信サービス及び双方向映像通信サービスの提供を受ける利用者端末１００−１，１００−２、ネットワーク３０、ストリーミングサーバ５０、双方向映像通信管理サーバ６０、及び品質管理サーバ７０を備えている。利用者端末１００−１，１００−２は、双方向映像通信に関するＦＥＣ処理を行うＦＥＣ符号器／復号器２０−１，２０−２を備えている。尚、ＦＥＣ符号器／復号器２０−１，２０−２は、ＲＳ（Ｒｅｅｄ−Ｓｏｌｏｍｏｎ）符号化等の一般的な処理を行い、図１に示したように、利用者端末１０−１，１０−２の外部に配置されていてもよい。尚、図２において、図１と共通する部分には図１と同一の符号を付し、その詳しい説明は省略する。

利用者端末１００−１，１００−２は、ＩＳＰ等を介してネットワーク３０に接続され、映像ストリーミング、双方向映像通信、ＦＥＣ処理及びＲＴＰカプセル化を施した通信に関する品質パラメータを品質管理サーバ７０へ送信する。ネットワーク３０は、インターネットのような通信網（ネットワーク）であり、ＩＰプロトコルを用いて一つ以上のネットワークを相互接続することにより構成されている。ストリーミングサーバ５０は、直接的にまたはスイッチ装置等を介して間接的にネットワーク３０に接続され、映像ストリーミングコンテンツを利用者端末１００−１，１００−２へ配信する。双方向映像通信管理サーバ６０は、直接的にまたはスイッチ装置等を介して間接的にネットワーク３０に接続され、利用者端末１００−１，１００−２間で行われる双方向映像通信の管理を行う。

品質管理サーバ７０は、直接的またはスイッチ装置等を介して間接的にネットワーク３０に接続され、利用者端末１００−１，１００−２における映像ストリーミング及び双方向映像通信の品質を管理し、適切な受信レート及びエンコードレートの制御を行う。また、品質管理サーバ７０は、ｗｅｂサーバの機能を兼ねており、各ストリーミングコンテンツの所在を把握しており、該当するメタファイルを保持し、当該メタファイルへのアクセスを管理することにより、利用者端末１００−１，１００−２を管理する。また、品質管理サーバ７０は、受信可能帯域推定手段７３−１、受信レート変更手段７３−２及び受信可能帯域修正手段７３−３を備える。これらの詳細な説明については後述する。

図３は、図２に示した利用者端末１００−１，１００−２の構成を説明するための図である。この利用者端末１００は、ストリーミングサーバ５０により配信される映像ストリーミングの再生を行う映像ストリーミング再生アプリケーション１１、当該映像ストリーミング再生アプリケーション１１等を監視することにより映像ストリーミングに関する品質パラメータを測定して取得し、当該品質パラメータを品質管理サーバ７０へ送信する映像ストリーミング品質測定部１３、利用者端末間の双方向映像通信を実現する双方向映像通信アプリケーション１２、当該双方向映像通信アプリケーション１２等を監視することにより双方向映像通信に関する品質パラメータを測定して取得し、当該品質パラメータを品質管理サーバ７０へ送信する双方向映像通信品質測定部１４、ＦＥＣ処理を行うＦＥＣ符号器／復号器２０、及び、ＦＥＣ処理に関する品質パラメータを測定して取得し、当該品質パラメータを品質管理サーバ７０へ送信するＦＥＣ品質測定部２１を備えている。

映像ストリーミング品質測定部１３が取得する品質パラメータには、バッファリング情報及び再送情報がある。具体的には、例えば、バッファリング処理時間、バッファ情報、バッファ使用量、パケット損失数、パケット再送数、再生レート、映像ストリーミング状態の遷移情報である。この映像ストリーミング状態の遷移情報は、映像ストリーミング再生アプリケーション１１の状態を表す情報をいい、例えば、再生中、バッファリング中、ストリーミングサーバ５０との間で転送プロトコルを決定する等のネゴシエーション処理中、休止中等である。また、双方向映像通信品質測定部１４が取得する品質パラメータには、アプリケーションレイヤにおける品質情報がある。具体的には、例えば、パケット損失数、パケット損失率、フレームレート、受信レート、受信エンコードレート、送信エンコードレートである。また、ＦＥＣ品質測定部２１が取得する品質パラメータには、例えば、ＦＥＣデコード前のパケット損失数やパケット損失率、ＦＥＣデコード後のパケット損失数やパケット損失率、ＦＥＣデコード処理によるパケット修復率がある。さらのＦＥＣ品質測定部２１は、利用者端末間のＦＥＣ処理を施したパケットの転送をＲＴＰカプセル化して通信する。この場合、ＦＥＣ品質測定部２１は、ＦＥＣ符号器／復号器２０−１，２０−２間のＲＴＰ転送品質を表すＲＴＣＰメッセージのパケット損失数、ジッタ値等の品質パラメータを測定して取得し、当該品質パラメータを品質管理サーバ７０へ送信する。尚、映像ストリーミング品質測定部１３、双方向映像通信品質測定部１４及びＦＥＣ品質測定部２１は、前述の品質パラメータを、定期的にまたは品質パラメータが所定の閾値を上回る若しくは下回る場合に品質管理サーバ７０へ送信する。

図４は、図２に示した品質管理サーバ７０の構成を説明するための図である。この品質管理サーバ７０は、グループメンバ管理部７１、エンコードレート管理部７２、受信レート判断部７３及びエンコードレート制御部７４を備えている。グループメンバ管理部７１は、利用者端末１００−１，１００−２の情報を管理する。具体的には、例えば、利用者端末１００−１，１００−２のＩＰアドレス、利用者端末名、ＨＴＴＰのｃｏｏｋｉｅ情報、ＳＩＰのＵＲＩ、利用者端末で実行される映像ストリーミング再生アプリケーションの識別ＩＤ、及び利用者端末で実行される双方向映像通信アプリケーションの識別ＩＤ等の利用者識別情報や、利用者端末が取得するメタファイル、現在再生している映像ストリーミングのコンテンツ情報及び利用者端末がアクセスしているＷｅｂページのＵＲＬ等の映像ストリーミング視聴情報や、ＳＩＰのＩＮＶＩＴＥメッセージ及び当該ＩＮＶＩＴＥメッセージに含まれるＳＤＰ（Ｓｅｓｓｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ Ｐｒｏｔｏｃｏｌ）等のセッション記述の内容、ＳＩＰのＢＹＥメッセージ、ＳＩＰメッセージのＣａｌｌ−ＩＤ、利用者端末で実行される双方向映像通信アプリケーションが提示する情報等の双方向映像通信状態情報である。

エンコードレート管理部７２は、グループメンバ管理部７１が管理している利用者端末１００−１，１００−２の情報を取得し、利用者端末１００−１，１００−２の受信可能帯域及びエンコードレートを管理する。

受信レート判断部７３は、利用者端末１００−１，１００−２から品質パラメータを受信し、当該品質パラメータに基づいて利用者端末１００−１，１００−２の受信レートを算出する。また、エンコードレート制御部７４は、グループメンバ管理部７１から利用者端末の情報を、エンコードレート管理部７２から受信可能帯域及びエンコードレートを、受信レート判断部７３から受信レートを取得し、利用者端末１００−１，１００−２のエンコードレートを算出する。また、算出したエンコードレートでエンコードレート管理部７２を更新し、前記利用者端末１００−１，１００−２のそれぞれの双方向映像通信アプリケーション１２が保持しているエンコードレートを制御する。

次に、図５を参照して、図２に示した双方向映像通信品質制御システムの動作について説明する。図５のシーケンス図は、利用者端末１００−１，１００−２が同時に同じ映像ストリーミングの視聴を開始し、その後最適な受信レートで双方向映像通信を開始し、そして、品質劣化／回復時における利用者端末１００−１による受信レート判断及びエンコードレート制御に関するものである。また、このシーケンス図は、（１）映像ストリーミングを視聴する際の最初のバッファリング処理を用いて双方向映像通信に最適な受信レートを推定し割り当て、（２）ネットワーク品質劣化を品質パラメータの値を用いて検出し、受信レートを下げるために通信相手のエンコードレートを低下させ、（３）品質パラメータが一定時間安定している場合にネットワーク品質が回復したものと判断し、受信可能帯域まで時定数でエンコードレートを上昇させ、（４）受信可能帯域が通信相手のエンコードレートの総和である場合に品質パラメータが一定時間安定しているときは受信可能帯域を修正し、より多くのエンコードレートを割り当てることにより、映像ストリーミング配信サービス及び双方向映像通信サービス間でお互いに影響を与えず、かつネットワーク帯域を有効に利用することを特徴としている。

図５を参照して、まず、利用者端末１００−１は、番組表を提供するｗｅｂサーバの機能を兼ねる品質管理サーバ７０からコンテンツの位置を把握し、該当するストリーミングサーバ５０へ視聴要求を送信する（ステップＳ１００１）。その後、利用者端末１００−１及びストリーミングサーバ５０は、転送プロトコルや再生レートの決定等のネゴシエーション処理を行い、ストリーミングサーバ５０は実際の映像ストリーミングの配信を開始する（ステップＳ１００２）。利用者端末１００−１は、配信された映像ストリーミングコンテンツが予め設定されたバッファリング容量を満たすまで映像を再生しないでバッファリング処理を行い、バッファリング処理の終了後に再生を開始する。

ここで、一般的なストリーミングサーバでは、バッファリング処理による映像再生開始時間の遅延を減少させるために、再生開始時にバースト的なデータ転送を行う。そこで、本実施例では、このバースト転送を用いて受信可能帯域を推定する。具体的には、利用者端末１００−１の映像ストリーミング品質測定部１３は、映像ストリーミング再生アプリケーション１１の状態遷移を監視し、その状態がバッファリング中になった時刻と再生中になった時刻とを比較し、これによりバッファリング処理時間を取得する。そして、映像ストリーミング品質測定部１３は、対象となるストリーミングコンテンツの再生レート、バッファリング容量及びバッファリング処理時間を品質パラメータとして品質管理サーバ７０へ送信する（ステップＳ１００３）。品質管理サーバ７０の受信レート判断部７３がこれらの品質パラメータを受信すると、受信レート判断部７３の受信可能帯域推定手段７３−１は、（バッファリング容量）／（バッファリング処理時間）の割算を行い、この演算結果から映像ストリーミングの再生レートを減算した結果を受信可能帯域として算出し、当該受信可能帯域をエンコードレート制御部７４に通知する。

エンコードレート制御部７４は、グループメンバ管理部７１及びエンコードレート管理部７２により、利用者端末１００−１の通信相手である利用者端末１００−２を識別する。本実施例では、利用者端末１００−１，１００−２間の１対１の双方向映像通信が行われるから、エンコードレート制御部７４は、通知された受信可能帯域を、利用者端末１００−２の利用者端末１００−１に対する最適エンコードレートとして決定する。そして、エンコードレート制御部７４は、決定したエンコードレート（利用者端末１００−２の利用者端末１００−１に対するエンコードレート）、及び通知された受信可能帯域（利用者端末１００−１の受信可能帯域）をエンコードレート管理部７２に通知する。また、エンコードレート制御部７４は、当該エンコードレートを利用者端末１００-２の双方向映像通信アプリケーション１２に設定し、エンコードレートの制御を行う（ステップＳ１００４）。ここで、利用者端末がｎ台（３台以上）の場合は、単純に受信可能帯域をｎ−１で割った値を各利用者端末におけるエンコードレートとして割り当てることにより、また各使用者端末の過去の品質劣化情報から傾斜させて配分する等して割り当てることにより、利用者端末１００−１の受信可能帯域を最大限に利用する。

次に、利用者端末１００−１，１００−２は、割り当てられたエンコードレートに基づいて双方向映像通信を開始する（ステップＳ１００５）。映像ストリーミング配信及び双方向映像通信が開始した後に、利用者端末１００−１，１００−２の映像ストリーミング品質測定部１３はバッファリング使用量を、ＦＥＣ品質測定部２１はＦＥＣデコード前パケット損失数を監視して取得し、定期的に、または予め設定された閾値を上回る（または下回る）場合に、取得した品質パラメータを品質管理サーバ７０へ送信する。

ここで、利用者端末１００−１における品質が劣化したとする。ＦＥＣ品質測定部２１が、ＦＥＣデコード前パケット損失数が閾値を上回ったことを判断すると、そのタイミングでそのＦＥＣデコード前パケット損失数を品質管理サーバ７０へ送信する（ステップＳ１００６）。品質管理サーバ７０の受信レート判断部７３が、当該ＦＥＣデコード前パケット損失数を受信すると、受信レート判断部７３の受信レート変更手段７３−２は、ネットワーク状況が悪化しているものと判断し、その旨をエンコードレート制御部７４に通知する。エンコードレート制御部７４は、受信レート変更手段７３−２からの通知を受けると、グループメンバ管理部７１から利用者端末１００−１と双方向映像通信を行っている利用者端末１００−２を把握し、エンコードレート管理部７２から利用者端末１００−２の双方向映像通信アプリケーション１２におけるエンコードレートの値を取得し、利用者端末１００−２に対してエンコードレートを下げる制御を行う（ステップＳ１００７）。この場合、品質パラメータとしてＦＥＣデコード前パケット損失数を用いているから、双方向映像通信を行う利用者端末１００−１，１００−２において実際にその品質が劣化する前にエンコード制御を行うことが可能となる。

その後、受信レート判断部７３は、利用者端末１００−１の映像ストリーミング品質測定部１３及びＦＥＣ品質測定部２１から定期的に、映像ストリーミングに関する品質パラメータであるバッファ使用量及び双方向映像通信に関する品質パラメータであるＦＥＣデコード前パケット損失数を受信し（ステップＳ１００８）、これらの品質パラメータを一定時間監視する。そして、受信レート判断部７３は、受信した品質パラメータの値が常に閾値を下回る場合に品質が安定しているものと判断し、エンコードレートの回復を決定し、エンコードレート制御部７４は、利用者端末１００−２の双方向映像通信アプリケーション１２のエンコードレートを最適なエンコードレートまで上昇させる制御を行う（ステップＳ１００９）。この場合、受信レート判断部７３は、エンコードレート変更の判断のために、映像ストリーミングに関する品質パラメータと双方向映像通信に関する品質パラメータとを監視することにより、お互いのサービスに影響を与えないエンコード制御が可能となる。

利用者端末１００−１，１００−２が最適エンコードレートで双方向映像通信を行っている場合に、品質管理サーバ７０の受信レート判断部７３は、利用者端末１００−１の映像ストリーミング品質測定部１３及びＦＥＣ品質測定部２１から定期的にバッファ使用量及びＦＥＣデコード前パケット損失数を受信し（ステップＳ１０１０）、これらの品質パラメータを一定時間監視する。そして、受信レート判断部７３は、受信した品質パラメータの値が常に閾値以下である場合に品質が安定しているものと判断し、受信レート判断部７３の受信可能帯域修正手段７３−３は、現在の受信可能帯域に定数を加えた値を新たな受信可能帯域とし、エンコードレート制御部７４に通知する。そして、エンコードレート制御部７４は、通知された受信可能帯域を、利用者端末１００−２の利用者端末１００−１に対する最適エンコードレートとして決定する。そして、エンコードレート制御部７４は、決定したエンコードレート及び通知された受信可能帯域をエンコードレート管理部７２に通知する。また、エンコードレート制御部７４は、当該エンコードレートを利用者端末１００−２の双方向映像通信アプリケーション１２に設定し、エンコードレートの制御を行う（ステップＳ１０１１）。以降、双方向映像通信サービスに関してエンコードレートの総和が受信可能帯域以下の場合には、品質パラメータの状況（値）に応じてステップ１００６〜１００９の処理を繰り返す。また、エンコードレートの総和が受信可能帯域と等しい場合には、ステップ１０１０〜１０１１の処理を繰り返す。これにより、お互いのサービスに影響を与えず、最適な利用帯域でのサービスが可能となる。

尚、図５の左側のグラフは、縦軸をステップ１００１〜１０１０を経過する経過時間とし、横軸を帯域とした場合に、映像ストリーミングの初期時、品質劣化時、品質回復時及び受信可能帯域の修正時における映像ストリーミング及び双方向映像通信の帯域推移を表している。

以上、実施例を挙げて本発明を説明したが、上記の説明は、本発明の理解を助けるものであって、本発明の特許請求の範囲を制限するものではない。従って、本発明の要旨を逸脱しない限り、種々変形が可能であり、本発明の目的を達し、効果を奏する範囲において、適宜変更することが可能である。例えば、本実施例では、利用者端末１００の品質劣化を判断するために、ＦＥＣデコード前パケット損失数を品質パラメータとして用いたが、利用者端末１００の品質劣化を判断するための品質パラメータは任意であり、例えば映像ストリーミングのバッファリング使用量を監視し、予め設定された閾値以下になった場合に品質劣化であると判断するようにしてもよい。また、同様に、利用者端末１００の品質回復を判断するための品質パラメータも任意である。すなわち、利用者端末１００の映像ストリーミング品質測定部１３、双方向映像通信品質測定部１４及びＦＥＣ品質測定部２１において、利用者端末１００の品質劣化及び回復を判断するために取得可能な品質パラメータであればよい。

また、本実施例では、ＦＥＣ符号器／復号器２０−１，２０−２が利用者端末１００−１，１００−２にそれぞれ内在する構成の場合について説明したが、ＦＥＣ符号器／復号器２０−１，２０−２が利用者端末１００−１，１００−２の外部に配置されている構成や、ＦＥＣ符号器／復号器２０−１，２０−２が存在しない構成であってもよい。この場合、双方向映像通信品質測定部１４が取得する双方向映像通信に関する品質パラメータのみにより利用者端末１００−１，１００−２の品質劣化及び回復の検出を行う。

また、本実施例では、図３及び４に示したように、各処理部をそれぞれ分離して構成するようにしたが、論理的に一つに構成するようにしてもよい。また、品質管理サーバ７０に備える各処理部を特定の利用者端末１００に備えるようにしてもよい。

尚、利用者端末１００−１，１００−２及び品質管理サーバ７０は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、キーボードやポインティングデバイス等の入力装置、画像やシーンを表示する表示装置、及び外部の装置と通信をするためのインタフェースを備えたコンピュータ装置によってそれぞれ構成されるようにしてもよい。この場合、利用者端末１００−１，１００−２に備えた映像ストリーミング再生アプリケーション１１、双方向映像通信アプリケーション１２、映像ストリーミング品質測定部１３、双方向映像通信品質測定部１４、ＦＥＣ符号器／復号器２０及びＦＥＣ品質測定部２１、並びに、品質管理サーバ７０に備えたグループメンバ管理部７１、エンコードレート管理部７２、受信レート判断部７３及びエンコードレート制御部７４の各機能は、当該機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。

従来の双方向映像通信品質制御システムの構成図である。 本発明による双方向映像通信品質制御システムの一実施例を示す構成図である。 図２の利用者端末の構成を説明するための図である。 図２の品質管理サーバの構成を説明するための図である。 図２の双方向映像通信品質制御システムの処理を説明するためのシーケンス図である。

符号の説明

１０，１０−１，１０−２，１００，１００−１，１００−２ 利用者端末
１１ 映像ストリーミング再生アプリケーション
１２ 双方向映像通信アプリケーション
１３ 映像ストリーミング品質測定部
１４ 双方向映像通信品質測定部
２０，２０−１，２０−２ ＦＥＣ符号器／復号器
２１ ＦＥＣ品質測定部
３０ ネットワーク
４０ ｗｅｂサーバ
５０ ストリーミングサーバ
６０ 双方向映像通信管理サーバ
７０ 品質管理サーバ
７１ グループメンバ管理部
７２ エンコードレート管理部
７３ 受信レート判断部
７３−１ 受信可能帯域推定手段
７３−２ 受信レート変更手段
７３−３ 受信可能帯域修正手段
７４ エンコードレート制御部

Claims (14)

1. 映像ストリーミングコンテンツが格納されたストリーミングサーバと、双方向映像通信を管理する双方向映像通信管理サーバと、エンコードレートを保持し、利用者のコンテンツ視聴要求に従って前記ストリーミングサーバへアクセスし、映像ストリーミングコンテンツの配信を受け、該コンテンツを再生すると共に、前記エンコードレートを用いて利用者間の双方向映像通信を実現する複数の利用者端末と、該利用者端末により再生される映像ストリーミングコンテンツ及び双方向映像通信に関する情報、並びにこれらの品質を管理し制御する品質管理サーバとがそれぞれＩＰ網に接続され、双方向映像通信の品質制御を実現するシステムであって、
   前記利用者端末は、
   映像ストリーミングに関する品質パラメータとしてバッファリング情報及び再送情報を取得する機能、及び前記品質パラメータを前記品質管理サーバへ送信する機能を有する映像ストリーミング品質測定部と、
   双方向映像通信に関する品質パラメータとしてアプリケーションレイヤにおける品質情報を取得する機能、及び前記品質パラメータを前記品質管理サーバへ送信する機能を有する双方向映像通信品質測定部と、
   双方向映像通信に関する誤り訂正のＦＥＣ処理を行う機能を有するＦＥＣ符号器／復号器による誤り訂正に関する品質パラメータとしてＦＥＣ修復状態、及びＲＴＰカプセル化を施した通信に関する品質パラメータとしてＲＴＣＰメッセージ内の各パラメータのうちの少なくとも一つを取得する機能、及び前記品質パラメータを前記品質管理サーバへ送信する機能を有するＦＥＣ品質測定部とを備え、
   前記品質管理サーバは、
   同一の映像ストリーミングコンテンツを各利用者に視聴させながら双方向映像通信を行う複数の利用者端末の情報を管理する機能を有するグループメンバ管理部と、
   双方向映像通信に関する受信可能帯域及びエンコードレートを管理する機能を有するエンコードレート管理部と、
   前記利用者端末に備えた映像ストリーミング品質測定部、双方向映像通信品質測定部及びＦＥＣ品質測定部のうちの少なくとも一つの測定部により送信された品質パラメータを受信する機能、及び該品質パラメータを用いて、前記グループメンバ管理部により管理された複数の利用者端末の受信レートをそれぞれ判断する機能を有する受信レート判断部と、
   該受信レート判断部からの指示に従い、前記利用者端末により保持されたエンコードレートを制御する機能、及び前記エンコードレート管理部により管理されたエンコードレートを変更する機能を有するエンコードレート制御部とを備えたことを特徴とする双方向映像通信品質制御システム。
2. 請求項１に記載の双方向映像通信品質制御システムにおいて、
   前記利用者端末の映像ストリーミング品質測定部は、映像ストリーミングに関する品質パラメータとして、バッファリングに要した処理時間を表すバッファリング処理時間、バッファ容量、バッファ使用量、パケット損失数、パケット再送数、再生レート、及び映像ストリーミング状態の遷移情報のうちの少なくとも一つを取得する機能、及び定期的にまたは該品質パラメータが所定の閾値を上回る若しくは下回る場合に、前記品質パラメータを品質管理サーバへ送信する機能を有することを特徴とする双方向映像通信品質制御システム。
3. 請求項１または２に記載の双方向映像通信品質制御システムにおいて、
   前記利用者端末の双方向映像通信品質測定部は、双方向映像通信に関する品質パラメータとして、アプリケーションレイヤにおけるパケット損失数、パケット損失率、フレームレート、受信レート、受信エンコードレート、及び送信エンコードレートのうちの少なくとも一つを取得する機能、及び定期的にまたは前記品質パラメータが所定の閾値を上回る若しくは下回る場合に、前記品質パラメータを品質管理サーバへ送信する機能を有することを特徴とする双方向映像通信品質制御システム。
4. 請求項１から３までのいずれか一項に記載の双方向映像通信品質制御システムにおいて、
   前記利用者端末のＦＥＣ品質測定部は、ＦＥＣ符号器／復号器による誤り訂正に関する品質パラメータとして、ＦＥＣ処理前のパケット損失数、パケット損失率、ＦＥＣ処理後のパケット損失数、パケット損失率、及びＦＥＣ処理によるパケット修復率のうちの少なくとも一つを取得する機能、及び定期的にまたは前記品質パラメータが所定の閾値を上回る若しくは下回る場合に、前記品質パラメータを前記品質管理サーバへ送信する機能を有することを特徴とする双方向映像通信品質制御システム。
5. 請求項１から４までのいずれか一項に記載の双方向映像通信品質制御システムにおいて、
   前記利用者端末のＦＥＣ品質測定部は、ＲＴＰカプセル化を施した通信に関する品質パラメータとして、ＲＴＣＰメッセージのパケット損失数及びジッタ値ののうちの少なくとも一つを取得する機能、及び定期的にまたは前記品質パラメータが所定の閾値を上回る若しくは下回る場合に、前記品質パラメータを前記品質管理サーバへ送信する機能を有することを特徴とする双方向映像通信品質制御システム。
6. 請求項１から５までのいずれか一項に記載の双方向映像通信品質制御システムにおいて、
   前記品質管理サーバのグループメンバ管理部は、利用者端末のＩＰアドレス、利用者端末名、ＨＴＴＰのｃｏｏｋｉｅ情報、ＳＩＰのＵＲＩ、利用者端末で実行される映像ストリーミング再生アプリケーションの識別ＩＤ、及び利用者端末で実行される双方向映像通信アプリケーションの識別ＩＤのうちの少なくとも一つの利用者識別情報と、利用者端末が取得するメタファイル、現在再生している映像ストリーミングのコンテンツ情報及び利用者端末がアクセスしているＷｅｂページのＵＲＬのうちの少なくとも一つの映像ストリーミング視聴情報と、ＳＩＰのＩＮＶＩＴＥメッセージ、ＢＹＥメッセージ、ＳＩＰメッセージのＣａｌｌ−ＩＤ、利用者端末で実行される双方向映像通信アプリケーションが提示する情報のうちの少なくとも一つの双方向映像通信状態情報とを管理すると共に、同一の映像ストリーミングコンテンツを各利用者に視聴させながら双方向映像通信を行う複数の利用者端末を分類及び管理する機能を有することを特徴とする双方向映像通信品質制御システム。
7. 請求項１から６までのいずれか一項に記載の双方向映像通信品質制御システムにおいて、
   前記品質管理サーバのエンコードレート管理部は、グループメンバ管理部により管理された利用者端末の情報を取得する機能、及び該取得した利用者端末の情報を用いて利用者端末毎の双方向映像通信に関する受信可能帯域及びエンコードレートを管理する機能を有することを特徴とする双方向映像通信品質制御システム。
8. 請求項１から７までのいずれか一項に記載の双方向映像通信品質制御システムにおいて、
   前記品質管理サーバの受信レート判断部は受信レート変更判断手段を有し、該受信レート変更判断手段は、前記映像ストリーミング品質測定部、双方向映像通信品質測定部及びＦＥＣ品質測定部により取得された品質パラメータのうちの少なくとも一つを用いて、利用者端末における受信品質劣化または回復を把握し、前記受信レートの変更を判断する機能を有することを特徴とする双方向映像通信品質制御システム。
9. 請求項１から８までのいずれか一項に記載の双方向映像通信品質制御システムにおいて、
   前記品質管理サーバの受信レート判断部は受信可能帯域推定手段を有し、該受信可能帯域推定手段は、前記映像ストリーミング品質測定部により取得されたバッファリング処理時間、バッファ容量、及び再生レートの品質パラメータの品質パラメータのうちの少なくとも一つを用いて、前記複数の利用者端末の受信可能帯域を推定する機能を有することを特徴とする双方向映像通信品質制御システム。
10. 請求項９に記載の双方向映像通信品質制御システムにおいて、
    前記品質管理サーバの受信レート判断部は受信可能帯域修正手段を有し、該受信可能帯域修正手段は、前記映像ストリーミング品質測定部、双方向映像通信品質測定部及びＦＥＣ品質測定部により取得された品質パラメータのうちの少なくとも一つを監視して利用者端末の受信状況を判断する機能、及び該受信状況に基づいて前記受信可能帯域推定手段により推定された受信可能帯域を修正する機能を有することを特徴とする双方向映像通信品質制御システム。
11. 請求項１から１０までのいずれか一項に記載の双方向映像通信品質制御システムにおいて、
    前記品質管理サーバのエンコードレート制御部は、グループメンバ管理部により管理された利用者端末の情報と、エンコードレート管理部により管理された受信可能帯域及びエンコードレートと、受信レート判断部により判断された受信レートとを用いて、利用者端末毎のエンコードレートを算出する機能、該算出されたエンコードレートで前記エンコードレート管理部を更新する機能、及び前記利用者端末により保持されたエンコードレートを制御する機能を有することを特徴とする双方向映像通信品質制御システム。
12. 映像ストリーミングコンテンツが格納されたストリーミングサーバと、双方向映像通信を管理する双方向映像通信管理サーバと、エンコードレートを保持し、利用者のコンテンツ視聴要求に従って前記ストリーミングサーバへアクセスし、映像ストリーミングコンテンツの配信を受け、該コンテンツを再生すると共に、前記エンコードレートを用いて利用者間の双方向映像通信を実現する複数の利用者端末と、該利用者端末により再生されている映像ストリーミングコンテンツ及び双方向映像通信に関する情報、並びにこれらの品質を管理し制御する品質管理サーバとがそれぞれＩＰ網に接続されるシステムの下で、双方向映像通信の品質制御を実現する利用者端末であって、
    映像ストリーミングに関する品質パラメータとしてバッファリング情報及び再送情報を取得する機能、及び前記品質パラメータを前記品質管理サーバへ送信する機能を有する映像ストリーミング品質測定部と、
    双方向映像通信に関する品質パラメータとしてアプリケーションレイヤにおける品質情報を取得する機能、及び前記品質パラメータを前記品質管理サーバへ送信する機能を有する双方向映像通信品質測定部と、
    双方向映像通信に関する誤り訂正のＦＥＣ処理を行う機能を有するＦＥＣ符号器／復号器による誤り訂正に関する品質パラメータとしてＦＥＣ修復状態、及びＲＴＰカプセル化を施した通信に関する品質パラメータとしてＲＴＣＰメッセージ内の各パラメータのうちの少なくとも一つを取得する機能、及び前記品質パラメータを前記品質管理サーバへ送信する機能を有するＦＥＣ品質測定部とを備え、
    前記品質管理サーバに、映像ストリーミング品質測定部、双方向映像通信品質測定部及びＦＥＣ品質測定部のうちの少なくとも一つの測定部が取得した品質パラメータを受信させ、該受信させた品質パラメータを用いて該利用者端末の受信レートを判断させ、該利用者端末が保持するエンコードレートを制御させることを特徴とする利用者端末。
13. 映像ストリーミングコンテンツが格納されたストリーミングサーバと、双方向映像通信を管理する双方向映像通信管理サーバと、エンコードレートを保持し、利用者のコンテンツ視聴要求に従って前記ストリーミングサーバへアクセスし、映像ストリーミングコンテンツの配信を受け、該コンテンツを再生すると共に、前記エンコードレートを用いて利用者間の双方向映像通信を実現する複数の利用者端末と、該利用者端末により再生されている映像ストリーミングコンテンツ及び双方向映像通信に関する情報、並びにこれらの品質を管理し制御する品質管理サーバとがそれぞれＩＰ網に接続されるシステムの下で、双方向映像通信の品質制御を実現する品質管理サーバであって、
    同一の映像ストリーミングコンテンツを各利用者に視聴させながら双方向映像通信を行う複数の利用者端末の情報を管理する機能を有するグループメンバ管理部と、
    双方向映像通信に関する受信可能帯域及びエンコードレートを管理する機能を有するエンコードレート管理部と、
    前記利用者端末に取得させた、映像ストリーミングに関するバッファリング情報及び再送情報の品質パラメータ、双方向映像通信に関するアプリケーションレイヤにおける品質情報の品質パラメータ、双方向映像通信に関する誤り訂正のＦＥＣ処理を行うＦＥＣ符号器／復号器による誤り訂正に関するＦＥＣ修復状態の品質パラメータ、及びＲＴＰカプセル化を施した通信に関するＲＴＣＰメッセージ内の各パラメータの品質パラメータのうちの少なくとも一つを受信する機能、及び該品質パラメータを用いて、前記グループメンバ管理部により管理された複数の利用者端末の受信レートをそれぞれ判断する機能を有する受信レート判断部と、
    該受信レート判断部からの指示に従い、前記利用者端末により保持されたエンコードレートを制御する機能、及び前記エンコードレート管理部により管理されたエンコードレートを変更する機能を有するエンコードレート制御部とを備えたことを特徴とする品質管理サーバ。
14. 映像ストリーミングコンテンツが格納されたストリーミングサーバと、双方向映像通信を管理する双方向映像通信管理サーバと、エンコードレートを保持し、利用者のコンテンツ視聴要求に従って前記ストリーミングサーバへアクセスし、映像ストリーミングコンテンツの配信を受け、該コンテンツを再生すると共に、前記エンコードレートを用いて利用者間の双方向映像通信を実現する複数の利用者端末と、該利用者端末により再生されている映像ストリーミングコンテンツ及び双方向映像通信に関する情報、並びにこれらの品質を管理し制御する品質管理サーバとがそれぞれＩＰ網に接続されるシステムにより、双方向映像通信の品質制御を実現するプログラムであって、
    前記利用者端末を構成するコンピュータに、
    映像ストリーミングに関する品質パラメータとしてバッファリング情報及び再送情報を取得し、前記品質パラメータを前記品質管理サーバへ送信する映像ストリーミング品質測定処理と、
    双方向映像通信に関する品質パラメータとしてアプリケーションレイヤにおける品質情報を取得し、前記品質パラメータを前記品質管理サーバへ送信する双方向映像通信品質測定処理と、
    双方向映像通信に関する誤り訂正のＦＥＣ処理を行う機能を有するＦＥＣ符号器／復号器による誤り訂正に関する品質パラメータとしてＦＥＣ修復状態、及びＲＴＰカプセル化を施した通信に関する品質パラメータとしてＲＴＣＰメッセージ内の各パラメータのうちの少なくとも一つを取得し、前記品質パラメータを前記品質管理サーバへ送信するＦＥＣ品質測定処理とを実行させ、
    前記品質管理サーバを構成するコンピュータに、
    同一の映像ストリーミングコンテンツを各利用者に視聴させながら双方向映像通信を行う複数の利用者端末の情報を管理するグループメンバ管理処理と、
    双方向映像通信に関する受信可能帯域及びエンコードレートを管理するエンコードレート管理処理と、
    前記利用者端末による映像ストリーミング品質測定処理、双方向映像通信品質測定処理及びＦＥＣ品質測定処理のうちの少なくとも一つの処理により送信された品質パラメータを受信し、該品質パラメータを用いて、前記グループメンバ管理処理により管理された複数の利用者端末の受信レートをそれぞれ判断する受信レート判断処理と、
    該受信レート判断処理に従い、前記利用者端末により保持されたエンコードレートを制御し、前記エンコードレート管理処理により管理されたエンコードレートを変更するエンコードレート制御処理とを実行させる双方向映像通信品質制御プログラム。

Images