JP5257448B2

JP5257448B2 - サーバ装置と通信方法ならびにプログラム

Info

Publication number: JP5257448B2
Application number: JP2010514548A
Authority: JP
Inventors: 一範小澤
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2008-05-30
Filing date: 2009-05-29
Publication date: 2013-08-07
Anticipated expiration: 2029-05-29
Also published as: JPWO2009145293A1; WO2009145293A1; CN102047676A; EP2290977A1; US8693536B2; US20110188568A1

Description

（関連出願についての記載）
本発明は、日本国特許出願：特願２００８−１４２７４４号（２００８年５月３０日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、サーバ装置と通信方法に関し、特に、少なくとも２台の端末が参加してグループを生成し、第１の端末からビデオ信号を含むストリームまたはパケットを受信し、これをコピーした上で第１の端末以外の他の端末に送出するサーバ装置と通信方法ならびにプログラムに関する。

モバイルパケットネットワークの帯域幅の拡張や高速化に伴い、パケットによる通信や配信を行うサービスが増えてくると予想される。このようななかで、２台以上の端末（例えばＮ台）が参加してグループを生成し、第１の端末から送出されたパケットデータを受信してコピーし、これを第１の端末以外の端末（Ｎ−１台）に送出するサービスは、音声に対しては、ＰｏＣ（ＰｕｓｈｔｏｔａｌｋｏｖｅｒＣｅｌｌｕｌａｒ）という名称ですでにサービスが開始されている。

今後は、ＩＭＳ（ＩＰＭｕｌｔｉｍｅｄｉａＳｕｂｓｙｓｔｅｍ）の進展に伴い、ビデオ信号を対象にした同様なサービス（ビデオＰｏＣやビデオシェアリング）が開始されると予想される。

この場合、ビデオ信号に対しては、低ビットレートで効率良く伝送するために端末側で圧縮符号化を行うが、これらの方式としては、ＩＴＵ−Ｔ（ＩｎｔｅｒｎａｔｉｏｎａｌＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎＵｎｉｏｎＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎＳｔａｎｄａｒｄｉｚａｔｉｏｎＳｅｃｔｏｒ）勧告Ｈ．２６３や、ＩＳＯ／ＩＥＣ（ＩｎｔｅｒｎａｔｉｏｎａｌＯｒｇａｎｉｚａｔｉｏｎｆｏｒＳｔａｎｄａｒｄｉｚａｔｉｏｎ／ＩｎｔｅｒｎａｔｉｏｎａｌＥｌｅｃｔｒｏｔｅｃｈｎｉｃａｌＣｏｍｍｉｓｓｉｏｎ）で国際標準化されているＭＰＥＧ−４（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐｐｈａｓｅ４）が知られている。

また、ＩＴＵ−ＴとＩＳＯ／ＩＥＣで国際標準化されたＨ．２６４／ＭＰＥＧ−４ＡＶＣ（ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ）が前記動画像圧縮符号化方式よりも動画像信号を効率良く伝送できる。

なお、メディア配信を行うシステムとして、特許文献１には、マルチメディア通信データを中継するサーバが、受信端末のメディア再生能力に応じた出力映像情報に変換して受信端末に送信する構成が開示されている。特許文献２には、大きな表示能力を要求される符号化情報は所定の表示能力で表示可能な符号化情報に変換し、この符号化情報とともにデータサーバ装置によりローカルエリアネットワーク上に提供し、コンテンツ情報再生端末は、自分の表示レベルに合う方の符号化情報（マルチメディアデータ）と復号化プログラムを取得して再生する構成が開示されている。特許文献３には、マルチキャストネットワークにおいて、あるマルチキャストグループに対応する要求されるチャネルを指示するチャネル変更要求を検出すると、要求されたチャネルの保持されたイントラフレームをユニキャスト通信として送信する構成が開示されている。特許文献４には、クライアントからコンテンツ要求があった場合、サーバ装置は、コンテンツに応じて自身でフォーマット変換するか、又は、自身で変換が不可能な場合、他のサーバ装置で変換可能な場合、他のサーバ装置にフォーマット変換を依頼し、変換後のコンテンツをクライアントに送信する構成が開示されている。

広告を挿入するシステムとして、特許文献５には、放送データストリーム内の広告を識別し、放送データストリーム内の番組の中における広告、および広告のローケーションを識別する情報を含む広告スケジュールを更新し、再生時、広告、または代替広告が番組中の該ローケーションまたは番組の別のローケーションに挿入されるようにした構成が開示されている。上記特許文献１乃至５には、少なくとも２台の端末が参加してグループを生成し、第１の端末からビデオ信号を含むストリームまたはパケットを受信し、これをコピーした上で第１の端末以外の他の端末に送出するサーバ装置の構成とは全く相違した構成が開示されているだけである。

特開２００２−２９７４９６号公報特開２００４−２７２６３１号公報特開２００５−１２４１９３号公報特開２００８−５２５４号公報特表２００６−５１９５２５号公報

上記特許文献１〜５の全開示内容はその引用をもって本書に繰込み記載する。
以下に、本発明による分析を与える。ビデオ信号を対象としたビデオＰｏＣやビデオシェアリングでは、次の問題点がある。

（ａ）端末でビデオ信号あるいはビデオコンテンツを前述の圧縮符号化方式により圧縮符号化する場合、非予測フレーム（Ｉフレームと呼ぶ）をコンテンツの先頭のみに入れるのが通常であり（まれには数秒間隔で周期的にＩフレームを挿入することもある）、途中からグループに参加した端末に対しては参加の時点でＩフレームが入らない。このため、当該端末でそのような圧縮符号化信号を復号・再生すると画像が乱れる。

（ｂ）グループ内にいろいろな種類の端末が混在する場合、コンテンツの形式により、ある端末では、復号・表示可能であるが、特定の端末では復号ができない、可能性がある。

これらの問題が発生すると、
端末でビデオが復号できず表示されない、あるいは、
復号して表示できたとしてもビデオがある時間乱れたままになる、
などの事象が発生し、サービスが成り立たなくなる。

したがって、本発明の目的は、複数（２台以上）の端末が参加してグループを生成し、第１の端末から少なくともビデオ信号を含むストリームを受信してそれをコピーして第１の端末以外の端末に送出するサーバ装置において、途中から参加した端末に対しても、画質劣化などの問題を端末側で発生させないようにするサーバ装置、通信方法、プログラムを提供することにある。

本発明の他の目的は、同一グループ内で能力情報の異なる種々の異なる端末が混在していても、画質劣化などの問題を端末側で発生させないようにするサーバ装置、通信方法、プログラムを提供することにある。

本発明の１つの側面によれば、２台以上の端末が参加してグループを生成し、第１の端末から送出された少なくともビデオ信号を含むストリームまたはパケットを受信し一部または全部をコピーし第１の端末とは異なる端末に前記コピー後のストリームまたはパケットを送出するサーバ装置であって、
前記送出している途中に、新規端末が前記グループに参加した場合は、前記新規端末に送出する際にビデオフレームを非予測フレームに変換し、前記非予測フレームの後に続くビデオフレームは、元のストリームまたはパケットをそのまま使用して送出する変換部を備えるサーバ装置が提供される。

本発明によれば、２台以上の端末が参加してグループを生成し第１の端末から送出された少なくともビデオ信号を含むストリームまたはパケットを受信し一部または全部をコピーし第１の端末とは異なる端末に前記コピー後のストリームまたはパケットを送出するサーバ装置であって、前記グループに前記ストリームの形式またはパケットの形式を受信できない端末が含まれる場合は当該端末に対しては当該端末が受信できるファイル形式に変換した上で送出する変換部を備えるサーバ装置が提供される。

本発明によれば、２台以上の端末が参加してグループを生成し第１の端末から送出された少なくともビデオ信号を含むストリームまたはパケットを受信し一部または全部をコピーし第１の端末とは異なる端末に前記コピー後のストリームまたはパケットを送出するサーバ装置であって、前記グループに含まれる端末の能力情報を受信し、前記第１の端末以外の端末の能力情報が前記第１の端末の能力情報と異なる場合は、前記グループに含まれる端末の能力情報を受信し、前記第１の端末以外の端末の能力情報が前記第１の端末の能力情報と異なる場合は、当該端末の能力情報に合うように、前記ビデオ信号を変換した上で当該端末に送出する変換部を備えるサーバ装置が提供される。

本発明によれば、２台以上の端末が参加してグループを生成し第１の端末から送出された少なくともビデオ信号を含むストリームまたはパケットを受信し一部または全部をコピーし第１の端末とは異なる端末に前記コピー後のストリームまたはパケットを送出するサーバ装置であって、前記送出するストリームまたはパケットの前後の時間タイミングまたは任意の時間タイミングに別のビデオまたは別のオーディオの少なくとも一つを挿入するか、または複数のビデオを合成するか、または文字を重畳するかした上でコピーしたストリームまたはパケットを送出する変換部を備えるサーバ装置が提供される。

本発明の別の側面によれば、複数の端末が参加してグループを生成し、前記複数の端末のうち第１の端末から送出された少なくともビデオ信号を含むストリームまたはパケットをサーバ装置が受信し、
前記サーバ装置は、前記受信したストリームまたはパケットの一部または全部をコピーし、前記複数の端末のうち前記第１の端末とは異なる端末に、前記コピー後のストリームまたはパケットを送出し、
前記コピー後のストリームまたはパケットを送出している途中に、新規端末が前記グループに参加した場合に、前記サーバ装置は、前記新規端末に送出する際にビデオフレームを非予測フレームに変換し、
前記非予測フレームの後に続くビデオフレームは、元のストリームまたはパケットをそのまま用いて送出する、通信方法が提供される。

本発明によれば、複数の端末が参加してグループを生成し、前記複数の端末のうち第１の端末から送出された少なくともビデオ信号を含むストリームまたはパケットをサーバ装置が受信し、
前記サーバ装置は、前記受信したストリームまたはパケットの一部または全部をコピーし、前記複数の端末のうち前記第１の端末とは異なる端末に、前記コピー後のストリームまたはパケットを送出し、
前記グループに前記ストリームの形式またはパケットの形式を受信できない端末が含まれる場合は当該端末に対しては当該端末が受信できるファイル形式に変換した上で送出する通信方法が提供される。

本発明によれば、複数の端末が参加してグループを生成し、前記複数の端末のうち第１の端末から送出された少なくともビデオ信号を含むストリームまたはパケットをサーバ装置が受信し、
前記サーバ装置は、前記受信したストリームまたはパケットの一部または全部をコピーし、前記複数の端末のうち前記第１の端末とは異なる端末に、前記コピー後のストリームまたはパケットを送出し、
前記グループに含まれる端末の能力情報を受信し、前記第１の端末以外の端末の能力情報が前記第１の端末の能力情報と異なる場合は、前記グループに含まれる端末の能力情報を受信し、前記第１の端末以外の端末の能力情報が前記第１の端末の能力情報と異なる場合は、当該端末の能力情報に合うように、前記ビデオ信号を変換した上で当該端末に送出する通信方法が提供される。

本発明によれば、複数の端末が参加してグループを生成し、前記複数の端末のうち第１の端末から送出された少なくともビデオ信号を含むストリームまたはパケットをサーバ装置が受信し、
前記サーバ装置は、前記受信したストリームまたはパケットの一部または全部をコピーし、前記複数の端末のうち前記第１の端末とは異なる端末に、前記コピー後のストリームまたはパケットを送出し、
前記送出するストリームまたはパケットの前後の時間タイミングまたは任意の時間タイミングに別のビデオまたは別のオーディオの少なくとも一つを挿入するか、または複数のビデオを合成するか、または文字を重畳するかした上でコピーしたストリームまたはパケットを送出する通信方法が提供される。

本発明のさらに別の側面によれば、複数の端末が参加してグループを生成し、前記複数の端末のうち第１の端末から送出された少なくともビデオ信号を含むストリームまたはパケットを受信し、前記受信したストリームまたはパケットの一部または全部をコピーし、前記複数の端末のうち前記第１の端末とは異なる端末に、前記コピー後のストリームまたはパケットを送出するサーバ装置に、
前記コピー後のストリームまたはパケットを送出している途中に、新規端末が前記グループに参加した場合に、前記新規端末に送出する際にビデオフレームを非予測フレームに変換し、前記非予測フレームの後に続くビデオフレームは、元のストリームまたはパケットをそのまま用いて送出する変換処理を実行させるコンピュータ・プログラムが提供される。

本発明によれば、複数の端末が参加してグループを生成し、前記複数の端末のうち第１の端末から送出された少なくともビデオ信号を含むストリームまたはパケットを受信し、前記受信したストリームまたはパケットの一部または全部をコピーし、前記複数の端末のうち前記第１の端末とは異なる端末に、前記コピー後のストリームまたはパケットを送出するサーバ装置に、
前記グループに前記ストリームの形式またはパケットの形式を受信できない端末が含まれる場合には、当該端末に対しては当該端末が受信できるファイル形式に変換した上で送出する変換処理を実行させるコンピュータ・プログラムが提供される。

本発明によれば、複数の端末が参加してグループを生成し、前記複数の端末のうち第１の端末から送出された少なくともビデオ信号を含むストリームまたはパケットを受信し、前記受信したストリームまたはパケットの一部または全部をコピーし、前記複数の端末のうち前記第１の端末とは異なる端末に、前記コピー後のストリームまたはパケットを送出するサーバ装置に、
前記グループに含まれる端末の能力情報を受信し、前記第１の端末以外の端末の能力情報が前記第１の端末の能力情報と異なる場合には、当該端末の能力情報に合うように、前記ビデオ信号を変換した上で当該端末に送出する変換処理を実行させるコンピュータ・プログラムが提供される。

本発明によれば、複数の端末が参加してグループを生成し、前記複数の端末のうち第１の端末から送出された少なくともビデオ信号を含むストリームまたはパケットを受信し、前記受信したストリームまたはパケットの一部または全部をコピーし、前記複数の端末のうち前記第１の端末とは異なる端末に、前記コピー後のストリームまたはパケットを送出するサーバ装置に、
前記送出するストリームまたはパケットの前後の時間タイミング、または、任意の時間タイミングに、
別のビデオまたは別のオーディオの少なくとも一つを挿入、
複数のビデオを合成、
文字を重畳する、
のうち少なくとも１つを行った上で、
前記コピーしたストリームまたはパケットを送出する変換処理を実行させるコンピュータ・プログラムが提供される。

本発明によれば、同一グループ内でセッションの途中から参加した端末に対しても、サーバ側で変換機能を有することにより、画質劣化などの問題を端末側で発生させないようにすることができる。本発明によれば、端末側を何ら改造することなしに、上記効果を奏することが可能である。

本発明によれば、同一グループ内で能力情報の異なる種々の異なる端末が混在していても、サーバ側で変換機能を有することにより、画質劣化などの問題を端末側で発生させないようにすることができる。本発明によれば、端末側を何ら改造することなしに、上記効果を奏することが可能である。

本発明によれば、携帯端末から送出したビデオストリームに対しあらかじめ蓄積された別のビデオコンテンツを任意の時間タイミングで挿入したり、これらを１つの画面に画面合成したり、複数のビデオストリームを１つの画面に画面合成したり、文字を重畳したりする変換機能をサーバ側にもたせることにより、新規のサービスを可能にする。本発明によれば、端末側を何ら改造することなしに、上記効果を奏することが可能である。

本発明によるサーバ装置および携帯端末の接続形態を示す図である。本発明のサーバ装置の第１の実施例の構成を示す図である。本発明のサーバ装置の第２の実施例の構成を示す図である。本発明のサーバ装置の第３の実施例の構成を示す図である。本発明のサーバ装置の第４の実施例の構成を示す図である。本発明のサーバ装置の第５の実施例の構成を示す図である。本発明のサーバ装置の第６の実施例の構成を示す図である。

１２０、１２１、１２２、１２３携帯端末
１３０モバイルパケットネットワーク
１５０サーバ装置
１５１呼制御部
１５５、１９０パケット受信部
１５７、１５８、１７４、１７５、１９１、２００切り替え部
１５６、１７３パケットコピー部
１５９パケット送出部
１６０、１７０、１８０、２０１変換部
１６１復号部
１６２Ｉフレーム変換部
１７１、１８１制御部
１７２形式変換部
１８２トランスコーダ部
２０２画面合成変換部

本発明の実施形態について詳細に説明する。なお、以下の実施例では、コンテンツの例として、ビデオ（動画像）を使う場合で、サーバ装置の変換部に、トランスコーダ機能をもたせる構成例を説明するが、オーディオ、音声を使う場合も、同様の構成を用いることができる。

図１は、モバイルパケットネットワークにおけるサーバ装置及び携帯端末の接続形態の例を示している。図１においては、一例として、グループの参加端末数Ｎを４とし、４台の携帯端末１２０〜１２３が１つのグループを構成し、モバイルパケットネットワーク１３０に接続される場合の例を示している。

サーバ装置１５０はモバイルパケットネットワーク１３０に接続され、モバイルパケットネットワーク１３０を経由して上記グループに属する携帯端末１２０〜１２３との間でビデオパケットをやりとりする。

ビデオＰｏＣサービスやビデオシェアリングサービスでは、ある時間タイミングで、携帯端末１２０〜１２３のいずれかが主導権をもち、主導権をもった携帯端末（例えば１２０）からビデオパケットを、サーバ装置１５０に向けて送信する。

サーバ装置１５０は、同一グループに属するどの端末が主導権をもつのかを、
ＳＩＰ（ＳｅｓｓｉｏｎＩｎｉｔｉａｔｉｏｎＰｒｏｔｏｃｏｌ）信号、または、
ＲＴＣＰ（ＲＴＰＣｏｎｔｒｏｌＰｒｏｔｏｃｏｌ）
のいずれかを用いて判別し、当該端末からパケットを受信し、これをコピーした上で、他の端末（この場合携帯端末１２１〜１２３）に対して送出する動作を行う。ここで、ＳＩＰの詳細は、ＩＥＴＦ（ＩｎｔｅｒｎｅｔＥｎｇｉｎｅｅｒｉｎｇＴａｓｋＦｏｒｃｅ）のＲＦＣ（ＲｅｑｕｅｓｔＦｏｒＣｏｍｍｅｎｔｓ）３２６１を参照することができる。ＲＴＣＰの詳細は、ＩＥＴＦＲＦＣ１８８９を参照することができる。

＜実施例１＞
図２は、図１のサーバ装置１５０の第１の実施例の構成を示す図である。図２において、主導権をもつ端末は、ＳＩＰを用いてサーバ装置１５０に伝えることを想定している。ただし、前述したように、ＳＩＰ以外の手段（例えばＲＴＣＰなど）を用いて主導権をサーバ装置１５０に伝えることもできる。

図２を参照すると、サーバ装置１５０は、呼制御部１５１、パケット受信部１５５、切り替え部１５７、変換部１６０、切り替え部１５８、パケットコピー部１５６、パケット送出部１５９を備えている。変換部１６０は、復号部１６１と、Iフレーム変換部１６２を備えている。

呼制御部１５１は、携帯端末からＳＩＰ信号により、
同じグループに属する携帯端末の個数（Ｎ）および各携帯端末のＩＰアドレス（または電話番号）、
同じグループで主導権をもつ端末の情報（ＩＰアドレスまたは電話番号など）、
各携帯端末のグループへの参加タイミング、
セッション開始指示、セッション切断指示、
などの情報を受信する。

また、呼制御部１５１は、ＳＤＰ（ＳｅｓｓｉｏｎＤｅｓｃｒｉｐｔｉｏｎＰｒｏｔｏｃｏｌ）を用いて、各携帯端末の能力情報を受信する。ここで、ＳＤＰの詳細は、ＩＥＴＦＲＦＣ２３２７を参照することができる。

以下では、Ｎ台の携帯端末がセッションの開始時にグループに参加しており、セッションの途中で携帯端末の参加がない場合の動作（「動作（１）」という）について説明する。

呼制御部１５１は、ＳＩＰによりセッション開始指示を受信すると、パケット受信部１５５に対し、主導権をもつ携帯端末（ここでは携帯端末１２０とする）からのＲＴＰパケットを受信するよう指示を出し、携帯端末１２０の送信元ＩＰアドレスを通知する。

パケット受信部１５５は、当該送信元ＩＰアドレスから送出されるＲＴＰパケットを受信し、切り替え部１５７に出力する。

呼制御部１５１は、セッション途中で参加する携帯端末がないので、切り替え部１５７に対し、全てのパケットをスルーで、切り替え部１５８に出力するよう指示を出す。

また、切り替え部１５８は、呼制御部１５１からすべてのパケットをパケットコピー部１５６に出力するよう指示をうけ、入力したすべてのパケットをパケットコピー部１５６に出力する。

パケットコピー部１５６は、切り替え部１５８から入力したＲＴＰパケットを、主導権を持つ携帯端末以外の端末の個数（Ｎ−１）だけコピーして、パケット送出部１５９に出力する。

パケット送出部１５９は、呼制御部１５１から開始指示及び送出先の携帯端末のＩＰアドレスを通知され、入力したＮ−１個分のコピーＲＴＰパケットを、それぞれ、Ｎ−１台の携帯端末に向けて送出する。

これらの一連の処理は、呼制御部１５１からセッション開始指示が通知されて以降、セッション切断指示が通知されるまで繰り返される。

次に、セッションの途中で、新規に、携帯端末が参加してきた場合の動作（「動作（２）」という）について説明する。ここで、新規の携帯端末が参加するまでの動作は、前述の動作（１）と同じである。

セッションの途中で新規にグループに参加してきた携帯端末がある場合には、呼制御部１５１が、当該携帯端末から、接続用ＳＩＰ信号を受信することにより、呼制御部１５１は、グループに途中で参加する端末があることを認識する。

呼制御部１５１は、新規端末からＳＩＰ信号を受信した時点で、切り替え部１５７、変換部１６０、切り替え部１５８に指示を出す。

切り替え部１５７は、パケット受信部１５５から入力したパケットに対し、指示を受信した直後のビデオフレームに含まれるＭ個のＲＴＰパケットを変換部１６０に出力し、Ｍ＋１個目以降のＲＴＰパケットは、切り替え部１５８に出力するように、動作を切り替える。

変換部１６０は、前述したように、復号部１６１とＩフレーム変換部１６２を備え、切り替え部１５７から、Ｍ個のＲＴＰパケットを入力し、当該ビデオフレームを、非予測フレーム（Ｉフレーム）に変換して出力する。

具体的には、復号部１６１は、当該ビデオフレームに含まれるＭ個のＲＴＰパケットの各々から、ビデオストリームを読み出して復号する。

復号部１６１は復号したビデオストリームを、Ｉフレーム変換部１６２に出力し、Ｉフレーム変換部１６２は、Ｉフレームに変換した後のストリームをＲＴＰパケットに格納した上で、切り替え部１５８に出力する。

切り替え部１５８は、呼制御部１５１から指示を受信した直後のＭ個のＲＴＰパケットを変換部１６０から受け取り、Ｍ＋１個目以降のパケットを切り替え部１５７から受け取り、これらを、パケットコピー部１５６に出力する。

パケットコピー部１５６は、ＲＴＰパケットを受信して、各々のＲＴＰパケットを、Ｎ−１個分コピーし、パケット送出部１５９に出力する。

パケット送出部１５９は、呼制御部１５１から開始指示及び送出先のＮ−１台の各々の携帯端末のＩＰアドレスを通知され、入力したＲＴＰパケットを、それぞれ、Ｎ−１台の携帯端末に向けて送出する。

なお、本実施例では、切り替え部１５８の後段に、パケットコピー部１５６を配置したが、切り替え部１５７の前段にパケットコピー部を配置し、先にＮ−１個のパケットコピーを作成し、各パケットの一部を変換部１６０に通し、Ｉフレームに変換するような構成にすることもできる。ただし、この構成の場合、Ｉフレーム変換するパケットの個数がＮ−１倍に増えることになる。

上記実施例において、ビデオの圧縮符号化方式は問わず、例えばＨ．２６３、ＭＰＥＧ−４、Ｈ．２６４など、どのような圧縮符号化方式でも、対応することができる。

第１の実施例として、サーバ装置１５０の構成、動作を説明したが、このサーバ装置の動作は、本発明の通信方法の第１の実施例に対応する。すなわち、この通信方法は、複数の端末が参加してグループを生成し、複数の端末のうち第１の端末（例えば１２０）から送出された少なくともビデオ信号を含むストリームまたはパケットをサーバ装置（１５０）が受信し、サーバ装置（１５０）は、前記受信したストリームまたはパケットの一部または全部をコピーし、前記複数の端末のうち前記第１の端末とは異なる端末に、前記コピー後のストリームまたはパケットを送出する工程を含む。さらに、前記コピー後のストリームまたはパケットを送出している途中に、新規端末が前記グループに参加した場合に、サーバ装置（１５０）は、前記新規端末に送出する際にビデオフレームを非予測フレームに変換し、前記非予測フレームの後に続くビデオフレームは、元のストリームまたはパケットをそのまま用いて送出する工程を含む。

なお、サーバ装置１５０における変換部や他の各部（図２では、変換部１６０や、呼制御部１５１、パケット受信部１５５、切り替え部１５７、１５８、パケットコピー部１５６、パケット送出部１５９）は、サーバ装置１５０を構成するコンピュータ上で実行されるプログラムにより、その処理・機能を実現するようにしてもよいことは勿論である。以下の各実施例についても同様である。

＜実施例２＞
図３は、本発明の第２の実施例の構成を示す図である。図３において、図２の構成要素と同じ構成要素には同一の参照番号を付し、同一の動作を行うため、説明は省略する。

パケットコピー部１７３は、パケット受信部１５５から入力したＲＴＰパケットの各々に対し、Ｎ−１個のコピーパケットを作成し、切り替え部１７４に出力する。

切り替え部１７４は、呼制御部１５１から指示をうけ、同一のグループに属するＮ台の端末のうち、主導権を有する端末が送出したＲＴＰパケットに格納されたストリームを受信できない端末の台数Ｐを通知され、Ｎ−１個のコピーパケットのうちのＰ個のコピーパケットに対しては、変換部１７０に出力する。

一方、残りのＮ−１−Ｐ個のパケットに対しては、スルーして、切り替え部１７５に出力する。

変換部１７０は、制御部１７１と形式変換部１７２を備えている。制御部１７１は、Ｎ台の端末の各々からＳＤＰに記載されて送出された能力情報を呼制御部１５１から受信し、これらを比較し、前記ＲＴＰストリームを、受信可能なＮ−１−Ｐ台と、受信不可能なＰ台とを振り分け、受信不可能なＰ台に対しては、ＲＴＰストリーム形式からファイル形式（例えば３ＧＰファイル形式や３ＧＰ２ファイル形式）に変換すれば受信可能かを判別する。

上記の変換で受信可能と判断される場合は、形式変換部１７２に指示を出し、例えばＲＴＰストリーム形式を３ＧＰファイル形式に変換するよう通知する。

形式変換部１７２は、制御部１７１から変換方式を受信し、切り替え部１７４から受信したＲＴＰストリームを３ＧＰファイル形式に変換する処理を行い、３ＧＰファイル形式を、あらかじめ定められたサイズだけ区切り、ＲＴＰペイロードに格納した上で、切り替え部１７５に出力する。

ここで、３ＧＰファイル形式の詳細は、３ＧＰＰによるＴＳ２６．２４４規格を参照することができる。

切り替え部１７５は、変換部１７０から出力されるＰ個のＲＴＰパケットと切り替え部１７４から出力されるＮ−１−Ｐ個のＲＴＰパケットを受信し、Ｎ−１個のパケットとしてパケット送出部１５９に出力する。

第２の実施例として、サーバ装置１５０の構成、動作を説明したが、このサーバ装置の動作は、本発明の通信方法の第２の実施例に対応する。すなわち、この通信方法は、複数の端末が参加してグループを生成し、複数の端末のうち第１の端末（例えば１２０）から送出された少なくともビデオ信号を含むストリームまたはパケットをサーバ装置（１５０）が受信し、サーバ装置（１５０）は、前記受信したストリームまたはパケットの一部または全部をコピーし、前記複数の端末のうち前記第１の端末とは異なる端末に、前記コピー後のストリームまたはパケットを送出する工程を含む。さらに、前記グループに、前記ストリームの形式またはパケットの形式を受信できない端末が含まれる場合には、前記サーバ装置は、当該端末に対しては当該端末が受信できるファイル形式に変換した上で送出する工程を含む。

＜実施例３＞
図４は、本発明の第３の実施例の構成を示す図である。図４において、図２、図３の構成要素と同じ構成要素には同一の参照番号を付し、同一の動作を行うため、説明は省略する。

変換部１８０は、制御部１８１とトランスコーダ部１８２から構成される。制御部１８１は、Ｎ台の端末の各々からＳＤＰに記載されて送出された能力情報を呼制御部１５１から受信し、主導権をもつ携帯端末の能力情報Ａとそれ以外のＮ−１台の各々の端末の能力情報とを比較し、能力情報がＡと一致しない端末を判別する。

ここで、能力情報がＡと一致しない端末の台数をＰとする。また、判別の対象とする能力情報は、例えば、
ビデオ圧縮符号化方式、
ビットレート、
画面サイズ、
フレームレート
などである。

さらに、変換部１８０は、能力情報が一致しない端末の能力情報の各々に対して、Ａと一致させるための変換方式を判別し、この変換方式を、トランスコーダ部１８２に通知する。

トランスコーダ部１８２は、能力情報がＡと一致しないＰ個の端末に対する変換方式を通知され、切り替え部１７４から受信したＰ個のＲＴＰパケットに対し、ストリームを抽出し、前記変換方式に基づく変換を施した上で、変換後のストリームを、ＲＴＰパケットに格納して、切り替え部１７５に出力する。

一方、能力情報がＡと一致するＮ−１−Ｐ個のＲＴＰパケットはスルーして切り替え部１７５に出力する。

本実施例において、ビデオの圧縮符号化方式は問わず、Ｈ．２６３、ＭＰＥＧ−４、Ｈ．２６４など、どのような圧縮符号化方式でも対応することができる。また、能力情報としては上述した以外の情報に対しても対応することができる。

第３の実施例として、サーバ装置１５０の構成、動作を説明したが、このサーバ装置の動作は、本発明の通信方法の第３の実施例に対応する。すなわち、この通信方法は、複数の端末が参加してグループを生成し、複数の端末のうち第１の端末（例えば１２０）から送出された少なくともビデオ信号を含むストリームまたはパケットをサーバ装置（１５０）が受信し、サーバ装置（１５０）は、前記受信したストリームまたはパケットの一部または全部をコピーし、前記複数の端末のうち前記第１の端末とは異なる端末に、前記コピー後のストリームまたはパケットを送出する工程を含む。さらに、前記サーバ装置は、前記グループに含まれる端末の能力情報を受信し、前記第１の端末以外の端末の能力情報が前記第１の端末の能力情報と異なる場合には、当該端末の能力情報に合うように、前記ビデオ信号を変換した上で当該端末に送出する工程を含む。

＜実施例４＞
図５は、本発明の第４の実施例の構成を示す図である。図５において、図２、図３、図４の構成要素と同一の構成要素には、同一の参照番号を付し、同一の動作を行うため、説明は省略する。

図５において、パケット受信部１９０と切り替え部１９１は、
セッション開始時、または、
セッション中の任意の時間タイミング、または、
セッション終了直前
などに、呼制御部１５１から指示を受信し、
たとえば、コンテンツサーバ（不図示）やコンテンツ蓄積サーバ（不図示）から、別のビデオコンテンツや、あらかじめ蓄積されたビデオコンテンツに関するＲＴＰパケットを受信し、切り替え部１９１に出力する。

これにより、主導権をもつ携帯端末からのＲＴＰパケットに対し、呼制御部１５１から指示のあった時間タイミングで、
別のビデオコンテンツ、または、
蓄積ビデオコンテンツ、または、
広告ビデオコンテンツ
などのＲＴＰパケットを挿入することができる。

図５において、変換部を追加する構成をとることも可能である。

＜実施例５＞
図６は、本発明の第５の実施例の構成を示す図である。本実施例は、図５の構成に対して、図２で説明した第１の実施例の変換部１６０を追加したものである。図６の構成により、グループ内でセッションの途中で新規端末が参加しても、別のビデオコンテンツを含めて劣化のない動画像を携帯端末で表示することができる。

なお、変換部１６０のかわりに、それぞれ図３や図４に示した変換部１７０や変換部１８０を用いてもよいことは勿論である。さらに、ビデオコンテンツのかわりのテロップ文字を挿入することもできる。

＜実施例６＞
図７は、本発明の第６の実施例の構成を示す図である。本実施例は、主導権をもつ携帯端末からのビデオＲＴＰパケットと、
別のビデオコンテンツＲＴＰパケット、または、
蓄積ビデオコンテンツＲＴＰパケット、または、
広告ビデオコンテンツＲＴＰパケットと、
を１つの画面に画面合成して出力する場合の構成を示している。

切り替え部２００は、呼制御部１５１から画面合成の指示を受けた時間タイミングで、パケット受信部１５５およびパケット受信部１９０からＲＴＰパケットを入力し、これらを変換部２０１に出力する。

また、画面合成解除の指示を受けた時点で、パケット受信部１５５からのＲＴＰパケットを切り替え部１５８に出力する。

変換部２０１は、呼制御部１５１から画面合成指示を受けた時間タイミングで、画面合成変換部２０２が複数の画面（ここでは２）を、１画面に合成するためのトランスコーディングを実行し、切り替え部１５８に出力する。

第４乃至第６の実施例として、サーバ装置１５０の構成、動作を説明したが、このサーバ装置の動作は、本発明の通信方法の各実施例に対応する。この通信方法は、複数の端末が参加してグループを生成し、複数の端末のうち第１の端末（例えば１２０）から送出された少なくともビデオ信号を含むストリームまたはパケットをサーバ装置（１５０）が受信し、サーバ装置（１５０）は、前記受信したストリームまたはパケットの一部または全部をコピーし、前記複数の端末のうち前記第１の端末とは異なる端末に、前記コピー後のストリームまたはパケットを送出する工程を含み、さらに、サーバ装置は、前記送出するストリームまたはパケットの前後の時間タイミング、または、任意の時間タイミングに、別のビデオまたは別のオーディオの少なくとも一つを挿入、複数のビデオを合成、文字を重畳する、のうち少なくとも１つを行った上で、前記コピーしたストリームまたはパケットを送出する工程を含む。

以上説明したすべての実施例では、Ｃ−Ｐｌａｎｅ（Ｃｏｎｔｒｏｌ−Ｐｌａｎｅ）処理である呼制御部と、Ｕ−Ｐｌａｎｅ（Ｕｓｅｒ−Ｐｌａｎｅ）処理である、パケット受信部、変換部、パケット送出部などをサーバ装置に配置したが、Ｃ−Ｐｌａｎｅ処理と、Ｕ−Ｐｌａｎｅ処理とを別々の装置に分離する構成をとることもできる。この構成によれば、Ｃ−ＰｌａｎｅとＵ−Ｐｌａｎｅとに独立にスケーラビリティを持たすことができる。

なお、図６には、図２の第１の実施例と図５の第４の実施例とを併せ持つ構成を示したが、第１の実施例と、第２、第３の実施例の少なくとも１つを併せた構成としてもよいほか、これ以外にも、前記第１乃至第４の実施例を任意に組み合わせた構成としてもよいことは勿論である。

上記した実施例の作用効果について説明する。

同一グループ内でセッションの途中から参加した端末に対しても、サーバ側で変換機能を有することにより、端末側を何ら改造することなしに、画質劣化などの問題を端末側で発生させないようにするサーバ装置が提供される。

同一グループ内で能力情報の異なる種々の異なる端末が混在していても、サーバ側で変換機能を有することにより、端末側を何ら改造することなしに、画質劣化などの問題を端末側で発生させないようにすることができる。

携帯端末から送出したビデオストリームに対しあらかじめ蓄積された別のビデオコンテンツを任意の時間タイミングで挿入したり、これらを１つの画面に画面合成したり、複数のビデオストリームを１つの画面に画面合成したり、文字を重畳したりする変換機能をサーバ側にもたせることにより、端末側を何ら改造することなしに、新規のサービスを可能とする。

なお、上記の特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

Claims

複数の端末が参加してグループを生成し、前記複数の端末のうち第１の端末から送出された少なくともビデオ信号を含むストリームまたはパケットを受信する受信部と、
前記受信したストリームまたはパケットの一部または全部をコピーするコピー部と、
前記複数の端末のうち前記第１の端末とは異なる端末に、前記コピー後のストリームまたはパケットを送出する送信部と、
前記コピー後のストリームまたはパケットを送出している途中に、新規端末が前記グループに参加した場合に、前記新規端末に送出する際に、ビデオフレームを非予測フレームに変換し、前記非予測フレームの後に続くビデオフレームは元のストリームまたはパケットをそのまま用いて送出する変換部を備える、ことを特徴とするサーバ装置。
前記変換部は、前記グループに、前記ストリームの形式またはパケットの形式を受信できない端末が含まれる場合には、当該端末に対しては、当該端末が受信できるファイル形式に変換した上で送出する、ことを特徴とする請求項１記載のサーバ装置。
前記グループに含まれる端末の能力情報を受信する呼制御部を備え、前記変換部は、前記第１の端末以外の端末の能力情報が前記第１の端末の能力情報と異なる場合には、当該端末の能力情報に合うように、前記ビデオ信号を変換した上で、前記送信部を介して当該端末に送出する、ことを特徴とする請求項１記載のサーバ装置。
前記変換部は、前記送出するストリームまたはパケットの前後の時間タイミング、または、任意の時間タイミングに、
別のビデオまたは別のオーディオの少なくとも一つを挿入、
複数のビデオを合成、
文字を重畳する、
のうち少なくとも１つを行った上で、
前記コピー部で前記コピーしたストリームまたはパケットを前記送信部を介して送出する、ことを特徴とする請求項１記載のサーバ装置。
前記変換部は、前記グループに、前記ストリームの形式またはパケットの形式を受信できない端末が含まれる場合には、当該端末に対しては、当該端末が受信できるファイル形式に変換した上で送出する、ことを特徴とする請求項１記載のサーバ装置。
前記変換部は、前記グループに含まれる端末の能力情報を受信し、前記第１の端末以外の端末の能力情報が前記第１の端末の能力情報と異なる場合には、当該端末の能力情報に合うように、前記ビデオ信号を変換した上で当該端末に送出する、ことを特徴とする請求項１記載のサーバ装置。
前記変換部は、
前記送出するストリームまたはパケットの前後の時間タイミング、または、任意の時間タイミングに、
別のビデオまたは別のオーディオの少なくとも一つを挿入、
複数のビデオを合成、
文字を重畳する、
のうち少なくとも１つを行う、ことを特徴とする請求項１記載のサーバ装置。
複数の端末が参加してグループを生成し、前記複数の端末のうち第１の端末から送出された少なくともビデオ信号を含むストリームまたはパケットをサーバ装置が受信し、
前記サーバ装置は、前記受信したストリームまたはパケットの一部または全部をコピーし、前記複数の端末のうち前記第１の端末とは異なる端末に、前記コピー後のストリームまたはパケットを送出し、
前記コピー後のストリームまたはパケットを送出している途中に、新規端末が前記グループに参加した場合に、前記サーバ装置は、前記新規端末に送出する際にビデオフレームを非予測フレームに変換し、
前記非予測フレームの後に続くビデオフレームは、元のストリームまたはパケットをそのまま用いて送出する、ことを特徴とする通信方法。
前記グループに、前記ストリームの形式またはパケットの形式を受信できない端末が含まれる場合に、当該端末に対しては、当該端末が受信できるファイル形式に変換した上で送出する、ことを特徴とする請求項８記載の通信方法。
前記グループに含まれる端末の能力情報を受信し、前記第１の端末以外の端末の能力情報が前記第１の端末の能力情報と異なる場合に、当該端末の能力情報に合うように、前記ビデオ信号を変換した上で、当該端末に送出する、ことを特徴とする請求項８記載の通信方法。
前記送出するストリームまたはパケットの前後の時間タイミング、または、任意の時間タイミングに、
別のビデオまたは別のオーディオの少なくとも一つを挿入、
複数のビデオを合成、
文字を重畳する、
のうち少なくとも１つを行った上で、
前記コピーしたストリームまたはパケットを送出する、ことを特徴とする請求項８記載の通信方法。
前記グループに、前記ストリームの形式またはパケットの形式を受信できない端末が含まれる場合には、前記サーバ装置は、当該端末に対しては当該端末が受信できるファイル形式に変換した上で送出する、ことを特徴とする請求項８記載の通信方法。
前記サーバ装置は、前記グループに含まれる端末の能力情報を受信し、前記第１の端末以外の端末の能力情報が前記第１の端末の能力情報と異なる場合には、当該端末の能力情報に合うように、前記ビデオ信号を変換した上で当該端末に送出する、ことを特徴とする請求項８記載の通信方法。
前記送出するストリームまたはパケットの前後の時間タイミング、または、任意の時間タイミングに、
別のビデオまたは別のオーディオの少なくとも一つを挿入、
複数のビデオを合成、
文字を重畳する、
のうち少なくとも１つを行った上で、
前記コピーしたストリームまたはパケットを送出する、ことを特徴とする請求項８記載の通信方法。