JP2005210160A - 通信状態表示を有する映像受信端末 - Google Patents

Abstract

【課題】ベストエフォート型の通信網を利用したテレビ映像信号の受信において、画質の劣化や表示中断の原因を観察者に通知するようにした映像受信端末を提供すること。
【解決手段】映像受信端末４０の受信側装置３１でパケット損失による通信異常をＲＴＰ処理部３２で検出する。通信異常による誤りの検出を知らされた誤り処理部３４は通信状態表示部３５に表示指示を送り、通信状態表示部３５は、通信状態を表示する状態表示ランプ３８を点灯して通信異常を提示する。
【選択図】 図１

Description

本発明は、通信網を経由して映像情報を受信する情報通信端末、特に映像情報が圧縮されている場合に適用して好適な情報通信端末。

デジタル信号を伝送する通信網の高速化に伴い、通信網を介して映像信号を送受信することが可能となった。例えば、テレビ映像信号を国際標準のＭＰＥＧ−２(Motion Picture Experts Group 2)の規格に従って圧縮し、デジタル化した映像信号をＡＴＭ(Asynchronous Transfer Mode)のセルに入れ、それらセルを使ってＳＤＨ(Synchronous Digital Hierarchy)信号を構成して伝送する方法などが国際通信連盟であるＩＴＵ−Ｔ(International Telecommunication Union Telecommunication Standardization Sector)の勧告に記述されている（非特許文献参照）。

従来、テレビ映像信号の伝送においてリアルタイム性（実時間性）が求められることから、テレビ映像信号は、ＡＴＭセルやＳＤＨ信号などの送受信間において充分な接続保証が成される通信網、即ち、データ送受信の伝送帯域や品質が確保されたギャンティ型（帯域保証型）の通信網を利用して伝送されていた。そのような通信網において、時間軸上で映像のコマ欠損がない、或いは大きな遅延のばらつきがない状態でテレビ映像信号の送受信が行なわれていた。

近年のＡＤＳＬ(Asymmetrical Digital Subscriber Line)やＦＴＴＨ(Fiber to the Home)などのネットワークにおいてはベストエフォート型（通信品質非保証型）の通信網が形成されている。ベストエフォート型では、１Ｍｂｉｔ／ｓ程度或いはそれ以上の帯域を持つＩＰ(Internet Protocol)方式を低料金で利用するサービスの普及により、非常に高料金であるギャランティ型の利用に代わってテレビ映像の送受信をＩＰ方式で伝送するサービスが行なわれ始めた。

圧縮されたテレビ映像信号をＩＰ網で送受信する場合には、テレビ映像信号のスループット（帯域利用効率）とリアリティを確保するために、パケットに分割された信号をＴＣＰ(Transmission Control Protocol)/ＩＰという誤り検出時に再送してデータの信頼性を確保する方式ではなく、ＵＤＰ(User Datagram Protocol)/ＩＰという誤り再送をしないで連続的に送信する方式によって映像信号が送受信される。

ＵＤＰ/ＩＰのような信号品質を保証しないベストエフォート方式では、ギャランティ方式と異なり、データ誤りや伝送遅延に伴うパケット損失を生じることが避けられない。そのため、ＭＰＥＧ−２などの圧縮映像信号をベストエフォート方式で伝送する場合、復号テレビ映像にブロック（モザイク）状のエラーや帯状のエラー、時にはフレームそのものを表示しないようなエラーが生じることは避けられないことであった。

例えば、わが国で採用されているＮＴＳＣ(National Television System Committee)方式のテレビ映像信号は、１３．５ＭＨｚのサンプリング周波数で８ｂｉｔ／サンプルの量子化により符号化されて１０８Ｍｂｉｔ／ｓになるのであるが、ＭＰＥＧ−２などでは、この信号がフレーム内及びフレーム間圧縮によって８Ｍｂｉｔ／ｓ程度まで圧縮される。このような圧縮では１個のフレームのデータが複数のフレームに利用される部分がある。従って、伝送時にデータ誤りがあると復号時に複数のフレームにその影響が出る場合があり、影響が０．５秒程度の長さにまで及んではっきりと視覚できる映像歪みを生じることがある。

データ誤りを改善する手法として、動画信号の異常を検出したときに再送要求をすることによって伝送される信号の異常を低減する特許文献１の例や、パケット損失を検出すると再送要求を出す特許文献２の例のような方法が開示されている。しかしながら、これだけでは誤り率の低減にはなっても誤りを無くすことはできない。

一方、データ誤りがある通信網を経由した映像品質を判定する装置が例えば特許文献３に開示されている。この装置は、デコーダ（復号器）でパケット毎に伝送誤りを検出し、或いはパケット遅延を検出し、その検出結果を集計処理して画質評価をする装置である。この装置では、受信した異常なフレーム、スライス、マクロブロック、ブロックが集計演算されて評価値が求められ、同評価値が遠隔の集計コンピュータに通知される。

特開平７−３２２２４８号公報

特開２００３−２３４６２号公報 特開２０００−３４１６８８号公報 ＩＴＵ−Ｔ Ｊ．１３２(Transport of ＭＰＥＧ−２ signal in SDH networks ０３/１９９８)

復号映像の観察者が映像を鑑賞する場合、ギャランティ型であれば映像にモザイクや意図的な劣悪映像画面があった場合にそれが作成者の意図であると理解することができる。しかし、ＩＰ網のようにベストエフォート型の伝送網を介して映像信号を送受信する場合には、そのような画面の映像がオリジナルな映像なのか、転送時に生じた誤りやパケットの損失に伴う乱れを含んだ映像なのかを判別することが難しい。また、特許文献３による装置も、評価値をテレビ映像の観察者（視聴者）へ通知する配慮についての記述はない。

また、ベストエフォート型の通信網でパケット廃棄が高く、映像データが断続的にしか得られない場合には、映像信号の復号処理において映像表示を中断する処理を行なうことがある。このとき、画面に映像が出ないが、それが受信装置とテレビモニタ間の接続が確立されていないためか、断線、接続不良などの要因によるものであるのか、それとも通信劣化の映像処理の中断によるものかを判断することが従来はできなかった。

画質の劣化や中断の原因が分かるようになれば、観察者は納得してベストエフォート型による映像サービスを利用するようになり、その市場性を高めることができる。

本発明の目的は、ベストエフォート型の通信網を利用したテレビ映像信号の受信において、画質の劣化や表示中断の原因を観察者に通知するようにした映像受信端末を提供することにある。

本発明の別の目的は、映像が映らない場合において、その要因の判断を促すことが可能な映像受信端末を提供することにある。

受信した映像信号のパケットから異常を検出した場合に、再送要求や、誤り訂正処理が行なわれるが、異常の状態によっては、リアルタム性の維持に必要な０．５秒程度の遅延を超えて処理が行なわれる場合がある。ベストエフォート型通信網を経由して映像サービスを受ける映像受信端末は、このリアルタム性維持のために、例えば０．５秒程度までに誤りが完全に除去できなくても、誤りがあるままＭＰＥＧ−２の復号処理を行ない、テレビモニタに画質劣化がある受信映像を表示する。本発明は、そのような画質劣化を伴うことがある映像受信端末を対象にする。

上記目的を達成するための本発明の映像受信端末は、通信網を経て送られてくる符号化した映像信号を受信する受信手段と、映像信号を復号する復号手段と、復号した映像信号を表示する映像表示手段と、映像信号の一部が通信網を伝送中に欠損する通信異常を検出する検出手段と、通信異常が検出されたことを表示によって示す通信状態表示手段とを具備することを特徴とする。このような特徴の映像受信端末は、例えば後で詳述するように、デコーダに最終的に入力する圧縮映像信号の中に誤り（例えばパケット損失）が含まれる場合、受信部がその誤りを誤り処理部に知らせ、知らせを受けた誤り処理部が表示素子を駆動する通信状態表示部に表示指示を出し、表示指示を受けた通信状態表示部が表示素子を駆動して誤りを表示する受信端末として実現される。そのような表示により、伝送誤りに伴う映像劣化、例えばブロックエラーが生じた場合に、観察者は、ベストエフォート型通信網において止むを得ず生じたパケット損失に起因した映像劣化であることと認識することができる。

ここで、映像圧縮技術を用いた映像通信に対して通信状態表示のタイミングと継続時間について配慮されることが望ましい。ＭＰＥＧ−２などの映像圧縮では、フレーム間圧縮と呼ばれる前後のフレーム映像から予測される映像と実写したそのフレームとの差分情報のみを符号化するＢピクチャを作成することにより大幅な画像圧縮を得ている。本発明の説明のために、ＭＰＥＧ−２の再生フローに伴う遅延時間の理解が必要なのでそれについて図３を用いて説明する。

ＭＰＥＧ−２では最初に受けたＩピクチャ(1)の情報をベースにしてＰピクチャ(4)の差分情報を受けるとＰピクチャ(4)を再生する処理を行なう。また、Ｂピクチャ(2,3)の再生はＩピクチャ(1)とＰピクチャ(4)をベースにＢピクチャ(2,3)の差分情報と組み合わせて再生する。Ｐピクチャ(7)はＰピクチャ(4)をベースに再生し、Ｂピクチャ(5,6)はＰピクチャ(4)とＰピクチャ(7)をベースに再生し、Ｂピクチャ(8,9)はＰピクチャ(7)とＩピクチャ(10)をベースに再生する。

このようにＢピクチャの映像を完全に復元するためには、そのフレームよりも後にあるＰピクチャやＩピクチャの情報も必要になり、復元に０．１秒程度の時間遅延が生じる。また、実際のベストエフォート型通信網では、パケットの到達時間も考慮しておく必要がある。伝送経路でジッタと呼ばれる情報が時間で前後する現象が生じることがあるため、その到達時間差分を吸収するために情報を蓄積して前後を入れ替えるためのバッファリングが受信端末において行なわれる。そのため、バッファリング処理時間の遅延が加算される。更に、フレーム画面の圧縮においては画面構成に依存して情報量が変化するためそのばらつきを吸収して一定のレートでテレビモニタに映像信号を出力するためのバッファリングも行なわれ、その再生遅延による一層の遅延が加算される。

映像信号のパケットを受信してそれが復元映像に反映されるまでには上記のような遅延を生じることになる。その値は一般には０．２〜０．３秒程度である。０．２秒程度の時差は人間の視覚として認識することができるため、誤りを検出したときに直ちに通信状態異常を表示すると、その誤りがある映像の表示に上記時間差による時間遅れがあるため、観察者によっては、その時間遅れを不自然に感ずることがある。特に、ベストエフォート型通信において情報毎に遅延時間にばらつきあることや映像圧縮の知識がない一般の観察者には通信状態表示に疑問を感じることになる。

本発明では、更に好ましい実施形態として、映像の乱れが通信異常によるものであることを明確に認識させるために誤り表示に遅延時間の調整機能を持たせることが行なわれる。遅延の調整機能を持たせる方法としては、（１）全ての誤り検出に対して０．１秒の遅延を持たせて表示する方法、又は（２）ＩかＰかＢフレームかを識別して処理遅延時間を当て、それにバッファリングなどの凡そ０．１秒を上記の処理遅延時間に加えた遅延時間で表示する方法をとる。

（１）の０．１秒を充てる手法の特徴は、０．１秒程度では人が殆ど認識することが出ないことを利用している。実現手段として、通信状態表示部までの処理において、ソフトウェアによって検出時刻と表示時刻の間の時間制御を行ない遅延時間を処理する方法と、タイマー回路（例えばＲＣ時定数回路）と各信号検出による分離処理を組み合わせて回路的に遅延時間を持たせる手法がある。

次に、ＭＰＥＧ−２などのフレーム間圧縮では、例えば、Ｉピクチャで生じた画像乱れは次に続くＢピクチャや、Ｐピクチャにそのまま反映されて次のＩピクチャまで映像乱れが継続することになる。フレーム毎に画像が新規に変わるならば、１つのパケット損失に伴う映像の乱れは１／３０秒となり、観察者には殆ど認識されないのであるが、フレーム間圧縮を伴う場合の上記の映像乱れは、最大０．３秒程度継続する。

本発明では、更に好ましい別の実施形態として、この映像乱れの継続時間の間中に通信状態異常を表示することにより、パケット損失の通信状態表示時間と映像乱れの時間との関連を持たせることが行なわれる。このように通信状態表示の継続時間を設定することにより、一般視聴者に適格に通信状態の影響を伝えることが可能になる。

実際の継続時間の設定手法として、（１）人が認識可能な時間の平均である０．２秒の継続時間を常に持たせる手法、（２）フレームの種類（Ｉ，Ｐ，Ｂ）を判別してIフレームの場合が０．３秒、Ｐフレームの場合が０．１秒、Ｂフレームの場合が０．０７秒継続させるようにする手法がある。実現手段として、ソフトウェアによって表示回路を特定の時間継続させる手法、（２）の手法では、フレーム種類の情報をＭＰＥＧ−２の処理回路から得て、継続時間を選択する方法と、タイマー回路（例えばＲＣ時定数回路）と各信号検出による分離処理を組み合わせることによって回路的に継続時間を持たせる手法とがある。

上記目的を達成するための本発明の別の映像受信端末は、通信網が輻輳して受信したパケットの異常の頻度やパケット損失の頻度が映像を鑑賞するに堪えられない場合に、その状態を観察者の他に送信側にも通知することを特徴とする。具体的には、パケット損失が１０％以上になると視聴に耐えられないので、伝送されるパケットに付加したタイムスタンプが許容時間範囲内で検出されず、パケット損失とみなされる頻度が１秒間の平均値で１０％以上になった場合に、その状態を観察者及び送信者に通知することが行なわれる。通知により、受信映像を情報量を一層制限した、輻輳した通信網に耐えられる情報へ変更する選択、或いは受信を別の輻輳を避けた時間帯へ変更する選択が行なわれる。

次に、テレビモニタに映像が映らないとき、（１）着信状態にない、（２）着信状態であるが通信状態不良のために映像処理が中断している、（３）受信端末からテレビモニタへの信号経路が確立されていないという状況を区別することが求められる。

上記別の目的を達成するための本発明の映像受信端末は、この区別が行なわれるように、通信網を介して映像信号の送受規定に基づいて着信状態に入ったときに着信状態であること通知する表示と通信状態表示の両者を行なうことを特徴とする。この両者の状態表示を比較することにより、観察者は、着信表示がついていなければ、着信状態にない、着信状態にあるが通信状態表示が悪い表示をしていれば通信不良状態、着信状態であり、かつ、通信正常であれば受信端末からテレビモニタへの信号経路が確立されていないという状況を判断することができる。

本発明によれば、パケット損失を生じ易いベストエフォート型通信網など通信品質が充分に保証されていない通信網を経由して映像信号を再生する映像受信端末において、映像観察者が容易に映像状態を通信状態に帰着することができるようになる。従って、映像品質が劣化するときや無表示のときにＡＶ装置や映像通信端末への疑心を抱くことを避けることができる。そのため、低料金の通信網をその伝送品質に納得しながら利用することができるようになり、ベストエフォート型通信網を利用した映像サービスの市場性を高めることができる。

以下、本発明に係る映像受信端末を図面に示した幾つかの実施形態を参照して更に詳細に説明する。なお、図１、図２、図６及び図８における同一の符号は同一物又は類似物を表示するものとする。
＜実施形態１＞
本発明の第１の実施形態を図１を用いて説明する。図１に、ビデオカメラで撮影した映像信号をエンコードし、続いてベストエフォート型通信網を経由して伝送し、受信した映像信号をデコードしてテレビモニタに表示する全体システムの構成を示す。図１において、４０は、本実施形態の映像受信端末である。

ビデオカメラ１０で撮影されたアナログの映像情報は、送信側装置１１のＭＰＥＧ−２エンコーダ１２に入力され、デジタル情報に変換されてフレーム毎に符号化圧縮された後、更にＩピクチャ、Ｐピクチャ、Ｂピクチャに分けられ、フレーム間圧縮される。圧縮符号化されたＭＰＲＧ-２のデータは、ＴＳ（Transport Stream）と呼ばれるデータ符号に変換され、伝送に適した形にフォーマット化される。続いて、送信側ＲＴＰ（Realtime Transport Protocol）マッピング部１３でＵＤＰ/ＩＰのパケット列として編集されてベストエフォート型通信網２０に送信される。

このとき、送出されるパケットに順番が識別できるようにタイムスタンプが添付される。ベストエフォート型通信網２０は、線路の回線の込み具合いによりパケットの経路を変更し、或いは許容量以上になった場合にはパケットの廃棄を行なうなど、遅延時間や到達に関しては保証（ギャランティ）しない通信網である。

映像受信端末４０の受信側装置３１は、ＵＤＰ／ＩＰのパケットを受信して受信側ＲＴＰ処理部３２でＴＳ信号に復元する。その場合、タイムスタンプの番号の欠如をパケット損失として評価する。タイムスタンプの番号の検出は、前のタイムスタンプを受信して次のタイムスタンプを所定の待ち時間の間に検出することで行なわれる。所定の待ち時間として、例えば通信網の時間遅れ、受信側での信号処理のためのバッファによる遅延時間などを含め、０．１秒までが許容される。次のタイムスタンプのパケットが０．１秒後に検出されなければ、パケット損失と判断する。これらの処理は、受信したＩＰ信号の処理の中でタイムスタンプのビットを検出し、その検出時から次のタイムスタンプの検出タイマーを起動し、許容時間内に検出すれば検出時点で次の次のタイムスタンプの検出タイマー起動に更新し、検出しなければ許容時間の終了時点で次の次のタイムスタンプの検出モードに更新する。仮に、次のタイムスタンプ検出の許容時間内に早めに次の次のタイムスタンプを持ったパケットを検出しても更新せず、許容時間まで待つ。許容時間まで達したときに次のタイムスタンプを持ったパケットを検出しない場合、次の次のパケットを既に受信しているので次の次の更に次のタイムスタンプで更新することになる。このような論理処理は、受信側装置３１が有するＣＰＵ（Central Processing Unit）をソフトウェアによって動作させることにより行なわれる。当然、これらの論理処理は、論理回路（ハードウェア）によっても実現可能である。

最終的にＭＰＥＧ−２デコーダ３３に復元ＴＳ信号を入力するが、合わせて誤り処理部３４に復元ＴＳ信号に含まれる通信状態異常に伴う誤り情報、即ちパケット損失の発生を伝える。ＭＰＥＧ−２デコーダ３３は、圧縮処理された信号Ｉピクチャ、Ｐピクチャ、Ｂピクチャの復号処理を行ない、得られたアナログ映像信号をテレビモニタ３０に出力する。

誤り処理部３４は、通信状態異常が伝えられた場合に、通信状態表示部３５に異常状態の表示を指示する。指示を受けた通信状態表示３５は、観察者（視聴者）にそれが分かるように、例えば状態表示ランプ３８を点灯し、通信網からの信号に映像の異常をもたらす異常があったことを知らせる。

観察者は、テレビモニタ３０に映像の異常を見たときに同時に通信状態表示の状態表示ランプ３８が異常を示していることを見れば、映像の乱れはベストエフォート型通信網２０を経由した映像信号に異常があったためであると認識することになる。

一般的には本発明の通信状態表示はベストエフォート型の通信網での必要性が高いものであるが、それ以外の通信網においても映像の乱れが通信網を経由した情報の異常に由来するものであることの認識が必要な場合に役立つものである。

なお、本実施形態では、映像信号がパケットによって送られ、パケットの損失を通信異常としたが、本発明は映像信号をパケットによって伝送することに限定されるものではなく、映像信号が他の信号形式で送られても良く、より一般化して映像信号の一部が通信網を伝送中に欠損することを通信異常とすることが可能である。
＜実施形態２＞
本発明の第２の実施形態を図２及び図３を用いて説明する。図２は、図１の受信側装置３１に通信状態の表示を映像表示の時間に合わせる機能を持たせて、観察者に違和感を感じさせないようにした映像受信端末の機能ブロック図である。また、図３は、ＭＰＥＧ−２の映像フレーム構成と映像再生のためのＩ、Ｐ、Ｂピクチャの関係を示した再生フロー図である。受信側ＲＴＰ処理部３２は通信網からのテレビ映像ＵＤＰ/ＩＰ信号２１を受信してＲＴＰ処理を行なうと共に、パケット損失の検出を行なう。更に、受信側ＲＴＰ処理部３２は、ＲＴＰ処理を行なった映像信号に対してＭＰＥＧ−２/ＴＳ処理を行ない、Ｉ、Ｐ、Ｂピクチャ信号をＭＰＥＧ−２デコーダ３３に出力する。デコーダ３３は、入力したＩ、Ｐ、Ｂピクチャ信号をＩ、Ｐ、Ｂピクチャ信号蓄積部３３１に記憶する。蓄積部３３１は、ジッタとよばれるパケット到達順の入れ替わり等を吸収してタイムスタンプ順に直し、ジッタのなくなったＩ、Ｐ、Ｂピクチャ信号をＩ、Ｐ、Ｂピクチャ復号処理部３３２に送る。復号処理部３３２で復号した信号が復号映像信号Ｄ／Ａ出力部３３３に入力され、ここからアナログ映像信号が出力される。このように、ＭＰＥＧ−２デコーダ３３は、Ｉ、Ｐ、Ｂピクチャ信号蓄積部３３１、Ｉ、Ｐ、Ｂピクチャ復号処理部３３２及び復号映像信号Ｄ／Ａ出力部３３３を含んで構成される。

Ｉ、Ｐ、Ｂピクチャ復号処理部３３２は、Ｉ、Ｐ、Ｂピクチャ信号を復号して夫々の映像の時系列的なフレーム再生を行なう。その行程についてＭＰＥＧ−２の再生フローを示す図３を用いて説明する。図３中の普通線の矢印は、ＰピクチャやＢピクチャを構成すときの時系列的な参照関係を表し、太線の矢印は、Ｂピクチャをフレーム間処理を行なって構成するために、後のＰピクチャやＩピクチャ情報を参照する流れを表したものである。ＭＰＥＧ−２では最初に受けたＩピクチャ(1)の情報をベースにしてＰピクチャ(4)の差分情報を受けるとＰピクチャ(4)を再生する処理を行なう。また、Ｂピクチャ(2,3)の再生はＩピクチャ(1)とＰピクチャ(4)をベースにＢピクチャ(2,3)の差分情報と組み合わせて再生する。Ｐピクチャ(7)はＰピクチャ(4)をベースに再生し、Ｂピクチャ(5,6)はＰピクチャ(4)とＰピクチャ(7)をベースに再生、Ｂピクチャ(8,9)はＰピクチャ(7)とＩピクチャ(10)をベースに再生する。その場合Ｂピクチャの再生では前後のＩ、Ｐピクチャからの映像合成を行ない、また、ＴＳ処理後のＰ、Ｂピクチャの圧縮差分された映像データからＩと同様の映像フレームを再生するための時間調整を実施するため、調整用の時間遅延が含まれる。

さて、このようにして再生された各映像フレームは時間間隔を整えて復号映像信号Ｄ／Ａ出力部３３３に入力され、ここからアナログ映像信号が出力される。アナログ映像信号はモニタテレビ３０に出力され、観察者が再生映像として見ることになる。

このような映像復号再生において受信側ＲＴＰ処理部３２でパケット損失が検出されると、その影響がモニタテレビ３０の画面に時間遅れを伴って映像の異常として現われる。時間遅れは、ＭＰＥＧ−２デコーダ３３のＩ、Ｐ、Ｂピクチャ信号蓄積部３３１、ＭＰＥＧ−２のＩ、Ｐ、Ｂピクチャ復号処理部３３２及び復号映像信号Ｄ／Ａ出力部３３３での各処理を経ることによって生じる。また、映像の異常は、多くの場合モザイク状のパターンとなるブロックエラーや画面消失エラーである。

パケット損失の信号処理を行なうパケット処理ＣＰＵ６１は、受信側ＲＴＰ処理３２、ＭＰＥＧ−２復号による遅延時間に対応する遅延時間設定部３４１及びＭＰＥＧ−２復号による継続時間に対応する表示保持時間設定部３４２を含んで構成される。遅延時間設定部３４１及び表示保持時間設定部３４２は誤り処理部３４に備えられる。受信側ＲＴＰ処理部３２でパケット損失を検出したことを示す情報は、遅延時間設定部３４１に伝えられる。遅延時間設定部３４１は、ＭＰＥＧ−２復号再生の一連の処理における遅延時間分の時間遅れを通信状態表示に生じさせる機能を持つ。また、表示保持時間設定部３４２は、画面に異常が表示される間中、通信状態表示を継続して表示させる機能を持つ。

遅延時間設定の具体的な処理方法として簡単なのは、平均的なＭＰＥＧ−２復号再生処理の時間を掴んでおき、その時間遅延を持たせる方法である。これは、Ｉ、Ｐ、Ｂピクチャ信号蓄積部３３１とＭＰＥＧ−２のＩ、Ｐ、Ｂピクチャ復号処理部３３２における遅延時間の設定として全体で０．２秒とするものである。一般に０．０５秒以下の時差になると殆ど差を認識することができないため、認識が可能な平均的な値の０．２秒とするものである。その遅延の実現には、ＣＰＵを用いたソフトウェア処理による方法がある。

より厳密を期す手法として、Ｉ、Ｐ、Ｂピクチャ復号処理部３３２が処理の都度変わる遅延時間を検出し、それを遅延時間設定部３４１に知らせる方法がある。ＭＰＥＧ−２の再生フレームの中でパケット損失を含むフレームがＩかＰかＢピクチャでどの映像フレームになるかが決まる。従って、ＭＰＥＧ-２デコーダ３３の再生信号の処理工程においてパケット損失を反映した信号が各映像フレームの復号に対応するように、ＭＰＥＧ−２のＩ，Ｐ，Ｂフレーム復号処理部３３２の処理が終了するまでパケット損失を反映した信号を付随させ、どのフレームにパケット損失が影響しているかを検出する。そして、パケット処理ＣＰＵ６１の遅延時間設定部３４１と表示保持時間設定３４２に検出結果を通知する。

遅延時間設定部３４１は、遅延時間を夫々のフレームで調整することにより厳密に遅延時間を設定する。それにより、通信状態表示と映像表示の開始時間を一致させることが可能になる。遅延時間設定部３４１の処理をソフトウェアによって行なうことにより、更にその他の遅延要素なども加味することができる。遅延時間設定３４１は、設定した遅延時間だけ遅れを持つ点灯指示信号を通信状態表示部３５に送る。点灯指示信号を入力した表示部３５は、モニタテレビ３０の再生映像にほぼ合わせたタイミングで通信状態の表示ランプ３８に異常を表示することができる。

次に、表示保持時間設定３４２は、遅延時間設定３４１及びＩ、Ｐ、Ｂピクチャ復号処理部３３２からの情報を入力し、パケット損失が影響して乱れている映像がモニタテレビ３０で再生されている間中、状態表示ランプ３８の点灯を継続させる。

この継続時間の設定として、平均的なＭＰＥＧ−２のパケット損失の反映時間である０．１秒程度を設定しておく手法が考えられる。また、より厳密を期す手法として、ＭＰＥＧ−２の再生フレームの中でパケット損失を含むフレームがＩかＰかＢピクチャでどの映像フレームに当たるかの情報を表示保持回路３４２に入力し、点灯保持時間を夫々のフレーム、例えば、Ｉピクチャのフレームならば０．３秒、Ｐピクチャのフレームならば０．２秒、Ｂピクチャのフレームならば０．０３３秒に設定する手法がある。そのように保持時間を設定することにより、映像と通信状態の表示の時間を合わせることが可能になる。なお、表示保持時間設定３４２は、表示がより確認しやすいように保持時間を長く設定することもソフトウェアにより可能である。

図４を用いて、本発明に基づく通信状態の再生遅延及び継続時間について説明する。図４の(ａ)にはテレビ映像の表示、図４の（ｂ）に通信状態の表示の例を示している。受信側でパケット損失の発生を検出しても図４の（ａ）のテレビ映像は、ＭＰＥＧ−２の復号、再生処理に起因した遅延があるためパケット損失がない前の受信映像が観察される。このとき創作的なモザイクのような送信側での映像劣化風の映像を観察しても観察者はそれが通信異常に伴うものではないことが分かる。パケット損失が発生してから以降のＭＰＥＧ−２の復号、再生処理が終了して図４の（ａ）のテレビ映像にパケット損失に起因したブロックエラーが見られたときに、そのタイミングを合わせて図４の（ｂ）通信状態表示で異常を表すランプが点灯する。それにより、観察者は、ブロックエラーが通信異常に起因するものであることを認識することができる。ＭＰＥＧ−２ではフレーム間圧縮が行なわれるために復号においてそのエラー状態が継続することがあり、それに連動して図４の（ｂ）の通信状態表示が異常を表示していると、観察者は図４の（ａ）のテレビ映像の劣化が通信異常に起因しているものであると認識することになる。

参考として、復号、再生映像の遅延、継続を考慮しない場合の通信状態表示の例を図５に示す。この場合は、パケット損失を検出した時点で図５の（ｂ）の通信状態表示が異常を表すランプが点灯するが、図５の（ａ）のテレビ映像には本来意図された創作的なモザイクがあるとそれを通信異常による劣化と誤認する。ＭＰＥＧ−２の復号、再生処理後に図５の（ａ）のテレビ映像にパケット損失に伴うブロックエラー現れた時点では通信状態表示の異常点灯は保持されていないので消灯している。そのためにブロックエラーを意図された創作的モザイクと誤解する。更に、ブロックエラーが継続しても図５の（ｂ）の通信状態表示が消灯しているため、一層ブロックエラーを創作的なものと勘違いすることになる。

本発明を適用することにより、データ圧縮した映像を比較的伝送品質が悪いベストエフォート型通信網を介して受信するとき、復号、再生する受信側の装置が通信状態表示をパケット損失による映像劣化とタイミングを合わせることができるので、観察者は適格に映像劣化の要因を把握、判断することができるようになる。
＜実施例３＞
本発明の第３の実施形態を図６及び図７を用いて説明する。本実施形態の映像受信端末は、第２の実施形態に対して更に許容パケット損失状態判定部を設け、通信状態異常が強い場合にモニタテレビに通信状態が悪いことを知らせるスーパーインポーズの挿入機能を持たせたもので、図６はその機能ブロック図である。図７は、通信異常を知らせるスーパーインポーズの一例で、画面に”現在大変に通信状態が悪く映像が乱れています”が表示されている。

図６に示した映像受信端末が実行する、通信異常表示をスーパーインポーズする処理の流れについて説明する。受信側ＲＴＰ処理部３２は、パケット損失を検出するとその情報を誤り処理部３４に備える許容パケット損失状態判定部３４４に入力する。許容パケット損失判定部３４４は、パケット損失を集計してその頻度を割り出す。例えば、ＭＰＥＧ−２では１％のパケット損失頻度であると１秒間３回程度の映像画面にエラーが観測される。この状態は映像が何を表しているが判別できるが、かなり見苦しい状況である。１０％になると映像画面のカットが入るような状況で映像飛びが生じ、もはや何を表しているのか判断に苦しむようになる。そこで、一例として１％以上のパケット損失の頻度となった場合に、許容パケット損失状態判定部３４４は、テレビモニタ３０にスーパーインポーズが表示させると共に、状態表示ランプ３８に通信状態強異状の表示を行なわせる指示を誤り処理部３４に備える強異状表示指示部３４５に送る。本実施形態ではスーパーインポーズと強異状表示の両者としているが、片方でも、或いは音声などの別の通知手段でも観察者に通知することは可能である。

指示を受けた強異状表示指示部３４５は、通信状態悪化を示す文字列を挿入する文字列挿入部３３４にテレビモニタ３０へのスーパーインポーズ指示を送り、合わせて、通信状態表示部３５に表示ランプ３８への強異状表示指示を送る。

スーパーインポーズの表現は、観察者に映像品質が通信状態の悪化で見難い状態にあることを通知するもので、表現を厳密に規定するものではない。一般のテレビ放送において電波の受信障害が地域で発生したとき”現在、地域によっては大変に電波の状態が悪く映像が乱れています”のようなスーパーインポーズが表示されることがあるが、本発明は放送局で人為的に挿入するのではなく、個々の受信端末で判断して自動的に表示するものである。また、通信状態強異状の表示は、通信状態表示ランプの色を変えるとか、表示を連続点灯にするなどによって通常の表示と区別する。

許容パケット損失状態判定部３４４における判定は瞬時的なものではなく、例えば５秒間の受信での判定などとし、また、スーパーインポーズの表示もゆっくりと観察者が表示を認識できるように例えば最低５秒間は継続するものである。これらの表示により観察者は通信状態が映像再生に適した状態にないことを知り、他の通信手法に切り替えたり、別の時間帯に受信することを試みる判断ができる。

更に、送信側へＴＣＰ／ＩＰ信号を送信する通知受信映像信号異常通知部３２１を設け、許容パケット損失状態判定部３４４で許容以上のパケット損失状態であると判定した場合に、許容パケット損失状態判定部３４４から受信映像信号異常通知部３２１に送信の指示を出す。指示を受けた受信映像信号異常通知部３２１は、受信映像信号状態の異常を通知するＴＣＰ／ＩＰ信号２２を送信側に送出する。これにより送信側では受信側の状態が把握することができるため、受信側観察者との状態共有ができ、例えば時間をシフトさせる、通信手段を変更するなどの対応が容易にできる。
＜実施例４＞
本発明の第４の実施形態を図８を用いて説明する。本実施形態の映像受信端末は、送信側装置１１からベストエフォート型通信網２０を介して受信側装置３１に映像信号を送信する場合の接続確立と着信表示を行なうようにしたもので、図８はその機能ブロック図である。

送信側装置１１は、最初に受信側装置３１との接続を確立するために接続制御回路（ＴＣＰ／ＩＰ）１５で接続確立用の信号を送信制御回路１４を介して送信する。受信側装置３１では接続用信号を受信制御回路３６で受信すると接続制御回路（ＴＣＰ／ＩＰ）／着信表示部３７に通知して、送信装置１５に接続確立可能の信号を返信する。これらの接続制御確立信号がＴＣＰ／ＩＰ信号であるのでパケット損失がベストエフォート型通信網２０において生じても、信号が確実に送信側に届くまで再送される。

接続制御回路（ＴＣＰ／ＩＰ）／着信表示３７は、接続が確立されたと判断すると着信表示ランプ３７１を点灯するなどして受信端末が映像信号の受信状態に入ったことを表示する。映像信号の受信状態では受信側ＲＴＰ処理部３２が機能し、誤り検出状態のときに受信側ＲＴＰ処理部３２から誤り処理部３４に、更に誤り処理部３４から通信状態表示部３５に通信状態表示の通知が送られ、通信異常を表す通信状態表示ランプ３５１が点灯する。

パケット損失が頻繁になると、ＭＰＥＧ−２デコーダ３３では映像復号再生処理を中断してテレビモニタ３０に映像が表示されない場合がある。観察者は受信映像がテレビモニタに映っているときには問題を感じないが、映るべき映像が映らないときには状態把握に苦慮するところであるが、着信表示、通信状態表示があることにより、以下の判断が可能になる。

即ち、（１）着信表示のランプ３７１が点灯していないときには着信状態になく、送受信間の接続が確立されていない。（２）着信ランプ３７１が点いているが通信状態異常を告げるランプ表示３８が点いていないときには受信側装置３１とテレビモニタ３０をつなぐ信号経路が正常に確立されていない。（３）着信表示ランプ３７１が点灯して通信状態異常を告げるランプ表示があるときには通信異常により映像処理を中断している。これらの判断が可能となることによりベストエフォート型通信網２０を介した映像信号受信において観察者に納得の得られる映像サービスを提供することができる。

本発明に係る映像受信端末の第１の実施形態を説明するためのブロック図。 本発明の第２の実施形態を説明するための機能ブロック図。 ＭＰＥＧ−２による映像フレームの再生を説明するためのフロー図。 本発明を適用した場合の通信状態表示と再生映像の関係を示す図。 本発明を適用した場合の通信状態表示と再生映像の関係を示す参考図。 本発明の第３の実施形態を説明するための機能ブロック図。 通信異常を知らせるスーパーインポーズの例を示す図。 本発明の第４の実施形態を説明するための機能ブロック図。

符号の説明

１…観察者（視聴者）、１０…ビデオカメラ、１１…送信側装置、１２…ＭＰＥＧ−２エンコーダ、１３…送信側ＲＴＰマッピング部、１４…送信制御回路、１５…接続制御回路（ＴＣＰ／ＩＰ）、２０…ベストエフォート型通信網、２１…テレビ映像ＵＤＰ/ＩＰ信号、２２…受信映像信号状態異常通知ＴＣＰ／ＩＰ信号、３０…テレビモニタ、３１…受信側装置、３２…受信側ＲＴＰ処理部、３３…ＭＰＥＧ−２デコーダ、３４…誤り処理部、３５…通信状態表示部、３６…受信制御回路、３７…接続制御回路（ＴＣＰ／ＩＰ）／着信表示部、３８…状態表示ランプ、４０…映像受信端末、６１…パケット処理ＣＰＵ、３２１…受信映像信号異常通知部、３３１…Ｉ、Ｐ、Ｂピクチャ信号蓄積部、３３２…ＭＰＥＧ−２のＩ，Ｐ，Ｂピクチャ復号処理部、３３３…復号映像信号Ｄ／Ａ出力部、３３４…文字列挿入部、３４１…遅延時間設定部、３４２…表示保持時間設定部、３４４…許容パケット損失状態判定部、３４５…強異状表示指示部、３７１…着信表示ランプ。

Claims (6)

1. 通信網を経て送られてくる符号化した映像信号を受信する受信手段と、上記映像信号を復号する復号手段と、復号した映像信号を表示する映像表示手段と、上記映像信号の一部が上記通信網を伝送中に欠損する通信異常を検出する検出手段と、上記通信異常が検出されたことを表示によって示す通信状態表示手段とを具備することを特徴とする映像受信端末。
2. 上記映像信号は、圧縮して符号化されてからパケットを用いて送信され、上記検出手段は、上記パケットの損失から上記通信異常を検出することを特徴とする請求項１に記載の映像受信端末。
3. 上記通信異常によって現われる映像の乱れを上記映像表示手段が表示する表示の開始時間と、上記通信状態表示手段が上記通信異常が検出されたことを示す表示の開始時間とをほぼ一致させる遅延時間設定手段を更に具備することを特徴とする請求項１に記載の映像受信端末。
4. 上記通信異常によって現われる映像の乱れを上記映像表示手段が表示する時間の長さと、上記通信状態表示手段が上記通信異常が検出されたことを示す時間の長さとをほぼ一致させる表示保持時間設定手段を更に具備することを特徴とする請求項３に記載の映像受信端末。
5. 通信網を経て送られてくる符号化した映像信号を受信する受信手段と、上記映像信号を復号する復号手段と、復号した映像信号を表示する映像表示手段と、上記映像信号の一部が上記通信網を伝送中に欠損する通信異常を検出する検出手段とを具備し、上記映像信号の欠損の割合が所定値以上となる通信異常が強異常として検出されたときに、上記映像表示手段によって表示される映像に上記強異常を表す文字列をスーパーインポーズするか、上記強異常が検出されたことを表示又は音声によって通知するかの少なくともいずれかが実行されることを特徴とする映像受信端末。
6. 通信網を経て送られてくる符号化した映像信号を受信する受信手段と、上記映像信号を復号する復号手段と、復号した映像信号を表示する映像表示手段と、上記映像信号の一部が上記通信網を伝送中に欠損する通信異常を検出する検出手段、上記通信異常が検出されたことを表示によって示す通信状態表示手段と、上記映像信号の送信側装置との間で接続の確立を行なう接続確立手段と、接続が確立したことを表示によって示す着信表示手段とを具備することを特徴とする映像受信端末。

Images