JP2008527936A - チャネルによって引き起こされる歪みを推定する方法及び装置 - Google Patents

Abstract

チャネルによって引き起こされる歪みを推定する方法及び装置を提供する。インター符号化画像の歪みを推定する方法は、先行平均チャネル歪みをスケーリング係数で乗算したものとして、インター符号化画像の受信インター符号化マクロブロックの平均チャネル歪みを算出する工程（４４０）を含む。

Description

関連出願への相互参照

本出願は、その内容全体を本明細書及び特許請求の範囲に援用する、「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＥＳＴＩＭＡＴＩＮＧ ＣＨＡＮＮＥＬ ＩＮＤＵＣＥＤ ＤＩＳＴＯＲＴＩＯＮ」と題する２００５年１月１８日付出願の米国仮出願番号６０／６４４，７８７（代理人整理番号ＰＵ０５０００１１）の利益を主張するものである。

本発明は、一般にデータ通信に関し、特に、チャネルによって引き起こされる歪みを推定する方法及び装置に関する。

ネットワーク化されたビデオ・アプリケーション（例えば、ビデオ・ストリーミングやビデオ電話通信）のユーザによって受信されるビデオは、元のビデオと異なる。こうした差異すなわち歪みは、例えば、ビデオ符号器において施される量子化、並びに伝送中のビット誤り及びパケット喪失によって生じ、「チャネルによって引き起こされる歪み」（又は、手短に「チャネル歪み」）と表され、多くの要因（例えば、チャネル誤り、符号器において施される誤り耐性機能、復号器で用いられる誤り隠蔽手法や、下にある系列の動き及びテクスチャのコンテンツを含む）に依存する。チャネルによって引き起こされる歪みの正確な推定によって、ビデオ・サービス・プロバイダが、ソース符号器、チャネル符号器やその他の伝送誤り制御機構の動作パラメータを最適に選択して、特定のチャネル帯域幅に対する受信ビデオ品質を最大にすることが可能になる。

従来技術では、空間時間誤り伝播挙動を漏れフィルタとしてモデリングすることにより、チャネルによって引き起こされる平均歪みをパケット喪失レート及びイントラ・レートに関係付ける解析モデルが開発されている。しかし、物理的な意味をモデル・パラメータに結びつけることは、問題がない訳でない。

又、従来技術では、画素それぞれにおける元の値と復号化値との間の期待される差を再帰的に算出する、いわゆるＲＯＰＥ（画素毎の最適な再帰的推定）手法が知られている。
最小の歪みにつながるモードを符号器が選ぶことが可能であるように、ＲＯＰＥ手法を用いて、別々の符号化モード（インター対イントラ）を用いた新たなマクロブロックに期待される歪みを算出することが可能である。しかし、ＲＯＰＥ手法は、特定のチャネル損失レートの場合に、実際の符号化前の平均イントラ・レートを求めることに適用可能でない。更に、ＲＯＰＥ手法は、計算集約的でもある。又、ＲＯＰＥ手法は、時間予測に符号器が、整数の動きベクトルのみを用いる場合、及び、現行フレームの喪失ブロックについて、先行する再構成フレームにおいて一緒に配置されたブロックを複製する単純な誤り隠蔽手法を用いる場合にのみ、適用可能である。

更に従来技術では、現行フレームにおける、チャネルによって引き起こされる歪みを、先行フレームにおける、チャネルによって引き起こされる歪みと関係付ける、フレーム・レベルの再帰公式（以下、「従来のフレーム・レベルの再帰公式」）が開発されている。しかし、このモデルは、現行フレームの喪失ブロックについて、先行する再構成フレームにおいて一緒に配置されたブロックを複製する単純な誤り隠蔽手法にのみ適用可能である。

前述の従来技術は全て、時間的インター予測のみによる誤り伝播を考慮している。更に、大半の従来技術手法は、時間予測及び隠蔽に、非整数の動き補償を考慮に入れておらず、デブロッキング・フィルタリングの効果も考慮していない。

空間イントラ予測及びデブロッキング・フィルタリングは、最新のＨ．２６４ビデオ符号化標準の２つの新機能であり、先行標準に対して符号化効率をかなり向上させるものである。

したがって、従来技術の前述の制約を解決する、チャネルによって引き起こされる歪みを推定する方法及び装置を有することが、望ましく、非常に効果的である。

従来技術の前述並びにその他の欠点及び不利点は、チャネルによって引き起こされる歪みを推定する方法と装置に関する本発明によって解決される。

本発明の一局面によれば、インター符号化画像の歪みを推定する方法が提供される。この方法は、スケーリング係数で乗算される先行平均チャネル歪みとして、受信インター符号化マクロブロックの平均チャネル歪みを算出する工程を含む。

本発明の別の局面によれば、Ｐフレームの歪みを推定する方法が提供される。この方法は、イントラ符号化マクロブロックが、制約されないイントラ予測を用いて符号化される場合に、スケーリング係数で乗算される先行フレーム平均チャネル歪みとして、Ｐフレームにおける受信された、イントラ符号化マクロブロックの平均チャネル歪みを計算する工程を含む。

本発明の更に別の局面によれば、現在のビデオ画像の歪みを推定する方法が提供される。この方法は、平均隠蔽歪みと、先行ビデオ画像からの伝播歪みとの和として、喪失し、動き補償時間誤り隠蔽手法を用いて隠蔽された現在のビデオ画像のマクロブロックの平均チャネル歪みを算出する工程を含む。伝播歪みは先行ビデオ画像の平均チャネル歪みをスケーリング係数で乗算したものとして算出される。

本発明の更なる局面によれば、インター符号化画像の平均隠蔽歪みを求める方法が提供される。この方法は、インター符号化画像における他のフレーム及び他のマクロブロックにおける伝送損失がない場合に、インター符号化画像における特定のマクロブロックの隠蔽歪みを特定のマクロブロックのチャネル歪みとして定義する工程を含む。この方法は、
選択されたマクロブロックを、喪失したものとして設定し、復号器誤り隠蔽手法を用いて、選択されたマクロブロックを隠蔽することによって、インター符号化画像における選択されたマクロブロックの隠蔽歪みを推定する工程も含む。この方法は、インター符号化画像における他の選択されたマクロブロックの推定工程を繰り返す工程を更に含む。更に、この方法は、インター符号化画像における選択されたマクロブロックの推定隠蔽歪みに基づいて、インター符号化画像におけるマクロブロックの平均隠蔽歪みを算出する工程を含む。

本発明の更に別の局面によれば、ピクチャ群（ＧＯＰ）の平均隠蔽歪みを求める方法が提供される。この方法は、選択されたマクロブロックを喪失したものとして設定し、復号器誤り隠蔽手法を用いて、選択されたマクロブロックを隠蔽することによって、ＧＯＰ内の選択されたインター符号化画像における選択されたマクロブロックの隠蔽歪みを推定する工程を含む。この方法は、ＧＯＰ内の選択されたインター符号化画像及び他の選択されたインター符号化画像における他の選択されたマクロブロックの推定工程を繰り返す工程も含む。この方法は、ＧＯＰ内の選択されたインター符号化画像における選択されたマクロブロックの推定隠蔽歪みに基づくＧＯＰの平均隠蔽歪みを算出する工程を更に含む。

本発明の更なる局面では、ピクチャ系列の平均隠蔽歪みを求める方法が提供される。この方法は、選択されたマクロブロックを喪失したものとして設定し、復号器誤り隠蔽手法を用いて、選択されたマクロブロックを隠蔽することによって、ピクチャ系列内の選択されたインター符号化画像における選択されたマクロブロックの隠蔽歪みを推定する工程を含む。この方法は、ピクチャ系列内の選択されたインター符号化画像及び他の選択されたインター符号化画像における他の選択されたマクロブロックの推定工程を繰り返す工程も含む。この方法は、ピクチャ系列内の選択されたインター符号化画像における選択されたマクロブロックの推定隠蔽歪みに基づいて、ピクチャ系列内のインター符号化画像の平均隠蔽歪みを算出する工程を更に含む。

本発明の前述並びにその他の局面、特徴及び利点は、添付図面と関連して読むこととする、例示的な実施例の以下の詳細な説明から明らかになる。

本発明は、例示的な図によってより深く理解することができる。

本発明は、チャネルによって引き起こされる歪みを推定する方法及び装置に関する。好都合には、本発明はインター予測及びイントラ予測の使用、並びにデブロッキング・フィルタリングの使用を考慮に入れるよう構成することができる。更に、本発明は、非整数の動きベクトルを用いた符号器動き補償及び動き補償時間隠蔽の影響を考慮するよう構成することができる。

本明細書は、本発明の原理を例証する。よって、本明細書及び特許請求の範囲において明確に記載されていないか又は示されていないが、本発明の原則を実施し、その趣旨及び範囲内に含まれる種々の構成を当業者が考え出すことができることが認識されよう。

本明細書及び特許請求の範囲記載の例及び条件付き言い回しは全て、教示の目的で、本発明の原則、及び当該技術分野を進展させるために本願発明者が貢献する概念の理解を支援することが意図されており、前述の特に記載された例及び条件に限定されないと解されるものとする。

更に、本発明の原則、局面及び実施例を記載した本明細書及び特許請求の範囲における全ての提示、及びその特定の例は、その構造的均等物及び機能的均等物を包含することが意図されている。更に、前述の均等物が、現在知られている均等物、及び将来開発される均等物（すなわち、構造にかかわらず同じ機能を行う、開発される何れかの構成要素）を含むことが意図されている。

よって、例えば、本発明の原則を実施する例証的な回路の概念図を本明細書記載のブロック図が表していることが当業者によって認識されるであろう。同様に、どのフローチャート、フロー図、状態遷移図、疑似コード等も、コンピュータ読み取り可能な媒体において実質的に表すことができ、よって、コンピュータ又はプロセッサによって実行することができる種々の処理を、前述のコンピュータ又はプロセッサが明示されているか否かにかかわらず、表すことが認識されるであろう。

図に示す種々の構成要素の機能は、専用ハードウェア、及び、適切なソフトウェアと関係してソフトウェアを実行することができるハードウェアによって提供することができる。プロセッサによって提供される場合、機能は単一の専用プロセッサによって、単一の共有プロセッサによって、又は、一部が共有され得る個々の複数のプロセッサによって提供することができる。更に、「プロセッサ」又は「コントローラ」の語を明示的に用いていることは、ソフトウェアを実行することができるハードウェアを排他的に表すものと解されないこととし、暗黙的には、限定なしで、デジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するリードオンリー・メモリ（「ＲＯＭ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）、及び不揮発性記憶装置を含み得る。

通常及び／又はカスタムにかかわらず、他のハードウェアも含み得る。同様に、図に示すスイッチは何れも、単に概念的なものである。前述の機能は、プログラム・ロジックの動作によって、専用ロジックによって、プログラム制御及び専用ロジックの相互作用によって、又は手作業で行うことができ、特定の手法は、環境からより具体的に理解されるものとして実現者によって選択可能である。

本願の特許請求の範囲では、規定された機能を実行する手段として表されるいかなる構成要素も、例えば、ａ）その機能を実行する回路要素の組合せや、ｂ）機能を実行するために、ソフトウェアを実行するのに適切な回路と組み合わせた、何れかの形態のソフトウェア（したがって、ファームウェア、マイクロコード等を含む）を含む機能を行ういかなるやり方も包含することが意図されている。前述の特許請求の範囲記載の本発明は、記載された種々の手段によって提供される機能が、特許請求の範囲によって請求されるかたちで組み合わせられ、まとめられるということにある。よって、前述の機能を提供可能ないかなる手段も本明細書記載の機能に均等であるものとする。

本発明の原則によって、パケット喪失によって生じる歪みを推定する装置及び方法を開示する。より具体的には、数学的解析を用いて、チャネルによって引き起こされる歪みを、何れかの固定誤り隠蔽手法の場合の、パケット喪失レート、符号器イントラ・レート（イントラ符号化されたブロック及びフレームの周波数）と関係付ける新たな数学的再帰公式が導き出されている。各公式は、１種類の符号器及び復号器の構成についてのものである。別々のビデオ符号器／復号器構成の再帰式に基づいて、チャネルによって引き起こされる歪みを推定する実用的な方法を本明細書に記載する。本発明の原則によれば、訓練系列に基づいて再帰式におけるパラメータを推定し、特定のビデオ系列の隠蔽歪み（喪失した符号化スライスの画素毎平均チャネル歪みである（他のスライスは全て受信されるものとする））を推定する方法も開発されている。推定された隠蔽歪み及びモデル・パラメータを、特定のビデオ系列のチャネル歪み推定に用いる。

本発明の実施例の１つの考えられるアプリケーションには、ビデオ・ストリーミング・サーバの設計及び動作がある。サーバは、クロスパケット・チャネル符号化を符号化ビット・ストリームに施すビデオ符号器及びチャネル符号器を含む。ビデオ符号器は、量子化パラメータ（ＱＰ）、イントラ・レートβ（Ｐフレーム内のマクロブロック（ＭＢ）がイントラ・モードで符号化される頻度）、周期的なＩフレーム間の間隔、Ｎ、及びスライス構造を異ならせることが可能である。前述の最後のもの（すなわち、スライス構造）は、一ビデオ・フレームのデータが場合によっては２つ以上の符号化スライスに分けられるパターンを表す。例えば、一フレームのデータは全て、一スライスに入れることが可能であるか、又は、フレームの交互のＭＢ（マクロブロック）又は交互の行を２つの別個のスライスに入れることが可能である。チャネル符号器は、チャネル符号化レートｒを異ならせることが可能である。一ビデオ・ファイルのストリーミングに割り当てられる合計帯域幅（Ｒ_ｔによって表す）が提供されると仮定する。ここで、平均チャネル・パケット喪失レートは

によって表す。設計上の課題は、合計送信ビット・レートＲ_ｅ／ｒ＜＝Ｒ_ｔであるという制約下で受信ビデオ歪みが最小にされるように、ＱＰ、β、Ｎ、スライス構造及びｒによって最適動作パラメータを求めることである。この課題は、本発明の原理によって、チャネル歪み推定手段を、符号器歪み・レート推定手段、及びチャネル符号化／復号化シミュレータとともに用いて解決することが可能である。

図１に移れば、受信ビデオ歪みを最小にするための最適動作パラメータを求める装置は、参照番号１００で全体を示す。装置１００は、チャネル符号化／復号化シミュレータ１１０、チャネル歪み推定手段１２０、並びに、符号器レート及び歪み推定手段１３０を含む。チャネル符号化／復号化シミュレータ１１０の第１の出力（ＰフレームＰの残余パケット喪失レート、及びＩフレームＰ_Ｉの残余パケット喪失レートである）は、チャネル歪み推定手段１２０の第１の入力と信号通信で接続される。チャネル歪み推定手段１２０の第１の出力（推定された平均チャネル歪みＤ_ｃである）、並びに、符号器レート及び歪み推定手段１３０の第１の出力（推定された符号器歪みＤ_ｅである）は、加算器１４０（又は、他の混合及び／若しくは合成装置）の第１の入力及び第２の入力と信号通信でそれぞれ接続される。チャネル符号化／復号化シミュレータ１１０は、チャネル符号レートｒやその他のパラメータを受信する第１の入力、及び未処理のチャネル・パケット喪失レート

を受信する第２の入力も含む。チャネル歪み推定手段１２０、並びに符号器レート及び歪み推定手段１３０各々はそれぞれ、符号器パラメータ（ＱＰ、β、Ｎ及びスライス構造）を受信する第２の入力を含み、更に各々はそれぞれ、元のビデオを受信する第３の入力を含む。加算器１４０は、以下本明細書記載の、Ｄ_ｔを出力する第１の出力を更に含む。

考えられるチャネル符号レートｒ毎に、チャネル符号化／復号化シミュレータ１１０を用いて、残余パケット喪失レートＰ（ｒ）を求めることが可能である。考えられるＱＰ、β、Ｎ及びスライス構造の組毎に、符号器レート及び歪み推定手段１３０を用いて、符号器によって引き起こされる歪みＤ_ｅ及び対応するソース・レートＲ_ｅを推定することが可能である。これによって、Ｒ_ｅ／ｒ＜＝ Ｒ_ｔを満たすｒ、ＱＰ、β及びスライス構造の実現可能な組全てがもたらされる。ｒ、ＱＰ、β、Ｎ及びスライス構造、並びに対応する残余喪失レートＰの実現可能な組毎に、新らたなチャネル歪み推定手段１２０を用いて、Ｎ個のフレームの群それぞれにわたる、チャネルによって引き起こされる平均歪みＤ_ｃを算出し、その結果、合計歪みＤ_ｔ ＝Ｄ_ｅ ＋Ｄ_ｃを算出することが可能である。別々の実現可能パラメータ組と、得られたＤ_ｔを比較することによって、フレーム群（ＧｏＦ）それぞれにわたる最小のＤ_ｔにつながる最適パラメータを求めることが可能である。

次に、本明細書及び特許請求の範囲において用いる表記及び仮定に関して説明する。

フレームｎ及び画素ｉにおける元の画素値を

とし、符号器における再構成信号を

とし、復号器における再構成信号を

とする。その差

は、チャネルによって引き起こされる誤りである。フレームｎの、チャネルによって引き起こされる平均歪みは、

と

との間の平均二乗誤り（ＭＳＥ）、すなわち

として定義する。

ここで、演算子Ｅ｛｝は、フレームにおける画素位置全てにわたる平均値を表す。

別個のスライスにおける符号化データ間に依存性がないようにフレーム内のマクロブロック（ＭＢ）がスライスにグループ化され、各スライスがそれ自身のヘッダを有しており、別個のパケット内に収容されるものと仮定する。パケット内のいかなるビットの喪失も、対応するビデオ・スライスを復号化不能にするものと更に仮定する。適切なパケット・インターリービングによって、パケット（及び、よって、スライス）の喪失事象が、喪失レートＰによる独立同分布（ｉ．ｉ．ｄ．）のランダムな過程として特徴付けることが可能であるものとも仮定する。更に、各スライスが、同数のマクロブロックを含むので、マクロブロック喪失レートがスライス喪失レートに等しいものと仮定する。

本発明によって解決される１つの課題は、連続したＰフレーム（それぞれの中で、マクロブロックはインター・モード又はイントラ・モードで符号化することができる）におけるチャネル歪みの推移である。イントラ・モードは、要するビットが少ないという理由で、又は、誤り耐性の目的で用いられる。フレームｎ内のイントラ・モードで符号化されるマクロブロックの割合は、β_ｎによって表す。

マクロブロックは、フレームｎにおいて喪失した場合、平均歪みがＤ_Ｌ，ｎで、動き補償時間隠蔽を用いて隠蔽されるものと仮定する。マクロブロックが受信された場合、その符号化モードによって、先行するフレーム又は画素における誤りによるチャネル歪みをなお有し得るものであり、対応する歪みはＤ_ＩＲ，ｎ及びＤ_ＰＲ，ｎそれぞれによって表す。フレームｎの平均チャネル歪みは、
Ｄ_ｃ，ｎ＝（１−Ｐ）（β_ｎＤ_ＩＲ，ｎ＋（１−β_ｎ）Ｄ_ＰＲ，ｎ）＋Ｐ_ＤＬ，ｎ （２）
である。

本発明は、ＰフレームのＤ_{ｃ，ｎ−１}とＤ_ｃ，ｎを関係付ける再帰公式に基づいてＤ_ｃ，ｎを推定する。
以下では、種々のオプションを用いるビデオ符号器及びビデオ復号器について導き出した再帰公式を説明し、次いで、導き出した再帰モデルに基づいて推定を行う方法、及びモデル・パラメータを推定する方法を説明する。

次に、本発明の原理を適用することができる第１の例証的なケースに関して説明する。第１のケースには、イントラ予測及びデブロッキング・フィルタリングなしで、インター予測及び時間隠蔽（非整数の動きベクトルを備える）を用いることが関係する。

この第１のケースでは、受信イントラ・モードＭＢ（Ｉ‐ＭＢ）の場合、チャネル歪みはない（すなわち、Ｄ_ＩＲ，ｎ ＝ ０である）。インター・モードＭＢ（Ｐ‐ＭＢ）の場合、受信されても、その再構成は先行フレームにおける誤りによるチャネル歪みを有し得る。非整数の動きベクトルを用いた動き補償を行う場合に通常施される内挿処理を考慮に入れるために、画素

が、

によって表す、フレームｎ−１におけるいくつかの近傍画素の加重和によって予測されるものと仮定する。ここで、ｊ_ｌ（ｉ）は、

の予測に用いられた、フレームｎ−１におけるｌ番目の画素の空間係数を表す。この式は、Ｈ．２６３コーデックにおいて用いられる、重複（オーバラップ）ブロック動き補償（ＯＢＭＣ）にも適用可能である。内挿係数ａ_ｌは、

を満たす。Ｌ_ｐ，ｐ及びａ_ｌの値は、ＭＢの動きベクトル（ＭＶ）、及び、小数画素精度での動き補償に用いる内挿フィルタに依存する。例えば、双線形フィルタでは、水平方向及び垂直方向でＭＶが半画素精度の場合、Ｌ_ｐ，ｐ＝４、ａ_ｌ＝１／４である。一方、ＭＶが一方向で半画素精度であるが、別の方向で整数画素精度の場合、Ｌ_ｐ，ｐ＝２、ａ_ｌ＝１／２である。更に、ＭＶが両方の方向で整数の場合、Ｌ_ｐ，ｐ＝１、ａ_ｌ＝１である。

受信器では、予測は、

に基づく。

予測誤りが正しく受信されるので、チャネルによって引き起こされる歪みは予測値の差に依存する。上記関係を用いて、受信Ｐ‐ＭＢ全ての平均チャネル歪みを数学的に導き出すことが可能である。

ここで、ａ_ｌは動き補償時間予測に用いる内挿フィルタ係数（用いる実際の動きベクトルに依存する）であり、ρは、２つの隣接画素における、チャネルによって引き起こされる誤り間の平均相関係数であり、Ｅ｛．｝は、特定のビデオ・カテゴリにおける代表的ビデオ系列の画素全て及びＰフレーム全ての｛．｝内の値を、対象喪失パターンの範囲で平均化する平均化演算を表す。

上記の結果への到達において、２つの近傍画素全てにおける誤り間の相関係数（ρによって表す）が同じであるものと仮定する。ρは、平均相関係数とみなし得る。パラメータａは、Ｐフレーム全てにおけるＰ‐ＭＢ全てにわたって用いられる多項式

の平均値である。

ＭＢが喪失した場合、その符号化モードに係わらず、ＭＢは、推定されたＭＶを備えた時間隠蔽を用いて隠蔽される。通常、推定されたＭＶは、非整数ベクトルであってもよく、隠蔽された値は

によって表すことが可能である。
ここで、Ｌ_ｃ，ｐ及びｋ_ｌ（ｉ）は一般に、Ｌ_ｐ，ｐ及びｊ_ｌ（ｉ）と異なる。係数ｈ_ｌは

を満たす。平均チャネル歪みは、

であり、ここで、

である。

Ｄ_{ＥＣＰ，ｎ}の項は、先行フレームからの誤り伝播がない場合の、特定の時間隠蔽アルゴリズムと関連した平均歪みを表す。上記結果を導き出すことにおいて、フレームｎにおける隠蔽誤りが、フレームｎ−１における、チャネルによって引き起こされる誤りと無相関であるものと仮定する。前述の通り、フレームｎ−１内の近傍画素における、チャネルによって引き起こされる誤りが、対単位の同じ相関係数ρを有するものとも仮定する。

式（５）、（８）、及びＤ_ＩＲ，ｎ＝０を式（２）に代入すると、

になる。

一般に、ρ＜１であるので、ａ＜１であり、ｈ＜１である。したがって、小数画素精度の動き補償予測及び隠蔽は、時間誤り伝播を減らす効果を有する。

従来のフレーム・レベルの再帰公式に関する歪みモデルは本明細書中の式（１１）と同じ形式を有するが、ｈ＝１である。隠蔽にフレーム複製が仮定されるからである。ｈが変わることを可能にすることが重要であり、新しいことは、以下、本明細書で説明する。更に、従来のフレーム・レベルの再帰公式に関しては、本発明に関して定義したものとは異なる物理的な意味を有するａの代わりに定数ｂを用いる。従来のフレーム・レベルの再帰公式に関して、動き補償時間予測は先行フレームの単一画素を用いるものとするので、係数Ｌ_ｐ，ｐ ＝１であり、及びｊ_ｌ（ｉ）は非整数画素を示し得る。

であるものと仮定する。ここで、ｂを用いて、いわゆる動きランダム性を補正する。本発明の原則によれば、上記項は、厳密で、新しく、意味のある特徴を有しており、ａは、従来技術（特に、従来のフレーム・レベルの再帰公式に関する従来技術）において考えられていないか、又は示唆されていない、非整数の動きベクトルを用いた動き補償に用いる内挿係数に明確に関係する。更に、従来のフレーム・レベルの再帰公式に関して提案されるモデルは、隠蔽歪みがフレーム差の二乗に比例する、すなわち、

であることも前提とする。この前提は、先行フレームから複製する誤り隠蔽手法にのみ有効である。Ｄ_{ＥＣＰ，ｎ}は、選択されたサンプルＭＢに対して、復号器と同じ誤り隠蔽手法を実行することによって、符号器で測定することが可能である。

次に、本発明の原理が適用することができる第２の例証的なケースに関して説明する。第２のケースはイントラ予測を用いることを伴う。

イントラ予測の場合、受信Ｐ‐ＭＢ、及び時間隠蔽を用いて隠蔽されたＭＢに関連した歪みは、上記第１のケースと同様になる。しかし、受信Ｉ‐ＭＢの場合、歪みはもはやゼロでない。インター・モードで符号化された近傍画素からＩ‐ＭＢを（直接的又は間接的に）予測することができるからである。この第２のケースを解析するために、画素

が、フレームｎにおけるいくつかの先行符号化近傍画素の加重和（

によって表す）によって予測される。
ここで、ｍ_ｉ（ｉ）は、

の予測に用いた、フレームｎのＩ番目の先行符号化画素の空間係数を表す。例えば、Ｈ．２６４標準では、イントラ予測の多くの別々のモードが存在しており、それぞれは、Ｌ_ｐ，ｉ、ｍ_ｌ（ｉ）及びｃ_ｌの別の値組につながる。それぞれのケースでは、係数ｃ_ｌは

を満たす。Ｈ．２６４標準における制約されたイントラ予測オプションの場合、イントラ・モードで先行して符号化される画素のみに、イントラ予測が許容される。

Ｉ‐ＭＢが受信された場合、復号器におけるイントラ予測値は、

である。ここで、一般に、

である。イントラ予測に用いる近傍画素全ても受信される。（インター・モード又はイントラ・モードの）受信ＭＢの平均歪みをＤ_Ｒ，ｎによって表すと、

又は

があてはまる。ここで、

である。式（１５）、（５）及び（８）を式（２）に代入すれば、この第２のケースの再帰モデルが、

として得られる。

式（１１）と比較すれば、イントラ予測の場合、受信Ｉ‐ＭＢがもはや誤り伝播を停止させないことが分かる。Ｉ‐ＭＢに関連した誤り伝播係数はｃである、ｃは、ｃ_Ｐとｃ_Ｉとの相対的な大きさによって、ａより大きいことも小さいこともあり得る。その結果、イントラ予測によって、誤り伝播を停止させるためにイントラ・モードの効果が低減する。

前述の解析は、拘束されないイントラ予測を仮定している。Ｈ．２６４の制約されたイントラ予測の場合、同じスライスにおけるイントラ符号化近傍画素のみをイントラ予測に用いることができる。したがって、ｃ_Ｐ ＝ ０であり、その結果、ｃ ＝ ０である。全体の歪みは、式（１１）によって表す第１のケースと同様になる。

次に、本発明の原理を適用することができる第３の例証的なケースに関して説明する。第３のケースは、デブロッキング・フィルタリング及びイントラ予測を用いることを伴う。

数学的に、デブロッキング処理は、

として画素

の符号化値を修正するように表すことが可能である。
ここで、

は、フィルタリング前の画素

の再構成値であり、

は、フィルタリング後の再構成値である。係数ｑ_ｌ（ｉ）は、画素ｉのフィルタリングに用いるｉ番目の近傍画素を表す。フィルタリング長Ｌ_ｄ及びフィルタリング係数ｗ_ｌは通常、場所及び内容に依存し、係数は

を満たす。

復号器では、ＭＢが受信された場合、ＭＢが復号化された後、同じフィルタリングが再構成値

に施される。ここで、フィルタリングされた値は、

である。

受信Ｐ‐ＭＢの場合、歪みは、デブロッキング・フィルタリング後の予測値間の差、すなわち、

による。ここで、

である。

受信Ｉ‐ＭＢの場合、同様な論理によれば、

であり、ここで、

である。

喪失したＭＢの場合、隠蔽後にデブロッキングが施されない場合、その歪みは式（８）と同様になるので、平均歪みは、

であり、ここで、

である。

隠蔽後にデブロッキングが施された場合、Ｄ_Ｌ，ｎ＝Ｄ_{ＥＣＰ，ｎ}＋ｗｈＤ_{ｃ，ｎ−１}になるので

であり、ここで、
ｈ’＝ｗｈ （２９）
である。

再帰式（２６）及び（２８）は、第２のケースの形式、すなわち式（１９）と同じ形式を有する。したがって、式（１９）を用いて前述のケース全てを表すことが可能である（定数ａ、ｃ及びｈは、わずかに異なる物理的な意味を有する）。

次に、本発明の原理による単純化されたモデルに関して説明する。

式（１１）及び（１９）の再帰モデルは、フレーム毎にβ_ｎ及びＤ_{ＥＣＰ，ｎ}を測定することが可能であるものと仮定する。単純化されたバージョンでは、フレームにわたる平均隠蔽歪みＤ_ＥＣＰ、及び平均イントラ・レートβのみが必要であり、式（１１）及び（１９）は、
第１のケース：

第２及び第３のケース：

それぞれになる。

次に、本明細書記載の再帰式に基づいた歪み算出に関して説明する。

図２に移れば、チャネルによって引き起こされる歪みを算出する装置は、参照番号２００で全体を示す。

装置２００は、イントラ・レート推定手段２１０、隠蔽歪み推定手段２２０及びチャネル歪み算出器２３０を含む。隠蔽歪み推定手段２２０の第１及び第２の出力は、チャネル歪み算出器２３０の第１及び第２の入力と信号通信でそれぞれ接続される。イントラ・レート推定手段２１０の第１の出力は、チャネル歪み算出器２３０の第３の入力と信号通信で接続される。イントラ・レート推定手段２１０、隠蔽歪み推定手段２２０及びチャネル歪み算出器２３０は、それぞれ、符号器パラメータ（ＱＰ、β、Ｎ及びスライス構造）を受信する第１の入力、第３の入力及び第３の入力を含む。隠蔽歪み推定手段２２０は、元のビデオ系列を受信する第４の入力、及びパケット喪失パターンを受信する第５の入力も含む。チャネル歪み算出器２３０は、モデル・パラメータ（ａ、ｃ、ｈ）を受信する第４の入力及びパケット喪失レート（Ｐ、Ｐ_ｌ）を受信する第５の入力も含む。チャネル歪み算出器２３０は、Ｄ_ｃ，ｎ及びＤ_ｃをそれぞれ出力する第１及び第２の出力も含む。

装置２００は、本明細書記載の再帰式を用いて歪みＤ_{ｃ ｎ}を算出するために用いることができる（モデル・パラメータは所与のものとする）。次に、上記第１のケースの方法について説明する。これは、動き補償時間予測及び隠蔽を用い、場合によっては、制約されたイントラ予測を用いるビデオ符号器を前提とする。しかし、それは、拘束されないイントラ予測及びループ内デブロッキング・フィルタリングを用いない。図２では、ビデオがフレーム群（ＧｏＦ）に分けられており、各ＧｏＦが別個に符号化されており、第１のフレームがＩフレームとして符号化され、Ｎ−１個の後続フレームがＰフレームとして符号化され、ここで、Ｎは選ばれた数であるものとする。

特定のビデオ系列のＧｏＦ毎の、ＱＰ、目標イントラ・レートβ及びスライス構造による符号化パラメータが与えられれば、隠蔽歪み推定手段２２０は、誤り伝播がない場合の、期待される隠蔽歪みＤ_{ＥＣＰ，ｎ}を求める。これは、以下のように行われる。指定された符号化パラメータを用いてビデオ符号器を実行して、伝送誤りのない復号化系列を生成する。次いで、フレームｎについて、可能性の高い指定された喪失パターン（バースト性分布対ランダム分布）によって、喪失対象の一スライスをランダムに設定し、このスライスにおけるＭＢ全てに対して、選ばれた誤り隠蔽アルゴリズムを、その他のスライスは全て、正しく受信されるものとして施す。平均チャネル歪みは、このスライスにおけるＭＢ全てについて求められ、このフレームにおけるランダムに選ばれた他のスライスについて繰り返される。極端な場合には、フレームにおけるスライス全てについてこの過程を繰り返すことが可能である。結果として生じる歪みの平均化によって、Ｄ_{ＥＣＰ，ｎ}が得られる。フレームにおけるＭＢ全てが一スライスに含まれる最も一般的な場合には、隠蔽実験（ビデオ符号器の一部として行うことが可能である）はフレーム毎に一度しか実行することが可能でない。同様な手順を用いて、隠蔽歪み推定手段２２０は、Ｉフレーム内のＭＢの平均隠蔽歪み（Ｄ_ＥＣＩによって表す）も推定する。この場合、空間誤り隠蔽のみが、喪失スライスに用いられる。

イントラ・レート推定手段２２０は、単に、フレーム毎の実際のイントラ・レートβ_ｎを記録し、特定の目標イントラ・レートβに対する平均イントラ・レートを計算する。

測定されたＤ_ＥＣＩ、Ｄ_{ＥＣＰ，ｎ}及びβ_ｎ、特定のモデル・パラメータａ及びｈ、並びに、Ｉフレーム及びＰフレームの特定の期待されたパケット喪失レート（Ｐ_Ｉ及びＰ）によって、チャネル歪み算出器２３０は、ＩフレームについてＤ_ｃ，０＝Ｐ_ＩＤ_ＥＣＩとみなすことによって、ｎ＝１から始めて、式（１１）を再帰的に施すことによってフレームＤ_ｃ，ｎ毎のチャネル歪みを求める。フレーム全ての歪みが求められると、チャネル歪み算出器２３０は、

を用いて、このＧｏＦにわたる平均チャネル歪みも求めることが可能である。

符号器が、デブロッキング・フィルタリングの有無にかかわらず、拘束されないイントラ予測を用いた場合、チャネル歪み算出器２３０は、モデル・パラメータａ、ｃ及びｈを必要とし、再帰的にＤ_ｃ，ｎを算出するために式（１９）を用いる。

図２は、周期的なＩフレームがＮ個のフレーム毎に引き起こされる。ビデオ電話通信及び通信会議のアプリケーションでは、低遅延制約を満たすために、周期的なＩフレームは用いられない。その場合、ビデオの第１のフレームのみがＩフレームとして符号化され、残りのフレーム全てはＰフレーム（各ＰフレームにはイントラＭＢが課される）として符号化される。この場合、第１のＩフレームは伝送レベルにおける保護によって誤りなしで配信されるものと仮定し得る。その場合、このフレームの歪みはゼロ（すなわち、Ｄ_ｃ，０ ＝ ０）である。後続フレーム全ての歪みは、符号器及び復号器の構成によって本願の再帰モデル（１１）又は（１９）を用いて推定することが可能である。

単純化されたバージョンでは、隠蔽歪み推定手段２２０は、Ｄ_{ＥＣＰ，ｎ}でなく、むしろ、それぞれのＧｏＦにわたる平均値Ｄ_ＥＣＰ を推定する。これは、ＧｏＦにおける一部のスライスを喪失対象としてランダムに設定し、前述のスライスに対して誤り隠蔽を実行し、前述の隠蔽歪みを算出し、平均をとることによって行うことができる。あるいは、元の系列又は符号化系列から算出される特定の統計に基づいてＧｏＦ毎の平均Ｄ_ＥＣＰを推定することができる。同様に、イントラ・レート推定手段２１０は、ＧｏＦ全てにわたってビデオ符号器を実行することによって、フレームβ_ｎ毎の実際のイントラ・レートを求める訳でないことがあり得る。イントラ・レート推定手段２１０は、その代わりに、元の系列から算出された特定の統計に基づいて特定の目標イントラ・レートβに対する平均イントラ・レートβを求めることができる。Ｄ_ＥＣＰ及びβが与えられれば、チャネル歪み算出器２３０は、単純化されたモデル（３０）又は（３１）及び（３２）を用いてＤ_ｃ，ｎ及びＤ_ｃを求める。

次に、モデル・パラメータの推定に関して説明する。

前述の種々のケースについて導き出されたモデルは、推定しなければならないパラメータを有する。まず、第１のケースについてパラメータａ及びｈを推定する方法を説明する。

図３に移れば、チャネル歪みモデル・パラメータ推定装置は、参照番号３００によって全体を示す。装置３００は、ビデオ符号器３１０、チャネル・シミュレータ３３０、ビデオ復号器３５０、ビデオ復号器３２０、チャネル歪みデータ収集手段３４０、隠蔽歪み推定手段３６０、及びモデル・パラメータ算出器３７０を含む。ビデオ符号器３１０及び隠蔽歪み推定手段３６０はそれぞれ、訓練ビデオ系列を受信する第１の入力を含む。ビデオ符号器３１０は、チャネル・シミュレータ３３０の第１の入力と信号通信する第１の出力、及びビデオ復号器３２０の第１の入力と信号通信する第２の出力も含む。チャネル・シミュレータ３３０は、ビデオ復号器３５０の第１の入力と信号通信する第１の出力も含む。ビデオ復号器３５０は、チャネル歪みデータ収集手段３４０の第１に入力と信号通信する第１の出力も含む。チャネル歪みデータ収集手段３４０は、ビデオ復号器３２０の第１の出力と信号通信する第２の入力、及びモデル・パラメータ算出器３７０の第１の入力と信号通信する第１の出力も含む。モデル・パラメータ算出器３７０は、ビデオ符号器３１０の第３の出力と信号通信する第２の入力、
隠蔽歪み推定手段３６０の第１の出力と信号通信する第３の入力、及び、装置３００の出力として利用可能な第１の出力を含む。

まず、訓練ビデオ系列が収集される。ここで、動き予測性の点で特性が比較的類似した特定タイプのビデオ毎の種々の訓練組が選ばれる。別々の訓練組に対して、別々のパラメータが導き出される。特定の訓練組、特定の目標イントラ・レートβ’、特定のＧｏＦ長Ｎ、特定のＱＰ及び特定のスライス構造から選ばれるビデオについて、ビデオ符号器３１０は、連続したＧｏＦのビット・ストリームを生成する。Ｐフレーム毎に、ビデオ符号器３１０は、ＭＢのうちのβ’の割合をランダムに選び、これをイントラ・モードで符号化する。残りのＭＢについては、何れのモードがより低いレートをもたらすかによって、インター・モード又はイントラ・モードを用いることができる。符号化ビデオ・フレームβ_ｎ毎の実際のイントラ・レートが記録される。ここで、β_ｎ＞＝β’である。

符号化ビット・ストリームは、固定されたパケット化手法を用いて、連続したパケットに変換される。考えられる一実現形態では、それぞれのパケットは、一スライスからのデータを含む。パケット化手段はビデオ符号器３１０の一部であるものと仮定する。元のパケット・ストリームから、ビデオ復号器３２０は、まずこれをパケット化解除ビット・ストリームに変換する。これから、チャネル誤りなしで復号化フレーム

を生成するものとする。パケット化解除手段はビデオ復号器３２０の一部であるものと仮定する。

特定のパケット喪失レートＰの場合、チャネル・シミュレータ３３０はパケット化ストリームを損なうので、平均して、パケットのうちの割合Ｐがランダムに廃棄される。ビデオ復号器３５０は、動き補償の有無にかかわらず時間誤り隠蔽を実現する選ばれた誤り隠蔽手法を用いることによって、損なわれたパケット・ストリームをパケット化解除し、損なわれたビット・ストリームから復号化ビデオ・フレーム

を生成する。ビデオ復号器３２０及びビデオ復号器３５０からの復号化フレームを比較することによって、チャネル歪みデータ収集手段３４０は、式（１）を用いて、特定チャネル・シミュレーション毎に、各フレームにおける平均チャネル歪みを計算する。チャネル・シミュレータ３３０及び復号器３５０を多数回実行し、同じフレームｎの測定チャネル歪みを平均化することによって、チャネル歪みデータ収集手段３４０は、Ｄ_ｃ，ｎ（ｎ＝１，２，．．．，Ｎ−１）を求める。

特定の系列及び符号化パラメータの場合、隠蔽歪み推定手段３６０は、隠蔽歪みＤ_ＥＣＩ及びＤ_{ＥＣＰ，ｎ}を計算する。隠蔽歪み推定手段３６０の動作は更に、本明細書において前述している。

Ｄ_ｃ，ｎ、Ｄ_ＥＣＩ、Ｄ_{ＥＣＰ，ｎ}及びβ_ｎの収集データによって、モデル・パラメータ算出器３７０は、パラメータａ及びｈを得て再帰式（１１）にフィットさせるための最小二乗フィティング手法を用いる。具体的には、

又は

である。ここで、

である。

前述の第２のケース及び第３のケースの場合、モデル・パラメータ算出器３７０は、再帰式（１９）にフィットさせるためのａ、ｃ及びｈを求める。特に、

又は

であり、ここで、

である。

式（３０）又は（３１）によって表す単純化されたモデルの場合、項Ｄ_{ＥＣＰ，ｎ}及びβ_ｎは、Ｄ_ＥＣＰ及びβそれぞれによって置き換えられる。

上記方法は、特定の喪失レート、及び、特定のビデオの特定のＧｏＦの符号化されたデータから求められる平均イントラ・レート（予め設定された目標イントラ・レートよりわずかに高い）のパラメータを導き出す。

大きな範囲のＰ及びβのパラメータを得るために、上記手順を用いてＰ及びβのいくつかの対のパラメータ組をまず得ることが可能である。結果として生じるパラメータから、内挿を行ってＰ及びβの他の値のパラメータを得ることが可能である。あるいは、別のＰ及びβから得られるパラメータの平均を用いることも可能である。あるいは、別のＰ及びβの訓練データをベクトルｙ及びＡに組み入れてパラメータを求めることが可能である。

前述の方法によって、Ｐ及びβの特定の対、又はＰ又はβの特定の範囲の特定のビデオ系列のモデル・パラメータが生成される。同様な動き特性を有する特定のビデオ・カテゴリのパラメータを得るために、特定のビデオ・カテゴリのいくつかの選択されたビデオ系列の前述のデータ収集プロセスを繰り返し、種々の系列及び種々の対（ｙ及びＡにおけるＰ及びβの）の測定データを含めることによって（３６）又は（３８）を用いてパラメータを求めることが可能である。

図４に移れば、フレーム毎にイントラ・レート及び隠蔽歪みに基づいてチャネル歪みを推定する方法は、参照番号４００によって全体を示す。

入力ブロック４０５は入力ビデオ系列、ビデオ系列のＧＯＰそれぞれの最初のＩフレームのパケット喪失レート（ＰＩ）、ビデオ系列のＧＯＰそれぞれのＰフレームのパケット喪失レート（Ｐ）、モデル・パラメータａ、ｃ及びｈを受信し、ビデオ系列からのＮ個のフレームの次のＧＯＰをフェッチし、機能ブロック４１０にコントロールを移す。機能ブロック４１０は、ｎ ＝ ０にセットして、機能ブロック４１５にコントロールを移す。機能ブロック４１５は、フレーム０の隠蔽歪みを推定し、機能ブロック４２０にコントロールを移す。機能ブロック４２０は、Ｄ_ｃ，０＝Ｐ_ＩＤ_ＥＣＩを用いてフレーム０のチャネル歪みを求め、機能ブロック４２５にコントロールを移す。機能ブロック４２５は、ｎを１増やし（ｎ ＝ ｎ＋１）、機能ブロック４３０にコントロールを移す。機能ブロック４３０は、Ｄ_{ｃ，ｎ−１}＝Ｄ_ｃ，ｎにセットして、機能ブロック４３５にコントロールを移す。機能ブロック４３５は、フレームｎのイントラ・レート及び隠蔽歪みを推定し、機能ブロック４４０にコントロールを移す。機能ブロック４４０は、式１１又は式１９を用いてフレームｎのチャネル歪みを求める。方法４００が用いられる符号器が、イントラ予測を用いないか、又は、制約されたイントラ予測のみを用いる場合、式１１を用いる。方法４００が用いられる符号器が、制約されないイントラ予測を用いる場合、式１９を用いる。機能ブロック４４０は次いで、決定ブロック４４５にコントロールを移す。決定ブロック４４５は、ｎ≧Ｎ−１であるか否かを決定する。ｎ＜Ｎ−１である場合、コントロールは機能ブロック４２５に戻される。さもなければ、ｎ≧Ｎ−１である場合、コントロールは機能ブロック４５０に移される。機能ブロック４５０は、式３２を用いてフレーム全ての平均チャネル歪みを求め、出力ブロック４５５にコントロールを移し、更に機能ブロック４０５に戻ってＮ個のフレームの次ＧＯＰをフェッチする。出力ブロック４５５は、ＧＯＰの推定された平均チャネル歪みＤ_ｃを出力する。

図５に移れば、ビデオ系列のピクチャ群それぞれの平均イントラ・レート及び隠蔽歪みに基づいてチャネル歪みを推定する方法は、参照番号５００によって全体を示す。

入力ブロック５０５は、入力ビデオ系列、ビデオ系列のＧＯＰそれぞれの最初のＩフレームのパケット喪失レート（ＰＩ）、ビデオ系列のＧＯＰそれぞれのＰフレームのパケット喪失レート（Ｐ）、モデル・パラメータａ、ｃ及びｈを受信し、ビデオ系列からＮ個のフレームの次のＧＯＰをフェッチし、機能ブロック５１０にコントロールを移す。機能ブロック５１０は、フレーム０の隠蔽歪みを推定し、機能ブロック５１５にコントロールを移す。機能ブロック５１５は、ＧＯＰのＰフレーム全ての平均イントラ・レート及び隠蔽歪みを推定し、機能ブロック５２０にコントロールを移す。機能ブロック５２０は、ｎ＝０にセットし、機能ブロック５２５にコントロールを移す。機能ブロック５２５は、Ｄ_ｃ，０＝ Ｐ_ＩＤ_ＥＣＩを用いてフレーム０のチャネル歪みを求め、機能ブロック５３０にコントロールを移す。機能ブロック５３０は、ｎを１増やし（ｎ＝ｎ＋１）、機能ブロック５３５にコントロールを移す。機能ブロック５３５は、Ｄ_{ｃ，ｎ−１}＝ Ｄ_ｃ，ｎにセットし、機能ブロック５４０にコントロールを移す。機能ブロック５４０は、式３０又は式３１を用いてフレームｎのチャネル歪みを求める。方法５００が用いられる符号器が、イントラ予測を用いないか、又は、制約されないイントラ予測のみを用いる場合、式３０を用いる。方法５００が用いられる符号器が、制約されないイントラ予測を用いる場合、式３１を用いる。機能ブロック５４０は次いで、機能ブロック５４７及び決定ブロック５４５にコントロールを移す。機能ブロック５４７は、フレーム毎の推定チャネル歪みＤ_ｃ，ｎを出力する。

決定ブロック５４５は、ｎ≧Ｎ−１であるか否かを決定する。ｎ＜Ｎ−１である場合、コントロールは機能ブロック５２５に戻される。さもなければ、ｎ≧Ｎ−１である場合、コントロールは機能ブロック５５０に移される。機能ブロック５５０は、式３２を用いてＧＯＰの平均チャネル歪みを求め、出力ブロック５５５にコントロールを移し、更に、機能ブロック５０５に戻って、Ｎ個のフレームの次のＧＯＰをフェッチする。出力ブロック５５５は、ＧＯＰの推定された平均チャネル歪みＤ_ｃを出力する。

図６に移れば、ビデオ系列のＩフレームの予め推定された隠蔽歪み、並びに、Ｐフレームの平均イントラ・レート及び隠蔽歪みに基づいてチャネル歪みを推定する方法は、参照番号６００によって全体を示す。

入力ブロック６０５は、入力ビデオ系列、ビデオ系列のＧＯＰそれぞれの最初のＩフレームのパケット喪失レート（ＰＩ）、ビデオ系列のＧＯＰそれぞれのＰフレームのパケット喪失レート（Ｐ）、モデル・パラメータａ、ｃ及びｈを受信し、ビデオ系列からＮ個のフレームの次のＧＯＰをフェッチし、機能ブロック６１０にコントロールを移す。機能ブロック６１０は、ｎ＝０にセットし、機能ブロック６１５にコントロールを移す。機能ブロック６１５は、Ｄ_ｃ，０＝Ｐ_ＩＤ_ＥＣＩを用いてフレーム０のチャネル歪みを求め、機能ブロック６２０にコントロールを移す。機能ブロック６２０は、ｎを１増やし（ｎ ＝ ｎ＋１）、機能ブロック６２５にコントロールを移す。機能ブロック６２５は、Ｄ_{ｃ，ｎ−１}＝Ｄ_ｃ，ｎにセットし、機能ブロック６３０にコントロールを移す。機能ブロック６３０は、式３０又は式３１を用いてフレームｎのチャネル歪みを求める。方法６００が用いられる符号器が、イントラ予測を用いないか、又は、制約されたイントラ予測のみを用いる場合、式３０を用いる。方法６００が用いられる符号器が、制約されないイントラ予測を用いる場合、式３１を用いる。機能ブロック６３０は次いで、決定ブロック６３５にコントロールを移す。決定ブロック６３５は、ｎ≧Ｎ−１であるか否かを決定する。ｎ＜Ｎ−１である場合、コントロールは機能ブロック６２０に戻される。さもなければ、ｎ≧Ｎ−１である場合、コントロールは機能ブロック６４０に移される。機能ブロック６４０は、式３２を用いてフレーム全ての平均チャネル歪みを求め、出力ブロック６５５にコントロールを移し、更に機能ブロック６０５に戻ってＮ個のフレームの次のＧＯＰをフェッチする。出力ブロック６５５は、ＧＯＰの推定された平均チャネル歪みＤ_ｃを出力する。

本発明の前述並びにその他の特徴及び利点は、本明細書及び特許請求の範囲記載の教示に基づいて、関係する当該技術分野の当業者によって容易に把握することができる。本発明の教示は、ハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、又はそれらの組合せの種々の形態において実現することができる。

最も好ましくは、本発明の教示は、ハードウェア及びソフトウェアの組合せとして実現される。更に、ソフトウェアは好ましくは、プログラム記憶装置上に有形に実施されるアプリケーション・プログラムとして実現される。アプリケーション・プログラムは、何れかの適切なアーキテクチャを備えたマシンにアップロードするか、又は前述のマシンによって実行することができる。好ましくは、マシンは、ハードウェア（１つ又は複数の中央処理装置（「ＣＰＵ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）や入出力（「Ｉ／Ｏ」）インタフェースなど）を有するコンピュータ・プラットフォーム上で実現される。コンピュータ・プラットフォームは、オペレーティングシステム及びマイクロ命令コードも含むことができる。本明細書及び特許請求の範囲記載の種々の方法及び機能は、マイクロ命令コードの一部でも、アプリケーション・プログラムの一部でも、それらの何れかの組合せでもよい（ＣＰＵによって実行することができる）。更に、種々の他の周辺装置を、コンピュータ・プラットフォーム（更なるデータ記憶装置及び印刷装置など）に接続することができる。

添付図面に表す構成システム部分及び方法は好ましくはソフトウェアにおいて実現されるので、システム構成部分間又は処理機能ブロック間の実際の接続は、本発明がプログラムされるやり方によって異なり得る。本明細書及び特許請求の範囲記載の教示を与えられれば、当該技術分野における当業者は、本発明の前述及び同様な実現形態又は構成を考え出すことができるであろう。

本願の例証的な実施例は、本明細書において添付図面を参照して説明してきたが、本発明が前述のまさにその実施例に限定されず、本発明の範囲又は趣旨から逸脱しない限り種々の変更及び修正を当業者が行うことができるものとする。前述の変更及び修正は全て、特許請求の範囲記載の本発明の範囲内に含まれることが意図されている。

本発明の原理による、ビデオ復号器における合計期待歪みを求める装置を示すブロック図である。 本発明の原理による、チャネルによって引き起こされる歪みを算出する装置を示すブロック図である。 本発明の原理による、チャネル歪みモデルにおけるパラメータを推定する装置を示すブロック図である。 本発明の原理による、フレーム毎のイントラ・レート及び隠蔽歪みに基づいてチャネル歪みを推定する方法を示すフローチャートである。 本発明の原理による、ビデオ系列内のピクチャ群それぞれにおける平均イントラ・レート及び隠蔽歪みに基づいてチャネル歪みを推定する方法を示すフローチャートである。 本発明の原理による、ビデオ系列のＩフレームの予め推定された隠蔽歪み、並びに、Ｐフレームの平均イントラ・レート及び隠蔽歪みに基づいてチャネル歪みを推定する方法を示すフローチャートである。

Claims (30)

1. インター符号化画像の歪みを推定する方法であって、スケーリング係数でスケーリングされる先行平均チャネル歪みとして、前記インター符号化画像内の受信されたインター符号化マクロブロックの平均チャネル歪みを算出する工程を備える方法。
2. 請求項１記載の方法であって、デブロッキング・フィルタリングなしで、かつ、整数の動きベクトルを用いた動き補償によって前記インター符号化マクロブロックが符号化される場合に、前記スケーリング係数が１に等しく設定される方法。
3. 請求項１記載の方法であって、デブロッキング・フィルタリングなしで、かつ、動き補償時間予測によって前記インター符号化マクロブロックが符号化される場合に、前記スケーリング係数が、
   

   

   として算出され、
   ａは前記スケーリング係数を表し、ａ_ｌ及びａ_ｒは、非整数の動きベクトルが用いられる場合に前記動き補償時間予測によって用いる内挿フィルタ係数を表し、Ｌ_ｐ，ｐは内挿に用いる近傍サンプルの数を表し、ρは、２つの隣接画素における、チャネルによって引き起こされる誤り間の平均相関係数を表し、Ｅ｛．｝は、インター符号化画素の｛．｝内の値を平均化する平均化演算を表す方法。
4. 請求項１記載の方法であって、デブロッキング・フィルタリング及び動き補償時間予測によって前記インター符号化マクロブロックが符号化される場合に、前記スケーリング係数が、
   ａ＝ｗａ’
   として算出され、
   ａは前記スケーリング係数であり、
   ａ’は、前記動き補償時間予測に整数の動きベクトルが用いられる場合、１に等しく設定され、
   ａ’は、前記動き補償時間予測に整数の動きベクトル及び非整数の動きベクトルが用いられる場合に
   

   

   として算出され、
   ａ_ｌ及びａ_ｒは、前記非整数の動きベクトルが用いられる場合に前記動き補償時間予測によって用いる内挿フィルタ係数を表し、Ｌ_ｐ，ｐは内挿に用いる近傍サンプルの数を表し、ρは、２つの隣接画素における、チャネルによって引き起こされる誤り間の平均相関係数を表し、Ｅ｛．｝は、インター符号化画素の｛．｝内の値を平均化する平均化演算を表し、
   ｗが
   

   

   として求められ、
   ｗ_ｌ及びｗ_ｒがデブロッキング・フィルタ係数を表し、Ｌ_ｄが前記デブロッキング・フィルタリングに用いる近傍サンプルの数を表す方法。
5. Ｐフレームの歪みを推定する方法であって、前記Ｐフレームにおける受信された、イントラ符号化マクロブロックの平均チャネル歪みを、スケーリング係数ｃによって乗算した先行フレーム平均チャネル歪みとして、制約されないイントラ予測を用いて前記イントラ符号化マクロブロックが符号化される場合に計算する工程を備える方法。
6. 請求項５記載の方法であって、
   デブロッキング・フィルタリングなしで前記イントラ符号化マクロブロックが符号化される場合に、前記スケーリング係数ｃが、
   

   

   として算出され、
   ａ’は、前記Ｐフレームにおけるインター符号化マクロブロックが、前記動き補償時間予測に整数の動きベクトルを用いる場合、１に等しく、
   ａ’は、前記インター符号化マクロブロックが、前記動き補償時間予測に前記整数の動きベクトル及び非整数の動きベクトルを用いる場合に
   

   

   として算出され、
   ａ’_ｌ及びａ’_ｒは、前記動き補償時間予測によって用いる内挿フィルタ係数を表し、Ｌ_ｐ，ｐは内挿に用いる近傍サンプルの数を表し、ρは、２つの隣接画素における、チャネルによって引き起こされる誤り間の平均相関係数を表し、Ｅ｛．｝は、インター符号化画素の｛．｝内の値を平均化する平均化演算を表し、
   Ｃ_Ｐ及びＣ_ｌがそれぞれ
   

   

   として求められ、
   ｃ_ｌ及びｃ_ｒが、イントラ予測に用いる加重係数を表し、Ｉ−ｎｅｉｇｈｂｏｒｓは、イントラ・モードを用いて先行して符号化された、前記イントラ予測に用いる近傍サンプル全ての組を表し、Ｐ−ｎｅｉｇｈｂｏｒｓは、インター・モードを用いて先行して符号化された、前記イントラ予測に用いる近傍サンプル全ての組を表し、Ｅ｛．｝は、Ｐフレームにおけるイントラ符号化画素の｛．｝内の値を平均化する平均化演算を表す方法。
7. 現在のビデオ画像の歪みを推定する方法であって、喪失し、動き補償時間誤り隠蔽手法を用いて隠蔽される前記現在のビデオ画像のマクロブロックについて、平均隠蔽歪みと、先行ビデオ画像からの伝播歪みとの和として平均チャネル歪みを算出する工程であって、前記伝播歪みが、スケ―リング係数ｈでスケーリングされた、前記先行ビデオ画像における平均チャネル歪みとして算出される方法。
8. 請求項７記載の方法であって、前記動き補償時間誤り隠蔽手法が、整数の動きベクトルを用い、前記動き補償時間誤り隠蔽手法後に、前記現在のビデオ画像が、デブロッキング・フィルタリングを施すことなく復号化される場合に、前記スケーリング係数ｈが１に等しく設定される方法。
9. 請求項７記載の方法であって、前記動き補償時間誤り隠蔽手法が整数の動きベクトル及び非インター動きベクトルを用い、前記動き補償時間誤り隠蔽手法後に、前記現在のビデオ画像は、デブロッキング・フィルタリングを施すことなく復号化される場合に、前記スケーリング係数ｈが
   

   

   として算出され、
   ｈ_ｌ及びｈ_ｒは、非整数動きベクトルが用いられる場合の前記動き補償時間誤り隠蔽手法によって用いられる内挿フィルタ係数を表し、Ｌ_ｐ，ｐは内挿に用いる近傍サンプルの数を表し、ρは、２つの隣接画素における、チャネルによって引き起こされる誤り間の平均相関係数を表し、Ｅ｛．｝は、隠蔽された画素の｛．｝内の値を平均化する平均化演算を表す方法。
10. 請求項７記載の方法であって、前記動き補償時間誤り隠蔽手法の後に、前記現在のビデオ画像が、デブロッキング・フィルタリングを施して符号化される場合に、前記スケーリング係数ｈが、
    ｈ＝ｈ’ｗ
    として算出され、
    ｈ’は、前記動き補償時間誤り隠蔽手法に、整数の動きベクトルのみが用いられる場合に１に等しく設定されるか、又は、
    前記動き補償時間誤り隠蔽手法に前記整数の動きベクトル及び非整数の動きベクトルが用いられる場合に、
    

    

    として算出され、
    ｈ_ｌ及びｈ_ｒは、前記非整数の動きベクトルが用いられる場合の前記動き補償時間誤り隠蔽手法によって用いられる内挿フィルタ係数を表し、Ｌ_ｐ，ｐは内挿に用いる近傍サンプルの数を表し、ρは、２つの隣接画素における、チャネルによって引き起こされる誤り間の平均相関係数を表し、Ｅ｛．｝は、隠蔽された画素の｛．｝内の値を平均化する平均化演算を表し、
    ｗは、
    

    

    として算出され、
    ｗ_ｌ及びｗ_ｒはデブロッキング・フィルタ係数であり、Ｌ_ｄは、デブロッキング・フィルタリングに用いる近傍サンプルの数を表す方法。
11. インター符号化画像の平均隠蔽歪みを求める方法であって、
    前記インター符号化画像内の特定のマクロブロックの隠蔽歪みを、前記インター符号化画像内の他のフレーム及び他のマクロブロックにおける伝送損失がない場合の前記特定のマクロブロックのチャネル歪みとして規定する工程と、
    前記インター符号化画像内の選択されたマクロブロックの前記隠蔽歪みを、前記選択されたマクロブロックを喪失したとして設定し、復号器誤り隠蔽手法を用いて、前記選択されたマクロブロックを隠蔽することによって推定する工程と、
    前記インター符号化画像内の他の選択されたマクロブロックについて、前記推定する工程を繰り返す工程と、
    前記インター符号化画像内のマクロブロックの前記平均隠蔽歪みを、前記インター符号化画像内の前記選択されたマクロブロックの前記推定隠蔽歪みに基づいて算出する工程とを備える方法。
12. 請求項１１記載の方法であって、前記インター符号化画像の前記平均隠蔽歪みは、前記インター符号化画像を含む指定されたビデオ系列のモデル・パラメータの推定に用いられる方法。
13. ピクチャ群（ＧＯＰ）の平均隠蔽歪みを求める方法であって、
    前記ＧＯＰ内の選択されたインター符号化画像における選択されたマクロブロックの隠蔽歪みを、前記選択されたマクロブロックを喪失したとして設定し、前記選択されたマクロブロックを、復号器誤り隠蔽手法を用いて隠蔽することによって、推定する工程と、
    前記ＧＯＰ内の前記選択されたインター符号化画像及び他の選択されたインター符号化画像における他の選択されたマクロブロックについて、前記推定する工程を繰り返す工程と、
    前記ＧＯＰの前記平均隠蔽歪みを、前記ＧＯＰ内の前記選択されたインター符号化画像における前記選択されたマクロブロックの前記推定隠蔽歪みに基づいて算出する工程とを備える方法。
14. ピクチャ系列の平均隠蔽歪みを求める方法であって、
    前記ピクチャ系列内の選択されたインター符号化画像における選択されたマクロブロックの隠蔽歪みを、前記選択されたマクロブロックを喪失したとして設定し、前記選択されたマクロブロックを、復号器誤り隠蔽手法を用いて隠蔽することによって、推定する工程と、
    前記ピクチャ系列内の前記選択されたインター符号化画像及び他の選択されたインター符号化画像における他の選択されたマクロブロックについて、前記推定する工程を繰り返す工程と、
    前記ピクチャ系列内のインター符号化画像の前記平均隠蔽歪みを、前記ピクチャ系列内の前記選択されたインター符号化画像における前記選択されたマクロブロックの前記推定隠蔽歪みに基づいて算出する工程とを備える方法。
15. インター符号化画像の歪みを推定する装置であって、スケーリング係数ａでスケーリングされる先行平均チャネル歪み値として、前記インター符号化画像内の受信されたインター符号化マクロブロックの平均チャネル歪みを算出する歪み算出器を備える装置。
16. 請求項１５記載の装置であって、デブロッキング・フィルタリングなしで、かつ、整数の動きベクトルを用いた動き補償によって前記インター符号化マクロブロックが符号化される場合に、前記歪み算出器が前記スケーリング係数ａを１に等しく設定する装置。
17. 請求項１５記載の装置であって、デブロッキング・フィルタリングなしで、かつ、動き補償時間予測によって前記インター符号化マクロブロックが符号化される場合に、前記歪み算出器が前記スケーリング係数ａを、
    

    

    として算出し、
    ａ_ｌ及びａ_ｒは、非整数の動きベクトルが用いられる場合に前記動き補償時間予測によって用いる内挿フィルタ係数を表し、Ｌ_ｐ，ｐは内挿に用いる近傍サンプルの数を表し、ρは、２つの隣接画素における、チャネルによって引き起こされる誤り間の平均相関係数を表し、Ｅ｛．｝は、インター符号化画素の｛．｝内の値を平均化する平均化演算を表す装置。
18. 請求項１５記載の装置であって、デブロッキング・フィルタリング及び動き補償時間予測によって前記インター符号化マクロブロックが符号化される場合に、前記歪み算出器が前記スケーリング係数ａを、
    ａ＝ｗａ’
    として算出し、
    ａ’は、前記動き補償時間予測に整数の動きベクトルが用いられる場合、１に等しく設定され、
    ａ’は、前記動き補償時間予測に整数の動きベクトル及び非整数の動きベクトルが用いられる場合に
    

    

    として算出され、
    ａ_ｌ及びａ_ｒは、前記非整数の動きベクトルが用いられる場合に前記動き補償時間予測によって用いる内挿フィルタ係数を表し、Ｌ_ｐ，ｐは内挿に用いる近傍サンプルの数を表し、ρは、２つの隣接画素における、チャネルによって引き起こされる誤り間の平均相関係数を表し、Ｅ｛．｝は、インター符号化画素の｛．｝内の値を平均化する平均化演算を表し、
    ｗが
    

    

    として求められ、
    ｗ_ｌ及びｗ_ｒがデブロッキング・フィルタ係数を表し、Ｌ_ｄが前記デブロッキング・フィルタリングに用いる近傍サンプルの数を表す装置。
19. Ｐフレームの歪みを推定する装置であって、前記Ｐフレームにおける受信された、イントラ符号化マクロブロックの平均チャネル歪みを、スケーリング係数ｃで乗算した先行フレーム平均チャネル歪みとして、制約されないイントラ予測を用いて前記イントラ符号化マクロブロックが符号化される場合に計算する歪み算出器を備える装置。
20. 請求項１９記載の装置であって、前記歪み算出器は、
    デブロッキング・フィルタリングなしで前記イントラ符号化マクロブロックが符号化される場合に、前記スケーリング係数ｃを、
    

    

    として算出し、
    ａ’は、前記Ｐフレームにおけるインター符号化マクロブロックが、動き補償時間予測に整数の動きベクトルを用いる場合、１に等しく、
    ａ’は、前記インター符号化マクロブロックが、前記動き補償時間予測に前記整数の動きベクトル及び非整数の動きベクトルを用いる場合に
    

    

    として算出され、
    ａ’_ｌ及びａ’_ｒは、前記動き補償時間予測によって用いる内挿フィルタ係数を表し、Ｌ_ｐ，ｐは内挿に用いる近傍サンプルの数を表し、ρは、２つの隣接画素における、チャネルによって引き起こされる誤り間の平均相関係数を表し、Ｅ｛．｝は、インター符号化画素の｛．｝内の値を平均化する平均化演算を表し、
    Ｃ_Ｐ及びＣ_ｌがそれぞれ
    

    

    として求められ、
    ｃ_ｌ及びｃ_ｒが、イントラ予測に用いる加重係数を表し、Ｉ−ｎｅｉｇｈｂｏｒｓは、イントラ・モードを用いて先行して符号化された、前記イントラ予測に用いる近傍サンプル全ての組を表し、Ｐ−ｎｅｉｇｈｂｏｒｓは、インター・モードを用いて先行して符号化された、前記イントラ予測に用いる近傍サンプル全ての組を表し、Ｅ｛．｝は、Ｐフレームにおけるイントラ符号化画素の｛．｝内の値を平均化する平均化演算を表す装置。
21. 現在のビデオ画像の歪みを推定する装置であって、喪失し、動き補償時間誤り隠蔽手法を用いて隠蔽される前記現在のビデオ画像のマクロブロックについて、平均隠蔽歪みと、先行ビデオ画像からの伝播歪みとの和として平均チャネル歪みを算出する歪み算出器を備えており、前記伝播歪みが、スケ―リング係数ｈでスケーリングされた、前記先行ビデオ画像における平均チャネル歪みとして算出される装置。
22. 請求項２１記載の装置であって、前記歪み算出器は、前記動き補償時間誤り隠蔽手法が、整数の動きベクトルを用い、前記動き補償時間誤り隠蔽手法後に、前記現在のビデオ画像が、デブロッキング・フィルタリングを施すことなく復号化される場合に、前記スケーリング係数ｈを１に等しく設定する装置。
23. 請求項２１記載の装置であって、前記歪み算出器は、前記動き補償時間誤り隠蔽手法が整数の動きベクトル及び非インター動きベクトルを用い、前記動き補償時間誤り隠蔽手法後に、前記現在のビデオ画像が、デブロッキング・フィルタリングを施すことなく復号化される場合に、前記スケーリング係数ｈを
    

    

    として算出し、
    ｈ_ｌ及びｈ_ｒは、前記非整数動きベクトルが用いられる場合の前記動き補償時間誤り隠蔽手法によって用いられる内挿フィルタ係数を表し、Ｌ_ｐ，ｐは内挿に用いる近傍サンプルの数を表し、ρは、２つの隣接画素における、チャネルによって引き起こされる誤り間の平均相関係数を表し、Ｅ｛．｝は、画像内の隠蔽された画素の｛．｝内の値を平均化する平均化演算を表す装置。
24. 請求項２１記載の装置であって、前記歪み算出器は、前記動き補償時間誤り隠蔽手法の後に、前記現在のビデオ画像が、デブロッキング・フィルタリングを施して符号化される場合に、前記スケーリング係数ｈを、
    ｈ＝ｈ’ｗ
    として算出し、
    ｈ’は、前記動き補償時間誤り隠蔽手法に、整数の動きベクトルのみが用いられる場合に１に等しく設定されるか、又は、
    前記動き補償時間誤り隠蔽手法に前記整数の動きベクトル及び非整数の動きベクトルが用いられる場合に、
    

    

    として算出され、
    ｈ_ｌ及びｈ_ｒは、前記非整数の動きベクトルが用いられる場合の前記動き補償時間誤り隠蔽手法によって用いられる内挿フィルタ係数を表し、Ｌ_ｐ，ｐは内挿に用いる近傍サンプルの数を表し、ρは、２つの隣接画素における、チャネルによって引き起こされる誤り間の平均相関係数を表し、Ｅ｛．｝は、隠蔽された画素の｛．｝内の値を平均化する平均化演算を表し、
    ｗは、
    

    

    として算出され、
    ｗ_ｌ及びｗ_ｒはデブロッキング・フィルタ係数であり、Ｌ_ｄは、デブロッキング・フィルタリングに用いる近傍サンプルの数を表す装置。
25. インター符号化画像の平均隠蔽歪みを求める装置であって、前記インター符号化画像内の選択されたマクロブロックの隠蔽歪みを、前記選択されたマクロブロックを喪失したとして設定し、復号器誤り隠蔽手法を用いて、前記選択されたマクロブロックを隠蔽することによって推定し、前記インター符号化画像内の他の選択されたマクロブロックについて、前記推定を繰り返し、前記インター符号化画像内のマクロブロックの前記平均隠蔽歪みを、前記インター符号化画像内の前記選択されたマクロブロックの前記推定隠蔽歪みに基づいて算出する歪み推定手段を備える装置。
26. 請求項２５記載の装置であって、前記インター符号化画像の前記平均隠蔽歪みは、前記インター符号化画像を含む指定されたビデオ系列のモデル・パラメータの推定に用いられる装置。
27. ピクチャ群（ＧＯＰ）の平均隠蔽歪みを求める装置であって、前記ＧＯＰ内の選択されたインター符号化画像における選択されたマクロブロックの隠蔽歪みを、前記選択されたマクロブロックを喪失したとして設定し、前記選択されたマクロブロックを、復号器誤り隠蔽手法を用いて隠蔽することによって、推定し、前記ＧＯＰ内の前記選択されたインター符号化画像及び他の選択されたインター符号化画像における他の選択されたマクロブロックについて、前記推定を繰り返し、前記ＧＯＰの前記平均隠蔽歪みを、前記ＧＯＰ内の前記選択されたインター符号化画像における前記選択されたマクロブロックの前記推定隠蔽歪みに基づいて算出する歪み推定手段を備える装置。
28. ピクチャ系列の平均隠蔽歪みを求める装置であって、前記ピクチャ系列内の選択されたインター符号化画像における選択されたマクロブロックの隠蔽歪みを、前記選択されたマクロブロックを喪失したとして設定し、前記選択されたマクロブロックを、復号器誤り隠蔽手法を用いて隠蔽することによって、推定し、前記ピクチャ系列内の前記選択されたインター符号化画像及び他の選択されたインター符号化画像における他の選択されたマクロブロックについて、前記推定を繰り返し、前記ピクチャ系列内のインター符号化画像の前記平均隠蔽歪みを、前記ピクチャ系列内の前記選択されたインター符号化画像における前記選択されたマクロブロックの前記推定隠蔽歪みに基づいて算出する歪み推定手段を備える装置。
29. 請求項１乃至４、１１乃至１８、及び２５乃至２８の何れか一項に記載の装置であって、前記インター符号化画像がＰフレーム・タイプである装置。
30. 請求項７乃至１０、及び２１乃至２４の何れか一項に記載の装置であって、前記ビデオ画像がビデオ・フレームである装置。

Images