JP2005318620A - 適応時間予測を用いた動きベクトル検出 - Google Patents

Abstract

【課題】 動き検出について改良された方法、特に、動き補償後の補間に向けられた方法を提供すること。
【解決手段】 ビデオデータの元を考慮することにより、時間予測ベクトルを決定するために用いられる空間オフセットは、検出された元のモードに従って設定される。前のフィールド内での現在のブロック位置からの適切なオフセットを選択することにより、予測された動きの精度が顕著に向上し、従って動き補償後の補間画像の画質も顕著に向上する。
【選択図】 図６

Description

本発明は、動き検出の改良に関する。特に、本発明は、ビデオシーケンスにおける画像ブロック間の動きベクトルを検出するための方法、および、それに相当する動き検出回路に関する。

動き検出の応用範囲は、特に、最新のテレビジョン受像機のデジタル信号処理において増加している。具体的には、最新のテレビジョン受像機は、特にアップコンバージョンまたは動き補償後のアップコンバージョンの形式で、再生画像の品質を向上させるためにフレームレートの変換を行う。例えば、フィールド周波数またはフレーム周波数が５０Ｈｚのビデオシーケンスに対して動き補償後アップコンバージョンを行うと、６０Ｈｚ、６６．６７Ｈｚ、７５Ｈｚまたは１００Ｈｚ等のような、より高い周波数に変換される。５０Ｈｚの入力信号周波数は主として、ＰＡＬまたはＳＥＣＡＭに基づくテレビジョン放送に用いられるが、ＮＴＳＣのビデオ信号の入力信号周波数は６０Ｈｚである。６０Ｈｚの入力信号周波数は、７２Ｈｚ、８０Ｈｚ、９０Ｈｚまたは１２０Ｈｚ等、より高い周波数にアップコンバートされる場合がある。

アップコンバート時には、５０Ｈｚまたは６０Ｈｚの入力ビデオシーケンスでは表されない時間位置のビデオコンテンツを反映する中間画像が生成される。この目的のためには、移動オブジェクトの動きによって生じる後続の画像間の変化を適切に反映するために、そのオブジェクトの動きを考慮する必要がある。オブジェクトの動きは、ブロック単位で算出され、動き補償は、前後の画像間に新たに生成された画像の相対的な時間位置に基づいて実行される。

動きベクトル決定のために、各画像は複数のブロックに分割される。前の画像とのオブジェクトの位置変化を検出するために、各ブロックに対して動き検出が行われる。所定の検索範囲内で前の画像内で最も一致するブロックを検出するための時間を要する全検索アルゴリズムは、好ましくは、複数の所定の候補ベクトルを用いることによって回避される。これらの候補ベクトルの組は、所定の最も適切な動きベクトルを多数含む。

動きベクトルは、候補ベクトルの各々について計算された誤差値に基づいて候補ベクトルから選択される。この誤差は、現在のブロックと、個々の候補ベクトルに応じて選択された前の画像内の候補ブロックとの一致度を評価する。最小の誤差を有する、最も一致するベクトルが現在のブロックの動きベクトルとして選択される。現在のブロックと前のブロックとの類似度の尺度として、差分絶対和（Ｓｕｍｍｅｄ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ：ＳＡＤ）を用いても構わない。

所定の候補ベクトルの組は、現在の画像の隣接するブロックについてすでに決定された候補ベクトルとして、前の画像内において同様の位置等にあるブロックについて決定された動きベクトルを含んでいても構わない。

下記の非特許文献１には、グローバル動きベクトルを候補ベクトルとして算出することが記載されている。このグローバル動きベクトルは、画像の全てのブロックに共通した動きを反映する。

下記の特許文献１にはさらに、複数の候補ベクトルが記載されており、これら候補ベクトルは、現在の画像の隣接するブロックの動きベクトルに基づいている。また、これらベクトルの長さおよび方向は、ランダムな大きさを有する最新のベクトルを加算することで修正される。現在のブロックの動きベクトルとしてのベクトル種別の選択は、各ＳＡＤに対する所定のペナルティ値を加算することで制御される。ペナルティ値が加算されると、現在のブロックの動きベクトルとして選ばれる見込みがそれぞれ減ることになる。

画像補間に加え、動き検出は、時間的な冗長さを利用するために、ビデオの符号化中にも用いられる。この目的のため、複数のビデオ符号化規格が開発されており、Ｈ．２６ｘまたはＭＰＥＧ−ｘのような符号化規格が広く用いられている。
ジェラルド・デ・ハーン（Ｇｅｒａｒｄ ｄｅ Ｈａａｎ）他 「エフィシエント トゥルー モーション エスティメータ ユージング キャンディデイト ベクトル フロム パラメトリック モーション モデル（Ａｎ Ｅｆｆｉｃｉｅｎｔ Ｔｒｕｅ−Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｏｒ Ｕｓｉｎｇ 候補 ベクトルｓ ｆｒｏｍ ａ Ｐａｒａｍｅｔｒｉｃ Ｍｏｔｉｏｎ Ｍｏｄｅｌ）」 アイトリプルイー トランザクション オン サーキッツ アンド システムズ フォー ビデオ テクノロジー（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ）， ｖｏｌ．８， Ｎｏ．１ １９９８年２月 欧州特許出願公開第０５７８２９０号明細書

動きベクトルを決定するために時間的な予測を用いる動き検出では、前の画像で参照されたブロックが現在のブロックと同じ移動オブジェクトに属する場合にのみ、現在のブロックの動きを適切に予測することができる。動きベクトルを得るために参照された前の画像内のブロックが同じ移動オブジェクトに属さない場合、前の動きベクトルはオブジェクトの動きを反映しないため、現在の動きベクトルとして用いることができない。特に、移動オブジェクトの境界領域に関しては、前の画像内で参照されたブロックが同じ画像オブジェクトに属さない可能がさらに高いので予測は困難である。

この時間的な予測に基づく動きベクトルの決定における欠点は、映画を元にするビデオシーケンスについてはより深刻である。映画をビデオに変換する方法では、所定のプルダウンパターンに従って、同じ画像がビデオシーケンス内で頻繁に繰り返される。映画によって表される動きの段階はより少ないため、異なる動きの段階を表す画像間での移動オブジェクトの位置変化はさらに大きい。画像間での移動オブジェクトの位置変化が大きくなることにより、時間的予測が複雑になり、動き補償後の画像、特に、高速で移動するオブジェクトの輪郭に認識可能な影響が生じる。

本発明は、従来の問題を克服し、動きベクトルを決定するために改良された方法および動き検出回路を提供することを目的とする。

上記目的は、独立形式の請求項により達成される。

本発明の第１の局面によれば、ビデオ画像のシーケンスにおける現在の画像を構成するブロックについて動きベクトルを決定する方法が提供される。各ビデオ画像は、複数のブロックに分割される。上記方法は、前の画像のブロックについて検出された動きベクトルに基づいて、現在のブロックの動きベクトルを決定する。前の画像のブロックは、現在のブロックの位置に対して所定のオフセットを有する位置にある。上記オフセットの大きさ、画像データが映画タイプの画像を元にするものか否かに応じて設定される。

本発明の他の局面によれば、ビデオ画像のシーケンスにおける現在の画像を構成するブロックについて動きベクトルを決定する動き検出回路が提供される。各ビデオ画像は、複数のブロックに分割される。上記動き検出回路は、前の画像のブロックについて検出された動きベクトルに基づいて、現在のブロックの動きベクトルを決定する。前の画像のブロックは、現在のブロックの位置に対して所定のオフセットを有する位置にある。動き検出回路に備えられたフィルムモード検出器は、現在のブロックの画像データが映画タイプの画像を元にするか否かを判定する。動き検出回路のオフセット調整部は、フィルムモード検出器の判定結果に基づいてオフセットの大きさを設定する。

本発明の具体的なアプローチは、動きベクトル決定のために時間的予測ベクトルの選択をするときに、画像データのタイプを考慮してオフセットを調整することである。動きベクトル決定される画像データが映画を元にする場合、後続の異なる動きの段階の画像間のオブジェクトの境界の位置変化がより大きくなることが見込まれる。従って、時間予測時の空間オフセットは大きくなる。このように、動き検出の質を改善し、さらに動き補償後の画像上で視認可能な影響を減らすためには、動きベクトルの時間的予測は、特定の画像タイプの特性を考慮に入れる。

好ましくは、ビデオシーケンスの変換パターンを検出することにより、映画タイプの判定が実行される。この変換パターンは、映画タイプからビデオタイプのデータへの変換の間に用いられるプルダウン方式を表す。

好ましい実施形態では、画像タイプは、画像単位で、つまり、フィールド単位またはフレーム単位で判定される。これによれば、少ない計算量のみで信頼性の高い予測が実現できる。

代替的な好ましい実施形態では、画像タイプ、特にフィルムモードは、ブロックに基づいて判定される。従って、現在の画像タイプについて、さらに正確な判定が可能であり、さらに、本発明には、画像タイプが混在する複数の画像シーケンスに応用できるという利点がある。この種の画像シーケンスは、映画データおよびビデオカメラデータのような異なるものから生じる画像データを含んでいる。

好ましくは、映画タイプのためのオフセット値は、標準的なビデオ画像データと比較して、２倍の大きさに設定される。従って、画像シーケンスの１画像おきにのみ異なる動きの段階が存在する場合にも、正確に動きを判定することができる。好ましくは、標準タイプの画像のオフセットの大きさは１〜４ブロックの長さに設定され、映画タイプの画像のオフセットの大きさは２〜８ブロックの長さに設定される。最も好ましくは、標準タイプの画像のオフセットの大きさは２ブロックの長さに設定され、映画タイプの画像のオフセットの大きさは４ブロックの長さに設定される。

好ましくは、オフセットは、水平方向および垂直方向において異なって設定される。このようにして、異なる動き方向を適切に考慮することができる。

最も好ましくは、オフセットは、水平方向または垂直方向のいずれかにおいて０に設定される。従って、時間的予測のための空間オフセットは、水平方向または垂直方向のいずれかに設定される。

また、好ましい実施形態によれば、動き検出は、複数の候補ベクトルに基づいて実行される。複数の候補ベクトルは、最適な動きベクトルの決定のために現在のブロックの位置からずれた位置にある前の画像のブロックの動きベクトルを含む。それぞれの候補ベクトルは、現在のブロックについて個々に動き検出を定義する。このような複数の候補動きベクトルについて限定された組に基づいて、動きベクトルの決定は、実行される。しかも、このような動きベクトルの決定は、最小限のハードウェアの負担および最低限の計算を用いるだけで実行可能であり、信頼できる結果が得られる。

現在のブロックの動きを確実に検出するために、異なる時間予測が提供される。特に、異なる時間予測は、先行する同じ画像に関するが、異なるオフセット値、好ましくは、垂直方向のオフセットまたは水平方向のオフセットのいずれかを用いる。

動きベクトルを決定する全検索アプローチとは対照的に、動き検出は、好ましくは、現在のブロックと同一のブロック位置を指示するゼロ動きベクトル、現在の画像が有する隣接するブロックについて決定される動きベクトルであって、最新ベクトルによってベクトル長が変化した動きベクトル、およびオフセット値に従ってその位置が変化した前の画像の動きベクトルのうちの少なくとも１つを含む候補ベクトルに基づく。このような方法で動きベクトルを限られた組にすることにより、速く確実な動きベクトルの決定が可能になる。

本発明の好適な実施形態は、従属請求項に記載の発明に対応する。

本発明の他の実施形態および利点は、以下の好適な実施形態の説明からより明らかとなる。

本発明は、デジタル信号処理に関し、具体的には、最新のテレビジョン受像機での信号処理に関する。最新のテレビジョン受像機は、再生画像の品質向上のために、アップコンバージョンアルゴリズムを採用している。この目的のために、後の２画像から中間画像が生成されている。中間画像を生成するために、移動オブジェクトの動きは、補間画像により表される時点におけるオブジェクトを適切な位置に適合させるよう考慮されなければならない。

動き検出は、ブロック単位で実行される。この目的のために、受信画像のそれぞれは、例えば図１に図示されるように、複数のブロックに分割される。現在のブロックのそれぞれについては、前の画像において、最も一致度合いの高いブロックを決定することによって動き検出を行う。

所定の検索範囲内で、時間のかかる全検索を避けるために、限られた候補ベクトルの組のみが動き検出器に与えられる。これらの候補ベクトルから、動き検出器は、所定のベクトルを選択する。所定のベクトルは、前の画像の各ブロックから、現在のブロックを最低限の偏差で評価することができる。

図１は、複数のブロックＢ（ｘ，ｙ）に各ビデオ画像が分割されることを示す。各ブロックは、幅Ｘおよび高さＹを有する。ここで、ＸおよびＹは、行方向および列方向の画素数を表す。行方向または列方向のブロックの数は、次式を用いることで算出できる。

ｘ_max＝行方向の画素数／Ｘ
ｙ_max＝列方向の画素数／Ｙ

これらブロックのそれぞれについて、動きベクトルは、相違する複数の候補ベクトルから算出される。従来の候補ベクトルの組は例えば、下記のような動きベクトルを含む。

ここで、ｎは、現在のフィールドを示し、ｎ−１は、前のフィールドを示す。また、ｕは、最新ベクトルを示す。

上記７個の式から理解できるように、候補ベクトルは、ゼロベクトルである動きベクトル（Ｃ₁）、空間予測に向けられた隣接ブロックの動きベクトル（Ｃ₂，Ｃ₃）および／または時間予測に向けられた前の画像の動きベクトル（Ｃ₆，Ｃ₇）を含んでいても構わない。

空間予測は、空間予測ベクトルＣ₂およびＣ₃に積算される最新ベクトルを使うことで改良されうる。選択された候補ベクトルに対する移動オブジェクトの小さな変化を考慮するために、最新ベクトルは、新たな候補ベクトルＣ₄およびＣ₅を生成するために動きベクトルに応用される。上で示した候補ベクトルでは、最新ベクトルｕは、候補ベクトルＣ₂およびＣ₃にのみ応用されるとして説明したが、例えば候補ベクトルＣ₆およびＣ₇のような他の候補ベクトルに対し同様に応用されても構わない。

上述した時間予測ベクトルＣ₆およびＣ₇には、２ブロックのオフセットを有する候補ベクトルが利用されるとしたが、２ブロックのオフセットの代わりに、オフセットを用いなかったり、例えば１ブロックまたは３ブロックのような他のオフセットが用いられたりしても構わない。

時間予測ベクトルは現在の画像および前の画像に関し説明したが、「画像」という用語は、インターレース方式のビデオシーケンスが有するフィールドに関連していたり、プログレッシブ方式のビデオシーケンスが有するフレームに関連していたりしても構わない。同様に、生成される中間画像が、ビデオシーケンスの種類に依存してフィールドまたはフレームである場合もある。

さらに、複数の候補ベクトルは、上述したもの全てにより完成するものでも無く、さらには、全てを含まなくても良い。他の候補ベクトルの組が、現在のブロックに最も適した動きベクトルを決定するために用いられても構わない。

また、候補ベクトルのそれぞれに対し予測誤差は、最適の動きベクトルを決定するために算出され評価される。予測誤差として、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）が測定される。その候補ベクトルは、最小のＳＡＤを有するブロックの動きを最も良く表すよう選ばれ考慮される。

動きベクトルの候補Ｃ₁からＣ₇のいくつかが他の候補ベクトルに対し優先される場合、プログラム可能なペナルティが、個々の候補向けに測定されたＳＡＤに加算されても構わない。この場合、特定の候補を選ぶことで、優先化される。好ましくは、ペナルティ値は、動きベクトルの候補Ｃ₄およびＣ₅向けの最新ベクトルｕの長さに比例する。

上述した候補ベクトルに加え、グローバル動きベクトルがさらに考慮されても構わない。グローバル動きベクトルは、ビデオ画像の全ブロックに適用可能な動きを表す。このような動きベクトルは、カメラパンに適切に応用される。

上述した候補ベクトルＣ₁からＣ₇は、図２に示すように空間的に隣接するブロックから取得され、先行して算出された動きベクトルを含む。これら候補ベクトルは、現在のブロックＢ（ｘ，ｙ）の位置から、それに隣接する既に処理されたブロックＢ（ｘ−１，ｙ）およびＢ（ｘ，ｙ−１）へと向かい、それぞれを候補ベクトルＣ₂およびＣ₃として含む。

候補ベクトルＣ₆およびＣ₇は、先行するフィールドｎ−１について既に算出された動きベクトルを表している時間予測ベクトルを表す。時間動き予測ベクトルの一例が図３に示されている。ここで、ブロックＢ’（ｘ＋２，ｙ）およびＢ’（ｘ，ｙ＋２）は予測ベクトルとして目印が付けられている。

時間予測ベクトルは、シーンの動きが多くのフィールドにわたってほぼ一定の場合に、移動オブジェクトの均質なスピードを規定する。動き検出アルゴリズムにより生成されたベクトル情報に基づいて、中間フィールドは、動き補償技術を使って補間される。

既知のフィールドレート変換器の構成の一例が図４に示される。動き検出回路ＭＥは、動きベクトルフィールドを算出し、算出した動きベクトルフィールドを動き補償後補間回路ＭＣＩに与える。動き補償後の出力画像は、それに接続されたディスプレイ装置に表示される。

アップコンバートアルゴリズムは、ハイエンドモデルのテレビジョン受像機に用いられるが、元々の素材が映画である場合に低画質になるという問題を生ずる。また、高速な動きの場合、移動オブジェクトの境界線は、補間処理の間、再構成されない。この問題は、前のフィールド内の時間予測ブロック位置が現在のブロックに近いことにより生じる。このような時間予測位置は、前のフィールド内では、現在の移動オブジェクトの外側に位置する。この問題を図５に詳細に示す。

図５では、現在のフィールドｎおよび前のフィールドｎ−１内の移動オブジェクトは灰色の網掛けで示している。灰色の網掛けで示されたブロックは、左方向に高速で移動している。現在のブロックＢ（ｘ，ｙ）は、移動オブジェクトの左側の境界に位置する。これに対応して用いられた前のフィールドｎ−１内の時間予測ベクトル位置ＴＰ１およびＴＰ２は、移動オブジェクトの外側に位置する。結果的に、時間予測ベクトルＴＰ１およびＴＰ２は、現在のオブジェクトの動きを反映する動きベクトルを提供することができない。

図５に示すフィールドｎおよびｎ−１内の動きの段階は、映画から変換されたビデオデータを元にする。映画のフレームレートが２４Ｈｚであるため、５０Ｈｚまたは６０Ｈｚのフィールドレートを有するカメラ素材を元にするビデオデータと比較して、隣接する画像間のオブジェクトの位置は大きく異なる。よって、同様に決定されたカメラ素材に基づく時間予測ベクトルでは、前のフィールド内の同じ時間予測位置ＴＰ１およびＴＰ２からの現在の画像オブジェクトの正確な動きを反映する動きベクトルを決定することができる。

カメラまたはフィルムカメラによって記録され、フィルムカメラ映画データからビデオカメラデータへ変換された異なる動きの段階をを図７、図８、および図９に示す。

図７は、５０Ｈｚまたは６０Ｈｚのフィールドレートのインターレース記録フォーマットを有する電子カメラによって記録された動きの段階を示す。これに対して、図８は、同じシーンをフィルムカメラで記録したものを示す。ＰＡＬ、ＳＥＣＡＭ、またはＮＴＳＣ等のテレビジョン方式に従ったビデオデータと比較して、映画データが表す動きの段階は少ない。

図８に示すような映画のデータを、ビデオフォーマット等のテレビジョン規格のデータに変換する場合、映画における動きの段階は、複数のフィールドに繰り返し変換される。図９から分かるように、映画における各動きの段階は、２−２プルダウン変換に従って、フィールドシーケンス内の２つのフィールドに変換される。

図７および図９のビデオシーケンスで表される異なる動きの段階のオブジェクト位置を比較した場合、図９に示す動きの段階に基づく時間予測にはかなり誤差が生じている。図９のビデオシーケンスでは、異なる動きの段階を表す画像が少なく、時間動きベクトル予測は、動きの段階間の移動オブジェクトの大きな変位に対処しなければならない。

ビデオシーケンスに適用される動き検出は、両方の種類の画像データ、つまり、ビデオモードのデータおよびフィルムモードのデータを正確に考慮することはできない。従って、時間的な動きベクトル予測は、一般的に、映画を元にする高速な移動オブジェクトを欠落させる。その結果、高速移動オブジェクトについて、動き補償後のフィールドシーケンスには、視認可能な大きな影響が生じる。この種の影響は、特に、移動オブジェクトの境界線に生じる。

本発明は、画像データの種類に応じて時間予測ベクトルのオフセットを適合させることによって上記問題を解決する。ビデオモードでは、前のフィールド内のブロック位置が現在のブロック位置により近くなるように設定され、フィルムモードでは、時間予測位置が現在のブロック位置からより遠くなるように設定される。ビデオモードおよびフィルムモードについてのこれらの異なる予測モードを図５および図６に示す。図５は、水平方向（ＴＰ１）および垂直方向（ＴＰ２）における２つのブロックのオフセット値を示し、図６は、より大きく設定された予測オフセットを示す。水平方向オフセットおよび垂直方向オフセットは４ブロックに設定される。

一般に、候補ベクトルとしての時間予測ベクトルは、以下のとおりである。

変数（ｔｐｘ１，ｔｐｙ１）、（ｔｐｘ２，ｔｐｙ２）は、時間予測オフセット位置を表す。時間予測オフセット位置は、現在の画像またはブロックについて検出された元のモードに依存する。フィルムモードについては、時間予測オフセット位置の値（ｔｐｘ１，ｔｐｙ１）、（ｔｐｘ２，ｔｐｙ２）が、ビデオモードの時間予測オフセット位置の値よりも大きく設定される必要がある。フィルムモードまたはビデオモードでの検出は、ブロック単位、画像単位、または画像シーケンス単位で行うことができる。

好適な実施形態では、時間予測オフセット位置は、下記の式（１）〜（４）に従ってブロック単位で行われる。

パラメータｂｌｏｃｋ＿ｍｏｄｅ＝０は、現在のブロックについて検出されたビデオモードを示す。

ほぼ一定の速度で移動するより大きなオブジェクトの動き検出の質を向上させるために、候補ベクトルＣ₆およびＣ₇（時間予測ベクトル）は、候補ベクトルの組に含まれる。オブジェクトの動きが前のフィールド内のオブジェクトの動きとほぼ同じ場合、好ましくは、時間予測候補ベクトルは、現在のベクトルの動きを反映する。結果として、算出された誤差値、好ましくは、差分絶対和（ＳＡＤ）は、時間予測ベクトルＣ₆またはＣ₇が現在のブロックに対して最良な動きベクトルとして選択されるような最小値を有する。

本発明は、上記説明において主に、中間画像の補間、特に最新のテレビジョン受像機でのフレームレートについて説明したが、本発明の動き検出の改良は、同様にして、ビデオデータ圧縮にも適用され得る。

ビデオデータ圧縮は、一般的に、多くの段階を経る。個々の画像は、ブロック単位でデータ圧縮の対象となるため、複数の画素からなるブロックに分割される。このようなブロック分割は、図１に示すような分割であっても構わない。画像に含まれる空間的な冗長さは、空間領域から周波数領域に各ブロックに含まれる画素を変換するために、変換ユニットに各ブロックを処理させることで低減される。このようにして変換された係数は量子化され、量子化された変換係数は、エントロピー符号化される。

さらに、後続の画像のブロック間の時間的従属性は、後続の画像間の差分を送信するためだけに使われる。これは、動き検出／補償技術を用いることにより実現される。時間的従属性は、統計型符号化と共に時間圧縮および空間圧縮技術を組み合わせたいわゆるハイブリッド符号化技術を実行する際に用いられる。

図１０にハイブリッドビデオ符号化器の一例を示す。ビデオ符号化器（一般的に参照符号「１」で示す）は、現在のビデオ画像と、前に符号化された動き補償後の画像に基づく現在の画像の予測信号との差分を決定する減算器１０を備える。変換／量子化ユニット２０は、予測誤差を空間領域から周波数領域に変換し、その結果得られた変換係数を量子化する。エントロピー符号化ユニット９０は、量子化された変換係数にエントロピー符号化を行う。

符号化器１は、入力ビデオシーケンスの後続画像間の差分を送信するだけの差分パルス符号変調（ＤＰＣＭ）を用いる。これら差分は、符号化されるべきビデオ画像と、そこから減算されるべき予測信号とを受け取る減算器１０により決定される。

予測信号は、符号化器側で先行して符号化された画像の復号結果に基づく。画像の復号は、ビデオ符号化器に組み込まれる復号ユニットにより実行される。復号ユニットは、符号化工程と反対の処理を実行する。逆量子化／逆変換ユニット３０は、量子化された係数を逆量子化し、逆量子化された係数を逆変換する。加算器３５は、復号された差分と予測信号とを積算する。

予測信号は、現在および先行のフィールドまたはフレーム間の動きを検出した結果として得られる。動き検出は、現在の入力信号および内部で復号された画像とを受信する動き検出器７０により実行される。動き検出は好ましくは、本発明に従って実行される。動き検出の結果に基づき、動き補償は、動き補償器６０により実行される。

要約すると、本発明は、動き検出のための改良された方法を提供し、さらに、動き補償後の補間に特に向けられた方法を提供する。ビデオデータの元を考慮することにより、時間予測ベクトルを決定するために用いられる空間オフセットは、検出されたソースモードに従って設定される。前のフィールド内の現在のブロック位置からの適切なオフセットを選択することによって、予測された動きの精度が顕著に向上し、従って動き補償後の補間画像の画質も顕著に向上する。

本発明に係る適応時間予測を用いて動きベクトル検出は、動きベクトルを限られた組にすることにより、速く確実な動きベクトルの決定が可能になる効果を有し、ビデオシーケンスにおける画像ブロック間の動きベクトルを検出するための方法、および、それに相当する動き検出回路などとして有用である。

動き検出および動き補償のために、均等なサイズの複数のブロックにビデオ画像を分割した様子を示す図 現在のブロックＢ（ｘ，ｙ）および空間予測される複数の位置を示す図 現在のブロックＢ（ｘ，ｙ）および空間予測および時間予測される複数の位置を示す図 画像レート変換器の構成を示す図 移動オブジェクトおよび、ブロックラスタに印された小さなオフセット値に基づく動きベクトル検出のための時間予測位置を示す図 移動オブジェクトおよび、ブロックラスタに印されたより大きなオフセット値に基づく動きベクトル検出のための時間予測位置を示す図 ビデオカメラから得られたビデオシーケンス内の異なる動きの段階を示す図 映画シーケンスにおける図７と同じ移動オブジェクトの異なる動きの段階を示す図 図８に示す映画シーケンスから変換されたビデオシーケンス内の異なる動きの段階を示す図 本発明に係る動き検出回路を含むビデオ符号化器の構成を示す図

符号の説明

１０ 減算器
２０ 変換／量子化ユニット
３０ 逆変換／逆量子化ユニット
３５ 加算器
３７ ブロック解除フィルタ
４０ メモリ
６０ 動き補償器
７０ 動き検出器
９０ エントロピー符号化ユニット

Claims (33)

1. 各々が複数のブロックに分割されるビデオ画像のシーケンスにおいて現在の画像を構成するブロックについて動きベクトルを決定する方法であって、当該方法は、現在のブロックの位置に対して所定のオフセットを有する位置にある前の画像のブロックについて検出された動きベクトルに基づいて、現在のブロックの動きベクトルを決定し、
   前記方法は、現在のブロックの画像データが映画タイプの画像を元にするものか否かに応じてオフセットの大きさを設定することを特徴とする、方法。
2. 画像データが映画タイプの画像を元にするか否かは、ビデオ画像のシーケンスにおける映画からビデオデータへの変換パターンの検出に基づいて決定される、請求項１に記載の方法。
3. 前記変換パターンは、２：２または３：２である、請求項２に記載の方法。
4. 画像データが映画タイプの画像を元にするとの決定は、画像単位で、特に、フィールド毎にまたはフレーム毎になされる、請求項１〜３のうちのいずれかに記載の方法。
5. 画像データが映画タイプの画像を元にするとの決定は、ブロック単位でなされる、請求項１〜３のうちのいずれかに記載の方法。
6. 前記オフセットの大きさは、画像データが映画タイプの画像を元にする場合、大きく設定される、請求項１〜５のうちのいずれかに記載の方法。
7. 映画の画像データの場合、前記オフセットの大きさは、非映画タイプの画像データのオフセット値の大きさに比較して、本質的に２倍の大きさに設定される、請求項６に記載の方法。
8. 前記オフセットの大きさは、非映画タイプの画像データの場合には１〜４ブロックの長さに設定され、映画タイプの画像データの場合には２〜８ブロックの長さに設定される、請求項６または７に記載の方法。
9. 前記オフセットの大きさは、非映画タイプの画像データの場合には２ブロックの長さに設定され、映画タイプの画像データの場合には４ブロックの長さに設定される、請求項６〜８のうちのいずれかに記載の方法。
10. 前記オフセットは、水平方向および垂直方向において異なって設定される、請求項１〜９のうちのいずれかに記載の方法。
11. 前記オフセットは、水平方向または垂直方向のいずれかにおいて０に設定される、請求項１０に記載の方法。
12. 現在のブロックの位置からずれた位置にある前の画像のブロックについて検出された動きベクトルを含む、複数の動きベクトルの候補の中から、前記現在のブロックの動きベクトルを選択するステップと、
    前記現在のブロックに、選択された動きベクトルを割り当てるステップと、
    をさらに包含する、請求項１〜１１のうちのいずれかに記載の方法。
13. 前記選択するステップは、
    動きベクトルの候補のそれぞれについて誤差値を算出するステップと、
    最小の誤差を有する動きベクトルを選択するステップと、
    を包含する、請求項１２に記載の方法。
14. 前記候補ベクトルは、
    現在のブロックと同一のブロック位置を指示するゼロ動きベクトル、
    現在の画像において隣接するブロックについて決定された動きベクトル、および
    現在の画像において隣接するブロックについて決定された動きベクトルであって、ベクトル長が最新ベクトルを付加することによって変化した動きベクトルのうちの少なくとも１つの動きベクトルを含む、請求項１２または１３に記載の方法。
15. 請求項１〜１４のうちのいずれかに記載の動き検出方法を用いた動き補償を含むビデオ画像のシーケンスを符号化する方法。
16. 請求項１〜１４のうちのいずれかに記載の動き検出方法を用いた動き補償を含むビデオ画像のシーケンスを補間する方法。
17. 請求項１６に記載の動き補償を用いることにより、ビデオシーケンスのフィールドレートまたはフレームレートを変換する方法。
18. 各々が複数のブロックに分割されるビデオ画像のシーケンスにおいて現在の画像を構成するブロックについて動きベクトルを決定する動き検出回路であって、当該動き検出回路は、現在のブロックの位置に対して所定のオフセットを有する位置にある前の画像のブロックについて検出された動きベクトルに基づいて、現在のブロックの動きベクトルを決定し、
    フィルムモード検出器が現在のブロックの画像データが映画タイプの画像を元にするものであるか否かを判定し、
    オフセット調整部が前記フィルムモード検出器の判定結果に応じて前記オフセットの大きさを設定することを特徴とする動き検出回路。
19. 前記フィルムモード検出器は、ビデオ画像のシーケンスにおける映画からビデオデータへの変換パターンの検出に基づいて、画像データが映画タイプの画像を元にするものであると決定する、請求項１８に記載の動き検出回路。
20. 前記変換パターンは、２：２または３：２である、請求項１９に記載の動き検出回路。
21. 前記フィルムモード検出器は、画像単位で、特に、フィールド毎にまたはフレーム毎に、画像データが映画タイプの画像を元にするものであると決定する、請求項１８〜２０のうちのいずれかに記載の動き検出回路。
22. 前記フィルムモード検出器は、ブロック単位で、画像データが映画タイプの画像を元にするものであると決定する、請求項１８〜２０のうちのいずれかに記載の動き検出回路。
23. 前記オフセット調整部は、画像データが映画タイプの画像を元にする場合、前記オフセットを大きく設定する、請求項１８〜２２のうちのいずれかに記載の動き検出回路。
24. 前記オフセット調整部は、映画の画像データの場合、前記オフセットの大きさを、非映画タイプの画像データのオフセットの大きさに比較して、２倍の大きさに設定する、請求項２３に記載の動き検出回路。
25. 前記オフセット調整部は、前記オフセットの大きさを、非映画タイプの画像データの場合には１〜４ブロックの長さに設定し、映画タイプの画像データの場合には２〜８ブロックの長さに設定する、請求項２３または２４に記載の動き検出回路。
26. 前記オフセット調整部は、前記オフセットの大きさを、非映画タイプの画像データの場合には２ブロックの長さに設定し、映画タイプの画像データの場合には４ブロックの長さに設定する、請求項２３〜２５のうちのいずれかに記載の動き検出回路。
27. 前記オフセット調整部は、水平方向および垂直方向において異なるオフセットを設定する、請求項１８〜２６のうちのいずれかに記載の動き検出回路。
28. 前記オフセット調整部は、水平方向または垂直方向のいずれかにおいてオフセットを０に設定する、請求項２７に記載の動き検出回路。
29. 現在のブロックの位置からずれた位置にある前の画像のブロックについて検出された動きベクトルを含む複数の動きベクトルの候補の中から、前記現在のブロックの動きベクトルを選択し、当該現在のブロックに、選択された動きベクトルを割り当てるセレクタをさらに備える、請求項１８〜２８のうちのいずれかに記載の動き検出回路。
30. 前記セレクタは、
    動きベクトルの候補のそれぞれについて誤差値を算出する処理部と、
    最小の誤差を有する動きベクトルを選択する比較器と、
    を備える、請求項２９に記載の動き検出回路。
31. 前記ベクトルの候補は、
    現在のブロックと同一のブロック位置を指示するゼロ動きベクトル、
    現在の画像において隣接するブロックについて決定された動きベクトル、および
    現在の画像において隣接するブロックについて決定された動きベクトルであって、ベクトル長が最新ベクトルを付加することによって変化した動きベクトルのうちの少なくとも１つの動きベクトルを含む、請求項２９または３０に記載の動き検出回路。
32. 請求項１８〜３１のうちのいずれかに記載の動き検出回路を用いた動き補償器を備えたビデオ画像のシーケンスを符号化する符号化器。
33. 請求項１８〜３１のいずれかに記載の動き検出回路を用いた動き補償器を備えたビデオ画像のシーケンスを補間する補間器。