JP2008113292A - 動き推定方法，装置，そのプログラムおよびその記録媒体 - Google Patents

Abstract

【課題】高フレームレート映像信号に対する符号化処理において，複数参照フレームを用いた整数画素精度の変移量推定を高速に実行できるようにする。
【解決手段】フレーム間予測を伴う動画像符号化において，複数の参照フレームを用いた動き補償を利用する場合，一定の空間変移に必要な時間変移量を重み値とする，処理対象フレーム内の該空間変移の距離にある画素間の空間輝度勾配と隣接フレーム間の時間輝度勾配との加重和からなるコスト関数を最小化する時間変移量を求め（Ｓ１０１〜Ｓ１１１），求めた時間変移量に対応するフレーム，またはさらにその前後の複数フレームを参照フレームとして動き推定を行う（Ｓ１１２，Ｓ１１３）。
【選択図】図１

Description

本発明は，高能率画像信号符号化方法に関し，特に，複数の参照フレームを用いた動き補償を利用するフレーム間予測を伴う動画像符号化において，整数画素精度の変移量推定を高速化するための動き推定方法，装置，そのプログラムおよびその記録媒体に関するものである。

近年，臨場感あふれる大画面のスポーツ映像やデジタルシネマに代表される超高画質映像への期待が高まっている。これを受けて，映像の高画質化に関する研究が精力的に行われている。超高画質映像の実現には，次の四要素が必要である。すなわち，空間解像度，画素値深度，色再現性，時間解像度である。これを受けて，前者の三要素については，デジタルシネマ等の応用およびナチュラルビジョンプロジェクトにおいて検討が進められている。

しかし，被写体の自然な動きを表現するために不可欠な時間解像度の向上，すなわち，映像の高フレームレート化については，充分な検討がなされていない。Spillmann らによれば，網膜の出力細胞である神経節細胞が出力するパルス数の上限は毎秒３００〜４００個程度であるとする生理学的な知見が示されている。このため，人の視覚系は最も短くて１／１５０〜１／２００秒程度までの発光の違いを知覚できると推察される。これは，知覚可能なフレームレートの検知限が，１５０〜２００［フレーム／秒］であることを意味する。現行映像のフレームレートである３０，６０［フレーム／秒］は，フリッカーの検知限から定められたものであり，自然な動きを表現するのに十分な値ではない。

一方，映像の超高画質化はデータ量の爆発的な増加を招くため，効率的な符号化方法が必要となる。動画像データの時間軸方向の冗長度削減には，動き補償によるフレーム間予測が有効である。動き補償を用いて予測誤差の低減を図る場合，動き推定による正確なフレーム間の変移量推定が必要となる。高フレームレート映像に対して，隣接フレーム間の正確な変移量を推定する場合，１画素に満たない変移量が多く発生する可能性があるため，小数画素精度の動き推定が必要となる。例えば，１０００［フレーム／秒］の高フレームレート映像の場合，１／１０００画素精度程度の変移量が発生する可能性がある。

小数画素精度の動き推定において，参照フレーム内の小数画素位置の画素値を得るためには，補間フィルタを用いる。しかし，一般的に，補間フィルタの低域通過特性による制約のため，１／４ないし１／８画素精度の補間によって，予測性能は飽和することが報告されている。このため，補間フィルタを用いた小数画素精度の動き推定によって，高フレームレート映像に含まれる微小な変移量に対応することには限界がある。

一方，動き補償時に複数フレームを参照フレームとして利用する方法（複数参照フレーム）がある。高フレームレート映像の場合，時間軸方向のサンプリングを密に行っているため，当該フレームと整数画素位置で対応付けが行えるフレームが存在する可能性が高い。つまり，当該フレームと参照フレーム間の変移量が整数画素精度で表せるフレームが存在する可能性が高い。

変移量が整数画素精度で表せれば，補間フィルタ処理が不要となり，予測誤差を低く抑える可能性が高まる。このため，高フレームレート映像に対する動き補償では，複数参照フレームを用いた整数画素精度の動き補償が有効といえる。しかし，総当りで変移量を求めるとなると，参照フレームの対象となるフレーム数が増加するため，計算量，消費メモリ共に増大する。例えば，１［pixel/sec ］の変移量をもつ画素の場合，フレームレートが１０００［frames/sec］のフレームに対して，動き補償による変移量推定を行う場合，１０００［frames］を参照フレームとして変移量の推定を行う必要がある。このため，参照フレームを絞り込む手段が必要となる。

複数参照フレームに対する動き探索の高速化に関して，以下のような検討が行われている。下記の非特許文献１では，隣接フレームに対して動き探索を行い，その探索結果に対して，運動の等速性を仮定して他の参照フレームでの動き探索の範囲を絞り込んでいる。この非特許文献１に示されているような従来手法は，小数画素精度での動き探索の演算量低減を目指した手法である。このため，整数画素精度の動き探索を行うための参照フレームの絞込みについては，考慮していない。さらに，隣接フレームで得られた動き探索結果を基に外挿を行うことが前提の手法である。このため，上述の場合のように，隣接フレームに限定せず，整数画素精度で動き探索を行うための参照フレームを設定する場合には，演算量の低減は期待できない。
松尾翔平，永吉功，花村剛，富永英義，"複数参照フレームを用いた効率的動き探索に関する検討"，電子情報通信学会研究報告，2005-AVM-50 ，Oct. 2005

本発明はかかる事情に鑑みてなされたものであって，高フレームレート映像信号に対する符号化処理において，複数参照フレームを用いた整数画素精度の変移量推定を行う場合，高速な動き推定方法を確立することを目的とする。

上記課題を解決するため，本発明は，以下の方法を用いる。なお，画素値として輝度の値を用いる例を説明するが，輝度以外の画素値を用いてもよい。

第一の発明では，フレーム間予測を伴う動画像符号化において，１または複数の参照フレームを用いた動き補償（複数参照フレーム動き補償）を利用する場合，一定の空間変移に必要な時間変移量を重み値とする，処理対象フレーム内の該空間変移の距離にある画素間の空間輝度勾配と隣接フレーム間の時間輝度勾配との加重和からなるコスト関数を最小化する時間変移量を求め，求めた時間変移量に対応するフレームを参照フレームとして動き推定を行う。または求めた時間変移量に対応するフレームとその前後の複数フレームとを参照フレームとして動き推定を行う。

また，第二の発明では，フレーム間予測を伴う動画像符号化において，１または複数の参照フレームを用いた動き補償（複数参照フレーム動き補償）を利用する場合，局所領域内の各画素に対して，一定の空間変移に必要な時間変移量を，当該フレーム内の該空間変移の距離にある画素間の輝度勾配と隣接フレーム間の輝度勾配との比により推定し，推定された時間変移量に基づき，この局所領域内の該時間変移量のヒストグラムを生成し，同ヒストグラムにおける最大頻度の時間変移量を求め，該時間変移量に対応するフレームを参照フレームとして動き推定を行う。または該時間変移量に対応するフレームとその前後の複数フレームとを参照フレームとして動き推定を行う。詳しくは，以下のとおりである。

［第一の発明］
以下では，簡単のため１次元信号を例にとり説明する。第ｔフレームの位置ｘにおける画素値をｆ（ｘ，ｔ）とする。フレーム間隔をΔ_t とする。平行移動モデルを仮定し，１画素の変移に必要なフレーム数（時間変移量）をｂとすると，次式の関係が成り立つ。

ｆ（ｘ，ｔ）＝ｆ（ｘ−１，ｔ−ｂΔ_t ） （１）
上式の右辺はテイラー展開の一次近似により，次式のように近似できる。

さらに，上式の右辺の第２項を差分近似する。

以上の関係を用いて，以下の式を得る。

上式の両辺が等しいものとして，ｂについて解くと，次式を得る。

上式は，各画素に対する１画素の変移に必要な時間変移量を与える。

さらに，変移量を一般化して，ａ画素の変移に必要なフレーム数（時間変移量）をｂ_a とすると，前述と同様に考えれば，次式が得られる。なお，ａは整数とする。

上式は，各画素に対するａ画素の変移に必要な時間変移量を与える。式（５）で示したｂは，式（６）においてａ＝１とした場合であり，ｂ₁ にあたる。

一方，符号化効率の観点からは，複数画素に対して，共通の時間変移量を与えることが望ましい。そこで，局所領域内の各点の時間変移量が等しいと仮定して，局所領域内で上記の関係式が最小二乗誤差の意味で最もよく当てはまるｂ_a を推定する。つまり，局所領域Ｒで次式を最小化する時間変移量を求める。

ここで，argmin_b は，次に続く関数を最小化するｂを返す。このコスト関数Ｅ（ｂ_a ）は，次式の通りである。

式（８）において，
ｅ_s （ｘ，ｔ，ａ）＝ｆ（ｘ−ａ，ｔ）−ｆ（ｘ，ｔ），および，
ｅ_t （ｘ，ｔ，ａ）＝ｆ（ｘ−ａ，ｔ−Δ_t ）−ｆ（ｘ−ａ，ｔ）
とおくと，Ｅ（ｂ_a ）は以下の通り，展開できる。なお，ｅ_s （ｘ，ｔ，ａ）を空間輝度勾配，ｅ_t （ｘ，ｔ，ａ）を時間輝度勾配と呼ぶ。

従って，上式を最小化するｂの値は，次式となる。

ｆ（ｘ，ｔ）に対する動き推定は，式（７）で示したフレーム間隔ｂ_opt に基づき，フレームｆ（ｘ，ｔ−ｂ_opt Δ_t ）を参照フレームとして，整数画素精度の動き推定を行う。なお，詳しくは第二の発明で説明するように，さらにフレームｆ（ｘ，ｔ−ｂ_opt Δ_t ）の前後の複数フレームを参照フレームとしてもよい。

［第二の発明］
式（６）を用いて，局所領域Ｒ内の全画素について，時間変移量を求める。この結果得られるｆ（ｘ，ｔ）（ｘ∈Ｒ）における時間変移量をｂ（ｘ，ｔ，ａ）とおく。ｂ（ｘ，ｔ，ａ）（ｘ∈Ｒ）の頻度が最多となる値をｂ_opt として，第（ｔ−ｂ_opt ）フレームを参照フレームとする。

さらに，その第（ｔ−ｂ_opt ）フレームの前後の複数フレーム（２Ｍ−１フレーム）を参照フレームとしてもよい。この場合には，第τフレーム（ｔ−ｂ_opt −Ｍ≦τ＜ｔ−ｂ_opt ＋Ｍ）が動き推定の探索対象となる参照フレームとなる。ここで，Ｍは整数とし，Ｍの値は外部から与えられるものとする。Ｍの値を外部から与える手段を持たない場合には，内部で同値を生成するものとする。例えば，ｂ（ｘ，ｔ，ａ）（ｘ∈Ｒ）の最大頻度の確率をｒとすると，Ｍを次式で与える。

なお，ここでＦはシーケンスのフレームレートであり，Ｎは領域Ｒ内の画素数である。

本発明により，参照フレームを隣接フレームに制限しない動き推定を高フレームレート映像に適用する際，整数画素精度の動き推定の探索対象となる参照フレームを高速に定めることが可能となる。これにより，変移量を高速に推定することが可能となる。整数画素精度の動き推定により変移量を推定することで，補間フィルタの適用に伴う参照信号内の高周波成分の欠落を回避できるため，動き補償フレーム間予測における予測残差を低減することができる。

以下では，動き推定対象フレームの画素値ｆ（ｘ，ｔ）を当該フレームの当該画素値と呼び，ｆ（ｘ−ａ，ｔ）を当該フレームの変移位置画素値と呼び，ｆ（ｘ−ａ，ｔ−Δ_t ）を隣接フレームの変移位置画素値と呼ぶ。

［動き推定処理の流れ（実施例１）］
実施例１の動き推定処理の流れについて，図１を参照して説明する。

ステップＳ１０１：空間変移量ａを読み込み，記憶する。この空間変移量ａは，本実施例では，符号化時のパラメータとして外部から与えられるものとする。例えば，ａ＝１というように，あらかじめ定められている場合には，この空間変移量の読込み処理は不要である。

ステップＳ１０２：当該フレームをフレームバッファに読み込む。なお，当該フレームのフレーム番号をｔとする。

ステップＳ１０３：当該フレームの隣接フレームをフレームバッファに読み込む。

ステップＳ１０４：レジスタＡ１，Ａ２を零値に初期化する。

ステップＳ１０５：読み込んだ空間変移量ａをもとに，当該フレームの処理対象画素値ｆ（ｘ，ｔ），および当該フレームの変移位置画素値ｆ（ｘ−ａ，ｔ）をフレームバッファから読み出し，それらの値の差分を求める処理を行い，結果をレジスタＥｓに書き出す。

ステップＳ１０６：読み込んだ空間変移量ａをもとに，当該フレームの変移位置画素値ｆ（ｘ−ａ，ｔ），および隣接フレームの変移位置画素値ｆ（ｘ−ａ，ｔ−Δ_t ）を各フレームバッファから読み出し，それらの値の差分を求める処理を行い，求めた結果をレジスタＥｔに書き出す。

ステップＳ１０７：レジスタＥｔの値を読み込み，同値の二乗値を求め，求めた結果をレジスタＡ１の値と加算し，加算結果をレジスタＡ１に書き出す。

ステップＳ１０８：レジスタＥｓ，Ｅｔの値を読み込み，両値の積を求め，求めた結果をレジスタＡ２の値と加算し，加算結果をレジスタＡ２に書き出す。

ステップＳ１０９，Ｓ１１０：局所領域Ｒ内の全ての画素について処理を終えたかどうかを判定し，処理を終えたならば，ステップＳ１１１へ進む。そうでなければ，処理対象画素を局所領域Ｒ内の次の画素とし，ステップＳ１０５〜Ｓ１０８の処理を同様に繰り返す。

ステップＳ１１１：レジスタＡ１，Ａ２の値を読み込み，Ａ１の値を用いたＡ２の値に対する除算処理を行い，結果をレジスタｂに書き出す。

ステップＳ１１２：レジスタｂの値，参照フレーム枚数を格納したＭの値を読み込み，第（ｔ−ｂ−Ｍ）フレームから第（ｔ−ｂ＋Ｍ）フレームまでの２Ｍ＋１フレームを動き推定の探索対象となる参照フレームとして，フレームバッファに書き出す。ｔは当該フレームのフレーム番号である。

ステップＳ１１３：ステップＳ１０２で書き出したフレームバッファ内の当該フレームの画素値，およびステップＳ１１２で書き出したフレームバッファ内の参照フレームの画素値を入力として読み込み，動き推定処理を行い，推定された変移量をレジスタに書き出す。なお，具体的な動き推定手法は外部より与えられるものとする。動き推定手法としては，例えばブロックマッチングに基づく動き推定がある。

［動き推定装置（実施例１）］
図２は，実施例１の動き推定装置の構成図である。図２を参照して，実施例１の動き推定装置を説明する。

当該フレーム読込み部１０１：当該フレームを読み込み，当該フレーム記憶部１０２に格納する。

空間変移量読込み部１０３：空間変移量ａを読み込み，空間変移量記憶部１０４に格納する。

隣接フレーム読込み部１０５：当該フレームを読み込み，隣接フレーム記憶部１０６に格納する。

参照フレーム数読込み部１０７：参照フレーム数Ｍを読み込み，参照フレーム数記憶部１０８に格納する。

空間輝度勾配算出部１０９：空間変移量記憶部１０４内の空間変移量ａをもとに，当該フレーム記憶部１０２から当該フレームの処理対象画素値ｆ（ｘ，ｔ）と，当該フレームの変移位置画素値ｆ（ｘ−ａ，ｔ）とを読み出し，両画素値の差分を求める処理を行い，求めた結果を空間輝度勾配記憶部１１０に書き出す。

時間輝度勾配算出部１１１：空間変移量記憶部１０４内の空間変移量ａをもとに，当該フレーム記憶部１０２から当該フレームの変移位置画素値ｆ（ｘ−ａ，ｔ）を読み出し，隣接フレーム記憶部１０６から隣接フレームの変移位置画素値ｆ（ｘ−ａ，ｔ−Δ_t ）を読み出し，両値の差分を求める処理を行い，求めた結果を時間輝度勾配記憶部１１２に書き出す。

積算処理部１１３：空間輝度勾配記憶部１１０の値，および時間輝度勾配記憶部１１２の値を入力として読み込み，両値の積演算を行い，演算結果を積算値記憶部１１４に書き出す。

二乗演算処理部１１５：時間輝度勾配記憶部１１２の値を入力として読み込み，同値に対する二乗演算を行い，演算結果を二乗値記憶部１１６に書き出す。

最終画素判定処理部１１７：以上の処理を局所領域内の全ての画素について繰り返す制御を行う。

除算処理部１１８：二乗値記憶部１１６の値，積算値記憶部１１４の値を入力として読み込み，後者を前者で除する演算を行い，整数値に丸める処理を行い，結果を除算値記憶部１１９に書き出す。

参照フレーム読込み部１２０：除算値記憶部１１９の値，参照フレーム数記憶部１０８の値を入力として読み込み，両値を各々，ｂ，Ｍとすると，第（ｔ−ｂ−Ｍ）フレームから第（ｔ−ｂ＋Ｍ）フレームまでの２Ｍ＋１フレームを動き推定の探索対象となる参照フレームとして，参照フレーム記憶部１２１に書き出す。ｔは当該フレームのフレーム番号である。

動き推定処理部１２２：当該フレーム記憶部１０２の当該フレームの画素値，参照フレーム記憶部１２１の参照フレームの画素値を入力として読み込み，動き推定処理を行い，推定された変移量を変移量記憶部１２３に書き出す。なお，具体的な動き推定手法は外部より与えられるものとする。例えば，ブロックマッチングに基づく動き推定がある。

［動き推定処理の流れ（実施例２）］
実施例２の動き推定処理の流れについて，図３を参照して説明する。

ステップＳ２０１〜Ｓ２０３：実施例１のステップＳ１０１〜Ｓ１０３と同じである。

ステップＳ２０４：ヒストグラムＨの各要素を零値に初期化する。

ステップＳ２０５，Ｓ２０６：実施例１のステップＳ１０５，Ｓ１０６と同じである。

ステップＳ２０７：レジスタＥｓ，Ｅｔの値を読み込み，両値の除算Ｅｓ／Ｅｔを行い，求めた結果を整数値に丸める処理を行い，結果をレジスタｂに書き出す。

ステップＳ２０８：レジスタｂの値，ヒストグラムＨを入力として読み込み，ヒストグラムＨの第ｂ要素の頻度に１を加算し，加算後の頻度をヒストグラムＨの第ｂ要素の頻度として上書きする。

ステップＳ２０９，Ｓ２１０：局所領域Ｒ内の全ての画素について処理を終えたかどうかを判定し，処理を終えたならば，ステップＳ２１１へ進む。そうでなければ，処理対象画素を局所領域Ｒ内の次の画素とし，ステップＳ２０５〜Ｓ２０８の処理を同様に繰り返す。

ステップＳ２１１：ヒストグラムＨを入力として読み込み，同ヒストグラムにおける最大頻度を有する要素の値を求め，レジスタｂに書き出す。

ステップＳ２１２，Ｓ２１３：実施例１のステップＳ１１２，Ｓ１１３と同じである。

［動き推定装置（実施例２）］
図４は，実施例２の動き推定装置の構成図である。図４を参照して，実施例２の動き推定装置を説明する。

当該フレーム読込み部２０１：当該フレームを読み込み，当該フレーム記憶部２０２に格納する。

空間変移量読込み部２０３：空間変移量ａを読み込み，空間変移量記憶部２０４に格納する。

隣接フレーム読込み部２０５：当該フレームを読み込み，隣接フレーム記憶部２０６に格納する。

参照フレーム数読込み部２０７：参照フレーム数Ｍを読み込み，参照フレーム数記憶部２０８に格納する。

空間輝度勾配算出部２０９：空間変移量記憶部２０４内の空間変移量ａをもとに，当該フレーム記憶部２０２から当該フレームの処理対象画素値ｆ（ｘ，ｔ）と，当該フレームの変移位置画素値ｆ（ｘ−ａ，ｔ）とを読み出し，両画素値の差分を求める処理を行い，求めた結果を空間輝度勾配記憶部２１０に書き出す。

時間輝度勾配算出部２１１：空間変移量記憶部２０４内の空間変移量ａをもとに，当該フレーム記憶部２０２から当該フレームの変移位置画素値ｆ（ｘ−ａ，ｔ）を読み出し，隣接フレーム記憶部２０６から隣接フレームの変移位置画素値ｆ（ｘ−ａ，ｔ−Δ_t ）を読み出し，両値の差分を求める処理を行い，求めた結果を時間輝度勾配記憶部２１２に書き出す。

除算処理部２１３：空間輝度勾配記憶部２１０の値，および時間輝度勾配記憶部２１２の値を入力として読み込み，前者を後者で除する演算を行い，整数値に丸める処理を行い，結果を除算値記憶部２１４に書き出す。

ヒストグラム更新部２１５：除算値記憶部２１４の値，およびヒストグラムを入力として読み込み，除算値記憶部２１４の値をｂとすると，ヒストグラムの第ｂ要素の頻度に１を加算し，加算後の頻度をヒストグラムの第ｂ要素の頻度として，ヒストグラム記憶部２１６に書き出す。

最終画素判定処理部２１７：以上の処理を局所領域内の全ての画素について繰り返す制御を行う。

最大頻度要素検出部２１８：ヒストグラム記憶部２１６のヒストグラムを入力として読み込み，同ヒストグラムにおける最大頻度を有する要素の値を求め，この値を最大頻度要素記憶部２１９に書き出す。

参照フレーム読込み部２２０：最大頻度要素記憶部２１９の値，参照フレーム数記憶部２０８の値を入力として読み込み，両値を各々，ｂ，Ｍとすると，第（ｔ−ｂ−Ｍ）フレームから第（ｔ−ｂ＋Ｍ）フレームまでの２Ｍ＋１フレームを動き推定の探索対象となる参照フレームとして，参照フレーム記憶部２２１に書き出す。ｔは当該フレームのフレーム番号である。

動き推定処理部２２２：当該フレーム記憶部２０２の当該フレームの画素値，参照フレーム記憶部２２１の参照フレームの画素値を入力として読み込み，動き推定処理を行い，推定された変移量を変移量記憶部２２３に書き出す。なお，具体的な動き推定手法は外部より与えられるものとする。例えば，ブロックマッチングに基づく動き推定がある。

説明を分かりやすくするために，１次元信号を例にとり説明したが，本実施例の説明から本技術を２次元の画像信号に容易に適用することができることは言うまでもない。

以上の動き推定の処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

実施例１の動き推定処理の流れを示すフローチャートである。 実施例１の動き推定装置の構成図である。 実施例２の動き推定処理の流れを示すフローチャートである。 実施例２の動き推定装置の構成図である。

符号の説明

１０１，２０１ 当該フレーム読込み部
１０２，２０２ 当該フレーム記憶部
１０３，２０３ 空間変移量読込み部
１０４，２０４ 空間変移量記憶部
１０５，２０５ 隣接フレーム読込み部
１０６，２０６ 隣接フレーム記憶部
１０７，２０７ 参照フレーム数読込み部
１０８，２０８ 参照フレーム数記憶部
１０９，２０９ 空間輝度勾配算出部
１１０，２１０ 空間輝度勾配記憶部
１１１，２１１ 時間輝度勾配算出部
１１２，２１２ 時間輝度勾配記憶部
１１３ 積算処理部
１１４ 積算値記憶部
１１５ 二乗演算処理部
１１６ 二乗値記憶部
１１７，２１７ 最終画素判定処理部
１１８，２１３ 除算処理部
１１９，２１４ 除算値記憶部
１２０，２２０ 参照フレーム読込み部
１２１，２２１ 参照フレーム記憶部
１２２，２２２ 動き推定処理部
１２３，２２３ 変移量記憶部
２１５ ヒストグラム更新部
２１６ ヒストグラム記憶部
２１８ 最大頻度要素検出部
２１９ 最大頻度要素記憶部

Claims (6)

1. １または複数の参照フレームを用いた動き補償を利用するフレーム間予測を伴う動画像符号化における動き推定方法において，
   処理対象フレームにおける処理対象画素と，その処理対象画素から所定の整数画素分の空間変移量だけ離れた画素との間の空間画素値勾配を算出する空間画素値勾配算出ステップと，
   当該処理対象フレームにおける前記処理対象画素から前記空間変移量だけ離れた変移位置画素と，隣接フレームにおける前記変移位置画素に対応する位置にある変移位置画素との間の時間画素値勾配を算出する時間画素値勾配算出ステップと，
   前記空間画素値勾配と前記時間画素値勾配との，前記空間変移量に必要な時間変移量を重み値とする加重和からなるコスト関数を最小化する時間変移量を算出する時間変移量算出ステップと，
   前記算出された時間変移量に対応するフレーム，またはさらにその前後の複数フレームを参照フレームとして，動き補償における動きを推定する動き推定ステップとを有する
   ことを特徴とする動き推定方法。
2. １または複数の参照フレームを用いた動き補償を利用するフレーム間予測を伴う動画像符号化における動き推定方法において，
   処理対象フレームにおける処理対象画素と，その処理対象画素から所定の整数画素分の空間変移量だけ離れた画素との間の空間画素値勾配を，当該処理対象フレームにおける局所領域内の各画素について算出する空間画素値勾配算出ステップと，
   当該処理対象フレームにおける前記処理対象画素から前記空間変移量だけ離れた変移位置画素と，隣接フレームにおける前記変移位置画素に対応する位置にある変移位置画素との間の時間画素値勾配を，当該処理対象フレームにおける局所領域内の各画素について算出する時間画素値勾配算出ステップと，
   前記空間画素値勾配と前記時間画素値勾配との比を算出し，前記局所領域内の各画素ごとの時間変移量を推定する時間変移量推定ステップと，
   推定された各画素ごとの時間変移量に基づき，この局所領域内の全画素に対する時間変移量のヒストグラムを生成し，該ヒストグラムにおける最大頻度の時間変移量を求める時間変移量算出ステップと，
   前記算出された時間変移量に対応するフレーム，またはさらにその前後の複数フレームを参照フレームとして，動き補償における動きを推定する動き推定ステップとを有する
   ことを特徴とする動き推定方法。
3. １または複数の参照フレームを用いた動き補償を利用するフレーム間予測を伴う動画像符号化における動き推定装置において，
   処理対象フレームにおける処理対象画素と，その処理対象画素から所定の整数画素分の空間変移量だけ離れた画素との間の空間画素値勾配を算出する空間画素値勾配算出手段と，
   当該処理対象フレームにおける前記処理対象画素から前記空間変移量だけ離れた変移位置画素と，隣接フレームにおける前記変移位置画素に対応する位置にある変移位置画素との間の時間画素値勾配を算出する時間画素値勾配算出手段と，
   前記空間画素値勾配と前記時間画素値勾配との，前記空間変移量に必要な時間変移量を重み値とする加重和からなるコスト関数を最小化する時間変移量を算出する時間変移量算出手段と，
   前記算出された時間変移量に対応するフレーム，またはさらにその前後の複数フレームを参照フレームとして，動き補償における動きを推定する動き推定手段とを備える
   ことを特徴とする動き推定装置。
4. １または複数の参照フレームを用いた動き補償を利用するフレーム間予測を伴う動画像符号化における動き推定装置において，
   処理対象フレームにおける処理対象画素と，その処理対象画素から所定の整数画素分の空間変移量だけ離れた画素との間の空間画素値勾配を，当該処理対象フレームにおける局所領域内の各画素について算出する空間画素値勾配算出手段と，
   当該処理対象フレームにおける前記処理対象画素から前記空間変移量だけ離れた変移位置画素と，隣接フレームにおける前記変移位置画素に対応する位置にある変移位置画素との間の時間画素値勾配を，当該処理対象フレームにおける局所領域内の各画素について算出する時間画素値勾配算出手段と，
   前記空間画素値勾配と前記時間画素値勾配との比を算出し，前記局所領域内の各画素ごとの時間変移量を推定する時間変移量推定手段と，
   推定された各画素ごとの時間変移量に基づき，この局所領域内の全画素に対する時間変移量のヒストグラムを生成し，該ヒストグラムにおける最大頻度の時間変移量を求める時間変移量算出手段と，
   前記算出された時間変移量に対応するフレーム，またはさらにその前後の複数フレームを参照フレームとして，動き補償における動きを推定する動き推定手段とを備える
   ことを特徴とする動き推定装置。
5. 請求項１または請求項２記載の動き推定方法を，コンピュータに実行させるための動き推定プログラム。
6. 請求項１または請求項２記載の動き推定方法を，コンピュータに実行させるための動き推定プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images