JP3537616B2 - ビデオシーケンスの時間的に順次連続する画像の画素に対する、計算機による動き予測方法 - Google Patents
ビデオシーケンスの時間的に順次連続する画像の画素に対する、計算機による動き予測方法Info
- Publication number
- JP3537616B2 JP3537616B2 JP34383696A JP34383696A JP3537616B2 JP 3537616 B2 JP3537616 B2 JP 3537616B2 JP 34383696 A JP34383696 A JP 34383696A JP 34383696 A JP34383696 A JP 34383696A JP 3537616 B2 JP3537616 B2 JP 3537616B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- motion vector
- value
- cost function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Television Systems (AREA)
Description
の時間的に順次連続する画像の画素に対する、計算機に
よる動き予測方法に関する。
オブジェクトに基づく画像符号化方法の領域では、ビデ
オシーケンスの個々の画像のブロックないしオブジェク
トに対して良質の動き予測をすることが重要である。こ
れは、必要な伝送容量を可能な限り節約する場合に、ビ
デオデータ流の受信器側で良質の再現画像を得るためで
ある。
像の個々の画素(ピクセル)の輝度情報および/または
色彩情報を符号化する代わりに、所定のブロックないし
オブジェクトの形状と、2つの順次連続する画像間のブ
ロックないしオブジェクトに関する別の情報を符号化
し、これを受信器に伝送すればよいだけである。
る画像間のブロックないりオブジェクトのずれを含むこ
とができる。
た符号化によって、必要な伝送容量を格段に節約するこ
とができる。
き予測の基礎は例えば次の刊行物に記載されている。R.
Mester, M.Hoetter, Zuverlaessigkeit und Effizienz
vonVerfahren zur Verschiebunngsvektorschaetzung, M
ustererkennung, 1995, Infomatik Aktuell, Springer
Verlag, 285-294ページ; Liu et al. Method and Appar
atus for determining motion vectors for image sequ
ences, US-Patent-Nr. 5,398,068, 1995; F. Dufaux an
d F. Moscheni, Motion Techniques for digital TV: A
Review and a New Contributin, Proceedings of the
IEEE, Vol. 83, Nr.6, 858-876ページ, June 1995。
ある(H. Sakoe et al, Dynamic Programming Algorith
m Optimization for Spoken Word Recognition, IEEE T
ransactkons, Vol.ASSP-26, No. 1, 43-49ページ, 197
8)。
(ダイナミック・プログラミング・アルゴリズム、DP
法)を画像処理で、例えばいわゆるステレオ対応(D. G
eigeret al, Occlutions and Binocular Stereo, Inter
n. Jounal of Computer Visin, No.14, Kluwer Academi
c Publishers Boston, 211-226ページ、1995)と関連し
て使用することが公知である。
ある。DP法で使用されるコスト関数によって、画素に
割り当てられた動きベクトルが次のように強調される。
すなわち、動きベクトルが平面全体、すなわち分類すべ
きオブジェクト内で大きな差を有するのではなく、動き
ベクトル間で大きな跳躍が発生しないように強調される
ように構成されるという欠点がある(単調な強制)。こ
れによって、オブジェクト内で画素に対して良質の動き
予測が達成されるが、しかしこの方法はオブジェクトの
エッジの画素に対してはとくに不十分である。というの
は、これらの画素はこの方法においてはオブジェクトエ
ッジ画素として分類されるのではなく、間違ってマスク
として分類されるからである。
ゆるステレオ対応の枠内で使用する別の方法が公知であ
る(I. Cox et al, Stereo Without Regularization, N
EC Reseach Institute, Peinceton, NJ 08540, 1-31ペ
ージ, 1992)。
最適化空間でしか実行で気にという欠点を有する。この
ことは、一方向、例えばスキャンラインの方向のオブジ
ェクトの動きしか確実に識別されないことを意味する。
しかしオブジェクトが急速に別の方向に運動すると、す
でに述べたように、オブジェクトがDP法によって“発
見”されなくなることもある。そのために、個々の画素
がこの方法によってエラーのある動きベクトルに割り当
てられてしまう。
オシーケンスの画像のオブジェクトエッジにおける個々
の画素に正しい動きベクトルを割り当てることのできる
動き予測方法を提供することである。
り、 a)符号化すべき画像の各画素毎に輝度勾配を検出し; b)符号化すべき画像の各画素毎にコスト関数を検出
し; c)前記コスト関数に基づいて、各画素に対してダイナ
ミック・プログラミングを実行し; d)ダイナミック・プログラミングによって検出された
動きベクトルを前記画素に割り当てる; ただし前記コスト関数は第1の項と第2の項を有してお
り、前記第1の項は、符号化すべき画像の領域の画素の
輝度値と、時間的に先行する画像であって、前記符号化
すべき画像に対してずらされている画像の同形状の領域
の画素の輝度値との一致を表わすものであり、また前記
第1の項によってコスト関数の値は、スキャンラインに
順次並んで存在する画素の動きベクトルの値の差に相応
して高められるものであり、前記第2の項によってコス
ト関数の値が、輝度勾配が上昇するときに低減されるも
のである、ことを特徴とする予測方法により解決され
る。
て、次のような各個々の画素に対してコスト関数が使用
され、この値は画素の動きベクトルの値の差が大きくな
ると高められる。前記画素は、スキャンラインに並んで
存在し、その値は個々の画素の輝度勾配が大きくなると
低減されるような画素である。
格段に改善される。なぜなら、最適化がスキャンライン
に沿って全体的に行われるのではなく、付加項によって
個々のオブジェクト内で実行されるようになるからであ
る。このことは、オブジェクトのエッジも最適化の際に
DP法によって考慮されることを意味する。
記載されている。
は3次元最適化領域(探索領域とも称する)を使用す
る。
る値 DPアルゴリズムに対する最適化空間を拡張することに
よって、次のようなオブジェクトを識別することができ
る。すなわち、時間的に順次連続する画像間にあり、第
1の方向とは異なる第2の方向で大きくずれるオブジェ
クトを識別することができ、したがって個々の画素に対
する動き予測を正確に実行することができる。
ある領域をマスクとして間違って分類されることが回避
される。
に沿って全体として実行されるのではなく、スキャンラ
インはオブジェクトのエッジが検知されたか否かに依存
して個々のセグメントに分割される。スキャンラインの
画素がエッジ画素(それぞれの画素の輝度勾配の値が高
められている)として分類されると、画素の高められた
輝度勾配が、正規化に用いるDPアルゴリズムのコスト
関数の部分に及ぼす影響が“減衰”される。このことに
よってスキャンラインは、エッジによって相互に画定さ
れた個々のオブジェクトに対応するセグメントに分割さ
れる。
順次連続する画像の画素をマッチングするために、矩形
または正方形の領域が使用される。それぞれの画素を取
り囲むこの領域内では、この領域内にある個々の画素の
輝度値が加算され、正規化され、相互に比較される。
に説明する。
e et al, Dynamic Programming Optimisation for Spok
en Word Recogniton, IEEE Transaction, Vol.ASSP-26,
No.1, 43-49ページ、1978 に記載されている。
変換をダイナミック・プログラミング方法は目的として
おり、ビデオシーケンスの第1の画像のスキャンライン
が時間的に第1の画像に後続する第2の画像の領域と最
大の確率で一致することを検出し、これによりそれぞれ
のスキャンライン上に存在する画素に対して動き予測が
実行される。
適解を求めるために先験的な統計的情報並びに所定の検
出規則を必要とする最適化法である。
の画素n−1が動きベクトル値dを有する確率である。
第1の画素n−1が動きベクトル値dを有するという条
件のもとで第2の画素nが別の動きベクトル値d’を有
する確率である。
ベクトル値dと同じでも、または異なっていても良い。
割り当てられたすべての動きベクトル値に当てはまるこ
とがわかる。第1の画素n−1と第2の画素nは、同じ
走査線上にあって隣接する2つの画素である。
て、ダイナミック・プログラム方法の実行後に既知であ
れば、これを最適化問題に書き換えることができ、ダイ
ナミック・プログラミング方法によって解くことができ
る。
ことと、各個々の画素に割り当てられた動きベクトル値
について以下詳細に説明する。
上にN個の画素を有する。ここでインデックスnは個々
の画素を示すためのものであり、間隔「0..N」であ
る。各画素に対してスキャンラインS上にある動きベク
トル値dがプロットされている。これらの動きベクトル
値はそれぞれの画素に割り当てることができる。
れており、スキャンラインSの個々の4つの画素に対し
ても4つの動きベクトル値だけが示されている。
る。これはダイナミック・プログラミング方法の理解を
容易にするものであり、本発明の一般的有効性を制限す
るものではない。
率がプロットされており、それぞれの画素nは相応する
動きベクトル値dを有する。例えば画素n=2が動きベ
クトル値d=3を有する場合はP(2、3)と示されて
いる。
続の画素に対して求める。個の確率は図1には例として
P(4、4|3、3)により示されている。これによ
り、画素n=3(n−1)が動きベクトル値d=3を有
するという条件のもとで画素n=4が別の動きベクトル
値d’=4を有する確率が示される。
と、割り当てられた動きベクトル値について以下さらに
説明する。
求められる。この評価は経路全体のそれぞれの発生確率
に対する尺度である。経路とは、動きベクトル値とそれ
ぞれの画素との個々の対応関係の組合せである。
つの画素間でスキャンラインのそれぞれの画素がもっと
も一致するときに生じる。
する際には、スタート点から目的の終点までの経路を考
慮すればよいだけである。
経路が可能な場合において残りの15の可能な経路は考
慮する必要がないことを意味する。D(i,j)によっ
て、iベクトル(これは画素jで終点する)の経路に対
する評価Cの最大値が示されている。
る(図1に示された例に対して)。
てられたそれぞれの動きベクトル値を表す。
路が例えば画素n=3で終点することを意味する。
対して実行される。ここでこの方法は部分的にそれぞれ
の画像の画素に対して左から右へ記録しながら実行され
る。すべてのスキャンラインで“0番目”の画素はn=
0で始まる。
には、すなわち最適の経路を検出するためには、この経
路を逆に追従できなければならない。そのためには、画
素のそれぞれ最適の先行過程とこの画素に割り当てられ
た動きベクトルとを各ベクトルについて全体経路で再発
見できなければならない。このことは、それぞれ最適の
先行過程をマークして記憶することによって達成され
る。このようにしていわゆるバックトラッキングが達成
され、スキャンラインSの画素について、動きベクトル
の最適の全体対応関係を検出することができる。
ナミック・プログラムイング方法を実行することのでき
る速度に対して非常に重要である。この探索領域は通常
は所定の仮定によって制限される。このような制限の例
は単調制限であり、これは画素の動きベクトルがオブジ
ェクト内で単調関数を形成するために使用される。この
ことは次の仮定によるものである。すなわち、オブジェ
クトのすべての画素は類似の動きベクトル値を有すると
いう仮定によるものである。なぜなら、オブジェクトの
位置は全体的に変化するからである。
像処理の問題は、順次連続する2つの画像間でオブジェ
クトを各任意の方向にずらすことができる、ということ
である。
の位置も2つの画像間で非常に高速に変化する。この問
題が図4のaとbに示されている。ここでは第1のオブ
ジェクトAが第2の画像42内で第1の画像41を基準
にして、水平方向と垂直方向にずれている。
方向にはずれていない。
画像42の領域との一致を得るために走査線rがスキャ
ンラインとしてダイナミック・プログラミング方法で使
用されるなら、公知の方法では図5aに示すように、第
1のオブジェクトAが垂直方向にずれたため一致の欠如
が検出される。ラインPによってそれぞれの一致点、す
なわち正しく分類された画素がこの画素に配属された動
きベクトル値によって表される。このことは図5aに示
されている。
画像41の輝度値と第2の画像42の画素の輝度値との
間で一致が検出されない。この理由からこの画素の領域
は間違っていわゆるマスクとして分類されてしまう。
きは次の処理によって補償される。すなわち、走査線r
を複数の別の走査線に“分割”するのである。
が示されている。
セグメントによって複数の走査線が示されている。ライ
ンPによってここでもそれぞれ一致点が図5bに示され
ている。
れの走査線rが示されている。この走査線は、第2の画
像42(図5a)の走査線rの1つ、または走査線rの
個々のセグメントと、本発明(図5b)による第2の画
像42の別の走査線r−kに対比されている。
垂直方向のずれが走査線rに対して示されている。
た別の走査線の数は任意であり、適用に依存する。
適化空間で行われる。
スキャンラインS上の画素nが、隣接する画素n−1が
動きベクトル(d1,d2)を有するという条件のもとで、
動きベクトル(d1',d2' )を有する確率を表す。P(n,
d1',d2')により画素nが動きベクトル(d1',d2')を有
する確率を表す。
明した処理が次のようにして実現される。すなわち、ダ
イナミック・プログラミング方法に対して使用される最
適空間を1次元だけさらに拡張するのである。
個々の画素nに対するそれぞれのコスト関数Tn
(d1,d2)の検出で考慮される。このことは、画素
nには走査線に沿って2つの値が割り当てられることを
意味する。すなわち、第1の方向に対する第1の動きベ
クトル値d1と第2の方向に対する第2の動きベクトル
値d2である。
沿って全体で実行されるのではなく、スキャンラインは
個々のセグメントに、オブジェクトのエッジが検出され
るか否かに依存して分割される。スキャンラインの画素
がエッジ点として分類されれば(このことはそれぞれの
画素の輝度勾配の値が高められていることを意味す
る)、画素の高められた輝度勾配がDPアルゴリズム
(正規化に用いる)のコスト関数に及ぼす影響が“減
衰”される。これによってスキャンラインは、エッジに
よって画定された個々のオブジェクトに相応するセグメ
ントに分割される。
ブジェクト内でだけ行われ、したがってオブジェクトエ
ッジでの分類エラーが回避される。
率および画素spに配属された動きベクトル(d1,d
2)が未知であれば、例えば次のようにして求めること
ができる。
まり可能なすべての第1の動きベクトル値d1と可能な
すべての第2の動きベクトル値d2に対してコスト関数
Tn(d1,d2)を次の規則に従って求めるのであ
る。コスト関数は基本的に前に説明した条件確率に相当
する。
値、d1はそれぞれ記録された第1の動きベクトル値 d2はそれぞれ記録された第2の動きベクトル値 (d1,d2)はそれぞれ記録された動きベクトル、2
τ+1は画素の第1の方向における領域の大きさ、2λ
+1は画素の第2の方向における領域の大きさ、N=
(2τ+2λ−1)*3は前記領域にある画素数、cは
正規化定数 WF1(i,j)は個所(i,j)での符号化すべき画
像の輝度値、WF2(i,j)は個所(i,j)での時
間的に先行する画像の輝度値である。
と一致することの検出を行うこの処理はブロックマッチ
ングと称される。
だけ実行することが普通であった。このことは次の“伝
統的”コスト関数につながる。
被検“ずれ方向”の1つにおける動きベクトル値が示さ
れる。
スト関数は付加的な被加数だけ拡張される。
次のように強調される。すなわち、動きベクトルが一体
的面内で、すなわち分類すべきオブジェクト内で大きな
差を有すのではなく、動きベクトル間で大きな跳躍が発
生しないように強調される(単調強制)。
Occlutions and Binocular stereo,Intern, Journal of
Computer Vision, No.14, Kluwer Accademic Publishe
rs,Boston, pp.211-226, 1995)。
してコスト関数の値が低減される。これによりオブジェ
クトの変化が分類の際に可能となる。
るオブジェクトに所属する隣接する画素の動きベクトル
値の大きな変化がコスト関数での高い値によって同じよ
うには処置されないからである。例えば、1つのオブジ
ェクト内に存在し、したがってオブジェクトエッジに存
在する画素よりも小さな輝度勾配を有する画素では同じ
ように処置されてしまう。
明の方法で適用することができる。
公知であり、その特性が固有の要請に関して研究されて
いる(D.Gerger et al, Occlutions and Binocular ste
reo,Intern, Journal of Computer Vision, No.14, Klu
wer Accademic Publishers,Boston, pp.211-226, 199
5)。可能な関数は図2にも示されている。
のように得られる。
明の方法に対する改善は次のようにして得られる。
沿った2つの隣接する画素の第1の方向d1ないし第2
の方向d2に対する動きベクトル値の差の大きさ、μ、
εは経験的に検出された2つの定数である。
利には、μ=0.3、ε=0.15である。
クト内の画素の動きベクトルが単調関数を形成する(単
調強制)。
のオブジェクトエッジの考慮は次のような関数によって
達成される。すなわち、f(x)ないしf(x1,x
2)がコスト関数に及ぼす影響をそれぞれの画素の輝度
勾配に依存して制御するような関数によって達成され
る。このことは、輝度勾配の上昇と共に関数f(x)な
いしf(x1,x2)の値が減衰、すなわち低減される
ようにして行われる。
のようにして得られる。
かしこの実施例は制限として理解すべきではなく、単な
る例である。具体的には指数関数が使用されるか、正規
化された輝度勾配を二乗するかは重要でない。輝度勾配
の上昇と共に増大する各関数を本発明の方法で使用する
ことができる。
の関数を使用すると有利であることが判明した。
とおりである。
沿って隣接する2つの画素の第1の方向d1ないし第2
の方向d2に対する動きベクトル値の差の大きさ、μ、
εは経験的に検出された2つの定数、βは勾配増幅定
数、sはそれぞれの画素に対して正規化された輝度勾配
を表す。
調関数
影響がそれぞれの画素の輝度変化に依存するようにな
り、これにより単調関数がコスト関数Tn(d1,
d2)に及ぼす影響がオブジェクト内では大きく、オブ
ジェクトエッジでは小さくなる。
数
影響が低減される。これにより、ダイナミック・プログ
ラミング方法はこの場合に対し当該領域において専ら、
コスト関数Tn(d1,d2)の第1の被加数NMCn
(d1,d2)を最適基準として使用する。
傍でオブジェクト内よりも良好な結果を有するから、コ
スト関数Tn(d1,d2)の信頼性はオブジェクトエ
ッジにおいて高められる。これによってそれぞれの画素
とこの画素の解属された動きベクトル(d1,d2)に
対して正しい分類が単調関数の影響なしで得られる。
rに沿った順次連続する2つの画素間の動きベクトル大
きな変化がオブジェクトの急速な運動(大きなずれ)に
よって発生するような領域にある。
れず、式(6)だけが付加的被加数としてコスト関数で
考慮されることとなれば、 DP法の枠内でのそれぞれ
の画素に対するコスト全体は受け入れられた動きベクト
ルに対してオブジェクトエッジにおいて非常に高くな
り、この高いコストのために大きな動きを有する領域が
いわゆるマスクとして解釈されてしまう。
検出するためには、当業者には容易に想到できる各任意
の勾配フィルタの形式を使用することができる。
示されている。方向Kに対する輝度勾配は次の畳み込み
式によって求められる。
答マトリクスを示し、このマトリクスはそれぞれの輝度
勾配を4つの方向、すなわち垂直方向V、水平方向H、
すく直軸に対して左に45゜傾いた方向L、および右に
45゜傾いた方向Rで求めるために使用される。ソーベ
ル演算子のパルス応答の個々のマトリクスは次のように
表される。
HH:
HV:
対するパルス応答マトリクスHL:
対するパルス応答マトリクスHR:
り畳み込まれた領域。各方向K∈[H,V,R,L]に
対して勾配GK(n,m)がそれぞれの画素(n,m)
毎に検出される。
(n,m)がそれぞれの画素(n,m)に対するエッジ
の勾配として用いられる。
得られることを意味する。
(x,s)の形態で示されている。
とができる。
ェクトエッジが検出できなかった場合、または非常に小
さな輝度勾配s歯科検出できなかった場合に対して、付
加的被加数は動きベクトルの非常に大きな変化のみを制
限し、したがってオブジェクト内の画素に割り当てられ
た動きベクトルが単調関数となるようにすることを意味
する。
が検出された領域を表す。これによりこの関数がコスト
関数に及ぼす影響が低減され、隣接する画素の動きベク
トルの跳躍が許容される。
に個々の画素に基づいて次の反復規則に従って検出され
る。
2best)はそれぞれ、先行する画素n−1に対する
動きベクトル(d1best,d2best)の最適の
対応関係を示す。
基本処理に、DP方法の枠内で相当する。しかし、最大
発生確率に相当する最大評価Cが求められるのではな
く、この場合は全体コスト関数Tn(d1,d2)の最
小が全体コストを最小にするために求められる点で異な
る。
れのスキャンラインSに存在する個々の画素との最適の
対応関係が得られる。
のために使用される領域は基本的には任意に構成するこ
とができる。
は図6に示した形状を有すると有利である。
状によってエッジ近傍の一致結果が、適用される領域の
形状がそれ以外の場合よりも高い信頼性を有することで
ある。
直の2つの顕著な方向で動き予測を行う際に比較的に良
好な結果を得るために選択される。この理由から、この
領域は特別の実施例では十字形をしている。
の形状は、任意の形状の領域を適用できるという一般性
を制限するものではない。
差が形成される。この輝度差はさらに、結果を領域内に
存在する画素数Nによって割り算することにより正規化
される。
spが、相応する第1の動きベクトル値および相応する
第2の動きベクトル値だけそれぞれずらされた、第2の
画像の画素に相当する確率である(図6参照)。
ロを有する場合に対しては、このことは第1の画像の輝
度値と第2の画像の輝度値との間で完全な一致の存在す
ることを意味する。コスト関数が値1を有する場合に対
しては、このことは第1の画像の領域と第2の画像の相
応する動きベクトル値だけずれた領域との間に既知の一
致が全くないことを意味する。
(d1,d2)のただ1つの相違がわかる。すなわち、
比較的に小さな値に対するコスト関数の場合にはそれだ
け高い確率が得られるのである。本発明の方法ではこの
ことは、DP方法での最適化が同じように最小のコスト
関数に従って実行される場合であれば、とくに別個に考
慮する必要はない。
画素spが示されている。この領域内で画素spに対す
るコスト関数Tn(d1,d2)が形成される。
だけずれた領域が示されている。このことは、第1の画
像の画素spと第2が画像の別の画素sp’との一致が
検査されることを意味する。この第2の別の画素は第2
の画像において第1の画像に対し動きベクトル(d1,
d2)だけずれている。
示されている。
スの各画像に対してインタラクティブに、第2のステッ
プ72で画像の各スキャンラインSに対して次の方法ス
テップが実行される。
する各画素に対して、ステップ74ではコスト関数Tn
(d1,d2)が上に述べたように検出される。これは
付加的被加数を伴うか、または伴わない。
対してDP方法を実行する。その際に、全体経路を最小
全体コスト関数TGn(d1,d2)に基づいて3次元
最適空間により検出する。この空間については前に説明
した。
Sの画素に、DP方法によって求められた動きベクトル
を配属する。
ブジェクトについて分類し、オブジェクトに動きベクト
ルを割り当てることができる。この処理は当業者には容
易である。
動ベクトルを考慮してビデオデータ流についてチャネル
符号化され、受信器にチャネルを介して伝送される。受
信器では、ビデオデータ流が再びデコードされ、画像が
再生される。この処理も当業者には周知である。
くとの1つのプロセッサによって宇実行される。
することのできる複数の関数を示す線図である。
関数の線図である。
次連続した画像の概略図である。ここでオブジェクトA
は2つの方向でずれており(図4b)、そのために本発
明の基礎となる問題が明瞭である。
AとBに適用された場合の概略図である。ここでaは公
知の方法によるものであり、マスクが検出される。本発
明の方法による付加的“探索方向”を伴うDP方法の結
果はbに示されている。本発明の方法により間違った分
類が回避され、オブジェクトAが正しく分類されてい
る。
(a)と、時間的に後続の第2の画像(b)に示されて
いる。第2の画像は運動ベクトル(d1,d2)だけず
れている。
ローチャートである。
Claims (7)
- 【請求項1】 ビデオシーケンスの時間的に順次連続す
る画像の画素(sp)に対する、計算機による動き予測
方法において、a) 符号化すべき画像の各画素(sp)毎に輝度勾配を
検出し; b) 符号化すべき画像の各画素(sp)毎にコスト関数
を検出し; c)前記 コスト関数に基づいて、各画素(sp)に対し
てダイナミック・プログラミングを実行し;d) ダイナミック・プログラミングによって検出された
動きベクトルを前記画素(sp)に割り当てる; ただし前記コスト関数は第1の項と第2の項を有してお
り、 前記第1の項は、符号化すべき画像の領域の画素(s
p)の輝度値と、時間的に先行する画像であって、前記
符号化すべき画像に対してずらされている画像の同形状
の領域の画素(sp)の輝度値との一致を表わすもので
あり、 また前記第1の項によってコスト関数の値は、スキャン
ライン(r)に順次並んで存在する画素(sp)の動き
ベクトルの値(d;d1,d2)の差に相応して高めら
れるものであり、 前記第2の項によってコスト関数の値が、輝度勾配が上
昇するときに低減されるものである、 ことを特徴とする予測方法。 - 【請求項2】 前記領域を複数の画素(sp)にわたっ
て第1の方向および/または第2の方向で伸長させる、
請求項1記載の方法。 - 【請求項3】 前記領域は矩形または正方形である、請
求項1または2記載の方法。 - 【請求項4】 コスト関数は次式により得られる、 【数1】 ここで、 n,mは、個々の画素(sp)の座標値、 dは、それぞれ記録された動きベクトルの値、 2τ+1は、第1の方向における画素(sp)の領域の
大きさ、 2λ+1は、第2の方向における画素(sp)の領域の
大きさ、 N=(2τ+2λ−1)*3は、前記領域内に存在する
画素(sp)数、 cは、正規化定数、 WF1(i,j)は、個所(i,j)における符号化す
べき画像の輝度値、 WF2(i,j)は、個所(i,j)における時間的に
先行する画像の輝度値、 xは、動きベクトル値の差の大きさであり、これはスキ
ャンラインに沿って隣接する2つの画素(sp)の方向
を表し、 μ,εは、経験的に検出された2つの定数、 βは、勾配増幅定数、 sは、それぞれの画素(sp)に対する正規化輝度勾配
を表す、請求項1から3までのいずれか1項記載の方
法。 - 【請求項5】 ダイナミック・プログラミングに対して
以下の3つの探索領域を適用し、 ・スキャンライン(r)、これに沿って動き予測を実行
する、 ・第1の方向に対する画素(sp)の動きベクトル値
(d1)、 ・第2の方向に対する画素(sp)の動きベクトル値
(d2)、 ダイナミック・プログラミングによって検出された第1
の動きベクトル値と、ダイナミック・プログラミングに
よって検出された第2の動きベクトル値を画素(sp)
に割り当てる、請求項1から3までのいずれか1項記載
の方法。 - 【請求項6】 コスト関は次のようにして得る、 【数2】 ここで、 n,mは、個々の画素(sp)の座標値、 d1は、それぞれ記録された第1の動きベクトル値 d2は、それぞれ記録された第2の動きベクトル値 (d1,d2)は、それぞれ記録された動きベクトル、 2τ+1は、第1の方向における画素(sp)の領域の
大きさ、 2λ+1は、第2の方向における画素(sp)の領域の
大きさ、 N=(2τ+2λ−1)*3は、前記領域にある画素
(sp)数、 cは、正規化定数 WF1(i,j)は、個所(i,j)での符号化すべき
画像の輝度値、 WF2(i,j)は、個所(i,j)での時間的に先行
する画像の輝度値、 x1,x2は、スキャンラインに沿って隣接する2つの
画素(sp)の第1ないし第2の方向に対する動きベク
トル値の差の大きさ、 μ,εは、経験的に検出された2つの定数、 βは、勾配増幅定数、 sは、それぞれの画素に対する正規化輝度勾配を表す、
請求項1から5までのいずれか1項記載の方法。 - 【請求項7】 正規化輝度勾配(s)を形成するため
に、ソーベル・フィルタを使用する、請求項1から6ま
でのいずれか1項記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19548451A DE19548451C1 (de) | 1995-12-22 | 1995-12-22 | Verfahren zur rechnergestützten Bewegungsschätzung für Bildpunkte zeitlich aufeinander folgender Bilder einer Videosequenz |
DE19548451.7 | 1995-12-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09187017A JPH09187017A (ja) | 1997-07-15 |
JP3537616B2 true JP3537616B2 (ja) | 2004-06-14 |
Family
ID=7781221
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP34383696A Expired - Fee Related JP3537616B2 (ja) | 1995-12-22 | 1996-12-24 | ビデオシーケンスの時間的に順次連続する画像の画素に対する、計算機による動き予測方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US5726713A (ja) |
EP (1) | EP0780793B1 (ja) |
JP (1) | JP3537616B2 (ja) |
DE (2) | DE19548451C1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6339616B1 (en) * | 1997-05-30 | 2002-01-15 | Alaris, Inc. | Method and apparatus for compression and decompression of still and motion video data based on adaptive pixel-by-pixel processing and adaptive variable length coding |
WO2001053823A1 (fr) * | 2000-01-20 | 2001-07-26 | Kyowa Hakko Kogyo Co., Ltd. | Recherche ou dosage de perturbateurs endocriniens |
US7663695B2 (en) * | 2000-05-05 | 2010-02-16 | Stmicroelectronics S.R.L. | Method and system for de-interlacing digital images, and computer program product therefor |
EP1511311B1 (en) * | 2003-08-26 | 2007-04-04 | STMicroelectronics S.r.l. | Method and system for de-interlacing digital images, and computer program product therefor |
US6600491B1 (en) * | 2000-05-30 | 2003-07-29 | Microsoft Corporation | Video-based rendering with user-controlled movement |
US20040028137A1 (en) * | 2002-06-19 | 2004-02-12 | Jeremy Wyn-Harris | Motion detection camera |
AU2006201210A1 (en) * | 2006-03-23 | 2007-10-11 | Canon Information Systems Research Australia Pty Ltd | Motion characterisation |
WO2019035007A1 (en) | 2017-08-15 | 2019-02-21 | American Well Corporation | APPARATUS AND METHODS FOR REMOTE CAMERA CONTROL WITH INTENTION BASED COMMANDS AND AUTOMATIC LEARNING VISION STATUS MANAGEMENT |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2551290B1 (fr) * | 1983-08-30 | 1985-10-11 | Thomson Csf | Procede et dispositif de detection de points en mouvement dans une image de television pour systemes de television numerique a compression de debit a rafraichissement conditionnel |
EP0158984A3 (en) * | 1984-04-13 | 1989-03-01 | Hitachi, Ltd. | Method for determining apair of corresponding points between images |
JPH0644815B2 (ja) * | 1984-04-27 | 1994-06-08 | 日本電気株式会社 | 動物体の動き内挿装置 |
CA1282490C (en) * | 1985-06-27 | 1991-04-02 | Nec Corporation | Coding apparatus for moving object image |
FR2597283B1 (fr) * | 1986-04-15 | 1988-06-10 | Labo Electronique Physique | Dispositif de traitement d'images pour l'estimation du deplacement d'objets situes dans celles-ci |
FR2624682B2 (fr) * | 1987-03-23 | 1990-03-30 | Thomson Csf | Procede et dispositif d'estimation de mouvement dans une sequence d'images animees |
FR2648254B2 (fr) * | 1988-09-23 | 1991-08-30 | Thomson Csf | Procede et dispositif d'estimation de mouvement dans une sequence d'images animees |
FR2696069B1 (fr) * | 1992-09-23 | 1994-12-09 | Philips Electronique Lab | Procédé et dispositif pour l'estimation du mouvement dans une image. |
US5392072A (en) * | 1992-10-23 | 1995-02-21 | International Business Machines Inc. | Hybrid video compression system and method capable of software-only decompression in selected multimedia systems |
US5398068A (en) * | 1993-09-02 | 1995-03-14 | Trustees Of Princeton University | Method and apparatus for determining motion vectors for image sequences |
JP2576771B2 (ja) * | 1993-09-28 | 1997-01-29 | 日本電気株式会社 | 動き補償予測装置 |
US5500689A (en) * | 1994-10-26 | 1996-03-19 | Thomson Consumer Electronics, Inc. | System for detecting a video signal image intensity gradient |
-
1995
- 1995-12-22 DE DE19548451A patent/DE19548451C1/de not_active Expired - Fee Related
-
1996
- 1996-12-05 EP EP96119566A patent/EP0780793B1/de not_active Expired - Lifetime
- 1996-12-05 DE DE59609215T patent/DE59609215D1/de not_active Expired - Lifetime
- 1996-12-20 US US08/771,041 patent/US5726713A/en not_active Expired - Lifetime
- 1996-12-24 JP JP34383696A patent/JP3537616B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
DE59609215D1 (de) | 2002-06-20 |
EP0780793A3 (de) | 1999-07-21 |
DE19548451C1 (de) | 1997-02-20 |
US5726713A (en) | 1998-03-10 |
EP0780793B1 (de) | 2002-05-15 |
JPH09187017A (ja) | 1997-07-15 |
EP0780793A2 (de) | 1997-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7046850B2 (en) | Image matching | |
US6549576B1 (en) | Motion vector detecting method and apparatus | |
US9940719B2 (en) | Alignment of an ordered stack of images from a specimen | |
KR101612729B1 (ko) | 전파 맵 | |
EP0720377B1 (en) | Method for detecting motion vectors for use in a segmentation-based coding system | |
US8331696B2 (en) | Update region detection device | |
US20020159524A1 (en) | Local constraints for motion matching | |
US8098963B2 (en) | Resolution conversion apparatus, method and program | |
CN106846279B (zh) | 一种基于连分式插值技术的自适应图像修补方法及其系统 | |
JP2006516062A (ja) | ディジタル画像の奥行き順序付けを行う方法及び装置 | |
JP3537616B2 (ja) | ビデオシーケンスの時間的に順次連続する画像の画素に対する、計算機による動き予測方法 | |
US7110453B1 (en) | Motion or depth estimation by prioritizing candidate motion vectors according to more reliable texture information | |
JP5492223B2 (ja) | 動きベクトル検出装置及び方法 | |
JP3626826B2 (ja) | ビデオシーケンスの時間的に順次の画像の画素のための計算機による動き推定方法 | |
US9106926B1 (en) | Using double confirmation of motion vectors to determine occluded regions in images | |
JP3175914B2 (ja) | 画像符号化方法および画像符号化装置 | |
US6553069B1 (en) | Digital image segmenting method and device | |
JP2861971B2 (ja) | 動ベクトル予測装置 | |
JP2980810B2 (ja) | 動きベクトル探索方法と装置 | |
JP3020299B2 (ja) | 動きベクトル検出装置 | |
JP4250598B2 (ja) | 動き補償型ip変換処理装置及び動き補償型ip変換処理方法 | |
JP3941900B2 (ja) | 動きベクトル検出装置 | |
CN113542768B (zh) | 运动搜索方法、装置及计算机可读存储介质 | |
JP2006215657A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
JPH1091793A (ja) | オプティカルフロー算出方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040317 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080326 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090326 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090326 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100326 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100326 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110326 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120326 Year of fee payment: 8 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120326 Year of fee payment: 8 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120326 Year of fee payment: 8 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130326 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140326 Year of fee payment: 10 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |