JP3778960B2 - Video coding method and apparatus - Google Patents
Video coding method and apparatus Download PDFInfo
- Publication number
- JP3778960B2 JP3778960B2 JP14768094A JP14768094A JP3778960B2 JP 3778960 B2 JP3778960 B2 JP 3778960B2 JP 14768094 A JP14768094 A JP 14768094A JP 14768094 A JP14768094 A JP 14768094A JP 3778960 B2 JP3778960 B2 JP 3778960B2
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- size
- motion compensation
- image signal
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、例えばＴＶ電話、ＴＶ電議システム、ディジタルビデオディスクシステム、ディジタルＴＶ放送システムのような画像を伝送または蓄積するシステムおよびこれら画像を受信または再生するシステムに関し、特に画像を少ない情報量に圧縮符号化する動画像符号化方法及び装置に関する。
【０００２】
【従来の技術】
画像を伝送、蓄積するために少ない情報量に圧縮符号化する技術として、動き補償、離散コサイン変換、サブバンド符号化、ピラミッド符号化等の方式や、これらを組み合わせた方式など様々な方式が開発されている。また、動画像の圧縮符号化の国際標準方式としてＩＳＯ・ＭＰＥＧ１，ＭＰＥＧ２、およびＩＴＵ−Ｔ・Ｈ．２６１，Ｈ．２６２が規定されている。
【０００３】
従来の動画像符号化方式の例として、動き補償適応予測離散コサイン変換符号化方式について説明する。この方式は、例えば文献１：安田浩編著、“マルチメディア符号化の国際標準”、丸善（平成３年６月発行）等に詳しく述べられている。概略的な動作を説明すると、入力画像信号についてまず動き補償適応予測が行われる。すなわち、入力画像信号が複数のブロックに分割され、ブロック単位でフレームメモリ中に蓄えられている既に符号化／局部復号が行われた画像信号との間の動きベクトルが検出され、この動きベクトルを用いて第１の予測信号が作成される。次に、必要に応じて上記ブロックがさらに複数の小ブロックに分割され、この小ブロック単位で動きベクトル検出が行われて第２の予測信号が作成する。
【０００４】
第１の予測信号を用いる第１の予測モードと、第２の予測信号を用いる第２の予測モード、および入力画像信号をそのまま符号化に用いるフレーム内符号化モード（予測信号＝０）のうち、符号化に最適な予測モードが選択され、対応する予測信号が出力される。そして、選択された予測モードを示す情報および動きベルトル情報が可変長符号化される。動きベクトル情報については、隣接の既に符号化したブロックの動きベクトルとの差分をとり、この差分を可変長符号化する方法が一般に用いられている。
【０００５】
一方、選択された予測信号が入力画像信号から減算されることにより、予測残差信号が生成される。この予測残差信号は一定の大きさのブロック単位で離散コサイン変換（ＤＣＴ）され、これにより得られたＤＣＴ係数はさらに量子化される。量子化された信号は２分岐され、一方は可変長符号化され、他方は逆量子化された後、逆離散コサイン変換（逆ＤＣＴ）される。逆ＤＣＴにより得られた信号は予測信号と加算され、フレームメモリに記憶される。
【０００６】
予測モードを示す情報および動きベルトル情報の可変長符号と、量子化されたＤＣＴ係数の可変長符号は、量子化幅を示す情報と共に多重化され、出力符号列として出力される。この出力符号列の符号量は、伝送路や蓄積媒体で定められている伝送／蓄積レートに合わせて制御する必要がある。一般に、このような符号量制御はＤＣＴ係数を量子化する際の量子化幅を制御することにより行われる。すなわち、量子化幅を大きくすればＤＣＴ係数を表す精度は低下して符号化品質が低下するが、符号量は少なくなり、逆に量子化幅を小さくすればＤＣＴ係数を表す精度が向上して符号化品質が向上する代わりに、符号量が増加する。量子化幅を決定する方法としては様々な方法が提案されているが、出力符号列を仮想的なバッファに入れたときのバッファ充填率を基に決定する方法や、入力画像信号あるいは予測残差信号のアクティビティを基に、出力符号列の符号量が設定符号量となる量子化幅を推定する方法等が用いられている。
【０００７】
しかし、上述したような量子化幅を制御することによって出力符号列の符号量を制御する従来の方式では、ＤＣＴ係数情報の符号量は制御できるものの、それ以外の適応予測のモードを示す情報や動きベクトルに関する情報の符号量を制御することができないという問題がある。前述のように、モード情報や動きベクトル情報は可変長符号化されるため、符号化する画像の種類によって発生符号量が異なり、特に動きベクトル情報の符号量の変化は著しい。前述のように動きベクトルの差分をとって可変長符号化する方式においては、隣り合う動きベクトル成分が揃っている場合には差分が小さくなるため発生符号量は少ないが、動きが複雑でフレーム内で動きベクトルが大きく変化する場合には、発生符号量が多くなる。しかしながら従来の符号化装置では、動きベクトル情報の発生符号量を制御できないため、以下に示す様々な問題が生じていた。
【０００８】
第１に、特に設定符号量が少ない場合において複雑な動きのある画像信号を符号化すると、動きベクトル情報だけで設定符号量を上回ってしまい、量子化幅の制御のみでは発生符号量の制御不能に陥ってしまう場合がある。このような現象を避けるため、従来の符号化装置においては、前述した仮想的なバッファのバッファ充填率が規定値を超えた場合には全ての符号化を強制的に停止して符号が発生するのを抑えたり、入力画像信号の一部のフレームを間引くフレーム間引きによって符号量を抑える方法が用いられていた。しかし、このような方法では符号量が強制的に抑えられるため、符号化品質が著しく低下したり、動きが不自然になるなどの問題が生じる。
【０００９】
第２に、設定符号量が少ない場合には量子化幅が非常に大きな値となり、符号化品質が低下するという問題がある。特に、ＤＣＴを用いた符号化方式においては、量子化幅を大きくするとブロック歪やモスキート歪と呼ばれる歪が生じ、符号化品質が低下する。
【００１０】
【発明が解決しようとする課題】
上述したように、従来の動画像符号化装置においては、動き補償適応予測の予測残差信号を変換した信号を量子化する際の量子化幅を制御することによって発生符号量を設定符号量に制御しているため、設定符号量が少ない条件下で複雑な動きのある画像信号を符号化する場合などに符号量制御ができなくなったり、量子化幅が大きくなりすぎて符号化品質が低下するという問題点があった。
【００１１】
本発明の目的は、入力画像信号の状態によらず発生符号量を設定符号量となるように制御することができ、また、設定符号量が少ない場合でも量子化幅が大きくなりすぎることがなく符号化品質の高い動画像符号化方法及び装置を提供することにある。
【００１４】
【課題を解決するための手段】
上記課題を解決するため、本発明ではフレーム単位で入力される入力画像信号について一定の大きさの単位領域毎に動き補償予測を行って予測信号を生成する予測し、入力画像信号に対する予測信号の予測残差信号を符号化し、予測ステップにおいて動き補償予測に用いた動きベクトル情報および一定の大きさの単位領域の大きさに関する情報を符号化し、動きベクトル情報の符号量の増加を抑制するために、動きベクトル情報の符号量に応じて入力画像信号のフレーム毎に一定の大きさの単位領域の大きさを大きくするように制御する。
【００１５】
また、本発明ではフレーム単位で入力される入力画像信号について一定の大きさの単位領域毎に動き補償予測を行って予測信号を生成し、入力画像信号に対する予測信号の予測残差信号を符号化し、予測手段において前記動き補償予測に用いた動きベクトル情報および前記一定の大きさの単位領域の大きさに関する情報を符号化し、動きベクトル情報の符号量の増加を抑制するために、動きベクトル情報の符号量に応じて入力画像信号のフレーム毎に前記一定の大きさの単位領域の大きさを大きくするように制御する。
【００２０】
【作用】
本発明では予測を行う単位領域の大きさを可変とし、これを少なくとも動きベクトル情報の情報量に応じて制御することにより、動きベクトル情報量などの予測に伴うサイド情報の符号量を制御できるようになる。このような制御によって、動きベクトル情報などのサイド情報の符号だけで設定符号量を上回ってしまったり、量子化幅が大きくなりすぎたりするという、量子化幅のみを制御することによって符号量の制御を行う従来方式の問題点が解決される。
【００２３】
【実施例】
以下、図面を参照して本発明の実施例を説明する。
図１は、本発明による動画像符号化装置の第１の実施例のブロック図であり、動き補償適応予測ＤＣＴ符号化方式を用いた例である。動き補償適応ＤＣＴ符号化方式については、前述の文献１等に詳しいので動作の概略のみを説明し、従来方式との差異を詳細に説明する。
【００２４】
この動画像符号化装置では、入力画像信号１３１についてまず動き補償適応予測が行われる。すなわち、動き補償予測回路１０１において、入力画像信号１３１とフレームメモリ１０２に蓄えられている既に符号化／局部復号が行われた画像信号（参照画像信号）との間の動きベクトルがブロック単位で検出され、この動きベクトルに基づいて動き補償予測信号が作成される。動き補償予測回路１０１では、さらに動き補償予測モード（フレーム間予測モード）と入力画像信号１３１をそのまま符号化するフレーム内符号化モード（予測信号＝０）のうち最適な予測モードが選択され、選択された予測モードに対応する予測信号１３２が出力される。この動き補償予測回路１０１から出力される予測信号１３２は、減算回路１０３において入力画像信号１３１から減算され、予測残差信号１３３が出力される。
【００２５】
予測残差信号１３３はＤＣＴ（離散コサイン変換）回路１０４において一定の大きさのブロック単位で離散コサイン変換され、これにより得られたＤＣＴ係数は量子化回路１０５において量子化幅制御部１２１により制御された量子化幅（量子化ステップサイズともいう）で量子化される。量子化回路１０５からの出力は２分岐され、一方は第１の可変長符号化回路１０６で可変長符号化され、他方は逆量子化回路１０７で逆量子化され、さらに逆ＤＣＴ回路１０８で逆離散コサイン変換される。逆ＤＣＴ回路１０８からの出力は、加算回路１０９において適応予測信号１３２と加算され、フレームメモリ１０２に記憶される。
【００２６】
一方、動き補償予測回路１０１において選択された予測モードおよび動きベクトルを示すサイド情報１３４は、第２の可変長符号化回路１１０で可変長符号化される。この際、動きベクトル情報については隣接の既に符号化したブロックの動きベクトルとの差分が可変長符号化される。
【００２７】
第１および第２の可変長符号化回路１０６，１１０からの出力と、量子化幅制御部１２１からの量子化幅を示す情報は、マルチプレクサ１１１において多重化され、出力符号列１３５として出力される。
【００２８】
ここで、動き補償予測回路１０１において動き補償予測における動き補償を行う単位ブロックの大きさ（以下、動き補償サイズという）は可変であり、動き補償サイズ制御部１２２によって制御される。動き補償サイズ制御部１２２からは動き補償サイズの情報を含む動き補償領域を示す情報１４０が出力され、この動き補償領域情報１４０も第２の可変長符号化回路１１０で符号化され、出力符号列１３５中に付加されて出力される。動き補償サイズ制御部１２２では、第２の可変長符号化回路１１０の出力を受け、少なくとも予測に用いた情報である動きベクトル情報の情報量（符号量）に応じて動き補償サイズを制御する。以下、この動き補償サイズの制御方法について、詳細に説明する。
【００２９】
図２は、動き補償単位ブロックの第１の例を動きベクトルと共に示したものである。図２の例では、基本的に（ａ）のようにフレーム毎に定められた一定の大きさのブロックを動き補償単位ブロックとして、このブロックに区切って動き補償を行う。但し、画面端で一定のブロックの大きさでは割り切れない余りが生じた場合には、余りの部分は図２（ｂ）のように小さなブロックとするか、あるいは隣接のブロックに統合する。動き補償単位ブロックの大きさ（動き補償サイズ）はフレーム単位に一定であるため、動き補償領域情報１４０はフレーム毎に１回符号化すればよく、これに伴う符号量の増加は極くわずかである。区切られた単位毎に動きベクトル検出を行い、図２中の矢印で示したように単位ブロック毎に一つずつ動きベクトルを求める。なお、（０，０）の動きベクトルは図２において「・」の記号で示してある。
【００３０】
図２（ａ）および（ｂ）はそれぞれ動き補償単位ブロックを小さく取った場合および大きく取った場合の例である。図２（ａ）のように動き補償単位ブロックを小さくすると、それだけ細かな領域毎に動き補償が行われることになるため、動き補償の精度が向上し、予測残差信号１３３の符号量は少なくなる。しかし反面、多くの動きベクトル情報を符号化しなければならないため、動きベクトル情報の符号量が増加してしまう。一方、図２（ｂ）のように動き補償単位ブロックを大きく取った場合には、図２（ａ）より動き補償精度は低下し、予測残差信号１３３の符号量は多くなくなるが、動きベクトル符号量は少なくなる。
【００３１】
このように、動き補償単位ブロックの大きさ、つまり動き補償サイズは、予測残差信号１３３の符号量（第１の可変長符号回路１０６の発生符号量）と動きベクトル情報の符号量とのトレードオフで最適なものがあるため、いくつかの動き補償サイズの候補を用意しておいて、それらの候補の中で予測残差信号と動きベクトル情報のトータルの符号量が最小となるようなサイズを選択すれば、最適な動き補償サイズを決定することができる。
【００３２】
但し、サイズ毎に動きベクトルを求め直すことが演算量の点から困難である場合には、最初に小さなブロック毎に動きベクトルを求めておき、大きなブロックサイズの動きベクトルは、フレーム上で位置的にそのブロックの中に入る動きベクトルあるいは隣接する小ブロックの動きベクトルを基に推定してもよい。あるいは、最初に大きなブロック単位に動きベクトルを検出し、小さなブロックの動きベクトルはフレーム上で位置的に含まれる大きなブロックの動きベクトルを基にしてその周囲で動きベクトル探索を行うようにしてもよい。
【００３３】
以上のようにして動き補償サイズを決定し、かつ動きベクトル検出を行うことにより、サイズ毎に動きベクトルを求め直す場合に比べて演算量は大幅に低下する。なお、予測残差信号１３３の符号量は実際にＤＣＴ、量子化、可変長符号化を行って符号量を調べてもよいが、予測残差信号１３３の自乗和、絶対値和等を基に符号量を推定するようにしてもよい。
【００３４】
ところで、画面内に複雑な動きが含まれる場合には、小さな動き補償単位で符号化を行おうとすると、動きベクトルの符号量が膨大なものとなる。この結果、量子化幅を非常に大きくしなければならなくなって符号化品質が低下したり、動きベクトル情報だけで符号量が設定符号量を上回ってしまい、符号量制御不能に陥ることがある。これを防ぐために、動きベクトル情報の符号量があるしきい値を上回らないように動き補償サイズの制御を行ってもよい。具体的には、例えば以下のようなアルゴリズムで制御を行えばよい。
【００３５】
ｓｉｚｅ：動き補償サイズ（動き補償単位の大きさ）
ｓｉｚｅ（ｔ−１）：直前に符号化したフレームの動き補償サイズ
ＭＣ＿ｂｉｔｓ（ｔ−１）：直前に符号化したフレームの動きベクトル情報の符号量
ｔｈ１，ｔｈ２：しきい値（ｔｈ１＞ｔｈ２）
Ｃ：定数
である。
【００３６】
図３は、この制御をフローチャートで表したものである。すなわち、まず直前に符号化したフレームの動きベクトルの符号量：ＭＣ＿ｂｉｔｓ（ｔ−１）がしきい値ｔｈ１を越えているかどうかを調べ（Ｓ１１）、ｔｈ１を越えていれば直前に符号化したフレームの動き補償サイズ：ｓｉｚｅ（ｔ−１）から定数Ｃを減じたものを新たな動き補償サイズ：ｓｉｚｅとする（Ｓ１２）。
【００３７】
一方、符号量：ＭＣ＿ｂｉｔｓ（ｔ−１）がしきい値ｔｈ１以上でない場合には、さらに符号量：ＭＣ＿ｂｉｔｓ（ｔ−１）がしきい値ｔｈ２に満たないかどうかを調べ（Ｓ１３）、ｔｈ２に満たない場合は直前に符号化したフレームの動き補償サイズ：ｓｉｚｅ（ｔ−１）に定数Ｃを加えたものを新たな動き補償サイズ：ｓｉｚｅとし（Ｓ１４）、そうでなければ直前に符号化したフレームの動き補償サイズ：ｓｉｚｅ（ｔ−１）を新たな動き補償サイズとする（Ｓ１５）。
【００３８】
この例では、直前に符号化したフレームと現フレームの動きベクトル符号量には強い相関があることを利用して直前フレームの動きベクトル符号量でサイズの制御を行っている。直前に符号化したフレームの動きベクトル符号量がしきい値ｔｈ１を上回るほど多い場合には、そのままのサイズで符号化すると動きベクトル符号量が過度に大きくなる可能性があるため、サイズを大きくして動きベクトル符号量を抑え、逆に以前に符号化したフレームの動きベクトル符号量を十分少ない場合にはサイズを小さくして動き補償精度を向上させるように制御する。
【００３９】
このような制御を行うことにより、動きが非常に複雑な画像でも動きベクトル符号量が過度に多くなって符号量制御不能に陥ったり量子化幅が大きくなりすぎることによって符号化品質が低下するといった問題がなくなり、また動きが小さく動きベクトル符号量がそれほど多くない画像では、高い精度で動き補償を行うことができる。
【００４０】
なお、動き補償サイズにある上限および下限を設け、サイズが一定の範囲内におさまるようにしてもよい。これによって、動き補償サイズが大きくなりすぎて動き補償の精度が低下しすぎたり、動き補償サイズが小さくなりすぎて動きベクトル符号量が極端に多くなることを防ぐことができる。
【００４１】
また、しきい値ｔｈ１，ｔｈ２は設定符号量等によって定められる定数としてもよいが、動きの大きさや動きベクトルが（０，０）となる領域の大きさ等を変えるようにしてもよい。
【００４２】
なお、本発明は一部の動き補償ブロックをさらに細かなブロックに分割してそれぞれ動き補償を行う技術と組み合わせて用いることも可能である。図４に、そのような分割を行ったときの動き補償ブロックの例を動きベクトルと共に示す。図中で破線によって示されているブロックが分割されたブロックであり、各分割ブロック毎に動きベクトルを求める。分割を行うか行わないかを示す情報も符号化する。特に、図４（ｂ）のように動き補償ブロックを大きく取った場合には、大きなブロックでは動き補償精度が著しく低下する部分のブロックのみを分割して細かな単位で動き補償することにより、その部分の動き補償精度を向上させることができる。
【００４３】
また、動き補償ブロック、つまり動き補償を行う単位領域の形状および大きさは、画像内の部分毎に異なっていてもよい。図５は、このような動き補償単位領域を動きベクトルと共に示した例である。フレーム内は図中の太線で示した画面上の対象物の概形を示す領域に分割されており、それがさらに細線で示す小領域に分割されている。この領域分割に関する情報も動き補償サイズ情報１４０中に含めて符号化する。
【００４４】
図５（ａ）と（ｂ）は、動き補償単位領域をそれぞれ細かな領域および大きな領域に分割した例である。図５（ａ）と（ｂ）とでは、太線を表す精度および、太線領域内をいくつの細線領域に分割するかが異なっている。図５（ａ）の方が図５（ｂ）よりも太線を表す精度が高く、それだけ対象物体の概形を高い精度で表すことが可能となり動き補償の精度は高いが、領域情報は多い。さらに、図５（ａ）のほうが図５（ｂ）よりも細かな補線領域に分割されているため、動き補償の精度は高いが動きベクトル情報は多くなる。そこで、動き補償精度と領域情報量および動きベクトル情報量とのトレードオフを考慮して、最適な領域に分割し符号化を行う。
【００４５】
なお、太線の表現精度および太線領域をどの程度の細線領域に分割するかは各太線領域で異なるものとしてもよい。例えば、人物の顔部分のように非常に重要な対象物体に対してはなるべく高い精度で太線を表現すると共に細かな細線領域に分割するようにし、背景部分のようにそれほど重要でない部分は太線を粗く表現すると共に大きな細線領域に分割する。図５（ａ）から図５（ｂ）のように領域を粗くしていく場合にも、顔領域等の重要な領域はあまり粗い領域とならないようにし、背景部分のように重要度が高くない領域は粗い領域となるようにする。このように画像内で重要な部分とそうでない部分で領域が粗くする程度を変えることにより、画像全体の動き情報量を削減しても重要な領域は高い動き補償精度をとることができ、符号化画像の主観的品質が向上する。
【００４６】
以上の例では、動き補償単位領域内で同一の動きベクトルを用いることとしたが、隣接の領域の動きベクトルを用いて動きベクトルの補間を行い、領域内で異なる動きベクトルを用いることにしてもよい。また、動き補償単位の大きさに応じて補間の方法を変えたり、補間を行うか否かを選択するようにしてもよい。
【００４７】
図６は、図１の動画像符号化装置に対応した動画像復号化装置である。図１の動画像符号化装置から伝送／蓄積系を介して入力された符号列２３５は、動き補償情報符号列、予測残差信号符号列および量子化幅情報に分離され、それぞれ第１の可変長復号回路２１０、第２の可変長復号回路２０６および逆量子化回路２０７に入力される。
【００４８】
第２の可変長復号回路２０６では予測残差信号が可変長復号され、さらに逆量子化回路２０７において逆量子化、逆ＤＣＴ回路２０８で逆離散コサイン変換という一連の処理が行われ、加算回路２０９で予測信号２３２と加算されることにより再生画像信号２５０が生成される。再生画像信号２５０は動画像復号化装置の外部へ出力されると共に、フレームメモリ２２０に記憶される。
【００４９】
一方、第１の可変長復号回路２１０では、動き補償情報符号列から予測モードおよび動きベクトル情報２３４と動き補償領域情報２３０が復号され、予測回路２０１へ入力される。予測回路２０１は、フレームメモリ２２０に記録されている復号画像信号を基にして、これらの情報２３４および２４０に従って図１における予測信号１３２と同一の信号２３２を出力する。
【００５０】
以上の処理は、図１の動画像符号化装置に対応して画像信号を再生する処理であり、逆量子化回路２０７、逆ＤＣＴ回路２０８、加算回路２０９およびフレームメモリ２０９が行う処理は、それぞれ図１における逆量子化回路１０７、逆ＤＣＴ回路１０８、加算回路１０９およびフレームメモリ１２０が行う処理とその実現手段は異なる場合もあるが本質的に同一である。また、第１および第２の可変長復号回路２１０，２０６およびデマルチプレクサ２１１は、それぞれ図１の可変長符号化回路１１０，１０６およびマルチプレクサ１１１の処理の逆の処理を行う。
【００５１】
図７は、本発明による動画像符号化装置の第２の実施例のブロック図であり、第１の実施例と同様に動き補償適応予測ＤＣＴ符号化方式を用いた例である。また、本実施例においても第１の実施例で説明した動き補償領域の大きさを可変にする方式を用いているが、この部分は第１の実施例との差異についてのみ詳細に説明する。
【００５２】
入力画像信号３３１はまずダウンサンプリング回路３２１において、必要に応じて入力画像信号３３１よりも空間的に少ない画素数にダウンサンプリングされる。入力画像信号３３１またはダウンサンプリングされた入力画像信号３４１は、減算回路３０３において予測回路３０１で作成された予測信号３３２が減算されて予測残差信号３３３となり、この予測残差信号３３３はＤＣＴ回路３０４で離散コサイン変換された後、量子化回路３０５で量子化される。量子化された信号は２分岐され、一方は第１の可変長符号化回路３０６で可変長符号化され、他方は逆量子化回路３０７で逆量子化され、さらに逆ＤＣＴ回路３０８で逆離散コサイン変換された後、加算回路３０９で予測信号３３２と加算されてフレームメモリ３０２に記憶される。
【００５３】
ここで、ダウンサンプリング回路３２１におけるダウンサンプリング比は、符号化フレーム毎に異なった値をとる。また、予測回路３０１はダウンサンプリングした画像信号３４１を入力画像信号と考え、これを予測する予測信号３３２を作成する。予測信号３３２を作成する際、フレームメモリ３０２に記憶されている既に符号化されたフレームの局部復号画像信号を用いるが、フレームメモリ３０２に記憶されているフレームの局部復号画像信号と入力画像信号３３１をダウンサンプリングした信号３４１のサンプリング密度が異なる場合には、サンプリング変換回路３２２で信号３４１と同一のサンプリング密度にサンプリング変換して予測に用いる。
【００５４】
入力画像信号に対するダウンサンプリング比および量子化幅は、量子化幅・ダウンサンプリング比制御部３２３で決定して制御する。具体的には、発生符号量が予め設定した値に近い値になるものの中で最適なダウンサンプリング比と量子化幅を選択して決定する。
【００５５】
最初に、フレーム内符号化を行う場合（予測信号３３２＝０）のダウンサンプリング比および量子化幅の決定法を説明する。この場合、まず入力画像信号３３１のアクティビティを計算する。これは例えば、分散や各画素から平均値を引いた絶対値和や二乗和を用いればよい。
【００５６】
次に、図８（ａ）に示すような与えられた設定符号量に対するアクティビティと量子化幅の関係を基に、発生符号量が設定符号量となるような量子化幅の推定値を求める。ここで、設定符号量はフレーム内符号に対する設定符号量としてトータルの発生符号量を基にそのフレームの符号化に先だって定めておく。また、アクティビティと量子化幅の関係は符号化に予め決定しておいてもよいし、既に符号化した画像信号におけるアクティビティ、符号量、量子化幅の関係から更新するようにしてもよい。次に、入力画像信号をダウンサンプリングした画像信号のアクティビティをいくつかのダウンサンプリング比について計算する。この計算は実際に入力画像信号をダウンサンプリングして求めてもよい。
【００５７】
また、図９に示すようなサンプリング密度とアクティビティの関係を予め定めておき、これを基に入力画像信号３３１のアクティビティから変換して計算してもよく、この場合はダウンサンプリングした画像信号からアクティビティを計算する場合に比べて計算量を削減することができる。
【００５８】
次に、図８（ｂ）（ｃ）のようなダウンサンプリングを行った画像信号に対するアクティビティと量子化比幅の関係を用い、それぞれのダウンサンプリング比に対して設定符号量となる量子化幅の推定値を求める。以上のようにして求められたいくつかにダウンサンプリング比と量子化幅の組の中から、符号化に用いて最適なものを選択する。この選択は、例えば量子化幅がある値以下になる最高のサンプリング密度となる組を選択してもよい。このようにすれば、量子化幅が非常に大きくなって符号化品質が著しく低下することがなくなる。また、ダウンサンプリングによって失われる成分と、量子化によって生じる歪という２つの歪の合計が最小になるような組を選択してもよい。あるいは、これら２つの歪に視覚的特性を考慮した重み付けフィルタリングを行った値が最小になる組を選択してもよい。このようにすれば、視覚的に最適なサンプリング密度と量子化幅が選択される。
【００５９】
次に、動き補償フレーム間予測符号化を行う場合のダウンサンプリング比および量子化幅の決定法について説明する。この場合は、予測残差信号の分散や絶対値和を用いてアクティビティを計算する。ただし、各ダウンサンプリング比について動きベクトルを検出して予測画像信号を求めると演算処理量が膨大なものとなってしまう。このため、直前に符号化したフレームのアクティビティを基にこれをサンプリング密度に応じて変換した値を用いてもよい。あるいは、入力画像信号に対して動きベクトル検出を行って予測画像信号を求めてこのアクティビティをサンプリング密度に応じて変換するようにし、符号化における予測信号３３２を求める際にもこの入力画像信号に対する動きベクトルを変換した動きベクトルを用いて動き補償を行うようにしてもよい。以上のようにすることにより、アクティビティ計算のための演算処理量を削減することができる。計算されたアクティビティからダウンサンプリング比と量子化幅の組を選択する手順は、上述のフレーム内符号化の場合と同様である。ただし、フレーム毎の設定符号量やアクティビティと量子化幅の関係、サンプリング密度とアクティビティの関係はフレーム内符号とは異なるものを用いる。
【００６０】
なお、ダウンサンプリング比の決定はフレーム内符号化とフレーム間符号化で異なる方法を用いてもよい。例えば、フレーム間符号化については動きの大きさを考慮して決定するようにしてもよい。これは、例えば動きベクトル等動き補償に関する情報の発生符号量を基に、以下のようなアルゴリズムで制御を行うことにより実現することできる。
【００６１】
ｆｒａｍｅ＿ｓｉｚｅ：ダウンサンプリング画像信号のフレーム内画素数
ｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）：直前に符号化したフレームのダウンサンプリング画像信号のフレーム内画素数
ＭＣ＿ｂｉｔｓ（ｔ−１）：直前に符号化したフレームの動きベクトルの符号量
ｔｈ１，ｔｈ２：しきい値（ｔｈ１＞ｔｈ２）
Ｃ：定数
ＭＩＮ＿ＳＩＺＥ：フレーム内画素数の最小値
ＭＡＸ＿ＳＩＺＥ：フレーム内画素数の最大値＝入力動画像信号のフレーム内画素数
である。
【００６２】
図１０は、この制御をフローチャートで表したものである。すなわち、まず直前に符号化したフレームのダウンサンプリング画像信号のフレーム内画素数：ｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）がフレーム内画素数の最小値：ＭＩＮ＿ＳＩＺＥを越えているかどうかを調べ（Ｓ２１）、ＭＩＮ＿ＳＩＺＥを越えていれば、さらに直前に符号化したフレームの動きベクトルの符号量：ＭＣ＿ｂｉｔｓ（ｔ−１）がしきい値ｔｈ１を越えているかどうかを調べ（Ｓ２２）、ｔｈ１を越えていればｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）から定数Ｃを減じたものを新たなフレームのダウンサンプリング画像信号のフレーム内画素数：ｆｒａｍｅ＿ｓｉｚｅとする（Ｓ２３）。
【００６３】
一方、直前に符号化したフレームのダウンサンプリング画像信号のフレーム内画素数：ｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）がフレーム内画素数の最小値：ＭＩＮ＿ＳＩＺＥ以上でない場合には、ｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）がフレーム内画素数の最大値：ＭＡＸ＿ＳＩＺＥに満たないかどうかを調べる（Ｓ２４）. そして、ｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）がＭＡＸ＿ＳＩＺＥに満たない場合は、さらに直前に符号化したフレームの動きベクトルの符号量：ＭＣ＿ｂｉｔｓ（ｔ−１）がしきい値ｔｈ２に満たないかどうかを調べ（Ｓ２５）、ｔｈ２に満たない場合はｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）に定数Ｃを加えたものを新たなフレームのダウンサンプリング画像信号のフレーム内画素数：ｆｒａｍｅ＿ｓｉｚｅとし（Ｓ２６）、そうでなければｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）を新たなフレームのダウンサンプリング画像信号のフレーム内画素数：ｆｒａｍｅ＿ｓｉｚｅとする（Ｓ２７）。
【００６４】
この例は、一般に視覚的特性として動きが大きい場合には空間的解像度はある程度低くしてもよく、逆に動きが小さい場合には高い空間的解像度が要求されることを利用して、動きベクトル符号量が多い場合にはダウンサンプリング比を大きくとって空間的解像度を落とし、逆に動きベクトル符号量が少ない場合にはダウンサンプリング比を小さくとって空間的解像度を上げる制御を行う例である。このような制御を行うことによって視覚的に好適な解像度を保ちながら符号化を行うことができる。なお、直前に符号化したフレームと現フレームの動きベクトル符号量には強い相関があることを利用して直前フレームの動きベクトル符号量でダウンサンプリング比の制御を行っている。また、直前フレームの画素数から定数Ｃだけ増減するようにして画素数を決定しているが、これは直前フレームからあまり大きく解像度を変化させると視覚的に好ましくないという問題を防ぐためである。
【００６５】
また、しきい値ｔｈ１、ｔｈ２は設定符号量等によって定められる定数としてもよいが、動きの大きさや動きベクトルが（０，０）となる領域の大きさ等を変えるようにしてもよい。例えば、動きベクトル（ＭＶ）が（０，０）となる領域の数を基に図１１のような関係を定義して決めてもよい。図１１に示されるように、動きベクトル＝（０，０）の領域が多い場合には、しきい値を大きくすることによってサンプリング密度に制御されるようになる。これにより、特に高い空間的解像度を保ったほうが好ましい静止部分つまりＭＶ＝（０，０）の領域で常に高い空間的解像度が保たれるようになり、静止した背景の前で物体や人物が動いているような画像信号において符号化品質が向上する。
【００６６】
なお、動き補償サイズについてもダウンサンプリング比を考慮して決定する。具体的には、例えばダウンサンプリング比と動き補償サイズの拡大比を等しくとるようにしてもよい。これにより、各動き補償領域内に含まれる画素数は一定に保たれるようになる。動き補償領域内の画素数はＤＣＴの単位と同一、あるいはその整数倍という関係を常に保つようにすれば、ＤＣＴ係数情報の一部と動き補償適応予測に関する情報の一部をまとめて可変長符号化することにより符号量を削減することが可能になる。さらに、動き補償単位内の画素数が常に一定であるため、動きベクトル検出および動き補償予測用のハードウエアを簡素化することができる。
【００６７】
図１２は、本発明による動画像符号化装置の第３の実施例のブロック図であり、やはり動き補償適応予測ＤＣＴ符号化方式を用いた例である。また、本実施例においても第１および第２の実施例で説明した技術を用いているが、この部分は先の実施例との差異についてのみ詳細に説明する。
【００６８】
本実施例においても、第２の実施例と同様に入力信号をダウンサンプリングして符号化する技術を用いているが、画像内の一部はダウンサンプリングせずに予測符号化を行っていること、およびその部分の予測信号を作成するために第２のフレームメモリを有している。
【００６９】
まず、予測回路４０１において第２のフレームメモリ４２５に記憶されている画像信号を基に入力画像信号４３１を予測する第１の予測信号を作成し、予測残差信号４３３が小さくなる領域を判定する。こうして判定された領域ではスイッチ４２４で入力画像信号４３１を選択し、また予測回路４０１からは予測信号４３２として前記第１の予測信号を出力して入力画像信号４３１と同じサンプリング密度で予測符号化を行う。第１の予測信号による予測残差が大きな領域では、第２の実施例と同様に入力画像信号４３１をダウンサンプリング回路４２１でダウンサンプリングし、予測回路４０１でダウンサンプリングした画像信号に対する第２の予測信号を作成してこれを予測信号４３２として出力し、スイッチ４２４でダウンサンプリングした入力画像信号を選択して予測符号化を行う。
【００７０】
局部復号画像信号４３３は、第１のフレームメモリ４０２に記憶されるとともに、アップサンプリング回路４２６で入力画像信号４３１と同じサンプリング密度にアップサンプリングされた後、スイッチ４２８を介して第２のフレームメモリ４２５にも入力され、このフレームメモリ４２５の内容を一部書き換えするためにも用いられる。この場合、選択部４２７において第２のフレームメモリ４２５の書き換えを行う領域を決定する。これは、例えば入力画像信号と比較して予測残差が小さい領域を選択し、その選択情報をサイド情報として符号化するようにしてもよい。あるいは、動きベクトルの大きさが小さい領域を選択してもよいし、量子化されたＤＣＴ係数の自乗和、絶対値和等の評価量が小さい領域を選択してもよく、この場合は選択情報は符号化する必要がない。こうして選択部４２７で選択された領域について、第２のフレームメモリ４２５内のデータの書換えを行う。
【００７１】
なお、局部復号画像信号にはサンプリング密度が入力画像信号と同じ部分とダウンサンプリングされた部分がある。このため、サンプリング変換回路４２２におけるサンプリング密度変換の際にはこの２つの部分に対して異なる比でサンプリング変換を行い、フレーム内の全ての部分がダウンサンプリング回路４２１でダウンサンプリングされた入力画像信号と同一のサンプリング密度を持つようにする。
【００７２】
本実施例のように入力画像信号と同一のサンプリング密度を有するフレームメモリを用いることにより、入力画像信号と同一解像度の信号を予測に用いることが可能になり、予測精度が向上する。すなわち、本実施例では静止ないしは動きが小さい背景部分等のように、ダウンサンプリングを行わなくてもそれほど多くの符号量が発生しないため高い解像度を保つことが可能な部分と、大きな動きがある領域のように、予測効率が悪くダウンサンプリングを行わないと発生符号量が多くなり過ぎてしまう部分とを切り分けている。こうすることにより、画面全体をダウンサンプリングする場合に比べわずかな符号量の増加で、背景部分等の符号化品質を改善できる。さらに、第２のフレームメモリ４２５には動きベクトルが小さい部分や予測残差が小さい部分のみの書換えを行っているために背景部分が記憶されていることが多く、第１のフレームメモリ４０２に記憶されている局部復号画像信号からは予測することが不可能な、いわゆるアンカバードバックグラウンドを予測することが可能になる。
【００７３】
なお、入力画像信号４３１と同じサンプリング密度を有する第１の予測信号を作成する際には、第２のフレームメモリ４２５内で入力画像信号４３１と空間的に同一の位置にある画像信号を予測信号として用いてもよい。あるいは、動き補償を用いれば予測の精度を向上させることができる。パン、ズーム、回転、平行移動等を伴う背景部分を予測する場合にはグローバル動き補償を用いてもよく、少ない動き補償情報で高い精度の予測を行うことができる。
【００７４】
図１３は、図１２の動画像符号化装置に対応した動画像復号化装置である。符号化装置から伝送系または蓄積系を介して入力された符号列５３５は、デマルチプレクサ５１１で予測残差信号符号列、動き補償情報符号列、量子化幅情報およびサンプリング密度情報に分割され、それぞれ第１の可変長復号回路５０６、第２の可変長復号回路５１０、逆量子化回路５０７およびアップサンプリング回路５２１に入力される。第１の可変長復号回路５０６では予測残差信号が可変長復号され、さらに逆量子化回路５０７において逆量子化、逆ＤＣＴ回路５０８で逆離散コサイン変換という一連の処理が行われ、加算回路５０９で予測信号５３２と加算される。
【００７５】
図１２の動画像符号化装置でダウンサンプリングして符号化された部分は、アップサンプリング回路５２１で入力画像信号と同じサンプリング密度までアップサンプリングされてスイッチ５２８を介して再生画像信号５５０として出力され、ダウンサンプリングされなかった部分はそのままスイッチ５２８を介して再生画像信号５５０として出力される。選択部５２７で再生画像信号５５０の一部が選択され、第２のフレームメモリ５２５の内容の一部書き換えが行われる。
【００７６】
一方、第２の可変長符号回路５１０で動き補償情報符号列から予測モードおよび動きベクトル情報５３４と動き補償領域情報５３０が復号され、予測回路５０１へ入力される。予測回路５０１は、第１のフレームメモリ５０２および第２のフレームメモリ５２５に記憶されている復号画像信号を基にして、これらの情報５３４および５３０に従って図１における予測信号４３２と同一の予測信号５３２を出力する。
【００７７】
以上の処理は、図１２の動画像符号化装置に対応して画像信号を再生する処理であり、逆量子化回路５０７、逆ＤＣＴ回路５０８、加算回路５０９、フレームメモリ５０２，５２５、アップサンプリング回路５２６およびサンプリング変換回路５２２が行う処理は、それぞれ図１２における逆量子化回路４０７、逆ＤＣＴ回路４０８、加算回路４０９、フレームメモリ４０２，４２５、アップサンプリング回路４２６およびサンプリング変換回路４２２と、その実現手段は異なる場合もあるが本質的に同一である。また、選択部５２７は図１２の選択部４２７で選択した部分と同一の部分を選択する。また、第１および第２の可変長復号回路５０６，５１０、およびデマルチプレクサ５１１は、それぞれ図１の可変長符号化回路４０６，４１０およびマルチプレクサ４１１と逆の処理を行う。
【００７８】
【発明の効果】
以上説明したように、本発明によれば動き補償サイズを可変化することにより、量子化幅の制御のみで符号量制御を行っていた従来方式の様々な問題点が解決される。すなわち、動きベクトル情報量を基に動き補償サイズを制御することにより、従来方式で生じていた動きベクトル情報量のみで設定符号量を上回ってしまい符号量制御不能になるといった問題や、量子化幅が大きくなりすぎて符号化品質が低下するという問題が解決される。
【図面の簡単な説明】
【図１】 本発明による動画像符号化装置の第１の実施例のブロック図
【図２】 動き補償領域の第１の例を表す図
【図３】 同実施例の改良された動き補償サイズの制御例を示すフローチャート
【図４】 動き補償領域の第２の例を表す図
【図５】 動き補償領域の第３の例を表す図
【図６】 図１の動画像符号化装置に対応した動画像復号化装置の実施例のブロック図
【図７】 本発明による動画像符号化装置の第２の実施例のブロック図
【図８】 アクティビティと量子化幅の関係を示す図
【図９】 フレーム内画素数とアクティビティの関係を示す図
【図１０】 同実施例の改良された動き補償サイズの制御例を示すフローチャート
【図１１】 ダウンサンプリング比決定の際のしきい値を示す図
【図１２】 本発明による動画像符号化装置の第３の実施例のブロック図
【図１３】 図１２の動画像符号化装置に対応した動画像復号化装置の実施例のブロック図
【符号の説明】
１０１…動き補償予測回路 １０２…フレームメモリ
１０３…減算回路 １０４…ＤＣＴ回路
１０５…量子化回路 １０６…可変長符号化回路
１０７…逆量子化回路 １０８…逆ＤＣＴ回路
１０９…加算回路 １１０…可変長符号回路
１１１…マルチプレクサ １２１…量子化幅制御部
１２２…動き補償サイズ制御部 １３１…入力画像信号
１３２…予測信号 １３３…予測残差信号
１３５…符号列 １４０…動き補償領域情報
２０１…動き補償予測回路 ２０６…可変長復号回路
２０７…逆量子化回路 ２０８…逆ＤＣＴ回路
２０９…加算回路 ２１０…可変長復号回路
２１１…デマルチプレクサ ２２０…フレームメモリ
２３０…動き補償領域情報 ２３２…予測信号
２３４…予測モード／動きベクトル情報
２５０…再生画像信号
３０１…動き補償予測回路 ３０２…フレームメモリ
３０３…減算回路 ３０４…ＤＣＴ回路
３０５…量子化回路 ３０６…可変長符号化回路
３０７…逆量子化回路 ３０８…逆ＤＣＴ回路
３０９…加算回路 ３１０…可変長符号回路
３１１…マルチプレクサ ３２０…動き補償サイズ制御部
３２１…ダウンサンプリング回路 ３２２…サンプリング変換回路
３２３…量子化幅・ダウンサンプリング比制御部
３３１…入力画像信号 ３３２…予測信号
３３３…予測残差信号 ３３５…符号列
３４０…動き補償領域情報 ３４１…ダウンサンプリング画像信号
４０１…動き補償予測回路 ４０２…フレームメモリ
４０３…減算回路 ４０４…ＤＣＴ回路
４０５…量子化回路 ４０６…可変長符号化回路
４０７…逆量子化回路 ４０８…逆ＤＣＴ回路
４０９…加算回路 ４１０…可変長符号回路
４１１…マルチプレクサ ４２０…動き補償サイズ制御部
４２１…ダウンサンプリング回路 ４２２…サンプリング変換回路
４２３…量子化幅・ダウンサンプリング比制御部
４３１…入力画像信号 ４３２…予測信号
４３３…予測残差信号 ４３５…符号列
４４０…動き補償領域情報 ４４１…ダウンサンプリング画像信号
５０１…動き補償予測回路 ５０２…フレームメモリ
５０６…可変長復号回路 ５０７…逆量子化回路
５０８…逆ＤＣＴ回路 ５０９…加算回路
５１０…可変長復号回路 ５１１…デマルチプレクサ
５２２…サンプリング変換回路 ５２５…フレームメモリ
５３０…動き補償領域情報 ５３２…予測信号
５３４…予測モード／動きベクトル情報
５５０…再生画像信号[0001]
[Industrial application fields]
The present invention relates to a system for transmitting or storing images, such as a TV phone, a TV teleconferencing system, a digital video disk system, and a digital TV broadcasting system, and a system for receiving or reproducing these images, and particularly to reducing the amount of information in an image. Video coding for compression codingMethod and apparatusAbout.
[0002]
[Prior art]
Various methods such as motion compensation, discrete cosine transform, subband coding, pyramid coding, and combinations of these have been developed as technologies for compressing and coding images with a small amount of information in order to transmit and store images. Has been. In addition, ISO / MPEG1, MPEG2 and ITU-T / H. 261, H.M. 262 is defined.
[0003]
As an example of a conventional moving picture coding system, a motion compensation adaptive prediction discrete cosine transform coding system will be described. This method is described in detail in, for example, Document 1: Hiroshi Yasuda, “International Standard for Multimedia Coding”, Maruzen (published in June 1991) and the like. Describing a schematic operation, motion compensation adaptive prediction is first performed on an input image signal. That is, the input image signal is divided into a plurality of blocks, and a motion vector between the image signal and the already encoded / local decoded image signal stored in the frame memory in units of blocks is detected. The first prediction signal is generated using the first prediction signal. Next, the block is further divided into a plurality of small blocks as necessary, and motion vector detection is performed in units of the small blocks to generate a second prediction signal.
[0004]
Of the first prediction mode using the first prediction signal, the second prediction mode using the second prediction signal, and the intra-frame coding mode (prediction signal = 0) using the input image signal as it is for encoding The optimum prediction mode for encoding is selected and a corresponding prediction signal is output. Then, information indicating the selected prediction mode and motion belt information are subjected to variable length coding. For motion vector information, a method is generally used in which a difference from a motion vector of an adjacent already encoded block is taken and this difference is subjected to variable length encoding.
[0005]
On the other hand, a prediction residual signal is generated by subtracting the selected prediction signal from the input image signal. The prediction residual signal is subjected to discrete cosine transform (DCT) in units of a certain size block, and the DCT coefficients obtained thereby are further quantized. The quantized signal is branched into two, one is variable length coded, the other is inverse quantized, and then subjected to inverse discrete cosine transform (inverse DCT). The signal obtained by inverse DCT is added to the prediction signal and stored in the frame memory.
[0006]
The variable length code of the information indicating the prediction mode and the motion belt information and the variable length code of the quantized DCT coefficient are multiplexed together with the information indicating the quantization width and output as an output code string. The code amount of the output code string needs to be controlled in accordance with the transmission / accumulation rate determined by the transmission path and the accumulation medium. In general, such code amount control is performed by controlling the quantization width when the DCT coefficients are quantized. That is, if the quantization width is increased, the accuracy of expressing the DCT coefficient is reduced and the encoding quality is reduced, but the code amount is reduced. Conversely, if the quantization width is reduced, the accuracy of expressing the DCT coefficient is improved. Instead of improving the coding quality, the code amount increases. Various methods have been proposed for determining the quantization width, but the method for determining based on the buffer filling rate when the output code string is put in a virtual buffer, the input image signal, or the prediction residual A method of estimating a quantization width in which the code amount of an output code string becomes a set code amount based on signal activity is used.
[0007]
However, in the conventional method for controlling the code amount of the output code string by controlling the quantization width as described above, although the code amount of the DCT coefficient information can be controlled, information indicating other adaptive prediction modes, There is a problem that it is impossible to control the code amount of information relating to motion vectors. As described above, since the mode information and the motion vector information are variable-length encoded, the generated code amount varies depending on the type of image to be encoded, and the change in the code amount of the motion vector information is particularly significant. As described above, in the method of variable length coding by taking the difference of motion vectors, the difference is small when adjacent motion vector components are aligned, so the generated code amount is small, but the motion is complicated and within the frame. When the motion vector changes greatly, the amount of generated code increases. However, since the conventional coding apparatus cannot control the generated code amount of motion vector information, the following various problems have occurred.
[0008]
First, when an image signal having a complicated motion is encoded particularly when the set code amount is small, the set code amount exceeds the set amount only by motion vector information, and the generated code amount cannot be controlled only by controlling the quantization width. May fall into In order to avoid such a phenomenon, in the conventional encoding apparatus, when the buffer filling rate of the virtual buffer described above exceeds a specified value, all encoding is forcibly stopped and a code is generated. A method has been used in which the amount of codes is reduced by reducing the number of frames or by thinning out some frames of the input image signal. However, in this method, the code amount is forcibly suppressed, so that problems such as a significant decrease in coding quality and unnatural movement occur.
[0009]
Second, when the set code amount is small, the quantization width becomes a very large value, and there is a problem that the encoding quality is deteriorated. In particular, in an encoding system using DCT, when the quantization width is increased, distortion called block distortion or mosquito distortion occurs, and the encoding quality deteriorates.
[0010]
[Problems to be solved by the invention]
As described above, in the conventional video encoding device, the generated code amount is set to the set code amount by controlling the quantization width when the signal obtained by converting the prediction residual signal of the motion compensation adaptive prediction is quantized. Because it is controlled, the amount of code cannot be controlled when encoding an image signal with complex motion under the condition that the set amount of code is small, or the quantization width becomes too large and the encoding quality deteriorates. There was a problem.
[0011]
An object of the present invention is to control the generated code amount to be the set code amount regardless of the state of the input image signal.In addition, even when the set code amount is small, the quantization width does not become too large and the coding quality is high.Video codingMethod and apparatusIt is to provide.
[0014]
[Means for Solving the Problems]
To solve the above problem,In the present invention, a prediction signal is generated by performing motion compensation prediction for each unit region of a certain size for an input image signal input in units of frames, and a prediction residual signal of the prediction signal for the input image signal is encoded. In order to encode the motion vector information used for motion compensation prediction in the prediction step and the information related to the size of the unit area of a certain size, the code amount of the motion vector information is used to suppress an increase in the code amount of the motion vector information. Accordingly, control is performed so as to increase the size of the unit area of a certain size for each frame of the input image signal.
[0015]
In the present invention,A prediction signal is generated by performing motion compensation prediction for each unit region of a certain size with respect to an input image signal input in units of frames, and a prediction residual signal of the prediction signal for the input image signal is encoded. In order to encode the motion vector information used for the motion compensation prediction and the information related to the size of the unit area of the constant size, and to suppress an increase in the code amount of the motion vector information, according to the code amount of the motion vector information Control is performed so as to increase the size of the unit area of the constant size for each frame of the input image signal.
[0020]
[Action]
In the present invention, the size of a unit area for prediction is variable, and this is controlled according to the amount of information of at least motion vector information, so that the amount of code of side information accompanying prediction such as the amount of motion vector information can be controlled. become. With this type of control, the amount of code can be controlled by controlling only the quantization width such that the code amount of the side information such as motion vector information exceeds the set code amount or the quantization width becomes too large. The problem of the conventional methodThe
[0023]
【Example】
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram of a first embodiment of a moving picture coding apparatus according to the present invention, which is an example using a motion compensated adaptive prediction DCT coding system. Since the motion compensation adaptive DCT encoding method is detailed in the above-mentioned
[0024]
In this moving image coding apparatus, motion compensation adaptive prediction is first performed on the
[0025]
The prediction
[0026]
On the other hand, the
[0027]
Outputs from the first and second variable
[0028]
Here, the size of a unit block for performing motion compensation in motion compensation prediction in the motion compensation prediction circuit 101 (hereinafter referred to as motion compensation size) is variable and is controlled by the motion
[0029]
FIG. 2 shows a first example of a motion compensation unit block together with a motion vector. In the example of FIG. 2, basically, a block having a certain size determined for each frame as shown in (a) is used as a motion compensation unit block, and motion compensation is performed by dividing into blocks. However, if there is a remainder that cannot be divided by a certain block size at the edge of the screen, the remainder is made a small block as shown in FIG. 2B or integrated into an adjacent block. Since the size of the motion compensation unit block (motion compensation size) is constant for each frame, the motion compensation region information 140 may be encoded once for each frame, and the increase in code amount accompanying this is very small. is there. Motion vector detection is performed for each divided unit, and one motion vector is obtained for each unit block as indicated by an arrow in FIG. Note that the motion vector of (0, 0) is indicated by a symbol “·” in FIG.
[0030]
FIGS. 2A and 2B are examples when the motion compensation unit block is small and large, respectively. If the motion compensation unit block is made smaller as shown in FIG. 2A, motion compensation is performed for each smaller area, so that the accuracy of motion compensation is improved and the code amount of the prediction
[0031]
As described above, the size of the motion compensation unit block, that is, the motion compensation size, is a trade-off between the code amount of the prediction residual signal 133 (the generated code amount of the first variable length coding circuit 106) and the code amount of the motion vector information. Since some are off and optimal, several motion compensation size candidates are prepared, and the size that minimizes the total code amount of the prediction residual signal and motion vector information among those candidates. Is selected, the optimum motion compensation size can be determined.
[0032]
However, if it is difficult to recalculate the motion vector for each size in terms of computational complexity, the motion vector is first obtained for each small block, and the motion vector with a large block size is positioned on the frame. Alternatively, it may be estimated based on a motion vector that enters the block or a motion vector of an adjacent small block. Alternatively, first, a motion vector may be detected in units of large blocks, and a motion vector search may be performed around the motion vector of a small block based on the motion vector of a large block that is positionally included on the frame. .
[0033]
By determining the motion compensation size and detecting the motion vector as described above, the amount of calculation is greatly reduced as compared with the case where the motion vector is obtained again for each size. Note that the code amount of the prediction
[0034]
By the way, when a complicated motion is included in the screen, if the encoding is performed in a small motion compensation unit, the amount of code of the motion vector becomes enormous. As a result, the quantization width must be made very large and the coding quality may be degraded, or the code amount may exceed the set code amount only with the motion vector information, and the code amount may not be controlled. In order to prevent this, the motion compensation size may be controlled so that the code amount of the motion vector information does not exceed a certain threshold. Specifically, for example, the control may be performed by the following algorithm.
[0035]
size: motion compensation size (size of motion compensation unit)
size (t-1): motion compensation size of the frame encoded immediately before
MC_bits (t−1): code amount of motion vector information of the frame encoded immediately before
th1, th2: threshold (th1> th2)
C: Constant
It is.
[0036]
FIG. 3 is a flowchart showing this control. That is, first, it is checked whether or not the code amount: MC_bits (t−1) of the motion vector of the frame encoded immediately before exceeds the threshold value th1 (S11), and if it exceeds th1, the frame encoded immediately before. Motion compensation size: size (t-1) minus constant C is set as a new motion compensation size: size (S12).
[0037]
On the other hand, if the code amount: MC_bits (t−1) is not equal to or greater than the threshold th1, whether or not the code amount: MC_bits (t−1) is less than the threshold th2 is further checked (S13). If not, the motion compensation size of the frame encoded immediately before: size (t-1) plus a constant C is used as a new motion compensation size: size (S14). Otherwise, encoding is performed immediately before. Frame motion compensation size: size (t-1) is set as a new motion compensation size (S15).
[0038]
In this example, the size is controlled by the motion vector code amount of the immediately preceding frame using the fact that there is a strong correlation between the motion vector code amount of the frame encoded immediately before and the current frame. If the motion vector code amount of the frame encoded immediately before exceeds the threshold th1, the size of the motion vector code amount may become excessively large if the same size is encoded. In contrast, when the motion vector code amount of the previously encoded frame is sufficiently small, control is performed so as to improve the motion compensation accuracy by reducing the size.
[0039]
By performing such control, even if the motion is very complex, the motion vector code amount becomes excessively large and the code amount cannot be controlled or the quantization width becomes too large. Motion compensation can be performed with high accuracy in an image that has no problem and has a small motion and a small amount of motion vector code.
[0040]
An upper limit and a lower limit in the motion compensation size may be provided so that the size falls within a certain range. As a result, it is possible to prevent the motion compensation size from becoming too large and the motion compensation accuracy from being lowered too much, or the motion compensation size from becoming too small and the motion vector code amount from being extremely increased.
[0041]
The threshold values th1 and th2 may be constants determined by the set code amount or the like, but the size of the motion or the size of the region where the motion vector is (0, 0) may be changed.
[0042]
Note that the present invention can be used in combination with a technique in which some motion compensation blocks are divided into smaller blocks and motion compensation is performed. FIG. 4 shows an example of a motion compensation block when such division is performed, together with a motion vector. A block indicated by a broken line in the figure is a divided block, and a motion vector is obtained for each divided block. Information indicating whether or not to perform division is also encoded. In particular, when a large motion compensation block is used as shown in FIG. 4B, only a portion of a large block where the motion compensation accuracy is significantly reduced is divided and motion compensation is performed in fine units. The motion compensation accuracy of the part can be improved.
[0043]
Further, the shape and size of the motion compensation block, that is, the unit region for performing motion compensation, may be different for each part in the image. FIG. 5 shows an example in which such a motion compensation unit region is shown together with a motion vector. The inside of the frame is divided into areas indicating the outline of the object on the screen indicated by thick lines in the figure, which are further divided into small areas indicated by thin lines. Information relating to this region division is also included in the motion compensation size information 140 and encoded.
[0044]
FIGS. 5A and 5B are examples in which the motion compensation unit region is divided into a fine region and a large region, respectively. 5 (a) and 5 (b) differ in the accuracy of representing a thick line and in how many thin line regions the thick line region is divided into. FIG. 5 (a) has a higher accuracy for representing a thick line than FIG. 5 (b), and the outline of the target object can be represented with a higher accuracy, so that the motion compensation accuracy is higher, but there is more area information. Further, since FIG. 5A is divided into finer supplemental line regions than FIG. 5B, the motion compensation accuracy is high, but the motion vector information increases. Therefore, in consideration of the trade-off between the motion compensation accuracy, the region information amount, and the motion vector information amount, the image is divided into optimum regions for encoding.
[0045]
It should be noted that the representation accuracy of the thick line and how many thin line regions the thick line region is divided into may be different for each thick line region. For example, for a very important target object such as a human face, a thick line is expressed with as high accuracy as possible and divided into fine thin line areas. Roughly express and divide into large thin line areas. Even when the area is roughened as shown in FIG. 5 (a) to FIG. 5 (b), the important area such as the face area should not be so rough and not as important as the background part. The region should be a rough region. In this way, by changing the extent to which the area becomes rough between the important part and the non-important part in the image, even if the amount of motion information of the entire image is reduced, the important area can have high motion compensation accuracy. The subjective quality of the digitized image is improved.
[0046]
In the above example, the same motion vector is used in the motion compensation unit region. However, the motion vector is interpolated using the motion vector of the adjacent region, and a different motion vector is used in the region. Good. Further, the interpolation method may be changed according to the size of the motion compensation unit, or whether to perform interpolation may be selected.
[0047]
FIG. 6 is a moving picture decoding apparatus corresponding to the moving picture encoding apparatus of FIG. The
[0048]
The second variable
[0049]
On the other hand, in the first variable
[0050]
The above processing is processing for reproducing an image signal corresponding to the moving image encoding apparatus in FIG. 1. The processing performed by the
[0051]
FIG. 7 is a block diagram of a second embodiment of the moving picture coding apparatus according to the present invention, which is an example using the motion compensated adaptive prediction DCT coding scheme as in the first embodiment. Also, in this embodiment, the method of changing the size of the motion compensation region described in the first embodiment is used, but only the difference from the first embodiment will be described in detail in this part.
[0052]
The
[0053]
Here, the downsampling ratio in the
[0054]
The downsampling ratio and the quantization width for the input image signal are determined and controlled by the quantization width / downsampling
[0055]
First, a method of determining the downsampling ratio and the quantization width when performing intraframe coding (predicted
[0056]
Next, based on the relationship between the activity and the quantization width for a given set code amount as shown in FIG. 8A, an estimation value of the quantization width is obtained so that the generated code amount becomes the set code amount. Here, the set code amount is determined prior to encoding of the frame based on the total generated code amount as the set code amount for the intra-frame code. The relationship between the activity and the quantization width may be determined in advance for encoding, or may be updated based on the relationship between the activity, the code amount, and the quantization width in the already encoded image signal. Next, the activity of the image signal obtained by down-sampling the input image signal is calculated for several down-sampling ratios. This calculation may be obtained by actually down-sampling the input image signal.
[0057]
Further, the relationship between the sampling density and the activity as shown in FIG. 9 may be determined in advance, and may be calculated by conversion from the activity of the
[0058]
Next, using the relationship between the activity and the quantization ratio width for the down-sampled image signal as shown in FIGS. 8B and 8C, the quantization width that is the set code amount for each down-sampling ratio. Get an estimate. Among the combinations of downsampling ratios and quantization widths obtained as described above, the optimum one used for encoding is selected. For this selection, for example, a pair having the highest sampling density where the quantization width is a certain value or less may be selected. In this way, the quantization width is not increased so much that the encoding quality is not significantly lowered. Alternatively, a set may be selected such that the sum of two distortions, that is, a component lost by downsampling and a distortion caused by quantization is minimized. Alternatively, a pair that minimizes a value obtained by performing weighting filtering considering the visual characteristics of these two distortions may be selected. In this way, a visually optimal sampling density and quantization width are selected.
[0059]
Next, a method of determining the downsampling ratio and the quantization width when performing motion compensation interframe predictive coding will be described. In this case, the activity is calculated using the variance of the prediction residual signal and the absolute value sum. However, if a motion vector is detected for each downsampling ratio to obtain a predicted image signal, the amount of calculation processing becomes enormous. For this reason, a value obtained by converting this according to the sampling density based on the activity of the frame encoded immediately before may be used. Alternatively, motion vector detection is performed on the input image signal to obtain a predicted image signal, and this activity is converted according to the sampling density, and the motion for the input image signal is also obtained when obtaining the predicted
[0060]
The downsampling ratio may be determined by using different methods for intraframe coding and interframe coding. For example, interframe coding may be determined in consideration of the magnitude of motion. This can be realized, for example, by controlling with the following algorithm based on the generated code amount of information relating to motion compensation such as motion vectors.
[0061]
frame_size: number of pixels in the frame of the down-sampled image signal
frame_size (t-1): number of pixels in the frame of the downsampled image signal of the frame encoded immediately before
MC_bits (t−1): code amount of the motion vector of the frame encoded immediately before
th1, th2: threshold (th1> th2)
C: Constant
MIN_SIZE: Minimum value of the number of pixels in the frame
MAX_SIZE: Maximum value of the number of pixels in the frame = number of pixels in the frame of the input moving image signal
It is.
[0062]
FIG. 10 is a flowchart showing this control. That is, first, it is checked whether or not the number of pixels in the frame of the downsampled image signal of the frame encoded immediately before: frame_size (t−1) exceeds the minimum value of the number of pixels in frame: MIN_SIZE (S21), and exceeds MIN_SIZE. If so, it is checked whether or not the code amount: MC_bits (t−1) of the motion vector of the frame encoded immediately before exceeds the threshold th1 (S22). If it exceeds th1, frame_size (t− A value obtained by subtracting the constant C from 1) is set as the number of pixels in the frame of the downsampled image signal of a new frame: frame_size (S23).
[0063]
On the other hand, when the number of pixels in the frame of the downsampled image signal of the frame encoded immediately before: frame_size (t−1) is not greater than the minimum value of the number of pixels in the frame: MIN_SIZE, frame_size (t−1) is within the frame. It is checked whether or not the maximum number of pixels: MAX_SIZE (S24). If frame_size (t-1) is less than MAX_SIZE, the code amount of the motion vector of the frame encoded immediately before: MC_bits ( It is checked whether or not t-1) is less than the threshold value th2 (S25). If it is less than th2, frame_size (t-1) plus a constant C is used as the frame of the downsampled image signal of a new frame. Number of pixels: frame_size (S26), so Kere If frame_size (t-1) frame in number of pixels of the downsampled image signal of a new frame: a frame_size (S27).
[0064]
In this example, in general, when the motion is large as a visual characteristic, the spatial resolution may be lowered to some extent, and conversely, when the motion is small, a high spatial resolution is required. In this example, the spatial resolution is decreased by increasing the downsampling ratio when the code amount is large, and the spatial resolution is increased by decreasing the downsampling ratio when the motion vector code amount is small. By performing such control, encoding can be performed while maintaining a visually suitable resolution. Note that the downsampling ratio is controlled by the motion vector code amount of the immediately preceding frame using the fact that there is a strong correlation between the motion vector code amount of the frame encoded immediately before and the current frame. In addition, the number of pixels is determined by increasing or decreasing by a constant C from the number of pixels in the immediately preceding frame, but this is to prevent a problem that it is visually undesirable to change the resolution so much from the immediately preceding frame.
[0065]
The thresholds th1 and th2 may be constants determined by the set code amount or the like, but the size of the motion, the size of the region where the motion vector is (0, 0), or the like may be changed. For example, the relationship shown in FIG. 11 may be defined and determined based on the number of regions where the motion vector (MV) is (0, 0). As shown in FIG. 11, when there are many regions of motion vector = (0, 0), the sampling density is controlled by increasing the threshold value. As a result, a high spatial resolution is always maintained in a still part where MV = (0, 0) is preferable, particularly when a high spatial resolution is maintained, and an object or person moves in front of a static background. Encoding quality is improved in such an image signal.
[0066]
Note that the motion compensation size is also determined in consideration of the downsampling ratio. Specifically, for example, the downsampling ratio and the enlargement ratio of the motion compensation size may be set equal. Thereby, the number of pixels included in each motion compensation region is kept constant. If the number of pixels in the motion compensation region is always the same as the unit of DCT or an integer multiple thereof, the variable length code can be obtained by combining a part of DCT coefficient information and a part of information on motion compensation adaptive prediction. Therefore, the amount of codes can be reduced. Furthermore, since the number of pixels in the motion compensation unit is always constant, hardware for motion vector detection and motion compensation prediction can be simplified.
[0067]
FIG. 12 is a block diagram of a third embodiment of the moving picture coding apparatus according to the present invention, which is also an example using the motion compensated adaptive prediction DCT coding scheme. Also, in this embodiment, the techniques described in the first and second embodiments are used, but only the difference from the previous embodiment will be described in detail in this part.
[0068]
Also in this embodiment, a technique for down-sampling and encoding the input signal is used as in the second embodiment, but a part of the image is subjected to predictive encoding without down-sampling. , And a second frame memory for generating a prediction signal of that portion.
[0069]
First, the
[0070]
The local decoded
[0071]
Note that the locally decoded image signal includes a portion where the sampling density is the same as that of the input image signal and a portion which is down-sampled. Therefore, when sampling density conversion is performed in the
[0072]
By using a frame memory having the same sampling density as that of the input image signal as in this embodiment, a signal having the same resolution as that of the input image signal can be used for prediction, and prediction accuracy is improved. That is, in this embodiment, a portion where a high resolution can be maintained because a large amount of code is not generated without downsampling, such as a background portion where still or motion is small, and a region where there is large motion In this way, the portion where the amount of generated code becomes excessive unless downsampling is performed due to poor prediction efficiency is separated. By doing so, the coding quality of the background portion and the like can be improved with a slight increase in the amount of code compared to the case of down-sampling the entire screen. In addition, since the
[0073]
Note that when the first prediction signal having the same sampling density as the
[0074]
FIG. 13 is a moving picture decoding apparatus corresponding to the moving picture encoding apparatus of FIG. The
[0075]
The portion that has been down-sampled and encoded by the moving image encoding device in FIG. 12 is up-sampled to the same sampling density as the input image signal by the up-sampling circuit 521 and output as a reproduced
[0076]
On the other hand, the second variable
[0077]
The above processing is processing for reproducing an image signal corresponding to the moving picture encoding apparatus of FIG. 12, and includes an
[0078]
【The invention's effect】
As described above, according to the present invention, a motion compensation cycle is performed.TheBy making it variable, various problems of the conventional method in which the code amount control is performed only by controlling the quantization width are solved. In other words, the motion compensation cycle is based on the amount of motion vector information.TheBy controlling, there is a problem that only the amount of motion vector information generated in the conventional method exceeds the set code amount and the code amount cannot be controlled, or the quantization width becomes too large and the coding quality is deteriorated. Is resolved.
[Brief description of the drawings]
FIG. 1 is a block diagram of a first embodiment of a video encoding apparatus according to the present invention.
FIG. 2 is a diagram illustrating a first example of a motion compensation region
FIG. 3 is a flowchart showing an example of improved motion compensation size control according to the embodiment;
FIG. 4 is a diagram illustrating a second example of a motion compensation region
FIG. 5 is a diagram illustrating a third example of a motion compensation region
6 is a block diagram of an embodiment of a moving picture decoding apparatus corresponding to the moving picture encoding apparatus of FIG.
FIG. 7 is a block diagram of a second embodiment of the video encoding apparatus according to the present invention.
FIG. 8 is a diagram showing the relationship between activity and quantization width
FIG. 9 is a diagram showing the relationship between the number of pixels in a frame and activity
FIG. 10 is a flowchart showing an example of improved motion compensation size control according to the embodiment;
FIG. 11 is a diagram showing a threshold when determining a downsampling ratio.
FIG. 12 is a block diagram of a third embodiment of the video encoding apparatus according to the present invention.
13 is a block diagram of an embodiment of a moving picture decoding apparatus corresponding to the moving picture encoding apparatus of FIG.
[Explanation of symbols]
101 ... motion
103 ...
105 ...
107: Inverse quantization circuit 108: Inverse DCT circuit
109: Adder circuit 110: Variable length code circuit
111:
122: Motion compensation size control unit 131: Input image signal
132 ...
135: Code sequence 140: Motion compensation region information
201 ... motion
207 ...
209 ...
211 ...
230: Motion compensation area information 232: Prediction signal
234 ... Prediction mode / motion vector information
250: Reproduced image signal
301: Motion
303 ...
305 ...
307 ...
309 ...
311: Multiplexer 320: Motion compensation size control unit
321 ... Down-
323: Quantization width / downsampling ratio control unit
331: Input image signal 332: Prediction signal
333: Prediction residual signal 335: Code sequence
340 ... motion
401: Motion compensation prediction circuit 402: Frame memory
403 ...
405: Quantization circuit 406: Variable length coding circuit
407 ...
409...
411:
421 ... Down-
423 ... Quantization width / downsampling ratio controller
431 ... Input image signal 432 ... Prediction signal
433: Prediction residual signal 435: Code sequence
440 ... motion compensation area information 441 ... down-sampled image signal
501 ... Motion
506: Variable length decoding circuit 507: Inverse quantization circuit
508 ...
510: Variable length decoding circuit 511: Demultiplexer
522 ...
530 ... motion
534 ... Prediction mode / motion vector information
550: Reproduced image signal
Claims (2)
前記入力画像信号に対する前記予測信号の予測残差信号を符号化する第１の符号化ステップと、
前記予測ステップにおいて前記動き補償予測に用いた動きベクトル情報および前記一定の大きさの単位領域の大きさに関する情報を符号化する第２の符号化ステップと、
前記動きベクトル情報の符号量の増加を抑制するために、前記動きベクトル情報の符号量に応じて前記入力画像信号のフレーム毎に前記一定の大きさの単位領域の大きさを大きくするように制御するステップとを有することを特徴とする動画像符号化方法。A prediction step of generating a prediction signal by performing motion compensation prediction for each unit region of a certain size for an input image signal input in units of frames;
A first encoding step of encoding a prediction residual signal of the prediction signal with respect to the input image signal;
A second encoding step for encoding the motion vector information used for the motion compensation prediction in the prediction step and information on the size of the unit area of the constant size ;
In order to suppress an increase in the code amount of the motion vector information, control is performed to increase the size of the unit area of the constant size for each frame of the input image signal in accordance with the code amount of the motion vector information. A moving image encoding method comprising the steps of:
前記入力画像信号に対する前記予測信号の予測残差信号を符号化する第１の符号化手段と、
前記予測手段において前記動き補償予測に用いた動きベクトル情報および前記一定の大きさの単位領域の大きさに関する情報を符号化する第２の符号化手段と、
前記動きベクトル情報の符号量の増加を抑制するために、前記動きベクトル情報の符号量に応じて前記入力画像信号のフレーム毎に前記一定の大きさの単位領域の大きさを大きくするように制御する手段とを有することを特徴とする動画像符号化装置。Prediction means for generating a prediction signal by performing motion compensation prediction for each unit region of a certain size for an input image signal input in units of frames;
First encoding means for encoding a prediction residual signal of the prediction signal for the input image signal;
Second encoding means for encoding the motion vector information used for the motion compensation prediction in the prediction means and information relating to the size of the unit area of the constant size ;
In order to suppress an increase in the code amount of the motion vector information, control is performed to increase the size of the unit area of the constant size for each frame of the input image signal in accordance with the code amount of the motion vector information. video encoding apparatus characterized by having means for.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14768094A JP3778960B2 (en) | 1994-06-29 | 1994-06-29 | Video coding method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14768094A JP3778960B2 (en) | 1994-06-29 | 1994-06-29 | Video coding method and apparatus |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003347222A Division JP2004040833A (en) | 2003-10-06 | 2003-10-06 | Moving picture coding method and apparatus, and moving picture decoding method and apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0818976A JPH0818976A (en) | 1996-01-19 |
| JP3778960B2 true JP3778960B2 (en) | 2006-05-24 |
Family
ID=15435856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14768094A Expired - Fee Related JP3778960B2 (en) | 1994-06-29 | 1994-06-29 | Video coding method and apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3778960B2 (en) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100219133B1 (en) * | 1996-01-06 | 1999-09-01 | 윤종용 | Method and apparatus for selecting transform coefficient of transform encoding system |
| FR2806570B1 (en) * | 2000-03-15 | 2002-05-17 | Thomson Multimedia Sa | METHOD AND DEVICE FOR CODING VIDEO IMAGES |
| JP4193406B2 (en) | 2002-04-16 | 2008-12-10 | 三菱電機株式会社 | Video data conversion apparatus and video data conversion method |
| JP4761102B2 (en) * | 2003-12-10 | 2011-08-31 | ソニー株式会社 | Image display apparatus and method, and program |
| US7660487B2 (en) | 2003-12-10 | 2010-02-09 | Sony Corporation | Image processing method and apparatus with image resolution conversion related to relative movement detection |
| US7974193B2 (en) | 2005-04-08 | 2011-07-05 | Qualcomm Incorporated | Methods and systems for resizing multimedia content based on quality and rate information |
| CN101273641B (en) | 2005-09-26 | 2013-03-06 | 三菱电机株式会社 | Dynamic image encoding device and dynamic image decoding device |
| US8582905B2 (en) * | 2006-01-31 | 2013-11-12 | Qualcomm Incorporated | Methods and systems for rate control within an encoding device |
| JP4592656B2 (en) * | 2006-08-17 | 2010-12-01 | 富士通セミコンダクター株式会社 | Motion prediction processing device, image encoding device, and image decoding device |
| WO2009014156A1 (en) | 2007-07-20 | 2009-01-29 | Fujifilm Corporation | Image processing apparatus, image processing method and program |
| JP5531327B2 (en) * | 2007-09-10 | 2014-06-25 | 富士フイルム株式会社 | Image processing apparatus, image processing method, and program |
| WO2009130971A1 (en) * | 2008-04-21 | 2009-10-29 | シャープ株式会社 | Dynamic image encoding device and dynamic image decoding device |
| WO2009131703A2 (en) * | 2008-04-25 | 2009-10-29 | Thomson Licensing | Coding of depth signal |
| WO2010021666A1 (en) | 2008-08-20 | 2010-02-25 | Thomson Licensing | Refined depth map |
| KR20110126103A (en) | 2009-01-07 | 2011-11-22 | 톰슨 라이센싱 | Joint depth estimation |
| WO2011077524A1 (en) * | 2009-12-24 | 2011-06-30 | 株式会社 東芝 | Moving picture coding device and moving picture decoding device |
| CN102823248B (en) | 2010-04-08 | 2015-06-24 | 株式会社东芝 | Image encoding method and image decoding method |
| JP2011223303A (en) * | 2010-04-09 | 2011-11-04 | Sony Corp | Image encoding device and image encoding method, and image decoding device and image decoding method |
| US20180027256A1 (en) * | 2015-01-19 | 2018-01-25 | Nec Corporation | Video encoding device, video encoding method, and video encoding program |
| JP6757599B2 (en) * | 2016-06-02 | 2020-09-23 | 日本放送協会 | Encoding device and program |
-
1994
- 1994-06-29 JP JP14768094A patent/JP3778960B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0818976A (en) | 1996-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3778960B2 (en) | Video coding method and apparatus | |
| EP1646245B1 (en) | Video coding apparatus and decoding apparatus | |
| JP4186242B2 (en) | Image signal processing apparatus and image signal processing method | |
| US6819714B2 (en) | Video encoding apparatus that adjusts code amount by skipping encoding of image data | |
| US6862372B2 (en) | System for and method of sharpness enhancement using coding information and local spatial features | |
| JP2001245303A (en) | Moving picture coder and moving picture coding method | |
| JP4875007B2 (en) | Moving picture coding apparatus, moving picture coding method, and moving picture decoding apparatus | |
| JPH0818977A (en) | Dynamic image encoder/decoder | |
| JP2006509437A (en) | Unified Metric for Digital Video Processing (UMDVP) | |
| JPH0984025A (en) | Digital image signal coder and its method and coding image signal decoder and its method | |
| JP3982615B2 (en) | System for converting encoded video data | |
| KR20050085730A (en) | Elastic storage | |
| JP4224662B2 (en) | Image encoding apparatus and method, image decoding apparatus and method, and image processing apparatus | |
| JP2914607B2 (en) | Image signal decoding device | |
| JPH10108197A (en) | Image coder, image coding control method, and medium storing image coding control program | |
| JP2004040833A (en) | Moving picture coding method and apparatus, and moving picture decoding method and apparatus | |
| JP2007020216A (en) | Encoding apparatus, encoding method, filtering apparatus and filtering method | |
| JP4359273B2 (en) | Coding mode selection method | |
| JP3289695B2 (en) | Video encoding method and apparatus | |
| JP4353928B2 (en) | Data compression method, recording method, and transmission method | |
| JP4359274B2 (en) | Video compression encoding device | |
| JPH07203442A (en) | Digital transmitter | |
| JP2000023165A (en) | Moving image encoding device and method | |
| JP2001145108A (en) | Device and method for converting image information | |
| JP2007006533A (en) | Encoding apparatus, encoding method, filter processing apparatus and filter processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040116 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040217 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20040312 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050415 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050606 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060208 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060301 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100310 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |