JP3859118B2 - 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法 - Google Patents
可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法 Download PDFInfo
- Publication number
- JP3859118B2 JP3859118B2 JP2000255170A JP2000255170A JP3859118B2 JP 3859118 B2 JP3859118 B2 JP 3859118B2 JP 2000255170 A JP2000255170 A JP 2000255170A JP 2000255170 A JP2000255170 A JP 2000255170A JP 3859118 B2 JP3859118 B2 JP 3859118B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- rate
- image rate
- interlaced
- predetermined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像を再生画質を低下させることなく効率的に伝送、蓄積、表示するために、走査線構造を切り替えて単位時間あたりの画像数を変化させ、画像情報をより少ない符号量でディジタル信号にする高能率符号化する符号化処理、及びその符号化処理に適した復号化処理に関するものである。
【０００２】
【従来の技術】
＜可変画像レート符号化＞
動画像符号化では、６４ｋｂｐｓなど特に低い転送ビットレートで符号化する場合、入来するフレーム(画像)のすべてを符号化せず、間引いた一部の画像のみを符号化する場合がある。元の画像が３０フレーム／秒（ｆｐｓ）であると、間引きにより１５ｆｐｓ、１０ｆｐｓ、５ｆｐｓなどとなる。この場合、間引きにより動きのスムーズさは損なわれることになるが、被符号化フレームが減るので発生符号量は少なくすることができる。
ＭＰＥＧ方式では、画像間予測の方法を２種類持ち、Ｐピクチャーと呼ばれる片側方向予測と、Ｂピクチャーと呼ばれる双方向予測が使われる。ここで、Ｂピクチャーは、他の画像の参照画像にならないので、削除しても他の画像には影響しない。これにより、一度符号化された符号列から、Ｂピクチャーの符号列のみを削除することで画像レートを変更できる。この場合、Ｐピクチャーが３フレーム毎に設定されていると、３０フレーム／秒が１０フレーム／秒になる。
【０００３】
＜従来例可変画像レート符号化装置＞
図７は可変画像レート符号化装置の従来例構成を示したものである。画像入力端子７１より入来する３０フレーム／秒(ｆｐｓ)の動画像信号は、フレーム間引器７２で、画像レート制御器７３から与えられる画像レート情報に従って、３０ｆｐｓのままとするか、１／２ないし１／３に間引かれ１５ｆｐｓないし１０ｆｐｓの動画像信号となり、減算器４に与えられる。
動画像信号は、減算器４において動き補償予測器６５から与えられる予測信号が減算され、予測残差となってＤＣＴ５に与えられる。ＤＣＴ５は予測残差に対してＤＣＴ(Discrete Cosine Transform)の変換処理を行い、得られた係数を量子化器６に与える。量子化器６は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器１０と逆量子化器９に与える。可変長符号化器１０は、固定長の予測残差を可変長符号で圧縮し、できた符号は出力端子１６から出力される。
符号量観測器７４は、可変長符号化器１０で発生する符号量を入力し、所定ビットレートでの出力を仮定して仮想バッファ充足度を求め、画像レート制御器７３に与える。仮想バッファ容量は所定ビットレートの０.２秒分程度である。
一方、逆量子化器９及び逆ＤＣＴ１４ではＤＣＴ５及び量子化器６の逆処理が行われ、予測残差を再生する。得られた再生予測残差は加算器１３で予測信号が加算され再生画像となり、画像間予測器７５に与えられる。画像間予測器７５は、再生画像を１フレーム分蓄え、再生画像から予測信号形成して減算器４と加算器１３に与える。
画像レート制御器７４は、仮想バッファ充足度に応じて画像レートを制御する。発生符号量が多くて残留符号が多い場合は画像レートを下げ、発生符号量が少なく残留符号が少ない場合は画像レートを上げる。
＜従来例可変フレームレート復号化装置＞
図８は、図７の可変レート符号化装置に対応する復号化装置の従来例構成を示したものである。
符号入力端子２７より入来する符号列は、可変長復号化器２４で予測残差の可変長符号が固定長の符号に戻され、逆量子化器９に与えられる。固定長符号は逆量子化器９で予測残差の再生ＤＣＴ係数値となり、逆ＤＣＴ１４に与えられる。逆ＤＣＴ１４は８×８個の係数を再生予測残差信号に変換し、加算器１３に与える。加算器１３では再生予測残差信号に、画像間予測器８２から与えられる予測信号が加算され、再生画像となる。
この様にして得られた再生画像信号は、画像間予測器８２に与えられる共にフレーム補間器８１に与えられる。画像間予測器８２は、蓄積されている画像から予測信号を形成し、加算器１３に与える。
フレーム補間器８１は、再生画像を保持し、次の再生画像が与えられるまでの間、３０ｆｐｓで繰り返し同一の再生画像を画像出力端子２３から出力する。
【０００４】
【発明が解決しようとする課題】
従来の可変画像レート符号化装置は、被符号化画像が飛越し走査画像の場合、フィールドを間引くと垂直解像度が低下することになり、フレームを間引くとフレーム補間で時間逆転が起こることになる。従って、飛越し走査画像符号化ではフレームやフィールドを間引く可変画像レートの適用が困難であった。一方、順次走査画像符号化では可変画像レートの適用が可能であるが、飛越し走査での再生は走査線が破棄されることになり、走査線の情報及び符号化復号化処理が冗長になっていた。また、発生符号量により画像レートが変化するので、動きの大きなシーンで画像レートが低下しやすく、再生画像で動きの不自然さが目立った。本発明は以上の点に着目してなされたもので、画像の部分により所定画像レートのままでは飛越し走査符号化とし、画像レートを下げる部分では順次走査符号化とすることで、解像度の低下や時間逆転なしに可変画像レートを実現する動画像符号化装置、復号化装置、符号化方法、及び復号化方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】
そこで、上記課題を解決するために本発明は、以下の装置及び方法を提供するものである。［１］（図１に対応）
所定画像レートの入来順次走査画像の動きの程度または前記入来順次走査画像の符号化時の符号化パラメータに応じて、フレーム毎に符号化画像レートを設定する画像レート設定手段と、（８、１１）
設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記入来順次走査画像の走査線を間引いて飛越し走査画像を形成し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記符号化画像レートに応じて前記入来順次走査画像のフレームを間引いて順次走査画像を形成する画像形成手段と、（２、７、３）
設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記画像形成手段で形成された前記飛越し走査画像を飛越し走査符号化し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記画像形成手段で形成された前記順次走査画像を順次走査符号化して動画像符号列を得る符号化手段と、（４、５、６、１０）
設定された前記符号化画像レートに関する情報と前記動画像符号列とを多重化する多重化手段と、（１５）
を備えたことを特徴とする可変画像レート符号化装置。
［２］(図２に対応)
動画像符号列から所定画像レートの順次走査画像を再生する復号化装置において、前記動画像符号列から符号化画像レートに関する情報を得て、フレーム毎に復号化画像レートを設定する画像レート設定手段と、（２９）
設定された前記復号化画像レートが前記所定画像レートと同じ場合には、飛越し走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートより低い場合には、順次走査復号化して復号画像を得る復号化手段と、（２４、９，１４，１３）
設定された前記復号化画像レートが前記所定画像レートと同じ場合には、前記飛越し走査復号化により得られた復号画像の走査線を補間し、設定された前記復号化画像レートが前記所定画像レートより低い場合には、前記順次走査復号化により得られた復号画像のフレームを補間して前記所定画像レートの再生順次走査画像を得る復号化手段と、（２１，２６，２２）
を備えたことを特徴とする可変画像レート復号化装置。
［３］（図３に対応）
所定画像レートの入来飛越し走査画像の動きの程度または前記入来飛越し走査画像の符号化時の符号化パラメータに応じて、フレーム毎に符号化画像レートを設定する画像レート設定手段と、（３３、３４）
前記入来飛越し走査画像を順次走査画像に変換する走査構造変換手段と、（３１）
設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記符号化画像レートに応じて前記順次走査画像のフレームを間引いて間引き動画像を得る画像間引き手段と、（２）
設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記入来飛越し走査画像をそのまま飛越し走査符号化し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記間引き動画像を順次走査符号化して動画像符号列を得る符号化手段と、（３、４、５、６、１０）
設定された前記符号化画像レートに関する情報と前記動画像符号列とを多重化する多重化手段と、（１５）
を備えたことを特徴とする可変画像レート符号化装置。
［４］（図４に対応）
動画像符号列から所定画像レートの飛越し走査画像を再生する復号化装置において、前記動画像符号列から符号化画像レートに関する情報を得て、フレーム毎に復号化画像レートを設定する画像レート設定手段と、（２９）
設定された前記復号化画像レートが前記所定画像レートと同じ場合には、飛越し走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートより低い場合には、順次走査復号化して復号画像を得る復号化手段と、（２４、９、１４、１３）
設定された前記復号化画像レートが前記所定画像レートと同じ場合には、前記飛越し走査復号化により得られた復号画像をそのまま出力し、設定された前記復号化画像レートが前記所定画像レートより低い場合には、前記順次走査復号化により得られた前記復号画像から飛越し走査画像の複数フィールドを得て所定画像レートの飛越し走査画像を出力する復号化手段と、（２６、４１、２２）
を備えたことを特徴とする可変画像レート復号化装置。
［５］ 所定画像レートの入来順次走査画像の動きの程度または前記入来順次走査画像の符号化時の符号化パラメータに応じて、フレーム毎に符号化画像レートを設定し、設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記入来順次走査画像の走査線を間引いて飛越し走査画像を形成し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記符号化画像レートに応じて前記入来順次走査画像のフレームを間引いて順次走査画像を形成し、設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記画像形成手段で形成された前記飛越し走査画像を飛越し走査符号化し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記画像形成手段で形成された前記順次走査画像を順次走査符号化して動画像符号列を得、設定された前記符号化画像レートに関する情報と前記動画像符号列とを多重化する、ことを特徴とする可変画像レート符号化方法。
［６］ 動画像符号列から所定画像レートの順次走査画像を再生する復号化方法において、前記動画像符号列から符号化画像レートに関する情報を得て、フレーム毎に復号化画像レートを設定し、設定された前記復号化画像レートが前記所定画像レートと同じ場合には、飛越し走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートより低い場合には、順次走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートと同じ場合には、前記飛越し走査復号化により得られた復号画像の走査線を補間し、設定された前記復号化画像レートが前記所定画像レートより低い場合には、前記順次走査復号化により得られた復号画像のフレームを補間して前記所定画像レートの再生順次走査画像を得る、ことを特徴とする可変画像レート復号化方法。
［７］ 所定画像レートの入来飛越し走査画像の動きの程度または前記入来飛越し走査画像の符号化時の符号化パラメータに応じて、フレーム毎に符号化画像レートを設定し、前記入来飛越し走査画像を順次走査画像に変換し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記符号化画像レートに応じて前記順次走査画像のフレームを間引いて間引き動画像を得、設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記入来飛越し走査画像をそのまま飛越し走査符号化し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記間引き動画像を順次走査符号化して動画像符号列を得、設定された前記符号化画像レートに関する情報と前記動画像符号列とを多重化する、ことを特徴とする可変画像レート符号化方法。
［８］ 動画像符号列から所定画像レートの飛越し走査画像を再生する復号化方法において、前記動画像符号列から符号化画像レートに関する情報を得て、フレーム毎に復号化画像レートを設定し、設定された前記復号化画像レートが前記所定画像レートと同じ場合には、飛越し走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートより低い場合には、順次走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートと同じ場合には、前記飛越し走査復号化により得られた復号画像をそのまま出力し、設定された前記復号化画像レートが前記所定画像レートより低い場合には、前記順次走査復号化により得られた前記復号画像から飛越し走査画像の複数フィールドを得て所定画像レートの飛越し走査画像を出力する、ことを特徴とする可変画像レート復号化方法。
【０００６】
【発明の実施の形態】
本発明は、所定画像レートの入来動画像の動きの程度または前記入来動画像の符号化時の符号化パラメータに応じて、フレーム毎に符号化画像レートを設定し、設定された符号化画像レートが前記所定画像レートと同じ場合には飛越し走査符号化とし、設定された符号化画像レートが前記所定画像レートよりも低い場合には順次走査符号化とする。飛越し走査符号化された部分は飛越し走査での再生ではそのままで、順次走査での再生では走査線を補間することで適正な再生画像が得られる。一方、画像レートを下げて順次走査符号化された部分は、順次走査での再生では単純にフレームを繰り返すことで所定画像レートにし、飛越し走査での再生では順次走査の１フレームを偶数フィールドと奇数フィールドに分解し、それぞれを繰り返す。いずれの場合も、不連続な動きとなることなくスムーズな再生画像が得られる。前記所定画像レートの場合は飛越し走査として符号化し、画像レートが下がる場合は順次走査符号化なので、符号化する情報が少なく、符号化効率がよい。
【０００７】
＜可変画像レート符号化装置の第１の実施例＞
本発明における可変画像レート符号化装置の第１の実施例について説明する。図１は、その構成を示したもので、図７の従来例と同一構成要素には同一付番を記してある。図１には、図７と比較して符号量観測器６４がなく、走査線間引き器２、動きベクトル（ＭＶ）検出器８、スイッチ３が追加されている。また、画像レート設定器１１とフレーム間引き器７の動作が異なる。
実施例において、従来例と異なるのは、前処理による画像間予測での画像構成である。予測残差に対する符号化方法は同じである。
順次走査画像入力端子１より入来する６０ｆｐｓの順次走査画像信号は、走査線間引き器２、フレーム間引き器７、ＭＶ検出器８に与えられる。走査線間引き器２は、走査線を１本おきに間引き飛越し走査の信号を形成し、スイッチ３に与える。画像レートは６０ｆｐｓのままである。
フレーム間引き器７は、順次走査のフレームを間引き、６０ｆｐｓから３０ｆｐｓ、２０ｆｐｓ、１５ｆｐｓへと低下させ、画像レートが低下した順次走査画像をスイッチ３に与える。スイッチ３は、画像レート設定器１１から与えられる画像レート情報により、６０ｆｐｓの場合は、６０ｆｐｓの飛越し走査画像である走査線間引き器２の出力を選択し、３０ｆｐｓ以下の場合は、３０ｆｐｓ以下の順次走査画像であるフレーム間引き器７の出力を選択する。
スイッチ３で選択された動画像信号は、減算器４において画像間予測器１２から与えられる予測信号が減算され、予測残差となってＤＣＴ５に与えられる。ＤＣＴ５は、予測残差にＤＣＴの変換処理を行い、得られた係数を量子化器６に与える。量子化器６は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器１０と逆量子化器９に与える。可変長符号化器１０は、固定長の予測残差を可変長符号で圧縮し、できた符号列は多重化器１５に与えられる。
一方、逆量子化器９及び逆ＤＣＴ１４ではＤＣＴ５及び量子化器６の逆処理が行われ、予測残差を再生する。得られた再生予測残差は加算器１３で予測信号が加算され再生画像となり、画像間予測器１２に与えられる。画像間予測器１２は、蓄えられている再生画像信号から予測信号を作り、減算器４と加算器１３に与える。その際、スイッチ３の動作と連動して、画像レートが６０ｆｐｓでは、飛越し走査用の画像間予測を行い、３０ｆｐｓ以下では順次走査用の画像間予測を行う。
一方、ＭＶ検出器８は、入来動画像の１フレーム間の空間移動量を１６×１６画素ブロック毎に求めて、ＭＶとして画像レート設定器１１に与える。画像レート設定器１１はＭＶから画像レートを設定する。６０ｆｐｓ、３０ｆｐｓ、２０ｆｐｓ、１５ｆｐｓ、１０ｆｐｓのうちのひとつが設定される。それぞれのレートの様子を図９に示す。画像レート設定器１１から出力される画像レートの情報は、フレーム間引き器７、スイッチ３、画像間予測器１２の他に多重化器１５にも与えられ、多重化器１５で主符号列と多重化される。その際、そのまま画像レート値を情報としても良いが、各フレーム（フィールド）のフレーム（フィールド）番号をレートに応じて間引く形にしても良い。
【０００８】
＜画像レート設定と間引き処理＞
次に画像レートの設定について説明する。画像レートは従来例と同様に発生符号量を観測して、仮想バッファの充足度により制御することも可能である。この場合、設定される画像レートは従来例と類似したものとなる。さらに、量子化ステップ幅や符号化モードなど他の符号化パラメータの情報を用いて、量子化が粗くなるなど画質が劣化しやすい場合に画像レートを低下させてもよい。一方、次に説明するような入来動画像の動きの程度により設定すると、視覚的に適切な転送レートが設定される。符号化パラメータと入来画像の動きの程度は、片方のみ使用することもできるが、両方の情報を用いて制御することも可能である。
入来動画像の動きの程度により画像レートを設定する場合について説明する。動画像信号は毎秒６０フレーム(フィールド)が基本であるが、この値は面フリッカの検知限界から来るものであり、画像のすべての動きでそれが必要なわけではない。実際、映画フィルムが２４ｆｐｓであることからも推測できるが、３０ｆｐｓで動きの劣化(不自然さ)が検知されるのは早い動きの場合のみで、通常２０ｆｐｓでも大きな劣化とはならない。しかし、それより低下すると静止に近い場合以外で動きの劣化が気になる。
従って、早い動きがある場合のみ６０ｆｐｓとし、動きが多い場合は３０ｆｐｓ、動きが少ない場合は２０ｆｐｓ、動きがほとんどない場合に１０〜１５ｆｐｓとする。この制御を適切に行うことで、動き劣化がほとんど気にならない再生画像が得られる。具体的にはＭＶの水平成分ＭＶｘ(ｉ,ｊ)、垂直成分ＭＶｙ(ｉ,ｊ)から求める。なお、ＭＶｘ(ｉ,ｊ)、ＭＶｙ(ｉ,ｊ)の値は１画素の動きが１.０、ｉは１フレーム内のブロック水平位置、ｊは１フレーム内のブロック垂直位置とする。１フレームが７２０×４８０画素の場合、画面全体の動きアクティビティＭＡを次式で求め、その値と閾値から画像レートＲを決める。
【数１】
数１においてｋは標準値を１とするが、量子化ステップ幅のパラメータなどにより変更しても良い。
【０００９】
＜可変画像レート復号化装置の第１の実施例＞
図１に示した第１の実施例の可変画像レート符号化装置に対応する可変画像レート復号化装置の第１の実施例について説明する。その構成を図２に示す。図８の従来例と同一構成要素には同一付番を記してある。図２には、図８と比較して、多重化分離器２８、走査線補間器２１、スイッチ２２が追加されている。また、フレーム補間器２６の動作が異なる。
符号入力端子２７より入来する符号列は、多重化分離器２８で主たる符号列と画像レートに関する情報に分離され、主たる符号列は可変長復号化器２３へ、画像レートに関する情報は画像レート設定器２９に与えられる。画像レート設定器２９は、フレーム（フィールド）番号等から画像レートを判断し、設定した画像レートを画像間予測器２５、フレーム補間器２６、スイッチ２２へ与る。
可変長復号化器２４は可変長符号を固定長の符号に戻し、固定長符号は逆量子化器９に与えられる。固定長符号は逆量子化器９で係数値となり、逆ＤＣＴ１４に与えられる。逆ＤＣＴ１４は８×８個の係数を再生予測残差信号に変換し、加算器１３に与える。加算器１３では再生予測残差信号に予測信号が加算され、再生画像となる。
この様にして得られた再生画像信号は、画像間予測器２５と走査線補間器２１、さらにフレーム補間器２６に与えられる。画像間予測器２５は、メモリに蓄積されている復号画像から予測信号を形成し、得られた予測信号は加算器１３に与えられる。その際、画像レートが６０ｆｐｓのときは飛越し走査の予測信号を、３０ｆｐｓ以下のときは順次走査の予測信号とする。
一方、走査線補間器２１は飛越し走査で間引かれている走査線を補間して、６０ｆｐｓの順次走査画像を形成し、スイッチ２２に与える。フレーム補間器２６は間引かれている順次走査画像のフレームを補間し、６０ｆｐｓの順次走査画像としてスイッチ２２に与える。処理は画像レートにより異なり、３０ｆｐｓの場合は２フレームが繰り返され、２０ｆｐｓの場合は３フレームが、１５ｆｐｓの場合は４フレームが、１０ｆｐｓの場合は６フレームが繰り返される。この様子を図１１に示す。
スイッチ２２は画像レートにより、６０ｆｐｓの場合は、走査線補間器２１の出力を選択し、３０ｆｐｓ以下の場合はフレーム補間器２６の出力を選択する。選択された信号はいずれも６０ｆｐｓの順次走査画像であり、順次走査画像出力端子２３より、出力される。
【００１０】
＜可変画像レート符号化装置の第２の実施例＞
本発明の可変画像レート符号化装置の第２の実施例について説明する。図３は、その構成を示したもので、図１に示した第１の実施例と同一構成要素には同一付番を記してある。図３には、図１と比較して、順次走査画像入力端子１の変わりに飛越し走査画像入力端子３２があり、走査線間引器２がなく、走査線補間器３１がある。
可変画像レート符号化装置の第２の実施例において、第１の実施例と異なるのは入力信号とそれに対する被符号化動画像の形成であり、予測残差に対する符号化処理は基本的に同じであるので、異なる部分のみ説明する。第１の実施例においては順次走査画像を入力していたが、第２の実施例では飛越し走査画像を入力する。
飛越し走査画像入力端子３２より入来する６０ｆｐｓの飛越し走査画像信号は、走査線補間器３１、スイッチ３、動きベクトル（ＭＶ）検出器３３に与えられる。走査線補間器３１は、飛越し走査で消失している走査線を補間して順次走査の信号を形成し、フレーム間引き器７に与える。走査線補間器３１から出力される画像レートは、６０ｆｐｓのままでもよいが、フレーム間引き器７で少なくとも３０ｆｐｓ以下にされるので、この出力段階で３０ｆｐｓとしても良い。
フレーム間引き器７は、画像レート設定器３４から与えられる画像レート情報に従って順次走査のフレームを間引き、３０ｆｐｓ、２０ｆｐｓ、１５ｆｐｓ、１０ｆｐｓへと低下させ、画像レートが低下した順次走査画像をスイッチ３に与える。スイッチ３は、画像レート情報により、６０ｆｐｓの場合は、６０ｆｐｓの飛越し走査画像である入来信号を選択し、３０ｆｐｓ以下の場合は３０ｆｐｓ以下の順次走査画像であるフレーム間引き器７の出力を選択する。
以下の減算器４、ＤＣＴ５、量子化器６、逆量子化器９、可変長符号化器１０、画像間予測器１２、加算器１３、逆ＤＣＴ１４、多重化器１５の動作は第１の実施例と同じである。
一方、ＭＶ検出器３３は、図１のＭＶ検出器８と動作が多少異なり、飛越し走査画像に対しての動きベクトル検出処理となる。なお、画像レート設定器３４は、本質的には図１の画像レート設定器１１と同じであるが、ＭＶ検出器３３で求められる動きベクトルの大きさが、ＭＶ検出器８で求められる動きベクトルと異なるので、その分を補正して計算する。
【００１１】
＜可変画像レート復号化装置の第２の実施例＞
本発明の可変画像レート復号化装置の第２の実施例について説明する。その構成を図４に示す。図２の第１の実施例と同一構成要素には同一付番を記してある。図４には、図２と比較して、走査線補間器２１がなく走査線間引き器４１が追加されている。
可変画像レート復号化装置の第２の実施例において、第１の実施例と異なるのは出力信号とその形成であり、復号化処理は基本的に同じであるので、異なる部分のみ説明する。第１の実施例においては順次走査画像を出力していたが、第２実施例では飛越し走査画像を出力する。
符号入力端子２７、多重化分離器２８、可変長復号化器２４、逆量子化器９、逆ＤＣＴ１４、加算器１３、画像間予測器２５の動作は図２の第１の実施例と同じである。得られた再生画像信号は、フレーム補間器２６とスイッチ２２に与えられる。
フレーム補間器２６は間引かれている順次走査画像のフレームを補間し、６０ｆｐｓの順次走査画像としてスイッチ２２に与える。処理は画像レートにより異なり、３０ｆｐｓの場合は２フレームが繰り返され、２０ｆｐｓの場合は３フレームが、１５ｆｐｓの場合は４フレームが、１０ｆｐｓの場合は６フレームが繰り返される。
フレーム補間器２６から出力される６０ｆｐｓの順次走査画像は、走査線間引き器４１で走査線が間引かれ、飛越し走査の各フィールドとなる。従って、走査線間引き器４１からは６０ｆｐｓの飛越し走査画像が出力される。なお、走査線間引き器４１の処理はフレーム補間器２６の処理と一体化することで、高速な６０ｆｐｓの順次走査画像の入出力をしなくて済む。
スイッチ２２は画像レート情報により、６０ｆｐｓの場合は、加算器１３の出力を選択し、３０ｆｐｓ以下の場合は走査線間引き器４１の出力を選択する。選択された信号はいずれも６０ｆｐｓの飛越し走査画像であり、飛越し画像出力端子２３より出力される。この復号処理の様子は図１２に示される。
【００１２】
＜可変画像レート符号化装置の第３の実施例＞
本発明の可変画像レート符号化装置の第３の実施例について説明する。図５は、その構成を示したもので、図１の第１の実施例と同一構成要素には同一付番を記してある。図５には、図１と比較して、双方向予測フレームの符号化系であるフレーム遅延器５２、減算器５７、ＤＣＴ５９、量子化器６０、可変長符号化器５５があり、フレーム間引器５６、走査線間引器５８の動作が異なる。
第３の実施例において、第３の実施例は、双方向予測を用いて、双方向予測フレーム（Ｂピクチャー）のみに間引き処理を適用するものである。また、走査線間引きは予測残差に適用される。
画像入力端子１より入来する６０ｆｐｓの順次走査画像信号は、スイッチ５１により、６フレーム毎に１フレーム設定されるＩピクチャー（フレーム内符号化画面）及びＰピクチャーでは減算器４に、Ｂピクチャーではフレーム遅延器５２に与えられる。
Ｐ(Ｉ)ピクチャーにおいては、動画像信号は減算器４、ＤＣＴ５、量子化器６、逆量子化器９、可変長符号化器１０、加算器１３、逆ＤＣＴ１４で、第１の実施例と同様に符号化され、符号列が多重化器５３に与えられる。
Ｂピクチャーにおいては、動画像信号は、フレーム遅延器５２で先行するＰ(Ｉ)ピクチャーの符号化が完了するまで待機させられる。Ｐ(Ｉ)ピクチャーが６フレーム毎なら、５フレーム分の画像信号が、６フレームの間保持される。その後、フレーム間引き器５６に与えられる。
フレーム間引き器５６は、画像レート情報に応じてＢピクチャーのフレームを間引くが、その際にＰ(Ｉ)ピクチャーは必ず存在することを考慮して、符号化されるフレームが均等間隔になるようにする。その様子を図１０に示す。ここで、第１の実施例で使われている１５ｆｐｓは、残存するフレームがＰ(Ｉ)ピクチャーと同期しなくなるので、設定しない。
間引かれたＢピクチャーの動画像は減算器５７に与えられる。減算器５７は画像間予測器から与えられる予測信号を減算し、予測残差を走査線間引き器５８に与える。走査線間引き器５８では、画像レートが６０ｆｐｓの場合のみ飛越し走査の各フィールドに走査線が間引かれ、予測残差は飛越し走査の形で残り、ＤＣＴ５９に与えられる。
ＤＣＴ５９、量子化器６０、可変長符号化器５５の動作は、ＤＣＴ５、量子化器６、可変長符号化器１０と基本的に同じで、量子化のパラメータのみ異なる。このようにして得られた符号列は多重化器５３でＰ(Ｉ)ピクチャーの符号列と多重化される。画像レート設定器１４から出力される画像レートの情報も多重化される。
画像間予測器５４は、Ｐ(Ｉ)ピクチャーでは第１の実施例と同様に減算器４と加算器１３に予測信号を出力するが、Ｂピクチャーでは前後２画像から予測信号を形成し、減算器５７に与える。ただし、実施例１や２と異なり順次走査の予測信号のみを形成する。
ＭＶ検出器８、画像レート設定器１１の動作は第１の実施例と同じである。ただし、１５ｆｐｓは設定されない。
【００１３】
＜可変画像レート復号化装置の第３の実施例＞
図５に示した可変画像レート符号化装置の第３の実施例に対応する可変画像レート復号化装置の第３の実施例について説明する。その構成を図６に示す。図２の可変画像レート復号化装置の第１の実施例と同一構成要素には同一付番を記してある。図６には、図２と比較して、スイッチ２２がなく走査線補間器６１、フレーム補間器６２の位置及び動作が異なる。
可変画像レート復号化装置の第３の実施例において、第１の実施例と異なるのは画像間予測処理と補間方法で、予測残差信号の復号化処理は基本的に同じなので、異なる部分のみ説明する。符号入力端子２７、多重化分離器２８、可変長復号化器２４、逆量子化器９、逆ＤＣＴ１４の動作は、すべてのピクチャーに共通であり、図２の第１の実施例と基本的に同じである。得られた予測残差は走査線補間器６１に与えられる。走査線補間器６１は、画像レートが６０ｆｐｓの場合のみ、飛越し走査で間引かれているＢピクチャーの予測残差を補間する。順次走査の予測残差は加算器１３に与えられる。加算器１３は画像間予測器６３から与えられる予測信号を加算して、フレーム補間器６２と画像間予測器６３に与える。画像間予測器６３は、ＢピクチャーとＰ(Ｉ)ピクチャーで異なった予測信号を形成するが、いずれも順次走査である。
フレーム補間器６２は間引かれている順次走査画像のフレームを補間し、６０ｆｐｓの順次走査画像とする。処理は画像レートにより異なり、３０ｆｐｓの場合は２フレームが繰り返され、２０ｆｐｓの場合は３フレームが、１０ｆｐｓの場合は６フレームが繰り返される。ここで、ＢピクチャーとＰ(Ｉ)ピクチャーは順番が逆転しているので、Ｐ(Ｉ)ピクチャーはすぐに出力せず、順番を補正して出力する。
フレーム補間器６２から出力される６０ｆｐｓの順次走査画像は、順次走査画像出力端子２３より出力される。
【００１４】
【発明の効果】
以上の通り、本発明の符号化装置、符号化方法は、所定画像レートの入来動画像の動きの程度または前記入来動画像の符号化時の符号化パラメータに応じて、フレーム毎に符号化画像レートを設定し、設定された符号化画像レートが前記所定画像レートと同じ場合には飛越し走査符号化とし、設定された符号化画像レートが前記所定画像レートよりも低い場合には順次走査符号化とするので、画像レートを微妙に調節でき、動きの視覚的検知能力に対して過不足のない画像レートが得られる。再生画像の視覚的品質を同様に保ちながらより低い転送ビットレートが実現される。また、転送レートを同一とすれば、間引かれずに残った画像により多くのビットが配分されることになり、再生画像の品質が向上する。一方、本発明の復号化装置、復号化方法は、飛越し走査符号化された部分は飛越し走査での再生ではそのままで、順次走査での再生では走査線を補間する。画像レートを下げて順次走査符号化された部分は、順次走査での再生では単純にフレームを繰り返すことで所定画像レートにし、飛越し走査での再生では順次走査の１フレームを偶数フィールドと奇数フィールドに分解し、それぞれを繰り返す。いずれの場合も、不連続な動きとなることなくスムーズな再生画像が得られ、動きの不自然さは最小限となる。
【図面の簡単な説明】
【図１】可変画像レート符号化装置の第１の実施例の構成例を示す図である。
【図２】可変画像レート復号化装置の第１の実施例の構成例を示す図である。
【図３】可変画像レート符号化装置の第２の実施例の構成例を示す図である。
【図４】可変画像レート復号化装置の第２の実施例の構成例を示す図である。
【図５】可変画像レート符号化装置の第３の実施例の構成例を示す図である。
【図６】可変画像レート復号化装置の第３の実施例の構成例を示す図である。
【図７】従来の可変画像レート符号化装置の構成例を示す図である。
【図８】従来の可変画像レート復号化装置の構成例を示す図である。
【図９】フレームや走査線の削減の様子を示す図である。
【図１０】可変画像レート符号化装置の第３の実施例でのＢピクチャー削減の様子を示す図である。
【図１１】可変画像レート復号化装置の第１の実施例での補間の様子を示す図である。
【図１２】可変画像レート復号化装置の第２の実施例での補間の様子を示す図である。
【符号の説明】
１ 順次走査画像入力端子
２、４１、５８ 走査線間引き器
３、２２、５１ スイッチ
４、５７ 減算器
５、５９ ＤＣＴ
６、６０ 量子化器
７、５６、７２ フレーム間引き器
８、３３ ＭＶ検出器
９ 逆量子化器
１０、５５ 可変長符号化器
１１、２９、３４ 画像レート設定器
１２、２５、５４、６３、７５、８２ 画像間予測器
１３ 加算器
１４ 逆ＤＣＴ
１５、５３ 多重化器
１６ 符号列出力端子
２１、３１、６１ 走査線補間器
２３ 順次走査画像出力端子
２４ 可変長復号化器
２６、６２、８１ フレーム補間器
２７ 符号列入力端子
２８ 多重化分離器
３２ 飛越し走査画像入力端子
４２ 飛越し走査画像出力端子
５２ フレーム遅延器
７３ 画像レート制御器
７４ 符号量観測器
【発明の属する技術分野】
本発明は、画像を再生画質を低下させることなく効率的に伝送、蓄積、表示するために、走査線構造を切り替えて単位時間あたりの画像数を変化させ、画像情報をより少ない符号量でディジタル信号にする高能率符号化する符号化処理、及びその符号化処理に適した復号化処理に関するものである。
【０００２】
【従来の技術】
＜可変画像レート符号化＞
動画像符号化では、６４ｋｂｐｓなど特に低い転送ビットレートで符号化する場合、入来するフレーム(画像)のすべてを符号化せず、間引いた一部の画像のみを符号化する場合がある。元の画像が３０フレーム／秒（ｆｐｓ）であると、間引きにより１５ｆｐｓ、１０ｆｐｓ、５ｆｐｓなどとなる。この場合、間引きにより動きのスムーズさは損なわれることになるが、被符号化フレームが減るので発生符号量は少なくすることができる。
ＭＰＥＧ方式では、画像間予測の方法を２種類持ち、Ｐピクチャーと呼ばれる片側方向予測と、Ｂピクチャーと呼ばれる双方向予測が使われる。ここで、Ｂピクチャーは、他の画像の参照画像にならないので、削除しても他の画像には影響しない。これにより、一度符号化された符号列から、Ｂピクチャーの符号列のみを削除することで画像レートを変更できる。この場合、Ｐピクチャーが３フレーム毎に設定されていると、３０フレーム／秒が１０フレーム／秒になる。
【０００３】
＜従来例可変画像レート符号化装置＞
図７は可変画像レート符号化装置の従来例構成を示したものである。画像入力端子７１より入来する３０フレーム／秒(ｆｐｓ)の動画像信号は、フレーム間引器７２で、画像レート制御器７３から与えられる画像レート情報に従って、３０ｆｐｓのままとするか、１／２ないし１／３に間引かれ１５ｆｐｓないし１０ｆｐｓの動画像信号となり、減算器４に与えられる。
動画像信号は、減算器４において動き補償予測器６５から与えられる予測信号が減算され、予測残差となってＤＣＴ５に与えられる。ＤＣＴ５は予測残差に対してＤＣＴ(Discrete Cosine Transform)の変換処理を行い、得られた係数を量子化器６に与える。量子化器６は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器１０と逆量子化器９に与える。可変長符号化器１０は、固定長の予測残差を可変長符号で圧縮し、できた符号は出力端子１６から出力される。
符号量観測器７４は、可変長符号化器１０で発生する符号量を入力し、所定ビットレートでの出力を仮定して仮想バッファ充足度を求め、画像レート制御器７３に与える。仮想バッファ容量は所定ビットレートの０.２秒分程度である。
一方、逆量子化器９及び逆ＤＣＴ１４ではＤＣＴ５及び量子化器６の逆処理が行われ、予測残差を再生する。得られた再生予測残差は加算器１３で予測信号が加算され再生画像となり、画像間予測器７５に与えられる。画像間予測器７５は、再生画像を１フレーム分蓄え、再生画像から予測信号形成して減算器４と加算器１３に与える。
画像レート制御器７４は、仮想バッファ充足度に応じて画像レートを制御する。発生符号量が多くて残留符号が多い場合は画像レートを下げ、発生符号量が少なく残留符号が少ない場合は画像レートを上げる。
＜従来例可変フレームレート復号化装置＞
図８は、図７の可変レート符号化装置に対応する復号化装置の従来例構成を示したものである。
符号入力端子２７より入来する符号列は、可変長復号化器２４で予測残差の可変長符号が固定長の符号に戻され、逆量子化器９に与えられる。固定長符号は逆量子化器９で予測残差の再生ＤＣＴ係数値となり、逆ＤＣＴ１４に与えられる。逆ＤＣＴ１４は８×８個の係数を再生予測残差信号に変換し、加算器１３に与える。加算器１３では再生予測残差信号に、画像間予測器８２から与えられる予測信号が加算され、再生画像となる。
この様にして得られた再生画像信号は、画像間予測器８２に与えられる共にフレーム補間器８１に与えられる。画像間予測器８２は、蓄積されている画像から予測信号を形成し、加算器１３に与える。
フレーム補間器８１は、再生画像を保持し、次の再生画像が与えられるまでの間、３０ｆｐｓで繰り返し同一の再生画像を画像出力端子２３から出力する。
【０００４】
【発明が解決しようとする課題】
従来の可変画像レート符号化装置は、被符号化画像が飛越し走査画像の場合、フィールドを間引くと垂直解像度が低下することになり、フレームを間引くとフレーム補間で時間逆転が起こることになる。従って、飛越し走査画像符号化ではフレームやフィールドを間引く可変画像レートの適用が困難であった。一方、順次走査画像符号化では可変画像レートの適用が可能であるが、飛越し走査での再生は走査線が破棄されることになり、走査線の情報及び符号化復号化処理が冗長になっていた。また、発生符号量により画像レートが変化するので、動きの大きなシーンで画像レートが低下しやすく、再生画像で動きの不自然さが目立った。本発明は以上の点に着目してなされたもので、画像の部分により所定画像レートのままでは飛越し走査符号化とし、画像レートを下げる部分では順次走査符号化とすることで、解像度の低下や時間逆転なしに可変画像レートを実現する動画像符号化装置、復号化装置、符号化方法、及び復号化方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】
そこで、上記課題を解決するために本発明は、以下の装置及び方法を提供するものである。［１］（図１に対応）
所定画像レートの入来順次走査画像の動きの程度または前記入来順次走査画像の符号化時の符号化パラメータに応じて、フレーム毎に符号化画像レートを設定する画像レート設定手段と、（８、１１）
設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記入来順次走査画像の走査線を間引いて飛越し走査画像を形成し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記符号化画像レートに応じて前記入来順次走査画像のフレームを間引いて順次走査画像を形成する画像形成手段と、（２、７、３）
設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記画像形成手段で形成された前記飛越し走査画像を飛越し走査符号化し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記画像形成手段で形成された前記順次走査画像を順次走査符号化して動画像符号列を得る符号化手段と、（４、５、６、１０）
設定された前記符号化画像レートに関する情報と前記動画像符号列とを多重化する多重化手段と、（１５）
を備えたことを特徴とする可変画像レート符号化装置。
［２］(図２に対応)
動画像符号列から所定画像レートの順次走査画像を再生する復号化装置において、前記動画像符号列から符号化画像レートに関する情報を得て、フレーム毎に復号化画像レートを設定する画像レート設定手段と、（２９）
設定された前記復号化画像レートが前記所定画像レートと同じ場合には、飛越し走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートより低い場合には、順次走査復号化して復号画像を得る復号化手段と、（２４、９，１４，１３）
設定された前記復号化画像レートが前記所定画像レートと同じ場合には、前記飛越し走査復号化により得られた復号画像の走査線を補間し、設定された前記復号化画像レートが前記所定画像レートより低い場合には、前記順次走査復号化により得られた復号画像のフレームを補間して前記所定画像レートの再生順次走査画像を得る復号化手段と、（２１，２６，２２）
を備えたことを特徴とする可変画像レート復号化装置。
［３］（図３に対応）
所定画像レートの入来飛越し走査画像の動きの程度または前記入来飛越し走査画像の符号化時の符号化パラメータに応じて、フレーム毎に符号化画像レートを設定する画像レート設定手段と、（３３、３４）
前記入来飛越し走査画像を順次走査画像に変換する走査構造変換手段と、（３１）
設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記符号化画像レートに応じて前記順次走査画像のフレームを間引いて間引き動画像を得る画像間引き手段と、（２）
設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記入来飛越し走査画像をそのまま飛越し走査符号化し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記間引き動画像を順次走査符号化して動画像符号列を得る符号化手段と、（３、４、５、６、１０）
設定された前記符号化画像レートに関する情報と前記動画像符号列とを多重化する多重化手段と、（１５）
を備えたことを特徴とする可変画像レート符号化装置。
［４］（図４に対応）
動画像符号列から所定画像レートの飛越し走査画像を再生する復号化装置において、前記動画像符号列から符号化画像レートに関する情報を得て、フレーム毎に復号化画像レートを設定する画像レート設定手段と、（２９）
設定された前記復号化画像レートが前記所定画像レートと同じ場合には、飛越し走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートより低い場合には、順次走査復号化して復号画像を得る復号化手段と、（２４、９、１４、１３）
設定された前記復号化画像レートが前記所定画像レートと同じ場合には、前記飛越し走査復号化により得られた復号画像をそのまま出力し、設定された前記復号化画像レートが前記所定画像レートより低い場合には、前記順次走査復号化により得られた前記復号画像から飛越し走査画像の複数フィールドを得て所定画像レートの飛越し走査画像を出力する復号化手段と、（２６、４１、２２）
を備えたことを特徴とする可変画像レート復号化装置。
［５］ 所定画像レートの入来順次走査画像の動きの程度または前記入来順次走査画像の符号化時の符号化パラメータに応じて、フレーム毎に符号化画像レートを設定し、設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記入来順次走査画像の走査線を間引いて飛越し走査画像を形成し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記符号化画像レートに応じて前記入来順次走査画像のフレームを間引いて順次走査画像を形成し、設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記画像形成手段で形成された前記飛越し走査画像を飛越し走査符号化し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記画像形成手段で形成された前記順次走査画像を順次走査符号化して動画像符号列を得、設定された前記符号化画像レートに関する情報と前記動画像符号列とを多重化する、ことを特徴とする可変画像レート符号化方法。
［６］ 動画像符号列から所定画像レートの順次走査画像を再生する復号化方法において、前記動画像符号列から符号化画像レートに関する情報を得て、フレーム毎に復号化画像レートを設定し、設定された前記復号化画像レートが前記所定画像レートと同じ場合には、飛越し走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートより低い場合には、順次走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートと同じ場合には、前記飛越し走査復号化により得られた復号画像の走査線を補間し、設定された前記復号化画像レートが前記所定画像レートより低い場合には、前記順次走査復号化により得られた復号画像のフレームを補間して前記所定画像レートの再生順次走査画像を得る、ことを特徴とする可変画像レート復号化方法。
［７］ 所定画像レートの入来飛越し走査画像の動きの程度または前記入来飛越し走査画像の符号化時の符号化パラメータに応じて、フレーム毎に符号化画像レートを設定し、前記入来飛越し走査画像を順次走査画像に変換し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記符号化画像レートに応じて前記順次走査画像のフレームを間引いて間引き動画像を得、設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記入来飛越し走査画像をそのまま飛越し走査符号化し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記間引き動画像を順次走査符号化して動画像符号列を得、設定された前記符号化画像レートに関する情報と前記動画像符号列とを多重化する、ことを特徴とする可変画像レート符号化方法。
［８］ 動画像符号列から所定画像レートの飛越し走査画像を再生する復号化方法において、前記動画像符号列から符号化画像レートに関する情報を得て、フレーム毎に復号化画像レートを設定し、設定された前記復号化画像レートが前記所定画像レートと同じ場合には、飛越し走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートより低い場合には、順次走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートと同じ場合には、前記飛越し走査復号化により得られた復号画像をそのまま出力し、設定された前記復号化画像レートが前記所定画像レートより低い場合には、前記順次走査復号化により得られた前記復号画像から飛越し走査画像の複数フィールドを得て所定画像レートの飛越し走査画像を出力する、ことを特徴とする可変画像レート復号化方法。
【０００６】
【発明の実施の形態】
本発明は、所定画像レートの入来動画像の動きの程度または前記入来動画像の符号化時の符号化パラメータに応じて、フレーム毎に符号化画像レートを設定し、設定された符号化画像レートが前記所定画像レートと同じ場合には飛越し走査符号化とし、設定された符号化画像レートが前記所定画像レートよりも低い場合には順次走査符号化とする。飛越し走査符号化された部分は飛越し走査での再生ではそのままで、順次走査での再生では走査線を補間することで適正な再生画像が得られる。一方、画像レートを下げて順次走査符号化された部分は、順次走査での再生では単純にフレームを繰り返すことで所定画像レートにし、飛越し走査での再生では順次走査の１フレームを偶数フィールドと奇数フィールドに分解し、それぞれを繰り返す。いずれの場合も、不連続な動きとなることなくスムーズな再生画像が得られる。前記所定画像レートの場合は飛越し走査として符号化し、画像レートが下がる場合は順次走査符号化なので、符号化する情報が少なく、符号化効率がよい。
【０００７】
＜可変画像レート符号化装置の第１の実施例＞
本発明における可変画像レート符号化装置の第１の実施例について説明する。図１は、その構成を示したもので、図７の従来例と同一構成要素には同一付番を記してある。図１には、図７と比較して符号量観測器６４がなく、走査線間引き器２、動きベクトル（ＭＶ）検出器８、スイッチ３が追加されている。また、画像レート設定器１１とフレーム間引き器７の動作が異なる。
実施例において、従来例と異なるのは、前処理による画像間予測での画像構成である。予測残差に対する符号化方法は同じである。
順次走査画像入力端子１より入来する６０ｆｐｓの順次走査画像信号は、走査線間引き器２、フレーム間引き器７、ＭＶ検出器８に与えられる。走査線間引き器２は、走査線を１本おきに間引き飛越し走査の信号を形成し、スイッチ３に与える。画像レートは６０ｆｐｓのままである。
フレーム間引き器７は、順次走査のフレームを間引き、６０ｆｐｓから３０ｆｐｓ、２０ｆｐｓ、１５ｆｐｓへと低下させ、画像レートが低下した順次走査画像をスイッチ３に与える。スイッチ３は、画像レート設定器１１から与えられる画像レート情報により、６０ｆｐｓの場合は、６０ｆｐｓの飛越し走査画像である走査線間引き器２の出力を選択し、３０ｆｐｓ以下の場合は、３０ｆｐｓ以下の順次走査画像であるフレーム間引き器７の出力を選択する。
スイッチ３で選択された動画像信号は、減算器４において画像間予測器１２から与えられる予測信号が減算され、予測残差となってＤＣＴ５に与えられる。ＤＣＴ５は、予測残差にＤＣＴの変換処理を行い、得られた係数を量子化器６に与える。量子化器６は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器１０と逆量子化器９に与える。可変長符号化器１０は、固定長の予測残差を可変長符号で圧縮し、できた符号列は多重化器１５に与えられる。
一方、逆量子化器９及び逆ＤＣＴ１４ではＤＣＴ５及び量子化器６の逆処理が行われ、予測残差を再生する。得られた再生予測残差は加算器１３で予測信号が加算され再生画像となり、画像間予測器１２に与えられる。画像間予測器１２は、蓄えられている再生画像信号から予測信号を作り、減算器４と加算器１３に与える。その際、スイッチ３の動作と連動して、画像レートが６０ｆｐｓでは、飛越し走査用の画像間予測を行い、３０ｆｐｓ以下では順次走査用の画像間予測を行う。
一方、ＭＶ検出器８は、入来動画像の１フレーム間の空間移動量を１６×１６画素ブロック毎に求めて、ＭＶとして画像レート設定器１１に与える。画像レート設定器１１はＭＶから画像レートを設定する。６０ｆｐｓ、３０ｆｐｓ、２０ｆｐｓ、１５ｆｐｓ、１０ｆｐｓのうちのひとつが設定される。それぞれのレートの様子を図９に示す。画像レート設定器１１から出力される画像レートの情報は、フレーム間引き器７、スイッチ３、画像間予測器１２の他に多重化器１５にも与えられ、多重化器１５で主符号列と多重化される。その際、そのまま画像レート値を情報としても良いが、各フレーム（フィールド）のフレーム（フィールド）番号をレートに応じて間引く形にしても良い。
【０００８】
＜画像レート設定と間引き処理＞
次に画像レートの設定について説明する。画像レートは従来例と同様に発生符号量を観測して、仮想バッファの充足度により制御することも可能である。この場合、設定される画像レートは従来例と類似したものとなる。さらに、量子化ステップ幅や符号化モードなど他の符号化パラメータの情報を用いて、量子化が粗くなるなど画質が劣化しやすい場合に画像レートを低下させてもよい。一方、次に説明するような入来動画像の動きの程度により設定すると、視覚的に適切な転送レートが設定される。符号化パラメータと入来画像の動きの程度は、片方のみ使用することもできるが、両方の情報を用いて制御することも可能である。
入来動画像の動きの程度により画像レートを設定する場合について説明する。動画像信号は毎秒６０フレーム(フィールド)が基本であるが、この値は面フリッカの検知限界から来るものであり、画像のすべての動きでそれが必要なわけではない。実際、映画フィルムが２４ｆｐｓであることからも推測できるが、３０ｆｐｓで動きの劣化(不自然さ)が検知されるのは早い動きの場合のみで、通常２０ｆｐｓでも大きな劣化とはならない。しかし、それより低下すると静止に近い場合以外で動きの劣化が気になる。
従って、早い動きがある場合のみ６０ｆｐｓとし、動きが多い場合は３０ｆｐｓ、動きが少ない場合は２０ｆｐｓ、動きがほとんどない場合に１０〜１５ｆｐｓとする。この制御を適切に行うことで、動き劣化がほとんど気にならない再生画像が得られる。具体的にはＭＶの水平成分ＭＶｘ(ｉ,ｊ)、垂直成分ＭＶｙ(ｉ,ｊ)から求める。なお、ＭＶｘ(ｉ,ｊ)、ＭＶｙ(ｉ,ｊ)の値は１画素の動きが１.０、ｉは１フレーム内のブロック水平位置、ｊは１フレーム内のブロック垂直位置とする。１フレームが７２０×４８０画素の場合、画面全体の動きアクティビティＭＡを次式で求め、その値と閾値から画像レートＲを決める。
【数１】
【０００９】
＜可変画像レート復号化装置の第１の実施例＞
図１に示した第１の実施例の可変画像レート符号化装置に対応する可変画像レート復号化装置の第１の実施例について説明する。その構成を図２に示す。図８の従来例と同一構成要素には同一付番を記してある。図２には、図８と比較して、多重化分離器２８、走査線補間器２１、スイッチ２２が追加されている。また、フレーム補間器２６の動作が異なる。
符号入力端子２７より入来する符号列は、多重化分離器２８で主たる符号列と画像レートに関する情報に分離され、主たる符号列は可変長復号化器２３へ、画像レートに関する情報は画像レート設定器２９に与えられる。画像レート設定器２９は、フレーム（フィールド）番号等から画像レートを判断し、設定した画像レートを画像間予測器２５、フレーム補間器２６、スイッチ２２へ与る。
可変長復号化器２４は可変長符号を固定長の符号に戻し、固定長符号は逆量子化器９に与えられる。固定長符号は逆量子化器９で係数値となり、逆ＤＣＴ１４に与えられる。逆ＤＣＴ１４は８×８個の係数を再生予測残差信号に変換し、加算器１３に与える。加算器１３では再生予測残差信号に予測信号が加算され、再生画像となる。
この様にして得られた再生画像信号は、画像間予測器２５と走査線補間器２１、さらにフレーム補間器２６に与えられる。画像間予測器２５は、メモリに蓄積されている復号画像から予測信号を形成し、得られた予測信号は加算器１３に与えられる。その際、画像レートが６０ｆｐｓのときは飛越し走査の予測信号を、３０ｆｐｓ以下のときは順次走査の予測信号とする。
一方、走査線補間器２１は飛越し走査で間引かれている走査線を補間して、６０ｆｐｓの順次走査画像を形成し、スイッチ２２に与える。フレーム補間器２６は間引かれている順次走査画像のフレームを補間し、６０ｆｐｓの順次走査画像としてスイッチ２２に与える。処理は画像レートにより異なり、３０ｆｐｓの場合は２フレームが繰り返され、２０ｆｐｓの場合は３フレームが、１５ｆｐｓの場合は４フレームが、１０ｆｐｓの場合は６フレームが繰り返される。この様子を図１１に示す。
スイッチ２２は画像レートにより、６０ｆｐｓの場合は、走査線補間器２１の出力を選択し、３０ｆｐｓ以下の場合はフレーム補間器２６の出力を選択する。選択された信号はいずれも６０ｆｐｓの順次走査画像であり、順次走査画像出力端子２３より、出力される。
【００１０】
＜可変画像レート符号化装置の第２の実施例＞
本発明の可変画像レート符号化装置の第２の実施例について説明する。図３は、その構成を示したもので、図１に示した第１の実施例と同一構成要素には同一付番を記してある。図３には、図１と比較して、順次走査画像入力端子１の変わりに飛越し走査画像入力端子３２があり、走査線間引器２がなく、走査線補間器３１がある。
可変画像レート符号化装置の第２の実施例において、第１の実施例と異なるのは入力信号とそれに対する被符号化動画像の形成であり、予測残差に対する符号化処理は基本的に同じであるので、異なる部分のみ説明する。第１の実施例においては順次走査画像を入力していたが、第２の実施例では飛越し走査画像を入力する。
飛越し走査画像入力端子３２より入来する６０ｆｐｓの飛越し走査画像信号は、走査線補間器３１、スイッチ３、動きベクトル（ＭＶ）検出器３３に与えられる。走査線補間器３１は、飛越し走査で消失している走査線を補間して順次走査の信号を形成し、フレーム間引き器７に与える。走査線補間器３１から出力される画像レートは、６０ｆｐｓのままでもよいが、フレーム間引き器７で少なくとも３０ｆｐｓ以下にされるので、この出力段階で３０ｆｐｓとしても良い。
フレーム間引き器７は、画像レート設定器３４から与えられる画像レート情報に従って順次走査のフレームを間引き、３０ｆｐｓ、２０ｆｐｓ、１５ｆｐｓ、１０ｆｐｓへと低下させ、画像レートが低下した順次走査画像をスイッチ３に与える。スイッチ３は、画像レート情報により、６０ｆｐｓの場合は、６０ｆｐｓの飛越し走査画像である入来信号を選択し、３０ｆｐｓ以下の場合は３０ｆｐｓ以下の順次走査画像であるフレーム間引き器７の出力を選択する。
以下の減算器４、ＤＣＴ５、量子化器６、逆量子化器９、可変長符号化器１０、画像間予測器１２、加算器１３、逆ＤＣＴ１４、多重化器１５の動作は第１の実施例と同じである。
一方、ＭＶ検出器３３は、図１のＭＶ検出器８と動作が多少異なり、飛越し走査画像に対しての動きベクトル検出処理となる。なお、画像レート設定器３４は、本質的には図１の画像レート設定器１１と同じであるが、ＭＶ検出器３３で求められる動きベクトルの大きさが、ＭＶ検出器８で求められる動きベクトルと異なるので、その分を補正して計算する。
【００１１】
＜可変画像レート復号化装置の第２の実施例＞
本発明の可変画像レート復号化装置の第２の実施例について説明する。その構成を図４に示す。図２の第１の実施例と同一構成要素には同一付番を記してある。図４には、図２と比較して、走査線補間器２１がなく走査線間引き器４１が追加されている。
可変画像レート復号化装置の第２の実施例において、第１の実施例と異なるのは出力信号とその形成であり、復号化処理は基本的に同じであるので、異なる部分のみ説明する。第１の実施例においては順次走査画像を出力していたが、第２実施例では飛越し走査画像を出力する。
符号入力端子２７、多重化分離器２８、可変長復号化器２４、逆量子化器９、逆ＤＣＴ１４、加算器１３、画像間予測器２５の動作は図２の第１の実施例と同じである。得られた再生画像信号は、フレーム補間器２６とスイッチ２２に与えられる。
フレーム補間器２６は間引かれている順次走査画像のフレームを補間し、６０ｆｐｓの順次走査画像としてスイッチ２２に与える。処理は画像レートにより異なり、３０ｆｐｓの場合は２フレームが繰り返され、２０ｆｐｓの場合は３フレームが、１５ｆｐｓの場合は４フレームが、１０ｆｐｓの場合は６フレームが繰り返される。
フレーム補間器２６から出力される６０ｆｐｓの順次走査画像は、走査線間引き器４１で走査線が間引かれ、飛越し走査の各フィールドとなる。従って、走査線間引き器４１からは６０ｆｐｓの飛越し走査画像が出力される。なお、走査線間引き器４１の処理はフレーム補間器２６の処理と一体化することで、高速な６０ｆｐｓの順次走査画像の入出力をしなくて済む。
スイッチ２２は画像レート情報により、６０ｆｐｓの場合は、加算器１３の出力を選択し、３０ｆｐｓ以下の場合は走査線間引き器４１の出力を選択する。選択された信号はいずれも６０ｆｐｓの飛越し走査画像であり、飛越し画像出力端子２３より出力される。この復号処理の様子は図１２に示される。
【００１２】
＜可変画像レート符号化装置の第３の実施例＞
本発明の可変画像レート符号化装置の第３の実施例について説明する。図５は、その構成を示したもので、図１の第１の実施例と同一構成要素には同一付番を記してある。図５には、図１と比較して、双方向予測フレームの符号化系であるフレーム遅延器５２、減算器５７、ＤＣＴ５９、量子化器６０、可変長符号化器５５があり、フレーム間引器５６、走査線間引器５８の動作が異なる。
第３の実施例において、第３の実施例は、双方向予測を用いて、双方向予測フレーム（Ｂピクチャー）のみに間引き処理を適用するものである。また、走査線間引きは予測残差に適用される。
画像入力端子１より入来する６０ｆｐｓの順次走査画像信号は、スイッチ５１により、６フレーム毎に１フレーム設定されるＩピクチャー（フレーム内符号化画面）及びＰピクチャーでは減算器４に、Ｂピクチャーではフレーム遅延器５２に与えられる。
Ｐ(Ｉ)ピクチャーにおいては、動画像信号は減算器４、ＤＣＴ５、量子化器６、逆量子化器９、可変長符号化器１０、加算器１３、逆ＤＣＴ１４で、第１の実施例と同様に符号化され、符号列が多重化器５３に与えられる。
Ｂピクチャーにおいては、動画像信号は、フレーム遅延器５２で先行するＰ(Ｉ)ピクチャーの符号化が完了するまで待機させられる。Ｐ(Ｉ)ピクチャーが６フレーム毎なら、５フレーム分の画像信号が、６フレームの間保持される。その後、フレーム間引き器５６に与えられる。
フレーム間引き器５６は、画像レート情報に応じてＢピクチャーのフレームを間引くが、その際にＰ(Ｉ)ピクチャーは必ず存在することを考慮して、符号化されるフレームが均等間隔になるようにする。その様子を図１０に示す。ここで、第１の実施例で使われている１５ｆｐｓは、残存するフレームがＰ(Ｉ)ピクチャーと同期しなくなるので、設定しない。
間引かれたＢピクチャーの動画像は減算器５７に与えられる。減算器５７は画像間予測器から与えられる予測信号を減算し、予測残差を走査線間引き器５８に与える。走査線間引き器５８では、画像レートが６０ｆｐｓの場合のみ飛越し走査の各フィールドに走査線が間引かれ、予測残差は飛越し走査の形で残り、ＤＣＴ５９に与えられる。
ＤＣＴ５９、量子化器６０、可変長符号化器５５の動作は、ＤＣＴ５、量子化器６、可変長符号化器１０と基本的に同じで、量子化のパラメータのみ異なる。このようにして得られた符号列は多重化器５３でＰ(Ｉ)ピクチャーの符号列と多重化される。画像レート設定器１４から出力される画像レートの情報も多重化される。
画像間予測器５４は、Ｐ(Ｉ)ピクチャーでは第１の実施例と同様に減算器４と加算器１３に予測信号を出力するが、Ｂピクチャーでは前後２画像から予測信号を形成し、減算器５７に与える。ただし、実施例１や２と異なり順次走査の予測信号のみを形成する。
ＭＶ検出器８、画像レート設定器１１の動作は第１の実施例と同じである。ただし、１５ｆｐｓは設定されない。
【００１３】
＜可変画像レート復号化装置の第３の実施例＞
図５に示した可変画像レート符号化装置の第３の実施例に対応する可変画像レート復号化装置の第３の実施例について説明する。その構成を図６に示す。図２の可変画像レート復号化装置の第１の実施例と同一構成要素には同一付番を記してある。図６には、図２と比較して、スイッチ２２がなく走査線補間器６１、フレーム補間器６２の位置及び動作が異なる。
可変画像レート復号化装置の第３の実施例において、第１の実施例と異なるのは画像間予測処理と補間方法で、予測残差信号の復号化処理は基本的に同じなので、異なる部分のみ説明する。符号入力端子２７、多重化分離器２８、可変長復号化器２４、逆量子化器９、逆ＤＣＴ１４の動作は、すべてのピクチャーに共通であり、図２の第１の実施例と基本的に同じである。得られた予測残差は走査線補間器６１に与えられる。走査線補間器６１は、画像レートが６０ｆｐｓの場合のみ、飛越し走査で間引かれているＢピクチャーの予測残差を補間する。順次走査の予測残差は加算器１３に与えられる。加算器１３は画像間予測器６３から与えられる予測信号を加算して、フレーム補間器６２と画像間予測器６３に与える。画像間予測器６３は、ＢピクチャーとＰ(Ｉ)ピクチャーで異なった予測信号を形成するが、いずれも順次走査である。
フレーム補間器６２は間引かれている順次走査画像のフレームを補間し、６０ｆｐｓの順次走査画像とする。処理は画像レートにより異なり、３０ｆｐｓの場合は２フレームが繰り返され、２０ｆｐｓの場合は３フレームが、１０ｆｐｓの場合は６フレームが繰り返される。ここで、ＢピクチャーとＰ(Ｉ)ピクチャーは順番が逆転しているので、Ｐ(Ｉ)ピクチャーはすぐに出力せず、順番を補正して出力する。
フレーム補間器６２から出力される６０ｆｐｓの順次走査画像は、順次走査画像出力端子２３より出力される。
【００１４】
【発明の効果】
以上の通り、本発明の符号化装置、符号化方法は、所定画像レートの入来動画像の動きの程度または前記入来動画像の符号化時の符号化パラメータに応じて、フレーム毎に符号化画像レートを設定し、設定された符号化画像レートが前記所定画像レートと同じ場合には飛越し走査符号化とし、設定された符号化画像レートが前記所定画像レートよりも低い場合には順次走査符号化とするので、画像レートを微妙に調節でき、動きの視覚的検知能力に対して過不足のない画像レートが得られる。再生画像の視覚的品質を同様に保ちながらより低い転送ビットレートが実現される。また、転送レートを同一とすれば、間引かれずに残った画像により多くのビットが配分されることになり、再生画像の品質が向上する。一方、本発明の復号化装置、復号化方法は、飛越し走査符号化された部分は飛越し走査での再生ではそのままで、順次走査での再生では走査線を補間する。画像レートを下げて順次走査符号化された部分は、順次走査での再生では単純にフレームを繰り返すことで所定画像レートにし、飛越し走査での再生では順次走査の１フレームを偶数フィールドと奇数フィールドに分解し、それぞれを繰り返す。いずれの場合も、不連続な動きとなることなくスムーズな再生画像が得られ、動きの不自然さは最小限となる。
【図面の簡単な説明】
【図１】可変画像レート符号化装置の第１の実施例の構成例を示す図である。
【図２】可変画像レート復号化装置の第１の実施例の構成例を示す図である。
【図３】可変画像レート符号化装置の第２の実施例の構成例を示す図である。
【図４】可変画像レート復号化装置の第２の実施例の構成例を示す図である。
【図５】可変画像レート符号化装置の第３の実施例の構成例を示す図である。
【図６】可変画像レート復号化装置の第３の実施例の構成例を示す図である。
【図７】従来の可変画像レート符号化装置の構成例を示す図である。
【図８】従来の可変画像レート復号化装置の構成例を示す図である。
【図９】フレームや走査線の削減の様子を示す図である。
【図１０】可変画像レート符号化装置の第３の実施例でのＢピクチャー削減の様子を示す図である。
【図１１】可変画像レート復号化装置の第１の実施例での補間の様子を示す図である。
【図１２】可変画像レート復号化装置の第２の実施例での補間の様子を示す図である。
【符号の説明】
１ 順次走査画像入力端子
２、４１、５８ 走査線間引き器
３、２２、５１ スイッチ
４、５７ 減算器
５、５９ ＤＣＴ
６、６０ 量子化器
７、５６、７２ フレーム間引き器
８、３３ ＭＶ検出器
９ 逆量子化器
１０、５５ 可変長符号化器
１１、２９、３４ 画像レート設定器
１２、２５、５４、６３、７５、８２ 画像間予測器
１３ 加算器
１４ 逆ＤＣＴ
１５、５３ 多重化器
１６ 符号列出力端子
２１、３１、６１ 走査線補間器
２３ 順次走査画像出力端子
２４ 可変長復号化器
２６、６２、８１ フレーム補間器
２７ 符号列入力端子
２８ 多重化分離器
３２ 飛越し走査画像入力端子
４２ 飛越し走査画像出力端子
５２ フレーム遅延器
７３ 画像レート制御器
７４ 符号量観測器
Claims (8)
- 所定画像レートの入来順次走査画像の動きの程度または前記入来順次走査画像の符号化時の符号化パラメータに応じて、フレーム毎に符号化画像レートを設定する画像レート設定手段と、設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記入来順次走査画像の走査線を間引いて飛越し走査画像を形成し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記符号化画像レートに応じて前記入来順次走査画像のフレームを間引いて順次走査画像を形成する画像形成手段と、設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記画像形成手段で形成された前記飛越し走査画像を飛越し走査符号化し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記画像形成手段で形成された前記順次走査画像を順次走査符号化して動画像符号列を得る符号化手段と、設定された前記符号化画像レートに関する情報と前記動画像符号列とを多重化する多重化手段と、を備えたことを特徴とする可変画像レート符号化装置。
- 動画像符号列から所定画像レートの順次走査画像を再生する復号化装置において、前記動画像符号列から符号化画像レートに関する情報を得て、フレーム毎に復号化画像レートを設定する画像レート設定手段と、設定された前記復号化画像レートが前記所定画像レートと同じ場合には、飛越し走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートより低い場合には、順次走査復号化して復号画像を得る復号化手段と、設定された前記復号化画像レートが前記所定画像レートと同じ場合には、前記飛越し走査復号化により得られた復号画像の走査線を補間し、設定された前記復号化画像レートが前記所定画像レートより低い場合には、前記順次走査復号化により得られた復号画像のフレームを補間して前記所定画像レートの再生順次走査画像を得る復号化手段と、を備えたことを特徴とする可変画像レート復号化装置。
- 所定画像レートの入来飛越し走査画像の動きの程度または前記入来飛越し走査画像の符号化時の符号化パラメータに応じて、フレーム毎に符号化画像レートを設定する画像レート設定手段と、前記入来飛越し走査画像を順次走査画像に変換する走査構造変換手段と、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記符号化画像レートに応じて前記順次走査画像のフレームを間引いて間引き動画像を得る画像間引き手段と、設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記入来飛越し走査画像をそのまま飛越し走査符号化し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記間引き動画像を順次走査符号化して動画像符号列を得る符号化手段と、設定された前記符号化画像レートに関する情報と前記動画像符号列とを多重化する多重化手段と、を備えたことを特徴とする可変画像レート符号化装置。
- 動画像符号列から所定画像レートの飛越し走査画像を再生する復号化装置において、前記動画像符号列から符号化画像レートに関する情報を得て、フレーム毎に復号化画像レートを設定する画像レート設定手段と、設定された前記復号化画像レートが前記所定画像レートと同じ場合には、飛越し走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートより低い場合には、順次走査復号化して復号画像を得る復号化手段と、設定された前記復号化画像レートが前記所定画像レートと同じ場合には、前記飛越し走査復号化により得られた復号画像をそのまま出力し、設定された前記復号化画像レートが前記所定画像レートより低い場合には、前記順次走査復号化により得られた前記復号画像から飛越し走査画像の複数フィールドを得て所定画像レートの飛越し走査画像を出力する復号化手段と、を備えたことを特徴とする可変画像レート復号化装置。
- 所定画像レートの入来順次走査画像の動きの程度または前記入来順次走査画像の符号化時の符号化パラメータに応じて、フレーム毎に符号化画像レートを設定し、設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記入来順次走査画像の走査線を間引いて飛越し走査画像を形成し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記符号化画像レートに応じて前記入来順次走査画像のフレームを間引いて順次走査画像を形成し、設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記画像形成手段で形成された前記飛越し走査画像を飛越し走査符号化し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記画像形成手段で形成された前記順次走査画像を順次走査符号化して動画像符号列を得、設定された前記符号化画像レートに関する情報と前記動画像符号列とを多重化する、ことを特徴とする可変画像レート符号化方法。
- 動画像符号列から所定画像レートの順次走査画像を再生する復号化方法において、前記動画像符号列から符号化画像レートに関する情報を得て、フレーム毎に復号化画像レートを設定し、設定された前記復号化画像レートが前記所定画像レートと同じ場合には、飛越し走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートより低い場合には、順次走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートと同じ場合には、前記飛越し走査復号化により得られた復号画像の走査線を補間し、設定された前記復号化画像レートが前記所定画像レートより低い場合には、前記順次走査復号化により得られた復号画像のフレームを補間して前記所定画像レートの再生順次走査画像を得る、ことを特徴とする可変画像レート復号化方法。
- 所定画像レートの入来飛越し走査画像の動きの程度または前記入来飛越し走査画像の符号化時の符号化パラメータに応じて、フレーム毎に符号化画像レートを設定し、前記入来飛越し走査画像を順次走査画像に変換し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記符号化画像レートに応じて前記順次走査画像のフレームを間引いて間引き動画像を得、設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記入来飛越し走査画像をそのまま飛越し走査符号化し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記間引き動画像を順次走査符号化して動画像符号列を得、設定された前記符号化画像レートに関する情報と前記動画像符号列とを多重化する、ことを特徴とする可変画像レート符号化方法。
- 動画像符号列から所定画像レートの飛越し走査画像を再生する復号化方法において、前記動画像符号列から符号化画像レートに関する情報を得て、フレーム毎に復号化画像レートを設定し、設定された前記復号化画像レートが前記所定画像レートと同じ場合には、飛越し走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートより低い場合には、順次走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートと同じ場合には、前記飛越し走査復号化により得られた復号画像をそのまま出力し、設定された前記復号化画像レートが前記所定画像レートより低い場合には、前記順次走査復号化により得られた前記復号画像から飛越し走査画像の複数フィールドを得て所定画像レートの飛越し走査画像を出力する、ことを特徴とする可変画像レート復号化方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000255170A JP3859118B2 (ja) | 2000-08-25 | 2000-08-25 | 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法 |
| US09/805,255 US6940911B2 (en) | 2000-03-14 | 2001-03-14 | Variable picture rate coding/decoding method and apparatus |
| US11/178,386 US7860170B2 (en) | 2000-03-14 | 2005-07-12 | Variable picture rate coding/decoding method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000255170A JP3859118B2 (ja) | 2000-08-25 | 2000-08-25 | 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002077910A JP2002077910A (ja) | 2002-03-15 |
| JP3859118B2 true JP3859118B2 (ja) | 2006-12-20 |
Family
ID=18744007
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000255170A Expired - Fee Related JP3859118B2 (ja) | 2000-03-14 | 2000-08-25 | 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3859118B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4069444B2 (ja) * | 2002-12-10 | 2008-04-02 | ソニー株式会社 | 符号化制御方法及び符号化制御プログラム |
| JP4497019B2 (ja) * | 2005-04-15 | 2010-07-07 | ソニー株式会社 | 映像処理装置 |
| JP2012175613A (ja) * | 2011-02-24 | 2012-09-10 | Sony Corp | 画像送信装置、画像送信方法、及びプログラム |
-
2000
- 2000-08-25 JP JP2000255170A patent/JP3859118B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002077910A (ja) | 2002-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3164031B2 (ja) | 動画像符号化復号化装置、動画像符号化復号化方法、及び動画像符号化記録媒体 | |
| US7860170B2 (en) | Variable picture rate coding/decoding method and apparatus | |
| KR970000683B1 (ko) | 해상도 가변 적응적 화상압축/복원방법 및 장치 | |
| JP3649370B2 (ja) | 動き補償符号化装置及び動き補償符号化方法 | |
| JPH07212761A (ja) | 階層符号化装置及び階層復号化装置 | |
| JPH05308631A (ja) | 動画像符号化装置 | |
| JPH0795566A (ja) | 画像符号化方法および装置 | |
| JP2003333540A (ja) | フレームレート変換装置及びそれを用いた映像表示装置、テレビジョン放送受信装置 | |
| JP3859118B2 (ja) | 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法 | |
| JP2000036963A (ja) | 画像符号化装置、画像符号化方法および画像復号化装置 | |
| JPH10512730A (ja) | 所要メモリ容量の低減化を伴う圧縮ビデオデータ流の復号化及び符号化のための方法 | |
| JP4264811B2 (ja) | 画像復号化装置及び画像復号化方法 | |
| JP4320509B2 (ja) | 映像再符号化装置および方法 | |
| EP0944264B1 (en) | Apparatus and method of encoding/decoding moving picture and storage medium storing encoded moving picture | |
| US6904093B1 (en) | Horizontal/vertical scanning frequency converting apparatus in MPEG decoding block | |
| JP2002010267A (ja) | 動きベクトル変換装置及び方法 | |
| JP4035808B2 (ja) | 動画像走査構造変換装置、動画像走査構造変換方法 | |
| JP3289695B2 (ja) | 動画符号化方法および装置 | |
| JPH10126749A (ja) | 順次走査変換装置 | |
| KR19980054366A (ko) | 디지탈 티브이의 피아이피(pip)구현장치 및 그 방법 | |
| JP4556286B2 (ja) | 動きベクトル変換装置及び方法 | |
| JP2001258039A (ja) | 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法 | |
| JP3416505B2 (ja) | 動画像復号化方法 | |
| JP3416509B2 (ja) | 動画像復号化装置 | |
| JPH0723395A (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060203 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060330 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060901 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060914 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090929 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100929 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100929 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110929 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120929 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120929 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120929 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120929 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130929 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |