JP4247680B2 - 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体 - Google Patents

Description

本発明は、符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体に関し、例えば衛星放送、ケーブルテレビ、インターネット、携帯電話等による動画の伝送、光ディスク、光磁気ディスク、フラッシュメモリ等の記録媒体への動画の記録等に適用することができる。本発明は、符号化の処理に先行してイントラ予測及びインター予測に係る最適な予測モードを検出すると共に、この検出した最適な予測モードによる差分データの大きさを示す変数を検出し、この変数により各ピクチャの目標符号量を設定することにより、復号化装置と共に画像変換装置として機能するように符号化装置を構成するような場合に、全体構成を簡略化することができるようにする。

近年、放送局、一般家庭等に係る動画の伝送、記録においては、画像データの冗長性を有効に利用して効率良く画像データを伝送、蓄積する装置が普及しつつあり、このような装置は、例えばＭＰＥＧ（Moving Picture Experts Group）等の方式に準拠して、離散コサイン変換等の直交変換と動き補償とにより画像データをデータ圧縮するようになされている。

ここでこのような方式の１つであるＭＰＥＧ２は、汎用の画像符号化方式として定義された方式であり、飛び越し走査方式、順次走査方式の双方に対応できるように、また標準解像度画像、高精細画像の双方に対応できるように定義され、これらにより現在、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに広く用いられるようになされている。具体的にＭＰＥＧ２によれば、例えば７２０×４８０画素による標準解像度、飛び越し走査方式の画像データを４〜８〔Ｍｂｐｓ〕のビットレートにデータ圧縮して、また１９２０×１０８８画素による高解像度、飛び越し走査方式の画像データを１８〜２２〔Ｍｂｐｓ〕のビットレートにデータ圧縮して、高画質で高い圧縮率を確保することができるようになされている。

しかしながらＭＰＥＧ２は、放送用に適合した高画質符号化方式であり、ＭＰＥＧ１より符号量の少ない高圧縮率の符号化方式には対応していない。これに対して近年の携帯端末の普及により、このようなＭＰＥＧ１より符号量の少ない高圧縮率の符号化方式のニーズの高まりが予測される。このためＭＰＥＧ４による符号化方式の規格が、ＩＳＯ／ＩＥＣ（International 0rganization for Standardization／International Electrotechnical Commission ）１４４９６−２により１９９８年１２月に国際標準に承認された。

またこのような方式にあっては、当初はテレビ会議用の画像符号化を目的としたものであったＨ２６Ｌ（ITU-T Q6/16 VCEG）の規格化が進み、ＭＰＥＧ２、ＭＰＥＧ４に比して演算量が増大するものの、ＭＰＥＧ２、ＭＰＥＧ４に比して高い符号化効率を確保できるようになされ、またＭＰＥＧ４の活動の一環として、このＨ２６Ｌをベースにして各種機能を取り入れ、さらに一段と高い符号化効率を確保する符号化方式の標準化が、Joint Model of Enhanced-Compression Video Codingとして進められ、これらの方式にあっては、２００３年３月に、Ｈ２６４及びＭＰＥＧ−４ Ｐａｒｔ１０（ＡＶＣ：Advanced Video Coding ）との名称により国際標準に設定された。

ここで図３は、このＡＶＣに基づく符号化装置を示すブロック図である。この符号化装置１は、複数のイントラ予測モードと複数のインター予測モードとから最適な予測モードを選択し、この選択した予測モードによる予測値を画像データから減算して差分データを生成し、この差分データを直交変換処理、量子化処理、可変長符号化処理することにより、この画像データをイントラ符号化、インター符号化により符号化処理する。

すなわちこの符号化装置１において、アナログディジタル変換装置（Ａ／Ｄ）２は、ビデオ信号Ｓ１をアナログディジタル変換処理して画像データＤ１を出力する。画面並べ替えバッファ３は、このアナログディジタル変換装置２から出力される画像データＤ１を入力し、この符号化装置１の符号化処理に係るＧＯＰ（Group of Pictures ）構造に応じて、この画像データＤ１のフレームを並べ替えて出力する。

減算器４は、この画面並べ替えバッファ３から出力される画像データＤ１を受け、イントラ符号化においては、イントラ予測装置５で生成される予測値との差分データＤ２を生成して出力するのに対し、インター符号化においては、動き予測・補償装置６で生成される予測値との差分データＤ２を生成して出力する。直交変換装置７は、減算器４の出力データＤ２を入力し、離散コサイン変換、カルーネン・レーベ変換等の直交変換処理を実行し、その処理結果による変換係数データＤ３を出力する。

量子化装置８は、レート制御装置９のレート制御による量子化スケールにより、この変換係数データＤ３を量子化して出力し、可逆符号化装置１０は、この量子化装置８の出力データを可変長符号化、算術符号化等により可逆符号化処理して出力する。また可逆符号化装置１０は、イントラ符号化に係るイントラ予測モードに関する情報、インター符号化に係る動きベクトルに関する情報等をイントラ予測装置５、動き予測・補償装置６から取得し、これらの情報を出力データＤ４のヘッダ情報に設定して出力する。

蓄積バッファ１１は、この可逆符号化装置１０の出力データＤ４を蓄積して続く伝送路の伝送速度により出力する。レート制御装置９は、この蓄積バッファ１１の空き容量の監視により符号化処理による発生符号量を監視すると共に、この監視結果により量子化装置８における量子化スケールを切り換え、これによりこの符号化装置１による発生符号量を制御する。

逆量子化装置１３は、量子化装置８の出力データを逆量子化処理し、これにより量子化装置８の入力データを再生する。逆直交変換装置１４は、逆量子化装置１３の出力データを逆直交変換処理し、これにより直交変換装置７の入力データを再生する。デブロックフィルタ１５は、この逆直交変換装置１４の出力データよりブロック歪を除去して出力する。フレームメモリ１６は、このデブロックフィルタ１５の出力データに、適宜、イントラ予測装置５又は動き予測・補償装置６により生成される予測値を加算して参照画像情報として記録する。

しかして動き予測・補償装置６は、インター符号化において、このフレームメモリ１６に保持された参照画像情報による予測フレームより画像並べ替えバッファ３から出力される画像データの動きベクトルを検出し、またこの検出した動きベクトルによりフレームメモリ１６に保持した参照画像情報を動き補償して予測画像情報を生成し、この予測画像情報による予測値を減算器４に出力する。

イントラ予測装置５は、イントラ符号化において、フレームメモリ１６に蓄積された参照画像情報に基づいてイントラ予測モードを判定し、この判定結果により参照画像情報から予測画像情報の予測値を生成して減算器４に出力する。

これらによりこの符号化方式においては、インター符号化とイントラ符号化とでそれぞれインター予測に係る動き補償による差分データＤ２とイントラ予測による差分データＤ２とを生成し、これらの差分データＤ２を直交変換処理、量子化処理、可変長符号化処理して伝送するようになされている。

図４は、このようにして符号化処理されてなる符号化データＤ４を復号化処理する復号化装置を示すブロック図である。この復号化装置２０において、蓄積バッファ２１は、伝送路を介して入力される符号化データＤ４を一時蓄積して出力し、可逆復号化装置２２は、この蓄積バッファ２１の出力データを可変長復号化、算術復号化等により復号化処理し、符号化装置１における可逆符号化装置１０の入力データを再生する。またこのときこの出力データがイントラ符号化されたものである場合、ヘッダに格納されたイントラ予測モードの情報を復号化してイントラ予測装置２３に伝送するのに対し、この出力データがインター符号化されたものである場合、ヘッダに格納された動きベクトルに関する情報を復号化して動き予測・補償装置２４へ転送する。

逆量子化装置２５は、可逆復号化装置２２の出力データを逆量子化処理し、これにより符号化装置１の量子化装置８に入力される変換係数データＤ３を再生する。逆直交変換装置２６は、この逆量子化装置２５から出力される変換係数データを受け、４次の逆直交変換処理を実行し、これにより符号化装置１の直交変換装置７に入力される差分データＤ２を再生する。

加算器２７は、逆直交変換装置２６から出力される差分データＤ２を受け、イントラ符号化において、イントラ予測装置２３で生成される予測画像による予測値を加算して出力するのに対し、インター符号化において、動き予測・補償装置２４から出力される予測画像による予測値を加算して出力する。これにより加算器２７は、符号化装置１における減算器４の入力データを再生する。

デブロックフィルタ２８は、この加算器２７の出力データよりブロック歪を除去して出力し、画面並べ替えバッファ２９は、このデブロックフィルタ２８から出力される画像データのフレームをＧＯＰ構造に応じて並べ替えて出力する。ディジタルアナログ変換装置（Ｄ／Ａ）３０は、この画面並べ替えバッファ２９の出力データをディジタルアナログ変換処理して出力する。

フレームメモリ３１は、デブロックフィルタ２８の出力データを参照画像情報として記録して保持する。動き予測・補償装置２４は、インター符号化において、可逆復号化装置２２から通知される動きベクトルの情報によりフレームメモリ３１に保持された参照画像情報を動き補償して予測画像による予測値を生成し、この予測値を加算器２７に出力する。またイントラ予測装置２３は、イントラ符号化において、可逆復号化装置２２から通知されるイントラ予測モードによりフレームメモリ３１に保持された参照画像情報より予測画像による予測値を生成し、この予測値を加算器２７に出力する。

しかしてこのような符号化処理に係るイントラ符号化においては、イントラ４×４予測モードとイントラ１６×１６予測モードとが用意されるようになされている。ここでＡＶＣでは４×４画素のブロック単位で差分データＤ２を直交変換処理するようになされており、イントラ４×４予測モードは、この直交変換処理のブロック単位で、イントラ予測に係る予測値を生成するモードである。これに対して１６×１６予測モードは、この直交変換処理のブロックの複数個を単位にしてイントラ予測に係る予測値を生成するモードであり、この複数個が水平方向及び垂直方向にそれぞれ２個に設定されるようになされている。

このうちイントラ４×４予測モードでは、図５に示すように、予測値を生成する４×４画素ａ〜ｐによるブロックに対して、近傍１３個の画素Ａ〜Ｍの一部が予測値の生成に供する予測画素に設定され、この予測画素より予測値が生成される。なおここでこの１３個の画素Ａ〜Ｍは、このブロックの走査開始端側、垂直方向に隣接する４個の画素Ａ〜Ｄと、この４個の画素Ａ〜Ｄの走査終了端側の画素Ｄに続く４個の画素Ｅ〜Ｆと、このブロックの走査開始端側、水平方向に隣接する４個の画素Ｉ〜Ｌと、この水平方向に隣接する４個の画素Ｉ〜Ｌのうちの走査開始端側の画素Ｉの上方に位置する画素Ｍとにより形成される。

イントラ４×４予測モードでは、これら１３個の画素Ａ〜Ｍと、予測値の生成に供する４×４個の画素ａ〜ｐとの相対的な関係により、図６及び図７に示すように、モード０〜モード８の予測モードが定義されるようになされている。すなわち図６に示すように、例えばモード０及び１では、予測値の生成に使用する１３個の画素Ａ〜Ｍのうち、それぞれ垂直方向及び水平方向に隣接する画素Ａ〜Ｄ及びＩ〜Ｌにより予測値を生成する。

より具体的には、図８（Ａ）において矢印により示すように、モード０は、垂直方向に隣接する画素Ａ〜Ｄより予測値を生成するモードであり、予測値を生成する４×４個の画素ａ〜ｐのうち、垂直方向に連続する１列目の画素ａ、ｅ、ｉ、ｍは、その上方向の画素Ａが予測画素に設定される。また続く２列目の画素ｂ、ｆ、ｊ、ｎは、その上方向の画素Ｂが予測画素に設定され、続く３列目及び４列目の画素ｃ、ｇ、ｋ、ｏ及びｄ、ｈ、ｌ、ｐは、それぞれ上方の画素Ｃ及びＤが予測画素に設定され、これら予測画素Ａ〜Ｄの画素値がそれぞれ対応する画素ａ〜ｐの予測値に設定される。なおモード０は、このモードにおける予測画素Ａ〜Ｄが有意である場合にのみ適用される。

また図８（Ｂ）に同様に示すように、モード１は、水平方向に隣接する画素Ｉ〜Ｌより予測値を生成するモードであり、予測値を生成する４×４個の画素ａ〜ｐのうち、水平方向に連続する１ラインの画素ａ〜ｄは、その左方の画素Ｉが予測画素に設定される。また続く２ライン目の画素ｅ〜ｈは、その左方の画素Ｊが予測画素に設定され、続く３ライン目及び４ライン目の画素ｉ〜ｌ及びｍ〜ｐは、それぞれ左方の画素Ｋ及びＬが予測画素に設定され、これら予測画素Ｉ〜Ｌの画素値がそれぞれ対応する画素ａ〜ｐの予測値に設定される。なおモード１は、このモードにおける予測画素Ｉ〜Ｌが有意である場合にのみ適用される。

これに対してモード２は、図８（Ｃ）に示すように、１３個の画素Ａ〜Ｍのうち、このブロックの垂直方向及び水平方向に隣接する画素Ａ〜Ｄ及びＩ〜Ｌより予測値を生成するモードであり、これらの画素Ａ〜Ｄ及びＩ〜Ｌが全て有意な場合に、次式により各画素ａ〜ｐの予測値が生成される。

なおモード２においては、画素Ａ〜Ｄが全て有意でない場合、予測値は、（２）式により生成され、画素Ｉ〜Ｌが全て有意でない場合、予測値は、（３）式により生成され、画素Ａ〜Ｄ及びＩ〜Ｌが全て有意でない場合、予測値は値１２８に設定される。

これに対してモード３は、図８（Ｄ）に示すように、１３個の画素Ａ〜Ｍのうち、水平方向に連続する画素Ａ〜Ｈより予測値を生成するモードであり、これらの画素Ａ〜Ｈのうちの画素Ａ〜Ｄと画素Ｉ〜Ｍとが全て有意な場合にのみ適用されて、次式により各画素ａ〜ｐの予測値が生成される。

これに対してモード４は、図８（Ｅ）に示すように、１３個の画素Ａ〜Ｍのうち、４×４個の画素ａ〜ｐによるブロックに隣接する画素Ａ〜Ｄ、Ｉ〜Ｍとにより予測値を生成するモードであり、これらの画素Ａ〜Ｄ、Ｉ〜Ｍが全て有意な場合にのみ適用されて、次式により各画素ａ〜ｐの予測値が生成される。

これに対してモード５は、図８（Ｆ）に示すように、モード４と同様に、１３個の画素Ａ〜Ｍのうち、４×４個の画素ａ〜ｐによるブロックに隣接する画素Ａ〜Ｄ、Ｉ〜Ｍとにより予測値を生成するモードであり、これらの画素Ａ〜Ｄ、Ｉ〜Ｍが全て有意な場合にのみ適用されて、次式により各画素ａ〜ｐの予測値が生成される。

これに対してモード６は、図８（Ｇ）に示すように、モード４及びモード５と同様に、１３個の画素Ａ〜Ｍのうち、４×４個の画素ａ〜ｐによるブロックに隣接する画素Ａ〜Ｄ、Ｉ〜Ｍとにより予測値を生成するモードであり、これらの画素Ａ〜Ｄ、Ｉ〜Ｍが全て有意な場合にのみ適用されて、次式により各画素ａ〜ｐの予測値が生成される。

これに対してモード７は、図８（Ｈ）に示すように、１３個の画素Ａ〜Ｍのうち、４×４個の画素ａ〜ｐによるブロックの上方に隣接する４個の画素Ａ〜Ｄと、この４個の画素Ａ〜Ｄに続く４個の画素Ｅ〜Ｇとにより予測値を生成するモードであり、これらのうちの画素Ａ〜Ｄ及び画素Ｉ〜Ｍが全て有意な場合にのみ適用されて、次式により各画素ａ〜ｐの予測値が生成される。

これに対してモード８は、図８（Ｉ）に示すように、１３個の画素Ａ〜Ｍのうち、４×４個の画素によるブロックの左方に隣接する４個の画素Ｉ〜Ｌにより予測値を生成するモードであり、画素Ａ〜Ｄ及び画素Ｉ〜Ｍが全て有意な場合にのみ適用されて、次式により各画素ａ〜ｐの予測値が生成される。

これに対してイントラ１６×１６予測モードでは、図９に示すように、予測値を生成する１６×１６個の画素Ｐ（０，１５）〜Ｐ（１５，１５）によるブロックＢに対して、このブロックを構成する画素Ｐ（０，１５）〜Ｐ（１５，１５）と、このブロックＭＢの上方及び左方に隣接する画素Ｐ（０，−１）〜Ｐ（１５，−１）及びＰ（−１，０）〜Ｐ（−１，１５）が予測画素に設定され、これらの予測画素により予測値が生成される。

イントラ１６×１６予測モードでは、図１０に示すように、モード０〜モード３の予測モードが定義されるようになされ、このうちモード０は、マクロブロックＭＢの上方に隣接する画素Ｐ（０，−１）〜Ｐ（１５，−１）（Ｐ（ｘ，−１）；ｘ，ｙ＝−１〜１５）が有意な場合にのみ適用されて、次式により示すように、ブロックＢを構成する各画素Ｐ（０，１５）〜Ｐ（１５，１５）の予測値が生成され、これにより図１１（Ａ）に示すように、ブロックＢに隣接する各画素Ｐ（０，−１）〜Ｐ（１５，−１）の画素値によりブロックＢの垂直方向に連続する各画素の予測値が生成される。

これに対してモード１は、ブロックＢの左方に隣接する画素Ｐ（−１，０）〜Ｐ（−１，１５）（Ｐ（−１，ｙ）；ｘ，ｙ＝−１〜１５）が有意な場合にのみ適用されて、次式により示すように、ブロックＢを構成する各画素Ｐ（０，１５）〜Ｐ（１５，１５）の予測値が生成され、これにより図１１（Ｂ）に示すように、ブロックＢに隣接する各画素Ｐ（−１，０）〜Ｐ（−１，１５）の画素値によりブロックＢの水平方向に連続する各画素の予測値が生成される。

これに対してモード２は、ブロックＢの上方及び左方に隣接する画素Ｐ（０，−１）〜Ｐ（１５，−１）及びＰ（−１，０）〜Ｐ（−１，１５）が全て有意な場合には、次式により予測値が求められ、これにより図１１（Ｃ）に示すように、これらの画素Ｐ（０，−１）〜Ｐ（１５，−１）及びＰ（−１，０）〜Ｐ（−１，１５）による画素値の平均値によりブロックＢを構成する各画素の予測値が生成される。

なおモード２においては、これらブロックＢの上方及び左方に隣接する画素Ｐ（０，−１）〜Ｐ（１５，−１）及びＰ（−１，０）〜Ｐ（−１，１５）のうち、上方に隣接する画素Ｐ（−１，０）〜Ｐ（−１，１５）が有意でない場合、（１３）式が適用されて有意な側の隣接画素の平均値により各画素の予測値が生成される。また左方に隣接する画素Ｐ（−１，０）〜Ｐ（−１，１５）が有意でない場合、（１４）式が適用され、この場合も有意な側の隣接画素の平均値によりブロックＢを構成する各画素の予測値が生成される。またブロックＢの上方及び左方に隣接する画素Ｐ（０，−１）〜Ｐ（１５，−１）及びＰ（−１，０）〜Ｐ（−１，１５）の全てが有意でない場合、値１２８に予測値が設定される。

これに対してモード３は、ブロックＢの上方及び左方に隣接する画素Ｐ（０，−１）〜Ｐ（１５，−１）及びＰ（−１，０）〜Ｐ（−１，１５）が全て有意な場合にのみ適用され、次式により予測値が求められ、これにより図１１（Ｄ）に示すように、斜め方向の演算処理により各画素の予測値が生成される。

これらにより符号化装置１のイントラ予測装置５においては、Ｉピクチャ、Ｐピクチャ、Ｂピクチャにおいて、画面並べ替えバッファ３より出力される画像データＤ１を入力してフレームメモリ１６に保持した参照画像情報によりいわゆるイントラ予測して最適な予測モードを選択する。またこの選択した予測モードによりイントラ符号化する場合、この選択した予測モードによる予測値を参照画像情報より生成して減算器４に出力し、またこの予測モードを可逆符号化装置１０に通知して符号化データＤ４と共に伝送するようになされている。これに対して復号化装置２０のイントラ予測装置２３においては、この符号化データＤ４と共に伝送された予測モードの情報により予測値を計算して加算器２７に出力するようになされている。

これに対してインター符号化においては、Multiple Reference Frames により、図１２に示すように、処理対象のフレームＯｒｇに対して、複数の参照フレームＲｅｆの何れかを選択して動き補償できるようになされ、これにより直前のフレームにおいて動き補償のブロックに対応する部位が隠れている場合、さらにはフラッシュにより直前のフレームで一時的に全体の画素値が変動した場合等にあっても、高い精度により動き補償してデータ圧縮効率を高めることができるようになされている。

また動き補償に係るブロックにおいては、図１３（Ａ１）に示すように、１６画素×１６画素によるブロックを基準にして動き補償するようになされているものの、variable MCBlock Sizeによりtree-structured motion compensation がサポートされており、これにより図１３（Ａ２）〜（Ａ４）に示すように、１６画素×１６画素によるブロックを水平方向及び又は垂直方向に２分割して、１６画素×８画素、８画素×１６画素、８画素×８画素によるサブマクロブロックによりそれぞれ独立に動きベクトル、参照フレームを設定して動き補償できるようになされている。また８画素×８画素によるサブマクロブロックについては、図１３（Ｂ１）〜（Ｂ４）に示すように、８画素×８画素、８画素×４画素、４画素×８画素、４画素×４画素によるブロックにさらに分割して、それぞれ独立に動きベクトル、参照フレームを設定して動き補償できるようになされている。なお以下において、この動き補償に係る最も大きさの大きな１６画素×１６画素による基本のブロックをマクロブロックと呼ぶ。

また動き補償においては、６タップのＦＩＲフィルタを用いて１／４画素精度により動き補償できるようになされている。これにより図１４において、符号Ａにより１画素精度の画素値、符号ｂ〜ｄにより１／２画素精度の画素値、符号ｅ１〜ｅ３により１／４画素精度の画素値を示すように、この場合、始めに、６タップのＦＩＲフィルタの各タップ入力を値１、−５、２０、２０、−５、１により重み付けして次式の演算処理を実行することにより、水平方向又は垂直方向の連続する画素間に１／２画素精度による画素値ｂ又はｄを計算するようになされている。

またこのようにして計算した１／２画素精度による画素値ｂ又はｄを用いて、６タップのＦＩＲフィルタの各タップ入力を値１、−５、２０、２０、−５、１により重み付けして次式の演算処理を実行することにより、水平方向及び垂直方向の連続する画素間の１／２画素精度による画素値ｃを計算するようになされている。

またこのようにして計算した１／２画素精度により画素値ｂ〜ｄを用いて、直線補間による次式の演算処理を実行することにより、１／４画素精度による画素値ｅ１〜ｅ３を計算するようになされている。なおこのようにして（１６）式及び（１７）式の重み付け加算に係る正規化の処理においては、垂直方向及び水平方向の全ての補間処理が完了して実行される。

これらにより符号化装置１における動き予測・補償装置６は、Ｐピクチャ及びＢピクチャにおいて、フレームメモリ１６に保持された参照画像情報による符号化処理のレベル及びプロファイルにより定義される複数の予測フレームを用いて、マクロブロック、各サブマックロブロックにより１／４画素精度による動きベクトルを検出し、最も予測誤差の少ない参照フレーム、ブロックによる動きベクトルを検出する。またこのようにして検出した参照フレーム、ブロックによりフレームメモリ１６に保持した参照画像情報を１／４画素精度により動き補償していわゆるインター予測の処理を実行する。またこのインター予測によりインター符号化処理する場合、動き補償による画素値を予測値として減算器４に出力すると共に、これら参照フレーム、ブロック、動きベクトルを可逆符号化装置１０に通知して符号化データＤ４と共に伝送するようになされている。これに対して復号化装置２０の動き予測・補償装置２４においては、この符号化データＤ４と共に伝送された参照フレーム、ブロック、動きベクトルによりフレームメモリ１６に保持した参照画像情報を１／４画素精度により動き補償して予測値を生成し、この予測値を加算器２７に出力するようになされている。しかして符号化装置１において、Ｐピクチャ及びＢピクチャにおいては、例えばイントラ予測装置５によるイントラ予測結果、動き予測・補償装置６によるインター予測結果に基づいてイントラ符号化、インター符号化を選択するようになされ、イントラ予測装置５、動き予測・補償装置６は、この選択結果によりそれぞれイントラ予測、インター予測による予測値を出力するようになされている。

これに対してレート制御装置９によるレート制御においては、例えばＴＭ５（ＭＰＥＧ−２ Ｔｅｓｔ Ｍｏｄｅｌ ５）による手法が適用される。ここでＴＭ５によるレート制御は、図１５に示す処理手順の実行により量子化装置８の量子化スケールを制御することにより実行される。すなわちレート制御装置９においては、処理を開始すると、ステップＳＰ１からステップＳＰ２に移り、１ＧＯＰを構成するピクチャにおいて、未だ符号化処理されていないピクチャへの目標符号量を計算し、これによりピクチャへのビット配分を行う。ここでＴＭ５では、以下の２つの仮定に基づいて、各ピクチャへの符号量割当量を計算する。

ここで第１の仮定は、各ピクチャを符号化する際に用いる平均量子化スケールと、発生符号量との積は、画面が変化しない限り、ピクチャタイプ毎に一定値であるとの仮定である。これによりこのレート制御においては、各ピクチャを符号化処理した後、各ピクチャタイプ毎に、画面の複雑さを表すパラメータＸ_i、Ｘ_p、Ｘ_b（global complexity measure ) を次式により更新する。これによりＴＭ５によるレート制御においては、これらのパラメータＸ_i、Ｘ_p、Ｘ_bにより、次のピクチャを符号化処理する際の量子化スケールコードと発生符号量との関係を推定するようになされている。

ここで（１９）式の各変数の添え字は、それぞれＩピクチャ、Ｐピクチャ、Ｂピクチャを示す添え字である。またＳ_i、Ｓ_p、Ｓ_bは、各ピクチャの符号化処理による発生符号ビット量であり、Ｑ_i、Ｑ_p、Ｑ_bは、各ピクチャの符号化時における平均量子化スケールコードである。またパラメータＸ_i、Ｘ_p、Ｘ_bの初期値は、目標符号量bit rate〔bit/sec 〕を用いて、次式により与えられる。

また第２の仮定は、Ｉピクチャの量子化スケールに対するＰピクチャの量子化スケールコードの比率Ｋ_p、Ｉピクチャの量子化スケールに対するＢピクチャの量子化スケールコードの比率Ｋ_bが、次式の関係に保持されている場合に、常に全体の画質が最良となるとの仮定である。

すなわちこの仮定は、Ｉピクチャ、Ｐピクチャの量子化スケールに対してＢピクチャの量子化スケールを常に１．４倍に設定することにより全体の画質が最良となることを意味するものであり、Ｉピクチャ、Ｐピクチャに比してＢピクチャを粗く量子化してＢピクチャに割り当てる符号量を節約し、その分、Ｉピクチャ、Ｐピクチャに多くの符号量を振り分けてＩピクチャ、Ｐピクチャの画質を向上すると共に、Ｉピクチャ、Ｐピクチャを参照するＢピクチャの画質も併せて向上し、これらにより全体的に見た画質を最良とするものである。

これらによりレート制御装置９は、次式の演算処理により、各ピクチャへの割当ビット量Ｔ_i、Ｔ_p、Ｔ_bを計算する。なおここでＮ_p、Ｎ_bは、処理対象であるＧＯＰ内で、未だ符号化されていないＰピクチャ、Ｂピクチャの枚数である。

これによりレート制御装置９は、上述した２つの仮定に基づいて、各ピクチャの発生符号量を推定する。このとき符号割り当て対象とは異なるピクチャタイプのピクチャについては、画質最適化条件の下で、そのピクチャの発生する符号量が、割当対象ピクチャの発生符号量の何倍となるかを推定する。またこの推定により、ＧＯＰ内の未符号化ピクチャが、符号割り当て対象のピクチャタイプにおける何枚分のピクチャに相当するかを推計し、この推計結果より各ピクチャへの割り当てビット量を計算する。なおこの場合に、レート制御装置９は、ヘッダ等の固定的に必要となる符号量を考慮して、その値に下限を設定して割り当てビット量を計算する。

続いてＴＭ５のレート制御においては、ステップＳＰ３に移り、仮想バッファ制御を用いたレート制御の処理を実行する。ここでこのレート制御においては、ステップＳＰ２で求められた各ピクチャへの割当ビット量Ｔ_i、Ｔ_p、Ｔ_bと、実際の発生符号量とを一致させるため、各ピクチャタイプ毎に独立に３種類の仮想バッファを設定し、この仮想バッファの容量に基づいて量子化装置８の量子化スケールをマクロブロック単位のフィードバック制御により計算する。

ここで始めに、これら３種類の仮想バッファの占有率を、次式の演算式により計算する。なおここでｄ₀ ⁱ、ｄ₀ ^p、ｄ₀ ^bは、各仮想バッファの初期占有量、Ｂ_jは、ピクチャ先頭からｊ番目のマクロブロックまでの発生ビット量、ＭＢ＿ｃｎｔは、１ピクチャ内でのマクロブロック数である。

この（２３）式により計算結果に基づいてｊ番目のマクロブロックに対する量子化スケールを、次式により計算する。

なおここでｒは、リアクションパラメータであり、フィードバックの応答を制御するパラメータである。ＴＭ５において、リアクションパラメータｒ及び初期値ｄ₀ ⁱ、ｄ₀ ^p、ｄ₀ ^bは、次式により与えられる。

続いてＴＭ５のレート制御においては、ステップＳＰ４に移り、視覚特性を考慮してステップＳＰ３で求めた量子化スケールを補正し、これにより視覚特性を考慮した最適量子化の処理を実行する。ここでこの最適量子化の処理においては、視覚的に劣化の目立ちやすい平坦部ではより細かく量子化するように、また劣化の比較的目立ちにくい絵柄の複雑な部分でより粗く量子化するように、各マクロブロックのアクティビティにより、ステップＳＰ３で求めた量子化スケールを補正して実行される。

ここでアクティビティは、１６×１６画素の大きさによるマクロブロック毎に、このマクロブロックを構成する８×８画素による４個のブロックについて、フレームＤＣＴモードにおける４個のブロックと、フィールドＤＣＴモードにおける４個のブロックとによる計８個のブロックの画素値を用いて、次式により算出され、これにより該当マクロブロックにおける輝度レベルの平滑度を示すようになされている。

なおここでＰ_kは、原画の輝度信号ブロック内画素値である。この（２６）式において最小値を取るのは、このマクロブロック内の一部だけでも平坦部分のある場合には量子化ステップを細かくして画質劣化を防止するためである。

レート制御装置９は、この計算式により求めたアクティビティを次式により正規化し、これにより０．５〜２の範囲で値を取る正規化アクティビティＮａｃｔ_jを求める。なおここでａｖｇ＿ａｃｔは、直前に符号化したピクチャにおけるアクティビティａｃｔ_jの平均値である。

またこの正規化アクティビティＮａｃｔ_jにより次式の演算処理を実行し、ステップＳＰ３で計算した量子化スケールＱ_jを補正して量子化装置８を制御する。

これらによりＴＭ５によるレート制御においては、上述した２つの仮定に基づいて、各ピクチャ、さらには各マクロブロックに符号量を配分し、この配分した符号量を実際の発生符号量により逐次補正するフィードバック制御により量子化スケールを制御して逐次符号化処理するようになされている。

しかしながらこのようなフィードバック方式を前提としたレート制御は、過去に符号化されたフレームの特性を用いた符号量制御であることにより、画質の安定性の妨げとなる場合がある。また目標としているＩピクチャ、Ｐピクチャ、Ｂピクチャに対する量子化スケールの比にあっても、固定値とされているが、この比にあっては、シーケンスによって最適値が異なることになる。

これによりフィードフォワード制御が可能であるとして、最適なレート制御について、以下に考察する。ここで歪みＤと量子化スケールの間に、次式の関係が存在すると仮定する。

ここでコスト関数Ｆを次式により定義する。なおここでＮは、当該ＧＯＰに含まれるフレームの枚数であり、１≦ｉ≦Ｎである。

これにより未符号化フレーム全体への符号割り当て量をＲとおいて、次式の拘束条件の元でこのコスト関数Ｆを解くと最適な割当符号量Ｒ_iを算出することが可能となる。

このような計算は、一般的に、ラグランジュの未定乗数法を用いて次式により求めることができる。

但し、Ｒ＝ｆ（Ｑ）、Ｑ＝ｇ（Ｒ）において、コスト関数Ｆは、以下の条件のとき、最小値となる。

これによりこれらの連立方程式を解くと、最適割当符号量Ｒ_iを求めることができる。ここでＭＰＥＧ２ ＴＭ５における複雑さ（Complexity）のパラメータＸが次式により表されることにより、量子化スケールＱと符号量Ｒとの間には、（３５）式の関係式が成立する。

なおここでαは、量子化装置８における量子化の特性（Rate-Quantization 特性）を決めるパラメータである。ここでαが固定値であると仮定すると、（３２）式は、次式により表すことができ、これを解いて（３７）式を得ることができる。

ここでこの（３７）式は、ＭＰＥＧ２ ＴＭ５による符号量割当を一般化した解であり、各ピクチャタイプにおける量子化の特性が一定であると仮定して、次式と置けば、（２１）式の関係式を導き出すことができる。これによりＴＭ５によるレート制御においては、比率Ｋ_p及びＫ_bをそれぞれ値１．０及び値１．４による固定値に設定しているものの、フィードフォワード制御により複雑さ（Complexity）のパラメータＸを前もって検出することにより、さらに一段と適切に、符号量を割り当てることが可能となる。

このような符号化装置に関しては、例えば特開２００４−５６８２７号公報等に復号化処理等の利便を図る工夫が種々に提案されるようになされている。

ところでこのような符号化装置１においては、各種の記録装置に適用してベースバンドにより入力される画像データだけでなく、ネットワークメディア、パッケージメディアによる画像データを処理する場合も考えられる。しかしてこのようなネットワークメディア、パッケージメディアによる画像データにおいては、ＭＰＥＧ２等によりデータ圧縮されていることにより、このような画像データを処理する場合、符号化装置は、これらデータ圧縮された画像データを復号化する復号化装置と共に、データ圧縮フォーマットを変換する画像変換装置として機能することになる。

しかしてこのように復号化装置と共に画像変換装置として機能するように構成する場合にあっては、当然のことながら、全体構成を簡略化することが望まれる。
特開２００４−５６８２７号公報

本発明は以上の点を考慮してなされたもので、復号化装置と共に画像変換装置として機能するように符号化装置を構成するような場合に、全体構成を簡略化することができる符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体を提案しようとするものである。

かかる課題を解決するため請求項１の発明においては、画像データをイントラ符号化、インター符号化により符号化処理する符号化装置において、画像データを直交変換処理、量子化処理、可変長符号化処理して生成された符号化データを入力して、前記画像データを復号化する復号化手段と、複数のイントラ予測モードと複数のインター予測モードとから最適な予測モードを選択し、該選択した予測モードによる予測値を画像データから減算して差分データを生成し、前記差分データを直交変換処理、量子化処理、可変長符号化処理する符号化手段と、前記符号化手段による符号化処理に対して少なくとも１ＧＯＰ分だけ先行して、符号化手段に入力される画像データを用いたイントラ予測により、レート制御用にイントラ予測における最適な予測モードを選択し、対応する前記差分データの大きさを示すレート制御用のイントラ予測の変数を検出するイントラ予測手段と、前記符号化手段による符号化処理に対して少なくとも１ＧＯＰ分だけ先行して、前記符号化手段に入力される画像データを用いたインター予測により、レート制御用にインター予測における最適な予測モードを選択し、対応する前記差分データの大きさを示すレート制御用のインター予測の変数を検出するインター予測手段と、前記レート制御用のイントラ予測の変数と前記レート制御用のインター予測の変数との比較により、ピクチャ単位で、レート制御用にイントラ予測及びインター予測における最適な予測モードを検出し、対応する前記差分データの大きさを示す第１の変数を算出する第１の変数算出手段と、前記符号化データにおける前記量子化処理の量子化スケールと、前記符号化データにおけるデータ量との乗算値を前記復号化手段より出力される画像データのピクチャ単位で検出して第２の変数を算出する第２の変数算出手段と、レート制御の変数により１ＧＯＰに割り振るデータ量を各ピクチャに分配して各ピクチャの目標符号量を計算し、前記目標符号量により前記符号化手段による符号化処理をレート制御するレート制御手段とを備え、前記符号化手段は、前記復号化手段から出力される画像データ又は所定のアナログディジタル変換回路で生成された画像データを選択的に入力して処理し、前記レート制御手段は、前記符号化手段で処理する画像データに応じて前記レート制御の変数の生成方法を切り換え、前記所定のアナログディジタル変換回路で生成された画像データを前記符号化手段で処理する場合、前記第１の変数を前記レート制御の変数に適用してレート制御し、前記復号化手段から出力される画像データを前記符号化手段で処理する場合、前記第２の変数を前記レート制御の変数に適用してレート制御する。ここで前記複数のイントラ予測モード及び前記複数のインター予測モードが、大きさの異なる２種類以上のブロックにおいて、各ブロック単位でそれぞれ複数の手法により前記予測値を生成する予測モードであり、前記イントラ予測手段は、前記２種類以上のブロックのうちで最も大きさの小さいブロックに係る前記予測モードについて、レート制御用に最適な予測モードを選択して前記レート制御用のイントラ予測の変数を検出し、前記インター予測手段は、前記２種類以上のブロックのうちで最も大きさの大きいブロックに係る前記予測モードについて、レート制御用に最適な予測モードを選択して前記レート制御用のインター予測の変数を検出する。

また請求項７の発明においては、画像データをイントラ符号化、インター符号化により符号化処理する符号化方法において、画像データを直交変換処理、量子化処理、可変長符号化処理して生成された符号化データを入力して、前記画像データを復号化する復号化ステップと、複数のイントラ予測モードと複数のインター予測モードとから最適な予測モードを選択し、該選択した予測モードによる予測値を画像データから減算して差分データを生成し、前記差分データを直交変換処理、量子化処理、可変長符号化処理する符号化ステップと、前記符号化ステップによる符号化処理に対して少なくとも１ＧＯＰ分だけ先行して前記符号化ステップで処理する画像データを用いたイントラ予測により、レート制御用にイントラ予測における最適な予測モードを選択し、対応する前記差分データの大きさを示すレート制御用のイントラ予測の変数を検出するイントラ予測のステップと、前記符号化ステップによる符号化処理に対して少なくとも１ＧＯＰ分だけ先行して前記符号化ステップで処理する画像データを用いたインター予測により、レート制御用にインター予測における最適な予測モードを選択し、対応する前記差分データの大きさを示すレート制御用のインター予測の変数を検出するインター予測のステップと、前記レート制御用のイントラ予測の変数と前記レート制御用のインター予測の変数との比較により、ピクチャ単位で、レート制御用にイントラ予測及びインター予測における最適な予測モードを検出し、対応する前記差分データの大きさを示す第１の変数を算出する第１の変数算出ステップと、前記符号化データにおける前記量子化処理の量子化スケールと、前記符号化データにおけるデータ量との乗算値を前記復号化ステップより出力される画像データのピクチャ単位で検出して第２の変数を算出する第２の変数算出ステップと、レート制御の変数により１ＧＯＰに割り振るデータ量を各ピクチャに分配して各ピクチャの目標符号量を計算し、前記目標符号量により前記符号化ステップによる符号化処理をレート制御するレート制御のステップとを備え、前記符号化ステップは、前記復号化ステップから出力される画像データ又は所定のアナログディジタル変換回路で生成された画像データを選択的に入力して処理し、前記レート制御ステップは、前記符号化ステップで処理する画像データに応じて前記レート制御の変数の生成方法を切り換え、前記所定のアナログディジタル変換回路で生成された画像データを前記符号化ステップで処理する場合、前記第１の変数を前記レート制御の変数に適用してレート制御し、前記復号化ステップから出力される画像データを前記符号化ステップで処理する場合、前記第２の変数を前記レート制御の変数に適用してレート制御する。ここで前記複数のイントラ予測モード及び前記複数のインター予測モードが、大きさの異なる２種類以上のブロックにおいて、各ブロック単位でそれぞれ複数の手法により前記予測値を生成する予測モードであり、前記イントラ予測ステップは、前記２種類以上のブロックのうちで最も大きさの小さいブロックに係る前記予測モードについて、レート制御用に最適な予測モードを選択して前記レート制御用のイントラ予測の変数を検出し、前記インター予測ステップは、前記２種類以上のブロックのうちで最も大きさの大きいブロックに係る前記予測モードについて、レート制御用に最適な予測モードを選択して前記レート制御用のインター予測の変数を検出する。

また請求項８の発明においては、演算処理手段により実行して符号化手段の動作を制御する符号化方法のプログラムに適用して、前記符号化手段は、複数のイントラ予測モードと複数のインター予測モードとから最適な予測モードを選択し、該選択した予測モードによる予測値を画像データから減算して差分データを生成し、前記差分データを直交変換処理、量子化処理、可変長符号化処理することにより、前記画像データをイントラ符号化、インター符号化により符号化処理し、前記符号化方法のプログラムは、画像データを直交変換処理、量子化処理、可変長符号化処理して生成された符号化データを入力して、前記画像データを復号化する復号化ステップと、前記符号化手段による符号化処理に対して少なくとも１ＧＯＰ分だけ先行して前記符号化手段で処理する画像データを用いたイントラ予測により、レート制御用にイントラ予測における最適な予測モードを選択し、対応する前記差分データの大きさを示すレート制御用のイントラ予測の変数を検出するイントラ予測のステップと、前記符号化手段による符号化処理に対して少なくとも１ＧＯＰ分だけ先行して前記符号化手段で処理する画像データを用いたインター予測により、レート制御用にインター予測における最適な予測モードを選択し、対応する前記差分データの大きさを示すレート制御用のインター予測の変数を検出するインター予測のステップと、前記レート制御用のイントラ予測の変数と前記レート制御用のインター予測の変数との比較により、ピクチャ単位で、レート制御用にイントラ予測及びインター予測における最適な予測モードを検出し、対応する前記差分データの大きさを示す第１の変数を算出する第１の変数算出ステップと、前記符号化データにおける前記量子化処理の量子化スケールと、前記符号化データにおけるデータ量との乗算値を前記復号化ステップより出力される画像データのピクチャ単位で検出して第２の変数を算出する第２の変数算出ステップと、レート制御の変数により１ＧＯＰに割り振るデータ量を各ピクチャに分配して各ピクチャの目標符号量を計算し、前記目標符号量により前記符号化手段による符号化処理をレート制御するレート制御のステップとを備え、前記符号化手段は、前記復号化ステップから出力される画像データ又は所定のアナログディジタル変換回路で生成された画像データを選択的に入力して処理し、前記レート制御ステップは、前記符号化手段で処理する画像データに応じて前記レート制御の変数の生成方法を切り換え、前記所定のアナログディジタル変換回路で生成された画像データを前記符号化手段で処理する場合、前記第１の変数を前記レート制御の変数に適用してレート制御し、前記復号化ステップから出力される画像データを前記符号化手段で処理する場合、前記第２の変数を前記レート制御の変数に適用してレート制御する。ここで前記複数のイントラ予測モード及び前記複数のインター予測モードが、大きさの異なる２種類以上のブロックにおいて、各ブロック単位でそれぞれ複数の手法により前記予測値を生成する予測モードであり、前記イントラ予測ステップは、前記２種類以上のブロックのうちで最も大きさの小さいブロックに係る前記予測モードについて、レート制御用に最適な予測モードを選択して前記レート制御用のイントラ予測の変数を検出し、前記インター予測ステップは、前記２種類以上のブロックのうちで最も大きさの大きいブロックに係る前記予測モードについて、レート制御用に最適な予測モードを選択して前記レート制御用のインター予測の変数を検出する。

また請求項９の発明においては、演算処理手段により実行して符号化手段の動作を制御する符号化方法のプログラムを記録した記録媒体に適用して、前記符号化手段は、複数のイントラ予測モードと複数のインター予測モードとから最適な予測モードを選択し、該選択した予測モードによる予測値を画像データから減算して差分データを生成し、前記差分データを直交変換処理、量子化処理、可変長符号化処理することにより、前記画像データをイントラ符号化、インター符号化により符号化処理し、前記符号化方法のプログラムは、画像データを直交変換処理、量子化処理、可変長符号化処理して生成された符号化データを入力して、前記画像データを復号化する復号化ステップと、前記符号化手段による符号化処理に対して少なくとも１ＧＯＰ分だけ先行して前記符号化手段で処理する画像データを用いたイントラ予測により、レート制御用にイントラ予測における最適な予測モードを選択し、対応する前記差分データの大きさを示すレート制御用のイントラ予測の変数を検出するイントラ予測のステップと、前記符号化手段による符号化処理に対して少なくとも１ＧＯＰ分だけ先行して前記符号化手段で処理する画像データを用いたインター予測により、レート制御用にインター予測における最適な予測モードを選択し、対応する前記差分データの大きさを示すレート制御用のインター予測の変数を検出するインター予測のステップと、前記レート制御用のイントラ予測の変数と前記レート制御用のインター予測の変数との比較により、ピクチャ単位で、レート制御用にイントラ予測及びインター予測における最適な予測モードを検出し、対応する前記差分データの大きさを示す第１の変数を算出する第１の変数算出ステップと、前記符号化データにおける前記量子化処理の量子化スケールと、前記符号化データにおけるデータ量との乗算値を前記復号化ステップより出力される画像データのピクチャ単位で検出して第２の変数を算出する第２の変数算出ステップと、レート制御の変数により１ＧＯＰに割り振るデータ量を各ピクチャに分配して各ピクチャの目標符号量を計算し、前記目標符号量により前記符号化手段による符号化処理をレート制御するレート制御のステップとを備え、前記符号化手段は、前記復号化ステップから出力される画像データ又は所定のアナログディジタル変換回路で生成された画像データを選択的に入力して処理し、前記レート制御ステップは、前記符号化手段で処理する画像データに応じて前記レート制御の変数の生成方法を切り換え、前記所定のアナログディジタル変換回路で生成された画像データを前記符号化手段で処理する場合、前記第１の変数を前記レート制御の変数に適用してレート制御し、前記復号化ステップから出力される画像データを前記符号化手段で処理する場合、前記第２の変数を前記レート制御の変数に適用してレート制御する。ここで前記複数のイントラ予測モード及び前記複数のインター予測モードが、大きさの異なる２種類以上のブロックにおいて、各ブロック単位でそれぞれ複数の手法により前記予測値を生成する予測モードであり、前記イントラ予測ステップは、前記２種類以上のブロックのうちで最も大きさの小さいブロックに係る前記予測モードについて、レート制御用に最適な予測モードを選択して前記レート制御用のイントラ予測の変数を検出し、前記インター予測ステップは、前記２種類以上のブロックのうちで最も大きさの大きいブロックに係る前記予測モードについて、レート制御用に最適な予測モードを選択して前記レート制御用のインター予測の変数を検出する。

請求項１、請求項１１、請求項１２、又は請求項１３の構成によれば、復号化装置と共に画像変換装置として機能するように符号化装置を構成する場合には、差分データの大きさを示す第１の変数に代えて、処理対象の符号化データより得られる各ピクチャの量子化スケールと符号量との乗算値による第２の変数を使用して、復号化処理で検出される各種の情報を有効に利用してレート制御することができ、構成を簡略化して画像変換装置としての機能を確保することができる。

本発明によれば、復号化装置と共に画像変換装置として機能するように符号化装置を構成する場合に、全体構成を簡略化することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図１は、本発明の実施例に係る符号化装置を示すブロック図である。この符号化装置４１においては、例えばＤＶＤプレイヤー等より再生されるＭＰＥＧ２によるデータ圧縮された符号化データＤＭＰＥＧ、テレビジョンチュナーから出力されるアナログ信号によるビデオ信号Ｓ１を光ディスク等の記録媒体に記録する記録再生装置に適用され、これら符号化データＤＭＰＥＧ、ビデオ信号Ｓ１をＡＶＣによりデータ圧縮して符号化データＤ４を出力する。

この符号化装置４１において、Ａ／Ｄ変換装置（Ａ／Ｄ）４２は、ビデオ信号Ｓ１をアナログディジタル変換処理し、画像データＤ１１を出力する。

復号化装置４３は、ＭＰＥＧ２による符号化データＤＭＰＥＧを入力し、この符号化データＤＭＰＥＧを復号化処理してベースバンドによる画像データＤ１２を出力する。この処理において、復号化装置４３は、この符号化データＤＭＰＥＧの各ヘッダに設定されてなる制御コードにより検出される量子化スケールｑ、発生符号量ｂをComplexity算出装置４４に通知する。

Complexity算出装置４４は、この復号化装置４３からの通知により、符号化データＤＭＰＥＧにおける各フレームの平均量子化スケールＱを計算し、また各フレームの発生符号量Ｂを計算する。またこれら平均量子化スケールＱ、発生符号量Ｂを用いて次式の演算処理を実行し、これにより符号化データＤＭＰＥＧを復号化処理して得られる画像データＤ１２について、ＡＶＣによる符号化処理の困難度を示す複雑さ（Complexity）のパラメータＸを計算し、この複雑さ（Complexity）のパラメータＸを符号化部４５に通知する。

ビデオメモリ４６は、図示しないコントローラの制御によりＡ／Ｄ変換装置４２から出力される画像データＤ１１、又は復号化装置４３から出力される画像データＤ１２を選択的に入力して一定期間保持し、保持した画像データを符号化部４５に出力する。この処理において、ビデオメモリ４６は、この復号化装置４３への画像データ出力より少なくとも１ＧＯＰ相当の期間だけ先行して、保持した画像データをイントラ予測装置４７、インター予測装置４８に出力し、これにより復号化装置４３における符号化処理に先立って、イントラ予測装置４７、インター予測装置４８により１ＧＯＰ分の画像データを処理できるようにする。なおここでこのビデオメモリ４６に入力して符号化部４５に出力する画像データが復号化装置４３から出力される画像データＤ１２の場合、この先行した出力に係る１ＧＯＰの期間にあっては、画像データＤ１２に係る符号化データＤＭＰＥＧの１ＧＯＰの期間に設定される。

イントラ予測装置４７は、このビデオメモリ４６から入力される画像データをイントラ予測する。ここで本来のイントラ予測においては、復号化処理された参照画像情報を基準にして実行されるが、イントラ予測装置４７は、復号化処理された参照画像情報に代えて、原画像の画像情報を用いてイントラ予測の処理を実行する。また本来のイントラ予測においては、イントラ４×４予測モードとイントラ１６×１６予測モードとで最適な予測モードを選択するようになされているが、このイントラ予測装置４７においては、イントラ４×４予測モードのみにより最適な予測モードを選択する。

すなわちここで順次入力される画像データにおける４×４画素によるブロックについて、このブロックを構成する原画像による画像データの画素値を次式により表す。

イントラ予測装置４７は、復号化処理された画像データに代えて、このブロックの周辺画素を用いた図８（Ａ）〜（Ｉ）について説明した演算処理により、次式により表される予測値を計算する。但し、Mode＝０，……８である。

さらにこれら原画像による画像データの画素値と予測値により次式の演算処理を実行し、これにより各モード毎に、イントラ符号化時、各ブロックで発生する差分データＤ２（図３参照）の絶対値和ＳＡＤ（ｍｏｄｅ）を計算する。イントラ予測装置４７は、これら各モード毎の絶対値和ＳＡＤ（ｍｏｄｅ）より最小値を計算し、この最小値に係るモードの検出によりイントラ４×４予測モードにおける最適モードを検出する。なおこれらの演算処理において、いわゆる碁の目サンプリングの手法を適用して、例えば奇数ライン及び偶数ラインでそれぞれ奇数番目及び偶数番目のサンプリング点についてのみ演算処理し、その分、演算量を削減するようにしてもよい。

イントラ予測装置４７は、１６×１６画素のブロックによりマクロブロックを構成する４×４画素のブロックの全てについて、この演算処理を繰り返してそれぞれ最適モードを検出し、これらの最適モードに係る（４１）式の演算結果ＳＡＤ（ｍｏｄｅ）（ＳＡＤ（Block, Best Mode（Block ））を用いて次式の演算処理を実行し、最適モードに係る差分データＤ２の絶対値和ＳＡＤ（ｍｏｄｅ）を加算する。これによりイントラ予測装置４７は、４×４予測モードより計算した残差の大きさを示す変数を集計して１６×１６画素のマクロブロックにおける残差の大きさを示す変数ＩｎｔｒａＳＡＤを生成し、この変数ＩｎｔｒａＳＡＤをDifficulty算出装置４９に出力する。

これに対してインター予測装置４８は、ビデオメモリ４６から入力される画像データをインター予測する。ここで本来、インター予測においては、復号化処理された参照画像情報を基準にして実行されるが、インター予測装置４８は、復号化処理された参照画像情報に代えて、原画像の画像情報を用いてインター予測の処理を実行する。またサブマクロブロックに係る動きベクトル検出、動き補償については処理を省略し、これにより１６×１６画素によるマクロブロックについてのみ、参照フレーム、動きベクトルを検出してインター予測の処理を実行する。また１画素精度により動きを検出する。

すなわち順次入力される画像データにおける１６×１６画素によるブロックについて、インター予測装置４８は、次式の演算処理を各参照フレーム毎に実行する。但し、参照フレームのフレーム番号Ｒｅｆは、０≦Ｒｅｆ≦Ｎ−１である。

インター予測装置４８は、この演算結果より参照フレーム毎に最小値を検出し、この最小値により各参照フレームに係る１６×１６動きベクトルｍｖ１６×１６（Ｒｅｆ）を検出する。なおこれらの演算処理においては、階層動き探索により各参照フレームに対して１６×１６動きベクトルを検出するようにしてもよく、碁の目サンプリングにより処理して演算量を削減するようにしてもよい。因みに、階層動き探索による動きベクトルの検出においては、例えば４画素ピッチにより動きベクトルを検出し、この検出した動きベクトルにより動きベクトル検出範囲を狭い範囲に設定し直して動きベクトルを検出し直し、これらの処理を順次繰り返すことにより実行される。なおここで１６×１６動きベクトルｍｖ１６×１６は、水平方向及び垂直方向に±８画素の動きベクトル探索範囲で検出される１画素精度による動きベクトルである。

またこのような各参照フレームに係る１６×１６動きベクトルｍｖ１６×１６（Ｒｅｆ）による（４３）式の演算結果ＳＡＤ（mv16x16(Ref)）により次式の演算処理を実行することにより、最適な参照フレーム、この最適な参照フレームに係る動きベクトルによりイントラ符号化処理した場合の残差の大きさを示す変数ＩｎｔｅｒＳＡＤを計算し、この変数ＩｎｔｅｒＳＡＤをDifficulty算出装置４９に出力する。

Difficulty算出装置４９は、イントラ予測装置４７、インター予測装置４８から通知される変数ＩｎｔｒａＳＡＤ、ＩｎｔｅｒＳＡＤにより次式の演算処理を実行し、これにより値の小さい側の変数を選択する。しかしてこの選択された変数の側が、この場合、最適な符号化方式である。なおDifficulty算出装置４９は、符号化部４５の符号化処理に係るＧＯＰ構造により、予測対象のピクチャがＰピクチャ、Ｂピクチャの場合、次式の演算処理を実行し、予測対象のピクチャがＩピクチャの場合、次式の演算処理を中止してイントラ予測装置４７から出力される変数ＩｎｔｒａＳＡＤを変数ＢＤ（ｍ）に割り当てる。

Difficulty算出装置４９は、マクロブロック毎に変数ＢＤ（ｍ）を検出して、さらに次式の演算処理を実行することにより、変数ＢＤ（ｍ）をピクチャ毎に集計する。なおここでΩは、１つのピクチャに含まれるマクロブロック全体の集合である。

これによりDifficulty算出装置４９は、ビデオメモリ４６から出力される画像データＤ１について、ＡＶＣによる符号化処理の困難度を示す困難度（Difficulty）のパラメータＸを計算し、この困難度（Difficulty）のパラメータＸを符号化部４５に通知する。しかしてComplexity算出装置４４で計算される複雑さ（Complexity）のパラメータＸにあっては、各フレームの平均量子化スケールＱと発生符号量Ｂとの乗算値により形成され、いわば符号化データＤ４を生成する符号化処理で実際に検出される符号化処理の困難度を示す情報であるのに対し、このDifficulty算出装置４９により複雑さ（Complexity）のパラメータＸにあっては、ＡＶＣにより符号化する際に発生する差分データの絶対値和であり、ＡＶＣにより符号化する際に予測される符号化処理の困難度を示す情報であると言える。

符号化部４５は、これらComplexity算出装置４４、Difficulty算出装置４９から出力されるパラメータＸによりレート制御装置４５Ａでレート制御の処理を実行して、ビデオメモリ４６から出力される画像データＤ１をＡＶＣにより符号化処理して出力する。

ここで符号化部４５は、アナログディジタル変換装置２が省略されて、ビデオメモリ４６から出力される画像データＤ１が並べ替えバッファ３に直接入力される点、レート制御装置９に代えてレート制御装置４５Ａが適用される点、順次入力される画像データＤ１が符号化データＤＭＰＥＧによるものの場合、この符号化データＤＭＰＥＧにおけるＩ、Ｐ、Ｂピクチャの設定に対応してＩ、Ｐ、Ｂピクチャを設定して画像データＤ１を符号化処理する点を除いて、図３について上述した符号化装置１と同一に構成される。これにより符号化部４５は、順次入力される画像データＤ１をＡＶＣによりインター符号化、イントラ符号化して符号化データＤ４を出力するようになされている。

レート制御装置４５Ａは、符号化対象の画像データＤ１がビデオ信号Ｓ１によるものの場合、Difficulty算出装置４９から出力されるパラメータＸを用いて、また符号化対象の画像データＤ１が符号化データＤＭＰＥＧによるものの場合、Complexity算出装置４４から出力されるパラメータＸを用いて、次式の演算処理を実行することにより、各ピクチャへの符号割り当て量Ｒ_iを計算する。なおここでＲは、未符号化フレーム（０≦ｉ≦Ｎ−１）全体への符号割り当て量である。

しかしてレート制御装置４５Ａは、この符号割り当て量Ｒ_iに係る初期値を各ＧＯＰの先頭で計算し、１フレーム符号化が終了する毎に、蓄積バッファ１１のデータ量より実際の発生符号量を検出して未符号化フレーム全体への符号割り当て量Ｒを補正し、続くフレームへの符号割り当て量Ｒｉを計算し、これらの処理を各ＧＯＰで繰り返す。また各フレーム内においては、各フレームへの符号割り当て量より検出される各マクロブロックへの符号割り当て量を、実際に発生した符号量により逐次補正し、これらにより検出される符号割り当て量により量子化装置８の量子化スケールを設定する。またこれらの処理において、アクティビティにより量子化装置８の量子化スケールを補正する。

図２は、このようなレート制御装置４５Ａのレート制御に係る処理手順をComplexity算出装置４４、Difficulty算出装置４９の関連する処理と共に示すフローチャートである。すなわちレート制御装置４５Ａは、この処理手順を開始すると、ステップＳＰ１１からステップＳＰ１２に移り、処理対象の画像データＤ１がアナログ信号によるビデオ信号Ｓ１によるものか否か判断する。ここで肯定結果が得られると、レート制御装置４５Ａは、ステップＳＰ１３に移り、Difficulty算出装置４９からパラメータＸを取得する。

しかしてこのステップＳＰ１３においては、ステップＳＰ１３−１において、Difficulty算出装置４９でパラメータＸが値０に初期化された後、ステップＳＰ１３−２及び１３−３において、それぞれイントラ予測装置４７、インター予測装置４８で変数ＩｎｔｒａＳＡＤ、ＩｎｔｅｒＳＡＤが計算され、続くステップＳＰ１３−４において、Difficulty算出装置４９でこれら変数ＩｎｔｒａＳＡＤ、ＩｎｔｅｒＳＡＤが比較される。

ここでイントラ予測装置４７による変数ＩｎｔｒａＳＡＤの値が小さい場合、ステップＳＰ１３−５において、このイントラ予測装置４７による変数ＩｎｔｒａＳＡＤが選択されるのに対し、インター予測装置４８による変数ＩｎｔｅｒＳＡＤの値が小さい場合、ステップＳＰ１３−６において、このインター予測装置４８による変数ＩｎｔｅｒＳＡＤが選択される。これにより１つのマクロブロックについて、変数ＳＡＤがDifficulty算出装置４９で検出され、この処理を１フレーム分、繰り返して、ステップＳＰ１３−７において累積加算することにより、ＧＯＰを構成する１フレームについてパラメータＸが検出される。またこのパラメータＸの検出が１ＧＯＰ分、繰り返される。

これにより１ＧＯＰ分のパラメータＸをDifficulty算出装置４９から取得すると、レート制御装置４５Ａは、ステップＳＰ１３からステップＳＰ１４に移り、（４８）式の演算処理により１つのピクチャへの符号割り当て量を計算する。また続くステップＳＰ１５において、図１５のステップＳＰ３について上述したと同様にして量子化装置８の量子化スケールを決定する。また続くステップＳＰ１６において、図１５のステップＳＰ４について上述したと同様にして、アクティビティにより量子化装置８の量子化スケールを補正し、ステップＳＰ１７に移ってこの処理手順を終了する。しかしてレート制御装置４５Ａは、この処理手順をＧＯＰ単位で繰り返してレート制御の処理を実行する。

これに対してステップＳＰ１２で否定結果が得られると、この場合、レート制御装置４５Ａは、ステップＳＰ１２からステップＳＰ１８に移り、Complexity算出装置４４から１ＧＯＰ分のパラメータＸを取得し、続くステップＳＰ１４において、このComplexity算出装置４４から取得したパラメータＸにより符号割り当て量を計算してレート制御の処理を実行する。しかしてこのステップＳＰ１８においては、Complexity算出装置４４において、ピクチャ単位で変数Ｘの計算を繰り返すようになされている。

（２）実施例の動作
以上の構成において、この符号化装置４１（図１）においては、アナログ信号によるビデオ信号Ｓ１を符号化処理する場合、このビデオ信号Ｓ１がアナログディジタル変換装置４２により画像データＤ１に変換された後、ビデオメモリ４６を介して符号化部４５に入力される。画像データＤ１は（図３参照）、この符号化部４５において、画面並べ替えバッファ３により符号化処理に係るＧＯＰ構造によりフレームの順序が並べ替えられた後、イントラ予測装置５、動き予測・補償装置６に入力され、ここで各ピクチャに応じて、複数のイントラ予測モードと複数のインター予測モードとから最適な予測モードが選択され、この選択された予測モードによる予測値が減算器４で画像データＤ１から減算されて差分データＤ２が生成される。画像データＤ１は、これにより連続するフレーム間、水平方向、垂直方向の相関を有効に利用してデータ量が低減され、このデータ量が低減されてなる差分データＤ２が直交変換処理、量子化処理、可変長符号化処理されてさらにデータ量が低減されて符号化データＤ４が生成される。これによりビデオ信号Ｓ１においては、イントラ符号化、インター符号化により符号化処理されて記録媒体に記録される。

これら一連の処理において、画像データＤ１は、このような符号化部４５における処理に対して、少なくとも１ＧＯＰ分だけ先行してイントラ予測装置４７、インター予測装置４８に入力され（図１）、ここでそれぞれイントラ予測、インター予測に係る最適な予測モードが選択され、この最適な予測モードで発生する差分データＤ２の大きさを示す変数ＩｎｔｒａＳＡＤ、ＩｎｔｅｒＳＡＤが差分データＤ２の絶対値和により計算される。またこれらの変数ＩｎｔｒａＳＡＤ、ＩｎｔｅｒＳＡＤのDifficulty算出装置４９における比較により、これらイントラ予測とインター予測とによる最適な予測モードが検出され、この最適な予測モードにおいて発生する差分データＤ２の大きさを示す変数ＢＤ（ｍ）が検出される。

画像データＤ１は、この変数ＢＤ（ｍ）がピクチャ単位により計算されて変数Ｘが生成され、レート制御装置４５Ａにおいて、この変数Ｘにより１ＧＯＰに割り振るデータ量が各ピクチャに分配されて各ピクチャの目標符号量が計算され、この目標符号量によりレート制御の処理が実行される。

これにより画像データＤ１は、１ＧＯＰだけ先行して検出される変数Ｘによるフィードフォワード制御によりレート制御されて符号化処理され、その分、各ピクチャに適切に符号量を配分して符号化処理することができ、高い画質により符号化処理することができる。

またこのように差分データＤ２の大きさを示すピクチャ単位の変数Ｘにより１ＧＯＰに割り振るデータ量を分配して各ピクチャの目標符号量を計算し、この目標符号量によりレート制御の処理を実行することにより、復号化手段と一体化して、同様の符号化方法により符号化処理された符号化データのフォーマットを変換する場合にあっても、この符号化データの情報を有効に利用してレート制御することができ、その分、全体構成を簡略化することができる。

すなわち符号化装置４１において、ＭＰＥＧ２による符号化データＤＭＰＥＧをＡＶＣによる符号化データＤ４にフォーマット変換する場合、ＭＰＥＧ２による符号化データＤＭＰＥＧは、復号化装置４３により復号化処理されて画像データＤ１２に変換された後、この画像データＤ１２が符号化部４５に入力されてＡＶＣによる符号化データＤ４に符号化処理される。

この一連の処理において、符号化データＤＭＰＥＧは、量子化スケールｑ、データ量ｂが各マクロブロック毎に検出され、この検出結果がComplexity算出装置４４で集計され、フレーム単位で、平均量子化スケールＱとデータ量Ｂとの乗算値Ｘが検出される。ここでこの乗算値Ｘにおいては、符号化処理に係る複雑さを示し、これにより符号化データＤＭＰＥＧによる画像データＤ１２を符号化処理する場合、符号化装置４１では、Difficulty算出装置４９から出力される変数Ｘに代えて、このComplexity算出装置４４から出力される変数Ｘが使用されて、１ＧＯＰに割り振るデータ量が各ピクチャに分配されて各ピクチャの目標符号量が計算され、この目標符号量によりレート制御の処理が実行される。

これにより符号化データＤＭＰＥＧにおいて、符号化装置４１では、復号化処理で検出される各種の情報を有効に利用してレート制御することができ、これにより構成を簡略化して画像変換装置としての機能を確保することができる。

またこの場合も、結局、過去のＭＰＥＧ２による符号化結果を利用してレート制御していることにより、フィードフォワード制御によるレート制御により画像データＤ１２を符号化処理することができ、その分、画像データＤ１２をイントラ予測、インター予測してフィードバック制御によりレート制御する場合に比して、各ピクチャに適切に符号量を配分して符号化処理することができ、高い画質により符号化処理することができる。

しかしてこのようにしてイントラ予測装置４７、インター予測装置４８を用いて変数Ｘを検出するようにして、符号化装置４１では、これらイントラ予測装置４７、インター予測装置４８におけるイントラ予測、インター予測が、符号化部４５におけるイントラ予測、インター予測に比して格段的に簡易な構成により実行され、これによっても全体として簡易な構成により画像データＤ１を符号化処理できるようになされている。

すなわち符号化部４５のイントラ予測に係るイントラ予測モードが、大きさの異なる２種類以上のブロックにおいて、各ブロック単位でそれぞれ複数の手法により差分データＤ２の生成に供する予測値を生成する予測モードであるのに対し、イントラ予測装置４７においては、これら２種類以上のブロックのうちで最も大きさの小さいブロックに係る予測モードについて、最適な予測モードを選択してイントラ予測の変数ＩｎｔｒａＳＡＤを検出することにより、簡易な処理により実用上十分な精度により最適な予測モードを検出してイントラ予測の変数ＩｎｔｒａＳＡＤを検出することができるようになされている。

具体的に、符号化装置４１ではこの２種類以上のブロックが、４画素×４画素及び１６画素×１６画素のブロックであることにより、イントラ予測装置４７においては、４画素×４画素のブロックによる４×４予測モードについてのみ、画像データを処理し、これにより処理を簡略化することができるようになされている。

また符号化部４５のイントラ予測に係る処理が、出力データを復号化した画像データを基準にして、最適な予測モードを選択する処理であるのに対し、イントラ予測装置４７においては、ビデオメモリ４６から１ＧＯＰ分だけ先行して出力される、いわゆる原画像に係る画像データＤ１を基準にして最適な予測モードを選択することにより、フィードフォワード制御によりレート制御するように構成して、復号化手段、この復号化手段により復号化結果を保持するメモリ等の構成を省略し得、実用上十分な精度を確保して全体構成を簡略化することができる。

また符号化部４５のインター予測に係るインター予測モードにおいても、大きさの異なる２種類以上のブロックにおいて、各ブロック単位でそれぞれ複数の手法により差分データＤ２の生成に供する予測値を生成する予測モードであるのに対し、インター予測装置４８においては、これら２種類以上のブロックのうちで最も大きさの大きいブロックに係る予測モードについて、最適な予測モードを選択してインター予測の変数ＩｎｔｅｒＳＡＤを検出し、これによっても簡易な処理により実用上十分な精度により最適な予測モードを検出してインター予測の変数ＩｎｔｅｒＳＡＤを検出することができるようになされている。

具体的に、符号化装置４１ではこの２種類以上のブロックが、４画素×４画素、４画素×８画素、８画素×４画素、８画素×８画素、８画素×１６画素及び１６画素×８画素によるサブマクロブロックと、１６画素×１６画素のブロックであるマクロブロックであることにより、インター予測装置４８においては、１６画素×１６画素のマクロブロックについてのみ、画像データを処理し、これにより処理を簡略化することができるようになされている。

またこのようにして大きさの異なるブロックによりイントラ予測装置４７及びインター予測装置４８により変数を検出するようにして、イントラ予測装置４７において、イントラ予測の変数を、インター予測装置４８に係るブロックの大きさに対応するように集計して出力することにより、このように構成の簡略化を目的に処理に係るブロックの大きさを異ならせるようにして、対応する変数により最適な予測モードを検出することができる。

また符号化部４５のインター予測に係るインター予測モードにおいては、複数の参照フレームよりそれぞれ１画素より小さな１／４画素精度で動きベクトルを検出することにより実行されるのに対し、インター予測装置４８おいては、１画素精度により動きベクトルを検出するようになされ、これによっても簡易な処理により実用上十分な精度で最適な予測モードを検出してインター予測の変数ＩｎｔｅｒＳＡＤを検出することができるようになされている。

（３）実施例の効果
以上の構成によれば、符号化の処理に先行してイントラ予測及びインター予測に係る最適な予測モードを検出すると共に、この検出した最適な予測モードによる差分データの大きさを示す変数を検出し、この変数により各ピクチャの目標符号量を設定することにより、復号化装置と共に画像変換装置として機能するように符号化装置を構成するような場合に、全体構成を簡略化することができる。

すなわち画像データを直交変換処理、量子化処理、可変長符号化処理して生成された符号化データＤＭＰＥＧを処理する場合に、この符号化データＤＭＰＥＧの量子化スケール、データ量の乗算値Ｘを用いて１ＧＯＰに割り振るデータ量を各ピクチャに分配してレート制御の処理を実行することにより、構成を簡略化して画像変換装置としての機能を確保することができる。

また符号化処理に係る複数のイントラ予測モードが、大きさの異なる２種類以上のブロックにおいて、各ブロック単位でそれぞれ複数の手法により予測値を生成する予測モードである場合に、イントラ予測手段であるイントラ予測装置４７においては、これら２種類以上のブロックのうちで最も大きさの小さいブロックに係る予測モードについて、最適な予測モードを選択してイントラ予測の変数を検出することにより、簡易な処理により実用上十分な精度により最適な予測モードを検出してイントラ予測の変数を検出することができる。

より具体的に、この２種類以上のブロックが、４画素×４画素及び１６画素×１６画素のブロックであることにより、イントラ予測手段においては、４画素×４画素のブロックによる４×４予測モードについてのみ、画像データを処理し得、これにより処理を簡略化することができる。

また符号化手段においては、復号化した画像データを基準にして、最適な予測モードを選択する場合に、イントラ予測手段では、原画像データを基準にして、最適な予測モードを選択することにより、実用上十分な精度を確保して全体構成を簡略化することができる。

また複数のインター予測モードが、大きさの異なる２種類以上のブロックにおいて、各ブロック単位でそれぞれ複数の手法により予測値を生成する予測モードであるのに対し、インター予測手段であるインター予測装置４８においては、これら２種類以上のブロックのうちで最も大きさの大きなブロックに係る予測モードについて、最適な予測モードを選択してインター予測の変数を検出することにより、簡易な処理により実用上十分な精度により最適な予測モードを検出してインター予測の変数を検出することができる。

具体的に、この２種類以上のブロックが、４画素×４画素、４画素×８画素、８画素×４画素、８画素×８画素、８画素×１６画素、１６画素×８画素及び１６画素×１６画素のブロックであることにより、インター予測手段は、１６画素×１６画素によるマクロブロックについてのみ、画像データを処理し得、これにより処理を簡略化することができる。

またイントラ予測の変数を、インター予測手段に係るブロックの大きさに対応するように集計して出力することにより、このように構成の簡略化を目的に処理に係るブロックの大きさを異ならせるようにして、対応する変数により最適な予測モードを検出することができる。

また符号化手段による複数のインター予測モードが、複数の参照フレームよりそれぞれ１画素より小さな画素精度で検出した動きベクトルにより、対応する参照フレームを動き補償して予測値を生成する予測モードであるのに対し、インター予測手段は、１画素精度により動きベクトルを検出して最適な予測モードを検出することにより、簡易な処理により実用上十分な精度で最適な予測モードを検出してインター予測の変数を検出することができる。

この実施例においては、コンピュータによる符号化処理プログラムの実行により、実施例１について上述した符号化装置４１の各ブロックに対応する機能ブロックをこのコンピュータにより構成し、このコンピュータにより符号化装置４１と同様の処理を実行する。なおこのような符号化処理プログラムにおいては、コンピュータに事前にインストールして提供する場合の他、インターネット等のネットワークを介したダウンロードにより提供するようにしてもよく、また記録媒体に記録して提供するようにしてもよい。またこのような記録媒体においては、光ディスク、光磁気ディスク等、種々の記録媒体を広く適用することができる。

この実施例のように、コンピュータによる処理プログラムの実行により、実施例１に係る符号化装置４１と同様の機能ブロックを構成して符号化処理するようにしても、実施例１と同様の効果を得ることができる。

なお上述の実施例においては、差分データの絶対値和によりイントラ予測及びインター予測に係る変数を検出する場合について述べたが、本発明はこれに限らず、差分データの絶対値和に代えて例えば差分データの二乗和を適用する場合等、必要に応じて種々のパラメータを広く適用することができる。

また上述の実施例においては、参照画像情報、動き補償に係る精度、予測モードに係るブロックの種類に関して、符号化手段におけるイントラ予測、インター予測に対して、イントラ予測手段、インター予測手段における処理を簡略化する場合について述べたが、本発明はこれに限らず、実用上十分な処理能力を確保することができる場合、符号化手段におけるイントラ予測、インター予測と同一の処理をイントラ予測手段、インター予測手段で実行するようにしてもよい。

また上述の実施例においては、アナログ信号によるビデオ信号及びＭＰＥＧ２による符号化データをＡＶＣによる符号化データに符号化処理する場合について述べたが、本発明はこれに限らず、各種の画像データ、符号化データをＡＶＣによる符号化データに符号化処理する場合、さらにはＡＶＣと同様の符号化データに符号化処理する場合に広く適用することができる。

また上述の実施例においては、本発明を記録装置に適用する場合について述べたが、本発明はこれに限らず、例えば画像データの伝送等にも広く適用することができる。

本発明は、例えば衛星放送、ケーブルテレビ、インターネット、携帯電話等による動画の伝送、光ディスク、光磁気ディスク、フラッシュメモリ等の記録媒体への動画の記録等に適用することができる。

本発明の実施例１に係る符号化装置を示すブロック図である。 図１の符号化装置におけるレート制御装置の処理手順を示すフローチャートである。 ＡＶＣ方式の符号化装置を示すブロック図である。 ＡＶＣ方式の復号化装置を示すブロック図である。 イントラ４×４予測モードに係る予測画素の説明に供する図表である。 イントラ４×４予測モードにおける予測モードの説明に供する略線図である。 イントラ４×４予測モードを示す図表である。 イントラ４×４予測モードの各モードの説明に供する略線図である。 イントラ１６×１６予測モードの予測画素の説明に供する略線図である。 イントラ１６×１６予測モードを示す図表である。 イントラ１６×１６予測モードにおける予測モードの説明に供する略線図である。 ＡＶＣ方式の参照フレームの説明に供する略線図である。 ＡＶＣ方式の動き補償の説明に供する略線図である。 ＡＶＣ方式の動き補償精度の説明に供する略線図である。 ＴＭ５によるレート制御の説明に供するフローチャートである。

符号の説明

１、４１……符号化装置、４……減算器、５、２３、４７……イントラ予測装置、６、２４……動き予測・補償装置、７……直交変換装置、８……量子化装置、１０……可逆符号化装置、９、４５Ａ……レート制御装置、２０、４３……復号化装置、４４……Complexity算出装置、４５……符号化部、４８……インター予測装置、４９……Difficulty算出装置

Claims (9)

1. 画像データをイントラ符号化、インター符号化により符号化処理する符号化装置において、
   画像データを直交変換処理、量子化処理、可変長符号化処理して生成された符号化データを入力して、前記画像データを復号化する復号化手段と、
   複数のイントラ予測モードと複数のインター予測モードとから最適な予測モードを選択し、該選択した予測モードによる予測値を画像データから減算して差分データを生成し、前記差分データを直交変換処理、量子化処理、可変長符号化処理する符号化手段と、
   前記符号化手段による符号化処理に対して少なくとも１ＧＯＰ分だけ先行して、前記符号化手段に入力される画像データを用いたイントラ予測により、レート制御用にイントラ予測における最適な予測モードを選択し、対応する前記差分データの大きさを示すレート制御用のイントラ予測の変数を検出するイントラ予測手段と、
   前記符号化手段による符号化処理に対して少なくとも１ＧＯＰ分だけ先行して、前記符号化手段に入力される画像データを用いたインター予測により、レート制御用にインター予測における最適な予測モードを選択し、対応する前記差分データの大きさを示すレート制御用のインター予測の変数を検出するインター予測手段と、
   前記レート制御用のイントラ予測の変数と前記レート制御用のインター予測の変数との比較により、ピクチャ単位で、レート制御用にイントラ予測及びインター予測における最適な予測モードを検出し、対応する前記差分データの大きさを示す第１の変数を算出する第１の変数算出手段と、
   前記符号化データにおける前記量子化処理の量子化スケールと、前記符号化データにおけるデータ量との乗算値を前記復号化手段より出力される画像データのピクチャ単位で検出して第２の変数を算出する第２の変数算出手段と、
   レート制御の変数により１ＧＯＰに割り振るデータ量を各ピクチャに分配して各ピクチャの目標符号量を計算し、前記目標符号量により前記符号化手段による符号化処理をレート制御するレート制御手段とを備え、
   前記符号化手段は、
   前記復号化手段から出力される画像データ又は所定のアナログディジタル変換回路で生成された画像データを選択的に入力して処理し、
   前記レート制御手段は、
   前記符号化手段で処理する画像データに応じて前記レート制御の変数の生成方法を切り換え、
   前記所定のアナログディジタル変換回路で生成された画像データを前記符号化手段で処理する場合、前記第１の変数を前記レート制御の変数に適用してレート制御し、
   前記復号化手段から出力される画像データを前記符号化手段で処理する場合、前記第２の変数を前記レート制御の変数に適用してレート制御し、
   前記複数のイントラ予測モード及び前記複数のインター予測モードが、
   大きさの異なる２種類以上のブロックにおいて、各ブロック単位でそれぞれ複数の手法により前記予測値を生成する予測モードであり、
   前記イントラ予測手段は、
   前記２種類以上のブロックのうちで最も大きさの小さいブロックに係る前記予測モードについて、レート制御用に最適な予測モードを選択して前記レート制御用のイントラ予測の変数を検出し、
   前記インター予測手段は、
   前記２種類以上のブロックのうちで最も大きさの大きいブロックに係る前記予測モードについて、レート制御用に最適な予測モードを選択して前記レート制御用のインター予測の変数を検出する
   符号化装置。
2. 前記イントラ予測モードにおける２種類以上のブロックが、４画素×４画素及び１６画素×１６画素のブロックである
   請求項１に記載の符号化装置。
3. 前記符号化手段は、
   前記符号化手段の出力データを復号化した画像データを基準にして、前記最適な予測モードを選択し、
   前記イントラ予測手段は、
   前記符号化手段による符号化処理に対して少なくとも１ＧＯＰ分だけ先行した、前記符号化手段に入力される前記画像データを基準にして、前記レート制御用のイントラ予測における最適な予測モードを選択する
   請求項１に記載の符号化装置。
4. 前記インター予測モードにおける２種類以上のブロックが、４画素×４画素、４画素×８画素、８画素×４画素、８画素×８画素、８画素×１６画素、１６画素×８画素及び１６画素×１６画素のブロックである
   請求項１に記載の符号化装置。
5. 前記イントラ予測手段は、
   前記レート制御用のイントラ予測の変数を、前記インター予測手段に係るブロックの大きさに対応するように集計して出力する
   請求項１に記載の符号化装置。
6. 前記符号化手段による前記複数のインター予測モードが、
   複数の参照フレームよりそれぞれ１画素より小さな画素精度で検出した動きベクトルにより、対応する参照フレームを動き補償して前記予測値を生成する予測モードであり、
   前記インター予測手段は、
   １画素精度により動きベクトルを検出して前記インター予測における最適な予測モードを検出する
   請求項１に記載の符号化装置。
7. 画像データをイントラ符号化、インター符号化により符号化処理する符号化方法において、
   画像データを直交変換処理、量子化処理、可変長符号化処理して生成された符号化データを入力して、前記画像データを復号化する復号化ステップと、
   複数のイントラ予測モードと複数のインター予測モードとから最適な予測モードを選択し、該選択した予測モードによる予測値を画像データから減算して差分データを生成し、前記差分データを直交変換処理、量子化処理、可変長符号化処理する符号化ステップと、
   前記符号化ステップによる符号化処理に対して少なくとも１ＧＯＰ分だけ先行して前記符号化ステップで処理する画像データを用いたイントラ予測により、レート制御用にイントラ予測における最適な予測モードを選択し、対応する前記差分データの大きさを示すレート制御用のイントラ予測の変数を検出するイントラ予測のステップと、
   前記符号化ステップによる符号化処理に対して少なくとも１ＧＯＰ分だけ先行して前記符号化ステップで処理する画像データを用いたインター予測により、レート制御用にインター予測における最適な予測モードを選択し、対応する前記差分データの大きさを示すレート制御用のインター予測の変数を検出するインター予測のステップと、
   前記レート制御用のイントラ予測の変数と前記レート制御用のインター予測の変数との比較により、ピクチャ単位で、レート制御用にイントラ予測及びインター予測における最適な予測モードを検出し、対応する前記差分データの大きさを示す第１の変数を算出する第１の変数算出ステップと、
   前記符号化データにおける前記量子化処理の量子化スケールと、前記符号化データにおけるデータ量との乗算値を前記復号化ステップより出力される画像データのピクチャ単位で検出して第２の変数を算出する第２の変数算出ステップと、
   レート制御の変数により１ＧＯＰに割り振るデータ量を各ピクチャに分配して各ピクチャの目標符号量を計算し、前記目標符号量により前記符号化ステップによる符号化処理をレート制御するレート制御のステップとを備え、
   前記符号化ステップは、
   前記復号化ステップから出力される画像データ又は所定のアナログディジタル変換回路で生成された画像データを選択的に入力して処理し、
   前記レート制御ステップは、
   前記符号化ステップで処理する画像データに応じて前記レート制御の変数の生成方法を切り換え、
   前記所定のアナログディジタル変換回路で生成された画像データを前記符号化ステップで処理する場合、前記第１の変数を前記レート制御の変数に適用してレート制御し、
   前記復号化ステップから出力される画像データを前記符号化ステップで処理する場合、前記第２の変数を前記レート制御の変数に適用してレート制御し、
   前記複数のイントラ予測モード及び前記複数のインター予測モードが、
   大きさの異なる２種類以上のブロックにおいて、各ブロック単位でそれぞれ複数の手法により前記予測値を生成する予測モードであり、
   前記イントラ予測ステップは、
   前記２種類以上のブロックのうちで最も大きさの小さいブロックに係る前記予測モードについて、レート制御用に最適な予測モードを選択して前記レート制御用のイントラ予測の変数を検出し、
   前記インター予測ステップは、
   前記２種類以上のブロックのうちで最も大きさの大きいブロックに係る前記予測モードについて、レート制御用に最適な予測モードを選択して前記レート制御用のインター予測の変数を検出する
   符号化方法。
8. 演算処理手段により実行して符号化手段の動作を制御する符号化方法のプログラムにおいて、
   前記符号化手段は、
   複数のイントラ予測モードと複数のインター予測モードとから最適な予測モードを選択し、該選択した予測モードによる予測値を画像データから減算して差分データを生成し、前記差分データを直交変換処理、量子化処理、可変長符号化処理することにより、前記画像データをイントラ符号化、インター符号化により符号化処理し、
   前記符号化方法のプログラムは、
   画像データを直交変換処理、量子化処理、可変長符号化処理して生成された符号化データを入力して、前記画像データを復号化する復号化ステップと、
   前記符号化手段による符号化処理に対して少なくとも１ＧＯＰ分だけ先行して前記符号化手段で処理する画像データを用いたイントラ予測により、レート制御用にイントラ予測における最適な予測モードを選択し、対応する前記差分データの大きさを示すレート制御用のイントラ予測の変数を検出するイントラ予測のステップと、
   前記符号化手段による符号化処理に対して少なくとも１ＧＯＰ分だけ先行して前記符号化手段で処理する画像データを用いたインター予測により、レート制御用にインター予測における最適な予測モードを選択し、対応する前記差分データの大きさを示すレート制御用のインター予測の変数を検出するインター予測のステップと、
   前記レート制御用のイントラ予測の変数と前記レート制御用のインター予測の変数との比較により、ピクチャ単位で、レート制御用にイントラ予測及びインター予測における最適な予測モードを検出し、対応する前記差分データの大きさを示す第１の変数を算出する第１の変数算出ステップと、
   前記符号化データにおける前記量子化処理の量子化スケールと、前記符号化データにおけるデータ量との乗算値を前記復号化ステップより出力される画像データのピクチャ単位で検出して第２の変数を算出する第２の変数算出ステップと、
   レート制御の変数により１ＧＯＰに割り振るデータ量を各ピクチャに分配して各ピクチャの目標符号量を計算し、前記目標符号量により前記符号化手段による符号化処理をレート制御するレート制御のステップとを備え、
   前記符号化手段は、
   前記復号化ステップから出力される画像データ又は所定のアナログディジタル変換回路で生成された画像データを選択的に入力して処理し、
   前記レート制御ステップは、
   前記符号化手段で処理する画像データに応じて前記レート制御の変数の生成方法を切り換え、
   前記所定のアナログディジタル変換回路で生成された画像データを前記符号化手段で処理する場合、前記第１の変数を前記レート制御の変数に適用してレート制御し、
   前記復号化ステップから出力される画像データを前記符号化手段で処理する場合、前記第２の変数を前記レート制御の変数に適用してレート制御し、
   前記複数のイントラ予測モード及び前記複数のインター予測モードが、
   大きさの異なる２種類以上のブロックにおいて、各ブロック単位でそれぞれ複数の手法により前記予測値を生成する予測モードであり、
   前記イントラ予測ステップは、
   前記２種類以上のブロックのうちで最も大きさの小さいブロックに係る前記予測モードについて、レート制御用に最適な予測モードを選択して前記レート制御用のインター予測の変数を検出し、
   前記インター予測ステップは、
   前記２種類以上のブロックのうちで最も大きさの大きいブロックに係る前記予測モードについて、レート制御用に最適な予測モードを選択して前記レート制御用のインター予測の変数を検出する
   符号化方法のプログラム。
9. 演算処理手段により実行して符号化手段の動作を制御する符号化方法のプログラムを記録した記録媒体において、
   前記符号化手段は、
   複数のイントラ予測モードと複数のインター予測モードとから最適な予測モードを選択し、該選択した予測モードによる予測値を画像データから減算して差分データを生成し、前記差分データを直交変換処理、量子化処理、可変長符号化処理することにより、前記画像データをイントラ符号化、インター符号化により符号化処理し、
   前記符号化方法のプログラムは、
   画像データを直交変換処理、量子化処理、可変長符号化処理して生成された符号化データを入力して、前記画像データを復号化する復号化ステップと、
   前記符号化手段による符号化処理に対して少なくとも１ＧＯＰ分だけ先行して前記符号化手段で処理する画像データを用いたイントラ予測により、レート制御用にイントラ予測における最適な予測モードを選択し、対応する前記差分データの大きさを示すレート制御用のイントラ予測の変数を検出するイントラ予測のステップと、
   前記符号化手段による符号化処理に対して少なくとも１ＧＯＰ分だけ先行して前記符号化手段で処理する画像データを用いたインター予測により、レート制御用にインター予測における最適な予測モードを選択し、対応する前記差分データの大きさを示すレート制御用のインター予測の変数を検出するインター予測のステップと、
   前記レート制御用のイントラ予測の変数と前記レート制御用のインター予測の変数との比較により、ピクチャ単位で、レート制御用にイントラ予測及びインター予測における最適な予測モードを検出し、対応する前記差分データの大きさを示す第１の変数を算出する第１の変数算出ステップと、
   前記符号化データにおける前記量子化処理の量子化スケールと、前記符号化データにおけるデータ量との乗算値を前記復号化ステップより出力される画像データのピクチャ単位で検出して第２の変数を算出する第２の変数算出ステップと、
   レート制御の変数により１ＧＯＰに割り振るデータ量を各ピクチャに分配して各ピクチャの目標符号量を計算し、前記目標符号量により前記符号化手段による符号化処理をレート制御するレート制御のステップとを備え、
   前記符号化手段は、
   前記復号化ステップから出力される画像データ又は所定のアナログディジタル変換回路で生成された画像データを選択的に入力して処理し、
   前記レート制御ステップは、
   前記符号化手段で処理する画像データに応じて前記レート制御の変数の生成方法を切り換え、
   前記所定のアナログディジタル変換回路で生成された画像データを前記符号化手段で処理する場合、前記第１の変数を前記レート制御の変数に適用してレート制御し、
   前記復号化ステップから出力される画像データを前記符号化手段で処理する場合、前記第２の変数を前記レート制御の変数に適用してレート制御し、
   前記複数のイントラ予測モード及び前記複数のインター予測モードが、
   大きさの異なる２種類以上のブロックにおいて、各ブロック単位でそれぞれ複数の手法により前記予測値を生成する予測モードであり、
   前記イントラ予測ステップは、
   前記２種類以上のブロックのうちで最も大きさの小さいブロックに係る前記予測モードについて、レート制御用に最適な予測モードを選択して前記レート制御用のイントラ予測の変数を検出し、
   前記インター予測ステップは、
   前記２種類以上のブロックのうちで最も大きさの大きいブロックに係る前記予測モードについて、レート制御用に最適な予測モードを選択して前記レート制御用のインター予測の変数を検出する
   符号化方法のプログラムを記録した記録媒体。

Images