JP4292659B2 - Image information conversion apparatus and image information conversion method - Google Patents

Description

【００３４】
そして、図２１では、例えば３，９，１５等のフレーム番号からなるＩピクチャは、近隣のＰピクチャ又はＢピクチャと比較して、高いｐＳＮＲを示している。これは、ＭＰＥＧ−２画像情報符号化装置において、Ｉピクチャは、目標符号量（ターゲットビット）が、Ｐピクチャ又はＢピクチャと比べて高く設定されているためである。従って、Ｉピクチャの画質が向上すると、これを参照して構成されるＰピクチャ又はＢピクチャの画質も向上する。
【００３５】
一方、ＣＣＩＲテストシーケンス「Ｍｏｂｉｌｅ＆Ｃａｌｅｎｄａｒ」を、符号量制御を行わず、バッファのオーバーフロー及び／又はアンダーフローは考慮しないで、量子化値を１に固定して、ＭＰＥＧ−２画像情報符号化装置によって符号化した画像圧縮情報（ビットストリーム）の復号画像の原画像に対する輝度信号のｐＳＮＲの各フレーム毎の遷移を、図２２に示す。
【００３６】
この図２２では、図２１の場合とは反対に、例えば３，９，１５等のフレーム番号からなるＩピクチャは、近隣のＰピクチャ又はＢピクチャと比較して、低いｐＳＮＲを示している。即ち、Ｉピクチャは、近隣のＰピクチャ又はＢピクチャと比較して、画質が低くなっている。
【００３７】
これは、ＭＰＥＧ−２画像情報符号化装置において用いられる量子化行列に起因するものである。即ち、ＭＰＥＧ−２画像情報符号化装置では、イントラマクロブロック、インターマクロブロックのそれぞれに対して、それぞれ図２３（ａ）、図２３（ｂ）に示したような量子化行列がデフォルト値で定義されているため、イントラマクロブロックは、図２３（ａ）に示した量子化行列で２度量子化されている。従って、Ｉピクチャは、図２２に示すように、Ｐピクチャ又はＢピクチャと比較して、より多くの符号量（ビット）が割り当てられているにもかかわらず、高域成分における再量子化歪みが大きくなっている。
【００３８】
なお、実用上用いられているＭＰＥＧ−２画像情報符号化装置では、図２３（ｂ）で定められている量子化行列に代えて、Ｔｅｓｔ Ｍｏｄｅｌ ５で定められている図２３（ｃ）の量子化行列が一般に用いられる。また、図２１，図２２，図２４，図２５に示した実験結果は、全て、イントラマクロブロック用、インターマクロブロック用の量子化行列として、それぞれ図２３（ａ）、図２３（ｃ）に示したものが用いられたものである。
【００３９】
また、ＣＣＩＲテストシーケンス「Ｍｏｂｉｌｅ＆Ｃａｌｅｎｄａｒ」を、６Ｍｂｐｓに圧縮した画像圧縮情報（ビットストリーム）を入力とし、図１９若しくは図２０に示した画像情報変換装置を用いて、更なる符号量（ビットレート）の削減を行い、４Ｍｂｐｓとして出力した画像圧縮情報（ビットストリーム）の復号画像の原画像に対する輝度信号のｐＳＮＲの各フレーム毎の遷移を、それぞれ図２４及び図２５に示す。
【００４０】
図２４に示す結果は、図１９における付加情報バッファ１０２を用いないで、画像情報復号装置１０１と画像情報符号化装置１０３をそれぞれ独立に動作させ、動きベクトルの再計算を行って得られたものである。
【００４１】
また、図２５に示す結果は、図２０における帯域制限装置１１５での高域周波数成分の削減は行わず、動き補償誤差の補正は、Ｐピクチャ及びＢピクチャともに８×８の離散コサイン変換係数全ての成分に対して行い、図２１に示したフイードフォワードバッファの容量として、１５フレーム分を確保したものである。そして、正規化アクティビティＮ＿ａｃｔは、次式（２）で表される。
【００４２】
【数２】

【００４３】
ここで、図２４及び図２５における画質の傾向としては、上述した図２２に示したものと同様であり、例えば１８，３３，４８等のフレーム番号からなるＩピクチャの画質は、近隣のＰピクチャ又はＢピクチャと比較して、低くなっている。
【００４４】
このような原因としては、上述した図２２に示した実験結果と同様のことが言える。即ち、上述した符号量制御装置１２０の作用により、図２４及び図２５に示した実験においても、イントラマクロブロックは、図２３（ａ）に示した量子化行列で２度量子化されている。従って、Ｉピクチャは、Ｐピクチャ又はＢピクチャと比較して、より多くの符号量（ビット）が割り当てられているにもかかわらず、高域成分における再量子化歪みが大きくなっている。
【００４５】
このように、Ｉピクチャにより多くの符号量（ビット）を割り当てるという正の効果よりも、イントラマクロブロックに対する再量子化歪みという負の効果の方が、相対的に大きなものであるため、図２４及び図２５においては、Ｉピクチャの画質が低くなっている。主観的にも、Ｉピクチャでの画質の劣化が１５フレーム（０．５秒）に一度、フラッシュ現象として観測される。さらに、このようなことは、Ｉピクチャを参照して構成されるＰピクチャ及びＢピクチャの画質の向上を妨げる原因ともなっている。
【００４６】
そこで、本発明は、このような実情に鑑みてなされたものであり、Ｉピクチャにおける再量子化に伴う画質劣化を低減することにより、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質劣化を低減する画像情報変換装置及び画像情報変換方法を提供することを目的とするものである。
【００４７】
【課題を解決するための手段】
上述の目的を達成するために、本発明は、フレーム内符号化方式で符号化されたフレーム内符号化データとフレーム間予測符号化方式で符号化されたフレーム間予測符号化データとからなる画像データが所定の画素ブロックからなる直交変換ブロック単位で直交変換し所定の走査方式に従って二次元配列及び量子化することにより圧縮符号化された第１のビットレートの第１の画像圧縮情報を、上記第１のビットレートよりも低いビットレートの第２のビットレートの第２の画像圧縮情報に変換する画像情報変換装置において、上記第１の画像圧縮情報を復号してベースバンドの動画像情報を生成する復号手段と、上記復号手段が上記第１の画像圧縮情報を復号する際に用いた付加情報として取得される量子化行列に関する情報に基づいて、上記第１の画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替える量子化行列切替手段と、上記復号手段が上記第１の画像圧縮情報を復号する際に用いた付加情報として取得されるマクロブロック毎の情報、及び、上位の階層に関する情報、上記量子化行列切替手段により切り替えられた量子化行列、予め与えられた所定の目標符号量に基づいて、上記復号手段により生成された動画像情報を直交変換して上記第２の画像圧縮情報に符号化する符号化手段とを備え、上記符号化手段は、上記量子化行列切替手段により切り替えられたインターマクロブロック用の量子化行列を用いて、イントラマクロブロックを量子化し、上記復号手段が上記第１の画像圧縮情報を復号する際に用いたインターマクロブロック用の量子化行列を用いて、インターマクロブロックを量子化することを特徴とする。
【００４９】
また、本発明は、フレーム内符号化方式で符号化されたフレーム内符号化データとフレーム間予測符号化方式で符号化されたフレーム間予測符号化データとからなる画像データが所定の画素ブロックからなる直交変換ブロック単位で直交変換し所定の走査方式に従って二次元配列及び量子化することにより圧縮符号化された第１のビットレートの第１の画像圧縮情報を、上記第１のビットレートよりも低いビットレートの第２のビットレートの第２の画像圧縮情報に変換する画像情報変換装置において、入力された上記第１の画像圧縮情報について、構文解析を行い、その解析結果情報として、量子化幅及び量子化行列に関する情報、ピクチャ符号化タイプ情報を抽出する画像圧縮情報解析手段と、上記画像圧縮情報解析手段による解析結果情報として上記第１の画像圧縮情報から抽出された量子化幅化に関する情報に基づいて、上記画像圧縮情報解析手段に入力された第１の画像圧縮情報の直交変換係数を逆量子化する逆量子化手段と、上記逆量子化手段により逆量子化された直交変換係数の水平方向の高周波成分の値のみを制限する帯域制限手段と、上記帯域制限手により直交変換係数の水平方向の高周波成分のみが制限された上記第１の画像圧縮情報の直交変換係数を再量子化する量子化手段と、上記画像圧縮情報解析手段による解析結果情報として上記第１の画像圧縮情報から抽出された量子化行列に関する情報に基づいて、上記第１の画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替える量子化行列切替手段と、上記画像圧縮情報解析手段による解析結果情報として上記第１の画像圧縮情報から抽出された上記ピクチャ符号化タイプ情報と所定の目標符号量とに基づいて、上記量子化手段の量子化幅を制御して、出力する上記第２の画像圧縮情報の符号量を制御する符号量制御手段とを備え、上記量子化手段は、上記量子化行列切替手段により切り替えられたインターマクロブロック用の量子化行列と上記符号量制御手段により制御された上記量子化幅とに基づいて、イントラマクロブロックを再量子化し、上記逆量子化手段が上記第１の画像圧縮情報を逆量子化する際に用いたインターマクロブロック用の量子化行列と上記符号量制御手段により制御された上記量子化幅とに基づいて、インターマクロブロックを再量子化することを特徴とする。
【００５１】
また、本発明は、フレーム内符号化方式で符号化されたフレーム内符号化データとフレーム間予測符号化方式で符号化されたフレーム間予測符号化データとからなる画像データが所定の画素ブロックからなる直交変換ブロック単位で直交変換し所定の走査方式に従って二次元配列及び量子化することにより圧縮符号化された第１のビットレートの第１の画像圧縮情報を、上記第１のビットレートよりも低いビットレートの第２のビットレートの第２の画像圧縮情報に変換する画像情報変換方法において、上記第１の画像圧縮情報を復号してベースバンドの動画像情報を生成し、上記第１の画像圧縮情報を復号する際に用いた付加情報として取得される量子化行列に関する情報に基づいて、上記第１の画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替え、上記第１の画像圧縮情報を復号する際に用いた付加情報として取得されるマクロブロック毎の情報、及び、上位の階層に関する情報、切り替えられた上記量子化行列、予め与えられた所定の目標符号量に基づいて、上記動画像情報を直交変換して上記第２の画像圧縮情報に符号化する際に、切り替えられたインターマクロブロック用の量子化行列を用いて、イントラマクロブロックを再量子化し、上記復号手段が上記第１の画像圧縮情報を復号する際に用いたインターマクロブロック用の量子化行列を用いて、インターマクロブロックを再量子化することを特徴とする。
【００５３】
さらに、本発明は、フレーム内符号化方式で符号化されたフレーム内符号化データとフレーム間予測符号化方式で符号化されたフレーム間予測符号化データとからなる画像データが所定の画素ブロックからなる直交変換ブロック単位で直交変換し所定の走査方式に従って二次元配列及び量子化することにより圧縮符号化された第１のビットレートの第１の画像圧縮情報を、上記第１のビットレートよりも低いビットレートの第２のビットレートの第２の画像圧縮情報に変換する画像情報変換方法において、入力された上記第１の画像圧縮情報について、構文解析を行い、その解析結果情報として、量子化幅及び量子化行列に関する情報、ピクチャ符号化タイプ情報を抽出し、上記解析結果情報として上記第１の画像圧縮情報から抽出された量子化行列に関する情報に基づいて、上記第１の画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替え、上記解析結果情報として上記第１の画像圧縮情報から抽出された量子化幅化に関する情報に基づいて、上記第１の画像圧縮情報の直交変換係数を逆量子化し、逆量子化された上記直交変換係数の水平方向の高周波成分の値のみを制限し、水平方向の高周波成分のみが制限された上記第１の画像圧縮情報の直交変換係数を再量子化するにあたり、上記解析結果情報として上記第１の画像圧縮情報から抽出された上記ピクチャ符号化タイプ情報と所定の目標符号量とに基づいて量子化幅を制御して、切り替えられた上記インターマクロブロック用の量子化行列と制御された上記量子化幅とに基づいて、イントラマクロブロックを再量子化し、上記第１の画像圧縮情報を逆量子化する際に用いたインターマクロブロック用の量子化行列と制御された上記量子化幅とに基づいて、インターマクロブロックを再量子化することにより、符号量を制御した上記第２の画像圧縮情報を生成することを特徴とする。
【００５５】
【発明の実施の形態】
以下、本発明を適用した第１の実施の形態について、図面を参照しながら説明する。
【００５６】
本発明を適用した第１の実施の形態である画像情報変換装置は、例えばＭＰＥＧ−２（Moving Picture Experts Group phase - 2）方式で符号化された画像圧縮情報（ビットストリーム）の符号量（ビットレート）を削減して、低ビットレートの画像圧縮情報を出力する装置である。この本発明を適用した第１の実施の形態である画像情報変換装置では、画像情報を復号する復号部から画像情報を符号化する符号化部への当該画像情報の供給が、空間領域で行われている。本発明を適用した第１の実施の形態である画像情報変換装置を図１に示す。なお、ＭＰＥＧ−２とは、飛び越し走査画像及び順次走査画像、並びに、標準解像度画像及び高解像度画像の双方に対応した画像情報の圧縮方式をいう。
【００５７】
画像情報変換装置１は、この図１に示すように、画像情報復号装置２と、付加情報バッファ３と、量子化行列切替装置４と、画像情報符号化装置５とを備える。この画像情報変換装置１は、一般に、画像圧縮情報（ビットストリーム）の持つ符号量を削減する装置であり、画像情報復号装置２から画像情報符号化装置５への画像情報の供給を、空間領域で行う。
【００５８】
画像情報復号装置２は、高ビットレートの画像圧縮情報が入力され、この入力された高ビットレートの画像圧縮情報を一旦完全に復号し、この復号した結果得られたベースバンドのビデオデータを、画像情報符号化装置５に供給する。また、この処理と同時的に、画像情報復号装置２は、入力された高ビットレートの画像圧縮情報に対する復号処理に用いた付加情報を、付加情報バッファ３に供給する。
【００５９】
なお、この付加情報には、例えば、動きベクトル、予測モード、ＤＣＴモード、量子化スケールコード等のマクロブロック毎の情報、及び、ＧＯＰヘッダ（Groupe of Picture Header）、ピクチャヘッダ（Picture Header）、シーケンスヘッダ（Sequence Header）、シーケンス表示拡張部（Sequence Display Extension）ピクチャ符号化機能拡張部（Picture Coding Extension ）、量子化マトリックス拡張部（Quantization Matrix Extension）、ピクチャ表示拡張部（Picture Display Extension）等の、より上位の階層に関する情報がある。
【００６０】
付加情報バッファ３は、画像情報復号装置２から供給された付加情報を記憶する。具体的には、付加情報バッファ３は、画像情報復号装置２が用いたイントラマクロブロック用及びインターマクロブロック用の２つの量子化行列に関する情報を、当該画像情報復号装置２から供給され、そして記憶する。即ち、ここでは、付加情報には、図２（ａ）に示すようなイントラマクロブロック用の量子化行列に関する情報と、図２（ｂ）に示すようなインターマクロブロック用の量子化行列に関する情報とが含まれるものとする。
【００６１】
そして、付加情報バッファ３は、これら供給された２つの量子化行列に関する情報のうち、インターマクロブロック用の量子化行列に関する情報のみを、量子化行列切替装置４からの制御情報に応じて、量子化行列切替装置４に供給する。
【００６２】
量子化行列切替装置４は、付加情報バッファ３から取得した付加情報に基づいて、画像情報復号装置２に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替える。
【００６３】
具体的には、量子化行列切替装置４は、付加情報バッファ３に記憶された付加情報の中からインターマクロブロック用の量子化行列に関する情報のみを選択し、この選択した情報を当該付加情報バッファ３から取得する。そして、量子化行列切替装置４は、この取得したインターマクロブロック用の量子化行列に関する情報に基づいて、画像情報復号装置２に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたイントラマクロブロック用の量子化行列をインターマクロブロック用の量子化行列に切り替える。その後、量子化行列切替装置４は、この切り替えたインターマクロブロック用の量子化行列を画像情報符号化装置５に供給する。
【００６４】
但し、量子化行列切替装置４は、上記切り替えたインターマクロブロック用の量子化行列の第（０，０）成分が８でない場合には、例えば図３に示すような当該第（０，０）成分を８に変換した量子化行列を生成し、この生成した量子化行列を画像情報符号化装置５に供給する。これは、ＭＰＥＧ−２の規格では、量子化行列の第（０，０）成分は、８であることが規定されているからである。
【００６５】
画像情報符号化装置５は、予め、入力された画像圧縮情報の符号量（高ビットレート）より低い目標符号量（ターゲットビットレート）が与えられていて、この目標符号量と、付加情報バッファ３から取得した付加情報と、量子化行列切替装置４から供給された量子化行列とに基づいて、符号化処理を行う。即ち、画像情報符号化装置５は、この目標符号量と付加情報と量子化行列に基づいて、画像情報復号装置２から供給されたベースバンドのビデオデータを再符号化し、低ビットレートの画像圧縮情報を出力する。
【００６６】
例えば、画像情報符号化装置５は、上記目標符号量と付加情報と量子化行列切替装置４により切り替えられたインターマクロブロック用の量子化行列とに基づいて、イントラマクロブロックを量子化する。また、画像情報符号化装置５は、上記目標符号量と付加情報と画像情報復号装置２が入力された高ビットレートの画像圧縮情報を復号する際に用いたインターマクロブロック用の量子化行列とに基づいて、インターマクロブロックを量子化する。
【００６７】
以上のように構成された画像情報変換装置１では、画像情報復号装置２に入力された高ビットレートの画像圧縮情報は、この画像情報復号装置２で一旦完全に復号されて、ベースバンドのビデオデータとして画像情報符号化装置５に供給される。そして、画像情報符号化装置５に供給されたベースバンドのビデオデータは、この画像情報符号化装置５で、目標符号量と付加情報と量子化行列とに基づいて再符号化され、低ビットレートの画像圧縮情報として出力される。
【００６８】
つぎに、本発明を適用した第１の実施の形態である画像情報変換装置１における量子化行列切替装置４を用いて行った測定結果を図４に示し、また、このときに用いた測定と同条件での測定によりどの程度画質が向上するのかを輝度信号のｐＳＮＲにより表した測定結果を、図５に示す。
【００６９】
この場合に、入力される画像圧縮情報（ビットストリーム）については、イントラマクロブロック用及びインターマクロブロック用のそれぞれの量子化行列に、図６（ａ）、図６（ｃ）に示した量子化行列を用いる。従って、出力される画像圧縮情報（ビットストリーム）について用いられるイントラマクロブロック用の量子化行列は、図７に示すようになる。但し、インターマクロブロック用の量子化行列は、図６（ｃ）に示した量子化行列のままである。
【００７０】
また、画像情報変換装置１において、量子化行列の切替を行った場合と量子化行列の切替を行わなかった場合とにおける輝度信号のｐＳＮＲにより表した測定結果の変化を表した図を、図５に示す。
【００７１】
この図５に示すように、画像情報変換装置１においては、量子化行列を切り替えることにより、Ｉピクチャについて、１．０〜３．０ｄＢ程度の大幅な画質の向上があり、主観評価においても、図４において観測されていたフラッシュ現象が観測されなくなる。Ｉピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質も向上している。
【００７２】
次に、図５に示した測定で、出力される画像圧縮情報（ビットストリーム）の各フレームに割り当てられた符号量（ビット）を測定した図を図８に示す。
【００７３】
画像情報変換装置１では、図８に示すように、画像情報符号化装置５において用いる量子化行列を、インターマクロブロック用の量子化行列に切り替えることにより、高域成分が粗く量子化されるのが防止されるのと同時に、より多くの符号（ビット）がＩピクチャに割り当てられ、その分Ｐピクチャにより少ない符号（ビット）が割り当てられ、これによってＩピクチャの画質が向上し、さらに、これに基づいて構成されるＰピクチャ及びＢピクチャの画質が向上している。
【００７４】
以上述べたように、本発明を適用した第１の実施の形態である画像情報変換装置１では、画像情報符号化装置５において用いる量子化行列を、イントラマクロブロック用の量子化行列から、このイントラマクロブロック用の量子化行列に比べて高域成分を粗く量子化しないインターマクロブロック用の量子化行列に切り替えることで、Ｉピクチャにおける画質劣化が防がれ、主観的にも画像のフラッシュ現象が回避されることにより、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質をも向上させることができる。
【００７５】
また、本発明を適用した第１の実施の形態である画像情報変換装置１では、このようにインターマクロブロック用の量子化行列を、イントラマクロブロック用及びインターマクロブロック用の両方に用いることで、量子化行列切替装置４は、記憶媒体を備えて、切替のための量子化行列を格納する必要がなくなる。
【００７６】
なお、上述した画像情報変換装置１では、ＭＰＥＧ−２による画像圧縮情報（ビットストリーム）が入力されているが、直交変換と動き補償によって符号化された画像圧縮情報（ビットストリーム）であれば、例えばＭＰＥＧ−１やＨ．２６３等のような画像圧縮情報（ビットストリーム）が入力されてもよい。
【００７７】
つぎに、本発明を適用した第２の実施の形態について、図面を参照しながら説明する。
【００７８】
本発明を適用した第２の実施の形態である画像情報変換装置も、上述した第１の実施の形態である画像情報変換装置１と同様に、例えばＭＰＥＧ−２方式で符号化された画像圧縮情報（ビットストリーム）の符号量（ビットレート）を削減して、低ビットレートの画像圧縮情報を出力する装置である。この本発明を適用した第２の実施の形態である画像情報変換装置では、画像情報を復号する復号部から画像情報を符号化する符号化部への当該画像情報の供給が、周波数領域で行われている。本発明を適用した第２の実施の形態である画像情報変換装置を図９に示す。
【００７９】
画像情報変換装置１０は、この図９に示すように、符号バッファ１１と、圧縮情報解析装置１２と、可変長復号化装置１３と、逆量子化装置１４と、帯域制限装置１５と、情報バッファ１６と、量子化行列切替装置１７と、量子化装置１８と、可変長符号化装置１９と、符号バッファ２０と、符号量制御装置２１とを備える。
【００８０】
符号バッファ１１は、多くの符号量（高ビットレート）の画像圧縮情報（ビットストリーム）が入力され、この入力された画像圧縮情報を蓄積する。この符号バッファ１１では、ＭＰＥＧ−２で規定されたＶＢＶ（Video Buffer Verifier）の拘束条件を満たすように符号化された画像圧縮情報（ビットストリーム）が蓄積されているので、オーバーフロー及び／又はアンダーフローが起きることはない。そして、符号バッファ１１は、蓄積された画像圧縮情報を、圧縮情報解析装置１２に供給する。
【００８１】
圧縮情報解析装置１２は、ＭＰＥＧ−２で規定された構文（シンタクス）に基づいて、符号バッファ１１から供給された画像圧縮情報（ビットストリーム）の中から後述する各処理に必要な情報を抽出し、この抽出した情報（以下、解析結果情報という。）を可変長復号化装置１３及び情報バッファ１６に供給する。この圧縮情報解析装置１２は、上記解析結果情報の中でも、特に、後述する符号量制御装置２１における処理に必要となる、ピクチャ符号化タイプ情報（picture_coding_type）や、各マクロブロック毎の量子化値に関する情報である量子化スケール情報（q_scale）等を、情報バッファ１６に供給する。
【００８２】
可変長復号化装置１３は、圧縮情報解析装置１２から供給された画像圧縮情報のイントラマクロブロックの直流成分に対しては隣のブロックとの差分値として符号化されているデータを可変長復号し、その他の係数に対してはランとレベルにより符号化されたデータを可変長復号することにより、量子化された一次元の離散コサイン変換係数を得る。そして、可変長復号化装置１３は、圧縮情報解析装置１２により抽出された解析結果情報に含まれる走査方式（図１０（ａ）に示すジグザグスキャン若しくは図１０（ｂ）に示すオルタネートスキャン）に関する情報に基づき、一次元配列された離散コサイン変換係数を逆スキャンして、量子化された二次元の離散コサイン変換係数に再配列する。可変長復号化装置１３は、二次元配列及び量子化された離散コサイン変換係数を、逆量子化装置１４に供給する。
【００８３】
逆量子化装置１４は、解析結果情報に含まれる量子化幅及び量子化行列に関する情報に基づき、二次元配列及び量子化された離散コサイン変換係数を逆量子化する。逆量子化装置１４は、この逆量子化された離散コサイン変換係数を、帯域制限装置１５に供給する。
【００８４】
帯域制限装置１５は、逆量子化装置１４から供給された離散コサイン変換係数に対して、ＤＣＴブロック毎に、水平方向高周波成分係数の帯域制限を行う。
【００８５】
図１１に、帯域制限装置１５における水平方向高周波成分の帯域制限処理の一例を示す。例えば、帯域制限装置１５は、輝度信号に関しては、図１１（ａ）に示すように８×８の離散コサイン変換係数のうち、水平方向低域成分である８×６係数のみの値を保存し、残りを０と置きかえる。また、帯域制限装置１５は、色差信号に関しては、図１１（ｂ）に示すように、８×８の離散コサイン変換係数のうち、水平方向低域成分である８×４係数のみの値を保存し、残りを０と置きかえる。このように離散コサイン変換係数の高周波成分を帯域制限することで、周波数領域において符号量（ビットレート）の削減をすることができる。
【００８６】
また、入力となる画像圧縮情報（ビットストリーム）が、飛び越し走査画像のものである場合には、フィールド間の時間差に関する情報を、離散コサイン変換係数の垂直方向高域成分が含むことになる。そのため、垂直方向の離散コサイン変換係数の帯域制限を行うことは大幅な画質劣化に繋がる。従って、この帯域制限装置１５では、垂直方向の帯域制限は行わない。
【００８７】
さらに、この帯域制限装置１５では、劣化がより人間の目に付きやすい輝度信号に比べ、より人間の目に付きにくい色差信号に対して、より大きく帯域制限を行っている。このことにより、この帯域制限装置１５では、画質劣化を最小限に抑えながら、再量子化の歪みを低減することができる。なお、削減する符号量（ビットレート）が少ない場合や回路的な制限がある場合等は、輝度信号と色差信号との帯域制限を同一にしてもよい。
【００８８】
さらにまた、帯域制限装置１５における水平方向の離散コサイン変換係数の帯域制限処理は、この図１１に示したような係数を０と置く処理に限らない。例えば、０と置き換える代わりに、予め用意した重み係数を離散コサイン変換の水平方向高域成分に乗じることで同様に符号量（ビットレート）を削減することが可能である。
【００８９】
帯域制限装置１５は、上述したような帯域制限を行った離散コサイン変換係数を、量子化装置１８に供給する。
【００９０】
情報バッファ１６は、圧縮情報解析装置１２から供給された、例えばピクチャ符号化タイプ情報（picture_coding_ type）や量子化スケール情報（q_scale）等の解析結果情報を、記憶する。そして、情報バッファ１６は、この記憶した解析結果情報を、量子化行列切替装置１７及び符号量制御装置２１に供給する。
【００９１】
量子化行列切替装置１７は、情報バッファ１６から取得した解析結果情報に基づいて、符号バッファ１１に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたイントラマクロブロック用の量子化行列を、インターマクロブロック用の量子化行列に切り替える。
【００９２】
具体的には、量子化行列切替装置１７は、情報バッファ１６に記憶された付加情報の中からインターマクロブロック用の量子化行列に関する情報のみを選択し、この選択した情報を当該情報バッファ１６から取得する。そして、量子化行列切替装置１７は、この取得したインターマクロブロック用の量子化行列に関する情報に基づいて、符号バッファ１１に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたイントラマクロブロック用の量子化行列をインターマクロブロック用の量子化行列に切り替える。その後、量子化行列切替装置１７は、この切り替えたインターマクロブロック用の量子化行列を量子化装置１８に供給する。
【００９３】
但し、量子化行列切替装置１７は、上記切り替えたインターマクロブロック用の量子化行列の第（０，０）成分が８でない場合には、例えば図３に示すような当該第（０，０）成分を８に変換した量子化行列を生成し、この生成した量子化行列を量子化装置１８に供給する。これも、ＭＰＥＧ−２の規格では、量子化行列の第（０，０）成分は、８であることが規定されているからである。
【００９４】
量子化装置１８は、帯域制限装置１５から供給された８×８離散コサイン変換係数を、量子化行列切替装置１７から供給された量子化行列と、以下に説明するような符号量制御装置２１により制御される、出力される画像圧縮情報（ビットストリーム）の目標符号量（ターゲットビットレート）に応じた量子化幅とに基づいて、量子化を行う。そして、量子化装置１８は、この量子化を行った離散コサイン変換係数を、可変長符号化装置１９に供給する。
【００９５】
例えば、量子化装置１８は、量子化行列切替装置１７により切り替えられたインターマクロブロック用の量子化行列と上記量子化幅とに基づいて、イントラマクロブロックを量子化する。また、量子化装置１８は、逆量子化装置１４が入力された高ビットレートの画像圧縮情報を逆量子化する際に用いたインターマクロブロック用の量子化行列と上記量子化幅とに基づいて、インターマクロブロックを量子化する。
【００９６】
可変長符号化装置１９は、量子化装置１８から供給された量子化済の離散コサイン変換係数の可変長符号化を行い、この可変長符号化が行われた離散コサイン変換係数を符号バッファ２０に供給する。
【００９７】
符号バッファ２０は、出力する低ビットレートの画像圧縮情報の情報量を一定にするためのバッファメモリであり、少ない符号量（低ビットレート）の画像圧縮情報（ビットストリーム）が入力され、この入力された画像圧縮情報を蓄積する。この符号バッファ２０では、ＭＰＥＧ−２で規定されたＶＢＶ（Video Buffer Verifier）の拘束条件を満たすように符号化された画像圧縮情報（ビットストリーム）が蓄積されているので、オーバーフロー及び／又はアンダーフローが起きることはない。そして、符号バッファ２０は、蓄積された画像圧縮情報を、出力するとともに、符号量制御装置２１に供給する。
【００９８】
符号量制御装置２１は、可変長符号化装置１９により可変長符号化された後の画像圧縮情報が符号バッファ２０においてオーバーフロー及び／又はアンダーフローを起こさないように、予め与えられた目標符号量（ターゲットビットレート）と、情報バッファ１６から取得する解析結果情報とに基づいて、量子化装置１８において用いられる量子化行列の量子化幅の制御を行う。
【００９９】
以上のように構成された画像情報変換装置１では、逆量子化装置１４は、可変長復号化装置１３から供給された二次元配列及び量子化された離散コサイン変換係数を、解析結果情報に含まれる量子化幅及び量子化行列に関する情報に基づいて逆量子化し、この逆量子化した離散コサイン変換係数を帯域制限装置１５に供給する。そして、量子化装置１８は、逆量子化装置１４から帯域制限装置１５を介して供給された８×８離散コサイン変換係数を、量子化行列切替装置１７から供給された量子化行列と、符号量制御装置２１により制御された量子化幅とに基づいて、量子化を行う。そして、量子化装置１８は、この量子化を行った離散コサイン変換係数を、可変長符号化装置１９に供給する。このように処理されることにより、低ビットレートの画像圧縮情報が符号バッファ２０から出力される。
【０１００】
つぎに、符号量制御装置２１における処理について、詳しく説明する。
【０１０１】
ＭＰＥＧ−２に対応した画像情報符号化装置において適用されるＭＰＥＧ−２Ｔｅｓｔ Ｍｏｄｅｌ ５（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１Ｎ０４００）で用いられている手法では、まず、ＧＯＰを構成する各ピクチャ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）に対する割当ビット量は、割当て対象ピクチャを含め、ＧＯＰ内でまだ符号化されていないピクチャに対して割り当てられるビット量に基づいて配分される。次に、この配分された各ピクチャに対する割当てビット量を実際の符号量と一致させるために、量子化スケールコードは、各ピクチャ毎に独立に設定した３種類の仮想バッファの記憶容量に基づいて、マクロブロック単位のフィードバック制御により求められる。次に、この求められた量子化スケールコードを、視覚的に劣化の目立ちやすい平坦部でより細かく量子化し、劣化の比較的目立ちにくい絵柄の複雑な部分でより粗く量子化するように、各マクロブロック毎のアクテイビティによって変化させる。
【０１０２】
このように、本発明を適用した実施の形態である画像情報変換装置１０も、このＴｅｓｔ Ｍｏｄｅｌ ５で定められた方式に準じたアルゴリズムによって符号量制御が行われている。
【０１０３】
しかしながら、この手法を、図９に示した画像情報変換装置１０の符号化部にそのまま適用すると、以下の２つの問題が生じる。
【０１０４】
まず、第１の問題は、上述したＭＰＥＧ−２ Ｔｅｓｔ Ｍｏｄｅｌ ５で用いられている手法において、最初に処理される内容に関する問題である。即ち、ＭＰＥＧ−２に対応した画像情報変換装置では、予めＧＯＰの構造が与えられており、これに基づいて上記最初の処理を行うことができるのに対し、図９に示した画像情報変換装置１０では、ＧＯＰの構造は、入力される画像圧縮情報（ビットストリーム）の内の１ＧＯＰ分の情報の全てを構文（シンタクス）解析することにより既知となる。このＧＯＰの長さは一定であるとは限らず、ＭＰＥＧ−２対応の画像情報変換装置では、シーンチェンジを検出し、それに応じて適応的にＧＯＰの長さを画像圧縮情報（ビットストリーム）中で制御するというものも存在する。
【０１０５】
また、第２の問題は、上述したＭＰＥＧ−２ Ｔｅｓｔ Ｍｏｄｅｌ ５で用いられている手法において、最後に処理される内容に関する問題である。即ち、ＭＰＥＧ−２対応の画像情報変換装置では、アクティビティを、原画像の輝度信号画素値を用いて算出している。しかしながら、図９に示した画像情報変換装置１０では、ＭＰＥＧ−２対応の画像圧縮情報（ビットストリーム）を入力としているため、原画像の輝度信号画素値を知ることは不可能である。
【０１０６】
そこで、上記第１の問題を解決する方法としては、以下に説明するような擬似ＧＯＰを定義し、これに基づいて符号量制御を行う方法がある。ここで、この擬似ＧＯＰとは、１つのＩピクチャ、及び複数のＰピクチャ及びＢピクチャから構成される擬似的なＧＯＰをいう。この擬似ＧＯＰの長さは可変であり、画像圧縮情報（ビットストリーム）中で、どのようにＩピクチャを検出するのかに依存する。
【０１０７】
以下、上記第１の問題及び第２の問題を解決する方法を含めた符号量制御装置２１における一連の処理の流れを、図１２に示すフローチャートに従って説明する。
【０１０８】
まず、図１２のステップＳ１において、情報バッファ１６は、図１３に示すようなpicture＿coding＿typeを格納する環状バッファを備えている。この環状バッファは、ＭＰＥＧで規定されている、１ＧＯＰに含むことのできる最大フレーム数と同じ２５６のpicture＿coding＿typeを格納するだけの記憶容量を備える。また、環状バッファの各要素には、予め初期値が格納されている。
【０１０９】
ここで、画像圧縮情報（ビットストリーム）に含まれる各フレームの情報が、Ｐ，Ｂ，Ｂ，Ｉ，Ｂ，Ｂまで処理され、次のＰピクチャの処理を行う場合について考える。この場合、画像情報変換装置１０では、まず、圧縮情報解析装置１２に備えられたフィードフォワードバッファによって、数フレーム分のpicture＿ coding＿typeが先読みされ、環状バッファの要素が更新される。このフィードフォワードバッファの大きさは、任意であるが、図１３に示す環状バッファでは６フレーム分である。また、擬似ＧＯＰの長さは、図１３に示す環状バッファの状態から、現在のＩピクチャを示すポインタａと次のＩピクチャを示すポインタｂとを参照することにより設定される。さらに、擬似ＧＯＰの構成は、フィードフォワードバッファの最後のフレームを示すポインタｄと、既に設定された擬似ＧＯＰの長さとから設定される。
【０１１０】
このように、プリパーシングにより、擬似ＧＯＰの構成が設定される。
【０１１１】
続いて、ステップＳ２において、上述したようにして設定された擬似ＧＯＰの構成が、［Ｂ₁，Ｂ₂，Ｐ₁，Ｂ₃，Ｂ₄，Ｉ₁，Ｂ₅，Ｂ₆，・・・，Ｐ_L，Ｂ_M-1，Ｂ_M］である場合、擬似ＧＯＰの大きさであるＬ＿ｐｇｏｐは、次の式（３）で表される。
【０１１２】
【数３】

【０１１３】
このとき、Ｉピクチャ，Ｐピクチャ，Ｂピクチャの各ピクチャ（各フレーム）の目標符号量（ターゲットビット）Ｔ_i，Ｔ_p，Ｔ_bは、それぞれ次の式（４）、式（５）、式（６）により算出される。
【０１１４】
【数４】

【０１１５】
【数５】

【０１１６】
【数６】

【０１１７】
但し、Ｒは、割り当て対象ピクチャを含めた、ＧＯＰ内でまだ符号化されていないピクチャに対して割り当てられるビット量であり、Θを擬似ＧＯＰ内において既に処理が終わったフレーム、Ωを擬似ＧＯＰ内においてこれから処理が行われるフレーム、Ｆをフレームレート、Ｂを出力される画像圧縮情報の符号量（ビットレート）とすると、次の式（７）、式（８）を用いて表される。
【０１１８】
【数７】

【０１１９】
【数８】

【０１２０】
また、Ｘ（）は、各フレームの複雑さを表すパラメータ（global complexity measure）であり、圧縮情報解析装置１２でプリパーシングを行う際に、当該フレームの総符号量（ビット数）であるＳと、平均量子化スケールコードであるＱを予め算出しておけば、次の式（９）により表される。
【０１２１】
【数９】

【０１２２】
さらに、Ｋ_p及びＫ_bは、それぞれ、ＭＰＥＧ−２ Ｔｅｓｔ Ｍｏｄｅｌ ５で規定されているＩピクチャの量子化スケールコードを基準とした、Ｐピクチャ及びＢピクチャの量子化スケールコードの比率であり、次の式（１０）により表される。
【０１２３】
【数１０】

【０１２４】
そして、Ｋ_p及びＫ_bが上記式（１０）により表される値のときに、常に全体の画質が最適化されると仮定する。
【０１２５】
続いて、ステップＳ３において、実際の発生符号量とステップ２で算出された各ピクチャに対する割当ビット量（Ｔ_i，Ｔ_p，Ｔ_b）と一致させるため、各ピクチャタイプに独立に設定した３種類の仮想バッファの容量に基づき、量子化スケールコードをマクロブロック単位のフィードバック制御により求める。
【０１２６】
まず、ｊ番目のマクロブロック符号化に先だち、仮想バッファの占有量は、次の式（１１）、式（１２）、式（１３）により表される。
【０１２７】
【数１１】

【０１２８】
【数１２】

【０１２９】
【数１３】

【０１３０】
但し、これらの式（１１）〜式（１３）で示した“ｄ₀ ⁱ”，“ｄ₀ ^p”，“ｄ₀ ^b”はＩ，Ｐ，Ｂの各ピクチャの仮想バッファの初期占有量であり、“Ｂ_j”はピクチャの先頭からｊ番目のマクロブロックまでの発生ビット量であり、“ＭＢ＿ｃｎｔ”は１ピクチャ内のマクロブロック数である。ピクチャ符号化終了時の各仮想バッファ占有量（ｄ_{MB_cnt} ⁱ，ｄ_{MB_cnt} ^p，ｄ_{MB_cnt} ^b）は、それぞれ同一のピクチャタイプで、次のピクチャに対する仮想バッファ占有量の初期値（ｄ₀ ⁱ，ｄ₀ ^p，ｄ₀ ^b）として用いられる。
【０１３１】
次に、ｊ番目のマクロブロックに対する量子化スケールコードは、次の式（１４）により表される。
【０１３２】
【数１４】

【０１３３】
但し、この式（１４）で示した“ｒ”はリアクションパラメーターと呼ばれるフィードバックループの応答を制御する変数であり、次の式（１５）により与えられる。
【０１３４】
【数１５】

【０１３５】
なお、符号化開始時における仮想バッファの初期値は、次の式（１６）で与えられる。
【０１３６】
【数１６】

【０１３７】
続いて、ステップＳ４において、入力される画像圧縮情報（ビットストリーム）における、各マクロブロックの量子化スケールＱは、符号化時に、原画像の輝度信号画素値を用いて算出されるものである。そこで、まず、圧縮情報解析装置１２では、プリパーシングが行われる際に、当該フレーム内の各マクロブロックの量子化スケールＱ、及び符号量（ビット数）Ｂが抽出され、この抽出された量子化スケールＱ及び符号量（ビット数）Ｂが情報バッファ１６に格納される。これと同時に、圧縮情報解析装置１２では、当該フレーム全体のＱ、Ｂの平均値Ｅ（Ｑ）、Ｅ（Ｂ）、又は、その積の平均値Ｅ（ＱＢ）が予め算出され、これらの値が情報バッファ１６に格納される。
【０１３８】
また、符号量制御装置２１では、正規化アクティビティＮ＿ａｃｔは、情報バッファ１６に格納されたＱ，Ｂの情報に基づいて、次の式（１７）、式（１８）、式（１９）の内のいずれかの式によって表される。
【０１３９】
【数１７】

【０１４０】
【数１８】

【０１４１】
【数１９】

【０１４２】
このうち、式（１８）と式（１９）は等価処理となる。このように、ＤＣＴ領域において算出される正規化アクティビティＮ＿ａｃｔに基づいて適応量子化が行われる。そして、画質を信号雑音比（ｐＳＮＲ）で評価した場合には、式（１７）の方がより高画質となるが、主観画質は、式（１８）又は式（１９）で表されるものの方が良い。
【０１４３】
続いて、ステップＳ５において、まず、所定のマクロブロックに対する、入力される画像圧縮情報（ビットストリーム）における量子化値をＱ１、符号量制御装置２１において上記の方式により表された、出力される画像圧縮情報（ビットストリーム）に対する量子化値をＱ２とする。そして、画像情報変換装置１０は符号量（ビットレート）を削減するためのものであるから、Ｑ１＞Ｑ２となった場合には、一度粗く量子化されたマクロブロックが再量子化された結果より細かく量子化されたことになる。粗く量子化されたことによる歪みは、細かく再量子化されることでは低減されない。また、このマクロブロックに対してビットが多く使われることになるため、他のマクロブロックに割り当てられるビットの減少を招き、更なる画質劣化を引き起こす。このため、Ｑ１＞Ｑ２である場合には、Ｑ１＝Ｑ２とすることにする。
【０１４４】
即ち、Ｑ１＞Ｑ２である場合には、Ｑ１を出力し、一方、Ｑ１＞Ｑ２でない場合には、Ｑ２を出力するようにする。
【０１４５】
以上のような処理を経て再量子化された離散コサイン変換係数は、量子化装置１８から可変長符号化装置１９に供給される。
【０１４６】
可変長符号化装置１９は、量子化装置１８から供給される量子化された離散コサイン変換係数を、平均符号長が短くなるように符号化する。その際、可変長符号化装置１９は、離散コサイン変換係数の直流成分に関しては、１ブロック前の直流成分係数を予測値としてその差分を符号化し、その他の成分に関しては、予め設定された走査方式（ジグザグスキャン又はオルタネートスキャン）に基づいて１次元の配列データに並べ替えた後、連続する０係数の数（ラン）及び非０係数（レベル）のペアを事象とした可変長符号化を行う。
【０１４７】
そして、量子化装置１８は、ＤＣＴブロック内のスキャンを行っている際に、それ以降の係数の値が全て０となった場合には、ＥＯＢ（End Of Block）と呼ばれる符号を出力し、そのブロックに対する可変長符号化を終了する。
【０１４８】
なお、可変長符号化装置１９は、入力された高い符号量（高ビットレート）の画像圧縮情報のスキャン方式に関わらず、オルタネートスキャン方式により離散コサイン変換係数を１次元データに配列してもよい。オルタネートスキャン方式により離散コサイン変換係数を１次元データに配列するのは、以下の理由による。
【０１４９】
即ち、入力される画像圧縮情報（ビットストリーム）の所定のブロックの離散コサイン変換係数が、例えば、図１４（ａ）に示すようになっていたとする。図１４において、●で示す係数は非０係数であり、○で示す係数は０係数である。このような離散コサイン変換係数に対して離散コサイン変換係数の水平高周波成分を０としたとすると、非０係数の分布は例えば図１４（ｂ）に示すようになる。この図１４（ｂ）に示す水平高周波成分を０とした離散コサイン変換係数を、ジグザグスキャンで再符号化すると、最後の非０係数のスキャン番号は５０となる（図１０（ａ）参照）。それに対し、走査変換を行ってオルタネートスキャンで改めて符号化すると、最後の非０係数のスキャン番号は４４になる（図１０（ｂ）参照）。このことから、水平高周波成分を０とした離散コサイン変換係数に対して可変長符号化する場合には、オルタネートスキャン方式によりスキャンをすれば、ジグザグスキャンの場合よりも早いスキャン番号でＥＯＢ信号を設定することができる。そのため、量子化幅としてより細かな値を割り当てることができ、再量子化に伴う量子化歪みを低減することができる。
【０１５０】
そして、可変長符号化装置１９により可変長符号化された離散コサイン変換係数は符号バッファ２０に供給され、この符号バッファ２０に一時格納されたのち、ＭＰＥＧ−２に規定されたビットストリーム構造とされて、圧縮画像情報として出力される。
【０１５１】
つぎに、本発明を適用した第２の実施の形態画像情報変換装置１０における量子化行列切替装置１７を用いて行った測定結果を図１５に示し、また、このときに用いた測定と同条件での測定によりどの程度画質が向上するのかを輝度信号のｐＳＮＲにより表した測定結果を、図１６に示す。
【０１５２】
この場合に、入力される画像圧縮情報（ビットストリーム）については、イントラマクロブロック用及びインターマクロブロック用のそれぞれの量子化行列に、図６（ａ）、図６（ｃ）に示した量子化行列を用いる。従って、出力される画像圧縮情報（ビットストリーム）について用いられるイントラマクロブロック用の量子化行列は、図７に示すようになる。但し、インターマクロブロック用の量子化行列は、図６（ｃ）に示した量子化行列のままである。
【０１５３】
また、画像情報変換装置１０において、量子化行列の切替を行った場合と量子化行列の切替を行わなかった場合とにおける輝度信号のｐＳＮＲにより表した測定結果の変化を表した図を、図１６に示す。
【０１５４】
この図１６に示すように、画像情報変換装置１０においては、量子化行列を切り替えることにより、Ｉピクチャについて、０．４ｄＢ程度の画質の向上があり、主観評価においても、図４において観測されていたフラッシュ現象が観測されなくなる。Ｉピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質も向上している。
【０１５５】
次に、図１６に示した測定で、出力される画像圧縮情報（ビットストリーム）の各フレームに割り当てられた符号量（ビット）を測定した図を図１７に示す。
【０１５６】
画像情報変換装置１０では、図１７に示すように、量子化装置１８において用いる量子化行列を、インターマクロブロック用の量子化行列に切り替えることにより、高域成分が粗く量子化されるのが防止されている。
【０１５７】
以上述べたように、本発明を適用した第２の実施の形態である画像情報変換装置１０では、周波数領域で各ブロックのデータの受け渡しを行って符号量（ビットレート）を削減することができるので、ベースバンドのビデオデータまで復号した後符号化する従来の画像情報変換装置に比べて、演算量が少なくなり、また、回路構成を大幅に削減することができる。
【０１５８】
また、本発明を適用した第２の実施の形態である画像情報変換装置１０では、量子化装置１８において用いる量子化行列を、イントラマクロブロック用の量子化行列から、このイントラマクロブロック用の量子化行列に比べて高域成分を粗く量子化しないインターマクロブロック用の量子化行列に切り替えることで、Ｉピクチャにおける画質劣化が防がれ、主観的にも画像のフラッシュ現象が回避されることにより、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質をも向上させることができる。
【０１５９】
また、本発明を適用した第２の実施の形態である画像情報変換装置１０では、このようにインターマクロブロック用の量子化行列を、イントラマクロブロック用及びインターマクロブロック用の両方に用いることで、量子化行列切替装置１７は、記憶媒体を備えて、切替のための量子化行列を格納する必要がなくなる。
【０１６０】
なお、上述した画像情報変換装置１０では、ＭＰＥＧ−２による画像圧縮情報（ビットストリーム）が入力されているが、直交変換と動き補償によって符号化された画像圧縮情報（ビットストリーム）であれば、例えばＭＰＥＧ−１やＨ．２６３等のような画像圧縮情報（ビットストリーム）が入力されてもよい。
【０１６１】
つぎに、本発明を適用した第３の実施の形態について、図面を参照しながら説明する。
【０１６２】
本発明を適用した第３の実施の形態である画像情報変換装置も、上述した第１の実施の形態である画像情報変換装置１と同様に、例えばＭＰＥＧ−２方式で符号化された画像圧縮情報（ビットストリーム）の符号量（ビットレート）を削減して、低ビットレートの画像圧縮情報を出力する装置である。この本発明を適用した第２の実施の形態である画像情報変換装置では、画像情報を復号する復号部から画像情報を符号化する符号化部への当該画像情報の供給が、周波数領域で行われている。本発明を適用した第３の実施の形態である画像情報変換装置を図１８に示す。
【０１６３】
なお、この画像情報変換装置３０を説明するにあたり、上記第２の実施の形態である画像情報変換装置１０と同一の構成要素には、図面中に同一の符号を付け、その詳細な説明を省略する。
【０１６４】
量子化行列切替装置１７は、図１８に示すように、情報バッファ１６から取得した解析結果情報に基づいて、符号バッファ１１に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたイントラマクロブロック用の量子化行列を、インターマクロブロック用の量子化行列に切り替える。
【０１６５】
具体的には、量子化行列切替装置１７は、情報バッファ１６に記憶された付加情報の中からインターマクロブロック用の量子化行列に関する情報のみを選択し、この選択した情報を当該情報バッファ１６から取得する。そして、量子化行列切替装置１７は、この取得したインターマクロブロック用の量子化行列に関する情報に基づいて、符号バッファ１１に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたイントラマクロブロック用の量子化行列をインターマクロブロック用の量子化行列に切り替える。その後、量子化行列切替装置１７は、この切り替えたインターマクロブロック用の量子化行列を量子化装置１８に供給する。
【０１６６】
但し、量子化行列切替装置１７は、上記切り替えたインターマクロブロック用の量子化行列の第（０，０）成分が８でない場合には、例えば図３に示すような当該第（０，０）成分を８に変換した量子化行列を生成し、この生成した量子化行列を量子化装置１８に供給する。これも、ＭＰＥＧ−２の規格では、量子化行列の第（０，０）成分は、８であることが規定されているからである。
【０１６７】
画像情報変換装置３０は、符号バッファ１１と、圧縮情報解析装置１２と、可変長復号化装置１３と、逆量子化装置１４と、加算器４０と、帯域制限装置１５と、情報バッファ１６と、量子化行列切替装置１７と、量子化装置１８と、可変長符号化装置１９と、符号バッファ２０と、符号量制御装置２１と、動き補償誤差補正装置５０とを備える。
【０１６８】
加算器４０は、逆量子化装置１４と帯域制限装置１５との間に設けられる。この加算器４０は、逆量子化装置１４が逆量子化して得られた離散コサイン変換係数から、動き補償誤差補正装置５０により生成された動き補償誤差補正係数を減算する。
【０１６９】
動き補償誤差補正装置５０は、逆量子化装置１４により逆量子化した離散コサイン変換係数を、量子化装置１８により再量子化する際に生じる動き補償誤差を補正する動き補償誤差補正係数を生成する。
【０１７０】
次に、動き補償誤差が生じる原因について説明する。
【０１７１】
まず、原画像の画素値をＯとし、入力された高い符号量（高ビットレート）の画像圧縮情報（ビットストリーム）のこの原画像の画素値Ｏに対する量子化幅をＱ₁とし、再符号化後の低い符号量（低ビットレート）の画像圧縮情報（ビットストリーム）のこの原画像の画素値Ｏに対する量子化幅をＱ₂とする。そして、これら量子化幅Ｑ₁及び量子化幅Ｑ₂で復号された参照画像の画素値を、それぞれＬ（Ｑ₁），Ｌ（Ｑ₂）とする。
【０１７２】
インターマクロブロックの画素は、符号化時において、例えば図１８に示した画像情報変換装置３０の加算器４０により差分値“Ｏ−Ｌ（Ｑ₁）”が計算され、この差分値“Ｏ−Ｌ（Ｑ₁）”に離散コサイン変換が施される。このように符号化されたインターマクロブロックの画素は、復号時においては、差分値“Ｏ−Ｌ（Ｑ₁）”に逆離散コサイン変換が施され、この差分値“Ｏ−Ｌ（Ｑ₁）”から動き補償により生成された参照画像“Ｌ（Ｑ₁）”が減算され、原画像の画素値Ｏが復号される。
【０１７３】
一方、インターマクロブロックの画素は、図９に示した画像情報変換装置１０による符号量（ビットレート）の削減時において、逆量子化装置１４及び量子化装置１８により差分値“Ｏ−Ｌ（Ｑ₁）”の量子化幅がＱ１からＱ２に変換される。このように符号量を削減したインターマクロブロックの画素は、復号時においては、差分値“Ｏ−Ｌ（Ｑ₂）”が量子化幅Ｑ₂で符号化されたものと見なされて復号される。
【０１７４】
ここで、画像情報変換装置１０において量子化幅を変えて符号量を削減していることからＱ₁＝Ｑ₂は成立せず、インターマクロブロックの復号時に量子化誤差が生じる。従って、インターマクロブロックにより符号化がされているＰピクチャ、Ｂピクチャに、動き補償に伴う誤差が発生する。
【０１７５】
Ｐピクチャで生じた誤差は、以後このＰピクチャを参照画像とするＰピクチャやＢピクチャに伝播し、さらなる画質劣化に繋がる。このように、ＧＯＰの動き補償に伴う誤差の蓄積が原因で画質が劣化し、次のＧＯＰも先頭でまた良好な画質に戻るという現象（ドリフト）が発生する。
【０１７６】
この第３の実施の形態である画像情報変換装置３０の動き補償誤差補正装置５０では、動き補償誤差補正係数を生成し、逆量子化装置１４により逆量子化した離散コサイン変換係数から減算し、以上の動き補償誤差を補正している。
【０１７７】
続いて、この動き補償誤差補正装置５０について説明する。
【０１７８】
動き補償誤差補正装置５０は、逆量子化装置５１と、加算器５２と、逆離散コサイン変換装置５３と、ビデオメモリ５４と、動き補償予測装置５５と、離散コサイン変換装置５６とを備える。
【０１７９】
逆量子化装置５１は、量子化装置１８により再量子化された離散コサイン変換係数を、上記量子化装置１８で用いられた量子化行列に基づき逆量子化する。逆量子化装置５１により逆量子化された離散コサイン変換係数は、加算器５２に供給される。
【０１８０】
加算器５２は、逆量子化装置５１により逆量子化された離散コサイン変換係数から、加算器４０により動き補償誤差補正係数が減算された離散コサイン変換係数を減算し、逆離散コサイン変換装置５３に供給する。
【０１８１】
逆離散コサイン変換装置５３は、加算器５２から供給された離散コサイン変換係数に対して、逆離散コサイン変換を施す。逆離散コサイン変換を施して得らた結果は、動き補償誤差補正情報として、ビデオメモリ５４に格納される。
【０１８２】
動き補償予測装置５５は、入力された高い符号量（高ビットレート）の画像圧縮情報（ビットストリーム）内における動き補償予測モード情報（フィールド動き補償予測モード或いはフレーム動き補償予測モード、及び、前方向予測モード、後方向予測モード、或いは、双方向予測モード）及び、動きベクトル情報に基づき、ビデオメモリ５４内の動き補償誤差補正情報に対して動き補償を行う。動き補償がされたデータが、空間領域での誤差補正値となる。この誤差補正値は、離散コサイン変換装置５６に供給される。
【０１８３】
離散コサイン変換装置５６は、供給された誤差補正値に対して離散コサイン変換を施し、周波数領域での誤差補正値である動き補償誤差補正係数を生成する。この動き補償誤差補正係数は、加算器４０に供給される。
【０１８４】
そして、この加算器４０において、逆量子化装置１４により逆量子化された離散コサイン変換係数から、この動き補償誤差補正係数を減算することによって、動き補償に起因する誤差の補正がされる。
【０１８５】
以上のように構成された本発明を適用した第３の実施の形態である画像情報変換装置３０では、周波数領域で各ブロックのデータの受け渡しを行って符号量（ビットレート）を削減することができるので、ベースバンドのビデオデータまで復号した後符号化する従来の画像情報変換装置に比べて、演算量が少なくなり、また、回路構成を大幅に削減することができる。これとともに、画像情報変換装置３０では、動き補償誤差の蓄積に起因する画質劣化を生じさせずに、符号量を削減することができる。
【０１８６】
なお、上記動き補償誤差補正装置５０の逆離散コサイン変換装置５３及び離散コサイン変換装置５６では、文献”Ａ ｆａｓｔ ｃｏｍｐｕｔａｔｉｏｎａｌａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ”（ＩＥＥＥ Ｔｒａｎｓ．Ｃｏｍｍｕｎ．，ｖｏｌ．２５，ｎｏ．９ ｐｐ．１００４−１００９，１９７７）に示されているような高速アルゴリズムを適用することが可能である。
【０１８７】
また、逆離散コサイン変換装置５３及び離散コサイン変換装置５６では、帯域制限装置１５において水平高域成分の係数が０と置き換えられている場合、０と置き換えられている係数に対する逆離散コサイン変換及び離散コサイン変換を省くことで、回路規模及び演算処理量を削減することが可能である。
【０１８８】
さらに、画像における色差信号の劣化は、輝度信号の劣化に比べ、人間の目には分かり難いという特色を有しているため、上記の動き補償誤差補正を、輝度信号のみに適用することで、画質劣化を最小に保ちながら回路規模及び演算処理量を大幅に削減することもできる。また、Ｐピクチャにおける誤差はＢピクチャに伝播するが、Ｂピクチャにおける誤差はそれ以上伝播しない。一方、Ｂピクチャには双方向予測モードを含み、多大なる演算処理量を要する。そこで、Ｐピクチャにのみ動き補償誤差補正を行うことで、画質劣化を最小に保ちながら回路規模及び演算処理量を大幅に削減することも考えられる。Ｂピクチャにおける処理を行わないことで、ビデオメモリ５４の容量を削減することも可能となる。
【０１８９】
以上述べたように、本発明を適用した第３の実施の形態である画像情報変換装置３０では、周波数領域で各ブロックのデータの受け渡しを行って符号量（ビットレート）を削減することができるので、ベースバンドのビデオデータまで復号した後符号化する従来の画像情報変換装置に比べて、演算量が少なくなり、また、回路構成を大幅に削減することができる。
【０１９０】
また、本発明を適用した第３の実施の形態である画像情報変換装置３０では、量子化装置１８において用いる量子化行列を、イントラマクロブロック用の量子化行列から、このイントラマクロブロック用の量子化行列に比べて高域成分を粗く量子化しないインターマクロブロック用の量子化行列に切り替えることで、Ｉピクチャにおける画質劣化が防がれ、主観的にも画像のフラッシュ現象が回避されることにより、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質をも向上させることができる。
【０１９１】
さらに、本発明を適用した第３の実施の形態である画像情報変換装置３０では、このようにインターマクロブロック用の量子化行列を、イントラマクロブロック用及びインターマクロブロック用の両方に用いることで、量子化行列切替装置１７は、記憶媒体を備えて、切替のための量子化行列を格納する必要がなくなる。
【０１９２】
なお、上述した画像情報変換装置３０では、ＭＰＥＧ−２による画像圧縮情報（ビットストリーム）が入力されているが、直交変換と動き補償によって符号化された画像圧縮情報（ビットストリーム）であれば、例えばＭＰＥＧ−１やＨ．２６３等のような画像圧縮情報（ビットストリーム）が入力されてもよい。
【０１９３】
【発明の効果】
以上説明したように、本発明に係る画像情報変換装置及び画像情報変換方法によれば、符号化手段又は量子化手段において用いる量子化行列を、イントラマクロブロック用の量子化行列からインターマクロブロック用の量子化行列に切り替えることで、Ｉピクチャにおける画質劣化が防がれ、主観的にも画像のフラッシュ現象が回避されることにより、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質をも向上させることができる。
【０１９４】
また、本発明に係る画像情報変換装置及び画像情報変換方法によれば、このようにインターマクロブロック用の量子化行列を、イントラマクロブロック用及びインターマクロブロック用の両方に用いることで、量子化行列切替手段に、記憶媒体を備えて、切替のための量子化行列を格納する必要がない。
【図面の簡単な説明】
【図１】本発明を適用した第１の実施の形態である画像情報変換装置のブロック構成図である。
【図２】量子化行列のデフォルト値を示す図である。（ａ）はイントラマクロブロックについて用いられるデフォルトに設定された量子化行列を示す図であり、（ｂ）はインターマクロブロックについて用いられるデフォルト値に設定された量子化行列を示す図である。
【図３】イントラマクロブロックを符号化するための量子化行列を示す図である。
【図４】本発明を適用した第１の実施の形態である画像情報変換装置によって符号量を削減された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【図５】本発明を適用した第１の実施の形態である画像情報変換装置において、量子化行列の切替を行った場合と量子化行列の切替を行わなかった場合とにおける、輝度信号のｐＳＮＲにより表した測定結果の変化を表した図である。
【図６】量子化行列のデフォルト値を示す図である。（ａ）はイントラマクロブロックについて用いられるデフォルトに設定された量子化行列を示す図であり、（ｂ）はインターマクロブロックについて用いられるデフォルト値に設定された量子化行列を示す図であり、（ｃ）はＴｅｓｔ Ｍｏｄｅｌ ５で規定された量子化行列を示す図である。
【図７】出力する画像圧縮情報について用いられるイントラマクロブロック用の量子化行列を示す図である。
【図８】本発明を適用した第１の実施の形態である画像情報変換装置において、量子化行列の切替を行う前後で、各フレームに割り当てられた符号量を示す図である。
【図９】本発明を適用した第２の実施の形態である画像情報変換装置のブロック構成図である。
【図１０】可変長符号化をする際の離散コサイン変換係数のスキャン順序を示す図である。（ａ）はジグザグスキャンのスキャン順序を示す図であり、（ｂ）はオルタネートスキャンのスキャン順序を示す図である。
【図１１】第２の実施の形態である画像情報変換装置の帯域制限装置による離散コサイン変換係数の水平高周波成分の帯域制限例を説明する図である。（ａ）は輝度信号に対する離散コサイン変換係数の帯域制限例を示す図であり、（ｂ）は色差信号に対する離散コサイン変換係数の帯域制限例を示す図である。
【図１２】第２の実施の形態である画像情報変換装置の符号量制御装置の動作内容を示すフローチャートである。
【図１３】擬似ＧＯＰの構成を説明する図である。
【図１４】オルタネートスキャン方式により離散コサイン変換係数をスキャンすることを説明する図である。（ａ）は帯域制限まえの離散コサイン変換係数を示す図であり、（ｂ）は帯域制限後の離散コサイン変換係数を示す図である。
【図１５】本発明を適用した第２の実施の形態である画像情報変換装置によって符号量を削減された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【図１６】本発明を適用した第２の実施の形態である画像情報変換装置において、量子化行列の切替を行った場合と量子化行列の切替を行わなかった場合とにおける、輝度信号のｐＳＮＲにより表した測定結果の変化を表した図である。
【図１７】本発明を適用した第２の実施の形態である画像情報変換装置において、量子化行列の切替を行う前後で、各フレームに割り当てられた符号量を示す図である。
【図１８】本発明を適用した第３の実施の形態である画像情報変換装置のブロック構成図である。
【図１９】従来の画像情報変換装置のブロック構成図である。
【図２０】従来の画像情報変換装置のブロック構成図である。
【図２１】従来の画像情報変換装置によって符号化された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【図２２】従来の画像情報変換装置によって符号化された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【図２３】量子化行列のデフォルト値を示す図である。（ａ）はイントラマクロブロックについて用いられるデフォルトに設定された量子化行列を示す図であり、（ｂ）はインターマクロブロックについて用いられるデフォルト値に設定された量子化行列を示す図であり、（ｃ）はＴｅｓｔ Ｍｏｄｅｌ ５で規定された量子化行列を示す図である。
【図２４】従来の画像情報変換装置によって符号量を削減された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【図２５】従来の画像情報変換装置によって符号量を削減された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【符号の説明】
１ 画像情報変換装置、２ 画像情報復号装置、３ 付加情報バッファ、４ 量子化行列切替装置、５ 画像情報符号化装置、１０ 画像情報変換装置、１１符号バッファ、１２ 圧縮情報解析装置、１３ 可変長復号化装置、１４ 逆量子化装置、１５ 帯域制限装置、１６ 情報バッファ、１７ 量子化行列切替装置、１８ 量子化装置、１９ 可変長符号化装置、２０ 符号バッファ、２１符号量制御装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image information conversion apparatus and an image information conversion method for converting a bit rate of compressed image information.
[0002]
[Prior art]
In recent years, image information is handled as digital data, and the digital data is compressed by orthogonal transformation and motion compensation using redundancy unique to image information, and transmitted to network media such as satellite broadcasting and cable television, or optical discs. Devices that perform recording on storage media such as magnetic disks are widely used. In such an apparatus, generally, MPEG-2 (Moving Picture Experts Group phase-2) using discrete cosine transform is used as an image compression method.
[0003]
In recent years, standardization of digital television broadcasting using an image compression method such as MPEG-2 has been promoted. Standards for digital television broadcasting include standards corresponding to standard resolution images (for example, 576 effective lines in the vertical direction), standards corresponding to high resolution images (for example, 1152 effective lines in the vertical direction), and the like. is there.
[0004]
By the way, the image information of this high resolution image is enormous, and even if it is compressed using an encoding method such as MPEG-2, a large amount of code (bit rate) is required to obtain sufficient image quality. . For example, in the case of a 30 Hz interlaced scanning image with an image frame of 1920 pixels × 1080 pixels, a code amount of about 18 to 22 Mbps or more is required.
[0005]
For this reason, when transmitting such a high-resolution image to a network medium such as satellite broadcast or cable television, the code amount must be further reduced in accordance with the bandwidth of the transmission path. Similarly, when such a high-resolution image is recorded on a storage medium such as an optical disk or a magnetic disk, the code amount must be further reduced in accordance with the recording capacity of the medium. In addition, it is conceivable that such a need for code amount reduction occurs not only in a high-resolution image but also in a standard-resolution image (for example, a 30 Hz interlaced scanned image having an image frame of 720 pixels × 480 pixels).
[0006]
As means for solving such a problem, there are hierarchical encoding (scalability), image information conversion (transcoding), and the like. In MPEG-2, SNR scalability is standardized for the former, and this is used to hierarchically encode high SNR image compression information (bitstream) and low SNR image compression information (bitstream). . However, in order to perform hierarchical encoding, a predetermined value such as a bandwidth or a storage capacity needs to be known at the time of encoding, but in an actual system, it is often unknown. Therefore, it can be said that the latter is a method with a higher degree of freedom according to an actual system.
[0007]
In the latter image information conversion device (transcoder) using the latter image information conversion (transcoding), a decoding unit that decodes or partially decodes the input image compression information (bitstream), and this decoding An encoding unit that re-encodes the output of the encoding unit is connected in parallel, and image information is supplied from the decoding unit to the encoding unit in two regions of the spatial domain or the frequency domain.
[0008]
The conventional image information conversion apparatus in which image information is supplied from the decoding unit to the encoding unit in the former spatial region has a large calculation processing amount, but the decoded image of the compressed image information (bitstream) to be output Deterioration can be suppressed, and it is mainly used for applications such as broadcasting equipment. On the other hand, the conventional image information conversion apparatus in which image information is supplied from the decoding unit to the encoding unit in the latter frequency domain causes a slight deterioration in image quality, but less than the former image information conversion apparatus. It can be realized with an arithmetic processing amount, and is mainly used for applications of consumer devices.
[0009]
Next, a conventional image information conversion apparatus used in each of these spatial regions or frequency regions will be described with reference to the drawings.
[0010]
First, a conventional image information conversion apparatus used in the spatial domain will be described. A conventional image information conversion apparatus used in this space region is shown in FIG.
[0011]
As shown in FIG. 19, the conventional image information conversion apparatus 100 includes an image information decoding apparatus 101, an additional information buffer 102, and an image information encoding apparatus 103.
[0012]
This conventional image information conversion device 100 is a device that generally reduces the amount of code of image compression information (bitstream), and supplies image information from the image information decoding device 101 to the image information encoding device 103 as a space. Do in the area.
[0013]
First, in the conventional image information conversion apparatus 100, the image information decoding apparatus 101 receives image compression information with a high bit rate. The image information decoding apparatus 101 once completely decodes the high bit rate image compression information and outputs baseband video data. At the same time, the additional information buffer 102 is supplied with information (hereinafter referred to as additional information) used by the image information decoding apparatus 101 for decoding from the image information decoding apparatus 101, and the supplied additional information buffer 102. Store information.
[0014]
The additional information includes, for example, information for each macroblock such as a motion vector, a prediction mode, a DCT mode, a quantization scale code, a GOP header (Groupe of Picture Header), a picture header (Picture Header), a sequence Header (Sequence Header), Sequence Display Extension (Sequence Display Extension) Picture Coding Function Extension (Picture Coding Extension), Quantization Matrix Extension (Quantization Matrix Extension), Picture Display Extension (Picture Display Extension), etc. There is information about higher layers.
[0015]
The image information encoding apparatus 102 is given a target code amount (target bit rate) lower than the code amount (high bit rate) of the input image compression information in advance, and this target code amount and additional information Based on the additional information acquired from the buffer 102, encoding processing is performed. That is, the image information encoding device 103 re-encodes the baseband video data obtained as the output of the image information decoding device 101 based on the target code amount and the additional information, and converts the low-bit-rate image compression information. Output. As described above, the image information encoding apparatus 103 can reduce the increase in the amount of arithmetic processing and the deterioration in image quality associated with the re-encoding by using the additional information stored in the additional information buffer 102.
[0016]
For example, in general, when encoding image information, a large amount of calculation processing is required for motion vector search. However, in the conventional image information conversion apparatus 100, each macroblock stored in the additional information buffer 102 is By using the motion vector and the prediction mode, the encoding process can be performed without performing a motion vector search.
[0017]
Next, a conventional image information conversion apparatus used in the frequency domain will be described. A conventional image information conversion apparatus used in this frequency domain is shown in FIG.
[0018]
As shown in FIG. 20, the conventional image information conversion apparatus 110 includes a code buffer 111, a compression information analysis apparatus 112, a variable length decoding apparatus 113, an inverse quantization apparatus 114, a band limiting apparatus 115, A quantization device 116, an information buffer 117, a variable length coding device 118, a code buffer 119, and a code amount control device 120 are provided.
[0019]
The code buffer 111 receives a large amount of code compression (high bit rate) image compression information (bit stream) and accumulates the input image compression information. In this code buffer 111, the compressed image information (bit stream) encoded so as to satisfy the constraint condition of VBV (Video Buffer Verifier) defined in MPEG-2 is accumulated, so overflow and / or underflow Will never happen. Then, the code buffer 111 supplies the stored image compression information to the compression information analysis device 112.
[0020]
Based on the syntax (syntax) defined in MPEG-2, the compression information analysis device 112 uses information (hereinafter referred to as “hereinafter”) necessary for each processing described below from the compressed image information (bit stream) supplied from the code buffer 111. Analysis result information), and the extracted analysis result information is supplied to the variable length decoding device 113 and the information buffer 117. Among the analysis result information, the compression information analysis device 112 particularly relates to picture coding type information (picture_coding_type) and a quantization value for each macroblock necessary for processing in the code amount control device 120 described later. Information such as quantization scale information (q_scale) is supplied to the information buffer 117.
[0021]
The variable length decoding device 113 performs variable length decoding on the data encoded as the difference value with the adjacent block for the DC component of the intra macroblock of the image compression information supplied from the compression information analysis device 112. For other coefficients, variable-length decoding is performed on the data encoded by the run and level to obtain a quantized one-dimensional discrete cosine transform coefficient. Then, the variable length decoding device 113 reverses the one-dimensionally arranged discrete cosine transform coefficients based on the information on the scanning method (zigzag scan or alternate scan) included in the analysis result information extracted by the compression information analysis device 112. Scan and rearrange into quantized two-dimensional discrete cosine transform coefficients. The variable length decoding device 113 supplies the two-dimensional array and the quantized discrete cosine transform coefficient to the inverse quantization device 114.
[0022]
The inverse quantization device 114 inversely quantizes the two-dimensional array and the quantized discrete cosine transform coefficient based on the information regarding the quantization width and the quantization matrix included in the analysis result information. The inverse quantizer 114 supplies the inverse quantized discrete cosine transform coefficient to the band limiting device 115.
[0023]
The band limiter 115 limits the band of the high frequency component coefficient in the horizontal direction for each DCT block on the discrete cosine transform coefficient supplied from the inverse quantizer 114. Then, the band limiting device 115 supplies the discrete cosine transform coefficient subjected to the band limitation to the quantizing device 116.
[0024]
The quantizing device 116 controls the 8 × 8 discrete cosine transform coefficient supplied from the band limiting device 115 by the code amount control device 120 and outputs the target code amount (target bit) of the output image compression information (bit stream). Quantization is performed based on the quantization width corresponding to the rate. Then, the quantizing device 116 supplies the quantized discrete cosine transform coefficient to the variable length coding device 118.
[0025]
The information buffer 117 stores analysis result information such as picture coding type information (picture_coding_type) and quantization scale information (q_scale) supplied from the compression information analysis device 112. Then, the information buffer 117 supplies the stored analysis result information to the code amount control device 120.
[0026]
The variable length coding device 118 performs variable length coding of the quantized discrete cosine transform coefficient supplied from the quantization device 116 and stores the discrete cosine transform coefficient subjected to the variable length coding in the code buffer 119. Supply.
[0027]
The code buffer 119 is a buffer memory for making the information amount of the low-bit-rate image compression information to be output constant, and receives a small code amount (low-bit-rate) image compression information (bit stream). The compressed image compression information is stored. In this code buffer 119, the compressed image information (bit stream) encoded so as to satisfy the constraint condition of VBV (Video Buffer Verifier) defined in MPEG-2 is accumulated, so overflow and / or underflow Will never happen. The code buffer 119 outputs the stored image compression information and supplies it to the code amount control device 120.
[0028]
The code amount control device 120 has a target code amount (preliminarily given) so that the image compression information after variable length coding by the variable length coding device 118 does not overflow and / or underflow in the code buffer 119. Based on the target bit rate) and the analysis result information acquired from the information buffer 117, the quantization width of the quantization matrix used in the quantization device 116 is controlled.
[0029]
In the image information conversion apparatus 110 configured as described above, the inverse quantization apparatus 114 includes the two-dimensional array supplied from the variable length decoding apparatus 113 and the quantized discrete cosine transform coefficient in the analysis result information. Inverse quantization is performed based on the information regarding the quantization width and the quantization matrix, and the discrete cosine transform coefficient obtained by the inverse quantization is supplied to the band limiting device 115. Then, the quantization device 116 converts the 8 × 8 discrete cosine transform coefficient supplied from the inverse quantization device 114 via the band limiting device 115 based on the quantization width controlled by the code amount control device 120. Perform quantization. Then, the quantizing device 116 supplies the quantized discrete cosine transform coefficient to the variable length coding device 118. By processing in this way, low-bit-rate image compression information is output from the code buffer 119.
[0030]
[Problems to be solved by the invention]
By the way, a CCIR (International Radio Consultative Committee) test sequence “Mobile & Calendar” is encoded by an MPEG-2 compatible image information encoding device (hereinafter referred to as an MPEG-2 image information encoding device) compliant with Test Model 5. FIG. 21 shows the transition of each frame of the signal-to-noise ratio (hereinafter referred to as pSNR) of the luminance signal with respect to the original image of the decoded image of the image compression information (bit stream).
[0031]
Here, the encoding conditions are a bit rate of 6 Mbps and a GOP (Group of Pictures) configuration of N = 15 and M = 3. Note that N is the number of pictures in the GOP, and M is a period in which an I picture or a P picture appears.
[0032]
At this time, if the mean square error from the original image for each frame is MSE, the pSNR is expressed by the following equation (1).
[0033]
[Expression 1]

[0034]
In FIG. 21, for example, an I picture having a frame number of 3, 9, 15, etc. shows a higher pSNR than a neighboring P picture or B picture. This is because the target code amount (target bit) of the I picture is set higher than that of the P picture or B picture in the MPEG-2 image information encoding apparatus. Therefore, when the image quality of an I picture is improved, the image quality of a P picture or B picture configured with reference to this is also improved.
[0035]
On the other hand, the CCIR test sequence “Mobile & Calendar” is encoded by the MPEG-2 image information encoding apparatus with the quantization value fixed to 1 without performing the code amount control and taking into account the overflow and / or underflow of the buffer. FIG. 22 shows the transition of the pSNR of the luminance signal for each frame of the decoded image of the compressed image compression information (bit stream) for each frame.
[0036]
In FIG. 22, in contrast to the case of FIG. 21, for example, an I picture having a frame number of 3, 9, 15, etc. shows a lower pSNR than a neighboring P picture or B picture. That is, the picture quality of the I picture is lower than that of the neighboring P picture or B picture.
[0037]
This is due to the quantization matrix used in the MPEG-2 image information encoding apparatus. That is, in the MPEG-2 image information encoding apparatus, quantization matrices as shown in FIGS. 23A and 23B are defined as default values for the intra macroblock and the inter macroblock, respectively. Therefore, the intra macroblock is quantized twice with the quantization matrix shown in FIG. Therefore, as shown in FIG. 22, the I picture has a requantization distortion in a high frequency component even though a larger amount of code (bits) is assigned compared to the P picture or the B picture. It is getting bigger.
[0038]
Note that in the MPEG-2 image information encoding apparatus used in practice, the quantum shown in FIG. 23C defined in Test Model 5 is used instead of the quantization matrix defined in FIG. A generalization matrix is generally used. The experimental results shown in FIGS. 21, 22, 24, and 25 are all shown in FIG. 23A and FIG. 23C as quantization matrices for intra macro blocks and inter macro blocks, respectively. What is shown is what was used.
[0039]
In addition, image compression information (bit stream) obtained by compressing the CCIR test sequence “Mobile & Calendar” to 6 Mbps is input, and the image information conversion apparatus shown in FIG. 19 or FIG. 20 is used to further increase the code amount (bit rate). FIG. 24 and FIG. 25 show the transition of the pSNR of the luminance signal for each frame of the decoded image of the image compression information (bit stream) output as 4 Mbps after being reduced, for each frame.
[0040]
The result shown in FIG. 24 is obtained by re-calculating the motion vector by independently operating the image information decoding apparatus 101 and the image information encoding apparatus 103 without using the additional information buffer 102 in FIG. It is.
[0041]
Further, the result shown in FIG. 25 shows that the high frequency component is not reduced by the band limiter 115 in FIG. 20, and the motion compensation error is corrected for all the 8 × 8 discrete cosine transform coefficients for both the P picture and the B picture. In this case, 15 frames are secured as the capacity of the feedforward buffer shown in FIG. The normalized activity N_act is expressed by the following equation (2).
[0042]
[Expression 2]

[0043]
Here, the tendency of the image quality in FIGS. 24 and 25 is the same as that shown in FIG. 22 described above. For example, the image quality of an I picture having a frame number such as 18, 33, 48, etc. Or, it is lower than the B picture.
[0044]
The reason for this is the same as the experimental result shown in FIG. That is, due to the operation of the code amount control device 120 described above, the intra macroblock is also quantized twice with the quantization matrix shown in FIG. 23A in the experiments shown in FIGS. Therefore, the I picture has a larger requantization distortion in the high frequency component, although a larger amount of code (bits) is allocated compared to the P picture or the B picture.
[0045]
In this way, the negative effect of requantization distortion for intra macroblocks is relatively larger than the positive effect of allocating a larger amount of code (bits) to an I picture. In FIG. 25, the picture quality of the I picture is low. Subjectively, degradation of image quality in an I picture is observed as a flash phenomenon once every 15 frames (0.5 seconds). Further, this is a cause of hindering improvement in the image quality of the P picture and the B picture configured with reference to the I picture.
[0046]
Therefore, the present invention has been made in view of such a situation, and by reducing image quality degradation accompanying re-quantization in an I picture, the P picture and B picture configured based on the I picture are reduced. It is an object of the present invention to provide an image information conversion apparatus and an image information conversion method that reduce image quality deterioration.
[0047]
[Means for Solving the Problems]
  To achieve the above objective,According to the present invention, image data composed of intra-frame encoded data encoded by an intra-frame encoding method and inter-frame prediction encoded data encoded by an inter-frame predictive encoding method is orthogonally formed of predetermined pixel blocks. Compressed and encoded by orthogonal transform in units of transform blocks and two-dimensional array and quantization according to a predetermined scanning methodIn the image information conversion device for converting the first image compression information of the first bit rate into the second image compression information of the second bit rate lower than the first bit rate, the first information Decompress the image compression informationBasebandDecoding means for generating moving image information and additional information used when the decoding means decodes the first compressed image informationBased on the information about the quantization matrix obtained asThe intra-macroblock quantization matrix, which is the quantization matrix for intra-frame coding used when the first image compression information is generated, is changed to the inter-macro that is the quantization matrix for inter-frame coding. Quantization matrix switching means for switching to a block quantization matrix, and additional information used when the decoding means decodes the first image compression informationInformation for each macroblock acquired as, information on higher layers, quantization matrix switched by the quantization matrix switching means, a predetermined target code amount given in advanceAnd encoding means for orthogonally transforming the moving picture information generated by the decoding means into the second image compression information, wherein the encoding means is controlled by the quantization matrix switching means. Quantization matrix for switched intermacroblocksUsing,Quantize an intra macroblock, and a quantization matrix for an inter macroblock used when the decoding unit decodes the first image compression informationUsingThe inter-macroblock is quantized.
[0049]
  Also,The present invention provides image data comprising intra-frame encoded data encoded by an intra-frame encoding method and inter-frame prediction encoded data encoded by an inter-frame predictive encoding method.In orthogonal transform block unit consisting of predetermined pixel blocksBy orthogonal transformation and two-dimensional array and quantization according to a predetermined scanning methodCompression codingWasIn the image information conversion device for converting the first image compression information of the first bit rate into the second image compression information of the second bit rate lower than the first bit rate. The first image compression informationIs analyzed, and information about the quantization width and quantization matrix and picture coding type information are extracted as analysis result information.Image compression information analysis means and image compression information analysis meansBased on the information on the quantization width extracted from the first image compression information as the analysis result information byInverse quantization means for inversely quantizing orthogonal transform coefficients of the first image compression information input to the image compression information analysis means;Band limiting means for limiting only the value of the horizontal high-frequency component of the orthogonal transform coefficient inversely quantized by the inverse quantization means, and only the horizontal high-frequency component of the orthogonal transform coefficient is limited by the band limiting hand.Quantization means for requantizing the orthogonal transform coefficient of the first image compression information, and the image compression information analysis meansBased on the information about the quantization matrix extracted from the first image compression information as the analysis result information byThe intra-macroblock quantization matrix that is the intra-frame encoding quantization matrix used when the first image compression information is generated is changed to the inter-frame encoding quantization matrix. Quantization matrix switching means for switching to a quantization matrix for blocksWhen,Image compression information analysis meansExtracted from the first compressed image information as analysis result informationthe abovePicture coding type informationAnd the predetermined target code amount,Quantization width of quantization meansCode amount control means for controlling and controlling the code amount of the second image compression information to be outputAndThe quantization means includes a quantization matrix for an inter macroblock switched by the quantization matrix switching means,Controlled by the code amount control meansBased on the quantization width, the intra macroblock is requantized, and the quantization matrix for the inter macroblock used when the inverse quantization means inversely quantizes the first image compression information;Controlled by the code amount control meansThe inter-macroblock is requantized based on the quantization width.
[0051]
  Also,According to the present invention, image data composed of intra-frame encoded data encoded by an intra-frame encoding method and inter-frame prediction encoded data encoded by an inter-frame predictive encoding method is orthogonally formed of predetermined pixel blocks. Compressed and encoded by orthogonal transform in units of transform blocks and two-dimensional array and quantization according to a predetermined scanning methodIn the image information conversion method for converting the first image compression information of the first bit rate into the second image compression information of the second bit rate lower than the first bit rate, the first information Decompress the image compression informationBasebandAdditional information used when generating moving image information and decoding the first compressed image informationBased on the information about the quantization matrix obtained asThe intra-macroblock quantization matrix, which is the quantization matrix for intra-frame coding used when the first image compression information is generated, is changed to the inter-macro that is the quantization matrix for inter-frame coding. Additional information used when switching to the block quantization matrix and decoding the first compressed image informationInformation for each macroblock acquired as: information on higher layers, switched quantization matrix, predetermined target code amount given in advanceWhen the moving image information is orthogonally transformed and encoded into the second compressed image information, the quantization matrix for the switched inter macroblock is changed.Using,Quantization matrix for inter-macroblock used when re-quantizing an intra macroblock and the decoding means decodes the first image compression informationUsing, And re-quantizing the inter macroblock.
[0053]
  further,The present invention provides image data comprising intra-frame encoded data encoded by an intra-frame encoding method and inter-frame prediction encoded data encoded by an inter-frame predictive encoding method.In orthogonal transform block unit consisting of predetermined pixel blocksBy orthogonal transformation and two-dimensional array and quantization according to a predetermined scanning methodCompression codingWasIn the image information conversion method for converting the first image compression information of the first bit rate into the second image compression information of the second bit rate lower than the first bit rate, input The first image compression informationIs analyzed, and information on the quantization width and quantization matrix and picture coding type information are extracted as analysis result information.the aboveBased on information about the quantization matrix extracted from the first image compression information as analysis result information,The intra-macroblock quantization matrix, which is the quantization matrix for intra-frame coding used when the first image compression information is generated, is changed to the inter-macro that is the quantization matrix for inter-frame coding. Switch to block quantization matrix,the aboveBased on the quantization width information extracted from the first image compression information as analysis result information,Inverse quantization of the orthogonal transform coefficient of the first image compression information,Only the value of the high frequency component in the horizontal direction of the orthogonal transform coefficient that was inversely quantized was restricted, and only the high frequency component in the horizontal direction was restricted.In requantizing the orthogonal transform coefficient of the first image compression information,Extracted from the first compressed image information as analysis result informationthe abovePicture coding type informationAnd a predetermined target code amountQuantization widthControlBased on the switched quantization matrix for the inter-macroblock and the controlled quantization width, the intra-macroblock is re-quantized and the inter-block used when the first image compression information is inverse-quantized is used. Re-quantize the inter-macroblock based on the quantization matrix for the macroblock and the controlled quantization width.Thus, the second image compression information in which the code amount is controlled is generated.
[0055]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a first embodiment to which the present invention is applied will be described with reference to the drawings.
[0056]
An image information conversion apparatus according to the first embodiment to which the present invention is applied includes a code amount (bits) of image compression information (bit stream) encoded by, for example, MPEG-2 (Moving Picture Experts Group phase-2) system. This is a device that outputs low-bit-rate image compression information. In the image information conversion apparatus according to the first embodiment to which the present invention is applied, the supply of the image information from the decoding unit that decodes the image information to the encoding unit that encodes the image information is performed in the spatial domain. It has been broken. FIG. 1 shows an image information conversion apparatus according to a first embodiment to which the present invention is applied. Note that MPEG-2 is a compression method of image information corresponding to both interlaced scanning images and progressive scanning images, and standard resolution images and high resolution images.
[0057]
As shown in FIG. 1, the image information conversion apparatus 1 includes an image information decoding apparatus 2, an additional information buffer 3, a quantization matrix switching apparatus 4, and an image information encoding apparatus 5. This image information conversion device 1 is generally a device that reduces the amount of code of image compression information (bitstream), and supplies image information from the image information decoding device 2 to the image information encoding device 5 in the spatial domain. To do.
[0058]
The image information decoding device 2 receives high-bit-rate image compression information, and once completely decodes the input high-bit-rate image compression information. The baseband video data obtained as a result of the decoding is This is supplied to the image information encoding device 5. Simultaneously with this processing, the image information decoding device 2 supplies the additional information buffer 3 with the additional information used for the decoding processing on the input high-bit-rate image compression information.
[0059]
The additional information includes, for example, information for each macroblock such as a motion vector, a prediction mode, a DCT mode, a quantization scale code, a GOP header (Groupe of Picture Header), a picture header (Picture Header), a sequence Header (Sequence Header), Sequence Display Extension (Sequence Display Extension) Picture Coding Function Extension (Picture Coding Extension), Quantization Matrix Extension (Quantization Matrix Extension), Picture Display Extension (Picture Display Extension), etc. There is information about higher layers.
[0060]
The additional information buffer 3 stores additional information supplied from the image information decoding device 2. Specifically, the additional information buffer 3 is supplied from the image information decoding device 2 and stores information regarding two quantization matrices for the intra macroblock and the inter macroblock used by the image information decoding device 2. To do. That is, here, the additional information includes information on the quantization matrix for intra macroblocks as shown in FIG. 2A and information on the quantization matrix for inter macroblocks as shown in FIG. And shall be included.
[0061]
Then, the additional information buffer 3 converts only the information related to the inter-macroblock quantization matrix out of the supplied information related to the two quantization matrices according to the control information from the quantization matrix switching device 4. To the matrix matrix switching device 4.
[0062]
Based on the additional information acquired from the additional information buffer 3, the quantization matrix switching device 4 uses the intra-frame coding used when the high bit rate image compression information input to the image information decoding device 2 is generated. The intra-macroblock quantization matrix, which is a quantization matrix for use, is switched to an inter-macroblock quantization matrix, which is a quantization matrix for interframe coding.
[0063]
Specifically, the quantization matrix switching device 4 selects only information related to the intermacroblock quantization matrix from the additional information stored in the additional information buffer 3, and selects the selected information from the additional information buffer. Get from 3. Then, the quantization matrix switching device 4 is used when high bit rate image compression information input to the image information decoding device 2 is generated based on the acquired information regarding the inter-macroblock quantization matrix. The quantization matrix for the received intra macroblock is switched to the quantization matrix for the inter macroblock. Thereafter, the quantization matrix switching device 4 supplies the switched inter-macroblock quantization matrix to the image information encoding device 5.
[0064]
However, when the (0,0) component of the switched inter-macroblock quantization matrix is not 8, the quantization matrix switching device 4 is, for example, the (0,0) as shown in FIG. A quantization matrix in which the component is converted to 8 is generated, and the generated quantization matrix is supplied to the image information encoding device 5. This is because the MPEG-2 standard stipulates that the (0, 0) component of the quantization matrix is 8.
[0065]
The image information encoding device 5 is given a target code amount (target bit rate) lower than the code amount (high bit rate) of the input image compression information in advance, and this target code amount and the additional information buffer 3 The encoding process is performed based on the additional information acquired from the above and the quantization matrix supplied from the quantization matrix switching device 4. That is, the image information encoding device 5 re-encodes the baseband video data supplied from the image information decoding device 2 based on the target code amount, the additional information, and the quantization matrix, and compresses the image at a low bit rate. Output information.
[0066]
For example, the image information encoding device 5 quantizes the intra macroblock based on the target code amount, the additional information, and the quantization matrix for the inter macroblock switched by the quantization matrix switching device 4. In addition, the image information encoding device 5 includes an inter-macroblock quantization matrix used for decoding the target code amount, the additional information, and the high-bit-rate image compression information input by the image information decoding device 2. Based on, the inter macroblock is quantized.
[0067]
In the image information conversion device 1 configured as described above, the high-bit-rate image compression information input to the image information decoding device 2 is once completely decoded by the image information decoding device 2 and then the baseband video. The data is supplied to the image information encoding device 5 as data. Then, the baseband video data supplied to the image information encoding device 5 is re-encoded by the image information encoding device 5 based on the target code amount, the additional information, and the quantization matrix, and has a low bit rate. Is output as compressed image information.
[0068]
Next, FIG. 4 shows the results of measurement performed using the quantization matrix switching device 4 in the image information conversion device 1 according to the first embodiment to which the present invention is applied. FIG. 5 shows a measurement result representing how much the image quality is improved by the measurement under the same conditions by the pSNR of the luminance signal.
[0069]
In this case, the input image compression information (bit stream) is converted into the quantization matrix for each of the intra macroblock and the inter macroblock with the quantization shown in FIGS. 6 (a) and 6 (c). Use a matrix. Therefore, the quantization matrix for intra macroblocks used for the output image compression information (bitstream) is as shown in FIG. However, the quantization matrix for the inter macro block remains the quantization matrix shown in FIG.
[0070]
In the image information conversion apparatus 1, FIG. 5 shows a change in the measurement result represented by the pSNR of the luminance signal when the quantization matrix is switched and when the quantization matrix is not switched. Shown in
[0071]
As shown in FIG. 5, in the image information conversion apparatus 1, there is a significant improvement in image quality of about 1.0 to 3.0 dB for an I picture by switching the quantization matrix. The flash phenomenon observed in FIG. 4 is no longer observed. The image quality of P pictures and B pictures configured based on I pictures is also improved.
[0072]
Next, FIG. 8 shows a diagram in which the code amount (bit) assigned to each frame of the output image compression information (bit stream) is measured by the measurement shown in FIG.
[0073]
In the image information conversion apparatus 1, as shown in FIG. 8, the high frequency component is roughly quantized by switching the quantization matrix used in the image information encoding apparatus 5 to the quantization matrix for the inter macroblock. At the same time, more codes (bits) are allocated to the I picture, and fewer codes (bits) are allocated to the P picture, thereby improving the picture quality of the I picture. The picture quality of the P picture and B picture configured based on the picture quality is improved.
[0074]
As described above, in the image information conversion apparatus 1 according to the first embodiment to which the present invention is applied, the quantization matrix used in the image information encoding apparatus 5 is obtained from the quantization matrix for the intra macroblock. By switching to an inter-macroblock quantization matrix that does not coarsely quantize high-frequency components compared to an intra-macroblock quantization matrix, image quality degradation in I-pictures is prevented, and subjective image flash phenomenon By avoiding this, it is possible to improve the picture quality of the P picture and B picture configured based on this I picture.
[0075]
Further, in the image information conversion device 1 according to the first embodiment to which the present invention is applied, the intermacroblock quantization matrix is used for both the intramacroblock and the intermacroblock as described above. The quantization matrix switching device 4 includes a storage medium and does not need to store a quantization matrix for switching.
[0076]
In the image information conversion apparatus 1 described above, image compression information (bit stream) according to MPEG-2 is input. However, if the image compression information (bit stream) is encoded by orthogonal transformation and motion compensation, For example, MPEG-1 and H.264. Image compression information (bit stream) such as H.263 may be input.
[0077]
Next, a second embodiment to which the present invention is applied will be described with reference to the drawings.
[0078]
The image information conversion apparatus according to the second embodiment to which the present invention is applied is similar to the image information conversion apparatus 1 according to the first embodiment described above, for example, in the image compression encoded by the MPEG-2 system. This is a device that reduces the code amount (bit rate) of information (bit stream) and outputs low bit rate image compression information. In the image information conversion apparatus according to the second embodiment to which the present invention is applied, the image information is supplied from the decoding unit that decodes the image information to the encoding unit that encodes the image information in the frequency domain. It has been broken. An image information conversion apparatus according to a second embodiment to which the present invention is applied is shown in FIG.
[0079]
As shown in FIG. 9, the image information conversion apparatus 10 includes a code buffer 11, a compression information analysis apparatus 12, a variable length decoding apparatus 13, an inverse quantization apparatus 14, a band limiting apparatus 15, and an information buffer. 16, a quantization matrix switching device 17, a quantization device 18, a variable length coding device 19, a code buffer 20, and a code amount control device 21.
[0080]
The code buffer 11 receives a large amount of code compression (high bit rate) image compression information (bit stream) and accumulates the input image compression information. In this code buffer 11, image compression information (bit stream) encoded so as to satisfy the constraint condition of VBV (Video Buffer Verifier) defined in MPEG-2 is accumulated, so overflow and / or underflow Will never happen. Then, the code buffer 11 supplies the stored image compression information to the compression information analysis device 12.
[0081]
Based on the syntax (syntax) defined by MPEG-2, the compression information analysis device 12 extracts information necessary for each process to be described later from the compressed image information (bitstream) supplied from the code buffer 11. The extracted information (hereinafter referred to as analysis result information) is supplied to the variable length decoding device 13 and the information buffer 16. Among the analysis result information, the compression information analysis device 12 particularly relates to picture coding type information (picture_coding_type) and a quantization value for each macroblock, which are necessary for processing in the code amount control device 21 described later. Information such as quantization scale information (q_scale) is supplied to the information buffer 16.
[0082]
The variable length decoding device 13 performs variable length decoding on the data encoded as the difference value with the adjacent block for the DC component of the intra macroblock of the image compression information supplied from the compression information analysis device 12. For other coefficients, variable-length decoding is performed on the data encoded by the run and level to obtain a quantized one-dimensional discrete cosine transform coefficient. Then, the variable length decoding device 13 has information on the scanning method (zigzag scan shown in FIG. 10A or alternate scan shown in FIG. 10B) included in the analysis result information extracted by the compression information analysis device 12. Then, the one-dimensionally arranged discrete cosine transform coefficients are reverse-scanned and rearranged into quantized two-dimensional discrete cosine transform coefficients. The variable length decoding device 13 supplies the two-dimensional array and the quantized discrete cosine transform coefficient to the inverse quantization device 14.
[0083]
The inverse quantization device 14 inversely quantizes the two-dimensional array and the quantized discrete cosine transform coefficient based on the information regarding the quantization width and the quantization matrix included in the analysis result information. The inverse quantization device 14 supplies the inverse limited quantized discrete cosine transform coefficient to the band limiting device 15.
[0084]
The band limiter 15 limits the band of the high frequency component coefficient in the horizontal direction for each DCT block with respect to the discrete cosine transform coefficient supplied from the inverse quantizer 14.
[0085]
FIG. 11 shows an example of the band limiting process for the horizontal high-frequency component in the band limiting device 15. For example, with respect to the luminance signal, the band limiting device 15 stores only the value of the 8 × 6 coefficient that is the low frequency component in the horizontal direction among the 8 × 8 discrete cosine transform coefficients as shown in FIG. Replace the rest with 0. Further, as shown in FIG. 11B, the band limiting device 15 stores only the value of the 8 × 4 coefficient that is the low frequency component in the horizontal direction among the 8 × 8 discrete cosine transform coefficients. And replace the rest with 0. Thus, by limiting the band of the high frequency component of the discrete cosine transform coefficient, the code amount (bit rate) can be reduced in the frequency domain.
[0086]
Further, when the input image compression information (bit stream) is that of an interlaced scan image, the vertical high frequency component of the discrete cosine transform coefficient includes information on the time difference between fields. Therefore, performing band limitation on the discrete cosine transform coefficient in the vertical direction leads to significant image quality degradation. Therefore, the band limiting device 15 does not limit the band in the vertical direction.
[0087]
In addition, the band limiting device 15 limits the band to a color difference signal that is more difficult to be noticed by humans than a luminance signal that is more easily degraded by humans. Thus, the band limiting device 15 can reduce requantization distortion while minimizing image quality degradation. Note that when the code amount (bit rate) to be reduced is small or there is a circuit limitation, the band limitation of the luminance signal and the color difference signal may be the same.
[0088]
Furthermore, the band limiting process of the horizontal discrete cosine transform coefficient in the band limiting device 15 is not limited to the process of setting the coefficient as 0 as shown in FIG. For example, the code amount (bit rate) can be similarly reduced by multiplying a horizontal coefficient in the horizontal direction of the discrete cosine transform by a weight coefficient prepared in advance, instead of replacing 0.
[0089]
The band limiting device 15 supplies the quantizing device 18 with the discrete cosine transform coefficient subjected to the band limitation as described above.
[0090]
The information buffer 16 stores analysis result information such as picture coding type information (picture_coding_type) and quantization scale information (q_scale) supplied from the compression information analysis device 12. Then, the information buffer 16 supplies the stored analysis result information to the quantization matrix switching device 17 and the code amount control device 21.
[0091]
Based on the analysis result information acquired from the information buffer 16, the quantization matrix switching device 17 uses the quantum for the intra macroblock used when the high bit rate image compression information input to the code buffer 11 is generated. The quantization matrix is switched to the quantization matrix for the inter macroblock.
[0092]
Specifically, the quantization matrix switching device 17 selects only information related to the quantization matrix for the inter macroblock from the additional information stored in the information buffer 16, and the selected information is read from the information buffer 16. get. The quantization matrix switching device 17 is used when high bit rate image compression information input to the code buffer 11 is generated based on the acquired information about the intermacroblock quantization matrix. The intra-macroblock quantization matrix is switched to the inter-macroblock quantization matrix. Thereafter, the quantization matrix switching device 17 supplies the switched quantization matrix for the inter macroblock to the quantization device 18.
[0093]
However, when the (0,0) component of the switched inter-macroblock quantization matrix is not 8, the quantization matrix switching device 17 performs, for example, the (0,0) th (0,0) as shown in FIG. A quantization matrix in which the component is converted to 8 is generated, and the generated quantization matrix is supplied to the quantization device 18. This is also because the MPEG-2 standard stipulates that the (0,0) component of the quantization matrix is 8.
[0094]
The quantizing device 18 converts the 8 × 8 discrete cosine transform coefficient supplied from the band limiting device 15 into the quantization matrix supplied from the quantization matrix switching device 17 and a code amount control device 21 as described below. The quantization is performed based on the quantization width corresponding to the target code amount (target bit rate) of the output image compression information (bit stream) to be controlled. Then, the quantizing device 18 supplies the quantized discrete cosine transform coefficient to the variable length coding device 19.
[0095]
For example, the quantization device 18 quantizes the intra macroblock based on the quantization matrix for the inter macroblock switched by the quantization matrix switching device 17 and the quantization width. Further, the quantizing device 18 is based on the inter-macroblock quantization matrix and the quantization width used when the inverse quantizing device 14 dequantizes the high-bit-rate compressed image information. Quantize the inter macroblock.
[0096]
The variable length coding device 19 performs variable length coding of the quantized discrete cosine transform coefficient supplied from the quantization device 18, and stores the discrete cosine transform coefficient subjected to the variable length coding in the code buffer 20. Supply.
[0097]
The code buffer 20 is a buffer memory for making the amount of information of the low-bit-rate image compression information to be output constant. The code buffer 20 receives a small code amount (low-bit-rate) image compression information (bit stream) as an input. The compressed image compression information is stored. In this code buffer 20, image compression information (bit stream) encoded so as to satisfy the constraint condition of VBV (Video Buffer Verifier) defined in MPEG-2 is accumulated, so overflow and / or underflow Will never happen. The code buffer 20 outputs the stored image compression information and supplies it to the code amount control device 21.
[0098]
The code amount control device 21 receives a target code amount (previously given) so that the image compression information after the variable length coding by the variable length coding device 19 does not overflow and / or underflow in the code buffer 20. Based on the target bit rate) and the analysis result information acquired from the information buffer 16, the quantization width of the quantization matrix used in the quantization device 18 is controlled.
[0099]
In the image information conversion apparatus 1 configured as described above, the inverse quantization apparatus 14 includes the two-dimensional array supplied from the variable length decoding apparatus 13 and the quantized discrete cosine transform coefficient in the analysis result information. Inverse quantization is performed based on the information regarding the quantization width and the quantization matrix, and the dequantized discrete cosine transform coefficient is supplied to the band limiting device 15. Then, the quantization device 18 converts the 8 × 8 discrete cosine transform coefficient supplied from the inverse quantization device 14 via the band limiting device 15, the quantization matrix supplied from the quantization matrix switching device 17, and the code amount Quantization is performed based on the quantization width controlled by the control device 21. Then, the quantizing device 18 supplies the quantized discrete cosine transform coefficient to the variable length coding device 19. By processing in this way, low-bit-rate image compression information is output from the code buffer 20.
[0100]
Next, the processing in the code amount control device 21 will be described in detail.
[0101]
In the technique used in MPEG-2 Test Model 5 (ISO / IEC JTC1 / SC29 / WG11N0400) applied in an image information encoding apparatus compatible with MPEG-2, first, each picture (I picture, The allocated bit amount for the P picture and the B picture is distributed based on the bit amount allocated to the picture that has not been encoded in the GOP, including the allocation target picture. Next, in order to match the allocated bit amount for each allocated picture with the actual code amount, the quantization scale code is based on the storage capacity of three types of virtual buffers set independently for each picture, It is obtained by feedback control in units of macro blocks. Next, each of the macros is quantized so that the obtained quantization scale code is quantized more finely in a flat part that is visually noticeable, and coarser in a complicated part of a pattern that is relatively inconspicuous. Varies depending on the activity of each block.
[0102]
As described above, the image information conversion apparatus 10 according to the embodiment to which the present invention is applied is also subjected to code amount control by an algorithm in accordance with the method defined in Test Model 5.
[0103]
However, if this method is applied as it is to the encoding unit of the image information conversion apparatus 10 shown in FIG. 9, the following two problems arise.
[0104]
First, the first problem is related to the contents to be processed first in the method used in the above-described MPEG-2 Test Model 5. That is, in the image information conversion apparatus compatible with MPEG-2, the GOP structure is given in advance, and the first processing can be performed based on this structure, whereas the image information conversion apparatus shown in FIG. 10, the GOP structure is known by syntactically analyzing all the information for one GOP in the input image compression information (bitstream). The length of the GOP is not always constant. In the MPEG-2 compatible image information conversion apparatus, a scene change is detected, and the GOP length is adaptively set in the image compression information (bitstream) accordingly. There is also a thing to control with.
[0105]
The second problem is related to the content to be processed last in the technique used in the above-described MPEG-2 Test Model 5. That is, in the MPEG-2 compliant image information conversion apparatus, the activity is calculated using the luminance signal pixel value of the original image. However, since the image information conversion apparatus 10 shown in FIG. 9 receives MPEG-2 compliant image compression information (bitstream) as an input, it is impossible to know the luminance signal pixel value of the original image.
[0106]
Therefore, as a method for solving the first problem, there is a method in which a pseudo GOP as described below is defined and the code amount control is performed based on the pseudo GOP. Here, the pseudo GOP refers to a pseudo GOP composed of one I picture and a plurality of P pictures and B pictures. The length of the pseudo GOP is variable and depends on how the I picture is detected in the image compression information (bit stream).
[0107]
Hereinafter, a flow of a series of processes in the code amount control apparatus 21 including a method for solving the first problem and the second problem will be described with reference to a flowchart shown in FIG.
[0108]
First, in step S1 of FIG. 12, the information buffer 16 includes a circular buffer for storing picture_coding_type as shown in FIG. This circular buffer has a storage capacity for storing 256 picture_coding_type, which is the same as the maximum number of frames that can be included in one GOP, as defined by MPEG. An initial value is stored in advance in each element of the circular buffer.
[0109]
Here, a case is considered where the information of each frame included in the image compression information (bit stream) is processed up to P, B, B, I, B, and B, and the next P picture is processed. In this case, in the image information conversion apparatus 10, first, picture_coding_type for several frames is prefetched by the feedforward buffer provided in the compression information analysis apparatus 12, and the elements of the circular buffer are updated. The size of this feedforward buffer is arbitrary, but is 6 frames in the circular buffer shown in FIG. The length of the pseudo GOP is set by referring to the pointer a indicating the current I picture and the pointer b indicating the next I picture from the state of the circular buffer shown in FIG. Furthermore, the configuration of the pseudo GOP is set from the pointer d indicating the last frame of the feedforward buffer and the length of the pseudo GOP that has already been set.
[0110]
Thus, the configuration of the pseudo GOP is set by preparsing.
[0111]
Subsequently, in step S2, the configuration of the pseudo GOP set as described above is [B₁, B₂, P₁, B_Three, B_Four, I₁, B_Five, B₆, ..., P_L, B_M-1, B_M], L_pgop, which is the size of the pseudo GOP, is expressed by the following equation (3).
[0112]
[Equation 3]

[0113]
At this time, the target code amount (target bit) T of each picture (each frame) of the I picture, P picture, and B picture_i, T_p, T_bAre calculated by the following equations (4), (5), and (6), respectively.
[0114]
[Expression 4]

[0115]
[Equation 5]

[0116]
[Formula 6]

[0117]
Where R is the amount of bits allocated to a picture that has not been encoded in the GOP, including the picture to be allocated, Θ is a frame that has already been processed in the pseudo GOP, and Ω is in the pseudo GOP , Where F is a frame rate, and B is a code amount (bit rate) of image compression information to be output, the following expressions (7) and (8) are used.
[0118]
[Expression 7]

[0119]
[Equation 8]

[0120]
X () is a parameter (global complexity measure) representing the complexity of each frame, and when pre-parsing is performed by the compression information analysis apparatus 12, S is the total code amount (number of bits) of the frame. If Q, which is an average quantization scale code, is calculated in advance, it is expressed by the following equation (9).
[0121]
[Equation 9]

[0122]
In addition, K_pAnd K_bAre the ratios of the quantization scale codes of the P picture and the B picture based on the quantization scale code of the I picture defined in MPEG-2 Test Model 5, and are expressed by the following equation (10). Is done.
[0123]
[Expression 10]

[0124]
And K_pAnd K_bIs the value expressed by the above equation (10), it is always assumed that the overall image quality is optimized.
[0125]
Subsequently, in step S3, the actual generated code amount and the allocated bit amount (T for each picture calculated in step 2)._i, T_p, T_b), The quantization scale code is obtained by feedback control in units of macroblocks based on the capacities of three types of virtual buffers set independently for each picture type.
[0126]
First, prior to encoding the j-th macroblock, the virtual buffer occupation amount is expressed by the following equations (11), (12), and (13).
[0127]
## EQU11 ##

[0128]
[Expression 12]

[0129]
[Formula 13]

[0130]
However, “d” shown in these equations (11) to (13)₀ ⁱ"," D₀ ^p"," D₀ ^b"Is the initial occupancy of the virtual buffer for each picture of I, P, B._j“Is the amount of generated bits from the beginning of the picture to the j-th macroblock, and“ MB_cnt ”is the number of macroblocks in one picture. Each virtual buffer occupancy (d_{MB_cnt} ⁱ, D_{MB_cnt} ^p, D_{MB_cnt} ^b) Are the same picture type, and the initial virtual buffer occupancy for the next picture (d₀ ⁱ, D₀ ^p, D₀ ^b).
[0131]
Next, the quantization scale code for the j-th macroblock is expressed by the following equation (14).
[0132]
[Expression 14]

[0133]
However, “r” shown in the equation (14) is a variable for controlling the response of the feedback loop called a reaction parameter, and is given by the following equation (15).
[0134]
[Expression 15]

[0135]
The initial value of the virtual buffer at the start of encoding is given by the following equation (16).
[0136]
[Expression 16]

[0137]
Subsequently, in step S4, the quantization scale Q of each macroblock in the input image compression information (bitstream) is calculated using the luminance signal pixel value of the original image at the time of encoding. Therefore, first, the compression information analyzer 12 extracts the quantization scale Q and the code amount (number of bits) B of each macroblock in the frame when preparsing is performed, and the extracted quantization The scale Q and the code amount (number of bits) B are stored in the information buffer 16. At the same time, the compression information analyzer 12 calculates in advance the average values E (Q), E (B) of the Q and B of the entire frame, or the average value E (QB) of the product, and these values Is stored in the information buffer 16.
[0138]
Further, in the code amount control device 21, the normalized activity N_act is calculated from the following formulas (17), (18), and (19) based on the Q and B information stored in the information buffer 16. Represented by either expression.
[0139]
[Expression 17]

[0140]
[Formula 18]

[0141]
[Equation 19]

[0142]
Of these, equations (18) and (19) are equivalent processes. Thus, adaptive quantization is performed based on the normalized activity N_act calculated in the DCT domain. When the image quality is evaluated by the signal-to-noise ratio (pSNR), the expression (17) has a higher image quality, but the subjective image quality is the one expressed by the expression (18) or the expression (19). Is good.
[0143]
Subsequently, in step S5, first, the quantized value in the input image compression information (bitstream) for a predetermined macroblock is Q1, and the output image represented by the code amount control device 21 by the above method is output. The quantized value for the compressed information (bit stream) is Q2. Since the image information conversion apparatus 10 is for reducing the code amount (bit rate), when Q1> Q2, the result of requantizing the coarsely quantized macroblock once is obtained. It is finely quantized. Distortion due to coarse quantization is not reduced by fine requantization. In addition, since many bits are used for this macroblock, the number of bits allocated to other macroblocks is reduced, causing further deterioration in image quality. Therefore, when Q1> Q2, Q1 = Q2.
[0144]
That is, when Q1> Q2, Q1 is output. On the other hand, when Q1> Q2, Q2 is output.
[0145]
The discrete cosine transform coefficient re-quantized through the above processing is supplied from the quantization device 18 to the variable length coding device 19.
[0146]
The variable length encoding device 19 encodes the quantized discrete cosine transform coefficient supplied from the quantization device 18 so that the average code length is shortened. At that time, the variable length encoding device 19 encodes the difference for the DC component of the discrete cosine transform coefficient using the DC component coefficient of the previous block as a predicted value, and for the other components, a preset scanning method. After rearranging to one-dimensional array data based on (zigzag scan or alternate scan), variable length encoding is performed using pairs of consecutive 0 coefficients (runs) and non-zero coefficients (levels) as events.
[0147]
The quantizer 18 outputs a code called EOB (End Of Block) when all the values of subsequent coefficients become 0 during scanning in the DCT block, End variable-length encoding for the block.
[0148]
Note that the variable-length encoding device 19 may arrange discrete cosine transform coefficients into one-dimensional data by the alternate scan method regardless of the scan method of the input high compression rate (high bit rate) image compression information. . The reason why the discrete cosine transform coefficients are arranged in the one-dimensional data by the alternate scan method is as follows.
[0149]
That is, it is assumed that the discrete cosine transform coefficient of a predetermined block of the input image compression information (bit stream) is as shown in FIG. In FIG. 14, the coefficient indicated by ● is a non-zero coefficient, and the coefficient indicated by ◯ is a zero coefficient. Assuming that the horizontal high-frequency component of the discrete cosine transform coefficient is 0 with respect to such a discrete cosine transform coefficient, the distribution of non-zero coefficients is as shown in FIG. When the discrete cosine transform coefficient in which the horizontal high-frequency component shown in FIG. 14B is 0 is re-encoded by zigzag scanning, the last non-zero coefficient scan number is 50 (see FIG. 10A). On the other hand, when scan conversion is performed and encoding is performed again by alternate scan, the scan number of the last non-zero coefficient becomes 44 (see FIG. 10B). Therefore, when variable-length coding is applied to the discrete cosine transform coefficient with the horizontal high-frequency component set to 0, the EOB signal is set with a scan number earlier than that in the case of the zigzag scan if scanning is performed by the alternate scan method. can do. Therefore, a finer value can be assigned as the quantization width, and the quantization distortion accompanying requantization can be reduced.
[0150]
The discrete cosine transform coefficient variable-length encoded by the variable-length encoding device 19 is supplied to the code buffer 20, temporarily stored in the code buffer 20, and then has a bit stream structure defined in MPEG-2. And output as compressed image information.
[0151]
Next, FIG. 15 shows the measurement results performed using the quantization matrix switching device 17 in the image information conversion device 10 according to the second embodiment to which the present invention is applied, and the same conditions as the measurement used at this time FIG. 16 shows a measurement result in which how much the image quality is improved by the measurement at 1 is represented by the pSNR of the luminance signal.
[0152]
In this case, the input image compression information (bit stream) is converted into the quantization matrix for each of the intra macroblock and the inter macroblock with the quantization shown in FIGS. 6 (a) and 6 (c). Use a matrix. Therefore, the quantization matrix for intra macroblocks used for the output image compression information (bitstream) is as shown in FIG. However, the quantization matrix for the inter macro block remains the quantization matrix shown in FIG.
[0153]
FIG. 16 is a diagram showing changes in the measurement result represented by the pSNR of the luminance signal in the image information conversion apparatus 10 when the quantization matrix is switched and when the quantization matrix is not switched. Shown in
[0154]
As shown in FIG. 16, in the image information conversion apparatus 10, by switching the quantization matrix, the picture quality of the I picture is improved by about 0.4 dB, and the subjective evaluation is also observed in FIG. No flash phenomenon is observed. The image quality of P pictures and B pictures configured based on I pictures is also improved.
[0155]
Next, FIG. 17 shows a diagram in which the code amount (bit) assigned to each frame of the output image compression information (bit stream) is measured by the measurement shown in FIG.
[0156]
In the image information conversion apparatus 10, as shown in FIG. 17, the quantization matrix used in the quantization apparatus 18 is switched to a quantization matrix for an inter macroblock, thereby preventing high frequency components from being roughly quantized. Has been.
[0157]
As described above, in the image information conversion apparatus 10 according to the second embodiment to which the present invention is applied, the data amount of each block can be transferred in the frequency domain to reduce the code amount (bit rate). Therefore, the amount of calculation is reduced and the circuit configuration can be greatly reduced as compared with the conventional image information conversion apparatus that decodes and encodes even baseband video data.
[0158]
Further, in the image information conversion apparatus 10 according to the second embodiment to which the present invention is applied, the quantization matrix used in the quantization apparatus 18 is changed from the quantization matrix for the intra macroblock to the quantum for the intra macroblock. By switching to an inter-macroblock quantization matrix that does not coarsely quantize high-frequency components compared to the quantization matrix, image quality degradation in I pictures can be prevented, and the flash phenomenon of images can be avoided subjectively The image quality of the P picture and B picture configured based on this I picture can also be improved.
[0159]
Further, in the image information conversion apparatus 10 according to the second embodiment to which the present invention is applied, the quantization matrix for the inter macro block is used for both the intra macro block and the inter macro block in this way. The quantization matrix switching device 17 includes a storage medium and does not need to store a quantization matrix for switching.
[0160]
In the image information conversion apparatus 10 described above, image compression information (bit stream) according to MPEG-2 is input. However, if the image compression information (bit stream) is encoded by orthogonal transformation and motion compensation, For example, MPEG-1 and H.264. Image compression information (bit stream) such as H.263 may be input.
[0161]
Next, a third embodiment to which the present invention is applied will be described with reference to the drawings.
[0162]
The image information conversion apparatus according to the third embodiment to which the present invention is applied is similar to the image information conversion apparatus 1 according to the first embodiment described above, for example, in the image compression encoded by the MPEG-2 system. This is a device that reduces the code amount (bit rate) of information (bit stream) and outputs low-bit-rate image compression information. In the image information conversion apparatus according to the second embodiment to which the present invention is applied, the image information is supplied from the decoding unit that decodes the image information to the encoding unit that encodes the image information in the frequency domain. It has been broken. FIG. 18 shows an image information conversion apparatus according to a third embodiment to which the present invention is applied.
[0163]
In describing the image information conversion apparatus 30, the same components as those of the image information conversion apparatus 10 according to the second embodiment are denoted by the same reference numerals in the drawings, and detailed description thereof is omitted. To do.
[0164]
As shown in FIG. 18, the quantization matrix switching device 17 is used when high-bit-rate image compression information input to the code buffer 11 is generated based on the analysis result information acquired from the information buffer 16. The intra-macroblock quantization matrix is switched to the inter-macroblock quantization matrix.
[0165]
Specifically, the quantization matrix switching device 17 selects only information related to the quantization matrix for the inter macroblock from the additional information stored in the information buffer 16, and the selected information is read from the information buffer 16. get. The quantization matrix switching device 17 is used when high bit rate image compression information input to the code buffer 11 is generated based on the acquired information about the intermacroblock quantization matrix. The intra-macroblock quantization matrix is switched to the inter-macroblock quantization matrix. Thereafter, the quantization matrix switching device 17 supplies the switched quantization matrix for the inter macroblock to the quantization device 18.
[0166]
However, when the (0,0) component of the switched inter-macroblock quantization matrix is not 8, the quantization matrix switching device 17 performs, for example, the (0,0) th (0,0) as shown in FIG. A quantization matrix in which the component is converted to 8 is generated, and the generated quantization matrix is supplied to the quantization device 18. This is also because the MPEG-2 standard stipulates that the (0,0) component of the quantization matrix is 8.
[0167]
The image information conversion device 30 includes a code buffer 11, a compression information analysis device 12, a variable length decoding device 13, an inverse quantization device 14, an adder 40, a band limiting device 15, an information buffer 16, A quantization matrix switching device 17, a quantization device 18, a variable length coding device 19, a code buffer 20, a code amount control device 21, and a motion compensation error correction device 50 are provided.
[0168]
The adder 40 is provided between the inverse quantization device 14 and the band limiting device 15. The adder 40 subtracts the motion compensation error correction coefficient generated by the motion compensation error correction apparatus 50 from the discrete cosine transform coefficient obtained by the inverse quantization by the inverse quantization apparatus 14.
[0169]
The motion compensation error correction apparatus 50 generates a motion compensation error correction coefficient that corrects a motion compensation error generated when the discrete cosine transform coefficient inversely quantized by the inverse quantization apparatus 14 is requantized by the quantization apparatus 18. .
[0170]
Next, the cause of the motion compensation error will be described.
[0171]
First, the pixel value of the original image is set to O, and the quantization width of the input image compression information (bit stream) with a high code amount (high bit rate) with respect to the pixel value O of the original image is Q.₁And the quantization width of the compressed image information (bit stream) with a low code amount (low bit rate) after re-encoding with respect to the pixel value O of this original image is Q₂And And these quantization widths Q₁And quantization width Q₂The pixel values of the reference image decoded by₁), L (Q₂).
[0172]
At the time of encoding, for example, the adder 40 of the image information conversion apparatus 30 illustrated in FIG. 18 uses the difference value “O−L (Q₁) "And the difference value" OL (Q₁) "Is subjected to discrete cosine transform. The pixels of the inter-macroblock encoded in this way are subjected to a difference value" OL (Q₁) ”Is subjected to inverse discrete cosine transform, and the difference value“ OL (Q₁) ”From the reference image“ L (Q₁) "Is subtracted, and the pixel value O of the original image is decoded.
[0173]
On the other hand, when the code amount (bit rate) is reduced by the image information conversion apparatus 10 illustrated in FIG. 9, the inter-macroblock pixels have the difference value “O−L (Q₁) "Quantization width is converted from Q1 to Q2. The pixel of the inter macro block with the code amount reduced in this way is the difference value" O-L (Q₂) ”Is the quantization width Q₂It is assumed that the data has been encoded by the above.
[0174]
Here, since the code amount is reduced by changing the quantization width in the image information conversion apparatus 10, Q₁= Q₂Does not hold, and a quantization error occurs when the inter macroblock is decoded. Therefore, an error associated with motion compensation occurs in the P picture and B picture encoded by the inter macroblock.
[0175]
The error generated in the P picture is subsequently propagated to the P picture and the B picture using the P picture as a reference image, leading to further image quality degradation. As described above, a phenomenon (drift) occurs in which the image quality deteriorates due to the accumulation of errors accompanying the GOP motion compensation, and the next GOP also returns to a good image quality at the head.
[0176]
In the motion compensation error correction device 50 of the image information conversion device 30 according to the third embodiment, a motion compensation error correction coefficient is generated and subtracted from the discrete cosine transform coefficient inversely quantized by the inverse quantization device 14, The above motion compensation error is corrected.
[0177]
Next, the motion compensation error correction device 50 will be described.
[0178]
The motion compensation error correction device 50 includes an inverse quantization device 51, an adder 52, an inverse discrete cosine transform device 53, a video memory 54, a motion compensation prediction device 55, and a discrete cosine transform device 56.
[0179]
The inverse quantization device 51 inversely quantizes the discrete cosine transform coefficient requantized by the quantization device 18 based on the quantization matrix used in the quantization device 18. The discrete cosine transform coefficient inversely quantized by the inverse quantizer 51 is supplied to the adder 52.
[0180]
The adder 52 subtracts the discrete cosine transform coefficient obtained by subtracting the motion compensation error correction coefficient from the adder 40 from the discrete cosine transform coefficient inversely quantized by the inverse quantization device 51, and supplies the result to the inverse discrete cosine transform device 53. Supply.
[0181]
The inverse discrete cosine transform device 53 performs inverse discrete cosine transform on the discrete cosine transform coefficient supplied from the adder 52. The result obtained by performing the inverse discrete cosine transform is stored in the video memory 54 as motion compensation error correction information.
[0182]
The motion-compensated prediction device 55 includes motion-compensated prediction mode information (field motion-compensated prediction mode or frame motion-compensated prediction mode, and forward direction) in the input image compression information (bitstream) with a high code amount (high bit rate). Motion compensation is performed on motion compensation error correction information in the video memory 54 based on the motion vector information and the prediction mode, backward prediction mode, or bidirectional prediction mode. Data subjected to motion compensation becomes an error correction value in the spatial domain. The error correction value is supplied to the discrete cosine transform device 56.
[0183]
The discrete cosine transform device 56 performs discrete cosine transform on the supplied error correction value to generate a motion compensation error correction coefficient that is an error correction value in the frequency domain. The motion compensation error correction coefficient is supplied to the adder 40.
[0184]
The adder 40 corrects an error due to motion compensation by subtracting the motion compensation error correction coefficient from the discrete cosine transform coefficient inversely quantized by the inverse quantization device 14.
[0185]
In the image information conversion apparatus 30 according to the third embodiment to which the present invention configured as described above is applied, the data amount of each block is transferred in the frequency domain to reduce the code amount (bit rate). Therefore, the amount of calculation is reduced and the circuit configuration can be greatly reduced as compared with a conventional image information conversion apparatus that decodes and encodes even baseband video data. At the same time, the image information conversion apparatus 30 can reduce the amount of codes without causing image quality deterioration due to accumulation of motion compensation errors.
[0186]
In the inverse discrete cosine transform device 53 and the discrete cosine transform device 56 of the motion compensation error correction device 50, the document “A fast computational algorism for the discreet cosine transform” (IEEE Trans. Commun., Vol. 25, no. 9 pp.). .1004-1009, 1977) can be applied.
[0187]
Further, in the inverse discrete cosine transform device 53 and the discrete cosine transform device 56, when the coefficient of the horizontal high frequency component is replaced with 0 in the band limiting device 15, the inverse discrete cosine transform and the discrete for the coefficient replaced with 0 are performed. By omitting cosine transformation, it is possible to reduce the circuit scale and the amount of calculation processing.
[0188]
Furthermore, since the deterioration of the color difference signal in the image has a characteristic that it is difficult for the human eye to understand compared to the deterioration of the luminance signal, by applying the above motion compensation error correction only to the luminance signal, It is also possible to greatly reduce the circuit scale and the amount of calculation processing while keeping the image quality degradation to a minimum. Further, the error in the P picture propagates to the B picture, but the error in the B picture does not propagate any more. On the other hand, a B picture includes a bidirectional prediction mode and requires a large amount of calculation processing. Therefore, it is also conceivable to perform the motion compensation error correction only for the P picture to greatly reduce the circuit scale and the calculation processing amount while keeping the image quality degradation to a minimum. By not performing the process for the B picture, the capacity of the video memory 54 can be reduced.
[0189]
As described above, the image information conversion apparatus 30 according to the third embodiment to which the present invention is applied can reduce the amount of code (bit rate) by transferring data of each block in the frequency domain. Therefore, the amount of calculation is reduced and the circuit configuration can be greatly reduced as compared with the conventional image information conversion apparatus that decodes and encodes even baseband video data.
[0190]
Also, in the image information conversion apparatus 30 according to the third embodiment to which the present invention is applied, the quantization matrix used in the quantization apparatus 18 is changed from the quantization matrix for the intra macroblock to the quantum for the intra macroblock. By switching to an inter-macroblock quantization matrix that does not coarsely quantize high-frequency components compared to the quantization matrix, image quality degradation in I pictures can be prevented, and the flash phenomenon of images can be avoided subjectively The image quality of the P picture and B picture configured based on this I picture can also be improved.
[0191]
Furthermore, in the image information conversion apparatus 30 according to the third embodiment to which the present invention is applied, the intermacroblock quantization matrix is used for both the intramacroblock and the intermacroblock as described above. The quantization matrix switching device 17 includes a storage medium and does not need to store a quantization matrix for switching.
[0192]
In the image information conversion apparatus 30 described above, image compression information (bitstream) according to MPEG-2 is input. However, if the image compression information (bitstream) is encoded by orthogonal transformation and motion compensation, For example, MPEG-1 and H.264. Image compression information (bit stream) such as H.263 may be input.
[0193]
【The invention's effect】
As described above, according to the image information conversion apparatus and the image information conversion method according to the present invention, the quantization matrix used in the encoding means or the quantization means is changed from the quantization matrix for the intra macroblock to the inter macroblock. By switching to this quantization matrix, image quality degradation in the I picture is prevented, and the image flash phenomenon is avoided subjectively, so that the picture quality of the P picture and B picture configured based on this I picture is reduced. Can also be improved.
[0194]
Further, according to the image information conversion apparatus and the image information conversion method according to the present invention, the quantization matrix for the inter macroblock is used for both the intra macroblock and the inter macroblock in this way, thereby quantizing. It is not necessary to provide the matrix switching means with a storage medium and store a quantization matrix for switching.
[Brief description of the drawings]
FIG. 1 is a block configuration diagram of an image information conversion apparatus according to a first embodiment to which the present invention is applied.
FIG. 2 is a diagram illustrating a default value of a quantization matrix. (A) is a figure which shows the quantization matrix set to the default used about an intra macroblock, (b) is a figure which shows the quantization matrix set to the default value used about an inter macroblock.
FIG. 3 is a diagram illustrating a quantization matrix for encoding an intra macroblock.
FIG. 4 is a diagram showing a transition of a signal-to-noise ratio of a luminance signal with respect to an original image of image compression information whose code amount has been reduced by the image information conversion apparatus according to the first embodiment to which the present invention is applied. .
FIG. 5 is a diagram illustrating a luminance signal pSNR when the quantization matrix is switched and when the quantization matrix is not switched in the image information conversion apparatus according to the first embodiment to which the present invention is applied; It is the figure showing the change of the measurement result represented by (4).
FIG. 6 is a diagram illustrating a default value of a quantization matrix. (A) is a figure which shows the quantization matrix set to the default used about an intra macroblock, (b) is a figure which shows the quantization matrix set to the default value used about an inter macroblock, c) is a diagram illustrating a quantization matrix defined in Test Model 5. FIG.
FIG. 7 is a diagram illustrating a quantization matrix for intra macroblocks used for image compression information to be output.
FIG. 8 is a diagram illustrating a code amount allocated to each frame before and after switching of a quantization matrix in the image information conversion apparatus according to the first embodiment to which the present invention is applied.
FIG. 9 is a block diagram of an image information conversion apparatus according to a second embodiment to which the present invention is applied.
FIG. 10 is a diagram illustrating a scan order of discrete cosine transform coefficients when performing variable length coding. (A) is a figure which shows the scanning order of a zigzag scan, (b) is a figure which shows the scanning order of an alternate scan.
FIG. 11 is a diagram for explaining a band limitation example of a horizontal high-frequency component of a discrete cosine transform coefficient by the band limitation device of the image information conversion apparatus according to the second embodiment. (A) is a figure which shows the band limitation example of the discrete cosine transform coefficient with respect to a luminance signal, (b) is a figure which shows the band limitation example of the discrete cosine transform coefficient with respect to a color difference signal.
FIG. 12 is a flowchart showing an operation content of a code amount control device of the image information conversion device according to the second embodiment;
FIG. 13 is a diagram illustrating the configuration of a pseudo GOP.
FIG. 14 is a diagram for explaining scanning of discrete cosine transform coefficients by an alternate scan method. (A) is a figure which shows the discrete cosine transform coefficient before a band restriction | limiting, (b) is a figure which shows the discrete cosine transform coefficient after a band restriction | limiting.
FIG. 15 is a diagram illustrating a transition of a signal-to-noise ratio of a luminance signal with respect to an original image of image compression information whose code amount has been reduced by an image information conversion device according to a second embodiment to which the present invention is applied; .
FIG. 16 is an image information conversion apparatus according to a second embodiment to which the present invention is applied; the luminance signal pSNR when the quantization matrix is switched and when the quantization matrix is not switched. It is the figure showing the change of the measurement result represented by (4).
FIG. 17 is a diagram illustrating a code amount allocated to each frame before and after switching of a quantization matrix in the image information conversion apparatus according to the second embodiment to which the present invention is applied.
FIG. 18 is a block diagram of an image information conversion apparatus according to a third embodiment to which the present invention is applied.
FIG. 19 is a block diagram of a conventional image information conversion apparatus.
FIG. 20 is a block diagram of a conventional image information conversion apparatus.
FIG. 21 is a diagram illustrating a transition of a signal-to-noise ratio of a luminance signal with respect to an original image in compressed image information encoded by a conventional image information conversion apparatus.
FIG. 22 is a diagram illustrating a transition of a signal-to-noise ratio of a luminance signal with respect to an original image in compressed image information encoded by a conventional image information conversion apparatus.
FIG. 23 is a diagram illustrating a default value of a quantization matrix. (A) is a figure which shows the quantization matrix set to the default used about an intra macroblock, (b) is a figure which shows the quantization matrix set to the default value used about an inter macroblock, c) is a diagram illustrating a quantization matrix defined in Test Model 5. FIG.
FIG. 24 is a diagram showing a transition of a signal-to-noise ratio of a luminance signal with respect to an original image of image compression information whose code amount is reduced by a conventional image information conversion apparatus.
FIG. 25 is a diagram illustrating a transition of a signal-to-noise ratio of a luminance signal with respect to an original image of compressed image information whose code amount is reduced by a conventional image information conversion apparatus.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Image information conversion apparatus, 2 Image information decoding apparatus, 3 Additional information buffer, 4 Quantization matrix switching apparatus, 5 Image information encoding apparatus, 10 Image information conversion apparatus, 11 Code buffer, 12 Compression information analysis apparatus, 13 Variable length Decoding device, 14 Inverse quantization device, 15 Band limiting device, 16 Information buffer, 17 Quantization matrix switching device, 18 Quantization device, 19 Variable length coding device, 20 Code buffer, 21 Code amount control device

Claims (4)

Image data composed of intra-frame encoded data encoded by the intra-frame encoding method and inter-frame predictive encoded data encoded by the inter-frame predictive encoding method is in units of orthogonal transform blocks including predetermined pixel blocks. The first image compression information of the first bit rate that has been compression-encoded by orthogonal transformation and two-dimensional arrangement and quantization according to a predetermined scanning method is converted into a second bit rate lower than the first bit rate. In the image information conversion device for converting into the second image compression information of the bit rate of
Decoding means for decoding the first image compression information to generate baseband moving image information;
The frame used when the first image compression information is generated based on the information about the quantization matrix acquired as the additional information used when the decoding means decodes the first image compression information. A quantization matrix switching means for switching an intra-macroblock quantization matrix that is an intra-encoding quantization matrix to an inter-macroblock quantization matrix that is an inter-frame encoding quantization matrix;
Information for each macroblock acquired as additional information used when the decoding unit decodes the first image compression information , information about higher layers, and quantization switched by the quantization matrix switching unit A coding means for orthogonally transforming the moving image information generated by the decoding means on the basis of a matrix and a predetermined target code amount given in advance, and coding the second image compression information;
The encoding unit quantizes the intra macroblock using the intermacroblock quantization matrix switched by the quantization matrix switching unit, and the decoding unit decodes the first image compression information. An image information conversion apparatus characterized in that an inter macroblock is quantized using the intermacroblock quantization matrix used in the above . Image data composed of intra-frame encoded data encoded by the intra-frame encoding method and inter-frame predictive encoded data encoded by the inter-frame predictive encoding method is in units of orthogonal transform blocks including predetermined pixel blocks. The first image compression information of the first bit rate that has been compression-encoded by orthogonal transformation and two-dimensional arrangement and quantization according to a predetermined scanning method is converted into a second bit rate lower than the first bit rate. In the image information conversion device for converting into the second image compression information of the bit rate of
Image compression information analysis means for performing syntax analysis on the input first image compression information and extracting information about the quantization width and the quantization matrix and picture coding type information as analysis result information ;
Based on information relating to quantization width extracted from the first image compression information as analysis result information by the image compression information analysis means, the orthogonality of the first image compression information input to the image compression information analysis means An inverse quantization means for inversely quantizing the transform coefficient;
Band limiting means for limiting only the value of the high frequency component in the horizontal direction of the orthogonal transform coefficient inversely quantized by the inverse quantization means;
Quantization means for requantizing the orthogonal transform coefficient of the first image compression information in which only the high-frequency component in the horizontal direction of the orthogonal transform coefficient is limited by the band limiting hand ;
Intraframe code used when the first image compression information is generated based on the information about the quantization matrix extracted from the first image compression information as analysis result information by the image compression information analysis means A quantization matrix switching means for switching a quantization matrix for an intra macroblock that is a quantization matrix for quantization to a quantization matrix for an inter macroblock that is a quantization matrix for interframe coding ;
Based on the picture coding type information extracted from the first image compression information and the predetermined target code amount as analysis result information by the image compression information analysis means, a quantization width of the quantization means is controlled. Code amount control means for controlling the code amount of the second compressed image information to be output ;
With
The quantization means requantizes the intra macroblock based on the quantization matrix for the inter macroblock switched by the quantization matrix switching means and the quantization width controlled by the code amount control means. Based on the quantization matrix for the inter-macroblock used when the inverse quantization unit inversely quantizes the first image compression information and the quantization width controlled by the code amount control unit , An image information conversion apparatus characterized by requantizing an inter macroblock. Image data composed of intra-frame encoded data encoded by the intra-frame encoding method and inter-frame predictive encoded data encoded by the inter-frame predictive encoding method is in units of orthogonal transform blocks including predetermined pixel blocks. The first image compression information of the first bit rate that has been compression-encoded by orthogonal transformation and two-dimensional arrangement and quantization according to a predetermined scanning method is converted into a second bit rate lower than the first bit rate. In the image information conversion method for converting into the second image compression information of the bit rate of
Decoding the first image compression information to generate baseband moving image information;
For intra-frame coding used when the first image compression information is generated based on information about a quantization matrix acquired as additional information used when decoding the first image compression information Switch the quantization matrix for intra macroblocks, which is the quantization matrix of, to the quantization matrix for inter macroblocks, which is the quantization matrix for interframe coding,
Information for each macroblock acquired as additional information used when decoding the first image compression information, information on higher layers, the switched quantization matrix, a predetermined target code given in advance Based on the amount, when the moving image information is orthogonally transformed and encoded into the second compressed image information , the intra-macroblock is requantized using the switched inter-macroblock quantization matrix. An image information conversion method characterized in that the inter-macroblock is re-quantized using the inter-macroblock quantization matrix used when the decoding means decodes the first image compression information. Image data composed of intra-frame encoded data encoded by the intra-frame encoding method and inter-frame predictive encoded data encoded by the inter-frame predictive encoding method is in units of orthogonal transform blocks including predetermined pixel blocks. The first image compression information of the first bit rate that has been compression-encoded by orthogonal transformation and two-dimensional arrangement and quantization according to a predetermined scanning method is converted into a second bit rate lower than the first bit rate. In the image information conversion method for converting into the second image compression information of the bit rate of
The input first image compression information is parsed, and as analysis result information, information on quantization width and quantization matrix, picture coding type information is extracted,
Quantization matrix for intra-frame coding used when the first image compression information is generated based on information about the quantization matrix extracted from the first image compression information as the analysis result information The intra-macroblock quantization matrix is switched to the inter-macroblock quantization matrix, which is the inter-frame coding quantization matrix .
Based on the quantization width information extracted from the first image compression information as the analysis result information, the orthogonal transform coefficient of the first image compression information is dequantized,
Limits only the value of the high-frequency component in the horizontal direction of the inversely quantized orthogonal transform coefficient,
The picture coding type information extracted from the first image compression information as the analysis result information when re-quantizing the orthogonal transform coefficient of the first image compression information in which only the high-frequency component in the horizontal direction is limited And a predetermined target code amount, the quantization width is controlled , and the intra macroblock is requantized based on the switched quantization matrix for the inter macroblock and the controlled quantization width. The inter-macroblock is requantized based on the inter-macroblock quantization matrix used when the first image compression information is inversely quantized and the controlled quantization width. An image information conversion method comprising: generating the second image compression information in which the amount is controlled.

Images