JP4292658B2 - Image information conversion apparatus and image information conversion method - Google Patents

Description

【００３４】
そして、図１３では、例えば３，９，１５等のフレーム番号からなるＩピクチャは、近隣のＰピクチャ又はＢピクチャと比較して、高いｐＳＮＲを示している。これは、ＭＰＥＧ−２画像情報符号化装置において、Ｉピクチャは、目標符号量（ターゲットビット）が、Ｐピクチャ又はＢピクチャと比べて高く設定されているためである。従って、Ｉピクチャの画質が向上すると、これを参照して構成されるＰピクチャ又はＢピクチャの画質も向上する。
【００３５】
一方、ＣＣＩＲテストシーケンス「Ｍｏｂｉｌｅ＆Ｃａｌｅｎｄａｒ」を、符号量制御を行わず、バッファのオーバーフロー及び／又はアンダーフローは考慮しないで、量子化値を１に固定して、ＭＰＥＧ−２画像情報符号化装置によって符号化した画像圧縮情報（ビットストリーム）の復号画像の原画像に対する輝度信号のｐＳＮＲの各フレーム毎の遷移を、図１４に示す。
【００３６】
この図１４では、図１３の場合とは反対に、例えば３，９，１５等のフレーム番号からなるＩピクチャは、近隣のＰピクチャ又はＢピクチャと比較して、低いｐＳＮＲを示している。即ち、Ｉピクチャは、近隣のＰピクチャ又はＢピクチャと比較して、画質が低くなっている。
【００３７】
これは、ＭＰＥＧ−２画像情報符号化装置において用いられる量子化行列に起因するものである。即ち、ＭＰＥＧ−２画像情報符号化装置では、イントラマクロブロック、インターマクロブロックのそれぞれに対して、それぞれ図１５（ａ）、図１５（ｂ）に示したような量子化行列がデフォルト値で定義されているため、イントラマクロブロックは、図１５（ａ）に示した量子化行列で２度量子化されている。従って、Ｉピクチャは、図１４に示すように、Ｐピクチャ又はＢピクチャと比較して、より多くの符号量（ビット）が割り当てられているにもかかわらず、高域成分における再量子化歪みが大きくなっている。
【００３８】
なお、実用上用いられているＭＰＥＧ−２画像情報符号化装置では、図１５（ｂ）で定められている量子化行列に代えて、Ｔｅｓｔ Ｍｏｄｅｌ ５で定められている図１５（ｃ）の量子化行列が一般に用いられる。また、図１３，図１４，図１６，図１７に示した実験結果は、全て、イントラマクロブロック用、インターマクロブロック用の量子化行列として、それぞれ図１５（ａ）、図１５（ｃ）に示したものが用いられたものである。
【００３９】
また、ＣＣＩＲテストシーケンス「Ｍｏｂｉｌｅ＆Ｃａｌｅｎｄａｒ」を、６Ｍｂｐｓに圧縮した画像圧縮情報（ビットストリーム）を入力とし、図１１若しくは図１２に示した画像情報変換装置を用いて、更なる符号量（ビットレート）の削減を行い、４Ｍｂｐｓとして出力した画像圧縮情報（ビットストリーム）の復号画像の原画像に対する輝度信号のｐＳＮＲの各フレーム毎の遷移を、それぞれ図１６及び図１７に示す。
【００４０】
図１６に示す結果は、図１１における付加情報バッファ１０２を用いないで、画像情報復号装置１０１と画像情報符号化装置１０３をそれぞれ独立に動作させ、動きベクトルの再計算を行って得られたものである。
【００４１】
また、図１７に示す結果は、図１２における帯域制限装置１１５での高域周波数成分の削減は行わず、動き補償誤差の補正は、Ｐピクチャ及びＢピクチャともに８×８の離散コサイン変換係数全ての成分に対して行い、図１３に示したフイードフォワードバッファの容量として、１５フレーム分を確保したものである。そして、正規化アクティビティＮ＿ａｃｔは、次式（１０）で表される。
【００４２】
【数２０】

【００４３】
ここで、図１６及び図１７における画質の傾向としては、上述した図１４に示したものと同様であり、例えば１８，３３，４８等のフレーム番号からなるＩピクチャの画質は、近隣のＰピクチャ又はＢピクチャと比較して、低くなっている。
【００４４】
このような原因としては、上述した図１４に示した実験結果と同様のことが言える。即ち、上述した符号量制御装置１２０の作用により、図１６及び図１７に示した実験においても、イントラマクロブロックは、図１５（ａ）に示した量子化行列で２度量子化されている。従って、Ｉピクチャは、Ｐピクチャ又はＢピクチャと比較して、より多くの符号量（ビット）が割り当てられているにもかかわらず、高域成分における再量子化歪みが大きくなっている。
【００４５】
このように、Ｉピクチャにより多くの符号量（ビット）を割り当てるという正の効果よりも、イントラマクロブロックに対する再量子化歪みという負の効果の方が、相対的に大きなものであるため、図１６及び図１７においては、Ｉピクチャの画質が低くなっている。主観的にも、Ｉピクチャでの画質の劣化が１５フレーム（０．５秒）に一度、フラッシュ現象として観測される。さらに、このようなことは、Ｉピクチャを参照して構成されるＰピクチャ及びＢピクチャの画質の向上を妨げる原因ともなっている。
【００４６】
そこで、本発明は、このような実情に鑑みてなされたものであり、Ｉピクチャにおける再量子化に伴う画質劣化を低減することにより、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質劣化を低減する画像情報変換装置及び画像情報変換方法を提供することを目的とするものである。
【００４７】
【課題を解決するための手段】
上述の目的を達成するために、本発明は、フレーム内符号化方式で符号化されたフレーム内符号化データとフレーム間予測符号化方式で符号化されたフレーム間予測符号化データとからなる画像データが所定の画素ブロックからなる直交変換ブロック単位で直交変換し所定の走査方式に従って二次元配列及び量子化することにより圧縮符号化された第１のビットレートの第１の画像圧縮情報を、上記第１のビットレートよりも低いビットレートの第２のビットレートの第２の画像圧縮情報に変換する画像情報変換装置において、入力された上記第１の画像圧縮情報について、構文解析を行い、その解析結果情報として、量子化幅及び量子化行列に関する情報、ピクチャ符号化タイプ情報を抽出する画像圧縮情報解析手段と、上記画像圧縮情報解析手段による解析結果情報として上記第１の画像圧縮情報から抽出された量子化幅化に関する情報に基づいて、上記第１の画像圧縮情報の直交変換係数を逆量子化する逆量子化手段と、上記画像圧縮情報解析手段による解析結果情報として上記第１の画像圧縮情報から抽出された量子化行列に関する情報に基づいて、上記第１の画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替える量子化行列切替手段と、上記逆量子化手段により逆量子化された上記第１の画像圧縮情報の直交変換係数を上記量子化行列切替手段により与えられる量子化行列を用いて再量子化する量子化手段と、上記画像圧縮情報解析手段による解析結果情報として上記第１の画像圧縮情報から抽出された上記ピクチャ符号化タイプ情報と所定の目標符号量とに基づいて、上記量子化手段の量子化幅を制御して、出力する上記第２の画像圧縮情報の符号量を制御する符号量制御手段とを備え、上記量子化手段は、上記量子化行列切替手段により切り替えられたインターマクロブロック用の量子化行列と上記符号量制御手段により制御された上記量子化幅とに基づいて、イントラマクロブロックを量子化し、上記逆量子化手段が上記第１の画像圧縮情報を逆量子化する際に用いたインターマクロブロック用の量子化行列と上記符号量制御手段により制御された上記量子化幅とに基づいて、インターマクロブロックを量子化することを特徴とする。
【００５１】
また、本発明は、フレーム内符号化方式で符号化されたフレーム内符号化データとフレーム間予測符号化方式で符号化されたフレーム間予測符号化データとからなる画像データが所定の画素ブロックからなる直交変換ブロック単位で直交変換し所定の走査方式に従って二次元配列及び量子化することにより圧縮符号化された第１のビットレートの第１の画像圧縮情報を、上記第１のビットレートよりも低いビットレートの第２のビットレートの第２の画像圧縮情報に変換する画像情報変換方法において、上記第１のビットレートの第１の画像圧縮情報を入力し、入力された上記第１の画像圧縮情報について、構文解析を行い、その解析結果情報として、量子化幅及び量子化行列に関する情報、ピクチャ符号化タイプ情報を抽出し、上記解析結果情報として上記第１の画像圧縮情報から抽出された量子化幅化に関する情報に基づいて、上記第１の画像圧縮情報の直交変換係数を逆量子化し、上記解析結果情報として上記第１の画像圧縮情報から抽出された量子化行列に関する情報に基づいて、上記第１の画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替え、上記解析結果情報として上記第１の画像圧縮情報から抽出された上記ピクチャ符号化タイプ情報と所定の目標符号量とに基づいて量子化幅を制御して、切り替えられた上記インターマクロブロック用の量子化行列と制御された上記量子化幅とに基づいて、イントラマクロブロックを再量子化し、上記第１の画像圧縮情報を逆量子化する際に用いたインターマクロブロック用の量子化行列と制御された上記量子化幅とに基づいて、インターマクロブロックを再量子化することにより、符号量を制御した上記第２の画像圧縮情報を生成することを特徴とする。
【００５５】
【発明の実施の形態】
以下、本発明を適用した第１の実施の形態について、図面を参照しながら説明する。
【００５６】
本発明を適用した第１の実施の形態である画像情報変換装置は、例えばＭＰＥＧ−２（Moving Picture Experts Group phase - 2）方式で符号化された画像圧縮情報（ビットストリーム）の符号量（ビットレート）を削減して、低ビットレートの画像圧縮情報を出力する装置である。この本発明を適用した第１の実施の形態である画像情報変換装置では、画像情報を復号する復号部から画像情報を符号化する符号化部への当該画像情報の供給が、周波数領域で行われている。本発明を適用した第１の実施の形態である画像情報変換装置を図１に示す。なお、ＭＰＥＧ−２とは、飛び越し走査画像及び順次走査画像、並びに、標準解像度画像及び高解像度画像の双方に対応した画像情報の圧縮方式をいう。
【００５７】
画像情報変換装置１は、この図１に示すように、符号バッファ２と、圧縮情報解析装置３と、可変長復号化装置４と、逆量子化装置５と、帯域制限装置６と、情報バッファ７と、量子化行列切替装置８と、量子化装置９と、可変長符号化装置１０と、符号バッファ１１と、符号量制御装置１２とを備える。
【００５８】
符号バッファ２は、多くの符号量（高ビットレート）の画像圧縮情報（ビットストリーム）が入力され、この入力された画像圧縮情報を蓄積する。この符号バッファ２では、ＭＰＥＧ−２で規定されたＶＢＶ（Video Buffer Verifier）の拘束条件を満たすように符号化された画像圧縮情報（ビットストリーム）が蓄積されているので、オーバーフロー及び／又はアンダーフローが起きることはない。そして、符号バッファ２は、蓄積された画像圧縮情報を、圧縮情報解析装置３に供給する。
【００５９】
圧縮情報解析装置３は、ＭＰＥＧ−２で規定された構文（シンタクス）に基づいて、符号バッファ２から供給された画像圧縮情報（ビットストリーム）の中から後述する各処理に必要な情報を抽出し、この抽出した情報（以下、解析結果情報という。）を可変長復号化装置４及び情報バッファ７に供給する。この圧縮情報解析装置３は、上記解析結果情報の中でも、特に、後述する符号量制御装置１２における処理に必要となる、ピクチャ符号化タイプ情報（picture_coding_type）や、各マクロブロック毎の量子化値に関する情報である量子化スケール情報（q_scale）等を、情報バッファ７に供給する。
【００６０】
可変長復号化装置４は、圧縮情報解析装置３から供給された画像圧縮情報のイントラマクロブロックの直流成分に対しては隣のブロックとの差分値として符号化されているデータを可変長復号し、その他の係数に対してはランとレベルにより符号化されたデータを可変長復号することにより、量子化された一次元の離散コサイン変換係数を得る。そして、可変長復号化装置４は、圧縮情報解析装置３により抽出された解析結果情報に含まれる走査方式（図２（ａ）に示すジグザグスキャン若しくは図２（ｂ）に示すオルタネートスキャン）に関する情報に基づき、一次元配列された離散コサイン変換係数を逆スキャンして、量子化された二次元の離散コサイン変換係数に再配列する。可変長復号化装置４は、二次元配列及び量子化された離散コサイン変換係数を、逆量子化装置５に供給する。
【００６１】
逆量子化装置５は、解析結果情報に含まれる量子化幅及び量子化行列に関する情報に基づき、二次元配列及び量子化された離散コサイン変換係数を逆量子化する。逆量子化装置５は、この逆量子化された離散コサイン変換係数を、帯域制限装置６に供給する。
【００６２】
帯域制限装置６は、逆量子化装置５から供給された離散コサイン変換係数に対して、ＤＣＴブロック毎に、水平方向高周波成分係数の帯域制限を行う。
【００６３】
図３に、帯域制限装置６における水平方向高周波成分の帯域制限処理の一例を示す。例えば、帯域制限装置６は、輝度信号に関しては、図３（ａ）に示すように８×８の離散コサイン変換係数のうち、水平方向低域成分である８×６係数のみの値を保存し、残りを０と置きかえる。また、帯域制限装置６は、色差信号に関しては、図３（ｂ）に示すように、８×８の離散コサイン変換係数のうち、水平方向低域成分である８×４係数のみの値を保存し、残りを０と置きかえる。このように離散コサイン変換係数の高周波成分を帯域制限することで、周波数領域において符号量（ビットレート）の削減をすることができる。
【００６４】
また、入力となる画像圧縮情報（ビットストリーム）が、飛び越し走査画像のものである場合には、フィールド間の時間差に関する情報を、離散コサイン変換係数の垂直方向高域成分が含むことになる。そのため、垂直方向の離散コサイン変換係数の帯域制限を行うことは大幅な画質劣化に繋がる。従って、この帯域制限装置６では、垂直方向の帯域制限は行わない。
【００６５】
さらに、この帯域制限装置６では、劣化がより人間の目に付きやすい輝度信号に比べ、より人間の目に付きにくい色差信号に対して、より大きく帯域制限を行っている。このことにより、この帯域制限装置６では、画質劣化を最小限に抑えながら、再量子化の歪みを低減することができる。なお、削減する符号量（ビットレート）が少ない場合や回路的な制限がある場合等は、輝度信号と色差信号との帯域制限を同一にしてもよい。
【００６６】
さらにまた、帯域制限装置６における水平方向の離散コサイン変換係数の帯域制限処理は、この図３に示したような係数を０と置く処理に限らない。例えば、０と置き換える代わりに、予め用意した重み係数を離散コサイン変換の水平方向高域成分に乗じることで同様に符号量（ビットレート）を削減することが可能である。
【００６７】
帯域制限装置６は、上述したような帯域制限を行った離散コサイン変換係数を、量子化装置９に供給する。
【００６８】
情報バッファ７は、圧縮情報解析装置３から供給された、例えばピクチャ符号化タイプ情報（picture_coding_ type）や量子化スケール情報（q_scale）等の解析結果情報を、記憶する。そして、情報バッファ７は、この記憶した解析結果情報を、量子化行列切替装置８及び符号量制御装置１２に供給する。
【００６９】
量子化行列切替装置８は、情報バッファ７から取得した解析結果情報に基づいて、符号バッファ２に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたイントラマクロブロック用の量子化行列を、インターマクロブロック用の量子化行列に切り替える。
【００７０】
具体的には、量子化行列切替装置８は、情報バッファ７に記憶された付加情報の中からインターマクロブロック用の量子化行列に関する情報のみを選択し、この選択した情報を当該情報バッファ７から取得する。そして、量子化行列切替装置８は、この取得したインターマクロブロック用の量子化行列に関する情報に基づいて、符号バッファ２に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたイントラマクロブロック用の量子化行列をインターマクロブロック用の量子化行列に切り替える。その後、量子化行列切替装置８は、この切り替えたインターマクロブロック用の量子化行列を量子化装置９に供給する。
【００７１】
但し、量子化行列切替装置８は、上記切り替えたインターマクロブロック用の量子化行列の第（０，０）成分が８でない場合には、例えば図４に示すような当該第（０，０）成分を８に変換した量子化行列を生成し、この生成した量子化行列を量子化装置９に供給する。これも、ＭＰＥＧ−２の規格では、量子化行列の第（０，０）成分は、８であることが規定されているからである。
【００７２】
量子化装置９は、帯域制限装置６から供給された８×８離散コサイン変換係数を、量子化行列切替装置８から供給された量子化行列と、以下に説明するような符号量制御装置１２により制御される、出力される画像圧縮情報（ビットストリーム）の目標符号量（ターゲットビットレート）に応じた量子化幅とに基づいて、量子化を行う。そして、量子化装置９は、この量子化を行った離散コサイン変換係数を、可変長符号化装置１０に供給する。
【００７３】
可変長符号化装置１０は、量子化装置９から供給された量子化済の離散コサイン変換係数の可変長符号化を行い、この可変長符号化が行われた離散コサイン変換係数を符号バッファ１１に供給する。
【００７４】
符号バッファ１１は、出力する低ビットレートの画像圧縮情報の情報量を一定にするためのバッファメモリであり、少ない符号量（低ビットレート）の画像圧縮情報（ビットストリーム）が入力され、この入力された画像圧縮情報を蓄積する。この符号バッファ１１では、ＭＰＥＧ−２で規定されたＶＢＶ（Video Buffer Verifier）の拘束条件を満たすように符号化された画像圧縮情報（ビットストリーム）が蓄積されているので、オーバーフロー及び／又はアンダーフローが起きることはない。そして、符号バッファ１１は、蓄積された画像圧縮情報を、出力するとともに、符号量制御装置１２に供給する。
【００７５】
符号量制御装置１２は、可変長符号化装置１０により可変長符号化された後の画像圧縮情報が符号バッファ１１においてオーバーフロー及び／又はアンダーフローを起こさないように、予め与えられた目標符号量（ターゲットビットレート）と、情報バッファ７から取得する解析結果情報とに基づいて、量子化装置９において用いられる量子化行列の量子化幅の制御を行う。
【００７６】
以上のように構成された画像情報変換装置１では、逆量子化装置５は、可変長復号化装置４から供給された二次元配列及び量子化された離散コサイン変換係数を、解析結果情報に含まれる量子化幅及び量子化行列に関する情報に基づいて逆量子化し、この逆量子化した離散コサイン変換係数を帯域制限装置６に供給する。そして、量子化装置９は、逆量子化装置５から帯域制限装置６を介して供給された８×８離散コサイン変換係数を、量子化行列切替装置８から供給された量子化行列と、符号量制御装置１２により制御された量子化幅とに基づいて、量子化を行う。そして、量子化装置９は、この量子化を行った離散コサイン変換係数を、可変長符号化装置１０に供給する。このように処理されることにより、低ビットレートの画像圧縮情報が符号バッファ１１から出力される。
【００７７】
つぎに、符号量制御装置１２における処理について、詳しく説明する。
【００７８】
ＭＰＥＧ−２に対応した画像情報符号化装置において適用されるＭＰＥＧ−２Ｔｅｓｔ Ｍｏｄｅｌ ５（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１Ｎ０４００）で用いられている手法では、まず、ＧＯＰを構成する各ピクチャ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）に対する割当ビット量は、割当て対象ピクチャを含め、ＧＯＰ内でまだ符号化されていないピクチャに対して割り当てられるビット量に基づいて配分される。次に、この配分された各ピクチャに対する割当てビット量を実際の符号量と一致させるために、量子化スケールコードは、各ピクチャ毎に独立に設定した３種類の仮想バッファの記憶容量に基づいて、マクロブロック単位のフィードバック制御により求められる。次に、この求められた量子化スケールコードを、視覚的に劣化の目立ちやすい平坦部でより細かく量子化し、劣化の比較的目立ちにくい絵柄の複雑な部分でより粗く量子化するように、各マクロブロック毎のアクテイビティによって変化させる。
【００７９】
このように、本発明を適用した実施の形態である画像情報変換装置１も、このＴｅｓｔ Ｍｏｄｅｌ ５で定められた方式に準じたアルゴリズムによって符号量制御が行われている。
【００８０】
しかしながら、この手法を、図１に示した画像情報変換装置１の符号化部にそのまま適用すると、以下の２つの問題が生じる。
【００８１】
まず、第１の問題は、上述したＭＰＥＧ−２ Ｔｅｓｔ Ｍｏｄｅｌ ５で用いられている手法において、最初に処理される内容に関する問題である。即ち、ＭＰＥＧ−２に対応した画像情報変換装置では、予めＧＯＰの構造が与えられており、これに基づいて上記最初の処理を行うことができるのに対し、図１に示した画像情報変換装置１では、ＧＯＰの構造は、入力される画像圧縮情報（ビットストリーム）の内の１ＧＯＰ分の情報の全てを構文（シンタクス）解析することにより既知となる。このＧＯＰの長さは一定であるとは限らず、ＭＰＥＧ−２対応の画像情報変換装置では、シーンチェンジを検出し、それに応じて適応的にＧＯＰの長さを画像圧縮情報（ビットストリーム）中で制御するというものも存在する。
【００８２】
また、第２の問題は、上述したＭＰＥＧ−２ Ｔｅｓｔ Ｍｏｄｅｌ ５で用いられている手法において、最後に処理される内容に関する問題である。即ち、ＭＰＥＧ−２対応の画像情報変換装置では、アクティビティを、原画像の輝度信号画素値を用いて算出している。しかしながら、図１に示した画像情報変換装置１では、ＭＰＥＧ−２対応の画像圧縮情報（ビットストリーム）を入力としているため、原画像の輝度信号画素値を知ることは不可能である。
【００８３】
そこで、上記第１の問題を解決する方法としては、以下に説明するような擬似ＧＯＰを定義し、これに基づいて符号量制御を行う方法がある。ここで、この擬似ＧＯＰとは、１つのＩピクチャ、及び複数のＰピクチャ及びＢピクチャから構成される擬似的なＧＯＰをいう。この擬似ＧＯＰの長さは可変であり、画像圧縮情報（ビットストリーム）中で、どのようにＩピクチャを検出するのかに依存する。
【００８４】
以下、上記第１の問題及び第２の問題を解決する方法を含めた符号量制御装置１２における一連の処理の流れを、図５に示すフローチャートに従って説明する。
【００８５】
まず、図５のステップＳ１において、情報バッファ７は、図６に示すようなpicture＿coding＿typeを格納する環状バッファを備えている。この環状バッファは、ＭＰＥＧで規定されている、１ＧＯＰに含むことのできる最大フレーム数と同じ２５６のpicture＿coding＿typeを格納するだけの記憶容量を備える。また、環状バッファの各要素には、予め初期値が格納されている。
【００８６】
ここで、画像圧縮情報（ビットストリーム）に含まれる各フレームの情報が、Ｐ，Ｂ，Ｂ，Ｉ，Ｂ，Ｂまで処理され、次のＰピクチャの処理を行う場合について考える。この場合、画像情報変換装置１では、まず、圧縮情報解析装置３に備えられたフィードフォワードバッファによって、数フレーム分のpicture＿ coding＿typeが先読みされ、環状バッファの要素が更新される。このフィードフォワードバッファの大きさは、任意であるが、図６に示す環状バッファでは６フレーム分である。また、擬似ＧＯＰの長さは、図６に示す環状バッファの状態から、現在のＩピクチャを示すポインタａと次のＩピクチャを示すポインタｂとを参照することにより設定される。さらに、擬似ＧＯＰの構成は、フィードフォワードバッファの最後のフレームを示すポインタｄと、既に設定された擬似ＧＯＰの長さとから設定される。
【００８７】
このように、プリパーシングにより、擬似ＧＯＰの構成が設定される。
【００８８】
続いて、ステップＳ２において、上述したようにして設定された擬似ＧＯＰの構成が、［Ｂ₁，Ｂ₂，Ｐ₁，Ｂ₃，Ｂ₄，Ｉ₁，Ｂ₅，Ｂ₆，・・・，Ｐ_L，Ｂ_M-1，Ｂ_M］である場合、擬似ＧＯＰの大きさであるＬ＿ｐｇｏｐは、次の式（６）で表される。
【００８９】
【数２３】

【００９０】
このとき、Ｉピクチャ，Ｐピクチャ，Ｂピクチャの各ピクチャ（各フレーム）の目標符号量（ターゲットビット）Ｔ_i，Ｔ_p，Ｔ_bは、それぞれ次の式（１）、式（２）、式（３）により算出される。
【００９１】
【数２４】

【００９２】
【数２５】

【００９３】
【数２６】

【００９４】
但し、Ｒは、割り当て対象ピクチャを含めた、ＧＯＰ内でまだ符号化されていないピクチャに対して割り当てられるビット量であり、Θを擬似ＧＯＰ内において既に処理が終わったフレーム、Ωを擬似ＧＯＰ内においてこれから処理が行われるフレーム、Ｆをフレームレート、Ｂを出力される画像圧縮情報の符号量（ビットレート）とすると、次の式（４）、式（５）を用いて表される。
【００９５】
【数２７】

【００９６】
【数２８】

【００９７】
また、Ｘ（）は、各フレームの複雑さを表すパラメータ（global complexity measure）であり、圧縮情報解析装置３でプリパーシングを行う際に、当該フレームの総符号量（ビット数）であるＳと、平均量子化スケールコードであるＱを予め算出しておけば、次の式（７）により表される。
【００９８】
【数２９】

【００９９】
さらに、Ｋ_p及びＫ_bは、それぞれ、ＭＰＥＧ−２ Ｔｅｓｔ Ｍｏｄｅｌ ５で規定されているＩピクチャの量子化スケールコードを基準とした、Ｐピクチャ及びＢピクチャの量子化スケールコードの比率であり、次の式（１１）により表される。
【０１００】
【数３０】

【０１０１】
そして、Ｋ_p及びＫ_bが上記式（１１）により表される値のときに、常に全体の画質が最適化されると仮定する。
【０１０２】
続いて、ステップＳ３において、実際の発生符号量とステップ２で算出された各ピクチャに対する割当ビット量（Ｔ_i，Ｔ_p，Ｔ_b）と一致させるため、各ピクチャタイプに独立に設定した３種類の仮想バッファの容量に基づき、量子化スケールコードをマクロブロック単位のフィードバック制御により求める。
【０１０３】
まず、ｊ番目のマクロブロック符号化に先だち、仮想バッファの占有量は、次の式（１２）、式（１３）、式（１４）により表される。
【０１０４】
【数３１】

【０１０５】
【数３２】

【０１０６】
【数３３】

【０１０７】
但し、これらの式（１２）〜式（１４）で示した“ｄ₀ ⁱ”，“ｄ₀ ^p”，“ｄ₀ ^b”はＩ，Ｐ，Ｂの各ピクチャの仮想バッファの初期占有量であり、“Ｂ_j”はピクチャの先頭からｊ番目のマクロブロックまでの発生ビット量であり、“ＭＢ＿ｃｎｔ”は１ピクチャ内のマクロブロック数である。ピクチャ符号化終了時の各仮想バッファ占有量（ｄ_{MB_cnt} ⁱ，ｄ_{MB_cnt} ^p，ｄ_{MB_cnt} ^b）は、それぞれ同一のピクチャタイプで、次のピクチャに対する仮想バッファ占有量の初期値（ｄ₀ ⁱ，ｄ₀ ^p，ｄ₀ ^b）として用いられる。
【０１０８】
次に、ｊ番目のマクロブロックに対する量子化スケールコードは、次の式（１５）により表される。
【０１０９】
【数３４】

【０１１０】
但し、この式（１５）で示した“ｒ”はリアクションパラメーターと呼ばれるフィードバックループの応答を制御する変数であり、次の式（１６）により与えられる。
【０１１１】
【数３５】

【０１１２】
なお、符号化開始時における仮想バッファの初期値は、次の式（１７）で与えられる。
【０１１３】
【数３６】

【０１１４】
続いて、ステップＳ４において、入力される画像圧縮情報（ビットストリーム）における、各マクロブロックの量子化スケールＱは、符号化時に、原画像の輝度信号画素値を用いて算出されるものである。そこで、まず、圧縮情報解析装置３では、プリパーシングが行われる際に、当該フレーム内の各マクロブロックの量子化スケールＱ、及び符号量（ビット数）Ｂが抽出され、この抽出された量子化スケールＱ及び符号量（ビット数）Ｂが情報バッファ７に格納される。これと同時に、圧縮情報解析装置３では、当該フレーム全体のＱ、Ｂの平均値Ｅ（Ｑ）、Ｅ（Ｂ）、又は、その積の平均値Ｅ（ＱＢ）が予め算出され、これらの値が情報バッファ７に格納される。
【０１１５】
また、符号量制御装置１２では、正規化アクティビティＮ＿ａｃｔは、情報バッファ７に格納されたＱ，Ｂの情報に基づいて、次の式（１８）、式（１９）、式（２０）の内のいずれかの式によって表される。
【０１１６】
【数３７】

【０１１７】
【数３８】

【０１１８】
【数３９】

【０１１９】
このうち、式（１９）と式（２０）は等価処理となる。このように、ＤＣＴ領域において算出される正規化アクティビティＮ＿ａｃｔに基づいて適応量子化が行われる。そして、画質を信号雑音比（ｐＳＮＲ）で評価した場合には、式（１８）の方がより高画質となるが、主観画質は、式（１９）又は式（２０）で表されるものの方が良い。
【０１２０】
続いて、ステップＳ５において、まず、所定のマクロブロックに対する、入力される画像圧縮情報（ビットストリーム）における量子化値をＱ１、符号量制御装置１２において上記の方式により表された、出力される画像圧縮情報（ビットストリーム）に対する量子化値をＱ２とする。そして、画像情報変換装置１は符号量（ビットレート）を削減するためのものであるから、Ｑ１＞Ｑ２となった場合には、一度粗く量子化されたマクロブロックが再量子化された結果より細かく量子化されたことになる。粗く量子化されたことによる歪みは、細かく再量子化されることでは低減されない。また、このマクロブロックに対してビットが多く使われることになるため、他のマクロブロックに割り当てられるビットの減少を招き、更なる画質劣化を引き起こす。このため、Ｑ１＞Ｑ２である場合には、Ｑ１＝Ｑ２とすることにする。
【０１２１】
即ち、Ｑ１＞Ｑ２である場合には、Ｑ１を出力し、一方、Ｑ１＞Ｑ２でない場合には、Ｑ２を出力するようにする。
【０１２２】
以上のような処理を経て再量子化された離散コサイン変換係数は、量子化装置９から可変長符号化装置１０に供給される。
【０１２３】
可変長符号化装置１０は、量子化装置９から供給される量子化された離散コサイン変換係数を、平均符号長が短くなるように符号化する。その際、可変長符号化装置１０は、離散コサイン変換係数の直流成分に関しては、１ブロック前の直流成分係数を予測値としてその差分を符号化し、その他の成分に関しては、予め設定された走査方式（ジグザグスキャン又はオルタネートスキャン）に基づいて１次元の配列データに並べ替えた後、連続する０係数の数（ラン）及び非０係数（レベル）のペアを事象とした可変長符号化を行う。
【０１２４】
そして、量子化装置９は、ＤＣＴブロック内のスキャンを行っている際に、それ以降の係数の値が全て０となった場合には、ＥＯＢ（End Of Block）と呼ばれる符号を出力し、そのブロックに対する可変長符号化を終了する。
【０１２５】
なお、可変長符号化装置１０は、入力された高い符号量（高ビットレート）の画像圧縮情報のスキャン方式に関わらず、オルタネートスキャン方式により離散コサイン変換係数を１次元データに配列してもよい。オルタネートスキャン方式により離散コサイン変換係数を１次元データに配列するのは、以下の理由による。
【０１２６】
即ち、入力される画像圧縮情報（ビットストリーム）の所定のブロックの離散コサイン変換係数が、例えば、図７（ａ）に示すようになっていたとする。図７において、●で示す係数は非０係数であり、○で示す係数は０係数である。このような離散コサイン変換係数に対して離散コサイン変換係数の水平高周波成分を０としたとすると、非０係数の分布は例えば図７（ｂ）に示すようになる。この図７（ｂ）に示す水平高周波成分を０とした離散コサイン変換係数を、ジグザグスキャンで再符号化すると、最後の非０係数のスキャン番号は５０となる（図２（ａ）参照）。それに対し、走査変換を行ってオルタネートスキャンで改めて符号化すると、最後の非０係数のスキャン番号は４４になる（図２（ｂ）参照）。このことから、水平高周波成分を０とした離散コサイン変換係数に対して可変長符号化する場合には、オルタネートスキャン方式によりスキャンをすれば、ジグザグスキャンの場合よりも早いスキャン番号でＥＯＢ信号を設定することができる。そのため、量子化幅としてより細かな値を割り当てることができ、再量子化に伴う量子化歪みを低減することができる。
【０１２７】
そして、可変長符号化装置１０により可変長符号化された離散コサイン変換係数は符号バッファ１１に供給され、この符号バッファ１１に一時格納されたのち、ＭＰＥＧ−２に規定されたビットストリーム構造とされて、圧縮画像情報として出力される。
【０１２８】
また、符号量制御装置１２は、上述したように、可変長符号化装置１０により可変長符号化された後の画像圧縮情報が符号バッファ１１においてオーバーフロー及び／又はアンダーフローを起こさないように、予め与えられた目標符号量（ターゲットビットレート）と、情報バッファ７から取得する解析結果情報とに基づいて、量子化装置９において用いられる量子化行列の量子化幅の制御を行う。
【０１２９】
その際、符号量制御のパラメータであるＫ_p，Ｋ_bを後述する方法によって設定することにより、Ｂピクチャに割り当てられる符号量（ビット）を削減することなく、Ｐピクチャに割り当てられる符号量（ビット）を削減し、その分Ｉピクチャにより多くの符号量（ビット）が割り当てることができ、Ｉピクチャの画質が向上され、これを参照するＰピクチャ及びＢピクチャの画質も向上される。
【０１３０】
ここで、符号量制御装置１２において、目標符号量（ターゲットビット）の調整を行う場合に、Ｐピクチャの目標符号量（ターゲットビット）のみを減らし、Ｂピクチャの目標符号量（ターゲットビット）は減らさないようにしなければならない理由について説明する。
【０１３１】
まず第一の理由は、図８に示すように、量子化行列を切り替えることによって減らされているのはＰピクチャの符号量（ビット）のみであって、Ｂピクチャに関しては殆ど変化がないからである。
【０１３２】
そして、第二の理由を説明するために、高解像度画像テストシーケンス「並木道」を、Ｔｅｓｔ Ｍｏｄｅｌ ５に基づく画像情報変換装置を用いて１２Ｍｂｐｓで符号化した時に、各フレームに割り当てられる符号量（ビット）を表した図を、図９に示す。
【０１３３】
ＭＰＥＧ−２では、動きベクトルは、前マクロブロックとの差分値が可変長符号化される。また、Ｂピクチャには、双方向予測モードが含まれる。これらのことから、画面全体に渡って動きが一様ではない画像（例えばカメラがパンしている画像）の場合、又は原画像に雑音が含まれ、これに動きベクトル値が影響を受ける場合等には、ヘッダ部に多くの符号量（ビット）が割り当てられ、離散コサイン変換係数に割り当てられる符号量（ビット）はその分少なくなる。このため、低い符号量（低ビットレート）での符号化を行う場合には、図９に示すように、Ｂピクチャにおける離散コサイン変換係数の符号量が極端に低いものとなることもある。これに対して、さらにＢピクチャの目標符号量（ターゲットビット）を低くすることは、画質劣化のみならず、バッファのアンダーフローも引き起こすことになりかねない。これらのことが第二の理由である。
【０１３４】
つぎに、符号量制御装置１２において用いられる符号量制御のパラメータであるＫ_p，Ｋ_bの設定方法について説明する。
【０１３５】
上述したように、Ｔｅｓｔ Ｍｏｄｅｌ ５では、符号量制御のパラメータとして、Ｉピクチャの量子化スケールコードを基準とした、Ｐピクチャ及びＢピクチャの量子化スケールコードの比率Ｋ_p，Ｋ_bが規定されている。そして、一般の画像情報変換装置では、Ｋ_p及びＫ_bが式（１１）により表される値のときに、常に全体の画質が最適化されると仮定されており、このＫ_p及びＫ_bの値が、画像情報変換装置１においても用いられている。従って、この２つのパラメータであるＫ_p及びＫ_bの設定を変えることで、Ｐピクチャに割り当てられる符号量（ビット）を削減し、その分Ｉピクチャに対して余計に符号量（ビット）を割り当てることができる。
【０１３６】
ここで、符号量制御装置１２において、Ｋ_p及びＫ_bの値が式（１１）により表される値の場合、Ｉピクチャ，Ｐピクチャ及びＢピクチャのそれぞれに割り当てられるビット量を、ＢＩ＿ｏｒｇ，ＢＰ＿ｏｒｇ，ＢＢ＿ｏｒｇとする。また、Ｋ_p及びＫ_bの値を調整した後のビット量を、ＢＩ＿ｎｅｗ，ＢＰ＿ｎｅｗ，ＢＢ＿ｎｅｗとする。
【０１３７】
そして、これらのＫ_p及びＫ_bの値を調整する前後において、Ｉピクチャに対する割り当てビット量を増加させることをＢＩ＿ｎｅｗ＞ＢＩ＿ｏｒｇとし、Ｐピクチャに対する割り当てビット量を減少させることをＢＰ＿ｎｅｗ＜ＢＰ＿ｏｒｇとし、Ｂピクチャに対する割り当てビット量を現状維持させることをＢＢ＿ｎｅｗ＝ＢＢ＿ｏｒｇとし、これらのＢＩ＿ｎｅｗ＞ＢＩ＿ｏｒｇ、ＢＰ＿ｎｅｗ＜ＢＰ＿ｏｒｇ、ＢＢ＿ｎｅｗ＝ＢＢ＿ｏｒｇの関係が満たされるときに、画質が向上するとする。
【０１３８】
まず、例えば、Ｋ_pを１．０より少し大きな値である１．５とし、Ｋ_bを１．４とすると、ＢＰ＿ｎｅｗ＜ＢＰ＿ｏｒｇの関係は満たされることが分かる。しかしながら、ＢＩ＿ｎｅｗ＞ＢＩ＿ｏｒｇ及びＢＢ＿ｎｅｗ＞ＢＢ＿ｏｒｇという関係も同時に満たしてしまう。これは、Ｋ_bを変化させないと、ＢＩとＢＢの比は変わらず、Ｐピクチャのビット量が減少した分は、ＢＩ＿ｎｅｗ及びＢＢ＿ｎｅｗの両方の増大に寄与してしまうからである。これでは、Ｐピクチャのビット量を減少させても、この一部のビットはＢピクチャの増大に割り当てられてしまい、Ｉピクチャには割り当てられないため、画質が向上する効果は半減してしまう。
【０１３９】
従って、ＢＢを現状のまま保持し、ＢＩを増大させるため、その比を規定するＫ_bを相対的に大きくしなければいけない。
【０１４０】
また、式（１）から、Ｋ_p及びＫ_bの値の両方とも式（１１）で規定されている値よりも大きな値を設定することで、Ｔ_iを増大させ、Ｉピクチャの画質を増大させることができる。しかしながら、削減する符号量（ビットレート）はＰピクチャのみであり、Ｂピクチャの符号量（ビットレート）を削減することは、さらなる画質の劣化や、バッファのアンダーフローに繋がる恐れがある。
【０１４１】
そこで、Ｋ_p＞１．０，Ｋ_b＞１．４とすることでＩピクチャに割り当てる符号量（ターゲットビット）を増大させることができる。さらに、式（３）に示すように、Ｋ_b／Ｋ_p＝１．４に保つことにより、Ｂピクチャに割り当てられる符号量（ターゲットビット）をそのままに保つことができる。
【０１４２】
以上述べたことから、Ｋ_p及びＫ_bは、次の式（８）で表されるように設定されればよい。
【０１４３】
【数４０】

【０１４４】
例えば、Ｋ_p＝１．５，Ｋ_b＝２．１と設定することにより、Ｉピクチャにおいて２〜３ｄＢ程度の画質の向上を図ることができる。これによって、上述したフラッシュ現象が防がれ、また、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質を向上することもできる。
【０１４５】
以上述べたように、本発明を適用した第１の実施の形態である画像情報変換装置１では、周波数領域で各ブロックのデータの受け渡しを行って符号量（ビットレート）を削減することができるので、ベースバンドのビデオデータまで復号した後符号化する従来の画像情報変換装置に比べて、演算量が少なくなり、また、回路構成を大幅に削減することができる。
【０１４６】
また、本発明を適用した第１の実施の形態である画像情報変換装置１では、量子化装置９において用いる量子化行列を、イントラマクロブロック用の量子化行列から、このイントラマクロブロック用の量子化行列に比べて高域成分を粗く量子化しないインターマクロブロック用の量子化行列に切り替えることで、Ｉピクチャにおける画質劣化が防がれ、主観的にも画像のフラッシュ現象が回避されることにより、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質をも向上させることができる。
【０１４７】
さらに、本発明を適用した第１の実施の形態である画像情報変換装置１では、このようにインターマクロブロック用の量子化行列を、イントラマクロブロック用及びインターマクロブロック用の両方に用いることで、量子化行列切替装置８は、記憶媒体を備えて、切替のための量子化行列を格納する必要がなくなる。
【０１４８】
さらにまた、本発明を適用した第１の実施の形態である画像情報変換装置１では、符号量制御装置１２において設定される目標符号量（ターゲットビット）の調整を行うことで、Ｉピクチャの画質を向上させてフラッシュ現象を防止するとともに、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質も向上させることができる。
【０１４９】
さらにまた、本発明を適用した第１の実施の形態である画像情報変換装置１では、符号量制御装置１２の制御パラメータであるＫ_p，Ｋ_bを調整することにより、Ｉピクチャの画質を向上させてフラッシュ現象を防止するとともに、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質も向上させることができる。
【０１５０】
なお、上述した画像情報変換装置１では、ＭＰＥＧ−２による画像圧縮情報（ビットストリーム）が入力されているが、直交変換と動き補償によって符号化された画像圧縮情報（ビットストリーム）であれば、例えばＭＰＥＧ−１やＨ．２６３等のような画像圧縮情報（ビットストリーム）が入力されてもよい。
【０１５１】
つぎに、本発明を適用した第２の実施の形態について、図面を参照しながら説明する。
【０１５２】
本発明を適用した第２の実施の形態である画像情報変換装置も、上述した第１の実施の形態である画像情報変換装置１と同様に、例えばＭＰＥＧ−２方式で符号化された画像圧縮情報（ビットストリーム）の符号量（ビットレート）を削減して、低ビットレートの画像圧縮情報を出力する装置である。この本発明を適用した第１の実施の形態である画像情報変換装置では、画像情報を復号する復号部から画像情報を符号化する符号化部への当該画像情報の供給が、周波数領域で行われている。本発明を適用した第２の実施の形態である画像情報変換装置を図１０に示す。
【０１５３】
なお、この画像情報変換装置２０を説明するにあたり、上記第１の実施の形態である画像情報変換装置１と同一の構成要素には、図面中に同一の符号を付け、その詳細な説明を省略する。
【０１５４】
量子化行列切替装置８は、図１０に示すように、情報バッファ７から取得した解析結果情報に基づいて、符号バッファ２に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたイントラマクロブロック用の量子化行列から、インターマクロブロック用の量子化行列に切り替える。
【０１５５】
具体的には、量子化行列切替装置８は、情報バッファ７に記憶された付加情報の中からインターマクロブロック用の量子化行列に関する情報のみを選択し、この選択した情報を当該情報バッファ７から取得する。そして、量子化行列切替装置８は、この取得したインターマクロブロック用の量子化行列に関する情報に基づいて、符号バッファ２に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたイントラマクロブロック用の量子化行列からインターマクロブロック用の量子化行列に切り替える。その後、量子化行列切替装置８は、この切り替えたインターマクロブロック用の量子化行列を量子化装置９に供給する。
【０１５６】
但し、量子化行列切替装置８は、上記切り替えたインターマクロブロック用の量子化行列の第（０，０）成分が８でない場合には、例えば図４に示すような当該第（０，０）成分を８に変換した量子化行列を生成し、この生成した量子化行列を量子化装置９に供給する。これも、ＭＰＥＧ−２の規格では、量子化行列の第（０，０）成分は、８であることが規定されているからである。
【０１５７】
画像情報変換装置２０は、符号バッファ２と、圧縮情報解析装置３と、可変長復号化装置４と、逆量子化装置５と、加算器３０と、帯域制限装置６と、情報バッファ７と、量子化行列切替装置８と、量子化装置９と、可変長符号化装置１０と、符号バッファ１１と、符号量制御装置１２と、動き補償誤差補正装置４０とを備える。
【０１５８】
加算器３０は、逆量子化装置５と帯域制限装置６との間に設けられる。この加算器３０は、逆量子化装置５が逆量子化して得られた離散コサイン変換係数から、動き補償誤差補正装置４０により生成された動き補償誤差補正係数を減算する。
【０１５９】
動き補償誤差補正装置４０は、逆量子化装置５により逆量子化した離散コサイン変換係数を、量子化装置９により再量子化する際に生じる動き補償誤差を補正する動き補償誤差補正係数を生成する。
【０１６０】
次に、動き補償誤差が生じる原因について説明する。
【０１６１】
まず、原画像の画素値をＯとし、入力された高い符号量（高ビットレート）の画像圧縮情報（ビットストリーム）のこの原画像の画素値Ｏに対する量子化幅をＱ₁とし、再符号化後の低い符号量（低ビットレート）の画像圧縮情報（ビットストリーム）のこの原画像の画素値Ｏに対する量子化幅をＱ₂とする。そして、これら量子化幅Ｑ₁及び量子化幅Ｑ₂で復号された参照画像の画素値を、それぞれＬ（Ｑ₁），Ｌ（Ｑ₂）とする。
【０１６２】
インターマクロブロックの画素は、符号化時において、例えば図９に示した画像情報変換装置２０の加算器３０により差分値“Ｏ−Ｌ（Ｑ₁）”が計算され、この差分値“Ｏ−Ｌ（Ｑ₁）”に離散コサイン変換が施される。このように符号化されたインターマクロブロックの画素は、復号時においては、差分値“Ｏ−Ｌ（Ｑ₁）”に逆離散コサイン変換が施され、この差分値“Ｏ−Ｌ（Ｑ₁）”から動き補償により生成された参照画像“Ｌ（Ｑ₁）”が減算され、原画像の画素値Ｏが復号される。
【０１６３】
一方、インターマクロブロックの画素は、図１に示した画像情報変換装置１による符号量（ビットレート）の削減時において、逆量子化装置５及び量子化装置９により差分値“Ｏ−Ｌ（Ｑ₁）”の量子化幅がＱ１からＱ２に変換される。このように符号量を削減したインターマクロブロックの画素は、復号時においては、差分値“Ｏ−Ｌ（Ｑ₂）”が量子化幅Ｑ₂で符号化されたものと見なされて復号される。
【０１６４】
ここで、画像情報変換装置１において量子化幅を変えて符号量を削減していることからＱ₁＝Ｑ₂は成立せず、インターマクロブロックの復号時に量子化誤差が生じる。従って、インターマクロブロックにより符号化がされているＰピクチャ、Ｂピクチャに、動き補償に伴う誤差が発生する。
【０１６５】
Ｐピクチャで生じた誤差は、以後このＰピクチャを参照画像とするＰピクチャやＢピクチャに伝播し、さらなる画質劣化に繋がる。このように、ＧＯＰの動き補償に伴う誤差の蓄積が原因で画質が劣化し、次のＧＯＰも先頭でまた良好な画質に戻るという現象（ドリフト）が発生する。
【０１６６】
この第２の実施の形態である画像情報圧縮装置４０の動き補償誤差補正装置４０では、動き補償誤差補正係数を生成し、逆量子化装置５により逆量子化した離散コサイン変換係数から減算し、以上の動き補償誤差を補正している。
【０１６７】
続いて、この動き補償誤差補正装置４０について説明する。
【０１６８】
動き補償誤差補正装置４０は、逆量子化装置４１と、加算器４２と、逆離散コサイン変換装置４３と、ビデオメモリ４４と、動き補償予測装置４５と、離散コサイン変換装置４６とを備える。
【０１６９】
逆量子化装置４１は、量子化装置９により再量子化された離散コサイン変換係数を、上記量子化装置９で用いられた量子化行列に基づき逆量子化する。逆量子化装置４１により逆量子化された離散コサイン変換係数は、加算器４２に供給される。
【０１７０】
加算器４２は、逆量子化装置４１により逆量子化された離散コサイン変換係数から、加算器３０により動き補償誤差補正係数が減算された離散コサイン変換係数を減算し、逆離散コサイン変換装置４３に供給する。
【０１７１】
逆離散コサイン変換装置４３は、加算器４２から供給された離散コサイン変換係数に対して、逆離散コサイン変換を施す。逆離散コサイン変換を施して得らた結果は、動き補償誤差補正情報として、ビデオメモリ４４に格納される。
【０１７２】
動き補償予測装置４５は、入力された高い符号量（高ビットレート）の画像圧縮情報（ビットストリーム）内における動き補償予測モード情報（フィールド動き補償予測モード或いはフレーム動き補償予測モード、及び、前方向予測モード、後方向予測モード、或いは、双方向予測モード）及び、動きベクトル情報に基づき、ビデオメモリ４４内の動き補償誤差補正情報に対して動き補償を行う。動き補償がされたデータが、空間領域での誤差補正値となる。この誤差補正値は、離散コサイン変換装置４６に供給される。
【０１７３】
離散コサイン変換装置４６は、供給された誤差補正値に対して離散コサイン変換を施し、周波数領域での誤差補正値である動き補償誤差補正係数を生成する。この動き補償誤差補正係数は、加算器３０に供給される。
【０１７４】
そして、この加算器３０において、逆量子化装置５により逆量子化された離散コサイン変換係数から、この動き補償誤差補正係数を減算することによって、動き補償に起因する誤差の補正がされる。
【０１７５】
以上のように構成された本発明を適用した第２の実施の形態である画像情報変換装置２０では、周波数領域で各ブロックのデータの受け渡しを行って符号量（ビットレート）を削減することができるので、ベースバンドのビデオデータまで復号した後符号化する従来の画像情報変換装置に比べて、演算量が少なくなり、また、回路構成を大幅に削減することができる。これとともに、画像情報変換装置２０では、動き補償誤差の蓄積に起因する画質劣化を生じさせずに、符号量を削減することができる。
【０１７６】
なお、上記動き補償誤差補正装置４０の逆離散コサイン変換装置４３及び離散コサイン変換装置４６では、文献”Ａ ｆａｓｔ ｃｏｍｐｕｔａｔｉｏｎａｌａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ”（ＩＥＥＥ Ｔｒａｎｓ．Ｃｏｍｍｕｎ．，ｖｏｌ．２５，ｎｏ．９ ｐｐ．１００４−１００９，１９７７）に示されているような高速アルゴリズムを適用することが可能である。
【０１７７】
また、逆離散コサイン変換装置４３及び離散コサイン変換装置４６では、帯域制限装置６において水平高域成分の係数が０と置き換えられている場合、０と置き換えられている係数に対する逆離散コサイン変換及び離散コサイン変換を省くことで、回路規模及び演算処理量を削減することが可能である。
【０１７８】
さらに、画像における色差信号の劣化は、輝度信号の劣化に比べ、人間の目には分かり難いという特色を有しているため、上記の動き補償誤差補正を、輝度信号のみに適用することで、画質劣化を最小に保ちながら回路規模及び演算処理量を大幅に削減することもできる。また、Ｐピクチャにおける誤差はＢピクチャに伝播するが、Ｂピクチャにおける誤差はそれ以上伝播しない。一方、Ｂピクチャには双方向予測モードを含み、多大なる演算処理量を要する。そこで、Ｐピクチャにのみ動き補償誤差補正を行うことで、画質劣化を最小に保ちながら回路規模及び演算処理量を大幅に削減することも考えられる。Ｂピクチャにおける処理を行わないことで、ビデオメモリ４４の容量を削減することも可能となる。
【０１７９】
以上述べたように、本発明を適用した第２の実施の形態である画像情報変換装置２０では、周波数領域で各ブロックのデータの受け渡しを行って符号量（ビットレート）を削減することができるので、ベースバンドのビデオデータまで復号した後符号化する従来の画像情報変換装置に比べて、演算量が少なくなり、また、回路構成を大幅に削減することができる。
【０１８０】
また、本発明を適用した第２の実施の形態である画像情報変換装置２０では、量子化装置９において用いる量子化行列を、イントラマクロブロック用の量子化行列から、このイントラマクロブロック用の量子化行列に比べて高域成分を粗く量子化しないインターマクロブロック用の量子化行列に切り替えることで、Ｉピクチャにおける画質劣化が防がれ、主観的にも画像のフラッシュ現象が回避されることにより、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質をも向上させることができる。
【０１８１】
さらに、本発明を適用した第２の実施の形態である画像情報変換装置２０では、このようにインターマクロブロック用の量子化行列を、イントラマクロブロック用及びインターマクロブロック用の両方に用いることで、量子化行列切替装置８は、記憶媒体を備えて、切替のための量子化行列を格納する必要がなくなる。
【０１８２】
なお、上述した画像情報変換装置２０では、ＭＰＥＧ−２による画像圧縮情報（ビットストリーム）が入力されているが、直交変換と動き補償によって符号化された画像圧縮情報（ビットストリーム）であれば、例えばＭＰＥＧ−１やＨ．２６３等のような画像圧縮情報（ビットストリーム）が入力されてもよい。
【０１８３】
また、上述した画像情報変換装置１及び画像情報変換装置２０では、量子化行列切替装置８が用いられているが、この量子化行列切替装置８を用いなくてもよい。この場合において、量子化装置９は、帯域制限装置６から供給された８×８離散コサイン変換係数を、符号量制御装置１２から供給される、出力される画像圧縮情報（ビットストリーム）の目標符号量（ターゲットビットレート）に応じた量子化幅に基づいて、量子化を行う。そして、量子化装置９は、この量子化を行った離散コサイン変換係数を、可変長符号化装置１０に供給する。
【０１８４】
【発明の効果】
以上説明したように、本発明に係る画像情報変換装置及び画像情報変換方法によれば、入力された上記第１の画像圧縮情報について、構文解析を行い、その解析結果情報として、量子化幅及び量子化行列に関する情報、ピクチャ符号化タイプ情報を抽出し、上記解析結果情報として上記第１の画像圧縮情報から抽出された量子化幅化に関する情報に基づいて、上記第１の画像圧縮情報の直交変換係数を逆量子化し、上記解析結果情報として上記第１の画像圧縮情報から抽出された量子化行列に関する情報に基づいて、上記第１の画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替え、上記解析結果情報として上記第１の画像圧縮情報から抽出された上記ピクチャ符号化タイプ情報と所定の目標符号量とに基づいて量子化幅を制御して、切り替えられた上記インターマクロブロック用の量子化行列と制御された上記量子化幅とに基づいて、イントラマクロブロックを再量子化し、上記第１の画像圧縮情報を逆量子化する際に用いたインターマクロブロック用の量子化行列と制御された上記量子化幅とに基づいて、インターマクロブロックを再量子化することにより、符号量を制御した上記第２の画像圧縮情報を生成することにより、例えばＭＰＥＧ−２（Moving Picture Experts Group phase - 2）方式で符号化された画像圧縮情報（ビットストリーム）の符号量（ビットレート）を削減して、低ビットレートの画像圧縮情報を出力する装置において、Ｉピクチャにおける再量子化に伴う画質劣化を低減して、Ｉピクチャの画質を向上させてフラッシュ現象を防止するとともに、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質も向上させることができる。
【０１８５】
また、本発明に係る画像情報変換装置及び画像情報変換方法によれば、符号量制御手段の制御パラメータであるＫ_p，Ｋ_bの値を調整することにより、Ｉピクチャの画質を向上させてフラッシュ現象を防止するとともに、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質も向上させることができる。
【図面の簡単な説明】
【図１】本発明を適用した第１の実施の形態である画像情報変換装置のブロック構成図である。
【図２】可変長符号化をする際の離散コサイン変換係数のスキャン順序を示す図である。（ａ）はジグザグスキャンのスキャン順序を示す図であり、（ｂ）はオルタネートスキャンのスキャン順序を示す図である。
【図３】第１の実施の形態である画像情報変換装置の帯域制限装置による離散コサイン変換係数の水平高周波成分の帯域制限例を説明する図である。（ａ）は輝度信号に対する離散コサイン変換係数の帯域制限例を示す図であり、（ｂ）は色差信号に対する離散コサイン変換係数の帯域制限例を示す図である。
【図４】イントラマクロブロックを符号化するための量子化行列を示す図である。
【図５】第１の実施の形態である画像情報変換装置の符号量制御装置の動作内容を示すフローチャートである。
【図６】擬似ＧＯＰの構成を説明する図である。
【図７】オルタネートスキャン方式により離散コサイン変換係数をスキャンすることを説明する図である。（ａ）は帯域制限まえの離散コサイン変換係数を示す図であり、（ｂ）は帯域制限後の離散コサイン変換係数を示す図である。
【図８】本発明を適用した第１の実施の形態である画像情報変換装置において、量子化行列の切替を行う前後で、各フレームに割り当てられた符号量を示す図である。
【図９】高解像度画像テストシーケンスを、Ｔｅｓｔ Ｍｏｄｅｌ ５に基づく画像情報変換装置を用いて符号化した時に、各フレームに割り当てられる符号量を表す図である。
【図１０】本発明を適用した第２の実施の形態である画像情報変換装置のブロック構成図である。
【図１１】従来の画像情報変換装置のブロック構成図である。
【図１２】従来の画像情報変換装置のブロック構成図である。
【図１３】従来の画像情報変換装置によって符号化された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【図１４】従来の画像情報変換装置によって符号化された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【図１５】量子化行列のデフォルト値を示す図である。（ａ）はイントラマクロブロックについて用いられるデフォルトに設定された量子化行列を示す図であり、（ｂ）はインターマクロブロックについて用いられるデフォルト値に設定された量子化行列を示す図であり、（ｃ）はＴｅｓｔ Ｍｏｄｅｌ ５で規定された量子化行列を示す図である。
【図１６】従来の画像情報変換装置によって符号量を削減された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【図１７】従来の画像情報変換装置によって符号量を削減された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【符号の説明】
１ 画像情報変換装置、２ 符号バッファ、３ 圧縮情報解析装置、４ 可変長復号化装置、５ 逆量子化装置、６ 帯域制限装置、７ 情報バッファ、８ 量子化行列切替装置、９ 量子化装置、１０ 可変長符号化装置、１１ 符号バッファ、１２ 符号量制御装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image information conversion apparatus and an image information conversion method for converting a bit rate of compressed image information.
[0002]
[Prior art]
In recent years, image information is handled as digital data, and the digital data is compressed by orthogonal transformation and motion compensation using redundancy unique to image information, and transmitted to network media such as satellite broadcasting and cable television, or optical discs. Devices that perform recording on storage media such as magnetic disks are widely used. In such an apparatus, generally, MPEG-2 (Moving Picture Experts Group phase-2) using discrete cosine transform is used as an image compression method.
[0003]
In recent years, standardization of digital television broadcasting using an image compression method such as MPEG-2 has been promoted. Standards for digital television broadcasting include standards corresponding to standard resolution images (for example, 576 effective lines in the vertical direction), standards corresponding to high resolution images (for example, 1152 effective lines in the vertical direction), and the like. is there.
[0004]
By the way, the image information of this high resolution image is enormous, and even if it is compressed using an encoding method such as MPEG-2, a large amount of code (bit rate) is required to obtain sufficient image quality. . For example, in the case of a 30 Hz interlaced scanning image with an image frame of 1920 pixels × 1080 pixels, a code amount of about 18 to 22 Mbps or more is required.
[0005]
For this reason, when transmitting such a high-resolution image to a network medium such as satellite broadcast or cable television, the code amount must be further reduced in accordance with the bandwidth of the transmission path. Similarly, when such a high-resolution image is recorded on a storage medium such as an optical disk or a magnetic disk, the code amount must be further reduced in accordance with the recording capacity of the medium. In addition, it is conceivable that such a need for code amount reduction occurs not only in a high-resolution image but also in a standard-resolution image (for example, a 30 Hz interlaced scanned image having an image frame of 720 pixels × 480 pixels).
[0006]
As means for solving such a problem, there are hierarchical encoding (scalability), image information conversion (transcoding), and the like. In MPEG-2, SNR scalability is standardized for the former, and this is used to hierarchically encode high SNR image compression information (bitstream) and low SNR image compression information (bitstream). . However, in order to perform hierarchical encoding, a predetermined value such as a bandwidth or a storage capacity needs to be known at the time of encoding, but in an actual system, it is often unknown. Therefore, it can be said that the latter is a method with a higher degree of freedom according to an actual system.
[0007]
In the latter image information conversion device (transcoder) using the latter image information conversion (transcoding), a decoding unit that decodes or partially decodes the input image compression information (bitstream), and this decoding An encoding unit that re-encodes the output of the encoding unit is connected in parallel, and image information is supplied from the decoding unit to the encoding unit in two regions of the spatial domain or the frequency domain.
[0008]
The conventional image information conversion apparatus in which image information is supplied from the decoding unit to the encoding unit in the former spatial region has a large calculation processing amount, but the decoded image of the compressed image information (bitstream) to be output Deterioration can be suppressed, and it is mainly used for applications such as broadcasting equipment. On the other hand, the conventional image information conversion apparatus in which image information is supplied from the decoding unit to the encoding unit in the latter frequency domain causes a slight deterioration in image quality, but less than the former image information conversion apparatus. It can be realized with an arithmetic processing amount, and is mainly used for applications of consumer devices.
[0009]
Next, a conventional image information conversion apparatus used in each of these spatial regions or frequency regions will be described with reference to the drawings.
[0010]
First, a conventional image information conversion apparatus used in the spatial domain will be described. A conventional image information conversion apparatus used in this spatial domain is shown in FIG.
[0011]
As shown in FIG. 11, the conventional image information conversion apparatus 100 includes an image information decoding apparatus 101, an additional information buffer 102, and an image information encoding apparatus 103.
[0012]
This conventional image information conversion device 100 is a device that generally reduces the amount of code of image compression information (bitstream), and supplies image information from the image information decoding device 101 to the image information encoding device 103 as a space. Do in the area.
[0013]
First, in the conventional image information conversion apparatus 100, the image information decoding apparatus 101 receives image compression information with a high bit rate. The image information decoding apparatus 101 once completely decodes the high bit rate image compression information and outputs baseband video data. At the same time, the additional information buffer 102 is supplied with information (hereinafter referred to as additional information) used by the image information decoding apparatus 101 for decoding from the image information decoding apparatus 101, and the supplied additional information buffer 102. Store information.
[0014]
The additional information includes, for example, information for each macroblock such as a motion vector, a prediction mode, a DCT mode, a quantization scale code, a GOP header (Groupe of Picture Header), a picture header (Picture Header), a sequence Header (Sequence Header), Sequence Display Extension (Sequence Display Extension) Picture Coding Function Extension (Picture Coding Extension), Quantization Matrix Extension (Quantization Matrix Extension), Picture Display Extension (Picture Display Extension), etc. There is information about higher layers.
[0015]
The image information encoding apparatus 102 is given a target code amount (target bit rate) lower than the code amount (high bit rate) of the input image compression information in advance, and this target code amount and additional information Based on the additional information acquired from the buffer 102, encoding processing is performed. That is, the image information encoding device 103 re-encodes the baseband video data obtained as the output of the image information decoding device 101 based on the target code amount and the additional information, and converts the low-bit-rate image compression information. Output. As described above, the image information encoding apparatus 103 can reduce the increase in the amount of arithmetic processing and the deterioration in image quality associated with the re-encoding by using the additional information stored in the additional information buffer 102.
[0016]
For example, in general, when encoding image information, a large amount of calculation processing is required for motion vector search. However, in the conventional image information conversion apparatus 100, each macroblock stored in the additional information buffer 102 is By using the motion vector and the prediction mode, the encoding process can be performed without performing a motion vector search.
[0017]
Next, a conventional image information conversion apparatus used in the frequency domain will be described. A conventional image information conversion apparatus used in this frequency domain is shown in FIG.
[0018]
As shown in FIG. 12, the conventional image information conversion apparatus 110 includes a code buffer 111, a compression information analysis apparatus 112, a variable length decoding apparatus 113, an inverse quantization apparatus 114, a band limiting apparatus 115, A quantization device 116, an information buffer 117, a variable length coding device 118, a code buffer 119, and a code amount control device 120 are provided.
[0019]
The code buffer 111 receives a large amount of code compression (high bit rate) image compression information (bit stream) and accumulates the input image compression information. In this code buffer 111, the compressed image information (bit stream) encoded so as to satisfy the constraint condition of VBV (Video Buffer Verifier) defined in MPEG-2 is accumulated, so overflow and / or underflow Will never happen. Then, the code buffer 111 supplies the stored image compression information to the compression information analysis device 112.
[0020]
Based on the syntax (syntax) defined in MPEG-2, the compression information analysis device 112 uses information (hereinafter referred to as “hereinafter”) necessary for each processing described below from the compressed image information (bit stream) supplied from the code buffer 111. Analysis result information), and the extracted analysis result information is supplied to the variable length decoding device 113 and the information buffer 117. Among the analysis result information, the compression information analysis device 112 particularly relates to picture coding type information (picture_coding_type) and a quantization value for each macroblock necessary for processing in the code amount control device 120 described later. Information such as quantization scale information (q_scale) is supplied to the information buffer 117.
[0021]
The variable length decoding device 113 performs variable length decoding on the data encoded as the difference value with the adjacent block for the DC component of the intra macroblock of the image compression information supplied from the compression information analysis device 112. For other coefficients, variable-length decoding is performed on the data encoded by the run and level to obtain a quantized one-dimensional discrete cosine transform coefficient. Then, the variable length decoding device 113 reverses the one-dimensionally arranged discrete cosine transform coefficients based on the information on the scanning method (zigzag scan or alternate scan) included in the analysis result information extracted by the compression information analysis device 112. Scan and rearrange into quantized two-dimensional discrete cosine transform coefficients. The variable length decoding device 113 supplies the two-dimensional array and the quantized discrete cosine transform coefficient to the inverse quantization device 114.
[0022]
The inverse quantization device 114 inversely quantizes the two-dimensional array and the quantized discrete cosine transform coefficient based on the information regarding the quantization width and the quantization matrix included in the analysis result information. The inverse quantizer 114 supplies the inverse quantized discrete cosine transform coefficient to the band limiting device 115.
[0023]
The band limiter 115 limits the band of the high frequency component coefficient in the horizontal direction for each DCT block on the discrete cosine transform coefficient supplied from the inverse quantizer 114. Then, the band limiting device 115 supplies the discrete cosine transform coefficient subjected to the band limitation to the quantizing device 116.
[0024]
The quantizing device 116 controls the 8 × 8 discrete cosine transform coefficient supplied from the band limiting device 115 by the code amount control device 120 and outputs the target code amount (target bit) of the output image compression information (bit stream). Quantization is performed based on the quantization width corresponding to the rate. Then, the quantizing device 116 supplies the quantized discrete cosine transform coefficient to the variable length coding device 118.
[0025]
The information buffer 117 stores analysis result information such as picture coding type information (picture_coding_type) and quantization scale information (q_scale) supplied from the compression information analysis device 112. Then, the information buffer 117 supplies the stored analysis result information to the code amount control device 120.
[0026]
The variable length coding device 118 performs variable length coding of the quantized discrete cosine transform coefficient supplied from the quantization device 116 and stores the discrete cosine transform coefficient subjected to the variable length coding in the code buffer 119. Supply.
[0027]
The code buffer 119 is a buffer memory for making the information amount of the low-bit-rate image compression information to be output constant, and receives a small code amount (low-bit-rate) image compression information (bit stream). The compressed image compression information is stored. In this code buffer 119, the compressed image information (bit stream) encoded so as to satisfy the constraint condition of VBV (Video Buffer Verifier) defined in MPEG-2 is accumulated, so overflow and / or underflow Will never happen. The code buffer 119 outputs the stored image compression information and supplies it to the code amount control device 120.
[0028]
The code amount control device 120 has a target code amount (preliminarily given) so that the image compression information after variable length coding by the variable length coding device 118 does not overflow and / or underflow in the code buffer 119. Based on the target bit rate) and the analysis result information acquired from the information buffer 117, the quantization width of the quantization matrix used in the quantization device 116 is controlled.
[0029]
In the image information conversion apparatus 110 configured as described above, the inverse quantization apparatus 114 includes the two-dimensional array supplied from the variable length decoding apparatus 113 and the quantized discrete cosine transform coefficient in the analysis result information. Inverse quantization is performed based on the information regarding the quantization width and the quantization matrix, and the discrete cosine transform coefficient obtained by the inverse quantization is supplied to the band limiting device 115. Then, the quantization device 116 converts the 8 × 8 discrete cosine transform coefficient supplied from the inverse quantization device 114 via the band limiting device 115 based on the quantization width controlled by the code amount control device 120. Perform quantization. Then, the quantizing device 116 supplies the quantized discrete cosine transform coefficient to the variable length coding device 118. By processing in this way, low-bit-rate image compression information is output from the code buffer 119.
[0030]
[Problems to be solved by the invention]
By the way, a CCIR (International Radio Consultative Committee) test sequence “Mobile & Calendar” is encoded by an MPEG-2 image information encoding device (hereinafter referred to as an MPEG-2 image information encoding device) compliant with Test Model 5. FIG. 13 shows the transition of each frame of the signal-to-noise ratio (hereinafter referred to as pSNR) of the luminance signal with respect to the original image of the decoded image of the image compression information (bit stream).
[0031]
Here, the encoding conditions are a bit rate of 6 Mbps and a GOP (Group of Pictures) configuration of N = 15 and M = 3. Note that N is the number of pictures in the GOP, and M is a period in which an I picture or a P picture appears.
[0032]
At this time, if the mean square error from the original image for each frame is MSE, the pSNR is expressed by the following equation (9).
[0033]
[Equation 19]

[0034]
In FIG. 13, an I picture having a frame number such as 3, 9, 15 or the like shows a higher pSNR than a neighboring P picture or B picture. This is because the target code amount (target bit) of the I picture is set higher than that of the P picture or B picture in the MPEG-2 image information encoding apparatus. Therefore, when the image quality of an I picture is improved, the image quality of a P picture or B picture configured with reference to this is also improved.
[0035]
On the other hand, the CCIR test sequence “Mobile & Calendar” is encoded by the MPEG-2 image information encoding apparatus with the quantization value fixed to 1 without performing the code amount control and taking into account the overflow and / or underflow of the buffer. FIG. 14 shows transitions of the pSNR of the luminance signal for each frame of the decoded image of the decoded image compression information (bit stream) for each frame.
[0036]
In FIG. 14, in contrast to the case of FIG. 13, for example, an I picture having a frame number of 3, 9, 15 or the like shows a lower pSNR than a neighboring P picture or B picture. That is, the picture quality of the I picture is lower than that of the neighboring P picture or B picture.
[0037]
This is due to the quantization matrix used in the MPEG-2 image information encoding apparatus. That is, in the MPEG-2 image information encoding apparatus, quantization matrices as shown in FIGS. 15A and 15B are defined by default values for the intra macroblock and the inter macroblock, respectively. Therefore, the intra macroblock is quantized twice with the quantization matrix shown in FIG. Therefore, as shown in FIG. 14, the I picture has a requantization distortion in a high frequency component even though a larger amount of code (bits) is assigned compared to the P picture or the B picture. It is getting bigger.
[0038]
Note that in the MPEG-2 image information encoding apparatus used in practice, the quantum shown in FIG. 15C defined by Test Model 5 is used instead of the quantization matrix defined in FIG. 15B. A generalization matrix is generally used. Also, the experimental results shown in FIGS. 13, 14, 16, and 17 are all shown in FIGS. 15A and 15C as quantization matrices for intra macro blocks and inter macro blocks, respectively. What is shown is what was used.
[0039]
In addition, image compression information (bit stream) obtained by compressing the CCIR test sequence “Mobile & Calendar” to 6 Mbps is input, and the image information conversion device shown in FIG. 11 or FIG. FIG. 16 and FIG. 17 show the transitions of the pSNR of the luminance signal for each frame of the original image of the decoded image of the compressed image information (bitstream) output as 4 Mbps after reduction.
[0040]
The results shown in FIG. 16 are obtained by recalculating motion vectors by independently operating the image information decoding apparatus 101 and the image information encoding apparatus 103 without using the additional information buffer 102 in FIG. It is.
[0041]
Further, the results shown in FIG. 17 show that the high frequency component is not reduced by the band limiting device 115 in FIG. 12, and the motion compensation error is corrected for all the 8 × 8 discrete cosine transform coefficients for both the P picture and the B picture. In this case, 15 frames are secured as the capacity of the feedforward buffer shown in FIG. The normalized activity N_act is expressed by the following equation (10).
[0042]
[Expression 20]

[0043]
Here, the tendency of the image quality in FIGS. 16 and 17 is the same as that shown in FIG. 14 described above. For example, the image quality of an I picture having frame numbers such as 18, 33, 48, etc. Or, it is lower than the B picture.
[0044]
The reason for this is the same as the experimental result shown in FIG. That is, due to the above-described operation of the code amount control device 120, the intra macroblock is quantized twice with the quantization matrix shown in FIG. 15A in the experiments shown in FIGS. Therefore, the I picture has a larger requantization distortion in the high frequency component, although a larger amount of code (bits) is allocated compared to the P picture or the B picture.
[0045]
In this way, the negative effect of requantization distortion on intra macroblocks is relatively larger than the positive effect of allocating a larger amount of code (bits) to an I picture. In FIG. 17, the picture quality of the I picture is low. Subjectively, degradation of image quality in an I picture is observed as a flash phenomenon once every 15 frames (0.5 seconds). Further, this is a cause of hindering improvement in the image quality of the P picture and the B picture configured with reference to the I picture.
[0046]
Therefore, the present invention has been made in view of such a situation, and by reducing image quality degradation accompanying re-quantization in an I picture, the P picture and B picture configured based on the I picture are reduced. It is an object of the present invention to provide an image information conversion apparatus and an image information conversion method that reduce image quality deterioration.
[0047]
[Means for Solving the Problems]
  To achieve the above objective,The present invention provides image data comprising intra-frame encoded data encoded by an intra-frame encoding method and inter-frame prediction encoded data encoded by an inter-frame predictive encoding method.In orthogonal transform block unit consisting of predetermined pixel blocksBy orthogonal transformation and two-dimensional array and quantization according to a predetermined scanning methodCompression codingWasIn the image information conversion device for converting the first image compression information of the first bit rate into the second image compression information of the second bit rate lower than the first bit rate. The first image compression informationIs analyzed, and information about the quantization width and quantization matrix and picture coding type information are extracted as analysis result information.Image compression information analysis means and image compression information analysis meansBased on the information on the quantization width extracted from the first image compression information as the analysis result information by the above,Inverse quantization means for inversely quantizing orthogonal transform coefficients of the first image compression information, and the image compression information analysis meansQuantization matrix for intra-frame coding used when the first image compression information is generated based on the information about the quantization matrix extracted from the first image compression information as the analysis result information by A quantization matrix switching means for switching a quantization matrix for an intra macroblock that is an intermacroblock quantization matrix that is a quantization matrix for interframe coding;The orthogonal transform coefficient of the first image compression information dequantized by the dequantization means is calculated.Re-quantization using the quantization matrix given by the quantization matrix switching meansQuantization means and image compression information analysis meansExtracted from the first compressed image information as analysis result informationthe abovePicture coding type informationAnd the predetermined target code amount,Quantization width of quantization meansCode amount control means for controlling and controlling the code amount of the second image compression information to be outputAnd the quantization means includes an intra macroblock based on the quantization matrix for the inter macroblock switched by the quantization matrix switching means and the quantization width controlled by the code amount control means. , And the inverse quantization means uses the inter-macroblock quantization matrix used when the first image compression information is inversely quantized and the quantization width controlled by the code amount control means. Quantize inter macroblock based onIt is characterized by that.
[0051]
  Also,The present invention provides image data comprising intra-frame encoded data encoded by an intra-frame encoding method and inter-frame prediction encoded data encoded by an inter-frame predictive encoding method.In orthogonal transform block unit consisting of predetermined pixel blocksBy orthogonal transformation and two-dimensional array and quantization according to a predetermined scanning methodCompression codingWasIn the image information conversion method for converting the first image compression information of the first bit rate into the second image compression information of the second bit rate lower than the first bit rate, the first information The first image compression information of the bit rate is input, and the input first image compression informationIs analyzed, and information on the quantization width and quantization matrix and picture coding type information are extracted as analysis result information.the aboveBased on the information about the quantization width extracted from the first image compression information as the analysis result information,Dequantize the orthogonal transform coefficient of the first image compression information, andBased on the information about the quantization matrix extracted from the first image compression information as the analysis result information, the quantization matrix for intraframe encoding used when the first image compression information is generated. Switch the quantization matrix for an intra macroblock to the quantization matrix for an inter macroblock, which is a quantization matrix for interframe coding,the aboveExtracted from the first compressed image information as analysis result informationthe abovePicture coding type informationAnd a predetermined target code amountQuantization widthControlBased on the switched quantization matrix for the inter-macroblock and the controlled quantization width, the intra-macroblock is re-quantized and the inter-block used when the first image compression information is inverse-quantized is used. Based on the quantization matrix for the macroblock and the controlled quantization width, the second image compression information in which the code amount is controlled is generated by requantizing the inter macroblock.It is characterized by that.
[0055]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a first embodiment to which the present invention is applied will be described with reference to the drawings.
[0056]
An image information conversion apparatus according to the first embodiment to which the present invention is applied includes a code amount (bits) of image compression information (bit stream) encoded by, for example, MPEG-2 (Moving Picture Experts Group phase-2) system. This is a device that outputs low-bit-rate image compression information. In the image information conversion apparatus according to the first embodiment to which the present invention is applied, the image information is supplied from the decoding unit that decodes the image information to the encoding unit that encodes the image information in the frequency domain. It has been broken. FIG. 1 shows an image information conversion apparatus according to a first embodiment to which the present invention is applied. Note that MPEG-2 is a compression method of image information corresponding to both interlaced scanning images and progressive scanning images, and standard resolution images and high resolution images.
[0057]
As shown in FIG. 1, the image information conversion apparatus 1 includes a code buffer 2, a compression information analysis apparatus 3, a variable length decoding apparatus 4, an inverse quantization apparatus 5, a band limiting apparatus 6, an information buffer, 7, a quantization matrix switching device 8, a quantization device 9, a variable length coding device 10, a code buffer 11, and a code amount control device 12.
[0058]
The code buffer 2 receives image compression information (bit stream) having a large code amount (high bit rate) and accumulates the input image compression information. In this code buffer 2, image compression information (bit stream) encoded so as to satisfy the constraint condition of VBV (Video Buffer Verifier) defined in MPEG-2 is accumulated, so overflow and / or underflow Will never happen. Then, the code buffer 2 supplies the stored image compression information to the compression information analysis device 3.
[0059]
The compression information analysis device 3 extracts information necessary for each processing to be described later from the compressed image information (bit stream) supplied from the code buffer 2 based on the syntax (syntax) defined in MPEG-2. The extracted information (hereinafter referred to as analysis result information) is supplied to the variable length decoding device 4 and the information buffer 7. The compression information analysis device 3 relates to the picture encoding type information (picture_coding_type) and the quantization value for each macroblock, which are necessary for processing in the code amount control device 12 described later, among the above analysis result information. Information such as quantization scale information (q_scale) is supplied to the information buffer 7.
[0060]
The variable length decoding device 4 performs variable length decoding on the data encoded as the difference value with the adjacent block for the direct current component of the intra macroblock of the image compression information supplied from the compression information analysis device 3. For other coefficients, variable-length decoding is performed on the data encoded by the run and level to obtain a quantized one-dimensional discrete cosine transform coefficient. Then, the variable length decoding device 4 has information related to the scanning method (zigzag scan shown in FIG. 2A or alternate scan shown in FIG. 2B) included in the analysis result information extracted by the compression information analysis device 3. Then, the one-dimensionally arranged discrete cosine transform coefficients are reverse-scanned and rearranged into quantized two-dimensional discrete cosine transform coefficients. The variable length decoding device 4 supplies the two-dimensional array and the quantized discrete cosine transform coefficient to the inverse quantization device 5.
[0061]
The inverse quantization device 5 inversely quantizes the two-dimensional array and the quantized discrete cosine transform coefficient based on the information regarding the quantization width and the quantization matrix included in the analysis result information. The inverse quantizing device 5 supplies the inversely quantized discrete cosine transform coefficient to the band limiting device 6.
[0062]
The band limiter 6 limits the band of the high frequency component coefficient in the horizontal direction for each DCT block with respect to the discrete cosine transform coefficient supplied from the inverse quantization apparatus 5.
[0063]
FIG. 3 shows an example of the band limiting process of the horizontal high-frequency component in the band limiting device 6. For example, with respect to the luminance signal, the band limiting device 6 stores only the value of the 8 × 6 coefficient that is the low frequency component in the horizontal direction among the 8 × 8 discrete cosine transform coefficients as shown in FIG. Replace the rest with 0. Further, as shown in FIG. 3B, the band limiting device 6 stores only the 8 × 4 coefficient that is the low frequency component in the horizontal direction among the 8 × 8 discrete cosine transform coefficients, as shown in FIG. 3B. And replace the rest with 0. Thus, by limiting the band of the high frequency component of the discrete cosine transform coefficient, the code amount (bit rate) can be reduced in the frequency domain.
[0064]
Further, when the input image compression information (bit stream) is that of an interlaced scanned image, information on the time difference between fields is included in the vertical high frequency component of the discrete cosine transform coefficient. Therefore, performing band limitation on the discrete cosine transform coefficient in the vertical direction leads to significant image quality degradation. Therefore, the band limiting device 6 does not limit the band in the vertical direction.
[0065]
Furthermore, in the band limiting device 6, the band limitation is more greatly performed on the color difference signal that is more difficult to be noticed by humans than the luminance signal that is more easily degraded by humans. As a result, the band limiting device 6 can reduce requantization distortion while minimizing image quality degradation. Note that when the code amount (bit rate) to be reduced is small or there is a circuit limitation, the band limitation of the luminance signal and the color difference signal may be the same.
[0066]
Furthermore, the band limiting process of the horizontal discrete cosine transform coefficient in the band limiting device 6 is not limited to the process of setting the coefficient as 0 as shown in FIG. For example, the code amount (bit rate) can be similarly reduced by multiplying a horizontal coefficient in the horizontal direction of the discrete cosine transform by a weight coefficient prepared in advance, instead of replacing 0.
[0067]
The band limiting device 6 supplies the quantizing device 9 with the discrete cosine transform coefficients subjected to the band limitation as described above.
[0068]
The information buffer 7 stores analysis result information such as picture coding type information (picture_coding_type) and quantization scale information (q_scale) supplied from the compression information analysis device 3. Then, the information buffer 7 supplies the stored analysis result information to the quantization matrix switching device 8 and the code amount control device 12.
[0069]
The quantization matrix switching device 8 uses the analysis result information acquired from the information buffer 7 to generate the quantum for the intra macroblock used when the high bit rate image compression information input to the code buffer 2 is generated. The quantization matrix is switched to the quantization matrix for the inter macroblock.
[0070]
Specifically, the quantization matrix switching device 8 selects only information related to the quantization matrix for the inter macroblock from the additional information stored in the information buffer 7, and the selected information is selected from the information buffer 7. get. The quantization matrix switching device 8 is used when high bit rate image compression information input to the code buffer 2 is generated based on the acquired information about the intermacroblock quantization matrix. The intra-macroblock quantization matrix is switched to the inter-macroblock quantization matrix. Thereafter, the quantization matrix switching device 8 supplies the quantizing matrix for the switched inter macroblock to the quantization device 9.
[0071]
However, when the (0,0) component of the switched inter-macroblock quantization matrix is not 8, the quantization matrix switching device 8 performs, for example, the (0,0) th (0,0) as shown in FIG. A quantization matrix in which the component is converted to 8 is generated, and the generated quantization matrix is supplied to the quantization device 9. This is also because the MPEG-2 standard stipulates that the (0,0) component of the quantization matrix is 8.
[0072]
The quantizing device 9 converts the 8 × 8 discrete cosine transform coefficient supplied from the band limiting device 6 into a quantization matrix supplied from the quantization matrix switching device 8 and a code amount control device 12 as described below. The quantization is performed based on the quantization width corresponding to the target code amount (target bit rate) of the output image compression information (bit stream) to be controlled. Then, the quantizing device 9 supplies the quantized discrete cosine transform coefficient to the variable length coding device 10.
[0073]
The variable length coding device 10 performs variable length coding of the quantized discrete cosine transform coefficient supplied from the quantization device 9 and stores the discrete cosine transform coefficient subjected to the variable length coding in the code buffer 11. Supply.
[0074]
The code buffer 11 is a buffer memory for making the amount of information of the low-bit-rate image compression information to be output constant, and receives a small code amount (low-bit-rate) image compression information (bit stream). The compressed image compression information is stored. In this code buffer 11, image compression information (bit stream) encoded so as to satisfy the constraint condition of VBV (Video Buffer Verifier) defined in MPEG-2 is accumulated, so overflow and / or underflow Will never happen. The code buffer 11 outputs the stored image compression information and supplies it to the code amount control device 12.
[0075]
The code amount control device 12 is configured so as to prevent the image compression information after the variable length coding by the variable length coding device 10 from overflowing and / or underflowing in the code buffer 11. Based on the target bit rate) and the analysis result information acquired from the information buffer 7, the quantization width of the quantization matrix used in the quantization device 9 is controlled.
[0076]
In the image information conversion apparatus 1 configured as described above, the inverse quantization apparatus 5 includes the two-dimensional array supplied from the variable length decoding apparatus 4 and the quantized discrete cosine transform coefficient in the analysis result information. Inverse quantization is performed based on the information regarding the quantization width and the quantization matrix, and the discrete cosine transform coefficient obtained by the inverse quantization is supplied to the band limiting device 6. Then, the quantization device 9 converts the 8 × 8 discrete cosine transform coefficient supplied from the inverse quantization device 5 through the band limiting device 6, the quantization matrix supplied from the quantization matrix switching device 8, and the code amount Quantization is performed based on the quantization width controlled by the control device 12. Then, the quantizing device 9 supplies the quantized discrete cosine transform coefficient to the variable length coding device 10. By processing in this way, low-bit-rate image compression information is output from the code buffer 11.
[0077]
Next, the processing in the code amount control device 12 will be described in detail.
[0078]
In the technique used in MPEG-2 Test Model 5 (ISO / IEC JTC1 / SC29 / WG11N0400) applied in an image information encoding apparatus compatible with MPEG-2, first, each picture (I picture, The allocated bit amount for the P picture and the B picture is distributed based on the bit amount allocated to the picture that has not been encoded in the GOP, including the allocation target picture. Next, in order to match the allocated bit amount for each allocated picture with the actual code amount, the quantization scale code is based on the storage capacity of three types of virtual buffers set independently for each picture, It is obtained by feedback control in units of macro blocks. Next, each of the macros is quantized so that the obtained quantization scale code is quantized more finely in a flat part that is visually noticeable, and coarser in a complicated part of a pattern that is relatively inconspicuous. Varies depending on the activity of each block.
[0079]
As described above, the image information conversion apparatus 1 according to the embodiment to which the present invention is applied is also subjected to code amount control by an algorithm according to the method defined in Test Model 5.
[0080]
However, if this method is applied as it is to the encoding unit of the image information conversion apparatus 1 shown in FIG. 1, the following two problems arise.
[0081]
First, the first problem is related to the contents to be processed first in the method used in the above-described MPEG-2 Test Model 5. That is, in the image information conversion apparatus corresponding to MPEG-2, the GOP structure is given in advance, and the first processing can be performed based on this, whereas the image information conversion apparatus shown in FIG. In 1, the GOP structure is known by syntactically analyzing all the information for one GOP in the input image compression information (bitstream). The length of the GOP is not always constant. In the MPEG-2 compatible image information conversion apparatus, a scene change is detected, and the GOP length is adaptively set in the image compression information (bitstream) accordingly. There is also a thing to control with.
[0082]
The second problem is a problem related to the content to be processed last in the method used in the above-described MPEG-2 Test Model 5. That is, in the MPEG-2 compliant image information conversion apparatus, the activity is calculated using the luminance signal pixel value of the original image. However, since the image information conversion apparatus 1 shown in FIG. 1 receives MPEG-2 compliant image compression information (bitstream) as an input, it is impossible to know the luminance signal pixel value of the original image.
[0083]
Therefore, as a method for solving the first problem, there is a method in which a pseudo GOP as described below is defined and the code amount control is performed based on the pseudo GOP. Here, the pseudo GOP refers to a pseudo GOP composed of one I picture and a plurality of P pictures and B pictures. The length of the pseudo GOP is variable and depends on how the I picture is detected in the image compression information (bit stream).
[0084]
Hereinafter, a flow of a series of processes in the code amount control apparatus 12 including a method for solving the first problem and the second problem will be described with reference to a flowchart shown in FIG.
[0085]
First, in step S1 in FIG. 5, the information buffer 7 includes a circular buffer for storing picture_coding_type as shown in FIG. This circular buffer has a storage capacity for storing 256 picture_coding_type, which is the same as the maximum number of frames that can be included in one GOP, as defined by MPEG. An initial value is stored in advance in each element of the circular buffer.
[0086]
Here, a case is considered where the information of each frame included in the image compression information (bit stream) is processed up to P, B, B, I, B, and B, and the next P picture is processed. In this case, in the image information conversion apparatus 1, first, picture_coding_type for several frames is prefetched by the feedforward buffer provided in the compression information analysis apparatus 3, and the elements of the circular buffer are updated. The size of the feedforward buffer is arbitrary, but is 6 frames in the circular buffer shown in FIG. The length of the pseudo GOP is set by referring to the pointer a indicating the current I picture and the pointer b indicating the next I picture from the state of the circular buffer shown in FIG. Furthermore, the configuration of the pseudo GOP is set from the pointer d indicating the last frame of the feedforward buffer and the length of the pseudo GOP that has already been set.
[0087]
Thus, the configuration of the pseudo GOP is set by preparsing.
[0088]
Subsequently, in step S2, the configuration of the pseudo GOP set as described above is [B₁, B₂, P₁, B_Three, B_Four, I₁, B_Five, B₆, ..., P_L, B_M-1, B_M], L_pgop, which is the size of the pseudo GOP, is expressed by the following equation (6).
[0089]
[Expression 23]

[0090]
At this time, the target code amount (target bit) T of each picture (each frame) of the I picture, P picture, and B picture_i, T_p, T_bAre calculated by the following equations (1), (2), and (3), respectively.
[0091]
[Expression 24]

[0092]
[Expression 25]

[0093]
[Equation 26]

[0094]
Where R is the amount of bits allocated to a picture that has not been encoded in the GOP including the allocation target picture, Θ is a frame that has already been processed in the pseudo GOP, and Ω is in the pseudo GOP , Where F is a frame rate, and B is a code amount (bit rate) of image compression information to be output, the following expressions (4) and (5) are used.
[0095]
[Expression 27]

[0096]
[Expression 28]

[0097]
X () is a parameter (global complexity measure) representing the complexity of each frame, and when pre-parsing is performed by the compression information analysis device 3, S and the total code amount (number of bits) of the frame If Q, which is the average quantization scale code, is calculated in advance, it is expressed by the following equation (7).
[0098]
[Expression 29]

[0099]
In addition, K_pAnd K_bAre the ratios of the quantization scale codes of the P picture and the B picture with reference to the quantization scale code of the I picture defined in MPEG-2 Test Model 5, and are expressed by the following equation (11). Is done.
[0100]
[30]

[0101]
And K_pAnd K_bIs the value represented by the above equation (11), it is always assumed that the overall image quality is optimized.
[0102]
Subsequently, in step S3, the actual generated code amount and the allocated bit amount (T for each picture calculated in step 2)._i, T_p, T_b), The quantization scale code is obtained by feedback control in units of macroblocks based on the capacities of three types of virtual buffers set independently for each picture type.
[0103]
First, prior to encoding the j-th macroblock, the virtual buffer occupation amount is expressed by the following equations (12), (13), and (14).
[0104]
[31]

[0105]
[Expression 32]

[0106]
[Expression 33]

[0107]
However, “d” shown in these expressions (12) to (14)₀ ⁱ"," D₀ ^p"," D₀ ^b"Is the initial occupancy of the virtual buffer for each picture of I, P, B._j“Is the amount of generated bits from the beginning of the picture to the j-th macroblock, and“ MB_cnt ”is the number of macroblocks in one picture. Each virtual buffer occupancy (d_{MB_cnt} ⁱ, D_{MB_cnt} ^p, D_{MB_cnt} ^b) Are the same picture type, and the initial virtual buffer occupancy for the next picture (d₀ ⁱ, D₀ ^p, D₀ ^b).
[0108]
Next, the quantization scale code for the j-th macroblock is expressed by the following equation (15).
[0109]
[Expression 34]

[0110]
However, “r” shown in the equation (15) is a variable that controls the response of the feedback loop called a reaction parameter, and is given by the following equation (16).
[0111]
[Expression 35]

[0112]
The initial value of the virtual buffer at the start of encoding is given by the following equation (17).
[0113]
[Expression 36]

[0114]
Subsequently, in step S4, the quantization scale Q of each macroblock in the input image compression information (bitstream) is calculated using the luminance signal pixel value of the original image at the time of encoding. Therefore, first, the compression information analyzing apparatus 3 extracts the quantization scale Q and the code amount (number of bits) B of each macroblock in the frame when preparsing is performed, and the extracted quantization The scale Q and the code amount (number of bits) B are stored in the information buffer 7. At the same time, the compression information analyzing apparatus 3 calculates in advance the average value E (Q), E (B) of the Q and B of the entire frame, or the average value E (QB) of the product, and these values. Is stored in the information buffer 7.
[0115]
Further, in the code amount control device 12, the normalized activity N_act is calculated based on the information of Q and B stored in the information buffer 7 from among the following equations (18), (19), and (20). Represented by either expression.
[0116]
[Expression 37]

[0117]
[Formula 38]

[0118]
[39]

[0119]
Of these, equations (19) and (20) are equivalent processes. Thus, adaptive quantization is performed based on the normalized activity N_act calculated in the DCT domain. When the image quality is evaluated by the signal-to-noise ratio (pSNR), the equation (18) has a higher image quality, but the subjective image quality is the one expressed by the equation (19) or the equation (20). Is good.
[0120]
Subsequently, in step S5, first, the quantized value in the input image compression information (bitstream) for a predetermined macroblock is Q1, and the output image represented by the code amount control device 12 by the above method. The quantized value for the compressed information (bit stream) is Q2. Since the image information conversion apparatus 1 is for reducing the code amount (bit rate), when Q1> Q2, the result of requantizing the macroblock once coarsely quantized is re-quantized. It is finely quantized. Distortion due to coarse quantization is not reduced by fine requantization. In addition, since many bits are used for this macroblock, the number of bits allocated to other macroblocks is reduced, causing further deterioration in image quality. Therefore, when Q1> Q2, Q1 = Q2.
[0121]
That is, when Q1> Q2, Q1 is output. On the other hand, when Q1> Q2, Q2 is output.
[0122]
The discrete cosine transform coefficients requantized through the above processing are supplied from the quantizing device 9 to the variable length coding device 10.
[0123]
The variable length encoding device 10 encodes the quantized discrete cosine transform coefficient supplied from the quantization device 9 so that the average code length is shortened. At that time, the variable-length encoding apparatus 10 encodes the difference of the DC component of the discrete cosine transform coefficient using the DC component coefficient of the previous block as a predicted value, and sets the other components to a preset scanning method. After rearranging to one-dimensional array data based on (zigzag scan or alternate scan), variable length encoding is performed using pairs of consecutive 0 coefficients (runs) and non-zero coefficients (levels) as events.
[0124]
The quantizing device 9 outputs a code called EOB (End Of Block) when all the values of the subsequent coefficients become 0 during scanning in the DCT block, End variable-length encoding for the block.
[0125]
Note that the variable-length coding apparatus 10 may arrange discrete cosine transform coefficients into one-dimensional data by an alternate scan method, regardless of the scan method of the input high compression rate (high bit rate) image compression information. . The reason why the discrete cosine transform coefficients are arranged in the one-dimensional data by the alternate scan method is as follows.
[0126]
That is, it is assumed that the discrete cosine transform coefficient of a predetermined block of the input image compression information (bit stream) is as shown in FIG. In FIG. 7, the coefficient indicated by ● is a non-zero coefficient, and the coefficient indicated by ◯ is a zero coefficient. Assuming that the horizontal high-frequency component of the discrete cosine transform coefficient is 0 with respect to such a discrete cosine transform coefficient, the non-zero coefficient distribution is as shown in FIG. 7B, for example. When the discrete cosine transform coefficient in which the horizontal high-frequency component shown in FIG. 7B is 0 is re-encoded by zigzag scanning, the scan number of the last non-zero coefficient is 50 (see FIG. 2A). On the other hand, when scan conversion is performed and encoding is performed again by alternate scan, the scan number of the last non-zero coefficient becomes 44 (see FIG. 2B). Therefore, when variable-length coding is applied to the discrete cosine transform coefficient with the horizontal high-frequency component set to 0, the EOB signal is set with a scan number earlier than that in the case of the zigzag scan if scanning is performed by the alternate scan method. can do. Therefore, a finer value can be assigned as the quantization width, and the quantization distortion accompanying requantization can be reduced.
[0127]
The discrete cosine transform coefficient variable-length encoded by the variable-length encoding device 10 is supplied to the code buffer 11, temporarily stored in the code buffer 11, and then has a bit stream structure defined in MPEG-2. And output as compressed image information.
[0128]
Further, as described above, the code amount control device 12 preliminarily prevents the image compression information after the variable length coding by the variable length coding device 10 from overflowing and / or underflowing in the code buffer 11. Based on the given target code amount (target bit rate) and the analysis result information acquired from the information buffer 7, the quantization width of the quantization matrix used in the quantization device 9 is controlled.
[0129]
At that time, the code amount control parameter K_p, K_bIs set by a method to be described later, the code amount (bit) assigned to the P picture is reduced without reducing the code amount (bit) assigned to the B picture, and a larger amount of code ( Bits) can be allocated, the image quality of the I picture is improved, and the image quality of the P picture and the B picture that refer to this is also improved.
[0130]
Here, in the code amount control apparatus 12, when adjusting the target code amount (target bit), only the target code amount (target bit) of the P picture is reduced, and the target code amount (target bit) of the B picture is reduced. Explain why you should not.
[0131]
The first reason is that, as shown in FIG. 8, only the code amount (bit) of the P picture is reduced by switching the quantization matrix, and there is almost no change with respect to the B picture. is there.
[0132]
In order to explain the second reason, when the high-resolution image test sequence “Namiki-do” is encoded at 12 Mbps using an image information conversion device based on Test Model 5, the code amount (bits) allocated to each frame ) Is shown in FIG.
[0133]
In MPEG-2, the difference value between the motion vector and the previous macroblock is variable-length encoded. Further, the B picture includes a bidirectional prediction mode. For these reasons, when the motion is not uniform across the entire screen (for example, an image in which the camera is panning), or when the original image contains noise and this affects the motion vector value, etc. , A large amount of code (bits) is assigned to the header portion, and the amount of code (bits) assigned to the discrete cosine transform coefficients is reduced accordingly. For this reason, when encoding with a low code amount (low bit rate), as shown in FIG. 9, the code amount of the discrete cosine transform coefficient in the B picture may be extremely low. On the other hand, lowering the target code amount (target bit) of the B picture may cause not only image quality deterioration but also buffer underflow. These are the second reason.
[0134]
Next, the code amount control parameter K used in the code amount control device 12 is K._p, K_bThe setting method of will be described.
[0135]
As described above, in Test Model 5, the ratio K of the quantization scale code of the P picture and the B picture based on the quantization scale code of the I picture is used as the code amount control parameter._p, K_bIs stipulated. In a general image information conversion apparatus, K_pAnd K_bIs the value represented by equation (11), it is always assumed that the overall image quality is optimized._pAnd K_bIs also used in the image information conversion apparatus 1. Therefore, these two parameters K_pAnd K_bBy changing this setting, the amount of code (bits) allocated to the P picture can be reduced, and an extra amount of code (bits) can be allocated to the I picture accordingly.
[0136]
Here, in the code amount control device 12, K_pAnd K_bIs the value represented by the equation (11), the bit amounts allocated to the I picture, P picture, and B picture are BI_org, BP_org, and BB_org, respectively. K_pAnd K_bThe amount of bits after adjusting the value of is defined as BI_new, BP_new, and BB_new.
[0137]
And these K_pAnd K_bBefore and after adjusting the value of I, increasing the allocated bit amount for the I picture is BI_new> BI_org, and decreasing the allocated bit amount for the P picture is BP_new <BP_org, and the allocated bit amount for the B picture is maintained as it is. BB_new = BB_org, and the image quality is improved when the relationship of BI_new> BI_org, BP_new <BP_org, and BB_new = BB_org is satisfied.
[0138]
First, for example, K_pIs 1.5, which is a value slightly larger than 1.0, and K_bIs 1.4, it can be seen that the relationship BP_new <BP_org is satisfied. However, the relations BI_new> BI_org and BB_new> BB_org are also satisfied. This is K_bThis is because the ratio between BI and BB does not change unless the value is changed, and the decrease in the bit amount of the P picture contributes to an increase in both BI_new and BB_new. In this case, even if the bit amount of the P picture is reduced, some of these bits are assigned to the increase of the B picture and are not assigned to the I picture, so the effect of improving the image quality is halved.
[0139]
Therefore, in order to keep BB as it is and increase BI, K_bMust be relatively large.
[0140]
Also, from equation (1), K_pAnd K_bBy setting a value larger than the value specified in the equation (11) for both of the values of T,_iAnd the image quality of the I picture can be increased. However, the code amount (bit rate) to be reduced is only the P picture, and reducing the code amount (bit rate) of the B picture may lead to further degradation of image quality and buffer underflow.
[0141]
So K_p> 1.0, K_bBy setting> 1.4, the amount of code (target bits) allocated to the I picture can be increased. Furthermore, as shown in equation (3), K_b/ K_pBy keeping = 1.4, the code amount (target bit) assigned to the B picture can be kept as it is.
[0142]
From the above, K_pAnd K_bMay be set as represented by the following equation (8).
[0143]
[Formula 40]

[0144]
For example, K_p= 1.5, K_bBy setting = 2.1, it is possible to improve the image quality of about 2 to 3 dB in the I picture. As a result, the flash phenomenon described above can be prevented, and the image quality of the P picture and B picture configured based on the I picture can be improved.
[0145]
As described above, in the image information conversion apparatus 1 according to the first embodiment to which the present invention is applied, the data amount of each block can be transferred in the frequency domain to reduce the code amount (bit rate). Therefore, the amount of calculation is reduced and the circuit configuration can be greatly reduced as compared with the conventional image information conversion apparatus that decodes and encodes even baseband video data.
[0146]
Further, in the image information conversion apparatus 1 according to the first embodiment to which the present invention is applied, the quantization matrix used in the quantization apparatus 9 is changed from the quantization matrix for the intra macroblock to the quantum for the intra macroblock. By switching to an inter-macroblock quantization matrix that does not coarsely quantize high-frequency components compared to the quantization matrix, image quality degradation in I pictures can be prevented, and the flash phenomenon of images can be avoided subjectively The image quality of the P picture and B picture configured based on this I picture can also be improved.
[0147]
Furthermore, in the image information conversion apparatus 1 according to the first embodiment to which the present invention is applied, the intermacroblock quantization matrix is used for both the intramacroblock and the intermacroblock as described above. The quantization matrix switching device 8 includes a storage medium and does not need to store a quantization matrix for switching.
[0148]
Furthermore, in the image information conversion apparatus 1 according to the first embodiment to which the present invention is applied, the image quality of the I picture is adjusted by adjusting the target code amount (target bit) set in the code amount control device 12. The flash phenomenon can be prevented by improving the image quality, and the image quality of the P picture and B picture configured based on the I picture can be improved.
[0149]
Furthermore, in the image information conversion apparatus 1 according to the first embodiment to which the present invention is applied, K is a control parameter of the code amount control apparatus 12._p, K_bBy adjusting the image quality, the picture quality of the I picture can be improved to prevent the flash phenomenon, and the picture quality of the P picture and B picture configured based on the I picture can be improved.
[0150]
In the image information conversion apparatus 1 described above, image compression information (bit stream) according to MPEG-2 is input. However, if the image compression information (bit stream) is encoded by orthogonal transformation and motion compensation, For example, MPEG-1 and H.264. Image compression information (bit stream) such as H.263 may be input.
[0151]
Next, a second embodiment to which the present invention is applied will be described with reference to the drawings.
[0152]
The image information conversion apparatus according to the second embodiment to which the present invention is applied is similar to the image information conversion apparatus 1 according to the first embodiment described above, for example, in the image compression encoded by the MPEG-2 system. This is a device that reduces the code amount (bit rate) of information (bit stream) and outputs low bit rate image compression information. In the image information conversion apparatus according to the first embodiment to which the present invention is applied, the image information is supplied from the decoding unit that decodes the image information to the encoding unit that encodes the image information in the frequency domain. It has been broken. An image information conversion apparatus according to a second embodiment to which the present invention is applied is shown in FIG.
[0153]
In the description of the image information conversion apparatus 20, the same components as those of the image information conversion apparatus 1 according to the first embodiment are denoted by the same reference numerals in the drawings, and detailed description thereof is omitted. To do.
[0154]
As shown in FIG. 10, the quantization matrix switching device 8 is used when high-bit-rate image compression information input to the code buffer 2 is generated based on the analysis result information acquired from the information buffer 7. The intra-macroblock quantization matrix is switched to the inter-macroblock quantization matrix.
[0155]
Specifically, the quantization matrix switching device 8 selects only information related to the quantization matrix for the inter macroblock from the additional information stored in the information buffer 7, and the selected information is selected from the information buffer 7. get. The quantization matrix switching device 8 is used when high bit rate image compression information input to the code buffer 2 is generated based on the acquired information about the intermacroblock quantization matrix. Switching from the intra-macroblock quantization matrix to the inter-macroblock quantization matrix. Thereafter, the quantization matrix switching device 8 supplies the quantizing matrix for the switched inter macroblock to the quantization device 9.
[0156]
However, when the (0,0) component of the switched inter-macroblock quantization matrix is not 8, the quantization matrix switching device 8 performs, for example, the (0,0) th (0,0) as shown in FIG. A quantization matrix in which the component is converted to 8 is generated, and the generated quantization matrix is supplied to the quantization device 9. This is also because the MPEG-2 standard stipulates that the (0,0) component of the quantization matrix is 8.
[0157]
The image information conversion device 20 includes a code buffer 2, a compression information analysis device 3, a variable length decoding device 4, an inverse quantization device 5, an adder 30, a band limiting device 6, an information buffer 7, A quantization matrix switching device 8, a quantization device 9, a variable length coding device 10, a code buffer 11, a code amount control device 12, and a motion compensation error correction device 40 are provided.
[0158]
The adder 30 is provided between the inverse quantization device 5 and the band limiting device 6. The adder 30 subtracts the motion compensation error correction coefficient generated by the motion compensation error correction apparatus 40 from the discrete cosine transform coefficient obtained by the inverse quantization by the inverse quantization apparatus 5.
[0159]
The motion compensation error correction apparatus 40 generates a motion compensation error correction coefficient that corrects a motion compensation error generated when the discrete cosine transform coefficient inversely quantized by the inverse quantization apparatus 5 is requantized by the quantization apparatus 9. .
[0160]
Next, the cause of the motion compensation error will be described.
[0161]
First, the pixel value of the original image is set to O, and the quantization width of the input image compression information (bit stream) with a high code amount (high bit rate) with respect to the pixel value O of the original image is Q.₁And the quantization width of the compressed image information (bit stream) with a low code amount (low bit rate) after re-encoding with respect to the pixel value O of this original image is Q₂And And these quantization widths Q₁And quantization width Q₂The pixel values of the reference image decoded by₁), L (Q₂).
[0162]
At the time of encoding, the inter-macroblock pixels are subjected to, for example, a difference value “O−L (Q₁) "And the difference value" OL (Q₁) "Is subjected to discrete cosine transform. The pixels of the inter-macroblock encoded in this way are subjected to a difference value" OL (Q₁) ”Is subjected to inverse discrete cosine transform, and the difference value“ OL (Q₁) ”From the reference image“ L (Q₁) "Is subtracted, and the pixel value O of the original image is decoded.
[0163]
On the other hand, when the code amount (bit rate) is reduced by the image information conversion apparatus 1 shown in FIG. 1, the inter-macroblock pixels have the difference value “O−L (Q₁) "Quantization width is converted from Q1 to Q2. The pixel of the inter macro block with the code amount reduced in this way is the difference value" O-L (Q₂) ”Is the quantization width Q₂It is assumed that the data has been encoded by the above.
[0164]
Here, since the amount of code is reduced by changing the quantization width in the image information conversion apparatus 1, Q₁= Q₂Does not hold, and a quantization error occurs when the inter macroblock is decoded. Therefore, an error associated with motion compensation occurs in the P picture and B picture encoded by the inter macroblock.
[0165]
The error generated in the P picture is subsequently propagated to the P picture and the B picture using the P picture as a reference image, leading to further image quality degradation. As described above, a phenomenon (drift) occurs in which the image quality deteriorates due to the accumulation of errors accompanying the GOP motion compensation, and the next GOP also returns to a good image quality at the head.
[0166]
In the motion compensation error correction device 40 of the image information compression device 40 according to the second embodiment, a motion compensation error correction coefficient is generated and subtracted from the discrete cosine transform coefficient inversely quantized by the inverse quantization device 5, The above motion compensation error is corrected.
[0167]
Next, the motion compensation error correction device 40 will be described.
[0168]
The motion compensation error correction device 40 includes an inverse quantization device 41, an adder 42, an inverse discrete cosine transformation device 43, a video memory 44, a motion compensation prediction device 45, and a discrete cosine transformation device 46.
[0169]
The inverse quantization device 41 inversely quantizes the discrete cosine transform coefficient requantized by the quantization device 9 based on the quantization matrix used in the quantization device 9. The discrete cosine transform coefficient inversely quantized by the inverse quantizer 41 is supplied to the adder 42.
[0170]
The adder 42 subtracts the discrete cosine transform coefficient obtained by subtracting the motion compensation error correction coefficient by the adder 30 from the discrete cosine transform coefficient inversely quantized by the inverse quantization device 41, and supplies the result to the inverse discrete cosine transform device 43. Supply.
[0171]
The inverse discrete cosine transform device 43 performs inverse discrete cosine transform on the discrete cosine transform coefficient supplied from the adder 42. The result obtained by performing the inverse discrete cosine transform is stored in the video memory 44 as motion compensation error correction information.
[0172]
The motion-compensated prediction device 45 includes motion-compensated prediction mode information (field motion-compensated prediction mode or frame motion-compensated prediction mode, and forward direction) in the input image compression information (bitstream) with a high code amount (high bit rate). Motion compensation is performed on the motion compensation error correction information in the video memory 44 based on the prediction mode, the backward prediction mode, or the bidirectional prediction mode) and the motion vector information. Data subjected to motion compensation becomes an error correction value in the spatial domain. This error correction value is supplied to the discrete cosine transform device 46.
[0173]
The discrete cosine transform device 46 performs discrete cosine transform on the supplied error correction value to generate a motion compensation error correction coefficient that is an error correction value in the frequency domain. The motion compensation error correction coefficient is supplied to the adder 30.
[0174]
The adder 30 corrects an error due to motion compensation by subtracting the motion compensation error correction coefficient from the discrete cosine transform coefficient inversely quantized by the inverse quantization device 5.
[0175]
In the image information conversion apparatus 20 according to the second embodiment to which the present invention configured as described above is applied, the data amount of each block is transferred in the frequency domain to reduce the code amount (bit rate). Therefore, the amount of calculation is reduced and the circuit configuration can be greatly reduced as compared with a conventional image information conversion apparatus that decodes and encodes even baseband video data. At the same time, the image information conversion apparatus 20 can reduce the amount of codes without causing image quality degradation due to accumulation of motion compensation errors.
[0176]
In the inverse discrete cosine transform device 43 and the discrete cosine transform device 46 of the motion compensation error correction device 40, the document “A fast computational algorism for the discreet cosine transform” (IEEE Trans. Commun., Vol. 25, no. 9 pp.). .1004-1009, 1977) can be applied.
[0177]
Also, in the inverse discrete cosine transform device 43 and the discrete cosine transform device 46, when the coefficient of the horizontal high-frequency component is replaced with 0 in the band limiting device 6, the inverse discrete cosine transform and discrete for the coefficient replaced with 0 are performed. By omitting cosine transformation, it is possible to reduce the circuit scale and the amount of calculation processing.
[0178]
Furthermore, since the deterioration of the color difference signal in the image has a characteristic that it is difficult for the human eye to understand compared to the deterioration of the luminance signal, by applying the above motion compensation error correction only to the luminance signal, It is also possible to greatly reduce the circuit scale and the amount of calculation processing while keeping the image quality degradation to a minimum. Further, the error in the P picture propagates to the B picture, but the error in the B picture does not propagate any more. On the other hand, a B picture includes a bidirectional prediction mode and requires a large amount of calculation processing. Therefore, it is also conceivable to perform the motion compensation error correction only for the P picture to greatly reduce the circuit scale and the calculation processing amount while keeping the image quality degradation to a minimum. By not performing the process for the B picture, the capacity of the video memory 44 can be reduced.
[0179]
As described above, in the image information conversion apparatus 20 according to the second embodiment to which the present invention is applied, the data amount of each block can be transferred in the frequency domain to reduce the code amount (bit rate). Therefore, the amount of calculation is reduced and the circuit configuration can be greatly reduced as compared with the conventional image information conversion apparatus that decodes and encodes even baseband video data.
[0180]
Further, in the image information conversion apparatus 20 according to the second embodiment to which the present invention is applied, the quantization matrix used in the quantization apparatus 9 is changed from the quantization matrix for the intra macroblock to the quantum for the intra macroblock. By switching to an inter-macroblock quantization matrix that does not coarsely quantize high-frequency components compared to the quantization matrix, image quality degradation in I pictures can be prevented, and the flash phenomenon of images can be avoided subjectively The image quality of the P picture and B picture configured based on this I picture can also be improved.
[0181]
Furthermore, in the image information conversion apparatus 20 according to the second embodiment to which the present invention is applied, the intermacroblock quantization matrix is used for both the intramacroblock and the intermacroblock as described above. The quantization matrix switching device 8 includes a storage medium and does not need to store a quantization matrix for switching.
[0182]
In the image information conversion apparatus 20 described above, image compression information (bitstream) according to MPEG-2 is input. However, if the image compression information (bitstream) is encoded by orthogonal transformation and motion compensation, For example, MPEG-1 and H.264. Image compression information (bit stream) such as H.263 may be input.
[0183]
Further, in the image information conversion apparatus 1 and the image information conversion apparatus 20 described above, the quantization matrix switching device 8 is used, but the quantization matrix switching device 8 may not be used. In this case, the quantizing device 9 uses the 8 × 8 discrete cosine transform coefficient supplied from the band limiting device 6 as the target code of the output image compression information (bit stream) supplied from the code amount control device 12. Quantization is performed based on the quantization width corresponding to the amount (target bit rate). Then, the quantizing device 9 supplies the quantized discrete cosine transform coefficient to the variable length coding device 10.
[0184]
【The invention's effect】
  As described above, according to the image information conversion device and the image information conversion method according to the present invention,The input first image compression information is parsed, information about the quantization width and quantization matrix and picture coding type information are extracted as the analysis result information, and the first result is used as the analysis result information. The orthogonal transform coefficient of the first image compression information is inversely quantized based on the information related to the quantization width extracted from the image compression information, and extracted from the first image compression information as the analysis result information Based on the information about the quantization matrix, the intra-macroblock quantization matrix that is the quantization matrix for the intra-frame encoding used when the first image compression information is generated is inter-frame encoded. The picture extracted from the first image compression information as the analysis result information is switched to an inter-macroblock quantization matrix that is a quantization matrix for An intra macroblock is controlled based on the quantization matrix for the switched inter macroblock and the controlled quantization width by controlling the quantization width based on the coding type information and a predetermined target code amount. Is requantized, and the inter macroblock is requantized based on the intermacroblock quantization matrix used when the first image compression information is inversely quantized and the controlled quantization width. Thus, by generating the second image compression information in which the code amount is controlled, for example, the code amount of the image compression information (bit stream) encoded by the MPEG-2 (Moving Picture Experts Group phase-2) method (Bit rate) is reduced, and an apparatus that outputs low-bit-rate image compression information reduces image quality degradation caused by re-quantization in an I picture, It is possible to improve the image quality of the imager to prevent the flash phenomenon, and to improve the image quality of the P picture and B picture configured based on this I picture.
[0185]
Further, according to the image information conversion apparatus and the image information conversion method according to the present invention, K is a control parameter of the code amount control means._p, K_bBy adjusting the value of I, the picture quality of the I picture can be improved to prevent the flash phenomenon, and the picture quality of the P picture and B picture configured based on the I picture can also be improved.
[Brief description of the drawings]
FIG. 1 is a block configuration diagram of an image information conversion apparatus according to a first embodiment to which the present invention is applied.
FIG. 2 is a diagram illustrating a scan order of discrete cosine transform coefficients when performing variable length coding. (A) is a figure which shows the scanning order of a zigzag scan, (b) is a figure which shows the scanning order of an alternate scan.
FIG. 3 is a diagram for explaining a band limitation example of a horizontal high-frequency component of a discrete cosine transform coefficient by the band limitation device of the image information conversion apparatus according to the first embodiment. (A) is a figure which shows the band limitation example of the discrete cosine transform coefficient with respect to a luminance signal, (b) is a figure which shows the band limitation example of the discrete cosine transform coefficient with respect to a color difference signal.
FIG. 4 is a diagram illustrating a quantization matrix for encoding an intra macroblock.
FIG. 5 is a flowchart showing an operation content of the code amount control device of the image information conversion device according to the first embodiment;
FIG. 6 is a diagram illustrating a configuration of a pseudo GOP.
FIG. 7 is a diagram for explaining scanning of discrete cosine transform coefficients by an alternate scan method. (A) is a figure which shows the discrete cosine transform coefficient before a band restriction | limiting, (b) is a figure which shows the discrete cosine transform coefficient after a band restriction | limiting.
FIG. 8 is a diagram illustrating a code amount allocated to each frame before and after switching of a quantization matrix in the image information conversion apparatus according to the first embodiment to which the present invention is applied.
FIG. 9 is a diagram illustrating a code amount allocated to each frame when a high-resolution image test sequence is encoded using an image information conversion device based on Test Model 5.
FIG. 10 is a block diagram of an image information conversion apparatus according to a second embodiment to which the present invention is applied.
FIG. 11 is a block diagram of a conventional image information conversion apparatus.
FIG. 12 is a block diagram of a conventional image information conversion apparatus.
FIG. 13 is a diagram illustrating a transition of a signal-to-noise ratio of a luminance signal with respect to an original image in compressed image information encoded by a conventional image information conversion apparatus.
FIG. 14 is a diagram showing a transition of a signal-to-noise ratio of a luminance signal with respect to an original image in compressed image information encoded by a conventional image information conversion apparatus.
FIG. 15 is a diagram illustrating a default value of a quantization matrix. (A) is a figure which shows the quantization matrix set to the default used about an intra macroblock, (b) is a figure which shows the quantization matrix set to the default value used about an inter macroblock, c) is a diagram illustrating a quantization matrix defined in Test Model 5. FIG.
FIG. 16 is a diagram illustrating a transition of a signal-to-noise ratio of a luminance signal with respect to an original image in image compression information whose code amount is reduced by a conventional image information conversion apparatus.
FIG. 17 is a diagram illustrating a transition of a signal-to-noise ratio of a luminance signal with respect to an original image of image compression information whose code amount is reduced by a conventional image information conversion apparatus.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Image information conversion apparatus, 2 Code buffer, 3 Compression information analysis apparatus, 4 Variable length decoding apparatus, 5 Inverse quantization apparatus, 6 Band-limiting apparatus, 7 Information buffer, 8 Quantization matrix switching apparatus, 9 Quantization apparatus, DESCRIPTION OF SYMBOLS 10 Variable length coding apparatus, 11 Code buffer, 12 Code amount control apparatus

Claims (6)

Image data composed of intra-frame encoded data encoded by the intra-frame encoding method and inter-frame predictive encoded data encoded by the inter-frame predictive encoding method is in units of orthogonal transform blocks including predetermined pixel blocks. The first image compression information of the first bit rate that has been compression-encoded by orthogonal transformation and two-dimensional arrangement and quantization according to a predetermined scanning method is converted into a second bit rate lower than the first bit rate. In the image information conversion device for converting into the second image compression information of the bit rate of
Image compression information analysis means for performing syntax analysis on the input first image compression information and extracting information about the quantization width and the quantization matrix and picture coding type information as analysis result information ;
Inverse quantum that inversely quantizes the orthogonal transform coefficient of the first image compression information based on information on quantization width extraction extracted from the first image compression information as analysis result information by the image compression information analysis means And
Intraframe code used when the first image compression information is generated based on the information about the quantization matrix extracted from the first image compression information as analysis result information by the image compression information analysis means A quantization matrix switching means for switching a quantization matrix for an intra macroblock that is a quantization matrix for quantization to a quantization matrix for an inter macroblock that is a quantization matrix for interframe coding;
Quantization means for requantizing the orthogonal transform coefficient of the first image compression information inversely quantized by the inverse quantization means using a quantization matrix given by the quantization matrix switching means ;
Based on the picture coding type information extracted from the first image compression information and the predetermined target code amount as analysis result information by the image compression information analysis means, a quantization width of the quantization means is controlled. Code amount control means for controlling the code amount of the second compressed image information to be output ;
With
The quantization means quantizes the intra macroblock based on the quantization matrix for the inter macroblock switched by the quantization matrix switching means and the quantization width controlled by the code amount control means, Based on the quantization matrix for the inter macroblock used when the inverse quantization unit inversely quantizes the first image compression information and the quantization width controlled by the code amount control unit, An image information conversion apparatus characterized by quantizing a macroblock .   2. The recording / reproducing apparatus according to claim 1, wherein the predetermined target code amount is determined based on Kp and Kb expressed by the following equation (8).

  However, Kp is the ratio of the quantization scale code of the P picture based on the quantization scale code of the I picture, and Kb is the ratio of the quantization scale code of the B picture based on the quantization scale code of the I picture. .   The predetermined target code amount includes an I picture target code amount, a P picture target code amount, and a B picture target code amount obtained by the following equations (1) to (8). The recording / reproducing apparatus according to claim 2.

  However, Ti is the target code amount of the I picture, Tp is the target code amount of the P picture, Tb is the target code amount of the B picture, F is the frame rate, and the second image that outputs B is output. The code amount of the compressed information, Θ is a frame that has already been processed in the pseudo GOP, Ω is a frame that will be processed in the pseudo GOP, X () is a parameter that represents the complexity of each frame, and S Is the total code amount of the corresponding frame, Q is the average quantization scale code, Kp is the ratio of the quantization scale code of the P picture with reference to the quantization scale code of the I picture, and Kb is the quantization of the I picture The ratio of the quantization scale code of the B picture based on the scale code is used. Image data composed of intra-frame encoded data encoded by the intra-frame encoding method and inter-frame predictive encoded data encoded by the inter-frame predictive encoding method is in units of orthogonal transform blocks including predetermined pixel blocks. The first image compression information of the first bit rate that has been compression-encoded by orthogonal transformation and two-dimensional arrangement and quantization according to a predetermined scanning method is converted into a second bit rate lower than the first bit rate. In the image information conversion method for converting into the second image compression information of the bit rate of
Input the first image compression information of the first bit rate,
The input first image compression information is parsed, and as analysis result information, information on quantization width and quantization matrix, picture coding type information is extracted,
Based on the quantization width information extracted from the first image compression information as the analysis result information, the orthogonal transform coefficient of the first image compression information is dequantized, and the first analysis result information is the first analysis result information. Quantities for intra macroblocks, which are quantization matrices for intra-frame coding used when the first image compression information is generated based on information about quantization matrices extracted from the image compression information of Switch the quantization matrix to a quantization matrix for inter macroblocks, which is a quantization matrix for interframe coding,
Controlling a quantization width based on the picture coding type information extracted from the first image compression information as the analysis result information and a predetermined target code amount,
Based on the switched quantization matrix for the inter-macroblock and the controlled quantization width, the intra-macroblock is re-quantized and the inter-block used when the first image compression information is inverse-quantized is used. Based on the quantization matrix for the macroblock and the controlled quantization width, the second image compression information with the code amount controlled is generated by requantizing the inter macroblock. Image information conversion method. 5. The recording / reproducing method according to claim 4, wherein the predetermined target code amount is determined based on Kp and Kb expressed by the following equation (8) .

However, Kp is the ratio of the quantization scale code of the P picture based on the quantization scale code of the I picture, and Kb is the ratio of the quantization scale code of the B picture based on the quantization scale code of the I picture. .   The predetermined target code amount includes an I picture target code amount, a P picture target code amount, and a B picture target code amount obtained by the following equations (1) to (8). The recording / reproducing method according to claim 5.

  However, Ti is the target code amount of the I picture, Tp is the target code amount of the P picture, Tb is the target code amount of the B picture, F is the frame rate, and the second image that outputs B is output. The code amount of the compressed information, Θ is a frame that has already been processed in the pseudo GOP, Ω is a frame that will be processed in the pseudo GOP, X () is a parameter that represents the complexity of each frame, and S Is the total code amount of the corresponding frame, Q is the average quantization scale code, Kp is the ratio of the quantization scale code of the P picture with reference to the quantization scale code of the I picture, and Kb is the quantization of the I picture The ratio of the quantization scale code of the B picture based on the scale code is used.

Images