JP4784650B2 - 符号化装置、目標符号量調整方法及び記録媒体 - Google Patents

Description

本発明は符号化装置、目標符号量調整方法及び記録媒体に関し、例えばＭＰＥＧ（Moving Picture Experts Group）などの符号化方式に準拠して画像データを符号化するエンコーダなどの画像処理装置に適用して好適なものである。

従来、画像データをエンコーダによって符号化して記録又は配信し、画像を表示する際にデコーダによって復号化することが一般的に、広く行われている。図１に示すように、ＭＰＥＧ−２では、例えば１５のピクチャごとにピクチャの繰返し単位であるＧＯＰ（Group Of Picture）が構成される。

ＭＰＥＧ−２方式では、Ｉピクチャと、Ｐピクチャと、Ｂピクチャとを有している。Ｉピクチャは、画素値がそのまま画面内符号化されることにより生成される。Ｐピクチャは、前に登場したＩピクチャ及びＰピクチャを参照して前方向予測符号化されることにより生成される。Ｂピクチャは、前及び後に登場するＩピクチャ及びＰピクチャを参照して双方向予測符号化されることにより生成される。

ＭＰＥＧ−２方式におけるピクチャごとのレート制御は、ＴＭ（Test Model）５のＳＴＥＰ１で提案されている。このＳＴＥＰ１では、ＧＯＰ内における画質差を小さくするために、ＧＯＰに許容されるＧＯＰ目標符号量と符号化されたピクチャの発生符号量との差分符号量を仮想バッファに蓄積する。そしてＳＴＥＰ１では、差分符号量及びピクチャの種類に応じてこれから符号化されるピクチャに対するピクチャ目標符号量を割り当てるようになされている。

ＳＴＥＰ１では、図１（Ｂ）に示すように、参照画像として使用されるＩピクチャ及びＰピクチャに多くのピクチャ目標符号量を割り当て、参照画像とならないＢピクチャには、ＩピクチャやＰピクチャよりも少ないピクチャ目標符号量を割り当てるようになされている（例えば、特許文献１参照）。

特開２００８−７８９７８公報

ところで、かかる構成のエンコーダでは、ビットストリームのさらなる画質の向上が要求されている。

本発明は以上の点を考慮してなされたもので、ビットストリームの画質を向上させ得る符号化装置、目標符号量調整方法及び目標符号量調整プログラムが記録された記録媒体を提案しようとするものである。

かかる課題を解決するため本発明の符号化装置においては、画像データを符号化する符号化部と、画像データを符号化する際のピクチャごとのピクチャ目標符号量をピクチャの種類ごとにほぼ均等になるように算出する算出部と、極大値及び極小値が繰り返される調整係数のうち、画像処理単位におけるピクチャの位置に応じた調整係数を選択する選択部と、算出部によって算出されたピクチャ目標符号量と、選択部によって選択された調整係数とを乗算することにより、ピクチャ目標符号量を調整する調整部とを設けるようにした。

これにより、符号化装置では、極大値に対応するピクチャの画質を向上させる一方、ピクチャを上記極大値に対応するピクチャを参照して極小値に対応するピクチャを符号化することができ、画質の劣化を抑制することができる。

また、本発明の符号化方法では、画像データを符号化する際のピクチャ目標符号量を算出する算出ステップと、極大値及び極小値が繰り返される調整係数のうち、画像処理単位におけるピクチャの位置に応じた調整係数を選択する選択ステップと、算出ステップによって算出されたピクチャ目標符号量と、選択ステップによって選択された調整係数とを乗算することにより、ピクチャ目標符号量を調整する調整ステップとを設けるようにした。

これにより、符号化方法では、極大値に対応するピクチャの画質を向上させる一方、ピクチャを上記極大値に対応するピクチャを参照して極小値に対応するピクチャを符号化することができ、画質の劣化を抑制することができる。

さらに、本発明の記録媒体に記録されたプログラムでは、画像データを符号化する際のピクチャ目標符号量を算出する算出ステップと、極大値及び極小値が繰り返される調整係数のうち、画像処理単位におけるピクチャの位置に応じた調整係数を選択する選択ステップと、算出ステップによって算出されたピクチャ目標符号量と、選択ステップによって選択された調整係数とを乗算することにより、ピクチャ目標符号量を調整する調整ステップとを設けるようにした。

これにより、極大値に対応するピクチャの画質を向上させる一方、ピクチャを上記極大値に対応するピクチャを参照して極小値に対応するピクチャを符号化することができ、画質の劣化を抑制することができる。

本発明によれば、極大値に対応するピクチャの画質を向上させる一方、極大値に対応するピクチャを参照して極小値に対応するピクチャを符号化することができ、極小値に対応するピクチャの画質の劣化を抑制することができる。かくして本発明は、ビットストリームの画質を向上させ得る符号化装置、目標符号量調整方法及び目標符号量調整プログラムが記録された記録媒体を実現できる。

従来のステップ１によるレート制御（１）の説明に供する略線図である。 エンコーダの全体構成を示す略線図である。 従来のステップ１によるレート制御（２）の説明に供する略線図である。 目標ビットレート算出部の構成を示す略線図である。 第１の実施の形態によるレート制御の説明に供する略線図である。 従来のレート制御の問題点の説明に供する略線図である。 第１の実施の形態によるＧＯＰ間の画質の改善の説明に供する略線図である。 目標符号量調整処理手順の説明に供するフローチャートである。 第２の実施の形態による目標ビットレート算出部の構成を示す略線図である。

以下、図面について、本発明の実施の形態を詳述する。なお、説明は以下の順序で行う。
１．第１の実施の形態（レート制御の詳細：Ｉピクチャ及びＰピクチャのみ）
２．第２の実施の形態（Ｂピクチャを含む場合）
３．他の実施の形態

＜１．第１の実施の形態＞
［１−１．エンコーダの構成］
図２において１は、全体としてエンコーダを示している。エンコーダ１は、符号化部２及び符号量制御部３を有している。符号化部２は、外部から供給される画像データを例えばＭＰＥＧ（Moving Picture Experts Group）−２方式に従って符号化する。符号量制御部３は、符号化部２において符号化される画像データ（以下、これをビットストリームと呼ぶ）の発生符号量をＧＯＰ（Group Of Picture）ごとに設定されるＧＯＰ目標符号量に近づけるようレート制御するようになされている。

図３（Ａ）に示すように、エンコーダ１は、先頭に位置する１ピクチャのＩピクチャ及び２番目から１４ピクチャに亘って続くＰピクチャからなる画像処理単位であるＧＯＰを生成する。なおＩピクチャは、画素値がそのまま画面内符号化されることにより生成される。Ｐピクチャは、前に登場したＩピクチャ及びＰピクチャを参照して前方向予測符号化されることにより生成される。

符号化部２（図２）は、入力端子１０を介して外部機器から画像データが供給されると、当該画像データを減算器１１及び予測部１２に供給する。

減算器１１は、予測部１２から参照画像データが供給された場合には、当該参照画像データと画像データとの差分を表す差分情報を生成し、これを直交変換部１３に供給する。一方減算器１１は、予測部１２から参照画像データが供給されない場合には、画像データをそのまま差分情報として直交変換部１３に供給する。

直交変換部１３は、差分情報に対してＤＣＴ（Discrete Cosine Transform）などの直交変換処理を施して直交変換係数を生成し、これを量子化部１４に供給する。量子化部１４は、符号量制御部３の制御に基づいて量子化ステップを変更しながら直交変換係数を量子化し、量子化係数を生成すると、これを逆量子化部１５及び可変長符号化部１６に供給する。

逆量子化部１５は、量子化係数を逆量子化してローカル直交変換係数を生成し、逆直交変換部１７に供給する。逆直交変換部１７は、ローカル直交変換係数を逆直交変換処理してローカル差分情報を生成し、これを加算器１９に供給する。

加算器１９は、予測部１２から供給される時間的に前のローカル画像データと差分情報とを加算して現在のローカル画像データを生成し、画像メモリ部１８に記憶する。

予測部１２は、画像データと現在のローカル画像データとから動きベクトルを抽出すると共に、当該画像データに対して動き補償処理を施し、これを参照画像データとして減算器１１に供給する。

可変長符号化部１６は、量子化部１４から供給される量子化係数を符号テーブルに従って可変長符号化してビットストリームを生成し、これを符号量制御部３に供給すると共に、出力端子１８を介して外部機器へ出力する。

符号量制御部３は、可変長符号化部１６から供給されるビットストリームの符号量に基づいて、量子化部１４によって使用される量子化ステップを算出するようになされている。

符号量制御部３は、可変長符号化部１６から供給されるビットストリームを過不足符号量算出部２１に供給する。

過不足符号量算出部２１は、予め設定されているＧＯＰ基本符号量に基づいて、ＧＯＰ目標符号量が設定されている。過不足符号量算出部２１は、符号化されたＧＯＰ単位でなるビットストリームの符号量（以下、これをＧＯＰ発生符号量と呼ぶ）のＧＯＰ目標符号量に対する差分符号量を算出し、当該差分符号量を符号分配率算出部２３に供給する。

符号分配率算出部２３は、過不足符号量算出部２１から供給された差分符号量をＧＯＰ基本符号量に加算することにより、次のＧＯＰに対するＧＯＰ目標符号量を算出すると、当該ＧＯＰ目標符号量を目標ビットレート算出部２４及び過不足符号量算出部２１に供給する。この結果、過不足符号量算出部２１には、次のＧＯＰに対するＧＯＰ目標符号量が設定される。

目標ビットレート算出部２４は、符号分配率算出部２３から供給されたＧＯＰ目標符号量に基づいて、次のＧＯＰに対する目標ビットレートを算出する。

さらに、目標ビットレート算出部２４は、目標ビットレートに基づいて、各ピクチャに対する調整目標符号量を算出する目標符号量調整処理（詳しくは後述する）を実行すると、当該調整目標符号量を量子化ステップ算出部２５へ供給する。

過不足符号量算出部２１は、可変長符号化部１６から各ピクチャに対するビットストリームが供給されると、設定されているＧＯＰ目標符号量から当該ピクチャのビットストリームの符号量（以下、これをピクチャ発生符号量Ｓと呼ぶ）を減算し、次式に従って残り符号量Ｒを算出する。なおピクチャ発生符号量Ｓは、ＧＯＰ内における全てのピクチャタイプの発生符号量を含んでいる。

過不足符号量算出部２１は、ピクチャ発生符号量Ｓ及び残り符号量Ｒを目標ビットレート算出部２４に供給する。また、過不足符号量算出部２１は、マクロブロックごとの発生符号量を量子化ステップ算出部２５へ供給する。

目標ビットレート算出部２４は、目標ビットレート、ピクチャ発生符号量Ｓ及び残り符号量Ｒに基づいて、調整目標符号量を算出する目標符号量調整処理を実行する（詳しくは後述する）と、当該調整目標符号量を量子化ステップ算出部２５へ供給する。

量子化ステップ算出部２５は、目標ビットレート算出部２４から供給された調整目標符号量及びマクロブロックごとの発生符号量に基づいて、ピクチャ発生符号量Ｓが調整目標符号量に近づくよう量子化ステップを算出する。量子化部１４は、当該量子化ステップを用いて量子化係数を生成するようになされている。

このように、エンコーダ１は、符号量制御部３によって調整目標符号量を算出すると共に、当該調整目標符号量に基づいて量子化を実行することにより、ピクチャ発生符号量が調整目標符号量になるよう、ビットストリームを生成する。エンコーダ１は、後述する目標符号量調整処理によって、ピクチャ発生符号量に基づいて調整目標符号量を算出することにより、ＧＯＰ発生符号量がＧＯＰ目標符号量に近づくようレート制御するようになされている。

［１−２．ピクチャ目標符号量調整処理］
次に、目標ビットレート算出部２４が目標符号量調整プログラムに従って実行する目標符号量調整処理について説明する。目標ビットレート算出部２４は、ＭＰＥＧ（Moving Picture Experts Group）−２方式におけるＴＭ５のＳＴＥＰ１に基づいて、各ピクチャに対する調整目標符号量（調整目標符号量Ｔｉ及びＴｐＣ）を算出するようになされている。

具体的に、目標ビットレート算出部２４は、算出した目標ビットレートと、過不足符号量算出部２１から供給されるピクチャ発生符号量Ｓ及び残り符号量Ｒに基づいて、ピクチャ目標符号量Ｔｉ及びＴｐを算出する。ＴＭ５のＳＴＥＰ１では、ピクチャごとのピクチャ発生符号量Ｓがピクチャの種類ごとに一定と仮定することにより、各ピクチャの種類ごとに対してピクチャ目標符号量をほぼ均等に割り当てるようになされている。

図４に示すように、目標ビットレート算出部２４のピクチャタイプ判別部３１は、目標符号量を算出すべき処理対象ピクチャのピクチャタイプ（Ｉピクチャ又はＰピクチャ）及びピクチャ番号を判別する。ピクチャタイプ判別部３１は、処理対象ピクチャがＩピクチャであった場合には、目標ビットレートをＩピクチャ用目標符号量算出部３２に供給する。

Ｉピクチャ用目標符号量算出部３２は、（２）式に従ってパラメータＸｉを算出すると共に、（３）式に従って、ピクチャ目標符号量Ｔｉを算出する。そして、Ｉピクチャ用目標符号量算出部３２は、ピクチャ目標符号量Ｔｉを調整係数選択部３５に供給する。なお、ｂｉｔｒａｔｅは、目標ビットレートであり、Ｎｐ及びＮｂは、ＧＯＰ内でまだ符号化されていないＰピクチャ及びＢピクチャの数である。なお本実施の形態において、Ｂピクチャは存在しないため、Ｎｂの項は常に「０」となる。

ピクチャタイプ判別部３１は、処理対象ピクチャがＰピクチャであった場合には、目標ビットレート、ピクチャ発生符号量Ｓ及び残り符号量Ｒ、並びに判別したピクチャ番号をＰピクチャ用目標符号量算出部３４に供給する。

Ｐピクチャ用目標符号量算出部３４は、（４）式に従ってパラメータＸｐを算出すると共に、（５）式に従って、ピクチャ目標符号量Ｔｐを算出する。

なおピクチャ目標符号量Ｔｉ、Ｔｐ及びＴｂの算出方法については、以下の非特許文献１に記載されている。

テレビジョン学会誌Vol.49，No.4 (1995)

ここで、Ｐピクチャ用目標符号量算出部３４は、図３（Ｂ）に示すように、従来のエンコーダと同様、全てのＰピクチャにおいて均等に符号量を割り当てるよう、ピクチャ目標符号量Ｔｐを算出している。

調整係数選択部３５は、ピクチャ番号（すなわちＧＯＰ内におけるピクチャの位置）が後にいくにつれて、１ピクチャごとに増大及び減少を繰り返すことにより極大値と極小値とが繰り返される調整係数を記憶している。調整係数選択部３５は、ピクチャ番号に応じて調整係数を選択し、ピクチャ目標符号量Ｔｉ及びＴｐと共にピクチャ用目標符号量調整部３６に供給する。

具体的に、調整係数選択部３５は、図５（Ｂ）に示すように、偶数でなるピクチャ番号２、４、６、８、１０、１２、１４のピクチャ目標符号量Ｔｐに対し、「１．５」でなる調整係数を選択する。調整係数選択部３５は、奇数でなるピクチャ番号３、５、７、９、１１、１３のピクチャ目標符号量Ｔｐに対し、「０．５」を基準とする調整係数を選択する。

ただし、調整係数選択部３５は、ＧＯＰ目標符号量を余すことなく使用するため、ＧＯＰ内の最後となるピクチャ番号１５のピクチャ目標符号量Ｔｐに対して「１．０」の調整係数を選択する。調整係数選択部３５は、先頭のＩピクチャのピクチャ目標符号量Ｔｉに対しても同様に、「１．０」の調整係数を選択する。

すなわち、調整係数選択部３５は、１つおきに増減を繰り返し、偶数のピクチャ番号において極大値をとり、奇数のピクチャ番号において極小値をとるように調整係数を選択するようになされている。

ピクチャ用目標符号量調整部３６は、ピクチャ目標符号量Ｔｉ及びＴｐに対し、調整係数選択部３５によって選択された調整係数を乗算し、調整目標符号量ＴｐＣを算出する。ピクチャ用目標符号量調整部３６は、調整目標符号量ＴｐＣを過不足符号量算出部２１に供給する。

具体的に、ピクチャ用目標符号量調整部３６は、偶数でなるピクチャ番号２、４、６、８、１０、１２、１４のピクチャ目標符号量Ｔｐに対し、「１．５」でなる調整係数を乗算し、乗算値を調整目標符号量ＴｐＣとする。ピクチャ用目標符号量調整部３６は、奇数でなるピクチャ番号３、５、７、９、１１、１３のピクチャ目標符号量Ｔｐに対し、「０．５」を基準とする調整係数を乗算し、乗算値を調整目標符号量ＴｐＣとする。

また、ピクチャ用目標符号量調整部３６は、ピクチャ番号１及び１５のピクチャ符号量Ｔｉ及びＴｐに対し、「１．０」を乗算し、乗算値を調整目標符号量ＴｉＣ及びＴｐＣとする。なお、ピクチャ用目標符号量調整部３６は、調整係数が「１．０」の場合には、調整係数を乗算することなくピクチャ目標符号量Ｔｉ及びＴｐをそのまま調整目標符号量ＴｉＣ及びＴｐＣとしても良い。

この結果、図５（Ｃ）に示すように、調整目標符号量ＴｐＣは、１ピクチャごとに増大及び減少を繰り返すようになる。

このとき、偶数のピクチャ番号でなるＰピクチャでは、調整目標符号量ＴｐＣの増大に伴って、画質を向上させることができる。また、奇数のピクチャ番号でなるＰピクチャでは、画質の向上されたＰピクチャを参照することにより、符号量の減少量よりも画質の劣化を低減させることが可能となる。この結果、ピクチャ目標符号量調整部３６は、ＧＯＰ総体としての画質を、調整係数を乗算しない従来の方法と比して向上させることができる。

また、画質の良好な画像と画質のあまり良好でない画像とが繰り返された場合、人間の視覚的に画質の良好な画像が優先的に認識されることが知られている。従ってピクチャ目標符号量調整部３６は、ビットストリームが復号されてなる復号画像データを表示装置に表示させる際、ユーザに対し、実際の画質よりも画質が良好な画像として認識させることができる。

ここで、図６に示すように、従来のエンコーダは、Ｉピクチャに最も多くのピクチャ目標符号量を割り当てる。このため、従来のエンコーダは、復号された画像データを表示させる際、Ｉピクチャの出現ごとに画質を極端に良好にさせてしまい、あたかも画面が切り替わったような印象をユーザに与えてしまっていた。

ピクチャ目標符号量調整部３６は、Ｉピクチャの直後（すなわちピクチャ番号「２」）のＰピクチャの調整目標符号量ＴｐＣを増大させる。これにより、ピクチャ目標符号量調整部３６は、Ｉピクチャの直後のピクチャの画質を向上させることができる。

ピクチャ目標符号量調整部３６は、ＧＯＰの最後のＰピクチャの直前（すなわちピクチャ番号「１４」）の調整目標符号量ＴｐＣを増大させる。この結果、ピクチャ目標符号量調整部３６は、次にＩピクチャが出現する最後のＰピクチャ（すなわちピクチャ番号「１５」）の画質を向上させることができる。

すなわち、ピクチャ目標符号量調整部３６は、Ｉピクチャの直前となる２つのピクチャと、Ｉピクチャの直後となる１つのピクチャの画質を向上させることができる。この結果、ピクチャ目標符号量調整部３６は、図７に示すように、ＧＯＰ間を滑らかに繋ぐことができ、Ｉピクチャのみを際立たせることがないため、復号画像データ総体としての画質を向上させ得るようになされている。

さらに、ピクチャ目標符号量調整部３６は、「０．５」を基準とし、ＧＯＰの後へいくにつれて徐々に値が増大するよう、奇数でなるピクチャ番号３、５、７、９、１１、１３に対応する調整係数を選定している。

具体的に、ピクチャ目標符号量調整部３６は、奇数でなるピクチャ番号３、５、７、９、１１、１３のピクチャ目標符号量Ｔｐに対し、０．５２３、０．５２３、０．５３１、０．５３９、０．５５５、０．６０２でなる調整係数を乗算する。

これにより、ピクチャ目標符号量調整部３６は、ＧＯＰの後へいくにつれて徐々に画質を向上させることができるため、参照による誤差の伝搬により画質が劣化しやすいＧＯＰの後半部分の画質を向上させることができる。このため、ピクチャ目標符号量調整部３６は、前半部分と後半部分における画質を均等にすることができ、ＧＯＰ間を滑らかに繋ぐことができる。

なお上述した一連の目標符号量調整処理は、ハードウェアにより実行させることもでき、またソフトウェアにより実行させることも可能である。目標符号量調整処理をソフトウェアによって実現する場合、ＣＰＵ（Central Processing Unit）及びＲＡＭ（Random Access Memory）に仮想的に、目標ビットレート算出部２４が形成される。そしてＲＯＭに格納された可変長復号プログラムをＲＡＭに展開することにより、目標符号量調整処理が実行される。

このように、目標ビットレート算出部２４は、ピクチャごとの画質が均等になるようにピクチャ目標符号量Ｔｐを算出する。そして、目標ビットレート算出部２４は、増大及び減少を繰り返すよう目標ビット数に対してピクチャ番号に応じた調整係数を乗算し、調整目標符号量ＴｐＣを算出する。

これにより、目標ビットレート算出部２４は、大きな符号量でなる偶数のピクチャ番号のＰピクチャを参照させて小さな符号量でなる奇数のピクチャ番号のＰピクチャを生成させることができる。このため、目標ビットレート算出部２４は、奇数のピクチャ番号のＰピクチャにおける画質の劣化を抑制しつつ、偶数のピクチャ番号のＰピクチャの画質を向上させることができ、ＧＯＰ総体としての画質を向上させ得るようになされている。

［１−３．具体的な処理手順］
次に、目標符号量調整処理手順ＲＴ１に従って実行される目標符号量調整処理について、図８のフローチャートを用いて説明する。

目標ビットレート算出部２４は、過不足符号量算出部２１からピクチャ発生符号量及び残り符号量が供給されると、目標符号量調整処理手順ＲＴ１を開始し、ステップＳＰ１へ移る。

ステップＳＰ１において、目標ビットレート算出部２４は、処理対象ピクチャがＩピクチャであるか否かについて判別する。ここで、肯定結果が得られると、目標ビットレート算出部２４は、処理対象ピクチャがＩピクチャであるため、次のステップＳＰ２へ移る。

ステップＳＰ２において、目標ビットレート算出部２４は、（２）式及び（３）式に従ってＩピクチャについてのピクチャ目標符号量Ｔｉを算出すると、終了ステップへ移って目標符号量調整処理手順ＲＴ１を終了する。

これに対してステップＳＰ１において否定結果が得られると、目標ビットレート算出部２４は、処理対象ピクチャがＰピクチャであるため、次のステップＳＰ３へ移る。

ステップＳＰ３において、目標ビットレート算出部２４は、（１）式によって残り符号量Rを更新しながら、（４）式及び（５）式に従ってＰピクチャについてのピクチャ目標符号量Ｔｐを算出すると、次のステップＳＰ４へ移る。

ステップＳＰ４において、目標ビットレート算出部２４は、ピクチャ番号の順に、極大値及び極小値を繰り返す調整係数のうち、ピクチャ番号に応じた調整係数を選択すると、次のステップＳＰ５へ移る。

ステップＳＰ５において、目標ビットレート算出部２４は、ステップＳＰ３において算出されたピクチャ目標符号量Ｔｉ及びＴｐに対し、ピクチャ番号に応じた調整係数を乗算して調整目標符号量ＴｉＣ及びＴｐＣを算出すると、終了ステップへ移って目標符号量調整処理手順ＲＴ１を終了する。

［１−４．動作及び効果］
以上の構成において、エンコーダ１は、画像データを符号化する際のピクチャ目標符号量であるピクチャ目標符号量Ｔｐを算出する。エンコーダ１は、１ピクチャごとに増減することにより極大値及び極小値が繰り返される調整係数のうち、画像処理単位であるＧＯＰにおけるピクチャの位置（すなわちピクチャ番号）に応じた調整係数を選択する。 エンコーダ１は、ピクチャ目標符号量Ｔｐと、選択された調整係数とを乗算することにより、ピクチャ目標符号量Ｔｐを調整し、調整目標符号量ＴｐＣとして算出するようにした。

これにより、エンコーダ１は、符号量が増大及び減少を繰り返すようにビットストリームを生成し、符号量の多いピクチャと符号量を低減したピクチャとを交互に発生させる。エンコーダ１は、符号量の多いピクチャの画質を向上させる一方、画質の向上したピクチャを参照して符号量を低減したピクチャを符号化するため、当該符号量を低減したピクチャにおける画質の劣化を抑制することができる。このため、エンコーダ１は、ＧＯＰ総体として画質を向上させることができる。

エンコーダ１は、ピクチャの種類ごとにほぼ均等になるようにピクチャ目標符号量Ｔｐを算出する。これにより、エンコーダ１は、調整目標符号量ＴｐＣが極大値及び極小値を繰り返すように設定することができるため、ピクチャ符号量Ｔｉ及びＴｐが極大値及び極小値を繰り返すように画像データを符号化することができる。

エンコーダ１は、Ｉピクチャの後に符号化されるピクチャに対し、１より大きい値でなる調整係数を選択する。

これにより、エンコーダ１は、最も多くの符号量が割り当てられるＩピクチャの直後のピクチャの画質を向上させることができるため、Ｉピクチャを際立せることなく、後続する画質の低いピクチャを自然に繋げることができる。

エンコーダ１は、ビットストリームの符号量が、ＧＯＰごとに設定されたＧＯＰ目標符号量になるよう、ピクチャ目標符号量Ｔｐを算出し、ＧＯＰにおける最後のピクチャに対し、１でなる調整係数を選択する。

これにより、エンコーダ１は、ＧＯＰ目標符号量から既に符号化されたビットストリームの符号量を減算した残りの符号量の全てを調整目標符号量Ｔｐとして割り当てることができ、余剰な符号量を残さないようにできる。

エンコーダ１は、ＧＯＰにおける最後のピクチャの直前のピクチャ（すなわちピクチャ番号１４）に対し、１より大きい値でなる調整係数を選択するようにした。

これにより、エンコーダ１は、画質が良好なピクチャを参照してＧＯＰにおける最後のピクチャを符号化でき、次のＧＯＰにおいて先頭にくるＩピクチャの直前２つのピクチャの画質を向上させることができる。

これにより、エンコーダ１は、最も多くの符号量が割り当てられるＩピクチャの直前のピクチャの画質を向上させることができるため、Ｉピクチャを際立せることなく、ＧＯＰ間を滑らかに繋ぐことができる。

エンコーダ１は、ＧＯＰにおけるピクチャの位置が後ろ方向に進むにつれて（すなわち、ピクチャ番号が大きくなるにつれて）値が大きくなるように、調整係数を選択するようにした。

これにより、エンコーダ１は、Ｉピクチャが出現する次のＧＯＰに向けて、徐々にピクチャの画質を向上させることができ、一段と滑らかにＧＯＰ間を繋げることができる。

ＧＯＰは、ＩピクチャとＰピクチャとから構成されている。これにより、エンコーダ１は、全てのピクチャが参照されるため、画質の向上したピクチャを参照して符号量を低減したピクチャを符号化するという関係を確実にし、本発明の効果を存分に発揮することができる。

以上の構成によれば、エンコーダ１は、ＧＯＰ内においてビットストリームにおけるピクチャごとの符号量が増減を繰り返すように、調整目標符号量を設定する。エンコーダ１は、ピクチャに対するビットストリームの符号量が調整目標符号量になるように画像データを符号化するようにした。

これにより、エンコーダ１は、符号量の大きいピクチャの画質をＩピクチャに近づけ、１つおきにピクチャの画質を向上させることができる。すなわち、エンコーダ１は、復号された画像を表示させる際、画質が向上された画像のみを定期的に出現させることにより、ユーザに対し、あたかも復号画像データ全体の画質を向上させたかのように印象づけることができる。かくして本発明は、画質を向上し得る符号化装置、目標符号量調整方法及び目標符号量調整プログラムが記録された記録媒体を実現できる。

［２．第２の実施の形態］
第２の実施の形態では、図９に示すように、図１〜図８に示す第１の実施の形態と対応する箇所に同一符号を附して示している。第２の実施の形態では、ＧＯＰがＩピクチャ及びＰピクチャに加えて、Ｂピクチャを有する点が第１の実施の形態と異なっている。また第２の実施の形態では、Ｉピクチャ、Ｐピクチャ及びＢピクチャにそれぞれ対応する調整係数選択部と、目標符号量調整部を有する点が第１の実施の形態と異なっている。

図９に示すように、目標ビットレート算出部５０のＩピクチャ用目標符号量算出部３２は、処理対象ピクチャがＩピクチャである場合には、（２）式に従ってピクチャ目標符号量Ｔｉを生成し、これをＩピクチャ用調整係数選択部３５Ａに供給する。なお、Ｎｂは符号化していないＢピクチャの数、ＫｂはＢピクチャに応じた量子化スケールの比率でありＫｂ＝１．４である。

Ｉピクチャ用調整係数選択部３５Ａは、ピクチャ番号に対応する調整係数「１．０」を選択し、Ｉピクチャ用目標符号量調整部３６Ａに供給する。Ｉピクチャ用目標符号量調整部３６Ａは、ピクチャ目標符号量Ｔｉに対して、調整係数「１．０」を乗算して調整目標符号量ＴｉＣを生成する。

またＰピクチャ用目標符号量算出部３４は、（４）式及び（５）式に従ってピクチャ目標符号量Ｔｐを生成する。Ｐピクチャ用目標符号量調整部３６Ｂは、Ｐピクチャ用調整係数選択部３５Ｂによりピクチャ番号に応じて選択された調整係数を乗算し、調整目標符号量ＴｐＣを算出する。

Ｂピクチャ用目標符号量算出部５１は、ＧＯＰ内における最初のＢピクチャに対しては、（６）式及び（７）式に従ってＢピクチャ目標符号量Ｔｂを算出する。

Ｂピクチャ用目標符号量調整部３６Ｃは、Ｂピクチャ目標符号量Ｔｂに対し、Ｂピクチャ用調整係数選択部３５Ｃによりピクチャ番号に応じて選択された調整係数を乗算し、調整目標符号量ＴｂＣを生成する。

この結果、過不足符号量算出部２１には、調整目標符号量ＴｉＣ、ＴｐＣ及びＴｂＣが供給される。

このように、目標ビットレート算出部５０は、ＧＯＰにおいて最初と最後を除くピクチャのうち、ピクチャ番号が偶数でなるピクチャ目標符号量Ｔｐ及びＢピクチャ目標符号量Ｔｂに対して１よりも大きい調整係数を乗算し、調整目標符号量ＴｐＣ及びＴｂＣを生成する。目標ビットレート算出部５０は、ピクチャ番号が奇数でなるピクチャに対して１より小さい調整係数を乗算し、調整目標符号量ＴｐＣ及びＴｂＣを生成する。

これにより、目標ビットレート算出部５０は、第１の実施の形態と同様、ＧＯＰにおいて最初と最後を除くピクチャについて、ピクチャ目標符号量が増大及び減少を繰り返すようにでき、ＧＯＰ総体としての画質を向上させることができる。

［３．他の実施の形態］
なお、上述した第１及び第２の実施の形態においては、目標ビットレート算出部２４は、ピクチャ目標符号量Ｔｐをピクチャの種類ごとにほぼ均等になるように算出する。目標ビットレート算出部２４は、極大値及び極小値が繰り返される調整係数のうち、画像処理単位であるＧＯＰにおけるピクチャの位置（すなわちピクチャ番号）に応じた調整係数とピクチャ目標符号量Ｔｐとを乗算する。これにより、目標ビットレート算出部２４は、ピクチャ目標符号量Ｔｐを調整し、調整目標符号量ＴｐＣとして算出するようにした場合について述べた。本発明はこれに限らず、例えば画像の複雑さに応じてピクチャ目標符号量を算出し、当該ピクチャ目標符号量に対して調整係数を乗算するようにしても良い。また、ピクチャ目標符号量Ｔｐを算出せず直接的に極大値及び極小値が繰り返されるような調整目標符号量ＴｐＣを算出するようにしても良い。

また、上述した第１及び第２の実施の形態においては、Ｉピクチャの後に符号化されるピクチャに対し、１よりも大きい調整係数を選択するようにした場合について述べた。本発明はこれに限らず、要はピクチャごとの調整目標符号量が増減すればよく、１よりも小さい調整係数を選択しても良い。

さらに、上述した第１及び第２の実施の形態においては、ＧＯＰが奇数である１５ピクチャで構成されるようにした場合について述べたが、本発明はこれに限られない。本発明は、ＧＯＰを構成するピクチャの数に制限されず、当該ピクチャの数は奇数であっても偶数であっても良い。

さらに、上述した第１及び第２の実施の形態においては、画像処理単位がＧＯＰ単位でなるようにした場合について述べた。本発明はこれに限らず、その他種々の単位を画像処理単位とすることができる。

さらに、上述した第１及び第２の実施の形態においては、ＭＰＥＧ−２におけるＴＭ５のＳＴＥＰ１に従ってピクチャ目標符号量Ｔｐを算出するようにした場合について述べた。本発明はこれに限らず、その他種々の方法によりピクチャ目標符号量Ｔｐを算出するようにしても良い。

さらに、上述した第１及び第２の実施の形態においては、ＧＯＰにおける最後のピクチャの直前のピクチャに対し、１よりも大きい調整係数を乗算するようにした場合について述べた。本発明はこれに限らず、要はピクチャごとの調整目標符号量が増減すればよく、１よりも小さい調整係数を乗算しても良い。

さらに、上述した第１及び第２の実施の形態においては、ＧＯＰにおけるピクチャの位置が後ろ方向に進むにつれて１よりも小さい調整係数の極小値が大きくなるようにした場合について述べた。本発明はこれに限らず、例えばＧＯＰの中心から前方向及び後ろ方向に向かって増減しながら調整係数の値が大きくなるようにしたり、調整係数の値が極大値と極小値とで同一になるようにしても良い。また本発明は、極大値についても同様に調整係数が大きくなるようにしても良い。

さらに、上述した実施の形態においては、目標符号量調整プログラム等をＲＯＭ又はハードディスクドライブなどに予め格納するようにした場合について述べたが、本発明はこれに限らず、メモリースティック（ソニー株式会社の登録商標）などの外部記憶媒体からフラッシュメモリなどにインストールするようにしても良い。また、目標符号量調整プログラムなどをＵＳＢ（Universal Serial Bus）やＥｔｈｅｒｎｅｔ（登録商標）（Institute of Electrical and Electronics Engineers：登録商標）８０２．１１ａ／ｂ／ｇなどの無線ＬＡＮ（Local Area Network）を介して外部から取得し、さらに、は地上ディジタルテレビジョン放送やＢＳディジタルテレビジョン放送により配信されるようにしても良い。

さらに、上述した第１及び第２の実施の形態においては、ＭＰＥＧ−２に準拠したエンコーダ１に本発明が適用されるようにした場合について述べた。本発明はこれに限らず、種々の方式でなるエンコーダに適用することができる。本発明は、例えばＭＰＥＧ−４やＡＶＣ（Advanced Video Coding）、Windows（登録商標） Media Video 9 を規格化したＶＣ−１、ＪＰＥＧ（Joint Photographic Experts Group）などに準拠したエンコーダに適用することができる。

さらに、上述した第１の実施の形態においては、符号化部としての符号化部２と、算出部としてのＰピクチャ用目標符号量算出部３４と、選択部としての調整係数選択部３５と、調整部としての目標符号量調整部３６とによって符号化装置としてのエンコーダ１を構成するようにした場合について述べた。本発明はこれに限らず、その他種々の構成でなる符号化部と、算出部と、選択部と、調整部とによって本発明の符号化装置を構成するようにしても良い。

本発明の符号化装置は、例えば画像圧縮処理を実行する情報処理端末に利用することができる。

１……エンコーダ、２……符号化部、３……符号量制御部、１０……入力端子、１１……減算器、１４……量子化部、２１……過不足符号量算出部、２３……符号分配量算出部、２４……目標ビットレート算出部、２５……量子化ステップ算出部、Ｔｉ……ピクチャ目標符号量ＴｉＣ、ＴｐＣ、ＴｂＣ……調整目標符号量、Ｔｐ……Ｐピクチャ目標符号量、Ｔｂ……Ｂピクチャ目標符号量。

Claims (10)

1. 画像データを符号化する符号化部と、
   画像データを符号化する際のピクチャごとのピクチャ目標符号量を算出する算出部と、
   極大値及び極小値が繰り返される調整係数のうち、画像処理単位における上記ピクチャの位置に応じた調整係数を選択する選択部と、
   上記算出部によって算出された上記ピクチャ目標符号量と、上記選択部によって選択された上記調整係数とを乗算することにより、上記ピクチャ目標符号量を調整する調整部と
   を有する符号化装置。
2. 上記選択部は、
   Ｉピクチャの後に符号化されるピクチャに対し、１より大きな調整係数を選択する
   請求項１に記載の符号化装置。
3. 上記算出部は、
   上記符号化部によって符号化されたビットストリームの符号量が、上記画像処理単位ごとに設定された画像処理単位目標符号量になるよう、上記目標符号量を算出し、
   上記選択部は、
   上記画像処理単位における最後のピクチャに対し、１でなる調整係数を選択する
   請求項２に記載の符号化装置。
4. 上記選択部は、
   上記画像処理単位における最後のピクチャの直前のピクチャに対し、１より大きな調整係数を選択する
   請求項３に記載の符号化装置。
5. 上記選択部は、
   上記画像処理単位における上記ピクチャの位置が後ろ方向に進むにつれて値が大きくなるように、上記調整係数を選択する
   請求項４に記載の符号化装置。
6. 上記算出部は、
   ピクチャの種類ごとにほぼ均等になるように上記ピクチャ目標符号量を算出する
   請求項５に記載の符号化装置。
7. 上記画像処理単位は、
   ＩピクチャとＰピクチャとから構成されている
   請求項１に記載の符号化装置。
8. 上記符号化部は、
   ＭＰＥＧ−２方式に従って、上記画像データを符号化する
   請求項７に記載の符号化装置。
9. 画像データを符号化する際のピクチャ目標符号量をピクチャの種類ごとにほぼ均等になるように算出する算出ステップと、
   極大値及び極小値が繰り返される調整係数のうち、画像処理単位における上記ピクチャの位置に応じた調整係数を選択する選択ステップと、
   上記算出ステップによって算出された上記ピクチャ目標符号量と、上記選択ステップによって選択された上記調整係数とを乗算することにより、上記ピクチャ目標符号量を調整する調整ステップと
   を有する目標符号量調整方法。
10. コンピュータに対して、
    画像データを符号化する際のピクチャ目標符号量をピクチャの種類ごとにほぼ均等になるように算出する算出ステップと、
    極大値及び極小値が繰り返される調整係数のうち、画像処理単位における上記ピクチャの位置に応じた調整係数を選択する選択ステップと、
    上記算出ステップによって算出された上記ピクチャ目標符号量と、上記選択ステップによって選択された上記調整係数とを乗算することにより、上記ピクチャ目標符号量を調整する調整ステップと
    を実行させる目標符号量調整プログラムが記録された記録媒体。

Images