JP2020141376A - 画像符号化装置及びその制御方法及びプログラム - Google Patents

Abstract

【課題】比較的少ないメモリ量でも画質劣化の時間方向の累積を抑制しつつ、画像符号化を行う。【解決手段】画像符号化装置は、参照画像データを生成する場合に、第１のタイプか、第２のタイプの参照画像データとするかを判定する。判定の結果が第１のタイプの参照画像データを示す場合には着目フレームのローカルデコードで得た画像データを第１の削減率でローカル符号化し、得られた符号化データをメモリに格納し、判定の結果が第２のタイプの参照画像データを示す場合には着目フレームのローカルデコードで得た画像データを第１の削減率よりも高い第２の削減率でローカル符号化し、得られた符号化データをメモリに格納する。メモリに格納された符号化データを復号し、参照画像データとして供給する。第１のタイプの参照画像データは、参照画像データとなるフレームが含まれる場合であり、第２のタイプは、参照画像データとなるフレームが含まれない。【選択図】図７

Description

本発明は画像の符号化技術に関するものである。

近年、４Ｋテレビや４Ｋビデオカメラが普及しており、動画像の高解像度化が進んでいる。これにともない、システムが処理すべきデータ量も増加している。

動画像の国際標準符号化規格である、Ｈ．２６４やＨＥＶＣ（High Efficiency Video Coding）などの符号化方式では、動き予測という技術が用いられている。動き予測は、これから符号化を行う画像と、それとは時間的に異なる符号化済みの参照画像との間で動きを検出し、その動き情報に基づいて動画像圧縮を行うことにより、符号化効率を高めるものである。

動き予測をハードウェア処理で行う場合、外部メモリに置かれている参照画像のうち探索範囲部分を読み出して内部メモリに保持しておき、動き探索を行う。しかし、近年の動画像の高解像度化に伴い、動き探索を行う範囲が広範囲になったことから、外部メモリに対して頻繁にアクセスが発生する。この結果、メモリ帯域が圧迫し、より高帯域なメモリバンド幅が望まれるようになってきている。しかし、メモリバンド幅を高めるには、動作クロックの周波数を高くする等の方法が必要となり、結果として実装コストを増加させてしまう。

一方、メモリバンド幅を有効に利用するため、参照画像を圧縮して外部メモリに記憶する方法が提案されている。しかし、この方法は参照画像を圧縮する際、非可逆な圧縮処理が行われるため、参照画像が劣化してしまう。また、次に符号化する画像は劣化した参照画像を参照するため、劣化が伝播してしまう。さらに、この符号化画像は次の参照画像として用いられるため、参照画像を圧縮する際の画質劣化が時間方向に大きく累積してしまう。

そこで、参照画像を圧縮したものと圧縮していないもの両方を外部メモリに記憶しておき、読み込む参照画像を適応的に選択することで画質劣化が時間方向に大きく累積してしまうことを抑える技術が提案されている（特許文献１参照）。

特開２００７−２６６９７０号公報

特許文献１では、画質劣化が時間方向に大きく累積してしまうことを抑えるため、参照画像を圧縮したものと圧縮していないもの両方を格納するため、容量の大きなメモリもしくはメモリ領域を必要となる。

本発明はかかる問題に鑑みなされたものであり、比較的少ないメモリ量でも画質劣化の時間方向の累積を抑制しつつ、画像の符号化を行う技術を提供する。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
フレーム間動き補償を行って動画像データを符号化する画像符号化装置であって、
フレーム間符号化を行う際の参照画像データを格納するためのメモリと、
符号化対象の着目フレームから参照画像データを生成するか、生成する場合には第１のタイプの参照画像データとするか、第２のタイプの参照画像データとするかを判定する判定手段と、
前記着目フレームを、前記メモリに格納された既符号化の参照画像データを参照して符号化し、符号化ストリームを生成する符号化手段と、
前記判定手段の判定の結果が前記第１のタイプの参照画像データを示す場合には前記着目フレームのローカルデコードで得た画像データを第１の削減率でローカル符号化し、得られた符号化データを前記メモリに格納し、
前記判定手段の判定の結果が前記第２のタイプの参照画像データを示す場合には前記着目フレームのローカルデコードで得た画像データを前記第１の削減率よりも高い第２の削減率でローカル符号化し、得られた符号化データを前記メモリに格納するローカル符号化手段と、
前記メモリに格納された符号化データを復号し、前記符号化手段に前記参照画像データとして供給するローカル復号手段とを有し、
前記第１のタイプの参照画像データは、参照元となるフレームの中に参照画像データとなるフレームが含まれる場合の参照画像データであり、
前記第２のタイプの参照画像データは、参照元となるフレームの中に参照画像データとなるフレームが含まれない場合の参照画像データであることを特徴とする。

本発明によれば、比較的少ないメモリ量でも画質劣化の時間方向の累積を抑制しつつ、画像の符号化を行うことが可能になる。

第１の実施形態における符号化装置のブロック構成図。 Ｉ、Ｐピクチャを用いた動画の符号化処理を説明するための図。 Ｉ、Ｐ、Ｂピクチャを用いた動画の符号化処理を説明するための図。 図３に対して一部の参照関係を変更した場合の符号化処理を説明するための図。 均一な圧縮率で参照画像を圧縮した場合の符号化処理を示す図。 参照関係を変更し、参照画像のタイプに応じた圧縮率で参照画像を圧縮した場合の符号化処理を説明するための図。 第１の実施形態における符号化処理を示すフローチャート。 フレームレート高くした場合の符号化処理を説明するための図。 第２の実施形態における符号化処理を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
図１は第１の実施形態による画像符号化装置１００のブロック構成図である。ここでは、ＨＥＶＣ符号化方式を実現する符号化装置を例に示している。なお、符号化対象の動画像データの発生源は特に問わないが、理解を容易にするためデジタルカメラに代表される撮像装置に実装する例を説明する。

制御部１５０は、装置全体の制御を司るものであり、ＣＰＵと、ＣＰＵが実行するプログラムや各種パラメータ等を記憶するＲＯＭ、並びにワークエリアとして使用されるＲＡＭを含む。操作部１５１は、ユーザが装置への指示入力を行うためのスイッチやボタン、タッチパネル等で構成される。表示部１５２は、ユーザにメニュー表示や撮像画像を表示するものである。

レンズ１０１は外部からの光を撮像部１０２の撮像面に光学像として結像させる。撮像部１０２は、その表面に多数の撮像素子が配列されており、結像した光学像を電気信号に変換し、更に、Ａ／Ｄ変換することで画像データを生成し、現像処理部１０３に供給する。撮像部１０２は、例えば１秒間に３０回この処理を行うことで、３０フレーム／秒の動画像を撮像することになる。

現像処理部１０３では、ディベイヤ処理、キズ補正、ノイズ除去、拡大縮小処理、ＹＣｂＣｒ形式への色変換などの画像処理（現像処理）が行われる。そして、現像処理部１０３は、画像処理後の圧縮符号化を行うことができる形式になった画像データを符号化画像フレームバッファ１０４に格納する。なお、符号化画像フレームバッファ１０４は、複数のフレームを格納する容量を有するものとする。

動き予測部１０７は、参照画像伸張部１０６に対し、参照フレームバッファ１０５に格納されている、既符号化のフレームの符号化データの伸張処理を行わせる。そして、動き予測部１０７は、符号化画像フレームバッファ１０４に格納されている符号化対象画像データにおける符号化対象ブロックと、伸長処理で得た参照画像データ間でブロックマッチングをとり、フレーム間動きベクトルの探索処理を行う。そして、動き予測部１０７は、符号化対象ブロックと、検出された動きベクトル位置の予測画像ブロックとの間で画素の差分をとり、差分画像ブロックを得る。そして、動き予測部１０７は、差分画像ブロックを直交変換部１０８に供給する。更に、動き予測部１０７は、検出した動きベクトルが示す位置の予測画像ブロックを動き補償部１１５に供給する。

直交変換部１０８は、送られてきた差分画像ブロックに対して離散コサイン変換を行って変換係数を生成し、生成した変換係数を量子化部１０９に供給する。

量子化部１０９は、直交変換部１０８より供給された変換係数に対して、量子化制御部１１０が出力する量子化ステップサイズに従い、量子化を行う。そして、量子化部１０９は、量子化された変換係数を、符号化ストリーム作成のため可変長符号化部１１１、ならびにローカルデコード画像作成のため逆量子化部１１３に供給する。

可変長符号化部１１１は、量子化後の変換係数に対してジグザグスキャン、オルタネートスキャン等を行い、可変長符号化を行う。また、可変長符号化部１１１は、可変長符号化で得た符号化データに加え、動きベクトルや量子化ステップサイズ、ブロック分割情報、適応オフセット処理用パラメータなどの符号化方式情報を可変長符号化したものを付加し、フレーム間符号化処理に基づく符号化ストリームを生成する。そして、可変長符号化部１１１は、生成された符号化ストリームを記録メディア１１２に記録する。また、可変長符号化部１１１は、符号化の際にブロックごとの発生符号量を算出し、その符号量を表す情報を量子化制御部１１０に供給する。

量子化制御部１１０は、可変長符号化部１１１から送られてくるブロック単位の発生符号量を用いて、着目フレームの総符号量が目標符号量になるように量子化ステップサイズを決定し、量子化部１０９に通知する。

逆量子化部１１３は、量子化部１０９から送られてきた量子化後の変換係数に対して逆量子化を行い、ローカルデコード用の変換係数を生成する。そして、逆量子化部１１３は、生成した変換係数を逆直交変換部１１４に供給する。逆直交変換部１１４は、逆量子化部１１３から送られてきた変換係数に対して逆直交変換を行い、差分画像ブックを生成する。そして、逆直交変換部１１４は、生成された差分画像ブロックを動き補償部１１５に供給する。

動き補償部１１５は、動き予測部１０７から送られてきた動きベクトル位置の予測画像ブロックと、逆直交変換部１１４から送られてきた差分画像ブロックとを加算することにより、ローカルデコード用の画像ブロックデータを生成する。そして、動き補償部１１５は、生成された画像ブロックデータをデブロッキングフィルタ部１１６に供給する。デブロッキングフィルタ部１１６は、動き補償部１１５から送られてきた画像ブロックデータに対してデブロッキングフィルタをかける。そして、デブロッキングフィルタ部１１６は、デブロッキングフィルタ後の画像ブロックデータを、適応オフセット処理部１１７に供給する。

適応オフセット処理部１１７は、バンドオフセット処理、エッジオフセット処理、もしくは何も処理をしない、のいずれかの選択を行い、適応オフセット処理を行うバンド位置、エッジ方向、オフセット値などを決定する。また、適応オフセット処理部１１７は、適応オフセット処理としてどの処理を選択したか、バンド位置、エッジ方向、オフセット値などの適応オフセット処理用のパラメータを符号化ストリームとして生成するため、そのパラメータを可変長符号化部１１１に供給する。

参照画像圧縮部１１８は、適応オフセット処理を行った画像ブロックデータを、削減率設定部１１９で設定された削減率に従って圧縮符号化（ローカル符号化）し、その符号化データを参照フレームバッファ１０５に格納する。

なお、ここで言う削減率の技術的意味を明確するため、実施形態では以下のように定義する。
削減率＝｛１−（符号化後のデータ量／符号化前のデータ量）｝×１００
つまり、削減率が低いほど、圧縮符号化後のデータ量はオリジナルのデータ量に近く、符号化によるロスが小さいことを意味する。したがって、例えば、削減率２０％と削減率１７％とを比較した場合、削減率１７％の方がデータ量は多くなり、画質が高いことを意味する。

参照画像選択部１２０は、符号化画像ごとにどの画像を参照画像とするかの選択を行うものであり、フレームレート等に応じて参照画像の設定を変更する。

参照画像伸張部１０６は、参照フレームバッファ１０５に格納された符号化データを伸長処理（ローカル復号）する。参照画像圧縮部１１８が、削減率設定部１１９により設定される削減率に基づいて非可逆圧縮を行った場合、参照画像伸張部１０６による伸長後の画像の画質は、適応オフセット処理部１１７の直後の画像のそれと比較して劣化したものとなる。この劣化の度合いは、削減率設定部１１９で設定する削減率が高いほど、大きくなる。

図２と図３にそれぞれＧＯＰ構造の異なる一般的な符号化例を、図４に図３に対して一部のＰピクチャが時間的により遠くの画像を参照するように参照関係を一部変更した符号化例を示す。それぞれ表示順に並んでおり、Ｉ、Ｐ、ＢはそれぞれＩピクチャ、Ｐピクチャ、Ｂピクチャを表す。矢印は、時間方向の予測の参照関係を示しており、矢印先のピクチャから、矢印元のピクチャに予測が行われる。

まず、ＩピクチャとＰピクチャのみで構成される図２について説明する。はじめに、Ｉピクチャ２０１の符号化が行われ、その符号化から参照画像２０７が生成される。Ｐピクチャ２０２は、参照画像２０７を参照して符号化され、その符号化画像から参照画像２０８が生成される。Ｐピクチャ２０３は、参照画像２０８を参照して符号化され、その符号化画像から参照画像２０９が生成される。Ｐピクチャ２０４は、参照画像２０９を参照して符号化され、その符号化画像から参照画像２１０が生成される。Ｐピクチャ２０５は、参照画像２１０を参照して符号化される。続いて、Ｉピクチャ２０６の符号化が行われ、その符号化から参照画像２１１が生成される。

次に、Ｉピクチャ、Ｐピクチャ、Ｂピクチャで構成される図３について説明する。なお、Ｂピクチャは、他のピクチャを符号化する際の参照画像とはならない点に注意されたい。

まず、Ｉピクチャ３０１の符号化が行われ、その符号化から参照画像３１７が生成される。Ｐピクチャ３０４は、参照画像３１７を参照して符号化され、その符号化から参照画像３１８が生成される。Ｂピクチャ３０２と３０３は、参照画像３１７および３１８を参照して符号化される。Ｐピクチャ３０７は、参照画像３１８を参照して符号化され、その符号化から参照画像３１９が生成される。Ｂピクチャ３０５と３０６は、参照画像３１８および３１９を参照して符号化される。Ｐピクチャ３１０は、参照画像３１９を参照して符号化され、その符号化から参照画像３２０が生成される。Ｂピクチャ３０８と３０９は、参照画像３１９および３２０を参照して符号化される。Ｐピクチャ３１３は、参照画像３２０を参照して符号化され、その符号化から参照画像３２１が生成される。Ｂピクチャ３１１と３１２は、参照画像３２０および３２１を参照して符号化される。続いて、Ｉピクチャ３１６の符号化が行われ、その符号化から参照画像３２２が生成される。Ｂピクチャ３１４と３１５は、参照画像３２１および３２２を参照して符号化される。

次に、図３に対して一部の参照関係を変更した図４について説明する。まず、Ｉピクチャ４０１の符号化が行われ、その符号化から参照画像４１７が生成される。Ｐピクチャ４０４は、参照画像４１７を参照して符号化され、その符号化から参照画像４１８が生成される。Ｂピクチャ４０２と４０３は、参照画像４１７および４１８を参照して符号化する。Ｐピクチャ４０７は、参照画像４１７を参照して符号化され、その符号化から参照画像４１９が生成される。Ｂピクチャ４０５と４０６は、参照画像４１８および４１９を参照して符号化される。Ｐピクチャ４１０は、参照画像４１９を参照して符号化され、その符号化から参照画像４２０が生成される。次に、Ｂピクチャ４０８と４０９は、参照画像４１９および４２０を参照して符号化される。Ｐピクチャ４１３は、参照画像４２０を参照して符号化され、その符号化から参照画像４２１が生成される。Ｂピクチャ４１１と４１２は、参照画像４２０および４２１を参照して符号化される。続いて、Ｉピクチャ４１６の符号化が行われ、その符号化から参照画像４２２が生成される。Ｂピクチャ４１４と４１５は、参照画像４２１および４２２を参照して符号化される。

参照画像タイプは大きく分けてタイプＡ，Ｂ、Ｃの３つある。以下、図２乃至図４を参照して、これらのタイプを説明する。

タイプＡの参照画像の代表例が参照画像２０７である。この参照画像２０７の参照するピクチャ２０２自身が参照画像２０８となるのが、その理由である。同じ理由で、参照画像２０８〜２１１それぞれもタイプＡの参照画像である。

タイプＢの参照画像の代表例が参照画像３１７である。この参照画像３１７を参照するピクチャは、ピクチャ３０２、３０３、３０４の３つであり、且つ、この３つの中には自身が参照画像となるピクチャ（ピクチャ３０４は参照画像３１８となる）が含まれる。同じ理由で、参照画像３１８〜３２２もこのタイプＢの参照画像である。

ここで、タイプＡ，Ｂとなる参照画像（２０７乃至２１１、及び、３１７乃至３２２）を、以降、第一のタイプの参照画像として定義する。

ここで、第一のタイプの参照画像である参照画像２０７が非可逆圧縮により画質劣化した場合、図２で示した参照関係より、Ｉピクチャ２０１以降の符号化画像であるピクチャ２０２〜２０５に対して画質劣化が伝搬していく。同様にして、第一の参照画像のタイプである参照画像３１７が非可逆圧縮により画質劣化した場合、図３で示した参照関係より、Ｉピクチャ３０１以降の符号化画像であるピクチャ３０２〜３１５に対して画質劣化が伝搬していく。しかも、第一のタイプの参照画像が画質劣化してしまうと、時間的に後ろに位置するピクチャほど画質劣化の蓄積の度合いが大きくなっていくこともわかる。

タイプＣの参照画像の代表例が参照画像４１８である。この参照画像４１８を参照するピクチャは、ピクチャ４０２、４０３、４０５、４０６の４つ（いずれもＢピクチャ）だけであり、且つ、この４つのピクチャの中には自身が参照画像となるピクチャが含まれない。同じ理由で、参照画像４２０も、タイプＣの参照画像である。

以降、参照元となるピクチャの中に自身が参照画像となるものが含まれない、タイプＣの参照画像を第二のタイプの参照画像と定義する。

なお、参照画像４１７を参照するピクチャ４０２、４０３，４０４、４０７の中には、自身が参照ピクチャとなるものが含まれる（ピクチャ４０４は参照画像４１８となり、ピクチャ４０７は参照画像４１９となる）。故に、参照画像４１７は、先に定義した第一のタイプの参照画像となる。参照画像４１９、４２１，４２２も同じ理由で、第一のタイプの参照画像である。

ここで第二のタイプの参照画像である参照画像４１８が非可逆圧縮により画質劣化した場合、図４で示した参照関係より、Ｂピクチャ４０２、４０３、４０５、４０６の符号化画像にのみ画質劣化の影響を及ぼす。すなわち、時間的に後ろの符号化画像全体ではなく、一部の画像のみしか画質劣化の影響を及ぼさない。言い換えれば、第二のタイプの参照画像よりも第一のタイプの参照画像の方が、時間的に後ろのピクチャに対する与える劣化の影響が大きいと言える。この影響を抑えるためには、第二の参照画像タイプよりも第一の参照画像タイプの画質劣化をより小さくすることでる。そのためには、第二の参照画像タイプより第一の参照画像タイプの削減率を低く設定することである。なぜなら、削減率を低くするということは、原画像により近い画質となることを意味するからである。なお、削減率を低くすることは、圧縮しない非圧縮の場合も含む概念となる。

図３では、第一のタイプの参照画像のみ存在するが、第二のタイプの参照画像は存在しない。一方で、参照関係を変更した図４では第一の対応の参照画像と第二のタイプの参照画像の両方が混在する参照関係となっている。このとき、第二の参照画像タイプより第一のタイプの参照画像の削減率を低く設定することで、時間的に後ろの符号化画像に与える画質劣化の影響を抑えることができる。

図５に、従来の符号化方法である均一の削減率（削減率１７％）で圧縮伸張処理して参照画像を生成し、符号化した場合を示す。参照関係は図３と同じである。このとき、Ｉピクチャ間（Ｉピクチャ５０１からＩピクチャ５１６の間）で平均して削減率１７％の参照画像の圧縮を行う。このとき、第一のタイプの参照画像しか存在しないため、時間的に後ろの符号化画像に与える画質劣化の影響に応じた削減率の割り当てができず、時間方向における参照画像の画質劣化の累積が大きくなってしまう。

図６に本実施形態における符号化方法について示す。参照関係は、図４で示したように第一のタイプの参照画像と第二のタイプの参照画像とが混在するように変更する。なお、第一のタイプの参照画像と第二のタイプの参照画像が時間軸に対して交互になるように参照関係を変更することで、参照距離が遠くなることによる画質劣化を小さくすることができる。図５では全ての符号化画像に対して均一に１７％の削減率で圧縮を行った。これに対し、図６では、第一のタイプの参照画像である参照画像６１７、６１９、６２１、６２２に対しては、削減率１５％に設定する。一方で、第二のタイプの参照画像である参照画像６１８、６２０に対しては、削減率２０％に設定する。よって、図６においても図５と同様にイントラピクチャ間（Ｉピクチャ６０１からＩピクチャ６１６の間）で平均１７％の参照画像の削減を行っていることとほぼ同じになっているといえる。しかし、本実施形態では、参照画像が画質劣化した場合の時間的に後ろの符号化画像に与える影響の大きさに応じて削減率を割り当てていることから、均一に参照画像の削減率を設定するときよりも時間方向における参照画像の画質劣化の累積をより小さくことができる。

図７は、制御部１５０の制御下における、実施形態の画像符号化装置の処理を示すフローチャートである。以下、同図を参照して符号化処理を説明する。

まず、Ｓ１０１にて、動き予測部１０７が、符号化画像フレームバッファ１０４から符号化対象の１フレーム（着目フレーム）の画像データを入力する。Ｓ１０２にて、参照画像選択部１２０は、第一のタイプの参照画像と第二のタイプの参照画像が存在するように変更した参照関係に基づいて、どの画像を参照画像とするか選択する。Ｓ１０３で、動き予測部１０７は、選択された参照フレームの符号化データを参照フレームバッファ１０５から読み出し、参照画像伸張部１０６にて伸張処理を行わせる。そして、動き予測部１０７は、符号化対象の着目フレーム内の着目ブロックについて、参照フレームの画像データを参照して動き予測を行い、予測による差分ブロックを生成する。そして、Ｓ１０４にて、直交変換部１０８、量子化部１０９、及び、可変長符号化部１１１による符号化が行われる。

Ｓ１０５にて、制御部１５０は、参照画像を生成するか否かを判断する。参照画像を生成する場合（Ｓ１０５でYES）、制御部１５０は処理をＳ１０６へ進める。このＳ１０６にて、制御部１５０は、着目フレームから第一のタイプの参照画像を生成するか否かを判定する。

制御部１５０は、このＳ１０５、Ｓ１０６の判定を行うとき、符号化対象のフレームが、図４のどのタイミング（何番目）のフレームであるかに基づき判定すればよい。

Ｓ１０６にて、制御部１５０は、着目フレームから生成するには第一のタイプの参照画像でないと判定した場合（第二のタイプの参照画像である場合）、処理をＳ１０７に進める。このＳ１０７にて、制御部１５０は削減率設定部１１９を制御し、削減率α（図６では削減率２０％）を選択するように設定する。この結果、参照画像圧縮部１１８は、設定した削減率αで、着目フレームのローカルデコードした画像データの符号化処理を行い、その符号化データを参照フレームバッファ１０５に格納することになる。

一方、Ｓ１０６にて、制御部１５０が、着目フレームから第一のタイプの参照画像を生成すると判定した場合は、処理をＳ１０８に進める。このＳ１０８にて、制御部１５０は、削減率設定部１１９を制御し、削減率αよりも低い削減率β（β＜αで、図６では削減率１５％）を選択するように設定する。この結果、参照画像圧縮部１１８は、設定した削減率βで、着目フレームのローカルデコードした画像データの符号化処理を行い、その符号化データを参照フレームバッファ１０５に格納する。

以上のように、本実施形態によれば、第一のタイプの参照画像と第二のタイプの参照画像とが存在するように参照関係を変更した上で、第二のタイプの参照画像よりも第一のタイプの参照画像の削減率を低く設定する。この結果、第一のタイプの参照画像の画質劣化の累積をより小さくすることが可能になる。結果、トータル的には、従来とほぼ同じ符号量とした場合であっても、より高い画質の動画像の符号化データを生成することが可能になる。

なお、上記実施形態では、２種類の参照画像に対して設定する符号量の指標として「削減率」という表現を用いた。しかし、削減率という表現に変えて「圧縮率」を採用しても良い。一般に、「オリジナルのデータ量に対する符号化により得られる符号化データの量の割合が小さいほど、圧縮率が高い」という表現が用いられることが多い。かかる表現に鑑みなれば、上記実施形態の処理を別な表現で示すのであれば、第二のタイプの参照画像よりも第一のタイプの参照画像の方の画質劣化を抑制するため、第一のタイプの参照画像の圧縮率を、第二のタイプの参照画像の圧縮率を低くする、ということと等価である。かかる点は、以下の第２の実施形態でも言えることである。

また、実施形態では、画像符号化装置が図１の構成を有するものとして説明したが、ＣＰＵ等のプロセッサがプログラムを読み込み実行することで、プロセッサ自身が図１に示す各処理部として機能するようにしても構わない。

［第２の実施形態］
本第２の実施形態では、より高いフレームレートで動画像を符号化する場合について説明する。なお、第１の実施形態との差異についてのみ詳細に説明する。フレームレートは、操作部１５１により、ユーザが設定するものとする。そして、本第２の実施形態における高フレームレートとは、第１の実施形態におけるフレームレートの２倍高い例を、図８を参照して説明する。

まず、Ｉピクチャ８０１の符号化が行われ、その符号化から参照画像８１７が生成される。次に、Ｐピクチャ８０４が参照画像８１７を参照して符号化され、その符号化から参照画像８１８が生成される。Ｂピクチャ８０２と８０３は、参照画像８１７および８１８を参照して符号化される。Ｐピクチャ８０７は、参照画像８１７を参照して符号化され、その符号化から参照画像８１９が生成する。Ｂピクチャ８０５と８０６は、参照画像８１８および８１９を参照して符号化される。Ｐピクチャ８１０は、参照画像８１７を参照して符号化され、その符号化から参照画像８２０が生成する。次に、Ｂピクチャ８０８と８０９は、参照画像８１９および８２０を参照して符号化される。Ｐピクチャ８１３は、参照画像８１７を参照して符号化され、その符号化から参照画像８２１が生成される。Ｂピクチャ８１１と８１２は、参照画像８２０および８２１を参照して符号化される。次にＩピクチャ８１６の符号化が行われ、その符号化から参照画像８２２が生成される。Ｂピクチャ８１４と８１５は、参照画像８２１および８２２を参照して符号化される。

図８は、図６と比較してフレームレートが２倍であることから、フレーム間の相関は図６の場合よりも高い。そのため、図８ではＰピクチャ８０４と８０７に加えて、大きく画質劣化させることなく、より時間的に遠いＰピクチャ８１０と８１３まで参照画像８１７を参照することができる。すると、図６ではイントラピクチャ間で第二のタイプの参照画像が２枚であったところを図８では４枚に増やすことができる。削減率は図６と同様に第一のタイプの参照画像に対しては１５％の削減率、第二のタイプの参照画像に対しては２０％の削減率に設定すると、図８ではイントラピクチャ間（Ｉピクチャ８０１からＩピクチャ８１６の間）で平均１９％の削減率で参照画像の圧縮を行うことができる。

図９は、本第２の実施形態の動作を示すフローチャートである。Ｓ２０１の処理は、第１の実施形態におけるＳ２０１の処理と同様である。Ｓ２０２にて、制御部１５０は、フレームレートが予め設定した閾値よりも高いか否かを判断する。フレームレートが閾値以下である場合（Ｓ２０２でNO）、第１実施形態におけるＳ１０２の処理と同様である。設定されたフレームレートが閾値より高い場合（Ｓ２０２でYES）、制御部１５０は処理をＳ２０３に進める。このＳ２０３にて、参照画像選択部１２０は、第一のタイプの参照画像と第二のタイプの参照画像とが混在するように変更かつ、Ｓ２０３よりも第二のタイプの参照画像を増やすように設定した参照関係に基づいて参照画像を選択する。以降のＳ２０５〜Ｓ２１０までの処理は、第１実施形態におけるＳ１０３〜Ｓ１０８までの処理と同様である。

以上のように、フレームレートが高いほど、第二のタイプの参照画像を増やすことで単位時間あたりにより多くのメモリバンド幅を削減できるようになる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…符号化装置、１０１…レンズ、１０２…撮像部、１０３…現像処理部、１０４…符号化画像フレームバッファ、１０５…参照フレームバッファ、１０６…参照画像伸長部、１０７…動き予測部、１０８…直交変換部、１０９…量子化部、１１０…量子化制御部、１１１…可変長符号化部、１１２…記録メディア、１１３…逆量子化部、１１４…逆直交変換部、１１５…動き補償部、１１６…デブロッキングフィルタ部、１１７…適応オフセット処理部、１１８…参照画像圧縮部、１１９…削減率設定部、１２０…参照画像選択部、１５０…制御部、１５１…操作部、１５２…表示部

Claims (5)

1. フレーム間動き補償を行って動画像データを符号化する画像符号化装置であって、
   フレーム間符号化を行う際の参照画像データを格納するためのメモリと、
   符号化対象の着目フレームから参照画像データを生成するか、生成する場合には第１のタイプの参照画像データとするか、第２のタイプの参照画像データとするかを判定する判定手段と、
   前記着目フレームを、前記メモリに格納された既符号化の参照画像データを参照して符号化し、符号化ストリームを生成する符号化手段と、
   前記判定手段の判定の結果が前記第１のタイプの参照画像データを示す場合には前記着目フレームのローカルデコードで得た画像データを第１の削減率でローカル符号化し、得られた符号化データを前記メモリに格納し、
   前記判定手段の判定の結果が前記第２のタイプの参照画像データを示す場合には前記着目フレームのローカルデコードで得た画像データを前記第１の削減率よりも高い第２の削減率でローカル符号化し、得られた符号化データを前記メモリに格納するローカル符号化手段と、
   前記メモリに格納された符号化データを復号し、前記符号化手段に前記参照画像データとして供給するローカル復号手段とを有し、
   前記第１のタイプの参照画像データは、参照元となるフレームの中に参照画像データとなるフレームが含まれる場合の参照画像データであり、
   前記第２のタイプの参照画像データは、参照元となるフレームの中に参照画像データとなるフレームが含まれない場合の参照画像データである
   ことを特徴とする画像符号化装置。
2. 前記符号化手段は、Ｉピクチャ間において、前記第１のタイプの参照画像と、前記第２のタイプの参照画像が時間軸の方向に対して交互に発生させて、符号化を行うことを特徴とする請求項１に記載の画像符号化装置。
3. 前記符号化手段は、動画像のフレームレートが高いほど、前記第１のタイプの参照画像データに対する前記第２のタイプの参照画像データの発生する割合を高くして符号化を行うことを特徴とする請求項１に記載の画像符号化装置。
4. フレーム間符号化を行う際の参照画像データを格納するためのメモリを有し、フレーム間動き補償を行って動画像データを符号化する画像符号化装置の制御方法であって、
   符号化対象の着目フレームから参照画像データを生成するか、生成する場合には第１のタイプの参照画像データとするか、第２のタイプの参照画像データとするかを判定する判定工程と、
   前記着目フレームを、前記メモリに格納された既符号化の参照画像データを参照して符号化し、符号化ストリームを生成する符号化工程と、
   前記判定工程の判定の結果が前記第１のタイプの参照画像データを示す場合には前記着目フレームのローカルデコードで得た画像データを第１の削減率でローカル符号化し、得られた符号化データを前記メモリに格納し、
   前記判定工程の判定の結果が前記第２のタイプの参照画像データを示す場合には前記着目フレームのローカルデコードで得た画像データを前記第１の削減率よりも高い第２の削減率でローカル符号化し、得られた符号化データを前記メモリに格納するローカル符号化工程と、
   前記メモリに格納された符号化データを復号し、前記符号化手段に前記参照画像データとして供給するローカル復号工程とを有し、
   前記第１のタイプの参照画像データは、参照元となるフレームの中に参照画像データとなるフレームが含まれる場合の参照画像データであり、
   前記第２のタイプの参照画像データは、参照元となるフレームの中に参照画像データとなるフレームが含まれない場合の参照画像データである
   ことを特徴とする画像符号化装置の制御方法。
5. コンピュータが読み込み実行することで、前記コンピュータに、請求項４に記載の方法の各工程を実行させるためのプログラム。

Images