JP5019054B2

JP5019054B2 - 画像復号方法、その装置及びプログラム

Info

Publication number: JP5019054B2
Application number: JP2007514748A
Authority: JP
Inventors: 崇博木本
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2005-04-27
Filing date: 2006-04-25
Publication date: 2012-09-05
Anticipated expiration: 2026-04-25
Also published as: EP1876830A1; US8223840B2; JPWO2006118114A1; US20090304074A1; WO2006118114A1; EP1876830A4

Description

本発明は画像データを復号する画像復号方法および装置に関し、特に階層符号化された画像データをそれぞれの階層で復号する画像復号方法、その装置及びプログラムに関する。

階層符号化とは、粗い情報から細かい情報へと階層的に符号化する技術をさす。画像を階層的に符号化することで、1本の圧縮データに対し一部の追加・削除のみで表示解像度、伝送環境の異なる端末に対応することができる。インターネットの発達、画像再生環境の多様化に伴い、画像の階層符号化技術はますます重要になると考えられる。

一方、高能率な画像符号化を実現するため、周囲の画素を参照して行う予測復号処理はますます複雑になっている。最新の動画像符号化の国際標準規格H.264 / MPEG-4 AVCにおける動き補償予測はMPEG-2と比べ次の点で異なる。
（１）補償処理の単位となるブロックは４ｘ４まで細分化できる。
（２）動き情報の精度は1/4画素まで細かくできる。
（３）小数点位置の画素値を内挿するフィルタは６タップと長くなっている。

また、フレーム内符号化時にブロック内画素値を隣接画素から予測する処理では、H.264 / MPEG-4 AVCは縦方向や横方向に画素値をコピーするだけでなく、斜め方向に画素値を内挿する処理を採用している。

図４に、MPEG-2でも採用されている階層符号化の一般的な手法であるピラミッド符号化における、階層画像復号装置の構成を示す。

まず、下位階層データ1001に対し、エントロピー復号部101、逆量子化部102、周波数逆変換部103が処理を行い、予測誤差信号1004を生成する。予測復号部105は、メモリ104に格納された下位階層復号画像1005を参照して予測復号処理を行い、予測信号1007を生成する。予測信号1007と予測誤差信号1004とを加算し、下位階層復号画像1009を生成する。下位階層復号画像1009はメモリ104に格納され、後の復号に用いる。

次に、上位階層符号化データ2001に対し、エントロピー復号部201、逆量子化部202、周波数逆変換部203が処理を行い、予測誤差信号2004を生成する。予測復号部205は、メモリ104に格納された下位階層復号画像1010と、メモリ204に格納された上位階層復号画像2005を参照して予測復号処理を行い、予測信号2007を生成する。予測信号2007と予測誤差信号2004とを加算し、上位階層復号画像2008を生成する。上位階層復号画像2008はメモリ204に格納され、後の復号に用いる。

しかしながら、図４に示す従来技術の課題は処理量の多さである。すなわち、画像の復号処理において、予測復号処理は多くの処理量を要する。従来技術では、上位階層の復号時に上位階層のみならず下位階層においても予測復号処理を行う。そのため、階層化されていない画像データの復号に比べて、より多くの処理量を要することになる。

そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は上位階層の復号時の処理量を低減した階層画像の画像復号方法、その装置及びプログラムを提供することにある。

上記課題を解決する第１の発明は、階層化された画像データを復号する画像復号方法であって、下位階層の復号時には、復号済みの画像データを参照して予測復号処理を行い、生成した予測信号と予測誤差信号とを加算して第１の下位階層復号画像を生成し、上位階層の復号時には、前記復号済みの画像データを参照して前記予測復号処理を簡略化した擬似予測復号処理を行い、生成した擬似予測信号と前記予測誤差信号とを加算して第２の下位階層復号画像を生成した後、前記第２の下位階層復号画像を参照して上位階層復号データを復号することを特徴とする。

上記課題を解決する第２の発明は、上記第１の発明において、予測復号処理が、復号済みの画像フレームである参照フレームと、復号対象となるフレームと前記参照フレームとの間のブロックごとの移動量を表す動き情報とを参照して動き補償予測復号を行うことを特徴とする。

上記課題を解決する第３の発明は、上記第１の発明において、予測復号処理が、復号済みの画像フレームである参照フレームと、復号対象となるフレームと前記参照フレームとの間のブロックごとの移動量を表す動き情報とを参照して動き補償予測復号を行い、擬似予測復号処理が、小数画素位置を示す動き情報を整数画素位置に丸めた後、動き補償予測復号を行うことを特徴とする。

上記課題を解決する第４の発明は、上記第１の発明において、予測復号処理が、復号済みの画像フレームである参照フレームと、復号対象となるフレームと前記参照フレームとの間のブロックごとの移動量を表す動き情報とを参照して動き補償予測復号を行い、擬似予測復号処理が、動き補償予測復号における画素値内挿フィルタに代わり、よりタップ長の短い内挿フィルタを用いることを特徴とする。

上記課題を解決する第５の発明は、上記第１の発明において、予測復号処理が、復号対象となるブロックに対し、前記ブロックに隣接する画素を参照して画素値内挿処理を行い、内挿画素値を生成し、前記内挿画素値を前記ブロックにコピーすることを特徴とする。

上記課題を解決する第６の発明は、上記第１の発明において、予測復号処理が、復号対象となるブロックに対し、前記ブロックに隣接する画素を参照して画素値内挿処理を行い、内挿画素値を生成し、前記内挿画素値を前記ブロックにコピーし、擬似予測復号処理が、画素値内挿処理に代わって、より演算量の少ない別の画素値内挿処理を用いることを特徴とする。

上記課題を解決する第７の発明は、階層化された画像データを復号する階層画像復号方法であって、下位階層復号画像を第１のメモリに格納するステップと、下位階層データをエントロピー復号する第１のエントロピー復号ステップと、前記第１のエントロピー復号ステップの出力を逆量子化する第１の逆量子化ステップと、前記第１の逆量子化ステップの出力を周波数逆変換し第１の予測誤差信号を生成する第１の周波数逆変換ステップと、前記第１のメモリに格納された下位階層復号画像と第１の付加情報とを参照して予測復号処理を行い、第１の予測信号を生成する第１の予測復号ステップと、前記第１のメモリに格納された下位階層復号画像と前記第１の付加情報とを参照し、前記予測復号処理を簡略化した擬似予測復号処理を行って擬似予測信号を生成する擬似予測復号ステップと、上位もしくは下位のいずれの階層を復号するのかを指示する復号階層指示信号を参照し、前記下位階層復号画像の予測復号処理として前記第１の予測復号ステップと前記擬似予測復号ステップのいずれかを選択する第１の切替ステップと、前記復号階層指示信号を参照し、前記付加情報を前記第１の予測復号ステップと前記擬似予測復号ステップのいずれかで用いるかを選択する第２のステップと、前記第１の予測信号もしくは前記擬似予測信号と前記第１の予測誤差信号とを加算して、下位階層復号画像を生成する第１の加算ステップと、上位階層復号画像を第２のメモリに格納するステップと、上位階層データをエントロピー復号する第２のエントロピー復号ステップと、前記第２のエントロピー復号ステップの出力を逆量子化する第２の逆量子化ステップと、前記第２の逆量子化ステップの出力を周波数逆変換し、第２の予測誤差信号を生成する第２の周波数逆変換ステップと、前記第１のメモリに格納された下位階層復号画像と前記第２のメモリに格納された上位階層復号画像と第２の付加情報とを参照して予測復号処理を行い、第２の予測信号を生成する第２の予測復号ステップと、前記第２の予測信号と前記第２の予測誤差信号とを加算して、上位階層復号画像を生成する第２の加算ステップとを備え、下位階層画像を出力画像とする場合には、前記第１の予測復号ステップを行い、上位階層画像を出力画像とする場合には、前記擬似予測復号ステップを行って下位階層擬似復号画像を生成し、前記下位階層擬似復号画像を上位階層復号処理において参照することを特徴とする。

上記課題を解決する第８の発明は、階層化された画像データを復号する画像復号装置であって、下位階層の復号時には、復号済みの画像データを参照して予測復号処理を行い、生成した予測信号と予測誤差信号とを加算して第１の下位階層復号画像を生成する手段と、上位階層の復号時には、前記復号済みの画像データを参照して前記予測復号処理を簡略化した擬似予測復号処理を行い、生成した擬似予測信号と前記予測誤差信号とを加算して第２の下位階層復号画像を生成した後、前記第２の下位階層復号画像を参照して上位階層復号データを復号する手段とを有することを特徴とする。

上記課題を解決する第９の発明は、上記第８の発明において、予測復号処理が、復号済みの画像フレームである参照フレームと、復号対象となるフレームと前記参照フレームとの間のブロックごとの移動量を表す動き情報とを参照して動き補償予測復号を行うことを特徴とする。

上記課題を解決する第１０の発明は、上記第８の発明において、予測復号処理が、復号済みの画像フレームである参照フレームと、復号対象となるフレームと前記参照フレームとの間のブロックごとの移動量を表す動き情報とを参照して動き補償予測復号を行い、擬似予測復号処理が、小数画素位置を示す動き情報を整数画素位置に丸めた後、動き補償予測復号を行うことを特徴とする。

上記課題を解決する第１１の発明は、上記第８の発明において、予測復号処理が、復号済みの画像フレームである参照フレームと、復号対象となるフレームと前記参照フレームとの間のブロックごとの移動量を表す動き情報とを参照して動き補償予測復号を行い、擬似予測復号処理が、動き補償予測復号における画素値内挿フィルタに代わり、よりタップ長の短い内挿フィルタを用いることを特徴とする。

上記課題を解決する第１２の発明は、上記第８の発明において、予測復号処理が、復号対象となるブロックに対し、前記ブロックに隣接する画素を参照して画素値内挿処理を行い、内挿画素値を生成し、前記内挿画素値を前記ブロックにコピーすることを特徴とする。

上記課題を解決する第１３の発明は、上記第８の発明において、予測復号処理が、復号対象となるブロックに対し、前記ブロックに隣接する画素を参照して画素値内挿処理を行い、内挿画素値を生成し、前記内挿画素値を前記ブロックにコピーし、擬似予測復号処理が、画素値内挿処理に代わって、より演算量の少ない別の画素値内挿処理を用いることを特徴とする。

上記課題を解決する第１４の発明は、階層化された画像データを復号する階層画像復号装置であって、下位階層復号画像が格納される第１のメモリと、下位階層データをエントロピー復号する第１のエントロピー復号手段と、前記第１のエントロピー復号手段の出力を逆量子化する第１の逆量子化手段と、前記第１の逆量子化手段の出力を周波数逆変換し、第１の予測誤差信号を生成する第１の周波数逆変換手段と、前記第１のメモリに格納された下位階層復号画像と第１の付加情報とを参照して予測復号処理を行い、第１の予測信号を生成する第１の予測復号手段と、前記第１のメモリに格納された下位階層復号画像と前記第１の付加情報とを参照し、前記予測復号処理を簡略化した擬似予測復号処理を行って擬似予測信号を生成する擬似予測復号手段と、上位もしくは下位のいずれの階層を復号するのかを指示する復号階層指示信号を参照し、前記下位階層復号画像の出力を前記第１の予測復号手段と前記擬似予測復号手段のいずれかに入力する第１の切替手段と、前記復号階層指示信号を参照し、前記付加情報の出力を前記第１の予測復号手段と前記擬似予測復号手段のいずれかに入力する第２の切替手段と、前記第１の予測信号もしくは前記擬似予測信号と前記第１の予測誤差信号とを加算して、下位階層復号画像を生成する第１の加算手段と、上位階層復号画像が格納される第２のメモリと、上位階層データをエントロピー復号する第２のエントロピー復号手段と、前記第２のエントロピー復号手段の出力を逆量子化する第２の逆量子化手段と、前記第２の逆量子化手段の出力を周波数逆変換し、第２の予測誤差信号を生成する第２の周波数逆変換手段と、前記第１のメモリに格納された下位階層復号画像と前記第２のメモリに格納された上位階層復号画像と第２の付加情報とを参照して予測復号処理を行い、第２の予測信号を生成する第２の予測復号手段と、前記第２の予測信号と前記第２の予測誤差信号とを加算して、上位階層復号画像を生成する第２の加算手段と、を備え、下位階層画像を出力画像とする場合には、前記第１の予測復号手段が行い、上位階層画像を出力画像とする場合には、前記擬似予測復号手段が行って下位階層擬似復号画像を生成し、前記下位階層擬似復号画像を上位階層復号処理において参照することを特徴とする。

上記課題を解決する第１５の発明は、階層化された画像データを復号する画像復号装置のプログラムであって、前記プログラムは、前記画像復号装置に、下位階層の復号時には、復号済みの画像データを参照して予測復号処理を行い、生成した予測信号と予測誤差信号とを加算して第１の下位階層復号画像を生成する処理と、上位階層の復号時には、前記復号済みの画像データを参照して前記予測復号処理を簡略化した擬似予測復号処理を行い、生成した擬似予測信号と前記予測誤差信号とを加算して第２の下位階層復号画像を生成した後、前記第２の下位階層復号画像を参照して上位階層復号データを復号する処理とを実行させることを特徴とする。
このような動作を採用し、上位階層の復号画像を出力する場合には、下位階層における予測復号処理を簡略化することにより、本発明の目的を達成することができる。

本発明によれば、下位階層の復号画像を出力する場合には通常の予測復号処理を行い、上位階層の復号画像を出力する場合には、下位階層における予測復号処理を簡略化する。これにより上位階層の復号において予測復号処理に要する処理量を低減できる。

本発明を実施する最良の形態の構成を示すブロック図である。本発明を実施する最良の形態の動作を示すフロー図である。本発明の具体的な実施例となる画像復号装置の構成を示すブロック図である。従来の階層画像復号装置の構成を示すブロック図である。

符号の説明

100 下位階層復号器
200 上位階層復号器
101,201 エントロピー復号部
102,202 逆量子化部
103,203 周波数逆変換部
104,204 メモリ
105,205 予測復号部
106 擬似予測復号部
107, 108 スイッチ
1001 下位階層データ
1002 量子化係数信号
1003 係数信号
1004, 2004 予測誤差信号
1005, 1009, 1010 下位階層復号画像
1006, 2006 付加情報
1007, 2007 予測信号
1008 予測信号
1100 復号階層指示信号
2001 上位階層データ
2008 上位階層復号画像

本発明の第１の発明を実施するための最良の形態について図面を用いて説明する。

図１は本発明の第１の実施形態となる画像復号装置の構成を示すブロック図である。

本発明における階層画像復号装置は、下位階層データ復号器100と、上位階層データ復号器200と、予測復号部105, 205と、擬似予測復号部106と、スイッチ107とからなる。

図２は図１に示す画像復号装置において復号画像を出力するまでの処理の流れを示すフロー図である。図１および図２を用い、本実施の形態の全動作について説明する。

下位階層復号器100は下位階層データ1001を復号し、予測誤差信号1004を生成する(図２のS10)。スイッチ107は階層画像復号装置が上位下位どちらの階層を復号するかを表す復号階層指示信号1100を受け取り、予測復号処理を切り替える(図２のS11)。下位階層を復号する場合、スイッチ107は出力となる下位復号画像1009を予測復号部105に入力する。予測復号部105の出力する予測信号1007と予測誤差信号1004とを加算して下位階層復号画像1009が生成される(図２のS12)。

上位階層を出力する場合、スイッチ107は出力となる下位復号画像1009を擬似予測復号部106に入力する。擬似予測復号部106の出力する擬似予測信号1008と予測誤差信号1004とを加算して下位階層復号画像1009が生成される(図２のS19)。上位階層復号器200は上位画像データ2001を入力とし予測誤差信号2004を生成する(図２のS20)。予測復号部205は、出力となる上位復号画像2008と下位階層復号画像1009とを参照し予測信号2007を出力した後、予測誤差信号2004と加算して上位階層復号画像2009を生成する(図２のS21)。

本実施の形態では、上位階層の復号において、予測復号部105でなく擬似予測復号部106が動作するように構成されているため処理量を低減できる。

次に具体的な実施例を用いて本発明を実施する最良の形態の動作を説明する。

図３は本発明の実施例となる画像復号装置の構成を示すブロック図である。図３における画像復号装置は、エントロピー復号部101,201と、逆量子化部102,202と、周波数逆変換部103, 203と、メモリ104,204と、予測復号部105, 205と、擬似予測復号部106と、スイッチ107, 108とからなる。尚、図１における下位階層復号器100は、エントロピー復号部101と、逆量子化部102と、周波数逆変換部103とからなる。また、図１における上位階層復号器200は、エントロピー復号部201と、逆量子化部202、周波数逆変換部203からなる。

次に、図３を用いて本発明における実施例の詳細な動作を説明する。

エントロピー復号部101は、下位階層データ1001をエントロピー復号し、量子化係数信号1002を生成する。逆量子化部102は量子化係数信号1002を逆量子化し係数信号1003を生成する。周波数逆変換部103は係数信号1003を周波数逆変換し、予測誤差信号1004を生成する。

スイッチ107は復号階層指示信号1100を参照し、出力する階層に応じてメモリ104に格納された下位階層復号画像1005の出力先を切り替える。

また、スイッチ108は復号階層指示信号1100を参照し、出力する階層に応じて予測復号処理に用いる付加情報1006の出力先を切り替える。下位階層を出力する場合、スイッチ107は下位階層復号画像1005と付加情報1006を予測復号部105に出力する。予測復号部105は予測復号処理を行って予測信号1007を生成する。予測信号1007と予測誤差信号1004とを加算して出力となる下位階層復号画像1009を生成する。下位階層復号画像1009はメモリ104に格納され、後の復号に用いる。

予測復号処理として、復号済みのフレームとを参照して行う動き補償処理、同一フレーム内復号済みの隣接画素を参照して行うフレーム内挿入処理が用いられる。付加情報1006に含まれる判定信号に従い、予測復号部105はいずれかの予測復号処理を行う。予測復号処理として動き補償処理が行われる場合、付加情報1006として、参照するフレームを特定する情報、当該ブロックに対し動き補償処理を行う単位となる小ブロック分割情報、各々の小ブロックの動きを表す動き情報を参照する。動き情報は1/2や1/4単位といった１画素以下の精度を持つ。その場合、近傍画素から画素値を内挿し予測信号を生成する。予測復号処理としてフレーム内予測処理が行われる場合、付加情報1006として、水平や垂直や斜めなどどの方向の隣接画素をコピーしてブロックを埋めるかを表す予測方向情報を参照する。

上位階層を出力する場合、スイッチ107は下位階層復号画像1005と付加情報1006を擬似予測復号部106に出力する。擬似予測復号部106は簡略化された予測復号処理を行って擬似予測信号1007を生成する。擬似予測信号1007と予測誤差信号1004とを加算して下位階層復号画像1009を生成し、メモリ104に格納する。

簡略化された予測復号処理として、動き補償予測の場合、小数画素単位の動き情報に対応する内挿フィルタに対してタップ長の短いフィルタもしくは、整数演算で実現されるフィルタに置き換えることが考えられる。あるいは、小数画素単位の動き情報を整数画素位置に丸める処理が考えられる。

また、フレーム内予測処理の場合、斜め方向への隣接画素のコピーにおける内挿処理に対してタップ長の短いフィルタもしくは、整数演算で実現されるフィルタに置き換えることが考えられる。あるいは、より演算量の少ない他のフレーム内予測処理に置き換えることが考えられる。

次に、上位階層データ2001に対し、エントロピー復号部201、逆量子化部202、周波数逆変換部203が処理を行い、予測誤差信号2004を生成する。予測復号部205は、メモリ104に格納された下位階層復号画像1010と、メモリ204に格納された上位階層復号画像2005と、付加情報2006を参照し、予測復号処理を行って予測信号2007を生成する。下位階層復号画像を用いた予測復号処理として、上位階層と同じ解像度へのアップサンプルがある。予測信号2007と予測誤差信号2004とを加算して上位階層復号画像2008を生成する。上位階層復号画像2008はメモリ204に格納され、後の復号に用いられる。

なお、本実施例では階層数が２の場合について説明したが、階層数が３つ以上の場合にも本発明は適用可能である。この場合、出力となる階層よりも下の階層において高画質化フィルタを簡略化する。

以上説明した本発明の実施の形態では、上位階層を出力する際に下位階層の予測復号処理を簡略化する、もしくは行わない。下位階層画像を出力する場合、復号画像の各種歪みは出力画像の品質低下に影響する。しかし、上位階層の復号に参照される場合、下位階層復号画像の各種歪みは出力画像の品質低下に比較的影響しない。特に下位階層と上位階層の解像度が異なる場合、下位階層に行われる拡大処理により歪みは減衰され、出力画像の画質に及ぼす影響は少なくなる。

また、復号画像装置もしくは方法に対応する符号化装置もしくは方式に本発明を適用することで、出力画像の品質低下はさらに抑えられる。上位階層画像の符号化において、符号化内でローカルに行う下位階層復号処理に簡略化した予測復号処理を用いることで、符号化側で上位階層において参照される下位階層復号画像と、復号化側で上位階層において参照される下位階層復号画像とが一致する。これにより上位階層復号画像に大きな歪みをもたらすことなく復号画像装置の処理量低減を実現できる。

さらには、上述した説明からも明らかなように、本発明をハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。

この場合、プログラムメモリには、上述した各部と同様な動作をさせるプログラムが格納され、このプログラムによりプロセッサは動作して上述した実施例と同様な処理を行う。

Claims

階層化された画像データを復号する画像復号方法であって、
下位階層の復号時には、復号済みの画像データを参照して予測復号処理を行い、生成した予測信号と予測誤差信号とを加算して第１の下位階層復号画像を生成し、
上位階層の復号時には、前記復号済みの画像データを参照して前記予測復号処理を簡略化した擬似予測復号処理を行い、生成した擬似予測信号と前記予測誤差信号とを加算して第２の下位階層復号画像を生成した後、前記第２の下位階層復号画像を参照して上位階層復号データを復号する
ことを特徴とする画像復号方法。
予測復号処理が、復号済みの画像フレームである参照フレームと、復号対象となるフレームと前記参照フレームとの間のブロックごとの移動量を表す動き情報とを参照して動き補償予測復号を行うことを特徴とする請求項１に記載の画像復号方法。
予測復号処理が、復号済みの画像フレームである参照フレームと、復号対象となるフレームと前記参照フレームとの間のブロックごとの移動量を表す動き情報とを参照して動き補償予測復号を行い、
擬似予測復号処理が、小数画素位置を示す動き情報を整数画素位置に丸めた後、動き補償予測復号を行うことを特徴とする請求項１に記載の画像復号方法。
予測復号処理が、復号済みの画像フレームである参照フレームと、復号対象となるフレームと前記参照フレームとの間のブロックごとの移動量を表す動き情報とを参照して動き補償予測復号を行い、
擬似予測復号処理が、動き補償予測復号における画素値内挿フィルタに代わり、よりタップ長の短い内挿フィルタを用いることを特徴とする請求項１に記載の画像復号方法。
予測復号処理が、復号対象となるブロックに対し、前記ブロックに隣接する画素を参照して画素値内挿処理を行い、内挿画素値を生成し、前記内挿画素値を前記ブロックにコピーすることを特徴とする請求項１に記載の画像復号方法。
予測復号処理が、復号対象となるブロックに対し、前記ブロックに隣接する画素を参照して画素値内挿処理を行い、内挿画素値を生成し、前記内挿画素値を前記ブロックにコピーし、
擬似予測復号処理が、画素値内挿処理に代わって、より演算量の少ない別の画素値内挿処理を用いることを特徴とする請求項１に記載の画像復号方法。
階層化された画像データを復号する階層画像復号方法であって、
下位階層復号画像を第１のメモリに格納するステップと、
下位階層データをエントロピー復号する第１のエントロピー復号ステップと、
前記第１のエントロピー復号ステップの出力を逆量子化する第１の逆量子化ステップと、
前記第１の逆量子化ステップの出力を周波数逆変換し第１の予測誤差信号を生成する第１の周波数逆変換ステップと、
前記第１のメモリに格納された下位階層復号画像と第１の付加情報とを参照して予測復号処理を行い、第１の予測信号を生成する第１の予測復号ステップと、
前記第１のメモリに格納された下位階層復号画像と前記第１の付加情報とを参照し、前記予測復号処理を簡略化した擬似予測復号処理を行って擬似予測信号を生成する擬似予測復号ステップと、
上位もしくは下位のいずれの階層を復号するのかを指示する復号階層指示信号を参照し、前記下位階層復号画像の予測復号処理として前記第１の予測復号ステップと前記擬似予測復号ステップのいずれかを選択する第１の切替ステップと、
前記復号階層指示信号を参照し、前記付加情報を前記第１の予測復号ステップと前記擬似予測復号ステップのいずれかで用いるかを選択する第２のステップと、
前記第１の予測信号もしくは前記擬似予測信号と前記第１の予測誤差信号とを加算して、下位階層復号画像を生成する第１の加算ステップと、
上位階層復号画像を第２のメモリに格納するステップと、
上位階層データをエントロピー復号する第２のエントロピー復号ステップと、
前記第２のエントロピー復号ステップの出力を逆量子化する第２の逆量子化ステップと、
前記第２の逆量子化ステップの出力を周波数逆変換し、第２の予測誤差信号を生成する第２の周波数逆変換ステップと、
前記第１のメモリに格納された下位階層復号画像と前記第２のメモリに格納された上位階層復号画像と第２の付加情報とを参照して予測復号処理を行い、第２の予測信号を生成する第２の予測復号ステップと、
前記第２の予測信号と前記第２の予測誤差信号とを加算して、上位階層復号画像を生成する第２の加算ステップと、
を備え、
下位階層画像を出力画像とする場合には、前記第１の予測復号ステップを行い、
上位階層画像を出力画像とする場合には、前記擬似予測復号ステップを行って下位階層擬似復号画像を生成し、前記下位階層擬似復号画像を上位階層復号処理において参照することを特徴とする階層画像復号方法。
階層化された画像データを復号する画像復号装置であって、
下位階層の復号時には、復号済みの画像データを参照して予測復号処理を行い、生成した予測信号と予測誤差信号とを加算して第１の下位階層復号画像を生成する手段と、
上位階層の復号時には、前記復号済みの画像データを参照して前記予測復号処理を簡略化した擬似予測復号処理を行い、生成した擬似予測信号と前記予測誤差信号とを加算して第２の下位階層復号画像を生成した後、前記第２の下位階層復号画像を参照して上位階層復号データを復号する手段と
を有することを特徴とする画像復号装置。
予測復号処理が、復号済みの画像フレームである参照フレームと、復号対象となるフレームと前記参照フレームとの間のブロックごとの移動量を表す動き情報とを参照して動き補償予測復号を行うことを特徴とする請求項８に記載の画像復号装置。
予測復号処理が、復号済みの画像フレームである参照フレームと、復号対象となるフレームと前記参照フレームとの間のブロックごとの移動量を表す動き情報とを参照して動き補償予測復号を行い、
擬似予測復号処理が、小数画素位置を示す動き情報を整数画素位置に丸めた後、動き補償予測復号を行うことを特徴とする請求項８に記載の画像復号装置。
予測復号処理が、復号済みの画像フレームである参照フレームと、復号対象となるフレームと前記参照フレームとの間のブロックごとの移動量を表す動き情報とを参照して動き補償予測復号を行い、
擬似予測復号処理が、動き補償予測復号における画素値内挿フィルタに代わり、よりタップ長の短い内挿フィルタを用いることを特徴とする請求項８に記載の画像復号装置。
予測復号処理が、復号対象となるブロックに対し、前記ブロックに隣接する画素を参照して画素値内挿処理を行い、内挿画素値を生成し、前記内挿画素値を前記ブロックにコピーすることを特徴とする請求項８に記載の画像復号装置。
予測復号処理が、復号対象となるブロックに対し、前記ブロックに隣接する画素を参照して画素値内挿処理を行い、内挿画素値を生成し、前記内挿画素値を前記ブロックにコピーし、
擬似予測復号処理が、画素値内挿処理に代わって、より演算量の少ない別の画素値内挿処理を用いることを特徴とする請求項８に記載の画像復号装置。
階層化された画像データを復号する階層画像復号装置であって、
下位階層復号画像が格納される第１のメモリと、
下位階層データをエントロピー復号する第１のエントロピー復号手段と、
前記第１のエントロピー復号手段の出力を逆量子化する第１の逆量子化手段と、
前記第１の逆量子化手段の出力を周波数逆変換し、第１の予測誤差信号を生成する第１の周波数逆変換手段と、
前記第１のメモリに格納された下位階層復号画像と第１の付加情報とを参照して予測復号処理を行い、第１の予測信号を生成する第１の予測復号手段と、
前記第１のメモリに格納された下位階層復号画像と前記第１の付加情報とを参照し、前記予測復号処理を簡略化した擬似予測復号処理を行って擬似予測信号を生成する擬似予測復号手段と、
上位もしくは下位のいずれの階層を復号するのかを指示する復号階層指示信号を参照し、前記下位階層復号画像の出力を前記第１の予測復号手段と前記擬似予測復号手段のいずれかに入力する第１の切替手段と、
前記復号階層指示信号を参照し、前記付加情報の出力を前記第１の予測復号手段と前記擬似予測復号手段のいずれかに入力する第２の切替手段と、
前記第１の予測信号もしくは前記擬似予測信号と前記第１の予測誤差信号とを加算して、下位階層復号画像を生成する第１の加算手段と、
上位階層復号画像が格納される第２のメモリと、
上位階層データをエントロピー復号する第２のエントロピー復号手段と、
前記第２のエントロピー復号手段の出力を逆量子化する第２の逆量子化手段と、
前記第２の逆量子化手段の出力を周波数逆変換し、第２の予測誤差信号を生成する第２の周波数逆変換手段と、
前記第１のメモリに格納された下位階層復号画像と前記第２のメモリに格納された上位階層復号画像と第２の付加情報とを参照して予測復号処理を行い、第２の予測信号を生成する第２の予測復号手段と、
前記第２の予測信号と前記第２の予測誤差信号とを加算して、上位階層復号画像を生成する第２の加算手段と、
を備え、
下位階層画像を出力画像とする場合には、前記第１の予測復号手段が行い、
上位階層画像を出力画像とする場合には、前記擬似予測復号手段が行って下位階層擬似復号画像を生成し、前記下位階層擬似復号画像を上位階層復号処理において参照することを特徴とする階層画像復号装置。
階層化された画像データを復号する画像復号装置のプログラムであって、
前記プログラムは、前記画像復号装置に、
下位階層の復号時には、復号済みの画像データを参照して予測復号処理を行い、生成した予測信号と予測誤差信号とを加算して第１の下位階層復号画像を生成する処理と、
上位階層の復号時には、前記復号済みの画像データを参照して前記予測復号処理を簡略化した擬似予測復号処理を行い、生成した擬似予測信号と前記予測誤差信号とを加算して第２の下位階層復号画像を生成した後、前記第２の下位階層復号画像を参照して上位階層復号データを復号する処理と
を実行させることを特徴とする画像復号装置のプログラム。