JP5194039B2 - イントラ予測装置、符号化器、復号器、及びプログラム - Google Patents

Description

本発明は、復号済みの画素値から符号化対象の画素値を外挿により予測する装置及びプログラムに関し、特に画像の交流成分の連続性を損なわない予測が可能なイントラ予測装置、符号化器、復号器、及びプログラムに関する。

ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式（ＩＳＯ/ＩＥＣ １４４９６−１０／ＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４）では、インター予測（画面間予測）のほか、符号化対象の画像ブロックに対して、符号化済み隣接ブロックの画素値から予測画像を生成し、その予測画像との差分を符号化するイントラ予測符号化（画面内予測符号化）が採用されている。

図９に、従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式における符号化器４のブロック図を示す。符号化器４は、並べ替え部３１と、減算部３２と、直交変換部３３と、量子化部３４と、可変長符号化部３５と、逆量子化部３６と、逆直交変換部３７と、切替えスイッチ３８と、イントラ予測部３９と、フレームメモリ４０と、動き補償予測部４１と、加算部４２とを備える。

並べ替え部３１は、入力された映像信号を一時的に蓄積し、フレーム画像の順番を並べ替え、符号化処理に必要なフレーム画像を減算部３２及び動き補償予測部４１に出力する。

動き補償予測部４１は、並べ替え部３１から供給される入力画像に対して、フレームメモリ４０から取得する参照画像を用いて動きベクトル検出を行い、得られた動きベクトルを用いて動き補償を行い、その結果得られた予測画像を、切替えスイッチ３８を介して減算部３２及び加算部４２に出力する。動きベクトルの情報は、可変長符号化部３５に出力する。

減算部３２は、並べ替え部３１からの入力画像と、動き補償予測部４１又はイントラ予測部３９からの予測画像との差分画像を生成して直交変換部３３に出力する。

直交変換部３３は、減算部３２から供給される差分画像に対して小領域の画素ブロックごとに直交変換（例えば、ＤＣＴ；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を施し、直交変換係数を量子化部３４に出力する。

量子化部３４は、直交変換部３３から入力される直交変換係数に対して量子化テーブルを選択して量子化処理を行い、可変長符号化部３５及び逆量子化部３６に出力する。

可変長符号化部３５は、量子化部３４から入力される量子化された直交変換係数についてスキャンを行って可変長符号化処理を施しビットストリームを生成するとともに、動き補償予測部４１から入力される動きベクトルの情報も可変長符号化を施して出力する。

逆量子化部３６は、量子化部３４から入力される量子化された直交変換係数について逆量子化処理を行って逆直交変換部３７に出力する。

逆直交変換部３７は、逆量子化部３６から入力された直交変換係数に対して逆直交変換（例えば、ＩＤＣＴ；Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を施し、加算部４２に出力する。

加算部４２は、逆直交変換部３７から得られる逆直交変換した画像と、動き補償予測部４１又はイントラ予測部３９から得られる予測画像とを加算処理して復号画像を生成し、イントラ予測部３９及びフレームメモリ４０に出力する。

切替えスイッチ３８は、動き補償予測とイントラ予測とを切替える。

イントラ予測部３９は、既符号化ブロックを復号した画像（加算部４２の出力画像）からイントラ予測した予測画像を生成して減算部３２及び加算部４２に出力する。ここで、減算部３２では、この予測画像と原画像との差分画像を直交変換部３３に出力し、量子化部３４及び可変長符号化部３５を経て符号化する。

イントラ予測は、４画素×４ライン単位、８画素×８ライン単位、又は１６画素×１６ライン単位で行われ、複数種類の予測モード（予測方向）（例えば、４画素×４ライン単位の予測については９種類）の中から最適な予測方向を選択する。図１０は、４画素×４ライン単位で予測する場合の予測モードを示す図である。図中の斜線付の丸は復号済みの画素を示し、白丸は予測対象の画素を示し、矢印は予測方向を示している。（ａ）の予測モード０では垂直方向予測、（ｂ）の予測モード１では水平方向予測、（ｃ）の予測モード２ではＤＣ予測、（ｄ）の予測モード３では対角左下方向予測、（ｅ）の予測モード４では対角右下方向予測、（ｆ）の予測モード５では垂直右方向予測、（ｇ）の予測モード６では水平下方向予測、（ｈ）の予測モード７では垂直左方向予測、（ｉ）の予測モード８では水平上方向予測を行う。以上が、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式におけるイントラ予測の技法である。

また、イントラ予測の精度を上げるために、空間的に離れた画素を参照するのではなく、常に隣接する画素を参照して隣接画素間の差分値を符号化する技法や（例えば、特許文献１参照）、予測ブロックに隣接する画素の値と該予測ブロックから１画素以上間をおいた画素の値とに基づいてイントラ予測を行う技法が知られている（例えば、特許文献２参照）。また、画素値が一定の変化傾向を持つ絵柄の映像に対する予測性能を向上させるために、イントラ符号化における予測値として、隣接する復号画像の周波数特性を考慮した値を生成する技法が知られている（例えば、特許文献３参照）。また、任意形状画像の符号化のために、矩形ブロックの一部にだけ定義された画素群に対して直交変換係数を求める技法も知られている（例えば、特許文献４参照）。

特開２００９−０４９９６９号公報 特開２００８−２７１３７１号公報 特開２００８−２４５０８８号公報 特許３９０７７２４号公報

しかし、従来の方向性を持ったイントラ予測方法は、復号済みの隣接画素の値と予測対象画素の値が直流的な意味で連続であることを仮定しており、交流的な意味での連続性は仮定していなかった。また、特許文献３に記載の技法は交流成分も含んだ予測を行うものではあるが、参照画素と予測画素との間に交流的（位相的）な連続性はない。そのため、参照画像が周期性のあるパターンの一部であるような場合には、交流成分を考慮した高度な予測を行うことができなかった。また、復号済みの画像に含まれる符号化歪みや原画像に含まれる雑音成分が、予測値にそのまま影響を及ぼしてしまうという問題があった。また、特許文献４は、定義された画素値の直交変換係数を求めるのを目的とするものであり、未定義の画素値を推定することを目的とするものではない。

本発明の目的は、上記問題を解決するため、参照画素と予測画素との間で交流成分の連続性を損なわない予測を行うとともに、雑音成分の影響の少ない予測を行うイントラ予測装置、符号化器、復号器、及びプログラムを提供することにある。

上記課題を解決するため、本発明に係るイントラ予測装置は、参照ブロックと予測ブロックからなる処理ブロックを生成する処理ブロック生成手段と、前記処理ブロックの全領域に対応した直交変換基底ベクトルを前記参照ブロックの形状に合わせて抽出した第１の変換基底ベクトル（主変換基底）と、該直交変換基底ベクトルを前記予測ブロックの形状に合わせて抽出した第２の変換基底ベクトル（副変換基底）とを生成する変換基底生成手段と、前記第１の変換基底ベクトルのうちの所定次数分の変換基底ベクトルに対し、該所定次数分の変換基底ベクトルに対応した変換係数列を重みとする重み付け線形和演算を行うことにより、前記参照画像をベクトルで近似する参照画像近似手段と、前記第２の変換基底ベクトルのうちの所定次数分の変換基底ベクトルに対し、前記近似に用いた変換係数列を重みとする重み付け線形和演算を行うことにより、予測画像を生成する予測画像生成手段と、を備えることを特徴とする。

また、本発明に係るイントラ予測装置において、前記参照画像近似手段は、前記第１の変換基底ベクトル（主変換基底）に対してノルムを補正した第３の変換基底ベクトル（補正主変換基底）を用いて前記変換係数列を求めることを特徴とする。

また、本発明に係るイントラ予測装置において、前記第３の変換基底ベクトルは、前記第１の変換基底ベクトルに対して、該ベクトルのノルムの二乗で除算してノルムを補正したベクトルであることを特徴とする。

また、本発明に係るイントラ予測装置において前記参照画像近似手段は、前記第３の変換基底ベクトルのうち低い次数の変換基底ベクトルから順に、該変換基底ベクトルと参照画像のベクトルとの内積演算を行うことにより該変換基底ベクトルに対する変換係数を求めるとともに、該変換係数と前記第１の変換基底ベクトルのうち該次数の変換基底ベクトルとを乗算したベクトルを該参照画像のベクトルから減じたベクトルを新たな参照画像のベクトルとして次の次数の変換係数を求め、該変換係数を求める処理を所定回数繰り返すことにより、前記変換係数列を決定することを特徴とする。

また、本発明に係るイントラ予測装置において、前記参照ブロック及び前記予測ブロックの構成情報と、前記所定次数情報とからなるパラメータを予め複数用意し、該複数のパラメータを用いて複数の予測画像を生成し、該複数の予測画像から１つの予測画像を選択し、選択した予測画像の生成に用いたパラメータを伝送するパラメータ伝送手段を更に備えることを特徴とする。

さらに、本発明に係る符号化器は、上述したイントラ予測装置を備えることを特徴とする。

さらに、本発明に係る復号器は、上述したイントラ予測装置を備えることを特徴とする。

さらに、本発明は、予測ブロックに隣接する復号済みの参照ブロックの画像から、予測ブロックの予測画像を生成するイントラ予測装置として機能するコンピュータに、（ａ）参照ブロックと予測ブロックからなる処理ブロックを生成するステップと、（ｂ）前記処理ブロックの全領域に対応した直交変換基底ベクトルを前記参照ブロックの形状に合わせて抽出した第１の変換基底ベクトルと、該直交変換基底ベクトルを前記予測ブロックの形状に合わせて抽出した第２の変換基底ベクトルとを生成するステップと、（ｃ）前記第１の変換基底ベクトルのうちの所定次数分の変換基底ベクトルに対し、該所定次数分の変換基底ベクトルに対応した変換係数列を重みとする重み付け線形和演算を行うことにより、前記参照画像をベクトルで近似するステップと、（ｄ）前記第２の変換基底ベクトルのうちの所定次数分の変換基底ベクトルに対し、前記近似に用いた変換係数列を重みとする重み付け線形和演算を行うことにより、予測画像を生成するステップと、を実行させるためのプログラムとしても特徴付けられる。

本発明によれば、参照画素と予測画素との間で交流成分の連続性が損なわれない予測を行うことが可能となる。また、復号済みの画像に含まれる符号化歪みや原画像に含まれる雑音成分の影響の少ない予測を行うことが可能となる。

本発明によるイントラ予測方式の概念を説明するための図である。 本発明によるイントラ予測方式の非直交の変換基底を用いた変換係数の導出を説明する図である。 本発明による一実施例のイントラ予測装置の処理ブロックを例示する図である。 本発明による一実施例の符号化側のイントラ予測装置の構成図である。 本発明による一実施例の復号側のイントラ予測装置の処理の構成図である。 本発明による一実施例のイントラ予測装置の動作を示すフローチャートである。 本発明による一実施例のイントラ予測装置を備える符号化器の構成図である。 本発明による一実施例のイントラ予測装置を備える復号器の構成図である。 従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式における符号化器の構成図である。 従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式における４画素×４ライン単位で予測する場合の予測モードを示す図である。

まず、本発明によるイントラ予測方式の概念について、図１乃至図３を参照して説明する。

［イントラ予測方式の概念］
本発明によるイントラ予測装置は、交流成分も含め、復号済み画像との連続性を損なわないで、雑音成分の影響の少ない予測を行う。そのために、隣接画素だけでなく、一定の領域に含まれる復号済み画素を活用し、ＤＣＴやＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）などの直交変換を用いる。そして、復号済み画像の変換係数の推定値を導出することにより予測画像を生成する。多数の参照画素を用い、かつ低周波成分を重視した予測を行うため、雑音の影響を軽減することができる。

復号済み画像の変換係数の推定値を導出することにより予測画像を生成する方式について、図１及び図２を参照して説明する。図１は、本発明によるイントラ予測方式の概念を説明するための図である。簡単のために１次元の領域を考え、５画素の復号済み画像から３画素の予測画像を生成する場合について、図１を参照して説明する。

８画素の１次元の画像にＤＣＴなどの直交変換を行うと、８つの画素に対応した８つの直交変換係数が一意に求まり、これに逆直交変換を行うと、元の画像が復元される。３画素の予測画像を予測するということは、５つの復号済みである参照画素から８つの直交変換係数を推定することと等価である。

直交変換とは、信号列に含まれる各直交変換基底の成分列である直交変換係数を求める処理であり、直交変換基底による信号分析ということもできる。ここで、５つの画素値を表現するのに８つの直交変換基底は冗長である。５画素の参照画像を再現する直交変換係数組は無数に存在する。高周波成分は信号に比べて雑音が相対的に大きいため、低周波成分に対応する変換基底を用いて元の画像を可能な限り再現する変換係数組を求めるのが好適である。このような推定の結果、低周波成分について交流的連続性のある予測画像を生成することができる。

なお、後述するように、本発明による係数の推定には、互いに直交していない変換基底を用いる。そのため、非直交の変換基底を直交変換基底と区別して変換基底といい、変換基底を用いて導出した係数を直交変換係数と区別して変換係数ということとする。なお、直交変換基底及び変換基底は演算の便宜のためにベクトル表記で表すものとする。

直交変換においては、画像ベクトルと直交変換基底ベクトルとの内積を演算することにより、直交変換基底に対応する直交変換係数を求めることができる。

ここで、特許文献４に記載した技法を応用して分析を行う。

図２は、非直交の変換基底を用いた変換係数の導出を説明する図である。

このように、変換基底が直交していない場合には、変換係数は同時に求めるのではなく、連続近似によって順次求める必要がある。

ただし、非直交の変換基底を用いているため、ｃ₁以上の係数を導出した後、再び低次の成分が出る場合もある。

次に、画像領域が２次元の場合について説明するが、考え方は１次元の場合と同じである。図３は、イントラ予測装置１で行う処理単位となる画像ブロックを例示する図である。画像ブロックＤ，Ｂ，Ａは、符号化された後に復号された画像ブロックであり、予測ブロックの画素値を予測するために参照される画像ブロック（以下、「参照ブロック」という）である。また、参照ブロック内の画像を参照画像といい、予測ブロック内の画像を予測画像という。参照ブロックＤ，Ｂ，Ａ、及び予測ブロックＸのブロックサイズは任意であり、ここでは、参照ブロックＤのサイズをｋ画素×ｍライン、参照ブロックＢのサイズをｌ画素×ｍライン、参照ブロックＡのサイズをｋ画素×ｎライン、予測ブロックＸのサイズをｌ画素×ｎラインとする。また、以下の説明において、参照ブロックＤ，Ｂ，Ａ、及び予測ブロックＸからなる、（ｋ＋ｌ）画素×（ｍ＋ｎ）ラインの画像ブロックを「処理ブロック」という。

この演算を所定の次数（ｈ次）まで繰り返し、ｃ₀，ｃ₁，・・・，ｃ_ｈを得る。ｃ₁以上の係数を導出した後、再び低次の成分が出ることがあるが、上記手順では、再出現した低次の成分を拾うことはできない。従って、上記の手順は数次程度で行い、高周波成分の変換係数を求める前に近似を終えるのが好適である。また、残差参照画像ベクトルの大きさが所定の値より小さくなった時点で近似を終えることもできる。あるいはまた、再度現れた低次の成分を拾うために、上記演算を所定の次数まで繰り返した後、得られた残差参照画像ベクトルについて再び最低次数の変換係数から順に変換係数を導出することもできる。このような手順は、予め定めておくことで送受で同一動作を行うようにすることもできるし、パラメータとして伝送することもできる。

図４は、本発明による実施例１の符号化側のイントラ予測装置１の構成図である。イントラ予測装置１は、処理ブロック生成部１１と、参照画像保持部１２と、直交変換基底提供部１３と、直交変換基底分解部１４と、副変換基底保持部１５と、主変換基底保持部１６と、主変換基底補正部１７と、補正主変換基底保持部１８と、内積演算部１９と、予測画像生成部２０と、参照画像補正部２１と、繰り返し設定部２２と、パラメータ伝送部２３とを備える。

処理ブロック生成部１１は、参照ブロックＤ，Ｂ，Ａと、予測ブロックＸとからなる処理ブロックを生成し、参照画像保持部１２に出力する。また、参照ブロックＤ，Ｂ，Ａと予測ブロックＸの構成（ブロックサイズ）の情報をパラメータとしてパラメータ伝送部２３に出力する。

繰り返し設定部２２は、内積演算部１９、予測画像生成部２０、及び参照画像補正部２１における演算処理の繰り返し回数を、内積演算部１９、予測画像生成部２０、及び参照画像補正部２１に対して設定するとともに、繰り返し回数情報をパラメータとしてパラメータ伝送部２３に出力する。繰り返し回数情報とは、例えば、演算を所定回数繰り返してで近似を終える場合にはその所定回数であり、残差参照画像ベクトルの大きさが所定値より小さくなった時点で近似を終える場合にはそのベクトルの大きさであり、演算を第１所定回数繰り返した後に得られた残差参照画像ベクトルについて再び最低次数の変換係数から演算を第２所定回数繰り返す場合には、その第１所定回数及び第２所定回数である。

次に、内積演算部１９、予測画像生成部２０、及び参照画像補正部２１における２回目の処理を説明する。

内積演算部１９、予測画像生成部２０、及び参照画像補正部２１では、上記手順を低周波変換基底から高周波変換基底に向かい、繰り返し設定部２２により設定された回数だけ繰り返す。そして、予測画像生成部２０は、それまでに加算されてきた予測画像を出力する。

なお、ｎ＝ｈのとき、式（８）の演算結果は式（６）の演算結果と等しくなる。

パラメータ伝送部２３は、処理ブロック生成部１１から入力されるパラメータである参照ブロックＤ，Ｂ，Ａと予測ブロックＸの構成（ブロックサイズ）の情報、及び繰り返し設定部２２から入力されるパラメータである繰り返し回数の情報を符号化し、外部に伝送する。これらのパラメータは予め特定しておき、送受で共有することもでき、この場合にはパラメータ伝送部２３を備える必要はない。また、これらのパラメータを符号化側で複数種類試行して複数の予測画像を生成し、予測符号化の性能の点で最適な予測画像を選択し、選択した予測画像の生成に用いたパラメータを伝送することもできる。

図５は、本発明による実施例１の復号側のイントラ予測装置１の構成図である。符号化側のイントラ予測装置１でパラメータ伝送部２３を用いてパラメータを伝送する場合には、パラメータ受信部２４を備える。パラメータ受信部２４は、符号化側のイントラ予測装置１のパラメータ伝送部２３からパラメータを受信し、受信したパラメータを処理ブロック生成部１１と繰り返し設定部２２に出力する。処理ブロック生成部１１は、パラメータ受信部２４から入力されるパラメータに基づいて処理ブロックを生成し、繰り返し設定部２２は、パラメータ受信部２４から入力されるパラメータを、内積演算部１９、予測画像生成部２０、及び参照画像補正部２１に設定する。その他の処理は、符号化側のイントラ装置１と同様であるため、説明を省略する。

［イントラ予測装置の動作］
図６は、本発明によるイントラ予測装置１の動作を示すフローチャートである。まず、ステップＳ１０１にて、処理ブロック生成部１１により、処理ブロックを生成する。

ステップＳ１０６にて、繰り返し設定部２２により、内積演算部１９、予測画像生成部２０、及び参照画像補正部２１に演算処理の繰り返し回数を設定する。

ステップＳ１０８にて、内積演算部１９、予測画像生成部２０、及び参照画像補正部２１は、それぞれステップＳ１０９、ステップＳ１１０、及びステップＳ１１１における演算処理を行うために、変数ｎに１を代入する。

ステップＳ１０９にて、内積演算部１９により、式（７）に基づいて変換係数ｃ_n-1を導出する。

ステップＳ１１２にて、内積演算部１９、予測画像生成部２０、及び参照画像補正部２１は、変数ｎが繰り返し設定部２２により設定された繰り返し回数に達しているかを判定する。変数ｎが繰り返し回数に達していない場合には処理をステップＳ１１３に進め、変数ｎが繰り返し回数に達している場合には処理を終了する。

ステップＳ１１３にて、内積演算部１９、予測画像生成部２０、及び参照画像補正部２１は、変数ｎにｎ＋１を代入し、繰り返し設定部２２により設定された回数だけステップＳ１０９、ステップＳ１１０及びステップＳ１１１の処理を繰り返し行う。

［符号化器及び復号器］
図７は、本発明による実施例１のイントラ予測装置を備える符号化器２の構成図である。符号器２は、従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式の符号器（図９参照）におけるイントラ予測部に代えて、本発明による実施例１のイントラ予測装置１を備える。イントラ予測装置１は、逆量子化部３６及び逆直交変換部３７を経て既符号化ブロックを復号した画像を参照画像保持部１２に入力し、生成した予測画像を、切替えスイッチ３８を介して減算部３２及び加算部４２に出力する。パラメータ伝送部２３は、設定したパラメータを可変長符号化部３５に出力する。なお、上述したように、固定のパラメータを使用する場合には、イントラ予測装置１にてパラメータ伝送部２３を備える必要はない。

図８は、本発明による実施例１のイントラ予測装置を備える復号器３の構成図である。復号器３は、可変長復号部５１と、逆量子化部５２と、逆直交変換部５３と、加算部５４と、イントラ予測装置１と、フレームメモリ５５と、動き補償予測部５６と、切替えスイッチ５７と、並べ替え部５８とを備える。復号器３は、従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式の復号器のイントラ予測部に代えて、本発明によるイントラ予測装置１を備える。

可変長復号部５１は、フレーム間予測で符号化されたビットストリームを入力して、可変長復号処理を施し逆量子化部５２に出力するとともに、動きベクトルの情報を復号して動き補償予測部５６に出力する。さらに、符号化器側からパラメータ情報が伝送された場合には、パラメータ情報を復号してパラメータ受信部２４に出力する。

逆量子化部５２は、可変長復号部５１から入力される量子化された直交変換係数に対して逆量子化処理を施して、動き補償した差分画像の直交変換係数を取得し、逆直交変換部５３に出力する。

逆直交変換部５３は、逆量子化部５２から入力される差分画像の直交変換係数に対して、逆直交変換（例えば、ＩＤＣＴ）を施し、得られる当該差分画像を加算部５４に出力する。

加算部５４は、逆直交変換部５３から得られる当該差分画像と、動き補償予測部５６から入力される予測画像又はイントラ予測装置１から入力される予測画像とを加算して画像を復元し、並べ替え部５８、イントラ予測装置１、及びフレームメモリ５５に出力する。

動き補償予測部５６は、フレームメモリ５５から得られる参照画像と可変長復号部５１から得られる動きベクトルとを用いて予測画像を生成し、切替えスイッチ５７を介して加算部５４に出力する。

並べ替え部５８は、加算部５４から入力される復元された復号画像の各フレームを表示フレーム順に並べ替て出力する。

イントラ予測装置１は、逆量子化部５２及び逆直交変換部５３を経て復号した画像を入力し、生成した予測画像を切替えスイッチ５７を介して加算部５４に出力する。

ここで、イントラ予測装置１として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、処理ブロック生成部１１と、参照画像保持部１２と、直交変換基底提供部１３と、直交変換基底分解部１４と、副変換基底保持部１５と、主変換基底保持部１６と、主変換基底補正部１７と、補正主変換基底保持部１８と、内積演算部１９と、予測画像生成部２０と、参照画像補正部２１と、繰り返し設定２１と、パラメータ伝送部２３又はパラメータ受信部２４とを機能させるための制御部をＣＰＵ（中央演算処理装置）と、少なくとも１つのメモリで構成される記憶部とで実現できる。

また、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、処理ブロック生成部１１と、参照画像保持部１２と、直交変換基底提供部１３と、直交変換基底分解部１４と、副変換基底保持部１５と、主変換基底保持部１６と、主変換基底補正部１７と、補正主変換基底保持部１８と、内積演算部１９と、予測画像生成部２０と、参照画像補正部２１と、繰り返し設定２１と、パラメータ伝送部２３又はパラメータ受信部２４の有する機能を実現させることができる。

同様に、符号化器２として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、イントラ予装置１と、並べ替え部３１と、減算部３２と、直交変換部３３と、量子化部３４と、可変長符号化部３５と、逆量子化部３６と、逆直交変換部３７と、切替えスイッチ３８とフレームメモリ４０と、動き補償予測部４１と、加算部４２とを機能させるための制御部をＣＰＵと、少なくとも１つのメモリで構成される記憶部とで実現できる。また、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、イントラ予装置１と、並べ替え部３１と、減算部３２と、直交変換部３３と、量子化部３４と、可変長符号化部３５と、逆量子化部３６と、逆直交変換部３７と、切替えスイッチ３８とフレームメモリ４０と、動き補償予測部４１と、加算部４２の有する機能を実現させることができる。

同様に、復号器３として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、イントラ予測装置１と、可変長復号部５１と、逆量子化部５２と、逆直交変換部５３と、加算部５４と、フレームメモリ５５と、動き補償予測部５６と、切替えスイッチ５７と、並べ替え部５８とを機能させるための制御部をＣＰＵと、少なくとも１つのメモリで構成される記憶部とで実現できる。また、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、イントラ予測装置１と、可変長復号部５１と、逆量子化部５２と、逆直交変換部５３と、加算部５４と、フレームメモリ５５と、動き補償予測部５６と、切替えスイッチ５７と、並べ替え部５８の有する各機能を実現させることができる。

上述の実施例は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、イントラ予測を行う際に、画像に応じて上述した方式による予測と従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式による予測とを切替える、又は両方式による予測画像を生成して符号化効率の良い予測画像を判定して出力するようにしてもよい。

このように、本発明によれば、様々な画像に対して適したイントラ予測が可能となるので、画像を符号化又は復号する任意の用途に有用である。

１ イントラ予測装置
１１ 処理ブロック生成部
１２ 参照画像保持部
１３ 直交変換基底提供部
１４ 直交変換基底分解部
１５ 副変換基底保持部
１６ 主変換基底保持部
１７ 主変換基底補正部
１８ 補正主変換基底保持部
１９ 内積演算部
２０ 予測画像生成部
２１ 参照画像補正部
２２ 繰り返し設定部
２３ パラメータ伝送部
２４ パラメータ受信部
２ 符号化器
３ 復号器

Claims (8)

1. 予測ブロックに隣接する復号済みの参照ブロックの参照画像から、予測ブロックの予測画像を生成するイントラ予測装置であって、
   参照ブロックと予測ブロックからなる処理ブロックを生成する処理ブロック生成手段と、
   前記処理ブロックの全領域に対応した直交変換基底ベクトルを前記参照ブロックの形状に合わせて抽出した第１の変換基底ベクトルと、該直交変換基底ベクトルを前記予測ブロックの形状に合わせて抽出した第２の変換基底ベクトルとを生成する変換基底生成手段と、
   前記第１の変換基底ベクトルのうちの所定次数分の変換基底ベクトルに対し、該所定次数分の変換基底ベクトルに対応した変換係数列を重みとする重み付け線形和演算を行うことにより、前記参照画像をベクトルで近似する参照画像近似手段と、
   前記第２の変換基底ベクトルのうちの所定次数分の変換基底ベクトルに対し、前記近似に用いた変換係数列を重みとする重み付け線形和演算を行うことにより、予測画像を生成する予測画像生成手段と、
   を備えることを特徴とするイントラ予測装置。
2. 前記参照画像近似手段は、前記第１の変換基底ベクトルに対してノルムを補正した第３の変換基底ベクトルを用いて前記変換係数列を求めることを特徴とする、請求項１に記載のイントラ予測装置。
3. 前記第３の変換基底ベクトルは、前記第１の変換基底ベクトルに対して、該ベクトルのノルムの二乗で除算してノルムを補正したベクトルであることを特徴とする、請求項２に記載のイントラ予測装置。
4. 前記参照画像近似手段は、前記第３の変換基底ベクトルのうち低い次数の変換基底ベクトルから順に、該変換基底ベクトルと参照画像のベクトルとの内積演算を行うことにより該変換基底ベクトルに対する変換係数を求めるとともに、
   該変換係数と前記第１の変換基底ベクトルのうち該次数の変換基底ベクトルとを乗算したベクトルを該参照画像のベクトルから減じたベクトルを新たな参照画像のベクトルとして次の次数の変換係数を求め、
   該変換係数を求める処理を所定回数繰り返すことにより、前記変換係数列を決定することを特徴とする、請求項２又は３のいずれか一項に記載のイントラ予測装置。
5. 前記参照ブロック及び前記予測ブロックの構成の情報と、前記所定次数の情報とからなるパラメータを予め複数用意し、該複数のパラメータを用いて複数の予測画像を生成し、該複数の予測画像から１つの予測画像を選択し、選択した予測画像の生成に用いたパラメータを伝送するパラメータ伝送手段を更に備えることを特徴とする、請求項１から４のいずれか一項に記載のイントラ予測装置。
6. 請求項１から５のいずれか一項に記載のイントラ予測装置を備えることを特徴とする符号化器。
7. 請求項１から４のいずれか一項に記載のイントラ予測装置を備えることを特徴とする復号器。
8. 予測ブロックに隣接する復号済みの参照ブロックの画像から、予測ブロックの予測画像を生成するイントラ予測装置として機能するコンピュータに、
   （ａ）参照ブロックと予測ブロックからなる処理ブロックを生成するステップと、
   （ｂ）前記処理ブロックの全領域に対応した直交変換基底ベクトルを前記参照ブロックの形状に合わせて抽出した第１の変換基底ベクトルと、該直交変換基底ベクトルを前記予測ブロックの形状に合わせて抽出した第２の変換基底ベクトルとを生成するステップと、
   （ｃ）前記第１の変換基底ベクトルのうちの所定次数分の変換基底ベクトルに対し、該所定次数分の変換基底ベクトルに対応した変換係数列を重みとする重み付け線形和演算を行うことにより、前記参照画像をベクトルで近似するステップと、
   （ｄ）前記第２の変換基底ベクトルのうちの所定次数分の変換基底ベクトルに対し、前記近似に用いた変換係数列を重みとする重み付け線形和演算を行うことにより、予測画像を生成するステップと、
   を実行させるためのプログラム。

Images