JP2012023632A - 符号化装置および符号化方法、並びに、復号装置および復号方法 - Google Patents

Abstract

【課題】直交変換処理または逆直交変換処理の演算量を削減する。
【解決手段】DWT部９１は、残差情報に対して、KLTより演算量の少ないDWTを行う。KLT部９２−０乃至９２−８は、それぞれ、対応するイントラ予測モードのKLTの基底で、DWTの結果得られる残差情報の低周波数成分に対して、分離型のKLTを行う。KLTの結果得られる係数と、DWTの結果得られる残差情報の高周波数成分は可逆符号化される。本発明は、例えば、画像符号化装置に適用することができる。
【選択図】図３

Description

本発明は、符号化装置および符号化方法、並びに、復号装置および復号方法に関し、特に、直交変換処理または逆直交変換処理の演算量を削減することができるようにした符号化装置および符号化方法、並びに、復号装置および復号方法に関する。

AVC（Advanced Video Coding）方式において、イントラ予測符号化を改善するMDDT（Mode dependent directional transform)が提案されている(例えば、特許文献１および２参照)。MDDTは、イントラ予測画像と入力画像との残差を直交変換する際に、従来の離散コサイン変換(DCT（Discrete Cosine Transform）)を用いるのではなく、イントラ予測モードに応じてカルーネン・レーベ変換(KLT)を用いることで符号化効率を改善する技術である。

KLTは、変換後の係数が互いに無相関になる変換であり、第１主成分の分散が最大になる変換である。このような変換によって得られる分散の大きい係数にビットを多く配分し、分散の小さい係数にビットを少なく配分することで、符号化効率を改善することができる。

また、特許文献１に記載されているように、イントラ予測画像と入力画像の残差はイントラ予測モードに依存する。従って、MDDTでは、予めイントラ予測モードに応じてKLTの基底を学習しておき、イントラ予測モードごとに異なるKLTの基底を用いることで、残差を効率的に変換することを可能にしている。

しかしながら、KLTは、DCTに比べて演算量が多い。そこで、特許文献２では、イントラ予測画像と入力画像の残差に対して、一般性のある非分離型（Non-separable）のKLTではなく、演算量が比較的少ない分離型（Separable）のKLTを行うことにより、乗算の回数を削減することが提案されている。

Marta Karczewicz,"Improved Intra Coding",VCEG(Video Coding Experts Group)-AF15,USA,April,2007 Yan Ye,Marta Karczewicz,"Improved Intra Coding",VCEG(Video Coding Experts Group)-AG11r1,China,October,2007

しかしながら、特許文献２に記載されているように、分離型のKLTが行われる場合であっても、ブロックサイズが大きい場合、演算量は大きくなる。具体的には、ブロックサイズがN×N画素であるとすると、高速アルゴリズムを用いたDCTの演算量のオーダはNlog|N|であるが、分離型のKLTの演算量のオーダはN^２である。従って、ブロックサイズが大きいほど、分離型のKLTの演算量は、高速アルゴリズムを用いたDCTの演算量に比べて大きくなる。

その結果、分離型のKLTがハードウェアで実現される場合、LSI（Large Scale Integration）の回路規模が大きくなり、製造コストが増加する。また、分離型のKLTがソフトウェアで実現される場合、処理量が増加し、実時間での画像の再生が困難になる。

本発明は、このような状況に鑑みてなされたものであり、直交変換処理または逆直交変換処理の演算量を削減することができるようにするものである。

本発明の第１の側面の符号化装置は、画像に対して、第１の直交変換より演算量の少ない第２の直交変換を行う前直交変換手段と、前記第２の直交変換の結果得られる前記画像の低周波数成分に対して、前記第１の直交変換を行う後直交変換手段と、前記第１の直交変換後の前記低周波数成分と、前記第２の直交変換の結果得られる前記画像の高周波数成分とを符号化する符号化手段とを備える符号化装置である。

本発明の第１の側面の符号化方法は、本発明の第１の側面の符号化装置に対応する。

本発明の第１の側面においては、画像に対して、第１の直交変換より演算量の少ない第２の直交変換が行われ、前記第２の直交変換の結果得られる前記画像の低周波数成分に対して、前記第１の直交変換が行われ、前記第１の直交変換後の前記低周波数成分と、前記第２の直交変換の結果得られる前記画像の高周波数成分とが符号化される。

本発明の第２の側面の復号装置は、画像の符号化結果として、前記画像に対して第１の直交変換より演算量の少ない第２の直交変換を行った結果得られた前記画像の低周波数成分の前記第１の直交変換後の係数と、前記第２の直交変換を行った結果得られた前記画像の高周波数成分の符号化結果を取得し、前記画像の符号化結果を復号する復号手段と、前記復号の結果得られる前記低周波数成分の前記第１の直交変換後の係数に対して、前記第１の直交変換に対応する第１の逆直交変換を行う前逆直交変換手段と、前記第１の逆直交変換の結果得られる前記低周波数成分と、前記復号の結果得られる前記高周波数成分に対して、前記第２の直交変換に対応する第２の逆直交変換を行い、前記画像を得る後逆直交変換手段とを備える復号装置である。

本発明の第２の側面の復号方法は、本発明の第２の側面の復号装置に対応する。

本発明の第２の側面においては、画像の符号化結果として、前記画像に対して第１の直交変換より演算量の少ない第２の直交変換を行った結果得られた前記画像の低周波数成分の前記第１の直交変換後の係数と、前記第２の直交変換を行った結果得られた前記画像の高周波数成分の符号化結果が取得され、前記画像の符号化結果が復号され、前記復号の結果得られる前記低周波数成分の前記第１の直交変換後の係数に対して、前記第１の直交変換に対応する第１の逆直交変換が行われ、前記第１の逆直交変換の結果得られる前記低周波数成分と、前記復号の結果得られる前記高周波数成分に対して、前記第２の直交変換に対応する第２の逆直交変換が行われ、前記画像が得られる。

第１の側面の符号化装置および第２の側面の復号装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本発明の第１の側面によれば、直交変換処理の演算量を削減することができる。

また、本発明の第２の側面によれば、逆直交変換処理の演算量を削減することができる。

本発明を適用した画像符号化装置の第１実施の形態の構成例を示すブロック図である。 各イントラ予測モードの予測方向の例を示す図である。 図１のイントラ予測用直交変換部の詳細構成例を示すブロック図である。 DWT部によるDWTを説明する図である。 図１のイントラ予測用逆直交変換部の詳細構成例を示すブロック図である。 図１の可逆符号化部による可逆符号化の順序の説明をする図である。 図１の画像符号化装置の符号化処理を説明するフローチャートである。 直交変換処理を説明するフローチャートである。 逆直交変換処理を説明するフローチャートである。 イントラ予測コスト関数値算出処理を説明するフローチャートである。 コスト関数値算出処理を説明するフローチャートである。 本発明を適用した画像復号装置の第１実施の形態の構成例を示すブロック図である。 画像復号装置による復号処理を説明するフローチャートである。 可逆復号処理を説明するフローチャートである。 本発明を適用した画像符号化装置の第２実施の形態の構成例を示すブロック図である。 図１５のイントラ予測用直交変換部の詳細構成例を示すブロック図である。 DWT部によるDWTを説明する図である。 図１５のイントラ予測用逆直交変換部の詳細構成例を示すブロック図である。 直交変換処理を説明するフローチャートである。 逆直交変換処理を説明するフローチャートである。 本発明を適用した画像復号装置の第２実施の形態の構成例を示すブロック図である。 マクロブロックのサイズの例を示す図である。 コンピュータの一実施の形態の構成例を示している。 テレビジョン受像機の主な構成例を示すブロック図である。 携帯電話機の主な構成例を示すブロック図である。 ハードディスクレコーダの主な構成例を示すブロック図である。 カメラの主な構成例を示すブロック図である。

＜第１実施の形態＞
［画像符号化装置の構成例］
図１は、本発明を適用した画像符号化装置の第１実施の形態の構成例を示すブロック図である。

図１の画像符号化装置５１は、A/D変換部６１、画面並べ替えバッファ６２、演算部６３、直交変換部６４、量子化部６５、可逆符号化部６６、蓄積バッファ６７、逆量子化部６８、逆直交変換部６９、演算部７０、デブロックフィルタ７１、フレームメモリ７２、スイッチ７３、イントラ予測部７４、動き予測・補償部７５、予測画像選択部７６、およびレート制御部７７により構成される。画像符号化装置５１は、入力された画像をAVC方式で圧縮符号化する。

具体的には、画像符号化装置５１のA/D変換部６１は、入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ６２に出力し、記憶させる。画面並べ替えバッファ６２は、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）構造に応じて、符号化のための順番に並べ替える。

演算部６３は、必要に応じて、画面並べ替えバッファ６２から読み出された画像から、予測画像選択部７６から供給される予測画像を減算する。演算部６３は、減算の結果得られる画像、または、画面並べ替えバッファ６２から読みされた画像そのものを、残差情報として直交変換部６４に出力する。演算部６３は、予測画像選択部７６から予測画像が供給されない場合、画面並べ替えバッファ６２から読み出された画像をそのまま残差情報として直交変換部６４に出力する。

直交変換部６４は、インター予測用直交変換部６４Ａとイントラ予測用直交変換部６４Ｂにより構成される。インター予測用直交変換部６４Ａは、予測画像選択部７６から最適インター予測モードを示す情報（以下、インター予測モード情報という）が供給される場合、演算部６３からの残差情報に対して、DCTやKLT等の直交変換の処理を直交変換処理として行う。そして、直交変換部６４は、その結果得られる係数を変換係数として量子化部６５に供給する。

イントラ予測用直交変換部６４Ｂは、予測画像選択部７６から最適イントラ予測モードを示す情報（以下、イントラ予測モード情報という）が供給される場合、演算部６３からの残差情報に対して直交変換処理を行う。

具体的には、イントラ予測用直交変換部６４Ｂは、残差情報に対して、KLTより演算量の少ないDWT（discrete wavelet transform）を行い、低周波数成分および高周波数成分を抽出する。そして、イントラ予測用直交変換部６４Ｂは、低周波数成分に対して、イントラ予測モードごとの分離型のKLTを施す。イントラ予測用直交変換部６４Ｂは、イントラ予測モード情報が示す最適イントラ予測モードの分離型のKLTの結果得られる係数と高周波数成分を、変換係数として量子化部６５に供給する。

量子化部６５は、直交変換部６４から供給される変換係数を量子化する。量子化された変換係数は、可逆符号化部６６に入力される。

可逆符号化部６６は、イントラ予測モード情報をイントラ予測部７４から取得し、インター予測モード情報、動きベクトルの情報などを動き予測・補償部７５から取得する。

可逆符号化部６６（符号化手段）は、量子化部６５から供給される量子化された変換係数に対して、可変長符号化（例えば、CAVLC（Context-Adaptive Variable Length Coding）など）、算術符号化（例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）など）などの可逆符号化を行い、その結果得られる情報を圧縮画像とする。また、可逆符号化部６６は、イントラ予測モード情報、インター予測モード情報、動きベクトルの情報などを可逆符号化し、その結果得られる情報を圧縮画像に付加されるヘッダ情報とする。

なお、可逆符号化部６６は、変換係数の最適予測モードが最適イントラ予測モードである場合、その最適イントラ予測モードに応じた順序で、変換係数を可逆符号化する。可逆符号化部６６は、可逆符号化の結果得られるヘッダ情報が付加された圧縮画像を圧縮情報として蓄積バッファ６７に供給し、蓄積させる。

蓄積バッファ６７は、可逆符号化部６６から供給される圧縮情報を、一時的に記憶し、例えば、後段の図示せぬ記録装置や伝送路などに出力する。

また、量子化部６５より出力された、量子化された変換係数は、逆量子化部６８にも入力され、逆量子化された後、逆直交変換部６９に供給される。

逆直交変換部６９は、インター予測用逆直交変換部６９Ａとイントラ予測用逆直交変換部６９Ｂにより構成される。インター予測用逆直交変換部６９Ａは、予測画像選択部７６からインター予測モード情報が供給される場合、逆量子化部６８から供給される変換係数に対して、逆DCTや逆KLT等の逆直交変換の処理を逆直交変換処理として行う。インター予測用逆直交変換部６９Ａは、その結果得られる残差情報を演算部７０に供給する。

イントラ予測用逆直交変換部６９Ｂは、予測画像選択部７６からイントラ予測モード情報が供給される場合、逆量子化部６８から供給される変換係数に対して、逆直交変換処理を行う。具体的には、イントラ予測用逆直交変換部６９Ｂは、変換係数のうちの低周波数成分の係数に対してイントラ予測モードごとの逆KLTを行う。また、イントラ予測用逆直交変換部６９Ｂは、イントラ予測モード情報が示す最適イントラ予測モードの逆KLTの結果得られる低周波数成分と、変換係数のうちの高周波数成分に対して、逆DWTを行い、残差情報を得る。イントラ予測用逆直交変換部６９Ｂは、残差情報を演算部７０に供給する。

演算部７０は、逆直交変換部６９から供給される残差情報を、必要に応じて、予測画像選択部７６から供給される予測画像と加算し、局部的に復号された画像を得る。演算部７０は、得られた画像をデブロックフィルタ７１に供給する。

デブロックフィルタ７１は、演算部７０から供給される局部的に復号された画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ７１は、その結果得られる画像をフレームメモリ７２に供給し、蓄積させる。フレームメモリ７２には、デブロックフィルタ７１によりデブロックフィルタ処理される前の画像も供給され、蓄積される。

スイッチ７３は、フレームメモリ７２に蓄積された画像を参照画像として動き予測・補償部７５またはイントラ予測部７４に出力する。

イントラ予測部７４は、画面並べ替えバッファ６２から読み出された画像と、スイッチ７３を介して供給された参照画像とに基づいて、候補となる全てのイントラ予測モードのイントラ予測処理を行い、予測画像を生成する。なお、ここでは、ブロックサイズの異なるイントラ予測モードは、同一の予測方向のイントラ予測モードであっても、異なるイントラ予測モードとして説明する。また、ブロックサイズとしては、4×4画素と8×8画素の2種類が扱われるものとする。

また、イントラ予測部７４は、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部７４は、コスト関数値が最小値となるようなイントラ予測モードを最適イントラ予測モードとして選択する。

このコスト関数値は、RD(Rate Distortion)コストともいい、例えば、AVC方式における参照ソフトウェアであるJM(Joint Model)で定められているような、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて算出される。

具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全てのイントラ予測モードに対して、仮に可逆符号化までが行われ、次の式（１）で表わされるコスト関数値が各イントラ予測モードに対して算出される。

Cost(Mode)=D＋λ・R ・・・（１）

Dは、原画像と復号画像の差分（歪）、Rは、変換係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。

一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全てのイントラ予測モードに対して、復号画像の生成、および、イントラ予測モード情報などのヘッダビットの算出が行われ、次の式（２）で表わされるコスト関数が各イントラ予測モードに対して算出される。

Cost(Mode)=D＋QPtoQuant(QP)・Header_Bit ・・・（２）

Dは、原画像と復号画像の差分（歪）、Header_Bitは、イントラ予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。

Low Complexity モードにおいては、全てのイントラ予測モードに対して、復号画像を生成するだけでよく、可逆符号化を行う必要がないため、演算量が少なくて済む。なお、ここでは、コスト関数値の算出手法としてHigh Complexity モードが採用されるものとする。

イントラ予測部７４は、イントラ予測モード情報、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部７６に供給する。イントラ予測部７４は、予測画像選択部７６から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を可逆符号化部６６に供給する。

動き予測・補償部７５は、画面並べ替えバッファ６２から供給される画像と、スイッチ７３を介して供給される参照画像とに基づいて、候補となる全てのインター予測モードの動き予測行い、動きベクトルを生成する。そして、動き予測・補償部７５は、動きベクトルに基づいて参照画像に対して補償処理を行い、予測画像を生成する。このとき、動き予測・補償部７５は、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。

そして、動き予測・補償部７５は、インター予測モード情報、最適インター予測モードで生成された予測画像、および、対応するコスト関数値を予測画像選択部７６に供給する。動き予測・補償部７５は、予測画像選択部７６から最適インター予測モードの予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトルの情報などを可逆符号化部６６に出力する。

予測画像選択部７６は、イントラ予測部７４および動き予測・補償部７５から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのいずれかを、最適予測モードに決定する。そして、予測画像選択部７６は、最適予測モードの予測画像を、演算部６３および演算部７０に供給する。また、予測画像選択部７６は、最適予測モードの予測画像の選択をイントラ予測部７４または動き予測・補償部７５に通知する。また、予測画像選択部７６は、最適予測モードを示すインター予測モード情報またはイントラ予測モード情報を、直交変換部６４と逆直交変換部６９に供給する。

レート制御部７７は、蓄積バッファ６７に蓄積された圧縮情報に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部６５の量子化動作のレートを制御する。

［イントラ予測モードの説明］
図２は、各イントラ予測モードの予測方向の例を示す図である。

図２に示すように、AVC方式におけるイントラ予測モードには、8方向の予測を行うモードとDC予測を行うモードがある。図２に記載されている番号は、イントラ予測モードの番号であり、その番号が付与された矢印は、その番号のイントラ予測モードの予測方向を示している。

具体的には、図２に示すように、0番のイントラ予測モードの予測方向は、垂直方向であり、1番のイントラ予測モードの予測方向は、水平方向である。図示されていない2番のイントラ予測モードは、DC予測を行うモードである。また、図２に示すように、3乃至8番のイントラ予測モードの予測方向は、斜め方向である。

［イントラ予測用直交変換部の詳細構成例］
図３は、図１のイントラ予測用直交変換部６４Ｂの詳細構成例を示すブロック図である。

図３のイントラ予測用直交変換部６４Ｂは、DWT部９１、KLT部９２−０乃至９２−８、およびセレクタ９３により構成される。

DWT部９１（前直行変換手段）は、必要に応じて、図１の演算部６３から供給される残差情報に対してDWTを行い、低周波数成分と高周波成分を得る。DWT部９１は、低周波数成分をKLT部９２−０乃至９２−８に供給し、高周波数成分をセレクタ９３に供給する。DWT部９１は、KLTを行う必要がない場合、残差情報をそのままKLT部９２−０乃至９２−８に供給する。

KLT部９２−０乃至９２−８（後直交変換手段）は、それぞれ、0番乃至8番のイントラ予測モードのKLTの基底で、DWT部９１から供給される低周波数成分または残差情報に対して分離型のKLTを行う。なお、各イントラ予測モードのKLTの基底は、予め学習により求められた最適値である。KLT部９２−０乃至９２−８は、分離型のKLTの結果得られる係数をセレクタ９３に供給する。

セレクタ９３には、予測画像選択部７６から供給されるイントラ予測モード情報が供給される。セレクタ９３は、イントラ予測モード情報に基づいて、KLT部９２−０乃至９２−８から供給される係数のうちの、最適イントラ予測モードに対応するKLT部９２−０乃至９２−８から供給される係数を選択する。そして、セレクタ９３は、選択された残差情報の係数を変換係数として量子化部６５（図１）に供給するか、または、低周波数成分の係数と、DWT部９１から供給される高周波数成分を変換係数として量子化部６５に供給する。

なお、図３のイントラ予測用直交変換部６４Ｂでは、セレクタ９３がKLT部９２−０乃至９２−８の後に設けられたが、セレクタが、KLT部９２−０乃至９２−８の前に設けられるようにしてもよい。この場合、DWT部９１から出力される低周波数成分または残差情報が、最適イントラ予測モードに対応するKLT部９２−０乃至９２−８のいずれかにのみ供給される。

［DWTの説明］
図４は、DWT部９１によるDWTを説明する図である。

図４Ａに示す残差情報に対して水平方向および垂直方向にDWTが行われると、図４Ｂに示すように、水平成分および垂直成分が、それぞれ、高周波数成分と低周波数成分に分割される。なお、図４において、Lは、低周波数成分を表し、Hは高周波数成分を表している。また、水平成分と垂直成分は、連続して表記されている。これらのことは、後述する図１７においても同様である。

図４Ｂに示すように、残差情報に対して水平方向および垂直方向にDWTが行われると、残差情報は、水平成分および垂直成分が低周波数成分である成分（LL成分）、水平成分が高周波数成分で、垂直成分が低周波数成分である成分（HL成分）、水平成分が低周波数成分で、垂直成分が高周波数成分である成分（LH成分）、および、水平成分および垂直成分が高周波数成分である成分（HH成分）に分割される。

また、LL成分に対して水平方向および垂直方向にDWTが再度行われると、図４Ｃに示すように、LL成分の水平成分および垂直成分が、さらに、それぞれ、高周波数成分と低周波数成分に分割される。その結果、LL成分は、水平成分および垂直成分が低周波数成分である成分（LLLL成分）、水平成分が高周波数成分で、垂直成分が低周波数成分である成分（LLHL成分）、水平成分が低周波数成分で、垂直成分が高周波数成分である成分（LLLH成分）、および、水平成分および垂直成分が高周波数成分である成分（LLHH成分）に分割される。なお、残差情報のLL成分以外の成分であるHL成分、LH成分、およびHH成分は、そのままである。

そして、例えば、DWT部９１によるDWTの回数が２回である場合、最も低周波数の水平成分および垂直成分からなるLLLL成分が低周波数成分としてKLT部９２−０乃至９２−８（図３）に出力される。これにより、分離型のKLTの対象となるデータのサイズを、残差情報のデータサイズの1/16にすることができる。例えば、イントラ予測のブロックサイズが4×4画素である場合、即ち残差情報が4×4画素である場合、分離型のKLTの対象となるデータのサイズは1×1画素となる。また、イントラ予測のブロックサイズが8×8画素である場合、分離型のKLTの対象となるデータのサイズは2×2画素となる。

その結果、イントラ予測による予測画像を用いた残差情報に対する直交変換処理の演算量を削減することができる。具体的には、ブロックサイズがN×N画素であるとすると、DWT部９１の演算量のオーダは、NからNlog|N|程度であり、KLT部９２−０乃至９２−８の演算量のオーダは、(N/4)^２である。従って、直交変換処理の演算量のオーダは、(N/4)^２＋Nlog|N|程度になり、ブロックサイズがN×N画素である場合の分離型のKLTの演算量のオーダであるN^２に比べて十分に小さくなる。

LLLL成分以外の成分は、高周波数成分としてそのまま量子化部６５（図１）に出力される。

なお、DWTの回数は、２回に限定されず、DWTは、最も低周波数の水平成分および垂直成分からなる成分のサイズが、KLT部９２−０乃至９２−８で処理可能なサイズ以下になるまで繰り返される。KLT部９２−０乃至９２−８で処理可能なサイズは、小さいほど、直交変換処理の演算量が少なくなり、製造コストや実時間再生の面で有利になるが、DWTの回数が多くなるため、符号化効率は低下する。従って、KLT部９２−０乃至９２−８で処理可能なサイズは、符号化効率と直交変換処理の演算量の許容範囲を考慮して決定される。

[イントラ予測用逆直交変換部の詳細構成例]
図５は、図１のイントラ予測用逆直交変換部６９Ｂの詳細構成例を示すブロック図である。

図５のイントラ予測用逆直交変換部６９Ｂは、逆KLT部１０１−０乃至１０１−８、セレクタ１０２、および逆DWT部１０３により構成される。

逆KLT部１０１−０乃至１０１−８は、それぞれ、0番乃至8番のイントラ予測モードの逆KLTの基底で、図１の逆量子化部６８から供給される変換係数のうちの係数に対して分離型の逆KLTを行う。

セレクタ１０２には、予測画像選択部７６から供給されるイントラ予測モード情報が供給される。セレクタ１０２は、イントラ予測モード情報に基づいて、逆KLT部１０１−０乃至１０１−８から供給される逆KLT後の成分のうちの、最適イントラ予測モードに対応する逆KLT部１０１−０乃至１０１−８から供給される逆KLT後の成分を選択する。そして、セレクタ１０２は、選択された逆KLT後の成分を逆DWT部１０３に供給する。

逆DWT部１０３は、セレクタ１０２から供給される成分を残差情報として演算部７０（図１）に供給する。または、逆DWT部１０３は、セレクタ１０２から供給される成分と逆量子化部６８から供給される変換係数のうちの高周波数成分とに対して、DWT部９１によるDWTに対応する逆DWTを行い、その結果得られる成分を残差情報として演算部７０に供給する。

なお、図５のイントラ予測用逆直交変換部６９Ｂでは、セレクタ１０２が逆KLT部１０１−０乃至１０１−８の後に設けられたが、セレクタが、逆KLT部１０１−０乃至１０１−８の前に設けられるようにしてもよい。この場合、逆量子化部６８から供給される変換係数のうちの係数が、最適イントラ予測モードに対応する逆KLT部１０１−０乃至１０１−８のいずれかにのみ供給される。

[可逆符号化の順序の説明]
図６は、図１の可逆符号化部６６による可逆符号化の順序の説明をする図である。

可逆符号化では、0が連続する数が符号化されるため、可逆符号化の順序は、0が連続する順序であることが望ましい。

そこで、可逆符号化部６６では、量子化後の変換係数の0が連続するように、符号化順序をイントラ予測モードに応じて切り換える。

具体的には、図６Ａに示す残差情報に対してDWTが行われると、残差情報は、図６Ｂに示すように、LL成分、HL成分、LH成分、およびHH成分の4つの成分に帯域分割される。このとき、図６Ｂに示すように、LL成分は、残差情報の特徴を有する。また、HL成分は、垂直方向の線を表し、LH成分は、水平方向の線を表し、HH成分は、斜め方向の線を表す。即ち、HL成分は、垂直方向の相関が強く、LH成分は、水平方向の相関が強く、HH成分は、斜め方向の相関が強い。

そして、予測方向が垂直方向である0番のイントラ予測モードでは、残差情報の垂直方向の相関が強くなる。即ち、残差情報の高周波数成分は、水平方向に多くなる。従って、0番のイントラ予測モードでは、HL成分が多くなることが多い。

また、予測方向が水平方向である1番のイントラ予測モードでは、残差情報の水平方向の相関が強くなる。即ち、残差情報の高周波数成分は、垂直方向に多くなる。従って、1番のイントラ予測モードでは、LH成分が多くなることが多い。

さらに、予測方向が斜め方向である3乃至8番のイントラ予測モードでは、残差情報の斜め方向の相関が強くなる。即ち、残差情報の高周波数成分は、斜め方向に多くなる。従って、3乃至8番のイントラ予測モードでは、HH成分が多くなることが多い。

ここで、可逆符号化対象として量子化後の変換係数の0を連続させるためには、DWT後の値が多いと推定される成分の量子化後の変換係数から、DWT後の値がより少なくなると推定される順に各成分の量子化後の変換係数を可逆符号化対象とする必要がある。

従って、可逆符号化部６６では、最適予測モードが0番のイントラ予測モードである場合、例えば、LL成分、HL成分、HH成分、LH成分の順に可逆符号化対象とする。また、最適予測モードが1番のイントラ予測モードである場合、例えば、LL成分、LH成分、HH成分、HL成分の順に可逆符号化対象とする。さらに、最適予測モードが3乃至8番のイントラ予測モードである場合、例えば、LL成分、HH成分、HL成分、LH成分の順に可逆符号化対象とする。なお、最適予測モードが2番のイントラ予測モードである場合には、予め決められた所定の順に、各成分が可逆符号化対象とされる。

また、LH成分、HL成分、およびHH成分内においても、DWT後の値が多いと推定されるブロックから、より少なくなると推定される順に各ブロックが可逆符号化対象とされる。具体的には、LH成分は、水平方向の相関が強いので、LH成分内では、水平方向に並ぶ順に各ブロックが可逆符号化対象とされる。また、HL成分は、垂直方向の相関が強いので、HL成分内では、垂直方向に並ぶ順に各ブロックが可逆符号化対象とされる。さらに、HH成分では、斜め方向の相関が強いので、HH成分内では、斜め方向に並ぶ順に各ブロックが可逆符号化対象とされる。

なお、LL成分内においては、予め決められた所定の順に、各ブロックが可逆符号化対象とされる。LL成分内の順序は、イントラ予測モードごとに異なるようにしてもよい。

［画像符号化装置の符号化処理の説明］
図７は、図１の画像符号化装置５１の符号化処理を説明するフローチャートである。

ステップＳ１１において、A/D変換部６１は、入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ６２に供給する。ステップＳ１２において、画面並べ替えバッファ６２は、A/D変換部６１より供給された画像を記憶し、記憶している表示の順番のフレームの画像の、符号化のための順番への並べ替えを行い、演算部６３に供給する。

ステップＳ１３において、演算部６３は、画面並べ替えバッファ６２から読み出された画像から、必要に応じて、予測画像選択部７６から供給される予測画像を減算し、残差情報を求める。そして、演算部６３は、その残差情報を直交変換部６４に出力する。

ステップＳ１４において、直交変換部６４は、演算部６３から供給される残差情報に対して直交変換処理を行う。具体的には、直交変換部６４のインター予測用直交変換部６４Ａは、予測画像選択部７６からインター予測モード情報が供給される場合、演算部６３からの残差情報に対して直交変換処理を行い、その結果得られる係数を変換係数として量子化部６５に供給する。

また、イントラ予測用直交変換部６４Ｂは、予測画像選択部７６からイントラ予測モード情報が供給される場合、演算部６３からの残差情報に対して直交変換処理を行う。この直交変換処理の詳細は、後述する図８を参照して説明する。

ステップＳ１５において、量子化部６５は、直交変換処理の結果得られる変換係数を量子化する。この量子化に際しては、後述するステップＳ３０の処理で説明されるように、レートが制御される。

以上のようにして量子化された変換係数は、次のようにして局部的に復号される。即ち、ステップＳ１６において、逆量子化部６８は、量子化部６５により量子化された変換係数を、量子化部６５の特性に対応する特性で逆量子化する。ステップＳ１７において、逆直交変換部６９は、逆量子化部６８により逆量子化された変換係数に対して、直交変換部６４による直交変換処理に対応する逆直交変換処理を行う。

具体的には、逆直交変換部６９のインター予測用逆直交変換部６９Ａは、予測画像選択部７６からインター予測モード情報が供給される場合、逆量子化部６８から供給される変換係数に対して逆直交変換処理を行う。インター予測用逆直交変換部６９Ａは、その結果得られる残差情報を演算部７０に供給する。

また、イントラ予測用逆直交変換部６９Ｂは、予測画像選択部７６からイントラ予測モード情報が供給される場合、逆量子化部６８から供給される変換係数に対して逆直交変換処理を行う。この逆直交変換処理の詳細は、後述する図９を参照して説明する。

ステップＳ１８において、演算部７０は、逆直交変換部６９から供給される残差情報を予測画像選択部７６から供給される予測画像に加算し、局部的に復号された画像を生成する。そして、演算部７０は、局部的に復号された画像を演算部７０およびフレームメモリ７２に供給する。

ステップＳ１９において、デブロックフィルタ７１は、演算部７０から供給される局部的に復号された画像をフィルタリングすることにより、ブロック歪みを除去する。そして、デブロックフィルタ７１は、その結果得られる画像をフレームメモリ７２に供給する。

ステップＳ２０において、フレームメモリ７２は、デブロックフィルタ７１から供給される画像、および、演算部７０から供給されるデブロックフィルタ７１によりフィルタリングされていない画像を、記憶する。

ステップＳ２１において、イントラ予測部７４は、イントラ予測処理を行う。具体的には、イントラ予測部７４は、画面並べ替えバッファ６２から読み出された画像と、スイッチ７３を介してフレームメモリ７２から供給された参照画像とに基づいて、候補となる全てのイントラ予測モードのイントラ予測処理を行い、予測画像を生成する。

ステップＳ２２において、イントラ予測部７４は、候補となる全てのイントラ予測モードのコスト関数値を算出するイントラ予測コスト関数値算出処理を行う。このイントラ予測コスト関数値算出処理の詳細は、後述する図１０を参照して説明する。

ステップＳ２３において、動き予測・補償部７５は、動き予測・補償処理を行う。具体的には、動き予測・補償部７５は、画面並べ替えバッファ６２から供給される画像とスイッチ７３を介して供給される参照画像とに基づいて、候補となる全てのインター予測モードの動き予測行い、動きベクトルを生成する。そして、動き予測・補償部７５は、動きベクトルに基づいて参照画像に対して補償処理を行い、予測画像を生成する。

ステップＳ２４において、動き予測・補償部７５は、候補となる全てのインター予測モードのコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、動き予測・補償部７５は、インター予測モード情報、最適インター予測モードで生成された予測画像、および、対応するコスト関数値を予測画像選択部７６に供給する。

ステップＳ２５において、予測画像選択部７６は、イントラ予測部７４から供給される最適イントラ予測モードのコスト関数値が、動き予測・補償部７５から供給される最適インター予測モードのコスト関数値より大きいかどうかを判定する。

ステップＳ２５で最適イントラ予測モードのコスト関数値が最適インター予測モードのコスト関数値より大きいと判定された場合、処理はステップＳ２６に進む。ステップＳ２６において、予測画像選択部７６は、最適イントラ予測モードを最適予測モードに決定し、最適イントラ予測モードの予測画像を選択する。そして、予測画像選択部７６は、最適イントラ予測モードの予測画像を、演算部６３および演算部７０に供給する。この予測画像は、上述したステップＳ１３およびＳ１８の処理に利用される。また、予測画像選択部７６は、イントラ予測モード情報を、直交変換部６４と逆直交変換部６９に供給し、最適イントラ予測モードの予測画像の選択をイントラ予測部７４に通知する。イントラ予測部７４は、この通知に応じて、イントラ予測モード情報を可逆符号化部６６に供給する。そして、処理はステップＳ２８に進む。

一方、ステップＳ２５で最適イントラ予測モードのコスト関数値が最適インター予測モードのコスト関数値より大きくはないと判定された場合、処理はステップＳ２７に進む。ステップＳ２７において、予測画像選択部７６は、最適インター予測モードを最適予測モードに決定し、最適インター予測モードの予測画像を選択する。そして、予測画像選択部７６は、最適インター予測モードの予測画像を、演算部６３および演算部７０に供給する。この予測画像は、上述したステップＳ１３およびＳ１８の処理に利用される。また、予測画像選択部７６は、インター予測モード情報を、直交変換部６４と逆直交変換部６９に供給し、インター予測モードの予測画像の選択を動き予測・補償部７５に通知する。動き予測・補償部７５は、この通知に応じて、インター予測モード情報、対応する動きベクトルの情報などを、可逆符号化部６６に供給する。そして、処理はステップＳ２８に進む。

ステップＳ２８において、可逆符号化部６６は、量子化部６５から供給される量子化された変換係数を可逆符号化して圧縮画像を得る。なお、可逆符号化対象の変換係数の最適予測モードが最適イントラ予測モードである場合、可逆符号化は、図６で説明したような最適イントラ予測モードに応じた順序で行われる。また、可逆符号化部６６は、イントラ予測モード情報、インター予測モード情報、動きベクトルの情報などを可逆符号化し、その結果得られる情報を圧縮画像に付加されるヘッダ情報とする。可逆符号化部６６は、可逆符号化の結果得られるヘッダ情報が付加された圧縮画像を圧縮情報として蓄積バッファ６７に供給する。

ステップＳ２９において、蓄積バッファ６７は、可逆符号化部６６から供給される圧縮情報を蓄積する。蓄積バッファ６７に蓄積された圧縮情報は適宜読み出され、伝送路を介して復号側に伝送される。

ステップＳ３０において、レート制御部７７は、蓄積バッファ６７に蓄積された圧縮情報に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部６５の量子化動作のレートを制御する。

図８は、図７のステップＳ１４のイントラ予測用直交変換部６４Ｂによる直交変換処理を説明するフローチャートである。

ステップＳ４１において、イントラ予測用直交変換部６４ＢのDWT部９１（図３）は、演算部６３（図１）から供給される残差情報のサイズが、KLT部９２−０乃至９２−８で処理可能なサイズであるかどうかを判定する。

ステップＳ４１で、残差情報のサイズがKLT部９２−０乃至９２−８で処理可能なサイズではないと判定された場合、ステップＳ４２において、DWT部９１は、残差情報に対してDWTを行う。

ステップＳ４３において、DWT部９１は、ステップＳ４２の処理の結果得られる低周波数成分のサイズが、KLT部９２−０乃至９２−８で処理可能なサイズであるかどうかを判定する。ステップＳ４３で、DWTの結果得られる低周波数成分のサイズが、KLT部９２−０乃至９２−８で処理可能なサイズではないと判定された場合、ステップＳ４４において、DWT部９１は、ステップＳ４２の処理の結果得られる低周波数成分に対してDWTを行う。そして、処理はステップＳ４３に戻り、低周波数成分のサイズがKLT部９２−０乃至９２−８で処理可能なサイズになるまで、ステップＳ４３およびＳ４４の処理が繰り返される。

ステップＳ４３で、DWTの結果得られる低周波数成分のサイズが、KLT部９２−０乃至９２−８で処理可能なサイズであると判定された場合、DWT部９１は、DWTの結果得られる低周波数成分をKLT部９２−０乃至９２−８に供給し、高周波数成分をセレクタ９３に供給する。

そして、ステップＳ４５において、KLT部９２−０乃至９２−８は、それぞれ、対応するイントラ予測モードのKLTの基底で、低周波数成分に対して分離型のKLTを行う。

ステップＳ４６において、セレクタ９３は、イントラ予測モード情報に基づいて、KLT部９２−０乃至９２−８から供給される係数のうちの、最適イントラ予測モードに対応するKLT部９２−０乃至９２−８から供給される係数を選択し、量子化部６５（図１）に出力する。

ステップＳ４７において、セレクタ９３は、DWT部９１から供給される高周波数成分を量子化部６５に出力する。

一方、ステップＳ４１で残差情報のサイズが、KLT部９２−０乃至９２−８で処理可能なサイズであると判定された場合、DWT部９１は、残差情報をそのままKLT部９２−０乃至９２−８に供給する。そして、ステップＳ４８において、KLT部９２−０乃至９２−８は、それぞれ、対応するイントラ予測モードのKLTの基底で、残差情報に対して分離型のKLTを行う。

ステップＳ４９において、セレクタ９３は、イントラ予測モード情報に基づいて、KLT部９２−０乃至９２−８から供給される係数のうちの、最適イントラ予測モードに対応するKLT部９２−０乃至９２−８から供給される係数を選択し、量子化部６５に出力する。

図９は、図７のステップＳ１７のイントラ予測用逆直交変換部６９Ｂの逆直交変換処理を説明するフローチャートである。

ステップＳ６１において、イントラ予測用逆直交変換部６９Ｂの逆KLT部１０１−０乃至１０１−８（図５）は、それぞれ、対応するイントラ予測モードのKLTの基底で、逆量子化部６８（図１）から供給される変換係数のうちの係数に対して分離型の逆KLTを行う。

ステップＳ６２において、セレクタ１０２は、予測画像選択部７６からのイントラ予測モード情報に基づいて、逆KLT部１０１−０乃至１０１−８から供給される逆KLT後の成分のうちの、最適イントラ予測モードに対応する逆KLT部１０１−０乃至１０１−８から供給される逆KLT後の成分を選択する。そして、セレクタ１０２は、選択された逆KLT後の成分を逆DWT部１０３に供給する。

ステップＳ６３において、逆DWT部１０３は、セレクタ１０２から供給される逆KLT後の成分のサイズがブロックサイズであるかどうかを判定する。ステップＳ６３で逆KLT後の成分のサイズがブロックサイズではないと判定された場合、処理はステップＳ６４に進む。ステップＳ６４において、逆DWT部１０３は、逆KLT後の成分と逆量子化部６８から供給される変換係数のうちの高周波数成分に対して逆DWTを行う。

ステップＳ６５において、逆DWT部１０３は、ステップＳ６４の処理の結果得られる逆DWT後の成分のサイズがブロックサイズであるかどうかを判定する。ステップＳ６５で、逆DWT後の成分のサイズがブロックサイズではないと判定された場合、処理はステップＳ６４に戻り、逆DWT後の成分のサイズがブロックサイズになるまで、ステップＳ６４およびＳ６５の処理が繰り返される。

ステップＳ６５で逆DWT後の成分のサイズがブロックサイズであると判定された場合、処理はステップＳ６６に進む。

一方、ステップＳ６３で逆KLT後の成分のサイズがブロックサイズであると判定された場合、処理はステップＳ６６に進む。

ステップＳ６６において、逆DWT部１０３は、逆DWT後の成分または逆KLT後の成分を残差情報として演算部７０（図１）に供給する。

図１０は、図７のステップＳ２２のイントラ予測コスト関数値算出処理を説明するフローチャートである。

ステップＳ８１において、イントラ予測部７４は、まだ処理の対象のブロックのブロックサイズ（以下、対象ブロックサイズという）に設定されていない、候補となるブロックサイズを対象ブロックサイズに設定する。ここで、候補となるブロックサイズは、4×4画素と8×8画素である。

ステップＳ８２において、イントラ予測部７４は、対象ブロックサイズのブロックIDXのうちの、また処理の対象のブロックのブロックIDX（以下、対象ブロックIDXという）に設定されていないブロックIDXを対象ブロックIDXに設定する。なお、ブロックIDXとは、ブロックサイズに応じてマクロブロックをブロックに分割したときの各ブロックを特定する情報である。例えば、マクロブロックが128×128であり、ブロックサイズが8×8である場合、ブロックIDXは、0乃至15の16個となる。

ステップＳ８３において、イントラ予測部７４は、イントラ予測モードの番号modeを0に設定する。

ステップＳ８４において、イントラ予測部７４は、番号modeのイントラ予測モードのコスト関数値を算出するコスト関数値算出処理を行う。このコスト関数値算出処理の詳細は、後述する図１１で説明する。

ステップＳ８５において、イントラ予測部７４は、番号modeが、候補となるイントラ予測モードの数9より小さいかどうかを判定する。ステップＳ８５で番号modeが9より小さいと判定された場合、即ちまだ対象ブロックIDXのブロックの全イントラ予測モードのコスト関数値が算出されていない場合、処理はステップＳ８６に進む。

ステップＳ８６において、イントラ予測部７４は、番号modeを1だけインクリメントして、処理をステップＳ８４に戻し、番号modeが9以上になるまで、ステップＳ８４乃至Ｓ８６の処理を繰り返す。

ステップＳ８５で番号modeが9より小さくはないと判定された場合、即ち、対象ブロックIDXのブロックの全イントラ予測モードのコスト関数値が算出された場合、処理はステップＳ８７に進む。ステップＳ８７において、イントラ予測部７４は、対象ブロックIDXのブロックの全イントラ予測モードのコスト関数値のうちの最小値に対応するイントラ予測モードを、対象ブロックIDXのブロックの最適イントラ予測モードに決定する。

ステップＳ８８において、イントラ予測部７４は、対象ブロックサイズの全てのブロックIDXが対象ブロックIDXとされたかどうかを判定する。ステップＳ８８でまだ対象ブロックサイズの全てのブロックIDXが対象ブロックIDXとされていないと判定された場合、処理はステップＳ８２に戻る。そして、対象ブロックサイズの全てのブロックIDXが対象ブロックIDXとされるまで、ステップＳ８２乃至Ｓ８８の処理が繰り返される。

ステップＳ８８で対象ブロックサイズの全てのブロックIDXが対象ブロックIDXとされた場合、ステップＳ８９において、イントラ予測部７４は、全てのブロックサイズが対象ブロックサイズとされたかどうかを判定する。

ステップＳ８９で全てのブロックサイズがまだ対象ブロックサイズとされたと判定されていない場合、処理はステップＳ８１に戻り、全てのブロックサイズが対象ブロックサイズとされるまで、ステップＳ８１乃至Ｓ８９の処理が繰り返される。

ステップＳ８９で全てのブロックサイズが対象ブロックサイズとされたと判定された場合、即ち、全ブロックサイズの全ブロックの最適イントラ予測モードが決定された場合、処理はステップＳ９０に進む。

ステップＳ９０において、イントラ予測部７４は、全ブロックサイズの全ブロックの最適イントラ予測モードのコスト関数値に基づいて、マクロブロック単位でコスト関数値が最小となるイントラ予測モードを、最終的な最適イントラ予測モードに決定する。そして、イントラ予測部７４は、その最適イントラ予測モードを示すイントラ予測モード情報、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を予測画像選択部７６に供給する。そして、処理は図７のステップＳ２２に戻り、ステップＳ２３に進む。

図１１は、図１０のステップＳ８４のコスト関数値算出処理を説明するフローチャートである。

ステップＳ１１１において、イントラ予測部７４は、画面並べ替えバッファ６２から供給される対象ブロックIDXに対応する画像から、対象ブロックIDXに対応する番号modeのイントラ予測モードの予測画像を減算し、残差情報を求める。

ステップＳ１１２において、イントラ予測部７４は、残差情報に対して図８の直交変換処理を行う。

ステップＳ１１３において、イントラ予測部７４は、直交変換処理の結果得られる変換係数を量子化する。

ステップＳ１１４において、イントラ予測部７４は、量子化された変換係数のうちの係数を所定の順序で可逆符号化する。

ステップＳ１１５において、イントラ予測部７４は、量子化された変換係数のうちの各高周波数成分（例えば、LH成分、HL成分、HH成分）を、番号modeのイントラ予測モードに応じた順序で可逆符号化する。なお、ステップＳ１１２の直交変換処理においてDWTが行われていない場合には、ステップＳ１１５の処理は省略される。

ステップＳ１１６において、イントラ予測部７４は、ステップＳ１１３で得られた量子化された変換係数を逆量子化する。

ステップＳ１１７において、イントラ予測部７４は、ステップＳ１１６で逆量子化された変換係数に対して、図９の逆直交変換処理を行う。

ステップＳ１１８において、イントラ予測部７４は、ステップＳ１１７の処理の結果得られる残差情報を、対象ブロックIDXに対応する番号modeのイントラ予測モードの予測画像と加算する。

ステップＳ１１９において、イントラ予測部７４は、ステップＳ１１８の処理の結果得られる復号画像、画面並べ替えバッファ６２から供給される画像、およびステップＳ１１５の処理の発生符号量を用いて、上述した式（１）によりコスト関数値を算出する。このコスト関数値は、対象ブロックIDXのブロックの番号modeのイントラ予測モードのコスト関数値とされる。

以上のように、画像符号化装置５１では、イントラ予測用直交変換部６４Ｂが、分散型のKLTより演算量の少ないDWTを、分散型のKLTより前に行い、DWTの結果得られる低周波数成分に対してのみ分散型のKLTを行う。その結果、イントラ予測時の直交変換処理の演算量を削減し、ブロックサイズが大きい場合であっても、その演算量を少なくすることができる。また、逆直交変換処理時に、低周波数成分に対してのみ分散型の逆KLTを行い、逆KLTより演算量の少ない逆DWTを行えばよいので、逆直交変換処理の演算量も同様に削減することができる。

現在のAVC方式では、イントラ予測の最大ブロックサイズは16x16であるが、次世代規格においては、16x16 を超えるブロックサイズが採用される可能性が高い。従って、イントラ予測時の直交変換処理の演算量を削減することは、非常に有用である。直交変換処理の演算量の削減により、イントラ予測用直交変換部６４Ｂがハードウェアで実現される場合、LSIの回路規模を削減し、製造コストを削減することができる。また、イントラ予測用直交変換部６４Ｂがソフトウェアで実現される場合には、処理量を削減し、実時間での画像の再生をより確実に行うことができる。

[画像復号装置の構成例]
図１２は、本発明を適用した画像復号装置の第１実施の形態の構成例を示すブロック図である。

画像復号装置１５１は、蓄積バッファ１６１、可逆復号部１６２、逆量子化部１６３、逆直交変換部１６４、演算部１６５、デブロックフィルタ１６６、画面並べ替えバッファ１６７、D/A変換部１６８、フレームメモリ１６９、スイッチ１７０、イントラ予測部１７１、動き補償部１７２、およびスイッチ１７３により構成されている。

蓄積バッファ１６１は、画像符号化装置５１より伝送されてきた圧縮情報を蓄積する。可逆復号部１６２（復号手段）は、蓄積バッファ１６１から圧縮情報を読み出して取得し、その圧縮情報を図１の可逆符号化部６６の可逆符号化方式に対応する方式で可逆復号する。

具体的には、可逆復号部１６２は、圧縮情報のうちのヘッダ情報を可逆復号し、イントラ予測モード情報、インター予測モード情報、動きベクトル情報などを取得する。また、可逆復号部１６２は、圧縮情報のうちの圧縮画像を可逆復号する。なお、イントラ予測モード情報が取得された場合、可逆復号部１６２は、そのイントラ予測モード情報が示す最適イントラ予測モードに応じた順序で、圧縮画像を可逆復号する。

また、可逆復号部１６２は、圧縮画像を可逆復号した結果得られる量子化された変換係数を逆量子化部１６３に供給する。可逆復号部１６２は、可逆復号の結果得られるイントラ予測モード情報を逆直交変換部１６４とイントラ予測部１７１に供給し、インター予測モード情報、動きベクトル情報などを動き補償部１７２に供給する。また、可逆復号部１６２は、インター予測モード情報を逆直交変換部１６４に供給する。

逆量子化部１６３は、図１の逆量子化部６８と同様に構成され、可逆復号部１６から供給される量子化された変換係数を、図１の逆量子化部６５の量子化方式に対応する方式で逆量子化する。逆量子化部１６３は、逆量子化の結果得られる変換係数を逆直交変換部１６４に供給する。

逆直交変換部１６４は、図１の逆直交変換部６９と同様に構成される。逆直交変換部１６４は、可逆復号部１６２から供給されるインター予測モード情報またはイントラ予測モード情報に応じて、逆量子化部１６３から供給される変換係数に対して逆直交変換処理を行う。逆直交変換部１６４は、逆直交変換処理の結果得られる残差情報を演算部１６５に供給する。

演算部１６５は、逆直交変換部１６４から供給される残差情報を、必要に応じて、スイッチ１７３から供給される予測画像と加算し、復号する。演算部１６５は、復号された画像をデブロックフィルタ１６６に供給する。

デブロックフィルタ１６６は、演算部１６５から供給される復号された画像をフィルタリングすることによりブロック歪を除去する。デブロックフィルタ１６６は、その結果得られる画像をフレームメモリ１６９に供給し、蓄積させるとともに、画面並べ替えバッファ１６７に出力する。

画面並べ替えバッファ１６７は、デブロックフィルタ１６６から供給される画像の並べ替えを行う。具体的には、図１の画面並べ替えバッファ６２により符号化するための順番に並べ替えられた画像の順番が、元の表示の順番に並べ替えられる。D/A変換部１６８は、画面並べ替えバッファ１６７により並べ替えられた画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。

スイッチ１７０は、フレームメモリ１６９に記憶されている画像を参照画像として読み出し、動き補償部１７２に出力するとともに、イントラ予測部１７１に供給する。

イントラ予測部１７１は、可逆復号部１６２から供給されるイントラ予測モード情報に基づいて、そのイントラ予測モード情報が示す最適イントラ予測モードのイントラ予測処理を行い、予測画像を生成する。イントラ予測部１７１は、予測画像をスイッチ１７３に出力する。

動き補償部１７２は、可逆復号部１６２から供給されるインター予測モード情報、動きベクトル情報などに基づいて、スイッチ１７０を介して供給される参照画像に動き補償処理を行い、予測画像を生成する。動き補償部１７２は、予測画像をスイッチ１７３に供給する。

スイッチ１７３は、動き補償部１７２またはイントラ予測部１７１により生成された予測画像を選択し、演算部１６５に供給する。

［画像復号装置の処理の説明］
図１３は、画像復号装置１５１による復号処理を説明するフローチャートである。

ステップＳ１３１において、蓄積バッファ１６１は、画像符号化装置５１より伝送されてきた圧縮情報を蓄積する。ステップＳ１３２において、可逆復号部１６２は、蓄積バッファ１６１から圧縮情報を読み出し、その圧縮情報に対して可逆復号処理を行う。イントラ予測モード情報が取得された場合の可逆復号処理の詳細は、後述する図１４を参照して説明する。

また、可逆復号部１６２は、可逆復号処理の結果得られる量子化された変換係数を逆量子化部１６３に供給する。可逆復号部１６２は、可逆復号処理の結果得られるイントラ予測モード情報を逆直交変換部１６４とイントラ予測部１７１に供給し、インター予測モード情報、動きベクトル情報などを動き補償部１７２に供給する。また、可逆復号部１６２は、インター予測モード情報を逆直交変換部１６４に供給する。

ステップＳ１３３において、逆量子化部１６３は、可逆復号部１６２から供給される量子化された変換係数を、図１の量子化部６５の特性に対応する特性で逆量子化する。逆量子化部１６３は、逆量子化の結果得られる変換係数を逆直交変換部１６４に供給する。

ステップＳ１３４において、逆直交変換部１６４は、逆量子化部１６３から供給される変換係数に対して、図７のステップＳ１７の逆直交変換処理と同様の逆直交変換処理を行う。逆直交変換部１６４は、逆直交変換処理の結果得られる残差情報を、演算部１６５に供給する。

ステップＳ１３５において、演算部１６５は、後述するステップＳ１４１の処理により入力される予測画像を、必要に応じて、逆直交変換部１６４から供給される残差情報と加算し、復号する。演算部１６５は、復号された画像をデブロックフィルタ１６６に供給する。

ステップＳ１３６において、デブロックフィルタ１６６は、演算部１６５から供給される復号された画像をフィルタリングすることにより、ブロック歪みを除去する。デブロックフィルタ１６６は、その結果得られる画像をフレームメモリ１６９と画面並べ替えバッファ１６７に供給する。

ステップＳ１３７において、フレームメモリ１６９は、デブロックフィルタ１６６から供給される画像を記憶する。

ステップＳ１３８において、可逆復号部１６２は、圧縮情報に含まれる圧縮画像がインター予測された画像であるかどうか、即ち、インター予測モード情報が取得されたかどうかを判定する。

ステップＳ１３８で圧縮情報に含まれる圧縮画像がインター予測された画像であると判定された場合、可逆復号部１６２は、インター予測モード情報、動きベクトル情報などを動き補償部１７２に供給する。

そして、ステップＳ１３９において、動き補償部１７２は、可逆復号部１６２から供給されるインター予測モード情報、動きベクトル情報などに基づいて、スイッチ１７０を介して供給される参照画像に動き補償処理を行い、予測画像を生成する。動き補償部１７２は、予測画像をスイッチ１７３に供給する。

一方、ステップＳ１３８で圧縮情報に含まれる圧縮画像がインター予測された画像ではないと判定された場合、即ち、イントラ予測モード情報が取得されたと判定された場合、可逆復号部１６２は、イントラ予測モード情報をイントラ予測部１７１に供給する。

そして、ステップＳ１４０において、イントラ予測部１７１は、可逆復号部１６２から供給されるイントラ予測モード情報に基づいて、そのイントラ予測モード情報が示す最適イントラ予測モードのイントラ予測処理を行い、予測画像を生成する。イントラ予測部１７１は、予測画像をスイッチ１７３に出力する。

ステップＳ１４１において、スイッチ１７３は、動き補償部１７２またはイントラ予測部１７１から供給される予測画像を選択し、演算部１６５に出力する。この予測画像は、上述したように、ステップＳ１３５において逆直交変換部１６４の出力と加算される。

ステップＳ１４２において、画面並べ替えバッファ１６７は、デブロックフィルタ１６６から供給される画像の並べ替えを行う。

ステップＳ１４３において、D/A変換部１６８は、画面並べ替えバッファ１６７により並べ替えられた画像をD/A変換して、図示せぬディスプレイに出力し、表示させる。

図１４は、図１３のステップＳ１３２における、イントラ予測モード情報が取得された場合の可逆復号処理を説明するフローチャートである。

ステップＳ１５１において、可逆復号部１６２は、蓄積バッファ１６１から供給される圧縮情報のうちの、量子化され、可逆符号化された係数を可逆復号し、逆量子化部１６３に供給する。

ステップＳ１５２において、可逆復号部１６２は、圧縮情報のうちの、量子化され、可逆復号された各高周波数成分を、イントラ予測情報が示す最適イントラ予測モードに応じた順序で可逆復号し、逆量子化部１６３に供給する。なお、圧縮情報に高周波数成分が含まれていない場合には、ステップＳ１５２の処理は省略される。

以上のように、画像復号装置１５１は、符号化装置５１により得られた圧縮情報を復号するので、低周波数成分に対してのみ分散型の逆KLTを行い、逆KLTより演算量の少ない逆DWTを行うことにより、逆直交変換処理を行うことができる。その結果、逆直交変換処理の演算量を削減し、ブロックサイズが大きい場合であっても、その演算量を少なくすることができる。

＜第２実施の形態＞
[画像符号化装置の構成例]
図１５は、本発明を適用した画像符号化装置の第２実施の形態の構成例を示すブロック図である。

図１５に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１５の画像符号化装置２００の構成は、主に、直交変換部６４の代わりに直交変換部２０１が設けられている点、逆直交変換部６９の代わりに逆直交変換部２０２が設けられている点が図１の構成と異なる。画像符号化装置２００は、イントラ予測用の直交変換処理において、全てのイントラ予測モードで分離型のKLTを行うのではなく、予測方向が斜め方向以外のイントラ予測モードでのみ分離型のKLTを行い、予測方向が斜め方向のイントラ予測モードでは非分離型のKLTを行う。

具体的には、直交変換部２０１は、インター予測用直交変換部６４Ａとイントラ予測用直交変換部２０１Ｂにより構成される。イントラ予測用直交変換部２０１Ｂは、予測画像選択部７６からイントラ予測モード情報が供給される場合、演算部６３からの残差情報に対して直交変換処理を行う。具体的には、イントラ予測用直交変換部２０１Ｂは、残差情報に対してDWTを行い、低周波数成分および高周波数成分を抽出する。なお、イントラ予測用直交変換部２０１Ｂは、イントラ予測モードの予測方向が斜め方向であるか、斜め方向以外の方向であるかによって、DWTの回数を異なるようにすることができる。

イントラ予測用直交変換部２０１Ｂは、イントラ予測モードの予測方向が斜め方向である場合、低周波数成分に対して、イントラ予測モード情報ごとの非分離型のKLTを施す。一方、イントラ予測用直交変換部２０１Ｂは、イントラ予測モードの予測方向が斜め方向以外の方向である場合、低周波数成分に対して、イントラ予測モード情報ごとの分離型のKLTを施す。イントラ予測用直交変換部２０１Ｂは、イントラ予測モード情報が示す最適イントラ予測モードのKLTの結果得られる係数と高周波数成分を、変換係数として量子化部６５に供給する。

逆直交変換部２０２は、インター予測用逆直交変換部６９Ａとイントラ予測用逆直交変換部２０２Ｂにより構成される。イントラ予測用逆直交変換部２０２Ｂは、予測画像選択部７６からイントラ予測モード情報が供給される場合、逆量子化部６８から供給される変換係数に対して、逆直交変換処理を行う。具体的には、イントラ予測用逆直交変換部２０２Ｂは、イントラ予測モードの予測方向が斜め方向である場合、変換係数のうちの低周波数成分の係数に対してイントラ予測モードごとの非分離型の逆KLTを行う。一方、イントラ予測モードの予測方向が斜め方向以外の方向である場合、イントラ予測用逆直交変換部２０２Ｂは、変換係数のうちの低周波数成分の係数に対してイントラ予測モードごとの分離型の逆KLTを行う。

また、イントラ予測用逆直交変換部２０２Ｂは、イントラ予測モード情報が示す最適イントラ予測モードの逆KLTの結果得られる低周波数成分と、変換係数のうちの高周波数成分に対して、逆DWTを行い、残差情報を得る。なお、イントラ予測用逆直交変換部２０２Ｂは、最適イントラ予測モードの予測方向が斜め方向であるか、斜め方向以外の方向であるかによって、逆DWTの回数を異なるようにすることができる。イントラ予測用逆直交変換部２０２Ｂは、残差情報を演算部７０に供給する。

［イントラ予測用直交変換部の詳細構成例］
図１６は、図１５のイントラ予測用直交変換部２０１Ｂの詳細構成例を示すブロック図である。

図１６に示す構成のうち、図３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１６のイントラ予測用直交変換部２０１Ｂの構成は、主に、DWT部２２１が新たに設けられている点、KLT部９２−３乃至９２−８の代わりにKLT部２２２−３乃至２２２−８が設けられている点、セレクタ９３の代わりにセレクタ２２３が設けられている点が、図３の構成と異なる。

図１６のイントラ予測用直交変換部２０１Ｂにおいて、DWT部９１は、0乃至2番のイントラ予測モード用のDWT部であり、DWT部９１から出力される低周波数成分は、KLT部９２−０乃至９２−２にのみ供給される。

DWT部２２１は、3乃至8番のイントラ予測モード用のDWT部である。DWT部２２１（前直交変換手段）は、必要に応じて、演算部６３（図１５）から供給される残差情報に対してDWTを行い、低周波数成分と高周波成分を得る。なお、DWT部２２１によるDWTの回数は、DWT部９１によるDWTの回数と同一であってもよいし、異なっていてもよい。但し、KLT部２２２−３乃至２２２−８で行われる非分離型のKLTは、KLT部９２−０乃至９２−２で行われる分離型のKLTに比べて演算量が多いため、両方のKLT部で処理可能な演算量が同一である場合、DWT部２２１は、DWT部９１に比べてDWTの回数を多くする必要がある。

DWT部２２１は、低周波数成分をKLT部２２２−３乃至２２２−８に供給し、高周波数成分をセレクタ２２３に供給する。また、DWT部２２１は、KLTを行う必要がない場合、残差情報をそのままKLT部２２２−３乃至２２２−８に供給する。

KLT部２２２−３乃至２２２−８(後直交変換手段)は、それぞれ、3番乃至８番のイントラ予測モードのKLTの基底で、DWT部２２１から供給される低周波数成分または残差情報に対して非分離型のKLTを行う。なお、各イントラ予測モードのKLTの基底は、予め学習により求められた最適値である。KLT部２２２−３乃至２２２−８は、非分離型のKLTの結果得られる係数をセレクタ２２３に供給する。

セレクタ２２３には、予測画像選択部７６から供給されるイントラ予測モード情報が供給される。セレクタ２２３は、イントラ予測モード情報に基づいて、KLT部９２−０乃至９２−２およびKLT部２２２−３乃至２２２−８から供給される係数のうちの、最適イントラ予測モードに対応するKLT部９２−０乃至９２−２またはKLT部２２２−３乃至２２２−８から供給される係数を選択する。そして、セレクタ２２３は、選択された残差情報の係数を量子化部６５（図１５）に供給する。または、セレクタ２２３は、低周波数成分の係数と、最適イントラ予測モードに対応するDWT部９１またはDWT部２２１から供給される高周波数成分を変換係数として量子化部６５に供給する。

以上のように、イントラ予測用直交変換部２０１Ｂは、予測方向が斜め方向である3乃至8番のイントラ予測モードに対応するKLTとして非分離型のKLTを行うので、符号化効率を向上させることができる。

具体的には、分離型のKLTでは、水平方向と垂直方向に分離してKLTが行われるので、非分離型のKLTに比べてKLTの基底に制約が加わり、性能が劣化する。特に、イントラ予測モードの予測方向が斜め方向である場合、斜め方向の相関が強い残差情報が発生しやすいが、分離型のKLTでは、斜め方向の相関が考慮されにくいため、性能が劣化する。これに対して、イントラ予測用直交変換部２０１Ｂは、予測方向が斜め方向であるイントラ予測モードに対応するKLTとして非分離型のKLTを行うので、斜め方向の相関が考慮され、性能が向上する。その結果、符号化効率が向上する。

なお、予測方向が斜め方向以外の方向、即ち水平方向や垂直方向であるイントラ予測モード時には、水平方向や垂直方向に相関が強い残差情報が発生しやすいため、分離型のKLTであっても、十分な符号化効率を実現することができる。従って、イントラ予測用直交変換部２０１Ｂは、予測方向が斜め方向以外のイントラ予測モードである場合には、分離型のKLTを行うことにより演算量を削減する。

図１６のイントラ予測用直交変換部２０１Ｂでは、セレクタ２２３がKLT部９２−０乃至９２−２およびKLT部２２２−３乃至２２２−８の後に設けられたが、セレクタが、KLT部９２−０乃至９２−２およびKLT部２２２−３乃至２２２−８の前に設けられるようにしてもよい。この場合、DWT部９１またはDWT部２２１から出力される低周波数成分または残差情報が、最適イントラ予測モードに対応するKLT部９２−０乃至９２−２およびKLT部２２２−３乃至２２２−８のいずれかにのみ供給される。

［DWTの説明］
図１７は、DWT部２２１によるDWTを説明する図である。

図１７の例では、DWT部２２１は、DWTを3回行っている。図１７Ａ乃至図１７Ｃは、図４Ａ乃至図４Ｃと同一であるので、説明は省略する。

図１７Ｄに示すように、図１７Ｃに示すLLLL成分に対して水平方向および垂直方向にDWTが行われると、LLLL成分の水平成分および垂直成分が、さらに、それぞれ、高周波数成分と低周波数成分に分割される。その結果、LLLL成分は、水平成分および垂直成分が低周波数成分である成分（LLLLLL成分）、水平成分が高周波数成分で、垂直成分が低周波数成分である成分（LLLLHL成分）、水平成分が低周波数成分で、垂直成分が高周波数成分である成分（LLLLLH成分）、および、水平成分および垂直成分が高周波数成分である成分（LLLLHH成分）に分割される。なお、残差情報のLLLL成分以外の成分であるHL成分、LH成分、HH成分、LLHL成分、LLLH成分、LLHH成分は、そのままである。

例えば、DWT部９１が、図４に示したようにDWTを2回行う場合、DWT部２２１は、図１７に示すようにDWTを3回行い、KLTの対象となる低周波数成分のサイズをより小さくする。

[イントラ予測用逆直交変換部の詳細構成例]
図１８は、図１５のイントラ予測用逆直交変換部２０２Ｂの詳細構成例を示すブロック図である。

図１８に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１８のイントラ予測用逆直交変換部２０２Ｂの構成は、主に、逆KLT部１０１−３乃至１０１−８の代わりに逆KLT部２４１−３乃至２４１−８が設けられている点、セレクタ１０２の代わりにセレクタ２４２とセレクタ２４３が設けられている点、および逆DWT部２４４が新たに設けられている点が図５の構成と異なる。

図１８のイントラ予測用逆直交変換部２０２Ｂの逆KLT部２４１−３乃至２４１−８は、それぞれ、3番乃至8番のイントラ予測モードの逆KLTの基底で、図１５の逆量子化部６８から供給される変換係数のうちの係数に対して非分離型の逆KLTを行う。

セレクタ２４２には、予測画像選択部７６から供給されるイントラ予測モード情報が供給される。セレクタ２４２は、イントラ予測モード情報に基づいて、逆KLT部１０１−０乃至１０１−２から供給される逆KLT後の成分のうちの、最適イントラ予測モードに対応する逆KLT部１０１−０乃至１０１−２から供給される逆KLT後の成分を選択する。そして、セレクタ２４２は、選択された逆KLT後の成分を逆DWT部１０３に供給する。

セレクタ２４３には、予測画像選択部７６から供給されるイントラ予測モード情報が供給される。セレクタ２４３は、イントラ予測モード情報に基づいて、逆KLT部２４１−３乃至２４１−８から供給される逆KLT後の成分のうちの、最適イントラ予測モードに対応する逆KLT部２４１−３乃至２４１−８から供給される逆KLT後の成分を選択する。そして、セレクタ２４３は、選択された逆KLT後の成分を逆DWT部２４４に供給する。

イントラ予測用逆直交変換部２０２Ｂにおいて、逆DWT部１０３は、0乃至2番のイントラ予測モード用の逆DWT部であり、逆DWT部１０３には、逆KLT部１０１−０乃至１０１−２のいずれかにより得られた成分がセレクタ２４２を介して供給される。

逆DWT部２４４は、3乃至8番のイントラ予測モード用の逆DWT部である。逆DWT部２４４は、逆KLT部２４１−３乃至２４１−８からセレクタ２４３を介して供給される成分を残差情報として演算部７０（図１５）に供給する。または、逆DWT部２４４は、セレクタ２４３から供給される成分と、逆量子化部６８から供給される変換係数のうちの高周波数成分とに対して、DWT部２２１によるDWTに対応する逆DWTを行い、その結果得られる成分を残差情報として演算部７０に供給する。

なお、図１８のイントラ予測用逆直交変換部２０２Ｂでは、セレクタ２４２およびセレクタ２４３が逆KLT部１０１−０乃至１０１−２および逆KLT部２４１−３乃至２４１−８の後に設けられたが、セレクタが、逆KLT部１０１−０乃至１０１−２および逆KLT部２４１−３乃至２４１−８の前に設けられるようにしてもよい。この場合、逆量子化部６８から供給される変換係数のうちの係数が、最適イントラ予測モードに対応する逆KLT部１０１−０乃至１０１−２および逆KLT部２４１−３乃至２４１−８のいずれかにのみ供給される。

[画像符号化装置の処理の説明]
図１５の画像符号化装置２００の符号化処理は、図７のステップＳ１４におけるイントラ予測用直交変換部６４Ｂによる直交変換処理、および、ステップＳ１７におけるイントラ予測用逆直交変換部６９Ｂによる逆直交変換処理を除いて、図７の符号化処理と同様である。従って、この直交変換処理と逆直交変換処理についてのみ説明する。

図１９は、画像符号化装置２００のイントラ予測用直交変換部２０１Ｂによる直交変換処理を説明するフローチャートである。

図１９のステップＳ２４１乃至Ｓ２４６の処理は、ステップＳ２４５およびＳ２４６の処理をKLT部９２−０乃至９２−２が行うことを除いて、図８のステップＳ４１乃至Ｓ４４およびＳ４８と同様である。

ステップＳ２４５またはステップＳ２４６の処理後、ステップＳ２４７において、イントラ予測用直交変換部２０１ＢのDWT部２２１（図１６）は、演算部６３（図１５）から供給される残差情報のサイズが、KLT部２２２−３乃至２２２−８で処理可能なサイズであるかどうかを判定する。

ステップＳ２４７で、残差情報のサイズがKLT部２２２−３乃至２２２−８で処理可能なサイズではないと判定された場合、ステップＳ２４８において、DWT部２２１は、残差情報に対してDWTを行う。

ステップＳ２４９において、DWT部２２１は、ステップＳ２４８の処理の結果得られる低周波数成分のサイズが、KLT部２２２−３乃至２２２−８で処理可能なサイズであるかどうかを判定する。ステップＳ２４９で、DWTの結果得られる低周波数成分のサイズが、KLT部２２２−３乃至２２２−８で処理可能なサイズではないと判定された場合、ステップＳ２５０において、DWT部２２１は、ステップＳ２４８の処理の結果得られる低周波数成分に対してDWTを行う。そして、処理はステップＳ２４９に戻り、低周波数成分のサイズがKLT部２２２−３乃至２２２−８で処理可能なサイズになるまで、ステップＳ２４９およびＳ２５０の処理が繰り返される。

ステップＳ２４９で、DWTの結果得られる低周波数成分のサイズが、KLT部２２２−３乃至２２２−８で処理可能なサイズであると判定された場合、DWT部２２１は、DWTの結果得られる低周波数成分をKLT部２２２−３乃至２２２−８に供給し、高周波数成分をセレクタ２２３に供給する。

そして、ステップＳ２５２において、KLT部２２２−３乃至２２２−８は、それぞれ、対応するイントラ予測モードのKLTの基底で、低周波数成分に対して非分離型のKLTを行う。そして、処理はステップＳ２５３に進む。

一方、ステップＳ２４７で残差情報のサイズが、KLT部２２２−３乃至２２２−８で処理可能なサイズであると判定された場合、DWT部２２１は、残差情報をそのままKLT部２２２−３乃至２２２−８に供給する。そして、ステップＳ２５１において、KLT部２２２−３乃至２２２−８は、それぞれ、対応するイントラ予測モードのKLTの基底で、残差情報に対して非分離型のKLTを行い、処理をステップＳ２５３に進める。

ステップＳ２５３において、セレクタ２２３は、図８のステップＳ４６の処理と同様に、イントラ予測モード情報に基づいて、KLT部９２−０乃至９２−２およびKLT部２２２−３乃至２２２−８から供給される係数のうちの、最適イントラ予測モードに対応するKLT部９２−０乃至９２−２またはKLT部２２２−３乃至２２２−８から供給される係数を選択し、量子化部６５（図１５）に出力する。

ステップＳ２５４において、セレクタ２２３は、最適イントラ予測モードに対応するDWT部９１またはDWT部２２１がDWTを行ったかどうか、即ち最適イントラ予測モードに対応するDWT部９１またはDWT部２２１から高周波数成分が供給されたかどうかを判定する。

ステップＳ２５４で最適イントラ予測モードに対応するDWT部９１またはDWT部２２１がDWTを行ったと判定された場合、処理はステップＳ２５５に進む。ステップＳ２５５において、セレクタ２２３は、最適イントラ予測モードに対応するDWT部９１またはDWT部２２１から供給される高周波数成分をそのまま量子化部６５（図１５）に出力し、処理を終了する。

一方、ステップＳ２５４で最適イントラ予測モードに対応するDWT部９１またはDWT部２２１がDWTを行っていないと判定された場合、そのまま処理は終了する。

図２０は、画像符号化装置２００のイントラ予測用逆直交変換部２０２Ｂの逆直交変換処理を説明するフローチャートである。

ステップＳ２６１において、イントラ予測用逆直交変換部２０２Ｂの逆KLT部１０１−０乃至１０１−２（図１８）は、それぞれ、0番乃至2番のイントラ予測モードのKLTの基底で、逆量子化部６８（図１５）から供給される変換係数のうちの係数に対して分離型の逆KLTを行う。

ステップＳ２６２において、逆KLT部２４１−３乃至２４１−８は、それぞれ、3番乃至8番のイントラ予測モードのKLTの基底で、逆量子化部６８から供給される変換係数のうちの係数に対して非分離型の逆KLTを行う。

ステップＳ２６３において、セレクタ２４２およびセレクタ２４３は、それぞれ、予測画像選択部７６からのイントラ予測モード情報に基づいて、逆KLT部１０１−０乃至１０１−２または逆KLT部２４１−３乃至２４１−８から供給される逆KLT後の成分のうちの、最適イントラ予測モードに対応する逆KLT部１０１−０乃至１０１−２または逆KLT部２４１−３乃至２４１−８から供給される逆KLT後の成分を選択する。そして、セレクタ２４２およびセレクタ２４３は、選択された逆KLT後の成分を逆DWT部１０３または逆DWT部２４４に供給し、処理をステップＳ２６４に進める。以降の処理は、逆KLT後の成分が供給された逆DWT部１０３または逆DWT部２４４により行われる。

ステップＳ２６４において、逆DWT部１０３または逆DWT部２４４は、セレクタ２４２またはセレクタ２４３から供給される逆KLT後の成分のサイズがブロックサイズであるかどうかを判定する。ステップＳ２６４で、逆KLT後の成分のサイズがブロックサイズではないと判定された場合、処理はステップＳ２６５に進む。ステップＳ２６５において、逆DWT部１０３は、逆KLT後の成分と逆量子化部６８から供給される変換係数のうちの高周波数成分に対して逆DWTを行う。

ステップＳ２６６において、逆DWT部１０３または逆DWT部２４４は、ステップＳ２６４の処理の結果得られる逆DWT後の成分のサイズがブロックサイズであるかどうかを判定する。ステップＳ２６５で、逆DWT後の成分のサイズがブロックサイズではないと判定された場合、処理はステップＳ２６５に戻り、逆DWT後の成分のサイズがブロックサイズになるまで、ステップＳ２６５およびＳ２６６の処理が繰り返される。

ステップＳ２６６で逆DWT後の成分のサイズがブロックサイズであると判定された場合、処理はステップＳ２６７に進む。

一方、ステップＳ２６４で逆KLT後の成分のサイズがブロックサイズであると判定された場合、処理はステップＳ２６７に進む。

ステップＳ２６７において、逆DWT部１０３または逆DWT部２４４は、逆DWT後の成分または逆KLT後の成分を残差情報として演算部７０に供給する。

[画像復号装置の構成例]
図２１は、本発明を適用した画像復号装置の第２実施の形態の構成例を示すブロック図である。

図２１に示す構成のうち、図１２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２１の画像復号装置３００の構成は、主に、逆直交変換部１６４の代わりに逆直交変換部３０１が設けられている点が図１２の構成と異なる。

画像復号装置３００の逆直交変換部３０１は、図１５の逆直交変換部２０２と同様に構成される。逆直交変換部３０１は、可逆復号部１６２から供給されるインター予測モード情報またはイントラ予測モード情報に応じて、逆量子化部１６３から供給される変換係数に対して逆直交変換処理を行う。逆直交変換部３０１は、逆直交変換処理の結果得られる残差情報を演算部１６５に供給する。

[画像復号装置の処理の説明]
図２１の画像復号装置３００の復号処理は、図１３のステップＳ１３４の逆直交変換処理を除いて、図１３の復号処理と同様であるので、その逆直交変換処理以外の処理についての説明は省略する。画像復号装置３００の逆直交変換処理では、可逆復号部１６２からイントラ予測情報が供給される場合、図２０の逆直交変換処理と同様の逆直交変換処理が行われ、インター予測情報が供給される場合、逆量子化部１６３から供給される変換係数に対して逆直交変換が行われる。

なお、上述した説明では、3乃至8番のイントラ予測モードの予測方向は、斜め方向として扱われたが、5番および7番のイントラ予測モードの予測方向は垂直方向として、6番および8番のイントラ予測モードの予測方向は水平方向として、それぞれ扱われるようにしてもよい。

また、上述した説明では、イントラ予測のブロックサイズとして、4×４画素と8×8画素の2種類が扱われたが、16×16画素、32×32画素、64×64画素、128×128画素などの他のブロックサイズが扱われるようにしてもよい。但し、この場合、イントラ予測モードの数が異なるため、KLT部や逆KLT部の数も異なる。例えば、ブロックサイズが16×16画素である場合、イントラ予測モードの種類は4種類であり、KLT部や逆KLT部の数は4つとなる。

さらに、上述した説明では、KLTの前にDWTが行われたが、KLTの前に行われる直交変換は、KLTより演算量の少ない、例えば高速アルゴリズムが用意可能な直交変換であればどのようなものであってもよい。

また、本発明において、マクロブロックの大きさは任意である。本発明は、例えば図２２に示すようなあらゆる大きさのマクロブロックに対して適用することができる。例えば、本発明は、通常の16×16画素のようなマクロブロックだけでなく、32×32画素のような拡張されたマクロブロック（拡張マクロブロック）にも適用することができる。

＜第３実施の形態＞
[本発明を適用したコンピュータの説明]
次に、上述した符号化処理や復号処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。符号化処理や復号処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図２３は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としての記憶部４０８やROM（Read Only Memory）４０２に予め記録しておくことができる。

あるいはまた、プログラムは、リムーバブルメディア４１１に格納（記録）しておくことができる。このようなリムーバブルメディア４１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア４１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、上述したようなリムーバブルメディア４１１からドライブ４１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部４０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

コンピュータは、CPU(Central Processing Unit)４０１を内蔵しており、CPU４０１には、バス４０４を介して、入出力インタフェース４０５が接続されている。

CPU４０１は、入出力インタフェース４０５を介して、ユーザによって、入力部４０６が操作等されることにより指令が入力されると、それに従って、ROM４０２に格納されているプログラムを実行する。あるいは、CPU４０１は、記憶部４０８に格納されたプログラムを、RAM(Random Access Memory)４０３にロードして実行する。

これにより、CPU４０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU４０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース４０５を介して、出力部４０７から出力、あるいは、通信部４０９から送信、さらには、記憶部４０８に記録等させる。

なお、入力部４０６は、キーボードや、マウス、マイク等で構成される。また、出力部４０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

＜第４実施の形態＞
［テレビジョン受像機の構成例］
図２４は、本発明を適用した画像復号装置を用いるテレビジョン受像機の主な構成例を示すブロック図である。

図２４に示されるテレビジョン受像機５００は、地上波チューナ５１３、ビデオデコーダ５１５、映像信号処理回路５１８、グラフィック生成回路５１９、パネル駆動回路５２０、および表示パネル５２１を有する。

地上波チューナ５１３は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、映像信号を取得し、それをビデオデコーダ５１５に供給する。ビデオデコーダ５１５は、地上波チューナ５１３から供給された映像信号に対してデコード処理を施し、得られたデジタルのコンポーネント信号を映像信号処理回路５１８に供給する。

映像信号処理回路５１８は、ビデオデコーダ５１５から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路５１９に供給する。

グラフィック生成回路５１９は、表示パネル５２１に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路５２０に供給する。また、グラフィック生成回路５１９は、項目の選択などにユーザにより利用される画面を表示するための映像データ（グラフィック）を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路５２０に供給するといった処理も適宜行う。

パネル駆動回路５２０は、グラフィック生成回路５１９から供給されたデータに基づいて表示パネル５２１を駆動し、番組の映像や上述した各種の画面を表示パネル５２１に表示させる。

表示パネル５２１はLCD（Liquid Crystal Display）などよりなり、パネル駆動回路５２０による制御に従って番組の映像などを表示させる。

また、テレビジョン受像機５００は、音声A/D（Analog/Digital)変換回路５１４、音声信号処理回路５２２、エコーキャンセル／音声合成回路５２３、音声増幅回路５２４、およびスピーカ５２５も有する。

地上波チューナ５１３は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ５１３は、取得した音声信号を音声A/D変換回路５１４に供給する。

音声A/D変換回路５１４は、地上波チューナ５１３から供給された音声信号に対してA/D変換処理を施し、得られたデジタルの音声信号を音声信号処理回路５２２に供給する。

音声信号処理回路５２２は、音声A/D変換回路５１４から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル／音声合成回路５２３に供給する。

エコーキャンセル／音声合成回路５２３は、音声信号処理回路５２２から供給された音声データを音声増幅回路５２４に供給する。

音声増幅回路５２４は、エコーキャンセル／音声合成回路５２３から供給された音声データに対してD/A変換処理、増幅処理を施し、所定の音量に調整した後、音声をスピーカ５２５から出力させる。

さらに、テレビジョン受像機５００は、デジタルチューナ５１６およびMPEGデコーダ５１７も有する。

デジタルチューナ５１６は、デジタル放送（地上デジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）デジタル放送）の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをMPEGデコーダ５１７に供給する。

MPEGデコーダ５１７は、デジタルチューナ５１６から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象（視聴対象）になっている番組のデータを含むストリームを抽出する。MPEGデコーダ５１７は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路５２２に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路５１８に供給する。また、MPEGデコーダ５１７は、MPEG-TSから抽出したEPG（Electronic Program Guide)データを図示せぬ経路を介してCPU５３２に供給する。

テレビジョン受像機５００は、このように映像パケットをデコードするMPEGデコーダ５１７として、上述した画像復号装置１５１（３００）を用いる。したがって、MPEGデコーダ５１７では、画像復号装置１５１（３００）の場合と同様に、少ない演算量で逆直交変換処理を行うことができる。

MPEGデコーダ５１７から供給された映像データは、ビデオデコーダ５１５から供給された映像データの場合と同様に、映像信号処理回路５１８において所定の処理が施される。そして、所定の処理が施された映像データは、グラフィック生成回路５１９において、生成された映像データ等が適宜重畳され、パネル駆動回路５２０を介して表示パネル５２１に供給され、その画像が表示される。

MPEGデコーダ５１７から供給された音声データは、音声A/D変換回路５１４から供給された音声データの場合と同様に、音声信号処理回路５２２において所定の処理が施される。そして、所定の処理が施された音声データは、エコーキャンセル／音声合成回路５２３を介して音声増幅回路５２４に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ５２５から出力される。

また、テレビジョン受像機５００は、マイクロホン５２６、およびA/D変換回路５２７も有する。

A/D変換回路５２７は、音声会話用のものとしてテレビジョン受像機５００に設けられるマイクロホン５２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路５２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データをエコーキャンセル／音声合成回路５２３に供給する。

エコーキャンセル／音声合成回路５２３は、テレビジョン受像機５００のユーザ（ユーザＡ）の音声のデータがA/D変換回路５２７から供給されている場合、ユーザＡの音声データを対象としてエコーキャンセルを行う。そして、エコーキャンセル／音声合成回路５２３は、エコーキャンセルの後、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路５２４を介してスピーカ５２５より出力させる。

さらに、テレビジョン受像機５００は、音声コーデック５２８、内部バス５２９、SDRAM（Synchronous Dynamic Random Access Memory)５３０、フラッシュメモリ５３１、CPU５３２、USB（Universal Serial Bus) I/F５３３、およびネットワークI/F５３４も有する。

A/D変換回路５２７は、音声会話用のものとしてテレビジョン受像機５００に設けられるマイクロホン５２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路５２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データを音声コーデック５２８に供給する。

音声コーデック５２８は、A/D変換回路５２７から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内部バス５２９を介してネットワークI/F５３４に供給する。

ネットワークI/F５３４は、ネットワーク端子５３５に装着されたケーブルを介してネットワークに接続される。ネットワークI/F５３４は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック５２８から供給された音声データを送信する。また、ネットワークI/F５３４は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子５３５を介して受信し、それを、内部バス５２９を介して音声コーデック５２８に供給する。

音声コーデック５２８は、ネットワークI/F５３４から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル／音声合成回路５２３に供給する。

エコーキャンセル／音声合成回路５２３は、音声コーデック５２８から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路５２４を介してスピーカ５２５より出力させる。

SDRAM５３０は、CPU５３２が処理を行う上で必要な各種のデータを記憶する。

フラッシュメモリ５３１は、CPU５３２により実行されるプログラムを記憶する。フラッシュメモリ５３１に記憶されているプログラムは、テレビジョン受像機５００の起動時などの所定のタイミングでCPU５３２により読み出される。フラッシュメモリ５３１には、デジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。

例えば、フラッシュメモリ５３１には、CPU５３２の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ５３１は、例えばCPU５３２の制御により、そのMPEG-TSを、内部バス５２９を介してMPEGデコーダ５１７に供給する。

MPEGデコーダ５１７は、デジタルチューナ５１６から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。このようにテレビジョン受像機５００は、映像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ５１７を用いてデコードし、その映像を表示させたり、音声を出力させたりすることができる。

また、テレビジョン受像機５００は、リモートコントローラ５５１から送信される赤外線信号を受光する受光部５３７も有する。

受光部５３７は、リモートコントローラ５５１からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU５３２に出力する。

CPU５３２は、フラッシュメモリ５３１に記憶されているプログラムを実行し、受光部５３７から供給される制御コードなどに応じてテレビジョン受像機５００の全体の動作を制御する。CPU５３２とテレビジョン受像機５００の各部は、図示せぬ経路を介して接続されている。

USB I/F５３３は、USB端子５３６に装着されたUSBケーブルを介して接続される、テレビジョン受像機５００の外部の機器との間でデータの送受信を行う。ネットワークI/F５３４は、ネットワーク端子５３５に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。

テレビジョン受像機５００は、MPEGデコーダ５１７として画像復号装置１５１（３００）を用いることにより、逆直交変換処理の演算量を削減することができる。その結果として、テレビジョン受像機５００は、アンテナを介して受信した放送波信号や、ネットワークを介して取得したコンテンツデータから、より少ない演算量で復号画像を得て、表示することができる。

＜第５実施の形態＞
［携帯電話機の構成例］
図２５は、本発明を適用した画像符号化装置および画像復号装置を用いる携帯電話機の主な構成例を示すブロック図である。

図２５に示される携帯電話機６００は、各部を統括的に制御するようになされた主制御部６５０、電源回路部６５１、操作入力制御部６５２、画像エンコーダ６５３、カメラI/F部６５４、LCD制御部６５５、画像デコーダ６５６、多重分離部６５７、記録再生部６６２、変復調回路部６５８、および音声コーデック６５９を有する。これらは、バス６６０を介して互いに接続されている。

また、携帯電話機６００は、操作キー６１９、CCD（Charge Coupled Devices）カメラ６１６、液晶ディスプレイ６１８、記憶部６２３、送受信回路部６６３、アンテナ６１４、マイクロホン（マイク）６２１、およびスピーカ６１７を有する。

電源回路部６５１は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機６００を動作可能な状態に起動する。

携帯電話機６００は、CPU、ROMおよびRAM等でなる主制御部６５０の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。

例えば、音声通話モードにおいて、携帯電話機６００は、マイクロホン（マイク）６２１で集音した音声信号を、音声コーデック６５９によってデジタル音声データに変換し、これを変復調回路部６５８でスペクトラム拡散処理し、送受信回路部６６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機６００は、その変換処理により得られた送信用信号を、アンテナ６１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（音声信号）は、公衆電話回線網を介して通話相手の携帯電話機に供給される。

また、例えば、音声通話モードにおいて、携帯電話機６００は、アンテナ６１４で受信した受信信号を送受信回路部６６３で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部６５８でスペクトラム逆拡散処理し、音声コーデック６５９によってアナログ音声信号に変換する。携帯電話機６００は、その変換して得られたアナログ音声信号をスピーカ６１７から出力する。

更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機６００は、操作キー６１９の操作によって入力された電子メールのテキストデータを、操作入力制御部６５２において受け付ける。携帯電話機６００は、そのテキストデータを主制御部６５０において処理し、LCD制御部６５５を介して、画像として液晶ディスプレイ６１８に表示させる。

また、携帯電話機６００は、主制御部６５０において、操作入力制御部６５２が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機６００は、その電子メールデータを、変復調回路部６５８でスペクトラム拡散処理し、送受信回路部６６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機６００は、その変換処理により得られた送信用信号を、アンテナ６１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（電子メール）は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。

また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機６００は、基地局から送信された信号を、アンテナ６１４を介して送受信回路部６６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機６００は、その受信信号を変復調回路部６５８でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機６００は、復元された電子メールデータを、LCD制御部６５５を介して液晶ディスプレイ６１８に表示する。

なお、携帯電話機６００は、受信した電子メールデータを、記録再生部６６２を介して、記憶部６２３に記録する（記憶させる）ことも可能である。

この記憶部６２３は、書き換え可能な任意の記憶媒体である。記憶部６２３は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。

さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機６００は、撮像によりCCDカメラ６１６で画像データを生成する。CCDカメラ６１６は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。その画像データを、カメラI/F部６５４を介して、画像エンコーダ６５３で、例えばMPEG２やMPEG４等の所定の符号化方式によって圧縮符号化することにより符号化画像データに変換する。

携帯電話機６００は、このような処理を行う画像エンコーダ６５３として、上述した画像符号化装置５１（２００）を用いる。したがって、画像エンコーダ６５３は、画像符号化装置５１（２００）の場合と同様に、より少ない演算量で直交変換処理および逆直交変換処理を行うことができる。

なお、携帯電話機６００は、このとき同時に、CCDカメラ６１６で撮像中にマイクロホン（マイク）６２１で集音した音声を、音声コーデック６５９においてアナログデジタル変換し、さらに符号化する。

携帯電話機６００は、多重分離部６５７において、画像エンコーダ６５３から供給された符号化画像データと、音声コーデック６５９から供給されたデジタル音声データとを、所定の方式で多重化する。携帯電話機６００は、その結果得られる多重化データを、変復調回路部６５８でスペクトラム拡散処理し、送受信回路部６６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機６００は、その変換処理により得られた送信用信号を、アンテナ６１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（画像データ）は、ネットワーク等を介して、通信相手に供給される。

なお、画像データを送信しない場合、携帯電話機６００は、CCDカメラ６１６で生成した画像データを、画像エンコーダ６５３を介さずに、LCD制御部６５５を介して液晶ディスプレイ６１８に表示させることもできる。

また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機６００は、基地局から送信された信号を、アンテナ６１４を介して送受信回路部６６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機６００は、その受信信号を変復調回路部６５８でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機６００は、多重分離部６５７において、その多重化データを分離して、符号化画像データと音声データとに分ける。

携帯電話機６００は、画像デコーダ６５６において、符号化画像データを、MPEG２やMPEG４等の所定の符号化方式に対応した復号方式でデコードすることにより、再生動画像データを生成し、これを、LCD制御部６５５を介して液晶ディスプレイ６１８に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データが液晶ディスプレイ６１８に表示される。

携帯電話機６００は、このような処理を行う画像デコーダ６５６として、上述した画像復号装置１５１（３００）を用いる。したがって、画像デコーダ６５６は、画像復号装置１５１（３００）の場合と同様に、より少ない演算量で逆直交変換処理を行うことができる。

このとき、携帯電話機６００は、同時に、音声コーデック６５９において、デジタルの音声データをアナログ音声信号に変換し、これをスピーカ６１７より出力させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる音声データが再生される。

なお、電子メールの場合と同様に、携帯電話機６００は、受信した簡易ホームページ等にリンクされたデータを、記録再生部６６２を介して、記憶部６２３に記録する（記憶させる）ことも可能である。

また、携帯電話機６００は、主制御部６５０において、撮像されてCCDカメラ６１６で得られた２次元コードを解析し、２次元コードに記録された情報を取得することができる。

さらに、携帯電話機６００は、赤外線通信部６８１で赤外線により外部の機器と通信することができる。

携帯電話機６００は、画像エンコーダ６５３として画像符号化装置５１（２００）を用いることにより、より少ない演算量で直交変換処理および逆直交変換処理を行うことができる。結果として、携帯電話機６００は、より少ない演算量で復号可能な符号化データ（画像データ）を、他の装置に提供することができる。

また、携帯電話機６００は、画像デコーダ６５６として画像復号装置１５１（３００）を用いることにより、より少ない演算量で逆直交変換処理を行うことができる。その結果として、携帯電話機６００は、例えば、簡易ホームページにリンクされた動画像ファイルから、より少ない演算量で復号画像を得て、表示することができる。

なお、以上において、携帯電話機６００が、CCDカメラ６１６を用いるように説明したが、このCCDカメラ６１６の代わりに、CMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ（CMOSイメージセンサ）を用いるようにしてもよい。この場合も、携帯電話機６００は、CCDカメラ６１６を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。

また、以上においては携帯電話機６００として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機６００と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機６００の場合と同様に、画像符号化装置５１（２００）および画像復号装置１５１（３００）を適用することができる。

＜第６実施の形態＞
［ハードディスクレコーダの構成例］
図２６は、本発明を適用した画像符号化装置および画像復号装置を用いるハードディスクレコーダの主な構成例を示すブロック図である。

図２６に示されるハードディスクレコーダ（HDDレコーダ）７００は、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号（テレビジョン信号）に含まれる放送番組のオーディオデータとビデオデータを、内蔵するハードディスクに保存し、その保存したデータをユーザの指示に応じたタイミングでユーザに提供する装置である。

ハードディスクレコーダ７００は、例えば、放送波信号よりオーディオデータとビデオデータを抽出し、それらを適宜復号し、内蔵するハードディスクに記憶させることができる。また、ハードディスクレコーダ７００は、例えば、ネットワークを介して他の装置からオーディオデータやビデオデータを取得し、それらを適宜復号し、内蔵するハードディスクに記憶させることもできる。

さらに、ハードディスクレコーダ７００は、例えば、内蔵するハードディスクに記録されているオーディオデータやビデオデータを復号してモニタ７６０に供給し、モニタ７６０の画面にその画像を表示させる。また、ハードディスクレコーダ７００は、モニタ７６０のスピーカよりその音声を出力させることができる。

ハードディスクレコーダ７００は、例えば、チューナを介して取得された放送波信号より抽出されたオーディオデータとビデオデータ、または、ネットワークを介して他の装置から取得したオーディオデータやビデオデータを復号してモニタ７６０に供給し、モニタ７６０の画面にその画像を表示させる。また、ハードディスクレコーダ７００は、モニタ７６０のスピーカよりその音声を出力させることもできる。

もちろん、この他の動作も可能である。

図２６に示されるように、ハードディスクレコーダ７００は、受信部７２１、復調部７２２、デマルチプレクサ７２３、オーディオデコーダ７２４、ビデオデコーダ７２５、およびレコーダ制御部７２６を有する。ハードディスクレコーダ７００は、さらに、EPGデータメモリ７２７、プログラムメモリ７２８、ワークメモリ７２９、ディスプレイコンバータ７３０、OSD（On Screen Display）制御部７３１、ディスプレイ制御部７３２、記録再生部７３３、D/Aコンバータ７３４、および通信部７３５を有する。

また、ディスプレイコンバータ７３０は、ビデオエンコーダ７４１を有する。記録再生部７３３は、エンコーダ７５１およびデコーダ７５２を有する。

受信部７２１は、リモートコントローラ（図示せず）からの赤外線信号を受信し、電気信号に変換してレコーダ制御部７２６に出力する。レコーダ制御部７２６は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ７２８に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部７２６は、このとき、ワークメモリ７２９を必要に応じて使用する。

通信部７３５は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部７３５は、レコーダ制御部７２６により制御され、チューナ（図示せず）と通信し、主にチューナに対して選局制御信号を出力する。

復調部７２２は、チューナより供給された信号を、復調し、デマルチプレクサ７２３に出力する。デマルチプレクサ７２３は、復調部７２２より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ７２４、ビデオデコーダ７２５、またはレコーダ制御部７２６に出力する。

オーディオデコーダ７２４は、入力されたオーディオデータを、例えばMPEG方式でデコードし、記録再生部７３３に出力する。ビデオデコーダ７２５は、入力されたビデオデータを、例えばMPEG方式でデコードし、ディスプレイコンバータ７３０に出力する。レコーダ制御部７２６は、入力されたEPGデータをEPGデータメモリ７２７に供給し、記憶させる。

ディスプレイコンバータ７３０は、ビデオデコーダ７２５またはレコーダ制御部７２６より供給されたビデオデータを、ビデオエンコーダ７４１により、例えばNTSC（National Television Standards Committee）方式のビデオデータにエンコードし、記録再生部７３３に出力する。また、ディスプレイコンバータ７３０は、ビデオデコーダ７２５またはレコーダ制御部７２６より供給されるビデオデータの画面のサイズを、モニタ７６０のサイズに対応するサイズに変換する。ディスプレイコンバータ７３０は、画面のサイズが変換されたビデオデータを、さらに、ビデオエンコーダ７４１によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部７３２に出力する。

ディスプレイ制御部７３２は、レコーダ制御部７２６の制御のもと、OSD（On Screen Display）制御部７３１が出力したOSD信号を、ディスプレイコンバータ７３０より入力されたビデオ信号に重畳し、モニタ７６０のディスプレイに出力し、表示させる。

モニタ７６０にはまた、オーディオデコーダ７２４が出力したオーディオデータが、D/Aコンバータ７３４によりアナログ信号に変換されて供給されている。モニタ７６０は、このオーディオ信号を内蔵するスピーカから出力する。

記録再生部７３３は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。

記録再生部７３３は、例えば、オーディオデコーダ７２４より供給されるオーディオデータを、エンコーダ７５１によりMPEG方式でエンコードする。また、記録再生部７３３は、ディスプレイコンバータ７３０のビデオエンコーダ７４１より供給されるビデオデータを、エンコーダ７５１によりMPEG方式でエンコードする。記録再生部７３３は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部７３３は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。

記録再生部７３３は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部７３３は、デコーダ７５２によりオーディオデータおよびビデオデータをMPEG方式でデコードする。記録再生部７３３は、復号したオーディオデータをD/A変換し、モニタ７６０のスピーカに出力する。また、記録再生部７３３は、復号したビデオデータをD/A変換し、モニタ７６０のディスプレイに出力する。

レコーダ制御部７２６は、受信部７２１を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ７２７から最新のEPGデータを読み出し、それをOSD制御部７３１に供給する。OSD制御部７３１は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部７３２に出力する。ディスプレイ制御部７３２は、OSD制御部７３１より入力されたビデオデータをモニタ７６０のディスプレイに出力し、表示させる。これにより、モニタ７６０のディスプレイには、EPG（電子番組ガイド）が表示される。

また、ハードディスクレコーダ７００は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。

通信部７３５は、レコーダ制御部７２６に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部７２６に供給する。レコーダ制御部７２６は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部７３３に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部７２６および記録再生部７３３が、必要に応じて再エンコード等の処理を行うようにしてもよい。

また、レコーダ制御部７２６は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ７３０に供給する。ディスプレイコンバータ７３０は、ビデオデコーダ７２５から供給されるビデオデータと同様に、レコーダ制御部７２６から供給されるビデオデータを処理し、ディスプレイ制御部７３２を介してモニタ７６０に供給し、その画像を表示させる。

また、この画像表示に合わせて、レコーダ制御部７２６が、復号したオーディオデータを、D/Aコンバータ７３４を介してモニタ７６０に供給し、その音声をスピーカから出力させるようにしてもよい。

さらに、レコーダ制御部７２６は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ７２７に供給する。

以上のようなハードディスクレコーダ７００は、ビデオデコーダ７２５、デコーダ７５２、およびレコーダ制御部７２６に内蔵されるデコーダとして画像復号装置１５１（３００）を用いる。したがって、ビデオデコーダ７２５、デコーダ７５２、およびレコーダ制御部７２６に内蔵されるデコーダは、画像復号装置１５１（３００）の場合と同様に、より少ない演算量で逆直交変換処理を行うことができる。

したがって、ハードディスクレコーダ７００は、精度の高い予測画像を生成することができる。その結果として、ハードディスクレコーダ７００は、例えば、チューナを介して受信されたビデオデータの符号化データや、記録再生部７３３のハードディスクから読み出されたビデオデータの符号化データや、ネットワークを介して取得したビデオデータの符号化データから、より高精細な復号画像を得て、モニタ７６０に表示させることができる。

また、ハードディスクレコーダ７００は、エンコーダ７５１として画像符号化装置５１（２００）を用いる。したがって、エンコーダ７５１は、画像符号化装置５１（２００）の場合と同様に、より少ない演算量で直交変換処理および逆直交変換処理を行うことができる。

したがって、ハードディスクレコーダ７００は、例えば、ハードディスクに記録する符号化データの符号化効率を向上させることができる。その結果として、ハードディスクレコーダ７００は、より高速に、ハードディスクの記憶領域をより効率よく使用することができる。

なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ７００について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ７００の場合と同様に、画像符号化装置５１（２００）および画像復号装置１５１（３００）を適用することができる。

＜第７実施の形態＞
［カメラの構成例］
図２７は、本発明を適用した画像復号装置および画像符号化装置を用いるカメラの主な構成例を示すブロック図である。

図２７に示されるカメラ８００は、被写体を撮像し、被写体の画像をLCD８１６に表示させたり、それを画像データとして、記録メディア８３３に記録したりする。

レンズブロック８１１は、光（すなわち、被写体の映像）を、CCD/CMOS８１２に入射させる。CCD/CMOS８１２は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部８１３に供給する。

カメラ信号処理部８１３は、CCD/CMOS８１２から供給された電気信号を、Ｙ，Ｃｒ，Ｃｂの色差信号に変換し、画像信号処理部８１４に供給する。画像信号処理部８１４は、コントローラ８２１の制御の下、カメラ信号処理部８１３から供給された画像信号に対して所定の画像処理を施したり、その画像信号をエンコーダ８４１で例えばMPEG方式により符号化したりする。画像信号処理部８１４は、画像信号を符号化して生成した符号化データを、デコーダ８１５に供給する。さらに、画像信号処理部８１４は、オンスクリーンディスプレイ（OSD）８２０において生成された表示用データを取得し、それをデコーダ８１５に供給する。

以上の処理において、カメラ信号処理部８１３は、バス８１７を介して接続されるDRAM（Dynamic Random Access Memory）８１８を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM８１８に保持させる。

デコーダ８１５は、画像信号処理部８１４から供給された符号化データを復号し、得られた画像データ（復号画像データ）をLCD８１６に供給する。また、デコーダ８１５は、画像信号処理部８１４から供給された表示用データをLCD８１６に供給する。LCD８１６は、デコーダ８１５から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。

オンスクリーンディスプレイ８２０は、コントローラ８２１の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス８１７を介して画像信号処理部８１４に出力する。

コントローラ８２１は、ユーザが操作部８２２を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス８１７を介して、画像信号処理部８１４、DRAM８１８、外部インタフェース８１９、オンスクリーンディスプレイ８２０、およびメディアドライブ８２３等を制御する。FLASH ROM８２４には、コントローラ８２１が各種処理を実行する上で必要なプログラムやデータ等が格納される。

例えば、コントローラ８２１は、画像信号処理部８１４やデコーダ８１５に代わって、DRAM８１８に記憶されている画像データを符号化したり、DRAM８１８に記憶されている符号化データを復号したりすることができる。このとき、コントローラ８２１は、画像信号処理部８１４やデコーダ８１５の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部８１４やデコーダ８１５が対応していない方式により符号化・復号処理を行うようにしてもよい。

また、例えば、操作部８２２から画像印刷の開始が指示された場合、コントローラ８２１は、DRAM８１８から画像データを読み出し、それを、バス８１７を介して外部インタフェース８１９に接続されるプリンタ８３４に供給して印刷させる。

さらに、例えば、操作部８２２から画像記録が指示された場合、コントローラ８２１は、DRAM８１８から符号化データを読み出し、それを、バス８１７を介してメディアドライブ８２３に装着される記録メディア８３３に供給して記憶させる。

記録メディア８３３は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア８３３は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であっても良い。

また、メディアドライブ８２３と記録メディア８３３を一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。

外部インタフェース８１９は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ８３４と接続される。また、外部インタフェース８１９には、必要に応じてドライブ８３１が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア８３２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM８２４にインストールされる。

さらに、外部インタフェース８１９は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ８２１は、例えば、操作部８２２からの指示に従って、DRAM８１８から符号化データを読み出し、それを外部インタフェース８１９から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ８２１は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース８１９を介して取得し、それをDRAM８１８に保持させたり、画像信号処理部８１４に供給したりすることができる。

以上のようなカメラ８００は、デコーダ８１５として画像復号装置１５１（３００）を用いる。したがって、デコーダ８１５は、画像復号装置１５１の場合と同様に、より少ない演算量で逆直交変換処理を行うことができる。

したがって、カメラ８００は、処理の高速化を実現するとともに、精度の高い予測画像を生成することができる。その結果として、カメラ８００は、例えば、CCD/CMOS８１２において生成された画像データや、DRAM８１８または記録メディア８３３から読み出されたビデオデータの符号化データや、ネットワークを介して取得したビデオデータの符号化データから、より高精細な復号画像を得て、LCD８１６に表示させることができる。

また、カメラ８００は、エンコーダ８４１として画像符号化装置５１（２００）を用いる。したがって、エンコーダ８４１は、画像符号化装置５１（２００）の場合と同様に、より少ない演算量で直交変換処理および逆直交変換処理を行うことができる。

したがって、カメラ８００は、例えば、ハードディスクに記録する符号化データの符号化効率を向上させることができる。その結果として、カメラ８００は、より高速に、DRAM８１８や記録メディア８３３の記憶領域をより効率よく使用することができる。

なお、コントローラ８２１が行う復号処理に画像復号装置１５１（３００）の復号方法を適用するようにしてもよい。同様に、コントローラ８２１が行う符号化処理に画像符号化装置５１（２００）の符号化方法を適用するようにしてもよい。

また、カメラ８００が撮像する画像データは動画像であってもよいし、静止画像であってもよい。

もちろん、画像符号化装置５１（２００）および画像復号装置１５１（３００）は、上述した装置以外の装置やシステムにも適用可能である。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

５１ 画像符号化装置， ６６ 可逆符号化部， ９１ DWT部， ９２−０乃至９２−８ KLT部， １０１−０乃至１０１−８ 逆KLT部， １０３ 逆DWT部， １５１ 画像復号装置， １６２ 可逆復号部， ２００ 画像符号化装置， ２２１ DWT部， ２２２−３乃至２２２−８ KLT部， ２４１−３乃至２４１−８ 逆KLT部， ２４４ 逆DWT部

Claims (14)

1. 画像に対して、第１の直交変換より演算量の少ない第２の直交変換を行う前直交変換手段と、
   前記第２の直交変換の結果得られる前記画像の低周波数成分に対して、前記第１の直交変換を行う後直交変換手段と、
   前記第１の直交変換後の前記低周波数成分と、前記第２の直交変換の結果得られる前記画像の高周波数成分とを符号化する符号化手段と
   を備える符号化装置。
2. 前記第１の直交変換は、分離型のカルーネン・レーベ変換である
   請求項１に記載の符号化装置。
3. 前記後直交変換手段は、前記画像のAVC（Advanced Video Coding）方式におけるイントラ予測モードの予測方向が斜め方向である場合、前記低周波数成分に対して非分離型のカルーネン・レーベ変換を行い、前記画像の前記イントラ予測モードの予測方向が斜め方向ではない場合、前記低周波数成分に対して分離型のカルーネン・レーベ変換を行う
   請求項１に記載の符号化装置。
4. 前記前直交変換手段は、前記画像の前記イントラ予測モードの予測方向が斜め方向である場合、前記画像の前記イントラ予測モードの予測方向が斜め方向ではない場合に比べて多い回数の前記第２の直交変換を行う
   請求項３に記載の符号化装置。
5. 前記第２の直交変換は、ウェーブレット変換である
   請求項１に記載の符号化装置。
6. 前記符号化手段は、前記画像のAVC（Advanced Video Coding）方式におけるイントラ予測モードに応じた順序で、前記第１の直交変換後の前記低周波数成分と前記高周波数成分を符号化する
   請求項１に記載の符号化装置。
7. 符号化装置が、
   画像に対して、第１の直交変換より演算量の少ない第２の直交変換を行う前直交変換ステップと、
   前記第２の直交変換の結果得られる前記画像の低周波数成分に対して、前記第１の直交変換を行う後直交変換ステップと、
   前記第１の直交変換後の前記低周波数成分と、前記第２の直交変換の結果得られる前記画像の高周波数成分とを符号化する符号化ステップと
   を含む符号化方法。
8. 画像の符号化結果として、前記画像に対して第１の直交変換より演算量の少ない第２の直交変換を行った結果得られた前記画像の低周波数成分の前記第１の直交変換後の係数と、前記第２の直交変換を行った結果得られた前記画像の高周波数成分の符号化結果を取得し、前記画像の符号化結果を復号する復号手段と、
   前記復号の結果得られる前記低周波数成分の前記第１の直交変換後の係数に対して、前記第１の直交変換に対応する第１の逆直交変換を行う前逆直交変換手段と、
   前記第１の逆直交変換の結果得られる前記低周波数成分と、前記復号の結果得られる前記高周波数成分に対して、前記第２の直交変換に対応する第２の逆直交変換を行い、前記画像を得る後逆直交変換手段と
   を備える復号装置。
9. 前記第１の逆直交変換は、分離型の逆カルーネン・レーベ変換である
   請求項８に記載の復号装置。
10. 前記符号化結果には、前記画像のAVC（Advanced Video Coding）方式におけるイントラ予測モードが含まれており、
    前記前逆直交変換手段は、前記イントラ予測モードの予測方向が斜め方向である場合、前記低周波数成分の前記第１の直交変換後の係数に対して非分離型の逆カルーネン・レーベ変換を行い、前記イントラ予測モードの予測方向が斜め方向ではない場合、前記低周波数成分の前記第１の直交変換後の係数に対して分離型の逆カルーネン・レーベ変換を行う
    請求項８に記載の復号装置。
11. 前記前逆直交変換手段は、前記イントラ予測モードの予測方向が斜め方向である場合、前記イントラ予測モードの予測方向が斜め方向ではない場合に比べて多い回数の前記第２の逆直交変換を行う
    請求項１０に記載の復号装置。
12. 前記第２の逆直交変換は、逆ウェーブレット変換である
    請求項８に記載の復号装置。
13. 前記符号化結果には、前記画像のAVC（Advanced Video Coding）方式におけるイントラ予測モードが含まれており、
    前記復号手段は、前記イントラ予測モードに応じた順序で、前記低周波数成分の前記第１の直交変換後の係数と前記高周波数成分を復号する
    請求項８に記載の復号装置。
14. 復号装置が、
    画像の符号化結果として、前記画像に対して第１の直交変換より演算量の少ない第２の直交変換を行った結果得られた前記画像の低周波数成分の前記第１の直交変換後の係数と、前記第２の直交変換を行った結果得られた前記画像の高周波数成分の符号化結果を取得し、前記画像の符号化結果を復号する復号ステップと、
    前記復号の結果得られる前記低周波数成分の前記第１の直交変換後の係数に対して、前記第１の直交変換に対応する第１の逆直交変換を行う前逆直交変換ステップと、
    前記第１の逆直交変換の結果得られる前記低周波数成分と、前記復号の結果得られる前記高周波数成分に対して、前記第２の直交変換に対応する第２の逆直交変換を行い、前記画像を得る後逆直交変換ステップと
    を含む復号方法。

Images