JP6573689B2 - 画像符号化装置および画像符号化方法 - Google Patents

Description

この発明は、画像を高効率で符号化を行う画像符号化装置、画像符号化方法、画像復号装置、画像復号方法及び符号化データのデータ構造に関するものである。

例えば、以下の非特許文献１に記載されている従来の画像符号化装置では、入力されたカラー画像を所定の大きさの最大符号化ブロックに分割し、さらに、最大符号化ブロックをより細かい符号化ブロックに階層分割する。
また、その符号化ブロックをさらに細かい予測ブロックに分割し、その予測ブロックに対する画面内予測や動き補償予測を実施することで予測誤差を生成する。
また、その予測誤差を符号化ブロック内で階層的に変換ブロックに分割し、それぞれの変換係数をエントロピー符号化することで高い圧縮率を達成している。

従来の画像符号化装置では、時間的相関を利用した高効率な符号化を実現するため、例えば図３７等の符号化構造によって、既に符号化済みのピクチャから符号化対象ブロックと相関の高いブロックを探索し、その探索先のブロックを予測値とする動き補償予測を利用した符号化を実現している。一般に、このときの探索（参照）先のピクチャを参照ピクチャと呼ぶ。特に図３７に示すように表示順で過去と未来の両方のピクチャを参照する動き補償である双方向予測は高精度な予測が実現できることで知られている。ただし、このようにピクチャ間に参照関係を持たせることで各ピクチャの復号に依存性が生じてしまい、符号化ビットストリームの途中から復号するシーケンスの途中再生が実現できなくなってしまう。

したがって、図３７等の双方向の動き補償予測を利用した符号化構造を利用する場合、符号化ビットストリームの途中から復号しても正しく再生できるためのランダムアクセスポイントを用意することがある。例えば図３７の表示順で番号８（復号（符号化）順で番号１）の灰色（網掛け）のピクチャが非特許文献１に記載されているランダムアクセス可能なピクチャ（非特許文献１記載のＩｎｔｒａ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ（ＩＲＡＰ）ピクチャ）を設定する場合について考える。非特許文献１では、ＩＲＡＰピクチャより復号順（復号装置では復号順であり、符号化装置における符号化順と同意）は後で表示順は先になるピクチャ（図３７の表示順で番号１〜７のピクチャ）を“ｌｅａｄｉｎｇ ｐｉｃｔｕｒｅ（リーディング・ピクチャ）”と定義し、ＩＲＡＰピクチャより復号順も表示順も後になるピクチャ（図３７の表示順で番号９〜１６のピクチャ）を“ｔｒａｉｌｉｎｇ ｐｉｃｔｕｒｅ（トレイリング・ピクチャ）”と定義している。図３７の表示順で番号８（復号（符号化）順で番号１）の灰色（網掛け）のピクチャがＩＲＡＰピクチャの一種であるＣＲＡ（Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ）ピクチャである場合、ＣＲＡピクチャから復号を開始した際にリーディング・ピクチャは正しく復号できる保証はないが、トレイリング・ピクチャは常に正しく復号できる。この動作が保証されるように、関連する各ピクチャの制限事項が定義されている。具体的には、非特許文献１ではリーディング・ピクチャをトレイリング・ピクチャの参照ピクチャとして利用することは禁止されており、ＩＲＡＰピクチャよりも表示順が後で復号順は先となるピクチャの存在も禁止されている。さらに、非特許文献１ではリーディング・ピクチャは必ずトレイリング・ピクチャよりも先に復号（符号化）されなくてはならないと定義されている。このような定義の下、ＣＲＡピクチャを用いることで、符号化ビットストリームの途中から復号を開始する際もＣＲＡから復号すれば常にＣＲＡピクチャより表示順で後のピクチャは正しく復号することができ、符号化シーケンスの途中再生を実現することができる。また、ＣＲＡピクチャである場合は、トレイリング・ピクチャが正しく復号できることのみが保証されているため、リーディング・ピクチャはＣＲＡピクチャも含めた双方向予測を行うことができ、ランダムアクセス可能なピクチャ挿入による符号化効率の低下を抑えることができる。

B. Bross，W.-J. Han，J.-R. Ohm，G. J. Sullivan，Y.-K. Wang and T. Wiegand，"High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Consent)"，doc. JCTVC-L1003，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，12th Meeting，2013

従来の画像符号化装置は以上のように構成されているので、１フレーム１ピクチャで構成されているプログレッシブ映像については符号化ビットストリームの途中からでも特定のピクチャから復号を開始することで表示順においてそのピクチャ以降のピクチャを正しく復号できるランダムアクセスを実現することができる。一方、１フレームがトップ・フィールドとボトム・フィールドの２つのフィールドからなるインタレース映像の場合、このフィールドを符号化単位であるピクチャに設定しつつ、参照構造は２つのフィールドからなるフレームを考慮したフィールド・ペア構造で符号化する場合がある。図３３に双方向予測を用いたフィールド・ペア構造の一例を示す。本例において、ランダムアクセス可能なピクチャとして図３３の表示順で番号３２（復号（符号化）順で番号１８）の灰色で示されるトップ・フィールドを設定しようとした場合、リーディング・ピクチャに当たるピクチャの一部は表示順で番号３２のトップ・フィールドと表示順で番号３３のボトム・フィールドを参照するため、表示順で番号３２のトップ・フィールドを復号した直後にトレイリング・ピクチャである表示順で番号３３のボトム・フィールドを復号してからリーディング・ピクチャを復号するという復号順序である必要があるが、非特許文献１のリーディング・ピクチャは必ずトレイリング・ピクチャよりも先に復号（符号化）されなくてはならないという定義より、表示順で番号３２のトップ・フィールドをＣＲＡピクチャに設定することができない。言い換えると、非特許文献１のリーディング・ピクチャは必ずトレイリング・ピクチャよりも先に復号（符号化）されなくてはならないという定義に従うと、ＣＲＡピクチャとして設定した表示順で番号３２のトップ・フィールドを復号した直後に、トレイリング・ピクチャである表示順で番号３３のボトム・フィールドを復号できないため、図３３の参照構造をとることができない。したがって、非特許文献１の定義の範囲内でＣＲＡピクチャを用いたランダムアクセスを実現しようとした場合、例えば、リーディング・ピクチャが表示順で番号３３のボトム・フィールドを参照しない参照構造に変更すると共に、リーディング・ピクチャの復号の後に表示順で番号３３のボトム・フィールドが復号されるように構成したり、表示順で番号３３のボトム・フィールドをＣＲＡピクチャに定義したりする必要がある。したがって、前者の場合は図３３の参照構造と比較してリーディング・ピクチャの参照ピクチャが制限されてしまうために予測効率が低下してしまうという課題があった。後者の場合は、符号化ビットストリームのはじめから再生する場合はトップ・フィールドから始まり、符号化ビットストリームの途中から再生する場合はボトム・フィールドから再生されることとなってしまう。つまり、符号化ビットストリームの復号開始位置に関わらずに常に同じフィールドから復号することができず、表示装置では、このような再生に対応する必要があり、表示処理が複雑になるという課題があった。

この発明は上記のような課題を解決するためになされたもので、インタレース映像のフィールド・ペア符号化においても、符号化ビットストリームの復号開始位置に関わらずに常に同じフィールドから正しく再生できる符号化ビットストリームを生成して符号化することができる画像符号化装置、画像符号化方法、画像復号装置及び画像復号方法を得ることを目的とする。

この発明に係る画像符号化装置は、ピクチャをランダムアクセス可能なＩＲＡＰ（Ｉｎｔｒａ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）ピクチャとして符号化することができる画像符号化装置であるとともに、各フレームが第一のフィールドと第二のフィールドの二つのフィールドで構成され、各フィールドをピクチャとして符号化する画像符号化装置であって、複数の前記各フレームにおいて任意の位置の特定のフレームの第一のフィールドを、イントラ予測のみで予測されるイントラピクチャであって非ＩＲＡＰ（ｎｏｎ−Ｉｎｔｒａ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）ピクチャでもある第一のピクチャとして符号化するとともに、前記第一のピクチャ、前記第一のピクチャを用いて予測され、符号化順が後となる前記特定のフレームの第二のフィールドである第二のピクチャ、前記第一のピクチャまたは前記第二のピクチャより予測されるとともに、前記特定のフレームより符号化順が後で表示順が前となる第三のピクチャ、の順に符号化するように設定する符号化設定手段と、前記特定のフレームの前記第一のフィールドである前記第一のピクチャがビットストリームの途中からの復号を開始可能なピクチャであることを示す情報を前記ビットストリームに多重化する多重化手段と、を備えるものである。

この発明によれば、インタレース映像のフィールド・ペア符号化においても、符号化ビットストリームの復号開始位置に関わらずに常に同じフィールドから正しく再生できる符号化ビットストリームのデータ構造となるように構成したので、インタレース映像のフィールド・ペア符号化においても、復号画像を表示する表示装置は符号化ビットストリームの復号開始位置に関わらずに常に同じフィールドをはじめに表示するように構成すればよく、表示処理を簡易に行える効果がある。

この発明の実施の形態１による画像符号化装置を示す構成図である。 この発明の実施の形態１による画像符号化装置の処理内容（画像符号化方法）を示すフローチャートである。 この発明の実施の形態１による画像復号装置を示す構成図である。 この発明の実施の形態１による画像復号装置の処理内容（画像復号方法）を示すフローチャートである。 最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。 （ａ）は分割後の符号化ブロック及び予測ブロックの分布を示し、（ｂ）は階層分割によって符号化モードｍ（Ｂ_ｎ）が割り当てられる状況を示す説明図である。 符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎが選択可能なイントラ予測モードの一例を示す説明図である。 ｌ_ｉ ^ｎ＝ｍ_ｉ ^ｎ＝４の場合の予測画像生成ブロック内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。 予測画像生成ブロック内の左上画素を原点とする相対座標を示す説明図である。 量子化マトリクスの一例を示す説明図である。 この発明の実施の形態１による画像符号化装置のループフィルタ部で複数のループフィルタ処理を用いる場合の構成例を示す説明図である。 この発明の実施の形態１による画像復号装置のループフィルタ部で複数のループフィルタ処理を用いる場合の構成例を示す説明図である。 符号化ビットストリームの一例を示す説明図である。 画素適応オフセット処理のクラス分類手法のインデックスを示す説明図である。 １６×１６画素のサイズの直交変換における変換係数の符号化順を示す説明図である。 １６×１６画素のサイズの直交変換における変換係数の分布の一例を示す説明図である。 平均値予測時のフィルタ処理におけるフィルタの切り替え領域を示す説明図である。 平均値予測時のフィルタ処理の参照画素配置を示す説明図である。 フィールド符号化の際のイントラ予測画像に対するフィルタ処理を示す説明図である。 ＹＵＶ４：２：０フォーマットの信号における輝度信号及び色差信号の圧縮処理を実施する際の変換ブロックサイズを示す説明図である。 ＹＵＶ４：２：２フォーマットの信号における輝度信号及び色差信号の圧縮処理を実施する際の変換ブロックサイズを示す説明図である。 ＹＵＶ４：４：４フォーマットの信号における輝度信号及び色差信号の圧縮処理を実施する際の変換ブロックサイズを示す説明図である。 色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。 ＬＭモードを用いない場合の色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。 ＹＵＶ４：２：０フォーマットの信号において輝度信号と色差信号で同一の方向性予測を用いた場合を示す説明図である。 ＹＵＶ４：２：２フォーマットの信号において輝度信号と色差信号で同一の方向性予測を用いた場合を示す説明図である。 ＹＵＶ４：４：４フォーマットとＹＵＶ４：２：２フォーマットの関係を示す説明図である。 ＹＵＶ４：４：４フォーマットの信号において輝度信号と色差信号で同一の方向性予測を用いることと等価となるＹＵＶ４：２：２フォーマットでの方向性予測の例を示す説明図である。 ＹＵＶ４：２：２フォーマットの信号での方向性予測の予測方向ベクトルを示す説明図である。 方向性予測と角度の関係を示す説明図である。 ＹＵＶ４：２：２フォーマットの信号において輝度信号のイントラ予測モードインデックスと色差信号のイントラ予測モードインデックスの関係を示す説明図である。 イントラ予測モードインデックスとｔａｎθの関係を示す説明図である。 インタレース信号のフィールド・ペア符号化において双方向予測を用いた符号化構造の一例を示す説明図である。 インタレース信号のフィールド・ペア符号化において双方向予測を用いた符号化構造の一例を示す説明図である。 インタレース信号のフィールド・ペア符号化において双方向予測を用いた符号化構造の一例を示す説明図である。 インタレース信号のフィールド・ペア符号化において双方向予測を用いた符号化構造の一例を示す説明図である。 双方向予測を用いた符号化構造の一例を示す説明図である。 Ｒｅｃｏｖｅｒｙ Ｐｏｉｎｔ ＳＥＩ Ｍｅｓｓａｇｅのシンタックスを示す説明図である。

実施の形態１．
図１はこの発明の実施の形態１による画像符号化装置を示す構成図である。
この実施の形態１の画像符号化装置が処理対象とする映像信号は、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。
各画素の階調は８ビットでもよいし、１０ビット、１２ビットなどの階調であってもよい。
また、入力信号は映像信号ではなく静止画像信号でもよいことは、静止画像信号を１フレームのみで構成される映像信号と解釈できることから当然である。

以下の説明においては、便宜上、特に断らない限り、入力される映像信号が、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、縦横ともに２分の１にサブサンプルされたＹＵＶ４：２：０フォーマット、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、横方向に２分の１にサブサンプルされたＹＵＶ４：２：２フォーマット、あるいは、２つの色差成分Ｕ，Ｖが輝度成分Ｙと同じサンプル数であるＹＵＶ４：４：４フォーマットの信号であるものとする。また、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の三原色の信号からなるＲＧＢ４：４：４フォーマットの信号については、それぞれの信号をＹＵＶ４：４：４フォーマットの信号とみなしてＹＵＶ４：４：４フォーマットと同一の符号化を行う。ただし、ＲＧＢ４：４：４フォーマットの各信号（ＲＧＢ）のＹＵＶ４：４：４フォーマットの各信号（ＹＵＶ）への対応付けについては限定しない（任意に設定できる）。また、ＹＵＶ４：４：４フォーマット信号やＲＧＢ４：４：４フォーマット信号の場合、各信号をモノクローム画像信号とみなしてそれぞれ独立にモノクローム（ＹＵＶ４：０：０）符号化してビットストリームを生成するようにしてもよい。このようにすることで各信号並列に符号化処理することができる。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。

図１において、スライス分割部１４は入力画像として映像信号を入力すると、その入力画像を符号化制御部２により決定されたスライス分割情報にしたがって１以上の“スライス”という部分画像に分割する処理を実施する。スライスの分割単位は、後述する符号化ブロック単位まで細かくすることができる。

ブロック分割部１はスライス分割部１４により分割されたスライスを入力する毎に、そのスライスを符号化制御部２により決定された最大サイズの符号化ブロックである最大符号化ブロックに分割するとともに、符号化制御部２により決定された上限の階層数に至るまで、その最大符号化ブロックを階層的に各符号化ブロックへ分割する処理を実施する。
即ち、ブロック分割部１はスライスを符号化制御部２により決定された分割に応じて各符号化ブロックに分割して、その符号化ブロックを出力する処理を実施する。また、各符号化ブロックは予測処理単位となる１つないし複数の予測ブロックに分割される。

符号化制御部２は符号化処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定することで、各々の符号化ブロックのサイズを決定する処理を実施する。
また、符号化制御部２は選択可能な１以上の符号化モード（予測処理単位を示す予測ブロックのサイズなどが異なる１以上のイントラ符号化モード、予測ブロックのサイズなどが異なる１以上のインター符号化モード）の中から、ブロック分割部１から出力される符号化ブロックに適用する符号化モードを選択する処理を実施する。選択手法の例としては、選択可能な１以上の符号化モードの中から、ブロック分割部１から出力される符号化ブロックに対する符号化効率が最も高い符号化モードを選択する手法がある。

また、符号化制御部２は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを上記イントラ符号化モードが示す予測処理単位である予測ブロック毎に決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを上記インター符号化モードが示す予測処理単位である予測ブロック毎に決定する処理を実施する。
さらに、符号化制御部２は変換・量子化部７及び逆量子化・逆変換部８に与える予測差分符号化パラメータを決定する処理を実施する。予測差分符号化パラメータには、符号化ブロックにおける直交変換処理単位となる変換ブロックの分割情報を示す変換ブロック分割情報や、変換係数の量子化を行う際の量子化ステップサイズを規定する量子化パラメータなどが含まれる。

ここで、図２０はＹＵＶ４：２：０フォーマットの信号における輝度信号及び色差信号の圧縮処理（変換処理、量子化処理）を実施する際の変換ブロックサイズを示す説明図である。
変換ブロックサイズは、図２０に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。

輝度信号については、例えば、図２０に示すように、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。

色差信号については、図２０に示すように、入力信号フォーマットがＹＵＶ４：２：０信号である場合、輝度信号と同様に、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。

図２１に示すように、入力信号フォーマットがＹＵＶ４：２：２信号である場合、輝度信号と同様の四分木状の階層分割を行う。また、分割したブロックの形状が、垂直方向の画素数が水平方向の画素数の２倍になる長方形となるため、さらに、分割したブロックを上下に二分することで、ＹＵＶ４：２：０信号での色差信号と同じブロックサイズ（輝度信号の変換ブロックの縦横ともに半分のサイズ）の変換ブロック２つで構成するようにする。

また、図２２に示すように、入力信号フォーマットがＹＵＶ４：４：４信号である場合、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
輝度信号の変換ブロックの分割情報は、例えば、階層毎に分割するか否かを示す変換ブロック分割フラグとして可変長符号化部１３に出力する。

切換スイッチ３は符号化制御部２により決定された符号化モードがイントラ符号化モードであれば、ブロック分割部１から出力された符号化ブロックをイントラ予測部４に出力し、符号化制御部２により決定された符号化モードがインター符号化モードであれば、ブロック分割部１から出力された符号化ブロックを動き補償予測部５に出力する処理を実施する。

イントラ予測部４は切換スイッチ３から出力された符号化ブロックに対応する符号化モードとして、符号化制御部２によりイントラ符号化モードが選択された場合、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施してイントラ予測画像を生成する処理を実施する。なお、イントラ予測部４はイントラ予測手段を構成している。

即ち、イントラ予測部４は、輝度信号については、輝度信号のイントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施して、輝度信号の予測画像を生成する。
一方、色差信号については、色差信号のイントラ予測パラメータが、輝度信号に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合（イントラ予測パラメータが輝度色差共通イントラ予測モード（ＤＭモード）を示している場合）、輝度信号と同じフレーム内予測を実施して、色差信号の予測画像を生成する。

また、色差信号のイントラ予測パラメータが、垂直方向予測モード又は水平方向予測モードを示している場合、色差信号に対する方向性予測を実施して、色差信号の予測画像を生成する。
また、色差信号のイントラ予測パラメータが、輝度相関利用色差信号予測モード（ＬＭモード）を示している場合、予測画像の生成対象ブロックの上及び左に隣接している複数の画素の輝度信号及び色差信号を用いて、輝度信号と色差信号の相関を示す相関パラメータを算出し、その相関パラメータと予測処理対象の色差信号のブロックに対応する輝度信号を用いて、色差信号の予測画像を生成する。

なお、入力信号フォーマットがＹＵＶ４：４：４信号である場合には、上記ＤＭモード又は上記ＬＭモードの処理を実施し、その他の予測モードは選択しないように構成してもよい。
ＹＵＶ４：４：４信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。

また、入力信号フォーマットがＹＵＶ４：２：２信号である場合、図２７に示すように、輝度信号が正方ブロックであれば、色差信号は輝度信号と比較して水平方向の画素数が１／２となる長方形のブロックとなる。したがって、図２８に示すように、ＹＵＶ４：４：４信号をＹＵＶ４：２：２信号に変換した際に、輝度信号と色差信号で同一方向の予測となるようにするためには、ＹＵＶ４：２：２信号上では、垂直方向予測と水平方向予測以外の方向性予測の場合には、色差信号の予測方向が輝度信号の予測方向と異なることとなる。
具体的には、図２９に示すように、輝度信号の予測方向ベクトルをｖ_Ｌ＝（ｄｘ_Ｌ，ｄｙ_Ｌ）とした場合、色差信号の予測方向ベクトルは、ｖ_Ｃ＝（ｄｘ_Ｌ／２，ｄｙ_Ｌ）となる。即ち、図３０に示すように、予測方向の角度をθとした場合、輝度信号の予測方向の角度をθ_Ｌ、色差信号の予測方向の角度をθ_Ｃとして、ｔａｎθ_Ｃ＝２ｔａｎθ_Ｌの関係となる予測方向で予測する必要がある。

したがって、輝度信号と色差信号で同一方向の予測を行う上記ＤＭモードを正しく実施できるようにするために、入力信号フォーマットがＹＵＶ４：２：２信号である場合、輝度信号に使用したイントラ予測モードのインデックスを色差信号の予測に用いるイントラ予測モードのインデックスに変換し、変換後のインデックスに対応するイントラ予測モードによる色差信号の予測処理を実施する。具体的には、インデックスの変換テーブルを用意し、その変換テーブルを参照することで、インデックスを変換するように構成してもよいし、予め変換式を用意して、その変換式に従ってインデックスを変換するように構成してもよい。
このように構成することで、方向性予測処理自体を変更することなく、インデックスの変換のみで、ＹＵＶ４：２：２信号のフォーマットに応じた色差信号の適切な予測を実施することができる。

動き補償予測部５は切換スイッチ３から出力された符号化ブロックに対応する符号化モードとして、符号化制御部２によりインター符号化モードが選択された場合、符号化ブロックと動き補償予測フレームメモリ１２に格納されている１フレーム以上の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定された参照するフレーム番号などのインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理（動き補償予測処理）を実施してインター予測画像を生成する処理を実施する。

減算部６はブロック分割部１より出力された符号化ブロックから、イントラ予測部４により生成されたイントラ予測画像、または、動き補償予測部５により生成されたインター予測画像を減算して、その減算結果である差分画像を示す予測差分信号を変換・量子化部７に出力する処理を実施する。
変換・量子化部７は符号化制御部２により決定された予測差分符号化パラメータに含まれる変換ブロック分割情報を参照して、減算部６から出力された予測差分信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を変換ブロック単位に実施して変換係数を算出するとともに、その予測差分符号化パラメータに含まれる量子化パラメータを参照して、その変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する処理を実施する。

変換・量子化部７は変換係数を量子化する際、上記量子化パラメータから算出される量子化ステップサイズを変換係数毎にスケーリングする量子化マトリクスを用いて、変換係数の量子化処理を実施するようにしてもよい。
ここで、図１０は４×４ＤＣＴの量子化マトリクスの一例を示す説明図である。
図中の数字は、各変換係数の量子化ステップサイズのスケーリング値を示している。
例えば、符号化ビットレートを抑制するために、図１０に示すように、高域の変換係数程、量子化ステップサイズを大きな値にスケーリングすることで、複雑な画像領域等で発生する高域の変換係数を抑制して符号量を抑えつつ、主観品質に大きく影響する低域の係数の情報を落とさずに符号化することができる。
このように、変換係数毎の量子化ステップサイズを制御したい場合には量子化マトリクスを用いればよい。

また、量子化マトリクスは、各直交変換サイズで色信号や符号化モード（イントラ符号化かインター符号化か）毎に独立したマトリクスを使用することができ、初期値として予め画像符号化装置及び画像復号装置で予め共通に用意されている量子化マトリクスや既に符号化された量子化マトリクスの中から選択するか、新しい量子化マトリクスを用いるかをそれぞれ選択することができる。
したがって、変換・量子化部７は、各直交変換サイズに対して色信号や符号化モード毎に、新しい量子化マトリクスを用いるか否かを示すフラグ情報を符号化すべき量子化マトリクスパラメータに設定する。

さらに、新しい量子化マトリクスを用いる場合には、図１０に示すような量子化マトリクスの各スケーリング値を符号化すべき量子化マトリクスパラメータに設定する。
一方、新しい量子化マトリクスを用いない場合には、初期値として、画像符号化装置及び画像復号装置で、予め共通に用意されている量子化マトリクス、または、既に符号化された量子化マトリクスの中から、使用するマトリクスを特定するインデックスを符号化すべき量子化マトリクスパラメータに設定する。ただし、参照可能な既に符号化された量子化マトリクスが存在しない場合、画像符号化装置及び画像復号装置で予め共通に用意されている量子化マトリクスのみ選択可能となる。

逆量子化・逆変換部８は符号化制御部２により決定された予測差分符号化パラメータに含まれる量子化パラメータ及び変換ブロック分割情報を参照して、変換ブロック単位に変換・量子化部７から出力された圧縮データを逆量子化するとともに、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、減算部６から出力された予測差分信号に相当する局所復号予測差分信号を算出する処理を実施する。なお、変換・量子化部７が量子化マトリクスを用いて、量子化処理を実施している場合には、逆量子化処理時においても、その量子化マトリクスを参照して、対応する逆量子化処理を実施する。
加算部９は逆量子化・逆変換部８により算出された局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像、または、動き補償予測部５により生成されたインター予測画像とを加算して、ブロック分割部１から出力された符号化ブロックに相当する局所復号画像を算出する処理を実施する。

イントラ予測用メモリ１０は加算部９により算出された局所復号画像を格納する記録媒体である。
ループフィルタ部１１は加算部９により算出された局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を出力する処理を実施する。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。

ただし、ループフィルタ部１１は、上記のデブロッキングフィルタ処理、画素適応オフセット処理及び適応フィルタ処理のそれぞれについて、処理を行うか否かを決定し、各処理の有効フラグをヘッダ情報として可変長符号化部１３に出力する。なお、上記のフィルタ処理を複数使用する際は、各フィルタ処理を順番に実施する。図１１は複数のフィルタ処理を用いる場合のループフィルタ部１１の構成例を示している。
一般に使用するフィルタ処理の種類が多いほど、画像品質は向上するが、一方で処理負荷は高くなる。即ち、画像品質と処理負荷はトレードオフの関係にある。また、各フィルタ処理の画像品質改善効果はフィルタ処理対象画像の特性によって異なる。したがって、画像符号化装置が許容する処理負荷や符号化処理対象画像の特性にしたがって使用するフィルタ処理を決めればよい。例えば、図１１の構成よりも処理不可を削減したい場合、デブロッキングフィルタ処理と画素適応オフセット処理のみで構成するといったことが考えられる。

ここで、デブロッキングフィルタ処理では、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更することができる。変更する場合には、そのパラメータをヘッダ情報として可変長符号化部１３に出力する。
画素適応オフセット処理では、最初に、画像を複数のブロックに分割し、そのブロック単位に、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、予め用意されている複数のクラス分類手法の中から、１つのクラス分類手法を選択する。
次に、選択したクラス分類手法によって、ブロック内の各画素をクラス分類し、クラス毎に符号化歪みを補償するオフセット値を算出する。
最後に、局所復号画像の輝度値に対して、そのオフセット値を加算する処理を行うことで局所復号画像の画像品質を改善する。
したがって、画素適応オフセット処理では、ブロック分割情報、各ブロックのクラス分類手法を示すインデックス、ブロック単位の各クラスのオフセット値を特定するオフセット情報をヘッダ情報として可変長符号化部１３に出力する。
なお、画素適応オフセット処理において、例えば、最大符号化ブロックといった固定サイズのブロック単位に常に分割して、そのブロック毎にクラス分類手法を選択して、クラス毎の適応オフセット処理を行ってもよい。この場合、上記ブロック分割情報が不要となり、ブロック分割情報に要する符号量分だけ符号量が削減され、符号化効率を高めることができる。

適応フィルタ処理では、局所復号画像を所定の手法でクラス分類し、各クラスに属する領域（局所復号画像）毎に、重畳されている歪みを補償するフィルタを設計し、そのフィルタを用いて、当該局所復号画像のフィルタ処理を実施する。
そして、クラス毎に設計したフィルタをヘッダ情報として可変長符号化部１３に出力する。
クラス分類手法としては、画像を空間的に等間隔に区切る簡易な手法や、ブロック単位に画像の局所的な特性（分散など）に応じて分類する手法がある。
また、適応フィルタ処理で使用するクラス数は、予め画像符号化装置及び画像復号装置に共通の値として設定してもよいし、符号化すべきパラメータとしてもよい。
前者と比較して後者の方が、使用するクラス数を自由に設定することができるため、画像品質改善効果が上がるが、一方でクラス数を符号化するために、その分の符号量が増加する。

なお、画素適応オフセット処理及び適応フィルタ処理を行う場合には、図１１に示すように、映像信号をループフィルタ部１１で参照する必要があるため、映像信号がループフィルタ部１１に入力されるように、図１の画像符号化装置を変更する必要がある。

動き補償予測フレームメモリ１２はループフィルタ部１１のフィルタ処理後の局所復号画像を格納する記録媒体である。
可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部２の出力信号（最大符号化ブロック内のブロック分割情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ又はインター予測パラメータ）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して符号化データを生成する。
また、可変長符号化部１３は、図１３に例示するように、符号化ビットストリームのヘッダ情報として、シーケンスレベルヘッダ、ピクチャレベルヘッダを符号化し、ピクチャデータと共に符号化ビットストリームを生成する。

ただし、ピクチャデータは１以上のスライスデータから構成され、各スライスデータはスライスレベルヘッダと当該スライス内にある上記符号化データをまとめたものである。
シーケンスレベルヘッダは、画像サイズ、色信号フォーマット、輝度信号や色差信号の信号値のビット深度、シーケンス単位でのループフィルタ部１１における各フィルタ処理（適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理）の有効フラグ情報、量子化マトリクスの有効フラグ情報など、一般的にシーケンス単位に共通となるヘッダ情報をまとめたものである。
ピクチャレベルヘッダは、参照するシーケンスレベルヘッダのインデックスや動き補償時の参照ピクチャ数、エントロピー符号化の確率テーブル初期化フラグ、量子化マトリクスパラメータなど、ピクチャ単位で設定するヘッダ情報をまとめたものである。

スライスレベルヘッダは、当該スライスがピクチャのどの位置にあるかを示す位置情報、どのピクチャレベルヘッダを参照するかを示すインデックス、スライスの符号化タイプ（オールイントラ符号化、インター符号化など）、ループフィルタ部１１における各フィルタ処理（適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理）を行うか否かを示すフラグ情報などのスライス単位のパラメータをまとめたものである。

ここで、入力信号がインタレース映像信号であり、図３３の符号化構造を取る場合、図３３の表示順で番号３２（復号（符号化）順で番号１８）の灰色で示されるトップ・フィールドをランダムアクセス可能なピクチャに設定することで、符号化ビットストリームの復号開始位置に関わらずに常にトップ・フィールドから正しく再生できる符号化ビットストリームを生成することができる。
しかし、非特許文献１ではリーディング・ピクチャは必ずトレイリング・ピクチャよりも先に復号（符号化）されなくてはならないと定義されており、図３３の表示順で番号３２の灰色で示されるトップ・フィールドはＣＲＡピクチャ等の非特許文献１で定義されるランダムアクセスを可能とするピクチャ（非特許文献１記載のＩｎｔｒａ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ（ＩＲＡＰ）ピクチャ）として符号化することはできない。ここで、非特許文献１の仕様を準拠したまま、図３３の表示順で番号３２の灰色で示されるトップ・フィールドをランダムアクセス可能なピクチャに設定する手法について下記に説明する。

具体的には、表示順で番号３２の灰色で示されるトップ・フィールドをｎｏｎ-ＩＲＡＰピクチャ（非ＩＲＡＰピクチャ）とし、イントラ予測のみを用いて符号化する。そして、例えば非特許文献１記載のＳｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ（ＳＥＩ）等の符号化ビットストリームの補足情報として、図３３の表示順で番号３２の灰色で示されるトップ・フィールドがランダムアクセスポイントであるという情報を符号化する。例えば、非特許文献１記載のＳＥＩの一種である図３８に示すシンタックスを有するＲｅｃｏｖｅｒｙ Ｐｏｉｎｔ ＳＥＩ Ｍｅｓｓａｇｅによって、図３３の表示順で番号３２の灰色で示されるトップ・フィールドをリカバリ・ポイント（ｒｅｃｏｖｅｒｙ＿ｐｏｃ＿ｃｎｔ）のピクチャに設定する。また、このとき、トレイリング・ピクチャに対する制限と同様に、該リカバリ・ポイント・ピクチャ（表示順で番号３２の灰色で示されるトップ・フィールド）より符号化（復号）順も表示順も後となるピクチャは、該リカバリ・ポイント・ピクチャより表示順で前のピクチャを予測参照することを禁じることとする。しかし、該リカバリ・ポイント・ピクチャは、ｎｏｎ−ＩＲＡＰピクチャであるため、非特許文献１の仕様準拠の下であっても、リーディング・ピクチャとトレイリング・ピクチャの関係として、リーディング・ピクチャは必ずトレイリング・ピクチャよりも先に復号（符号化）されなくてはならないという制約は無い。したがって、表示順で番号３２のトップ・フィールドを符号化した直後にトレイリング・ピクチャに相当する表示順で番号３３のボトム・フィールドを符号化してから、リーディング・ピクチャに相当する該リカバリ・ポイント・ピクチャより符号化（復号）順は後で表示順は前のピクチャを符号化することが可能となる。すなわち、図３３で示される符号化（復号）順で符号化することができる。このようにすることで、ＣＲＡピクチャ、リーディング・ピクチャ、トレイリング・ピクチャを用いることなく、図３３のような双方向予測を用いたフィールド・ペア構造において、符号化ビットストリームの復号開始位置に関わらずに常にトップ・フィールドから正しく再生できる符号化ビットストリームを生成することができる。

ここで、Ｒｅｃｏｖｅｒｙ Ｐｏｉｎｔ ＳＥＩ Ｍｅｓｓａｇｅの具体的な使用方法の一例について述べる。まず、Ｒｅｃｏｖｅｒｙ Ｐｏｉｎｔ ＳＥＩ Ｍｅｓｓａｇｅをランダムアクセス可能としたいピクチャ（図３３の表示順で番号３２の灰色で示されるトップ・フィールド）の上位ヘッダとして付与する。すなわち、上記ランダムアクセス可能としたいピクチャのアクセス・ユニット内に上記ＳＥＩを付与する。ここで、アクセス・ユニットとは、非特許文献１に定義されている、一つのピクチャの符号化データを含むデータアクセスの単位である。さらに、付与したＲｅｃｏｖｅｒｙ Ｐｏｉｎｔ ＳＥＩ Ｍｅｓｓａｇｅについて、図３８に示す各シンタックスの値を下記の通りとする。
・ｒｅｃｏｖｅｒｙ＿ｐｏｃ＿ｃｎｔ ＝ ０
・ｅｘａｃｔ＿ｍａｔｃｈ＿ｆｌａｇ ＝ １
・ｂｒｏｋｅｎ＿ｌｉｎｋ＿ｆｌａｇ ＝ ０
ここで、ｒｅｃｏｖｅｒｙ＿ｐｏｃ＿ｃｎｔが０であることは、本ＳＥＩを付与したアクセス・ユニットのピクチャがリカバリ・ポイント・ピクチャであることを示しており、ｅｘａｃｔ＿ｍａｔｃｈ＿ｆｌａｇが１であることは、リカバリ・ポイントから復号した場合に表示順がリカバリ・ポイント・ピクチャより後のピクチャが正しく復号できることを示している。これより、本ＳＥＩが付与されたアクセス・ユニットのピクチャがランダムアクセス可能なリカバリ・ポイント・ピクチャであることを示す。また、リカバリ・ポイントの前にあるＩＲＡＰピクチャから復号を開始した場合に、リカバリ・ポイント・ピクチャより符号化（復号）順が後のピクチャを正しく復号できるため、ｂｒｏｋｅｎ＿ｌｉｎｋ＿ｆｌａｇを０としている（本フラグが１である場合は正しく復号できないことを示し、本フラグが０である場合は、どうなるか何も明言していないことを示す）。
さらに、バッファ管理情報として各ＩＲＡＰピクチャのアクセス・ユニット内にＳＥＩとしてＢｕｆｆｅｒｉｎｇ ｐｅｒｉｏｄ ＳＥＩ ｍｅｓｓａｇｅを付与する場合、ＩＲＡＰピクチャのアクセス・ユニットと同様にリカバリ・ポイント・ピクチャのアクセス・ユニット内にもＢｕｆｆｅｒｉｎｇ ｐｅｒｉｏｄ ＳＥＩ ｍｅｓｓａｇｅを付与する。このようにすることで、ＩＲＡＰピクチャの場合と同じバッファ管理ができる。

なお、図３８の説明では、ランダムアクセスポイントであるという情報をＳＥＩに設定する場合について説明したが、上位ヘッダで設定できれば、これに限られない。具体的には、ＩＲＡＰピクチャに属する新しいピクチャ・タイプとして、連続する１つのトレイリング・ピクチャのみリーディング・ピクチャより先に符号化可能とする特別なＩＲＡＰピクチャを定義して、表示順で番号３２のトップ・フィールドをその新しいＩＲＡＰピクチャで符号化する手法や、リーディング・ピクチャよりも先に符号化できる特別なトレイリング・ピクチャを新たに定義して、表示順で番号３２のトップ・フィールドをＣＲＡピクチャ等のＩＲＡＰピクチャとして符号化すると共に表示順で番号３３のボトム・フィールドを上記で定義した特別なトレイリング・ピクチャとして符号化する手法がある。また、上記符号化処理、上記多重化処理を行うのは、図１における可変長符号化部１３が備える符号化手段及び多重化手段である。

特別なＩＲＡＰピクチャや特別なトレイリング・ピクチャを定義する具体例の一つとしては、非特許文献１において各ピクチャの定義を示しているＮＡＬユニットに対して、上記特別なピクチャであることを示す新しいＮＡＬユニットをそれぞれ定義する方法がある。

なお、図３３の例では、トップ・フィールドから復号する構成になっているが、常にボトム・フィールドから先に符号化するように構成した場合においても、上記の通り符号化ビットストリームを構成することで、符号化ビットストリームの復号開始位置に関わらずに常にボトム・フィールドから正しく再生できる符号化ビットストリームを生成することができる。

また、双方向予測を用いたフィールド・ペア構造について、図３３は一例に過ぎず、様々な参照構造が構成でき、その構成によらず上記の通り、ランダムアクセス可能なピクチャを非ＩＲＡＰピクチャとして符号化し、どのピクチャがランダムアクセス可能なピクチャであるかの情報をＳＥＩ等の補足情報として用いて符号化ビットストリーム生成を行うことで、符号化ビットストリームの復号開始位置に関わらずに常にトップ・フィールドから正しく再生できる符号化ビットストリームを生成することができる。例えば、図３４の表示順で番号３２の灰色で示されるトップ・フィールドについても同様にランダムアクセスポイントに設定できる。また、図３５、図３６に示すような、非特許文献１記載のｔｅｍｐｏｒａｌ ＩＤを用いて表示時間方向にスケーラブル性を有する参照構造を構成する場合においても、上記と同様に符号化ビットストリームを構成することで、ｔｅｍｐｏｒａｌ ＩＤ＝０のレイヤにおいて、符号化ビットストリームの復号開始位置に関わらずに常にボトム・フィールドから正しく再生できる符号化ビットストリームを生成することができる。

また、上記ではランダムアクセスが実施可能であることを示す情報を符号化する例について説明したが、このような情報を符号化せずに、フィールド・ペア構造においてはトップ・フィールドがＩＲＡＰピクチャであった場合、ペアとなるボトム・フィールドのみリーディング・ピクチャよりも先に符号化（復号）できるというようにリーディング・ピクチャとトレイリング・ピクチャの制約を変更し、ランダムアクセス可能なピクチャを常にＩＲＡＰピクチャとして符号化することでランダムアクセスを実現してもよい。

図１の例では、画像符号化装置の構成要素であるブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、イントラ予測用メモリ１０、ループフィルタ部１１、動き補償予測フレームメモリ１２、可変長符号化部１３及びスライス分割部１４のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、画像符号化装置がコンピュータで構成される場合、ブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１、可変長符号化部１３及びスライス分割部１４の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による画像符号化装置の処理内容（画像符号化方法）を示すフローチャートである。

図３はこの発明の実施の形態１による画像復号装置を示す構成図である。
図３において、可変長復号部３１は図１の画像符号化装置により生成された符号化ビットストリームを入力すると、そのビットストリームからシーケンスレベルヘッダ、ピクチャレベルヘッダ、スライスレベルヘッダなどの各ヘッダ情報を復号するとともに、その符号化ビットストリームから、階層的に分割されている各々の符号化ブロックの分割状況を示すブロック分割情報を可変長復号する。このとき、ＹＵＶ４：４：４フォーマット信号やＲＧＢ４：４：４フォーマット信号の各信号をモノクローム画像信号とみなしてそれぞれ独立にモノクローム（ＹＵＶ４：０：０）符号化していることを示す情報がヘッダ情報に含まれる場合、各色信号の符号化ビットストリームに対してそれぞれ独立に復号処理することができる。

このとき、非特許文献１記載のＳｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ（ＳＥＩ）等の補足情報が含まれる場合において、その補足情報が、特定のピクチャがランダムアクセスポイントであるという情報を含む場合、当該ピクチャから復号することでランダムアクセスが可能となる。例えば、図３３の符号化構造において、非特許文献１の仕様準拠の下では、表示順で番号３２の灰色で示されるトップ・フィールドが非ＩＲＡＰピクチャとして復号された場合、この表示順で番号３２の灰色で示されるトップ・フィールドはランダムアクセス可能なピクチャとして認識されないが、非特許文献１記載のＳＥＩの一種である図３８に示すシンタックスを有するＲｅｃｏｖｅｒｙ Ｐｏｉｎｔ ＳＥＩ Ｍｅｓｓａｇｅによって、表示順で番号３２の灰色で示されるトップ・フィールドがリカバリ・ポイント（ｒｅｃｏｖｅｒｙ＿ｐｏｃ＿ｃｎｔ）に設定されていることを示している場合、この表示順で番号３２の灰色で示されるトップ・フィールドはランダムアクセス可能なピクチャとして認識することができる。更に、この表示順で番号３２の灰色で示されるトップ・フィールドは、非ＩＲＡＰピクチャであるため、非特許文献１の仕様準拠の下であっても、リーディング・ピクチャ及びトレイリング・ピクチャの制約であるリーディング・ピクチャは必ずトレイリング・ピクチャよりも先に復号（符号化）されなくてはならないという処理は必須ではなく、表示順で番号３２のトップ・フィールドを復号した直後にトレイリング・ピクチャである表示順で番号３３のボトム・フィールドを復号してからリーディング・ピクチャを復号するように生成した符号化ビットストリームを正しく復号することができ、上記トップ・フィールドから復号を開始しても表示順でそれ以降のフィールドを正しく復号して再生することができる。

Ｒｅｃｏｖｅｒｙ Ｐｏｉｎｔ ＳＥＩ Ｍｅｓｓａｇｅの具体的な一例としては、ランダムアクセス可能としたいピクチャ（表示順で番号３２の灰色で示されるトップ・フィールド）のアクセス・ユニット内で上記ＳＥＩが復号され、図３８に示す各シンタックスの値が下記の通り復号される場合が挙げられる。
・ｒｅｃｏｖｅｒｙ＿ｐｏｃ＿ｃｎｔ ＝ ０
・ｅｘａｃｔ＿ｍａｔｃｈ＿ｆｌａｇ ＝ １
・ｂｒｏｋｅｎ＿ｌｉｎｋ＿ｆｌａｇ ＝ ０
上記シンタックスが示す意味は画像符号化装置の説明で述べたとおりであり、このＳＥＩを補足情報として復号することで対象ピクチャがランダムアクセス可能であることが判明する。
また、ＳＥＩ等の補足情報としてではなく、このような符号化構造を許容する特別なピクチャを新しいＮＡＬユニットのタイプ等として定義して符号化する画像符号化装置の場合においては、対応する画像復号装置も同様に特別なピクチャを新しいＮＡＬユニットのタイプ等として定義するように構成し、上記情報を復号することで番号３２のトップ・フィールドがランダムアクセス可能であることを認識することができる。

なお、図３３の例では、トップ・フィールドから復号する構成になっているが、常にボトム・フィールドから先に符号化するように構成した符号化ビットストリームにおいても、非ＩＲＡＰピクチャとＳＥＩ等の補足情報によって、補足情報によって示される特定のボトム・フィールドから復号した際に、表示順で本特定のボトム・フィールド以降のフィールドを正しく復号することができる。

また、図３５、図３６に示すような、非特許文献１記載のｔｅｍｐｏｒａｌ ＩＤによって表示時間方向にスケーラブル性を有する参照構造を構成する場合においても、上記と同様に番号３２の灰色で示されるトップ・フィールドが非ＩＲＡＰピクチャであり、ＳＥＩ等の補足情報によって番号３２の灰色で示されるトップ・フィールドがランダムアクセスポイントであるという情報が復号される場合、ｔｅｍｐｏｒａｌ ＩＤ＝０のレイヤにおいて、符号化ビットストリームの復号開始位置に関わらずに常にボトム・フィールドから正しく復号することができる。

また、上記ではランダムアクセス可能であることを示す情報が符号化された例について説明したが、このような情報を符号化せずに、フィールド・ペア構造においてはトップ・フィールドがＩＲＡＰピクチャであった場合、ペアとなるボトム・フィールドのみリーディング・ピクチャよりも先に復号できるというようにリーディング・ピクチャとトレイリング・ピクチャの制約を変更した画像符号化装置の場合、対応する画像復号装置は同一の制約を定めることとし、これによって常にＩＲＡＰピクチャを用いたランダムアクセスを実現する。

上記ヘッダ情報に含まれる量子化マトリクスの有効フラグ情報が“有効”を示す場合、可変長復号部３１は量子化マトリクスパラメータを可変長復号し、量子化マトリクスを特定する。具体的には、各直交変換サイズの色信号や符号化モード毎に、量子化マトリクスパラメータが初期値として、画像符号化装置及び画像復号装置で予め共通に用意されている量子化マトリクス、または、既に復号された量子化マトリクスである（新しい量子化マトリクスでない）ことを示す場合は、上記マトリクスの内のどの量子化マトリクスであるかを特定するインデックス情報を参照して量子化マトリクスを特定し、量子化マトリクスパラメータが新しい量子化マトリクスを用いることを示す場合は、量子化マトリクスパラメータに含まれる量子化マトリクスを使用する量子化マトリクスとして特定する。

また、可変長復号部３１は、各ヘッダ情報を参照して、スライス分割状態を特定するとともに、各スライスのスライスデータに含まれる最大符号化ブロックを特定し、ブロック分割情報を参照して、最大符号化ブロックを階層的に分割して復号処理を行う単位である符号化ブロックを特定し、各々の符号化ブロックに係る圧縮データ、符号化モード、イントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）、インター予測パラメータ（符号化モードがインター符号化モードである場合）、動きベクトル（符号化モードがインター符号化モードである場合）及び予測差分符号化パラメータを可変長復号する処理を実施する。

逆量子化・逆変換部３２は可変長復号部３１により可変長復号された予測差分符号化パラメータに含まれる量子化パラメータ及び変換ブロック分割情報を参照して、可変長復号部３１により可変長復号された圧縮データを変換ブロック単位に逆量子化するとともに、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部８から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する処理を実施する。

ここで、上記変換ブロック分割情報から、符号化ブロックにおける変換ブロックの分割状態を特定する。例えば、ＹＵＶ４：２：０フォーマットの信号の場合、変換ブロックサイズは、図２０に示すように、符号化ブロックを四分木状に階層分割することによって決定される。

輝度信号については、例えば、図２０に示すように、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。

色差信号については、図２０に示すように、入力信号フォーマットがＹＵＶ４：２：０信号である場合、輝度信号と同様に、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。

図２１に示すように、入力信号フォーマットがＹＵＶ４：２：２信号である場合、輝度信号と同様の四分木状の階層分割を行う。また、分割したブロックの形状が、垂直方向の画素数が水平方向の画素数の２倍になる長方形となるため、さらに、分割したブロックを上下に二分することで、ＹＵＶ４：２：０信号での色差信号と同じブロックサイズ（輝度信号の変換ブロックの縦横ともに半分のサイズ）の変換ブロック２つで構成するようにする。

図２２に示すように、入力信号フォーマットがＹＵＶ４：４：４信号である場合、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。

また、可変長復号部３１により可変長復号された各ヘッダ情報が、当該スライスで量子化マトリクスを用いて、逆量子化処理を実施することを示している場合、量子化マトリクスを用いて逆量子化処理を行う。
具体的には、各ヘッダ情報から特定される量子化マトリクスを用いて逆量子化処理を行う。

切換スイッチ３３は可変長復号部３１により可変長復号された符号化モードがイントラ符号化モードであれば、可変長復号部３１により可変長復号されたイントラ予測パラメータをイントラ予測部３４に出力し、可変長復号部３１により可変長復号された符号化モードがインター符号化モードであれば、可変長復号部３１により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部３５に出力する処理を実施する。

イントラ予測部３４は可変長復号部３１により可変長復号されたブロック分割情報から特定される符号化ブロックに係る符号化モードがイントラ符号化モードである場合、イントラ予測用メモリ３７に格納されている復号画像を参照しながら、切換スイッチ３３から出力されたイントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施してイントラ予測画像を生成する処理を実施する。なお、イントラ予測部３４はイントラ予測手段を構成している。

即ち、イントラ予測部３４は、輝度信号については、輝度信号に対する上記イントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施して、輝度信号の予測画像を生成する。
一方、色差信号については、色差信号のイントラ予測パラメータが、輝度信号に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合（イントラ予測パラメータが輝度色差共通イントラ予測モード（ＤＭモード）を示している場合）、輝度信号と同じフレーム内予測を実施して、色差信号の予測画像を生成する。

また、色差信号のイントラ予測パラメータが、垂直方向予測モード又は水平方向予測モードを示している場合、色差信号に対する方向性予測を実施して、色差信号の予測画像を生成する。
また、色差信号のイントラ予測パラメータが、輝度相関利用色差信号予測モード（ＬＭモード）を示している場合、予測画像の生成対象ブロックの上及び左に隣接している複数の画素の輝度信号及び色差信号を用いて、輝度信号と色差信号の相関を示す相関パラメータを算出し、その相関パラメータと予測処理対象の色差信号のブロックに対応する輝度信号を用いて、色差信号の予測画像を生成する。

なお、入力信号フォーマットがＹＵＶ４：４：４信号である場合には、上記ＤＭモード又は上記ＬＭモードの処理を実施し、その他の予測モードは選択しないように画像符号化装置が構成されている場合、その画像符号化装置から生成される符号化ビットストリームが復号できるように画像復号装置も同様の構成とする。
ＹＵＶ４：４：４信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。

また、入力信号フォーマットがＹＵＶ４：２：２信号である場合、図２７に示すように、輝度信号が正方ブロックであれば、色差信号は輝度信号と比較して水平方向の画素数が１／２となる長方形のブロックとなる。したがって、図２８に示すように、ＹＵＶ４：４：４信号をＹＵＶ４：２：２信号に変換した際に、輝度信号と色差信号で同一方向の予測となるようにするためには、ＹＵＶ４：２：２信号上では、垂直方向予測と水平方向予測以外の方向性予測の場合には、色差信号の予測方向が輝度信号の予測方向と異なることとなる。
具体的には、図２９に示すように、輝度信号の予測方向ベクトルをｖ_Ｌ＝（ｄｘ_Ｌ，ｄｙ_Ｌ）とした場合、色差信号の予測方向ベクトルは、ｖ_Ｃ＝（ｄｘ_Ｌ／２，ｄｙ_Ｌ）となる。即ち、図３０に示すように、予測方向の角度をθとした場合、輝度信号の予測方向の角度をθ_Ｌ、色差信号の予測方向の角度をθ_Ｃとして、ｔａｎθ_Ｃ＝２ｔａｎθ_Ｌの関係となる予測方向で予測する必要がある。

したがって、輝度信号と色差信号で同一方向の予測を行う上記ＤＭモードを正しく実施できるようにするために、入力信号フォーマットがＹＵＶ４：２：２信号である場合、輝度信号に使用したイントラ予測モードのインデックスを色差信号の予測に用いるイントラ予測モードのインデックスに変換し、変換後のインデックスに対応するイントラ予測モードによる色差信号の予測処理を実施する。具体的には、インデックスの変換テーブルを用意し、その変換テーブルを参照することで、インデックスを変換するように構成してもよいし、予め変換式を用意して、その変換式に従ってインデックスを変換するように構成してもよい。
このように構成することで、方向性予測処理自体を変更することなく、インデックスの変換のみで、ＹＵＶ４：２：２信号のフォーマットに応じた色差信号の適切な予測を実施することができる。

動き補償部３５は可変長復号部３１により可変長復号されたブロック分割情報から特定される符号化ブロックに係る符号化モードがインター符号化モードである場合、動き補償予測フレームメモリ３９に格納されている復号画像を参照しながら、切換スイッチ３３から出力された動きベクトルとインター予測パラメータを用いたインター予測処理（動き補償予測処理）を実施してインター予測画像を生成する処理を実施する。

加算部３６は逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像、または、動き補償部３５により生成されたインター予測画像とを加算して、図１の加算部９から出力された局所復号画像と同一の復号画像を算出する処理を実施する。

イントラ予測用メモリ３７は加算部３６により算出された復号画像をイントラ予測処理で用いる参照画像として格納する記録媒体である。
ループフィルタ部３８は加算部３６により算出された復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の復号画像を出力する処理を実施する。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
ただし、ループフィルタ部３８は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理のそれぞれについて、可変長復号部３１により可変長復号された各ヘッダ情報を参照して、当該スライスで行うか否かを特定する。
このとき、２つ以上のフィルタ処理を行う場合において、例えば、画像符号化装置のループフィルタ部１１が図１１のように構成されていれば、図１２に示すようにループフィルタ部３８が構成される。当然、画像符号化装置のループフィルタ部１１がデブロッキングフィルタ処理と画素適応オフセット処理から構成されていれば、ループフィルタ部３８もデブロッキングフィルタ処理と画素適応オフセット処理で構成される。

ここで、デブロッキングフィルタ処理では、可変長復号部３１により可変長復号されたヘッダ情報を参照し、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更する情報が存在する場合、その変更情報に基づいて、デブロッキングフィルタ処理を実施する。変更情報がない場合は、予め定められた手法に従って行う。

画素適応オフセット処理では、可変長復号部３１により可変長復号された画素適応オフセット処理のブロック分割情報に基づいて復号画像を分割し、そのブロック単位に、可変長復号部３１により可変長復号されたブロック単位のクラス分類手法を示すインデックスを参照して、そのインデックスが“オフセット処理を行わない”ことを示すインデックスでない場合、ブロック単位にブロック内の各画素を上記インデックスが示すクラス分類手法に従ってクラス分類する。
なお、クラス分類手法の候補として、ループフィルタ部１１の画素適応オフセット処理のクラス分類手法の候補と同一のものが予め用意されている。
そして、ブロック単位の各クラスのオフセット値を特定するオフセット情報を参照して、復号画像の輝度値にオフセットを加算する処理を行う。

ただし、画像符号化装置のループフィルタ部１１の画素適応オフセット処理において、ブロック分割情報は符号化せずに、常に画像を固定サイズのブロック単位（例えば、最大符号化ブロック単位）に分割し、そのブロック毎にクラス分類手法を選択して、クラス毎の適応オフセット処理を行うように構成されている場合、ループフィルタ部３８においても、ループフィルタ部１１と同一の固定サイズのブロック単位に画素適応オフセット処理を実施する。

適応フィルタ処理では、可変長復号部３１により可変長復号されたクラス毎のフィルタを用いて、図１の画像符号化装置と同一の手法でクラス分類した後に、そのクラス分類情報に基づいてフィルタ処理を行う。
動き補償予測フレームメモリ３９はループフィルタ部３８のフィルタ処理後の復号画像をインター予測処理（動き補償予測処理）で用いる参照画像として格納する記録媒体である。

図３の例では、画像復号装置の構成要素である可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６、イントラ予測用メモリ３７、ループフィルタ部３８及び動き補償予測フレームメモリ３９のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、画像復号装置がコンピュータで構成される場合、可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６及びループフィルタ部３８の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図４はこの発明の実施の形態１による画像復号装置の処理内容（画像復号方法）を示すフローチャートである。

次に動作について説明する。
この実施の形態１では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行って符号化ビットストリームを生成する画像符号化装置と、その画像符号化装置から出力される符号化ビットストリームを復号する画像復号装置について説明する。

図１の画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズのブロックに分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。

符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。

この実施の形態１では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。

最初に、図１の画像符号化装置の処理内容を説明する。
まず、符号化制御部２は、符号化対象となるピクチャ（カレントピクチャ）のスライス分割状態を決めると共に、ピクチャの符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する（図２のステップＳＴ１）。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。

分割階層数の上限の決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一の階層数を定める方法や、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定する方法などがある。
なお、上記最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限は、シーケンスレベルヘッダなどに符号化してもよいし、符号化せずに画像復号装置側も同一の決定処理を行うようにしてもよい。

前者はヘッダ情報の符号量が増加するが、画像復号装置側で上記決定処理を行わずに済むため、画像復号装置の処理負荷を抑えることができる上、画像符号化装置側で最適な値を探索して送ることができる。
後者は反対に、画像復号装置側で上記決定処理を行うため、画像復号装置の処理負荷が増加するが、ヘッダ情報の符号量は増加しない。
また、上記最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限をシーケンスレベルヘッダなどに符号化する場合、分割階層数の上限の代わりに、符号化ブロックの最小ブロックサイズを符号化するようにしてもよい。即ち、最大符号化ブロックを分割階層数の上限まで分割したときのブロックのサイズが、符号化ブロックの最小ブロックサイズであるため、画像復号装置側において、最大符号化ブロックのサイズと符号化ブロックの最小ブロックサイズから分割階層数の上限を特定することができる。

また、符号化制御部２は、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。
即ち、符号化制御部２は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
符号化モードには、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」と称する）と、１つないし複数のインター符号化モード（総称して、「ＩＮＴＥＲ」と称する）とがあり、符号化制御部２は、当該ピクチャで利用可能な全ての符号化モード、または、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。

ただし、後述するブロック分割部１により階層的に分割される各々の符号化ブロックは、さらに予測処理を行う単位である１つないし複数の予測ブロックに分割され、予測ブロックの分割状態も符号化モードの中に情報として含まれる。即ち、符号化モードは、どのような予測ブロック分割を持つイントラまたはインター符号化モードかを識別するインデックスである。
符号化制御部２による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。

また、符号化制御部２は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロック分割状態を決定するとともに、予測処理が実施される際に用いられる予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を決定する。
ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択する。

ここで、図２０は４：２：０フォーマットの信号における輝度信号及び色差信号の圧縮処理（変換処理、量子化処理）を実施する際の変換ブロックサイズを示す説明図である。
変換ブロックサイズは、図２０に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。

輝度信号については、例えば、図２０に示すように、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。

色差信号については、図２０に示すように、入力信号フォーマットがＹＵＶ４：２：０信号である場合、輝度信号と同様に、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。

図２１に示すように、入力信号フォーマットがＹＵＶ４：２：２信号である場合、輝度信号と同様の四分木状の階層分割を行う。また、分割したブロックの形状が、垂直方向の画素数が水平方向の画素数の２倍になる長方形となるため、さらに、分割したブロックを上下に二分することで、ＹＵＶ４：２：０信号での色差信号と同じブロックサイズ（輝度信号の変換ブロックの縦横ともに半分のサイズ）の変換ブロック２つで構成するようにする。
また、図２２に示すように、入力信号フォーマットがＹＵＶ４：４：４信号である場合、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。

符号化制御部２は、符号化ブロックにおける変換ブロックの分割情報を示す変換ブロック分割情報や、変換係数の量子化を行う際の量子化ステップサイズを規定する量子化パラメータなどを含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。
また、符号化制御部２は、イントラ予測パラメータを必要に応じてイントラ予測部４に出力する。
また、符号化制御部２は、インター予測パラメータを必要に応じて動き補償予測部５に出力する。

スライス分割部１４は、入力画像として映像信号を入力すると、その入力画像を符号化制御部２により決定されたスライス分割情報にしたがって１以上の部分画像であるスライスに分割する。
ブロック分割部１は、スライス分割部１４から各スライスを入力する毎に、そのスライスを符号化制御部２により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部２により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。

ここで、図５は最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。
図５において、最大符号化ブロックは、「第０階層」と記されている輝度成分が（Ｌ^０，Ｍ^０）のサイズを有する符号化ブロックである。
最大符号化ブロックを出発点として、４分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
深さｎにおいては、符号化ブロックはサイズ（Ｌ^ｎ，Ｍ^ｎ）の画像領域である。
ただし、Ｌ^ｎとＭ^ｎは、同じであってもよいし、異なっていてもよいが、図５では、Ｌ^ｎ＝Ｍ^ｎのケースを示している。

以降、符号化制御部２により決定される符号化ブロックサイズは、符号化ブロックの輝度成分におけるサイズ（Ｌ^ｎ，Ｍ^ｎ）と定義する。
４分木分割を行うため、常に、（Ｌ^ｎ＋１，Ｍ^ｎ＋１）＝（Ｌ^ｎ／２，Ｍ^ｎ／２）が成立する。
なお、ＲＧＢ信号など、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌ^ｎ，Ｍ^ｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは（Ｌ^ｎ／２，Ｍ^ｎ／２）になる。

以降、第ｎ階層の符号化ブロックをＢ^ｎで表し、符号化ブロックＢ^ｎで選択可能な符号化モードをｍ（Ｂ^ｎ）で表すものとする。
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂ^ｎ）は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。

符号化ブロックＢ^ｎは、図５に示すように、ブロック分割部１によって、予測処理単位を表す１つないし複数の予測ブロックに分割される。
以降、符号化ブロックＢ^ｎに属する予測ブロックをＰ_ｉ ^ｎ（ｉは、第ｎ階層における予測ブロック番号）と表記する。図５にはＰ_０ ^０とＰ_１ ^０の例を示している。
符号化ブロックＢ^ｎ内の予測ブロックの分割が、どのようになされているかは、符号化モードｍ（Ｂ^ｎ）の中に情報として含まれる。
予測ブロックＰ_ｉ ^ｎは、全て符号化モードｍ（Ｂ^ｎ）に従って予測処理が行われるが、予測ブロックＰ_ｉ ^ｎ毎に、個別の予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択することができる。

符号化制御部２は、最大符号化ブロックに対して、例えば、図６に示すようなブロック分割状態を生成して、符号化ブロックを特定する。
図６（ａ）の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
図６（ｂ）は、図６（ａ）の例について、階層分割によって符号化モードｍ（Ｂ^ｎ）が割り当てられる状況を４分木グラフで示したものである。図６（ｂ）の□で囲まれているノードは、符号化モードｍ（Ｂ^ｎ）が割り当てられたノード（符号化ブロック）である。
この４分木グラフの情報は符号化モードｍ（Ｂ^ｎ）と共に符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。

切換スイッチ３は、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、ブロック分割部１から出力された符号化ブロックＢ^ｎをイントラ予測部４に出力する。
一方、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がインター符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、ブロック分割部１から出力された符号化ブロックＢ^ｎを動き補償予測部５に出力する。

イントラ予測部４は、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードであり（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、切換スイッチ３から符号化ブロックＢ^ｎを受けると（ステップＳＴ３）、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いて、その符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する（ステップＳＴ４）。

ただし、詳細は後述するが、イントラ予測画像を生成する処理を行う際に、予測対象ブロックに隣接する符号化済みの画素を用いることから、イントラ予測画像を生成する処理は、予測処理に用いる予測対象ブロックに隣接する画素が既に符号化済みとなるように常に変換ブロック単位に行われなくてはならない。
したがって、符号化モードがイントラ符号化モードである符号化ブロックでは、選択可能な変換ブロックのブロックサイズは、予測ブロックのサイズ以下に制限され、さらに、変換ブロックが予測ブロックより小さい場合（予測ブロック内に複数の変換ブロックが存在する場合）には、変換ブロック単位に、当該予測ブロックで定められたイントラ予測パラメータを用いたイントラ予測処理を実施してイントラ予測画像を生成する処理を実施する。
なお、画像復号装置がイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎの生成に用いられたイントラ予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
イントラ予測部４の処理内容の詳細は後述する。

動き補償予測部５は、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がインター符号化モードであり（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、切換スイッチ３から符号化ブロックＢ^ｎを受けると（ステップＳＴ３）、その符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎと動き補償予測フレームメモリ１２に格納されているフィルタ処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するインター予測処理を実施して、インター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを生成する（ステップＳＴ５）。
なお、画像復号装置がインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎと全く同じインター予測画像を生成する必要があるため、インター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎの生成に用いられたインター予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
また、動き補償予測部５により探索された動きベクトルも可変長符号化部１３に出力されて、ビットストリームに多重化される。

減算部６は、ブロック分割部１から符号化ブロックＢ^ｎを受けると、その符号化ブロックＢ^ｎ内の予測ブロックＰ_ｉ ^ｎから、イントラ予測部４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、または、動き補償予測部５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎのいずれか一方を減算して、その減算結果である差分画像を示す予測差分信号ｅ_ｉ ^ｎを変換・量子化部７に出力する（ステップＳＴ６）。

変換・量子化部７は、減算部６から予測差分信号ｅ_ｉ ^ｎを受けると、符号化制御部２により決定された予測差分符号化パラメータに含まれる変換ブロック分割情報を参照して、その予測差分信号ｅ_ｉ ^ｎに対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を変換ブロック単位に実施して、変換係数を算出する。
また、変換・量子化部７は、その予測差分符号化パラメータに含まれる量子化パラメータを参照して、その変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ７）。このとき、上記量子化パラメータから算出される量子化ステップサイズを変換係数毎にスケーリングする量子化マトリクスを用いて量子化処理を実施するようにしてもよい。

量子化マトリクスは、各直交変換サイズで色信号や符号化モード（イントラ符号化かインター符号化か）毎に独立しているマトリクスを使用することができ、初期値として、画像符号化装置及び画像復号装置で、予め共通に用意されている量子化マトリクスや既に符号化された量子化マトリクスの中から選択するか、新しい量子化マトリクスを用いるかをそれぞれ選択することができる。
したがって、変換・量子化部７は、各直交変換サイズに対して色信号や符号化モード毎に、新しい量子化マトリクスを用いるか否かを示すフラグ情報を符号化すべき量子化マトリクスパラメータに設定する。
さらに、新しい量子化マトリクスを用いる場合には、図１０に示すような量子化マトリクスの各スケーリング値を符号化すべき量子化マトリクスパラメータに設定する。
一方、新しい量子化マトリクスを用いない場合には、初期値として、画像符号化装置及び画像復号装置で、予め共通に用意されている量子化マトリクス、または、既に符号化された量子化マトリクスの中から、使用するマトリクスを特定するインデックスを符号化すべき量子化マトリクスパラメータに設定する。ただし、参照可能な既に符号化された量子化マトリクスが存在しない場合、画像符号化装置及び画像復号装置で、予め共通に用意されている量子化マトリクスのみ選択可能となる。
そして、変換・量子化部７は、設定した量子化マトリクスパラメータを可変長符号化部１３に出力する。

逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部２により決定された予測差分符号化パラメータに含まれる量子化パラメータ及び変換ブロック分割情報を参照して、変換ブロック単位にその圧縮データを逆量子化する。
変換・量子化部７が量子化処理に量子化マトリクスを用いている場合には、逆量子化処理時においても、その量子化マトリクスを参照して、対応した逆量子化処理を実施する。
また、逆量子化・逆変換部８は、変換ブロック単位に逆量子化後の圧縮データである変換係数に対する逆直交変換処理（例えば、逆ＤＣＴ、逆ＤＳＴ、逆ＫＬ変換など）を実施して、減算部６から出力された予測差分信号ｅ_ｉ ^ｎに相当する局所復号予測差分信号を算出して加算部９に出力する（ステップＳＴ８）。

加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、または、動き補償予測部５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎのいずれか一方を加算することで、局所復号画像を算出する（ステップＳＴ９）。
なお、加算部９は、その局所復号画像をループフィルタ部１１に出力するとともに、その局所復号画像をイントラ予測用メモリ１０に格納する。
この局所復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。

ループフィルタ部１１は、加算部９から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を動き補償予測フレームメモリ１２に格納する（ステップＳＴ１０）。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。

ただし、ループフィルタ部１１は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理のそれぞれについて、処理を行うか否かを決定し、各処理の有効フラグをシーケンスレベルヘッダの一部及びスライスレベルヘッダの一部として可変長符号化部１３に出力する。なお、上記のフィルタ処理を複数使用する際は、各フィルタ処理を順番に実施する。図１１は複数のフィルタ処理を用いる場合のループフィルタ部１１の構成例を示している。
一般に使用するフィルタ処理の種類が多いほど、画像品質は向上するが、一方で処理負荷は高くなる。即ち、画像品質と処理負荷はトレードオフの関係にある。また、各フィルタ処理の画像品質改善効果はフィルタ処理対象画像の特性によって異なる。したがって、画像符号化装置が許容する処理負荷や符号化処理対象画像の特性にしたがって使用するフィルタ処理を決めればよい。

ここで、デブロッキングフィルタ処理では、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更することができる。変更する場合には、そのパラメータをヘッダ情報として可変長符号化部１３に出力する。

画素適応オフセット処理では、最初に、画像を複数のブロックに分割し、そのブロック単位に、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、予め用意している複数のクラス分類手法の中から、１つのクラス分類手法を選択する。
次に、選択したクラス分類手法によってブロック内の各画素をクラス分類し、クラス毎に符号化歪みを補償するオフセット値を算出する。
最後に、局所復号画像の輝度値に対して、そのオフセット値を加算する処理を行うことで局所復号画像の画像品質を改善する。

クラス分類手法としては、局所復号画像の輝度値の大きさで分類する手法（ＢＯ手法と呼ぶ）や、エッジの方向毎に各画素の周囲の状況（エッジ部か否か等）に応じて分類する手法（ＥＯ手法と呼ぶ）がある。
これらの手法は、予め画像符号化装置及び画像復号装置で共通に用意されており、例えば図１４に示すように、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、これらの手法のうち、どの手法でクラス分類を行うかを示すインデックスを上記ブロック単位に選択する。

したがって、画素適応オフセット処理は、ブロックの分割情報、ブロック単位のクラス分類手法を示すインデックス、ブロック単位のオフセット情報をヘッダ情報として可変長符号化部１３に出力する。
なお、画素適応オフセット処理において、例えば最大符号化ブロックといった固定サイズのブロック単位に常に分割して、そのブロック毎にクラス分類手法を選択して、クラス毎の適応オフセット処理を行ってもよい。この場合、上記ブロック分割情報が不要となり、ブロック分割情報に要する符号量分だけ符号量が削減され、符号化効率を高めることができる。

また、適応フィルタ処理では、局所復号画像を所定の手法でクラス分類し、各クラスに属する領域（局所復号画像）毎に、重畳されている歪みを補償するフィルタを設計し、そのフィルタを用いて、当該局所復号画像のフィルタ処理を実施する。
そして、クラス毎に設計したフィルタをヘッダ情報として可変長符号化部１３に出力する。
ここで、クラス分類手法としては、画像を空間的に等間隔に区切る簡易な手法や、ブロック単位に画像の局所的な特性（分散など）に応じて分類する手法がある。また、適応フィルタ処理で使用するクラス数は、予め画像符号化装置及び画像復号装置で共通の値に設定してもよいし、符号化すべきパラメータの一つとしてもよい。
前者と比較して後者の方が、使用するクラス数を自由に設定することができるため、画像品質改善効果が上がるが、一方でクラス数を符号化するために、その分の符号量が増加する。

ステップＳＴ３〜ＳＴ９の処理は、階層的に分割された全ての符号化ブロックＢ^ｎに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢ^ｎに対する処理が完了すると、ステップＳＴ１３の処理に移行する（ステップＳＴ１１，ＳＴ１２）。

可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部２から出力された最大符号化ブロック内のブロック分割情報（図６（ｂ）を例とする４分木情報）、符号化モードｍ（Ｂ^ｎ）及び予測差分符号化パラメータと、符号化制御部２から出力されたイントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）又はインター予測パラメータ（符号化モードがインター符号化モードである場合）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化し、それらの符号化結果を示す符号化データを生成する（ステップＳＴ１３）。

その際、量子化された直交変換係数である圧縮データの符号化手法として、変換ブロックをさらにＣｏｅｆｆｉｃｉｅｎｔ Ｇｒｏｕｐ（ＣＧ）と呼ばれる４×４画素単位のブロック（符号化サブブロック）に分割して、ＣＧ単位に係数の符号化処理を実施する。
図１５は１６×１６画素の変換ブロックにおける係数の符号化順（スキャン順）を示している。
このように、４×４画素単位の１６個のＣＧを右下のＣＧから順に符号化処理し、さらに、各ＣＧはＣＧ内の１６個の係数を右下の係数から順に符号化する。

具体的には、まず、ＣＧ内の１６個の係数の中に有意（非零）係数が存在するか否かのフラグ情報を符号化し、次に、ＣＧ内に有意（非零）係数が存在する場合のみ、ＣＧ内の各係数が有意（非零）係数であるかを上記順に符号化し、最後に有意（非零）係数に対して、その係数値情報を順に符号化する。これをＣＧ単位に上記順に行う。
その際、有意（非零）係数がなるべく連続で発生するように偏るスキャン順とした方がエントロピー符号化による符号化効率を高めることができる。
直交変換後の係数は、左上に位置する直流成分をはじめとして、左上に近い程、低い周波数成分の低い係数を表すことから、図１６に示す例のように、一般的に左上に近いほど有意（非零）係数が多く発生するために、図１５に示すように、右下から順に符号化することで効率的に符号化することができる。
なお、上記では１６×１６画素の変換ブロックについて説明したが、８×８画素や３２×３２画素の変換ブロック等、１６×１６画素以外のブロックサイズにおいてもＣＧ（符号化サブブロック）単位の符号化処理を実施するものとする。

また、可変長符号化部１３は、図１３に例示するように、符号化ビットストリームのヘッダ情報として、シーケンスレベルヘッダ、ピクチャレベルヘッダを符号化し、ピクチャデータと共に符号化ビットストリームを生成する。
ただし、ピクチャデータは１以上のスライスデータから構成され、各スライスデータはスライスレベルヘッダと当該スライス内にある上記符号化データをまとめたものである。

シーケンスレベルヘッダは、画像サイズ、色信号フォーマット、輝度信号や色差信号の信号値のビット深度、シーケンス単位でのループフィルタ部１１における各フィルタ処理（適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理）の有効フラグ情報、量子化マトリクスの有効フラグ情報、フィールド符号化か否かを示すフラグなど、一般的にシーケンス単位に共通となるヘッダ情報をまとめたものである。
ピクチャレベルヘッダは、参照するシーケンスレベルヘッダのインデックスや動き補償時の参照ピクチャ数、エントロピー符号化の確率テーブル初期化フラグ等のピクチャ単位で設定するヘッダ情報をまとめたものである。
スライスレベルヘッダは、当該スライスがピクチャのどの位置にあるかを示す位置情報、どのピクチャレベルヘッダを参照するかを示すインデックス、スライスの符号化タイプ（オールイントラ符号化、インター符号化など）、ループフィルタ部１１における各フィルタ処理（適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理）を行うか否かを示すフラグ情報などといったスライス単位のパラメータをまとめたものである。

次に、イントラ予測部４の処理内容を詳細に説明する。
イントラ予測部４は、上述したように、予測ブロックＰ_ｉ ^ｎのイントラ予測パラメータを参照して、その予測ブロックＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成するが、ここでは、輝度信号における予測ブロックＰ_ｉ ^ｎのイントラ予測画像を生成するイントラ処理について説明する。

図７は符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎが選択可能なイントラ予測モードの一例を示す説明図であり、イントラ予測モードのインデックス値と、そのイントラ予測モードが示す予測方向ベクトルを示している。上記イントラ予測モードのインデックス値がイントラ予測パラメータを示している。
なお、イントラ予測モード数は、処理対象となるブロックのサイズに応じて異なるように構成してもよい。
大きいサイズのブロックでは、イントラ予測の効率が低下するため、選択できるイントラ予測方向数を少なくし、小さいサイズのブロックでは、選択できるイントラ予測方向数を多くするように構成することで演算量を抑制することができる。

まず、イントラ予測画像を生成する処理は、処理対象のブロックに隣接する符号化済みの画素を用いることから、上述した通り、変換ブロック単位に行われなくてはならない。
ここで、イントラ予測画像を生成する変換ブロックを予測画像生成ブロックと呼ぶこととする。したがって、イントラ予測部４は、予測画像生成ブロック単位に下記に述べるイントラ予測画像生成処理を実施して、予測ブロックＰ_ｉ ^ｎのイントラ予測画像を生成する。
予測画像生成ブロックのサイズをｌ_ｉ ^ｎ×ｍ_ｉ ^ｎ画素とする。
図８はｌ_ｉ ^ｎ＝ｍ_ｉ ^ｎ＝４の場合の予測画像生成ブロック内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図８では、予測画像生成ブロックの上の符号化済みの画素（２×ｌ_ｉ ^ｎ＋１）個と、左の符号化済みの画素（２×ｍ_ｉ ^ｎ）個を予測に用いる画素としているが、予測に用いる画素は、図８に示す画素より多くても少なくてもよい。
また、図８では、予測画像生成ブロックの近傍の１行又は１列分の画素を予測に用いているが、２行又は２列、あるいは、それ以上の画素を予測に用いてもよい。

予測画像生成ブロックが属する予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が０（平面（Ｐｌａｎａｒ）予測）の場合には、予測画像生成ブロックの上に隣接する符号化済み画素と、予測画像生成ブロックの左に隣接する符号化済み画素を用いて、これら画素と予測画像生成ブロック内の予測対象画素との距離に応じて内挿した値を予測値として予測画像を生成する。

予測画像生成ブロックが属する予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が１（平均値（ＤＣ）予測）の場合には、予測画像生成ブロックの上に隣接する符号化済み画素と、予測画像生成ブロックの左に隣接する符号化済み画素の平均値を予測画像生成ブロック内の画素の予測値として予測画像を生成する。
さらに、予測画像生成ブロックの上端及び左端に位置する図１７の領域Ａ，Ｂ，Ｃに対して、ブロック境界を平滑化するフィルタ処理を行って最終的な予測画像とする。例えば、下記の式（１）にしたがって、図１８のフィルタの参照画素配置で、下記のフィルタ係数を用いてフィルタ処理を実施する。

・領域Ａ（パーティションＰ_ｉ ^ｎの左上の画素）
ａ_０＝１／２，ａ_１＝１／４，ａ_２＝１／４
・領域Ｂ（領域Ａ以外のパーティションＰ_ｉ ^ｎの上端の画素）
ａ_０＝３／４，ａ_２＝１／４，（ａ_１＝０）
・領域Ｃ（領域Ａ以外のパーティションＰ_ｉ ^ｎの左端の画素）
ａ_０＝３／４，ａ_１＝１／４，（ａ_２＝０）

ただし、式（１）において、ａ_ｎ（ｎ＝０，１，２）は参照画素にかかるフィルタ係数、ｐ_ｎ（ｎ＝０，１，２）はフィルタ処理対象画素ｐ_０を含むフィルタの参照画素、Ｓ’（ｐ_０）はフィルタ処理対象画素ｐ_０におけるフィルタ処理後の予測値、Ｓ（ｐ_ｎ）（ｎ＝０，１，２）はフィルタ処理対象画素ｐ_０を含む参照画素のフィルタ処理前の予測値を表している。

さらに、上記フィルタ処理を行う予測画像生成ブロックのブロックサイズは限定してもよい。
一般にブロック端のみフィルタ処理を行って予測値を変化させる場合、大きなブロックサイズのブロックでは、フィルタ処理により予測値が変化する領域の占める割合が小さいために、この予測値の変化によって生じた予測残差信号の変化を非常に高い周波数成分で表されることになり、この高周波数成分を符号化するために符号化効率の悪化を生じさせてしまう傾向がある。また、符号化効率を優先して、この高周波数成分を符号化しないようにすることで、ブロック端の予測残差信号の変化を復元できずに、ブロック境界に歪みが生じてしまう傾向がある。

一方、小さなブロックサイズのブロックでは、フィルタ処理により予測値が変化する領域の占める割合が大きいために、この予測値の変化によって生じた予測残差信号の変化が大きなブロックサイズのブロックの時のような高い周波数成分で表されることはなく、適切に残差信号を符号化することができ、本フィルタ処理によって、ブロック境界の連続性を高めた分、復号画像の品質を高めることができる。
したがって、例えば、３２×３２画素以上のブロックサイズの予測画像生成ブロックでは、上記フィルタ処理を適用せずに、３２×３２画素より小さいブロックのみに上記フィルタ処理を適用することで、従来の平均値予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。

他にも変換ブロックサイズに応じて上記フィルタ処理を行う予測画像生成ブロックのブロックサイズを限定してもよい。
例えば、ｍａｘ（１６， ＭａｘＴＵｓｉｚｅ）以上のブロックサイズの予測画像生成ブロックでは、上記フィルタ処理を適用せずに、ｍａｘ（１６， ＭａｘＴＵｓｉｚｅ）より小さいブロックのみに上記フィルタ処理を適用する。
ただし、ｍａｘ（α， β）は、αとβのうちの最大値を示しており（例えば、α＝１、β＝２なら、ｍａｘ（α， β）＝２）、“ＭａｘＴＵｓｉｚｅ”は、取り得る最大の変換ブロックサイズを示しており、“１６”は所定のブロックサイズ（１６×１６画素）を示している。
つまり、ｍａｘ（１６，ＭａｘＴＵｓｉｚｅ）以上のブロックサイズの予測画像生成ブロックでは、上記フィルタ処理を適用せず、ｍａｘ（１６，ＭａｘＴＵｓｉｚｅ）より小さいブロックのみに上記フィルタ処理を適用するとは、ＭａｘＴＵｓｉｚｅが３２である場合はｍａｘ（１６， ３２）＝３２となり、３２×３２画素のブロックのみに上記フィルタ処理を適用せず、１６×１６画素、８×８画素、４×４画素のブロックには上記フィルタ処理を実施する。

同様に、ＭａｘＴＵｓｉｚｅが１６である場合は、ｍａｘ（１６， １６）＝１６となり、１６×１６画素のブロックのみ上記フィルタ処理を適用せず、８×８画素、４×４画素のブロックには上記フィルタ処理を実施する。
さらに、ＭａｘＴＵｓｉｚｅが８である場合は、ｍａｘ（１６， ８）＝１６となり、１６×１６画素のブロックのみ上記フィルタ処理を適用せず、８×８画素、４×４画素のブロックには上記フィルタ処理を実施することになるため、１６×１６画素のブロックが存在しないＭａｘＴＵｓｉｚｅが８である場合は、全ての画素のブロック（８×８、４×４）で上記フィルタ処理を実施する。

同様に、ＭａｘＴＵｓｉｚｅが４である場合は、ｍａｘ（１６， ４）＝１６となり、１６×１６画素のブロックのみ上記フィルタ処理を適用せず、８×８画素、４×４画素のブロックには上記フィルタ処理を実施することになるため、４×４画素のブロックしか存在しないＭａｘＴＵｓｉｚｅが４である場合は、全ての画素のブロック（４×４）で上記フィルタ処理を実施する。
このようにすることで、一般に高効率な符号化を行う際には、例えば、“空”等の平坦な領域では、できる限り大きいサイズの直交変換処理が施されるため、このような領域では、ＭａｘＴＵｓｉｚｅのブロックサイズによる変換処理が行われる。
一方、このような大きいブロックでは、上述したとおり、フィルタ処理によって復号画像のブロック境界に歪みを生じさせてしまう傾向があるため、人間の視覚特性として、特に感度が高い平坦部において、このような歪みを抑えるためにフィルタ処理を行わないようにし、ブロックサイズを小さくすることで効率的に符号化できる傾向のある複雑な領域部等、小さいブロックサイズのブロックについては上記フィルタ処理を行うことで予測効率を向上させ、復号画像の品質を高める効果が得られる。

さらに、シーケンスレベルヘッダにフィールド符号化か否かを示すフラグを持ち、上記フラグが有効である場合、図１９に示すように、予測画像生成ブロックの上端にフィルタ処理を実施しないようにする。
フィールド符号化の場合、垂直方向の画素間の相関が低いことから予測画像生成ブロックの上端におけるフィルタ処理によって予測効率が悪化してしまう可能性がある。したがって、領域Ａ，Ｃのみにフィルタ処理を行い、領域Ｂはフィルタ処理を行わないようにすることで、予測効率の低下を抑制しつつ演算量を削減することができる。

ただし、上記ではシーケンスレベルヘッダのフィールド符号化か否かを示すフラグが有効である場合、領域Ａ，Ｃのみにフィルタ処理を行うようにしたが、領域Ａも領域Ｃと同じフィルタ処理してもよい。このように、画素間の相関が低い垂直方向の画素を用いないようにすることで、さらに予測効率悪化の可能性を下げつつ、フィルタ処理に要する演算量を削減することができる。あるいは、より演算量を削減することを重視する場合は、領域Ａもフィルタ処理を行わないようにし、領域Ｃのみフィルタ処理を行うようにしてもよい。

予測画像生成ブロックの属する予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が２６（垂直方向予測）の場合、下記の式（２）から予測画像生成ブロック内の画素の予測値を算出して予測画像を生成する。

ただし、座標（ｘ，ｙ）は予測画像生成ブロック内の左上画素を原点とする相対座標（図９を参照）であり、Ｓ’（ｘ，ｙ）は座標（ｘ，ｙ）における予測値、Ｓ（ｘ，ｙ）は座標（ｘ，ｙ）における符号化済み画素の輝度値（復号された輝度値）である。また、算出した予測値が輝度値の取り得る値の範囲を超えている場合、予測値がその範囲内に収まるように値を丸めるようにする。

なお、式（２）の１行目の式は、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４における垂直方向予測の予測値であるＳ（ｘ，−１）に対し、隣接する符号化済み画素の垂直方向の輝度値の変化量Ｓ（−１，ｙ）−Ｓ（−１，−１）を１／２にした値を加算することで、ブロック境界が平滑化されるようにフィルタ処理したものを予測値とすることを意味しており、式（２）の２行目の式は、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４における垂直方向予測と同じ予測式を示している。

予測画像生成ブロックが属する予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が１０（水平方向予測）の場合、下記の式（３）から予測画像生成ブロック内の画素の予測値を算出して予測画像を生成する。

ただし、座標（ｘ，ｙ）は予測画像生成ブロック内の左上画素を原点とする相対座標（図９を参照）であり、Ｓ’（ｘ，ｙ）は座標（ｘ，ｙ）における予測値、Ｓ（ｘ，ｙ）は座標（ｘ，ｙ）における符号化済み画素の輝度値（復号された輝度値）である。また、算出した予測値が輝度値の取り得る値の範囲を超えている場合、予測値がその範囲内に収まるように値を丸めるようにする。

なお、式（３）の１行目の式は、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４における水平方向予測の予測値であるＳ（−１，ｙ）に対し、隣接する符号化済み画素の水平方向の輝度値の変化量Ｓ（ｘ，−１）−Ｓ（−１，−１）を１／２にした値を加算することで、ブロック境界が平滑化されるようにフィルタ処理したものを予測値とすることを意味しており、式（３）の２行目の式は、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４における水平方向予測と同じ予測式を示している。

ただし、式（２）の垂直方向予測、式（３）の水平方向予測を行う予測画像生成ブロックのブロックサイズを限定してもよい。
一般にブロック端のみ予測方向の輝度値の変化量に比例する値を加算するフィルタ処理を行うことで予測値を変化させる場合、大きなブロックサイズのブロックでは、上述した予測画像生成ブロックのブロック端のフィルタ処理により予測値が変化する領域の占める割合が小さいために、この予測値の変化によって生じた予測残差信号の変化を非常に高い周波数成分で表されることになり、この高周波数成分を符号化するために符号化効率の悪化を生じさせてしまう傾向がある。また、符号化効率を優先して、この高周波数成分を符号化しないようにすることで、ブロック端の予測残差信号の変化を復元できずにブロック境界に歪みが生じてしまう傾向がある。

一方、小さなブロックサイズのブロックでは、上記フィルタ処理により予測値が変化する領域の占める割合が大きいために、この予測値の変化によって生じた予測残差信号の変化が大きなブロックサイズのブロックの時のような高い周波数成分で表されることはなく、適切に残差信号を符号化することができ、本フィルタ処理によってブロック境界の連続性を高めた分、復号画像の品質を高めることができる。
したがって、例えば、３２×３２画素以上のブロックサイズの予測画像生成ブロックでは、予測対象画素の座標によらず、式（２）及び式（３）の２行目の式を常に用いるようにし（予測画像生成ブロックのブロック端のフィルタ処理を行わないことにする）、３２×３２画素より小さいブロックのみに、上記フィルタ処理を行う式（２）及び式（３）を適用することで、従来の垂直方向予測、水平方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。

他にも変換ブロックサイズに応じて式（２）の垂直方向予測、式（３）の水平方向予測を行う予測画像生成ブロックのブロックサイズを限定してもよい。
例えば、ｍａｘ（１６， ＭａｘＴＵｓｉｚｅ）以上のブロックサイズの予測画像生成ブロックでは、予測対象画素の座標によらず、式（２）及び式（３）の２行目の式を常に用いるようにし（予測画像生成ブロックのブロック端のフィルタ処理を行わないことにする）、ｍａｘ（１６， ＭａｘＴＵｓｉｚｅ）より小さいブロックのみに上記フィルタ処理を行う式（２）及び式（３）を適用する。
ただし、ｍａｘ（α， β）は、αとβのうちの最大値を示しており（例えばα＝１、β＝２ならｍａｘ（α， β）＝２）、“ＭａｘＴＵｓｉｚｅ”は、取り得る最大の変換ブロックサイズを示しており、“１６”は所定のブロックサイズ（１６×１６画素）を示している。
つまり、ｍａｘ（１６、 ＭａｘＴＵｓｉｚｅ）以上のブロックサイズの予測画像生成ブロックでは、上記フィルタ処理を適用せず、ｍａｘ（１６， ＭａｘＴＵｓｉｚｅ）より小さいブロックのみに上記フィルタ処理を適用するとは、ＭａｘＴＵｓｉｚｅが３２である場合はｍａｘ（１６， ３２）＝３２となり、３２×３２画素のブロックのみ上記フィルタ処理を適用せず、１６×１６画素、８×８画素、４×４画素のブロックには上記フィルタ処理を実施する。

同様に、ＭａｘＴＵｓｉｚｅが１６である場合は、ｍａｘ（１６， １６）＝１６となり、１６×１６画素のブロックのみ上記フィルタ処理を適用せず、８×８画素、４×４画素のブロックには上記フィルタ処理を実施する。
さらに、ＭａｘＴＵｓｉｚｅが８である場合は、ｍａｘ（１６， ８）＝１６となり、１６×１６画素のブロックのみ上記フィルタ処理を適用せず、８×８画素、４×４画素のブロックには上記フィルタ処理を実施することになるため、１６×１６画素のブロックが存在しないＭａｘＴＵｓｉｚｅが８である場合は、全ての画素のブロック（８×８、４×４）で上記フィルタ処理を実施する。

同様に、ＭａｘＴＵｓｉｚｅが４である場合は、ｍａｘ（１６， ４）＝１６となり、１６×１６画素のブロックのみ上記フィルタ処理を適用せず、８×８画素、４×４画素のブロックには上記フィルタ処理を実施することになるため、４×４画素のブロックしか存在しないＭａｘＴＵｓｉｚｅが４である場合は、全ての画素のブロック（４×４）で上記フィルタ処理を実施する。
このようにすることで、一般に高効率な符号化を行う際には、例えば、“空”等の平坦な領域では、できる限り大きいサイズの直交変換処理が施されるため、このような領域ではＭａｘＴＵｓｉｚｅのブロックサイズによる変換処理が行われる。
一方、このような大きいブロックでは、上述したとおり、フィルタ処理によって復号画像のブロック境界に歪みを生じさせてしまう傾向があるため、人間の視覚特性として、特に感度が高い平坦部において、このような歪みを抑えるためにフィルタ処理を行わないようにし、ブロックサイズを小さくすることで、効率的に符号化できる傾向のある複雑な領域部等、小さいブロックサイズのブロックについては上記フィルタ処理を行うことで予測効率を向上させ、復号画像の品質を高める効果が得られる。

なお、上記の動作は、平均値予測の場合、垂直方向予測の場合、水平方向予測の場合について説明したが、これら以外の予測を用いた場合も、同様の効果を得ることができる。

さらに、シーケンスレベルヘッダにフィールド符号化か否かを示すフラグを持ち、上記フラグが有効である場合、水平方向予測は式（３）の代わりに式（４）を用いる。

即ち、図１９に示すように、予測画像生成ブロックの上端にフィルタ処理を実施しないようにする（平均値予測及び垂直方向予測の場合は、予測画像生成ブロックの左端のみにフィルタ処理を実施し、水平方向予測の場合はフィルタ処理を実施しない）。
フィールド符号化の場合、垂直方向の画素間の相関が低いことから、予測画像生成ブロックの上端におけるフィルタ処理によるブロック境界の連続性を高めることによる予測効率が悪化してしまう可能性がある。したがって、上記フィルタ処理を行わないことで予測効率の低下を抑制しつつ演算量を削減することができる。

なお、シーケンスレベルヘッダのフィールド符号化か否かを示すフラグをピクチャレベルヘッダに用意して、各ピクチャの垂直方向の画素間の相関に応じて平均値（ＤＣ）予測及び水平方向予測の予測画像生成ブロック上端のフィルタ処理をＯＮ／ＯＦＦで切り替えるようにしてもよい。
そのようにすることで、ピクチャ単位の適応的な制御を実現でき、予測効率を高めることができる。なお、ピクチャ単位にフレーム符号化とフィールド符号化を適応的に切り替える符号化を実現する場合には、上記フラグはピクチャレベルヘッダに用意する必要がある。
また、この実施の形態１では、シーケンスレベルヘッダあるいはピクチャレベルヘッダのフィールド符号化か否かを示すフラグに基づいて予測画像生成ブロック上端のフィルタ処理のＯＮ／ＯＦＦを切り替える場合について説明したが、シーケンスレベルヘッダあるいはピクチャレベルヘッダのフィールド符号化か否かを示すフラグとは別に本切り替え処理を行うか否かを示すフラグを定義し、この切り替え処理を行うか否かを示すフラグに基づいて予測画像生成ブロック上端のフィルタ処理のＯＮ／ＯＦＦを切り替えるようにしてもよい。
また、この実施の形態１では、先に説明した符号化順の切り替えと、上記フィルタ処理の切り替えとを、それぞれ別々に説明したが、これらを組み合わせて設定するようにしてもよい。

イントラ予測モードのインデックス値が０（平面予測）、１（平均値予測）、２６（垂直方向予測）、１０（水平方向予測）以外の場合には、インデックス値が示す予測方向ベクトルυ_ｐ＝（ｄｘ，ｄｙ）に基づいて、予測画像生成ブロック内の画素の予測値を生成する。
図９に示すように、予測画像生成ブロックの左上画素を原点として、予測画像生成ブロック内の相対座標を（ｘ，ｙ）と設定すると、予測に用いる参照画素の位置は、下記のＬと隣接画素の交点になる。

ただし、ｋは負の実数である。

参照画素が整数画素位置にある場合には、その整数画素を予測対象画素の予測値とし、参照画素が整数画素位置にない場合には、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図８の例では、参照画素は整数画素位置にないので、参照画素に隣接する２画素から内挿したものを予測値とする。なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。
補間処理に用いる画素を多くすることで補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求する画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。

以上に述べた処理によって、予測画像生成ブロック単位に予測ブロックＰ_ｉ ^ｎ内の輝度信号の全ての画素に対する予測画素を生成して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを出力する。
なお、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎの生成に用いられたイントラ予測パラメータ（イントラ予測モード）は、ビットストリームに多重化するために可変長符号化部１３に出力される。

なお、先に説明したＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４における８×８画素のブロックのイントラ予測時に参照画素に対して施される平滑化処理と同様に、イントラ予測部４において、予測画像生成ブロックの予測画像を生成する際の参照画素を、予測画像生成ブロックに隣接する符号化済み画素を平滑化処理した画素とするように構成した場合であっても、上述の例と同様の予測画像に対するフィルタ処理を行うことができる。このようにすることで参照画素へのフィルタ処理による参照画素のノイズが除去され、これを用いて予測を行うことで予測の精度高めることができる。
あるいは、上記参照画素へのフィルタ処理は予測画像へのフィルタ処理を行う平均値予測、垂直方向予測、水平方向予測以外の予測の際のみ実施するようにしてもよい。このようにすることで、各予測モードに対して最大で１つのフィルタ処理しか行わずに済み、演算量の増加を抑えることができる。

上記では、輝度信号の予測画像生成処理について説明したが、色差成分に対する予測画像は次のように生成する。
予測ブロックＰ_ｉ ^ｎの色差信号に対して、色差信号のイントラ予測パラメータ（イントラ予測モード）に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部１３に出力する。

図２３は色差信号のイントラ予測パラメータ（インデックス値）と色差イントラ予測モードの対応例を示す説明図である。
色差信号のイントラ予測パラメータが、輝度信号に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合（イントラ予測パラメータが輝度色差共通イントラ予測モード（ＤＭモード）を示している場合）、輝度信号と同じフレーム内予測を実施して、色差信号の予測画像を生成する。

また、色差信号のイントラ予測パラメータが、垂直方向予測モードまたは水平方向予測モードを示している場合、色差信号に対する方向性予測を実施して、色差信号の予測画像を生成する。
また、色差信号のイントラ予測パラメータが、輝度相関利用色差信号予測モード（ＬＭモード）を示している場合、予測画像の生成対象ブロックの上及び左に隣接している複数の画素の輝度信号及び色差信号を用いて、輝度信号と色差信号の相関を示す相関パラメータを算出し、その相関パラメータと予測処理対象の色差信号のブロックに対応する輝度信号を用いて、色差信号の予測画像を生成する。

なお、入力信号フォーマットがＹＵＶ４：４：４信号である場合には、上記ＤＭモード又は上記ＬＭモードの処理を実施し、その他の予測モードは選択しないように構成してもよい。ＹＵＶ４：４：４信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
当然、ＹＵＶ４：４：４信号の場合においても、色差信号に対して、輝度信号とは異なる方向性予測モードを選択できるように構成してもよい。

また、入力信号フォーマットがＹＵＶ４：２：２信号である場合、図２７に示すように、輝度信号が正方ブロックであれば、色差信号は輝度信号と比較して水平方向の画素数が１／２となる長方形のブロックとなる。したがって、図２８に示すように、ＹＵＶ４：４：４信号をＹＵＶ４：２：２信号に変換した際に、輝度信号と色差信号で同一方向の予測となるようにするためには、ＹＵＶ４：２：２信号上では、垂直方向予測と水平方向予測以外の方向性予測の場合には、色差信号の予測方向が輝度信号の予測方向と異なることとなる。
具体的には、図２９に示すように、輝度信号の予測方向ベクトルをｖ_Ｌ＝（ｄｘ_Ｌ，ｄｙ_Ｌ）とした場合、色差信号の予測方向ベクトルは、ｖ_Ｃ＝（ｄｘ_Ｌ／２，ｄｙ_Ｌ）となる。即ち、図３０に示すように、予測方向の角度をθとした場合、輝度信号の予測方向の角度をθ_Ｌ、色差信号の予測方向の角度をθ_Ｃとして、ｔａｎθ_Ｃ＝２ｔａｎθ_Ｌの関係となる予測方向で予測する必要がある。

したがって、輝度信号と色差信号で同一方向の予測を行う上記ＤＭモードを正しく実施できるようにするために、入力信号フォーマットがＹＵＶ４：２：２信号である場合、輝度信号に使用したイントラ予測モードのインデックスを色差信号の予測に用いるイントラ予測モードのインデックスに変換し、変換後のインデックスに対応するイントラ予測モードによる色差信号の予測処理を実施する。
図３１は図７のイントラ予測モードにおけるイントラ予測モードインデックスの変換例を示している。
図３１の変換テーブルは、予測方向の角度がθであるとき（図３０を参照）、イントラ予測モードの方向性予測が図３２に示すｔａｎθとなる角度である場合、ｔａｎθ_Ｃ＝２ｔａｎθ_Ｌの関係に最も近い角度θ_Ｃに変換するテーブルの例である。
変換処理の実現は、上記のように、インデックスの変換テーブルを用意し、その変換テーブルを参照することでインデックスを変換するように構成してもよいし、変換式を用意し、その変換式に従ってインデックスを変換するように構成してもよい。
このように構成することで、方向性予測処理自体を変更することなく、インデックスの変換のみでＹＵＶ４：２：２信号のフォーマットに応じた色差信号の適切な予測を実施することができる。

また、色差信号に対して上記ＬＭモードを行わないように構成してもよい。このときの色差信号のイントラ予測パラメータ（インデックス値）と色差イントラ予測モードの対応例として、図２４が挙げられる。
このようにＬＭモードも用いないようにすることで、予測対象画素の輝度信号と色差信号の間の依存性がなくなるため、輝度信号と色差信号の予測処理の並列化が可能となり、高速な演算処理を実現することができる。

さらに、色差信号の垂直方向予測及び水平方向予測については、ブロック境界のフィルタ処理を行わずに、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４と同様の予測手法としてもよい。このようにフィルタ処理を行わないことで、予測処理の演算量の低下を図ることができる。

次に、図３の画像復号装置の処理内容を具体的に説明する。
可変長復号部３１は、図１の画像符号化装置により生成された符号化ビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図４のステップＳＴ２１）、１フレーム以上のピクチャから構成されるシーケンス単位のヘッダ情報（シーケンスレベルヘッダ）及びピクチャ単位のヘッダ情報（ピクチャレベルヘッダ）、ループフィルタ部３８で使用するフィルタパラメータや量子化マトリクスパラメータを復号する。

このとき、上記ヘッダ情報に含まれる量子化マトリクスの有効フラグ情報が“有効”を示す場合、可変長復号部３１は量子化マトリクスパラメータを可変長復号し、量子化マトリクスを特定する。
具体的には、各直交変換サイズの色信号や符号化モード毎に、量子化マトリクスパラメータが初期値として、画像符号化装置及び画像復号装置で、予め共通に用意されている量子化マトリクス、または、既に復号された量子化マトリクスである（新しい量子化マトリクスでない）ことを示す場合は、量子化マトリクスパラメータに含まれる上記マトリクスの内のどの量子化マトリクスであるかを特定するインデックス情報を参照して量子化マトリクスを特定し、量子化マトリクスパラメータが新しい量子化マトリクスを用いることを示す場合は、量子化マトリクスパラメータに含まれる量子化マトリクスを使用する量子化マトリクスとして特定する。
そして、ピクチャ単位のデータを構成するスライスデータから、スライス分割情報等のスライス単位のヘッダ情報（スライスレベルヘッダ）を復号し、各スライスの符号化データを復号する。

また、可変長復号部３１は、図１の画像符号化装置の符号化制御部２により決定された最大符号化ブロックサイズ及び分割階層数の上限を画像符号化装置と同様の手順で決定する（ステップＳＴ２２）。
例えば、最大符号化ブロックサイズや分割階層数の上限が映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数の上限が、画像符号化装置側でシーケンスレベルヘッダなどに多重化されている場合には、上記ヘッダから復号した値を用いるようにする。ただし、分割階層数の上限の代わりに、符号化ブロックの最小ブロックサイズが符号化されている場合、これを復号することで分割階層数の上限を決定する。即ち、最大符号化ブロックを上記最小ブロックサイズまで分割した場合が分割階層数の上限となる。
可変長復号部３１は、決定された最大符号化ブロック単位に、図６で示されるような最大符号化ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に符号化ブロックを特定する（ステップＳＴ２３）。

次に、可変長復号部３１は、符号化ブロックに割り当てられている符号化モードを復号する。復号した符号化モードに含まれる情報に基づき、符号化ブロックをさらに１つないし複数の予測処理単位である予測ブロックに分割し、予測ブロック単位に割り当てられている予測パラメータを復号する（ステップＳＴ２４）。

即ち、可変長復号部３１は、符号化ブロックに割り当てられている符号化モードがイントラ符号化モードである場合、符号化ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にイントラ予測パラメータを復号する。
一方、符号化ブロックに割り当てられている符号化モードがインター符号化モードである場合、符号化ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にインター予測パラメータ及び動きベクトルを復号する（ステップＳＴ２４）。

さらに、可変長復号部３１は、予測差分符号化パラメータに含まれる変換ブロック分割情報に基づき、変換ブロック毎に圧縮データ（変換・量子化後の変換係数）を復号する（ステップＳＴ２４）。
その際、図１の画像符号化装置の可変長符号化部１３での圧縮データの符号化処理と同様に、ＣＧ単位の係数の復号処理を実施する。
したがって、図１５に示すように、４×４画素単位の１６個のＣＧを右下のＣＧから順に復号処理し、さらに、各ＣＧはＣＧ内の１６個の係数を右下の係数から順に復号していくことになる。
具体的には、まず、ＣＧ内の１６個の係数の中に有意（非零）係数が存在するか否かのフラグ情報を復号し、次に復号したフラグ情報がＣＧ内に有意（非零）係数が存在することを示す場合のみＣＧ内の各係数が有意（非零）係数であるかを上記順に復号し、最後に有意（非零）係数を示す係数に対して、その係数値情報を順に復号する。これをＣＧ単位に上記順に行う。

切換スイッチ３３は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードであれば（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、可変長復号部３１により可変長復号された予測ブロック単位のイントラ予測パラメータをイントラ予測部３４に出力する。
一方、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がインター符号化モードであれば（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、可変長復号部３１により可変長復号された予測ブロック単位のインター予測パラメータ及び動きベクトルを動き補償部３５に出力する。

イントラ予測部３４は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モード（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位のイントラ予測パラメータを受け取って、図１のイントラ予測部４と同様の手順で、イントラ予測用メモリ３７に格納されている復号画像を参照しながら、上記イントラ予測パラメータを用いた符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する（ステップＳＴ２６）。
ただし、可変長復号部３１によって復号されたシーケンスレベルヘッダにフィールド符号化か否かを示すフラグを持ち、上記フラグが有効である場合、図１の画像符号化装置と同様に平均値（ＤＣ）予測及び水平方向予測の予測画像生成ブロック上端のフィルタ処理を行わないようにする。このようにすることで、図１の画像符号化装置で生成した符号化ビットストリームと同一の予測画像を生成することができる。

なお、図１の画像符号化装置において、シーケンスレベルヘッダのフィールド符号化か否かを示すフラグをピクチャレベルヘッダに用意している場合、このピクチャレベルヘッダのフィールド符号化か否かを示すフラグの値に応じて、ピクチャ単位に、平均値（ＤＣ）予測及び水平方向予測の予測画像生成ブロック上端のフィルタ処理をＯＮ／ＯＦＦで切り替えるようにする。
このようにすることで、上記のように構成した図１の画像符号化装置で生成した符号化ビットストリームと同一の予測画像を生成することができる。

また、イントラ予測部３４は、輝度信号については、輝度信号に対する上記イントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施して、輝度信号の予測画像を生成する。
一方、色差信号については、色差信号のイントラ予測パラメータに基づくイントラ予測処理を実施して、色差信号の予測画像を生成する。

図２３は色差信号のイントラ予測パラメータ（インデックス値）と色差イントラ予測モードの対応例を示す説明図である。
色差信号のイントラ予測パラメータが、輝度信号に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合（イントラ予測パラメータが輝度色差共通イントラ予測モード（ＤＭモード）を示している場合）、輝度信号と同じフレーム内予測を実施して、色差信号の予測画像を生成する。

また、色差信号のイントラ予測パラメータが、垂直方向予測モードまたは水平方向予測モードを示している場合、色差信号に対する方向性予測を実施して、色差信号の予測画像を生成する。
また、色差信号のイントラ予測パラメータが、輝度相関利用色差信号予測モード（ＬＭモード）を示している場合、予測画像の生成対象ブロックの上及び左に隣接している複数の画素の輝度信号及び色差信号を用いて、輝度信号と色差信号の相関を示す相関パラメータを算出し、その相関パラメータと予測処理対象の色差信号のブロックに対応する輝度信号を用いて、色差信号の予測画像を生成する。

なお、入力信号フォーマットがＹＵＶ４：４：４信号である場合には、上記ＤＭモード又は上記ＬＭモードの処理を実施し、その他の予測モードは選択しないように画像符号化装置が構成されている場合、その画像符号化装置から生成される符号化ビットストリームが復号できるように画像復号装置も同様の構成とする。
ＹＵＶ４：４：４信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。

また、入力信号フォーマットがＹＵＶ４：２：２信号である場合、図２７に示すように、輝度信号が正方ブロックであれば、色差信号は輝度信号と比較して水平方向の画素数が１／２となる長方形のブロックとなる。したがって、図２８に示すように、ＹＵＶ４：４：４信号をＹＵＶ４：２：２信号に変換した際に、輝度信号と色差信号で同一方向の予測となるようにするためには、ＹＵＶ４：２：２信号上では、垂直方向予測と水平方向予測以外の方向性予測の場合には、色差信号の予測方向が輝度信号の予測方向と異なることとなる。
具体的には、図２９に示すように、輝度信号の予測方向ベクトルをｖ_Ｌ＝（ｄｘ_Ｌ，ｄｙ_Ｌ）とした場合、色差信号の予測方向ベクトルは、ｖ_Ｃ＝（ｄｘ_Ｌ／２，ｄｙ_Ｌ）となる。即ち、図３０に示すように、予測方向の角度をθとした場合、輝度信号の予測方向の角度をθ_Ｌ、色差信号の予測方向の角度をθ_Ｃとして、ｔａｎθ_Ｃ＝２ｔａｎθ_Ｌの関係となる予測方向で予測する必要がある。

したがって、輝度信号と色差信号で同一方向の予測を行う上記ＤＭモードを正しく実施できるようにするために、入力信号フォーマットがＹＵＶ４：２：２信号である場合、輝度信号に使用したイントラ予測モードのインデックスを色差信号の予測に用いるイントラ予測モードのインデックスに変換し、変換後のインデックスに対応するイントラ予測モードによる色差信号の予測処理を実施する。
図３１は図７のイントラ予測モードにおけるイントラ予測モードインデックスの変換例を示している。
図３１の変換テーブルは、予測方向の角度がθであるとき（図３０を参照）、イントラ予測モードの方向性予測が図３２に示すｔａｎθとなる角度である場合、ｔａｎθ_Ｃ＝２ｔａｎθ_Ｌの関係に最も近い角度θ_Ｃに変換するテーブルの例である。
変換処理の実現は、上記のように、インデックスの変換テーブルを用意し、その変換テーブルを参照することでインデックスを変換するように構成してもよいし、変換式を用意し、その変換式に従ってインデックスを変換するように構成してもよい。
このように構成することで、方向性予測処理自体を変更することなく、インデックスの変換のみでＹＵＶ４：２：２信号のフォーマットに応じた色差信号の適切な予測を実施することができる。

また、色差信号に対して、上記ＬＭモードを行わないように画像符号化装置が構成されている場合、その画像符号化装置から生成される符号化ビットストリームが復号できるように画像復号装置も同様の構成とする。
このときの色差信号のイントラ予測パラメータ（インデックス値）と色差イントラ予測モードの対応例として、図２４が挙げられる。
このようにＬＭモードも用いないようにすることで、予測対象画素の輝度信号と色差信号の依存性がなくなるため、輝度信号と色差信号の予測処理の並列化が可能になり、高速な演算処理を実現することができる。

さらに、色差信号では、色差信号の垂直方向予測及び水平方向予測については、ブロック境界のフィルタ処理を行わずに、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４と同様の予測手法として画像符号化装置が構成されている場合、その画像符号化装置から生成される符号化ビットストリームが復号できるように画像復号装置も同様の構成とする。
このようにフィルタ処理を行わないことで、予測処理の低演算化を図ることができる。

動き補償部３５は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がインター符号化モード（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位の動きベクトルとインター予測パラメータを受け取って、動き補償予測フレームメモリ３９に格納されているフィルタ処理後の復号画像を参照しながら、その動きベクトルとインター予測パラメータを用いた符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するインター予測処理を実施してインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを生成する（ステップＳＴ２７）。

逆量子化・逆変換部３２は、可変長復号部３１から圧縮データ及び予測差分符号化パラメータを受けると、図１の逆量子化・逆変換部８と同様の手順で、その予測差分符号化パラメータに含まれる量子化パラメータ及び変換ブロック分割情報を参照して、変換ブロック単位にその圧縮データを逆量子化する。
このとき、可変長復号部３１により可変長復号された各ヘッダ情報を参照し、各ヘッダ情報が、当該スライスで量子化マトリクスを用いて、逆量子化処理を実施することを示している場合は、量子化マトリクスを用いて逆量子化処理を行う。

この際、可変長復号部３１により可変長復号された各ヘッダ情報を参照して、各直交変換サイズで色信号や符号化モード（イントラ符号化かインター符号化か）毎に使用する量子化マトリクスを特定する。
また、逆量子化・逆変換部３２は、変換ブロック単位に逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部８から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する（ステップＳＴ２８）。

加算部３６は、逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、または、動き補償部３５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎのいずれか一方を加算して復号画像を算出し、その復号画像をループフィルタ部３８に出力するとともに、その復号画像をイントラ予測用メモリ３７に格納する（ステップＳＴ２９）。
この復号画像が、以降のイントラ予測処理の際に用いられる復号済みの画像信号になる。

ループフィルタ部３８は、全ての符号化ブロックＢ^ｎに対するステップＳＴ２３〜ＳＴ２９の処理が完了すると（ステップＳＴ３０）、加算部３６から出力された復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の復号画像を動き補償予測フレームメモリ３９に格納する（ステップＳＴ３１）。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
ただし、ループフィルタ部３８は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理のそれぞれについて、可変長復号部３１により可変長復号された各ヘッダ情報を参照して、当該スライスで処理を行うか否かを特定する。
このとき、２つ以上のフィルタ処理を行う場合に、例えば、画像符号化装置のループフィルタ部１１が図１１のように構成されている場合には、図１２に示すようにループフィルタ部３８が構成される。

ここで、デブロッキングフィルタ処理では、可変長復号部３１により可変長復号されたヘッダ情報を参照し、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更する情報が存在する場合には、その変更情報に基づいて、デブロッキングフィルタ処理を実施する。変更情報がない場合は、予め定められた手法に従って行う。

画素適応オフセット処理では、可変長復号部３１により可変長復号された画素適応オフセット処理のブロック分割情報に基づいて分割し、そのブロック単位に、可変長復号部３１により可変長復号されたブロック単位のクラス分類手法を示すインデックスを参照して、そのインデックスが“オフセット処理を行わない”ことを示すインデックスでない場合、ブロック単位にブロック内の各画素を上記インデックスが示すクラス分類手法に従ってクラス分類する。
なお、クラス分類手法の候補として、ループフィルタ部１１の画素適応オフセット処理のクラス分類手法の候補と同一のものが予め用意されている。

そして、ループフィルタ部３８は、ブロック単位の各クラスのオフセット値を特定する可変長復号部３１により可変長復号されたオフセット情報を参照して、復号画像の輝度値にオフセットを加算する処理を行う。

適応フィルタ処理では、可変長復号部３１により可変長復号されたクラス毎のフィルタを用いて、図１の画像符号化装置と同一の手法でクラス分類した後に、そのクラス分類情報に基づいてフィルタ処理を行う。
このループフィルタ部３８によるフィルタ処理後の復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。

以上で明らかなように、この実施の形態１によれば、インタレース映像のフィールド・ペア符号化においても、符号化ビットストリームの復号開始位置に関わらずに常に同じフィールドから正しく再生できる符号化ビットストリームを生成するように構成したので、インタレース映像のフィールド・ペア符号化においても、復号画像を表示する表示装置は符号化ビットストリームの復号開始位置に関わらずに常に同じフィールドをはじめに表示するように構成すればよく、表示処理を簡易に行える効果を奏する。

また、この実施の形態１によれば、インタレース映像のフィールド・ペア復号においても、符号化ビットストリームの復号開始位置に関わらずに常に同じフィールドから正しく再生できる符号化ビットストリームを正しく復号することができる効果を奏する。

なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

以上のように、本発明にかかる画像符号化装置、画像符号化方法、画像復号装置及び画像復号方法は、インタレース映像のフィールド・ペア符号化においても、符号化ビットストリームの復号開始位置に関わらずに常に同じフィールドから正しく再生できる符号化ビットストリームを生成して符号化することができるので、動画像符号化装置及び動画像復号装置等に有用である。

１ ブロック分割部、２ 符号化制御部、３ 切換スイッチ、４ イントラ予測部（イントラ予測手段）、５ 動き補償予測部、６ 減算部、７ 変換・量子化部、８ 逆量子化・逆変換部、９ 加算部、１０ イントラ予測用メモリ、１１ ループフィルタ部、１２ 動き補償予測フレームメモリ、１３ 可変長符号化部、１４ スライス分割部、３１ 可変長復号部、３２ 逆量子化・逆変換部、３３ 切換スイッチ、３４ イントラ予測部（イントラ予測手段）、３５ 動き補償部、３６ 加算部、３７ イントラ予測用メモリ、３８ ループフィルタ部、３９ 動き補償予測フレームメモリ。

Claims (2)

1. ピクチャをランダムアクセス可能なＩＲＡＰ（Ｉｎｔｒａ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）ピクチャとして符号化することができる画像符号化装置であるとともに、
   各フレームが第一のフィールドと第二のフィールドの二つのフィールドで構成され、各フィールドをピクチャとして符号化する画像符号化装置であって、
   複数の前記各フレームにおいて任意の位置の特定のフレームの第一のフィールドを、イントラ予測のみで予測されるイントラピクチャであって非ＩＲＡＰ（ｎｏｎ−Ｉｎｔｒａ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）ピクチャでもある第一のピクチャとして符号化するとともに、前記第一のピクチャ、前記第一のピクチャを用いて予測され、符号化順が後となる前記特定のフレームの第二のフィールドである第二のピクチャ、前記第一のピクチャまたは前記第二のピクチャより予測されるとともに、前記特定のフレームより符号化順が後で表示順が前となる第三のピクチャ、の順に符号化するように設定する符号化設定手段と、
   前記特定のフレームの前記第一のフィールドである前記第一のピクチャがビットストリームの途中からの復号を開始可能なピクチャであることを示す情報を前記ビットストリームに多重化する多重化手段と、
   を備えることを特徴とする画像符号化装置。
2. ピクチャをランダムアクセス可能なＩＲＡＰ（Ｉｎｔｒａ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）ピクチャとして符号化することができる画像符号化方法であるとともに、
   各フレームが第一のフィールドと第二のフィールドの二つのフィールドで構成され、各フィールドをピクチャとして符号化する画像符号化方法であって、
   複数の前記各フレームにおいて任意の位置の特定のフレームの第一のフィールドを、イントラ予測のみで予測されるイントラピクチャであって非ＩＲＡＰ（ｎｏｎ−Ｉｎｔｒａ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）ピクチャでもある第一のピクチャとして符号化するとともに、前記第一のピクチャ、前記第一のピクチャを用いて予測され、符号化順が後となる前記特定のフレームの第二のフィールドである第二のピクチャ、前記第一のピクチャまたは前記第二のピクチャより予測されるとともに、前記特定のフレームより符号化順が後で表示順が前となる第三のピクチャ、の順に符号化する符号化ステップと、
   前記特定のフレームの前記第一のフィールドである前記第一のピクチャがビットストリームの途中からの復号を開始可能なピクチャであることを示す情報を前記ビットストリームに多重化する多重化ステップと、
   を備えることを特徴とする画像符号化方法。

Images