JP6555856B2 - 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 - Google Patents

Description

この発明は、画像を高効率で符号化を行う画像符号化装置及び画像符号化方法と、高効率で符号化されている画像を復号する画像復号装置及び画像復号方法に関するものである。

例えば、以下の非特許文献１に記載されている画像符号化装置では、入力されたカラー画像を所定の大きさの最大符号化ブロックに分割し、さらに、最大符号化ブロックをより細かい符号化ブロックに階層分割する。
また、その符号化ブロックをさらに細かい予測ブロック（予測処理単位のブロック）に分割し、その予測ブロックに対する画面内予測や動き補償予測を実施することで予測画像（予測誤差）を生成する。
また、その予測画像を符号化ブロック内で階層的に変換ブロックに分割し、それぞれの変換ブロックの変換係数をエントロピー符号化することで高い圧縮率を達成している。

非特許文献１では、画面内の符号化済み画素を用いる予測としてイントラ予測を用いている。
このイントラ予測には、予測ブロックに隣接している画素を参照画素として、一定の方向にコピーする方向性予測、予測ブロック内の画素の予測値を参照画素の平均値とする平均値（ＤＣ）予測や、参照画素から予測ブロック内を内挿する平面（Ｐｌａｎａｒ）予測がある。
画像信号は一般に空間的相関が高いため、隣接する画素を用いた様々なバリエーションの予測を適切に切り替えることで高い予測効率を実現することができる。

B．Bross，W.-J. Han，J.-R. Ohm，G. J. Sullivan，Y.-K. Wang and T. Wiegand，"High Efficiency Video Coding（HEVC）text specification draft 10（for FDIS & Consent）"，doc. JCTVC-L1003，Joint Collaborative Team on Video Coding（JCT-VC）of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，12th Meeting，2013

従来の画像符号化装置は以上のように構成されているので、予測ブロックに対するイントラ予測を適正に選択することができれば、予測精度を高めて、高い符号化効率を実現することができる。しかし、予測ブロック内の絵柄が、例えば、特定の非直線な模様や文字である場合など、予測ブロック内の絵柄によっては、予め用意されているどのイントラ予測を選択しても、精度良く予測できない場合がある。このような場合には、予測精度が低下して、高い符号化効率を実現することができない課題があった。

この発明は上記のような課題を解決するためになされたもので、予測ブロック内の絵柄が特定の非直線な模様や文字などであっても、予測精度を高めて、高い符号化効率を実現することができる画像符号化装置及び画像符号化方法を得ることを目的とする。
また、この発明は、上記のような画像符号化装置及び画像符号化方法により生成された符号化ビットストリームを正しく復号することができる画像復号装置及び画像復号方法を得ることを目的とする。

この発明に係る画像符号化装置は、予測ブロックにおける色差成分の予測画像を生成する際の色差成分間で予測する予測処理として、予測ブロックの色成分間予測パラメータを用いる色成分間予測処理を実施することで、予測ブロックにおける色差成分の予測画像を生成する予測画像生成手段と、予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと同じであるか否かを示す同一判定用フラグを可変長符号化し、予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと異なるものであれば、予測ブロックの色成分間予測パラメータを可変長符号化する可変長符号化手段とを備えるようにしたものである。

この発明によれば、予測ブロックにおける色差成分の予測画像を生成する際の予測処理として、予測ブロックの色成分間予測パラメータを用いる色成分間予測処理を実施することで、予測ブロックにおける色差成分の予測画像を生成するように構成したので、予測ブロック内の絵柄が特定の非直線な模様や文字などであっても、予測精度を高めて、高い符号化効率を実現することができる効果がある。

この発明の実施の形態１による画像符号化装置を示す構成図である。 この発明の実施の形態１による画像符号化装置の処理内容（画像符号化方法）を示すフローチャートである。 この発明の実施の形態１による画像復号装置を示す構成図である。 この発明の実施の形態１による画像復号装置の処理内容（画像復号方法）を示すフローチャートである。 最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。 （ａ）は分割後の符号化ブロック及び予測ブロックの分布を示し、（ｂ）は階層分割によって符号化モードｍ（Ｂ^ｎ）が割り当てられる状況を示す説明図である。 符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎが選択可能なイントラ予測モードの一例を示す説明図である。 ｌ_ｉ ^ｎ＝ｍ_ｉ ^ｎ＝４の場合の予測画像生成ブロック内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。 予測画像生成ブロック内の左上画素を原点とする相対座標を示す説明図である。 量子化マトリクスの一例を示す説明図である。 この発明の実施の形態１による画像符号化装置のループフィルタ部で複数のループフィルタ処理を用いる場合の構成例を示す説明図である。 この発明の実施の形態１による画像復号装置のループフィルタ部で複数のループフィルタ処理を用いる場合の構成例を示す説明図である。 符号化ビットストリームの一例を示す説明図である。 画素適応オフセット処理のクラス分類手法のインデックスを示す説明図である。 １６×１６画素のサイズの直交変換における変換係数の符号化順を示す説明図である。 １６×１６画素のサイズの直交変換における変換係数の分布の一例を示す説明図である。 平均値予測時のフィルタ処理におけるフィルタの切り替え領域を示す説明図である。 平均値予測時のフィルタ処理の参照画素配置を示す説明図である。 ４×４画素と８×８画素のサイズの直交変換における変換係数の符号化順の一例を示す説明図である。 ＹＵＶ４：２：０フォーマットの信号における輝度成分及び色差成分の圧縮処理を実施する際の変換ブロックサイズを示す説明図である。 ＹＵＶ４：２：２フォーマットの信号における輝度成分及び色差成分の圧縮処理を実施する際の変換ブロックサイズを示す説明図である。 ＹＵＶ４：４：４フォーマットの信号における輝度成分及び色差成分の圧縮処理を実施する際の変換ブロックサイズを示す説明図である。 色差成分のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。 ＹＵＶ４：２：０フォーマットの信号において輝度成分と色差成分で同一の方向性予測を用いた場合を示す説明図である。 ＹＵＶ４：２：２フォーマットの信号において輝度成分と色差成分で同一の方向性予測を用いた場合を示す説明図である。 ＹＵＶ４：４：４フォーマットとＹＵＶ４：２：２フォーマットの関係を示す説明図である。 ＹＵＶ４：４：４フォーマットの信号において輝度成分と色差成分で同一の方向性予測を用いることと等価となるＹＵＶ４：２：２フォーマットでの方向性予測の例を示す説明図である。 ＹＵＶ４：２：２フォーマットの信号での方向性予測の予測方向ベクトルを示す説明図である。 方向性予測と角度の関係を示す説明図である。 ＹＵＶ４：２：２フォーマットの信号において輝度成分のイントラ予測モードインデックスと色差成分のイントラ予測モードインデックスの関係を示す説明図である。 イントラ予測モードインデックスとｔａｎθの関係を示す説明図である。 イントラブロックコピーの一例を示す説明図である。 イントラブロックコピーにおいて未符号化領域の画素に特定の画素値を埋めた場合の効果を示す説明図である。 イントラブロックコピーにおける画素埋め処理の一例を示す説明図である。 イントラブロックコピーにおける画素埋め処理に用いるＭｏｖｅ−Ｔｏ−Ｆｒｏｎｔ法の説明図である。 イントラブロックコピーにおける画素埋め処理として実施する水平方向又は垂直方向のフィルタ処理の参照画素の一例を示す説明図である。 イントラブロックコピーにおける参照ブロックの一例を示す説明図である。 イントラブロックコピーにおける画素埋め処理として実施するＬ字型のフィルタ処理の説明図である。 イントラブロックコピーにおける画素埋め処理として実施する水平方向フィルタ処理に対して参照画素を拡張した場合の一例を示す説明図である。 イントラブロックコピーにおける画素埋め処理として実施する垂直方向フィルタ処理に対して参照画素を拡張した場合の一例を示す説明図である。 イントラブロックコピーにおける画素埋め処理として実施するＬ字型のフィルタ処理に対して参照画素を拡張した場合の説明図である。 イントラブロックコピー予測処理において、ブロックシフトベクトルが指し示す参照ブロックが、予測対象符号化ブロック内の未符号化領域を含む例を示す説明図である。 イントラブロックコピー予測処理において、未符号化領域の画素を埋める画素値を求める処理の処理手順の例を示すフローチャートである。 図４３のフローチャートにおける「Ｌ_ｍａｘ判定及びＳ_ｍａｘ更新」処理の処理手順の例を示すフローチャートである。 入力信号フォーマットがＹＵＶ４：４：４フォーマットの信号での色成分間予測の例を示す説明図である。 予測画像生成対象ブロックが８×８画素の場合の色成分間予測の相関パラメータを算出する際に参照する画素位置の例を示す説明図である。 符号化ブロックが８×８画素において、予測画像生成対象ブロックが予測ブロックである場合の色成分間予測の相関パラメータを算出する際に参照する画素位置の例を示す説明図である。 色成分間予測を含めた色差成分のイントラ予測パラメータの例を示す説明図である。 相関パラメータαの候補パラメータとインデックスの対応例を示す説明図である。 相関パラメータαの候補パラメータを二値化する固有の方法の例を示すフローチャートである。 図５０の方法を実行することで二値化された相関パラメータαの候補パラメータを示す説明図である。 相関パラメータの絶対値をＵＮＡＲＹ符号によって二値化した場合を示す説明図である。

実施の形態１．
図１はこの発明の実施の形態１による画像符号化装置を示す構成図である。
この実施の形態１の画像符号化装置が処理対象とする映像信号は、輝度成分と２つの色差成分からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ成分等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。
各画素の階調は８ビットでもよいし、１０ビット、１２ビットなどの階調であってもよい。
また、入力信号は映像信号ではなく静止画像信号でもよいことは、静止画像信号を１フレームのみで構成される映像信号と解釈できることから当然である。

以下の説明においては、便宜上、特に断らない限り、入力される映像信号が、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、縦横ともに２分の１にサブサンプルされたＹＵＶ４：２：０フォーマット、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、横方向に２分の１にサブサンプルされたＹＵＶ４：２：２フォーマット、あるいは、２つの色差成分Ｕ，Ｖが輝度成分Ｙと同じサンプル数であるＹＵＶ４：４：４フォーマットの信号であるものとする。また、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の三原色の信号成分からなるＲＧＢ４：４：４フォーマットの画像信号については、それぞれの色成分をＹＵＶ４：４：４フォーマットの色成分とみなしてＹＵＶ４：４：４フォーマットと同一の符号化を行う。ただし、ＲＧＢ４：４：４フォーマットの各色成分（ＲＧＢ）のＹＵＶ４：４：４フォーマットの各色成分（ＹＵＶ）への対応付けについては限定しない（任意に設定できる）。
この対応付けはインデックス情報として上位ヘッダで符号化して画像復号装置側で認識できるようにしてもよい。このようにすることで、画像復号装置によって復号した復号画像の色を復号された符号化データのみから認識することができ、正しく表示することができる。また、ＹＵＶ４：４：４フォーマット信号やＲＧＢ４：４：４フォーマット信号の場合、各色成分をモノクローム画像信号とみなしてそれぞれ独立にモノクローム（ＹＵＶ４：０：０）符号化してビットストリームを生成するようにしてもよい。

このようにすることで各色成分並列に符号化処理を実施することができる。その際、各モノクローム信号がどの色成分であるかを示す情報をインデックス情報として上位ヘッダで符号化して画像復号装置側で認識できるようにしてもよい。このようにすることで、画像復号装置によって復号した復号画像の色を正しく表示することができる。
なお、上記では４：４：４フォーマット信号の各色成分をモノクローム画像信号とみなしてそれぞれ独立にモノクローム（ＹＵＶ４：０：０）符号化する場合について説明したが、実際にモノクローム画像信号を対象としてモノクローム符号化することも当然可能である。

また、上記ではＹＵＶ信号フォーマットやＲＧＢ信号フォーマットの場合について説明したが、その他の信号フォーマット（ＹＣｂＣｒや、ＸＹＺ等）においても同様に４：２：０、４：２：２、４：４：４フォーマットのいずれかであれば、ＹＵＶフォーマットと同様に符号化できる。ただし、対象とするフォーマットの各色成分がＹＵＶフォーマットにおいていずれの色成分に対応するかについては限定しない（任意に設定できる）。もちろん、ＲＧＢフォーマットの場合について上記で説明したように、色成分の対応付けはインデックス情報として上位ヘッダで符号化して画像復号装置側で認識できるようにしてもよい。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。

図１において、符号化制御部１は符号化処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定することで、各々の符号化ブロックのサイズを決定する処理を実施する。
また、符号化制御部１は選択可能な１以上の符号化モード（予測処理単位を示す予測ブロックのサイズなどが異なる１以上のイントラ符号化モード、予測処理単位を示す予測ブロックのサイズなどが異なる１以上のイントラブロックコピー符号化モード、予測ブロックのサイズなどが異なる１以上のインター符号化モード）の中から、ブロック分割部３から出力される符号化ブロックに適用する符号化モードを選択する処理を実施する。
選択手法の例としては、選択可能な１以上の符号化モードの中から、ブロック分割部３から出力される符号化ブロックに対する符号化効率が最も高い符号化モードを選択する手法がある。

また、符号化制御部１は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを上記イントラ符号化モードが示す予測処理単位である予測ブロック毎に決定し、符号化効率が最も高い符号化モードがイントラブロックコピー符号化モードである場合、そのイントラブロックコピー符号化モードで符号化ブロックに対するイントラブロックコピー予測処理を実施する際に用いるイントラブロックコピー予測パラメータを上記イントラブロックコピー符号化モードが示す予測処理単位である予測ブロック毎に決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化ブロックに対する動き補償予測処理を実施する際に用いるインター予測パラメータを上記インター符号化モードが示す予測処理単位である予測ブロック毎に決定する処理を実施する。

符号化制御部１は、色差成分については、予測ブロックに対して、イントラ予測処理、イントラブロックコピー予測処理、動き補償予測処理よりも、符号化済みの色成分を参照して、予測ブロックにおける色差成分の予測画像を生成する色成分間予測処理を実施する色成分間予測処理を実施する方が符号化効率が高くなるような場合、ブロック分割部３から出力される符号化ブロックに適用する符号化モード（イントラ符号化モード、イントラブロックコピー符号化モード、インター符号化モード）にかかわらず、予測処理として色成分間予測を実施するように、当該符号化ブロックに関わる後述する色成分間予測フラグをＯＮに設定する。
また、色成分間予測処理を実施するか否かの選択単位を符号化ブロック単位として、色成分間予測処理を実施する符号化モードとして色成分間予測モードを定義するようにしてもよい。このようにすることで、予測ブロック単位に色成分間予測フラグを設定する場合より、色成分間予測の選択に関する情報の符号量を削減することができる。

さらに、符号化制御部１は変換・量子化部９及び逆量子化・逆変換部１０に与える予測差分符号化パラメータを決定する処理を実施する。予測差分符号化パラメータには、符号化ブロックにおける直交変換処理単位となる変換ブロックの分割情報を示す変換ブロック分割情報や、変換係数の量子化を行う際の量子化ステップサイズを規定する量子化パラメータなどが含まれる。

ここで、図２０はＹＵＶ４：２：０フォーマットの信号における輝度成分及び色差成分の圧縮処理（変換処理、量子化処理）を実施する際の変換ブロックサイズを示す説明図である。
変換ブロックサイズは、図２０に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。

輝度成分については、例えば、図２０に示すように、符号化ブロックが１つ又は複数の正方形の変換ブロックに階層的に分割されるように構成する。
色差成分については、図２０に示すように、入力信号フォーマットがＹＵＶ４：２：０信号である場合、輝度成分と同様に、符号化ブロックが１つ又は複数の正方形の変換ブロックに階層的に分割されるように構成する。
この場合、色差成分の変換ブロックサイズは、対応する輝度成分の変換ブロックの縦横ともに半分のサイズとなる。

入力信号フォーマットがＹＵＶ４：２：２信号である場合、図２１に示すように、輝度成分と同様の四分木状の階層分割を行う。また、分割したブロックの形状が、垂直方向の画素数が水平方向の画素数の２倍になる長方形となるため、さらに、分割したブロックを上下に二分することで、ＹＵＶ４：２：０信号での色差成分と同じブロックサイズ（輝度成分の変換ブロックの縦横ともに半分のサイズ）の変換ブロック２つで構成するようにする。

また、入力信号フォーマットがＹＵＶ４：４：４信号である場合、図２２に示すように、色差成分の変換ブロックは、常に輝度成分の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
輝度成分の変換ブロックの分割情報は、例えば、階層毎に分割するか否かを示す変換ブロック分割フラグとして可変長符号化部１５に出力する。

スライス分割部２は入力画像として映像信号を入力すると、その入力画像を符号化制御部１により決定されたスライス分割情報にしたがって１以上の“スライス”という部分画像に分割する処理を実施する。スライスの分割単位は、上述した符号化ブロック単位まで細かくすることができる。

ブロック分割部３はスライス分割部２により分割されたスライスを入力する毎に、そのスライスを符号化制御部１により決定された最大サイズの符号化ブロックである最大符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その最大符号化ブロックを階層的に各符号化ブロックへ分割する処理を実施する。
即ち、ブロック分割部３はスライスを符号化制御部１により決定された分割に応じて各符号化ブロックに分割して、その符号化ブロックを出力する処理を実施する。また、各符号化ブロックは予測処理単位となる１つないし複数の予測ブロックに分割される。

切換スイッチ４は符号化制御部１により決定された符号化モードがイントラ符号化モードであれば、ブロック分割部３から出力された符号化ブロックをイントラ予測部５に出力し、符号化制御部１により決定された符号化モードがイントラブロックコピー符号化モードであれば、ブロック分割部３から出力された符号化ブロックをイントラブロックコピー予測部６に出力し、符号化制御部１により決定された符号化モードがインター符号化モードであれば、ブロック分割部３から出力された符号化ブロックを動き補償予測部７に出力する処理を実施する。

イントラ予測部５は切換スイッチ４から出力された符号化ブロックに対応する符号化モードとして、符号化制御部１によりイントラ符号化モードが選択された場合、イントラ用メモリ１２に格納されている局所復号画像を参照しながら、符号化制御部１により決定されたイントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施してイントラ予測画像を生成する処理を実施する。

即ち、イントラ予測部５は、輝度成分については、輝度成分のイントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施して、輝度成分の予測画像を生成する。
一方、色差成分については、色差成分のイントラ予測パラメータが、輝度成分に対するイントラ予測モードと同じイントラ予測モードを用いる旨を示している場合（イントラ予測パラメータが輝度色差共通イントラ予測モード（ＤＭモード）を示している場合）、輝度成分と同じフレーム内予測を実施して、色差成分の予測画像を生成する。
図２４はＹＵＶ４：２：０フォーマットの信号において輝度成分と色差成分で同一の方向性予測を用いた場合を示し、図２５はＹＵＶ４：２：２フォーマットの信号において輝度成分と色差成分で同一の方向性予測を用いた場合を示している。
また、色差成分のイントラ予測パラメータが、垂直方向予測モード又は水平方向予測モードを示している場合、色差成分に対する方向性予測を実施して、色差成分の予測画像を生成する。

入力信号フォーマットがＹＵＶ４：２：２信号である場合、図２６に示すように、輝度成分が正方ブロックであれば、色差成分は輝度成分と比較して水平方向の画素数が１／２となる長方形のブロックとなる。したがって、図２７に示すように、ＹＵＶ４：４：４信号をＹＵＶ４：２：２信号に変換した際に、輝度成分と色差成分で同一方向の予測となるようにするためには、ＹＵＶ４：２：２信号上では、垂直方向予測と水平方向予測以外の方向性予測の場合には、色差成分の予測方向が輝度成分の予測方向と異なることとなる。
具体的には、図２８に示すように、輝度成分の予測方向ベクトルをｖ_Ｌ＝（ｄｘ_Ｌ，ｄｙ_Ｌ）とした場合、色差成分の予測方向ベクトルは、ｖ_Ｃ＝（ｄｘ_Ｌ／２，ｄｙ_Ｌ）となる。即ち、図２９に示すように、予測方向の角度をθとした場合、輝度成分の予測方向の角度をθ_Ｌ、色差成分の予測方向の角度をθ_Ｃとして、ｔａｎθ_Ｃ＝２ｔａｎθ_Ｌの関係となる予測方向で予測する必要がある。

したがって、輝度成分と色差成分で同一方向の予測を行う上記ＤＭモードを正しく実施できるようにするために、入力信号フォーマットがＹＵＶ４：２：２信号である場合、輝度成分に使用したイントラ予測モードのインデックスを色差成分の予測に用いるイントラ予測モードのインデックスに変換し、変換後のインデックスに対応するイントラ予測モードによる色差成分の予測処理を実施する。具体的には、インデックスの変換テーブルを用意し、その変換テーブルを参照することで、インデックスを変換するように構成してもよいし、予め変換式を用意して、その変換式に従ってインデックスを変換するように構成してもよい。
このように構成することで、方向性予測処理自体を変更することなく、インデックスの変換のみで、ＹＵＶ４：２：２信号のフォーマットに応じた色差成分の適切な予測を実施することができる。

イントラ予測部５は、輝度成分の予測画像の生成については常にイントラ予測処理を実施するが、色差成分の予測画像の生成については、各予測ブロックに対して、符号化制御部１により当該予測ブロックで色成分間予測を実施するか否かを示すフラグ（色成分間予測フラグ）が有効（ＯＮ）に設定されている場合、イントラ予測処理を実施せずに、予測ブロックの色成分間予測パラメータ及び符号化済みの色差成分を用いて、予測ブロックにおける色差成分の予測画像を生成する色成分間予測処理を実施する。なお、イントラ予測部５は予測画像生成手段を構成している。

イントラブロックコピー予測部６は切換スイッチ４から出力された符号化ブロックに対応する符号化モードとして、符号化制御部１によりイントラブロックコピー符号化モードが選択された場合、その符号化ブロック内の予測ブロック（予測処理単位のブロック）が属している最大サイズの符号化ブロック（最大符号化ブロック）の中で、未だ局所復号が済んでいない領域内の各画素の画素値を所定の方法で仮定する処理を実施する。
また、イントラブロックコピー予測部６は符号化ブロック内の予測ブロック毎に、同一のピクチャ内で既に符号化が行われて局所復号が済んでいる領域の中から、当該予測ブロックと最も近似しているブロックである参照ブロックを探索して、その参照ブロックを当該予測ブロックの予測画像に決定する処理を実施する。
イントラブロックコピー予測部６は、輝度成分の予測画像の生成については常にイントラブロックコピー予測処理を実施するが、色差成分の予測画像の生成については、各予測ブロックに対して、符号化制御部１により当該予測ブロックの色成分間予測フラグがＯＮに設定されている場合、イントラブロックコピー予測処理を実施せずに、予測ブロックの色成分間予測パラメータ及び符号化済みの色差成分を用いて、予測ブロックにおける色差成分の予測画像を生成する色成分間予測処理を実施する。なお、イントラブロックコピー予測部６は予測画像生成手段を構成している。

動き補償予測部７は切換スイッチ４から出力された符号化ブロックに対応する符号化モードとして、符号化制御部１によりインター符号化モードが選択された場合、符号化ブロックと動き補償予測フレームメモリ１４に格納されている１フレーム以上の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部１により決定された参照するフレーム番号などのインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理（動き補償予測処理）を実施してインター予測画像を生成する処理を実施する。
動き補償予測部７は、輝度成分の予測画像の生成については常に動き補償予測処理を実施するが、色差成分の予測画像の生成については、各予測ブロックに対して、符号化制御部１により当該予測ブロックの色成分間予測フラグがＯＮに設定されている場合、動き補償予測処理を実施せずに、予測ブロックの色成分間予測パラメータ及び符号化済みの色差成分を用いて、予測ブロックにおける色差成分の予測画像を生成する色成分間予測処理を実施する。なお、動き補償予測部７は予測画像生成手段を構成している。

この実施の形態１では、各予測ブロックに対して、符号化制御部１により当該予測ブロックの色成分間予測フラグがＯＮに設定されている場合、イントラ予測部５、イントラブロックコピー予測部６又は動き補償予測部７のいずれかが色成分間予測処理を実施することを想定しているが、色成分間予測処理を実施する予測部を別途設けるようにしてもよい。
イントラ予測部５、イントラブロックコピー予測部６又は動き補償予測部７が色成分間予測処理を実施するか否かの判断は、例えば、符号化制御部１から出力される色成分間予測パラメータに含まれている色成分間予測フラグ（色成分間予測処理を実施するか否かを示す予測ブロック単位のＯＮ／ＯＦＦ情報であり、ＯＮであれば色成分間予測処理の実施を明示し、ＯＦＦであれば色成分間予測処理の非実施を明示している）を参照することで行う。

したがって、イントラ予測部５は、色成分間予測パラメータに含まれている色成分間予測フラグがＯＮであれば色成分間予測処理を実施し、そのフラグがＯＦＦであればイントラ予測処理を実施する。
また、イントラブロックコピー予測部６は、色成分間予測パラメータに含まれている色成分間予測フラグがＯＮであれば色成分間予測処理を実施し、そのフラグがＯＦＦであればイントラブロックコピー予測処理を実施する。
また、動き補償予測部７は、色成分間予測パラメータに含まれている色成分間予測フラグがＯＮであれば色成分間予測処理を実施し、そのフラグがＯＦＦであれば動き補償予測処理を実施する。
色成分間予測パラメータは、符号化制御部１がイントラ予測パラメータ、イントラブロックコピー予測パラメータ又はインター予測パラメータを出力する際、これらの予測パラメータに含めるようにしてもよいし、これらの予測パラメータと別途に出力するようにしてもよい。

後述する可変長符号化部１５では、符号化制御部１から出力される色成分間予測パラメータを符号化して、可変長符号化して符号化データを生成する。
また、色差成分のイントラ予測パラメータ、イントラブロックコピー予測パラメータ及びインター予測パラメータについては、色成分間予測パラメータに含まれている色成分間予測フラグがＯＦＦである場合に限り、可変長符号化して符号化データを生成する。あるいは、色差成分のイントラ予測パラメータ、イントラブロックコピー予測パラメータ及びインター予測パラメータは輝度成分と同じとしても良い。すなわち、上記色成分間予測フラグがＯＦＦである場合、輝度成分のイントラ予測パラメータ、イントラブロックコピー予測パラメータ、インター予測パラメータを用いて色差成分の予測処理を実施する。このようにすることで、色差成分の予測に必要なパラメータを別途符号化しないで済むため、符号量を削減することができる。特にイントラブロックコピー予測処理及び動き補償予測処理については、一般に画像の絵柄や動きは色成分間で高い相関を有することから、色差成分の予測パラメータと輝度成分の予測パラメータを共通化することで符号量を削減しつつ高い予測効率が実現できる。

ここでは、予測ブロック単位に色成分間予測処理の実施の有無を選択しているが、符号化ブロック単位あるいは最大サイズの符号化ブロック単位に、色成分間予測処理の実施の有無を選択するようにしてもよい。このようにすることで色成分間予測処理の切り替え単位が大きくなって予測効率が低下するが、色成分間予測フラグの符号化に要する符号量を削減することができる。あるいは、変換ブロック単位に選択しても良い。このようにすることで符号化ブロックより細かい単位で制御ができるため、予測性能が向上する。このとき、予測ブロックの中に複数の変換ブロックが存在する場合は、上記色成分間予測フラグがＯＮの変換ブロックのみ色成分間予測処理を実施し、上記色成分間予測フラグがＯＦＦの変換ブロックでは色差成分に対するイントラ予測処理、イントラブロックコピー予測処理あるいは動き補償予測処理を行う。

あるいは、色成分間予測フラグを切り替えるブロックサイズを最大サイズの符号化ブロック、符号化ブロック、予測ブロック、変換ブロックとは独立に設定しても良い。このようにすることで、色成分間予測処理に最適なブロックサイズを設定することができる。独立に設定するブロックサイズは四分木によって表現される分割情報で定めるようにしても良い。このようにすることで、画像の局所性質に応じてブロックサイズを変更することができる。本ブロックサイズ情報は符号化して、画像復号装置で復号することでわかるようにしても良いし、画像符号化装置と画像復号装置共通のサイズを予め固定サイズとして設定しても良い。
また、色成分間予測フラグは、２つの色差成分（Ｕ、Ｖ成分）で共通でもよいし、Ｕ成分とＶ成分で独立にフラグを持つようにしてもよい。Ｕ成分とＶ成分で相関の高い色成分が同じ場合は共通とすることで、色成分間予測フラグの符号量を削減しながら、高精度な予測を実現することができる。一方、Ｕ成分とＶ成分で相関の高い色成分が異なる場合には、Ｕ成分とＶ成分で独立にフラグを持つようにすることで、より適応的に色成分間予測処理の切り替えが可能になり、予測精度を改善することができる。

減算部８はブロック分割部３より出力された符号化ブロックから、イントラ予測部５により生成されたイントラ予測画像、イントラブロックコピー予測部６により生成されたイントラブロックコピー予測画像、又は、動き補償予測部７により生成されたインター予測画像を減算して、その減算結果である差分画像を示す予測差分信号を変換・量子化部９に出力する処理を実施する。
変換・量子化部９は符号化制御部１により決定された予測差分符号化パラメータに含まれる変換ブロック分割情報を参照して、減算部８から出力された予測差分信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を変換ブロック単位に実施して変換係数を算出するとともに、その予測差分符号化パラメータに含まれる量子化パラメータを参照して、その変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部１０及び可変長符号化部１５に出力する処理を実施する。

変換・量子化部９は変換係数を量子化する際、上記量子化パラメータから算出される量子化ステップサイズを変換係数毎にスケーリングする量子化マトリクスを用いて、変換係数の量子化処理を実施するようにしてもよい。
ここで、図１０は４×４ＤＣＴの量子化マトリクスの一例を示す説明図である。
図中の数字は、各変換係数の量子化ステップサイズのスケーリング値を示している。
例えば、符号化ビットレートを抑制するために、図１０に示すように、高域の変換係数程、量子化ステップサイズを大きな値にスケーリングすることで、複雑な画像領域等で発生する高域の変換係数を抑制して符号量を抑えつつ、主観品質に大きく影響する低域の係数の情報を落とさずに符号化することができる。
このように、変換係数毎の量子化ステップサイズを制御したい場合には量子化マトリクスを用いればよい。

また、量子化マトリクスは、各直交変換サイズで色成分や符号化モード（イントラ符号化かインター符号化か）毎に独立したマトリクスを使用することができ、初期値として、画像符号化装置及び画像復号装置で予め共通に用意されている量子化マトリクスや既に符号化された量子化マトリクスの中から選択するか、新しい量子化マトリクスを用いるかをそれぞれ選択することができる。
したがって、変換・量子化部９は、各直交変換サイズに対して色成分や符号化モード毎に、新しい量子化マトリクスを用いるか否かを示すフラグを符号化すべき量子化マトリクスパラメータに設定する。

さらに、新しい量子化マトリクスを用いる場合には、図１０に示すような量子化マトリクスの各スケーリング値を符号化すべき量子化マトリクスパラメータに設定する。
一方、新しい量子化マトリクスを用いない場合には、初期値として、画像符号化装置及び画像復号装置で、予め共通に用意されている量子化マトリクス、又は、既に符号化された量子化マトリクスの中から、使用するマトリクスを特定するインデックスを符号化すべき量子化マトリクスパラメータに設定する。ただし、参照可能な既に符号化された量子化マトリクスが存在しない場合、画像符号化装置及び画像復号装置で予め共通に用意されている量子化マトリクスのみ選択可能となる。

逆量子化・逆変換部１０は符号化制御部１により決定された予測差分符号化パラメータに含まれる量子化パラメータ及び変換ブロック分割情報を参照して、変換ブロック単位に変換・量子化部９から出力された圧縮データを逆量子化するとともに、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、減算部８から出力された予測差分信号に相当する局所復号予測差分信号を算出する処理を実施する。なお、変換・量子化部９が量子化マトリクスを用いて、量子化処理を実施している場合には、逆量子化処理時においても、その量子化マトリクスを参照して、対応する逆量子化処理を実施する。
加算部１１は逆量子化・逆変換部１０により算出された局所復号予測差分信号と、イントラ予測部５により生成されたイントラ予測画像、イントラブロックコピー予測部６により生成されたイントラブロックコピー予測画像、又は、動き補償予測部７により生成されたインター予測画像とを加算して、ブロック分割部３から出力された符号化ブロックに相当する局所復号画像を算出する処理を実施する。

イントラ用メモリ１２は加算部１１により算出された局所復号画像を格納する記録媒体である。
ループフィルタ部１３は加算部１１により算出された局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を出力する処理を実施する。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。

ただし、ループフィルタ部１３は、上記のデブロッキングフィルタ処理、画素適応オフセット処理及び適応フィルタ処理のそれぞれについて、処理を行うか否かを決定し、各処理の有効フラグをヘッダ情報として可変長符号化部１５に出力する。なお、上記のフィルタ処理を複数使用する際は、各フィルタ処理を順番に実施する。図１１は複数のフィルタ処理を用いる場合のループフィルタ部１３の構成例を示している。
一般に使用するフィルタ処理の種類が多いほど、画像品質は向上するが、一方で処理負荷は高くなる。即ち、画像品質と処理負荷はトレードオフの関係にある。また、各フィルタ処理の画像品質改善効果はフィルタ処理対象画像の特性によって異なる。したがって、画像符号化装置が許容する処理負荷や符号化処理対象画像の特性にしたがって使用するフィルタ処理を決めればよい。例えば、図１１の構成よりも処理負荷を削減したい場合、デブロッキングフィルタ処理と画素適応オフセット処理のみで構成するといったことが考えられる。

ここで、デブロッキングフィルタ処理では、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更することができる。変更する場合には、そのパラメータをヘッダ情報として可変長符号化部１５に出力する。
画素適応オフセット処理では、最初に、画像を複数のブロックに分割し、そのブロック単位に、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、予め用意されている複数のクラス分類手法の中から、１つのクラス分類手法を選択する。
次に、選択したクラス分類手法によって、ブロック内の各画素をクラス分類し、クラス毎に符号化歪みを補償するオフセット値を算出する。
最後に、局所復号画像の画素値に対して、そのオフセット値を加算する処理を行うことで局所復号画像の画像品質を改善する。
したがって、画素適応オフセット処理では、ブロック分割情報、各ブロックのクラス分類手法を示すインデックス、ブロック単位の各クラスのオフセット値を特定するオフセット情報をヘッダ情報として可変長符号化部１５に出力する。
なお、画素適応オフセット処理において、例えば、最大符号化ブロックといった固定サイズのブロック単位に常に分割して、そのブロック毎にクラス分類手法を選択して、クラス毎の適応オフセット処理を行ってもよい。この場合、上記ブロック分割情報が不要となり、ブロック分割情報に要する符号量分だけ符号量が削減され、符号化効率を高めることができる。

適応フィルタ処理では、局所復号画像を所定の手法でクラス分類し、各クラスに属する領域（局所復号画像）毎に、重畳されている歪みを補償するフィルタを設計し、そのフィルタを用いて、当該局所復号画像のフィルタ処理を実施する。
そして、クラス毎に設計したフィルタをヘッダ情報として可変長符号化部１５に出力する。
クラス分類手法としては、画像を空間的に等間隔に区切る簡易な手法や、ブロック単位に画像の局所的な特性（分散など）に応じて分類する手法がある。
また、適応フィルタ処理で使用するクラス数は、予め画像符号化装置及び画像復号装置に共通の値として設定してもよいし、符号化すべきパラメータとしてもよい。
前者と比較して後者の方が、使用するクラス数を自由に設定することができるため、画像品質改善効果が上がるが、一方でクラス数を符号化するために、その分の符号量が増加する。
なお、画素適応オフセット処理及び適応フィルタ処理を行う場合には、図１１に示すように、映像信号をループフィルタ部１３で参照する必要があるため、映像信号がループフィルタ部１３に入力されるように、図１の画像符号化装置を変更する必要がある。

動き補償予測フレームメモリ１４はループフィルタ部１３のフィルタ処理後の局所復号画像を格納する記録媒体である。

可変長符号化部１５は変換・量子化部９から出力された圧縮データと、符号化制御部１の出力信号（最大符号化ブロック内のブロック分割情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ、イントラブロックコピー予測パラメータ、インター予測パラメータ、色成分間予測フラグを含む色成分間予測パラメータ）と、動き補償予測部７から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して符号化データを生成する処理を実施する。
また、可変長符号化部１５は、図１３に例示するように、符号化ビットストリームのヘッダ情報として、シーケンスレベルヘッダ、ピクチャレベルヘッダを符号化し、ピクチャデータと共に符号化ビットストリームを生成する処理を実施する。なお、可変長符号化部１５は可変長符号化手段を構成している。

ここでは、可変長符号化部１５が、色成分間予測フラグを含む色成分間予測パラメータを可変長符号化する例を示しているが、その色成分間予測フラグがＯＦＦに設定されている場合（色成分間予測処理の非実施を明示している場合）、その色成分間予測フラグを可変長符号化するとともに、当該予測ブロックにおける色差成分のイントラ予測パラメータ、ブロックシフトベクトルを含むイントラブロックコピー予測パラメータ、あるいは、インター予測パラメータ及び動きベクトルを可変長符号化する。一方、その色成分間予測フラグがＯＮに設定されている場合（色成分間予測処理の実施を明示している場合）、その色成分間予測フラグを可変長符号化するとともに、色成分間予測フラグ以外の当該予測ブロックの色成分間予測パラメータ（色成分間予測の参照色成分情報、色成分間ベクトル）も可変長符号化する。
また、色成分間予測フラグがＯＮに設定されている場合、当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと同じであるか否かを示すフラグ（同一判定用フラグ）を可変長符号化し、当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと異なるものであれば、当該予測ブロックの色成分間予測フラグ以外の色成分間予測パラメータを可変長符号化するようにしてもよい。
あるいは、色成分間予測フラグより先に上記同一判定用フラグを符号化し、当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと異なるものであれば、当該予測ブロックの色成分間予測フラグを含めた色成分間予測パラメータを可変長符号化するようにしてもよい。

ただし、ピクチャデータは１以上のスライスデータから構成され、各スライスデータはスライスレベルヘッダと当該スライス内にある上記符号化データをまとめたものである。ピクチャデータはスライスデータの他に補足情報を示すヘッダ情報を含む場合もある。
シーケンスレベルヘッダは、画像サイズ、色信号フォーマット、輝度成分や色差成分の画素値のビット深度、シーケンス単位でのループフィルタ部１３における各フィルタ処理（適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理）の有効フラグ、量子化マトリクスの有効フラグなど、一般的にシーケンス単位に共通となるヘッダ情報をまとめたものである。
ピクチャレベルヘッダは、参照するシーケンスレベルヘッダのインデックスや動き補償時の参照ピクチャ数、エントロピー符号化の確率テーブル初期化フラグ、対象ピクチャに対する有効フラグを含めた量子化マトリクスパラメータなど、ピクチャ単位で設定するヘッダ情報をまとめたものである。
スライスレベルヘッダは、当該スライスがピクチャのどの位置にあるかを示す位置情報、どのピクチャレベルヘッダを参照するかを示すインデックス、スライスの符号化タイプ（オールイントラ符号化、インター符号化など）、ループフィルタ部１３における各フィルタ処理（適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理）を行うか否かを示すフラグなどのスライス単位のパラメータをまとめたものである。

ここでは、可変長符号化部１５が色成分間予測フラグを含む色成分間予測パラメータを可変長符号化する例を示しているが、シーケンスレベルヘッダ、ピクチャレベルヘッダ及びスライスレベルヘッダのうち、少なくとも１つのヘッダに色成分間予測処理を実施するか否かを示すフラグ（上位ヘッダ色成分間予測有効フラグ）を含めて符号化するようにしてもよい。このようにすることで、シーケンス、ピクチャ、あるいはスライス単位で、色成分間予測処理による高精度な予測が可能な領域（色成分間の相関が高い領域）である場合のみ有効とすることができる一方、色成分間予測処理の予測精度が低い領域は無効とすることで、色成分間予測処理に関する符号化パラメータを符号化せずに済み、符号量を削減することができる。上記の上位ヘッダ色成分間予測有効フラグはイントラ予測処理、イントラブロックコピー予測処理、動き補償予測処理のそれぞれに用意しても良いし、共通としても良い。
例えば、イントラ予測部５で輝度成分のイントラ予測処理を行う場合のみ色成分間予測処理を有効とすることで、輝度成分について、その他の予測処理（イントラブロックコピー予測処理、動き補償予測処理）を行う場合には、色成分間予測処理に関する符号化パラメータを符号化せずに済み、符号量を削減することができると共に、イントラブロックコピー予測部６及び動き補償予測部７の構成を簡易化することができる。あるいは、上記の上位ヘッダ色成分間予測有効フラグをイントラ予測処理、イントラブロックコピー予測処理及び動き補償予測処理の共通の情報として、色成分間予測の予測効率が高いスライスのみ有効とすることで、色成分間予測の予測効率が低い領域でのブロック単位の色成分間予測パラメータの符号化による符号量増加を回避することができる。

また、上位ヘッダ色成分間予測有効フラグについて、シーケンスレベルヘッダ、ピクチャレベルヘッダ及びスライスレベルヘッダのうち、２つ以上のヘッダで符号化する場合、優先度はスライスレベルヘッダ、ピクチャレベルヘッダ、シーケンスレベルヘッダの順となる。即ち、スライスレベルヘッダとピクチャレベルヘッダに上位ヘッダ色成分間予測有効フラグが存在する場合は、スライスレベルヘッダ内の上位ヘッダ色成分間予測有効フラグが優先され、ピクチャレベルヘッダ及びシーケンスレベルヘッダ内に上位ヘッダ色成分間予測有効フラグが存在する場合はピクチャレベルヘッダ内の上位ヘッダ色成分間予測有効フラグが優先される。
さらに、上位ヘッダ色成分間予測有効フラグについては、ピクチャを分割するサブピクチャの単位に設けるようにしても良い。具体的には、非特許文献１記載のＴｉｌｅやＷａｖｅｆｒｏｎｔ Ｐａｒａｌｌｅｌ Ｐｒｏｃｅｓｓｉｎｇのサブピクチャの分割単位に上位ヘッダ色成分間予測有効フラグを設けることで、色成分間予測処理が効果的な領域のみ有効とすることが可能となり、符号量の増加を抑制しつつ高精度な予測を実現することができる。

各ヘッダ情報とピクチャデータはＮＡＬユニットによって識別される。具体的には、シーケンスパラメータセット（上記シーケンスレベルヘッダに相当）、ピクチャパラメータヘッダ（上記ピクチャレベルヘッダに相当）、スライスデータはそれぞれ固有のＮＡＬユニットタイプとして定義され、ＮＡＬユニットタイプの識別情報（インデックス）と共に符号化される。補足情報についても、存在する場合には固有のＮＡＬユニットとして定義される。また、上記ピクチャデータはアクセスユニットとして定義され、スライスデータを示すＮＡＬユニットや補足情報を示すＮＡＬユニット等の当該ピクチャに関わるＮＡＬユニットをまとめた、各ピクチャのデータアクセスの単位を示している。

図１の例では、画像符号化装置の構成要素である符号化制御部１、スライス分割部２、ブロック分割部３、切換スイッチ４、イントラ予測部５、イントラブロックコピー予測部６、動き補償予測部７、減算部８、変換・量子化部９、逆量子化・逆変換部１０、加算部１１、イントラ用メモリ１２、ループフィルタ部１３、動き補償予測フレームメモリ１４及び可変長符号化部１５のそれぞれが専用のハードウェアで構成（イントラ用メモリ１２及び動き補償予測フレームメモリ１４以外の構成要素は、例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなどで構成）されているものを想定しているが、画像符号化装置がコンピュータで構成されていてもよい。
画像符号化装置をコンピュータで構成する場合、イントラ用メモリ１２及び動き補償予測フレームメモリ１４をコンピュータのメモリ上に構成するとともに、符号化制御部１、スライス分割部２、ブロック分割部３、切換スイッチ４、イントラ予測部５、イントラブロックコピー予測部６、動き補償予測部７、減算部８、変換・量子化部９、逆量子化・逆変換部１０、加算部１１、ループフィルタ部１３及び可変長符号化部１５の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図２はこの発明の実施の形態１による画像符号化装置の処理内容（画像符号化方法）を示すフローチャートである。

図３はこの発明の実施の形態１による画像復号装置を示す構成図である。
図３において、可変長復号部３１は図１の画像符号化装置により生成された符号化ビットストリームを入力すると、そのビットストリームからシーケンスレベルヘッダ、ピクチャレベルヘッダ、スライスレベルヘッダなどの各ヘッダ情報とピクチャデータを復号する処理を実施する。
ただし、ピクチャデータは１以上のスライスデータから構成されており、各スライスデータはスライスレベルヘッダと当該スライス内にある符号化データがまとめられているものである。ピクチャデータはスライスデータの他に補足情報を示すヘッダ情報を含む場合もある。このとき、ＹＵＶ４：４：４フォーマット信号やＲＧＢ４：４：４フォーマット信号の各色成分をモノクローム画像信号とみなしてそれぞれ独立にモノクローム（ＹＵＶ４：０：０）符号化していることを示す情報がヘッダ情報に含まれる場合、各色成分の符号化ビットストリームに対してそれぞれ独立に復号処理を実施することができる。

各ヘッダ情報とピクチャデータはＮＡＬユニットによって識別される。具体的には、シーケンスパラメータセット（上記シーケンスレベルヘッダに相当）、ピクチャパラメータヘッダ（上記ピクチャレベルヘッダに相当）、スライスデータはそれぞれ固有のＮＡＬユニットタイプとして定義され、ＮＡＬユニットタイプの識別情報（インデックス）を復号することで識別される。補足情報についても、存在する場合には固有のＮＡＬユニットとして識別される。また、ピクチャデータはスライスデータを示すＮＡＬユニットや補足情報を示すＮＡＬユニット等の当該ピクチャに関わるＮＡＬユニットをまとめたアクセスユニットとして識別される。

上記ヘッダ情報に含まれる量子化マトリクスの有効フラグが“有効”を示す場合、可変長復号部３１は量子化マトリクスパラメータを可変長復号し、量子化マトリクスを特定する。具体的には、各直交変換サイズの色成分や符号化モード毎に、量子化マトリクスパラメータが初期値として、画像符号化装置及び画像復号装置で予め共通に用意されている量子化マトリクス、又は、既に復号された量子化マトリクスである（新しい量子化マトリクスでない）ことを示す場合は、上記マトリクスの内のどの量子化マトリクスであるかを特定するインデックス情報を参照して量子化マトリクスを特定し、量子化マトリクスパラメータが新しい量子化マトリクスを用いることを示す場合は、量子化マトリクスパラメータに含まれる量子化マトリクスを使用する量子化マトリクスとして特定する。

また、可変長復号部３１は、スライスレベルヘッダを参照して、スライス分割状態を特定するとともに、各スライスのスライスデータを復号して、最大符号化ブロックの符号化データを特定すると共に、スライスデータに含まれるブロック分割情報を復号して、最大符号化ブロックを階層的に分割して復号処理を行う単位である符号化ブロックを特定し、各々の符号化ブロックに係る圧縮データ、符号化モード、イントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）、イントラブロックコピー予測パラメータ（符号化モードがイントラブロックコピー符号化モードである場合）、インター予測パラメータ（符号化モードがインター符号化モードである場合）、動きベクトル（符号化モードがインター符号化モードである場合）、色成分間予測を実施するか否かを示す色成分間予測フラグを含む色成分間予測パラメータ及び予測差分符号化パラメータを可変長復号する処理を実施する。なお、可変長復号部３１は可変長復号手段を構成している。

ここでは、可変長復号部３１が、色成分間予測フラグを含む色成分間予測パラメータを可変長復号する例を示しているが、その色成分間予測フラグがＯＦＦに設定されている場合、当該予測ブロックにおける色差成分のイントラ予測パラメータ、ブロックシフトベクトルを含むイントラブロックコピー予測パラメータ、あるいは、インター予測パラメータ及び動きベクトルを可変長符号化する。一方、その色成分間予測フラグがＯＮに設定されている場合、色成分間予測フラグ以外の当該予測ブロックの色成分間予測パラメータ（色成分間予測の参照色成分情報、色成分間ベクトル）を可変長復号する。
ただし、上記色成分間予測フラグがＯＮを示す場合については、この実施の形態１の画像符号化装置の構成によっては画像復号装置が下記の構成となる。
この実施の形態１の画像符号化装置が、当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと同じであるか否かを示すフラグ（同一判定用フラグ）を可変長符号化し、当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと異なるものであれば、当該予測ブロックの色成分間予測フラグ以外の色成分間予測パラメータを可変長符号化するように構成されている場合、復号側は当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと同じであるか否かを示す同一判定用フラグを可変長復号するとともに、その同一判定用フラグが当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと異なる旨を示していれば、当該予測ブロックの色成分間予測フラグ以外の色成分間予測パラメータを可変長復号する。
あるいは、この実施の形態１の画像符号化装置が、色成分間予測フラグより先に上記同一判定用フラグを符号化し、当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと異なるものであれば、当該予測ブロックの色成分間予測フラグを含めた色成分間予測パラメータを可変長符号化するように構成されている場合、復号側は、色成分間予測フラグより先に上記同一判定用フラグを符号化し、当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと異なるものであれば、当該予測ブロックの色成分間予測フラグを含めた色成分間予測パラメータを可変長符号化する。

また、ここでは、可変長復号部３１が、各予測ブロックに関わる色成分間予測パラメータを可変長復号する例を示したが、図１の画像符号化装置が、シーケンスレベルヘッダ、ピクチャレベルヘッダ、スライスレベルヘッダの内、少なくとも１つのヘッダに色成分間予測処理を実施するか否かを示すフラグ（上位ヘッダ色成分間予測有効フラグ）を含めて符号化している場合、可変長復号部３１が上記上位ヘッダ色成分間予測有効フラグを復号し、その上位ヘッダ色成分間予測有効フラグがＯＮである場合（色成分間予測処理を実施する場合）のみ、対応するイントラ予測部３４、イントラブロックコピー予測部３５、動き補償予測部３６で色成分間予測処理を有効とし、色成分間予測を実施するか否かを示す色成分間予測フラグを含むブロックレベルの色成分間予測パラメータを復号する。

ここで、上位ヘッダ色成分間予測有効フラグは、図１の画像符号化装置がイントラ予測処理、イントラブロックコピー予測処理、動き補償予測処理のそれぞれに用意している場合、対応する画像復号装置はそれぞれ個別に用意されたフラグを復号するように構成し、一方、図１の画像符号化装置がイントラ予測処理、イントラブロックコピー予測処理及び動き補償予測処理で共通に用意している場合、対応する画像復号装置はその共通のフラグを復号するように構成する。
ただし、図１の画像符号化装置が、色成分間予測処理の有効化に関する各フラグを、シーケンスレベルヘッダ、ピクチャレベルヘッダ、スライスレベルヘッダのうち、２つ以上のヘッダで符号化している場合、可変長復号部３１によって復号されたフラグについて、スライスレベルヘッダ、ピクチャレベルヘッダ、シーケンスレベルヘッダの順に優先度を設定する。
即ち、スライスレベルヘッダとピクチャレベルヘッダ内に上位ヘッダ色成分間予測有効フラグが存在する場合はスライスレベルヘッダ内の上位ヘッダ色成分間予測有効フラグが優先され、ピクチャレベルヘッダとシーケンスレベルヘッダ内に上位ヘッダ色成分間予測有効フラグが存在する場合はピクチャレベルヘッダ内の上位ヘッダ色成分間予測有効フラグが優先される。
また、上位ヘッダ色成分間予測有効フラグについては、図１の画像符号化装置がピクチャを分割するサブピクチャの単位に上位ヘッダ色成分間予測有効フラグを設けるように構成している場合、対応する画像復号装置はサブピクチャの単位に復号するように構成する。このようにすることで、サブピクチャ単位の色成分間予測の有効・無効制御を行っている画像符号化装置の符号化ビットストリームを正しく復号することができる。

逆量子化・逆変換部３２は可変長復号部３１により可変長復号された予測差分符号化パラメータに含まれる量子化パラメータ及び変換ブロック分割情報を参照して、可変長復号部３１により可変長復号された圧縮データを変換ブロック単位に逆量子化するとともに、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部１０から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する処理を実施する。
ここで、上記変換ブロック分割情報から、符号化ブロックにおける変換ブロックの分割状態を特定する。例えば、ＹＵＶ４：２：０フォーマットの信号の場合、変換ブロックサイズは、図２０に示すように、符号化ブロックを四分木状に階層分割することによって決定される。

輝度成分については、例えば、図２０に示すように、符号化ブロックが１つ又は複数の正方形の変換ブロックに階層的に分割されるように構成する。
色差成分については、図２０に示すように、入力信号フォーマットがＹＵＶ４：２：０信号である場合、輝度成分と同様に、符号化ブロックが１つ又は複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差成分の変換ブロックサイズは、対応する輝度成分の変換ブロックの縦横ともに半分のサイズとなる。

入力信号フォーマットがＹＵＶ４：２：２信号である場合、図２１に示すように、輝度成分と同様の四分木状の階層分割を行う。また、分割したブロックの形状が、垂直方向の画素数が水平方向の画素数の２倍になる長方形となるため、さらに、分割したブロックを上下に二分することで、ＹＵＶ４：２：０信号での色差成分と同じブロックサイズ（輝度成分の変換ブロックの縦横ともに半分のサイズ）の変換ブロック２つで構成するようにする。
入力信号フォーマットがＹＵＶ４：４：４信号である場合、図２２に示すように、色差成分の変換ブロックは、常に輝度成分の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。

また、可変長復号部３１により可変長復号された各ヘッダ情報が、当該スライスで量子化マトリクスを用いて、逆量子化処理を実施することを示している場合、量子化マトリクスを用いて逆量子化処理を行う。
具体的には、各ヘッダ情報から特定される量子化マトリクスを用いて逆量子化処理を行う。

切換スイッチ３３は可変長復号部３１により可変長復号された符号化モードがイントラ符号化モードであれば、可変長復号部３１により可変長復号されたイントラ予測パラメータをイントラ予測部３４に出力し、可変長復号部３１により可変長復号された符号化モードがイントラブロックコピー符号化モードであれば、可変長復号部３１により可変長復号されたイントラブロックコピー予測パラメータをイントラブロックコピー予測部３５に出力し、可変長復号部３１により可変長復号された符号化モードがインター符号化モードであれば、可変長復号部３１により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償予測部３６に出力する処理を実施する。

イントラ予測部３４は可変長復号部３１により可変長復号されたブロック分割情報から特定される符号化ブロックに係る符号化モードがイントラ符号化モードである場合、イントラ用メモリ３８に格納されている復号画像を参照しながら、切換スイッチ３３から出力されたイントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施してイントラ予測画像を生成する処理を実施する。

即ち、イントラ予測部３４は、輝度成分については、輝度成分に対する上記イントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施して、輝度成分の予測画像を生成する。
一方、色差成分については、各予測ブロックに対して、当該予測ブロックの上記色成分間予測フラグがＯＦＦである（色成分間予測処理の非実施を明示している）場合、イントラ予測処理を実施する。
このとき、色差成分のイントラ予測パラメータが、輝度成分に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合（イントラ予測パラメータが輝度色差共通イントラ予測モード（ＤＭモード）を示している場合）、輝度成分と同じフレーム内予測を実施して、色差成分の予測画像を生成する。
また、色差成分のイントラ予測パラメータが、垂直方向予測モード又は水平方向予測モードを示している場合、色差成分に対する方向性予測を実施して、色差成分の予測画像を生成する。

入力信号フォーマットがＹＵＶ４：２：２信号である場合、図２６に示すように、輝度成分が正方ブロックであれば、色差成分は輝度成分と比較して水平方向の画素数が１／２となる長方形のブロックとなる。したがって、図２７に示すように、ＹＵＶ４：４：４信号をＹＵＶ４：２：２信号に変換した際に、輝度成分と色差成分で同一方向の予測となるようにするためには、ＹＵＶ４：２：２信号上では、垂直方向予測と水平方向予測以外の方向性予測の場合には、色差成分の予測方向が輝度成分の予測方向と異なることとなる。
具体的には、図２８に示すように、輝度成分の予測方向ベクトルをｖ_Ｌ＝（ｄｘ_Ｌ，ｄｙ_Ｌ）とした場合、色差成分の予測方向ベクトルは、ｖ_Ｃ＝（ｄｘ_Ｌ／２，ｄｙ_Ｌ）となる。即ち、図２９に示すように、予測方向の角度をθとした場合、輝度成分の予測方向の角度をθ_Ｌ、色差成分の予測方向の角度をθ_Ｃとして、ｔａｎθ_Ｃ＝２ｔａｎθ_Ｌの関係となる予測方向で予測する必要がある。

したがって、輝度成分と色差成分で同一方向の予測を行う上記ＤＭモードを正しく実施できるようにするために、入力信号フォーマットがＹＵＶ４：２：２信号である場合、輝度成分に使用したイントラ予測モードのインデックスを色差成分の予測に用いるイントラ予測モードのインデックスに変換し、変換後のインデックスに対応するイントラ予測モードによる色差成分の予測処理を実施する。具体的には、インデックスの変換テーブルを用意し、その変換テーブルを参照することで、インデックスを変換するように構成してもよいし、予め変換式を用意して、その変換式に従ってインデックスを変換するように構成してもよい。
このように構成することで、方向性予測処理自体を変更することなく、インデックスの変換のみで、ＹＵＶ４：２：２信号のフォーマットに応じた色差成分の適切な予測を実施することができる。

イントラ予測部３４は、輝度成分の予測画像の生成については常にイントラ予測処理を実施するが、色差成分の予測画像の生成については、各予測ブロックに対して、当該予測ブロックの色成分間予測フラグがＯＮである場合（色成分間予測処理の実施を明示している場合）、イントラ予測処理を実施せずに、当該予測ブロックの色成分間予測パラメータ及び復号済みの色差成分を用いて、当該予測ブロックにおける色差成分の予測画像を生成する色成分間予測処理を実施する。なお、イントラ予測部３４は予測画像生成手段を構成している。

イントラブロックコピー予測部３５は可変長復号部３１により可変長復号されたブロック分割情報から特定される符号化ブロックに係る符号化モードがイントラブロックコピー符号化モードである場合、その符号化ブロック内の予測ブロックが属している最大符号化ブロックの中で、未だ復号が済んでいない領域内の各画素の画素値を所定の方法で仮定する処理を実施する。
また、イントラブロックコピー予測部３５は符号化ブロック内の予測ブロック毎に、同一のピクチャ内で既に復号が済んでいる領域の中から、当該予測ブロックと最も近似しているブロックである参照ブロックを探索して、その参照ブロックを当該予測ブロックの予測画像に決定する処理を実施する。
イントラブロックコピー予測部３５は、輝度成分の予測画像の生成については常にイントラブロックコピー予測処理を実施するが、色差成分の予測画像の生成については、各予測ブロックに対して、当該予測ブロックの色成分間予測フラグがＯＮである場合（色成分間予測処理の実施を明示している場合）、イントラブロックコピー予測処理を実施せずに、当該予測ブロックの色成分間予測パラメータ及び復号済みの色差成分を用いて、当該予測ブロックにおける色差成分の予測画像を生成する色成分間予測処理を実施する。なお、イントラブロックコピー予測部３５は予測画像生成手段を構成している。

動き補償予測部３６は可変長復号部３１により可変長復号されたブロック分割情報から特定される符号化ブロックに係る符号化モードがインター符号化モードである場合、動き補償予測フレームメモリ４０に格納されている復号画像を参照しながら、切換スイッチ３３から出力された動きベクトルとインター予測パラメータを用いたインター予測処理（動き補償予測処理）を実施してインター予測画像を生成する処理を実施する。
動き補償予測部３６は、輝度成分の予測画像の生成については常に動き補償予測処理を実施するが、色差成分の予測画像の生成については、各予測ブロックに対して、当該予測ブロックの色成分間予測フラグがＯＮである場合（色成分間予測処理の実施を明示している場合）、動き補償予測処理を実施せずに、当該予測ブロックの色成分間予測パラメータ及び復号済みの色差成分を用いて、当該予測ブロックにおける色差成分の予測画像を生成する色成分間予測処理を実施する。なお、動き補償予測部３６は予測画像生成手段を構成している。

この実施の形態１では、可変長復号部３１により可変長復号された色成分間予測パラメータに含まれている色成分間予測フラグがＯＮである場合、イントラ予測部３４、イントラブロックコピー予測部３５又は動き補償予測部３６のいずれかが色成分間予測処理を実施することを想定しているが、色成分間予測処理を実施する予測部を別途設けるようにしてもよい。
また、この実施の形態１では、色成分間予測パラメータに含まれている色成分間予測フラグを参照して、色成分間予測処理の実施の有無を選択しているが、図１の画像符号化装置が、符号化ブロック単位あるいは最大サイズの符号化ブロック単位でフラグを符号化している場合、対応する画像復号装置では、図１の画像符号化装置と同じ単位でフラグを復号することで、図１の画像符号化装置と同じ単位に、色成分間予測処理の実施の有無を識別する。このようにすることで、正しく符号化パラメータを復号することができる。
あるいは、図１の画像符号化装置が、変換ブロック単位に色成分間予測フラグを符号化するように構成している場合、対応する画像復号装置も変換ブロック単位の色成分間予測フラグを復号するように構成する。このとき、予測ブロックの中に複数の変換ブロックが存在する場合は上記色成分間予測フラグがＯＮの変換ブロックのみ色成分間予測を実施し、上記色成分間予測フラグがＯＦＦの変換ブロックでは色差成分に対するイントラ予測、イントラブロックコピー予測あるいは動き補償予測を行う。
また、色成分間予測フラグは、図１の画像符号化装置が２つの色差成分（Ｕ、Ｖ成分）で共通とするように構成する場合、画像復号装置では、可変長復号部３１により２つの色差成分（Ｕ、Ｖ成分）で共通のフラグを復号する。
一方、図１の画像符号化装置がＵ成分とＶ成分で独立に色成分間予測フラグを持つように構成する場合、画像復号装置では、可変長復号部３１によりＵ成分のフラグとＶ成分のフラグを別々に復号する。このようにすることで正しく符号化パラメータを復号することができる。

加算部３７は逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像、イントラブロックコピー予測部３５により生成されたイントラブロックコピー予測画像、又は、動き補償予測部３６により生成されたインター予測画像とを加算して、図１の加算部１１から出力された局所復号画像と同一の復号画像を算出する処理を実施する。

イントラ用メモリ３８は加算部３７により算出された復号画像をイントラ予測処理及びイントラブロックコピー予測処理で用いる参照画像として格納する記録媒体である。
ループフィルタ部３９は加算部３７により算出された復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の復号画像を出力する処理を実施する。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
ただし、ループフィルタ部３９は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理のそれぞれについて、可変長復号部３１により可変長復号された各ヘッダ情報を参照して、当該スライスで行うか否かを特定する。
このとき、２つ以上のフィルタ処理を行う場合において、例えば、画像符号化装置のループフィルタ部１３が図１１のように構成されていれば、図１２に示すようにループフィルタ部３９が構成される。当然、画像符号化装置のループフィルタ部１３がデブロッキングフィルタ処理と画素適応オフセット処理から構成されていれば、ループフィルタ部３９もデブロッキングフィルタ処理と画素適応オフセット処理で構成される。

ここで、デブロッキングフィルタ処理では、可変長復号部３１により可変長復号されたヘッダ情報を参照し、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更する情報が存在する場合、その変更情報に基づいて、デブロッキングフィルタ処理を実施する。変更情報がない場合は、予め定められた手法に従って行う。

画素適応オフセット処理では、可変長復号部３１により可変長復号された画素適応オフセット処理のブロック分割情報に基づいて復号画像を分割し、そのブロック単位に、可変長復号部３１により可変長復号されたブロック単位のクラス分類手法を示すインデックスを参照して、そのインデックスが“オフセット処理を行わない”ことを示すインデックスでない場合、ブロック単位にブロック内の各画素を上記インデックスが示すクラス分類手法に従ってクラス分類する。
なお、クラス分類手法の候補として、ループフィルタ部１３の画素適応オフセット処理のクラス分類手法の候補と同一のものが予め用意されている。
そして、ブロック単位の各クラスのオフセット値を特定するオフセット情報を参照して、復号画像の画素値にオフセットを加算する処理を行う。

ただし、画像符号化装置のループフィルタ部１３の画素適応オフセット処理において、ブロック分割情報は符号化せずに、常に画像を固定サイズのブロック単位（例えば、最大符号化ブロック単位）に分割し、そのブロック毎にクラス分類手法を選択して、クラス毎の適応オフセット処理を行うように構成されている場合、ループフィルタ部３９においても、ループフィルタ部１３と同一の固定サイズのブロック単位に画素適応オフセット処理を実施する。

適応フィルタ処理では、可変長復号部３１により可変長復号されたクラス毎のフィルタを用いて、図１の画像符号化装置と同一の手法でクラス分類した後に、そのクラス分類情報に基づいてフィルタ処理を行う。
動き補償予測フレームメモリ４０はループフィルタ部３９のフィルタ処理後の復号画像をインター予測処理（動き補償予測処理）で用いる参照画像として格納する記録媒体である。

図３の例では、画像復号装置の構成要素である可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、イントラブロックコピー予測部３５、動き補償予測部３６、加算部３７、イントラ用メモリ３８、ループフィルタ部３９及び動き補償予測フレームメモリ４０のそれぞれが専用のハードウェアで構成（イントラ用メモリ３８及び動き補償予測フレームメモリ４０以外の構成要素は、例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなどで構成）されているものを想定しているが、画像復号装置がコンピュータで構成されていてもよい。
画像復号装置をコンピュータで構成する場合、イントラ用メモリ３８及び動き補償予測フレームメモリ４０をコンピュータのメモリ上に構成するとともに、可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、イントラブロックコピー予測部３５、動き補償予測部３６、加算部３７及びループフィルタ部３９の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図４はこの発明の実施の形態１による画像復号装置の処理内容（画像復号方法）を示すフローチャートである。

次に動作について説明する。
この実施の形態１では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行って符号化ビットストリームを生成する画像符号化装置と、その画像符号化装置から出力される符号化ビットストリームを復号する画像復号装置について説明する。

図１の画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズのブロックに分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。

符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。

この実施の形態１では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。

最初に、図１の画像符号化装置の処理内容を説明する。
まず、符号化制御部１は、符号化対象となるピクチャ（カレントピクチャ）のスライス分割状態を決めると共に、ピクチャの符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する（図２のステップＳＴ１）。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。

分割階層数の上限の決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一の階層数を定める方法や、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定する方法などがある。
なお、上記最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限は、シーケンスレベルヘッダなどで符号化する。その場合、分割階層数の上限の代わりに、符号化ブロックの最小ブロックサイズを符号化するようにしてもよい。即ち、最大符号化ブロックを分割階層数の上限まで分割したときのブロックのサイズが、符号化ブロックの最小ブロックサイズであるため、画像復号装置側において、最大符号化ブロックのサイズと符号化ブロックの最小ブロックサイズから分割階層数の上限を特定することができる。

また、符号化制御部１は、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。
即ち、符号化制御部１は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
符号化モードには、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」と称する）と、１つないし複数のイントラブロックコピー符号化モード（総称して「ＩＣＯＰＹ」と称する）と、１つないし複数のインター符号化モード（総称して、「ＩＮＴＥＲ」と称する）とがあり、符号化制御部１は、当該ピクチャで利用可能な全ての符号化モード、又は、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。

ただし、後述するブロック分割部３により階層的に分割される各々の符号化ブロックは、さらに予測処理を行う単位である１つないし複数の予測ブロックに分割され、予測ブロックの分割状態も符号化モードの中に情報として含まれる。即ち、符号化モードは、どのような予測ブロック分割を持つイントラ符号化モード、イントラブロックコピー符号化モード又はインター符号化モードかを識別するインデックスである。
符号化制御部１による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。

また、符号化制御部１は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロック分割状態を決定するとともに、予測処理が実施される際に用いられる予測パラメータ（イントラ予測パラメータ、イントラブロックコピー予測パラメータ、インター予測パラメータ又は色成分間予測パラメータ）を決定する。
ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ（イントラ予測パラメータ、イントラブロックコピー予測パラメータ、インター予測パラメータ又は色成分間予測パラメータ）を選択する。

ここで、図２０は４：２：０フォーマットの信号における輝度成分及び色差成分の圧縮処理（変換処理、量子化処理）を実施する際の変換ブロックサイズを示す説明図である。
変換ブロックサイズは、図２０に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。

輝度成分については、例えば、図２０に示すように、符号化ブロックが１つ又は複数の正方形の変換ブロックに階層的に分割されるように構成する。
色差成分については、図２０に示すように、入力信号フォーマットがＹＵＶ４：２：０信号である場合、輝度成分と同様に、符号化ブロックが１つ又は複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差成分の変換ブロックサイズは、対応する輝度成分の変換ブロックの縦横ともに半分のサイズとなる。

入力信号フォーマットがＹＵＶ４：２：２信号である場合、図２１に示すように、輝度成分と同様の四分木状の階層分割を行う。また、分割したブロックの形状が、垂直方向の画素数が水平方向の画素数の２倍になる長方形となるため、さらに、分割したブロックを上下に二分することで、ＹＵＶ４：２：０信号での色差成分と同じブロックサイズ（輝度成分の変換ブロックの縦横ともに半分のサイズ）の変換ブロック２つで構成するようにする。
また、入力信号フォーマットがＹＵＶ４：４：４信号である場合、図２２に示すように、色差成分の変換ブロックは、常に輝度成分の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。

符号化制御部１は、符号化ブロックにおける変換ブロックの分割情報を示す変換ブロック分割情報や、変換係数の量子化を行う際の量子化ステップサイズを規定する量子化パラメータなどを含む予測差分符号化パラメータを変換・量子化部９、逆量子化・逆変換部１０及び可変長符号化部１５に出力する。
また、符号化制御部１は、符号化モードとして、イントラ予測モードを選択している場合、輝度成分については輝度成分のイントラ予測パラメータをイントラ予測部５に出力し、色差成分については、色成分間予測処理を実施するか否かを示す色成分間予測フラグを含む色成分間予測パラメータをイントラ予測部５に出力する。さらに、上記色成分間予測フラグがＯＦＦである場合、色差成分のイントラ予測パラメータをイントラ予測部５に出力する。
ただし、常に輝度成分と色差成分で共通のイントラ予測パラメータを用いるように画像符号化装置を構成する場合、色差成分のイントラ予測パラメータはイントラ予測部５に出力する必要はない。

また、符号化制御部１は、符号化モードとして、イントラブロックコピー予測モードを選択している場合、輝度成分については輝度成分のイントラブロックコピー予測パラメータをイントラブロックコピー予測部６に出力し、色差成分については、色成分間予測を実施するか否かを示す色成分間予測フラグを含む色成分間予測パラメータをイントラブロックコピー予測部６に出力する。さらに、上記色成分間予測フラグがＯＦＦである場合、色差成分のイントラブロックコピー予測パラメータをイントラブロックコピー予測部６に出力する。
ただし、常に輝度成分と色差成分で共通のイントラブロックコピー予測パラメータを用いるように画像符号化装置を構成する場合、色差成分のイントラブロックコピー予測パラメータはイントラブロックコピー予測部６に出力する必要はない。

また、符号化制御部１は、符号化モードとして、インター予測モードを選択している場合、輝度成分については輝度成分のインター予測パラメータを動き補償予測部７に出力し、色差成分については、色成分間予測を実施するか否かを示す色成分間予測フラグを含む色成分間予測パラメータを動き補償予測部７に出力する。さらに、上記色成分間予測フラグがＯＦＦである場合、色差成分のインター予測パラメータを動き補償予測部７に出力する。
ただし、常に輝度成分と色差成分で共通のインター予測パラメータを用いるように画像符号化装置を構成する場合、色差成分のインター予測パラメータは動き補償予測部７に出力する必要はない。

スライス分割部２は、入力画像として映像信号を入力すると、その入力画像を符号化制御部１により決定されたスライス分割情報にしたがって１以上の部分画像であるスライスに分割する。
ブロック分割部３は、スライス分割部２から各スライスを入力する毎に、そのスライスを符号化制御部１により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部１により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。

ここで、図５は最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。
図５において、最大符号化ブロックは、「第０階層」と記されている輝度成分が（Ｌ^０，Ｍ^０）のサイズを有する符号化ブロックである。
最大符号化ブロックを出発点として、４分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
深さｎにおいては、符号化ブロックはサイズ（Ｌ^ｎ，Ｍ^ｎ）の画像領域である。
ただし、Ｌ^ｎとＭ^ｎは、同じであってもよいし、異なっていてもよいが、図５では、Ｌ^ｎ＝Ｍ^ｎのケースを示している。

以降、符号化制御部１により決定される符号化ブロックサイズは、符号化ブロックの輝度成分におけるサイズ（Ｌ^ｎ，Ｍ^ｎ）と定義する。
４分木分割を行うため、常に、（Ｌ^ｎ＋１，Ｍ^ｎ＋１）＝（Ｌ^ｎ／２，Ｍ^ｎ／２）が成立する。
なお、ＲＧＢ信号など、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌ^ｎ，Ｍ^ｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは（Ｌ^ｎ／２，Ｍ^ｎ／２）になる。

以降、第ｎ階層の符号化ブロックをＢ^ｎで表し、符号化ブロックＢ^ｎで選択可能な符号化モードをｍ（Ｂ^ｎ）で表すものとする。
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂ^ｎ）は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。

符号化ブロックＢ^ｎは、図５に示すように、ブロック分割部３によって、予測処理単位を表す１つないし複数の予測ブロックに分割される。
以降、符号化ブロックＢ^ｎに属する予測ブロックをＰ_ｉ ^ｎ（ｉは、第ｎ階層における予測ブロック番号）と表記する。図５にはＰ_０ ^０とＰ_１ ^０の例を示している。
符号化ブロックＢ^ｎ内の予測ブロックの分割が、どのようになされているかは、符号化モードｍ（Ｂ^ｎ）の中に情報として含まれる。
予測ブロックＰ_ｉ ^ｎは、全て符号化モードｍ（Ｂ^ｎ）に従って予測処理が行われるが、予測ブロックＰ_ｉ ^ｎ毎に、個別の予測パラメータ（イントラ予測パラメータ、イントラブロックコピー予測パラメータ又はインター予測パラメータ）を選択することができる。

符号化制御部１は、最大符号化ブロックに対して、例えば、図６に示すようなブロック分割状態を生成して、符号化ブロックを特定する。
図６（ａ）の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
図６（ｂ）は、図６（ａ）の例について、階層分割によって符号化モードｍ（Ｂ^ｎ）が割り当てられる状況を４分木グラフで示したものである。図６（ｂ）の□で囲まれているノードは、符号化モードｍ（Ｂ^ｎ）が割り当てられたノード（符号化ブロック）である。
この４分木グラフの情報は符号化モードｍ（Ｂ^ｎ）と共に符号化制御部１から可変長符号化部１５に出力されて、ビットストリームに多重化される。

切換スイッチ４は、符号化制御部１により決定された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、ブロック分割部３から出力された符号化ブロックＢ^ｎをイントラ予測部５に出力し、符号化制御部１により決定された符号化モードｍ（Ｂ^ｎ）がイントラブロックコピー符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＣＯＰＹの場合）、ブロック分割部３から出力された符号化ブロックＢ^ｎをイントラブロックコピー予測部６に出力し、符号化制御部１により決定された符号化モードｍ（Ｂ^ｎ）がインター符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、ブロック分割部３から出力された符号化ブロックＢ^ｎを動き補償予測部７に出力する。

イントラ予測部５は、符号化制御部１により決定された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードであり（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、切換スイッチ４から符号化ブロックＢ^ｎを受けると（ステップＳＴ３）、イントラ用メモリ１２に格納されている局所復号画像を参照しながら、符号化制御部１により決定されたイントラ予測パラメータを用いて、その符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する（ステップＳＴ４）。

ただし、詳細は後述するが、イントラ予測画像を生成する処理を行う際に、予測ブロックに隣接する符号化済みの画素を用いることから、イントラ予測画像を生成する処理は、予測処理に用いる予測ブロックに隣接する画素が既に符号化済みとなるように常に変換ブロック単位に行われなくてはならない。
したがって、符号化モードがイントラ符号化モードである符号化ブロックでは、選択可能な変換ブロックのブロックサイズは、予測ブロックのサイズ以下に制限され、さらに、変換ブロックが予測ブロックより小さい場合（予測ブロック内に複数の変換ブロックが存在する場合）には、変換ブロック単位に、当該予測ブロックで定められたイントラ予測パラメータを用いたイントラ予測処理を実施してイントラ予測画像を生成する処理を実施する。
なお、画像復号装置がイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎの生成に用いられたイントラ予測パラメータは、符号化制御部１から可変長符号化部１５に出力されて、ビットストリームに多重化される。
イントラ予測部５におけるイントラ予測処理の詳細は後述する。

イントラ予測部５は、輝度成分の予測画像の生成については常にイントラ予測処理を実施するが、色差成分の予測画像の生成については、各予測ブロックに対して、符号化制御部１により当該予測ブロックの色成分間予測フラグがＯＮに設定されている場合、イントラ予測処理を実施せずに、当該予測ブロックの色成分間予測パラメータ及び符号化済みの色成分を用いて、当該予測ブロックにおける色差成分の予測画像を生成する色成分間予測処理を実施する。一方、符号化制御部１により当該予測ブロックの色成分間予測フラグがＯＦＦに設定されている場合は、色差成分もイントラ予測処理を実施する。

イントラブロックコピー予測部６は、符号化制御部１により決定された符号化モードｍ（Ｂ^ｎ）がイントラブロックコピー符号化モードであり（ｍ（Ｂ^ｎ）∈ＩＣＯＰＹの場合）、切換スイッチ４から符号化ブロックＢ^ｎを受けると（ステップＳＴ３）、その符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎとイントラ用メモリ１２に格納されている局所復号画像を比較してブロックシフトベクトルを探索する。
即ち、イントラブロックコピー予測部６は、イントラ用メモリ１２に格納されている局所復号画像の中で、予測ブロックＰ_ｉ ^ｎと最も近似している領域のブロック（参照ブロック）を特定して、その参照ブロックを指し示すブロックシフトベクトルを探索する。
イントラブロックコピー予測部６は、参照ブロックを指し示すブロックシフトベクトルを探索すると、そのブロックシフトベクトルが指し示す参照ブロックを予測ブロックＰ_ｉ ^ｎの予測画像として、イントラブロックコピー予測画像Ｐ_{ＩＣＯＰＹｉ} ^ｎを生成する（ステップＳＴ５）。

ただし、図３２に示すように、予測ブロックＰ_ｉ ^ｎと最も近似している領域が未符号化領域（未だ符号化が行われておらず、局所復号が済んでいない領域であり、図３２では斜線の領域及び予測ブロックＰ_ｉ ^ｎが該当する）を跨ぐ位置に存在しているような場合には、予測ブロックＰ_ｉ ^ｎと同じサイズの参照ブロックが、局所復号が済んでいない画素を含んでしまうため、通常のイントラブロックコピー予測処理では、当該参照ブロックを指し示すブロックシフトベクトルを選択することができない。
そこで、この実施の形態１では、予測ブロックＰｉｎと最も近似している参照ブロックが未符号化領域の一部を含んでしまう場合でも、その参照ブロックを指し示すブロックシフトベクトルを探索することができるようにするために、図３３に示すように、事前に、予測ブロックが属している符号化対象の最大符号化ブロック（当該最大符号化ブロック）の中で、未符号化領域内の各画素の画素値を所定の方法で仮定する処理を実施する（所定の手法で定まる画素値で未符号化領域内の画素を埋める処理を実施する）。

具体的には、以下の（１）から（３）のいずれかの手法によって、未符号化領域内の各画素の画素値を仮定する。なお、下記では画素値の取り得る範囲を８ビット精度である０〜２５５として説明するが、１０ビットや１２ビット等、８ビット精度でない場合も同様の手法で処理を行う。即ち、１０ビット精度であれば、画素値の取り得る範囲を０〜１０２３、１２ビット精度であれば、画素値の取り得る範囲を０〜４０９５として扱う。さらに、画素値の取り得る値が符号付きである場合も同様の処理を行う（例えば、８ビット精度で取り得る値が−１２３〜１２２である場合）。
また、以下の手法は、各色成分（輝度成分（Ｙ）、色差成分（Ｕ、Ｖ）あるいはその他の色成分（赤色成分（Ｒ）、緑色成分（Ｇ）、青色成分（Ｂ）等））それぞれで実施して未符号化領域内の各画素を埋める画素値を決定する。

（１）図３４に示すように、予測ブロックが属している最大符号化ブロック（当該最大符号化ブロック）の左に隣接している複数の画素（図中、縦方向に並んでいる一列の画素）の画素値（画素値）の中で最も画素数の多い画素値を特定し、その画素値の画素を未符号化領域内に埋める。
図３４の例では、“０”の画素値を有する画素と、“６４”の画素値を有する画素とが、当該最大符号化ブロックの左に隣接しており、“６４”の画素値を有する画素の数が、“０”の画素値を有する画素の数より多いので、“６４”の画素値で未符号化領域内の画素を埋める。
一般的に、最も画素数の多い画素値は背景色となる可能性が高いため、画素埋めを行った未符号化領域と、符号化済み領域の背景との間に、不自然な輝度変化が発生せず、予測効率の低下を抑えることができる。

上記例では、当該最大符号化ブロックの左に隣接している複数の画素の画素値の中で、画素数の最も多い画素値で未符号化領域を埋めるようにしているが、当該最大符号化ブロックの上に隣接している複数の画素の画素値の中で、画素数の最も多い画素値で未符号化領域を埋めるようにしてもよい。この場合、垂直方向に相関の高い画像において未符号化領域を埋める画素値を高精度に算出することができる。さらに、当該最大符号化ブロックの左及び上に隣接している複数の画素の画素値の中で、画素数の最も多い画素値で未符号化領域を埋めるようにしてもよい。このようにすることで、演算量は増加するものの参照する画素数の増加により、予測精度の改善を期待することができる。このとき、当該最大符号化ブロックの左上の画素も合わせて参照するようにしてもよい。
あるいは、図３７に示すブロックシフトベクトルが指す参照ブロック内の未符号化領域の形状によって、当該最大符号化ブロックの左に隣接している複数の画素を用いるか、上に隣接している複数の画素を用いるかを適応的に切り替えてもよい。

具体的には、垂直方向の未符号化部分が短くなるｄｈ＜ｄｗのときは当該最大符号化ブロックの上に隣接している複数の画素から未符号化領域を埋める画素値を求め、その他（ｄｈ≧ｄｗ）のときは当該最大符号化ブロックの左に隣接している複数の画素から未符号化領域を埋める画素値を求めるようにする。このようにすることで、常に当該最大符号化ブロックに隣接する符号化済み画素と、当該最大符号化ブロックの右端又は下端の画素との距離（ｄｈ、ｄｗ）が短い方の符号化済み隣接画素を選択することができるため、画像の空間的相関を精度良く利用することができる。
また、参照する隣接画素の一部の画素が存在しない場合、予め定めた手法によって参照する画素を生成する。例えば、予め定めた固定値で代替する方法や、存在する別の位置の隣接画素の画素値で代替する方法等がある。さらに、参照する隣接画素が一つも存在しない場合については、予め定めた固定値で未符号化領域の画素を埋めるようにする。なお、予め定める固定値としては、取り得る画素値の中間値等が挙げられる。

（２）予め設定された画素値（固定値）で未符号化領域内の画素を埋める。
イントラブロックコピー予測処理は、一般的に、テキスト画像やＣＡＤ画像などのグラフィックス描画された文字や線分等に効果が高い予測処理であるが、例えば、テキスト画像は、一般的に白地の背景が多いため、例えば、白色の画素（画素値が０〜２５５を取り得る場合、“２５５”の画素値を有する画素）をテキスト画像の未符号化領域内に埋めると、イントラブロックコピー予測処理が効果的となり、多くの画像で性能改善効果を期待することができる。その他、取り得る画素値の中間値（画素値が０〜２５５を取り得る場合、“１２８”の画素値を有する画素）とする等、設定する画素値は上記以外でも良い。
予め設定された画素値（固定値）で未符号化領域内の画素を埋める手法は、コンテンツによっては予測精度が低下してしまう可能性があるが、処理負荷が非常に小さいメリットがある。

上記の手法を拡張する手法として、最大符号化ブロック単位に最適な画素値を選択し、その画素値を符号化する方法が考えられる。
このとき、選択可能な画素値の候補としては、存在している全ての画素値でもよいし、選択可能な画素値の代表値を決めて、その代表値だけを選択できるようにしてもよい。
代表値を定める場合には、可変長符号化部１５が代表値自体を符号化するのではなく、その代表値を示すインデックスを符号化するようにすれば、符号化ビットストリームの符号量を抑制することができる。
具体的には、代表値が、例えば、０、６４、１２８、１９２、２５６である場合、その順番にインデックスを０、１、２、３、４と定義し、選択した代表値を示すインデックスを可変長符号化する。
このような代表値を定める例として、白（最大値）、グレー（中間値）、黒（最小値）等の固定的な値を代表値として定めて、これらの代表値の中から任意の代表値を選択する方法や、図３５に示すようなＭｏｖｅ−Ｔｏ−Ｆｒｏｎｔ法を用いて、適応的に代表値を変える方法がある。

Ｍｏｖｅ−Ｔｏ−Ｆｒｏｎｔ法は、インデックスを出現頻度に応じて並べ替える手法である。
本例の場合、初期テーブルとして、画素値を例えば白（最大値）から黒（最小値）の順番に並べたのち、図３５のように、例えば、“２５５”の画素値が選択されれば、“２５５”の画素値を示す“６”のインデックスを符号化する一方、“２５５”の画素値がテーブルの一番上にくるように並び替える（“２５５”の画素値を示すインデックスが“１”になるようにテーブルを並び替える）ものである。
各最大符号化ブロックにおいて、テーブル上位の１つ以上の画素値（例えば、上位８つ）を代表値として、これらの代表値から任意の代表値を選択するようにする。

（３）フィルタ処理によって未符号化領域内の画素を生成する。
具体的には、図３６に示すような画素を参照するフィルタ処理を実施する（実線の円は参照画素を示し、点線の円はフィルタ処理対象画素を示している）。
Ｓ（ｘ，ｙ）を座標（ｘ，ｙ）における符号化済み画素の画素値（復号された画素値）又はフィルタ生成画素値（未符号化領域の場合）とすると、フィルタ処理対象画素の座標を（ｘ，ｙ）とした場合、下記の式でフィルタ処理が実行される。
水平方向フィルタ：

垂直方向フィルタ：

ここで、ｃ_ｎ（ｎ＝０、１、・・・、２Ｎｈ＋１），ｃ’_ｍ（ｍ＝０、１、・・・、２Ｎｖ＋１）はフィルタ係数、Ｎｈ，Ｎｖはフィルタの参照画素数を決める定数である。
即ち、水平方向フィルタはフィルタ処理対象画素の左に位置する隣接画素群によるフィルタ処理を示し、垂直方向フィルタはフィルタ処理対象画素の上に位置する隣接画素群によるフィルタ処理を示している。

このとき、ｃ_０＋ｃ_１＋・・・＋ｃ_２Ｎｈ＝１、ｃ’_０＋ｃ’_１＋・・・＋ｃ’_２Ｎｖ＝１となるとき、平滑化フィルタであることを示す。また、ｃ_{２Ｎｈ＋１}、ｃ’_{２Ｎｖ＋１}はオフセット値を表している。上記フィルタの例としては下記が挙げられる。
水平方向フィルタ：
Ｎｈ＝１、ｃ_０＝１／４、ｃ_１＝１／２、ｃ_２＝１／４、ｃ_３＝０
（ｃ_３はオフセット値、本例ではオフセットなしとしている）
垂直方向フィルタ：
Ｎｖ＝１、ｃ’_０＝１／４、ｃ’_１＝１／２、ｃ’_２＝１／４、ｃ’_３＝０
（ｃ’_３はオフセット値、本例ではオフセットなしとしている）

Ｎｈ，Ｎｖやフィルタ係数は予め画像符号化装置及び画像復号装置の共通の値として定義する。本例ではフィルタ処理対象画素に近い画素のフィルタ係数ほど大きい値としている。これは、一般にフィルタ処理対象画素に近い画素程、フィルタ処理対象画素との相関が高いためである。このようにすることで、未符号化領域内の画素として精度の高い画素を生成することができる。

なお、フィルタ処理の手順としては、水平方向フィルタ処理の場合は未符号化領域の左端の列から右端の列に向かって一列ずつフィルタ処理を行い、垂直方向フィルタ処理の場合は未符号化領域の上端の行から下端の行に向かって一行ずつフィルタ処理を行う。その際、参照不可能な画素がフィルタの参照画素として含まれる場合、参照可能な画素のうち、最も近い画素のフィルタ係数に参照不可能な画素のフィルタ係数を加算する（ただし、最も近い画素が複数ある場合は、フィルタ処理対象画素の座標（ｘ，ｙ）に最も近い画素を対象とする）。例えば、水平方向フィルタ処理において、座標（ｘ−１，ｙ＋１）以下の画素が参照できない場合、下記の式となる。

したがって、上記の例（Ｎｈ＝１、ｃ_０＝１／４、ｃ_１＝１／２、ｃ_２＝１／４、ｃ_３＝０の例）の場合、
ｃ_０＝１／４、ｃ_１＝３／４、ｃ_２＝０、ｃ_３＝０
となる。なお、このような参照不可能な画素が生じるフィルタ処理については、別途フィルタ係数やＮｈ，Ｎｖを定義するようにしてもよい。例えば、上記の水平方向フィルタの例では、Ｎｈ＝１のままとして、
ｃ_０＝１／２、ｃ_１＝１／２、ｃ_２＝０、ｃ_３＝０
としてもよい。この場合、フィルタ演算が２画素の単純平均となり、処理が簡易になるメリットがある。

上記で説明したフィルタ例以外のフィルタの例として、
水平方向フィルタ：
Ｎｈ＝０、ｃ_０＝１、ｃ_１＝０
（ｃ_１はオフセット値、本例ではオフセットなしとしている）
垂直方向フィルタ：
Ｎｖ＝０、ｃ’_０＝１、ｃ’_１＝０
（ｃ’_１はオフセット値、本例ではオフセットなしとしている）
も挙げられる。
この例の場合、水平方向フィルタは対象画素の左の画素の画素値、垂直方向フィルタは対象画素の上の画素の画素値をコピーすることとなる。即ち、水平方向フィルタは水平方向に、垂直方向フィルタは垂直方向に当該最大符号化ブロックに隣接する画素の画素値が一様にコピーされることと等価であり、フィルタ処理に要する演算量を削減できると共に、当該最大符号化ブロック内の画素全てを同時に生成することができる（当該最大符号化ブロック内の画素全てを並列に処理して生成することができる）。

水平方向フィルタと垂直方向フィルタのどちらを用いるのかについては、予め画像符号化装置と画像復号装置共通で決めておくようにする。例えば、テキスト画像では水平方向に文字が並ぶことが多いため、常に水平方向フィルタを用いるものとして画像符号化装置及び画像復号装置を構成する。
あるいは、図３７に示すブロックシフトベクトルが指す参照ブロック内の未符号化領域の形状によって、水平方向フィルタと垂直方向フィルタのどちらを用いるかを適応的に切り替えてもよい。具体的には、垂直方向の未符号化部分が短くなるｄｈ＜ｄｗのときは垂直方向フィルタを用い、その他（ｄｈ≧ｄｗ）のときは水平方向フィルタを用いるようにする。このようにすることで、常にフィルタ対象画素と符号化済み画素との距離（ｄｈ、ｄｗ）が短くなるフィルタを選択できるため、画像の空間的相関を精度良く利用することができる。

（３）のその他の例として、図３８に示す参照画素配置のフィルタ処理を行うように画像符号化装置を構成してもよい（実線の円は参照画素を示し、点線の円はフィルタ処理対象画素を示している）。フィルタ処理対象画素の座標を（ｘ，ｙ）とした場合、下記の式でフィルタ処理が実行される。

ここで、ｃ”_ｌ（ｌ＝０、１、・・・、３）はフィルタ係数を示している。また、ｃ”_０＋ｃ”_１＋ｃ”_２＝１となるとき、平滑化フィルタであることを示している。また、ｃ”_３はオフセット値を表している。上記フィルタの例としては下記が挙げられる。
ｃ”_０＝１／４、ｃ”_１＝３／８、ｃ”_２＝３／８、ｃ”_３＝０
（ｃ”_３はオフセット値、本例ではオフセットなしとしている）
本例ではフィルタ処理対象画素に近い画素程フィルタ係数が大きくなっており、これは一般にフィルタ処理対象画素に近い画素程、フィルタ処理対象画素との相関が高いためである。なお、フィルタ処理の手順としては、未符号化領域の左上の画素からフィルタ処理を実施し、隣接する未符号化領域の画素を順にフィルタ処理していくことで、常に参照画素Ｓ（ｘ−１，ｙ−１）、Ｓ（ｘ，ｙ−１）、Ｓ（ｘ−１，ｙ）が存在するようにフィルタ処理を行うことができる。

なお、上記で説明した下記例について、
水平方向フィルタ：
Ｎｈ＝１、ｃ_０＝１／４、ｃ_１＝１／２、ｃ_２＝１／４、ｃ_３＝０
垂直方向フィルタ：
Ｎｖ＝１、ｃ’_０＝１／４、ｃ’_１＝１／２、ｃ’_２＝１／４、ｃ’_３＝０
図３８のフィルタ：
ｃ”_０＝１／４、ｃ”_１＝３／８、ｃ”_２＝３／８、ｃ”_３＝０
これらのフィルタは、有意なフィルタ係数の分母が全て２のべき乗であるため、計算機による整数演算として実現する場合、下記の式に置き換えることができる。
水平方向フィルタ：

垂直方向フィルタ：

図３８のフィルタ：

ここで、“＞＞”は右ビットシフト演算を示している。これらの計算式は全て整数精度のため、元の式と比べて小数精度の誤差は生じるものの、整数演算とビットシフトのみで実行できるため、高速な計算を実現することができる。

上記では、フィルタ処理対象画素の座標（ｘ，ｙ）から水平方向又は垂直方向のいずれかが±１となる座標の範囲内の画素を参照してフィルタ処理を行う手法について説明したが、図３９、図４０、図４１に示すようにフィルタ処理対象画素の座標（ｘ，ｙ）から水平方向・垂直方向共に±２以上となる画素も用いたフィルタ処理としてもよい。図３９、図４０及び図４１において、実線の円が参照画素を示し、点線の円がフィルタ処理対象画素を示している。また、Ｎｈ，Ｎｖと同様に、Ｍｈ，Ｍｖ，Ｎｌ，Ｍｌは各フィルタの参照画素数を決める定数を示している。
この場合も上記で説明したフィルタと同様に、フィルタ処理を各参照画素に対するフィルタ係数とオフセット値から定式化することができる。このようにフィルタの参照画素を増やすことで、演算量は増加するものの、未符号化領域画素の高精度な生成を実現することができる。

また、上記の例では、未符号化領域内の画素を埋め込む単位が最大符号化ブロックであるものを示したが、これに限るものではなく、例えば、符号化ブロック単位や予測ブロック単位で更新するようにしてもよい。このようにすることで、処理量が増加してしまうが、精度が良い画素埋め処理を実現することができる。

例えば、上記（１）〜（３）の手法では最大符号化ブロック単位で未符号化領域の画素を埋める処理について説明したが、符号化ブロック単位で本処理を行うようにしてもよい。
即ち、最大符号化ブロックの未符号化領域のうち、予測対象の符号化ブロック（当該符号化ブロック）内のみ、上記（１）〜（３）の手法で画素を埋めるようにする。具体的には、下記の通りとする。
（１）の手法の場合：
予測対象の符号化ブロック（当該符号化ブロック）の左に隣接している複数の画素の画素値の中で画素数の最も多い画素値で当該符号化ブロック内の未符号化領域の画素を埋めるようにする。
（２）の手法の場合：
予測対象の符号化ブロック（当該符号化ブロック）に対して、当該符号化ブロック内の未符号化領域を埋める代表値を決定する。代表値（あるいは代表値を示すインデックス）は符号化ブロック単位に符号化する。
（３）の手法の場合：
予測対象の符号化ブロック（当該符号化ブロック）に対して、当該符号化ブロック内の未符号化領域をフィルタ処理によって埋めるようにする。
したがって、図４２に示す例のように、各符号化ブロックのイントラブロックコピー予測処理において、ブロックシフトベクトルが指し示す参照ブロックが含んでよい未符号化領域は、当該符号化ブロック内のみとなる。したがって、最大符号化ブロック単位で未符号化領域の画素を埋める処理を行う場合と比較して参照可能な領域は狭くなる。しかし、最大符号化ブロックより小さい符号化ブロックの単位で適応的に画素を埋める処理が行えるため、埋める画素の予測精度が向上し、イントラブロックコピー予測の予測効率の改善を期待することができる。

なお、（１）においては、当該符号化ブロックの左に隣接している複数の画素ではなく、当該符号化ブロックの上に隣接している複数の画素の画素値の中で、画素数の最も多い画素値で当該符号化ブロック内の未符号化領域の画素を埋めるようにしてもよい。この場合、垂直方向に相関の高い画像において未符号化領域を埋める画素値を精度良く得られる。さらに、当該符号化ブロックの左及び上に隣接している複数の画素の画素値の中で、画素数の最も多い画素値で当該符号化ブロック内の未符号化領域を埋めるようにしてもよい。このようにすることで、演算量は増加するものの参照する画素数の増加により、予測精度の改善を期待することができる。このとき、当該符号化ブロックの左上の画素も合わせて参照するようにしてもよい。

あるいは、図３７に示すブロックシフトベクトルが指す参照ブロック内の未符号化領域の形状によって、当該符号化ブロックの左に隣接している複数の画素を用いるか、上に隣接している複数の画素を用いるかを適応的に切り替えてもよい。具体的には、垂直方向の未符号化部分が短くなるｄｈ＜ｄｗのときは当該符号化ブロックの上に隣接している複数の画素から未符号化領域を埋める画素値を求め、その他（ｄｈ≧ｄｗ）のときは当該符号化ブロックの左に隣接している複数の画素から未符号化領域を埋める画素値を求めるようにする。このようにすることで、常に当該符号化ブロックに隣接する符号化済み画素と当該符号化ブロックの右端又は下端の画素との距離（ｄｈ、ｄｗ）が短い方の符号化済み隣接画素を選択できるため、画像の空間的相関を精度良く利用することができる。
また、参照する隣接画素の一部の画素が存在しない場合、予め定めた手法によって参照する画素を生成する。例えば、予め定めた固定値で代替する方法や、存在する別の位置の隣接画素の画素値で代替する方法等がある。さらに、参照する隣接画素が一つも存在しない場合については、予め定めた固定値で未符号化領域の画素を埋めるようにする。なお、予め定める固定値としては、取り得る画素値の中間値等が挙げられる。

なお、最大符号化ブロック単位で未符号化領域の画素を埋める処理の場合においても、ブロックシフトベクトルが指し示す参照ブロックが含んでよい未符号化領域を、予測対象の符号化ブロック内のみとしてもよい。このようにすることで、予測対象の符号化ブロックに近い、すなわち、空間的相関の高い領域のみ、未符号化領域も参照可能として探索可能な領域を拡大するため、最大符号化ブロック内の未符号化領域全体を探索可能とする場合と比較して、ブロックシフトベクトル探索に要する演算の負荷の増加を抑制しつつ予測精度を同様に改善することができる。さらに、探索範囲の抑制により、画像復号装置で必要とする参照可能領域を記憶するメモリのサイズの増加も抑制することができる。

（１）の未符号化領域の画素を埋める処理について、画素数を数える画素値を限定してもよい。このようにすることで、画素値が取り得る値の数の分のカウンタが必要な（１）の手法よりも必要なカウンタの個数が減るため、カウンタとして必要なメモリ量を削減することができる。なお、未符号化領域内の画素を埋め込む単位は最大符号化ブロック、符号化ブロック、予測ブロックのいずれの単位であっても各々で設定された参照画素に対して本処理を実施するものとする。
画素数を数える画素値を限定する手法の例を次に述べる。まず、画素値を量子化する例について説明する。本例では、画素値を予め定めた量子化器によって量子化し、その量子化後の代表値の数を数える。そして、最も多い画素数の代表値で未符号化領域の画素を埋めるようにする。ここで、取り得る画素値が０〜２^{ｂｉｔ_ｄｅｐｔｈ}−１であり、取り得る画素値をＮ_Ｑ個の代表値に量子化するとする（ｂｉｔ_ｄｅｐｔｈは０以上の整数、Ｎ_Ｑは１以上の整数）。この時の量子化処理の例として、整数精度の演算で行う例を下記に示している。
ｐｏｗ＝ｂｉｔ_ｄｅｐｔｈ−ｂａｓｅ
（代表値）＝（（（画素値）＋（１＜＜（ｐｏｗ−１）））＞＞ｐｏｗ）＜＜ｐｏｗ

ただし、代表値が２^{ｂｉｔ_ｄｅｐｔｈ}−１を超える場合、２^{ｂｉｔ_ｄｅｐｔｈ}−１に代表値を丸める。“＜＜”は左ビットシフト演算、“＞＞”は右ビットシフト演算を示し、ｂａｓｅは０以上の整数とし、Ｎ_Ｑ＝２^ｂａｓｅ＋１の関係が成立する。例えば、ｂｉｔ_ｄｅｐｔｈ＝８、かつ、ｂａｓｅ＝１の場合、画素値０〜６３の代表値が０、画素値６４〜１９１の代表値が１２８、画素値１９２〜２５５の代表値が２５５となる。なお、画素値の量子化手法については、上記手法に限るものではなく、上記の式において画素値に１＜＜（ｐｏｗ−１）を加算しない等の等間隔に量子化する手法を用いる等、どのような手法でも良い。
画素数を数える画素値を限定する手法のその他の例として、画素数を数えている画素値の個数が所定の数に達したら、新しく出現する画素値を無効とする手法がある。

具体的には、所定の数Ｎ_ｃ個のカウンタを用意し、隣接画素を順に数えていく中で新しい画素値が出現する度に未使用のカウンタを当該画素値のカウンタとして割り当てていくようにする。そして、所定の数Ｎ_ｃ個のカウンタ全てを使用している状態に達した以降は、これまでに出現していない新しい画素値が出現した際にはその画素値を無効とする。このようにすることで、所定の数Ｎ_ｃ個の画素値のみから未符号化領域を埋める画素値を決定することとなり、画素数を数える画素値を限定することができる。なお、本手法の場合、隣接画素を数える順番が結果に影響する。したがって、隣接画素を数える順番は予め決定しておくようにする。例えば、最大符号化ブロックの左及び上に隣接している画素を参照する場合、左下の画素から左上の画素、そして右上の画素に向かって参照していく、というように予め定める。
なお、画素数を数える画素値を限定する手法については、上記手法に限るものではなく、上記以外の手法でも良い。

また、（１）の手法では、画素値毎の画素数を数えるカウンタのためのメモリが必要となる。したがって、各画素値の画素数を覚える必要のない、同一画素値の連続数を用いる手法で未符号化領域を埋める画素値に決定するようにしても良い。具体的には、参照する隣接画素は（１）と同一とし、所定の参照順に同一の画素値が連続する画素数を数える。
そして、連続する画素数が最大となった画素値を未符号化領域の画素を埋める画素値に決定する。なお、未符号化領域内の画素を埋め込む単位は最大符号化ブロック、符号化ブロック、予測ブロックのいずれの単位であっても各々で設定された参照画素に対して本処理を実施するものとする。
本手法の場合、最大の連続画素数Ｌ_ｍａｘと、それに対応する画素値Ｓ_ｍａｘ、現在連続している画素値Ｓ_ｔｍｐと、その連続画素数Ｌ_ｔｍｐとを記憶し、所定の参照順に画素を参照していく際に、現在参照している画素の画素値Ｓ_ｃｕｒとＳ_ｔｍｐが同じ場合は連続画素数Ｌ_ｔｍｐを１増やし、異なる場合は、Ｌ_ｔｍｐとＬ_ｍａｘを比較してＬ_ｔｍｐが大きい場合にＬ_ｍａｘ＝Ｌ_ｔｍｐ、Ｓ_ｍａｘ＝Ｓ_ｔｍｐとした後で、Ｌ_ｔｍｐを初期化すると共にＳ_ｔｍｐ＝Ｓ_ｃｕｒとする。これを全ての参照画素に対して行った後のＳ_ｍａｘが連続する画素数が最大となる画素値となる。

図４３及び図４４は本手法の処理手順の例を示すフローチャートである。
ただし、図４４は図４３に記載のステップＳＴ１０５及びステップＳＴ１０６の「Ｌ_ｍａｘ判定及びＳ_ｍａｘ更新」の処理手順例を示している。本例では、ステップＳＴ１００でＬ_ｍａｘ及びＳ_ｍａｘを１（連続画素数１）に初期化すると共に、Ｓ_ｔｍｐとＬ_ｔｍｐを最初に参照する隣接画素の画素値に設定する。そして、残りの参照する隣接画素に対して（ステップＳＴ１０１）、Ｓ_ｍａｘとＬ_ｍａｘを更新する処理を実施する（ステップＳＴ１０２〜ステップＳＴ１０６）。
まず、これから参照する画素の画素値をＳ_ｃｕｒとし（ステップＳＴ１０２）、Ｓ_ｃｕｒとＳ_ｔｍｐが同じか比較する（ステップＳＴ１０３）。そして、Ｓ_ｃｕｒとＳ_ｔｍｐが同じ場合は連続画素数Ｌ_ｔｍｐの値を１増加し（ステップＳＴ１０４）、異なる場合は図４４記載のＬ_ｍａｘ判定及びＳ_ｍａｘ更新処理を行う（ステップＳＴ１０５）。

具体的には、Ｌ_ｔｍｐとＬ_ｍａｘを比較して（ステップＳＴ２００）、Ｌ_ｔｍｐがＬ_ｍａｘより大きい場合にＬ_ｍａｘ＝Ｌ_ｔｍｐ、Ｓ_ｍａｘ＝Ｓ_ｔｍｐとする（ステップＳＴ２０１）。その後、Ｌ_ｔｍｐ＝１に初期化すると共に、Ｓ_ｔｍｐ＝Ｓ_ｃｕｒに設定する（ステップＳＴ２０２）。そして、上記処理を全ての参照する隣接画素に対して完了した後、現在の連続画素数Ｌ_ｔｍｐに対しても図４４記載のＬ_ｍａｘ判定及びＳ_ｍａｘ更新処理を行う（ステップＳＴ１０６）。そして、上記処理を終えた時のＳ_ｍａｘを未符号化領域の画素を埋める素値に設定する（ステップＳＴ１０７）。
ただし、ステップＳＴ１０６については、ステップＳＴ２０１の処理の内のＬ_ｍａｘ＝Ｌ_ｔｍｐとする処理と、ステップＳＴ２０２の処理は不要のため、省略して良い。

以上より、（１）の手法で必要な各画素値の画素数を数えるカウンタのためのメモリは不要となり、メモリ量を削減することができる。さらに、連続する画素数が最も多い画素値は参照する隣接画素の中で最も画素数の多い画素値である可能性が高いため、（１）と同程度の（未符号化領域の画素を埋める画素値の）予測精度を得ることができる。
なお、本手法の参照する隣接画素は（１）と同一とするため、（１）で説明した図３７に示すブロックシフトベクトルが指す参照ブロック内の未符号化領域の形状によって、当該符号化ブロックの左に隣接している複数の画素を用いるか、上に隣接している複数の画素を用いるかを適応的に切り替えるようにしてもよい。切り替え手法も（１）と同一である。

後述する画像復号装置では、イントラブロックコピー予測画像Ｐ_{ＩＣＯＰＹｉ} ^ｎと全く同じイントラブロックコピー予測画像を生成する必要があるため、イントラブロックコピー予測画像Ｐ_{ＩＣＯＰＹｉ} ^ｎの生成に用いられたイントラブロックコピー予測パラメータは、符号化制御部１から可変長符号化部１５に出力されて、ビットストリームに多重化される。
イントラブロックコピー予測パラメータとしては、イントラブロックコピー予測部６により探索されたブロックシフトベクトルや、未符号化領域の画素値埋め処理で符号化すべきパラメータが存在する場合は対象のパラメータが挙げられる。また、ブロックシフトベクトルは直前の符号化済み予測ブロックのブロックシフトベクトル、あるいは当該予測ブロックの周囲の符号化済み予測ブロックのブロックシフトベクトルとの差分値をイントラブロックコピー予測パラメータの一部として符号化するようにしてもよい。

色差成分については、輝度成分と同一のベクトルによる予測を実施する。あるいは、輝度成分のベクトルを基準として探索し、輝度成分のベクトルの差分ベクトルを符号化するようにしてもよい。このようにすることで色差成分の予測精度を改善することができる。
この差分ベクトルはＵ成分とＶ成分でそれぞれ独立に決定するようにしてもよい。このようにすることで一層自由度が高まるため、色差成分の予測精度を更に改善することができる。
また、上記の差分ベクトルは、±Ｍ画素以内（Ｍ：自然数）に限定するようにしてもよい。このように探索する範囲を限定することで探索に要する演算量を削減することができる。また、対応する画像復号装置においても用意する参照画像が限定されることで参照画像のメモリ量を削減することができる。
このとき、小数画素精度を禁止するようにしてもよい。このようにすることで、さらに探索に要する演算量を削減しながら、参照画像に要するメモリ量を削減することができる。
あるいは、±１画素以内の小数画素精度に限定するようにしてもよい。この場合も、探索する範囲を限定することで探索に要する演算量及び参照画像に要するメモリ量を削減することができる。

イントラブロックコピー予測部６は、輝度成分の予測画像の生成については常にイントラブロックコピー予測処理を実施するが、色差成分の予測画像の生成については、各予測ブロックに対して、符号化制御部１により当該予測ブロックの色成分間予測フラグがＯＮに設定されている場合、イントラブロックコピー予測処理を実施せずに、当該予測ブロックの色成分間予測パラメータ及び符号化済みの色成分を用いて、当該予測ブロックにおける色差成分の予測画像を生成する色成分間予測処理を実施する。一方、符号化制御部１により当該予測ブロックの色成分間予測フラグがＯＦＦに設定されている場合は、色差成分もイントラブロックコピー予測処理を実施する。

動き補償予測部７は、符号化制御部１により決定された符号化モードｍ（Ｂ^ｎ）がインター符号化モードであり（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、切換スイッチ４から符号化ブロックＢ^ｎを受けると（ステップＳＴ３）、その符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎと動き補償予測フレームメモリ１４に格納されているフィルタ処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部１により決定されたインター予測パラメータを用いて、その符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対する動き補償予測処理を実施して、インター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを生成する（ステップＳＴ６）。
なお、画像復号装置がインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎと全く同じインター予測画像を生成する必要があるため、インター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎの生成に用いられたインター予測パラメータは、符号化制御部１から可変長符号化部１５に出力されて、ビットストリームに多重化される。
また、動き補償予測部７により探索された動きベクトルも可変長符号化部１５に出力されて、ビットストリームに多重化される。

色差成分については、輝度成分と同一のベクトルによる予測を実施する。あるいは、輝度成分のベクトルを基準として探索し、輝度成分のベクトルの差分ベクトルを符号化するようにしてもよい。このようにすることで色差成分の予測精度を改善することができる。
この差分ベクトルはＵ成分とＶ成分でそれぞれ独立に決定するようにしてもよい。このようにすることで一層自由度が高まるため、色差成分の予測精度を更に改善することができる。
また、上記の差分ベクトルは、±Ｍ画素以内（Ｍ：自然数）に限定するようにしてもよい。このように探索する範囲を限定することで探索に要する演算量を削減することができる。また、対応する画像復号装置においても用意する参照画像が限定されることで参照画像のメモリ量を削減することができる。
このとき、小数画素精度を禁止するようにしてもよい。このようにすることで、さらに探索に要する演算量を削減しながら、参照画像に要するメモリ量を削減することができる。
あるいは、小数画素精度の画素のみに限定するようにしてもよい。例えば、±１画素以内の小数画素精度の画素に限定することで、小数画素精度の高精度な予測を実現しつつ、探索に要する演算量及び参照画像に要するメモリ量を削減することができる。

動き補償予測部７は、輝度成分の予測画像の生成については常に動き補償予測処理を実施するが、色差成分の予測画像の生成については、各予測ブロックに対して、符号化制御部１により当該予測ブロックの色成分間予測フラグがＯＮに設定されている場合、動き補償予測処理を実施せずに、当該予測ブロックの色成分間予測パラメータ及び符号化済みの色成分を用いて、当該予測ブロックにおける色差成分の予測画像を生成する色成分間予測処理を実施する。一方、符号化制御部１により当該予測ブロックの色成分間予測フラグがＯＦＦに設定されている場合は、色差成分も動き補償予測処理を実施する。

ここで、イントラ予測部５、イントラブロックコピー予測部６又は動き補償予測部７が、色成分間予測処理を実施して、色差成分の予測画像を生成する際の処理内容を具体的に説明する。
色成分間予測パラメータに含まれているフラグがＯＮである場合、色差成分では、イントラ予測処理、イントラブロックコピー予測処理、動き補償予測処理を行わず、図４５に示すように、色成分間ベクトルが指し示す符号化済みの色差成分のブロックを参照して予測画像を生成する。

図４６は入力成分フォーマットがＹＵＶ４：４：４フォーマットの成分であり、予測画像の生成対象ブロックが８×８画素である場合の色成分間予測の一例を示す説明図である。
図４６の灰色の画素で示す予測画像生成対象ブロック及び参照する符号化済み色成分のブロックの上及び左に隣接している複数の画素（符号化済み画素）を用いて、参照する符号化済み色成分のブロックの画素値と、予測対象の色差成分の予測画像の画素値との相関を示す相関パラメータ（色成分間相関パラメータ）を算出し、その相関パラメータによって補正された対応する符号化済み色差成分のブロックの画素値を色差成分の予測画像の画素値とする。相関パラメータによる画素値の補正式は下記の通りである。
補正式： （予測画像の画素値）＝α×（参照ブロックの画素値）＋β
補正式において、α、βは相関パラメータを示し、α、βのうち、どちらか一方のみで補正するものとしても良い。具体的には、以下の通りである。
（予測画像の画素値）＝α×（参照ブロックの画素値）
あるいは、
（予測画像の画素値）＝（参照ブロックの画素値）＋β
このようにすることで、相関パラメータの算出に要する演算量を削減することができる。
相関パラメータα、βは、図４６の灰色の画素で示す予測画像生成対象ブロックと、参照する符号化済み色成分のブロックの上及び左に隣接している複数の画素間の平均二乗誤差を最小とするように、下記の式から算出される。

ここで、Ｐ_C は図４６の灰色の画素で示す予測画像生成対象ブロックの上及び左に隣接している複数の画素、 Ｐ_Ｒ は参照する符号化済み色成分のブロックの上及び左に隣接している複数の画素であり、Ｍ（Ａ）はＡの平均値を示している。そして、Ｒ（Ａ，Ｂ）は下記の式で求められる。

上記より、相関パラメータは予測画像生成対象ブロック及び参照する符号化済み色成分のブロックの上及び左に隣接している複数の画素（符号化済み画素）を参照することから復号側において同一の処理をすることで相関パラメータを算出可能である。したがって、付加情報として符号化が必要なパラメータなしに、復号側も予測画像生成対象ブロック及び参照する復号済み色成分のブロックの上及び左に隣接している複数の画素（復号済み画素）を参照して相関パラメータの算出を実施できる。

また、予測画像生成対象ブロックの単位は、符号化ブロック単位、予測ブロック単位、変換ブロック単位のいずれでもよい。一般に、小さいブロック単位で予測を行うことで予測精度は向上するが、相関パラメータの算出処理に要する演算量が増加するため、構成する画像符号化装置の演算性能等に応じて構成すればよい。例えば、演算時間の制約がなく複雑な計算を許容できる場合は、符号化ブロックのブロックサイズ以下のブロックサイズとなる予測ブロックや変換ブロック単位で予測画像生成処理を行うように構成することで高精度な予測を実現することができる。例えば、イントラ予測部５では予測画像を生成する単位である変換ブロック、イントラブロックコピー予測部６及び動き補償予測部７では予測ブロックとすることで高精度な予測を実現することができる。
なお、イントラブロックコピー予測部６及び動き補償予測部７において、予測画像生成対象ブロックの単位を予測ブロック単位とする場合、当該符号化ブロック内の画素は符号化されていないため、各予測ブロックの相関パラメータは、各予測ブロックが属する符号化ブロックに隣接する画素を参照して算出する。図４７は符号化ブロックを左右に２分割している予測ブロックの例を示している。このとき、灰色の画素で示す当該符号化ブロックに隣接する画素を用いて予測ブロックの相関パラメータを算出する。したがって、予測ブロックの分割状態に関わらず、符号化ブロック内の各予測ブロックの相関パラメータは同一となる。
あるいは、図４７の灰色の画素の内、当該予測ブロック（予測画像生成対象ブロック）に隣接する画素のみを用いて相関パラメータを算出するようにしても良い。このようにすることで、当該予測ブロックに隣接した、当該予測ブロック内の画素との相関の高い画素のみから相関パラメータが算出されるため、パラメータ算出精度を高めることができる。さらに、パラメータ算出処理で参照する灰色の画素数を常に２のべき乗としてもよい。このようにすることで、相関パラメータの算出式を簡易化でき、演算量を削減することができる。なお、上述した相関パラメータの算出例は全て２のべき乗となる。

上記の例では、相関パラメータを算出して符号化済み色差成分のブロックの画素値を補正するとしているが、相関パラメータを算出せずに、符号化済み色差成分のブロックの画素値をそのまま予測画像の画素値とするように画像符号化装置を構成してもよい。このようにすることで、相関パラメータを算出する演算処理が不要となり、演算量を削減することができる。
なお、入力信号フォーマットがＹＵＶ４：２：０フォーマットあるいはＹＵＶ４：２：２フォーマットの場合は、参照する符号化済み色成分を予測画像生成対象ブロックと同一のサイズとなるようにブロックサイズをスケーリングして参照する。

具体的には、ＹＵＶ４：２：０フォーマットの場合、輝度（Ｙ）成分を参照する際には縦及び横のサイズを１／２に縮小した輝度成分を用いる。同様に、ＹＵＶ４：２：２フォーマットの場合、輝度（Ｙ）成分を参照する際には横のサイズを１／２に縮小した輝度成分を用いる。
また、色成分間ベクトルは±Ｍ画素以内（Ｍ：自然数）に限定するようにしてもよい。このように探索する範囲を限定することで探索に要する演算量を削減することができる。
また、対応する画像復号装置においても用意する参照画像が限定されることで参照画像のメモリ量を削減することができる。このとき、小数画素精度を禁止するようにしてもよい。このようにすることで、さらに探索に要する演算量を削減しながら、参照画像に要するメモリ量を削減することができる。
あるいは、小数画素精度の画素のみに限定するようにしてもよい。例えば、±１画素以内の小数画素精度の画素に限定することで、小数画素精度の高精度な予測を実現しつつ、探索に要する演算量及び参照画像に要するメモリ量を削減することができる。

上記の例では、色成分間予測処理として、色成分間ベクトルが指し示す符号化済み色成分のブロックを参照して予測画像を生成するようにしているが、常に、予測画像生成対象ブロックと同一位置のブロックを参照するように構成してもよい（色成分間ベクトルが零ベクトルであることに相当する）。一般に、同一位置の符号化済み色成分のブロックは絵柄が一致する可能性が高いため、このようにすることで、予測精度の低下を抑制しながら、色成分間ベクトルを符号化せずに済むため符号量を削減することができる。
また、参照する符号化済み色成分について、Ｙ（輝度）成分、Ｕ成分、Ｖ成分の順番で符号化する場合、Ｕ成分はＹ成分、Ｖ成分はＹ成分又はＵ成分を参照する。このとき、Ｖ成分については、Ｙ成分とＵ成分のどちらを参照するかを画像符号化装置と画像復号装置共通で固定的に構成してもよいし（例えば、常にＵ成分を参照するように構成する）、どちらを参照するかを切り替え可能として、その切り替え単位毎に参照成分情報を符号化するようにしてもよい。
切り替えの単位は、シーケンス、ピクチャ、スライス単位としてもよいし、符号化ブロック、予測ブロック、変換ブロック等のブロック単位としてもよい。一般に、切り替え単位が細かい程予測効率は高くなる。一方、切り替え単位を大まかにすることで符号化する参照成分情報を符号化する際に発生する符号量を抑えることができる。

さらに、ブロック単位に参照色成分を切り替え可能とする場合、シーケンスレベルヘッダ、ピクチャレベルヘッダ、スライスレベルヘッダに上記ブロック単位の切り替え処理を有効とするか否かを示すフラグを持つようにしてもよい。このようにすることで、本切り替え処理が効果的な場合のみ有効とするようにして、本切り替え処理が効果的でない場合に上記ブロック単位の参照色成分情報を符号化せずに済み、符号化効率を高めることができる。
上記の例では、上記の参照色成分情報について、Ｙ成分とＵ成分のどちらを参照するかを決定する情報として説明したが、さらにＹ成分とＵ成分を共に参照して重み付き平均によって参照ブロックを生成する場合も含めるようにしてもよい。即ち、設定した切り替え単位毎に、Ｙ成分のみを参照して予測画像を生成するか、Ｕ成分のみを参照して予測画像を生成するか、Ｙ成分とＵ成分を共に参照して予測画像を生成するかを選択するようにする。このようにすることで、より高精度な予測を実現することができる。

色成分間予測処理は、予測ブロック単位に実施の有無を選択し、その実施の有無を示すフラグを色成分間予測パラメータとして符号化する。色成分間予測処理がＯＦＦの予測ブロックは、輝度成分と同一の予測部（イントラ予測部５、イントラブロックコピー予測部６あるいは動き補償予測部７）で予測を実施する。したがって、イントラ予測部５の色差成分のイントラ予測パラメータのうち、色成分間予測を行わない予測ブロックのイントラ予測パラメータだけを符号化する。
同様に、イントラブロックコピー予測部６あるいは動き補償予測部７で色差成分用の差分ベクトルを符号化するように構成している場合、上記のフラグがＯＦＦの予測ブロックのみの色差成分用の差分ベクトルを符号化する。ただし、輝度成分と色差成分でイントラブロックコピー予測パラメータあるいはインター予測パラメータを共通とするように画像符号化装置を構成する場合、上記ブロックシフトベクトルあるいは動きベクトルは常に輝度成分と色差成分で同一であるため、差分ベクトルは符号化しない。対応する画像復号装置は、輝度成分のイントラブロックコピー予測パラメータあるいはインター予測パラメータを色差成分でも用いるように構成する。もしくは、色差成分の差分ベクトルは常に０と解釈するように構成する。
また、イントラ予測部５の色差成分のイントラ予測パラメータと色成分間予測フラグを組み合わせて、図４８に示すような色差成分のイントラ予測パラメータとして符号化するようにしてもよい。この場合、イントラ予測パラメータが色成分間予測処理を示す場合に色成分間予測処理を行うものとし、それ以外の場合は、イントラ予測パラメータに従ってイントラ予測を実施する。

上記の例では、予測ブロック単位に色成分間予測処理の実施の有無を選択しているが、符号化ブロック単位あるいは最大サイズの符号化ブロック単位に実施の有無を選択するようにしてもよい。このようにすることで色成分間予測の切り替え単位が大きくなって予測効率は低下するが、色成分間予測フラグの符号化に要する符号量を削減することができる。
さらに、上記参照色成分情報と上記色成分間予測フラグを一つの情報としてもよい。即ち、上記参照色成分情報に、色成分間予測処理を行わない（符号化済み色成分を参照しない）場合も含めるようにしてもよい。

減算部８は、ブロック分割部３から符号化ブロックＢ^ｎを受けると、その符号化ブロックＢ^ｎ内の予測ブロックＰ_ｉ ^ｎから、イントラ予測部５により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、イントラブロックコピー予測部６により生成されたイントラブロックコピー予測画像Ｐ_{ＩＣＯＰＹｉ} ^ｎ、又は、動き補償予測部７により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎのいずれかを減算して、その減算結果である差分画像を示す予測差分信号ｅ_ｉ ^ｎを変換・量子化部９に出力する（ステップＳＴ７）。

変換・量子化部９は、減算部８から予測差分信号ｅ_ｉ ^ｎを受けると、符号化制御部１により決定された予測差分符号化パラメータに含まれる変換ブロック分割情報を参照して、その予測差分信号ｅ_ｉ ^ｎに対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を変換ブロック単位に実施して、変換係数を算出する。
また、変換・量子化部９は、その予測差分符号化パラメータに含まれる量子化パラメータを参照して、その変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部１０及び可変長符号化部１５に出力する（ステップＳＴ８）。このとき、上記量子化パラメータから算出される量子化ステップサイズを変換係数毎にスケーリングする量子化マトリクスを用いて量子化処理を実施するようにしてもよい。

量子化マトリクスは、各直交変換サイズで色成分や符号化モード（イントラ符号化かインター符号化か）毎に独立しているマトリクスを使用することができ、初期値として、画像符号化装置及び画像復号装置で、予め共通に用意されている量子化マトリクスや既に符号化された量子化マトリクスの中から選択するか、新しい量子化マトリクスを用いるかをそれぞれ選択することができる。
したがって、変換・量子化部９は、各直交変換サイズに対して色成分や符号化モード毎に、新しい量子化マトリクスを用いるか否かを示すフラグを符号化すべき量子化マトリクスパラメータに設定する。
さらに、新しい量子化マトリクスを用いる場合には、図１０に示すような量子化マトリクスの各スケーリング値を符号化すべき量子化マトリクスパラメータに設定する。
一方、新しい量子化マトリクスを用いない場合には、初期値として、画像符号化装置及び画像復号装置で、予め共通に用意されている量子化マトリクス、又は、既に符号化された量子化マトリクスの中から、使用するマトリクスを特定するインデックスを符号化すべき量子化マトリクスパラメータに設定する。ただし、参照可能な既に符号化された量子化マトリクスが存在しない場合、画像符号化装置及び画像復号装置で、予め共通に用意されている量子化マトリクスのみ選択可能となる。
そして、変換・量子化部９は、設定した量子化マトリクスパラメータを可変長符号化部１５に出力する。

逆量子化・逆変換部１０は、変換・量子化部９から圧縮データを受けると、符号化制御部１により決定された予測差分符号化パラメータに含まれる量子化パラメータ及び変換ブロック分割情報を参照して、変換ブロック単位にその圧縮データを逆量子化する。
変換・量子化部９が量子化処理に量子化マトリクスを用いている場合には、逆量子化処理時においても、その量子化マトリクスを参照して、対応した逆量子化処理を実施する。
また、逆量子化・逆変換部１０は、変換ブロック単位に逆量子化後の圧縮データである変換係数に対する逆直交変換処理（例えば、逆ＤＣＴ、逆ＤＳＴ、逆ＫＬ変換など）を実施して、減算部８から出力された予測差分信号ｅ_ｉ ^ｎに相当する局所復号予測差分信号を算出して加算部１１に出力する（ステップＳＴ９）。

加算部１１は、逆量子化・逆変換部１０から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部５により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、イントラブロックコピー予測部６により生成されたイントラブロックコピー予測画像Ｐ_{ＩＣＯＰＹｉ} ^ｎ、又は、動き補償予測部７により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎのいずれかを加算することで、局所復号画像を算出する（ステップＳＴ１０）。
なお、加算部１１は、その局所復号画像をループフィルタ部１３に出力するとともに、その局所復号画像をイントラ用メモリ１２に格納する。
この局所復号画像が、以降のイントラ予測処理及びイントラブロックコピー予測処理の際に用いられる符号化済みの画像信号になる。

ループフィルタ部１３は、加算部１１から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を動き補償予測フレームメモリ１４に格納する（ステップＳＴ１１）。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。

ただし、ループフィルタ部１３は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理のそれぞれについて、処理を行うか否かを決定し、各処理の有効フラグをシーケンスレベルヘッダの一部及びスライスレベルヘッダの一部として可変長符号化部１５に出力する。なお、上記のフィルタ処理を複数使用する際は、各フィルタ処理を順番に実施する。図１１は複数のフィルタ処理を用いる場合のループフィルタ部１３の構成例を示している。
一般に使用するフィルタ処理の種類が多いほど、画像品質は向上するが、一方で処理負荷は高くなる。即ち、画像品質と処理負荷はトレードオフの関係にある。また、各フィルタ処理の画像品質改善効果はフィルタ処理対象画像の特性によって異なる。したがって、画像符号化装置が許容する処理負荷や符号化処理対象画像の特性にしたがって使用するフィルタ処理を決めればよい。

ここで、デブロッキングフィルタ処理では、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更することができる。変更する場合には、そのパラメータをヘッダ情報として可変長符号化部１５に出力する。

画素適応オフセット処理では、最初に、画像を複数のブロックに分割し、そのブロック単位に、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、予め用意している複数のクラス分類手法の中から、１つのクラス分類手法を選択する。
次に、選択したクラス分類手法によってブロック内の各画素をクラス分類し、クラス毎に符号化歪みを補償するオフセット値を算出する。
最後に、局所復号画像の画素値に対して、そのオフセット値を加算する処理を行うことで局所復号画像の画像品質を改善する。

クラス分類手法としては、局所復号画像の画素値の大きさで分類する手法（ＢＯ手法と呼ぶ）や、エッジの方向毎に各画素の周囲の状況（エッジ部か否か等）に応じて分類する手法（ＥＯ手法と呼ぶ）がある。
これらの手法は、予め画像符号化装置及び画像復号装置で共通に用意されており、例えば図１４に示すように、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、これらの手法のうち、どの手法でクラス分類を行うかを示すインデックスを上記ブロック単位に選択する。

したがって、画素適応オフセット処理は、ブロックの分割情報、ブロック単位のクラス分類手法を示すインデックス、ブロック単位のオフセット情報をヘッダ情報として可変長符号化部１５に出力する。
なお、画素適応オフセット処理において、例えば最大符号化ブロックといった固定サイズのブロック単位に常に分割して、そのブロック毎にクラス分類手法を選択して、クラス毎の適応オフセット処理を行ってもよい。この場合、上記ブロック分割情報が不要となり、ブロック分割情報に要する符号量分だけ符号量が削減され、符号化効率を高めることができる。

また、適応フィルタ処理では、局所復号画像を所定の手法でクラス分類し、各クラスに属する領域（局所復号画像）毎に、重畳されている歪みを補償するフィルタを設計し、そのフィルタを用いて、当該局所復号画像のフィルタ処理を実施する。
そして、クラス毎に設計したフィルタをヘッダ情報として可変長符号化部１５に出力する。
ここで、クラス分類手法としては、画像を空間的に等間隔に区切る簡易な手法や、ブロック単位に画像の局所的な特性（分散など）に応じて分類する手法がある。また、適応フィルタ処理で使用するクラス数は、予め画像符号化装置及び画像復号装置で共通の値に設定してもよいし、符号化すべきパラメータの一つとしてもよい。
前者と比較して後者の方が、使用するクラス数を自由に設定することができるため、画像品質改善効果が上がるが、一方でクラス数を符号化するために、その分の符号量が増加する。

ステップＳＴ３〜ＳＴ１０の処理は、階層的に分割された全ての符号化ブロックＢ^ｎに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢ^ｎに対する処理が完了すると、ステップＳＴ１４の処理に移行する（ステップＳＴ１２，ＳＴ１３）。

可変長符号化部１５は、変換・量子化部９から出力された圧縮データと、符号化制御部１から出力された最大符号化ブロック内のブロック分割情報（図６（ｂ）を例とする４分木情報）、符号化モードｍ（Ｂ^ｎ）及び予測差分符号化パラメータと、符号化制御部１から出力されたイントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）、イントラブロックコピー予測パラメータ（符号化モードがイントラブロックコピー符号化モードである場合）又はインター予測パラメータ（符号化モードがインター符号化モードである場合）と、色成分間予測フラグを含む色成分間予測パラメータと、動き補償予測部７から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化し、それらの符号化結果を示す符号化データを生成する（ステップＳＴ１４）。

その際、量子化された直交変換係数である圧縮データの符号化手法として、変換ブロックをさらにＣｏｅｆｆｉｃｉｅｎｔ Ｇｒｏｕｐ（ＣＧ）と呼ばれる４×４画素単位のブロック（符号化サブブロック）に分割して、ＣＧ単位に係数の符号化処理を実施する。
図１５は１６×１６画素の変換ブロックにおける係数の符号化順（スキャン順）を示している。
このように、４×４画素単位の１６個のＣＧを右下のＣＧから順に符号化処理し、さらに、各ＣＧはＣＧ内の１６個の係数を右下の係数から順に符号化する。

具体的には、まず、ＣＧ内の１６個の係数の中に有意（非零）係数が存在するか否かのフラグを符号化し、次に、ＣＧ内に有意（非零）係数が存在する場合のみ、ＣＧ内の各係数が有意（非零）係数であるかを上記順に符号化し、最後に有意（非零）係数に対して、その係数値情報を順に符号化する。これをＣＧ単位に上記順に行う。
その際、有意（非零）係数がなるべく連続で発生するように偏るスキャン順とした方がエントロピー符号化による符号化効率を高めることができる。
直交変換後の係数は、左上に位置する直流成分をはじめとして、左上に近い程、低い周波数成分の低い係数を表すことから、図１６に示す例のように、一般的に左上に近いほど有意（非零）係数が多く発生するために、図１５に示すように、右下から順に符号化することで効率的に符号化することができる。
なお、上記では１６×１６画素の変換ブロックについて説明したが、８×８画素や３２×３２画素の変換ブロック等、１６×１６画素以外のブロックサイズにおいてもＣＧ（符号化サブブロック）単位の符号化処理を実施するものとする。
また、イントラ予測が選択されている４×４画素と８×８画素の変換ブロックについては、イントラ予測モードのインデックスに応じて、図１５のスキャン順ではなく図１９に示すスキャン順で処理を行う。これはイントラ予測の方向によって予測差分信号の周波数成分の分布が異なる傾向があるためである。

また、可変長符号化部１５は、図１３に例示するように、符号化ビットストリームのヘッダ情報として、シーケンスレベルヘッダ、ピクチャレベルヘッダを符号化し、ピクチャデータと共に符号化ビットストリームを生成する。
ただし、ピクチャデータは１以上のスライスデータから構成され、各スライスデータはスライスレベルヘッダと当該スライス内にある上記符号化データをまとめたものである。ピクチャデータはスライスデータの他に補足情報を示すヘッダ情報を含む場合もある。

シーケンスレベルヘッダは、画像サイズ、色信号フォーマット、輝度成分や色差成分の画素値のビット深度、シーケンス単位でのループフィルタ部１３における各フィルタ処理（適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理）の有効フラグ、量子化マトリクスの有効フラグなど、一般的にシーケンス単位に共通となるヘッダ情報をまとめたものである。
ピクチャレベルヘッダは、参照するシーケンスレベルヘッダのインデックスや動き補償時の参照ピクチャ数、エントロピー符号化の確率テーブル初期化フラグ等のピクチャ単位で設定するヘッダ情報をまとめたものである。
スライスレベルヘッダは、当該スライスがピクチャのどの位置にあるかを示す位置情報、どのピクチャレベルヘッダを参照するかを示すインデックス、スライスの符号化タイプ（オールイントラ符号化、インター符号化など）、ループフィルタ部１３における各フィルタ処理（適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理）を行うか否かを示すフラグなどといったスライス単位のパラメータをまとめたものである。

各ヘッダ情報とピクチャデータはＮＡＬユニットによって識別される。
具体的には、シーケンスパラメータセット（上記シーケンスレベルヘッダに相当）、ピクチャパラメータヘッダ（上記ピクチャレベルヘッダに相当）、スライスデータはそれぞれ固有のＮＡＬユニットタイプとして定義され、ＮＡＬユニットタイプの識別情報（インデックス）と共に符号化される。
補足情報についても存在する場合には、固有のＮＡＬユニットとして定義される。また、上記ピクチャデータはアクセスユニットとして定義され、スライスデータを示すＮＡＬユニットや補足情報を示すＮＡＬユニット等の当該ピクチャに関わるＮＡＬユニットをまとめた、各のピクチャのデータアクセスの単位を示している。

次に、イントラ予測部５におけるイントラ予測処理を詳細に説明する。
イントラ予測部５は、上述したように、予測ブロックＰ_ｉ ^ｎのイントラ予測パラメータを参照して、その予測ブロックＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成するが、ここでは、輝度成分における予測ブロックＰ_ｉ ^ｎのイントラ予測画像を生成するイントラ処理について説明する。

図７は符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎが選択可能なイントラ予測モードの一例を示す説明図であり、イントラ予測モードのインデックス値と、そのイントラ予測モードが示す予測方向ベクトルを示している。上記イントラ予測モードのインデックス値がイントラ予測パラメータを示している。
なお、イントラ予測モード数は、処理対象となるブロックのサイズに応じて異なるように構成してもよい。
大きいサイズのブロックでは、イントラ予測の効率が低下するため、選択できるイントラ予測方向数を少なくし、小さいサイズのブロックでは、選択できるイントラ予測方向数を多くするように構成することで演算量を抑制することができる。

まず、イントラ予測画像を生成する処理は、処理対象のブロックに隣接する符号化済みの画素を用いることから、上述した通り、変換ブロック単位に行われなくてはならない。
ここで、イントラ予測画像を生成する変換ブロックを予測画像生成ブロックと呼ぶこととする。したがって、イントラ予測部５は、予測画像生成ブロック単位に下記に述べるイントラ予測画像生成処理を実施して、予測ブロックＰ_ｉ ^ｎのイントラ予測画像を生成する。
予測画像生成ブロックのサイズをｌ_ｉ ^ｎ×ｍ_ｉ ^ｎ画素とする。
図８はｌ_ｉ ^ｎ＝ｍ_ｉ ^ｎ＝４の場合の予測画像生成ブロック内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図８では、予測画像生成ブロックの上の符号化済みの画素（２×ｌ_ｉ ^ｎ＋１）個と、左の符号化済みの画素（２×ｍ_ｉ ^ｎ）個を予測に用いる画素としているが、予測に用いる画素は、図８に示す画素より多くても少なくてもよい。
また、図８では、予測画像生成ブロックの近傍の１行又は１列分の画素を予測に用いているが、２行又は２列、あるいは、それ以上の画素を予測に用いてもよい。

予測画像生成ブロックが属する予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が０（平面（Ｐｌａｎａｒ）予測）の場合には、予測画像生成ブロックの上に隣接する符号化済み画素と、予測画像生成ブロックの左に隣接する符号化済み画素を用いて、これら画素と予測画像生成ブロック内の予測対象画素との距離に応じて内挿した値を予測値として予測画像を生成する。

予測画像生成ブロックが属する予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が１（平均値（ＤＣ）予測）の場合には、予測画像生成ブロックの上に隣接する符号化済み画素と、予測画像生成ブロックの左に隣接する符号化済み画素の平均値を予測画像生成ブロック内の画素の予測値として予測画像を生成する。
さらに、予測画像生成ブロックの上端及び左端に位置する図１７の領域Ａ，Ｂ，Ｃに対して、ブロック境界を平滑化するフィルタ処理を行って最終的な予測画像とする。例えば、下記の式（１）にしたがって、図１８のフィルタの参照画素配置で、下記のフィルタ係数を用いてフィルタ処理を実施する。

・領域Ａ（Ｐ_ｉ ^ｎの左上の画素）
ａ_０＝１／２，ａ_１＝１／４，ａ_２＝１／４
・領域Ｂ（領域Ａ以外のＰ_ｉ ^ｎの上端の画素）
ａ_０＝３／４，ａ_２＝１／４，（ａ_１＝０）
・領域Ｃ（領域Ａ以外のＰ_ｉ ^ｎの左端の画素）
ａ_０＝３／４，ａ_１＝１／４，（ａ_２＝０）

ただし、式（１）において、ａ_ｎ（ｎ＝０，１，２）は参照画素にかかるフィルタ係数、ｐ_ｎ（ｎ＝０，１，２）はフィルタ処理対象画素ｐ_０を含むフィルタの参照画素、Ｓ’（ｐ_０）はフィルタ処理対象画素ｐ_０におけるフィルタ処理後の予測値、Ｓ（ｐ_ｎ）（ｎ＝０，１，２）はフィルタ処理対象画素ｐ_０を含む参照画素のフィルタ処理前の予測値を表している。

さらに、上記フィルタ処理を行う予測画像生成ブロックのブロックサイズは限定してもよい。
一般にブロック端のみフィルタ処理を行って予測値を変化させる場合、大きなブロックサイズのブロックでは、フィルタ処理により予測値が変化する領域の占める割合が小さいために、この予測値の変化によって生じた予測差分信号の変化を非常に高い周波数成分で表されることになり、この高周波数成分を符号化するために符号化効率の悪化を生じさせてしまう傾向がある。また、符号化効率を優先して、この高周波数成分を符号化しないようにすることで、ブロック端の予測差分信号の変化を復元できずに、ブロック境界に歪みが生じてしまう傾向がある。

一方、小さなブロックサイズのブロックでは、フィルタ処理により予測値が変化する領域の占める割合が大きいために、この予測値の変化によって生じた予測差分信号の変化が大きなブロックサイズのブロックの時のような高い周波数成分で表されることはなく、適切に予測差分信号を符号化することができ、本フィルタ処理によって、ブロック境界の連続性を高めた分、復号画像の品質を高めることができる。
したがって、例えば、３２×３２画素以上のブロックサイズの予測画像生成ブロックでは、上記フィルタ処理を適用せずに、３２×３２画素より小さいブロックのみに上記フィルタ処理を適用することで、従来の平均値予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。

予測画像生成ブロックに属する予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が２６（垂直方向予測）の場合、下記の式（２）から予測画像生成ブロック内の画素の予測値を算出して予測画像を生成する。

ただし、座標（ｘ，ｙ）は予測画像生成ブロック内の左上画素を原点とする相対座標（図９を参照）であり、Ｓ’（ｘ，ｙ）は座標（ｘ，ｙ）における予測値、Ｓ（ｘ，ｙ）は座標（ｘ，ｙ）における符号化済み画素の画素値（復号された画素値）である。また、算出した予測値が画素値の取り得る値の範囲を超えている場合、予測値がその範囲内に収まるように値を丸めるようにする。

なお、式（２）の１行目の式は、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４における垂直方向予測の予測値であるＳ（ｘ，−１）に対し、隣接する符号化済み画素の垂直方向の画素値の変化量Ｓ（−１，ｙ）−Ｓ（−１，−１）を１／２にした値を加算することで、ブロック境界が平滑化されるようにフィルタ処理したものを予測値とすることを意味しており、式（２）の２行目の式は、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４における垂直方向予測と同じ予測式を示している。

予測画像生成ブロックが属する予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が１０（水平方向予測）の場合、下記の式（３）から予測画像生成ブロック内の画素の予測値を算出して予測画像を生成する。

ただし、座標（ｘ，ｙ）は予測画像生成ブロック内の左上画素を原点とする相対座標（図９を参照）であり、Ｓ’（ｘ，ｙ）は座標（ｘ，ｙ）における予測値、Ｓ（ｘ，ｙ）は座標（ｘ，ｙ）における符号化済み画素の画素値（復号された画素値）である。また、算出した予測値が画素値の取り得る値の範囲を超えている場合、予測値がその範囲内に収まるように値を丸めるようにする。

なお、式（３）の１行目の式は、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４における水平方向予測の予測値であるＳ（−１，ｙ）に対し、隣接する符号化済み画素の水平方向の画素値の変化量Ｓ（ｘ，−１）−Ｓ（−１，−１）を１／２にした値を加算することで、ブロック境界が平滑化されるようにフィルタ処理したものを予測値とすることを意味しており、式（３）の２行目の式は、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４における水平方向予測と同じ予測式を示している。

ただし、式（２）の垂直方向予測、式（３）の水平方向予測を行う予測画像生成ブロックのブロックサイズを限定してもよい。
一般にブロック端のみ予測方向の画素値の変化量に比例する値を加算するフィルタ処理を行うことで予測値を変化させる場合、大きなブロックサイズのブロックでは、上述した予測画像生成ブロックのブロック端のフィルタ処理により予測値が変化する領域の占める割合が小さいために、この予測値の変化によって生じた予測差分信号の変化を非常に高い周波数成分で表されることになり、この高周波数成分を符号化するために符号化効率の悪化を生じさせてしまう傾向がある。また、符号化効率を優先して、この高周波数成分を符号化しないようにすることで、ブロック端の予測差分信号の変化を復元できずにブロック境界に歪みが生じてしまう傾向がある。

一方、小さなブロックサイズのブロックでは、上記フィルタ処理により予測値が変化する領域の占める割合が大きいために、この予測値の変化によって生じた予測差分信号の変化が大きなブロックサイズのブロックの時のような高い周波数成分で表されることはなく、適切に予測差分信号を符号化することができ、本フィルタ処理によってブロック境界の連続性を高めた分、復号画像の品質を高めることができる。
したがって、例えば、３２×３２画素以上のブロックサイズの予測画像生成ブロックでは、予測対象画素の座標によらず、式（２）及び式（３）の２行目の式を常に用いるようにし（予測画像生成ブロックのブロック端のフィルタ処理を行わないことにする）、３２×３２画素より小さいブロックのみに、上記フィルタ処理を行う式（２）及び式（３）を適用することで、従来の垂直方向予測、水平方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。

イントラ予測モードのインデックス値が０（平面予測）、１（平均値予測）、２６（垂直方向予測）、１０（水平方向予測）以外の場合には、インデックス値が示す予測方向ベクトルυ_ｐ＝（ｄｘ，ｄｙ）に基づいて、予測画像生成ブロック内の画素の予測値を生成する。
図９に示すように、予測画像生成ブロックの左上画素を原点として、予測画像生成ブロック内の相対座標を（ｘ，ｙ）と設定すると、予測に用いる参照画素の位置は、下記のＬと隣接画素の交点になる。

ただし、ｋは負の実数である。

参照画素が整数画素位置にある場合には、その整数画素を予測対象画素の予測値とし、参照画素が整数画素位置にない場合には、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図８の例では、参照画素は整数画素位置にないので、参照画素に隣接する２画素から内挿したものを予測値とする。なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。
補間処理に用いる画素を多くすることで補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求する画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。

以上に述べた処理によって、予測画像生成ブロック単位に予測ブロックＰ_ｉ ^ｎ内の輝度成分の全ての画素に対する予測画素を生成して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを出力する。
なお、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎの生成に用いられたイントラ予測パラメータ（イントラ予測モード）は、ビットストリームに多重化するために可変長符号化部１５に出力される。

なお、先に説明したＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４における８×８画素のブロックのイントラ予測時に参照画素に対して施される平滑化処理と同様に、イントラ予測部５において、予測画像生成ブロックの予測画像を生成する際の参照画素を、予測画像生成ブロックに隣接する符号化済み画素を平滑化処理した画素とするように構成した場合であっても、上述の例と同様の予測画像に対するフィルタ処理を行うことができる。このようにすることで参照画素へのフィルタ処理による参照画素のノイズが除去され、これを用いて予測を行うことで予測の精度高めることができる。
あるいは、上記参照画素へのフィルタ処理は予測画像へのフィルタ処理を行う平均値予測、垂直方向予測、水平方向予測以外の予測の際のみ実施するようにしてもよい。このようにすることで、各予測モードに対して最大で１つのフィルタ処理しか行わずに済み、演算量の増加を抑えることができる。

上記では、輝度成分の予測画像生成処理について説明したが、色差成分に対する予測画像は次のように生成する。
予測ブロックＰ_ｉ ^ｎの色差成分に対して、色差成分のイントラ予測パラメータ（イントラ予測モード）に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部１５に出力する。

図２３は色差成分のイントラ予測パラメータ（インデックス値）と色差イントラ予測モードの対応例を示す説明図である。
色差成分のイントラ予測パラメータが、輝度成分に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合（イントラ予測パラメータが輝度色差共通イントラ予測モード（ＤＭモード）を示している場合）、輝度成分と同じフレーム内予測を実施して、色差成分の予測画像を生成する。

また、色差成分のイントラ予測パラメータが、垂直方向予測モード又は水平方向予測モードを示している場合、色差成分に対する方向性予測を実施して、色差成分の予測画像を生成する。

入力信号フォーマットがＹＵＶ４：２：２信号である場合、図２６に示すように、輝度成分が正方ブロックであれば、色差成分は輝度成分と比較して水平方向の画素数が１／２となる長方形のブロックとなる。したがって、図２７に示すように、ＹＵＶ４：４：４信号をＹＵＶ４：２：２信号に変換した際に、輝度成分と色差成分で同一方向の予測となるようにするためには、ＹＵＶ４：２：２信号上では、垂直方向予測と水平方向予測以外の方向性予測の場合には、色差成分の予測方向が輝度成分の予測方向と異なることとなる。
具体的には、図２８に示すように、輝度成分の予測方向ベクトルをｖ_Ｌ＝（ｄｘ_Ｌ，ｄｙ_Ｌ）とした場合、色差成分の予測方向ベクトルは、ｖ_Ｃ＝（ｄｘ_Ｌ／２，ｄｙ_Ｌ）となる。即ち、図２９に示すように、予測方向の角度をθとした場合、輝度成分の予測方向の角度をθ_Ｌ、色差成分の予測方向の角度をθ_Ｃとして、ｔａｎθ_Ｃ＝２ｔａｎθ_Ｌの関係となる予測方向で予測する必要がある。

したがって、輝度成分と色差成分で同一方向の予測を行う上記ＤＭモードを正しく実施できるようにするために、入力信号フォーマットがＹＵＶ４：２：２信号である場合、輝度成分に使用したイントラ予測モードのインデックスを色差成分の予測に用いるイントラ予測モードのインデックスに変換し、変換後のインデックスに対応するイントラ予測モードによる色差成分の予測処理を実施する。
図３０は図７のイントラ予測モードにおけるイントラ予測モードインデックスの変換例を示している。
図３０の変換テーブルは、予測方向の角度がθであるとき（図２９を参照）、イントラ予測モードの方向性予測が図３１に示すｔａｎθとなる角度である場合、ｔａｎθ_Ｃ＝２ｔａｎθ_Ｌの関係に最も近い角度θ_Ｃに変換するテーブルの例である。
変換処理の実現は、上記のように、インデックスの変換テーブルを用意し、その変換テーブルを参照することでインデックスを変換するように構成してもよいし、変換式を用意し、その変換式に従ってインデックスを変換するように構成してもよい。
このように構成することで、方向性予測処理自体を変更することなく、インデックスの変換のみでＹＵＶ４：２：２信号のフォーマットに応じた色差成分の適切な予測を実施することができる。

さらに、色差成分では、平均値（ＤＣ）予測、垂直方向予測、水平方向予測について、輝度成分の場合で説明したブロック境界のフィルタ処理を行わずに、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４と同様の予測手法としてもよい。このようにフィルタ処理を行わないことで、予測処理の低演算化を図ることができる。

次に、図３の画像復号装置の処理内容を具体的に説明する。
可変長復号部３１は、図１の画像符号化装置により生成された符号化ビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図４のステップＳＴ２１）、１フレーム以上のピクチャから構成されるシーケンス単位のヘッダ情報（シーケンスレベルヘッダ）及びピクチャ単位のヘッダ情報（ピクチャレベルヘッダ）などの各ヘッダ情報とピクチャデータを復号する。ただし、ピクチャデータは１以上のスライスデータから構成され、各スライスデータはスライスレベルヘッダと当該スライス内にある符号化データがまとめられているものである。ピクチャデータはスライスデータの他に補足情報を示すヘッダ情報を含む場合もある。

このとき、上記ヘッダ情報に含まれる量子化マトリクスの有効フラグが“有効”を示す場合、可変長復号部３１は量子化マトリクスパラメータを可変長復号し、量子化マトリクスを特定する。
具体的には、各直交変換サイズの色成分や符号化モード毎に、量子化マトリクスパラメータが初期値として、画像符号化装置及び画像復号装置で、予め共通に用意されている量子化マトリクス、又は、既に復号された量子化マトリクスである（新しい量子化マトリクスでない）ことを示す場合は、量子化マトリクスパラメータに含まれる上記マトリクスの内のどの量子化マトリクスであるかを特定するインデックス情報を参照して量子化マトリクスを特定し、量子化マトリクスパラメータが新しい量子化マトリクスを用いることを示す場合は、量子化マトリクスパラメータに含まれる量子化マトリクスを使用する量子化マトリクスとして特定する。
そして、ピクチャ単位のデータを構成するスライスデータから、スライス分割情報等のスライス単位のヘッダ情報（スライスレベルヘッダ）を復号し、各スライスの符号化データを復号する。

また、可変長復号部３１は、上記ヘッダ情報から、最大符号化ブロックサイズ及び分割階層数の上限を特定する（ステップＳＴ２２）。
ただし、分割階層数の上限の代わりに、符号化ブロックの最小ブロックサイズが符号化されている場合、これを復号することで分割階層数の上限を決定する。即ち、最大符号化ブロックを上記最小ブロックサイズまで分割した場合が分割階層数の上限となる。
可変長復号部３１は、決定された最大符号化ブロック単位に、図６で示されるような最大符号化ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に符号化ブロックを特定する（ステップＳＴ２３）。

次に、可変長復号部３１は、符号化ブロックに割り当てられている符号化モードを復号する。復号した符号化モードに含まれる情報に基づき、符号化ブロックをさらに１つないし複数の予測処理単位である予測ブロックに分割し、予測ブロック単位に割り当てられている予測パラメータを復号する（ステップＳＴ２４）。

即ち、可変長復号部３１は、符号化ブロックに割り当てられている符号化モードがイントラ符号化モードである場合、符号化ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にイントラ予測パラメータを復号し、符号化ブロックに割り当てられている符号化モードがイントラブロックコピー符号化モードである場合、符号化ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にイントラブロックコピー予測パラメータを復号する。また、符号化ブロックに割り当てられている符号化モードがインター符号化モードである場合、符号化ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にインター予測パラメータ及び動きベクトルを復号する。また、色成分間予測フラグを含む色成分間予測パラメータを復号する（ステップＳＴ２４）。

さらに、可変長復号部３１は、予測差分符号化パラメータに含まれる変換ブロック分割情報に基づき、変換ブロック毎に圧縮データ（変換・量子化後の変換係数）を復号する（ステップＳＴ２４）。
その際、図１の画像符号化装置の可変長符号化部１５での圧縮データの符号化処理と同様に、ＣＧ単位の係数の復号処理を実施する。
したがって、図１５に示すように、４×４画素単位の１６個のＣＧを右下のＣＧから順に復号処理し、さらに、各ＣＧはＣＧ内の１６個の係数を右下の係数から順に復号していくことになる。

具体的には、まず、ＣＧ内の１６個の係数の中に有意（非零）係数が存在するか否かのフラグを復号し、次に復号したフラグがＣＧ内に有意（非零）係数が存在することを示す場合のみＣＧ内の各係数が有意（非零）係数であるかを上記順に復号し、最後に有意（非零）係数を示す係数に対して、その係数値情報を順に復号する。これをＣＧ単位に上記順に行う。
ただし、スキャン順については、イントラ予測が選択されている４×４画素と８×８画素の変換ブロックの場合、イントラ予測モードのインデックスに応じて、図１５のスキャン順ではなく図１９に示すスキャン順で処理を行う。

切換スイッチ３３は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードであれば（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、可変長復号部３１により可変長復号された予測ブロック単位のイントラ予測パラメータをイントラ予測部３４に出力し、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がイントラブロックコピー符号化モードであれば（ｍ（Ｂ^ｎ）∈ＩＣＯＰＹの場合）、可変長復号部３１により可変長復号された予測ブロック単位のイントラブロックコピー予測パラメータをイントラブロックコピー予測部３５に出力し、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がインター符号化モードであれば（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、可変長復号部３１により可変長復号された予測ブロック単位のインター予測パラメータ及び動きベクトルを動き補償予測部３６に出力する。

イントラ予測部３４は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モード（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位のイントラ予測パラメータを受け取って、図１のイントラ予測部５と同様の手順で、イントラ用メモリ３８に格納されている復号画像を参照しながら、上記イントラ予測パラメータを用いた符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する（ステップＳＴ２６）。

また、イントラ予測部３４は、輝度成分については、輝度成分に対する上記イントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施して、輝度成分の予測画像を生成する。
一方、色差成分については、色成分間予測フラグがＯＦＦである場合（色成分間予測処理の非実施を示している場合）、色差成分のイントラ予測パラメータに基づくイントラ予測処理を実施して、色差成分の予測画像を生成する。

図２３は色差成分のイントラ予測パラメータ（インデックス値）と色差イントラ予測モードの対応例を示す説明図である。
色差成分のイントラ予測パラメータが、輝度成分に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合（イントラ予測パラメータが輝度色差共通イントラ予測モード（ＤＭモード）を示している場合）、輝度成分と同じフレーム内予測を実施して、色差成分の予測画像を生成する。

また、色差成分のイントラ予測パラメータが、垂直方向予測モード又は水平方向予測モードを示している場合、色差成分に対する方向性予測を実施して、色差成分の予測画像を生成する。

入力信号フォーマットがＹＵＶ４：２：２信号である場合、図２６に示すように、輝度成分が正方ブロックであれば、色差成分は輝度成分と比較して水平方向の画素数が１／２となる長方形のブロックとなる。したがって、図２７に示すように、ＹＵＶ４：４：４信号をＹＵＶ４：２：２信号に変換した際に、輝度成分と色差成分で同一方向の予測となるようにするためには、ＹＵＶ４：２：２信号上では、垂直方向予測と水平方向予測以外の方向性予測の場合には、色差成分の予測方向が輝度成分の予測方向と異なることとなる。
具体的には、図２８に示すように、輝度成分の予測方向ベクトルをｖ_Ｌ＝（ｄｘ_Ｌ，ｄｙ_Ｌ）とした場合、色差成分の予測方向ベクトルは、ｖ_Ｃ＝（ｄｘ_Ｌ／２，ｄｙ_Ｌ）となる。即ち、図２９に示すように、予測方向の角度をθとした場合、輝度成分の予測方向の角度をθ_Ｌ、色差成分の予測方向の角度をθ_Ｃとして、ｔａｎθ_Ｃ＝２ｔａｎθ_Ｌの関係となる予測方向で予測する必要がある。

したがって、輝度成分と色差成分で同一方向の予測を行う上記ＤＭモードを正しく実施できるようにするために、入力信号フォーマットがＹＵＶ４：２：２信号である場合、輝度成分に使用したイントラ予測モードのインデックスを色差成分の予測に用いるイントラ予測モードのインデックスに変換し、変換後のインデックスに対応するイントラ予測モードによる色差成分の予測処理を実施する。
図３０は図７のイントラ予測モードにおけるイントラ予測モードインデックスの変換例を示している。
図３０の変換テーブルは、予測方向の角度がθであるとき（図２９を参照）、イントラ予測モードの方向性予測が図３１に示すｔａｎθとなる角度である場合、ｔａｎθ_Ｃ＝２ｔａｎθ_Ｌの関係に最も近い角度θ_Ｃに変換するテーブルの例である。
変換処理の実現は、上記のように、インデックスの変換テーブルを用意し、その変換テーブルを参照することでインデックスを変換するように構成してもよいし、変換式を用意し、その変換式に従ってインデックスを変換するように構成してもよい。
このように構成することで、方向性予測処理自体を変更することなく、インデックスの変換のみでＹＵＶ４：２：２信号のフォーマットに応じた色差成分の適切な予測を実施することができる。

さらに、色差成分では、平均値（ＤＣ）予測、垂直方向予測、水平方向予測について、輝度成分の場合で説明したブロック境界のフィルタ処理を行わずに、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４と同様の予測手法として画像符号化装置が構成されている場合、その画像符号化装置から生成される符号化ビットストリームが復号できるように画像復号装置も同様の構成とする。
このようにフィルタ処理を行わないことで、予測処理の低演算化を図ることができる。

イントラ予測部３４は、輝度成分の予測画像の生成については常にイントラ予測処理を実施するが、色差成分の予測画像の生成については、各予測ブロックに対して、当該予測ブロックの色成分間予測フラグがＯＮである場合（色成分間予測処理の実施を明示している場合）、イントラ予測処理を実施せずに、当該予測ブロックの色成分間予測パラメータ及び復号済みの色成分を用いて、当該予測ブロックにおける色差成分の予測画像を生成する色成分間予測処理を実施する。

イントラブロックコピー予測部３５は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がイントラブロックコピー符号化モード（ｍ（Ｂ^ｎ）∈ＩＣＯＰＹ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位のブロックシフトベクトルを含むイントラブロックコピー予測パラメータを受け取って、イントラ用メモリ３８に格納されている復号画像を参照しながら、上記イントラブロックコピー予測パラメータを用いた符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するイントラブロックコピー予測処理を実施して、イントラブロックコピー予測画像Ｐ_{ＩＣＯＰＹｉ} ^ｎを生成する（ステップＳＴ２７）。

図１の画像符号化装置において、ブロックシフトベクトルは直前の符号化（復号）済み予測ブロックのブロックシフトベクトル、あるいは当該予測ブロックの周囲の符号化（復号）済み予測ブロックのブロックシフトベクトルとの差分値をイントラブロックコピー予測パラメータの一部として符号化するようにしている場合、イントラブロックコピー予測パラメータに含む差分値と上記ブロックシフトベクトルとを加算して、当該予測ブロックのブロックシフトベクトルを算出する。
このとき、ブロックシフトベクトルが指すブロックが復号済み領域を超えるような参照を可能とするように、復号対象の最大符号化ブロック内の復号前の領域（未復号領域）の画素を図１の画像符号化装置におけるイントラブロックコピー予測部６と同一の手法で定まる画素値で埋める処理を行う。このとき、未復号領域を上記画素値で埋める処理に必要なパラメータがイントラブロックコピー予測パラメータの一部としてビットストリームに含まれる場合は、可変長復号部３１により可変長復号された上記パラメータを用いて未復号領域を上記画素値で埋める処理を行う。
色差成分については、輝度成分と同一のベクトルによる予測を実施する。あるいは、輝度成分のベクトルを基準として探索し、輝度成分のベクトルの差分ベクトルを符号化するように図１の画像符号化装置が構成されている場合、可変長復号部３１は差分ベクトルを復号して色差成分のベクトルを算出する。

イントラブロックコピー予測部３５は、輝度成分の予測画像の生成については常にイントラブロックコピー予測処理を実施するが、色差成分の予測画像の生成については、各予測ブロックに対して、当該予測ブロックの色成分間予測フラグがＯＮである場合（色成分間予測処理の実施を明示している場合）、イントラブロックコピー予測処理を実施せずに、当該予測ブロックの色成分間予測パラメータ及び復号済みの色成分を用いて、当該予測ブロックにおける色差成分の予測画像を生成する色成分間予測処理を実施する。

動き補償予測部３６は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がインター符号化モード（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位の動きベクトルとインター予測パラメータを受け取って、動き補償予測フレームメモリ４０に格納されているフィルタ処理後の復号画像を参照しながら、その動きベクトルとインター予測パラメータを用いた符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対する動き補償予測処理を実施してインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを生成する（ステップＳＴ２８）。
色差成分については、輝度成分と同一のベクトルによる予測を実施する。あるいは、輝度成分のベクトルを基準として探索し、輝度成分のベクトルの差分ベクトルを符号化するように図１の画像符号化装置が構成されている場合、可変長復号部３１は差分ベクトルを復号して色差成分のベクトルを算出する。

動き補償予測部３６は、輝度成分の予測画像の生成については常に動き補償予測処理を実施するが、色差成分の予測画像の生成については、各予測ブロックに対して、当該予測ブロックの色成分間予測フラグがＯＮである場合（色成分間予測処理の実施を明示している場合）、動き補償予測処理を実施せずに、当該予測ブロックの色成分間予測パラメータ及び復号済みの色成分を用いて、当該予測ブロックにおける色差成分の予測画像を生成する色成分間予測処理を実施する。

ここで、イントラ予測部３４、イントラブロックコピー予測部３５又は動き補償予測部３６が、色成分間予測処理を実施して、色差成分の予測画像を生成する際の処理内容を具体的に説明する。
色成分間予測パラメータに含まれている色成分間予測フラグがＯＮである場合、色差成分では、イントラ予測処理、イントラブロックコピー予測処理、動き補償予測処理を行わず、図４５に示すように、色成分間ベクトルが指し示す復号済み色成分のブロックを参照して予測画像を生成する。
このとき、図１の画像符号化装置と同一の手法で、参照する復号済み色成分のブロックの画素値と予測対象の色差成分の予測画像の画素値との相関を示す相関パラメータを算出し、その相関パラメータによって補正された対応する復号済み色成分のブロックの画素値を予測対象である色差成分の予測画像の画素値とする。予測画像生成対象ブロックの単位は画像符号化装置と同一の単位（符号化ブロック単位、予測ブロック単位、変換ブロック単位のいずれか）である。

上記の例では、相関パラメータを算出して復号済み色成分のブロックの画素値を補正するとしているが、図１の画像符号化装置が相関パラメータを算出せずに符号化済み色成分のブロックの画素値をそのまま予測画像の画素値とする場合、画像復号装置では、相関パラメータを算出せずに復号済み色成分のブロックの画素値をそのまま予測画像の画素値とする。
なお、入力信号フォーマットがＹＵＶ４：２：０フォーマットあるいはＹＵＶ４：２：２フォーマットの場合は、図１の画像符号化装置と同様に、参照する復号済み色成分を予測画像生成対象ブロックと同一のサイズとなるようにブロックサイズをスケーリングして参照する。

可変長復号部３１により可変長復号された色成分間予測パラメータは、色成分間予測が有効か否かを示すシーケンス、ピクチャ、スライスレベルの情報、予測ブロック単位の色成分間予測処理の実施の有無を示す色成分間予測フラグを含んでいる。
色成分間予測処理がＯＦＦのブロックは、輝度成分と同一の予測部（イントラ予測部３４、イントラブロックコピー予測部３５あるいは動き補償予測部３６）で予測を実施する。したがって、イントラ予測部３４の色差成分のイントラ予測パラメータのうち、色成分間予測を行わない予測ブロックのイントラ予測パラメータだけが復号され、そのイントラ予測パラメータにしたがってイントラ予測処理が実施される。
同様に、図１の画像符号化装置が色差成分用の差分ベクトルを符号化するように構成している場合、色成分間予測フラグがＯＦＦである場合に限り、イントラブロックコピー予測部３５あるいは動き補償予測部３６が用いる色差成分用の差分ベクトルが復号される。

また、図１の画像符号化装置が、イントラ予測部３４の色差成分のイントラ予測パラメータと色成分間予測フラグを組み合わせて、図４８の色差成分のイントラ予測パラメータとして符号化している場合、画像復号装置のイントラ予測部３４では、可変長復号部３１により可変長復号された色差成分のイントラ予測パラメータから、色成分間予測を実施するか、イントラ予測を行うかを判断する。
上記の例では、予測ブロック単位に色成分間予測処理の実施の有無を選択する場合について説明しているが、図１の画像符号化装置が符号化ブロック単位あるいは最大サイズの符号化ブロック単位に選択を実施するように構成されている場合、画像復号装置では、同一のブロック単位の色成分間予測フラグを復号するように構成する。このようにすることで正しく符号化パラメータを復号することができる。
さらに、可変長復号部３１により可変長復号された色成分間予測パラメータとして、色成分間予測フラグがＯＮの場合には、可変長復号部３１は参照色成分のブロックの位置を示す色成分間ベクトルやどの色成分を参照するかを示す参照色成分情報を復号する。ただし、図１の画像符号化装置で上記色成分間ベクトルや上記参照色成分情報を用いないように構成している場合、画像復号装置でも、これらパラメータは復号せずに、画像符号化装置と同一の参照色成分の、同一の位置のブロックを参照して予測画像を生成する。

逆量子化・逆変換部３２は、可変長復号部３１から圧縮データ及び予測差分符号化パラメータを受けると、図１の逆量子化・逆変換部１０と同様の手順で、その予測差分符号化パラメータに含まれる量子化パラメータ及び変換ブロック分割情報を参照して、変換ブロック単位にその圧縮データを逆量子化する。
このとき、可変長復号部３１により可変長復号された各ヘッダ情報を参照し、各ヘッダ情報が、当該スライスで量子化マトリクスを用いて、逆量子化処理を実施することを示している場合は、量子化マトリクスを用いて逆量子化処理を行う。

この際、可変長復号部３１により可変長復号された各ヘッダ情報を参照して、各直交変換サイズで色成分や符号化モード（イントラ符号化、イントラブロックコピー符号化、インター符号化）毎に使用する量子化マトリクスを特定する。
また、逆量子化・逆変換部３２は、変換ブロック単位に逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部１０から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する（ステップＳＴ２９）。

加算部３７は、逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、イントラブロックコピー予測部３５により生成されたイントラブロックコピー予測画像Ｐ_{ＩＣＯＰＹｉ} ^ｎ、又は、動き補償予測部３６により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎのいずれかを加算して復号画像を算出し、その復号画像をループフィルタ部３９に出力するとともに、その復号画像をイントラ用メモリ３８に格納する（ステップＳＴ３０）。
この復号画像が、以降のイントラ予測処理及びイントラブロックコピー予測処理の際に用いられる復号済みの画像信号になる。

ループフィルタ部３９は、全ての符号化ブロックＢ^ｎに対するステップＳＴ２３〜ＳＴ３０の処理が完了すると（ステップＳＴ３１）、加算部３７から出力された復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の復号画像を動き補償予測フレームメモリ４０に格納する（ステップＳＴ３２）。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
ただし、ループフィルタ部３９は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理のそれぞれについて、可変長復号部３１により可変長復号された各ヘッダ情報を参照して、当該スライスで処理を行うか否かを特定する。
このとき、２つ以上のフィルタ処理を行う場合に、例えば、画像符号化装置のループフィルタ部１３が図１１のように構成されている場合には、図１２に示すようにループフィルタ部３９が構成される。

ここで、デブロッキングフィルタ処理では、可変長復号部３１により可変長復号されたヘッダ情報を参照し、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更する情報が存在する場合には、その変更情報に基づいて、デブロッキングフィルタ処理を実施する。変更情報がない場合は、予め定められた手法に従って行う。

画素適応オフセット処理では、可変長復号部３１により可変長復号された画素適応オフセット処理のブロック分割情報に基づいて分割し、そのブロック単位に、可変長復号部３１により可変長復号されたブロック単位のクラス分類手法を示すインデックスを参照して、そのインデックスが“オフセット処理を行わない”ことを示すインデックスでない場合、ブロック単位にブロック内の各画素を上記インデックスが示すクラス分類手法に従ってクラス分類する。
なお、クラス分類手法の候補として、ループフィルタ部１３の画素適応オフセット処理のクラス分類手法の候補と同一のものが予め用意されている。

そして、ループフィルタ部３９は、ブロック単位の各クラスのオフセット値を特定する可変長復号部３１により可変長復号されたオフセット情報を参照して、復号画像の画素値にオフセットを加算する処理を行う。

適応フィルタ処理では、可変長復号部３１により可変長復号されたクラス毎のフィルタを用いて、図１の画像符号化装置と同一の手法でクラス分類した後に、そのクラス分類情報に基づいてフィルタ処理を行う。
このループフィルタ部３９によるフィルタ処理後の復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。

以上で明らかなように、この実施の形態１によれば、画像符号化装置のイントラ予測部５、イントラブロックコピー予測部６又は動き補償予測部７が、各予測ブロックに対して、当該予測ブロックの色成分間予測フラグが色成分間予測処理の実施を明示していれば、イントラ予測処理、イントラブロックコピー予測処理、動き補償予測処理を実施せずに、当該予測ブロックの色成分間予測パラメータ及び符号化済みの色成分を用いて、当該予測ブロックにおける色差成分の予測画像を生成する色成分間予測処理を実施するように構成したので、予測ブロック内の絵柄が特定の非直線な模様や文字などであっても、予測精度を高めて、高い符号化効率を実現することができる効果を奏する。

また、この実施の形態１によれば、上記効果を持つ画像符号化装置及び画像符号化方法が生成する符号化ビットストリームを正しく復号することができる画像復号装置及び画像復号方法が得られる効果を奏する。

この実施の形態１では、画像符号化装置の可変長符号化部１５が、色成分間予測フラグを含む色成分間予測パラメータを可変長符号化する例を示しているが、次のようにして、符号量を削減するようにしてもよい。
即ち、可変長符号化部１５は、色成分間予測フラグがＯＦＦに設定されている場合、その色成分間予測フラグを含む色成分間予測パラメータを可変長符号化するとともに、当該予測ブロックにおける色差成分のイントラ予測パラメータ、ブロックシフトベクトルを含むイントラブロックコピー予測パラメータ、あるいは、インター予測パラメータ及び動きベクトルを可変長符号化する。ただし、色差イントラ予測モードが輝度色差共通イントラ予測モード（ＤＭモード）である場合、輝度成分のイントラ予測パラメータを可変長符号化する。また、輝度成分のイントラブロックコピー予測パラメータを基準としている場合、色差成分のイントラブロックコピー予測パラメータとして、輝度成分のイントラブロックコピー予測パラメータとの差分ベクトルを可変長符号化する。また、輝度成分のインター予測パラメータ及び動きベクトルを基準としている場合、色差成分のインター予測パラメータ及び動きベクトルとして、輝度成分のインター予測パラメータ及び動きベクトルとの差分ベクトルを可変長符号化する。
一方、その色成分間予測フラグがＯＮに設定されている場合、その色成分間予測フラグを可変長符号化するとともに、当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと同じであるか否かを示す同一判定用フラグを可変長符号化し、当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと異なるものであれば、さらに、当該予測ブロックの色成分間予測パラメータを可変長符号化する。

この場合、画像復号装置の可変長復号部３１では、その色成分間予測フラグがＯＦＦに設定されている場合、当該予測ブロックにおける色差成分のイントラ予測パラメータ、ブロックシフトベクトルを含むイントラブロックコピー予測パラメータ、あるいは、インター予測パラメータ及び動きベクトルを可変長復号する。ただし、色差イントラ予測モードが輝度色差共通イントラ予測モード（ＤＭモード）である場合、輝度成分のイントラ予測パラメータを可変長復号する。また、輝度成分のイントラブロックコピー予測パラメータを基準としている場合、色差成分のイントラブロックコピー予測パラメータとして、輝度成分のイントラブロックコピー予測パラメータとの差分ベクトルを可変長復号する。また、輝度成分のインター予測パラメータ及び動きベクトルを基準としている場合、色差成分のインター予測パラメータ及び動きベクトルとして、輝度成分のインター予測パラメータ及び動きベクトルとの差分ベクトルを可変長復号する。
一方、その色成分間予測フラグがＯＮに設定されている場合、その同一判定用フラグを可変長復号し、その同一判定用フラグが、当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと異なる旨を示しているときだけ、当該予測ブロックの色成分間予測パラメータを可変長復号する。

あるいは、画像符号化装置の可変長符号化部１５が、色成分間予測フラグより先に上記同一判定用フラグを符号化し、当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと異なるものであれば、当該予測ブロックの色成分間予測フラグを含めた色成分間予測パラメータを可変長符号化するように構成する。
このとき、本実施の形態の画像符号化装置は、色成分間予測フラグより先に上記同一判定用フラグを符号化し、当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと異なるものであれば、当該予測ブロックの色成分間予測フラグを含めた色成分間予測パラメータを可変長符号化するように構成されている場合、復号側は、色成分間予測フラグより先に上記同一判定用フラグを符号化し、当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと異なるものであれば、当該予測ブロックの色成分間予測フラグを含めた色成分間予測パラメータを可変長符号化する。

したがって、可変長符号化部１５は、当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと異なっている場合に限り、当該予測ブロックの色成分間予測パラメータを可変長符号化し、当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと同一であれば、当該予測ブロックの色成分間予測パラメータを可変長符号化しないので、符号量を削減することができる。
つまり、当該予測ブロックの上隣り又は左隣りのブロックの色成分間予測パラメータ（符号化済みの色成分間予測パラメータ）と同じであるか否かを示す同一判定用フラグを先に可変長符号化し、さらに、同じであれば、上隣り又は左隣りのブロックのうち、どちらのブロックと同じであるかを示すフラグを可変長符号化することで（当該予測ブロックが参照するブロックが、常に上隣りのブロックである場合、あるいは、常に左隣りのブロックである場合、当該フラグは可変長符号化する必要はない）、色成分間予測パラメータに空間的な相関がある場合（当該予測ブロックの色成分間予測パラメータが上隣り又は左隣りのブロックの色成分間予測パラメータと同一である場合）、当該予測ブロックの色成分間予測パラメータの符号化処理を省略する。
画像復号装置では、当該予測ブロックの色成分間予測パラメータが上隣り又は左隣りのブロックの色成分間予測パラメータと同一である場合、当該予測ブロックの色成分間予測パラメータの符号化データが送信されていなくても、同一判定用フラグと、上隣り又は左隣りのブロックのうち、どちらのブロックと同じであるかを示すフラグとを可変長復号すれば、当該予測ブロックの色成分間予測パラメータと同じ復号済みの色成分間予測パラメータ（当該予測ブロックの上隣り又は左隣りのブロックの色成分間予測パラメータ）を特定することができるため、符号量を削減することができる。

なお、可変長符号化部１５における可変長符号化や、可変長復号部３１における可変長復号として、例えば、非特許文献１に記載のＣＡＢＡＣ等の算術符号を用いる場合、上記の同一判定用フラグやどちらのブロックと同じであるかを示すフラグを可変長符号化する際、当該予測ブロックの周囲のブロック（例えば、当該予測ブロックの上隣り又は左隣りのブロック）の色成分間予測パラメータについて、同じ色成分間予測パラメータを持つブロック数（上隣り及び左隣りのブロックを参照する場合、０（同じでない）、１（同じ）のいずれか）に応じてフラグの確率分布を切り替えるようにすることで、更に高い符号化効率を実現することができる。
これは一般に、上記ブロック数が多い程、当該予測ブロックの色成分間予測パラメータの前に符号化している色成分間予測パラメータと同じ、あるいは、当該予測ブロックの上隣り又は左隣りのブロックの色成分間予測パラメータと同じである確率が高くなるためである。

実施の形態２．
この実施の形態２では、予測差分信号の色成分間相関除去処理を実施する画像符号化装置及び画像復号装置について説明する。
即ち、上記実施の形態１の画像符号化装置における色差成分の予測差分信号に対して、符号化済み色成分の局所復号予測差分信号との差分値を変換・量子化部９に入力すると共に、逆量子化・逆変換部１０で得られる色差成分の局所復号予測差分信号に対して上記符号化済み成分の予測差分信号を加算して最終的な局所復号予測差分信号を得る画像符号化装置を構成する。
また、上記実施の形態１の画像復号装置における逆量子化・逆変換部３２で得られる色差成分の復号予測差分信号に対して、この実施の形態２の画像符号化装置と同一の符号化済み色成分の復号予測差分信号を加算して最終的な復号予測差分信号を得る画像復号装置を構成する。
このようにすることで色成分間の予測差分の相関を低減し、色差成分の予測差分信号の符号化に要する符号量を削減することができる。

このとき、画像符号化装置における参照する局所復号予測差分信号は、上記実施の形態１の色成分間予測処理と同様に、周囲の符号化済み画素を用いて相関パラメータを算出して、本相関パラメータにて加工された局所復号予測差分信号を参照するようにしてもよい。このようにすることで、色成分間の予測差分の相関除去精度を改善することができ、符号化効率を高めることができる。この場合、画像復号装置における参照する復号予測差分信号も周囲の復号済み画素を用いて相関パラメータを算出して、本相関パラメータにて加工された復号予測差分信号を参照する。

上記の例では、相関パラメータは周囲の符号化（復号）済み画素を用いて算出するとしているが、相関パラメータは複数の候補を予め用意し、変換ブロック単位に選択して符号化するようにしてもよい。このようにすることで、変換ブロック単位に最適な相関パラメータを利用することができ、符号化効率を高めることができる。この場合、画像復号装置は上記相関パラメータを変換ブロック単位に復号する。
さらに、変換ブロック単位に、上記予測差分信号の色成分間相関除去処理を行うか否かを示すＯＮ／ＯＦＦ情報をフラグ情報として符号化するようにしてもよい。このようにすることで、変換ブロック単位に色成分間相関除去処理を行う場合と行わない場合の２つの中から符号化効率が高い方を選択することができるため、符号化効率を高めることができる。
なお、上記ＯＮ／ＯＦＦ情報は、上記相関パラメータの一部として符号化するようにしてもよい。具体的には、相関パラメータが特定の値の場合（例えば、０）は、上記色成分間相関除去処理を行わないことを示すものとすればよい。

また、上記実施の形態１の色成分間予測処理と同様に、色成分間ベクトルを用意して、本ベクトルの指すブロックを参照するようにしても良い。このとき、色成分間ベクトルは上記実施の形態１の色成分間予測処理と共通でも良いし、独立に持つようにしても良い。独立に用意する場合は、より適応的な制御ができるため予測差分信号の値を一層小さくすることができるが、上記実施の形態１の色成分間予測処理の色成分間ベクトルとは別に符号化する必要があり、画像の特性によって独立にした場合と共通にした場合のどちらが符号化効率が高いのかは異なる。したがって、シーケンスレベルヘッダ、ピクチャレベルヘッダ、スライスレベルヘッダの少なくとも一箇所に色成分間ベクトルを用いるか否かのフラグと上記実施の形態１の色成分間予測処理と独立とするか共通とするかのフラグを用意し、画像符号化装置にて上記フラグを符号化するように構成してもよい。このとき、画像復号装置はこれらフラグを復号することで、予測差分信号の色成分間相関除去処理における色成分間ベクトルの有無とその値を識別する。

さらに、上記実施の形態１の色成分間予測処理と同様に、参照する符号化済み色成分を静的、あるいは動的に切り替えるようにしても良い。具体的には、Ｙ（輝度）成分、Ｕ成分、Ｖ成分の順番で符号化する場合、Ｕ成分はＹ成分、Ｖ成分はＹ成分又はＵ成分を参照する。このとき、Ｖ成分については、Ｙ成分とＵ成分のどちらを参照するかを画像符号化装置と画像復号装置共通で固定的に構成してもよいし（例えば、常にＵ成分を参照するように構成する）、どちらを参照するかを切り替え可能として、その切り替え単位毎に参照色成分情報を符号化するようにしてもよい。
切り替えの単位は、シーケンス、ピクチャ、スライス単位としてもよいし、符号化ブロック、予測ブロック、変換ブロック等のブロック単位としてもよい。一般に、切り替え単位が細かい程予測効率は高くなる。一方、切り替え単位を大まかにすることで符号化する参照色成分情報を符号化する際に発生する符号量を抑えることができる。
さらに、ブロック単位に参照色成分を切り替え可能とする場合、シーケンスレベルヘッダ、ピクチャレベルヘッダ、スライスレベルヘッダに上記ブロック単位の切り替え処理を有効とするか否かを示すフラグを持つようにしてもよい。このようにすることで、本切り替え処理が効果的な場合のみ有効とするようにして、本切り替え処理が効果的でない場合に上記ブロック単位の参照色成分情報を符号化せずに済み、符号化効率を高めることができる。

上記の例では、上記の参照色成分情報について、Ｙ成分とＵ成分のどちらを参照するかを決定する情報として説明したが、さらにＹ成分とＵ成分を共に参照して重み付き平均によって参照ブロックを生成する場合も含めるようにしてもよい。即ち、設定した切り替え単位毎に、Ｙ成分のみを参照して予測画像を生成するか、Ｕ成分のみを参照して予測画像を生成するか、Ｙ成分とＵ成分を共に参照して予測画像を生成するかを選択するようにする。このようにすることで、より予測差分信号を小さくすることができ、符号化効率を高めることができる。

また、画像符号化装置と画像復号装置共通で固定的に参照色成分を設定するように構成する場合でも、上記参照色成分情報を符号化するように構成する場合でも、上記実施の形態１の色成分間予測処理と共通としても良いし、独立に設定するようにしても良い。独立に用意する場合は、より適応的な制御ができるため予測差分信号の値を一層小さくすることができる。ただし、上記参照色成分情報を符号化するように構成する場合では、上記実施の形態１の色成分間予測処理の参照色成分情報とは別に参照色成分情報を符号化する必要があり、画像の特性によって独立にした場合と共通にした場合のどちらが符号化効率が高いのかは異なる。したがって、シーケンスレベルヘッダ、ピクチャレベルヘッダ、スライスレベルヘッダの少なくとも一箇所に上記実施の形態１の色成分間予測処理と独立とするか共通とするかのフラグを用意し、画像符号化装置にて上記フラグを符号化するように構成してもよい。このとき、画像復号装置は本フラグを復号することで、予測差分信号の色成分間相関除去処理における参照色成分情報を識別する。

また、上記実施の形態１の色成分間予測処理と、上記予測差分信号の色成分間相関除去処理との組み合わせとして、上記実施の形態１の色成分間予測処理を実施するブロックでは、上記予測差分信号の色成分間相関除去処理を実施しないものとしてもよい。このようにすることで、色成分間予測処理を実施するブロックでは、予測差分信号の色成分間相関除去処理に関わる符号化パラメータ（相関パラメータ、ＯＮ／ＯＦＦ情報など）を符号化する必要がないため、符号化量を削減することができる。この場合、画像復号装置では、可変長復号部３１により可変長復号された色成分間予測パラメータが色成分間予測処理を行わないことを示している場合のみ、可変長復号部３１が予測差分信号の色成分間相関除去処理に関わる符号化パラメータを復号する。
この場合、上記実施の形態１の色成分間予測処理のブロック単位のＯＮ／ＯＦＦ情報と上記予測差分信号の色成分間相関除去処理のブロック単位のＯＮ／ＯＦＦ情報を統合してもよい。具体的には、上記実施の形態１の色成分間予測処理を行う場合、上記予測差分信号の色成分間相関除去処理を行う場合、両処理共に実施しない場合をインデックス情報とする（例えば、順に、インデックス２、１、０とする）。このとき、両処理のＯＮ／ＯＦＦ情報の切り替え単位は統一しなくてはならない。すなわち、この場合、ＯＮ／ＯＦＦ処理は符号化ブロック、予測ブロック、変換ブロック単位のいずれかに統一する。あるいは独自のブロック単位としても良い。このようにすることで、両処理に最適なブロックサイズを設定することができる。

上記予測差分信号の色成分間相関除去処理を制御するパラメータとして、本処理の有効フラグ（上位ヘッダ残差色成分間予測有効フラグ）をシーケンスレベルヘッダ、ピクチャレベルヘッダ、スライスレベルヘッダのうち、少なくとも１つのヘッダで符号化するようにしてもよい。このようにすることで、予測差分信号の色成分間相関除去処理が効果的でない場合に無効とすることができ、符号化効率の低下を抑制することができる。この場合、画像復号装置では、可変長復号部３１が上記上位ヘッダ残差色成分間予測有効フラグを復号し、上記上位ヘッダ残差色成分間予測有効フラグが有効を示す場合のみ、予測差分信号の色成分間相関除去処理を有効とし、変換ブロック単位の上記ＯＮ／ＯＦＦ情報を復号する。
さらに、上記上位ヘッダ残差色成分間予測有効フラグについて、ピクチャを分割するサブピクチャの単位に設けるようにしても良い。具体的には、非特許文献１記載のＴｉｌｅやＷａｖｅｆｒｏｎｔ Ｐａｒａｌｌｅｌ Ｐｒｏｃｅｓｓｉｎｇのサブピクチャの分割単位に上記上位ヘッダ残差色成分間予測有効フラグを設けることで、色成分間予測が効果的な領域のみ有効とすることが可能となり符号量の増加を抑制しつつ高精度な予測が実現できる。

さらに、予測差分信号の色成分間相関除去処理を有効とするか否かを示すシーケンスレベル、ピクチャレベル、スライスレベル、サブピクチャレベルのフラグと、上記実施の形態１の色成分間予測処理を有効とするか否かを示すシーケンスレベル、ピクチャレベル、スライスレベル、サブピクチャレベルのフラグを組み合わせてもよい。具体的には、予測差分信号の色成分間相関除去処理と色成分間予測処理の有効・無効の組み合わせ（有効・有効、有効・無効、無効・有効、無効・無効の全４種類）を示すインデックスとして符号化する。この場合、画像復号装置では、可変長復号部３１が上記のインデックスを復号し、そのインデックスに基づいて、予測差分信号の色成分間相関除去処理と色成分間予測処理の有効・無効を決定する。

また、上記予測差分信号の色成分間相関除去処理を実施する変換ブロックの直交変換処理を常にＤＳＴとするようにしても良い。予測差分信号の色成分間相関除去処理を実施した変換ブロックの予測差分信号は信号間の相関が非常に低くなるため、ＤＣＴよりもＤＳＴの方が効率的である可能性が高く、ＤＣＴを用いるよりも符号化効率を高めることができる。
あるいは、ＤＣＴとＤＳＴをブロックサイズ、符号化モード、イントラ予測パラメータ、イントラブロックコピー予測パラメータ、動き補償予測パラメータ等に応じて切り替えるようにしても良い。例えば、対象とする変換ブロックのサイズが特定のブロックサイズ（しきい値）より小さい場合、ＤＳＴを行うようにする、等が考えられる。このようにすることで、対象とする変換ブロックの特性に応じた変換が実現でき、符号化効率を高めることができる。他にも、ＤＣＴとＤＳＴのうち符号化効率が高くなる方を選択し、その選択情報を符号化するようにしても良い。このようにすることで、変換ブロック毎にＤＣＴとＤＳＴから適切な方を用いて変換することができ、符号化効率を高めることができる。
上記以外の構成として、予測差分信号の色成分間相関除去処理を実施した変換ブロックの予測差分信号に適切なＫＬ変換を予め設計する、または動的に学習して設計するようにしても良い。このようにすることで、予測差分信号の色成分間相関除去処理を実施した変換ブロックの予測差分信号に一層適した基底による変換が実現でき、符号化効率を高めることができる。
なお、上記で説明した事項以外、この実施の形態２は、上記実施の形態１と同じ構成で同じ処理を実施する。

実施の形態３．
上記実施の形態１，２では、色成分間相関パラメータである相関パラメータα，βを用いて、色成分間予測処理を実施するものを示したが、複数の相関パラメータα，βの候補の中から、適正な相関パラメータα，βを選択するようにしてもよい。このようにすることで、画像復号装置側では、上記実施の形態１で説明したパラメータの算出処理が不要になり、復号処理の演算量を削減することができる。

複数の相関パラメータの候補やその候補数は予め設定された固定値でもよいし、色成分間予測パラメータの一部として、シーケンス単位、ピクチャ単位あるいはスライス単位で符号化するようにしてもよい。
前者の固定値を用いる構成では、装置構成の簡易化を図ることができ、後者の色成分間予測パラメータの一部として符号化する構成では、符号化単位毎に最適な相関パラメータを選択することで、高い符号化効率を実現することができる。

複数の相関パラメータの候補の中から、色成分間予測処理に用いる相関パラメータを選択する単位は、符号化ブロック、予測ブロック、変換ブロック等のブロック単位とする。
一般に、切り替え単位が細かい程、予測効率は高くなる。一方、切り替え単位を大まかにすることで、相関パラメータの選択情報の符号化による発生符号量を抑えることができる。
また、常に相関パラメータの候補は１種類とし、その相関パラメータの候補をシーケンス単位、ピクチャ単位あるいはスライス単位で符号化して切り替えるようにすれば、上記ブロック単位の相関パラメータの選択情報が不要になり、符号量を抑えることができる。

相関パラメータの符号化方法として、相関パラメータを二値化して可変長符号化する方法が考えられる。
二値化して可変長符号化する方法として、例えば、相関パラメータαの候補パラメータをインデックス化し、その候補パラメータを二進数に変換するＵＮＡＲＹ符号やＧＯＬＯＭＢ符号によって二値化する方法のほか、候補パラメータを固有の方法で二値化する方法がある。

図４９は相関パラメータαの候補パラメータとインデックスの対応例を示す説明図である。
図４９の対応例が、生起確率の高い順番に候補パラメータをインデックス化したものであれば、相関パラメータαの候補パラメータをＵＮＡＲＹ符号やＧＯＬＯＭＢ符号のような可変長符号に二値化することで高い圧縮率を得ることができる。
図５０は相関パラメータαの候補パラメータを二値化する固有の方法の例を示すフローチャートである。
図５１は図５０の方法を実行することで二値化された相関パラメータαの候補パラメータを示す説明図である。

以下、図５０に示す固有の方法を説明する。
まず、相関パラメータαの候補パラメータが正であるか否かを判定する（ステップＳＴ３０１）。
図４９の例では、インデックスが２や４などの候補パラメータであれば、正であると判定されるが、インデックスが３や５などの候補パラメータであれば、負であると判定される。
上記判定の結果、候補パラメータが正である場合、二値符号の先頭の符号を“０”に設定し（ステップＳＴ３０２）、候補パラメータが負である場合、二値符号の先頭の符号を“１”に設定する（ステップＳＴ３０３）。
図４９の場合、例えば、インデックスが２である候補パラメータ“１／２”は、正であるため、図５１に示すように、二値符号の先頭の符号が“０”になる。
一方、インデックスが３である候補パラメータ“−１／２”は、負であるため、図５１に示すように、二値符号の先頭の符号が“１”になる。

次に、変数ｘを“１”に初期化してから（ステップＳＴ３０４）、相関パラメータαの候補パラメータの絶対値が１／ｘであるか否かを判定する（ステップＳＴ３０５）。
初期段階では、ｘ＝１であり、１／ｘ＝１であるため、インデックスが０，１の候補パラメータは、絶対値が１／ｘであると判定されるが、インデックスが０，１以外の候補パラメータは、絶対値が１／ｘでないと判定される。
上記判定の結果、絶対値が１／ｘである候補パラメータの場合、二値符号の２番目の符号を“０”に設定し（ステップＳＴ３０６）、二値化処理を終了する。一方、絶対値が１／ｘでない候補パラメータの場合、二値符号の２番目の符号を“１”に設定する（ステップＳＴ３０７）。
例えば、インデックスが０の候補パラメータは、絶対値が１／ｘであるため、二値符号の２番目の符号が“０”になり、インデックスが２の候補パラメータは、絶対値が１／ｘでないため、二値符号の２番目の符号が“１”になる。

次に、変数ｘが“１６”であるか否かを判定し（ステップＳＴ３０８）、変数ｘが“１６”であれば、ステップＳＴ３１０の処理に移行するが、変数ｘが“１６”でなければ、変数ｘを２倍してから（ステップＳＴ３０９）、再度、ステップＳＴ３０５〜ＳＴ３０８の処理を実施する。
初期段階では、ｘ＝１であるため、ステップＳＴ３０８によってｘ＝２，４，８，１６のように更新され、ステップＳＴ３０５〜ＳＴ３０８の処理は、最大で５回実施される。
このため、例えば、インデックスが５の候補パラメータは、ステップＳＴ３０５〜ＳＴ３０８の処理が３回実施されて、二値符号が“１１１０”になる。
また、インデックスが９の候補パラメータは、ステップＳＴ３０５〜ＳＴ３０８の処理が５回実施されて、二値符号が“１１１１１０”になる。

次に、変数ｘを“２”に初期化してから（ステップＳＴ３１０）、相関パラメータαの候補パラメータの絶対値がｘであるか否かを判定する（ステップＳＴ３１１）。
初期段階では、ｘ＝２であるため、インデックスが１０，１１の候補パラメータは、絶対値がｘであると判定されるが、インデックスが１０，１１以外の候補パラメータは、絶対値がｘでないと判定される。
図４９の例では、インデックスが０〜９の候補パラメータは、最終的に、ステップＳＴ３０５で、絶対値が１／ｘであると判定されて、二値化処理を終了しているので、ステップＳＴ３１１で判定の対象となる候補パラメータは、インデックスが１０〜１５の候補パラメータである。
また、インデックスが１０〜１５の候補パラメータは、ステップＳＴ３０５〜ＳＴ３０８の処理が５回実施されて、全て絶対値が１／ｘでないと判定されているため、既に二値符号の先頭から６番目までの符号が確定している。

上記判定の結果、絶対値がｘである候補パラメータの場合、二値符号の７番目の符号を“０”に設定し（ステップＳＴ３１２）、二値化処理を終了する。一方、絶対値がｘでない候補パラメータの場合、二値符号の７番目の符号を“１”に設定する（ステップＳＴ３１３）。
例えば、インデックスが１０の候補パラメータは、絶対値がｘであるため、二値符号の７番目の符号が“０”になり、インデックスが１３の候補パラメータは、絶対値がｘでないため、二値符号の７番目の符号が“１”になる。

次に、変数ｘが“８”であるか否かを判定し（ステップＳＴ３１４）、変数ｘが“８”であれば、二値化処理を終了するが、変数ｘが“８”でなければ、変数ｘを２倍してから（ステップＳＴ３１５）、再度、ステップＳＴ３１１〜ＳＴ３１４の処理を実施する。
初期段階では、ｘ＝２であるため、ステップＳＴ３１５によってｘ＝４，８のように更新され、ステップＳＴ３１１〜ＳＴ３１４の処理は、最大で３回実施される。
このため、例えば、インデックスが１２の候補パラメータは、ステップＳＴ３１１〜ＳＴ３１４の処理が２回実施されて、二値符号が“０１１１１１１０”になる。
また、インデックスが１５の候補パラメータは、ステップＳＴ３１１〜ＳＴ３１４の処理が３回実施されて、二値符号が“１１１１１１１１０”になる。

このように図５０に示す固有の方法を実施することで、相関パラメータαの各候補パラメータに対して直接二値符号を割り当てることができる。
この場合、各候補パラメータの二値符号の符号長が生起確率に対応した符号長となるように予め設計しておくことで、高い符号化効率を実現することができる。なお、図５１の例は、先に相関パラメータの符号を符号化した後に、図５２に示す相関パラメータの絶対値をＵＮＡＲＹ符号によって二値化した場合と同一である。

ここでは、相関パラメータαの符号化例を説明したが、相関パラメータβについても同様に、複数の候補パラメータを用意して符号化するようにする。
また、相関パラメータα，βを上記実施の形態２における予測差分信号の色成分間相関除去処理の相関パラメータと共通化してもよい。このようにすることで、相関パラメータα，βに関する符号量を削減することができる。
また、相関パラメータα，βは、上述したように、候補パラメータを用意してパラメータの選択単位で選択したパラメータを符号化する。
ただし、相関パラメータαのみ、候補パラメータを用意して選択したパラメータを符号化し、相関パラメータβは上記実施の形態１と同じように符号化側及び復号側で同一の算出処理によって求めるようにしてもよい。一方、相関パラメータβのみ、候補パラメータを用意して選択したパラメータを符号化し、相関パラメータαは上記実施の形態１と同じように符号化側及び復号側で同一の算出処理によって求めるようにしてもよい。
このようにすることで、候補パラメータを符号化することによる符号量の増加量を抑制することができる。あるいは、上記実施の形態１で説明したように相関パラメータαのみ又は相関パラメータβのみとしてもよい。このようにすることで、符号化処理や復号処理の演算量を削減することができる。
上記で説明した事項以外、この実施の形態３は、上記実施の形態１，２と同じ構成で同じ処理を実施する。

実施の形態４．
この実施の形態４では、予測差分信号に対して色信号フォーマットの変換処理（色変換処理）を実施する画像符号化装置及び画像復号装置について説明する。
即ち、上記実施の形態１，２あるいは３の画像符号化装置における予測差分信号に対して、所定の色変換処理を実施する。そして、色変換後の予測差分信号を上記実施の形態１，２あるいは３と同一の変換・量子化部９に入力する。したがって、色変換後の予測差分信号に対して変換・量子化処理を行う。そして、逆量子化・逆変換部１０で得られる局所復号予測差分信号に対して所定の逆色変換処理を実施して最終的な局所復号予測差分信号を得る画像符号化装置を構成する。

さらに、上記実施の形態１，２あるいは３の画像復号装置における逆量子化・逆変換部３２で得られる復号予測差分信号に対して上記画像符号化装置と同一の逆色変換処理を実施して最終的な復号予測差分信号を得る画像復号装置を構成する。
ここで、色変換処理及び逆色変換処理の例を説明する。符号化対象の入力画像信号がＲＧＢフォーマットである場合、色変換処理として下記に示すＹＣｏＣｇフォーマットに変換する処理を実施する。

上記色変換処理に対応する逆色変換処理は下記のとおりである。

あるいは、変換・量子化部９にて量子化処理を実施しない無歪み符号化（ロスレス符号化）を行う場合は、色変換時の丸めによる誤差（歪み）が生じないように下記の式とする。

上記色変換処理に対応する逆色変換処理は下記のとおりである。

なお、符号化対象の入力画像信号がＹＵＶフォーマット等であっても上記変換式によって構成しても良い。あるいは、上記逆色変換処理を色変換処理として、上記色変換処理を逆色変換処理として用いることで、ＹＵＶフォーマットの予測差分信号をＲＧＢ相当のフォーマットに変換して変換・量子化処理を行うように構成しても良い。
さらに、上記以外の色変換処理及び逆色変換処理の例としては、下記に示す非特許文献２や非特許文献３で定義されるＹＣｂＣｒフォーマットに変換する処理を色変換処理、ＹＣｂＣｒフォーマットからＲＧＢフォーマットに戻す処理を逆色変換処理にする方法がある。
このように色変換処理を導入することで、各色成分の予測差分信号の電力をＹ（輝度）成分に相当する予測差分信号に集中させ、符号化効率を改善することができる。
［非特許文献２］ ＩＴＵ-Ｒ ＢＴ．６０１
［非特許文献３］ ＩＴＵ-Ｒ ＢＴ．７０９

ここで、上記色変換処理及び逆色変換処理において、Ｙ成分とＧ成分が輝度成分に相当する色成分、その他の成分（Ｃｇ成分、Ｃｏ成分、Ｕ成分、Ｖ成分、Ｃｂ成分、Ｃｒ成分、Ｂ成分、Ｒ成分）が色差成分に相当する色成分と定義する。

さらに、上記実施の形態２の予測差分信号の色成分間相関除去処理を組み合わせても良い。具体的には、色変換後の予測差分信号のうち、輝度成分に相当する予測差分信号は上記で説明した処理とする。一方、色差成分に相当する予測差分信号に対しては、符号化済み色成分の局所復号予測差分信号との差分値を変換・量子化部９に入力し、逆量子化・逆変換部１０で得られる色差成分の局所復号予測差分信号に対して上記符号化済み色成分の予測差分信号を加算し、可算後の局所復号予測差分信号に対して所定の逆色変換処理を実施して最終的な局所復号予測差分信号を得る画像符号化装置を構成する。
さらに、上記実施の形態１，２あるいは３の画像復号装置における逆量子化・逆変換部３２で得られる復号予測差分信号に対して、輝度成分に相当する予測差分信号は上記画像符号化装置と同一の逆色変換処理を実施して最終的な復号予測差分信号を得る。一方、色差成分に相当する予測差分信号に対しては、復号済み色成分の復号予測差分信号を加算し、可算後の復号予測差分信号に対して所定の逆色変換処理を実施して最終的な復号予測差分信号を得る画像復号装置を構成する。
ここで、上記符号化済み色成分及び上記復号済み色成分（参照色成分）の選択方法は上記実施の形態２と同様である。
このように色変換処理を導入することで、符号化対象の各色成分の予測差分信号の電力を輝度成分に相当する色成分の予測差分信号に集中させた上で、さらに色差成分に相当する色成分の予測差分信号に対して残留する色成分間の相関を色成分間相関除去処理によって除去することで符号化効率を改善することができる。

また、上述の予測差分信号に対する色変換処理は、特定の切り替え単位で処理の有無を選択可能としても良い。この場合、上記特定の切り替え単位で処理の有無を示すフラグ（色変換フラグ）を符号化する必要がある。上記色変換フラグが有効（“１”）である場合は色変換処理を実施することを示し、上記色変換フラグが無効（“０”）である場合は色変換処理を実施しないことを示している。
具体的な切り替え単位は、シーケンス、ピクチャ、スライス単位としてもよいし、最大サイズの符号化ブロック、符号化ブロック、予測ブロック、変換ブロック等のブロック単位としてもよい。一般に、切り替え単位が細かい程、符号化効率は高くなる。一方、切り替え単位を大まかにすることで符号化する上記色変換フラグを符号化する際に発生する符号量を抑えることができる。

さらに、切り替え単位を最大サイズの符号化ブロック、符号化ブロック、予測ブロック、変換ブロック等のブロック単位とする場合、シーケンスレベルヘッダ、ピクチャレベルヘッダ、スライスレベルヘッダに上記ブロック単位の切り替え処理を有効とするか否かを示すフラグを持つようにしてもよい。このようにすることで、本切り替え処理が効果的な場合のみ有効とするようにして、本切り替え処理が効果的でない場合に上記ブロック単位の色変換フラグを符号化せずに済み、符号化効率を高めることができる。
画像復号装置では上記色変換フラグを復号し、復号した色変換フラグが有効（“１”）である場合のみ色変換処理を実施することで正しく復号される。

上述の予測差分信号に対する色変換処理について、上記実施の形態１，２あるいは３に記載の色成分間予測処理との組み合わせを制限しても良い。例えば、上記色成分間予測処理は色変換処理を実施しない領域のみ選択可能とする。このようにすることで、画像符号化装置では、色変換処理を実施する領域で上記色成分間予測処理の色成分間予測パラメータを符号化する必要がないため、符号量を削減することができる。画像復号装置では、色変換処理を実施する領域では上記色成分間予測処理を無効とし、色成分間予測パラメータを復号しないようにすることで復号処理を簡易化することができる。
あるいは、上述の予測差分信号に対する色変換処理について、上記実施の形態２に記載の予測差分信号の色成分間相関除去処理との組み合わせを制限しても良い。例えば、上記色成分間相関除去処理は色変換処理を実施しない領域のみ選択可能とする。このようにすることで、画像符号化装置では、色変換処理を実施する領域で上記色成分間相関除去処理に関わる符号化パラメータを符号化する必要がないため、符号量を削減することができる。画像復号装置では、色変換処理を実施する領域では上記色成分間相関除去処理を無効とし、上記色成分間相関除去処理に関わる符号化パラメータを復号しないようにすることで復号処理を簡易化することができる。

上述の説明では、予測差分信号に対して色変換処理を実施する画像符号化装置及び画像復号装置について説明したが、色変換処理を入力画像に行うようにしても良い。この場合、画像符号化装置では、上記特定の切り替え単位（例えば符号化ブロック単位）に、色変換処理を実施することを示す領域において入力画像（映像信号）を色変換し、色変換した入力画像に対して符号化処理を実施する。そして、局所復号画像に対して逆色変換を行って最終的な局所復号画像を得る。画像復号装置では、色変換処理を実施することを示す領域において、復号画像に対して逆色変換を行って最終的な復号画像を得る。ただし、色変換処理を最大サイズの符号化ブロック、符号化ブロック、予測ブロック、変換ブロック等のブロック単位に実施する場合、局所復号画像及び復号画像はループフィルタ部１３、ループフィルタ部３９に入力前の局所復号画像及び復号画像に対して逆色変換を行い、逆色変換を行った局所復号画像及び復号画像をループフィルタ部１３、ループフィルタ部３９に入力する。

ここで、色成分の符号化（復号）順を示す第１色成分、第２色成分、第３色成分を下記の通り定義する。
・第１色成分：Ｙ成分、Ｇ成分
・第２色成分：Ｃｇ成分、Ｕ成分、Ｃｂ成分、Ｂ成分
・第３色成分：Ｃｏ成分Ｖ成分Ｃｒ成分、Ｒ成分
上述した色変換処理及び逆色変換処理以外の例として、第１色成分、第２色成分、第３色成分の順番を入れ替えるようにしても良い。具体的には色変換処理として、第２色成分、第３色成分、第１色成分の順や、第３色成分、第１色成分、第２色成分の順等の順番を入れ替える処理とし、逆色変換処理は第１色成分、第２色成分、第３色成分の順番に戻す処理とする。
このようにすることで、第１色成分、第２色成分、第３色成分に割り当てる色成分を最適な符号化順序で符号化することができ、符号化効率を高めることができる。

なお、上記で説明した事項以外、この実施の形態４は、上記実施の形態１，２または３と同じ構成で同じ処理を実施する。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ 符号化制御部、２ スライス分割部、３ ブロック分割部、４ 切換スイッチ、５ イントラ予測部（予測画像生成手段）、６ イントラブロックコピー予測部（予測画像生成手段）、７ 動き補償予測部（予測画像生成手段）、８ 減算部、９ 変換・量子化部、１０ 逆量子化・逆変換部、１１ 加算部、１２ イントラ用メモリ、１３ ループフィルタ部、１４ 動き補償予測フレームメモリ、１５ 可変長符号化部（可変長符号化手段）、３１ 可変長復号部（可変長復号手段）、３２ 逆量子化・逆変換部、３３ 切換スイッチ、３４ イントラ予測部（予測画像生成手段）、３５ イントラブロックコピー予測部（予測画像生成手段）、３６ 動き補償予測部（予測画像生成手段）、３７ 加算部、３８ イントラ用メモリ、３９ ループフィルタ部、４０ 動き補償予測フレームメモリ。

Claims (10)

1. 予測ブロックにおける色差成分の予測画像を生成する際の色差成分間で予測する予測処理として、前記予測ブロックの色成分間予測パラメータを用いる色成分間予測処理を実施することで、前記予測ブロックにおける色差成分の予測画像を生成する予測画像生成手段と、
   前記予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと同じであるか否かを示す同一判定用フラグを可変長符号化し、前記予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと異なるものであれば、前記予測ブロックの色成分間予測パラメータを可変長符号化する可変長符号化手段と
   を備えた画像符号化装置。
2. 前記予測画像生成手段は、前記色成分間予測パラメータに含まれる色成分間予測フラグが前記色成分間予測処理の非実施を明示している場合、前記予測ブロックのイントラ予測パラメータを用いるイントラ予測処理を実施することで、前記予測ブロックにおける色差成分の予測画像を生成し、
   前記可変長符号化手段は、前記色成分間予測フラグが前記色成分間予測処理の非実施を明示している場合、前記色成分間予測フラグ及び前記イントラ予測パラメータを可変長符号化することを特徴とする請求項１記載の画像符号化装置。
3. 前記予測画像生成手段は、前記色成分間予測パラメータに含まれる色成分間予測フラグが前記色成分間予測処理の非実施を明示している場合、前記予測ブロックのブロックシフトベクトルを用いるイントラブロックコピー予測処理を実施することで、前記予測ブロックにおける色差成分の予測画像を生成し、
   前記可変長符号化手段は、前記色成分間予測フラグが前記色成分間予測処理の非実施を明示している場合、前記色成分間予測フラグ及び前記ブロックシフトベクトルを可変長符号化することを特徴とする請求項１記載の画像符号化装置。
4. 前記予測画像生成手段は、前記色成分間予測パラメータに含まれる色成分間予測フラグが前記色成分間予測処理の非実施を明示している場合、前記予測ブロックの動きベクトルを用いる動き補償予測処理を実施することで、前記予測ブロックにおける色差成分の予測画像を生成し、
   前記可変長符号化手段は、前記色成分間予測フラグが前記色成分間予測処理の非実施を明示している場合、前記色成分間予測フラグ及び前記動きベクトルを可変長符号化することを特徴とする請求項１記載の画像符号化装置。
5. 予測ブロックにおける色差成分の予測画像を生成する際の色差成分間で予測する予測処理として、前記予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと同じであるか否かを示す同一判定用フラグを可変長復号し、前記同一判定用フラグが異なる旨を示していれば、前記予測ブロックの色成分間予測パラメータを可変長復号する可変長復号手段と、
   前記可変長復号手段により可変長復号された前記同一判定用フラグが異なる旨を示していれば、前記可変長復号手段により可変長復号された色成分間予測パラメータ、前記同一判定用フラグが同じである旨を示していれば、前記符号化済みの色成分間予測パラメータに対応する復号済みの色成分間予測パラメータを用いる色成分間予測処理を実施することで、前記予測ブロックにおける色差成分の予測画像を生成する予測画像生成手段と
   を備えた画像復号装置。
6. 前記可変長復号手段は、前記色成分間予測パラメータに含まれる色成分間予測フラグが前記色成分間予測処理の非実施を明示している場合、前記色成分間予測フラグ及び前記予測ブロックのイントラ予測パラメータを可変長復号し、
   前記予測画像生成手段は、前記色成分間予測フラグが前記色成分間予測処理の非実施を明示している場合、前記イントラ予測パラメータを用いるイントラ予測処理を実施することで、前記予測ブロックにおける色差成分の予測画像を生成することを特徴とする請求項５記載の画像復号装置。
7. 前記可変長復号手段は、前記色成分間予測パラメータに含まれる色成分間予測フラグが前記色成分間予測処理の非実施を明示している場合、前記色成分間予測フラグ及び前記予測ブロックのブロックシフトベクトルを可変長復号し、
   前記予測画像生成手段は、前記色成分間予測フラグが前記色成分間予測処理の非実施を明示している場合、前記ブロックシフトベクトルを用いるイントラブロックコピー予測処理を実施することで、前記予測ブロックにおける色差成分の予測画像を生成することを特徴とする請求項５記載の画像復号装置。
8. 前記可変長復号手段は、前記色成分間予測パラメータに含まれる色成分間予測フラグが前記色成分間予測処理の非実施を明示している場合、前記色成分間予測フラグ及び前記予測ブロックの動きベクトルを可変長復号し、
   前記予測画像生成手段は、前記色成分間予測フラグが前記色成分間予測処理の非実施を明示している場合、前記動きベクトルを用いる動き補償予測処理を実施することで、前記予測ブロックにおける色差成分の予測画像を生成することを特徴とする請求項５記載の画像復号装置。
9. 予測画像生成手段が、予測ブロックにおける色差成分の予測画像を生成する際の色差成分間で予測する予測処理として、前記予測ブロックの色成分間予測パラメータを用いる色成分間予測処理を実施することで、前記予測ブロックにおける色差成分の予測画像を生成する予測画像生成処理ステップと、
   可変長符号化手段が、前記予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと同じであるか否かを示す同一判定用フラグを可変長符号化し、前記予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと異なるものであれば、前記予測ブロックの色成分間予測パラメータを可変長符号化する可変長符号化処理ステップと
   を備えた画像符号化方法。
10. 可変長復号手段が、予測ブロックにおける色差成分の予測画像を生成する際の色差成分間で予測する予測処理として、前記予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと同じであるか否かを示す同一判定用フラグを可変長復号し、前記同一判定用フラグが異なる旨を示していれば、前記予測ブロックの色成分間予測パラメータを可変長復号する可変長復号処理ステップと、
    予測画像生成手段が、前記同一判定用フラグが異なる旨を示していれば、前記可変長復号処理ステップで可変長復号された色成分間予測パラメータ、前記同一判定用フラグが同じである旨を示していれば、前記符号化済みの色成分間予測パラメータに対応する復号済みの色成分間予測パラメータを用いる色成分間予測処理を実施することで、前記予測ブロックにおける色差成分の予測画像を生成する予測画像生成処理ステップと
    を備えた画像復号方法。

Images