JP2023168518A - 予測ブロック生成装置、画像符号化装置、画像復号装置、及びプログラム - Google Patents

Abstract

【課題】ＣＩＩＰにおける重み係数を適切に決定することで予測精度を改善する。【解決手段】画像を分割して得た予測対象ブロックをイントラ予測及び前記イントラ予測と異なる所定予測によりそれぞれ予測してイントラ予測信号及び所定予測信号を生成し、前記イントラ予測信号及び前記所定予測信号を重み付け合成により合成することで前記予測対象ブロック内の予測信号を出力する予測ブロック生成装置は、前記予測対象ブロックの周辺にイントラ予測が適用された周辺ブロックがある場合、前記周辺ブロックに適用されたイントラ予測のイントラ予測モードを特定するモード特定部と、前記モード特定部が特定した前記イントラ予測モードに基づいて、前記重み付け合成に用いる重み係数を決定する重み係数決定部と、を備える。【選択図】図４

Description

本発明は、予測ブロック生成装置、画像符号化装置、画像復号装置、及びプログラムに関する。

従来から、伝送時や保存時の静止画像や動画像のデータ量を圧縮するため映像符号化方式の研究が行われている。近年、映像符号化技術では８Ｋ－ＳＨＶに代表されるような超高解像度映像の普及が進んでおり、膨大なデータ量の動画像を伝送するための手法としてＡＶＣ／Ｈ．２６４やＨＥＶＣ／Ｈ．２６５などの符号化方式が知られている。

ＭＰＥＧ及びＩＴＵが合同で標準化を行っている次世代符号化方式であるＶＶＣでは、フレーム内の空間的な相関を利用したイントラ予測、及びフレーム間の相関を利用したインター予測が利用されている（例えば、非特許文献１参照）。これらの予測では、画像を分割して得たブロック単位での予測を行う。

また、ＶＶＣでは、Ｃｏｍｂｉｎｅｄ Ｉｎｔｅｒ ａｎｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）という技術が採用される見込みである。ＣＩＩＰは、予測対象のブロックをインター予測及びイントラ予測によりそれぞれ予測してインター予測ブロック及びイントラ予測ブロックを生成し、インター予測ブロック及びイントラ予測ブロックを重み付け合成により合成することで予測ブロックを出力する技術である。なお、ＣＩＩＰにおけるイントラ予測のイントラ予測モードはＰｌａｎａｒモードに固定されている。

ＣＩＩＰにおける重み付け合成に用いる重み係数の情報は、画像符号化装置から画像復号装置へ送られることはなく、予測対象のブロックの上ブロック及び左ブロックにおいてイントラ予測が適用されているか又はインター予測が適用されているかに応じて暗黙的に決定される。

具体的な重み係数は、イントラ予測ブロックの重みを「Ｉｎｔｒａ」、インター予測ブロックの重みを「Ｉｎｔｅｒ」としたとき、
（ａ）両方でイントラ予測が用いられている場合、Ｉｎｔｒａ：Ｉｎｔｅｒ＝３：１
（ｂ）どちらか片方でイントラ予測が用いられている場合、Ｉｎｔｒａ：Ｉｎｔｅｒ＝２：２
（ｃ）両方でインター予測が用いられている場合、Ｉｎｔｒａ：Ｉｎｔｅｒ＝１：３
となっている。つまり、周辺ブロックでイントラ予測が適用されているときはイントラ予測ブロックの重みが大きく、周辺ブロックでインター予測が適用されているときはインター予測ブロックの重みが大きくなるように設計されている。

ＪＶＥＴ－Ｎ１００１ Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （Ｄｒａｆｔ ５）

上述のように、ＣＩＩＰにおける重み係数は、周辺ブロックにイントラ予測が適用されているか否かに応じて決定されている。

しかしながら、周辺ブロックでイントラ予測が適用されていても、周辺ブロックのイントラ予測モードがＰｌａｎａｒ予測でない場合には、予測対象のブロックと周辺ブロックとで相関性がなく絵柄やテクスチャが大きく異なる可能性がある。そのような場合、イントラ予測ブロックの重みを大きくすることが逆効果になり、予測対象のブロックに対する予測精度が低くなり得るという課題がある。

そこで、本発明は、ＣＩＩＰにおける重み係数を適切に決定することで予測精度を改善する予測ブロック生成装置、画像符号化装置、画像復号装置、及びプログラムを提供することを目的とする。

第１の態様に係る予測ブロック生成装置は、画像を分割して得た予測対象ブロックをイントラ予測及び前記イントラ予測と異なる所定予測によりそれぞれ予測してイントラ予測信号及び所定予測信号を生成し、前記イントラ予測信号及び前記所定予測信号を重み付け合成により合成することで前記予測対象ブロック内の予測信号を出力する予測ブロック生成装置であって、前記予測対象ブロックの周辺にイントラ予測が適用された周辺ブロックがある場合、前記周辺ブロックに適用されたイントラ予測のイントラ予測モードを特定するモード特定部と、前記モード特定部が特定した前記イントラ予測モードに基づいて、前記重み付け合成に用いる重み係数を決定する重み係数決定部と、を備える。実施形態に係る予測ブロック生成装置は、画像を分割して得た予測対象ブロックをインター予測及びイントラ予測によりそれぞれ予測してインター予測ブロック及びイントラ予測ブロックを生成し、前記インター予測ブロック及び前記イントラ予測ブロックを重み付け合成により合成することで前記予測対象ブロックに対する予測ブロックを出力する。前記予測ブロック生成装置は、前記予測対象ブロックの周辺にイントラ予測が適用された周辺ブロックがある場合、前記周辺ブロックに適用されたイントラ予測のイントラ予測モードを特定するモード特定部と、前記モード特定部が特定した前記イントラ予測モードに基づいて、前記重み付け合成に用いる重み係数を決定する重み係数決定部とを備える。

第２の態様に係る画像符号化装置は、第１の態様に係る予測ブロック生成装置を備える。

第３の態様に係る画像復号装置は、第１の態様に係る予測ブロック生成装置を備える。

第４の態様に係るプログラムは、コンピュータを第１の態様に係る予測ブロック生成装置として機能させる。

本発明によれば、ＣＩＩＰにおける重み係数を適切に決定することで予測精度を改善する予測ブロック生成装置、画像符号化装置、画像復号装置、及びプログラムを提供できる。

実施形態に係る画像符号化装置の構成を示す図である。 実施形態に係るイントラ予測モードの候補を示す図である。 イントラ予測のイントラ予測モードとしてのＰｌａｎａｒモードを示す図である。 実施形態に係る画像符号化装置の合成処理部の構成を示す図である。 実施形態に係る上ブロック及び左ブロックを示す図である。 実施形態に係る画像復号装置の構成を示す図である。 実施形態に係る画像復号装置の合成処理部の構成を示す図である。 実施形態に係る画像復号装置における予測ブロック生成の動作フロー例を示す図である。 その他の実施形態に係る合成処理部の構成を示す図である。

図面を参照して、実施形態に係る画像符号化装置及び画像復号装置について説明する。実施形態に係る画像符号化装置及び画像復号装置は、ＭＰＥＧに代表される動画像の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又
は類似の符号を付している。

＜画像符号化装置の構成＞
まず、本実施形態に係る画像符号化装置の構成について説明する。図１は、本実施形態に係る画像符号化装置１の構成を示す図である。

図１に示すように、画像符号化装置１は、ブロック分割部１００と、減算部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、合成部１５０と、メモリ１６０と、予測部１７０とを有する。本実施形態において、予測部１７０は、画像符号化装置１に設けられる予測ブロック生成装置に相当する。

ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像である原画像を複数の画像ブロックに分割し、分割により得た画像ブロックを減算部１１０に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。画像ブロックの形状は正方形に限らず長方形（非正方形）であってもよい。画像ブロックは、画像符号化装置１が符号化を行う単位（すなわち、符号化対象ブロック）であり、且つ画像復号装置が復号を行う単位（すなわち、復号対象ブロック）である。このような画像ブロックはＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれることがある。

減算部１１０は、ブロック分割部１００から出力される符号化対象ブロックと、符号化対象ブロックを予測部１７０が予測して得た予測ブロックとの差分（誤差）を表す予測残差を算出する。具体的には、減算部１１０は、ブロックの各画素値から予測ブロックの各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。

変換・量子化部１２０は、ブロック単位で直交変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを有する。

変換部１２１は、減算部１１０から出力される予測残差に対して直交変換処理を行って直交変換係数を算出し、算出した直交変換係数を量子化部１２２に出力する。直交変換とは、例えば、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）や離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、カルーネンレーブ変換（ＫＬＴ： Ｋａｒｈｕｎｅｎ-Ｌｏeｖｅ Ｔｒａｎｓｆｏｒｍ）等をいう。

量子化部１２２は、変換部１２１から出力される直交変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化した直交変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。なお、量子化パラメータ（Ｑｐ）は、ブロック内の各直交変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。量子化行列は、各直交変換係数を量子化する際の量子化値を要素として有する行列である。

エントロピー符号化部１３０は、量子化部１２２から出力される直交変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ（ビットストリーム）を生成し、符号化データを画像符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。なお、エントロピー符号化部１３０は、予測部１７０から予測に関する情報が入力され、入力された情報のエントロピー符号化も行う。

逆量子化・逆変換部１４０は、ブロック単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを有する。

逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２から出力される直交変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより直交変換係数を復元し、復元した直交変換係数を逆変換部１４２に出力する。

逆変換部１４２は、変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。例えば、変換部１２１が離散コサイン変換を行った場合には、逆変換部１４２は逆離散コサイン変換を行う。逆変換部１４２は、逆量子化部１４１から出力される直交変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。

合成部１５０は、逆変換部１４２から出力される復元予測残差を、予測部１７０から出力される予測ブロックと画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測ブロックの各画素値を加算して符号化対象ブロックを復号（再構成）し、復号済みブロックをメモリ１６０に出力する。なお、復号済みブロックは、再構成ブロックと呼ばれることもある。

メモリ１６０は、合成部１５０から出力される復号済みブロックを記憶し、復号済みブロックをフレーム単位で復号済み画像として蓄積する。メモリ１６０は、記憶している復号済みブロック若しくは復号済み画像を予測部１７０に出力する。なお、合成部１５０とメモリ１６０との間にループフィルタが設けられてもよい。本実施形態において、メモリ１６０は、各復号済みブロックに適用された予測に関する情報（以下、「ブロック予測情報」と呼ぶ）をさらに記憶する。

予測部１７０は、ブロック単位で予測を行う。予測部１７０が取り扱う符号化対象ブロックを「予測対象ブロック」と呼ぶ。予測部１７０は、イントラ予測部１７１と、インター予測部１７２と、合成処理部１７３と、切替部１７４とを有する。

イントラ予測部１７１は、フレーム内の空間的な相関を利用したイントラ予測を行う。具体的には、イントラ予測部１７１は、メモリ１６０に記憶された復号済み画像のうち、イントラ予測の予測対象ブロックの周辺にある復号済み画素を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部１７４に出力する。一般的に、イントラ予測部１７１は、複数のイントラ予測モードの中から、イントラ予測の予測対象ブロックに適用するイントラ予測モードを選択し、選択したイントラ予測モードを用いて対象ブロックを予測する。イントラ予測部１７１は、選択したイントラ予測モードに関する情報をエントロピー符号化部１３０に出力する。

図２は、本実施形態に係るイントラ予測モードの候補を示す図である。図２に示すように、イントラ予測モードの候補は、０から６６までの６７通りのイントラ予測モードがある。イントラ予測モードのモード「０」はＰｌａｎａｒ予測であり、イントラ予測モードのモード「１」はＤＣ予測であり、イントラ予測モードのモード「２」乃至「６６」は方向性予測である。方向性予測において、矢印の方向は参照方向を示し、矢印の起点は予測対象の画素の位置を示し、矢印の終点はこの予測対象画素の予測に用いる参照画素の位置を示す。ブロックの右上頂点及び左下頂点を通る対角線に平行な参照方向として、左下方向を参照するイントラ予測モードであるモード「２」と、右上方向を参照するイントラ予測モードであるモード「６６」とがあり、モード「２」からモード「６６」まで時計回りに所定角度ごとにモード番号が割り振られている。

インター予測部１７２は、フレーム間の相関を利用したインター予測を行う。具体的には、インター予測部１７２は、メモリ１６０に記憶された復号済み画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出し、インター予測の予測対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部１７４に出力する。ここで、インター予測部１７２は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１７２は、インター予測に関する情報（動きベクトル等）をエントロピー符号化部１３０に出力する。

本実施形態において、予測部１７０は、ＣＩＩＰの機能を有する。以下において、ＣＩＩＰは、インター予測に属する機能であるものとする。予測部１７０は、予測対象ブロックにＣＩＩＰを適用する場合、ＣＩＩＰの予測対象ブロックをインター予測及びイントラ予測によりそれぞれ予測してインター予測ブロック及びイントラ予測ブロックを生成し、インター予測ブロック及びイントラ予測ブロックを重み付け合成により合成することで予測ブロックを出力する。予測部１７０は、予測対象ブロックにＣＩＩＰを適用する場合、このブロックにＣＩＩＰを適用することを示す情報をエントロピー符号化部１３０に出力する。

具体的には、予測対象ブロックにＣＩＩＰを適用する場合、イントラ予測部１７１及びインター予測部１７２は、同一の予測対象ブロックに対してイントラ予測及びインター予測をそれぞれ行う。そして、イントラ予測部１７１がイントラ予測ブロックを合成処理部１７３に出力するとともに、インター予測部１７２がインター予測ブロックを合成処理部１７３に出力する。

ＣＩＩＰにおいて、イントラ予測部１７１は、イントラ予測のイントラ予測モードとしてＰｌａｎａｒモードを適用する。図３に示すように、Ｐｌａｎａｒ予測は、４つの矢印の始点にある上下左右の４つの参照画素を用いて内挿予測により予測画素値を生成するイントラ予測モードである。或いは、ＣＩＩＰにおいて、イントラ予測部１７１は、Ｐｌａｎａｒモード以外のイントラ予測モードを適用してもよい。

合成処理部１７３は、イントラ予測部１７１から出力されるイントラ予測ブロック及びインター予測部１７２から出力されるインター予測ブロックを重み付け合成により合成することで予測ブロックを生成し、生成した予測ブロックを切替部１７４に出力する。本実施形態において、合成処理部１７３が出力する予測ブロックは、インター予測ブロックの一種であるものとする。合成処理部１７３の詳細については後述する。

切替部１７４は、インター予測部１７２又は合成処理部１７３から出力されるインター予測ブロックとイントラ予測部１７１から出力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを減算部１１０及び合成部１５０に出力する。

図４は、本実施形態に係る画像符号化装置１の合成処理部１７３の構成を示す図である。

図４に示すように、合成処理部１７３は、モード特定部１７３ａと、重み係数決定部１７３ｂと、重み付け合成部１７３ｃとを有する。

モード特定部１７３ａは、メモリ１６０に記憶された各復号済みブロックのブロック予
測情報に基づいて、予測対象ブロックの周辺にイントラ予測が適用された周辺ブロック（復号済みブロック）がある場合、当該周辺ブロックに適用されたイントラ予測のイントラ予測モードを特定する。また、モード特定部１７３ａは、予測対象ブロックの周辺にイントラ予測が適用された複数の周辺ブロックがある場合、当該複数の周辺ブロックのそれぞれに適用されたイントラ予測のイントラ予測モードを特定する。

本実施形態において、予測対象ブロックの上にある隣接ブロックである上ブロック及び予測対象ブロックの左にある隣接ブロックである左ブロックを周辺ブロックとして用いる。予測対象ブロック及び周辺ブロックは、ブロック形状やブロックサイズが互いに異なっている場合ある。このため、図５に示すように、上ブロックは、予測対象ブロックの最も右上にある画素の上側に隣接する画素を含む隣接ブロックとする。また、左ブロックは、予測対象ブロックの最も左下にある画素の左側に隣接する画素を含む隣接ブロックとする。

モード特定部１７３ａは、予測対象ブロックのイントラ予測に適用されたイントラ予測モードと、複数の周辺ブロック（上ブロック及び左ブロック）のそれぞれのイントラ予測モードとを比較する。具体的には、モード特定部１７３ａは、複数の周辺ブロックのそれぞれのイントラ予測モードのうち予測対象ブロックのイントラ予測に適用されたイントラ予測モードと一致する数であるモード一致数を特定し、特定したモード一致数を重み係数決定部１７３ｂに出力する。

ＣＩＩＰにおいて予測対象ブロックに適用されるイントラ予測モードがＰｌａｎａｒモードで固定である場合、モード特定部１７３ａは、周辺ブロックのイントラ予測モードの情報をメモリ１６０から読み出し、周辺ブロックのイントラ予測モードのうちＰｌａｎａｒモードの個数をモード一致数として特定する。本実施形態においては周辺ブロックを上ブロック及び左ブロックとしているため、モード一致数は、０、１、又は２となる。

一方、ＣＩＩＰにおいて予測対象ブロックに適用されるイントラ予測モードが可変である場合、モード特定部１７３ａは、周辺ブロックのイントラ予測モードの情報をメモリ１６０から読み出すとともに、予測対象ブロックに適用されるイントラ予測モードの情報をイントラ予測部１７１から取得する。そして、モード特定部１７３ａは、周辺ブロックのイントラ予測モードのうち、予測対象ブロックに適用されるイントラ予測モードの個数をモード一致数として特定する。本実施形態においては周辺ブロックを上ブロック及び左ブロックとしているため、モード一致数は、０、１、又は２となる。

重み係数決定部１７３ｂは、モード特定部１７３ａが特定した周辺ブロックのイントラ予測モードに基づいて、ＣＩＩＰにおける重み付け合成に用いる重み係数を決定し、決定した重み係数を重み付け合成部１７３ｃに出力する。本実施形態において、重み係数決定部１７３ｂは、モード特定部１７３ａが出力するモード一致数に基づいて重み係数を決定する。

例えば、重み係数決定部１７３ｂは、表１に示すように、モード一致数の増加につれて、インター予測ブロックに対するイントラ予測ブロックの重みの比が大きくなるように、重み係数を決定する。

ここでは、イントラ予測ブロックの重み及びインター予測ブロックの重みの合計が４になるようにしている。例えば、重み係数決定部１７３ｂは、イントラ予測ブロックの重みを重み係数ｗｔとして重み付け合成部１７３ｃに出力する。

重み付け合成部１７３ｃは、重み係数決定部１７３ｂから出力される重み係数ｗｔに基づいて、イントラ予測部１７１から出力されるイントラ予測ブロック及びインター予測部１７２から出力されるインター予測ブロックを重み付け合成により合成することで予測ブロックを生成し、生成した予測ブロックを切替部１７４に出力する。

具体的には、重み付け合成部１７３ｃは、イントラ予測ブロック及びインター予測ブロックを画素単位で重み付け合成により合成する。例えば、イントラ予測ブロックの画素値をＰ_{ｉｎｔｒａ}、インター予測ブロックの画素値をＰ_{ｉｎｔｅｒ}とした場合、重み付け合成部１７３ｃは、予測ブロックの画素値Ｐ_ＣＩＩＰを次の式（１）により算出する。

＜画像復号装置の構成＞
次に、本実施形態に係る画像復号装置の構成について説明する。図６は、本実施形態に係る画像復号装置２の構成を示す図である。

図６に示すように、画像復号装置２は、エントロピー復号部２００と、逆量子化・逆変換部２１０と、合成部２２０と、メモリ２３０と、予測部２４０とを有する。本実施形態において、予測部２４０は、画像復号装置２に設けられる予測ブロック生成装置に相当する。

エントロピー復号部２００は、画像符号化装置１により生成された符号化データを復号し、量子化された直交変換係数を逆量子化・逆変換部２１０に出力する。また、エントロピー復号部２００は、予測（イントラ予測及びインター予測）に関する情報を取得し、取得した情報を予測部２４０に出力する。本実施形態において、エントロピー復号部２００は、復号対象ブロックにＣＩＩＰが適用されている場合、復号対象ブロックにＣＩＩＰが適用されていることを示す情報を取得し、取得した情報を予測部２４０に出力する。

逆量子化・逆変換部２１０は、ブロック単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを有する。

逆量子化部２１１は、画像符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー復号部２００から出力される量子化直交変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、復号対象ブロックの直交変換係数を復元し、復元した直交変換係数を逆変換部２１２に出力する。

逆変換部２１２は、画像符号化装置１の変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。逆変換部２１２は、逆量子化部２１１から出力される直交変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２２０に出力する。

合成部２２０は、逆変換部２１２から出力される予測残差と、予測部２４０から出力される予測ブロックとを画素単位で合成することにより、元のブロックを復号（再構成）し、復号済みブロックをメモリ２３０に出力する。

メモリ２３０は、合成部２２０から出力される復号済みブロックを記憶し、復号済みブロックをフレーム単位で復号済み画像として蓄積する。メモリ２３０は、復号済みブロック若しくは復号済み画像を予測部２４０に出力する。また、メモリ２３０は、フレーム単位の復号済み画像を画像復号装置２の外部に出力する。なお、合成部２２０とメモリ２３０との間にループフィルタが設けられてもよい。本実施形態において、メモリ２３０は、各復号済みブロックに適用された予測に関するブロック予測情報をさらに記憶する。

予測部２４０は、ブロック単位で予測を行う。予測部２４０は、イントラ予測部２４１と、インター予測部２４２と、合成処理部２４３と、切替部２４４とを有する。

イントラ予測部２４１は、フレーム内の空間的な相関を利用したイントラ予測を行う。具体的には、イントラ予測部２４１は、エントロピー復号部２００から出力されるイントラ予測に関する情報（例えば、イントラ予測モードの情報）に基づいて、メモリ２３０に記憶された復号済み画像のうちイントラ予測の予測対象ブロックの周辺にある復号済み画素を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部２４４に出力する。

インター予測部２４２は、フレーム間の相関を利用したインター予測を行う。具体的には、インター予測部２４２は、エントロピー復号部２００から出力されるインター予測に関する情報（例えば、動きベクトル情報）に基づいて、メモリ２３０に記憶された復号済み画像を参照画像として用いてインター予測の予測対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部２４４に出力する。

本実施形態において、予測部２４０は、ＣＩＩＰの機能を有する。予測部２４０は、エントロピー復号部２００から出力される情報が予測対象ブロックにＣＩＩＰを適用することを示す情報を含む場合、ＣＩＩＰの予測対象ブロックをインター予測及びイントラ予測によりそれぞれ予測してインター予測ブロック及びイントラ予測ブロックを生成し、インター予測ブロック及びイントラ予測ブロックを重み付け合成により合成することで予測ブロックを出力する。

具体的には、予測対象ブロックにＣＩＩＰを適用する場合、イントラ予測部２４１及びインター予測部２４２は、同一の予測対象ブロックに対してイントラ予測及びインター予測をそれぞれ行う。そして、イントラ予測部２４１がイントラ予測ブロックを合成処理部２４３に出力するとともに、インター予測部２４２がインター予測ブロックを合成処理部２４３に出力する。ＣＩＩＰにおいて、イントラ予測部２４１は、イントラ予測のイントラ予測モードとしてＰｌａｎａｒモードを適用する。或いは、ＣＩＩＰにおいて、イントラ予測部２４１は、Ｐｌａｎａｒモード以外のイントラ予測モードを適用してもよい。

合成処理部２４３は、イントラ予測部２４１から出力されるイントラ予測ブロック及びインター予測部２４２から出力されるインター予測ブロックを重み付け合成により合成することで予測ブロックを生成し、生成した予測ブロックを切替部２４４に出力する。

切替部２４４は、インター予測部２４２又は合成処理部２４３から出力されるインター予測ブロックとイントラ予測部２４１から出力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを合成部２２０に出力する。

図７は、本実施形態に係る画像復号装置２の合成処理部２４３の構成を示す図である。

図７に示すように、合成処理部２４３は、モード特定部２４３ａと、重み係数決定部２４３ｂと、重み付け合成部２４３ｃとを有する。モード特定部２４３ａ、重み係数決定部２４３ｂ、及び重み付け合成部２４３ｃは、図４に示すモード特定部１７３ａ、重み係数決定部１７３ｂ、及び重み付け合成部１７３ｃとそれぞれ同様な動作を行う。

＜予測ブロック生成の動作例＞
次に、本実施形態に係る予測ブロック生成の動作フロー例について説明する。画像符号化装置１及び画像復号装置２で予測ブロック生成の動作は同じであるが、ここでは画像復号装置２における予測ブロック生成（予測部２４０）の動作を説明する。

図８は、本実施形態に係る画像復号装置２における予測ブロック生成（予測部２４０）の動作フロー例を示す図である。

図８に示すように、ステップＳ１において、予測部２４０は、エントロピー復号部２００から出力される情報に基づいて、予測対象ブロックにＣＩＩＰを適用するか否かを判定する。

予測対象ブロックにＣＩＩＰを適用する場合（ステップＳ１：ＹＥＳ）、ステップＳ２において、イントラ予測部２４１及びインター予測部２４２は、予測対象ブロックをインター予測及びイントラ予測によりそれぞれ予測してインター予測ブロック及びイントラ予測ブロックを生成する。

ステップＳ３において、モード特定部２４３ａは、予測対象ブロックの周辺にある周辺ブロックに適用されたイントラ予測のイントラ予測モードの情報をメモリ２３０から取得する。本実施形態において、予測対象ブロックの上にある隣接ブロックである上ブロック及び予測対象ブロックの左にある隣接ブロックである左ブロックを周辺ブロックとして用いる。

ステップＳ４において、モード特定部２４３ａは、複数の周辺ブロックのそれぞれのイントラ予測モードのうち予測対象ブロックのイントラ予測に適用されたイントラ予測モードと一致する数であるモード一致数を特定する。

上述したように、ＣＩＩＰにおいて予測対象ブロックに適用されるイントラ予測モードがＰｌａｎａｒモードで固定である場合、モード特定部２４３ａは、周辺ブロックのイントラ予測モードの情報をメモリ２３０から読み出し、周辺ブロックのイントラ予測モードのうちＰｌａｎａｒモードの個数をモード一致数として特定する。

一方、ＣＩＩＰにおいて予測対象ブロックに適用されるイントラ予測モードが可変である場合、モード特定部２４３ａは、周辺ブロックのイントラ予測モードの情報をメモリ２３０から読み出すとともに、予測対象ブロックに適用されるイントラ予測モードの情報をイントラ予測部２４１から取得する。そして、モード特定部２４３ａは、周辺ブロックのイントラ予測モードのうち、予測対象ブロックに適用されるイントラ予測モードの個数をモード一致数として特定する。

ステップＳ５において、重み係数決定部２４３ｂは、モード特定部２４３ａが出力するモード一致数に基づいて、ＣＩＩＰにおける重み付け合成に用いる重み係数を表１により決定し、決定した重み係数を重み付け合成部２４３ｃに出力する。

ステップＳ６において、重み付け合成部２４３ｃは、重み係数決定部２４３ｂから出力される重み係数に基づいて、イントラ予測部２４１から出力されるイントラ予測ブロック及びインター予測部２４２から出力されるインター予測ブロックを重み付け合成により合成することで予測ブロックを生成し、生成した予測ブロックを出力する。

＜実施形態のまとめ＞
上述したように、本実施形態に係る合成処理部１７３及び合成処理部２４３は、予測対象ブロックにＣＩＩＰを適用する場合、周辺ブロックのイントラ予測モードに基づいてＣＩＩＰにおける重み付け合成に用いる重み係数を決定する。

これにより、周辺ブロックでイントラ予測が適用されていても、予測対象ブロックと周辺ブロックとでイントラ予測モードが一致しない場合には、イントラ予測ブロックの重みを大きくしないことで、ＣＩＩＰにおける予測精度の低下を抑制できる。

また、予測対象ブロックと周辺ブロックとでイントラ予測モードが一致する場合は、予測対象ブロックと周辺ブロックとで相関性が高いといえるため、イントラ予測ブロックの重みを大きくすることで、ＣＩＩＰにおける予測精度を向上させることができる。

＜その他の実施形態＞
上述した実施形態において、合成処理部１７３及び合成処理部２４３は、予測対象ブロックにＣＩＩＰを適用する場合、周辺ブロックのイントラ予測モードに基づいてＣＩＩＰにおける重み付け合成に用いる重み係数を決定していた。しかしながら、重み係数の決定にあたり、周辺ブロックのイントラ予測モードだけではなく、周辺ブロックに適用された予測方式がイントラ予測であるか又はインター予測であるかを考慮してもよい。

図９は、その他の実施形態に係る合成処理部１７３の構成を示す図である。ここでは合成処理部１７３の構成を例に挙げて説明するが、合成処理部２４３も同様に構成されるものとする。

図９に示すように、合成処理部１７３は、周辺ブロックに適用された予測方式がイントラ予測であるか又はインター予測であるかを特定する予測方式特定部１７３ｄをさらに有する。例えば、予測方式特定部１７３ｄは、上ブロック及び左ブロック（図５参照）のそれぞれについて、適用された予測方式がイントラ予測であるか又はインター予測であるかを示す予測方式情報を取得し、取得した予測方式情報を重み係数決定部１７３ｂに出力する。

重み係数決定部１７３ｂは、予測方式特定部１７３ｄが特定した周辺ブロックの予測方式と、モード特定部１７３ａが特定した周辺ブロックのイントラ予測モードとに基づいて、ＣＩＩＰにおける重み付け合成に用いる重み係数を決定する。例えば、重み係数決定部１７３ｂは、表２に示すように重み係数を決定する。

ここでは、イントラ予測ブロックの重み及びインター予測ブロックの重みの合計が８になるようにしている。例えば、重み係数決定部１７３ｂは、イントラ予測ブロックの重みを重み係数ｗｔとして重み付け合成部１７３ｃに出力する。

なお、画像符号化装置１が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。画像復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

画像符号化装置１が行う各処理を実行する回路を集積化し、画像符号化装置１を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。画像復号装置２が行う各処理を実行する回路を集積化し、画像復号装置２を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１ ：画像符号化装置
２ ：画像復号装置
１００ ：ブロック分割部
１１０ ：減算部
１２０ ：変換・量子化部
１２１ ：変換部
１２２ ：量子化部
１３０ ：エントロピー符号化部
１４０ ：逆量子化・逆変換部
１４１ ：逆量子化部
１４２ ：逆変換部
１５０ ：合成部
１６０ ：メモリ
１７０ ：予測部
１７１ ：イントラ予測部
１７２ ：インター予測部
１７３ ：合成処理部
１７３ａ ：モード特定部
１７３ｂ ：重み係数決定部
１７３ｃ ：重み付け合成部
１７３ｄ ：予測方式特定部
１７４ ：切替部
２００ ：エントロピー復号部
２１０ ：逆量子化・逆変換部
２１１ ：逆量子化部
２１２ ：逆変換部
２２０ ：合成部
２３０ ：メモリ
２４０ ：予測部
２４１ ：イントラ予測部
２４２ ：インター予測部
２４３ ：合成処理部
２４３ａ ：モード特定部
２４３ｂ ：重み係数決定部
２４３ｃ ：重み付け合成部
２４３ｄ ：予測方式特定部
２４４ ：切替部

Claims (4)

1. 画像を分割して得た予測対象ブロックをイントラ予測及び前記イントラ予測と異なる所定予測によりそれぞれ予測してイントラ予測信号及び所定予測信号を生成し、前記イントラ予測信号及び前記所定予測信号を重み付け合成により合成することで前記予測対象ブロック内の予測信号を出力する予測ブロック生成装置であって、
   前記予測対象ブロックの周辺にイントラ予測が適用された周辺ブロックがある場合、前記周辺ブロックに適用されたイントラ予測のイントラ予測モードを特定するモード特定部と、
   前記モード特定部が特定した前記イントラ予測モードに基づいて、前記重み付け合成に用いる重み係数を決定する重み係数決定部と、を備えることを特徴とする予測ブロック生成装置。
2. 請求項１に記載の予測ブロック生成装置を備えることを特徴とする画像符号化装置。
3. 請求項１に記載の予測ブロック生成装置を備えることを特徴とする画像復号装置。
4. コンピュータを請求項１に記載の予測ブロック生成装置として機能させることを特徴とするプログラム。

Images