JP2024144780A - 予測装置、画像符号化装置、画像復号装置、及びプログラム - Google Patents

Abstract

【課題】予測画像合成手法によりイントラ予測の予測精度をさらに高める。
【解決手段】イントラ予測装置は、原画像を分割して得た画像ブロックに対するイントラ予測を行う。前記イントラ予測装置は、方向性予測である第１イントラ予測モードにより前記画像ブロックを予測して第１予測画像を生成する第１予測画像生成部と、非方向性予測である第２イントラ予測モードにより前記画像ブロックを予測して第２予測画像を生成する第２予測画像生成部と、前記画像ブロックのブロックサイズ及びブロック形状のうち少なくとも一方に基づいて、前記第１予測画像及び前記第２予測画像を重み付け合成する際に用いる重み係数を決定する重み係数決定部と、前記重み係数決定部により決定された前記重み係数を用いて、前記第１予測画像及び前記第２予測画像を重み付け合成する画像合成部とを備える。
【選択図】図３

Description

本発明は、イントラ予測装置、画像符号化装置、画像復号装置、及びプログラムに関する。

静止画像や動画像の伝送時や保存時のデータ量圧縮のため、映像符号化方式の研究が行われている。近年、映像符号化技術では８Ｋ－ＳＨＶに代表されるような超高解像度映像の普及が進んでおり、膨大なデータ量の動画像を伝送するための手法としてＡＶＣ／Ｈ．２６４やＨＥＶＣ／Ｈ．２６５などの符号化方式が知られている。

ＭＰＥＧ及びＩＴＵが合同で標準化を行っている次世代映像符号化方式であるＶＶＣの評価用ソフトウェア（ＶＴＭ）では、フレーム内の空間的な相関を利用したイントラ予測が利用されている（非特許文献１参照）。符号化対象の画像ブロックの周辺の復号済み参照画素を利用して、Ｐｌａｎａｒ予測、ＤＣ予測、及び６５通りの方向性予測の、計６７通りの予測モードから、エンコーダ側で最適なモードが選択され、その情報がデコーダ側へ送られる。

イントラ予測の予測精度を高めるための手法として、２つのイントラ予測モードによりそれぞれ予測画像を生成し、２つの予測画像の各画素を足し合わせて新しい予測画像を生成する予測画像合成手法が提案されている（非特許文献２参照）。具体的には、上述の６５通りの方向性予測のうちいずれかのモードによって生成した予測画像である方向性予測画像と、Ｐｌａｎａｒモードによって生成した予測画像であるＰｌａｎａｒ予測画像とを足し合わせて予測画像を生成する。

ＪＶＥＴ－Ｌ１００１ "Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （Ｄｒａｆｔ ３）" ＪＶＥＴ－Ｍ０４５８ "Ｎｏｎ－ＣＥ３： Ｃｏｍｂｉｎｅｄ-Ｈｙｐｏｔｈｅｓｉｓ Ｉｎｔｒａ－Ｐｒｅｄｉｃｔｉｏｎ"

ところで、方向性予測は、参照画素に近い位置の画素については予測の精度が高いものの、参照画素から遠ざかるにつれて予測の精度が低くなりうるという欠点を有する。

しかしながら、非特許文献２に記載の予測画像合成手法は、方向性予測画像とＰｌａｎａｒ予測画像とを単に画素単位で平均化するに過ぎないものであって、方向性予測の欠点について考慮しておらず、イントラ予測の予測精度をさらに高める点において改善の余地があった。

そこで、本発明は、予測画像合成手法によりイントラ予測の予測精度をさらに高めるイントラ予測装置、画像符号化装置、画像復号装置、及びプログラムを提供することを目的とする。

第１の態様に係るイントラ予測装置は、原画像を分割して得た画像ブロックに対するイントラ予測を行う。前記イントラ予測装置は、方向性予測である第１イントラ予測モードにより前記画像ブロックを予測して第１予測画像を生成する第１予測画像生成部と、非方向性予測である第２イントラ予測モードにより前記画像ブロックを予測して第２予測画像を生成する第２予測画像生成部と、前記画像ブロックのブロックサイズ及びブロック形状のうち少なくとも一方に基づいて、前記第１予測画像及び前記第２予測画像を重み付け合成する際に用いる重み係数を決定する重み係数決定部と、前記重み係数決定部により決定された前記重み係数を用いて、前記第１予測画像及び前記第２予測画像を重み付け合成する画像合成部とを備える。

第２の態様に係る画像符号化装置は、第１の態様に係るイントラ予測装置を備える。

第３の態様に係る画像復号装置は、第１の態様に係るイントラ予測装置を備える。

第４の態様に係るプログラムは、コンピュータを第１の態様に係るイントラ予測装置として機能させる。

本発明によれば、予測画像合成手法によりイントラ予測の予測精度をさらに高めるイントラ予測装置、画像符号化装置、画像復号装置、及びプログラムを提供できる。

実施形態に係る画像符号化装置の構成を示す図である。 実施形態に係るイントラ予測の予測モードを示す図である。 実施形態に係る画像符号化装置のイントラ予測部の構成を示す図である。 実施形態に係るイントラ予測部の動作例を示す図である。 実施形態に係る重み係数決定部の動作例１を示す図である。 実施形態に係る重み係数決定部の動作例２を示す図である。 実施形態に係る画像復号装置の構成を示す図である。 実施形態に係る画像復号装置のイントラ予測部の構成を示す図である。 実施形態に係るイントラ予測部の動作フロー例を示す図である。

図面を参照して、実施形態に係る画像符号化装置及び画像復号装置について説明する。実施形態に係る画像符号化装置及び画像復号装置は、ＭＰＥＧに代表される動画の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

＜画像符号化装置の構成＞
まず、本実施形態に係る画像符号化装置について説明する。図１は、本実施形態に係る画像符号化装置１の構成を示す図である。

図１に示すように、画像符号化装置１は、ブロック分割部１００と、減算部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、合成部１５０と、メモリ１６０と、予測部１７０とを有する。

ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像である原画像を複数の画像ブロックに分割し、分割により得た画像ブロックを減算部１１０に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。画像ブロックの形状は正方形に限らず長方形（矩形）であってもよい。画像ブロックは、画像符号化装置１が符号化を行う単位（符号化対象ブロック）であり、且つ画像復号装置が復号を行う単位（復号対象ブロック）である。かかる画像ブロックはＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれることがある。

減算部１１０は、ブロック分割部１００から入力された符号化対象ブロックと、符号化対象ブロックを予測部１７０が予測して得た予測画像との差分（誤差）を表す予測残差を算出する。具体的には、減算部１１０は、ブロックの各画素値から予測画像の各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。

変換・量子化部１２０は、ブロック単位で直交変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを有する。

変換部１２１は、減算部１１０から入力された予測残差に対して直交変換処理を行って直交変換係数を算出し、算出した直交変換係数を量子化部１２２に出力する。直交変換とは、例えば、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）や離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、カルーネンレーブ変換（ＫＬＴ： Ｋａｒｈｕｎｅｎ-Ｌｏeｖｅ Ｔｒａｎｓｆｏｒｍ）等をいう。

量子化部１２２は、変換部１２１から入力された直交変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化した直交変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。なお、量子化パラメータ（Ｑｐ）は、ブロック内の各直交変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。量子化行列は、各直交変換係数を量子化する際の量子化値を要素として有する行列である。

エントロピー符号化部１３０は、量子化部１２２から入力された直交変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ（ビットストリーム）を生成し、符号化データを画像符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。なお、エントロピー符号化部１３０は、予測部１７０から予測に関するシンタックス等の情報が入力され、入力された情報のエントロピー符号化も行う。

逆量子化・逆変換部１４０は、ブロック単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを有する。

逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２から入力された直交変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより直交変換係数を復元し、復元した直交変換係数を逆変換部１４２に出力する。

逆変換部１４２は、変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。例えば、変換部１２１が離散コサイン変換を行った場合には、逆変換部１４２は逆離散コサイン変換を行う。逆変換部１４２は、逆量子化部１４１から入力された直交変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。

合成部１５０は、逆変換部１４２から入力された復元予測残差を、予測部１７０から入力された予測画像と画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測画像の各画素値を加算して符号化対象ブロックを再構成（復号）し、復号したブロック単位の復号画像をメモリ１６０に出力する。かかる復号画像は、再構成画像と呼ばれることがある。

メモリ１６０は、合成部１５０から入力された復号画像を記憶する。メモリ１６０は、復号画像をフレーム単位で記憶する。メモリ１６０は、記憶している復号画像を予測部１７０に出力する。なお、合成部１５０とメモリ１６０との間にループフィルタが設けられてもよい。なお、メモリ１６０の一部は、予測部１７０に含まれていてもよい。

予測部１７０は、ブロック単位で予測を行う。予測部１７０は、インター予測部１７１と、イントラ予測部１７２と、切替部１７３とを有する。

インター予測部１７１は、メモリ１６０に記憶された復号画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出し、符号化対象ブロックを予測してインター予測画像を生成し、生成したインター予測画像を切替部１７３に出力する。

インター予測部１７１は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１７１は、インター予測に関する情報（動きベクトル等）をエントロピー符号化部１３０に出力する。

イントラ予測部１７２は、メモリ１６０に記憶された復号画像のうち、符号化対象ブロックの周辺にある復号画素値を参照してイントラ予測画像を生成し、生成したイントラ予測画像を切替部１７３に出力する。また、イントラ予測部１７２は、選択した予測モードに関するシンタックスをエントロピー符号化部１３０に出力する。以下において、イントラ予測の対象となるブロックをイントラ予測対象ブロックと呼ぶ。

イントラ予測部１７２は、複数の予測モードの中から、イントラ予測対象ブロックに適用する最適な予測モードを選択し、選択した予測モードを用いてイントラ予測対象ブロックを予測する。

図２は、本実施形態に係るイントラ予測の予測モードを示す図である。図２に示すように、０から６６までの６７通りの予測モードがある。予測モードのモード「０」はＰｌａｎａｒ予測であり、予測モードのモード「１」はＤＣ予測であり、予測モードのモード「２」乃至「６６」は方向性予測である。方向性予測において、矢印の方向は予測方向を示し、矢印の起点は予測対象の画素の位置を示し、矢印の終点はこの予測対象画素の予測に用いる参照画素の位置を示す。モード「２」～「３３」は、イントラ予測の対象ブロックの左側の参照画素を主として参照する予測モードである。一方で、モード「３５」～「６６」は、イントラ予測の対象ブロックの上側の参照画素を主として参照する予測モードである。

切替部１７３は、インター予測部１７１から入力されるインター予測画像とイントラ予測部１７２から入力されるイントラ予測画像とを切り替えて、いずれかの予測画像を減算部１１０及び合成部１５０に出力する。

図３は、本実施形態に係るイントラ予測部１７２の構成を示す図である。イントラ予測部１７２は、画像符号化装置１に設けられるイントラ予測装置に相当する。

図３に示すように、イントラ予測部１７２は、メモリ１６０ａと、第１予測画像生成部１７２ａと、第２予測画像生成部１７２ｂと、重み係数決定部１７２ｃと、画像合成部１７２ｄとを有する。

メモリ１６０ａは、図１に示すメモリ１６０の一部である。メモリ１６０ａは、イントラ予測の際に参照される復号済み画素である参照画素を記憶する。

第１予測画像生成部１７２ａは、方向性予測である第１イントラ予測モードによりイントラ予測対象ブロックを予測して方向性予測画像（第１予測画像）を生成し、生成した方向性予測画像を画像合成部１７２ｄに出力する。具体的には、第１予測画像生成部１７２ａは、メモリ１６０ａに記憶された参照画素を参照し、６５通りの方向性予測のうちいずれかのモードによって方向性予測画像を生成する。

第２予測画像生成部１７２ｂは、非方向性予測である第２イントラ予測モードによりイントラ予測対象ブロックを予測して予測画像（第２予測画像）を生成し、生成した予測画像を画像合成部１７２ｄに出力する。具体的には、第２予測画像生成部１７２ｂは、メモリ１６０ａに記憶された参照画素を参照し、予め定められた非方向性の第２イントラ予測モードによって方向性予測画像を生成する。

第２イントラ予測モードは、非方向性の予測モードであればどのような予測モードであってもよいが、本実施形態において第２イントラ予測モードがＰｌａｎａｒ予測である一例について説明する。

重み係数決定部１７２ｃは、イントラ予測対象ブロックのブロックサイズ及びブロック形状のうち少なくとも一方に基づいて重み係数を決定し、決定した重み係数を画像合成部１７２ｄに出力する。重み係数決定部１７２ｃが出力する重み係数は、第１予測画像生成部１７２ａが生成する方向性予測画像及び第２予測画像生成部１７２ｂが生成するＰｌａｎａｒ予測画像を重み付け合成する際に用いられる。

画像合成部１７２ｄは、重み係数決定部１７２ｃから入力された重み係数を用いて、第１予測画像生成部１７２ａから入力された方向性予測画像及び第２予測画像生成部１７２ｂから入力されたＰｌａｎａｒ予測画像を重み付け合成し、重み付け合成後の予測画像をイントラ予測画像として出力する。

図４は、本実施形態に係るイントラ予測部１７２の動作例を示す図である。図４において、イントラ予測対象ブロックが８×８画素の正方形状である一例を例示しているが、イントラ予測対象ブロックは正方形でなくてもよい。また、図４における黒丸は参照画素を表す。

図４（ａ）に示すように、第２予測画像生成部１７２ｂは、Ｐｌａｎａｒ予測によりイントラ予測対象ブロックを予測してＰｌａｎａｒ予測画像を生成する。具体的には、Ｐｌａｎａｒ予測は、図４（ａ）に示す４つの参照画素を用いて内挿予測により予測画素値を生成するものである。

図４（ｂ）に示すように、第１予測画像生成部１７２ａは、方向性予測モードによりイントラ予測対象ブロックを予測して方向性予測画像を生成する。方向性予測は、参照画素を予測方向に沿って外挿して予測画素値を生成するものであるため、参照画素に近い位置の画素については予測の精度が高いものの、参照画素から遠ざかるにつれて予測の精度が低くなりうるという欠点を有する。

重み係数決定部１７２ｃは、イントラ予測対象ブロックのブロックサイズ及びブロック形状のうち少なくとも一方に基づいて重み係数を決定する。本実施形態において、重み係数決定部１７２ｃは、Ｐｌａｎａｒ予測画像に適用する重み係数α（第２重み係数）と、方向性予測画像に適用する重み係数β（第１重み係数）とを決定する。

図４（ｃ）に示すように、画像合成部１７２ｄは、第１予測画像生成部１７２ａが生成した方向性予測画像の画素ごとに重み係数βを適用するとともに、第２予測画像生成部１７２ｂが生成したＰｌａｎａｒ予測画像の画素ごとに重み係数αを適用し、且つ、方向性予測画像及びＰｌａｎａｒ予測画像を画素単位で合成し、合成後の予測画像をイントラ予測画像として出力する。

図５は、本実施形態に係る重み係数決定部１７２ｃの動作例１を示す図である。図５において、「小さい一辺の長さ」は、矩形状のイントラ予測対象ブロックの短辺の長さを画素数で表したものである。すなわち、「小さい一辺の長さ」は、イントラ予測対象ブロックのブロックサイズを表す。一方、図５の「α：β」は、重み係数αの重み係数βに対する比を表す。

ここではイントラ予測対象ブロックのブロックサイズを示す一例として「小さい一辺の長さ」を提示したが、ほかの例として「ブロックの幅＋ブロックの高さ」や「ブロックの幅×ブロックの高さ」などを用いても構わない。

図５に示すように、重み係数決定部１７２ｃは、イントラ予測対象ブロックのブロックサイズが大きくなるにつれて、方向性予測画像の重み（β）に対するＰｌａｎａｒ予測画像の重み（α）の比を大きくするように、重み係数α及びβを決定する。

図５に示す例において、ブロックサイズが「８」である場合、Ｐｌａｎａｒ予測画像の重み（α）と方向性予測画像の重み（β）とが等しい。この場合、画像合成部１７２ｄは、Ｐｌａｎａｒ予測画像と方向性予測画像との平均をとって得た予測画像をイントラ予測画像として出力する。以下において、ブロックサイズ「８」を基準ブロックサイズと呼ぶ。

基準ブロックサイズよりも小さいブロックサイズ「４」である場合、重み係数決定部１７２ｃは、Ｐｌａｎａｒ予測画像の重み（α＝１）が方向性予測画像の重み（β＝２）よりも小さくなるように重み係数α及びβを決定する。この場合、画像合成部１７２ｄが出力するイントラ予測画像のうちＰｌａｎａｒ予測画像の占める割合が小さくなる。

一方、重み係数決定部１７２ｃは、基準ブロックサイズよりもブロックサイズが大きくなるにつれて、Ｐｌａｎａｒ予測画像の重み（α）が方向性予測画像の重み（β）よりも大きくなるように重み係数α及びβを決定する。この場合、画像合成部１７２ｄが出力するイントラ予測画像のうちＰｌａｎａｒ予測画像の占める割合が大きくなる。

ここで、方向性予測においては、イントラ予測対象ブロックのブロックサイズが大きくなるほど、参照画素から遠い画素の予測精度が低くなりうる。このため、Ｐｌａｎａｒ予測画像の占める割合を大きくし、且つ、方向性予測画像の占める割合を小さくするように重み係数α及びβを決定することにより、予測精度を改善できる。

なお、図５に示す重み係数α及びβの決定方法は一例であって、重み係数α及びβの具体的な値については図５に示す例に限定されるものではない。

図６は、本実施形態に係る重み係数決定部１７２ｃの動作例２を示す図である。図６において、「ｗｉｄｔｈ／ｈｅｉｇｈｔまたはｈｅｉｇｈｔ／ｗｉｄｔｈの大きい方」は、イントラ予測対象ブロックについて、幅（ｗｉｄｔｈ）／高さ（ｈｅｉｇｈｔ）の値、高さ（ｈｅｉｇｈｔ）／幅（ｗｉｄｔｈ）の値のうち、大きい方の値である。すなわち、「ｗｉｄｔｈ／ｈｅｉｇｈｔまたはｈｅｉｇｈｔ／ｗｉｄｔｈの大きい方」は、イントラ予測対象ブロックが細長形状であるほど大きくなる値である。一方、図６の「α：β」は、重み係数αの重み係数βに対する比を表す。

図６に示すように、重み係数決定部１７２ｃは、矩形状のイントラ予測対象ブロックの短辺に対する長辺の比が大きくなるにつれて、方向性予測画像の重み（β）に対するＰｌａｎａｒ予測画像の重み（α）の比を小さくするように、重み係数α及びβを決定する。なお、短辺とは矩形の短い方の辺をいい、長辺とは矩形の長い方の辺をいう。

言い換えると、重み係数決定部１７２ｃは、イントラ予測対象ブロックが細長形状であるほど、方向性予測画像の重み（β）に対するＰｌａｎａｒ予測画像の重み（α）の比を小さくするように、重み係数α及びβを決定する。

図６に示す例において、「ｗｉｄｔｈ／ｈｅｉｇｈｔまたはｈｅｉｇｈｔ／ｗｉｄｔｈの大きい方」が「１」である場合、すなわち、イントラ予測対象ブロックが正方形である場合、Ｐｌａｎａｒ予測画像の重み（α）と方向性予測画像の重み（β）とが等しい。この場合、画像合成部１７２ｄは、Ｐｌａｎａｒ予測画像と方向性予測画像との平均をとって得た予測画像をイントラ予測画像として出力する。以下において、正方形のイントラ予測対象ブロックを基準形状と呼ぶ。

重み係数決定部１７２ｃは、イントラ予測対象ブロックが基準形状（正方形）から細長形状に変化するにつれて、Ｐｌａｎａｒ予測画像の重み（α）が方向性予測画像の重み（β）よりも小さくなるように重み係数α及びβを決定する。この場合、画像合成部１７２ｄが出力するイントラ予測画像のうちＰｌａｎａｒ予測画像の占める割合が小さくなる。

ここで、方向性予測においては、イントラ予測対象ブロックが細長形状であるほど、参照画素から遠く離れた画素を予測する可能性が小さくなり、予測精度が高くなりうる。このため、Ｐｌａｎａｒ予測画像の占める割合を小さくし、且つ、方向性予測画像の占める割合を大きくするように重み係数α及びβを決定することにより、予測精度を改善できる。

なお、図６に示す重み係数α及びβの決定方法は一例であって、重み係数α及びβの具体的な値については図６に示す例に限定されるものではない。

また、重み係数決定部１７２ｃの動作例１と動作例２とを組み合わせて実施してもよい。例えば、「小さい一辺の長さ」（すなわち、ブロックサイズ）の値ごとに、図６のようなテーブルを別々に定義してもよい。或いは、「ｗｉｄｔｈ／ｈｅｉｇｈｔまたはｈｅｉｇｈｔ／ｗｉｄｔｈの大きい方」の値ごとに、図５のようなテーブルを別々に定義してもよい。

＜画像復号装置の構成＞
次に、本実施形態に係る画像復号装置について説明する。図７は、本実施形態に係る画像復号装置２の構成を示す図である。

図７に示すように、画像復号装置２は、エントロピー復号部２００と、逆量子化・逆変換部２１０と、合成部２２０と、メモリ２３０と、予測部２４０とを有する。

エントロピー復号部２００は、画像符号化装置１により生成された符号化データを復号し、量子化された直交変換係数を逆量子化・逆変換部２１０に出力する。また、エントロピー復号部２００は、予測（イントラ予測及びインター予測）に関するシンタックスを取得し、取得したシンタックスを予測部２４０に出力する。

逆量子化・逆変換部２１０は、ブロック単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを有する。

逆量子化部２１１は、画像符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー復号部２００から入力された量子化直交変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、復号対象ブロックの直交変換係数を復元し、復元した直交変換係数を逆変換部２１２に出力する。

逆変換部２１２は、画像符号化装置１の変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。逆変換部２１２は、逆量子化部２１１から入力された直交変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２２０に出力する。

合成部２２０は、逆変換部２１２から入力された予測残差と、予測部２４０から入力された予測画像とを画素単位で合成することにより、元のブロックを再構成（復号）し、ブロック単位の復号画像をメモリ２３０に出力する。

メモリ２３０は、合成部２２０から入力された復号画像を記憶する。メモリ２３０は、復号画像をフレーム単位で記憶する。メモリ２３０は、フレーム単位の復号画像を画像復号装置２の外部に出力する。なお、合成部２２０とメモリ２３０との間にループフィルタが設けられてもよい。また、メモリ２３０の一部は、予測部２４０に含まれていてもよい。

予測部２４０は、ブロック単位で予測を行う。予測部２４０は、インター予測部２４１と、イントラ予測部２４２と、切替部２４３とを有する。

インター予測部２４１は、メモリ２３０に記憶された復号画像を参照画像として用いて、復号対象ブロックをインター予測により予測する。インター予測部２４１は、エントロピー復号部２００から入力されたシンタックス及び動きベクトル等に従ってインター予測を行うことによりインター予測画像を生成し、生成したインター予測画像を切替部２４３に出力する。

イントラ予測部２４２は、メモリ２３０に記憶された復号画像を参照し、エントロピー復号部２００から入力されたシンタックスに基づいて、復号対象ブロックをイントラ予測により予測することによりイントラ予測画像を生成し、生成したイントラ予測画像を切替部２４３に出力する。

切替部２４３は、インター予測部２４１から入力されるインター予測画像とイントラ予測部２４２から入力されるイントラ予測画像とを切り替えて、いずれかの予測画像を合成部２２０に出力する。

図８は、本実施形態に係るイントラ予測部２４２の構成を示す図である。イントラ予測部２４２は、画像復号装置２に設けられるイントラ予測装置に相当する。イントラ予測部２４２は、画像符号化装置１に設けられるイントラ予測部１７２と同様な動作を行う。

図８に示すように、イントラ予測部２４２は、メモリ２３０ａと、第１予測画像生成部２４２ａと、第２予測画像生成部２４２ｂと、重み係数決定部２４２ｃと、画像合成部２４２ｄとを有する。

メモリ２３０ａは、図７に示すメモリ２３０の一部である。メモリ２３０ａは、イントラ予測の際に参照される復号済み画素である参照画素を記憶する。

第１予測画像生成部２４２ａは、方向性予測である第１イントラ予測モードによりイントラ予測対象ブロックを予測して方向性予測画像（第１予測画像）を生成し、生成した方向性予測画像を画像合成部２４２ｄに出力する。具体的には、第１予測画像生成部２４２ａは、メモリ２３０ａに記憶された参照画素を参照し、エントロピー復号部２００から入力されたシンタックスが示す方向性予測モードによって方向性予測画像を生成する。

第２予測画像生成部２４２ｂは、非方向性予測である第２イントラ予測モードによりイントラ予測対象ブロックを予測して予測画像（第２予測画像）を生成し、生成した予測画像を画像合成部２４２ｄに出力する。具体的には、第２予測画像生成部２４２ｂは、メモリ２３０ａに記憶された参照画素を参照し、予め定められた非方向性の第２イントラ予測モードによって方向性予測画像を生成する。本実施形態において第２イントラ予測モードはＰｌａｎａｒ予測である。

重み係数決定部２４２ｃは、イントラ予測対象ブロックのブロックサイズ及びブロック形状のうち少なくとも一方に基づいて重み係数を決定し、決定した重み係数を画像合成部２４２ｄに出力する。イントラ予測対象ブロックのブロックサイズ及びブロック形状は、エントロピー復号部２００から重み係数決定部２４２ｃに入力される。重み係数決定部２４２ｃの動作は、上述した動作例１及び２と同じ動作である。

画像合成部２４２ｄは、重み係数決定部２４２ｃから入力された重み係数を用いて、第１予測画像生成部２４２ａから入力された方向性予測画像及び第２予測画像生成部２４２ｂから入力されたＰｌａｎａｒ予測画像を重み付け合成し、重み付け合成後の予測画像をイントラ予測画像として出力する。

＜イントラ予測の動作フロー例＞
次に、本実施形態に係るイントラ予測の動作フロー例について説明する。画像符号化装置１及び画像復号装置２でイントラ予測の動作は同じであるが、ここでは画像復号装置２におけるイントラ予測（イントラ予測部２４２）の動作を説明する。図９は、イントラ予測部２４２の動作フロー例を示す図である。

第１に、エントロピー復号部２００は、画像符号化装置１により選択されたイントラ予測モードを示すシンタックスを復号する。このシンタックスが方向性予測モード以外のモード（ＤＣ予測又はＰｌａｎａｒ予測）を示す場合（ステップＳ１：ＮＯ）、イントラ予測部２４２は、従来と同様なイントラ予測を行う（ステップＳ７）。

第２に、エントロピー復号部２００は、予測画像合成手法を適用するか否かを示すシンタックスを復号する。このシンタックスが予測画像合成手法を適用しないことを示す場合（ステップＳ２：ＮＯ）、イントラ予測部２４２は、従来と同様なイントラ予測を行う（ステップＳ７）。但し、画像符号化装置１により選択されたイントラ予測モードが方向性予測モードである場合、常に予測画像合成手法を適用するとしてもよい。この場合、予測画像合成手法を適用するか否かを示すシンタックスのシグナリングは不要である。

第３に、画像符号化装置１により選択されたイントラ予測モードが方向性予測であり（ステップＳ１：ＹＥＳ）、且つ、予測画像合成手法を適用する場合（ステップＳ２：ＹＥＳ）、重み係数決定部２４２ｃは、イントラ予測対象ブロックのブロックサイズ及びブロック形状のうち少なくとも一方に基づいて重み係数α及びβを決定する（ステップＳ３）。

第４に、第１予測画像生成部２４２ａは、画像符号化装置１により選択された方向性予測モードによりイントラ予測対象ブロックを予測して方向性予測画像を生成する（ステップＳ４）。また、第２予測画像生成部２４２ｂは、Ｐｌａｎａｒ予測によりイントラ予測対象ブロックを予測してＰｌａｎａｒ予測画像を生成する（ステップＳ５）。

第５に、画像合成部２４２ｄは、ステップＳ３で決定された重み係数α及びβを用いて、ステップＳ４で生成された方向性予測画像とステップＳ５で生成されたＰｌａｎａｒ予測画像とを重み付け合成し、重み付け合成後の予測画像をイントラ予測画像として出力する（ステップＳ６）。

＜実施形態のまとめ＞
本実施形態に係る画像符号化装置１及び画像復号装置２は、イントラ予測対象ブロックのブロックサイズ及びブロック形状のうち少なくとも一方に基づいて重み係数を決定し、決定した重み係数を用いて方向性予測画像及びＰｌａｎａｒ予測画像を重み付け合成する。これにより、予測画像合成手法において、方向性予測画像とＰｌａｎａｒ予測画像とを単に平均化する場合に比べて、イントラ予測の予測精度を高めることができる。

＜その他の実施形態＞
上述した実施形態において、第２イントラ予測モードがＰｌａｎａｒ予測である一例について主として説明した。しかしながら、第２イントラ予測モードは、Ｐｌａｎｅ予測であってもよい。第２イントラ予測モードがＰｌａｎｅ予測である場合、上述した実施形態における「Ｐｌａｎａｒ予測」を「Ｐｌａｎｅ予測」と読み替えればよい。

或いは、第２イントラ予測モードは、ＤＣ予測であってもよい。第２イントラ予測モードがＤＣ予測である場合、上述した実施形態における「Ｐｌａｎａｒ予測」を「ＤＣ予測」と読み替えればよい。

画像符号化装置１が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。画像復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

画像符号化装置１が行う各処理を実行する回路を集積化し、画像符号化装置１を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。画像復号装置２が行う各処理を実行する回路を集積化し、画像復号装置２を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１ ：画像符号化装置
２ ：画像復号装置
１００ ：ブロック分割部
１１０ ：減算部
１２０ ：変換・量子化部
１２１ ：変換部
１２２ ：量子化部
１３０ ：エントロピー符号化部
１４０ ：逆量子化・逆変換部
１４１ ：逆量子化部
１４２ ：逆変換部
１５０ ：合成部
１６０ ：メモリ
１６０ａ ：メモリ
１７０ ：予測部
１７１ ：インター予測部
１７２ ：イントラ予測部
１７２ａ ：第１予測画像生成部
１７２ｂ ：第２予測画像生成部
１７２ｃ ：重み係数決定部
１７２ｄ ：画像合成部
１７３ ：切替部
２００ ：エントロピー復号部
２１０ ：逆量子化・逆変換部
２１１ ：逆量子化部
２１２ ：逆変換部
２２０ ：合成部
２３０ ：メモリ
２３０ａ ：メモリ
２４０ ：予測部
２４１ ：インター予測部
２４２ ：イントラ予測部
２４２ａ ：第１予測画像生成部
２４２ｂ ：第２予測画像生成部
２４２ｃ ：重み係数決定部
２４２ｄ ：画像合成部
２４３ ：切替部

Claims (6)

1. 原画像を分割して得た画像ブロックに対する予測を行う予測装置であって、
   第１予測モードにより前記画像ブロックを予測して第１予測画像を生成する第１予測画像生成部と、
   第２予測モードにより前記画像ブロックを予測して第２予測画像を生成する第２予測画像生成部と、
   前記画像ブロックのブロック形状に基づいて、前記第１予測画像及び前記第２予測画像を重み付け合成する際に用いる重み係数を決定する重み係数決定部と、
   前記重み係数決定部により決定された前記重み係数を用いて、前記第１予測画像及び前記第２予測画像を重み付け合成する画像合成部と、を備える
   予測装置。
2. 前記第１予測モードは、方向性予測のイントラ予測モードである
   請求項１に記載の予測装置。
3. 前記第２予測モードは、非方向性予測の予測モードである
   請求項１に記載の予測装置。
4. 請求項１ないし請求項３のいずれか１項に記載の予測装置を備える
   画像符号化装置。
5. 請求項１ないし請求項３のいずれか１項に記載の予測装置を備える
   画像復号装置。
6. コンピュータを請求項１ないし請求項３のいずれか１項に記載の予測装置として機能させるためのプログラム。

Images