JP2015082714A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】インター予測ブロックを参照することが禁止される場合に、イントラ動き補償モードを活用して、より高い符号化効率を達成すること。【解決手段】対象ブロックについて、イントラ動き補償モードでイントラ予測を実行する予測部と、前記イントラ予測の際にインター予測ブロックを参照することが禁止される場合において、前記対象ブロックの注目画素に対応する前記イントラ動き補償モードのための参照画素がインター予測ブロックに属するときに、参照が禁止されない代替画素の画素値を、参照画素値として前記予測部に代替的に使用させる制御部と、を備える画像処理装置を提供する。【選択図】図１２

Description

本開示は、画像処理装置及び画像処理方法に関する。

デジタル画像のデータサイズを圧縮するための画像符号化方式において重要な技術の１つは、画面内予測、即ちイントラ予測である。イントラ予測は、１つの画像内のブロック間の空間的な相関を利用し、あるブロック内の画素値を他のブロックの画素値から予測することで、符号化される情報量を削減する技術である。ＭＰＥＧ４以前の画像符号化方式では、直交変換係数の直流成分及び低周波成分のみがイントラ予測の対象とされていた。これに対し、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）では、全ての成分についてイントラ予測が可能となった。イントラ予測を用いることで、例えば青空の画像のように、画素値の変化の緩やかな画像については、圧縮率の大幅な向上が見込まれる。

ＨＥＶＣ（High Efficiency Video Coding）は、Ｈ．２６４／ＡＶＣよりも符号化効率をさらに向上することを目的として、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同の標準化団体であるＪＣＴＶＣ（Joint Collaboration Team-Video Coding）により標準化が進められている画像符号化方式である（例えば、非特許文献１参照）。ＪＣＴＶＣでは、ＨＥＶＣにおけるイントラ予測の予測モードの候補に、イントラ動き補償（Intra Motion Compensation）モードを加えることが議論されている（例えば、非特許文献２参照）。

イントラ動き補償モードとは、ある対象ブロックの予測画像として、動きベクトルによって特定される同じピクチャ内の他のブロックの画像を使用するモードである。他のブロックの画像を対象ブロックへコピーするという意味において、イントラ動き補償モードは、ブロックコピーモードとも呼ばれる。イントラ動き補償モードの動きベクトルは、実際には被写体の動きを表現しているわけではないため、例えば変位（displacement）ベクトルとも呼ばれ得る。イントラ動き補償モードは、類似するテクスチャを有するブロックがピクチャ内で繰り返し現れることの多い、ＣＧ（Computer Graphics）コンテンツ又は（例えばテレビ番組表のような）テキストコンテンツを有する画像を効率的に符号化することに適している。

ところで、ＨＥＶＣにおいて、インター予測が有効化されるＰピクチャ及びＢピクチャは、イントラ予測ブロック及びインター予測ブロックの双方を含み得る。ある対象ブロックがイントラ予測ブロックである場合、当該対象ブロックは、同じピクチャ内の当該対象ブロックよりも前に符号化／復号された画素を参照することにより符号化される。しかし、インター予測ブロックを参照することは、例えば符号化ストリームを構成するパケットの伝送エラーなどに起因する画像の欠損を連鎖的に引き起こすリスクを伴う。そこで、ＨＥＶＣでは、システムの用途に合わせてそうしたリスクを回避することを可能とするための「制約付きイントラ予測フラグ（constrained_intra_pred_flag）」と呼ばれるフラグが、符号化パラメータとして定義されている（非特許文献１参照）。制約付きイントラ予測フラグが真（True）を示す場合、イントラ予測の際にインター予測ブロックを参照することが禁止される。

Benjamin Bross， et al. "Editors' proposed corrections to HEVC version 1"（JCTVC-M0432_v36，2013年4月） Do-Kyoung Kwon， et al. "RCE3: Results of test 3.3 on Intra motion compensation"（JCTVC-N0205，2013年7月）

イントラ動き補償モードでは、対象ブロックに対応する、動きベクトルにより特定される参照範囲内に、イントラ予測ブロックに属する画素及びインター予測ブロックに属する画素の双方が含まれ得る。そして、制約付きイントラ予測フラグが真であれば、インター予測ブロックに属する画素を参照することができない。例えば、制約付きイントラ予測フラグが真である場合にイントラ動き補償モードを一律的に無効化することは、制約付きイントラ予測の要件を満たすための１つの解決策である。しかし、そうした解決策は、イントラ動き補償モードを活用して符号化効率を向上させる機会を大きく奪う。

そこで、インター予測ブロックを参照することが禁止される場合に、イントラ動き補償モードを活用してより高い符号化効率を達成することのできる改善された仕組みが提供されることが望ましい。

本開示によれば、対象ブロックについて、イントラ動き補償モードでイントラ予測を実行する予測部と、前記イントラ予測の際にインター予測ブロックを参照することが禁止される場合において、前記対象ブロックの注目画素に対応する前記イントラ動き補償モードのための参照画素がインター予測ブロックに属するときに、参照が禁止されない代替画素の画素値を、参照画素値として前記予測部に代替的に使用させる制御部と、を備える画像処理装置が提供される。

上記画像処理装置は、画像を復号する画像復号装置として実現されてもよく、又は画像を符号化する画像符号化装置として実現されてもよい。

また、本開示によれば、対象ブロックについてイントラ動き補償モードでイントラ予測を実行する装置において、前記イントラ予測の際にインター予測ブロックを参照することが禁止されるかを判定することと、前記イントラ予測の際にインター予測ブロックを参照することが禁止される場合に、前記対象ブロックの注目画素に対応する前記イントラ動き補償モードのための参照画素がインター予測ブロックに属するかを判定することと、前記参照画素がインター予測ブロックに属する場合に、参照が禁止されない代替画素の画素値を、参照画素値として代替的に使用することと、を含む画像処理方法が提供される。

本開示に係る技術によれば、インター予測ブロックを参照することが禁止される場合に、イントラ動き補償モードを活用して、より高い符号化効率を達成することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。

一実施形態に係る画像符号化装置の構成の一例を示すブロック図である。 イントラ予測ブロック及びインター予測ブロックの混在について説明するための説明図である。 イントラ動き補償モードにおける動きベクトル及び参照ブロックの設定の一例を示す説明図である。 参照ブロック内の参照が禁止される画素及び参照が禁止されない画素について説明するための説明図である。 一実施形態に係る画像符号化装置のイントラ予測部の詳細な構成の一例を示すブロック図である。 参照が禁止される画素の画素値を補填するための手法の第１の実施例について説明するための説明図である。 参照が禁止される画素の画素値を補填するための手法の第２の実施例について説明するための説明図である。 一実施形態に係る符号化時のイントラ予測処理の流れの一例を示すフローチャートである。 第１の実施例に係る符号化時のイントラ動き補償モードでのイントラ予測の詳細な流れの一例を示すフローチャートである。 第２の実施例に係る符号化時のイントラ動き補償モードでのイントラ予測の詳細な流れの一例を示すフローチャートである。 一実施形態に係る画像復号装置の構成の一例を示すブロック図である。 一実施形態に係る画像復号装置のイントラ予測部の詳細な構成の一例を示すブロック図である。 一実施形態に係る復号時のイントラ予測処理の流れの一例を示すフローチャートである。 第１の実施例に係る復号時のイントラ動き補償モードでのイントラ予測の詳細な流れの一例を示すフローチャートである。 第２の実施例に係る復号時のイントラ動き補償モードでのイントラ予測の詳細な流れの一例を示すフローチャートである。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序で説明を行う。
１．一実施形態に係る画像符号化装置の構成例
１−１．全体的な構成
１−２．課題の説明
１−３．イントラ予測部の詳細な構成
１−４．第１の実施例
１−５．第２の実施例
２．一実施形態に係る符号化時の処理の流れ
２−１．イントラ予測処理
２−２．イントラ動き補償モードのイントラ予測（第１の実施例）
２−３．イントラ動き補償モードのイントラ予測（第２の実施例）
３．一実施形態に係る画像復号装置の構成例
３−１．全体的な構成
３−２．イントラ予測部の詳細な構成
４．一実施形態に係る復号時の処理の流れ
４−１．イントラ予測処理
４−２．イントラ動き補償モードのイントラ予測（第１の実施例）
４−３．イントラ動き補償モードのイントラ予測（第２の実施例）
５．応用例
６．まとめ

＜１．一実施形態に係る画像符号化装置の構成例＞
［１−１．全体的な構成］
図１は、一実施形態に係る画像符号化装置１０の構成の一例を示すブロック図である。図１を参照すると、画像符号化装置１０は、Ａ／Ｄ（Analogue to Digital）変換部１１、並び替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、ループフィルタ２４、フレームメモリ２５、セレクタ２６及び２７、イントラ予測部３０並びにインター予測部４０を備える。

Ａ／Ｄ変換部１１は、アナログ形式で入力される画像信号をデジタル形式の画像データに変換し、一連のデジタル画像データを並び替えバッファ１２へ出力する。

並び替えバッファ１２は、一連の画像データに含まれる画像を並び替える。並び替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じて画像を並び替えた後、並び替え後の画像データを減算部１３、イントラ予測部３０、及びインター予測部４０へ出力する。

減算部１３には、並び替えバッファ１２から入力される画像データ、及び後に説明するイントラ予測部３０又はインター予測部４０から入力される予測画像データが供給される。減算部１３は、並び替えバッファ１２から入力される画像データと予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１４へ出力する。

直交変換部１４は、減算部１３から入力される予測誤差データについて直交変換を行う。直交変換部１４により実行される直交変換は、例えば、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）又はカルーネン・レーベ変換などであってよい。直交変換部１４は、直交変換処理により取得される変換係数データを量子化部１５へ出力する。

量子化部１５には、直交変換部１４から入力される変換係数データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。レート制御信号は、ブロックごとの各色成分についての量子化パラメータを特定する。量子化部１５は、量子化パラメータにより特定される量子化ステップで変換係数データを量子化する。そして、量子化部１５は、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部１６及び逆量子化部２１へ出力する。

可逆符号化部１６は、量子化部１５から入力される量子化データについて可逆符号化処理を行うことにより、符号化ストリームを生成する。また、可逆符号化部１６は、符号化ストリームを復号する際に参照される様々なパラメータを符号化して、符号化されたパラメータを符号化ストリームのヘッダ領域に挿入する。可逆符号化部１６により符号化されるパラメータは、後に説明するイントラ予測に関する情報及びインター予測に関する情報を含み得る。そして、可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。

蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェース又は周辺機器との接続インタフェースなど）へ出力する。

レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。

逆量子化部２１、逆直交変換部２２及び加算部２３は、ローカルデコーダを構成する。逆量子化部２１は、量子化部１５により使用されたものと同じ量子化ステップで量子化データを逆量子化し、変換係数データを復元する。そして、逆量子化部２１は、復元した変換係数データを逆直交変換部２２へ出力する。

逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。

加算部２３は、逆直交変換部２２から入力される復元された予測誤差データとイントラ予測部３０又はインター予測部４０から入力される予測画像データとを加算することにより、復号画像データ（リコンストラクト画像）を生成する。そして、加算部２３は、生成した復号画像データをループフィルタ２４及びフレームメモリ２５へ出力する。

ループフィルタ２４は、画質の向上を目的とするフィルタ群を含む。デブロックフィルタ（ＤＦ）は、画像の符号化時に生じるブロック歪みを軽減するフィルタである。サンプル適応オフセット（ＳＡＯ）フィルタは、各画素値に適応的に決定されるオフセット値を加えるフィルタである。適応ループフィルタ（ＡＬＦ）は、ＳＡＯ後の画像と原画像との誤差を最小化するフィルタである。ループフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングし、フィルタリング後の復号画像データをフレームメモリ２５へ出力する。

フレームメモリ２５は、加算部２３から入力されるフィルタリング前の復号画像データ及びループフィルタ２４から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。

セレクタ２６は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部３０に供給する。また、セレクタ２６は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてインター予測部４０に供給する。

セレクタ２７は、イントラ予測モードにおいて、イントラ予測部３０から出力されるイントラ予測の結果としての予測画像データを減算部１３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６へ出力する。また、セレクタ２７は、インター予測モードにおいて、インター予測部４０から出力されるインター予測の結果としての予測画像データを減算部１３へ出力すると共に、インター予測に関する情報を可逆符号化部１６へ出力する。セレクタ２７は、イントラ予測モードとインター予測モードとを、コスト関数値の大きさに応じて切り替える。

イントラ予測部３０は、原画像データ及び復号画像データに基づいて、ＨＥＶＣのＰＵ（予測単位：Prediction Unit）ごとにイントラ予測処理を行う。ＰＵは、ＣＵ（符号化単位：Coding Unit）を再帰的に分割することにより形成されるブロックである。例えば、イントラ予測部３０は、予測モードセット内の各候補モードによる予測結果を所定のコスト関数を用いて評価する。次に、イントラ予測部３０は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、イントラ予測部３０は、当該最適な予測モードに従って予測画像データを生成する。イントラ予測部３０は、選択した最適な予測モードを表す予測モード情報を含むイントラ予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。

本実施形態において、イントラ予測部３０により探索されるイントラ予測の予測モードセットは、イントラ動き補償モードを含む。最適な予測モードがイントラ動き補償モードであると判定された場合には、イントラ予測部３０から出力される予測モード情報は、動きベクトル情報（変位ベクトル情報）も含み得る。イントラ動き補償モードとは、ある対象ブロックの予測画像として、動きベクトルによって特定される同じピクチャ内の他のブロックの画像を使用するモードである。他のブロックの画像を対象ブロックへコピーするという意味において、イントラ動き補償モードは、ブロックコピーモードとも呼ばれる。イントラ動き補償モードの動きベクトルは、実際には被写体の動きを表現しているわけではないため、例えば変位ベクトルとも呼ばれ得る。イントラ動き補償モードは、同じテクスチャを有するブロックがピクチャ内で繰り返し現れることの多い、ＣＧコンテンツ又は（例えばテレビ番組表のような）テキストコンテンツを有する画像を効率的に符号化することに適している。

インター予測部４０は、原画像データ及び復号画像データに基づいて、ＨＥＶＣのＰＵごとにインター予測処理を行う。例えば、インター予測部４０は、予測モードセット内の各候補モードによる予測結果を所定のコスト関数を用いて評価する。次に、インター予測部４０は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、インター予測部４０は、当該最適な予測モードに従って予測画像データを生成する。インター予測部４０は、選択した最適な予測モードを表す予測モード情報と動き情報とを含むインター予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。

［１−２．課題の説明］
ＨＥＶＣにおいて、画像の符号化及び復号は、ＣＵを論理的な処理単位として実行される。ＣＵは、各ピクチャ（又はスライス若しくはタイル）にラスタスキャン順に配置されるＬＣＵ（Largest Coding Unit）の各々を四分木（Quad-Tree）状に階層的に分割することにより形成されるブロックである。利用可能なＣＵサイズの最小値は８×８画素、最大値は６４×６４画素である。イントラ予測及びインター予測のいずれの手法で予測画像を生成するかは、ＣＵレベルで決定される。これに対し、イントラ予測及びインター予測は、ＣＵから分割される１つ以上のＰＵの各々を処理単位として実行される。ＰＵの最小サイズは４×４画素である。本明細書では、イントラ予測が選択されたＣＵそのもの又は当該ＣＵに属するＰＵを、イントラ予測ブロックという。また、インター予測が選択されたＣＵそのもの又は当該ＣＵに属するＰＵを、インター予測ブロックという。

一般的に、Ｉピクチャに含まれるＣＵは全てイントラ予測ブロックである一方、Ｐピクチャ及びＢピクチャは、イントラ予測ブロック及びインター予測ブロックの双方を含み得る。図２は、イントラ予測ブロック及びインター予測ブロックの混在について説明するための説明図である。図２を参照すると、四分木状の分割によって形成される複数のブロックを含む画像ＩＭ１が示されている。画像ＩＭ１は、Ｐピクチャ又はＢピクチャである。例えば、ブロックＢ１０のサイズは１６×１６画素、ブロックＢ１１のサイズは８×８画素、ブロックＢ１２のサイズは３２×３２画素であってよい。ブロックＢ１０は、ある時点においてイントラ予測の処理対象になっている対象ブロック（カレントブロック）である。ブロックＢ１１を含む図中でドットで網掛けされたブロックは、既に符号化済み（復号済み）のブロックのうちのイントラ予測ブロックである。ブロックＢ１２を含む図中で斜線で網掛けされたブロックは、既に符号化済み（復号済み）のブロックのうちのインター予測ブロックである。図２から理解されるように、ＨＥＶＣでは、ＣＵが領域ごとの画像特性に依存して適応的に四分木状に分割される結果として、イントラ予測ブロック及びインター予測ブロックが１つのピクチャ内で混在する可能性がある。

ところで、予測処理においてインター予測ブロックを参照することは、例えば符号化ストリームを構成するパケットの伝送エラーなどに起因する画像の欠損を連鎖的に引き起こすリスクを伴う。そこで、ＨＥＶＣでは、システムの用途に合わせてそうしたリスクを回避することを可能とするための「制約付きイントラ予測フラグ」と呼ばれるフラグが、ＰＰＳ（Picture Parameter Set）において定義されている。制約付きイントラ予測フラグが真（True）を示す場合、イントラ予測の際にインター予測ブロックを参照することが禁止される。

ここで、図２に例示したような１つのピクチャ内にイントラ予測ブロック及びインター予測ブロックが混在する状況においてイントラ動き補償モードでイントラ予測を実行しようとした場合、動きベクトルにより特定される参照ブロックがイントラ予測ブロックに属する画素とインター予測ブロックに属する画素とを含む可能性がある。図３は、イントラ動き補償モードにおける動きベクトル及び参照ブロックの設定の一例を示す説明図である。図３を参照すると、図２に例示した画像ＩＭ１が再び示されており、対象ブロックＢ１０について動きベクトルＭＶが設定されている。参照ブロックＲＢは、動きベクトルＭＶにより特定される、対象ブロックＢ１０と同じサイズを有する参照画素のブロックである。参照ブロックＲＢは、ブロックＢ１２、Ｂ１３、Ｂ１４、Ｂ１５、Ｂ１６、Ｂ１７、Ｂ１８及びＢ１９にそれぞれ属する複数の参照画素を含む。ブロックＢ１２、ブロックＢ１４、ブロックＢ１５及びブロックＢ１６は、インター予測ブロックである。ブロックＢ１３、ブロックＢ１７、ブロックＢ１８及びブロックＢ１９は、イントラ予測ブロックである。従って、制約付きイントラ予測フラグが真を示す場合、図４に示したように、参照ブロックＲＢに含まれる参照画素のうち、ブロックＢ１２、ブロックＢ１４、ブロックＢ１５及びブロックＢ１６に属する画素を参照することは禁止される。一方、ブロックＢ１３、ブロックＢ１７、ブロックＢ１８及びブロックＢ１９に属する画素を参照することは許容される。

制約付きイントラ予測フラグが真である場合に、イントラ動き補償モードを一律的に無効化することは、制約付きイントラ予測の要件を満たすための第１の解決策である。また、制約付きイントラ予測フラグが真である場合に、イントラ動き補償モードにおいて参照ブロックがインター予測ブロックに属する画素を含むこととなるような動きベクトルの設定を禁止することは、制約付きイントラ予測の要件を満たすための第２の解決策である。しかし、これら解決策は、イントラ動き補償モードを活用して符号化効率を向上させる機会を大きく奪う。例えば、参照ブロック内でわずかな数の参照画素のみがインター予測ブロックに属する場合には、イントラ動き補償モードが高い予測精度（即ち、高い符号化効率）に十分に寄与する余地がある。制約付きイントラ予測の要件を満たすための第３の解決策は、対象ブロック内のある注目画素に対応する参照ブロック内の参照画素の参照が禁止されている場合に、当該参照画素の画素値を使用せず、当該注目画素についてゼロ又は予め定義される何らかの値を予測画素値として用いることである。この第３の解決策は、イントラ動き補償モードの活用の機会を拡大させるものの、ゼロ（又は他の値）が使用される領域における予測精度の低下を招来する。従って、いずれの解決策も、イントラ動き補償モードを活用した符号化効率の向上という観点において有益であるとは言えなかった。

一方、本実施形態では、制約付きイントラ予測の要件を満たしつつ、イントラ動き補償モードにおいてイントラ予測ブロック及びインター予測ブロックにまたがるような参照ブロックを設定することが許容される。インター予測ブロックに属する参照画素に対応する領域の予測画像は、他の領域との間の空間的相関を利用して生成される。そのような仕組みを実現するイントラ予測部３０の詳細な構成について、次節で説明する。

［１−３．イントラ予測部の詳細な構成］
図５は、図１に示した画像符号化装置１０のイントラ予測部３０の詳細な構成の一例を示すブロック図である。図５を参照すると、イントラ予測部３０は、予測制御部３１、モードバッファ３３、予測部３５、ラインバッファ３７及びモード判定部３９を有する。

（１）予測制御部
予測制御部３１は、イントラ予測部３０におけるイントラ予測処理を制御する。予測制御部３１は、例えば、画像内の１つ以上のＰＵの各々を対象ブロックとして順次選択する。また、予測制御部３１は、各対象ブロックについて、予測モードセットに含まれる複数の予測モード（候補）の各々で予測部３５にイントラ予測を実行させ、各対象ブロックの予測画像を生成させる。そして、予測制御部３１は、モード判定部３９に最適な予測モードを判定させる。

本実施形態において、イントラ予測の予測モードセットは、上述したように、イントラ動き補償モードを含む。そして、予測制御部３１は、イントラ予測の際にインター予測ブロックを参照することが禁止されるか否かに依存して、イントラ動き補償モードでのイントラ予測を制御する。インター予測ブロックを参照することが禁止されない場合には、イントラ動き補償モードでのイントラ予測は、既存の手法と同様に実行されてよい。インター予測ブロックを参照することが禁止される場合、予測制御部３１は、対象ブロックに含まれる注目画素に対応するイントラ動き補償モードのための参照画素がインター予測ブロックに属するかを、各注目画素について判定する。ここでの参照画素は、注目画素の画素位置から動きベクトルの分だけオフセット（変位）された位置の画素である。そして、予測制御部３１は、ある注目画素に対応する参照画素がインター予測ブロックに属する場合、当該参照画素の代わりに、参照が禁止されない代替画素の画素値を、参照画素値として予測部３５に代替的に使用させる。代替画素は、典型的には、イントラ予測ブロックに属する、同じ参照範囲（参照ブロック）内の画素であってよい。但し、イントラ予測ブロックに属する、参照範囲外の画素（例えば、参照ブロックに隣接する画素）が、代替画素として選択されてもよい。予測制御部３１は、選択可能な適切な代替画素が存在しない場合には、何らかの固定値を参照画素値として予測部３５に使用させてもよい。代替画素を選択するための２つの実施例について、後により具体的に説明する。

なお、イントラ予測の際にインター予測ブロックを参照することが禁止されるか否かは、上述した制約付きイントラ予測フラグ（constrained_intra_pred_flag）により示される。制約付きイントラ予測フラグは、例えばユーザの目的、システムの用途又は性能要件などの要因に依存して設定され、可逆符号化部１６により符号化ストリーム内に符号化される。

（２）モードバッファ
モードバッファ３３は、注目画素に対応する参照画素がイントラ予測ブロック及びインター予測ブロックのいずれに属するかを判定する際に参照されるモード情報を、一時的に記憶するバッファである。モードバッファ３３によりバッファリングされるモード情報は、符号化済みのＣＵごとの、当該ＣＵの位置及びサイズ、並びに当該ＣＵがイントラ予測ブロック及びインター予測ブロックのいずれであるかを示すパラメータを含んでもよい。その代わりに、当該モード情報は、イントラ予測ブロック及びインター予測ブロックのいずれに属するかを示す、画素ごとのフラグのセットを含んでもよい。

（３）予測部
予測部３５は、予測制御部３１により順次選択される対象ブロックについて、予測モードセットに含まれる複数の予測モードの各々でイントラ予測を実行し、各対象ブロックの予測画像を生成する。そして、予測部３５は、各対象ブロックの予測モードごとの予測画像をモード判定部３９へ出力する。

上述したように、イントラ予測の予測モードセットは、イントラ動き補償モードを含む。イントラ予測の際にインター予測ブロックを参照することが禁止される場合において、イントラ動き補償モードでイントラ予測を実行するときは、予測部３５は、予測制御部３１による制御の下、インター予測ブロックに属する参照画素の画素値を、参照が禁止されない代替画素の画素値で補填し、又は固定値に置き換える。

（４）ラインバッファ
ラインバッファ３７は、イントラ動き補償モードにおいて予測部３５により参照され又は使用される画素値を一時的に記憶するバッファである。ラインバッファ３７は、例えば、注目画素が属する注目ラインの予測画素値をラインメモリを用いてバッファリングする。注目画素の予測画素値は、対応する参照画素がイントラ予測ブロックに属する場合には、当該参照画素の画素値に等しい。また、対応する参照画素がインター予測ブロックに属する場合には、注目画素の予測画素値は、代替画素の画素値又は上述した固定値に等しい。後述する第１の実施例において、ラインバッファ３７は、注目ライン以外のラインの予測画素値をバッファリングしなくてよい。後述する第２の実施例において、ラインバッファ３７は、注目画素が属する注目ライン及び当該注目ラインの上の隣接ラインの予測画素値をラインメモリを用いてバッファリングし得る。

（５）モード判定部
モード判定部３９は、並び替えバッファ１２から入力される原画像データと予測部３５から入力される予測画像データとに基づいて、各予測モードのコスト関数値を算出する。また、モード判定部３９は、算出したコスト関数値の比較に基づいて、符号化効率を最適化する予測モードを判定する。そして、モード判定部３９は、判定した最適なイントラ予測の予測モードを示す予測モード情報を生成する。最適な予測モードがイントラ動き補償モードである場合、予測モード情報は、対象ブロックについて最適な動きベクトルを示す動きベクトル情報（変位ベクトル情報）を含み得る。そして、モード判定部３９は、生成した予測モード情報を含むイントラ予測に関する情報、並びに対応するコスト関数値及び予測画像データを、セレクタ２７へ出力する。なお、文献“INTRA PREDICTION BY TEMPLATE MATCHING”（Thiow Keng Tan, Choong Seng Boon and Yoshinori Suzuki， Image Processing, 2006， IEEE International Conference， 8-11 October， 2006， Pages:1693-1696）により提案されたテンプレートマッチング法に基づくエンコーダ及びデコーダ双方での動きベクトルの探索が行われる場合には、動きベクトル情報は符号化されなくてもよい。

［１−４．第１の実施例］
上述したように、本実施形態では、イントラ動き補償モードにおいてインター予測ブロックに属する参照画素を参照することが禁止される場合、当該参照画素の画素値が代替画素の画素値で補填される。本節では、参照画素の画素値を補填するための手法の第１の実施例について説明する。

第１の実施例において、予測制御部３１は、インター予測ブロックに属する参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在する場合には、当該左の画素の画素値を、参照画素値として予測部３５に代替的に使用させる。ここでの左の画素とは、左の隣接画素でなくてもよい。即ち、代替画素は、参照画素から左方へ離れた場所の画素であってもよい。また、予測制御部３１は、参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在しない場合には、固定値を参照画素値として予測部３５に使用させる。ここでの固定値は、例えば、各画素のビット深度をｎビットとすると、レンジの中央の値、即ち２^ｎ−１に等しくてよい。なお、ビット深度ｎは、ＳＰＳ（Sequence Parameter Set）において伝送されるパラメータbit_depth_luma_minus8及びbit_depth_chroma_minus8により特定され得る。

図６は、参照が禁止される画素の画素値を補填するための手法の第１の実施例について説明するための説明図である。図６を参照すると、参照ブロックＲＢが再び示されている。参照ブロックＲＢの左上端に位置する画素Ｐ_００は、対象ブロック（図示せず）の左上端に位置する画素に対応する参照画素である。参照画素Ｐ_００はインター予測ブロックに属するため、参照画素Ｐ_００を参照することは禁止される。参照画素Ｐ_００と同一のライン上の左の画素は利用可能でない。従って、予測制御部３１は、参照画素Ｐ_００の画素値として、固定値を予測部３５に使用させる（図中の記号“Ｆ”）。参照ブロックＲＢの画素Ｐ_２１は、イントラ予測ブロックに属する参照画素である。参照画素Ｐ_２１を参照することは許容される。参照画素Ｐ_２１の画素値は、Ｒ_１に等しいものとする。参照ブロックＲＢの画素Ｐ_２２は、インター予測ブロックに属する参照画素である。参照画素Ｐ_２２を参照することは禁止される。参照画素Ｐ_２２と同一のライン上の左には、イントラ予測ブロックに属する参照画素Ｐ_２１が存在する。従って、予測制御部３１は、参照画素Ｐ_２２の画素値として、代替画素Ｐ_２１の画素値Ｒ_１を予測部３５に使用させる。参照ブロックＲＢの画素Ｐ_２５は、インター予測ブロックに属する参照画素である。参照画素Ｐ_２５を参照することは禁止される。参照画素Ｐ_２５と同一のライン上の左には、イントラ予測ブロックに属する参照画素Ｐ_２１が存在する。従って、予測制御部３１は、参照画素Ｐ_２５の画素値として、代替画素Ｐ_２１の画素値Ｒ_１を予測部３５に使用させる。実装上は、予測部３５は、左の隣接画素を連鎖的に参照することにより、参照画素Ｐ_２５の画素値に代替画素Ｐ_２１の画素値Ｒ_１を代入してもよい。参照ブロックＲＢの画素Ｐ_５１は、イントラ予測ブロックに属する参照画素である。参照画素Ｐ_５１を参照することは許容される。参照画素Ｐ_５１の画素値は、Ｒ_４に等しいものとする。参照ブロックＲＢの画素Ｐ_５２は、インター予測ブロックに属する参照画素である。参照画素Ｐ_５２を参照することは禁止される。参照画素Ｐ_５２と同一のライン上の左には、イントラ予測ブロックに属する参照画素Ｐ_５１が存在する。従って、予測制御部３１は、参照画素Ｐ_５２の画素値として、代替画素Ｐ_５１の画素値Ｒ_４を予測部３５に使用させる。参照ブロックＲＢの画素Ｐ_５５は、インター予測ブロックに属する参照画素である。参照画素Ｐ_５５を参照することは禁止される。参照画素Ｐ_５５と同一のライン上の左には、イントラ予測ブロックに属する参照画素Ｐ_５１が存在する。従って、予測制御部３１は、参照画素Ｐ_５５の画素値として、代替画素Ｐ_５１の画素値Ｒ_４を予測部３５に使用させる。実装上は、予測部３５は、左の隣接画素を連鎖的に参照することにより、参照画素Ｐ_５５の画素値に代替画素Ｐ_５１の画素値Ｒ_４を代入してもよい。参照ブロックＲＢの画素Ｐ_７５は、インター予測ブロックに属する参照画素である。参照画素Ｐ_７５を参照することは禁止される。参照画素Ｐ_００と同一のライン上の左には、イントラ予測ブロックに属する参照画素は存在しない。従って、予測制御部３１は、参照画素Ｐ_７５の画素値として、固定値を予測部３５に使用させる（図中の記号“Ｆ”）。実装上は、予測部３５は、左の隣接画素を連鎖的に参照することにより、参照画素Ｐ_７５の画素値に固定値を代入してもよい。

上述した第１の実施例によれば、画素がラスタスキャン順で走査される場合に、右端の画素まで処理が終了したラインについては、その処理結果としての予測画素値が残りのラインの処理の際に参照されない。そのため、ラインバッファ３７は、イントラ動き補償モードでのイントラ予測が実行されている間、注目画素が属する注目ラインの予測画素値のみをバッファリングすればよい。よって、第１の実施例は、メモリリソースの要求量が少なく、回路規模が小さくて済むという利点を有する。また、参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在する場合には、固定値ではなく当該左の画素の画素値が参照画素値として代替的に使用されるため、画素値の空間的相関に基づいてイントラ動き補償モードの予測精度を高めることができる。

［１−５．第２の実施例］
第２の実施例において、予測制御部３１は、インター予測ブロックに属する参照画素の上の隣接画素がイントラ予測ブロックに属する場合に、当該上の隣接画素の画素値を、参照画素値として予測部３５に代替的に使用させる。また、予測制御部３１は、上の隣接画素がインター予測ブロックに属し、参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在する場合には、当該左の画素の画素値を、参照画素値として予測部３５に代替的に使用させる。また、予測制御部３１は、上の隣接画素がインター予測ブロックに属し、参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在しない場合には、上の隣接画素について代替的に使用される画素値を、参照画素値として予測部３５に使用させる。そして、予測制御部３１は、上の隣接画素が利用不可（unavailable）であり、参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在しない場合には、固定値を参照画素値として予測部３５に使用させる。ここでの固定値は、第１の実施例と同様、各画素のビット深度をｎビットとすると、レンジの中央の値、即ち２^ｎ−１に等しくてよい。

図７は、参照が禁止される画素の画素値を補填するための手法の第２の実施例について説明するための説明図である。図７を参照すると、参照ブロックＲＢが再び示されている。参照ブロックＲＢの左上端に位置する画素Ｐ_００は、対象ブロック（図示せず）の左上端に位置する画素に対応する参照画素である。参照画素Ｐ_００はインター予測ブロックに属するため、参照画素Ｐ_００を参照することは禁止される。参照画素Ｐ_００の上の隣接画素は利用不可であり、参照画素Ｐ_００と同一のライン上の左にイントラ予測ブロックに属する画素は存在しない。従って、予測制御部３１は、参照画素Ｐ_００の画素値として、固定値を予測部３５に使用させる（図中の記号“Ｆ”）。参照ブロックＲＢの画素Ｐ_１２は、イントラ予測ブロックに属する参照画素である。参照画素Ｐ_１２を参照することは許容される。参照画素Ｐ_１２の画素値は、Ｒ_６に等しいものとする。参照ブロックＲＢの画素Ｐ_２２は、インター予測ブロックに属する参照画素である。参照画素Ｐ_２２を参照することは禁止される。参照画素Ｐ_２２の上の隣接画素Ｐ_１２は、イントラ予測ブロックに属する。従って、予測制御部３１は、参照画素Ｐ_２２の画素値として、代替画素Ｐ_１２の画素値Ｒ_６を予測部３５に使用させる。参照ブロックＲＢの画素Ｐ_５１は、イントラ予測ブロックに属する参照画素である。参照画素Ｐ_５１を参照することは許容される。参照画素Ｐ_５１の画素値は、Ｒ_４に等しいものとする。参照ブロックＲＢの画素Ｐ_５２は、インター予測ブロックに属する参照画素である。参照画素Ｐ_５２を参照することは禁止される。参照画素Ｐ_５２の上の隣接画素は、インター予測ブロックに属する。参照画素Ｐ_５２と同一のライン上の左には、イントラ予測ブロックに属する参照画素Ｐ_５１が存在する。従って、予測制御部３１は、参照画素Ｐ_５２の画素値として、代替画素Ｐ_５１の画素値Ｒ_４を予測部３５に使用させる。参照ブロックＲＢの画素Ｐ_５０は、イントラ予測ブロックに属する参照画素である。参照画素Ｐ_５０を参照することは許容される。参照画素Ｐ_５０の画素値は、Ｒ_５に等しいものとする。参照ブロックＲＢの画素Ｐ_６０は、インター予測ブロックに属する参照画素である。参照画素Ｐ_６０を参照することは禁止される。参照画素Ｐ_６０の上の隣接画素Ｐ_５０は、イントラ予測ブロックに属する。従って、予測制御部３１は、参照画素Ｐ_６０の画素値として、代替画素Ｐ_５０の画素値Ｒ_５を予測部３５に使用させる。参照ブロックＲＢの画素Ｐ_７０は、インター予測ブロックに属する参照画素である。参照画素Ｐ_７０を参照することは禁止される。参照画素Ｐ_７０の上の隣接画素Ｐ_６０は、インター予測ブロックに属する。参照画素Ｐ_７０と同一のライン上の左には、イントラ予測ブロックに属する参照画素が存在しない。従って、予測制御部３１は、参照画素Ｐ_７０の画素値として、上の隣接画素Ｐ_６０について代替的に使用される画素値Ｒ_５を予測部３５に使用させる。

上述した第２の実施例によれば、画素がラスタスキャン順で走査される場合に、注目画素が属する注目ラインの他には、当該注目ラインの上の隣接ラインの予測画素値のみが、注目ラインの処理の間に参照され得る。そのため、ラインバッファ３７は、イントラ動き補償モードでのイントラ予測が実行されている間、注目ライン及び上の隣接ラインの予測画素値のみをバッファリングすればよい。よって、第２の実施例は、第１の実施例と比較すると１ライン分のメモリリソースを余分に要求し得るものの、メモリリソースの要求量は依然として少ない。また、参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在する場合だけでなく、参照画素の上にイントラ予測ブロックに属する画素が存在する場合にも、固定値ではなく代替画素の画素値が参照画素値として使用される。そのため、画素値の空間的相関に基づいて、イントラ動き補償モードの予測精度を一層高めることができる。

＜２．一実施形態に係る符号化時の処理の流れ＞
［２−１．イントラ予測処理］
図８は、本実施形態に係る符号化時のイントラ予測処理の流れの一例を示すフローチャートである。なお、説明の簡明さのために、本開示に係る技術に直接的に関連しない処理ステップは、図から省略されている。ステップＳ１１０からステップＳ１８０までの処理は、予測モードセットに含まれる候補としての予測モードの各々について繰り返される。

まず、予測制御部３１は、処理対象の予測モードがイントラ動き補償モードであるかを判定する（ステップＳ１１０）。処理対象の予測モードがイントラ動き補償モードである場合には、予測制御部３１は、インター予測ブロックを参照することが禁止されているか否かをさらに判定する（ステップＳ１２０）。予測モードがイントラ動き補償モードであって、インター予測ブロックを参照することが禁止されている場合、予測制御部３１は、画素値の補填を伴うイントラ動き補償モードで、予測部３５に対象ブロックについてのイントラ予測を実行させる（ステップＳ１３０）。一方、予測モードがイントラ動き補償モードであって、インター予測ブロックを参照することが禁止されていない場合、予測制御部３１は、通常のイントラ動き補償モードで、予測部３５に対象ブロックについてのイントラ予測を実行させる（ステップＳ１６０）。予測モードがイントラ動き補償モード以外のモードである場合、予測制御部３１は、イントラ動き補償モード以外の当該予測モードで、予測部３５に対象ブロックについてのイントラ予測を実行させる（ステップＳ１７０）。

処理対象の予測モードで予測部３５により対象ブロックの予測画像が生成されると、予測制御部３１は、未処理の次の予測モード候補が存在するかを判定する（ステップＳ１８０）。次の予測モード候補が存在する場合には、処理はステップＳ１１０へ戻る。次の予測モード候補が存在しない場合には、処理はステップＳ１９０へ進む。

ステップＳ１９０において、モード判定部３９は、原画像データと予測画像データとに基づくコスト関数値を予測モード間で比較し、最適な予測モードを判定する（ステップＳ１９０）。そして、モード判定部３９は、最適な予測モードを示す予測モード情報を含むイントラ予測に関する情報、並びに対応するコスト関数値及び予測画像データを、セレクタ２７へ出力する。

［２−２．イントラ動き補償モードのイントラ予測（第１の実施例）］
図９は、第１の実施例に係る符号化時のイントラ動き補償モードでのイントラ予測の詳細な流れの一例を示すフローチャートである。図９に示した処理は、図８のステップＳ１３０に対応する。

ステップＳ１３１からステップＳ１５７までの処理は、探索対象の動きベクトルの各々について繰り返される。図９を参照すると、まず、予測部３５は、候補としての動きベクトルを対象ブロックに設定する（ステップＳ１３１）。その後のステップＳ１５５までの処理は、予測ブロック内の画素（対応する参照ブロック内の参照画素）をラスタスキャン順に走査する形式でのループ処理である（ステップＳ１３３）。ここでは、予測ブロック内の走査される画素の各々を注目画素という。

各注目画素のループにおいて、予測制御部３１は、注目画素に対応する参照画素がインター予測ブロックに属するか否かを、モードバッファ３３によりバッファリングされるモード情報を参照することにより判定する（ステップＳ１３５）。注目画素に対応する参照画素がインター予測ブロックではなくイントラ予測ブロックに属する場合、予測部３５は、参照画素の画素値を取得する（ステップＳ１３７）。一方、参照画素がインター予測ブロックに属する場合、予測制御部３１は、参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在するかをさらに判定する（ステップＳ１４５）。そして、参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在する場合、予測部３５は、当該左の画素の画素値を、参照画素値として代替的に取得する（ステップＳ１４７）。また、参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在しない場合、予測部３５は、参照画素値として固定値を取得する（ステップＳ１５３）。そして、予測部３５は、ステップＳ１３７、Ｓ１４７又はＳ１５３において取得した参照画素の画素値を、注目画素の予測値に設定する（ステップＳ１５５）。

上述した処理が予測ブロック内の全ての画素について終了した後、動きベクトルの探索が終了したかが判定される（ステップＳ１５７）。動きベクトルの探索が終了していない場合、処理はステップＳ１３１へ戻り、対象ブロックに次の動きベクトルが設定される。動きベクトルの探索が終了した場合、予測部３５は、探索された複数の動きベクトルの中で、符号化効率を最適化する動きベクトルを判定する（ステップＳ１５９）

［２−３．イントラ動き補償モードのイントラ予測（第２の実施例）］
図１０は、第２の実施例に係る符号化時のイントラ動き補償モードでのイントラ予測の詳細な流れの一例を示すフローチャートである。図１０に示した処理は、図８のステップＳ１３０に対応する。

ステップＳ１３１からステップＳ１５７までの処理は、探索対象の動きベクトルの各々について繰り返される。図１０を参照すると、まず、予測部３５は、候補としての動きベクトルを対象ブロックに設定する（ステップＳ１３１）。その後のステップＳ１５５までの処理は、予測ブロック内の画素（対応する参照ブロック内の参照画素）をラスタスキャン順に走査する形式でのループ処理である（ステップＳ１３３）。

各注目画素のループにおいて、予測制御部３１は、注目画素に対応する参照画素がインター予測ブロックに属するか否かを、モードバッファ３３によりバッファリングされるモード情報を参照することにより判定する（ステップＳ１３５）。注目画素に対応する参照画素がインター予測ブロックではなくイントラ予測ブロックに属する場合、予測部３５は、参照画素の画素値を取得する（ステップＳ１３７）。一方、参照画素がインター予測ブロックに属する場合、予測制御部３１は、参照画素の上の隣接画素がイントラ予測ブロックに属するかを判定する（ステップＳ１４１）。参照画素の上の隣接画素がイントラ予測ブロックに属する場合、予測部３５は、上の隣接画素の画素値を、参照画素値として代替的に取得する（ステップＳ１４３）。参照画素の上の隣接画素がインター予測ブロックに属する場合、予測制御部３１は、参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在するかを判定する（ステップＳ１４５）。そして、参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在する場合、予測部３５は、当該左の画素の画素値を、参照画素値として代替的に取得する（ステップＳ１４７）。また、参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在しない場合、予測制御部３１は、参照画素の上の隣接画素が利用可能かを判定する（ステップＳ１４９）。そして、上の隣接画素が利用可能である場合、予測部３５は、上の隣接画素について代替的に使用される画素値を、参照画素値として代替的に取得する（ステップＳ１５１）。また、上の隣接画素が利用可能でない場合、予測部３５は、参照画素値として固定値を取得する（ステップＳ１５３）。そして、予測部３５は、ステップＳ１３７、Ｓ１４３、Ｓ１４７、Ｓ１５１又はＳ１５３において取得した参照画素の画素値を、注目画素の予測値に設定する（ステップＳ１５５）。

上述した処理が予測ブロック内の全ての画素について終了した後、動きベクトルの探索が終了したかが判定される（ステップＳ１５７）。動きベクトルの探索が終了していない場合、処理はステップＳ１３１へ戻り、対象ブロックに次の動きベクトルが設定される。動きベクトルの探索が終了した場合、予測部３５は、探索された複数の動きベクトルの中で、符号化効率を最適化する動きベクトルを判定する（ステップＳ１５９）。

＜３．一実施形態に係る画像復号装置の構成例＞
［３−１．全体的な構成］
図１１は、上述した画像符号化装置１０により生成される符号化ストリームから画像を復号する画像復号装置６０の構成の一例を示すブロック図である。図１１を参照すると、画像復号装置６０は、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、ループフィルタ６６、並び替えバッファ６７、Ｄ／Ａ（Digital to Analogue）変換部６８、フレームメモリ６９、セレクタ７０及び７１、イントラ予測部８０並びにインター予測部９０を備える。

蓄積バッファ６１は、伝送路を介して入力される符号化ストリームを記憶媒体を用いて一時的に蓄積する。

可逆復号部６２は、蓄積バッファ６１から入力される符号化ストリームから、符号化の際に使用された符号化方式に従って量子化データを復号する。また、可逆復号部６２は、符号化ストリームのヘッダ領域に挿入されている情報を復号する。可逆復号部６２により復号される情報は、例えば、イントラ予測に関する情報及びインター予測に関する情報を含み得る。可逆復号部６２は、量子化データを逆量子化部６３へ出力する。また、可逆復号部６２は、イントラ予測に関する情報をイントラ予測部８０へ出力する。また、可逆復号部６２は、インター予測に関する情報をインター予測部９０へ出力する。

逆量子化部６３は、可逆復号部６２から入力される量子化データを、符号化の際に使用されたものと同じ量子化ステップ（又は同じ量子化行列）で逆量子化し、変換係数データを復元する。そして、逆量子化部６３は、復元した変換係数データを逆直交変換部６４へ出力する。

逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。そして、逆直交変換部６４は、生成した予測誤差データを加算部６５へ出力する。

加算部６５は、逆直交変換部６４から入力される予測誤差データと、セレクタ７１から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部６５は、生成した復号画像データをループフィルタ６６及びフレームメモリ６９へ出力する。

ループフィルタ６６は、画像符号化装置１０のループフィルタ２４と同様、ブロック歪みを軽減するデブロックフィルタ、各画素値にオフセット値を加えるサンプル適応オフセットフィルタ、及び原画像との誤差を最小化する適応ループフィルタを含み得る。ループフィルタ６６は、加算部６５から入力される復号画像データをフィルタリングし、フィルタリング後の復号画像データを並び替えバッファ６７及びフレームメモリ６９へ出力する。

並び替えバッファ６７は、ループフィルタ６６から入力される画像を並び替えることにより、時系列の一連の画像データを生成する。そして、並び替えバッファ６７は、生成した画像データをＤ／Ａ変換部６８へ出力する。

Ｄ／Ａ変換部６８は、並び替えバッファ６７から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６８は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、復号された画像を表示させる。

フレームメモリ６９は、加算部６５から入力されるフィルタリング前の復号画像データ及びループフィルタ６６から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。

セレクタ７０は、可逆復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ６９からの画像データの出力先をイントラ予測部８０とインター予測部９０との間で切り替える。例えば、セレクタ７０は、イントラ予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部８０へ出力する。また、セレクタ７０は、インター予測モードが指定された場合には、フィルタリング後の復号画像データを参照画像データとしてインター予測部９０へ出力する。

セレクタ７１は、可逆復号部６２により取得されるモード情報に応じて、加算部６５へ供給すべき予測画像データの出力元をイントラ予測部８０とインター予測部９０との間で切り替える。例えば、セレクタ７１は、イントラ予測モードが指定された場合には、イントラ予測部８０から出力される予測画像データを加算部６５へ供給する。また、セレクタ７１は、インター予測モードが指定された場合には、インター予測部９０から出力される予測画像データを加算部６５へ供給する。

イントラ予測部８０は、可逆復号部６２から入力されるイントラ予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてイントラ予測処理を行い、予測画像データを生成する。イントラ予測処理は、ＰＵごとに実行される。そして、イントラ予測部８０は、生成した予測画像データをセレクタ７１へ出力する。本実施形態において、イントラ予測の予測モード情報により示される予測モードの候補は、イントラ動き補償モードを含む。イントラ動き補償モードが指定される場合、予測モード情報は、動きベクトル情報（変位ベクトル情報）も含み得る。

インター予測部９０は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてインター予測処理（動き補償処理）を行い、予測画像データを生成する。インター予測処理は、ＰＵごとに実行される。そして、インター予測部９０は、生成した予測画像データをセレクタ７１へ出力する。

［３−２．イントラ予測部の詳細な構成］
図１２は、図１１に示した画像復号装置６０のイントラ予測部８０の詳細な構成の一例を示すブロック図である。図１２を参照すると、イントラ予測部８０は、予測制御部８１、モードバッファ８３、予測部８５及びラインバッファ８７を有する。

（１）予測制御部
予測制御部８１は、イントラ予測部８０におけるイントラ予測処理を制御する。予測制御部８１は、例えば、画像内の１つ以上のＰＵの各々を対象ブロックとして順次選択する。また、予測制御部８１は、各対象ブロックについて、可逆復号部６２により復号される予測モード情報により示される予測モードで予測部８５にイントラ予測を実行させ、各対象ブロックの予測画像を生成させる。

本実施形態において、イントラ予測の予測モードセットは、上述したように、イントラ動き補償モードを含む。そして、予測制御部８１は、イントラ予測の際にインター予測ブロックを参照することが禁止されるか否かに依存して、イントラ動き補償モードでのイントラ予測を制御する。インター予測ブロックを参照することが禁止されない場合には、イントラ動き補償モードでのイントラ予測は、既存の手法と同様に実行されてよい。インター予測ブロックを参照することが禁止される場合、予測制御部８１は、対象ブロックに含まれる注目画素に対応するイントラ動き補償モードのための参照画素がインター予測ブロックに属するかを、各注目画素について判定する。ここでの参照画素は、注目画素の画素位置から動きベクトルの分だけオフセット（変位）された位置の画素である。そして、予測制御部８１は、ある注目画素に対応する参照画素がインター予測ブロックに属する場合、画像符号化装置１０の予測制御部３１と同様に、当該参照画素の代わりに、参照が禁止されない代替画素の画素値を、参照画素値として予測部８５に代替的に使用させる。イントラ予測の際にインター予測ブロックを参照することが禁止されるか否かは、可逆復号部６２により例えば符号化ストリームのＰＰＳから復号される制約付きイントラ予測フラグ（constrained_intra_pred_flag）により示される。

（２）モードバッファ
モードバッファ８３は、注目画素に対応する参照画素がイントラ予測ブロック及びインター予測ブロックのいずれに属するかを判定する際に参照されるモード情報を、一時的に記憶するバッファである。モードバッファ８３によりバッファリングされるモード情報は、復号済みのＣＵごとの、当該ＣＵの位置及びサイズ、並びに当該ＣＵがイントラ予測ブロック及びインター予測ブロックのいずれであるかを示すパラメータを含んでもよい。その代わりに、当該モード情報は、イントラ予測ブロック及びインター予測ブロックのいずれに属するかを示す画素ごとのフラグのセットを含んでもよい。

（３）予測部
予測部８５は、予測制御部８１により順次選択される対象ブロックについて、予測モード情報により示される予測モードでイントラ予測を実行し、各対象ブロックの予測画像を生成する。そして、予測部８５は、生成した対象ブロックの予測画像を加算部６５へ出力する。

上述したように、イントラ予測の予測モードセットは、イントラ動き補償モードを含む。イントラ予測の際にインター予測ブロックを参照することが禁止される場合において、イントラ動き補償モードでイントラ予測を実行するときは、予測部８５は、予測制御部８１による制御の下、インター予測ブロックに属する参照画素の画素値を、参照が禁止されない代替画素の画素値で補填し、又は固定値に置き換える。

第１の実施例において、予測制御部８１は、インター予測ブロックに属する参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在する場合には、当該左の画素の画素値を、参照画素値として予測部８５に代替的に使用させる。ここでの左の画素とは、左の隣接画素でなくてもよい。即ち、代替画素は、参照画素から左方へ離れた場所の画素であってもよい。また、予測制御部８１は、参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在しない場合には、固定値を参照画素値として予測部８５に使用させる。ここでの固定値は、例えば、各画素のビット深度をｎビットとすると、レンジの中央の値、即ち２^ｎ−１に等しくてよい。なお、第１の実施例に係る画素値を補填するための手法は、図６を用いて説明した通りであってよい。

第２の実施例において、予測制御部８１は、インター予測ブロックに属する参照画素の上の隣接画素がイントラ予測ブロックに属する場合に、当該上の隣接画素の画素値を、参照画素値として予測部８５に代替的に使用させる。また、予測制御部８１は、上の隣接画素がインター予測ブロックに属し、参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在する場合には、当該左の画素の画素値を、参照画素値として予測部８５に代替的に使用させる。また、予測制御部８１は、上の隣接画素がインター予測ブロックに属し、参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在しない場合には、上の隣接画素について代替的に使用される画素値を、参照画素値として予測部８５に使用させる。そして、予測制御部８１は、上の隣接画素が利用不可であり、参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在しない場合には、固定値を参照画素値として予測部８５に使用させる。ここでの固定値は、第１の実施例と同様、各画素のビット深度をｎビットとすると、レンジの中央の値、即ち２^ｎ−１に等しくてよい。なお、第２の実施例に係る画素値を補填するための手法は、図７を用いて説明した通りであってよい。

（４）ラインバッファ
ラインバッファ８７は、イントラ動き補償モードにおいて予測部８５により参照され又は使用される画素値を一時的に記憶するバッファである。ラインバッファ８７は、例えば、注目画素が属する注目ラインの予測画素値をラインメモリを用いてバッファリングする。第１の実施例において、ラインバッファ８７は、注目ライン以外のラインの予測画素値をバッファリングしなくてよい。第２の実施例において、ラインバッファ８７は、注目画素が属する注目ライン及び当該注目ラインの上の隣接ラインの予測画素値をラインメモリを用いてバッファリングし得る。

＜４．一実施形態に係る復号時の処理の流れ＞
［４−１．イントラ予測処理］
図１３は、本実施形態に係る復号時のイントラ予測処理の流れの一例を示すフローチャートである。なお、説明の簡明さのために、本開示に係る技術に直接的に関連しない処理ステップは、図から省略されている。

まず、予測制御部８１は、可逆復号部６２により復号された対象ブロックについての予測モード情報を取得する（ステップＳ２００）。次に、予測制御部８１は、取得した予測モード情報により示される予測モードがイントラ動き補償モードであるかを判定する（ステップＳ２１０）。予測モードがイントラ動き補償モードである場合には、予測制御部８１は、インター予測ブロックを参照することが禁止されているか否かをさらに判定する（ステップＳ２２０）。予測モードがイントラ動き補償モードであって、インター予測ブロックを参照することが禁止されている場合、予測制御部８１は、画素値の補填を伴うイントラ動き補償モードで、予測部８５に対象ブロックについてのイントラ予測を実行させる（ステップＳ２３０）。一方、予測モードがイントラ動き補償モードであって、インター予測ブロックを参照することが禁止されていない場合、予測制御部８１は、通常のイントラ動き補償モードで、予測部８５に対象ブロックについてのイントラ予測を実行させる（ステップＳ２６０）。予測モードがイントラ動き補償モード以外のモードである場合、予測制御部８１は、イントラ動き補償モード以外の当該予測モードで、予測部８５に対象ブロックについてのイントラ予測を実行させる（ステップＳ２７０）。

ステップＳ２３０、Ｓ２６０又はＳ２７０において予測部８５により生成される対象ブロックの予測画像は、加算部６５へ出力される。

［４−２．イントラ動き補償モードのイントラ予測（第１の実施例）］
図１４は、第１の実施例に係る復号時のイントラ動き補償モードでのイントラ予測の詳細な流れの一例を示すフローチャートである。図１４に示した処理は、図１３のステップＳ２３０に対応する。

まず、予測部８５は、可逆復号部６２により復号され得る動きベクトル情報により示される動きベクトルを、対象ブロックに設定する（ステップＳ２３１）。その後のステップＳ２５５までの処理は、予測ブロック内の画素（対応する参照ブロック内の参照画素）をラスタスキャン順に走査する形式でのループ処理である（ステップＳ２３３）。ここでは、予測ブロック内の走査される画素の各々を注目画素という。

各注目画素のループにおいて、予測制御部８１は、注目画素に対応する参照画素がインター予測ブロックに属するか否かを、モードバッファ８３によりバッファリングされるモード情報を参照することにより判定する（ステップＳ２３５）。注目画素に対応する参照画素がインター予測ブロックではなくイントラ予測ブロックに属する場合、予測部８５は、参照画素の画素値を取得する（ステップＳ２３７）。一方、参照画素がインター予測ブロックに属する場合、予測制御部８１は、参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在するかをさらに判定する（ステップＳ２４５）。そして、参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在する場合、予測部８５は、当該左の画素の画素値を、参照画素値として代替的に取得する（ステップＳ２４７）。また、参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在しない場合、予測部８５は、参照画素値として固定値を取得する（ステップＳ２５３）。そして、予測部８５は、ステップＳ２３７、Ｓ２４７又はＳ２５３において取得した参照画素の画素値を、注目画素の予測値に設定する（ステップＳ２５５）。

上述した処理が予測ブロック内の全ての画素について終了すると、予測ブロックの予測画像の生成が完了する。

［４−３．イントラ動き補償モードのイントラ予測（第２の実施例）］
図１５は、第２の実施例に係る復号時のイントラ動き補償モードでのイントラ予測の詳細な流れの一例を示すフローチャートである。図１５に示した処理は、図１３のステップＳ２３０に対応する。

まず、予測部８５は、可逆復号部６２により復号され得る動きベクトル情報により示される動きベクトルを、対象ブロックに設定する（ステップＳ２３１）。その後のステップＳ２５５までの処理は、予測ブロック内の画素（対応する参照ブロック内の参照画素）をラスタスキャン順に走査する形式でのループ処理である（ステップＳ２３３）。

各注目画素のループにおいて、予測制御部８１は、注目画素に対応する参照画素がインター予測ブロックに属するか否かを、モードバッファ８３によりバッファリングされるモード情報を参照することにより判定する（ステップＳ２３５）。注目画素に対応する参照画素がインター予測ブロックではなくイントラ予測ブロックに属する場合、予測部８５は、参照画素の画素値を取得する（ステップＳ２３７）。一方、参照画素がインター予測ブロックに属する場合、予測制御部８１は、参照画素の上の隣接画素がイントラ予測ブロックに属するかを判定する（ステップＳ２４１）。参照画素の上の隣接画素がイントラ予測ブロックに属する場合、予測部８５は、上の隣接画素の画素値を、参照画素値として代替的に取得する（ステップＳ２４３）。参照画素の上の隣接画素がインター予測ブロックに属する場合、予測制御部８１は、参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在するかを判定する（ステップＳ２４５）。そして、参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在する場合、予測部８５は、当該左の画素の画素値を、参照画素値として代替的に取得する（ステップＳ２４７）。また、参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在しない場合、予測制御部８１は、参照画素の上の隣接画素が利用可能かを判定する（ステップＳ２４９）。そして、上の隣接画素が利用可能である場合、予測部８５は、上の隣接画素について代替的に使用される画素値を、参照画素値として代替的に取得する（ステップＳ２５１）。また、上の隣接画素が利用可能でない場合、予測部８５は、参照画素値として固定値を取得する（ステップＳ２５３）。そして、予測部８５は、ステップＳ２３７、Ｓ２４３、Ｓ２４７、Ｓ２５１又はＳ２５３において取得した参照画素の画素値を、注目画素の予測値に設定する（ステップＳ２５５）。

上述した処理が予測ブロック内の全ての画素について終了すると、予測ブロックの予測画像の生成が完了する。

＜５．応用例＞
上述した実施形態に係る画像符号化装置１０及び画像復号装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。

（１）第１の応用例
図１６は、テレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。

チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。

デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。

映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。

表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。

音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。

外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

制御部９１０は、ＣＰＵ（Central Processing Unit）などのプロセッサ、並びにＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。

ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。

バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。

このように構成されたテレビジョン装置９００において、デコーダ９０４は、画像復号装置６０の機能を有する。それにより、制約付きイントラ予測の要件を満たしつつ、イントラ動き補償モードを活用して高い符号化効率で符号化された画像をテレビジョン装置９００が復号することが可能となる。

（２）第２の応用例
図１７は、携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。

アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。

携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。

音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。

記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。

また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。

また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

このように構成された携帯電話機９２０において、画像処理部９２７は、画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、制約付きイントラ予測の要件を満たしつつ、携帯電話機９２０がイントラ動き補償モードを活用して高い符号化効率で画像を符号化し、又はそのように符号化された画像を携帯電話機９２０が復号することが可能となる。

（３）第３の応用例
図１８は、記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。

記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。

チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。

外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。

エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。

ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。

ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。

セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。

デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。

ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。

制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。

ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。

このように構成された記録再生装置９４０において、エンコーダ９４３は、画像符号化装置１０の機能を有する。また、デコーダ９４７は、画像復号装置６０の機能を有する。それにより、制約付きイントラ予測の要件を満たしつつ、記録再生装置９４０がイントラ動き補償モードを活用して高い符号化効率で画像を符号化し、又はそのように符号化された画像を記録再生装置９４０が復号することが可能となる。

（４）第４の応用例
図１９は、撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。

光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。

光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。

信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。

画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。

ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。

外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。

メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。

制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。

ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。

このように構成された撮像装置９６０において、画像処理部９６４は、画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、制約付きイントラ予測の要件を満たしつつ、撮像装置９６０がイントラ動き補償モードを活用して高い符号化効率で画像を符号化し、又はそのように符号化された画像を撮像装置９６０が復号することが可能となる。

＜６．まとめ＞
ここまで、図１〜図１９を用いて、本開示に係る技術の様々な実施形態について詳細に説明した。上述した実施形態によれば、イントラ予測の際にインター予測ブロックを参照することが禁止される場合において、対象ブロックの注目画素に対応するイントラ動き補償モードのための参照画素がインター予測ブロックに属するときに、参照が禁止されない代替画素の画素値が、参照画素値として代替的に使用される。従って、イントラ動き補償モードを一律的に無効化し又は動きベクトルの探索範囲を制限するような手法と比較して、イントラ動き補償モードを活用し得る機会が拡大される。そのため、符号化効率の向上を期待することができる。また、参照が禁止される参照画素に対応する注目画素の予測画素値が固定値に設定されるような手法では局所的に予測精度が低下する一方、上述した実施形態によれば、代替画素の画素値と参照画素の画素値との間の相関によって、局所的な予測精度の低下が回避され又は軽減される。従って、イントラ動き補償モードの予測精度が改善し、より高い符号化効率を達成することが可能となる。

第１の実施例によれば、インター予測ブロックに属する参照画素のための代替画素は、参照画素と同一のライン上の左に存在する、イントラ予測ブロックに属する画素であってよい。この場合、右端の画素まで処理が終了したラインについてはその処理結果としての予測画素値が残りのラインの処理の際に参照されないため、ラインバッファの規模を最小限に抑制することができる。

また、第２の実施例によれば、インター予測ブロックに属する参照画素のための代替画素は、参照画素の上の隣接画素であってよい。参照画素と同一のライン上の左に存在するイントラ予測ブロックに属する画素もまた、代替画素として使用され得る。この場合、注目画素が属する注目ラインの他には、当該注目ラインの上の隣接ラインの予測画素値のみが注目ラインの処理の間に参照され得るため、ラインバッファの規模を小さく抑制しつつ、イントラ動き補償モードの予測精度を一層高めることができる。

また、いずれの実施例においても、インター予測ブロックに属する参照画素のために代替画素として使用し得る画素が存在しない場合には、２^ｎ−１（ｎはビット深度を表す）に等しい固定値が参照画素値として使用され得る。この場合、参照画素値が画素値のレンジの中央の値となるため、局所的な予測精度の低下を、ある程度確率的に軽減することができる。

なお、上述した第１の実施例及び第２の実施例は、参照が禁止される画素の画素値を補填するための手法の一例に過ぎない。例えば、第２の実施例において、上の隣接画素よりも左の隣接画素が、優先的に代替画素として選択されてもよい。また、注目ラインよりも上の２つ以上のラインの画素値がバッファリングされ、それらラインに属するいずれかの画素が代替画素として選択されてもよい。また、いずれの画素を代替画素として使用すべきかを示す情報が、エンコーダにより符号化され及びデコーダにより復号されてもよい。

また、本明細書に記述したＣＵ、ＰＵ及びＴＵとの用語は、ＨＥＶＣにおいて、個々のブロックに関連付られるシンタックスをも含む論理的な単位を意味する。画像の一部分としての個々のブロックのみに着目する場合、これらは、ＣＢ（Coding Block）、ＰＢ（Prediction Block）及びＴＢ（Transform Block）との用語にそれぞれ置き換えられてもよい。ＣＢは、ＣＴＢ（Coding Tree Block）を四分木（Quad-Tree）状に階層的に分割することにより形成される。１つの四分木の全体がＣＴＢに相当し、ＣＴＢに対応する論理的な単位はＣＴＵ（Coding Tree Unit）と呼ばれる。ＨＥＶＣにおけるＣＴＢ及びＣＢは、符号化処理の処理単位である点でＨ．２６４／ＡＶＣにおけるマクロブロックに類似する役割を有する。但し、ＣＴＢ及びＣＢは、そのサイズが固定的でない点でマクロブロックと異なる（マクロブロックのサイズは常に１６×１６画素である）。ＣＴＢのサイズは１６×１６画素、３２×３２画素及び６４×６４画素から選択され、符号化ストリーム内でパラメータにより指定される。ＣＢのサイズは、ＣＴＢの分割の深さによって変化し得る。

また、本明細書では、イントラ予測に関する情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
対象ブロックについて、イントラ動き補償モードでイントラ予測を実行する予測部と、
前記イントラ予測の際にインター予測ブロックを参照することが禁止される場合において、前記対象ブロックの注目画素に対応する前記イントラ動き補償モードのための参照画素がインター予測ブロックに属するときに、参照が禁止されない代替画素の画素値を、参照画素値として前記予測部に代替的に使用させる制御部と、
を備える画像処理装置。
（２）
前記制御部は、インター予測ブロックに属する前記参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在する場合に、当該左の画素の画素値を、前記参照画素値として前記予測部に代替的に使用させる、前記（１）に記載の画像処理装置。
（３）
前記制御部は、前記参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在しない場合に、固定値を前記参照画素値として前記予測部に使用させる、前記（２）に記載の画像処理装置。
（４）
前記制御部は、インター予測ブロックに属する前記参照画素の上の隣接画素がイントラ予測ブロックに属する場合に、当該上の隣接画素の画素値を、前記参照画素値として前記予測部に代替的に使用させる、前記（１）に記載の画像処理装置。
（５）
前記制御部は、前記上の隣接画素がインター予測ブロックに属し、前記参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在する場合に、当該左の画素の画素値を、前記参照画素値として前記予測部に代替的に使用させる、前記（４）に記載の画像処理装置。
（６）
前記制御部は、前記上の隣接画素がインター予測ブロックに属し、前記参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在しない場合に、前記上の隣接画素について代替的に使用される画素値を、前記参照画素値として前記予測部に使用させる、前記（５）に記載の画像処理装置。
（７）
前記制御部は、前記上の隣接画素が利用不可であり、前記参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在しない場合に、固定値を前記参照画素値として前記予測部に使用させる、前記（６）に記載の画像処理装置。
（８）
ビット深度をｎビットとすると、前記固定値は２^ｎ−１に等しい、前記（３）又は前記（７）に記載の画像処理装置。
（９）
前記画像処理装置は、予測モード情報を復号する復号部、をさらに備え、
前記制御部は、前記対象ブロックの前記予測モード情報が前記イントラ動き補償モードを示す場合に、前記予測部に前記対象ブロックについて前記イントラ動き補償モードで前記イントラ予測を実行させる、
前記（１）〜（８）のいずれか１項に記載の画像処理装置。
（１０）
前記制御部は、前記イントラ動き補償モードを含む複数の予測モードで前記予測部に前記対象ブロックについて前記イントラ予測を実行させ、
前記画像処理装置は、前記複数の予測モードから選択される最適な予測モードを示す予測モード情報を符号化する符号化部、をさらに備える、
前記（１）〜（８）のいずれか１項に記載の画像処理装置。
（１１）
対象ブロックについてイントラ動き補償モードでイントラ予測を実行する装置において、
前記イントラ予測の際にインター予測ブロックを参照することが禁止されるかを判定することと、
前記イントラ予測の際にインター予測ブロックを参照することが禁止される場合に、前記対象ブロックの注目画素に対応する前記イントラ動き補償モードのための参照画素がインター予測ブロックに属するかを判定することと、
前記参照画素がインター予測ブロックに属する場合に、参照が禁止されない代替画素の画素値を、参照画素値として代替的に使用することと、
を含む画像処理方法。

１０，６０ 画像処理装置
３１，８１ 予測制御部
３５，８５ 予測部
１６ 可逆符号化部
６２ 可逆復号部

Claims (11)

1. 対象ブロックについて、イントラ動き補償モードでイントラ予測を実行する予測部と、
   前記イントラ予測の際にインター予測ブロックを参照することが禁止される場合において、前記対象ブロックの注目画素に対応する前記イントラ動き補償モードのための参照画素がインター予測ブロックに属するときに、参照が禁止されない代替画素の画素値を、参照画素値として前記予測部に代替的に使用させる制御部と、
   を備える画像処理装置。
2. 前記制御部は、インター予測ブロックに属する前記参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在する場合に、当該左の画素の画素値を、前記参照画素値として前記予測部に代替的に使用させる、請求項１に記載の画像処理装置。
3. 前記制御部は、前記参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在しない場合に、固定値を前記参照画素値として前記予測部に使用させる、請求項２に記載の画像処理装置。
4. 前記制御部は、インター予測ブロックに属する前記参照画素の上の隣接画素がイントラ予測ブロックに属する場合に、当該上の隣接画素の画素値を、前記参照画素値として前記予測部に代替的に使用させる、請求項１に記載の画像処理装置。
5. 前記制御部は、前記上の隣接画素がインター予測ブロックに属し、前記参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在する場合に、当該左の画素の画素値を、前記参照画素値として前記予測部に代替的に使用させる、請求項４に記載の画像処理装置。
6. 前記制御部は、前記上の隣接画素がインター予測ブロックに属し、前記参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在しない場合に、前記上の隣接画素について代替的に使用される画素値を、前記参照画素値として前記予測部に使用させる、請求項５に記載の画像処理装置。
7. 前記制御部は、前記上の隣接画素が利用不可であり、前記参照画素と同一のライン上の左にイントラ予測ブロックに属する画素が存在しない場合に、固定値を前記参照画素値として前記予測部に使用させる、請求項６に記載の画像処理装置。
8. ビット深度をｎビットとすると、前記固定値は２^ｎ−１に等しい、請求項３に記載の画像処理装置。
9. 前記画像処理装置は、予測モード情報を復号する復号部、をさらに備え、
   前記制御部は、前記対象ブロックの前記予測モード情報が前記イントラ動き補償モードを示す場合に、前記予測部に前記対象ブロックについて前記イントラ動き補償モードで前記イントラ予測を実行させる、
   請求項１に記載の画像処理装置。
10. 前記制御部は、前記イントラ動き補償モードを含む複数の予測モードで前記予測部に前記対象ブロックについて前記イントラ予測を実行させ、
    前記画像処理装置は、前記複数の予測モードから選択される最適な予測モードを示す予測モード情報を符号化する符号化部、をさらに備える、
    請求項１に記載の画像処理装置。
11. 対象ブロックについてイントラ動き補償モードでイントラ予測を実行する装置において、
    前記イントラ予測の際にインター予測ブロックを参照することが禁止されるかを判定することと、
    前記イントラ予測の際にインター予測ブロックを参照することが禁止される場合に、前記対象ブロックの注目画素に対応する前記イントラ動き補償モードのための参照画素がインター予測ブロックに属するかを判定することと、
    前記参照画素がインター予測ブロックに属する場合に、参照が禁止されない代替画素の画素値を、参照画素値として代替的に使用することと、
    を含む画像処理方法。
    

Images