JP6306050B2 - ビデオ信号処理方法および装置 - Google Patents

Description

本発明は、ビデオ信号のコーディング方法およびビデオ信号のコーディング装置に関する。

圧縮符号化とは、デジタル化した情報を通信回線を介して伝送したり、格納媒体に適した形態で格納することに関する一連の信号処理技術を意味する。圧縮符号化の対象としては音声、映像、文字などの対象が存在し、特に、映像を対象として圧縮符号化を行う技術をビデオ映像圧縮と称する。多視点ビデオ映像の一般的な特徴は、空間的冗長性、時間的冗長性および視点間冗長性を有している点にある。

本発明の目的は、ビデオ信号のコーディング効率を高めることにある。

本発明に係るビデオ信号処理方法は、現在のブロックの空間隣接ブロック（spatial neighboring block）からのイントラ予測モードに基づいて現在のブロックの候補モードリスト（candidate mode list）を生成し、現在のブロックの隣接視点からのイントラ予測モードに基づいて候補モードリストを修正し、修正した候補モードリストに基づいて現在のブロックのイントラ予測モードを導出し、導出したイントラ予測モードを用いて現在のブロックを予測することを特徴とする。

本発明に係る空間隣接ブロックは、現在のブロックに隣接した左側隣接ブロックおよび上側（上端）（upper）隣接ブロックのうち少なくとも一つを含むことを特徴とする。

本発明に係る候補モードリストを修正するステップは、現在のブロックの視差ベクトルを取得し、視差ベクトルに基づいて隣接視点の参照ブロックを取得し、参照ブロックがイントラモードでコーディングされたブロックであるか否かを確認し、参照ブロックがイントラモードでコーディングされたブロックである場合、参照ブロックのイントラ予測モードを用いて候補モードリストを修正することを特徴とする。

本発明に係る現在のブロックの視差ベクトルは、現在のブロックの左側、上側、左側下端、右側上端および左側上端に位置する各隣接ブロックのうち少なくとも一つの隣接ブロックの視差ベクトルを用いて取得することを特徴とする。

本発明に係る現在のブロックの視差ベクトルは、現在のブロックに対応するデプス（奥行き）（depth）データから導出されることを特徴とする。

本発明に係る候補モードリストは、現在のブロックが利用可能な複数のイントラ予測モードと、複数のイントラ予測モードのそれぞれに対応するリストインデックス情報と、を定義し、リストインデックス情報は、候補モードリスト内に順次配列された複数のイントラ予測モードのそれぞれの位置を特定することを特徴とする。

本発明に係る候補モードリストを修正するステップは、候補モードリスト内に隣接視点からのイントラ予測モードと同一のイントラ予測モードが存在する場合、隣接視点のイントラ予測モードと同一のイントラ予測モードに対応するリストインデックス情報を変更し、候補モードリストを再配列することを特徴とする。

本発明に係る候補モードリストを修正するステップは、候補モードリスト内の複数のイントラ予測モードのうちいずれか一つを隣接視点からのイントラ予測モードに置き換える（replace）ことを特徴とする。

本発明に係る候補モードリストを修正するステップは、空間隣接ブロックからのイントラ予測モードに基づいて生成された候補モードリストに隣接視点からのイントラ予測モードを追加することを特徴とする。

本発明は、現在のブロックに空間的に隣接した隣接ブロックのイントラ予測モードから候補モードリストを生成し、これを用いて現在のブロックのイントラ予測モードを導出することによって、より正確なイントラ予測モードを取得することができる。さらに、正確なイントラ予測モードを導出することによって、現在のブロックの残差（レジデュアル）（residual）をコーディングするのに必要なビット数を減少させることができる。

また、本発明は、空間的に隣接した隣接ブロックを用いるだけでなく、視点間の類似性を考慮して、隣接視点に位置する参照ブロックからのイントラ予測モードを用いて候補モードリストを生成することによって、現在のブロックのイントラ予測のコーディング効率を向上させることができる。

本発明が適用される一実施例であって、ビデオデコーダの概略ブロック図である。 本発明が適用される一実施例であって、ビデオデコーダが適用される放送受信機の内部ブロック図である。 本発明が適用される一実施例であって、イントラ予測モードの種類を示した図である。 本発明が適用される一実施例であって、現在のブロックの候補モードリストを生成する方法を示したフローチャートである。 本発明が適用される一実施例であって、隣接視点の参照ブロックのイントラ予測モードを含む候補モードリストを生成する方法を示したフローチャートである。 本発明が適用される一実施例であって、隣接視点の参照ブロックのイントラ予測モードを用いて修正された候補モードリストを生成する方法を示した図である。 本発明が適用される一実施例であって、候補モードリストを用いて現在のブロックのイントラ予測モードを導出する方法を示したフローチャートである。

上記目的を達成するために、本発明に係るビデオ信号処理方法は、現在のブロックの空間隣接ブロック（spatial neighboring block）からのイントラ予測モードに基づいて現在のブロックの候補モードリスト（candidate mode list）を生成し、現在のブロックの隣接視点からのイントラ予測モードに基づいて上記候補モードリストを修正し、上記修正した候補モードリストに基づいて現在のブロックのイントラ予測モードを導出し、上記導出したイントラ予測モードを用いて現在のブロックを予測することを特徴とする。

本発明に係る上記空間隣接ブロックは、上記現在のブロックに隣接した左側隣接ブロックおよび上側（上端）（upper）隣接ブロックのうち少なくとも一つを含むことを特徴とする。

本発明に係る上記候補モードリストを修正するステップは、上記現在のブロックの視差ベクトルを取得し、上記視差ベクトルに基づいて隣接視点の参照ブロックを取得し、上記参照ブロックがイントラモードでコーディングされたブロックであるか否かを確認し、上記参照ブロックがイントラモードでコーディングされたブロックである場合、上記参照ブロックのイントラ予測モードを用いて上記候補モードリストを修正することを特徴とする。

本発明に係る上記現在のブロックの視差ベクトルは、上記現在のブロックの左側、上側、左側下端、右側上端および左側上端に位置する各隣接ブロックのうち少なくとも一つの隣接ブロックの視差ベクトルを用いて取得されることを特徴とする。

本発明に係る上記現在のブロックの視差ベクトルは、上記現在のブロックに対応するデプス（奥行き）（depth）データから導出されることを特徴とする。

本発明に係る上記候補モードリストは、上記現在のブロックが利用可能な複数のイントラ予測モードと、上記複数のイントラ予測モードのそれぞれに対応するリストインデックス情報と、を定義し、上記リストインデックス情報は、上記候補モードリスト内に順次配列された上記複数のイントラ予測モードのそれぞれの位置を特定することを特徴とする。

本発明に係る上記候補モードリストを修正するステップは、上記候補モードリスト内に上記隣接視点からのイントラ予測モードと同一のイントラ予測モードが存在する場合、上記隣接視点のイントラ予測モードと同一のイントラ予測モードに対応するリストインデックス情報を変更し、上記候補モードリストを再配列することを特徴とする。

本発明に係る上記候補モードリストを修正するステップは、上記候補モードリスト内の複数のイントラ予測モードのうちいずれか一つを上記隣接視点からのイントラ予測モードに置き換える（replace）ことを特徴とする。

本発明に係る上記候補モードリストを修正するステップは、上記空間隣接ブロックのイントラ予測モードに基づいて生成された候補モードリストに上記隣接視点からのイントラ予測モードを追加することを特徴とする。

以下、添付の図面を参照して本発明の好ましい実施例を詳細に説明する。説明の前に、本明細書および特許請求の範囲に使用された用語や単語は、通常または辞典における意味に限定して解釈してはならず、発明者が自身の発明を最も最善の方法で説明するために用語の概念を適宜定義できるとの原則に立脚して、本発明の技術的思想に符合する意味および概念に解釈しなければならない。したがって、本明細書に記載した実施例と図面に示した構成とは、本発明の最も好ましい一実施例に過ぎず、本発明の技術的思想をすべて代弁するものではないので、本出願時点において、これらに取って代わる多様な均等物および変形例があり得ることを理解しなければならない。

図１は、本発明が適用される一実施例であって、ビデオデコーダの概略ブロック図である。

図１を参照すると、ビデオデコーダは、ＮＡＬパージング部１００、エントロピデコーディング部１１０、逆量子化／逆変換部１２０、イントラ予測部１３０、インループフィルタ部１４０、復号ピクチャバッファ部１５０、およびインター予測部１６０を含むことができる。ＮＡＬパージング部１００は、多視点テクスチャデータを含むビットストリームを受信することができる。また、デプスデータがテクスチャデータのコーディングに必要な場合、エンコードされたデプスデータを含むビットストリームをさらに受信することもできる。このときに入力されるテクスチャデータおよびデプスデータは、一つのビットストリームで伝送されてもよく、別個のビットストリームで伝送されてもよい。ＮＡＬパージング部１００は、入力されたビットストリームを復号するためにＮＡＬ単位でパージングを行うことができる。入力されたビットストリームが多視点関連データ（例えば、３−Ｄｉｍｅｎｓｉｏｎａｌ Ｖｉｄｅｏ）である場合、入力されたビットストリームはカメラパラメータをさらに含むことができる。カメラパラメータとしては、内因性（固有の）カメラパラメータ（intrinsic camera parameter）および外因性（非固有の）カメラパラメータ（extrinsic camera parameter）があり、内因性カメラパラメータは、焦点距離（focal length）、縦横比（aspect ratio）、主点（principal point）などを含むことができ、外因性カメラパラメータは、世界座標系でのカメラの位置情報などを含むことができる。

エントロピデコーディング部１１０は、エントロピデコーディングを通じて量子化された変換係数、テクスチャピクチャの予測のためのコーディング情報などを抽出することができる。逆量子化／逆変換部１２０では、量子化された変換係数に量子化パラメータを適用することによって変換係数を取得し、変換係数を逆変換することによってテクスチャデータまたはデプスデータを復号することができる。ここで、復号されたテクスチャデータまたはデプスデータは、予測コーディングによる残差データを含むことができる。また、デプスブロックに対する量子化パラメータは、テクスチャデータの複雑度を考慮して設定することができる。例えば、デプスブロックに対応するテクスチャブロックが複雑度の高い領域である場合は低い量子化パラメータを設定し、複雑度の低い領域である場合は高い量子化パラメータを設定することができる。テクスチャブロックの複雑度は、数式１のように復元されたテクスチャピクチャ内で互いに隣接した各ピクセル間の差分値に基づいて決定することができる。

数式１において、Ｅは、テクスチャデータの複雑度を示し、Ｃは、復元されたテクスチャデータを意味し、Ｎは、複雑度を算出しようとするテクスチャデータ領域内のピクセル数を意味し得る。数式１を参照すると、テクスチャデータの複雑度は、位置（ｘ，ｙ）に対応するテクスチャデータと位置（ｘ−１，ｙ）に対応するテクスチャデータとの間の差分値と、位置（ｘ，ｙ）に対応するテクスチャデータと位置（ｘ＋１，ｙ）に対応するテクスチャデータとの間の差分値と、を用いて算出することができる。また、複雑度は、テクスチャピクチャおよびテクスチャブロックに対してそれぞれ算出することができ、これを用いて下記の数式２のように量子化パラメータを導出することができる。

数式２を参照すると、デプスブロックに対する量子化パラメータは、テクスチャピクチャの複雑度とテクスチャブロックの複雑度との比率に基づいて決定することができる。αおよびβは、デコーダによって導出される可変整数であってもよく、デコーダ内で予め定められた定数であってもよい。

イントラ予測部１３０は、現在のテクスチャピクチャ内の復元されたテクスチャデータを用いて画面内予測を行うことができる。具体的には、現在のブロックのイントラ予測モードおよび現在のブロックに隣接した隣接サンプルを用いて現在のブロックのサンプルを予測することができる。ここで、現在のブロックのイントラ予測モードは、候補モードリストを用いて導出することができ、これについては、図４〜図７を参照して詳細に説明する。また、デプスピクチャに関しても、テクスチャピクチャと同一の方式で画面内予測を行うことができる。例えば、テクスチャピクチャの画面内予測のために用いられるコーディング情報をテブスピクチャでも同一に用いることができる。ここで、画面内予測のために用いられるコーディング情報は、イントラ予測モード、イントラ予測のパーティション情報を含むことができる。

インループフィルタ部１４０は、ブロック歪曲現象を減少させるためにそれぞれのコーディングされたブロックにインループフィルタを適用することができる。フィルタは、ブロックの縁部を滑らかに（スムージング）（smooth）し、デコーディングされたピクチャの画質を向上させることができる。フィルタリングを経たテクスチャピクチャまたはデプスピクチャは、出力されたり、参照ピクチャとして用いるために復号ピクチャバッファ部１５０に格納されてもよい。一方、テクスチャデータの特性とデプスデータの特性とが互いに異なるので、同一のインループフィルタを用いてテクスチャデータおよびデプスデータのコーディングを行う場合、コーディング効率が低下し得る。したがって、デプスデータのための別途のインループフィルタを定義することもできる。以下、デプスデータを効率的にコーディングできるインループフィルタリング方法として、領域ベースの適応ループフィルタ（region-based adaptive loop filter）とトリラテラルループフィルタ（trilateral loop filter）とを説明する。

領域ベースの適応ループフィルタの場合、デプスブロックの変化量（variance）に基づいて、領域ベースの適応ループフィルタを適用するか否かを決定することができる。ここで、デプスブロックの変化量は、デプスブロック内での最大ピクセル値と最小ピクセル値との間の差分として定義することができる。デプスブロックの変化量と予め定められたしきい値との間の比較を通じてフィルタを適用するか否かを決定することができる。例えば、デプスブロックの変化量が予め定められたしきい値より大きいか同じである場合、デプスブロック内の最大ピクセル値と最小ピクセル値との間の差が大きいことを意味するので、領域ベースの適応ループフィルタを適用すると決定することができる。一方、デプス変化量が予め定められたしきい値より小さい場合は、領域ベースの適応ループフィルタを適用しないと決定することができる。上記比較の結果によってフィルタを適用する場合、フィルタリングされたデプスブロックのピクセル値は、所定の加重値（重み）（weight）を隣接ピクセル値に適用して導出することができる。ここで、所定の加重値は、現在フィルタリングされるピクセルと隣接ピクセルとの間の位置の差および／または現在フィルタリングされるピクセル値と隣接ピクセル値との間の差分値に基づいて決定することができる。また、隣接ピクセル値は、デプスブロック内に含まれたピクセル値のうち現在フィルタリングされるピクセル値を除いたいずれか一つを意味し得る。

本発明に係るトリラテラルループフィルタは、領域ベースの適応ループフィルタと類似しているが、テクスチャデータをさらに考慮するという点で相違点を有する。具体的には、トリラテラルループフィルタは、次の三つの条件を比較して、これを満足する隣接ピクセルのデプスデータを抽出することができる。

条件１は、デプスブロック内の現在のピクセル（ｐ）と隣接ピクセル（ｑ）との間の位置の差を予め定められた媒介変数と比較することであって、条件２は、現在のピクセル（ｐ）のデプスデータと隣接ピクセル（ｑ）のデプスデータとの間の差分を予め定められた媒介変数と比較することであって、条件３は、現在のピクセル（ｐ）のテクスチャデータと隣接ピクセル（ｑ）のテクスチャデータとの間の差分を予め定められた媒介変数と比較することである。

上記三つの条件を満足する各隣接ピクセルを抽出し、これらのデプスデータの中間値または平均値で現在のピクセル（ｐ）をフィルタリングすることができる。

復号ピクチャバッファ部（Decoded Picture Buffer unit）１５０では、画面間予測を行うために、以前にコーディングされたテクスチャピクチャまたはデプスピクチャを格納または開放（解放）する役割などを行う。このとき、これらのピクチャを復号ピクチャバッファ部１５０に格納または開放するために、各ピクチャのｆｒａｍｅ＿ｎｕｍおよびＰＯＣ（Picture Order Count）を用いることができる。さらに、デプスコーディングにおいて、上記以前にコーディングされた各ピクチャには、現在のデプスピクチャと異なる視点にあるデプスピクチャもあるので、これらの各ピクチャを参照ピクチャとして活用するためには、デプスピクチャの視点を識別する視点識別情報を用いることもできる。復号ピクチャバッファ部１５０は、より柔軟に画面間予測を実現するために適応メモリ管理方法（Memory Management Control Operation Method）および移動（スライディング）ウィンドウ方法（Sliding Window Method）などを用いて参照ピクチャを管理することができる。これは、参照ピクチャと非参照ピクチャとのメモリを一つのメモリに統一して管理し、少ないメモリで効率的に管理するためである。デプスコーディングにおいて、各デプスピクチャは、復号ピクチャバッファ部内で各テクスチャピクチャと区別するために別途のマーク（表示）でマーキングすることができ、上記マーキング処理で各デプスピクチャを識別するための情報を用いることができる。

インター予測部１６０は、復号ピクチャバッファ部１５０に格納された参照ピクチャおよび動き情報（motion information）を用いて現在のブロックの動き補償（motion compensation）を行うことができる。本明細書において、動き情報とは、動きベクトル（motion vector）、参照インデックス（reference index）情報を含む広義の概念として理解することができる。また、インター予測部１６０は、動き補償を行うために時間インター予測（temporal inter-prediction）を行うことができる。時間インター予測とは、現在のテクスチャブロックと同一の視点および異なる時間帯に位置する参照ピクチャと、現在のテクスチャブロックの動き情報と、を用いたインター予測を意味し得る。また、複数のカメラによって撮影された多視点映像の場合、時間インター予測のみならず、視点間インター予測をさらに行うこともできる。視点間インター予測とは、現在のテクスチャブロックと異なる視点に位置する参照ピクチャと現在のテクスチャブロックの動き情報とを用いたインター予測を意味し得る。一方、理解の便宜のために、視点間予測に用いられる動き情報をビュー間（インタービュー）（視点間）（inter-view）動きベクトル、ビュー間参照インデックス情報と称することにする。したがって、本明細書において、動き情報は、ビュー間動きベクトルおよびビュー間参照インデックス情報を含む概念として柔軟に解釈することができる。

図２は、本発明が適用される一実施例であって、ビデオデコーダが適用される放送受信機の内部ブロック図である。

本実施例に係る放送受信機は、地上波放送信号（terrestrial broadcast signals）を受信し、映像を再生するためのものである。上記放送受信機は、受信した各デプス関連情報を用いて３次元コンテンツを生成することができる。上記放送受信機は、チューナ２００、復調（demodulator）／チャンネルデコーダ２０２、トランスポート逆多重化部２０４、脱パケット化（パケット解除）部（depacketizer）２０６、オーディオデコーダ２０８、ビデオデコーダ２１０、ＰＳＩ／ＰＳＩＰ処理部２１４、３Ｄレンダリング部２１６、フォーマッタ２２０およびディスプレイ部２２２を含む。

チューナ２００は、アンテナ（図示せず）を介して入力される多数の放送信号のうちユーザが選局したいずれか一つのチャンネルの放送信号を選択して出力する。復調／チャンネルデコーダ２０２は、チューナ２００からの放送信号を復調し、復調された信号に対してエラー訂正デコーディングを行い、トランスポートストリーム（ＴＳ）を出力する。トランスポート逆多重化部２０４は、トランスポートストリームを逆多重化し、ビデオＰＥＳとオーディオＰＥＳとを分離し、ＰＳＩ／ＰＳＩＰ情報を抽出する。脱パケット化部２０６は、ビデオＰＥＳおよびオーディオＰＥＳに対して脱パケット化（パケットを解除）し（depacketize）、ビデオＥＳおよびオーディオＥＳを復元する。オーディオデコーダ２０８は、オーディオＥＳをデコーディングし、オーディオビットストリームを出力する。オーディオビットストリームは、デジタル−アナログ変換器（図示せず）によってアナログ音声信号に変換され、増幅器（図示せず）によって増幅された後、スピーカ（図示せず）を通じて出力される。ビデオデコーダ２１０は、ビデオＥＳをデコーディングし、元の映像を復元する。上記オーディオデコーダ２０８および上記ビデオデコーダ２１０のデコーディング処理は、ＰＳＩ／ＰＳＩＰ処理部２１４によって確認されるパケットＩＤ（ＰＩＤ）に基づいて進めることができる。デコーディング処理で、上記ビデオデコーダ２１０はデプス情報を抽出することができる。また、仮想カメラ視点の映像を生成するのに必要な付加情報、例えば、カメラ情報、または相対的に手前にある客体によって隠される領域（Occlusion）を推定するための情報（例えば、客体輪郭線などの幾何学情報、客体透明度情報およびカラー情報）などを抽出して、３Ｄレンダリング部２１６に提供することができる。しかし、本発明の他の実施例においては、上記デプス情報および／または付加情報がトランスポート逆多重化部２０４によって分離されることもある。

ＰＳＩ／ＰＳＩＰ処理部２１４は、トランスポート逆多重化部２０４からのＰＳＩ／ＰＳＩＰ情報を受け取り、これをパージングしてメモリ（図示せず）またはレジスタに格納することによって、格納された情報に基づいて放送を再生させることを可能にする。３Ｄレンダリング部２１６は、復元された映像、デプス情報、付加情報およびカメラパラメータを用いて仮想カメラ位置でのカラー情報、デプス情報などを生成することができる。

また、３Ｄレンダリング部２１６は、復元された映像と上記復元された映像に対するデプス情報とを用いて３Ｄワーピング（Warping）を行うことによって、仮想カメラ位置での仮想映像を生成する。本実施例では、上記３Ｄレンダリング部２１６が上記ビデオデコーダ２１０と別個のブロックで構成される場合を説明しているが、これは一実施例に過ぎなく、上記３Ｄレンダリング部２１６は、上記ビデオデコーダ２１０に含まれてもよい。

フォーマッタ２２０は、デコーディング処理で復元した映像、すなわち、実際のカメラによって撮影された映像と、３Ｄレンダリング部２１６によって生成された仮想映像と、を該当の受信機でのディスプレイ方式に合わせてフォーマッティングし、ディスプレイ部２２２を通じて３Ｄ映像を表示させるようになる。ここで、上記３Ｄレンダリング部２１６による仮想カメラ位置でのデプス情報と仮想映像との合成、そして、フォーマッタ２２０による映像フォーマッティングは、ユーザの命令に応答して選択的に行うこともできる。すなわち、視聴者は、リモートコントローラ（図示せず）を操作することによって合成映像を表示させないこともでき、映像合成が行われる視点を指定することもできる。

以上説明したように、３Ｄ映像を生成するために、デプス情報は、３Ｄレンダリング部２１６で用いられているが、他の実施例として、上記ビデオデコーダ２１０で用いられることもある。

図３は、本発明が適用される一実施例であって、イントラ予測モードの種類を示したものである。

図３を参照すると、イントラ予測モードには、平面（プレーナ）（Planar）モード（ｉｎｔｒａ＿Ｐｌａｎａｒ）、ＤＣ（平均値）モード（ｉｎｔｒａ＿ＤＣ）、方向性（アンギュラ）（Angular）モード（ｉｎｔｒａ＿Ａｎｇｕｌａｒ）がある。ここで、平面モードとは、現在のブロックの上端（upper end）、左側、左側下端および右側上端に位置する隣接サンプルに加重値を適用し、現在のブロックのサンプルを予測するモードである。具体的には、上端および左側下端に位置する各隣接サンプルのバイリニア（二重線形）補間（bi-linear interpolation）による値と、左側および右側上端に位置する各隣接サンプルのバイリニア補間による値をそれぞれ算出し、算出した各値の平均値を現在のブロックの予測されたサンプルとして用いることができる。上記ＤＣモードは、現在のブロックの上端、左側、左側上端に位置する各隣接サンプルの平均値を用いて現在のブロックのサンプルを予測するモードである。上記方向性モードは、予測方向の角度による隣接サンプルを用いて現在のブロックのサンプルを予測するモードである。方向性モードは、図３に示したように、垂直モードと水平モードを含む合計３３個のイントラ予測モードとして定義することができる。

図４は、本発明が適用される一実施例であって、現在のブロックの候補モードリストを生成する方法を示したフローチャートである。

候補モードリストは、現在のブロックが利用可能な複数のイントラ予測モードと、それぞれのイントラ予測モードに対応するリストインデックス情報と、を定義する。ここで、複数のイントラ予測モードは、現在のブロックが使用する可能性が大きい順に配列することができる。また、上記リストインデックス情報は、候補モードリスト内に順次配列されたイントラ予測モードの位置を特定することができる。以下、図４を参照して、候補モードリストを生成する方法について説明する。

まず、隣接ブロックのイントラ予測モードを取得することができる（ステップＳ４００）。ここで、隣接ブロックは、現在のブロックに隣接する左側隣接ブロックおよび上側（上端）隣接ブロック（upper neighboring block）を含むことができる。ただし、上記隣接ブロックが存在しない場合、または上記隣接ブロックがイントラモードでコーディングされていない場合、該当の隣接ブロックは、イントラ予測モードを有していない可能性がある。この場合は、既に定義されたイントラ予測モード（例えば、ＤＣモード）を上記隣接ブロックに割り当てることによって、隣接ブロックのイントラ予測モードを取得することもできる。

ステップＳ４００で取得された左側隣接ブロックのイントラ予測モード（ＩｎｔｒａＭｏｄｅ_left）と上側隣接ブロックのイントラ予測モード（ＩｎｔｒａＭｏｄｅ_top）とが同一であるか否かを確認することができる（ステップＳ４１０）。これは、候補モードリストに同一のイントラ予測モードを冗長的に含ませることを排除するためである。

ステップＳ４１０の確認の結果、両者のイントラ予測モードが同一である場合、左側隣接ブロックのイントラ予測モードが平面モードであるか、それともＤＣモードであるかを確認することができる（ステップＳ４２０）。

左側隣接ブロックのイントラ予測モードが平面モードおよびＤＣモードのうちいずれか一つに該当する場合、候補モードリストは、平面モード、ＤＣモードおよび垂直モードを含むことができる（ステップＳ４３０）。具体的には、候補モードリスト内でリストインデックス情報が０である位置に平面モードを割り当て、リストインデックス情報が１である位置にＤＣモードを割り当て、リストインデックス情報が２である位置に垂直モードを割り当てることができる。

一方、左側隣接ブロックのイントラ予測モードが平面モードおよびＤＣモードのうちいずれか一つに該当しない場合、候補モードリストは、左側隣接ブロックのイントラ予測モードと、これから導出されたイントラ予測モードと、を含むことができる（ステップＳ４４０）。

具体的には、リストインデックス情報が０である位置に左側隣接ブロックのイントラ予測モードを割り当てる。その後、左側隣接ブロックのイントラ予測モードの値から１を引いた値に対応するイントラ予測モードをリストインデックス情報が１である位置に割り当て、左側隣接ブロックのイントラ予測モードの値に１を足した値に対応するイントラ予測モードをリストインデックス情報が２である位置に割り当てることができる。例えば、左側隣接ブロックのイントラ予測モードの値が１０である場合、イントラ予測モードの値が９および１１であるイントラ予測モードを上記候補モードリストに含ませることができる。

一方、ステップＳ４１０の確認の結果、両者のイントラ予測モードが同一でない場合、上記候補モードリストは、左側隣接ブロックのイントラ予測モードおよび上側隣接ブロックのイントラ予測モードを含むことができる（ステップＳ４５０）。

具体的には、リストインデックス情報が０である位置に左側隣接ブロックのイントラ予測モードを割り当て、リストインデックス情報が１である位置に上側隣接ブロックのイントラ予測モードを割り当てることができる。さらに、リストインデックス情報が２である位置には左側／上側隣接ブロックのイントラ予測モードを考慮して、予め定義されたイントラ予測モードを割り当てることができる。例えば、平面モード、ＤＣモードおよび垂直モードのうち左側／上側隣接ブロックのイントラ予測モードと同一でないモードを選択し、これをリストインデックス情報が２である位置に割り当てることができる。ここで、平面モード、ＤＣモードおよび垂直モードの間の優先順位を考慮して、左側／上側隣接ブロックのイントラ予測モードと同一であるか否かを確認することができる。この確認処理は、左側／上側隣接ブロックのイントラ予測モードと同一でないモードを発見するまで行うことができる。

一方、空間的に隣接した隣接ブロックのイントラ予測モードだけでなく、隣接視点の参照ブロックのイントラ予測モードを上記候補モードリストに追加することができ、これについては、以下の図５および図６を参照して説明する。

図５は、本発明が適用される一実施例であって、隣接視点の参照ブロックのイントラ予測モードを含む候補モードリストを生成する方法を示したフローチャートである。

図５を参照すると、現在の視点の現在のブロックの視差ベクトル（disparity vector）を取得することができる（ステップＳ５００）。ここで、視差ベクトルは、視点方向に現在のブロックに対応する参照ブロックを特定する動きベクトルを意味し得る。上記現在のブロックの視差ベクトルは、隣接ブロックの視差ベクトルから導出することができる。ここで、隣接ブロックは、現在のブロックの左側、上側、左側下端、右側上端および左側上端に位置する隣接ブロックのうち少なくとも一つを含むことができる。例えば、上記隣接ブロックが有する視差ベクトルを現在のブロックの視差ベクトルとして設定することができる。または、上記現在のブロックの視差ベクトルは、現在のブロックに対応するデプスデータから導出することもできる。具体的な導出方法は、数式３および４に基づいて説明する。

数式３を参照すると、Ｚは、該当のピクセルのカメラからの距離を意味し、Ｄは、Ｚを量子化した値であって、デプスデータに対応する。Ｚ_nearおよびＺ_farは、現在の視点に対して定義されたＺの最小値および最大値をそれぞれ意味する。また、Ｚ_nearおよびＺ_farは、シーケンスパラメータセット、スライスヘッダなどを通じてビットストリームから抽出することができ、デコーダ内で予め定義された情報であってもよい。したがって、該当のピクセルのカメラからの距離Ｚを２５６レベルで量子化した場合、数式３のように、デプスデータ、Ｚ_nearおよびＺ_farを用いてＺを復元することができる。その後、復元されたＺを用いて数式４のように現在のブロックに対する視差ベクトルを導出することができる。

数式４において、ｄは、視差ベクトルを意味し、ｆは、カメラの焦点距離を意味し、Ｂは、カメラ間の距離を意味する。ｆおよびＢは、すべてのカメラに対して同一であると仮定することができ、したがって、デコーダに予め定義された情報であってもよい。

上記現在のブロックの視差ベクトルに基づいて隣接視点の参照ブロックを取得することができる（ステップＳ５１０）。ここで、隣接視点は、現在の視点でない他の視点を意味し得る。または、上記隣接視点は、視点間予測をせず、他の視点と独立してコーディングされる基準（ベース）視点（base view）を意味することもできる。一方、上記参照ブロックは、現在のブロックの位置を基準にして視差ベクトルによって特定されたブロックを意味し得る。

上記参照ブロックがイントラモードでコーディングされたブロックであるか否かを確認することができる（ステップＳ５２０）。換言すると、上記参照ブロックがイントラ予測モードを有しているか否かを確認することができる。

ステップＳ５２０の確認の結果、参照ブロックがイントラモードでコーディングされたブロックである場合、上記参照ブロックのイントラ予測モードを用いて修正された候補モードリストを生成することができる（ステップＳ５３０）。具体的な生成方法については、以下の図６を参照して説明する。

図６は、本発明が適用される一実施例であって、隣接視点の参照ブロックのイントラ予測モードを用いて修正された候補モードリストを生成する方法を示したものである。

１．候補モードリストの再配列（Rearrangement）
隣接視点の参照ブロックのイントラ予測モードと候補モードリストに含まれたイントラ予測モードとが同一であるか否かを確認することができる。上記候補モードリスト内に上記隣接視点からのイントラ予測モードと同一のイントラ予測モードが存在する場合、現在のブロックは、上記隣接視点からのイントラ予測モードと同一のイントラ予測モードを選択する確率が高い。この場合、上記隣接視点からのイントラ予測モードと同一の候補モードリスト内のイントラ予測モードに対応するリストインデックス情報を変更し、これを再配列することができる。例えば、上記隣接視点からのイントラ予測モードと同一のイントラ予測モードの位置とリストインデックス情報が０である位置のイントラ予測モードの位置とを互いに入れ換える（スワップする）（swap）ことによって、候補モードリストを再配列することができる。ただし、上記隣接視点からのイントラ予測モードと同一のイントラ予測モードが既にリストインデックス情報が０である位置に存在する場合、上記再配列処理はスキップし得る。

例えば、図６（ａ）を参照すると、隣接視点からのイントラ予測モード（ＭＰＭｖｉｅｗ）が候補モードリスト内でリストインデックス情報が２である位置のイントラ予測モード（ＭＰＭ２）と同一である場合、リストインデックス情報が２である位置のイントラ予測モード（ＭＰＭ２）の位置とリストインデックス情報が０である位置のイントラ予測モード（ＭＰＭ０）の位置とを互いに入れ換えることができる。このように選択される確率が大きいイントラ予測モードをリストインデックス情報が０である位置に配列することによって、候補モードリスト内で現在のブロックのイントラ予測モードを特定するモードインデックス情報をコーディングするのに必要なビット数を減少させることができる。

２．イントラ予測モードの置換（Replacement）
候補モードリスト内の複数のイントラ予測モード（ＭＰＭ０、ＭＰＭ１、ＭＰＭ２）のうちいずれか一つを隣接視点からのイントラ予測モード（ＭＰＭｖｉｅｗ）に置き換えることができる。好ましくは、上記複数のイントラ予測モードのうちリストインデックス情報が２である位置のイントラ予測モード（ＭＰＭ２）を隣接視点からのイントラ予測モード（ＭＰＭｖｉｅｗ）に置き換えることができる。これは、リストインデックス情報が２である位置のイントラ予測モード（ＭＰＭ２）が、候補モードリスト内のイントラ予測モードのうち最も選択率が低下するためである。

３．イントラ予測モードの追加（Addition）
空間隣接ブロックのイントラ予測モードから導出された候補モードリストに隣接視点からのイントラ予測モードを追加することができる。

例えば、図６（ｃ）を参照すると、隣接視点からのイントラ予測モードは、候補モードリスト内で最下端に位置し得る。すなわち、リストインデックス情報が３である位置に追加することができる。このように、候補モードリスト内にリストインデックス情報が３である位置にイントラ予測モードを追加したとしても、ＭＰＭ０〜ＭＰＭ３は依然として２ビットでコーディング可能である。

また、本発明の一実施例として、隣接視点からのイントラ予測モードは、候補モードリスト内で最上端に位置し得る。すなわち、リストインデックス情報が０である位置に追加することができる。この場合、リストインデックス情報が０である位置のイントラ予測モードはリストインデックス情報が１である位置に、リストインデックス情報が１である位置のイントラ予測モードはリストインデックス情報が２である位置に、リストインデックス情報が２である位置のイントラ予測モードはリストインデックス情報が３である位置にそれぞれ再配列することができる。

また、本発明が適用される一実施例として、隣接視点からのイントラ予測モードが平面モードまたはＤＣモードである場合は候補モードリスト内で最上端に位置させ、そうでない場合（方向性モードである場合）は候補モードリスト内で最下端に位置させるよう設定することもできる。

一方、修正された候補モードリストを生成する処理を適応的に用いるために、ベースモード利用フラグを定義することができる。ここで、ベースモード利用フラグは、現在のブロックに対する候補モードリストの生成において、隣接視点からのイントラ予測モードを用いるか否かを示す情報を意味し得る。したがって、上記ベースモード利用フラグが隣接視点からのイントラ予測モードを用いることを示す場合に限って、隣接視点の参照ブロックからイントラ予測モードを取得することができる。

また、隣接視点からのイントラ予測モードが既に生成された候補モードリスト内のイントラ予測モードと同一であるか否かを比較し、上述した候補モードリストの再配列方式、イントラ予測モードの置換方式およびイントラ予測モードの追加方式のうちいずれか一つを特定することができる。隣接視点からのイントラ予測モードと同一のイントラ予測モードが既に生成された候補モードリストに含まれている場合、上記イントラ予測モードの置換またはイントラ予測モードの追加は有利でない可能性がある。したがって、隣接視点からのイントラ予測モードと同一のイントラ予測モードが既に生成された候補モードリストに含まれている場合は候補モードリストの再配列方式を用い、そうでない場合はイントラ予測モードの置換方式またはイントラ予測モードの追加方式を用いるよう設定することができる。

図７は、本発明が適用される一実施例であって、候補モードリストを用いて現在のブロックのイントラ予測モードを導出する方法を示したフローチャートである。

ここで、候補モードリストは、空間隣接ブロックを用いて導出された候補モードリストを意味するだけでなく、隣接視点からのイントラ予測モードを用いて修正された候補モードリストをすべて含む概念として理解することができる。

図７を参照すると、ビットストリームから候補モードフラグを取得することができる（ステップＳ７００）。ここで、候補モードフラグは、現在のブロックが候補モードリストからのイントラ予測モードを用いるか否かを示す情報を意味し得る。

上記取得された候補モードフラグが、現在のブロックが候補モードリストからのイントラ予測モードを用いることを示す場合、ビットストリームからイントラモードインデックス情報を取得することができる（ステップＳ７１０）。ここで、イントラモードインデックス情報は、候補モードリスト内で現在のブロックの画面内予測のために使用されるイントラ予測モードを特定する情報を意味し得る。

したがって、候補モードリストから上記イントラモードインデックス情報に対応するイントラ予測モードを取得することができる（ステップＳ７２０）。

一方、上記取得された候補モードフラグが、現在のブロックが候補モードリストからのイントラ予測モードを用いないことを示す場合、ビットストリームからイントラ予測モードを抽出することができる（ステップＳ７３０）。ビットストリームから抽出されたイントラ予測モードは、３５個のイントラ予測モードから候補モードリストに含まれたイントラ予測モードを除いたイントラ予測モードのうちいずれか一つを特定し得る。したがって、上記抽出されたイントラ予測モードに基づいて現在のブロックのイントラ予測モードを導出することができる（ステップＳ７４０）。

以上説明した各実施例は、本発明の各構成要素と各特徴が所定の形態で組み合わせられたものである。各構成要素または特徴は、別途の明示的な言及がない限り、選択的なものとして考慮しなければならない。各構成要素または特徴は、他の構成要素や特徴と組み合わせられない形態で実施することができる。また、一部の構成要素および／または特徴を組み合わせて本発明の実施例を構成することも可能である。本発明の各実施例で説明する各動作の順序は変更可能である。いずれかの実施例の一部の構成や特徴は他の実施例に含ませることができ、または、他の実施例の対応する構成または特徴と置き換えることができる。

本発明は、ビデオ信号をコーディングするのに用いることができる。

Claims (7)

1. 現在のブロックの空間隣接ブロックからのイントラ予測モードに基づいて前記現在のブロックの候補モードリストを生成するステップと、
   前記現在のブロックの隣接視点からのイントラ予測モードに基づいて前記候補モードリストを修正するステップと、
   前記修正した候補モードリストに基づいて前記現在のブロックのイントラ予測モードを導出するステップと、
   前記導出したイントラ予測モードを用いて前記現在のブロックを予測するステップと、を有し、
   前記候補モードリストを修正するステップは、
   前記隣接視点からのイントラ予測モードを前記候補モードリストのイントラ予測モードと比較するステップと、
   前記隣接視点からのイントラ予測モードが０以外のリストインデックスに対応する特定のイントラ予測モードと同じである場合、前記特定のイントラ予測モードの位置とリストインデックス０に対応するイントラ予測モードの位置とを入れ換えて前記候補モードリストを再配列するステップと、
   前記隣接視点からのイントラ予測モードが前記候補モードリストのイントラ予測モードと同じでない場合、前記隣接視点からのイントラ予測モードを前記候補モードリストにおけるリストインデックス３に対応する位置に追加するステップと、を有する、ビデオデコーダによるビデオ信号処理方法。
2. 前記空間隣接ブロックは、前記現在のブロックに隣接した左側隣接ブロックおよび上側隣接ブロックのうち少なくとも一つを有する、請求項１に記載のビデオ信号処理方法。
3. 前記候補モードリストを修正するステップは、
   前記現在のブロックの視差ベクトルを取得するステップと、
   前記視差ベクトルに基づいて前記隣接視点の参照ブロックを取得するステップと、
   前記参照ブロックがイントラモードでコーディングされたブロックであるか否かを確認するステップと、
   前記参照ブロックがイントラモードでコーディングされたブロックである場合、前記隣接視点からのイントラ予測モードとして前記参照ブロックのイントラ予測モードを用いるステップと、をさらに有する、請求項１に記載のビデオ信号処理方法。
4. 前記現在のブロックの視差ベクトルは、前記現在のブロックの左側、上側、左側下端、右側上端および左側上端に位置する各隣接ブロックのうち少なくとも一つの隣接ブロックの視差ベクトルを用いて取得される、請求項３に記載のビデオ信号処理方法。
5. 前記現在のブロックの視差ベクトルは、前記現在のブロックに対応するデプスデータから導出される、請求項３に記載のビデオ信号処理方法。
6. 前記候補モードリストは、前記現在のブロックが利用可能な複数のイントラ予測モードと、前記複数のイントラ予測モードのそれぞれに対応するリストインデックス情報と、を定義し、
   前記リストインデックス情報は、前記候補モードリスト内に順次配列された前記複数のイントラ予測モードのそれぞれの位置を特定する、請求項１に記載のビデオ信号処理方法。
7. 現在のブロックの空間隣接ブロックからのイントラ予測モードに基づいて前記現在のブロックの候補モードリストを生成し、
   前記現在のブロックの隣接視点からのイントラ予測モードに基づいて前記候補モードリストを修正し、
   前記修正した候補モードリストに基づいて前記現在のブロックのイントラ予測モードを導出し、
   前記導出したイントラ予測モードを用いて前記現在のブロックを予測する、よう構成されたイントラ予測部を有し、
   前記候補モードリストを修正することは、
   前記隣接視点からのイントラ予測モードを前記候補モードリストのイントラ予測モードと比較することと、
   前記隣接視点からのイントラ予測モードが０以外のリストインデックスに対応する特定のイントラ予測モードと同じである場合、前記特定のイントラ予測モードの位置とリストインデックス０に対応するイントラ予測モードの位置とを入れ換えて前記候補モードリストを再配列することと、
   前記隣接視点からのイントラ予測モードが前記候補モードリストのイントラ予測モードと同じでない場合、前記隣接視点からのイントラ予測モードを前記候補モードリストにおけるリストインデックス３に対応する位置に追加することと、を有する、ビデオ信号を処理するビデオデコーダ。

Images