JP5324563B2

JP5324563B2 - ビデオ符号化及び復号化におけるタイリング

Info

Publication number: JP5324563B2
Application number: JP2010503074A
Authority: JP
Inventors: パンディット，パーヴィン，ビバス; イン，ペン; ティアン，ドン
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2007-04-12
Filing date: 2008-04-11
Publication date: 2013-10-23
Anticipated expiration: 2028-04-11
Also published as: EP3920538B1; US9706217B2; CN101658037A; JP6825155B2; KR102204262B1; BRPI0809510B1; ES2586406T3; KR101885790B1; KR20170106987A; HUE053544T2; KR20210006026A; BR122018004903B1; DK2512136T3; RU2014116612A; ES2941888T3; US9185384B2; PL2887671T3; BRPI0809510A2; KR102044130B1; SI3758381T1

Description

本出願は、（１）「ＭｕｌｔｉｖｉｅｗＩｎｆｏｒｍａｔｉｏｎ」と題する西暦２００７年４月１２日付け出願の米国特許仮出願第６０／９２３０１４号（代理人整理番号ＰＵ０７００７８号）及び（２）「ＶｉｅｗＴｉｌｉｎｇｉｎＭＶＣＣｏｄｉｎｇ」と題する西暦２００７年４月２０日付け出願の米国特許仮出願第６０／９２５４００号（代理人整理番号ＰＵ０７００１０３号）それぞれの利益を主張する。前述の２つの出願はそれぞれ、内容全体を本明細書及び特許請求の範囲に援用する。

本願の原理は一般に、ビデオ符号化及び／又は復号化に関する。

ビデオ・ディスプレイ製造業者は、単一のフレーム上に別々のビューを配置又はタイリングするフレームワークを使用し得る。その場合、ビューは、そのそれぞれの位置から抽出し、レンダリングすることができる。

一般的な局面によれば、単一のピクチャに合成された複数のピクチャを含むビデオ・ピクチャがアクセスされる。アクセスされたビデオ・ピクチャにおける複数のピクチャがどのようにして合成されるかを示す情報がアクセスされる。合成された複数のピクチャの復号化された表現を提供するためにビデオ・ピクチャが復号化される。アクセスされた情報及び復号化されたビデオ・ピクチャが出力として供給される。

別の一般的な局面によれば、ビデオ・ピクチャに含まれる複数のピクチャがどのようにして単一のピクチャに合成されるかを示す情報が生成される。合成された複数のピクチャの符号化された表現を供給するためにビデオ・ピクチャが符号化される。生成された情報及び符号化されたビデオ・ピクチャが出力として供給される。

別の一般的な局面によれば、信号又は信号構造は、単一のビデオ・ピクチャに含まれる複数のピクチャが単一のビデオ・ピクチャにどのようにして合成されるかを示す情報を含む。信号又は信号構造は、合成された複数のピクチャの符号化された表現も含む。

別の一般的な局面によれば、単一のピクチャに合成された複数のピクチャを含むビデオ・ピクチャがアクセスされる。アクセスされたビデオ・ピクチャにおける複数のピクチャがどのようにして合成されるかを示す情報がアクセスされる。複数のピクチャのうちの少なくとも１つの復号化された表現を供給するためにビデオ・ピクチャが復号化される。アクセスされた情報及び復号化された表現が出力として供給される。

別の一般的な局面によれば、単一のピクチャに合成された複数のピクチャを含むビデオ・ピクチャがアクセスされる。アクセスされたビデオ・ピクチャにおける複数のピクチャがどのようにして合成されるかを示す情報がアクセスされる。合成された複数のピクチャの復号化された表現を供給するためにビデオ・ピクチャが復号化される。表示するために複数のピクチャの少なくとも１つを選択するユーザ入力が受け取られる。選択された少なくとも１つのピクチャの復号化された出力が供給され、復号化された出力は、アクセスされた情報、復号化された表現、及びユーザ入力に基づいて供給される。

単一のフレーム上にタイリングされた４つのビューの例を示す図である。単一のフレーム上で反転させ、タイリングされた４つのビューの例を示す図である。本願の原理の実施例による、本願の原理を施すことができるビデオ符号化器を示すブロック図である。本願の原理の実施例による、本願の原理を施すことができるビデオ復号化器を示すブロック図である。本願の原理の実施例による、ＭＰＥＧ−４ＡＶＣ標準を使用して複数のビューのピクチャを符号化する方法のフロー図である。本願の原理の実施例による、ＭＰＥＧ−４ＡＶＣ標準を使用して複数のビューのピクチャを符号化する方法のフロー図である。本願の原理の実施例による、ＭＰＥＧ−４ＡＶＣ標準を使用して複数のビューのピクチャを復号化する方法のフロー図である。本願の原理の実施例による、ＭＰＥＧ−４ＡＶＣ標準を使用して複数のビューのピクチャを復号化する方法のフロー図である。本願の原理の実施例による、ＭＰＥＧ−４ＡＶＣ標準を使用して複数のビュー及び深度のピクチャを符号化する方法のフロー図である。本願の原理の実施例による、ＭＰＥＧ−４ＡＶＣ標準を使用して複数のビュー及び深度のピクチャを符号化する方法のフロー図である。本願の原理の実施例による、ＭＰＥＧ−４ＡＶＣ標準を使用して複数のビュー及び深度のピクチャを復号化する方法のフロー図である。本願の原理の実施例による、ＭＰＥＧ−４ＡＶＣ標準を使用して複数のビュー及び深度のピクチャを復号化する方法のフロー図である。本願の原理の実施例による、深度信号の例を示す図である。本願の原理の実施例による、タイルとして加えられた深度信号の例を示す図である。本願の原理の実施例による、単一のフレーム上にタイリングされた５つのビューの例を示す図である。本願の原理の実施例による、本願の原理を施すことができる例示的なマルチビュー・ビデオ符号化（ＭＶＣ）符号化器のブロック図である。本願の原理の実施例による、本願の原理を施すことができる例示的なマルチビュー・ビデオ符号化（ＭＶＣ）復号化器のブロック図である。本願の原理の実施例による、ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）の拡張を使用したピクチャの符号化に備えて複数のビューのピクチャを処理する方法のフロー図である。本願の原理の実施例による、ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）の拡張を使用して複数のビューのピクチャを符号化する方法のフロー図である。本願の原理の実施例による、ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）の拡張を使用して複数のビューのピクチャを符号化する方法のフロー図である。本願の原理の実施例による、ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）の拡張を使用したピクチャの復号化に備えて複数のビューのピクチャを処理する方法のフロー図である。本願の原理の実施例による、ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）拡張を使用して複数のビューのピクチャを復号化する方法のフロー図である。本願の原理の実施例による、ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）拡張を使用して複数のビューのピクチャを復号化する方法のフロー図である。本願の原理の実施例による、ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）の拡張を使用したピクチャの符号化に備えて複数のビュー及び深度のピクチャを処理する方法のフロー図である。本願の原理の実施例による、ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）の拡張を使用して複数のビュー及び深度のピクチャを処理する方法のフロー図である。本願の原理の実施例による、ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）の拡張を使用して複数のビュー及び深度のピクチャを処理する方法のフロー図である。本願の原理の実施例による、ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）拡張を使用したピクチャの復号化に備えて複数のビュー及び深度のピクチャを処理する方法のフロー図である。本願の原理の実施例による、ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）の拡張を使用して複数のビュー及び深度のピクチャを復号化する方法のフロー図である。本願の原理の実施例による、ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）の拡張を使用して複数のビュー及び深度のピクチャを復号化する方法のフロー図である。本願の原理の実施例による、画素レベルにおけるタイリング例を示す図である。本願の原理の実施例による、本願の原理を施すことができるビデオ処理装置を示すブロック図である。

１つ又は複数の実現形態の詳細は、添付図面及び以下明細書に記載する。特定の１つのやり方で記載されていても、実現形態は種々のやり方で構成又は実施することができる。例えば、実現形態は、方法として行うか、あるいは、動作の組を行うよう構成された装置として実施するか、あるいは、動作の組を行うための命令を記憶する装置として実施するか、あるいは、信号において実施することができる。他の局面及び特徴は、添付図面及び特許請求の範囲に関して検討される以下の詳細な説明から明らかになるであろう。

種々の実現形態は、ビデオ符号化及び復号化においてビューをタイリングする方法及び装置に関する。よって、当業者は、本明細書及び特許請求の範囲に明示的に説明するか、又は示していないが、本願の原理を実施し、その趣旨及び範囲の範囲内に含まれる種々の構成を考え出すことができるであろう。

本明細書及び特許請求の範囲記載の例及び条件付文言は全て、本願の原理、及び当該技術分野を発展させるために本願の発明者が貢献する概念の、読者の理解を支援するための教示の目的を意図しており、前述の、特記した例及び条件への限定なしであると解釈するものとする。

更に、本願の原理、局面、及び実施例、並びにそれらの具体例を記載した、本明細書及び特許請求の範囲の記載は全て、その構造的均等物及び機能的均等物を包含することを意図している。更に、前述の均等物は、現在知られている均等物、及び将来に開発される均等物（すなわち、構造にかかわらず、同じ機能を行う、開発された何れかの構成要素）をともに含むことが意図されている。

よって、例えば、本明細書及び特許請求の範囲に提示されたブロック図が、本願の原理を実施する例証的な回路の概念図を表すことは当業者によって認識されるであろう。同様に、フローチャート、フロー図、状態遷移図、擬似コード等は何れも、コンピュータ読み取り可能な媒体において実質的に表し、コンピュータ又はプロセッサにより、前述のコンピュータ又はプロセッサが明記されているか否かにかかわらず、実行し得る種々の処理を表す。

図に示す種々の構成要素の機能は、専用ハードウェア、及び適切なソフトウェアに関連してソフトウェアを実行することができるハードウェアの使用によって提供することができる。プロセッサによって提供される場合、機能は、単一の専用プロセッサによって提供されるか、単一の共有プロセッサによって提供されるか、又は、複数の個々のプロセッサ（この一部は共有であり得る）によって提供され得る。更に、「プロセッサ」又は「コントローラ」の語を明示的に使用していることは、ソフトウェアを実行することができるハードウェアを専ら表すものと解するべきでなく、暗黙的には、限定列挙でないが、ディジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するための読み取り専用メモリ（「ＲＯＭ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）及び不揮発性記憶装置を含み得る。

他のハードウェア（汎用及び／又はカスタム）も含まれ得る。同様に、図に示すスイッチは何れも概念のみである。前述の機能は、プログラム・ロジックの動作によるか、専用ロジックによるか、プログラム制御及び専用ロジックの相互作用によるか、又は手作業によって行うことができ、特定の手法は、前後関係からより具体的に分かるように実現者によって選択可能である。

本願の特許請求の範囲では、特定の機能を行う手段として表される構成要素は何れも、その機能を行う何れの手段（例えば、ａ）その機能を行う回路構成要素の組合せや、ｂ）機能を行うためにそのソフトウェアを実行する適切な回路と組み合わせた、ファームウェア、マイクロコード等を含む、何れかの形態のソフトウェア）も包含することが意図される。前述の特許請求の範囲で規定された本願の原理は、記載された種々の手段によって提供される機能が、請求項が要求するやり方で組合せられ、集約されるということに存在する。よって、前述の機能を提供することが可能な手段は何れも、本願の明細書及び特許請求の範囲記載のものと均等であるとみなされる。

本願明細書における、本願の原理の「ｏｎｅｅｍｂｏｄｉｍｅｎｔ」（若しくは「ｏｎｅｉｍｐｌｅｍｅｎｔａｔｉｏｎ」）又は「ａｎｅｍｂｏｄｉｍｅｎｔ」（若しくは「ａｎｉｍｐｌｅｍｅｎｔａｔｉｏｎ」）への言及は、本願の実施例に関して説明した特定の構成、構造、特性等が本願の原理の少なくとも一実施例に含まれていることを意味している。よって、本明細書全体の種々の箇所に記載された「ｉｎｏｎｅｅｍｂｏｄｉｍｅｎｔ」又は「ｉｎａｎｅｍｂｏｄｉｍｅｎｔ」の句は、必ずしも、同じ実施例を全て表している訳でない。

「及び／又は」の語や「少なくとも一方」の語を使用していることは、例えば、「Ａ及び／又はＢ」や「Ａ及びＢのうちの少なくとも一方」の場合には、最初に挙げられた選択肢（Ａ）のみの選択、第２に挙げられた選択肢（Ｂ）のみの選択、又は両方の選択肢（Ａ及びＢ）の選択を包含することが意図されている。更なる例として、「Ａ、Ｂ、及び／又はＣ」や「Ａ、Ｂ及びＣのうちの少なくとも１つ」の場合、前述の句は、第１に挙げられた選択肢（Ａ）のみの選択、第２に挙げられた選択肢（Ｂ）のみの選択、第３に挙げられた選択肢（Ｃ）のみの選択、第１に挙げられた選択肢及び第２に挙げられた選択肢（Ａ及びＢ）のみの選択、第１に挙げられた選択肢及び第３に挙げられた選択肢（Ａ及びＣ）のみの選択、第２に挙げられた選択肢及び第３に挙げられた選択肢（Ｂ及びＣ）のみの選択、又は、３つの選択肢（Ａ、Ｂ及びＣ）全ての選択を包含することを意図している。当該技術分野及び関連技術分野において通常の知識を有する者が容易に分かるように、このことは、挙げられたいくつもの項目について拡張することができる。

更に、本願の原理の１つ又は複数の実施例は本明細書及び特許請求の範囲においてＭＰＥＧ−４ＡＶＣ標準に関して説明しているが、本願の原理は単にこの標準に限定されず、よって、本願の原理の趣旨を維持しながら、他の標準、勧告、及びその拡張（特に、ＭＰＥＧ−４ＡＶＣ標準の拡張を含むビデオ符号化標準、勧告、及びその拡張）に関して利用することができる。

更に、本願の原理の他の１つ又は複数の実施例は本明細書及び特許請求の範囲においてＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化の拡張に関して説明しているが、本願の原理は、単にこの拡張及び／又はこの標準に限定されず、よって、本願の原理の趣旨を維持しながら、マルチビュー・ビデオ符号化に関する他のビデオ符号化の標準、勧告、及びそれらの拡張（特に、ビデオ符号化の標準、勧告、及びそれらの拡張（ＭＰＥＧ−４ＡＶＣ標準の拡張に利用することができる。マルチビュー・ビデオ符号化（ＭＶＣ）は、マルチビュー系列の符号化の圧縮フレームワークである。マルチビュー・ビデオ符号化（ＭＶＣ）系列は、別々の視点からの同じシーンを捕捉する２つ以上のビデオ系列の組である。

更に、本明細書及び特許請求の範囲においては、ビデオ・コンテンツに関して深度情報を使用する本願の原理の他の１つ又は複数の実施例を記載しているが、本願の原理は前述の実施例に限定されず、よって、本願の原理の趣旨を維持しながら、深度情報を使用しない他の実施例を実現することができる。

更に、本明細書及び特許請求の範囲では、「高位構文」は、階層的にマクロブロック層の上の、ビットストリーム内に存在している構文を表す。例えば、本明細書及び特許請求の範囲記載の高位構文は、スライス・ヘッダ・レベル、付加拡張情報（ＳＥＩ）レベル、ピクチャ・パラメータ・セット（ＰＰＳ）レベル、シーケンス・パラメータ・セット（ＳＰＳ）レベル、ビュー・パラメータ・セット（ＶＰＳ）レベル、及びネットワーク抽象化層（ＮＡＬ）ユニット・ヘッダ・レベルの構文を表し得るが、それらに限定されない。

国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）動画像専門家グループ−４（ＭＰＥＧ−４）パート１０高度ビデオ符号化（ＡＶＣ）標準／国際電気通信連合（ＩＴＵ−Ｔ）Ｈ．２６４勧告（以下、「ＭＰＥＧ−４ＡＶＣ標準」）に基づいたマルチビデオ符号化（ＭＶＣ）の現在の実現形態では、参照ソフトウェアが、各ビューを単一の符号化器で符号化し、ビュー間参照を考慮に入れることにより、マルチビュー予測を達成する。各ビューは、別個のビットストリームとして符号化器により、その元の分解能で符号化され、その後、全てのビットストリームを合成して単一のビットストリームを形成する。上記単一のビットストリームはその後、復号化される。各ビューは、別個のＹＵＶ復号化出力を生成する。

マルチビュー予測の別の手法は、ビューの組を疑似ビューにグループ化することを伴う。この手法の一例では、実施可能なダウンサンプリング又は他の処理により、より大きなフレーム上又はスーパー・フレーム上の合計Ｍ個のビュー（同時にサンプリングされる）のうちのＮ個のビューからのピクチャをタイリングすることが可能である。図１に移れば、単一のフレーム上にタイリングされた４つのビューの例の全体を参照符号１００で示す。４つのビューは全て、その通常の向きにある。

図２に移れば、単一のフレーム上で反転させ、タイリングされた４つのビューの例の全体を参照符号２００で示す。左上のビューは、その通常の向きにある。右上のビューは水平方向に反転させている。左下のビューは垂直方向に反転させている。右下のビューは、水平方向及び垂直方向に反転させている。よって、４つのビューが存在している場合、各ビューからのピクチャが、タイルのようなスーパー・フレームに配置される。これは、高分解能の単一の非符号化入力系列をもたらす。

あるいは、画像をダウンサンプリングして、より低い分解能をもたらすことが可能である。よって、併せてタイリングされた別々のビューをそれぞれが含む複数の系列を作成する。その場合、前述の系列はそれぞれ、別々のＮ個のタイリングされたビューをそれぞれが含む疑似ビューを形成する。図１は一疑似ビューを示し、図２は別の疑似ビューを示す。これらの疑似ビューは次いで、ＩＳＯ／ＩＥＣＭＰＥＧ−２標準やＭＰＥＧ−４ＡＶＣ標準などの既存のビデオ符号化標準を使用して符号化することが可能である。

マルチビュー予測の更に別の手法は、新たな標準を使用して、別々のビューを別個に符号化し、復号化後、プレイヤによって要求されるようにビューをタイリングすることを伴う。

更に、別の手法では、ビューは、画素単位でタイリングすることも可能である。例えば、４つのビューを含むスーパービューでは画素（ｘ，ｙ）はビュー０からであり得る一方、画素（ｘ＋１，ｙ）はビュー１からであり得、画素（ｘ，ｙ＋１）はビュー２からであり得、画素（ｘ＋１，ｙ＋１）はビュー３からであり得る。

多くのディスプレイ製造業者は、単一のフレーム上に別々のビューを配置又はタイリングし、それらのそれぞれの位置からのビューを抽出し、レンダリングする前述のフレームワークを使用する。前述の場合、ビットストリームが前述の特性を有するかを判定する標準的なやり方は存在しない。よって、システムが、大きなフレームにおいて別々のビューのピクチャをタイリングする方法を使用する場合、別々のビューを抽出する方法は、そのシステム固有のものである。

しかし、ビットストリームが前述の特性を有するかを判定する標準的なやり方は存在しない。本願の発明者は、表示や他の後処理を支援するためにレンダリング装置又はプレイヤが前述の情報を抽出することを容易にするために高位構文を提案している。サブピクチャが、異なる分解能を有している可能性もあり、最終的にビューをレンダリングするために多少のアップサンプリングが必要であり得る。ユーザは、アップサンプルを高位の構文でも示させたいことがあり得る。更に、深度フォーカスを変えるためのパラメータを送信することも可能である。

一実施例では、別のビューに属するサブピクチャを各ピクチャが含むＭＰＥＧ−４ＡＶＣ標準準拠ビットストリームにおけるマルチビュー情報のシグナリングのための新たな付加拡張情報（ＳＥＩ）メッセージを提案する。実施例は、例えば、前述のフレームワークを使用することができる３次元（３Ｄ）モニタ上のマルチビュー・ビデオ・ストリームを簡単かつ便利に表示することを意図している。この概念は、高位構文を使用して前述の情報をシグナリングする他のビデオ符号化の標準及び勧告に拡張することが可能である。

更に、一実施例では、マルチビュー・ビデオ符号化器及び／復号化器に送出される前にビューをどのようにして配置するかというシグナリング方法を提案している。効果的には、上記実施例は、マルチビュー符号化の単純化された実現形態につながり得、符号化効率に便益をもたらし得る。特定のビューを集約し、疑似ビュー又はスーパーフラグを形成することが可能であり、タイリングされたスーパービューは、例えば、マルチビュー・ビデオ符号化の現在のＭＰＥＧ−４ＡＶＣ標準ベースの実現形態に従って、共通のマルチビュー・ビデオ符号化器及び／又は復号化器によって通常ビューとして扱われる。疑似ビューの手法の使用をシグナリングするためにマルチビュー・ビデオ符号化のシーケンス・パラメータ・セット（ＳＰＳ）において、新たなフラグが、提案されている。実施例は、前述のフレームワークを使用することができる３Ｄモニタ上のマルチビュー・ビデオ・ストリームを簡単かつ便利に表示することを意図している。

単一ビューのビデオ符号化／復号化の標準／勧告を使用した符号化／復号化
国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）動画像専門家グループ−４（ＭＰＥＧ−４）パート１０高度ビデオ符号化（ＡＶＣ）標準／国際電気通信連合（ＩＴＵ−Ｔ）Ｈ．２６４勧告（以下、「ＭＰＥＧ−４ＡＶＣ標準」に基づいたマルチビデオ符号化（ＭＶＣ）の現在の実現形態では、参照ソフトウェアは、単一の符号化器で各ビューを符号化し、ビュー間の参照を考慮に入れることにより、マルチビュー予測を達成する。各ビューは、別個のビットストリームとして符号化器により、その元の分解能で符号化され、その後、全てのビットストリームを合成して単一のビットストリームを形成する。上記単一のビットストリームはその後、復号化される。各ビューは、別個のＹＵＶ復号化出力を生成する。

マルチビュー予測の別の手法は、実施可能なダウンサンプリング動作による、より大きなフレーム又はスーパー・フレーム上の（同時にサンプリングされた）各ビューからのピクチャをタイリングすることを伴う。図１に移れば、単一のフレーム上にタイリングされた４つのビューの例の全体を参照符号１００で示す。図２に移れば、単一のフレーム上で反転させ、タイリングされた４つのビューの例の全体を参照符号２００で示す。よって、４つのビューが存在している場合、各ビューからのピクチャは、タイルのようなスーパー・フレームに構成される。これは、高分解能の単一の非符号化入力系列をもたらす。前述の信号は次いで、ＩＳＯ／ＩＥＣＭＰＥＧ−２標準やＭＰＥＧ−ＡＶＣ標準などの既存のビデオ符号化標準を使用して符号化することが可能である。

マルチビュー予測の更に別の手法は、新たな標準を使用して、別々のビューを別個に符号化し、復号化後、プレイヤによって要求されるようにビューをタイリングすることを伴うに過ぎない。

多くのディスプレイ製造業者は、単一のフレーム上に別々のビューを配置又はタイリングし、それらのそれぞれの位置からのビューを抽出し、レンダリングする前述のフレームワークを使用する。前述の場合、ビットストリームが前述の特性を有するかを判定する標準的なやり方は存在しない。よって、システムが、大きなフレームにおいて別々のビューのピクチャをタイリングする方法を使用する場合、別々のビューを抽出する方法は、固有のものである。

図３を参照すれば、ＭＰＥＧ−４ＡＶＣ標準によってビデオ符号化を行うことができるビデオ符号化器は全体を参照符号３００で示す。

ビデオ符号化器３００は、合成器３８５の非反転入力と信号通信する出力を有するフレーム配列バッファ３１０を含む。合成器３８５の出力は変換器及び量子化器３２５の第１の入力と信号通信で接続される。変換器及び量子化器３２５の出力は、エントロピ符号化器３４５の第１の入力、並びに、逆変換器及び逆量子化器３５０の第１の入力と信号通信で接続される。エントロピ符号化器３４５の出力は合成器３９０の第１の非反転入力と信号通信で接続される。合成器３９０の出力は、出力バッファ３３５の第１の入力と信号通信で接続される。

符号化器制御器３０５の第１の出力は、フレーム配列バッファ３１０の第２の入力と、逆変換器及び逆量子化器３５０の第２の入力と、ピクチャ・タイプ決定モジュール３１５の入力と、マクロブロックタイプ（ＭＢタイプ）決定モジュール３２０の入力と、イントラ予測モジュール３６０の第２の入力と、デブロッキング・フィルタ３６５の第２の入力と、動き補償器３７０の第１の入力と、動き補償器３７５の第１の入力と、参照ピクチャ・バッファ３８０の第２の入力と信号通信で接続される。

符号化器制御器３０５の第２の出力は、付加拡張情報（ＳＥＩ）挿入器３３０の第１の入力、変換器及び量子化器３２５の第２の入力、エントロピ符号化器３４５の第２の入力、出力バッファ３３５の第２の入力、並びに、シーケンス・パラメータ・セット（ＳＰＳ）及びピクチャ・パラメータ・セット（ＰＰＳ）挿入器３４０の入力と信号通信で接続される。

ピクチャ・タイプ決定モジュール３１５の第１の出力は、フレーム配列バッファ３１０の第３の入力と信号通信で接続される。ピクチャ・タイプの決定モジュール３１５の第２の出力は、マクロブロックタイプの決定モジュール３２０の第２の入力と信号通信で接続される。

シーケンス・パラメータ・セット（ＳＰＳ）及びピクチャ・パラメータ・セット（ＰＰＳ）挿入器３４０の出力は、合成器３９０の第３の非反転入力と信号通信で接続される。ＳＥＩ挿入器３３０の出力は、合成器３９０の第２の非反転入力と信号通信で接続される。

逆量子化器及び逆変換器３５０の出力は合成器３１９の第１の非反転入力と信号通信で接続される。合成器３１９の出力は、イントラ予測モジュール３６０の第１の入力及びデブロッキング・フィルタ３６５の第１の入力と信号通信で接続される。デブロッキング・フィルタ３６５の出力は参照ピクチャ・バッファ３８０の第１の入力と信号通信で接続される。参照ピクチャ・バッファ３８０の出力は、動き推定器３７５の第２の入力及び動き補償器３７０の第１の入力と信号通信で接続される。動き推定器３７５の第１の出力は動き補償器３７０の第２の入力と信号通信で接続される。動き推定器３７５の第２の出力はエントロピ符号化器３４５の第３の入力と信号通信で接続される。

動き補償器３７０の出力はスイッチ３９７の第１の入力と信号通信で接続される。イントラ予測モジュール３６０の出力はスイッチ３９７の第２の入力と信号通信で接続される。マクロブロックタイプの決定モジュール３２０の出力は、スイッチ３９７に制御入力を供給するために、スイッチ３９７の第３の入力と信号通信で接続される。スイッチ３９７の第３の入力は、（制御入力、すなわち、第３の入力と比較して）スイッチの「データ」入力を動き補償器３７０又はイントラ予測モジュール３６０によって供給されるか否かを判定する。スイッチ３９７の出力は、合成器３１９の第２の非反転入力、及び合成器３８５の反転入力と信号通信で接続される。

フレーム配列バッファ３１０及び符号化器制御器１０５の入力は、入力ピクチャ３０１を受け取るために、符号化器３００の入力として利用可能である。更に、付加拡張情報（ＳＥＩ）挿入器３３０の入力は、メタデータを受け取るために、符号化器３００の入力として利用可能である。出力バッファ３３５の出力は、ビットストリームを出力するために、符号化器３００の出力として利用可能である。

図４に移れば、ＭＰＥＧ−４ＡＶＣ標準によってビデオ復号化を行うことができるビデオ復号化器は全体を参照符号４００で示す。

ビデオ復号化器４００は、エントロピ復号化器４４５の第１の入力と信号通信で接続された出力を有する入力バッファ４１０を含む。エントロピ復号化器４４５の第１の出力は、逆変換器及び逆量子化器４５０の第１の入力と信号通信で接続される。逆変換器及び逆量子化器４５０の出力は合成器４２５の第２の非反転入力と信号通信で接続される。合成器４２５の出力はデブロッキング・フィルタ４６５の第２の入力及びイントラ予測モジュール２５０の第１の入力と信号通信で接続される。デブロッキング・フィルタ４６５の第２の出力は、参照ピクチャ・バッファ４８０の第１の入力と信号通信で接続される。

エントロピ復号化器４４５の第２の出力は、動き補償器４７０の第３の入力及びデブロッキング・フィルタ４６５の第１の入力と信号通信で接続される。エントロピ復号化器４４５の第３の出力は、復号化器制御器４０５の入力と信号通信で接続される。復号化器制御器４０５の第１の出力はエントロピ復号化器４４５の第２の入力と信号通信で接続される。復号化器制御器４０５の第２の出力は、逆変換器及び逆量子化器４５０の第２の入力と信号通信で接続される。復号化器制御器４０５の第３の出力は、デブロッキング・フィルタ４６５の第３の入力と信号通信で接続される。復号化器制御器４０５の第４の出力は、イントラ予測モジュール４６０の第２の入力、動き補償器４７０の第１の入力、及び参照ピクチャ・バッファ４８０の第２の入力と信号通信で接続される。

動き補償器４７０の出力は、スイッチ４９７の第１の入力と信号通信で接続される。イントラ予測モジュール４６０の出力はスイッチ４９７の第２の入力と信号通信で接続される。スイッチ４９７の出力は合成器４２５の第１の非反転入力と信号通信で接続される。

入力バッファ４１０の入力は、入力ビットストリームを受け取るために、復号化器４００の入力として利用可能である。デブロッキング・フィルタ４６５の第１の出力は、出力ピクチャを出力するために、復号化器４００の出力として利用可能である。

図５に移れば、ＭＰＥＧ−４ＡＶＣ標準を使用して複数のビューのピクチャを符号化する例示的な方法の全体を参照符号５００で示す。

方法５００は、開始ブロック５０２を含む。開始ブロック５０２は制御を機能ブロック５０４に渡す。機能ブロック５０４は、特定の時点における各ビューを、タイル形式におけるサブピクチャとして配置し、制御を機能ブロック５０６に渡す。機能ブロック５０６は構文要素ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１をセットし、制御を機能ブロック５０８に渡す。機能ブロック５０８は構文要素ｏｒｇ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１及びｏｒｇ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１をセットし、制御を機能ブロック５１０に渡す。機能ブロック５１０は変数ｉをゼロに等しくセットし、制御を決定ブロック５１２に渡す。決定ブロック５１２は、変数ｉがビュー数未満であるか否かを判定する。肯定の場合、制御を機能ブロック５１４に渡す。さもなければ、制御を機能ブロック５２４に渡す。

機能ブロック５１４は、構文要素ｖｉｅｗ＿ｉｄ［ｉ］をセットし、制御を機能ブロック５１６に渡す。機能ブロック５１６は構文要素ｎｕｍ＿ｐａｒｔｓ［ｖｉｅｗ＿ｉｄ［ｉ］）をセットし、制御を機能ブロック５１８に渡す。機能ブロック５１８は変数ｊをゼロにセットし、制御を決定ブロック５２０に渡す。決定ブロック５２０は、変数ｊの現在値が、構文要素ｎｕｍ＿ｐａｒｔｓ［ｖｉｅｗ＿ｉｄ［ｉ］］の現在値未満か否かを判定する。肯定の場合、制御を機能ブロック５２２に渡す。さもなければ、制御を機能ブロック５２８に渡す。

機能ブロック５２２は、
ｄｅｐｔｈ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｆｌｉｐ＿ｄｉｒ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｌｏｃ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｌｏｃ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；及び
ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］の構文要素をセットし、変数ｊを増やし、次いで制御を決定ブロック５２０に戻す。

機能ブロック５２８は構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］をセットし、制御を決定ブロック５３０に渡す。決定ブロック５３０は、構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］の現在値が１に等しいか否かを判定する。肯定の場合、制御を機能ブロック５３２に渡す。さもなければ、制御を決定ブロック５３４に渡す。

機能ブロック５３２は構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］をセットし、制御を決定ブロック５３４に渡す。

決定ブロック５３４は、構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］の現在値が３に等しいか否かを判定する。肯定の場合、制御を機能ブロック５３６に渡す。さもなければ、制御を機能ブロック５４０に渡す。

機能ブロック５３６は、
ｖｅｒｔ＿ｄｉｍ［ｖｉｅｗ＿ｉｄ［ｉ］］；
ｈｏｒ＿ｄｉｍ［ｖｉｅｗ＿ｉｄ［ｉ］］；及び
ｑｕａｎｔｉｚｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］
の構文要素をセットし、制御を機能ブロック５３８に渡す。機能ブロック５３８は、ＹＵＶ成分毎にフィルタ係数をセットし、制御を機能ブロック５４０に渡す。

機能ブロック５４０は変数ｉを増やし、制御を決定ブロック５１２に戻す。

機能ブロック５２４は、前述の構文要素を、シーケンス・パラメータ・セット（ＳＰＳ）、ピクチャ・パラメータ・セット（ＰＰＳ）、付加拡張情報（ＳＥＩ）メッセージ、ネットワーク抽象化層（ＮＡＬ）ユニット・ヘッダ、及びスライス・ヘッダのうちの少なくとも１つに書き込み、制御を機能ブロック５２６に渡す。機能ブロック５２６は、各ピクチャをＭＰＥＧ−４ＡＶＣ標準又は他の単一ビュー・コデックを使用して符号化し、制御を終了ブロック５９９に渡す。

図６に移れば、ＭＰＥＧ−４ＡＶＣ標準を使用して複数のビューのピクチャを復号化する例示的な方法の全体を参照符号６００で示す。

方法６００は、開始ブロック６０２を含む。開始ブロック６０２は制御を機能ブロック６０４に渡す。機能ブロック６０４は、シーケンス・パラメータ・セット（ＳＰＳ）、ピクチャ・パラメータ・セット（ＰＰＳ）、付加拡張情報（ＳＥＩ）メッセージ、ネットワーク抽象化（ＮＡＬ）ユニット・ヘッダ、及びスライス・ヘッダのうちの少なくとも１つからの以下の構文要素を解析し、制御を機能ブロック６０６に渡す。機能ブロック６０６は、構文要素ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１を解析し、制御を機能ブロック６０８に渡す。機能ブロック６０８は、構文要素ｏｒｇ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１及びｏｒｇ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１を解析し、制御を機能ブロック６１０に渡す。機能ブロック６１０は変数ｉをゼロに等しくセットし、制御を決定ブロック６１２に渡す。決定ブロック６１２は、変数ｉがビュー数未満であるか否かを判定する。肯定の場合、制御を機能ブロック６１４に渡す。さもなければ、制御を機能ブロック６２４に渡す。

機能ブロック６１４は、構文要素ｖｉｅｗ＿ｉｄ［ｉ］を解析し、制御を機能ブロック６１６に渡す。機能ブロック６１６は、構文要素ｎｕｍ＿ｐａｒｔｓ＿ｍｉｎｕｓ１［ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を機能ブロック６１８に渡す。機能ブロック６１８は変数ｊをゼロに等しくセットし、制御を決定ブロック６２０に渡す。決定ブロック６２０は、変数ｊの現在値が構文要素ｎｕｍ＿ｐａｒｔｓ［ｖｉｅｗ＿ｉｄ［ｉ］］の現在値未満であるか否かを判定する。肯定の場合、制御を機能ブロック６２２に渡す。さもなければ、制御を機能ブロック６２８に渡す。

機能ブロック６２２は、
ｄｅｐｔｈ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｆｌｉｐ＿ｄｉｒ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｌｏｃ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｌｏｃ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；及び
ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］
の構文要素を解析し、変数ｊを増やし、次いで、制御を決定ブロック６２０に戻す。

機能ブロック６２８は構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を決定ブロック６３０に渡す。決定ブロック６３０は、構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］の現在値が１に等しいか否かを判定する。肯定の場合、制御を機能ブロック６３２に渡す。さもなければ、制御を決定ブロック６３４に渡す。

機能ブロック６３２は構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を決定ブロック６３４に渡す。

決定ブロック６３４は、構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］の現在値が３に等しいか否かを判定する。肯定の場合、制御を機能ブロック６３６に渡す。さもなければ、制御を機能ブロック６４０に渡す。

機能ブロック６３６は、
ｖｅｒｔ＿ｄｉｍ［ｖｉｅｗ＿ｉｄ［ｉ］］；
ｈｏｒ＿ｄｉｍ［ｖｉｅｗ＿ｉｄ［ｉ］］；及びｑｕａｎｔｉｚｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］
の構文要素を解析し、制御を機能ブロック６３８に渡す。

機能ブロック６３８は、ＹＵＶ成分毎にフィルタ係数を解析し、制御を機能ブロック６４０に渡す。

機能ブロック６４０は、変数ｉを増やし、制御を決定ブロック６１２に戻す。

機能ブロック６２４は、ＭＰＥＧ−４ＡＶＣ標準又は他の単一ビュー・コデックを使用して各ピクチャを復号化し、制御を機能ブロック６２６に渡す。機能ブロック６２６は各ビューをピクチャから、高位構文を使用して分離し、制御を終了ブロック６９９に渡す。

図７に移れば、ＭＰＥＧ−４ＡＶＣ標準を使用して複数のビュー及び深度のピクチャを符号化する例示的な方法の全体を参照符号７００で示す。

方法７００は、開始ブロック７０２を含む。開始ブロック７０２は制御を機能ブロック７０４に渡す。機能ブロック７０４は、特定の時点における各ビュー及び対応する深度を、タイル形式におけるサブピクチャとして配置し、制御を機能ブロック７０６に渡す。機能ブロック７０６は構文要素ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１をセットし、制御を機能ブロック７０８に渡す。機能ブロック７０８は構文要素ｏｒｇ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１及びｏｒｇ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１をセットし、制御を機能ブロック７１０に渡す。機能ブロック７１０は変数ｉをゼロに等しくセットし、制御を決定ブロック７１２に渡す。決定ブロック７１２は、変数ｉがビュー数未満であるか否かを判定する。肯定の場合、制御を機能ブロック７１４に渡す。さもなければ、制御を機能ブロック７２４に渡す。

機能ブロック７１４は、構文要素ｖｉｅｗ＿ｉｄ［ｉ］をセットし、制御を機能ブロック７１６に渡す。機能ブロック７１６は、構文要素ｎｕｍ＿ｐａｒｔｓ［ｖｉｅｗ＿ｉｄ［ｉ］］をセットし、制御を機能ブロック７１８に渡す。機能ブロック７１８は、変数ｊをゼロに等しくセットし、制御を決定ブロック７２０に渡す。決定ブロック７２０は、変数ｊの現在値が構文要素ｎｕｍ＿ｐａｒｔｓ［ｖｉｅｗ＿ｉｄ［ｉ］］の現在値未満であるか否かを判定する。肯定の場合、制御を機能ブロック７２２に渡す。さもなければ、制御を機能ブロック７２８に渡す。

機能ブロック７２２は、ｄｅｐｔｈ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｆｌｉｐ＿ｄｉｒ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｌｏｃ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｌｏｃ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；及び
ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］
の構文要素をセットし、変数ｊを増やし、次いで制御を決定ブロック７２０に戻す。

機能ブロック７２８は構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］をセットし、制御を決定ブロック７３０に渡す。決定ブロック７３０は、構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］の現在値が１に等しいか否かを判定する。肯定の場合、制御を機能ブロック７３２に渡す。さもなければ、制御を決定ブロック７３４に渡す。

機能ブロック７３２は構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］をセットし、制御を決定ブロック７３４に渡す。

決定ブロック７３４は、構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］の現在値が３に等しいか否かを判定する。肯定の場合、制御を機能ブロック７３６に渡す。さもなければ、制御を機能ブロック７４０に渡す。

機能ブロック７３６は、
ｖｅｒｔ＿ｄｉｍ［ｖｉｅｗ＿ｉｄ［ｉ］］；
ｈｏｒ＿ｄｉｍ［ｖｉｅｗ＿ｉｄ［ｉ］］；及び
ｑｕａｎｔｉｚｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］
の構文要素をセットし、制御を機能ブロック７３８に渡す。

機能ブロック７３８は、ＹＵＶ成分毎にフィルタ係数をセットし、制御を機能ブロック７４０に渡す。

機能ブロック７４０は、変数ｉを増やし、制御を決定ブロック７１２に戻す。

機能ブロック７２４は前述の構文要素を、シーケンス・パラメータ・セット（ＳＰＳ）、ピクチャ・パラメータ・セット（ＰＰＳ）、付加拡張情報（ＳＥＩ）メッセージ、ネットワーク抽象化層（ＮＡＬ）ユニット・ヘッダ、及びスライス・ヘッダのうちの少なくとも１つに書き込み、制御を機能ブロック７２６に渡す。機能ブロック７２６は、ＭＰＥＧ−４ＡＶＣ標準や他の単一ビュー・コデックを使用して各ピクチャを符号化し、制御を終了ブロック７９９に渡す。

図８に移れば、ＭＰＥＧ−４ＡＶＣ標準を使用して複数のビュー及び深度のピクチャを復号化する例示的な方法の全体を参照符号８００で示す。

方法８００は、開始ブロック８０２を含む。開始ブロック８０２は制御を機能ブロック８０４に渡す。機能ブロック８０４は、シーケンス・パラメータ・セット（ＳＰＳ）、ピクチャ・パラメータ・セット（ＰＰＳ）、付加拡張情報（ＳＥＩ）メッセージ、ネットワーク抽象化（ＮＡＬ）ユニット・ヘッダ、及びスライス・ヘッダのうちの少なくとも１つからの以下の構文要素を解析し、制御を機能ブロック８０６に渡す。機能ブロック８０６は、構文要素ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１を解析し、制御を機能ブロック８０８に渡す。機能ブロック８０８は、構文要素ｏｒｇ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１及びｏｒｇ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１を解析し、制御を機能ブロック８１０に渡す。機能ブロック８１０は変数ｉをゼロに等しくセットし、制御を決定ブロック８１２に渡す。決定ブロック８１２は、変数ｉがビュー数未満であるか否かを判定する。肯定の場合、制御を機能ブロック８１４に渡す。さもなければ、制御を機能ブロック８２４に渡す。

機能ブロック８１４は、構文要素ｖｉｅｗ＿ｉｄ［ｉ］を解析し、制御を機能ブロック８１６に渡す。機能ブロック８１６は、構文要素ｎｕｍ＿ｐａｒｔｓ＿ｍｉｎｕｓ１［ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を機能ブロック８１８に渡す。機能ブロック８１８は変数ｊをゼロに等しくセットし、制御を決定ブロック８２０に渡す。決定ブロック８２０は、変数ｊの現在値が構文要素ｎｕｍ＿ｐａｒｔｓ［ｖｉｅｗ＿ｉｄ［ｉ］］の現在値未満であるか否かを判定する。肯定の場合、制御を機能ブロック８２２に渡す。さもなければ、制御を機能ブロック８２８に渡す。

機能ブロック８２２は、
ｄｅｐｔｈ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｆｌｉｐ＿ｄｉｒ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｌｏｃ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｌｏｃ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；及び
ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］
の構文要素をセットし、変数ｊを増やし、次いで制御を決定ブロック８２０に戻す。

機能ブロック８２８は構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］をセットし、制御を決定ブロック８３０に渡す。決定ブロック８３０は、構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］の現在値が１に等しいか否かを判定する。肯定の場合、制御を機能ブロック８３２に渡す。さもなければ、制御を決定ブロック８３４に渡す。

機能ブロック８３２は構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を決定ブロック８３４に渡す。

決定ブロック８３４は、構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］の現在値が３に等しいか否かを判定する。肯定の場合、制御を機能ブロック８３６に渡す。さもなければ、制御を機能ブロック８４０に渡す。

機能ブロック８３６は、
ｖｅｒｔ＿ｄｉｍ［ｖｉｅｗ＿ｉｄ［ｉ］］；
ｈｏｒ＿ｄｉｍ［ｖｉｅｗ＿ｉｄ［ｉ］］；及び
ｑｕａｎｔｉｚｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］
の構文要素を解析し、制御を機能ブロック８３８に渡す。

機能ブロック８３８は、ＹＵＶ成分毎にフィルタ係数を解析し、制御を機能ブロック８４０に渡す。

機能ブロック８４０は変数ｉを増やし、制御を決定ブロック８１２に戻す。

機能ブロック８２４は、ＭＰＥＧ−４ＡＶＣ標準又は他の単一ビュー・コデックを使用して各ピクチャを復号化し、制御を機能ブロック８２６に渡す。機能ブロック８２６は、各ビュー及び対応する深度をピクチャから高位構文を使用して分離し、制御を機能ブロック８２７に渡す。機能ブロック８２７は潜在的には、抽出されたビュー信号及び深度信号を使用してビュー合成を行い、制御を終了ブロック８９９に渡す。

図７及び図８において使用した深度に関して、図９は、深度信号９００の例を示す（深度は、画像（図示せず）の対応する場所毎の画素値として備えられる）。更に、図１０は、タイル１０００に含まれた２つの深度信号の例を示す。タイル１０００の右上部分は、タイル１０００の左上の画像に対応する深度値を有する深度信号である。タイル１０００の右下部分は、タイル１０００の左下の画像に対応する深度値を有する深度信号である。

図１１に移れば、単一のフレーム上にタイリングされた５つのビューの例の全体を参照符号１１００で示す。上の４つのビューは全て、通常の向きにある。５番目のビューも通常の向きにあるが、タイル１１００の底部に沿って２つの部分に分割されている。５番目のビューの左部分は５番目のビューの「最上部」を示し、５番目のビューの右部分は５番目のビューの「底部」を示す。

マルチビュー・ビデオ符号化／復号化の標準／勧告を使用した符号化／復号化
図１２に移れば、例示的なマルチビュー・ビデオ符号化（ＭＶＣ）符号化器の全体を参照符号１２００で示す。符号化器１２００は、変換器１２１０の入力と信号通信で接続された出力を有する合成器１２０５を含む。変換器１２１０の出力は、量子化器１２１５の入力と信号通信で接続される。量子化器１２１５の出力はエントロピ符号化器１２２０の入力及び逆量子化器１２２５の入力と信号通信で接続される。逆量子化器１２２５の出力は逆変換器１２３０の入力と信号通信と接続される。逆変換器１２３０の出力は合成器１２３５の第１の非反転入力と信号通信で接続される。合成器１２３５の出力はイントラ予測器１２４５の入力及びデブロッキング・フィルタ１２５０の入力と信号通信で接続される。デブロッキング・フィルタ１２５０の出力は、（ビューｉの）参照ピクチャ記憶装置１２５５の入力と信号通信で接続される。参照ピクチャ記憶装置１２５５の出力は、動き補償器１２７５の第１の入力及び動き推定器１２８０の第１の入力と信号通信で接続される。動き推定器１２８０の出力は、動き補償器１２７５の第２の入力と信号通信で接続される。（他のビューの）参照ピクチャ記憶装置１２６０の出力は、視差推定器１２７０の第１の入力及び視差補償器１２６５の第１の入力と信号通信で接続される。視差推定器１２７０の出力は、視差補償器１２６５の第２の入力と信号通信で接続される。

エントロピ復号化器１２２０の出力は符号化器１２００の出力として利用可能である。合成器１２０５の非反転入力は、符号化器１２００の入力として利用可能であり、視差推定器１２７０の第２の入力及び動き推定器１２８０の第２の入力と信号通信で接続される。スイッチ１２８５の出力は、合成器１２３５の第２の非反転入力及び合成器１２０５の反転入力と信号通信で接続される。スイッチ１２８５は、動き補償器１２７５の出力と信号通信で接続された第１の入力と、視差補償器１２６５の出力と信号通信で接続された第２の入力と、イントラ予測器１２４５の出力と信号通信で接続された第３の入力とを含む。

モード決定モジュール１２４０は、スイッチ１２８５によって選択される入力がどれであるかを制御するために、スイッチ１２８５に接続された出力を有する。

図１３に移れば、例示的なマルチビュー・ビデオ符号化（ＭＶＣ）復号化器の全体を参照符号１３００で示す。復号化器１３００は、逆量子化器１３１０の入力と信号通信で接続された出力を有するエントロピ復号化器１３０５を含む。逆量子化器の出力は、逆変換器１３１５の入力と信号通信で接続される。逆変換器１３１５の出力は合成器１３２０の第１の非反転入力と信号通信で接続される。合成器１３２０の出力は、デブロッキング・フィルタ１３２５の入力及びイントラ予測器１３３０の入力と信号通信で接続される。デブロッキング・フィルタ１３２５の出力は、（ビューｉの）参照ピクチャ記憶装置１３４０の入力と信号通信で接続される。参照ピクチャ記憶装置１３４０の出力は、動き補償器１３３５の第１の入力と信号通信で接続される。

（他のビューの）参照ピクチャ記憶装置１３４５の出力は、視差補償器１３５０の第１の入力と信号通信で接続される。

エントロピ符号化器１３０５の入力は、残差ビットストリームを受け取るために、復号化器１３００の入力として利用可能である。更に、エントロピ符号化器１３６０の入力は、スイッチ１３５５によって選択される入力がどれであるかを制御するために制御構文を受け取るために、復号化器１３００への入力としても利用可能である。更に、動き補償器１３５５の第２の入力は、動きベクトルを受け取るために、復号化器１３００の入力として利用可能である。更に、視差補償器１３５０の第２の入力は、視差ベクトルを受け取るために、復号化器１３００への入力として利用可能である。

スイッチ１３５５の出力は合成器１３２０の第２の非反転入力と信号通信で接続される。スイッチ１３５５の第１の入力は視差補償器１３５０の出力と信号通信で接続される。スイッチ１３５５の第２の入力は、動き補償器１３３５の出力と信号通信で接続される。スイッチ１３５５の第３の入力は、イントラ予測器１３３０の出力と信号通信で接続される。モード・モジュール１３６０の出力は、スイッチ１３５５によって選択される入力がどれであるかを制御するために、スイッチ１３５５と信号通信で接続される。デブロッキング・フィルタ１３２５の出力は、復号化器１３００の出力として利用可能である。

図１４に移れば、ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）の拡張を使用したピクチャの符号化に備えて複数のビューのピクチャを処理する例示的な方法の全体を参照符号１４００で示す。

方法１４００は、開始ブロック１４０５を含む。開始ブロック１４０５は制御を機能ブロック１４１０に渡す。機能ブロック１４１０は、特定の時点で、合計Ｍ個のビューのうちのＮ個のビュー毎に、タイル形式におけるスーパー・ピクチャとして配置し、制御を機能ブロック１４１５に渡す。機能ブロック１４１５は、構文要素ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１をセットし、制御を機能ブロック１４２０に渡す。機能ブロック１４２０は、（ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１＋１）個のビュー全てについて構文要素ｖｉｅｗ＿ｉｄ［ｉ］をセットし、制御をブロック１４２５に渡す。機能ブロック１４２５はアンカ・ピクチャのビュー間参照依存性情報をセットし、制御を機能ブロック１４３０に渡す。機能ブロック１４３０は、非アンカ・ピクチャのビュー間参照依存性情報をセットし、制御を機能ブロック１４３５に渡す。機能ブロック１４３５は、構文要素ｐｓｅｕｄｏ＿ｖｉｅｗ＿ｐｒｅｓｅｎｔ＿ｆｌａｇをセットし、制御を決定ブロック１４４０に渡す。決定ブロック１４４０は、構文要素ｐｓｅｕｄｏ＿ｖｉｅｗ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの現在値がｔｒｕｅに等しいか否かを判定する。肯定の場合、制御を機能ブロック１４４５に渡す。さもなければ、制御を終了ブロック１４９９に渡す。

機能ブロック１４４５は、
ｔｉｌｉｎｇ＿ｍｏｄｅ；
ｏｒｇ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１；及び
ｏｒｇ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１
の構文要素をセットし、制御を機能ブロック１４５０に渡す。機能ブロック１４５０は、符号化ビュー毎に構文要素ｐｓｅｕｄｏ＿ｖｉｅｗ＿ｉｎｆｏ（ｖｉｅｗ＿ｉｄ）を呼び出し、制御を終了ブロック１４９９に渡す。

図１５に移れば、ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）の拡張を使用して複数のビューのピクチャを符号化する例示的な方法の全体を参照符号１５００で示す。

方法１５００は開始ブロック１５０２を含む。開始ブロック１５０２は、入力パラメータｐｓｅｕｄｏ＿ｖｉｅｗ＿ｉｄを有し、制御を機能ブロック１５０４に渡す。機能ブロック１５０４は、構文要素ｎｕｍ＿ｓｕｂ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１をセットし、制御を機能ブロック１５０６に渡す。機能ブロック１５０６は、変数ｉをゼロに等しくセットし、制御を決定ブロック１５０８に渡す。決定ブロック１５０８は、変数ｉがｓｕｂ＿ｖｉｅｗｓの数未満であるか否かを判定する。肯定の場合、制御を機能ブロック１５１０に渡す。さもなければ、制御を機能ブロック１５２０に渡す。

機能ブロック１５１０は、構文要素ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］をセットし、制御を機能ブロック１５１２に渡す。機能ブロック１５１２は、構文要素ｎｕｍ＿ｐａｒｔｓ＿ｍｉｎｕｓ１［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］をセットし、制御を機能ブロック１５１４に渡す。機能ブロック１５１４は変数ｊをゼロに等しくセットし、制御を決定ブロック１５１６に渡す。決定ブロック１５１６は、変数ｊが構文要素ｎｕｍ＿ｐａｒｔｓ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］未満であるか否かを判定する。肯定の場合、制御を機能ブロック１５１８に渡す。さもなければ、制御を決定ブロック１５２２に渡す。

機能ブロック１５１８は、
ｌｏｃ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｌｏｃ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
及び
ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］［ｊ］．
の構文要素をセットし、変数ｊを増やし、制御を決定ブロック１５１６に戻す。

機能ブロック１５２０は、マルチビュー・ビデオ符号化（ＭＶＣ）を使用して現在のビューの現在のピクチャを符号化し、制御を終了ブロック１５９９に渡す。

決定ブロック１５２２は、構文要素ｔｉｌｉｎｇ＿ｍｏｄｅがゼロに等しいか否かを判定する。肯定の場合、制御を機能ブロック１５２４に渡す。さもなければ、制御を機能ブロック１５３８に渡す。

機能ブロック１５２４は、構文要素ｆｌｉｐ＿ｄｉｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］及び構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］をセットし、制御を決定ブロック１５２６に渡す。決定ブロック１５２６は、構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］の現在値が１に等しいか否かを判定する。肯定の場合、制御を機能ブロック１５２８に渡す。さもなければ、制御を決定ブロック１５３０に渡す。

機能ブロック１５２８は構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］をセットし、制御を決定ブロック１５３０に渡す。決定ブロック１５３０は、構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］の値が３に等しいか否かを判定する。肯定の場合、制御を機能ブロック１５３２に渡す。さもなければ、制御を機能ブロック１５３６に渡す。

機能ブロック１５３２は、
ｖｅｒｔ＿ｄｉｍ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］；
ｈｏｒ＿ｄｉｍ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］；及び
ｑｕａｎｔｉｚｅｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］
の構文要素をセットし、制御を機能ブロック１５３４に渡す。機能ブロック１５３４は、ＹＵＶ成分毎にフィルタ係数をセットし、制御を機能ブロック１５３６に渡す。

機能ブロック１５３６は変数ｉを増やし、制御を決定ブロック１５０８に戻す。

機能ブロック１５３８は、構文要素ｐｉｘｅｌ＿ｄｉｓｔ＿ｘ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］及び構文要素ｆｌｉｐ＿ｄｉｓｔ＿ｙ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］をセットし、制御を機能ブロック１５４０に渡す。機能ブロック１５４０は変数ｊをゼロに等しくセットし、制御を決定ブロック１５４２に渡す。決定ブロック１５４２は、変数ｊの現在値が構文要素ｎｕｍ＿ｐａｒｔｓ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］の現在値未満であるか否かを判定する。肯定の場合、制御を機能ブロック１５４４に渡す。さもなければ、制御を機能ブロック１５３６に渡す。

機能ブロック１５４４は構文要素ｎｕｍ＿ｐｉｘｅｌ＿ｔｉｌｉｎｇ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆｓ＿ｍｉｎｕｓ１［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］をセットし、制御を機能ブロック１５４６に渡す。機能ブロック１５４６は、画素タイリング・フィルタ全ての係数をセットし、制御を機能ブロック１５３６に渡す。

図１６に移れば、ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）の拡張を使用したピクチャの復号化に備えて複数のビューのピクチャを処理する例示的な方法の全体を参照符号１６００で示す。

方法１６００は、開始ブロック１６０５を含み、開始ブロック１６０５は機能ブロック１６１５に制御を渡す。機能ブロック１６１５は、構文要素ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１を解析し、制御を機能ブロック１６２０に渡す。機能ブロック１６２０は、（ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１＋１）個のビュー全ての構文要素ｖｉｅｗ＿ｉｄ［ｉ］を解析し、制御を機能ブロック１６２５に渡す。機能ブロック１６２５はアンカ・ピクチャのビュー間参照依存性情報を解析し、制御を機能ブロック１６３０に渡す。機能ブロック１６３０は非アンカ・ピクチャのビュー間参照依存性情報を解析し、制御を機能ブロック１６３５に渡す。機能ブロック１６３５は、構文要素ｐｓｅｕｄｏ＿ｖｉｅｗ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを解析し、制御を決定ブロック１６４０に渡す。決定ブロック１６４０は、構文要素ｐｓｅｕｄｏ＿ｖｉｅｗ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの現在値がｔｒｕｅに等しいか否かを判定する。肯定の場合、制御を機能ブロック１６４５に渡す。さもなければ、制御を終了ブロック１６９９に渡す。

機能ブロック１６４５は、
ｔｉｌｉｎｇ＿ｍｏｄｅ；
ｏｒｇ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１；及び
ｏｒｇ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１
の構文要素を解析し、制御を機能ブロック１６５０に渡す。機能ブロック１６５０は、符号化ビュー毎に構文要素ｐｓｅｕｄｏ＿ｖｉｅｗ＿ｉｎｆｏ（ｖｉｅｗ＿ｉｄ）を呼び出し、制御を終了ブロック１６９９に渡す。

図１７に移れば、ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）の拡張を使用して複数のビューのピクチャを復号化する例示的な方法の全体を参照符号１７００で示す。

方法１７００は開始ブロック１７０２を含む。開始ブロック１７０２は、入力パラメータｐｓｅｕｄｏ＿ｖｉｅｗ＿ｉｄから始まり、制御を機能ブロック１７０４に渡す。機能ブロック１７０４は、構文要素ｎｕｍ＿ｓｕｂ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１を解析し、制御を機能ブロック１７０６に渡す。機能ブロック１７０６は、変数ｉをゼロに等しくセットし、制御を決定ブロック１７０８に渡す。決定ブロック１７０８は、変数ｉがｓｕｂ＿ｖｉｅｗｓの数未満であるか否かを判定する。肯定の場合、制御を機能ブロック１７１０に渡す。さもなければ、制御を機能ブロック１７２０に渡す。

機能ブロック１７１０は、構文要素ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］を解析し、制御を機能ブロック１７１２に渡す。機能ブロック１７１２は、構文要素ｎｕｍ＿ｐａｒｔｓ＿ｍｉｎｕｓ１［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を機能ブロック１７１４に渡す。機能ブロック１７１４は変数ｊをゼロに等しくセットし、制御を決定ブロック１７１６に渡す。決定ブロック１７１６は、変数ｊが構文要素ｎｕｍ＿ｐａｒｔｓ＿ｍｉｎｕｓ１［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］］未満であるか否かを判定する。肯定の場合、制御を機能ブロック１７１８に渡す。さもなければ、制御を決定ブロック１７２２に渡す。

機能ブロック１７１８は、
ｌｏｃ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｌｏｃ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；及び
ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］
の構文要素をセットし、変数ｊを増やし、制御を決定ブロック１７１６に戻す。

機能ブロック１７２０は、マルチビュー・ビデオ符号化（ＭＶＣ）を使用して現在のビューの現在のピクチャを復号化し、制御を機能ブロック１７２１に渡す。機能ブロック１７２１は、各ビューをピクチャから高位構文を使用して分離し、制御を終了ブロック１７９９に渡す。

各ビューの復号化ピクチャとの分離は、ビットストリームに示された高位構文を使用して行われる。この高位構文は、ピクチャにおいて存在しているビューの考えられる向き（及び考えられる対応する深度）並びに厳密な位置を示し得る。

決定ブロック１７２２は、構文要素ｔｉｌｉｎｇ＿ｍｏｄｅがゼロに等しいか否かを判定する。肯定の場合、制御を機能ブロック１７２４に渡す。さもなければ、制御を機能ブロック１７３８に渡す。

機能ブロック１７２４は、構文要素ｆｌｉｐ＿ｄｉｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］及び構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を決定ブロック１７２６に渡す。決定ブロック１７２６は、構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］の現在値が１に等しいか否かを判定する。肯定の場合、制御を機能ブロック１７２８に渡す。さもなければ、制御を決定ブロック１７３０に渡す。

機能ブロック１７２８は構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を決定ブロック１７３０に渡す。決定ブロック１７３０は、構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］の値が３に等しいか否かを判定する。肯定の場合、制御を機能ブロック１７３２に渡す。さもなければ、制御を機能ブロック１７３６に渡す。

機能ブロック１７３２は、
ｖｅｒｔ＿ｄｉｍ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］；
ｈｏｒ＿ｄｉｍ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］；及び
ｑｕａｎｔｉｚｅｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］
の構文要素を解析し、制御を機能ブロック１７３４に渡す。機能ブロック１７３４は、ＹＵＶ成分毎にフィルタ係数を解析し、制御を機能ブロック１７３６に渡す。

機能ブロック１７３６は変数ｉを増やし、制御を決定ブロック１７０８に戻す。

機能ブロック１７３８は、構文要素ｐｉｘｅｌ＿ｄｉｓｔ＿ｘ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］及び構文要素ｆｌｉｐ＿ｄｉｓｔ＿ｙ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を機能ブロック１７４０に渡す。機能ブロック１７４０は変数ｊをゼロに等しくセットし、制御を決定ブロック１７４２に渡す。決定ブロック１７４２は、変数ｊの現在値が構文要素ｎｕｍ＿ｐａｒｔｓ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］の現在値未満であるか否かを判定する。肯定の場合、制御を機能ブロック１７４４に渡す。さもなければ、制御を機能ブロック１７３６に渡す。

機能ブロック１７４４は構文要素ｎｕｍ＿ｐｉｘｅｌ＿ｔｉｌｉｎｇ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆｓ＿ｍｉｎｕｓ１［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を機能ブロック１７４６に渡す。機能ブロック１７７６は、画素タイリング・フィルタ全ての係数を解析し、制御を機能ブロック１７３６に渡す。

図１８に移れば、ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）の拡張を使用したピクチャの符号化に備えて複数のビュー及び深度のピクチャを処理する例示的な方法の全体を参照符号１８００で示す。

方法１８００は開始ブロック１８０５を含む。開始ブロック１８０５は制御を機能ブロック１８１０に渡す。機能ブロック１８１０は、特定の時点で、合計Ｍ個のビュー及び深度マップのうちのＮ個のビュー及び深度マップ毎に、タイル形式におけるスーパー・ピクチャとして配置し、制御を機能ブロック１８１５に渡す。機能ブロック１８１５は、構文要素ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１をセットし、制御を機能ブロック１８２０に渡す。機能ブロック１８２０は、ｖｉｅｗ＿ｉｄ［ｉ］に対応する（ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１＋１）個の深度全てについて構文要素ｖｉｅｗ＿ｉｄ［ｉ］をセットし、制御を機能ブロック１８２５に渡す。機能ブロック１８２５はアンカ深度ピクチャのビュー間参照依存性情報をセットし、制御を機能ブロック１８３０に渡す。機能ブロック１８３０は、非アンカ深度ピクチャのビュー間参照依存性情報をセットし、制御を機能ブロック１８３５に渡す。機能ブロック１８３５は、構文要素ｐｓｅｕｄｏ＿ｖｉｅｗ＿ｐｒｅｓｅｎｔ＿ｆｌａｇをセットし、制御を決定ブロック１８４０に渡す。決定ブロック１８４０は、構文要素ｐｓｅｕｄｏ＿ｖｉｅｗ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの現在値がｔｒｕｅに等しいか否かを判定する。肯定の場合、制御を機能ブロック１８４５に渡す。さもなければ、制御を終了ブロック１８９９に渡す。

機能ブロック１８４５は、
ｔｉｌｉｎｇ＿ｍｏｄｅ；
ｏｒｇ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１；及び
ｏｒｇ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１
の構文要素をセットし、制御を機能ブロック１８５０に渡す。機能ブロック１８５０は、符号化ビュー毎に構文要素ｐｓｅｕｄｏ＿ｖｉｅｗ＿ｉｎｆｏ（ｖｉｅｗ＿ｉｄ）を呼び出し、制御を終了ブロック１８９９に渡す。

図１９に移れば、ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）の拡張を使用して複数のビュー及び深度のピクチャを符号化する例示的な方法の全体を参照符号１９００で示す。

方法１９００は開始ブロック１９０２を含む。開始ブロック１９０２は、制御を機能ブロック１９０４に渡す。機能ブロック１９０４は、構文要素ｎｕｍ＿ｓｕｂ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１をセットし、制御を機能ブロック１９０６に渡す。機能ブロック１９０６は、変数ｉをゼロに等しくセットし、制御を決定ブロック１９０８に渡す。決定ブロック１９０８は、変数ｉがｓｕｂ＿ｖｉｅｗｓの数未満であるか否かを判定する。肯定の場合、制御を機能ブロック１９１０に渡す。さもなければ、制御を機能ブロック１９２０に渡す。

機能ブロック１９１０は、構文要素ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］をセットし、制御を機能ブロック１９１２に渡す。機能ブロック１９１２は、構文要素ｎｕｍ＿ｐａｒｔｓ＿ｍｉｎｕｓ１［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］をセットし、制御を機能ブロック１９１４に渡す。機能ブロック１９１４は変数ｊをゼロに等しくセットし、制御を決定ブロック１９１６に渡す。決定ブロック１９１６は、変数ｊが構文要素ｎｕｍ＿ｐａｒｔｓ＿ｍｉｎｕｓ１［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］未満であるか否かを判定する。肯定の場合、制御を機能ブロック１９１８に渡す。さもなければ、制御を決定ブロック１９２２に渡す。

機能ブロック１９１８は、
ｌｏｃ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｌｏｃ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
及び
ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］
の構文要素をセットし、変数ｊを増やし、制御を決定ブロック１９１６に戻す。

機能ブロック１９２０は、マルチビュー・ビデオ符号化（ＭＶＣ）を使用して現在のビューの現在の深度を符号化し、制御を終了ブロック１９９９に渡す。深度信号は、その対応するビデオ信号が符号化されるやり方と同様に符号化することができる。例えば、ビューの深度信号は、他の深度信号のみ、ビデオ信号のみ、又は深度信号及びビデオ信号を含むタイル上に含まれ得る。タイル（疑似ビュー）はその場合、ＭＶＣの単一ビューとして扱われ、ＭＶＣの他のビューとして扱われる他のタイルも存在していると思われる。

決定ブロック１９２２は、構文要素ｔｉｌｉｎｇ＿ｍｏｄｅがゼロに等しいか否かを判定する。肯定の場合、制御を機能ブロック１９２４に渡す。さもなければ、制御を機能ブロック１９３８に渡す。

機能ブロック１９２４は、構文要素ｆｌｉｐ＿ｄｉｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］及び構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］をセットし、制御を決定ブロック１９２６に渡す。決定ブロック１９２６は、構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］の現在値が１に等しいか否かを判定する。肯定の場合、制御を機能ブロック１９２８に渡す。さもなければ、制御を決定ブロック１９３０に渡す。

機能ブロック１９２８は構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］をセットし、制御を決定ブロック１９３０に渡す。決定ブロック１９３０は、構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］の値が３に等しいか否かを判定する。肯定の場合、制御を機能ブロック１９３２に渡す。さもなければ、制御を機能ブロック１９３６に渡す。

機能ブロック１９３２は、ｖｅｒｔ＿ｄｉｍ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］；
ｈｏｒ＿ｄｉｍ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］；及び
ｑｕａｎｔｉｚｅｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］
の構文要素をセットし、制御を機能ブロック１９３４に渡す。機能ブロック１９３４は、ＹＵＶ成分毎にフィルタ係数をセットし、制御を機能ブロック１９３６に渡す。

機能ブロック１９３６は変数ｉを増やし、制御を決定ブロック１９０８に渡す。

機能ブロック１９３８は、構文要素ｐｉｘｅｌ＿ｄｉｓｔ＿ｘ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］及び構文要素ｆｌｉｐ＿ｄｉｓｔ＿ｙ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］をセットし、制御を機能ブロック１９４０に渡す。機能ブロック１９４０は変数ｊをゼロにセットし、制御を決定ブロック１９４２に渡す。決定ブロック１９４２は、変数ｊの現在値が構文要素ｎｕｍ＿ｐａｒｔｓ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］の現在値未満であるか否かを判定する。肯定の場合、制御を機能ブロック１９４４に渡す。さもなければ、制御を機能ブロック１９３６に渡す。

機能ブロック１９４４は、構文要素ｎｕｍ＿ｐｉｘｅｌ＿ｔｉｌｉｎｇ＿ｆιｌｔｅｒ＿ｃｏｅｆｆｓ＿ｍｉｎｕｓ１［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］をセットし、制御を機能ブロック１９４６に渡す。機能ブロック１９４６は、画素タイリング・フィルタ全ての係数をセットし、制御を機能ブロック１９３６に渡す。

図２０に移れば、ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）の拡張を使用したピクチャの復号化に備えて複数のビュー及び深度のピクチャを処理する例示的な方法の全体を参照符号２０００で示す。

方法２０００は開始ブロック２００５を含み、開始ブロック２００５は制御を機能ブロック２０１５に渡す。機能ブロック２０１５は構文要素ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１を解析し、制御を機能ブロック２０２０に渡す。機能ブロック２０２０は、ｖｉｅｗ＿ｉｄ［ｉ］に対応する（ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１＋１）個の深度全ての構文要素ｖｉｅｗ＿ｉｄ［ｉ］を解析し、制御を機能ブロック２０２５に渡す。機能ブロック２０２５は、アンカ深度ピクチャのビュー間参照依存性情報を解析し、制御を機能ブロック２０３０に渡す。機能ブロック２０３０は、非アンカ深度ピクチャのビュー間参照依存性情報を解析し、制御を機能ブロック２０３５に渡す。機能ブロック２０３５は、構文要素ｐｓｅｕｄｏ＿ｖｉｅｗ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを解析し、制御を決定ブロック２０４０に渡す。決定ブロック２０４０は、構文要素ｐｓｅｕｄｏ＿ｖｉｅｗ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの現在値がｔｒｕｅに等しいか否かを判定する。肯定の場合、制御を機能ブロック２０４５に渡す。さもなければ、制御を機能ブロック２０９９に渡す。

機能ブロック２０４５は、
ｔｉｌｉｎｇ＿ｍｏｄｅ；
ｏｒｇ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１；及び
ｏｒｇ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１
の構文要素をセットし、制御を機能ブロック２０５０に渡す。機能ブロック２０５０は、符号化ビュー毎に構文要素ｐｓｅｕｄｏ＿ｖｉｅｗ＿ｉｎｆｏ（ｖｉｅｗ＿ｉｄ）を呼び出し、制御を終了ブロック２０９９に渡す。

図２１に移れば、ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）の拡張を使用して複数のビュー及び深度のピクチャを復号化する例示的な方法の全体を参照符号２１００で示す。

方法２１００は開始ブロック２１０２を含む。開始ブロック２１０２は、入力パラメータｐｓｅｕｄｏ＿ｖｉｅｗ＿ｉｄから始まり、制御を機能ブロック２１０４に渡す。機能ブロック２１０４は、構文要素ｎｕｍ＿ｓｕｂ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１を解析し、制御を機能ブロック２１０６に渡す。機能ブロック２１０６は、変数ｉをゼロに等しくセットし、制御を決定ブロック２１０８に渡す。決定ブロック２１０８は、変数ｉがｓｕｂ＿ｖｉｅｗｓの数未満であるか否かを判定する。肯定の場合、制御を機能ブロック２１１０に渡す。さもなければ、制御を機能ブロック２１２０に渡す。

機能ブロック２１１０は、構文要素ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］を解析し、制御を機能ブロック２１１２に渡す。機能ブロック２１１２は、構文要素ｎｕｍ＿ｐａｒｔｓ＿ｍｉｎｕｓ１［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を機能ブロック２１１４に渡す。機能ブロック２１１４は変数ｊをゼロに等しくセットし、制御を決定ブロック２１１６に渡す。決定ブロック２１１６は、変数ｊが構文要素ｎｕｍ＿ｐａｒｔｓ＿ｍｉｎｕｓ１［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］未満であるか否かを判定する。肯定の場合、制御を機能ブロック２１１８に渡す。さもなければ、制御を決定ブロック２１２２に渡す。

機能ブロック２１１８は、
ｌｏｃ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｌｏｃ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；
及び
ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］
の構文要素をセットし、変数ｊを増やし、制御を決定ブロック２１１６に戻す。

機能ブロック２１２０は、マルチビュー・ビデオ符号化（ＭＶＣ）を使用して現在のピクチャを復号化し、制御を機能ブロック２１２１に渡す。機能ブロック２１２１は、各ビューをピクチャから高位構文を使用して分離し、制御を終了ブロック２１９９に渡す。高位構文を使用した、各ビューの分離は上述の通りである。

決定ブロック２１２２は、構文要素ｔｉｌｉｎｇ＿ｍｏｄｅがゼロに等しいか否かを判定する。肯定の場合、制御を機能ブロック２１２４に渡す。さもなければ、制御を機能ブロック２１３８に渡す。

機能ブロック２１２４は、構文要素ｆｌｉｐ＿ｄｉｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］及び構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を決定ブロック２１２６に渡す。決定ブロック２１２６は、構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］の現在値が１に等しいか否かを判定する。肯定の場合、制御を機能ブロック２１２８に渡す。さもなければ、制御を決定ブロック２１３０に渡す。

機能ブロック２１２８は、構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を決定ブロック２１３０に渡す。決定ブロック２１３０は、構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］の値が３に等しいか否かを判定する。肯定の場合、制御を機能ブロック２１３２に渡す。さもなければ、制御を機能ブロック２１３６に渡す。

機能ブロック２１３２は、
ｖｅｒｔ＿ｄｉｍ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］；
ｈｏｒ＿ｄｉｍ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］；及び
ｑｕａｎｔｉｚｅｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］
の構文要素を解析し、制御を機能ブロック２１３４に渡す。機能ブロック２１３４は、ＹＵＶ成分毎にフィルタ係数を解析し、制御を機能ブロック２１３６に渡す。

機能ブロック２１３６は変数ｉを増やし、制御を決定ブロック２１０８に戻す。

機能ブロック２１３８は、構文要素ｐｉｘｅｌ＿ｄｉｓｔ＿ｘ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］及び構文要素ｆｌｉｐ＿ｄｉｓｔ＿ｙ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を機能ブロック２１４０に渡す。機能ブロック２１４０は変数ｊをゼロに等しくセットし、制御を決定ブロック２１４２に渡す。決定ブロック２１４２は、変数ｊの現在値が構文要素ｎｕｍ＿ｐａｒｔｓ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］の現在値未満であるか否かを判定する。肯定の場合、制御を機能ブロック２１４４に渡す。さもなければ、制御を機能ブロック２１３６に渡す。

機能ブロック２１４４は、構文要素ｎｕｍ＿ｐｉｘｅｌ＿ｔｉｌｉｎｇ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆｓ＿ｍｉｎｕｓ１［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を機能ブロック２１４６に渡す。機能ブロック２１４６は、画素タイリング・フィルタ全ての係数を解析し、制御を機能ブロック２１３６に渡す。

図２２に移れば、画素レベルにおけるタイリング例の全体を参照符号２２００で示す。図２２は以下に更に説明する。

ＭＰＥＧ−４ＡＶＣ又はＭＶＣを使用したビューのタイリング
マルチビュー・ビデオ符号化の一アプリケーションに、自由視点ＴＶ（すなわちＦＴＶ）がある。前述のアプリケーションは、２つ以上のビュー間でユーザが自由に移動可能であることを必要とする。このことを達成するために、２つのビュー間の「仮想」ビューを補間又は合成する必要がある。ビュー補間を実行するための手法はいくつか存在している。上記手法の１つは、ビュー補間／合成に深度を使用する。

各ビューは、関連付けられた深度信号を有し得る。よって、深度は、ビデオ信号の別の形式とみなし得る。図９は、深度信号９００の例を示す。ＦＴＶなどのアプリケーションをイネーブルするために、深度信号がビデオ信号とともに送信される。提案されたタイリング・フレームワークでは、深度信号は、タイルの１つとして加えることも可能である。図１０は、タイルとして加えられた深度信号の例を示す。深度信号／タイルは、図１０の右側に示す。

深度が、フレーム全体のタイルとして符号化されると、高位構文は、レンダリング器が深度信号を適切に使用することが可能であるように、どのタイルが深度信号であるかを示すものとする。

（図１に示すものなどの）入力シーケンスが、ＭＰＥＧ−４ＡＶＣ標準符号化器（又は、別のビデオ符号化標準及び／又は勧告に対応する符号化器）を使用して符号化された場合、本願提案の高位構文は例えば、シーケンス・パラメータ・セット（ＳＰＳ）、ピクチャ・パラメータ・セット（ＰＰＳ）、スライス・ヘッダ、及び／又は付加拡張情報（ＳＥＩ）メッセージに存在し得る。本願提案の方法の実施例を表１に示す。表１では、構文は付加拡張情報（ＳＥＩ）メッセージに存在している。

（図１に示すものなどの）疑似ビューの入力シーケンスが、ＭＰＥＧ−４ＡＶＣ標準の符号化器のマルチビュー・ビデオ符号化（ＭＶＣ）の拡張（又は、別のビデオ符号化標準及び／又は勧告に関するマルチビュー・ビデオ符号化標準に対応する符号化器）を使用して符号化された場合、本願提案の高位構文がＳＰＳ、ＰＰＳ、スライス・ヘッダ、ＳＥＩメッセージ、又は特定されたプロファイルに存在し得る。

本願提案の方法の一実施例を表１に示す。表１は、本願の原理の実施例によって提案された構文要素を含む、シーケンス・パラメータ・セット（ＳＰＳ）構造に存在している構文要素を示す。

表２は、本願の原理の実施例による、表１のｐｓｅｕｄｏ＿ｖｉｅｗ＿ｉｎｆｏ構文要素の構文要素を示す。

表１及び表２に提示された構文要素の意味規則
ｐｓｅｕｄｏ＿ｖｉｅｗ＿ｐｒｅｓｅｎｔ＿ｆｌａｇがｔｒｕｅに等しいことは、特定のビューが、複数のサブビューのスーパービューであることを示している。

ｔｉｌｉｎｇ＿ｍｏｄｅが０に等しいことは、サブビューがピクチャ・レベルでタイリングされる旨を示す。１の値は、タイリングが画素レベルで行われることを示す。

新たなＳＥＩメッセージは、ＭＰＥＧ―４ＡＶＣ標準、又はＭＰＥＧ−４ＡＶＣ標準の拡張において使用されていないＳＥＩペイロード・タイプの値を使用することが可能である。新たなＳＥＩメッセージは、以下の意味規則を有するいくつかの構文要素を含む。

ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１ｐｌｕｓ１は、ビットストリームによってサポートされる符号化ビューの数を示す。ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１の値は、０以上１０２３以下の範囲内にある。

ｏｒｇ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１ｐｌｕｓ１は、各ビューにおけるピクチャの幅をマクロブロック単位で規定する。
マクロブロック単位での、ピクチャ幅の変数は以下のように導き出される。

ＰｉｃＷｉｄｔｈＩｎＭｂｓ＝ｏｒｇ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１＋１
ｌｕｍａ成分のピクチャ幅の変数は以下のように導き出される。

ＰｉｃＷｉｄｔｈＩｎＳａｍｐｌｅｓＬ＝ＰｉｃＷｉｄｔｈＩｎＭｂｓ＊１６
ｃｈｒｏｍａ成分のピクチャ幅の変数は以下のように導き出される。

ＰｉｃＷｉｄｔｈＩｎＳａｍｐｌｅｓＣ＝ＰｉｃＷｉｄｔｈＩｎＭｂｓ＊ＭｂＷｉｄｔｈＣ
ｏｒｇ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１ｐｌｕｓ１は、各ビューにおけるピクチャの高さをマクロブロック単位で規定する。
マクロブロック単位での、ピクチャの高さの変数は以下のように導き出される。

ＰｉｃＨｅｉｇｈｔＩｎＭｂｓ＝ｏｒｇ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１＋１
ｌｕｍａ成分のピクチャの高さの変数は以下のように導き出される。

ＰｉｃＨｅｉｇｈｔＩｎＳａｍｐｌｅｓＬ＝ＰｉｃＨｅｉｇｈｔＩｎＭｂｓ＊１６
ｃｈｒｏｍａ成分のピクチャの高さの変数は以下のように導き出される。

ＰｉｃＨｅｉｇｈｔＩｎＳａｍｐｌｅｓＣ＝ＰｉｃＨｅｉｇｈｔＩｎＭｂｓ＊ＭｂＨｅｉｇｈｔＣ
ｎｕｍ＿ｓｕｂ＿ｙｉｅｗｓ＿ｍｉｎｕｓ１ｐｌｕｓ１は、現在のビューに含まれる符号化されたサブビューの数を示す。ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１の値は、０以上１０２３以下の範囲内にある。

ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］は、ｉで示す復号化順序のサブビューのｓｕｂ＿ｖｉｅｗ＿ｉｄを規定する。

ｎｕｍ＿ｐａｒｔｓ［ｓｕｂ＿ｙｉｅｗ＿ｉｄ［ｉ］］は、ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］のピクチャが分割される部分の数を規定する。

ｌｏｃ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］及びｌｏｃ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］はそれぞれ、左画素オフセット及び上画素オフセットにおける位置を規定し、現在の部分ｊは、ビューの最終再構成ピクチャ内に配置されており、ｓｕｂ＿ｖｉｅｗ＿ｉｄはｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］に等しい。

ｖｉｅｗ＿ｉｄ［ｉ］は、ビューのｖｉｅｗｉｄを規定し、符号化順序はｉで示す。

ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］、ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］、ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］及びｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］は、出力するためにフレーム座標に規定された矩形領域について、ｎｕｍ＿ｐａｒｔｊ及びｖｉｅｗ＿ｉｄｉの一部である符号化ビデオ・シーケンスにおけるピクチャのサンプルを規定する。

変数ＣｒｏｐＵｎｉｔＸ及びＣｒｏｐＵｎｉｔＹは以下のように導き出される。

ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃが０に等しい場合、ＣｒｏｐＵｎｉｔＸ及びＣｒｏｐＵｎｉｔＹは以下のように導き出される。

ＣｒｏｐＵｎｉｔＸ＝１
ＣｒｏｐＵｎｉｔＹ＝２ − ｆｒａｍｅ＿ｍｂｓ＿ｏｎｌｙ＿ｆｌａｇ
さもなければ（ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃは、１、２又は３に等しい場合）、
ＣｒｏｐＵｎｉｔＸ及びＣｒｏｐＵｎｉｔＹは以下のように導き出される。

ＣｒｏｐＵｎｉｔＸ＝ＳｕｂＷｉｄｔｈＣ
ＣｒｏｐＵｎｉｔＹ＝ＳｕｂＨｅｉｇｈｔＣ ^＊（２ −ｆｒａｍｅ＿ｍｂｓ＿ｏｎｌｙ＿ｆｌａｇ）
フレーム・クロップ矩形は、
ＣｒｏｐＵｎｉｔＸ ^＊ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ乃至ＰｉｃＷｉｄｔｈＩｎＳａｍｐｌｅｓＬ − （ＣｒｏｐＵｎｉｔＸ ^＊ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ＋１）の水平フレーム座標を備えたｌｕｍａサンプルを含む。垂直フレーム座標は、ＣｒｏｐＵｎｉｔＹ＊ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ以上（１６ ^＊ＦｒａｍｅＨｅｉｇｈｔＩｎＭｂｓ） − （ＣｒｏｐＵｎｉｔＹ ^＊ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ＋１）以下である。ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔの値は、０以上（ＰｉｃＷｉｄｔｈＩｎＳａｍｐｌｅｓＬ／ＣｒｏｐＵｎｉｔＸ） − （ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ＋１）以下の範囲内にあるものとし、ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔの値は、０以上（１６ ^＊ＦｒａｍｅＨｅｉｇｈｔＩｎＭｂｓ／ＣｒｏｐＵｎｉｔＹ） − （ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ＋１）以下の範囲内にあるものとする。

ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃが０に等しくない場合、２つのｃｈｒｏｍａアレイの対応する規定サンプルは、フレーム座標（ｘ／ＳｕｂＷｉｄｔｈＣ，ｙ／ＳｕｂＨｅｉｇｈｔＣ）を有するサンプルであり、（ｘ，ｙ）は規定ｌｕｍａサンプルのフレーム座標である。

復号化フィールドの場合、復号化フィールドの規定されたサンプルは、フレーム座標に規定された矩形内に収まるサンプルである。

ｎｕｍ＿ｐａｒｔｓ［ｖｉｅｗ＿ｉｄ［ｉ］］は、ｖｉｅｗ＿ｉｄ［ｉ］のピクチャが分割される部分の数を規定する。

ｄｅｐｔｈ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］は、現在の部分が深度信号であるか否かを規定する。ｄｅｐｔｈ＿ｆｌａｇが０に等しい場合、現在の部分は深度信号でない。ｄｅｐｔｈ＿ｆｌａｇが１に等しい場合、現在の部分は、ｖｉｅｗ＿ｉｄ［ｉ］で識別されるビューに関連付けられた深度信号である。

ｆｌｉｐ＿ｄｉｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］は、現在の部分の反転方向を規定する。ｆｌｉｐ＿ｄｉｒが０に等しいことは反転がないことを意味し、ｆｌｉｐ＿ｄｉｒが１に等しいことは水平方向の反転を示し、ｆｌｉｐ＿ｄｉｒが２に等しいことは垂直方向の反転を示し、ｆｌｉｐ＿ｄｉｒが３に等しいことは水平方向及び垂直方向の反転を示す。

ｆｌｉｐ＿ｄｉｒ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］は現在の部分の反転方向を規定し、ｆｌｉｐ＿ｄｉｒが０に等しいことは反転がない状態を示し、ｆｌｉｐ＿ｄｉｒが１に等しいことは水平方向における反転を示し、ｆｌｉｐ＿ｄｉｒが２に等しいことは垂直方向における反転を示し、ｆｌｉｐ＿ｄｉｒが３に等しいことは水平方向及び垂直方向における反転を示す。

ｌｏｃ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］及びｌｏｃ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］は、画素オフセットにおける位置を規定し、現在の部分ｊは、ビューの最終再構成ピクチャ内に配置されており、ｖｉｅｗ＿ｉｄはｉｄ［ｉ］に等しい。

ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］は、ｖｉｅｗ＿ｉｄ［ｉ］で規定されるビューに属するピクチャをアップサンプリングする必要があるか否かを示す。ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］が０に等しいことは、ｖｉｅｗ＿ｉｄがｖｉｅｗ＿ｉｄ［ｉ］に等しいピクチャがアップサンプリングされないことを規定し、ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］が１に等しいことは、ｖｉｅｗ＿ｉｄがｖｉｅｗ＿ｉｄ［ｉ］に等しいピクチャがアップサンプリングされることを規定している。

ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］はアップサンプリングに使用すべきフィルタのタイプを示す。ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］が０に等しいことは、６タップのＡＶＣフィルタを使用すべきである旨を示し、ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］が１に等しいことは、４タップのＳＶＣフィルタを使用すべきである旨を示し、ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］が２であることは、バイリニア・フィルタを使用すべきである旨を示し、ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］が３であることは、カスタム・フィルタ係数が送信される旨を示す。ｕｐｓａｍｐｌｅ＿ｆｉｔｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］は、存在しない場合、０にセットされる。この実施例では、カスタム化された２Ｄフィルタを使用する。これは、１Ｄフィルタに、及び特定の他の非線形フィルタに容易に拡張することが可能である。

ｖｅｒｔ＿ｄｉｍ［ｖｉｅｗ＿ｉｄ［ｉ］］は、カスタムの２Ｄフィルタの垂直方向の寸法を規定する。

ｈｏｒ＿ｄｉｍ［ｖｉｅｗ＿ｉｄ［ｉ］］は、カスタムの２Ｄフィルタの水平方向の寸法を規定する。

ｑｕａｎｔｉｚｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］は、各フィルタ係数の量子化因子を規定する。

ｆｉｌｔｅｒ＿ｃｏｅｆｆｓ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｙｕｖ］［ｙ］［ｘ］は量子化フィルタ係数を規定し、ｙｕｖは、フィルタ係数が該当する成分を表し、ｙｕｖが０に等しいことはＹ成分を規定し、ｙｕｖが１に等しいことはＵ成分を規定し、ｙｕｖが２に等しいことはＶ成分を規定する。

ｐｉｘｅｌ＿ｄｉｓｔ＿ｘ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］及びｐｉｘｅｌ＿ｄｉｓｔ＿ｙ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］はそれぞれ、ビュー内の近傍画素間の最終的な再構成疑似ビュー内の水平方向及び垂直方向における距離を規定する。ｓｕｂ＿ｖｉｅｗ＿ｉｄはｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］に等しい。

ｎｕｍ＿ｐｉｘｅｌ＿ｔｉｌｉｎｇ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆｓ＿ｍｉｎｕｓ１［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］［ｊ］ｐｌｕｓｏｎｅは、タイリング・モードが１に等しくセットとされると、フィルタ係数の数を示す。

ｐｉｘｅｌ＿ｔｉｌｉｎｇ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆｓ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］［ｊ］は、タイリングされたピクチャをフィルタリングするよう使用することができるフィルタを表すために必要なフィルタ係数を表す。

画素レベルにおけるタイリング例
図２２に移れば、４つのビューからの画素をタイリングすることによる疑似ビューの合成を示す２つの例はそれぞれ、参照符号２２１０及び２２２０それぞれで示す。４つのビューは併せて、参照符号２２５０で示す。図２２における第１の例の構文値は以下、表３に記載する。

図２２における第２の例の構文値は、２つの構文要素（ｌｏｃ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［３］［０］が５に等しく、ｌｏｃ＿ｔｏｐ＿ｏｆｆｓｅｔ［３］［０］が３に等しい）以外は全て、同じである。

ビューに対応する画素が、特定のオフセット位置で開始すべきである旨をオフセットは示す。このことは図２２（２２２０）に示す。このことは例えば、共通の物体がビュー間でシフトしている画像を２つのビューが生成する場合に行うことができる。例えば、（第１のビュー及び第２のビューを表す）第１のカメラ及び第２のカメラが物体の写真を撮影した場合、物体は、第１のビューと比較して、第２のビューにおける右に５個の画素だけ、移動させられているように見え得る。第１のビューにおける画素（ｉ−５，ｊ）は第２のビューにおける画素（ｉ，ｊ）に対応することを意味している。２つのビューの画素が、画素単位でタイリングされているに過ぎない場合、タイル内の近傍画素間であまり相関がないことがあり得、特殊な符号化利得は小さいことがあり得る。逆に、ビュー１からの画素（ｉ−５，ｊ）がビュー２からの画素（ｉ，ｊ）の隣に配置されるようにタイリングをシフトさせることにより、空間的相関を増加させることができる、空間符号化利得も増加させることができる。例えば、第１のビュー及び第２のビューにおける物体の対応する画素が隣同士でタイリングされているので、このことが当てはまる。

よって、ｌｏｃ＿ｌｅｆｔ＿ｏｆｆｓｅｔ及びｌｏｃ＿ｔｏｐ＿ｏｆｆｓｅｔの存在は符号化効率を向上させ得る。オフセット情報は外部手段によって得ることができる。例えば、カメラの位置情報又はビュー間の大局的な視差ベクトルを使用して前述のオフセット情報を求めることができる。

オフセット化の結果、疑似ビューにおける画素の一部には、何れのビューからの画素値にも割り当てられない。上記例を続ければ、ビュー２からの画素（ｉ，ｊ）と並んで、ビュー１からの画素（ｉ−５，ｊ）をタイリングする場合、ｉ＝０_…４の値の場合、タイル対象のビュー１からの画素（ｉ−５，ｊ）は存在しないので、前述の画素はタイルにおいて空き状態である。何れのビューからの画素値も割り当てられない、疑似ビュー（タイル）における画素について、少なくとも１つの実現形態は、ＡＶＣにおける動き補償のサブ画素補間手順と同様な補間手順を使用する。すなわち、空き状態のタイル画素は近傍画素から補間することができる。前述の補間は、タイルにおける、より大きな空間的相関、及びタイルのより大きな符号化利得をもたらし得る。

ビデオ符号化では、Ｉピクチャ、ＰピクチャやＢピクチャなどのピクチャ毎に別々の符号化タイプを選ぶことが可能である。更に、マルチビュー・ビデオ符号化の場合、アンカ・ピクチャ及び非アンカ・ピクチャを定義する。一実施例では、グループ化の決定をピクチャ・タイプに基づいて行うことが可能である旨を提案する。前述のグループ化の情報は高位構文においてシグナリングされる。

図１１に移れば、単一のフレーム上にタイリングされた５つのビューの例の全体を参照符号１１００で示す。特に、単一のフレーム上にタイリングされた５つのビューを備えた、ボールルームのシーケンスを示す。更に、５番目のビューは、矩形のフレーム上に配置することが可能であるように２つの部分に分割されている。ここでは、各ビューは、合計フレーム寸法が６４０×６４０であるようなＱＶＧＡサイズのものである。６００は、１６の倍数でないので、６０８に増やすものとする。

この例の場合、考えられるＳＥＩメッセージは表４に示すようなものであり得る。

表５は、表４に示す例のマルチビュー情報を送信するための一般的な構文構造を示す。

図２３を参照すれば、ビデオ処理装置２３００を示す。ビデオ処理装置２３００は例えば、符号化ビデオを受け取るセットトップ・ボックスや他の装置であり得、例えば、ユーザに向けて表示するために、又は記憶するために、復号化ビデオを供給する。よって、装置２３００はその出力をテレビ受像機、コンピュータ・モニタ、又はコンピュータ若しくは他の処理装置に供給することができる。

装置２３００は、データ信号２３２０を受信する復号化器２３１０を含む。データ信号２３２０は例えば、ＡＶＣ又はＭＶＣ互換ストリームを含み得る。復号化器２３１０は、受信信号２３２０の全部又は一部を復号化し、復号化ビデオ信号２３３０及びタイリング情報２３４０を出力として供給する。復号化ビデオ２３３０及びタイリング情報２３４０は選択器２３５０に供給される。装置２３００は、ユーザ入力２３７０を受信するユーザ・インタフェースも含む。ユーザ・インタフェース２３６０は、ユーザ入力２３７０に基づいてピクチャ選択信号２３８０を選択器２３５０に供給する。ピクチャ選択信号２３８０及びユーザ入力２３７０は、ユーザが表示させたいピクチャが複数のピクチャのうちのどれであるかを示す。選択器２３５０は、選択されたピクチャを出力２３９０として供給する。選択器２３５０は、ピクチャ選択情報２３８０を使用して、出力２３９０として、復号化ビデオ２３３０におけるピクチャのうちのどれを供給するかを選択する。選択器２３５０は、タイリング情報２３４０を使用して、復号化ビデオ２３３０において選択ピクチャを位置特定する。

種々の実現形態では、選択器２３５０はユーザ・インタフェース２３６０を含み、他の実現形態では、選択器２３５０が、別個のインタフェース機能が実行されることなく、ユーザ入力２３７０を直接受け取るので、ユーザ・インタフェース２３６０は必要でない。選択器２３５０は、例えば、ソフトウェアで、又は集積回路として実現することができる。選択器２３５０は、復号化器２３１０も組み入れることができる。

より一般的には、本出願記載の種々の実現形態の復号化器は、タイル全体を含む復号化出力を供給することができる。更に、又はあるいは、復号化器は、タイルからの１つ又は複数の選択されたピクチャ（例えば、画像又は深度信号）のみを含む復号化出力を供給することができる。

前述の通り、高位構文を使用して、本願の原理の１つ又は複数の実施例によるシグナリングを実行することができる。例えば、これらに限定されるものでないが、以下の何れかをシグナリングするために高位構文を使用することができる。より大きなフレームに存在している符号化ビューの数、ビュー全ての元の幅及び高さ、符号化ビュー毎の、ビューに対応するビュー識別子、符号化ビュー毎の、ビューのフレームが分割される部分の数、ビューの部分毎の反転方向（例えば、反転なし、水平方向の反転のみ、垂直方向の反転のみ、又は水平方向及び垂直方向の反転）、ビューの部分毎の、ビューの最終フレームにおいて現在の部分が属する左の位置（画素又はマクロブロックの数）、ビューの部分毎の、ビューの最終フレームにおいて現在の部分が属する部分の上の位置（画素又はマクロブロックの数）、ビューの部分毎の、クロッピング・ウィンドウの現在の大きな復号化／符号化フレームにおける左の位置（画素又はマクロブロックの数）、ビューの部分毎の、クロッピング・ウィンドウの現在の大きな復号化／符号化フレームにおける右の位置（画素又はマクロブロックの数）、ビューの部分毎の、クロッピング・ウィンドウの現在の大きな復号化／符号化フレームにおける上の位置（画素又はマクロブロックの数）、及び、ビューの部分毎の、クロッピング・ウィンドウの現在の大きな復号化／符号化フレームにおける下の位置（画素又はマクロブロックの数）、符号化ビュー毎に、出力前にビューをアップサンプリングする必要があるか否か（アップサンプリングを行う必要がある場合、高位構文を使用して、アップサンプリング方法（これらに限定されないが、６タップのＡＶＣフィルタ、４タップのＳＶＣフィルタ、バイリニア・フィルタ、又はカスタムの１Ｄ、２Ｄ線形若しくは非線形フィルタ）を示すことができる。

「符号化器」及び「復号化器」の語は、一般的な構造を意味し、何れの特定の機能又は構成にも限定されない。例えば、復号化器は、符号化ビットストリームを収容する変調搬送波を受け取り、符号化ビットストリームを復調し、ビットストリームを復号化することができる。

種々の方法を説明している。前述の方法の多くは、十分な開示をもたらすよう詳説している。しかし、前述の方法について説明された特定の構成の１つ又は多くを変えることができる変形が考えられる。更に、記載された構成の多くは当技術分野において知られており、よって、詳細には説明しないものとする。

更に、いくつかの実現形態において、特定の情報を送出するために高位構文を使用することを参照している。しかし、他の実現形態は、低位構文を使用するか、又は実際には、（例えば、符号化データの一部としての情報の送出などの）全く別の機構を使用して、同じ情報（又はその情報の変形）を供給する。

種々の実現形態は、複数のビュー（一般的には、ピクチャ）を、単一のピクチャにタイリングし、単一のピクチャとして符号化し、単一のピクチャとして送出することを可能にするためにタイリング及び適切なシグナリングを提供する。シグナリング情報は、ポストプロセッサがビュー／ピクチャを引き離すことを可能にし得る。更に、タイリングされる複数のピクチャはビューであり得るが、ピクチャのうちの少なくとも１つは深度情報であり得る。前述の実現形態は１つ又は複数の利点をもたらし得る。例えば、ユーザは、タイリングされたかたちで複数のビューを表示したいことがあり得、前述の種々の実現形態は、タイリングされたかたちで符号化し、送信／記憶する前にタイリングすることにより、前述のビューを符号化し、送信又は記憶する効率的なやり方をもたらす。

ＡＶＣ及び／又はＭＶＣのコンテキストで複数のビューをタイリングする実現形態も更なる利点をもたらす。ＡＶＣは、表面的には、単一のビューのみに使用されるので、更なるビューは期待されない。しかし、前述のＡＶＣベースの実現形態は、ＡＶＣ環境において複数のビューをもたらすことが可能である。タイリングされたピクチャが別々のビューに属する（例えば、疑似ビューにおける左右ピクチャがビュー１であり、右上ピクチャがビュー２である等）旨を復号化器が分かるように、タイリングされたビューを配置することが可能であるからである。

更に、ＭＶＣは既に複数のビューを含むので、複数のビューが、単一の疑似ビューに含まれることは期待されない。更に、ＭＶＣは、サポートすることが可能なビューの数に限度を有し、前述のＭＶＣベースの実現形態により、（ＡＶＣベースの実現形態におけるように）更なるビューをタイリングすることを可能にすることによってサポートすることが可能なビューの数が事実上増える。例えば、各疑似ビューは、ＭＶＣのサポートされたビューのうちの１つに対応し得、復号化器は、「サポートされたビュー」それぞれが、予め配置されたタイリング順序における４つのビューを実際に含むことが分かり得る。よって、前述の実現形態では、考えられるビューの数は、「サポートされたビュー」の数の４倍である。

本明細書及び特許請求の範囲記載の実現形態は、例えば、方法若しくは処理、装置、又はソフトウェア・プログラムで実現することができる。単一の形式の実現形態のコンテキストでしか（例えば、方法としてしか）記載されていない場合でも、記載された特徴の実現形態は、他の形態（例えば、装置又はプログラム）で実現することも可能である。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアで実現することができる。方法は例えば、コンピュータ、マイクロプロセッサ、集積回路や、プログラマブル論理装置を含む、一般に処理装置を表す装置（例えば、プロセッサ）で実現することができる。処理装置は、エンドユーザ間の情報の通信を容易にする通信装置（例えば、コンピュータ、携帯電話機、ポータブル／パーソナル携帯情報端末（「ＰＤＡ」）や他の装置）も含む。

本明細書及び特許請求の範囲記載の種々の処理及び構成の実現形態は、各種の機器又はアプリケーション（特に、例えば、データ符号化及び復号化に関連付けられた機器又はアプリケーション）において実施することができる。機器の例には、ビデオ符号化器、ビデオ復号化器、ビデオ・コデック、ウェブ・サーバ、セットトップ・ボックス、ラップトップ、パソコン、携帯電話機、ＰＤＡや、他の通信装置が含まれる。機器は明らかに、モバイルであり得、モバイル車両に設置されていてもよい。

更に、方法は、プロセッサによって行われる命令によって実現することができ、前述の命令は、プロセッサ読み取り可能な媒体（例えば、集積回路、ソフトウェア担体や他の記憶装置（例えば、ハード・ディスク、コンパクト・ディスケット、ランダム・アクセス・メモリ（「ＲＡＭ」）やリードオンリー・メモリ（「ＲＯＭ」）））上に記憶することができる。命令は、プロセッサ読み取り可能な媒体上に有形に実施されたアプリケーション・プログラムを構成することができる。プロセッサは明らかに、例えば、処理を行うための命令を有するプロセッサ読み取り可能な媒体を含み得る。前述のアプリケーション・プログラムは、何れかの適切なアーキテクチャを有するマシンにアップロードし、前述のマシンによって実行することができる。好ましくは、マシンは、１つ又は複数の中央処理装置（「ＣＰＵ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）、及び入出力（「Ｉ／Ｏ」）のインタフェースなどのハードウェアを有するコンピュータ・プラットフォーム上に実現される。コンピュータ・プラットフォームは、オペレーティング・システム及びマイクロ命令コードも含み得る。本明細書及び特許請求の範囲記載の種々の処理及び機能は、ＣＰＵによって実行することができるアプリケーション・プログラムの一部若しくはマイクロ命令コードの一部（又はそれらの組み合わせ）であり得る。更に、種々の他の周辺装置を、更なるデータ記憶装置や、印刷装置などのコンピュータ・プラットフォームに接続することができる。

当業者に分かるように、実現形態は、例えば、記憶又は伝送することができる情報を搬送するようフォーマッティングされた信号を生成することも可能である。情報は例えば、前述の実現形態のうちの１つによって生成されるデータ、又は方法を行うための命令を含み得る。前述の信号は例えば、電磁波（例えば、スペクトルの無線周波数部分を使用して）として、又はベースバンド信号としてフォーマッティングすることができる。フォーマッティングは例えば、データ・ストリームの符号化、構文の生成、及び、符号化データ・ストリーム及び構文による搬送波の変調を含み得る。信号が搬送する情報は例えば、アナログ情報又はディジタル情報であり得る。信号は、知られているように、各種有線リンク又は無線リンクを介して伝送することができる。

更に、添付図面に表す構成システム部分及び方法の一部は好ましくはソフトウェアで実現されるので、システム構成部分（又は処理機能ブロック）間の実際の接続は、本願の原理がプログラムされるやり方によって変わり得る。本明細書及び特許請求の範囲記載の教示があれば、当業者は、本願の原理の前述及び同様な実現形態又は構成に想到することができるであろう。

いくつかの実現形態を説明してきた。しかし、種々の修正を行うことができることが理解されるであろう。例えば、別々の実現形態の構成要素を合成、補完、修正、又は除外して他の実現形態をもたらすことができる。更に、他の構造及び処理を、開示されたものと置き換えることができ、結果として生じる実現形態は少なくとも実質的に同じ機能を少なくとも実質的に同じやり方で行って、開示された実現形態と、少なくとも実質的に同じ結果を達成することを当業者は理解するであろう。特に、例証的な実施例を添付図面を参照して本明細書及び特許請求の範囲において説明してきたが、本願の原理は前述のまさにその実施例に限定されず、本願の原理の範囲又は趣旨から逸脱することなく、種々の変更及び修正を当業者によって行うことができる。よって、前述及び他の実現形態は、本出願によって考察することができ、特許請求の範囲記載の範囲内に収まる。

Claims

方法であって、
複数のピクチャを１つのビデオ・ピクチャに合成する工程であって、前記複数のピクチャは、共通の物体または領域が一方のビューから他方のビューにシフトして現れるマルチビュー・ビデオの第１のビューの第１のピクチャと前記マルチビュー・ビデオの第２のビューの第２のピクチャを含む工程と、
前記ビデオ・ピクチャ内の前記複数のピクチャがどのようにして合成されるかを示す情報を生成する工程であって、前記情報は、前記複数のピクチャのうちの各々が、水平方向および垂直方向のうちの一方、または、水平方向および垂直方向の双方に個々に反転しているか否かを示す工程と、
前記合成された複数のピクチャの符号化された表現を供給するよう前記ビデオ・ピクチャを符号化する工程と、
前記生成された情報及び前記符号化されたビデオ・ピクチャを出力として供給する工程とを含む方法。
請求項１記載の方法であって、前記第１のピクチャは、前記ビデオ・ピクチャにおいて、前記第２のピクチャの傍らに配置される方法。
請求項１記載の方法であって、前記第１のピクチャは、前記ビデオ・ピクチャにおいて、前記第２のピクチャの上に配置される方法。
請求項１記載の方法であって、前記合成する工程は、前記第１のピクチャ及び前記第２のピクチャを、前記ビデオ・ピクチャに画素レベルで配置し、前記第１のピクチャの画素、及び前記第２のピクチャの画素は、交互にインタレースされる方法。
方法であって、
単一のピクチャに合成された複数のピクチャを含むビデオ・ピクチャにアクセスする工程であって、前記複数のピクチャは、共通のオブジェクトまたは領域が一方のビューから他方のビューにシフトして現れるマルチビュー・ビデオの第１のビューの第１のピクチャと前記マルチビュー・ビデオの第２のビューの第２のピクチャを含み、前記ビデオ・ピクチャが、受信されたビデオ・ストリームの一部である工程と、
前記アクセスされたビデオ・ピクチャにおける前記複数のピクチャがどのようにして合成されるかを示す情報にアクセスする工程であって、前記アクセスされた情報は、前記複数のピクチャのうちの各々が、水平方向および垂直方向のうちの一方、または、水平方向および垂直方向の双方に個々に反転しているか否かを示す工程と、
前記複数のピクチャのうちの少なくとも１つのピクチャの復号化された表現を供給するよう前記ビデオ・ピクチャを復号化する工程と、
前記アクセスされた情報及び前記復号化された表現の少なくとも一方を出力として供給する工程とを含む方法。
請求項５記載の方法であって、前記復号化する工程は、ビデオ・ピクチャから第１のピクチャ及び第２のピクチャを取り外す工程を更に含み、前記第１のピクチャは、前記ビデオ・ピクチャにおいて前記第２のピクチャの傍らに配置される方法。
請求項５記載の方法であって、前記復号化する工程は、ビデオ・ピクチャから前記第１のピクチャ及び前記第２のピクチャを取り外す工程を更に含み、前記第１のピクチャは、前記ビデオ・ピクチャにおいて前記第２のピクチャの上に配置される方法。
請求項５記載の方法であって、前記復号化する工程は、ビデオ・ピクチャから前記第１のピクチャ及び前記第２のピクチャを画素レベルにおいて取り外す工程を更に含み、前記第１のピクチャの画素及び前記第２のピクチャの画素は交互にインタレースされる方法。
請求項５記載の方法であって、前記アクセスされた情報は、前記ビデオ・ピクチャ内の前記複数のピクチャのうちの少なくとも１つの位置及び向きのうちの少なくとも一方を示す方法。
請求項５記載の方法であって、前記ビデオ・ピクチャにアクセスする工程、前記情報にアクセスする工程、前記ビデオ・ピクチャを復号化する工程、前記アクセスされた情報及び前記復号化されたビデオ・ピクチャを供給する工程が復号化器において行われる方法。
請求項５記載の方法であって、
前記複数のピクチャのうちの少なくとも１つは、前記第１のピクチャの深度情報を含む方法。
装置であって、
複数のピクチャを１つのビデオ・ピクチャに合成する手段であって、前記複数のピクチャは、共通のオブジェクトまたは領域が一方のビューから他方のビューにシフトして現れるマルチビュー・ビデオの第１のビューの第１のピクチャと前記マルチビュー・ビデオの第２のビューの第２のピクチャを含む手段と、
前記ビデオ・ピクチャ内の前記複数のピクチャがどのようにして合成されるかを示す情報を生成する手段であって、前記情報は、前記複数のピクチャのうちの各々が、水平方向および垂直方向のうちの一方、または、水平方向および垂直方向の双方に個々に反転しているか否かを示す手段と、
前記合成された複数のピクチャの符号化された表現を供給するよう前記ビデオ・ピクチャを符号化する手段と、
前記生成された情報及び前記符号化されたビデオ・ピクチャを出力として供給する手段とを含む装置。
請求項１２記載の装置であって、前記第１のピクチャは、ビデオ・ピクチャにおいて、前記第２のピクチャの傍らに配置される装置。
請求項１２記載の装置であって、前記第１のピクチャは、前記ビデオ・ピクチャにおいて、前記第２のピクチャの上に配置される装置。
請求項１２記載の装置であって、前記合成する手段は、前記第１のピクチャ及び前記第２のピクチャを、前記符号化されたビデオ・ピクチャに画素レベルで配置し、前記第１のピクチャの画素、及び前記第２のピクチャの画素は、交互にインタレースされる装置。
装置であって、
単一のピクチャに合成された複数のピクチャを含むビデオ・ピクチャにアクセスする手段であって、前記複数のピクチャは、共通のオブジェクトまたは領域が一方のビューから他方のビューにシフトして現れるマルチビュー・ビデオの第１のビューの第１のピクチャと前記マルチビュー・ビデオの第２のビューの第２のピクチャを含み、前記ビデオ・ピクチャが、受信されたビデオ・ストリームの一部である手段と、
前記アクセスされたビデオ・ピクチャにおける前記複数のピクチャがどのようにして合成されるかを示す情報にアクセスする手段であって、前記アクセスされた情報は、前記複数のピクチャのうちの各々が水平方向および垂直方向のうちの一方、または、水平方向および垂直方向の双方に個々に反転しているか否かを示す手段と、
前記複数のピクチャのうちの少なくとも１つのピクチャの復号化された表現を供給するよう前記ビデオ・ピクチャを復号化する手段と、
前記アクセスされた情報及び前記復号化された表現の少なくとも一方を出力として供給する手段と
を備える装置。
請求項１６記載の装置であって、前記復号化する手段は、前記ビデオ・ピクチャから前記第１のピクチャ及び前記第２のピクチャを取り外す手段を更に備え、前記第１のピクチャは、前記ビデオ・ピクチャにおいて前記第２のピクチャの傍らに配置される装置。
請求項１６記載の装置であって、前記復号化する手段は、前記ビデオ・ピクチャから前記第１のピクチャ及び前記第２のピクチャを取り外す手段を更に備え、前記第１のピクチャは、前記ビデオ・ピクチャにおいて前記第２のピクチャの上に配置される装置。
請求項１６記載の装置であって、前記復号化する手段は、前記ビデオ・ピクチャから前記第１のピクチャ及び前記第２のピクチャを画素レベルにおいて取り外す手段を更に含み、前記第１のピクチャの画素及び前記第２のピクチャの画素は交互にインタレースされる装置。
実行すると方法を実施するマシン実行可能な命令を記憶させたマシン判読可能な媒体であって、前記方法は、
複数のピクチャを１つのビデオ・ピクチャに合成する工程であって、前記複数のピクチャは、共通のオブジェクトまたは領域が一方のビューから他方のビューにシフトして現れるマルチビュー・ビデオの第１のビューの第１のピクチャと前記マルチビュー・ビデオの第２のビューの第２のピクチャを含む工程と、
前記ビデオ・ピクチャの反転表示を生成する工程を含み、前記反転表示は、前記複数のピクチャの各々が、水平方向および垂直方向のうちの一方、または、水平方向および垂直方向の双方に個々に反転しているか否かを示す工程と、
前記ビデオ・ピクチャ及び前記反転表示を符号化してビットストリームを形成する工程とを含むマシン判読可能な媒体。
実行すると方法を実施するマシン実行可能な命令を記憶させたマシン判読可能な媒体であって、前記方法は、
符号化されたビデオ・ピクチャ及び反転表示を、受信されたビットストリームから抽出する工程であって、前記符号化されたビデオ・ピクチャは、前記符号化されたビデオ・ピクチャとして配置されたマルチビュー・ビデオの第１のビューの第１のピクチャ及び前記マルチビュー・ビデオの第２のビューの第２のピクチャを含み、前記反転表示は、前記第１のピクチャ及び前記第２のピクチャのうちの各々が水平方向および垂直方向のうちの一方、または、水平方向および垂直方向の双方に個々に反転しているか否かを示す工程と、
前記符号化されたビデオ・ピクチャを前記第１のピクチャ及び前記第２のピクチャに復号化する工程と、
前記第１のピクチャ又は前記第２のピクチャの１つ又は複数を出力として供給する工程とを含むマシン判読可能な媒体。