JP2018504009A - デジタルビデオのレンダリング - Google Patents

Abstract

デジタル画像およびビデオコンテンツのレンダリング。第２のグラフィックオブジェクトをレンダリングするための、第１のグラフィックオブジェクトの第１の情報と、第２のグラフィックオブジェクトをレンダリングするための、第２のグラフィックオブジェクトの第２の情報とが形成される。第１のグラフィックオブジェクトと第２のグラフィックオブジェクトとの間の依存関係情報が形成され、この 情報は、第２のグラフィックオブジェクトを、視認方向における前記第１のグラフィックオブジェクトと第２のグラフィックオブジェクトとの重なりに応じてレンダリングするための情報を有する。第２のグラフィックオブジェクトは、第２のグラフィックオブジェクトの第２の情報および第１のグラフィックオブジェクトの第１の情報を使用して第２のピクセルデータを生成することによりレンダリングされ、第２のグラフィックオブジェクトのレンダリングは、第２のグラフィックオブジェクトのうち、視認方向において第１のグラフィックオブジェクトが重なるような部分に対して実行される。【選択図】図6a

Description

背景

静止画像および動画像のデジタルステレオ視が普及し、３Ｄ（３次元）動画を見るための機器はより広く入手可能である。映画館は、動画の各フレームについて左右の眼が異なる画像を視認するようにする特殊眼鏡を用いた動画の視認に基づく３Ｄ映画を提供している。同じ手法が、３Ｄ対応のプレーヤおよびテレビ受像機により家庭用にもたらされた。実際には、動画は、同一シーンに対して１つは左眼用、１つは右眼用の、２つのビューからなる。これらのビューは、ステレオ視に適したこうしたコンテンツを直接生成する特殊なステレオカメラで動画をキャプチャすることにより生成されたものである。ビューが２つの眼に提示されると、人の視覚系は、シーンの３Ｄビューを作り出す。視覚面積（映画のスクリーンまたはテレビ）が視野の一部しか占めないため３Ｄビューの体験が制限されるという欠点が、この技術にはある。

より現実感のある体験のために、全視野のうちのより大きな視覚面積を占めるデバイスが作り出された。眼を覆って、小型の画面・レンズ配列により左右の眼にピクチャを表示するように頭部に装着されることを意図された特殊なステレオ視ゴーグルが入手可能である。そのような技術には、３Ｄ視認に一般に使用される相当に大きなＴＶ受像機に比べ、狭い空間でも、さらには移動中でも使用可能であるという利点もある。

故に、３Ｄビデオの視認のためのデジタル画像／ビデオの記録およびレンダリングを可能にするソリューションに対するニーズがある。

摘要

そこで、上記の問題が緩和される改善された方法と、その方法を実装する技術的設備とが発明された。本発明の様々な側面は、方法、装置、サーバ、レンダラ、データ構造、および格納されたコンピュータプログラムを有するコンピュータ可読媒体を含み、これらは独立クレームの記載事項により特徴付けられる。本発明の様々な実施形態が、従属クレームにおいて開示される。

本記載は、デジタル画像およびビデオコンテンツをレンダリングする方法、装置、およびコンピュータプログラム製品を開示する。第２のグラフィックオブジェクトをレンダリングするための第１のグラフィックオブジェクトの第１の情報と、第２のグラフィックオブジェクトをレンダリングするための第２のグラフィックオブジェクトの第２の情報とが形成または受信される。第１のグラフィックオブジェクトと第２のグラフィックオブジェクトとの間の依存関係情報が形成または受信され、依存関係情報は、第２のグラフィックオブジェクトを、視認方向（ｖｉｅｗｉｎｇ ｄｉｒｅｃｔｉｏｎ）における前記第１のグラフィックオブジェクトと第２のグラフィックオブジェクトとの重なりに応じてレンダリングするための情報を有する。第２のグラフィックオブジェクトは、第２のグラフィックオブジェクトの第２の情報および第１のグラフィックオブジェクトの第１の情報を使用して第２のピクセルデータを生成することによりレンダリングされ、第２のグラフィックオブジェクトのレンダリングは、第２のグラフィックオブジェクトのうち、視認方向において第１のグラフィックオブジェクトが重なるような部分に対して実行される。

言い換えれば、シーンのコンピュータモデル内にあるいくつかのオブジェクトが、そのオブジェクトが他のオブジェクトを介して見える場合にはピクセルを有するコンピュータ画像にレンダリングされる一方で、他の場合にはレンダリングされない、方法、装置、およびコンピュータプログラム製品が提供される。例えば、家の中のランプのモデルは、窓を介して見ることができるが、壁を介しては見ることができない。さらに、家のモデルが前面（正面）の壁のみを含む場合、家が側方から斜角で視認されたときに、たとえランプが壁の側方から見えたとしても、ランプのレンダリングは妨げられる。

さらに、鏡のような反射オブジェクトは、別のオブジェクトが現在の視認方向で鏡の中に見えるであろうときは、鏡の中にその別のオブジェクトのミラーイメージをレンダリングすることによってレンダリングされてもよい。ミラーイメージオブジェクトは事前計算され得るので、これはレンダリングを単純化する。ただし、別のオブジェクトのミラーイメージは、それが鏡の側方に見えるであろう場合、レンダリングをすれば、反射がないのに反射を誤って示すことになるので、レンダリングされない。他のオブジェクトを介したオブジェクトのレンダリングは、オブジェクトに手前のオブジェクトが重なり、手前のオブジェクトを通してオブジェクトを見ることができる場合にのみそのオブジェクトがレンダリングされるように、制御されてもよい。そのような条件付きのレンダリングにはステンシルバッファが使用されてもよく、ピクセルデータは、そのピクチャバッファピクセルに対しステンシルバッファピクセルが適切に設定されていればピクチャバッファに出力される。

以下では、本発明の様々な実施形態が、添付図面を参照しながらさらに詳しく記載される。

ユーザに対してステレオ画像を形成する構成を示す。 ユーザに対してステレオ画像を形成する構成を示す。 ユーザに対してステレオ画像を形成する構成を示す。 ユーザに対してステレオ画像を形成する構成を示す。 ステレオ視のためのシステムおよび装置を示す。 ステレオ視のためのステレオカメラデバイスを示す。 ステレオ視のための頭部装着型ディスプレイを示す。 カメラを示す。 格納するためのレンダーレイヤの形成および画像データの形成を示す。 格納するためのレンダーレイヤの形成および画像データの形成を示す。 レンダーレイヤを使用した画像のレンダリングを示す。 画像をレンダリングするためのレンダーレイヤを有するデータ構造を示す。 画像をレンダリングするためのレンダーレイヤを有するデータ構造を示す。 部分的に反射性のオブジェクトを備えたシーンを示す。 反射性オブジェクトおよび透過性オブジェクトをレンダリングするための依存性グラフを示す。 反射されたオブジェクトのレンダリングを示す。 反射されたオブジェクトをレンダリングするためのステンシルバッファの使用を示す。 反射性オブジェクトを備えたデジタルシーンを形成およびレンダリングするフローチャートを示す。 反射性オブジェクトを備えたデジタルシーンを形成およびレンダリングするフローチャートを示す。

実施例の説明

以下では、本発明のいくつかの実施形態がステレオ視の文脈で記載される。なお、当然のことながら、本発明はいかなる特定の目的にも限定されない。実際は、種々の実施形態に、例えば映画およびテレビなど、反射面でデジタルシーンを視認する必要がある任意の環境での用途がある。

図１ａ、１ｂ、１ｃ、および１ｄは、ユーザに対してステレオ画像を形成する構成を示す。図１ａには、人間が両眼Ｅ１およびＥ２を使用して２つの球体Ａ１およびＡ２を視認している状況が示されている。球体Ａ１のほうが、球体Ａ２よりも視認者に近く、第１の眼Ｅ１までの各距離は、ＬＥ１，Ａ１およびＬＥ１，Ａ２である。各オブジェクトは、空間中それぞれの（ｘ，ｙ，ｚ）座標にあり、座標は座標系ＳＸ、ＳＹ、およびＳＺにより定義される。人間の眼と眼の間の距離ｄ１２は、平均約６２ｍｍ〜６４ｍｍと考えられ、人により５５ｍｍから７４ｍｍの間で異なる。この距離はパララックスと呼ばれ、人の視覚の立体視はこれに基づく。視認方向（光軸）ＤＩＲ１およびＤＩＲ２は、典型的には実質的に平行であり、場合によっては平行から小さく逸れ、眼の視野を画定する。ユーザの頭部は周囲に対する向きを有し（頭部の向き）、これは、もっとも簡単には、眼がまっすぐ前を見ているときの眼の一般的方向により定められる。すなわち、頭部の向きは、ユーザが居るシーンの座標系に対する頭部のヨー、ピッチ、およびロールを表す。

図１ａの構成では、球体Ａ１およびＡ２は、両眼の視野の中にある。眼と眼の間の中央点Ｏ１２および球体は、同じ線上にある。つまり、中央点からは、球体Ａ２は球体Ａ１の後ろにある。一方、球体はどちらの眼からも同一視線上にないので、それぞれの眼には、Ａ１の後ろに球体Ａ２の一部が見える。

図１ｂには、図１ａで眼があった位置に配置されたカメラＣ１およびＣ２により眼が置き換えられた構成が示されている。この構成の距離および方向は、他の点では同じである。当然、図１ｂの構成の目的は、球体Ａ１およびＡ２のステレオ画像を撮影できることである。画像キャプチャの結果として生じる２つの画像が、ＦＣ１およびＦＣ２である。「左眼」画像ＦＣ１は、球体Ａ１の画像ＳＡ１の左側に一部見える球体Ａ２の画像ＳＡ２を示す。「右眼」画像ＦＣ２は、球体Ａ１の画像ＳＡ１の右側に一部見える球体Ａ２の画像ＳＡ２を示す。左右の画像のこの違いは視差と呼ばれ、この視差が、人の視覚系が深度情報を判断してシーンの３Ｄビューを作り出す基本的なメカニズムであり、これを使用して３Ｄ画像の錯覚をもたらすことができる。

カメラ間の距離が図１ａの眼のものと一致する図１ｂのこの構成では、カメラペアＣ１およびＣ２は、自然なパララックスを有し、すなわち、カメラの２つの画像に自然な視差をもたらす特性を有する。たとえステレオカメラペアを構成する２つのカメラ間の距離が、人の眼と眼の間の通常の距離（パララックス）より幾分短いかまたは長く、例えば事実上４０ｍｍから１００ｍｍの間、あるいは３０ｍｍから１２０ｍｍの間であっても、自然な視差がもたらされることは分かるであろう。

図１ｃには、３Ｄ錯覚の生成が示されている。カメラＣ１およびＣ２によりキャプチャされた画像ＦＣ１およびＦＣ２が、それぞれディスプレイＤ１およびＤ２を使用して眼Ｅ１およびＥ２に対して表示される。画像間の視差は、人の視覚系により処理され、奥行きの認識がもたらされる。つまり、左眼で球体Ａ１の画像ＳＡ１の左側に球体Ａ２の画像ＳＡ２が見え、同様に右眼で右側にＡ２の画像が見えると、人の視覚系は、３次元の世界において球体Ｖ１の後ろに球体Ｖ２があるという認識をもたらす。ここで、当然のことながら、画像ＦＣ１およびＦＣ２は、合成されたもの、すなわちコンピュータにより生成されたものとすることもできる。それらが視差情報を伝達すれば、合成画像も、人の視覚系により３次元として見られることになる。つまり、ステレオ画像として使用できるようにコンピュータ生成画像のペアを形成することができる。

図１ｄは、ステレオ画像を眼に対して表示する原理をどのように使用すれば、３次元と錯覚させる３Ｄ動画または仮想現実シーンを生成することができるかを示す。画像ＦＸ１およびＦＸ２は、各画像が適切な視差をもつようにステレオカメラを用いてキャプチャされるかまたはモデルから計算されたものである。左右の眼で画像に視差が生じるようにディスプレイＤ１およびＤ２を使用して毎秒多数（例えば３０）のフレームを両眼に表示することで、人の視覚系が、動きのある３次元画像の認知をもたらす。カメラの向きが変わり、または合成画像が計算されるビューの方向が変更されると、その画像の変化は、視認方向が変化している、つまり視認者の頭が回転しているとの錯覚をもたらす。この視認方向、つまり頭部の向きは、例えば頭部に装着された向き検出器などにより、頭部の現実の向きとして求められてもよく、または、ユーザが実際にはその頭部を動かさずに視認方向を操作すべく使用可能なジョイスティックもしくはマウスなどの制御デバイスにより決定される仮想の向きとして求められてもよい。つまり、「頭部の向き」という用語は、ユーザの頭部の実際の物理的向きおよびその変化を指すために使用されることもあり、または、コンピュータプログラムもしくはコンピュータ入力デバイスにより決定されるユーザの仮想視認方向を指すよう使用されることもある。

図２ａは、ステレオ視、つまり３Ｄビデオおよび３Ｄオーディオのデジタルキャプチャおよび再生のためのシステムおよび装置を示す。このシステムのタスクは、十分な視覚情報および聴覚情報を特定位置からキャプチャして、当該位置に居る体験またはそこでの存在の迫真的な再現を、別々の位置に物理的に位置する１つ以上のビューアにより、任意選択で将来の後の時点で、実現できるようにするというものである。視認者がその眼および耳を使用してシーン中のオブジェクトの距離および位置を判断できるには、単一のカメラまたはマイクロフォンによりキャプチャできるよりも多くの情報が上記の再現に必要である。図１ａ〜１ｄの文脈で説明されたとおり、視差のある画像のペアを生成するために２つのカメラソースが使用される。同様に、人の聴覚系が音の方向を感知できるように少なくとも２つのマイクロフォンが使用される（一般に周知のステレオ音響は、２つのオーディオチャンネルを録音することにより生成される）。人の聴覚系は、音の方向を検知するために、例えばオーディオ信号のタイミングのずれといった感覚信号を検知することができる。

図２ａのシステムは、画像ソース、サーバ、およびレンダリングデバイスの３つの主要部分からなってもよい。ビデオキャプチャデバイスＳＲＣ１は、ビデオキャプチャデバイス周辺のビューの各領域が少なくとも２つのカメラからキャプチャされるように、視野が重なり合う複数（例えば８つ）のカメラＣＡＭ１、ＣＡＭ２、…、ＣＡＭＮを有する。デバイスＳＲＣ１は、種々の方向から発信されるオーディオのタイミングおよび位相のずれをキャプチャするために複数のマイクロフォンを有してもよい。デバイスは、複数のカメラの向き（視認方向）を検出および記録可能なように、高分解能の方位センサを有してもよい。デバイスＳＲＣ１は、コンピュータプロセッサＰＲＯＣ１およびメモリＭＥＭ１を有し、またはそれらに機能的に接続され、メモリは、キャプチャデバイスを制御するためのコンピュータプログラムＰＲＯＧＲ１コードを有する。デバイスによりキャプチャされた画像のストリームは、例えばビューアなどの別のデバイスで使用するためメモリデバイスＭＥＭ２に格納されてもよく、かつ／または通信インターフェースＣＯＭＭ１を使用してサーバに伝送されてもよい。

当然のことながら、ここでは８つのカメラの立方体構成がシステムの一部として記載されるが、代わりに別のカメラデバイスがシステムの一部として使用されてもよい。

ビデオキャプチャデバイスＳＲＣ１が１つまたは複数の画像ストリームを生成する代わりに、またはそれに加えて、合成画像のソースＳＲＣ２が１つ以上システム内に存在してもよい。そのような合成画像のソースは、伝送する様々な画像ストリームを、仮想世界のコンピュータモデルを使用して計算してもよい。例えばソースＳＲＣ２は、仮想視認位置に位置するＮ個の仮想カメラに対応するＮ個のビデオストリームを計算してもよい。そのようなビデオストリームの合成セットが視認に使用されると、視認者は、図１ｄについて前述したとおり、３次元の仮想世界を見ることができる。デバイスＳＲＣ２は、コンピュータプロセッサＰＲＯＣ２およびメモリＭＥＭ２を有し、またはそれらに機能的に接続され、メモリは、合成ソースデバイスＳＲＣ２を制御するためのコンピュータプログラムＰＲＯＧＲ２コードを有する。デバイスによりキャプチャされた画像ストリームは、例えばビューアなどの別のデバイスで使用するためメモリデバイスＭＥＭ５（例えばメモリカードＣＡＲＤ１）に格納されてもよく、または通信インターフェースＣＯＭＭ２を使用してサーバもしくはビューアに伝送されてもよい。

キャプチャデバイスＳＲＣ１に加えて、ストレージ、処理およびデータストリーム供給ネットワークがあってもよい。例えば、キャプチャデバイスＳＲＣ１または計算デバイスＳＲＣ２からの出力を格納するサーバＳＥＲＶまたは複数のサーバがあってもよい。デバイスは、コンピュータプロセッサＰＲＯＣ３およびメモリＭＥＭ３を有し、またはそれらに機能的に接続され、メモリは、サーバを制御するためのコンピュータプログラムＰＲＯＧＲ３コードを有する。サーバは、通信インターフェースＣＯＭＭ３を介して、有線または無線ネットワーク接続あるいは両方により、ソースＳＲＣ１および／またはＳＲＣ２、ならびにビューアデバイスＶＩＥＷＥＲ１およびＶＩＥＷＥＲ２に接続されてもよい。

キャプチャまたは生成されたビデオコンテンツの視認用に、１つ以上のビューアデバイスＶＩＥＷＥＲ１およびＶＩＥＷＥＲ２があってもよい。これらのデバイスは、レンダリングモジュールおよびディスプレイモジュールを有してもよく、またはこれらの機能性が単一のデバイスに組み合わされてもよい。デバイスは、コンピュータプロセッサＰＲＯＣ４およびメモリＭＥＭ４を有し、またはそれらに機能的に接続されてもよく、メモリは、視認用デバイスを制御するためのコンピュータプログラムＰＲＯＧＲ４コードを有する。ビューア（再生）デバイスは、ビデオデータストリームをサーバから受信しビデオデータストリームを復号するデータストリーム受信機からなってもよい。データストリームは、通信インターフェースＣＯＭＭ４を介してネットワーク接続上で、またはメモリカードＣＡＲＤ２のようなメモリデバイスＭＥＭ６から、受信されてもよい。ビューアデバイスは、図１ｃおよび１ｄに関して記載された視認に適したフォーマットへとデータを処理するグラフィック処理ユニットを有してもよい。ビューアＶＩＥＷＥＲ１は、レンダリングされたステレオビデオシーケンスを視認するための高解像度ステレオ画像頭部装着型ディスプレイを有する。頭部装着型デバイスは、方位センサＤＥＴ１と、ステレオオーディオヘッドフォンとを有してもよい。ビューアＶＩＥＷＥＲ２は、（ステレオビデオの表示のため）３Ｄ技術対応のディスプレイを有し、レンダリングデバイスには、頭部向き検出器ＤＥＴ２が接続されていてもよい。デバイス（ＳＲＣ１、ＳＲＣ２、ＳＥＲＶＥＲ、ＲＥＮＤＥＲＥＲ、ＶＩＥＷＥＲ１、ＶＩＥＷＥＲ２）の任意のものが、コンピュータまたはポータブルコンピューティングデバイスであってもよく、あるいはそれに接続されてもよい。そのようなレンダリングデバイスは、この文面に記載される様々な例による方法を実行するためのコンピュータプログラムコードを有してもよい。

図２ｂは、ステレオ視のためのカメラデバイスを示す。カメラは、左右の眼の画像を生成するためのカメラペアに構成された、またはそのようなペアに配列可能な、３つ以上のカメラを有する。カメラ間の距離は、人の眼と眼の間の通常の距離に対応してもよい。カメラは、その視野において大きな重なり合いを有するように配列されてもよい。例えば、１８０度以上の広角レンズが使用されてもよく、３、４、５、６、７、８、９、１０、１２、１６、または２０のカメラがあってもよい。カメラは、全視認天球（ｗｈｏｌｅ ｓｐｈｅｒｅ ｏｆ ｖｉｅｗ）にわたり規則的または不規則に間隔を置いてもよく、あるいは、全天球（ｗｈｏｌｅ ｓｐｈｅｒｅ）のうち一部のみをカバーしてもよい。例えば、三角形に配列され三角形の一辺に向かう異なる視認方向を有する３つのカメラがあり、３つのカメラすべてが視認方向の途中で重なり合うエリアをカバーしてもよい。別の例として、広角レンズを有し仮想の立方体の角に規則的に配列された８つのカメラが、全天球または実質的に全天球がすべての方向において少なくとも３つまたは４つのカメラによりカバーされるように、全天球をカバーする。図２ｂの例では、３つのステレオカメラペアが示されている。

他の種類のカメラレイアウトを有するカメラデバイスが使用されてもよい。例えば、すべてのカメラが１つの半球にあるカメラデバイスが使用されてもよい。カメラの数は、例えば、３、４、６、８、１２、またはそれ以上であってもよい。カメラは、２つ以上のカメラの画像データからステレオ画像を形成可能な中央視野と、１つのカメラがシーンをカバーし通常の非ステレオ画像のみを形成可能な周辺（末端）視野とを生成するよう配置されてもよい。システムにおいて使用され得る種々のカメラデバイスの例が、本記載でさらに後述される。

図２ｃは、ステレオ視のための頭部装着型ディスプレイを示す。頭部装着型ディスプレイは、左眼画像および右眼画像を表示するための２つの画面部または２つの画面ＤＩＳＰ１およびＤＩＳＰ２を含む。ディスプレイが眼に近いので、画像を容易に視認できるようにするため、および眼の視野をできる限りカバーするよう画像を広げるために、レンズが使用される。デバイスは、ユーザが頭部の向きを変えても適所にとどまるようにユーザの頭部に取り付けられる。デバイスは、頭部の動きおよび頭部の方向を判断するための向き検出モジュールＯＲＤＥＴ１を有してもよい。なお、ここで、この種のデバイスでは、頭部の動きの追跡は行われてもよいが、ディスプレイが視野の大きな面積をカバーするので眼の動きの検出は必要ない。頭部の向きは、ユーザの頭部の現実の物理的な向きに関係してもよく、ユーザの頭部の現実の向きを判断するセンサにより追跡されてもよい。あるいは、またはさらに、頭部の向きは、コンピュータプログラムまたはジョイスティックなどのコンピュータ入力デバイスにより制御されるユーザの視認方向の仮想の向きに関係してもよい。つまりユーザは、判断された頭部の向きを入力デバイスを用いて変更できてもよく、またはコンピュータプログラムが視認方向を変更してもよい（例えばゲーム中、ゲームプログラムが代わりに、または現実の頭部の向きに加えて、判断される頭部の向きを制御してもよい）。

図２ｄは、カメラＣＡＭ１を示す。カメラは、センサ素子に当たる光の強度を感知する複数のセンサ素子を備えたカメラ検出器ＣＡＭＤＥＴ１を有する。カメラは、レンズＯＢＪ１（または複数のレンズのレンズ配列）を有し、レンズは、センサ素子に当たる光がレンズを通過してセンサ素子へと向かうように配置される。カメラ検出器ＣＡＭＤＥＴ１は、複数のセンサ素子の中点である公称中心点ＣＰ１を有し、これは例えば、矩形センサの場合は対角線の交点である。レンズも公称中心点ＰＰ１を有し、これは例えばレンズの対称軸上にある。カメラの向きの方向は、カメラセンサの中心点ＣＰ１とレンズの中心点ＰＰ１とを通る線により定義される。カメラの方向は、この線に沿って、カメラセンサからレンズへの方向を指すベクトルである。カメラの光軸は、この線ＣＰ１−ＰＰ１であると理解される。

上述のシステムは、以下のように機能してもよい。まず、時刻同期されたビデオ、オーディオ、および向きデータがキャプチャデバイスにより記録される。これは、上述のとおり、複数の同時発生ビデオおよびオーディオストリームからなることができる。次にこれらは、再生デバイスに後で配信するのに適したフォーマットに処理および変換するために、即時にまたは後からストレージおよび処理ネットワークに伝送される。変換は、品質を改善し、かつ／または所望レベルの品質を保持しながらデータの量を削減するために、オーディオおよびビデオデータに対する後処理ステップを含むことができる。最後に各再生デバイスは、ネットワークからデータのストリームを受信し、それを、頭部装着型ディスプレイおよびヘッドフォンを用いてユーザにより体験可能な元の位置のステレオ視再現へとレンダリングする。

後述のように視認用のステレオ画像を生成する新規な方法により、ユーザは、その頭部の向きを複数の方向に変えることができてもよく、再生デバイスは、例えば元の記録位置から見えたであろう、その特定の向きに対応するシーンの高頻度（例えば６０フレーム毎秒）ステレオビデオおよびオーディオビューを生成することができる。カメラデータから視認用のステレオ画像を生成する他の方法も使用され得る。

図３ａは、格納または伝送のためのレンダーレイヤの形成および画像データの形成を示す。シーンは、複数のピクセルセットを生成することによりファイル内に格納または伝送するために記録され、この複数のピクセルセットとはつまり、レンダーレイヤであり、レイヤ内の各データ点は、共通原点からのベクトルと色データとを少なくとも含む。各データセットは、周知の２Ｄ画像またはビデオシーケンス圧縮技術を使用して圧縮されてもよい。

図３ａのいくつかの点Ｐ１、…、ＰＮおよびＰＸ１、ＰＸ２が形成されてもよく、各点は、色と空間中の位置とを有する。点ＰＸ１およびＰＸ２は、ピクセルＰ１、Ｐ２、およびＰ３の後ろに隠れている。次にこれらの点がレンダーレイヤに変換され、視点ＶＩＥＷＰＮＴから視認すると直接見える点から第１のレンダーレイヤＲＥＮＤＥＲ ＬＡＹＥＲ１が生成され、第１のレンダーレイヤの後ろに隠れている点から１つ以上のレンダーレイヤＲＥＮＤＥＲ ＬＡＹＥＲ２が少なくとも部分的に生成される。各点の位置ベクトルは、種々の形で格納または圧縮され得る。位置ベクトルは、点毎に、３つの独立パラメータ、すなわち、角度のペアならびに基準ベクトル（視点および視認方向により定義されるベクトル）からの距離、または直交軸方向における３つの距離、のいずれかとして簡易に表現可能である。あるいは、レンダーレイヤピクセルＲＰ１、ＲＰ２、ＲＰ３およびＲＰＸ１、ＲＰＸ２を有し既知の整数幅および高さをもつ２次元の通常レイアウト（画像）として解釈される一連の点へと、点のインデックスに基づき原点からの空間中の各位置の位置ベクトルをより密に符号化するため、パラメータ化されたマッピング関数を使用可能である。これは、図３ａのレンダーレイヤＲＥＮＤＥＲ ＬＡＹＥＲ１およびＲＥＮＤＥＲ ＬＡＹＥＲ２に対応する。これは例えば、ｘおよびｙ座標を直接、ヨーおよびピッチ座標にマッピングして、完全な天球が矩形構造へと符号化されることを可能にしてもよい。各（ヨー，ピッチ）ピクセルのピクセル色値は、既存の点値からの補間により形成されてもよい。あるいは、半球以上を円形画像にマッピングするために、等立体マッピング（ｅｑｕｉｓｏｌｉｄ ｍａｐｐｉｎｇ）［ｒａｄｉｕｓ＝２＊ｆｏｃａｌＬｅｎｇｔｈ＊ｓｉｎ（ａｎｇｌｅＦｒｏｍＡｘｉｓ／２）］など、円形マッピング関数（ｃｉｒｃｕｌａｒ ｍａｐｐｉｎｇ ｆｕｎｃｔｉｏｎ）が使用されてもよい。

あるいは、円形マッピング関数が、球座標を２ｄデカルト座標にマッピングするために使用されてもよい。このようなマッピング関数は、すべてのｘおよびｙ値ペアが球座標に再びマッピングされ得る円形画像を生成する。この関数は、光軸からの角度（θ）を、画像円の中心（ｒ）からの点の距離にマッピングする。各点につき、光軸の周りの角度（φ）は、球座標およびマッピングされた画像円において同じままである。ｘおよびｙ座標とマッピングされた画像円におけるｒおよびφとの関係は、以下のとおりである。
ｘ＝ｘ０＋ｒ＊ｃｏｓ（φ），ｙ＝ｙ０＋ｒ＊ｓｉｎ（φ）、ただし点（ｘ０，ｙ０）は画像円の中心である。

そのようなマッピング関数の一例は、魚眼レンズで一般に使用される等立体である。等立体マッピングは、レンズの焦点距離（ｆ）に依存し、次の通りである：ｒ＝２＊ｆ＊ｓｉｎ（θ／２）。したがって、光軸の中心にある点（θは０）について、ｒはゼロとなり、したがって、マッピングされた点も画像円の中心である。光軸に垂直なベクトル上の点（θは９０度）について、ｒは、１．４１＊ｆとなり、画像円における点は、次の通り計算可能である：ｘ＝ｘ０＋１．４１＊ｆ＊ｃｏｓ（φ），ｙ＝ｙ０＋１．４１＊ｆ＊ｓｉｎ（φ）。ｘおよびｙを一定乗数で調整（ｓｃａｌｅ）して、座標を目標解像度におけるピクセルに変換することができる。他のマッピング関数は、立体（ｓｔｅｒｅｏｇｒａｐｈｉｃ）（ｒ＝２＊ｆ＊ｔａｎ（θ／２））、等距離（ｅｑｕｉｄｉｓｔａｎｔ）（ｒ＝ｆ＊θ）、および正射影（ｏｒｔｈｏｇｒａｐｈｉｃ）（ｒ＝ｆ＊ｓｉｎ（θ））とされ得る。

各レイヤは、図３ａのＲＥＮＤＥＲ ＬＡＹＥＲ１など、完全に（つまり、隙間のない連続的な形で）カメラの周囲の空間をカバーしてもよく、または、図３ａのＲＥＮＤＥＲ ＬＡＹＥＲ２など、空間を疎にカバーして、カバーされない部分は、マッピングパラメータを使用して完全に省略されるか、もしくはより大きなサイズで高圧縮可能なゼロ値として符号化されるかのいずれかとされてもよい。視覚化され得るすべてのオブジェクトが、レイヤのうちの１つに記録される。各レイヤには、レイヤの２次元画像データをレンダー空間にマッピングするために必要なマッピングパラメータが供給される。最終的に、すべてのレイヤは、それらの復号に必要なマッピングメタデータとともに供給される単一のデータ構造に詰められてもよい。あるいは、別々のレイヤは、別々のファイルもしくはストリーム、または別々のデータ構造で提供されてもよい。

さらに、レイヤの符号化は、シーンの良好な再現を依然として与えながら、レンダリングの複雑性の調整、または配信されるデータ量の削減を可能にしてもよい。このための１つの手法は、２Ｄ画像にすべてのレイヤを詰めることであり、次第に遠くなる各サブレイヤは、１つの軸に沿って、例えば増加するｙ軸に沿って（下へ）、より遠くに位置する。より少ないレンダリングが必要なときは、下位のデータは単に配信されないか、または復号／処理されず、最上位のレイヤのみ、場合によってはさらに、限られたサブレイヤのサブセットを用いて、レンダリングが行われる。

本発明は、完全合成シーンをレンダリングする大データ処理容量を用いない限り以前は不可能であった、物理的に現実的な挙動レベルでの複雑な３Ｄ環境の記録、配信、および再現を可能にし得る。これは、レンダーレイヤ構造を使用することにより特定の画像解像度のために配信が必要なデータ量を大きく削減することで、異なる視点からの複数の画像に基づくこれまでの再現技術を改善し得る。

図３ｂには、２つのカメラＣＡＭＲおよびＣＡＭＬを使用した２つのレンダーレイヤＲＥＮＤＥＲ ＬＡＹＥＲ１およびＲＥＮＤＥＲ ＬＡＹＥＲ２の形成が示されている。オブジェクトＲＥＡＲＯＢＪは別のオブジェクトＦＲＯＮＴＯＢＪの後ろに隠れているので、異なるカメラはオブジェクトＲＥＡＲＯＢＪの異なる部分を「見る」。左カメラＣＡＭＬは、オブジェクトＲＥＡＲＯＢＪのより多くの画像情報を左からキャプチャでき、右カメラＣＡＭＲは、右からそれができる。レンダーレイヤが生成されるとき、例えば点ＶＩＥＷＰＮＴを視点として保持することにより、ＦＲＯＮＴＯＢＪオブジェクトが、オブジェクトＲＥＡＲＯＢＪのうち画像情報がある部分ならびに画像情報がない部分を隠す。結果として、第１のレンダーレイヤＲＥＮＤＥＲ ＬＡＹＥＲ１は、第１のオブジェクトＦＲＯＮＴＯＢＪを表現するピクセルＡＲＥＡ１と、第２のオブジェクトＲＥＡＲＯＢＪの可視部分を表現するピクセルＡＲＥＡ２とを有する。第２のレンダーレイヤは、第２のオブジェクトＲＥＡＲＯＢＪの隠れた部分の画像情報に対応するピクセルＡＲＥＡ３を有する。ＡＲＥＡ３外のピクセルは、空であっても、ダミーのピクセルであってもよい。レンダーレイヤの深度情報は、前述のとおり生成され得る。

図４は、レンダーレイヤを使用した画像のレンダリングを示す。ステレオイメージまたはステレオビデオシーケンスをレンダリングするために、前述のように左右の眼のための画像フレームが形成される。画像フレームをレンダリングするために、すべてのレイヤＲＥＮＤＥＲ ＬＡＹＥＲ１、ＲＥＮＤＥＲ ＬＡＹＥＲ２からのコンテンツが、１つの新たなレンダリングカメラ空間に射影され、適切なシーンをレンダリングするために深度によりソートされる。例えば、従来のグラフィック処理ユニットでは、各レンダーレイヤ点ＲＰ１、ＲＰ２、…、ＲＰＮおよびＲＰＸ１、ＲＰＸ２、…は、「パーティクル」として扱われ、頂点シェーダプログラムを使用して変換され、レンダリング視点に関連する深度値を含む単一ピクセル「ポイントスプライト」を用いて３Ｄレンダー空間へと変換され得る。射影された重なり合うパーティクルの深度値が比較され、適切なブレンディング関数を用いて正しい順序で描画される。これは、点ＲＰ１、ＲＰ２、ＲＰ３、ＲＰＸ１、ＲＰＸ２に対応する破線矩形により示される。そのようにして、ピクセルを、実空間におけるそれぞれのソース画像点の位置に対応する箇所に位置付けることが可能である。不透明なコンテンツは、レンダリングカメラに最も近い点が示されるようにレンダリングされる。不透明でないコンテンツは、その後ろに見えるコンテンツの適切なブレンディングによりレンダリングされてもよい。

ここで、レンダーレイヤのピクセルは、レンダー空間において異なるサイズのオブジェクトを表現することもあることに留意されたい。視点から遠く離れたピクセル（深度値が大きい）は、より視点に近いピクセルよりも大きなオブジェクトを表現し得る。これは、レンダーレイヤピクセルが、そもそも特定の空間的「円錐」と、その「円錐」中の画像コンテンツとを表現し得るからである。円錐の底部がどれだけ遠いかに応じて、ピクセルは、空間中の異なるサイズの点を表現する。レンダーレイヤは、レンダー視点から視認するとピクセルグリッドが実質的に上下に整列するような形で、レンダリングのために整列され得る。

レンダーレイヤをレンダー空間に変換するためには、それらを回転させる必要があるかもしれない。ｘ軸周りの角度γ（ピッチ角としても知られる）の座標の回転変換Ｒ_ｘの例は、次の回転行列により定義される。

同様の形で、他の軸の周りの回転Ｒ_ｙ（ヨーに関する）およびＲ_ｚ（ロールに関する）を形成することができる。一般回転として、Ｒ＝Ｒ_ｘＲ_ｙＲ_ｚにより３つの回転の行列乗算を形成できる。次に、この回転行列を、次式により第１の座標系における任意のベクトルの乗算に使用して、目的の座標系におけるベクトルを得ることができる。

回転の例として、ユーザがその頭部の向きを変えると（ピッチ、ヨー、およびロール値により表現される回転がある）、ユーザの頭部の向きが求められ、頭部の新たな向きが得られてもよい。これは例えば、頭部装着型ディスプレイに頭部動き検出器があるように発生してもよい。頭部の新たな向きが求められると、レンダリングされた画像が頭部の新たな向きに整合するよう、ビューの向きおよび仮想の眼の位置が再計算されてもよい。

別の例として、頭部装着型カメラの向きの補正について説明する。ここで使用される技術は、キャプチャデバイスではなくユーザが視認方向を制御できるように、キャプチャデバイスの向きを記録し、その向き情報を使用して、再生中、キャプチャデバイスの回転を事実上相殺しながら、ユーザに提示されるビューの向きを補正するものである。視認者がむしろキャプチャデバイスのもともとの動きを体験したければ、補正は無効化されてもよい。視認者がもとの動きを弱めたバージョンを体験したければ、もとの動きには従うが、それがよりゆっくりと行われ、または通常の向きからの逸脱がより小さくなるように、フィルタを用いて補正が動的に適用されてもよい。

フレームの表示のために、レイヤは、不透明のレイヤから始まって半透明のエリアを含むレイヤで終わる複数のレンダリングパスでレンダリングされてもよい。最後に、必要に応じて空ピクセルの値を補間するために、別個の後処理レンダリングパスが実行されることが可能である。

レンダリング中、グラフィック処理（ＯｐｅｎＧＬなど）の深度テストが有効化され、オクルージョンされたフラグメントを廃棄し、深度バッファが書き込みのため有効化される。アルファブレンディングは、レンダリングされたレイヤが半透明のエリアを含む場合、レンダリング中に有効化され、そうでなければ無効化される。シーンジオメトリは、結ばれていない多数の頂点（ＧＬ＿ＰＯＩＮＴ）を含み、これはそれぞれ、格納されたレンダーレイヤデータ内の１つのピクセルに対応する。レイヤ格納フォーマットに応じて、頂点は異なる数の属性をもつことができる。頂点属性は、例えば、実際のレイヤ画像データをポイントする位置（ｘ，ｙ，ｚ）、色、またはテクスチャ座標である。

次に、ＯｐｅｎＧＬの頂点およびフラグメント処理を例として説明する。他のレンダリング技術も同様の形で使用され得る。

レイヤ格納フォーマットが異なると、頂点およびフラグメント処理がわずかに異なることもある。非圧縮リストフォーマットで格納されたレイヤを処理するステップは、以下のとおりであってもよい（頂点毎）。

１．最初に、すべての頂点が、視認角度（ｖｉｅｗ ａｎｇｌｅ）、色、および共通原点（レンダー視点）に対する深度を含む属性とともに、頂点処理段階に割り当てられ、渡される。処理されるレイヤが半透明のコンテンツを有する場合、頂点は、その深度値に従ってソートされなければならない。

２．頂点の（ヨー，ピッチ，深度）表現が、３ｄデカルトベクトル（ｘ，ｙ，ｚ）へと変換される。

３．カメラおよびワールド変換が、頂点に、対応する行列を乗算することにより適用される。

４．頂点色属性が、フラグメント処理段階に渡される。

５．最終頂点座標が出力変数（ｇｌ＿Ｐｏｓｉｔｉｏｎ）に書き込まれる。

６．フラグメント処理段階において、頂点処理から受け取られた色データが直接、出力変数（ｇｌ＿ＦｒａｇＣｏｌｏｒ）に書き込まれる。

圧縮画像フォーマットで格納されたレイヤ、すなわち、ピクセル色データおよび深度値を有するピクセルを備えたレンダーレイヤを処理するステップは、以下のとおりであってもよい（頂点毎）。

１．最初に、すべての頂点が、同じ深度値を有するシーン中に均等に割り当てられる。

２．頂点が視認者の現在の視野の中になければ、それを現在の視野の中に配置するために変換関数が適用される。この変換の１つの目的は、すべての利用可能な頂点を現在見えるエリアに、初めに集めることである。そうしなければ、その頂点により表現されるピクセルデータは、フラグメント処理段階でのレンダリング中にクリッピングされることになる。この場合にクリッピングを回避すると、レンダリング品質が改善する。視野外の頂点が視野の中に均等に分布されるような形で位置変換を行うことができる。例えば、視野が水平方向で０度から９０度であれば、もともと水平方向で９１度の方向に位置している頂点は、この場合、１度の水平位置に変換されることになる。同じく、９１度から１８０度の水平位置の頂点は、水平方向１〜９０度の範囲に変換されることになる。同じ形で垂直位置を計算可能である。変換された頂点が既に視野の中にある他の頂点とちょうど同じ位置にくることを回避するために、頂点の新たな位置値に小さな一定の端数（例えばこの例示の場合では０．２５ピクセル）を加算できる。

３．変換された頂点位置から頂点色データのテクスチャ座標が計算され、それがフラグメント処理段階に渡される。

４．テクスチャからテクスチャルックアップを使用して頂点の深度値がフェッチされる。

５．頂点の視認角度が、マッピング関数を使用して計算される。

６．頂点の（ヨー，ピッチ，深度）表現が、デカルト３ｄベクトル（ｘ，ｙ，ｚ）へと変換される。

７．カメラおよびワールド変換が、頂点に、対応する行列を乗算することにより適用される。

８．ピクセル解像度は、最終的な頂点位置における小さな丸め誤差を生じさせるが、これは、（サブピクセル）丸め誤差を計算してそれをフラグメント処理段階に渡すことにより考慮に入れることができる。

９．最終頂点座標がシェーダ出力変数（ｇｌ＿Ｐｏｓｉｔｉｏｎ）に書き込まれる。

１０．フラグメント処理段階では、受け取られたテクスチャ座標を使用しかつより適切な色値を周囲点を使用して補間するためにサブピクセル丸め誤差値を考慮して色テクスチャから色データが取得される（これは、非圧縮リストフォーマットでは不可能である）。次に、色値が出力変数（ｇｌ＿ＦｒａｇＣｏｌｏｒ）に書き込まれる。

第１のレンダーレイヤからの第１のピクセルと、第２のレンダーレイヤからの第２のピクセルとを、それらの空間における位置をサブピクセル量調整して互いに上下に揃える（ｒｅｇｉｓｔｅｒｅｄ）ような形で、ソースピクセルがレンダリング中に整列されてもよい。レンダーレイヤの格納フォーマットに応じて、頂点（ピクセル）は、まずある種の仮想グリッドに整列されてもよく（「圧縮」画像フォーマットのステップ１および２）、されなくてもよい。頂点は最終的に、正しい深度をフェッチし座標を変換＆マッピングした後でカメラおよびワールド変換が適用されるステップ（ステップ７）において整列／配置されてもよい。当然のことながら、整列は、別の段階で発生することもでき、またはそれ自体の別個のステップとして発生してもよい。

図５ａは、画像をレンダリングするためのレンダーレイヤを有するデータ構造を示す。圧縮されていないリストタイプのフォーマットでは、様々なシーン点が、色（３つの値、例えば赤、緑、青）、透明度（例えばアルファチャンネル）、位置（３つの値、例えばヨー、ピッチ、深度座標）、および場合によっては他の属性の値をそれぞれ有する点データ構造により表現される。

図５ｂでは、画像データフォーマットで、第１のレンダーレイヤにおけるシーン点の色値が１つの符号化画像により表現され、画像は、レンダーレイヤピクセルＲＰ１、ＲＰ２、ＲＰ３としてシーン点の色値を有し、または画像は、例えばテクスチャマッピングによりシーン点の色値を計算するために使用可能な色値を有する。同様に、第１のレンダーレイヤの他の属性が、例えばレンダーレイヤピクセルの深度値ＲＰＤ１、ＲＰＤ２、ＲＰＤ３を有する深度値画像などの画像として表現されてもよい。第２のレンダーレイヤにおけるシーン点の色値が１つの符号化画像により表現され、画像は、レンダーレイヤピクセルＲＰＸ１、ＲＰＸ２としてシーン点の色値を有し、または画像は、例えばテクスチャマッピングによりシーン点の色値を計算するために使用可能な色値を有する。深度値ＲＰＤＸ１、ＲＰＤＸ２が、対応する深度画像にある。

別々のレンダーレイヤが、それ自体の画像データ構造を有してもよく、またはレンダーレイヤは、１つ以上の画像に互いに組み合わされてもよい。例えば画像は、第１のレンダーレイヤデータのためのセグメント、第２のレンダーレイヤデータのための別のセグメントなどを有してもよい。画像は、従来の画像圧縮技術を使用して圧縮されてもよい。

さらに、レイヤの符号化は、シーンの良好な再現を依然として与えながら、レンダリングの複雑性の調整、または配信されるデータ量の削減を可能にしてもよい。このための１つの手法は、２Ｄ画像にすべてのレイヤを詰めることであり、次第に遠くなる各サブレイヤは、１つの軸に沿って、例えば増加するｙ軸に沿って（下へ）、より遠くに位置する。より少ないレンダリングが必要なときは、下位のデータは単に配信されないか、または復号／処理されず、最上位のレイヤのみ、場合によってはさらに、限られたサブレイヤのサブセットを用いて、レンダリングが行われる。

対話型３次元シーンを生成するために、一般的な３Ｄグラフィック処理ハードウェアおよび技術を使用して、リアルタイムで、単純な静的合成環境または動的合成環境がレンダリングされてもよい。さらに、幾何学的に複雑な動的３Ｄシーンまたはモデルが記録または生成され、既知の「２Ｄプラス深度」技術を使用して自由視認方向（ｆｒｅｅ ｖｉｅｗｉｎｇ ｄｉｒｅｃｔｉｏｎ）でリアルタイムで視認されることが可能である。しかしながら、ここで、これらの技術は、反射性または透過性の表面およびオブジェクトを写実的に再現するには適していないかもしれないということが分かった。つまり、既知の技術は、いくつかのピクセルに向かう自由視認角度でビューを再現できるように、当該ピクセルの色値および３ｄ位置を格納することに依拠している。これは、仮想カメラをあちこちに動かし、３Ｄ空間においてピクセルを幾何学的に正しくレンダリングすることを可能にする。ここで分かったのが、このような形で写実的な環境を再現することに関する問題は、格納されたピクセルが反射性または透過性である場合、視認角度が変化すると格納された色値が現実を反映せず、実世界においては表面の多くが多かれ少なかれ反射性または透過性である、ということである。実世界で反射性または透過性の表面を見ていて、頭部を動かしもしくは向きを変えると、表面の色は、視認角度、およびそのオブジェクトの後ろに何があるか、もしくは反射がどこからきているかに応じて変化する。ここで分かったのは、この的確な再現は、空間中のすべてのピクセル毎に単一の色値を格納してそれらの色を視認方向にかかわらずレンダリングすることではなし得ないということである。

図６ａは、部分的に反射性のオブジェクトを備えたシーンを示す。この文脈では、高複雑性の３Ｄシーンを密に符号化して効率的に再現する新規な技術が提示される。これは、複数の２Ｄレイヤ（前述のとおり）、ならびに例えばレイヤ上のピクセルまたはフラグメントの透明度および反射性の記述子を使用することで実現されてもよい。

前述のとおり、図６ａのもののようなシーンが、複数のセットまたはレイヤを生成することにより記録されてもよく、レイヤ内の各データ点は、共通原点からのベクトルと色データとを含む。ベクトルおよび色に加えて、データ点（ピクセルまたはフラグメント）はさらに、主レイヤツリー透明度（ｍａｉｎ ｌａｙｅｒ ｔｒｅｅ ｔｒａｎｓｐａｒｅｎｃｙ）、被反射レイヤツリー透明度（ｒｅｆｌｅｃｔｅｄ ｌａｙｅｒ ｔｒｅｅ ｔｒａｎｓｐａｒｅｎｃｙ）、および被反射レイヤツリー下位ツリー識別子（ｒｅｆｌｅｃｔｅｄ ｌａｙｅｒ ｔｒｅｅ ｓｕｂ−ｔｒｅｅ ｉｄｅｎｔｉｆｉｅｒ）のいずれかを備えてもよい。これらデータセット（色、透明度、反射性、下位ツリー識別子）のそれぞれは、周知の２Ｄ画像またはビデオシーケンス圧縮技術を使用して独立して圧縮されてもよい。

図６ａには、いくつかのグラフィックオブジェクトＸＰ１、ＸＰ２、ＰＰ３、ＰＰ４、ＰＰ５、ＯＢＪ１、およびＯＢＪ２が示されている。これらグラフィックオブジェクトは、実世界のオブジェクトまたは合成シーンのオブジェクトに直接対応してもよい。グラフィックオブジェクトは、前述のとおり、実世界のオブジェクトをモデル化することにより形成されたものでもよい。グラフィックオブジェクトはさらに、レンダーレイヤに対応してもよい。グラフィックオブジェクトはさらに、或る視認方向において互いに背後にあるオブジェクトを写実的にレンダリングすることを促進するために、１つ以上のレンダーレイヤ上に存在することもできる。そのような形で、レンダーレイヤが図６ａのグラフィックオブジェクトを含むと考えられてもよい。さらに、グラフィックオブジェクトは、個別のピクセルであっても、またはピクセルのグループであってもよい。例えば、グラフィックオブジェクトＸＰ１およびＸＰ２は、図６ａの窓およびドアの個別のピクセルまたはピクセルのグループであってもよい。記載したとおり、グラフィックオブジェクトは、レンダーレイヤまたはその一部、グラフィックオブジェクトのモデルまたはその一部、および／またはピクセルまたはピクセルのグループであってもよい。以下では、簡潔性のために、グラフィックオブジェクトは実世界の個々のグラフィックオブジェクトに対応するものとして記載されており、当然のことながら、その他任意の形態のグラフィックオブジェクトも使用され得る。

図６ａでは、視認方向ＶＩＥＷ＿ＤＩＲにおいて、ビュー内に２つの反射性オブジェクトＸＰ１およびＸＰ２と、１つの透過性オブジェクトＸＰ１とがある。反射性および視認方向が理由で、オブジェクトＯＢＪ１が表面ＸＰ１（ガラス窓）に反射し、オブジェクトＯＢＪ２が表面ＸＰ２（金属製のドア）に反射している。したがって、これらのグラフィックオブジェクトは鏡面を有する、つまり、窓およびドアは平面オブジェクトであり、表面と一致する平面はこれらオブジェクトの鏡面であると理解されてもよい。さらに、図示されてはいないが、家の中のオブジェクトが窓を介して見えてもよい。窓はさらに、色を有し、例えば緑がかっていてもよい。言い換えれば、ここで記載するレンダリング方法では、窓ＸＰ１のような第１のグラフィックオブジェクトの情報（そのフラグメントの１つ以上）と、第２のグラフィックオブジェクトの情報（窓に反射する木ＯＢＪ１のフラグメント）とがあってもよく、オブジェクトのうちの１つ（例えば窓）を構成するグラフィックフラグメントは、別のグラフィックオブジェクトのフラグメント（木および家の中の任意のオブジェクトの画像）がそれを介して見える特殊フラグメントである。

レンダリングするために、すべてのレイヤからのコンテンツが、１つの新たなレンダリングカメラ空間に射影され、適切なシーンをレンダリングするために深度によりソートされる。例えば、従来のグラフィック処理ユニットでは、各点は、「パーティクル」（フラグメントの一種）として扱われ、頂点シェーダプログラムを使用して変換され、レンダリングカメラに対する深度値を含む単一ピクセル「ポイントスプライト」を用いて３Ｄ空間へと変換されてもよい。射影された重なり合うパーティクルの深度値が比較され、適切なブレンディング関数を用いて正しい順序で描画される。不透明なコンテンツは、レンダリングカメラに最も近い点のみが示されるようにレンダリングされる。透明でも反射性でもないすべてのオブジェクトにはこれで十分である。

レンダーレイヤおよび一般に任意のグラフィックオブジェクトに対して、グラフィックオブジェクトをレンダリング空間に入れるためにマッピング情報が使用される。すなわち、レンダーレイヤのＸおよびＹ座標がどのようにして３次元のレンダリング空間に変換されるかの情報が与えられる（図４参照）。例えば、図４の文脈で記載したとおり、種々のマッピング関数が使用され得る。さらに、クリッピング情報が、マッピングの範囲に関して情報が与えられるようにマッピング情報の一部として使用されてもよい。このように、グラフィックオブジェクトはクリッピングにより限定でき、クリッピングエリア外の情報は何ら必要とされないので、例えば、全天球が符号化される必要はないこともある。３Ｄ環境における変化を時間に基づき再生できるように、それぞれの瞬間が、レイヤおよびマッピングパラメータの新たなセットを用いて符号化されてもよい。各フレームにおいて、新たなレイヤデータおよびマッピング情報が利用に供される。あるいは、時間に基づく再生は、一時停止でき、単一のフレームを使用して種々の位置からレンダリングすることができる。

図６ｂは、反射性オブジェクトおよび透過性オブジェクトをレンダリングするための依存性グラフを示す。透過性コンテンツは、それを介して見えるコンテンツのブレンディングによりレンダリングされる必要がある。色の付いた窓などの単純な半透明オブジェクトに対しては、依存性グラフの主レベルにおける透明度値がブレンディングに使用される。透明オブジェクトを介して見える任意のオブジェクトは、透明オブジェクトの透明度下位ツリーにある。レイヤの最上位ツリーの代わりに（例えば透明でない鏡など反射のみをレンダリングする場合）またはそれに加えて（例えば窓など反射プラス透明度）、被反射レイヤツリー透明度値が、反射下位ツリーを用いたブレンディングのために使用されてもよい。反射性および／または透過性の情報は、例えばレンダーレイヤデータ構造において、各ピクセルの色情報とともに格納されてもよい。あるいは、またはさらに、依存オブジェクトに影響する反射性および／または透過性の情報は、例えばグラフ内の２つのオブジェクト間のリンクが反射性および透過性情報を含むように、グラフのデータ構造に格納されてもよい。反射性および透過性（透明度）は、例えば、透明度に対しては第１のアルファ値、および反射性に対しては第２のアルファ値を使用して与えられてもよい。

図６ｂでは、シーンが依存性グラフデータ構造で表現されている。依存性グラフは、例えばツリー構造であってもよい。シーンの通常のグラフィックオブジェクトＰＰ３、ＰＰ４、ＰＰ５、ＯＢＪ１、ＯＢＪ２のノードは、シーンの根ノードに直接依存する。そのようなオブジェクトはさらに、前述のとおり、レイヤに基づくレンダリング方法でのレンダリングのために、レンダーレイヤのツリー構造内に存在し得る。例えばグラフィックオブジェクトは、レンダーレイヤであってもよく、またはレンダーレイヤ上に存在してもよく、レンダーレイヤは、ツリー構造内で相互に依存してもよい。つまり、依存性グラフは、（グラフのノードとして）レンダーレイヤと、レンダーレイヤ間の依存性リンクとを有してもよい。透明オブジェクトおよび／または反射性オブジェクトＸＰ１、ＸＰ２のノードも同じく主シーンの根ノードに依存している。これらの透明オブジェクトおよび／または反射性オブジェクトを介してのみ見えるオブジェクトＸＯＢＪ１、ＸＯＢＪ２は、それらが見えるオブジェクトのノードに依存したノードを有する。図６ａの家の中のオブジェクトなど、透明オブジェクトを介して見える通常のオブジェクトに対しては、オブジェクトは、透明オブジェクトの子ノードである直接対応するノードを有してもよい。反射面に反射するオブジェクトは、反射性オブジェクトに依存するノードを有するミラーオブジェクトＸＯＢＪ１、ＸＯＢＪ２を有してもよい（ミラーオブジェクトについては図６ｃを参照）。図６ｂでは、オブジェクトＯＢＪ１は、窓ＸＰ１に反射するので、通常のオブジェクトＯＢＪ１に対応するミラーオブジェクトＸＯＢＪ１が、窓ＸＰ１のノードに依存するノードを有する。同じくオブジェクトＯＢＪ２は、ドアＸＰ２に反射するので、通常のオブジェクトＯＢＪ２に対応するミラーオブジェクトＸＯＢＪ２が、ドアＸＰ２のノードに依存するノードを有する。

なお、図６ｂでは、視認角度が反射に適していれば、オブジェクトＯＢＪ１はさらにオブジェクトＸＰ２に反射してもよく、オブジェクトＯＢＪ２はオブジェクトＸＰ１に反射してもよい。これが理由で、ＸＯＢＪ１は、ＸＰ２の子ノードでもあってもよく、ＸＯＢＪ２は、ＸＰ１の子ノードであってもよい。言い換えれば、依存性ツリーは、ネットワーク、より具体的には有向ネットワークであってもよい。あるいは、有向ネットワークは、ＸＯＢＪ１およびＸＯＢＪ２がＸＰ１に依存し、ＸＯＢＪ１およびＸＯＢＪ２の複製がＸＰ２に依存するように、例えば図６ｂのツリー構造に拡大されてもよい。図６ｂでは、依存性グラフは、有向ネットワーク構造であり、依存性方向は上から下である。グラフはさらに、各反射性オブジェクトおよび／または透明オブジェクトに対してそれらを介して見えるオブジェクトを判断できるようにする、有向（ループなし）ネットワークであってもよい。その結果、オブジェクトがレンダリングされるときは、まず第２のグラフィックオブジェクト（子ノード）が、第２のグラフィックオブジェクトの情報（例えば色）と、さらに第１のグラフィックオブジェクトの情報（色、透明度、反射性）とを使用して、対応するレンダリング済みピクセルのピクセルデータを生成することでレンダリングされるように、レンダリングが発生してもよい。次に、例えば別のレンダリングパスにおいて、第１の（親ノード）グラフィックオブジェクトが、まず色情報などの第１のグラフィックオブジェクトの情報を使用してレンダリング済みピクセルのピクセルデータを生成することによりレンダリングされる。そのような仕組みでは、第２のオブジェクトのピクセルが第１のオブジェクトのピクセルのサブセットを形成する（この文脈において、ピクセルのサブセットとは第１のオブジェクトのピクセルのうち無、一部、または全部を意味する）。第２のオブジェクトに対応するピクセルは、第１のオブジェクトの外側ではレンダリングされないが、当然、第１のオブジェクト以外の別のオブジェクトを介しても第２のオブジェクトが見える場合はこの限りでない。言い換えれば、一部のオブジェクトが他のオブジェクトを介してのみ見え、該他のオブジェクトの外側では見えないように、オブジェクトの可視性が、他のオブジェクトの外側では依存関係情報により制限される。言い換えれば、依存性グラフは、依存性ツリーであってもよく、第１および第２のグラフィックオブジェクトは、それぞれ依存性ツリーの第１および第２のノードに対応し、第２のノードは、第１のノードの子ノードであり、依存性ツリーは、第２のオブジェクトが第１のオブジェクトを介してのみ見える一方でそれ以外では見えないことを定める。

図６ｃは、反射されたオブジェクトのレンダリングを示す。前述のとおり、例えば遮られた任意数のピクセルが従属レイヤおよびレイヤツリーに格納される前述のレイヤフォーマットなど、レンダリングに適したフォーマットに単一視点からのワールドをレンダリングする潜在的に大量の処理を使用して、オブジェクトのデータ（例えばレンダーレイヤ）が、複雑な合成モデル（ＣＧＩフィルムコンテンツモデルなど）から直接的に生成されてもよい。あるいは、シーンデータが、別々の位置の複数のカメラを使用して現実のシーンからキャプチャされて、両画像の一致する点すべてについて深度の推定をもたらすためにカメラのペアが使用されてもよい。点推定は、共通原点および向きにマッピングされ、それらの色および位置値を比較することで重複エントリが削除される。そのような形で、レンダーレイヤが得られてもよく、そうしたレンダーレイヤは、レンダリングにおいてグラフィックオブジェクトとして使用されてもよい。

図６ｃでは、レンダリングのための画像オブジェクトの形成が、木オブジェクトＯＢＪ１および箱オブジェクトＯＢＪ２について示される。木オブジェクトＯＢＪ１は、窓オブジェクトＸＰ１に反射するので、木オブジェクトの画像オブジェクトＸＯＢＪ１が、窓オブジェクトの鏡面に対して木オブジェクトＯＢＪ１を映すことにより形成される。このように、ミラーオブジェクトＸＯＢＪ１は、家の「中」に配置され、反射性の窓ＸＰ１のエリアを介してのみ見える。同じく、箱のミラーオブジェクトＸＯＢＪ２は、ドアＸＰ２の平面を鏡面として使用することにより形成される。レンダリング時は、これらミラーオブジェクトＸＯＢＪ１およびＸＯＢＪ２の、他のオブジェクトＸＰ１およびＸＰ２それぞれからの依存関係が、依存性グラフおよび親オブジェクトの透明度／反射率情報を使用してミラーオブジェクトをレンダリングするために用いられる。手前のオブジェクトの透明度／反射性に応じて、レンダリング中、手前のオブジェクトの色情報が奥のオブジェクトの色情報とブレンディングされる。

現実世界の画像からの透明オブジェクトおよび反射性オブジェクトに関するデータの生成は、手前の各オブジェクトならびにそれを介して見える被反射レイヤツリーオブジェクトの、表面色および透過性（α）の推定を形成することによって実施されてもよい。これは、複数の視点からのデータを比較して、種々の要素の距離およびそれらの色両方を区別することにより実現されてもよい。例えば図６ｃにおいて、ミラーイメージオブジェクトＸＯＢＪ１は、２つ以上の画像を比較して、窓から木ＯＢＪ１の反射を分離することにより直接形成されてもよい。

次に、デジタル画像データをレンダリングするためのコンピュータ処理による上記に従った方法を記載する。本方法では、第１のグラフィックオブジェクトおよび第２のグラフィックオブジェクトの情報が、第２のグラフィックオブジェクトをレンダリングするために受信される。さらに、第１のグラフィックオブジェクトと第２のグラフィックオブジェクトとの間の依存関係情報が受信され、依存関係情報は、第２のグラフィックオブジェクトを、視認方向における第１のグラフィックオブジェクトと第２のグラフィックオブジェクトとの重なりに応じてレンダリングするための情報を有する。次に、第２のグラフィックオブジェクトは、第２のグラフィックオブジェクトの情報および第１のグラフィックオブジェクトの情報を使用してピクセルデータを生成することによりレンダリングされ、レンダリングは、第２のグラフィックオブジェクトのうち、視認方向において第１のグラフィックオブジェクトが重なるような部分に対して実行される。言い換えれば、本方法では、第２のグラフィックオブジェクト（例えばミラーイメージグラフィックオブジェクト）の可視性の依存関係が、第１のグラフィックオブジェクトの境界内に第２のグラフィックオブジェクトをレンダリングするために使用される。第２のグラフィックオブジェクトのレンダリングは、第１のグラフィックオブジェクトを介した第２のグラフィックオブジェクトのレンダリングのため第１のグラフィックオブジェクトの透明度を求めるために、第１のグラフィックオブジェクトの反射率情報を使用することを含んでもよい。つまり、反射のレンダリングにミラーイメージオブジェクトが使用されるときに、第２のオブジェクトの画像を反射する第１のオブジェクトの反射率を使用して第１のオブジェクトの透明度が求められる。第２のグラフィックオブジェクトは、第３のオブジェクトのミラーイメージであってもよく、第２のグラフィックオブジェクトの情報は、第１のグラフィックオブジェクトの鏡面に対して第３のオブジェクト（表面から反射される現実のオブジェクト）を映すことにより形成されてもよい。鏡面は、第１のオブジェクトの表面に近似する任意の平面であってもよい。

上記では、第１のグラフィックオブジェクトは、例えば第１のレンダーレイヤであってもよく、（第１のグラフィックオブジェクトを介して見える）第２のグラフィックオブジェクトは、第２のレンダーレイヤであってもよい。あるいは、第１のグラフィックオブジェクトは、例えば第１のレンダーレイヤのピクセルまたはピクセルのグループであってもよい。第２のグラフィックオブジェクトは、例えば第２のレンダーレイヤのピクセルまたはピクセルのグループであってもよい。このように、レンダリングプロセスは、第１のレンダーレイヤのピクセルを介して第２のレンダーレイヤのどの部分が見えるかを判断することを含んでもよい。レンダリングは、当然、必要なだけの数の第１のレンダーレイヤのピクセルに対して繰り返されてもよい。例えば、第１のグラフィックオブジェクトは、第１のピクセルを有してもよく、第２のグラフィックオブジェクトは、レンダーレイヤを有してもよく、第１のピクセルが、それを介して第２のグラフィックオブジェクトが見えるポータルピクセル（ｐｏｒｔａｌ ｐｉｘｅｌ）であるかどうかが判断されてもよく、続いて、その判断が前記第１のピクセルはポータルピクセルであると示す場合、第１のピクセルが第１のグラフィックオブジェクトの第１の情報および第２のグラフィックオブジェクトの第２の情報を使用してレンダリングされてもよい。ポータルオブジェクトまたはポータルピクセルとは、第２のオブジェクトがポータルオブジェクトの外側では見えない（第２のオブジェクトが見えるポータルオブジェクトがほかにある場合を除く）ように第２のオブジェクトが見える特殊な領域を有するようなグラフィックオブジェクトである。

反射および半透明の表面がある複雑な３Ｄ環境のより写実的な記録、配布、および再現が、記載された方法および機器により、反射が存在することによって促進され得る。３Ｄ視認の場合、反射は、それらがパララックスに従って左右の眼の画像に対して異なる位置に現れるように生成され、これが３Ｄ画像に現実感を加える。

図６ｄは、反射されたオブジェクトをレンダリングするためのステンシルバッファの使用を示す。反射性オブジェクトおよび透明オブジェクトをレンダリングするための下位ツリー識別子と、反射率透明度値とが、各ピクセルに対して格納されてもよく、次に、ビューにおける下位ツリーの可視性を管理するためにステンシル操作と組み合わされた追加のパスを使用してレンダリングされてもよい。これは、現実の物理的環境におけるように、鏡の中のコンテンツが、必ず、鏡を介して見るときにだけ見え、鏡の後ろを見ているときは見えないようにする。

このプロセスは、レンダリングが２つのパスを進むときのステンシルバッファ（左の列）およびピクチャバッファ（右の列）の例示的なコンテンツを示すことで、図６ｄに示される。最初、ステンシルバッファおよびピクチャバッファは空（ピクセルデータなしまたはゼロ）である。レンダリングされるピクセルは、それらが属する下位ツリー識別子を判断することにより識別されてもよく、この判断は、図６ｂにあるような依存関係情報に依存する。例えば、反射性でない、図６ａの通常のオブジェクトの中の「壁」ピクセルは、「窓」ピクセルＸＰ１および「ドア」ピクセルＸＰ２の外側のピクセルＰＰ５として図６ｄに示されている。

第１のパスにおいてすべてのピクセルをレンダリングして、次に、再レンダリングされるべきピクセルをステンシルバッファにおいてマークすることも可能である。これは、ピクチャ中に隙間ができないようにし得る。反射性／透明オブジェクトに含まれるピクセルは、それらそれぞれの下位ツリー識別子、例えば「２」および「３」、によりマークされる。どのピクセルがどのオブジェクトに含まれるかの判断は、グラフィックプロセッサの通常動作として実行されてもよい。

第１のパスでは、反射性／透明オブジェクトＸＰ１およびＸＰ２に含まれるピクセルが、まずステンシルバッファにマークされる。次に、オブジェクトＸＯＢＪ１（「窓」ＸＰ１が重なった「木」のミラーイメージ）およびＸＯＢＪ２（「ドア」ＸＰ２が重なった「箱」のミラーイメージ）のピクセルがレンダリングされる。オブジェクトＸＯＢＪ１およびＸＯＢＪ２に依存するオブジェクトがある場合、依存オブジェクトが最初にレンダリングされる。レンダリングされるべきとステンシルバッファにおいてマークされたピクチャバッファの当該ピクセル、この場合はＸＰ１およびＸＰ２が重なったピクセル、のみがレンダリングされる（計算されてピクチャバッファに格納される）ように、ステンシルバッファがレンダリングにおいて使用される。したがって、オブジェクトＸＰ１およびＸＰ２の内側に入るピクセルのみがこのパスでレンダリングされ、その結果として、視認方向においてオブジェクトＸＰ１およびＸＰ２の外側にあるオブジェクトＸＯＢＪ１およびＸＯＢＪ２の任意の部分は、レンダリングされない。つまり、例えば木ＯＢＪ１は、窓からのみ反射して壁からは反射せず、木ＯＢＪ１は、窓ＸＰ１を介する以外にはほかのどこにも見ることができない。言い換えれば、レンダリングするための本方法では、レンダリングされるピクセルは、ステンシルバッファを使用してマークされてもよく、前記ステンシルバッファのマークに対応するピクセルデータを生成することにより、第２のグラフィックオブジェクトがレンダリングされてもよい。

第２のパスでは、オブジェクトＰＰ５、ＸＰ１、およびＸＰ２のピクセルをレンダリングするために、図６ｄにおいて「１」でマークされたピクセルが処理される。前述したとおり、ＰＰ５の反射性でないピクセルおよび透明でないピクセルのレンダリングは、例えばレンダーレイヤなどのグラフィックモデルを使用して各ピクセルの色値を求めることにより行われてもよい。反射性オブジェクトおよび透明オブジェクトは、オブジェクト自体と、それを介して見える他のオブジェクトとの両方の情報を使用してレンダリングされる。例えば、オブジェクトＸＰ１を介するミラーイメージオブジェクトＸＯＢＪ１のレンダリングは、ＸＯＢＪ１およびＸＰ１のピクセル色値の、通常のブレンディングとして行われてもよい。つまり、ピクセルデータは、第１のグラフィックオブジェクトからの色情報（例えば「窓」ＸＰ１の色のついたガラス）および第２のグラフィックオブジェクトからの色情報（「木」のミラーイメージＸＯＢＪ１の色）をブレンディングすることにより形成されてもよい。第２のパスでは、第１のグラフィックオブジェクトを介して見えるオブジェクトの情報は、ピクチャバッファ内に既に計算済みであるので、ブレンディングは、ピクチャバッファからのピクセル色値、第１のグラフィックオブジェクトの計算されたピクセル色値を得て、それらを適切にブレンディングする（ピクセル色値の加重平均を得る）ことにより発生してもよい。

上記では、ステンシルバッファの設定および使用は以下の通り実行されてもよい。他のオブジェクトを介して見えるオブジェクトをレンダリングするために行われる当該レンダリングパスにおいて、透視できる手前のグラフィックオブジェクトの当該ピクセル（反射性のおよび／または透明なピクセル）が、ステンシルバッファにマークされる。つまり、手前のオブジェクトの不透明なピクセルは、最終パス（または最終の複数パス）までレンダリングされなくてもよい。その結果、ステンシルバッファは、単に値をステンシルバッファピクセルに書き込むことにより設定される。書き込みは、上書き、加算、または論理演算により発生し得る。このように、ピクセルの値の特定のビットが、１つのパラメータとしての役割を果たしてもよく、他のビットは、他の目的に使用されてもよい。ステンシルバッファの書き込みは、各ピクセルに対して単純なテスト（例えば比較）が実行されて、テストの結果に依存して値が書き込まれるように、並行方式で発生してもよい。ステンシルバッファは、ステンシルバッファピクセルが特定の論理基準、例えば「１と等しい」または「４より大きい」を満たせば対応するピクセルがピクチャバッファにレンダリングされるように、レンダリングにおいて使用されてもよい。

上記では、当然のことながら、反射性オブジェクトは、多重レベルの依存関係（図６ｃ）を使用して複数のパスを実行することで他の反射性オブジェクトの中にレンダリングされてもよく、追加のパスにおいて追加の反射がピクセル値に追加される。

３Ｄ画像のレンダリングは、前述の通り、オブジェクトがレンダーレイヤとしてレンダリングされるように行われてもよい。そのような場合には、本方法は、第１のグラフィックオブジェクトを有する第１のレンダーレイヤおよび第２のグラフィックオブジェクトを有する第２のレンダーレイヤを受信することを含んでもよく、第１および第２のレンダーレイヤは、ピクセルを有する。第１のレンダーレイヤは、レンダリング視点から視認された第１のグラフィックオブジェクトに対応するピクセルを有し、第２のレンダーレイヤは、前記レンダリング視点から視認された第２のグラフィックオブジェクトに対応するピクセルを有し、第２のグラフィックオブジェクトは、レンダリング視点から視認された第１のオブジェクトにより少なくとも部分的に遮られる。第１のレンダーレイヤのピクセルおよび第２のレンダーレイヤのピクセルは、レンダリング空間に配置され、深度値がピクセルに関連付けられ、ピクセルおよび深度値を使用して左眼画像および右眼画像がレンダリングされる。

図７ａおよび７ｂは、反射性オブジェクトを備えたデジタルシーンを形成およびレンダリングするフローチャートを示す。段階７１０では、レンダリングすべき第１のグラフィックオブジェクトが形成される。グラフィックオブジェクトは、そのジオメトリを、例えば通例どおり、頂点、三角形、および面法線に関して記述すること、ならびに色情報のようなテクスチャ特性を与えることにより形成される。さらに、例えば他のオブジェクトの反射を決定できるように、第１のオブジェクトの透明度および反射性が与えられる。段階７２０では、第２のグラフィックオブジェクトが形成される。この第２のグラフィックオブジェクトは、シーン内の実のグラフィックオブジェクトに対応するミラーイメージグラフィックオブジェクトでもよい。前述のとおり、このミラーイメージは、第１のオブジェクトに対応する鏡面に対して実のオブジェクトを映すことにより形成されてもよい。段階７３０では、第１および第２のオブジェクト間の依存関係情報が形成される。前述のとおり、これは、依存性グラフの形態で生じてもよく（依存性ツリーなど）、そこで、第２のグラフィックオブジェクトが第１のオブジェクトを介してのみ見えることが示される。段階７４０では、グラフィックオブジェクトのデータおよびそれらの依存関係が、例えばレンダリングデバイスに伝送されるファイルまたは伝送チャンネルに出力される。

図７ｂでは、グラフィックオブジェクトおよび依存関係の情報が、ファイルまたは伝送チャンネルから受信される。ここで、「受信」という用語は、情報が、メモリから読み出されるか、または通信接続を介して受信されて、次にレンダリングを目的としてレンダリングデバイスのワーキングメモリ内に形成されることを意味すると理解される。段階７５０において、第１および第２のグラフィックオブジェクトの情報（ジオメトリ、色、透明度、反射性）が受信される。段階７６０では、第１および第２のグラフィックオブジェクト間の依存関係情報が受信される。第１のグラフィックオブジェクトは、第１のグラフィックオブジェクトに関する情報に基づきレンダリング可能である。段階７７０において、第２のグラフィックオブジェクトが第１のグラフィックオブジェクトの外側では見えないように、第２のグラフィックオブジェクトが、第１のグラフィックオブジェクトによりカバーされる部分についてレンダリングされる。この段階で、出力ピクセルを形成するために、第１および第２のグラフィックオブジェクトの色情報が、例えばアルファブレンディングまたは別のブレンディングアルゴリズムによりブレンディングされてもよい。段階７８０では、結果として生じるピクセルデータが、ファイルへの格納または画面上での表示のために出力される。ピクセルは、画像フォーマット（またはビデオフォーマット）に圧縮されてもよい。ピクセルデータは、実際のピクセルの形態であってもよく、または、ピクセルデータは、グラフィックプリミティブおよびテクスチャ情報の形態で出力されてもよい。

本発明の様々な実施形態は、メモリ内に存在し関連装置に本発明を実行させるコンピュータプログラムコードを利用して実装可能である。例えば、デバイスは、データを処理、受信、および伝送するための回路構成および電子回路、メモリ内のコンピュータプログラムコード、およびプロセッサを有してもよく、プロセッサは、コンピュータプログラムコードを実行すると、デバイスに実施形態の特徴を実行させる。さらに、サーバのようなネットワークデバイスが、データを処理、受信、および伝送するための回路構成および電子回路、メモリ内のコンピュータプログラムコード、およびプロセッサを有してもよく、プロセッサは、コンピュータプログラムコードを実行すると、ネットワークデバイスに実施形態の特徴を実行させる。

本発明が上記で提示された実施形態のみに限定はされず、添付の特許請求の範囲に記載の範囲内で変更可能であることは明らかである。

Claims (46)

1. ・ 第２のグラフィックオブジェクトをレンダリングするための、第１のグラフィックオブジェクトの第１の情報を受信することと、
   ・ 前記第２のグラフィックオブジェクトをレンダリングするための、前記第２のグラフィックオブジェクトの第２の情報を受信することと、
   ・ 前記第１のグラフィックオブジェクトと第２のグラフィックオブジェクトとの間の依存関係情報を受信することであって、前記依存関係情報は、前記第２のグラフィックオブジェクトを、視認方向における前記第１のグラフィックオブジェクトと前記第２のグラフィックオブジェクトとの重なりに応じてレンダリングするための情報を有する、前記依存関係情報を前記受信することと、
   ・ 前記第２のグラフィックオブジェクトの前記第２の情報および前記第１のグラフィックオブジェクトの前記第１の情報を使用して第２のピクセルデータを生成することにより、前記第２のグラフィックオブジェクトをレンダリングすることであって、前記第２のグラフィックオブジェクトの前記レンダリングは、前記第２のグラフィックオブジェクトのうち、前記視認方向において前記第１のグラフィックオブジェクトが重なるような部分に対して実行される、前記レンダリングすることと、
   を含む方法。
2. 前記第２のグラフィックオブジェクトをレンダリングすることは、前記第１のグラフィックオブジェクトを介した前記第２のグラフィックオブジェクトのレンダリングにおいて前記第１のグラフィックオブジェクトの透明度を求めるために、前記第１のグラフィックオブジェクトの反射率情報を使用することを含む、請求項１に記載の方法。
3. 前記第２のグラフィックオブジェクトは、第３のオブジェクトのミラーイメージであり、前記方法は、
   ・ 前記第３のオブジェクトを前記第１のグラフィックオブジェクトの鏡面に対して映すことにより、前記第２のグラフィックオブジェクトの前記第２の情報を形成すること、
   を含む、請求項１または２に記載の方法。
4. 前記依存関係情報は、他のグラフィックオブジェクトを介したグラフィックオブジェクトの可視性を示す依存性グラフであり、前記方法は、
   ・ 前記第１のグラフィックオブジェクトの前記第１の情報を使用して第１のピクセルのための第１のピクセルデータを生成することにより、前記第１のグラフィックオブジェクトをレンダリングすることと、
   ・ 前記第２のグラフィックオブジェクトの前記第２の情報および前記第１のグラフィックオブジェクトの前記第１の情報を使用して、前記第１のピクセルのサブセットである第２のピクセルのための第２のピクセルデータを生成することにより、前記第２のグラフィックオブジェクトをレンダリングすることと、
   を含む、請求項１〜３のいずれかに記載の方法。
5. ・ レンダリングされるべき第２のピクセルを、ステンシルバッファを使用してマークすることと、
   ・ 前記ステンシルバッファの前記マークに対応するピクセルデータを生成することにより、前記第２のグラフィックオブジェクトをレンダリングすることと、
   を含む、請求項４に記載の方法。
6. 前記第１のグラフィックオブジェクトは、第１のピクセルを有し、前記第２のグラフィックオブジェクトは、レンダーレイヤを有し、前記方法は、
   ・ 前記第１のピクセルがそれを介して前記第２のグラフィックオブジェクトが見えるポータルピクセルであるかどうかを判断することと、
   ・ 前記判断が、前記第１のピクセルはポータルピクセルであると示す場合、前記第１の情報および前記第２の情報を使用して前記第１のピクセルをレンダリングすることと、
   を含む、請求項１〜３のいずれかに記載の方法。
7. 一部のオブジェクトが他のオブジェクトを介してのみ見え、他のオブジェクトの外側では見えないように、オブジェクトの可視性が、前記依存関係情報により他のオブジェクトの外側で制限され、前記方法は、前記第１のグラフィックオブジェクトからの色情報と、前記第２のグラフィックオブジェクトからの色情報とをブレンディングすることにより、前記第２のピクセルデータを形成することを含む、請求項１〜６のいずれかに記載の方法。
8. 前記依存性グラフは、依存性ツリーであり、前記第１および第２のグラフィックオブジェクトは、それぞれ前記依存性ツリーの第１および第２のノードに対応し、それにより、前記第２のノードは、前記第１のノードの子ノードであり、前記依存性ツリーは、前記第２のオブジェクトが前記第１のオブジェクトを介してのみ見える一方でそれ以外では見えないことを定める、請求項４に記載の方法。
9. 前記第１および第２の情報は、前記第１および第２のグラフィックオブジェクトのグラフィックフラグメント１つ以上の情報を有し、前記第１のグラフィックオブジェクトのグラフィックフラグメント１つ以上は、前記第２のグラフィックオブジェクトのフラグメントがそれを介して見える特殊なフラグメントである、請求項１〜８のいずれかに記載の方法。
10. ・ 前記第１のグラフィックオブジェクトを有する第１のレンダーレイヤと、前記第２のグラフィックオブジェクトを有する第２のレンダーレイヤとを受信することであって、前記第１および第２のレンダーレイヤは、ピクセルを有し、前記第１のレンダーレイヤは、レンダリング視点から視認された前記第１のグラフィックオブジェクトに対応するピクセルを有し、前記第２のレンダーレイヤは、前記レンダリング視点から視認された前記第２のグラフィックオブジェクトに対応するピクセルを有し、前記第２のグラフィックオブジェクトは、前記レンダリング視点から視認された前記第１のグラフィックオブジェクトにより部分的に遮られる、前記第１のレンダーレイヤと前記第２のレンダーレイヤとを前記受信することと、
    ・ 前記第１のレンダーレイヤのピクセルと、前記第２のレンダーレイヤのピクセルとを、レンダリング空間内に配置することと、
    ・ 深度値と前記ピクセルとを関連付けることと、
    ・ 前記ピクセルおよび前記深度値を使用して、左眼画像および右眼画像をレンダリングすることと、
    を含む、請求項１〜９のいずれかに記載の方法。
11. ・ 第２のグラフィックオブジェクトをレンダリングするための、第１のグラフィックオブジェクトの第１の情報を形成することと、
    ・ 前記第２のグラフィックオブジェクトをレンダリングするための、前記第２のグラフィックオブジェクトの第２の情報を形成することと、
    ・ 前記第１のグラフィックオブジェクトと第２のグラフィックオブジェクトとの間の依存関係情報を形成することであって、前記依存関係情報は、前記第２のグラフィックオブジェクトを、視認方向における前記第１のグラフィックオブジェクトと前記第２のグラフィックオブジェクトとの重なりに応じてレンダリングするための情報を有する、前記依存関係情報を前記形成することと、
    ・ 前記第２のグラフィックオブジェクトの前記第２の情報および前記第１のグラフィックオブジェクトの前記第１の情報を使用して第２のピクセルデータを生成することによる、前記第２のグラフィックオブジェクトのレンダリングにおいて使用されるよう、前記第１の情報、前記第２の情報、および前記依存関係情報を提供することであって、前記第２のグラフィックオブジェクトの前記レンダリングは、前記第２のグラフィックオブジェクトのうち、前記視認方向において前記第１のグラフィックオブジェクトが重なるような部分に対して実行されるように規定される、前記提供することと、
    を含む方法。
12. 前記第１のグラフィックオブジェクトは、前記第１のグラフィックオブジェクトを介した前記第２のグラフィックオブジェクトのレンダリングにおいて前記第１のグラフィックオブジェクトの透明度を求めるための、反射率情報を有する、請求項１１に記載の方法。
13. 前記第２のグラフィックオブジェクトは、第３のオブジェクトのミラーイメージであり、前記方法は、
    ・ 前記第３のオブジェクトを前記第１のグラフィックオブジェクトの鏡面に対して映すことにより、前記第２のグラフィックオブジェクトの前記第２の情報を形成すること、
    を含む、請求項１１または１２に記載の方法。
14. 前記依存関係情報は、他のグラフィックオブジェクトを介したグラフィックオブジェクトの可視性を示す依存性グラフである、請求項１１〜１３のいずれかに記載の方法。
15. ・ ステンシルバッファのマークに対応するピクセルデータを生成することにより、前記第２のグラフィックオブジェクトをレンダリングするために、レンダリングされるべきピクセルを前記マークする情報を前記ステンシルバッファを使用して提供すること、
    を含む、請求項１４に記載の方法。
16. 前記第１のグラフィックオブジェクトは、第１のピクセルを有し、前記第２のグラフィックオブジェクトは、レンダーレイヤを有し、前記方法は、
    ・ 前記判断が、前記第１のピクセルはポータルピクセルであると示す場合、前記第１の情報および前記第２の情報を使用して前記第１のピクセルをレンダリングするために、前記第１のピクセルはそれを介して前記第２のグラフィックオブジェクトが見えるポータルピクセルであるとの情報を提供すること、
    を含む、請求項１１〜１３のいずれかに記載の方法。
17. 一部のオブジェクトが他のオブジェクトを介してのみ見え、他のオブジェクトの外側では見えないように、オブジェクトの可視性が、前記依存関係情報により他のオブジェクトの外側で制限される、請求項１１〜１６のいずれかに記載の方法。
18. 前記依存性グラフは、依存性ツリーであり、前記第１および第２のグラフィックオブジェクトは、それぞれ前記依存性ツリーの第１および第２のノードに対応し、それにより、前記第２のノードは、前記第１のノードの子ノードであり、前記依存性ツリーは、前記第２のオブジェクトが前記第１のオブジェクトを介してのみ見える一方でそれ以外では見えないことを定める、請求項１４に記載の方法。
19. 前記第１および第２の情報は、前記第１および第２のグラフィックオブジェクトのグラフィックフラグメント１つ以上の情報を有し、前記第１のグラフィックオブジェクトのグラフィックフラグメント１つ以上は、前記第２のグラフィックオブジェクトのフラグメントがそれを介して見える特殊なフラグメントである、請求項１１〜１８のいずれかに記載の方法。
20. ・ 前記第１のグラフィックオブジェクトを有する第１のレンダーレイヤと、前記第２のグラフィックオブジェクトを有する第２のレンダーレイヤとを形成することであって、前記第１および第２のレンダーレイヤは、ピクセルを有し、前記第１のレンダーレイヤは、レンダリング視点から視認された前記第１のグラフィックオブジェクトに対応するピクセルを有し、前記第２のレンダーレイヤは、前記レンダリング視点から視認された前記第２のグラフィックオブジェクトに対応するピクセルを有し、前記第２のグラフィックオブジェクトは、前記レンダリング視点から視認された前記第１のグラフィックオブジェクトにより部分的に遮られる、前記第１のレンダーレイヤと前記第２のレンダーレイヤとを前記形成することと、
    ・ 前記第１のレンダーレイヤのピクセルと、前記第２のレンダーレイヤのピクセルとを、レンダリング空間内に配置するためのマッピングパラメータを提供することと、
    を含む、請求項１１〜１９のいずれかに記載の方法。
21. 少なくとも１つのプロセッサと、コンピュータプログラムコードを備えたメモリとを有する装置であって、前記メモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサとともに、前記装置に少なくとも、
    ・ 第２のグラフィックオブジェクトをレンダリングするための、第１のグラフィックオブジェクトの第１の情報を受信することと、
    ・ 前記第２のグラフィックオブジェクトをレンダリングするための、前記第２のグラフィックオブジェクトの第２の情報を受信することと、
    ・ 前記第１のグラフィックオブジェクトと第２のグラフィックオブジェクトとの間の依存関係情報を受信することであって、前記依存関係情報は、前記第２のグラフィックオブジェクトを、視認方向における前記第１のグラフィックオブジェクトと前記第２のグラフィックオブジェクトとの重なりに応じてレンダリングするための情報を有する、前記依存関係情報を前記受信することと、
    ・ 前記第２のグラフィックオブジェクトの前記第２の情報および前記第１のグラフィックオブジェクトの前記第１の情報を使用して第２のピクセルデータを生成することにより、前記第２のグラフィックオブジェクトをレンダリングすることであって、前記第２のグラフィックオブジェクトの前記レンダリングは、前記第２のグラフィックオブジェクトのうち、前記視認方向において前記第１のグラフィックオブジェクトが重なるような部分に対して実行される、前記レンダリングすることと、
    を実行させるよう構成される、装置。
22. 前記第２のグラフィックオブジェクトをレンダリングすることは、前記第１のグラフィックオブジェクトを介した前記第２のグラフィックオブジェクトのレンダリングにおいて前記第１のグラフィックオブジェクトの透明度を求めるために、前記第１のグラフィックオブジェクトの反射率情報を使用することを含むように設定される、請求項２１に記載の装置。
23. 前記第２のグラフィックオブジェクトは、第３のオブジェクトのミラーイメージであり、前記装置は、
    ・ 前記第３のオブジェクトを前記第１のグラフィックオブジェクトの鏡面に対して映すことにより、前記第２のグラフィックオブジェクトの前記第２の情報を形成すること、
    を前記装置にさせるコンピュータプログラムコードを有する、請求項２１または２２に記載の装置。
24. 前記依存関係情報は、他のグラフィックオブジェクトを介したグラフィックオブジェクトの可視性を示す依存性グラフであり、前記装置は、
    ・ 前記第１のグラフィックオブジェクトの前記第１の情報を使用して第１のピクセルのための第１のピクセルデータを生成することにより、前記第１のグラフィックオブジェクトをレンダリングすることと、
    ・ 前記第２のグラフィックオブジェクトの前記第２の情報および前記第１のグラフィックオブジェクトの前記第１の情報を使用して、前記第１のピクセルのサブセットである第２のピクセルのための第２のピクセルデータを生成することにより、前記第２のグラフィックオブジェクトをレンダリングすることと、
    を前記装置にさせるコンピュータプログラムコードを有する、請求項２１〜２３のいずれかに記載の装置。
25. ・ レンダリングされるべき第２のピクセルを、ステンシルバッファを使用してマークすることと、
    ・ 前記ステンシルバッファの前記マークに対応するピクセルデータを生成することにより、前記第２のグラフィックオブジェクトをレンダリングすることと、
    を前記装置にさせるコンピュータプログラムコードを有する、請求項２４に記載の装置。
26. 前記第１のグラフィックオブジェクトは、第１のピクセルを有し、前記第２のグラフィックオブジェクトは、レンダーレイヤを有し、前記装置は、
    ・ 前記第１のピクセルがそれを介して前記第２のグラフィックオブジェクトが見えるポータルピクセルであるかどうかを判断することと、
    ・ 前記判断が、前記第１のピクセルはポータルピクセルであると示す場合、前記第１の情報および前記第２の情報を使用して前記第１のピクセルをレンダリングすることと、
    を前記装置にさせるコンピュータプログラムコードを有する、請求項２１〜２３のいずれかに記載の装置。
27. 一部のオブジェクトが他のオブジェクトを介してのみ見え、他のオブジェクトの外側では見えないように、オブジェクトの可視性が、前記依存関係情報により他のオブジェクトの外側で制限されるよう設定され、前記装置は、前記第１のグラフィックオブジェクトからの色情報と、前記第２のグラフィックオブジェクトからの色情報とをブレンディングすることにより、前記第２のピクセルデータを形成することを、前記装置にさせるコンピュータプログラムコードを有する、請求項２１〜２６のいずれかに記載の装置。
28. 前記依存性グラフは、依存性ツリーであり、前記第１および第２のグラフィックオブジェクトは、それぞれ前記依存性ツリーの第１および第２のノードに対応し、それにより、前記第２のノードは、前記第１のノードの子ノードであり、前記依存性ツリーは、前記第２のオブジェクトが前記第１のオブジェクトを介してのみ見える一方でそれ以外では見えないことを定める、請求項２４に記載の装置。
29. 前記第１および第２の情報は、前記第１および第２のグラフィックオブジェクトのグラフィックフラグメント１つ以上の情報を有し、前記第１のグラフィックオブジェクトのグラフィックフラグメント１つ以上は、前記第２のグラフィックオブジェクトのフラグメントがそれを介して見える特殊なフラグメントである、請求項２１〜２８のいずれかに記載の装置。
30. ・ 前記第１のグラフィックオブジェクトを有する第１のレンダーレイヤと、前記第２のグラフィックオブジェクトを有する第２のレンダーレイヤとを受信することであって、前記第１および第２のレンダーレイヤは、ピクセルを有し、前記第１のレンダーレイヤは、レンダリング視点から視認された前記第１のグラフィックオブジェクトに対応するピクセルを有し、前記第２のレンダーレイヤは、前記レンダリング視点から視認された前記第２のグラフィックオブジェクトに対応するピクセルを有し、前記第２のグラフィックオブジェクトは、前記レンダリング視点から視認された前記第１のグラフィックオブジェクトにより部分的に遮られる、前記第１のレンダーレイヤと前記第２のレンダーレイヤとを前記受信することと、
    ・ 前記第１のレンダーレイヤのピクセルと、前記第２のレンダーレイヤのピクセルとを、レンダリング空間内に配置することと、
    ・ 深度値と前記ピクセルとを関連付けることと、
    ・ 前記ピクセルおよび前記深度値を使用して、左眼画像および右眼画像をレンダリングすることと、
    を前記装置にさせるコンピュータプログラムコードを有する、請求項２１〜２９のいずれかに記載の装置。
31. 少なくとも１つのプロセッサと、コンピュータプログラムコードを備えたメモリとを有する装置であって、前記メモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサとともに、前記装置に少なくとも、
    ・ 第２のグラフィックオブジェクトをレンダリングするための、第１のグラフィックオブジェクトの第１の情報を形成することと、
    ・ 前記第２のグラフィックオブジェクトをレンダリングするための、前記第２のグラフィックオブジェクトの第２の情報を形成することと、
    ・ 前記第１のグラフィックオブジェクトと第２のグラフィックオブジェクトとの間の依存関係情報を形成することであって、前記依存関係情報は、前記第２のグラフィックオブジェクトを、視認方向における前記第１のグラフィックオブジェクトと前記第２のグラフィックオブジェクトとの重なりに応じてレンダリングするための情報を有する、前記依存関係情報を前記形成することと、
    ・ 前記第２のグラフィックオブジェクトの前記第２の情報および前記第１のグラフィックオブジェクトの前記第１の情報を使用して第２のピクセルデータを生成することによる、前記第２のグラフィックオブジェクトのレンダリングにおいて使用されるよう、前記第１の情報、前記第２の情報、および前記依存関係情報を提供することであって、前記第２のグラフィックオブジェクトの前記レンダリングは、前記第２のグラフィックオブジェクトのうち、前記視認方向において前記第１のグラフィックオブジェクトが重なるような部分に対して実行されるように規定される、前記提供することと、
    を実行させるよう構成される、装置。
32. 前記第１のグラフィックオブジェクトは、前記第１のグラフィックオブジェクトを介した前記第２のグラフィックオブジェクトのレンダリングにおいて前記第１のグラフィックオブジェクトの透明度を求めるための、反射率情報を有する、請求項３１に記載の装置。
33. 前記第２のグラフィックオブジェクトは、第３のオブジェクトのミラーイメージであり、前記装置は、
    ・ 前記第３のオブジェクトを前記第１のグラフィックオブジェクトの鏡面に対して映すことにより、前記第２のグラフィックオブジェクトの前記第２の情報を形成すること、
    を前記装置にさせるコンピュータプログラムコードを有する、請求項３１または３２に記載の装置。
34. 前記依存関係情報は、他のグラフィックオブジェクトを介したグラフィックオブジェクトの可視性を示す依存性グラフである、請求項３１〜３３のいずれかに記載の装置。
35. ・ ステンシルバッファのマークに対応するピクセルデータを生成することにより、前記第２のグラフィックオブジェクトをレンダリングするために、レンダリングされるべきピクセルを前記マークする情報を前記ステンシルバッファを使用して提供すること、
    を前記装置にさせるコンピュータプログラムコードを有する、請求項３４に記載の装置。
36. 前記第１のグラフィックオブジェクトは、第１のピクセルを有し、前記第２のグラフィックオブジェクトは、レンダーレイヤを有し、前記装置は、
    ・ 前記判断が、前記第１のピクセルはポータルピクセルであると示す場合、前記第１の情報および前記第２の情報を使用して前記第１のピクセルをレンダリングするために、前記第１のピクセルはそれを介して前記第２のグラフィックオブジェクトが見えるポータルピクセルであるとの情報を提供すること、
    を前記装置にさせるコンピュータプログラムコードを有する、請求項３１〜３３のいずれかに記載の装置。
37. 一部のオブジェクトが他のオブジェクトを介してのみ見え、他のオブジェクトの外側では見えないように、オブジェクトの可視性が、前記依存関係情報により他のオブジェクトの外側で制限される、請求項３１〜３６のいずれかに記載の装置。
38. 前記依存性グラフは、依存性ツリーであり、前記第１および第２のグラフィックオブジェクトは、それぞれ前記依存性ツリーの第１および第２のノードに対応し、それにより、前記第２のノードは、前記第１のノードの子ノードであり、前記依存性ツリーは、前記第２のオブジェクトが前記第１のオブジェクトを介してのみ見える一方でそれ以外では見えないことを定める、請求項３４に記載の装置。
39. 前記第１および第２の情報は、前記第１および第２のグラフィックオブジェクトのグラフィックフラグメント１つ以上の情報を有し、前記第１のグラフィックオブジェクトのグラフィックフラグメント１つ以上は、前記第２のグラフィックオブジェクトのフラグメントがそれを介して見える特殊なフラグメントである、請求項３１〜３８のいずれかに記載の装置。
40. ・ 前記第１のグラフィックオブジェクトを有する第１のレンダーレイヤと、前記第２のグラフィックオブジェクトを有する第２のレンダーレイヤとを形成することであって、前記第１および第２のレンダーレイヤは、ピクセルを有し、前記第１のレンダーレイヤは、レンダリング視点から視認された前記第１のグラフィックオブジェクトに対応するピクセルを有し、前記第２のレンダーレイヤは、前記レンダリング視点から視認された前記第２のグラフィックオブジェクトに対応するピクセルを有し、前記第２のグラフィックオブジェクトは、前記レンダリング視点から視認された前記第１のグラフィックオブジェクトにより部分的に遮られる、前記第１のレンダーレイヤと前記第２のレンダーレイヤとを前記形成することと、
    ・ 前記第１のレンダーレイヤのピクセルと、前記第２のレンダーレイヤのピクセルとを、レンダリング空間内に配置するためのマッピングパラメータを提供することと、
    を前記装置にさせるコンピュータプログラムコードを有する、請求項３１〜３９のいずれかに記載の装置。
41. 少なくとも１つのプロセッサと、コンピュータプログラムコードを備えたメモリとを有するシステムであって、前記メモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサとともに、前記システムに少なくとも、
    ・ 第２のグラフィックオブジェクトをレンダリングするための、第１のグラフィックオブジェクトの第１の情報を受信することと、
    ・ 前記第２のグラフィックオブジェクトをレンダリングするための、前記第２のグラフィックオブジェクトの第２の情報を受信することと、
    ・ 前記第１のグラフィックオブジェクトと第２のグラフィックオブジェクトとの間の依存関係情報を受信することであって、前記依存関係情報は、前記第２のグラフィックオブジェクトを、視認方向における前記第１のグラフィックオブジェクトと前記第２のグラフィックオブジェクトとの重なりに応じてレンダリングするための情報を有する、前記依存関係情報を前記受信することと、
    ・ 前記第２のグラフィックオブジェクトの前記第２の情報および前記第１のグラフィックオブジェクトの前記第１の情報を使用して第２のピクセルデータを生成することにより、前記第２のグラフィックオブジェクトをレンダリングすることであって、前記第２のグラフィックオブジェクトの前記レンダリングは、前記第２のグラフィックオブジェクトのうち、前記視認方向において前記第１のグラフィックオブジェクトが重なるような部分に対して実行される、前記レンダリングすることと、
    を実行させるよう構成される、システム。
42. 少なくとも１つのプロセッサと、コンピュータプログラムコードを備えたメモリとを有するシステムであって、前記メモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサとともに、前記システムに少なくとも、
    ・ 第２のグラフィックオブジェクトをレンダリングするための、第１のグラフィックオブジェクトの第１の情報を形成することと、
    ・ 前記第２のグラフィックオブジェクトをレンダリングするための、前記第２のグラフィックオブジェクトの第２の情報を形成することと、
    ・ 前記第１のグラフィックオブジェクトと第２のグラフィックオブジェクトとの間の依存関係情報を形成することであって、前記依存関係情報は、前記第２のグラフィックオブジェクトを、視認方向における前記第１のグラフィックオブジェクトと前記第２のグラフィックオブジェクトとの重なりに応じてレンダリングするための情報を有する、前記依存関係情報を前記形成することと、
    ・ 前記第２のグラフィックオブジェクトの前記第２の情報および前記第１のグラフィックオブジェクトの前記第１の情報を使用して第２のピクセルデータを生成することによる、前記第２のグラフィックオブジェクトのレンダリングにおいて使用されるよう、前記第１の情報、前記第２の情報、および前記依存関係情報を提供することであって、前記第２のグラフィックオブジェクトの前記レンダリングは、前記第２のグラフィックオブジェクトのうち、前記視認方向において前記第１のグラフィックオブジェクトが重なるような部分に対して実行されるように規定される、前記提供することと、
    を実行させるよう構成される、システム。
43. ・ 第２のグラフィックオブジェクトをレンダリングするための、第１のグラフィックオブジェクトの第１の情報を受信する手段と、
    ・ 前記第２のグラフィックオブジェクトをレンダリングするための、前記第２のグラフィックオブジェクトの第２の情報を受信する手段と、
    ・ 前記第１のグラフィックオブジェクトと第２のグラフィックオブジェクトとの間の依存関係情報を受信する手段であって、前記依存関係情報は、前記第２のグラフィックオブジェクトを、視認方向における前記第１のグラフィックオブジェクトと前記第２のグラフィックオブジェクトとの重なりに応じてレンダリングするための情報を有する、前記依存関係情報を前記受信する手段と、
    ・ 前記第２のグラフィックオブジェクトの前記第２の情報および前記第１のグラフィックオブジェクトの前記第１の情報を使用して第２のピクセルデータを生成することにより、前記第２のグラフィックオブジェクトをレンダリングする手段であって、前記第２のグラフィックオブジェクトの前記レンダリングは、前記第２のグラフィックオブジェクトのうち、前記視認方向において前記第１のグラフィックオブジェクトが重なるような部分に対して実行される、前記レンダリングする手段と、
    を有する装置。
44. ・ 第２のグラフィックオブジェクトをレンダリングするための、第１のグラフィックオブジェクトの第１の情報を形成する手段と、
    ・ 前記第２のグラフィックオブジェクトをレンダリングするための、前記第２のグラフィックオブジェクトの第２の情報を形成する手段と、
    ・ 前記第１のグラフィックオブジェクトと第２のグラフィックオブジェクトとの間の依存関係情報を形成する手段であって、前記依存関係情報は、前記第２のグラフィックオブジェクトを、視認方向における前記第１のグラフィックオブジェクトと前記第２のグラフィックオブジェクトとの重なりに応じてレンダリングするための情報を有する、前記依存関係情報を前記形成する手段と、
    ・ 前記第２のグラフィックオブジェクトの前記第２の情報および前記第１のグラフィックオブジェクトの前記第１の情報を使用して第２のピクセルデータを生成することによる、前記第２のグラフィックオブジェクトのレンダリングにおいて使用されるよう、前記第１の情報、前記第２の情報、および前記依存関係情報を提供する手段であって、前記第２のグラフィックオブジェクトの前記レンダリングは、前記第２のグラフィックオブジェクトのうち、前記視認方向において前記第１のグラフィックオブジェクトが重なるような部分に対して実行されるように規定される、前記提供する手段と、
    を有する装置。
45. 非一時的なコンピュータ可読媒体上に具現化され、コンピュータプログラムコードを有するコンピュータプログラム製品であって、前記コンピュータプログラムコードは、少なくとも１つのプロセッサ上で実行されると、装置またはシステムに、
    ・ 第２のグラフィックオブジェクトをレンダリングするための、第１のグラフィックオブジェクトの第１の情報を受信することと、
    ・ 前記第２のグラフィックオブジェクトをレンダリングするための、前記第２のグラフィックオブジェクトの第２の情報を受信することと、
    ・ 前記第１のグラフィックオブジェクトと第２のグラフィックオブジェクトとの間の依存関係情報を受信することであって、前記依存関係情報は、前記第２のグラフィックオブジェクトを、視認方向における前記第１のグラフィックオブジェクトと前記第２のグラフィックオブジェクトとの重なりに応じてレンダリングするための情報を有する、前記依存関係情報を前記受信することと、
    ・ 前記第２のグラフィックオブジェクトの前記第２の情報および前記第１のグラフィックオブジェクトの前記第１の情報を使用して第２のピクセルデータを生成することにより、前記第２のグラフィックオブジェクトをレンダリングすることであって、前記第２のグラフィックオブジェクトの前記レンダリングは、前記第２のグラフィックオブジェクトのうち、前記視認方向において前記第１のグラフィックオブジェクトが重なるような部分に対して実行される、前記レンダリングすることと、
    をさせるよう構成される、コンピュータプログラム製品。
46. 非一時的なコンピュータ可読媒体上に具現化され、コンピュータプログラムコードを有するコンピュータプログラム製品であって、前記コンピュータプログラムコードは、少なくとも１つのプロセッサ上で実行されると、装置またはシステムに、
    ・ 第２のグラフィックオブジェクトをレンダリングするための、第１のグラフィックオブジェクトの第１の情報を形成することと、
    ・ 前記第２のグラフィックオブジェクトをレンダリングするための、前記第２のグラフィックオブジェクトの第２の情報を形成することと、
    ・ 前記第１のグラフィックオブジェクトと第２のグラフィックオブジェクトとの間の依存関係情報を形成することであって、前記依存関係情報は、前記第２のグラフィックオブジェクトを、視認方向における前記第１のグラフィックオブジェクトと前記第２のグラフィックオブジェクトとの重なりに応じてレンダリングするための情報を有する、前記依存関係情報を前記形成することと、
    ・ 前記第２のグラフィックオブジェクトの前記第２の情報および前記第１のグラフィックオブジェクトの前記第１の情報を使用して第２のピクセルデータを生成することによる、前記第２のグラフィックオブジェクトのレンダリングにおいて使用されるよう、前記第１の情報、前記第２の情報、および前記依存関係情報を提供することであって、前記第２のグラフィックオブジェクトの前記レンダリングは、前記第２のグラフィックオブジェクトのうち、前記視認方向において前記第１のグラフィックオブジェクトが重なるような部分に対して実行されるように規定される、前記提供することと、
    をさせるよう構成される、コンピュータプログラム製品。

Images