JP7345396B2 - レンダリング装置及びレンダリング方法 - Google Patents

Description

本発明は、仮想現実（ＶＲ：Virtual Reality、ＡＲ：Augmented Reality、ＭＲ：Mixed Realityを含む)空間内において３Ｄオブジェクトをレンダリングするレンダリング装置及びレンダリング方法に関する。

近年、仮想現実空間の中で立体視しながら各種製品をデザインしたい、というニーズが高まっている。

特許文献１は、ＡＲ空間において、電子ペンを用いてタブレット端末に入力した２Ｄオブジェクトをベースにして３Ｄオブジェクトを生成する技術を開示している。以下、平面上で電子ペンを移動させることによって行う入力の方法を「２Ｄ入力」と称する。

非特許文献１は、３Ｄ入力用のコントローラをＶＲ空間中で動かすことによって３Ｄオブジェクトを入力する技術を開示している。以下、このような３Ｄ入力用のコントローラを利用する入力の方法を「３Ｄ入力」と称する。

米国特許出願公開第２０１６／０３４３１７４号明細書

Google、「Tilt Brush: Painting from a new perspective」、［ｏｎｌｉｎｅ］、平成２８年５月３日、［平成２９年１０月５日検索］、インターネット〈ＵＲＬ：https://www.youtube.com/watch?v=TckqNdrdbgk〉

上述した２Ｄ入力によれば、電子ペンの位置が既知の平面内に固定されることから、３Ｄ入力に比して高い精度を得ることができる。しかしながら一方で、２Ｄ入力には、平面内での描画に限られるため、３Ｄ入力に比べて直感的な操作が難しいという問題がある。

これに対し、３Ｄ入力によれば、直感的な操作が可能になる。一方で、コントローラの位置の自由度が高いことから、デザインの用途に用いる技術としては精度が不十分であるという問題がある。

したがって、本発明の目的の一つは、仮想現実空間において直感的で精度の高い描画を実現できるレンダリング装置及びレンダリング方法を提供することにある。

本発明の第１の側面は、仮想現実ディスプレイ上に表示される仮想現実空間内において３Ｄオブジェクトをレンダリングするレンダリング装置に係り、前記３Ｄオブジェクトを仮想現実空間座標系における３Ｄ表示の３Ｄオブジェクトとしてレンダリングする３Ｄレンダリングステップと、前記３Ｄオブジェクトを平面座標系における２Ｄ表示の３Ｄオブジェクトとしてレンダリングする２Ｄレンダリングステップと、前記３Ｄレンダリングステップのレンダリング結果により前記仮想現実ディスプレイの表示を更新する３Ｄ表示モードと、前記２Ｄレンダリングステップのレンダリング結果により前記仮想現実ディスプレイの表示を更新する２Ｄ表示モードとを有する表示更新ステップと、を実行するレンダリング装置である。

本発明の第２の側面は、コンピュータを、仮想現実ディスプレイ上に表示される仮想現実空間内において３Ｄオブジェクトをレンダリングするレンダリング装置として機能させるためのレンダリング方法に係り、前記コンピュータに、前記３Ｄオブジェクトを仮想現実空間座標系における３Ｄ表示の３Ｄオブジェクトとしてレンダリングする３Ｄレンダリングステップと、前記３Ｄオブジェクトを平面座標系における２Ｄ表示の３Ｄオブジェクトとしてレンダリングする２Ｄレンダリングステップと、前記３Ｄレンダリングステップのレンダリング結果により前記仮想現実ディスプレイの表示を更新する３Ｄ表示モードと、前記２Ｄレンダリングステップのレンダリング結果により前記仮想現実ディスプレイの表示を更新する２Ｄ表示モードとを有する表示更新ステップと、を実行させるレンダリング方法である。

本発明によれば、３Ｄオブジェクトの仮想現実空間内における表示方法（３Ｄ表示又は２Ｄ表示）をユーザの選択に応じて切り替えることができるので、仮想現実空間において直感的で精度の高い描画を実現することが可能になる。

本発明の第１の実施の形態による３Ｄオブジェクトレンダリングシステム１の構成を示す図である。 タブレット面座標系と仮想現実空間座標系の関係を説明する図である。 図１に示した制御部２ａが行う処理を示すフロー図である。 図２に示した位置情報等取得処理の詳細を示すフロー図である。 図２に示したタブレット端末表示処理の詳細を示すフロー図である。 本発明の第１の実施の形態による仮想現実空間において３Ｄオブジェクトを２Ｄ入力している状態を示す図である。 本発明の第１の実施の形態による仮想現実空間において３Ｄオブジェクトを３Ｄ入力している状態を示す図である。 本発明の第２の実施の形態による仮想現実空間において３Ｄオブジェクトを２Ｄ入力している状態を示す図である。 本発明の第２の実施の形態による制御部２ａが行う処理の一部を示すフロー図である。

以下、添付図面を参照しながら、本発明の実施の形態について詳細に説明する。

図１は、本発明の第１の実施の形態による３Ｄオブジェクトレンダリングシステム１の構成を示す図である。同図に示すように、本実施の形態による３Ｄオブジェクトレンダリングシステム１は、コンピュータ２と、仮想現実ディスプレイ３と、タブレット４と、電子ペン５と、グローブユニット６と、ライトニングハウス７ａ，７ｂと、位置センサ８ａ～８ｄとを含んで構成される。なお、位置センサ８ａ，８ｃ，８ｄはそれぞれ、タブレット４、電子ペン５、及びグローブユニット６に取り付けられ、位置センサ８ｂは仮想現実ディスプレイ３に設けられる。位置センサ８ｃが取り付けられることにより、電子ペン５は、スタイラスとして機能するとともにコントローラとしても機能する。なお、位置センサ８ｃを電子ペン５に内蔵することとしてもよい。

図１に示した各装置は、原則として部屋の中に配置される。３Ｄオブジェクトレンダリングシステム１においては、この部屋のほぼ全体が仮想現実空間として利用されうる。

コンピュータ２は、制御部２ａ（コントローラ）と、制御部２ａと協働するメモリ２ｂとを含む。後述するコンピュータ２が行う各処理は、制御部２ａがメモリ２ｂと協働することにより（より具体的には、メモリ２ｂ内に記憶されるプログラムを読み出して実行することにより）実現され得る。

コンピュータ２は、仮想現実ディスプレイ３及びライトニングハウス７ａ，７ｂのそれぞれと、有線又は無線により接続される。図１には、コンピュータ２と仮想現実ディスプレイ３及びライトニングハウス７ａ，７ｂのそれぞれとがＵＳＢなどの有線通信規格により接続される例を示している。また、詳しくは後述するが、タブレット４が通信機能を有する装置である場合、コンピュータ２は、タブレット４とも有線又は無線により接続される。図１には、コンピュータ２とタブレット４とが例えばブルートゥース（登録商標）などの近距離無線通信規格により接続される例を示している。なお、タブレット４や仮想現実ディスプレイ３がコンピュータとしての機能を内蔵する場合には、そのコンピュータによりコンピュータ２を構成することとしてもよい。

コンピュータ２は、仮想現実ディスプレイ３上に仮想現実空間を表示する機能を有して構成される。この仮想現実空間は、ＶＲ(Virtual Reality)空間であってもよいし、ＡＲ(Augmented Reality)空間であってもよいし、ＭＲ(Mixed Reality)空間であってもよい。ＶＲ空間を表示する場合、仮想現実ディスプレイ３を装着したユーザは、仮想現実を認識し、現実世界と切り離される。一方、ＡＲ空間又はＭＲ空間を表示する場合、仮想現実ディスプレイ３を装着したユーザは、仮想現実と現実世界とが混合した空間を認識することになる。

コンピュータ２は、ライトニングハウス７ａ，７ｂの位置を基準として仮想現実空間を設定し、設定した仮想現実空間内において様々な３Ｄオブジェクトをレンダリングするレンダリング装置として機能するよう構成される。コンピュータ２は、レンダリングの結果により、仮想現実ディスプレイ３の表示を更新する。これにより、仮想現実ディスプレイ３上に表示される仮想現実空間内には、様々な３Ｄオブジェクトが現れることになる。

コンピュータ２によるレンダリングは、メモリ２ｂ内に記憶される３Ｄオブジェクトに基づいて実行される。３Ｄオブジェクトは、コンピュータ２により設定された仮想現実空間を示す仮想現実空間座標系における３Ｄオブジェクトの形状、位置、及び向きを示す情報であり、レンダリング対象の３Ｄオブジェクトごとにメモリ２ｂ内に記憶される。

コンピュータ２によりレンダリングされる３Ｄオブジェクトには、図１に示したタブレット４、電子ペン５、及びグローブユニット６のそれぞれを表す３Ｄオブジェクトが含まれる。これらの３Ｄオブジェクトをレンダリングするにあたり、コンピュータ２はまず、仮想現実空間座標系における位置センサ８ａ～８ｄそれぞれの位置及び向きを検出する。そして、検出した位置センサ８ｂの位置及び向きに基づいてユーザの視点を示す視点情報を取得し、取得した視点情報と、記憶している各３Ｄオブジェクトの形状と、検出した位置センサ８ａ，８ｃ，８ｄそれぞれの位置及び向きに基づき、タブレット４、電子ペン５、及びグローブユニット６のそれぞれを示す３Ｄオブジェクトを仮想現実空間内にレンダリングするよう構成される。

コンピュータ２はさらに、位置センサ８ｃ，８ｄの位置を検出することによって仮想現実空間内でユーザが行った操作を検出し、その結果に基づいて３Ｄオブジェクトを新規に作成し、又は、既に保持している３Ｄオブジェクトを更新可能に構成される。

仮想現実ディスプレイ３は、人間の頭部に装着して用いるＶＲディスプレイ（ヘッドマウントディスプレイ）である。一般に市販される仮想現実ディスプレイには、「透過型」又は「非透過型」、「メガネ型」又は「帽子型」など各種のものがあるが、仮想現実ディスプレイ３としては、そのいずれを用いることも可能である。

仮想現実ディスプレイ３は、位置センサ８ａ，電子ペン５（位置センサ８ｃを含む）、及びグローブユニット６（位置センサ８ｄを含む）のそれぞれと有線又は無線により接続される。位置センサ８ａ，８ｃ，８ｄは、この接続を通じて、後述する受光レベル情報を仮想現実ディスプレイ３に通知するよう構成される。仮想現実ディスプレイ３は、位置センサ８ａ，８ｃ，８ｄのそれぞれから通知された受光レベル情報を、自身に内蔵している位置センサ８ｂの受光レベル情報とともにコンピュータ２に通知するよう構成される。コンピュータ２は、こうして通知された受光レベル情報に基づき、仮想現実空間座標系における位置センサ８ａ～８ｄそれぞれの位置及び向きを検出する。また、電子ペン５及びグローブユニット６は、上記接続を通じて、後述する操作情報を仮想現実ディスプレイ３に通知するよう構成される。仮想現実ディスプレイ３は、こうして通知された操作情報をコンピュータ２に転送するよう構成される。

タブレット４は、タブレット面４ａを有する。タブレット面４ａは平らな表面であることが好ましく、電子ペン５のペン先を滑らせるのに適した材料によって構成されうる。一例では、タブレット４はいわゆるデジタイザであり、タッチ面内における電子ペン５の指示位置を検出するタッチセンサと、検出した指示位置をコンピュータ２に通知する通信機能とを有して構成される。この場合のタブレット面４ａは、デジタイザのタッチ面によって構成される。他の一例では、タブレット４はいわゆるタブレットコンピュータであり、ディスプレイと、このディスプレイの表示面内における電子ペン５の指示位置を検出するタッチセンサと、検出した指示位置をコンピュータ２に通知する通信機能とを有して構成される。この場合のタブレット面４ａは、ディスプレイの表示面によって構成される。さらに他の一例では、タブレット４は、電子ペン５の指示位置を検出する機能を有しない物理的物体（単なる板、テーブル、電子ペン５の指示位置を検出する機能を有しないディスプレイ又はコンピュータなどを含む）である。この場合のタブレット面４ａは、タブレット４の表面に設けられた平面によって構成される。

位置センサ８ａは、タブレット４の表面に固定設置される。したがって、コンピュータ２によって検出される位置センサ８ａの位置及び向きは、仮想現実空間座標系におけるタブレット面４ａの位置及び向きを示している。

電子ペン５及びグローブユニット６は、ユーザが仮想現実空間内の位置を指示するためのものである。電子ペン５は、ペン型の形状を有して構成される。グローブユニット６は、ユーザの手に装着される手袋としての形状を有している。

電子ペン５の表面又は内部には、スイッチ等の各種センシングデバイスが設けられる。ここでいうセンシングデバイスとしては、オンオフいずれかの状態を取る切り替えスイッチの他、任意の物理量を検出可能に構成されたセンサを含む。電子ペン５に設けられるスイッチの例としては、ユーザによるオンオフ操作を受け付け可能に構成されたサイドスイッチ又はテールスイッチが挙げられる。また、電子ペン５に設けられる他のスイッチの例として、電子ペン５のペン先に加わる圧力（筆圧）を検出する容量センサなども挙げられる。電子ペン５は、自身に設けられたスイッチの出力（押下状態又は検出された物理量）を検出し、検出結果の全部又は一部を自身の操作情報として仮想現実ディスプレイ３に通知するよう構成される。

電子ペン５に設けられるセンシングデバイスとしては、ユーザによる電子ペン５の把持力を検出するフォースセンサ（荷重センサ）を含むこととしてもよい。この場合、フォースセンサの出力は本来筆圧を示すものではないが、フォースセンサの出力の通知を受けたコンピュータ２は、これを筆圧を示すデータ（筆圧データ）として取り扱うこととしてもよい。こうすることで、ユーザが電子ペン５を空中で操作する場合においても、筆圧を描画結果に反映させることが可能になる。

タブレット４がタッチセンサを有している場合、電子ペン５の位置はこのタッチセンサによっても検出される。タッチセンサによって検出される位置は、仮想現実空間座標系における位置ではなく、タブレット面４ａ上に規定されるタブレット面座標系における位置となる。タッチセンサは、検出した電子ペン５の位置をコンピュータ２に通知するよう構成される。

一般に、タッチセンサによって検出される位置は位置センサ８ｃを用いて検出される位置よりも高精度である。したがって、コンピュータ２は、タッチセンサから電子ペン５の位置が通知されている場合には、位置センサ８ｃを通じて検出された位置ではなく、タッチセンサから通知された位置を電子ペン５の位置として取得することが好ましい。この場合、コンピュータ２は、位置センサ８ａを用いて検出しているタブレット面４ａの位置及び向きに基づいてタブレット面座標系を仮想現実空間座標系に対応付けることにより、タッチセンサから通知された位置を仮想現実空間座標系における位置に変換することが好ましい。

図２は、タブレット面座標系と仮想現実空間座標系の関係を説明する図である。同図には、仮想現実空間１０の中にタブレット面４ａが位置している状態を示している。仮想現実空間座標系は３つの軸ＶＲＸ，ＶＲＹ，ＶＲＺによって規定され、タブレット面座標系は３つの軸ＴＲＸ，ＴＲＹ，ＴＲＺによって規定される。ただし、軸ＴＲＺはタブレット面４ａの法線方向である。図示した位置Ｐがタブレット面座標系における位置（ｘ，ｙ，ｚ）としてタッチセンサにより検出された場合（ｚは、例えばホバー位置を示す）、コンピュータ２は所定の変換処理により、この（ｘ，ｙ，ｚ）を仮想現実空間座標系における位置（Ｘ，Ｙ，Ｚ）に変換する。これにより、タッチセンサから通知された位置を仮想現実空間座標系における位置に変換することが可能になる。

ここで、タッチセンサによる電子ペン５の位置検出は、電磁誘導方式を用いてもよいし、アクティブ静電方式を用いてもよい。アクティブ静電方式を用いる場合、タッチセンサは、タッチ面内に配置されるセンサ電極（図示せず）から所定の時間間隔でビーコン信号を送出するよう構成される。ビーコン信号には、タッチセンサから電子ペン５を制御するためのコマンドが含まれる。コマンドによる制御の内容には、例えば、電子ペン５のペン先に加わる圧力を示す筆圧データ（容量センサによって検出されたもの）を送信させること、電子ペン５に設けられる各種スイッチ（図示せず）の押下状態を送信させること、電子ペン５に予め格納されている固有ＩＤを送信させることなどが含まれる。

アクティブ静電方式に対応する電子ペン５は、上記ビーコン信号を検出すると、応答信号としてペン信号を送出する。ペン信号は、無変調の搬送波であるバースト信号と、上記コマンドに応じたデータによって搬送波を変調することにより得られるデータ信号とを含む信号である。タッチセンサは、上記センサ電極によってバースト信号の検出を試み、検出結果に基づいて電子ペン５の位置を検出する。また、上記センサ電極によってデータ信号を検出して復調することにより、コマンドに応じて電子ペン５が送信したデータを受信する。タブレット４は、こうして取得した電子ペン５の位置及び電子ペン５が送信したデータを、コンピュータ２に対して送信するよう構成される。コンピュータ２は、こうして通知された位置を上述したようにして仮想現実空間座標系における位置に変換するとともに、通知されたデータを上述した操作情報の一部として取得するよう構成される。

ライトニングハウス７ａ，７ｂは、３Ｄオブジェクトレンダリングシステム１で使用される位置検出のための信号送信装置であり、それぞれ、コンピュータ２による制御に従って方向を変えながら信号、この例ではレーザー光、を射出可能に構成される。位置センサ８ａ～８ｄはそれぞれ複数の受光センサによって構成されており、ライトニングハウス７ａ，７ｂのそれぞれが照射した信号（レーザー光）を各受光センサによって受光し、それぞれの受光レベルを含む受光レベル情報を取得するよう構成される。取得された受光レベル情報は、上述したように、各位置センサ８ａ～８ｄからコンピュータ２に通知され、これらの位置及び向きを検出するために用いられる。

以上、３Ｄオブジェクトレンダリングシステム１の全体概要について説明した。このような３Ｄオブジェクトレンダリングシステム１においてユーザが新たな３Ｄオブジェクトの入力を行う場合、これまでは、電子ペン５及びグローブユニット６を用いて３Ｄ入力を行うか、或いは、タブレット４をタブレットコンピュータとし、このタブレットコンピュータに対して電子ペン５を用いて２Ｄ入力を行うか、のいずれかであった。しかしながら、上述したように、３Ｄ入力には、直感的な操作が可能になるという長所がある一方で精度が不十分であるという短所があり、また、２Ｄ入力には、高い精度を得ることができる一方で直感的な操作が難しいという短所があった。

本実施の形態による３Ｄオブジェクトレンダリングシステム１は、このような従来の入力方法の問題点に鑑み、３Ｄオブジェクトの仮想現実空間内における表示方法（３Ｄ表示又は２Ｄ表示）をユーザの選択により切り替えられるようにすることで、仮想現実空間において直感的で精度の高い描画を実現することを可能にしたものである。以下、この点について、コンピュータ２の制御部２ａが行う処理のフロー図を参照しながら詳しく説明する。

図３は、コンピュータ２の制御部２ａが行う処理を示すフロー図である。この処理は、ユーザが電子ペン５及びグローブユニット６の少なくとも一方を用いて３Ｄオブジェクトの入力を行うときに実行されるもので、ユーザが電子ペン５及びグローブユニット６を用いて所定の操作を行い、それを制御部２ａが検出することによって開始される。

図３に示すように、制御部２ａはまず、仮想現実空間座標系における入力中オブジェクトの形状、位置、及び向きを示す３Ｄオブジェクトの記憶領域をメモリ２ｂ内に確保する（ステップＳ１）。３Ｄオブジェクトの具体的な形式は特に限定されないが、例えばＶＲＭＬ形式やＸ３Ｄ形式のデータとすることが好適である。

次に制御部２ａは、位置情報等取得処理を実行する（ステップＳ２）。

図４は、ステップＳ２で実行される位置情報等取得処理の詳細を示すフロー図である。同図に示すように、制御部２ａは、視点情報を取得するステップ（ステップＳ２０）、タブレット面情報を取得するステップ（ステップＳ２１）、コントローラ情報（第１の情報）を取得するステップ（ステップＳ２２。コントローラ情報取得ステップ。第１情報取得処理）、電子ペン情報（第２の情報）を取得するステップ（ステップＳ２３。電子ペン情報取得ステップ。第２情報取得処理）のそれぞれを実行することにより、位置情報等取得処理を実行する。なお、ステップＳ２０～Ｓ２３の実行順は特に限定されない。

視点情報は、仮想現実空間座標系におけるユーザの視点を表す情報であり、具体的には仮想現実ディスプレイ３の位置及び向きによって示される。制御部２ａは、位置センサ８ｂについて検出した位置及び向きに基づき、視点情報を取得するよう構成される。具体的な視点情報は、例えば、１つの３次元座標を始点とするベクトル情報によって構成される。

タブレット面情報は、仮想現実空間座標系におけるタブレット面４ａの形状、位置、及び向きを示す情報であり、３Ｄオブジェクトの１つとしてメモリ２ｂ内に記憶される。制御部２ａは、位置センサ８ａについて検出した位置及び向きと、予め記憶しているタブレット４の形状とに基づき、タブレット面情報を取得する。

コントローラ情報は、仮想現実空間座標系における３Ｄコントローラ（電子ペン５及びグローブユニット６を含む）の位置及び向き、並びに該３Ｄコントローラの操作情報を示す情報である。制御部２ａは、位置センサ８ｃ，８ｄについて検出した位置及び向きと、仮想現実ディスプレイ３を介して受信した電子ペン５及びグローブユニット６それぞれの操作情報とに基づき、コントローラ情報を取得する。

電子ペン情報は、タブレット面座標系における電子ペン５の指示位置、及び、電子ペン５の操作情報を示す情報である。タブレット４がタッチセンサを有している場合、制御部２ａは、タッチセンサからタブレット面座標系における電子ペン５の指示位置を取得する。一方、タブレット４がタッチセンサを有していない場合、制御部２ａは、位置センサ８ｃから取得した位置（仮想現実空間座標系における位置）に変換処理（図２を参照して説明した変換処理の逆処理）を施すことによって、タブレット面座標系における電子ペン５の指示位置を取得する。また、制御部２ａは、タッチセンサから電子ペン５の操作情報を取得できる場合（例えば、電子ペン５がアクティブ静電方式に対応している場合）には、タッチセンサから電子ペン５の操作情報（容量センサの出力を含む）を取得する。一方、タッチセンサから電子ペン５の操作情報を取得できない場合、制御部２ａは、仮想現実ディスプレイ３経由で電子ペン５の操作情報（フォースセンサの出力を含む）を取得する。

図３に戻り、位置情報等取得処理を実行した制御部２ａは、続いてタブレット面等表示処理を実行する（ステップＳ３）。この処理は、タブレット面を示すタブレット面画像と、入力中の３Ｄオブジェクトを２Ｄ表示するための表示面を示す表示面画像とを仮想現実空間内に表示するための処理である。

図５は、ステップＳ３で実行されるタブレット面等表示処理の詳細を示すフロー図である。同図に示すように、制御部２ａはまず、仮想現実空間内においてユーザが選択した位置又は入力中の３Ｄオブジェクトと接触する位置に基づいて、表示面画像のレンダリングを実施する（ステップＳ３０。表示面画像レンダリングステップ（処理））。ユーザによる位置の選択は、例えば、ユーザが電子ペン５に設けられたスイッチを押下し、そのことを示す操作情報が制御部２ａに通知されることによって実行される。表示面画像は、ディスプレイを模したものであってもよいし、単なる矩形の枠であってもよい。なお、制御部２ａは、図４のステップＳ２０で取得した視点情報に基づき、表示面画像の法線方向がユーザの視線方向と一致するように表示面画像をレンダリングすることが好ましい。

次に制御部２ａは、仮想現実空間座標系と、表示面上に規定される表示面座標系（第１の平面座標系）との対応関係を示す第１の対応情報を取得する（ステップＳ３１）。第１の対応情報は、具体的には、仮想現実空間座標系と表示面座標系とを相互に変換するための変換規則である。

続いて制御部２ａは、仮想現実空間座標系と、タブレット面座標系（第２の平面座標系）との対応関係を示す第２の対応情報を取得する（ステップＳ３２）。第２の対応情報は、具体的には、仮想現実空間座標系とタブレット面座標系とを相互に変換するための変換規則である。

最後に制御部２ａは、タブレット面情報及び視点情報に基づいて、タブレット面４ａを示すタブレット面画像のレンダリングを実施する（ステップＳ３３。タブレット面画像レンダリングステップ（処理））。タブレット面画像は、タブレット端末のタッチ面を模したものであってもよいし、単なる矩形の枠であってもよい。なお、制御部２ａは、図４のステップＳ２０で取得した視点情報に基づき、ユーザの視線方向とタブレット面４ａとのなす角度（俯角）が所定の値となるようにタブレット面画像をレンダリングすることが好ましい。

図３に戻り、タブレット面等表示処理を実行した制御部２ａは、続いてユーザによる動作モードの選択操作を受け付ける（ステップＳ４）。この選択は、例えば、ユーザが電子ペン５に設けられたスイッチを押下することによって実行されてもよいし、ユーザがタブレット面４ａと電子ペン５の間の距離を変化させることによって実行されることとしてもよい。例えば、タブレット面４ａと電子ペン５の間の距離が所定距離よりも近づいた場合に２Ｄ表示に切り替え、タブレット面４ａと電子ペン５の間の距離が所定距離以上に遠ざかった場合に３Ｄ表示に自動的に切り替えてもよい。後者の場合において、タブレット面４ａと電子ペン５の間の距離は、タッチセンサが検出することとしてもよいし、タブレット面画像の表示位置と位置センサ８ｃを用いて検出されている電子ペン５の位置とに基づいて制御部２ａが検出することとしてもよい。ステップＳ４で選択操作を受け付けた制御部２ａは、選択内容に応じて、３Ｄ表示モード又は２Ｄ表示モードのいずれか一方にエントリする処理（すなわち、３Ｄ表示又は２Ｄ表示のいずれか一方を選択する表示選択処理）を行う（ステップＳ５。モード選択ステップ）。

ステップＳ５で３Ｄ表示モードにエントリした場合、制御部２ａは、仮想現実空間座標系における３Ｄオブジェクトを仮想現実ディスプレイ３上にレンダリングする３Ｄレンダリングステップ（処理）を実行する。具体的に説明すると、制御部２ａはまず、メモリ２ｂ内に記憶している３Ｄオブジェクトと、図４のステップＳ２０で取得した視点情報とに基づいて、入力中オブジェクト及び他の３Ｄオブジェクトのレンダリングを実施する（ステップＳ６）。そして、その結果により仮想現実ディスプレイ３への出力（表示）を更新する（ステップＳ７。表示更新ステップ（処理））。このとき、図５のステップＳ３０でレンダリングした表示面画像、図５のステップＳ３３でレンダリングしたタブレット面画像など、仮想現実空間内における他の表示も同時に更新される。これによりユーザは、３Ｄ入力により入力中オブジェクトを編集することが可能になる。

制御部２ａはさらに、図４のステップＳ２２で取得したコントローラ情報に基づき、メモリ２ｂ内に記憶している入力中オブジェクトの３Ｄオブジェクトを更新する（ステップＳ８。３Ｄオブジェクト更新ステップ（処理））。その後、ステップＳ２に戻って処理を継続する。

ここで、ステップＳ８及び後述するステップＳ１４における３Ｄオブジェクトの更新は、電子ペン５から通知されている操作情報にも基づいて実行される。例えば、電子ペン５から容量センサの出力又はフォースセンサの出力を示すデータが通知されている場合、コンピュータ２は、このデータを筆圧データとして取得し、取得した筆圧データに基づいて入力中オブジェクトの線幅や透明度を決定する。そして、その決定結果を３Ｄオブジェクトに反映させる。

ステップＳ５で２Ｄ表示モードにエントリした場合の制御部２ａは、３Ｄオブジェクトを表示面座標系における２Ｄ表示の３Ｄオブジェクトとして仮想現実ディスプレイ３上にレンダリングする２Ｄレンダリングステップ（処理）を実行する。具体的には、まず、図５のステップＳ３１で取得した第１の対応情報に基づき、メモリ２ｂ内に記憶している入力中オブジェクトの３Ｄオブジェクトを、表示面座標系における入力中オブジェクトの形状、位置、及び向きを示す２Ｄオブジェクトに変換する（ステップＳ１０。第１の変換ステップ）。そして、得られた２Ｄオブジェクトと、図４のステップＳ２０で取得した視点情報とに基づき、入力中オブジェクトのレンダリングを実施し（ステップＳ１１）、その結果により仮想現実ディスプレイ３への出力（表示）を更新する（ステップＳ１２。表示更新ステップ（処理））。このときにも、ステップＳ７と同様、図５のステップＳ３０でレンダリングした表示面画像、図５のステップＳ３３でレンダリングしたタブレット面画像など、仮想現実空間内における他の表示が同時に更新される。これによりユーザは、２Ｄ入力により入力中オブジェクトを編集することが可能になる。

続いて制御部２ａは、図５のステップＳ３２で取得した第２の対応情報に基づき、図４のステップＳ２３で取得した電子ペン情報により示される指示位置を仮想現実空間座標系における位置に変換する（ステップＳ１３。第２の変換ステップ）。そして、得られた指示位置を含む電子ペン情報に基づき、メモリ２ｂ内に記憶している入力中オブジェクトの３Ｄオブジェクトを更新する（ステップＳ１４。３Ｄオブジェクト更新ステップ）。上述したように、この更新は、電子ペン５から通知されている操作情報にも基づいて実行される。制御部２ａは、その後、ステップＳ２に戻って処理を継続する。

図６は、仮想現実空間において３Ｄオブジェクトを２Ｄ入力している状態（図３のステップＳ４でユーザが２Ｄ表示モードを選択している状態）を示す図であり、図７は、仮想現実空間において３Ｄオブジェクトを３Ｄ入力している状態（図３のステップＳ４でユーザが３Ｄ表示モードを選択している状態）を示す図である。

図６に示すように、２Ｄ表示モードにおいては、仮想現実空間１０内に表示された矩形の表示面画像１１の中に入力中オブジェクト１３が２Ｄ表示される。なお、表示面画像１１に示した３つの軸ＤＲＸ，ＤＲＹ，ＤＲＺは、表示面座標系を表している。３軸のうちの軸ＤＲＺは、表示面画像１１の法線方向である。また、矩形のタブレット面画像１２が表示され、ユーザは、このタブレット面画像１２内で電子ペン５を動かすことにより、入力中オブジェクト１３の編集を行う。この編集は、平面上で電子ペン５を移動させることによって行われるので、２Ｄ入力である。仮想現実ディスプレイ３を装着しているユーザには見えないが、タブレット面画像１２が表示されている位置には実際にタブレット面４ａが存在しているので、ユーザは、タブレット面４ａの手応えを感じながら、タブレット面画像１２内で電子ペン５を動かすことができる。

一方、図７に示すように、３Ｄ表示モードにおいては、入力中オブジェクト１３が仮想現実空間１０内に３Ｄ表示される。ユーザは、この仮想現実空間１０内で電子ペン５及びグローブユニット６を動かすことにより、入力中オブジェクト１３の編集を行う。この編集は、３Ｄ入力用のコントローラを利用して行われるので、３Ｄ入力である。

以上説明したように、本実施の形態による３Ｄオブジェクトレンダリングシステム１によれば、３Ｄオブジェクトの仮想現実空間内における表示方法（３Ｄ表示又は２Ｄ表示）をユーザの選択により切り替えることができるので、仮想現実空間において直感的で精度の高い描画を実現することが可能になる。また、２Ｄ表示を行っている間には２Ｄ入力による３Ｄオブジェクトの編集が可能となり、３Ｄ表示を行っている間には３Ｄ入力による３Ｄオブジェクトの編集が可能となるので、表示方法に適した入力方法で３Ｄオブジェクトの編集を行うことが可能になる。

また、本実施の形態による３Ｄオブジェクトレンダリングシステム１によれば、仮想現実空間中で電子ペン５により３Ｄオブジェクトを入力することが可能になる。

次に、本発明の第２の実施の形態による３Ｄオブジェクトレンダリングシステム１について、説明する。本実施の形態による３Ｄオブジェクトレンダリングシステム１は、表示面座標系とタブレット面座標系とを同一の座標系とする点で、これらが互いに異なる座標系であった第１の実施の形態による３Ｄオブジェクトレンダリングシステム１と相違する。その他の点では第１の実施の形態による３Ｄオブジェクトレンダリングシステム１と同一であるので、第１の実施の形態と同一の構成には同一の符号を付し、以下では第１の実施の形態との相違点に着目して説明する。

図８は、本実施の形態による仮想現実空間において３Ｄオブジェクトを２Ｄ入力している状態を示す図である。初めにこの図８を参照して本実施の形態の概要を説明すると、本実施の形態による制御部２ａは、図１に示したタブレット４（タブレット端末）を示すタブレット端末画像１４を仮想現実空間内にレンダリングするよう構成される。タブレット端末画像１４に含まれるタブレット面画像１４ａは、第１の実施の形態で説明したタブレット面画像及び表示面画像の両方に対応しており、したがって、本実施の形態においてはタブレット面座標系（軸ＴＲＸ，ＴＲＹ，ＴＲＺ）が表示面座標系を兼ねている。結果として、２Ｄ表示モードにおいては、図８に示すように、タブレット面画像１４ａ内に入力中オブジェクト１３が２Ｄ表示されることになる。

図９は、本実施の形態による制御部２ａが行う処理の一部を示すフロー図である。図９（ａ）は、図５に示したフロー図を置き換えるものである。一方、図９（ｂ）は、図３に示したステップＳ１０を置き換えるものである。

図９（ａ）に示すように、本実施の形態による制御部２ａは、図５に示したステップＳ３０，Ｓ３１を実行せず、ステップＳ３３に代えてステップＳ３３ａを実行するよう構成される。ステップＳ３３ａでは、タブレット面情報及び視点情報に基づいて、図１に示したタブレット４（タブレット端末）を示すタブレット端末画像のレンダリングを実施する（タブレット端末画像レンダリングステップ（処理））。これにより、図８に示したように、現実のタブレット４（タブレット端末）と同様のタブレット端末（タブレット端末画像１４）が仮想現実空間１０内に現れることになる。

また、本実施の形態による制御部２ａは、図９（ｂ）に示すように、２Ｄ表示モードにおいて入力中オブジェクトをレンダリングする際に使用する２Ｄオブジェクト情報を得るために、第１の対応情報ではなくステップＳ３２で取得した第２の対応情報に基づき、メモリ２ｂ内に記憶している入力中オブジェクトの３Ｄオブジェクトを、表示面座標系における入力中オブジェクトの形状、位置、及び向きを示す２Ｄオブジェクトに変換する処理を行う（ステップＳ１０ａ）。その結果、図８に示したように、入力中オブジェクト１３（すなわち、コントローラ情報取得ステップ（ステップＳ２２）によって取得された仮想現実空間座標系における電子ペン５の位置）がタブレット面画像１４ａ内に表示されることになる。

本実施の形態による３Ｄオブジェクトレンダリングシステム１によっても、３Ｄオブジェクトの仮想現実空間内における表示方法（３Ｄ表示又は２Ｄ表示）をユーザの選択により切り替えることができるので、仮想現実空間において直感的で精度の高い描画を実現することが可能になる。また、２Ｄ表示を行っている間には２Ｄ入力による３Ｄオブジェクトの編集が可能となり、３Ｄ表示を行っている間には３Ｄ入力による３Ｄオブジェクトの編集が可能となるので、表示方法に適した入力方法で３Ｄオブジェクトの編集を行うことが可能になる。

加えて本実施の形態によれば、ユーザは、仮想現実空間内においてタブレット端末への入力体験を得ることが可能になる。したがって、あたかも通常のタブレット端末で入力操作を行うかのように、３Ｄオブジェクトの入力操作を行うことが可能になる。

以上、本発明の好ましい実施の形態について説明したが、本発明はこうした実施の形態に何等限定されるものではなく、本発明が、その要旨を逸脱しない範囲において、種々なる態様で実施され得ることは勿論である。

１ ３Ｄオブジェクトレンダリングシステム
２ コンピュータ
２ａ 制御部
２ｂ メモリ
３ 仮想現実ディスプレイ
４ タブレット
４ａ タブレット面
５ 電子ペン
６ グローブユニット
７ａ，７ｂ ライトニングハウス
８ａ～８ｄ 位置センサ
１０ 仮想現実空間
１１ 表示面
１２ タブレット面画像
１３ 入力中オブジェクト
１４ タブレット端末画像
１４ａ タブレット面画像

Claims (12)

1. コントローラと、前記コントローラと協働するメモリと、を備えるレンダリング装置であって、前記コントローラは、前記メモリと協働して、
   仮想現実空間座標系を用いて表現される仮想現実空間に位置する第１のオブジェクトを前記仮想現実空間に位置する面の画像に位置する第２のオブジェクトに変換し、
   タブレット端末に対応する前記仮想現実空間に位置するタブレット端末画像をレンダリングし、
   前記仮想現実空間に位置する面の画像は、前記仮想現実空間に位置する前記タブレット端末画像に含まれる画像である、
   レンダリング装置。
2. 前記コントローラは、前記メモリと協働して、前記タブレット端末に対して電子ペンによって指示される位置に対応する前記仮想現実空間座標系における位置が前記タブレット端末画像に表示されるように、前記仮想現実空間座標系における位置のレンダリングを行う、
   請求項１に記載のレンダリング装置。
3. 前記コントローラは、前記メモリと協働して、前記電子ペンに設けられるセンシングデバイスの操作に応じて筆圧データを取得する処理を実行するとともに、前記タブレット端末に対して電子ペンによって指示される位置、及び、取得された前記筆圧データに基づいて、前記仮想現実空間座標系における位置が前記タブレット端末画像に表示されるように、前記仮想現実空間座標系における位置のレンダリングを行う、
   請求項２に記載のレンダリング装置。
4. 前記センシングデバイスは、ユーザによる前記電子ペンの把持力を検出するフォースセンサである、
   請求項３に記載のレンダリング装置。
5. コントローラと、前記コントローラと協働するメモリと、を備えるレンダリング装置であって、前記コントローラは、前記メモリと協働して、
   仮想現実空間座標系を用いて表現される仮想現実空間に位置する第１のオブジェクトを前記仮想現実空間に位置する面の画像に位置する第２のオブジェクトに変換し、
   前記仮想現実空間に位置する表示面画像をレンダリングし、
   前記仮想現実空間に位置する面の画像は、前記仮想現実空間に位置する前記表示面画像であり、
   入力面に対して電子ペンで指示された位置に対応する前記仮想現実空間座標系における位置が前記表示面画像に表示されるように、前記仮想現実空間座標系における位置のレンダリングを行う、
   レンダリング装置。
6. 前記入力面は、前記電子ペンが指示する位置を検出する機能を有しないように構成されている、
   請求項５に記載のレンダリング装置。
7. 仮想現実空間座標系を用いて表現される仮想現実空間に位置する第１のオブジェクトを前記仮想現実空間に位置する面の画像に位置する第２のオブジェクトに変換するステップと、
   タブレット端末に対応する前記仮想現実空間に位置するタブレット端末画像をレンダリングするステップと、を含み、
   前記仮想現実空間に位置する面の画像は、前記仮想現実空間に位置する前記タブレット端末画像に含まれる画像である、
   レンダリング方法。
8. 前記タブレット端末に対して電子ペンによって指示される位置に対応する前記仮想現実空間座標系における位置が前記タブレット端末画像に表示されるように、前記仮想現実空間座標系における位置のレンダリングを行うステップ、
   をさらに含む請求項７に記載のレンダリング方法。
9. 仮想現実空間座標系を用いて表現される仮想現実空間に位置する第１のオブジェクトを前記仮想現実空間に位置する面の画像に位置する第２のオブジェクトに変換するステップと、
   前記仮想現実空間に位置する表示面画像をレンダリングするステップと、を含み、
   前記仮想現実空間に位置する面の画像は、前記仮想現実空間に位置する前記表示面画像であり、
   入力面に対して電子ペンで指示された位置に対応する前記仮想現実空間座標系における位置が前記表示面画像に表示されるように、前記仮想現実空間座標系における位置のレンダリングを行うステップをさらに含む、
   レンダリング方法。
10. 仮想現実空間座標系を用いて表現される仮想現実空間に位置する第１のオブジェクトを前記仮想現実空間に位置する面の画像に位置する第２のオブジェクトに変換するステップと、
    タブレット端末に対応する前記仮想現実空間に位置するタブレット端末画像をレンダリングするステップと、をコンピュータに実行させるためのプログラムであって、
    前記仮想現実空間に位置する面の画像は、前記仮想現実空間に位置する前記タブレット端末画像に含まれる画像である、
    プログラム。
11. 前記タブレット端末に対して電子ペンによって指示される位置に対応する前記仮想現実空間座標系における位置が前記タブレット端末画像に表示されるように、前記仮想現実空間座標系における位置のレンダリングを行うステップ、
    を前記コンピュータにさらに実行させるための請求項１０に記載のプログラム。
12. 仮想現実空間座標系を用いて表現される仮想現実空間に位置する第１のオブジェクトを前記仮想現実空間に位置する面の画像に位置する第２のオブジェクトに変換するステップと、
    前記仮想現実空間に位置する表示面画像をレンダリングするステップと、をコンピュータに実行させるためのプログラムであって、
    前記仮想現実空間に位置する面の画像は、前記仮想現実空間に位置する前記表示面画像であり、
    入力面に対して電子ペンで指示された位置に対応する前記仮想現実空間座標系における位置が前記表示面画像に表示されるように、前記仮想現実空間座標系における位置のレンダリングを行うステップを前記コンピュータにさらに実行させる、
    プログラム。

Images