JP4013922B2

JP4013922B2 - 仮想現実感生成装置および方法

Info

Publication number: JP4013922B2
Application number: JP2004176106A
Authority: JP
Inventors: 伸之柴野; 厚行山本
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 2004-06-14
Filing date: 2004-06-14
Publication date: 2007-11-28
Anticipated expiration: 2024-06-14
Also published as: JP2005354644A

Description

本発明は、観察者に凹面を向けた球面状のスクリーンに広視野角の立体映像を実スケールで歪みなく表示することで、観察者に仮想現実感（バーチャルリアリティ）を与える仮想現実感生成装置および方法に関する。

前記仮想現実感（バーチャルリアリティ）を観察者に与える場合、たとえば水平方向２１０度、垂直方向１１０度と言われる人の最大視野角を超えるスクリーンに映像を表示しなければならない。したがって、平面スクリーンでは不可能であるので、観察者に凹面を向けた球面状のスクリーンを用いる仮想現実感生成装置が提案されている。

その中でも、本件出願人が先に提案した特許文献１は、前記球面状のスクリーンに対する歪補正だけでなく、投影手段（プロジェクタ）が球の中心軸上にないオフセットした状態に設置された場合でも、歪のない映像が得られるように補正するようにしたものである。このため、観察者の視点位置が前記中心軸上近くになる比較的小さい球面スクリーンでも、前記投影手段の設置位置を選ばず、利便性の高いものとなっている。
特許第３３８７４８７号公報

このように構成される仮想現実感生成装置において、上述のような設置位置補正が加わることで、球面状のスクリーンの径が選択可能になったり、特に小径のスクリーンが使用可能になることで、該仮想現実感生成装置の設置条件が緩和され、また用途が広まる。たとえば、都市や建物或いは商品の設計にあたって、完成予想を３次元表示したり、運転シミュレーションなどに使用することが考えられる。このように用途が広まると、これまでのＣＧ（コンピュータグラフィックス）などのような専用の画像作成手段で作成された３次元映像だけでなく、実写映像を使用することが、より現実感を生んだり、コストを抑えられると考えられる。

しかしながら、前記実写映像は、前記ＣＧなどのような専用の画像作成手段で作成されるのではなく、ビデオムービーなどの汎用の撮影手段を使用して作成されるので、圧縮して媒体に記録されていることが多く、そのまま再生したのでは、各投影手段からの投影画像にずれが生じ、見ずらくなってしまうという問題がある。

本発明の目的は、実写映像などの動画映像を、ずれなく正確に合成して立体映像を再現することができる仮想現実感生成装置および方法を提供することである。

上述の目的を達成するために、本発明の第１の手段に係る仮想現実感生成装置は、観察者に凹面を向けた球面状で該観察者の有効視野角以上に映像を表示可能な広視野角のスクリーンと、相互に異なる角度から見た複数の動画映像の信号をそれぞれ作成する複数の映像作成手段と、前記各信号による動画映像をそれぞれスクリーンへ投影して観察者に合成して認識させることで立体動画映像を表示する投影手段と、時間管理ループプロセスおよび同期管理プロセスを実行する同期管理部を有して、前記各映像作成手段を制御し、各信号間の同期を確立する同期手段とを備え、前記各映像作成手段は、同期管理プロセスを実行する同期管理部、ムービーファイル解凍プロセスを実行する解凍部、映像表示プロセスを実行する再生表示部および映像歪補正プロセスを実行する歪補正部を有して、各角度における圧縮動画映像ファイルをそれぞれ順次デコードして、前記動画映像の信号に変換し、前記投影手段に与えるデコード手段と、前記投影手段への出力用とデコードした映像信号の書込み用とに順次切換えて使用可能な２つのフレームメモリとを有し、前記同期手段は、前記時間管理ループプロセスで現在時刻を取得し、規定時間が経過した場合、前記同期手段の同期管理プロセスから前記各デコード手段に向けて現在時刻を配信し、前記映像表示プロセスは、現在時刻を受信し、受信したことを表すレシートを前記同期手段に返信するとともにリファレンス時刻を更新し、前記ムービーファイル解凍プロセスへそのリファレンス時刻を配信し、前記ムービーファイル解凍プロセスは、前記リファレンス時刻を取得し、現在取得しているフレームの表示されるべき時刻と比較し、その結果、遅延が２フレーム以内ならばフレームデータを更新し、フレームバッファ内のアドレスを前記映像表示プロセスへ通知するとともに、フレームデータを更新したことを前記映像表示プロセスへ通知し、前記映像表示プロセスは、フレームデータ更新通知を受けると、すでに通知済のフレームバッファ内のアドレスよりフレームデータを映像として取得し、前記ムービーファイル解凍プロセスへフレームデータ更新完了を通知し、映像を前記映像作成手段内に設けられている前記２つのフレームメモリの内、出力側に選択されていない方に描画するとともに前記映像歪補正プロセスを呼び出して処理を実行させ、前記ムービーファイル解凍プロセスは、フレームデータ更新完了通知を受取ると、新たなフレームデータを取得し、前記同期手段の同期管理プロセスでは、前記レシートを受取ると、スワップ同期メッセージを前記映像表示プロセスへ送信し、前記映像表示プロセスは、前記２つのフレームメモリのスワップを実行し、前記同期手段の同期管理プロセスへレシートを返信し、再び現在時刻の受信を待受ける。

さらにまた、本発明の第２の手段に係る仮想現実感生成方法は、観察者に凹面を向けた球面状で該観察者の有効視野角以上に映像を表示可能な広視野角のスクリーンに、相互に異なる角度から見た複数の動画映像をそれぞれ投影して観察者に合成して認識させることで立体動画映像を表示する仮想現実感生成方法において、前記各角度における圧縮動画映像ファイルをそれぞれの映像作成手段に設けた同期管理プロセス、ムービーファイル解凍プロセス、映像表示プロセスおよび映像歪補正プロセスを含んで実行するデコード手段にて順次デコードして前記動画映像の信号に変換し、時間管理ループプロセスおよび同期管理プロセスを含んで実行する同期手段にて前記映像作成手段を制御して各信号間の同期を確立するにあたって、前記時間管理ループプロセスで現在時刻を取得し、規定時間が経過した場合、同期手段の同期管理プロセスから各デコード手段に向けて現在時刻を配信し、前記映像表示プロセスが現在時刻を受信し、受信したことを表すレシートを同期手段に返信するとともにリファレンス時刻を更新し、前記ムービーファイル解凍プロセスへそのリファレンス時刻を配信し、前記ムービーファイル解凍プロセスは、前記リファレンス時刻を取得し、現在取得しているフレームの表示されるべき時刻と比較し、その結果、遅延が２フレーム以内ならばフレームデータを更新し、フレームバッファ内のアドレスを映像表示プロセスへ通知するとともに、フレームデータを更新したことを映像表示プロセスへ通知し、前記映像表示プロセスは、フレームデータ更新通知を受けると、すでに通知済のフレームバッファ内のアドレスよりフレームデータを映像として取得し、ムービーファイル解凍プロセスへフレームデータ更新完了を通知し、映像を映像作成手段内に設けられている２つのフレームメモリの内、出力側に選択されていない方に描画するとともに前記映像歪み補正プロセスを呼び出して処理を実行させ、前記ムービーファイル解凍プロセスは、フレームデータ更新完了通知を受取ると、新たなフレームデータを取得し、前記同期手段の同期管理プロセスでは、前記レシートを受取ると、スワップ同期メッセージを映像表示プロセスへ送信し、映像表示プロセスは、前記２つのフレームメモリのスワップを実行し、前記同期手段の同期管理プロセスへレシートを返信し、再び現在時刻の受信を待受ける。

このような構成の仮想現実感生成装置および方法は、球面スクリーンに相互に異なる角度から見た複数の動画映像をそれぞれ投影して立体動画映像を表示することで、いわゆるバーチャルリアリティを生成する表示装置において、各角度における圧縮動画映像ファイルをそれぞれ順次デコードして、前記動画映像の信号に変換してゆき、前記投影手段に与えるデコード処理は、時間を要するとともに、映像によって所要時間がばらつくので、処理のばらつきを補正するために、同期手段を設け、前記各映像作成手段を制御し、動画映像の各信号間の同期を確立する。

それゆえ、前記実写映像などの動画映像を、ずれなく正確に合成して立体映像を再現することができる。

［実施の形態１］
以下、本発明に係る実施形態を図面に基づいて説明する。なお、各図において、同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。

図１は、本発明の実施の一形態に係る仮想現実感生成装置の全体構成を示す図である。この仮想現実感生成装置は、大略的に、広視野角のスクリーン１と、前記スクリーン１に右目用と左目用との映像をそれぞれ投影するプロジェクタ２，３と、前記プロジェクタ２，３からの投射映像を反射して前記スクリーン１に照射する反射鏡４と、前記プロジェクタ２，３からの投射映像を見るにあたって観察者５が装着する眼鏡６と、前記プロジェクタ２，３で投影するための映像信号をそれぞれ作成する映像作成手段７，８と、前記映像作成手段７，８の同期を確立する同期手段９とを備えて構成される。

前記スクリーン１は、水平方向にも垂直方向にも曲率を有する球面状に形成され、観察者５側に凹面を向けて配置され、該観察者５から見て、たとえば水平方向に約１４０度、垂直方向に約８５度の有効視野角以上に映像を表示することができるものである。なお、この有効視野角とは、人間が物を詳細に認識できる視野角である。前記プロジェクタ２，３は、観察者５の有効視野角外で、かつスクリーン１上に該観察者５の影を作らない映像投影位置に配置されており、その投射映像は板状の前記反射鏡４で全反射されて前記スクリーン１に照射される。前記スクリーン１、プロジェクタ２，３および反射鏡４は、枠体１０によって相互間の位置関係を維持するように保持されている。

前記映像作成手段７，８は、後に詳述するように、外部または内部に右目用と左目用との動画映像ファイルをそれぞれ有し、それを順次デコードして、さらにスクリーン１上に表示されたときに、観察者５から見て、実スケールで、かつ歪みが無くなるように予め映像を歪ませる処理を行い、同期手段９からの同期信号に応答して、プロジェクタ２，３から、図示しない偏光フィルタを介して、相互に直交する偏光面の光でスクリーン１へ投影させる。これに対応して、観察者５が装着する眼鏡６は、前記相互に直交する偏光面の光の内、右目と左目とでそれぞれ対応する偏光面の光のみを通過させ、観察者５に視認させる。

図２は、上述のように構成される仮想現実感生成装置の電気的構成を示すブロック図である。注目すべきは、本発明の仮想現実感生成装置では、ビデオムービーなどの汎用の撮影手段を使用して作成された圧縮動画映像ファイルから仮想現実感映像を生成することである。前記圧縮動画映像ファイルは、ＤＶＤ（デジタルビデオディスク）などの媒体に圧縮記録されている。図２では、前記媒体としては、左右それぞれのＤＶＤ１１，２１で示しているけれども、動画映像が圧縮記録されている他の媒体であってもよい。また、人間の両眼視差に対応した間隔だけ水平方向に離間して配置された左右それぞれの撮影手段で撮影された動画映像は、それらの撮影手段で個別のＤＶＤ１１，２１に圧縮して記録されるが、左右の撮影手段が一体化されていて、同じ媒体に記録されていてもよい。

ＭＰＥＧ２やＭＰＥＧ４などで圧縮された前記ＤＶＤ１１，２１の記録映像は、前記映像作成手段７，８において、それぞれハードディスク１２，２２に取込まれる。前記ハードディスク１２，２２に取込まれた記録映像は、解凍部１３，２３において解凍（伸長）され、さらに再生表示部１４，２４において、映像信号に変換される。前記解凍部１３，２３および再生表示部１４，２４は、デコード手段を構成する。こうして得られた映像信号は、歪補正部１５，２５において、前記スクリーン１の球面形状によって生じる歪に対する歪補正および前記プロジェクタ２，３の球の中心軸上からのオフセットによって生じる歪に対する設置位置補正が行われる。

前記歪補正部１５，２５から出力された映像信号は、切換えスイッチ１７，２７を介して、それぞれ２つずつ設けられるフレームメモリ１８，１９；２８，２９の一方に書込まれ、そのフレームメモリ１８，１９；２８，２９の他方からは、切換えスイッチ２０，３０を介して映像信号が読出され、前記プロジェクタ２，３に与えられ、投射が行われる。このように構成される映像作成手段７，８において、ＣＧによって作成された映像信号は、前記解凍部１３，２３における伸長処理および再生表示部１４，２４における映像信号への変換処理は不要であり、直接歪補正部１５，２５から入力される。

前記映像作成手段７，８は、パーソナルコンピュータから成り、前記解凍部１３，２３、再生表示部１４，２４、歪補正部１５，２５および同期管理部１６，２６は、そのパーソナルコンピュータに格納されたソフトウェアおよびそれを実行するハードウェアによって構成される。すなわち、映像信号処理用のソフトウェアとして、前記解凍部１３，２３にはムービーファイル解凍プロセスを有し、再生表示部１４，２４には映像表示プロセスを有し、前記歪補正部１５，２５には映像歪補正プロセスを有する。また、前記解凍部１３，２３、再生表示部１４，２４および切換えスイッチ１７，２７；２０，３０の同期を管理する同期管理部１６，２６は、同期管理プロセスを有する。

ここで、本発明では、前記映像作成手段７，８はスレーブとなり、マスターとなる前記同期手段９が設けられる。この同期手段９もパーソナルコンピュータから成り、前記映像作成手段７，８とは、ネットワーク３１によって相互に接続されている。同期手段９でも、前記ＤＶＤ１１または１２（図２では１１）からの記録映像がハードディスク３２に取込まれ、解凍部３３において伸長され、さらに再生表示部３４において映像信号に変換される。この映像信号におけるタイムコードを利用して、同期管理部３６は、前記同期管理部１６，２６を介して、後述するように前記切換えスイッチ１７，２７；２０，３０のスイッチングなどを制御し、映像作成手段７，８からの映像信号間の同期を確立する。前記解凍部３３にはムービーファイル解凍プロセスを有し、再生表示部３４には映像表示プロセスを有し、同期管理部３６には同期管理プロセスおよび時間管理ループプロセスを有する。前記映像作成手段７，８が実行する同期管理プロセス、ムービーファイル解凍プロセス、映像表示プロセスおよび映像補正プロセスについては、後述する図５および図８の説明箇所にて一例を詳細に説明する。また、同期手段９が実行する時間管理ループプロセス、同期管理プロセス、ムービーファイル解凍プロセスおよび映像表示プロセスについても、後述する図８の説明箇所にて一例を詳細に説明する。

図３は、前記歪補正部１５，２５によるスクリーン１の球面形状に対する歪補正処理を説明するための図である。前記再生表示部１４，２４において得られた映像信号映像を、そのまま球形のスクリーン１に投射すると、図３（ａ）に示すように、歪んだ映像になる。このため球形のスクリーン１に表示したときに歪みが無くなるように、図３（ｂ）に示すように、予め前記歪補正部１５，２５において映像を歪ませる。

また、図４は、前記歪補正部１５，２５によるプロジェクタ２，３の球の中心軸上からのオフセットによって生じる歪に対する設置位置補正処理を説明するための図である。この図４では、前記反射鏡４を省略しており、観察者５の後方から投射しているように示している。前記球面形状に対する歪補正が施された映像信号は、プロジェクタ２，３を、図４（ａ）や図４（ｂ）で示すように、球の中心Ｏを通る中心軸ｃ上に設置した状態で投射すると、歪のない映像となる。しかしながら、図１からも理解されるように、プロジェクタ２，３は観察者５の影にならない位置に設置する必要があり、特にスクリーン１の径が小さくなる程、前記中心軸上からのオフセットが大きくなる。そこで、図４（ｃ）で示すように、プロジェクタ２，３が中心軸ｃ上に無い状態で、該歪補正部１５，２５は、プロジェクタ２，３の設置位置に応じてさらに映像に歪みを与えることで補正する。

また、プロジェクタには光軸シフトと呼ぶ映像を投射する角度を変更できる機能を持つものがあるため、その機能を使用すると図１や図４（ｄ）のようにプロジェクタ２，３を床に対して水平に設置することが可能になる。この場合も光軸シフトをパラメータとして映像を歪ませる必要があり、映像表示領域に沿って映像表示パラメータを上下左右方向に非対称な値に変換して映像表示パラメータを変更する。しかしながら、光軸シフトには、プロジェクタ２，３内にそのようなシフト機構が必要になり、コストアップを招くので、プロジェクタ２，３の軸線と光軸とを一致させることが好ましい。

図５は、そのような歪補正部１５，２５による歪み補正の手法を説明するための図である。この図５でも、前記反射鏡４を省略して示している。先ず、補正にあたって、図５に示すように、観察者５の視点位置よりビューフラスタムおよびプロジェクタ２，３の投影位置より映像投影フラスタムを定義する。ビューフラスタムは、視点位置としての頂点をＰ₀、底面をＰ_0,0，Ｐ_m,0，Ｐ_m,n，Ｐ_0,nとする四角錐で表現され、投影フラスタムは、プロジェクタバックフォーカス位置としての頂点をＱ₀、底面をＱ_0,0，Ｑ_m,0，Ｑ_m,n，Ｑ_0,nとして表現される。ここで、ｍ，ｎは映像解像度を表すものとし、映像信号が、たとえばＳＸＧＡの場合は、ｍ＝１２７９、ｎ＝１０２３である。底面は、仮想スクリーン面とも呼ばれる。

ここで、簡易表現のため、ｍ＝ｉにおけるｙ−ｚ二次元断面から見たイメージを図６に示す。先ず、仮想スクリーン面１ａ内に点Ｐ_i,jを想定し，ベクトルＰ₀Ｐ_i,jとドームスクリーン１との交点Ｒ_i,jを求める。次に、ベクトルＱ₀Ｒ_i,jと投影フラスタムの仮想スクリーン面１ｂとの交点Ｑ_i,jを求める。ｉ，ｊを、０≦ｉ≦ｍ，０≦ｊ≦ｎで変化してゆくと、Ｐ_i,j→Ｑ_i,j対応マップを作成することができ，この対応マップが映像の歪みに対する逆補正となる。すなわち、先ずビューフラスタムに基づいて通常の映像生成を行い、次にこの映像データを取出し、このイメージにＰ_i,j→Ｑ_i,j対応マップを利用したテクスチャマッピング座標を適用して再度映像生成を行うことで、映像歪み補正を実現している。グリッド映像にＰ_i,j→Ｑ_i,j対応マップを適用したイメージを図７に示す（すなわち前記図３（ｂ）とは逆になる）。本歪み補正手法は、スクリーン１の形状を制限しない。すなわち、ドームスクリーンだけではなく、スクリーン面が測定可能もしくは解析的な特定ができれば、平面を組合わせたマルチスクリーンおよび曲率が連続的に変化する楕円球面などへも適用可能である。

こうして歪み補正機能をソフトウェア上で実現することで、魚眼レンズ等を用いた光学的な処理で実現する場合では、予め表示系に合ったレンズを作成し、そのレンズを使って映像を作成・表示しなければならず、表示系の大きさ、形が変わった時には対応できないのに対して、ソフトウェアで実現することで、表示系に合わせたパラメータ設定だけで対応することができ、有利である。

図８は、上述のように構成される仮想現実感生成装置における左右の映像信号間の同期確立動作を説明するためのフローチャートである。本仮想現実感生成装置を実現する主要なソフトウェアは、前述のような時間管理ループプロセス、同期管理プロセス、ムービーファイル解凍プロセス、映像表示プロセスおよび映像歪み補正プロセスの５つから構成される。前記同期管理プロセス、ムービーファイル解凍プロセスおよび映像表示プロセスは、前記映像作成手段７，８において、それぞれ一連のプロセスで連携しながら動作する。スレーブパソコンであるこれらの映像作成手段７，８は、２つにとどまらず、マルチスクリーン対応などでさらに拡張することが可能である。前記時間管理ループプロセスは、唯一のプロセスであり、複数のパーソナルコンピュータのどこか一箇所で実行されればよいが、本実施の形態では、上述のように独立したマスターパソコンである同期手段９上で実行する。そして各プロセスは、ネットワーク３１を利用して通信を行う。図８では、前記同期管理プロセスによる動作を、破線で示す。

マスターパソコンでは、前記時間管理ループプロセスおよび同期管理プロセスを実行する。これによって、先ず、時間管理ループプロセスで現在時刻を取得し、規定時間が経過した場合、同期管理プロセスからスレーブパソコンに向けて現在時刻を配信する（Ｓ１０１，Ｓ１０２）。すなわち、同期管理プロセスは、一定時間毎に、時刻と、後述するように２つのフレームメモリ１８，１９；２８，２９の切換えを行う切換えスイッチ１７，２７；２０，３０の切換え指令であるスワップ同期メッセージを送信することになる。

一方、スレーブパソコンでは、前記ムービーファイル解凍プロセス・映像表示プロセス・映像歪み補正プロセスを実行する。これによって、先ず、映像表示プロセスが現在時刻を受信し、受信後確かに受取ったことをレシートとしてマスターパソコンに返信する（Ｓ２０１，Ｓ２０２）。さらに映像表示プロセスは、リファレンス時刻を更新し、さらにムービーファイル解凍プロセスへリファレンス時刻を配信し（Ｓ２０３）、フレームデータ更新通知を待受ける（Ｓ２０４）。

これに応答して、ムービーファイル解凍プロセスは、リファレンス時刻を取得し（Ｓ３０１）、現在取得しているフレームの表示されるべき時刻と比較する（Ｓ３０２）。比較の結果、遅延が２フレーム以内ならばフレームデータを更新、すなわち解凍し、フレームバッファ内のアドレスを映像表示プロセスへ通知する（Ｓ３０３）。さらにムービーファイル解凍プロセスは、フレームデータを更新したことを映像表示プロセスへ通知する（Ｓ３０４）。

映像表示プロセスは、フレームデータ更新通知を受けると（Ｓ２０４，Ｓ２０５）、すでにＳ３０３で通知済のフレームバッファ内のアドレスよりフレームデータを映像として取得し（Ｓ２０６）、ムービーファイル解凍プロセスへフレームデータ更新完了を通知し（Ｓ２０７）、映像をバックバッファ（前記２つのフレームメモリ１８，１９；２８，２９の内、出力側に選択されていない方（図２ではフレームメモリ１８，２８））に描画、すなわち映像信号に再生する（Ｓ２０８）。

一方、マスターパソコンでは、同期管理プロセスは、Ｓ１０３でレシートを受取ると、スワップ同期メッセージをスレーブパソコンの映像表示プロセスへ送信する（Ｓ１０４）。これに応答して、映像表示プロセスは、映像歪み補正プロセスを呼び出して処理を実行させ（Ｓ２０９）、続いてバッファスワップを実行し、マスターパソコンの同期管理プロセスへ確かに受取ったことを表すレシートを返信する（Ｓ２１０，Ｓ２１１，Ｓ２１２）。その後、映像表示プロセスは、Ｓ２０１で現在時刻の受信を待受ける。前記映像歪み補正は、前記図５で示すように対応マップの読替えによる一定時間の遅延で実現することができ、これによって左右のプロジェクタ２，３からは、相互に同期の取れた動画映像が投射されることになる。

ムービーファイル解凍プロセスは、フレームデータ更新完了通知を受取ると（Ｓ３０５）、圧縮ムービーファイルより１フレームを新たに取得する（Ｓ３０６）。また、Ｓ３０２での比較の結果、遅延が２フレームを超えていても、前記Ｓ３０６で１フレームを新たに取得する。

マスターパソコンの同期管理プロセスでは、映像表示プロセスよりスワップ同期メッセージのレシートを受取るまでプロセスを停止、受取ると現在時刻の取得より開始する（Ｓ１０５）。

このように構成することによって、特殊なハードウェアを用いることなく、実写映像などのムービーファイルの解凍・再生・歪み補正の各処理をリアルタイムで行いつつ、インタラクティブな複数のムービーファイルを、複数のパソコン上で同期して再生することが可能となる。特に、前記ＭＰＥＧ２やＭＰＥＧ４というムービーファイルフォーマットには、１つ１つのフレームという概念がなく、映像信号の差分のみ管理することでファイル容量を圧縮しているので、差分情報よりフレームを再構築する処理（解凍処理）が必要であり、本発明では、この重い処理プロセスを実行しながら、さらに再生・同期・歪み補正という処理を同時に行い、リアルタイム処理（３０フレーム／秒）を実現することができる。

本発明の実施の一形態に係る仮想現実感生成装置の全体構成を示す図である。図１で示す仮想現実感生成装置の電気的構成を示すブロック図である。歪補正部によるスクリーンの球面形状に対する歪補正処理を説明するための図である。歪補正部によるプロジェクタの球の中心軸上からのオフセットによって生じる歪に対する設置位置補正処理を説明するための図である。歪補正部による歪み補正の手法を説明するための図である。半球状のスクリーンの中央部で切断した図５の二次元断面図である。グリッド映像の歪補正のイメージ図である。本発明の実施の一形態に係る同期確立動作を説明するためのフローチャートである。

符号の説明

１スクリーン
２，３プロジェクタ
４反射鏡
５観察者
６眼鏡
７，８映像作成手段
９同期手段
１０枠体
１１，１２ＤＶＤ
１２，２２，３２ハードディスク
１３，２３，３３解凍部
１４，２４，３４再生表示部
１５，２５歪補正部
１６，２６，３６同期管理部
１７，２７；２０，３０切換えスイッチ
１８，１９；２８，２９フレームメモリ
３１ネットワーク

Claims

観察者に凹面を向けた球面状で該観察者の有効視野角以上に映像を表示可能な広視野角のスクリーンと、相互に異なる角度から見た複数の動画映像の信号をそれぞれ作成する複数の映像作成手段と、前記各信号による動画映像をそれぞれスクリーンへ投影して観察者に合成して認識させることで立体動画映像を表示する投影手段と、時間管理ループプロセスおよび同期管理プロセスを実行する同期管理部を有して、前記各映像作成手段を制御し、各信号間の同期を確立する同期手段とを備え、
前記各映像作成手段は、同期管理プロセスを実行する同期管理部、ムービーファイル解凍プロセスを実行する解凍部、映像表示プロセスを実行する再生表示部および映像歪補正プロセスを実行する歪補正部を有して、各角度における圧縮動画映像ファイルをそれぞれ順次デコードして、前記動画映像の信号に変換し、前記投影手段に与えるデコード手段と、前記投影手段への出力用とデコードした映像信号の書込み用とに順次切換えて使用可能な２つのフレームメモリとを有し、
前記同期手段は、前記時間管理ループプロセスで現在時刻を取得し、規定時間が経過した場合、前記同期手段の同期管理プロセスから前記各デコード手段に向けて現在時刻を配信し、
前記映像表示プロセスは、現在時刻を受信し、受信したことを表すレシートを前記同期手段に返信するとともにリファレンス時刻を更新し、前記ムービーファイル解凍プロセスへそのリファレンス時刻を配信し、
前記ムービーファイル解凍プロセスは、前記リファレンス時刻を取得し、現在取得しているフレームの表示されるべき時刻と比較し、その結果、遅延が２フレーム以内ならばフレームデータを更新し、フレームバッファ内のアドレスを前記映像表示プロセスへ通知するとともに、フレームデータを更新したことを前記映像表示プロセスへ通知し、
前記映像表示プロセスは、フレームデータ更新通知を受けると、すでに通知済のフレームバッファ内のアドレスよりフレームデータを映像として取得し、前記ムービーファイル解凍プロセスへフレームデータ更新完了を通知し、映像を前記映像作成手段内に設けられている前記２つのフレームメモリの内、出力側に選択されていない方に描画するとともに前記映像歪補正プロセスを呼び出して処理を実行させ、
前記ムービーファイル解凍プロセスは、フレームデータ更新完了通知を受取ると、新たなフレームデータを取得し、
前記同期手段の同期管理プロセスでは、前記レシートを受取ると、スワップ同期メッセージを前記映像表示プロセスへ送信し、
前記映像表示プロセスは、前記２つのフレームメモリのスワップを実行し、前記同期手段の同期管理プロセスへレシートを返信し、再び現在時刻の受信を待受けること
を特徴とする仮想現実感生成装置。
観察者に凹面を向けた球面状で該観察者の有効視野角以上に映像を表示可能な広視野角のスクリーンに、相互に異なる角度から見た複数の動画映像をそれぞれ投影して観察者に合成して認識させることで立体動画映像を表示する仮想現実感生成方法において、
前記各角度における圧縮動画映像ファイルをそれぞれの映像作成手段に設けた同期管理プロセス、ムービーファイル解凍プロセス、映像表示プロセスおよび映像歪補正プロセスを含んで実行するデコード手段にて順次デコードして前記動画映像の信号に変換し、時間管理ループプロセスおよび同期管理プロセスを含んで実行する同期手段にて前記映像作成手段を制御して各信号間の同期を確立するにあたって、
前記時間管理ループプロセスで現在時刻を取得し、規定時間が経過した場合、同期手段の同期管理プロセスから各デコード手段に向けて現在時刻を配信し、
前記映像表示プロセスが現在時刻を受信し、受信したことを表すレシートを同期手段に返信するとともにリファレンス時刻を更新し、前記ムービーファイル解凍プロセスへそのリファレンス時刻を配信し、
前記ムービーファイル解凍プロセスは、前記リファレンス時刻を取得し、現在取得しているフレームの表示されるべき時刻と比較し、その結果、遅延が２フレーム以内ならばフレームデータを更新し、フレームバッファ内のアドレスを映像表示プロセスへ通知するとともに、フレームデータを更新したことを映像表示プロセスへ通知し、
前記映像表示プロセスは、フレームデータ更新通知を受けると、すでに通知済のフレームバッファ内のアドレスよりフレームデータを映像として取得し、ムービーファイル解凍プロセスへフレームデータ更新完了を通知し、映像を映像作成手段内に設けられている２つのフレームメモリの内、出力側に選択されていない方に描画するとともに前記映像歪補正プロセスを呼び出して処理を実行させ、
前記ムービーファイル解凍プロセスは、フレームデータ更新完了通知を受取ると、新たなフレームデータを取得し、
前記同期手段の同期管理プロセスでは、前記レシートを受取ると、スワップ同期メッセージを映像表示プロセスへ送信し、
映像表示プロセスは、前記２つのフレームメモリのスワップを実行し、前記同期手段の同期管理プロセスへレシートを返信し、再び現在時刻の受信を待受けることを特徴とする仮想現実感生成方法。