JP2021508426A - 双方向性拡張または仮想現実装置 - Google Patents

Abstract

仮想または拡張現実装置が提供される。仮想または拡張現実装置は、通信可能にリンクされうる、少なくとも１つの視覚化装置および少なくとも１つのコンピュータを備えうる。外部コンピュータはさらに、中央処理ユニットおよびビデオアダプタを備えうる。ビデオアダプタは、視覚化装置に複数のデータストリームを供給しうる。仮想または拡張現実装置はまた、視覚化装置に接続されうる少なくとも２つのディスプレイを備えうる。

Description

本発明は、概して、１人または複数のユーザーのために双方向性拡張または仮想現実（ＡＲ／ＶＲ）環境を容易にするように構成された装置、方法、およびシステムに関し、より詳細には、究極の没入を容易にし、ユーザーがＡＲ／ＶＲ環境で作業できるようにする可能性を有する双方向性ＡＲ／ＶＲ環境に関する。

絶えず進化する技術の可能性により、人々は現在、単なる現実の世界以外の現実を体験することができる。これらの仮想現実を提供する多くの異なる技術が存在する。例えば、単純な音響スピーカーは、聞こえる音のために人々にどこか他の場所にいると信じ込ませることができる。人工的なにおいや触覚フィードバックを生じる装置および／またはＡＲ／ＶＲヘッドセットによって、同様の体験が提供できる。これらの驚異的な技術のいくつかを一緒に使用すると、ユーザーがＡＲ／ＶＲ環境にいるような感覚をさらに増幅できる。代替現実が実際の現実を模倣する場合、人々は現実世界の感覚を失いうる。この感覚の喪失は、ユーザー、その周りの人々、および／または彼らの実際の環境に物理的危害をもたらしうる。

ＡＲ／ＶＲ環境は、携帯電話、仮想現実ヘッドセット、拡張現実ヘッドセット、および複合現実ヘッドセット（ＡＲ／ＶＲおよび実際の現実の両方を組み合わせたヘッドセット）などのさまざまな電子装置を介してのみアクセス可能である。これらの電子装置は通常、視覚化を促進し、画像などのデータを内蔵ディスプレイまたはデータプロジェクターに供給できる強力なグラフィックプロセッサを備えたパーソナルコンピュータで構成される。これらの装置は、一般的に、ヘッドマウントディスプレイ（ＨＭＤ）、視覚化装置、モジュール、および／またはユニットとしても知られる。装置は、例えば、ユーザーが感知することができるおよび／またはユーザーがやりとりすることができる様々な物体を説明するデータを表示する。これらの物体の例として、ユーザーが見るために表現および表示される物体、ユーザーが聞くために再生されるオーディオ、およびユーザーが感じるための触知または触覚フィードバックが挙げられる。これらの装置は、短焦点レンズが装備されており、人々は短い距離から投影データに焦点を合わせることができる。一般にトラッキングセンサーと称されるさまざまな種類のモーションセンサーも有しうる。これらのセンサーは、異なる電磁波または光波で主に動作し、回転および／または位置を測定し、したがって、環境内のユーザーまたは物体の動きをキャプチャする。動きをキャプチャすることにより、これらのセンサーはフィードバックループの入力信号を提供する。入力信号はコンピュータに転送され、ＡＲ／ＶＲ環境データを提供するアプリケーションによって処理される。没入感は、現実世界からのデータおよび仮想環境画像を組み合わせることによって作り出される。コンピューターゲーム、視覚化、ナビゲーションからシミュレーション、トレーニング、および工業デザインにいたるまで、ＨＭＤの多くの可能な利用方法がある。

既存のＡＲ／ＶＲ装置は、基本的な光学システムを使用しており、手動で調整することは全くあるいは多くても１つしかできません。それらのレンズは静的な焦点距離を持っているため、装置の調整性能は限られており、ほとんどの集団にとって機能しない。この問題は特に、エンターテインメント業界など、所定の時間枠で体験を楽しむことができるようにユーザーがＡＲ／ＶＲ装置をすばやく設定する必要がある業界に影響する。

ＡＲ／ＶＲ視覚化を正確に使用して現実世界のシミュレーションを模倣するには、さまざまな物体の位置および方向のトラッキングが重要である。さらに、ＡＲ／ＶＲでは、深い没入感のために正確かつ高速なトラッキングが重要である。応答性が高く正確なトラッキングを実現するために多くの方法がある。最も一般的なものは以下のとおりである：ａ）複数のカメラおよび画像処理を用いて正確な位置および方向のトラッキングが達成される、
「光学」。他のものよりも高価であり、高い計算能力を必要とし、かつ遅くなる傾向がある。また、トラッキングされた物体から複数のカメラへの直接の視野方向も必要である。ｂ）無線信号の信号強度表示を受信するある程度正確な位置トラッキングシステムである「受信信号強度表示（ＲＳＳＩ）」。その方向トラッキングは精度が低いため問題があり、反射や干渉の影響を受けやすい。ｃ）「飛行時間」は、ＲＳＳＩよりも正確な位置トラッキングであり、無線信号を使用する。反射に対しては弾性であるが、金属物体によって覆われうる。ｄ）「慣性計測（ＩＭＵ）」は、外部センサーを必要としない。その方向トラッキングは高速かつかなり正確である。しかしながら、その統合性により、時間の経過とともにエラーを蓄積する傾向がある。位置トラッキングは、一般的なセンサーでは実際には使用できない。ｅ）「全地球測位システム（ＧＰＳ）」は、位置のある程度正確な測定である。しかしながら、これは時間がかかりかつ屋外での使用が必要である。

方位測定のための最も一般的なセンサーは、携帯電話、自動車、ＡＲ／ＶＲ装置で使用されている「微小電気機械システム（ＭＥＭＳ）」技術である。これらのセンサーは、過去数年間で大幅に改良されたが、それでも信頼性は望まれているほど高くない。方位は通常、複数のタイプのセンサーを使用して推定される。例えば、レートジャイロスコープは実際の角速度を測定する。これらは、短時間の測定では正確である。しかしながら、方位測定を行うには、角速度を積分する必要がある。長時間の実行中に積分誤差が蓄積し、これらの測定値はますます不正確になる。加速度計は、現在の重力ベクトルを測定する。これらは、水平面の傾きの正確かち安定した測定を提供する。しかしながら、それらは、振動、衝撃、およびその他の短時間の障害の影響を受けやすい傾向がある。ジャイロスコープおよび加速度計からの測定値を組み合わせることにより、優れた短時間の精度および長時間の安定性を備えた感応性を実現できる。残念ながら、加速度計は垂直軸の周りの回転を認識できず、これについてジャイロスコープを補うことはできない。従来、これは磁力計を構成に組み込むことで解決できた。地球上の一般的な居住可能地域では、磁力計を使用して、垂直軸の周りの絶対回転を測定できる。しかしながら、磁力計は、磁束の乱れの影響を非常に受けやすい。典型的な屋内仮想現実環境は、金属物体および電流で満たされ、磁力計の測定は非常に不安定となる。

さらに、最先端のＡＲ／ＶＲ装置は、アイトラッキング技術を使用して着用者の焦点を特定し、そのような領域のデータ品質を改良しかつ周辺領域のデータ品質を下げて、演算能力を節約する。十分な精度で、そのようなアイトラッキングシステムを使用して、ＡＲ／ＶＲ環境を制御し、着用者の興味に関する貴重な情報を取得できる。しかしながら、アイトラッキングは、メカニズムが複雑な構成を必要とし、装置全体を制限するため、達成が困難である。

ＡＲ／ＶＲは、最も一般的にはコンピューターゲーム内で、さまざまの異なる用途に適合する。さらに、仮想旅行、リモートトレーニング、および製品設計など、多くのさらに有益な用途がある。ソフトウェア業界内でも、ＡＲ／ＶＲの利用可能性に対する認識の高まりによって、ＡＲ／ＶＲ環境で使用できるアプリケーションが生じた。しかしながら、例えば、技術者トレーニング、組立ライン品質チェック、シミュレータートレーニング、材料設計、製品検査、外科医のトレーニング、リラクゼーションシナリオ、軍事トレーニング、精神疾患および恐怖症の治療、マーケティング調査などの専門的使用のほとんどについては、現在のＡＲ／ＶＲ装置では不十分である。これらのケースの多くでは、ＡＲ／ＶＲモデルまたは環境が実際の製品または環境にできるだけ近いことが重要である。その結果初めて、ＡＲ／ＶＲ環境は適切な意思決定のための有益な根拠となり、実際の製品または環境が構築される前の見本として機能する。したがって、究極の没入を促進し、人がＡＲ／ＶＲで作業できるようにする性能を備えた装置が必要である。

既存のＶＲヘッドセットには、視野が限られているなどの多くの制限があり、これによって、画像の歪みや色収差（レインボー効果）などのトンネルビジョンや視覚的アーチファクトが発生する。ＶＲヘッドセットの最も一般的なセットアップは、１つまたは２つのディスプレイ、およびディスプレイと平行に配置された２つのレンズを使用する。別の一般的なＶＲヘッドセットのセットアップは、５〜２０度の範囲の特定の角度に配置された２つのディスプレイを使用する。２００度以上の視野を主張する最先端のＶＲヘッドセットでさえ、人間の完全な視野をカバーするには十分ではない。したがって、現在利用可能なＶＲヘッドセットを装着しているユーザーが横を向くと、画像の端が黒く表示される、すなわち、現在利用可能なＶＲヘッドセットにおいては没入感が大きく欠ける。したがって、より優れた没入感を持ち、目に見える黒いエッジがないＶＲヘッドセットが必要とされる。

既存のＶＲヘッドセットのほとんどは、ディスプレイの最大解像度を利用できない丸いレンズも使用しているため、没入感がさらに制限され、ＶＲ体験の有効解像度が低下する。これらのＶＲヘッドセットはまた、レンズの倍率および色収差による画像の歪みも受ける。画像の歪みおよび色収差は、レンズの端で最も見られる。画像の歪みおよび色収差の両方をソフトウェアアルゴリズムで補正できるが、レンズの位置に対するユーザーの眼の正確な位置の計算に依存するため、そのような補正は制限される。

追加の正面カメラを備えた既存の仮想現実装置を使用して、実環境からリアルタイムで画像などのデジタルデータを投影でき、したがって、仮想現実装置に拡張現実機能を補完できる。しかしながら、正面カメラの解像度が低く、ユーザーの頭の形状や眼の間の距離に適合することができないため、そのような体験は面白くない。

したがって、より現実的なＡＲ／ＶＲ体験を提供する新しい解決法が必要である。また、これらのＡＲ／ＶＲ装置は、ユーザーの頭の形状および眼の距離に合わせて自動的に調整可能であり、快適さを提供しより高い精度および品質を提供する。さらに、これらのＡＲ／ＶＲ装置は、アイトラッキング視覚化装置の既存の複雑な構造を簡略化する必要がある。

本発明の実施形態は、究極の没入を容易にし、人々がＡＲ／ＶＲで作業できることを可能にするウェアラブルＡＲ／ＶＲ装置を含む。いくつかの実施形態では、ＡＲ／ＶＲ装置は、光学および電子機器の新しい技術的アプローチを組み合わせて、自動的に調整可能かつ正確なレンズを作成する。いくつかの実施形態では、ＡＲ／ＶＲ装置は、自動レンズ調整プロセスと共に光学系の複数のセットアップを含み得る。いくつかの実施形態では、ＡＲ／ＶＲ装置は、別個の最先端技術を利用して、ＡＲ／ＶＲ体験の最高の没入感および視覚的品質を作成しうる。これらの技術を自由に組み合わせて、幅広いユーザーと用途にサービスを提供しうる。以下で説明する技術は、ＡＲ／ＶＲ装置内で組み合わせてまたは別個に使用してもよい。

本発明の実施形態は、様々なＡＲ／ＶＲ装置を詳述する。いくつかの実施形態では、ＡＲ／ＶＲ装置は、通信可能にリンクされ得る少なくとも１つの視覚化装置および少なくとも１つのコンピュータを備えてもよい。外部コンピュータはさらに、中央処理ユニットおよびビデオアダプタを備えてもよい。ビデオアダプタは、視覚化装置に複数のデータストリームを供給しうる。仮想または拡張現実装置はまた、視覚化装置に接続され得る少なくとも２つのディスプレイを備えてもよい。

いくつかの実施形態では、ＡＲ／ＶＲ装置は、１つの多重化入力ビデオ信号、ビデオ信号スプリッタ、およびＡＲ／ＶＲ装置内に配置された少なくとも１つのディスプレイを備えてもよい。ディスプレイは、パーソナルコンピュータ装置によって識別可能であり得る。いくつかの実施形態では、ＡＲ／ＶＲ装置内に複数のディスプレイが存在してもよい。いくつかの実施形態では、これらのディスプレイは、コンピュータ装置によって、様々なディスプレイに亘って物理的に利用可能なすべてのデータを組み合わせる１つの大きなディスプレイとして識別され得る。他の実施形態では、複数のディスプレイは、コンピュータ装置によって、いくつかの別個のディスプレイとして識別され得る。いくつかの実施形態では、ＡＲ／ＶＲ装置は、１つのビデオ信号チャネル、ビデオ信号スプリッタ、および別個のディスプレイを含んでもよい。いくつかの実施形態では、単一のビデオ信号チャネルおよびビデオ信号スプリッタを使用することにより、ＡＲ／ＶＲ装置の容易なインストールが可能になり、その性能を可能な限り最大限に活用することができる。いくつかの実施形態では、ディスプレイは可撓性であってもよく、ディスプレイの曲率を実質的に模倣するレンズを有してもよい。いくつかの実施形態では、ＡＲ／ＶＲ装置は、本明細書で説明されるように、ＶＲビデオ変換ボックスに通信可能にリンクされ得る。

いくつかの実施形態では、ＡＲ／ＶＲ装置は、実環境とＡＲ／ＶＲ環境との間の情報の一般的な転送を容易にしうる。いくつかの実施形態では、ＶＲ装置は、拡張／拡大現実（ＸＲ）のための高度なおよび／またはシミュレートされたモジュールを含んでもよく、これによって、ＶＲ装置がＡＲ／ＸＲ体験を提供することが可能となる。

この概要および以下の詳細な説明は、単に例示的、例証的、および説明的であり、限定することを意図するものではなく、特許請求される本発明のさらなる説明を提供することを意図するものである。例示的な実施形態の他のシステム、方法、特徴、および利点は、以下の図面の説明および詳細な説明を検討することにより当業者に明らかであるかまたは明らかになるであろう。

提供されている図は概略図であり、縮尺どおりに描かれていない。描かれた実施形態からの変形が考えられる。したがって、図中の説明は、本発明の範囲を限定することを意図していない。

ＡＲ／ＶＲのための既存の光学システムを示す図 本発明の例示的な実施形態による、ＡＲ／ＶＲのための調整可能な光学システムを示す図 半透過性ミラーを使用するＡＲ／ＶＲのための既存のアイトラッキングシステムを示す図 ＡＲ／ＶＲのための既存の直接アイトラッキングシステムを示す図 本発明の例示的な実施形態による、ＡＲ／ＶＲのための高度なアイトラッキングシステムを示す図 本発明の例示的な実施形態による、ＡＲ／ＶＲのための高度なアイトラッキングシステムのセットアップモードが実行される際のデジタル信号を示す図 本発明の例示的な実施形態による、ＡＲ／ＶＲのための高度なアイトラッキングシステムの動作モードが実行される際のデジタル信号を示す図 本発明の例示的な実施形態による、ＡＲ／ＶＲのための拡張アイトラッキングシステムの拡張モードが実行される際のデジタル信号を示す図 本発明の例示的な実施形態による、ＡＲ／ＶＲのための自己補正型の高度なアイトラッキングシステムを示す図 本発明の例示的な実施形態による、ＡＲ／ＶＲのためのコンタクトレンズベースの高度なアイトラッキングシステムを示す図 本発明の例示的な実施形態による、ＡＲ／ＶＲのための可撓性アイトラッキングシステムを示す図 外部コンピュータを介して高レベルのブロック視覚化が実行される既存のＡＲ／ＶＲ装置を示す図 本発明の例示的な実施形態による、外部コンピュータを介して高レベルのブロック視覚化が実行される複数のビデオストリームＡＲ／ＶＲ装置を示す図 本発明の例示的な実施形態による、コンピュータと視覚化装置との間の例示的な接続を示す図 本発明の例示的な実施形態による、コンピュータと視覚化装置との間の例示的な接続を示す図 本発明の例示的な実施形態による、コンピュータと視覚化装置との間の例示的な接続を示す図 統合されたコンピュータを介して高レベルのブロック視覚化が実行される既存のＡＲ／ＶＲオールインワン装置を示す図 本発明の例示的な実施形態による、内部データソースと外部データソースとの間で切り替えることができる高レベルのブロック視覚化を伴う拡張ＡＲ／ＶＲオールインワン装置を示す図 本発明の例示的な実施形態による、ＡＲ／ＶＲオールインワン装置のビデオ信号を示す図 データフロー動作を伴う標準的なＩＭＵセットアップを示す図 本発明の例示的な実施形態による、データフロー動作を伴う軸ＩＭＵセットアップを示す図 本発明の例示的な実施形態による、異なる座標フレーム内の異なるセンサーからの測定値を示す図 本発明の例示的な実施形態による、共通座標フレームに変換された２つのセンサーからの組み合わされた測定値を示す図 本発明の例示的な実施形態による、高予測を伴うデータ予測セットアップを示す図 本発明の例示的な実施形態による、自動予測を伴うデータ予測セットアップを示す図 本発明の例示的な実施形態による、実環境と仮想環境との間の情報転送のためのシステムを示す図 既存のＸＲ／ＡＲモジュールを示す図 本発明の例示的な実施形態による、高度なＸＲ／ＡＲモジュールを示す図 本発明の例示的な実施形態による、シミュレートされたＸＲ／ＡＲモジュールを示す図 本発明の例示的な実施形態による、ユーザーの眼の間のデジタルシミュレートされた距離を示す図 ２つの異なる既存のＶＲヘッドセットの可視視野の例示的な画像を示す図 ＶＲヘッドセットの２つの最も一般的に利用可能なセットアップを示す図 本発明の実施形態による、３つの異なる曲げ角度を有するＶＲヘッドセットのための可撓性ディスプレイセットアップを示す図 本発明の実施形態による、１つの連続的な屈曲を有するＶＲヘッドセットのための可撓性ディスプレイセットアップを示す図 本発明の実施形態による、可撓性ディスプレイを備えたＶＲヘッドセットのための静的セットアップを示す図 本発明の実施形態による、視覚障害を補正することを可能にするＶＲヘッドセットのための４５度の動きのセットアップを示す図 視覚障害を補正し瞳孔間距離を調整することを可能にするＶＲヘッドセットのための標準調整セットアップを示す図 本発明のいくつかの実施形態による、視覚障害および瞳孔間距離を同時に補正することを可能にするＶＲヘッドセットのための屈曲可能セットアップを示す図 本発明の実施形態による、ＶＲビデオ変換ボックスの概略図 位置ベースのＶＲ体験のための光学追跡設備を示す図 位置ベースのＶＲ体験のための超広帯域追跡設備を示す図 位置ベースのＶＲ体験のためのインサイドアウト追跡設備を示す図 本発明の実施形態による、位置ベースのＶＲ体験のためのインサイドアウト追跡および超広帯域追跡設備の独自の組み合わせを示す図

以下の開示は、本発明の様々な実施形態、および以下の説明でさらに詳細に定義される、その好ましい最良の実施形態の少なくとも１つにおける使用方法を説明する。当業者は、その精神および範囲から逸脱することなく、本明細書に記載されているものに変更および修正を加えることができるであろう。本発明は、異なる形態の異なる実施形態が可能であるが、本開示は本発明の原理の例示として考えられるべきであり本発明の広い態様を図示される実施形態に限定することを意図するものではないという理解の下で、本発明の好ましい実施形態が図面に示され以下に詳細に説明される。本明細書で提供される任意の実施形態に関して説明されるすべての特徴、要素、構成要素、機能、およびステップは、他に明記されない限り、任意の他の実施形態のものと自由に組み合わせることができ、代用可能であることが意図される。したがって、図示されているものは、例示の目的のためだけに示され、本発明の範囲を制限するものとして解釈されるべきではないことを理解されたい。

以下の説明および図面では、同様の要素は同様の参照番号で同定される。「例えば」、「等」および「または」の使用は、他に記載がない限り、限定されない非排他的な代替物を示す。「含んでいる」または「含む」の使用は、他に記載されない限り、「含んでいるが、限定されない」または「含むが、限定されない」を意味する。

図１は、ＡＲ／ＶＲ光学システム１００を示す。ＡＲ／ＶＲ光学システム１００は、レンズ１６０、１７０からなり、これにより、ユーザーの眼１８０、１９０が、左ディスプレイ１２０および右ディスプレイ１３０に投影される集束データを見ることが可能となる。
左ディスプレイ１２０と右ディスプレイ１３０との間の焦点距離１４０、１５０は静的である。人間は鼻と眼との間の距離が異なるため、調整可能な瞳孔間距離１１０が必要である。

図２は、類似または異なるレンズ２６０、２７０、およびディスプレイ２２０、２３０を使用することができる調整可能なＡＲ／ＶＲ光学システム２００を示す。それらの間の距離は可変でもよく、左レンズ２６０、右レンズ２７０、左ディスプレイ２２０、および／または右ディスプレイ２３０を動かすことによって調整し得る。ユーザーの視野に合わせるために左レンズ２６０および右レンズ２７０を別々に回転させてもよい。左瞳孔距離２１５および右瞳孔距離２１０を別々に調整してもよい。左焦点２４０および右焦点２５０も別々に調整することができる。

図３は、ディスプレイ３２３、３２４とレンズ３２９、３３０との間に、またはアイトラッキングのためにＬＥＤ３１０’、３１１’によって示されるようにユーザーの眼のすぐ近くに配置される、追加のＬＥＤ３１０、３１１を有する赤外線カメラ３２６、３２７を使用するアイトラッキング３００を備えた標準ＡＲ／ＶＲシステムを示す。各眼３３１、３３２は、別個の眼追跡カメラ、すなわち、左眼追跡カメラ３２６および右眼追跡カメラ３２７を有する。左半透過性ミラー３２５および右半透過性ミラー３２８によって提供される反射のため、カメラ３２６、３２７はユーザーの眼３３１、３３２を見る。これらのミラー３２５、３２８は、カメラがユーザーの眼３３１、３３２を見ることを可能とし、ディスプレイ３２３、３２４からの画像の反射を回避できるように配置および回転される。ミラー３２５、３２８は、カメラ３２６、３２７が見ることができるが人間の眼は見ることができない波長を反射することができる。瞳孔間距離の調節可能性は、主に、手動で調節可能な瞳孔間距離機構３３４によって提供され、これは、レンズ３２９、３３０の位置のフィードバックを提供する瞳孔間距離測定センサー３３３に接続されている。

図４は、ＬＥＤありまたはなしの左眼追跡カメラ４３８およびＬＥＤありまたはなしの右眼追跡カメラ４３９を使用しうる直接アイトラッキング４００を備えたＡＲ／ＶＲシステムを示す。左レンズ４４０、右レンズ４４１、左ディスプレイ４３６、および右ディスプレイ４３７は、他の図に記載されているものと同様であってよい。カメラ４３８、４３９は、ユーザーの眼４４０、４４１を直接見てもよく、追加の半反射鏡を持たなくてもよい。カメラ４３８、４３９は、レンズ４４０、４４１と眼４４２、４４３との間、またはカメラ４３８’および４３９’によって示されるように異なる位置に配置されてもよい。カメラ４３８、４３９、４３８’、および／または４３９’は、任意のスペクトルで機能し得る。瞳孔間距離の調整可能性は、手動で調整可能な瞳孔間距離機構４４５によって行うことができ、これは、レンズ４４０、４４１の位置のフィードバックを提供する瞳孔間距離測定センサー４４４に接続されうる。利用可能なアイトラッキング装置の例として以下が挙げられる：ＳＭＩアイトラッキングシステム；半透過性ミラーを使用するＦＯＶＥ；ＴＯＢＩＩ；およびＰｉｍａｘ。

図５は、自動調整可能な焦点５４９、左アクチュエータ５６０および右アクチュエータ５６１による自動調整可能な左レンズ５５２および右レンズ５５３、および、２つの追加のアクチュエータからなる各眼に対する自動調整可能な瞳孔間距離機構５５６を組み合わせる、高度なＡＲ／ＶＲアイトラッキングシステム５００を示す。これらの自動調整可能な機構５４９、５５２、５５３、５６０、５６１、５５６は、センサーを備えたサーボモーターのような電気アクチュエータを使用し、アクチュエータの実際の位置のフィードバックを提供しうる。いくつかの実施形態では、追跡カメラ５５０、５５１は、ユーザーの眼５５４、５５５の位置を測定する。次いで、位置情報は、各ユーザーの鼻からの各眼５５４、５５５の距離を計算する、コンピュータのような演算装置に提供されうる。次に、この測定情報は、ＡＲ／ＶＲヘッドセットを調整するためにユーザーに示されるか、または、レンズ５５２、５５３の位置を自動的に調整するサーボモーターのようなアクチュエータ５６０、５６１に提供される。他のセンサーが捕捉されてもよい。左眼追跡カメラ５５０および右眼追跡カメラ５５１は、左ディスプレイ５４７および右ディスプレイ５４８の反射を使用して、追加の構成要素を必要とせずにカメラがユーザーの眼５５４、５５５を見ることを可能とする。ディスプレイ５４７、５４８は、カメラのミラーとして機能し、反射を増強するために半透過性赤外線反射層でコーティングされてもよい。同様の結果を促進する他の形態のコーティングを使用することもできる。ＬＥＤ５６２、５６３は、追加の照明のために使用されてもよい。

図６は、正しいレンズ位置の測定および校正中のセットアップモード時間グラフ６００を示す。左眼追跡カメラ６５９および右眼追跡カメラはいずれも、全プロセスの間６７０にある。両方のカメラからキャプチャされたビデオは、処理ユニットに送信され、アルゴリズムがユーザーの眼球からの光の反射に基づいて正しいレンズ位置の見込みを検出する。アルゴリズムは、インプットとしてユーザーの眼のデジタル画像を取得しうる。次いで、楕円形を見つけるための画像認識を適用しうる。この認識は、画像の最も反射する部分の周りに配置された最大の楕円形の近似に基づいてもよい。楕円形が検出された場合、ユーザーの眼球の中心は、楕円形の中心にあると推定される。この測定は複数回繰り返される可能性があり、フィルターまたは単純平均を適用して、ユーザーの眼球の最も正確な位置を概算しうる。中心が定められた後、プロセッサは、サーボモーターのようなアクチュエータを使用して、レンズを理想位置に移動しうる。理想位置は、一般に利用可能な光学システムまたは任意の他の既知の方法により定められる。グラフ６６０は、左眼からのアルゴリズム認識結果を示し、グラフ６７１は、ユーザーの右眼からのアルゴリズム認識結果を示している。「最大ＲＥＦ」値は、検出されたレンズの理想位置を示す。グラフ６６１は、左レンズアクチュエータの動きを示し、グラフ６７２は、右レンズアクチュエータの動きを示している。左レンズアクチュエータは、最小位置で起動し、時間６６２においてアルゴリズムが最大位置を検出する。しかしながら、左レンズアクチュエータは、時間６６３および最大位置に達するまで測定を続ける。全体のスケールが測定された後、処理ユニットは、アクチュエータにコマンドを送信して、以前に検出された理想位置に到達する。アクチュエータは、時間６６４において理想位置に到達し、したがって左眼について正確な瞳孔距離（ＰＤ）を測定する。同様のプロセスは、右レンズおよびそのアクチュエータでも生じる。アクチュエータは、中央位置で起動し、時間６７３において到達する最小位置に移動する。その後、最大位置に移動を開始する。時間６７４において、アクチュエータはこの位置に到達し、処理ユニットは最大反射でその位置を検出するが、時間６７５で到達する最大位置に移動し続ける。次に、処理ユニットは、以前に検出された理想位置に到達するようにアクチュエータにコマンドを送信する。アクチュエータは、時間６７６においてその理想位置に到達し、右眼について正確なＰＤを測定する。

図７は、低持続性ディスプレイを使用する動作モード時間グラフ７００を示し、眼の位置はディスプレイの点滅の間で測定される。処理の間、グラフ７６５によって示されるように、レンズアクチュエータの位置は安定している（変化しない）。グラフ７６３は、低持続性のディスプレイが点滅し、ユーザーが画像を見ることが可能となることを示している。これらの点滅の間で、グラフ７６４によって示されるように、ユーザーの眼は、少なくとも１つのカメラおよび眼検出アルゴリズムを備えた少なくとも１つの処理ユニットを使用して測定される。アルゴリズムは、上記で説明したものと同様でもよい。ユーザーの眼球の視認性を高めるために、眼を測定しているときにＬＥＤが点滅してもよい。

図８は、眼の位置が連続的に測定されているフルレジスタンスディスプレイを使用する拡張モード時間グラフ８００を示す。処理中、グラフ８６９によって示されるように、レンズアクチュエータの位置は安定している。グラフ８６７によって示されるように、フルレジスタンスディスプレイは、連続的に光ってユーザーに画像を表示する。グラフ８６８によって示されるように、眼を連続的に測定してもよく、眼検出アルゴリズムを備えた少なくとも１つの処理ユニットが、眼球の検出された位置を連続的に再集計してもよい。ユーザーの眼球を見やすくするために、ＬＥＤを点灯してもよい。

したがって、図示されるように、いくつかの実施形態では、高度なＡＲ／ＶＲアイトラッキングは、３つの異なるモード、すなわち、セットアップモード（図６）、動作モード（図７）、および拡張モード（図８）で動作し得る。図６、７、および８は、３つの最も重要な信号を示している。グラフは、アイトラッキングシステムが低持続性および完全持続性の両方のタイプのディスプレイでどのように機能するかを示している。図６は、理想位置を見つけ、ユーザーにとって正確なＰＤを確保することを目的とする、レンズの位置決めの測定および調整プロセスを示している。

図９は、アイトラッキング９００を備えた自己補正型先進ＡＲ／ＶＲシステムを示している。システム９００は、左眼９８０用の極薄補正層９７５および右眼９８１用の極薄補正層９７９を使用することができる。これらの層は、両方のディスプレイ９７２、９７３に密接に取り付けられる。超薄型の補正層９７５、９７９を使用すると、非常に近い距離から左ディスプレイ９７２および右ディスプレイ９７３において、画像などの集束データを見ることが可能となる。このことは、画像のすべてのピクセルのようなすべてのデータを、光線が正確に眼９８０、９８１の位置に置いて焦点中心に向けるため、可能である。眼９８０と９８１との間の距離の調整は、左眼トラッキングシステム９７６および右眼トラッキングシステム９７８によって自動的に行われ、眼球を追跡し、瞳孔の中心に関する情報を自動調整アクチュエータ９７１、９７４に提供する。これらのシステムは、少なくとも１つのカメラおよびＬＥＤで構成されてもよく、前の図で説明したように配置されてもよい。いくつかの実施形態では、自己補正型ＡＲ／ＶＲアイトラッキングシステム９００は、自動調整可能な焦点９７７も含み得る。自動調整可能な焦点９７７は、上記の図に記載されているようにサーボモーターを使用して、または任意の他の技術を使用して機能しうる。

図１０は、アイトラッキング１０００を備えたコンタクトレンズベースの高度なＶＲ／ＡＲシステムを示す。コンタクトレンズベースのシステム１０００は、ユーザーが近くの物体および／または左ディスプレイ１０８４および右ディスプレイ１０８５に焦点を合わせることを可能にし得る左コンタクトレンズ１０９７および右コンタクトレンズ１０９１を備えてもよい。コンタクトレンズベースのシステム１０００は、レンズ１０９７、１０９１がユーザーの眼１０９２、１０９３と共に移動および回転するため、ユーザーの視野の側面における歪みを防止することができる。ディスプレイ１０８４、１０８５間の距離の調整は、左眼トラッキングシステム１０８９および右眼トラッキングシステム１０９０によって自動的に行われ、眼球を追跡し、瞳孔の中心についてのより多くの情報を自動調整アクチュエータ１０８３、１０８６に提供する。これらのシステムは、少なくとも1つのカメラおよびＬＥＤから構成されてもよく、前の図で説明したように配置されてもよい。いくつかの実施形態では、システム１０００はまた、自動調整可能な焦点１０８８を含んでもよい。

図１１は、可撓性ディスプレイおよびアイトラッキング１１００を備えたＡＲ／ＶＲシステムを示す。左可撓性ディスプレイ１１９６および右可撓性ディスプレイ１１９７は、レンズ１１０２、１１０３とディスプレイ１１９６、１１９７との間の異なる距離によって生じる、標準フラットディスプレイを使用することで起こりうる歪みを効果的に補正しうる。通常のフラットディスプレイを有する場合、問題は、ディスプレイのコーナーとレンズとの間の距離が、ディスプレイの中心とレンズとの間の距離と異なることである。この違いによって、追加の歪みが生じ、補正が必要となる。フレックススクリーンを使用すると、この違いを補正することができ、レンズとディスプレイの各位置との間の同距離を達成でき、有用である。ディスプレイ１１９６、１１９７間の距離およびレンズ１１０２、１１０３の位置の調整は、眼球を追跡し、瞳孔の中心に関する情報を自動調整アクチュエータ１１９５、１１９８、１１０４、１１０５に提供する左眼トラッキングシステム１１１０および右眼トラッキングシステムによって提供される。これらのシステムは、前の図で説明したように配置できる、少なくとも１つのカメラおよびＬＥＤから構成されてもよい。いくつかの実施形態では、システム１１００はまた、自動調整可能な焦点１１９９を含んでもよい。

図１２は、視覚化ＡＲ／ＶＲ装置１２０７に通信可能に接続された外部コンピュータ１２０１を介して実行される高レベルブロック視覚化１２００を有する既存のＶＲ／ＡＲ装置を示す。コンピュータ１２０１は、中央処理ユニット１２０２、および、オーディオおよび他のデータ１２０４を供給する単一のビデオストリーム信号を供給するビデオアダプタ１２０３を備える。視覚化装置１２０７は、最大で３つのディスプレイ１２０９、１２１０、１２１１に信号を送信する少なくとも１つのビデオチップ１２０８を含む。ビデオチップ１２０８は、有限量のディスプレイ１２０９、１２１０、１２１１に信号を供給する潜在能力を有する。

図１３は、視覚化装置１３１８に通信可能に接続された外部コンピュータ１３１２を介して実行される高レベルブロック視覚化１３００を備えた複数ビデオストリームＡＲ／ＶＲ装置を示す。コンピュータ１３１２は、中央処理ユニット１３１３およびビデオアダプタ１３１４を含む。コンピュータ１３１２のビデオアダプタ１３１４は、ビデオ信号を視覚化装置１３１８に供給する任意の有線または無線ストリームの形で複数ビデオストリーム１３１５を供給する。視覚化装置１３１８は、少なくとも１つの専用ビデオスプリッタ／デマルチプレクサ１３１９を含み、これは、１つ以上のビデオチップ１３２０、１３２２、１３２４を使用して信号をより多くのブランチに分割し、それらの各々が１つ以上のディスプレイ１３２１、１３２３、１３２５、１３１７に接続される。

市販され開示されているすべての実験用視覚化装置は、次のいずれかを利用する：（ｉ）１つのビデオ信号チャネルおよび１つのディスプレイ；（ｉｉ）複数のビデオ信号チャネルおよび複数のディスプレイ；または（ｉｉｉ）1つのビデオ信号チャネル、共通のブリッジコンバーター、および複数のディスプレイ。最後のケースでは、最初は１つのディスプレイのみを対象としたコンバーターの出力信号が、別個のディスプレイに供給される。既知の視覚化装置は、１つの多重化ビデオ信号チャネル、専用ビデオ信号スプリッタ、および別個のブリッジコンバーターおよびディスプレイを使用しない。使用可能な視覚化装置の例には、以下が挙げられる：１つのビデオ信号チャネル（ケーブル）を有し、スプリッタがなく、２つのディスプレイを有する、Ｏｃｕｌｕｓ Ｒｉｆｔ；１つのビデオ信号チャネル（ケーブル）を有し、スプリッタがなく、２つのディスプレイを有する、ＨＴＣ Ｖｉｖｅ；２つのビデオ信号チャネル（ケーブル）を有し、スプリッタがなく、２つのディスプレイを有する、Ｉｄｅａｌｓｅｅ；２つのビデオ信号チャネル（ケーブル）を有し、スプリッタがなく、２つのディスプレイを有する、ＳｔａｒＶＲ；および１つのビデオ信号チャネル（無線）を有し、スプリッタがなく、１つのディスプレイを有する、Ｓａｍｓｕｎｇ Ｇｅａｒ ＶＲ；および１つのビデオ信号チャネル（ケーブル）を有し、スプリッタがなく、１つのディスプレイを有する、Ｓｏｎｙ Ｍｏｒｐｈｅｕｓ ＶＲ。

図１４は、３つの別個のケーブルを介した少なくとも１つのコンピュータ１４２６と少なくとも１つの視覚化装置１４３０との間の例示的な接続１４００を示す。分離されていてもいなくてもよい任意の数のケーブルを用いてもよい。ビデオ信号１４２７は、少なくとも１つのディスプレイポートを使用することができる。オーディオ信号および任意の他のデータ１４２８は、少なくとも１つのＵＳＢまたは任意の他のコンピュータ通信プロトコルおよびケーブルを用いてもよい。電力は、別個の２分配電力ケーブル１４２９によって供給されてもよい。信号および電力を供給する任意の他の形態を用いてもよい。

図１５は、少なくとも１つのコンピュータ１５３１と少なくとも１つの視覚化装置１５３３との間の例示的な接続１５００を示す。ビデオ、オーディオなどの信号１５３２、および電力は、Ｔｈｕｎｄｅｒｂｏｌｔ３プロトコルを使用して、ＵＳＢ３．０ｃケーブルのような１つのケーブルおよび／またはポートを介して転送できる。信号および電力を供給する任意の他の形態を用いてもよい。

図１６は、少なくとも１つのコンピュータと少なくとも１つの視覚化装置との間の例示的な接続１６００を示す。ビデオ、オーディオなどの信号１６３５、および他のすべてのデータは、Ｗｉｇｉｇ、Ｗｉｆｉなどの無線技術を介して転送できる。電源は、バッテリーパックのような外部電源１６３７を使用して別個に提供されてもよい。信号および電力を供給する任意の他の形態を用いてもよい。

図１７は、高レベルのブロック視覚化１７００を備えた既存のＡＲ／ＶＲオールインワン装置を示す。標準のオールインワン装置１７００は、中央処理ユニット１７３９、ビデオアダプタ１７４０、および統合ディスプレイ１７４３、１７４４、１７４５を備える。標準のオールインワン装置１７００はまた、パワーバッテリーパック１７４１を含む。ビデオ信号１７４２は、ＭＩＰＩ ＤＳＩを介して少なくとも１つのディスプレイに直接転送される少なくとも１つのビデオアダプタ１７４０を使用して生成される。

図１８は、ビデオストリーム１８４９からのデータをＭＳＰＩ ＣＳＩ信号に変換することができる少なくとも１つのビデオチップ（入力ビデオコンバータ）１８５３、１８５４、１８５５に接続された少なくとも１つの任意のビデオスプリッタ１８５２を含むことができる拡張オールインワンＶＲ／ＡＲ装置１８００を示す。そのような信号は、少なくとも１つの中央処理ユニット１８６０および少なくとも１つのビデオアダプタ１８６１によってアクセス可能であり得る。拡張オールインワン装置１８００は、それ自体でビデオ信号１８６３をディスプレイ１８６４、１８６５、１８６６に供給するか、または、外部モードにスイッチし、別個の中央処理ユニット１８５０およびビデオアダプタ１８４８を用いてコンピュータのような少なくとも１つの外部演算装置１８４７からディスプレイ１８６４、１８６５、１８６６に単一または複数のビデオストリーム１８４９を提供しうる。電力はバッテリーパック１８６２から供給されうる。

図１９は、ＡＲ／ＶＲ装置のビデオ信号１９００、すなわち、オールインワン装置１９６９のビデオ信号、テザー装置１９７０のビデオ信号、および拡張オールインワン装置１９７１のビデオ信号を示す。青い線１９７５は、装置に表示されている外部ビデオ信号を示す。オレンジ色の線１９７６は、装置で表示される内部生成ビデオ信号を示す。図示されているように、装置がオフにされると、どの装置でも信号はまったく表示されない。しかしながら、装置がＯＮ ＩＭＰＵＬＳ １９７４を受信すると、すぐにオンになり、オールインワン装置１９６９が内部グラフィックアダプタからのビデオ信号を表示しうる。上記の設定に依存して、テザー装置１９７０は外部グラフィックアダプタからのビデオ信号を表示し、拡張オールインワン装置１９７１は外部または内部グラフィックアダプタからのビデオ信号を表示する。ＳＷＩＴＣＨ ＩＭＰＵＬＳ １９７２に到達すると、テザー装置は外部ビデオ信号のみを受け、オールインワン装置は内部グラフィックアダプタからの信号のみを表示するため、オールインワン装置およびテザー装置はそれを受けるまたは反応することができない。ＳＷＩＴＣＨ ＩＭＰＵＬＳ １９７２は、信号／コマンドであり、データソースを変更する必要があることを通知するために装置に送信される。しかしながら、拡張オールインワン装置は、ＳＷＩＴＣＨ ＩＭＰＵＬＳ １９７２を受け、すぐにビデオ信号を外部グラフィックアダプタから内部グラフィックアダプタへまたはその逆に変更する。第２のＳＷＩＴＣＨ ＩＭＰＵＬＳ １９７３に到達すると、オールインワン装置およびテザー装置は再びそれを無視し、拡張オールインワン装置がそれを受ける。その後、すべてのビデオチップを制御する内部プロセッサが、ビデオ信号を内部グラフィックアダプタから外部グラフィックアダプタにすぐにする。

いくつかの実施形態では、視覚化装置はいくつかの別個のディスプレイを利用し、その結果、ディスプレイ１つの装置と比較して、より優れたデータ品質およびより広い立体視野がもたらされる。コンピュータからのビデオ信号は、ブリッジコンバーターおよび／または実際のディスプレイでさらに処理する前に、１つの単一チャネルを介して専用ビデオ信号スプリッタに供給されてもよい。これにより、インストールがより簡単になりプロトコル層上で自然にサポートされ、可能な限り広い範囲でディスプレイの性能を利用できるため、ユーザーフレンドリー性および使いやすさが実質的に改良される。１つの信号とは異なり、２つの別々の信号によって、リフレッシュ速度、タイミング、解像度、同期などを含む別々のディスプレイの設定の正確な制御が可能となる。

いくつかの実施形態では、ビデオスプリッタは、複数のビデオストリームを受け入れることができ、次いで、これはＸ個の単一のビデオストリームに分割されうる。これは、ＤｉｓｐｌａｙＰｏｒｔ １．２以降を使用して１つの信号を複数のビデオ信号に分割するＤｉｓｐｌａｙＰｏｒｔ ＭＳＴプロトコルによって実行されうる。一方、既存の装置で使用されている標準のビデオチップ（ＨＤＭＩ（登録商標）からＤＳＩへのコンバーター）は、単一のビデオストリームを受け入れ、信号をディスプレイ上に直接表示する。さらに、より多くのディスプレイを備えスプリッタがない既存の装置は、ビデオコンバータを使用してシングルストリームビデオ信号を半分にカットし、２つのディスプレイを動作可能にする。いくつかの実施形態では、視覚化装置は、ビデオ信号チャネル（通常はケーブルまたは無線インターフェース）によって転送される、コンピュータからビデオ信号スプリッタへの多重化信号を使用することができる。別々のブランチがビデオ信号スプリッターから続き、それぞれが１つのビデオコンバータおよび１つ以上のディスプレイにつながる、すなわち、ビデオ信号はいくつかの別々のブランチに分割されうる。ビデオ信号が分割されると、そのビデオ信号は標準のままであり、任意の装置（モニター、ＶＲヘッドセット、テレビ）で表示できる。ビデオ信号がカットされると、どこにも転送できなくなり、標準信号ではなくなり、直接接続されたスクリーンでのみ表示できる。いくつかの実施形態では、逆方向通信（すなわち、ディスプレイからコンピュータに送信される構成、診断および他のデータ）中に、別個のブランチを介して通信されるディスプレイからの信号は、ビデオ信号スプリッタに合流され、単一のビデオ信号チャネルを介してコンピュータのビデオアダプターに送信され得る。逆方向通信およびそのすべてのデータは、ＤｉｓｐｌａｙＰｏｒｔ通信プロトコル標準の一部である。逆方向通信は、ハンドシェイクおよび接続の確立のためのすべての視覚化装置の固有機能である。さらに、逆方向通信によって、ＤｉｓｐｌａｙＰｏｒｔ ＡＵＸチャネルで定義されている異なるフォーマットでデータを送信できる。視覚化装置は、視覚化装置内の別個のディスプレイ間に物理的に分散された、画像のピクセルのようなデータに関するすべての情報を組み合わせる１つのディスプレイとして、または、いくつかの別個のディスプレイとして、コンピュータによって識別されうる。識別は、Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ（ＶＥＳＡ）の標準である拡張ディスプレイ識別データ（ＥＤＩＤ）によって行われる。いくつかの実施形態では、上述のように、装置は、コンピュータとヘッドセットの間のビデオ信号チャネルとしてＤｉｓｐｌａｙＰｏｒｔインターフェースを使用することができる２つ以上の表示された仮想現実ヘッドセットを含んでもよい。しかしながら、ＤｉｓｐｌａｙＰｏｒｔ以外の他の実施形態では、装置は、ＨＤＭＩ（登録商標）、ＵＳＢ−ＣサンダーボルトＴｈｕｎｄｅｒｂｏｌｔ、Ｗｉｇｉｇ、Ｗｉｆｉ、または任意の他の現在または将来の有線または無線ビデオインターフェースも利用することができる。同様に、任意の数のディスプレイを装置で使用してもよい。市販され開示されているオールインワン視覚化装置はすべて、内部で生成されたビデオ信号のみを利用し、画像を大幅にダウングレードしたり、待ち時間を追加したりすることなく、外部コンピュータを直接接続するオプションはない。利用可能な視覚化装置のいくつかの例として以下が挙げられる：直接ビデオ入力のない携帯電話であるＳａｍｓｕｎｇ Ｇｅａｒ；直接ビデオ入力のないスタンドアロンのオールインワンＶＲヘッドセットであるＡｚｐｅｎ ＡＺ−ＶＲ Ｎｉｂｉｒｕ Ａｌｌｗｉｎｎｅｒ；直接ビデオ入力のないスタンドアロンのオールインワンＶＲヘッドセットであるＶＲ−８；直接ビデオ入力のないスタンドアロンのオールインワンＶＲヘッドセットであるＧｅｎＢａｓｉｃ Ｑｕａｄ ＨＤ Ａｎｄｒｏｉｄバーチャルリアリティシステム。これらの標準的なオールインワンＶＲ／ＡＲヘッドセットは、１つのチップに統合されたビデオアダプターを備えたプロセッサーを利用する。このアプローチは完全に正しく機能する。しかしながら、そのパフォーマンスは制限されている。

これらの装置とは異なり、一部の実施形態では、ＡＲ／ＶＲ装置は、完全にスタンドアロンの使用に対して同じ性能を提供し、ユーザーがデスクトップコンピュータおよびサーバーによって提供される完全なパフォーマンスを使用することも可能にする。したがって、いくつかの実施形態では、すべてのテザーおよびアンテザー視覚化装置の利点を、ＡＲ／ＶＲ装置内に含めることができる。いくつかの実施形態では、外部ソースからのビデオ信号は、単一のビデオストリームおよび複数のビデオストリームでもよい。外部信号は、直接接続を可能にする任意のケーブルまたは任意の無線チャネルを介して転送できる。いくつかの実施形態では、ＡＲ／ＶＲ装置は、装置が内部ビデオ信号と外部ビデオ信号との間で切り替わることを可能する追加のチップを備えたオールインワンＶＲ／ＡＲヘッドセットを利用し得る。したがって、１つのＡＲ／ＶＲ装置は、独立して動作するが、利用可能な場合は、外部コンピュータ、サーバーなどの外部処理能力を利用してもよい。コンピュータに接続されている場合、いくつかの実施形態では、ＡＲ／ＶＲ装置は、ＡＲ／ＶＲ装置内の別個のディスプレイ間で物理的に分散される、画像のピクセルなどのデータに関するすべての情報を組み合わせた１つのディスプレイとして、または、複数の別個のディスプレイとして識別され得る。したがって、いくつかの実施形態では、２つの機能を組み合わせてスタンドアロンのＡＲ／ＶＲ視覚化装置を作成することができ、これは、外部モードへの切り替え機能と組み合わせて、独自の統合ハードウェアコンポーネントからビデオ信号を提供し、ＡＲ／ＶＲ装置は、テザー接続またはアンテザー接続と単一または複数のビデオストリームを使用して、任意の種類のソースからのビデオ信号を受け入れ、それを内部ディスプレイに投影する。

図２０は、プロセスとして開始から終了までのデータフロー操作２０００を伴う標準的なＩＭＵセットアップを示す。第１の動き２００２がＩＭＵセンサー２００３によって認識されると、２００４データが測定される。そのようなデータは、軸変換２００５、２００６によって正しい軸に変換される。次に、大部分のデータを統合してより正確な情報を取得するデータ融合２００７が発生する。次に、予測アルゴリズム２００８が適用され、最終方位２００９が確立される。予測アルゴリズムは、実際の方位および測定値を使用して、将来の方位を予測する。これは、ユーザーが感じる遅延を緩和するのに役立つ。典型的な予測地平線は約２０〜６０メートルである。予測を使用する場合、地平線について正しい値を見つけることが重要である。地平線が小さすぎる場合、予測は遅延を低減するのに役立たない。大きすぎると、推定にオーバーシュートが導入され、結果が非常に不安定に見える。

図２１は、データフロー操作２１００の一部としての独自のＩＭＵセットアップを示す。いくつかの実施形態では、第１の測定可能な動き２１１１が発生すると、ＩＭＵセンサー２１１２、ＩＭＵセンサー２１１３、および／またはＩＭＵセンサー２１１４によって認識される。その後、データが測定される。そのようなデータは、軸変換２１１５、２１１６、２１１７によって正しい軸に変換する必要がある。次に、いくつかの実施形態では、データを一緒に統合するデータ融合２１１８が起こり得る。この特定のセットアップにおけるデータ融合２１１８は、２つの異なるモードで動作できる。第１のモードは、異なるアルゴリズムを使用して、ＩＭＵの自然周波数でより良好な品質を達成できる。単純な移動平均は、各ＩＭＵが上記のように配置されている場合、ＩＭＵ構築の物理的なミスの影響を２／３だけ低減する。他のオプションは、３つのうち２つのＩＭＵからの信号を使用することであり、第３のＩＭＵはミスによる影響が最も大きく、他の２つとは異なることが予想される。別のアプローチは、１つのＩＭＵから１つの軸で1つの回転信号のみを使用することであり、残りの信号は無視される。他のアプローチを使用してもよい。複数のＩＭＵを使用してより正確な測定データを達成するためにＩＭＵ信号をフィルタリングおよび処理するこれらの異なるオプションは、個別に、または任意の他の方法と組み合わせて使用できる。他の実施形態では、３つすべてのＩＭＵからのデータを同時に使用してもよい。このシナリオでは、各ＩＭＵは、他のＩＭＵからのデータの間に間隔をあけてデータを測定および送信し、それにより周波数を３倍にする必要がありうる。いくつかの実施形態では、現在のステップで信号を測定した、ＩＭＵからの生データは、前のステップからの異なるＩＭＵからの測定の予測の１／３およびその前のステップからの異なるＩＭＵからの測定委の予測の２／３で要約され、したがって、製造ミスの影響を半分だけ低減する。データ融合２１１８の後、予測２１１９が適用され、最終方位２１２０が確立されうる。

図２２は、異なる座標フレーム２２００における異なるセンサーからの測定値を示す。具体的には、不関軸において２つのＩＭＵ（それぞれセンサー＃１およびセンサー＃２）を使用する並列測定の例示的な信号２２１０、２２２０が示されている。

図２３は、共通の座標に変換された２つのセンサーからの結合信号２３３０を有する結合された測定グラフ２３００を示す。第１のＩＭＵは信号２３２０を生成する。第２のＩＭＵは信号２３１０を生成する。信号２３１０および２３２０はいずれも、すでに共通の座標（軸）に変換されている。具体的には、不関軸での２つのＩＭＵ（センサー＃１）、（センサー＃２）を使用する並列測定の結合信号２３３０が示されている。

図２４は、１つのＩＭＵからの高い予測を伴うデータ予測セットアップグラフ２４００を示す。図示のように、可視共鳴信号２４１０があり、予測アルゴリズムの地平線が高すぎることを示している。この信号は、調整の酷い予測アルゴリズムを有する。

図２５は、自動予測グラフ２５００を伴うデータ予測セットアップを示す。図示されているように、共鳴信号２５１０は非常に低く、変化に対してほとんど即時応答であり、セットアップの正しさを示している。この信号は、うまく調整された予測アルゴリズムを有する。

一部の実施形態では、ＡＲ／ＶＲ装置は、ジャイロスコープ、加速度計、および／または磁力計を使用する。複数のセンサーを一緒に使用することにより、これらの装置の効率、動作、丈夫さ、サンプリング周波数などを改良できる。いくつかの実施形態では、センサーの冗長性をデータ融合により利用して、より良好な全体精度を提供することができる。これを行うには、いくつかの線形または非線形ベイジアンフィルターを開発してテストしてもよい。いくつかの実施形態では、センサーは異なる座標フレームに配置されてもよく、したがって、最終的なデータ融合の前に軸変換が必要になる場合がある。センサーは、同じ座標フレームに配置されてもよい。センサーを非同期で読み出し、精度は低下するが速度を向上させうる。

いくつかの実施形態では、予測アルゴリズムを使用することができる。予測アルゴリズムは、実際の方向と測定値を使用して将来の方向を予測する。これは、ユーザーが感じる遅延を緩和するのに役立つ。典型的な予測範囲は約２０〜６０メートルである。しかしながら、予測範囲は20〜60メートル未満またはそれ以上になる場合があります。予測を使用する場合、地平線について正しい値を見つけることが重要である。地平線が小さすぎる場合、予測は遅延を低減するのに役立たない。大きすぎると、推定にオーバーシュートが導入され、結果が非常に不安定に見える。したがって、いくつかの実施形態では、この問題を解決するために、実際の角速度に応じて予測地平線を設定するアルゴリズムを使用してもよい。このアルゴリズムは、最大で毎秒３０度の速度まで２０メートルの静的予測時間範囲を持つことができる。また、毎秒１２０度でメートルの線形進行範囲を有する場合もある。毎秒１２０度を超える速度はいずれも、６０メートルの予測地平線で飽和する。したがって、ＨＭＤがゆっくりと回転すると、予測は低くなり、ブレを低減する。また、ＨＭＤが素早く回転する場合、予測はより高くなり、応答性が向上する。一部の実施形態では、少なくとも３つの組み合わされたＩＭＵを使用し、かつ２つのＩＭＵが同じ軸方向を有しない、ＩＭＵセンサメッシュが存在しうる。

図２６は、実環境と仮想環境との間の情報トランスポートのためのシステム２６００を示している。図示されるように、いくつかの実施形態では、人間が存在する実環境２６２０とユーザーが存在する仮想環境２６２２との間に情報フローが存在し得る。物理的環境２６２０の人間は、外界を聞く、見る、触る、匂いを嗅ぐ、および／または味わうことができる。これらすべての感覚は、聴覚用のマイクロフォン、匂いや味を検出するための化学センサー、触覚を検出するための張力センサー、視覚を感知するためのカメラなどのような、実世界のセンサー２６０８で測定できる。これらのセンサーは、デジタル信号の形式で情報をＡＩ／論理ユニット２６０７に転送してもよい。論理ユニット２６０７は、ＡＩ（人工知能）を実行し、および／または所定の論理演算を実行することができる、任意の種類のプロセッサ、コプロセッサ、ＦＰＧＡなどで構成することができる。論理ユニット２６０７は、どの信号を、どの形式および強度で、ある環境から別の環境に送信するかを決定する。仮想環境では、実環境からの信号は、信号マージャ２６０９によって、仮想信号ジェネレータ２６１１から生成された仮想信号と融合され、ディスプレイ、ヘッドフォン、匂いジェネレータ、フリッピングプラットフォーム、触覚グローブなどのアクチュエータ２６１３を介してユーザーに提供される。反対に、仮想信号はまた、論理ユニット２６０７を介して実環境２６２０に転送されてもよい。これが発生すると、２つの環境２６２０、２６２２間の障壁が克服され、これらの２つ以上の世界は互いに通信できる。仮想信号に関する情報を提供するために、実環境２６２０のアクチュエータ２６２３は、仮想環境２６２２のユーザーと通信するために使用される。

したがって、いくつかの実施形態では、現実世界（物理環境２６２０）および仮想現実（仮想環境２６２２）は、ＡＲ／ＶＲ装置を使用して接続され得る。ＡＲ／ＶＲ装置は、両方の環境におけるイベントについての情報を取得することができ、この情報をさらに共有して、実環境２６２０と仮想環境２６２２との間の相互接続およびリスクの低減をもたらすことができる。２つの環境２６２０、２６２２間のこの相互接続は、ＡＲ／ＶＲ ＨＭＤ装置だけでなく、視覚、聴覚、味覚、嗅覚、または触覚などの人間の感覚のいずれかに偽の情報を提供する任意の装置／アクチュエータによって提供されうる。いくつかの実施形態では、センサーを使用して情報を測定し、外界の危険または２つの環境２６２０、２６２２の間の重要な違いについてユーザーに警告することができる。さらに、いくつかの実施形態では、装置は、仮想環境２６２２で発生するイベントについて外部の観察者に通知することができてもよい。信号化は一方向または両方向で使用できる；それは一つまたは複数の感覚によって実感され得る；また、各環境２６２０、２６２２において、および／または環境２６２０、２６２０の間で、異なる感覚を使用することさえできる。

例示的な実施形態では、人Ａ（仮想現実のユーザー）は、高音響強度のオーディオヘッドホンを使用し、これにより、現実世界の音に注意を払うことが困難または不可能にさえなりうる。システムにマイクロフォン（センサー）も接続されている場合は、現実の環境を聞くために使用されうる。論理ユニット２６０７のような処理ユニットは、すべての外部音を判断し、異常な音（アラーム音、予期しない大きな音、異常な沈黙、またはＡに向けられた音声）の場合、人Ａにその異常な音を通知しうる。システム２６００は、（緊急の場合に）仮想環境からの音を下げることにより、または、個人的なメッセージを作成することにより、人Ａに通知することができ、これによってユーザー体験を大幅に中断することなく仮想音と共にシームレスに再生することができる。同時に、ユーザーのヘッドフォン（仮想環境）の音響強度に関する情報は、装置上のＲＧＢ ＬＥＤによって表示され、その情報を人Ｂ（ヘッドフォン自体の音を聞いていない外部の観察者）に転送しうる。したがって、いくつかの実施形態では、実環境２６２０から仮想環境２６２２への聴覚情報の転送は専用のメッセージを介して行われてもよい、および／または、仮想環境２６２２から実環境２６２０へのボリューム情報の転送はＬＥＤまたは任意の他の光源（照準）により提供される視覚信号を介して行われてもよい。他の感覚および装置も、両方のプロセスに使用できる。

いくつかの実施形態では、現実世界と仮想世界との間の情報の転送を容易にする装置は、以下を含んでもよい：仮想情報を提供する装置（ヘッドフォン、ＶＲヘッドセット、触覚ウェアラブル、移動プラットフォームなど）；外部（実世界）の情報を測定するセンサー（マイクロフォン、カメラ、化学センサー、環境追跡装置など）。いくつかの実施形態では、この情報は、事前に測定され、以下に格納されてもよい：意思決定ユニット（例えば、頻繁に更新する必要がない物理的環境に関する静的マッピングデータ）；実世界に情報を提供する装置（ＲＧＢ ＬＥＤ、オーディオスピーカー、ディスプレイなど）；仮想情報を実世界のセンサーから取得したデータと統合する装置；および、すべての情報を評価し、重要なデータを実世界または仮想現実に送信する方法を決定する少なくとも１つの意思決定ユニット。

図２７は、標準的なＸＲ／ＡＲモジュール２７００を示す。標準のＸＲ／ＡＲモジュール２７００は、両方が外を向いている静的な左カメラ２７０２および右カメラ２７０３を含む。それらのデータは収集され、ＵＳＢ、または、カメラを制御するプリント回路基板であるカメラ関連電子機器２７０４を使用する任意の他の通信プロトコルに変換される。カメラ関連電子機器２７０４は、ＨＭＤの内部電子機器に、またはＵＳＢまたは任意の他のケーブル／コネクタ２７０５を使用してコンピュータに接続される。

図２８は、高度なＸＲ／ＡＲモジュール２８００を示す。高度なＸＲ/ＡＲモジュール２８００は、いずれも外を向く自動調整可能な左カメラ２８０７および自動調整可能な右カメラ２８０８の両方を使用して、カメラの距離を調整することができる。カメラ２８０７、２８０８は、人間の眼の視覚に可能な限り近づけ、アクチュエータを使用してユーザーの眼の正確な測定位置に入ることができる。このモジュールは、上記の高度なアイトラッキングシステムとの接続に最適である。カメラからのデータが収集され、カメラ関連電子機器２８０９を使用して十分な帯域幅でＵＳＢまたは任意の他のデータプロトコルに転送される。関連する電子機器２８０９には、プリント回路基板、フレックスケーブル、リジッドフレックスケーブル、制御カメラなどが含まれる。これには、カメラに電力を供給し、カメラへの信号を制御する装置が含まれてもよく、また、カメラからのデータを受け入れる、および／または、データがＨＭＤまたはＵＳＢ、ＴＣＰ／ＩＰおよびその他などのコンピュータに転送されることを可能にする任意のプロトコル標準に変換する、装置が含まれてもよい。カメラ関連電子機器２８０９は、ＵＳＢ ２８１０などの任意の使用可能なコネクタを使用して、ＨＭＤの内部電子機器またはコンピュータに接続されてもよい。このセットアップは、ユーザーの眼の位置をシミュレートするため、より現実的で信頼できる、より快適な体験が提供される。

図２９は、シミュレートされたＸＲ／ＡＲモジュール２９００を示す。シミュレートされたＸＲ／ＡＲモジュール２９００は、左広角静止カメラ２９１２および右広角静止カメラ２９１３を含み得る。どちらのカメラも外側を向いており、人間の眼よりもはるかに広い視野をキャプチャできうる。カメラ関連電子機器２９１４または接続されたコンピュータは、画像をトリミングなどのデータ変更をし、ユーザーの眼の位置を模倣する位置に適合し、正しいカメラ位置をシミュレートすることができる。その後、データはＵＳＢ標準に変換され、ＵＳＢ ２９１５のような任意の使用可能なコネクタを使用してＨＭＤの内部電子機器またはコンピュータに送信されうる。このセットアップは、人間の眼の位置をエミュレートするため、標準のセットアップよりも現実的で信頼できる、より快適な体験が提供される。

図３０は、ユーザーの眼３０００の間のデジタル的にシミュレートされた距離を示す。図示されるように、ユーザーの眼３０００間のデジタル的にシミュレートされた距離は、左広角カメラ３０１７および右広角カメラ３０１９からのビデオ信号がどのように見えるかを視覚化する。このような信号は、カメラ間で異なる距離をシミュレートするために、プロセッサまたはグラフィカルアダプターを使用してリアルタイムでトリミングされてもよい。左眼用のデジタルトリミングされた画像３０１８は、ＨＭＤに投影されている画像のサブセットを示し、鼻、カメラ、および左眼球の違いをエミュレートする。右眼用のデジタルトリミングされた画像３０２０は、ＨＭＤに投影されている画像のサブセットを示し、鼻、カメラ、および右眼球の違いをエミュレートする。眼の間隔が広い別のユーザーが同じ装置を使用する場合、赤い長方形３０１８がより左側に、黄色の長方形３０２０がより右側になり、したがって、新しいユーザーの眼の間の距離をエミュレートする。したがって、いくつかの実施形態では、実環境で知覚される正確なデータを提供することによって、またはそれをシミュレートすることによって、ＡＲ／ＶＲ体験が大幅に改良される。利用可能な視覚化装置のいくつかの例として以下が挙げられる：距離をデジタル的にシミュレートせずに、２つの静的カメラを使用するＡｃｅｒ Ｗｉｎｄｏｗｓ ＶＲヘッドセット開発キット；距離をデジタル的にシミュレートせずに、２つの静的カメラを使用するＨＰ Ｗｉｎｄｏｗｓ ＶＲヘッドセット開発キット；および距離をデジタル的にシミュレートせずに、２つの静的カメラを使用するＤＥＬＬ Ｗｉｎｄｏｗｓ ＶＲヘッドセット開発キット。

図３１は、２つの異なる既存のＶＲヘッドセット３１００および３１５０の可視視野の例示的な画像を示す。図示のように、画像３１０１および３１０２は、ユーザーの視野を示している。第１のヘッドセット３１００は広い視野を持ち、平均を超える１５０度の視野を提供する。３１５０のような現在利用可能なヘッドセットの典型的な視野は１１０度で、これは画像３１０２に示されている。

図３２は、ＶＲヘッドセット３２０１および３２０５の最も一般的に利用可能な２つのセットアップを示す。ＶＲヘッドセット３２０１は、ユーザーの眼３２０４に対するディスプレイ３２０２およびレンズ３２０３の標準的な位置を有するセットアップを示す。図示のように、ディスプレイ３２０２、レンズ３２０３、およびユーザーの眼は、それらが互いに平行になるように直線的に配置される。このセットアップは、画像の歪みを補正するのに最も簡単である。ＶＲヘッドセット３２０５は、傾斜ディスプレイ３２０６のセットアップを示している。ディスプレイ３２０６、ならびにレンズ３２０７は、ユーザーの鼻に向かって焦点を合わせた角度で配置される。このセットアップにより、ディスプレイ３２０７が眼３２０８の後方につながることができるため、より広い視野を有する、より没入感のあるＶＲヘッドセットを作成できる。

図３１および３２に示されるＶＲヘッドセットは、非可撓性ディスプレイおよびレンズのために、画像の歪みや色収差などの多くの問題に苦しむ。したがって、本明細書で説明する実施形態によって達成されるように、可撓性ディスプレイおよび新しいタイプのレンズが必要である。可撓性ディスプレイおよび新しいレンズにより、画像の歪みと色収差を最小限に抑え、他のすべての光学的欠陥を制限した、広い視野が可能となる。本明細書で説明する実施形態は、その屈曲の特性に応じて２つの方法で可撓性ディスプレイを利用する。１つの方法は、ディスプレイが全長に亘って連続的に屈曲するディスプレイに関し、もう１つの方法は、ディスプレイが全長に亘って少なくとも３つの異なる領域で異なる角度で屈曲するディスプレイに関する。

図３３は、各眼３３０６のための１つの可撓性ディスプレイ３３０５および特別な三相レンズ３３０４、３３０７を含み得るＶＲヘッドセット３３００を図示する。各レンズ３３０４および３３０７は、３つの異なる光学部品から作製され、各光学部品は、可撓性ディスプレイ３３０５の異なる部分からの光を転送する。ディスプレイ３３０５は、３つの部分３３０１、３３０２、３３０３に分かれている。ディスプレイ３３０５の第１の水平部分３３０１はほぼ直線であり、ユーザーの眼３３０６の前に実質的に位置する。次に、ディスプレイ３３０５は、レンズ３３０４の屈曲部分の実質的に後ろに位置する屈曲部分３３０２に曲がる。次に、ディスプレイ３３０５は、レンズ３３０４の垂直部分の実質的に後ろに位置する垂直部分３３０３に曲がる。レンズ３３０４の垂直部分は実質的に眼３３０６の側面に位置し、レンズ３３０４の水平部分は実質的に眼３３０６の前に位置する。屈曲部分３３０２は、実質的に９０度の角度で屈曲し、その画像は、レンズ３３０４の屈曲部分によってカバーされる。水平部分３３０１で生成された画像は、レンズ３３０４の水平部分によってカバーされる。レンズ３３０４は、ディスプレイ３３０５の各屈曲を別個に補正する３つの異なる光学システムを含む。しかしながら、それらは連続的で接続されたシステムを形成する。

図３４は、各眼３４０４用の１つの可撓性ディスプレイおよび特別な一体成形レンズ３４０３、３４０５を含み得るＶＲヘッドセット３４００を示す。ディスプレイ３４０１は、湾曲部分３４０２によって示されるように、弧状に徐々に屈曲する。レンズ３４０３は、ディスプレイ３４０１の湾曲を実質的に模倣する。実質的に同じ形状は、画像の歪みおよびユーザーの眼３４０４によって知覚される他の望ましくない光学効果を最小限に抑えることができる。ヘッドセット３４００によって、周辺視野でユーザーがヘッドセット３４００の黒いエッジではなく画像全体を見ることができるため、完全に没頭することが可能となる。可撓性ディスプレイ３４０１、独自のレンズ３４０３、およびディスプレイおよびレンズの円弧構造の機械的構成を組み合わせることによって、ヘッドセット３４００はまた、光学的欠陥を最小限に抑えながら、視野およびヘッドセット３４００のサイズの最適な比率を提供する。このようなヘッドセットアセンブリは、静的セットアップ、４５度移動セットアップ、標準調整セットアップ、または屈曲可能セットアップを使用して実現しうる。

最も簡単なメカニックセットアップは、ディスプレイに対するレンズの静的な位置によるものである。このようなセットアップでは、ディスプレイのフルサイズを利用する。ディスプレイは、光学システム／レンズの正確な中心に配置される。しかしながら、このアプローチでは、視覚に障害のあるユーザーがレンズを調整または再配置できないため、使用が制限される。図３５は、ディスプレイが固体フレーム上のレンズ３５０１に接続されている静的セットアップ３５００を示す。これらのコンポーネントはいずれの方向にも移動できず、それらの位置は、ＶＲヘッドセットの残りの部分（他のプラスチック部品、電子機器など）および眼に対して固定されている。

視覚障害を補うには、レンズとディスプレイとの間の距離を調整して焦点を調整する必要がある。理想的な光学パラメータを実現するには、ディスプレイおよびレンズのすべての可視セグメント間の距離を一定に保つために、この調整可能角度を４５度未満にする必要がある。

図３６は、画像品質に悪影響を与えることなくディスプレイ３６０１とレンズ３６０２との間の距離を変更することができる、４５度の移動セットアップ３６００を示す。ディスプレイ３６０１は、レンズ３６０２のより近くまたはより遠くに移動でき、あるいは、レンズ２６０２は、手動の機械システムを使用してまたは電気モーターや任意の他のアクチュエータ３６０３、３６０５によってディスプレイのより近くまたは遠くに移動できる。このシステムの重要な必要条件は、許容される移動調整機能が４５度未満にすぎないことである。このような制限された４５度の動きの下で、ユーザーの眼３６０４によって知覚されるすべての可視点の距離の変化を補正できる。４５度の動きは、各眼３６０４について個別に調整できるため、各眼で異なる視覚障害を持つユーザーに対応できる。

標準的な調整セットアップにより、ユーザーは、瞳孔間距離、並びに、画面とレンズとの間の距離を調整できる。人間は頭の形が異なり、したがって眼の中心間の距離も異なるため、瞳孔間距離を調整できることは重要である。最高の体験を得るには、瞳孔間距離がＶＲヘッドセットのレンズ間の距離、およびディスプレイとレンズとの間の距離内に適合する必要がある。瞳孔間距離を調整できることにより、さまざまな視覚障害を補う助けとなる。

図３７は、標準的な調整セットアップ３７００を示し、瞳孔間距離３７０４並びにスクリーンとレンズ３７０５との間の距離を変更することができる。瞳孔間距離３７０４は、手動でまたはアクチュエータによって操作することができる機械システム３７０１によって調整可能である。機械システム３７０１は、ディスプレイとレンズの両方と共に同じ距離だけ動く。したがって、レンズ３７０２とディスプレイ３７０６との間の位置は変化せず、ユーザーは依然としてまったく同じ画像を見る。視覚障害（焦点）の補正は、別の機械システムによって操作され、これは、手動並びに自動でよく、両方のレンズ３７０２が正確な角度の下で動いて可撓性ディスプレイ３７０６の屈曲をコピーすることを可能とし、したがって、ディスプレイ３７０６とレンズ３７０２との間の理想的な位置が維持される。

いくつかの実施形態では、ＶＲヘッドセットは、瞳孔間距離および視覚障害（焦点）の両方の調整を可能にしうる。これら２つの調整は、ディスプレイの一端（ＶＲヘッドセットのエッジ上）に接続されているレンズと一緒に動く１つの機械システムを介して接続されうる。ディスプレイの他端（ユーザーの鼻の近くに位置する）は静的で、ＶＲヘッドセットの残りの部分に接続されてもよい。したがって、いくつかの実施形態では、ディスプレイに対するレンズの動きを補正する唯一の方法は、ディスプレイの屈曲角度を変更することである。そうすることで、ＶＲヘッドセットは、１組の機械ギアのみを使用して複数の光学的問題を補正でき、したがって、ＶＲヘッドセットをより軽量で調整しやすくすることができる。

図３８は、瞳孔間距離が視覚障害（焦点）調整の補正と関連している、屈曲可能なセットアップ３８００を示す。開始位置３８０１では、システム全体が視覚障害のない平均的なユーザー向けに設定されている。ディスプレイ３８０７は、ユーザーの鼻に近い方の端の位置３８０４でＶＲヘッドセットに固定される。他端において、ディスプレイ３８０７は、レンズ３８０５に接続されている。他のディスプレイも同様に配置されている。レンズ３８０５は水平に移動することができ、したがって、ユーザーの眼３８０８間の瞳孔間距離の調整を容易にする。この調整は、手動でまたはアクチュエータ３８０６を使用して行うことができる。この調整は、眼ごとに個別に行ってもよい。仕上げ位置３８０２に示されているように、レンズ３８１０が移動した後、ディスプレイ３８０９が屈曲し、したがって、レンズに対するその角度が変化し、光学系全体が変化する。そのような動きは、一端でレンズ３８１０とディスプレイ３８０９との間の距離を短縮させかつ別の端で距離を拡大させ、それにより、ユーザーの視覚障害を補正することができる。

今日、ＶＲビデオコンテンツを再生するわずか２つの方法は、ケーブル接続されたＶＲヘッドセットを備えたコンピュータを介するか、スタンドアロンのＶＲヘッドセットを使用することである。これらの方法の両方について、コンピュータの側でまたはスタンドアロンのＶＲヘッドセット内に、特別なアプリケーションをインストールする必要がある。さらに、必要なコンテンツもインターネットからダウンロードまたはストリーミングする必要がある。したがって、ＨＤＭＩ（登録商標）やＤｉｓｐｌａｙＰｏｒｔのような任意の種類のビデオケーブルを接続して、ＶＲヘッドセット内のＶＲビデオコンテンツの視聴を可能とする別の装置が必要である。ＶＲビデオ変換ボックスは、そのような装置の１つである。ＶＲビデオ変換ボックスは、処理ユニット、および、受信したビデオ信号を取得してリアルタイムでネイティブの３６０度ビデオプレーヤーに投影する低レベルの運用システムを有しうる。このような３６０度ビデオプレーヤーは、ビデオがマッピングされている３６０度球全体のサブセットのみを使用する；しかしながら、適切なワーピングが追加されるため、ビデオストリームは自然で歪んでいないように見える。ＶＲビデオ変換ボックスはまた、クォータニオン（ＩＭＵ、または他の回転データ）を受け入れるためのＵＳＢ入力を備えたＶＲヘッドセット用のデジタルビデオ出力を含んでもよく、ユーザーがＶＲビデオを見ながら頭を回転することが可能となる。回転機能はいつでもオフにできる。

いくつかの実施形態では、ＶＲビデオ変換ボックスは、特定のＶＲヘッドセットでのみ機能するようにプログラムされてもよいが、他の実施形態では、任意の数および種類のＶＲヘッドセット間で切り替えることができてもよい。ＶＲビデオ変換ボックスは、追加のサウンドカードを有してもよく、別個のサウンドラインを任意の外部装置に接続するためのコネクタを有しても有しなくてもよい。ＶＲビデオ変換ボックスには、バッテリーなどの追加の電源が必要な場合や、送電網に接続される必要がある場合がある。ＶＲビデオ変換ボックスによって、任意のビデオコンテンツを任意のＶＲヘッドセット内で再生することが可能となる。また、ＶＲコンテンツとの互換性の問題を解決しうる。ＶＲヘッドセットおよびＶＲ技術の使いやすさが全般的に拡張されうる。さらに、いくつかの実施形態では、ＶＲビデオ変換ボックスによって、プレーヤーが互換性のあるＶＲビデオ変換ボックスケーブルの１つを有する任意の標準ＤＶＤまたはＶＨＳコンテンツさえも再生することが可能となる。

図３９は、ＶＲビデオ変換ボックス３９０３の概略図３９００を示す。ＶＲビデオ変換ボックス３９０３は、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、任意の種類のケーブルなどを使用して、ビデオソース３９０１に通信可能にリンクされ得る。ビデオソース３９０１は、ＤＶＤプレーヤー、ゲームコンソール、コンピュータ、またはデジタルビデオ信号を生成することができる任意の装置であり得る。ビデオ信号は、ケーブル３９０２または任意の他の通信リンク機構を介して転送されてもよい。ＨＤＭＩ（登録商標）、ＤＶＩ、ＤｉｓｐｌａｙＰｏｒｔ、ＵＳＢ−ｃ、またはその他のデジタルケーブルのような、任意の種類のケーブルを使用してもよい。ＶＲビデオ変換ボックス３９０３はさらに、ビデオ信号をキャプチャし、プロセッサ３９０６によって処理され得るＭＩＰＩ信号に変換するカメラシリアルインターフェース３９０４から構成され得る。プロセッサ３９０６は、任意の画像またはビデオを仮想球上に投影し、そのサイズを調整し、入力データに従って球を回転させることができる、Ｃ＋＋ビデオプレーヤーを備えたＬｉｎｕｘ（登録商標）オペレーティングシステム上で実行することができる。このビデオプレーヤーは、ＵＳＢ、ケーブル、または無線接続などの通信機構３９０８を介してＶＲヘッドセット３９０９の慣性測定ユニット３９１０と通信するローカルＩ／Ｏインターフェース３９０７に接続され得る。プロセッサ３９０６とVRヘッドセットチップ３９１０との間の接続により、ＶＲビデオ変換ボックス３９００が、ＶＲヘッドセット３９０９との接続を確立し、ＶＲヘッドセット３９０９の回転に関するデータを受け入れることが可能となり、したがって、ビデオプレーヤーが投影球を回転させ、それに応じてビデオ信号３９１３を変更することが可能となる。そのようなビデオ信号３９１３は、ＶＲヘッドセット３９０９に転送され、ＶＲヘッドセットの画面３９１１上に視覚化され得る。ＶＲヘッドセット３９０９は、外部電池３９１２によって、または、ＶＲビデオ変換ボックス３９０３からのケーブルの１つを介して遠隔で、電力供給されてもよく、ＶＲビデオ変換ボックス３９０３は、電池３９０５によって電力を供給されるかまたは電力網に接続されてもよい。

アイトラッキングは、ユーザーの行動、マーケティング分析を研究するために、および生体認証測定ツールとして、多くの用途で長い間使用されてきた。いくつかの実施形態では、アイトラッキングは、ＶＲヘッドセットのセキュリティ対策として使用されてもよく、ＶＲヘッドセット内のストリーミングされているコンテンツをユーザーが見る資格があるかどうかをリアルタイムで特定する。

アイトラッキングセキュリティ対策は、２つの異なる方法で機能しうる。第１の方法は、ＶＲヘッドセット自体に接続されたセキュリティ対策を有してもよい。これにより、ユーザーの網膜の生体認証のフットプリントをＶＲヘッドセットのメモリ内に保存する安全な方法が可能となる。ユーザーの網膜が認識されない場合、ＶＲヘッドセットが動作しない可能性がある。しかしながら、これはコンテンツを保護するものではなく、ＶＲヘッドセットの誤用のみを保護するものである。第２の方法は、ユーザーが自分自身のセキュリティキーを作成することを可能とし、キーの秘密部分はユーザーの網膜である。秘密鍵は、分類された用途（すなわち、ＶＲコンテンツ）とともにコンパイルする必要がありうる。セキュリティ対策の開発者は、秘密鍵とコンパイルされる前に、コンテンツの閲覧を許可されているすべてのユーザーの公開鍵を追加できる必要がありうる。この第２の方法によって、ＶＲ画像のすべての３Ｄオブジェクトに異なる権限を追加することが可能となる。各公開鍵は、これらの特権の１つに割り当てる必要がありうる。ユーザーに割り当てられた権限が低い場合、一部の３−Ｄオブジェクトはそのユーザーに対して適切に復号化されないため、グラフィカルカードレンダリングパイプライン中に認識できないブラーが作成され、ブラーが最終的なＶＲ画像に表示される。セキュリティシステムは、ユーザーの眼をリアルタイムで追跡しうる。

位置ベースのＶＲシステムは、人工的な環境の中で興味深い体験をユーザーに提供する。このような体験を提供するには、例えば数百平方メートルのより広いエリアで複数のユーザーが同時に体験することを可能にする正確なトラッキングソリューションをインストールする必要がある。現在利用可能な位置ベースのＶＲシステムは、主に光学系を使用しており、赤外線カメラ、サーバー、サポートインフラストラクチャなどの高価な機器が必要である。また、実行するためにかなりの電力を消費する。したがって、より優れた位置ベースのＶＲシステムが必要である。いくつかの実施形態では、位置ベースのＶＲシステムは、インサイドアウトトラッキングと組み合わせた位置三角測量用の超広帯域波の組み合わせを用いることにより、数百平方メートルのエリアをカバーすることができる、信頼性のある、手頃な価格の、正確なトラッキングソリューションを作成することが可能である。このアプローチは、数メートルの追跡スペースが増えるごとに数学的複雑さが増すので、より小さな領域にのみ適用できるインサイドアウトトラッキングの制限を排除する。また、超広帯域三角測量アプローチの精度の問題が取り除かれ、したがって、利便性と手頃な価格を提供し、ＶＲヘッドセットだけでなくＶＲ画像内の他のすべてのオブジェクトを追跡できる、独自の組み合わせの技術が作成される。

図４０は、位置ベースの体験エリアを制限する壁４００２を有する地図４０００を示す。このエリアは、標準の光学トラッキングによって追跡され、長方形４００３によって視覚化される。このようなエリアを完全に追跡するには、約１８台のカメラおよびケーブルおよびサーバーが必要である。エリアを追跡することにより、ＶＲヘッドセット上の反射ポイントを着用する必要があるユーザー４００４の位置が計算される。

図４１は、位置ベースの体験エリアを制限する壁４１０２を備えた地図４１００を示す。このエリアは、ＵＷＢとしても知られる超広帯域トラッキングによって追跡され、これは、例示の目的で４１０１として図示されるビーコンによって視覚化される。このようなエリアを完全に追跡するために、約４つのビーコンおよびケーブルおよびサーバーが必要であり、図４０に示される光学系に必要とされるカメラより著しく数が少ない。また、ユーザーの位置を分析および計算するために必要な計算能力ははるかに簡単である。しかしながら、ＵＷＢは、追跡精度という１つ大きな欠点を有する。エリア４１０３は、ＵＷＢ、すなわち、ユーザーが最も位置している可能性が高いとＵＳＢが判断するエリアにおいて、追跡精度の欠陥を示している。エリア内でＵＷＢによって行われたユーザー位置の推定は、矢印４１０４で示されている。このような低い追跡精度では、ＶＲ技術にＵＷＢを使用できなくなる、なぜならば、ＶＲ技術は、ユーザーに吐き気を催させることを避けるために、正確な位置データおよび回転データを必要とするからである。

図４２は、位置ベースの体験エリアを制限する壁４２０３を備えた地図４２００を示す。このエリアは、ユーザー４００５のＶＲヘッドセットに配置されたインサイドアウトトラッキング４００４によって追跡される。このようなエリアを完全に追跡してユーザーの位置を特定するには、１つのセンサーおよび１つのコンピュータのみが必要なので、インサイドアウトトラッキングが最も手頃なソリューションになる。しかしながら、そのような追跡は制限される、なぜならば、ユーザーの以前の位置の以前に決定されたデータセットに基づいて、ユーザーの新しい位置の視覚的一致を決定することに依存するためである。したがって、ユーザーが移動すると、以前に決定されたデータセットが大きくなり、ユーザーの新しい位置の決定に大幅な遅延が発生する。したがって、インサイドアウトトラッキングは、ユーザーの位置、回転、および動きに関する正確な相対情報を提供するが、限られたスペース４００２で動作する。

図４３は、位置ベースの体験エリアを制限する壁４３０２を備えた地図４３００を示す。このエリアは、インサイドアウトトラッキング４３０３とともに、青い長方形のビーコン４３０１として描かれているＵＷＢトラッキングによって追跡できる。ＵＷＢトラッキング４３０１は、青い円４３０４内のユーザー４３０５のおおよその位置に関する情報を提供する一方で、インサイドアウトトラッキング４３０３は、ＶＲヘッドセットを装着しているユーザー４３０５の正確な位置を検出する。両方の追跡メカニズムを使用することにより、ユーザーの位置のデータセットをリアルタイムで交換できるため、ユーザーの移動に合わせて検索および照合する必要のあるデータの量を制限できる。つまり、ユーザーの新しい場所ごとにリアルタイムのデータ交換が行われる。この追跡メカニズムにより、ユーザーの正確な位置を特定し、ユーザーが吐き気を感じることを回避することが可能となる。

本明細書で使用する場合、第１の存在と第２の存在との間に置かれる「および／または」という用語は、（１）第１の存在、（２）第２の存在、および（３）第１の存在および第２の存在の１つを意味する。「および／または」でリストされた複数の存在は、同じ態様で、つまりそのように結合された存在の「１つ以上」と解釈される。「および／または」句によって具体的に同定された存在以外に、それらの具体的に同定された存在に関連するかどうかに関係なく、他の存在が必要に応じあってもよい。したがって、非限定的な例として、「含む」などの制限のない言語と組み合わせて使用される場合の「Ａおよび／またはＢ」への言及は、一実施形態では、Ａのみ（必要に応じてＢ以外の存在を含む）を称し；別の実施形態では、Ｂのみ（必要に応じてＡ以外の存在を含む）を称し；さらに別の実施形態では、ＡおよびＢの両方（必要に応じて他の存在を含む）を称する。これらの存在は、要素、動作、構造、ステップ、操作、値などを称してもよい。

本明細書で使用する場合、第１の存在と第２の存在との間に置かれる「および／または」という用語は、（１）第１の存在、（２）第２の存在、および（３）第１の存在および第２の存在の１つを意味する。「および／または」でリストされた複数の存在は、同じ態様で、つまりそのように結合された存在の「１つ以上」と解釈される。「および／または」句によって具体的に同定された存在以外に、それらの具体的に同定された存在に関連するかどうかに関係なく、他の存在が必要に応じあってもよい。したがって、非限定的な例として、「含む」などの制限のない言語と組み合わせて使用される場合の「Ａおよび／またはＢ」への言及は、一実施形態では、Ａのみ（必要に応じてＢ以外の存在を含む）を称し；別の実施形態では、Ｂのみ（必要に応じてＡ以外の存在を含む）を称し；さらに別の実施形態では、ＡおよびＢの両方（必要に応じて他の存在を含む）を称する。これらの存在は、要素、動作、構造、ステップ、操作、値などを称してもよい。
他の実施形態
１． 仮想または拡張現実装置であって、
少なくとも１つの視覚化装置；
少なくとも１つの外部コンピュータ；
少なくとも２つのディスプレイ、
を備え、
少なくとも１つの外部コンピュータが、少なくとも１つの視覚化装置に通信可能にリンクされ、
前記外部コンピュータがさらに、中央処理ユニットおよびビデオアダプタを備え、
前記ビデオアダプタが、前記視覚化装置に複数のデータストリームを供給し、
前記少なくとも２つのディスプレイが、前記少なくとも１つの視覚化装置に接続される、
仮想または拡張現実装置。
２． 前記少なくとも１つの視覚化装置がさらに、少なくとも１つの専用ビデオスプリッタを備えることを特徴とする、実施形態１に記載の仮想または拡張現実装置。
３． 前記少なくとも１つの視覚化装置がさらに、少なくとも１つの直接外部ビデオ接続、少なくとも１つのグラフィカルアダプター、および少なくとも１つの処理ユニットを備えることを特徴とする、実施形態１に記載の仮想または拡張現実装置。
４． 前記少なくとも１つの外部コンピュータが、少なくとも１つのビデオ信号を提供することを特徴とする、実施形態１に記載の仮想または拡張現実装置。
５． 前記視覚化装置が、少なくとも２つのビデオ信号の間で切り替わることを特徴とする、実施形態２に記載の仮想または拡張現実装置。
６． 少なくとも２つのアイトラッキングシステムをさらに備えることを特徴とする、実施形態１に記載の仮想または拡張現実装置。
７． 前記少なくとも２つのアイトラッキングシステムがさらに、ミラーとして少なくとも１つの視覚化装置のディスプレイを使用する少なくとも２つのアイトラッキングカメラを備えることを特徴とする、実施形態６に記載の仮想または拡張現実装置。
８． 前記少なくとも２つのディスプレイの位置を調整する少なくとも２つのアクチュエータをさらに備えることを特徴とする、実施形態１に記載の仮想または拡張現実装置。
９． 少なくとも１つのレンズをさらに備えることを特徴とする、実施形態１に記載の仮想または拡張現実装置。
１０． 少なくとも１つのコンタクトレンズをさらに備えることを特徴とする、実施形態１に記載の仮想または拡張現実装置。
１１． 異なる軸上に配置された少なくとも３つのＩＭＵをさらに備えることを特徴とする、実施形態１に記載の仮想または拡張現実装置。
１２． 少なくとも１つの感知できるアクチュエータをさらに備えることを特徴とする、実施形態１に記載の仮想または拡張現実装置。
１３． 少なくとも１つの感知できるセンサーをさらに備えることを特徴とする、実施形態１２に記載の仮想または拡張現実装置。
１４． 前記感知できるアクチュエータおよび前記感知できるセンサーが、少なくとも１つの感覚を仮想環境から実環境へまたはその逆に転送することを特徴とする、実施形態１３に記載の仮想または拡張現実装置。
１５． 仮想または拡張現実装置であって、
少なくとも１つの視覚化装置；および
少なくとも１つのＸＲ／ＡＲモジュール、
を備え、
少なくとも１つのＸＲ／ＡＲモジュールがさらに、調整可能に配置できる２つの正面カメラを備える、
仮想または拡張現実装置。
１６． 前記正面カメラが、広角カメラであることを特徴とする、実施形態１５に記載の仮想または拡張現実装置。
１７． 仮想または拡張現実装置であって、
少なくとも１つの視覚化装置；および
少なくとも１つの外部コンピュータ；
少なくとも２つのディスプレイ、
を備え、
少なくとも１つの外部コンピュータが、少なくとも１つの視覚化装置に通信可能にリンクされ、
前記外部コンピューターがさらに、中央処理ユニットおよびビデオアダプタを備え、
前記ビデオアダプタが、前記視覚化装置に複数のデータストリームを供給し、
前記少なくとも２つのディスプレイが、前記少なくとも１つの視覚化装置に接続され、
前記少なくとも２つのディスプレイが可撓性である、
仮想または拡張現実装置。
１８． さらにレンズを備えることを特徴とする、実施形態１７に記載の仮想または拡張現実装置。
１９． 前記レンズが、前記ディスプレイの屈曲を実質的に模倣することを特徴とする、実施形態１８に記載の仮想または拡張現実装置。
２０． 前記レンズが、一端において前記ディスプレイの各々に接続されることを特徴とする、実施形態１９に記載の仮想または拡張現実装置。

Claims (20)

1. 仮想または拡張現実装置であって、
   少なくとも１つの視覚化装置；
   少なくとも１つの外部コンピュータ；
   少なくとも２つのディスプレイ、
   を備え、
   少なくとも１つの外部コンピュータが、少なくとも１つの視覚化装置に通信可能にリンクされ、
   前記外部コンピュータがさらに、中央処理ユニットおよびビデオアダプタを備え、
   前記ビデオアダプタが、前記視覚化装置に複数のデータストリームを供給し、
   前記少なくとも２つのディスプレイが、前記少なくとも１つの視覚化装置に接続される、
   仮想または拡張現実装置。
2. 前記少なくとも１つの視覚化装置がさらに、少なくとも１つの専用ビデオスプリッタを備えることを特徴とする、請求項１に記載の仮想または拡張現実装置。
3. 前記少なくとも１つの視覚化装置がさらに、少なくとも１つの直接外部ビデオ接続、少なくとも１つのグラフィカルアダプター、および少なくとも１つの処理ユニットを備えることを特徴とする、請求項１に記載の仮想または拡張現実装置。
4. 前記少なくとも１つの外部コンピュータが、少なくとも１つのビデオ信号を提供することを特徴とする、請求項１に記載の仮想または拡張現実装置。
5. 前記視覚化装置が、少なくとも２つのビデオ信号の間で切り替わることを特徴とする、請求項２に記載の仮想または拡張現実装置。
6. 少なくとも２つのアイトラッキングシステムをさらに備えることを特徴とする、請求項１に記載の仮想または拡張現実装置。
7. 前記少なくとも２つのアイトラッキングシステムがさらに、ミラーとして少なくとも１つの視覚化装置のディスプレイを使用する少なくとも２つのアイトラッキングカメラを備えることを特徴とする、請求項６に記載の仮想または拡張現実装置。
8. 前記少なくとも２つのディスプレイの位置を調整する少なくとも２つのアクチュエータをさらに備えることを特徴とする、請求項１に記載の仮想または拡張現実装置。
9. 少なくとも１つのレンズをさらに備えることを特徴とする、請求項１に記載の仮想または拡張現実装置。
10. 少なくとも１つのコンタクトレンズをさらに備えることを特徴とする、請求項１に記載の仮想または拡張現実装置。
11. 異なる軸上に配置された少なくとも３つのＩＭＵをさらに備えることを特徴とする、請求項１に記載の仮想または拡張現実装置。
12. 少なくとも１つの感知できるアクチュエータをさらに備えることを特徴とする、請求項１に記載の仮想または拡張現実装置。
13. 少なくとも１つの感知できるセンサーをさらに備えることを特徴とする、請求項１２に記載の仮想または拡張現実装置。
14. 前記感知できるアクチュエータおよび前記感知できるセンサーが、少なくとも１つの感覚を仮想環境から実環境へまたはその逆に転送することを特徴とする、請求項１３に記載の仮想または拡張現実装置。
15. 仮想または拡張現実装置であって、
    少なくとも１つの視覚化装置；および
    少なくとも１つのＸＲ／ＡＲモジュール、
    を備え、
    少なくとも１つのＸＲ／ＡＲモジュールがさらに、調整可能に配置できる２つの正面カメラを備える、
    仮想または拡張現実装置。
16. 前記正面カメラが、広角カメラであることを特徴とする、請求項１５に記載の仮想または拡張現実装置。
17. 仮想または拡張現実装置であって、
    少なくとも１つの視覚化装置；および
    少なくとも１つの外部コンピュータ；
    少なくとも２つのディスプレイ、
    を備え、
    少なくとも１つの外部コンピュータが、少なくとも１つの視覚化装置に通信可能にリンクされ、
    前記外部コンピューターがさらに、中央処理ユニットおよびビデオアダプタを備え、
    前記ビデオアダプタが、前記視覚化装置に複数のデータストリームを供給し、
    前記少なくとも２つのディスプレイが、前記少なくとも１つの視覚化装置に接続され、
    前記少なくとも２つのディスプレイが可撓性である、
    仮想または拡張現実装置。
18. さらにレンズを備えることを特徴とする、請求項１７に記載の仮想または拡張現実装置。
19. 前記レンズが、前記ディスプレイの屈曲を実質的に模倣することを特徴とする、請求項１８に記載の仮想または拡張現実装置。
20. 前記レンズが、一端において前記ディスプレイの各々に接続されることを特徴とする、請求項１９に記載の仮想または拡張現実装置。

Images