JP2019511148A - 拡張現実システムにおいてオーディオを指向させるための技法 - Google Patents

Abstract

聴覚補助装置は、実音源へのエンドユーザの焦点合わせを検出するように構成されるセンサと、音を電気信号に変換するように構成されるマイクロホンアセンブリと、電気信号を音に変換するように構成されるスピーカと、検出された焦点合わせに基づいて、マイクロホンアセンブリの最大感度の方向および／または距離を修正するように構成される制御サブシステムとを備える。仮想画像生成システムは、３次元場面を記憶するメモリと、音源へのエンドユーザの焦点合わせを検出するように構成されるセンサと、音をエンドユーザに伝達するように構成されるスピーカと、スピーカに、焦点合わせの検出に応答して、音源から生じる音を優先的に伝達させ、場面の画像フレームをレンダリングするように構成される、制御サブシステムと、画像フレームをエンドユーザに連続して表示するように構成されるディスプレイサブシステムとを備える。

Description

（発明の分野）
本発明は、概して、拡張現実環境において使用され得るもの等の頭部装着型聴覚補助デバイスに関する。

（背景）
現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、本物であるように見える、またはそのように知覚され得る様式でユーザに提示される、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進している。仮想現実（ＶＲ）シナリオは、典型的には、他の実際の実世界の視覚的入力に対して透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う一方、拡張現実（ＡＲ）シナリオは、典型的には、エンドユーザの周囲の実際の世界の可視化の拡張としてデジタルまたは仮想画像情報の提示を伴う。

例えば、図１を参照すると、拡張現実場面４が、描写され、ＡＲ技術のユーザには、人々、木々、背景内の建物、およびコンクリートプラットフォーム８を特徴とする、実世界公園状設定６が見える。これらのアイテムに加え、ＡＲ技術のエンドユーザはまた、実世界プラットフォーム８上に立っているロボット像１０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１２とが「見える」と知覚するが、これらの要素１０、１２は、実世界には存在しない。結論から述べると、ヒト視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適かつ自然な感覚で豊かな提示を促進する、ＶＲまたはＡＲ技術を生成することは、困難である。

ＶＲおよびＡＲシステムは、典型的には、ユーザの頭部に少なくとも緩く結合され、したがって、エンドユーザの頭部が移動すると、移動する、頭部装着型ディスプレイ（またはヘルメット搭載型ディスプレイ、またはスマートグラス）を採用する。エンドユーザの頭部運動が、ディスプレイシステムによって検出される場合、表示されているデータは、頭部姿勢（すなわち、ユーザの頭部の配向および／または場所）の変化を考慮して、更新されることができる。

実施例として、頭部装着型ディスプレイを装着しているユーザが、ディスプレイ上の３次元（３Ｄ）オブジェクトの仮想表現を視認し、３Ｄオブジェクトが現れる面積の周囲を歩き回る場合、その３Ｄオブジェクトは、視点毎に、再レンダリングされ、エンドユーザに、実空間を占有するオブジェクトの周囲を歩き回っているという知覚を与えることができる。頭部装着型ディスプレイが、複数のオブジェクトを仮想空間（例えば、豊かな仮想世界）内に提示するために使用される場合、頭部姿勢の測定が、場面を再レンダリングし、エンドユーザの動的に変化する頭部場所および配向に合致させ、仮想空間内への没入感の増加を提供するために使用されることができる。

ＡＲ（すなわち、実および仮想オブジェクトの同時視認）を可能にする、頭部装着型ディスプレイは、いくつかの異なるタイプの構成を有することができる。多くの場合、「ビデオシースルー」ディスプレイと称される、１つのそのような構成では、カメラが、実場面の要素を捕捉し、コンピューティングシステムが、仮想要素を捕捉された実場面上に重畳し、非透明ディスプレイが、合成画像を眼に提示する。別の構成は、多くの場合、「光学シースルー」ディスプレイと称され、エンドユーザは、ディスプレイシステム内の透明（または半透明）要素を通して見て、直接、環境内の実オブジェクトからの光を視認することができる。多くの場合、「コンバイナ」と称される、透明要素は、ディスプレイからの光を実世界のエンドユーザのビューにわたって重畳させる。

ユーザのためのＶＲ／ＡＲ体験を向上させるために、実音源によって発生された音および／または仮想音源によって発生された音が、頭部装着型ディスプレイの中に組み込まれる、または別様にそこに接続される、スピーカを介して、ユーザに伝達されてもよい。音が実音源または仮想音源のどちらから発生されるかにかかわらず、ユーザが、自身が関心のあるオブジェクトからの音のみを聞くように、ユーザが焦点合わせしている方向および／またはユーザが焦点合わせしている距離における音を優先的に受信することが望ましい。指向性マイクロホンが、他の源からの雑音を消去しながら、特定の方向および／または特定の距離に位置する実音源または仮想音源から到着する音を優先的に受信するために、頭部装着型ディスプレイと関連付けられることができるが、音源までの指向性マイクロホンの最大感度の方向および／または距離は、必ずしも、ユーザが焦点合わせしている方向および／またはユーザが焦点合わせしている距離に対応しない場合がある。

したがって、エンドユーザに、その人物が焦点合わせしている実音源または仮想音源から到着する音を優先的に受信および伝達する必要がある。

本発明の一側面によると、エンドユーザによる使用のための聴覚補助装置が、提供される。聴覚補助装置は、実際または仮想のものであり得る、音源へのエンドユーザの焦点合わせを検出するように構成される、少なくとも１つのセンサ（例えば、カメラ）を備える。一実施形態では、センサは、エンドユーザの眼の角度位置を検出し、エンドユーザの焦点合わせの方向を検出するように構成される。別の実施形態では、センサは、エンドユーザの眼の収束を検出し、エンドユーザの焦点合わせの距離を検出するように構成される。さらに別の実施形態では、センサは、エンドユーザの頭部の角度位置を検出し、エンドユーザの焦点合わせの方向を検出するように構成される。

聴覚補助装置はさらに、音を電気信号に変換するように構成される、適応マイクロホンアセンブリと、エンドユーザによる知覚のために電気信号を音に変換するように構成される、スピーカとを備える。一実施形態では、マイクロホンアセンブリは、ダイポール、カージオイド、スーパーカージオイド、またはハイパーカージオイドパターンのうちの１つに従って、音を電気信号に変換するように構成される。別の実施形態では、マイクロホンアセンブリは、マイクロホン要素のフェーズドアレイを備える。聴覚補助装置は、随意に、エンドユーザによって装着されるように構成される、フレーム構造を備えてもよい。フレーム構造は、センサと、マイクロホンアセンブリと、スピーカとを担持してもよい。

聴覚補助装置はさらに、音源へのエンドユーザの検出された焦点合わせに基づいて、適応マイクロホンアセンブリの最大感度の方向および／または距離を修正するように構成される制御サブシステムを備える。例えば、制御サブシステムは、適応マイクロホンアセンブリの最大感度をエンドユーザの検出された焦点合わせの方向および／または距離に設定するように構成されてもよい。

本発明の第２の側面によると、エンドユーザによる使用のための仮想画像生成システムが、提供される。仮想画像生成システムは、３次元場面を記憶するメモリと、音源（実際または仮想のものであり得る）へのエンドユーザの焦点合わせを検出するように構成される、少なくとも１つのセンサと、音をエンドユーザに伝達するように構成される、スピーカとを備える。聴覚補助装置は、実際または仮想のものであり得る、音源へのエンドユーザの焦点合わせを検出するように構成される、少なくとも１つのセンサ（例えば、カメラ）を備える。一実施形態では、センサは、エンドユーザの眼の角度位置を検出し、エンドユーザの焦点合わせの方向を検出するように構成される。別の実施形態では、センサは、エンドユーザの眼の収束を検出し、エンドユーザの焦点合わせの距離を検出するように構成される。さらに別の実施形態では、センサは、エンドユーザの頭部の角度位置を検出し、エンドユーザの焦点合わせの方向を検出するように構成される。仮想画像生成システムはさらに、スピーカに、ある音源へのエンドユーザの焦点合わせの検出に応答して、他の音源よりその音源から生じる音を優先的に伝達させるように構成される、制御サブシステムを備える。

音源が実際のものである場合、仮想画像生成システムはさらに、音を増幅させるように構成される、適応マイクロホンアセンブリを備えてもよく、その場合、制御サブシステムは、適応マイクロホンアセンブリの最大感度をエンドユーザの検出された焦点合わせの方向および／または距離に設定するように構成されてもよい。適応マイクロホンアセンブリは、例えば、ダイポール、カージオイド、スーパーカージオイド、またはハイパーカージオイドパターンのうちの１つに従って、音を増幅させるように構成されてもよい。音源が、仮想のものである場合、３次元場面は、仮想音源を含んでもよく、メモリは、３次元場面の仮想音源と関連付けて合成音データを記憶してもよい。この場合、制御サブシステムは、仮想音源へのエンドユーザの焦点合わせの検出に応答して、仮想音源を他の音源から識別し、スピーカに、合成音データに従って、音をエンドユーザに伝達させるように構成されてもよい。

制御サブシステムはさらに、３次元場面の複数の合成画像フレームをレンダリングするように構成されてもよく、その場合、仮想画像生成システムはさらに、複数の画像フレームをエンドユーザに連続して表示するように構成される、ディスプレイサブシステムを備える。制御サブシステムは、画像フレームをレンダリングするように構成される、グラフィック制御サブシステムユニット（ＧＰＵ）を備えてもよい。ディスプレイシステムは、エンドユーザの眼の正面に位置付けられるように構成されてもよい。ディスプレイシステムは、投影サブシステムと、部分的に透明なディスプレイ表面とを含んでもよい。この場合、投影サブシステムは、画像を部分的に透明なディスプレイ表面上に投影させるように構成され、部分的に透明なディスプレイ表面は、エンドユーザの眼と周囲環境との間の視野内に位置付けられるように構成され、それによって、エンドユーザが、３次元拡張場面を可視化することを可能にする。仮想画像生成システムはさらに、エンドユーザによって装着されるように構成される、フレーム構造を備えてもよい。フレーム構造は、センサと、適応マイクロホンアセンブリと、スピーカと、ディスプレイサブシステムとを担持してもよい。

随意の実施形態では、制御サブシステムは、実音源から生じる音が、実音源から生じているようにエンドユーザによって知覚されるように、電気信号を処理し、音を位置特定するように構成される。別の随意の実施形態では、制御サブシステムは、実音源から生じる音が強調され、および／または異なる音源から生じる音が強調解除されるように、電気信号を処理し、音の特定の周波数成分の音量を選択的に上昇または降下させるように構成されてもよい。さらに別の随意の実施形態では、制御サブシステムは、電気信号を処理し、実音源から生じる第１の音の特性と異なる源から生じる第２の音の特性とを比較し、第１の音の特性と同じタイプの特性を有する音を強調し、第２の音と同じタイプの特性を有する音を強調解除するように構成される。

本発明の第２の側面によると、前述の聴覚補助装置は、仮想現実システムまたは拡張現実システム等の仮想画像生成システムの中に組み込まれてもよい。聴覚補助装置のコンポーネントに加え、仮想画像生成システムはさらに、３次元場面を記憶するメモリを備え、制御システムはさらに、３次元場面の複数の合成画像フレームをレンダリングするように構成される。仮想画像生成システムはさらに、複数の画像フレームをエンドユーザに連続して表示するように構成される、ディスプレイサブシステムを備える。ディスプレイシステムは、エンドユーザの眼の正面に位置付けられるように構成されてもよい。ディスプレイシステムは、投影サブシステムと、部分的に透明なディスプレイ表面とを含んでもよい。この場合、投影サブシステムは、画像を部分的に透明なディスプレイ表面上に投影させるように構成され、部分的に透明なディスプレイ表面は、エンドユーザの眼と周囲環境との間の視野内に位置付けられるように構成され、それによって、エンドユーザが、３次元拡張場面を可視化することを可能にする。制御サブシステムは、画像をレンダリングするように構成される、グラフィック制御サブシステムユニット（ＧＰＵ）を備えてもよい。

随意の実施形態では、制御サブシステムは、ディスプレイサブシステムに、エンドユーザが焦点合わせしている方向および／または距離の視覚的インジケータをエンドユーザに表示するように命令するように構成される。別の随意の実施形態では、制御サブシステムは、ディスプレイサブシステムに、適応マイクロホンアセンブリの最大感度の方向および／または距離の視覚的インジケータをエンドユーザに表示するように命令するように構成される。

本発明の付加的および他の目的、特徴、および利点は、説明、図、および請求項に詳細に説明される。

図面は、類似要素が共通参照数字によって参照される、本発明の好ましい実施形態の設計および有用性を図示する。本発明の前述および他の利点および目的を得る方法をより深く理解するために、上記に簡単に説明される本発明のより詳細な説明が、付随の図面に図示される、その具体的実施形態を参照することによって与えられるであろう。これらの図面は、本発明の典型的実施形態のみを描写し、したがって、その範囲の限定と見なされるものではないことの理解の下、本発明は、付随の図面の使用を通して、付加的特異性および詳細とともに記載および説明されるであろう。

図１は、先行技術の拡張現実生成デバイスによってエンドユーザに表示され得る、３次元拡張現実場面の写真である。 図２は、本発明の一実施形態に従って構築された、拡張現実システムのブロック図である。 図３は、図２の拡張現実システムにおいて使用するためのディスプレイサブシステムの一実施形態の平面図である。 図４は、図２の拡張現実システムにおいて使用するためのディスプレイサブシステムの一実施形態の斜視図である。 図５は、図２の拡張現実システムによって生成された例示的フレームの平面図である。 図６ａは、図２の拡張現実システムにおいて使用するためのマイクロホンアセンブリによって形成され得る、ダイポールパターンの平面図である。図６ｂは、図２の拡張現実システムにおいて使用するためのマイクロホンアセンブリによって形成され得る、カージオイドパターンの平面図である。図６ｃは、図２の拡張現実システムにおいて使用するためのマイクロホンアセンブリによって形成され得る、スーパーカージオイドパターンの平面図である。図６ｄは、図２の拡張現実システムにおいて使用するためのマイクロホンアセンブリによって形成され得る、ハイパーカージオイドパターンの平面図である。 図７は、図２の拡張現実システムによる使用のための適応マイクロホンアセンブリの概略図である。 図８ａは、ユーザによって焦点合わせされているオブジェクトに対応する、マイクロホンアセンブリの最大感度の方向の平面図である。 図８ｂは、ユーザによって焦点合わせされているオブジェクトに対応する、マイクロホンアセンブリの最大感度の別の方向の平面図である。 図９ａは、図２の拡張現実システムを装着するために使用され得る、１つの技法の平面図である。 図９ｂは、図２の拡張現実システムを装着するために使用され得る、別の技法の平面図である。 図９ｃは、図２の拡張現実システムを装着するために使用され得る、さらに別の技法の平面図である。 図９ｄは、図２の拡張現実システムを装着するために使用され得る、さらに別の技法の平面図である。

（詳細な説明）
以下の説明は、拡張現実システムにおいて使用されることになるディスプレイシステムおよび方法に関する。しかしながら、本発明は、拡張現実システムにおける用途に非常に適しているが、本発明は、その最も広義の側面では、そのように限定されなくてもよいことを理解されたい。例えば、本発明は、仮想現実システムだけではなく、仮想または拡張現実体験をユーザに提示するためにディスプレイを利用しない、他の頭部装着型聴覚補助デバイスに適用されることができる。したがって、多くの場合、拡張現実システムの観点から本明細書に説明されるが、本教示は、そのような使用のそのようなシステムに限定されるべきではない。

図２を参照すると、本発明に従って構築された拡張現実システム１００の一実施形態が、ここで説明されるであろう。拡張現実システム１００は、拡張現実サブシステムとして動作され、エンドユーザ５０の視野内の物理的オブジェクトと混合される、仮想オブジェクトの画像を提供してもよい。拡張現実システム１００を動作させるとき、２つの基本アプローチがある。第１のアプローチは、１つまたはそれを上回る撮像機（例えば、カメラ）を採用して、周囲環境の画像を捕捉することである。拡張現実システム１００は、仮想画像を周囲環境の画像を表すデータの中に混合させる。第２のアプローチは、１つまたはそれを上回る少なくとも部分的に透明な表面を採用することであり、それを通して、周囲環境が、見られることができ、その上に、拡張現実システム１００は、仮想オブジェクトの画像を生成する。

少なくとも拡張現実用途のために、種々の仮想オブジェクトをエンドユーザ５０の視野内の個別の物理的オブジェクトに対して空間的に位置付けることが望ましくあり得る。本明細書では、仮想タグまたはタグまたはコールアウトとも称される、仮想オブジェクトは、基本的に、画像として表されることが可能な任意の種々のデータ、情報、概念、または論理構造である、多種多様な形態のいずれかをとってもよい。仮想オブジェクトの非限定的実施例は、仮想テキストオブジェクト、仮想数字オブジェクト、仮想英数字オブジェクト、仮想タグオブジェクト、仮想フィールドオブジェクト、仮想チャートオブジェクト、仮想マップオブジェクト、仮想計器オブジェクト、または物理的オブジェクトの仮想視覚表現を含んでもよい。

本発明により関連するものとして、拡張現実システム１００は、エンドユーザの焦点合わせと、エンドユーザが、エンドユーザに最も関連する音が聞こえるような方向に沿った、および／または距離における音の優先的受信を結合するように構成される。特に、拡張現実システム１００は、音源へのエンドユーザの焦点合わせを検出し、エンドユーザの検出された焦点合わせに基づいて、例えば、音の優先的受信の方向および／または距離をエンドユーザの検出された焦点合わせに設定することによって（すなわち、エンドユーザが焦点合わせしている音源に向かって、および／またはそこにおいて）、その音源から生じる音をエンドユーザに優先的に伝達させる。

この目的を達成するために、拡張現実システム１００は、エンドユーザ５０によって装着される、フレーム構造１０２と、ディスプレイシステム１０４がエンドユーザ５０の眼５２の正面に位置付けられるように、フレーム構造１０２によって担持される、ディスプレイシステム１０４と、ディスプレイシステム１０４の中に組み込まれる、またはそこに接続される、スピーカ１０６とを備える。図示される実施形態では、スピーカ１０６は、例えば、イヤーバッドまたはヘッドホン等、スピーカ１０６が、エンドユーザ５０の外耳道に隣接して（その中またはその周囲に）位置付けられるように、フレーム構造１０２によって担持される。随意に、別のスピーカ（図示せず）が、ステレオ／成形可能音制御を提供するために、エンドユーザ５０の他方の外耳道に隣接して位置付けられる。スピーカ１０６は、外耳道に隣接して位置付けられるように説明されるが、外耳道に隣接して位置しない、他のタイプのスピーカが、音をエンドユーザ５０に伝達するために使用されることができる。例えば、スピーカは、例えば、骨伝導技術を使用して、外耳道からある距離に設置されてもよい。

拡張現実システム１００はさらに、適応マイクロホンアセンブリ１０７を備え、該適応マイクロホンアセンブリは、周囲環境内の音を電気信号に変換し、該電気信号は、次いで、スピーカ１０６に送達され、そして、これは、電気信号を音に逆変換し、該音は、次いで、エンドユーザ５０に再生される。以下にさらに詳細に議論されるであろうように、マイクロホンアセンブリ１０７は、エンドユーザ５０が焦点合わせしている方向および距離に対応する特定の方向および／または特定の距離における音を優先的に受信し、それによって、エンドユーザ５０が、拡張現実場面の状況における任意の特定の時間において、ユーザに最も関連する音に焦点合わせすることを可能にする。したがって、マイクロホンアセンブリ１０７は、エンドユーザ５０が、関連音をより明確に聞くことを可能にするだけではなく、エンドユーザ５０の注意をより関連する音に向け、それによって、体験の有効性を向上させる。図示される実施形態では、マイクロホンアセンブリ１０７は、フレーム構造１０２のアームに搭載される。

ディスプレイシステム１０４は、エンドユーザ５０の眼５２に、高レベルの画質および３次元知覚を伴い、かつ２次元コンテンツを提示可能である、物理的現実の拡張として快適に知覚され得る光ベースの放射パターンを提示するように設計される。ディスプレイシステム１０４は、単一コヒーレント場面の知覚を提供する、フレームのシーケンスを高周波数で提示する。この目的を達成するために、ディスプレイサブシステム１０４は、投影サブシステム１０８と、投影サブシステム１０８が画像を投影する、部分的に透明なディスプレイ画面１１０とを備える。ディスプレイ画面１１０は、エンドユーザ５０の眼５２と周囲環境との間のエンドユーザ５０の視野内に位置付けられる。

図示される実施形態では、投影サブシステム１０８は、光ファイバ走査ベースの投影デバイスの形態をとり、ディスプレイ画面１１０は、導波管ベースのディスプレイの形態をとり、その中に、投影サブシステム１０８からの走査された光が、投入され、例えば、無限遠（例えば、腕の長さ）より近い単一光学視認距離における画像、複数の離散光学視認距離または集束面における画像、および／または立体３Ｄオブジェクトを表すために複数の視認距離または集束面にスタックされた画像層を生成する。光場内のこれらの層は、ヒト視覚系に連続して現れるように、ともに十分に近接してスタックされてもよい（すなわち、１つの層が隣接する層の混乱の円錐（ｃｏｎｅ ｏｆ ｃｏｎｆｕｓｉｏｎ）内にある）。加えて、または代替として、写真要素が、２つまたはそれを上回る層を横断して混成され、それらの層がより疎らにスタックされる（すなわち、１つの層が隣接する層の混乱の円錐外にある）場合でも、光場内の層間の遷移の知覚される連続性を増加させてもよい。ディスプレイサブシステム１０４は、単眼または双眼用であってもよい。

図３および４を参照すると、投影サブシステム１０８は、制御信号に応答して、光ビームを発生させ、所定の走査パターンで走査する、走査アセンブリ１１２と、走査アセンブリ１１４からの光ビームをディスプレイ画面１１０の中に結合する、光学結合サブシステム１１４とを含む。

走査アセンブリ１１２は、光ビームを生成する（例えば、異なる色の光を定義されたパターンで放出する）、１つまたはそれを上回る光源１１６（１つのみが簡略化目的のために示される）を備える。光源１１６は、多種多様な形態のいずれかをとってもよく、例えば、それぞれ、ピクセル情報またはデータの個別のフレーム内に規定された定義されたピクセルパターンに従って、赤色、緑色、および青色コヒーレントコリメート光を生成するように動作可能なＲＧＢレーザ（例えば、赤色、緑色、および青色光を出力可能なレーザダイオード）のセットである。レーザ光は、高色飽和を提供し、高度にエネルギー効率的である。

走査アセンブリ１１２はさらに、１つまたはそれを上回る光ファイバ１１８（１つのみが簡略化目的のために示される）を備え、それぞれ、その中に光ビームが光源１１６から受信される、近位端１１８ａと、そこから光ビームが部分的に透明なディスプレイ画面１１０に提供される、遠位端１１８ｂとを有する。走査アセンブリ１１２はさらに、機械的駆動アセンブリ１２０を備え、そこに、光ファイバ１１８が、搭載される。駆動アセンブリ１２０は、光ファイバ１１８の遠位端１１８ｂを変位させるように構成され、図示される実施形態では、圧電要素１２２を備え、そこに、光ファイバ１１８が、搭載される。

走査アセンブリ１１２はさらに、電気信号を圧電要素１２２に伝達するように構成される、駆動電子機器１２４を備え、それによって、光ファイバ１１８の遠位端１１８ｂを走査パターンに従って振動させる。したがって、光源１１６および駆動電子機器１２４の動作は、空間的および／または時間的に変動する光の形態でエンコードされる画像データを生成する様式で協調される。

図示される実施形態では、圧電要素１２２は、中空管の形態をとり、その場合、光ファイバ１１８の遠位端１１８ｂは、圧電管１２２を通して螺入または受容される。光ファイバ１１８の遠位端１１８ｂは、固定−自由可撓性カンチレバーとして、圧電管１２２から突出する。圧電管１２２は、４つの象限電極（図示せず）と関連付けられる。電極は、例えば、圧電管１２２の外側、外側表面または外側周縁、または直径がめっきされてもよい。コア電極（図示せず）もまた、管１２２のコア、中心、内側周縁、または内径に位置する。

駆動電子機器１２４は、ワイヤ１２６を介して電気結合され、対向する対の電極（図示せず）を駆動し、圧電管１２２を２つの軸において独立して屈曲させる。光ファイバ１１８の突出する遠位端１１８ｂは、機械的共振モードを有する。共振の周波数は、光ファイバ１１８の直径、長さ、および材料性質に依存する。圧電管１２２を機械的共振の第１のモードの近傍で振動させることによって、ファイバ遠位端１１８ｂは、振動させられ、支点を中心とした大偏向を通して掃引することができる。代替として、圧電管１２２は、ファイバ遠位端１１８ｂが支点を中心としたより小さい偏向を通して掃引することができるように、機械的共振のより高次のモード（例えば、二次モード）の近傍で振動されてもよい。

２つの軸において共振振動を刺激することによって、ファイバ遠位端１１８は、２Ｄ走査を充填する面積内で双軸方向に走査される。ファイバ遠位端１１８ｂの走査と同期して、光源１１６の強度を変調させることによって、光ファイバ１１８から発出する光ビームは、画像を形成する。そのような設定の説明は、米国特許出願第１３／９１５，５３０号、国際特許出願第ＰＣＴ／ＵＳ２０１３／０４５２６７号、および米国仮特許出願第６１／６５８，３５５号（その全ては、参照することによってその全体として本明細書に組み込まれる）に提供される。

光学結合サブシステム１１６は、光学導波管入力装置１２８、例えば、１つまたはそれを上回る反射表面、回折格子、ミラー、ダイクロイックミラー、またはプリズムを含み、光をディスプレイ画面１１０の端部の中に光学的に結合する。光学結合サブシステム１１６はさらに、光ファイバ１１８からの光をコリメートする、コリメーション要素１３０を含む。随意に、光学結合サブシステム１１６は、コリメーション要素１３０からの光を光学導波管入力装置１２８の中心における焦点に向かって収束させるように構成される、光学変調装置（図示せず）を備え、それによって、「Ｖｉｒｔｕａｌ／Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｓｙｓｔｅｍ Ｈａｖｉｎｇ Ｒｅｖｅｒｓｅ Ａｎｇｌｅ Ｄｉｆｆｒａｃｔｉｏｎ Ｇｒａｔｉｎｇ」と題された米国仮特許出願第６２／２３８，０５２号（参照することによって明示的に本明細書に組み込まれる）にさらに詳細に議論されるように、光学導波管入力装置１２８のサイズが最小限にされることを可能にする。光ファイバ１１８はそれぞれ、偏波保持（ＰＭ）光ファイバの利点と非ＰＭ光ファイバの利点とを組み合わせ、「Ｐｏｌａｒｉｚｉｎｇ Ｍａｉｎｔａｉｎｉｎｇ Ｏｐｔｉｃａｌ Ｆｉｂｅｒ ｉｎ Ｖｉｒｔｕａｌ／Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｓｙｓｔｅｍ」と題された米国仮特許出願第６２／２８０，９９２号（弁理士整理番号ＭＬ−３００５６．００−ＵＳ）（参照することによって明示的に本明細書に組み込まれる）に議論されるように、走査デバイス１１４と関連付けられた光ファイバ１１８の部分の機械的性質を維持しながら、個別の光ファイバ１１８を通して伝搬する光ビームの線形偏波が維持されることを確実にしてもよい。

したがって、ディスプレイサブシステム１０４は、１つまたはそれを上回る仮想オブジェクトの非歪曲画像をユーザに提示する、ピクセル情報の一連の合成画像フレームを生成する。例えば、図５を参照すると、合成画像フレーム２００が、水平の列またはライン２０４ａ−２０４ｎに分割されるセル２０２ａ−２０２ｍとともに、図式的に図示される。フレーム２００の各セル２０２は、セル２０２が対応する個別のピクセルに対する複数の色の各々に対する値および／または強度を規定してもよい。例えば、フレーム２００は、各ピクセルに対し、赤色２０６ａに対する１つまたはそれを上回る値、緑色２０６ｂに対する１つまたはそれを上回る値、および青色２０６ｃに対する１つまたはそれを上回る値を規定してもよい。値２０６は、色毎に、バイナリ表現、例えば、色毎に、個別の４ビット数として規定されてもよい。フレーム２００の各セル２０２は、加えて、振幅を規定する、値２０６ｄを含んでもよい。

フレーム２００は、１つまたはそれを上回るフィールド、集合的に、２０８を含んでもよい。フレーム２００は、単一フィールドから成ってもよい。代替として、フレーム２００は、２つまたはさらにより多くのフィールド２０８ａ−２０８ｂを備えてもよい。フレーム２００の完全な第１のフィールド２０８ａに関するピクセル情報は、完全な第２のフィールド２０８ｂに関するピクセル情報の前に規定され、例えば、アレイ、順序付けられたリスト、または他のデータ構造（例えば、リンクされたリストを記録する）内の第２のフィールド２０８ｂに関するピクセル情報の前に生じてもよい。提示サブシステムが２つより多くのフィールド２０８ａ−２０８ｂを取り扱うように構成されると仮定して、第３またはさらに第４のフィールドが、第２のフィールド２０８ｂに追従してもよい。

ディスプレイサブシステムを説明するさらなる詳細は、「Ｄｉｓｐｌａｙ Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ」と題された米国仮特許出願第６１／８０１，２１９号（弁理士整理番号ＭＬ−３０００６−ＵＳ）および「Ｐｌａｎａｒ Ｗａｖｅｇｕｉｄｅ Ａｐｐａｒａｔｕｓ Ｗｉｔｈ Ｄｉｆｆｒａｃｔｉｏｎ Ｅｌｅｍｅｎｔ（ｓ） ａｎｄ Ｓｕｂｓｙｓｔｅｍ Ｅｍｐｌｏｙｉｎｇ Ｓａｍｅ」と題された米国特許出願第１４／３３１，２１８号（弁理士整理番号ＭＬ−３００２０．００）（参照することによって明示的に本明細書に組み込まれる）に提供される。

図２に戻って参照すると、拡張現実システム１００はさらに、エンドユーザ５０の頭部５４の位置および移動、および／または、エンドユーザ５０の眼位置および眼球間距離を検出するためにフレーム構造１０２に搭載される、１つまたはそれを上回るセンサ（図示せず）を備える。そのようなセンサは、画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープを含んでもよい。

例えば、一実施形態では、拡張現実システム１００は、エンドユーザ５０の頭部５４の移動を示す慣性測定値を捕捉する１つまたはそれを上回る慣性変換器を含む頭部装着型変換器サブシステム１４２を備える。そのようなものは、エンドユーザ５０の頭部移動についての情報を感知、測定、または収集するために使用されてもよい。例えば、そのようなものは、エンドユーザ５０の頭部５４の測定移動、速度、加速、および／または位置を検出するために使用されてもよい。

拡張現実システム１００はさらに、エンドユーザ５０が位置する環境についての情報を捕捉するために使用され得る、１つまたはそれを上回る前向きカメラ１４４を備える。前向きカメラ１４４は、その環境およびその環境内の具体的オブジェクトに対するエンドユーザ５０の距離および配向を示す情報を捕捉するために使用されてもよい。頭部に装着されると、前向きカメラ１４４は、特に、エンドユーザ５０が位置する環境およびその環境内の具体的オブジェクトに対するエンドユーザ５０の頭部５４の距離および角度位置（すなわち、頭部が向けられる方向）を示す情報を捕捉するために好適である。前向きカメラ１４４は、例えば、頭部移動、頭部移動の速度、および／または加速を検出するために採用されてもよい。前向きカメラ１４４は、例えば、少なくとも部分的に、エンドユーザ５０の頭部５４の配向に基づいて、例えば、エンドユーザ５０の注意の中心を検出または推測するために採用されてもよい。配向は、任意の方向（例えば、エンドユーザ５０の基準フレームに対して上／下、左、右）において検出されてもよい。

拡張現実システム１００はさらに、一対の後向きカメラ１４６を備え、エンドユーザ５０の眼５２の角度位置（片眼または両眼が向いている方向）、瞬き、および焦点深度（眼収束を検出することによって）を追跡する。そのような眼追跡情報は、例えば、光をエンドユーザの眼に投影させ、その投影された光の少なくとも一部の戻りまたは反射を検出することによって、判別されてもよい。眼追跡デバイスについて議論するさらなる詳細は、「Ｄｉｓｐｌａｙ Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ」と題された米国特許出願第６１／８０１，２１９号（弁理士整理番号ＭＬ−３０００６−ＵＳ）、「Ｍｅｔｈｏｄｓ ａｎｄ Ｓｕｂｓｙｓｔｅｍ ｆｏｒ Ｃｒｅａｔｉｎｇ Ｆｏｃａｌ Ｐｌａｎｅｓ ｉｎ Ｖｉｒｔｕａｌ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ」と題された米国特許出願第６２／００５，８３４号（弁理士整理番号ＭＬ−３００１７−ＵＳ）、および「Ｓｕｂｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ａｕｇｍｅｎｔｅｄ ａｎｄ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ」と題された米国特許出願第６１／７７６，７７１号（弁理士整理番号ＭＬ−３０００５−ＵＳ）（参照することによって明示的に本明細書に組み込まれる）に提供される。

拡張現実システム１００はさらに、ユーザ配向検出モジュール１４８を備える。ユーザ配向モジュール１４８は、エンドユーザ５０の頭部５４の瞬間位置を検出し、センサから受信された位置データに基づいて、エンドユーザ５０の頭部５４の位置を予測してもよい。ユーザ配向モジュール１４８はまた、センサから受信された追跡データに基づいて、エンドユーザ５０の眼５２、特に、エンドユーザ５０が焦点合わせしている方向および／または距離を追跡する。

拡張現実システム１００はさらに、多種多様な形態のいずれかをとり得る、制御サブシステムを備える。制御サブシステムは、いくつかのコントローラ、例えば、１つまたはそれを上回るマイクロコントローラ、マイクロプロセッサまたは中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ、グラフィック処理ユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）等の他の集積回路コントローラ、プログラマブルゲートアレイ（ＰＧＡ）、例えば、フィールドＰＧＡ（ＦＰＧＡ）、および／またはプログラマブル論理コントローラ（ＰＬＵ）を含む。

図示される実施形態では、制御サブシステムは、デジタル信号プロセッサ（ＤＳＰ）（マイクロホンアセンブリ１０７に関して以下に説明される）と、中央処理ユニット（ＣＰＵ）１５０と、グラフィック処理ユニット（ＧＰＵ）１５２と、１つまたはそれを上回るフレームバッファ１５４とを備える。ＣＰＵ１５０は、全体的動作を制御する一方、ＧＰＵ１５２は、フレームをレンダリングし（すなわち、３次元場面を２次元画像に変換し）、これらのフレームをフレームバッファ１５４内に記憶する。図示されないが、１つまたはそれを上回る付加的集積回路が、フレームバッファ１５４の中へのフレームの読込および／またはそこからの読取と、ディスプレイサブシステム１０４の走査デバイスの動作とを制御してもよい。フレームバッファ１５４の中への読込および／またはそこからの読取は、動的アドレス指定を採用してもよく、例えば、フレームは、オーバーレンダリングされる。拡張現実システム１００はさらに、読取専用メモリ（ＲＯＭ）１５６と、ランダムアクセスメモリ（ＲＡＭ）１５８とを備える。拡張現実システム１００はさらに、３次元データベース１６０を備え、そこから、ＧＰＵ１５２が、フレームをレンダリングするための１つまたはそれを上回る場面の３次元データおよび３次元場面内に含まれる仮想音源と関連付けられた合成音データにアクセスすることができる。

本発明により重要なこととして、制御サブシステムは、スピーカ１０６に、ある音源へのエンドユーザ５０の焦点合わせの検出に応答して、他の音源よりその音源から生じる音（実際または仮想のものであり得る）を優先的に伝達させるように構成される。エンドユーザ５０が焦点合わせしている音源が実際のものである場合、制御サブシステムは、適応マイクロホンアセンブリ１０７の最大感度をエンドユーザ５０の検出された焦点合わせの方向および／または距離に設定するように構成される。

適応マイクロホンアセンブリ１０７は、他の音より特定の方向における音を優先的に受信可能である。例えば、マイクロホンアセンブリ１０７は、従来の偏波パターン、例えば、図６ａ−６ｄに図示されるように、ダイポール、カージオイド、スーパーカージオイド、またはハイパーカージオイドを有してもよい。しかしながら、マイクロホンアセンブリ１０７は、エンドユーザ５０が焦点合わせしている方向に基づいて、偏波パターンを動的に修正可能である。言い換えると、ある方向に沿った、および／またはある距離におけるマイクロホンアセンブリ１０７の最大感度は、修正されてもよい。

この目的を達成するために、図７を参照すると、マイクロホンアセンブリ１０７は、マイクロホン要素２５０のフェーズドアレイ（この場合、マイクロホン要素Ｍ１−Ｍｎ）を備え、それぞれ、周囲音信号を検出し、オーディオ信号に変換するように構成される。図示される実施形態では、マイクロホン要素１１８は、性質上、デジタルであって、したがって、周囲音信号をデジタルオーディオ信号、この場合、パルス密度変調（ＰＤＭ）信号に変換する。好ましくは、マイクロホン要素２５０は、相互から空間的に離間され、マイクロホンアセンブリ１０７の指向性を最大限にする。例えば、図２に示されるように、マイクロホン要素２５０のうちの２つは、フレーム構造１０２の各アームに搭載されてもよいが、４つのマイクロホン要素２５０等、２つを上回るものが、フレーム構造１０６の各アームに搭載されてもよい。

マイクロホンアセンブリ１０７はさらに、複数のデジタルマイクロホンインターフェース（ＤＭＩＣ）２５２（この場合、ＤＭＩＣ１−ＤＭＩＣｎ、マイクロホン要素Ｍ毎に１つ）を備え、それぞれ、個別のオーディオ信号を対応するマイクロホン要素２５０から受信し、「デシメーション」と称されるデジタルフィルタ動作を行い、ＰＤＭフォーマットからのデジタルオーディオ信号をより容易に操作可能なパルスコード変調（ＰＣＭ）に変換するように構成される。ＤＭＩＣ１９０はそれぞれまた、デジタルオーディオ信号上で固定利得制御を行う。

マイクロホンアセンブリ１０７はさらに、デジタル信号プロセッサ（ＤＳＰ）２５６を備え、これは、利得増幅器２５４によって出力されたデジタルオーディオ信号を処理し、マイクロホンアセンブリ１１６によって受信された音を優先的に表す指向性オーディオ信号を出力するように構成される、オーディオ処理モジュール２５８を備える。この目的を達成するために、オーディオ処理モジュール２５８は、複数の遅延要素２６０（この場合、遅延要素Ｄ１−Ｄｎ、マイクロホン要素Ｍ毎に１つ）の形態における処理パラメータと、複数の利得要素２６２（この場合、利得要素Ｇ１−Ｇｎ、マイクロホン要素Ｍ毎に１つ）と、加算器２６４とを備える。遅延要素２６０はそれぞれ、遅延係数をマイクロホンアセンブリ１０７の対応する利得増幅器２５４から受信された増幅されたデジタル信号に適用し、利得要素２６２はそれぞれ、利得係数を遅延されたデジタル信号に適用する。加算器２６４（Ｓ）は、利得調節され遅延された信号を追加し、デジタルオーディオ信号を発生させ、これは、信号デジタル／アナログ（Ｄ／Ａ）コンバータ２６６を介してアナログオーディオに変換され、判別可能音としてのエンドユーザ５０への出力のために、スピーカ１０６に伝送される。

マイクロホン要素２５０は、指向性偏波パターン（すなわち、特定の角度方向または特定の複数の角度方向から到着する音が他の角度方向から到着する音より強調されるであろう）に従って周囲音の受信をもたらす様式において、空間的に配列され、遅延要素２６０および利得要素２６２は、設定される。重要なこととして、マイクロホン要素アレイ２５０の指向性は、エンドユーザ５０の検出された焦点合わせに基づいて修正され、例えば、マイクロホン要素アレイ２５０が音を優先的に受信する方向は、エンドユーザ５０の検出された焦点合わせの方向に沿って設定されてもよい。この目的を達成するために、ＤＳＰ２５６は、ユーザ配向検出モジュール１４８から、ユーザ５０が焦点合わせしている方向を示す配向データを受信する。例えば、配向データは、後向きカメラ１４６によって検出された眼５２の角度位置または前向きカメラ１４４によって検出された頭部５４の角度位置に対応してもよい。

例えば、図８ａおよび８ｂを参照すると、マイクロホン要素２５０のフェーズドアレイの偏波パターンが、カージオイドパターンであって、エンドユーザ５０が、特定の方向２７２に沿って実音源２７０に焦点合わせしている場合、ＤＳＰ２５６は、マイクロホン要素アレイ２５０の指向性を修正する様式において、遅延要素２６０および利得要素２６２を設定し、この場合、カージオイドパターンの主ローブの軸は、エンドユーザ５０が音源２７０に焦点合わせしている方向と整合されるであろう。

マイクロホン要素アレイ２５０は、ユーザ配向検出モジュール２４８から受信された焦点合わせの方向に対応するように設定され得る感度を有するように説明されたが、マイクロホン要素アレイ２５０は、その感度がユーザ配向検出モジュール２４８から受信された焦点合わせの距離に対応するように設定されることを可能にする様式において配列されてもよい。特に、マイクロホン要素２５０は、マイクロホン要素２５０が全て、音源２７０から異なる距離にあり得るように、直線で配列されてもよい。遅延が、遅延要素２６０を介してマイクロホン要素２５０の中に導入され、それぞれ、音源２７０「により近づくように、またはそこから離れるように」、複数のマイクロホン要素２５０を効果的かつ選択的に移動させることができる。これは、マイクロホン要素２５０を音源２７０から等距離において効果的に位置特定するように遂行されることができる。音源２７０から生じる任意の音は、同時に、マイクロホン要素２５０に衝突するであろう一方、他の音源から生じる音は、マイクロホン要素２５０に異なる時間で衝突せず、それによって、音源２７０の場所におけるマイクロホン要素アレイ２５０の感度を最大限にするであろう。

マイクロホン要素２５０は、デジタルであるように説明されるが、マイクロホン要素２５０は、代替として、アナログであってもよいことに留意されたい。さらに、遅延要素２６０、利得要素２６２、および加算器２６４は、ＤＳＰ２５６内に常駐する、ソフトウェアコンポーネントとして開示および図示されるが、遅延要素２６０、利得要素２６２、および加算器２６４のうちの任意の１つまたはそれを上回るものは、ＤＳＰ２５６の外側に常駐するが、その制御下にある、アナログハードウェアコンポーネントを備えてもよい。

マイクロホン要素アレイ２５０の指向性および距離の動的修正を促進するために、遅延要素２６０および利得要素２６２のための異なる値のセットおよびマイクロホン要素アレイ２５０の対応する方向および距離が、ＤＳＰ２５６によるアクセスのために、メモリ内に記憶されてもよい。すなわち、ＤＳＰ２５６は、ユーザ配向検出モジュール２４８から受信された焦点合わせの方向および／または焦点合わせの距離と、メモリ内に記憶される最も近い指向性および／または距離値とをマッチングし、その選択された方向／距離のための遅延要素２６０および利得要素２６２に関する対応する値のセットを選択する。

エンドユーザ５０が焦点合わせしている音源が、仮想のものである場合、適応マイクロホンアセンブリ１０７は、利用されない。代わりに、制御サブシステムが、仮想音源へのエンドユーザ５０の焦点合わせの検出に応答して、仮想音源を他の音源（実際または仮想のもののいずれか）から識別し、スピーカ１０６に、合成音データに従って音をエンドユーザ５０に伝達させるように構成される。エンドユーザ５０によって聞こえる音は、仮想音源から生じるように自然に現れるであろう。

ＤＳＰ２５６は、加えて、音源の位置情報を使用して、音信号を処理し、集束増加、音の判別の増加、および口述された主題の明瞭性の増加を達成してもよい。すなわち、センサが、音源の場所および性質および実際の環境についてのさらなる情報を提供するため、データベース１６０は、「持続的世界」の情報を提供し、したがって、音信号が所望の音源への注意を増加させる様式においてエンドユーザ５０にレンダリングされ得る方法を知らせることができる。例えば、人工音は、環境または部屋に対して非常に適切であるようにされ、したがって、現実的かつ集中が容易にされることができるか、または、人工または実際の音は、不自然にされ、それによって、他の音と対照的である様式において目立ち、注意を引くことができ、例えば、ピッチを変化させる、または「アナウンサーメガホン」効果を追加することができる。

例えば、複数のスピーカ１０６が使用される場合、関連音へのエンドユーザ５０の焦点合わせ、および／または、その関連音を聞くおよび／または判別するエンドユーザ５０の能力は、受信された音を位置特定することによって増加され得、これは、例えば、音の明確性または現実性に影響を及ぼすよう、音が音源の場所から生じているようにその音がエンドユーザ５０に対して現れるような態様で、スピーカ１０６を通して音を再生することによって行われ得る。音は、種々の技法のうちの１つまたはそれを上回るものを使用して、位置特定されることができる。指向性の感覚を追加するために、特に、実世界内で生じていない仮想音に関して、ＤＳＰ２５６は、再生された音の調性を適切に成形し、および／または適切な反射、閉塞、または障害物を追加し、部屋形状または環境の実際または仮想側面に適合させてもよい。

随意に、焦点合わせの方向および／または距離から生じる音は、強調をそれらに追加するように選択的に等化されてもよい。特に、ＤＳＰ２５６は、その音の特定の周波数成分の音量を上昇または降下させることによって、所望の「焦点合わせしている」音へのエンドユーザ５０の焦点合わせを強調することができる。上昇された周波数は、限定ではないが、ヒトの聴覚が最も一般に敏感である、周波数範囲（例えば、１ＫＨｚ〜５ＫＨｚ）であることができる。他のＤＳＰ技法も、「焦点合わせしている」音に強調を追加するために使用されることができる。同様に、焦点合わせの方向および／または距離から生じていない音は、相補的または反対様式において、強調をそれらから除去するように選択的に等化されてもよい。特に、ＤＳＰ２５６は、それらの音の特定の周波数成分の音量を上昇または降下させることによって、望ましくない音へのエンドユーザ５０の焦点合わせを強調解除することができる。言い換えると、２ＫＨｚにおける＋５ｄＢ等の「ピーク」等化が、標的音に追加される場合、２ＫＨｚにおける−５ｄＢの「ノッチ」等化が、全ての他の音に適用されることができる。

別の実施形態では、焦点合わせの方向および／または距離から生じる音は、プロファイルされてもよい。特に、ＤＳＰ２５６は、標的音のタイプを判定するために、標的音の特性を分析し、他の音の特性と比較してもよい。ＤＳＰ２５６は、次いで、所望に応じて、そのタイプの全ての音を強調することができる。例えば、焦点合わせされている音が、ソロピアノであって、焦点合わせされていない音が、空調機および往来の交通から生じる場合、ＤＳＰ２５６は、他の楽器が演奏されている、またはより多くの音楽が聞こえるとき、それらの音が、それが生じる方向にかかわらず、他の音より強調されるように、空調機および往来の交通から生じる音のような音を強調解除し、ソロピアノのような音を強調することができる。

随意の実施形態では、制御サブシステムは、ディスプレイサブシステム１０４に、エンドユーザ５０が焦点合わせしている方向および／または距離をエンドユーザ５０に表示するように命令するように構成される。例えば、ディスプレイサブシステム１０４は、視覚的インジケータ、例えば、「ｘ」または十字線をエンドユーザ５０が焦点合わせしている拡張３次元場面内に表示してもよい。または、ディスプレイサブシステム１０４は、エンドユーザ５０が焦点合わせしている音源（実際または仮想のものかどうかにかかわらず）をハイライトしてもよい。代替として、音源が実際のものである場合、制御サブシステムは、ディスプレイサブシステム１０４に、エンドユーザ５０の焦点合わせの方向または距離と正確に相関し得る（またはそうではないものであり得る）マイクロホンアセンブリ１０７の最大感度の方向および／または距離をエンドユーザ５０に表示するように命令するように構成されてもよい。

拡張現実システム１００の種々の処理コンポーネントは、分散型サブシステム内に物理的に含まれてもよい。例えば、図９ａ−９ｄに図示されるように、拡張現実システム１００は、有線導線または無線コネクティビティ１７２等によって、ディスプレイサブシステム１０４の一部に動作可能に結合される、ローカル処理およびデータモジュール１７０を備える。ローカル処理およびデータモジュール１７２は、フレーム構造１０２に固定して取り付けられる（図９ａ）、ヘルメットまたは帽子５６に固定して取り付けられる（図９ｂ）、ヘッドホン内に内蔵される、エンドユーザ５０の胴体５８に除去可能に取り付けられる（図９ｃ）、またはベルト結合式構成においてエンドユーザ５０の腰部６０に除去可能に取り付けられる（図９ｄ）等、種々の構成において搭載されてもよい。拡張現実システム１００はさらに、遠隔処理モジュール１７４と、遠隔データリポジトリ１７６とを備え、これらは、これらの遠隔モジュール１７４、１７６が、相互に動作可能に結合され、ローカル処理およびデータモジュール１７０へのリソースとして利用可能であるように、有線導線または無線コネクティビティ１７８、１８０等によって、ローカル処理およびデータモジュール１７０に動作可能に結合される。

ローカル処理およびデータモジュール１７０は、電力効率的プロセッサまたはコントローラおよびフラッシュメモリ等のデジタルメモリを備えてもよく、これらの両方は、センサから捕捉されたデータ、および／または、（処理または読出後、ディスプレイサブシステム１０４へと通過させる可能性のある）遠隔処理モジュール１７４および／または遠隔データリポジトリ１７６を使用して取得および／または処理されたデータの処理、キャッシュ、および記憶を補助するために利用されてもよい。遠隔処理モジュール１７４は、データおよび／または画像情報を分析および処理するように構成される、１つまたはそれを上回る比較的に強力なプロセッサまたはコントローラを備えてもよい。遠隔データリポジトリ１７６は、インターネットまたは「クラウド」リソース構成内の他のネットワーキング構成を通して利用可能であり得る、比較的に大規模なデジタルデータ記憶設備を備えてもよい。一実施形態では、全てのデータは、記憶され、全ての算出は、ローカル処理およびデータモジュール１７０内で行われ、任意の遠隔モジュールからの完全に自律的な使用を可能にする。

上記に説明される種々のコンポーネント間の結合１７２、１７８、１８０は、ワイヤまたは光学通信を提供するための１つまたはそれを上回る有線インターフェースまたはポート、または、無線通信を提供するためのＲＦ、マイクロ波、およびＩＲ等を介した１つまたはそれを上回る無線インターフェースまたはポートを含んでもよい。いくつかの実装では、全ての通信は、有線であってもよい一方、他の実装では、光ファイバ１１８を除き、全ての通信は、無線であってもよい。なおもさらなる実装では、有線および無線通信の選択肢は、図９ａ−９ｄに図示されるものと異なってもよい。したがって、有線または無線通信の特定の選択肢は、限定と見なされるべきではない。

図示される実施形態では、ディスプレイサブシステム１０４のディスプレイ画面１１０、光学結合サブシステム１１６、および機械的駆動アセンブリ１２０、マイクロホンアセンブリ１０７のセンサ、スピーカ１０６、およびマイクロホン要素２５０は、エンドユーザ５０の頭部５４と近接して関連付けられる一方、ディスプレイサブシステム１０４の光源１１６および駆動電子機器１２４、および、マイクロホンアセンブリ１０７の処理コンポーネントは、ローカル処理およびデータモジュール１７０内に含まれる。ユーザ配向モジュール１４８およびＤＳＰ２５６は、ローカル処理およびデータモジュール１７０内に含まれてもよい一方、ＣＰＵ１５０およびＧＰＵ１５２は、遠隔処理モジュール１７４内に含まれてもよいが、代替実施形態では、ＣＰＵ１５０、ＧＰＵ１５２、またはその一部は、ローカル処理およびデータモジュール１７０内に含まれてもよい。３次元データベース１６０は、遠隔データリポジトリ１７６と関連付けられることができる。

前述の明細書では、本発明が、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本発明のより広義の精神および範囲から逸脱することなく、本明細書に成され得ることは、明白となるであろう。例えば、前述のプロセスフローは、プロセスアクションの特定の順序を参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本発明の範囲または動作に影響を及ぼさずに変更されてもよい。明細書および図面は、故に、限定的意味ではなく、例証と見なされるべきである。

Claims (38)

1. エンドユーザによる使用のための聴覚補助装置であって、
   実音源への前記エンドユーザの焦点合わせを検出するように構成される少なくとも１つのセンサと、
   音を電気信号に変換するように構成される適応マイクロホンアセンブリと、
   前記エンドユーザによる知覚のために前記電気信号を音に変換するように構成される少なくとも１つのスピーカと、
   前記エンドユーザの検出された焦点合わせに基づいて前記適応マイクロホンアセンブリの最大感度の方向および／または距離を修正するように構成される、制御サブシステムと、
   を備える、聴覚補助装置。
2. 前記制御サブシステムは、前記適応マイクロホンアセンブリの最大感度の方向を修正するように構成される、請求項１に記載の聴覚補助装置。
3. 前記制御サブシステムは、前記適応マイクロホンアセンブリの最大感度の距離を修正するように構成される、請求項１に記載の聴覚補助装置。
4. 前記適応マイクロホンアセンブリは、ダイポール、カージオイド、スーパーカージオイド、またはハイパーカージオイドパターンのうちの１つに従って、前記音を前記電気信号に変換するように構成される、請求項１に記載の聴覚補助装置。
5. 前記制御サブシステムは、前記適応マイクロホンアセンブリの最大感度を前記エンドユーザの検出された焦点合わせの方向および／または距離に設定するように構成される、請求項１に記載の聴覚補助装置。
6. 前記少なくとも１つのセンサは、カメラを備える、請求項１に記載の聴覚補助装置。
7. 前記少なくとも１つのセンサは、前記エンドユーザの眼の角度位置を検出し、前記エンドユーザの焦点合わせの方向を検出するように構成される、請求項１に記載の聴覚補助装置。
8. 前記少なくとも１つのセンサは、前記エンドユーザの眼の収束を検出し、前記エンドユーザの焦点合わせの距離を検出するように構成される、請求項１に記載の聴覚補助装置。
9. 前記少なくとも１つのセンサは、前記エンドユーザの頭部の角度位置を検出し、前記エンドユーザの焦点合わせの方向を検出するように構成される、請求項１に記載の聴覚補助装置。
10. 前記適応マイクロホンアセンブリは、マイクロホン要素のフェーズドアレイを備える、請求項１に記載の聴覚補助装置。
11. 前記エンドユーザによって装着されるように構成されるフレーム構造をさらに備え、前記フレーム構造は、前記少なくとも１つのセンサと、前記マイクロホンアセンブリと、前記少なくとも１つのスピーカとを担持する、請求項１に記載の聴覚補助装置。
12. 前記制御サブシステムは、前記適応マイクロホンアセンブリの最大感度の方向および／または距離を修正するように構成されるデジタル信号プロセッサ（ＤＳＰ）を備える、請求項１に記載の聴覚補助装置。
13. 前記制御サブシステムは、前記実音源から生じる音が、前記実音源から生じているように前記エンドユーザによって知覚されるように、前記電気信号を処理し、前記音を位置特定するように構成される、請求項１に記載の聴覚補助装置。
14. 前記制御サブシステムは、前記実音源から生じる音が強調され、および／または異なる音源から生じる音が強調解除されるように、前記電気信号を処理し、前記音の特定の周波数成分の音量を選択的に上昇または降下させるように構成される、請求項１に記載の聴覚補助装置。
15. 前記制御サブシステムは、前記電気信号を処理し、前記実音源から生じる第１の音の特性と異なる源から生じる第２の音の特性とを比較し、前記第１の音の特性と同じタイプの特性を有する音を強調し、前記第２の音と同じタイプの特性を有する音を強調解除するように構成される、請求項１に記載の聴覚補助装置。
16. エンドユーザによる使用のための仮想画像生成システムであって、
    ３次元場面を記憶するメモリと、
    音源への前記エンドユーザの焦点合わせを検出するように構成される少なくとも１つのセンサと、
    音を前記エンドユーザに伝達するように構成される少なくとも１つのスピーカと、
    前記少なくとも１つのスピーカに、前記音源への前記エンドユーザの焦点合わせの検出に応答して、他の音源から生じる音よりも前記音源から生じる音を優先的に伝達させ、前記３次元場面の複数の合成画像フレームをレンダリングするように構成される制御サブシステムと、
    前記複数の画像フレームを前記エンドユーザに連続して表示するように構成されるディスプレイサブシステムと、
    を備える、仮想画像生成システム。
17. 前記ディスプレイサブシステムは、前記エンドユーザの眼の正面に位置付けられるように構成される、請求項１６に記載の仮想画像生成システム。
18. 前記ディスプレイサブシステムは、投影サブシステムと、部分的に透明なディスプレイ表面とを含み、前記投影サブシステムは、前記画像フレームを前記部分的に透明なディスプレイ表面上に投影させるように構成され、前記部分的に透明なディスプレイ表面は、前記エンドユーザの眼と周囲環境との間の視野内に位置付けられるように構成される、請求項１６に記載の仮想画像生成システム。
19. 前記エンドユーザによって装着されるように構成されるフレーム構造をさらに備え、前記フレーム構造は、前記少なくとも１つのセンサと、前記適応マイクロホンアセンブリと、前記少なくとも１つのスピーカと、前記ディスプレイサブシステムとを担持する、請求項１６に記載の仮想画像生成システム。
20. 前記制御サブシステムは、グラフィック制御サブシステムユニット（ＧＰＵ）を備える、請求項１６に記載の仮想画像生成システム。
21. 前記音源は、実音源である、請求項１６に記載の仮想画像生成システム。
22. 前記音を電気信号に変換するように構成される適応マイクロホンアセンブリをさらに備え、前記少なくとも１つのスピーカは、前記エンドユーザによる知覚のために前記電気信号を音に変換するように構成され、前記制御サブシステムは、前記適応マイクロホンアセンブリの最大感度を前記エンドユーザの検出された焦点合わせの方向および／または距離に設定するように構成される、請求項２１に記載の仮想画像生成システム。
23. 前記制御サブシステムは、前記適応マイクロホンアセンブリの最大感度の方向を設定するように構成される、請求項２２に記載の仮想画像生成システム。
24. 前記制御サブシステムは、前記適応マイクロホンアセンブリの最大感度の距離を設定するように構成される、請求項２２に記載の仮想画像生成システム。
25. 前記適応マイクロホンアセンブリは、ダイポール、カージオイド、スーパーカージオイド、またはハイパーカージオイドパターンのうちの１つに従って、前記音を前記電気信号に変換するように構成される、請求項２２に記載の仮想画像生成システム。
26. 前記音源は、仮想音源である、請求項１６に記載の仮想画像生成システム。
27. 前記３次元場面は、前記仮想音源を含み、前記メモリは、前記３次元場面の前記仮想音源と関連付けて合成音データを記憶し、前記制御サブシステムは、前記仮想音源への前記エンドユーザの焦点合わせの検出に応答して、前記仮想音源を他の音源から識別し、前記少なくとも１つのスピーカに、前記合成音データに従って、前記音を前記エンドユーザに伝達させるように構成される、請求項２６に記載の仮想画像生成システム。
28. 前記少なくとも１つのセンサは、カメラを備える、請求項１６に記載の仮想画像生成システム。
29. 前記少なくとも１つのセンサは、前記エンドユーザの眼の角度位置を検出し、前記エンドユーザの焦点合わせの方向を検出するように構成される、請求項１６に記載の仮想画像生成システム。
30. 前記少なくとも１つのセンサは、前記エンドユーザの眼の収束を検出し、前記エンドユーザの焦点合わせの距離を検出するように構成される、請求項１６に記載の仮想画像生成システム。
31. 前記少なくとも１つのセンサは、前記エンドユーザの頭部の角度位置を検出し、前記エンドユーザの焦点合わせの方向を検出するように構成される、請求項１６に記載の仮想画像生成システム。
32. 前記適応マイクロホンアセンブリは、マイクロホン要素のフェーズドアレイを備える、請求項１６に記載の仮想画像生成システム。
33. 前記制御サブシステムは、前記適応マイクロホンアセンブリの最大感度に沿った方向および／またはその距離を修正するように構成されるデジタル信号プロセッサ（ＤＳＰ）を備える、請求項１６に記載の仮想画像生成システム。
34. 前記制御サブシステムは、前記ディスプレイサブシステムに、前記エンドユーザが焦点合わせしている方向および／または距離の視覚的インジケータを前記エンドユーザに表示するように命令するように構成される、請求項１６に記載の仮想画像生成システム。
35. 前記制御サブシステムは、前記ディスプレイサブシステムに、前記適応マイクロホンアセンブリの最大感度の方向および／または距離の視覚的インジケータを前記エンドユーザに表示するように命令するように構成される、請求項２２に記載の仮想画像生成システム。
36. 前記制御サブシステムは、前記音源から生じる音が、前記実音源から生じているように前記エンドユーザによって知覚されるように、前記音を位置特定するように構成される、請求項１６に記載の仮想画像生成システム。
37. 前記制御サブシステムは、前記音源から生じる音が強調され、および／または異なる音源から生じる音が強調解除されるように、前記音の特定の周波数成分の音量を選択的に上昇または降下させるように構成される、請求項１６に記載の仮想画像生成システム。
38. 前記制御サブシステムは、前記音源から生じる第１の音の特性と異なる源から生じる第２の音の特性とを比較し、前記第１の音の特性と同じタイプの特性を有する音を強調し、前記第２の音と同じタイプの特性を有する音を強調解除するように構成される、請求項１６に記載の仮想画像生成システム。