Nothing Special   »   [go: up one dir, main page]

JP2021530814A - 位置ベクトルを使用して半球曖昧性を解決するための方法およびシステム - Google Patents

位置ベクトルを使用して半球曖昧性を解決するための方法およびシステム Download PDF

Info

Publication number
JP2021530814A
JP2021530814A JP2021503584A JP2021503584A JP2021530814A JP 2021530814 A JP2021530814 A JP 2021530814A JP 2021503584 A JP2021503584 A JP 2021503584A JP 2021503584 A JP2021503584 A JP 2021503584A JP 2021530814 A JP2021530814 A JP 2021530814A
Authority
JP
Japan
Prior art keywords
headset
hemisphere
orientation
respect
handheld controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021503584A
Other languages
English (en)
Other versions
JP7519742B2 (ja
Inventor
シェン ワン，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2021530814A publication Critical patent/JP2021530814A/ja
Priority to JP2024065482A priority Critical patent/JP2024091754A/ja
Application granted granted Critical
Publication of JP7519742B2 publication Critical patent/JP7519742B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/43—Determining position using carrier phase measurements, e.g. kinematic positioning; using long or short baseline interferometry
    • G01S19/44—Carrier phase ambiguity resolution; Floating ambiguity; LAMBDA [Least-squares AMBiguity Decorrelation Adjustment] method
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V3/00—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation
    • G01V3/15—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation specially adapted for use during transport, e.g. by a person, vehicle or boat
    • G01V3/165—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation specially adapted for use during transport, e.g. by a person, vehicle or boat operating with magnetic or electric fields produced or modified by the object or by the detecting device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Electromagnetism (AREA)
  • Geology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

センサを備えるシステムにおいて半球曖昧性を解決する、実施形態。システムのハンドヘルドコントローラが、磁場を放出する。システムのヘッドセット内に位置付けられるセンサが、磁場を検出する。ハンドヘルドコントローラの第１の位置および配向が、磁場に基づいて、ヘッドセットに対する第１の半球内で決定される。ハンドヘルドコントローラの第２の位置および配向が、磁場に基づいて、ヘッドセットに対する第１の半球に直径方向に対向する第２の半球内で決定される。法線ベクトルが、ヘッドセットに対して決定され、位置ベクトルが、第１の半球内のヘッドセットに対するハンドヘルドコントローラの位置を識別する。法線ベクトルおよび位置ベクトルのドット積が、計算され、ドット積の結果が正であるとき、ハンドヘルドコントローラの第１の位置および配向が正確であると決定される。

Description

（関連出願の相互参照）
本願は、その開示全体が、本明細書に完全に記載される場合と同様に、あらゆる目的のために、参照することによってその全体として本明細書に組み込まれる、２０１８年７月２３日に出願され、「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ」と題された、米国仮特許出願第６２／７０２，３３９号の優先権を主張する。
本願は、その全体が、参照することによって本明細書に組み込まれる、２０１７年１２月２９日に出願され、「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ」と題された、米国特許出願第１５／８５９，２７７号に関連する。
本開示は、拡張現実システムのコンテキストにおいて、１つ以上のオブジェクトの位置および配向を位置特定するためのシステムおよび方法に関する。
現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進している。仮想現実または「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実または「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。
ＡＲおよびＶＲシステムにおいて行われた進歩にもかかわらず、ＡＲおよびＶＲデバイスのコンテキストにおいて、より良好な位置特定システムの必要性が存在する。
本発明は、複数のセンサからのデータ入力を最適に解釈するためのシステムおよび方法に関する。言い換えると、本明細書に説明される実施形態は、単一センサ入力からのデータ入力を補正するために使用されるものより少ない算出リソースを用いて、複数の入力を共通コヒーレント出力に精緻化する。
一実施形態では、１つ以上のセンサを備えるシステムにおいて半球曖昧性を解決するためのコンピュータ実装方法は、システムのハンドヘルドコントローラにおいて、１つ以上の磁場を放出するステップを含む。本方法はさらに、システムのヘッドセット内に位置付けられる１つ以上のセンサによって、１つ以上の磁場を検出するステップを含む。本方法はまた、１つ以上の磁場に基づいて、ヘッドセットに対する第１の半球内のハンドヘルドコントローラの第１の位置および第１の配向を決定するステップと、１つ以上の磁場に基づいて、ヘッドセットに対する第２の半球内のハンドヘルドコントローラの第２の位置および第２の配向を決定するステップとを含む。第２の半球は、ヘッドセットに対する第１の半球に直径方向に対向する。本方法はまた、ヘッドセットに対する、法線ベクトルと、第１の半球内のヘッドセットに対するハンドヘルドコントローラの位置を識別する、位置ベクトルとを決定するステップを含む。加えて、本方法は、法線ベクトルおよび位置ベクトルのドット積を計算するステップと、ドット積の結果が正であるとき、ハンドヘルドコントローラの第１の位置および第１の配向が正確であることを決定するステップとを含む。本方法はまた、ドット積の結果が負であるとき、ハンドヘルドコントローラの第２の位置および第２の配向が正確であることを決定するステップを含む。
１つ以上の実施形態では、位置ベクトルは、ヘッドセットの座標フレームにおいて定義される。法線ベクトルは、ヘッドセットから生じ、ヘッドセットからの水平線から所定の角度で延在する。いくつかの実施形態では、所定の角度は、ヘッドセットからの水平線から下方に４５°角度にある。いくつかの実施形態によると、ドット積の結果が正であるとき、第１の半球は、ヘッドセットに対する正面半球と識別され、第２の半球は、ヘッドセットに対する背面半球と識別される。いくつかの実施形態では、ドット積の結果が正であるとき、第１の半球は、ヘッドセットに対する正面半球と識別され、第２の半球は、ヘッドセットに対する背面半球と識別される。１つ以上の実施形態では、システムは、光学デバイスである。いくつかの実施形態によると、本方法は、ヘッドセットの初期化プロセスの間に実施される。
いくつかの実施形態では、本方法はまた、ドット積の結果が正であるときの第１の位置および第１の配向、またはドット積の結果が負であるときの第２の位置および第２の配向に基づいて、仮想コンテンツをディスプレイに送達するステップを含む。
いくつかの実施形態では、第１のセンサからのデータ入力は、第２のセンサからの補正データ入力点によって更新される。ノイズデータが、高周波数ＩＭＵ等によって収集されるにつれて、周期的に、更新または調節され、過剰な誤差またはドリフトが、システム性能またはそのデータの解釈に悪影響を及ぼすことを防止する。
いくつかの実施形態では、第１のセンサの入力は、ＲＡＤＡＲまたは視覚システム等のより低い周波数およびより正確な第２のセンサによって提供されるような補正入力点から生じるようにリセットされる。これらのより正確なセンサは、より低い周波数で動作され、そうでなければそれらを完全容量で動作させるために必要である、コンピューティングサイクルを保存し、その入力は、周期的に基礎となる、またはよりノイズが多いデータを更新および補正するためにのみ必要であるため、より低い周波数動作は、システム性能に影響を及ぼさない。
別の実施形態では、システムは、１つ以上の磁場を放出するように構成される磁場伝送機を備える、ハンドヘルドコントローラと、１つ以上の磁場を検出するように構成される、１つ以上の磁場センサを備える、ヘッドセットと、ヘッドセットに結合され、動作を実施するように構成される、プロセッサとを含む。動作は、１つ以上の磁場に基づいて、ヘッドセットに対する第１の半球内のハンドヘルドコントローラの第１の位置および第１の配向を決定するステップと、１つ以上の磁場に基づいて、ヘッドセットに対する第２の半球内のハンドヘルドコントローラの第２の位置および第２の配向を決定するステップとを含む。第２の半球は、ヘッドセットに対する第１の半球に直径方向に対向する。動作はまた、ヘッドセットに対する、法線ベクトルと、第１の半球内のヘッドセットに対するハンドヘルドコントローラの位置を識別する、位置ベクトルとを決定するステップを含む。加えて、動作は、法線ベクトルおよび位置ベクトルのドット積を計算するステップと、ドット積の結果が正であるとき、ハンドヘルドコントローラの第１の位置および第１の配向が正確であることを決定するステップとを含む。動作はまた、ドット積の結果が負であるとき、ハンドヘルドコントローラの第２の位置および第２の配向が正確であることを決定するステップを含む。
さらに別の実施形態では、コンピュータプログラム製品は、非一過性コンピュータ可読媒体内に具現化され、コンピュータ可読媒体は、プロセッサによって実行されると、プロセッサに、システムのハンドヘルドコントローラにおいて、１つ以上の磁場を放出するステップを含む、１つ以上のセンサを備えるシステムにおいて半球曖昧性を解決するための方法を実行させる、その上に記憶される命令のシーケンスを有する。本方法はさらに、システムのヘッドセット内に位置付けられる１つ以上のセンサによって、１つ以上の磁場を検出するステップを含む。本方法はまた、１つ以上の磁場に基づいて、ヘッドセットに対する第１の半球内のハンドヘルドコントローラの第１の位置および第１の配向を決定するステップと、１つ以上の磁場に基づいて、ヘッドセットに対する第２の半球内のハンドヘルドコントローラの第２の位置および第２の配向を決定するステップとを含む。第２の半球は、ヘッドセットに対する第１の半球に直径方向に対向する。本方法はまた、ヘッドセットに対する、法線ベクトルと、第１の半球内のヘッドセットに対するハンドヘルドコントローラの位置を識別する、位置ベクトルとを決定するステップとを含む。加えて、本方法は、法線ベクトルおよび位置ベクトルのドット積を計算するステップと、ドット積の結果が正であるとき、ハンドヘルドコントローラの第１の位置および第１の配向が正確であることを決定するステップとを含む。本方法はまた、ドット積の結果が負であるとき、ハンドヘルドコントローラの第２の位置および第２の配向が正確であることを決定するステップを含む。
いくつかの実施形態では、コンピュータ実装方法は、システムのヘッドセット内に位置付けられる１つ以上のセンサによって出力されたデータに基づいて、システムの環境内で電子デバイスによって放出される１つ以上の磁場を検出するステップを含む。本方法はまた、１つ以上の磁場に基づいて、ヘッドセットに対する第１の半球内の電子デバイスの第１の位置および第１の配向を決定するステップを含む。本方法はさらに、ヘッドセットに対する、法線ベクトルと、ヘッドセットに対する第１の半球内の電子デバイスの位置を識別する、位置ベクトルとを決定するステップを含む。本方法はまた、法線ベクトルおよび位置ベクトルのドット積を計算するステップと、計算されたドット積の値が正または負であるかどうかを決定するステップとを含む。本方法はさらに、ヘッドセットの少なくとも部分的に、計算されたドット積の値が正または負であるかどうかを決定するステップに基づいて、仮想コンテンツをディスプレイに送達するステップを含む。
１つ以上の実施形態では、電子デバイスは、ハンドヘルドコントローラ、ウェアラブルデバイス、またはモバイルコンピューティングデバイスを備える。いくつかの実施形態では、計算されたドット積の値が正であることの決定に応答して、仮想コンテンツをヘッドセットのディスプレイに送達するステップは、少なくとも部分的に、電子デバイスの第１の位置および第１の配向に基づいて、仮想コンテンツをヘッドセットのディスプレイに送達するステップを含む。
いくつかの実施形態では、本方法は、１つ以上の磁場に基づいて、ヘッドセットに対する第２の半球内の電子デバイスの第２の位置および第２の配向を決定するステップを含む。第２の半球は、ヘッドセットに対する第１の半球に直径方向に対向する。計算されたドット積の値が負であることの決定に応答して、仮想コンテンツをヘッドセットのディスプレイに送達するステップは、少なくとも部分的に、電子デバイスの第２の位置および第２の配向に基づいて、仮想コンテンツをヘッドセットのディスプレイに送達するステップを含む。
いくつかの実施形態では、ノイズデータは、センサが提供する着信データ点を先制して調節するように係数値によって調節される。補正データ点が、受信されにつれて、システムは、ノイズデータを補正入力点に完全に調節するのではなく、着信ノイズデータを補正入力点に向かって「操向」する。これらの実施形態は、特に、補正入力に向かって操向するノイズデータストリームが、現在の測定が示すであろうものと実質的に異なる過去の補正入力点から生じないであろうため、両センサ入力に大変化が存在するときに有益である。言い換えると、ノイズデータストリームは、陳腐化した補正入力点から生じないであろう。
いくつかの実施形態では、姿勢予測が、ユーザの将来的位置を推定し、その将来的位置において予期される特徴および点にアクセスすることによって行われる。例えば、ユーザが、正方形のテーブルの周囲を歩き回っている場合、テーブルの角またはテーブル上のオブジェクトの線等の特徴が、ユーザが将来的時間に存在するであろう、システムが推定する場所に基づいて、システムによって「フェッチ」される。ユーザが、その場所に存在するとき、画像が、収集され、フェッチされた特徴が、その画像上に投影され、相関を決定し、具体的姿勢を決定する。これは、現在の姿勢の画像が収集されるとき、点が、より迅速に適用され得、推定される姿勢が、生成されるのではなく、精緻化され、仮想コンテンツが、その新しい姿勢に、より迅速に、またはより少ないジッタを伴ってのいずれかにおいて、レンダリングされることを可能にするように、画像が受信されることに先立って、フェッチされた特徴の前処理（ワーピング等）を完了することによって、画像の受信と同時の特徴マッピングを回避し、算出サイクルを低減させるため、有益である。
付加的実施形態、利点、および詳細が、必要に応じて以下の図を具体的に参照して、下記により詳細に説明される。
図１は、いくつかの実施形態による、ある仮想現実オブジェクトを伴う、拡張現実シナリオを図示する。
図２Ａ−２Ｄは、いくつかの実施形態による、視覚的ディスプレイシステムを備えるコンポーネントの種々の構成を図示する。 図２Ａ−２Ｄは、いくつかの実施形態による、視覚的ディスプレイシステムを備えるコンポーネントの種々の構成を図示する。 図２Ａ−２Ｄは、いくつかの実施形態による、視覚的ディスプレイシステムを備えるコンポーネントの種々の構成を図示する。 図２Ａ−２Ｄは、いくつかの実施形態による、視覚的ディスプレイシステムを備えるコンポーネントの種々の構成を図示する。
図３は、いくつかの実施形態による、クラウドコンピューティングアセットとの遠隔相互作用を図示する。
図４は、いくつかの実施形態による、電磁追跡システムを図示する。
図５は、いくつかの実施形態による、電磁追跡の方法を描写する。
図６は、いくつかの実施形態による、視覚的ディスプレイシステムに結合される電磁追跡システムを図示する。
図７は、いくつかの実施形態による、電磁エミッタに結合される視覚的ディスプレイシステムのメトリックを決定する方法を描写する。
図８は、いくつかの実施形態による、種々の感知コンポーネントおよび付属品を備える視覚的ディスプレイシステムを図示する。
図９Ａ−９Ｆは、種々の実施形態による、種々の制御モジュールを図示する。 図９Ａ−９Ｆは、種々の実施形態による、種々の制御モジュールを図示する。 図９Ａ−９Ｆは、種々の実施形態による、種々の制御モジュールを図示する。 図９Ａ−９Ｆは、種々の実施形態による、種々の制御モジュールを図示する。 図９Ａ−９Ｆは、種々の実施形態による、種々の制御モジュールを図示する。 図９Ａ−９Ｆは、種々の実施形態による、種々の制御モジュールを図示する。
図１０は、いくつかの実施形態による、最小限にされた形状因子を伴う頭部搭載型視覚的ディスプレイを図示する。
図１１Ａ−１１Ｂは、電磁感知モジュールの種々の構成を図示する。 図１１Ａ−１１Ｂは、電磁感知モジュールの種々の構成を図示する。
図１２Ａ−１２Ｅは、いくつかの実施形態による、電磁センサコアのための種々の構成を図示する。
図１３Ａ−１３Ｃは、いくつかの実施形態による、電磁感知の種々の時分割多重化を図示する。 図１３Ａ−１３Ｃは、いくつかの実施形態による、電磁感知の種々の時分割多重化を図示する。 図１３Ａ−１３Ｃは、いくつかの実施形態による、電磁感知の種々の時分割多重化を図示する。
図１４−１５は、いくつかの実施形態による、視覚的ディスプレイシステムの開始に応じて種々のセンサデータを組み合わせる方法を描写する。 図１４−１５は、いくつかの実施形態による、視覚的ディスプレイシステムの開始に応じて種々のセンサデータを組み合わせる方法を描写する。
図１６Ａ−１６Ｂは、いくつかの実施形態による、種々の感知および結像コンポーネントおよび付属品を備える、視覚的ディスプレイシステムを図示する。 図１６Ａ−１６Ｂは、いくつかの実施形態による、種々の感知および結像コンポーネントおよび付属品を備える、視覚的ディスプレイシステムを図示する。
図１７Ａ−１７Ｇは、いくつかの実施形態による、電磁追跡システム内の伝送コイルの種々の構成を図示する。 図１７Ａ−１７Ｇは、いくつかの実施形態による、電磁追跡システム内の伝送コイルの種々の構成を図示する。 図１７Ａ−１７Ｇは、いくつかの実施形態による、電磁追跡システム内の伝送コイルの種々の構成を図示する。 図１７Ａ−１７Ｇは、いくつかの実施形態による、電磁追跡システム内の伝送コイルの種々の構成を図示する。 図１７Ａ−１７Ｇは、いくつかの実施形態による、電磁追跡システム内の伝送コイルの種々の構成を図示する。 図１７Ａ−１７Ｇは、いくつかの実施形態による、電磁追跡システム内の伝送コイルの種々の構成を図示する。 図１７Ａ−１７Ｇは、いくつかの実施形態による、電磁追跡システム内の伝送コイルの種々の構成を図示する。
図１８Ａ−１８Ｃは、いくつかの実施形態による、種々のシステム入力からの信号干渉効果を図示する。 図１８Ａ−１８Ｃは、いくつかの実施形態による、種々のシステム入力からの信号干渉効果を図示する。 図１８Ａ−１８Ｃは、いくつかの実施形態による、種々のシステム入力からの信号干渉効果を図示する。
図１９は、いくつかの実施形態による、較正構成を図示する。
図２０Ａ−２０Ｃは、複数のサブシステム間におけるような種々の総和器構成を図示する。 図２０Ａ−２０Ｃは、複数のサブシステム間におけるような種々の総和器構成を図示する。 図２０Ａ−２０Ｃは、複数のサブシステム間におけるような種々の総和器構成を図示する。
図２１は、種々の信号周波数を伴う複数の入力の信号重複を図示する。
図２２Ａ−２２Ｃは、いくつかの実施形態による、電磁感知モジュールの種々のアレイを図示する。 図２２Ａ−２２Ｃは、いくつかの実施形態による、電磁感知モジュールの種々のアレイを図示する。 図２２Ａ−２２Ｃは、いくつかの実施形態による、電磁感知モジュールの種々のアレイを図示する。
図２３Ａ−２３Ｃは、いくつかの実施形態による、所与の既知の入力を伴うセンサの再較正を図示する。 図２３Ａ−２３Ｃは、いくつかの実施形態による、所与の既知の入力を伴うセンサの再較正を図示する。 図２３Ａ−２３Ｃは、いくつかの実施形態による、所与の既知の入力を伴うセンサの再較正を図示する。
図２４Ａ−２４Ｄは、いくつかの実施形態による、較正プロトコル内の変数を決定するステップを図示する。 図２４Ａ−２４Ｄは、いくつかの実施形態による、較正プロトコル内の変数を決定するステップを図示する。 図２４Ａ−２４Ｄは、いくつかの実施形態による、較正プロトコル内の変数を決定するステップを図示する。 図２４Ａ−２４Ｄは、いくつかの実施形態による、較正プロトコル内の変数を決定するステップを図示する。
図２５Ａ−２５Ｅは、いくつかの実施形態による、あるセンサ入力および適用される解を前提とした、潜在的誤読取値を図示する。 図２５Ａ−２５Ｅは、いくつかの実施形態による、あるセンサ入力および適用される解を前提とした、潜在的誤読取値を図示する。 図２５Ａ−２５Ｅは、いくつかの実施形態による、あるセンサ入力および適用される解を前提とした、潜在的誤読取値を図示する。 図２５Ａ−２５Ｅは、いくつかの実施形態による、あるセンサ入力および適用される解を前提とした、潜在的誤読取値を図示する。 図２５Ａ−２５Ｅは、いくつかの実施形態による、あるセンサ入力および適用される解を前提とした、潜在的誤読取値を図示する。
図２５Ｆは、いくつかの実施形態による、ヘッドセットに対するハンドヘルドデバイスに関する位置ベクトルを使用してハンドヘルドコントローラの正しい姿勢を決定するステップを説明する、フローチャートを図示する。
図２６は、いくつかの実施形態による、２つの画像間におけるような特徴マッチングを図示する。
図２７Ａ−２７Ｂは、いくつかの実施形態による、センサ入力を前提として姿勢を決定する方法を描写する。 図２７Ａ−２７Ｂは、いくつかの実施形態による、センサ入力を前提として姿勢を決定する方法を描写する。
図２８Ａ−２８Ｇは、いくつかの実施形態による、種々のセンサ融合補正を図示する。 図２８Ａ−２８Ｇは、いくつかの実施形態による、種々のセンサ融合補正を図示する。 図２８Ａ−２８Ｇは、いくつかの実施形態による、種々のセンサ融合補正を図示する。 図２８Ａ−２８Ｇは、いくつかの実施形態による、種々のセンサ融合補正を図示する。 図２８Ａ−２８Ｇは、いくつかの実施形態による、種々のセンサ融合補正を図示する。 図２８Ａ−２８Ｇは、いくつかの実施形態による、種々のセンサ融合補正を図示する。 図２８Ａ−２８Ｇは、いくつかの実施形態による、種々のセンサ融合補正を図示する。
図２９は、いくつかの実施形態による、単一経路多重層畳み込みコンピューティングアーキテクチャを図示する。
図３０Ａ−３０Ｅは、いくつかの実施形態による、電磁追跡システムのための種々のコイル構成を図示する。 図３０Ａ−３０Ｅは、いくつかの実施形態による、電磁追跡システムのための種々のコイル構成を図示する。 図３０Ａ−３０Ｅは、いくつかの実施形態による、電磁追跡システムのための種々のコイル構成を図示する。 図３０Ａ−３０Ｅは、いくつかの実施形態による、電磁追跡システムのための種々のコイル構成を図示する。 図３０Ａ−３０Ｅは、いくつかの実施形態による、電磁追跡システムのための種々のコイル構成を図示する。
図３１は、本明細書に説明される実施形態による、簡略化されたコンピュータシステムを図示する。
例えば、図１を参照すると、拡張現実場面（４）が、描写されており、ＡＲ技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム（１１２０）を特徴とする、実世界公園状設定（６）が見える。これらのアイテムに加え、ＡＲ技術のユーザはまた、実世界プラットフォーム（１１２０）上に立っているロボット像（１１１０）と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ（２）とを「見ている」と知覚するが、これらの要素（２、１１１０）は、実世界内には存在しない。結論から述べると、ヒトの視知覚系が、複雑であるため、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、ＶＲまたはＡＲ技術の生産は、困難である。
例えば、頭部装着型ＡＲディスプレイ（またはヘルメット搭載型ディスプレイまたはスマートグラス）は、典型的には、ユーザの頭部に少なくとも緩く結合され、したがって、ユーザの頭部が移動すると、移動し得る。ユーザの頭部の運動が、ディスプレイシステムによって検出される場合、表示されているデータは、頭部姿勢の変化を考慮するように更新されることができる。
実施例として、頭部装着型ディスプレイを装着するユーザが、ディスプレイ上の３次元（３−Ｄ）オブジェクトの仮想表現を視認し、３−Ｄオブジェクトが現れる面積の周囲を歩き回る場合、その３−Ｄオブジェクトは、視点毎に再レンダリングされ、彼らが、実空間を占有するオブジェクトの周囲を歩き回っているような知覚をユーザに与えることができる。頭部装着型ディスプレイが、仮想空間内に複数のオブジェクト（例えば、豊かな仮想世界）を提示するために使用される場合、頭部の姿勢の測定（すなわち、ユーザの頭部の場所および配向）が、ユーザの動的に変化する頭部場所および配向に合致するように場面を再レンダリングし、仮想空間内への没入感の増加を提供するために使用されることができる。
ＡＲシステムでは、頭部の姿勢の検出または計算は、ユーザにとって意味をなす様式において、ディスプレイシステムが実世界内の空間を占有するように現れるように、仮想オブジェクトをレンダリングすることを促進することができる。加えて、ユーザの頭部またはＡＲシステムと連動したハンドヘルドデバイス（「トーテム」とも称され得る）、触知デバイス、または他の実際の物理的オブジェクト等の実オブジェクトの位置および／または配向の検出もまた、ディスプレイシステムが、ディスプレイ情報をユーザに提示し、ユーザが、ＡＲシステムのある側面と効率的に相互作用することを可能にすることを促進し得る。ユーザの頭部が、実世界内で動き回るにつれて、仮想オブジェクトは、仮想オブジェクトが実世界に対して安定したまま現れるように、頭部の姿勢の関数として再レンダリングされ得る。少なくともＡＲ用途に関して、物理的オブジェクトと空間的に連動した仮想オブジェクトの設置（例えば、２または３次元において物理的オブジェクトに空間的に近接して現れるように提示される）は、些細な問題ではあり得ない。
例えば、頭部の移動が、周囲環境の視点からの仮想オブジェクトの設置を有意に複雑にし得る。これは、視点が周囲環境の画像として捕捉され、次いで、エンドユーザに投影または表示されるかどうか、またはエンドユーザが周囲環境の視点を直接知覚するかどうかに当てはまる。例えば、頭部の移動は、エンドユーザの視野を変化させる可能性が高く、これは、種々の仮想オブジェクトがエンドユーザの視野に表示される場所に対する更新を要求する可能性が高いであろう。
加えて、頭部移動は、多種多様な範囲および速度で生じ得る。頭部移動速度は、異なる頭部移動間においてだけではなく、単一頭部移動の範囲内またはそれを横断して変動し得る。例えば、頭部移動速度は、最初に、始点から増加し得（例えば、線形または非線形）、終点に到達するにつれて、減少し得、頭部の移動の始点と終点との間のある場所で最大速度を得る。高速頭部移動は、特定の表示または投影技術の能力さえ超え、均一および／または平滑運動としてエンドユーザに現れる画像をレンダリングし得る。
頭部追跡正確度および待ち時間（すなわち、ユーザがその頭部を移動させてから、画像が更新され、ユーザに表示されるまでの経過時間）は、ＶＲおよびＡＲシステムにとって課題となっている。特に、ユーザの視野の実質的部分を仮想要素で充填する、ディスプレイシステムに関して、頭部追跡の正確度が高く、頭部運動の最初の検出からディスプレイによってユーザの視覚系に送達される光の更新までの全体的システム待ち時間が非常に短いことが重要である。待ち時間が長い場合、システムは、ユーザの前庭と視感覚系との間に不整合をもたらし、乗り物酔いまたは３Ｄ酔いにつながり得る、ユーザ知覚シナリオを生成させ得る。システム待ち時間が長い場合、仮想オブジェクトの見掛け場所は、高速頭部運動の間、不安定に現れ得る。
頭部装着型ディスプレイシステムに加え、他のディスプレイシステムもまた、正確かつ短い待ち時間の頭部の姿勢検出から恩恵を受け得る。これらとして、ディスプレイが、ユーザの身体に装着されず、例えば、壁または他の表面上に搭載される、頭部追跡型ディスプレイシステムが挙げられる。頭部追跡型ディスプレイは、場面上に窓のように作用し得、ユーザがその頭部を「窓」に対して移動させるにつれて、場面は、ユーザの変化する視点に合致するように、再レンダリングされる。他のシステムとして、頭部装着型ディスプレイが光を実世界上に投影する、頭部装着型投影システムが挙げられる。
加えて、現実的拡張現実体験を提供するために、ＡＲシステムは、ユーザと相互作用するように設計されてもよい。例えば、複数のユーザが、仮想ボールおよび／または他の仮想オブジェクトを用いて、ボールゲームをプレーしてもよい。１人のユーザが、仮想ボールを「キャッチ」し、ボールを別のユーザに投げ返してもよい。別の実施形態では、第１のユーザは、仮想ボールを打つためのトーテム（例えば、ＡＲシステムに通信可能に結合される実際のバット）を提供されてもよい。他の実施形態では、仮想ユーザインターフェースは、ユーザが多くのオプションのうちの１つを選択することを可能にするために、ＡＲユーザに提示されてもよい。ユーザは、トーテム、触知デバイス、ウェアラブルコンポーネントを使用し、または単に、仮想画面をタッチし、システムと相互作用してもよい。
ユーザの頭部の姿勢および配向および空間内の実オブジェクトの物理的場所を検出することは、ＡＲシステムが、仮想コンテンツを効果的かつ享受可能な様式で表示することを可能にする。しかしながら、これらの能力は、ＡＲシステムにとって重要であるが、達成することが困難である。言い換えると、ＡＲシステムは、実オブジェクト（例えば、ユーザの頭部、トーテム、触知デバイス、ウェアラブルコンポーネント、ユーザの手等）の物理的場所を認識し、実オブジェクトの物理的座標をユーザに表示されている１つ以上の仮想オブジェクトに対応する仮想座標に相関させなければならない。これは、１つ以上のオブジェクトの位置および配向を高速レートで追跡する非常に正確なセンサおよびセンサ認識システムを要求する。現在のアプローチは、満足の行く速度または精度規格において位置特定を行わない。
図２Ａ−２Ｄを参照すると、いくつかの一般的コンポーネントオプションが、図示される。図２Ａ−２Ｄの議論に従う、詳細な説明の部分では、種々のシステム、サブシステム、およびコンポーネントが、ヒトＶＲおよび／またはＡＲのための高品質かつ快適に知覚されるディスプレイシステムを提供する目的に対処するために提示される。
図２Ａに示されるように、ＡＲシステムユーザ（６０）は、ユーザの眼の正面に位置付けられるディスプレイシステム（６２）に結合されるフレーム（６４）構造を特徴とする、頭部搭載型コンポーネント（５８）を装着するように描写される。スピーカ（６６）が、描写される構成においてフレーム（６４）に結合され、ユーザの外耳道に隣接して位置付けられる（一実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する）。ディスプレイ（６２）は、有線導線または無線コネクティビティ等によって、ローカル処理およびデータモジュール（７０）に動作可能に結合（６８）され、これは、フレーム（６４）に固定して取り付けられる、図２Ｂの実施形態に示されるように、ヘルメットまたは帽子（８０）に固定して取り付けられる、ヘッドホンに内蔵される、図２Ｃの実施形態に示されるように、リュック式構成においてユーザ（６０）の胴体（８２）に除去可能に取り付けられる、または図２Ｄの実施形態に示されるように、ベルト結合式構成においてユーザ（６０）の腰部（８４）に除去可能に取り付けられる等、種々の構成において搭載されてもよい。
ローカル処理およびデータモジュール（７０）は、電力効率の良いプロセッサまたはコントローラおよびフラッシュメモリ等のデジタルメモリを備えてもよく、両方とも、ａ）画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ等、フレーム（６４）に動作可能に結合され得るセンサから捕捉されるデータ、および／またはｂ）可能性として、処理または読出後、ディスプレイ（６２）への通過のために、遠隔処理モジュール（７２）および／または遠隔データリポジトリ（７４）を使用して、入手かつ／または処理され得るデータの処理、キャッシュ、および記憶を補助するために利用されてもよい。
ローカル処理およびデータモジュール（７０）は、有線または無線通信リンク等を介して、遠隔モジュール（７２、７４）が、相互に動作可能に結合され、ローカル処理およびデータモジュール（７０）へのリソースとして利用可能であるように、これらの遠隔処理モジュール（７２）および遠隔データリポジトリ（７４）に動作可能に結合（７６、７８）されてもよい。
一実施形態では、遠隔処理モジュール７２は、データおよび／または画像情報を分析および処理するように構成される、１つ以上の比較的に高性能なプロセッサまたはコントローラを備えてもよい。一実施形態では、遠隔データリポジトリ（７４）は、比較的に大規模なデジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。一実施形態では、全てのデータは、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、任意の遠隔モジュールからの完全に自律的な使用を可能にしてもよい。
ここで図３を参照すると、概略図は、例えば、ユーザの頭部（１２０）に結合される頭部搭載型コンポーネント（５８）およびユーザのベルト（３０８）に結合されるローカル処理およびデータモジュール（７０）内に常駐し得る、クラウドコンピューティングアセット（４６）とローカル処理アセットとの間の協調を図示する。したがって、コンポーネント７０はまた、図３に示されるように、「ベルトパック」７０とも称され得る。一実施形態では、１つ以上のサーバシステム（１１０）等のクラウド（４６）アセットは、有線または無線ネットワーキング等を介して、（無線は、モバイル式のために好ましく、有線は、所望され得る、ある高帯域幅または高データ量転送のために好ましい）、直接、前述のように、ユーザの頭部（１２０）およびベルト（３０８）に結合されるプロセッサおよびメモリ構成等のローカルコンピューティングアセットの一方または両方（４０、４２）に動作可能に結合（１１５）される。ユーザにローカルのこれらのコンピューティングアセットは同様に、図８を参照して以下に議論される有線結合（６８）等、有線および／または無線コネクティビティ構成（４４）を介して、相互に動作可能に結合されてもよい。一実施形態では、ユーザの頭部（１２０）に搭載される低慣性および小型サブシステムを維持するために、ユーザとクラウド（４６）との間の一次転送は、ベルト（３０８）に搭載されるサブシステムとクラウドとの間のリンクを介してもよく、頭部搭載型サブシステム（１２０）は、主に、例えば、パーソナルコンピューティング周辺コネクティビティ用途において現在採用されるような超広帯域（「ＵＷＢ」）コネクティビティ等の無線コネクティビティを使用して、ベルトベースのサブシステム（３０８）にデータテザリングされる。
効率的ローカルおよび遠隔処理協調および図２Ａに示されるユーザインターフェースまたはユーザディスプレイシステム（６２）またはその変形例等のユーザのための適切なディスプレイデバイスを用いることで、ユーザの現在の実際または仮想場所に関する１つの世界の側面は、ユーザに転送または「パス」され、効率的方式で更新され得る。言い換えると、世界のマップが、ユーザのＡＲシステム上に部分的に常駐し、かつクラウドリソース内に部分的に常駐し得る記憶場所において、持続的に更新され得る。マップ（「パス可能世界モデル」とも称される）は、ラスタ画像、３−Ｄおよび２−Ｄ点、パラメータ情報、および実世界についての他の情報を備える、大型データベースであってもよい。ますます多くのＡＲユーザが、その実環境についての情報を持続的に捕捉するにつれて（例えば、カメラ、センサ、ＩＭＵ等を通して）、マップは、ますます正確かつ完全となる。
クラウドコンピューティングリソース上に常駐し、そこから配信されることができる、１つの世界モデルが存在する、前述のような構成を用いることで、そのような世界は、リアルタイムビデオデータまたは同等物の回送を試みるために好ましい比較的に低帯域幅形態において、１人以上のユーザに「パス可能」となり得る。像の近くに立っている人（例えば、図１に示されるように）の拡張体験は、クラウドベースの世界モデルによって情報提供されてもよく、そのサブセットは、彼らおよび彼らのローカルディスプレイデバイスにパスされ、ビューを完成させてもよい。机上にあるパーソナルコンピュータのような単純なものであり得る、遠隔ディスプレイデバイスに向かって着座している人が、その情報の同一セクションをクラウドから効率的にダウンロードし、それをそのディスプレイ上にレンダリングさせることができる。実際、像の近くの公園内に実際に存在するある人物は、遠隔に位置する友人をその公園内での散歩に連れ出し、友人は、仮想および拡張現実を通して加わってもよい。本システムは、通りの場所、木々の場所、像の場所を把握する必要があるであろうが、クラウド上のその情報を用いることで、加わる友人は、シナリオのクラウド側面からダウンロードし、次いで、実際に公園内に居る人物に対してローカルの拡張現実として散歩を開始することができる。
３−Ｄ点が、環境から捕捉されてもよく、それらの画像または点を捕捉するカメラの姿勢（すなわち、世界に対するベクトルおよび／または原位置情報）が、これらの点または画像が、本姿勢情報と「タグ付けされる」、または関連付けられ得るように、決定されてもよい。次いで、第２のカメラによって捕捉された点は、第２のカメラの姿勢を決定するために利用されてもよい。言い換えると、第１のカメラからのタグ付けされた画像との比較に基づいて、第２のカメラを配向および／または位置特定することができる。次いで、本知識は、テクスチャを抽出する、マップを作成する、および実世界の仮想コピーを作成するために利用されてもよい（その時点で、周囲に位置合わせされる２つのカメラが存在するため）。
したがって、基礎レベルでは、一実施形態では、人装着型システムは、３−Ｄ点およびその点を生成した２−Ｄ画像の両方を捕捉するために利用されることができ、これらの点および画像は、クラウド記憶および処理リソースに送信されてもよい。それらはまた、内蔵姿勢情報とともにローカルでキャッシュされてもよい（すなわち、タグ付けされた画像をキャッシュする）。したがって、クラウドは、３−Ｄ点とともに、タグ付けされた２−Ｄ画像（例えば、３−Ｄ姿勢とタグ付けされた）の準備完了状態にあり得る（すなわち、利用可能なキャッシュ内で）。ユーザが、動的なものを観察している場合、また、運動に関する付加的情報をクラウドに送信してもよい（例えば、別の人物の顔を見ている場合、ユーザは、顔のテクスチャマップを撮影し、周囲世界がその他の点では基本的に静的であっても、それを最適化された周波数でプッシュ配信することができる）。オブジェクト認識装置およびパス可能世界モデルに関するさらなる情報は、「Ｓｙｓｔｅｍ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ａｕｇｍｅｎｔｅｄ ａｎｄ ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ」と題された米国特許出願第１４／２０５，１２６号（参照することによって本明細書にその全体として組み込まれる）とともに、Ｍａｇｉｃ Ｌｅａｐ， Ｉｎｃ．（Ｆｏｒｔ Ｌａｕｄｅｒｄａｌｅ， Ｆｌｏｒｉｄａ）によって開発されたもの等の拡張および仮想現実システムに関連する、以下の付加的開示、すなわち、米国特許出願第１４／６４１，３７６号、米国特許出願第１４／５５５，５８５号、米国特許出願第１４／２１２，９６１号、米国特許出願第１４／６９０，４０１号、米国特許出願第１３／６６３，４６６号、特許出願第１３／６８４，４８９号に見出され得、米国ＧＰＳおよび他の位置特定情報が、そのような処理への入力として利用されてもよい。ユーザの頭部、トーテム、手のジェスチャ、触知デバイス等の非常に正確な位置特定は、適切な仮想コンテンツをユーザに表示するために必須である。
高精度位置特定を達成するための１つのアプローチは、ユーザのＡＲヘッドセット、ベルトパック、および／または他の補助デバイス（例えば、トーテム、触知デバイス、ゲーム器具等）上に方略的に設置される、電磁センサと結合される電磁場の使用を伴い得る。
電磁追跡システムは、典型的には、少なくとも、電磁場エミッタと、少なくとも１つの電磁場センサとを備える。センサは、既知の分布を伴う電磁場を測定してもよい。これらの測定に基づいて、エミッタに対する電磁場センサの位置および配向が、決定される。
ここで図４を参照すると、電磁追跡システムの例示的系統図（例えば、Ｊｏｈｎｓｏｎ ＆ Ｊｏｈｎｓｏｎ Ｃｏｒｐｏｒａｔｉｏｎの子会社であるＢｉｏｓｅｎｓｅ（ＲＴＭ）、Ｐｏｌｈｅｍｕｓ（ＲＴＭ）， Ｉｎｃ．（Ｃｏｌｃｈｅｓｔｅｒ， Ｖｅｒｍｏｎｔ）等の組織によって開発されたもの、Ｓｉｘｅｎｓｅ（ＲＴＭ）Ｅｎｔｅｒｔａｉｎｍｅｎｔ， Ｉｎｃ．（ＬｏｓＧａｔｏｓ， Ｃａｌｉｆｏｒｎｉａ）、および他の追跡装置製造企業によって製造されたもの等）が、図示される。１つ以上の実施形態では、電磁追跡システムは、既知の磁場を放出するように構成される、電磁場エミッタ４０２を備える。図４に示されるように、電磁場エミッタは、電力供給源（例えば、電流、バッテリ等）に結合され、電力をエミッタ４０２に提供してもよい。
１つ以上の実施形態では、電磁場エミッタ４０２は、磁場を生成する、いくつかのコイル（例えば、相互に垂直に位置付けられ、場をｘ、ｙ、およびｚ方向に生成する、少なくとも３つのコイル）を備える。本磁場は、座標空間を確立するために使用される。これは、システムが、既知の磁場と関連してセンサの位置をマップすることを可能にし、センサの位置および／または配向を決定することに役立つ。１つ以上の実施形態では、電磁センサ４０４ａ、４０４ｂ等が、１つ以上の実オブジェクトに取り付けられてもよい。電磁センサ４０４は、電流が放出される電磁場を通して誘発され得る、より小さいコイルを備えてもよい。
概して、「センサ」コンポーネント（４０４）は、エミッタ（４０２）によって放出される磁場から流入する磁束を捕捉するように位置付けられる／配向される立方体または他の容器等の小型構造内にともに結合される、３つの異なるように配向される（すなわち、相互に対して直交して配向される等）コイルのセット等の小型コイルまたはループを備えてもよく、これらのコイルを通して誘発される電流を比較することによって、かつ相互に対するコイルの相対的位置および配向を把握することによって、エミッタに対するセンサの相対的位置および配向が、計算され得る。
電磁追跡センサに動作可能に結合される、コイルおよび慣性測定ユニット（「ＩＭＵ」）コンポーネントの挙動に関する１つ以上のパラメータが、電磁場エミッタが結合される座標系に対するセンサ（およびそれが取り付けられるオブジェクト）の位置および／または配向を検出するために、測定されてもよい。１つ以上の実施形態では、複数のセンサが、電磁エミッタと連動して使用され、座標空間内のセンサのそれぞれの位置および配向を検出してもよい。電磁追跡システムは、３つの方向（すなわち、Ｘ、Ｙ、およびＺ方向）において、さらに、２つまたは３つの配向角度において、位置を提供してもよい。１つ以上の実施形態では、ＩＭＵの測定は、コイルの測定と比較され、センサの位置および配向を決定してもよい。１つ以上の実施形態では、電磁（ＥＭ）データおよびＩＭＵデータは両方とも、カメラ、深度センサ、および他のセンサ等の種々の他のデータ源とともに、位置および配向を決定するために組み合わせられてもよい。本情報は、コントローラ４０６に伝送されてもよい（例えば、無線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）等）。１つ以上の実施形態では、姿勢（または位置および配向）は、従来のシステムにおいて比較的に高リフレッシュレートで報告されてもよい。
従来、電磁エミッタは、テーブル、手術台、壁、または天井等の比較的に安定した大型オブジェクトに結合され、１つ以上のセンサは、医療デバイス、ハンドヘルドゲームコンポーネント、または同等物等のより小型のオブジェクトに結合される。代替として、図６を参照して以下に説明されるように、電磁追跡システムの種々の特徴が、採用され、より安定したグローバル座標系に対する空間内を移動する２つのオブジェクト間の位置および／または配向における変化またはデルタが追跡され得る、構成を生成してもよい。言い換えると、構成は、図６に示されており、電磁追跡システムの変動が、利用され、頭部搭載型コンポーネントとハンドヘルドコンポーネントとの間の位置および配向デルタを追跡し得る一方、（例えば、ユーザにローカルの室内環境の）グローバル座標系に対する頭部の姿勢は、システムの頭部搭載型コンポーネントに結合され得る外向き捕捉カメラを使用して、同時位置特定およびマッピング（「ＳＬＡＭ」）技法等によって別様に決定される。
コントローラ４０６は、電磁場発生器４０２を制御してもよく、また、データを種々の電磁センサ４０４から捕捉してもよい。システムの種々のコンポーネントは、任意の電気機械的または無線／Ｂｌｕｅｔｏｏｔｈ（登録商標）手段を通して相互に結合されてもよいことを理解されたい。コントローラ４０６はまた、既知の磁場および磁場に関連する座標空間に関するデータを備えてもよい。本情報は、次いで、既知の電磁場に対応する座標空間に関連してセンサの位置および配向を検出するために使用される。
電磁追跡システムの１つの利点は、最小限の待ち時間および高分解能を伴って非常に正確な追跡結果を生成することができることである。加えて、電磁追跡システムは、必ずしも、光学追跡装置に依拠せず、ユーザの視線内にないセンサ／オブジェクトは、容易に追跡され得る。
電磁場ｖの強度は、コイル送信機（例えば、電磁場エミッタ４０２）からの距離ｒの三次関数として低下することを理解されたい。したがって、アルゴリズムは、電磁場エミッタからの距離に基づいて、要求されてもよい。コントローラ４０６は、そのようなアルゴリズムを用いて、電磁場エミッタからの可変距離におけるセンサ／オブジェクトの位置および配向を決定するように構成されてもよい。
電磁エミッタから離れて移動するにつれて、電磁場の強度の急減を前提として、正確度、効率、および短待ち時間の観点から、最良結果が、より近い距離において達成され得る。典型的電磁追跡システムでは、電磁場エミッタは、電流（例えば、差込式電力供給源）によって給電され、電磁場エミッタから半径２０フィート以内に位置するセンサを有する。センサと場エミッタとの間の半径が短いほど、ＡＲ用途を含む、多くの用途においてより望ましくあり得る。
ここで図５を参照すると、典型的電磁追跡システムの機能を説明する例示的フロー図が、簡単に説明される。５０２では、既知の電磁場が、放出される。１つ以上の実施形態では、磁場エミッタは、磁場を生成してもよく、各コイルは、電場を一方向（例えば、ｘ、ｙ、またはｚ）に生成させ得る。磁場は、恣意的波形を用いて生成されてもよい。
１つ以上の実施形態では、軸はそれぞれ、若干異なる周波数で発振してもよい。５０４では、電磁場に対応する座標空間が、決定され得る。例えば、図４の制御４０６は、電磁場に基づいて、エミッタの周囲の座標空間を自動的に決定してもよい。
５０６では、センサ（既知のオブジェクトに取り付けられ得る）におけるコイルの挙動が、検出され得る。例えば、コイルにおいて誘発される電流が、計算されてもよい。他の実施形態では、コイルの回転または任意の他の定量化可能挙動が、追跡および測定されてもよい。５０８では、本挙動は、センサおよび／または既知のオブジェクトの位置および配向を検出するために使用されてもよい。例えば、コントローラ４０６は、センサにおけるコイルの挙動を種々の位置または配向に相関させる、マッピングテーブルを参考にしてもよい。これらの計算に基づいて、座標空間内の位置が、センサの配向とともに、決定されてもよい。
ＡＲシステムのコンテキストでは、電磁追跡システムの１つ以上のコンポーネントは、モバイルコンポーネントの正確な追跡を促進するために、修正される必要があり得る。上記に記載されるように、ユーザの頭部の姿勢および配向の追跡は、多くのＡＲ用途において必須である。ユーザの頭部の姿勢および配向の正確な決定は、ＡＲシステムが、正しい仮想コンテンツをユーザに表示することを可能にする。例えば、仮想場面は、実際の建物の背後に隠れているモンスタを含み得る。建物と関連したユーザの頭部の姿勢および配向に応じて、仮想モンスタのビューは、現実的ＡＲ体験が提供されるように修正される必要があり得る。または、トーテム、触知デバイス、または仮想コンテンツと相互作用するある他の手段の位置および／または配向は、ＡＲユーザがＡＲシステムと相互作用することを可能にする際に重要であり得る。例えば、多くのゲーム用途では、ＡＲシステムは、仮想コンテンツと関連した実オブジェクトの位置および配向を検出しなければならない。または、仮想インターフェースを表示するとき、トーテム、ユーザの手、触知デバイス、またはＡＲシステムとの相互作用のために構成される任意の他の実オブジェクトの位置が、システムがコマンド等を理解するために、表示される仮想インターフェースと関連して把握されなければならない。光学追跡および他の方法を含む、従来の位置特定方法は、典型的には、長待ち時間および低分解能問題に悩まされ、仮想コンテンツのレンダリングを多くの拡張現実用途において困難にする。
１つ以上の実施形態では、図４および５に関連して議論される、電磁追跡システムは、放出される電磁場に関連して１つ以上のオブジェクトの位置および配向を検出するようにＡＲシステムに適合されてもよい。
典型的電磁システムは、大型かつ嵩張る電磁エミッタ（例えば、図４における４０２）を有する傾向にあって、これは、ＡＲデバイスにとって問題となる。しかしながら、より小型の電磁エミッタ（例えば、ミリメートル範囲内）が、ＡＲシステムのコンテキストにおいて既知の電磁場を放出するために使用されてもよい。
ここで図６を参照すると、電磁追跡システムは、ハンドヘルドコントローラ６０６の一部として組み込まれる電磁場エミッタ６０２とともに、示されるように、ＡＲシステムとともに組み込まれてもよい。１つ以上の実施形態では、ハンドヘルドコントローラは、ゲームシナリオにおいて使用されるためのトーテムであってもよい。他の実施形態では、ハンドヘルドコントローラは、触知デバイスであってもよい。さらに他の実施形態では、電磁場エミッタは、単に、ベルトパック７０の一部として組み込まれてもよい。ハンドヘルドコントローラ６０６は、電磁場エミッタ６０２に給電する、バッテリ６１０または他の電力供給源を備えてもよい。電磁場エミッタ６０２はまた、他のコンポーネントに対する電磁場エミッタ６０２の位置および／または配向の決定を補助するように構成される、ＩＭＵコンポーネント６５０を備える、またはそれに結合されてもよいことを理解されたい。これは、電磁場エミッタ６０２およびセンサ（６０４）の両方がモバイル式である場合、特に重要であり得る。図６の実施形態に示されるように、ベルトパックではなく、ハンドヘルドコントローラ内に電磁場エミッタ６０２を設置することは、電磁場エミッタがベルトパックにおいてリソースを競合するのではなく、むしろ、ハンドヘルドコントローラ６０６においてその独自のバッテリ源を使用することを確実にする。
１つ以上の実施形態では、電磁センサ６０４は、１つまたはそれを上回るＩＭＵまたは付加的磁束捕捉コイル（６０８）等、他の感知デバイスとともに、ユーザのヘッドセット上の１つ以上の場所に設置されてもよい。例えば、図６に示されるように、センサ（６０４、６０８）は、ヘッドセット（５８）の両側に設置されてもよい。これらのセンサは、非常に小型（故に、ある場合には、低感度であり得る）に加工されるため、複数のセンサを有することは、効率および精度を改良し得る。
１つ以上の実施形態では、１つ以上のセンサはまた、ベルトパック７０またはユーザの身体の任意の他の部分上に設置されてもよい。センサ（６０４、６０８）は、無線でまたはＢｌｕｅｔｏｏｔｈ（登録商標）を通してセンサ（およびそれが取り付けられるＡＲヘッドセット）の姿勢および配向を決定する、コンピューティング装置と通信してもよい。１つ以上の実施形態では、コンピューティング装置は、ベルトパック７０に常駐してもよい。他の実施形態では、コンピューティング装置は、ヘッドセット自体またはさらにハンドヘルドコントローラ６０６に常駐してもよい。コンピューティング装置は、ひいては、マッピングデータベース（例えば、パス可能世界モデル、座標空間等）を備え、姿勢を検出し、実オブジェクトおよび仮想オブジェクトの座標を決定してもよく、さらに、１つ以上の実施形態では、クラウドリソースおよびパス可能世界モデルに接続してもよい。
上記に説明されるように、従来の電磁エミッタは、ＡＲデバイスにおいて使用するために嵩張りすぎ得る。したがって、電磁場エミッタは、従来のシステムと比較してより小型のコイルを使用して、コンパクトに加工されてもよい。しかしながら、電磁場の強度が場エミッタからの距離の三次関数として減少することを前提として、電磁センサ６０４と電磁場エミッタ６０２との間の半径が短いほど（例えば、約３〜３．５フィート）、図４に詳述されるもの等の従来のシステムと比較して、電力消費を低減させ得る。
本側面は、１つ以上の実施形態では、コントローラ６０６および電磁場エミッタ６０２に給電し得る、バッテリ６１０の寿命を延長させるために利用されてもよい。または、他の実施形態では、本側面は、電磁場エミッタ６０２において磁場を生成するコイルのサイズを縮小させるために利用されてもよい。しかしながら、同一の強度の磁場を得るために、電力は、増加される必要があり得る。これは、ハンドヘルドコントローラ６０６においてコンパクトに嵌合し得る、コンパクトな電磁場エミッタユニット６０２を可能にする。
いくつかの他の変更が、ＡＲデバイスのために電磁追跡システムを使用するときに行われてもよい。本姿勢報告率は、非常に良好であるが、ＡＲシステムは、さらにより効率的な姿勢報告率を要求してもよい。この目的を達成するために、ＩＭＵベースの姿勢追跡が、センサ内で使用されてもよい。重要なこととして、ＩＭＵは、姿勢検出プロセスの効率を増加させるために、可能な限り安定したままでなければならない。ＩＭＵは、最大５０〜１００ミリ秒、安定したままであるように加工されてもよい。いくつかの実施形態は、姿勢更新が１０〜２０Ｈｚのレートで報告されることを可能にし得る、外部姿勢推定器モジュールを利用してもよいことを理解されたい（すなわち、ＩＭＵは、経時的にドリフトし得る）。ＩＭＵを合理的比率に安定して保つことによって、姿勢更新レートは、１０〜２０Ｈｚまで著しく低下され得る（従来のシステムにおけるより高い周波数と比較して）。
電磁追跡システムが、１０％デューティサイクルにおいて起動され得る場合（例えば、１００ミリ秒毎にのみ接地にピングする）、これは、ＡＲシステムにおける電力を節約する別の方法となるであろう。これは、電磁追跡システムが、１００ミリ秒毎に１０ミリ秒にわたってウェイクアップし、姿勢推定値を生成することを意味するであろう。これは、直接、電力消費節約につながり、ひいては、ＡＲデバイスのサイズ、バッテリ寿命、およびコストに影響を及ぼし得る。
１つ以上の実施形態では、デューティサイクルの本低減は、１つのみではなく、２つのハンドヘルドコントローラ（図示せず）を提供することによって方略的に利用されてもよい。例えば、ユーザは、２つのトーテム等を要求する、ゲームをプレーしてもよい。または、マルチユーザゲームでは、２人のユーザが、その独自のトーテム／ハンドヘルドコントローラを有し、ゲームをプレーしてもよい。１つではなく、２つのコントローラ（例えば、手毎の対称コントローラ）が、使用されるとき、コントローラは、オフセットデューティサイクルで動作してもよい。同一概念はまた、例えば、マルチプレーヤゲームをプレーしている２人の異なるユーザによって利用されるコントローラにも適用されてもよい。
ここで図７を参照すると、ＡＲデバイスのコンテキストにおける電磁追跡システムを説明する例示的フロー図が、説明される。７０２では、ハンドヘルドコントローラが、磁場を放出する。７０４では、電磁センサ（ヘッドセット、ベルトパック等上に設置される）が、磁場を検出する。７０６では、ヘッドセット／ベルトの位置および配向は、センサにおけるコイル／ＩＭＵの挙動に基づいて決定される。７０８では、姿勢情報が、コンピューティング装置（例えば、ベルトパックまたはヘッドセットにおける）に伝達される。７１０では、随意に、マッピングデータベース（例えば、パス可能世界モデル）は、実世界座標と仮想世界座標を相関させるために調べられてもよい。７１２では、仮想コンテンツは、ＡＲヘッドセットにおいてユーザに送達されてもよい。上記に説明されるフロー図は、例証目的にすぎず、限定として読み取られるべきではないことを理解されたい。
有利なこととして、図６に概略されるものに類似する電磁追跡システムの使用は、姿勢追跡を可能にする（例えば、頭部位置および配向、トーテムおよび他のコントローラの位置および配向）。これは、ＡＲシステムが、光学追跡技法と比較して、より高い正確度およびより短い待ち時間を伴って、仮想コンテンツを投影することを可能にする。
図８を参照すると、多くの感知コンポーネントを特徴とする、システム構成が、図示される。頭部搭載型ウェアラブルコンポーネント（５８）は、ここでは、図９Ａ−９Ｆを参照して以下に説明されるように、制御および急速解除モジュール（８６）もまた特徴とする、物理的マルチコア導線を使用して、ベルトパック等のローカル処理およびデータモジュール（７０）に動作可能に結合（６８）されて示される。ローカル処理およびデータモジュール（７０）は、ここでは、低電力Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線接続によって、ハンドヘルドコンポーネント（６０６）に動作可能に結合（１００）される。ハンドヘルドコンポーネント（６０６）はまた、低電力Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線接続等によって、直接、頭部搭載型ウェアラブルコンポーネント（５８）に動作可能に結合（９４）されてもよい。概して、ＩＭＵデータが、種々のコンポーネントの座標姿勢検出に通過される場合、数百または数千サイクル／秒またはより高い範囲内等、高周波数接続が、望ましい。センサ（６０４）および送信機（６０２）ペアリング等による電磁位置特定感知のためには、数十サイクル／秒が、適正であり得る。また、壁（８）等のユーザの周囲の実世界内の固定オブジェクトを表す、グローバル座標系（１０）も示される。クラウドリソース（４６）はまた、それぞれ、ローカル処理およびデータモジュール（７０）に、頭部搭載型ウェアラブルコンポーネント（５８）に、壁（８）またはグローバル座標系（１０）に対して固定される他のアイテムに結合され得るリソースに動作可能に結合（４２、４０、８８、９０）されてもよい。壁（８）に結合される、またはグローバル座標系（１０）に対して既知の位置および／または配向を有する、リソースは、ＷｉＦｉ送受信機（１１４）、電磁エミッタ（６０２）および／または受信機（６０４）、赤外線ＬＥＤビーコン等の所与のタイプの放射線を放出または反射させるように構成されるビーコンまたは反射体（１１２）、セルラーネットワーク送受信機（１１０）、ＲＡＤＡＲエミッタまたは検出器（１０８）、ＬＩＤＡＲエミッタまたは検出器（１０６）、ＧＰＳ送受信機（１１８）、既知の検出可能パターン（１２２）を有するポスタまたはマーカ、およびカメラ（１２４）を含んでもよい。頭部搭載型ウェアラブルコンポーネント（５８）は、赤外線カメラ（１２４）のための赤外線エミッタ（１３０）等のカメラ（１２４）検出器を補助するように構成される光エミッタ（１３０）に加え、図示されるような類似コンポーネントを特徴とする。頭部搭載型ウェアラブルコンポーネント（５８）はまた、１つ以上の歪みゲージ（１１６）を特徴とし、これは、頭部搭載型ウェアラブルコンポーネント（５８）のフレームまたは機械的プラットフォームに固定して結合され、電磁受信機センサ（６０４）またはディスプレイ要素（６２）等のコンポーネント間のそのようなプラットフォームの偏向を決定するように構成されてもよく、図８に描写される眼鏡様プラットフォーム上の突出部の上方の部分等のプラットフォームの薄い部分等においてプラットフォームの屈曲が生じた場合、それを理解することが重要であり得る。頭部搭載型ウェアラブルコンポーネント（５８）はまた、プロセッサ（１２８）と、１つ以上のＩＭＵ（１０２）とを特徴とする。コンポーネントはそれぞれ、好ましくは、プロセッサ（１２８）に動作可能に結合される。ハンドヘルドコンポーネント（６０６）およびローカル処理およびデータモジュール（７０）は、類似コンポーネントを特徴とするように図示される。図８に示されるように、そのように多くの感知およびコネクティビティ手段を用いることで、そのようなシステムは、重く、電力を大量に消費し、大型で、かつ比較的に高価である可能性が高い。しかしながら、例証目的のために、そのようなシステムは、非常に高レベルのコネクティビティ、システムコンポーネント統合、および位置／配向追跡を提供するために利用されてもよい。例えば、そのような構成を用いることで、種々の主要モバイルコンポーネント（５８、７０、６０６）は、Ｗｉ−Ｆｉ、ＧＰＳ、またはセルラー信号三角測量を使用して、グローバル座標系に対する位置の観点から位置特定されてもよく、ビーコン、電磁追跡（上記に説明されるように）、ＲＡＤＡＲ、およびＬＩＤＩＲシステムはさらに、場所および／または配向情報およびフィードバックを提供してもよい。マーカおよびカメラもまた、相対および絶対位置および配向に関するさらなる情報を提供するために利用されてもよい。例えば、頭部搭載型ウェアラブルコンポーネント（５８）に結合されて示されるもの等の種々のカメラコンポーネント（１２４）は、コンポーネント（５８）が他のコンポーネントに対して配向される場所およびその状態を決定するために、同時位置特定およびマッピングプロトコル、すなわち、「ＳＬＡＭ」において利用され得る、データを捕捉するために利用されてもよい。
図９Ａ−９Ｆを参照すると、制御および急速解除モジュール８６の種々の側面が、描写される。図９Ａを参照すると、２つの外側筐体コンポーネントが、機械的掛止を用いて増強され得る、磁気結合構成を使用して、ともに結合される。関連付けられたシステムの動作のためのボタン（１３６）が、含まれてもよい。図９Ｂは、ボタン（１３６）および下層上部印刷回路基板（１３８）が示される、部分的切断図を図示する。図９Ｃを参照すると、ボタン（１３６）および下層上部印刷回路基板（１３８）が除去され、メス型接触ピンアレイ（１４０）が、可視である。図９Ｄを参照すると、筐体（１３４）の反対部分が除去され、下側印刷回路基板（１４２）が、可視である。下側印刷回路基板（１４２）が除去され、図９Ｅに示されるように、オス型接触ピンアレイ（１４４）が、可視である。図９Ｆの断面図を参照すると、オス型ピンまたはメス型ピンのうちの少なくとも１つが、各ピンの縦軸に沿って押下され得るように、ばね荷重されるように構成される。ピンは、「ポゴピン」と称され得、概して、銅または金等の非常に伝導性の材料から成ってもよい。組み立てられると、図示される構成は、４６個のオス型ピンとメス型ピンを噛合させ、アセンブリ全体は、それを手動で引き離し、ピンアレイ（１４０、１４４）の周縁の周囲に配向される北および南磁石を使用して発生され得る、磁気インターフェース１４６荷重を克服させることによって、半分に急速解除式に分断されてもよい。一実施形態では、４６個のポゴピンを圧縮することからの約２ｋｇの荷重が、約４ｋｇの閉鎖維持力と対抗される。アレイ内のピンは、約１．３ｍｍだけ分離されてもよく、ピンは、ツイストペアまたは他の組み合わせ等の種々のタイプの伝導性ラインに動作可能に結合され、ＵＳＢ３．０、ＨＤＭＩ（登録商標）２．０、Ｉ２Ｓ信号、ＧＰＩＯ、およびＭＩＰＩ構成、および一実施形態では、最大約４アンペア／５ボルトのために構成される、高電流アナログラインおよび接地をサポートしてもよい。
図１０を参照すると、最小限にされたコンポーネント／特徴セットを有し、種々のコンポーネントの重量および大きさを最小限にし、例えば、図１０に特徴付けられるもの（５８）等の比較的にスリムな頭部搭載型コンポーネントに到達することを可能にすることが有用である。したがって、図８に示される種々のコンポーネントの種々の順列および組み合わせが、利用されてもよい。
図１１Ａを参照すると、電磁感知コイルアセンブリ（６０４、すなわち、筐体に結合される３つの個々のコイル）が、頭部搭載型コンポーネント（５８）に結合されて示される。そのような構成は、付加的幾何学形状を全体的アセンブリに追加し、これは、望ましくない場合がある。図１１Ｂを参照すると、図１１Ａの構成におけるように、コイルをボックスまたは単一筐体内に格納するのではなく、個々のコイルは、図１１Ｂに示されるように、頭部搭載型コンポーネント（５８）の種々の構造の中に統合されてもよい。図１２Ａ−１２Ｅは、電磁センサに結合されるフェライトコアを特徴とし、場感度を増加させるための種々の構成を図示する。図１２Ｂ−１２Ｅの実施形態は、図１２Ａの中実コア構成より重量が軽く、質量を節約するために利用されてもよい。
図１３Ａ−１３Ｃを参照すると、時分割多重化（「ＴＤＭ」）が、同様に、質量を節約するために利用されてもよい。例えば、図１３Ａを参照すると、従来のローカルデータ処理構成が、３コイル電磁受信機センサのために示されており、アナログ電流が、Ｘ、Ｙ、およびＺコイルのそれぞれから現れ、前置増幅器の中に流れ、帯域通過フィルタの中に流れ、アナログ／デジタル変換を通して、最終的には、デジタル信号プロセッサに流れる。図１３Ｂの伝送機構成および図１３Ｃの受信機構成を参照すると、時分割多重化が、各コイルセンサチェーンがその独自の増幅器等を要求しないように、ハードウェアを共有するために利用されてもよい。センサ筐体を除去し、多重化し、頭部上のハードウェアを節約することに加え、信号対ノイズ比が、１つを上回るセットの電磁センサを有することによって増加されてもよく、各セットは、単一のより大きいコイルセットに対して比較的に小さい。また、概して、複数の感知コイルを近接近して有するために必要とされる、低側周波数限界が、帯域幅要件改良を促進するために改良され得る。また、多重化が、概して、時間的に無線周波数信号の受信を拡散させ、概して、よりノイズが多い信号をもたらすという点において、概して、多重化とのトレードオフが存在する。したがって、より大きいコイル直径が、多重化システムのために要求され得る。例えば、多重化システムは、９ｍｍ辺寸法の立方体コイルセンサボックスを要求し得、非多重化システムは、類似性能のために、７ｍｍ辺寸法の立方体コイルボックスのみを要求し得る。したがって、幾何学形状および質量を最小限にする際、トレードオフが存在し得る。
頭部搭載型コンポーネント（５８）等の特定のシステムコンポーネントが、２つ以上の電磁コイルセンサセットを特徴とする、別の実施形態では、システムは、相互に最も近い、センサおよびエミッタペアリングを選択的に利用し、システムの性能を最適化するように構成されてもよい。
図１４を参照すると、一実施形態では、ユーザがそのウェアラブルコンピューティングシステム（１６０）に電源を投入後、頭部搭載型コンポーネントアセンブリは、ＩＭＵおよびカメラデータ（カメラデータは、例えば、より多くの未加工処理能力が存在し得る、ベルトパックプロセッサ等のＳＬＡＭ分析のために使用される）の組み合わせを捕捉し、実世界グローバル座標系（１６２）に対する頭部の姿勢（すなわち、位置および配向）を決定および更新してもよい。ユーザはまた、ハンドヘルドコンポーネントをアクティブ化し、例えば、拡張現実ゲーム（１６４）をプレーしてもよく、ハンドヘルドコンポーネントは、ベルトパックおよび頭部搭載型コンポーネント（１６６）の一方または両方に動作可能に結合される電磁送信機を備えてもよい。頭部搭載型コンポーネントに結合される１つ以上の電磁場コイル受信機セット（すなわち、セットは、３つの異なるように配向される個々のコイルである）が、送信機から磁束を捕捉し、これは、頭部搭載型コンポーネントとハンドヘルドコンポーネント（１６８）との間の位置または配向差（または「デルタ」）を決定するために利用されてもよい。グローバル座標系に対する姿勢の決定を補助する頭部搭載型コンポーネントと、頭部搭載型コンポーネントに対するハンドヘルドの相対的場所および配向の決定を補助するハンドヘルドの組み合わせは、システムが、概して、各コンポーネントがグローバル座標系に対して位置する場所、したがって、ユーザの頭部の姿勢を決定することを可能にし、ハンドヘルド姿勢は、好ましくは、拡張現実画像特徴の提示と、ハンドヘルドコンポーネント（１７０）の移動および回転を使用した相互作用とのために、比較的に短待ち時間で追跡され得る。
図１５を参照すると、図１４のものに幾分類似するが、ユーザの頭部の姿勢およびハンドヘルド姿勢が、好ましくは、拡張現実画像特徴の提示と、ハンドヘルドコンポーネント（１８０）の移動および回転を使用した相互作用とのために、比較的に短待ち時間において追跡され得るように、システムが頭部搭載型コンポーネント（１７２）およびハンドヘルドコンポーネント（１７６、１７８）の両方の姿勢の決定を補助するために利用可能なより多くの感知デバイスおよび構成を有する、実施形態が、図示される。
図１６Ａおよび１６Ｂを参照すると、図８のものに類似する構成の種々の側面が、示される。図１６Ａの構成は、ＬＩＤＡＲ（１０６）タイプの深度センサに加え、図１６Ａの構成が、例証目的のために、例えば、ステレオ三角測量式深度センサ（受動ステレオ深度センサ、テクスチャ投影ステレオ深度センサ、または構造化光ステレオ深度センサ等）または飛行時間式深度センサ（ＬＩＤＡＲ深度センサまたは変調放出深度センサ等）のいずれかであり得る、汎用深度カメラまたは深度センサ（１５４）を特徴とするという点において、図８のものと異なる。さらに、図１６Ａの構成は、付加的前向き「世界」カメラ（１２４、７２０ｐ範囲の分解能が可能なセンサを有する、グレースケールカメラであってもよい）および比較的に高分解能「写真カメラ」（１５６、例えば、２メガピクセル以上の高い分解能が可能なセンサを有する、フルカラーカメラであってもよい）を有する。図１６Ｂは、図１６Ｂを参照して以下にさらに説明されるように、例証目的のために、図１６Ａの構成の部分的直交図を示す。
図１６Ａおよび上記に記載されるステレオ対飛行時間式深度センサに戻って参照すると、これらの深度センサタイプはそれぞれ、本明細書に開示されるようなウェアラブルコンピューティングソリューションとともに採用され得るが、それぞれ、種々の利点および不利点を有する。例えば、多くの深度センサは、黒色表面および光輝または反射表面に関する課題を有する。受動ステレオ深度感知は、深度カメラまたはセンサを用いて深度を計算するために三角測量を得るという比較的に単純な方法であるが、広視野（「ＦＯＶ」）が要求される場合、課題となり得、比較的に有意なコンピューティングリソースを要求し得る。さらに、そのようなセンサタイプは、将来的特定のユースケースに重要であり得る、縁検出に関する課題を有し得る。受動ステレオは、無テクスチャ壁、低光状況、および繰り返されるパターンに関する課題を有し得る。受動ステレオ深度センサは、Ｉｎｔｅｌ（ＲＴＭ）およびＡｑｕｉｆｉ（ＲＴＭ）等の製造業者から利用可能である。テクスチャ投影を伴うステレオ（「能動ステレオ」としても知られる）は、受動ステレオに類似するが、テクスチャプロジェクタは、投影パターンを環境上にブロードキャストし、よりテクスチャが、ブロードキャストされ、より正確度が、深度計算のための三角測量において利用可能である。能動ステレオもまた、比較的に高算出リソースを要求し、広ＦＯＶが要求されるとき課題を提示し、幾分、縁を検出する際に準最適であり得るが、無テクスチャ壁に効果的であって、低光において良好であって、概して、繰り返しパターンに関する問題を有していないという点において、受動ステレオの課題のうちのいくつかに対処する。
能動ステレオ深度センサは、Ｉｎｔｅｌ（ＲＴＭ）およびＡｑｕｉｆｉ（ＲＴＭ）等の製造業者から利用可能である。Ｐｒｉｍｅｓｅｎｓｅ， Ｉｎｃ．（ＲＴＭ）によって開発され、商標名Ｋｉｎｅｃｔ（ＲＴＭ）下で利用可能なシステム、および、概して、単一カメラ／プロジェクタペアリングおよびプロジェクタを利用する、Ｍａｎｔｉｓ Ｖｉｓｉｏｎ， Ｉｎｃ．（ＲＴＭ）から利用可能なシステム等の構造化光を伴うステレオは、先験的に既知のドットのパターンをブロードキャストするように構成されるという点において特殊である。本質的に、システムは、ブロードキャストされるパターンを把握し、決定されるべき変数が深度であることを把握している。そのような構成は、算出負荷に関して比較的に効率的であり得、広ＦＯＶ要件シナリオおよび他の近傍デバイスからブロードキャストされる周囲光およびパターンを伴うシナリオでは、課題となり得るが、多くのシナリオにおいて非常に効果的かつ効率的であり得る。ＰＭＤ Ｔｅｃｈｎｏｌｏｇｉｅｓ（ＲＴＭ）、Ａ．Ｇ．およびＳｏｆｔＫｉｎｅｔｉｃ Ｉｎｃ．（ＲＴＭ）から利用可能なもの等の変調飛行時間タイプ深度センサを用いることで、エミッタは、振幅変調光の正弦波等の波を送信するように構成されてもよい。いくつかの構成では、近傍に、またはさらに重複して位置付けられ得る、カメラコンポーネントが、カメラコンポーネントのピクセルのそれぞれ上への戻り信号を受信し、深度マッピングが、決定／計算されてもよい。そのような構成は、幾何学形状が比較的にコンパクトであって、高正確度、および低算出負荷であり得るが、画像分解能（オブジェクトの縁において等）、多経路誤差（センサが反射または光輝角に照準され、いくつかの深度検出エイリアシングが存在するように、検出器が１つを上回る戻り経路を受信する結果となる等）の観点から課題となり得る。上記に記載されるＬＩＤＡＲとも称され得る、直接飛行時間センサが、ＬｕｍｉｎＡＲ（ＲＴＭ）およびＡｄｖａｎｃｅｄ Ｓｃｉｅｎｔｉｆｉｃ Ｃｏｎｃｅｐｔｓ， Ｉｎｃ．（ＲＴＭ）等の供給業者から利用可能である。これらの飛行時間構成を用いることで、概して、光のパルス（ピコ秒、ナノ秒、またはフェムト秒長の光のパルス等）は、その周囲に配向される世界を包むように本光ピングとともに送信される。次いで、カメラセンサ上の各ピクセルは、そのパルスが戻って来るのを待機し、光の速度を把握することで、各ピクセルにおける距離が、計算され得る。そのような構成は、変調飛行時間センサ構成の利点（無ベースライン、比較的に広ＦＯＶ、高正確度、比較的に低算出負荷等）の多く、また、数百万ヘルツ等の比較的に高フレームレートを有し得る。それらはまた、比較的に高価であって、比較的に低分解能を有し、明るい光に敏感であって、かつ多経路誤差を受けやすい。それらはまた、比較的に大型であって、かつ重くあり得る。
図１６を参照すると、部分的上面図が、例証目的のために示され、ユーザの眼（１２）と、視野（２８、３０）を伴うカメラ（１４、赤外線カメラ等）と、眼（１２）に向かって指向され、眼追跡、観察、および／または画像捕捉を促進する、光または放射線源（１６、赤外線等）とを特徴とする。３つの外向き世界捕捉カメラ（１２４）が、深度カメラ（１５４）およびそのＦＯＶ（２４）と、写真カメラ（１５６）およびそのＦＯＶ（２６）と同様に、そのＦＯＶ（１８、２０、２２）とともに示される。深度カメラ（１５４）から集められた深度情報は、重複ＦＯＶおよび他の前向きカメラからのデータを使用することによって強化されてもよい。例えば、システムは、深度センサ（１５４）からのサブＶＧＡ画像、世界カメラ（１２４）からの７２０ｐ画像、場合によって、写真カメラ（１５６）からの２メガピクセルカラー画像のようなもので構成され得る。そのような構成は、共通ＦＯＶを共有する４つのカメラを有し、そのうちの２つは、異種可視スペクトル画像を伴い、１つは、色を伴い、３つ目は、比較的に低分解能深度を伴う。システムは、グレースケールおよびカラー画像においてセグメント化を行い、それらの２つの画像を融合し、比較的に高分解能画像をそれらから作成し、いくつかのステレオ対応を得て、深度センサを使用して、ステレオ深度についての仮説を提供し、ステレオ対応を使用して、深度センサのみから利用可能なものより有意に良好であり得る、より精緻化された深度マップを得るように構成されてもよい。そのようなプロセスは、ローカルモバイル処理ハードウェア上で起動されてもよい、または可能性として、エリア内の他者からのデータとともに（近傍で相互からテーブルを横断して着座している２人等）クラウドコンピューティングリソースを使用して、起動され、非常に精緻化されたマッピングとなり得る。
別の実施形態では、上記に記載されるセンサは全て、１つの統合されたセンサに組み合わせられ、そのような機能性を遂行してもよい。
図１７Ａ−１７Ｇを参照すると、動的伝送コイル調整構成の側面は、伝送コイルが直交軸あたり複数の周波数で最適に動作することを促進する電磁追跡のために示され、これは、複数のユーザが同一システム上で動作することを可能にする。典型的には、電磁追跡送信機は、直交軸あたり固定周波数で動作するように設計されるであろう。そのようなアプローチを用いることで、各伝送コイルは、動作の周波数においてのみ共振を作成する、静的一連の静電容量を用いて調整される。そのような共振は、コイルを通した最大可能電流を可能にし、これは、ひいては、生成される磁束を最大限にする。
図１７Ａは、共振を生成するために使用される、典型的共振回路を図示する。要素「Ｌ１」は、１ｍＨにおける、静電容量が５２ｎＦに設定される、単軸伝送コイルを表し、共振は、図１７Ｂに示されるように、２２ｋＨｚで生成される。
図１７Ｃは、周波数に対してプロットされたシステムを通る電流を示し、電流は、共振周波数で最大であることが分かり得る。本システムが、任意の他の周波数で動作することが予期される場合、動作回路は、可能性として考えられる最大ではないであろう。図１７Ｄは、動的に調整可能な構成の実施形態を図示する。動的周波数調整は、コイル上で共振を達成し、最大電流流動を得るように設定されてもよい。調整可能回路の実施例は、図１７Ｅに示され、１つのコンデンサ（「Ｃ４」）は、図１７Ｆに示されるように、シミュレートされたデータを生産するように調整されてもよい。図１７Ｆに示されるように、電磁トラッカの直交コイルのうちの１つは、「Ｌｌ」としてシミュレートされ、静的コンデンサ（「Ｃ５」）は、固定高電圧コンデンサである。本高電圧コンデンサは、共振に起因して、より高い電圧を被り、したがって、そのパッケージサイズは、概して、より大きくなるであろう。Ｃ４は、コンデンサであって、これは、異なる値を用いて動的に切り替えられ、したがって、より低い最大電圧を被り、概して、より小さい幾何学的パッケージとなり、設置空間を節約することができる。Ｌ３はまた、共振周波数を微調整するために利用されることができる。図１７Ｆは、より高いプロット（２４８）対より低いプロット（２５０）を用いて達成される共振を図示する。Ｃ４が、シミュレーションにおいて変動されるにつれて、共振は、変化され、Ｃ５を横断する電圧（Ｖｍｉｄ−Ｖｏｕｔ）は、Ｃ４を横断するもの（Ｖｏｕｔ）より高いことが着目に値する。これは、概して、動作の周波数あたり１つずつ、複数のものが、概して、システムのために必要とされるため、Ｃ４上により小さいパッケージ部分を可能にするであろう。図１７Ｇは、達成される最大電流が、コンデンサを横断した電圧にかかわらず、共振に従うことを図示する。
図１８Ａ−１８Ｃを参照すると、電磁追跡システムは、ヒト聴力のための可聴範囲より若干高い約３０ｋＨｚを下回って機能するように境界されてもよい。図１８Ａを参照すると、そのような電磁追跡システムのために使用可能周波数内にノイズを生成する、いくつかのオーディオシステムが存在し得る。さらに、オーディオスピーカは、典型的には、電磁追跡システムにも干渉し得る、磁場および１つ以上のコイルを有する。
図１８Ｂを参照すると、ブロック図が、電磁追跡干渉のためのノイズキャンセル構成のために示される。非意図的干渉は、既知のエンティティであるため、本知識は、干渉をキャンセルし、性能を改良するために使用されることができる。言い換えると、システムによって生成されたオーディオは、受信機コイルによって受信された効果を排除するために利用されてもよい。ノイズキャンセル回路は、ＥＭ増幅器からの破損信号およびオーディオシステムからの信号を受け取るように構成されてもよく、ノイズキャンセルシステムは、オーディオスピーカから受信されたノイズをキャンセルして除去するであろう。図１８Ｃは、信号が干渉物をキャンセルするために反転および追加され得る方法の実施例を示すための、プロットを図示する。Ｖ（Ｖｎｏｉｓｅ）（上部プロット）は、オーディオスピーカによってシステムに追加されるノイズである。図１９を参照すると、一実施形態では、光または他のエミッタの既知のパターン（円形パターン等）が、ビジョンシステムの較正を補助するために利用されてもよい。例えば、円形パターンが、基点として利用されてもよい。すなわち、パターンに結合されるオブジェクトが再配向される間、既知の配向を伴うカメラまたは他の捕捉デバイスがパターンの形状を捕捉するにつれて、ハンドヘルドトーテムデバイス等のオブジェクトの配向が、決定され得る。そのような配向は、誤差決定および較正における使用のために、関連付けられるＩＭＵデバイスから生じるものと比較されてもよい。
図２０Ａ−２０Ｃを参照すると、構成が、頭部搭載型コンポーネントおよびベルトパックコンポーネント等のウェアラブルコンピューティング構成の２つのサブシステムまたはコンポーネント間の回路を簡略化するための加算増幅器とともに示される。従来の構成では、電磁追跡センサのコイル（図２０Ａの左）はそれぞれ、増幅器と関連付けられ、３つの明確に異なる増幅された信号が、ケーブル類を通して他のコンポーネントに送信されるであろう。図示される実施形態では、３つの明確に異なる増幅された信号は、加算増幅器に指向されてもよく、これは、有利に簡略化されたケーブルを辿って指向される１つの増幅された信号を生産し、各信号は、異なる周波数である。加算増幅器は、着信した全３つの信号を増幅させるように構成されてもよく、次いで、受信側デジタル信号プロセッサは、アナログ／デジタル変換後、他端において信号を分離する。図２０Ｃは、周波数毎のフィルタを図示し、したがって、信号は、そのような段において分離され、戻されてもよい。
図２１を参照すると、電磁（「ＥＭ」）追跡更新は、ポータブルシステムのための電力の観点から比較的に「高価」であり得、非常に高周波数更新が可能ではない場合がある。「センサ融合」構成では、ＩＭＵ等の別のセンサからのより頻繁に更新された位置特定情報または他の動的入力（経時的に変化する、測定可能メトリック）は、比較的に高周波数である場合とそうではない場合がある、光学センサ（カメラまたは深度カメラ等）等の別のセンサからのデータとともに組み合わせられてもよい。これらの入力の全てを融合する最終的効果は、より低い需要をＥＭシステムにかけ、より迅速な更新を提供する。さらに、「動的入力」に関して、他の例証的実施例は、温度変動、オーディオ音量、あるオブジェクトの寸法またはそこまでの距離等のサイズ決定を含み、単に、ユーザの位置または配向ではない。動的入力のセットは、所与の変数（時間等）の関数としてそれらの入力の集合を表す。
図１１Ｂに戻って参照すると、分散型センサコイル構成が、示される。図２２Ａを参照すると、Ｘ、Ｙ、Ｚの方向毎に１つの３つの直交コイルを含有するボックス等の単一電磁センサデバイス（６０４）を伴う構成が、上記に説明されるように、６自由度追跡のためにウェアラブルコンポーネント（５８）に結合されてもよい。また、上記に記載されるように、そのようなデバイスは、図２２Ｂに示されるように、ウェアラブルコンポーネント（５８）の異なる場所に取り付けられる３つのサブ部分（すなわち、コイル）を伴って、統合解除されてもよい。図２２Ｃを参照すると、さらなる設計代替を提供するために、各個々のコイルは、任意の所与の直交方向のための全体的磁束が、直交方向毎に単一コイルによってではなく、グループ（１４８、１５０、１５２）によって捕捉されるように、同様に配向されるコイルのグループと置換されてもよい。言い換えると、直交方向毎に１つのコイルではなく、より小さいコイルのグループが、利用され、その信号が、集約され、その直交方向のための信号を形成してもよい。
図２３Ａ−２３Ｃを参照すると、本明細書で随時議論されるもの等のウェアラブルコンピューティングシステムを再較正することが有用であり得、一実施形態では、送信機における超音波信号は、受信機におけるマイクロホンおよび音響飛行時間計算とともに、音伝搬遅延を決定するために利用されてもよい。図２３Ａは、一実施形態では、送信機上の３つのコイルが、正弦波のバーストで励起され、同時に、超音波変換器が、好ましくは、コイルのうちの１つと同一周波数の正弦波のバーストで励起され得ることを示す。図２３Ｂは、受信機が、センサコイルを使用して、３つのＥＭ波と、マイクロホンデバイスを使用して、超音波とを受信するように構成されてもよいことを図示する。総距離は、３つのＥＭ信号の振幅から計算されてもよい。次いで、飛行時間は、マイクロホン応答のタイミングとＥＭコイル（図２３Ｃ）の応答を比較することによって計算されてもよい。これはまた、距離を計算し、ＥＭ補正係数を較正するために使用されてもよい。
図２４Ａを参照すると、別の実施形態では、カメラを特徴とする拡張現実システムにおいて、距離が、ハンドヘルドコントローラ等の別のデバイス上の既知のサイズ特徴のピクセル単位のサイズを測定することによって計算されてもよい。
図２４Ｂを参照すると、別の実施形態では、赤外線（「ＩＲ」）深度センサ等の深度センサを特徴とする拡張現実システムにおいて、距離が、そのような深度センサによって計算され、直接、コントローラに報告されてもよい。
図２４Ｃおよび２４Ｄを参照すると、いったん総距離が、把握されると、カメラまたは深度センサのいずれかが、空間内の位置を決定するために使用されることができる。拡張現実システムは、１つ以上の仮想標的をユーザに投影するように構成されてもよい。
ユーザは、コントローラを標的に整合させてもよく、システムは、ＥＭ応答、および、仮想標的の方向に加えて以前に計算された距離の両方から位置を計算する。ロール角度較正が、コントローラ上の既知の特徴とユーザに投影された仮想標的を整合させることによって行われてもよい。ヨーおよびピッチ角度は、仮想標的をユーザに提示し、ユーザに、コントローラ上の２つの特徴と標的（ライフルの照準を合わせるように）を整合させることによって較正されてもよい。
図２５Ａおよび２５Ｂを参照すると、６自由度デバイスのＥＭ追跡システムと関連付けられた固有の曖昧性が存在する。すなわち、受信機は、送信機の周囲の２つの対角線上の対向場所において類似応答を生成するであろう。そのような課題は、特に、送信機および受信機の両方が相互に対してモバイル性であり得るシステムにおいて関連する。
６自由度（ＤＯＦ）追跡のために、ハンドヘルドコントローラ（例えば、ＴＸ）とも称され得る、トーテム５２４は、軸Ｘ、Ｙ、およびＺ毎に１つずつ、３つの別個の周波数上で変調されるＥＭ信号を生成してもよい。図２５Ｂに図示されるようなＡＲヘッドセット５２８として実装され得る、図２５Ａに図示されるようなウェアラブル５２２は、ＥＭ信号をＸ、Ｙ、およびＺ周波数上で受信するように構成される、ＥＭ受信コンポーネントを有する。トーテム５２４の位置および配向（すなわち、姿勢）は、受信されたＥＭ信号の特性に基づいて導出されることができる。しかしながら、ＥＭ信号の対称性質に起因して、付加的基準フレームを用いずに、トーテムが位置する場所（例えば、残影位置５２６を用いて図示されるように、ユーザの正面またはユーザの背後）を決定することは不可能であり得る。すなわち、同一ＥＭ値が、２つの直径方向に対向するトーテム姿勢、すなわち、第１の（例えば、正面）半球５４２内のトーテム５２４の位置および第２の（例えば、背面）半球内の残影位置５２６に関して、２つの半球に分割する、球体の中心を通して通過する選定される平面５４０とともに、ウェアラブル５２２、５２８において取得され得る。故に、ウェアラブル５２２、５２８によって受信されたＥＭ信号の単一スナップショットに関して、姿勢のいずれかが、有効である。しかしながら、トーテム５２４が、移動されると、追跡アルゴリズムは、典型的には、種々のセンサからのデータ内の不一致に起因して、誤った半球が選定される場合、誤差に遭遇するであろう。半球曖昧性は、部分的に、６ＤＯＦ追跡セッションが開始されるとき、初期ＥＭトーテムデータが、明確な絶対位置を有していないという事実に起因して生じる。代わりに、これは、相対的距離を提供し、これは、ウェアラブル（例えば、ユーザの頭部上に搭載されるＡＲヘッドセット）が２つの半球間の中心にある、２つの等しい半球に分割される３Ｄ体積内の２つの位置のうちの１つとして解釈され得る。したがって、本発明の実施形態は、トーテムの実際の位置の追跡成功を可能にするために半球曖昧性を解決する、方法およびシステムを提供する。
そのような曖昧性は、Ｋｕｉｐｅｒｓによって明確に文書化されており、ＥＭ信号（それ自体は、交互電流正弦出力）は、ＥＭ伝送機座標フレーム内のＥＭ受信機の関数としての３×３行列Ｓとして説明される。
Ｓ＝ｆ（Ｔ，ｒ）
式中、Ｔは、伝送機座標フレームから受信機座標フレームへの回転行列であって、ｒは、ＥＭ伝送機座標フレーム内のＥＭ受信機位置である。しかしながら、Ｋｕｉｐｅｒｓ解が指摘するように、任意の６ＤＯＦ位置を解法することは、正弦関数を２乗するステップを伴い、−１位置は、同様に、＋１位置を解法することになり、それによって、半球曖昧性問題をもたらす。
一実施形態では、ＩＭＵセンサを使用して、トーテム５２４（例えば、ＥＭ伝送機）が対称軸のプラスまたはマイナス側に存在するかどうかを確認してもよい。世界カメラおよび深度カメラを特徴とする、上記に説明されるもの等のある実施形態では、その情報を使用して、トーテム５２４が基準軸の正の側または負の側にあるかどうかを検出することができる。トーテム５２４が、カメラおよび／または深度センサの視野外にある場合、システムは、トーテム５２４が、例えば、ユーザのすぐ背後の１８０°ゾーン内にあるはずであることを決定するように構成されてもよい（またはユーザが決定してもよい）。
従来、当技術分野において、（ウェアラブル５２８内に提供される）ＥＭ受信機は、（図２５Ｃに図示されるような）（トーテム５２４内に提供される）ＥＭ伝送機座標フレーム内に定義される。二重の可能として考えられる受信機場所（すなわち、実際の受信機場所５２８と、伝送機５２４に対するウェアラブル５２８の実際の場所と対称である、誤受信機場所５３０）を補正するために、指定された初期化位置が、具体的基準位置に対してデバイス（すなわち、ウェアラブル５２８）を位置特定し、代替解（すなわち、誤受信機場所５３０）を退けるために確立される。しかしながら、そのような要求される開始位置は、意図または所望の使用と競合し得る。
代わりに、いくつかの実施形態では、（トーテム５２４内に提供される）ＥＭ伝送機は、図２５Ｄに図示されるような（ウェアラブル５２８内に提供される）ＥＭ受信機座標フレーム内に定義される。そのような実施形態に関して、Ｋｕｉｐｅｒｓ解は、Ｓの転置が解法されるように修正される。本Ｓ−行列転置演算の結果は、それがＥＭ受信機であるかのように、ＥＭ伝送機測定の取扱に匹敵し、その逆も同様である。着目すべきこととして、同一半球曖昧性現象は、依然として、存在するが、代わりに、ＥＭ受信機の座標フレーム内に表される。すなわち、可能性として考えられる伝送機場所は、トーテム５２４の実際の場所と、ウェアラブル５２８に対するトーテム５２４の実際の場所と対称である、残影位置５２６（誤伝送機場所とも称される）として識別される。
ユーザの場所および伝送機に対向する誤場所の両方に現れる曖昧な半球とは対照的に、ＥＭ追跡システムは、ここでは、図２５Ｅに図示されるように、ユーザの正面の半球５４２と、ユーザの背後の半球５４４とを有する。本転置された受信機場所（例えば、ウェアラブル５２８の場所）に心合される半球境界（例えば、切替平面）５４０を設置することによって、面法線ベクトルｎｓ５３２が、原点（すなわち、ウェアラブル５２８内に設置された受信機）から生じ、ウェアラブル５２８から得られた直（水平）線から所定の角度α５３４に指向される。いくつかの実施形態では、所定の角度α５３４は、ウェアラブル５２８から得られた直線から４５°にあってもよい。他の実施形態では、所定の角度α５３４は、ウェアラブル５２８から得られた直線に対して測定された他の角度にあってもよく、４５°の使用は、単に、例示である。概して、ユーザが、トーテム５２４を腰の高さに保持している場合、トーテムは、概して、ウェアラブル５２８から得られた直線から約４５°の角度で配向される、面法線ベクトルｎｓ５３２の近傍にあるであろう。当業者は、多くの変形例、修正、および代替を認識するであろう。
トーテム５２４が、ユーザの正面の半球（すなわち、図２５Ｅにおける半球５４２）内にある場合、面法線ベクトルｎｓ５３２およびトーテム５２４の位置を表す位置ベクトルｐは、ｎｓ・ｐ＞０（式中、ｐは、受信機座標フレーム内に定義されるベクトルの位置点である）のドット積不等関係を満たすであろう。ベクトルｐ５３６は、トーテム５２４に提供される伝送機をウェアラブル５２８に提供される受信機に接続する、ベクトルであってもよい。例えば、ベクトルｐ５３６は、法線ベクトルｎｓ５３２から所定の角度β５３８で提供されてもよい。（トーテム５２４における）伝送機の位置が、受信機座標フレーム内で決定されるとき、２つの位置点ベクトル、すなわち、第１の（正の）位置点ベクトルｐ５３６と、（ウェアラブル５２８における）受信機に対する第１の位置点ベクトルｐ５３６と対称である、第２の（負の）位置点ベクトル５４６が、識別される。
デバイス（例えば、トーテム５２４）が該当する半球を決定するために、Ｓ行列の２つの可能性として考えられる解が、ドット積に適用され、正の数は、正しい半球場所をもたらす。そのような決定は、ユーザがデバイスを彼らの背後の腕の長さに保持する可能性が非常に低いため、説明されるシステムおよびその中のユースケースにも同様に、事例証拠的に当てはまる。
図２５Ｆは、いくつかの実施形態による、ヘッドセットに対するハンドヘルドデバイスに関する位置ベクトルを使用して、ハンドヘルドコントローラの正しい姿勢を決定するステップを説明する、フローチャート５５０を図示する。種々の実施形態によると、フローチャート５５０のステップは、ヘッドセットの初期化プロセスの間に実施されてもよい。ステップ５５２では、光学デバイスシステムのハンドヘルドコントローラが、１つ以上の磁場を放出する。ステップ５５４では、システムのヘッドセット（例えば、ユーザによって装着可能）内に位置付けられる１つ以上のセンサが、ハンドヘルドコントローラによって放出される１つ以上の磁場を検出する。ステップ５５６では、ヘッドセットに結合されるプロセッサが、１つ以上の磁場に基づいて、ヘッドセットに対する第１の半球内のハンドヘルドコントローラの第１の位置および第１の配向を決定する。ステップ５５８では、プロセッサが、１つ以上の磁場に基づいて、ヘッドセットに対する第２の半球内のハンドヘルドコントローラの第２の位置および第２の配向を決定する。第２の半球は、ヘッドセットに対する第１の半球に直径方向に対向する。ステップ５６０では、プロセッサが、ヘッドセットに対する、法線ベクトルと、第１の半球内のヘッドセットに対するハンドヘルドコントローラの位置を識別する、位置ベクトルとを決定（定義）する。位置ベクトルは、ヘッドセットの座標フレームにおいて定義される。法線ベクトルは、ヘッドセットから生じ、ヘッドセットからの水平線から所定の角度で延在する。いくつかの実施形態では、所定の角度は、ヘッドセットからの水平線から下方に４５°角度にある。ステップ５６２では、プロセッサが、法線ベクトルおよび位置ベクトルのドット積を計算する。いくつかの実施例では、法線ベクトルおよび位置ベクトルのドット積を計算することに応じて、プロセッサが、ドット積の結果の値が正または負であるかどうかを決定してもよい。
ドット積の結果が、値が正であると決定されると、プロセッサは、ステップ５６４において、ハンドヘルドコントローラの第１の位置および第１の配向が正確であることを決定する。故に、ドット積の結果が、正であるとき、第１の半球は、ヘッドセットに対する正面半球と識別され、第２の半球は、ヘッドセットに対する背面半球と識別される。システムは、次いで、ドット積の結果が正であるときの第１の位置および第１の配向に基づいて、仮想コンテンツをシステムのディスプレイに送達してもよい。
ドット積の結果が、値が負であると決定されると、プロセッサは、ステップ５６６において、ハンドヘルドコントローラの第２の位置および第２の配向が正確であることを決定する。故に、ドット積の結果が負であるとき、第２の半球は、ヘッドセットに対する正面半球と識別され、第１の半球は、ヘッドセットに対する背面半球と識別される。システムは、次いで、ドット積の結果が負であるときの第２の位置および第２の配向に基づいて、仮想コンテンツをシステムのディスプレイに送達してもよい。いくつかの実施形態では、ステップ５６６は、ドット積が正であると決定される場合、実施されない（すなわち、ステップ５６６は、随意のステップであってもよい）。同様に、いくつかの実施形態では、ステップ５５８は、ドット積が正であると決定される場合、実施されない（すなわち、ステップ５５８は、随意のステップであってもよい）。
外向き指向カメラデバイス（１２４、１５４、１５６）が、頭部搭載型コンポーネント（５８）等のシステムコンポーネントに結合される、上記の実施形態に戻って参照すると、そのような頭部搭載型コンポーネント（５８）に結合される頭部の位置および配向は、同時位置特定およびマッピング、すなわち、「ＳＬＡＭ」技法（並行追跡およびマッピング、すなわち、「ＰＴＡＭ」技法としても知られる）等の技法を使用して、これらのカメラデバイスから集められた情報を使用して決定されてもよい。
ユーザの「頭部姿勢」としても知られるユーザの頭部の位置および配向をリアルタイムまたは近リアルタイムで理解することは（例えば、好ましくは、短待ち時間の決定および更新を伴って）は、ユーザがその周囲の実際の環境内に存在する場所と、ユーザおよびユーザの拡張または複合現実体験に関連する環境に対して仮想コンテンツを設置および提示する方法とを決定する際に貴重である。典型的ＳＬＡＭまたはＰＴＡＭ構成は、特徴を着信画像情報から抽出し、これを使用して、３−Ｄマッピング点を三角測量し、次いで、それらの３−Ｄマッピング点に対して追跡することを伴う。ＳＬＡＭ技法は、車の自動運転等の多くの実装において利用されており、算出、電力、および感知リソースは、頭部搭載型コンポーネント（５８）等のウェアラブルコンピューティングデバイスにおいてオンボードで利用可能であり得るものと比較して、比較的に豊富であり得る。
図２６を参照すると、一実施形態では、頭部搭載型コンポーネント（５８）等のウェアラブルコンピューティングデバイスは、２つのカメラ画像（左−２０４、右−２０６）を生産する、２つの外向きに向いたカメラを備えてもよい。一実施形態では、Ｍｏｖｉｄｉｕｓ（ＲＴＭ）、Ｉｎｔｅｌ（ＲＴＭ）、Ｑｕａｌｃｏｍｍ（ＲＴＭ）、またはＣｅｖａ（ＲＴＭ）によって販売されているもの等の比較的に軽量、可搬性、かつ電力効率的内蔵プロセッサが、頭部搭載型コンポーネント（５８）の一部を構成し、カメラデバイスに動作可能に結合されてもよい。内蔵プロセッサは、最初に、特徴（２１０、２１２）をカメラ画像（２０４、２０６）から抽出するように構成されてもよい。２つのカメラ間の較正が、既知である場合、システムは、それらの特徴の３−Ｄマッピング点を三角測量（２１４）し、疎３−Ｄマップ点（２０２）のセットをもたらすことができる。これは、「マップ」として記憶されてもよく、これらの第１のフレームは、「世界」座標系原点（２０８）を確立するために利用されてもよい。後続画像情報が、内蔵プロセッサの中にカメラから入ってくるにつれて、システムは、３−Ｄマップ点を新しい画像情報の中に投影し、画像情報内で検出された２−Ｄ特徴の場所と比較するように構成されてもよい。したがって、システムは、２−Ｄ／３−Ｄ対応を確立するように試みるように構成されてもよく、それらの約６つ等のそのような対応のグループを使用して、ユーザの頭部（当然ながら、頭部搭載型デバイス５８に結合される）の姿勢は、推定されてもよい。６つを上回るもの等、より多い数の対応は、概して、姿勢を推定するためにより良好に機能することを意味する。当然ながら、本分析は、現在の画像が考察される前のユーザの頭部があった場所（すなわち、位置および配向の観点から）のある程度の感知を有することに依拠する。システムがあまりに長い待ち時間を伴わずに追跡可能である限り、システムは、直前の時間からの姿勢推定を使用して、最新のデータのための頭部があった場所を推定してもよい。したがって、最後のフレームが原点であって、システムは、位置および／または配向の観点から、ユーザの頭部がそこから遠くないことを推定するように構成されてもよく、その周囲を検索し、現在の時間インターバルのための対応を見出してもよい。これは、追跡構成の一実施形態のベースとなる。
マップ点（２０２）のオリジナルセットから十分に離れて移動した後、一方または両方のカメラ画像（２０４、２０６）は、新しく着信した画像内のマップ点を失い始め得る（例えば、ユーザの頭部が、空間内で右に回転された場合、オリジナルマップ点は、左に消失し始め得、左画像内にのみ現れ、次いで、さらなる回転に伴って、全く現れなくなり得る）。いったんユーザが、マップ点のオリジナルセットから非常に遠く離れて回転すると、システムは、上記に説明されるものに類似するプロセス（特徴を検出する、新しいマップ点を作成する）を使用すること等によって、新しいマップ点を作成するように構成されてもよく、これは、システムがマップにデータ投入し続けるように構成され得る方法である。一実施形態では、本プロセスは、ユーザがその頭部をその環境に対して平行移動および／または回転させ、それによって、関連付けられたカメラを平行移動および／または回転させる量に応じて、１０〜２０フレーム毎に、再び繰り返されてもよい。新しく作成されたマッピング点と関連付けられたフレームは、「キーフレーム」と見なされ得、システムは、キーフレームを用いた特徴検出プロセスを遅延させるように構成されてもよい、または代替として、特徴検出は、各フレーム上で行われ、合致を確立することを試みてもよく、次いで、システムが新しいキーフレームを作成する準備ができると、システムは、すでにその関連付けられた特徴検出が完了されている。したがって、一実施形態では、基本パラダイムは、マップの作成を開始し、次いで、システムが別のマップまたはその付加的部分を作成する必要があるまで、追跡し続けることである。
図２７Ａを参照すると、一実施形態では、ビジョンベースの姿勢計算は、５段階（事前追跡２１６、追跡２１８、短待ち時間マッピング２２０、待ち時間耐性マッピング２２２、事後マッピング／クリーンアップ２２４）に分割され、算出、電力、および感知リソースが限定され得る、内蔵プロセッサ構成のための精度および最適化を補助してもよい。
事前追跡（２１６）に関して、システムは、画像情報が到着する前に、画像の中に投影されるマップ点を識別するように構成されてもよい。言い換えると、システムが、ユーザが以前に存在した場所を把握しており、ユーザが進みつつある場所の感知を有することを前提として、システムは、画像の中に投影されるであろうマップ点を識別するように構成されてもよい。
「センサ融合」の概念が、以下でさらに議論されるが、ここで、システムがセンサ融合モジュールまたは機能性から入手し得る入力のうちの１つが、２５０Ｈｚ（これは、例えば、ビジョンベースの姿勢計算動作が更新を提供し得る、３０Ｈｚに対して高いレートである）等の比較的に高速レートにおける、慣性測定ユニット（「ＩＭＵ」）または他のセンサまたはデバイスからの「事後推定」情報であり得ることは、着目に値する。したがって、ビジョンベースの姿勢計算に対して、姿勢情報のはるかに微細な時間的分解能が、ＩＭＵまたは他のデバイスから導出され得る。しかし、また、以下に議論されるように、ＩＭＵ等のデバイスからのデータは、幾分、ノイズが多く、姿勢推定ドリフトを被りやすい傾向にすることも着目に値する。１０〜１５ミリ秒等の比較的に短時間ウィンドウに関して、ＩＭＵデータは、姿勢を予測する際に非常に有用であり得、再び、センサ融合構成における他のデータと組み合わせられると、最適化された全体的結果が、決定され得る。例えば、図２８Ｂ−２８Ｇを参照して下記により詳細に解説されるように、収集された点の伝搬経路は、調節されてもよく、その調節から、後の時間における姿勢が、将来的点が調節された伝搬経路に基づき得る、センサ融合が決定する場所によって推定／知らされてもよい。
センサ融合モジュールまたは機能性から生じる姿勢情報は、「前姿勢」と称され得、本前姿勢は、システムによって利用され、現在の画像の中に投影されることになる点のセットを推定し得る。したがって、一実施形態では、システムは、「事前追跡」ステップ（２１６）において、それらのマップ点を事前にフェッチし、いくつかの事前処理を行うように構成され、これは、全体的処理の待ち時間を低減させることに役立つ。３−Ｄマップ点はそれぞれ、システムが、それらを一意に識別し、それらを画像内の領域に合致させ得るように、記述子と関連付けられてもよい。例えば、所与のマップ点が、その周囲にパッチを有する特徴を使用することによって作成された場合、システムは、マップ点が他の画像上に投影されて見られるとき、システムが、マップを作成するために使用されたオリジナル画像に戻り、パッチ相関を考察し、それらが同一点であるかどうかを決定し得るように、そのパッチのある程度の外観をマップ点とともに維持するように構成されてもよい。したがって、事前処理では、システムは、マップ点のある程度の量のフェッチと、それらのマップ点と関連付けられたパッチと関連付けられたある程度の量の事前処理とを行うように構成されてもよい。したがって、事前追跡（２１６）では、システムは、マップ点を事前にフェッチし、画像パッチを事前にワーピングするように構成されてもよい（画像の「ワーピング」は、システムが、マップ点と関連付けられたパッチと現在の画像を合致させ得ることを確実にするために行われ得る。これは、比較されているデータが互換性があることを確実にするための方法である）。
図２７に戻って参照すると、追跡段階は、特徴検出、オプティカルフロー分析、特徴合致、および姿勢推定等のいくつかのコンポーネントを備えてもよい。着信画像データ内の特徴を検出する間、システムは、オプティカルフロー分析を利用して、特徴を１つ以上の前の画像からの特徴に追従することを試みることによって、特徴検出における算出時間を節約するように構成されてもよい。いったん特徴が、現在の画像内で識別されると、システムは、特徴と投影されたマップ点を合致させるように試みるように構成されてもよく、これは、構成の「特徴合致」部分と見なされ得る。事前追跡段階（２１６）では、システムは、好ましくは、すでに、着目マップ点を識別し、それらをフェッチしている。特徴マッピングでは、それらは、現在の画像の中に投影され、システムは、それらと特徴を合致させるように試みる。特徴マッピングの出力は、２−Ｄ／３−Ｄ対応のセットであって、それに留意して、システムは、姿勢を推定するように構成される。
ユーザが、頭部搭載型コンポーネント（５８）に結合された状態で、その頭部を動かすにつれて、システムは、好ましくは、ユーザが環境の新しい領域を見ているかどうかを識別し、新しいキーフレームが必要とされるかどうかを決定するように構成される。一実施形態では、新しいキーフレームが必要とされるかどうかのそのような分析は、大部分は純粋に、幾何学形状に基づいてもよい。例えば、システムは、現在のフレームから残りのキーフレームまでの距離（平行移動距離、すなわち、視野捕捉再配向であって、ユーザの頭部は、例えば、平行移動方向に近接するが、完全に新しいマップ点が要求されるように再配向され得る）を確認するように構成されてもよい。いったんシステムが、新しいキーフレームが挿入されるべきであると決定すると、マッピング段階が、開始されてもよい。上記に記載されるように、システムは、従来のＳＬＡＭまたはＰＴＡＭ動作において見られる可能性がより高い単一マッピング動作とは対照的に、マッピングを３つの異なる動作（短待ち時間マッピング、待ち時間耐性マッピング、事後マッピングまたはクリーンアップ）として動作させるように構成されてもよい。
三角測量および新しいマップ点の作成としての最も単純な形態と見なされ得る、短待ち時間マッピング（２２０）は、重要な段階であって、システムは、好ましくは、本明細書で議論される追跡のパラダイムがマップ点に依拠するため、そのような段階を直ちに行うように構成され、システムは、追跡するために利用可能なマップ点が存在する場合、位置のみを見出す。「短待ち時間」という名称は、許容されない待ち時間に対する耐性が存在しないという概念を指す（言い換えると、マッピングの本部分は、可能な限り迅速に行われる必要があり、さもなければ、システムは、追跡問題を有することになる）。
待ち時間耐性マッピング（２２２）は、最適化段階としての最も単純な形態と見なされ得る。全体的プロセスは、結果にグローバル最適化を提供する、「バンドル調整」として知られる本動作を行うために、短待ち時間を絶対的に要求するものではない。システムは、３−Ｄ点の位置およびそれらが観察された場所を考察するように構成されてもよい。マップ点を作成するプロセスにおいてともに連鎖し得る、多くの誤差が存在する。バンドル調整プロセスは、例えば、２つの異なる視認場所から観察された特定の点を取り上げ、本情報の全てを使用して、実際の３−Ｄ幾何学形状のより良好な感知を入手し得る。
結果は、３−Ｄ点、また、計算された軌道（すなわち、捕捉カメラの場所、経路）が、小量ずつ調節され得るようなものであり得る。これらの種類のプロセスを行い、マッピング／追跡プロセスを通して、誤差を蓄積しないことが望ましい。
事後マッピング／クリーンアップ（２２４）段階は、システムが、マッピングおよび追跡分析において貴重な情報を提供しない、マップ上の点を除去するように構成され得るものである。本段階では、場面についての有用な情報を提供しない、これらの点は、除去され、そのような分析は、マッピングおよび追跡プロセス全体をスケーラブルに保つ際に有用である。
ビジョン姿勢計算プロセスの間、外向きに向いたカメラによって視認されている特徴は、静的特徴である（すなわち、グローバル座標系に対してフレーム毎に移動しない）と仮定される。種々の実施形態では、意味論セグメント化および／またはオブジェクト検出技法が、利用され、マッピングおよび追跡のための特徴が、種々の画像のこれらの領域から抽出されないように、ヒト、移動する車両、および同等物等の移動するオブジェクトを関連フィールドから除去してもよい。一実施形態では、以下に説明されるもの等の深層学習技法が、これらの非静的オブジェクトをセグメント化抽出するために利用されてもよい。
いくつかの実施形態では、事前フェッチプロトコルは、図２７Ｂに描写されるような方法（２７１０）に従った姿勢推定につながる。２７１０から２７２０へと、姿勢データが、将来的時間における推定される姿勢が２７３０において外挿され得るように、経時的に受信される。外挿は、所与の入力からの単純一定値外挿、またはセンサ融合を参照して下記に説明されるような補正入力点に基づいて補正された外挿であってもよい。
推定される将来的姿勢の決定に応じて、いくつかの実施形態では、システムは、その位置に関する特徴マップにアクセスする。例えば、ユーザが、頭部搭載型コンポーネントを装着しながら歩いている場合、システムは、ユーザの歩調に基づいて、将来的位置を外挿し、その外挿／推定される位置に関する特徴マップにアクセスしてもよい。いくつかの実施形態では、本ステップは、図２７Ａのステップ（２１６）を参照して上記に説明されるように、事前フェッチである。（２７４０）では、特徴マップの具体的点が、抽出され、いくつかの実施形態では、点を囲繞するパッチが、同様に抽出される。（２７５０）では、抽出された点が、処理された。いくつかの実施形態では、処理は、点をワーピングし、推定される配向にマッチングさせるステップ、または抽出された点またはパッチのホモグラフィを見出すステップを含む。
（２７６０）では、リアルタイム画像（または推定される時間における現在のビュー）が、システムによって受信される。処理された点は、（２７７０）において、受信された画像上に投影される。２７８０では、システムは、受信された画像と処理された点との間の対応を確立する。ある場合には、システムは、完璧な推定を行なっており、受信された画像および処理された点は、完璧に整合し、（２７３０）の推定される姿勢を確認する。他の場合では、処理された点は、受信された画像の特徴と完璧に整合せず、システムは、付加的ワーピングまたは調節を実施し、（２７９０）における対応の程度に基づいて、正しい姿勢を決定する。当然ながら、処理された点のいずれも、受信された画像内の特徴と整合しないことが可能性として考えられ、システムは、図２７Ａおよびステップ（２１８）−（２２４）を参照して上記に説明されるように、新しい追跡および特徴マッピングに戻る必要があるであろう。
図２８Ａ−２８Ｆを参照すると、センサ融合構成は、比較的に高更新周波数を伴うセンサから生じる１つの情報源（２５０Ｈｚ等の周波数における、頭部姿勢に関連するジャイロスコープ、加速度計、および／または磁力計データを更新するＩＭＵ等）と、より低い周波数で更新する別の情報源（３０Ｈｚ等の周波数で更新する、ビジョンベースの頭部姿勢測定プロセス等）とからの利点を享受するために利用されてもよい。
図２８Ａを参照すると、一実施形態では、システムは、拡張カルマンフィルタ（ＥＫＦ、２３２）を使用して、デバイスに関する有意な量の情報を追跡するように構成されてもよい。例えば、一実施形態では、角速度（すなわち、ＩＭＵジャイロスコープから）、平行移動加速（すなわち、ＩＭＵ加速度計から）、ＩＭＵ自体に関する較正情報（すなわち、ジャイロスコープおよび加速度計のための座標系および較正係数。ＩＭＵはまた、１つ以上の磁力計を備えてもよい）等、３２の状態を考慮してもよい。したがって、システムは、２５０Ｈｚ等の比較的に高更新周波数（２２６）におけるＩＭＵ測定と、より低い更新周波数におけるある他のソースからのデータ（すなわち、計算されたビジョン姿勢測定、オドメトリデータ等）、ここでは、３０Ｈｚ等の更新周波数におけるビジョン姿勢測定（２２８）とを行うように構成されてもよい。
ＥＫＦが、一連のＩＭＵ測定を入手する度に、システムは、角速度情報を積分し、回転情報を入手するように構成されてもよい（すなわち、角速度の積分（時間の変化にわたる回転位置の変化）は、角位置（角位置の変化）である）。平行移動情報に関しても同様である（言い換えると、平行移動加速の二重積分を行うことによって、システムは、位置データを入手するであろう）。そのような計算を用いることで、システムは、頭部からの６自由度（ＤＯＦ）姿勢情報を高周波数で（すなわち、一実施形態では、２５０Ｈｚ）ＩＭＵから入手するように構成される（Ｘ、Ｙ、Ｚにおける平行移動、３つの回転軸に関する配向）。積分が行われる度に、ノイズが、データ内に蓄積される。平行移動または回転加速に二重積分を行うことは、ノイズを伝搬し得る。
概して、システムは、一実施形態では、約１００ミリ秒よりわずかでも長い等、長すぎる時間ウィンドウの間のノイズに起因して、「ドリフト」を被りやすい、そのようなデータに依拠しないように構成される。ビジョン姿勢測定（２２８）から着信するより低い周波数（すなわち、一実施形態では、約３０Ｈｚにおいて更新される）のデータが、ＥＫＦ（２３２）を用いて、補正係数として作用し、補正された出力（２３０）を生産するために利用されてもよい。
図２８Ｂ−２８Ｆは、より高い更新周波数における１つのソースからのデータが、より低い更新周波数における別のソースからのデータと組み合わせられ得る方法を図示する。図２８Ｂに描写されるように、例えば、２５０Ｈｚ等のより高い周波数におけるＩＭＵからの動的入力点の第１のグループ（２３４）が、ビジョン姿勢計算プロセスからの３０Ｈｚ等のより低い周波数において生じる補正入力点（２３８）とともに示される。システムは、ビジョン姿勢計算点を、そのような情報が利用可能であるとき、補正（２４２）し、次いで、ＩＭＵデータからの点等の第２の動的入力点のセット（２３６）およびビジョン姿勢計算プロセスから利用可能な別の補正入力点（２４０）からの別の補正（２４４）を用いて、順方向に継続するように構成されてもよい。換言すると、第１のセンサから収集された高周波数動的入力は、第２のセンサから収集された低周波数補正入力によって周期的に調節されてもよい。
このように、本発明の実施形態は、ＥＫＦを使用して、ビジョン姿勢データでの補正「更新」をＩＭＵから生じるデータの「伝搬経路」に適用する。そのような更新は、図２８Ｂに描写されるように、将来的点の集合のために、補正入力点（２３８）において、再び、（２４０）において等、新しい原点への動的入力（２３４）の伝搬経路を調節する。いくつかの実施形態では、補正入力点から生じるように伝搬経路を調節するのではなく、伝搬経路は、計算される係数による第２の動的入力のセットに関する変化率（すなわち、図２８Ｂにおける点（２３６）の傾き）を変化させることによって調節されてもよい。これらの調節は、新しいデータ集合を補正入力からのあまり大きな差異がないと解釈することによって、システム内のジッタを低減させ得る。
例えば、図２８Ｂ−２に描写されるように、係数が、伝搬経路の原点が、第１の動的入力点のセット（２３４）の伝搬経路の最後の点と同一であるが、第１の動的入力点のセット（２３４）の変化率と比較してそれほど大きく傾きが付けられないように、第２の動的入力点のセット（２３６）に適用される。図２８Ｂ−２に描写されるように、補正（２４２）および（２４２）のサイズは、変化するが、時間ＴＮにおける補正入力がない場合ほど大きくなく、コンピューティングリソースおよびセンサに応じて、図２８Ｂ−１に示されるように、ＴＮおよびＴＮ＋Ｍにおいて２つの完全補正を行うことは、図２８Ｂ−２のよりわずかな調節より算出上高価であって、センサ間にジッタを導入しやすくあり得る。さらに、図２８Ｂに描写されるように、補正入力点（２３８）および（２４０）は、同一場所にあって、それらの点もまた移動していた場合、ユーザは、原点調節と比較して、伝搬経路（２３６）の最後の点を補正入力点（２４０）のより近くに設置する、動的入力点の傾き調節を有することから利点を享受し得る。
図２８Ｇは、（２８１０）において、第１の動的点のセットを収集し、次いで、（２８２０）において、補正入力点を収集する方法２８００を描写する。いくつかの実施形態では、方法２８００は、ステップ（２８３０ａ）に進み、第２の動的点のセットが、収集され、それらの収集された点の結果として生じる伝搬経路は、（２８３０ｂ）において、補正入力に基づいて調節される（記録される変化率を調節する、またはその伝搬経路の原点を調節すること等によって）。いくつかの実施形態では、補正入力点が、（２８２０）において収集された後、調節が、（２８３０ｂ）において、その後に収集された動的点に適用されるために決定され、（２８３０ａ）において、第２の動的入力点のセットが、収集され、伝搬経路が、リアルタイムで調節される。
経時的複合誤差／ノイズを生産することが既知のセンサと、低誤差／ノイズを生産する他のセンサとを採用する、システムに関して、そのようなセンサ融合は、より経済的コンピューティングリソース管理を提供する。
いくつかの実施形態では、第２のソース（すなわち、ビジョン姿勢データ等）からのデータは、より低い更新周波数において生じるだけではなく、また、ある程度の待ち時間を伴って生じ得ることは、着目に値し、これは、システムが、好ましくは、ＩＭＵからの情報およびビジョン姿勢計算が積分されるにつれて、時間ドメイン調節をナビゲートするように構成されることを意味する。一実施形態では、システムがビジョン姿勢計算入力をＩＭＵデータ内の正しい時間ドメイン位置に融合することを確実にするために、ＩＭＵデータのバッファは、融合を行い、ビジョン姿勢計算からの入力に関連する時間における「更新」または調節を計算するためのＩＭＵデータ内の時間（例えば、「Ｔｘ」）に戻るように維持され、次いで、現在の時間（例えば、「Ｔｃｕｒｒｅｎｔ」）までの順方向伝搬においてそれを考慮してもよいが、これは、間隙を調節される位置および／または配向データとＩＭＵから生じる最新のデータとの間に残す。あまりに多くの「ジャンプ」または「ジッタ」がユーザへの提示に存在しないことを確実にするために、システムは、平滑化技法を使用するように構成されてもよい。本問題に対処するための１つの方法は、加重平均技法を使用することであって、これは、線形、非線形、指数関数的等であって、最終的に、融合されたデータストリームを調節された経路まで駆動し得る。図２８Ｃを参照すると、例えば、加重平均技法は、Ｔ０とＴ１との間の時間ドメインにわたって利用され、信号を調節されていない経路（２５２、すなわち、ＩＭＵから直線に生じる）から調節された経路（２５４、すなわち、ビジョン姿勢計算プロセスから生じるデータに基づく）に駆動してもよい。一実施例は、図２８Ｄに示され、融合された結果（２６０）が、調節されていない経路（２５２）および時間Ｔ０から開始し、Ｔ１までに調節された経路（２５４）へと指数関数的に増加するように示される。図２８Ｅを参照すると、一連の補正機会が、各シーケンスにおいて上側経路から下側経路に向かう融合された結果（２６０）の指数関数的時間ドメイン補正とともに示される（第１の補正は、例えば、ＩＭＵからの第１の経路２５２から、例えば、ビジョンベースの姿勢計算からの第２の経路２５４であって、次いで、本実施例では、各着信したビジョンベースの姿勢計算点を使用して、ビジョン姿勢からの連続点に基づいて、連続して補正された下側経路２５６、２５８に向かって補正しながら、継続ＩＭＵデータを使用して、類似パターンで順方向に継続する）。図２８Ｆを参照すると、十分に短い時間ウィンドウを「更新」または補正間に伴って、全体的融合された結果（２６０）は、機能的に、比較的に平滑にパターン化された結果（２６２）として知覚され得る。
他の実施形態では、直接、ビジョン姿勢測定に依拠するのではなく、システムは、微分ＥＫＦを考察するように構成されてもよい。言い換えると、ビジョン姿勢計算結果を直接使用するのではなく、システムは、現在の時間から前の時間までのビジョン姿勢の変化を使用する。そのような構成は、例えば、ビジョン姿勢差におけるノイズの量が、絶対ビジョン姿勢測定におけるノイズの量を著しく下回る場合に追求され得る。そのうちの全ての出力が、姿勢であって、これが、「前姿勢」値としてビジョンシステムに返信されるため、瞬間誤差を融合された結果から取り除かせないことが好ましい。
姿勢結果の外部システムベースの「消費者」は、「姿勢サービス」と称され得、システムは、任意の所与の時間に姿勢を要求するとき、全ての他のシステムコンポーネントが姿勢サービスを利用するように構成されてもよい。姿勢サービスは、一端が直近のデータを有する、時間スライスのシーケンスのデータを伴う、待ち行列またはスタック（すなわち、バッファ）であるように構成されてもよい。姿勢サービスの要求が、現在の姿勢またはバッファ内のある他の姿勢である場合、直ちに出力されてもよい。ある構成では、姿勢サービスは、現時点から２０ミリ秒先の時間にとられるであろう姿勢に関する要求を受信するであろう（例えば、シナリオをレンダリングするビデオゲームコンテンツでは、関連サービスが、現時点からわずかに先の時間に何らかのものを所与の位置および／または配向にレンダリングする必要があることを把握することが望ましくあり得る）。将来的姿勢値を生産するための１つのモデルでは、システムは、一定速度予測モデルを使用するように構成されてもよい（すなわち、ユーザの頭部が一定速度および／または角速度で移動していると仮定する）。将来的姿勢値を生産するための別のモデルでは、システムは、一定加速予測モデルを使用するように構成されてもよい（すなわち、ユーザの頭部が、一定加速で平行移動および／または回転していると仮定する）。
データバッファ内のデータは、姿勢がそのようなモデルを使用しているであろう場所を外挿するために利用されてもよい。一定加速モデルは、予測のためのバッファのデータの中への一定速度モデルよりわずかに長い末尾を使用し、本主題のシステムは、実質的劣化を伴わずに、２０ミリ秒先の範囲まで予測することができることが見出された。したがって、姿勢サービスは、姿勢を出力するために利用され得るデータの観点から、約２０ミリ秒以上の時間的に前後のデータバッファを有するように構成されてもよい。
動作上、コンテンツ動作は、概して、次のフレーム引出が所定の時間に生じることになるであろうときを識別するように構成されるであろう（例えば、時間Ｔまたは時間Ｔ＋Ｎのいずれかにおいて引き出すことを試み、Ｎは、姿勢サービスから利用可能な更新されたデータの次のインターバルである）。
図１６Ｂ（１４）に描写されるもの等のユーザに面した（例えば、ユーザの眼に向かって等の内向きに向いた）カメラの使用は、例えば、米国特許出願第１４／７０７，０００号および第１５／２３８，５１６号（参照することによってその全体として本明細書に組み込まれる）に説明されるように、眼追跡を行うために利用されてもよい。システムは、最初に、ユーザの眼の画像を撮影し、次いで、セグメント化分析を使用して、眼の解剖学的構造をセグメント化する（例えば、瞳孔を虹彩から、強膜から、周囲皮膚からセグメント化するために）等の眼追跡におけるいくつかのステップを行うように構成されてもよく、次いで、システムは、眼の画像内で識別された閃明視野所を使用して、瞳孔中心を推定するように構成されてもよく、閃光は、頭部搭載型コンポーネント（５８）の内向きに向いた側の周囲に設置され得る、ＬＥＤ等の小照明源（１６）から生じる。これらのステップから、システムは、幾何学的関係を使用して、特定の眼が注視している空間内の場所に関する正確な推定値を決定するように構成されてもよい。そのようなプロセスは、特に、オンボード内蔵プロセッサおよび限定された電力を特徴とする頭部搭載型コンポーネント（５８）等のポータブルシステム上で利用可能なリソースに照らして、２つの眼に関して非常に算出上集約的である。深層学習技法が、これらおよび他の算出課題に対処するために訓練および利用されてもよい。
例えば、一実施形態では、深層学習ネットワークが、その他全てが同一のまま、上記に記載される眼追跡パラダイムのセグメント化部分を行うために利用されてもよい（すなわち、深層畳み込みネットワークは、左および右眼画像の虹彩、瞳孔、強膜、および残りの種類へのロバストなピクセル毎セグメント化のために利用されてもよい）。そのような構成は、プロセスの大きな算出上集約的部分のうちの１つを占め、有意により効率的にする。別の実施形態では、１つの共同深層学習モデルが、セグメント化、瞳孔検出、および閃光検出（すなわち、深層畳み込みネットワークは、左および右眼画像の虹彩、瞳孔、強膜、および残りの種類へのロバストなピクセル毎セグメント化のために利用されてもよい。眼セグメント化は、次いで、アクティブな内向きに向いたＬＥＤ照明源の２−Ｄ閃明視野所を絞り込むために利用されてもよい）を行うために訓練および利用されてもよい。次いで、視線を決定するための幾何学形状計算が、行われてもよい。そのようなパラダイムはまた、算出を効率化する。第３の実施形態では、深層学習モデルは、直接、内向きに向いたカメラから生じる眼の２つの画像に基づいて、視線を推定するために訓練および利用されてもよい（すなわち、そのような実施形態では、ユーザの眼の写真のみを使用する深層学習モデルが、システムに、ユーザが３次元空間内で注視している場所を伝えるように構成されてもよい。深層畳み込みネットワークは、左および右眼画像の虹彩、瞳孔、強膜、および残りの種類へのロバストなピクセル毎セグメント化のために利用されてもよい。眼セグメント化が、次いで、アクティブな内向きに向いたＬＥＤ照明源の２−Ｄ閃明視野所を絞り込むために利用されてもよい。２−Ｄ閃明視野所は、３−ＤＬＥＤ場所とともに、３−Ｄ内の角膜中心を検出するために利用されてもよい。全ての３−Ｄ場所は、個別のカメラ座標系内にあり得ることに留意されたい。次いで、眼セグメント化がまた、楕円適合を使用して、２−Ｄ画像内の瞳孔中心を検出するために利用されてもよい。オフライン較正情報を使用して、２−Ｄ瞳孔中心が、３−Ｄ視線点にマッピングされてもよく、深度が較正の間に決定される。角膜３−Ｄ場所および３−Ｄ視線点場所を接続する線は、その眼に関する視線ベクトルである）。そのようなパラダイムはまた、算出を効率化し、関連深層ネットワークは、左および右画像を前提として、直接、３−Ｄ視線点を予測するように訓練されてもよい。そのような深層ネットワークがそのような訓練を実施するための損失関数は、単純ユークリッド損失である、または眼モデルの周知の幾何学的制約もまた含んでもよい。
さらに、深層学習モデルは、内向きに向いたカメラからのユーザの虹彩の画像を使用したバイオメトリック識別のために含まれてもよい。そのようなモデルはまた、モデルが内向きに向いたカメラからの画像データのフーリエ変換において顕著となるであろうため、ユーザがコンタクトレンズを装着しているかどうかを決定するために利用されてもよい。
図１６Ａ（１２４、１５４、１５６）に描写されるもの等の外向きに向いたカメラの使用は、上記に説明されるように、頭部搭載型コンポーネント（５８）を装着して存在する環境に対して、ユーザの頭部の姿勢等の姿勢の決定のために、ＳＬＡＭまたはＰＴＡＭ分析を行うために利用されてもよい。大部分のＳＬＡＭ技法は、上記の実施形態に説明されるように、幾何学的特徴の追跡および合致に依存する。概して、これは、外向きに向いたカメラが、角、縁、および他の特徴を検出可能である、「テクスチャ化」世界において有用である。さらに、場面内で検出された特徴の永続性／静力学について、ある仮定が行われ得、ＳＬＡＭまたはＰＴＡＭプロセスを用いた本マッピングおよび追跡分析の全てに利用可能な有意な算出および電力リソースを有することが有用である。そのようなリソースは、可搬性または装着可能であって、利用可能な内蔵処理能力および電力を限定し得るもののうちのいくつか等、あるシステムでは供給が不足し得る。深層学習ネットワークは、種々の実施形態の中に組み込まれ、画像データ内の差異を観察し、訓練および構成に基づいて、本主題のシステムの変形例のＳＬＡＭ分析において重要な役割を果たし得る（ＳＬＡＭのコンテキストでは、本明細書における深層ネットワークは、「深層ＳＬＡＭ」ネットワークと見なされ得る）。
一実施形態では、深層ＳＬＡＭネットワークは、拡張現実システムの頭部搭載型コンポーネント（５８）等の追跡されるべきコンポーネントに結合されるカメラから捕捉された一対のフレーム間の姿勢を推定するために利用されてもよい。システムは、姿勢（例えば、頭部搭載型コンポーネント５８の姿勢）の変換を学習し、追跡様式において、これを適用するように構成される、畳み込みニューラルネットワークを備えてもよい。システムは、既知の原点（Ｘ、Ｙ、Ｚとして０，０，０）において真っ直ぐ等、特定のベクトルおよび配向を見ていることから開始するように構成されてもよい。次いで、ユーザの頭部は、姿勢変換または相対的姿勢変換を求めることを目標として、例えば、フレーム０とフレーム１との間で、右に少し、次いで、左に少し移動されてもよい。関連付けられた深層ネットワークは、一対の画像に関して訓練されてもよく、例えば、姿勢Ａおよび姿勢Ｂおよび画像Ａおよび画像Ｂを把握し、これは、ある姿勢変換につながる。姿勢変換が決定されると、次いで、関連付けられたＩＭＵデータ（上記に記載されるように、加速度計、ジャイロスコープ等から）を姿勢変換の中に統合し、ユーザが原点から離れるように、部屋を動き回るにつれて、どのような軌道であれ、追跡を継続し得る。そのようなシステムは、「相対的姿勢ネット」と称され得、これは、上記に記載されるように、対のフレームに基づいて訓練され、既知の姿勢情報が、利用可能である（変換は、フレーム毎に、実際の画像内の変動に基づいて決定され、システムは、平行移動および回転の観点から、姿勢変換を学習する）。深層ホモグラフィ推定または相対的姿勢推定は、例えば、米国特許出願第６２／３３９，７９９号（参照することによってその全体として本明細書に組み込まれる）に議論されている。
そのような構成が、フレーム０からフレーム１への姿勢推定を行うために利用されるとき、結果は、概して、完璧ではなく、システムは、ドリフトに対処するための手段を有していなければならない。システムが、フレーム１から２、３、４へと前進し、相対的姿勢を推定するにつれて、少量の誤差が、各対のフレーム間にもたらされる。本誤差は、概して、蓄積し、問題となる（例えば、本誤差ベースのドリフトに対処しなければ、システムは、姿勢推定を用いて、ユーザおよびその関連付けられたシステムコンポーネントを誤った場所および配向に設置する結果となり得る）。一実施形態では、「ループ閉鎖」の概念が、「再位置特定」問題と称され得るものを解決するために適用されてもよい。言い換えると、システムは、以前に特定の場所にあったかどうかと、該当する場合、予測される姿勢情報が、同一場所に関して、前の姿勢情報に照らして理にかなうかどうかとを決定するように構成されてもよい。例えば、システムは、以前に見えていたマップ上のフレームが見える度に、再位置特定するように構成されてもよい。平行移動が、例えば、Ｘ方向に５ｍｍずれており、回転が、例えば、シータ方向に５度ずれている場合、システムは、本相違を他の関連付けられたフレームのものとともに修正する。したがって、軌道は、誤ったものとは対照的に、正しいものとなる。再位置特定は、米国特許出願第６２／２６３，５２９号（参照することによってその全体として本明細書に組み込まれる）に議論される。
また、特に、ＩＭＵ情報（すなわち、上記に説明されるように、関連付けられた加速度計、ジャイロスコープ、および同等物からのデータ等）を使用することによって、姿勢が推定されるとき、決定された位置および配向データ内には、ノイズが存在することが分かっている。そのようなデータが、直接、例えば、画像を提示するためにさらなる処理を伴わずに、システムによって利用される場合、ユーザによって被られる望ましくないジッタおよび不安定性が存在する可能性が高い。これは、上記に説明されるもののいくつか等のある技法において、カルマンフィルタ、センサ融合技法、および平滑化関数が、利用され得る理由である。
畳み込みニューラルネットを使用して、姿勢を推定する、上記に説明されるもの等の深層ネットワークソリューションを用いることで、平滑化問題は、長短期メモリネットワークに類似する、再帰ニューラルネットワークまたはＲＮＮを使用して対処され得る。言い換えると、システムは、畳み込みニューラルネットを構築するように構成されてもよく、その上に、ＲＮＮが、設置される。従来のニューラルネットは、設計上、フィードフォワードであって、時間的に静的である。画像または対の画像を前提として、それらは、回答をもたらす。ＲＮＮを用いることで、層の出力が、次の入力に追加され、再び、同一層の中にフィードバックされる。これは、典型的には、ネット内の唯一の層であって、「時間を通した通過」として想定され得る。すなわち、各時点において、同一ネット層が、若干時間的に調整された入力を再検討し、本サイクルは、繰り返される。
さらに、フィードフォワードネットと異なり、ＲＮＮは、値のシーケンスを入力として受信することができ（すなわち、経時的にシーケンス化される）、また、値のシーケンスを出力として生産することができる。ＲＮＮの単純構造は、フィードバックループに内蔵され、これは、予測エンジンのように挙動することを可能にし、結果として、本実施形態における畳み込みニューラルネットと組み合わせられると、システムは、比較的にノイズの多い軌道データを畳み込みニューラルネットから採取し、それをＲＮＮに通過させ、はるかに平滑であって、ウェアラブルコンピューティングシステムの頭部搭載型コンポーネント（５８）に結合され得る、ユーザの頭部の運動等のはるかにヒト運動のような軌道を出力するであろう。
システムはまた、オブジェクトの深度を立体の対の画像から決定するように構成されてもよく、深層ネットワークを有し、左および右画像が入力される。畳み込みニューラルネットは、左および右カメラ間（頭部搭載型コンポーネント５８上の左眼カメラと右眼カメラとの間等）の相違点を出力するように構成されてもよい。決定された相違点は、カメラの焦点距離が既知である場合、深度の逆数であって、したがって、システムは、相違点情報を有する深度を効率的に計算するように構成されることができる。次いで、メッシュ化および他のプロセスが、比較的に高算出および電力リソース負荷を要求し得る、深度センサ等の深度を感知するための代替コンポーネントを伴うことなく、行われてもよい。
意味論分析および本主題の拡張現実構成の種々の実施形態への深層ネットワークの適用に関して、特に着目され、かつ可用性のあるいくつかの分野は、限定ではないが、ジェスチャおよびキーポイントの検出、顔認識、および３−Ｄオブジェクト認識を含む。
ジェスチャ認識に関して、種々の実施形態では、システムは、ユーザの手によるシステムを制御するためのあるジェスチャを認識するように構成される。一実施形態では、内蔵プロセッサは、「ランダムフォレスト」として知られるものを、感知される深度情報とともに利用して、ユーザによるあるジェスチャを認識するように構成されてもよい。ランダムフォレストモデルは、非決定的モデルであって、これは、非常に大きなパラメータのライブラリを要求し得、比較的に大処理、したがって、電力需要を要求し得る。
さらに、深度センサは、ある深度センサに関するノイズ限界と、例えば、１または２ｃｍの深度間の差異を正確に決定することの不能性とに起因して、対象の手の深度の近傍の机またはテーブルの表面または壁等のある背景では、手ジェスチャを読み取るために常時最適に適していない場合がある。ある実施形態では、ランダムフォレストタイプのジェスチャ認識が、深層学習ネットワークと置換されてもよい。そのような構成のための深層ネットワークを利用する際の課題のうちの１つは、「手」または「非手」のようなピクセル等の画像情報の標識化部分である。そのようなセグメント化課題を伴う深層ネットワークの訓練および利用は、数百万の画像を用いてセグメント化を行うことを要求し得、これは、非常に高価かつ時間がかかる。これに対処するために、一実施形態では、訓練時間の間、軍事またはセキュリティ目的のために利用可能なもの等の赤外線カメラが、赤外線カメラが、本質的に、ヒト手であるために十分に高温である画像部分とそうではない部分とを示すことによって、「手」および「非手」自体のセグメント化を行うように、従来の外向きに向いたカメラに結合されてもよい。
顔認識に関して、本主題の拡張現実システムが、他の人物との社会的設定において装着されるように構成されることを前提として、ユーザの周囲の人物を理解することは、単に、他の近傍の人物を識別するだけではなく、また、提示される情報を調節するために、比較的に有益であり得る（例えば、システムが、近傍の人物を成人の友人として識別する場合、チェスをプレーすることを提案し、それを補助してもよい。システムが、近傍の人物を自分の子供として識別する場合、サッカーをプレーしに出掛けることを提案してもよく、それを補助してもよい。システムが、近傍の人物の識別に失敗する、または既知の危険として識別する場合、ユーザは、そのような人物との接触を回避するように促されてもよい）。
ある実施形態では、深層ニューラルネットワーク構成は、深層再位置特定に関連して上記に記載されるものに類似する様式において、顔認識を補助するために利用されてもよい。モデルは、ユーザの生活に関連する複数の異なる顔で訓練されてもよく、次いで、顔が、頭部搭載型コンポーネント（５８）の近傍等、システムの近傍に近づくと、システムは、その顔画像をピクセル空間内で撮影し、それを、例えば、１２８−次元ベクトルに変換し、次いで、ベクトルを高次元空間内の点として使用し、本人物が既知の人々のリスト内に存在するかどうかを判別することができる。要するに、システムは、「最近傍近隣」検索をその空間内で行うように構成されてもよく、最終的に、そのような構成は、非常に正確となることができ、誤検出率は、１，０００分の１範囲となる。
３−Ｄオブジェクト検出に関して、ある実施形態では、深層ニューラルネットワークを組み込ませることが有用であって、これは、ユーザに、彼らが存在する空間について、３−次元視点から伝えるであろう（すなわち、壁、床、天井だけではなく、また、単に、従来の２−次元感知からだけではなく、真の３−次元感知からのソファー、椅子、キャビネット、および同等物等の部屋を埋めるオブジェクト）。例えば、一実施形態では、ユーザが、例えば、仮想ボールまたは他のオブジェクトが投げられるような場合、ソファーの体積によって占有される体積を把握するように、ユーザにとって、部屋内のソファーの真の立体境界を理解するモデルを有することが望ましい。深層ニューラルネットワークモデルは、高レベルの精巧さを伴う直方体モデルを形成するために利用されてもよい。
ある実施形態では、深層強化ネットワークまたは深層強化学習が、ユーザが常に直接動作主に伝える必要なく、動作主が具体的コンテキスト内で行うはずである内容を効果的に学習するために利用されてもよい。例えば、ユーザが、常時、そのイヌの仮想表現を自身が占有している部屋の中で歩き回らせることを所望するが、イヌの表現を常時可視にさせる（すなわち、壁またはキャビネットの背後に隠蔽されない）ことを所望する場合、深層強化アプローチは、シナリオをある種のゲームに転化してもよく、仮想動作主（ここでは、仮想イヌ）は、ユーザの近傍の物理的空間内を徘徊することを可能にされるが、訓練時間の間、例えば、Ｔ０からＴ１まで、イヌが容認可能場所に留まる場合、報酬が与えられ、イヌのユーザのビューが、閉塞、喪失される、または壁またはオブジェクトにぶつかる場合、ペナルティが与えられる。そのような実施形態では、深層ネットワークは、点を失くすのではなく、点を得るために、行う必要があるものの学習を開始し、すぐに、所望の機能を提供するために把握する必要があるものを把握する。
システムはまた、ユーザの周囲の実際の世界の採光に近似または合致する様式において、仮想世界の採光に対処するように構成されてもよい。例えば、仮想知覚を拡張現実内の実際の知覚と可能な限り最適に混成させるために、採光色、陰影、および採光ベクトルが、仮想オブジェクトとともに可能な限り現実的に再現される。言い換えると、仮想不透明コーヒーカップが、実世界テーブル上の実世界オブジェクトから陰影を作成する、部屋の１つの特定の角から生じる黄色がかった色調の光とともに、部屋内の実際のテーブルの表面上に位置付けられることになる場合、仮想コーヒーカップの光色調および陰影は、実際のシナリオに最適に合致するであろう。ある実施形態では、深層学習モデルは、システムコンポーネントが設置される、実際の環境の照明を学習するために利用されてもよい。例えば、モデルは、実際の環境からの画像または画像のシーケンスを前提として、部屋の照明を学習し、１つ以上の光源による、明度、色相、およびベクトル等の要因を決定するように利用されてもよい。そのようなモデルは、合成データおよびユーザの頭部搭載型コンポーネント（５８）等のユーザデバイスからの捕捉された画像から訓練されてもよい。
図２９を参照すると、「ヒドラ」アーキテクチャ（２７２）と呼ばれ得る、深層学習ネットワークアーキテクチャが、図示される。そのような構成では、ＩＭＵデータ（加速度計、ジャイロスコープ、磁力計から）、外向きに向いたカメラデータ、深度感知カメラデータ、および／または音または音声データ等の種々の入力（２７０）が、全体的処理の有意な部分を行い、その結果を中央層のグループ（２６６）に、最終的に、顔認識、視覚的検索、ジェスチャ識別、意味論セグメント化、オブジェクト検出、採光検出／決定、ＳＬＡＭ、再位置特定、および／または深度推定（上記に記載されるように、立体画像情報等から）等の種々のプロセス機能性を表す、複数の関連付けられた「ヘッド」（２６４）のうちの１つ以上のものに通過させる、下位層のグループ（２６８）を有する、多層中央処理リソースにチャネル指定されてもよい。
従来、深層ネットワークを使用して、種々のタスクを達成するとき、アルゴリズムは、タスク毎に構築されるであろう。したがって、自動車を認識することが所望される場合、アルゴリズムは、そのために構築されるであろう。顔を認識することが所望される場合、アルゴリズムは、そのために構築され、これらのアルゴリズムは、同時に起動されてもよい。非限定または高レベルの電力および算出リソースが、利用可能である場合、そのような構成は、良好に機能し、結果を入手するであろう。しかし、限定された電力供給源および限定された処理能力を内蔵プロセッサ内に伴う、ポータブル拡張現実システムのシナリオ等の多くのシナリオでは、コンピューティングおよび電力リソースは、比較的に限定され得、タスクのある側面をともに処理することが望ましくあり得る。さらに、１つのアルゴリズムが、別のものからの知識を有する場合、第２のアルゴリズムをより良好なものにし得るという証拠が存在する。例えば、１つの深層ネットワークアルゴリズムが、イヌおよびネコについて把握している場合、そこからの知識転送（「ドメイン適合」とも称される）が、別のアルゴリズムが靴をより良好に認識することに役立ち得る。したがって、訓練および推定の間、アルゴリズム間のある種類のクロストークを有することは、合理的である。
さらに、アルゴリズム設計および修正に関連して、考慮点が存在する。好ましくは、さらなる能力が、アルゴリズムの初期バージョンに対して必要とされる場合、新しいものを最初から完全に再構築する必要はないであろう。描写されるヒドラアーキテクチャ（２７２）が、上記に記載されるように、共有され得るある算出プロセスの共通側面が存在する場合があるため、これらの課題および算出および電力効率課題に対処するために利用されてもよい。例えば、描写されるヒドラアーキテクチャ（２７２）では、１つ以上のカメラからの画像情報等の入力（２７０）が、下位層（２６８）の中にもたらされてもよく、そこで、比較的に低レベルに関する特徴抽出が、行われてもよい。例えば、ガボール関数、ガウスの導関数、基本的に、線、縁、角、色をもたらすものであって、これらは、低レベルにおける多くの問題に関して一様である。したがって、タスク変動にかかわらず、低レベル特徴抽出は、ネコ、車、またはウシを抽出することを目的とするかどうかにかかわらず、同一であることができ、したがって、それに関連する算出は、共有されることができる。ヒドラアーキテクチャ（２７２）は、高レベルパラダイムであって、これは、アルゴリズムを横断して知識共有を可能にし、それぞれをより良好なものにし、算出が、共有され、低減され、かつ冗長となり得ないように、特徴共有を可能にし、全てのものを書き換える必要なく、一式の能力を拡張可能となることを可能にし、むしろ、新しい能力は、既存の能力とともに、基盤上にスタックされてもよい。
したがって、上記に記載されるように、描写される実施形態では、ヒドラアーキテクチャは、１つの統合された経路を有する、深層ニューラルネットワークを表す。ネットワークの下層（２６８）は、共有され、それらは、視覚的プリミティブの基本ユニットを入力画像および他の入力（２７０）から抽出する。システムは、いくつかの層の畳み込みを経て、縁、線、輪郭、合流点、および同等物を抽出するように構成されてもよい。プログラマが特徴エンジニアリングするために使用していた基本コンポーネントは、ここでは、深層ネットワークによって学習されることになる。最終的に、これらの特徴は、アルゴリズムが、顔認識、追跡等であるかどうかにかかわらず、多くのアルゴリズムにとって有用である。したがって、いったんより低い算出仕事が、行われ、他のアルゴリズムの全ての中への画像または他の入力からの共有表現が存在するようになると、問題あたり１つの個々の経路が存在し得る。したがって、本共有表現の上には、アーキテクチャ（２７２）の他の「ヘッド」（２６４）のために、顔に非常に具体的な顔認識につながる経路が存在し、ＳＬＡＭに非常に具体的な追跡につながる経路が存在する等となる。そのような実施形態では、一方では、追加を基本的に増大させることを可能にする、本共有算出の全てを有し、他方では、一般的知識の上にあって、微調整を行い、非常に具体的な質問に対する回答を見出すことを可能にする、非常に具体的な経路を有する。
また、そのような構成に関して有益なものは、そのようなニューラルネットワークが、入力（２７０）により近い下位層（２６８）が、算出の各層において、システムが、オリジナル入力をとり、それを、典型的には、事物の次元が低減される、ある他の次元空間に変換するため、より多くの算出を要求するように設計されるという事実である。したがって、いったんネットワークの下層から５番目の層が達成されると、算出の量は、最低レベルにおいて要求されたものの２０分の１未満の範囲内となり得る（すなわち、入力がはるかにより大きく、はるかに大きい行列乗算が要求されたため）。一実施形態では、システムが共有算出結果を抽出するまで、解決される必要がある問題に対して非常に不確かである。ほぼ任意のアルゴリズムの算出の大部分は、下位層で完了されており、したがって、新しい経路が、顔認識、追跡、深度、採光、および同等物のために追加されると、これらは、算出制約に比較的にわずかにしか寄与せず、したがって、そのようなアーキテクチャは、拡張のための豊富な能力を提供する。
一実施形態では、第１のいくつかの層に関して、最高分解能データを留保するために、プーリングが存在しなくてもよい。中央層は、その時点で、超高分解能が必要とされないため、プーリングプロセスを有してもよい（例えば、超高分解能は、中央層において、車の車輪の場所を把握するために必要とされず、実際は、高分解能における下位レベルから、ナットおよびボルトが位置する場所を把握することのみ必要であり、次いで、画像データは、車の車輪の場所に関する中央層に通過されるにつれて、有意に収縮されることができる）。
さらに、いったんネットワークが、学習されたつながりの全てを有すると、全てのものは、緩やかに結び付けられ、つながりは、有利なこととして、データを通して学習される。中央層（２６６）は、一部、例えば、オブジェクト部分、顔特徴、および同等物の学習を開始するように構成されてもよい。したがって、単純ガボール関数ではなく、中央層は、より複雑な構造（すなわち、曲がりくねった形状、陰影等）を処理する。次いで、プロセスが上位に向かってより上方に移動するにつれて、一意のヘッドコンポーネント（２６４）への分割が存在し、そのうちのいくつかは、多くの層を有してもよく、そのうちのいくつかは、殆ど有していなくてもよい。再び、スケーラビリティおよび効率は、処理フロップの９０％等の大部分が、下位層（２６８）内にあって、次いで、フロップの５％等の小部分が、中央層（２６６）内にあって、別の５％が、ヘッド（２６４）内にあるという事実に大きく起因する。
そのようなネットワークは、すでに存在する情報を使用して、事前に訓練されてもよい。例えば、一実施形態では、大グループのクラス（１，０００の範囲内）からの大グループ（１千万の範囲内）ＩｍａｇｅＮｅｔの画像が、クラスの全てを訓練するために利用されてもよい。一実施形態では、いったん訓練されると、クラスを区別する上層は、取り除かれてもよいが、訓練プロセスにおいて学習された加重は全て、保たれる。
図３０Ａを参照すると、一対のコイル（３０２、３０４）が、特定の半径および間隔をその間に伴う構成で示され、これは、「ヘルムホルツコイル」として知られ得る。
ヘルムホルツコイルは、種々の構成で現れ（ここでは、対の丸みを帯びたコイルが、示される）、図３０Ｂ（３０６）に描写されるもの等、所与の体積を通して比較的に均一な磁場を生産するために知られている。磁場線は、図３０Ｂのコイル（３０２、３０４）の断面図を中心として、矢印とともに示される。図３は、３軸ヘルムホルツコイル構成を図示し、３つの対（３１０、３１２、３１４）が、示されるように、直交して配向される。方形コイルを特徴とするもの等のヘルムホルツまたはメリットコイルの他の変形例もまた、所与の体積を通して予測可能かつ比較的に均一な磁場を作成するために利用されてもよい。一実施形態では、ヘルムホルツタイプコイルが、上記に説明されるもの等の頭部搭載型コンポーネント（５８）に動作可能に結合される２つのセンサ間の関係を決定する、配向を較正することを補助するために利用されてもよい。例えば、図３０Ｄを参照すると、上記に説明されるように、ＩＭＵ（１０２）および電磁場センサ（６０４）に結合される、頭部搭載型コンポーネント（５８）が、ヘルムホルツコイル対（３０２、３０４）の既知の磁場体積内に設置され得る。電流がコイル対（３０２、３０４）を通して印加された状態で、コイルは、磁場を選択可能周波数で生成するように構成され得る。一実施形態では、システムは、コイルを直流電流レベルで励起し、ＩＭＵ（１０２）の磁力計コンポーネントから直接可読出力を生産するように構成されてもよい。次いで、コイルは、交互電流レベルで励起され、例えば、電磁位置特定受信機コイル（６０４）から直接可読出力を生産してもよい。そのような構成におけるそれらの印加される場は、同一物理的コイル（３０２、３０４）によって生成されるため、それらは、相互に位置合わせされ、場が同一配向を有するはずであることが把握される。したがって、値をＩＭＵ（１０２）および電磁場センサ（６０４）から読み取り、直接、較正を測定してもよく、これは、３次元内の２つのデバイス（１０２、６０４）間の配向読取値における任意の差異を特性評価し、したがって、ランタイムのために２の間の使用可能較正を提供するために利用されてもよい。一実施形態では、頭部搭載型コンポーネント（５８）は、コイルセット（３０２、３０４）に対するさらなる試験のために電気機械的に再配向されてもよい。別の実施形態では、コイルセット（３０２、３０４）は、頭部搭載型コンポーネント（５８）に対するさらなる試験のために電気機械的に再配向されてもよい。別の実施形態では、頭部搭載型コンポーネント（５８）およびコイルセット（３０２、３０４）は、相互に対して電気機械的に再配向可能であってもよい。別の実施形態では、図３０Ｃに描写されるもの等の３軸ヘルムホルツコイルまたは他のより高度な磁場生産コイルが、付加的試験データのために、コイルセット（３０２、３０４）に対する頭部搭載型コンポーネント（５８）の再配向の必要なく、磁場および成分を生成するために利用されてもよい。
図３０Ｅを参照すると、そのような較正構成において利用され、ヘルムホルツタイプの構成における一対のコイル（３０２、３０４）等の予測可能磁場を生産する、システムまたはサブシステムは、頭部搭載型コンポーネント（５８）を備え得る、１つ以上のカメラ（１２４）が、そのような基点を視認し得るように、そこに結合される、１つ以上の光学基点（３１６）を有してもよい。そのような構成は、電磁感知サブシステムが既知の方法においてカメラと整合されることを確実にするための機会を提供する。言い換えると、そのような構成を用いることで、既知または測定された方式において磁場生成デバイスに物理的に結合または係留される、光学基点を有することになる（例えば、関節運動式の座標測定機械が、各基点場所３１６の精密なＸ、Ｙ、Ｚ座標を確立するために利用されてもよい）。頭部搭載型コンポーネント（５８）は、試験体積の内側に設置され、磁場に暴露され得る一方、頭部搭載型コンポーネント（５８）のカメラ（１２４）は、１つ以上の基点（３１６）を観察し、したがって、磁場センサおよびカメラの外因性を較正する（磁場生成器が、カメラが観察する、基点に取り付けられるため）。光学基点（３１６）は、市松模様等の平坦特徴、ａｒｕｃｏマーカ、テクスチャ加工、または別様な３次元特徴を備えてもよい。光学基点はまた、ＬＣＤディスプレイ等の小ディスプレイが利用される構成等では、動的であってもよい。それらは、静的および印刷されてもよい。それらは、レーザまたは化学的性質で基板材料中にエッチングされてもよい。それらは、コーティングまたは陽極酸化またはカメラ（１２４）によって認識可能な他の特徴を備えてもよい。工場較正設定では、本明細書に説明されるもの等の複数の較正システムが、相互に隣接して位置してもよく、隣接するシステムが隣接するシステムにおける読取値に干渉するであろう磁場を生産しないように、タイミング調整されてもよい。一実施形態では、あるグループの較正ステーションが、時系列化されてもよく、別の実施形態では、１つおき、または２つおき、または３つおき等、機能分離を提供するように同時に動作されてもよい。
図３１は、本明細書に説明される実施形態による、簡略化されたコンピュータシステム３１００を図示する。コンピュータシステム３１００は、図３１に図示されるように、本明細書に説明されるデバイスの中に組み込まれてもよい。図３１は、種々の実施形態によって提供される方法のステップのいくつかまたは全てを実施し得る、コンピュータシステム３１００の一実施形態の概略例証を提供する。図３１は、種々のコンポーネントの一般化された例証を提供するためだけを意図しており、任意またはその全てが、必要に応じて利用されてもよいことに留意されたい。図３１は、したがって、広義には、個々のシステム要素が比較的に分離またはより比較的に統合された様式で実装され得る方法を図示する。
コンピュータシステム３１００は、バス３１０５を介して電気的に結合され得る、または別様に必要に応じて通信し得る、ハードウェア要素を備えるように示される。ハードウェア要素は、限定ではないが、デジタル信号処理チップ、グラフィック加速プロセッサ、および／または同等物等の１つ以上の汎用プロセッサおよび／または１つ以上の特殊目的プロセッサを含む、１つ以上のプロセッサ３１１０と、限定ではないが、マウス、キーボード、カメラ、および／または同等物を含み得る、１つ以上の入力デバイス３１１５と、限定ではないが、ディスプレイデバイス、プリンタ、および／または同等物を含み得る、１つ以上の出力デバイス３１２０とを含んでもよい。
コンピュータシステム３１００はさらに、限定ではないが、ローカルおよび／またはネットワークアクセス可能記憶装置を備え得、および／または限定ではないが、ディスクドライブ、ドライブアレイ、光学記憶デバイス、ソリッドステート記憶デバイス、例えば、プログラム可能かつフラッシュ更新可能であり得る、ランダムアクセスメモリ（「ＲＡＭ」）および／または読取専用メモリ（「ＲＯＭ」）、および／または同等物を含み得る、１つ以上の非一過性記憶デバイス３１２５を含み、および／またはそれと通信してもよい。そのような記憶デバイスは、限定ではないが、種々のファイルシステム、データベース構造、および／または同等物を含む、任意の適切なデータ記憶を実装するように構成されてもよい。
コンピュータシステム３１００はまた、限定ではないが、モデム、ネットワークカード（無線または有線）、赤外線通信デバイス、無線通信デバイス、および／またはチップセット、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）デバイス、８０２．１１デバイス、ＷｉＦｉデバイス、ＷｉＭＡＸデバイス、セルラー通信設備等、および／または同等物を含み得る、通信サブシステム３１１９を含み得る。通信サブシステム３１１９は、１つ以上の入力および／または出力通信インターフェースを含み、データが、下記に説明されるネットワークすなわち、例を挙げると、他のコンピュータシステム、テレビ、および／または本明細書に説明される任意の他のデバイス等のネットワークと交換されることを可能にしてもよい。所望の機能性および／または他の実装懸念に応じて、ポータブル電子デバイスまたは類似デバイスは、通信サブシステム３１１９を介して、画像および／または他の情報を通信してもよい。他の実施形態では、ポータブル電子デバイス、例えば、第１の電子デバイスは、例えば、電子デバイスを入力デバイス３１１５として、コンピュータシステム３１００の中に組み込まれてもよい。いくつかの実施形態では、コンピュータシステム３１００はさらに、上記に説明されるように、ＲＡＭまたはＲＯＭデバイスを含み得る、作業メモリ３１３５を備えるであろう。
コンピュータシステム３１００はまた、種々の実施形態によって提供されるコンピュータプログラムを備え得、および／または本明細書に説明されるように、他の実施形態によって提供される、方法を実装する、および／またはシステムを構成するように設計され得る、オペレーティングシステム３１４０、デバイスドライバ、実行可能ライブラリ、および／または他のコード、例えば、１つ以上のアプリケーションプログラム３１４５を含む、作業メモリ３１３５内に現在位置するように示される、ソフトウェア要素を含むことができる。単に、一例として、上記に議論される方法に関して説明される、１つ以上のプロシージャは、コンピュータおよび／またはコンピュータ内のプロセッサによって実行可能なコードおよび／または命令として実装され得る。ある側面では、次いで、そのようなコードおよび／または命令は、汎用コンピュータまたは他のデバイスを構成および／または適合させ、説明される方法に従って１つ以上の動作を実施するために使用されることができる。
これらの命令および／またはコードのセットは、上記に説明される記憶デバイス３１２５等の非一過性コンピュータ可読記憶媒体上に記憶されてもよい。ある場合には、記憶媒体は、コンピュータシステム３１００等のコンピュータシステム内に組み込まれ得る。他の実施形態では、記憶媒体は、記憶媒体が、汎用コンピュータをその上に記憶される命令／コードでプログラム、構成、および／または適合させるために使用され得るように、例えば、コンパクトディスク等のリムーバブル媒体のようにコンピュータシステムと別個である、および／またはインストールパッケージ内に提供され得る。これらの命令は、コンピュータシステム３１００によって実行可能な実行可能コードの形態をとり得、および／またはソースおよび／またはインストール可能コードの形態をとり得、これは、例えば、種々の概して利用可能なコンパイラ、インストールプログラム、圧縮／解凍ユーティリティ等のいずれかを使用して、コンピュータシステム３１００上へのコンパイルおよび／またはインストールに応じて、次いで、実行可能コードの形態をとる。
本発明の種々の例示的実施形態が、本明細書に説明される。これらの実施例は、非限定的意味で参照される。それらは、本発明のより広義に適用可能な側面を例証するために提供される。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、均等物が置換されてもよい。加えて、特定の状況、材料、組成物、プロセス、プロセス行為、またはステップを、本発明の目的、精神、または範囲に適合させるように、多くの修正が、行われてもよい。さらに、当業者によって理解されるように、本明細書で説明および図示される個々の変形例のそれぞれは、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離される、またはそれらと組み合わせられる、離散コンポーネントおよび特徴を有する。全てのそのような修正は、本開示と関連付けられる請求項の範囲内であることが意図される。
本発明は、本主題のデバイスを使用して行なわれ得る方法を含む。本方法は、そのような好適なデバイスを提供するという行為を含んでもよい。そのような提供は、エンドユーザによって行なわれてもよい。換言すれば、「提供する」行為は、単に、エンドユーザが、本主題の方法において必須なデバイスを提供するように、取得し、アクセスし、接近し、位置付けし、設定し、起動し、電源を入れ、または別様に作用することを要求する。本明細書で列挙される方法は、論理的に可能である記載された事象の任意の順序で、および事象の記載された順序で実行されてもよい。
本発明の例示的側面が、材料選択および製造に関する詳細とともに、上記で記載されている。本発明の他の詳細に関して、これらは、上記の参照された特許および刊行物に関連して理解されるとともに、概して、当業者によって把握または理解され得る。同じことが、一般または論理的に採用されるような付加的作用の観点から、本発明の方法ベースの側面に関して当てはまり得る。
加えて、本発明は、随意に、種々の特徴を組み込む、いくつかの実施例を参照して説明されたが、本発明は、発明の各変形例に関して検討されるように説明または図示されるものに限定されるものではない。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、（本明細書に記載されるか、またはいくらか簡潔にするために含まれないかどうかにかかわらず）均等物が置換されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値、およびその規定範囲内の任意の他の規定または介在値が、本発明内に包含されることが理解される。
また、説明される本発明の変形例の任意の随意の特徴が、独立して、または本明細書に説明される特徴のうちのいずれか１つ以上のものと組み合わせて、記載および請求され得ることが考慮される。単数形の項目の言及は、複数の同一項目が存在する可能性を含む。より具体的には、本明細書で、およびそれに関連付けられる請求項で使用されるように、「ａ」、「ａｎ」、「ｓａｉｄ」、および「ｔｈｅ」という単数形は、特に別様に記述されない限り、複数の指示対象を含む。換言すると、冠詞の使用は、上記の説明および本発明と関連付けられる請求項項で、対象項目の「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意の要素を除外するように起草され得ることに留意されたい。したがって、この記述は、請求項要素の記載に関連する「だけ」、「のみ」、および同等物等のそのような排他的用語の使用、または「否定的」制限の使用のための先行詞としての機能を果たすことを目的としている。
そのような排他的専門用語を使用することなく、本開示と関連付けられる請求項での「備える」という用語は、所与の数の要素がそのような請求項で列挙されるか、または特徴の追加をそのような請求項に記載される要素の性質を変換するものと見なすことができるかどうかにかかわらず、任意の付加的な要素の包含を可能にするものとする。本明細書で特に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の有効性を維持しながら、可能な限り広義の一般的に理解されている意味を与えられるべきである。
本発明の範疇は、提供される実施例および／または本主題の明細書に限定されるべきではなく、むしろ、本開示と関連付けられた請求項の言語の範囲によってのみ限定されるべきである。

Claims (19)

  1. １つ以上のセンサを備えるシステムにおいて半球曖昧性を解決する方法であって、前記方法は、
    前記システムのハンドヘルドコントローラにおいて、１つ以上の磁場を放出することと、
    前記システムのヘッドセット内に位置付けられる１つ以上のセンサによって、前記１つ以上の磁場を検出することと、
    前記１つ以上の磁場に基づいて、前記ヘッドセットに対する第１の半球内の前記ハンドヘルドコントローラの第１の位置および第１の配向を決定することと、
    前記１つ以上の磁場に基づいて、前記ヘッドセットに対する第２の半球内の前記ハンドヘルドコントローラの第２の位置および第２の配向を決定することであって、前記第２の半球は、前記ヘッドセットに対する前記第１の半球に直径方向に対向する、ことと、
    前記ヘッドセットに対する法線ベクトルと、前記第１の半球内の前記ヘッドセットに対する前記ハンドヘルドコントローラの位置を識別する位置ベクトルとを決定することと、
    前記法線ベクトルおよび前記位置ベクトルのドット積を計算することと、
    前記ドット積の結果が正であるとき、前記ハンドヘルドコントローラの前記第１の位置および前記第１の配向が正確であることを決定することと、
    前記ドット積の結果が負であるとき、前記ハンドヘルドコントローラの前記第２の位置および前記第２の配向が正確であることを決定することと
    を含む、方法。
  2. 前記位置ベクトルは、前記ヘッドセットの座標フレームにおいて定義される、請求項１に記載の方法。
  3. 前記法線ベクトルは、前記ヘッドセットから生じ、前記ヘッドセットからの水平線から所定の角度で延在する、請求項１に記載の方法。
  4. 前記所定の角度は、前記ヘッドセットからの水平線から下方に４５°角度にある、請求項３に記載の方法。
  5. 前記ドット積の結果が正であるとき、前記第１の半球は、前記ヘッドセットに対する正面半球と識別され、前記第２の半球は、前記ヘッドセットに対する背面半球と識別される、請求項１に記載の方法。
  6. 前記ドット積の結果が負であるとき、前記第２の半球は、前記ヘッドセットに対する正面半球と識別され、前記第１の半球は、前記ヘッドセットに対する背面半球と識別される、請求項１に記載の方法。
  7. 前記ドット積の結果が正であるときの前記第１の位置および前記第１の配向、または
    前記ドット積の結果が負であるときの前記第２の位置および前記第２の配向
    に基づいて、仮想コンテンツをディスプレイに送達することをさらに含む、請求項１に記載の方法。
  8. 前記システムは、光学デバイスである、請求項１に記載の方法。
  9. 前記方法は、前記ヘッドセットの初期化プロセスの間に実施される、請求項１に記載の方法。
  10. システムであって、
    １つ以上の磁場を放出するように構成される磁場伝送機を備えるハンドヘルドコントローラと、
    前記１つ以上の磁場を検出するように構成される１つ以上の磁場センサを備えるヘッドセットと、
    前記ヘッドセットに結合されたプロセッサであって、
    前記１つ以上の磁場に基づいて、前記ヘッドセットに対する第１の半球内の前記ハンドヘルドコントローラの第１の位置および第１の配向を決定することと、
    前記１つ以上の磁場に基づいて、前記ヘッドセットに対する第２の半球内の前記ハンドヘルドコントローラの第２の位置および第２の配向を決定することであって、前記第２の半球は、前記ヘッドセットに対する前記第１の半球に直径方向に対向する、ことと、
    前記ヘッドセットに対する法線ベクトルと、前記第１の半球内の前記ヘッドセットに対する前記ハンドヘルドコントローラの位置を識別する位置ベクトルとを決定することと、
    前記法線ベクトルおよび前記位置ベクトルのドット積を計算することと、
    前記ドット積の結果が正であるとき、前記ハンドヘルドコントローラの前記第１の位置および前記第１の配向が正確であることを決定することと、
    前記ドット積の結果が負であるとき、前記ハンドヘルドコントローラの前記第２の位置および前記第２の配向が正確であることを決定することと
    を含む動作を実施するように構成される、プロセッサと
    を備える、システム。
  11. 前記位置ベクトルは、前記ヘッドセットの座標フレームにおいて定義される、請求項１０に記載のシステム。
  12. 前記法線ベクトルは、前記ヘッドセットから生じ、前記ヘッドセットからの水平線から所定の角度で延在する、請求項１０に記載のシステム。
  13. 前記所定の角度は、前記ヘッドセットからの水平線から下方に４５°角度にある、請求項１２に記載のシステム。
  14. 前記ドット積の結果が正であるとき、前記第１の半球は、前記ヘッドセットに対する正面半球と識別され、前記第２の半球は、前記ヘッドセットに対する背面半球と識別される、請求項１０に記載のシステム。
  15. 前記ドット積の結果が負であるとき、前記第２の半球は、前記ヘッドセットに対する正面半球と識別され、前記第１の半球は、前記ヘッドセットに対する背面半球と識別される、請求項１０に記載のシステム。
  16. 前記プロセッサはさらに、
    前記ドット積の結果が正であるときの前記第１の位置および前記第１の配向、または
    前記ドット積の結果が負であるときの前記第２の位置および前記第２の配向
    に基づいて、仮想コンテンツをディスプレイに送達すること
    を含む動作を実施するように構成される、請求項１０に記載のシステム。
  17. 前記システムは、光学デバイスである、請求項１０に記載のシステム。
  18. 前記方法は、前記ヘッドセットの初期化プロセスの間に実施される、請求項１０に記載のシステム。
  19. 非一過性コンピュータ可読媒体内に具現化されるコンピュータプログラム製品であって、前記コンピュータ可読媒体は、その上に記憶される命令のシーケンスを有し、前記命令のシーケンスは、プロセッサによって実行されると、前記プロセッサに、１つ以上のセンサを備えるシステムにおいて半球曖昧性を解決するための方法を実行させ、前記方法は、
    前記システムのハンドヘルドコントローラにおいて、１つ以上の磁場を放出することと、
    前記システムのヘッドセット内に位置付けられる１つ以上のセンサによって、前記１つ以上の磁場を検出することと、
    前記１つ以上の磁場に基づいて、前記ヘッドセットに対する第１の半球内の前記ハンドヘルドコントローラの第１の位置および第１の配向を決定することと、
    前記１つ以上の磁場に基づいて、前記ヘッドセットに対する第２の半球内の前記ハンドヘルドコントローラの第２の位置および第２の配向を決定することであって、前記第２の半球は、前記ヘッドセットに対する前記第１の半球に直径方向に対向する、ことと、
    前記ヘッドセットに対する法線ベクトルと、前記第１の半球内の前記ヘッドセットに対する前記ハンドヘルドコントローラの位置を識別する位置ベクトルとを決定することと、
    前記法線ベクトルおよび前記位置ベクトルのドット積を計算することと、
    前記ドット積の結果が正であるとき、前記ハンドヘルドコントローラの前記第１の位置および前記第１の配向が正確であることを決定することと、
    前記ドット積の結果が負であるとき、前記ハンドヘルドコントローラの前記第２の位置および前記第２の配向が正確であることを決定することと
    を含む、コンピュータプログラム製品。
JP2021503584A 2018-07-23 2019-07-23 位置ベクトルを使用して半球曖昧性を解決するための方法およびシステム Active JP7519742B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024065482A JP2024091754A (ja) 2018-07-23 2024-04-15 位置ベクトルを使用して半球曖昧性を解決するための方法およびシステム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862702339P 2018-07-23 2018-07-23
US62/702,339 2018-07-23
PCT/US2019/043058 WO2020023524A1 (en) 2018-07-23 2019-07-23 Method and system for resolving hemisphere ambiguity using a position vector

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024065482A Division JP2024091754A (ja) 2018-07-23 2024-04-15 位置ベクトルを使用して半球曖昧性を解決するための方法およびシステム

Publications (2)

Publication Number Publication Date
JP2021530814A true JP2021530814A (ja) 2021-11-11
JP7519742B2 JP7519742B2 (ja) 2024-07-22

Family

ID=69163155

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021503584A Active JP7519742B2 (ja) 2018-07-23 2019-07-23 位置ベクトルを使用して半球曖昧性を解決するための方法およびシステム
JP2024065482A Pending JP2024091754A (ja) 2018-07-23 2024-04-15 位置ベクトルを使用して半球曖昧性を解決するための方法およびシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024065482A Pending JP2024091754A (ja) 2018-07-23 2024-04-15 位置ベクトルを使用して半球曖昧性を解決するための方法およびシステム

Country Status (5)

Country Link
US (2) US10916064B2 (ja)
EP (1) EP3827300A4 (ja)
JP (2) JP7519742B2 (ja)
CN (2) CN116300091A (ja)
WO (1) WO2020023524A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10883831B2 (en) * 2016-10-28 2021-01-05 Yost Labs Inc. Performance of inertial sensing systems using dynamic stability compensation
JP7519742B2 (ja) 2018-07-23 2024-07-22 マジック リープ， インコーポレイテッド 位置ベクトルを使用して半球曖昧性を解決するための方法およびシステム
US11287885B1 (en) * 2019-01-22 2022-03-29 Facebook Technologies, Llc Apparatus, system, and method for determining the position of wearables donned by users of artificial reality systems
DE102020109121A1 (de) * 2019-04-02 2020-10-08 Ascension Technology Corporation Korrektur von Verzerrungen
US11181978B2 (en) * 2019-06-17 2021-11-23 Hemy8 Sa System and method for gaze estimation
US11719850B2 (en) * 2019-06-20 2023-08-08 Sony Interactive Entertainment Inc. Detecting and compensating for magnetic interference in electromagnetic (EM) positional tracking
KR20210012677A (ko) * 2019-07-26 2021-02-03 엘지전자 주식회사 사람의 머리를 회피하여 이동하는 로봇 및 이의 동작 제어 방법
US10989916B2 (en) * 2019-08-20 2021-04-27 Google Llc Pose prediction with recurrent neural networks
US11315326B2 (en) * 2019-10-15 2022-04-26 At&T Intellectual Property I, L.P. Extended reality anchor caching based on viewport prediction
WO2021150623A1 (en) 2020-01-24 2021-07-29 Magic Leap, Inc. Content movement and interaction using a single controller
CN111949123B (zh) * 2020-07-01 2023-08-08 青岛小鸟看看科技有限公司 多传感器手柄控制器混合追踪方法及装置
US11995904B2 (en) 2021-03-31 2024-05-28 Arm Limited Systems, devices, and/or processes for dynamic surface marking
US12073640B2 (en) 2021-03-31 2024-08-27 Arm Limited Systems, devices, and/or processes for dynamic surface marking
US12073641B2 (en) * 2021-03-31 2024-08-27 Arm Limited Systems, devices, and/or processes for dynamic surface marking
EP4071586A1 (de) 2021-04-09 2022-10-12 Fresenius Medical Care Deutschland GmbH Berührungsloses bedienen medizintechnischer geräte
WO2021178980A1 (en) * 2021-04-28 2021-09-10 Innopeak Technology, Inc Data synchronization and pose prediction in extended reality
GB2608186A (en) * 2021-06-25 2022-12-28 Thermoteknix Systems Ltd Augmented reality system
US11675030B2 (en) 2021-07-28 2023-06-13 Alken Inc. Auto-hemisphere detection in a magnetic tracker
CN114237233B (zh) * 2021-11-30 2024-02-23 深圳市优必选科技股份有限公司 机器人下棋方法、装置、计算机可读存储介质及机器人

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10301675A (ja) * 1997-02-28 1998-11-13 Toshiba Corp マルチモーダルインタフェース装置およびマルチモーダルインタフェース方法
US20050165297A1 (en) * 2002-03-27 2005-07-28 Anderson Peter T. Magnetic tracking system
JP2014038588A (ja) * 2012-07-20 2014-02-27 Nintendo Co Ltd 情報処理システム、情報処理装置、情報処理プログラム、および、情報処理方法
US9703102B2 (en) * 2015-08-28 2017-07-11 Tomy Company Ltd. Information processing device including head mounted display

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US173740A (en) 1876-02-22 Improvement in picking mechanisms for looms
US6489955B1 (en) * 1999-06-07 2002-12-03 Intel Corporation Ray intersection reduction using directionally classified target lists
SG115546A1 (en) * 2003-06-23 2005-10-28 Affineon Technologies Pte Ltd Computer input device tracking six degrees of freedom
US20050062469A1 (en) * 2003-09-23 2005-03-24 Anderson Peter Traneus System and method for hemisphere disambiguation in electromagnetic tracking systems
US7532997B2 (en) * 2006-04-17 2009-05-12 General Electric Company Electromagnetic tracking using a discretized numerical field model
CN100487568C (zh) * 2007-05-29 2009-05-13 南京航空航天大学 具有视线跟踪功能的增强现实自然交互式头盔
DE112009003495T5 (de) * 2008-11-17 2013-01-10 Faro Technologies, Inc. Vorrichtung und Verfahren zum Messen von sechs Freiheitsgraden
EP4404537A3 (en) 2011-10-28 2024-10-16 Magic Leap, Inc. System and method for augmented and virtual reality
KR102376368B1 (ko) 2011-11-23 2022-03-17 매직 립, 인코포레이티드 3차원 가상 및 증강 현실 디스플레이 시스템
KR20230044041A (ko) 2013-03-11 2023-03-31 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
KR102318391B1 (ko) 2013-03-15 2021-10-26 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US10228242B2 (en) 2013-07-12 2019-03-12 Magic Leap, Inc. Method and system for determining user input based on gesture
CN109597202B (zh) 2013-11-27 2021-08-03 奇跃公司 虚拟和增强现实系统与方法
CN106663411A (zh) 2014-11-16 2017-05-10 易欧耐特感知公司 用于增强现实准备、处理和应用的系统和方法
CN108135469B (zh) 2015-08-21 2021-03-09 奇跃公司 使用眼睛姿态测量的眼睑形状估计
CN108604383A (zh) 2015-12-04 2018-09-28 奇跃公司 重新定位系统和方法
CA3021964A1 (en) * 2016-04-26 2017-11-02 Magic Leap, Inc. Electromagnetic tracking with augmented reality systems
DE202017104928U1 (de) 2016-08-23 2017-11-24 Google Inc. Manipulation virtueller Objekte anhand von Controllern mit sechs Freiheitsgraden in erweiterten bzw. virtuellen Realitätsumgebungen
US20180124497A1 (en) * 2016-10-31 2018-05-03 Bragi GmbH Augmented Reality Sharing for Wearable Devices
CN111133365B (zh) 2017-05-01 2023-03-31 奇跃公司 内容到空间3d环境的匹配
US10830572B2 (en) * 2017-10-12 2020-11-10 Google Llc Hemisphere ambiguity correction in electromagnetic position tracking systems
JP7519742B2 (ja) 2018-07-23 2024-07-22 マジック リープ， インコーポレイテッド 位置ベクトルを使用して半球曖昧性を解決するための方法およびシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10301675A (ja) * 1997-02-28 1998-11-13 Toshiba Corp マルチモーダルインタフェース装置およびマルチモーダルインタフェース方法
US20050165297A1 (en) * 2002-03-27 2005-07-28 Anderson Peter T. Magnetic tracking system
JP2014038588A (ja) * 2012-07-20 2014-02-27 Nintendo Co Ltd 情報処理システム、情報処理装置、情報処理プログラム、および、情報処理方法
US9703102B2 (en) * 2015-08-28 2017-07-11 Tomy Company Ltd. Information processing device including head mounted display

Also Published As

Publication number Publication date
WO2020023524A1 (en) 2020-01-30
US11403827B2 (en) 2022-08-02
JP2024091754A (ja) 2024-07-05
JP7519742B2 (ja) 2024-07-22
CN112513711A (zh) 2021-03-16
EP3827300A1 (en) 2021-06-02
US10916064B2 (en) 2021-02-09
CN112513711B (zh) 2023-03-07
CN116300091A (zh) 2023-06-23
EP3827300A4 (en) 2021-09-15
US20200027275A1 (en) 2020-01-23
US20210225085A1 (en) 2021-07-22

Similar Documents

Publication Publication Date Title
JP7519742B2 (ja) 位置ベクトルを使用して半球曖昧性を解決するための方法およびシステム
JP7254895B2 (ja) 深層学習センサを有する拡張現実ディスプレイデバイス
JP7482040B2 (ja) 拡張現実深層ジェスチャネットワーク
CN112292690B (zh) 增强现实深度手势网络

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231127

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240415

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240607

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20240613

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20240625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240703

R150 Certificate of patent or registration of utility model

Ref document number: 7519742

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150