Nothing Special   »   [go: up one dir, main page]

CN104603865A - 一种由移动中的用户佩戴的用于通过锚定虚拟对象充分增强现实的系统 - Google Patents

一种由移动中的用户佩戴的用于通过锚定虚拟对象充分增强现实的系统 Download PDF

Info

Publication number
CN104603865A
CN104603865A CN201280074650.XA CN201280074650A CN104603865A CN 104603865 A CN104603865 A CN 104603865A CN 201280074650 A CN201280074650 A CN 201280074650A CN 104603865 A CN104603865 A CN 104603865A
Authority
CN
China
Prior art keywords
virtual objects
real world
virtual
world
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280074650.XA
Other languages
English (en)
Inventor
丹尼尔·格瑞贝格
加比·萨鲁斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Imagine Mobile Augmented Reality Ltd
Original Assignee
Imagine Mobile Augmented Reality Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Imagine Mobile Augmented Reality Ltd filed Critical Imagine Mobile Augmented Reality Ltd
Publication of CN104603865A publication Critical patent/CN104603865A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/12—Use of DVI or HDMI protocol in interfaces along the display data pipeline
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种系统，其在视觉上、功能上、以及行为上将虚拟对象锚定到真实世界的对象上以创造一种综合的、广泛的、合理的增强现实环境，该环境至少包含现实世界中的虚拟对象的相对位置、视角以及可视角度，以及现实世界中的虚拟对象与其他虚拟对象之间的互动。该系统包含具有内置界面的输入设备，其从高清晰多媒体接口(HDMI)适配器或任何其他通讯设备中接收输入，并向微处理器返回图像，HDMI小型音频/视频适配器用于从HDMI-适用设备和用户佩戴的头戴式显示器中传输编码的未压缩数字音频/视频数据，其容纳至少一个微型摄像机和惯性移动单元(IMU)。该系统还包含微处理器/软件单元，其从至少一个摄像机和IMU以及电源提供数据输入。

Description

一种由移动中的用户佩戴的用于通过锚定虚拟对象充分增强现实的系统
技术领域
本发明总体上涉及一种增强现实的系统，尤其涉及一种将虚拟对象在功能上和行为上锚定到现实世界对象以在固定的位置和用户/观察者能够四处移动而不会造成环境损失的位置创造一个综合的、广泛的、合理性增强的现实环境的系统，其包含在现实世界中的虚拟对象的相对位置、3维立体以及视角，以及现实世界的虚拟对象之间以及多个虚拟对象之间的互动。多用户的虚拟对象也能够互动，其中该系统被提供给多用户中的每个以用于彼此间的交流。
背景技术
增强现实(AR)是一种实时的、直接或间接的物理的、现实世界环境的视角，其元素被诸如声音、视频、图像或GPS数据的由计算机生成的传感输入增强。AR涉及更普遍的媒介化现实(MR)概念，其中现实的视觉被计算机修正而非增强。因此，该技术通过提升当前的现实感觉来运行。相比之下，虚拟现实用完全模拟的一个世界代替了现实世界。
增强在实时的和具有环境因素的语意的环境中是惯用的，诸如在比赛中电视上当前和外部的体育比分。在先进的AR技术的帮助下，例如，增加计算机视觉和物体识别，关于用户周围的现实世界的信息变为互动的和可数字化操作的。关于环境的人工信息和其对象可以覆加在现实世界上。
科学研究探索了将计算机产生的图像的应用于实时视频流以增强现实世界的感觉。AR技术包含头戴式显示器和用于形象化的虚拟视网膜显示器以及通过传感器和驱动器启用的受控环境的建立。
透视眼镜是现有技术，其包含：电光设备；以及一副透明眼镜，其投射用户视力能看到的给定的显示屏，就好像在现实世界中存在无限焦距的真实显示屏，所以，虽然其设置的与眼镜非常接近，但显示的图像仍可以被看到。由于透视眼镜屏幕对于每个眼睛是单独的，所显示的图像可以为十分真实的三维全息术。由于黑色不反射光线所以其在透视眼镜中被看作是透光的，黑屏中的对象被隔离出来并通常正如它们存在的样子一样被看到。
Total Immersion是一个增强现实的公司，该公司的D’Fusion技术使用黑框特征将实时交互的3D图像融入实时视频源中。
因此，提供一种还克服了增强现实系统的受限实用性的可佩带解决方案以在用户/观察者的移动过程中保留现实性是有利的，并从而使用户环境中的虚拟与现实元素的整合更加真实和丰富。
发明内容
相应地，本发明的主要目的在于使用户/观察者环境中的虚拟与现实因素的整合更加真实和丰富。
本发明的另一个主要目的是视觉上将所选择的虚拟对象在功能上和行为上锚定到现实世界，以便于创造一个在固定位置和移动中都完整的、广泛的、合理的增强现实环境。
本发明的另一个主要目的在于提供一种移动中的用户/观察者佩带的系统(硬件)和方法(算法/软件)，以通过透视眼镜将计算机生成的图像叠加到现实世界，提供来自该系统的数据输入的整合，通过该方法进行完善并生成结果输出，通过透视眼镜显示给用户/观察者。
本发明的另一个主要目的还在于使用补偿公式在坐标系中向特定方位提供IMU稳定性-在黑框中移动CGI。(软锚定)
本发明的另一个主要目的在于利用作为标记物的现实世界对象向现实世界提供一种计算机生成的图像(CGI)的计算机视觉(CV)动态3D整合(硬锚定)，以使虚拟对象与该计算机视觉(CV)动态3D整合现实相关。
本发明的进一步的主要目的在于基于视角执行计算机视觉和图像的加工。
本发明的一个其他的目的在于通过建立一个与世界的其余部分真实互动的虚拟对象的动态数据库以启用软件应用。
一组逻辑规则，其按照包含定位、视角、功能和行为的限定互动性质加工计算机生成的图像。
一组逻辑规则，其用于按照每个个体和其相关可视角度和视角在创造了一系列行为和其各自的图像处理的个体中共享虚拟世界。
软件开发工具包(SDK)包含用于允许任何开发者创造真实世界与虚拟世界任何类型的整合的应用。
该源图像为计算机生成的图像(CGI)，其与黑框上显示的图像是相反的。由在透视设备上所安装的摄像机接收到的视频图像为现实世界的参考，从中，使用计算机视觉应用和相应的算法，软件识别真实对象作为标记物，以便将CGI“硬锚定”(即，虚拟对象和所说的真实对象之间的紧密的相关连接)到现实世界。该源图像(CGI)与使用计算机视觉进行锚定的参考图像是不同的。
软锚定是锚定到特定点，独立于现实世界中的任何变形和环境。相比之下，硬锚定是锚定到现实世界中的对象，通过标记物进行针标定(pin-pointed)，标记物包括在空间中的变形和转换、视角、中断等，而不是现实世界的特定对象。
由于该系统应当在移动中(身体和头部移动)启用软和硬锚定，所以这个移动可以通过观察设备上安装的IMU设备进行测量和补偿。
本发明的另一个主要目的是将虚拟对象的相对位置、视角和可视角度包括在现实世界的描绘中，以及虚拟对象与现实世界以及虚拟对象和其他虚拟对象之间的互动。
本发明的进一步的主要目的为使用透视眼镜将虚拟对象锚定到现实世界中。
一些示例：
3D图像视图和锚定：如果观察者正在绕着一座雕塑边走边观看，根据其与雕塑相关的视角，他将从不同的角度看到雕塑。
移动中改变视角：如果观察者在路上驾驶他的车辆时看到了虚拟符号，当接近该符号时，该符号的尺寸将会随着观察者与符号间的距离的函数而增加。
虚拟对象的物理特性：如果网球有力地击打了虚拟的一杯水，由于冲击杯子将破碎并且水将会涌出。但是如果轻纸团击打同样的虚拟的一杯水，尽管由纸团造成冲击，这杯水将保持直立。也就是说，虚拟的玻璃杯和两种类型的球将在线访问“维基-种类”解决方案(当前事件的结果)中的特定参考信息，这些信息是关于相对重量、尺寸、冲击角度以及其他相关的物理数据的。
本发明的进一步的主要目的为提供一种头戴式的显示器，其包含透视眼镜、虚拟视网膜显示设备或允许将计算机生成的图像(CGI)叠加在现实世界的观察中的任何其他的设备或技术。
头戴式显示器(HMD)佩戴在头部或作为头盔的一部分，其具有位于一只眼睛(单眼式HMD)或两只眼睛(双眼式HMD)之前的小的显示镜片。
典型的HMD具有带有嵌入到头盔，眼镜(又称数据眼镜)或面罩中的镜片和半透明镜的一个或两个小的显示器。该显示器单元被小型化并可以包含阴极射线管(CRT)、液晶显示器(LCD)、硅基液晶(LCoS)、或有机发光二极管(OLED)。在优选的实施例中，多个微显示器被实施以增加整体分辨率和视野。
该设备使计算机生成图像(CGI)可以被叠加在现实世界中。现实世界的视野与CGI的叠加通过将CGI投射穿过部分反射镜并直接观察现实世界来完成。这个方法常被称为光学透视。还可以以电子的方式通过从摄像机接收视频并将其与CGI进行电子混合来完成现实世界的视野与CGI的叠加。这个方法常被称为视频透视。
虚拟的视网膜显示器(VRD)，也可以称为视网膜扫描显示器(RSD)或视网膜投影仪(RP)，是一种将光栅显像，通常是电视的光栅显像直接绘制到用户眼睛的视网膜上的显示技术。该用户看到似乎是悬浮在其眼前的空间中的常规的显示器。
本发明提供了一种集成到现实世界视野中的计算机生成图像，由观察者在其当时佩戴的透视显示器眼镜上看到。该虚拟对象将环绕观察者被看到，如同显示在他当时佩戴的眼镜上的现实世界中的真实对象，仅能由他的视力看到。
本发明的进一步的主要目的在于使第三方可以开发涉及将虚拟世界与现实世界以及世界中的任何地点集成的应用。该方法涉及限定与特定应用相关的每个虚拟对象，以及与世界的其余部分互动的本质。
本发明的进一步的主要目的是提供涉及源于集成在眼镜上的硬件设备所提供的数据输入的软件解决方案。该解决方案的软件利用数据输入以便使用不同的方法将通过眼镜所看到的虚拟对象锚定到现实世界中。
本发明的优选实施例的进一步的主要目的是使用安装在显示器单元上的双摄像机的组合以及集成在显示器单元上的惯性移动单元(IMU)将虚拟对象锚定到空间中特定的点。
惯性测量单元，或IMU，为使用加速计和陀螺仪的组合测量并报告飞船的速度、方位、以及重力的电子设备。IMU典型地用于操作飞行器，其包含在许多其他的飞行器中的无人驾驶飞行器(UAV’S)以及包含太空梭、卫星和着陆器这样的太空飞船。近来的发展允许生产装备了IMU的GPS设备。当GPS信号不可用时，诸如在隧道中、建筑物内部等时，或当电子干扰出现时，IMU允许GPS工作。无线IMU被称为WIMU是公知的。
该IMU为用于空中、太空以及水中车辆并在其中引导导弹的惯性导航系统的主要组件。因此，从IMU的传感器中收集的数据允许使用航位推测法进行车辆位置的计算机追踪。IMU使用加速计检测当前的加速速率，并且使用一个或多个陀螺仪检测旋转属性中的例如倾斜、滚动和偏航的变化。
为了将显示器的图像稳定到空间中的某个点，源图像的尺寸被减小并被投射到源图像在其中悬浮的全尺寸的黑框中。黑框的该悬浮特性可以被限定为“黑色液压框”的特性。包含源图像的该黑框被传送到眼镜投影仪用于显示。由于黑色不反射光所以其在眼镜中被看到是透光的。在黑屏中的物体被隔离并如其本身一样被看到，即，观察者只会看到源图像而不会看到黑框。
源图像使用补偿计算公式根据IMU数据输入被插入到黑框中，就像反向移动到正向移动一样。以此方式，透过眼镜看到的源图像在用户视野中的空间中的某个点是稳定的。虚拟对象使用计算机视觉应用和集成在眼镜上的视频摄像机在视觉上和功能上被锚定到现实世界。
摄像机与IMU的结合使虚拟和现实对象的硬锚定可行，同时由于该系统可以将物体移动与观察者移动分离，所以观察者可以处于移动中。
计算机视觉(CV)是一个包含了获取、处理和理解图像的方法的领域。总体上，CV从现实世界获取多维度数据以便产生基于决策的数字或符号信息。最近的CV发展已经通过电子感知和理解图像而倍增了人类视觉能力。这个图像理解可以被看作使用由几何、物理、统计以及学习理论的辅助下构建的模型从图像数据中解读符号信息。
如同科学准则，计算机视觉与从图像中提取信息的人工系统背后的理论相关联。该图像数据可以采用多种形式，诸如来自多个摄像机的视频序列、视觉，或来自医学扫描仪的多维度数据。计算机视觉的子域包含场景重建、事件检测、视频追踪、物体识别、学习、索引、移动预估和图像恢复。在大多实际的CV应用中，计算机被预编程以解决特定的任务，但是基于学习的方法现在正变得越来越共同。
按照本发明的优选实施例，CV被用来在现实世界中识别结构和物体，使用与每个及各个虚拟对象的特性相关的，以及在包含不同的可视角度和视角的现实世界中与其视觉和功能的行为相关联的一组规则，标记物在现实世界中被创造并且虚拟对象被锚定到标记物。
举例来说：
虚拟的茶杯不能悬浮在空中而应当被置于固态表面。
如果虚拟的茶杯位于真实的桌子上，并且某人转动真实的桌子，则茶杯应当相对于桌子做相应的转动，并且应当从所有的视角上看到3D茶杯旋转。
两种行为需要被区分：
1.用户正在观察特定的视线区域。他的头部自然平稳地移动。在某个视线区域中被看到的虚拟对象是固定的，就像他们是真实物体一样。这是因为它们(源CGI图像)在黑框中被显示并悬浮。
2.用户正在朝四周看，他看到了桌子。在桌子上有虚拟的一杯茶。这是因为该算法识别这个特定的一杯茶应当位于特定桌子上并具有十分一致的地理位置。当他向四周看时，算法通过计算机视觉识别作为标记物的这个特定桌子以及显示了这个特定的一杯茶，即这个CGI。
本发明依赖于2D信息、3D静态信息以及动态计算机视觉(CV)。使用双眼计算机视觉和集成到眼镜上的两个视频摄像机将虚拟对象锚定到与3D移动和视角、视觉以及功能相关的真实世界。在一些方面，CV是计算机图像的翻转。当计算机图像产生来自于3D模型的图像数据时，CV常产生来自于图像数据的3D模型。
在双眼CV中，两个摄像机被一起使用。使用两个摄像机具有相对一个摄像机的一些好处。首先，其给出了更宽的视野。举例来说，人类具有两眼大约200度的最大水平视觉区域，其中的大约120度组成由双眼看到的双眼视野，眼睛两侧具有两个大约为40度单眼视觉区域(仅由一只眼睛观看)。第二，其给出的双眼总和提升了检测模糊物体的能力。第三，其可以给出实体映像，其中由不同位置的两个摄像机提供的视差给出了精确的景深。
实施光学字符识别(OCR)应用
光学字符识别(OCR)为在机器编码文本中手写的、键入的或印刷的文本的扫描图像的机械或电子的转换。它被广泛用作来自某些类型的原始纸质数据源的一种数据输入形式，无论是文件、销售票据、邮件或任意数量的其他印刷记录。将所印刷文本计算机化是至关重要的，以便其能够被以电子方式搜索、被更加压缩地储存、被在线显示并用于机器方法中，诸如机器翻译、语音合成以及文本挖掘。OCR为模式识别、人工智能和计算机视觉中的研发领域。
实施姿态控制应用
姿态识别是计算机科学和语言技术领域的一个主题，其目标在于通过数学算法描述人类姿态。姿态可以源于任何身体移动或状态，但是通常源于脸部、手部和声音。目前该领域的关注点包括从脸部和手部姿态识别中识别情感。通过使用摄像机和CV算法来描述标记语言已经实现了增强的结果。然而，姿态、步态、亲密性以及人类行为的辨识和识别还遵从于姿态识别技术。
姿态识别可以看作计算机开始理解人类身体语言的一种方式，因此在机器和人类之间建立一种比起仍然限制了多数的键盘和鼠标输入的原始文本用户界面或甚至图形用户界面(GUI’s)更丰富的沟通。
姿态识别使人类与机器(HMI)交流并自然互动而不使用其他机械设备。使用姿态识别的概念，能够用手指指向计算机屏幕以使光标相应移动。这可以潜在地使得惯用的输入设备，诸如鼠标、键盘以及触屏变得冗余。姿态识别可以通过CV和图像处理的技术来实现。
本发明可以使用如计算机一样的任何智能手机，任何其他计算机系统或使用云计算来实施。
云计算作为服务是计算的传送，而不是产品，通过将共享的资源、软件以及信息提供给计算机和其他设备作为公用，诸如覆盖了网络、典型地覆盖因特网的电力网络。云计算典型地依赖于带有数据、软件以及在公开的覆盖网络的应用程序界面(API)上的计算的集中服务。其具有与软件服务化(SaaS)的大量重叠。
终端用户通过网页浏览器或轻便台式电脑或移动应用获取基于云的应用，同时该商业软件和数据被存储在远程地址的服务器上。云应用供应商尽力给出与软件程序本地安装在终端用户计算机上相比相同的或更好的服务及性能。融合式基础架构(CI)和共享式服务的更宽泛的概念基于云计算的基础上。这个数据类型中心环境允许企业在更简化的操控以及更少维护的基础上提升其应用并使其运行的更快，并使信息技术(IT)能够更快速地调整IT资源，诸如服务器、存储器、以及网络，以应对波动的和不可预测的商业需求。
本发明提供了单个应用的执行，多用户应用的执行，以及对无线技术和自供能技术的使用。
本发明提供了一种软件开发工具包(SDK)。该SDK包含含有特定定义的数据库，该数据库用于一个以及所有与其视觉、功能上和行为上特征的特征相关的虚拟对象，包含其与其余的虚拟以及现实世界的交互特征。该SDK包含一组逻辑规则，其与将虚拟世界与现实世界集成的应用开发相关的任何类型的特性相关联。
信息共享在个体之间被限定以产生与现实世界集成的共同的虚拟世界。举例来说：
想象从侧面观看网球比赛。观察者看到他的左边并且看到球员A击球。接着他看他的右边并看到球员B击球。球员B的反应由球员A的动作引发的等。两个球员之间的交互与他们中的每一个轮流引发的并由他的对手先前行为所影响的球速和方位有关。该网球赛是两个球员之间的一系列互动。
如果两个球员由两个不同的计算机操作，则他们之间的互动将会成为由两个不同计算机执行的两个应用之间的互动的结果。该网球比赛接着将会成为两个独立应用之间的一系列互动。
在网球比赛的特定的示例中，该球应当显示在反映了与速度和方位相关的动作和反应的次序的两个应用中，作为先前动作的结果在每个应用中计算，并在两个独立的应用之间创造相互的逻辑。在虚拟智能方面，这个相互逻辑代表了“球的智能”。
按照本发明的优选的实施例，为了实施移动的增强现实，这是基本的需求。这个“球的智能”逻辑使移动的增强现实能够作为每个用户的个人解决方案，以及作为所有用户的共同的解决方案，允许很多用户执行共同的经验，分别通过他的独特的视点的每个以及通过带有总体经验的他的独特互动次序以及带有其他总体经验中的每一个的单一互动次序。
本发明使专用的微处理器来驱动并执行应用，包含IMU锚定、计算机视觉锚定、外部计算机系统仿真、应用界面连接、OCR应用、姿态控制应用以及其他与本发明相关的应用。
本发明的以上所有的和其他的特征和优点通过优选实施例的以下说明性及非限定性的描述将会被进一步的理解。
附图说明
为了理解本发明并且看到其如何在实践中执行，参照附图并仅通过非限定示例的方式描述优选的实施例，在附图中：
图1为根据本发明的原理构建的将虚拟对象锚定到现实世界的系统的示例性阐述；
图2为根据本发明的原理构建的将虚拟对象锚定到现实世界的系统的功能性结构示意图；
图3为根据本发明的原理构建的将虚拟对象锚定到现实世界的系统的总的框图；
图4为根据本发明的原理构建的将虚拟对象锚定到现实世界的系统的无线连接框图。
具体实施方式
根据参考附图和所附的说明书，本发明的方法的原理和操作可以被更好的理解，应当理解的是给出这些附图仅为说明性的目的而非意在限定。
图1为根据本发明的原理构建的，将虚拟对象锚定到现实世界的系统的示例性说明。一个示例性的实施例包含用户的智能手机110，印刷电路硬件120以及由用户佩戴的智能眼镜130。智能手机110向印刷电路硬件120提供图像输入111，其包含处理软件122和来自智能眼镜130的惯性移动单元(IMU)的方位数据连同来自在智能眼镜130上集成的一个或两个(2D和3D)微摄像机计算机视觉视频输入123。
移动增强现实输出124从印刷电路硬件120回转到智能眼镜130。智能眼镜130包含3D方位传感器131(用于IMU输入数据)，插入模压棱镜和透镜132，电子器件133，电池134以及显示器135。
图2为根据本发明的原理构建的，将虚拟对象锚定到现实世界的系统的功能性结构图200。高清晰度多媒体接口(HDMI)212是压缩的音频/视频适配器，其用于从HDMI适用设备(“源”或“输入”智能手机数字音频设备、计算机显示器或视频投影“盒”220)传输编码的未压缩的数字音频/视频数据。智能手机源210包含嵌入接口211，其从HDMI适配器212接收数据并将图像返回到微处理器221。在示例性的实施例中，一副由用户佩戴的智能眼镜230封装有微摄像机231和IMU 232，二者提供数据输入给盒220中的微处理器/软件单元221，其还封装电池222。智能眼镜230还包含左屏幕233和右屏幕233，其接收来自微处理器221被用户观看的显示器图像输出。
图3为根据本发明的原理构建的，将虚拟对象锚定到现实世界的系统的总的框图300。在智能手机310(或在其他实施例中的其他计算源)和眼镜之间的连接被示出。智能手机310模块包含视频注入应用311、显示器接口应用312、应用程序接口(API)的第三方应用313、右侧视频流拉动应用314、左侧视频流拉动应用315以及惯性测量单元(IMU)通讯界面316。
智能手机310和眼镜之间的界面包含视频界面显示命令界面321、右侧视频流界面322和左侧视频流界面323。眼镜模块包含右侧显示器324、左侧显示器325、右侧摄像机326、左侧摄像机327以及IMU328。该眼镜还具有偏置调节器329。
视频和命令界面321通过视频显示通道317接收来自视频注入应用311的视频，右侧视频流界面322向右侧视频拉动应用314传输右侧摄像机视频流318以及左侧视频流界面323向左侧视频流拉动应用315传输左侧摄像机视频流319。
图4为根据本发明的原理构建的，将虚拟对象锚定到现实世界的系统的无线连接框图400。智能手机410(或其他计算源)和眼镜之间的无线连接被示出。智能手机410模块包含视频输入应用411、显示器界面应用412、应用程序接口(API)的第三方应用413、右侧流输入应用414、左侧流输入应用415以及惯性测量单元(IMU)通讯界面416。
视频界面和显示器命令421通过WiFi显示传输441从视频注入应用411接收视频。眼镜模块包含右侧显示器424、左侧显示器425、右侧WiFi IP摄像机426、左侧WiFi IP摄像机427以及带有WiFi缓冲器440的IMU 428并向右侧显示器424和左侧显示器425传送信息。该眼镜还具有由电池450供电的偏置调节器429。
右侧摄像机WiFi IP426向右侧流输入应用414传输右侧WiFi 442以及左侧摄像机WiFi IP 427向左侧流输入应用415传输左侧WiFi443。
其中关于本发明的某些特定实施例已经描述，可以理解的是本说明书并非意在限制，由于进一步的改进对于技术领域内的技术人员将容易想到，以及其意在这些改进将落入到所附的权利要求的覆盖范围中。

Claims (21)

1.一种系统，其用于锚定所观察的虚拟对象的位置和移动作为被用户看到的现实世界的现实对象中的虚拟图像，所述系统包含：
佩戴在用户头部的透视投影设备，其包含惯性测量单元(IMU)，所述惯性测量单元包含：
3轴回转仪；以及
3轴加速计；
所述用户佩戴以生成所述虚拟图像的计算机；以及
至少一个嵌入的摄像机；
其中所述虚拟对象是计算机生成的(源)图像(CGI),其被配置成可叠加在所述现实世界的对象上，并且其中所述虚拟对象被锚定到所述现实世界的对象中，其与所述物体的相对移动和所述用户的相对移动两者一致，并且其中在这样的相对移动中，所述虚拟对象至少将在大小、方位和明暗上改变，就像它们是真实对象一样。
2.一种根据权利要求1所述系统的用于锚定的方法，所述方法包含提供虚拟对象位置的软锚定，被视为现实物体中的虚拟图像，其中所述设备是固定的和静态的，并且其中所述虚拟对象作为固定物被看到。
3.一种根据权利要求1所述系统的方法，所述方法提供虚拟对象的定位，被视为现实物体中的虚拟图像，所述方法包含：
用户移动其头部，并且因此移动所述系统；
根据存储在计算机上的软件算法读取IMU陀螺仪和加速计的相对移动的数量、方向以及速率；
通过视觉区域的源CGI的摄像机录制；及
通过下列方式中的一个转换源CGI：
稳定所述图像的移动或振动；
改变所述虚拟对象的移动方位；以及
一旦离开所述视觉区域则移除所述虚拟对象，从而锚定所述虚拟对象的位置。
4.如权利要求3所述的方法，其中在空间中稳定固定源CGI在限定的点，如通过所述透视设备被看到，所述稳定步骤进一步包含：
减小所述源CGI的尺寸；以及
向全尺寸的黑液压框中投射源CGI，其中所述CGI悬浮。
5.如权利要求4所述的方法，进一步包含源CGI的恒定的移动，其作为由分析和处理软件算法的输出结果。
6.如权利要求5所述的方法，其中所述恒定的移动是相对于从所述IMU中接收到的惯性移动，并且其中默认的补偿计算公式源于通过所述IMU和/或通过所述摄像机测量角度变化，以使所述源(CGI)移动与从所述IMU接收的惯性移动数据恰好相反。
7.如权利要求6所述的方法，进一步包含调整所述公式以便于将所述源CGI定位匹配至不同的环境和场景。
8.如权利要求7所述的方法，进一步包含传输黑框，其包含将所述源图像传输给所述透视投影设备以用于显示。
9.如权利要求8所述的方法，其中黑色被看作是透光的以使所述源图像被隔离并被看作唯一的图像。
10.如权利要求1所述的方法，其中所述透视投影设备为透视眼镜。
11.如权利要求1所述的方法，其中所述透视投影设备为透视头戴式显示器。
12.如权利要求1所述的方法，其中由所述用户佩戴在头部的计算机为智能手机。
13.如权利要求3所述的方法，进一步包含限定并调整所述移动或振动。
14.如权利要求3所述的方法，进一步包含：
利用计算机视觉分析由所述摄像机捕捉的并输入给所述处理软件的所述现实世界图像；以及
通过算法在所述真实对象上产生定位标记物以便于在三维上锚定所述虚拟对象。
15.如权利要求3所述的方法，其中所述显示设备装配有IMU、摄像机和麦克风，所述方法进一步包含：
由用户通过以下的至少一个完成控制所述虚拟对象的姿态：
手部；
头部；以及
声音。
16.如权利要求3所述的方法，其中所述软件在功能上和行为上将所述虚拟对象集成到所述现实世界，其中所述软件至少包含：
动态数据库，其提供了每个虚拟对象与虚拟和现实世界的其余部分的互动、功能和行为本质的定义；以及
现实对象的目录。
17.如权利要求3所述的方法，其中根据一组逻辑规则并根据所述数据库中限定的互动的本质的相关定义，所述处理软件涉及所述虚拟对象，其被显示为通过安装在所述眼镜上的摄像机观察到的现实对象。
18.如权利要求3所述的方法，进一步包含在个体之间共享共同的虚拟世界，通过软件应用允许个体分享关于包含了在视觉上、功能上和行为上锚定和集成到现实世界的虚拟对象的，并与分别相对于所述虚拟和现实世界的每个个体的可视角度和视角相关的信息。
19.如权利要求3所述的方法，进一步包含分享关于涉及所述虚拟世界的某些应用或状况的多个用户的互动的信息，并产生一系列与共同的虚拟世界和现实世界互动相关的事件，其中每个事件影响所述序列。
20.如权利要求1所述的系统，进一步包含软件开发包(SDK)，其允许包含在解决方案的软件中的所述数据库和逻辑规则的精化和改进，从而能够产生利用透视眼镜或其他头戴式显示器(HMD)将虚拟世界锚定并集成到现实世界相关的任何种类的应用。
21.如权利要求10所述的系统，其中所述计算机与所述眼镜集成。
CN201280074650.XA 2012-05-16 2012-05-16 一种由移动中的用户佩戴的用于通过锚定虚拟对象充分增强现实的系统 Pending CN104603865A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IL2012/050173 WO2013171731A1 (en) 2012-05-16 2012-05-16 A system worn by a moving user for fully augmenting reality by anchoring virtual objects

Publications (1)

Publication Number Publication Date
CN104603865A true CN104603865A (zh) 2015-05-06

Family

ID=49583229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280074650.XA Pending CN104603865A (zh) 2012-05-16 2012-05-16 一种由移动中的用户佩戴的用于通过锚定虚拟对象充分增强现实的系统

Country Status (4)

Country Link
EP (1) EP2850609A4 (zh)
CN (1) CN104603865A (zh)
HK (1) HK1207918A1 (zh)
WO (1) WO2013171731A1 (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106371571A (zh) * 2015-11-30 2017-02-01 北京智谷睿拓技术服务有限公司 信息处理方法、信息处理装置及用户设备
CN106997295A (zh) * 2016-01-25 2017-08-01 罗伯特·博世有限公司 用于使软件可视化的方法和装置
WO2017152600A1 (en) * 2016-03-11 2017-09-14 Effire Universal Limited Smartphone with a vr content capturing assembly
CN107168619A (zh) * 2017-03-29 2017-09-15 腾讯科技（深圳）有限公司 用户生成内容处理方法和装置
CN107615214A (zh) * 2015-05-21 2018-01-19 日本电气株式会社 界面控制系统、界面控制装置、界面控制方法及程序
CN107657574A (zh) * 2017-10-06 2018-02-02 杭州昂润科技有限公司 一种基于ar技术的地下管线资产管理系统及方法
WO2018077176A1 (zh) * 2016-10-26 2018-05-03 北京小鸟看看科技有限公司 可穿戴设备及在可穿戴设备中确定用户位移的方法
CN108427194A (zh) * 2017-02-14 2018-08-21 深圳梦境视觉智能科技有限公司 一种基于增强现实的显示方法及设备
WO2018149266A1 (zh) * 2017-02-14 2018-08-23 深圳梦境视觉智能科技有限公司 一种基于增强现实的信息处理方法及设备
WO2018209515A1 (zh) * 2017-05-15 2018-11-22 上海联影医疗科技有限公司 显示系统及方法
CN109343815A (zh) * 2018-09-18 2019-02-15 上海临奇智能科技有限公司 一种虚拟屏幕装置及虚拟屏幕的实现方法
CN110249379A (zh) * 2017-01-24 2019-09-17 隆萨有限公司 使用虚拟或增强现实显示进行工业维护的方法和系统
CN110546836A (zh) * 2017-04-21 2019-12-06 利塔尔两合公司 用于对特别是布置在开关柜中或组装系统上的部件的连接工艺进行自动化支持的方法和系统
CN110850977A (zh) * 2019-11-06 2020-02-28 成都威爱新经济技术研究院有限公司 一种基于6dof头戴式显示器的立体图像交互方法
CN110869980A (zh) * 2017-05-18 2020-03-06 Pcms控股公司 用于将内容分发和呈现为球形视频和3d资产组合的系统和方法
CN110908503A (zh) * 2018-09-14 2020-03-24 苹果公司 跟踪和漂移校正
CN111164544A (zh) * 2017-10-02 2020-05-15 Arm有限公司 运动感测
CN111352503A (zh) * 2018-12-21 2020-06-30 秀铺菲公司 具有用于虚拟对象的显示的增强现实应用的电子商务平台
CN111527523A (zh) * 2018-02-02 2020-08-11 三星电子株式会社 用于共享虚拟现实环境的装置和方法
CN112684883A (zh) * 2020-12-18 2021-04-20 上海影创信息科技有限公司 多用户对象区分处理的方法和系统
CN113302578A (zh) * 2019-01-22 2021-08-24 惠普发展公司，有限责任合伙企业 混合现实呈现
CN113534951A (zh) * 2020-04-17 2021-10-22 苹果公司 用于扩展现实的虚拟锚定系统和方法
US11287292B2 (en) 2017-02-13 2022-03-29 Lockheed Martin Corporation Sensor system
CN115016642A (zh) * 2016-02-16 2022-09-06 微软技术许可有限责任公司 用于混合现实的现实混合器
CN117251053A (zh) * 2016-12-29 2023-12-19 奇跃公司 基于外部条件的可穿戴显示装置的自动控制

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103900473A (zh) * 2014-03-31 2014-07-02 浙江大学 一种基于摄像头与重力感应器融合的智能移动设备六自由度位姿估计方法
US9600743B2 (en) 2014-06-27 2017-03-21 International Business Machines Corporation Directing field of vision based on personal interests
US9471837B2 (en) 2014-08-19 2016-10-18 International Business Machines Corporation Real-time analytics to identify visual objects of interest
US9697383B2 (en) 2015-04-14 2017-07-04 International Business Machines Corporation Numeric keypad encryption for augmented reality devices
US10799792B2 (en) 2015-07-23 2020-10-13 At&T Intellectual Property I, L.P. Coordinating multiple virtual environments
US10908419B2 (en) 2018-06-28 2021-02-02 Lucyd Ltd. Smartglasses and methods and systems for using artificial intelligence to control mobile devices used for displaying and presenting tasks and applications and enhancing presentation and display of augmented reality information
USD899500S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD900204S1 (en) 2019-03-22 2020-10-27 Lucyd Ltd. Smart glasses
USD899496S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD900920S1 (en) 2019-03-22 2020-11-03 Lucyd Ltd. Smart glasses
USD899494S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD900206S1 (en) 2019-03-22 2020-10-27 Lucyd Ltd. Smart glasses
USD899499S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD900205S1 (en) 2019-03-22 2020-10-27 Lucyd Ltd. Smart glasses
USD900203S1 (en) 2019-03-22 2020-10-27 Lucyd Ltd. Smart glasses
USD899498S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD899495S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD899493S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD899497S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD958234S1 (en) 2019-12-12 2022-07-19 Lucyd Ltd. Round smartglasses having pivot connector hinges
USD954135S1 (en) 2019-12-12 2022-06-07 Lucyd Ltd. Round smartglasses having flat connector hinges
USD955467S1 (en) 2019-12-12 2022-06-21 Lucyd Ltd. Sport smartglasses having flat connector hinges
USD954136S1 (en) 2019-12-12 2022-06-07 Lucyd Ltd. Smartglasses having pivot connector hinges
USD954137S1 (en) 2019-12-19 2022-06-07 Lucyd Ltd. Flat connector hinges for smartglasses temples
USD974456S1 (en) 2019-12-19 2023-01-03 Lucyd Ltd. Pivot hinges and smartglasses temples
US11282523B2 (en) 2020-03-25 2022-03-22 Lucyd Ltd Voice assistant management

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040080467A1 (en) * 2002-10-28 2004-04-29 University Of Washington Virtual image registration in augmented display field
US20070035511A1 (en) * 2005-01-25 2007-02-15 The Board Of Trustees Of The University Of Illinois. Compact haptic and augmented virtual reality system
CN101059717A (zh) * 2006-04-21 2007-10-24 佳能株式会社 呈现从虚拟对象接收的触觉的信息处理方法和设备
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20110216002A1 (en) * 2010-03-05 2011-09-08 Sony Computer Entertainment America Llc Calibration of Portable Devices in a Shared Virtual Space
CN102419631A (zh) * 2010-10-15 2012-04-18 微软公司 虚拟内容到现实内容中的融合
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5742264A (en) * 1995-01-24 1998-04-21 Matsushita Electric Industrial Co., Ltd. Head-mounted display
US7002551B2 (en) * 2002-09-25 2006-02-21 Hrl Laboratories, Llc Optical see-through augmented reality modified-scale display
IL172797A (en) * 2005-12-25 2012-09-24 Elbit Systems Ltd Real-time image scanning and processing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040080467A1 (en) * 2002-10-28 2004-04-29 University Of Washington Virtual image registration in augmented display field
US20070035511A1 (en) * 2005-01-25 2007-02-15 The Board Of Trustees Of The University Of Illinois. Compact haptic and augmented virtual reality system
CN101059717A (zh) * 2006-04-21 2007-10-24 佳能株式会社 呈现从虚拟对象接收的触觉的信息处理方法和设备
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
US20110216002A1 (en) * 2010-03-05 2011-09-08 Sony Computer Entertainment America Llc Calibration of Portable Devices in a Shared Virtual Space
CN102419631A (zh) * 2010-10-15 2012-04-18 微软公司 虚拟内容到现实内容中的融合

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107615214A (zh) * 2015-05-21 2018-01-19 日本电气株式会社 界面控制系统、界面控制装置、界面控制方法及程序
US10698535B2 (en) 2015-05-21 2020-06-30 Nec Corporation Interface control system, interface control apparatus, interface control method, and program
US10338674B2 (en) 2015-11-30 2019-07-02 Beijing Zhigu Rui Tuo Tech Co., Ltd. Information processing method, information processing apparatus, and user equipment
CN106371571A (zh) * 2015-11-30 2017-02-01 北京智谷睿拓技术服务有限公司 信息处理方法、信息处理装置及用户设备
CN106371571B (zh) * 2015-11-30 2019-12-13 北京智谷睿拓技术服务有限公司 信息处理方法、信息处理装置及用户设备
CN106997295A (zh) * 2016-01-25 2017-08-01 罗伯特·博世有限公司 用于使软件可视化的方法和装置
CN115016642A (zh) * 2016-02-16 2022-09-06 微软技术许可有限责任公司 用于混合现实的现实混合器
WO2017152600A1 (en) * 2016-03-11 2017-09-14 Effire Universal Limited Smartphone with a vr content capturing assembly
WO2018077176A1 (zh) * 2016-10-26 2018-05-03 北京小鸟看看科技有限公司 可穿戴设备及在可穿戴设备中确定用户位移的方法
CN117251053A (zh) * 2016-12-29 2023-12-19 奇跃公司 基于外部条件的可穿戴显示装置的自动控制
CN110249379B (zh) * 2017-01-24 2024-01-23 隆萨有限公司 使用虚拟或增强现实显示进行工业维护的方法和系统
CN110249379A (zh) * 2017-01-24 2019-09-17 隆萨有限公司 使用虚拟或增强现实显示进行工业维护的方法和系统
US11287292B2 (en) 2017-02-13 2022-03-29 Lockheed Martin Corporation Sensor system
WO2018149266A1 (zh) * 2017-02-14 2018-08-23 深圳梦境视觉智能科技有限公司 一种基于增强现实的信息处理方法及设备
CN108427194A (zh) * 2017-02-14 2018-08-21 深圳梦境视觉智能科技有限公司 一种基于增强现实的显示方法及设备
CN107168619B (zh) * 2017-03-29 2023-09-19 腾讯科技（深圳）有限公司 用户生成内容处理方法和装置
CN107168619A (zh) * 2017-03-29 2017-09-15 腾讯科技（深圳）有限公司 用户生成内容处理方法和装置
CN110546836A (zh) * 2017-04-21 2019-12-06 利塔尔两合公司 用于对特别是布置在开关柜中或组装系统上的部件的连接工艺进行自动化支持的方法和系统
CN110546836B (zh) * 2017-04-21 2021-08-24 利塔尔两合公司 用于对连接工艺进行自动化支持的方法和系统
WO2018209515A1 (zh) * 2017-05-15 2018-11-22 上海联影医疗科技有限公司 显示系统及方法
CN110869980B (zh) * 2017-05-18 2024-01-09 交互数字Vc控股公司 将内容分发和呈现为球形视频和3d资产组合
CN110869980A (zh) * 2017-05-18 2020-03-06 Pcms控股公司 用于将内容分发和呈现为球形视频和3d资产组合的系统和方法
CN111164544A (zh) * 2017-10-02 2020-05-15 Arm有限公司 运动感测
CN111164544B (zh) * 2017-10-02 2024-04-19 Arm有限公司 运动感测
CN107657574A (zh) * 2017-10-06 2018-02-02 杭州昂润科技有限公司 一种基于ar技术的地下管线资产管理系统及方法
CN111527523B (zh) * 2018-02-02 2024-03-15 三星电子株式会社 用于共享虚拟现实环境的装置和方法
CN111527523A (zh) * 2018-02-02 2020-08-11 三星电子株式会社 用于共享虚拟现实环境的装置和方法
CN110908503A (zh) * 2018-09-14 2020-03-24 苹果公司 跟踪和漂移校正
CN110908503B (zh) * 2018-09-14 2022-04-01 苹果公司 跟踪设备的位置的方法
US12008151B2 (en) 2018-09-14 2024-06-11 Apple Inc. Tracking and drift correction
CN109343815A (zh) * 2018-09-18 2019-02-15 上海临奇智能科技有限公司 一种虚拟屏幕装置及虚拟屏幕的实现方法
CN111352503A (zh) * 2018-12-21 2020-06-30 秀铺菲公司 具有用于虚拟对象的显示的增强现实应用的电子商务平台
US11842385B2 (en) 2018-12-21 2023-12-12 Shopify Inc. Methods, systems, and manufacture for an e-commerce platform with augmented reality application for display of virtual objects
CN113302578A (zh) * 2019-01-22 2021-08-24 惠普发展公司，有限责任合伙企业 混合现实呈现
CN110850977B (zh) * 2019-11-06 2023-10-31 成都威爱新经济技术研究院有限公司 一种基于6dof头戴式显示器的立体图像交互方法
CN110850977A (zh) * 2019-11-06 2020-02-28 成都威爱新经济技术研究院有限公司 一种基于6dof头戴式显示器的立体图像交互方法
CN113534951A (zh) * 2020-04-17 2021-10-22 苹果公司 用于扩展现实的虚拟锚定系统和方法
CN112684883A (zh) * 2020-12-18 2021-04-20 上海影创信息科技有限公司 多用户对象区分处理的方法和系统

Also Published As

Publication number Publication date
EP2850609A4 (en) 2017-01-11
HK1207918A1 (zh) 2016-02-12
WO2013171731A1 (en) 2013-11-21
EP2850609A1 (en) 2015-03-25

Similar Documents

Publication Publication Date Title
CN104603865A (zh) 一种由移动中的用户佩戴的用于通过锚定虚拟对象充分增强现实的系统
US9210413B2 (en) System worn by a moving user for fully augmenting reality by anchoring virtual objects
CN113168007B (zh) 用于增强现实的系统和方法
US10496910B2 (en) Inconspicuous tag for generating augmented reality experiences
US20240037880A1 (en) Artificial Reality System with Varifocal Display of Artificial Reality Content
Scarfe et al. Using high-fidelity virtual reality to study perception in freely moving observers
CN102981616B (zh) 增强现实中对象的识别方法及系统和计算机
US9536350B2 (en) Touch and social cues as inputs into a computer
CN105212418A (zh) 基于红外夜视功能的增强现实智能头盔研制
CN104808340B (zh) 头戴式显示装置及其控制方法
EP3216023A1 (en) Visual stabilization system for head-mounted displays
CN103472909A (zh) 用于头戴式、增强现实显示器的逼真遮挡
CN103180893A (zh) 用于提供三维用户界面的方法和系统
CN106484115A (zh) 用于增强和虚拟现实的系统和方法
CN104995583A (zh) 用于混合现实环境的直接交互系统
WO2013028813A1 (en) Implicit sharing and privacy control through physical behaviors using sensor-rich devices
CN102959616A (zh) 自然交互的交互真实性增强
US10701346B2 (en) Replacing 2D images with 3D images
CN203746012U (zh) 一种三维虚拟场景人机交互立体显示系统
TWI453462B (zh) 智慧型電子裝置之虛擬望遠系統及其方法
CN104464414A (zh) 一种增强现实的教学系统
Agarwal et al. The evolution and future scope of augmented reality
US10701347B2 (en) Identifying replacement 3D images for 2D images via ranking criteria
CN116301379A (zh) 3d场景影像全息显示方法、装置、系统、设备及存储介质
US20240095877A1 (en) System and method for providing spatiotemporal visual guidance within 360-degree video

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1207918

Country of ref document: HK

WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150506

WD01 Invention patent application deemed withdrawn after publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1207918

Country of ref document: HK