CN108427194A - 一种基于增强现实的显示方法及设备 - Google Patents

Abstract

本发明实施方式公开了一种基于增强现实的显示方法，包括：发出包含虚拟图像的第一光线，所述虚拟图像为接收的外接设备传输过来的图像；获取包含外部场景的实景图像的第二光线；将所述包含虚拟图像的第一光线与包含外部场景的实景图像的第二光线进行合成。区别于现有技术，本实施方式提供的一种基于增强现实的显示方法将外部的实景图像与虚拟图像结合，虚拟图像能够为使用者提供显示范围大的虚拟显示屏幕或者虚拟的鼠标键盘，并且虚拟图像可以和现实中的显示屏幕，现实中的鼠标键盘、触摸屏等配合使用，具有较大的视野范围，且具有私密性。

Description

一种基于增强现实的显示方法及设备

技术领域

本发明实施方式涉及增强现实技术领域，特别是涉及一种基于增强现实的显示方法及设备。

背景技术

头戴式显示器(head mounted display)是近年来发展的一项新技术，具体的应用可以主要分为虚拟现实(virtual reality)和增强现实(augmented reality)两种。

虚拟现实：

人类的3D视觉是通过双眼的协同工作实验的。当人看到一个实际的3D物体的时候，左眼看到的图像，和右眼看到的图像，会有视角上的细微差别。人脑的视神经将左右两眼的图像进行混合处理，就可以形成3D的视觉。头戴式显示器通过在靠近眼前的显示屏上显示不同的图像，左眼只能看到左边显示区域，右眼只能看到右边显示区域，同样可以模拟3D视觉。如果在这个过程中，头戴式显示器同时遮挡住外部区域的光线和图像，让人眼只能看到显示屏时，将会产生虚拟现实的效果。

增强现实

增强现实的原理，是在通过头戴式显示器模拟虚拟视觉，叠加在用户正常的视觉上。

这两种视觉信息可以相互补充，从而使用户可以更方便的进行很多工作和娱乐休闲的活动。下图是增强现实头戴式显示器的典型实现方式。目前，增强现实头戴式显示器有光学透视式和视频透视式两种实现方式，其主要区别在于光学合成装置(Opticalcombiner)不同。

光学透视式：

这类头戴式显示器的光学合成装置是一面半透半反镜，来自真是环境的光线部分通过半透镜，而虚拟的物件则通过显示器投影在半透半反镜上，通过半透半反镜表面反射到使用者眼中，从而合成真实和虚拟世界。

视频透视式：

这类头戴式显示器的光学合成通过摄像装置和显示屏幕实现。摄相装置拍摄真实环境，其视频数据与虚拟物件通过计算机处理叠加，通过显示屏幕呈现给用户。其系统结构与虚拟现实头戴式显示器基本一致，仅需增加拍摄环境的摄像装置及处理真实、虚拟世界合成的软件模块。

相比这两类实现方式，光学透视式头戴式显示器由于使用者直接看到真实环境，临场感更好，具有更佳的用户体验。

目前，移动办公与娱乐的主要设备包括笔记本，平板电脑以及手机。无论办公还是娱乐，这些现有设备因体积与重量的限制，均无法提供台式电脑显示器、电视或影院所能提供的大尺寸显示，降低了办公效率与娱乐体验。同时，若使用屏幕较大的设备，在公共场所，如机场，车站等等，办公或娱乐时的私密性无法得到保证。

发明内容

本发明实施方式主要解决的技术问题是提供一种基于增强现实的显示方法及设备，具有临场感、显示区域大且具有私密性。

为解决上述技术问题，本发明实施方式提供一种基于增强现实的显示方法，包括：发出包含虚拟图像的第一光线，所述虚拟图像为接收的外接设备传输过来的图像；获取包含外部场景的实景图像的第二光线；将所述包含虚拟图像的第一光线与包含外部场景的实景图像的第二光线进行合成。

区别于现有技术，本实施方式提供的一种基于增强现实的显示方法将外部的实景图像与虚拟图像结合，虚拟图像能够为使用者提供显示范围大的虚拟显示屏幕或者虚拟的鼠标键盘，并且虚拟图像可以和现实中的实体的屏幕，鼠标，键盘，触摸屏，按钮等配合使用，具有较大的视野范围，且具有私密性。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1a是本发明实施例一提供的一种基于增强现实的显示设备的结构示意图；

图1b是图1a所示的透视型导光元件设置在头戴框架上时的示意图；

图1c是图1a所示的显示模块的侧视角度与显示亮度之间的第一关系图；

图1d是图1a所示的显示模块的侧视角度与显示亮度之间的第二关系图；

图1e是图1a所示的显示模块的侧视角度与显示亮度之间的第三关系图；

图2a是佩戴图1a所示的基于增强现实的显示设备时显示模块与用户脸部的位置关系示意图；

图2b是旋转图1a所示的显示模块的示意图；

图3是图1a所示的基于增强现实的显示设备的成像原理示意图；

图4是图1a所示的基于增强现实的显示设备设置屈光度矫正镜片时的示意图；

图5是图1a所示的基于增强现实的显示设备对角线视场区域与头部框架的最远端到用户头部最前端的距离关系的示意图；

图6是图1a所示的基于增强现实的显示设备连接外接设备工作时的示意图；

图7是本发明实施例二提供的一种基于增强现实的显示设备的结构示意图；

图8是图7所示的基于增强现实的显示设备连接外接设备工作时的示意图；

图9是图7所示的基于增强现实的显示设备连接外接设备工作时的又一示意图；

图10是图7所示的基于增强现实的显示设备工作时的示意图；

图11是本发明第三实施例提供的一种基于增强现实的显示方法中的第一显示模式的示意图；

图12是本发明第三实施例提供的一种基于增强现实的显示方法中的第二显示模式的示意图；

图13是本发明第三实施例提供的一种基于增强现实的显示方法的第一应用实例图；

图14是本发明第三实施例提供的一种基于增强现实的显示方法中的第二应用实例的示意图；

图15是本发明第三实施例提供的一种基于增强现实的显示方法中的第三应用实例的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例一

参阅图1a，本发明实施例提供的一种基于增强现实的显示设备，所述基于增强现实的显示设备的总重量小于350克，其包括：头戴框架11、两个显示模块12、两个透视型导光元件13。其中，透视型导光元件13是一种部分透射、部分反射的光学合成装置。

所述显示模块12及透视形导光元件13皆设置在头戴框架11上，支架11将显示模块12及透视形导光元件13进行固定。显示模块12设置在透视形导光元件13的上侧，显示模块12发出的光线能够经过透视形导光元件13后发生反射。可选地，所述显示模块13还可位于所述透视型导光元件13的侧方。

所述基于增强现实的显示设备还包括：主板17，主板17设置在头戴框架11上，且位于二显示模块12之间。所述主板17上设置有处理器，所述处理器用于处理虚拟图像信号并将虚拟图像信息显示在显示模块12上。

本发明实施例中，头戴框架11用于佩戴在用户的头部，每一透视型导光元件13具有一凹面，凹面朝向用户的双眼设置。经由一透视型导光元件13的凹面反射的第一光线进入用户的左眼，以及经由另一透视型导光元件13的凹面反射的另一第一光线进入用户的右眼，以在用户的头脑中形成3D虚拟场景的视觉。其中，第一光线是由显示模块12发射的，且第一光线包含左眼及右眼的虚拟图像信息。

参阅图1b，两个透视型导光元件13设置在头戴框架11上，分别独立地嵌入到头戴框架11上。可选地，可在制作透视型导光元件的原材料上设置两个对应于用户左右眼的区域，所述区域的形状大小与上述的独立设置时的每一透视型导光元件13的形状大小相同；最终的效果为一块大的透视型导光元件上设置有两个对应于用户左右眼的区域。可以理解为在一块大的透视型导光元件的原材料上加工出两个与独立设置时的透视型导光元件13的形状大小相同的区域，即两个透视型导光元件13一体成型。所述设置有对应于用户左右眼区域的透视型导光元件嵌入到头戴框架11上。

需要说明的是，显示模块12可拆卸安装于头戴框架11上，比如，显示模块为手机、平板电脑等智能显示终端；或者，显示模块固定安装于头戴框架上，比如，显示模块与头戴框架集成设计。

头戴框架11上可以安装两个显示模块12，用户的左眼和右眼分别对应地设置一个显示模块12，例如，一个显示模块12用于发射包含左眼虚拟图像信息的第一光线，另一个显示模块12用于发射包含右眼虚拟图像信息的另一第一光线。两个显示模块12可以分别一一对应地位于两个透视型导光元件13的上方，当基于增强现实的显示设备佩戴在用户的头部时，两个显示模块12分别一一对应地位于用户的左眼和右眼的上方；显示模块12也可以位于透视型导光元件的侧方，即两个透视型导光元件位于两个显示模块之间，当基于增强现实的显示设备佩戴在用户的头部时，两个显示模块分别一一对应地位于用户的左眼和右眼的侧方。

头戴框架11上也可以安装单个显示模块12，该单个显示模块12上有两个显示区域，一个显示区域用于发射包含左眼虚拟图像信息的第一光线，另一个显示区域用于发射包含右眼虚拟图像信息的另一第一光线。

显示模块包括但不限于LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode，有机发光二极管)、LCOS(Liquid Crystal On Silicon，硅基液晶)等类型的显示器。

参阅图1c，图中的横向轴标识侧视角度，纵向轴表示显示亮度。显示模块12为LCD时，显示模块12的亮度是随着观察者的角度来变化的。对于普通LCD，在显示亮度为50％时的侧观察角度θ一般都比较大。

LCD应用于对于增强现实显示系统时，则比较适用于小的侧观察角度，这样的显示模块12的亮度就会集中在靠近中心的角度区域。因为增强现实显示系统主要使用靠近中心的角度区域，这样的话投影到用户眼中的第一光线及第二光线的亮度会比较高。参阅图1d，应用于增强现实显示系统中的LCD发出的第一光线及第二光线的亮度在显示亮度为50％时的侧观察角度θ一般都比较小。并且，应用于增强现实显示系统中的LCD发出的第一光线及第二光线的亮度的分布关于0度侧视角左右对称，且侧视角度小于60度。即是，用户视角垂直于显示模块12时，显示模块12发出的第一光线及第二光线的亮度的显示亮度为最大，用户视角向两侧偏移时，显示亮度逐渐减小，在侧视角小于60度时，显示亮度为0。

可选地，参阅图1e，应用于增强现实显示系统的LCD的发出的第一光线及第二光线的亮度分布可不关于0度侧视角对称，且显示亮度最亮时的侧视角度不为0度。

参阅图2a，两个显示模块12分别一一对应地位于两个透视型导光元件13的上方，用户佩戴上所述基于增强现实的显示设备时，显示模块12与用户头部的正平面形成一夹角a，所述夹角a的角度为0度至180度，优选为钝角。同时，显示模块12在水平面上的投影与正平面垂直。

参阅图2b，在某些实例中，透视形导光元件13的位置可以绕与水平面垂直的某一转轴旋转一定角度b，所述角度b的角度为0度至180度，优选为0度至90度。同时，对应左眼和右眼的透视型导光元件13可以通过头戴框架11上的机械结构调整间距，以适应不同用户的瞳距，保证使用时的舒适度和成像质量。所述两个透视型导光元件13的边缘之间的最远距离小于150毫米，即对应于左眼设置的透视型导光元件13的左边缘到对应于右眼设置的透视型导光元件13的右边缘的距离小于150毫米。相应的，显示模块12之间通过机械结构连接，所述显示模块12之间的距离也可以进行调整，或者通过调整显示内容在显示模块12上的位置达到同样的效果。

头戴框架11可以是用于挂在用户耳部和鼻梁部的眼镜式的框架结构，其上设置有鼻托111和镜腿112，通过鼻托111与镜腿112固定在用户的头部，所述镜腿112为可折叠结构，其中鼻托111对应固定在用户的鼻梁上，镜腿112对应固定在用户的耳朵上。进一步地，眼镜腿112之间还可以通过松紧带相连，佩戴时松紧带收紧眼镜腿，帮助框架在头部的固定。

可选地，鼻托111和镜腿112为可伸缩机构，可分别调整鼻托111的高度和镜腿112的伸缩长度。同样，鼻托111和镜腿112还可以为可拆卸结构，拆卸后可对鼻托111或者镜腿112进行更换。

可选地，头戴框架11可包括鼻托和伸缩皮筋，通过鼻托与伸缩皮筋固定在用户头部；或者仅包括伸缩皮筋，通过所述伸缩皮筋固定在用户头部。可选地，头戴框架11也可以是用于佩戴在用户头顶和鼻梁部的头盔式框架结构。本发明实施例中，由于头戴框架11的主要作用是用来佩戴在用户的头部以及为显示模块12、透视型导光元件13等光、电元器件提供支撑，头戴框架包括但不限于上述方式，在具备上述主要作用的前提下，本领域技术人员能够根据实际应用的需要对头戴框架作出若干变形。

参阅图3，显示模块12发射包含左眼虚拟图像信息的第一光线121，经由一透视型导光元件13的凹面131反射的第一光线121进入用户的左眼14；同理，显示模块发射包含右眼虚拟图像信息的另一第一光线，经由另一透视型导光元件的凹面反射的另一第一光线进入用户的右眼，从而在用户的大脑中形成3D虚拟场景的视觉感受，另外，不同于谷歌眼镜中通过在用户的右眼前直接设置一块小型显示屏的方式，导致视觉区域较小，本发明实施例中，通过两个透视型导光元件反射更多的显示模块发射的第一光线分别进入用户的双眼，视觉区域较大。

在本发明实施例中，当基于增强现实的显示设备实现增强现实的功能，每一透视型导光元件13还具有一与凹面相背设置的凸面；经由透视型导光元件13的凸面和凹面透射的包含外界图像信息的第二光线进入用户的双眼，以形成混合3D虚拟场景和真实场景的视觉。再次参阅图1a，一透视型导光元件13还具有与凹面131相背设置的凸面132，经由透视型导光元件13的凸面132和凹面131透射的包含外界图像信息的第二光线151进入用户的左眼14，同理，另一透视型导光元件还具有与其凹面相背设置的凸面，经由该透视型导光元件的凸面和凹面透射的包含外界图像信息的第二光线进入用户的右眼，用户能够看到外界的真实场景，从而形成混合3D虚拟场景和真实场景的视觉感受。

参阅图4，可选地，在人眼与透视型导光元件13之间设置一屈光度矫正镜片16，所述屈光度矫正镜片16垂直于水平面设置。可选地，所述屈光度矫正镜片所在平面也可与水平面成30度到90度的夹角。可选地，可任意设置不同度数的屈光度矫正镜片。显示模块12发射包含左眼虚拟图像信息的第一光线121，经由透视型导光元件13的凹面131反射的第一光线121以及经由透视型导光元件13的凸面132和凹面131透射的包含外界图像信息的第二光线151进入用户的左眼14之前，先经过屈光矫正镜片16。所述屈光矫正镜片16为凹透镜，使经过其上的第一光线121以及第二光线151发散，使第一光线121以及第二光线151在左眼14上的焦点后移。同样，所述屈光矫正镜片16还可为凸透镜，使经过其上的第一光线121以及第二光线151汇聚，使第一光线121以及第二光线151在左眼14上的焦点前移。

同理，显示模块发射包含右眼虚拟图像信息的另一第一光线，经由另一透视型导光元件的凹面反射的另一第一光线以及经由该透视型导光元件的凸面和凹面透射的包含外界图像信息的第二光线进入用户的右眼之前，也先经过一屈光度矫正镜片。

参阅图5，基于增强现实的显示设备佩戴在用户头部上后，以用户的眼球为顶点，用户的眼球到通过所述透视型导光元件13看到的虚拟图像的虚拟显示区域的两侧边缘构成对角线视场区域。头部框架的最远端到与头部最前端接触位置的距离为c，可根据需要调节所述c的距离长度。所述对角线视场区域的角度大小与所述头部框架11的最远端到与头部最前端接触位置的距离成反比。优选地，在保证对角线视场区域大于55度的前提下，头部框架的最远端到与头部最前端接触位置的距离小于80mm。

参阅图6，二显示模块12通过电缆连接到主板17上。

主板17上还设置有视频接口、电源接口、通信芯片以及存储器。

所述视频接口用于连接计算机、手机、或其他设备接收视频信号。其中所述视频接口可以为：hmdi、display port、thunderbolt或usb type-c，micro usb,MHL(Mobile High-Definition Link)等接口。

所述处理器，用于处理数据，其中主要用于解码视频信号传输并显示在显示模块12上。

所述电源接口，用于外接电源或电池供电。所述电源接口包括USB接口或者其他接口。

所述通信芯片，用于通过通信协议与外界进行数据交互，具体为通过WiFi、WDMA、TD-LTE等通信协议连接互联网，再通过互联网获取数据或者与其它基于增强现实的显示设备连接；或者直接通过通信协议与其它基于增强现实的显示设备相连。

所述存储器，用于存储数据，主要用于存储显示模块12中显示的显示数据。

主板17上还可设置耳塞接口、声卡芯片或者其他发生装置。耳塞接口用于连接耳塞，向耳塞传输音频信号。声卡芯片用于解析声音信号。基于增强现实的显示设备的头戴框架11上还可以设置扬声器，将声卡芯片解析的声音信号转换成声音发出。

当基于增强现实的显示设备仅包括如上所述的头戴框架11、二显示模块12、两个透视型导光元件13及主板17时，所有的3D虚拟场景渲染、对应双眼的图像生成均在与基于增强现实的显示设备相连的外接设备中进行。所述外接设备包括：计算机、手机、平板电脑等。

具体地，基于增强现实的显示设备通过视频接口接收外接设备的视频信号，解码后在显示模块12上显示。同时，与用户的交互通过计算机、手机、平板电脑等外接设备上的应用软件进行，可通过使用外接设备上的鼠标键盘、触摸板或按钮与所述基于增强现实的显示设备进行交互。

这种基本结构的应用实例包括但不限于大屏幕便携显示器。基于增强现实的显示设备可以将显示屏幕投射在用户视野内的某一固定位置。用户需要通过与基于增强现实的显示设备相连的设备上的软件进行调整投射屏幕的尺寸、位置等操作。

本发明实施例提供的一种基于增强现实的显示设备，通过两个透视型导光元件的凹面更多地将包含左眼虚拟图像信息以及右眼虚拟图像信息的第一光线分别反射进入用户的双眼，从而在用户的大脑中形成3D虚拟场景的视觉感受，视觉区域较大。

实施例二

参阅图7，在实施例一中提供的一种基于增强现实的显示设备的基础上，设置多个传感器进行对周边环境进行感知。

本实施例提供的一种基于增强现实的显示设备，所述基于增强现实的显示设备的总重量小于350克，其包括：头戴框架21、二显示模块22、两个透视型导光元件23及主板24。

所述显示模块22、透视形导光元件23及主板24皆设置在头戴框架21上，头戴框架21将显示模块22、透视形导光元件23及主板24进行固定。显示模块22设置在透视形导光元件23的上侧，显示模块22发出的光线能够经过透视形导光元件23后发生反射。主板24，主板24位于二显示模块22之间，所述主板24上设置有处理器，所述处理器用于处理虚拟图像信号并将虚拟图像信息显示在显示模块22上。

头戴框架21、二显示模块22、两个透视型导光元件23、主板24与实施例一中所述的头戴框架11、二显示模块12、两个透视型导光元件13、主板17的具体功能、结构及位置关系相同，在此不进行赘述。

同样，在人眼与透视型导光元件23之间设置一屈光度矫正镜片，所述屈光度矫正镜片垂直于水平面设置。可选地，可任意设置不同度数的屈光度矫正镜片。

头部框架21上还设置有单目摄像头211、双目/多目摄像头212、眼球追踪摄像头213、陀螺仪214、加速度计215、磁场计216、景深传感器217、环境光传感器218和/或距离传感器219。

单目摄像头211、双目/多目摄像头212、眼球追踪摄像头213、陀螺仪214、加速度计215、磁场计216、景深传感器217、环境光传感器218和/或距离传感器219皆电连接在主板24上。

具体地，所述单目摄像头211为彩色单目摄像头，放置于头部框架21的前部。用户佩戴所述基于增强现实的显示设备时，单目摄像头211朝向相对于用户脸部的另一侧，可以使用该摄像头进行拍照。进一步地，还可以对使用该摄像头，运用计算机视觉技术检测环境中的位置已知的标记，帮助所述基于增强现实的显示设备进行定位。

所述单目摄像头211还可以为高分辨率的摄像头，用于拍照或者拍摄视频；拍摄所获得的视频还可以通过软件叠加用户所见的虚拟物体，复现用户通过基于增强现实的显示设备看到的内容。

所述双目/多目摄像头212可以是单色或彩色的摄像头，其设置在头戴框架21前部或侧面，且位于单目摄像头211的一侧、两侧或者四周。进一步地，所述双目/多目摄像头212可以带有红外滤光片。使用双目摄像头，可以在获得环境图像的基础上，进一步得到图像上的景深信息。使用多目摄像头，则可以进一步扩展相机的视角，获得更多的环境图像与景深信息。双/多目摄像头212捕获的环境图像和距离信息可被用于:(1)与陀螺仪214、加速度计215、磁场计216的数据相融合，计算基于增强现实的显示设备的姿态。(2)捕获用户手势、掌纹等用于人机交互。

可选地，上述的单目摄像头或双目/多目摄像头中的每一目均可是RGB摄像头、单色摄像头或红外摄像头中的一种。

所述眼球追踪摄像头213，设置在透视型导光元件23的一侧，用户佩戴所述基于增强现实的显示设备时，眼球追踪摄像头213朝向相对于用户脸部的一侧。所述眼球追踪摄像头213用于跟踪人眼焦点，对人眼所注视的虚拟物件或虚拟屏幕中的特定部位进行追踪和特殊处理。比如，在人眼所注视的物件旁边自动显示此物件的具体信息等。另外对人眼注视的区域可以显示高清晰度的虚拟物件图像，而对其他区域则只显示低清晰度图像即可，这样可以有效减少图像渲染的计算量，而不会影响用户体验。

陀螺仪214、加速度计215、磁场计216设置在二显示模块22之间。可以通过融合陀螺仪214、加速度计215和磁场计216的数据，得到用户头部与系统初始位置间相对姿态。这些传感器的原始数据可以进一步和双目/多目摄像头212的数据进行融合，得到基于增强现实的显示设备在固定环境中的位置和姿态。

所述景深传感器217设置在头戴框架21的前部，可以直接获得环境中的景深信息。与双/多目摄像头212相比，景深传感器可以获得更准确、分辨率更高的景深数据。类似的，使用这些数据可以：(1)与陀螺仪214、加速度计215、磁场计216的数据相融合，计算基于增强现实的显示设备的姿态。(2)捕获用户手势、掌纹等用与人机交互。(3)检测用户周围物体的三维信息。

所述环境光传感器218设置在头戴框架21上，可以实时监控环境光线的强弱。基于增强现实的显示设备根据环境光的变化实时的调整显示模块22的亮度，以保证显示效果在不同环境光下的一致性。

所述距离传感器219设置在基于增强现实的显示设备与用户面部接触的位置，用于检测基于增强现实的显示设备是否佩戴在用户头部。若用户摘下了基于增强现实的显示设备，则可以通过关闭显示模块22、处理器等方式节电。

可选地，所述基于增强现实的显示设备还包括：红外/近红外光LED，所述红外/近红外光LED电连接在主板24上，所述红外/近红外光LED用于为双目/多目摄像头212提供光源。具体为，所述红外/近红外LED发出红外线，在红外线到达通过双目/多目摄像头212获取的物体时，所述物体将红外线反射回去，双目/多目摄像头212上的感光元件接收反射回来的红外线并转换成电信号，接着在进行成像处理。

所述基于增强现实的显示设备在进行人机交互时，可进行的操作包括如下：

(1)基于增强现实的显示设备可以将显示屏幕投射在用户视野内的某一固定位置。用户可通过基于增强现实的显示设备上的传感器进行调整投射屏幕的尺寸、位置等操作。

(2)可以通过各类传感器进行手势、掌纹识别，用于人机交互。

(3)可以通过眼球追踪判断用户的意图，对人眼所观察虚拟物件或虚拟屏幕中的特定部位进行相应处理。

(4)还可以在支架上增加实体或触摸按钮、摇杆等，用于人机交互。

(5)可以配有遥控器，遥控器上有按钮、摇杆、触控板等，通过有线或无线的方式与基于增强现实的显示设备相连，作为人机交互界面。

(6)可以通过在主板上增加音频解码和功率放大芯片，集成耳塞插孔、耳塞、或喇叭等发生设备与麦克风，允许用户使用语音与基于增强现实的显示设备进行交互。

参阅图8，主板上设置有视频接口和处理器。

当基于增强现实的显示设备包括如上所述的头戴框架21、二显示模块22、两个透视型导光元件23、主板24以及如上所述的多个传感器时，所有的3D虚拟场景渲染、对应双眼的图像生成以及多个传感器获取的数据的处理均可在与基于增强现实的显示设备相连的外接设备中进行。所述外接设备包括：计算机、手机、平板电脑等。

具体地，基于增强现实的显示设备通过视频接口接收外接设备的视频信号，解码后在显示模块23上显示。外接设备接收基于增强现实的显示设备上的多个传感器获取的数据，进行处理后根据数据对双眼显示的图像进行调整，在显示模块23上显示的图像上进行体现。基于增强现实的显示设备上的处理器仅用于支持视频信号的传输与显示以及传感器数据的传递。

参阅图9，主板上设置有运算能力较强的处理器，将部分或全部计算机视觉算法在基于增强现实的显示设备内完成。

具体地，基于增强现实的显示设备通过视频接口接收外接设备的视频信号，解码后在显示模块23上显示。外接设备接收基于增强现实的显示设备上的部分传感器获取的数据，进行处理后根据传感器数据对双眼显示的图像进行调整，在显示模块23上显示的图像上进行体现。其余传感器获取的数据则在基于增强现实的显示设备上处理。例如，单目摄像头211、双目/多目摄像头212、陀螺仪214、加速度计215、磁场计216及景深传感器217获取的数据在基于增强现实的显示设备中处理。眼球追踪摄像头213、环境光传感器218及距离传感器219获取的数据在外接设备中处理。基于增强现实的显示设备上的处理器用于支持视频信号的传输与显示、部分传感器数据的处理以及其余传感器数据的传递。

参阅图10，主板上设置有高性能的处理器以及图像处理器，在基于增强现实的显示设备内完成所有的运算。在这种模式下，增强现实显示无需连接外接设备，可作为一个独立的系统运行。

具体地，基于增强现实的显示设备将传感器获取的数据进行处理后,对双眼显示的图像进行调整,渲染后在显示模块23上显示。基于增强现实的显示设备上的处理器用于视频信号的解码处理与显示以及传感器数据的处理。

在实施例一及实施例二中所述的基于增强现实的显示设备实现增强现实的实际应用中，为了增加透视型导光元件的凹面对显示模块发射的第一光线的反射率，例如，透视型导光元件的凹面镀有反射膜，较佳的，镀有反射膜的透视型导光元件的凹面的反射率是20％-80％。又如，若第一光线是线偏振光，为了增加透视型导光元件的凹面的反射率，透视型导光元件的凹面镀有偏振反射膜，偏振反射膜的偏振方向与第一光线的偏振方向之间的角度大于70°且小于等于90°，比如：偏振反射膜的偏振方向与第一光线的偏振方向垂直，实现近乎为100％的反射率，另外，由于包含外界图像信息的第二光线是非偏振光，若透视型导光元件的凹面镀有偏振反射膜，当第二光线经由该偏振反射膜时，有近乎50％的第二光线进入用户的双眼，用户仍然能够看到外界的真实场景。为了更好地让包含外界图像信息的第二光线进入用户的双眼，透视型导光元件的凸面镀有增透膜。

在实施例一及实施例二中所述的基于增强现实的显示设备的实际应用中，为了实现透视型导光元件的凹面对显示模块发射的第一光线的反射率的可控调节，透视型导光元件的凹面设有压敏反射膜，通过改变加载在压敏反射膜上的电压大小，能够调节压敏反射膜的反射率位于0至100％之间，当压敏反射膜的反射率为100％时，基于增强现实的显示设备可以实现虚拟现实的功能。

为了实现透视型导光元件的与凹面相背设置的另一表面对包含外界图像信息的第二光线的透光率的可控调节，透视型导光元件的与凹面相背设置的另一表面上设有压敏黑片，通过改变加载在压敏黑片上的电压大小，能够调节压敏黑片透光率的高低。

本发明实施例提供的一种基于增强现实的显示设备，通过两个透视型导光元件的凹面更多地将包含左眼虚拟图像信息及包含右眼虚拟图像信息的第一光线分别反射进入用户的双眼，从而在用户的大脑中形成3D虚拟场景的视觉感受，视觉区域较大。同时在基于增强现实的显示设备上设置多个传感器，传感器感知周边的环境后，可将感知的结果在显示模块中显示的图像中进行体现，使得临场感受更好，用户体验更佳。

实施例三

本实施例提供一种基于增强现实的显示方法，包括：

发出包含虚拟图像的第一光线，所述虚拟图像为接收的外接设备传输过来的图像；

获取包含外部场景的实景图像的第二光线；

将所述包含虚拟图像的第一光线与包含外部场景的实景图像的第二光线进行合成。

所述获取的外部场景的实景图像包括：佩戴基于增强现实的显示设备的使用者所处环境的实景图像。示例的，使用者处于教室内，则所述获取的实景图像包括：教室内的学生、课桌椅、学习用具等物体经过光线反射后呈现出来的图像；若使用者处于办公室内，则所述获取的实景图像包括：办公桌、电脑、键盘、鼠标等物体经过光线反射后呈现出来的图像。

所述获取虚拟图像包括：获取显示模块12经过处理器处理后显示出来的虚拟图像。所述虚拟图像为与基于增强现实的显示设备连接的设备传输过来的显示数据的虚拟图像，所述虚拟图像包括：虚拟显示屏、虚拟鼠标、虚拟键盘等。所述虚拟显示屏用于显示外接设备传输过来的数据、通过互联网获取的网络数据或者本地存储器里面存储的数据。

两个显示模块12发出包含虚拟图像的显示数据的第一光线再结合获取的经过透视型导光元件13的包含外部场景图像信息的第二光线，两种光线经过基于增强现实的显示设备上的透视型导光元件13的合成后在用户眼睛内融合，经过使用者的人脑处理，可以将虚拟图像的显示数据的内容以三维的形式呈现在使用者的眼前。可以理解为所述基于增强现实的显示设备将虚拟图像的显示数据投射在用户视野内的实景图像中。

将获取到的所述外部场景的实景图像与所述虚拟图像合成后进行显示时包括第一显示模式、第二显示模式或第三模式；所述第一显示模式为虚拟图像与实景图像之间的相对角度以及相对位置皆不固定的显示模式；所述第二显示模式为虚拟图像与实景图像之间的相对角度以及相对位置皆固定的显示模式。所述第三模式为虚拟图像与实景图像间的相对角度固定，相对位置不固定的显示模式。具体地，参阅图11，使用者正对桌片，基于增强现实的显示设备投射一块虚拟屏幕和一台虚拟键盘，正对用户，放置在真实空间中的桌面上。当使用者的头部移动或转动以后，投射的虚拟屏幕和键盘在使用者眼前的位置不发生改变，而它们在真实空间中的位置会跟着转动或移动，发生变化。这种显示模式称为“第一显示模式”。处理器将所述包含外部场景的实景图像的第二光线与包含虚拟图像的第一光线进行合成后以第一显示模式进行显示。

在实施例二所述的基于增强现实的显示设备的应用时，可以通过单目摄像头211运用计算机视觉技术检测环境中的位置已知的标记，帮助所述基于增强现实的显示设备进行定位，通过景深传感器217获得环境中的景深信息。或者，基于增强现实的显示设备还可以通过使用双目/多目摄像头212，在获得环境图像的基础上，进一步得到获取的图像上的景深信息。接着，基于增强现实的显示设备通过将单目摄像头211、景深传感器217或者双目/多目摄像头212获得的数据进行处理，处理器利用计算机视觉技术对周围环境进行3D建模，实时识别真实环境中不同物体并确定它们在空间中的位置和姿态。这样，基于增强现实的显示设备能分析得出使用者附近有哪些空间能够较好地投射虚拟屏幕、虚拟键盘以及其他显示内容。另外，基于增强现实的显示设备还可以通过陀螺仪214、加速度计215、磁场计216获取的数据结合单目摄像头211、景深传感器217或者双目/多目摄像头212获得的图像和景深数据，计算基于增强现实的显示设备在真实空间中的位置和姿态，即坐标系F_H与F_I的相对位置和角度关系T。由于基于增强现实的显示设备中投射的虚拟图像，如虚拟显示屏、虚拟键盘等，在坐标系F_H中的位置和姿态已知，通过T可以获得投射数字内容在真实空间(F_I)中的位置和角度。相对的，若希望投射内容出现在真实空间(F_I)的某个位置和角度，则可通过关系T，计算出投射内容在基于增强现实的显示设备坐标系F_H中的位置和姿态，将虚拟屏幕等投射内容放置于此。

这样，基于增强现实的显示设备可以实现“第二显示模式”。参阅图12，使用者正对桌片，基于增强现实的显示设备投射一块虚拟屏幕和一台虚拟键盘，正对用户，放置在真实空间中的桌面上。当使用者的头部移动或转动以后，若使用第二显示模式，投射的虚拟键盘和屏幕在真实空间中的位置不发生改变，让使用者产生屏幕和键盘是真实存在且放置在桌面上的错觉。

基于增强现实的显示设备使用陀螺仪、加速度计和磁场计，获得用户头部与所处环境间的相对角度，可以实现“第三显示模式”在这种显示模式下，虚拟物体的与环境间的相对角度固定，但相对位置可以发生移动。

例如，使用者正对桌片，基于增强现实的显示设备投射一块虚拟屏幕和一台虚拟键盘，正对用户，放置在真实空间中的桌面上。当使用者的头部移动或转动以后，若使用第三显示模式，投射的虚拟键盘和屏幕在真实空间中的相对角度不发生改变，在使用者移动时，投射的虚拟键盘和屏幕在真实空间中的相对位置发生改变，跟随着使用者进行移动。

综上所述，第一显示模式、第二显示模式以及第三显示模式与真实环境以及使用者头部之间的关系如下表所示：

	与环境相对位置	与环境相对角度	与头部相对位置	与头部相对角度
					第一显示模式	不固定	不固定	固定	固定
第二显示模式	固定	固定	不固定	不固定
					第三显示模式	不固定	固定	固定	不固定

需要注意的是，“第一显示模式”、“第二显示模式”或“第三显示模式”可以针对不同的虚拟图像混合使用，可以由系统软件决定也可以由使用者自主设置。

所述“第一显示模式”、“第二显示模式”或“第三模式”通过实景图像中设置的二维码或者其他人工设定的辅助标记实现。

具体地，通过单目摄像头211、景深传感器217或者双目/多目摄像头212扫描并识别在实景图像中设置的二维码，所述二维码包含开启第一显示模式、开启第二显示模式的信息或开启第三显示模式的信息。在识别出二维码中的信息后，以所述二维码的信息对应的显示模式进行显示。如，扫描出二维码中的信息为开启第一显示模式的信息，则以第一显示模式进行显示；又如扫描出的二维码中的信息为开启第二显示模式或者第三显示模式的信息，则以第二显示模式或者第三模式进行显示。

同理，可通过单目摄像头211、景深传感器217或者双目/多目摄像头212扫描并识别在实景图像中设置的人工标记，所述人工标记包含开启第一显示模式或者开启第二显示模式的信息。如，识别出人工标记中的信息为开启第一显示模式的信息，则以第一显示模式进行显示；又如识别出的人工标记中的信息为开启第二显示模式第三模式的信息，则以第二显示模式或者第三模式进行显示。

二维码或其他实景图像中设置的二维平面上的人工标记还可以用于辅助以第二显示模式显示时的基于增强现实的显示设备进行定位：根据单目摄像头211、景深传感器217或者双目/多目摄像头212拍摄到的二维码或者人工标记的形状与大小，与该二维码或者人工标记在二维平面上的实际大小与形状进行比对，推算出标记与摄像头之间的相对位置和角度。由于标记在环境中的位置固定，则可以由此计算出基于增强现实的显示设备与环境的相对位置和角度关系T，从而实现第二显示模式。

进一步地，可对虚拟图像进行操控。基于增强现实的显示设备可通过单目摄像头211、景深传感器217或者双目/多目摄像头212跟踪用户的手势的运动，分析使用者的意图，实现对虚拟显示的内容进行操作。

示例的，通过利用单目摄像头211、景深传感器217或者双目/多目摄像头212跟踪使用者的手指的位置，在识别到手指的点击动作之后，执行手指点击动作对应的操作指令。

示例的，通过利用单目摄像头211、景深传感器217或者双目/多目摄像头212识别到使用者的手势的抓取动作，对虚拟屏幕整体，或者虚拟屏幕中的物体进行拖曳操作。

示例的，通过利用单目摄像头211、景深传感器217或者双目/多目摄像头212识别到放大或缩小的手势动作，则执行放大或缩小的手势动作对应的指令，对虚拟屏幕或者虚拟屏幕中的物体进行缩放。

具体地，参阅图13，使用者佩戴实施例一或二所述的基于增强现实的显示设备，将基于增强现实的显示设备连接至笔记本电脑，笔记本电脑通过电缆传输视频信号至基于增强现实的显示设备。所述电缆也可用于数据、音频信号的传输以及为头显供电。电缆可以是单条(比如USB Type-C)也可是多条(视频、音频和数据使用不同电缆)。基于增强现实的显示设备获取通过笔记本电脑传送的视频信号，然后在基于增强现实的显示设备的显示模块12上进行显示。虚拟图像包括：一块或数块虚拟显示屏以及在显示屏上展现的显示内容，所述显示内容为笔记本电脑传输过来的内容。两个显示模块12发出包含上述虚拟图像的光线再结合获取的经过透视型导光元件13的包含外部场景的实景图像信息的光线，两种光线经过基于增强现实的信息处理设备上的透视型导光元件13的合成后在用户眼睛内融合，经过人脑处理，可以将虚拟图像的内容以三维的形式呈现在使用者的眼前。可以理解为所述基于增强现实的信息处理设备将虚拟显示屏以及虚拟显示屏上显示的内容投射在使用者视野内的外部场景的实景图像中。如使用者视野内的外部场景的实景图像中有实体的鼠标键盘，可将实体的鼠标键盘连接笔记本电脑使用，让使用者以最熟悉的方式输入信息，提高了工作效率。

参阅图14，使用者佩戴实施例一或二所述的基于增强现实的显示设备，将基于增强现实的显示设备连接至手机或其他移动终端，手机或其他移动终端通过电缆传输视频信号至基于增强现实的显示设备。所述电缆也可用于数据、音频信号的传输以及为头显供电。电缆可以是单条(比如USB Type-C)也可是多条(视频、音频和数据使用不同电缆)。基于增强现实的显示设备获取通过手机或其他移动终端传送的虚拟图像的视频信号，然后在基于增强现实的显示设备的显示模块12上进行显示。虚拟图像包括：一块或数块虚拟显示屏以及在显示屏上展现的显示内容，所述显示内容为手机或其他移动终端传输过来的内容。两个显示模块12发出包含上述虚拟图像的光线再结合获取的经过透视型导光元件13的包含外部场景的实景图像信息的光线，两种光线经过基于增强现实的信息处理设备上的透视型导光元件13的合成后在用户眼睛内融合，经过人脑处理，可以将虚拟图像的内容以三维的形式呈现在使用者的眼前。可以理解为所述基于增强现实的信息处理设备将虚拟显示屏以及虚拟显示屏上显示的内容投射在使用者视野内的外部场景的实景图像中。便携鼠标与键盘通过蓝牙或其他通信方式与手机或其它移动终端相连。使用者视野内的外部场景的实景图像中有实体的鼠标键盘，即佩戴基于增强现实的显示设备的使用者可以看到实体的鼠标及键盘，让使用者以最熟悉的方式输入信息，提高了工作效率。

可选地，参阅图15，使用者佩戴实施例一或二所述的基于增强现实的显示设备，将基于增强现实的显示设备连接至手机或其他移动终端，手机或其他移动终端通过电缆传输视频信号至基于增强现实的显示设备。基于增强现实的显示设备获取通过手机或其他移动终端传送的虚拟图像的视频信号，然后在基于增强现实的显示设备的显示模块12上进行显示。虚拟图像包括：一块或数块虚拟显示屏、在显示屏上展现的显示内容以及虚拟的鼠标键盘等。可通过利用单目摄像头211、景深传感器217或者双目/多目摄像头212跟踪使用者的手指的位置，在识别到手指的点击鼠标或键盘的动作之后，执行手指点击动作对应的操作键的操作指令，实现信息的输入。

可选地，上述投射的显示屏如显示多个显示屏时，可以调整多个显示屏的排列方式。可通过利用单目摄像头211、景深传感器217或者双目/多目摄像头212跟踪使用者的手指的位置，在识别到手指的移动显示屏的动作之后，执行手指移动显示屏对应的操作键的操作指令，实现对显示屏的移动。

当基于增强现实的显示设备投射的内容为带有声音的内容时，可通过外接的耳塞进行发出声音，或者通过扬声器发出声音。

可选地，还可通过眼球追踪摄像头213跟踪使用者的眼睛的焦点，对使用者眼睛焦点所注视的虚拟物件或虚拟屏幕中的特定部位进行追踪和特殊处理，比如，在使用者眼睛所集中观察的局部区域，自动显示注释，和所观察物体的具体信息等。

区别于现有技术，本实施方式提供的一种基于增强现实的显示方法将外部的实景图像与虚拟图像结合，虚拟图像能够为使用者提供显示范围大的虚拟显示屏幕或者虚拟的鼠标键盘，并且虚拟图像可以和现实中的实体的屏幕，鼠标，键盘，触摸屏，按钮等配合使用，具有较大的视野范围，且具有私密性。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (14)

1.一种基于增强现实的显示方法，其特征在于，包括：

发出包含虚拟图像的第一光线，所述虚拟图像为接收的外接设备传输过来的图像；

获取包含外部场景的实景图像的第二光线；

将所述包含虚拟图像的第一光线与包含外部场景的实景图像的第二光线进行合成。

2.根据权利要求1所述的方法，其特征在于，所述获取的实景图像为使用者所处环境的实景图像；所述虚拟图像包括：虚拟的显示屏、虚拟鼠标或虚拟键盘。

3.根据权利要求1或2所述的方法，其特征在于，将获取的虚拟图像与所述实景图像合成后包括第一显示模式、第二显示模式或第三模式；所述第一显示模式为虚拟图像与实景图像之间的相对角度以及相对位置皆不固定的显示模式；所述第二显示模式为虚拟图像与实景图像之间的相对角度以及相对位置皆固定的显示模式；所述第三模式为虚拟图像与实景图像间的相对角度固定，相对位置不固定的显示模式。

4.根据权利要求3所述的方法，其特征在于，所述第一显示模式、第二显示模式或第三显示模式通过实景图像中设置的二维码或者其他人工设定的辅助标记实现。

5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：跟踪手势的运动，对虚拟图像进行操作。

6.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：对用户眼睛所注视的虚拟图像的特定部位进行追踪和特定处理。

7.一种基于增强现实的显示设备，包括：

显示模块，用于显示虚拟图像并发出包含虚拟图像的第一光线，所述虚拟图像为接收的外接设备传输过来的图像；

透视型导光元件，用于获取包含外部场景的实景图像的第二光线；

透视型导光元件还用于将所述包含虚拟图像的第一光线与包含外部场景的实景图像的第二光线进行合成。

8.根据权利要求7所述的设备，其特征在于，透视型导光元件获取的实景图像为使用者所处环境的实景图像；显示模块现实的所述虚拟图像包括：虚拟的显示屏、虚拟鼠标或虚拟键盘。

9.根据权利要求7或8所述的设备，其特征在于，所述设备还包括处理器、陀螺仪、加速度计、磁场计、单目摄像头、景深传感器或者双目/多目摄像头，所述处理器用于将所述包含虚拟图像的第一光线与包含外部场景的实景图像的第二光线进行合成后以第一显示模式进行显示；或者处理器结合陀螺仪、加速度计、磁场计、单目摄像头、景深传感器或者双目/多目摄像头的数据后以第二显示模式进行显示；或者处理器结合陀螺仪、加速度计或磁场计的数据后，以第三显示模式进行显示；所述第一显示模式为虚拟图像与实景图像之间的相对角度以及相对位置皆不固定的显示模式；所述第二显示模式为虚拟图像与实景图像之间的相对角度以及相对位置皆固定的显示模式；所述第三模式为虚拟图像与实景图像间的相对角度固定，相对位置不固定的显示模式。

10.根据权利要求9所述的设备，其特征在于，所述第一显示模式、第二显示模式或第三显示模式通过实景图像中设置的二维码或者其他人工设定的辅助标记实现。

11.根据权利要求9所述的设备，其特征在于，所述单目摄像头或双目/多目摄像头中的每一目均可是RGB摄像头、单色摄像头或红外摄像头中的一种。

12.根据权利要求7或8所述的设备，其特征在于，所述单目摄像头、景深传感器或者双目/多目摄像头还用于跟踪手势的运动，并识别手势动作。

13.根据权利要求7或8所述的设备，其特征在于，所述设备还包括眼球追踪摄像头，用于对用户眼睛所注视的虚拟图像的特定部位进行追踪和特定处理。

14.根据权利要求7或8所述的设备，其特征在于，所述基于增强现实的显示设备与外接设备相连时，可通过使用外接设备上的鼠标键盘、触摸板或按钮与所述基于增强现实的显示设备进行交互。