CN110060349B - 一种扩展增强现实头戴式显示设备视场角的方法 - Google Patents

Abstract

本发明公开了一种扩展增强现实头戴式显示设备视场角的方法，包括增强现实头戴式显示设备(即AR头显)、显示屏幕阵列以及计算机，所述计算机包含渲染引擎。本发明结合外部显示器的可扩展性和AR头显的沉浸感，解决实际应用中AR头显视场角小的问题，可用于需要提高视场角的场景(如用AR头显玩游戏，观看比赛等)或需要公私屏显示不同内容的场景(如纸牌游戏等，需公共屏和私有屏协作显示)。本发明采用多个显示器组成的屏幕阵列补充头显的显示，可以根据实际需求改变屏幕的大小和个数，以一种有效且可扩展的方式，极大提升了AR头显的可视角，提高用户在使用时的真实感和沉浸感，同时，屏幕阵列作为公共屏，可供更多人观看，实现AR内容共享。

Description

一种扩展增强现实头戴式显示设备视场角的方法

技术领域

本发明涉及增强现实(AR)领域，尤其涉及一种扩展增强现实头戴式显示设备视场角的方法。

背景技术

增强现实(Augmented Reality，简称AR)是一种将计算机生成的虚拟事物与现实事物“完美结合”的技术。其目的在于感知环境，模拟仿真与环境相关的数字信息(视，听，嗅，触觉信息)，并叠加于现实环境，以丰富/增强用户的感官体验。

AR技术以其特有的虚实结合性，广泛应用于娱乐，教育，医疗，军事等各个领域。以视觉增强为主，显示设备主要包括手机/平板，投影仪，头盔和头显。随着几大科技巨头相继发布移动端AR工具包(如ARKit)，手机/平板端的AR应用近年激增，不过因其只停留于2D屏幕，沉浸感差，用户体验不够好。以投影仪为显示主体的AR应用，是将视觉内容投影于现实物体上，使物体呈现不同的视觉效果。不过这种方式需要精确标定(calibration)，搭建困难，难以推广。头盔，和眼镜式的AR技术则以其轻便性和较强的沉浸感，得到广大研究者和企业家的偏爱。

对AR来说，视场相当重要，因为要实现一定的沉浸感，AR世界必须与现实世界无缝融合。如果不能实时看到眼前的AR世界，你就会不自然的挪动头部“扫描”周边环境，就像通过望远镜在看世界。这样一来，大脑就无法通过直观的映射将AR世界看作真实世界的一部分，所谓的沉浸感也会化为乌有。

不过现有的基于光学原理设计的AR头显只有大约60度的极限对角线视角，而人眼的水平视角大约有180度，垂直视角大约为130度，这极大地影响了用户对整个增强现实空间的观察，也极大地降低了用户的真实感和沉浸感。

因此，本领域的技术人员致力于开发一种扩展增强现实头戴式显示设备视场角的方法，本方法提出一种结合外部显示器(包括但不限于投影仪)与AR头显来提高视场角的方法。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何有效提高AR头显的视场角。

为实现上述目的，本发明提供了一种扩展增强现实头戴式显示设备视场角的方法，包括增强现实头戴式显示设备(即AR头显)、显示屏幕阵列以及计算机，所述计算机包含渲染引擎，其特征在于，具体包括以下步骤：

步骤1、坐标系校准：设所述AR头显的坐标系为C_glass，所述显示屏幕阵列的坐标系为C_world，首先获取所述显示器的三维角点Q₀，采用计算机视觉技术优化三维角点数据并得到优化后的三维角点Q，并计算得到从所述C_glass坐标转换到所述C_world坐标的变换矩阵T_g2w；

步骤2、实时定位：利用所述AR头显的无线通信功能，将所述AR头显在所述C_glass中的姿态P_glass和三维角点Q，传输至计算机，由计算机计算得到所述显示屏幕阵列的图象渲染信息，并将所述渲染信息传输至所述渲染引擎，对所述显示屏幕阵列的图象进行渲染，所述AR头显的图象渲染由所述AR头显自行完成；

步骤3、实时渲染场景：对于每一帧，所述渲染引擎从所述渲染信息中得到所述AR头显在所述C_world中的坐标值，计算以所述AR头显为参考点、所述显示屏幕阵列为像平面的透视投影矩阵，将所述透视投影矩阵作为当前帧的相机投影矩阵P_offaxis并渲染，然后传输至屏幕阵列。

进一步地，步骤1中，所述获取所述显示屏幕阵列的三维角点Q₀的方法具体包括以下步骤：

步骤1.1、标定得到所述AR头显的相机的投影矩阵P；

步骤1.2、标定得到所述相机坐标系C_camera到所述C_glass的转换矩阵T_c2g；

步骤1.3、利用所述AR头显扫描房间，得到所述房间的几何参数；

步骤1.4、检测所述显示屏幕阵列在所述C_camera上的二维角点位置x；

步骤1.5、将x进行反投影，得到在所述C_camera中，像平面上的三维位置X_c；

步骤1.6、将所述X_c转换至所述C_glass中，得到X_g；

步骤1.7、设相机中心点在所述C_camera下为O_c(0,0,0)，转换至所述C_glass中，得到O_g；

步骤1.8、从所述相机射出一条射线，以所述O_g为起点，方向为X_g-O_g，与所述房间的几何参数求交，得到所述Q₀。

进一步地，步骤1中，得到所述Q的方法具体为光束法平差。

进一步地，所述光束法平差满足以下优化公式：

其中，n为总拍摄图象的数量；i为第i个图象；P_i为第i个图象中的投影矩阵；xi为第i个图象中的二维角点位置；d()表示欧氏距离；Tg2c为头显坐标系到相机坐标系的转换，可由Tc2g转换得到。

进一步地，所述光束法平差的优化目标为，使得所述欧氏距离d()最小。

进一步地，步骤1中，所述T_g2w满足以下公式：

其中，(x₀,y₀,z₀)为所述C_wo_rld的原点，在所述C_glass中的坐标；(e_x1,e_x2,e_x3)为所述C_wo_rld的坐标轴

在所述C_glass中的坐标；(e_y1,e_y2,e_y3)为所述C_wo_rld的坐标轴

在所述C_glass中的坐标；(e_z1,e_z2,e_z3)为所述C_wo_rld的坐标轴

在所述C_glass中的坐标。

进一步地，所述无线通信功能具体为wifi或蓝牙功能。

进一步地，步骤3中，所述P_offaxis满足以下公式：

其中，left、right、top、bottom分别为像平面边界相对于头显设备在屏幕坐标系中的水平、竖直偏移；near为所述AR头显设备在所述C_world中，相对于所述显示屏幕阵列的距离；far为根据所述渲染引擎的实际算力决定的最大渲染距离。

进一步地，所述步骤3还包括对重叠的图象进行处理，具体为：

检测所述AR头显设备与所述显示屏幕阵列的重叠显示区域的四个角点位置，并将所述四个角点围成的区域信息传送至所述渲染引擎，由所述渲染引擎对此部分进行降低亮度处理。

进一步地，所述步骤3还包括边界融合处理，具体为：

在所述重叠显示区域边界，进行模糊平滑处理，使得所述重叠显示区域边界处在视觉上更连续。

本发明结合外部显示器的可扩展性和AR头显的沉浸感，解决实际应用中AR头显视场角小的问题，可用于需要提高视场角的场景(如用AR头显玩游戏，观看比赛等)或需要公私屏显示不同内容的场景(如纸牌游戏等，需公共屏和私有屏协作显示)。

本发明提供的方法至少具备以下技术优势：

1.用多个显示器组成的显示屏幕阵列补充头显的显示，可以根据实际需求改变屏幕的大小和个数，以一种有效且可扩展的方式，极大提升了AR头显的可视角，提高用户在使用时的真实感和沉浸感。

2.实时定位与渲染。可根据用户的空间位置，在头显和投影仪端皆实时渲染视觉正确的画面。

3.双屏叠加显示，在扩展视角的同时满足用户不同的个性化需要。

4.本发明对头显设备没有过多的限制，只要有相机，定位和通信功能的AR头显皆可，搭建方便，可用性广泛。

5.本发明在以AR头显为主，外部显示器为辅的显示搭配下，在增加可视角与沉浸体验的同时，用户仍能看到自己在真实世界中的位置，使用更加安全。以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的一个较佳实施例的硬件连接示意图；

图2是本发明的一个较佳实施例的步骤流程图；

图3是本发明的一个较佳实施例的步骤1分解流程图。

具体实施方式

以下参考说明书附图介绍本发明的优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

如图1所示，本发明包括增强现实头戴式显示设备(AR头显)1、显示屏幕阵列2以及计算机3。其中AR头显1用于测量AR头显1相对于显示屏幕阵列2的姿态，并通过无线通信功能，将测得的数据传输至计算机3中。计算机3利用所传输的信息，计算得到渲染信息，利用计算机3的渲染引擎，渲染虚拟场景至显示屏幕阵列2中。用户佩戴AR头显1(如Hololens)连接系统。用户在看到头显内的立体画面的同时，透过AR头显1可看到外部显示屏幕阵列2上的补充画面。用户可在房间内自由移动，系统将根据AR头显1的位置，实时更新显示屏幕阵列2每一帧的画面，使得显示屏幕阵列2和AR头显1的显示内容匹配。

本发明提供的扩展增强现实头戴式显示设备视场角的方法如图2所示，具体分为以下步骤：

步骤1、坐标系校准：

在首次接入系统时，AR头显1有一个自身的坐标系C_glass,显示屏幕阵列2有一个坐标系C_display。为了系统高效正确得运行，需要将两个坐标系转换到一个统一的世界坐标系C_world。设显示屏幕阵列2的坐标系为世界坐标系C_display＝C_world：以屏幕中点为原点，以平行屏幕长边方向、垂直屏幕长边方向分别为坐标轴X,Y正方向，Z轴根据右手定则，由X叉乘Y所得。由于显示屏幕阵列2可能有多个显示器，则任选其中一块作为世界坐标系的基准屏。

接下来，需要将AR头显1坐标系C_glass转换到世界坐标系C_world。为了计算C_glass到C_world的转换矩阵T_g2w，还要利用AR头显1上的相机，用计算机视觉技术感知头显与世界坐标系的相对位置。具体分以下三步完成：

1)获取显示屏幕阵列2的三维角点Q₀：

获取显示屏幕阵列2的三维角点Q₀的具体方法如图3所示，包括：

步骤1.1、标定得到AR头显1的相机的投影矩阵P；

步骤1.2、标定得到相机坐标系C_camera到C_glass的转换矩阵T_c2g；

步骤1.3、利用AR头显1扫描房间，得到房间的几何参数；

步骤1.4、检测显示屏幕阵列2在C_camera上的二维角点位置x；

步骤1.5、将x进行反投影，得到在C_camera中，像平面上的三维位置X_c；

步骤1.6、将X_c转换至C_glass中，得到X_g；

步骤1.7、设相机中心点在C_camera下为O_c(0,0,0)，转换至C_glass中，得到O_g；

步骤1.8、从相机射出一条射线，以O_g为起点，方向为X_g-O_g，与房间的几何参数求交，得到Q₀。

主要方法是，检测出显示屏幕阵列2在相机上的二维角点，从相机发射射线，与房间几何相交，得到显示屏幕阵列2在AR头显1坐标系下的三维角点。首先，需要标定得到头显相机的投影矩阵P，相机到头显的转换矩阵T_c2g。接着，利用头显扫描房间，得到房间的基本几何信息。然后，检测出显示器在相机上的二维角点位置x。市面上的显示器大多为矩形，应用计算机视觉技术(例如开源库opencv)，就可很容易得检测出显示器的四个角点位置。因为本系统允许多显示器，可用带编码的标记(marker)来标识不同的显示器。得到投影矩阵P和二维角点x后，就可运用x的三维点和相机中心点构造射线了。可将x反投影，得到在像平面上的三维位置X_c(相机坐标系C_camera下)，转换到头显坐标系X_g＝T_c2gX_c。相机中心点O_c在相机坐标系下为O_c(0,0,0)，转换到头显坐标系O_g＝T_c2gO_c。这样，就可以从相机射一条光线R(起点为O_g，方向为X_g-O_g)，与扫描的房间几何求交得到头显坐标系下的三维角点Q₀。

2)优化角点位置：

在上一步的角点计算中，由于是根据检测的二维角点位置计算的三维位置，当只拍摄一个角度的图片时，很容易出现较大的误差，特别是有多块显示器的时候。误差来自精度误差和检测误差，精度误差主要是某些屏较远，或者拍摄角度太偏，在一段偏移里，屏幕角点都投影到相机相同的像素上。检测误差来源于，二维角点检测的不准确。

为了尽量减小误差，采用了类似计算机视觉里的光束法平差(bundleadjustment)，通过拍摄多个角度的数据，检测多组角点，优化三维角点的重投影误差，以此得到最终优化后的三维角点，公式如下：

其中，n为总拍摄图象的数量；i为第i个图象；Pi为第i个图象中的投影矩阵；T_g2c为头显坐标系到相机坐标系的转换，可由Tc2g转换得到。xi为第i个图象中的二维角点位置；d()表示欧氏距离。其中，光束法平差的优化目标为，使得重投影P_iT_g2cQ与x_i的欧氏距离d()最小。

3)坐标系转换：

得到显示屏幕的四个三维角点后，就可以计算T_g2w了。令屏幕左上角为A(C_glass下的坐标为A(x_a,y_a,z_a))、右上角为B(x_b,y_b,z_b)、右下角为C(x_c,y_c,z_c)、左下角为D(x_d,y_d,z_d)。则C_world在C_glass下的原点可表示为

坐标轴可以表示为

则T_g2w满足以下公式：

步骤2：实时定位与通讯：

通过坐标系的初始化，得到了头显坐标系C_glass到世界坐标系C_world的转换。则在接下来的每一帧中，只需利用公式C_world＝T_g2wC_glass，将AR头显1在C_world中的姿态P_glass和显示屏幕的三维角点位置通过wifi网络或者蓝牙等无线传输方式，传输至计算机3，计算相应的虚拟相机位置，将显示屏幕阵列2的图象渲染信息输送至计算机3的渲染引擎，对显示屏幕阵列2的图象进行渲染。而AR头显1的图象渲染由AR头显1自行完成。

步骤3：实时渲染场景：

为了使用户在佩戴AR头显1在房间任意走动时，透过AR头显1看到显示屏幕上的画面能与AR头显1上的画面对应，需要根据AR头显1的姿态P_glass和屏幕四个角点ABCD位置，渲染正确的屏幕画面。因为AR头显1可根据自己的姿态P_glass，渲染正确的画面，而屏幕画面需要计算机3计算传输所得，为了使步骤2的传输通信速度更快，效率更高，每次只传输几个位置信息给计算机3，而不是图片。

经过步骤2，计算机3已接受到统一坐标系后的AR头显1位置和屏幕三维角点位置，只需计算渲染流水线中虚拟相机的投影矩阵即可正确渲染。

以AR头显1位置作为虚拟相机位置、屏幕作为像平面、并使用屏幕边界作为像边界的离轴透视投影矩阵：

其中，left、right、top、bottom分别为像平面边界相对于头显设备在屏幕坐标系中的水平、竖直偏移，可由P_glass和ABCD计算得到；near为所述AR头显设备在所述C_world中，相对于所述显示屏幕平面的距离；far为根据所述渲染引擎的实际算力决定的最大渲染距离。计算得到投影矩阵后，将该矩阵传入渲染引擎中作为当前帧的相机投影矩阵并渲染，传输至显示屏幕阵列2。

经过上述步骤后，就能在AR头显和外部显示屏幕上同步得看到系统渲染的虚拟场景。但当用户望向显示屏幕时，头显和屏幕重叠部分将会产生重影，导致局部过亮，影响用户的体验。为了消除这个影响，可以在渲染时将屏幕上的重叠部分降低亮度。

首先，需要检测出头显在屏幕上的重叠区域。重叠区域，可认为是头显的视锥体与屏幕像平面相交的区域，应是一个四边形。以头显中心为原点，沿着头显视锥体的四个角点向外发射光线，与屏幕像平面相交，得到的四个交点，即为重叠区域的四个角点。然后，则可将重叠区域的四个角点，放入渲染程序中，将此部分进行降低亮度的处理。

将重叠部分进行处理后，用户会发现在头显与显示屏幕间，有一个明显的边界。这是由于前面定位环节，始终存在一定的误差。但这将大大降低用户的沉浸感。为了降低这种视觉上的不连续性，在头显的显示边界和屏幕的重叠区域边界，进行模糊平滑处理，使得从用户视角上看，头显与屏幕交界处视觉上更连续。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种扩展增强现实头戴式显示设备视场角的方法，包括AR头显、显示屏幕阵列以及计算机，所述计算机包含渲染引擎，其特征在于，具体包括以下步骤：

步骤1、坐标系校准：设所述AR头显的坐标系为C_glass，所述显示屏幕阵列的坐标系为C_world，首先获取所述显示屏幕阵列的三维角点Q₀，采用计算机视觉技术优化三维角点数据并得到优化后的三维角点Q，并计算得到从所述C_glass坐标转换到所述C_world坐标的变换矩阵T_g2w；

步骤2、实时定位：利用所述AR头显的无线通信功能，将所述AR头显在所述C_glass中的姿态P_glass和三维角点Q，传输至计算机，由计算机计算得到所述显示屏幕阵列的图象渲染信息，并将所述渲染信息传输至所述渲染引擎，对所述显示屏幕阵列的图象进行渲染，所述AR头显的图象渲染由所述AR头显自行完成；

步骤3、实时渲染场景：对于每一帧，所述渲染引擎从所述渲染信息中得到所述AR头显在所述C_world中的坐标值，计算以所述AR头显为参考点、所述显示屏幕阵列为像平面的透视投影矩阵，将所述透视投影矩阵作为当前帧的相机投影矩阵P_offaxis并渲染，然后传输至屏幕阵列。

2.如权利要求1所述的扩展增强现实头戴式显示设备视场角的方法，其特征在于，步骤1中，所述获取所述显示屏幕阵列的三维角点Q₀的方法具体包括以下步骤：

步骤1.1、标定得到所述AR头显的相机的投影矩阵P；

步骤1.2、标定得到所述相机坐标系C_camera到所述C_glass的转换矩阵T_c2g；

步骤1.3、利用所述AR头显扫描房间，得到所述房间的几何参数；

步骤1.4、检测所述显示屏幕阵列在所述C_camera上的二维角点位置x；

步骤1.5、将x进行反投影，得到在所述C_camera中，像平面上的三维位置X_c；

步骤1.6、将所述X_c转换至所述C_glass中，得到X_g；

步骤1.7、设相机中心点在所述C_camera下为O_c(0,0,0)，转换至所述C_glass中，得到O_g；

步骤1.8、从所述相机射出一条射线，以所述O_g为起点，方向为X_g-O_g，与所述房间的几何参数求交，得到所述Q₀。

3.如权利要求2所述的扩展增强现实头戴式显示设备视场角的方法，其特征在于，步骤1中，得到所述Q的方法具体为光束法平差。

4.如权利要求3所述的扩展增强现实头戴式显示设备视场角的方法，其特征在于，所述光束法平差满足以下优化公式：

其中，n为总拍摄图象的数量；i为第i个图象；P_i为第i个图象中的投影矩阵；xi为第i个图象中的二维角点位置；d()表示欧氏距离；T_g2c为头显坐标系到相机坐标系的转换，可由T_c2g转换得到。

5.如权利要求4所述的扩展增强现实头戴式显示设备视场角的方法，其特征在于，所述光束法平差的优化目标为，使得所述欧氏距离d()最小。

6.如权利要求5所述的扩展增强现实头戴式显示设备视场角的方法，其特征在于，步骤1中，所述T_g2w满足以下公式：

其中，(x₀,y₀,z₀)为所述C_world的原点，在所述C_glass中的坐标；(e_x1,e_x2,e_x3)为所述C_world的坐标轴

在所述C_glass中的坐标；(e_y1,e_y2,e_y3)为所述C_world的坐标轴

在所述C_glass中的坐标；(e_z1,e_z2,e_z3)为所述C_world的坐标轴

在所述C_glass中的坐标。

7.如权利要求1所述的扩展增强现实头戴式显示设备视场角的方法，其特征在于，步骤2中，所述无线通信功能具体为wifi或蓝牙功能。

8.如权利要求1所述的扩展增强现实头戴式显示设备视场角的方法，其特征在于，步骤3中，所述P_offaxis满足以下公式：

其中，left、right、top、bottom分别为像平面边界相对于头显设备在屏幕坐标系中的水平、竖直偏移；near为所述AR头显设备在所述C_world中，相对于所述显示屏幕阵列的距离；far为根据所述渲染引擎的实际算力决定的最大渲染距离。

9.如权利要求1所述的扩展增强现实头戴式显示设备视场角的方法，其特征在于，所述步骤3还包括对重叠的图象进行处理，具体为：

检测所述AR头显设备与所述显示屏幕阵列的重叠显示区域的四个角点位置，并将所述四个角点围成的区域信息传送至所述渲染引擎，由所述渲染引擎对此部分进行降低亮度处理。

10.如权利要求9所述的扩展增强现实头戴式显示设备视场角的方法，其特征在于，所述步骤3还包括边界融合处理，具体为：

在所述重叠显示区域边界，进行模糊平滑处理，使得所述重叠显示区域边界处在视觉上更连续。

Images