CN107680165B - 基于HoloLens的电脑操作台全息展现与自然交互应用方法 - Google Patents

Abstract

本发明公开一种基于HoloLens的电脑操作台全息展现与自然交互应用方法，依次包括以下步骤：依照实际电脑操作台等比例缩小尺寸，建立电脑操作台模型并以此搭建虚拟场景，将虚拟场景导入HoloLens眼镜，全息显示在真实空间；通过HoloLens利用SLAM技术进行环境理解，定位用户，得到真实环境数据；通过HoloLens实现用户与虚拟电脑操作台的友好交互。本发明面向电脑操作台的3D展现与自然交互应用，通过环境感知与虚拟物体投射，通过视线、手势、语音等自然交互方式，调整电脑操作台的高矮、大小、屏幕倾斜度、单个操作台摆放的位置、角度及多种操作台之间的组合摆放，也可根据用户喜好变换不同材质、颜色、风格、款式。

Description

基于HoloLens的电脑操作台全息展现与自然交互应用方法

技术领域

本发明涉及一种人机交互和人工智能技术，具体涉及一种基于HoloLens的电脑操作台全息展现与自然交互应用方法。

背景技术

早在20世纪60年代，人们对于增强现实(AR)技术就有了初步探索，2010年AR与可穿戴设备迅猛发展，2012年第一代Google Glass问世，AR技术的智能硬件化成为趋势，苹果、英特尔、高通、微软等巨头相继加入，增强现实设备层出不穷，如爱普生的Moverio ProBT200、Meta2、Vuzix M100、Daqri智能头盔、ODG R-7、亮风台HiAR Glasses等，AR前景被广泛看好。2015年第一代Google Glass宣告失败停产，但这并不没有阻碍可穿戴增强现实设备注定会被整个社会所接受的发展趋势，越来越多的可穿戴设备在各行各业发挥着相当重要的作用。2017年7月谷歌眼镜回归，推出企业版Google Glass，延长了电池寿命，改善了舒适度，拥有更强大的中央处理器以及800万像素的摄像头等优势，但计算处理简单，产品定位仍然作为手机、平板等设备的外部延伸。在第一代Google Glass退出市场期间，微软推出了一款独一无二的混合现实(MR)设备——HoloLens，佩戴体验的真实感、自然度都远远超过市面上任何一款AR眼镜。

硬件的迭代、软件的定制、产品内容的不断提升，使得AR技术被越来越多的用户知晓，并在很多领域崭露头角，如游戏产品、广告营销、教育(早教、玩具等)、旅游服务、服装、医疗(医疗教学、手术直播、异地药监、远程查房等)、制造(智能维修、电气机械等)、大众传播等领域。

现有技术中，目前还没有针对电脑操作台的全息与自然交互技术，由于电脑操作台的制作费时费力，一旦确定型号，很难做出任何小改动，尤其是面向大型企业需要量产，更是牵一发而动全身，而且商家难以满足各类用户人群，传统的电脑操作台制作成本高、周期长、改造慢，使用十分不便。

发明内容

发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于HoloLens的电脑操作台全息展现与自然交互应用方法，本发明结合HoloLens的软硬件优势与AR技术在营销/销售领域的应用，主要面向电脑操作台的3D展现与自然交互应用。

技术方案：本发明一种基于HoloLens的电脑操作台全息展现与自然交互应用方法，依次包括以下步骤：

(1)全息显示：依照实际电脑操作台等比例缩小尺寸，建立电脑操作台模型并以此搭建虚拟场景，将虚拟场景导入HoloLens眼镜，全息显示在真实空间；

(2)虚实融合：通过HoloLens利用SLAM技术进行环境理解，定位用户，得到真实环境数据；

(3)自然人机交互：通过HoloLens以及交互层次模型实现用户与虚拟电脑操作台的友好交互；

(4)对步骤(3)中的自然交互进行交互性能评价和信息查询。

通过上述技术方案将虚拟电脑操作台投射在真实空间中，达到与真实环境的完美贴合；全方位、多角度观看有形、无形的各类信息，信息以多样化形式呈现，供用户查询、选择；自然高效的人机交互方式带来全新体验，自主调节电脑操作台的样式，令每一位用户满意。

步骤(1)中，首先根据房间的实际空间大小调节电脑操作台的尺寸，然后根据用户的实际需要将电脑操作台放置于地面：实际应用中，用户可将电脑操作台摆放在地面上，贴靠墙壁或家具，用户自主选择合适、合理的方位，根据实际房间大小、空间或空地面积自主调节电脑操作台的尺寸，还可以结合环境布局，最大化节省空间，达到整齐、美观的效果。

步骤(1)中，依照真实电脑操作台等比例建模，通过3Dmax或Maya建模软件建立电脑操作台的模型(等比例模型包括以下参数：整体外观、内置零部件、内置结构和真实纹理贴图)，建模过程中，为了简化HoloLens的计算量，提高运行速度与渲染力度，采用三维模型优化方法，包括几何特征优化与纹理优化。为了保证不同光照条件下的虚拟物体呈现一致性，采用基于图像的重光照绘制方法解决虚拟物体表面自适应光照属性保持问题，包括环境光图映射与重光照合成两个步骤；然后将优化好的模型导入Unity 3D中搭建虚拟场景，场景中加入摄像机和自然光照，调节虚拟物体的位置、角度和尺寸，保证初始状态出现在场景的正中间，最后通过无线传输将虚拟场景发布到HoloLens眼镜，实现360°全息观看。

搭建虚拟场景时根据虚拟物体特性及交互特点，设计交互对象、交互方式、展现形式等，组合虚拟物体组件并设置父节点，为每一组需要交互的虚拟物体添加物理属性及交互功能，物理属性包括“Mesh Renderer”、“Text Mesh”、“Box Collider”、“Animation”等。交互功能包括显示、隐藏、移动、旋转等。在Unity3D中搭建虚拟场景时，确定虚拟零部件之间的组合(这决定交互对象)、交互方式、展现形式，几乎需要设计好所有的模块。在实际应用中，除了建模，基本上所有的工作都是在Unity3D中完成的。

所述步骤(3)中的交互层次模型包括物理层、信息层、认知层；电脑操作台应用系统的输出是可视化的全息三维界面，输入是多种自然交互方式，其中物理层实现对自然交互方式的检测、识别和定位；信息层研究在物理层得到的多种输入信息的基础上，进行手势、动作和语音命令语义的定义和识别，完成通过HoloLens眼镜对虚拟物体操作的实现；认知层在自然交互的基础上如何实现任务完成自定义功能。

自然人机交互时通过深度摄像头数据得到的手势距离、SLAM获得的用户位置和搭建虚拟场景中物体的摆放位置来计算头部光标位置、手势方位及动作，进而对虚拟物体进行视线跟踪与手势交互；通过特定词的语音识别命令对虚拟物体进行语音交互。自然交互时的交互模式包括以下两种组合：

组合方式一：通过视线与手势操作完成：①根据自己的审美变换电脑操作台的材质、颜色和款式；②调整电脑操作台的高矮、大小和倾斜度以适合自己的身材；组合方式二：通过视线与语音指令完成：①对比不同型号的电脑操作台，来选择性价比最高最中意的类型；②实时修改设计方案，更换、增加/删减零部件，根据自己的习惯来选择最适合自己的工作模式。

所述步骤(4)中通过建立交互评价指标体系来评价交互性能，具体方法为：建立包括三级目标的评价体系并对逐个评价子目标进行评价任务的解析并给予定量参考，制定评价项系数的计算方法，确定各个评价项系数。

信息查询的方式有以下两种：

(A)事先定义在HoloLens眼镜中，即将查询获得的信息内容事先在HoloLens眼镜中定义好，设计者事先考虑用户需要查询的对象、想要得知的信息和中意的展现形式，在搭建虚拟场景时，为虚拟组件添加事件响应，当用户通过交互触发事件后，HoloLens眼镜响应并将反馈结果呈现展示；

(B)借助搜索服务器实时查询，设计者考虑查询的对象与展现形式，获取的信息结果由搜索服务器返回，具体过程如下：在搭建虚拟场景时，设计好虚拟组件及父节点，包括虚拟零件的组合形式和名称，用户通过交互将需要查询的对象通过网络传输给搜索服务器(PC端、手持终端均可)，然后在搜索服务器上搜索信息、获取结果，然后将结果再通过网络反馈给HoloLens眼镜，最后在HoloLens眼镜中以合适的展现形式呈现出来，其中涉及到HoloLens眼镜与搜索服务器之间的通信，本发明使用Socket底层通信机制。

例如在实际应用中，基于HoloLens眼镜的全息显示能力，供用户观看全息电脑操作台包括：操作台的整体样式、拉开抽屉/推开柜门的内部格局、所有的零部件、各种部件的信息提示与详细讲解、不同型号操作台之间的对比、电脑操作台的组合摆放等，就如同操作台实物在眼前出现一样，甚至用户看到的提示信息可能是真实操作台用户手册、推销人员讲解或百度搜索才会得知的内容。

有益效果：与实物电脑操作台相比，利用基于HoloLens的全息展现与自然交互技术具有以下优点：

(1)全息电脑操作台与真实世界的完美贴合，使得可以根据环境布局，自主调节操作台大小、高矮、组合数量、摆放角度等，做到空间最大化节省，达到整齐美观的效果；

(2)电脑操作台的全息展现，不仅可以让用户360°全方位、多角度地查看操作台的整体样式，还可以多粒度、多层次地观察操作台的内部格局及零部件结构；

(3)自然的人机交互模式，让用户成为设计师，随心变换操作台的风格、颜色，实时修改方案。

附图说明

图1为本发明中的流程示意图；

图2为本发明中虚实融合的原理示意图；

图3为实施例中信息查询的示意图；

图4为实施例中手势交互的示意图；

图5为实施例中语音交互的示意图。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

如图1和图2所示，本发明的一种基于HoloLens的电脑操作台全息展现与自然交互应用方法，依次包括以下步骤：

(1)全息显示：首先根据房间的实际空间大小调节电脑操作台的尺寸，然后根据用户的实际需要将电脑操作台放置于地面，通过3Dmax或Maya建模软件建立电脑操作台的模型，并将建好的模型导入Unity 3D中搭建虚拟场景，然后通过无线传输将虚拟场景发布到HoloLens眼镜，实现360°全息观看；

(2)虚实融合：通过HoloLens利用SLAM技术进行环境理解，定位用户，得到真实环境数据；

(3)自然人机交互：通过HoloLens实现全息展现与自然交互，自然人机交互时通过HoloLens的深度摄像头数据得到的手势距离、SLAM获得的用户位置和搭建虚拟场景中物体的摆放位置来计算头部光标位置、手势方位及动作，进而对虚拟物体进行视线跟踪与手势交互；通过特定词的语音识别命令对虚拟物体进行语音交互；

(4)对步骤(3)中的自然交互进行交互性能评价和信息查询。

上述建模过程中，为了简化HoloLens的计算量，提高虚拟物体的运行速度与渲染力度，达到实时绘制的要求，综合采用多种三维模型优化方法，包括几何特征优化与纹理优化两大类。

1)几何特征优化

基于模型的几何特征优化可以从模型的点、线、面等特征方面进行优化。删减法师目前算法中采用最多的一种模型简化基本操作。该方法通过重复依次删除对模型特征影响较小的几何元素并重新三角化来达到简化模型的目的。根据删除的几何元素的不同，可采用顶点删除法、边折叠算法和三角面片折叠算法等方法，其中顶点删除法占用内存少、速度快，但对模型的显示效果会有不同程度的损害，在保真方面有所欠缺；边折叠法保真度高，但运算量非常大；三角面片折叠算法是边折叠算法的延续，效率相对更高。根据电脑操作台展现模型的几何特征和精细程度需求，综合使用上述优化方法，在保证模型精细程度需求的基础上尽量减少计算量。

2)纹理优化

三维模型的模型外观属性，尤其是纹理的使用，在提高模型的真实感、增强模型的准确性方面有很大的优越性。使用纹理可以有效的控制模型的多边形数目，降低模型的复杂度，在提高屏幕的刷新频率的同时，减少文件量。因此，在模型中，纹理成为影响数据量的重要因素之一。利用纹理映射技术可以在减少模型表面特性计算、不增加多边形数目的情况下，多场景模型的表面特性进行描述，增强了场景的沉浸性、提高渲染速度。

材质和贴图是纹理映射技术常用的实现形式。利用材质可以为三维几何体设置透明、漫反射、自发光等表面特性贴图则可以使用图片代替三维几何体的表面纹理，使三维几何体在不增加模型复杂度的情况下增强其表面细微效果。要最大限度地压缩数据量，可以在整理纹理图像数据时使用一些重复贴图、子纹理技术以及公告牌等方法。提高建模的效率和系统资源的利用率。

当虚拟物体在外部光照条件发生改变时，为了保持物体光照属性，采用基于图像的重光照绘制解决虚拟物体表面自适应光照属性保持问题。基于图像的重光照绘制是利用显示世界的光照场景图像来照明现实的或计算机生成的场景，从而获得自然、逼真的虚拟场景图像，主要包括环境光图映射和重照光合成两个步骤。1)环境光图映射。由于光源的可叠加性，环境光可以分解为从各个方向入射的点光源的集合。分解过程可以很容易地使用球形映射，将环境光图映射到二维图像上，这样在重光照计算过程中，可以很方便地通过寻找对应点的样本图像并进行线性叠加得到重光照图像。光源的采集模拟需渲染出光源自身带有的纹理，光照强度，以及物体之间所产生的阴影，可基于金属镜面球投影方法实现。

2)重照光合成。基于基函数的重光照的过程就是根据新的环境光图对样本图像进行结合的过程。新的环境光图包括了采集的图像、点光源、平行光源或面积光的纹理图像。

如图2所示，在步骤(2)的虚实融合过程中，HoloLens强大的SLAM技术能够快速扫描室内环境，提供准确的位置及物体数据。Hololens将虚拟物体完美的与现实世界融合，主要有三种呈现形式：(1)环境增强式：在一些“空白”区域内，附上虚拟数字内容，为用户提供新的虚拟内容展示方式，以此达到增强环境(现实)的目的。比如墙壁上显示的电影画面，空中悬浮的人体骨骼，在地上玩耍的小狗。(2)环境融合式：本质还是在真实环境中叠加数字内容。但有所不同的是，它更依赖与真实的物体的叠加。比如，设计摩托车，本身已经存在了部分车架，而Hololens则将虚拟的外观设计与之叠加，达到整体效果。(3)虚拟空间式：创建一个完全虚拟的环境，跟现实世界完全没有任何关系，让用户仿佛置身于另一个世界。比如模拟火星表面。而本发明使用的是上述环境增强式的呈现形式，将设计的虚拟电脑操作台摆放到真实地面上，贴靠墙壁或家具，结合环境布局，最大化节省空间，达到整齐、美观的效果。

步骤(3)中通过HoloLens以及交互层次模型实现用户与虚拟电脑操作台的友好交互。本发明采用交互层次模型，包括物理层、信息层、认知层。电脑操作台应用系统的输出是可视化的全息三维界面，输入是多种自然交互方式。其中物理层考虑的是如何对自然交互方式进行检测、识别和定位；信息层主要是研究在物理层得到的多种输入信息的基础上，进行手势、动作、语音命令等语义的定义和识别，完成通过HoloLens眼镜对虚拟物体操作的实现；认知层是研究在自然交互的基础上如何实现任务，完成自定义功能。

使用效能评价模型对各种自然交互方式和综合应用模式的人机工效进行实验验证，建立电脑操作台应用系统的交互性能评价体系，归纳总结人机交互设计原则和应用模式，建立人机交互方法评价指标并逐个对评价目标进行量化分析。综合考虑系统中自然、友好、流畅的交互原则。

交互评价系统基于用户交互需求以及交互设计原则，采用评价目标数对评价总体目标进行细化，建立包括三级目标的评价体系并对逐个评价子目标进行评价任务的解析并给予定量参考，制定评价项系数的计算方法，确定各个评价项系数，建立评价模型如下：通过对交互系统进行定量定性实验分析以及工效学测试评价，检验交互系统的综合工效性能，验证多种交互模型融合的自然度、可行性、高效性。

信息的查询分两种形式：一是事先写入眼镜中的，用户查询获得的信息内容是事先定义好的；二是实时查询，用户需要查询的信息，首先传给搜索服务器(例如PC端)，然后在搜索服务器(例如PC端)中搜索结果，最后将结果反馈给眼镜，眼镜展示出来，这里涉及到服务器到HoloLens眼镜的通信。简而言之，一个是眼镜内部的查询，一个是眼镜-服务器-眼镜的查询。

图3是信息查询设计图，查看的内容主要分为两大类：一是虚拟操作台的模型、二是有关电脑操作台的提示信息与展示内容。

查看虚拟操作台的模型，包括：整体/局部样式、拉开抽屉/推开柜门的内部格局、所有的零部件构造及拆分结构、不同型号操作台之间的对比、电脑操作台的组合摆放等。用户可以全方位、多角度、多粒度地观看虚拟电脑操作台。

查看有关电脑操作台的提示信息与展示内容，包括：电脑操作台的简介、使用手册、注意事项、零部件的功能介绍及演示、不同类型操作台的优缺点对比等。信息与内容的展示具有多级面板查询、多样化形式、分类显示三大特点。其中，电脑操作台的简介、使用手册、注意事项在一级面板中，其具体详细信息在二级面板中展示，均以文字形式呈现，用户可以根据提示的信息对电脑操作台有大致的了解与基本的掌握；零部件的功能介绍在一级面板中展示，以文字为主，简单介绍零部件的名称及功能描述。功能演示在二级面板中，以视频形式播放。同时运行机理也在二级面板中，以3D动画形式显示，其内部结构(透视图)、运行机制、拆分构造等一览无余，便于用户理解原理，主要可用于教学、普及知识等；不同类型操作台的优缺点对比在一级面板中，以表格形式出现，辅以文字结合图片，优缺点用文字叙述，样式以图片展现，在样式的二级面板中，以3D模型展示不同类型操作台，供用户仔细查看对比，选择适合自己的一款。所述一级面板的提示信息较为简洁，多以简短文字为主；二级面板展示的信息丰富、详细、形象、直观，多以大段文字、图片、视频、3D动画、模型形式出现。展示的信息内容与形式可以根据用户需求增加/删除/修改/完善，信息内容的数据可以来源于真实的操作台用户手册、推销人员讲解、百度搜索或模拟数据等。

上述基于HoloLens的电脑操作台全息展现与自然交互应用方法的工作原理如下：

首先基于HoloLens眼镜的技术能力，主要具备虚实融合、全息显示、自然交互三大能力。

然后基于HoloLens眼镜的技术能力：

(一)、设计用户查看的内容及提示的信息，包括：电脑操作台的简介、使用手册、注意事项等，以文字形式呈现，详细信息在二级面板中展示；零部件的功能介绍及演示，功能介绍在一级面板中展示，以文字为主，功能演示在二级面板中展示，以视频为主；不同类型操作台的优缺点对比，以表格形式出现；电脑操作台的发展/进化史，以图片结合文字形式展现。其中一级面板的提示信息较为简洁，多以简短文字为主；二级面板展示的信息丰富、详细、形象、直观，多以大段文字、图片、视频形式出现。本发明的设计具有多级面板查询、多样化形式、分类显示三大特点。

(二)、设计用户手势操作，包括点击、移动、旋转、缩放、后退、复位、放置等。其中，点击对应电脑操作台材质/颜色等属性的改变、各面板信息的显示等；移动操作对应电脑操作台摆放位置的移动、抽屉的打开等；旋转操作对应电脑操作台柜门(左、右、后)的打开、整体旋转360°查看、屏幕/话筒等零部件倾斜度的调节；缩放操作对应电脑操作台整体大小的改变、零部件尺寸的调节等；后退操作针对用户误操作，返回上一步结果，最多可返回5步；复位则是返回电脑操作台在做任何更改之前的原始状态；放置操作对应虚拟的电脑操作台摆放在真实地面上。

(三)、设计用户语音指令(英文)，包括“Change Type”、“Compare DifferentModels”、“Group/Disperse”、“Add/Delete Microphone/Telephone/Mouse/Keyboard…”等。其中，“Change Type”是更换类型，每次出现一种类型；“Compare Different Models”是对比不同型号，同时出现多种类型，便于直观比较；“Group/Disperse”是同种类型的组合/单独摆放；“Add/Delete Microphone/Telephone/Mouse/Keyboard…”是添加/删除各零部件，以符合个人的工作习惯。在设计(二)中的移动、旋转、缩放、后退、复位、放置等模式的切换，可用手势单击操作，也可用语音指令，分别对应“Move”、“Rotate”、“Scale”、“Back”、“Reset”、“Replace”。

实施例1：

本实施例中，HoloLens主要有三种交互方式：Gaze(凝视射线)、Gesture(手势)和Voice(语音)。

1、Gaze：HoloLens的首要输入方式，根据用户头部的位置及角度方向来确定视线光点的位置，在视线光点位置与用户头部的两眼之间延伸出一条向前的射线，该射线可以识别所碰撞的物体。视线光点的形式功能类似于桌面系统的光标，用于确定、选择操作的全息对象。本实施例利用HoloLens眼镜的Gaze功能选择操作对象，是手势交互和语音交互的前提与基础。

2、Gesture：在进行手势交互时，需要将手放置在Hololens前方区域，有三种核心交互手势：点击(press)、松开(release)和绽开(bloom)。结合三种交互手势，衍生出五种手势操作响应：1)点击(Air tap)，即在空中完成单击操作，用于选中或激活数字内容。其操作就是：食指先伸直，然后向下弯曲，再恢复伸直。这个操作也可以通过Hololens的配件“HoloLens Clicker”来完成；2)返回(Bloom)，这是一个系统级别的手势，用户返回开始菜单(Start Menu)，就像点击键盘上的Windows徽标键启动开始菜单。其操作是：握拳并保持手掌向上，然后展开五指，就像花朵盛开；3)长按(Hold)，用于触发二级操作，比如展示二级操作菜单。其操作是：点击并保持食指处于向下状态；4)操作(Manipulation)，保持点击手势，画面响应与手部动作以1：1的比例匹配，手指相对于整个AR混合空间的绝对运动；5)导航(Navigation)，保持点击手势，在标准3D空间内的相对运动。

本实施例结合三种核心交互手势、组合五种手势操作，设计如图4所示的手势交互应用，分为七种语义的手势动作，分别是“点击”、“后退”、“复位”、“放置”、“移动”、“旋转”和“缩放”。其中：

(1)所述“点击”语义操作主要用于：1)各种类别信息的显示与隐藏，一级面板、二级面板上所有文字、图片、表格、视频、3D动画等信息的最终显示、查询、隐藏，让用户深入了解电脑操作台的用户手册、功能介绍、款型对比等属性信息；2)颜色、材质、风格等款式的变更，“颜色”有十种可选，分别是“乳白色”、“灰白色”、“灰蓝色”、“天蓝色”、“米黄色”、“茶色”、“橙红色”、“淡紫色”、“橄榄色”、“水绿色”，每种颜色都对应1％～100％透明度的选择。“材质”有七种可选，分别是“铸铁材质”、“铝合金”、“钛合金”、“木质”、“不锈钢”、“高分子材料”、“精益管”，用户可以根据电脑操作台的不同组件选择不同材质，如操作台台面选择“木质”、支撑脚选择“铸铁材质”，可任意组合搭配。“风格”有五种可选，分别是“传统式”、“清新派”、“田园风”、“欧式”、“简约风”，每种风格有默认的颜色搭配与固定材质，用户也可以在某一风格的基础上改变局部颜色或材质。每种款式的设计是根据事先的市场调研而定，也可以根据现场用户需求更改。

(2)“后退”语义操作主要用于：返回上一步操作，本发明存储记录用户操作，包括手势、语音的所有交互操作，防止用户误操作或当前操作结果不满意，想要返回上一步或上几步操作，最多可返回五步。

(3)“复位”语义操作主要用于：回到用户操作之前的最初状态，用户可能在移动摆放位置、更改大小尺寸、变更颜色款式等操作后，不满意当前状态且“后退”操作已无法还原用户需求，此时“复位”为初始状态重新设计。

(4)“放置”语义操作主要用于：将虚拟3D电脑操作台“放置”到真实地面上，实现虚拟操作台模型与真实环境的完美贴合。

(5)“移动”语义操作主要用于：1)虚拟物体摆放位置的变动，“放置”操作与“移动”操作相结合，在“放置”到真实地面的基础上，用户通过“移动”操作，变换摆放位置，但虚拟电脑操作台无论怎么移动，始终贴合地面放置；2)抽屉的拉开，用户通过手势的前后移动打开/关闭抽屉，进一步仔细观看抽屉中的物体、抽屉的空间大小；3)零部件的抽取，同样，用户通过手势的前后移动抽取/放回零部件，结合“点击”中信息的显示，进一步了解零部件的功能原理、内部构造、使用用途等。

(6)“旋转”语义操作主要用于：1)柜门的打开，用户“长按”并向右/左“移动”完成右/后边柜门的打开/关闭、“长按”并向左/右“移动”完成左边柜门的打开/关闭，其中左/右边柜门的旋转角度在0°～180°之间，后边柜门的旋转角度在0°～90°之间；2)零部件倾斜度的调节，用户“长按”并向右/左“移动”完成零部件向前/后倾斜，旋转角度在-90°～90°之间；3)整体360°旋转，整个电脑操作台任意角度旋转，可以在用户保持位置不变的前提下全方位观察电脑操作台的整体样式与外观。

(7)“缩放”语义操作主要用于：1)整体大小的改变，结合“放置”操作，摆放在真实地面上的操作台通过“缩放”改变大小，根据环境布局以适应真实空间。“放置”、“移动”、“缩放”三种操作的组合，最大化节省了空间，达到整齐、美观的效果。同样无论怎么“移动”与“缩放”，虚拟电脑操作台始终与地面贴合；2)零部件尺寸的调节，用户可以根据个人喜好或抽屉/柜子等空间的富余程度更改零部件大小。上述所有的手势操作均不分左手或右手。

3、Voice：主要有三种语音输入形式：1)语音命令，当用户说出关键词时，预设的动作就会被调用；2)听写，即语音转文字，听写特性用于将用户语音转为文字输入，同时支持内容推断和事件注册特性；3)语法识别，依赖于事先设定好的SRGS(Speech RecognitionGrammar Specification Version 1.0)文件，文件中定义了一系列语法规则用于语音识别。语音交互和手势操作可以被定义对应同一含义的交互动作，如在手势交互中的点击、返回操作可以用语音指令“Select”、“Hey Cortana,Go Home”来完成。

本实施例采用语音命令形式，设计如图5所示的语音交互应用，主要有五种语音指令：

(1)“Change Type”语音交互指令主要用于电脑操作台的更换类型/型号，场景中每次只出现一种型号的电脑操作台，方便用户重复多次地查看不同型号操作台。本发明包含三种类型操作台，每种类型的操作台又分各自不同的型号，具体语音交互分为两种形式：1)类型。语音指令“Change Type One”、“Change Type Two”、“Change Type Three”分别对应三种不同类型操作台，呈现的模型是每种类型操作台的默认型号；2)具体型号名称。语音指令“Change Type xxx”对应具体型号的操作台，呈现的模型即为该型号操作台，其中xxx为操作台型号名称。

(2)“Compare Different Models”语音交互指令主要用于对比不同型号/类型操作台，场景中同时出现多种型号操作台，便于直观比较，尤其适用于当用户选出多个较为中意的电脑操作台而无法定夺时的情形。具体语音交互分为两种形式：1)全部列举。语音指令“Compare Different Models”陈列出所有型号的操作台；2)部分列举。当用户只想对比其中几个时，只需要知道相应的型号名称即可，并在最后一个型号名称前加上“and”，如“Compare Different Models xxx yyy zzz and www”，其中xxx、yyy、zzz、www均为操作台型号名称。

(3)“Group/Disperse”语音交互指令主要用于同种型号电脑操作台的组合摆放与单独摆放，对于企业级用户可能需要一排(多个并排组合摆放)或多排电脑操作台，“Group/Disperse”语音指令方便用户快速观看操作台的组合摆放效果、整体美观度及占用空间大小。具体用法是在“Change Type”语音指令之后，场景中只出现了一种型号操作台，“Group”操作指令可以任意组合该型号操作台。具体分为：1)默认情况。语音指令“Group”，默认为两个并排组合摆放在一起；2)指定组合数量。语音指令“Group x”，其中x为“Three”、“Four”、“Five”，最多五个并排组合在一起。无论多少同种型号的操作台组合在一起，“Disperse”指令之后，场景中只有一台电脑操作台。

(4)“Add/Delete Microphone/Telephone/Mouse/Keyboard…”语音交互指令主要用于添加/删除麦克风/电话机/鼠标/键盘等各零部件，以符合个人的工作习惯。“Add xx”语音指令结合“移动”手势交互，可以在任何地方添加零部件，而无论添加多少个相同的零部件，“Delete xx”之后，该种类零部件全部清除，其中xx是Microphone、Telephone、Mouse等。例如两句语音指令“Add Microphone”，在场景中添加了两个麦克风，“DeleteMicrophone”之后，两个麦克风全部消失，其他零部件类似。

(5)“Move/Rotate/Scale/Back/Reset/Replace”语音交互指令主要用于手势交互中的移动、旋转、缩放、后退、复位、放置等模式的切换。在手势交互模式切换中，可以选择结合视线与手势点击的方式，也可以利用语音指令。上述所有的语音指令均可以根据用户需求定义与设计。

通过上述实施例可以看出，本发明基于HoloLens具备的强大计算、显示、交互等能力，设计用户查看的内容、提示的信息、显示的样式、用户手势交互模式及语音命令等，显示内容包括整体/局部查看、多种类比较、电脑操作台的简介、使用手册、零部件的功能介绍及演示等；显示样式具有多级面板、多样化形式、分类显示三大特点；手势交互及语音命令用于对电脑操作台的操控，包括变换大小/位姿、调节舒适度、调整摆放布局、变换材质/颜色、增/删各零部件等。

综上所述，通过本发明用户能够先选择厂家后制作，一气呵成，不仅厂家大大节约成本，减少人力物力财力的开销，而且用户可以选择到最中意最适合自己的电脑操作台，无需因改造设备浪费时间等待，用户满意度会大幅提升。

Claims (6)

1.一种基于HoloLens的电脑操作台全息展现与自然交互应用方法，其特征在于：依次包括以下步骤：

(1)全息显示：依照实际电脑操作台等比例缩小尺寸，建立电脑操作台模型并以此搭建虚拟场景，将虚拟场景导入HoloLens眼镜，全息显示在真实空间；

(2)虚实融合：通过HoloLens利用SLAM技术进行环境理解，定位用户，得到真实环境数据；

(3)自然人机交互：通过HoloLens以及交互层次模型实现用户与虚拟电脑操作台的友好交互；自然人机交互时通过HoloLens的深度摄像头数据得到的手势距离、SLAM获得的用户位置和搭建虚拟场景中物体的摆放位置来计算头部光标位置、手势方位及动作，进而对虚拟物体进行视线跟踪与手势交互；通过特定词的语音识别命令对虚拟物体进行语音交互；自然交互时的交互模式包括以下两种组合：

组合方式一：通过视线与手势操作完成：①根据自己的审美变换电脑操作台的材质、颜色和款式；②调整电脑操作台的高矮、大小和倾斜度以适合自己的身材；

组合方式二：通过视线与语音指令完成：①对比不同型号的电脑操作台，来选择性价比最高最中意的类型；②实时修改设计方案，更换、增加/删减零部件，根据自己的习惯来选择最适合自己的工作模式；

(4)对步骤(3)中的自然交互进行交互性能评价和信息查询；具体包括如下内容：

(4.1)通过建立交互评价指标体系来评价交互性能：建立包括三级目标的评价体系并对逐个评价子目标进行评价任务的解析并给予定量参考，制定评价项系数的计算方法，确定各个评价项系数；

(4.2)信息查询的方式有以下两种：

(A)事先定义在HoloLens眼镜中，即将查询获得的信息内容事先在HoloLens眼镜中定义好，设计者事先考虑用户需要查询的对象、想要得知的信息和中意的展现形式，在搭建虚拟场景时，为虚拟组件添加事件响应，当用户通过交互触发事件后，HoloLens眼镜响应并将反馈结果呈现展示；

(B)借助搜索服务器实时查询，设计者考虑查询的对象与展现形式，获取的信息结果由搜索服务器返回，具体过程如下：在搭建虚拟场景时，设计好虚拟组件及父节点，包括虚拟零件的组合形式和名称，用户通过交互将需要查询的对象通过网络传输给搜索服务器，然后在搜索服务器上搜索信息、获取结果，然后将结果再通过网络反馈给HoloLens眼镜，最后在HoloLens眼镜中以合适的展现形式呈现出来。

2.根据权利要求1所述的基于HoloLens的电脑操作台全息展现与自然交互应用方法，其特征在于：所述步骤(1)中，首先根据房间的实际空间大小调节电脑操作台的尺寸，然后根据用户的实际需要将电脑操作台放置于地面。

3.根据权利要求1所述的基于HoloLens的电脑操作台全息展现与自然交互应用方法，其特征在于：所述步骤(1)中，依照真实电脑操作台等比例建模，通过3Dmax或Maya建模软件建立电脑操作台的模型，建模过程中，为了简化HoloLens的计算量，提高运行速度与渲染力度，采用三维模型优化方法，包括几何特征优化与纹理优化；为了保证不同光照条件下的虚拟物体呈现一致性，采用基于图像的重光照绘制方法解决虚拟物体表面自适应光照属性保持问题，包括环境光图映射与重光照合成两个步骤；然后将优化好的模型导入Unity 3D中搭建虚拟场景，场景中加入摄像机和自然光照，调节虚拟物体的位置、角度和尺寸，保证初始状态出现在场景的正中间，最后通过无线传输将虚拟场景发布到HoloLens眼镜，实现360°全息观看。

4.根据权利要求3所述的基于HoloLens的电脑操作台全息展现与自然交互应用方法，其特征在于：所述电脑操作台的模型包括以下参数：整体外观、内置零部件、内置结构和真实纹理贴图。

5.根据权利要求3所述的基于HoloLens的电脑操作台全息展现与自然交互应用方法，其特征在于：搭建虚拟场景时根据虚拟物体特性及交互特点，设计交互对象、交互方式、展现形式，组合虚拟物体组件并设置父节点，为每一组需要交互的虚拟物体添加物理属性及交互功能，物理属性包括“Mesh Renderer”、“Text Mesh”、“Box Collider”、“Animation”；交互功能包括显示、隐藏、移动、旋转。

6.根据权利要求1所述的基于HoloLens的电脑操作台全息展现与自然交互应用方法，其特征在于：所述步骤(3)中的交互层次模型包括物理层、信息层、认知层；电脑操作台应用系统的输出是可视化的全息三维界面，输入是多种自然交互方式，其中物理层实现对自然交互方式的检测、识别和定位；信息层研究在物理层得到的多种输入信息的基础上，进行手势、动作和语音命令语义的定义和识别，完成通过HoloLens眼镜对虚拟物体操作的实现；认知层在自然交互的基础上研究如何实现任务，并完成自定义功能。

Images