CN110806803A - 基于虚拟现实和多源信息融合的集成式交互系统 - Google Patents

Abstract

本公开提供了、一种基于虚拟现实和多源信息融合的集成式交互系统，包括交互装置、心电监测设备和服务器，交互装置与服务器连接，被配置为提供虚拟场景和交互环境；心电监测设备采集佩戴者的心电数据，并传输给所述服务器；服务器，被配置为提供普通和VR两种环境下的交互式训练游戏、音频和视频的体验模式，提供相应的场景，以进行游戏或观赏，在训练过程中利用心电数据，实现对用户生理状态的实时监测，并形成报告，确定各场景下的用户状态，具有更加直观的视觉体验且具有更高的认知流畅性，可以提升用户的训练效能。

Description

基于虚拟现实和多源信息融合的集成式交互系统

技术领域

本公开属于人机交互技术领域，涉及一种基于虚拟现实和多源信息融合的集成式交互系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

作为一种具有广泛应用的计算机技术，虚拟现实在国防、科研、工业、娱乐、教育等领域受到了极大的重视，是近年来相关部门进行信息化建设的重要内容之一。但虚拟现实其实是一系列技术的汇集，只有通过合理的软、硬件体系结构及交互手段将这些技术集成起来，才能发挥其预期的效果。遗憾的是，目前虽然有包括生理交互技术，语音交互技术等多种交互技术，但是有关于如何将这些交互式技术集成起来建设合理的虚拟现实系统的资料匮乏，且人们在着手虚拟现实系统建设时无从下手。

此外，虚拟现实是基于视觉、听觉、触觉等多维信息生成一个虚拟环境，并让使用者成为虚拟环境中的内部参与者。其中，视觉信息往往是多源的，拿VR+教育来说，传统的课堂学习中扁平化的多媒体视频教学还不足以让学生产生很强的代入感和互动性，如果通过提供全景视频360度的实景展示，再集成结合VR游戏体验的交互技术，这个寓教于乐的虚拟现实体验方式是一种新的教育尝试方向。因此，开发一种多源信息融合的集成交互式虚拟现实系统，对于教育、医学、放松训练等领域有重要的实践价值。

发明内容

本公开为了解决上述问题，提出了一种基于虚拟现实和多源信息融合的集成式交互系统，本公开将集成生理特征采集功能、心理表征感知功能的互动装备和技术，使其具备实时感知用户在VR体验以及训练时的心理表征和生理特征的功能，从而提高VR训练效果。VR训练中所配套的交互装备以及自然交互技术也可以与虚拟训练的内容相互支持，具有更加直观的视觉体验且具有更高的认知流畅性，可以提升用户的训练效能。

根据一些实施例，本公开采用如下技术方案：

一种基于虚拟现实和多源信息融合的集成式交互系统，包括交互装置、心电监测设备和服务器，其中：

所述交互装置与服务器连接，被配置为提供虚拟场景和交互环境；

所述心电监测设备采集佩戴者的心电数据，并传输给所述服务器；

所述服务器，被配置为提供普通和VR两种环境下的游戏、歌曲和视频的体验模式，提供相应的场景，以进行游戏或观赏，在体验过程中利用心电数据，实现对用户生理状态的实时监测，并形成报告，确定各场景下的用户状态。

作为可选择的实施方式，所述服务器包括：

语音交互模块，用于识别接收的用户语音信息，确定相应的指令并执行该指令；

普通视频体验模块，包含视频素材库，针对某一体验或训练主题，提供类似于视频平台的多频道分类的素材内容；

VR全景视频体验模块，采用VR全景相机，集视频拍摄、制作、播放为一体，它能够在不需要过多的交互方式以及因此产生的学习成本的同时，带给观看者充分的沉浸式体验，以及通过离线渲染和摄影得到各种极致的效果；

VR场景体验模块，包含VR场景素材库，采用Maya建模工具进行场景建模丰富素材库，用户可在此模块获得身临其境的体验；

VR游戏体验模块，包括多种VR交互式游戏，可根据训练需要进行选择；

分析模块，被配置为根据采集的心电数据并进行实时分析使用者的状态(如紧张、放松等)，并通过图形化界面呈现计算出的状态水平(如放松程度)和用户进入的各个场景中的心率值。

作为可选择的实施方式，所述交互装置选用VIVE Pro。

作为可选择的实施方式，所述语音交互模块，将用户的语音转换为文字输入，同时支持内容推断和事件注册特性，先创建一个听写对象，然后再注册结果回调事件、完成事件、错误事件和识别语句事件，由此即可开始语音识别并执行。

作为可选择的实施方式，所述普通视频体验模块中包含Curved UI插件和AVProVideo插件，其中Curved UI插件用于实现在世界空间中创建一个180°的柱形形状来包裹住弯曲的视频播放器，允许用户从各个角度查看并与该视频播放器进行手柄或语音交互，进而提升用户的代入感，AVPro Video插件用于实现基础的视频播放功能，还能实现进度条拖放和速率调整。不仅实现了在VR中播放高清晰度的4K视频，还实现了VR中360°全景视频的播放，极大提高了用户的沉浸感。

作为可选择的实施方式，所述VR游戏体验模块采用了VR场景相机漫游技术通过交互装置感知的朝向来获取漫游的方向、输入的位置信息与(0，1)点求夹角来获取漫游的移动角度，进而实现漫游的前进、后退和左右平移。

作为可选择的实施方式，所述VR游戏体验模块采用了通过话筒获取当前声音分贝值技术，通过话筒获取当前声音分贝值的过程是获取每一帧的声音最大值，并将该值以可视化的方式显示在VR场景中，用户最初处于场景中，当用户呐喊的分贝达到某一阈值时场景会发生改变。

作为可选择的实施方式，所述心电监测设备包括PC机、BMD心电采集器、若干块贴敷电极，BMD心电采集器分别与PC和三块贴敷电极连接，与PC机通过蓝牙连接，与贴敷电极通过导线连接，BMD芯片通过SEP、SEN接收来自各贴敷电极的模拟信号，然后将模拟限号转换成数字信号，最后把数字信号通过RX、TX发送给PC机。

作为可选择的实施方式，所述分析模块，采用PDF文件生成技术，PDF内容从各个场景代码中的类型数据中获取得到，通过PdfPTable和PdfPCell来对表格和表格的具体内容进行排列组合。

与现有技术相比，本公开的有益效果为：

本公开集视频、沉浸式的场景、心电信号监测、心理训练等功能于一体，完美实现环境-心理-生理的交互促进效果，通过音乐、场景和游戏提升用户体验，并学习掌握一些有效的训练方法；利用VR技术提供多样化的训练方式提供给用户有效的学习工具，并提供学习指导；同时，VR游戏允许用户通过语音等交互技术来进一步控制虚拟场景的变化，利用外化技术来帮助他们更好地掌控训练过程，并在成功体验后呈现美好的虚拟现实情境，真正实现“境由心生”。

本公开提供VR体感游戏来进行专题训练。通过肢体动作和游戏产生互动，具有：参与感强、模拟真实游戏的场景、互动性好、反馈性、游戏内容多、适合监狱受限环境。

本公开集成多样化的计算机辅助训练技术，并提供VR沉浸式指导训练方法，提升学习效果。VR生物反馈训练工具通过生物反馈、音乐治疗等方式，为用户提供实用的训练技术和掌握的方法，有效帮助他们通过沉浸式体验和学习的方式习得这些技术。

本公开VR辅助训练工具通过使用生理传感器采集用户的生理信息比如心电图、HRV等计算当事人的压力等状态，再通过实时的虚拟现实情景的实时变化来给予当事人即时反馈，帮助用户清晰地认知和掌控自身当前状态。

本公开训练途径进阶发展化，本公开根据训练调节的常用途径，以被动体验和主动训练两种方式，结合不同的虚拟现实场景，形成多种训练调节模式。

训练内容模块多样化，本公开含多内容训练模块，帮助用户构建合理的训练方式，切实满足用户的各种需求。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开的系统架构图；

图2为本公开的心电监测流程图；

图2(a)为本公开的心电系统构成图；

图2(b)为本公开的心电系统硬件图；

图2(c)为本公开的心电系统软件图；

图3为本公开的系统流程图；

图4为本公开的登录界面截图；

图5为本公开的放松方式选择页面截图；

图6为本公开的普通放松视频选择页面截图；

图6(a)为本公开的各个普通放松视频页面截图；

图7为本公开的VR全景放松视频选择页面截图；

图7(a)为本公开的某个VR全景放松视频页面截图；

图8为本公开的VR放松场景选择页面截图；

图8(a)为本公开的各个VR放松场景页面截图；

图9为本公开的VR放松游戏选择页面截图；

图9(a)为本公开的各个VR放松游戏页面截图；

图10为本公开的填写放松效果页面；

图11为本公开的最终生成的PDF截图。

具体实施方式：

以基于虚拟现实与多源信息融合的集成式交互放松系统为例，下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

基于虚拟现实与多源信息融合的集成式交互放松系统，主要由三个硬件部分组成：主机，HTC VIVE Pro和心电传感器。软件部分主要包括语音识别模块、普通视频放松模块、VR全景视频放松模块、VR场景放松模块、VR游戏放松模块、基于心电的放松评估模块和评价与反馈模块。

语音交互模块。本实施例具有语音识别功能，在初始登录页面管理人员可以根据用户的需要为用户选择“手柄控制”或“语音控制”，在“语音控制”流程中用户可以通过念出想要进入的场景名直接进入该场景、通过念出想要观看的视频名直接观看该视频、通过念出想要参与的游戏名直接参与该游戏、通过念出“退出”进入本实施例的主界面、通过念出自己放松训练的感受来为此次放松训练进行打分。

语音交互部分是利用Unity DictationRecognizer进行语音识别，并对识别的内容进行关键字检索，比对建立的指令库来完成。Unity DictationRecognizer侦听语音输入并尝试确定用户所说的短语。指令数据库是我们系统的一个重要模块。从UnityDictationRecognizer中找到的每个短语都与指令数据库相匹配，以便识别用户的命令。

普通视频放松模块。本实施例中包含放松视频素材库，素材库中包括呼吸放松训练教学视频、肌肉放松训练教学视频、正念放松训练教学视频、音乐放松训练教学视频和轻松减压视频，使得虚拟环境中的用户不仅可以通过观看轻松减压视频缓解压力、进行放松，还可以学习到呼吸放松、肌肉放松、正念放松和音乐放松等放松方式。于此同时，在“手柄控制”流程中，用户可以通过手柄点击实现视频的播放与暂停，可以通过手柄拖动实现视频的前进与后退；在“语音控制”流程中用户还可以通过念出“暂停”、“播放”、“前进”、“后退”来实现语音控制视频的暂停与播放、前进与后退。通过该模块的学习，用户可以掌握多种处理压力、实现放松的方法，使身心放松，生理和心理活动趋于平衡，从高压状态中恢复，进而达到内心的放松与平静。

VR全景视频放松模块。本实施例中包含VR全景放松视频素材库，素材库中包括天空、海底、湖畔、森林和竹林等VR全景放松视频，用户可以在VIVE Pro中体验360°空间全景视频，体验大自然的美好风景，体验到身临其境的视觉效果。

VR场景放松模块。本实施例中包含VR放松场景素材库，素材库中包括森林、湖畔、海岸、海面、海底等VR放松场景，同时配合专门的放松音乐，可以使用户快速舒缓压力、进入放松状态。

VR游戏放松模块。本实施例中包括海底漫游和压力宣泄两种类型的VR放松游戏，海底漫游可以帮助用户在美妙的音乐陪伴中享受海底的风景，压力宣泄可以帮助用户通过呐喊的方式宣泄内心的压力与不满，这两种VR放松游戏可以帮助用户缓解压力。

基于心电的放松评估模块。本实施例采集用户的心电(ECG)数据并进行实时分析。放松度算法以1到100的数值表示用户的放松程度。数值较低表示较为兴奋、紧张的生理状态(交感神经活跃)，而数值较高则表示较为放松的状态(副交感神经活跃)。

评价与反馈模块。放松训练结束后本实施例将提供一份pdf类型的反馈报告，该报告包含了多项记录的指标：生理计算出的放松程度和用户在他进入的各个场景中的心率值，同时可以以折线图的形式将其呈现出来。

VIVE Pro为专业版基础套装，通过超高清画质、优化人体工学设计和高解析度音场来打造逼真的虚拟环境。VIVE Pro通过以下三个部分给用户提供沉浸式体验：一个头戴式显示器、两个单手持控制器、一个能于空间内同时追踪显示器与控制器的定位系统(Lighthouse)。定位系统采用的是Valve的专利，它不需要借助摄像头，而是靠激光和光敏传感器来确定运动物体的位置，因此VIVE Pro允许用户在一定范围内走动。

主机选用戴尔外星人(Alienware)ALW R7酷睿八代六核独显游戏台式电脑主机。

本实施例在语音控制模块中充分利用了名为DictationRecognizer的Unity API，该API可以侦听语音输入并尝试确定发出的短语，它将用户的语音转换为文字输入，同时支持内容推断和事件注册特性。使用该API时要先创建一个DictationRecognizer听写对象，然后再注册DictationResult结果回调事件、DictationComplete完成事件、DictationError错误事件和DictationHyphthesis识别语句事件，由此即可开始语音识别听写。

本实施例在普通视频放松模块中充分利用了Curved UI插件和AVPro Video插件。其中Curved UI插件是为Unity Canvas系统设计的一体化VR接口包，可以实现在世界空间中创建一个180°的柱形形状来包裹住弯曲的视频播放器，允许用户从各个角度查看并与该视频播放器进行手柄或语音交互，进而提升用户的代入感。而AVPro Video插件是一款Unity3D使用的具有强大功能的视频播放插件，不仅可以实现基础的视频播放功能，还能实现进度条拖放和速率调整，不仅实现了在VR中播放高清晰度的4K视频，还实现了VR中360°全景视频的播放，极大提高了用户的沉浸感。

本实施例在VR全景视频放松模块中充分利用了VR相机拍摄的VR全景视频组成的素材库和全景视频插件。其中VR相机Insta360°TITAN具有8个M4/3传感器，最多可以录制10560×5280@30fps超高分辨率的视频，本实施例中存在多个由Insta360°TITAN拍摄的VR全景视频，这些全景视频组成了该模块的VR全景放松视频素材库，可以由用户随意选择喜欢的风景并进入观看。

按上述方案，本实施例在VR场景放松模块采用了Maya动画技术和科大讯飞离线语音合成技术。Maya是一款Autodesk公司旗下针对CG电影等虚拟影像解决方案的优秀软件，可以提供完美的3D建模、动画、特效和高效的渲染功能，使得场景更具真实感。而科大迅飞离线语音合成技术为不同的用户提供不同的音色、音调和语速，将文字信息转化为可听的声音信息(即音频数据)。它采用业界先进的机器学习算法的合成引擎，丰富的情感语料库使合成的声音更加自然。只需要Unity的C#脚本中using IFLYSpeech这一命名空间，再添加讯飞语音合成相关代码，即可通过ta.PlayAudio()方法来将预先设计好的内容合成为语音播放出来。离线语音合成技术可以满足无网络环境中语音转换的需求，SDK轻巧便捷，实时响应，无需网络流量。

本实施例在VR游戏放松模块采用了VR场景相机漫游技术和通过话筒获取当前声音分贝值技术。VR场景相机漫游技术是结合VIVEPro手柄共同实现的，通过VIVEPro头盔的朝向来获取漫游的方向、通过TouchPad中按下的位置信息与(0，1)点求夹角来获取漫游的移动角度，进而实现漫游的前进、后退和左右平移。而通过话筒获取当前声音分贝值技术则是通过运行Unity的C#脚本中的GetMaxVolume()方法来获取每一帧的声音最大值，并将该值以可视化的方式显示在VR场景中。用户最初处于石块和树木的包围中，当用户呐喊的分贝达到某一阈值时石块会从山上反方向掉落，石块完全散落之后用户将会看到湖边的美丽场景。

本实施例在基于心电的放松评估模块采用BMD101芯片。BMD101芯片是神念科技(Neurosky)的生物信号监测及运算的SoC设备。BMD101由一个先进的模拟前端电路和一个功能强大的数字信号处理结构组成。因为极低的系统噪声和可编程增益，BMD101可以检测到生物信号并通过ADC(模数转换)转换成16位高分辨率的数值信号。它的目标是获取生物信号输入(范围从UV到MV水平)，并由NeuroSky的专有算法来经由心率值计算放松度。

本实施例在评价与反馈模块采用了pdf文件生成技术和折线图生成技术。其中pdf文件生成技术是引用C#的命名空间iTextSharp来对生成的PDF文件进行排版，PDF内容都是从各个场景代码中的static类型数据中获取得到，与此同时还可以通过PdfPTable和PdfPCell来对表格和表格的具体内容进行排列组合。而折线图生成技术利用了Unity中的GraphMaker插件，将基于心电的放松评估模块中获取得到的心电数据以折线图的形式显示在用户训练完成后自动生成的pdf文件中，以便于管理人员直观感受此次放松训练的效果。

如图1为本实施例的系统架构图，本实施例的架构为通过Unity3D渲染引擎和HTCVIVE Pro头盔实现该集成式交互放松训练工具的语音识别模块、普通视频放松模块、VR全景视频放松模块、VR场景放松模块、放松游戏模块、基于心电的放松评估模块和评价与反馈模块，通过心电设备实时监测用户的生理状态，并将用户的生理数据转化为可视的轻松度数值，在用户体验完本实施例后将用户在各个场景中的轻松度以折线图的形式显示在PDF文档中。

基于心电的轻松度监测整体是按照数据采集—数据分析—数据处理—控制输出—反馈的流程来实现，利用心电传感器来采集心电值，通过蓝牙把采集得到的心电值发送到主机，主机对心电值进行处理、计算、分析和评估，最终估算出用户当前的放松度，并将其保存在本地txt文件中。Unity通过C#脚本读取该txt文件获取当前的放松度，并将其绘制成折线图呈现在PDF文件中。

如图2(a)-(b)为本实施例的心电组成及硬件图，整个心电模块由主机(心电数据采集及分析软件)、BMD心电采集器、三块贴敷电极组成(见图2(a))。BMD心电采集器与主机通过蓝牙连接，与三块贴敷电极通过导线连接。BMD芯片通过SEP、SEN接收来自贴敷电极的模拟信号，然后将模拟限号转换成数字信号，最后把数字信号通过RX、TX发送给PC。

如图2(c)为本实施例的心电软件界面，放松度算法是通过测量心率变异率(HRV)中高频信息(0.15～0.4赫兹)与低频信息(0.04～0.15赫兹)之间的关系实现的。许多科学研究表明，高频HRV与自主神经系统中的副交感神经活动有关，而低频段的HRV与交感神经活动有关。科学研究也表明，副交感系统有助于身体的放松及恢复，而交感神经系统帮助人们在压力下兴奋或紧张。因此，放松度较低表示较为兴奋、紧张的生理状态(交感神经活跃)，而放松度较高则表示较为放松的状态(副交感神经活跃)。

如图3为本实施例的系统流程图：

(1)管理人员需要先填入用户的基本信息。

(2)用户自主选择自己想要进行的放松类别。

(3)用户在自己选择的放松类别页面选择自己在该类别下想要观看的视频、进入的场景或游戏，体验完毕后还可以继续进入其他场景或类别进行体验。

(4)用户选择退出该集成式交互放松训练工具时会先进入本实施例的填写放松效果页面对放松效果进行填写，填写完毕就会直接退出本实施例。

如图4为本实施例的登录界面，管理人员在该页面填入用户的基本信息后可选择“手柄控制登录”进入手柄控制流程开始放松训练或选择“语音控制登录”进入语音控制流程开始放松训练。

如图5为本实施例的放松方式选择页面，用户可以在该页面选择自己喜欢的放松方式。

如图6为本实施例的普通放松视频选择页面，用户可以在该页面选择自己想要观看的普通放松视频。

如图6(a)为本实施例的各个普通放松视频页面，每个小图代表本实施例中存在的一种普通放松视频。

如图7为本实施例的VR全景放松视频选择页面，用户可以在该页面选择自己想要观看的VR全景放松视频。

如图7(a)为本实施例的某个VR全景放松视频页面，该图即为本实施例中存在的一个VR全景放松视频。

如图8为本实施例的VR放松场景选择页面，用户可以在该页面选择自己想要进入的VR放松场景。

如图8(a)为本实施例的各个VR放松场景页面，每个小图代表本实施例中存在的一种VR放松场景。

如图9为本实施例的VR放松游戏选择页面，用户可以选择进入“海底漫游”游戏页面或者“呐喊宣泄”游戏页面。

如图9(a)为本实施例的各个VR放松游戏页面，上面两个图是“海底漫游”游戏页面，在此游戏中用户可以通过手柄改变自己位置，在海底场景进行漫游并开启宝箱、获得钻石；右边是“呐喊宣泄”游戏页面，在此游戏中用户可以通过呐喊的方式抒发内心的压力与不满，挡在用户面前的石头山随着用户的呐喊逐渐掉落石块，石头山全部消失后用户可以看到开阔的湖面，进而使自身进入放松状态。

如图10为本实施例的填写放松效果页面，用户可以在该页面给自己在本集成式交互放松训练工具中体验时的放松程度进行打分。

如图11为本实施例最终生成的PDF截图，里面包括用户的个人详细信息和用户在它进入的各个场景中的放松值所组成的折线图。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (9)

1.一种基于虚拟现实和多源信息融合的集成式交互系统，其特征是：包括交互装置、心电监测设备和服务器，其中：

所述交互装置与服务器连接，被配置为提供虚拟场景和交互环境；

所述心电监测设备采集佩戴者的心电数据，并传输给所述服务器；

所述服务器，被配置为提供普通和VR两种环境下的游戏、歌曲和视频的体验模式，提供相应的场景，以进行游戏或观赏，在放松过程中利用心电数据，实现对用户生理状态的实时监测，并形成报告，确定各场景下的用户状态。

2.如权利要求1所述的一种基于虚拟现实和多源信息融合的集成式交互系统，其特征是：所述服务器包括：

语音识别模块，用于识别接收的用户语音信息，确定相应的指令；

普通视频体验模块，包含放松视频素材库，针对某一体验或训练主题，提供类似于视频平台的多频道分类的素材内容；

VR全景视频体验模块，包含VR全景放松视频素材库，采用VR全景相机，集视频拍摄、制作、播放为一体，它能够在不需要过多的交互方式以及因此产生的学习成本的同时，带给观看者充分的沉浸式体验，以及通过离线渲染和摄影得到各种极致的效果；

VR场景体验模块，包含VR场景素材库，包含VR场景素材库，采用Maya建模工具进行场景建模丰富素材库，用户可在此模块获得身临其境的体验；

VR游戏体验模块，包括多种VR体验游戏；

分析模块，被配置为根据采集的心电数据并进行实时分析使用者的放松状态，并通过图形展示计算出的放松程度和用户进入的各个场景中的心率值。

3.如权利要求1所述的一种基于虚拟现实和多源信息融合的集成式交互系统，其特征是：所述交互装置选用VIVE Pro。

4.如权利要求2所述的一种基于虚拟现实和多源信息融合的集成式交互系统，其特征是：所述语音交互模块，将用户的语音转换为文字输入，同时支持内容推断和事件注册特性，先创建一个听写对象，然后再注册结果回调事件、完成事件、错误事件和识别语句事件，由此即可开始语音识别听写。

5.如权利要求2所述的一种基于虚拟现实和多源信息融合的集成式交互系统，其特征是：所述普通视频放松模块中包含Curved UI插件和AVPro Video插件，其中Curved UI插件用于实现在世界空间中创建一个180°的柱形形状来包裹住弯曲的视频播放器，允许用户从各个角度查看并与该视频播放器进行手柄或语音交互，进而提升用户的代入感，AVProVideo插件用于实现基础的视频播放功能，还能实现进度条拖放和速率调整。不仅实现了在VR中播放高清晰度的4K视频，还实现了VR中360°全景视频的播放，极大提高了用户的沉浸感。

6.如权利要求2所述的一种基于虚拟现实和多源信息融合的集成式交互系统，其特征是：所述VR游戏体验模块采用了VR场景相机漫游技术通过交互装置感知的朝向来获取漫游的方向、输入的位置信息与(0，1)点求夹角来获取漫游的移动角度，进而实现漫游的前进、后退和左右平移。

7.如权利要求2所述的一种基于虚拟现实和多源信息融合的集成式交互系统，其特征是：所述VR游戏提亚模块采用了通过话筒获取当前声音分贝值技术，通过话筒获取当前声音分贝值的过程是获取每一帧的声音最大值，并将该值以可视化的方式显示在VR场景中，用户最初处于场景中，当用户呐喊的分贝达到某一阈值时场景会发生改变。

8.如权利要求1所述的一种基于虚拟现实和多源信息融合的集成式交互系统，其特征是：所述心电监测设备包括PC机、BMD心电采集器、若干块贴敷电极，BMD心电采集器分别与PC和三块贴敷电极连接，与PC机通过蓝牙连接，与贴敷电极通过导线连接，BMD芯片通过SEP、SEN接收来自各贴敷电极的模拟信号，然后将模拟限号转换成数字信号，最后把数字信号通过RX、TX发送给PC机。

9.如权利要求1所述的一种基于虚拟现实和多源信息融合的集成式交互系统，其特征是：所述分析模块，采用PDF文件生成技术，PDF内容从各个场景代码中的类型数据中获取得到，通过PdfPTable和PdfPCell来对表格和表格的具体内容进行排列组合。

Images