CN104536579A - 交互式三维实景与数字图像高速融合处理系统及处理方法 - Google Patents

Abstract

本发明提供一种交互式三维实景与数字图像高速融合处理系统，至少包括图像信号识别模块、头部定位与运动传感模块、液晶显示模块、立体图像编码模块以及应用处理器；图像信号识别模块包括立体空间识别单元和手部图像识别单元，立体图像编码模块连接于图像信号识别模块和头部定位与运动传感模块，应用处理器连接立体图像编码模块和液晶显示模组，完成虚拟图像和特征点所显示的图像在同一空间坐标系的融合；此外还公开了运用该系统的处理方法。该系统和方法能在立体的虚拟现实数字环境中实时融合周边现实环境空间的视觉、听觉，可以实时观测自己的肢体动作，并让肢体动作可以完成操作数字世界的模型等互动。

Description

交互式三维实景与数字图像高速融合处理系统及处理方法

技术领域

本发明属于虚拟现实领域技术，具体涉及一种交互式三维实景与数字图像高速融合处理系统及该系统的处理方法。

背景技术

虚拟现实是多种技术的综合，包括实时三维计算机图形技术，广角(宽视野)立体显示技术，对观察者头、眼和手的跟踪技术，以及触觉/力觉反馈、立体声、网络传输、语音输入输出技术等。随着虚拟现实的显示技术和模式识别的技术发展，体验者可以将现实世界的实际环境视觉和听觉由立体摄像机导入到数字世界中，并通过立体的头戴显示器让人的视觉神经产生出虚拟现实的数字世界。

专利号为201310678103.9的专利申请文件公开了一种沉浸式虚拟现实体验系统，包括视频输出模块、语音模块以及3D沉浸式眼镜，视频输出模块和3D眼镜有线或无线连接，3D眼镜包括控制芯片模块、控制芯片模块分别连接的陀螺仪模块、视频获取模块，把图像显示在可穿戴设备的显示屏上，这样图像可以充满用户的整个视野，使得客户有身在虚拟场景的真实感。同时通过设备内置的陀螺仪和加速计等传感实现头部追踪技术，可以根据现实中用户头部方向变化来计算用户的在现实中的视线角度，显示对应的图像，进一步增强真实性。

但是，不管是上述专利还是目前技术的发展，还没有有机的把现实世界和虚拟现实的数字世界结合起来，不能在立体的视觉体验中，精确无差别地融合现实世界和虚拟现实的数字世界，从而严重影响使用体验，阻碍技术广泛应用于生活。目前的问题主要体现在：

1、无法实时并同时立体观测和操作现实环境和虚拟数字空间，现在的头戴显示器采用的是电子陀螺仪和电子加速度计，它们在使用中都有漂移，导入到虚拟空间软件中计算，就会产生眼部看到的位置产生误差，再叠加上最后在虚拟空间的画面输出到液晶屏上，又会有100毫秒左右的延迟，那么，由于两者空间位置不匹配，人的视觉画面有偏差和延迟，容易造成眩晕；

2、受头戴显示器的遮挡，人不方便看到真实世界的输入装置或者肢体动作，需要让人们的视觉神经集中注意力在头戴显示器显示的画面上，无法正常观察身边的实景环境会给人带来“看不见”的感觉，产生不安全和不舒适的体验；

3、人们在日常的使用习惯中，肢体动作完成的功能，无法正常交互到虚拟的数字视觉中；

4、系统复杂，需要显示、拍摄以及处理等多个系统，系统复杂，成本高昂，便携性不好。

发明内容

本发明要解决的技术问题为提供一种交互式三维实景与数字图像高速融合处理系统及系统的处理方法，该系统和方法能在立体的虚拟现实数字环境中实时融合周边现实环境空间的视觉、听觉，可以实时观测自己的肢体动作，并让肢体动作可以完成操作数字世界的模型等互动。

为解决上述技术问题，本发明包括以下的技术方案：

一种交互式三维实景与数字图像高速融合处理系统，适用于虚拟现实头盔，该系统至少包括图像信号识别模块、头部定位与运动传感模块、液晶显示模块、立体图像编码模块以及应用处理器；

其中，图像信号识别模块包括连接立体摄像机和麦克风的立体空间识别单元，立体空间识别单元对现实环境的图像声音进行识别并上传至立体图像编码模块；

头部定位与运动传感模块用于获取头部运动的原始姿态信息；

立体图像编码模块连接于图像信号识别模块和头部定位与运动传感模块，用于将特征点数据进行预先存储和预测头部运动轨迹，并根据预测运动轨迹的特征点进行头部定位与运动传感模块的修正；

应用处理器连接立体图像编码模块和液晶显示模组，用于完成所有的虚拟图像和特征点所显示的图像在同一的空间坐标系的融合，并将处理后的图像显示在液晶显示模块中的显示屏上。

本发明的系统在应用中，可以识别自身常用肢体动作进行与虚拟现实数字世界交互，具体方案为，图像信号识别模块还包括手部图像识别单元，该手部图像识别单元连接有2个红外摄像头，用于做模式识别手部动作，并以头部位置为原点，建立空间坐标系，计算出手的位置。

进一步地，系统还包括低速与高速存储模块，所述低速与高速存储模块设于应用处理器和立体图像编码模块之间。

进一步地，系统采用四口的Usb hub接口连接外部设备，其中两口设于图像信号识别模块，分别用于接入立体摄像机和麦克风、以及红外摄像头；一口设于液晶显示模组，用于接入显示屏，另一口设于头部定位与运动传感模块中，用于接入头部位置传感器。

本发明另一方面还提供了一种交互式三维实景与数字图像高速融合处理方法，包括以下步骤，

S100系统各模块初始化；

S200计算机建立立体的数字场景；

S300利用立体视觉图像技术修正头部位置，在虚拟现实软件中生成新视角的立体图像；

S400高速混入现实环境的立体视觉图像和声音信号；

S500最终将融合了现实环境与虚拟现实场景的立体图像和音频在显示屏中输出。

上述方法中还包括：在建立立体的数字场景后，系统的红外摄像头捕捉手部的动作，手部图像识别模块进行手部动作的模式识别，同时操作虚拟数字场景中的模型。

进一步地，捕捉手部的动作并进行肢体动作的模式识别具体为：红外摄像头捕捉手部动作，手部图像识别单元做模式识别，识别出手部的动作，然后以头部的位置为原点，建立空间的坐标系，计算出手的位置。

本发明中利用立体视觉图像技术修正头部位置包括如下步骤：

S301自动复位头部定位模块，设定空间原点；

S302通过立体摄像机抓取实际环境中的目标特征点，同时复位虚拟空间坐标并将头部定位模块每秒计算并上传至立体图像编码模块；

S303把实际环境中的目标特征点标定到虚拟空间坐标2，并根据头部运动变化位置而变化的画面特征点，计算每毫秒的头部位置并上传至立体图像编码模块；

S304所述立体图像编辑模块根据光学的数据定期修正头部定位与运动传感模块的电子陀螺仪及加速度计；

S305根据修正的数据进行复位虚拟空间坐标，重新定位计算每秒的头部位置并根据头部位置，在虚拟现实软件中生成新视角的立体图像。

其中，立体摄像头抓取实际环境中的目标特征点具体为：立体摄像机以立体空间中的位置，在头部定位模块中的陀螺仪复位为原点的瞬间，根据立体画面选其实际环境中的特征点，并对这些特征目标标定空间位置坐标。

根据头部运动变化位置计算每毫秒的头部位置具体为：在头部运动中，目标特征在立体画面中发生的位置变化，不断的根据立体画面中同一目标特征在左右眼中的位置，计算目标特征相对双眼中心点的空间位置，得出精确的位置。

本发明的交互式三维实景与数字图像高速融合系统，为虚拟现实应用提供了全新的一种应用，让现实环境和虚拟场景无缝的融合，并且现实环境中的肢体动作在虚拟场景中都拥有现实行为的意义。

现在的头戴显示器采用的是电子陀螺仪和电子加速度计，这个在使用中都有漂移，导入到虚拟空间软件中计算，就会产生眼部看到的位置产生误差，再叠加上最后在虚拟空间的画面输出到液晶屏上，又会有100毫秒左右的延迟，那么，人的感觉就会觉的视觉有偏差和延迟，容易造成眩晕。而本发明加入前置摄像头的现实立体空间识别单元，可以先对现实环境进行一些特征点在空间定位，而这个定位是用光学图像在空间的定位，不会发生偏移，在头部的运动中，立体图像编码模块不断用运动中的特征点进行差值计算，推导出现在的头部位置，不断修正电子陀螺仪和电子加速度计，保证头部位置的误差神经无法感知。

因此，本发明现实环境的立体视频与虚拟场景视频流进行无延迟混合，最终可以让使用者带着立体虚拟现实头盔的同时可以看到外部真实的环境。此外，本发明还通过采用2个红外摄像头安装在头盔的双眼位置，做模式识别出手部的动作，用头部的位置为原点，建立空间的坐标系，计算出手的位置；然后通过Usb3.0的接口送给应用处理模块，如手机；实现直接使用双手操作虚拟现实和现实环境混合后的场景中的各种模型。

附图说明

上述仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，以下结合附图与具体实施方式对本发明作进一步的详细说明。

图1为实施例1的处理系统的结构示意图；

图2为实施例1的处理系统的结构示意图；

图3为实施例1的头盔的结构示意图；

图4为实施例1的头盔的结构示意图；

图5为实施例1的头盔结构爆炸示意图；

图6为实施例2的处理方法的步骤示意图；

图7为实施例2的处理方法中修正头部位置的步骤示意图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点表达得更加清楚明白，下面结合附图及具体实施例对本发明实施方式再作进一步详细的说明。

实施例1

图1为根据本发明实施方式的交互式三维实景与数字图像高速融合处理系统的结构示意图。该处理系统包括：图像信号识别模块10、头部定位与运动传感模块20、液晶显示模块60、立体图像编码模块30以及应用处理器50。

图像信号识别模块10包括连接立体摄像机和麦克风的立体空间识别单元11，立体空间识别单元11对现实环境的图像声音进行识别并上传至立体图像编码模块30。

头部定位与运动传感模块20包括电子陀螺仪和加速度计，用于获取头部运动的原始姿态信息。

立体图像编码模块30连接于图像信号识别模块10和头部定位与运动传感模块20，用于将特征点数据进行预先存储和预测头部运动轨迹，具体为通过头部运动中的特征点进行差值计算，推导出现的头部位置，并不断修正电子陀螺仪及加速度计，保证头部误差神经无法感知。

应用处理器50分别与立体图像编码模块30和液晶显示模块60连接，用于完成所有的虚拟图像和特征点所显示的图像在同一的空间坐标系的融合，并将处理后的图像显示在液晶显示模块60中的显示屏上。本实施例的应用处理器50可以通过有线或无线通信连接移动终端、智能电视、计算机或基于云计算的信息服务平台。

图像信号识别模块10还连接有前置于人体眼部位置的2个红外摄像头，以及连接红外摄像头的手部图像识别单元12；手部图像识别单元12用于做模式识别手部动作，并以头部位置为原点，建立空间坐标系，计算出手的位置。

本发明进一步的改进中，系统还包括有低速与高速存储模块40，所述低速与高速存储模块40设于应用处理器50和立体图像编码模块30之间。

本实施例的系统中，图2所示，通过Usb3.0hub1分4口的接口连接各外部设备，包括立体摄像机为两个800万像素的摄像头组成，通过Usb3.0接口连接于立体摄像模块和麦克风的电路；2个红外摄像头通过Usb3.0接入手部图像识别模块的电路；图示100为红外摄像头的接口，200为立体摄像机和麦克风的接口组。液晶显示屏通过Usb3.0接入液晶显示模组中的液晶驱动电路；头部位置传感器亦通过Usb3.0接口连接于头部定位与运动传感模块的处理电路中。

本实施例还将该处理系统运用于虚拟现实头盔，图3～5所示，具体的实施方式为头盔由前壳1、后壳3以及连接前壳1和后壳3的固定框2构成，固定框2的前侧固定有基板8。基板8的前端中下方通过卡合方式连接图像信号识别模块6，上方通过卡合方式连接立体摄像机模组5；所述立体摄像机模组5包括沿水平向居中的2个红外摄像头50、以及设于两端的立体摄像机51和麦克风；此外，基板8的后面还卡合有头部定位与运动传感模块7，且头部定位与运动传感模块7的后端设有应用处理器50和低速与高速存储模块40集成的板卡9。前壳1的前侧开设有用于安装液晶显示屏4的目镜框，以及相应的摄像头外露口。该头盔装置一体化设计，能在立体的虚拟现实数字环境中实时融合了周边现实环境空间的视觉和听觉，实时观测自己的肢体动作，并让肢体动作可以完成操作数字世界的模型等互动。

实施例2

一种交互式三维实景与数字图像高速融合处理方法，图6所示，包括以下步骤，

S100系统各模块初始化；

S200计算机建立立体的数字场景；

计算机的处理模块从现实场景信息中提取出现实场景特征，基于预先设定的映射关系，将现实场景特征映射为用于虚拟场景的特征，并基于用于构建虚拟场景的特征构建虚拟现实场景信息。

S300利用立体视觉图像技术修正头部位置，在虚拟现实软件中生成新视角的立体图像；

图7所示，具体的修正步骤如下，

S301自动复位头部定位模块，设定空间原点；

S302通过立体摄像机抓取实际环境中的目标特征点，同时复位虚拟空间坐标并将头部定位每秒计算并上传至立体图像编码模块；

其中立体摄像机以立体空间中的位置，在头部定位模块中的陀螺仪复位为原点的瞬间，根据立体画面选其实际环境中的特征点，如房价中的灯、桌子和椅子等，并对这些特征目标标定空间位置坐标。

S303把实际环境中的目标特征点标定到虚拟空间坐标2，并根据头部运动变化位置而变化的画面特征点，计算每毫秒的头部位置并上传至立体图像编码模块；

其中，在头部运动中，目标特征在立体画面中发生的位置变化，不断的根据立体画面中同一目标特征在左右眼中的位置，计算目标特征相对双眼中心点的空间位置，得出精确的位置。

S304所述立体图像编辑模块根据光学的数据定期修正头部定位与运动传感模块的电子陀螺仪及加速度计；

利用目前的3轴陀螺仪技术可以计算出人头部的位置，利用3轴加速度传感器可以追踪人头部的运动，对人头部位置和运动的计算，根据运动惯性的原理，可以提前预测出头部的运动轨迹，就可以预测知道人双眼的视觉窗口的位置。

该过程中，立体图像编辑模块对现实空间进行格子化的划分，根据采样原理，将每个远格子的尺寸小于1/4个视场，对每个视场的数据进行预先的存储，在头部运动视场在移动到位之前将数据准备好，在视场移动到位后马上就显示，就不会有延迟产生。以现在的虚拟现实技术，这个过程远小于1毫秒，此时人的视觉神经上没有感觉，整个现实世界进行立体数字化编码与虚拟化视觉混合后的图像是连续的。

S305根据修正的数据进行复位虚拟空间坐标，重新定位计算每秒的头部位置并根据头部位置，在虚拟现实软件中生成新视角的立体图像；

S400高速混入现实环境的立体视觉图像和声音信号；

S500最终将融合了现实环境与虚拟现实场景的立体图像和音频在显示屏中输出。

本实施例中优选的，上述处理方法还包括：在建立立体的数字场景后，所述系统的红外摄像头捕捉手部的动作，手部图像识别单元做模式识别，识别出手部的动作，然后以头部的位置为原点，建立空间的坐标系，计算出手的位置；同时操作虚拟数字场景中的模型。

本发明的装置和方法能在立体的虚拟现实数字环境中实时融合，周边现实环境空间的视觉、听觉。处理过程中，随着头部运动，目标物也将在立体画面中发生位置变化，立体图像编码模块不断的根据立体画面中同一目标物在左右眼中的位置，计算目标物相对双眼中心点的空间位置，得出的位置是精确的，可以定期(如1秒)修正电子陀螺仪测出来数据，保持头部定位和头部的运动后的实际位置的误差在人体无法感知的误差内，如0.1弧度以下，从而达到消除眩晕的目的。同时还通过采用2个红外摄像头做模式识别出手部的动作，用头部的位置为原点，建立空间的坐标系，计算出手的位置；可以实时观测自己的肢体动作，并让肢体动作完成操作数字世界的模型等互动。

以上所述实施例仅仅是本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims (10)

1.一种交互式三维实景与数字图像高速融合处理系统，适用于虚拟现实头盔，其特征在于，所述系统至少包括图像信号识别模块、头部定位与运动传感模块、液晶显示模块、立体图像编码模块以及应用处理器；

其中，所述图像信号识别模块包括连接立体摄像机和麦克风的立体空间识别单元，立体空间识别单元对现实环境的图像声音进行识别并上传至立体图像编码模块；

所述头部定位与运动传感模块用于获取头部运动的原始姿态信息；

所述立体图像编码模块连接于图像信号识别模块和头部定位与运动传感模块，用于将特征点数据进行预先存储和预测头部运动轨迹，并根据预测运动轨迹的特征点进行头部定位与运动传感模块的修正；

所述应用处理器连接立体图像编码模块和液晶显示模组，用于完成所有的虚拟图像和特征点所显示的图像在同一的空间坐标系的融合，并将处理后的图像显示在液晶显示模块中的显示屏上。

2.如权利要求1所述的交互式三维实景与数字图像高速融合处理系统，其特征在于，所述图像信号识别模块还包括手部图像识别单元，所述手部图像识别模块连接有2个红外摄像头，用于做模式识别手部动作，并以头部位置为原点，建立空间坐标系，计算出手的位置。

3.如权利要求2所述的交互式三维实景与数字图像高速融合处理系统，其特征在于，所述系统还包括低速与高速存储模块，所述低速与高速存储模块设于应用处理器和立体图像编码模块之间。

4.如权利要求2所述的交互式三维实景与数字图像高速融合处理系统，其特征在于，所述系统采用四口的Usb hub接口连接外部设备，其中两口设于图像信号识别模块，分别用于接入立体摄像机和麦克风、以及红外摄像头；一口设于液晶显示模组，用于接入显示屏，另一口设于头部定位与运动传感模块中，用于接入头部位置传感器。

5.一种交互式三维实景与数字图像高速融合处理方法，包括以下步骤，

S100系统各模块初始化；

S200计算机建立立体的数字场景；

S300利用立体视觉图像技术修正头部位置，在虚拟现实软件中生成新视角的立体图像；

S400高速混入现实环境的立体视觉图像和声音信号；

S500最终将融合了现实环境与虚拟现实场景的立体图像和音频在显示屏中输出。

6.如权利要求5所述的处理方法，其特征在于，还包括：

在建立立体的数字场景后，所述系统的红外摄像头捕捉手部的动作，手部图像识别模块进行手部动作的模式识别，同时操作虚拟数字场景中的模型。

7.如权利要求6所述的处理方法，其特征在于，捕捉手部的动作并进行肢体动作的模式识别具体为：红外摄像头捕捉手部动作，手部图像识别单元做模式识别，识别出手部的动作，然后以头部的位置为原点，建立空间的坐标系，计算出手的位置。

8.如权利要求5所述的处理方法，其特征在于，所述利用立体视觉图像技术修正头部位置包括如下步骤：

S301自动复位头部定位模块，设定空间原点；

S302通过立体摄像机抓取实际环境中的目标特征点，同时复位虚拟空间坐标并将头部定位每秒计算并上传至立体图像编码模块；

S303把实际环境中的目标特征点标定到虚拟空间坐标2，并根据头部运动变化位置而变化的画面特征点，计算每毫秒的头部位置并上传至立体图像编码模块；

S304立体图像编辑模块根据光学的数据定期修正头部定位与运动传感模块的电子陀螺仪及加速度计；

S305根据修正的数据进行复位虚拟空间坐标，重新定位计算每秒的头部位置并根据头部位置，在虚拟现实软件中生成新视角的立体图像。

9.如权利要求8所述的处理方法，其特征在于，所述立体摄像头抓取实际环境中的目标特征点具体为：立体摄像机以立体空间中的位置，在头部定位模块中的陀螺仪复位为原点的瞬间，根据立体画面选其实际环境中的特征点，并对这些特征目标标定空间位置坐标。

10.如权利要求8所述的处理方法，其特征在于，所述根据头部运动变化位置计算每毫秒的头部位置具体为：在头部运动中，目标特征在立体画面中发生的位置变化，不断的根据立体画面中同一目标特征在左右眼中的位置，计算目标特征相对双眼中心点的空间位置，得出精确的位置。