CN104599243A - 一种多视频流与三维场景的虚实融合方法 - Google Patents

Abstract

本发明公开了一种多视频流与三维场景的虚实融合方法，属于虚拟现实技术领域。本方法先使用相机采集环境的视频图像信息，并对相机采集时的参数进行跟踪；之后根据相机采集时的参数计算相机在三维空间中对应的视锥体，在此基础上计算出用户当前视点下可见的相机，调度这些可见相机的视频图像；然后计算每个可见相机的视频图像与三维场景中虚拟对象的关联关系，根据该关联关系将视频图像与三维场景中的虚拟对象进行融合；最后在虚拟环境中将融合结果进行可视化，并为用户提供交互漫游和自动巡逻服务。本发明实时调度场景中的多个相机，将其视频图像与三维场景进行虚实融合，从而达到反映环境真实动态的目的。

Description

一种多视频流与三维场景的虚实融合方法

技术领域

本发明涉及多视频流与三维场景的虚实融合方法，更确切的讲是将多视频图像的内容与三维场景中的虚拟对象进行融合，属于虚拟现实技术领域。

背景技术

虚拟环境的建模被广泛应用在仿真、景区展示、三维地图等应用中，当虚拟环境的几何信息、外貌与真实环境类似或精确对应时，整个虚拟环境的真实感会得到一定程度的提升。但是对场景进行较为精确的建模需要耗费较多的人力，并且由于模型纹理是事先采集的静态图片，通过这种方式构建的虚拟环境不能反映出真实环境中的事件、活动等的动态变化。因此，通过虚拟环境反映场景的真实动态日益受到研究者的关注。

增强虚拟环境是一种为了解决以上问题而出现的虚拟实现技术。增强虚拟环境技术预先建立好环境的三维模型，经过对相机或投影装置标定后，将相机等设备采集的二维视频或对象的三维表面信息实时注册到虚拟环境中。基于视频图像的增强虚拟环境是增强虚拟环境技术中的一种，它使用视频图像来增强虚拟环境。视频图像的采集和获取相对方便，它记录了环境随时间的动态变化，因此可通过它创建出随视频图像而变化的动态虚拟环境，并且虚拟环境中包含的全局空间信息反过来又可促进对视频内容的理解。在本发明之前，南加州大学的Jinhui Hu提出了一种基于纹理贴图的使用视频图像增强虚拟环境的方法[Jinhui Hu.Intergrating complementary information for photorealistic representation[D].Los Angeles:University of Southern California,2009]。他将原始的视频图像扭曲成与建筑表面方向相对应的图像，然后使用特征匹配的方法将扭曲后的图像注册到纹理缓存中，最后用纹理缓存的内容来更新模型表面的纹理。该方法每次只能使用一路视频进行更新，渲染效率也较低，并且视频图像经扭曲注册后会出现锯齿或变模糊。本发明提出了一种直接使用原始视频图像对虚拟环境进行增强的方法，该方法使用位置相关的多相机实时调度方法，调度相机的视频图像与三维场景融合，实现了多视频流与虚拟场景的融合。

发明内容

本发明的目的是解决静态的虚拟场景不能反映环境动态变化的问题，提出了一种多视频流与三维场景的虚实融合方法，该方法实时调度多个相机，将其视频图像与三维场景进行融合绘制。

为实现上述目的，本发明提出的多视频流与三维场景虚实融合的方法包括以下步骤：

(1)使用一个或多个相机采集环境的视频图像，通过实时或离线的过程对相机采集时的参数信息进行跟踪，参数信息包括但不限于相机的位置、朝向、焦距、时间戳等。

(2)根据相机拍摄时的参数计算相机在三维空间中对应的视锥体，视锥体是与相机拍摄的地理范围相对应的虚拟空间区域，之后判断在用户视点下可见的相机集合，调度合适数量的可见相机的视频图像用于虚实融合。

(3)对每个可见的相机，计算其视频图像与三维场景中虚拟对象间的关联关系，根据该关联关系使用视频投影的方法将视频图像与三维场景中的虚拟对象融合。

(4)将融合结果在虚拟的环境中可视化，为用户提供对虚拟场景的交互漫游以及对指定相机的自动巡逻服务。

其中，使用一个或多个相机采集环境的视频图像，跟踪相机采集时的参数，可通过在采集时使用传感设备实时记录相机参数的方式或通过离线的图像分析方式计算相机的参数。

其中，根据相机拍摄时的参数计算相机在三维空间中对应的视锥体，视锥体代表了相机的拍摄区域。之后根据用户当前的视点位置和方向计算相机视锥体与用户观察区域的相交情况，若视锥体处于观察区域内或与观察区域相交且满足光轴与视点方向不超过一定角度则认为相机可见。定义可见性列表、待加入列表、待退出列表、候选列表和使用中列表等列表管理相机的调度，通过使用中列表加载合适数量的可见相机，将其视频图像与三维场景进行虚实融合。

其中，根据相机拍摄时的参数计算视频图像与三维场景中的点、线、面、体等虚拟对象间的关联关系，将视频图像的内容投影到三维场景中的虚拟对象上，通过视频图像的变化显示场景的动态。

其中，在虚拟环境中对融合结果进行可视化，根据用户需求可同时原始三维场景、原始视频图像、用户视点下的融合效果、相机拍摄视点下的融合效果等多个视图。用户可以在虚拟的场景中交互漫游。根据用户需求规划目标相机间的浏览路径，对相机进行自动巡逻。

与现有技术相比，本发明的有益效果是：

(1)根据视点自动调度场景中的多个可见的相机，实现将多路视频与三维场景同时融合；

(2)融合计算可动态更新，采集的相机的参数发生变化后，只需根据参数重新计算一次即可更新既有融合结果；

(3)具有较好的可扩展性，能适应不同范围的场景，可将视频与场景中的各种对象进行融合，并考虑了对象间的遮挡关系；

(4)将多路分散的视频融合到统一的虚拟环境中，增强了视频间的时空关联，有助于用户对多个视频中的静态和动态内容进行理解；

(5)直接使用相机拍摄的原始视频作为模型纹理，融合结果与原始图像相比，对视频图像中所携带的真实信息损失小，增强了场景真实感和用户体验。

附图说明

图1为本发明多视频流与三维场景虚实融合方法的流程图；

图2为相机采集的环境图像示意图；

图3为相机的视锥体示意图；

图4为相机分布和用户视点示意图；

图5为虚拟环境示意图；

图6为视频图像与虚拟环境融合效果示意图。

具体实施方式

下面结合附图和实例对本发明作进一步详细的描述。本发明提出的多视频流与三维场景虚实融合方法的流程如图1所示，其步骤如下：

步骤1，采用一个或多个相机采集环境的视频图像，如图2所示。跟踪相机采集时的参数信息，跟踪可通过传感器实施记录、离线图像分析等方式实现。跟踪得到的相机参数需要转换到虚拟环境中的坐标系下以完成融合过程。

步骤2，根据相机的参数信息在三维空间中构建相机的视锥体，如图3所示。在图3中，六面体ABCD-EFGH表示某个相机的视锥体，它由六个面包围组成，其中从面ABCD的中心O指向面EFGH的中心O₁的射线为相机的光轴方向。然后根据用户当前视点位置和方向在虚拟环境中构建用户观察区域。在图4中，用户处于位置O，AOB表示用户的观察区域，对场景中的相机：

(1)如果相机位置与视点位置超过一定距离，则认为相机不可见，例如图4中的相机C0、C4与O超过距离d，因此不可见。如果相机位置与视点位置在一定距离内，并且满足相机视锥与用户观察区域不相交或者相机光轴方向与视点方向的夹角超过一定角度，则认为相机不可见，如图4中的相机C1、C2不在用户观察区域内，C3与观察区域相交但其光轴与视点方向的夹角超过一定角度，因此C1、C2、C3都不可见；

(2)如果相机位置与视点位置在一定距离内，并且满并且满足以下条件：相机视锥与用户观察区域相交或在用户观察区域内，且相机光轴方向与视点方向夹角不大于一定角度，则认为相机可见，例如图4中的相机C5在用户观察区域内，C6与用户观察区域相交，且C5、C6的光轴方向与视点方向的夹角在一定范围内，因此C5、C6都可见。

计算出相机的可见性之后，按照如下流程更新使用中的可见相机列表U：

(2.1)保存上次计算得到相机可见性结果，清空退出列表Q和待加入列表J，置可见性列表V中的相机标志位为-1。其中，相机的标志位为1表示相机可见，标志位为0表示相机不可见，-1表示未知；进入步骤(2.2)；

(2.2)对列表V中每个相机，若其位置离开当前视点超过一定距离，认为相机不可见，将其标志置为0；否则进入步骤(2.2)；

(2.3)如果相机的位置与当前视点距离在一定范围内：计算相机视锥体的包围盒，计算用户在当前视点的观察区域，若包围盒与观察区域不相交则认为相机不可见，将相机的标志位置为0；计算相机光轴方向与视点方向的夹角，若夹角大于一定角度，将相机的标志位置为0；否则进入步骤(2.4)；

(2.4)若相机视锥体的包围盒与观察区域相交或者在观察区域内，并且相机光轴方向与视点方向的夹角不大于一定角度则认为相机可见，将相机的标志位置为1。将本次计算得到的可见性列表与上次计算得到的可见性列表进行比较，若相机本次可见而上次不可见则将其送入待加入列表J，若相机本次不可见上次可见则将其送入到退出列表Q；进入步骤(2.5)；

(2.5)将待加入列表J中的相机取出送入候选列表C。根据用户需求，从C中选择合适数量的相机送入使用中列表U并请求相机的视频图像。从候选列表C和使用中列表中U取移除与退出列表Q中相同的相机并释放相关的资源。

步骤3，对列表U中的每个相机，分析视频图像的内容与虚拟环境中的点、线、面、体等虚拟对象之间的关联关系R，虚拟环境的示意如图5所示。在相机视点下渲染其所见场景的深度图D，根据R和D将视频图像的像素C_p转换为场景对象对应的纹理颜色C_t，计算公式为：

$C_t=\left\{\begin{array}{ccc}f(R,C_p,I_t)& \mathrm{if}& d_t<D_t\\ 0& \mathrm{if}& d_t\&GreaterEqual;D_t\end{array}\right.$

其中，I_t为对象对应的纹理坐标，d_t为对象对应的深度值，D_t为深度图D中的深度值，f为根据关联关系R、图像像素C_p以及纹理坐标计I_t算纹理颜色的函数。对于多幅图像融合到同一个对象的情况，计算每幅图像中的像素对对象的贡献，以贡献作为权重计算对象的纹理，计算公式为：

$C=\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&omega;}}_i{C}_{\mathrm{ti}}$

其中，i为图像的索引，C_ti为对象从图像i计算得到的纹理颜色，ω_i为图像i对对象的贡献值。通过以上计算过程，实现了多视频流与三维场景中各个对象的融合过程。

步骤4，在虚拟环境中对视频图像与三维场景的融合结果进行可视化，可视化的结果如图6所示。根据用户需要可同时显示融合前的三维场景、融合前的视频图像、用户视点下的融合结果、相机视点的融合结果。用户可在虚拟环境中交互漫游。根据用户需求选择场景中部分或全部的相机作为自动巡逻的目标，自动规划相机间的巡逻路径并沿该路径对目标相机自动巡逻。

本发明未详细阐述的部分属于本领域的技术人员公知技术。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种多视频流与三维场景的虚实融合方法，先使用一个或多个相机采集环境的视频图像，并对相机采集时的参数进行跟踪；之后根据相机采集时的参数计算相机在三维空间中对应的视锥体，在此基础上根据用户视点的位置和方向计算相机的可见性，调度可见相机的视频图像；然后计算每个可见相机的视频图像与三维场景中虚拟对象间的关联关系，使用该关联关系将视频图像与虚拟对象进行融合；最后在虚拟环境中将融合结果可视化，并为用户提供交互漫游及对相机的自动巡逻服务；其特征在于如下步骤：

(1)使用一个或多个相机采集环境的视频图像，视频图像作为实时展现场景动态的数据源；跟踪相机采集时的参数信息，参数信息用于调度视频图像与三维场景正确地进行融合；

(2)根据相机拍摄时的参数信息计算相机在三维空间中对应的视锥体，该视锥体是相机所拍摄的真实环境的空间范围在虚拟环境的近似或精确表达；根据用户在虚拟环境中的视点位置和方向，计算当前对用户可见的相机集合，调度可见相机的视频图像；

(3)对可见集合中的相机，根据相机参数信息计算其视频图像与三维场景中虚拟对象间的关联关系，利用该关联关系将视频图像与虚拟对象进行虚实融合；

(4)在虚拟的环境中将视频图像与虚拟对象的融合结果进行可视化，用户可在虚拟环境中交互漫游并对指定的相机进行自动巡逻。

2.根据权利要求1所述的方法，其特征在于：步骤(1)使用一个或多个相机采集视频图像，相机包括但不限于普通相机、全景相机；跟踪相机采集时的参数是离线或实时的过程，该过程通过传感器或者图像分析方法计算出相机采集时的参数信息，参数信息包括位置、朝向、焦距、时间戳；参数信息与视频图像一起实时编码传输或保存在本地存储设备中。

3.根据权利要求2所述的方法，其特征在于：步骤(2)对场景中的每个相机，根据其采集时的参数信息计算相机在三维空间中对应的视锥体，视锥体限定了相机在虚拟环境中的观察范围，该范围与相机所拍摄的真实地理空间相对应；之后根据用户当前视点的位置和方向，计算每个相机视锥体与用户观察区域的相交情况，并根据以下的规则判断相机的可见性：

如果相机的位置与视点的位置超过一定距离，则认为相机不可见；如果相机位置与视点位置在一定距离内，并且满足相机视锥与不在用户观察区域内或相机光轴方向与视点方向夹角超过一定角度，则认为相机不可见；

如果相机位置与视点位置在一定距离内，并且满足以下条件：相机视锥与用户观察区域相交或在用户观察区域内，且相机光轴方向与视点方向夹角不大于一定角度，则认为相机可见；

以上对相机可见性的判断过程进行加速，通过将相机根据位置分布进行分组，计算时根据用户视点查找附近分组从而减少计算量；计算出相机的可见性后，按照如下流程更新使用中的可见相机列表U：

(2.1)保存上次计算得到相机可见性结果，清空退出列表Q和待加入列表J，置可见性列表V中的相机标志位为-1；其中，相机的标志位为1表示相机可见，标志位为0表示相机不可见，-1表示未知；进入步骤(2.2)；

(2.2)对列表V中每个相机，若其位置离开当前视点超过一定距离，认为相机不可见，将其标志置为0；否则进入步骤(2.2)；

(2.3)如果相机的位置与当前视点距离在一定范围内：计算相机视锥体的包围盒，计算用户在当前视点的观察区域，若包围盒与观察区域不相交则认为相机不可见，将相机的标志位置为0；计算相机光轴方向与视点方向的夹角，若夹角大于一定角度，将相机的标志位置为0；否则进入步骤(2.4)；

(2.4)若相机视锥体的包围盒与观察区域相交或者在观察区域内，并且相机光轴方向与视点方向的夹角不大于一定角度则认为相机可见，将相机的标志位置为1；将本次计算得到的可见性列表与上次计算得到的可见性列表进行比较，若相机本次可见而上次不可见则将其送入待加入列表J，若相机本次不可见上次可见则将其送入到退出列表Q；进入步骤(2.5)；

(2.5)将待加入列表J中的相机取出送入候选列表C；根据用户需求，从C中选择合适数量的相机送入使用中列表U并请求相机的视频图像；从候选列表C和使用中列表中U取移除与退出列表Q中相同的相机并释放相关的资源；

根据应用需求，通过时间戳参数对列表U中各相机的视频图像进行同步处理。

4.根据权利要求1所述的方法，其特征在于：步骤(3)对场景中每个可见的相机，根据相机拍摄时的参数信息计算其视频图像的内容与三维场景中虚拟对象间的关联关系，在相机参数未发生变化的情况下只用计算一次即可；之后根据关联关系将多幅视频图像通过视频投影的方法与三维场景中虚拟对象进行融合，对象包括点、线、面以及三者的组合体；多幅视频图像的内容可以与同一个对象进行融合，视频图像的交叉部分通过特征匹配、透明通道、加权平均等方法进行处理；融合时需要考虑对象间的遮挡关系，通过深度图方法快速判断对象间的遮挡关系，被遮挡部分使用原始纹理或根据具体需求指定，未被遮挡部分与视频图像进行融合。

5.根据权利要求1所述的方法，其特征在于：步骤(4)将视频图像与三维场景的融合结果在虚拟环境中进行可视化，并根据需求追加显示原始三维场景、原始视频图像、用户视点下的融合效果、相机拍摄视点下的融合效果等视图；用户可以在虚拟的场景进行交互漫游；根据用户的需求选择场景中部分或全部的相机，通过规划相机间的浏览路径实现对这些相机的自动巡逻，路径包括时间、视点位置、视点方向信息。