CN111402374A - 多路视频与三维模型融合方法及其装置、设备和存储介质 - Google Patents

Abstract

本申请提供的一种多路视频与三维模型融合方法及其装置、设备和存储介质，通过获取多个监控相机的内外参数、及视频数据以形成三维场景模型，通过渲染得到对应各所述监控相机的监控深度图像，以及对虚拟相机的虚拟深度图像、及彩色图像，依据所述虚拟相机的内外参数、虚拟深度图像、及各所述监控相机的监控深度图像以选取与所述虚拟相机的视角最接近的监控相机，并判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡，最终得到对应当前帧的经完整渲染的三维场景模型。本申请能够极大改善视频与三维模型融合的效果，避免了场景物体出现重叠或颜色失真的问题。

Description

多路视频与三维模型融合方法及其装置、设备和存储介质

技术领域

本申请涉及三维模型渲染、图像处理技术领域。尤其是涉及一种多路视频与三维模型融合方法及其装置、设备和存储介质。

背景技术

目前，城市中有大量的摄像头用于视频监控，基本只用到了二维的图像信息。事实上，还能够对监控相机的空间位置信息加以利用。

在现有相关技术中，已经有三维模型与监控视频的融合技术。这种技术通常是从监控视频流提取视频帧，并将视频帧投射到三维空间场景里，以实现视频数据与三维模型数据进行全时空立体融合，进而使得三维模型和通过监控视频实时拍得到的三维场景图像实现实时完美结合。该技术能够实现三维场景的直观表达，得到被遮挡物体的信息等。

但是，由于监控场景的复杂性，往往在现有相关技术中，所建立的三维模型效果，或者在所建立的三维模型中选取任意一角度的观察效果并不理想。例如，两个或两个以上监控视频能共同拍摄到的区域的会出现重叠、扭曲等无法顺滑拼接的问题。再或者，在任选一观察角度所呈现的画面中，图像像素颜色或出现失真或者不匹配的问题。

申请内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供一种多路视频与三维模型融合方法及其装置、设备和存储介质，用于解决现有技术中三维视频融合效果不佳的问题。

为实现上述目的及其他相关目的，本申请提供一种多路视频与三维模型融合方法，所述方法包括：获取多个监控相机的内外参数、及视频数据，据以形成对应当前帧的三维场景模型、及对应所述三维场景模型的场景模型颜色贴图；在所述三维场景模型中分别对各所述监控相机的视角下的三维场景进行渲染以得到对应各所述监控相机的监控深度图像，以及对应虚拟相机的视角下的三维场景进行渲染以得到虚拟深度图像、及彩色图像；依据所述虚拟相机的内外参数、虚拟深度图像、及各所述监控相机的监控深度图像以选取与所述虚拟相机的视角最接近的监控相机，并判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡；若被遮挡，则判断是否存在下一个与所述虚拟相机的视角最接近的监控相机；若存在，则重复上一步骤；若不存在，则依据所述场景颜色贴图的像素颜色进行渲染；若未被遮挡，则依据当前选取的最接近的所述监控相机的视频解析图像中对应所述目标点的像素颜色对所述虚拟相机视角下的目标点进行渲染；最终得到对应当前帧的经完整渲染的三维场景模型。

于本申请的一实施例中，依据所述虚拟相机的内外参数、虚拟深度图像、及各所述监控相机的监控深度图像以选取与所述虚拟相机的视角最接近的监控相机的方法包括：依据所述虚拟相机的内外参数、及虚拟深度图像计算其视角下所述目标点在所述三维场景模型中的三维坐标；计算所述目标三维坐标分别到所述虚拟相机、及各监控相机的位置的方向向量，并计算所述虚拟相机对应的方向向量分别与各所述监控相机对应的方向向量之间的夹角；选取各所述夹角中最小的夹角所对应的所述监控相机为与所述虚拟相机的视角最接近的监控相机。

于本申请的一实施例中，判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡的方法包括：依据当前选取的最接近的所述监控相机的内外参数计算所述目标点在所选监控相机的视角下的第一深度值；依据当前选取的最接近的所述监控相机所对应的所述监控深度图像以获取其上对应所述目标点的第二深度值；判断所述第一深度值是否大于所述第二深度值；若是，则判定为被遮挡；若否，则判定为未被遮挡。

于本申请的一实施例中，依据当前所选取的述监控相机的内外参数计算所述目标点在所选监控相机的视角下的第一深度值所依据的公式如下：

其中，X、Y、Z为所述目标点在所述三维模型数据中的三维坐标；x、y为所述目标点在所选监控相机的物理坐标系下的二维坐标；R、T、K为所述监控相机的内外参数，d为所述目标点在所选监控相机的视角下的深度值。

于本申请的一实施例中，所述判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡的方法还包括：预设一偏移量，以判断所述第一深度值是否大于所述第二深度值与所述偏移量之和；若是，则判定为被遮挡；若否，则判定为未被遮挡。

于本申请的一实施例中，所述多个监控相机的内外参数、及视频数据是经过二进制格式处理后进行获取的。

于本申请的一实施例中，所述场景模型颜色贴图是依据所述三维场景模型得到的静态场景颜色贴图；所述场景颜色贴图包含不同解析度的颜色数据以匹配所述三维场景模型中不同的像素精度。

为实现上述目的及其他相关目的，本申请提供一种多路视频与三维模型融合装置，所述装置包括：获取模块，用于获取多个监控相机的内外参数、及视频数据，据以形成对应当前帧的三维场景模型、及对应所述三维场景模型的场景模型颜色贴图；渲染模块，用于在所述三维场景模型中分别对各所述监控相机的视角下的三维场景进行渲染以得到对应各所述监控相机的监控深度图像，以及对应虚拟相机的视角下的三维场景进行渲染以得到虚拟深度图像、及彩色图像；处理模块，用于依据所述虚拟相机的内外参数、虚拟深度图像、及各所述监控相机的监控深度图像以选取与所述虚拟相机的视角最接近的监控相机，并判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡；若被遮挡，则判断是否存在下一个与所述虚拟相机的视角最接近的监控相机；若存在，则重复上一步骤；不存在，则依据所述场景颜色贴图的像素颜色进行渲染；若未被遮挡，则依据当前选取的最接近的所述监控相机的视频解析图像中对应所述目标点的像素颜色对所述虚拟相机视角下的目标点进行渲染；最终得到对应当前帧的经完整渲染的三维场景模型。

为实现上述目的及其他相关目的，本申请提供一种多路视频与三维模型融合设备，所述设备包括：存储器、处理器、及通信器；所述存储器用于存储程序；所述处理器运行程序实现如上所述的多路视频与三维模型融合方法；所述通信器用于与外部设备通信连接。

为实现上述目的及其他相关目的，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的多路视频与三维模型融合方法。

综上所述，本申请提供的一种多路视频与三维模型融合方法及其装置、设备和存储介质。

具有以下有益效果：

能够极大改善视频与三维模型融合的效果，避免了场景物体出现重叠或颜色失真的问题。

附图说明

图1显示为本申请于一实施例中的多路视频与三维模型融合方法的流程示意图。

图2显示为本申请于一实施例中的多路视频与三维模型融合装置的模块示意图。

图3显示为本申请于一实施例中的多路视频与三维模型融合设备的结构示意图。

具体实施方式

以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，遂图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图1所示，展示本申请于一实施例中的多路视频与三维模型融合方法的流程示意图。如图所示，所述方法包括：

步骤S101：获取多个监控相机的内外参数、及视频数据，据以形成对应当前帧的三维场景模型、及对应所述三维场景模型的场景模型颜色贴图。

于本实施例中，所述监控相机为可拍摄视频也可拍图像的相机或摄像头，例如位于十字路口的监视器、摄像头等。

于本申请的一实施例中，所述多个监控相机的内外参数、及视频数据是经过二进制格式处理后进行获取的。

具体来说，可从二进制文件中读取监控相机的内外位置参数、及视频数据。使用二进制文件而不是类似于OBJ这样的格式的文件的原因在于：一方面，OBJ格式的文件是以文本形式进行保存的，读取时需要解析文本，十分缓慢，而二进制文件则是直接的连续读取，速度可以极大地提升。另一方面，经过二进制格式处理后的文件可以进行加密或者混淆，以保证数据的安全性。

于本申请的一实施例中，所述场景模型颜色贴图是依据所述三维场景模型得到的静态场景颜色贴图；所述场景颜色贴图包含不同解析度的颜色数据以匹配所述三维场景模型中不同的像素精度。

于本实施例中，所述场景模型颜色贴图是依据所述三维场景模型得到的，即可形成对应各监控相机的场景模型颜色贴图，也即相当于视频融合前的模型颜色。

于本实施例中，在获取视频数据的视频流链接后，开始解码。其中，获取方式根据具体情况而定，一般来说视频流使用拥有较低延迟性的rtsp视频流。将视频流解析为rgb图像，以得到视频解析图像，之后可放入数据缓存器中，方便后续的使用和处理。

需要说明的是，这里的到的视频解析图像与依据所述三维场景模型得到的静态场景颜色贴图并不完全相同，具体来说，所述视频解析图像所包含的颜色数据更优，颜色数据更全。

而静态场景颜色贴图的目的是为了将颜色和三维数据分开，从而可以根据不同场景选择高/低精度的三维数据，以匹配相应地高/低解析度的颜色数据。

综合来看，这也是本申请后续方法中通过判断采用视频解析图像还是静态场景颜色贴图进行颜色渲染的原因。

于本实施例中，依据多个监控相机的内外参数、及视频数据，可形成三维场景模型。

举例来说，过两个相隔一定距离的相机同时获取同一场景的两幅图像，通过立体匹配算法找到两幅图像中对应的像素点，随后根据三角原理计算出视差信息，而视差信息通过转换可用于表征场景中物体的深度信息。基于立体匹配算法，还可通过拍摄同一场景下不同角度的一组图像来获得该场景的深度图像。

于本实施例中，根据监控相机位置的三维坐标和监控相机的姿态角度(及监控相机的内外参数)计算出对应各监控相机的视图矩阵，这其中主要进行了坐标转换，即将三维模型从所在的世界坐标系转换到相机坐标系下。

于本实施例中，本申请用到的坐标转换还包括二维坐标与三维坐标间的转换以及三维坐标系之间的转换。

其中，二维坐标与三维坐标通过3x3的相机内参矩阵进行变换，从三维坐标变换为二维坐标是会将深度归一化因此会失去深度信息。与之相反，从二维坐标变换为三维坐标时会需要深度信息，在一般情况下是假定图像上所有点的深度相同进行处理。

而三维坐标系之间的转换则是如借助投影矩阵进行变换。三维坐标变换包括绕x、y、z轴的旋转和在xyz方向上的平移，旋转用3x3的矩阵进行变换，平移用3x1的矩阵进行表示，合并后变为3x4的矩阵。为方便计算使用齐次坐标系，并在3x4的矩阵下方添加一行(0，0，0，1)使得它成为方阵。

步骤S102：在所述三维场景模型中分别对各所述监控相机的视角下的三维场景进行渲染以得到对应各所述监控相机的监控深度图像，以及对应虚拟相机的视角下的三维场景进行渲染以得到虚拟深度图像、及彩色图像。

需要说明的是，这里通过构建出三维场景模型可以获得针对场景的深度信息，当然在三维场景模型的基础上进行渲染也可以或的深度信息，其区别在于获取深度信息的方法不同。而上述所提到的获取深度信息的方法目前已有较多案例或应用。

于本实施例中，一方面可以在通过三维场景模型获取深度信息的基础上，通过渲染得到对应各监控相机的深度信息；另一方面，还可以是在三维场景模型的基础上，通过渲染得到对应各监控相机的深度信息。

于本实施例中，所述监控深度图像或虚拟深度图像即包含当前帧场景中的深度信息的图像，所述色彩图像则包含当前帧场景中的色彩信息的图像。

于本实施例中，所述虚拟相机并非为“真实”的相机，其为观察者在三维场景模型中查看场景的视角，帮助观察者从场景的任意视角理解多路视频影像。在本申请中借用虚拟相机，来指代于三维场景中任意的一视角。

步骤S103：依据所述虚拟相机的内外参数、虚拟深度图、及各所述监控相机的监控深度图像以选取与所述虚拟相机的视角最接近的监控相机，并判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡。

于本实施例中，到一个相机的某一条光线发射出去可能于两个三维世界中的物体相交。使用三维坐标变换进行投影的话，两个点最终会投影到相机画面上的同一个像素点，因此需要判断两个点在对应相机视角下的实际深度，再将相应的视频贴到离相机更近的物体上

于本申请的一实施例中，依据所述虚拟相机的内外参数、虚拟深度图像、及各所述监控相机的监控深度图像以选取与所述虚拟相机的视角最接近的监控相机的方法包括：

a、依据所述虚拟相机的内外参数、及虚拟深度图像计算其视角下所述目标点在所述三维场景模型中的三维坐标。

于本实施例中，二维坐标与三维坐标通过3x3的相机内参矩阵进行变换，从三维坐标变换为二维坐标是会将深度归一化因此会失去深度信息。与之相反，从二维坐标变换为三维坐标时会需要深度信息，在一般情况下是假定图像上所有点的深度相同进行处理。

b、计算所述目标三维坐标分别到所述虚拟相机、及各监控相机的位置的方向向量，并计算所述虚拟相机对应的方向向量分别与各所述监控相机对应的方向向量之间的夹角。

举例来说，三维坐标系之间的转换则是如借助投影矩阵进行变换。三维坐标变换包括绕x、y、z轴的旋转和在xyz方向上的平移，旋转用3x3的矩阵进行变换，平移用3x1的矩阵进行表示，合并后变为3x4的矩阵。为方便计算使用齐次坐标系，并在3x4的矩阵下方添加一行(0，0，0，1)使得它成为方阵。

c、选取各所述夹角中最小的夹角所对应的所述监控相机为与所述虚拟相机的视角最接近的监控相机。

于本实施例中，通过计算所述虚拟相机于各所述监控相机之间的夹角，以便在最小夹角在后续被判断为遮挡时，选取下一个最小夹角。

于本申请的一实施例中，判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡的方法包括：

a、依据当前选取的最接近的所述监控相机的内外参数计算所述目标点在所选监控相机的视角下的第一深度值。

于本申请的一实施例中，依据当前所选取的述监控相机的内外参数计算所述目标点在所选监控相机的视角下的第一深度值所依据的公式如下：

其中，X、Y、Z为所述目标点在所述三维模型数据中的三维坐标；x、y为所述目标点在所选监控相机的物理坐标系下的二维坐标；R、T、K为所述监控相机的内外参数，d为所述目标点在所选监控相机的视角下的深度值。

于本实施例中，具体来说，R、T为所述监控相机的内参数，K为所述监控相机的外参数。

通过上述该公式，可以求得对应所述目标点在所选监控相机的视角下的深度值。

b、依据当前选取的最接近的所述监控相机所对应的所述监控深度图像以获取其上对应所述目标点的第二深度值。

于本实施例中，与上述得到第一深度值不同，第二深度值是依据当前选取的最接近的所述监控相机在之前步骤中通过选渲染所获取的监控深度图像，并对应所述目标点位置，得到相应的深度值。

c、判断所述第一深度值是否大于所述第二深度值；若是，则判定为被遮挡；若否，则判定为未被遮挡。

于本申请的一实施例中，所述判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡的方法还包括：预设一偏移量，以判断所述第一深度值是否大于所述第二深度值与所述偏移量之和；若是，则判定为被遮挡；若否，则判定为未被遮挡。

于本实施例中，通过预设偏移量，可以更灵活地适应不同环境的场景，例如，有些场景中的深度值差距不大，需要很精准细微的进行判断，而有些场景中的深度值差距很大，不需要很细微的判断，因此可以提高便宜量，以减少整个融合或渲染过程中的处理量和处理时间，大大提高处理速度。

另外，所述偏移量还可以通过修改以起到不同的效果，从而可以适用于不同型号或类型的监控相机设备。

步骤S104：若被遮挡，则判断是否存在下一个与所述虚拟相机的视角最接近的监控相机；若存在，则重复上一步骤；若不存在，则依据所述场景颜色贴图的像素颜色进行渲染。

于本实施例中，在通过步骤S103的判断之后，若被遮挡，则需要判断是否存在下一个与所述虚拟相机的视角最接近的监控相机。

于本实施例中，这里判断视角是否最接近，针对这一视角可预设一个范围，如0°到90°，也就是说，当虚拟相机与监控相机之间的夹角大于90°时，不算入接近的视角。即只判与断虚拟相机之间夹角小于等于90°所对应的监控相机。

于本实施例中，若存在下一个与所述虚拟相机的视角最接近的监控相机，那么重复步骤S103，并再次针对下一个视角最接近的监控相机以判断其视角下的目标点是否被遮挡。

而若不存在，即满足视角最接近的所有监控相机都判断为被遮挡，那么将依据由步骤S101所获取的所述场景颜色贴图的像素颜色进行渲染。

步骤S105：若未被遮挡，则依据当前选取的最接近的所述监控相机的视频解析图像中对应所述目标点的像素颜色对所述虚拟相机视角下的目标点进行渲染。

于本实施例中，所述视频解析图像由步骤S101或的视频数据进行解析以得到的rgb图像，并放入数据缓存器中，方便后续的使用和处理。

需要说明的是，这里的到的视频解析图像与依据所述三维场景模型得到的静态场景颜色贴图并不完全相同，具体来说，所述视频解析图像所包含的颜色数据更优，颜色数据更全。

而静态场景颜色贴图的目的是为了将颜色和三维数据分开，从而可以根据不同场景选择高/低精度的三维数据，以匹配相应地高/低解析度的颜色数据。

综合来看，这也是本申请后续方法中通过判断采用视频解析图像还是静态场景颜色贴图进行颜色渲染的原因。

步骤S106：最终得到对应当前帧的经完整渲染的三维场景模型。

需要说明的是，对于三维视频融合过程中常出现的重叠区域，如果进行简单的平均值计算，那么如果有车辆或者行人经过则会出现重影。为了更好的显示效果，需要取距离当前虚拟相机视角最近的相机视频进行贴图。因此本申请所述方法的整个多角度融合过程，可以看作将视频一层一层地贴到模型上，次序按照监控视角距离虚拟相机视角角度差，从大到小依次从下往上堆叠。

于本实施例中，通过上述个步骤的过程，最终实现了针对当前帧场景的三维场景模型，合理地进行了多角度的渲染，使得在当前帧场景中任意一角度的观察效果都是优秀的。

如图2所示，展示本申请于一实施例中的多路视频与三维模型融合装置的模块示意图。如图所示，所述多路视频与三维模型融合装置200包括：

获取模块201，用于获取多个监控相机的内外参数、及视频数据，据以形成对应当前帧的三维场景模型、及对应所述三维场景模型的场景模型颜色贴图；

渲染模块202，用于在所述三维场景模型中分别对各所述监控相机的视角下的三维场景进行渲染以得到对应各所述监控相机的监控深度图像，以及对应虚拟相机的视角下的三维场景进行渲染以得到虚拟深度图像、及彩色图像；

处理模块203，用于依据所述虚拟相机的内外参数、虚拟深度图像、及各所述监控相机的监控深度图像以选取与所述虚拟相机的视角最接近的监控相机，并判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡；若被遮挡，则判断是否存在下一个与所述虚拟相机的视角最接近的监控相机；若存在，则重复上一步骤；不存在，则依据所述场景颜色贴图的像素颜色进行渲染；若未被遮挡，则依据当前选取的最接近的所述监控相机的视频解析图像中对应所述目标点的像素颜色对所述虚拟相机视角下的目标点进行渲染；最终得到对应当前帧的经完整渲染的三维场景模型。

于本申请的一实施例中，所述多路视频与三维模型融合装置200可以是图形处理器，例如，可编程图形渲染管线与着色器。其中，所述图形处理器可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现。

其中，所述可编程图形渲染管线是一种现代的GPU渲染架构，它的主要流程包括：数据填充，坐标变换以及顶点光照，裁剪和光栅化，像素处理，ALPHA测试、深度测试、全局混合，输出。其中，可编程的特性主要体现在坐标变换步骤和像素处理步骤。

以opengl为代表的现代的图形处理接口拥有可编程的渲染模块，包括顶点着色器和片段着色器。其中顶点着色器对应了可编程图形渲染管线中的坐标变换和顶点光照部分，片段着色器对应了可编程图形渲染管线中的像素处理部分。

顶点着色程序从GPU寄存器中提取顶点位置、法向量、纹理坐标等信息，完成顶点坐标空间转换、法向量空间转换、光照计算等操作，最后将计算好的数据传送到指定寄存器中；然后片断着色程序从中获取需要纹理坐标、光照信息等数据，并根据这些信息以及从应用程序传递的信息进行每个片断的颜色计算，最后将处理后的数据送光栅操作模块。

其中，所述着色器技术极大地提高了图形渲染的可控性和效果，是本发明的基础。本发明的模型渲染部分使用到了可编程渲染器，并通过控制渲染器输出来获取需要的数据。

于本申请的一实施例中，通过各模块配合使用能够实现如图1所述的多路视频与三维模型融合方法的各步骤。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，处理模块203可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上处理模块203的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

如图3所示，展示本申请于一实施例中的多路视频与三维模型融合设备的结构示意图。如图所示，所述多路视频与三维模型融合设备300包括：存储器301、处理器302、及通信器303；所述存储器301用于存储程序；所述处理器302运行程序实现如图1所述的多路视频与三维模型融合方法；所述通信器303用于与外部设备通信连接。

其中，所述外部设备可以包括监控相机、摄像头等，以及服务器、终端等。

所述存储器301可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

其中，所述处理器302还可以是图形处理器，例如，可编程图形渲染管线与着色器。

此外，所述处理器302可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

所述通信器303用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信连接。所述通信器303可包含一组或多组不同通信方式的模块，例如，与CAN总线通信连接的CAN通信模块。所述通信连接可以是一个或多个有线/无线通讯方式及其组合。通信方式包括：互联网、CAN、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字用户线(DSL)网络、帧中继网络、异步传输模式(ATM)网络、虚拟专用网络(VPN)和/或任何其它合适的通信网络中的任何一个或多个。例如：WIFI、蓝牙、NFC、GPRS、GSM、及以太网中任意一种及多种组合。

为实现上述目的及其他相关目的，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1所述的多路视频与三维模型融合方法。

所述计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，本申请提供的一种多路视频与三维模型融合方法及其装置、设备和存储介质，通过获取多个监控相机的内外参数、及视频数据，据以形成对应当前帧的三维场景模型、及对应所述三维场景模型的场景模型颜色贴图；在所述三维场景模型中分别对各所述监控相机的视角下的三维场景进行渲染以得到对应各所述监控相机的监控深度图像，以及对应虚拟相机的视角下的三维场景进行渲染以得到虚拟深度图像、及彩色图像；依据所述虚拟相机的内外参数、虚拟深度图像、及各所述监控相机的监控深度图像以选取与所述虚拟相机的视角最接近的监控相机，并判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡；若被遮挡，则判断是否存在下一个与所述虚拟相机的视角最接近的监控相机；若存在，则重复上一步骤；若不存在，则依据所述场景颜色贴图的像素颜色进行渲染；若未被遮挡，则依据当前选取的最接近的所述监控相机的视频解析图像中对应所述目标点的像素颜色对所述虚拟相机视角下的目标点进行渲染；最终得到对应当前帧的经完整渲染的三维场景模型。

本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (10)

1.一种多路视频与三维模型融合方法，其特征在于，所述方法包括：

获取多个监控相机的内外参数、及视频数据，据以形成对应当前帧的三维场景模型、及对应所述三维场景模型的场景模型颜色贴图；

在所述三维场景模型中分别对各所述监控相机的视角下的三维场景进行渲染以得到对应各所述监控相机的监控深度图像，以及对应虚拟相机的视角下的三维场景进行渲染以得到虚拟深度图像、及彩色图像；

依据所述虚拟相机的内外参数、虚拟深度图像、及各所述监控相机的监控深度图像以选取与所述虚拟相机的视角最接近的监控相机，并判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡；

若被遮挡，则判断是否存在下一个与所述虚拟相机的视角最接近的监控相机；若存在，则重复上一步骤；若不存在，则依据所述场景颜色贴图的像素颜色进行渲染；

若未被遮挡，则依据当前选取的最接近的所述监控相机的视频解析图像中对应所述目标点的像素颜色对所述虚拟相机视角下的目标点进行渲染；

最终得到对应当前帧的经完整渲染的三维场景模型。

2.根据权利要求1所述的多路视频与三维模型融合方法，其特征在于，依据所述虚拟相机的内外参数、虚拟深度图像、及各所述监控相机的监控深度图像以选取与所述虚拟相机的视角最接近的监控相机的方法包括：

依据所述虚拟相机的内外参数、及虚拟深度图像计算其视角下所述目标点在所述三维场景模型中的三维坐标；

计算所述目标三维坐标分别到所述虚拟相机、及各监控相机的位置的方向向量，并计算所述虚拟相机对应的方向向量分别与各所述监控相机对应的方向向量之间的夹角；

选取各所述夹角中最小的夹角所对应的所述监控相机为与所述虚拟相机的视角最接近的监控相机。

3.根据权利要求1所述的多路视频与三维模型融合方法，其特征在于，判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡的方法包括：

依据当前选取的最接近的所述监控相机的内外参数计算所述目标点在所选监控相机的视角下的第一深度值；

依据当前选取的最接近的所述监控相机所对应的所述监控深度图像以获取其上对应所述目标点的第二深度值；

判断所述第一深度值是否大于所述第二深度值；若是，则判定为被遮挡；若否，则判定为未被遮挡。

4.根据权利要求3所述的多路视频与三维模型融合方法，其特征在于，依据当前所选取的述监控相机的内外参数计算所述目标点在所选监控相机的视角下的第一深度值所依据的公式如下：

其中，X、Y、Z为所述目标点在所述三维模型数据中的三维坐标；x、y为所述目标点在所选监控相机的物理坐标系下的二维坐标；R、T、K为所述监控相机的内外参数，d为所述目标点在所选监控相机的视角下的深度值。

5.根据权利要求3所述的多路视频与三维模型融合方法，其特征在于，所述判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡的方法还包括：

预设一偏移量，以判断所述第一深度值是否大于所述第二深度值与所述偏移量之和；

若是，则判定为被遮挡；若否，则判定为未被遮挡。

6.根据权利要求1所述的多路视频与三维模型融合方法，其特征在于，所述多个监控相机的内外参数、及视频数据是经过二进制格式处理后进行获取的。

7.根据权利要求1所述的多路视频与三维模型融合方法，其特征在于，所述场景模型颜色贴图是依据所述三维场景模型得到的静态场景颜色贴图；所述场景颜色贴图包含不同解析度的颜色数据以匹配所述三维场景模型中不同的像素精度。

8.一种多路视频与三维模型融合装置，其特征在于，所述装置包括：

获取模块，用于获取多个监控相机的内外参数、及视频数据，据以形成对应当前帧的三维场景模型、及对应所述三维场景模型的场景模型颜色贴图；

渲染模块，用于在所述三维场景模型中分别对各所述监控相机的视角下的三维场景进行渲染以得到对应各所述监控相机的监控深度图像，以及对虚拟相机的视角下的三维场景进行渲染以得到虚拟深度图像、及彩色图像；

处理模块，用于依据所述虚拟相机的内外参数、虚拟深度图像、及各所述监控相机的监控深度图像以选取与所述虚拟相机的视角最接近的监控相机，并判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡；若被遮挡，则判断是否存在下一个与所述虚拟相机的视角最接近的监控相机；若存在，则重复上一步骤；不存在，则依据所述场景颜色贴图的像素颜色进行渲染；若未被遮挡，则依据当前选取的最接近的所述监控相机的视频解析图像中对应所述目标点的像素颜色对所述虚拟相机视角下的目标点进行渲染；最终得到对应当前帧的经完整渲染的三维场景模型。

9.一种多路视频与三维模型融合设备，其特征在于，所述设备包括：存储器、处理器、及通信器；

所述存储器用于存储程序；所述处理器运行程序实现权利要求1至7中任意一项所述的多路视频与三维模型融合方法；所述通信器用于与外部设备通信连接。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任意一项所述的多路视频与三维模型融合方法。

Images