CN108665536A - 三维与实景数据可视化方法、装置与计算机可读存储介质 - Google Patents

Abstract

本发明提供了一种三维与实景数据可视化方法、装置与计算机可读存储介质，该方法包括采集目标区域的倾斜三维影像数据、实景影像数据以及点云数据；建立所述目标区域的三维模型；将所述倾斜三维影像数据与所述三维模型进行空间匹配融合，生成倾斜三维环境模型；将所述实景影像数据、所述点云数据以及所述三维模型进行匹配融合，生成实景影像环境模型；将倾斜三维环境模型与实景影像环境模型进行坐标匹配融合，生成所述目标区域的三维实景可视化模型。通过该方法能够实现倾斜三维环境与实景影像的空间融合，从而实现倾斜三维环境与实景影像融合数据的可视化，从而导致视觉参考信息多样性。

Description

三维与实景数据可视化方法、装置与计算机可读存储介质

技术领域

本发明涉及三维与实景数据可视化领域，具体涉及一种三维与实景数据可视化方法、装置与计算机可读存储介质。

背景技术

城市规划作为当今城市发展的引导因素，在城市建设进程中发挥着越来越重要的作用。随着城市规模扩大，建设项目成倍增长，城市规划的方法与内容也在不断创新。在规划论证与报建流程中，涉及了城市空间与景观控制的多方面审查，需要把规划方案嵌入现状环境，进行诸如城市空间环境控制、城市天际轮廓线控制、景观控制、场所控制、公共空间控制、沿街界面控制、建筑风貌控制的可视化论证分析。由于传统的二维平面图在空间表达效果上有局限性，已逐渐不能满足当今的需求。基于立体空间的新型三维表达技术将成为新时代城市规划辅助决策工作的主力支撑技术。

目前，通过建立倾斜摄影三维模型和对连续实景影像数据通过对图像的透视处理建立模拟真实三维实景，形成对场景的不同表达。但是，现有的倾斜三维与实景影像技术之间相对独立在空间坐标转换、点线面覆盖、投影变换算法上缺少有针对性的解决方案，使得倾斜三维环境与实景影像场景缺乏空间耦合，倾斜三维环境与实景影像场景的可视化具有局限性，从而导致视觉参考信息多样性受到限制。

发明内容

本发明的目的是提供一种三维与实景数据可视化方法、装置与计算机可读存储介质，能够实现倾斜三维环境与实景影像的空间融合，从而实现倾斜三维环境与实景影像融合数据的可视化，从而导致视觉参考信息多样性。

本发明实施例提供了一种三维与实景数据可视化方法，包括：

采集目标区域的倾斜三维影像数据、实景影像数据以及点云数据；

建立所述目标区域的三维模型；

将所述倾斜三维影像数据与所述三维模型进行空间匹配融合，生成倾斜三维环境模型；

将所述实景影像数据、所述点云数据以及所述三维模型进行匹配融合，生成实景影像环境模型；

将倾斜三维环境模型与实景影像环境模型进行坐标匹配融合，生成所述目标区域的三维实景可视化模型。

优选地，所述将所述实景影像数据、所述点云数据以及所述三维模型进行匹配融合，生成实景影像环境模型，具体包括：

根据所述实景影像数据拍摄时获得的立体坐标以及光学角度，计算所述实景影像数据的位置姿态参数；

根据所述实景影像数据的位置姿态参数，将所述点云数据投影到所述实景影像数据中，生成点云全景图；

将所述三维模型进行点云化处理，生成三维点云模型；

根据所述实景影像数据的位置姿态参数以及所述三维点云模型的三维坐标，计算所述三维点云模型对应所述实景影像数据的像点坐标；

根据所述三维点云模型对应的像点坐标以及所述实景影像数据对应的像素点坐标，建立所述三维点云模型与所述实景影像数据的映射关系；

根据所述三维点云模型与所述实景影像数据的映射关系，将所述三维点云模型投影到所述实景影像数据中，生成全景图；

将所述点云全景图与所述全景图进行融合校正，建立所述实景影像环境模型。

优选地，将所述三维模型进行点云化处理，生成三维点云模型，具体包括：

对所述三维模型进行网格化处理，共获得所述三维模型对应的N个网格；

获取任意一个所述网格的中心点，并提取任意一个所述网格的中心点对应于预设三维坐标系的三维坐标；

根据任意一个所述网格的中心点对应的三维坐标，生成所述三维点云模型。

优选地，所述根据所述实景影像数据的位置姿态参数以及所述三维点云模型的三维坐标，计算所述三维点云模型对应所述实景影像数据的像点坐标，具体包括：

所述实景影像数据的位置姿态参数包括全景球面上像素点的坐标(α，β)、全景球面上像素点与球心的距离d；

根据全景球面上像素点的坐标(α，β)、全景球面上像素点与球心的距离d以及所述三维点云模型的三维坐标(X，Y，Z)，建立三点一线共线方程：

其中，m₁、n₁、p₁、m₂、n₂、p₂、m₃、n₃、p₃分别为所述实景影像数据的3外方位角元素组成的9个方向余弦；(X_s，Y_s，Z_s)为所述实景影像数据的全景球面球心的三维坐标；

根据所述三点一线共线方程，构建旋转矩阵：

采用所述旋转矩阵R_αβ对所述三点一线共线方程进行迭代计算，获得所述三维点云模型对应所述实景影像数据的像点坐标(α_i，β_i，d_i)。

优选地，所述根据所述三维点云模型与所述实景影像数据的映射关系，将所述三维点云模型投影到所述实景影像数据中，生成全景图之前还包括：

以所述像点坐标为原点，搜索设定距离内的所述三维点云模型的三维坐标，得到三维坐标集；

采用迭代最近点算法：

从所述三维坐标集中提取与所述像点坐标距离最近的三维坐标P_min(x，y，z)进行配准；

其中，P_i为所述三维坐标集，T为平移矩阵，Q为所述像点坐标。

优选地，所述根据所述三维点云模型与所述实景影像数据的映射关系，将所述三维点云模型投影到所述实景影像数据中，生成全景图，具体包括：

根据所述三维点云模型与所述实景影像数据的映射关系，将所述三维点云模型投影到所述实景影像数据进行表面纹理渲染；

以所述三维点云模型的点云附属距离值为RGB深度值，对所述三维点云模型进行色彩渲染，生成所述全景图。

优选地，所述将倾斜三维环境模型与实景影像环境模型进行坐标匹配融合，生成所述目标区域的三维实景可视化模型，具体包括：

将所述实景影像环境模型的当前坐标转换为与所述将倾斜三维环境模型的本地坐标系对应的本地坐标；

将所述实景影像环境模型中的预设观测点通过坐标匹配融合到所述将倾斜三维环境模型对应位置，生成所述目标区域的三维实景可视化模型。

优选地，所述将所述倾斜三维影像数据与所述三维模型进行空间匹配融合，生成倾斜三维环境模型，具体包括：

根据预设的倾斜摄影三维模型，对所述倾斜三维影像数据进行配准校正、空三解算，生成正射影像数字表面模型；

对所述正射影像数字表面模型进行多视角影像密集匹配处理，获取所述正射影像数字表面模型的超高密度点云数据并建立三维TIN模型及白模；

根据所述倾斜三维影像数据，对所述三维TIN模型及白模进行纹理映射，生成三维精细模型；

将所述三维模型进行点云化处理，生成三维点云模型；

将所述三维精细模型与所述三维点云模型进行空间匹配融合，生成所述倾斜三维环境模型。

本发明实施例还提供了一种三维与实景数据可视化装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述的三维与实景数据可视化方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的三维与实景数据可视化方法。

现对于现有技术，本发明实施例提供的一种三维与实景数据可视化方法有益效果在于：所述三维与实景数据可视化方法包括：采集目标区域的倾斜三维影像数据、实景影像数据以及点云数据；建立所述目标区域的三维模型；将所述倾斜三维影像数据与所述三维模型进行空间匹配融合，生成倾斜三维环境模型；将所述实景影像数据、所述点云数据以及所述三维模型进行匹配融合，生成实景影像环境模型；将倾斜三维环境模型与实景影像环境模型进行坐标匹配融合，生成所述目标区域的三维实景可视化模型。通过该方法能够实现倾斜三维环境与实景影像的空间融合，从而实现倾斜三维环境与实景影像融合数据的可视化，从而导致视觉参考信息多样性。本发明实施例还提供了一种三维与实景数据可视化装置与计算机可读存储介质。

附图说明

图1是本发明实施例的一种三维与实景数据可视化方法的流程图；

图2是本发明实施例的一种三维与实景数据可视化装置的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其是本发明实施例提供的一种三维与实景数据可视化方法的流程图，所述三维与实景数据可视化方法包括：

S100：采集目标区域的倾斜三维影像数据、实景影像数据以及点云数据；

S200：建立所述目标区域的三维模型；

S300：将所述倾斜三维影像数据与所述三维模型进行空间匹配融合，生成倾斜三维环境模型；

S400：将所述实景影像数据、所述点云数据以及所述三维模型进行匹配融合，生成实景影像环境模型；

S500：将倾斜三维环境模型与实景影像环境模型进行坐标匹配融合，生成所述目标区域的三维实景可视化模型。

在本实施例中，所述三维模型为基于所述目标区域规划方案建立的三维模型。所述目标区域的三维实景可视化模型，提供了两个场景(倾斜三维环境模型与实景影像环境模型)之间的自由切换与场景加载功能，用户通过双击任意观测点图标，触发场景切换指令，自动调取该观测视点的实景影像数据，使用户能够在倾摄三维环境中浏览、对比、分析规划方案的三维模型的同时，快速切换至实景影像环境，浏览分析同个规划方案的实景影像数据。此外，由与实景影像场景包括了具有三维空间信息的所述点云数据，因此与传统的二维平面街景相比，可实现立体空间距离的量测与分析功能，为规范方案对周边环境的影响提供更多的数据参考。通过该方法能够实现倾斜三维环境与实景影像的空间融合，从而实现倾斜三维环境与实景影像融合数据的可视化，从而导致视觉参考信息多样性。

通过对倾斜三维环境与实景影像进行可视化融合数据，可以实现倾斜三维环境与实景影像的空间基准统一、坐标匹配与套合、场景浏览与切换；所述空间基准统一，是指对实景影像中的测站坐标数据，通过坐标转换公式，转换为与倾斜三维环境相同的坐标基准；所述坐标匹配与套合，是指将统一坐标基准后的实景影像的观测点与倾斜三维环境进行坐标匹配与套合，实现实景影像观测点在倾斜三维环境中的精确定位；所述场景浏览与切换，是指通过在倾斜三维环境中设置实景影像观测视点，用户通过双击观测点图标，触发场景切换指令，系统自动调取该观测视点的实景影像，使用户能够在倾斜三维环境中浏览、对比、分析规划方案模型的同时，快速切换至实景影像环境，浏览分析同个规划方案。具体地，所述三维实景可视化模型提供对倾斜三维环境与实景影像环境的融合可视化浏览操作、提供场景漫游、缩放、空间量测、倾摄环境与实景环境一键切换的功能。

在一种可选的实施例中，S300：将所述倾斜三维影像数据与所述三维模型进行空间匹配融合，生成倾斜三维环境模型，具体包括：

根据预设的倾斜摄影三维模型，对所述倾斜三维影像数据进行配准校正、空三解算，生成正射影像数字表面模型；

对所述正射影像数字表面模型进行多视角影像密集匹配处理，获取所述正射影像数字表面模型的超高密度点云数据并建立三维TIN模型及白模；

根据所述倾斜三维影像数据，对所述三维TIN模型及白模进行纹理映射，生成三维精细模型；

将所述三维模型进行点云化处理，生成三维点云模型；

将所述三维精细模型与所述三维点云模型进行空间匹配融合，生成所述倾斜三维环境模型。

在本实施例中，所述倾斜三维影像数据包括无人机从多个不同角度拍摄的影像数据；例如对所述目标区域从垂直、倾斜等不同的角度拍摄，可以获得目标区域的地表物体完整准确的信息。通过预设的倾斜摄影三维模型，对所述倾斜三维影像数据进行配准校正、空三解算，即对联合多个不同角度拍摄的影像数据进行联合平差处理，将所述倾斜三维影像数据进行分级同名点匹配，可以有效确保解算结果的精度，从而生成准确表达所述目标区域的正射影像数字表面模型。进一步通过对所述正射影像数字表面模型进行多视角影像密集匹配，获取所述正射影像数字表面模型的超高密度点云数据，即所述倾斜三维影像数据中同名点坐标以及地物三维信息，并建立所述倾斜三维影像数据对应的三维TIN模型及白模，通过所述三维TIN模型及白模可以确定所述目标区域的空间轮廓。再进一步地，采用所述倾斜三维影像数据对所述三维TIN模型及白模进行自动纹理映射，建立所述目标区域的三维精细模型。

具体地，所述三维点云模型的当前坐标系为WGS84坐标系，所述倾斜三维影像数据的坐标系为本地坐标系，

通过公式(1)和(2),将所述三维点云模型的WGS84坐标转换为本地坐标；

其中，所述为所述倾斜三维影像数据像素点的本地坐标；为所述三维点云模型中对应该像素点的点云坐标(为WGS84坐标)；为预设的初始化坐标变量；为所采集倾斜三维影像数据像素所对应的WGS84坐标，A为所述倾斜三维影像数据像素对应X轴上的坐标值，B为所述倾斜三维影像数据像素对应Y轴上的坐标值，H为所述倾斜三维影像数据像素对应Z轴上的坐标值；通过在所述三维点云模型的坐标转换过程中，增加初始化坐标变量，使得所述三维点云模型由WGS84坐标系到本地坐标系的平滑过渡。

进一步地，根据公式(1)和(2)的坐标转换结果，根据所述倾斜三维影像数据在拍摄时相机所对应的俯仰角、横滚角、偏航角等姿态角以及所述点云数据对应的本地坐标R_LC，通过公式(3)并将所述三维点云模型的本地坐标系转换为惯导坐标系；

再进一步地，根据公式(3)的坐标转换结果，通过预设的平移参数ΔX、ΔY、ΔZ；采用共线方程式(4)，计算所述三维点云模型对应的球面点坐标，即建立所述映射关系。

其中，R_WGS84为所述点云数据对应的全球经纬度坐标。

在一种可选的实施例中，将所述三维精细模型与所述三维点云模型进行空间匹配融合，生成所述倾斜三维环境模型，具体包括：

将所述三维点云模型的当前坐标转换为与所述倾斜摄影三维模型的本地坐标系对应的本地坐标；

将所述三维点云模型的基底坐标与所述倾斜摄影三维模型对应的地表坐标进行精准匹配，并将所述三维点云模型与所述三维精细模型进行融合，生成所述倾斜三维环境模型。

在本实施例中，由于所述三维模型的建立与所述倾斜三维影像数据的采集是通过不同的技术进行，两者的空间基准存在差距，因此需要在所述三维点云模型与所述倾斜摄影三维模型的融合过程进行坐标转换，并将所述三维点云模型的坐标转换为所述倾斜摄影三维模型所在的本地坐标，实现空间基准的统一，即指将所述三维模型的原始坐标系，通过坐标转换工具，转换为与所述倾摄三维影像数据相同的坐标基准。进一步地，将所述三维点云模型的建筑物基底坐标与所述倾斜摄影三维模型中的地表坐标进行精准匹配，使所述三维点云模型与所述三维精细模型无缝对接，实现两套数据的融合。

在一种可选的实施例中，S400：将所述实景影像数据、所述点云数据以及所述三维模型进行匹配融合，生成实景影像环境模型，具体包括：

根据所述实景影像数据拍摄时获得的立体坐标以及光学角度，计算所述实景影像数据的位置姿态参数；

根据所述实景影像数据的位置姿态参数，将所述点云数据投影到所述实景影像数据中，生成点云全景图；

将所述三维模型进行点云化处理，生成三维点云模型；

根据所述实景影像数据的位置姿态参数以及所述三维点云模型的三维坐标，计算所述三维点云模型对应所述实景影像数据的像点坐标；

根据所述三维点云模型对应的像点坐标以及所述实景影像数据对应的像素点坐标，建立所述三维点云模型与所述实景影像数据的映射关系；

根据所述三维点云模型与所述实景影像数据的映射关系，将所述三维点云模型投影到所述实景影像数据中，生成全景图；

将所述点云全景图与所述全景图进行融合校正，建立所述实景影像环境模型。

在一种可选的实施例中，将所述三维模型进行点云化处理，生成三维点云模型，具体包括：

对所述三维模型进行网格化处理，共获得所述三维模型对应的N个网格；

获取任意一个所述网格的中心点，并提取任意一个所述网格的中心点对应于预设三维坐标系的三维坐标；

根据任意一个所述网格的中心点对应的三维坐标，生成所述三维点云模型。

进一步，根据所述实景影像数据的位置姿态参数以及所述三维点云模型的当前坐标，确定所述三维模型的采样距离，并采用该采样距离对所述三维模型进行等距采样，切分成N个网格(亚米级别)，提取所述网格的中心坐标，获得所述三维模型对应所述实景影像数据的三维坐标。

在一种可选的实施例中，所述根据所述实景影像数据的位置姿态参数以及所述三维点云模型的三维坐标，计算所述三维点云模型对应所述实景影像数据的像点坐标，具体包括：

所述实景影像数据的位置姿态参数包括全景球面上像素点的坐标(α，β)、全景球面上像素点与球心的距离d；

根据全景球面上像素点的坐标(α，β)、全景球面上像素点与球心的距离d以及所述三维点云模型的三维坐标(X，Y，Z)，建立三点一线共线方程：

其中，m₁、n₁、p₁、m₂、n₂、p₂、m₃、n₃、p₃分别为所述实景影像数据的3外方位角元素组成的9个方向余弦；(X_s，Y_s，Z_s)为所述实景影像数据的全景球面球心的三维坐标；

根据所述三点一线共线方程，构建旋转矩阵：

采用所述旋转矩阵R_αβ对所述三点一线共线方程进行迭代计算，获得所述三维点云模型对应所述实景影像数据的像点坐标(α_i，β_i，d_i)。

所述实景影像数据与所述全景球面的坐标系之间的映射关系可理解为：所述实景影像数据中的每一行像素对应所述全景球面纬度的三维圆周。三维圆周由两组旋转角组成，绕以全景球面球形为原点的X轴旋转的α角以及Y轴旋转的β角。以全景球面上像素点的坐标(α，β)以及全景球面上像素点与球心的距离d共同组成所述实景影像数据的位置姿态参数。

在一种可选的实施例中，所述根据所述三维点云模型与所述实景影像数据的映射关系，将所述三维点云模型投影到所述实景影像数据中，生成全景图之前还包括：

以所述像点坐标为原点，搜索设定距离内的所述三维点云模型的三维坐标，得到三维坐标集；

采用迭代最近点算法：

从所述三维坐标集中提取与所述像点坐标距离最近的三维坐标P_min(x，y，z进行配准；

其中，P_i为所述三维坐标集，T为平移矩阵，Q为所述像点坐标。

在本实施中，进一步通过平移矩阵T的变换，采用迭代最近点算法，得出满足最近点距离的最优匹配，实现对计算所得的像点坐标(α_i，β_i，d_i)进行配准，当配准完成后，根据所述三维点云模型与所述实景影像数据的映射关系，将所述三维点云模型投影到所述实景影像数据中，生成所述全景图。

在一种可选的实施例中，所述根据所述三维点云模型与所述实景影像数据的映射关系，将所述三维点云模型投影到所述实景影像数据中，生成全景图，具体包括：

根据所述三维点云模型与所述实景影像数据的映射关系，将所述三维点云模型投影到所述实景影像数据进行表面纹理渲染；

以所述三维点云模型的点云附属距离值为RGB深度值，对所述三维点云模型进行色彩渲染，生成所述全景图。

在本实施例中，根据三维点云模型和实景影像数据的映射关系，将三维点云模型在实景影像数据中进行表面纹理渲染。同时，将每个三维点云模型点云附属的距离值转化为RGB深度值，通过赋予渐变色彩，形成具有空间深度的全景图。通过以上步骤，将三维点云模型渲染为最终得到虚实结合的可量测全景图。

在一种可选的实施例中，所述将倾斜三维环境模型与实景影像环境模型进行匹配融合，生成所述目标区域的三维实景可视化模型，具体包括：

将所述实景影像环境模型的当前坐标转换为与所述将倾斜三维环境模型的本地坐标系对应的本地坐标；

将所述实景影像环境模型中的预设观测点通过坐标匹配融合到所述将倾斜三维环境模型对应位置，生成所述目标区域的三维实景可视化模型。

在一种可选的实施例中，所述采集目标区域的倾斜三维影像数据、实景影像数据以及点云数据，具体包括：

通过无人机采集所述目标区域的倾斜三维影像数据；

通过高清数字相机采集所述目标区域的实景影像数据；

通过三维激光扫描仪采集所述目标区域的点云数据。

请参阅图2，其是本发明实施例的一种三维与实景数据可视化装置的示意图；所述三维与实景数据可视化装置，包括：

数据采集模块1，用于采集目标区域的倾斜三维影像数据、实景影像数据以及点云数据；

三维模型建立模块2，用于建立所述目标区域的三维模型；

倾斜影像融合模块3，用于将所述倾斜三维影像数据与所述三维模型进行空间匹配融合，生成倾斜三维环境模型；

实景影像融合模块4，用于将所述实景影像数据、所述点云数据以及所述三维模型进行匹配融合，生成实景影像环境模型；

三维实景融合模块5，用于将倾斜三维环境模型与实景影像环境模型进行坐标匹配融合，生成所述目标区域的三维实景可视化模型。

在本实施例中，所述目标区域的三维实景可视化模型，提供了两个场景(倾斜三维环境模型与实景影像环境模型)之间的自由切换与场景加载功能，用户通过双击观测点图标，触发场景切换指令，系统自动调取该观测视点的实景影像数据，使用户能够在倾摄三维环境中浏览、对比、分析规划方案的三维模型的同时，快速切换至实景影像环境，浏览分析同个规划方案的实景影像数据。此外，由与实景影像场景包括了具有三维空间信息的所述点云数据，因此与传统的二维平面街景相比，可实现立体空间距离的量测与分析功能，为规范方案对周边环境的影响提供更多的数据参考。通过该装置能够实现倾斜三维环境与实景影像的空间融合，从而实现倾斜三维环境与实景影像融合数据的可视化，从而导致视觉参考信息多样性。

通过对倾斜三维环境与实景影像进行可视化融合数据，可以实现倾斜三维环境与实景影像的空间基准统一、坐标匹配与套合、场景浏览与切换；所述空间基准统一，是指对实景影像中的测站坐标数据，通过坐标转换公式，转换为与倾斜三维环境相同的坐标基准；所述坐标匹配与套合，是指将统一坐标基准后的实景影像的观测点与倾斜三维环境进行坐标匹配与套合，实现实景影像观测点在倾斜三维环境中的精确定位；所述场景浏览与切换，是指通过在倾斜三维环境中设置实景影像观测视点，用户通过双击观测点图标，触发场景切换指令，系统自动调取该观测视点的实景影像，使用户能够在倾斜三维环境中浏览、对比、分析规划方案模型的同时，快速切换至实景影像环境，浏览分析同个规划方案。具体地，所述三维实景可视化模型提供对倾斜三维环境与实景影像环境的融合可视化浏览操作、提供场景漫游、缩放、空间量测、倾摄环境与实景环境一键切换的功能。

在一种可选的实施例中，所述倾斜影像融合模块3包括：

数字表面模型生成单元，用于对所述倾斜三维影像数据进行配准校正、空三解算，生成正射影像数字表面模型；

三维TIN模型及白模建立单元，用于对所述正射影像数字表面模型进行多视角影像密集匹配处理，获取所述正射影像数字表面模型的超高密度点云数据并建立三维TIN模型及白模；

三维精细模型生成单元，用于根据所述倾斜三维影像数据，对所述三维TIN模型及白模进行纹理映射，生成三维精细模型；

三维点云模型生成单元，用于将所述三维模型进行点云化处理，生成三维点云模型；

倾斜三维环境模型生成单元，用于将所述三维精细模型与所述三维点云模型进行空间匹配融合，生成所述倾斜三维环境模型。

在本实施例中，所述倾斜三维影像数据包括无人机从多个不同角度拍摄的影像数据；例如对所述目标区域从垂直、倾斜等不同的角度拍摄，可以获得目标区域的地表物体完整准确的信息。通过预设的倾斜摄影三维模型，对所述倾斜三维影像数据进行配准校正、空三解算，即对联合多个不同角度拍摄的影像数据进行联合平差处理，将所述倾斜三维影像数据进行分级同名点匹配，可以有效确保解算结果的精度，从而生成准确表达所述目标区域的正射影像数字表面模型。进一步通过对所述正射影像数字表面模型进行多视角影像密集匹配，获取所述正射影像数字表面模型的超高密度点云数据，即所述倾斜三维影像数据中同名点坐标以及地物三维信息，并建立所述倾斜三维影像数据对应的三维TIN模型及白模，通过所述三维TIN模型及白模可以确定所述目标区域的空间轮廓。再进一步地，采用所述倾斜三维影像数据对所述三维TIN模型及白模进行自动纹理映射，建立所述目标区域的三维精细模型。

具体地，具体地，所述三维点云模型的当前坐标系为WGS84坐标系，所述倾斜三维影像数据的坐标系为本地坐标系，

通过公式(1)和(2),将所述三维点云模型的WGS84坐标转换为本地坐标；

其中，所述为所述倾斜三维影像数据像素点的本地坐标；为所述三维点云模型中对应该像素点的点云坐标(为WGS84坐标)；为预设的初始化坐标变量；为所采集倾斜三维影像数据像素所对应的WGS84坐标，A为所述倾斜三维影像数据像素对应X轴上的坐标值，B为所述倾斜三维影像数据像素对应Y轴上的坐标值，H为所述倾斜三维影像数据像素对应Z轴上的坐标值；通过在所述三维点云模型的坐标转换过程中，增加初始化坐标变量，使得所述三维点云模型由WGS84坐标系到本地坐标系的平滑过渡。

进一步地，根据公式(1)和(2)的坐标转换结果，根据所述倾斜三维影像数据在拍摄时相机所对应的俯仰角、横滚角、偏航角等姿态角以及所述点云数据对应的本地坐标R_LC，通过公式(3)并将所述三维点云模型的本地坐标系转换为惯导坐标系；

再进一步地，根据公式(3)的坐标转换结果，通过预设的平移参数ΔX、ΔY、ΔZ；采用共线方程式(4)，计算所述三维点云模型对应的球面点坐标，即建立所述映射关系。

其中，R_WGS84为所述点云数据对应的全球经纬度坐标。

在一种可选的实施例中，所述倾斜三维环境模型生成单元包括：

第一坐标转换单元，用于将所述三维点云模型的当前坐标转换为与所述倾斜摄影三维模型的本地坐标系对应的本地坐标；

坐标匹配融合单元，用于将所述三维点云模型的基底坐标与所述倾斜摄影三维模型对应的地表坐标进行精准匹配，并将所述三维点云模型与所述三维精细模型进行融合，生成所述倾斜三维环境模型。

在本实施例中，由于所述三维模型的建立与所述倾斜三维影像数据的采集是通过不同的技术进行，两者的空间基准存在差距，因此需要在所述三维点云模型与所述倾斜摄影三维模型的融合过程进行坐标转换，并将所述三维点云模型的坐标转换为所述倾斜摄影三维模型所在的本地坐标，实现空间基准的统一，即指将所述三维模型的原始坐标系，通过坐标转换工具，转换为与与所述倾摄三维影像数据相同的坐标基准。进一步地，将所述三维点云模型的建筑物基底坐标与所述倾斜摄影三维模型中的地表坐标进行精准匹配，使所述三维点云模型与所述三维精细模型无缝对接，实现两套数据的融合。

在一种可选的实施例中，所述实景影像融合模块4包括：

位置姿态参数计算单元，用于根据所述实景影像数据拍摄时获得的立体坐标以及光学角度，计算所述实景影像数据的位置姿态参数；

点云全景图生成单元，用于根据所述实景影像数据的位置姿态参数，将所述点云数据投影到所述实景影像数据中，生成点云全景图；

三维点云模型生成单元，用于将所述三维模型进行点云化处理，生成三维点云模型；

像点坐标计算单元，用于根据所述实景影像数据的位置姿态参数以及所述三维点云模型的三维坐标，计算所述三维点云模型对应所述实景影像数据的像点坐标；

映射关系建立单元，用于根据所述三维点云模型对应的像点坐标以及所述实景影像数据对应的像素点坐标，建立所述三维点云模型与所述实景影像数据的映射关系；

全景图生成单元，用于根据所述三维点云模型与所述实景影像数据的映射关系，将所述三维点云模型投影到所述实景影像数据中，生成全景图；

实景影像环境模型生成模型，用于将所述点云全景图与所述全景图进行融合校正，建立所述实景影像环境模型。

在一种可选的实施例中，所述三维点云模型生成单元，用于对所述三维模型进行网格化处理，共获得所述三维模型对应的N个网格；

所述三维点云模型生成单元，用于获取任意一个所述网格的中心点，并提取任意一个所述网格的中心点对应于预设三维坐标系的三维坐标；

所述三维点云模型生成单元，用于根据任意一个所述网格的中心点对应的三维坐标，生成所述三维点云模型。

进一步，根据所述实景影像数据的位置姿态参数以及所述三维点云模型的当前坐标，确定所述三维模型的采样距离，并采用该采样距离对所述三维模型进行等距采样，切分成N个网格(亚米级别)，提取所述网格的中心坐标，获得所述三维模型对应所述实景影像数据的像点坐标。

进一步地，所述实景影像数据的位置姿态参数包括全景球面上像素点的坐标(α，β)、全景球面上像素点与球心的距离d；

所述像点坐标计算单元，用于根据全景球面上像素点的坐标(α，β)、全景球面上像素点与球心的距离d以及所述三维点云模型的三维坐标(X，Y，Z)，建立三点一线共线方程：

其中，m₁、n₁、p₁、m₂、n₂、p₂、m₃、n₃、p₃分别为所述实景影像数据的3外方位角元素组成的9个方向余弦；(X_s，Y_s，Z_s)为所述实景影像数据的全景球面球心的三维坐标；

所述像点坐标计算单元，用于根据所述三点一线共线方程，构建旋转矩阵：

并采用所述旋转矩阵R_αβ对所述三点一线共线方程进行迭代计算，获得所述三维点云模型对应所述实景影像数据的像点坐标(α_i，β_i，d_i)。

所述实景影像数据与所述全景球面的坐标系之间的映射关系可理解为：所述实景影像数据中的每一行像素对应所述全景球面纬度的三维圆周。三维圆周由两组旋转角组成，绕以全景球面球形为原点的X轴旋转的α角以及Y轴旋转的β角。以全景球面上像素点的坐标(α，β)以及全景球面上像素点与球心的距离d共同组成所述实景影像数据的位置姿态参数。

在一种可选的实施例中，所述实景影像融合模块4包括像点坐标配准单元；

所述像点坐标配准单元，用于以所述像点坐标为原点，搜索设定距离内的所述三维点云模型的三维坐标，得到三维坐标集；

所述像点坐标配准单元，用于采用迭代最近点算法：

从所述三维坐标集中提取与所述像点坐标距离最近的三维坐标P_min(x，y，z)进行配准；

其中，P_i为所述三维坐标集，T为平移矩阵，Q为所述像点坐标。

在本实施中，进一步通过平移矩阵T的变换，采用迭代最近点算法，得出满足最近点距离的最优匹配，实现对计算所得的像点坐标(α_i，β_i，d_i)进行配准，当配准完成后，根据所述三维点云模型与所述实景影像数据的映射关系，将所述三维点云模型投影到所述实景影像数据中，生成所述全景图。

在一种可选的实施例中，所述三维与实景数据的可视化融合装置还包括：

表面纹理渲染模块，用于根据所述三维点云模型与所述实景影像数据的映射关系，将所述三维点云模型投影到所述实景影像数据进行表面纹理渲染；

色彩渲染模块，用于以所述三维点云模型的点云附属距离值为RGB深度值，对所述三维点云模型进行色彩渲染，生成所述全景图。

在本实施例中，根据三维点云模型和实景影像数据的映射关系，将三维点云模型在实景影像数据中进行表面纹理渲染。同时，将每个三维点云模型点云附属的距离值转化为RGB深度值，通过赋予渐变色彩，形成具有空间深度的全景图。通过以上步骤，将三维点云模型渲染为最终得到虚实结合的可量测全景图。

在一种可选的实施例中，三维实景融合模块5包括：

第二坐标转换单元，用于将所述实景影像环境模型的当前坐标转换为与所述将倾斜三维环境模型的本地坐标系对应的本地坐标；

三维实景可视化模型生成单元，用于将所述实景影像环境模型中的预设观测点通过坐标匹配融合到所述将倾斜三维环境模型对应位置，生成所述目标区域的三维实景可视化模型。

在一种可选的实施例中，数据采集模块包括设有多个拍摄角度摄像机的无人机、高清数字相机以及三位激光扫描仪：

所述无人机，用于采集所述目标区域的倾斜三维影像数据；

所述高清数字相机，用于采集所述目标区域的实景影像数据；

所述三维激光扫描仪，用于采集所述目标区域的点云数据。

本发明实施例还提供了一种三维与实景数据可视化装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述的三维与实景数据可视化方法。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述三维与实景数据可视化装置中的执行过程。例如，所述计算机程序可以被分割成上述三维与实景数据可视化装置中的功能模块。

所述三维与实景数据可视化装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述三维与实景数据可视化装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是三维与实景数据可视化装置的示例，并不构成对三维与实景数据可视化装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述三维与实景数据可视化装置还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述三维与实景数据可视化装置的控制中心，利用各种接口和线路连接整个三维与实景数据可视化装置的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述三维与实景数据可视化装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中，所述三维与实景数据可视化装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的三维与实景数据可视化方法。

现对于现有技术，本发明实施例提供的一种三维与实景数据可视化方法有益效果在于：所述三维与实景数据可视化方法包括：采集目标区域的倾斜三维影像数据、实景影像数据以及点云数据；建立所述目标区域的三维模型；将所述倾斜三维影像数据与所述三维模型进行空间匹配融合，生成倾斜三维环境模型；将所述实景影像数据、所述点云数据以及所述三维模型进行匹配融合，生成实景影像环境模型；将倾斜三维环境模型与实景影像环境模型进行坐标匹配融合，生成所述目标区域的三维实景可视化模型。通过该方法能够实现倾斜三维环境与实景影像的空间融合，从而实现倾斜三维环境与实景影像融合数据的可视化，从而导致视觉参考信息多样性。本发明实施例还提供了一种三维与实景数据可视化装置与计算机可读存储介质。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种三维与实景数据可视化方法，其特征在于，包括：

采集目标区域的倾斜三维影像数据、实景影像数据以及点云数据；

建立所述目标区域的三维模型；

将所述倾斜三维影像数据与所述三维模型进行空间匹配融合，生成倾斜三维环境模型；

将所述实景影像数据、所述点云数据以及所述三维模型进行匹配融合，生成实景影像环境模型；

将倾斜三维环境模型与实景影像环境模型进行坐标匹配融合，生成所述目标区域的三维实景可视化模型。

2.如权利要求1所述的三维与实景数据可视化方法，其特征在于，所述将所述实景影像数据、所述点云数据以及所述三维模型进行匹配融合，生成实景影像环境模型，具体包括：

根据所述实景影像数据拍摄时获得的立体坐标以及光学角度，计算所述实景影像数据的位置姿态参数；

根据所述实景影像数据的位置姿态参数，将所述点云数据投影到所述实景影像数据中，生成点云全景图；

将所述三维模型进行点云化处理，生成三维点云模型；

根据所述实景影像数据的位置姿态参数以及所述三维点云模型的三维坐标，计算所述三维点云模型对应所述实景影像数据的像点坐标；

根据所述三维点云模型对应的像点坐标以及所述实景影像数据对应的像素点坐标，建立所述三维点云模型与所述实景影像数据的映射关系；

根据所述三维点云模型与所述实景影像数据的映射关系，将所述三维点云模型投影到所述实景影像数据中，生成全景图；

将所述点云全景图与所述全景图进行融合校正，建立所述实景影像环境模型。

3.如权利要求2所述的三维与实景数据可视化方法，其特征在于，将所述三维模型进行点云化处理，生成三维点云模型，具体包括：

对所述三维模型进行网格化处理，共获得所述三维模型对应的N个网格；

获取任意一个所述网格的中心点，并提取任意一个所述网格的中心点对应于预设三维坐标系的三维坐标；

根据任意一个所述网格的中心点对应的三维坐标，生成所述三维点云模型。

4.如权利要求2所述的三维与实景数据可视化方法，其特征在于，所述根据所述实景影像数据的位置姿态参数以及所述三维点云模型的三维坐标，计算所述三维点云模型对应所述实景影像数据的像点坐标，具体包括：

所述实景影像数据的位置姿态参数包括全景球面上像素点的坐标(α，β)、全景球面上像素点与球心的距离d；

根据全景球面上像素点的坐标(α，β)、全景球面上像素点与球心的距离d以及所述三维点云模型的三维坐标(X，Y，Z)，建立三点一线共线方程：

其中，m₁、n₁、p₁、m₂、n₂、p₂、m₃、n₃、p₃分别为所述实景影像数据的3外方位角元素组成的9个方向余弦；(X_s，Y_s，Z_s)为所述实景影像数据的全景球面球心的三维坐标；

根据所述三点一线共线方程，构建旋转矩阵：

采用所述旋转矩阵R_αβ对所述三点一线共线方程进行迭代计算，获得所述三维点云模型对应所述实景影像数据的像点坐标(α_i，β_i，d_i)。

5.如权利要求4所述的三维与实景数据可视化方法，其特征在于，所述根据所述三维点云模型与所述实景影像数据的映射关系，将所述三维点云模型投影到所述实景影像数据中，生成全景图之前还包括：

以所述像点坐标为原点，搜索设定距离内的所述三维点云模型的三维坐标，得到三维坐标集；

采用迭代最近点算法：

从所述三维坐标集中提取与所述像点坐标距离最近的三维坐标P_min(x，y，z)进行配准；

其中，P_i为所述三维坐标集，T为平移矩阵，Q为所述像点坐标。

6.如权利要求2所述的三维与实景数据可视化方法，其特征在于，所述根据所述三维点云模型与所述实景影像数据的映射关系，将所述三维点云模型投影到所述实景影像数据中，生成全景图，具体包括：

根据所述三维点云模型与所述实景影像数据的映射关系，将所述三维点云模型投影到所述实景影像数据进行表面纹理渲染；

以所述三维点云模型的点云附属距离值为RGB深度值，对所述三维点云模型进行色彩渲染，生成所述全景图。

7.如权利要求2所述的三维与实景数据可视化方法，其特征在于，所述将倾斜三维环境模型与实景影像环境模型进行坐标匹配融合，生成所述目标区域的三维实景可视化模型，具体包括：

将所述实景影像环境模型的当前坐标转换为与所述将倾斜三维环境模型的本地坐标系对应的本地坐标；

将所述实景影像环境模型中的预设观测点通过坐标匹配融合到所述将倾斜三维环境模型对应位置，生成所述目标区域的三维实景可视化模型。

8.如权利要求1所述的三维与实景数据可视化方法，其特征在于，所述将所述倾斜三维影像数据与所述三维模型进行空间匹配融合，生成倾斜三维环境模型，具体包括：

根据预设的倾斜摄影三维模型，对所述倾斜三维影像数据进行配准校正、空三解算，生成正射影像数字表面模型；

对所述正射影像数字表面模型进行多视角影像密集匹配处理，获取所述正射影像数字表面模型的超高密度点云数据并建立三维TIN模型及白模；

根据所述倾斜三维影像数据，对所述三维TIN模型及白模进行纹理映射，生成三维精细模型；

将所述三维模型进行点云化处理，生成三维点云模型；

将所述三维精细模型与所述三维点云模型进行空间匹配融合，生成所述倾斜三维环境模型。

9.一种三维与实景数据可视化装置，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8中任意一项所述的三维与实景数据可视化方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至8中任意一项所述的三维与实景数据可视化方法。