CN114494563A - 航拍视频在数字地球上的融合显示方法和装置 - Google Patents

Abstract

本发明提供一种航拍视频在数字地球上的融合显示方法和装置，该方法包括：航拍视频数据加载和解析步骤：解析航拍视频数据获得航拍视频数据帧，将航拍视频数据帧作为纹理加载到图像处理单元，并获取当前加载的视频数据帧对应的航拍摄像机位置和姿态；在已构建的数字地球上构建视锥面，根据航拍视频数据帧对应的摄像机位置和姿态计算视锥面变换矩阵，来基于视锥面变换矩阵进行投影变换以将视锥面投影到数字地球，并将航拍视频数据帧作为纹理映射到视锥面，以在数字地球上三维渲染视锥面；根据当前航拍视频数据帧对应的摄像机位置和姿态数据构建航拍摄像机第一人称视角变换矩阵，进行数字地球视点位置姿态与摄像机位置姿态的同步。

Description

航拍视频在数字地球上的融合显示方法和装置

技术领域

本发明涉及三维地理信息系统数字地球显示技术领域，尤其涉及一种航拍视频在数字地球上的融合显示方法和装置。

背景技术

数字地球是基于数字正射影像(Digital Orthophoto Map，DOM)和数字高程模型(Digital Elevation Mode，DEM)构建的数字模型，能够以三维方式漫游展示全球地形地貌，管理展示各类地理信息要素。可以将视频在数字地球上进行显示，具体讲就是在数字地球上构建局部三维场景，将场景中物体或地块的纹理替换为视频帧数据，达到虚实融合效果。现有将视频在数字地球上进行显示的方法的核心是替换数字地球上已有三维物体的纹理，这类方法应用局限于相对小的场景和细节，在实际应用中重点解决拍摄角度带来的纹理投影畸变问题。

航拍视频是由摄像装置在空中运动或悬停等条件下拍摄的视频，摄像角度根据应用不同，可以是垂直于地面、前向或侧向等角度。由于航拍所覆盖的地理范围大而视频帧分辨率有限，特别是运动情况下的非垂直拍摄，无法实时准确校准畸变，无法生成数字地球需要的正射影像，因此目前无法将视频帧数据作为纹理直接叠加在数字地球上。因此，现有技术中尚没有人将航拍视频数据帧作为纹理叠加在数字地球表面进行应用。但在实际需求方面，航拍视频可以展示地球局部真实地形地貌，而数字地球可以展示大范围虚拟地形地貌，两者的融合可以提升信息快速定位和综合展示能力。但如何将航拍视频在数字地球上融合显示，是一个尚待解决的问题。

发明内容

针对现有技术中航拍视频在无法映射到数字地球表面进行融合显示的问题，本发明的目的在于提供一种航拍视频在数字地球上的融合显示方法和装置，通过在数字地球上动态原位渲染摄像机视锥面(平面或曲面)，并采用纹理映射技术，将航拍视频帧作为纹理映射到视锥面，以摄像机第一人称视角实现真实航拍视频和虚拟地球场景的无畸变融合。

为实现上述目的，本发明采用了如下技术方案：

本发明的一个方面提供了一种航拍视频在数字地球上的融合显示方法，该方法包括以下步骤：

航拍视频数据加载和解析步骤：解析航拍视频数据获得航拍视频数据帧，将航拍视频数据帧作为纹理加载到图像处理单元，并获取当前加载的视频数据帧对应的航拍摄像机位置和姿态；

视锥面渲染步骤：在已构建的数字地球上构建视锥面，根据航拍视频数据帧对应的摄像机位置和姿态计算视锥面变换矩阵，来基于视锥面变换矩阵进行投影变换以将视锥面投影到数字地球，并将航拍视频数据帧作为纹理映射到视锥面，以在数字地球上三维渲染视锥面；

融合步骤：根据当前航拍视频数据帧对应的摄像机位置和姿态数据构建航拍摄像机第一人称视角变换矩阵，基于摄像机第一人称视角变换矩阵将数字地球视点的位置和姿态变换为与摄像机位置和姿态相一致。

在本发明一些实施方式中，所述融合步骤还包括：设置视锥面透明度变量，基于设置的视锥面透明度变量控制渲染的视锥面在数字地球上的完全显示、完全隐藏和部分透明融合显示。

在本发明一些实施方式中，所述方法还包括构建所述数字地球的步骤，该步骤包括：基于数字正射影像DOM和数字高程模型DEM构建数字地球。

在本发明一些实施方式中，所述基于数字正射影像DOM和数字高程模型DEM构建数字地球的步骤包括：创建或获取DOM和DEM基础地理数据，所述DOM和DEM基础地理数据包括DEM地块瓦片数据和DOM地块瓦片数据；根据数字地球视点位置基于创建的瓦片着色器动态加载DEM地块瓦片数据和DOM地块瓦片数据，进行数字地球的三维渲染。

在本发明一些实施方式中，所述视锥面渲染步骤包括：构建视锥面网格顶点位置数据；基于视锥面网格顶点位置数据构建视锥面网格索引数据；基于视锥面网格索引数据设置视锥面顶点纹理坐标；根据当前加载的航拍数据帧对应的摄像机位置和姿态数据构建视锥面变换矩阵；基于视锥面变换矩阵进行投影变换以将视锥面投影到数字地球，将航拍视频数据帧作为纹理映射到视锥面，从而在数字地球上三维渲染出视锥面。

在本发明一些实施例中，所述视锥面为平面视锥面、半球视锥面或球形视锥面。

在本发明一些实施例中，在视锥面为平面视锥面的情况下，计算视锥面变换矩阵的步骤包括：

视锥平面位置投影矩阵计算步骤，该视锥平面位置投影矩阵计算步骤包括：将单位矩阵平移至摄像机的地心直角坐标系位置，得到第一矩阵；将所述第一矩阵绕局部直角坐标系的Y轴旋转经度值，得到第二矩阵，其中，局部直角坐标系是以摄像机地心直角坐标系位置为原点建立左手局部直角坐标系，Z轴垂直球面向上，Y轴垂直于Z轴指北，X轴垂直于ZY平面；将第二矩阵绕局部直角坐标系的X轴旋转纬度值得到初始视锥平面位置投影矩阵；以及通过将初始视锥平面位置投影矩阵的坐标放大系数进行放大来得到最终视锥平面位置投影矩阵；

姿态变换矩阵计算步骤，该姿态变换矩阵计算步骤包括：将单位矩阵经三次旋转得到，第一次旋转为绕局部直角坐标系的Y轴做滚转角旋转，第二次变换为绕局部直角坐标系的X轴做俯仰角旋转，第三次旋转为绕局部直角坐标系的Z轴做航向角旋转；

将所述视锥平面位置投影矩阵和所述姿态变换矩阵相乘，得到所述视锥面变换矩阵。

在本发明一些实施例中，所述航拍视频数据解析和加载步骤包括：解析航拍视频数据获得YUV格式的航拍视频数据帧；将YUV格式的航拍视频数据帧进行投影变换，得到RGB格式的作为纹理的航拍视频数据帧，并将作为纹理的航拍视频数据帧加载到图像处理单元；从所述航拍视频数据的描述文件中获取当前加载的视频数据帧对应的航拍摄像机位置和姿态。

在本发明一些实施方式中，所述方法还包括：将所述数字地球和航拍视频帧的融合在虚拟显示设备上进行显示。

本发明的另一方面，提供了一种航拍视频在数字地球上的融合显示装置，该装置包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该取色装置实现如前所述方法的步骤。

本发明的又一方面，还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前所述方法的步骤。

本发明实施例提供的航拍视频在数字地球上的融合显示方法和装置，可以将航拍视频在数字地球上原位融合，实现航拍视频与数字地球的一体化显示，既能展示航拍视频的真实和细节，又能展示数字地球的全局；在第一人称视角下可实现航拍视频和数字地球的无畸变、无缝融合显示，提升数字地球和航拍视频的综合展示效果。

此外，本发明实施例提供的航拍视频在数字地球上的融合显示方法和装置还可以实现航拍视频在数字地球上的完全展示、隐藏展示和部分展示，即可以实现虚和实的渐变和切换显示。

本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在书面说明及其权利要求书以及附图中具体指出的结构实现到并获得。

本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1为本发明一实施例中航拍视频在数字地球上的融合显示的流程示意图。

图2为本发明一实施例中实现航拍视频在数字地球上的融合显示的过程的流程图。

图3为本发明一实施例中航拍视频帧示意图。

图4为本发明一实施例中视锥面在数字地球上的渲染效果示例1。

图5为本发明一实施例中视锥面在数字地球上的渲染效果示例2。

图6为本发明一实施例中数字地球视点位于摄像机原位时的渲染效果示例。

图7为本发明一实施例中航拍视频与数字地球的融合显示效果示例。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。并且，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

在本发明实施例中，创新性地提出了一种航拍视频在数字地球上的融合显示方案来实现航拍视频在数据地球上的原位融合，通过在数字地球上动态原位渲染摄像机视锥面(可以是平面或曲面)，并采用纹理映射技术，将航拍视频帧作为纹理映射到视锥面，以摄像机第一人称视角实现真实航拍视频和虚拟地球场景的无畸变融合，从而实现航拍视频与数字地球的一体化显示。进一步地，本发明实施例通过航拍视频帧纹理的透明度设置，可以实现虚和实的渐变和切换显示，既能展示航拍视频的真实和细节，又能展示数字地球的虚拟和全局。

图1所示为本发明一实施例中航拍视频在数字地球上的融合显示的流程示意图。如图1所示，该航拍视频在数字地球上的融合显示方法包括以下步骤S110-S140：

步骤S110，构建数字地球。

更具体地，作为示例，本步骤中，是基于DOM和DEM来构建数字地球。

DEM通常以规则格网的形式数字化呈现地球表面的三维形态。DEM是一定范围内规则格网点的平面坐标(X，Y)及高程(Z)的数据集。DEM的格网间隔应与其高程精度相适配，并形成有规则的格网系列。DEM是对地貌形态的虚拟表示，可派生出等高线、坡度图等信息，也可与DOM或其它专题数据叠加，用于与地形相关的分析应用，同时它本身还是制作DOM的基础数据。

DOM是利用DEM对经扫描处理的数字化航空像片或遥感影像等，经逐像元进行投影差矫正，按国家基本比例尺地形图图幅范围剪裁生成的数字正射影像(即卫星图片)数据集，其图像同时具有地图几何精度和影像特征。

本发明一实施例中，基于DOM和DEM来构建数字地球的步骤可具体包括：

步骤S111，进行DOM和DEM基础地理数据的准备。

DOM和DEM基础地理数据可包括DEM地块瓦片数据和DOM地块瓦片数据，因此DOM和DEM基础地理数据的准备可包括创建或获取基础地理数据地块瓦片。

地块瓦片是数字地球读取、保存和渲染地理数据的最小组织单元，瓦片数据主要包括DEM瓦片数据和DOM瓦片数据。在一实施例中，可根据四叉树原理构建瓦片金字塔，按照级别组织管理瓦片文件，为每一个瓦片文件指定编号名称。例如，可按照WGS84(WorldGeodetic System 1984)投影切片规则组织命名地球DOM和DEM瓦片文件，第1级为2个瓦片文件，第2级为8个瓦片文件，第3级为32个瓦片文件，以此类推来形成瓦片四叉树结构，该瓦片四叉树结构仅为示例，本发明并不限于此。

在本发明另一实施例中，还可以直接从预定DOM和DEM资源供应方来获取已经创建好的作为基础地理数据的地块瓦片数据。

步骤S112，根据数字地球视点位置动态加载瓦片数据。

在完成DOM和DEM基础地理数据的准备之后，可设置数字地球初始视点经纬度位置和海拔高度。根据数字地球视点经纬度位置来确定瓦片中心点；根据视点海拔高度来确定可显示瓦片的级别和范围。根据瓦片中心点和级别、范围来确定当前需加载的瓦片文件。

由于数字地球瓦片数据为海量数据，而计算机内存有限，因此需要动态加载瓦片数据。动态加载瓦片数据后，可将加载的视点区域范围的瓦片数据进行缓存，以防止瓦片文件的重复加载从而提高数据获取速度，同时，删除不需要显示的瓦片数据来减少对缓存空间的占用，这样可以实现对瓦片数据的动态管理。

例如，在加载瓦片文件时，本发明实施例先检索当前的瓦片缓存，如果需加载的瓦片文件数据在缓存中不存在，则从计算机指定位置加载瓦片文件并进行缓存。如果需加载的瓦片文件数据存在于缓存中，则直接从缓存中读取瓦片文件而无需重新加载。如果瓦片缓存已满，则删除非显示区域的瓦片数据。

步骤S113，基于创建的瓦片着色器，将DEM和DOM瓦片数据加载到计算机显存，通过可编程渲染管线完成数字地球的三维渲染。

更具体地，本步骤首先对需要显示的计算机内存中DOM和DEM瓦片数据进行处理，基于DEM瓦片数据创建顶点数组和索引数组，基于DOM瓦片数据创建映射纹理。然后在图像处理单元(GPU)中创建瓦片着色器，利用创建的瓦片着色器加载创建的顶点、索引、纹理数据到计算机显存。在GPU中，瓦片着色器包括顶点着色器(Vertex Shader)和片段着色器(Fragment Shader)，通过顶点着色器和片段着色器渲染管线进行逐顶点和逐像素渲染。

在本发明另选实施例中，瓦片着色器也可以是预先创建的瓦片着色器。

由于可以采用现有构建数字地球的手段来实现步骤S110，因此对于该步骤不再赘述。但本发明并不限于采用现有的手段来实现本步骤，还可以采用将来可能到的用于构建数字地球的其他手段来实现本步骤。

在本发明另选实施例中，数字地球也可以是预先已经建立好的数字地球，在该情况下，构建数字地球的步骤也可以省略。

步骤S120，航拍视频数据解析和加载步骤。

在该航拍视频数据解析和加载步骤中，用于解析航拍视频数据获得航拍视频数据帧，将航拍视频数据帧作为纹理加载到图像处理单元，并获取当前加载的视频数据帧对应的航拍摄像机位置和姿态。

更具体地，在本发明一实施例中，该航拍视频数据加载和解析步骤可包括以下步骤：

步骤S121，解析航拍视频数据，得到航拍视频数据帧。

解析航拍视频数据得到的航拍视频数据帧一般为YUV格式。

例如，获得航拍视频数据之后，可使用视频处理相关函数解析航拍视频的一帧数据。在一实施例中，可使用FFMpeg开发包API函数进行视频数据解析，通过视频帧读取函数(如av_read_frame函数)循环读取视频帧数据到AVPacket结构中，得到AVPacket数据帧结构。AVPacket数据帧包含音频数据和原始格式视频帧数据，将AVPacket数据帧中的原始视频帧结构解码后可变换为YUV格式AVFrame数据帧结构。AVFrame中视频帧数据为YUV格式，更具体可为AV_PIX_FMT_YUV420P格式。AVPacket和AVFrame是FFMpeg中的两种数据帧结构，在此不再赘述。YUV格式是视频、图片、相机等应用中普遍使用的一类图像格式，与RGB格式不同，YUV是用一个亮度分量Y和两个色度分量表示，两个色度分量分别称为U(蓝色投影)和V(红色投影)。

步骤S122，将航拍视频数据帧作为纹理加载到图像处理单元(GPU)。

本步骤中，可将YUV视频帧数据加载到GPU内做投影变换得到纹理RGB数据。更具体地，可分别将视频帧中的Y、U、V分量数组以二维纹理方式加载到GPU的OpenGL片段着色器(Fragment Shader)。在GPU的片段着色器中，将Y、U、V数据进行矩阵变换，以从YUV空间变换到RGB空间，变换后得到的RGB数据可以作为纹理直接使用，以便后续步骤中可以将RGB视频帧数据(也可称为视频数据帧)在数字地球上进行三维渲染处理。

步骤S123，获取当前数据帧对应的摄像机位置(如经度、纬度和海拔高度)和姿态(如俯仰、滚转和航向角)数据。

摄像机位置和姿态数据可在视频创建时同步创建。航拍系统在拍摄视频时会同步创建位置描述文件，位置描述文件中至少包含拍摄时间、经度、纬度、海拔高度、俯仰角、滚转角和航向角等数据。在视频解析时，根据视频数据帧的时间变量可查询位置描述文件，由此得到对应的摄像机位置和姿态数据。作为示例，在解析视频数据帧时，可同步获取当前数据帧的绝对或相对时间量，即拍摄当前数据帧时的绝对或相对时间，根据获取到的时间量可查询到摄像机的位置(如经度、纬度和海拔高度等)和姿态(如俯仰、滚转和航向角等)。在本发明一实施例中优选使用相对时间量索引来定位查询摄像机的位置和姿态，例如，视频帧率为25Hz，位置描述文件每秒保存25条时间、位置、姿态数据记录，这样，根据当前相对视频帧数就可以查询摄像机的相应位置和姿态数据记录。

本发明一实施例中解析并加载的一航拍视频帧如图3所示。

步骤S130，构建视锥面，将视锥面投影到数字地球，将航拍视频数据帧作为纹理映射到视锥面，以在数字地球上三维渲染视锥面。

在本步骤S130中，是用于在已构建的数字地球上构建视锥面，根据航拍视频数据帧对应的摄像机位置和姿态计算视锥面变换矩阵，来基于视锥面变换矩阵进行投影变换以将视锥面投影到数字地球，并将航拍视频数据帧作为纹理映射到视锥面，以在数字地球上三维渲染视锥面。

视锥为视觉场景中的一个三维空间，它的位置由摄像机来决定，这个空间的形状决定了摄像机空间中的模型将被如何投影。

视锥面的构建与摄像机视场角覆盖范围相关，在摄像机采用鱼眼镜头或全景镜头的情况下，摄像机视场角度大，此时优选构建半球和球视锥面。对于常规摄像机，视场角度不是特别大，构建平面视锥面便可满足应用需求。下面，本发明将以采用平面视锥为例，将平面视锥应用于常规摄像机拍摄的视频。

在采用平面视锥的情况下，该构建视锥面的步骤例如可包括以下步骤：

步骤S131，构建视锥面网格顶点位置数据。

视锥面网格顶点数据和索引数据是视锥面三维渲染的基础数据，视锥面的三维渲染操作便是基于该基础数据实现的，视锥面网格顶点在局部直角坐标系下完成，其中，局部直角坐标系可以是以摄像机地心直角坐标系位置为原点建立左手局部直角坐标系，Z轴垂直球面向上，Y轴垂直于Z轴指北，X轴垂直于ZY平面。视锥面网格顶点数据包括位置数据和纹理坐标。构建视锥平面网格最少需要四个顶点，考虑到与球和半球网格的通用性和扩展性，可采用水平361点，垂直181点的单位长度平面，即x轴坐标[-0.5,0.5]，被360等分，y轴坐标[-0.5,0.5]，被180等分，z轴坐标方向赋值1。在三维渲染中可通过调整坐标放大系数来调整视锥比例大小，可适应不同分辨率的视频帧。各数据点(网格顶点)UV纹理坐标可按照等分比例在[0,1]之间赋值。

对于半球和球视锥面，则是要构建单位半球和单位球的局部直角坐标系网格。局部直角坐标系网格z值为cos(angleV)，x值为sin(angleV)*sin(angleU)，y值为sin(angleV)*cos(angleU)，其中angleV为视锥垂直方向的角度离散值，取值范围在[-90，90]，angleU为视锥水平方向的角度离散值，对于半球来说，取值范围在[-90，90]，对于球面来说，取值范围在[-180，180]。

步骤S132，基于视锥面网格顶点位置数据构建视锥面网格索引数据。

视锥平面索引数据可按照数据点编号组织保存。如前所述，视锥平面共计361*181个点，从最下面第一行开始编号0,1,2……360，第二行数据点编号361-721，以此类推，共计181行。若将编号按照条带保存，第一条带可包含第一和第二行数据，第二条带可包含第二和第三行数据，共计180条带。每条带数据点编号交替保存，每条带最后添加一个数据值65535，用以标识条带数据的结束。作为示例，第一条带数据为0,361,1,362,3,363，……，360，721,65535。这些条带数据构成数组保存视锥面网格索引。此处以数据值65535作为条带数据的结束标识仅为示例，还可以采用其他标识来指示条带数据的结束。

步骤S133，基于视锥面网格索引数据设置视锥面顶点纹理坐标。

获得视锥面网格索引数据后，可为视锥面网格的每一个顶点设置顶点纹理坐标，以为后续视频帧纹理映射做准备。

视锥面顶点纹理坐标数据为纹理(U，V)坐标(或称UV坐标)。在本发明实施例中，视锥面361*181个顶点的纹理坐标为(i/360，j/180)，i为0，1，2，…360；j为0，1，2，…180。

步骤S134，根据当前加载的航拍数据帧对应的摄像机位置和姿态数据构建视锥面变换矩阵，来基于视锥面变换矩阵进行投影变换以将视锥面投影到数字地球，并以航拍视频帧的RGB数据作为纹理映射到视锥面，来在数字地球上三维渲染视锥面。

作为示例，在视锥面为视锥平面的情况下，视锥面变换矩阵为视锥平面变换矩阵。

视锥平面变换矩阵由摄像机的位置和姿态数据计算得到。根据摄像机在数字地球上的经度、纬度和海拔高度，可计算视锥平面位置投影矩阵，位置投影矩阵是单位矩阵经一次平移，两次旋转和一次比例放大得到。一次平移是将单位矩阵平移至摄像机的地心直角坐标系位置得到第一矩阵，地心直角坐标系位置可根据摄像机的经度、纬度和海拔高度计算得到，同时，以摄像机地心直角坐标系位置为原点建立左手局部直角坐标系，Z轴垂直球面向上，Y轴垂直于Z轴指北，X轴垂直于ZY平面。两次旋转中的第一次旋转是继续将第一矩阵绕局部直角坐标系的Y轴旋转经度值，得到第二矩阵；第二次旋转是继续将第二矩阵绕局部直角坐标系的X轴旋转纬度值，得到初始视锥平面位置投影矩阵。比例放大就是要指定视锥尺寸，将单位视锥比例放大。对于平面视锥体来说，可通过调整坐标放大系数来将单位视锥比例放大。其中，z方向放大系数不影响视频帧融合显示效果，只需要根据视频长宽比调整视锥x和y方向的放大系数即可，也即，可以通过将初始视锥平面位置投影矩阵的不同坐标放大系数进行放大来得到最终视锥平面位置投影矩阵。如果视锥体是曲面、球面等，除了视锥长宽比例调整，还要设定z方向比例系数。对一般应用，z方向比例系数例如可设置为1000，也就是视锥面位于摄像机镜头前1000米。此外，根据摄像机在数字地球上的俯仰、滚转和航向角可构建姿态变换矩阵。姿态变换矩阵是单位矩阵经三次旋转得到。第一次旋转是绕局部直角坐标系Y轴做滚转角旋转，第二次变换是绕局部直角坐标系X轴做俯仰角旋转，第三次旋转是绕局部直角坐标系的Z轴做航向角旋转。

通过将视锥平面位置投影矩阵和姿态变换矩阵合并(如将视锥平面位置投影矩阵和姿态变换矩阵相乘)得到一个投影变换矩阵，并加载到GPU中的顶点着色器(VertexShader)，可以对视锥平面的顶点数据进行坐标变换，以将视锥面渲染到到数字地球；在片段着色器(Fragment Shader)中使用YUV结构的视频帧变换得到的RGB数据作为纹理，通过索引数据映射到视锥面，可在数字地球上渲染出三维视锥平面。在数字地球上渲染的三维视锥面的两个示例分别如图4和图5所示。

在本发明一实施例中，可以实现三维视锥面的实时渲染，当航拍视频为实时性获取的视频数据时，在数字地球上渲染出三维视锥平面的纹理也将具备实时性。通过建立视锥面网格顶点纹理坐标数据和作为纹理数据的RGB数据之间的映射关系，可基于映射关系通过纹理贴图将RGB格式的视频数据帧三维渲染到视锥面上。

步骤S140，融合步骤：根据当前航拍视频数据帧对应的摄像机位置和姿态数据构建航拍摄像机第一人称视角变换矩阵，基于摄像机第一人称视角变换矩阵将数字地球视点的位置和姿态变换为与摄像机位置和姿态相一致，从而实现数字地球上视锥面的原位跟随。

经由步骤S130将航拍视频帧作为纹理映射到视锥面，将视锥面渲染到数字地球上之后，数字地球视点的位置姿态与摄像机位置姿态并不一致(不同步)，也即此时，数字地球视点并未位于摄像机原位，为了实现摄像机第一人称视角实现真实航拍视频和虚拟地球场景的无畸变融合，在本步骤S140中，用于根据当前数据帧对应的摄像机位置和姿态数据构建数字地球视点变换矩阵，以基于摄像机第一人称视角变换矩阵将数字地球视点的位置和姿态变换为与摄像机位置和姿态相一致，即实现数字地球视点位置姿态与摄像机位置姿态的同步，从而实现数字地球视点对视锥面的原位跟随渲染。

为了实现数字地球视点在摄像机原位时对视锥面的原位跟随渲染，首先根据当前航拍视频数据帧对应的摄像机位置和姿态数据构建摄像机第一人称视角变换矩阵，进行数字地球视点位置姿态与摄像机位置姿态的同步。摄像机第一人称视角变换矩阵可在步骤S130得到的视锥投影变换矩阵基础上得到，不同之处在于增加了航向的控制功能，例如通过鼠标进行航向控制的功能，在步骤S130构建视锥面姿态变换矩阵之后，绕Z轴做航向角旋转时，航向角替换为摄像机航向角与用户鼠标操作航向角的叠加。图6所示为数字地球视点在摄像机原位时的渲染效果示例。

当在本发明的实施过程中实时性获取并动态加载航拍数据帧时，在数字地球上融合显示的航拍数据帧也具备实时性，并且，在摄像机位置发生变化时，通过更新摄像机第一人称视角变换矩阵可以实时保持数字地球视点位置姿态与摄像机位置姿态的同步。

此外，在本发明优选实施例中，还可以实现航拍视频和数字地球的渐变融合和切换显示。此时，该融合步骤S140还可包括：设置视锥面透明度变量，基于设置的视锥面透明度变量控制渲染的视锥面在数字地球上的完全显示、完全隐藏和半透明融合显示。例如，当视锥面透明度变量被设置为值0或1时，显示效果对应在数字地球上完全隐藏航拍视频和完全显示航拍视频；当视锥面透明度变量在0和1之间取值时，显示效果为航拍视频和数字地球按比例融合效果，即部分透明(半透明)融合显示。并且，在视锥面透明度变量被设置为随时间发生变化时，显示效果为航拍视频和数字地球按比例渐变融合效果。也即，本发明实施例中，可以基于视锥面透明度变量来在数字地球上显示、隐藏或融合显示航拍视频帧。

更具体地，可通过设置浮点数变量alpha来设置视锥面透明度，并将alpha传递到视锥平面着色器。在片段着色器代码中，将视锥面透明度(航拍视频帧纹理透明度)设置为alpha。当alpha为0时，视锥平面完全隐藏；当alpha为1时，视锥平面完全显示；当alpha在0和1之间时，视锥平面为数字地球和航拍视频的按比例融合效果，如图7所示。

在本发明一实施例中，数字地球和航拍视频帧的融合视图还可以在虚拟现实(VR)头盔显示器上进行展示，使得数字地球和航拍视频帧融合展示格外具备沉浸感。

图2所示为本发明一实施例中航拍视频在数字地球上的融合显示方法的各操作步骤的示意图。如图2所示，在数字地球渲染之前，首先确定数字地球视点位置，该数字地球视点可以是当前设置的或通过在数字地球上进行操作而选定的视点，也可以是位于前一帧航拍视频对应的摄像机视点原位的地球视点。在确定数字地球视点之后，根据数字地球视点位置管理瓦片数据，然后利用创建的瓦片着色器来渲染数字地球。进一步的，读取航拍视频帧数据，将读取的航拍视频帧数据加载到GPU并转换为作为纹理的RGB数据，然后根据航拍视频帧对应的摄像机的位置和姿态计算变换矩阵，基于变换矩阵对视锥面进行投影变换，在数字地球上三维渲染视锥面，将航拍视频帧作为纹理映射到视锥面；进一步通过计算数字地球视点矩阵(摄像机第一人称视角变换矩阵)进行数字地球视点的变换，，将数字地球视点移动到摄像机位置，实现数字地球和航拍视频帧的无缝融合显示。通过实施接收新的航拍视频帧，可以实现连续、实时地数字地球和航拍视频的无缝融合显示。进一步地，通过设置透明度可以实现航拍视频视锥面在数字地球的完全显示、隐藏和渐变融合展示。

综上所述，本发明的方法经实施例验证，实现了航拍视频的原位动态跟随显示，实现了数字地球和航拍视频的无缝融合效果。以上这种数字地球和航拍视频融合显示方法在以数字地球为基础的视频显示领域是一种创新，在科普、旅游、娱乐、广告等领域有广阔应用前景。

本发明解决了监控类视频在数字地球局部场景的融合显示的问题，本发明的航拍视频在数字地球上的融合显示方法具有以下有益效果：

1)将航拍视频在数字地球上原位融合，实现航拍视频与数字地球的一体化显示，既能展示航拍视频的真实和细节，又能展示数字地球的虚拟和全局，提升了局部数字地球的全方位细节展示能力；

2)在第一人称视角下实现航拍视频和数字地球的无畸变、无缝融合原位显示，提升数字地球和航拍视频的综合展示效果；

3)通过透明度变化实现虚拟和实景的渐变切换，实现虚实对比显示效果。

4)实现数字地球全局显示和航拍局部显示的统一，特别是在虚拟现实显示设备上，可以显著提升信息获取感知效果。

与上述方法相应地，本发明还提供了一种航拍视频在数字地球上的融合显示装置，该装置可包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述数字地球和全景图融合显示方法的步骤。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述边缘计算服务器部署方法的步骤。该计算机可读存储介质可以是有形存储介质，诸如光盘、U盘、软盘、硬盘等。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种航拍视频在数字地球上的融合显示方法，其特征在于，该方法包括以下步骤：

航拍视频数据解析和加载步骤：解析航拍视频数据获得航拍视频数据帧，将航拍视频数据帧作为纹理加载到图像处理单元，并获取当前加载的视频数据帧对应的航拍摄像机位置和姿态；

视锥面渲染步骤：在已构建的数字地球上构建视锥面，根据航拍视频数据帧对应的摄像机位置和姿态计算视锥面变换矩阵，来基于视锥面变换矩阵进行投影变换以将视锥面投影到数字地球，并将航拍视频数据帧作为纹理映射到视锥面，以在数字地球上三维渲染视锥面；

融合步骤：根据当前航拍视频数据帧对应的摄像机位置和姿态数据构建航拍摄像机第一人称视角变换矩阵，基于摄像机第一人称视角变换矩阵将数字地球视点的位置和姿态变换为与摄像机位置和姿态相一致。

2.根据权利要求1所述的方法，其特征在于，所述融合步骤还包括：

设置视锥面透明度变量，基于设置的视锥面透明度变量控制渲染的视锥面在数字地球上的完全显示、完全隐藏和部分透明融合显示。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括构建所述数字地球的步骤，该步骤包括：基于数字正射影像DOM和数字高程模型DEM构建数字地球。

4.根据权利要求3所述的方法，其特征在于，所述基于数字正射影像DOM和数字高程模型DEM构建数字地球的步骤包括：

创建或获取DOM和DEM基础地理数据，所述DOM和DEM基础地理数据包括DEM地块瓦片数据和DOM地块瓦片数据；

根据数字地球视点位置基于创建的瓦片着色器动态加载DEM地块瓦片数据和DOM地块瓦片数据，进行数字地球的三维渲染。

5.根据权利要求1所述的方法，其特征在于，所述视锥面渲染步骤包括：

构建视锥面网格顶点位置数据；

基于视锥面网格顶点位置数据构建视锥面网格索引数据；

基于视锥面网格索引数据设置视锥面顶点纹理坐标；

根据当前加载的航拍数据帧对应的摄像机位置和姿态数据构建视锥面变换矩阵；

基于视锥面变换矩阵进行投影变换以将视锥面投影到数字地球，将航拍视频数据帧作为纹理映射到视锥面，从而在数字地球上三维渲染出视锥面。

6.根据权利要求5所述的方法，其特征在于，所述视锥面为平面视锥面、半球视锥面或球形视锥面。

7.根据权利要求5所述的方法，其特征在于，在视锥面为平面视锥面的情况下，计算视锥面变换矩阵的步骤包括：

视锥平面位置投影矩阵计算步骤，该视锥平面位置投影矩阵计算步骤包括：

将单位矩阵平移至摄像机的地心直角坐标系位置，得到第一矩阵；

将所述第一矩阵绕局部直角坐标系的Y轴旋转经度值，得到第二矩阵，其中所述局部直角坐标系的Z轴垂直球面向上，Y轴垂直于Z轴指北，X轴垂直于ZY平面；

将第二矩阵绕局部直角坐标系的X轴旋转纬度值得到初始视锥平面位置投影矩阵；以及

通过将初始视锥平面位置投影矩阵的坐标放大系数进行放大来得到最终视锥平面位置投影矩阵；

姿态变换矩阵计算步骤，该姿态变换矩阵计算步骤包括：将单位矩阵经三次旋转得到，第一次旋转为绕局部直角坐标系的Y轴做滚转角旋转，第二次变换为绕局部直角坐标系的X轴做俯仰角旋转，第三次旋转为绕局部直角坐标系的Z轴做航向角旋转；

将所述视锥平面位置投影矩阵和所述姿态变换矩阵相乘，得到所述视锥面变换矩阵。

8.根据权利要求1所述的方法，其特征在于，所述航拍视频数据解析和加载步骤包括：

解析航拍视频数据获得YUV格式的航拍视频数据帧；

将YUV格式的航拍视频数据帧进行投影变换，得到RGB格式的作为纹理的航拍视频数据帧，并将作为纹理的航拍视频数据帧加载到图像处理单元；

从所述航拍视频数据的描述文件中获取当前加载的视频数据帧对应的航拍摄像机位置和姿态。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括，将所述数字地球和航拍视频帧的融合在虚拟显示设备上进行显示。

10.一种航拍视频在数字地球上的融合显示装置，包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如权利要求1至9中任意一项所述方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至9中任意一项所述方法的步骤。

Images