Nothing Special   »   [go: up one dir, main page]

CN111669570B - 多角度自由视角视频数据处理方法及装置、介质、设备 - Google Patents

多角度自由视角视频数据处理方法及装置、介质、设备 Download PDF

Info

Publication number
CN111669570B
CN111669570B CN201910173414.7A CN201910173414A CN111669570B CN 111669570 B CN111669570 B CN 111669570B CN 201910173414 A CN201910173414 A CN 201910173414A CN 111669570 B CN111669570 B CN 111669570B
Authority
CN
China
Prior art keywords
image
data
angle
images
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910173414.7A
Other languages
English (en)
Other versions
CN111669570A (zh
Inventor
盛骁杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201910173414.7A priority Critical patent/CN111669570B/zh
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to US16/810,634 priority patent/US11341715B2/en
Priority to PCT/US2020/021195 priority patent/WO2020181088A1/en
Priority to US16/810,480 priority patent/US20200288098A1/en
Priority to US16/810,237 priority patent/US11037365B2/en
Priority to PCT/US2020/021252 priority patent/WO2020181128A1/en
Priority to PCT/US2020/021167 priority patent/WO2020181074A1/en
Priority to US16/810,695 priority patent/US11257283B2/en
Priority to PCT/US2020/021141 priority patent/WO2020181065A1/en
Priority to US16/810,586 priority patent/US20200286279A1/en
Priority to US16/810,464 priority patent/US11521347B2/en
Priority to US16/810,614 priority patent/US20200288099A1/en
Priority to PCT/US2020/021231 priority patent/WO2020181112A1/en
Priority to PCT/US2020/021220 priority patent/WO2020181104A1/en
Priority to US16/810,565 priority patent/US11055901B2/en
Priority to PCT/US2020/021197 priority patent/WO2020181090A1/en
Priority to PCT/US2020/021241 priority patent/WO2020181119A1/en
Priority to US16/810,681 priority patent/US20200288112A1/en
Priority to US16/810,352 priority patent/US20200288097A1/en
Priority to US16/810,362 priority patent/US20200288108A1/en
Priority to PCT/US2020/021187 priority patent/WO2020181084A1/en
Priority to PCT/US2020/021247 priority patent/WO2020181125A1/en
Priority to PCT/US2020/021164 priority patent/WO2020181073A1/en
Publication of CN111669570A publication Critical patent/CN111669570A/zh
Publication of CN111669570B publication Critical patent/CN111669570B/zh
Application granted granted Critical
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明实施例公开了一种多角度自由视角视频数据处理方法及装置、介质、设备，所述多角度自由视角视频数据处理方法包括：对获取到的视频数据进行解析，得到不同帧时刻的数据组合，所述数据组合中包括同步的多个图像的像素数据以及深度数据，所述同步的多个图像对待观看区域的视角不同；对于每个帧时刻，基于所述数据组合，进行虚拟视点的图像重建，所述虚拟视点选自多角度自由视角范围，所述多角度自由视角范围为支持对待观看区域进行视点的切换观看的范围。本发明实施例中的技术方案可以支持多角度自由视角范围内的试点切换播放。

Description

多角度自由视角视频数据处理方法及装置、介质、设备
技术领域
本发明涉及数据处理领域，尤其涉及一种多角度自由视角视频数据处理方法及装置、介质、设备。
背景技术
在数据处理领域，可以接收视频数据，基于视频数据向用户播放视频。这种视频的播放通常基于固定的视角，用户体验有待提升。
发明内容
本发明实施例解决的技术问题是提供一种多角度自由视角视频数据处理方法，支持多角度自由视角范围内的试点切换播放。
为解决上述技术问题，本发明实施例提供一种多角度自由视角视频数据处理方法，包括：对获取到的视频数据进行解析，得到不同帧时刻的数据组合，所述数据组合中包括同步的多个图像的像素数据以及深度数据，所述同步的多个图像对待观看区域的视角不同；对于每个帧时刻，基于所述数据组合，进行虚拟视点的图像重建，所述虚拟视点选自多角度自由视角范围，所述多角度自由视角范围为支持对待观看区域进行视点的切换观看的范围。
可选的，所述同步的多个图像中的每个图像，所述深度数据为所述图像的像素一一对应的深度值集合。
可选的，所述同步的多个图像中的每个图像，所述深度数据为对深度图进行降采样后得到的数据，所述深度图是与所述图像的像素一一对应的深度值集合按照所述图像的像素点排布的图像。
可选的，基于所述数据组合，进行虚拟视点的图像重建包括：对所述深度数据进行升采样，得到与所述图像的像素一一对应的深度值集合；根据同步的多个图像的像素数据以及所述深度值集合，进行虚拟视点的图像重建。
可选的，所述基于所述数据组合，进行虚拟视点的图像重建包括：确定所述同步的多个图像中每个图像的参数数据，所述参数数据包括图像的拍摄位置和拍摄角度数据；确定所述虚拟视点的参数数据，所述虚拟视点的参数数据包括虚拟观看位置和虚拟观看角度；在所述同步的多个图像中确定多个目标图像；对于每个目标图像，根据所述虚拟视点的参数数据以及所述图像的参数数据之间的关系，映射所述深度数据至所述虚拟视点；根据映射至所述虚拟视点的深度数据，以及所述目标图像的像素数据，生成重建后的图像。
可选的，在所述同步的多个图像中确定多个目标图像包括：根据所述虚拟视点的参数数据以及所述图像的参数数据之间的关系，在所述多个图像中选取目标图像。
可选的，以同步的多个图像中的全部图像，作为所述目标图像。
可选的，所述图像的参数还包括内部参数数据，所述内部参数数据包括图像的拍摄设备的属性数据。
可选的，进行虚拟视点的图像重建前，还包括：接收所述虚拟视点的参数数据。
可选的，进行虚拟视点的图像重建后，还包括：发送所述重建后的图像至图像显示端。
本发明实施例还提供一种多角度自由视角视频数据处理方法，包括：采用所述的多角度自由视角视频数据处理方法进行虚拟视点的图像重建；基于所述不同帧时刻的重建后的图像，进行视频播放。
可选的，进行虚拟视点的图像重建前，还包括：接收用户的指示，根据所述用户指示确定所述虚拟视点。
本发明实施例还提供一种多角度自由视角视频数据处理方法，包括：接收对虚拟视点进行重建后的图像，所述虚拟视点的图像重建采用所述的多角度自由视角视频数据处理方法；基于所述不同帧时刻的重建后的图像，进行视频播放。
可选的，所述重建后的图像从边缘计算节点接收。
可选的，还包括：向边缘计算节点发送所述虚拟视点的参数数据。
本发明实施例还提供一种多角度自由视角视频数据处理装置，包括：解析单元，适于对获取到的视频数据进行解析，得到不同帧时刻的数据组合，所述数据组合中包括同步的多个图像的像素数据以及深度数据，所述同步的多个图像对待观看区域的视角不同；虚拟视点图像重建单元，适于对于每个帧时刻，基于所述数据组合，进行虚拟视点的图像重建，所述虚拟视点选自多角度自由视角范围，所述多角度自由视角范围为支持对待观看区域进行视点的切换观看的范围。
本发明实施例还提供一种多角度自由视角视频数据处理装置，包括：重建单元，适于采用所述的多角度自由视角视频数据处理装置进行虚拟视点的图像重建；播放单元，适于基于所述不同帧时刻的重建后的图像，进行视频播放。
本发明实施例还提供一种多角度自由视角视频数据处理装置，包括：接收单元，适于接收对虚拟视点进行重建后的图像，所述虚拟视点的图像重建采用所述的多角度自由视角视频数据处理装置进行；播放单元，适于基于所述不同帧时刻的重建后的图像，进行视频播放。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时执行多角度自由视角视频数据处理方法的步骤。
本发明实施例还提供一种边缘计算节点，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行所述多角度自由视角视频数据处理方法的步骤。
本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行所述多角度自由视角视频数据处理方法的步骤。
本发明实施例还提供一种移动设备，包括通信组件、处理器以及显示组件：所述通信组件用于接收多角度自由视角视频数据，所述多角度自由视角数据包括所述数据组合；所述处理器，用于基于所述多角度自由视角视频数据进行渲染，生成对应不同虚拟视点的视频；所述显示组件，用于显示所述对应不同虚拟视点的视频。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
在本发明实施例中，对获取到的视频数据进行解析，得到对不同帧时刻的多个数据组合，数据组合中包括同步的多个图像的像素数据以及深度数据，且同步的多个图像对待观看区域的视角不同，对于每个帧时刻，基于所述数据组合，进行虚拟视点的图像重建，基于不同帧时刻的重建后的图像，进行视频播放。从而，本发明实施例中的多角度自由视角视频数据处理方法，可以支持多角度自由视角范围内的试点切换播放。
附图说明
图1是本发明实施例中一种待观看区域的示意图；
图2是本发明实施例中一种采集设备设置方式的示意图；
图3是本发明实施例中一种多角度自由视角展示系统的示意图；
图4是本发明实施例中一种设备显示的示意图；
图5是本发明实施例中一种对设备进行操控的示意图；
图6是本发明实施例中另一种对设备进行操控的示意图；
图7是本发明实施例中另一种采集设备设置方式的示意图；
图8是本发明实施例中另一种对设备的操控的示意图；
图9是本发明实施例中另一种设备显示的示意图；
图10是本发明实施例一种采集设备设置方法的流程图；
图11是本发明实施例中一种多角度自由视角范围的示意图；
图12是本发明实施例中另一种多角度自由视角范围的示意图；
图13是本发明实施例中另一种多角度自由视角范围的示意图；
图14是本发明实施例中另一种多角度自由视角范围的示意图；
图15是本发明实施例中另一种多角度自由视角范围的示意图；
图16是本发明实施例中另一种采集设备设置方式的示意图；
图17是本发明实施例中另一种采集设备设置方式的示意图；
图18是本发明实施例中另一种采集设备设置方式的示意图；
图19是本发明实施例中一种多角度自由视角数据生成方法的流程图；
图20是本发明实施例中一种单个图像的像素数据与深度数据的分布位置的示意图；
图21是本发明实施例中另一种单个图像的像素数据与深度数据的分布位置的示意图；
图22是本发明实施例中一种图像的像素数据与深度数据的分布位置的示意图；
图23是本发明实施例中另一种图像的像素数据与深度数据的分布位置的示意图；
图24是本发明实施例中另一种图像的像素数据与深度数据的分布位置的示意图；
图25是本发明实施例中另一种图像的像素数据与深度数据的分布位置的示意图；
图26是本发明实施例中一种图像区域拼接的示意图；
图27是本发明实施例中一种拼接图像的结构示意图；
图28是本发明实施例中另一种拼接图像的结构示意图；
图29是本发明实施例中另一种拼接图像的结构示意图；
图30是本发明实施例中另一种拼接图像的结构示意图；
图31是本发明实施例中另一种拼接图像的结构示意图；
图32是本发明实施例中另一种拼接图像的结构示意图；
图33是本发明实施例中一种图像的像素数据分布的示意图；
图34是本发明实施例中另一种图像的像素数据分布的示意图；
图35是本发明实施例中一种拼接图像中数据存储的示意图；
图36是本发明实施例中另一种拼接图像中数据存储的示意图；
图37是本发明实施例中一种多角度自由视角视频数据生成方法的流程图；
图38是本发明实施例中一种多角度自由视角数据处理方法的流程图；
图39是本发明实施例中一种虚拟视点图像重建的方法的流程图；
图40是本发明实施例中一种多角度自由视角图像数据处理方法的流程图；
图41是本发明实施例中一种多角度自由视角视频数据处理方法的流程图；
图42是本发明实施例中一种多角度自由视角交互方法的流程图；
图43是本发明实施例中另一种对设备进行操控的示意图；
图44是本发明实施例中另一种设备显示的示意图；
图45是本发明实施例中另一种对设备进行操控的示意图；
图46是本发明实施例中另一种设备显示的示意图；
图47是本发明实施例中一种多角度自由视角视频数据处理装置的结构示意图；
图48是本发明实施例中一种虚拟视点图像重建单元的结构示意图；
图49是本发明实施例中另一种虚拟视点图像重建单元的结构示意图；
图50是本发明实施例中另一种多角度自由视角视频数据处理的结构示意图
图51是本发明实施例中另一种多角度自由视角视频数据处理的结构示意图。
图52是本发明实施例中一种多角度自由视角数据生成过程的示意图；
图53是本发明实施例中一种多摄像机6DoF采集系统的示意图；
图54是本发明实施例中一种6DoF视频数据的生成及处理的示意图；
图55是本发明实施例中一种数据头文件的结构示意图；
图56是本发明实施例中一种用户侧对6DoF视频数据处理的示意图；
图57是本发明实施例中一种参考软件的输入和输出示意图；
图58是本发明实施例中一种参考软件的算法架构的示意图。
具体实施方式
如背景技术所述，在数据处理领域，可以接收视频数据，基于视频数据向用户播放视频。这种视频的播放通常基于固定的视角，用户体验有待提升。
在本发明实施例中，对获取到的视频数据进行解析，得到对不同帧时刻的多个数据组合，数据组合中包括同步的多个图像的像素数据以及深度数据，且同步的多个图像对待观看区域的视角不同，对于每个帧时刻，基于所述数据组合，进行虚拟视点的图像重建，进而可以基于不同帧时刻的重建后的图像，进行视频播放。虚拟视点的图像重建，可以得到基于虚拟视点，对待观看区域观看的图像。从而，本发明实施例中的多角度自由视角视频数据处理数据处理方法，可以支持多角度自由视角范围内的试点切换视频播放。
在一种可以支持用户进行视角切换的数据处理方法中，通过点云的方式对图像数据进行存储，具体对对待观看区域的所有点的三维位置以及像素信息进行表达和存储，需要的存储资源较多。相应的，对该存储方式下的图像数据进行处理，需要的计算资源也较多。若以该方式存储对应不同时刻的数据，数据量更大，相应的，基于该存储方式下的数据进行视频播放，难以满足实视频流畅播放的要求。
本发明实施例中的切换视频播放的视点对视频进行播放，基于不同帧时刻重建后的图像，图像的重建根据数据组合实现。相比于点云数据，本发明实施例中需要处理的数据量更少。
为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
作为本发明实例的实施例，申请人公开了如下步骤：第一步是采集和深度图计算，包括了三个主要步骤，分别为多摄像机的视频采集(Multi-camera Video Capturing)，摄像机内外参计算(Camera Parameter Estimation)，以及深度图计算(Depth MapCalculation)。对于多摄像机采集来说，要求各个摄像机采集的视频可以帧级对齐。结合参考图52，通过多摄像机的视频采集可以得到纹理图(Texture Image)，也即后文所述的同步的多个图像；通过摄像机内外参计算，可以得到摄像机参数(Camera Parameter)，包括后文所述的内部参数数据和外部参数数据；通过深度图计算，可以得到深度图(Depth Map)。
在这个方案中，并不需要特殊的摄像机，比如光场摄像机，来做视频的采集。同样的，也不需要在采集前先进行复杂的摄像机校准的工作。可以布局和安排多摄像机的位置，以更好的拍摄需要拍摄的物体或者场景。结合参考图53，可以在待观看区域设置多个采集设备，例如摄像机1至摄像机N。
在以上的三个步骤处理完后，就得到了从多摄像机采集来的纹理图，所有的摄像机参数，以及每个摄像机的深度图。可以把这三部分数据称作为多角度自由视角视频数据中的数据文件，也可以称作6自由度视频数据(6DoF video data)。因为有了这些数据，用户端就可以根据虚拟的6自由度(Degree of Freedom，DoF)位置，来生成虚拟视点，从而提供6DoF的视频体验。
结合参考图54，6DoF视频数据以及指示性数据可以经过压缩和传输到达用户侧，用户侧可以根据接收到的数据，获取用户侧6DoF表达，也即前述的6DoF视频数据和元数据。其中，指示性数据也可以称作元数据(Metadata)，
结合参考图55，元数据可以用来描述6DoF视频数据的数据模式，具体可以包括：拼接模式元数据(Stitching Pattern metadata)，用来指示拼接图像中多个图像的像素数据以及深度数据的存储规则；边缘保护元数据(Padding pattern metadata)，可以用于指示对拼接图像中进行边缘保护的方式，以及其它元数据(Other metadata)。元数据可以存储于数据头文件，具体的存储顺序可以如图51所示，或者以其它顺序存储。
结合参考图56，用户端得到了6DoF视频数据，其中包括了摄像机参数，纹理图以及深度图，以及描述元数据(元数据)，除此之外，还有用户端的交互行为数据。通过这些数据，用户端可以采用基于深度图的渲染(DIBR，Depth Image-Based Rendering)方式进行的6DoF渲染，从而在一个特定的根据用户行为产生的6DoF位置产生虚拟视点的图像，也即根据用户指示，确定与该指示对应的6DoF位置的虚拟视点。
在一个测试时实现的实施例中，每个测试用例包含了20秒的视频数据，视频数据为30帧/秒，1920*1080的分辨率。对30个摄像机中的任意一个，总共有600帧数据。主文件夹包含了纹理图文件夹，和深度图文件夹。在纹理图文件夹下，可以找到从0-599的二级目录，这些二级目录分别代表了20秒视频对应的600帧内容。每一个二级目录下，包含了30个摄像机采集的纹理图，以yuv420的格式从0.yuv命名到29.yuv.相对应的，在深度图的文件夹下，每个二级目录包含了30个通过深度估计算法计算得到的深度图。每个深度图以同样的名字对应于一个纹理图。多个摄像机的纹理图和对应深度图都是属于20秒视频中的某一帧时刻。
测试用例中的所有深度图都是通过预设的深度估计算法产生的。在测试中，这些深度图可以在虚拟的6DoF位置上提供好的虚拟视点重建质量。一种情况下，可以直接通过给出的深度图来生成虚拟视点的重建图像。或者，也可以根据原始的纹理图通过深度计算算法来生成或改进深度图。
除了深度图以及纹理图以外，测试用例还包含了.sfm文件，这个文件是用来描述所有30个相机的参数。这个文件的数据是用二进制格式写入的，具体的数据格式描述如下。考虑到对不同摄像机的适应性，测试中采用了带有畸变参数鱼眼相机模型。可以参考我们提供的DIBR参考软件来了解怎么去从文件中读取和使用摄像机参数数据。摄像机参数数据包含了以下的一些字段：
(1)krt_R是相机的旋转矩阵；
(2)krt_cc是相机的光心位置；
(3)krt_WorldPosition是相机的三维空间坐标；
(4)krt_kc是相机的畸变系数；
(5)src_width是校准图像的宽度；
(6)src_height是校准图像的高度；
(7)fisheye_radius和lens_fov是鱼眼相机的参数。
在本发明具体实施的技术方案中，用户可以从预设的参数读取函数(set_sfm_parameters function)中找到详细的如何读取.sfm文件中相应参数的代码。
在DIBR参考软件中，接收摄像机参数，纹理图，深度图，以及虚拟摄像机的6DoF位置作为输入，同时输出在虚拟6DoF位置的生成纹理图以及深度图。虚拟摄像机的6DoF位置即前述的根据用户行为确定的6DoF位置。DIBR参考软件可以是实现本发明实施例中基于虚拟视点的图像重建的软件。
结合参考图57，在参考软件中，接收摄像机参数，纹理图，深度图，以及虚拟摄像机的6DoF位置作为输入，同时输出在虚拟6DoF位置的生成纹理图以及生成深度图。
结合参考图58，软件可以包括以下几个处理步骤：摄像机选择(Cameraselection)，深度图的前向映射(Forward Projection of Depth map)，深度图后处理(Postprocessing)，纹理图的反向映射(Backward projection of Texture map)，多相机映射纹理图的融合(Texture Fusion)，以及图像的空洞填补(Inpainting)。
在参考软件中，可以默认选择离虚拟6DoF位置最近的两个摄像机来进行虚拟视点生成。
在深度图的后处理的步骤中，可以通过多种方法来改善深度图的质量，比如前景边缘保护，像素级的滤波等。
对于输出的生成图像，使用了从两个摄像机拍摄纹理图进行融合的方法。融合的权重是全局的权重，是由虚拟视点的位置离参考相机位置的距离来决定的。当输出虚拟视点图像的像素仅仅被一个摄像机映射到的情况，可以直接采用那个映射像素作为输出像素的值。
在融合步骤后，如果仍然有空洞的像素没有被映射到，可以采用图像填补的方法来填补这些空洞像素。
对于输出的深度图来说，为了差错和分析的便利，可以采用从其中一个相机向虚拟视点位置映射而得到的深度图作为输出。
可以理解的是，上述实施例仅为举例说明，并非对具体实施方式的限制，以下将对本发明中的技术方案进行进一步的说明。
结合参考图1，待观看区域可以是篮球场，可以设置多台采集设备，对待观看区域进行数据采集。
例如，结合参考图2，可以在高于篮筐的高度HLK，沿一定路径设置若干采集设备，例如，可以沿弧线设置6个采集设备，也即采集设备CJ1至CJ6。可以理解的是，采集设备的设置位置、数量和支撑方式可以是多样的，在此不做限制。
采集设备可以是能够同步进行拍摄的相机或者摄像机，例如可以是能够通过硬件同步线进行同步拍摄的相机或摄像机。通过多台采集设备对待观看区域进行数据采集，可以得到同步的多个图像或视频流。根据多台采集设备采集到的视频流，也可以得到同步的多个帧图像，作为同步的多个图像。可以理解的是，理想情况下，同步指的是对应同一时刻，但也可以容许误差与偏差的存在。
结合参考图3，在本发明实施例中，可以通过包括多个采集设备的采集系统31，对待观看区域进行数据采集；可以由采集系统31或者由服务器32，对获取到的同步的多个图像进行处理，生成能够支持进行显示的设备33进行虚拟视点切换的多角度自由视角数据。进行显示的设备33可以展示基于多角度自由视角数据生成的重建图像，重建图像对应于虚拟视点，根据用户指示可以展示对应于不同虚拟视点的重建图像，切换观看的位置和观看角度。
在具体实现中，进行图像重建，得到重建图像的过程可以由进行显示的设备33实施，也可以由位于内容分发网络(Content Delivery Network，CDN)的设备以边缘计算的方式实施。可以理解的是，图3仅为示例，并非对采集系统、服务器、进行显示的设备以及具体实现方式的限制。基于多角度自由视角数据进行图像重建的过程会在后文结合图38至图41详述，在此不再赘述。
结合参考图4，沿用前例，用户可以通过进行显示的设备对待观看区域进行观看，在本实施例中，待观看区域为篮球场。如前所述，观看的位置和观看角度是可以切换的。
举例而言，用户可以在屏幕滑动，以切换虚拟视点。在本发明一实施例中，结合参考图5，用户手指向右滑动屏幕时，可以切换进行观看的虚拟视点。继续参考图2，滑动前的虚拟视点的位置可以是VP1，滑动屏幕切换虚拟视点后，虚拟视点的位置可以是VP2。结合参考图6，在滑动屏幕后，屏幕展示的重建图像可以如图6所示。重建图像，可以是基于由实际采集情境中的多个采集设备采集到的数据生成的多角度自由视角数据进行图像重建得到的。
可以理解的是，切换前进行观看的图像，也可以是重建图像。重建图像可以是视频流中的帧图像。另根据用户指示切换虚拟视点的方式可以是多样的，在此不做限制。
在具体实施中，虚拟视点可以用6自由度(Degree of Freedom，DoF)的坐标表示，其中，虚拟视点的空间位置可以表示为(x，y，z)，视角可以表示为三个旋转方向
虚拟视点是一个三维概念，生成重建图像需要三维信息。在一种具体实现方式中，多角度自由视角数据中可以包括深度数据，用于提供平面图像外的第三维信息。相比于其它实现方式，例如通过点云数据提供三维信息，深度数据的数据量较小。生成多角度自由视角数据的具体实现方式，会在后文结合图19至图37详述，在此不再赘述。
在本发明实施例中，虚拟视点的切换可以在一定范围内进行，该范围即为多角度自由视角范围。也即，在多角度自由视角范围内，可以任意切换虚拟视点位置以及视角。
多角度自由视角范围与采集设备的布置相关，采集设备的拍摄覆盖范围越广，则多角度自由视角范围越大。进行显示的设备展示的画面质量，与采集设备的数量相关，通常，设置的采集设备的数量越多，展示的画面中空洞区域越少。
结合参考图7，若在篮球场设置高度不同的上下两排采集设备，分别为上排的采集设备CJ1至CJ6，以及下排的采集设备CJ1至CJ6，则相比于仅设置一排采集设备，其多角度自由视角范围更大。
结合参考图8，用户手指可以向上滑动，切换进行观看的虚拟视点。结合参考图9，在滑动屏幕后，屏幕展示的图像可以如图9所示。
在具体实施中，若仅设置一排采集设备，也可以在图像重建获得重建图像的过程中，获得一定的上下方向的自由度，其多角度自由视角范围在上下方向上小于设置两排采集设备。
本领域技术人员可以理解的是，上述各实施例以及对应的附图仅为举例示意性说明，并非对采集设备的设置以及多角度自由视角范围之间关联关系的限定，也并非对操作方式以及获得的进行显示的设备展示效果的限定。根据用户指示，对待观看区域进行虚拟视点切换观看的具体实施方式后文会结合图43至图47进一步详述，在此不再赘述。
以下特别针对采集设备的设置方法进行进一步的阐述。
图10是本发明实施例中一种采集设备设置方法的流程图，具体可以包括如下步骤：
步骤S101，确定多角度自由视角范围，在所述多角度自由视角范围内，支持对待观看区域进行虚拟视点的切换观看；
步骤S102，至少根据所述多角度自由视角范围确定采集设备的设置位置，所述设置位置适于设置所述采集设备，对所述待观看区域进行数据采集。
本领域技术人员可以理解的是，完全的自由视角可以是指6自由度的视角，也即用户可以在进行显示的设备自由切换虚拟视点的空间位置以及视角。其中，虚拟视点的空间位置可以表示为(x，y，z)，视角可以表示为三个旋转方向 共6个自由度方向，故称为6自由度视角。
如前所述，在本发明实施例中，虚拟视点的切换可以在一定范围内进行，该范围即为多角度自由视角范围。也即，在多角度自由视角范围内，可以任意切换虚拟视点位置以及视角。
多角度自由视角范围，可以根据应用场景的需要确定。例如，在一些场景中，待观看区域可以具有核心看点，如舞台的中心、或者篮球场地的中心点，或者篮球场的篮筐等。在这些场景中，多角度自由视角范围可以包括包含该核心看点的平面或者立体区域。可以理解的是，待观看区域可以是点、平面或者立体区域，在此不做限制。
如前所述，多角度自由视角范围可以是多样的区域，以下结合参考图11至图15，进行进一步的举例说明。
结合参考图11，以O点表示核心看点，多角度自由视角范围可以是以核心看点为圆心，与核心看点位于同一平面的扇形区域，例如扇形区域A1OA2，或者扇形区域B1OB2，或者也可以是以O点为中心的圆面。
以多角度自由视角范围为扇形区域A1OA2为例，虚拟视点的位置可以在该区域内连续切换，例如，可以从A1沿弧线段A1A2连续切换至A2，或者，也可以沿弧线段L1L2进行切换，或者以其它方式在该多角度自由视角范围内进行位置的切换。相应的，虚拟视点的视角也可以在该区域内进行变换。
进一步结合参考图12，核心看点可以是篮球场地的中心点E，多角度自由视角范围可以是以中心点E为圆心，与中心点E位于同一平面的扇形区域，例如扇形区域F121EF122。篮球场地的中心点E可以位于场地地面，或者，篮球场地的中心点E也可以距离地面一定高度。扇形区域的弧线端点F121和弧线端点F122的高度可以相同，例如图中的高度H121。
结合参考图13，以点O表示核心看点，多角度自由视角范围可以是以核心看点为中心的球体的一部分，例如，以区域C1C2C3C4示意球面的部分区域，多角度自由视角范围可以是区域C1C2C3C4与点O形成的立体范围。在该范围内的任意一点，均可作为虚拟视点的位置。
进一步结合参考图14，核心看点可以是篮球场地的中心点E，多角度视角范围可以是以中心点E为中心的球体的一部分，例如区域F131F132F133F134示意球面的部分区域,多角度自由视角范围可以是区域F131F132F133F134与中心点E形成的立体范围。
在有核心看点的场景中，核心看点的位置可以是多样的，多角度自由视角范围也可以是多样的，在此不一一列举。可以理解的是，上述各个实施例仅为示例，并非对多角度自由视角范围的限制，并且，其中示出的形状也并非对实际场景和应用的限制。
在具体实施中，核心看点可以是根据场景确定的，一个拍摄场景中，也可以有多个核心看点，多角度自由视角范围可以是多个子范围的叠加。
在另一些应用场景中，多角度自由视角范围也可以是无核心看点的，例如，在一些应用场景中，需要提供对古迹建筑的多角度自由视角观看，或者提供对画展的多角度自由视角观看。相应的，多角度自由视角范围可以根据这些场景的需要确定。
可以理解的是，自由度视角范围的形状可以是任意的，在多角度自由视角范围内的任一点均可以作为位置。
参见图15，多角度自由视角范围可以是立方体D1D2D3D4D5D6D7D8，待观看区域为面D1D2D3D4，则立方体D1D2D3D4D5D6D7D8内任一点均可以作为虚拟视点的位置，虚拟视点的视角，也即观看角度可以是多样的。例如可以在面D5D6D7D8选取位置E6沿E6D1的视角观看，也可以沿E6D9的角度观看，点D9选自待观看区域。
在具体实施中，在确定多角度自由视角范围后，可以根据多角度自由视角范围确定采集设备的位置。
具体的，可以在多角度自由视角范围内选择采集设备的设置位置，例如，可以在多角度自由视角范围的边界点中确定采集设备的设置位置。
结合参考图16，核心看点可以是篮球场地的中心点E，多角度自由视角范围可以是以中心点E为圆心，与中心点E位于同一平面的扇形区域，例如扇形区域F61EF62。采集设备可以设置于多角度视角范围内部，例如沿弧线F65F66设置。采集设备未覆盖到的区域，可以利用算法进行图像重建。在具体实施中，采集设备也可以沿弧线F61F62设置，并在弧线的端点设置采集设备，以提升重建图像的质量。每个采集设备可以均设置为朝向篮球场地的中心点E。采集设备的位置可以用空间位置坐标表示，朝向可以用三个旋转方向表示。
在具体实施中，可以设置的设置位置可以是2个及以上，相应的可以设置2个及以上的采集设备。采集设备的数量，可以根据重建图像或视频的质量要求确定。在对重建图像或视频的画面质量要求较高的场景中，采集设备的数量可以更多，而在对重建图像或视频的画面质量要求较低的场景中，采集设备的数量可以更少。
继续结合参考图16，可以理解的是，若追求更高的重建图像或视频画面的质量，减少重建后画面中的空洞，可以沿弧线F61F62设置更多数量的采集设备，例如，可以设置40个摄像机。
结合参考图17，核心看点可以是篮球场地的中心点E，多角度视角范围可以是以中心点E为中心的球体的一部分，例如区域F61F62F63F64示意球面的部分区域,多角度自由视角范围可以是区域F61F62F63F64与中心点E形成的立体范围。采集设备可以设置于多角度视角范围内部，例如沿弧线F65F66和弧线F67F68设置。与前例类似，采集设备未覆盖到的区域，可以利用算法进行图像重建。在具体实施中，采集设备也可以沿弧线F61F62以及弧线F63F64设置，并在弧线的端点设置采集设备，以提升重建图像的质量。
每个采集设备可以均设置为朝向篮球场地的中心点E。可以理解的是，虽然图中未示出，采集设备的数量可以是沿弧线F61F62以及弧线F63F64的更多个。
如前所述，在一些应用场景中，待观看区域可以包括核心看点，相应的，多角度自由视角范围包括视角指向所述核心看点的区域。在这种应用场景中，采集设备的设置位置可以选自凹陷方向指向所述核心看点的弧形区域。
在待观看区域包括核心看点时，在凹陷方向指向所述核心看点的弧形区域选择设置位置，使得采集设备按弧形排布。由于观看区域是包括核心看点的，视角指向核心看点，在这种场景中，弧形排布采集设备，可以采用更少的采集设备，覆盖更大的多角度自由视角范围。
在具体实施中，可以结合所述视角范围以及所述待观看区域的边界形状确定采集设备的设置位置。例如，可以在所述视角范围内，沿所述待观看区域的边界以预设的间隔确定采集设备的设置位置。
结合参考图18，多角度视角范围可以是无核心看点的，例如，虚拟视点位置可以选自六面体F81F82F83F84F85F86F87F88，从该虚拟视点位置对待观看区域进行观看。待观看区域的边界，可以是球场的地面边界线。采集设备可以沿地面边界线与待观看区域的交线B89B94设置，例如，可以在位置B89至位置B94设置6个采集设备。在上下方向的自由度，可以通过算法实现，或者，也可以在水平投影位置为交线B89B94的位置，再设置一排采集设备。
在具体实施中，多角度自由视角范围也可以支持从待观看区域的上侧对待观看区域进行观看，上侧为远离水平面的方向。
相应的，可以通过无人机搭载采集设备，以在待观看区域的上侧设置采集设备，也可以在待观看区域所在的建筑的顶部设置采集设备，顶部为所述建筑在远离水平面的方向的结构体。
例如，可以在篮球场馆的顶部设置采集设备，或者通过无人机携带采集设备悬停于篮球场地上侧。可以在舞台所在的场馆顶部设置采集设备，或者也可以通过无人机搭载。
通过以在待观看区域的上侧设置采集设备，可以使得多角度自由视角范围包括待观看区域上方的视角。
在具体实施中，采集设备可以是相机或者摄像机，采集到的数据可以是图片或者视频数据。
可以理解的是，在设置位置设置采集设备的方式可以是多样的，例如也可以是通过支撑架支撑在设置位置，或者也可以是其它的设置方式。
另外，可以理解的是，上述各个实施例仅为进行举例说明，并非对采集设备设置方式的限制。在各种应用场景中，根据多角度自由视角范围确定采集设备的设置位置并设置采集设备进行采集的具体实现方式，均在本发明的保护范围内。
以下特别针对生成多角度自由视角数据的方法进行进一步的阐述。
如前所述，继续结合参考图3，可以由采集系统31或者由服务器32，对获取到的同步的多个图像进行处理，生成能够支持进行显示的设备33进行虚拟视点切换的多角度自由视角数据，多角度自由视角数据可以通过深度数据指示二维图像外的第三维信息。
具体的，结合参考图19，生成多角度自由视角数据可以包括如下步骤：
步骤S191，获取同步的多个图像，所述多个图像的拍摄角度不同；
步骤S192，基于所述多个图像，确定每个图像的深度数据；
步骤S193，对于每个所述图像，存储每个图像的像素数据至第一字段，存储所述深度数据至与所述第一字段关联的至少一个第二字段。
同步的多个图像，可以是相机采集到的图像，或者摄像机采集到的视频数据中的帧图像。在生成多角度自由视角数据的过程中，可以基于所述多个图像，确定每个图像的深度数据。
其中，深度数据可以包括与图像的像素对应的深度值。采集设备到待观看区域中各个点的距离可以作为上述深度值，深度值可以直接反应待观看区域中可见表面的几何形状。深度值可以是待观看区域中各个点点沿着相机光轴到光心的距离，相机坐标系的原点可以作为光心。本领域技术人员可以理解的是，该距离，可以是相对数值，多个图像以同样的基准即可。
进一步的，深度数据可以包括与图像的像素一一对应的深度值，或者，可以是对与图像的像素一一对应的深度值集合中选取的部分数值。
本领域技术人员可以理解的是，深度值集合可以存储为深度图的形式，在具体实施中，深度数据可以是对原始深度图进行降采样后得到的数据，与图像的像素一一对应的深度值集合按照图像的素点排布存储的图像形式为原始深度图。
在具体实施中，存储至第一字段的图像的像素数据，可以是原始的图像数据，例如从采集设备获取到的数据，或者也可以是对原始的图像数据降低分辨率后的数据。进一步的，图像的像素数据可以是图像原始的像素数据，或者降低分辨率后的像素数据。图像的像素数据，可以是YUV数据或RGB数据中任意一种，或者也可以是其它能够对图像进行表达的数据。
在具体实施中，存储至第二字段的深度数据，可以与存储至第一字段的图像的像素数据对应的像素点的数量相同或者不同。该数量可以根据与对多角度自由视角图像数据进行处理的设备端进行数据传输的带宽限制确定，若带宽较小，则可以通过上述降采样或降低分辨率等方式降低数据量。
在具体实施中，对于每个所述图像，可以将所述图像的像素数据按照预设的顺序依次存入多个字段，这些字段可以是连续的，或者也可以是与第二字段间隔分布的。存储图像的像素数据的字段可以作为第一字段。以下举例进行说明。
参见图20，一个图像的像素数据，以图中像素1至像素6，以及其它未示出的像素示意，可以按照预设的顺序，存入多个连续的字段，这些连续的字段可以作为第一字段；该图像对应的深度数据，以图中深度值1至深度值6，以及其它未示出的深度值示意，可以按照预设的顺序，存入多个连续字段，这些连续字段可以作为第二字段。其中，预设的顺序可以是按照图像像素的分布位置，逐行依次进行存入，或者也可以是其它的顺序。
参见图21，一个图像的像素数据以及相应的深度值，也可以交替存入多个字段。存储像素数据的多个字段，可以作为第一字段，存储深度值的多个字段，可以作为第二字段。
在具体实施中，存储深度数据，可以按照与存储图像的像素数据相同的顺序进行存储，以使得第一字段中各个字段可以与第二字段中的各个字段相关联。进而可以体现每个像素对应的深度值。
在具体实施中，多个图像的像素数据以及深度数据可以以多种方式存储。以下举例进行进一步的说明。
结合参考图22，图像1的各个像素，以图中示出的图像1像素1、图像1像素2，以及其它未示出的像素示意，可以存储于连续的字段，该连续的字段可以作为第一字段。图像1的深度数据，以图中示出的图像1深度值1、图像1深度值2，以及其它未示出的深度数据示意，可以存储于与第一字段相邻的字段，这些字段可以作为第二字段。类似的，对于图像2的像素数据，可以存储至第一字段，图像2的深度数据可以存储于相邻的第二字段。
可以理解的是，同步的多个采集设备中一个采集设备所连续采集到的图像流中的各个图像，或者视频流中的各个帧图像，均可以分别作为上述图像1；类似的，同步的多个采集设备中，与图像1同步采集到的图像，可以作为图像2。采集设备可以是如图2中的采集设备，或者其它场景中的采集设备。
结合参考图23，图像1的像素数据和图像2的像素数据，可以存储于多个相邻的第一字段，图像1的深度数据和图像2的深度数据，可以存储于多个相邻的第二字段。
结合参考图24，多个图像中每个图像的像素数据可以分别存储于多个字段，这些字段可以作为第一字段。存储像素数据的字段可以与存储深度值的字段可以交叉排布。
结合参考图25，不同图像的像素数据、深度值也可以交叉排布，例如可以依次存储图像1像素1、图像1深度值1、图像2像素1、图像2深度值1…直至完成多个图像中每个图像与第一个像素对应的像素数据和深度值，其相邻字段存储图像1像素2、图像1深度值2、图像2像素2、图像2深度值2…直至完成每个图像的像素数据以及深度数据的存储。
综上，存储每个图像的像素数据的字段，可以作为第一字段，存储该图像的深度数据的字段，可以作为第二字段。对每个图像，均可以存储有第一字段以及与第以字段相关联的第二字段。
本领域技术人员可以理解的是，上述各个实施例仅为示例，并非对字段的类型、大小、以及排布的具体限制。
结合参考图3，包含第一字段和第二字段的多角度自由视角数据可以存储于云端的服务器32，传输至CDN或者至进行显示的设备33，进行图像重建。
在具体实施中，所述第一字段与第二字段均可以是拼接图像中的像素字段，拼接图像用于存储所述多个图像的像素数据以及所述深度数据。通过采用图像格式进行数据存储，可以减少数据量，降低数据传输的时长，减少资源占用。
拼接图像可以是多种格式的图像，例如BMP格式、JPEG格式、PNG格式等。这些图像格式可以是压缩格式，或者也可以是非压缩格式。本领域技术人员可以理解的是，各种格式的图像，均可以包括对应于各个像素的字段，称为像素字段。拼接图像的大小，也即拼接图像包含像素的数量和长宽比等参数，可以根据需要确定，具体可以根据同步的多个图像的数量、每个图像待存储的数据量，每个图像待存储的深度数据的数据量以及其它因素确定。
在具体实施中，同步的多个图像中，每个图像的像素对应的深度数据以及像素数据的位数，可以与拼接图像的格式相关联。
例如，当拼接图像的格式为BMP格式时，深度值的范围可以是0-255，是一个8bit的数据，该数据可以存储为拼接图像中的灰度值；或者，深度值也可以是一个16bit的数据，可以在拼接图像中两个像素位置存储为灰度值，或存储于拼接图像中一个像素位置的两个通道中。
当拼接图像的格式为PNG格式时，深度值也可以是8bit或者16bit的数据，PNG格式下，16bit的深度值可以存储为拼接图像中的一个像素位置的灰度值。
可以理解的是，上述实施例并非对存储方式或数据位数的限制，本领域技术人员可以实现的其它数据存储方式均落入本发明的保护范围。
在具体实施中，可以将拼接图像分为图像区域以及深度图区域，图像区域的像素字段存储所述多个图像的像素数据，深度图区域的像素字段存储所述多个图像的深度数据；图像区域中存储每个图像的像素数据的像素字段作为所述第一字段，深度图区域中存储每个图像的深度数据的像素字段作为所述第二字段。
在一种具体实现方式中，图像区域可以是一个连续的区域，深度图区域也可以是一个连续的区域。
进一步的，在具体实施中，可以是对拼接图像进行等分，以等分后的两部分分别作为图像区域和深度图区域。或者，也可以根据待存储的图像的像素数据量以及深度数据的数据量，以非等分的方式对拼接图像进行划分
例如，参见图26，以每一个最小方格示意一个像素，则图像区域可以是虚线框内的区域1，也即将拼接图像进行上下等分后的上半区域，拼接图像的下半区域可以作为深度图区域。
可以理解的是，图26仅为示意，其中的最小方格数量并非对拼接图像像素个数的限制。另外，等分的方式也可以是将拼接图像进行左右等分。
在具体实施中，图像区域可以包括多个图像子区域，每个图像子区域用于存储所述多个图像中的一个，每个图像子区域的像素字段可以作为第一字段；相应的，深度图区域可以包括多个深度图子区域，每个深度图子区域用于存储所述多个图像中的一个的深度数据，每个深度图子区域的像素字段可以作为第二字段。
其中，图像子区域的数量与深度图子区域的数量可以是相等的，均与同步的多个图像的数量相等。换言之，可以与前文所述的相机的数量相等。
继续以对拼接图像进行上下等分为例，结合参见图27进行进一步的说明。图27中拼接图像的上半部分为图像区域，划分称为8个图像子区域，分别存储同步的8个图像的像素数据，每个图像的拍摄角度不同，也即视角不同。拼接图像的下半部分为深度图区域，划分为8个深度图子区域，分别存储8个图像的深度图。
结合前文所述，同步的8个图像的像素数据，也即视角1图像至视角8图像，可以是从相机获取到的原始图像，或者也可以是原始图像降低分辨率后的图像。深度数据存储在拼接图像的部分区域，也可以称作深度图。
如前文所述，在具体实施中，也可以以非等分的方式对拼接图像进行划分。例如，参见图28，深度数据占用的像素数量可以少于图像的像素数据占用的像素数量，则图像区域和深度图区域可以是不同大小的。例如，深度数据可以是对所述深度图进行四分之一降采样后得到的，则可以采用如图28所示的划分方式。深度图占用的像素数量也可以多于图像的像素数据占用的详述数量。
可以理解的是，图28并非对以非等分方式对拼接图像进行划分的限制，在具体实施中，拼接图像的像素量、长宽比可以是多样的，划分方式也可以是多样的。
在具体实施中，图像区域或者深度图区域，也可以包括多个区域。例如图29中所示的，图像区域可以是一个连续的区域，深度图区域可以包括两个连续的区域。
或者，参见图30和图31，图像区域可以包括两个连续的区域，深度图区域也可以包括两个连续的区域。图像区域与深度区域可以间隔排布。
又或，参见图32，图像区域包括的图像子区域可以与深度图区域包括的深度图子区域间隔排布。图像区域包括的连续区域的数量，可以与图像子区域相等，深度图区域包括的连续区域的数量，可以与深度图子区域相等。
在具体实施中，对于每个图像的像素数据，可以按照像素点排布的顺序存储至所述图像子区域。对于每个图像的深度数据，也可以按照像素点排布的顺序存储至所述深度图子区域。
结合参考图33至图35，图33中以9个像素示意了图像1，图34中以9个像素示意了图像2，图像1和图像2是同步的不同角度的两个图像。根据图像1和图像2，可以得到对应图像1的深度数据，包括图像1深度值1至图像1深度值9，也可以得到对应图像2的深度数据，包括图像2深度值1至图像2深度值9。
参见图35，在将图像1存储至图像子区域，可以按照像素点排布的顺序，将图像1存储至左上的图像子区域，也即，在图像子区域中，像素点的排布可以是与图像1相同的。将图像2存储至图像子区域，同样可以是以该方式存储至右上的图像子区域。
类似的，将图像1的深度数据存储至深度图子区域，可以是按照类似的方式，在深度值与图像的像素值一一对应的情况下，可以按照如图35中示出的方式存储。若深度值为对原始深度图进行降采样后得到的，则可以按照降采样后得到的深度图的像素点排布的顺序，存储至深度图子区域。
本领域技术人员可以理解的是，对图像进行压缩的压缩率，与图像中各个像素点的关联相关，关联性越强，压缩率越高。由于拍摄得到的图像是对应真实世界的，各个像素点的关联性较强，通过按照像素点排布的顺序，存储图像的像素数据以及深度数据，可以使得对拼接图像进行压缩时，压缩率更高，也即，可以使得在压缩前数据量相同的情况下在压缩后的数据量更小。
通过对拼接图像进行划分，划分为图像区域和深度图区域，在图像区域中多个图像子区域相邻，或者深度图区域中多个深度图子区域相邻的情况下，由于各个图像子区域中存储的数据是不同角度对待观看区域进行拍摄的图像或视频中帧图像得到的，深度图区域中存储的均为深度图，故在对拼接图像进行压缩时，也可以获得更高的压缩率。
在具体实施中，可以对所述图像子区域和所述深度图子区域中的全部或部分进行边缘保护。边缘保护的形式可以是多样的，例如，以图31中视角1深度图为例，可以在原视角1深度图的周边，设置冗余的像素；或者也可以在保持原视角1深度图的像素数量不变，周边留出不存放实际像素数据的冗余像素，将原始视角1深度图缩小后存储至其余像素中；或者也可以以其它方式，最终使得视角1深度图与其周围的其它图像之间留出冗余像素。
由于拼接图像中包括多个图像以及深度图，各个图像相邻的边界的关联性较差，通过进行边缘保护，可以使得在对拼接图像进行压缩时，降低拼接图像中的图像以及深度图的质量损失。
在具体实施中，图像子区域的像素字段可以存储三通道数据，所述深度图子区域的像素字段可以存储单通道数据。图像子区域的像素字段用于存储多个同步的图像中任一个图像的像素数据，像素数据通常为三通道数据，例如RGB数据或者YUV数据。
深度图子区域用于存储图像的深度数据，若深度值为8位二进制数据，则可以采用像素字段的单通道进行存储，若深度值为16位二进制数据，则可以采用像素字段的双通道进行存储。或者，深度值为也可以采用与更大的像素区域进行存储。例如，若同步的多个图像均为1920*1080的图像，深度值为16位二进制数据，也可以将深度值存储至2倍的1920*1080图像区域，每个图像区域均存储为单通道。拼接图像也可以结合该具体存储方式进行划分。
拼接图像的未经压缩的数据量，按照每个像素的每个通道占用8bit的方式进行存储，可以按照如下公式计算：同步的多个图像的数量*(图像的像素数据的数据量+深度图的数据量)。
若原始图像为1080P的分辨率，也即1920*1080像素，逐行扫描的格式，原始深度图也可以占用1920*1080像素，为单通道。则原始图像的像素数据量为：1920*1080*8*3bit，原始深度图的数据量为1920*1080*8bit，若相机数量为30个，则拼接图像的像素数据量为30*(1920*1080*8*3+1920*1080*8)bit，约为237M，若不经压缩，则占用系统资源较多，延时较大。特别是带宽较小的情况下，例如带宽为1Mbps时，一个未经压缩的拼接图像需要约237s进行传输，实时性较差，用户体验有待提升。
通过规律性的存储以获得更高的压缩率，对原始图像降低分辨率，或者以降低分辨率后的像素数据作为图像的像素数据，或者对原始深度图中的一个或多个进行降采样等方式中的一种或者多种，可以减少拼接图像的数据量。
例如，若原始图像的分辨率为4K的分辨率，即4096*2160的像素分辨率，降采样为540P分辨率，也即960*540的像素分辨率，则拼接图像的像素个数约为降采样前的十六分之一。结合上述其它减少数据量方式中的任一种或多种，可以使得数据量更少。
可以理解的是若带宽支持，且进行数据处理的设备的解码能力可以支持更高分辨率的拼接图像，则也可以生成分辨率更高的拼接图像，以提升画质。
本领域技术人员可以理解的是，在不同的应用场景中，同步的多个图像的像素数据以及深度数据，也可以以其它的方式存储，例如，以像素点为单位存储至拼接图像。参见图33、图34和图36，对于图33和图34所示的图像1和图像2，可以以图36的方式存储至拼接图像。
综上，图像的像素数据以及深度数据可以存储至拼接图像，拼接图像可以以多种方式划分为图像区域以及深度图区域，或者也可以不进行划分，以预设的顺序存储图像的像素数据以及深度数据。
在具体实施中，同步的多个图像也可以是解码多个视频得到的同步的多个帧图像。视频可以是通过多个摄像机获取的，其设置可以与前文中获取图像的相机相同或类似。
在具体实施中，多角度自由视角图像数据的生成还可以包括生成关联关系字段，关联关系字段可以指示第一字段与至少一个第二字段的关联关系。第一字段存储的是同步的多个图像中一个图像的像素数据，第二字段存储的是该图像对应的深度数据，二者对应于同一个拍摄角度，也即同一个视角。二者的关联关系可以通过关联关系字段描述。
以图27为例，图27中存储视角1图像至视角8图像的区域为8个第一字段，存储视角1深度图至视角8深度图的区域为8个第二字段，对于存储视角1图像的第一字段，与存储视角1深度图的第二字段之间，存在关联关系，类似的，存储视角2图像与存储视角2深度图的字段之间，存在关联关系。
关联关系字段可以以多种方式指示同步的多个图像中每个图像的第一字段与第二字段的关联关系，具体可以是同步的多个图像的像素数据以及深度数据的内容存储规则，也即通过指示前文中所述的存储方式，指示第一字段和第二字段的关联关系。
在具体实施中，关联关系字段可以仅包含不同的模式编号，进行数据处理的设备可以根据该字段的模式编号，以及存储于进行数据处理的设备的数据，获悉获取到的多角度自由视角图像数据中像素数据和深度数据的存储方式。例如，若接收到模式编号为1，则解析出存储方式为：拼接图像等分为上下两个区域，上半区域为图像区域，下半区域为深度图区域，上半区域某一位置的图像，与下半区域对应位置存储的深度图相关联。
可以理解的是，前述实施例中存储为拼接图像的方式，例如图27至图36示意出的存储方式，均可以有相应的关联关系字段描述，以使得进行数据处理的设备可以根据关联关系字段获取相关联的图像以及深度数据。
如前所述，拼接图像的图片格式可以是BMP、PNG、JPEG、Webp等图像格式中的任一种，或者也可以是其它图像格式。多角度自由视角图像数据中像素数据和深度数据的存储方式并不仅限制于拼接图像的方式。可以以各种方式进行存储，也可以有相应的关联关系字段描述。
类似的，也可以模式编号的方式指示存储方式。例如图23示出的存储方式，关联关系字段可以存储模式编号2，进行数据处理的设备读取该模式编号后，可以解析出同步的多个图像的像素数据是依次存储的，并且可以解析出第一字段、第二字段的长度，在多个第一字段存储结束后，按照与图像相同的存储顺序存储每个图像的深度数据。进而进行数据处理的设备可以根据关联关系字段确定图像的像素数据与深度数据的关联关系。
可以理解的是，同步的多个图像的像素数据以及深度数据的存储方式可以是多样的，关联关系字段的表述方式也可以是多样的。可以以上述模式编号的方式指示，也可以直接指示内容。进行数据处理的设备可以根据关联关系字段的内容，结合已存储的数据或其它先验知识，例如每个模式编号对应的内容，或者同步的多个图像的具体数量等，确定图像的像素数据与深度数据的关联关系。
在具体实施中，多角度自由视角图像数据的生成还可以包括：基于同步的多个图像，计算并存储每个图像的参数数据，参数数据包括图像的拍摄位置和拍摄角度数据。
结合同步的多个图像中的每个图像的拍摄位置和拍摄角度，进行数据处理的设备可以结合用户的需要确定与之在同一坐标系的虚拟视点，基于多角度自由视角图像数据进行图像的重建，为用户展示其期待的观看位置和视角。
在具体实施中，参数数据还可以包括内部参数数据，所述内部参数数据包括图像的拍摄设备的属性数据。前述的图像的拍摄位置和拍摄角度数据也可以称为外部参数数据，内部参数数据和外部参数数据可以称为姿态数据。结合内部参数数据和外部参数数据，可以在图像重建时考虑到镜头畸变等内部参数数据指示的因素，进而可以更精确的对虚拟视点的图像进行重建。
在具体实施中，多角度自由视角图像数据的生成还可以包括：生成参数数据存储地址字段，所述参数数据存储地址字段用于指示所述参数数据的存储地址。进行数据处理的设备可以从参数数据的存储地址获取参数数据。
在具体实施中，多角度自由视角图像数据的生成还可以包括：生成数据组合存储地址字段，用于指示数据组合的存储地址，也即指示同步的多个图像中每个图像的第一字段以及第二字段的存储地址。进行数据处理的设备可以从数据组合的存储地址对应的存储空间中，获取到同步的多个图像的像素数据和深度数据，从这个角度，数据组合包括同步的多个图像的像素数据以及深度数据。
可以理解的是，多角度自由视角图像数据中可以包括图像的像素数据、深度数据、以及参数数据等具体数据，以及其它的指示性数据，例如前述的生成关联关系字段、参数数据存储地址字段、数据组合存储地址字段等。这些指示性数据可以存储于数据头文件，以指示进行数据处理的设备获取数据组合，以及参数数据等。
在具体实施中，生成多角度自由视角数据的各个实施例中涉及的名词解释、具体实现方式以及有益效果可以参见其它实施例，并且多角度自由视角交互方法中各种具体实现可以与其他实施例结合实现。
多角度自由视角数据可以为多角度自由视角视频数据，以下特别针对生成多角度自由视角视频数据的方法进行进一步的阐述。
结合参考图37，多角度自由视角视频数据生成方法可以包括如下步骤：
步骤S371，获取帧同步的多个视频，所述多个视频的拍摄角度不同；
步骤S372，对每个视频进行解析得到多个帧时刻的图像组合，所述图像组合包括帧同步的多个帧图像；
步骤S373，基于所述多个帧时刻中每个帧时刻的图像组合，确定所述图像组合中每个帧图像的深度数据；
步骤S374，生成对应每个帧时刻的拼接图像，所述拼接图像包括存储所述图像组合中每个帧图像的像素数据的第一字段，以及存储所述图像组合中每个帧图像的深度数据的第二字段；
步骤S375，基于多个所述拼接图像生成视频数据。
在本实施例中，采集设备可以是摄像机，可以通过多个摄像机获取帧同步的多个视频。每个视频包括多个帧时刻的帧图像，多个图像组合可以分别对应不同的帧时刻，每个图像组合均包括帧同步的多个帧图像。
在具体实施中，基于所述多个帧时刻中每个帧时刻的图像组合，确定所述图像组合中每个帧图像的深度数据。
沿用前文中实施例，若原始视频中帧图像为1080P的分辨率，也即1920*1080像素，逐行扫描的格式，原始深度图也可以占用1920*1080像素，为单通道。则原始图像的像素数据量为：1920*1080*8*3bit，原始深度图的数据量为1920*1080*8bit，若摄像机数量为30个，则拼接图像的像素数据量为30*(1920*1080*8*3+1920*1080*8)bit，约为237M，若不经压缩，则占用系统资源较多，延时较大。特别是带宽较小的情况下，例如带宽为1Mbps时，一个未经压缩的拼接图像需要约237s进行传输，若以原始的拼接图像，按照帧率进行传输，难以实现视频的实时播放。
通过规律性的存储，可以在进行视频格式的压缩时获得更高的压缩率，或者对原始图像降低分辨率，以降低分辨率后的像素数据作为图像的像素数据，或者对原始深度图中的一个或多个进行降采样，或者提升视频压缩码率等方式中的一种或者多种，可以减少拼接图像的数据量。
例如，若原始视频中，也即获取到的多个视频中，帧图像的分辨率为4K的分辨率，即4096*2160的像素分辨率，降采样为540P分辨率，也即960*540的像素分辨率，则拼接图像的像素个数约为降采样前的十六分之一。结合上述其它减少数据量方式中的任一种或多种，可以使得数据量更少。
可以理解的是若带宽支持，且进行数据处理的设备的解码能力可以支持更高分辨率的拼接图像，则也可以生成分辨率更高的拼接图像，以提升画质。
在具体实施中，基于多个所述拼接图像生成视频数据，可以是基于全部或者部分的拼接图像生成视频数据，具体可以根据待生成视频的帧率与获取到的视频的帧率确定，或者也可以根据与进行数据处理设备的通信的带宽确定。
在具体实施中，基于多个所述拼接图像生成视频数据，可以是将多个拼接图像，按照帧时刻的顺序，进行编码和封装，生成视频数据。
具体的，封装格式可以是AVI、QuickTime File Format、MPEG、WMV、Real Video、Flash Video、Matroska等格式中的任一种，或者也可以是其他封装格式，编码格式可以是H.261、H.263、H.264、H.265、MPEG、AVS等编码格式，或者也可以是其它编码格式。
在具体实施中，多角度自由视角图像数据的生成还可以包括生成关联关系字段，关联关系字段可以指示第一字段与至少一个第二字段的关联关系。第一字段存储的是同步的多个图像中一个图像的像素数据，第二字段存储的是该图像对应的深度数据，二者对应于同一个拍摄角度，也即同一个视角。
在具体实施中，多角度自由视角视频数据的生成还可以包括：基于同步的多个帧图像，计算并存储每个帧图像的参数数据，参数数据包括帧图像的拍摄位置和拍摄角度数据。
在具体实施中，同步的多个视频中的不同时刻的图像组合中帧同步的多个帧图像，可以对应于同样的参数数据，可以以任何一组图像组合计算参数数据。
在具体实施中，多角度自由视角范围图像数据的生成还可以包括：生成参数数据存储地址字段，所述参数数据存储地址字段用于指示所述参数数据的存储地址。进行数据处理的设备可以从参数数据的存储地址获取参数数据。
在具体实施中，多角度自由视角范围图像数据的生成还可以包括：生成视频数据存储地址字段，所述视频图像存储地址字段用于指示生成的视频数据的存储地址。
可以理解的是，多角度自由视角视频数据中可以包括生成的视频数据、以及其它的指示性数据，例如前述的生成关联关系字段、参数数据存储地址字段、视频数据存储地址字段等。这些指示性数据可以存储于数据头文件，以指示进行数据处理的设备获取视频数据，以及参数数据等。
生成多角度自由视角视频数据的各个实施例中涉及的名词解释、具体实现方式以及有益效果可以参见其它实施例，并且多角度自由视角交互方法中各种具体实现可以与其他实施例结合实现。
以下特别针对多角度自由视角数据处理进行进一步的阐述。
图38是本发明实施例中一种多角度自由视角数据处理方法的流程图，具体可以包括如下步骤：
步骤S381，获取数据头文件；
步骤S382，根据对所述数据头文件的解析结果确定数据文件的定义格式；
步骤S383，基于所述定义格式，从数据文件中读取数据组合，所述数据组合中包括同步的多个图像的像素数据以及深度数据，所述同步的多个图像对待观看区域的视角不同，所述同步的多个图像中每个图像的像素数据与深度数据存在关联关系；
步骤S384，根据读取到的数据组合，进行虚拟视点的图像或视频重建，所述虚拟视点选自多角度自由视角范围，所述多角度自由视角范围为支持对所述待观看区域进进行虚拟视点的切换观看的范围。
本发明实施例中的多角度自由视角数据，为能够支持在多角度自由视角范围内进行虚拟视点的图像或视频重建的数据。可以包括数据头文件以及数据文件。数据头文件可以指示数据文件的定义格式，以使得对多角度自由视角数据进行数据处理的设备能够根据数据头文件从数据文件解析出需要的数据，以下进行进一步的说明。
结合参考图3，进行数据处理的设备可以是位于CDN的设备，或者进行显示的设备33，也可以作为进行数据处理的设备。数据文件和数据头文件均可以存储于云端的服务器32，或者，在一些应用场景中，数据头文件也可以存储于进行数据处理的设备，从本地获取数据头文件。
在具体实施中，前文所述的各个实施例中的拼接图像，可以作为本发明实施例中的数据文件。在带宽受到限制的应用场景中，可以将拼接图像分割为多个部分多次进行传输。相应的，数据头文件中可以包括分割的方式，进行数据处理的设备可以按照数据头文件中的指示，对分割后的多部分进行组合，得到拼接图像。
在具体实施中，定义格式可以包括存储格式，数据头文件中可以包括指示数据组合的存储格式的字段，该字段可以采用编号指示存储格式，或者直接写入存储格式。相应的，解析结果可以是存储格式的编号，或者存储格式。
相应的，进行数据处理的设备可以根据解析结果确定该存储格式。例如，可以根据该编号，以及已存储的支持性数据，确定具体的存储格式；或者也可以直接从指示数据组合的存储格式的字段中获取存储格式。在其它实施例中，若存储格式是事先可以固定的，也可以将该固定的存储格式记录于进行数据处理的设备中。
在具体实施中，存储格式可以为图片格式或者视频格式。如前所述，图片格式可以是BMP、PNG、JPEG、Webp等图像格式中的任一种，或者也可以是其它图像格式；视频格式可以包括封装格式和编码格式，封装格式可以是AVI、QuickTime File Format、MPEG、WMV、RealVideo、Flash Video、Matroska等格式中的任一种，或者也可以是其他封装格式，编码格式可以是H.261、H.263、H.264、H.265、MPEG、AVS等编码格式，或者也可以是其它编码格式。
存储格式也可以是图片格式或者视频格式以外的其它格式，在此不做限制。能够通过数据头文件进行指示，或者通过已存储的支持性数据，使得进行数据处理的设备获取所需的数据，以进行后续的虚拟视点的图像或视频重建的各种存储格式均在本发明的保护范围内。
在具体实施中，数据组合的存储格式为视频格式时，数据组合的数量可以是多个，每个数据组合可以是对视频进行解封装和解码后，对应不同帧时刻的数据组合。
在具体实施中，所述定义格式可以包括所述数据组合的内容存储规则，数据头文件中可以包括指示数据组合的内容存储规则的字段。通过内容存储规则，进行数据处理的设备可以确定每个图像中像素数据以及深度数据之间的关联关系。指示数据组合的内容存储规则的字段也可以称作关联关系字段，该字段可以采用编号指示数据组合的内容存储规则，或者也可以直接写入该规则。
相应的，进行数据处理的设备可以根据解析结果确定数据组合的内容存储规则。例如，可以根据该编号，以及已存储的支持性数据，确定具体的内容存储规则；或者也可以直接从指示数据组合的内容存储规则的字段中获取数据组合的内容存储规则。
在其它实施例中，若内容存储规则是事先可以固定的，也可以将该固定的数据组合的内容存储规则记录于进行数据处理的设备中。以下对数据组合的内容存储规则以及进行数据处理的设备结合数据头文件的指示，获取数据组合的具体实现方式进行进一步的说明。
在具体实施中，同步的多个图像的像素数据以及深度数据的存储规则具体可以是同步的多个图像的像素数据以及深度数据在拼接图像中的存储规则。
如前所述，数据组合的存储格式可以是图片格式或者视频格式，相应的，数据组合可以是图片的格式或者是视频中的帧图像。该图像或者帧图像中存储有同步的多个图像中各个图像的像素数据以及深度数据，从这个角度，根据图片的格式或视频的格式进行解码后得到的图像或帧图像也可以称为拼接图像。同步的多个图像的像素数据以及深度数据的存储规则，可以是在拼接图像中的存储位置，该存储位置可以是多样的。同步的多个图像的像素数据以及深度数据在拼接图像中的多种存储方式可以参见前文所述，在此不再赘述。
在具体实施中，数据组合的内容存储规则，可以用于向进行数据处理的设备指示同步的多个图像的像素数据以及深度数据在拼接图像中的多种存储方式，或者，也可以是对每个图像指示其它存储方式下第一字段和第二字段的存储方式，也即用于指示同步的多个图像的像素数据以及深度数据的存储规则。
如前所述，数据头文件中可以包括指示数据组合的内容存储规则的字段，该字段可以采用编号指示数据组合的内容存储规则，或者，也可以直接在数据头文件中写入该规则，或者，也可以将该固定的数据组合的内容存储规则记录于进行数据处理的设备中。
其中，内容存储规则可以对应上述各个存储方式中的任意一种，进行数据处理的设备可以根据内容存储规则解析出存储方式，进一步对数据组合进行解析，确定所述多个图像中每个图像的像素数据与深度数据的关联关系。
在具体实施中，内容存储规则可以通过同步的多个图像中每个图像的像素数据以及深度数据在拼接图像中的存储位置通过所述图像区域与所述深度图区域的分布指示。
该指示可以是模式编号，例如，若模式编号为1，则可以解析出内容存储规则为：拼接图像等分为上下两个区域，上半区域为图像区域，下半区域为深度图区域，上半区域某一位置的图像，与下半区域对应位置存储的深度图相关联。进行数据处理的设备，可以基于该规则，进一步确定具体的存储方式。例如，可以结合同步的多个图像的数量，像素数据与深度数据的存储顺序，以及深度数据与像素数据占用像素点的比例关系等，进一步确定出是如图27或图28的存储方式，或者其它的存储方式。
在具体实施中，内容存储规则也可以通过同步的多个图像中每个图像的像素数据以及深度数据在拼接图像中的存储位置通过所述图像子区域和所述深度图子区域的分布指示。其中，同步的多个图像中每个图像的像素数据存储于图像子区域，同步的多个图像中每个图像的深度数据存储于深度图子区域。
例如，内容存储规则可以是图像子区域和所述深度图子区域逐列交叉排布，与前例类似的，进行数据处理的设备，可以基于该规则，进一步确定具体的存储方式。例如，可以结合同步的多个图像的数量，像素数据与深度数据的存储顺序，以及深度数据与像素数据占用像素点的比例关系等，进一步确定出是如图31存储方式，或者其它的存储方式。
如前所述，存储像素数据的第一字段和存储深度数据的第二字段，可以是拼接图像中的像素字段，或者也可以是以其它形式进行存储的字段。本领域技术人员可以理解的是，内容存储规则可以是适应于具体存储方式的指示，使得进行数据处理的设备能够获悉相应的存储方式即可。
在具体实施中，内容存储规则还可以包括用于支持进行数据处理的设备解析出数据组合的存储方式的更多信息。例如，可以包括前述的图像子区域和所述深度图子区域中的全部或部分进行边缘保护，以及边缘保护的方式。内容存储规则也可以包括图像的像素数据以及深度数据的分辨率关系等。
进行数据处理的设备可以基于已存储的信息，或者根据数据头文件的其它字段获取到的信息，确定具体的存储方式。例如，前述的同步的多个图像的数量，也可以通过数据头文件获取，具体可以通过数据头文件中解析出的数据文件的定义格式获取。
在确定具体的存储方式后，进行数据处理的设备可以解析出同步的多个图像的像素数据，以及与之对应的深度数据。
在具体实施中，像素数据与深度数据的分辨率可以是相同的，则可以进一步确定每个图像各个像素点的像素数据以及相应的深度值。
如前所述，深度数据也可以是降采样后的数据，则数据头文件中的定义格式中可以有相应的字段进行指示，进行数据处理的设备可以进行相应的升采样，以确定每个图像各个像素点的像素数据以及相应的深度值。
相应的，根据读取到的数据组合进行渲染和显示，可以是根据确定每个图像各个像素点的像素数据以及相应的深度值，以及待显示的虚拟视点的位置，进行图像的重建后进行渲染和显示。对于视频，本发明实施例中所述的重建后的图像可以是帧图像，按照帧时刻的顺序展示帧图像，可为用户播放视频，完成视频重建。也即，视频重建，可以包括对视频中的帧图像的重建，对帧图像重建的具体实现方式与图像的重建相同或类似。
在具体实施中，参见图39，进行虚拟视点的图像重建可以包括如下步骤：
步骤S391，确定所述同步的多个图像中每个图像的参数数据，所述参数数据包括图像的拍摄位置和拍摄角度数据；
步骤S392，确定所述虚拟视点的参数数据，所述虚拟视点的参数数据包括虚拟观看位置和虚拟观看角度；
步骤S393，在所述同步的多个图像中确定多个目标图像；
步骤S394，对于每个目标图像，根据所述虚拟视点的参数数据以及所述图像的参数数据之间的关系，映射所述深度数据至所述虚拟视点；
步骤S395，根据映射至所述虚拟视点的深度数据，以及所述目标图像的像素数据，生成重建后的图像。
其中，生成重建后的图像进一步可以包括：确定重建后的图像的每个像素点的像素值。具体的，对于每个像素点，若映射至虚拟视点的像素数据均为0，则可以利用一个或多个目标图像周围的像素数据进行空洞填补。对于每个像素点，若映射至虚拟视点的像素数据为多个不为零的数据，则可以确定各个数据的权重值，最终确定像素点的数值。
在本发明一实施例中，生成重建后的图像时，可以先执行前向映射，利用深度信息将所述视频帧的图像组合中相应组的纹理图投影到三维欧式空间，即：分别将所述相应组的深度图根据空间几何关系映射到所述用户交互时刻所述虚拟视点位置上，形成虚拟视点位置深度图，再执行反向映射，将三维空间点投影到虚拟像机的成像平面上，即：根据映射后的深度图从所述相应组的纹理图中的像素点复制到生成的虚拟视点位置对应的虚拟纹理图中，形成相应组对应的虚拟纹理图。之后，将所述相应组对应的虚拟纹理图进行融合，得到所述用户交互时刻所述虚拟视点位置的重建图像。采用上述方法重建图像，可以提高重建图像的抽样精度。
在执行前向映射之前，可以先进行预处理。具体而言，可以先根据所述视频帧的图像组合中相应组对应的参数数据，计算前向映射的深度值和纹理反向映射的单应性矩阵。在具体实施中，可以利用Z变换将深度水平转换为深度值。
在深度图前向映射过程中，可以利用公式将相应组的深度图映射到虚拟视点位置的深度图，然后将对应位置的深度值复制过来。另外，相应组的深度图中可能会有噪声，且在映射过程中可能会包含一些抽样信号，因而生成的虚拟视点位置的深度图可能会有小的噪声洞。针对这一问题，可以采用中值滤波去除噪声。
在具体实施中，还可以根据需求对前向映射后得到的所述虚拟视点位置深度图进行其他的后处理，以进一步提高所生成的重建图像的质量。在本发明一实施例中，在进行反向映射前，将前向映射得到的虚拟视点位置深度图进行前后景遮挡关系的处理，以使得生成的深度图能更加真实地反映所述虚拟视点位置所看到的场景中对象的位置关系。
对于反向映射，具体而言，可以根据所述前向映射得到的虚拟视点位置深度图计算相应组纹理图在虚拟纹理图中的位置，之后，复制对应像素位置的纹理值，其中深度图中的洞在虚拟纹理图中可以标记为0或标记为无任何纹理值。对于标记为洞的区域可以进行孔膨胀扩大，避免合成假象。
之后，对生成的相应组的虚拟纹理图进行融合，即可得到所述用户交互时刻所述虚拟视点位置的重建图像。在具体实施中，也可以通过多种方式进行融合，以下通过两个实施例进行示例说明。
在本发明一实施例中，先进行加权处理，再进行空洞填补。具体而言：对用户交互时刻视频帧的图像组合中各相应组对应的虚拟纹理图中对应位置的像素进行加权处理，得到所述用户交互时刻虚拟视点位置的重建图像中对应位置的像素值。之后，对于所述用户交互时刻在所述虚拟视点位置的重建图像中像素值为零的位置，利用所述重建图像中所述像素周围的像素进行空洞填补，得到所述用户交互时刻所述虚拟视点位置的重建图像。
在本发明另一实施例中，先进行空洞填补，再进行加权处理。具体而言：对于用户交互时刻视频帧的图像组合中各相应组对应的虚拟纹理图中像素值为零的位置，分别利用周围的像素值进行空洞填补，之后，将空洞填补后的各相应组对应的虚拟纹理图中相应位置的像素值进行加权处理，得到所述用户交互时刻所述虚拟视点位置的重建图像。
上述实施例中的加权处理，具体可以采用加权平均的方式，也可以根据参数数据，或者拍摄设备与虚拟视点的位置关系采用不同的加权系数。在本发明一实施例中，根据虚拟视点的位置和各个采集设备位置距离的倒数进行加权，即：距所述虚拟视点位置越近的采集设备，权重越大。
在具体实施中，可以根据需要，采用预设的空洞填补算法进行空洞填补，这里不再赘述。
在具体实施中，图像的拍摄位置和拍摄角度数据可以称作外部参数数据，参数数据还可以包括内部参数数据，也即图像的拍摄设备的属性数据。通过内部参数数据可以体现畸变参数等，结合内部参数确定映射关系更加准确。
在具体实施中，参数数据可以从数据文件中获取，具体可以根据数据头文件中参数数据的存储地址，从相应的存储空间获取。
在具体实施中，确定目标图像可以根据虚拟视点的6自由度坐标，以及图像拍摄位置的虚拟观众的视点，也即图像视点，的6自由度坐标，选取该拍图像视点与虚拟坐标视点的位置距离较近的多个图像。
在具体实施中，也可以以同步的多个图像中的全部图像，作为所述目标图像。选取更多的图像作为目标图像，可以使得重建后的图像质量更高，目标图像的选取可以根据需求确定，在此不做限制。
如前所述，深度数据可以是与图像的像素一一对应的深度值集合，映射至所述虚拟视点的深度数据，也是与图像的像素一一对应的数据。生成重建后的图像，具体可以对每个像素位置，分别根据深度数据，从目标图像的像素数据获取相应位置的数据，生成重建后的图像。当一个像素位置，从多个目标图像获取到数据时，可以对多个数据进行加权计算，以提升重建后的图像的质量。
本领域技术人员可以理解的是，基于本发明实施例中的多角度自由视角图像数据，进行虚拟视点的图像重建的过程，可以是多样的，在此并不做限制。
多角度自由视角数据处理方法中涉及的名词解释、具体实现方式以及有益效果可以参见其它实施例，并且多角度自由视角交互方法中各种具体实现可以与其他实施例结合实现。
前文所述的多角度自由视角数据可以是多角度自由视角图像数据，以下特别针对多角度自由视角图像数据处理进行进一步的阐述。
图40是本发明实施例中一种多角度自由视角图像数据处理方法的流程图，具体可以包括如下步骤：
步骤S401，获取以图片格式存储的数据组合，所述数据组合中包括同步的多个图像的像素数据以及深度数据，所述同步的多个图像对待观看区域的视角不同；
步骤S402，基于所述数据组合，进行虚拟视点的图像重建，所述虚拟视点选自多角度自由视角范围，所述多角度自由视角范围为支持对所述待观看区域进行虚拟视点的切换观看的范围。
图片格式的数据组合的获取方式，可以采用前文实施例中的实现方式，解析数据头文件，从数据文件中读取。进行虚拟视点的图像重建的方式也可以参见前文所述。
在具体实施中，获取图片格式存储的数据组合，以及进行虚拟视点的图像重建，可以由边缘计算节点完成。如前所述，边缘计算节点可以是与显示重建后的图像的显示设备进行近距离通信，保持高带宽低延迟连接的节点，例如通过wifi、5g等进行连接。具体的，边缘计算节点可以是基站、移动设备、车载设备、有足够计算能力的家用路由器。结合参考图3，边缘计算节点可以是位于CDN的设备。
相应的，在行虚拟视点的图像重建前，还可以接收所述虚拟视点的参数数据，在进行虚拟视点的图像重建后，还可以发送所述重建后的图像至进行显示的设备。
通过边缘计算节点对图像进行重建，可以降低对显示设备的要求，计算能力较低的设备，也可以接收用户指示，为用户提供多角度自由视角的体验。
例如，在5G场景下，用户设备(UE，User Equipment)与基站，特别是当前服务小区的基站的通信速度较快，用户可以通过对用户设备进行指示，确定虚拟视点的参数数据，由当前服务小区的基站作为边缘计算节点，计算得到重建后的图像。进行显示的设备可以接收重建后的图像，为用户提供多角度自由视角服务。
可以理解的是，在具体实施中，进行图像重建与进行显示的设备，也可以是同一设备。该设备可以接收用户指示，根据用户的实时确定虚拟视点。在虚拟视点的图像重建后，可以显示重建后的图像。
在具体实施中，接收用户指示以及根据用户指示生成虚拟视点的实现方式可以是多样的，虚拟视点为自由视角范围内的视点。故在本发明实施例中，可以支持用户在多角度自由视角范围内，进行虚拟视点的自由切换。
可以理解的是，多角度自由视角图片数据处理方法中涉及的名词解释、具体实现方式以及有益效果可以参见其它实施例，并且多角度自由视角交互方法中各种具体实现可以与其他实施例结合实现。
前文所述的多角度自由视角数据也可以是多角度自由视角视频数据，以下特别针对多角度自由视角视频数据处理进行进一步的阐述。
图41是本发明实施例中一种多角度自由视角视频数据处理方法的流程图，可以包括如下步骤：
步骤S411，对获取到的视频数据进行解析，得到不同帧时刻的数据组合，所述数据组合中包括同步的多个图像的像素数据以及深度数据，所述同步的多个图像对待观看区域的视角不同；
步骤S412，对于每个帧时刻，基于所述数据组合，进行虚拟视点的图像重建，所述虚拟视点选自多角度自由视角范围，所述多角度自由视角范围为支持对待观看区域进行虚拟视点的切换观看的范围，所述重建后的图像，用于视频播放。
在具体实施中，获取到的视频数据的格式可以是多样的，解析获取到的视频数据，可以是基于视频格式进行解封装和解码，得到不同帧时刻的帧图像，数据组合可以是从帧图像中得到的，也即，帧图像中，可以存储有同步的多个图像的像素数据以及深度数据。从这个角度，帧图像也可以被称作拼接图像。
其中，视频数据可以根据数据头文件从数据文件中获取，具体获取数据组合的实现方式可以参见前文所述。进行虚拟视点的图像重建的具体实现方式，也可以参见前文所述。在获取每个帧时刻重建后的图像后，可以根据帧时刻的顺序，进行视频播放。
在具体实施中，获取不同帧时刻的数据组合，以及进行虚拟视点的图像重建，可以由边缘计算节点完成。
相应的，在行虚拟视点的图像重建前，还可以接收所述虚拟视点的参数数据，在进行虚拟视点的图像重建后，可以发送各个帧时刻重建后的图像至进行显示的设备。
可以理解的是，在具体实施中，进行图像重建与进行显示的设备，也可以是同一设备。
可以理解的是，多角度自由视角视频数据处理方法中涉及的名词解释、具体实现方式以及有益效果可以参见其它实施例，并且多角度自由视角交互方法中各种具体实现可以与其他实施例结合实现。
以下特别针对多角度自由视角交互方法进行进一步的阐述。
图42是本发明实施例中一种多角度自由视角交互方法的流程图，具体可以包括如下步骤：
步骤S421，接收用户指示；
步骤S422，根据所述用户指示确定虚拟视点，所述虚拟视点选自多角度自由视角范围，所述多角度自由视角范围为支持对待观看区域进行虚拟视点的切换观看的范围；
步骤S423，展示基于所述虚拟视点对所述待观看区域进行观看的显示内容，所述显示内容基于数据组合以及所述虚拟视点生成，所述数据组合中包括同步的多个图像的像素数据以及深度数据，每个图像的图像数据以及深度数据之间存在关联关系，所述同步的多个图像对所述待观看区域的视角不同。
在本发明实施例中，虚拟视点可以是多角度自由视角范围内的视点，具体的多角度视角范围，可以是与数据组合相关联的。
在具体实施中，可以接收用户指示，根据用户指示在自由视角范围内确定虚拟视点。用户指示以及根据用户指示确定虚拟视点的方式可以是多样的，以下进行进一步的举例说明。
在具体实施中，根据所述用户指示确定虚拟视点可以包括：确定对待观看区域进行观看的基础视点，基础视点包括基础视点的位置和视角。虚拟视点的位置以及视角中至少一种可以基于基础视点变化，用户指示与该变的变化方式之间存在关联关系。用户指示与根据用户指示、基础视点，以及前述关联关系，以所述基础视点为基准，确定虚拟视点。
其中，基础视点可以包括用户的对待观看区域进行观看的位置和视角。进一步的，基础视点可以是在接收用户指示时，进行显示的设备显示的画面对应的位置和视角，例如，参见图4，若接收用户指示时，设备显示的图像如图4所示，结合参考图2，基础视点的位置，可以是如图2所示的VP1。可以理解的是，基础视点的位置和视角可以是预设的，或者，基础视点也可以是在先根据用户指示确定的虚拟视点，基础视点也可以采用6DoF的坐标表达。用户指示与虚拟视点基于基础视点的变化方式的关联关系，可以是预设的关联关系。
在具体实施中，接收用户指示的方式可以是多样的，以下分别进行说明。
在一种具体实现中，可以检测接触点在触敏屏的路径，路径可以包括起点、终点以及接触点的移动方向，以路径作为所述用户指示。
相应的，路径与虚拟视点基于基础视点的变化方式的关联关系也可以是多样的。
例如，路径可以为2个，2个路径中的至少一个接触点以远离对方的方向移动，则所述虚拟视点的位置向靠近所述待观看区域的方向移动。
结合参考图43和图11，图43中向量F1和向量F2可以分别示意2个路径，在该路径下，若基础视点为图11中B2，则虚拟视点可以是B3。也即，对于用户而言，待观看区域被放大。
可以理解的是，图43仅为示意，在具体应用场景中，2个路径的起点、终点以及方向可以是多样的，2个路径中的至少一个接触点以远离对方的方向移动即可。2个路径中的一个，也可以是未移动的接触点的路径，仅包含起点。
在本发明一实施例中，放大前的显示图像可以如图4所示，放大后的图像可以如图44所示。
在具体实施中，放大的中心点，可以根据接触点的位置确定，或者也可以以预设的点作为中心点，对图像以该中心点进行放大。放大的倍率，也即虚拟视点移动的幅度，可以与2个路径中接触点靠近的幅度相关联，关联关系可以是预设的。
在具体实施中，若2个路径中的至少一个接触点的以靠近对方的方向移动，则所述虚拟视点的位置可以向远离所述待观看区域的方向移动。
结合参考图45和图11，图45中向量F3和向量F4可以分别示意2个路径，在该路径下，若基础视点为图11中B3，则虚拟视点可以是B2。也即，对于用户而言，待观看区域被缩小。
可以理解的是，图45仅为示意，在具体应用场景中，2个路径的起点、终点以及方向可以是多样的，2个路径中的至少一个接触点以靠近对方的方向移动即可。2个路径中的一个，也可以是未移动的接触点的路径，仅包含起点。
在本发明一实施例中，缩小前的显示图像可以如图44所示，缩小后的图像可以如图4所示。
在具体实施中，缩小的中心点，可以根据接触点的位置确定，或者也可以以预设的点作为中心点，对图像以该中心点进行缩小。缩小的倍率，也即虚拟视点移动的幅度，可以与2个路径中接触点靠近的幅度相关联，关联关系可以是预设的。
在具体实施中，路径与虚拟视点基于基础视点的变化方式的关联关系也可以包括：路径为1个，所述接触点的移动距离与视角的变化幅度相关联，所述接触点的移动方向与视角的变化方向相关联。
例如，结合参考图5和图13，若接收到的用户指示为1个路径，以图5中向量D52示意，若基础视点为图13中点C2，虚拟视点可以是点C1。
在本发明一实施例中，视角切换前的显示可以参见图5，视角切换后显示设备的显示可以如图6所示。
若接收到的用户指示为1个路径，例如为图8中向量D81示意，若基础视点为图13中点C2，虚拟视点可以是点C3。
在本发明一实施例中，视角切换前的显示可以参见图8，视角切换后显示设备的显示可以如图9所示。
本领域技术人员可以理解的是，上述各个实施例仅为定性的进行举例说明，并非对用户指示与虚拟视点之间关联的限制。
在具体实施中，用户指示可以包括声控指令，声控指令可以是自然语言的格式，例如“放大”“再放大”“视角向左”等。相应的，根据所述用户指示确定虚拟视点，可以对用户指示进行语音识别，根据指示与虚拟视点基于基础视点的变化方式的预设的关联关系，以基础视点为基准，确定虚拟视点。
在具体实施中，用户指示也可以包括对待观看区域进行观看的预设视点的选择。根据待观看区域的不同，预设视点可以是多样的，预设视点可以包括位置和视角。例如，若观看区域为篮球比赛区域，可以设置预设视点的位置可以是位于篮板下，使用户在观看时，有作为场边的观众的视角，或者是的教练视角。相应的，可以以预设视点作为虚拟视点。
在具体实施中，用户指示还可以包括对待观看区域中特定对象的选择。该特定对象可以是通过图像识别技术确定的。例如，在篮球赛中，可以根据人脸识别技术对比赛场景中的各个球员进行识别，向用户提供相关球员的选项，根据用户对特定球员的选择，可以确定虚拟视点，向用户提供该虚拟视点下的画面。
在具体实施中，用户指示还可以包括虚拟视点的位置以及视角中至少一种，例如可以直接输入虚拟视点的6DoF坐标。
在具体实施中，接收用户指示的方式可以是多样的，例如，可以检测接触点在触敏屏的信号、检测声电传感器的信号、检测陀螺仪、重力感应器等能够体现设备姿态的传感器的信号等各种方式；相应的用户指示可以是接触点在触敏屏的路径、声控指令、手势操作等。用户指示的内容也可以是多样的，例如可以是用于指示虚拟视点基于基础视点的变化方式指示预设视点、指示特定的观看对象，或者直接指示虚拟视点的位置以及视角中至少一种等多样的方式。根据用户指示确定虚拟视点的具体实现方式也可是多样的。
具体的，结合前述接收用户指示的方式，可以是以预设的时间间隔，进行前述各种传感设备的检测，时间间隔对应检测的频次，例如可以以25次/秒的频次进行检测，以获取用户指示。
可以理解的是，接收用户指示的方式、用户指示的内容，以及根据用户指示确定虚拟视点的方式，可以进行组合或替换，在此不做限制。
在具体实施中，也可以在接收触发指令后，响应于所述触发指令接收用户指示，从而可以避免用户的误操作。触发指令可以是点击屏幕区域的预设按钮，或者由声控信号作为触发指令，或者也可以是前述的用户指示能够采用的方式，或者也可以是其它方式。
在具体实施中，可以在播放视频或者展示图像的过程中，接收用户指示。是在展示图像的过程中，接收用户指示，数据组合可以是对应该图像的数据组合。在视频播放的过程中，接收用户指示，数据组合可以是视频中帧图像对应的数据组合。基于所述虚拟视点对所述待观看区域进行观看的显示内容，可以是基于虚拟视点重建后的图像。
在视频播放的过程中，在接收到用户指示生成虚拟视点后，基于所述虚拟视点对所述待观看区域进行观看的显示内容，可以是基于虚拟视点生成的重建后多帧的帧图像。也即，在切换虚拟视点的过程中，视频可以持续播放，在根据用户指示重新确定虚拟视点前，视频可以以原虚拟视点播放，在重新确定虚拟视点后，可以生成基于虚拟视点的重建后的帧图像，以切换后的虚拟视点的位置和视角播放。
进一步的，在视频播放的过程中，在接收到用户指示生成虚拟视点后，基于所述虚拟视点对所述待观看区域进行观看的显示内容，可以是基于虚拟视点生成的重建后多帧的帧图像。也即，在切换虚拟视点的过程中，视频可以持续播放，在虚拟视点确定前，视频可以以原配置播放，在虚拟视点确定后，可以生成基于虚拟视点的重建帧图像，以切换后的虚拟视点的位置和视角播放。或者，也可以暂停视频播放，切换虚拟视点。
结合参考图4和图6，在图像展示的过程中，可以接收用户指示，根据用户指示生成虚拟视点以切换观看，显示内容可以从图4所示的图像，变为如图6所示的图像。
在视频播放至如图4所示的帧图像时，切换虚拟视点，展示如图6所示的帧图像。在接收到新的用户指示之前，可以持续展示基于该虚拟视点的帧图像进行视频播放，例如，在播放至图46所示的帧图像时，接收到新的用户指指示时，可以根据新的用户指示切换虚拟视点继续进行视频播放。
可以理解的是，多角度自由视角交互方法中涉及的名词解释、具体实现方式以及有益效果可以参见其它实施例，并且多角度自由视角交互方法中各种具体实现可以与其他实施例结合实现。
本发明实施例还提供一种多角度自由视角视频数据处理装置，参考图47，具体可以包括：
解析单元471，适于对获取到的视频数据进行解析，得到不同帧时刻的数据组合，所述数据组合中包括同步的多个图像的像素数据以及深度数据，所述同步的多个图像对待观看区域的视角不同；
虚拟视点图像重建单元472，适于对于每个帧时刻，基于所述数据组合，进行虚拟视点的图像重建，所述虚拟视点选自多角度自由视角范围，所述多角度自由视角范围为支持对待观看区域进行视点的切换观看的范围。
参考图48，在本发明一具体实现中，所述虚拟视点图像重建单元472可以包括：
升采样子单元481，适于对所述深度数据进行升采样，得到与所述图像的像素一一对应的深度值集合；
虚拟视点图像重建子单元482，适于根据同步的多个图像的像素数据以及所述深度值集合，进行虚拟视点的图像重建。
参考图49，在本发明另一具体实现中，所述虚拟视点图像重建单元472可以包括：
图像参数数据确定子单元491，适于确定所述同步的多个图像中每个图像的参数数据，所述参数数据包括图像的拍摄位置和拍摄角度数据；
虚拟视点参数数据确定子单元492，适于确定所述虚拟视点的参数数据，所述虚拟视点的参数数据包括虚拟观看位置和虚拟观看角度；
目标图像确定子单元493，适于在所述同步的多个图像中确定多个目标图像；
映射子单元494，适于对于每个目标图像，根据所述虚拟视点的参数数据以及所述图像的参数数据之间的关系，映射所述深度数据至所述虚拟视点；
图像生成子单元495，适于根据映射至所述虚拟视点的深度数据，以及所述目标图像的像素数据，生成重建后的图像。
在具体实施中，所述目标图像确定子单元493还适于根据所述虚拟视点的参数数据以及所述图像的参数数据之间的关系，在所述多个图像中选取目标图像。
继续参考图47，在具体实施中，所述多角度自由视角视频数据处理装置还可以包括：虚拟视点参数数据接收单元473，适于进行虚拟视点的图像重建前，接收所述虚拟视点的参数数据。
进一步的，所述多角度自由视角视频数据处理装置还可以包括：发送单元474，适于进行虚拟视点的图像重建后，发送所述重建后的图像至图像显示端。
本发明实施例中多角度自由视角视频数据处理装置涉及的名词解释、原理、具体实现和有益效果可以参见本发明实施例中多角度自由视角视频数据处理方法，在此不再赘述。
本发明实施例还提供另一种多角度自由视角视频数据处理装置，参考图50，具体可以包括：
重建单元501，适于采用前文所述的多角度自由视角视频数据处理装置进行虚拟视点的图像重建；
播放单元502，适于基于所述不同帧时刻的重建后的图像，进行视频播放。
进一步的，所述多角度自由视角视频数据处理装置还可以包括：接收单元503，适于进行虚拟视点的图像重建前，接收用户的指示，根据所述用户指示确定所述虚拟视点。
本发明实施例中多角度自由视角视频数据装置涉及的名词解释、原理、具体实现和有益效果可以参见本发明实施例中多角度自由视角视频数据处理方法，在此不再赘述。
本发明实施例还提供另一种多角度自由视角视频数据装置，参考图51，具体可以包括：
接收单元511，适于接收对虚拟视点进行重建后的图像，所述虚拟视点的图像重建采用前文所述的多角度自由视角视频数据处理装置进行；
播放单元512，适于基于所述不同帧时刻的重建后的图像，进行视频播放。
进一步的，多角度自由视角视频数据处理装置还可以包括：发送单元513，适于向边缘计算节点发送所述虚拟视点的参数数据。
本发明实施例中多角度自由视角视频数据处理装置涉及的名词解释、原理、具体实现和有益效果可以参见本发明前述实施例中多角度自由视角视频数据方法，在此不再赘述。
本发明实施例还提供计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时执行所述多角度自由视角视频数据处理方法的步骤。
所述计算机可读存储介质可以是光盘、机械硬盘、固态硬盘等。
本发明实施例还提供一种边缘计算节点，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行所述多角度自由视角视频数据方法的步骤。
如前所述，边缘计算节点可以是与显示重建后的图像的显示设备进行近距离通信，保持高带宽低延迟连接的节点，例如通过wifi、5g等进行连接。具体的，边缘计算节点可以是基站、移动设备、车载设备、有足够计算能力的家用路由器。
本发明实施例还提供终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行所述多角度自由视角视频数据处理方法的步骤。所述终端可以是智能手机、平板电脑等各种适当的终端。
本发明实施例还提供一种移动设备，包括通信组件、处理器以及显示组件：所述通信组件用于接收多角度自由视角视频数据，所述多角度自由视角数据包括所述数据组合；所述处理器，用于基于所述多角度自由视角视频数据进行渲染，生成对应不同虚拟视点的视频；所述显示组件，用于显示所述对应不同虚拟视点的视频。所述移动设备可以是智能手机、平板电脑等各种适当的设备。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (25)

1.一种多角度自由视角视频数据处理方法，其特征在于，包括：
对获取到的视频数据进行解析，得到不同帧时刻的数据组合，所述数据组合中包括同步的多个图像的像素数据以及深度数据，所述深度数据是对原始深度图进行降采样后得到的数据，所述同步的多个图像对待观看区域的视角不同，所述数据组合用于指示所述多个图像的像素数据与深度数据的关联关系，所述视频数据从数据文件中的拼接图像获取，所述拼接图像数分为图像区域以及深度图区域，所述图像区域包括多个图像子区域，每个图像子区域用于存储所述多个图像中的一个；所述深度图区域包括多个深度图子区域，每个深度图子区域用于存储所述多个图像中的一个的深度数据；
对于每个帧时刻，基于所述数据组合，进行虚拟视点的图像重建，所述虚拟视点选自多角度自由视角范围，所述多角度自由视角范围为支持对待观看区域进行视点的切换观看的范围，所述重建后的图像，用于视频播放。
2.根据权利要求1所述的多角度自由视角视频数据处理方法，其特征在于，所述同步的多个图像中的每个图像，所述深度数据为所述图像的像素一一对应的深度值集合。
3.根据权利要求1所述的多角度自由视角视频数据处理方法，其特征在于，所述同步的多个图像中的每个图像，所述深度图是与所述图像的像素一一对应的深度值集合按照所述图像的像素点排布的图像。
4.根据权利要求3所述的多角度自由视角视频数据处理方法，其特征在于，基于所述数据组合，进行虚拟视点的图像重建包括：
对所述深度数据进行升采样，得到与所述图像的像素一一对应的深度值集合；
根据同步的多个图像的像素数据以及所述深度值集合，进行虚拟视点的图像重建。
5.根据权利要求1所述的多角度自由视角视频数据处理方法，其特征在于，所述基于所述数据组合，进行虚拟视点的图像重建包括：
确定所述同步的多个图像中每个图像的参数数据，所述参数数据包括图像的拍摄位置和拍摄角度数据；
确定所述虚拟视点的参数数据，所述虚拟视点的参数数据包括虚拟观看位置和虚拟观看角度；
在所述同步的多个图像中确定多个目标图像；
对于每个目标图像，根据所述虚拟视点的参数数据以及所述图像的参数数据之间的关系，映射所述深度数据至所述虚拟视点；
根据映射至所述虚拟视点的深度数据，以及所述目标图像的像素数据，生成重建后的图像。
6.根据权利要求5所述的多角度自由视角视频数据处理方法，其特征在于，在所述同步的多个图像中确定多个目标图像包括：根据所述虚拟视点的参数数据以及所述图像的参数数据之间的关系，在所述多个图像中选取目标图像。
7.根据权利要求6所述的多角度自由视角视频数据处理方法，其特征在于，以同步的多个图像中的全部图像，作为所述目标图像。
8.根据权利要求6所述的多角度自由视角视频数据处理方法，其特征在于，所述图像的参数还包括内部参数数据，所述内部参数数据包括图像的拍摄设备的属性数据。
9.根据权利要求1所述的多角度自由视角视频数据处理方法，其特征在于，进行虚拟视点的图像重建前，还包括：接收所述虚拟视点的参数数据。
10.根据权利要求9所述的多角度自由视角视频数据处理方法，其特征在于，进行虚拟视点的图像重建后，还包括：发送所述重建后的图像至图像显示端。
11.一种多角度自由视角视频数据处理方法，其特征在于，包括：
采用如权利要求1至10任一项所述的多角度自由视角视频数据处理方法进行虚拟视点的图像重建；
基于所述不同帧时刻的重建后的图像，进行视频播放。
12.根据权利要求11所述的多角度自由视角视频数据处理方法，其特征在于，进行虚拟视点的图像重建前，还包括：接收用户的指示，根据所述用户指示确定所述虚拟视点。
13.一种多角度自由视角视频数据处理方法，其特征在于，包括：
接收对虚拟视点进行重建后的图像，所述虚拟视点的图像重建采用如权利要求1至10任一项所述的多角度自由视角视频数据处理方法；
基于所述不同帧时刻的重建后的图像，进行视频播放。
14.根据权利要求13所述的多角度自由视角视频数据处理方法，其特征在于，所述重建后的图像从边缘计算节点接收。
15.根据权利要求13所述的多角度自由视角视频数据处理方法，其特征在于，还包括：向边缘计算节点发送所述虚拟视点的参数数据。
16.一种多角度自由视角视频数据处理装置，其特征在于，包括：
解析单元，适于对获取到的视频数据进行解析，得到不同帧时刻的数据组合，所述数据组合中包括同步的多个图像的像素数据以及深度数据，所述同步的多个图像对待观看区域的视角不同，所述深度数据是对原始深度图进行降采样后得到的数据，所述数据组合用于指示所述多个图像的像素数据与深度数据的关联关系，所述视频数据从数据文件中的拼接图像获取，所述拼接图像数分为图像区域以及深度图区域，所述图像区域包括多个图像子区域，每个图像子区域用于存储所述多个图像中的一个；所述深度图区域包括多个深度图子区域，每个深度图子区域用于存储所述多个图像中的一个的深度数据；
虚拟视点图像重建单元，适于对于每个帧时刻，基于所述数据组合，进行虚拟视点的图像重建，所述虚拟视点选自多角度自由视角范围，所述多角度自由视角范围为支持对待观看区域进行视点的切换观看的范围。
17.一种多角度自由视角视频数据处理装置，其特征在于，包括：
重建单元，适于采用如权利要求16所述的多角度自由视角视频数据处理装置进行虚拟视点的图像重建；
播放单元，适于基于所述不同帧时刻的重建后的图像，进行视频播放。
18.一种多角度自由视角视频数据处理装置，其特征在于，包括：
接收单元，适于接收对虚拟视点进行重建后的图像，所述虚拟视点的图像重建采用如权利要求16所述的多角度自由视角视频数据处理装置进行；
播放单元，适于基于所述不同帧时刻的重建后的图像，进行视频播放。
19.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至10任一项所述多角度自由视角视频数据处理方法的步骤。
20.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求11至12任一项所述多角度自由视角视频数据处理方法的步骤。
21.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求13至15任一项所述多角度自由视角视频数据处理方法的步骤。
22.一种边缘计算节点设备，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至10任一项所述多角度自由视角视频数据处理方法的步骤。
23.一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求11至12任一项所述多角度自由视角视频数据处理方法的步骤。
24.一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求13至15任一项所述的多角度自由视角视频数据处理方法的步骤。
25.一种移动设备，包括通信组件、处理器以及显示组件，其特征在于：
所述通信组件用于接收多角度自由视角视频数据，所述多角度自由视角视频数据包括如权利要求1至8任一项所述的多角度自由视角视频数据处理方法中所述数据组合；
所述处理器，用于基于所述多角度自由视角视频数据进行渲染，生成对应不同虚拟视点的视频；
所述显示组件，用于显示所述对应不同虚拟视点的视频。
CN201910173414.7A 2019-03-07 2019-03-07 多角度自由视角视频数据处理方法及装置、介质、设备 Active CN111669570B (zh)

Priority Applications (23)

Application Number Priority Date Filing Date Title
CN201910173414.7A CN111669570B (zh) 2019-03-07 2019-03-07 多角度自由视角视频数据处理方法及装置、介质、设备
PCT/US2020/021187 WO2020181084A1 (en) 2019-03-07 2020-03-05 Method, apparatus, medium, terminal, and device for multi-angle free-perspective interaction
PCT/US2020/021220 WO2020181104A1 (en) 2019-03-07 2020-03-05 Method, apparatus, medium, and server for generating multi-angle free-perspective video data
US16/810,237 US11037365B2 (en) 2019-03-07 2020-03-05 Method, apparatus, medium, terminal, and device for processing multi-angle free-perspective data
PCT/US2020/021252 WO2020181128A1 (en) 2019-03-07 2020-03-05 Image reconstruction method, system, device and computer-readable storage medium
PCT/US2020/021167 WO2020181074A1 (en) 2019-03-07 2020-03-05 Method, apparatus, medium, terminal, and device for multi-angle free-perspective interaction
US16/810,695 US11257283B2 (en) 2019-03-07 2020-03-05 Image reconstruction method, system, device and computer-readable storage medium
PCT/US2020/021141 WO2020181065A1 (en) 2019-03-07 2020-03-05 Method, apparatus, medium, terminal, and device for processing multi-angle free-perspective data
US16/810,586 US20200286279A1 (en) 2019-03-07 2020-03-05 Method, apparatus, medium, and device for processing multi-angle free-perspective image data
US16/810,464 US11521347B2 (en) 2019-03-07 2020-03-05 Method, apparatus, medium, and device for generating multi-angle free-respective image data
US16/810,614 US20200288099A1 (en) 2019-03-07 2020-03-05 Video generating method, apparatus, medium, and terminal
PCT/US2020/021231 WO2020181112A1 (en) 2019-03-07 2020-03-05 Video generating method, apparatus, medium, and terminal
US16/810,634 US11341715B2 (en) 2019-03-07 2020-03-05 Video reconstruction method, system, device, and computer readable storage medium
US16/810,480 US20200288098A1 (en) 2019-03-07 2020-03-05 Method, apparatus, medium, terminal, and device for multi-angle free-perspective interaction
PCT/US2020/021164 WO2020181073A1 (en) 2019-03-07 2020-03-05 Method, apparatus, terminal, capturing system and device for setting capturing devices
PCT/US2020/021241 WO2020181119A1 (en) 2019-03-07 2020-03-05 Video reconstruction method, system, device, and computer readable storage medium
US16/810,681 US20200288112A1 (en) 2019-03-07 2020-03-05 Method, apparatus, medium, and device for processing multi-angle free-perspective video data
US16/810,352 US20200288097A1 (en) 2019-03-07 2020-03-05 Method, apparatus, medium, terminal, and device for multi-angle free-perspective interaction
US16/810,362 US20200288108A1 (en) 2019-03-07 2020-03-05 Method, apparatus, terminal, capturing system and device for setting capturing devices
PCT/US2020/021195 WO2020181088A1 (en) 2019-03-07 2020-03-05 Method, apparatus, medium, and device for generating multi-angle free-respective image data
PCT/US2020/021247 WO2020181125A1 (en) 2019-03-07 2020-03-05 Method, apparatus, medium, and device for processing multi-angle free-perspective video data
PCT/US2020/021197 WO2020181090A1 (en) 2019-03-07 2020-03-05 Method, apparatus, medium, and device for processing multi-angle free-perspective image data
US16/810,565 US11055901B2 (en) 2019-03-07 2020-03-05 Method, apparatus, medium, and server for generating multi-angle free-perspective video data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910173414.7A CN111669570B (zh) 2019-03-07 2019-03-07 多角度自由视角视频数据处理方法及装置、介质、设备

Publications (2)

Publication Number Publication Date
CN111669570A CN111669570A (zh) 2020-09-15
CN111669570B true CN111669570B (zh) 2023-12-19

Family

ID=72381317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910173414.7A Active CN111669570B (zh) 2019-03-07 2019-03-07 多角度自由视角视频数据处理方法及装置、介质、设备

Country Status (1)

Country Link
CN (1) CN111669570B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114840165A (zh) * 2022-04-22 2022-08-02 南方科技大学 图像显示方法、图像显示装置、设备及存储介质
CN116170570A (zh) * 2022-12-14 2023-05-26 珠海普罗米修斯视觉技术有限公司 视频处理方法、装置、计算机设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102447925A (zh) * 2011-09-09 2012-05-09 青岛海信数字多媒体技术国家重点实验室有限公司 一种虚拟视点图像合成方法及装置
CN102714741A (zh) * 2009-10-14 2012-10-03 汤姆森特许公司 深度图处理的方法和设备
CN102970554A (zh) * 2011-08-30 2013-03-13 奇景光电股份有限公司 处理立体显示用的数据帧的系统及方法
CN104574311A (zh) * 2015-01-06 2015-04-29 华为技术有限公司 图像处理方法和装置
CN105611268A (zh) * 2015-12-15 2016-05-25 联想(北京)有限公司 信息处理方法及电子设备
CN109361913A (zh) * 2015-05-18 2019-02-19 韩国电子通信研究院 用于对于头戴式显示器提供三维图像的方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5858380B2 (ja) * 2010-12-03 2016-02-10 国立大学法人名古屋大学 仮想視点画像合成方法及び仮想視点画像合成システム
KR20230008893A (ko) * 2015-04-19 2023-01-16 포토내이션 리미티드 Vr/ar 응용에서 심도 증강을 위한 다중-기선 카메라 어레이 시스템 아키텍처
BR112018002047A2 (pt) * 2015-07-31 2018-09-18 Hsni Llc sistema para a geração de um conteúdo de vídeo, e método para a geração de conteúdo de vídeo
EP3343914A4 (en) * 2015-11-11 2019-04-10 Sony Corporation ENCLOSURE DEVICE AND ENCLOSURE METHOD AND DECOMPOSITION DEVICE AND DECOMPOSITION METHOD

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102714741A (zh) * 2009-10-14 2012-10-03 汤姆森特许公司 深度图处理的方法和设备
CN102970554A (zh) * 2011-08-30 2013-03-13 奇景光电股份有限公司 处理立体显示用的数据帧的系统及方法
CN102447925A (zh) * 2011-09-09 2012-05-09 青岛海信数字多媒体技术国家重点实验室有限公司 一种虚拟视点图像合成方法及装置
CN104574311A (zh) * 2015-01-06 2015-04-29 华为技术有限公司 图像处理方法和装置
CN109361913A (zh) * 2015-05-18 2019-02-19 韩国电子通信研究院 用于对于头戴式显示器提供三维图像的方法和装置
CN105611268A (zh) * 2015-12-15 2016-05-25 联想(北京)有限公司 信息处理方法及电子设备

Also Published As

Publication number Publication date
CN111669570A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
US11521347B2 (en) Method, apparatus, medium, and device for generating multi-angle free-respective image data
CN111669567B (zh) 多角度自由视角视频数据生成方法及装置、介质、服务器
CN111669561B (zh) 多角度自由视角图像数据处理方法及装置、介质、设备
CN111669518A (zh) 多角度自由视角交互方法及装置、介质、终端、设备
CN111669564B (zh) 图像重建方法、系统、设备及计算机可读存储介质
CN113891060B (zh) 自由视点视频重建方法及播放处理方法、设备及存储介质
CN111667438B (zh) 视频重建方法、系统、设备及计算机可读存储介质
WO2022001865A1 (zh) 深度图及视频处理、重建方法、装置、设备及存储介质
CN111669568B (zh) 多角度自由视角交互方法及装置、介质、终端、设备
CN111669570B (zh) 多角度自由视角视频数据处理方法及装置、介质、设备
CN111669604A (zh) 一种采集设备设置方法及装置、终端、采集系统、设备
CN111669569A (zh) 一种视频生成方法及装置、介质、终端
CN111669603B (zh) 多角度自由视角数据处理方法及装置、介质、终端、设备
CN111669571B (zh) 多角度自由视角图像数据生成方法及装置、介质、设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40036443

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant