Nothing Special   »   [go: up one dir, main page]

CN116883553A - 图像生成方法、装置、电子设备和可读存储介质 - Google Patents

图像生成方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN116883553A
CN116883553A CN202310833229.2A CN202310833229A CN116883553A CN 116883553 A CN116883553 A CN 116883553A CN 202310833229 A CN202310833229 A CN 202310833229A CN 116883553 A CN116883553 A CN 116883553A
Authority
CN
China
Prior art keywords
preset
image
virtual object
head
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310833229.2A
Other languages
English (en)
Inventor
罗志平
艾永春
蒋晨晨
陈霖甲
蔡永辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Migu Cultural Technology Co Ltd
China Mobile Communications Group Co Ltd
Original Assignee
Migu Cultural Technology Co Ltd
China Mobile Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Migu Cultural Technology Co Ltd, China Mobile Communications Group Co Ltd filed Critical Migu Cultural Technology Co Ltd
Priority to CN202310833229.2A priority Critical patent/CN116883553A/zh
Publication of CN116883553A publication Critical patent/CN116883553A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种图像生成方法、装置、电子设备和可读存储介质,涉及图像处理技术领域。其中,图像生成方法包括:获取虚拟对象的头部关节角度,所述虚拟对象的头部设置有虚拟相机;基于预设混合空间和所述虚拟对象的头部关节角度,生成所述虚拟对象的头部骨骼动画;根据所述头部骨骼动画确定所述虚拟相机的第一相机视角;基于神经辐射场生成所述第一相机视角下的视点图像。

Description

图像生成方法、装置、电子设备和可读存储介质
技术领域
本申请属于图像处理技术领域,具体涉及一种图像生成方法、装置、电子设备和可读存储介质。
背景技术
自由视点视频技术允许用户自主选择视点,并生成指定新视点画面的动态场景视频,以逐步在视频播放领域得到应用。随着神经辐射场研究的不断深入,基于神经辐射场的新视角生成自由视点视频也越来越成为主流研究方向。目前,通常是通过不同角度的拍摄画面的合成来实现第一人称视角的转换,这样的方式造成第一人称视角画面的切换并不平滑。
发明内容
本申请实施例提供了一种图像生成方法、装置、电子设备和可读存储介质,能够解决相关技术中第一人称视角画面的切换不平滑的问题。
第一方面,本申请实施例提供了一种图像生成方法,包括:
获取虚拟对象的头部关节角度,所述虚拟对象的头部设置有虚拟相机;
基于预设混合空间和所述虚拟对象的头部关节角度,生成所述虚拟对象的头部骨骼动画;
根据所述头部骨骼动画确定所述虚拟相机的第一相机视角;
基于神经辐射场生成所述第一相机视角下的视点图像。
第二方面,本申请实施例提供了一种图像生成装置,包括:
第一获取模块,用于获取虚拟对象的头部关节角度,所述虚拟对象的头部设置有虚拟相机;
第一生成模块,用于基于预设混合空间和所述虚拟对象的头部关节角度,生成所述虚拟对象的头部骨骼动画;
第一确定模块,用于根据所述头部骨骼动画确定所述虚拟相机的第一相机视角;
第二生成模块,用于基于神经辐射场生成所述第一相机视角下的视点图像。
第三方面,本申请实施例提供了一种电子设备,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的图像生成方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的图像生成方法的步骤。
本申请实施例中,基于预设混合空间和所述虚拟对象的头部关节角度来生成所述虚拟对象的头部骨骼动画,使得生成的头部骨骼动画位于预设混合空间内,从而以确保头部骨骼动画的平滑性,进而也就能够确保最终生成的视点图像的平滑性。
附图说明
图1是本申请实施例提供的一种图像生成方法的流程图;
图2是本申请实施例中预设混合空间的示意图;
图3是本申请实施例中根据焦距和图像深度确定边界点的示意图;
图4是本申请实施例提供的一种图像生成装置的结构图;
图5是本申请实施例提供的一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的图像生成方法、装置、电子设备等进行详细地说明。
请参照图1,图1是本申请实施例提供的一种图像生成方法的流程图,所述方法可以是应用于如手机、平板电脑、计算机、智能穿戴设备等电子设备,后续实施例中以电子设备作为本申请实施例方法的执行主体,对本申请实施例的技术方案进行解释说明。
如图1所示,本申请实施例提供的图像生成方法包括以下步骤:
步骤101、获取虚拟对象的头部关节角度,所述虚拟对象的头部设置有虚拟相机。
作为一种可选的实施场景,本申请实施例提供的方法可以是应用于电子设备中视频图像的生成。可选地,所述虚拟对象可以是虚拟人物,例如可以是视频中特定的虚拟人物,或者也可以是电子设备根据摄像头抓取到的真实人物生成的虚拟形象。
示例性地,电子设备通过摄像头实时抓取用户人脸,并生成对应的虚拟对象,如虚拟人;根据摄像头抓取到的用户头部图像,采用最先进(state of the art,SOTA)头部姿态估计算法,如无关键点的细粒度头部姿态估计(Fine-Grained Head Pose EstimationWithout Keypoints)所描述的方法估计用户的头部关节角度,并将用户的头部关节角度作为虚拟人(也即虚拟对象)的头部关节角度。可选地,所述头部关节角度可以是包括用户头部关节的横滚角(roll)、俯仰角(pitch)和偏航角(yaw)。
或者,电子设备也可以是基于用户的输入来确定虚拟对象的头部关节角度。可选地,所述获取虚拟对象的头部关节角度,包括:
获取第一输入;
根据所述第一输入确定虚拟对象的头部关节角度,其中,所述头部关节角度包括所述虚拟对象的头部关节的横滚角、俯仰角和偏航角中的一项或多项。
示例性地,所述头部关节角度包括所述虚拟对象的头部关节的横滚角、俯仰角和偏航角。电子设备显示界面可以是显示有三个输入框,分别对应横滚角、俯仰角和偏航角,进而电子设备可以是通过接收用户在这三个输入框中输入的数值来确定虚拟对象的头部关节角度,用户也就能够通过第一输入来设置和调节虚拟对象的头部关节角度,使得对于虚拟对象头部关节角度的设置更加灵活。
可选地,所述第一输入还可以是其他的可能形式,例如所述第一输入也可以是语音输入、手势输入等,或者就是基于用户头部的活动来确定虚拟对象的头部关节角度。
本申请实施例中,所述虚拟对象的头部设置有虚拟相机,所述虚拟对象也即作为观看视频的第一人称视角代理;虚拟相机拍摄到的视频,也即相当于虚拟对象的观看视角。可以理解地,虚拟对象的头部若转动,则虚拟对象的视角角度也会发生改变;而虚拟相机设置于虚拟对象头部,进而虚拟对象头部的活动,进而虚拟相交的视角也会发生相应的变化。这样,通过获取虚拟对象的头部关节角度,也就相当于获取到虚拟相机的视角角度。
步骤102、基于预设混合空间和所述虚拟对象的头部关节角度,生成所述虚拟对象的头部骨骼动画。
需要说明地,基于所述虚拟对象的头部关节角度,可以生成所述虚拟对象的头部骨骼动画。示例性地,假设虚拟对象的头部发生转动,则可以是获取虚拟对象头部转动过程中的多个头部关节角度,基于这多个头部关节角度,也就能够对应生成虚拟对象头部转动过程对应的头部骨骼动画。根据头部关节角度生成头部骨骼动画的具体实现原理可以是参照相关技术,本实施例不作具体赘述。
本申请实施例中,电子设备在获取到虚拟对象的头部关节角度后,基于预设混合空间和所述头部关节角度,来生成虚拟对象的头部骨骼动画。其中,所述预设混合空间可以是一个预设的立方体空间,该预设的立方体空间中的点位可以对应预先设定的头部骨骼动画和头部关节角度,进而电子设备在获取到虚拟对象的头部关节角度后,可以是基于所述头部关节角度获取预设混合空间中与其对应的头部骨骼动画,进而以生成所述虚拟对象的头部骨骼动画。这样,也就能够将生成的头部骨骼动画限定在预设混合空间内,从而保证骨骼动画的平滑性。
步骤103、根据所述头部骨骼动画确定所述虚拟相机的第一相机视角。
本申请实施例中,电子设备在基于预设混合空间和所述虚拟对象的头部关节角度,生成所述虚拟对象的头部骨骼动画后,根据所述头部骨骼动画也就能够确定所述虚拟对象眼睛的视角,而虚拟相机设置于虚拟对象的头部,进而虚拟对象眼睛的视角也即相当于所述虚拟相机的相机视角,也即所述第一相机视角。
步骤104、基于所述神经辐射场生成所述第一相机视角下的视点图像。
需要说明地,所述神经辐射场(Neural Radiance Field,NeRF)可以是包括经过训练的神经网络。可选地,所述神经辐射场包括多层感知网络模型,所述多层感知网络模型基于预设图像数据集训练得到,所述预设图像数据集中的每张图像包括对应的相机视角、相机内参和图像深度,所述多层感知网络模型的输入为相机视角,输出为所述相机视角对应的视点图像。
其中,所述相机内参可以是包括相机的焦距、图像分辨率等参数。需要说明的是,所述预设图像数据集包括若干张图像,用于训练多层感知网络模型的执行主体例如电子设备(可以是不同于执行本申请图像生成方法的电子设备)可以是使用COLMAP方法估计出每张图像的相机视角(例如旋转和平移)、相机内参以及图像深度,基于预设图像数据集对所多层感知网络模型进行训练,所述预设图像数据集中每张图像包括对应的相机视角,也即得到该图像的相机视角,所述预设图像数据集作为多层感知网络模型的输入,所述多层感知网络模型的输入也即包括每张图像的相机视角,多层感知网络模型的输出为相机视角对应的视点图像。通过对所述多层感知网络模型进行训练,训练后的多层感知网络模型能够根据输入的相机视角,输出对应的视点图像,并具有较高的准确度。
本申请实施例提供的技术方案中,电子设备获取虚拟对象的头部关节角度,所述虚拟对象的头部设置有虚拟相机,进而虚拟对象的眼睛的视角也即等同于虚拟相机的相机视角,虚拟对象的头部的转动角度也就相当于虚拟相机的相机视角的变化角度;基于预设混合空间和所述虚拟对象的头部关节角度,生成所述虚拟对象的头部骨骼动画,根据所述头部骨骼动画确定所述虚拟相机的第一相机视角,并基于神经辐射场生成所述第一相机视角下的视点图像。
本申请实施例中,基于预设混合空间和所述虚拟对象的头部关节角度来生成所述虚拟对象的头部骨骼动画,使得生成的头部骨骼动画位于预设混合空间内,从而以确保头部骨骼动画的平滑性,进而也就能够确保最终生成的视点图像的平滑性。并且,虚拟相机设置于虚拟对象的头部,进而也就使得所述第一相机视角也即虚拟对象的第一人称视角,从而使得最终生成的视点图像也即第一人称视角下的浏览图像,更有助于提升视频场景下用户的观看体验。
可选地,所述预设混合空间为立方体空间,所述立方体空间的一个顶点对应一个预设的头部骨骼动画和一个预设的头部关节角度;所述步骤102,可以包括:
对所述虚拟对象的头部关节角度进行线性插值处理,得到所述虚拟对象的头部关节角度在所述立方体空间的各顶点的权重;
根据所述各顶点的权重对所述立方体空间各顶点对应的预设的头部关节角度进行融合,得到所述虚拟对象的头部关节角度所对应的目标姿态;
根据所述预设的头部骨骼动画,确定所述目标姿态对应的头部骨骼动画。
需要说明地,所述预设混合空间可以是预先基于多个预设的头部骨骼动画和多个预设的头部关节角度建立的一个立方体空间。可以理解地,立方体空间包括八个顶点,则分别对应八个预设的头部骨骼动画和八个预设的头部关节角度。具体地,请参照图2,这八个预设的头部骨骼动画和八个预设的头部关节角度分别包括:头部向上的骨骼动画及由(roll,pith,yaw)定义的骨架向上的姿态(也即头部关节角度)pose0,头部向下的骨骼动画及骨架向下的姿态pose1,头部向左的骨骼动画及骨架向左的姿态pose2,头部向右的骨骼动画及骨架向右的姿态pose3,头部向左上角的骨骼动画及骨架向左上角的姿态pose4,头部向右上角的骨骼动画及骨架向右上角的姿态pose5,头部向左下角的骨骼动画及骨架向左下角的姿态pose6,头部向右下角的骨骼动画及骨架向右下角的姿态pose7。另外,加上一个位于立方体中心的空闲骨骼动画和姿态poseidle,总共9个骨骼动画和姿态。
本申请实施例中,基于立方体表示,对于给定的头部关节角度,例如所述虚拟对象的头部关节角度,可以通过三线性插值方法得到预设混合空间八个顶点的权重值表为:(ω01234567)。需要说明地是,三线性插值方法的具体实现过程,可以是参照相关技术,本实施例不做详细描述。
进一步地,根据各顶点的权重对所述立方体空间各顶点对应的预设的头部骨骼动画和预设的头部关节角度进行融合,得到虚拟对象的头部关节角度所对应的目标姿态。示例性地,根据各顶点的权重融合立方体空间骨架姿态(也即各顶点预设的头部关节角度)可表示为最终得到的所述目标姿态为
其中,预设混合空间中,每个顶点包括对应的预设的头部骨骼动画和预设的头部关节角度(也即姿态),在得到虚拟对象的头部关节角度对应的目标姿态后,根据所述预设的头部骨骼动画和预设的头部姿态之间的关系,也就能够得到所目标姿态所对应的头部骨骼动画。
本申请实施例中,通过预设混合空间各顶点预设的头部骨骼动画和预设的头部关节角度,从而能够将虚拟对象的头部关节角度融合至所述预设混合空间中,并得到所述虚拟对象的头部关节角度对应的头部骨骼动画。这样,虚拟对象的头部关节角度对应的头部骨骼动画位于预设混合空间内,也就将头部骨骼动画限定在了一定范围内,以保障头部骨骼动画的曲线平滑性。而第一相机视角是基于所述头部骨骼动画确定的,保障了头部骨骼动画的曲线平滑性,也就能够保障基于第一相机视角生成的视点图像的平滑性,避免画面抖动的情况。
需要说明地,所述预设混合空间各顶点对应的预设的头部关节角度和预设的头部骨骼动画,可以是基于给定的范围来设置;所述虚拟对象的头部关节角度也可以是限定在一定范围内,从而以确保虚拟对象的头部骨骼动画能够位于预设混合空间内。例如,在电子设备通过接收用户在输入框中输入的数值来确定虚拟对象的头部关节角度的情况下,输入框的取值范围可以是限定在在-45到45度之间既[-0.785,0.785]弧度范围,从而预设混合空间可以是基于这一取值范围来创建。
可选地,所述步骤104,可以包括:
在所述第一相机视角位于预设的有向包围盒内的情况下,基于所述神经辐射场生成所述第一相机视角下的视点图像。
本申请实施例中,在基于所述虚拟对象的头部骨骼动画确定虚拟相机的第一相机视角后,判断所述第一相机视角是否位于预设的有向包围盒(Oriented Bounding Box,OBB)内,在确定所述第一相机视角位于预设的有向包围盒内的情况下,则基于所述神经辐射场生成所述第一相机视角下的视点图像。
其中,所述预设的有向包围盒可以是基于用于训练神经辐射场的多层感知网络模型的预设图像数据集中每张图像对应的相机位置和相机视角生成的,进而所述预设的有向包围盒也就对应了一定范围内的相机视角,只有在第一相机视角位于所述预设的有向包围盒内的情况下,才会基于神经辐射场来生成所述第一相机视角对应的视点图像,这样也就限定了第一相机视角的范围,从而以保障视点图像的生成。
可选地,所述步骤104之前,所述方法还包括:
基于预设图像数据集对应的第二相机视角生成所述预设的有向包围盒,所述预设图像数据集为所述多层感知网络模型的训练数据集;
获取所述第一相机视角对应的第一相机位置、第一焦距和第一图像深度;
根据所述第一焦距和所述第一图像深度,确定所述第一相机视角在水平方向的第一边界点和在垂直方向的第二边界点;
在所述第一相机位置、所述第一边界点和所述第二边界点的目标部分位于所述预设的有向包围盒内的情况下,确定所述第一相机视角位于预设的有向包围盒内。
本申请实施例中,神经辐射场包括多层感知网络模型,所述多层感知网络模型基于预设图像数据集训练得到,所述预设图像数据集中的每张图像包括对应的得到该图像的相机视角。可以理解地,预设图像数据集包括多张图像,也就包括多个相机视角(也即第二相机视角),基于这些相机视角生成预设的有向包围盒。
可选地,所述基于预设图像数据集对应的第二相机视角生成所述预设的有向包围盒,包括:
获取所述预设图像数据集中每一张图像对应的第二相机位置、第二焦距和第二图像深度;
根据目标第二焦距和目标第二图像深度确定目标图像对应相机视角在水平方向的第三边界点和在垂直方向的第四边界点,所述目标图像为所述预设图像数据集中的任一张图像,所述目标第二焦距和目标第二图像深度分别为所述目标图像对应的第二焦距和第二图像深度;
根据所述每一张图像对应的所述第二相机位置、所述第三边界点和所述第四边界点,生成所述预设的有向包围盒。
可以理解地,所述预设图像数据集中每一张图像包括得到该图像的第二相机位置、第二焦距和第二图像深度,基于图像的所述第二焦距和第二图像深度可以确定该图像对应的相机视角在水平方向的边界和垂直方向的边界点。
具体地,以水平方向为例,根据图像的第二焦距确定该图像对应的相机视角(Field of view,FoV),根据该图像的第二图像深度确定两个边界点(也即第三边界点)。对于边界点,第二焦距可以确定对应的相机视角FoV,可以假设拍摄图像的传感器尺寸为常见的x=43.27mm,通过公式其中,tan表示正切,取图像深度的最大值,用dmax表示,因此如下图3所示,边界点可在由相机位置以及水平方向的相机视角确定的三角椎体中,通过dmax截取,从而得到水平方向的两个第三边界点。基于相似的远离,垂直方向也可以按照与水平方向相同的计算过程确定两个第四边界点,从而得到该图像在垂直方向的两个第四边界点。进而对于预设图像数据集中的任一张图像,根据该对象对应的第二相机位置,以及在水平方向的两个第三边界点和在垂直方向对应的两个第四边界点,也就能够构建出该图像对应的一个三角椎体,也即该图像对应的视角范围。
通过上述方式,也即能够得到预设图像数据集中每一张图像在水平方向对应的两个第三边界点和在垂直方向对应的两个第四边界点,从而基于这些第三边界点和第四边界点,以及每一张图像对应的第二相机位置,最终得到确定相机位置和视角范围的空间点云,这些空间点云也就构成了所述预设的有向包围盒。
本申请实施例中,根据预设图像数据集中的图像所对应的第二相机位置、第二焦距和第二图像深度,来生成预设的有向包围盒,通过该预设的有向包围盒来限定视角范围,进而当判定虚拟相机的第一相机视角位于该预设的有向包围盒内时,则基于神经辐射场生成所述第一相机视角对应的视点图像。可以理解地,神经辐射场的多层感知网络模型基于所述预设图像数据集训练得到,而所述预设的有向包围盒也是基于预设图像数据集中的图像所对应的相关参数来生成的,从而在第一相机视角位于该预设的有向包围盒内时,才能够生成对应的视点图像,这样也就能够确保所生成的视点图像具有更高的准确度。
可选地,对于第一相机视角是否位于预设的有向包围盒内,具体可以通过以下方式进行判断:
获取所述第一相机视角对应的第一相机位置、第一焦距和第一图像深度,根据所述第一焦距和所述第一图像深度,确定所述第一相机视角在水平方向的第一边界点和在垂直方向的第二边界点;在所述第一相机位置、所述第一边界点和所述第二边界点的目标部分位于所述预设的有向包围盒内的情况下,确定所述第一相机视角位于预设的有向包围盒内。
其中,所述第一相机视角在水平方向的第一边界点和在垂直方向的第二边界点的确定过程,可以是参照上述第三边界点和第四边界点的确定方式。示例性地,假设第一相机视角为预设图像数据集中的图像对应的平均相机视角,第一图像深度为预设图像数据集中的图像对应的平均图像深度,第一焦距为预设图像数据集中的图像对应的平均焦距,基于这些参数,参照上述方式同样可以计算得到该第一相机视角在水平方向的两个第一边界点及在垂直方向的两个第二边界点,并与该第一相机视角对应的第一相机位置形成一个三角椎体,若该三角椎体位于所述预设的有向包围盒内,则可以确定所述第一相机视角位于所述预设的有向包围盒内,从而以确保能够基于所述第一相机视角来生成对应的视点图像。
可选地,所述在所述第一相机位置、所述第一边界点和所述第二边界点的目标部分位于所述预设的有向包围盒内的情况下,确定所述第一相机视角位于预设的有向包围盒内,包括:
根据所述第一相机位置、所述第一相机视角在水平方向的第一边界点和在垂直方向的第二边界点,构建所述第一相机视角对应的第一锥体;
在所述第一锥体全部位于所述预设的有向包围盒内,或者在所述第一锥体的预设锥体部分位于所述预设的有向包围盒内的情况下,确定所述第一相机视角位于预设的有向包围盒内。
示例性地,在确定第一相机视角对应的第一相机位置,以及在在水平方向的第一边界点和在垂直方向的第二边界点后,将所述第一相机位置作为三角椎体的顶点,根据所述第一边界点和所述第二边界点确定三角椎体底面的圆弧的大小,从而也就得到了第一相机视角对应的第一椎体。
如前所述地,所述预设的有向包围盒是根据预设图像数据集中每一张图像对应的第二相机位置、第三边界点和第四边界点形成的一个椎体,若所述第一椎体全部位于所述预设的有向包围盒内,则可以确定所述第一相机视角位于该预设的有向包围盒内;或者,若所述第一椎体的预设椎体部分,例如该第一椎体的至少80%位于所述预设的有向包围盒内,也可以认为所述第一相机视角位于该预设的有向包围盒内。进而,通过这样的判定,也就能够确保神经辐射场能够生成所述第一相机视角对应的视点图像,以确保视点图像生成的准确度和图像内容的完整度,避免因第一相机视角不位于预设的有向包围盒内时,无法生成视点图像,或因只有部分视角位于预设的有向包围盒内而导致生成的视点图像不完整。
可选地,本申请实施例中,所述基于预设混合空间和所述虚拟对象的头部关节角度,生成所述虚拟对象的头部骨骼动画,还可以包括:
获取所述虚拟对象的头部关节角度对应的时间戳;
在当前时间信息与所述时间戳的时间差小于或等于预设时间差的情况下,基于预设混合空间和所述虚拟对象的头部关节角度,生成所述虚拟对象的头部骨骼动画;
在当前时间信息与所述时间戳的时间差大于预设时间差的情况下,基于预设混合空间和所述虚拟对象的历史头部关节角度,生成所述虚拟对象的头部骨骼动画。
可以理解地,电子设备获取到虚拟对象的头部关节角度后,基于预设混合空间和该头部关节角度,生成虚拟对象的头部骨骼动画,而在这过程中可能会存在时延,或者是电子设备本身硬件或软件导致的卡顿或延迟等情况。例如,所述虚拟对象的头部关节角度可以是电子设备通过前端摄像头拍摄用户的头部图像而得到的,摄像头拍摄帧率可能会导致前端帧率与后端因生成虚拟对象头部骨骼动画而驱动神经辐射场合成新视点图像的帧率不同而造成卡顿或延迟。
可选地,电子设备在获取所述虚拟对象的头部关节角度时,可以是对应生成获取到该头部关节角度的时间戳;电子设备在生成虚拟对象的头部骨骼动画的过程中,可以是比较当前时间信息与所述时间戳的时间差是否小于或等于预设时间差,若小于或等于,说明不存在延迟或延迟较小,则基于预设混合空间和该头部关节角度,生成所述虚拟对象的头部骨骼动画;若大于,说明延迟较大,则基于预设混合空间和所述虚拟对象的历史头部关节角度,生成头部骨骼动画。
本申请实施例中,在当前时间信息与获取的头部关节角度的时间戳之间的时间差处于合理范围内时,则基于获取的头部关节角度和预设混合空间来生成头部骨骼动画,从而以确保最终生成的视点图像的实时性;而在当前时间信息与获取的头部关节角度的时间戳之间的时间差较大、超出了合理范围时,说明电子设备的后端处理过程与前端获取头部关节角度之间存在延迟,则基于之前获取的历史头部关节角度和预设混合空间来生成头部骨骼动画,从而以避免最终生成的视点图像的延迟而带给用户不好的观看体验。
可选地,在电子设备的后端处理过程与前端获取头部关节角度之间存在延迟的情况下,还可以是根据当前时间信息,分别线性插值估算虚拟对象的头部关节角度,如虚拟对象头部的(roll,pitch,yaw)三个角度,将估算的与当前时间信息接近的头部关节角度替换所述获取的头部关节角度,进一步通过该估算的头部关节角度和预设混合空间来生成头部骨骼动画,从而以避免因后端延迟而造成最终生成的视点图像的延迟,保障用户的观看体验。
作为一种可选的应用场景,本申请实施例提供的方案可以是应用于虚拟现实(Virtual Reality,VR)应用场景中,VR头盔能够跟着用户头部角度的变化而变化,进而用户眼睛的观看视角能够映射到VR头盔的相机视角,从而以生成跟随用户视角变化的视点图像,从而平滑地切换画面,为用户带来更好的观看体验,实现沉浸式、任意视角观看视频,而不需要如相关VR技术中需要三维场景模拟实现。
本申请实施例还提供了一种图像生成装置。请参照图4,图4是本申请实施例提供的一种图像生成装置的结构图,如图4所示,图像生成装置400包括:
第一获取模块401,用于获取虚拟对象的头部关节角度,所述虚拟对象的头部设置有虚拟相机;
第一生成模块402,用于基于预设混合空间和所述虚拟对象的头部关节角度,生成所述虚拟对象的头部骨骼动画;
第一确定模块403,用于根据所述头部骨骼动画确定所述虚拟相机的第一相机视角;
第二生成模块404,用于基于神经辐射场生成所述第一相机视角下的视点图像。
可选地,所述预设混合空间为立方体空间,所述立方体空间的一个顶点对应一个预设的头部骨骼动画和一个预设的头部关节角度;
所述第一生成模块402还用于:
对所述虚拟对象的头部关节角度进行线性插值处理,得到所述虚拟对象的头部关节角度在所述立方体空间的各顶点的权重;
根据所述各顶点的权重对所述立方体空间各顶点对应的预设的头部关节角度进行融合,得到所述虚拟对象的头部关节角度所对应的目标姿态;
根据所述预设的头部骨骼动画,确定所述目标姿态对应的头部骨骼动画。
可选地,所述第二生成模块404还用于:
在所述第一相机视角位于预设的有向包围盒内的情况下,基于所述神经辐射场生成所述第一相机视角下的视点图像。
可选地,所述装置还包括:
第三生成模块,用于基于预设图像数据集对应的第二相机视角生成所述预设的有向包围盒,所述预设图像数据集为所述神经辐射场的多层感知网络模型的训练数据集;
第二获取模块,用于获取所述第一相机视角对应的第一相机位置、第一焦距和第一图像深度;
第二确定模块,用于根据所述第一焦距和所述第一图像深度,确定所述第一相机视角在水平方向的第一边界点和在垂直方向的第二边界点;
第三确定模块,用于在所述第一相机位置、所述第一边界点和所述第二边界点的目标部分位于所述预设的有向包围盒内的情况下,确定所述第一相机视角位于预设的有向包围盒内。
可选地,所述预设图像数据集包括多张图像;所述第三生成模块还用于:
获取所述预设图像数据集中每一张图像对应的第二相机位置、第二焦距和第二图像深度;
根据目标第二焦距和目标第二图像深度确定目标图像对应相机视角在水平方向的第三边界点和在垂直方向的第四边界点,所述目标图像为所述预设图像数据集中的任一张图像,所述目标第二焦距和目标第二图像深度分别为所述目标图像对应的第二焦距和第二图像深度;
根据所述每一张图像对应的所述第二相机位置、所述第三边界点和所述第四边界点,生成所述预设的有向包围盒。
可选地,所述第三确定模块还用于:
根据所述第一相机位置、所述第一相机视角在水平方向的第一边界点和在垂直方向的第二边界点,构建所述第一相机视角对应的第一锥体;
在所述第一锥体全部位于所述预设的有向包围盒内,或者在所述第一锥体的预设锥体部分位于所述预设的有向包围盒内的情况下,确定所述第一相机视角位于预设的有向包围盒内。
可选地,所述第一生成模块402还用于:
获取所述虚拟对象的头部关节角度对应的时间戳;
在当前时间信息与所述时间戳的时间差小于或等于预设时间差的情况下,基于预设混合空间和所述虚拟对象的头部关节角度,生成所述虚拟对象的头部骨骼动画;
在当前时间信息与所述时间戳的时间差大于预设时间差的情况下,基于预设混合空间和所述虚拟对象的历史头部关节角度,生成所述虚拟对象的头部骨骼动画。
可选地,所述第一获取模块401还用于:
获取第一输入;
根据所述第一输入确定虚拟对象的头部关节角度,所述头部关节角度包括所述虚拟对象的头部关节的横滚角、俯仰角和偏航角中的一项或多项。
可选地,所述神经辐射场包括多层感知网络模型,所述多层感知网络模型基于预设图像数据集训练得到,所述预设图像数据集中的每张图像包括对应的相机视角、相机内参和图像深度,所述多层感知网络模型的输入为相机视角,输出为所述相机视角对应的视点图像。
本申请实施例中,所述装置能够基于预设混合空间和所述虚拟对象的头部关节角度来生成所述虚拟对象的头部骨骼动画,使得生成的头部骨骼动画位于预设混合空间内,从而以确保头部骨骼动画的平滑性,进而也就能够确保最终生成的视点图像的平滑性。
本申请实施例中的图像生成装置400可以是电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device,MID)、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,本申请实施例不作具体限定。
本申请实施例中的图像生成装置400可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的图像生成装置400能够实现图1所述方法实施例实现的各个过程,为避免重复,这里不再赘述。
本申请实施例还提供了一种电子设备。请参见图5,图5是本申请实施例提供的一种电子设备的结构图,如图5所示,所述电子设备包括:处理器500、存储器520及存储在所述存储器520上并可在所述处理器500上运行的程序或指令,处理器500,用于读取存储器520中的程序或指令;所述电子设备还包括总线接口和收发机510。
收发机510,用于在处理器500的控制下接收和发送数据。
其中,在图5中,总线架构可以包括任意数量的互联的总线和桥,具体由处理器300代表的一个或多个处理器和存储器520代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口提供接口。收发机510可以是多个元件,即包括发送机和收发机,提供用于在传输介质上与各种其他装置通信的单元。处理器500负责管理总线架构和通常的处理,存储器520可以存储处理器500在执行操作时所使用的数据。
其中,处理器500,用于读取存储器520中的程序或指令,执行如下步骤:
获取虚拟对象的头部关节角度,所述虚拟对象的头部设置有虚拟相机;
基于预设混合空间和所述虚拟对象的头部关节角度,生成所述虚拟对象的头部骨骼动画;
根据所述头部骨骼动画确定所述虚拟相机的第一相机视角;
基于神经辐射场生成所述第一相机视角下的视点图像。
可选地,所述预设混合空间为立方体空间,所述立方体空间的一个顶点对应一个预设的头部骨骼动画和一个预设的头部关节角度;处理器500,还用于读取存储器520中的程序或指令,执行如下步骤:
对所述虚拟对象的头部关节角度进行线性插值处理,得到所述虚拟对象的头部关节角度在所述立方体空间的各顶点的权重;
根据所述各顶点的权重对所述立方体空间各顶点对应的预设的头部关节角度进行融合,得到所述虚拟对象的头部关节角度所对应的目标姿态;
根据所述预设的头部骨骼动画,确定所述目标姿态对应的头部骨骼动画。
可选地,处理器500,还用于读取存储器520中的程序或指令,执行如下步骤:
在所述第一相机视角位于预设的有向包围盒内的情况下,基于所述神经辐射场生成所述第一相机视角下的视点图像。
可选地,处理器500,还用于读取存储器520中的程序或指令,执行如下步骤:
基于预设图像数据集对应的第二相机视角生成所述预设的有向包围盒,所述预设图像数据集为所述神经辐射场的多层感知网络模型的训练数据集;
获取所述第一相机视角对应的第一相机位置、第一焦距和第一图像深度;
根据所述第一焦距和所述第一图像深度,确定所述第一相机视角在水平方向的第一边界点和在垂直方向的第二边界点;
在所述第一相机位置、所述第一边界点和所述第二边界点的目标部分位于所述预设的有向包围盒内的情况下,确定所述第一相机视角位于预设的有向包围盒内。
可选地,所述预设图像数据集包括多张图像;处理器500,还用于读取存储器520中的程序或指令,执行如下步骤:
获取所述预设图像数据集中每一张图像对应的第二相机位置、第二焦距和第二图像深度;
根据目标第二焦距和目标第二图像深度确定目标图像对应相机视角在水平方向的第三边界点和在垂直方向的第四边界点,所述目标图像为所述预设图像数据集中的任一张图像,所述目标第二焦距和目标第二图像深度分别为所述目标图像对应的第二焦距和第二图像深度;
根据所述每一张图像对应的所述第二相机位置、所述第三边界点和所述第四边界点,生成所述预设的有向包围盒。
可选地,处理器500,还用于读取存储器520中的程序或指令,执行如下步骤:
根据所述第一相机位置、所述第一相机视角在水平方向的第一边界点和在垂直方向的第二边界点,构建所述第一相机视角对应的第一锥体;
在所述第一锥体全部位于所述预设的有向包围盒内,或者在所述第一锥体的预设锥体部分位于所述预设的有向包围盒内的情况下,确定所述第一相机视角位于预设的有向包围盒内。
可选地,处理器500,还用于读取存储器520中的程序或指令,执行如下步骤:
获取所述虚拟对象的头部关节角度对应的时间戳;
在当前时间信息与所述时间戳的时间差小于或等于预设时间差的情况下,基于预设混合空间和所述虚拟对象的头部关节角度,生成所述虚拟对象的头部骨骼动画;
在当前时间信息与所述时间戳的时间差大于预设时间差的情况下,基于预设混合空间和所述虚拟对象的历史头部关节角度,生成所述虚拟对象的头部骨骼动画。
可选地,处理器500,还用于读取存储器520中的程序或指令,执行如下步骤:
获取第一输入;
根据所述第一输入确定虚拟对象的头部关节角度,所述头部关节角度包括所述虚拟对象的头部关节的横滚角、俯仰角和偏航角中的一项或多项。
可选地,所述神经辐射场包括多层感知网络模型,所述多层感知网络模型基于预设图像数据集训练得到,所述预设图像数据集中的每张图像包括对应的相机视角、相机内参和图像深度,所述多层感知网络模型的输入为相机视角,输出为所述相机视角对应的视点图像。
本申请实施例中,电子设备能够基于预设混合空间和所述虚拟对象的头部关节角度来生成所述虚拟对象的头部骨骼动画,使得生成的头部骨骼动画位于预设混合空间内,从而以确保头部骨骼动画的平滑性,进而也就能够确保最终生成的视点图像的平滑性。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述图1所述方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述图1所述方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

Claims (12)

1.一种图像生成方法,其特征在于,包括:
获取虚拟对象的头部关节角度,所述虚拟对象的头部设置有虚拟相机;
基于预设混合空间和所述虚拟对象的头部关节角度,生成所述虚拟对象的头部骨骼动画;
根据所述头部骨骼动画确定所述虚拟相机的第一相机视角;
基于神经辐射场生成所述第一相机视角下的视点图像。
2.根据权利要求1所述的方法,其特征在于,所述预设混合空间为立方体空间,所述立方体空间的一个顶点对应一个预设的头部骨骼动画和一个预设的头部关节角度;
所述基于预设混合空间和所述虚拟对象的头部关节角度,生成所述虚拟对象的头部骨骼动画,包括:
对所述虚拟对象的头部关节角度进行线性插值处理,得到所述虚拟对象的头部关节角度在所述立方体空间的各顶点的权重;
根据所述各顶点的权重对所述立方体空间各顶点对应的预设的头部关节角度进行融合,得到所述虚拟对象的头部关节角度所对应的目标姿态;
根据所述预设的头部骨骼动画,确定所述目标姿态对应的头部骨骼动画。
3.根据权利要求1所述的方法,其特征在于,所述基于所述神经辐射场生成所述第一相机视角下的视点图像,包括:
在所述第一相机视角位于预设的有向包围盒内的情况下,基于所述神经辐射场生成所述第一相机视角下的视点图像。
4.根据权利要求3所述的方法,其特征在于,所述基于神经辐射场生成所述第一相机视角下的视点图像之前,所述方法还包括:
基于预设图像数据集对应的第二相机视角生成所述预设的有向包围盒,所述预设图像数据集为所述神经辐射场的多层感知网络模型的训练数据集;
获取所述第一相机视角对应的第一相机位置、第一焦距和第一图像深度;
根据所述第一焦距和所述第一图像深度,确定所述第一相机视角在水平方向的第一边界点和在垂直方向的第二边界点;
在所述第一相机位置、所述第一边界点和所述第二边界点的目标部分位于所述预设的有向包围盒内的情况下,确定所述第一相机视角位于预设的有向包围盒内。
5.根据权利要求4所述的方法,其特征在于,所述预设图像数据集包括多张图像;所述基于预设图像数据集对应的第二相机视角生成所述预设的有向包围盒,包括:
获取所述预设图像数据集中每一张图像对应的第二相机位置、第二焦距和第二图像深度;
根据目标第二焦距和目标第二图像深度确定目标图像对应相机视角在水平方向的第三边界点和在垂直方向的第四边界点,所述目标图像为所述预设图像数据集中的任一张图像,所述目标第二焦距和目标第二图像深度分别为所述目标图像对应的第二焦距和第二图像深度;
根据所述每一张图像对应的所述第二相机位置、所述第三边界点和所述第四边界点,生成所述预设的有向包围盒。
6.根据权利要求4所述的方法,其特征在于,所述在所述第一相机位置、所述第一边界点和所述第二边界点的目标部分位于所述预设的有向包围盒内的情况下,确定所述第一相机视角位于预设的有向包围盒内,包括:
根据所述第一相机位置、所述第一相机视角在水平方向的第一边界点和在垂直方向的第二边界点,构建所述第一相机视角对应的第一锥体;
在所述第一锥体全部位于所述预设的有向包围盒内,或者在所述第一锥体的预设锥体部分位于所述预设的有向包围盒内的情况下,确定所述第一相机视角位于预设的有向包围盒内。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述基于预设混合空间和所述虚拟对象的头部关节角度,生成所述虚拟对象的头部骨骼动画,包括:
获取所述虚拟对象的头部关节角度对应的时间戳;
在当前时间信息与所述时间戳的时间差小于或等于预设时间差的情况下,基于预设混合空间和所述虚拟对象的头部关节角度,生成所述虚拟对象的头部骨骼动画;
在当前时间信息与所述时间戳的时间差大于预设时间差的情况下,基于预设混合空间和所述虚拟对象的历史头部关节角度,生成所述虚拟对象的头部骨骼动画。
8.根据权利要求1-6中任一项所述的方法,其特征在于,所述获取虚拟对象的头部关节角度,包括:
获取第一输入;
根据所述第一输入确定虚拟对象的头部关节角度,所述头部关节角度包括所述虚拟对象的头部关节的横滚角、俯仰角和偏航角中的一项或多项。
9.根据权利要求1-6中任一项所述的方法,其特征在于,所述神经辐射场包括多层感知网络模型,所述多层感知网络模型基于预设图像数据集训练得到,所述预设图像数据集中的每张图像包括对应的相机视角、相机内参和图像深度,所述多层感知网络模型的输入为相机视角,输出为所述相机视角对应的视点图像。
10.一种图像生成装置,其特征在于,包括:
第一获取模块,用于获取虚拟对象的头部关节角度,所述虚拟对象的头部设置有虚拟相机;
第一生成模块,用于基于预设混合空间和所述虚拟对象的头部关节角度,生成所述虚拟对象的头部骨骼动画;
第一确定模块,用于根据所述头部骨骼动画确定所述虚拟相机的第一相机视角;
第二生成模块,用于基于神经辐射场生成所述第一相机视角下的视点图像。
11.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-9中任一项所述的图像生成方法的步骤。
12.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-9中任一项所述的图像生成方法的步骤。
CN202310833229.2A 2023-07-07 2023-07-07 图像生成方法、装置、电子设备和可读存储介质 Pending CN116883553A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310833229.2A CN116883553A (zh) 2023-07-07 2023-07-07 图像生成方法、装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310833229.2A CN116883553A (zh) 2023-07-07 2023-07-07 图像生成方法、装置、电子设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN116883553A true CN116883553A (zh) 2023-10-13

Family

ID=88254183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310833229.2A Pending CN116883553A (zh) 2023-07-07 2023-07-07 图像生成方法、装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN116883553A (zh)

Similar Documents

Publication Publication Date Title
US11074755B2 (en) Method, device, terminal device and storage medium for realizing augmented reality image
EP4307233A1 (en) Data processing method and apparatus, and electronic device and computer-readable storage medium
CN109771951B (zh) 游戏地图生成的方法、装置、存储介质和电子设备
US11282264B2 (en) Virtual reality content display method and apparatus
CN111161395B (zh) 一种人脸表情的跟踪方法、装置及电子设备
CN109887003A (zh) 一种用于进行三维跟踪初始化的方法与设备
CN108227916A (zh) 用于确定沉浸式内容中的兴趣点的方法和设备
KR102374404B1 (ko) 콘텐트를 제공하기 위한 디바이스 및 방법
US9754398B1 (en) Animation curve reduction for mobile application user interface objects
CN102804169A (zh) 用于立体影院的以观看者为中心的用户界面
WO2022022449A1 (zh) 用于空间定位的方法和装置
KR20200138349A (ko) 화상 처리 방법 및 장치, 전자 디바이스, 및 저장 매체
CN109688343A (zh) 增强现实演播室的实现方法和装置
US11138743B2 (en) Method and apparatus for a synchronous motion of a human body model
US20240348928A1 (en) Image display method, device and electronic device for panorama shooting to improve the user's visual experience
CN114926612A (zh) 空中全景图像处理与沉浸式显示系统
US11373329B2 (en) Method of generating 3-dimensional model data
CN109448117A (zh) 图像渲染方法、装置及电子设备
CN109978945B (zh) 一种增强现实的信息处理方法和装置
CN117218246A (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
US11910068B2 (en) Panoramic render of 3D video
US11706395B2 (en) Apparatus and method for selecting camera providing input images to synthesize virtual view images
JP2024114712A (ja) 撮像装置、撮像方法、及び、プログラム
US20240161391A1 (en) Relightable neural radiance field model
US20230290101A1 (en) Data processing method and apparatus, electronic device, and computer-readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination