CN113888689A - 图像渲染模型训练、图像渲染方法及装置 - Google Patents
图像渲染模型训练、图像渲染方法及装置 Download PDFInfo
- Publication number
- CN113888689A CN113888689A CN202111308327.1A CN202111308327A CN113888689A CN 113888689 A CN113888689 A CN 113888689A CN 202111308327 A CN202111308327 A CN 202111308327A CN 113888689 A CN113888689 A CN 113888689A
- Authority
- CN
- China
- Prior art keywords
- image
- rendering
- volume rendering
- rendering model
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 312
- 238000000034 method Methods 0.000 title claims abstract description 90
- 238000012549 training Methods 0.000 title claims abstract description 78
- 238000005070 sampling Methods 0.000 claims abstract description 125
- 239000011159 matrix material Substances 0.000 claims abstract description 72
- 230000005855 radiation Effects 0.000 claims abstract description 16
- 210000005036 nerve Anatomy 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 5
- 230000001537 neural effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Image Generation (AREA)
Abstract
本发明提供一种图像渲染模型训练、图像渲染方法及装置，所述模型训练方法包括：将多角度目标场景图输入至容积渲染模型，得到容积渲染模型输出的容积渲染图像；基于容积渲染图像以及多角度目标场景图，对初始化的具有隐式场景表达能力的神经辐射场进行训练，得到图像渲染模型；其中，容积渲染模型是基于多角度样本场景图训练得到的；容积渲染模型先对多角度目标场景图进行投影重建，得到用于表征目标场景的3D场景密度的显式密度分布矩阵，并基于密度分布矩阵确定投影方向的采样点后，基于各采样点中包含有密度与色值的体素特征生成容积渲染图像。本发明可以快速直接基于显式密度分布矩阵确定采样点，提高了图像渲染模型的训练和推理效率。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像渲染模型训练、图像渲染方法及装置。
背景技术
NeRF(Neural Radiance Fields)是一种深度渲染方法，其主要特点是场景隐式表达和图像的容积渲染。NeRF首先根据场景不同视角的图像学习到场景表征，再由表征生成任意指定角度的图像。
在根据场景不同视角的图像学习到场景表征后，若要生成任意指定角度的图像，则需要在场景表征中进行采样，并基于采样得到的体素进行图像渲染，得到渲染图像。
由于基于NeRF生成的容积内场景特征分布不均匀，为提高采样效率，NeRF采用二次采样的方法，具体为：先在一条投影线上先均匀采样64个体素，计算沿该射线的密度分布，然后根据该射线的密度分布，再在该射线采样128个样本。
由上述基于NeRF的采样方法可知，产生一幅投影渲染图像时需要对每个图像像素对应的射线上做几百次采样并进行相应的的实时计算，计算量较大，且非常耗时，同时在训练网络时需要对多幅场景图像多次迭代，计算量更是巨大。
发明内容
本发明提供一种图像渲染模型训练、图像渲染方法及装置，用以解决现有技术中图像渲染计算量较大且效率较低的缺陷。
本发明提供一种图像渲染模型训练方法，包括：
确定目标场景的多角度目标场景图；
将所述多角度目标场景图输入至容积渲染模型，得到所述容积渲染模型输出的容积渲染图像；
基于所述容积渲染图像以及所述多角度目标场景图，对初始化的具有隐式场景表达能力的神经辐射场进行训练，得到图像渲染模型；
其中，所述容积渲染模型是基于多角度样本场景图训练得到的；所述容积渲染模型先对所述多角度目标场景图进行投影重建，得到用于表征所述目标场景的3D场景密度的显式密度分布矩阵，并基于所述密度分布矩阵确定投影方向的采样点后，基于各采样点中包含有密度与色值的体素特征生成所述容积渲染图像。
根据本发明提供的一种图像渲染模型训练方法，
所述将所述多角度目标场景图输入至容积渲染模型，得到所述容积渲染模型输出的容积渲染图像，包括：
将所述多角度目标场景图输入至所述容积渲染模型的重建层，由所述重建层对所述多角度目标场景图进行投影重建，得到所述重建层输出的所述显式密度分布矩阵；
将所述显式密度分布矩阵输入至所述容积渲染模型的采样层，由所述采样层基于所述显式密度分布矩阵确定所述投影方向的采样点，得到所述采样层输出的各采样点的体素特征；
将所述各采样点的体素特征输入至所述容积渲染模型的渲染层，由所述渲染层基于所述容积渲染模型的初始参数以及各采样点的体素特征进行容积渲染，得到所述渲染层输出的所述容积渲染图像；所述容积渲染图像与所述多角度目标场景图的角度相同。
根据本发明提供的一种图像渲染模型训练方法，
所述采样点是基于如下步骤确定的：
从所述显式密度分布矩阵上读取目标投影线上各体素点的密度分度，所述目标投影线是基于所述目标场景对应的3D场景以及所述投影方向的像素点确定的；
基于各体素点的密度分布，确定所述采样点。
根据本发明提供的一种图像渲染模型训练方法，所述目标投影线是基于如下步骤确定的：
对所述3D场景进行归一化处理；
从归一化处理后的3D场景中确定一条垂直指向所述投影方向的像素点的投影线作为所述目标投影线。
根据本发明提供的一种图像渲染模型训练方法，所述图像渲染模型的损失函数是基于所述容积渲染图像与所述多角度目标场景图之间的均值方差确定的。
本发明还提供一种图像渲染方法，包括：
确定目标场景对应渲染图像的目标角度；
基于所述图像渲染模型，得到所述目标角度对应的渲染图像；
其中，所述图像渲染模型是基于如上所述的图像渲染模型训练方法训练得到的。
本发明还提供一种图像渲染模型训练装置，包括：
第一确定单元，用于确定目标场景的多角度目标场景图；
容积渲染单元，用于将所述多角度目标场景图输入至容积渲染模型，得到所述容积渲染模型输出的容积渲染图像；
模型训练单元，用于基于所述容积渲染图像以及所述多角度目标场景图，对初始化的具有隐式场景表达能力的神经辐射场进行训练，得到图像渲染模型；
其中，所述容积渲染模型是基于多角度样本场景图训练得到的；所述容积渲染模型先对所述多角度目标场景图进行投影重建，得到用于表征所述目标场景的3D场景密度的显式密度分布矩阵，并基于所述密度分布矩阵确定投影方向的采样点后，基于各采样点中包含有密度与色值的体素特征生成所述容积渲染图像。
本发明还提供一种图像渲染装置，包括：
第二确定单元，用于目标场景对应渲染图像的目标角度；
图像渲染单元，用于基于所述图像渲染模型，得到所述目标角度对应的渲染图像；
其中，所述图像渲染模型是基于如上所述的图像渲染模型训练方法训练得到的。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述图像渲染方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图像渲染方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述图像渲染方法的步骤。
本发明提供的图像渲染模型训练、图像渲染方法及装置，通过容积渲染模型对多角度目标场景图进行投影重建，得到显示密度分布矩阵，并基于显式密度分布矩阵确定投影方向的采样点后，基于各采样点的体素特征生成容积渲染图像，由于显式密度分布矩阵可以表征待渲染场景的3D场景密度，从而可以快速直接基于显式密度分布矩阵确定采样点，避免传统方法中需要二次采样造成计算量较大且效率较低的问题，提高了容积渲染效率。由于图像渲染模型是基于容积渲染图像和多角度目标场景图训练得到的，从而也进一步提高了图像渲染模型的训练和推理效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的图像渲染模型训练方法的流程示意图；
图2是本发明提供的图像渲染方法的流程示意图；
图3是本发明提供的图像渲染模型训练装置的结构示意图；
图4是本发明提供的图像渲染装置的结构示意图；
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
NeRF是一种深度渲染方法，其主要特点是场景隐式表达和图像的容积渲染。NeRF的基本思想是将目标场景看作3D的容积，训练一个神经网络来表征该场景。沿观察方向投影线对3D容积采样，由表征网络函数计算色彩特征并投影积分后，该方法就可生成渲染图像。
NeRF用神经辐射场来隐式表征场景的色彩特征。神经辐射场是一个深度神经网络。网络的输入是容积化场景体素点的三维位置坐标和观察相机的二维角度坐标，输出是对应五维坐标体素的色彩密度特征。
NeRF渲染首先根据场景不同视角的图像学习到场景表征，再由表征生成任意指定角度的图像。因此NeRF方法的实施可以分为两个步骤：场景表征的学习、场景的投影成像。
训练好的NeRF模型成为场景的3D表征函数。给定投影方向，就可以按照容积渲染步骤产生渲染图像，即三维体积保存的数据沿投影方向形成二维渲染图像。投影积分以RayMarching方式实现，包括四步组成：1.在投影图像上逐像素产生射线Ray cast；2.沿射线对容积的体素采样；3.获取/计算体素特性；4.累积体素特性计算投影图像的颜色灰度值。
其中，NeRF渲染中最重要一步是采样，每个采样点的颜色信息需要对NeRF的隐式神经网络函数前向计算来得到。由于容积内场景特征分布不均匀，为提高采样效率，NeRF采用二次采样的方法。NeRF方法在一条投影线上先均匀采样64个体素，计算沿该射线的密度分布。根据分布，NeRF再在该射线采样128个样本。
由前述的NeRF的具体采样方法可知，产生一幅投影图像时需要对每个图像像素对应的射线上做几百次采样和NeRF神经网络的实时计算，非常耗时，而在训练网络时需要对多幅场景图像多次迭代，计算量更是巨大。
对此，本发明提供一种图像渲染模型训练方法。图1是本发明提供的图像渲染模型训练方法的流程示意图，如图1所示，该方法包括如下步骤：
步骤110、确定目标场景的多角度目标场景图；
步骤120、将多角度目标场景图输入至容积渲染模型，得到容积渲染模型输出的容积渲染图像；
步骤130、基于容积渲染图像以及多角度目标场景图，对初始化的具有隐式场景表达能力的神经辐射场进行训练，得到图像渲染模型；
其中，容积渲染模型是基于多角度样本场景图训练得到的；容积渲染模型先对多角度目标场景图进行投影重建，得到用于表征目标场景的3D场景密度的显式密度分布矩阵，并基于密度分布矩阵确定投影方向的采样点后，基于各采样点中包含有密度与色值的体素特征生成容积渲染图像。
此处，目标场景是3D场景，目标场景的多角度目标场景图指不同视角的目标场景对应的二维图像。在将多角度目标场景图输入至容积渲染模型后，容积渲染模型可以对目标场景进行容积渲染，得到容积渲染图像。
其中，基于容积渲染模型进行容积渲染的过程如下：
对多角度目标场景图进行投影重建，得到显式密度分布矩阵，该显式密度矩阵可以是一个显式3D体素密度表征矩阵，用于表征目标场景的3D场景密度，且由于该矩阵是一个显式矩阵，从而可以直接从该矩阵中读取3D场景密度信息，而不需要再根据该矩阵进行计算得到3D场景密度信息。然后，基于密度分布矩阵确定投影方向的采样点后，基于各采样点中包含有密度与色值的体素特征生成容积渲染图像。
需要说明的是，若采用传统的采样方法，需要在投影方向对应的投影线上进行第一次采样(如均匀采样64个体素)，然后根据这些体素计算得到投影线上的密度分布，再根据密度分布进行第二次采样(如再在投影线上采样128个体素)。由于目标场景中存在无效体素(如背景对应的体素)，则传统方法中在根据体素进行计算得到密度分布时，同样会对无效体素进行计算，进而浪费计算量。
然而，本发明实施例是对多角度目标场景图进行投影重建，得到用于表征3D场景密度的显式密度分布矩阵，然后根据显式密度分布矩阵确定投影方向的采样点后，基于各采样点的体素特征生成容积渲染图像。其中，各采样点的体素特征包含各采样点的体素密度与体素色值信息，而基于体素密度与体素色值，可以确定各采样点的体素色彩，进而基于体素色彩进行容积渲染，得到容积渲染图像。
可以理解的是，在基于显式密度分布矩阵确定投影方向的采样点时，可以使得分布在体素密度较大处的采样点更密集，在体素密度较小处的采样点更稀疏，进而完成采样过程。
由此可见，本发明实施例省去了传统方法中第一次采样和根据第一次采样结果进行计算的过程，大幅度减少了计算量，提高了容积渲染的效率。
在得到容积渲染图像后，由于此时的神经辐射场并未经过训练，此时得到的容积渲染图像是不准确的，因此本发明实施例将这些与多角度目标场景图角度相同的容积渲染图像与真实的输入图像(多角度目标场景图)做对比得到损失函数，收敛该损失函数进行神经辐射场的训练，训练完成后得到图像渲染模型，该图像渲染模型可以用来生成更多不同角度的场景渲染图像。其中，容积渲染模型的损失函数可以基于容积渲染图像与多角度目标场景图之间的方差计算得到，本发明实施例对此不作具体限定。
此外，训练完成后的容积渲染模型是基于显示密度分布矩阵进行采样，省去了传统方法中第一次采样和根据第一次采样结果进行计算的过程，大幅度减少了计算量，提高了容积渲染的效率，进而进一步提高了图像渲染模型的训练效率。
本发明实施例提供的图像渲染模型训练方法，通过容积渲染模型对多角度目标场景图进行投影重建，得到显示密度分布矩阵，并基于显式密度分布矩阵确定投影方向的采样点后，基于各采样点的体素特征生成容积渲染图像，由于显式密度分布矩阵可以表征待渲染场景的3D场景密度，从而可以快速直接基于显式密度分布矩阵确定采样点，避免传统方法中需要二次采样造成计算量较大且效率较低的问题，提高了容积渲染效率。由于图像渲染模型是基于容积渲染图像和多角度目标场景图训练得到的，从而也进一步提高了图像渲染模型的训练和推理效率。
基于上述实施例，将多角度场景图输入至容积渲染模型，得到容积渲染模型输出的容积渲染图像，包括：
将多角度目标场景图输入至容积渲染模型的重建层，由重建层对多角度目标场景图进行投影重建，得到重建层输出的显式密度分布矩阵；
将显式密度分布矩阵输入至容积渲染模型的采样层，由采样层基于显式密度分布矩阵确定投影方向的采样点，得到采样层输出的各采样点的体素特征；
将各采样点的体素特征输入至容积渲染模型的渲染层，由渲染层基于容积渲染模型的初始参数以及各采样点的体素特征进行容积渲染，得到渲染层输出的容积渲染图像；容积渲染图像与多角度目标场景图的角度相同。
具体地，容积渲染模型的重建层用于对多角度目标场景图进行投影重建，从而可以得到用于表征3D场景密度的显式密度分布矩阵。由于该矩阵是一个显式矩阵，从而可以直接从该矩阵中读取3D场景密度信息，而不需要再根据该矩阵进行计算得到3D场景密度信息。
在得到显式密度分布矩阵后，可以确定投影方向的目标投影线上各体素的密度分布信息，然后可以对密度分布较密集的体素采集较多的采样点，对密度分布较稀疏的体素采集较少的采样点，从而采样层可以基于密度分布矩阵进行采样后获得的采样点可以准确表征投影方向的体素信息，得到采样点的体素特征。
各采样点的体素特征可以包含各采样点的体素密度与体素色值信息，而基于体素密度与体素色值，可以确定各采样点的体素色彩，进而渲染层可以基于体素色彩进行容积渲染，得到与目标场景图角度相同的容积渲染图像。
由此可见，本发明实施例相较于传统方法，采样层基于显式密度分布矩阵确定投影方向的采样点，得到采样层输出的各采样点的体素特征，进而渲染层可以基于各采样点的体素特征进行容积渲染，得到容积渲染图像，省去了传统方法中第一次采样和根据第一次采样结果进行计算的过程，大幅度减少了计算量，提高了容积渲染的效率。
基于上述任一实施例，采样点是基于如下步骤确定的：
从显式密度分布矩阵上读取目标投影线上各体素点的密度分度，目标投影线是基于目标场景对应的3D场景以及投影方向的像素点确定的；
基于各体素点的密度分布，确定采样点。
具体地，显式密度分布矩阵用于表征待渲染场景的3D场景密度，且由于该矩阵是一个显式矩阵，从而可以直接从该矩阵中读取3D场景密度信息，而不需要再根据该矩阵进行计算得到3D场景密度信息。
此外，当需要获取投影方向的容积渲染图像时，可以针对投影方向上的一个像素点确定一条3D场景中垂直指向该像素的投影线，然后在显式密度分布矩阵中作同样角度与位置的投影线作为目标投影线，读取目标投影线上各体素点的密度分布，然后基于各体素点的密度分布确定采样点并进行采样。
可以理解的是，在基于各体素点的密度分布确定投影方向的采样点时，使得分布在体素密度较大处的采样点更密集，在体素密度较小处的采样点更稀疏，进而完成采样过程。
基于上述任一实施例，目标投影线是基于如下步骤确定的：
对3D场景进行归一化处理；
从归一化处理后的3D场景中确定一条垂直指向投影方向的像素点的投影线作为目标投影线。
具体地，在对3D场景进行归一化处理后，可以使得3D场景中的各数据的绝对值变成某种相对值关系，进而简化计算，缩小量值。
在对3D场景进行归一化处理后，从归一化处理后的3D场景中确定一条垂直指向投影方向的像素点的投影线作为目标投影线，然后可以读取目标投影线上各体素点的密度分布，并基于各体素点的密度分布确定采样点并进行采样，从而可以避免传统方法中需要进行二次采样造成计算量较大且耗时的问题。
基于上述任一实施例，图像渲染模型的损失函数是基于容积渲染图像与多角度目标场景图之间的均值方差确定的。
具体地，容积渲染图像与多角度目标场景图之间的均值方差用于表征容积渲染图像与对应角度的目标场景图之间的差异，差异越大，均值方差越大，表明容积渲染图像与对应角度的目标场景图之间的相似度越低，即损失函数值越大；差异越小，均方差值越小，表明容积渲染图像与对应角度的目标场景图之间的相似度越高，即损失函数值越小。
基于上述任一实施例，本发明提供又一种图像渲染模型训练方法，该方法包括：
对容积渲染模型的初始模型赋予随机初始值，然后可以使用容积渲染方法针对输入的多角度样本场景图对应进行渲染，将渲染好的样本渲染图像与对应角度的样本场景图的均值方差作为代价函数，迭代重建构建样本密度分布矩阵，使得样本密度分布矩阵最终能够以64×64×64的精度显式表达对应角度的样本场景图对应3D场景的体素密度分布状况。
然后，将上一步中基于多角度样本场景图生成的样本密度分布矩阵指导图像渲染模型(如NeRF模型)进行训练和渲染任务中的采样过程。具体地，NeRF模型在采样过程中首先要针对投影方向对应的待渲染图片中的一个像素点确定一条从归一化后的3D场景中垂直指向该像素的投影线，然后确定该投影线上的样本采样点。
其中，在基于样本密度分布矩阵确定样本采样点时，先在样本密度分布矩阵中作同样角度与位置的投影线，读取该投影线上的密度值分布，再依据读取出的投影线密度分布值确定实际NeRF模型对应投影线上的采样点位置分布，使得其分布在体素密度较大处更密集，在体素密度较小处更稀疏，这样就指导完成了NeRF模型的一次投影线采样，依此类推。
NeRF模型依据上一步的方法完成多次采样，再根据采样结果进行渲染，产生的容积渲染图像用于完成图像渲染模型的训练任务。
基于上述任一实施例，本发明提供一种图像渲染方法，如图2所示，该方法包括：
步骤210、确定目标场景对应渲染图像的目标角度；
步骤220、基于图像渲染模型，得到目标角度对应的渲染图像；
其中，图像渲染模型是基于如上任一实施例所述的图像渲染模型训练方法训练得到的。
具体地，在基于容积渲染模型得到容积渲染图像后，由于此时的神经辐射场并未经过训练，此时得到的容积渲染图像是不准确的，因此本发明实施例将这些与多角度目标场景图角度相同的容积渲染图像与真实的输入图像(多角度目标场景图)做对比得到损失函数，收敛该损失函数进行神经辐射场的训练，训练完成后得到图像渲染模型。
在得到训练完成的图像渲染模型后，基于图像渲染模型可以生成任意角度的渲染图像；此处的目标角度可以是任意角度。
下面对本发明提供的图像渲染模型训练装置进行描述，下文描述的图像渲染模型训练装置与上文描述的图像渲染模型训练方法可相互对应参照。
基于上述任一实施例，本发明提供一种图像渲染模型训练装置，如图3所示，该装置包括：
第一确定单元310，用于确定目标场景的多角度目标场景图；
容积渲染单元320，用于将所述多角度目标场景图输入至容积渲染模型，得到所述容积渲染模型输出的容积渲染图像；
模型训练单元330，用于基于所述容积渲染图像以及所述多角度目标场景图，对初始化的具有隐式场景表达能力的神经辐射场进行训练，得到图像渲染模型；
其中，所述容积渲染模型是基于多角度样本场景图训练得到的；所述容积渲染模型先对所述多角度目标场景图进行投影重建，得到用于表征所述目标场景的3D场景密度的显式密度分布矩阵，并基于所述密度分布矩阵确定投影方向的采样点后，基于各采样点中包含有密度与色值的体素特征生成所述容积渲染图像。
基于上述任一实施例，所述容积渲染单元320，包括：
重建单元，用于将所述多角度目标场景图输入至所述容积渲染模型的重建层，由所述重建层对所述多角度目标场景图进行投影重建，得到所述重建层输出的所述显式密度分布矩阵；
采样单元，用于将所述显式密度分布矩阵输入至所述容积渲染模型的采样层，由所述采样层基于所述显式密度分布矩阵确定所述投影方向的采样点，得到所述采样层输出的各采样点的体素特征；
渲染单元，用于将所述各采样点的体素特征输入至所述容积渲染模型的渲染层，由所述渲染层基于所述容积渲染模型的初始参数以及各采样点的体素特征进行容积渲染，得到所述渲染层输出的所述容积渲染图像；所述容积渲染图像与所述多角度目标场景图的角度相同。
基于上述任一实施例，所述装置还包括：
读取单元，用于从所述显式密度分布矩阵上读取目标投影线上各体素点的密度分度，所述目标投影线是基于所述目标场景对应的3D场景以及所述投影方向的像素点确定的；
第一确定单元，用于基于各体素点的密度分布，确定所述采样点。
基于上述任一实施例，所述装置还包括：
处理单元，用于对所述3D场景进行归一化处理；
第二确定单元，用于从归一化处理后的3D场景中确定一条垂直指向所述投影方向的像素点的投影线作为所述目标投影线。
基于上述任一实施例，所述图像渲染模型的损失函数是基于所述容积渲染图像与所述多角度目标场景图之间的均值方差确定的。
基于上述任一实施例，本发明还提供一种图像渲染装置，如图4所示，该装置包括：
第二确定单元410，用于确定目标场景对应渲染图像的目标角度；
图像渲染单元420，用于基于所述图像渲染模型，得到所述目标角度对应的渲染图像；
其中，所述图像渲染模型是基于如上任一实施例所述的图像渲染模型训练方法训练得到的。
图5是本发明提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、存储器(memory)520、通信接口(Communications Interface)530和通信总线540，其中，处理器510，存储器520，通信接口530通过通信总线540完成相互间的通信。处理器510可以调用存储器520中的逻辑指令，以执行图像渲染模型训练方法，该方法包括：确定目标场景的多角度目标场景图；将所述多角度目标场景图输入至容积渲染模型，得到所述容积渲染模型输出的容积渲染图像；基于所述容积渲染图像以及所述多角度目标场景图，对初始化的具有隐式场景表达能力的神经辐射场进行训练，得到图像渲染模型；其中，所述容积渲染模型是基于多角度样本场景图训练得到的；所述容积渲染模型先对所述多角度目标场景图进行投影重建，得到用于表征所述目标场景的3D场景密度的显式密度分布矩阵，并基于所述密度分布矩阵确定投影方向的采样点后，基于各采样点中包含有密度与色值的体素特征生成所述容积渲染图像。
和/或，以执行图像渲染方法，该方法包括：确定待渲染场景的多角度场景图；将所述多角度场景图输入至图像渲染模型，得到所述图像渲染模型输出的目标角度渲染图像；其中，所述图像渲染模型是基于如上所述的图像渲染模型训练方法训练得到的。
此外，上述的存储器520中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的
图像渲染模型训练方法，该方法包括：确定目标场景的多角度目标场景图；将所述多角度目标场景图输入至容积渲染模型，得到所述容积渲染模型输出的容积渲染图像；基于所述容积渲染图像以及所述多角度目标场景图，对初始化的具有隐式场景表达能力的神经辐射场进行训练，得到图像渲染模型；其中，所述容积渲染模型是基于多角度样本场景图训练得到的；所述容积渲染模型先对所述多角度目标场景图进行投影重建，得到用于表征所述目标场景的3D场景密度的显式密度分布矩阵，并基于所述密度分布矩阵确定投影方向的采样点后，基于各采样点中包含有密度与色值的体素特征生成所述容积渲染图像。
和/或，以执行图像渲染方法，该方法包括：确定待渲染场景的多角度场景图；将所述多角度场景图输入至图像渲染模型，得到所述图像渲染模型输出的目标角度渲染图像；其中，所述图像渲染模型是基于如上所述的图像渲染模型训练方法训练得到的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的
图像渲染模型训练方法，该方法包括：确定目标场景的多角度目标场景图；将所述多角度目标场景图输入至容积渲染模型，得到所述容积渲染模型输出的容积渲染图像；基于所述容积渲染图像以及所述多角度目标场景图，对初始化的具有隐式场景表达能力的神经辐射场进行训练，得到图像渲染模型；其中，所述容积渲染模型是基于多角度样本场景图训练得到的；所述容积渲染模型先对所述多角度目标场景图进行投影重建，得到用于表征所述目标场景的3D场景密度的显式密度分布矩阵，并基于所述密度分布矩阵确定投影方向的采样点后，基于各采样点中包含有密度与色值的体素特征生成所述容积渲染图像。
和/或，以执行图像渲染方法，该方法包括：确定待渲染场景的多角度场景图；将所述多角度场景图输入至图像渲染模型，得到所述图像渲染模型输出的目标角度渲染图像；其中，所述图像渲染模型是基于如上所述的图像渲染模型训练方法训练得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种图像渲染模型训练方法，其特征在于，包括：
确定目标场景的多角度目标场景图；
将所述多角度目标场景图输入至容积渲染模型，得到所述容积渲染模型输出的容积渲染图像；
基于所述容积渲染图像以及所述多角度目标场景图，对初始化的具有隐式场景表达能力的神经辐射场进行训练，得到图像渲染模型；
其中，所述容积渲染模型是基于多角度样本场景图训练得到的；所述容积渲染模型先对所述多角度目标场景图进行投影重建，得到用于表征所述目标场景的3D场景密度的显式密度分布矩阵，并基于所述密度分布矩阵确定投影方向的采样点后，基于各采样点中包含有密度与色值的体素特征生成所述容积渲染图像。
2.根据权利要求1所述的图像渲染模型训练方法，其特征在于，所述将所述多角度目标场景图输入至容积渲染模型，得到所述容积渲染模型输出的容积渲染图像，包括：
将所述多角度目标场景图输入至所述容积渲染模型的重建层，由所述重建层对所述多角度目标场景图进行投影重建，得到所述重建层输出的所述显式密度分布矩阵；
将所述显式密度分布矩阵输入至所述容积渲染模型的采样层，由所述采样层基于所述显式密度分布矩阵确定所述投影方向的采样点，得到所述采样层输出的各采样点的体素特征；
将所述各采样点的体素特征输入至所述容积渲染模型的渲染层，由所述渲染层基于所述容积渲染模型的初始参数以及各采样点的体素特征进行容积渲染，得到所述渲染层输出的所述容积渲染图像；所述容积渲染图像与所述多角度目标场景图的角度相同。
3.根据权利要求1所述的图像渲染模型训练方法，其特征在于，所述采样点是基于如下步骤确定的：
从所述显式密度分布矩阵上读取目标投影线上各体素点的密度分度，所述目标投影线是基于所述目标场景对应的3D场景以及所述投影方向的像素点确定的；
基于各体素点的密度分布，确定所述采样点。
4.根据权利要求3所述的图像渲染模型训练方法，其特征在于，所述目标投影线是基于如下步骤确定的：
对所述3D场景进行归一化处理；
从归一化处理后的3D场景中确定一条垂直指向所述投影方向的像素点的投影线作为所述目标投影线。
5.根据权利要求1至4任一项所述的图像渲染模型训练方法，其特征在于，所述图像渲染模型的损失函数是基于所述容积渲染图像与所述多角度目标场景图之间的均值方差确定的。
6.一种图像渲染方法，其特征在于，包括：
确定目标场景对应渲染图像的目标角度；
基于所述图像渲染模型，得到所述目标角度对应的渲染图像；
其中，所述图像渲染模型是基于权利要求1至5任一项所述的图像渲染模型训练方法训练得到的。
7.一种图像渲染模型训练装置，其特征在于，包括：
第一确定单元，用于确定目标场景的多角度目标场景图；
容积渲染单元，用于将所述多角度目标场景图输入至容积渲染模型，得到所述容积渲染模型输出的容积渲染图像；
模型训练单元，用于基于所述容积渲染图像以及所述多角度目标场景图，对初始化的具有隐式场景表达能力的神经辐射场进行训练，得到图像渲染模型；
其中，所述容积渲染模型是基于多角度样本场景图训练得到的；所述容积渲染模型先对所述多角度目标场景图进行投影重建，得到用于表征所述目标场景的3D场景密度的显式密度分布矩阵，并基于所述密度分布矩阵确定投影方向的采样点后，基于各采样点中包含有密度与色值的体素特征生成所述容积渲染图像。
8.一种图像渲染装置，其特征在于，包括：
第二确定单元，用于确定目标场景对应渲染图像的目标角度；
图像渲染单元，用于基于所述图像渲染模型，得到所述目标角度对应的渲染图像；
其中，所述图像渲染模型是基于权利要求1至5任一项所述的图像渲染模型训练方法训练得到的。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述图像渲染模型训练方法的步骤，和/或，所述处理器执行所述程序时实现如权利要求6所述图像渲染方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述图像渲染模型训练方法的步骤，和/或，所述计算机程序被处理器执行时实现如权利要求6所述图像渲染方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111308327.1A CN113888689A (zh) | 2021-11-05 | 2021-11-05 | 图像渲染模型训练、图像渲染方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111308327.1A CN113888689A (zh) | 2021-11-05 | 2021-11-05 | 图像渲染模型训练、图像渲染方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113888689A true CN113888689A (zh) | 2022-01-04 |
Family
ID=79016684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111308327.1A Pending CN113888689A (zh) | 2021-11-05 | 2021-11-05 | 图像渲染模型训练、图像渲染方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113888689A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114119838A (zh) * | 2022-01-24 | 2022-03-01 | 阿里巴巴（中国）有限公司 | 体素模型与图像生成方法、设备及存储介质 |
| CN114663603A (zh) * | 2022-05-24 | 2022-06-24 | 成都索贝数码科技股份有限公司 | 一种基于神经辐射场的静态对象三维网格模型生成方法 |
| CN114926553A (zh) * | 2022-05-12 | 2022-08-19 | 中国科学院计算技术研究所 | 基于神经辐射场的三维场景一致性风格化方法及系统 |
| CN115049783A (zh) * | 2022-05-20 | 2022-09-13 | 支付宝(杭州)信息技术有限公司 | 模型的确定方法、场景重建模型、介质、设备及产品 |
| CN115243025A (zh) * | 2022-09-21 | 2022-10-25 | 深圳市明源云科技有限公司 | 三维渲染方法、装置、终端设备以及存储介质 |
| CN115578707A (zh) * | 2022-10-25 | 2023-01-06 | 上海壁仞智能科技有限公司 | 目标识别方法、装置、电子设备及存储介质 |
| CN115731336A (zh) * | 2023-01-06 | 2023-03-03 | 粤港澳大湾区数字经济研究院(福田) | 图像渲染方法、图像渲染模型生成方法及相关装置 |
| WO2023138471A1 (zh) * | 2022-01-24 | 2023-07-27 | 阿里巴巴（中国）有限公司 | 三维场景渲染方法、设备以及存储介质 |
| CN117036581A (zh) * | 2023-10-09 | 2023-11-10 | 易方信息科技股份有限公司 | 基于二维神经渲染的体渲染方法、系统、设备及介质 |
| WO2024031251A1 (zh) * | 2022-08-08 | 2024-02-15 | 北京原创力科技有限公司 | 在NeRF三维场景重建中嵌入2D/3D视频的体积渲染方法及系统 |
-
2021
- 2021-11-05 CN CN202111308327.1A patent/CN113888689A/zh active Pending
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023138471A1 (zh) * | 2022-01-24 | 2023-07-27 | 阿里巴巴（中国）有限公司 | 三维场景渲染方法、设备以及存储介质 |
| CN114119838B (zh) * | 2022-01-24 | 2022-07-22 | 阿里巴巴（中国）有限公司 | 体素模型与图像生成方法、设备及存储介质 |
| CN114119838A (zh) * | 2022-01-24 | 2022-03-01 | 阿里巴巴（中国）有限公司 | 体素模型与图像生成方法、设备及存储介质 |
| CN114926553A (zh) * | 2022-05-12 | 2022-08-19 | 中国科学院计算技术研究所 | 基于神经辐射场的三维场景一致性风格化方法及系统 |
| CN115049783A (zh) * | 2022-05-20 | 2022-09-13 | 支付宝(杭州)信息技术有限公司 | 模型的确定方法、场景重建模型、介质、设备及产品 |
| CN115049783B (zh) * | 2022-05-20 | 2024-04-02 | 支付宝(杭州)信息技术有限公司 | 模型的确定方法、场景重建模型、介质、设备及产品 |
| CN114663603A (zh) * | 2022-05-24 | 2022-06-24 | 成都索贝数码科技股份有限公司 | 一种基于神经辐射场的静态对象三维网格模型生成方法 |
| WO2024031251A1 (zh) * | 2022-08-08 | 2024-02-15 | 北京原创力科技有限公司 | 在NeRF三维场景重建中嵌入2D/3D视频的体积渲染方法及系统 |
| CN115243025A (zh) * | 2022-09-21 | 2022-10-25 | 深圳市明源云科技有限公司 | 三维渲染方法、装置、终端设备以及存储介质 |
| CN115243025B (zh) * | 2022-09-21 | 2023-01-24 | 深圳市明源云科技有限公司 | 三维渲染方法、装置、终端设备以及存储介质 |
| CN115578707A (zh) * | 2022-10-25 | 2023-01-06 | 上海壁仞智能科技有限公司 | 目标识别方法、装置、电子设备及存储介质 |
| CN115731336B (zh) * | 2023-01-06 | 2023-05-16 | 粤港澳大湾区数字经济研究院(福田) | 图像渲染方法、图像渲染模型生成方法及相关装置 |
| CN115731336A (zh) * | 2023-01-06 | 2023-03-03 | 粤港澳大湾区数字经济研究院(福田) | 图像渲染方法、图像渲染模型生成方法及相关装置 |
| CN117036581A (zh) * | 2023-10-09 | 2023-11-10 | 易方信息科技股份有限公司 | 基于二维神经渲染的体渲染方法、系统、设备及介质 |
| CN117036581B (zh) * | 2023-10-09 | 2024-02-13 | 易方信息科技股份有限公司 | 基于二维神经渲染的体渲染方法、系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113888689A (zh) | 图像渲染模型训练、图像渲染方法及装置 | |
| CN111488865B (zh) | 图像优化方法、装置、计算机存储介质以及电子设备 | |
| CN114493995A (zh) | 图像渲染模型训练、图像渲染方法及装置 | |
| CN111105424A (zh) | 淋巴结自动勾画方法及装置 | |
| CN111553858B (zh) | 基于生成对抗网络的图像修复方法、系统及其应用 | |
| CN115690708A (zh) | 基于跨模态知识蒸馏训练三维目标检测模型的方法和装置 | |
| CN115147709B (zh) | 一种基于深度学习的水下目标三维重建方法 | |
| CN115330940B (zh) | 一种三维重建方法、装置、设备和介质 | |
| CN111524216A (zh) | 生成三维人脸数据的方法和装置 | |
| CN116416376A (zh) | 一种三维头发的重建方法、系统、电子设备及存储介质 | |
| CN116091686A (zh) | 用于三维重建的方法、系统和存储介质 | |
| CN115546270A (zh) | 多尺度特征融合的图像配准方法、模型训练方法及设备 | |
| CN116402976A (zh) | 三维目标检测模型训练方法及装置 | |
| CN115375839A (zh) | 一种基于深度学习的多视角头发建模方法及系统 | |
| CN118115659A (zh) | 多视图三维重建方法、装置、电子设备及存储介质 | |
| CN114787867A (zh) | 用于医学图像配准的器官变形补偿 | |
| CN117372607A (zh) | 一种三维模型的生成方法、装置及电子设备 | |
| CN109872353A (zh) | 基于改进迭代最近点算法的白光数据与ct数据配准方法 | |
| CN116758214A (zh) | 遥感图像的三维建模方法、装置、电子设备及存储介质 | |
| CN113066165B (zh) | 多阶段无监督学习的三维重建方法、装置和电子设备 | |
| CN115409949A (zh) | 模型训练方法、视角图像生成方法、装置、设备及介质 | |
| CN115908515A (zh) | 影像配准方法、影像配准模型的训练方法及装置 | |
| Titarenko et al. | Study of the ability of neural networks to extract and use semantic information when they are trained to reconstruct noisy images | |
| CN117252914A (zh) | 深度估计网络的训练方法、装置、电子设备及存储介质 | |
| CN109587469B (zh) | 基于人工智能识别的影像处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: 201114 room 1302, 13 / F, building 16, 2388 Chenhang Road, Minhang District, Shanghai Applicant after: Shanghai Bi Ren Technology Co.,Ltd. Address before: 201114 room 1302, 13 / F, building 16, 2388 Chenhang Road, Minhang District, Shanghai Applicant before: Shanghai Bilin Intelligent Technology Co.,Ltd. Country or region before: China |
|
| CB02 | Change of applicant information |