Nothing Special   »   [go: up one dir, main page]

CN112102477A - 三维模型重建方法、装置、计算机设备和存储介质 - Google Patents

三维模型重建方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112102477A
CN112102477A CN202010969615.0A CN202010969615A CN112102477A CN 112102477 A CN112102477 A CN 112102477A CN 202010969615 A CN202010969615 A CN 202010969615A CN 112102477 A CN112102477 A CN 112102477A
Authority
CN
China
Prior art keywords
feature map
image
target
feature
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010969615.0A
Other languages
English (en)
Other versions
CN112102477B (zh
Inventor
赵艳丹
林书恒
曹煊
葛彦昊
汪铖杰
曹玮剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010969615.0A priority Critical patent/CN112102477B/zh
Publication of CN112102477A publication Critical patent/CN112102477A/zh
Priority to PCT/CN2021/112089 priority patent/WO2022057526A1/zh
Priority to EP21868354.8A priority patent/EP4109412A4/en
Priority to US17/976,259 priority patent/US20230048906A1/en
Application granted granted Critical
Publication of CN112102477B publication Critical patent/CN112102477B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种三维模型重建方法、装置、计算机设备和存储介质。所述三维模型重建方法包括：获取输入图像的图像特征系数；根据所述图像特征系数，分别获取所述输入图像基于纹理和形状的全局特征图和初始局部特征图；对所述初始局部特征图进行边缘平滑处理，得到目标局部特征图；分别基于纹理和形状，对所述全局特征图和所述目标局部特征图进行拼接，得到目标纹理图像和目标形状图像；根据所述目标纹理图像和所述目标形状图像进行三维模型重建处理，得到目标三维模型。上述方案通过对局部特征图进行边缘平滑处理，不容易产生图像畸变，能重建得到边缘平滑的目标三维模型。

Description

三维模型重建方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种三维模型重建方法、装置、计算机设备和存储介质，以及，三维重建模型的训练方法、装置、计算机设备和存储介质。
背景技术
随着图像处理技术的发展，出现了2D(2-dimension，二维)图像处理、3D(3-dimension，三维)模型重建等人工智能技术，例如，根据输入的人脸图像重建新的人脸3D模型等。
传统技术获取输入图像的形状图、纹理图等，并根据所获取的形状图、纹理图等重建得到三维模型。但是，传统技术所获取的形状图和纹理图容易出现畸变，导致重建的三维模型不准确。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
基于此，有必要针对上述技术问题，提供一种能够减少图像畸变的三维模型重建方法、装置、计算机设备和存储介质，以及，三维重建模型的训练方法、装置、计算机设备和存储介质。
一种三维模型重建方法，所述方法包括：获取输入图像的图像特征系数；根据所述图像特征系数，分别获取所述输入图像基于纹理和形状的全局特征图和初始局部特征图；对所述初始局部特征图进行边缘平滑处理，得到目标局部特征图；分别基于纹理和形状，对所述全局特征图和所述目标局部特征图进行拼接，得到目标纹理图像和目标形状图像；根据所述目标纹理图像和所述目标形状图像进行三维模型重建处理，得到目标三维模型。
一种三维重建模型的训练方法，所述方法包括：获取训练图像的图像特征系数和渲染系数；将所述图像特征系数输入至基于深度学习的三维重建模型中，以使所述三维重建模型：根据所述图像特征系数，分别获取所述训练图像基于纹理和形状的全局特征图和初始局部特征图，对所述初始局部特征图进行边缘平滑处理，得到目标局部特征图；分别基于纹理和形状，对所述全局特征图和所述目标局部特征图进行拼接，得到目标纹理图像和目标形状图像；根据所述目标纹理图像和所述目标形状图像进行三维模型重建处理，得到预测三维模型；根据所述渲染系数对所述预测三维模型进行图像渲染处理，得到预测二维图像；根据所述训练图像和所述预测二维图像的误差对所述三维重建模型进行训练，直到满足收敛条件，得到已训练的三维重建模型。
在一个实施例中，所述获取训练图像的图像特征系数和渲染系数，包括：通过卷积自编码器对所述训练图像进行逐层卷积处理；所述卷积自编码器包括解码器和编码器；由所述解码器根据逐层卷积处理的结果得到所述训练图像的纹理特征系数和形状特征系数，作为所述图像特征系数；由所述编码器根据逐层卷积处理的结果得到所述训练图像的扭转系数和光照系数，作为所述渲染系数。
一种三维模型重建装置，所述装置包括：第一系数获取模块，用于获取输入图像的图像特征系数；特征图获取模块，用于根据所述图像特征系数，分别获取所述输入图像基于纹理和形状的全局特征图和初始局部特征图；平滑处理模块，用于对所述初始局部特征图进行边缘平滑处理，得到目标局部特征图；特征图拼接模块，用于分别基于纹理和形状，对所述全局特征图和所述目标局部特征图进行拼接，得到目标纹理图像和目标形状图像；第一模型重建模块，用于根据所述目标纹理图像和所述目标形状图像进行三维模型重建处理，得到目标三维模型。
在一个实施例中，平滑处理模块，包括：边界获取子模块，用于获取所述初始局部特征图的边界；距离获取子模块，用于获取所述初始局部特征图中各个像素点与所述边界之间的距离；第一边缘平滑子模块，用于根据所述距离对所述初始局部特征图进行边缘平滑处理，得到所述目标局部特征图。
在一个实施例中，第一边缘平滑子模块，包括：边缘区域获取单元，用于根据所述距离获取所述初始局部特征图的边缘区域；权重值确定单元，用于根据所述距离确定所述边缘区域的各个像素点对应的特征权重值，以使远距离像素点对应的特征权重值大于近距离像素点对应的特征权重值；特征图构建单元，用于根据所述特征权重值生成渐变平滑特征图；所述渐变平滑特征图中各个像素点的特征值根据所述特征权重值得到；特征值相乘单元，用于将所述渐变平滑特征图中各个像素点的特征值和所述初始局部特征图中对应像素点的特征值进行相乘，根据相乘结果得到所述目标局部特征图。
在一个实施例中，所述输入图像为脸部图像；所述目标局部特征图包括脸部关键部位对应的关键部位特征图；特征图拼接模块，包括：填充子模块，用于分别对各个关键部位特征图的外部区域进行特征值填充，以得到与所述全局特征图尺寸相同的填充关键部位特征图；合并子模块，用于将各个所述填充关键部位特征图进行合并，得到脸部器官特征图；拼接子模块，用于分别基于纹理和形状，对所述全局特征图和所述脸部器官特征图进行拼接，得到所述目标纹理图像和所述目标形状图像。
在一个实施例中，所述脸部关键部位包括左眼、右眼、鼻子、嘴部中的至少一项。
在一个实施例中，所述全局特征图包括全局纹理特征图和全局形状特征图，所述目标局部特征图包括局部纹理特征图和局部形状特征图；特征图拼接模块，包括：纹理卷积子模块，用于对所述全局纹理特征图和局部纹理特征图进行拼接，对拼接得到的特征图进行卷积以对全局纹理特征和局部纹理特征进行整合，得到所述目标纹理图像；形状卷积子模块，用于对所述全局形状特征图和局部形状特征图进行拼接，对拼接得到的特征图进行卷积以对全局形状特征和局部形状特征进行整合，得到所述目标形状图像。
在一个实施例中，所述全局特征图和所述目标局部特征图均对应有至少一个特征通道；纹理卷积子模块，还用于在各个所述特征通道内对所述全局纹理特征图和所述局部纹理特征图进行拼接，对各个所述特征通道拼接得到的特征图进行卷积以对全局纹理特征和局部纹理特征进行整合，得到所述目标纹理图像；形状卷积子模块，还用于在各个所述特征通道内对所述全局形状特征图和所述局部形状特征图进行拼接，对各个所述特征通道拼接得到的特征图进行卷积以对全局形状特征和局部形状特征进行整合，得到所述目标形状图像。
在一个实施例中，第一系数获取模块，包括：卷积子模块，用于通过卷积自编码器对所述输入图像进行逐层卷积处理；特征系数获取子模块，用于根据逐层卷积处理的结果得到所述输入图像的纹理特征系数和形状特征系数，作为所述图像特征系数。
在一个实施例中，特征图获取模块，包括：全局解码子模块，用于由全局解码器中的反卷积层根据所述图像特征系数对所述输入图像进行特征解码，得到所述全局特征图；局部解码子模块，用于由局部解码器中的反卷积层根据所述图像特征系数对所述输入图像进行特征解码，得到所述初始局部特征图。
在一个实施例中，所述局部解码器包括脸部关键部位解码器；局部解码子模块，还用于由所述脸部关键部位解码器中的反卷积层，根据所述图像特征系数对所述输入图像进行特征解码，将解码得到的关键部位特征图确定为所述初始局部特征图。
在一个实施例中，所述输入图像为脸部图像；所述装置，还包括：目标特征点获取模块，用于获取所述目标三维模型对应的二维图像的全局特征点，得到目标特征点；模板模型获取模块，用于获取模板三维模型；模板特征点获取模块，用于获取所述模板三维模型对应的二维图像的局部特征点，得到模板特征点；换脸模块，用于将所述目标特征点和所述模板特征点作为成对数据输入到换脸模型中，以使所述换脸模型输出已换脸三维模型；所述已换脸三维模型包含所述目标三维模型中的全局特征且包含所述模板三维模型中的局部特征。
在一个实施例中，模板模型获取模块，包括：模板图像获取子模块，用于获取预设的模板脸部图像；模板特征图获取子模块，用于获取所述模板脸部图像基于纹理和形状的模板全局特征图和初始模板局部特征图；第二边缘平滑子模块，用于对所述初始模板局部特征图进行边缘平滑处理，得到目标模板局部特征图；特征图拼接子模块，用于分别基于纹理和形状，对所述模板全局特征图和所述目标模板局部特征图进行拼接，得到模板脸部纹理图像和模板脸部形状图像；模板三维模型重建子模块，用于根据所述模板脸部纹理图像和所述模板脸部形状图像进行三维模型重建处理，得到所述模板三维模型。
一种三维重建模型的训练装置，所述装置包括：第二系数获取模块，用于获取训练图像的图像特征系数和渲染系数；第二模型重建模块，用于将所述图像特征系数输入至基于深度学习的三维重建模型中，以使所述三维重建模型：根据所述图像特征系数，分别获取所述训练图像基于纹理和形状的全局特征图和初始局部特征图，对所述初始局部特征图进行边缘平滑处理，得到目标局部特征图；分别基于纹理和形状，对所述全局特征图和所述目标局部特征图进行拼接，得到目标纹理图像和目标形状图像；根据所述目标纹理图像和所述目标形状图像进行三维模型重建处理，得到预测三维模型；图像渲染模块，用于根据所述渲染系数对所述预测三维模型进行图像渲染处理，得到预测二维图像；重建模型训练模块，用于根据所述训练图像和所述预测二维图像的误差对所述三维重建模型进行训练，直到满足收敛条件，得到已训练的三维重建模型。
在一个实施例中，第二系数获取模块，包括：逐层卷积子模块，用于通过卷积自编码器对所述训练图像进行逐层卷积处理；所述卷积自编码器包括解码器和编码器；图像特征系数获取子模块，用于由所述解码器根据逐层卷积处理的结果得到所述训练图像的纹理特征系数和形状特征系数，作为所述图像特征系数；渲染系数获取子模块，用于由所述编码器根据逐层卷积处理的结果得到所述训练图像的扭转系数和光照系数，作为所述渲染系数。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取输入图像的图像特征系数；根据所述图像特征系数，分别获取所述输入图像基于纹理和形状的全局特征图和初始局部特征图；对所述初始局部特征图进行边缘平滑处理，得到目标局部特征图；分别基于纹理和形状，对所述全局特征图和所述目标局部特征图进行拼接，得到目标纹理图像和目标形状图像；根据所述目标纹理图像和所述目标形状图像进行三维模型重建处理，得到目标三维模型。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取训练图像的图像特征系数和渲染系数；将所述图像特征系数输入至基于深度学习的三维重建模型中，以使所述三维重建模型：根据所述图像特征系数，分别获取所述训练图像基于纹理和形状的全局特征图和初始局部特征图，对所述初始局部特征图进行边缘平滑处理，得到目标局部特征图；分别基于纹理和形状，对所述全局特征图和所述目标局部特征图进行拼接，得到目标纹理图像和目标形状图像；根据所述目标纹理图像和所述目标形状图像进行三维模型重建处理，得到预测三维模型；根据所述渲染系数对所述预测三维模型进行图像渲染处理，得到预测二维图像；根据所述训练图像和所述预测二维图像的误差对所述三维重建模型进行训练，直到满足收敛条件，得到已训练的三维重建模型。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取输入图像的图像特征系数；根据所述图像特征系数，分别获取所述输入图像基于纹理和形状的全局特征图和初始局部特征图；对所述初始局部特征图进行边缘平滑处理，得到目标局部特征图；分别基于纹理和形状，对所述全局特征图和所述目标局部特征图进行拼接，得到目标纹理图像和目标形状图像；根据所述目标纹理图像和所述目标形状图像进行三维模型重建处理，得到目标三维模型。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取训练图像的图像特征系数和渲染系数；将所述图像特征系数输入至基于深度学习的三维重建模型中，以使所述三维重建模型：根据所述图像特征系数，分别获取所述训练图像基于纹理和形状的全局特征图和初始局部特征图，对所述初始局部特征图进行边缘平滑处理，得到目标局部特征图；分别基于纹理和形状，对所述全局特征图和所述目标局部特征图进行拼接，得到目标纹理图像和目标形状图像；根据所述目标纹理图像和所述目标形状图像进行三维模型重建处理，得到预测三维模型；根据所述渲染系数对所述预测三维模型进行图像渲染处理，得到预测二维图像；根据所述训练图像和所述预测二维图像的误差对所述三维重建模型进行训练，直到满足收敛条件，得到已训练的三维重建模型。
上述三维模型重建方法、装置、计算机设备和存储介质，以及，三维重建模型的训练方法、装置、计算机设备和存储介质，根据图像特征系数，分别获取输入图像基于纹理和形状的全局特征图和初始局部特征图；对初始局部特征图进行边缘平滑处理，得到目标局部特征图，该目标局部特征图的边缘区域处于平滑状态；分别基于纹理和形状，对全局特征图和目标局部特征图进行拼接，得到边缘平滑的目标纹理图像和目标形状图像；根据目标纹理图像和目标形状图像重建得到的目标三维模型不容易产生畸变。
附图说明
图1为一个实施例中三维模型重建方法的应用环境图；
图2为一个实施例中三维模型重建方法的流程示意图；
图3为一个实施例中纹理图像边缘不连续的示意图；
图4为另一个实施例中纹理图像边缘不连续的示意图；
图5为一个实施例中形状图像边缘不连续的示意图；
图6为一个实施例中渐变平滑特征图的结构示意图；
图7为一个实施例中渐变平滑处理的效果示意图；
图8为一个实施例中关键部位特征图的特征值填充和合并的效果示意图；
图9为一个实施例中得到目标脸部器官特征图的过程示意图；
图10为一个实施例中多特征通道的特征图处理流程；
图11为一个实施例中卷积自编码器的结构示意图；
图12为一个实施例中得到已换脸图像的过程示意图；
图13为另一个实施例中三维模型重建方法的流程示意图；
图14为一个实施例中2D纹理图的对比图；
图15为一个实施例中2D纹理图的边缘效果对比图；
图16为一个实施例中2D形状图的对比图；
图17为一个实施例中三维重建模型的训练方法的流程示意图；
图18为另一个实施例中三维重建模型的训练方法的流程示意图；
图19为一个实施例中三维模型重建装置的结构框图；
图20为另一个实施例中三维重建模型的训练装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的三维模型重建方法、装置、计算机设备和存储介质，以及，三维重建模型的训练方法、装置、计算机设备和存储介质，可以基于人工智能(ArtificialIntelligence，AI)技术实现。其中，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
具体的，本申请的各个实施例可以基于计算机视觉技术(Computer Vision，CV)实现。其中，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical CharacterRecognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
另外，本申请的各个实施例可以应用于人工智能云服务。所谓人工智能云服务，一般也被称作是AIaaS(AI as a Service，中文为“AI即服务”)。这是目前主流的一种人工智能平台的服务方式，具体来说AIaaS平台会把几类常见的AI服务进行拆分，并在云端提供独立或者打包的服务。这种服务模式类似于开了一个AI主题商城：所有的开发者都可以通过API(Application Programming Interface，应用程序接口)接口的方式来接入使用平台提供的一种或者是多种人工智能服务，例如，对输入图像进行三维重建并以二维形式输出，部分资深的开发者还可以使用平台提供的AI框架和AI基础设施来部署和运维自己专属的云人工智能服务。
本申请提供的三维模型重建方法和三维重建模型的训练方法，均可以应用于如图1所示的计算机设备中，该计算机设备可以是终端，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI(Wireless Fidelity，无线保真)、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种三维模型重建方法或三维重建模型的训练方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，可以用于对目标三维模型进行输出。该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等，该输入装置可以用于接收输入图像或者训练图像。
本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种三维模型重建方法，该三维模型重建方法能够基于三维重建模型(可以是基于深度学习的神经网络，该三维重建模型能够基于输入图像重建得到三维模型)实现。本实施例以该方法应用于图1中的终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接的连接，本申请在此不做限制。
具体地，如图2所示，该方法包括以下步骤：
S201，获取输入图像的图像特征系数。
其中，输入图像可以是包含各种类型的对象的图像，例如是人脸图像、动物图像、建筑物图像等。在一个实施例中，输入图像可以由全局特征和局部特征构成，以人脸图像为例，全局特征可以是整张脸的粗略特征，局部特征可以是脸部器官(例如：眼睛、鼻子、嘴巴、耳朵等)的细节特征。另外，输入图像可以是一张图像也可以是包含不同信息的多张图像，当输入图像为多张时，可以通过同步或异步的方式对这些输入图像进行处理，并分别重建得到对应的多个目标三维模型。
在一个实施例中，图像对应的特征(可以称为图像特征)可以是图像的颜色特征、纹理特征(纹理特征是一种反映图像中同质现象的视觉特征，它体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性)、形状特征(可以包括轮廓特征和区域特征，其中，轮廓特征主要针对物体的外边界，区域特征则关系到整个形状区域)和空间关系特征(可以指图像中物体之间的排布关系)等。图像特征系数可以是表征图像特征的系数，可以是描述图像全局、局部、纹理、形状等特征的系数。在一个实施例中，图像特征系数可以是纹理特征系数、形状特征系数等。其中，纹理特征系数可以指对纹理特征进行描述的系数，具体的，可以是描述图像的表面结构组织排列属性的系数；形状特征系数可以指对形状特征进行描述的系数，具体的，可以是对图像轮廓、图像区域等进行描述系数。
在一个实施例中，获取输入图像的图像特征系数可以通过基于深度学习的网络模型实现。具体的，该网络模型可以是自编码器等。其中，深度学习(DL，Deep Learning)是机器学习(ML，Machine Learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。同时，深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如图像等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别图像等数据。
S202，根据所述图像特征系数，分别获取所述输入图像基于纹理和形状的全局特征图和初始局部特征图。
其中，全局特征图可以是用于描述输入图像全局信息的特征图，全局特征图能表征整体的图像信息，其尺寸可以和输入图像一样也可以小于输入图像，其关注图像的整体性，对噪声鲁棒性较强。局部特征图可以是用于描述输入图像局部信息的特征图，可以是至少一个局部区域对应的特征图，局部特征图的尺寸可以小于或等于全局特征图，局部特征图所关注的区域更小，旨在生成更多的细节。在一个实施例中，以脸部图像为例，全局特征图可以是表征整体脸部情况的脸部全局特征图，该脸部全局特征图包含有模糊的整体脸部信息，局部特征图可以是表征眼睛、嘴巴、鼻子、耳朵、头发、眉毛等局部区域情况的关键部位特征图，这个关键部位特征图包含有清晰的局部区域细节信息，例如：眼睛的位置、轮廓、眼球大小、瞳孔颜色等。
在一个实施例中，基于纹理的全局特征图可以为全局纹理特征图，基于形状的全局特征图可以为全局形状特征图；基于纹理的初始局部特征图可以为初始局部纹理特征图，基于形状的初始局部特征图可以为初始局部形状特征图。在一个实施例中，可以根据纹理特征系数获取输入图像的全局纹理特征图和初始局部纹理特征图，根据形状特征系数获取输入图像的全局形状特征图和初始局部形状特征图。
S203，对所述初始局部特征图进行边缘平滑处理，得到目标局部特征图。
本步骤对初始局部特征图进行边缘平滑处理，边缘平滑处理之后得到的图像作为目标局部特征图。具体的，可以是分别对初始局部纹理特征图和初始局部形状特征图进行边缘平滑处理，得到目标局部纹理特征图和目标局部形状特征图，作为该目标局部特征图。
其中，边缘平滑处理可以指对图像的边缘区域进行平滑处理。该平滑处理可以是进行特征值的渐变处理，例如，按照一定方向使得图像的颜色通道值逐步减小。
另外，本发明实施例可以通过一个双分支的局部细节增强(Global-local)模型实现对全局和局部特征的处理。局部细节增强模型接收到输入图像后，一条支路回归全局信息(全局特征图)，一条支路回归局部信息(局部特征图)。需要注意的是，一般需要将全局特征图和局部特征图拼接(特征图拼接的过程见S204)后才能得到包含完整信息的目标图像。
S204，分别基于纹理和形状，对所述全局特征图和所述目标局部特征图进行拼接，得到目标纹理图像和目标形状图像。
其中，目标纹理图像为整合了全局纹理特征和局部纹理特征得到的纹理图像，目标形状图像为整合了全局形状特征和局部形状特征得到的形状图像。目标纹理图像和目标形状图像均可以为二维图像。
本步骤对全局特征图和目标局部特征图进行拼接，可以得到包含全局特征和局部特征的目标图像，该目标图形包括目标纹理图像和目标形状图像。在一个实施例中，本步骤基于纹理对全局特征图和目标局部特征图进行拼接得到目标纹理图像，基于形状对全局特征图和目标局部特征图进行拼接得到目标形状图像。
在某些实施例中，可以对全局特征图也进行边缘平滑处理，并对边缘平滑处理之后的全局特征图与目标局部特征图进行拼接，得到对应的目标纹理图像和目标形状图像。
S205，根据所述目标纹理图像和所述目标形状图像进行三维模型重建处理，得到目标三维模型。
其中，三维模型指的是包含物体表面每个采样点的三维空间坐标的数字模型文件。
S205的实现过程可以是：根据目标形状图像重建三维模型的空间轮廓，在该空间轮廓的表面附加上目标纹理图像，即得到携带有纹理信息的目标三维模型。
在一个实施例中，局部特征图的尺寸往往小于全局特征图，而要将全局特征图和局部特征图进行拼接，就需要使得两者尺寸相同，进而对同一位置上的像素点进行融合，得到融合有全局特征和局部特征的图像。基于此，需要对局部特征图进行特征值的填充(padding)，以使局部特征图与全局特征图尺寸一致。例如，通过对局部特征图补0(即，将局部特征图的外部区域像素点的特征值设置为0)来达到与全局特征图相同的尺寸，之后在同一尺寸下进行拼接。这就会导致一个问题，即局部特征图在拼接后的边缘突变。局部特征图与全局特征图拼接之后，在卷积过程中，当卷积核未移动到局部特征图对应的位置时，由于补0的原因，其卷积接收的只有全局特征图的信息。当卷积核移动到局部特征图对应的位置时，其能同时接收全局特征图和局部特征图的信息。然而，当卷积核移动到局部特征图的边缘时，卷积核所接收的信息从只有全局信息→全局信息+局部信息，所获信息突然增加，这将导致卷积在此位置的输出较之前产生突变，这种突变会导致最终生成结果的不连续性。图3为传统技术中将全局纹理特征图和局部纹理特征图进行拼接之后得到的纹理图像，其中，右侧的图像为对左侧纹理特征图中的眼部边缘区域301放大后的图像，可以看出在纹理图像的边缘位置产生了明显的不连续性。放大到全脸，这种不连续也将会导致纹理图像产生整体畸变，图4为一个实施例中纹理图像边缘不连续的示意图，其中，图4(a)为正常纹理，图4(b)为产生畸变的纹理，很明显，图4(b)嘴部区域的边缘出现畸变。另一方面，这种不连续也会作用在形状图像上，在局部特征图的边缘位置产生不可控畸变，图5为一个实施例中形状图像边缘不连续的示意图，其中，图5(a)为正常形状，图5(b)为产生畸变的形状，其中，501表示嘴部区域，可以明显发现图5(b)嘴部区域的边缘崩坏。另外，这种不连续也会在模型重建过程中产生明显的分块现象，使得最终重建的目标三维模型存在不连续性突变，例如，眼角区域存在明显的颜色跳跃。
本发明实施例的三维模型重建方法中，根据图像特征系数分别获取输入图像基于纹理和形状的全局特征图和初始局部特征图；对初始局部特征图进行边缘平滑处理得到目标局部特征图，该目标局部特征图的边缘区域处于平滑状态；分别基于纹理和形状，对全局特征图和目标局部特征图进行拼接，得到边缘平滑的目标纹理图像和目标形状图像；根据目标纹理图像和目标形状图像重建得到目标三维模型，有效减少了纹理图像和形状图像的不连续问题，抑制了重建得到的目标三维模型的畸变问题。
在一个实施例中，所述对所述初始局部特征图进行边缘平滑处理，得到目标局部特征图，包括：获取所述初始局部特征图的边界；获取所述初始局部特征图中各个像素点与所述边界之间的距离；根据所述距离对所述初始局部特征图进行边缘平滑处理，得到所述目标局部特征图。
其中，初始局部特征图的边界可以指初始局部特征图最外侧的边界线。由于初始局部特征图在不同方向都可以对应有边界，因此边界的数量可能不止一个(例如，对于方框边界，则存在四条边界)。基于此，初始局部特征图中各个像素点与边界之间的距离可以指各个像素点离最近的边界之间的距离。
本实施例，根据各像素点与边界之间的距离对初始局部特征图进行边缘平滑处理。平滑处理可以是将各个像素点的特征值(该特征值可以是像素点的RGB值等颜色值，也可以是亮度值等)按照一定梯度进行调整，例如：将图像中心到图像边界的像素点的颜色设置为越来越深。
在一个实施例中，可以是不同距离大小进行不同梯度的平滑处理，例如，在某一方向上，对远距离像素点(距离边界更远的像素点)进行程度更高的特征值调整，对近距离像素点进行程度更低的特征值调整。
在一个实施例中，可以通过预先构建的边缘平滑处理模型来对初始局部特征图进行特征学习，确定初始局部特征图的边界，确定初始局部特征图中各个像素点与边界之间的距离，进而根据该距离对初始局部特征图进行边缘平滑处理，得到目标局部特征图，以在保证精度的情况下解决卷积阶段造成的不连续性。
上述实施例，确定初始局部特征图中各像素点与边界之间的距离，根据该距离进行边缘平滑处理，能使得不同距离的像素点具有不同的特征值，实现边缘过度变化的效果，使得卷积核在从全局特征图对应的位置移动到局部特征图对应的位置时有一个平缓的过度，防止出现局部特征图在拼接以后不连续的情况。
在一个实施例中，所述根据所述距离对所述初始局部特征图进行边缘平滑处理，得到所述目标局部特征图，包括：根据所述距离获取所述初始局部特征图的边缘区域；根据所述距离确定所述边缘区域的各个像素点对应的特征权重值，以使远距离像素点对应的特征权重值大于近距离像素点对应的特征权重值；根据所述特征权重值生成渐变平滑特征图；所述渐变平滑特征图中各个像素点的特征值根据所述特征权重值得到；将所述渐变平滑特征图中各个像素点的特征值和所述初始局部特征图中对应像素点的特征值进行相乘，根据相乘结果得到所述目标局部特征图。
在初始局部特征图不止一个时，可以针对性地确定对应的渐变平滑特征图。以初始局部特征图包括左眼(left eye)局部特征图、右眼(right eye)局部特征图、鼻子(nose)局部特征图和嘴部(mouth)局部特征图为例，可以针对性地确定左眼渐变平滑特征图、右眼渐变平滑特征图、鼻子渐变平滑特征图和嘴部渐变平滑特征图。
以初始局部特征图为左眼局部特征图、右眼局部特征图、鼻子局部特征图和嘴部局部特征图为例，渐变平滑特征图fi可以表示为以下公式：
Figure BDA0002683625910000151
其中，i∈(nose,mouth,left eye,right eye)，fi的尺寸与对应的初始局部特征图Li(包括：Lnose，Lmouth，Lleft eye，Lright eye)的尺寸相同；h表示渐变平滑特征图中某个像素点相对于参考点(可以是特征图左下角所在的点)之间的纵轴距离；w表示渐变平滑特征图中某个像素点相对于参考点之间的横轴距离；(h，w)表示渐变平滑特征图中的某个像素点；k为(h，w)点离最近边界的距离；λi表示某个渐变平滑特征图的评价系数，用于表征边缘区域宽度，其大小可以根据对应初始局部特征图的尺寸来确定，例如，
Figure BDA0002683625910000161
hi表示某个初始局部特征图的高；wi表示某个初始局部特征图的宽；λi<h<hi-λi,λi<w<wi-λi表示对应初始局部特征图中的非边缘区域(也可以称为中心区域)，非边缘区域的特征权重值设置为1；other(h,w)表示对应初始局部特征图中的边缘区域，根据各像素点与边界的距离按照线性或者阶梯性的方式确定边缘区域的特征权重值，距离越大特征权重值越大。
通过阶梯性的方式确定特征权重值，根据该特征权重值得到的渐变平滑特征图如图6所示，其中，外侧实线框表示边界601，外侧实线框与内侧实线框之间的区域表示边缘区域，该边缘区域包括3个梯度的区域602、603和604，区域602、603和604中像素点的灰度值逐渐由低变高，形成一个边缘逐渐过度变化的渐变平滑特征图。
在一个实施例中，对于特征权重值的设置，可以在[0，1]的范围内进行权重值的设置，例如，边缘区域中距离边界最远的最远距离像素点的特征权重值设置为0.9，距离边界最近的最近距离像素点的特征权重值设置为0.1。另外，初始局部特征图中边缘区域之外的区域可以称之为非边缘区域，非边缘区域的特征权重值可以为1，即，不对非边缘区域进行特征值的调整。在一个实施例中，根据特征权重值生成渐变平滑特征图可以是：构建一个与初始局部特征图尺寸相同的空白特征图，该空白特征图中各个像素点的初始特征值为0，将所计算的特征权重值作为对应像素点新的特征值，在更新完各个像素点的特征值之后，即得到渐变平滑特征图。
在得到渐变平滑特征图之后，将渐变平滑特征图与初始局部特征图中对应位置的像素点的特征值进行相乘。以左眼为例，在进行特征值相乘时，可以将左眼渐变平滑特征图中各个像素点的特征值和左眼局部特征图中对应像素点的特征值进行相乘，根据相乘结果得到左眼目标局部特征图。另外，以特征值为灰度值为例，对于某个位置，其在渐变平滑特征图对应像素点a1，在初始局部特征图中对应像素点a2，假设a1的特征值为0.5，a2的特征值为200，则将0.5乘以200得到新的灰度值100，这个灰度值100就是目标局部特征图中对应像素点的特征值。
在一个实施例中，图7示出了边缘平滑处理的效果示意图，其中，图7(a)表示初始局部特征图，图7(b)表示渐变平滑特征图。从图7(a)中可以看出，初始局部特征图的边缘较为明显，跳跃性较强，如果直接将其与全局特征图进行拼接则容易出现边缘不连续的问题。图7(b)中的边缘区域进行了边缘平滑处理，边缘平缓过度，呈现中心强边缘弱的效果，作用强度由中心向边缘逐步递减。将边缘平滑特征图与初始局部特征图中对应像素点进行相乘运算后，得到如图7(c)所示的目标局部特征图。可以看出，图7(c)中的目标局部特征图边缘过度平缓，将其与全局特征图进行拼接后，能得到边缘连续的目标图像。
上述实施例，根据距离对边缘区域内各个像素点设置对应的特征权重值，据此生成渐变平滑特征图，进而通过渐变平滑特征图对初始局部特征图中对应像素点的特征值进行调整，调整之后得到目标局部特征图。通过简单直观的方法就实现了对局部特征图的边缘平滑处理，能快速得到边缘平滑的目标局部特征图，进而解决局部特征图和全局特征图进行拼接和卷积之后产生的不连续边缘，减少最终目标图像的畸变问题。
在一个实施例中，所述输入图像为脸部图像；所述目标局部特征图包括脸部关键部位对应的关键部位特征图；所述分别基于纹理和形状，对所述全局特征图和所述目标局部特征图进行拼接，得到目标纹理图像和目标形状图像，包括：分别对各个关键部位特征图的外部区域进行特征值填充，以得到与所述全局特征图尺寸相同的填充关键部位特征图；将各个所述填充关键部位特征图进行合并，得到脸部器官特征图；分别基于纹理和形状，对所述全局特征图和所述脸部器官特征图进行拼接，得到所述目标纹理图像和所述目标形状图像。
其中，脸部可以指人脸、动物的脸等。在一个实施例中，脸部关键部位可以是眼睛(包括左眼和右眼)、鼻子、嘴部、耳朵等。图8为一个实施例中关键部位特征图的特征值填充和合并的效果示意图；分别对鼻子、嘴部、左眼和右眼对应的关键部位特征图进行特征值填充(例如填充为0)之后得到的填充关键部位特征图(鼻子、嘴部、左眼和右眼)可以分别如图8中的(a)、(b)、(c)和(d)所示，其中，801/802/803/804分别表示鼻子、嘴部、左眼和右眼所在的区域。对这些填充关键部位特征图进行合并，将鼻子、嘴部、左眼和右眼所在的区域801、802、803和804整合在一起，可以得到如图8(e)所示的脸部器官特征图。
上述实施例，通过对关键部位特征图进行特征值填充，得到与全局特征图尺寸一致的填充关键部位特征图，同一尺寸的全局特征图和填充关键部位特征图能够方便地叠加在一起，以便卷积核进行卷积处理，进而得到脸部器官特征图，基于该脸部器官特征图能与全局特征图进行有效的拼接，生成边缘连续的目标纹理图像和目标形状图像。
在一个实施例中，所述输入图像为脸部图像；所述目标局部特征图包括左眼特征图、右眼特征图、鼻子特征图和嘴部特征图；所述分别基于纹理和形状，对所述全局特征图和所述目标局部特征图进行拼接，得到目标纹理图像和目标形状图像，包括：对所述左眼特征图、所述右眼特征图、所述鼻子特征图和所述嘴部特征图的外部区域进行特征值填充，以得到与所述全局特征图尺寸相同的目标左眼特征图、目标右眼特征图、目标鼻子特征图和目标嘴部特征图；对所述目标左眼特征图、所述目标右眼特征图、所述目标鼻子特征图和所述目标嘴部特征图进行合并，得到脸部器官特征图；分别基于纹理和形状，对所述全局特征图和所述脸部器官特征图进行拼接，得到所述目标纹理图像和所述目标形状图像。
上述实施例，得到脸部图像中的左眼、右眼、鼻子和嘴部对应的特征图，对这些特征图进行合并以得到脸部器官特征图，并将脸部器官特征图与全局特征图进行拼接，得到准确可靠的目标纹理图像和目标形状图像。
在一个实施例中，可以对脸部器官特征图进行边缘平滑处理，得到目标脸部器官特征图，对全局特征图和目标脸部器官特征图进行拼接，得到目标纹理图像和目标形状图像。其中，参照图9，图9为一个实施例中得到目标脸部器官特征图的过程示意图，对脸部器官特征图进行边缘平滑处理得到目标脸部器官特征图的实现过程可以如下：构建与脸部器官特征图对应的器官渐变平滑特征图【如图9(a)所示】，获取脸部器官特征图【如图9(b)所示】，将器官渐变平滑特征图和脸部器官特征图对应像素点的特征值进行相乘处理，得到如图9(c)所示目标脸部器官特征图。
上述实施例，通过对脸部器官特征图进行边缘平滑处理，能得到边缘渐变的目标脸部器官特征图，有效弱化目标纹理图像和目标形状图像边缘的割裂感，使得最终得到的目标三维模型边缘连续，有效降低三维模型畸变的出现概率。
在一个实施例中，所述全局特征图包括全局纹理特征图和全局形状特征图，所述目标局部特征图包括局部纹理特征图和局部形状特征图；所述分别基于纹理和形状，对所述全局特征图和所述目标局部特征图进行拼接，得到目标纹理图像和目标形状图像，包括：基于纹理对所述全局特征图和所述目标局部特征图进行拼接得到目标纹理图像；基于形状对所述全局特征图和所述目标局部特征图进行拼接得到目标形状图像。
在一个实施例中，基于纹理对所述全局特征图和所述目标局部特征图进行拼接得到目标纹理图像，包括：对所述全局纹理特征图和局部纹理特征图进行拼接，对拼接得到的特征图进行卷积以对全局纹理特征和局部纹理特征进行整合，得到所述目标纹理图像。
基于形状对所述全局特征图和所述目标局部特征图进行拼接得到目标形状图像，包括：对所述全局形状特征图和局部形状特征图进行拼接，对拼接得到的特征图进行卷积以对全局形状特征和局部形状特征进行整合，得到所述目标形状图像。
上述实施例，分别基于纹理和形状，对全局特征图和局部特征图进行拼接，并对拼接之后的特征图进行卷积，能够得到融合全局特征和局部特征的目标图像，据此根据目标图像重建得到目标三维模型，该目标三维模型融合了多方面的信息，能够更为全面地表征图像信息，尽可能与输入图像相对应，实现三维模型的可靠重建。
在一个实施例中，全局特征图和局部特征图可以不止一层，而是由多层特征图组成。在这种情况下，全局特征图和局部特征图需要拼接后再利用一个卷积模块才能将全局信息和局部信息整合在一起。在一个实施例中，所述全局特征图和所述目标局部特征图均对应有至少一个特征通道；所述分别基于纹理和形状，对所述全局特征图和所述目标局部特征图进行拼接，得到目标纹理图像和目标形状图像，包括：分别基于纹理和形状，在各个所述特征通道内对所述全局特征图和所述目标局部特征图进行拼接，对各个所述特征通道拼接得到的特征图进行卷积以对全局特征和局部特征进行整合，得到目标纹理图像和目标形状图像。
多个特征通道的特征图处理流程(基于纹理和基于形状的处理流程都可以通过该图的处理流程实现，即纹理和形状的处理流程可以一样)如图10所示。具体地，分别获取三个特征通道上的全局特征图和初始局部特征图(左眼、右眼、鼻子以及嘴巴对应的初始局部特征图)，对这些特征通道上的初始局部特征图分别进行边缘平滑处理，得到三个特征通道上的目标局部特征图，对各个特征通道上的全局特征图和目标局部特征图进行拼接得到这三个特征通道上的已拼接特征图1001，将这些已拼接特征图1001按序叠放在一起之后输入卷积模块中进行卷积，得到目标图像。
上述实施例，基于特征通道对全局特征图和局部特征图进行拼接并进行卷积处理，能充分融合多个特征通道上的全局特征和局部特征，使得所得到的目标图像更为全面地反映出输入图像的特征，最终得到更为准确的目标三维模型。
在一个实施例中，可以基于纹理和形状分别对全局特征图和局部特征图进行拼接和卷积处理，以得到对应的目标纹理图像和目标形状图像。
在一个实施例中，对于纹理，所述对所述全局纹理特征图和局部纹理特征图进行拼接，对拼接得到的特征图进行卷积以对全局纹理特征和局部纹理特征进行整合，得到所述目标纹理图像，包括：在各个所述特征通道内对所述全局纹理特征图和所述局部纹理特征图进行拼接，对各个所述特征通道拼接得到的特征图进行卷积以对全局纹理特征和局部纹理特征进行整合，得到所述目标纹理图像。上述实施例，按照通道维度对全局纹理特征图和局部纹理特征图进行拼接，对拼接后的特征图进行卷积，充分融合了多个特征通道上的全局纹理特征和局部纹理特征，能得到全面准确的目标纹理图像。
在一个实施例中，对于形状，所述全局特征图和所述目标局部特征图均对应有至少一个特征通道，所述对所述全局形状特征图和局部形状特征图进行拼接，对拼接得到的特征图进行卷积以对全局形状特征和局部形状特征进行整合，得到所述目标形状图像，包括：在各个所述特征通道内对所述全局形状特征图和所述局部形状特征图进行拼接，对各个所述特征通道拼接得到的特征图进行卷积以对全局形状特征和局部形状特征进行整合，得到所述目标形状图像。上述实施例，按照通道维度对全局形状特征图和局部形状特征图进行拼接，对拼接后的特征图进行卷积，充分融合了多个特征通道上的全局形状特征和局部形状特征，能得到全面准确的目标形状图像。
在一个实施例中，可以通过自编码器得到图像特征系数。其中，自编码器(Autoencoder)是一种旨在将输入复制到输出的神经网络。具体的，该自编码器可以是卷积自编码器。卷积自编码器是采用卷积层代替全连接层，对输入的特征进行降采样以提供较小维度的潜在表示，并强制自编码器学习输入特征的压缩版本，可以得到对图像特征进行表征的系数。
在一个实施例中，所述获取输入图像的图像特征系数，包括：通过卷积自编码器对所述输入图像进行逐层卷积处理；根据逐层卷积处理的结果得到所述输入图像的纹理特征系数和形状特征系数，作为所述图像特征系数。
其中，卷积自编码器的结构可以如图11所示，该卷积自编码器由多个卷积层构成，这些卷积层对输入图像进行逐层卷积处理，以对输入图像的特征进行降采样并逐层分析，进而根据逐层卷积处理的结果得到纹理特征系数fa和形状特征系数fs，作为图像特征系数。
具体的，在一个实施例中，所述卷积自编码器包括解码器；所述通过卷积自编码器对所述输入图像进行逐层卷积处理，根据逐层卷积处理的结果得到所述图像特征系数，包括：通过所述卷积自编码器对所述输入图像进行逐层卷积处理；由所述解码器根据逐层卷积处理的结果得到所述输入图像的纹理特征系数和形状特征系数，作为所述图像特征系数。
卷积自编码器通过解码器对每一个卷积层进行输出，如图11右侧输出大小所示即为解码器所输出结果的大小。第53层卷积可以得到二维的输出结果，即右侧的7×7×(fs+fa+64)输出。再进行平均池化(AvgPool)处理，就可以得到fs和fa的值，即得到纹理特征系数和形状特征系数。
上述实施例借助自编码器来得到图像特征系数，能通过逐层卷积的方式充分挖掘输入图像的图像特征，进而得到准确的图像特征系数，以便得到准确的全局特征图和局部特征图。
在一个实施例中，可以通过局部细节增强模块来对输入图像进行特征分析和解码，该局部细节增强模块可以包括全局解码器和局部解码器，通过这两种解码器可以得到全局特征图和初始局部特征图。在一个实施例中，所述根据所述图像特征系数，分别获取所述输入图像基于纹理和形状的全局特征图和初始局部特征图，包括：由全局解码器中的反卷积层根据所述图像特征系数对所述输入图像进行特征解码，得到所述全局特征图；由局部解码器中的反卷积层根据所述图像特征系数对所述输入图像进行特征解码，得到所述初始局部特征图。
其中，全局解码器和局部解码器均可以由至少一个反卷积层构成，各个反卷积层的卷积核尺寸可以相同也可以不同。另外，各个特征通道的全局特征图的尺寸可以相同，而不同部位的初始局部特征图可以相同也可以不同。
上述实施例，由全局解码器对输入图像解码得到全局特征图，由局部解码器对输入图像解码得到初始局部特征图，即通过全局解码器和局部解码器这两个分支分别获取输入图像的整体特征和局部特征，之后基于整体特征和局部特征整合得到目标图像，能够使得目标图像尽可能还原输入图像的信息，以便后续基于目标图像实现可靠的图像重建效果。
在一个实施例中，所述局部解码器包括脸部关键部位解码器；所述由局部解码器中的反卷积层根据所述图像特征系数对所述输入图像进行特征解码，得到所述初始局部特征图，包括：由所述脸部关键部位解码器中的反卷积层，根据所述图像特征系数对所述输入图像进行特征解码，将解码得到的关键部位特征图确定为所述初始局部特征图。
其中，脸部关键部位解码器可以不止一个，同时每个脸部关键部位可以对应至少一个解码器，例如，包括左眼解码器、右眼解码器、鼻子解码器、嘴部解码器等。这些脸部关键部位解码器分别对输入图像进行特征解码并得到对应的初始局部特征图。
在某些实施例中，这些脸部关键部位解码器可以通过对应的眼睛、鼻子、嘴巴的图片预先训练得到。
上述实施例，通过脸部关键部位解码器来针对性地进行特征解码，以得到局部特征清晰的初始局部特征图。
在一个实施例中，所述脸部关键部位解码器包括左眼解码器、右眼解码器、鼻子解码器和嘴部解码器；所述由所述脸部关键部位解码器中的反卷积层，根据所述图像特征系数对所述输入图像进行特征解码，将解码得到的关键部位特征图确定为所述初始局部特征图，包括：由所述左眼解码器中的反卷积层，根据所述图像特征系数对所述输入图像进行特征解码，得到左眼特征图；由所述右眼解码器中的反卷积层，根据所述图像特征系数对所述输入图像进行特征解码，得到右眼特征图；由所述鼻子解码器中的反卷积层，根据所述图像特征系数对所述输入图像进行特征解码，得到鼻子特征图；由所述嘴部解码器中的反卷积层，根据所述图像特征系数对所述输入图像进行特征解码，得到嘴部特征图；将所述左眼特征图、所述右眼特征图、所述鼻子特征图和所述嘴部特征图，确定为所述初始局部特征图。
在一个实施例中，所述根据所述图像特征系数，分别获取所述输入图像基于纹理和形状的全局特征图和初始局部特征图，包括：由全局解码器中的反卷积层根据纹理特征系数和形状特征系数对所述输入图像进行特征解码，得到所述全局纹理特征图和全局形状特征图；由局部解码器中的反卷积层根据纹理特征系数和形状特征系数对所述输入图像进行特征解码，得到初始纹理局部特征图和初始形状局部特征图。
在一个实施例中，可以对初始纹理局部特征图和初始形状局部特征图进行边缘平滑处理，以得到局部纹理特征图和局部形状特征图，基于所得到的局部纹理特征图和局部形状特征图与对应的全局特征图进行拼接，得到对应的目标纹理图像和目标形状图像。
在一个实施例中，全局解码器Dg由13个反卷积层构成，每个反卷积层的卷积核尺寸为3*3，其输出可以为c′*h′*w′的全局特征图G，其中，c′为特征通道数，h′和w′分别为全局特征图的高和宽，h'*w'可以为192*224，纹理系数fa和形状系数fs作为全局解码器的输入，得到全局纹理特征图TG和全局形状特征图SG。
局部解码器Dl由4个局部解码模块：
Figure BDA0002683625910000241
组成，以解码鼻子、嘴巴、左眼和右眼区域。每个局部解码模块都包含10个反卷积层。
Figure BDA0002683625910000242
对应的输出分别为Lnose，Lmouth，Llefteye，Lrighteye，它们对应的输出尺寸分别为c′*hnose*wnose，c′*hmouth*wmouth，c′*hlefteye*wlefteye，c′*hrighteyere*wrighteye。其中，hnose、hmouth、hlefteye和hrighteyere分别表示鼻子、嘴巴、左眼和右眼特征图的高，wnose、wmouth、wlefteye和wrighteyere分别表示鼻子、嘴巴、左眼和右眼特征图的宽。
全局解码器和局部解码器的输出分别如下表：
Figure BDA0002683625910000243
上述实施例，通过全局解码器解码得到全局特征图，通过脸部关键部位特征图解码得到脸部关键部位特征图，进而进行特征图的拼接和卷积，以得到目标图像，既能获取到反映输入图像整体脸部特征的全局特征图，也能针对性地获取到反映局部信息的脸部关键部位特征图，使得所得到的目标图像足够全面和准确。
在一个实施例中，本发明实施例生成的目标三维模型可作为人脸融合(换脸应用)研究的成对训练数据。融合图(用户人脸)和模板图换脸后得到结果图，该结果图的人脸2D特征点就是所谓的成对训练数据。可以将模板图中的每一帧和用户人脸分别建模，然后迁移模板图中每一帧的姿态和表情到用户人脸上，可以得到换脸后每一帧对应的三维模型，从而从三维模型对应的2D图中得到成对训练数据，以便后续对换脸模型进行训练。
其中，换脸模型可以是基于深度学习的网络神经模型，它能够将某一脸部中的部分特征替换成其他脸部特征的模型。例如，将A和B两个脸部图像输入到换脸模型中，该换脸模型从A中获取全局特征同时从B中获取局部特征，进而对根据这些特征进行三维模型重建，得到包含A的全局特征和B的局部特征的脸部模型C。因为局部特征包含有脸部器官更为细节的信息，能够更为明显地表征脸部特征，因此此时可以理解为将脸部B替换到脸部A上。
具体的，在一个实施例中，所述输入图像为脸部图像；所述根据所述目标纹理图像和所述目标形状图像进行三维模型重建处理，得到目标三维模型之后，还包括：获取所述目标三维模型对应的二维图像的全局特征点，得到目标特征点；获取模板三维模型；获取所述模板三维模型对应的二维图像的局部特征点，得到模板特征点；将所述目标特征点和所述模板特征点作为成对数据输入到换脸模型中，以使所述换脸模型输出已换脸三维模型；所述已换脸三维模型包含所述目标三维模型中的全局特征且包含所述模板三维模型中的局部特征。
其中，模板三维模型可以根据模板脸部图像获取得到。具体的，将模板脸部图像输入三维重建模型中，该三维重建模型输出的三维模型即为模板三维模型。由于模板三维模型是由三维重建模型生成的，因此，通过这种方式，三维重建模型能够直接快速地输出模板三维模型的局部特征点。在一些实施例中，也可以获取预先配置的模板三维模型，通过对模板三维模型进行特征点提取，以得到模板三维模型的局部特征点。
上述实施例，从模板三维模型中获取局部特征点，从目标三维模型中获取全局特征点，并将这两种特征点成对输入到换脸模型中，由换脸模型得到已换脸三维模型，准确地实现换脸。
在一个实施例中，可以对已换脸三维模型进行图像渲染处理，得到已换脸图像。图12为一个实施例中得到已换脸图像的过程示意图，如图12所示，通过输入图像和模板脸部图像的整合、渲染之后，得到右侧的已换脸图像，该已换脸图像拥有输入图像的姿态和轮廓，同时拥有模板脸部图像的五官形态和表情，实现了“换脸”的效果。
在一个实施例中，所述获取模板三维模型，包括：获取预设的模板脸部图像；获取所述模板脸部图像基于纹理和形状的模板全局特征图和初始模板局部特征图；对所述初始模板局部特征图进行边缘平滑处理，得到目标模板局部特征图；分别基于纹理和形状，对所述模板全局特征图和所述目标模板局部特征图进行拼接，得到模板脸部纹理图像和模板脸部形状图像；根据所述模板脸部纹理图像和所述模板脸部形状图像进行三维模型重建处理，得到所述模板三维模型。
上述实施例，通过三维重建模型对模板脸部图像进行处理，并对初始模板局部特征图进行边缘平滑处理，能得到边缘平滑连续的模板脸部纹理图像和模板脸部形状图像，据此能有效减少重建得到的模板三维模型的畸变，保证换脸应用的正常进行，得到可靠的已换脸三维模型。
本申请提供的三维模型重建方法可以应用到各种三维重建处理场景中，比如，可以应用到图像处理软件、模型重建软件、PS(photoshop)软件、三维动画处理软件(例如：动漫捏脸软件)等等。
本申请还提供一种应用场景，该应用场景应用上述的三维模型重建方法。具体地，图13为一个实施例中三维模型重建方法的流程示意图，参照图13，该三维模型重建方法在该应用场景的应用如下：
向终端的三维重建软件(三维重建软件中搭载有基于深度学习的三维重建模型)中输入一张224*224待处理的人脸图像，以触发三维重建软件对输入的人脸图像进行如下处理，以重建得到目标三维人脸模型：
1、通过一个卷积自编码器生成人脸图像对应的纹理系数fa和形状系数fs。
2、将fa和fs输入到结构相同的第一局部细节增强模块和第二局部细节增强模块中。其中，第一局部细节增强模块用于输出2D形状图，第二局部细节增强模块用于输出2D纹理图。这两个局部细节增强模块具体的处理流程见步骤3和4。
3、在局部细节增强模块中，构建解码器D，由一个全局解码器Dg和一个局部解码器Dl构成。
以下以第一局部细节增强模块为例进行说明(第二局部细节增强模块的实现过程一样，在此不再赘述)：
其后，全局解码器Dg由13个反卷积层构成，输出全局形状特征图SG。
局部解码器Dl由4个局部解码模块：
Figure BDA0002683625910000271
组成，以解码鼻子、嘴巴、左眼和右眼区域，每个反卷积模块都包含10个反卷积层。
Figure BDA0002683625910000272
对应的初始局部特征图Li。
设定渐变平滑特征图fi，fi的尺寸与初始局部特征图Li相同。渐变平滑特征图中各个像素点的特征值设置如下：
Figure BDA0002683625910000273
渐变平滑特征图生成后，将其与对应的初始局部特征图的像素点特征值进行相乘处理，得到四个部位对应的边缘渐变的目标局部特征图。将这些目标局部特征图进行合并，得到脸部器官形状特征图SL。
由第二局部细节增强模块按照同样的方式得到全局纹理特征图TG和脸部器官纹理特征图TL。
4、脸部器官纹理特征图TL与全局纹理特征图TG在通道维度拼接后，由第一局部细节增强模块经过一个卷积层输出2D纹理图T2D。同理，脸部器官形状特征图SL与全局形状特征图SG在通道维拼接后，由第二局部细节增强模块经过一个卷积层输出2D形状图S2D。
5、通过上述得到的2D纹理图T2D和2D形状图S2D进行三维模型重建，得到目标三维人脸模型。
如图13所示，输入一张人脸图像之后，终端上的三维重建软件进行三维人脸模型的重建，最终得到目标三维人脸模型。对目标三维人脸模型的分析可以发现，通过上述实施例输出的三维人脸模型完整连续，不存在图像畸变的问题。
具体的，对于图像纹理上的处理效果。图14示出了传统技术和本发明实施例得到2D纹理图的对比图，其中图14(a)表示传统技术得到的3张2D纹理图，图14(a)中各个人脸纹理均存在一定程度的畸变，图14(b)表示本发明实施例得到的3张2D纹理图(其中，a/b两排图像中，上下对应的两个纹理图像是通过同一输入图像得到的)，图14(b)中人脸纹理清晰，不存在畸变问题。接下来再具体比对纹理图像的边缘处理效果，图15示出了传统技术和本发明实施例得到2D纹理图的边缘效果对比图，其中图15(a)表示传统技术得到的2D纹理图，图15(a)中眼部边缘区域1501存在明显的割裂，图15(b)表示本发明实施例得到的2D纹理图，图15(b)中的眼部边缘区域1502边缘过度平缓，图15中方框(包括眼部边缘区域1501和1502)的位置即边缘突兀与边缘平滑的对比。通过图14和图15的对比可知，对比传统技术生成的纹理图像，本发明实施例生成的2D纹理图的边缘更加平滑，卷积所带来的不连续性大幅减弱，更加接近原始的皮肤色彩。
对于图像形状上的处理效果。图16示出了传统技术和本发明实施例得到2D形状图的对比图，其中图16(a)表示传统技术得到的3张2D形状图，图16(a)中3个嘴部边缘区域均存在一定程度的缺失，即边缘不连续，图16(b)表示本发明实施例得到的3张2D形状图(其中，a/b两排图像中，上下对应的两个形状图像是通过同一输入图像得到的)，图16(b)中脸部各个区域均连续且过度较为平滑。
通过对上述图像的分析对比结果可以看出，终端上的三维重建软件通过本发明实施例提供的三维模型重建方法，很好地解决了2D纹理和2D形状畸变的问题，进而可以输出良好的三维重建人脸模型。
在一个实施例中，还提供一种三维重建模型的训练方法，本实施例以该方法应用于图1中的终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。
具体地，图17为一个实施例中三维重建模型的训练方法的流程示意图，如图17所示，所述方法包括以下步骤：
S1701，获取训练图像的图像特征系数和渲染系数。
训练图像可以是包含各种类型的对象的图像，具体实现方式可以参见前述实施例中的输入图像。
渲染系数可以指能够影响图像渲染过程的系数，可以是光照系数、扭转系数等。其中，以脸部为例，光照系数可以是光照强度、光照角度等对应的系数，扭转系数可以是头部的俯仰角度、侧脸角度等对应的系数。
S1702，将所述图像特征系数输入至基于深度学习的三维重建模型中，以使所述三维重建模型：根据所述图像特征系数，分别获取所述训练图像基于纹理和形状的全局特征图和初始局部特征图，对所述初始局部特征图进行边缘平滑处理，得到目标局部特征图；分别基于纹理和形状，对所述全局特征图和所述目标局部特征图进行拼接，得到目标纹理图像和目标形状图像；根据所述目标纹理图像和所述目标形状图像进行三维模型重建处理，得到预测三维模型。
三维重建模型可以是基于深度学习的神经网络模型。
需要说明的是，三维重建模型得到预测三维模型的具体实现过程可以参见前述三维模型重建方法的实施例，在此不再赘述。
S1703，根据所述渲染系数对所述预测三维模型进行图像渲染处理，得到预测二维图像。
其中，图像渲染是对图像的光线、色彩、角度等参数进行调整的过程。在某些情况下，渲染也可以指对图像的光线、色彩、角度等参数进行调整以及后续进行二维转换的过程，渲染之后直接得到二维图像。
在一个实施例中，S1703的实现过程可以是：调整预测三维图像的光照方向、俯仰角度等，将经过上述调整后的预测三维图像进行二维转换，将得到的二维图像作为预测二维图像。具体地，渲染可以通过非线性渲染法等实现。
S1704，根据所述训练图像和所述预测二维图像的误差对所述三维重建模型进行训练，直到满足收敛条件，得到已训练的三维重建模型。
预测二维图像是对预测三维模型进行图像渲染处理得到的，拥有训练图像中对象(训练图像中的人物、动物、建筑物等)的光照、色彩、角度等渲染信息。因此，该预测二维图像与训练图像的误差中携带有对象的渲染信息，基于此，训练得到的三维重建模型能够对所输入的图像进行可靠重建，以得到携带有渲染信息的目标三维模型。
上述实施例，通过三维重建模型能够尽可能得到不存在畸变问题的预测三维模型，对预测三维模型进行图像渲染得到预测二维图像，该预测二维图像是根据训练图像重建得到的，能基本还原训练图像的图形特征。基于此，根据预测二维图像与训练图像的误差对三维重建模型进行训练，能训练得到准确可靠的三维重建模型。
在一个实施例中，所述根据所述训练图像和所述预测二维图像的误差对所述三维重建模型进行训练，包括：根据所述误差构建三维重建模型的损失函数；对所述损失函数进行梯度下降处理；根据梯度下降处理的结果调整所述三维重建模型的模型参数。
具体的，训练图像和预测二维图像均可以为多个，可以根据这些训练图像和预测二维图像的误差构建三维重建模型的损失函数，进而通过那个梯度下降法对损失函数进行最小化处理，确定损失函数最小值对应的模型参数，该模型参数对应的三维重建模型即为调整以后的三维重建模型。
上述实施例通过梯度下降法实现对三维重建模型损失函数的处理，能够快速准确地得到损失函数的最小值，进而调整三维重建模型的模型参数，以对三维重建模型进行训练。当损失函数的最小值足够小时，可以认为三维重建模型足够好，此时可以认为满足收敛条件，对应的三维重建模型即为已训练的三维重建模型。
在一个实施例中，所述获取训练图像的图像特征系数和渲染系数，包括：通过卷积自编码器对所述训练图像进行逐层卷积处理；所述卷积自编码器包括解码器和编码器；由所述解码器根据逐层卷积处理的结果得到所述训练图像的纹理特征系数和形状特征系数，作为所述图像特征系数；由所述编码器根据逐层卷积处理的结果得到所述训练图像的扭转系数和光照系数，作为所述渲染系数。
其中，渲染系数包括扭转系数m以及光照系数S。
在一个实施例中，所述卷积自编码器包括编码器；所述根据逐层卷积处理的结果得到所述图像特征系数和所述渲染系数，包括：由所述编码器根据逐层卷积处理的结果得到所述训练图像的扭转系数和光照系数，作为所述渲染系数。
卷积自编码器的结构可以如图11所示。卷积自编码器通过编码器可以获取到上一个卷积层的输出信息，进行卷积处理，图11中间的过滤/步数所示即为编码器的结构。对卷积处理的结果进行平均池化处理后，可以由编码器输出m和S的值，即得到扭转系数和光照系数。
在某些实施例中，卷积自编码器也可以属于三维重建模型的内部组成部分。即，由三维重建模型中的卷积自编码器得到图像特征系数和渲染系数。
上述实施例借助自编码器来得到图像特征系数和渲染系数，能通过逐层卷积的方式充分挖掘训练图像的图像特征，基于深度学习的方法得到准确的图像特征系数和渲染系数，能保证后续程序的可靠运行，进而得到准确的目标三维模型。
在一个实施例中，提供一种三维重建模型的训练方法，本实施例以该方法应用于图1中的终端进行举例说明。实现过程如图18所示，图18为一个实施例中三维重建模型的训练方法的流程示意图。具体实现过程如下：
第一，终端获取训练人脸图像，通过卷积自编码器生成训练人脸图像的到纹理特征系数fs、形状特征系数fa、扭转系数m以及光照系数S。
第二，将fa和fs输入三维重建模型中，该三维重建模型包含相同的第一局部细节增强模块和第二局部细节增强模块。通过第一局部细节增强模块和第二局部细节增强模块分别得到2D形状图和2D纹理图。三维重建模型根据2D形状图和2D纹理图生成预测三维人脸模型。
第三，终端触发渲染模块根据扭转系数m以及光照系数S对预测三维人脸模型进行渲染，并得到预测二维人脸图像。
第四，终端基于训练人脸图像和预测二维人脸图像的误差来对三维重建模型进行调整。在满足收敛条件时，得到已训练的三维重建模型，该模型能够基于输入的二维图像重建得到三维模型。
上述实施例，通过三维重建模型得到预测三维模型，对预测三维模型进行图像渲染得到预测二维图像，该预测二维图像是根据训练图像重建得到的，能基本还原训练图像的图形特征。基于此，将预测三维模型对应的预测二维图像与输入的训练图像进行比对，比对结果能够起到对三维重建模型的重建效果的反馈作用，根据比对结果对三维重建模型进行训练，能训练得到准确可靠三维重建模型。
本申请还提供一种应用场景，该应用场景应用上述的三维重建模型的训练方法和三维模型重建方法。具体地，这些方法在该应用场景的应用如下：
终端接收到多张训练人脸图像，将这些训练人脸图像输入到模型训练软件中。由该模型训练软件获取训练人脸图像的纹理特征系数fsX、形状特征系数faX、扭转系数mX以及光照系数SX。模型训练软件将纹理特征系数fsX、形状特征系数faX输入到三维重建模型中。由该三维重建模型根据纹理特征系数fsX、形状特征系数faX，分别获取训练人脸图像的全局纹理特征图TGX、全局形状特征图SGX、局部纹理特征图TLXO和局部形状特征图SLXO，对局部纹理特征图TLXO和局部形状特征图SLXO进行边缘平滑处理，得到目标局部纹理特征图TLX和目标局部形状特征图SLX；对全局纹理特征图TGX和目标局部纹理特征图TLX进行拼接，得到目标纹理图像TX，对全局形状特征图SGX和目标局部形状特征图SLX进行拼接，得到目标形状图像SX；根据目标纹理图像TX和目标形状图像SX进行三维模型重建处理，得到预测三维人脸模型。模型训练软件根据扭转系数mX以及光照系数SX对预测三维人脸模型进行图像渲染处理，得到预测二维人脸图像；根据训练人脸图像和预测二维人脸图像的误差构建损失函数，对该损失函数运行梯度下降算法，在梯度下降算法的结果满足收敛条件时，得到已训练的三维重建模型。
之后，模型训练软件可以将已训练的三维重建模型输出至三维重建软件中。以使三维重建软件在接收到输入人脸图像时通过该已训练的三维重建模型实现以下步骤：根据输入人脸图像的纹理特征系数fsY和形状特征系数faY分别获取输入人脸图像的全局纹理特征图TGY、全局形状特征图SGY、局部纹理特征图TLYO和局部形状特征图SLYO，对局部纹理特征图TLYO和局部形状特征图SLYO进行边缘平滑处理，得到目标局部纹理特征图TLY和目标局部形状特征图SLY；对全局纹理特征图TGY和目标局部纹理特征图TLY进行拼接，得到目标纹理图像TY，对全局形状特征图SGY和目标局部形状特征图SLY进行拼接，得到目标形状图像SY；根据目标纹理图像TY和目标形状图像SY进行三维模型重建处理，得到目标三维人脸模型。三维重建软件将该目标三维人脸模型转换成图像的形式并显示在显示屏中。
本发明实施例提供的上述方法能够在终端实现三维模型的训练和三维模型的重建，且三维重建模型重建得到的三维人脸能有效抑制图像畸变的出现，实现可靠的人脸模型重建效果。
应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于与上述实施例中的三维模型重建方法和三维重建模型的训练方法相同的思想，本发明还提供三维模型重建装置和三维重建模型的训练装置，这些装置可分别用于执行上述三维模型重建方法和三维重建模型的训练方法。为了便于说明，三维模型重建装置和三维重建模型的训练装置实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
在一个实施例中，如图19所示，提供了一种三维模型重建装置1900，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：第一系数获取模块1901、特征图获取模块1902、平滑处理模块1903、特征图拼接模块1904和第一模型重建模块1905，其中：
第一系数获取模块1901，用于获取输入图像的图像特征系数。
特征图获取模块1902，用于根据所述图像特征系数，分别获取所述输入图像基于纹理和形状的全局特征图和初始局部特征图。
平滑处理模块1903，用于对所述初始局部特征图进行边缘平滑处理，得到目标局部特征图。
特征图拼接模块1904，用于分别基于纹理和形状，对所述全局特征图和所述目标局部特征图进行拼接，得到目标纹理图像和目标形状图像。
第一模型重建模块1905，用于根据所述目标纹理图像和所述目标形状图像进行三维模型重建处理，得到目标三维模型。
上述三维模型重建装置中，对局部特征图进行边缘平滑处理，不容易产生图像畸变,能得到边缘平滑的目标三维模型。
在一个实施例中，平滑处理模块，包括：边界获取子模块，用于获取所述初始局部特征图的边界；距离获取子模块，用于获取所述初始局部特征图中各个像素点与所述边界之间的距离；第一边缘平滑子模块，用于根据所述距离对所述初始局部特征图进行边缘平滑处理，得到所述目标局部特征图。
在一个实施例中，第一边缘平滑子模块，包括：边缘区域获取单元，用于根据所述距离获取所述初始局部特征图的边缘区域；权重值确定单元，用于根据所述距离确定所述边缘区域的各个像素点对应的特征权重值，以使远距离像素点对应的特征权重值大于近距离像素点对应的特征权重值；特征图构建单元，用于根据所述特征权重值生成渐变平滑特征图；所述渐变平滑特征图中各个像素点的特征值根据所述特征权重值得到；特征值相乘单元，用于将所述渐变平滑特征图中各个像素点的特征值和所述初始局部特征图中对应像素点的特征值进行相乘，根据相乘结果得到所述目标局部特征图。
在一个实施例中，所述输入图像为脸部图像；所述目标局部特征图包括脸部关键部位对应的关键部位特征图；特征图拼接模块，包括：填充子模块，用于分别对各个关键部位特征图的外部区域进行特征值填充，以得到与所述全局特征图尺寸相同的填充关键部位特征图；合并子模块，用于将各个所述填充关键部位特征图进行合并，得到脸部器官特征图；拼接子模块，用于分别基于纹理和形状，对所述全局特征图和所述脸部器官特征图进行拼接，得到所述目标纹理图像和所述目标形状图像。
在一个实施例中，所述脸部关键部位包括左眼、右眼、鼻子、嘴部中的至少一项。
在一个实施例中，所述全局特征图包括全局纹理特征图和全局形状特征图，所述目标局部特征图包括局部纹理特征图和局部形状特征图；特征图拼接模块，包括：纹理卷积子模块，用于对所述全局纹理特征图和局部纹理特征图进行拼接，对拼接得到的特征图进行卷积以对全局纹理特征和局部纹理特征进行整合，得到所述目标纹理图像；形状卷积子模块，用于对所述全局形状特征图和局部形状特征图进行拼接，对拼接得到的特征图进行卷积以对全局形状特征和局部形状特征进行整合，得到所述目标形状图像。
在一个实施例中，所述全局特征图和所述目标局部特征图均对应有至少一个特征通道；纹理卷积子模块，还用于在各个所述特征通道内对所述全局纹理特征图和所述局部纹理特征图进行拼接，对各个所述特征通道拼接得到的特征图进行卷积以对全局纹理特征和局部纹理特征进行整合，得到所述目标纹理图像；形状卷积子模块，还用于在各个所述特征通道内对所述全局形状特征图和所述局部形状特征图进行拼接，对各个所述特征通道拼接得到的特征图进行卷积以对全局形状特征和局部形状特征进行整合，得到所述目标形状图像。
在一个实施例中，第一系数获取模块，包括：卷积子模块，用于通过卷积自编码器对所述输入图像进行逐层卷积处理；特征系数获取子模块，用于根据逐层卷积处理的结果得到所述输入图像的纹理特征系数和形状特征系数，作为所述图像特征系数。
在一个实施例中，特征图获取模块，包括：全局解码子模块，用于由全局解码器中的反卷积层根据所述图像特征系数对所述输入图像进行特征解码，得到所述全局特征图；局部解码子模块，用于由局部解码器中的反卷积层根据所述图像特征系数对所述输入图像进行特征解码，得到所述初始局部特征图。
在一个实施例中，所述局部解码器包括脸部关键部位解码器；局部解码子模块，还用于由所述脸部关键部位解码器中的反卷积层，根据所述图像特征系数对所述输入图像进行特征解码，将解码得到的关键部位特征图确定为所述初始局部特征图。
在一个实施例中，所述输入图像为脸部图像；所述装置，还包括：目标特征点获取模块，用于获取所述目标三维模型对应的二维图像的全局特征点，得到目标特征点；模板模型获取模块，用于获取模板三维模型；模板特征点获取模块，用于获取所述模板三维模型对应的二维图像的局部特征点，得到模板特征点；换脸模块，用于将所述目标特征点和所述模板特征点作为成对数据输入到换脸模型中，以使所述换脸模型输出已换脸三维模型；所述已换脸三维模型包含所述目标三维模型中的全局特征且包含所述模板三维模型中的局部特征。
在一个实施例中，模板模型获取模块，包括：模板图像获取子模块，用于获取预设的模板脸部图像；模板特征图获取子模块，用于获取所述模板脸部图像基于纹理和形状的模板全局特征图和初始模板局部特征图；第二边缘平滑子模块，用于对所述初始模板局部特征图进行边缘平滑处理，得到目标模板局部特征图；特征图拼接子模块，用于分别基于纹理和形状，对所述模板全局特征图和所述目标模板局部特征图进行拼接，得到模板脸部纹理图像和模板脸部形状图像；模板三维模型重建子模块，用于根据所述模板脸部纹理图像和所述模板脸部形状图像进行三维模型重建处理，得到所述模板三维模型。
在一个实施例中，如图20所示，提供了一种三维重建模型的训练装置2000，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：第二系数获取模块2001、第二模型重建模块2002、图像渲染模块2003和重建模型训练模块2004，其中：
第二系数获取模块2001，用于获取训练图像的图像特征系数和渲染系数。
第二模型重建模块2002，用于将所述图像特征系数输入至基于深度学习的三维重建模型中，以使所述三维重建模型：根据所述图像特征系数，分别获取所述训练图像基于纹理和形状的全局特征图和初始局部特征图，对所述初始局部特征图进行边缘平滑处理，得到目标局部特征图；分别基于纹理和形状，对所述全局特征图和所述目标局部特征图进行拼接，得到目标纹理图像和目标形状图像；根据所述目标纹理图像和所述目标形状图像进行三维模型重建处理，得到预测三维模型。
图像渲染模块2003，用于根据所述渲染系数对所述预测三维模型进行图像渲染处理，得到预测二维图像。
重建模型训练模块2004，用于根据所述训练图像和所述预测二维图像的误差对所述三维重建模型进行训练，直到满足收敛条件，得到已训练的三维重建模型。
上述实施例，通过三维重建模型能够尽可能得到不存在畸变问题的预测三维模型，确定预测三维模型对应的预测二维图像，根据预测二维图像与训练图像的误差对三维重建模型进行训练，能训练得到准确可靠的三维重建模型。
在一个实施例中，第二系数获取模块，包括：逐层卷积子模块，用于通过卷积自编码器对所述训练图像进行逐层卷积处理；所述卷积自编码器包括解码器和编码器；图像特征系数获取子模块，用于由所述解码器根据逐层卷积处理的结果得到所述训练图像的纹理特征系数和形状特征系数，作为所述图像特征系数；渲染系数获取子模块，用于由所述编码器根据逐层卷积处理的结果得到所述训练图像的扭转系数和光照系数，作为所述渲染系数。
关于三维模型重建装置的具体限定可以参见上文中对于三维模型重建方法的限定，在此不再赘述。上述三维模型重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各三维模型重建方法实施例中的步骤。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各三维重建模型的训练方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各三维模型重建方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各三维重建模型的训练方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种三维模型重建方法，其特征在于，所述方法包括：
获取输入图像的图像特征系数；
根据所述图像特征系数，分别获取所述输入图像基于纹理和形状的全局特征图和初始局部特征图；
对所述初始局部特征图进行边缘平滑处理，得到目标局部特征图；
分别基于纹理和形状，对所述全局特征图和所述目标局部特征图进行拼接，得到目标纹理图像和目标形状图像；
根据所述目标纹理图像和所述目标形状图像进行三维模型重建处理，得到目标三维模型。
2.根据权利要求1所述的方法，其特征在于，所述对所述初始局部特征图进行边缘平滑处理，得到目标局部特征图，包括：
获取所述初始局部特征图的边界；
获取所述初始局部特征图中各个像素点与所述边界之间的距离；
根据所述距离对所述初始局部特征图进行边缘平滑处理，得到所述目标局部特征图。
3.根据权利要求2所述的方法，其特征在于，所述根据所述距离对所述初始局部特征图进行边缘平滑处理，得到所述目标局部特征图，包括：
根据所述距离获取所述初始局部特征图的边缘区域；
根据所述距离确定所述边缘区域的各个像素点对应的特征权重值，以使远距离像素点对应的特征权重值大于近距离像素点对应的特征权重值；
根据所述特征权重值生成渐变平滑特征图；所述渐变平滑特征图中各个像素点的特征值根据所述特征权重值得到；
将所述渐变平滑特征图中各个像素点的特征值和所述初始局部特征图中对应像素点的特征值进行相乘，根据相乘结果得到所述目标局部特征图。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述输入图像为脸部图像；所述目标局部特征图包括脸部关键部位对应的关键部位特征图；
所述分别基于纹理和形状，对所述全局特征图和所述目标局部特征图进行拼接，得到目标纹理图像和目标形状图像，包括：
分别对各个关键部位特征图的外部区域进行特征值填充，以得到与所述全局特征图尺寸相同的填充关键部位特征图；
将各个所述填充关键部位特征图进行合并，得到脸部器官特征图；
分别基于纹理和形状，对所述全局特征图和所述脸部器官特征图进行拼接，得到所述目标纹理图像和所述目标形状图像。
5.根据权利要求4所述的方法，其特征在于，所述脸部关键部位包括左眼、右眼、鼻子、嘴部中的至少一项。
6.根据权利要求1至3任一项所述的方法，其特征在于，所述全局特征图包括全局纹理特征图和全局形状特征图，所述目标局部特征图包括局部纹理特征图和局部形状特征图；
所述分别基于纹理和形状，对所述全局特征图和所述目标局部特征图进行拼接，得到目标纹理图像和目标形状图像，包括：
对所述全局纹理特征图和局部纹理特征图进行拼接，对拼接得到的特征图进行卷积以对全局纹理特征和局部纹理特征进行整合，得到所述目标纹理图像；
对所述全局形状特征图和局部形状特征图进行拼接，对拼接得到的特征图进行卷积以对全局形状特征和局部形状特征进行整合，得到所述目标形状图像。
7.根据权利要求6所述的方法，其特征在于，所述全局特征图和所述目标局部特征图均对应有至少一个特征通道；
所述对所述全局纹理特征图和局部纹理特征图进行拼接，对拼接得到的特征图进行卷积以对全局纹理特征和局部纹理特征进行整合，得到所述目标纹理图像，包括：
在各个所述特征通道内对所述全局纹理特征图和所述局部纹理特征图进行拼接，对各个所述特征通道拼接得到的特征图进行卷积以对全局纹理特征和局部纹理特征进行整合，得到所述目标纹理图像；
所述对所述全局形状特征图和局部形状特征图进行拼接，对拼接得到的特征图进行卷积以对全局形状特征和局部形状特征进行整合，得到所述目标形状图像，包括：
在各个所述特征通道内对所述全局形状特征图和所述局部形状特征图进行拼接，对各个所述特征通道拼接得到的特征图进行卷积以对全局形状特征和局部形状特征进行整合，得到所述目标形状图像。
8.根据权利要求1至3任一项所述的方法，其特征在于，所述获取输入图像的图像特征系数，包括：
通过卷积自编码器对所述输入图像进行逐层卷积处理；
根据逐层卷积处理的结果得到所述输入图像的纹理特征系数和形状特征系数，作为所述图像特征系数。
9.根据权利要求1至3任一项所述的方法，其特征在于，所述根据所述图像特征系数，分别获取所述输入图像基于纹理和形状的全局特征图和初始局部特征图，包括：
由全局解码器中的反卷积层根据所述图像特征系数对所述输入图像进行特征解码，得到所述全局特征图；
由局部解码器中的反卷积层根据所述图像特征系数对所述输入图像进行特征解码，得到所述初始局部特征图。
10.根据权利要求9所述的方法，其特征在于，所述局部解码器包括脸部关键部位解码器；
所述由局部解码器中的反卷积层根据所述图像特征系数对所述输入图像进行特征解码，得到所述初始局部特征图，包括：
由所述脸部关键部位解码器中的反卷积层，根据所述图像特征系数对所述输入图像进行特征解码，将解码得到的关键部位特征图确定为所述初始局部特征图。
11.根据权利要求1至3任一项所述的方法，其特征在于，所述输入图像为脸部图像；所述根据所述目标纹理图像和所述目标形状图像进行三维模型重建处理，得到目标三维模型之后，还包括：
获取所述目标三维模型对应的二维图像的全局特征点，得到目标特征点；
获取模板三维模型；
获取所述模板三维模型对应的二维图像的局部特征点，得到模板特征点；
将所述目标特征点和所述模板特征点作为成对数据输入到换脸模型中，以使所述换脸模型输出已换脸三维模型；所述已换脸三维模型包含所述目标三维模型中的全局特征且包含所述模板三维模型中的局部特征。
12.根据权利要求11所述的方法，其特征在于，所述获取模板三维模型，包括：
获取预设的模板脸部图像；
获取所述模板脸部图像基于纹理和形状的模板全局特征图和初始模板局部特征图；
对所述初始模板局部特征图进行边缘平滑处理，得到目标模板局部特征图；
分别基于纹理和形状，对所述模板全局特征图和所述目标模板局部特征图进行拼接，得到模板脸部纹理图像和模板脸部形状图像；
根据所述模板脸部纹理图像和所述模板脸部形状图像进行三维模型重建处理，得到所述模板三维模型。
13.一种三维模型重建装置，其特征在于，所述装置包括：
第一系数获取模块，用于获取输入图像的图像特征系数；
特征图获取模块，用于根据所述图像特征系数，分别获取所述输入图像基于纹理和形状的全局特征图和初始局部特征图；
平滑处理模块，用于对所述初始局部特征图进行边缘平滑处理，得到目标局部特征图；
特征图拼接模块，用于分别基于纹理和形状，对所述全局特征图和所述目标局部特征图进行拼接，得到目标纹理图像和目标形状图像；
第一模型重建模块，用于根据所述目标纹理图像和所述目标形状图像进行三维模型重建处理，得到目标三维模型。
14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述方法的步骤。
15.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述方法的步骤。
CN202010969615.0A 2020-09-15 2020-09-15 三维模型重建方法、装置、计算机设备和存储介质 Active CN112102477B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010969615.0A CN112102477B (zh) 2020-09-15 2020-09-15 三维模型重建方法、装置、计算机设备和存储介质
PCT/CN2021/112089 WO2022057526A1 (zh) 2020-09-15 2021-08-11 三维模型重建方法、三维重建模型的训练方法和装置
EP21868354.8A EP4109412A4 (en) 2020-09-15 2021-08-11 METHOD AND APPARATUS FOR RECONSTRUCTING THREE-DIMENSIONAL MODEL, AND METHOD AND APPARATUS FOR FORMING THREE-DIMENSIONAL RECONSTRUCTION MODEL
US17/976,259 US20230048906A1 (en) 2020-09-15 2022-10-28 Method for reconstructing three-dimensional model, method for training three-dimensional reconstruction model, and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010969615.0A CN112102477B (zh) 2020-09-15 2020-09-15 三维模型重建方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112102477A true CN112102477A (zh) 2020-12-18
CN112102477B CN112102477B (zh) 2024-09-27

Family

ID=73760189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010969615.0A Active CN112102477B (zh) 2020-09-15 2020-09-15 三维模型重建方法、装置、计算机设备和存储介质

Country Status (4)

Country Link
US (1) US20230048906A1 (zh)
EP (1) EP4109412A4 (zh)
CN (1) CN112102477B (zh)
WO (1) WO2022057526A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113350801A (zh) * 2021-07-20 2021-09-07 网易（杭州）网络有限公司 模型处理方法、装置、存储介质及计算机设备
WO2022057526A1 (zh) * 2020-09-15 2022-03-24 腾讯科技（深圳）有限公司 三维模型重建方法、三维重建模型的训练方法和装置
CN114926480A (zh) * 2022-05-30 2022-08-19 腾讯科技（深圳）有限公司 一种训练图像分割模型的方法、装置、设备及存储介质
CN115063542A (zh) * 2022-08-18 2022-09-16 江西科骏实业有限公司 一种几何不变量的预测和模型构建方法与系统
CN115147526A (zh) * 2022-06-30 2022-10-04 北京百度网讯科技有限公司 服饰生成模型的训练、生成服饰图像的方法和装置
CN117496091A (zh) * 2023-12-28 2024-02-02 西南石油大学 一种基于局部纹理的单视图三维重建方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116229548A (zh) * 2023-02-20 2023-06-06 网易（杭州）网络有限公司 模型的生成方法及装置、电子设备、存储介质
CN116843833B (zh) * 2023-06-30 2024-09-13 北京百度网讯科技有限公司 三维模型生成方法、装置和电子设备
CN117152733B (zh) * 2023-07-10 2024-06-21 中国地质大学（武汉） 一种地质材料材质识别方法、系统及可读存储介质
CN116993929B (zh) * 2023-09-27 2024-01-16 北京大学深圳研究生院 基于人眼动态变化的三维人脸重建方法、装置及存储介质
CN117495867B (zh) * 2024-01-03 2024-05-31 东莞市星火齿轮有限公司 小模数齿轮精度的视觉检测方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160300383A1 (en) * 2014-09-10 2016-10-13 Shenzhen University Human body three-dimensional imaging method and system
CN107730519A (zh) * 2017-09-11 2018-02-23 广东技术师范学院 一种人脸二维图像到人脸三维重建的方法及系统
CN109118578A (zh) * 2018-08-01 2019-01-01 浙江大学 一种层次化的多视图三维重建纹理映射方法
CN109325437A (zh) * 2018-09-17 2019-02-12 北京旷视科技有限公司 图像处理方法、装置和系统
CN109978989A (zh) * 2019-02-26 2019-07-05 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
CN110738723A (zh) * 2019-10-12 2020-01-31 创新工场(北京)企业管理股份有限公司 一种基于人脸网格模型的纹理贴图生成方法、系统及电子设备
CN111027350A (zh) * 2018-10-10 2020-04-17 成都理工大学 一种基于人脸三维重建的改进pca算法
CN111598111A (zh) * 2020-05-18 2020-08-28 商汤集团有限公司 三维模型生成方法、装置、计算机设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955963B (zh) * 2014-04-30 2017-05-10 崔岩 一种基于 Kinect设备的数字化人体三维重建方法及系统
US9818232B2 (en) * 2015-08-26 2017-11-14 Adobe Systems Incorporated Color-based depth smoothing of scanned 3D model to enhance geometry in 3D printing
CN108765550B (zh) * 2018-05-09 2021-03-30 华南理工大学 一种基于单张图片的三维人脸重建方法
CN111145338B (zh) * 2019-12-17 2023-09-26 桂林理工大学 一种基于单视角rgb图像的椅子模型重建方法及系统
CN112102477B (zh) * 2020-09-15 2024-09-27 腾讯科技（深圳）有限公司 三维模型重建方法、装置、计算机设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160300383A1 (en) * 2014-09-10 2016-10-13 Shenzhen University Human body three-dimensional imaging method and system
CN107730519A (zh) * 2017-09-11 2018-02-23 广东技术师范学院 一种人脸二维图像到人脸三维重建的方法及系统
CN109118578A (zh) * 2018-08-01 2019-01-01 浙江大学 一种层次化的多视图三维重建纹理映射方法
CN109325437A (zh) * 2018-09-17 2019-02-12 北京旷视科技有限公司 图像处理方法、装置和系统
CN111027350A (zh) * 2018-10-10 2020-04-17 成都理工大学 一种基于人脸三维重建的改进pca算法
CN109978989A (zh) * 2019-02-26 2019-07-05 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
CN110738723A (zh) * 2019-10-12 2020-01-31 创新工场(北京)企业管理股份有限公司 一种基于人脸网格模型的纹理贴图生成方法、系统及电子设备
CN111598111A (zh) * 2020-05-18 2020-08-28 商汤集团有限公司 三维模型生成方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LUAN TRAN ET AL.: "Towards High-fidelity Nonlinear 3D Face Morphable Model", 2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 15 June 2019 (2019-06-15), pages 1126 - 1135, XP033686667, DOI: 10.1109/CVPR.2019.00122 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022057526A1 (zh) * 2020-09-15 2022-03-24 腾讯科技（深圳）有限公司 三维模型重建方法、三维重建模型的训练方法和装置
CN113350801A (zh) * 2021-07-20 2021-09-07 网易（杭州）网络有限公司 模型处理方法、装置、存储介质及计算机设备
CN114926480A (zh) * 2022-05-30 2022-08-19 腾讯科技（深圳）有限公司 一种训练图像分割模型的方法、装置、设备及存储介质
CN115147526A (zh) * 2022-06-30 2022-10-04 北京百度网讯科技有限公司 服饰生成模型的训练、生成服饰图像的方法和装置
CN115147526B (zh) * 2022-06-30 2023-09-26 北京百度网讯科技有限公司 服饰生成模型的训练、生成服饰图像的方法和装置
CN115063542A (zh) * 2022-08-18 2022-09-16 江西科骏实业有限公司 一种几何不变量的预测和模型构建方法与系统
CN117496091A (zh) * 2023-12-28 2024-02-02 西南石油大学 一种基于局部纹理的单视图三维重建方法
CN117496091B (zh) * 2023-12-28 2024-03-15 西南石油大学 一种基于局部纹理的单视图三维重建方法

Also Published As

Publication number Publication date
US20230048906A1 (en) 2023-02-16
CN112102477B (zh) 2024-09-27
EP4109412A1 (en) 2022-12-28
WO2022057526A1 (zh) 2022-03-24
EP4109412A4 (en) 2023-11-01

Similar Documents

Publication Publication Date Title
CN112102477B (zh) 三维模型重建方法、装置、计算机设备和存储介质
CN113838176A (zh) 模型的训练方法、三维人脸图像生成方法及设备
CN110246209B (zh) 图像处理方法及装置
US11989846B2 (en) Mixture of volumetric primitives for efficient neural rendering
CN108205803A (zh) 图像处理方法、神经网络模型的训练方法及装置
CN114746904A (zh) 三维人脸重建
CN111127309B (zh) 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置
CN110458924B (zh) 一种三维脸部模型建立方法、装置和电子设备
CN116977522A (zh) 三维模型的渲染方法、装置、计算机设备和存储介质
CN110874575A (zh) 一种脸部图像处理方法及相关设备
CN117557714A (zh) 三维重建方法、电子设备及可读存储介质
Marques et al. Deep spherical harmonics light probe estimator for mixed reality games
CN114202615A (zh) 人脸表情的重建方法、装置、设备和存储介质
DE102021109050A1 (de) Durch ein neuronales generative adversarial netzwerk unterstützte videokompression und -übertragung
CN115984447A (zh) 图像渲染方法、装置、设备和介质
CN116958362A (zh) 图像渲染方法、装置、设备和存储介质
CN116363320B (zh) 重建模型的训练和三维模型重建方法、装置、设备及介质
US20180089882A1 (en) Blend shape system with texture coordinate blending
US20240078773A1 (en) Electronic device generating 3d model of human and its operation method
CN116912148A (zh) 图像增强方法、装置、计算机设备及计算机可读存储介质
CN113223128B (zh) 用于生成图像的方法和装置
CN114943799A (zh) 一种面部图像处理方法、装置和计算机可读存储介质
CN118521699B (zh) 一种虚拟人三维头发丝发型的生成方法及系统
KR102728463B1 (ko) 이미지를 캐릭터 이미지로 카툰화시키는 변환 모델의 구축 방법 및 시스템과, 변환 모델을 사용하는 이미지 변환 방법
CN116229008B (zh) 图像处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40035262

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
TG01 Patent term adjustment
TG01 Patent term adjustment