CN110458924B - 一种三维脸部模型建立方法、装置和电子设备 - Google Patents
一种三维脸部模型建立方法、装置和电子设备 Download PDFInfo
- Publication number
- CN110458924B CN110458924B CN201910667561.XA CN201910667561A CN110458924B CN 110458924 B CN110458924 B CN 110458924B CN 201910667561 A CN201910667561 A CN 201910667561A CN 110458924 B CN110458924 B CN 110458924B
- Authority
- CN
- China
- Prior art keywords
- face
- dimensional
- image
- sample image
- face model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 230000001815 facial effect Effects 0.000 claims description 52
- 239000013598 vector Substances 0.000 claims description 48
- 238000000605 extraction Methods 0.000 claims description 46
- 238000005286 illumination Methods 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 31
- 230000014509 gene expression Effects 0.000 claims description 20
- 238000009877 rendering Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 abstract description 13
- 238000010801 machine learning Methods 0.000 abstract description 9
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 208000032544 Cicatrix Diseases 0.000 description 1
- 208000007256 Nevus Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 231100000241 scar Toxicity 0.000 description 1
- 230000037387 scars Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种三维脸部模型建立方法、装置和电子设备，属于计算机技术领域，涉及人工智能和机器学习技术，基于机器学习技术和人工智能中的计算机视觉技术进行三维物体重建。其中，三维脸部模型建立方法包括：根据获取的脸部图像建立基础三维脸部模型；获取所述基础三维脸部模型相对于所述脸部图像的深度增量图；将所述深度增量图投射至所述基础三维脸部模型的表面，得到细节三维脸部模型。本申请实施例针对获取的脸部图像先建立基础三维脸部模型，然后获取基础三维脸部模型相对于所述脸部图像的深度增量图，将深度增量图投射至基础三维脸部模型的表面，得到细节三维脸部模型，可以提高三维重建的精度，获得更逼真和更自然的细节三维脸部模型。
Description
技术领域
本申请涉及计算机技术领域，更具体地说，涉及一种三维脸部模型建立方法、装置和电子设备。
背景技术
随着计算机技术的迅速发展，三维重建技术在计算机视觉技术领域中得到广泛应用。三维脸部重建作为三维重建技术的重要分支，在影视动画和游戏娱乐、视频监控等领域的应用非常广泛。例如，在游戏行业中，自游戏三维化开始，就有大量的人类角色和拟人化游戏角色被创建出来。随着硬件水平的提升，出现了很多虚拟现实和增强现实的游戏及应用，在这些游戏及应用中，各种角色越来越生动、真实，因此需要高精度三维脸部模型。
现有的三维脸部重建方法主要包括手动建模、基于仪器采集的三维数据建模和基于图像的自动建模等。其中，手动建模作为最早的三维脸部建模手段，目前仍被广泛使用。手段建模一般需要有经验的专业人员借助Autodesk、3DMax等软件来完成，但需要耗费大量的人力和时间成本。基于仪器采集的三维数据建模主要是基于深度相机、结构光或激光扫描仪等精密三维采集仪器采集的三维数据进行三维脸部重建，该方式基于物体的真实三维数据进行建模，精度高，但是所采用的设备一般价格高昂，且使用需要经过专业培训，因此其应用市场受到限制。相对而言，基于图像的自动建模成本较低，现有的基于图像的自动建模方式一般将通用脸部模型作为基础，根据图像中的脸部关键点信息对通用脸部模型进行变形或调整，得到图像中的脸部对应的三维模型，采用该方式进行三维重建精度较低，无法得到逼真和自然的三维脸部模型。
发明内容
为解决现有存在的技术问题，本申请实施例提供一种三维脸部模型建立方法、装置和电子设备，可以提高根据脸部图像建立的细节三维脸部模型的精度。
为达到上述目的，本申请实施例的技术方案是这样实现的：
本申请实施例提供了一种三维脸部模型建立方法，包括：
根据获取的脸部图像建立基础三维脸部模型；
获取所述基础三维脸部模型相对于所述脸部图像的深度增量图；
将所述深度增量图投射至所述基础三维脸部模型的表面，得到细节三维脸部模型。
在一种可选的实施例中，所述根据获取的脸部图像建立基础三维脸部模型，包括：
通过已训练的参数提取网络获取所述脸部图像的脸部特征参数；所述脸部特征参数包括以下参数中的至少一种：形状参数、表情参数和纹理参数；
根据所述脸部特征参数建立基础三维脸部模型。
在一种可选的实施例中，所述参数提取网络包括编码器和解码器；所述通过已训练的参数提取网络获取所述脸部图像脸部特征参数，包括：
通过编码器提取所述脸部图像的特征向量；
将所述特征向量输入解码器，得到所述脸部图像的脸部特征参数。
在一种可选的实施例中，所述将所述深度增量图投射至所述基础三维脸部模型的表面，得到细节三维脸部模型，包括：
将所述深度增量图中的每个点对应投射至所述基础三维脸部模型的表面，得到所述细节三维脸部模型。
本申请实施例还提供了一种三维脸部模型建立装置，包括：
基础模型建立单元，用于根据获取的脸部图像建立基础三维脸部模型；
增量图获取单元，用于获取所述基础三维脸部模型相对于所述脸部图像的深度增量图；
细节模型建立单元，用于将所述深度增量图投射至所述基础三维脸部模型的表面，得到细节三维脸部模型。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上述三维脸部模型建立方法。
本申请实施例还提供了一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器实现上述三维脸部模型建立方法。
本申请实施例的三维脸部模型建立方法、装置和电子设备，针对获取的脸部图像先建立基础三维脸部模型，然后获取基础三维脸部模型相对于所述脸部图像的深度增量图，将深度增量图投射至基础三维脸部模型的表面，得到细节三维脸部模型，可以提高三维重建的精度，获得更逼真和更自然的细节三维脸部模型。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的三维脸部模型建立方法的应用场景图；
图2为本申请实施例提供的一种三维脸部模型建立方法的流程示意图；
图3为本申请实施例提供的一种三维脸部模型建立方法的示意图；
图4为本申请实施例提供的一种训练参数提取网络的流程示意图；
图5为本申请实施例提供的一种训练图片生成网络的流程示意图；
图6为本申请实施例提供的三维脸部模型建立方法的一种具体实例的示意图；
图7为本申请实施例提供的一种三维脸部模型建立装置的结构示意图；
图8为本申请实施例提供的另一种三维脸部模型建立装置的结构示意图；
图9为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
以下对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。
(1)脸部关键点：脸部关键部位标记点，对于人脸而言，关键点一般分布在眉毛、眼睛、鼻子、尾巴和脸部轮廓线等部位。
(2)3DMM(3D morphable model，3D可变模型)参数：在基于输入的脸部图像重建三维脸部模型的过程中使用的参数，主要包括形状参数、表情参数、纹理参数等脸部特征参数和光照参数以及姿势参数。
(3)姿势参数：用于体现相机拍摄角度和拍摄距离的参数。
(4)VGG Face：用于进行特征提取和人脸识别的深度学习神经网络，由牛津大学的视觉几何组(Visual Geometry Group，VGG)提出，采用VGG网络结构。本申请通过利用VGGFace可以从二维脸部图像中提取出脸部特征参数、光照参数和姿势参数等。
(5)球谐光照，一种实时渲染技术，利用该技术可以产生高质量的渲染及阴影效果。
(6)UV空间，一种可以体现目标对象三维坐标信息的二维坐标系统，UV空间用U和V两个字母定义坐标轴。
(7)终端设备，为可以安装各类应用程序，并且能够将已安装的应用程序中提供的对象进行显示的电子设备，该电子设备可以是移动的，也可以是固定的。例如，手机、平板电脑、各类可穿戴设备、车载设备、个人数字助理(personal digital assistant，PDA)、销售终端(point of sales，POS)、地铁站内的监控设备或其它能够实现上述功能的电子设备等。
下面结合附图及具体实施例对本申请作进一步详细的说明。
为了解决现有技术中的三维脸部重建技术精度较低的问题，本申请实施例提供了一种三维脸部模型建立方法、装置和电子设备。本申请实施例涉及人工智能和机器学习技术，基于人工智能中的计算机视觉(Computer Vision,CV)技术和机器学习(MachineLearning,ML)而设计。
计算机视觉技术是指用摄像机或电子设备上的摄像头代替人眼对目标对象进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使采集的图像成为更适合人眼观察或传送给仪器检测的图像。本申请实施例基于计算机视觉技术对电子设备获取的图像进行处理，以实现三维物体重建。
机器学习用于研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径。本申请实施例在三维脸部重建过程中，采用了基于机器学习的人工神经网络，如采用下文中描述的卷积神经网络(Convolutional Neural Network，CNN)和深度神经网络(Deep neural network，DNN)等对样本脸部图像的拍摄角度和光照参数等进行学习，并利用学习结果从输入的脸部图像中提取脸部特征参数，根据提取的脸部特征参数进行三维脸部重建。
本申请实施例提供的三维脸部模型建立方法的应用场景参见图1所示，终端设备11上安装有可以调用拍摄功能的客户端，然后用户10通过终端设备11中安装的客户端拍摄一张用户10的人脸二维图像，然后将该人脸二维图像发送给服务器12，服务器12在接收到用户10的人脸二维图像后，会采用本申请提供的三维脸部模型建立方法，此时用户10的人脸二维图像即为获取的脸部图像。上述方法的实施过程大致为：服务器12根据获取的脸部图像建立基础三维脸部模型，获取基础三维脸部模型相对于脸部图像的深度增量图；将深度增量图投射至基础三维脸部模型的表面，得到细节三维脸部模型。通过采用上述方法，可以获得包含脸部细节特征的三维脸部模型，如人脸上的痣或疤痕等均可以体现在三维脸部模型中，提高得到的脸部三维模型的逼真程度和自然程度。
其中，终端设备11与服务器12之间通过网络进行通信连接，该网络可以为局域网、广域网等。终端设备11可以为便携设备(例如：手机、平板、笔记本电脑等)，也可以为个人电脑(PC，Personal Computer)，服务器12可以为任何能够提供互联网服务的设备，终端设备11中的客户端可以为能够调用拍照功能的客户端，可以为微信、QQ和游戏客户端等等。
需要说明的是，本申请提供的三维脸部模型建立方法除了可以应用于服务器12之外，还可以应用到客户端中，当对终端设备11的处理能力和内存要求不是特别高时，可以由终端设备11实施本申请提供的三维脸部模型建立方法，具体实施过程与服务器12类似，此处不再详细描述。
本申请提供的三维脸部模型建立方法可以根据人脸图像建立三维人脸模型，也可以根据其他小动物的脸部图像建立对应的三维脸部模型。本申请实施例提供的三维脸部模型建立方法的应用场景为，将其应用到虚拟现实等可以使用脸部三维图像的客户端中，比如，游戏中角色的形象使用人脸三维图像；当用户打开一款游戏客户端后，该客户端会提示用户需要利用用户的人脸来创建游戏中的角色，则此时用户需要基于游戏客户端调用拍照功能，然后拍摄一张用户人脸二维图像，然后客户端将该用户的人脸二维图像发送给游戏服务器，游戏服务器在获取到用户的人脸二维图像后，会根据获取的人脸二维图像建立基础三维脸部模型，获取基础三维脸部模型相对于人脸二维图像的深度增量图；将深度增量图投射至基础三维脸部模型的表面，得到细节三维脸部模型，在获得用户的细节三维脸部模型后即可将其应用到游戏中的角色的形象中并通过游戏客户端展示给用户，进而用户可以基于该形象开展游戏，增加了游戏的趣味性。通过采用上述方法使得最终展示给用户的游戏角色的形象与用户人脸的逼真度更高，提高用户的体验度。
本申请提供的三维脸部模型建立方法还可以应用于影视动画、视频追踪、身份识别等其它应用场景中。
下面结合图1所示的应用场景，参考图2-图6来描述根据本申请示例性实施方式提供的三维脸部模型建立方法。需要注意的是，上述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。
图2为本申请实施例提供的三维脸部模型建立方法的流程示意图，图3为本申请实施例提供的三维脸部模型建立方法的示意图。如图2和图3所示，以将其应用到服务器中为例进行说明，服务器实施上述方法的流程可以包括以下步骤：
步骤S201，根据获取的脸部图像建立基础三维脸部模型。
其中，所述脸部图像可以是人脸图像，也可以是动物的脸部图像。脸部图像可以是图片格式的图像，也可以是视频中的图像帧。脸部图像可以是电子设备通过摄像头等图像采集装置实时采集的，也可以是预先保存在存储器中或通过网络下载得到的，本申请实施例不作限制。
在一些实施例中，可以通过已训练的参数提取网络获取所述脸部图像的脸部特征参数；根据获取的脸部特征参数建立基础三维脸部模型。所述脸部特征参数包括以下参数中的至少一种：形状参数、表情参数和纹理参数。
在另一些实施例中，可以采用主成份分析方法(Primary component analysis，简称PCA)对脸部图像进行处理，以获取所述脸部图像的脸部特征参数；根据获取的脸部特征参数建立基础三维脸部模型。
步骤S202，获取基础三维脸部模型相对于脸部图像的深度增量图。
可选地，获取基础三维脸部模型在UV空间上的第一二维图片，并且获取所述脸部图像在UV空间上的第二二维图片。将第一二维图片和第二二维图片输入已训练的图片生成网络，得到深度增量图。所述图片生成网络可以采用U-Net结构神经网络。
步骤S203，将深度增量图投射至基础三维脸部模型的表面，得到细节三维脸部模型。
将深度增量图中的每个点对应投射至基础三维脸部模型的表面，得到细节三维脸部模型。
本申请实施例的三维脸部模型建立方法，针对获取的脸部图像先建立基础三维脸部模型，然后获取基础三维脸部模型相对于所述脸部图像的深度增量图，将深度增量图投射至基础三维脸部模型的表面，得到细节三维脸部模型，可以提高三维重建的精度，获得更逼真和更自然的细节三维脸部模型。
可选地，上述步骤S201可以通过已训练的参数提取网络获取所述脸部图像的脸部特征参数(3DMM参数)。根据获取的脸部特征参数建立基础三维脸部模型。在一些实施例中，所述参数提取网络可以包括编码器和解码器。编码器(Encoder)可以采用全局编码器，用于提取脸部图像的全局特征向量。解码器(Decoder)用于根据得到的全局特征向量获取脸部特征参数，如上述的形状参数、表情参数或纹理参数中的至少一种。例如，全局编码器可以包括多个卷积层和全连接(FC)层，解码器可以包括至少一个全连接层。将脸部图像输入全局编码器，可以得到全局编码器的最后一个全连接层输出的全局特征向量，将所述全局特征向量输入解码器，得到脸部特征参数。
具体实施时，本申请所使用的参数提取网络可以是但不限于为VGG Face网络结构或FaceNet网络结构等。以VGG Face网络为例，VGG Face网络可以理解为一种特征提取器，包括多个卷积层和全连接(FC)层，将人脸图像输入VGG Face网络，可以得到所述人脸图像的脸部特征参数。可选地，参数提取网络还可以输出脸部图像的光照参数和姿势参数，光照参数和姿势参数在训练参数提取网络的过程中使用。
所述脸部特征参数可以包括形状参数、表情参数或纹理参数中的至少一种，其中，形状参数是指脸部图像中的各个像素点对应的三维空间坐标，尤其是脸部图像中的脸部关键点所对应的像素点的三维空间坐标。表情参数是指可以表征面部表情类型的参数，表情参数基于形状参数确定，如可以根据面部某个部位的像素点集合中每个像素点的三维空间坐标，确定对应的表情参数。纹理参数是指脸部图像的RGB特征的纹理参数。
在一种实施例中，可以获取脸部图像的形状参数和纹理参数，根据形状参数和纹理参数建立基础三维脸部模型。
具体地，形状参数可以采用如下表达式来表示：
S＝(xi,yi,zi)T；i＝1,2,......n；
其中，i表示脸部图像中的像素点的序号，n表示脸部图像中像素点的总数。S表示形状参数组成的矩阵，xi表示第i个像素点的x轴坐标，yi表示第i个像素点的y轴坐标，zi表示第i个像素点的z轴坐标。
纹理参数可以采用如下表达式来表示：
T＝(Ri,Gi,Bi)T；i＝1,2,......n；
其中，i表示脸部图像中的像素点的序号，n表示脸部图像中像素点的总数。T表示纹理参数组成的矩阵，Ri表示第i个像素点在红色颜色空间中的像素值，Gi表示第i个像素点在绿色颜色空间中的像素值，Bi表示第i个像素点在蓝色颜色空间中的像素值。
得到的基础三维脸部模型可以通过如下表达式来表示：M＝(S,T)。其中，M代表基础三维脸部模型。
在另一种实施例中，可以获取脸部图像的形状参数、表情参数和纹理参数，根据形状参数和纹理参数建立基础三维脸部模型。其中表情参数可以采用ej表示。j表示脸部图像中的像素点集合的序号。
在该实施例中，基础三维脸部模型可以表示为：M＝(Snew,Tnew)。可选地，
上式中，Snew包含了表情参数和形状参数；si表示脸部图像中第i个像素点的三维空间坐标，n表示脸部图像中像素点的总数；αi为第i个像素点的三维空间坐标对应的系数；ej表示脸部图像中第j个像素点集合对应的表情参数；βj为第j个像素点集合对应的系数；m表示脸部图像中像素点集合的总数；Tnew包含纹理参数；ti表示脸部图像中第i个像素点的对应的纹理参数，μi为第j个像素点的纹理参数对应的系数。si＝(xi,yi,zi)；ti＝(Ri,Gi,Bi)。
或者，
在步骤S202中，可以将基础三维脸部模型通过圆柱体展开或其它展开方式展开，得到基础三维脸部模型在UV空间上的第一二维图片。将获取的脸部图像通过圆柱体展开或其它展开方式展开，得到基础三维脸部模型在UV空间上的第二二维图片。第一二维图片和第二二维图片均为UV图片。将第一二维图片和第二二维图片输入已训练的图片生成网络，得到深度增量图，深度增量图也是UV图片。
所述图片生成网络可以采用U-Net结构的神经网络。U-Net网络包括两部分。第一部分为特征提取部分，也可以称为下采样部分，包括多个卷积层和池化层，卷积层和池化层间隔设置，相邻两个池化层之间可以设置多个卷积层，每次经过池化层时，图像的尺度将发生变化；特征提取部分可以采用VGG网络实现。第二部分为上采样部分，上采样部分可以看作是卷积运算的逆运算，每上采样一次，就与特征提取部分对应的通道数相同的尺度的输出进行一次融合。第一二维图片和第二二维图片均为三个通道的图片，将第一二维图片和第二二维图片拼接在一起，生成六个通道的图片，将生成的六个通道的图片输入图片生成网络，经过特征提取和上采样后，得到一个通道的深度增量图。
深度增量图为UV图片，包含基础三维脸部模型的表面空间与UV空间之间的对应关系。或者说，将基础三维脸部模型理解为包括多个多边形网格，每个多边形网格的顶点均在深度增量图中对应有一个点，确定深度增量图中的每个点所对应的基础三维脸部模型表面的顶点，即可将深度增量图投射或铺盖在基础三维脸部模型上。也就是说，将深度增量图中的每个点对应投射至基础三维脸部模型的表面，可以得到细节三维脸部模型。
由于深度增量图体现了基础三维脸部模型与输入的脸部图像之间的深度差异，将深度增量图投射至基础三维脸部模型的表面，可以将脸部的细节特征补充至基础三维脸部模型上，可以得到包含细节特征的细节三维脸部模型，使得到的脸部模型更逼真和更自然，应用于游戏场景和影视动画中时，可以进一步提高用户体验，应用于视频跟踪系统时，更便于跟踪目标对象，避免出现跟踪错误的情况。
在本申请实施例提供的三维脸部重建方法中，机器学习的过程使用了两个神经网络：参数提取网络和图片生成网络。以下分别对参数提取网络和图片生成网络的训练过程进行介绍。
如图4所示，参数提取网络的训练过程包括如下步骤：
步骤S401，获取训练样本集。
所述训练样本集中包括多张脸部样本图像。训练样本集中的脸部样本图像可以是用户通过摄像头采集地，也可以是通过网络下载的。示例性地，可以采用FWH人脸数据库作为训练样本集。FWH人脸数据库是由浙江大学在2012年提出的含有表情的人脸数据库。
步骤S402，将获取的训练样本集中的脸部样本图像输入可训练的参数提取网络，得到脸部样本图像的脸部特征参数、光照参数和姿势参数。
步骤S403，根据脸部样本图像的脸部特征参数建立脸部样本图像对应的基础三维脸部模型。
步骤S404，根据脸部样本图像的光照参数和姿势参数，对脸部样本图像对应的基础三维脸部模型进行渲染处理，得到脸部样本图像对应的二维重构图像。
模拟脸部样本图像的光照参数和姿势参数，例如，可以采用球谐光照模型模拟脸部样本图像的光照参数，利用正交投影技术模拟脸部样本图像的姿势参数构建相机，然后模拟出一个与拍摄脸部样本图像的光照参数和姿势参数一致的环境，如确定光源及打光位置，相机拍摄角度和距离等，对脸部样本图像对应的基础三维脸部模型进行拍照处理即可渲染出脸部样本图像对应的二维重构图像。
需要说明的是，可以采用透视投影方法代替正交投影方法，还可以利用冯氏反射模型(phong reflection model)来代替球谐光照模型。
步骤S405，将脸部样本图像与二维重构图像进行对比，确定第一损失值。
获取脸部样本图像与二维重构图像之间的差异，根据脸部样本图像与二维重构图像之间的差异确定第一损失值。所述差异包括以下至少一种或组合：脸部关键点的位置差异、像素点的像素值差异、特征向量差异；所述脸部关键点的位置差异指相互对应的脸部关键点在所述脸部样本图像与所述二维重构图像中的位置差异；所述像素点的像素值差异指相互对应的像素点在所述脸部样本图像与所述二维重构图像中的像素值差异；所述特征向量差异指所述脸部样本图像的特征向量与所述二维重构图像的特征向量之间的差异。
在一种实施例中，获取脸部样本图像与二维重构图像的脸部关键点的位置差异，通过限制位置差异，可以使脸部样本图像与二维重构图像对齐。例如，采用人脸检测器分别确定脸部样本图像与二维重构图像中的脸部关键点的位置，一般包括68个脸部关键点，确定脸部样本图像中的68个脸部关键点在二维重构图像中对应的脸部关键点，通过L2距离公式计算每对相互对应的脸部关键点在脸部样本图像与二维重构图像中的位置差异。根据脸部关键点的位置差异确定第一损失值。
在另一种实施例中，获取脸部样本图像与二维重构图像的像素点的像素值差异。通过缩小像素值差异可以使得网络获得更好的纹理信息。例如，可以采用L21距离公式确定每对相互对应的像素点在脸部样本图像与二维重构图像中的像素值差异(RGB差异)。根据脸部像素点的像素值差异确定第一损失值。
在另一种实施例中，获取脸部样本图像与二维重构图像的特征向量差异，即验证身份一致性。例如，可以通过特征提取网络分别提取脸部样本图像与二维重构图像中的特征向量，计算两个特征向量的欧式距离，将两个特征向量的欧式距离作为脸部样本图像与二维重构图像的像素点的特征向量差异，根据特征向量差异确定第一损失值。
在另一种实施例中，可以获取脸部样本图像与二维重构图像的脸部关键点的位置差异和像素点的像素值差异，根据脸部关键点的位置差异和像素点的像素值差异及各自对应的权重确定第一损失值。或者，获取脸部样本图像与二维重构图像的像素点的像素值差异和特征向量差异，根据像素点的像素值差异和特征向量差异及各自对应的权重确定第一损失值。或者，获取脸部样本图像与二维重构图像的像素点的像素值差异和特征向量差异，根据脸部关键点的位置差异和特征向量差异及各自对应的权重确定第一损失值。
在另一种实施例中，可以获取脸部样本图像与二维重构图像的脸部关键点的位置差异、像素点的像素值差异和特征向量差异，根据脸部关键点的位置差异、像素点的像素值差异和特征向量差异以及各差异对应的权重确定第一损失值。该实施例比较了关键点一致性(landmark loss)，图像之间像素值一致性(photometric loss)，图像中人物的身份一致性(perceptual loss)。从而可以使训练得到的网络能够更获取更准确的脸部特征参数，并提高网络模型的鲁棒性，在对比较粗糙的脸部图像进行处理时，也能输出较准确的脸部特征参数。
步骤S406，判断第一损失值是否收敛至预设的期望值；如果是，执行步骤S408，如果否，执行步骤S407。
步骤S407，根据第一损失值调整参数提取网络的网络参数。
利用调整后的参数提取网络返回执行步骤S402，重新提取根据脸部样本图像的脸部特征参数、光照参数和姿势参数。
步骤S408，将当前的参数提取网络作为已训练的参数提取网络。
如图5所示，图片生成网络的训练过程包括如下步骤：
步骤S501，获取训练样本集。
该训练样本集可以采用与训练参数提取网络相同的训练样本集，也可以采用与训练参数提取网络不同的训练样本集。
步骤S502，对于训练样本集中的任意一个脸部样本图像，获取脸部样本图像的脸部特征参数、光照参数和姿势参数。
步骤S503，根据脸部样本图像的脸部特征参数建立脸部样本图像对应的基础三维脸部模型。
步骤S504，通过可训练的图片生成网络获取脸部样本图像对应的深度增量图。
所述脸部样本图像对应的深度增量图是所述脸部样本图像对应的基础三维脸部模型相对于所述脸部样本图像的深度增量图。
步骤S505，根据脸部样本图像对应的深度增量图和基础三维脸部模型，确定脸部样本图像对应的细节三维脸部模型。
步骤S506，根据脸部样本图像的光照参数和姿势参数，对脸部样本图像对应的细节三维脸部模型进行渲染处理，得到脸部样本图像对应的重构图像。
模拟步骤S502获取的脸部样本图像的光照参数和姿势参数，例如，可以采用球谐光照模型模拟脸部样本图像的光照参数，利用正交投影技术模拟脸部样本图像的姿势参数构建相机，然后模拟出一个与拍摄脸部样本图像的光照参数和姿势参数一致的环境，如确定光源及打光位置，相机拍摄角度和距离等，对脸部样本图像对应的细节三维脸部模型进行拍照处理即可渲染出脸部样本图像对应的重构图像。
步骤S507，根据脸部样本图像和重构图像，确定第二损失值。
在一些实施例中，可以参照上述确定第一损失值的方式确定第二损失值，在此不再赘述。
在另一些实施例中，也可以采用如下步骤替代步骤S507，即根据脸部样本图像和重构图像，以及脸部样本图像对应的深度增量图，确定第二损失值。
具体地，可以获取脸部样本图像与重构图像之间的差异，并获取脸部样本图像对应的深度增量图的平滑度和增量值，根据脸部样本图像与重构图像之间的差异、深度增量图的平滑度和增量值以及各自对应的权重确定第二损失值。
其中，所述脸部样本图像与重构图像之间的差异包括以下至少一种或组合：脸部关键点的位置差异、像素点的像素值差异、特征向量差异；所述脸部关键点的位置差异指相互对应的脸部关键点在所述脸部样本图像与所述重构图像中的位置差异；所述像素点的像素值差异指相互对应的像素点在所述脸部样本图像与所述重构图像中的像素值差异；所述特征向量差异指所述脸部样本图像的特征向量与所述重构图像的特征向量之间的差异。
所述深度增量图的平滑度指深度增量图的任意一个像素点与其相邻的8个像素点之间的增量差值。所述深度增量图的增量值是指所述深度增量图中的像素点集合的平均增量值中的最大值，所述像素点集合包括彼此相邻的多个像素点。通过深度增量图的平滑约束(smoothing loss)和增量大小(regularization loss)的约束，可以使生成的细节三维脸部模型尽可能接近原始的脸部图像，并且在重建人脸的过程中控制细节的幅度，防止脸部变形。
步骤S508，判断第二损失值是否收敛至预设的期望值；如果是，执行步骤S510，如果否，执行步骤S509。
步骤S509，根据第二损失值调整图片生成网络的网络参数。
利用调整后的图片生成网络重新返回执行步骤S504，重新获取所述脸部样本图像对应的深度增量图。
步骤S510，将当前的图片生成网络作为已训练的图片生成网络。
本申请实施例提供的三维脸部模型建立方法，可以使生成的细节三维人脸模型具有更逼真的肤色，与输入的脸部图像中的人脸更加神似，以及可以保留更多的细节信息。经试验验证，本方法在不同分辨率和不同光照条件下，均能生成比较逼真的三维人脸模型，说明了该方法具有很好的鲁棒性。而且通过单张图片即可生成三维人脸模型，数据容易获取，具有很高的普适性。
在一种具体实施例中，采用本申请实施例提供的三维脸部模型建立方法，针对获取的人脸图像生成细节三维脸部模型的过程如图6所示。首先将获取的人脸图像输入已训练的参数提取网络，获取该人脸图像的脸部特征参数，根据获取的脸部特征参数生成基础三维脸部模型。将获取的人脸图像展开至UV空间，得到UV图片a，将基础三维脸部模型展开至UV空间，得到UV图片b。将UV图片a和UV图片b输入已训练的图片生成网络，得到深度增量图。将深度增量图中的深度增量信息补充至基础三维脸部模型中，得到细节三维脸部模型，然后可以利用获得的细节三维脸部模型执行相应操作。如图6可见，得到的细节三维脸部模型中包含表情信息。
与上述方法实施例相对应地，本申请实施例还提供了一种三维脸部模型建立装置。图7为本申请实施例的提供的三维脸部模型建立装置的结构示意图；如图7所示，所述三维脸部模型建立装置包括信息基础模型建立单元71、增量图获取单元72和细节模型建立单元73。其中，
基础模型建立单元71，用于根据获取的脸部图像建立基础三维脸部模型；
增量图获取单元72，用于获取所述基础三维脸部模型相对于所述脸部图像的深度增量图；
细节模型建立单元73，用于将所述深度增量图投射至所述基础三维脸部模型的表面，得到细节三维脸部模型。
在一种可能的实现方式中，所述基础模型建立单元71还可以用于：
通过已训练的参数提取网络获取所述脸部图像的脸部特征参数；所述脸部特征参数包括以下参数中的至少一种：形状参数、表情参数和纹理参数；
根据所述脸部特征参数建立基础三维脸部模型。
在一种可能的实现方式中，所述参数提取网络包括编码器和解码器；所述基础模型建立单元71还可以用于：通过编码器提取所述脸部图像的特征向量；将所述特征向量输入解码器，得到所述脸部图像的脸部特征参数。
在一种可能的实现方式中，如图8所示，上述装置还包括训练单元81，所述训练单元81用于对所述参数提取网络的进行训练，具体用于：
将获取的训练样本集中的脸部样本图像输入可训练的参数提取网络，得到所述脸部样本图像的脸部特征参数、光照参数和姿势参数；
根据所述脸部样本图像的脸部特征参数建立所述脸部样本图像对应的基础三维脸部模型；
根据所述脸部样本图像的光照参数和姿势参数，对所述脸部样本图像对应的基础三维脸部模型进行渲染处理，得到所述脸部样本图像对应的二维重构图像；
将所述脸部样本图像与所述二维重构图像进行对比，确定第一损失值；
根据第一损失值调整所述参数提取网络的网络参数，并利用调整后的参数提取网络重新提取所述根据所述脸部样本图像的脸部特征参数、光照参数和姿势参数；
直至所述第一损失值收敛至预设的期望值时，获得已训练的参数提取网络。
在一种可能的实现方式中，所述训练单元81还可以用于：
获取所述脸部样本图像与所述二维重构图像的差异，所述差异包括以下至少一种或组合：脸部关键点的位置差异、像素点的像素值差异、特征向量差异；所述脸部关键点的位置差异指相互对应的脸部关键点在所述脸部样本图像与所述二维重构图像中的位置差异；所述像素点的像素值差异指相互对应的像素点在所述脸部样本图像与所述二维重构图像中的像素值差异；所述特征向量差异指所述脸部样本图像的特征向量与所述二维重构图像的特征向量之间的差异；
根据所述脸部样本图像与所述二维重构图像的差异确定第一损失值。
在一种可能的实现方式中，所述脸部样本图像与所述二维重构图像的差异包括脸部关键点的位置差异、像素点的像素值差异和特征向量差异；所述训练单元81还可以用于：
根据所述脸部关键点的位置差异、所述像素点的像素值差异和所述特征向量差异以及各差异对应的权重确定第一损失值。
在一种可能的实现方式中，所述增量图获取单元72还可以用于：
获取所述基础三维脸部模型在UV空间上的第一二维图片以及所述脸部图像在所述UV空间上的第二二维图片；
将所述第一二维图片和所述第二二维图片输入已训练的图片生成网络，得到所述深度增量图。
在一种可能的实现方式中，所述训练单元81还可以用于对图片生成网络进行训练，具体用于：
对于训练样本集中的任意一个脸部样本图像，获取所述脸部样本图像的脸部特征参数、光照参数和姿势参数；
根据所述脸部样本图像的脸部特征参数建立所述脸部样本图像对应的基础三维脸部模型；
通过可训练的图片生成网络获取所述脸部样本图像对应的深度增量图；所述脸部样本图像对应的深度增量图是所述脸部样本图像对应的基础三维脸部模型相对于所述脸部样本图像的深度增量图；
根据所述脸部样本图像对应的深度增量图和基础三维脸部模型，确定所述脸部样本图像对应的细节三维脸部模型；
根据所述脸部样本图像的光照参数和姿势参数，对所述脸部样本图像对应的细节三维脸部模型进行渲染处理，得到所述脸部样本图像对应的重构图像；
根据所述脸部样本图像和所述重构图像，确定第二损失值；或者，根据所述脸部样本图像和所述重构图像，以及所述脸部样本图像对应的深度增量图，确定第二损失值；
根据第二损失值调整所述图片生成网络的网络参数，并利用调整后的图片生成网络重新获取所述脸部样本图像对应的深度增量图；
直至所述第二损失值收敛至预设的期望值时，获得已训练的图片生成网络。
在一种可能的实现方式中，训练单元81还可以用于：
获取所述脸部样本图像与所述重构图像的差异；
获取所述脸部样本图像对应的深度增量图的平滑度和增量值；
根据所述脸部样本图像与所述重构图像的差异、所述深度增量图的平滑度和增量值以及各自对应的权重确定第二损失值。
在一种可能的实现方式中，所述细节模型建立单元73还可以用于：
将所述深度增量图中的每个点对应投射至所述基础三维脸部模型的表面，得到所述细节三维脸部模型。
本申请实施例的三维脸部模型建立装置，针对获取的脸部图像先建立基础三维脸部模型，然后获取基础三维脸部模型相对于所述脸部图像的深度增量图，将深度增量图投射至基础三维脸部模型的表面，可以将脸部的细节特征补充至基础三维脸部模型上，可以得到包含细节特征的细节三维脸部模型，使得到的脸部模型更逼真和更自然，应用于游戏场景和影视动画中时，可以进一步提高用户体验，应用于视频跟踪系统时，更便于跟踪目标对象，避免出现跟踪错误的情况。
与上述方法实施例相对应地，本申请实施例还提供了一种电子设备。所述电子设备可以是图1中所示的服务器12或终端设备11，也可以是智能手机、平板电脑，手提电脑或计算机等电子设备，所述电子设备至少包括用于存储数据的存储器和用于数据处理的处理器。其中，对于用于数据处理的处理器而言，在执行处理时，可以采用微处理器、CPU、DSP或FPGA实现；对于存储器来说，包含操作指令，该操作指令可以为计算机可执行代码，通过所述操作指令来实现上述本申请实施例三维脸部模型建立方法流程中的各个步骤。
图9为本申请实施例提供的一种电子设备的结构示意图；如图9所示，本申请实施例中所述电子设备90包括：处理器91、显示器92、存储器93、输入设备96、总线95和通讯设备94；所述处理器91、存储器93、输入设备96、显示器92和通讯设备94均通过总线95连接，所述总线95用于所述处理器91、存储器93、显示器92、通讯设备94和输入设备96之间传输数据。
所述处理器91，用于执行上述的三维脸部模型建立方法，根据输入的脸部图像生成对应的细节三维脸部模型，并输出至显示器92展示给用户。
具体地，所述处理器91，用于根据获取的脸部图像建立基础三维脸部模型；获取所述基础三维脸部模型相对于所述脸部图像的深度增量图；将所述深度增量图投射至所述基础三维脸部模型的表面，得到细节三维脸部模型。
在一种可能的实现方式中，所述处理器91，具体用于：通过已训练的参数提取网络获取所述脸部图像的脸部特征参数；所述脸部特征参数包括以下参数中的至少一种：形状参数、表情参数和纹理参数；根据所述脸部特征参数建立基础三维脸部模型。
在一种可能的实现方式中，所述参数提取网络包括编码器和解码器；所述处理器91，具体用于：通过编码器提取所述脸部图像的特征向量；将所述特征向量输入解码器，得到所述脸部图像的脸部特征参数。
在一种可能的实现方式中，所述处理器91还可以用于对参数提取网络进行训练，具体用于：将获取的训练样本集中的脸部样本图像输入可训练的参数提取网络，得到所述脸部样本图像的脸部特征参数、光照参数和姿势参数；根据所述脸部样本图像的脸部特征参数建立所述脸部样本图像对应的基础三维脸部模型；根据所述脸部样本图像的光照参数和姿势参数，对所述脸部样本图像对应的基础三维脸部模型进行渲染处理，得到所述脸部样本图像对应的二维重构图像；将所述脸部样本图像与所述二维重构图像进行对比，确定第一损失值；根据第一损失值调整所述参数提取网络的网络参数，并利用调整后的参数提取网络重新提取所述根据所述脸部样本图像的脸部特征参数、光照参数和姿势参数；直至所述第一损失值收敛至预设的期望值时，获得已训练的参数提取网络。
在一种可能的实现方式中，所述处理器91，具体用于：获取所述脸部样本图像与所述二维重构图像的差异，所述差异包括以下至少一种或组合：脸部关键点的位置差异、像素点的像素值差异、特征向量差异；所述脸部关键点的位置差异指相互对应的脸部关键点在所述脸部样本图像与所述二维重构图像中的位置差异；所述像素点的像素值差异指相互对应的像素点在所述脸部样本图像与所述二维重构图像中的像素值差异；所述特征向量差异指所述脸部样本图像的特征向量与所述二维重构图像的特征向量之间的差异；根据所述脸部样本图像与所述二维重构图像的差异确定第一损失值。
在一种可能的实现方式中，所述脸部样本图像与所述二维重构图像的差异包括脸部关键点的位置差异、像素点的像素值差异和特征向量差异；所述处理器91，具体用于：根据所述脸部关键点的位置差异、所述像素点的像素值差异和所述特征向量差异以及各差异对应的权重确定第一损失值。
在一种可能的实现方式中，所述处理器91，具体用于：获取所述基础三维脸部模型在UV空间上的第一二维图片以及所述脸部图像在所述UV空间上的第二二维图片；将所述第一二维图片和所述第二二维图片输入已训练的图片生成网络，得到所述深度增量图。
在一种可能的实现方式中，所述处理器91还可以用于对图片生成网络进行训练，具体用于：对于训练样本集中的任意一个脸部样本图像，获取所述脸部样本图像的脸部特征参数、光照参数和姿势参数；根据所述脸部样本图像的脸部特征参数建立所述脸部样本图像对应的基础三维脸部模型；通过可训练的图片生成网络获取所述脸部样本图像对应的深度增量图；所述脸部样本图像对应的深度增量图是所述脸部样本图像对应的基础三维脸部模型相对于所述脸部样本图像的深度增量图；根据所述脸部样本图像对应的深度增量图和基础三维脸部模型，确定所述脸部样本图像对应的细节三维脸部模型；根据所述脸部样本图像的光照参数和姿势参数，对所述脸部样本图像对应的细节三维脸部模型进行渲染处理，得到所述脸部样本图像对应的重构图像；根据所述脸部样本图像和所述重构图像，确定第二损失值；或者，根据所述脸部样本图像和所述重构图像，以及所述脸部样本图像对应的深度增量图，确定第二损失值；根据第二损失值调整所述图片生成网络的网络参数，并利用调整后的图片生成网络重新获取所述脸部样本图像对应的深度增量图；直至所述第二损失值收敛至预设的期望值时，获得已训练的图片生成网络。
在一种可能的实现方式中，所述处理器91具体用于：获取所述脸部样本图像与所述重构图像的差异；获取所述脸部样本图像对应的深度增量图的平滑度和增量值；根据所述脸部样本图像与所述重构图像的差异、所述深度增量图的平滑度和增量值以及各自对应的权重确定第二损失值。
在一种可能的实现方式中，所述处理器91具体用于：将所述深度增量图中的每个点对应投射至所述基础三维脸部模型的表面，得到所述细节三维脸部模型。
当电子设备为终端设备时，所述处理器91还通过通讯设备94与服务器连接。当电子设备为服务器时，所述处理器91还通过通讯设备94与多个终端设备连接。
所述输入设备96主要用于获得用户的输入操作，当所述电子设备不同时，所述输入设备96也可能不同。例如，当所述电子设备为计算机时，所述输入设备96可以为鼠标、键盘等输入设备；当所述电子设备为智能手机、平板电脑等便携设备时，所述输入设备96可以为触控屏。
本实施例中，所述存储器93中存储有计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于本申请实施例所述的三维脸部模型建立方法。
在一些可能的实施方式中，本申请提供的三维脸部模型建立方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的三维脸部模型建立方法的步骤，例如，所述计算机设备可以执行如图2所示的步骤S201～步骤S203中三维脸部模型建立流程。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的用于三维脸部模型建立方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种三维脸部模型建立方法，其特征在于，所述方法包括：
根据获取的脸部图像建立基础三维脸部模型；
获取所述基础三维脸部模型在UV空间上的第一二维图片以及所述脸部图像在所述UV空间上的第二二维图片；
将所述第一二维图片和所述第二二维图片输入已训练的图片生成网络，得到所述基础三维脸部模型相对于所述脸部图像的深度增量图；
将所述深度增量图投射至所述基础三维脸部模型的表面，得到细节三维脸部模型。
2.根据权利要求1所述的方法，其特征在于，所述根据获取的脸部图像建立基础三维脸部模型，包括：
通过已训练的参数提取网络获取所述脸部图像的脸部特征参数；所述脸部特征参数包括以下参数中的至少一种：形状参数、表情参数和纹理参数；
根据所述脸部特征参数建立所述基础三维脸部模型。
3.根据权利要求2所述的方法，其特征在于，所述参数提取网络的训练过程包括：
将获取的训练样本集中的脸部样本图像输入可训练的参数提取网络，得到所述脸部样本图像的脸部特征参数、光照参数和姿势参数；
根据所述脸部样本图像的脸部特征参数建立所述脸部样本图像对应的基础三维脸部模型；
根据所述脸部样本图像的光照参数和姿势参数，对所述脸部样本图像对应的基础三维脸部模型进行渲染处理，得到所述脸部样本图像对应的二维重构图像；
将所述脸部样本图像与所述二维重构图像进行对比，确定第一损失值；
根据所述第一损失值调整所述参数提取网络的网络参数，并利用调整后的参数提取网络重新提取所述脸部样本图像的脸部特征参数、光照参数和姿势参数；
直至所述第一损失值收敛至预设的期望值时，获得已训练的参数提取网络。
4.根据权利要求3所述的方法，其特征在于，所述将所述脸部样本图像与所述二维重构图像进行对比，确定第一损失值，包括：
获取所述脸部样本图像与所述二维重构图像之间的差异，所述差异包括以下至少一种或组合：脸部关键点的位置差异、像素点的像素值差异、特征向量差异；所述脸部关键点的位置差异指相互对应的脸部关键点在所述脸部样本图像与所述二维重构图像中的位置差异；所述像素点的像素值差异指相互对应的像素点在所述脸部样本图像与所述二维重构图像中的像素值差异；所述特征向量差异指所述脸部样本图像的特征向量与所述二维重构图像的特征向量之间的差异；
根据所述脸部样本图像与所述二维重构图像之间的差异确定所述第一损失值。
5.根据权利要求4所述的方法，其特征在于，所述脸部样本图像与所述二维重构图像之间的差异包括脸部关键点的位置差异、像素点的像素值差异和特征向量差异；
所述根据所述脸部样本图像与所述二维重构图像之间的差异确定所述第一损失值，包括：
根据所述脸部关键点的位置差异、所述像素点的像素值差异和所述特征向量差异以及各差异对应的权重确定所述第一损失值。
6.根据权利要求1所述的方法，其特征在于，所述图片生成网络的训练过程包括：
对于训练样本集中的任意一个脸部样本图像，获取所述脸部样本图像的脸部特征参数、光照参数和姿势参数；
根据所述脸部样本图像的脸部特征参数建立所述脸部样本图像对应的基础三维脸部模型；
通过可训练的图片生成网络获取所述脸部样本图像对应的深度增量图；所述脸部样本图像对应的深度增量图是所述脸部样本图像对应的基础三维脸部模型相对于所述脸部样本图像的深度增量图；
根据所述脸部样本图像对应的深度增量图和基础三维脸部模型，确定所述脸部样本图像对应的细节三维脸部模型；
根据所述脸部样本图像的光照参数和姿势参数，对所述脸部样本图像对应的细节三维脸部模型进行渲染处理，得到所述脸部样本图像对应的重构图像；
根据所述脸部样本图像和所述重构图像，确定第二损失值；或者，根据所述脸部样本图像和所述重构图像，以及所述脸部样本图像对应的深度增量图，确定第二损失值；
根据所述第二损失值调整所述图片生成网络的网络参数，并利用调整后的图片生成网络重新获取所述脸部样本图像对应的深度增量图；
直至所述第二损失值收敛至预设的期望值时，获得已训练的图片生成网络。
7.根据权利要求6所述的方法，其特征在于，所述根据所述脸部样本图像和所述重构图像，以及所述脸部样本图像对应的深度增量图，确定第二损失值，包括：
获取所述脸部样本图像与所述重构图像之间的差异；
获取所述脸部样本图像对应的深度增量图的平滑度和增量值；
根据所述脸部样本图像与所述重构图像之间的差异、所述深度增量图的平滑度和增量值以及各自对应的权重确定第二损失值。
8.一种三维脸部模型建立装置，其特征在于，包括：
基础模型建立单元，用于根据获取的脸部图像建立基础三维脸部模型；
增量图获取单元，用于获取所述基础三维脸部模型在UV空间上的第一二维图片以及所述脸部图像在所述UV空间上的第二二维图片，以及将所述第一二维图片和所述第二二维图片输入已训练的图片生成网络，得到所述基础三维脸部模型相对于所述脸部图像的深度增量图；
细节模型建立单元，用于将所述深度增量图投射至所述基础三维脸部模型的表面，得到细节三维脸部模型。
9.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，其特征在于：所述计算机程序被处理器执行时，实现权利要求1～7中任一项所述的方法。
10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器实现所述权利要求1～7中任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910667561.XA CN110458924B (zh) | 2019-07-23 | 2019-07-23 | 一种三维脸部模型建立方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910667561.XA CN110458924B (zh) | 2019-07-23 | 2019-07-23 | 一种三维脸部模型建立方法、装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110458924A CN110458924A (zh) | 2019-11-15 |
| CN110458924B true CN110458924B (zh) | 2021-03-12 |
Family
ID=68483171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910667561.XA Active CN110458924B (zh) | 2019-07-23 | 2019-07-23 | 一种三维脸部模型建立方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110458924B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111652960B (zh) * | 2020-05-07 | 2022-07-15 | 浙江大学 | 基于可微渲染器的从单幅图像求解人脸反射材质的方法 |
| CN112435284B (zh) * | 2020-11-20 | 2024-10-18 | 上海联影智能医疗科技有限公司 | 图像配准方法、电子设备及存储介质 |
| CN112562059B (zh) * | 2020-11-24 | 2023-12-08 | 革点科技(深圳)有限公司 | 一种自动化结构光图案设计方法 |
| CN114120414B (zh) * | 2021-11-29 | 2022-11-01 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备和介质 |
| CN114170379A (zh) * | 2021-11-30 | 2022-03-11 | 聚好看科技股份有限公司 | 一种三维模型重建方法、装置及设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106910247A (zh) * | 2017-03-20 | 2017-06-30 | 厦门幻世网络科技有限公司 | 用于生成三维头像模型的方法和装置 |
| CN109978989A (zh) * | 2019-02-26 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 三维人脸模型生成方法、装置、计算机设备及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105719326A (zh) * | 2016-01-19 | 2016-06-29 | 华中师范大学 | 一种基于单张照片的真实感人脸生成方法 |
| US10839585B2 (en) * | 2018-01-05 | 2020-11-17 | Vangogh Imaging, Inc. | 4D hologram: real-time remote avatar creation and animation control |
| CN109035388B (zh) * | 2018-06-28 | 2023-12-05 | 合肥的卢深视科技有限公司 | 三维人脸模型重建方法及装置 |
-
2019
- 2019-07-23 CN CN201910667561.XA patent/CN110458924B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106910247A (zh) * | 2017-03-20 | 2017-06-30 | 厦门幻世网络科技有限公司 | 用于生成三维头像模型的方法和装置 |
| CN109978989A (zh) * | 2019-02-26 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 三维人脸模型生成方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110458924A (zh) | 2019-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110458924B (zh) | 一种三维脸部模型建立方法、装置和电子设备 | |
| CN111354079B (zh) | 三维人脸重建网络训练及虚拟人脸形象生成方法和装置 | |
| CN109377544B (zh) | 一种人脸三维图像生成方法、装置和可读介质 | |
| US10529137B1 (en) | Machine learning systems and methods for augmenting images | |
| CN108961369B (zh) | 生成3d动画的方法和装置 | |
| JP2022524891A (ja) | 画像処理方法及び装置、電子機器並びにコンピュータプログラム | |
| CN113822982B (zh) | 一种人体三维模型构建方法、装置、电子设备及存储介质 | |
| EP3980974A1 (en) | Single image-based real-time body animation | |
| CN110147737B (zh) | 用于生成视频的方法、装置、设备和存储介质 | |
| CN112085835A (zh) | 三维卡通人脸生成方法、装置、电子设备及存储介质 | |
| CN114202615A (zh) | 人脸表情的重建方法、装置、设备和存储介质 | |
| CN111754622B (zh) | 脸部三维图像生成方法及相关设备 | |
| US11010952B1 (en) | Method and user interface for generating tangent vector fields usable for generating computer-generated imagery | |
| Marques et al. | Deep spherical harmonics light probe estimator for mixed reality games | |
| CN116228943A (zh) | 虚拟对象面部重建方法、面部重建网络训练方法及装置 | |
| CN114998490B (zh) | 一种虚拟对象生成方法、装置、设备及存储介质 | |
| CN114529640B (zh) | 一种运动画面生成方法、装置、计算机设备和存储介质 | |
| CN116229548A (zh) | 模型的生成方法及装置、电子设备、存储介质 | |
| CN111754431A (zh) | 一种图像区域替换方法、装置、设备及存储介质 | |
| EP3980975B1 (en) | Method of inferring microdetail on skin animation | |
| Yu et al. | A framework for automatic and perceptually valid facial expression generation | |
| CN114764840A (zh) | 图像渲染方法、装置、设备和存储介质 | |
| CN113223128B (zh) | 用于生成图像的方法和装置 | |
| RU2757563C1 (ru) | Способ визуализации 3d портрета человека с измененным освещением и вычислительное устройство для него | |
| US20230079478A1 (en) | Face mesh deformation with detailed wrinkles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |