CN112819947B - 三维人脸的重建方法、装置、电子设备以及存储介质 - Google Patents
三维人脸的重建方法、装置、电子设备以及存储介质 Download PDFInfo
- Publication number
- CN112819947B CN112819947B CN202110151906.3A CN202110151906A CN112819947B CN 112819947 B CN112819947 B CN 112819947B CN 202110151906 A CN202110151906 A CN 202110151906A CN 112819947 B CN112819947 B CN 112819947B
- Authority
- CN
- China
- Prior art keywords
- face
- dimensional
- parameters
- texture
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 66
- 238000005457 optimization Methods 0.000 claims description 54
- 238000009877 rendering Methods 0.000 claims description 52
- 238000005286 illumination Methods 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 11
- 230000001815 facial effect Effects 0.000 claims description 10
- 230000000694 effects Effects 0.000 abstract description 6
- 230000008485 antagonism Effects 0.000 description 15
- 230000014509 gene expression Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000013507 mapping Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 239000013598 vector Substances 0.000 description 10
- 238000006467 substitution reaction Methods 0.000 description 9
- 238000000513 principal component analysis Methods 0.000 description 8
- 238000013179 statistical model Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000007935 neutral effect Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 210000000887 face Anatomy 0.000 description 4
- 238000005096 rolling process Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 208000002874 Acne Vulgaris Diseases 0.000 description 1
- 241000228740 Procrustes Species 0.000 description 1
- 206010000496 acne Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000013604 expression vector Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000001943 fluorescence-activated cell sorting Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种三维人脸的重建方法、装置、电子设备以及存储介质，涉及电子设备技术领域。该方法包括：获取待重建人脸的形状参数和纹理参数，将形状参数输入第一模型，获得第一模型输出的三维人脸形状，将纹理参数输入第二模型，获得第二模型输出的人脸纹理贴图，其中，第一模型和第二模型中的至少一个基于生成对抗网络训练获得，基于三维人脸形状和人脸纹理贴图，生成目标三维人脸，其中，目标三维人脸包括基于人脸纹理贴图生成的纹理信息。本申请通过训练好的生成对抗网络来生成三维人脸形状和/或人脸纹理贴图，使得生成的目标三维人脸具有丰富的细节特征，提升三维人脸的重建效果。
Description
技术领域
本申请涉及电子设备技术领域，更具体地，涉及一种三维人脸的重建方法、装置、电子设备以及存储介质。
背景技术
在计算机视觉和计算机图形学领域，三维人脸重建是一个热度逐渐上升的话题，由于它能广泛地应用于人脸识别、人脸编辑、人机交互、表情驱动的动画、增强现实、虚拟现实等领域。而基于单张RGB图像的三维人脸重建—即利用单张RGB图像重建出三维人脸形状和纹理，更是一个经久不衰的话题。目前，基于单张RGB图像重建的三维人脸的细节较差，缺乏逼真性。
发明内容
鉴于上述问题，本申请提出了一种三维人脸的重建方法、装置、电子设备以及存储介质，以解决上述问题。
第一方面，本申请实施例提供了一种三维人脸的重建方法，所述方法包括：获取待重建人脸的形状参数和纹理参数；将所述形状参数输入第一模型，获得所述第一模型输出的三维人脸形状；将所述纹理参数输入第二模型，获得所述第二模型输出的人脸纹理贴图，其中，所述第一模型和所述第二模型中的至少一个基于生成对抗网络训练获得；基于所述三维人脸形状和所述人脸纹理贴图，生成目标三维人脸，其中，所述目标三维人脸包括基于所述人脸纹理贴图生成的纹理信息。
第二方面，本申请实施例提供了一种三维人脸的重建装置，所述装置包括：参数获取模块，用于获取待重建人脸的形状参数和纹理参数；人脸形状获得模块，用于将所述形状参数输入第一模型，获得所述第一模型输出的三维人脸形状；纹理贴图获得模块，用于将所述纹理参数输入第二模型，获得所述第二模型输出的人脸纹理贴图，其中，所述第一模型和所述第二模型中的至少一个基于生成对抗网络训练获得；三维人脸生成模块，用于基于所述三维人脸形状和所述人脸纹理贴图，生成目标三维人脸，其中，所述目标三维人脸包括基于所述人脸纹理贴图生成的纹理信息。
第三方面，本申请实施例提供了一种电子设备，包括存储器和处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时所述处理器执行上述方法。
第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述方法。
本申请实施例提供的三维人脸的重建方法、装置、电子设备以及存储介质，获取待重建人脸的形状参数和纹理参数，将形状参数输入第一模型，获得第一模型输出的三维人脸形状，将纹理参数输入第二模型，获得第二模型输出的人脸纹理贴图，其中，第一模型和第二模型中的至少一个基于生成对抗网络训练获得，基于三维人脸形状和人脸纹理贴图，生成目标三维人脸，其中，目标三维人脸包括基于人脸纹理贴图生成的纹理信息，从而通过训练好的生成对抗网络来生成三维人脸形状和/或人脸纹理贴图，使得生成的目标三维人脸具有丰富的细节特征，提升三维人脸的重建效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出了本申请一个实施例提供的三维人脸的重建方法的流程示意图；
图2示出了本申请又一个实施例提供的三维人脸的重建方法的流程示意图；
图3示出了本申请再一个实施例提供的三维人脸的重建方法的流程示意图；
图4示出了本申请的图3所示的三维人脸的重建方法的步骤S306的流程示意图；
图5示出了本申请另一个实施例提供的三维人脸的重建方法的流程示意图；
图6示出了本申请又再一个实施例提供的三维人脸的重建方法的流程示意图；
图7示出了本申请又另一个实施例提供的三维人脸的重建方法的流程示意图；
图8示出了本申请又又再一个实施例提供的三维人脸的重建方法的流程示意图；
图9示出了本申请实施例提供的三维人脸的重建装置的模块框图；
图10示出了本申请实施例用于执行根据本申请实施例的三维人脸的重建方法的电子设备的框图；
图11示出了本申请实施例的用于保存或者携带实现根据本申请实施例的三维人脸的重建方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
目前，基于单张RGB图像的三维人脸重建的经典方法是三维形变模型(3Dmorphable model，3DMM)，其基本思想是预先收集三维人脸，完成数据库的建立。对人脸的形状向量、表情向量和纹理向量作主成分分析，将这些向量转化为独立表示，在此基础上，就可以利用平均人脸和主成分的线性组合来表示任意人脸。发明人通过研究发现，在3DMM中存在两个重要但经常被忽视的问题：1.收集好原始三维人脸扫描数据后，普遍的做法是用一个预先制作好的模板人脸向原始人脸数据对齐，然而，受限于模板人脸的低质量(顶点数、面片数量偏少)，对齐后的人脸会存在“平滑”原始人脸数据的现象发生，从而丢失一些人脸细节信息(例如：痘痘、皱纹等)；2.现有的基于3DMM的方法都是始于平均人脸，三维人脸外形特征是由平均人脸加上主成分的线性组合得到，这种方法得到的三维人脸外形特征会更加正则化，使得产生的人脸趋向于平均脸，逼真性较差。
针对上述问题，发明人经过长期的研究发现，并提出了本申请实施例提供的三维人脸的重建方法、装置、电子设备以及存储介质，通过训练好的生成对抗网络来生成三维人脸形状和/或人脸纹理贴图，使得生成的目标三维人脸具有丰富的细节特征，提升三维人脸的重建效果。其中，具体的三维人脸的重建方法在后续的实施例中进行详细的说明。
请参阅图1，图1示出了本申请一个实施例提供的三维人脸的重建方法的流程示意图。所述三维人脸的重建方法用于通过训练好的生成对抗网络来生成三维人脸形状和/或人脸纹理贴图，使得生成的目标三维人脸具有丰富的细节特征，提升三维人脸的重建效果。在具体的实施例中，所述三维人脸的重建方法应用于如图9所示的三维人脸的重建装置200以及配置有三维人脸的重建装置200的电子设备100(图10)。下面将以电子设备为例，说明本实施例的具体流程，当然，可以理解的，本实施例所应用的电子设备可以为智能手机、平板电脑、台式电脑、穿戴式电子设备等，在此不做限定。下面将针对图1所示的流程进行详细的阐述，所述三维人脸的重建方法具体可以包括以下步骤：
步骤S101：获取待重建人脸的形状参数和纹理参数。
在本实施例中，待重建人脸可以为需要进行三维人脸重建的三维人脸。则获取待重建人脸的形状参数和纹理参数可以包括：获取需要进行三维人脸重建的三维人脸的形状参数和纹理参数。其中，形状参数可以包括外形参数和表情参数，则获取待重建人脸的形状参数和纹理参数可以包括：获取需要进行三维人脸重建的三维人脸的外形参数、表情参数以及纹理参数。
作为一种方式，可以通过RGB摄像机采集二维彩色人脸，对采集到的二维彩色人脸进行处理获得与二维彩色人脸对应的三维人脸作为待重建人脸，并获取待重建人脸的形状参数和纹理参数。
在一些实施方式中，在获取待重建人脸的形状参数后，可以对形状参数进行初始化处理，在获取待重建人脸的纹理参数后，可以对纹理参数进行初始化处理。
步骤S102：将所述形状参数输入第一模型，获得所述第一模型输出的三维人脸形状。
在一些实施方式中，可以预先训练并设置第一模型和第二模型，其中，第一模型和第二模型中的至少一个基于生成对抗网络训练获得。因此，作为一种方式，第一模型可以为基于生成对抗网络训练获得，且第二模型可以为基于生成对抗网络训练获得。作为又一种方式，第一模型可以为基于生成对抗网络训练获得，且第二模型可以为主成分分析统计模型。作为再一种方式，第一模型可以为主成分分析统计模型，且第二模型可以为基于生成对抗网络训练获得。
在本实施例中，在获得待重建人脸的形状参数后，可以将形状参数输入第一模型，获得第一模型输出的三维人脸形状。其中，当第一模型为已训练的生成对抗网络时，则可以将形状参数输入已训练的生成对抗网络，获得已训练的生成对抗网络输出的三维人脸形状，当第一模型为主成分分析统计模型时，则可以将形状参数输入主成分分析统计模型，获得主成分分析统计模型输出的三维人脸形状。
步骤S103：将所述纹理参数输入第二模型，获得所述第二模型输出的人脸纹理贴图，其中，所述第一模型和所述第二模型中的至少一个基于生成对抗网络训练获得。
在本实施例中，在获得待重建人脸的纹理参数后，可以将纹理参数输入第二模型，获得第二模型输出的人脸纹理贴图。其中，当第二模型为已训练的生成对抗网络时，则可以将纹理参数输入已训练的生成对抗网络，获得已训练的生成对抗网络输出的人脸纹理贴图，当第二模型为主成分分析统计模型时，则可以将纹理参数输入主成分分析统计模型，获得主成分分析统计模型输出的人脸纹理贴图。
步骤S104：基于所述三维人脸形状和所述人脸纹理贴图，生成目标三维人脸，其中，所述目标三维人脸包括基于所述人脸纹理贴图生成的纹理信息。
在本实施例中，在获得三维人脸形状和人脸纹理贴图后，可以基于三维人脸形状和人脸纹理贴图，生成目标三维人脸，其中，目标三维人脸包括基于该人脸纹理贴图生成的纹理信息，即，生成的目标三维人脸为带纹理的三维人脸。
在一些实施方式中，在获得三维人脸形状和人脸纹理贴图后，可以将三维人脸形状和人脸纹理贴图进行组合，生成目标三维人脸。
本申请一个实施例提供的三维人脸的重建方法，获取待重建人脸的形状参数和纹理参数，将形状参数输入第一模型，获得第一模型输出的三维人脸形状，将纹理参数输入第二模型，获得第二模型输出的人脸纹理贴图，其中，第一模型和第二模型中的至少一个基于生成对抗网络训练获得，基于三维人脸形状和人脸纹理贴图，生成目标三维人脸，其中，目标三维人脸包括基于人脸纹理贴图生成的纹理信息，从而通过训练好的生成对抗网络来生成三维人脸形状和/或人脸纹理贴图，使得生成的目标三维人脸具有丰富的细节特征，提升三维人脸的重建效果。
请参阅图2，图2示出了本申请又一个实施例提供的三维人脸的重建方法的流程示意图。下面将针对图2所示的流程进行详细的阐述，在本实施例中，第一模型为已训练的生成对抗网络，所述三维人脸的重建方法具体可以包括以下步骤：
步骤S201：获取待重建人脸的形状参数和纹理参数。
其中，步骤S201的具体描述请参阅步骤S101，在此不再赘述。
步骤S202：将所述形状参数输入所述已训练的生成对抗网络，获得所述已训练的生成对抗网络输出的人脸坐标贴图。
在本实施例中，第一模型为已训练的生成对抗网络。作为一种方式，可以首先采集训练数据集，其中，训练数据集中的一类数据的属性或特征区别于另一类数据，然后通过将采集的训练数据集按照预设的算法对生成对抗网络进行训练建模，从而基于该训练数据集总结出规律，得到已训练的生成对抗网络。在本实施例中，训练数据集例如可以是存在对应关系的多个形状参数和多个人脸坐标贴图。
在一些实施方式中，在获得待重建人脸的形状参数后，可以将形状参数输入已训练的生成对抗网络，获得已训练的生成对抗网络输出的人脸坐标贴图。
步骤S203：基于所述人脸坐标贴图，获得所述三维人脸形状。
在本实施例中，在获得人脸坐标贴图后，可以基于人脸坐标贴图，获得三维人脸形状。在一些实施方式中，在获得人脸坐标贴图后，可以基于人脸坐标贴图获得三维人脸的每个顶点的坐标，基于三维人脸的每个顶点的坐标，获得三维人脸形状。
步骤S204：将所述纹理参数输入第二模型，获得所述第二模型输出的人脸纹理贴图。
步骤S205：基于所述三维人脸形状和所述人脸纹理贴图，生成目标三维人脸，其中，所述目标三维人脸包括基于所述人脸纹理贴图生成的纹理信息。
其中，步骤S204-步骤S205的具体描述请参阅步骤S103-步骤S104，在此不再赘述。
本申请又一个实施例提供的三维人脸的重建方法，相较于图1所示的三维人脸的重建方法，还通过已训练的生成对抗网络基于形状参数获得人脸坐标贴图，并基于人脸坐标贴图获得三维人脸形状，从而提升所获得的三维人脸形状的准确性。
请参阅图3，图3示出了本申请再一个实施例提供的三维人脸的重建方法的流程示意图。下面将针对图3所示的流程进行详细的阐述，所述三维人脸的重建方法具体可以包括以下步骤：
步骤S301：获取待重建人脸的形状参数和纹理参数。
步骤S302：将所述形状参数输入第一模型，获得所述第一模型输出的三维人脸形状。
步骤S303：将所述纹理参数输入第二模型，获得所述第二模型输出的人脸纹理贴图，其中，所述第一模型和所述第二模型中的至少一个基于生成对抗网络训练获得。
步骤S304：基于所述三维人脸形状和所述人脸纹理贴图，生成目标三维人脸，其中，所述目标三维人脸包括基于所述人脸纹理贴图生成的纹理信息。
其中，步骤S301-步骤S304的具体描述请参阅步骤S101-步骤S104，在此不再赘述。
步骤S305：基于渲染函数、相机参数和光照参数对所述目标三维人脸进行渲染，生成二维渲染人脸。
在本实施例中，在获得目标三维人脸后，可以基于渲染函数、相机参数和光照参数对目标三维人脸进行渲染，生成二维渲染人脸。
在一些实施方式中，可以基于相机模型，以相机位置[xc,yc,zc]、相机朝向和焦距fc参数化相机参数pc＝[xc,yc,zc,x'c,y'c,z'c]；基于光照模型，以点光源位置[xl,yl,zl]、颜色[rl,gl,bl]和环境光颜色[ra,ga,ba]参数化光照参数pl＝[xl,yl,zl,rl,gl,bl,ra,ga,ba]。最后，整个图像的渲染过程可以通过来完成，其中S、g分别代表第一模型和第二模型，例如，S表示第一生成对抗网络，g表示第二生成对抗网络、p代表把三维人脸形状映射为空间坐标、把人脸纹理贴图映射为纹理坐标的函数、代表把三维人脸渲染成二维图像的渲染函数，其可以是弱透视投影或透视投影。因此，作为一种方式，可以基于渲染函数相机参数pc以及光照参数pl对目标三维人脸(基于三维人脸形状和人脸纹理贴图)进行渲染，生成二维渲染人脸。
步骤S306：获取所述待重建人脸的姿态。
在本实施例中，可以获取待重建人脸的姿态。作为一种可实施的方式，可以对待重建人脸进行关键点检测，获得待重建人脸对应的人脸关键点，并基于人脸关键点获取待重建人脸的姿态。
请参阅图4，图4示出了本申请的图3所示的三维人脸的重建方法的步骤S306的流程示意图。下面将针对图4所示的流程进行详细的阐述，所述方法具体可以包括以下步骤：
步骤S3061：对所述待重建人脸进行关键点检测，获得所述待重建人脸的多个三维人脸关键点作为第一人脸关键点。
在一些实施方式中，可以对待重建人脸进行关键点检测，获得待重建人脸的多个三维人脸关键点作为第一人脸关键点。在一些实施方式中，可以对待重建人脸进行关键点检测，获得待重建人脸的多个三维人脸关键点作为第一人脸关键点，以及获得待重建人脸的多个二维人脸关键点作为第二人脸关键点。
在本实施例中，可以获取待重建人脸，并通过先进的、预训练的人脸关键点检测器，检测分别获得多个二维人脸关键点作为第二人脸关键点和多个三维人脸关键点作为第一人脸关键点。作为一种方式，可以获取待重建人脸，并通过先进的、预训练的人脸关键点检测器，检测分别获得68个二维人脸关键点和68个三维人脸关键点作为一种方式，可以获取待重建人脸，并通过先进的、预训练的人脸关键点检测器，检测获得68个二维人脸关键点再通过反投影68个二维人脸关键点的方式，生成68个三维人脸关键点
步骤S3062：基于所述第一人脸关键点，获取所述待重建人脸的姿态。
在一些实施方式中，在获得第一人脸关键点后，可以基于第一人脸关键点，获取待重建人脸的姿态。作为一种方式，在获得第一人脸关键点后，可以基于第一人脸关键点计算获得欧拉角，并基于欧拉角确定待重建人脸的姿态，其中，欧拉角包括翻滚角、俯仰角以及偏航角。
步骤S307：基于所述姿态和预设姿态的关系，计算所述待重建人脸以及目标三维人脸的关键点损失。
在一些实施方式中，可以预先设置并存储预设姿态，该预设姿态用于作为待重建人脸的姿态的判断依据。因此，在本实施例中，在获得待重建人脸的姿态后，可以将姿态与预设姿态进行比较，以获得姿态与预设姿态的关系，并基于姿态和预设姿态的关系，计算待重建人脸以及目标三维人脸的关键点损失。
在一些实施方式中，可与预先设置并存储预设翻滚角、预设俯仰角以及预设偏航角，其中，预设翻滚角用于作为待重建人脸的翻滚角的判断依据，预设俯仰角用于作为待重建人懒的俯仰角的判断依据，以及预设偏航角用于作为待重建人脸的偏航角的判断依据。作为一种方式，翻滚角大于预设翻滚角、俯仰角大于预设俯仰角和/或偏航角大于预设偏航角时，可以确定姿态大于预设姿态，当翻滚角大于预设翻滚角、俯仰角不大于预设俯仰角以及偏航角不大于预设偏航角时，可以确定姿态不大于预设姿态。
因此，在本实施例中，在获得第一人脸关键点后，可以基于第一人脸关键点计算待重建人脸的翻滚角，并将翻滚角与预设翻滚角进行比较，获得翻滚角与预设翻滚角的关系，并基于翻滚角和预设翻滚角的关系，计算所述待重建人脸以及目标三维人脸的关键点损失；在获得第一人脸关键点后，可以基于第一人脸关键点计算待重建人脸的俯仰角，并将俯仰角与预设俯仰角进行比较，获得俯仰角与预设俯仰角的关系，并基于俯仰角和预设俯仰角的关系，计算所述待重建人脸以及目标三维人脸的关键点损失；在获得第一人脸关键点后，可以基于第一人脸关键点计算待重建人脸的偏航角，并将偏航角与预设偏航角进行比较，获得偏航角与预设偏航角的关系，并基于偏航角和预设偏航角的关系，计算所述待重建人脸以及目标三维人脸的关键点损失。
在一些实施方式中，当待重建人脸的姿态和预设姿态的关系表征姿态大于预设姿态时，则可以获取目标三维人脸的多个三维人脸关键点作为第三人脸关键点，并计算第一人脸关键点和第三人脸关键点的关键点损失。作为一种方式，当待重建人脸的姿态和预设姿态的关系表征姿态大于预设姿态时，则可以对目标三维人脸进行关键点检测，获得多个三维人脸关键点作为第三人脸关键点，并计算第一人脸关键点和第三人脸关键点的关键点损失。
在一些实施方式中，当待重建人脸的姿态和预设姿态的关系表征姿态不大于预设姿态时，则可以获取目标三维人脸的多个三维人脸关键点对应的多个二维人脸关键点作为第四人脸关键点，并计算第二人脸关键点和第四人脸关键点的关键点损失。作为一种方式，当待重建人脸的姿态和预设姿态的关系表征姿态不大于预设姿态时，则可以对目标三维人脸进行关键点检测，获得多个三维人脸关键点，在依据相机参数将多个三维人脸关键点投影到像素坐标系获得对应的多个二维人脸关键点作为第四人脸关键点，并计算第二人脸关键点和第四人脸关键点的关键点损失。
在一些实施方式中，可以基于Llan＝||M(I0)-M'(ps,pe,pc)||2计算待重建人脸以及目标三维人脸的关键点损失。上式中M(I0)为待重建图像对应的第一关键点或第二关键点，M'(ps,pe,pc)为目标三维图像对应的第三关键点或第四关键点投影的坐标，|| ||2代表L2范数。
步骤S308：基于所述关键点损失对所述形状参数进行迭代优化，获得第一优化形状参数。
在本实施例中，在计算获得关键点损失后，可以基于关键点损失对形状参数进行迭代优化，获得第一优化形状参数。作为一种实施方式，在计算获得关键点损失后，可以利用梯度下降算法，计算该关键点损失相对于形状参数的梯度，从而进行对形状参数的迭代优化，其中，该迭代优化的过程不断进行，直到关键点损失几乎收敛，或者直到迭代次数大道次数阈值，从而完成对形状参数的迭代优化，获得第一优化形状参数。
步骤S309：将所述第一优化形状参数作为新的形状参数输入所述第一模型。
在一些实施方式中，在获得第一优化形状参数后，可以将第一优化形状参数作为新的形状参数输入第一模型，以通过第一模型获得新的三维人脸形状，并通过新的三维人脸形状获得新的目标三维人脸，提升所获得的三维人脸的准确性。
步骤S310：基于所述关键点损失对所述相机参数进行迭代优化，获得优化相机参数。
在本实施例中，在计算获得关键点损失后，可以基于关键点损失对相机进行迭代优化，获得优化相机参数。作为一种实施方式，在计算获得关键点损失后，可以利用梯度下降算法，计算该关键点损失相对于相机参数的梯度，从而进行对相机参数的迭代优化，其中，该迭代优化的过程不断进行，直到关键点损失几乎收敛，或者直到迭代次数大道次数阈值，从而完成对相机参数的迭代优化，获得优化相机参数。
步骤S311：将所述优化相机参数作为新的相机参数进行所述目标三维人脸的渲染。
在一些实施方式中，在获得优化相机参数后，可以将优化相机参数作为新的相机参数进行目标三维人脸的渲染，获得新的二维渲染人脸，提升所获得的二维渲染人脸的准确性。
本申请再一个实施例提供的三维人脸的重建方法，相较于图1所示的三维人脸的重建方法，还通过计算待重建人脸以及目标三维人脸的关键点损失，并基于关键点损失对形状参数和相机参数进行优化，提升目标三维人脸的逼真性。
请参阅图5，图5示出了本申请另一个实施例提供的三维人脸的重建方法的流程示意图。下面将针对图5所示的流程进行详细的阐述，所述三维人脸的重建方法具体可以包括以下步骤：
步骤S401：获取待重建人脸的形状参数和纹理参数。
步骤S402：将所述形状参数输入第一模型，获得所述第一模型输出的三维人脸形状。
步骤S403：将所述纹理参数输入第二模型，获得所述第二模型输出的人脸纹理贴图，其中，所述第一模型和所述第二模型中的至少一个基于生成对抗网络训练获得。
步骤S404：基于所述三维人脸形状和所述人脸纹理贴图，生成目标三维人脸，其中，所述目标三维人脸包括基于所述人脸纹理贴图生成的纹理信息。
其中，步骤S401-步骤S404的具体描述请参阅步骤S101-步骤S104，在此不再赘述。
步骤S405：基于渲染函数、相机参数和光照参数对所述目标三维人脸进行渲染，生成二维渲染人脸。
其中，步骤S405的具体描述请参阅步骤S305，在此不再赘述。
步骤S406：获取所述待重建人脸的生物特征信息作为第一生物特征信息，并获取所述二维渲染人脸的生物特征信息作为第二生物特征信息。
在一些实施方式中，可以利用一个先进的人脸识别网络去捕捉待重建人脸的生物特征信息，获取待重建人脸的生物特征信息作为第一生物特征信息，并利用一个先进的人脸识别网络去捕捉二维渲染人脸的生物特征信息，获取二维渲染人脸的生物特征信息作为第二生物特征信息。其中，生物特征信息可以包括脸型的胖瘦、眉毛的长短、眼睛的大小、鼻子的高低、嘴唇的厚薄等等，在此不做限定。其中，该人脸识别网络可以为Fn(I):其中，n表示有n个卷积层。
步骤S407：基于所述第一生物特征信息和所述第二生物特征信息，计算所述待重建人脸以及二维渲染人脸的生物特征损失。
在本实施例中，在获得待重建人脸的第一生物特征信息和二维渲染人脸的第二生物特征信息后，可以基于第一生物特征信息和第二生物特征信息，计算待重建人脸以及二维渲染人脸的生物特征损失。在一些实施方式中，在获得待重建人脸的第一生物特征信息和二维渲染人脸的第二生物特征信息后，可以计算第一生物特征信息的第一人脸特征向量和第二生物特征信息的第二人脸特征向量，再基于第一生物特征信息的第一人脸特征向量和第二生物特征信息的第二人脸特征向量，计算待重建人脸以及二维渲染人脸的生物特征损失。
在一些实施方式中，可以基于计算待重建人脸以及二维渲染人脸的生物特征损失。上式中Fn(I0)表示待重建人脸的第一人脸特征向量，Fn(IR)表示二维渲染人脸的第二人脸特征向量。
步骤S408：基于所述生物特征损失对所述形状参数和所述纹理参数进行迭代优化，获得第二优化形状参数和第一优化纹理参数。
在本实施例中，在计算获得生物特征损失后，可以基于生物特征损失对形状参数进行迭代优化，获得第二优化形状参数。作为一种实施方式，在计算获得生物特征损失后，可以利用梯度下降算法，计算该生物特征损失相对于形状参数的梯度，从而进行对形状参数的迭代优化，其中，该迭代优化的过程不断进行，直到关键点损失几乎收敛，或者直到迭代次数大道次数阈值，从而完成对形状参数的迭代优化，获得第二优化形状参数。
在本实施例中，在计算获得生物特征损失后，可以基于生物特征损失对纹理参数进行迭代优化，获得第一优化纹理参数。作为一种实施方式，在计算获得生物特征损失后，可以利用梯度下降算法，计算该生物特征损失相对于纹理参数的梯度，从而进行对纹理参数的迭代优化，其中，该迭代优化的过程不断进行，直到关键点损失几乎收敛，或者直到迭代次数大道次数阈值，从而完成对纹理参数的迭代优化，获得第一优化纹理参数。
步骤S409：将所述第二优化形状参数作为新的形状参数输入所述第一模型，并将所述第一优化纹理参数作为新的纹理参数输入所述第二模型。
在一些实施方式中，在获得第二优化形状参数后，可以将第二优化形状参数作为新的形状参数输入第一模型，以通过第一模型获得新的三维人脸形状，并通过新的三维人脸形状获得新的目标三维人脸，提升所获得的三维人脸的准确性。
在一些实施方式中，在获得第一优化纹理参数后，可以将第一优化纹理参数作为新的纹理参数输入第二模型，以通过第二模型获得新的人脸纹理坐标，并通过新的人脸纹理坐标获得新的目标三维人脸，提升所获得的三维人脸的准确性。
本申请另一个实施例提供的三维人脸的重建方法，相较于图1所示的三维人脸的重建方法，还通过计算待重建人脸以及二维渲染人脸的生物特征损失，并基于生物特征损失对形状参数和相机参数进行优化，提升目标三维人脸的逼真性。
请参阅图6，图6示出了本申请又再一个实施例提供的三维人脸的重建方法的流程示意图。下面将针对图6所示的流程进行详细的阐述，所述三维人脸的重建方法具体可以包括以下步骤：
步骤S501：获取待重建人脸的形状参数和纹理参数。
步骤S502：将所述形状参数输入第一模型，获得所述第一模型输出的三维人脸形状。
步骤S503：将所述纹理参数输入第二模型，获得所述第二模型输出的人脸纹理贴图，其中，所述第一模型和所述第二模型中的至少一个基于生成对抗网络训练获得。
步骤S504：基于所述三维人脸形状和所述人脸纹理贴图，生成目标三维人脸，其中，所述目标三维人脸包括基于所述人脸纹理贴图生成的纹理信息。
其中，步骤S501-步骤S504的具体描述请参阅步骤S101-步骤S104，在此不再赘述。
步骤S505：基于渲染函数、相机参数和光照参数对所述目标三维人脸进行渲染，生成二维渲染人脸。
其中，步骤S505的具体描述请参阅步骤S305，在此不再赘述。
步骤S506：获取所述待重建人脸的属性内容信息作为第一属性内容信息，并获取所述二维渲染人脸的属性内容信息作为第二属性内容信息。
在一些实施方式中，可以利用一个先进的人脸识别网络中层卷积层特征去捕捉待重建人脸的属性内容信息，获取待重建人脸的属性内容信息作为第一属性内容信息，并利用一个先进的人脸识别网络中层卷积层去捕捉二维渲染人脸的属性内容信息，获取二维渲染人脸的属性内容信息作为第二属性内容信息。其中，属性内容信息可以包括表情、姿态、光照等等，在此不做限定。
步骤S507：基于所述第一属性内容信息和所述第二属性内容信息，计算所述待重建人脸以及二维渲染人脸的属性内容损失。
在本实施例中，在获得待重建人脸的第一属性内容信息和二维渲染人脸的第二属性内容信息后，可以基于第一属性内容信息和第二属性内容信息，计算待重建人脸以及二维渲染人脸的属性内容损失。
在一些实施方式中，可以基于计算待重建人脸以及二维渲染人脸的属性内容损失。上式中Fj(I0)表示待重建人脸的人脸中层特征，Fj(IR)表示二维渲染人脸的人脸中层特征。
步骤S508：基于所述属性内容损失对所述形状参数和所述纹理参数进行迭代优化，获得第三优化形状参数和第二优化纹理参数。
在本实施例中，在计算获得属性内容损失后，可以基于属性内容损失对形状参数进行迭代优化，获得第三优化形状参数。作为一种实施方式，在计算获得属性内容损失后，可以利用梯度下降算法，计算该属性内容损失相对于形状参数的梯度，从而进行对形状参数的迭代优化，其中，该迭代优化的过程不断进行，直到关键点损失几乎收敛，或者直到迭代次数大道次数阈值，从而完成对形状参数的迭代优化，获得第三优化形状参数。
在本实施例中，在计算获得属性内容损失后，可以基于属性内容损失对纹理参数进行迭代优化，获得第二优化纹理参数。作为一种实施方式，在计算获得属性内容损失后，可以利用梯度下降算法，计算该属性内容损失相对于纹理参数的梯度，从而进行对纹理参数的迭代优化，其中，该迭代优化的过程不断进行，直到关键点损失几乎收敛，或者直到迭代次数大道次数阈值，从而完成对纹理参数的迭代优化，获得第二优化纹理参数。
步骤S509：将所述第三优化形状参数作为新的形状参数输入所述第一模型，并将所述第二优化纹理参数作为新的纹理参数输入所述第二模型。
在一些实施方式中，在获得第三优化形状参数后，可以将第三优化形状参数作为新的形状参数输入第一模型，以通过第一模型获得新的三维人脸形状，并通过新的三维人脸形状获得新的目标三维人脸，提升所获得的三维人脸的准确性。
在一些实施方式中，在获得第二优化纹理参数后，可以将第二优化纹理参数作为新的纹理参数输入第二模型，以通过第二模型获得新的人脸纹理坐标，并通过新的人脸纹理坐标获得新的目标三维人脸，提升所获得的三维人脸的准确性。
本申请又再一个实施例提供的三维人脸的重建方法，相较于图1所示的三维人脸的重建方法，还通过计算待重建人脸以及二维渲染人脸的属性内容信息损失，并基于属性内容信息损失对形状参数和相机参数进行优化，提升目标三维人脸的逼真性。
请参阅图7，图7示出了本申请又另一个实施例提供的三维人脸的重建方法的流程示意图。下面将针对图7所示的流程进行详细的阐述，所述三维人脸的重建方法具体可以包括以下步骤：
步骤S601：获取待重建人脸的形状参数和纹理参数。
步骤S602：将所述形状参数输入第一模型，获得所述第一模型输出的三维人脸形状。
步骤S603：将所述纹理参数输入第二模型，获得所述第二模型输出的人脸纹理贴图，其中，所述第一模型和所述第二模型中的至少一个基于生成对抗网络训练获得。
步骤S604：基于所述三维人脸形状和所述人脸纹理贴图，生成目标三维人脸，其中，所述目标三维人脸包括基于所述人脸纹理贴图生成的纹理信息。
其中，步骤S601-步骤S604的具体描述请参阅步骤S101-步骤S104，在此不再赘述。
步骤S605：基于渲染函数、相机参数和光照参数对所述目标三维人脸进行渲染，生成二维渲染人脸。
其中，步骤S605的具体描述请参阅步骤S305，在此不再赘述。
步骤S606：获取所述待重建人脸的像素信息作为第一像素信息，并获取基于所述二维渲染人脸的像素信息作为第二像素信息。
在一些实施方式中，获取待重建人脸的像素信息作为第一像素信息，并获取二维渲染人脸的像素信息作为第二像素信息。其中，可以通过像素提取模块获取待重建人脸的像素信息和二维渲染人脸的像素信息，在此不做限定。
步骤S607：基于所述第一像素信息和所述第二像素信息，计算所述待重建人脸以及二维渲染人脸的像素损失。
在本实施例中，在获得待重建人脸的第一像素信息和二维渲染人脸的第二像素信息后，可以基于第一像素信息和第二像素信息，计算待重建人脸以及二维渲染人脸的像素损失。
在一些实施方式中，可以基于Lpix＝||I0-IR||1计算待重建人脸以及二维渲染人脸的像素损失。上式中I0表示待重建人脸，IR表示二维渲染人脸，|| ||1表示L1的范数。
步骤S608：基于所述像素损失对所述光照参数进行迭代优化，获得优化光照参数。
在本实施例中，在计算获得像素损失后，可以基于像素损失对光照参数进行迭代优化，获得优化关照参数。作为一种实施方式，在计算获得像素损失后，可以利用梯度下降算法，计算该像素损失相对于光照参数的梯度，从而进行对光照参数的迭代优化，其中，该迭代优化的过程不断进行，直到关键点损失几乎收敛，或者直到迭代次数大道次数阈值，从而完成对关照参数的迭代优化，获得优化光照参数。
在一些实施方式中，在计算获得像素损失后，还可以基于像素损失对形状参数和纹理参数进行迭代优化，在此不再赘述。
步骤S609：将所述优化光照参数作为新的光照参数进行所述目标三维人脸的渲染。
在一些实施方式中，在获得优化关照参数后，可以将优化光照参数作为新的关照参数进行目标三维人脸的渲染，获得新的二维渲染人脸，提升所获得的二维渲染人脸的准确性。
本申请又另一个实施例提供的三维人脸的重建方法，相较于图1所示的三维人脸的重建方法，还通过计算待重建人脸以及二维渲染人脸的像素损失，并基于像素损失对形状参数和相机参数进行优化，提升目标三维人脸的逼真性。
请参阅图8，图8示出了本申请又又在一个实施例提供的三维人脸的重建方法的流程示意图。下面将针对图8所示的流程进行详细的阐述，所述三维人脸的重建方法具体可以包括以下步骤：
步骤S701：获取第一训练数据集，其中，所述第一训练数据集包括多个形状参数和多个三维人脸形状，所述多个形状参数和所述多个三维人脸形状一一对应。
在本实施例中，首先获取第一训练数据集。其中，该第一训练数据集可以包括多个形状参数和多个三维人脸形状，多个形状参数和多个三维人脸行传一一对应。作为一种方式，该第一训练数据集也可以包括多个形状参数和多个人脸坐标贴图，多个形状参数和多个人脸坐标题图一一对应。
在一些实施方式中，该第一训练数据集可以为电子设备的本地存储的，可以为其他设备存储并发送至电子设备的，可以为从服务器存储并发送至电子设备的，还可以为电子设备实时采集的等，在此不做限定。
步骤S702：将所述多个形状参数作为输入参数，所述多个三维人脸形状作为输出参数，对生成对抗网络进行训练，获得所述已训练的第一生成对抗网络。
作为一种方式，在获得多个形状参数和多个三维人脸形状后，可以将多个形状参数和多个三维人脸形状作为第一训练数据集对生成对抗网络进行训练，以获得已训练的第一生成对抗网络。在一些实施方式中，可以将多个形状参数作为输入参数，将多个三维人脸形状作为输出参数对生成对抗网络进行训练，获得已训练的第一生成对抗网络。另外，在获得已训练的第一生成对抗网络后，还可以对该已训练的第一生成对抗网络的准确性进行验证，并判断该已训练的第一生成对抗网络基于输入的形状参数输出的三维人脸形状是否满足预设要求，当该已训练的第一生成对抗网络基于输入的形状参数输出的三维人脸形状不满足预设要求时，可以重新采集训第一练数据集对生成对抗网络进行训练，或者再获取多个第一训练数据集对已训练的第一生成对抗网络进行校正，在此不做限定。
其中，在第一生成对抗网络的训练过程中，首先，训练一个最低分辨率的三维人脸形状(人脸坐标贴图)，在该分辨率下，将生成器与判别器训练稳定。然后，过渡到高一级分辨率的图像进行训练。在上述步骤中添加一新的卷积层，以残差块的方式处理新的卷积层：将低分辨率的图像特征图直接2倍上采样为高一级分辨率的图像特征图，利用1×1卷积将该特征图转化为RGB图F1；将刚刚2倍上采样的高一级分辨率图像特征图，利用3×3卷积处理后，再利用一新的1×1卷积将该特征图转化为RGB图F2；将F1乘上权重1-a与F2乘上a并相加，其中权重系数a逐渐从0过渡到1，这保证了3×3卷积层的“淡入”，在该分辨率下，将生成器与判别器训练稳定。最后，过渡到更高一级分辨率的图像进行训练。按照上述步骤中的方法添加新的残差块的方式以处理新的卷积层，依此反复，最终三维人脸形状(人脸坐标贴图)的原始分辨率。
步骤S703：获取第二训练数据集，其中，所述第二训练数据集包括多个纹理参数和多个人脸纹理贴图，所述多个纹理参数和所述多个人脸纹理贴图一一对应。
在本实施例中，首先获取第二训练数据集。其中，该第二训练数据集可以包括多个纹理参数和多个人脸纹理贴图，多个纹理参数和多个人脸纹理题图一一对应。
在一些实施方式中，该第二训练数据集可以为电子设备的本地存储的，可以为其他设备存储并发送至电子设备的，可以为从服务器存储并发送至电子设备的，还可以为电子设备实时采集的等，在此不做限定。
在一些实施方式中，可以通过对样本人脸进行人脸配准的方式，获得样本人脸的人脸坐标贴图加入第一训练数据集，获得样本人脸的人脸纹理贴图加入第二训练数据集，作为一种方式，对样本人脸进行人脸配准的过程可以包括以下步骤：
S1.获得样本人脸，其中，样本人脸为带纹理的三维人脸，将带纹理的三维人脸扫描数据投影到二维生成正脸图像，利用二维关键点检测器生成正脸图像的68个二维人脸关键点反投影68个二维人脸关键点生成68个三维人脸关键点
S2.根据S1得到了原始三维人脸扫描数据的68个三维人脸关键点，通过Procrustes变换将这68个三维人脸关键点与标准人脸模板的68个三维人脸关键点作配准。通过这种方式，将所有原始三维人脸扫描数据的姿态、大小与标准人脸模板对齐。
S3.利用NICP算法将原始三维人脸扫描数据中的中性脸数据与标准人脸模板作配准，其中，中性脸数据是指不做任何表情的自然人脸。
S4.对于原始三维人脸扫描数据中的另外19(也可以为其他数量)个带表情的人脸数据，使用形变迁移算法将一组模板人脸的表情迁移到配准的中性人脸上，使其产生对应的表情(例如：已知模板人脸的中性表情和张嘴表情，则可以将张嘴动作迁移到配准的中性人脸上)。
S5.利用NICP算法将原始3D人脸扫描数据中的带表情数据与S4中形变的、带表情的人脸模板作配准，从而产生更加准确的带表情人脸网格。
S6.使用基于样本的人脸操纵算法，将S3和S5中产生的每个人的20(也可以为其他数量)个带表情的人脸网格构建为这个人的混合形状模型，结果是一个人脸的中性表情和46个FACS混合形状，即一个人的任意表情H可以通过混合形状的线性组合来表达：
S7.将混合形状的参数向量a从高斯分布N(μ＝0，σ＝1)中采样，再经过一个e指数归一化函数进行归一化，从而对三维人脸进行数据增广。将增广后的人脸数据转化为人脸坐标贴图(可以转化为三维人脸形状)和人脸纹理贴图。
步骤S704：将所述多个纹理参数作为输入参数，所述多个人脸纹理贴图作为输出参数，对生成对抗网络进行训练，获得所述已训练的第二生成对抗网络。
作为一种方式，在获得多个纹理参数和多个人脸纹理贴图后，可以将多个纹理参数和多个人脸纹理贴图作为第二训练数据集对生成对抗网络进行训练，以获得已训练的第二生成对抗网络。在一些实施方式中，可以将多个纹理参数作为输入参数，将多个三维人脸纹理贴图作为输出参数对生成对抗网络进行训练，获得已训练的第二生成对抗网络。另外，在获得已训练的第二生成对抗网络后，还可以对该已训练的第二生成对抗网络的准确性进行验证，并判断该已训练的第二生成对抗网络基于输入的纹理参数输出的人脸坐标贴图是否满足预设要求，当该已训练的第二生成对抗网络基于输入的纹理参数输出的人脸坐标贴图不满足预设要求时，可以重新采集训第二练数据集对生成对抗网络进行训练，或者再获取多个第二训练数据集对已训练的第二生成对抗网络进行校正，在此不做限定。
其中，在第二生成对抗网络的训练过程中，首先，训练一个最低分辨率的人脸纹理贴图，在该分辨率下，将生成器与判别器训练稳定。然后，过渡到高一级分辨率的图像进行训练。在上述步骤中添加一新的卷积层，以残差块的方式处理新的卷积层：将低分辨率的图像特征图直接2倍上采样为高一级分辨率的图像特征图，利用1×1卷积将该特征图转化为RGB图F1；将刚刚2倍上采样的高一级分辨率图像特征图，利用3×3卷积处理后，再利用一新的1×1卷积将该特征图转化为RGB图F2；将F1乘上权重1-a与F2乘上a并相加，其中权重系数a逐渐从0过渡到1，这保证了3×3卷积层的“淡入”，在该分辨率下，将生成器与判别器训练稳定。最后，过渡到更高一级分辨率的图像进行训练。按照上述步骤中的方法添加新的残差块的方式以处理新的卷积层，依此反复，最终纹理坐标贴图的原始分辨率。
步骤S705：获取待重建人脸的形状参数和纹理参数。
步骤S706：将所述形状参数输入第一模型，获得所述第一模型输出的三维人脸形状。
步骤S707：将所述纹理参数输入第二模型，获得所述第二模型输出的人脸纹理贴图，其中，所述第一模型和所述第二模型中的至少一个基于生成对抗网络训练获得。
步骤S708：基于所述三维人脸形状和所述人脸纹理贴图，生成目标三维人脸，其中，所述目标三维人脸包括基于所述人脸纹理贴图生成的纹理信息。
其中，步骤S705-步骤S708的具体描述请参阅步骤S101-步骤S104，在此不再赘述。
本申请又又再一个实施例提供的三维人脸的重建方法，本实施例还通过多个形状参数和多个三维人脸形状对生成对抗网络进行训练，获得可以基于形状参数生成三维人脸形状的已训练的第一生成对抗网络，通过多个纹理参数和多个人脸纹理贴图对生成对抗网络进行训练，获得可以基于纹理参数生成人脸纹理贴图的已训练的第二生成对抗网络，以提升所生成的三维人脸形状和人脸纹理贴图的准确性。
请参阅图9，图9示出了本申请实施例提供的三维人脸的重建装置的模块框图。下面将针对图9所示的框图进行阐述，所述三维人脸的重建装置200包括：参数获取模块210、人脸形状获得模块220、纹理贴图获得模块230以及三维人脸生成模块240，其中：
参数获取模块210，用于获取待重建人脸的形状参数和纹理参数。
人脸形状获得模块220，用于将所述形状参数输入第一模型，获得所述第一模型输出的三维人脸形状。
进一步地，所述第一模型为已训练的生成对抗网络，所述人脸形状获得模块220包括：人脸坐标贴图获得子模块和人脸形状获得子模块，其中：
人脸坐标贴图获得子模块，用于将所述形状参数输入所述已训练的生成对抗网络，获得所述已训练的生成对抗网络输出的人脸坐标贴图。
人脸形状获得子模块，用于基于所述人脸坐标贴图，获得所述三维人脸形状。
纹理贴图获得模块230，用于将所述纹理参数输入第二模型，获得所述第二模型输出的人脸纹理贴图，其中，所述第一模型和所述第二模型中的至少一个基于生成对抗网络训练获得。
三维人脸生成模块240，用于基于所述三维人脸形状和所述人脸纹理贴图，生成目标三维人脸，其中，所述目标三维人脸包括基于所述人脸纹理贴图生成的纹理信息。
进一步地，所述三维人脸的重建装置200还包括：二维渲染人脸生成模块，其中：
二维渲染人脸生成模块，用于基于渲染函数、相机参数和光照参数对所述目标三维人脸进行渲染，生成二维渲染人脸。
进一步地，所述三维人脸的重建装置200还包括：姿态获取模块、关键点损失计算模块、第一迭代优化模块以及第一优化参数替代模块，其中：
姿态获取模块，用于获取所述待重建人脸的姿态。
进一步地，所述姿态获取模块包括：第一人脸关键点获得子模块和姿态获取子模块，其中：
第一人脸关键点获得子模块，用于对所述待重建人脸进行关键点检测，获得所述待重建人脸的多个三维人脸关键点作为第一人脸关键点，
进一步地，所述第一人脸关键点获得子模块包括：第二人脸关键点获得单元，其中：
第二人脸关键点获得单元，用于对所述待重建人脸进行关键点检测，获得所述待重建人脸的多个三维人脸关键点作为第一人脸关键点，并获取所述待重建人脸的多个二维人脸关键点作为第二人脸关键点。
姿态获取子模块，用于基于所述第一人脸关键点，获取所述待重建人脸的姿态。
关键点损失计算模块，用于基于所述姿态和预设姿态的关系，计算所述待重建人脸以及目标三维人脸的关键点损失。
进一步地，所述关键点损失计算模块包括：第一关键点计算子模块和第二关键点计算子模块，其中：
第一关键点损失计算子模块，用于当所述姿态大于所述预设姿态时，获取所述目标三维人脸的多个三维人脸关键点作为第三人脸关键点，并计算所述第一人脸关键点和所述第三人脸关键点的关键点损失。
第二关键点计算子模块，用于当所述姿态不大于所述预设姿态时，获取所述目标三维人脸的多个三维人脸关键点对应的多个二维人脸关键点作为第四人脸关键点，并计算所述第二人脸关键点和所述第四人脸关键点的关键点损失。
第一迭代优化模块，用于基于所述关键点损失对所述形状参数进行迭代优化，获得第一优化形状参数。
第一优化参数替代模块，用于第一将所述第一优化形状参数作为新的形状参数输入所述第一模型。
进一步地，所述三维人脸的重建装置200还包括：优化相机参数获得模块和第二优化参数替代模块，其中：
优化相机参数获得模块，用于基于所述关键点损失对所述相机参数进行迭代优化，获得优化相机参数。
第二优化参数替代模块，用于将所述优化相机参数作为新的相机参数进行所述目标三维人脸的渲染。
进一步地，所述三维人脸的重建装置200还包括：生物特征信息获取模块、生物特征损失计算模块、第二迭代优化模块以及第三优化参数替代模块，其中：
生物特征信息获取模块，用于获取所述待重建人脸的生物特征信息作为第一生物特征信息，并获取所述二维渲染人脸的生物特征信息作为第二生物特征信息。
生物特征损失计算模块，用于基于所述第一生物特征信息和所述第二生物特征信息，计算所述待重建人脸以及二维渲染人脸的生物特征损失。
第二迭代优化模块，用于基于所述生物特征损失对所述形状参数和所述纹理参数进行迭代优化，获得第二优化形状参数和第一优化纹理参数。
第三优化参数替代模块，用于将所述第二优化形状参数作为新的形状参数输入所述第一模型，并将所述第一优化纹理参数作为新的纹理参数输入所述第二模型。
进一步地，所述三维人脸的重建装置200还包括：属性内容信息获取模块、属性内容损失计算模块、第三迭代优化模块以及第四优化参数替代模块，其中：
属性内容信息获取模块，用于获取所述待重建人脸的属性内容信息作为第一属性内容信息，并获取所述二维渲染人脸的属性内容信息作为第二属性内容信息。
属性内容损失计算模块，用于基于所述第一属性内容信息和所述第二属性内容信息，计算所述待重建人脸以及二维渲染人脸的属性内容损失。
第三迭代优化模块，用于基于所述属性内容损失对所述形状参数和所述纹理参数进行迭代优化，获得第三优化形状参数和第二优化纹理参数。
第四优化参数替代模块，用于将所述第三优化形状参数作为新的形状参数输入所述第一模型，并将所述第二优化纹理参数作为新的纹理参数输入所述第二模型。
进一步地，所述三维人脸的重建装置200还包括：像素信息获取模块、像素损失计算模块、第四迭代优化模块以及第五优化参数替代模块，其中：
像素信息获取模块，用于获取所述待重建人脸的像素信息作为第一像素信息，并获取基于所述二维渲染人脸的像素信息作为第二像素信息。
像素损失计算模块，用于基于所述第一像素信息和所述第二像素信息，计算所述待重建人脸以及二维渲染人脸的像素损失。
第四迭代优化模块，用于基于所述像素损失对所述光照参数进行迭代优化，获得优化光照参数。
第五优化参数替代模块，用于将所述优化光照参数作为新的光照参数进行所述目标三维人脸的渲染。
进一步地，所述三维人脸的重建装置200还包括：第一训练数据集获取模块和第一生成对抗网络获得模块，其中：
第一训练数据集获取模块，用于获取第一训练数据集，其中，所述第一训练数据集包括多个形状参数和多个三维人脸形状，所述多个形状参数和所述多个三维人脸形状一一对应。
第一生成对抗网络获得模块，用于将所述多个形状参数作为输入参数，所述多个三维人脸形状作为输出参数，对生成对抗网络进行训练，获得所述已训练的第一生成对抗网络。
进一步地，所述三维人脸的重建装置200还包括：第二训练数据集获取模块和第二生成对抗网络获得模块，其中：
第二训练数据集获取模块，用于获取第二训练数据集，其中，所述第二训练数据集包括多个纹理参数和多个人脸纹理贴图，所述多个纹理参数和所述多个人脸纹理贴图一一对应。
第二生成对抗网络获得模块，用于将所述多个纹理参数作为输入参数，所述多个人脸纹理贴图作为输出参数，对生成对抗网络进行训练，获得所述已训练的第二生成对抗网络。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
请参阅图10，其示出了本申请实施例提供的一种电子设备100的结构框图。该电子设备100可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的电子设备100可以包括一个或多个如下部件：处理器110、存储器120、触摸屏130以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
其中，处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责待显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
触摸屏130用于显示由用户输入的信息、提供给用户的信息以及所述电子设备100的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、数字、视频和其任意组合来构成，在一个实例中，该触摸屏130可以为液晶显示器(Liquid Crystal Display，LCD)，也可以为有机发光二极管(Organic Light-Emitting Diode，OLED)，在此不做限定。
请参阅图11，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质300中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质300可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质300包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质300具有执行上述方法中的任何方法步骤的程序代码310的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码310可以例如以适当形式进行压缩。
综上所述，本申请实施例提供的三维人脸的重建方法、装置、电子设备以及存储介质，获取待重建人脸的形状参数和纹理参数，将形状参数输入第一模型，获得第一模型输出的三维人脸形状，将纹理参数输入第二模型，获得第二模型输出的人脸纹理贴图，其中，第一模型和第二模型中的至少一个基于生成对抗网络训练获得，基于三维人脸形状和人脸纹理贴图，生成目标三维人脸，其中，目标三维人脸包括基于人脸纹理贴图生成的纹理信息，从而通过训练好的生成对抗网络来生成三维人脸形状和/或人脸纹理贴图，使得生成的目标三维人脸具有丰富的细节特征，提升三维人脸的重建效果。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (11)
1.一种三维人脸的重建方法，其特征在于，所述方法包括：
获取待重建人脸的形状参数和纹理参数；
将所述形状参数输入已训练的第一生成对抗网络，获得所述第一生成对抗网络输出的三维人脸形状；
将所述纹理参数输入已训练的第二生成对抗网络，获得所述第二生成对抗网络输出的人脸纹理贴图；
基于所述三维人脸形状和所述人脸纹理贴图，生成目标三维人脸，其中，所述目标三维人脸包括基于所述人脸纹理贴图生成的纹理信息；
基于渲染函数、相机参数和光照参数对所述目标三维人脸进行渲染，生成二维渲染人脸；
对所述待重建人脸进行关键点检测，获得所述待重建人脸的多个三维人脸关键点作为第一人脸关键点，并获取所述待重建人脸的多个二维人脸关键点作为第二人脸关键点；
基于所述第一人脸关键点，获取所述待重建人脸的姿态；
当所述姿态大于预设姿态时，获取所述目标三维人脸的多个三维人脸关键点作为第三人脸关键点，并计算所述第一人脸关键点和所述第三人脸关键点的关键点损失；
当所述姿态不大于所述预设姿态时，获取所述目标三维人脸的多个三维人脸关键点对应的多个二维人脸关键点作为第四人脸关键点，并计算所述第二人脸关键点和所述第四人脸关键点的关键点损失；
基于所述关键点损失对所述形状参数进行迭代优化，获得第一优化形状参数；
将所述第一优化形状参数作为新的形状参数输入所述第一生成对抗网络。
2.根据权利要求1所述的方法，其特征在于，所述将所述形状参数输入已训练的第一生成对抗网络，获得所述第一生成对抗网络输出的三维人脸形状，包括：
将所述形状参数输入所述第一生成对抗网络，获得所述第一生成对抗网络输出的人脸坐标贴图；
基于所述人脸坐标贴图，获得所述三维人脸形状。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述关键点损失对所述相机参数进行迭代优化，获得优化相机参数；
将所述优化相机参数作为新的相机参数进行所述目标三维人脸的渲染。
4.根据权利要求1所述的方法，其特征在于，所述基于渲染函数、相机参数和光照参数对所述目标三维人脸进行渲染，生成二维渲染人脸之后，还包括：
获取所述待重建人脸的生物特征信息作为第一生物特征信息，并获取所述二维渲染人脸的生物特征信息作为第二生物特征信息；
基于所述第一生物特征信息和所述第二生物特征信息，计算所述待重建人脸以及二维渲染人脸的生物特征损失；
基于所述生物特征损失对所述形状参数和所述纹理参数进行迭代优化，获得第二优化形状参数和第一优化纹理参数；
将所述第二优化形状参数作为新的形状参数输入所述第一生成对抗网络，并将所述第一优化纹理参数作为新的纹理参数输入所述第二生成对抗网络。
5.根据权利要求1所述的方法，其特征在于，所述基于渲染函数、相机参数和光照参数对所述目标三维人脸进行渲染，生成二维渲染人脸之后，还包括：
获取所述待重建人脸的属性内容信息作为第一属性内容信息，并获取所述二维渲染人脸的属性内容信息作为第二属性内容信息；
基于所述第一属性内容信息和所述第二属性内容信息，计算所述待重建人脸以及二维渲染人脸的属性内容损失；
基于所述属性内容损失对所述形状参数和所述纹理参数进行迭代优化，获得第三优化形状参数和第二优化纹理参数；
将所述第三优化形状参数作为新的形状参数输入所述第一生成对抗网络，并将所述第二优化纹理参数作为新的纹理参数输入所述第二生成对抗网络。
6.根据权利要求1所述的方法，其特征在于，所述基于渲染函数、相机参数和光照参数对所述目标三维人脸进行渲染，生成二维渲染人脸之后，还包括：
获取所述待重建人脸的像素信息作为第一像素信息，并获取基于所述二维渲染人脸的像素信息作为第二像素信息；
基于所述第一像素信息和所述第二像素信息，计算所述待重建人脸以及二维渲染人脸的像素损失；
基于所述像素损失对所述光照参数进行迭代优化，获得优化光照参数；
将所述优化光照参数作为新的光照参数进行所述目标三维人脸的渲染。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述将所述形状参数输入已训练的第一生成对抗网络，获得所述第一生成对抗网络输出的三维人脸形状之前，还包括：
获取第一训练数据集，其中，所述第一训练数据集包括多个形状参数和多个三维人脸形状，所述多个形状参数和所述多个三维人脸形状一一对应；
将所述多个形状参数作为输入参数，所述多个三维人脸形状作为输出参数，对生成对抗网络进行训练，获得所述已训练的第一生成对抗网络。
8.根据权利要求1-6任一项所述的方法，其特征在于，所述将所述纹理参数输入已训练的第二生成对抗网络，获得所述第二生成对抗网络输出的人脸纹理贴图之前，还包括：
获取第二训练数据集，其中，所述第二训练数据集包括多个纹理参数和多个人脸纹理贴图，所述多个纹理参数和所述多个人脸纹理贴图一一对应；
将所述多个纹理参数作为输入参数，所述多个人脸纹理贴图作为输出参数，对生成对抗网络进行训练，获得所述已训练的第二生成对抗网络。
9.一种三维人脸的重建装置，其特征在于，所述装置包括：
参数获取模块，用于获取待重建人脸的形状参数和纹理参数；
人脸形状获得模块，用于将所述形状参数输入已训练的第一生成对抗网络，获得所述第一生成对抗网络输出的三维人脸形状；
纹理贴图获得模块，用于将所述纹理参数输入已训练的第二生成对抗网络，获得所述第二生成对抗网络输出的人脸纹理贴图；
三维人脸生成模块，用于基于所述三维人脸形状和所述人脸纹理贴图，生成目标三维人脸，其中，所述目标三维人脸包括基于所述人脸纹理贴图生成的纹理信息；
二维渲染人脸生成模块，用于基于渲染函数、相机参数和光照参数对所述目标三维人脸进行渲染，生成二维渲染人脸；
姿态获取模块，用于对所述待重建人脸进行关键点检测，获得所述待重建人脸的多个三维人脸关键点作为第一人脸关键点，并获取所述待重建人脸的多个二维人脸关键点作为第二人脸关键点；
姿态获取模块，还用于基于所述第一人脸关键点，获取所述待重建人脸的姿态；
关键点损失计算模块，用于当所述姿态大于预设姿态时，获取所述目标三维人脸的多个三维人脸关键点作为第三人脸关键点，并计算所述第一人脸关键点和所述第三人脸关键点的关键点损失；
关键点损失计算模块，还用于当所述姿态不大于所述预设姿态时，获取所述目标三维人脸的多个三维人脸关键点对应的多个二维人脸关键点作为第四人脸关键点，并计算所述第二人脸关键点和所述第四人脸关键点的关键点损失；
第一迭代优化模块，用于基于所述关键点损失对所述形状参数进行迭代优化，获得第一优化形状参数；
第一优化参数替代模块，用于将所述第一优化形状参数作为新的形状参数输入所述第一生成对抗网络。
10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时所述处理器执行如权利要求1-8任一项所述的方法。
11.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110151906.3A CN112819947B (zh) | 2021-02-03 | 2021-02-03 | 三维人脸的重建方法、装置、电子设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110151906.3A CN112819947B (zh) | 2021-02-03 | 2021-02-03 | 三维人脸的重建方法、装置、电子设备以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112819947A CN112819947A (zh) | 2021-05-18 |
| CN112819947B true CN112819947B (zh) | 2025-02-11 |
Family
ID=75861151
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110151906.3A Active CN112819947B (zh) | 2021-02-03 | 2021-02-03 | 三维人脸的重建方法、装置、电子设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112819947B (zh) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113269862B (zh) * | 2021-05-31 | 2024-06-21 | 中国科学院自动化研究所 | 场景自适应的精细三维人脸重建方法、系统、电子设备 |
| CN113221847A (zh) * | 2021-06-07 | 2021-08-06 | 广州虎牙科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN113592988B (zh) * | 2021-08-05 | 2023-06-30 | 北京奇艺世纪科技有限公司 | 三维虚拟角色图像生成方法及装置 |
| CN113723317B (zh) * | 2021-09-01 | 2024-04-09 | 京东科技控股股份有限公司 | 3d人脸的重建方法、装置、电子设备和存储介质 |
| CN113762147B (zh) * | 2021-09-06 | 2023-07-04 | 网易（杭州）网络有限公司 | 人脸表情迁移方法、装置、电子设备及存储介质 |
| CN113838176B (zh) * | 2021-09-16 | 2023-09-15 | 网易（杭州）网络有限公司 | 模型的训练方法、三维人脸图像生成方法及设备 |
| CN116012513B (zh) * | 2021-10-20 | 2024-11-29 | 腾讯科技（深圳）有限公司 | 脸部模型生成方法、装置、设备及存储介质 |
| CN114125273B (zh) * | 2021-11-05 | 2023-04-07 | 维沃移动通信有限公司 | 人脸对焦方法、装置及电子设备 |
| CN114241102B (zh) * | 2021-11-11 | 2024-04-19 | 清华大学 | 基于参数化模型的人脸细节重建和编辑方法 |
| CN114037802A (zh) * | 2021-11-24 | 2022-02-11 | Oppo广东移动通信有限公司 | 三维人脸模型重建方法、装置、存储介质及计算机设备 |
| CN114399424B (zh) * | 2021-12-23 | 2025-01-07 | 北京达佳互联信息技术有限公司 | 模型训练方法及相关设备 |
| CN114339190B (zh) * | 2021-12-29 | 2023-06-23 | 中国电信股份有限公司 | 通讯方法、装置、设备及存储介质 |
| CN116485986B (zh) * | 2022-01-20 | 2025-02-14 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN114549291A (zh) * | 2022-02-24 | 2022-05-27 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备以及存储介质 |
| CN116778076B (zh) * | 2022-03-11 | 2025-01-21 | 腾讯科技（深圳）有限公司 | 一种人脸样本构建方法和相关装置 |
| CN114549729B (zh) * | 2022-03-25 | 2024-11-22 | 北京奇艺世纪科技有限公司 | 纹理贴图的生成方法和装置、电子设备和存储介质 |
| CN114693876B (zh) * | 2022-04-06 | 2024-08-06 | 北京字跳网络技术有限公司 | 数字人生成方法、装置、存储介质和电子设备 |
| CN114821404B (zh) * | 2022-04-08 | 2023-07-25 | 马上消费金融股份有限公司 | 一种信息处理方法、装置、计算机设备及存储介质 |
| CN114783022B (zh) * | 2022-04-08 | 2023-07-21 | 马上消费金融股份有限公司 | 一种信息处理方法、装置、计算机设备及存储介质 |
| CN114926591A (zh) * | 2022-05-25 | 2022-08-19 | 广州图匠数据科技有限公司 | 多分支深度学习的3d人脸重建模型训练方法、系统及介质 |
| CN115205707B (zh) * | 2022-09-13 | 2022-12-23 | 阿里巴巴（中国）有限公司 | 样本图像生成方法、存储介质以及电子设备 |
| CN115439610B (zh) * | 2022-09-14 | 2024-04-26 | 中国电信股份有限公司 | 模型的训练方法、训练装置、电子设备和可读存储介质 |
| CN116894911B (zh) * | 2023-03-28 | 2024-12-03 | 网易（杭州）网络有限公司 | 三维重建方法、装置、电子设备及可读存储介质 |
| CN116714251B (zh) * | 2023-05-16 | 2024-05-31 | 北京盈锋科技有限公司 | 一种人物三维立体打印系统、方法、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978759A (zh) * | 2019-03-27 | 2019-07-05 | 北京市商汤科技开发有限公司 | 图像处理方法及装置和图像生成网络的训练方法及装置 |
| CN111524216A (zh) * | 2020-04-10 | 2020-08-11 | 北京百度网讯科技有限公司 | 生成三维人脸数据的方法和装置 |
| CN111882643A (zh) * | 2020-08-10 | 2020-11-03 | 网易（杭州）网络有限公司 | 三维人脸构建方法、装置和电子设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103093490B (zh) * | 2013-02-02 | 2015-08-26 | 浙江大学 | 基于单个视频摄像机的实时人脸动画方法 |
| CN110020620B (zh) * | 2019-03-29 | 2021-07-30 | 中国科学院深圳先进技术研究院 | 一种大姿态下的人脸识别方法、装置及设备 |
-
2021
- 2021-02-03 CN CN202110151906.3A patent/CN112819947B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978759A (zh) * | 2019-03-27 | 2019-07-05 | 北京市商汤科技开发有限公司 | 图像处理方法及装置和图像生成网络的训练方法及装置 |
| CN111524216A (zh) * | 2020-04-10 | 2020-08-11 | 北京百度网讯科技有限公司 | 生成三维人脸数据的方法和装置 |
| CN111882643A (zh) * | 2020-08-10 | 2020-11-03 | 网易（杭州）网络有限公司 | 三维人脸构建方法、装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112819947A (zh) | 2021-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112819947B (zh) | 三维人脸的重建方法、装置、电子设备以及存储介质 | |
| CN112002014B (zh) | 面向精细结构的三维人脸重建方法、系统、装置 | |
| EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
| US10679046B1 (en) | Machine learning systems and methods of estimating body shape from images | |
| WO2021093453A1 (zh) | 三维表情基的生成方法、语音互动方法、装置及介质 | |
| CN109214282B (zh) | 一种基于神经网络的三维手势关键点检测方法和系统 | |
| WO2020000814A1 (en) | Computer-implemented method for generating composite image, apparatus for generating composite image, and computer-program product | |
| WO2020042720A1 (zh) | 一种人体三维模型重建方法、装置和存储介质 | |
| WO2021120834A1 (zh) | 基于生物识别的手势识别方法、装置、计算机设备及介质 | |
| Zhong et al. | Towards practical sketch-based 3d shape generation: The role of professional sketches | |
| CN109544606B (zh) | 基于多个Kinect的快速自动配准方法及系统 | |
| CN103425964B (zh) | 图像处理设备和图像处理方法 | |
| CN108550176A (zh) | 图像处理方法、设备及存储介质 | |
| US11880913B2 (en) | Generation of stylized drawing of three-dimensional shapes using neural networks | |
| JP6863596B2 (ja) | データ処理装置及びデータ処理方法 | |
| CN112116720A (zh) | 三维点云的增广方法、装置、存储介质及计算机设备 | |
| CN112785712A (zh) | 三维模型的生成方法、装置和电子设备 | |
| CN109934926B (zh) | 模型数据处理方法、装置、可读存储介质和设备 | |
| US20230079478A1 (en) | Face mesh deformation with detailed wrinkles | |
| CN117372604A (zh) | 一种3d人脸模型生成方法、装置、设备及可读存储介质 | |
| CN115984447B (zh) | 图像渲染方法、装置、设备和介质 | |
| CN108549484A (zh) | 基于人体动态姿态的人机交互方法和装置 | |
| CN118537916A (zh) | 基于全身特征的时空交叉注意力网络手语识别方法及装置 | |
| CN118736092A (zh) | 一种基于三维高斯喷溅的虚拟人任意视角渲染方法与系统 | |
| CN111275610A (zh) | 一种人脸变老图像处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |