CN113111861A - 人脸纹理特征提取、3d人脸重建方法及设备及存储介质 - Google Patents
人脸纹理特征提取、3d人脸重建方法及设备及存储介质 Download PDFInfo
- Publication number
- CN113111861A CN113111861A CN202110519887.5A CN202110519887A CN113111861A CN 113111861 A CN113111861 A CN 113111861A CN 202110519887 A CN202110519887 A CN 202110519887A CN 113111861 A CN113111861 A CN 113111861A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- geometric model
- initial
- texture map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 238000000605 extraction Methods 0.000 title claims description 26
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 230000009466 transformation Effects 0.000 claims abstract description 8
- 238000005457 optimization Methods 0.000 claims description 43
- 230000011218 segmentation Effects 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 26
- 230000015654 memory Effects 0.000 claims description 23
- 210000004709 eyebrow Anatomy 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000003062 neural network model Methods 0.000 claims description 14
- 238000009877 rendering Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 10
- 230000014509 gene expression Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000001815 facial effect Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 20
- 238000010276 construction Methods 0.000 abstract description 16
- 230000001953 sensory effect Effects 0.000 abstract description 8
- 210000001508 eye Anatomy 0.000 description 21
- 238000012549 training Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000013179 statistical model Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000009469 supplementation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了人脸纹理特征提取、3D人脸重建方法及设备及存储介质，该方法包括以下步骤：提取人脸图像的2D人脸关键点；根据人脸几何模型得到初始纹理图；将人脸关键点映射到初始纹理图中得到关键点的初始位置；预测每个关键点的运动场得到每个关键点在初始纹理图中的预测位置；根据关键点的初始位置和预测位置构建变换，对初始纹理图进行扭曲得到最终的纹理图。本方案通过将人脸关键点映射到初始纹理图中得到初始位置，并对每个关键点在初始纹理图中的位置进行预测，通过初始位置和预测位置对初始纹理图进行扭曲得到最终的纹理图，使得得到的纹理图更真实，减小3D人脸构建过程中渲染出的图像和实际图像感官差异，提高3D人脸模型的构建真实度。
Description
技术领域
本发明属于3D人脸建模技术领域，具体涉及一种人脸纹理特征提取、3D人脸重建方法及设备及存储介质。
背景技术
基于图像的3D人脸重建是根据单张或有限数量的图像重建人脸，这些图像是在任意场景下，可以是任意设备拍摄的。基于图像的3D人脸重建现有常用的是基于可形变3D人脸模型(3D Morphable Model，3DMM)的方案，通过从图像中求取合适的可形变3D人脸模型参数，获得3D人脸模型。
3D人脸模型通常表示为网格mesh格式，由顶点vertex和三角面片face构成。每个顶点有3D坐标[x，y，z]，三角面片则定义了顶点之间的连接关系。通常三角面片的连接关系是不变的，调整顶点的坐标可以得到不同形态的人脸模型。3DMM作为一种参数化统计模型，模型的顶点3D坐标可以由公式表达：
其中，S是最终的人脸3D模型的顶点(vertex)的3D坐标，
是统计意义下的平均人脸3D模型(平均几何)，Bid是根据统计模型得到的相互正交的一组线性基底，影响中性表情下的人脸几何形状，如脸型，五官形态等；Bexp是根据统计模型得到的相互正交的一组线性基底，对应于表情的编辑，也称为blendshape。
Bid、Bexp为3DMM模型给定的固定值，给定任意一组合法的系数α、β，就可以确定出一个相应人脸的3D几何形状。而所谓的从人脸图像恢复出3D几何信息，指的就是求解出合适的一组系数α和β，使得S表述的人脸形状渲染后和给定的人脸图像相符合。
一些3DMM模型也包括对纹理的统计模型T：
其中，
是平均纹理，Bt为3DMM模型给定的固定值，求取合适的系数δ可以获得不同的纹理，但纹理真实感偏低。
现有的从图像中估计可形变的3D人脸模型参数的方案，其利用神经网络从人脸图像中回归出模型参数，根据模型参数构建出人脸几何模型和纹理，在进行渲染。但是，现有技术中纹理并不是取自真实图像，使得渲染出的图像和实际图像感官差异大，导致计算视觉差异并不合理。如何减小渲染出的图像和实际图像感官差异，提高3D人脸模型的构建真实度，是值得研究的。
发明内容
本发明为了解决现有纹理提取不真实导致渲染出的图像和实际图像感官差异大的问题，提供一种人脸纹理特征提取、3D人脸重建方法及设备及存储介质，其通过预测人脸关键点的运动场，通过预测的运动场对纹理图进行扭曲，使得提取的纹理图更准确，减小渲染出的图像和实际图像感官差异，提高3D人脸模型的构建真实度。
为了实现上述目的，本发明采用以下技术方案：
本发明第一方面提供一种人脸纹理特征提取方法，包括以下步骤：
提取人脸图像的2D人脸关键点；
根据人脸几何模型得到初始纹理图；
将人脸关键点映射到初始纹理图中得到关键点的初始位置；
预测每个关键点的运动场得到每个关键点在初始纹理图中的预测位置；
根据关键点的初始位置和预测位置构建变换，对初始纹理图进行扭曲得到最终的纹理图。
本方案通过将人脸关键点映射到初始纹理图中得到初始位置，并对每个关键点在初始纹理图中的位置进行预测，通过初始位置和预测位置对初始纹理图进行扭曲得到最终的纹理图，使得得到的纹理图更真实，减小3D人脸构建过程中渲染出的图像和实际图像感官差异，提高3D人脸模型的构建真实度。
在一个可能的设计中，所述根据人脸几何模型得到初始纹理图包括：
对人脸几何模型进行投影，确定人脸几何模型未被遮挡的顶点在人脸图像中的对应位置；
提取所述人脸几何模型未被遮挡的顶点在人脸图像中的对应位置的颜色信息；
将提取的颜色信息根据据人脸几何模型和纹理图之间的采样关系展开得到初始纹理图。
在一个可能的设计中，采用神经网络模型预测每个关键点的运动场得到每个关键点的预测位置。
本发明第二方面提供一种3D人脸重建方法，包括以下步骤：
根据人脸图像获取人脸几何模型；
采用第一方面的的人脸纹理特征提取方法基于人脸几何模型从人脸图像中提取人脸纹理图；
将人脸几何模型转化为2D方式的信息，所述2D方式的信息为深度图或法向量图；
将所述2D方式的信息和人脸纹理图输入至训练完后的神经网络模型中得到3D人脸的渲染图像。
在3D人脸重建时，纹理图是影响3D人脸模型的构建真实度的关键因素之一，通过上述方式获取的纹理图更真实，减小3D人脸构建过程中渲染出的图像和实际图像感官差异，提高3D人脸模型的构建真实度。
在一个可能的设计中，所述获取人脸几何模型包括：
获取至少一个人脸图像的初始人脸几何模型并将所述至少一个人脸图像转换为第一剪影图像；
获取所述人脸几何模型的投影图像，并将所述投影图像转化为第二剪影图像；
调整人脸几何模型的相关参数及人脸几何模型相应优化区域的顶点坐标，使第二剪影图像和第一剪影图像的差异小于一阈值，获取此时第二剪影图像对应的人脸几何模型作为最终的人脸几何模型，所述人脸几何模型的相关参数包括与人脸形状相关的参数α、与人脸表情相关的参数β、尺度参数s、旋转参数R、平移参数t。
在3D人脸重建时，人脸几何模型同样是3D人脸模型的构建真实度的关键因素之一。现有方法中，其人脸形态估计不准，同样使渲染出的图像和实际图像感官差异大。本方案进一步对人脸几何模型进行优化，提高人脸形态估计的准确度，从而提高3D人脸模型的构建真实度。本方案在对人脸几何模型进行优化时，通过将将初始人脸几何模型转换为第二剪影图像，通过调节人脸几何模型的相关参数使得第二剪影图像与人脸图像转换得到的第一剪影图像的差异最小化，即调节初始人脸几何模型到最优模型，提高人脸形态的估计准确度。
在一个可能的设计中，所述方法还包括：
对人脸图像进行语义分割得到至少一个语义分割区域，所述语义分割区域包括眼睛区域、眉毛区域、鼻子区域、嘴巴区域；
在人脸几何模型中确定分别与所述至少一个语义分割区域中每个语义分割区域相对应的顶点坐标；
所述调整人脸几何模型的相关参数及人脸几何模型相应区域的顶点坐标包括：
在保持其它语义分割区域相对应的顶点坐标不变的情况下，调整人脸几何模型的相关参数及一语义分割区域相对应的顶点坐标，使第一剪影图像和第二剪影图像的差异小于一阈值。
本方案通过对至少一语义分割区域进行优化调节，达到局部最优。
在一个可能的设计中，所述调整人脸几何模型的相关参数及人脸几何模型相应优化区域的顶点坐标，使第一剪影图像和第二剪影图像的差异小于一阈值包括：
将语义分割区域中未被遮挡的区域进行掩码处理得到未被遮挡区域的掩码图像；
根据人脸几何模型相应优化区域的顶点坐标、第一剪影图像、第二剪影图像、未被遮挡区域的掩码图像构建一损失函数；
求取损失函数对人脸几何模型的相关参数的导数；
利用梯度下降算法，根据梯度调整人脸几何模型的相关参数至损失函数最小。
本发明第三方面提供一种人脸3D人脸重建设备，包括：
一图像预处理单元，所述图像预处理单元对人脸图像进行处理得到人脸图像的2D关键点；
一人脸几何模型获取单元，所述人脸几何模型获取单元用于根据人脸图像获取人脸几何模型；
一初始纹理特征提取单元，所述始纹理特征提取单元用于根据人脸几何模型从人脸图像中提取出初始纹理图；
一纹理扭曲单元，所述纹理扭曲单元根据人脸图像的2D人脸关键点映射至初始纹理图中的关键点及预测的每个关键点的运动场对初始纹理图进行扭曲得到最终的纹理图；
一人脸几何模型转化单元，所述人脸几何模型转化单元将所述人脸几何模型转化为2D方式的信息，所述2D方式的信息为深度图或法向量图；
一渲染单元，所述渲染单元根据2D方式的信息和最终的纹理图生成3D人脸。
本发明第四方面提供一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面中任一项中所述的一种人脸纹理特征提取方法或第二方面中的3D人脸重建方法。
本发明第五方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项中所述的一种人脸纹理特征提取方法或第二方面中的3D人脸重建方法。
本发明与现有技术相比，至少具有以下优点和有益效果：
1、本方案将关键点映射到初始纹理图中得到初始位置，预测每个关键点的运动场得到预测位置，通过关键点的初始位置和预测位置构建变换实现纹理的扭曲，其扭曲得到的纹理图更真实，提高渲染效果，提高3D人脸重建准确性。
2、本方案通过在2D层面对人脸纹理特征进行扭曲，在一定程度上弥补了人脸几何模型估计不准带来的采样偏差，将确定性的采样过程变成了有一定容忍度的柔性采样，提高后续3D人脸构建的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为对一人脸图像进行预处理的过程图。
图2为人脸纹理特征提取方法的一流程图。
图3为3D人脸重建方法的一流程图。
图4一人脸几何模型的剪影图像。
图5为一3D人脸重建设备的原理图。
具体实施方式
下面结合附图及具体实施例来对本发明作进一步阐述。在此需要说明的是，对于这些实施例方式的说明虽然是用于帮助理解本发明，但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明的示例实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本文阐述的实施例中。
应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
应当理解，在下面的描述中提供了特定的细节,以便于对示例实施例的完全理解。然而,本领域普通技术人员应当理解可以在没有这些特定细节的情况下实现示例实施例。例如可以在框图中示出系统，以避免用不必要的细节来使得示例不清楚。在其他实例中，可以不以非必要的细节来示出众所周知的过程、结构和技术，以避免使得示例实施例不清楚。
实施例
如图2所示，本发明第一方面提供一种人脸纹理特征提取方法，该方法可以在特征提取设备上执行，所述特征提取设备可以是电脑、服务器、便携式智能设备或其他智能设备。所述一种人脸纹理特征提取方法包括以下步骤S101～步骤S103。
步骤S101、用户上传一人脸图像，如图1中a所示，特征提取设备接收到该人脸图像好后，首先对人脸进行预处理，包括提取人脸图像的2D关键点，得到图1中b图。根据关键点将图像的人脸矫正对齐到一标准的参考坐标系下，得到归一化的人脸图像。进一步的，可对归一化的人脸图像进行进一步的处理，包括但不限于去模糊、超分辨、光照均衡等预处理操作，从而提升图像质量，提高3D人脸模型系数和相对相机坐标系的外参数的获取精度。
对人脸图像进行语义分割得到至少一个语义分割区域及遮挡物的区域，所述语义分割区域包括眼睛区域、眉毛区域、鼻子区域、嘴巴区域，语义分割区域中任一区域也可能为被遮挡物遮挡的区域，也可能是未被遮挡物遮挡的区域即有效人脸区域，遮挡物包括眼镜、口罩或其他遮挡物遮挡的区域。如图1中c图所示，每个不同颜色信息代表人脸的一个特定语义区域，其中，由于附图已调整为黑白色，c图中不同深度的代表人脸的一个特定语义区域，将语义分割得到的图记为Imask。若人脸图像中有遮挡，可用人脸补全算法补全人脸图再提取纹理图。若具有多张人脸图像，可以用多图互补融合的方式、超分辨算法中至少一种方法并结合人脸补全算法，制作出好的纹理图。
步骤S102、根据人脸几何模型得到初始纹理图，具体的，先根据人脸图像获取人脸几何模型，再根据人脸几何模型得到初始纹理图，该步骤包括步骤S1021～步骤S1022。
步骤S1021、根据人脸图像获取人脸几何模型。归一化处理过程中可能存在误差，此时将所述归一化的人脸图像输入至已训练完成的参数回归模型中得到与人脸图像相对应的3D人脸模型系数和人脸模型相对相机坐标系的外参数，此处，3D人脸模型系数包括与人脸形状相关的参数α、与人脸表情相关的参数β，人脸模型相对相机坐标系的外参数包括尺度参数s、旋转参数R、平移参数t。
根据估计出的3D人脸模型系数和人脸模型相对相机坐标系的外参数，构建人脸几何模型，并通过相似变换对齐得到相应的位置，得到初始人脸几何模型S0，
其中，
是统计意义下的平均人脸3D模型(平均几何)，Bid是根据统计模型得到的相互正交的一组线性基底，影响中性表情下的人脸几何形状，如脸型，五官形态等；Bexp是根据统计模型得到的相互正交的一组线性基底，对应于表情的编辑，也称为blendshape。
若此时，几何模型的顶点数量较少，可进行步骤S1015：对初始人脸几何模型S0进行顶点插值或网格平滑处理，或者同时对其进行顶点插值和网格平滑处理。采用该步骤可增加顶点数量且维持人脸网格的连续性，增强采样率提升纹理图清晰度，增强人脸几何模型微调的调节自由度，能够更好的拟合人脸图像的形态。
步骤S1022、确定人脸几何模型后，再根据人脸几何模型确认初始纹理图。
具体的，对人脸几何模型进行投影，确定人脸几何模型未被遮挡的顶点在人脸图像中的对应位置，该遮挡区域可能是眼镜遮挡区域或者其他遮挡物遮挡的区域。
提取所述人脸几何模型未被遮挡的顶点在人脸图像中的对应位置的颜色信息。
将提取的颜色信息根据据人脸几何模型和纹理图之间的采样关系展开得到初始纹理图，具体的，对颜色信息进行UV展开操作即可得到初始纹理图。此时，若得到的纹理图不清晰，可采用超分辨算法提升纹理图的清晰度。
步骤S103、将人脸关键点映射到初始纹理图中得到关键点的初始位置。
步骤S104、利用神经网络模型预测每个关键点的运动场，得到每个关键点在初始纹理图中的预测位置。
步骤S105、根据关键点的初始位置和预测位置构建变换，对初始纹理图进行扭曲得到最终的纹理图。
本发明第一方面提供的人脸纹理特征提取方法，通过对纹理进行扭曲处理，若人脸图像的语义分割区域中存在遮挡，可基于多张人脸图像进行补全或多图融合得到完整纹理，提升纹理的完整性。本方案基于深度学习的神经网络模型实现局部扭曲形变弥补了纹理提取过程中对人脸几何模型误差的容忍度，有效提高纹理的清晰度。
本发明第二方面提供一种3D人脸重建方法，该方法可以在人脸重建设备上执行，所述人脸重建设备可以是电脑、服务器、便携式智能设备或其他智能设备。如图3所示，所述一种3D人脸重建方法包括以下步骤S201～步骤S204。包括以下步骤：
步骤S201、根据人脸图像获取人脸几何模型。该步骤可基于第一方面中的步骤S101、步骤S102得到，在此不再赘述。
步骤S202、采用第一方面的人脸纹理特征提取方法基于人脸几何模型从人脸图像中提取人脸纹理图，具体过程详见第一方面的具体步骤。
步骤S203、将人脸几何模型转化为2D方式的信息，所述2D方式的信息为深度图depth map或法向量图normal map；
步骤S204、将所述2D方式的信息和人脸纹理图输入至训练完后的神经网络模型中得到3D人脸的渲染图像。
本实施例第三方面提供一种3D人脸重建方法，该方法是在第二方面方法上的一个优化方案。该一种3D人脸重建方法具体包括以下步骤S301～步骤S304。包括以下步骤：
步骤S301、根据人脸图像获取人脸几何模型，该步骤具体包括步骤S3011～步骤S30312。
步骤S3011、可基于第一方面中的步骤S101、步骤S102得到一初始人脸几何模型。
步骤S3012、进一步对该人脸几何模型进行优化，具体的，优化步骤如下：
将用户上传的人脸图像转化为转换为第一剪影图像Isilhouette。
获取所述人脸几何模型的投影图像，并将所述投影图像转化为第二剪影图像ISsilhouette。该步骤中，人脸几何模型的投影图像可通过对人脸几何模型进行透视投影操作得到。
进一步的，调整人脸几何模型的相关参数及人脸几何模型相应优化区域的顶点坐标，使第二剪影图像和第一剪影图像的差异小于一阈值，获取此时第二剪影图像对应的人脸几何模型作为最终的人脸几何模型。
第一剪影图像和第二剪影图像的差异可采用以下方法：将语义分割区域中未被遮挡的区域进行掩码处理得到未被遮挡区域的掩码图像；构建损失函数L，求取损失函数L对α、β、s、R、t五个参数的导数，利用梯度下降算法，根据梯度调整参数值。重复多次迭代，使得损失函数L最小，即将参数调整到最优的参数。
步骤S103是对初始几何模型进行迭代优化的过程，其迭代优化可采用局部优化、全局优化、先局部优化再整体优化的方式。剪影图像由黑白两色构成，为了便于优化调节，在对某个区域进行优化时，需对第一剪影图像、第二剪影图像做进一步处理，即将第一剪影图像、第二剪影图像的相应优化区域同时调节为相同色，可以是黑色，也可以是白色，其与区域则为相反色。
现以仅进行全局优化的方式对本实施例的详细过程进行说明，先将第一剪影图像、第二剪影图像的眼睛区域、眉毛区域、鼻子区域、嘴巴区域调为白色，人脸区域为黑色，如图4所示。
构建损失函数L：
其中，Isilhouette为人脸图像转换为第一剪影图像，ISsilhouette(α，β，s，R，t)为人脸几何模型转化的第二剪影图像；Imask为根据语义分割得到的人脸未被遮挡区域的掩码图像；λi表示Vi和Vj之间相对位移发生变化的权重，Vi表示优化区域即人脸图像中的第i个顶点，Vj表示与顶点Vi相邻的顶点，Ni表示与顶点Vi相邻的顶点Vj的序号的集合，Sall为人脸眉毛区域、眼睛区域、鼻子区域和嘴巴区域顶点Vi的序号的集合。
求取损失函数L对α、β、s、R、t五个参数的导数，利用梯度下降算法，根据梯度调整参数值。重复多次迭代，使得损失函数L最小，即使第二剪影图像和第一剪影图像的差异小于一阈值，即将参数调整到最优的参数，获取最优时第二剪影图像对应的人脸几何模型作为最终的人脸几何模型S。
上述优化过程将α、β、s、R、t视为可调节的变量，同时也将几何信息本身作为可调节的变量，允许几何信息在受α、β、s、R、t约束的基础上，在一定范围内进行一些形变，从而增强几何信息的表达范围，增强人脸几何模型构建的准确性。
现以进行一局部优化的方式对本实施例的详细过程进行说明：
以嘴部优化为例，调节第一剪影图像、第二剪影图像的嘴巴区域调为白色或黑色，对应的，眼睛区域、眉毛区域、鼻子区域、人脸区域为黑色或白色。在人脸几何模型中确定嘴巴区域相对应的顶点Vi，保持其它语义分割区域相对应的顶点坐标不变，譬如眼睛区域、眉毛区域、鼻子区域，仅对嘴部区域的顶点坐标和人脸几何模型的相关参数进行调节，具体的，根据人脸几何模型相应优化区域的顶点坐标即嘴巴区域的顶点坐标、第一剪影图像、第二剪影图像构建损失函数L：
其中，Isilhouette为人脸图像转换为第一剪影图像，ISsilhouette(α，β，s，R，t)为人脸几何模型转化的第二剪影图像；Imask为根据语义分割得到获取的人脸未被遮挡的区域的掩码图像；λi表示Vi和Vj之间相对位移发生变化的权重，Vi表示优化区域即嘴部区域的第i个顶点，Vj表示与顶点Vi相邻的顶点，Ni表示与顶点Vi相邻的顶点Vj的序号的集合，Smouth为优化区域即嘴部区域顶点的序号的集合。
求取损失函数L对α、β、s、R、t五个参数的导数，利用梯度下降算法，根据梯度调整参数值。重复多次迭代，使得损失函数L最小，即使第二剪影图像和第一剪影图像的差异小于一阈值，即将参数调整到最优的参数，获取最优时第二剪影图像对应的人脸几何模型作为最终的人脸几何模型S。
上述优化过程中，将α、β、s、R、t视为可调节的变量，同时也将几何信息本身作为可调节的变量，允许几何信息在受α、β、s、R、t约束的基础上，在一定范围内进行一些形变，从而增强几何信息的表达范围，增强人脸几何模型构建的准确性。
若仅单独对眼睛区域、眉毛区域、鼻子区域进行优化，其可参考嘴部的处理方式。
最优的，现以先局部优化再整体优化的方式对本实施例的详细过程进行说明：
以嘴巴区域、眼睛区域、眉毛区域、鼻子区域顺序优化，再进行全局的端到端优化的顺序为例进行说明，当然，局部优化也可采用其他排序方式。
采用上述嘴部优化方式得到局部优化下的最优第二剪影图像，确定最优时第二剪影图像对应的人脸几何模型S1。再调节第一剪影图像、第二剪影图像的眼睛区域调为白色或黑色，嘴巴区域、眉毛区域、鼻子区域、人脸区域为黑色或白色。保持其它语义分割区域相对应的顶点坐标不变，譬如嘴巴区域、眉毛区域、鼻子区域，仅对眼睛区域的顶点坐标和人脸几何模型的相关参数进行调节，具体的，根据人脸几何模型相应优化区域的顶点坐标即眼睛区域的顶点坐标、第一剪影图像、第二剪影图像构建一损失函数构建损失函数L继续对眼睛区域进行迭代优化：
其中，Isilhouette为人脸图像转换为第一剪影图像，ISsilhouette(α，β，s，R，t)为人脸几何模型转化的第二剪影图像；Imask为根据语义分割得到获取的人脸未被遮挡的区域的掩码图像；λi表示Vi和Vj之间相对位移发生变化的权重，Vi表示优化区域即眼睛区域的第i个顶点，Vj表示与顶点Vi相邻的顶点，Ni表示与顶点Vi相邻的顶点Vj的序号的集合，Seye为优化区域即眼睛区域顶点的序号的集合。
求取损失函数L对α、β、s、R、t五个人脸几何模型的相关参数的导数，利用梯度下降算法，根据梯度调整参数值。重复多次迭代，使得损失函数L最小，即使第二剪影图像和第一剪影图像的差异小于一阈值，即将参数调整到最优的参数，获取最优时第二剪影图像对应的人脸几何模型作为最终的人脸几何模型S2，即将人脸几何模型S1优化至人脸几何模型S2。
对眉毛区域、鼻子区域的优化同样采用上述方法，在对眉毛区域进行优化时，调节第一剪影图像、第二剪影图像的眉毛区域调为白色或黑色，嘴巴区域、眼睛区域、鼻子区域、人脸区域为黑色或白色；保持眼睛区域、鼻子区域、嘴巴区域的顶点坐标不变，仅对眉毛区域的顶点坐标和人脸几何模型的相关参数进行调节得到最优时的人脸几何模型S3。在对鼻子区域进行优化时，调节第一剪影图像、第二剪影图像的鼻子区域调为白色或黑色，嘴巴区域、眼睛区域、眉毛区域、人脸区域为黑色或白色；保持眼睛区域、眉毛区域、嘴巴区域的顶点坐标不变，仅对鼻子区域的顶点坐标和人脸几何模型的相关参数进行调节得到最优时的人脸几何模型S4。
最后进行端到端的全局优化，调节第一剪影图像、第二剪影图像的鼻子区域、嘴巴区域、眼睛区域、眉毛区域调为白色或黑色，其他人脸区域为黑色或白色；调整人脸几何模型的相关参数及人脸几何模型中眼睛区域、眉毛区域、鼻子区域、嘴巴区域的顶点坐标，同样采用上述构建损失函数的方法，求取最优时第二剪影图像对应的人脸几何模型作为最终的人脸几何模型S。
本方案基于初始几何信息S0，根据人脸几何顶点的语义划分，通过局部3D空间变换，依次独立优化微调眼睛、鼻子、嘴、脸型等局部人脸几何，允许相应语义的顶点除了随几何参数变化而变化外，每个顶点可以在空间中有一定的自由移动，并在相邻顶点间增加平滑约束。在优化对应位置的时候，其他顶点部分不动，将变化限制在局部，实现平滑连续。通过分别对各语义分割区域进行优化后，再进行端到端的优化几何系数和顶点。采用本实施例的方案，其不管是局部优化，还是端到端的优化，其均将α、β、s、R、t视为可调节的变量，同时也将几何信息本身作为可调节的变量，允许几何信息在受α、β、s、R、t约束的基础上，在一定范围内进行一些形变，从而增强几何信息的表达范围，增强人脸几何模型构建的准确性。
基于本步骤的方法，可对同一人的多张人脸图像可进行联合优化，优化过程中，共享同一α系数，具体的，采用上述方法分别获得多张人脸图像对应的第一剪影图像和第二剪影图像，每个优化过程中，其共享同一α系数，分别调节各自β、s、R、t及每张图对应几何人脸模型相应优化区域的顶点坐标，每个优化过程中，优化区域相同。
步骤S302、采用第一方面的人脸纹理特征提取方法基于人脸几何模型从人脸图像中提取人脸纹理图，具体过程详见第一方面的具体步骤。若人脸图像中存在遮挡区域，在该步骤中，可用人脸补全算法补全人脸图再提取纹理图。若具有多张人脸图像，可以用多图互补融合的方式、超分辨算法中至少一种方法并结合人脸补全算法补全人脸图，再提取纹理图，以制作出好的纹理图。再采用上述方法分别对多个初始纹理图进行扭曲。
该步骤需要在步骤S301的几何人脸模型训练优化收敛后并固化几何人脸模型的相关参数后进行。
步骤S303、将人脸几何模型转化为2D方式的信息，所述2D方式的信息为深度图depth map或法向量图normal map。可采用可微分渲染器实现，将人脸几何模型输入已训练完成的可微分渲染器中，输出深度图和法向量图。
步骤S304、将所述2D方式的信息和人脸纹理图输入至训练完后的神经网络模型中得到3D人脸的渲染图像。可微分渲染器基于图形学原理，导致渲染真实性偏差，不利于计算渲染图像和真实图像的感知差异，本方法在增加一神经网络模型实现渲染，进一步提升3D人脸构建的真实度。其中，神经网络模型采用深度神经网络，实现渲染。
渲染是3D人脸重建很重要的一个步骤，本方案第三方面利用生成对抗网络，构建神经渲染器，代替传统图形学渲染引擎，提升渲染的真实感。
本方案的人脸纹理特征提取方法通过在2D层面的进行可学习的扭曲，在一定程度上弥补了人脸几何模型参数α、β、s、R、t估计不准带来的采样偏差，将确定性的采样过程变成了有一定容忍度的柔性采样，提高后续3D人脸构建的准确度。
本发明第四方面提供一种人脸3D人脸重建设备，包括一图像预处理单元、一人脸几何模型获取单元、一初始纹理特征提取单元、一纹理扭曲单元、一人脸几何模型转化单元、一渲染单元。
所述图像预处理单元对人脸图像进行处理得到人脸图像的2D关键点。在优化的人脸3D人脸重建设备中，图像预处理设备还包括对人脸图像进行区域分割。
所述人脸几何模型获取单元用于根据人脸图像获取人脸几何模型，具体的，其可基于参数回归模型，或者基于参数回归模型及几何优化模型，其中，参数回归模型以人脸图像为输入，以3D人脸模型系数和人脸模型相对相机坐标系的外参数为输出；几何优化模型采用第三方面中的步骤S3011～步骤S30312实现人脸几何模型的优化。
所述始纹理特征提取单元用于根据人脸几何模型从人脸图像中提取出初始纹理图。
所述纹理扭曲单元根据人脸图像的2D人脸关键点映射至初始纹理图中的关键点及预测的每个关键点的运动场对初始纹理图进行扭曲得到最终的纹理图，该纹理扭曲单元可基于映射模块、神经网络模型和扭曲模块实现，所述映射模块对所述实现人脸关键点的映射，将其映射至初始纹理图中得到每个关键点的初始位置；神经网络模型对每个关键点在初始纹理图中的局部运动场进行预测，得到每个关键点的预测位置；扭曲模块根据初始位置及其对应的预测位置构建变换，对初始纹理图进行扭曲，得到最终的纹理图。
所述人脸几何模型转化单元将所述人脸几何模型转化为2D方式的信息，所述2D方式的信息为深度图或法向量图，所述人脸几何模型转化单元可采用可微分渲染器渲染得到深度图或法向量图。
所述渲染单元根据2D方式的信息和最终的纹理图生成3D人脸，所述渲染单元可采用神经网络渲染器。
纹理扭曲单元为基于神经网络模型的可微分可学习模块，使用前需对其进行训练。训练时，采用第一方面至第三方面中的任一种方法得到训练集中人脸图像对应的初始纹理图输入至神经网络模型中，得到人脸图像对应的最终扭曲后的纹理图。将扭曲后的纹理图和微调后的人脸几何模型输入至可微分渲染器，得到渲染的人脸图像Irender。由于人脸几何模型和纹理都是来自预处理后的人脸图像I，所以，人脸图像Irender理应与人脸图像I在非遮挡的Imask尽可能相同，得到渲染的人脸图像后，通过构建损失函数W,
W＝|Irender-I|*Imask，
通过最小化损失函数W来训练纹理扭曲单元，具体如下：将纹理扭曲单元对关键点运动场预测初始化为单位映射(Identity mapping,一种让输出等于输入的映射)，即默认预测后位置就是当前位置。固定微调后的人脸几何模型，在训练中不做更改。计算损失函数W，利用梯度下降算法，训练纹理扭曲模块；直到损失函数收敛到一个较小的稳定值，就完成了训练。
渲染单元采用神经网络渲染器，同样的，使用前需对其进行训练。训练时，固定人脸几何模型和纹理扭曲单元的相关参数，训练时不做更改。同样通过构建损失函数的方法，训练神经渲染器，直至构建的损失函数收敛到一个较小的稳定值，就完成了训练。
本设备在构建时，考虑到几何参数估计和纹理相关参数估计是相互影响的，一人脸几何模型获取单元、一初始纹理特征提取单元分开训练至两部分网络都收敛到较好的权重后，将两部分网络联通，端到端微调训练，得到更优的几何和纹理的参数组合。
本发明第五方面提供一种人脸纹理特征提取，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面中所述的人脸纹理特征提取方法。具体举例的，所述存储器可以但不限于包括随机存取存储器(RAM)、只读存储器(ROM)、闪存(Flash Memory)、先进先出存储器(FIFO)和/或先进后出存储器(FILO)等等；所述处理器不限于采用型号为STM32F105系列的微处理器、ARM、X86等架构处理器，集成NPU(neural-network processing units)的处理器。
本发明第六方面提供一种人脸3D人脸重建设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第二方面或第三方面及其任一种可能中所述的人脸3D人脸重建方法。同第四方面相同的，所述存储器可以但不限于包括随机存取存储器(RAM)、只读存储器(ROM)、闪存(Flash Memory)、先进先出存储器(FIFO)和/或先进后出存储器(FILO)等等；所述处理器不限于采用型号为STM32F105系列的微处理器、ARM、X86等架构处理器，集成NPU(neural-network processingunits)的处理器。
本发明第六方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中所述的人脸纹理特征提取方法或第二方面或第三方面及其任一种可能中所述的人脸3D人脸重建方法。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(MemoryStick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种人脸纹理特征提取方法，其特征在于，包括以下步骤：
提取人脸图像的2D人脸关键点；
根据人脸几何模型得到初始纹理图；
将人脸关键点映射到初始纹理图中得到关键点的初始位置；
预测每个关键点的运动场得到每个关键点在初始纹理图中的预测位置；
根据关键点的初始位置和预测位置构建变换，对初始纹理图进行扭曲得到最终的纹理图。
2.根据权利要求1所述的一种人脸纹理特征提取方法，其特征在于，所述根据人脸几何模型得到初始纹理图包括：
对人脸几何模型进行投影，确定人脸几何模型未被遮挡的顶点在人脸图像中的对应位置；
提取所述人脸几何模型未被遮挡的顶点在人脸图像中的对应位置的颜色信息；
将提取的颜色信息根据据人脸几何模型和纹理图之间的采样关系展开得到初始纹理图。
3.根据权利要求1所述的一种人脸纹理特征提取方法，其特征在于，采用神经网络模型预测每个关键点的运动场得到每个关键点的预测位置。
4.一种3D人脸重建方法，其特征在于，包括以下步骤：
根据人脸图像获取人脸几何模型；
采用权利要求1-3所述的人脸纹理特征提取方法基于人脸几何模型从人脸图像中提取人脸纹理图；
将人脸几何模型转化为2D方式的信息，所述2D方式的信息为深度图或法向量图；
将所述2D方式的信息和人脸纹理图输入至训练完后的神经网络模型中得到3D人脸的渲染图像。
5.根据权利要求4所述的一种3D人脸重建方法，其特征在于，所述获取人脸几何模型包括：
获取至少一个人脸图像的初始人脸几何模型并将所述至少一个人脸图像转换为第一剪影图像；
获取所述人脸几何模型的投影图像，并将所述投影图像转化为第二剪影图像；
调整人脸几何模型的相关参数及人脸几何模型相应优化区域的顶点坐标，使第二剪影图像和第一剪影图像的差异小于一阈值，获取此时第二剪影图像对应的人脸几何模型作为最终的人脸几何模型，所述人脸几何模型的相关参数包括与人脸形状相关的参数α、与人脸表情相关的参数β、尺度参数s、旋转参数R、平移参数t。
6.根据权利要求5所述的一种3D人脸重建方法，其特征在于，所述方法还包括：
对人脸图像进行语义分割得到至少一个语义分割区域，所述语义分割区域包括眼睛区域、眉毛区域、鼻子区域、嘴巴区域；
在人脸几何模型中确定分别与所述至少一个语义分割区域中每个语义分割区域相对应的顶点坐标；
所述调整人脸几何模型的相关参数及人脸几何模型相应区域的顶点坐标包括：
在保持其它语义分割区域相对应的顶点坐标不变的情况下，调整人脸几何模型的相关参数及一语义分割区域相对应的顶点坐标，使第一剪影图像和第二剪影图像的差异小于一阈值。
7.根据权利要求5所述的一种3D人脸重建方法，其特征在于，所述调整人脸几何模型的相关参数及人脸几何模型相应优化区域的顶点坐标，使第一剪影图像和第二剪影图像的差异小于一阈值包括：
将语义分割区域中未被遮挡的区域进行掩码处理得到未被遮挡区域的掩码图像；
根据人脸几何模型相应优化区域的顶点坐标、第一剪影图像、第二剪影图像、未被遮挡区域的掩码图像构建一损失函数；
求取损失函数对人脸几何模型的相关参数的导数；
利用梯度下降算法，根据梯度调整人脸几何模型的相关参数至损失函数最小。
8.一种人脸3D人脸重建设备，其特征在于，包括：
一图像预处理单元，所述图像预处理单元对人脸图像进行处理得到人脸图像的2D关键点；
一人脸几何模型获取单元，所述人脸几何模型获取单元用于根据人脸图像获取人脸几何模型；
一初始纹理特征提取单元，所述始纹理特征提取单元用于根据人脸几何模型从人脸图像中提取出初始纹理图；
一纹理扭曲单元，所述纹理扭曲单元根据人脸图像的2D人脸关键点映射至初始纹理图中的关键点及预测的每个关键点的运动场对初始纹理图进行扭曲得到最终的纹理图；
一人脸几何模型转化单元，所述人脸几何模型转化单元将所述人脸几何模型转化为2D方式的信息，所述2D方式的信息为深度图或法向量图；
一渲染单元，所述渲染单元根据2D方式的信息和最终的纹理图生成3D人脸。
9.一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3任一项中所述的人脸纹理特征提取方法或权利要求4至7任一项中所述的的3D人脸重建方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3任一项中所述的人脸纹理特征提取方法或权利要求4至7任一项中所述的的3D人脸重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110519887.5A CN113111861A (zh) | 2021-05-12 | 2021-05-12 | 人脸纹理特征提取、3d人脸重建方法及设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110519887.5A CN113111861A (zh) | 2021-05-12 | 2021-05-12 | 人脸纹理特征提取、3d人脸重建方法及设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113111861A true CN113111861A (zh) | 2021-07-13 |
Family
ID=76722085
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110519887.5A Pending CN113111861A (zh) | 2021-05-12 | 2021-05-12 | 人脸纹理特征提取、3d人脸重建方法及设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113111861A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113538682A (zh) * | 2021-07-19 | 2021-10-22 | 北京的卢深视科技有限公司 | 模型训练、头部重建方法、电子设备及存储介质 |
| CN114419182A (zh) * | 2022-02-25 | 2022-04-29 | 北京百度网讯科技有限公司 | 图像处理方法和装置 |
| CN114863506A (zh) * | 2022-03-18 | 2022-08-05 | 珠海优特电力科技股份有限公司 | 准入权限的验证方法、装置、系统和身份认证终端 |
| CN114926591A (zh) * | 2022-05-25 | 2022-08-19 | 广州图匠数据科技有限公司 | 多分支深度学习的3d人脸重建模型训练方法、系统及介质 |
| CN115082640A (zh) * | 2022-08-01 | 2022-09-20 | 聚好看科技股份有限公司 | 基于单张图像的3d人脸模型纹理重建方法及设备 |
| GB2607140A (en) * | 2021-05-26 | 2022-11-30 | Flawless Holdings Ltd | Modification of objects in film |
| US11715495B2 (en) | 2021-05-26 | 2023-08-01 | Flawless Holdings Limited | Modification of objects in film |
| CN116612213A (zh) * | 2023-07-19 | 2023-08-18 | 南京硅基智能科技有限公司 | 基于人脸重演算法的数字名片生成方法及系统 |
| US11830159B1 (en) | 2022-12-08 | 2023-11-28 | Flawless Holding Limited | Generative films |
| CN117876609A (zh) * | 2024-03-11 | 2024-04-12 | 国网电商科技有限公司 | 一种多特征三维人脸重建方法、系统、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050057569A1 (en) * | 2003-08-26 | 2005-03-17 | Berger Michael A. | Static and dynamic 3-D human face reconstruction |
| CN101751689A (zh) * | 2009-09-28 | 2010-06-23 | 中国科学院自动化研究所 | 一种三维人脸重建方法 |
| CN107578469A (zh) * | 2017-09-08 | 2018-01-12 | 明利 | 一种基于单张照片的3d人体建模方法及装置 |
| CN109255831A (zh) * | 2018-09-21 | 2019-01-22 | 南京大学 | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 |
| CN109978930A (zh) * | 2019-03-27 | 2019-07-05 | 杭州相芯科技有限公司 | 一种基于单幅图像的风格化人脸三维模型自动生成方法 |
| CN112085836A (zh) * | 2020-09-03 | 2020-12-15 | 华南师范大学 | 一种基于图卷积神经网络的三维人脸重建方法 |
-
2021
- 2021-05-12 CN CN202110519887.5A patent/CN113111861A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050057569A1 (en) * | 2003-08-26 | 2005-03-17 | Berger Michael A. | Static and dynamic 3-D human face reconstruction |
| CN101751689A (zh) * | 2009-09-28 | 2010-06-23 | 中国科学院自动化研究所 | 一种三维人脸重建方法 |
| CN107578469A (zh) * | 2017-09-08 | 2018-01-12 | 明利 | 一种基于单张照片的3d人体建模方法及装置 |
| CN109255831A (zh) * | 2018-09-21 | 2019-01-22 | 南京大学 | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 |
| CN109978930A (zh) * | 2019-03-27 | 2019-07-05 | 杭州相芯科技有限公司 | 一种基于单幅图像的风格化人脸三维模型自动生成方法 |
| CN112085836A (zh) * | 2020-09-03 | 2020-12-15 | 华南师范大学 | 一种基于图卷积神经网络的三维人脸重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| ZHIXIN SHU等: "Deforming Autoencoders: Unsupervised Disentangling of Shape and Appearance", 《PROCEEDINGS OF THE EUROPEAN CONFERENCE ON COMPUTER VISION (ECCV)》, 31 December 2018 (2018-12-31), pages 651 - 654 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11715495B2 (en) | 2021-05-26 | 2023-08-01 | Flawless Holdings Limited | Modification of objects in film |
| US11574655B2 (en) | 2021-05-26 | 2023-02-07 | Flawless Holdings Limited | Modification of objects in film |
| GB2607140B (en) * | 2021-05-26 | 2024-04-10 | Flawless Holdings Ltd | Modification of objects in film |
| US11699464B2 (en) | 2021-05-26 | 2023-07-11 | Flawless Holdings Limited | Modification of objects in film |
| GB2607140A (en) * | 2021-05-26 | 2022-11-30 | Flawless Holdings Ltd | Modification of objects in film |
| CN113538682A (zh) * | 2021-07-19 | 2021-10-22 | 北京的卢深视科技有限公司 | 模型训练、头部重建方法、电子设备及存储介质 |
| CN113538682B (zh) * | 2021-07-19 | 2022-05-31 | 合肥的卢深视科技有限公司 | 模型训练、头部重建方法、电子设备及存储介质 |
| CN114419182A (zh) * | 2022-02-25 | 2022-04-29 | 北京百度网讯科技有限公司 | 图像处理方法和装置 |
| CN114863506A (zh) * | 2022-03-18 | 2022-08-05 | 珠海优特电力科技股份有限公司 | 准入权限的验证方法、装置、系统和身份认证终端 |
| CN114926591A (zh) * | 2022-05-25 | 2022-08-19 | 广州图匠数据科技有限公司 | 多分支深度学习的3d人脸重建模型训练方法、系统及介质 |
| CN115082640A (zh) * | 2022-08-01 | 2022-09-20 | 聚好看科技股份有限公司 | 基于单张图像的3d人脸模型纹理重建方法及设备 |
| US11830159B1 (en) | 2022-12-08 | 2023-11-28 | Flawless Holding Limited | Generative films |
| CN116612213A (zh) * | 2023-07-19 | 2023-08-18 | 南京硅基智能科技有限公司 | 基于人脸重演算法的数字名片生成方法及系统 |
| CN117876609A (zh) * | 2024-03-11 | 2024-04-12 | 国网电商科技有限公司 | 一种多特征三维人脸重建方法、系统、设备及存储介质 |
| CN117876609B (zh) * | 2024-03-11 | 2024-05-24 | 国网电商科技有限公司 | 一种多特征三维人脸重建方法、系统、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113111861A (zh) | 人脸纹理特征提取、3d人脸重建方法及设备及存储介质 | |
| US11302064B2 (en) | Method and apparatus for reconstructing three-dimensional model of human body, and storage medium | |
| CN109255831B (zh) | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 | |
| CN108921926B (zh) | 一种基于单张图像的端到端三维人脸重建方法 | |
| CN113269862B (zh) | 场景自适应的精细三维人脸重建方法、系统、电子设备 | |
| CN111784821B (zh) | 三维模型生成方法、装置、计算机设备及存储介质 | |
| CN111445582A (zh) | 一种基于光照先验的单张图像人脸三维重建方法 | |
| JP2023545200A (ja) | パラメータ推定モデルの訓練方法、パラメータ推定モデルの訓練装置、デバイスおよび記憶媒体 | |
| WO2020108304A1 (zh) | 人脸网格模型的重建方法、装置、设备和存储介质 | |
| CN109584327B (zh) | 人脸老化模拟方法、装置以及设备 | |
| WO2021063271A1 (zh) | 人体模型重建方法、重建系统及存储介质 | |
| CN112862949B (zh) | 基于多视图的物体3d形状重建方法 | |
| WO2024103890A1 (zh) | 模型构建方法、重建方法、装置、电子设备及非易失性可读存储介质 | |
| CN113298936A (zh) | 一种基于深度学习的多rgb-d全脸材质恢复方法 | |
| CN114842136A (zh) | 一种基于可微分渲染器的单图三维人脸重建方法 | |
| CN111951383A (zh) | 一种人脸重建的方法 | |
| CN116385667B (zh) | 三维模型的重建方法、纹理重构模型的训练方法以及装置 | |
| CN110909778A (zh) | 一种基于几何一致性的图像语义特征匹配方法 | |
| CN115546442A (zh) | 基于感知一致损失的多视图立体匹配重建方法及系统 | |
| CN115861570A (zh) | 基于光度一致性匹配和优化算法的多视角人体重建方法 | |
| CN110717978A (zh) | 基于单张图像的三维头部重建方法 | |
| CN114429518A (zh) | 人脸模型重建方法、装置、设备和存储介质 | |
| CN114387392A (zh) | 一种根据人影重建三维人体姿态的方法 | |
| CN111563944B (zh) | 三维人脸表情迁移方法及系统 | |
| CN113112596A (zh) | 人脸几何模型提取、3d人脸重建方法、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |