CN116030181A

CN116030181A - 3d虚拟形象生成方法与装置

Info

Publication number: CN116030181A
Application number: CN202111234912.1A
Authority: CN
Inventors: 徐千尧; 苏达; 张韵叠; 徐迎庆; 姚智皓; 李萌; 孟昭然
Original assignee: Tsinghua University; Huawei Technologies Co Ltd
Current assignee: Tsinghua University; Huawei Technologies Co Ltd
Priority date: 2021-10-22
Filing date: 2021-10-22
Publication date: 2023-04-28

Abstract

本申请公开了人工智能领域中的一种3D虚拟形象生成方法和装置，能够使得生成的3D虚拟形象更加符合待处理图像中的面部特点。虚拟图像生成方法包括：获取待处理图像；确定待处理图像中面部区域的第一形状特征；根据第一形状特征，确定目标形变参数；按照目标形变参数对目标3D基准模板进行调整，以生成3D虚拟形象。

Description

3D虚拟形象生成方法与装置

技术领域

本申请涉及人工智能领域，并且更具体地，涉及一种3D虚拟形象生成方法与装置。

背景技术

人工智能(artificial intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，AI基础理论等。

计算机视觉是各个应用领域，如制造业、检验、文档分析、医疗诊断，和军事等领域中各种智能/自主系统中不可分割的一部分，它是一门关于如何运用照相机/摄像机和计算机来获取我们所需的，被拍摄对象的数据与信息的学问。形象地说，就是给计算机安装上眼睛(照相机/摄像机)和大脑(算法)用来代替人眼对目标进行识别、跟踪和测量等，从而使计算机能够感知环境。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。总的来说，计算机视觉就是用各种成象系统代替视觉器官获取输入信息，再由计算机来代替大脑对这些输入信息完成处理和解释。计算机视觉的最终研究目标就是使计算机能像人那样通过视觉观察和理解世界，具有自主适应环境的能力。

随着虚拟现实(virtual reality，VR)技术、增强现实(augmented reality，AR)技术逐渐发展，终端设备的性能不断提高，对3D虚拟形象的需求越来越强烈。

可以在3D模板集合确定待处理图像中的人像的头发、眼镜、胡须等对应的3D模板，并将确定的头发、眼镜、胡须等对应的3D模板添加在基准面部3D模板中，生成3D虚拟形象。

但是，3D模板集合中的模板数量有限，因此，通过上述方法生成的3D虚拟形象与待处理图像中记录的人像可能存在较大的差异，不能准确反映该人像的特点。

发明内容

本申请提供一种3D虚拟形象生成方法与装置，能够使得生成的3D虚拟形象更加符合待处理图像中的面部特点。

第一方面，提供了一种虚拟图像生成方法，包括：获取待处理图像；确定所述待处理图像中面部区域的第一形状特征；根据所述第一形状特征，确定目标形变参数；按照所述目标形变参数对目标3D基准模板进行调整，以生成3D虚拟形象。

根据待处理图像中面部区域的第一形状特征，确定目标形变参数，并按照所述目标形变参数对目标3D基准模板进行调整，使得生成的3D虚拟形象能够准确反映待处理图像中面部区域的形状特点，与待处理图像中的面部区域更相符，从而可以实现千人千面。

另外，获得待处理图像的情况下，就能够生成3D虚拟形象，所需的输入数据较少，具有广泛的适用性。

结合第一方面，在一些可能的实现方式中，所述方法还包括：在基准模板集合中确定所述目标3D基准模板，所述基准模板集合包括多个3D基准模板以及每个3D基准模板对应的基准形状特征，所述目标3D基准模板为所述多个基准形状特征中与所述第一形状特征差异最小的目标基准形状特征对应的所述3D基准模板。

对于目标3D基准模板如果调整的幅度较大，生成的3D虚拟形象与目标3D基准模板存在较大差异，可能导致3D虚拟形象不能反映面部的形象或不符合审美要求。

设置基准模板集合，并在基准模板集合中确定与第一形状特征差异最小的基准形状特征对应的3D基准模板为目标3D基准模板。目标3D基准模板的目标基准形状特征是基准模板集合中与第一形状特征差异最小的基准形状特征，即目标3D基准模板是与待处理图像中面部区域最相似的3D基准模板，因此，根据目标形变参数对目标3D基准模板进行调整时，目标3D基准模板的形变量较小，避免由于形变量过大导致生成的3D虚拟形象不符合人体面部形状特点而产生的失真，使得生成的3D虚拟形象更加合理和美观。

结合第一方面，在一些可能的实现方式中，所述根据所述第一形状特征，确定目标形变参数，包括：利用目标形变模型对所述第一形状特征进行处理，以得到所述目标形变参数，所述目标形变模型为回归模型。

将回归模型最为目标形变模型，对第一形状特征与形变系数集合中的多个形变系数进行运算以得到目标形变参数，计算量较小，耗时较短，成本较低，实现简单。

结合第一方面，在一些可能的实现方式中，所述目标形变模型是利用训练数据集合训练得到的，所述训练数据集合包括多个训练形状特征和每个训练第一形状特征对应的训练形变参数。

利用多个训练形状特征和每个训练第一形状特征对应的训练形变参数，对初始形变模型的参数进行调整，可以得到目标形变模型。训练得到目标形变模型，人工成本低，目标形变模型的输出准确度高。

结合第一方面，在一些可能的实现方式中，所述根据所述第一形状特征，确定目标形变参数，包括：计算所述第一形状特征与所述目标3D基准模板的基准形状特征之间的第一差异；根据差异与系数的第一对应关系，确定所述第一差异对应的第一系数，在所述第一对应关系中系数与差异负相关；所述根据所述第一形状特征，确定目标形变参数，包括：利用目标形变模型对所述第一形状特征进行处理，以得到初始形变参数；根据所述初始形变参数，确定所述目标形变参数，所述目标形变参数为所述初始形变参数与第一系数的乘积。

利用目标形变模型对所述第一形状特征进行处理，得到的初始形变参数与第一系数的乘积为目标形变参数。第一系数是根据第一形状特征与目标3D基准模板的基准形状特征之间的第一差异确定的，第一差异越大，第一系数越小，即第一系数与第一差异负相关。在第一形状特征与目标3D基准模板的基准形状特征之间的第一差异较大时，将较小的第一系数与目标形变参数相乘，得到目标形变参数，可以避免在对3D基准模板进行调整的过程中由于形变量过大导致生成的3D虚拟形象不符合人体面部形状特点而产生的失真，使得生成的3D虚拟形象更加合理和美观。

结合第一方面，在一些可能的实现方式中，其特征在于，所述目标形变模型是所述目标3D基准模板对应的形变模型。

不同的3D基准模板对应于不同的形变模型，使得形变模型的训练更为简便，并使得得到的3D虚拟形象更能够反应待处理图像中面部区域的特征。在将某个3D基准模板作为目标3D基准模板时，利用该目标3D基准模板对应的目标形变模型对第一形状特征进行处理，得到目标形变参数，使得目标形变参数更为准确，按照目标形变参数对目标3D基准模板调整得到的3D虚拟形象能够更为准确的反映面部区域的特点。

结合第一方面，在一些可能的实现方式中，所述根据所述第一形状特征，确定目标形变参数，包括：根据所述第一形状特征，以及形状特征与形变参数之间的第二对应关系，确定所述第一形状特征对应的所述目标形变参数。

根据形状特征与形变参数之间的第二对应关系，确定待处理图像中面部区域的第一形状特征对应的目标形变参数，使得目标形变参数的确定更为简便，能够降低计算量，成本较低。

对于在各个图像中差异较小的面部区域，如嘴唇、鼻子等区域，利用第二对应关系确定目标形变参数。

结合第一方面，在一些可能的实现方式中，所述确定所述待处理图像中面部区域的第一形状特征，包括：提取所述面部区域的轮廓信息；根据所述轮廓信息确定所述第一形状特征。

利用面部区域的轮廓信息，确定待处理图像中面部区域的第一形状特征，使得第一形状特征的确定较为简便。

结合第一方面，在一些可能的实现方式中，所述第一形状特征包括根据所述轮廓信息确定的图像矩。

图像矩具有尺度、旋转、平移不变性。第一形状特征包括图像矩，使得第一形状特征对面部区域的描述更为准确。利用包括图像矩的第一形状特征进行匹配，得到的目标3D基准模板与处理图像中记录的面部区域更为相似，使得匹配的准确度更高。

结合第一方面，在一些可能的实现方式中，所述轮廓信息包括所述面部区域中的特征点。

利用面部区域中的特征点，确定面部区域的轮廓信息，提供了一种确定轮廓信息较为简便的方式。

结合第一方面，在一些可能的实现方式中，所述目标3D基准模板是通过网格表示的，所述网格包括多组点，所述目标形变参数用于表示所述网格中至少一组点的形变量。

以网格的形式表示3D基准模板，并通过目标形变参数表示网格中至少一组点的形变量，使得对于3D基准模板的调整较为简便。

之后，可以利用动画形变实现对3D目标基准模板的调整，得到3D虚拟形象。

第二方面，提供一种3D虚拟形象生成装置，包括获取模块和处理模块；所述获取模块用于，获取待处理图像；所述处理模块用于，确定所述待处理图像中面部区域的第一形状特征；所述处理模块还用于，根据所述第一形状特征，确定目标形变参数；所述处理模块还用于，按照所述目标形变参数对目标3D基准模板进行调整，以生成3D虚拟形象。

结合第二方面，在一些可能的实现方式中，所述处理模块还用于，在基准模板集合中确定所述目标3D基准模板，所述基准模板集合包括多个3D基准模板以及每个3D基准模板对应的基准形状特征，所述目标3D基准模板为所述多个基准形状特征中与所述第一形状特征差异最小的目标基准形状特征对应的所述3D基准模板。

结合第二方面，在一些可能的实现方式中，所述处理模块还用于，利用目标形变模型对所述第一形状特征进行处理，以得到所述目标形变参数，所述目标形变模型为回归模型。

结合第二方面，在一些可能的实现方式中，所述目标形变模型是利用训练数据集合训练得到的，所述训练数据集合包括多个训练形状特征和每个训练第一形状特征对应的训练形变参数。

结合第二方面，在一些可能的实现方式中，所述处理模块还用于，计算所述第一形状特征与所述目标3D基准模板的基准形状特征之间的第一差异；所述处理模块还用于，根据差异与系数的第一对应关系，确定所述第一差异对应的第一系数，在所述第一对应关系中系数与差异负相关；所述处理模块还用于，利用目标形变模型对所述第一形状特征进行处理，以得到初始形变参数；所述处理模块还用于，根据所述初始形变参数，确定所述目标形变参数，所述目标形变参数为所述初始形变参数与第一系数的乘积。

结合第二方面，在一些可能的实现方式中，所述目标形变模型是所述目标3D基准模板对应的形变模型。

结合第二方面，在一些可能的实现方式中，所述处理模块还用于，根据所述第一形状特征，以及形状特征与形变参数之间的第二对应关系，确定所述第一形状特征对应的所述目标形变参数。

结合第二方面，在一些可能的实现方式中，所述处理模块还用于，提取所述面部区域的轮廓信息；所述处理模块还用于，根据所述轮廓信息确定所述第一形状特征。

结合第二方面，在一些可能的实现方式中，所述第一形状特征包括根据所述轮廓信息确定的图像矩。

结合第二方面，在一些可能的实现方式中，所述轮廓信息包括所述面部区域中的特征点。

结合第二方面，在一些可能的实现方式中，所述处理模块还用于，利用形变动画算法，按照所述目标形变参数对3D目标基准模板进行调整，以得到所述3D虚拟形象。

第三方面，提供一种电子设备，包括存储器和处理器，所述存储器用于存储程序指令；当所述程序指令在所述处理器中执行时，所述处理器用于执行第一方面中的任意一种实现方式中的方法。

上述第三方面中的处理器既可以是中央处理器(central processing unit，CPU)，也可以是CPU与神经网络运算处理器的组合，这里的神经网络运算处理器可以包括图形处理器(graphics processing unit，GPU)、神经网络处理器(neural-networkprocessing unit，NPU)和张量处理器(tensor processing unit，TPU)等等。其中，TPU是谷歌(google)为机器学习全定制的人工智能加速器专用集成电路。

第四方面，提供一种计算机可读介质，该计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行第一方面中的任意一种实现方式中的方法。

第五方面，提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述第一方面中的任意一种实现方式中的方法。

第六方面，提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行上述第一方面中的任意一种实现方式中的方法。

可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行第一方面或第二方面中的任意一种实现方式中的方法。

上述芯片具体可以是现场可编程门阵列(field－programmable gate array，FPGA)或者专用集成电路(application-specific integrated circuit，ASIC)。

附图说明

图1是一种虚拟图像生成方法的示意性流程图。

图2是本申请实施例提供的一种虚拟形象生成方法是示意性流程图。

图3是本申请实施例提供的另一种虚拟形象生成方法的示意性流程。

图4是本申请实施例提供的三庭轮廓特征的示意图。

图5是本申请实施例提供的眉毛特征的示意图。

图6是本申请实施例提供的眼睛特征的示意图。

图7是本申请实施例提供的鼻子特征的示意图。

图8是本申请实施例提供的嘴唇特征的示意图。

图9是本申请实施例提供的一种基准模板集合的示意图。

图10是本申请实施例提供的一种确定目标三庭轮廓模型的方法的示意性流程图。

图11是本申请实施例提供的一种确定眉毛模型、眼睛模型的方法的示意性流程图。

图12是本申请实施例提供的一种确定鼻子模型、嘴唇模型的方法的示意性流程图。

图13是本申请实施例提供的一种虚拟形象生成装置的示意性结构图。

图14是本申请实施例提供的另一种虚拟形象生成装置的示意性结构图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。

为了更好地理解本申请实施例的方案，下面先对本申请实施例可能涉及的相关术语和概念进行介绍。

(1)人工智能

(2)计算机视觉

(3)图像矩

图像矩用于描述图像形状的全局特征。并且图像矩可以提供大量关于该图像不同的几何特征信息，如大小，位置、方向和形状等。这种描述能力广泛应用于各种图像处理、计算机视觉和机器人技术领域的目标识别与方位估计中。同时矩函数在图像分析中也有着广泛的应用，如模式识别、目标分类、目标识别与方位估计、图像的编码与重构等。

在数学和统计学中，矩(moment)是对变量分布和形态特点的一组度量。n阶矩被定义为一变量的n次方与其概率密度函数(Probability Density Function,PDF)之积的积分。在文献中n阶矩通常用符号μn表示，直接使用变量计算的矩被称为原始矩(rawmoment)，移除均值后计算的矩被称为中心矩(central moment)。变量的一阶原始矩等价于数学期望(expectation)、二至四阶中心矩被定义为方差(variance)、偏度(skewness)和峰度(kurtosis)。

在数字图像处理、计算机视觉与相关领域中，图像矩是指图像的某些特定像素灰度的加权平均值(矩)，或者是图像具有类似功能或意义的属性。

N阶矩可以定义为：

其中，i和j为正整数，且i+j＝N，I(x,y)用于表示坐标(x，y)位置处的像素亮度。

零阶矩(M00)表示面积，1阶矩(M01，M10)表示质心，2阶矩(即惯性矩)可计算图形的方向，3阶矩可表示目标区域的方位和斜度。

中心矩体现的是图像强度的最大和最小方向(中心矩可以构建图像的协方差矩阵)，其只具有平移不变性。中心矩可以表示为：

归一化中心矩是指在中心矩的基础上做归一化计算，归一化中心矩具备尺度不变性。归一化中心矩可以表示为：

图像矩具有尺度、旋转、平移不变性，可以用来做图形匹配。图像矩可以表示为：

h₀＝η₂₀+η₀₂

h₁＝(η₂₀-η₀₂)²+4η₁₁ ²

h₂＝(η₃₀-3η₁₂)²+(3η₂₁-η₀₃)²

h₃＝(η₃₀+η₁₂)²+(η₂₁+η₀₃)²

h₄＝(η₃₀-3η₁₂)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+(3η₂₁-η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

h₅＝(η₂₀-η₀₂)[(η₃₀+η₁₂)²-(η₂₁+η₀₃)²+4η₁₁(η₃₀+η₁₂)(η₂₁+η₀₃)]

h₆＝(3η₂₁-η₀₃)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+(η₃₀-3η₁₂)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

(4)仿射变换

仿射变换，又称仿射映射，是指在几何中，一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间。

仿射变换是在几何上定义为两个向量空间之间的一个仿射变换或者仿射映射(来自拉丁语，affine，“和…相关”)由一个非奇异的线性变换(运用一次函数进行的变换)接上一个平移变换组成。

一个对向量x平移b，与旋转放大缩小A的仿射映射为：

上式在齐次坐标上，等价于：

(5)最邻近分类算法

最邻近分类(K-nearest neighbor classifier，KNN)算法是一种机器学习算法，可以用于分类和回归是一种监督学习算法。利用最邻近分类算法，如果一个样本在特征空间中的K个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。也就是说，最邻近分类算法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

KNN算法是一种惰性学习法。与在接收待分类数据前就已经根据训练数据构造好了分类模型的方式不同，KNN算法在接收到训练数据后，只是对训练数据进行简单的存储，并不构造分类模型。在接收到待分类数据时，KNN算法通过计算待分类数据X与所有训练数据之间的距离，选择前K个距离X最近的数据，并将这K个距离最近的数据中出现次数最多的类属性赋给X。

(6)三维建模

三维(3-dimension，3D)建模通俗来讲就是利用三维制作软件通过虚拟三维空间构建出具有三维数据的模型。3D建模大概可分为两类：非均匀有理B样条(non-uniformrational B-splines)和多边形网格。

NURBS在3D建模的内部空间用曲线和曲面来表现轮廓和外形。NURBS能够更好地控制物体表面的曲线度，从而能够创建出更逼真、生动的造型。

多边形网格形成的3D模型通常由网格(mesh)和纹理(texture)组成。网格描绘了物体的形状，是由物体的众多顶点(vertex)组成的，通过顶点形成三维模型网格。顶点可以包括三维坐标(xyz)、颜色信息(RGB)和光反射强度(Intensity)，最终绘制成网格。这些网格通常由三角形、四边形或者其它的简单凸多边形组成，这样可以简化渲染过程。纹理既包括通常意义上物体表面的纹理即使物体表面呈现凹凸不平的沟纹,同时也包括在物体的光滑表面上的彩色图案，也称纹理贴图(texture)，当把纹理按照特定的方式映射到物体表面上的时候能使物体看上去更真实。纹理映射网格赋予图象数据的技术；通过对物体的拍摄所得到的图像加工后，再各个网格上的纹理映射，最终形成三维模型。

网格(mesh)由许多顶点表示的面组成，面越多则模型越细腻。纹理则包括颜色贴图、法线贴图等，描述了每个面的色彩、凹凸等信息。

(7)3D渲染

3D渲染属于计算机图形学范畴，通过计算模拟真实世界的物体、材质、光照、物理等等。例如，通过3D渲染，可以将2D图像模型通过3D模型网格呈现。一个完整的3D渲染场景通常需要使用摄像机、光源、物体模型、着色器等。

(8)形变动画

形变动画也可以称为形变器(morph target animation、shape keys、blendshapes、per-vertex animation、shape interpolation等)，是一种3D计算机动画方法，是一种改变对象的位置、形状颜色等属性的动画形式。形变动画在确定起始帧的画面和终止帧的画面之后，可以通过补间完成动画。

在变形动画中，网格的“变形”版本存储为一系列顶点位置。在动画的每个关键帧中，顶点会在这些存储位置之间进行插值。变形目标是形状的变形版本，即终止帧的画面。例如，当应用于人脸时，头部首先用中性表情建模(中性表情例如可以是平静的表情)，然后为每个其他表情创建变形目标(变形目标例如可以是微笑或沮丧的表情)。当面部被动画化时，动画可以在基本形状和一个或多个变形目标之间平滑变形。

(9)神经网络模型

神经网络模型可以是由神经单元组成的，神经单元可以是指以x_s和截距b为输入的运算单元，该运算单元的输出可以为：

其中，s＝1、2、……n，n为大于1的自然数，W_s为x_s的权重，b为神经单元的偏置。f为神经单元的激活函数(activation functions)，用于将非线性特性引入神经网络模型中，来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入。激活函数可以是sigmoid函数。神经网络模型是将许多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。

(10)深度神经网络模型

深度神经网络模型(deep neural network，DNN)，也称多层神经网络模型，可以理解为具有很多层隐含层的神经网络模型，这里的“很多”并没有特别的度量标准。从DNN按不同层的位置划分，DNN内部的神经网络模型可以分为三类：输入层，隐含层，输出层。一般来说第一层是输入层，最后一层是输出层，中间的层数都是隐含层。例如，全连接神经网络模型中层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。虽然DNN看起来很复杂，但是就每一层的工作来说，其实并不复杂，简单来说就是如下线性关系表达式：

其中，

是输入向量，

是输出向量，

是偏移向量，W是权重矩阵(也称系数)，α()是激活函数。每一层仅仅是对输入向量

经过如此简单的操作得到输出向量

由于DNN层数多，则系数W和偏移向量

的数量也就很多了。这些参数在DNN中的定义如下所述：以系数W为例：假设在一个三层的DNN中，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为

上标3代表系数W所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。总结就是：第L-1层的第k个神经元到第L层的第j个神经元的系数定义为

需要注意的是，输入层是没有W参数的。在深度神经网络模型中，更多的隐含层让网络更能够刻画现实世界中的复杂情形。理论上而言，参数越多的模型复杂度越高，“容量”也就越大，也就意味着它能完成更复杂的学习任务。训练深度神经网络模型的也就是学习权重矩阵的过程，其最终目的是得到训练好的深度神经网络模型的所有层的权重矩阵(由很多层的向量W形成的权重矩阵)

(11)卷积神经网络模型

卷积神经网络模型(convolutional neuron network，CNN)是一种带有卷积结构的深度神经网络模型。卷积神经网络模型包含了一个由卷积层和子采样层构成的特征抽取器。该特征抽取器可以看作是滤波器，卷积过程可以看作是使用一个可训练的滤波器与一个输入的图像或者卷积特征平面(feature map)做卷积。卷积层是指卷积神经网络模型中对输入信号进行卷积处理的神经元层。在卷积神经网络模型的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。这其中隐含的原理是：图像的某一部分的统计信息与其他部分是一样的。即意味着在某一部分学习的图像信息也能用在另一部分上。所以对于图像上的所有位置，都能使用同样的学习得到的图像信息。在同一卷积层中，可以使用多个卷积核来提取不同的图像信息，一般地，卷积核数量越多，卷积操作反映的图像信息越丰富。

卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络模型的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络模型各层之间的连接，同时又降低了过拟合的风险。

卷积神经网络(CNN)可以包括输入层，卷积层/池化层(其中池化层为可选的)，以及神经网络层。卷积层的输出可以作为随后的池化层的输入，也可以作为另一个卷积层的输入以继续进行卷积操作。

卷积层可以包括很多个卷积算子，卷积算子也称为核，其在图像处理中的作用相当于一个从输入图像矩阵中提取特定信息的过滤器，卷积算子本质上可以是一个权重矩阵，这个权重矩阵通常被预先定义，在对图像进行卷积操作的过程中，权重矩阵通常在输入图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素……取决于步长stride的取值)的进行处理，从而完成从图像中提取特定特征的工作。该权重矩阵的大小应该与图像的大小相关。

需要注意的是，权重矩阵的纵深维度(depth dimension)和输入图像的纵深维度是相同的，在进行卷积运算的过程中，权重矩阵会延伸到输入图像的整个深度。因此，和一个单一的权重矩阵进行卷积会产生一个单一纵深维度的卷积化输出，但是大多数情况下不使用单一权重矩阵，而是应用多个尺寸(行×列)相同的权重矩阵，即多个同型矩阵。每个权重矩阵的输出被堆叠起来形成卷积图像的纵深维度，这里的维度可以理解为由上面所述的“多个”来决定。

不同的权重矩阵可以用来提取图像中不同的特征，例如，一个权重矩阵可以用来提取图像边缘信息，另一个权重矩阵用来提取图像的特定颜色，又一个权重矩阵用来对图像中不需要的噪声进行模糊化等。该多个权重矩阵尺寸(行×列)相同，经过该多个尺寸相同的权重矩阵提取后的特征图的尺寸也相同，再将提取到的多个尺寸相同的特征图合并形成卷积运算的输出。

这些权重矩阵中的权重值在实际应用中需要经过大量的训练得到，通过训练得到的权重值形成的各个权重矩阵可以用来从输入图像中提取信息，从而使得卷积神经网络进行正确的预测。

当卷积神经网络有多个卷积层的时候，初始的卷积层往往提取较多的一般特征，该一般特征也可以称之为低级别的特征；随着卷积神经网络深度的加深，越往后的卷积层提取到的特征越来越复杂，比如高级别的语义之类的特征，语义越高的特征越适用于待解决的问题。

由于常常需要减少训练参数的数量，因此，卷积层之后常常需要周期性的引入池化层，可以是一层卷积层后面跟一层池化层，也可以是多层卷积层后面接一层或多层池化层。在图像处理过程中，池化层的唯一目的就是减少图像的空间大小。池化层可以包括平均池化算子和/或最大池化算子，以用于对输入图像进行采样得到较小尺寸的图像。平均池化算子可以在特定范围内对图像中的像素值进行计算产生平均值作为平均池化的结果。最大池化算子可以在特定范围内取该范围内值最大的像素作为最大池化的结果。另外，就像卷积层中用权重矩阵的大小应该与图像尺寸相关一样，池化层中的运算符也应该与图像的大小相关。通过池化层处理后输出的图像尺寸可以小于输入池化层的图像的尺寸，池化层输出的图像中每个像素点表示输入池化层的图像的对应子区域的平均值或最大值。

在经过卷积层/池化层的处理后，卷积神经网络还不足以输出所需要的输出信息。因为如前所述，卷积层/池化层只会提取特征，并减少输入图像带来的参数。然而为了生成最终的输出信息(所需要的类信息或其他相关信息)，卷积神经网络需要利用神经网络层来生成一个或者一组所需要的类的数量的输出。因此，在神经网络层中可以包括多层隐含层以及输出层，该多层隐含层中所包含的参数可以根据具体的任务类型的相关训练数据进行预先训练得到，例如该任务类型可以包括图像识别，图像分类，图像超分辨率重建等等。

在神经网络层中的多层隐含层之后，也就是整个卷积神经网络的最后层为输出层240，该输出层有类似分类交叉熵的损失函数，具体用于计算预测误差，一旦整个卷积神经网络的前向传播完成，反向传播就会开始更新前面提到的各层的权重值以及偏差，以减少卷积神经网络的损失，及卷积神经网络通过输出层输出的结果和理想结果之间的误差。

(12)损失函数

在训练深度神经网络的过程中，因为希望深度神经网络的输出尽可能的接近真正想要预测的值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为深度神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重向量让它预测低一些，不断的调整，直到深度神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过程。

(13)人脸关键点检测

人脸关键点检测技术用于在人脸图像中定位出人脸面部的关键区域位置，人脸面部的关键区域包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。

可以利用主动形状模型(active shape model，ASM)、主动外观模型(activeappearnce model，AAM)、神经网络模型、级联形状回归(cascaded pose regression，CPR)等方式实现对特征点的检测。

ASM是一种基于点分布模型(Point Distribution Model,PDM)的算法。在PDM中，外形相似的物体，例如人脸、人手、心脏、肺部等的几何形状可以通过若干关键特征点(landmarks)的坐标依次串联形成一个形状向量来表示。

ASM是基于统计形状模型的基础上进行的，而AAM则是在ASM的基础上，进一步对纹理(将人脸图像变形到平均形状而得到的形状无关图像g)进行统计建模，并将形状和纹理两个统计模型进一步融合为表观模型。

CPR通过一系列回归器将一个指定的初始预测值逐步细化，每一个回归器都依靠前一个回归器的输出来执行简单的图像操作，整个系统可自动的从训练样本中学习。

利用深度卷积神经网络模型(deep convolutional neural networks，DCNN)、多任务级联卷积神经网络模型(multi-task cascaded convolutional neural networks，MTCNN)、调整卷积神经网络模型(tweaked convolutional neural networks，TCNN)、级联深度神经网络模型(deep alignment network，DAN)等神经网络模型也可以实现人脸关键点检测。

(14)像素值

图像的像素值可以是一个红绿蓝(RGB)颜色值，像素值可以是表示颜色的长整数。例如，像素值为256×Red+100×Green+76×Blue，其中，Blue代表蓝色分量，Green代表绿色分量，Red代表红色分量。各个颜色分量中，数值越小，亮度越低，数值越大，亮度越高。对于灰度图像来说，像素值可以是灰度值。

图1示出了一种虚拟图像生成方法的示意性流程图。方法100包括S101至S103。

在S101，获取待处理图像。

在S102，在3D模板集合中确定待处理图像中的人像的头发、眼镜、胡须等对应的3D模板。

在S103，将确定的头发、眼镜、胡须等对应的3D模板添加在基准面部3D模板中，生成3D虚拟形象。

3D模板集合中的模板数量有限，因此，通过方法600生成的3D虚拟形象与待处理图像中记录的人像可能存在较大的差异，不能准确反映该人像的特点。

为了解决上述问题，本申请实施例提供的一种3D虚拟形象生成方法。

图2是本申请实施例提供的一种虚拟形象生成方法的示意性流程图。

虚拟形象生成方法200包括S210至S240。

在S210，获取待处理图像。

待处理图像中记录有面部区域。

在S220，确定所述待处理图像中面部区域的第一形状特征。

可以提取面部区域的轮廓信息，并根据该轮廓信息确定第一形状特征。

通过面部区域的轮廓信息确定第一形状特征，使得第一形状特征的确定更为简便。

轮廓信息可以用于表示面部区域的轮廓线，或者，轮廓信息可以用于表示面部区域中的特征点。

可以利用神经网络模型、ASM、AAM、CPR等方式对待处理图像进行处理，以确定面部区域中的特征点。利用面部区域中的特征点形成轮廓信息。使得轮廓信息的提取更为便捷。

第一形状特征可以包括根据轮廓信息确定的图像矩。第一形状特征还可以包括根据轮廓信息确定的其他信息，例如三庭高度之间的比例等。

图像矩具有尺度、旋转、平移不变性。利用图像矩表示第一形状特征，使得第一形状特征对面部区域的描述更为准确。

在S230，根据第一形状特征，确定目标形变参数。

在S240，按照所述目标形变参数对目标3D基准模板进行形变，以生成3D虚拟形象。

通过S210至S240，根据待处理图像中面部区域的第一形状特征，确定目标形变参数，并按照对目标3D基准模板进行调整，生成3D虚拟形象。也就是说，生成的3D虚拟形象是根据面部区域的第一形状特征确定的，从而使得3D虚拟形象能够反映面部区域的形状，与待处理图像中的面部区域更相符。通过S210至S240，可以实现千人千面。

目标3D基准模板可以是预设置的。或者，也可以在基准模板集合中确定目标3D基准模板。

基准模板集合包括多个3D基准模板以及每个3D基准模板对应的基准形状特征，所述目标3D基准模板为所述多个基准形状特征中与第一形状特征差异最小的目标基准形状特征对应的所述3D基准模板。

基准模板集合中的各个3D基准模板可以是人工设置的。在基准模板集合中，选择与第一形状特征差异最小的目标基准形状特征对应的3D基准模板，作为目标3D基准模板，从而使得对于目标3D基准模板的调整幅度较小，避免由于形变量过大导致生成的3D虚拟形象不符合人体面部形状特点而产生的失真，使得生成的3D虚拟形象更加合理和美观。

在基准模板集合中确定目标3D基准模板的情况下，目标形变模型可以是目标3D基准模板对应的形变模型。

不同的3D基准模板可以对应不同的形变模型。在将某个3D基准模板作为目标3D基准模板时，利用该目标3D基准模板对应的目标形变模型对第一形状特征进行处理，得到目标形变参数，使得目标形变参数更为准确，按照目标形变参数对目标3D基准模板调整得到的3D虚拟形象能够更为准确的反映面部区域的特点。

实现S230的方式有多种。

在一些实施例中，可以利用目标形变模型对第一形状特征进行处理，以得到目标形变参数。

目标形变模型可以是利用训练数据集合训练得到的。

训练数据集合包括多个训练形状特征和每个训练形状特征对应的训练形变参数。

训练数据集合可以是人工确定的。在获取训练图像后，可以确定训练图像中面部区域的训练形状特征。可以通过人工对目标3D基准模板进行形变以得到训练3D虚拟形象，记录该形变的形变参数为该训练形状特征对应的训练形变参数。通过上述步骤对多个训练图像进行处理，可以建立训练数据集合。

人工对目标3D基准模板进行形变，可以使得形变后得到的训练3D虚拟形象具有某种风格。

目标形变模型是利用训练数据集合训练得到的。利用目标形变模型对第一形状特征进行处理，得到目标形变参数，可以使得按照目标形变参数进行调整得到的3D虚拟形象具有训练数据集合对应的风格。

针对不同的风格，可以建立不同的训练数据集合，从而得到对应于不同风格的形变模型。例如，可以建立可爱、成熟、丰满、自然、夸张等不同风格对应的形变模型。在进行S230之前，可以获取用户输入的目标风格。从而，在S230，可以利用该目标风格对应的形变模型对第一形状特征进行处理，得到目标形变参数。

在另一些实施例中，可以为不同的风格设置不同的基准模板集合。从而，在S230，可以在目标输入的目标风格对应的基准模板集合中确定目标基准模板，并利用该对目标基准模板对应的目标形变模型对第一形状特征进行处理，得到目标形变参数。

目标形变模型可以用于对第一形状特征与形变系数集合中的多个形变系数进行线性运算或非线性运算，本申请实施例不作限定。

目标形变模型可以是神经网络模型。但是，神经网络模型的训练需要大量训练数据，且利用神经网络模型进行运算计算量较大。

或者，目标形变模型可以为回归模型。回归模型(regression model)是一种用于对统计关系进行定量描述的数学模型。回归模型需要的训练数据较少，利用回归模型进行运算计算量较小。

在另一些实施例中，可以根据第一形状特征，以及形状特征与形变参数之间的对应关系，确定第一形状特征对应的所述目标形变参数。

利用第一形状特征与形变参数之间的对应关系，确定目标形变参数，是一种较为简便的方式的确定目标形变参数的方式。

应当理解，待处理图像中面部区域的第一形状特征，可以是面部区域的整体特征，也可以是面部区域中某个部分的特征，例如，该第一形状特征可以是脸部轮廓、眼睛、鼻子或其他区域的形状特征。

对于面部区域中不同部分的第一形状特征，可以采用不同的方式进行S230，得到面部区域中不同部分的形变参数。具体地，可以参见图3的说明。之后，可以按照面部区域中各个部分的形变参数，分别对该部分的目标3D基准模板进行调整。对调整后的各个部分的目标3D基准模板进行组合，从而可以生成3D虚拟形象。

在S240，可以利用骨骼动画或形变动画算法，按照所述目标形变参数对3D目标基准模板进行调整，以得到3D虚拟形象。

3D基准模板可以是通过3D建模建立的。3D基准模板可以是通过网格表示的，所述网格包括多组点。应当理解，网格中的多组点可以包括网格中全部或部分的点。

目标形变参数用于表示所述网格中至少一组点的位移。

可以对该至少一组点按照目标形变参数表示的位移进行调整。根据该至少一组点调整之后的位置，可以通过插值的方式确定该至少一组点之外的其他点的位置。也就是说，可以利用动画形变算法对3D目标基准模板进行调整，以得到3D虚拟形象。

利用动画形变算法得到3D虚拟形象，使得对3D目标基准模板的调整更为简便。

图3是本申请实施例提供的一种3D虚拟形象生成方法的示意性流程。

3D虚拟形象生成方法300包括S301-S305。

在S301，获取待处理图像。

待处理图像可以是一张照片，照片中记录有人的面部区域。

在S302，识别待处理图像中人脸的面部区域的特征点，特征点用于表示面部区域中五官的轮廓及位置。

特征点即人脸的关键点。可以利用人脸关键点检测技术识别待处理图像中的特征点。

在S303，几何校正。

可以采用仿射变换进行几何校正。可以只对特征点进行2维变换，比如旋转、缩放、平移等方式的变换。

通过旋转和平移变换，可以使得面部区域中的两眼中心连线为水平，且两眼中心的连线的中点位于坐标原点。也就是说，可以建立笛卡尔直角坐标系，通过旋转和平移变换可以使得面部区域中两眼中心的连线与坐标系的横轴平行，两眼中心连线的中点位于坐标原点。两眼的中心可以是根据特征点确定的。

通过缩放变换，可以使得人脸宽度或高度统一，也就说，缩放变换可以使得面部区域的宽度或高度为预设值。

下面以放缩变换使得人脸宽度为预设值为例进行说明。

在S304，根据几何校正后的特征点，进行特征提取，确定三庭轮廓特征和五官形状特征。

三庭轮廓特征可以包括用于表示上庭、中庭、下庭的高度之间的大小关系。如图4所示，上庭是指面部区域中从前额发际线至眉骨的区域，中庭是指面部区域中从眉骨至鼻底的区域，下庭是指面部区域中从鼻底至下颏的区域。例如，三庭轮廓特征可以包括上庭、中庭、下庭的高度之间的比例。再例如，在缩放变换使得人脸宽度为预设值的情况下，三庭轮廓特征可以包括上庭的高度、中庭的高度、下庭的高度。

三庭轮廓特征还可以包括轮廓形状特征。轮廓形状特征可以包括根据用于表示面部轮廓的特征点的位置确定的图像矩。轮廓形状特征根据面部轮廓的特征点的位置确定，用于表示面部区域轮廓的形状。

五官形状特征包括眉毛特征、眼睛特征、鼻子特征、嘴唇特征等。

眉毛特征包括眉毛形状特征。眉毛形状特征可以通过眉毛的图像矩表示。眉毛的图像矩可以是根据眉毛对应的特征点形成的图像确定的。

眉毛特征还可以包括眉毛的大小信息、间距信息等中的至少一个。

如图5所示，眉毛的大小信息可以用于指示眉毛的宽度，即指示眉毛左端的特征点和指示眉毛右端的特征点之间的连接线在横轴上投影的长度。眉毛的间距信息可以用于指示两侧眉毛各自中点的水平间距。眉毛的中点可以为指示眉毛左端的特征点和指示眉毛右端的特征点之间连线的中点。

眼睛特征可以包括眼睛形状特征。眼睛形状特征可以包括眼睛的图像矩。眼睛的图像矩可以是根据眼睛对应的特征点形成的图像确定的。眼睛对应的特征点可以包括用于表示眼睛形状的特征点，即位于眼睛区域边缘的特征点，还可以包括眼睛区域内部的特征点，如用于表示瞳孔位置的特征点。

眼睛特征还可以包括眼睛的大小信息、间距信息、角度信息中的至少一个。

如图6所示，眼睛的大小信息可以用于指示眼睛宽度。眼睛宽度可以是眼睛左端的特征点和指示眼睛右端的特征点之间的连接线在横轴上投影的长度。

眼睛的间距信息可以用于表示两眼瞳孔之间的水平距离。两眼瞳孔之间的水平距离可以是分别指示两眼的瞳孔位置的特征点之间的连线在横轴上投影的长度。两眼的瞳孔位置的特征点之间的连线与横轴平行，两眼的瞳孔位置的特征点之间的连线在横轴上投影的长度即为两眼的瞳孔位置的特征点之间的连线的长度。

眼睛的角度信息可以用于表示用于指示单眼的两眼角的特征点之间连线在笛卡尔直角坐标系中的斜率。

鼻子特征可以用于表示鼻翼宽度和高度、鼻端宽度、鼻端下方的长度、鼻梁上部的宽度等中的一个或多个。

如图7所示，鼻端也可以理解为鼻头或鼻尖。鼻端宽度可以是指鼻端右侧位置和右侧位置的特征点之间的连线在横轴上投影的长度。

鼻翼是指鼻尖两侧的部分，鼻翼宽度可以是左侧的鼻翼宽度或者右侧的鼻翼宽度。例如，鼻翼宽度可以为分别指示鼻端左侧和右侧位置的特征点之间的连线在横轴上投影的长度。

鼻端下方的长度可以是指示鼻端左侧和右侧位置的特征点之间的连线中点与指示鼻子中轴线位置最低点的特征点之间的连线在纵轴投影的长度。

鼻梁上部可以是鼻梁位于两眼之间的部分，也可以称为鼻基。鼻梁上部的宽度可以是用于指示鼻梁两侧最上端的特征点之间的连线在横轴投影的长度。

嘴唇特征可以用于表示嘴唇宽度、上唇的两个高度峰值点到上唇下边缘的最小距离与嘴唇宽度的比值、上唇的两个高度峰值点之间的高度最低点到上唇下边缘的最小距离与嘴唇宽度的比值、上唇的两个高度峰值点分别到最近的嘴角之间连线的在横轴上的投影长度与嘴唇宽度的比值、下唇厚度与嘴唇宽度的比值、下唇下边缘曲率最大处与下唇上边缘中点之间的距离与嘴唇宽度的比值等中的一个或多个。

如图8所示，嘴唇宽度可以是指嘴唇最左侧的特征点与最右侧的特征点之间的连线在横轴上投影的长度。上唇下边缘可以是对位于上唇下边缘的特征点进行曲线拟合得到的。上唇的两个高度峰值点A1和A2、上唇的两个高度峰值点之间的高度最低点B、下唇下边缘曲率最大的点C、下唇上边缘中点D均为特征点。下唇厚度可以是指下唇的上下边缘位于嘴唇宽度中心处的高度。下唇的上边缘可以是对位于下唇上边缘的特征点进行曲线拟合得到的。下唇的下边缘可以是对位于下唇下边缘的特征点进行曲线拟合得到的。

在S305，根据三庭轮廓特征和五官特征，形成3D虚拟形象。

具体地，可以进行S3051至S3055。

在S3051，根据基准模板集合和三庭轮廓特征，确定目标三庭轮廓模型。S3051包括S3051a至S3051b，如图9所示。

在S3051a，可以在基准模板集合中进行匹配，确定与三庭轮廓特征最接近的目标三庭轮廓基准特征对应的目标三庭轮廓基准模板。

基准模板集合包括多个三庭轮廓基准模板以及每个三庭轮廓基准模板对应的三庭轮廓基准特征。

基准模板集合中的各个三庭轮廓基准模板可以具有不同的形状，如图10所示。

可以通过KNN、SVM等算法，确定与三庭轮廓特征最接近的三庭轮廓基准特征为目标三庭轮廓基准特征。该目标三庭轮廓基准特征对应的三庭轮廓基准模板为目标三庭轮廓基准模板。

在进行方法300之前，可以建立基准模板集合。

在S3051b，根据三庭轮廓特征与目标三庭轮廓基准特征，计算特征差异△S。

特征差异△S用于表示三庭轮廓特征与目标三庭轮廓基准特征之间的差异的大小。

三庭轮廓特征、目标三庭轮廓基准特征均可以通过向量表示。特征差异△S可以是三庭轮廓特征、目标三庭轮廓基准特征的差的绝对值。

在S3051c，利用该目标三庭轮廓基准模板对应的目标形变模型对三庭轮廓特征进行处理，得到初始形变参数。

不同的三庭轮廓基准模板可以对应于不同的形变模型。形变模型可以是训练得到的。

形变模型可以用于对形变系数矩阵与三庭轮廓特征进行运算，以得到初始形变参数。

形变系数矩阵C可以表示为：

其中，p为三庭轮廓特征的维度。

三庭轮廓特征可以通过向量X表示：X＝(x₁ x₂ ... x_p)。

初始形变参数Z可以表示为：

其中，q为目标三庭轮廓基准模板中组的数量。

目标三庭轮廓基准模板中组的数量q与三庭轮廓特征的维度可以相等或不相等。在一些实施例中q可以略大于或略小于p，例如，p与q的差值可以不大于p的20％、30％或50％。

每个三庭轮廓基准模板可以是通过网格表示的。每个三庭轮廓基准模板的网格中包括多个组，每个组包括至少一个点。初始形变参数Z中的参数z_i用于表示该多个组中第i个组中的点的位置变化。

应当理解，在按照参数z_i对第i个组中的点进行位置变化时，每个点的位置变化量可以相同或不同。例如，第i个组中每个点的位置变化量可以与参数z_i正相关，但不同的点与参数z_i之间的正相关关系可以不同。

在进行方法300之前，可以通过人工确定三庭轮廓基准模板的网格中的多个组。在该多个组之外，三庭轮廓基准模板的网格中还可以包括或不包括其他的点。

在进行方法300之前，可以利用训练数据集合对形变模型进行训练。训练数据集合包括多个训练三庭轮廓特征以及每个训练三庭轮廓特征对应的标记形变参数。利用初始形变模型对训练三庭轮廓特征进行处理，输出训练形变参数。

训练数据集合可以是人工确定的。目标三庭轮廓基准模板是通过网格表示的。目标三庭轮廓基准模板包括多组点。该多组点可以包括该网格中的全部或部分点。

在获取训练图像后，可以确定训练图像中面部区域的训练三庭轮廓特征。之后，可以通过人工对目标3D基准模板进行形变以得到训练3D虚拟形象，记录该形变对应的形变参数为该训练三庭轮廓特征对应的训练形变参数。训练形变参数用于表示在进行形变前后该多组点的位置变化。

通过上述步骤对多个训练图像进行处理，可以建立训练数据集合，从而对形变模型进行训练。

可以利用回归算法调整形变系数矩阵C中的各个参数，从而对形变模型进行训练。回归算法是一种监督性算法，用于训练模型，可以利用最小二乘法、梯度下降法等方式实现。例如，偏最小二乘回归(partial least squares regression，PLS)算法可以用于对形变系数矩阵的参数进行调整。

调整初始形变模型中的参数，以使得训练形变参数与该训练三庭轮廓特征对应的标记形变参数之间的差异最小化。将调整后的初始形变模型作为初始形变模型，重复进行上述步骤，直到重复次数达到预设值或初始形变模型的参数逐渐收敛，将调整后的初始形变模型作为形变模型。从而完成了对形变模型的训练。

在S3051d，根据特征差异△S和初始形变参数，确定目标形变参数。

在特征差异较小，例如在特征差异小于预设值的情况下，可以将初始形变参数作为目标形变参数。

在特征差异较大，大于或等于预设值的情况下，可以将预设形变参数作为目标形变参数，或者，可以将目标形变参数与预设系数的乘积作为目标形变参数。预设系数大于0且小于1。

在S3051e，按照目标形变参数对目标三庭轮廓基准模板进行调整，以得到目标三庭轮廓模板。

基准模板集合中的各个三庭轮廓基准模板可以是多边形网格形成的3D模型。可以利用形变动画技术，按照目标形变参数对目标三庭轮廓基准模板进行调整。

目标形变参数可以是用于指示对目标三庭轮廓基准模板的形变量。

如果特征差异较大，则进行S3051e的过程中，对目标三庭轮廓基准模板的形变量过大，调整成都过多，可能导致得到的目标三庭轮廓模板失真。通过S3051d，在特征差异较大的情况下，确定目标形变参数，使得目标形变参数指示的形变量小于初始形变参数指示的形变量，可以避免目标三庭轮廓模板失真。

也就是说，通过S3051e对目标三庭轮廓基准模板进行调整，调整后的目标三庭轮廓基准模板即为目标三庭轮廓模型。

在S3052，根据基准模板集合以及眉毛形状特征、眼睛形状特征，在目标三庭轮廓模型中设置眉毛模型、眼睛模型。具体地，可以进行S3052a至S3052c，如图11所示。

在S3052a，可以在基准模板集合中进行匹配，确定与眉毛形状特征最接近的眉毛基准特征对应的目标眉毛基准模板、与眼睛形状特征最接近的眼睛基准特征对应的目标眼睛基准模板。

基准模板集合包括多个眉毛基准模板以及每个眉毛基准模板对应的眉毛基准特征。通过对将眉毛形状特征与基准模板集合中的各个眉毛基准特征进行比较，可以确定与眉毛形状特征最接近的眉毛基准特征。可以将该最接近的眉毛基准特征对应的眉毛基准模板作为目标眉毛基准模板。

基准模板集合包括多个眼睛基准模板以及每个眼睛基准模板对应的眼睛基准特征。通过对将眼睛形状特征与基准模板集合中的各个眼睛基准特征进行比较，可以确定与眼睛形状特征最接近的眼睛基准特征。可以将该最接近的眼睛基准特征对应的眼睛基准模板作为目标眼睛基准模板。

在S3052b，根据眉毛的大小信息、眼睛的大小信息，分别对目标眉毛基准模板、目标眼睛基准模板的大小进行调整。

在S3052c，将调整后的目标眉毛基准模板按照眉毛的间距信息，设置在目标三庭轮廓模型上；将调整后目标眼睛基准模板，按照眼睛的间距信息和角度信息，设置在目标三庭轮廓模型上。

在一些实施例中，S304可以不对眉毛的间距信息、眼睛的间距信息、眼睛的角度信息中的至少一个进行确定。在S3052c，可以按照默认的间距或角度将调整后的目标眉毛基准模板、调整后目标眼睛基准模板在目标三庭轮廓模型上进行设置。

在S3053，进行鼻子特征对应的目标鼻子形变，进行嘴唇特征对应的目标嘴唇形变。

具体地，可以进行S3053a至S3053b，如图12所示。

在S3053a，根据鼻子基准特征与鼻子形变参数之间的对应关系，确定鼻子特征对应的目标鼻子形变参数；根据嘴唇基准特征与嘴唇形变之间的对应关系，确定嘴唇特征对应的目标嘴唇形变参数。

也就是说，鼻子、嘴唇的形变参数可以是根据映射确定的。

鼻子的形变参数用于表示对鼻子基准模板的形变。嘴唇的形变参数用于表示对嘴唇基准模板的形变。

在S3053b，按照目标鼻子形变参数、目标嘴唇形变参数，分别对鼻子基准模板和嘴唇基准模板进行调整，以得到调整后的鼻子模板、调整后的嘴唇模板。

多个三庭轮廓基准模板对应的鼻子基准模板和嘴唇基准模板可以相同或不同。

鼻子、嘴唇的形状变化较小，可以仅设置一个鼻子基准模板和一个嘴唇基准模板。

或者，对于不同的三庭轮廓基准模板，鼻子基准模板和嘴唇基准模板可以不同。这种情况下，对于不同的三庭轮廓基准模板，鼻子基准特征与鼻子形变参数之间的对应关系、嘴唇基准特征与嘴唇形变参数之间的对应关系可以不同。

在将目标眉毛基准模板、目标眼睛基准模板设置在目标三庭轮廓模型上，并对鼻子基准模板和嘴唇基准模板进行调整后，即可得到3D虚拟形象。

通过S301至S305，对待处理图像中面部区域进行特征提取，并根据提取的特征对基准模型进行调整，生成3D虚拟形象，实现千人千面。

可以对单张照片或其他记录有面部区域的图像进行处理，可以生成订制化的3D虚拟形象，即3D虚拟形象的生成不再依赖于多角度录制等面部精确重建的方式，降低对采集环境和采集设备的要求，具有较高的适用性和灵活性。

并且，3D虚拟形象生成的过程中，不需要用户进行大量操作，降低了人工成本。

多角度录制等面部精确重建的方式生成的3D虚拟形象，与面部的形状完全一致。方法300利用训练得到的形变模型，对待处理图像中面部区域提取的特征进行处理，并根据形变模型处理得到的形变参数对基准模型进行调整，得到3D虚拟形象。形变模型可以是训练得到的。用于训练形变模型的训练数据集合可以具有某种风格，从而使得生成的3D虚拟形象具有该风格，且生成的3D虚拟形象可以不完全与面部的形状一致。设置不同风格对应的形变模型，可以为用户提供更多选择，并且生成的3D虚拟形象更加灵活。

在S305之后，可以将生成的3D虚拟形象发送至显示设备。显示设备可以用于显示3D虚拟形象。

上文结合图1至图12的描述了本申请实施例提供的方法实施例，下面结合图13至图14，描述本申请实施例的装置实施例。应理解，方法实施例的描述与装置实施例的描述相互对应，因此，未详细描述的部分可以参见上文的描述。

图13是本申请实施例的一种3D虚拟形象生成装置的示意性结构图。装置2000包括获取模块2010和处理模块2020。

获取模块2010用于，获取待处理图像。

处理模块2020用于，确定所述待处理图像中面部区域的第一形状特征。

处理模块2020还用于，根据所述第一形状特征，确定目标形变参数。

处理模块2020还用于，按照所述目标形变参数对目标3D基准模板进行调整，以生成3D虚拟形象。

可选地，处理模块2020还用于，在基准模板集合中确定所述目标3D基准模板，所述基准模板集合包括多个3D基准模板以及每个3D基准模板对应的基准形状特征，所述目标3D基准模板为所述多个基准形状特征中与所述第一形状特征差异最小的目标基准形状特征对应的所述3D基准模板。

可选地，处理模块2020还用于，利用目标形变模型对所述第一形状特征进行处理，以得到所述目标形变参数，所述目标形变模型为回归模型。

可选地，所述目标形变模型是利用训练数据集合训练得到的，所述训练数据集合包括多个训练形状特征和每个训练第一形状特征对应的训练形变参数。

可选地，处理模块2020还用于，计算所述第一形状特征与所述目标3D基准模板的基准形状特征之间的第一差异。

处理模块2020还用于，根据差异与系数的第一对应关系，确定所述第一差异对应的第一系数，在所述第一对应关系中系数与差异负相关。

处理模块2020还用于，利用目标形变模型对所述第一形状特征进行处理，以得到初始形变参数。

处理模块2020还用于，根据所述初始形变参数，确定所述目标形变参数，所述目标形变参数为所述初始形变参数与第一系数的乘积。

可选地，所述目标形变模型是所述目标3D基准模板对应的形变模型。

可选地，处理模块2020还用于，根据所述第一形状特征，以及形状特征与形变参数之间的第二对应关系，确定所述第一形状特征对应的所述目标形变参数。

可选地，处理模块2020还用于，提取所述面部区域的轮廓信息。

处理模块2020还用于，根据所述轮廓信息确定所述第一形状特征。

可选地，所述第一形状特征包括根据所述轮廓信息确定的图像矩。

可选地，所述轮廓信息包括所述面部区域中的特征点。

可选地，所述目标3D基准模板是通过网格表示的，所述网格包括多组点，所述目标形变参数用于表示所述网格中至少一组点的形变量。

图14是本申请实施例的图像处理装置的硬件结构示意图。图14所示的图像处理装置4000包括存储器4001、处理器4002、通信接口4003以及总线4004。其中，存储器4001、处理器4002、通信接口4003通过总线4004实现彼此之间的通信连接。

存储器4001可以是ROM，静态存储设备和RAM。存储器4001可以存储程序，当存储器4001中存储的程序被处理器4002执行时，处理器4002和通信接口4003用于执行本申请实施例的3D虚拟形象生成方法的各个步骤。

处理器4002可以采用通用的，CPU，微处理器，ASIC，GPU或者一个或多个集成电路，用于执行相关程序，以实现本申请实施例的图像处理装置中的单元所需执行的功能，或者执行本申请方法实施例的3D虚拟形象生成方法。

处理器4002还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请实施例的3D虚拟形象生成方法的各个步骤可以通过处理器4002中的硬件的集成逻辑电路或者软件形式的指令完成。

上述处理器4002还可以是通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器4001，处理器4002读取存储器4001中的信息，结合其硬件完成本申请实施例的图像处理装置中包括的单元所需执行的功能，或者执行本申请方法实施例的3D虚拟形象生成方法。

通信接口4003使用例如但不限于收发器一类的收发装置，来实现装置4000与其他设备或通信网络之间的通信。例如，可以通过通信接口4003获取待处理图像。

总线4004可包括在装置4000各个部件(例如，存储器4001、处理器4002、通信接口4003)之间传送信息的通路。

应注意，尽管上述装置4000仅仅示出了存储器、处理器、通信接口，但是在具体实现过程中，本领域的技术人员应当理解，装置4000还可以包括实现正常运行所必须的其他器件。同时，根据具体需要，本领域的技术人员应当理解，装置4000还可包括实现其他附加功能的硬件器件。此外，本领域的技术人员应当理解，装置4000也可仅仅包括实现本申请实施例所必须的器件，而不必包括图14中所示的全部器件。

具体地，处理器4002用于，获取待处理图像。

处理器4002用于，确定所述待处理图像中面部区域的第一形状特征。

处理器4002还用于，根据所述第一形状特征，确定目标形变参数。

处理器4002还用于，按照所述目标形变参数对目标3D基准模板进行调整，以生成3D虚拟形象。

可选地，处理器4002还用于，在基准模板集合中确定所述目标3D基准模板，所述基准模板集合包括多个3D基准模板以及每个3D基准模板对应的基准形状特征，所述目标3D基准模板为所述多个基准形状特征中与所述第一形状特征差异最小的目标基准形状特征对应的所述3D基准模板。

可选地，处理器4002还用于，利用目标形变模型对所述第一形状特征进行处理，以得到所述目标形变参数，所述目标形变模型为回归模型。

可选地，处理器4002还用于，计算所述第一形状特征与所述目标3D基准模板的基准形状特征之间的第一差异。

处理器4002还用于，根据差异与系数的第一对应关系，确定所述第一差异对应的第一系数，在所述第一对应关系中系数与差异负相关。

处理器4002还用于，利用目标形变模型对所述第一形状特征进行处理，以得到初始形变参数。

处理器4002还用于，根据所述初始形变参数，确定所述目标形变参数，所述目标形变参数为所述初始形变参数与第一系数的乘积。

可选地，处理器4002还用于，根据所述第一形状特征，以及形状特征与形变参数之间的第二对应关系，确定所述第一形状特征对应的所述目标形变参数。

可选地，处理器4002还用于，提取所述面部区域的轮廓信息。

处理器4002还用于，根据所述轮廓信息确定所述第一形状特征。

可选地，所述轮廓信息包括所述面部区域中的特征点。

本申请实施例提供一种计算机可读介质，该计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行前文所述的3D虚拟形象生成方法。

本申请实施例提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行前文所述的3D虚拟形象生成方法。

本申请实施例提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行前文所述的3D虚拟形象生成方法。

应理解，本申请实施例中的处理器可以为中央处理单元(central processingunit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random accessmemory，RAM)可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。

上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种三维3D虚拟形象生成方法，其特征在于，包括：

获取待处理图像；

确定所述待处理图像中面部区域的第一形状特征；

根据所述第一形状特征，确定目标形变参数；

按照所述目标形变参数对目标3D基准模板进行调整，以生成3D虚拟形象。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在基准模板集合中确定所述目标3D基准模板，所述基准模板集合包括多个3D基准模板以及每个3D基准模板对应的基准形状特征，所述目标3D基准模板为所述多个基准形状特征中与所述第一形状特征差异最小的目标基准形状特征对应的所述3D基准模板。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一形状特征，确定目标形变参数，包括：

利用目标形变模型对所述第一形状特征进行处理，以得到所述目标形变参数，所述目标形变模型为回归模型。

4.根据权利要求3所述的方法，其特征在于，所述目标形变模型是利用训练数据集合训练得到的，所述训练数据集合包括多个训练形状特征和每个训练第一形状特征对应的训练形变参数。

5.根据权利要求1-4中任一项所述的方法，其特征在于，

所述根据所述第一形状特征，确定目标形变参数，包括：

计算所述第一形状特征与所述目标3D基准模板的基准形状特征之间的第一差异；

根据差异与系数的第一对应关系，确定所述第一差异对应的第一系数，在所述第一对应关系中系数与差异负相关；

所述根据所述第一形状特征，确定目标形变参数，包括：

利用目标形变模型对所述第一形状特征进行处理，以得到初始形变参数；

根据所述初始形变参数，确定所述目标形变参数，所述目标形变参数为所述初始形变参数与第一系数的乘积。

6.根据权利要求3-5中任一项所述的方法，其特征在于，所述目标形变模型是所述目标3D基准模板对应的形变模型。

7.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一形状特征，确定目标形变参数，包括：

根据所述第一形状特征，以及形状特征与形变参数之间的第二对应关系，确定所述第一形状特征对应的所述目标形变参数。

8.根据权利要求1-7中任一项所述的方法，其特征在于，所述确定所述待处理图像中面部区域的第一形状特征，包括：

提取所述面部区域的轮廓信息；

根据所述轮廓信息确定所述第一形状特征。

9.根据权利要求8所述的方法，其特征在于，所述第一形状特征包括根据所述轮廓信息确定的图像矩。

10.根据权利要求8或9所述的方法，其特征在于，所述轮廓信息包括所述面部区域中的特征点。

11.根据权利要求1-10中任一项所述的方法，其特征在于，所述目标3D基准模板是通过网格表示的，所述网格包括多组点，所述目标形变参数用于表示所述网格中至少一组点的形变量。

12.一种三维3D虚拟形象生成装置，其特征在于，包括获取模块和处理模块；

所述获取模块用于，获取待处理图像；

所述处理模块用于，确定所述待处理图像中面部区域的第一形状特征；

所述处理模块还用于，根据所述第一形状特征，确定目标形变参数；

所述处理模块还用于，按照所述目标形变参数对目标3D基准模板进行调整，以生成3D虚拟形象。

13.根据权利要求12所述的装置，其特征在于，

所述处理模块还用于，在基准模板集合中确定所述目标3D基准模板，所述基准模板集合包括多个3D基准模板以及每个3D基准模板对应的基准形状特征，所述目标3D基准模板为所述多个基准形状特征中与所述第一形状特征差异最小的目标基准形状特征对应的所述3D基准模板。

14.根据权利要求12或13所述的装置，其特征在于，

所述处理模块还用于，利用目标形变模型对所述第一形状特征进行处理，以得到所述目标形变参数，所述目标形变模型为回归模型。

15.根据权利要求14所述的装置，其特征在于，所述目标形变模型是利用训练数据集合训练得到的，所述训练数据集合包括多个训练形状特征和每个训练第一形状特征对应的训练形变参数。

16.根据权利要求12-15中任一项所述的装置，其特征在于，

所述处理模块还用于，计算所述第一形状特征与所述目标3D基准模板的基准形状特征之间的第一差异；

所述处理模块还用于，根据差异与系数的第一对应关系，确定所述第一差异对应的第一系数，在所述第一对应关系中系数与差异负相关；

所述处理模块还用于，利用目标形变模型对所述第一形状特征进行处理，以得到初始形变参数；

所述处理模块还用于，根据所述初始形变参数，确定所述目标形变参数，所述目标形变参数为所述初始形变参数与第一系数的乘积。

17.根据权利要求14-16中任一项所述的装置，其特征在于，所述目标形变模型是所述目标3D基准模板对应的形变模型。

18.根据权利要求12或13所述的装置，其特征在于，

所述处理模块还用于，根据所述第一形状特征，以及形状特征与形变参数之间的第二对应关系，确定所述第一形状特征对应的所述目标形变参数。

19.根据权利要求12-18中任一项所述的装置，其特征在于，

所述处理模块还用于，提取所述面部区域的轮廓信息；

所述处理模块还用于，根据所述轮廓信息确定所述第一形状特征。

20.根据权利要求19所述的装置，其特征在于，所述第一形状特征包括根据所述轮廓信息确定的图像矩。

21.根据权利要求19或20所述的装置，其特征在于，所述轮廓信息包括所述面部区域中的特征点。

22.根据权利要求12-21中任一项所述的装置，其特征在于，所述目标3D基准模板是通过网格表示的，所述网格包括多组点，所述目标形变参数用于表示所述网格中至少一组点的形变量。

23.一种三维3D虚拟形象生成装置，其特征在于，包括存储器和处理器，所述存储器用于存储程序指令；当所述程序指令在所述处理器中执行时，所述处理器用于执行权利要求1-11中任一项所述的方法。

24.一种计算机可读存储介质，其特征在于，所述计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行如权利要求1至11中任一项所述的方法。

25.一种芯片，其特征在于，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，以执行如权利要求1至11中任一项所述的方法。