CN112766027A - 图像处理方法、装置、设备及存储介质 - Google Patents
图像处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112766027A CN112766027A CN201911072932.6A CN201911072932A CN112766027A CN 112766027 A CN112766027 A CN 112766027A CN 201911072932 A CN201911072932 A CN 201911072932A CN 112766027 A CN112766027 A CN 112766027A
- Authority
- CN
- China
- Prior art keywords
- face
- region
- key point
- image
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 32
- 230000001815 facial effect Effects 0.000 claims abstract description 29
- 239000013598 vector Substances 0.000 claims description 82
- 210000001508 eye Anatomy 0.000 claims description 40
- 230000002093 peripheral effect Effects 0.000 claims description 24
- 230000001133 acceleration Effects 0.000 claims description 23
- 238000013507 mapping Methods 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 210000005252 bulbus oculi Anatomy 0.000 claims description 4
- 230000009466 transformation Effects 0.000 abstract description 23
- 230000014509 gene expression Effects 0.000 abstract description 19
- 230000000875 corresponding effect Effects 0.000 description 113
- 230000008859 change Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 230000008921 facial expression Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例公开了一种图像处理方法、装置、设备及存储介质。方法包括：根据当前人脸图像和历史人脸图像针对多个面部区域的当前区域人脸关键点集和历史区域人脸关键点集，生成多个区域关键点调整参数集；获取与历史人脸图像匹配的虚拟形象脸部图像；根据虚拟形象脸部图像针对各面部区域的多个区域脸部关键点集和各区域关键点调整参数集，生成各调整后区域脸部关键点集；根据各调整后区域脸部关键点集，对虚拟形象脸部图像中的各原始网格进行调整，生成与当前人脸图像对应的调整后虚拟形象脸部图像。本发明实施例的技术方案，对虚拟形象图像与摄像头中人脸的尺寸和形状不进行限制，提高了人脸驱动虚拟形象图像进行表情变换的速度和准确度。
Description
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、设备及存储介质。
背景技术
随着社会的发展，诸如手机、平板电脑等电子设备已经广泛应用在各方面，很多电子设备中都配置有摄像头，用于拍照、录像、直播等操作。在摄像头的图像数据包含人脸时，还可以使静态的虚拟形象图像跟随人脸的表情变换实现各种动作效果。
目前，由于虚拟形象图像与摄像头中人脸的尺寸或形状相差较大，因此使虚拟形象图像跟随人脸进行实时表情变换比较困难，而且，现有的表情驱动方法通常利用虚拟形象图像的网格数据构建肌肉运动模型，通过点位移控制虚拟形象图像跟随人脸进行表情变换。
发明人在实现本发明的过程中，发现现有技术存在如下缺陷：对虚拟形象图像与摄像头中人脸的尺寸和形状有限制，并且，现有的表情驱动方法驱动虚拟形象图像跟随人脸进行表情变换的步骤比较复杂，变换速度比较慢，无法适应实时跟随人脸变换。
发明内容
本发明实施例提供一种图像处理方法、装置、设备及存储介质，以实现对虚拟形象图像与摄像头中人脸的尺寸和形状不进行限制，提高人脸驱动虚拟形象图像进行表情变换的速度和准确度，可适应于实时跟随人脸变换。
第一方面，本发明实施例提供了一种图像处理方法，包括：
根据当前人脸图像和历史人脸图像针对多个面部区域的当前区域人脸关键点集和历史区域人脸关键点集，生成多个区域关键点调整参数集；
获取与历史人脸图像匹配的虚拟形象脸部图像，虚拟形象脸部图像根据虚拟形象脸部关键点划分出多个原始网格；
根据虚拟形象脸部图像针对各面部区域的多个区域脸部关键点集和各区域关键点调整参数集，生成各调整后区域脸部关键点集；
根据各调整后区域脸部关键点集，对虚拟形象脸部图像中的各原始网格进行调整，生成与当前人脸图像对应的调整后虚拟形象脸部图像。
可选的，面部区域包括：脸部轮廓区域、眼睛周边区域以及嘴巴周边区域中的至少两项。
可选的，在根据当前人脸图像和历史人脸图像针对多个面部区域的当前区域人脸关键点集和历史区域人脸关键点集，生成多个区域关键点调整参数集之前，还包括：
分别确定当前人脸图像、历史人脸图像以及虚拟形象脸部图像针对各面部区域的目标定点；
根据当前人脸图像和历史人脸图像针对多个面部区域的当前区域人脸关键点集和历史区域人脸关键点集，生成多个区域关键点调整参数集，包括：
根据与各面部区域分别对应的当前区域人脸关键点集、历史区域人脸关键点集、在当前人脸图像中的目标定点以及在历史人脸图像中的目标定点，生成多个区域关键点调整加速度向量，作为区域关键点调整参数集；
根据虚拟形象脸部图像针对各面部区域的多个区域脸部关键点集和各区域关键点调整参数集，生成各调整后区域脸部关键点集，包括：
根据与各面部区域分别对应的区域关键点调整参数集、区域脸部关键点集以及在虚拟形象脸部图像中的目标定点，生成各调整后区域脸部关键点集。
可选的，分别确定当前人脸图像、历史人脸图像以及虚拟形象脸部图像针对各面部区域的目标定点，包括：
在当前人脸图像、历史人脸图像以及虚拟形象脸部图像中，分别确定与当前处理的面部区域对应的区域定位矩形；
各区域定位矩形中，获取同一方位的角点作为与当前处理的面部区域对应的目标定点。
可选的，在当前人脸图像、历史人脸图像以及虚拟形象脸部图像中，分别确定与当前处理的面部区域对应的区域定位矩形，包括：
在当前人脸图像以及历史人脸图像中，分别获取眼间距以及当前处理的面部区域的中心关键点；
以眼间距与当前处理的面部区域的第一比例值的乘积为长，眼间距与当前处理的面部区域的第二比例值的乘积为宽，以中心关键点为中心点，分别构造与当前人脸图像以及历史人脸图像的当前处理的面部区域对应的区域定位矩形；
其中，眼间距以及当前处理的面部区域的中心关键点通过对应的人脸关键点集确定；脸部轮廓区域的中心关键点为鼻尖关键点，眼睛周边区域的中心关键点为眼球中心关键点，嘴巴周边区域的中心关键点为上唇中心关键点；
根据当前处理的面部区域的区域脸部关键点集中的各虚拟形象脸部关键点坐标，确定完全覆盖当前处理的面部区域的最小外接矩形，作为虚拟形象脸部图像的当前处理的面部区域对应的区域定位矩形。
可选的，根据与各面部区域分别对应的当前区域人脸关键点集、历史区域人脸关键点集、在当前人脸图像中的目标定点以及在历史人脸图像中的目标定点，生成多个区域关键点调整加速度向量，作为区域关键点调整参数集，包括：
分别获取与各面部区域分别对应的当前区域人脸关键点集中各人脸关键点与对应目标定点之间的第一位置向量以及历史区域人脸关键点集中各人脸关键点与对应目标定点之间的第二位置向量；
计算各第二位置向量与对应第一位置向量之间的向量差值；
计算各向量差值与人脸缩放比例的乘积，得到与历史人脸图像的各面部区域分别对应的历史区域人脸关键点集中的各人脸关键点匹配的区域关键点调整加速度向量，作为区域关键点调整参数集。
可选的，在计算各向量差值与人脸缩放比例的乘积之前，还包括：
根据虚拟形象脸部图像对应的区域脸部关键点集，获取虚拟形象脸部图像的眼间距；
将虚拟形象脸部图像的眼间距除以当前人脸图像的眼间距得到的商值，作为人脸缩放比例。
可选的，根据虚拟形象脸部图像针对各面部区域的多个区域脸部关键点集和各区域关键点调整参数集，生成各调整后区域脸部关键点集，包括：
获取虚拟形象脸部图像针对各面部区域的多个区域脸部关键点集中各虚拟形象脸部关键点与对应目标定点之间的第三位置向量；
计算各第三位置向量与对应区域关键点调整参数集中匹配的区域关键点调整加速度向量之间的向量和值，并根据各向量和值以及与虚拟形象脸部图像的对应面部区域对应的目标定点，计算各调整后区域脸部关键点集。
可选的，根据各调整后区域脸部关键点集，对虚拟形象脸部图像中的各原始网格进行调整，生成与当前人脸图像对应的调整后虚拟形象脸部图像，包括：
建立与虚拟形象脸部图像匹配的空白图像；
根据各调整后区域脸部关键点集，确定虚拟形象脸部图像中各原始网格的网格变形方式；
根据网格变形方式，在空白图像中，划分出与原始网格对应的多个目的变形网格；
根据原始网格与目的变形网格之间的位置对应关系，将原始网格中的各像素点映射至对应的目的变形网格中，得到调整后虚拟形象脸部图像。
可选的，根据原始网格与目的变形网格之间的位置对应关系，将原始网格中的各像素点映射至对应的目的变形网格中，得到调整后虚拟形象脸部图像，包括：
获取虚拟形象脸部图像中的一个原始网格作为当前处理网格；
在空白图像中，获取与当前处理网格匹配的目的变形网格，作为配对网格；
获取与当前处理网格对应的第一顶点序列，以及与配对网格对应的第二顶点序列，并根据第一顶点序列以及第二顶点序列，计算当前处理网格与配对网格之间的映射关系矩阵；
根据映射关系矩阵，将当前处理网格中的各像素点映射至配对网格中，并返回执行获取虚拟形象脸部图像中的一个原始网格作为当前处理网格的操作，直至完成对全部原始网格的处理。
第二方面，本发明实施例还提供了一种图像处理装置，包括：
调整参数生成模块，用于根据当前人脸图像和历史人脸图像针对多个面部区域的当前区域人脸关键点集和历史区域人脸关键点集，生成多个区域关键点调整参数集；
虚拟图像获取模块，用于获取与历史人脸图像匹配的虚拟形象脸部图像，虚拟形象脸部图像根据虚拟形象脸部关键点划分出多个原始网格；
关键点调整模块，用于根据虚拟形象脸部图像针对各面部区域的多个区域脸部关键点集和各区域关键点调整参数集，生成各调整后区域脸部关键点集；
调整图像生成模块，用于根据各调整后区域脸部关键点集，对虚拟形象脸部图像中的各原始网格进行调整，生成与当前人脸图像对应的调整后虚拟形象脸部图像。
第三方面，本发明实施例还提供了一种设备，设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明任意实施例提供的图像处理方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例提供的图像处理方法。
本发明实施例中，通过根据当前人脸图像和历史人脸图像针对多个面部区域的当前区域人脸关键点集和历史区域人脸关键点集，生成多个区域关键点调整参数集；获取与历史人脸图像匹配的虚拟形象脸部图像，虚拟形象脸部图像根据虚拟形象脸部关键点划分出多个原始网格；根据虚拟形象脸部图像针对各面部区域的多个区域脸部关键点集和各区域关键点调整参数集，生成各调整后区域脸部关键点集；根据各调整后区域脸部关键点集，对虚拟形象脸部图像中的各原始网格进行调整，生成与当前人脸图像对应的调整后虚拟形象脸部图像，解决了现有技术中对虚拟形象图像与摄像头中人脸的尺寸和形状有限制，人脸驱动虚拟形象进行表情变换的速度比较慢的问题，对虚拟形象图像与摄像头中人脸的尺寸和形状不进行限制，提高了人脸驱动虚拟形象图像进行表情变换的速度和准确度，可适应于实时跟随人脸变换。
附图说明
图1a是本发明实施例一中的一种图像处理方法的流程图；
图1b是本发明实施例一中的一种人脸关键点的示意图；
图1c是本发明实施例一中的一种人脸图像中的原始网格的示意图；
图1d是本发明实施例一中的一种网格配对示意图；
图2a是本发明实施例二中的一种图像处理方法的流程图；
图2b是本发明实施例二中的一种人脸图像的眼间距示意图；
图2c是本发明实施例二中的一种脸部轮廓区域定位矩形的示意图；
图2d是本发明实施例二中的一种眼睛周边区域定位矩形的示意图；
图2e是本发明实施例二中的一种嘴巴周边区域定位矩形的示意图；
图2f是本发明实施例二中的一种虚拟形象脸部图像对应的各区域定位矩形的示意图；
图3是本发明实施例三中的一种图像处理装置的结构示意图；
图4是本发明实施例四中的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1a是本发明实施例一中的一种图像处理方法的流程图，本实施例可适用于虚拟形象脸部图像跟随人脸实时进行表情变换的情况，该方法可以由图像处理装置来执行，该装置可以由硬件和/或软件来实现，并一般可以集成在提供图像处理服务的设备中。如图1a所示，该方法包括：
步骤110、根据当前人脸图像和历史人脸图像针对多个面部区域的当前区域人脸关键点集和历史区域人脸关键点集，生成多个区域关键点调整参数集。
本实施例中，当前人脸图像和历史人脸图像都是指带有人脸的图片，可以是用户的自拍或者拍摄的照片，也可以是视频或直播中的人物截图等等。当前人脸图像是历史人脸图像经过表情变换得到的，即历史人脸图像的拍摄时间早于当前人脸图像。例如，历史人脸图像可以是直播到11分12秒时对某人的视频截图，当前人脸图像是直播到11分13秒时对该人的视频截图。
可选的，面部区域包括：脸部轮廓区域、眼睛周边区域以及嘴巴周边区域中的至少两项。
本实施例中，由于人脸做表情变换时主要是人脸的脸部轮廓、眼睛及其周围区域和嘴巴及其周围区域的肌肉发生变化，因此，需要分别针对脸部轮廓区域、眼睛周边区域以及嘴巴周边区域中进行人脸关键点采集，以确定对应区域的肌肉是如何变化的，也就是确定对应区域的人脸关键点是如何变化的。
可选的，可以通过对人脸图像进行人脸检测识别出人脸图像中包含的人脸关键点，即定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等等，如图1b所示，进而得到人脸图像针对多个面部区域的人脸关键点集。其中，人脸关键点的数量，可以根据实际情况设置。
可选的，在根据当前人脸图像和历史人脸图像针对多个面部区域的当前区域人脸关键点集和历史区域人脸关键点集，生成多个区域关键点调整参数集之前，还可以包括：分别确定当前人脸图像、历史人脸图像以及虚拟形象脸部图像针对各面部区域的目标定点。
本实施例中，虚拟形象脸部图像是一张静态图像，需要跟随摄像头前的人脸表情变换，即由历史人脸图像到当前人脸图像的变化，实时做出相应的动作。为了确定当前人脸图像与历史人脸图像的对应关系，以及历史人脸图像与虚拟形象脸部图像的对应关系，需要在当前人脸图像、历史人脸图像以及虚拟形象脸部图像对应的各个面部区域中分别确定一个目标定点作为参考方位点，同一面部区域的目标定点在当前人脸图像、历史人脸图像以及虚拟形象脸部图像的对应面部区域中所处的方位是相同的，例如，都在嘴巴周边区域的左上角，当前人脸图像、历史人脸图像以及虚拟形象脸部图像的各面部区域中的各人脸关键点分别通过与对应目标定点之间的相对位置关系来确定彼此之间的对应关系。
可选的，分别确定当前人脸图像、历史人脸图像以及虚拟形象脸部图像针对各面部区域的目标定点，可以包括：在当前人脸图像、历史人脸图像以及虚拟形象脸部图像中，分别确定与当前处理的面部区域对应的区域定位矩形；各区域定位矩形中，获取同一方位的角点作为与当前处理的面部区域对应的目标定点。
本实施例中，区域定位矩形可以替换为正方形、五边形或者圆形等其他多边形，在当前人脸图像、历史人脸图像以及虚拟形象脸部图像针对各面部区域的区域定位矩形中，获取同一方位的顶点作为目标定点，以便于确定各面部区域中人脸关键点之间的对应关系。
可选的，根据当前人脸图像和历史人脸图像针对多个面部区域的当前区域人脸关键点集和历史区域人脸关键点集，生成多个区域关键点调整参数集，可以包括：根据与各面部区域分别对应的当前区域人脸关键点集、历史区域人脸关键点集、在当前人脸图像中的目标定点以及在历史人脸图像中的目标定点，生成多个区域关键点调整加速度向量，作为区域关键点调整参数集。
本实施例中，通过以当前人脸图像和历史人脸图像与各面部区域分别对应的目标定点为参考方位点，可以确定针对各个面部区域，当前人脸关键点集相对于历史人脸关键点集的变化值，也就是该区域的关键点调整加速度向量。
本实施例中，区域关键点调整加速度向量可以是当前人脸关键点相对对应目标定点的向量与历史人脸关键点相对对应目标定点的向量之间做向量减法运算得到的差值向量，该差值向量可以以坐标的形式表示，也可以以模和夹角的方式表示，其中，夹角和模长分别表示由历史人脸关键点相对对应目标定点的向量旋转到当前人脸关键点相对对应目标定点的向量时发生的向量角度变化和向量模长变化。
步骤120、获取与历史人脸图像匹配的虚拟形象脸部图像，虚拟形象脸部图像根据虚拟形象脸部关键点划分出多个原始网格。
本实施例中，虚拟形象脸部图像由虚拟形象脸部关键点划分出的多个原始网格构成，网格代表单个的可绘制实体，其顶点至少包括虚拟形象脸部关键点，即以虚拟形象脸部关键点作为网格的至少部分顶点，将虚拟形象脸部图像数据进行网格化，划分为两个及两个以上的网格，诸如图1c所示。
本实施例中，虚拟形象脸部图像中的脸部表情与历史人脸图像中的脸部表情一致，可以根据历史人脸表情到当前人脸表情的变化，对虚拟形象脸部表情进行相应的调整，而在对虚拟形象脸部表情进行调整之前，需要先获取虚拟形象脸部图像针对各面部区域的区域脸部关键点集。
步骤130、根据虚拟形象脸部图像针对各面部区域的多个区域脸部关键点集和各区域关键点调整参数集，生成各调整后区域脸部关键点集。
可选的，根据虚拟形象脸部图像针对各面部区域的多个区域脸部关键点集和各区域关键点调整参数集，生成各调整后区域脸部关键点集，可以包括：根据与各面部区域分别对应的区域关键点调整参数集、区域脸部关键点集以及在虚拟形象脸部图像中的目标定点，生成各调整后区域脸部关键点集。
本实施例中，各区域关键点调整参数集反映的是从历史人脸表情到当前人脸表情各个面部区域中的各人脸关键点的变化，也是虚拟形象脸部表情调整前后各面部区域中的各虚拟形象脸部关键点的变化，因此，在虚拟形象脸部图像与历史人脸图像各个面部区域的目标定点一致时，以各目标定点为参考方位点，在各虚拟形象脸部关键点的基础上加上对应虚拟形象脸部关键点的变化，即可得到各调整后区域脸部关键点集。
步骤140、根据各调整后区域脸部关键点集，对虚拟形象脸部图像中的各原始网格进行调整，生成与当前人脸图像对应的调整后虚拟形象脸部图像。
可选的，根据各调整后区域脸部关键点集，对虚拟形象脸部图像中的各原始网格进行调整，生成与当前人脸图像对应的调整后虚拟形象脸部图像，可以包括：建立与虚拟形象脸部图像匹配的空白图像；根据各调整后区域脸部关键点集，确定虚拟形象脸部图像中各原始网格的网格变形方式；根据网格变形方式，在空白图像中，划分出与原始网格对应的多个目的变形网格；根据原始网格与目的变形网格之间的位置对应关系，将原始网格中的各像素点映射至对应的目的变形网格中，得到调整后虚拟形象脸部图像。
本实施例中，可以在确定各调整后区域脸部关键点集之后，建立与虚拟形象脸部图像尺寸大小一致的空白图像，以便于后续在空白图像中划分出与原始网格对应的目的变形网格，显示出调整后的虚拟形象脸部图像。
可选的，通过比对各调整后区域脸部关键点集与调整前的区域脸部关键点集，可以确定虚拟形象脸部图像中各面部区域的各原始网格的网格变形方式，例如，将原始网格s中的顶点c移至指定位置点c’，将顶点d移至指定位置点d’，然后在空白图像中，根据原始网格s以及对应的网格变形方式，就可以划分出与原始网格s对应的目的变形网格。
本实施例中，为了加快对虚拟形象脸部图像的处理速度，在划分出与原始网格对应的多个目的变形网格之后，直接根据原始网格与目的变形网格的映射关系，依次将各原始网格中的像素点映射到对应的目的变形网格中，不需要将原始网格中的像素点重新渲染到目的变形网格中。
可选的，根据原始网格与目的变形网格之间的位置对应关系，将原始网格中的各像素点映射至对应的目的变形网格中，得到调整后虚拟形象脸部图像，可以包括：获取虚拟形象脸部图像中的一个原始网格作为当前处理网格；在空白图像中，获取与当前处理网格匹配的目的变形网格，作为配对网格；获取与当前处理网格对应的第一顶点序列，以及与配对网格对应的第二顶点序列，并根据第一顶点序列以及第二顶点序列，计算当前处理网格与配对网格之间的映射关系矩阵；根据映射关系矩阵，将当前处理网格中的各像素点映射至配对网格中，并返回执行获取虚拟形象脸部图像中的一个原始网格作为当前处理网格的操作，直至完成对全部原始网格的处理。
本实施例中，在对虚拟形象脸部图像中各面部区域的各原始网格中的像素点进行映射时，可以先从多个原始网格中选择一个作为当前处理网格，例如可以先从目标调整网格网格中选择原始网格A当作当前处理网格，然后在空白图像中划分出与当前处理网格匹配的目的变形网格a，作为配对网格，如图1d所示。接着获取与当前处理网格A对应的第一顶点序列(x1,y1)、(x2,y2)、(x3,y3)，即当前处理网格A的三个顶点的坐标，以及与配对网格a对应的第二顶点序列(x1',y1')、(x2',y2')、(x3',y3')，进而根据当前处理网格A与配对网格a的顶点坐标，计算两者之间的映射关系矩阵，根据映射关系矩阵得到当前处理网格A中的各个像素点在配对网格a中的坐标值，从而可以实现将当前处理网格A中的各个像素点直接映射到配对网格a中。然后从剩余的原始网格中选择一个当作当前处理网格，重复上述过程，直到虚拟形象脸部图像中的所有原始网格都被处理完，得到调整后虚拟形象脸部图像为止。
本发明实施例中，通过根据当前人脸图像和历史人脸图像针对多个面部区域的当前区域人脸关键点集和历史区域人脸关键点集，生成多个区域关键点调整参数集；获取与历史人脸图像匹配的虚拟形象脸部图像，虚拟形象脸部图像根据虚拟形象脸部关键点划分出多个原始网格；根据虚拟形象脸部图像针对各面部区域的多个区域脸部关键点集和各区域关键点调整参数集，生成各调整后区域脸部关键点集；根据各调整后区域脸部关键点集，对虚拟形象脸部图像中的各原始网格进行调整，生成与当前人脸图像对应的调整后虚拟形象脸部图像，解决了现有技术中对虚拟形象图像与摄像头中人脸的尺寸和形状有限制，人脸驱动虚拟形象进行表情变换的速度比较慢的问题，对虚拟形象图像与摄像头中人脸的尺寸和形状不进行限制，提高了人脸驱动虚拟形象图像进行表情变换的速度和准确度，可适应于实时跟随人脸变换。
实施例二
图2a是本发明实施例二中的一种图像处理方法的流程图。本实施例可以与上述实施例中各个可选方案结合。具体的，参考图2a，该方法可以包括如下步骤：
步骤210、在当前人脸图像、历史人脸图像以及虚拟形象脸部图像中分别获取针对多个面部区域的当前区域人脸关键点集、历史区域人脸关键点集以及区域脸部关键点集。
本实施例中，为了使得虚拟形象脸部图像可以跟随人脸从历史人脸图像到当前人脸图像的变化做出相应的动作效果，需要先在当前人脸图像、历史人脸图像以及虚拟形象脸部图像中分别获取针对多个面部区域的当前区域人脸关键点集、历史区域人脸关键点集以及区域脸部关键点集，进而才能确定与人脸变化相匹配的虚拟形象脸部关键点的变化，确定虚拟形象脸部图像中的各虚拟形象脸部关键点分别需要进行的调整操作。
步骤220、根据各区域脸部关键点集，将虚拟形象脸部图像划分为多个原始网格。
步骤230、分别确定当前人脸图像、历史人脸图像以及虚拟形象脸部图像针对各面部区域的目标定点。
可选的，分别确定当前人脸图像、历史人脸图像以及虚拟形象脸部图像针对各面部区域的目标定点，可以包括：在当前人脸图像、历史人脸图像以及虚拟形象脸部图像中，分别确定与当前处理的面部区域对应的区域定位矩形；各区域定位矩形中，获取同一方位的角点作为与当前处理的面部区域对应的目标定点。
可选的，在当前人脸图像、历史人脸图像以及虚拟形象脸部图像中，分别确定与当前处理的面部区域对应的区域定位矩形，可以包括：在当前人脸图像以及历史人脸图像中，分别获取眼间距以及当前处理的面部区域的中心关键点；以眼间距与当前处理的面部区域的第一比例值的乘积为长，眼间距与当前处理的面部区域的第二比例值的乘积为宽，以中心关键点为中心点，分别构造与当前人脸图像以及历史人脸图像的当前处理的面部区域对应的区域定位矩形。
其中，眼间距以及当前处理的面部区域的中心关键点通过对应的人脸关键点集确定；脸部轮廓区域的中心关键点为鼻尖关键点，眼睛周边区域的中心关键点为眼球中心关键点，嘴巴周边区域的中心关键点为上唇中心关键点。
示例性的，以当前人脸图像为例，如图2b所示，通过在当前人脸图像针对眼睛周边区域的当前区域人脸关键点集中，获取双眼的人脸关键点坐标并做差值，即可得到当前人脸图像的眼间距E。针对脸部轮廓区域，根据经验，可以将第一比例值设置为2，将第二比例值设置为2.5，从而得到长为2*E、宽为2.5*E、中心点为鼻尖关键点S的区域定位矩形，如图2c所示。针对眼睛周边区域，根据经验，可以将第一比例值设置为0.7，将第二比例值设置为0.5，从而得到长为0.7*E、宽为0.5*E、中心点为眼球中心关键点Y的区域定位矩形，如图2d所示。针对嘴巴周边区域，根据经验，可以将第一比例值设置为1.7，将第二比例值设置为1.0，从而得到长为1.7*E、宽为1.0*E、中心点为上唇中心关键点L的区域定位矩形，如图2e所示。当然，各个面部区域的第一比例值和第二比例值也可以设置为其他数值。
可选的，针对虚拟形象脸部图像，可以根据当前处理的面部区域的区域脸部关键点集中的各虚拟形象脸部关键点坐标，确定完全覆盖当前处理的面部区域的最小外接矩形，作为虚拟形象脸部图像的当前处理的面部区域对应的区域定位矩形。
本实施例中，假设虚拟形象脸部图像的当前处理的面部区域的区域脸部关键点集中包括的虚拟形象脸部关键点有(x1,y1)，(x2,y2)....(xn,yn)，则当前处理的面部区域的最小外接矩形的坐标为：(min(x1,x2...xn)，min(y1,y2....yn))，(min(x1,x2...xn)，max(y1,y2....yn))，(max(x1,x2...xn)，min(y1,y2....yn))，(max(x1,x2...xn)，max(y1,y2....yn))，最终得到的虚拟形象脸部图像的各面部区域对应的区域定位矩形如图2f所示。
步骤240、根据与各面部区域分别对应的当前区域人脸关键点集、历史区域人脸关键点集、在当前人脸图像中的目标定点以及在历史人脸图像中的目标定点，生成多个区域关键点调整加速度向量，作为区域关键点调整参数集。
可选的，根据与各面部区域分别对应的当前区域人脸关键点集、历史区域人脸关键点集、在当前人脸图像中的目标定点以及在历史人脸图像中的目标定点，生成多个区域关键点调整加速度向量，作为区域关键点调整参数集，可以包括：分别获取与各面部区域分别对应的当前区域人脸关键点集中各人脸关键点与对应目标定点之间的第一位置向量以及历史区域人脸关键点集中各人脸关键点与对应目标定点之间的第二位置向量；计算各第二位置向量与对应第一位置向量之间的向量差值；计算各向量差值与人脸缩放比例的乘积，得到与历史人脸图像的各面部区域分别对应的历史区域人脸关键点集中的各人脸关键点匹配的区域关键点调整加速度向量，作为区域关键点调整参数集。
示例性的，如图2c所示，以脸部轮廓区域为例，假设当前人脸图像和历史人脸图像都以对应区域定位矩形的顶点A为目标定点，获取针对脸部轮廓区域的各当前人脸关键点Xn与对应目标定点A之间的第一位置向量XnA，以及针对脸部轮廓区域的各历史人脸关键点Xn’与对应目标定点A之间的第二位置向量Xn’A，通过计算XnA-Xn’A，得到从历史人脸图像到当前人脸图像的人脸变化对应的脸部轮廓区域的各人脸关键点的坐标变化量，考虑到历史人脸图像中的人脸与虚拟形象脸部图像中的脸部的尺寸不一致，需要根据公式an＝(XnA-Xn’A)*Q计算各关键点调整加速度向量，即脸部轮廓区域的各人脸关键点调整参数，使得计算得到的各人脸关键点的坐标变化量适合虚拟形象脸部的尺寸，其中，Q为人脸缩放比例。
可选的，在计算各向量差值与人脸缩放比例的乘积之前，还可以包括：根据虚拟形象脸部图像对应的区域脸部关键点集，获取虚拟形象脸部图像的眼间距；将虚拟形象脸部图像的眼间距除以当前人脸图像的眼间距得到的商值，作为人脸缩放比例。
本实施例中，由于虚拟形象脸部图像是静态图像，因此虚拟形象的眼间距不会变化，当摄像头前的人脸的尺寸发生变化时，为了保证计算出的各人脸关键点的坐标变化量符合虚拟形象脸部的尺寸，可以将虚拟形象脸部图像的眼间距与当前人脸图像的眼间距的商值作为人脸缩放比例，来对各人脸关键点的坐标变化量进行缩放。
步骤250、根据虚拟形象脸部图像针对各面部区域的多个区域脸部关键点集和各区域关键点调整参数集，生成各调整后区域脸部关键点集。
可选的，根据虚拟形象脸部图像针对各面部区域的多个区域脸部关键点集和各区域关键点调整参数集，生成各调整后区域脸部关键点集，可以包括：获取虚拟形象脸部图像针对各面部区域的多个区域脸部关键点集中各虚拟形象脸部关键点与对应目标定点之间的第三位置向量；计算各第三位置向量与对应区域关键点调整参数集中匹配的区域关键点调整加速度向量之间的向量和值，并根据各向量和值以及与虚拟形象脸部图像的对应面部区域对应的目标定点，计算各调整后区域脸部关键点集。
本实施例中，得到各面部区域的区域关键点调整参数集中的各人脸关键点调整参数之后，将各人脸关键点调整参数叠加到对应的各虚拟形象脸部关键点上，即可得到各调整后虚拟形象脸部关键点与对应目标定点之间的位置向量，通过对目标定点的坐标以及该位置向量做向量减法运算，即可得到各调整后虚拟形象脸部关键点。
步骤260、根据各调整后区域脸部关键点集，对虚拟形象脸部图像中的各原始网格进行调整，生成与当前人脸图像对应的调整后虚拟形象脸部图像。
本发明实施例中，通过根据当前人脸图像和历史人脸图像针对多个面部区域的当前区域人脸关键点集和历史区域人脸关键点集，生成多个区域关键点调整参数集；获取与历史人脸图像匹配的虚拟形象脸部图像，虚拟形象脸部图像根据虚拟形象脸部关键点划分出多个原始网格；根据虚拟形象脸部图像针对各面部区域的多个区域脸部关键点集和各区域关键点调整参数集，生成各调整后区域脸部关键点集；根据各调整后区域脸部关键点集，对虚拟形象脸部图像中的各原始网格进行调整，生成与当前人脸图像对应的调整后虚拟形象脸部图像，解决了现有技术中对虚拟形象图像与摄像头中人脸的尺寸和形状有限制，人脸驱动虚拟形象进行表情变换的速度比较慢的问题，对虚拟形象图像与摄像头中人脸的尺寸和形状不进行限制，提高了人脸驱动虚拟形象图像进行表情变换的速度和准确度，可适应于实时跟随人脸变换。
实施例三
图3是本发明实施例三中的一种图像处理装置的结构示意图，本实施例可适用于虚拟形象脸部图像跟随人脸实时进行表情变换的情况。如图3所示，该图像处理装置包括：调整参数生成模块310、虚拟图像获取模块320、关键点调整模块330以及调整图像生成模块340。
调整参数生成模块310，用于根据当前人脸图像和历史人脸图像针对多个面部区域的当前区域人脸关键点集和历史区域人脸关键点集，生成多个区域关键点调整参数集；
虚拟图像获取模块320，用于获取与历史人脸图像匹配的虚拟形象脸部图像，虚拟形象脸部图像根据虚拟形象脸部关键点划分出多个原始网格；
关键点调整模块330，用于根据虚拟形象脸部图像针对各面部区域的多个区域脸部关键点集和各区域关键点调整参数集，生成各调整后区域脸部关键点集；
调整图像生成模块340，用于根据各调整后区域脸部关键点集，对虚拟形象脸部图像中的各原始网格进行调整，生成与当前人脸图像对应的调整后虚拟形象脸部图像。
本发明实施例中，通过根据当前人脸图像和历史人脸图像针对多个面部区域的当前区域人脸关键点集和历史区域人脸关键点集，生成多个区域关键点调整参数集；获取与历史人脸图像匹配的虚拟形象脸部图像，虚拟形象脸部图像根据虚拟形象脸部关键点划分出多个原始网格；根据虚拟形象脸部图像针对各面部区域的多个区域脸部关键点集和各区域关键点调整参数集，生成各调整后区域脸部关键点集；根据各调整后区域脸部关键点集，对虚拟形象脸部图像中的各原始网格进行调整，生成与当前人脸图像对应的调整后虚拟形象脸部图像，解决了现有技术中对虚拟形象图像与摄像头中人脸的尺寸和形状有限制，人脸驱动虚拟形象进行表情变换的速度比较慢的问题，对虚拟形象图像与摄像头中人脸的尺寸和形状不进行限制，提高了人脸驱动虚拟形象图像进行表情变换的速度和准确度，可适应于实时跟随人脸变换。
可选的，面部区域包括：脸部轮廓区域、眼睛周边区域以及嘴巴周边区域中的至少两项。
可选的，还包括：目标定点确定模块，用于在根据当前人脸图像和历史人脸图像针对多个面部区域的当前区域人脸关键点集和历史区域人脸关键点集，生成多个区域关键点调整参数集之前，分别确定当前人脸图像、历史人脸图像以及虚拟形象脸部图像针对各面部区域的目标定点；
调整参数生成模块310，具体用于：根据与各面部区域分别对应的当前区域人脸关键点集、历史区域人脸关键点集、在当前人脸图像中的目标定点以及在历史人脸图像中的目标定点，生成多个区域关键点调整加速度向量，作为区域关键点调整参数集；
关键点调整模块330，具体用于：根据与各面部区域分别对应的区域关键点调整参数集、区域脸部关键点集以及在虚拟形象脸部图像中的目标定点，生成各调整后区域脸部关键点集。
可选的，目标定点确定模块，具体用于：在当前人脸图像、历史人脸图像以及虚拟形象脸部图像中，分别确定与当前处理的面部区域对应的区域定位矩形；各区域定位矩形中，获取同一方位的角点作为与当前处理的面部区域对应的目标定点。
可选的，目标定点确定模块，包括：第一确定单元，用于在当前人脸图像以及历史人脸图像中，分别获取眼间距以及当前处理的面部区域的中心关键点；以眼间距与当前处理的面部区域的第一比例值的乘积为长，眼间距与当前处理的面部区域的第二比例值的乘积为宽，以中心关键点为中心点，分别构造与当前人脸图像以及历史人脸图像的当前处理的面部区域对应的区域定位矩形；其中，眼间距以及当前处理的面部区域的中心关键点通过对应的人脸关键点集确定；脸部轮廓区域的中心关键点为鼻尖关键点，眼睛周边区域的中心关键点为眼球中心关键点，嘴巴周边区域的中心关键点为上唇中心关键点；
第二确定单元，用于根据当前处理的面部区域的区域脸部关键点集中的各虚拟形象脸部关键点坐标，确定完全覆盖当前处理的面部区域的最小外接矩形，作为虚拟形象脸部图像的当前处理的面部区域对应的区域定位矩形。
可选的，调整参数生成模块310，具体用于：分别获取与各面部区域分别对应的当前区域人脸关键点集中各人脸关键点与对应目标定点之间的第一位置向量以及历史区域人脸关键点集中各人脸关键点与对应目标定点之间的第二位置向量；计算各第二位置向量与对应第一位置向量之间的向量差值；计算各向量差值与人脸缩放比例的乘积，得到与历史人脸图像的各面部区域分别对应的历史区域人脸关键点集中的各人脸关键点匹配的区域关键点调整加速度向量，作为区域关键点调整参数集。
可选的，还包括：缩放比例计算模块，用于在计算各向量差值与人脸缩放比例的乘积之前，根据虚拟形象脸部图像对应的区域脸部关键点集，获取虚拟形象脸部图像的眼间距；将虚拟形象脸部图像的眼间距除以当前人脸图像的眼间距得到的商值，作为人脸缩放比例。
可选的，关键点调整模块330，具体用于：获取虚拟形象脸部图像针对各面部区域的多个区域脸部关键点集中各虚拟形象脸部关键点与对应目标定点之间的第三位置向量；计算各第三位置向量与对应区域关键点调整参数集中匹配的区域关键点调整加速度向量之间的向量和值，并根据各向量和值以及与虚拟形象脸部图像的对应面部区域对应的目标定点，计算各调整后区域脸部关键点集。
可选的，调整图像生成模块340，具体用于：建立与虚拟形象脸部图像匹配的空白图像；根据各调整后区域脸部关键点集，确定虚拟形象脸部图像中各原始网格的网格变形方式；根据网格变形方式，在空白图像中，划分出与原始网格对应的多个目的变形网格；根据原始网格与目的变形网格之间的位置对应关系，将原始网格中的各像素点映射至对应的目的变形网格中，得到调整后虚拟形象脸部图像。
可选的，调整图像生成模块340，具体用于：获取虚拟形象脸部图像中的一个原始网格作为当前处理网格；在空白图像中，获取与当前处理网格匹配的目的变形网格，作为配对网格；获取与当前处理网格对应的第一顶点序列，以及与配对网格对应的第二顶点序列，并根据第一顶点序列以及第二顶点序列，计算当前处理网格与配对网格之间的映射关系矩阵；根据映射关系矩阵，将当前处理网格中的各像素点映射至配对网格中，并返回执行获取虚拟形象脸部图像中的一个原始网格作为当前处理网格的操作，直至完成对全部原始网格的处理。
本发明实施例所提供的图像处理装置可执行本发明任意实施例所提供的图像处理方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4是本发明实施例四公开的一种设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性设备12的框图。图4显示的设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与设备12的其它模块通信。应当明白，尽管图中未示出，可以结合设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的图像处理方法。
也即：实现一种图像处理方法，包括：
根据当前人脸图像和历史人脸图像针对多个面部区域的当前区域人脸关键点集和历史区域人脸关键点集，生成多个区域关键点调整参数集；
获取与历史人脸图像匹配的虚拟形象脸部图像，虚拟形象脸部图像根据虚拟形象脸部关键点划分出多个原始网格；
根据虚拟形象脸部图像针对各面部区域的多个区域脸部关键点集和各区域关键点调整参数集，生成各调整后区域脸部关键点集；
根据各调整后区域脸部关键点集，对虚拟形象脸部图像中的各原始网格进行调整，生成与当前人脸图像对应的调整后虚拟形象脸部图像。
实施例五
本发明实施例五还公开了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现一种图像处理方法，包括：
根据当前人脸图像和历史人脸图像针对多个面部区域的当前区域人脸关键点集和历史区域人脸关键点集，生成多个区域关键点调整参数集；
获取与历史人脸图像匹配的虚拟形象脸部图像，虚拟形象脸部图像根据虚拟形象脸部关键点划分出多个原始网格；
根据虚拟形象脸部图像针对各面部区域的多个区域脸部关键点集和各区域关键点调整参数集，生成各调整后区域脸部关键点集；
根据各调整后区域脸部关键点集，对虚拟形象脸部图像中的各原始网格进行调整，生成与当前人脸图像对应的调整后虚拟形象脸部图像。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (13)
1.一种图像处理方法，其特征在于，包括：
根据当前人脸图像和历史人脸图像针对多个面部区域的当前区域人脸关键点集和历史区域人脸关键点集，生成多个区域关键点调整参数集；
获取与历史人脸图像匹配的虚拟形象脸部图像，虚拟形象脸部图像根据虚拟形象脸部关键点划分出多个原始网格；
根据所述虚拟形象脸部图像针对各所述面部区域的多个区域脸部关键点集和各所述区域关键点调整参数集，生成各调整后区域脸部关键点集；
根据各所述调整后区域脸部关键点集，对所述虚拟形象脸部图像中的各原始网格进行调整，生成与所述当前人脸图像对应的调整后虚拟形象脸部图像。
2.根据权利要求1所述的方法，其特征在于，所述面部区域包括：脸部轮廓区域、眼睛周边区域以及嘴巴周边区域中的至少两项。
3.根据权利要求1或2所述的方法，其特征在于，在根据当前人脸图像和历史人脸图像针对多个面部区域的当前区域人脸关键点集和历史区域人脸关键点集，生成多个区域关键点调整参数集之前，还包括：
分别确定所述当前人脸图像、所述历史人脸图像以及所述虚拟形象脸部图像针对各所述面部区域的目标定点；
根据当前人脸图像和历史人脸图像针对多个面部区域的当前区域人脸关键点集和历史区域人脸关键点集，生成多个区域关键点调整参数集，包括：
根据与各面部区域分别对应的当前区域人脸关键点集、历史区域人脸关键点集、在当前人脸图像中的目标定点以及在历史人脸图像中的目标定点，生成多个区域关键点调整加速度向量，作为区域关键点调整参数集；
根据所述虚拟形象脸部图像针对各所述面部区域的多个区域脸部关键点集和各所述区域关键点调整参数集，生成各调整后区域脸部关键点集，包括：
根据与各面部区域分别对应的区域关键点调整参数集、区域脸部关键点集以及在所述虚拟形象脸部图像中的目标定点，生成各调整后区域脸部关键点集。
4.根据权利要求3所述的方法，其特征在于，分别确定所述当前人脸图像、所述历史人脸图像以及所述虚拟形象脸部图像针对各所述面部区域的目标定点，包括：
在所述当前人脸图像、所述历史人脸图像以及所述虚拟形象脸部图像中，分别确定与当前处理的面部区域对应的区域定位矩形；
各所述区域定位矩形中，获取同一方位的角点作为与当前处理的面部区域对应的所述目标定点。
5.根据权利要求4所述的方法，其特征在于，在所述当前人脸图像、所述历史人脸图像以及所述虚拟形象脸部图像中，分别确定与当前处理的面部区域对应的区域定位矩形，包括：
在所述当前人脸图像以及所述历史人脸图像中，分别获取眼间距以及当前处理的面部区域的中心关键点；
以所述眼间距与所述当前处理的面部区域的第一比例值的乘积为长，所述眼间距与所述当前处理的面部区域的第二比例值的乘积为宽，以所述中心关键点为中心点，分别构造与所述当前人脸图像以及所述历史人脸图像的当前处理的面部区域对应的区域定位矩形；
其中，所述眼间距以及所述当前处理的面部区域的中心关键点通过对应的人脸关键点集确定；脸部轮廓区域的中心关键点为鼻尖关键点，眼睛周边区域的中心关键点为眼球中心关键点，嘴巴周边区域的中心关键点为上唇中心关键点；
根据当前处理的面部区域的区域脸部关键点集中的各虚拟形象脸部关键点坐标，确定完全覆盖所述当前处理的面部区域的最小外接矩形，作为所述虚拟形象脸部图像的当前处理的面部区域对应的区域定位矩形。
6.根据权利要求3所述的方法，其特征在于，根据与各面部区域分别对应的当前区域人脸关键点集、历史区域人脸关键点集、在当前人脸图像中的目标定点以及在历史人脸图像中的目标定点，生成多个区域关键点调整加速度向量，作为区域关键点调整参数集，包括：
分别获取与各面部区域分别对应的所述当前区域人脸关键点集中各人脸关键点与对应目标定点之间的第一位置向量以及所述历史区域人脸关键点集中各人脸关键点与对应目标定点之间的第二位置向量；
计算各所述第二位置向量与对应第一位置向量之间的向量差值；
计算各所述向量差值与人脸缩放比例的乘积，得到与所述历史人脸图像的各面部区域分别对应的历史区域人脸关键点集中的各人脸关键点匹配的区域关键点调整加速度向量，作为区域关键点调整参数集。
7.根据权利要求6所述的方法，其特征在于，在计算各所述向量差值与人脸缩放比例的乘积之前，还包括：
根据虚拟形象脸部图像对应的区域脸部关键点集，获取所述虚拟形象脸部图像的眼间距；
将所述虚拟形象脸部图像的眼间距除以所述当前人脸图像的眼间距得到的商值，作为所述人脸缩放比例。
8.根据权利要求7所述的方法，其特征在于，根据所述虚拟形象脸部图像针对各所述面部区域的多个区域脸部关键点集和各所述区域关键点调整参数集，生成各调整后区域脸部关键点集，包括：
获取所述虚拟形象脸部图像针对各所述面部区域的多个区域脸部关键点集中各虚拟形象脸部关键点与对应目标定点之间的第三位置向量；
计算各所述第三位置向量与对应区域关键点调整参数集中匹配的区域关键点调整加速度向量之间的向量和值，并根据各所述向量和值以及与所述虚拟形象脸部图像的对应面部区域对应的目标定点，计算各所述调整后区域脸部关键点集。
9.根据权利要求1-8任一项所述的方法，其特征在于，根据各所述调整后区域脸部关键点集，对所述虚拟形象脸部图像中的各原始网格进行调整，生成与所述当前人脸图像对应的调整后虚拟形象脸部图像，包括：
建立与所述虚拟形象脸部图像匹配的空白图像；
根据各所述调整后区域脸部关键点集，确定所述虚拟形象脸部图像中各所述原始网格的网格变形方式；
根据所述网格变形方式，在所述空白图像中，划分出与所述原始网格对应的多个目的变形网格；
根据所述原始网格与所述目的变形网格之间的位置对应关系，将所述原始网格中的各像素点映射至对应的目的变形网格中，得到所述调整后虚拟形象脸部图像。
10.根据权利要求9所述的方法，其特征在于，根据所述原始网格与所述目的变形网格之间的位置对应关系，将所述原始网格中的各像素点映射至对应的目的变形网格中，得到所述调整后虚拟形象脸部图像，包括：
获取所述虚拟形象脸部图像中的一个原始网格作为当前处理网格；
在所述空白图像中，获取与所述当前处理网格匹配的目的变形网格，作为配对网格；
获取与所述当前处理网格对应的第一顶点序列，以及与所述配对网格对应的第二顶点序列，并根据所述第一顶点序列以及所述第二顶点序列，计算所述当前处理网格与所述配对网格之间的映射关系矩阵；
根据所述映射关系矩阵，将所述当前处理网格中的各像素点映射至所述配对网格中，并返回执行获取所述虚拟形象脸部图像中的一个原始网格作为当前处理网格的操作，直至完成对全部原始网格的处理。
11.一种图像处理装置，其特征在于，包括：
调整参数生成模块，用于根据当前人脸图像和历史人脸图像针对多个面部区域的当前区域人脸关键点集和历史区域人脸关键点集，生成多个区域关键点调整参数集；
虚拟图像获取模块，用于获取与历史人脸图像匹配的虚拟形象脸部图像，虚拟形象脸部图像根据虚拟形象脸部关键点划分出多个原始网格；
关键点调整模块，用于根据所述虚拟形象脸部图像针对各所述面部区域的多个区域脸部关键点集和各所述区域关键点调整参数集，生成各调整后区域脸部关键点集；
调整图像生成模块，用于根据各所述调整后区域脸部关键点集，对所述虚拟形象脸部图像中的各原始网格进行调整，生成与所述当前人脸图像对应的调整后虚拟形象脸部图像。
12.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的图像处理方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的图像处理方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911072932.6A CN112766027A (zh) | 2019-11-05 | 2019-11-05 | 图像处理方法、装置、设备及存储介质 |
| PCT/CN2020/123936 WO2021083133A1 (zh) | 2019-10-29 | 2020-10-27 | 图像处理方法、装置、设备及存储介质 |
| US17/638,513 US20220375258A1 (en) | 2019-10-29 | 2020-10-27 | Image processing method and apparatus, device and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911072932.6A CN112766027A (zh) | 2019-11-05 | 2019-11-05 | 图像处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112766027A true CN112766027A (zh) | 2021-05-07 |
Family
ID=75692696
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911072932.6A Pending CN112766027A (zh) | 2019-10-29 | 2019-11-05 | 图像处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112766027A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113744374A (zh) * | 2021-09-03 | 2021-12-03 | 浙江大学 | 一种基于表情驱动的3d虚拟形象生成方法 |
| CN113870401A (zh) * | 2021-12-06 | 2021-12-31 | 腾讯科技（深圳）有限公司 | 表情生成方法、装置、设备、介质和计算机程序产品 |
| CN115116106A (zh) * | 2022-01-14 | 2022-09-27 | 长城汽车股份有限公司 | 车载虚拟形象的表情生成方法、装置、车载设备及介质 |
| WO2023138345A1 (zh) * | 2022-01-20 | 2023-07-27 | 上海幻电信息科技有限公司 | 虚拟形象生成方法和系统 |
| WO2023143224A1 (zh) * | 2022-01-28 | 2023-08-03 | 北京字跳网络技术有限公司 | 特效图像生成方法、装置、设备及存储介质 |
| WO2023155533A1 (zh) * | 2022-02-17 | 2023-08-24 | 上海商汤智能科技有限公司 | 一种图像驱动方法、装置、设备和介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102999929A (zh) * | 2012-11-08 | 2013-03-27 | 大连理工大学 | 一种基于三角网格化的人物图像瘦脸处理方法 |
| CN109147017A (zh) * | 2018-08-28 | 2019-01-04 | 百度在线网络技术（北京）有限公司 | 动态图像生成方法、装置、设备及存储介质 |
| CN109241810A (zh) * | 2017-07-10 | 2019-01-18 | 腾讯科技（深圳）有限公司 | 虚拟角色图像的构建方法及装置、存储介质 |
-
2019
- 2019-11-05 CN CN201911072932.6A patent/CN112766027A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102999929A (zh) * | 2012-11-08 | 2013-03-27 | 大连理工大学 | 一种基于三角网格化的人物图像瘦脸处理方法 |
| CN109241810A (zh) * | 2017-07-10 | 2019-01-18 | 腾讯科技（深圳）有限公司 | 虚拟角色图像的构建方法及装置、存储介质 |
| CN109147017A (zh) * | 2018-08-28 | 2019-01-04 | 百度在线网络技术（北京）有限公司 | 动态图像生成方法、装置、设备及存储介质 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113744374A (zh) * | 2021-09-03 | 2021-12-03 | 浙江大学 | 一种基于表情驱动的3d虚拟形象生成方法 |
| CN113744374B (zh) * | 2021-09-03 | 2023-09-22 | 浙江大学 | 一种基于表情驱动的3d虚拟形象生成方法 |
| CN113870401A (zh) * | 2021-12-06 | 2021-12-31 | 腾讯科技（深圳）有限公司 | 表情生成方法、装置、设备、介质和计算机程序产品 |
| CN113870401B (zh) * | 2021-12-06 | 2022-02-25 | 腾讯科技（深圳）有限公司 | 表情生成方法、装置、设备、介质和计算机程序产品 |
| CN115116106A (zh) * | 2022-01-14 | 2022-09-27 | 长城汽车股份有限公司 | 车载虚拟形象的表情生成方法、装置、车载设备及介质 |
| WO2023138345A1 (zh) * | 2022-01-20 | 2023-07-27 | 上海幻电信息科技有限公司 | 虚拟形象生成方法和系统 |
| WO2023143224A1 (zh) * | 2022-01-28 | 2023-08-03 | 北京字跳网络技术有限公司 | 特效图像生成方法、装置、设备及存储介质 |
| WO2023155533A1 (zh) * | 2022-02-17 | 2023-08-24 | 上海商汤智能科技有限公司 | 一种图像驱动方法、装置、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11538229B2 (en) | Image processing method and apparatus, electronic device, and computer-readable storage medium | |
| CN111815755B (zh) | 虚拟物体被遮挡的区域确定方法、装置及终端设备 | |
| CN112766027A (zh) | 图像处理方法、装置、设备及存储介质 | |
| EP3798801A1 (en) | Image processing method and apparatus, storage medium, and computer device | |
| JP7337104B2 (ja) | 拡張現実によるモデル動画多平面インタラクション方法、装置、デバイス及び記憶媒体 | |
| EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
| CN109712234B (zh) | 三维人体模型的生成方法、装置、设备和存储介质 | |
| WO2021083133A1 (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN109754464B (zh) | 用于生成信息的方法和装置 | |
| WO2019196745A1 (zh) | 人脸建模方法及相关产品 | |
| CN109191554B (zh) | 一种超分辨图像重建方法、装置、终端和存储介质 | |
| CN113034652A (zh) | 虚拟形象驱动方法、装置、设备及存储介质 | |
| CN111583381B (zh) | 游戏资源图的渲染方法、装置及电子设备 | |
| CN117372604B (zh) | 一种3d人脸模型生成方法、装置、设备及可读存储介质 | |
| CN112733641B (zh) | 物体尺寸测量方法、装置、设备及存储介质 | |
| CN116097316A (zh) | 用于非模态中心预测的对象识别神经网络 | |
| CN116012913A (zh) | 模型训练方法、人脸关键点检测方法、介质及装置 | |
| CN113920282B (zh) | 图像处理方法和装置、计算机可读存储介质、电子设备 | |
| CN114529647A (zh) | 对象渲染方法、设备、装置、电子设备及存储介质 | |
| CN112528707A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN113496506A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN113129362A (zh) | 一种三维坐标数据的获取方法及装置 | |
| CN112714337A (zh) | 视频处理方法、装置、电子设备和存储介质 | |
| CN115359166B (zh) | 一种图像生成方法、装置、电子设备和介质 | |
| CN112465692A (zh) | 图像处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |