CN107507217B - 证件照的制作方法、装置及存储介质 - Google Patents
证件照的制作方法、装置及存储介质 Download PDFInfo
- Publication number
- CN107507217B CN107507217B CN201710706884.6A CN201710706884A CN107507217B CN 107507217 B CN107507217 B CN 107507217B CN 201710706884 A CN201710706884 A CN 201710706884A CN 107507217 B CN107507217 B CN 107507217B
- Authority
- CN
- China
- Prior art keywords
- face
- image
- region
- target model
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 100
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000004519 manufacturing process Methods 0.000 claims abstract description 76
- 238000012545 processing Methods 0.000 claims abstract description 54
- 230000011218 segmentation Effects 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims description 15
- 239000000463 material Substances 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 8
- 230000002093 peripheral effect Effects 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 8
- 230000009466 transformation Effects 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 15
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 13
- 230000008569 process Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 239000011521 glass Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 210000000887 face Anatomy 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 101100295776 Drosophila melanogaster onecut gene Proteins 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000001681 protective effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种证件照的制作方法、装置及存储介质，制作方法包括根据用户图片生成标准化人脸图像并确定目标模特图像；获取目标模特图像中的第一人脸区域和标准化人脸图像中的第二人脸区域的特征点及特征点的位置信息；对第一人脸区域和第二人脸区域进行前景分割处理；根据特征点的位置信息，首先对标准化人脸图像进行全局形变处理；随后对第一人脸区域及其邻接区域进行局部形变处理；将形变后的第一人脸区域替换为形变后的第二人脸区域，得到替换后的证件照。本发明的制作方法准确且可靠，能够在保证被标准化人脸图像的特征不发生变化的前提下，最小程度地改变用于替换的目标模特图像，提高了证件照的自然化程度，使得肉眼看上去无合成的痕迹。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种证件照的制作方法、装置及存储介质。
背景技术
当今社会中，各类证件俨然已经成为人们生活及工作中不可或缺的身份及权利证明；而随着各类证件的需求，制作证件照的需要也成为了人们办理证件中的必不可少的一步；而为了替代繁琐费时的实体照相方式，能够使得用户直接进行操作的人脸替换的软件程序也应运而生。
目前，对基于人脸区域替换的证件照的制作方式主要有两种，第一种方式为通过提取第一人脸区域图像的特征点集合和对应“抠图区域图像”；计算出第二人脸区域图像中的特征点集合和对应的“贴图区域图像”；根据所述第一人脸区域图像的特征点集合的参数调整第二人脸区域图像的“贴图区域图像”，得到“替换贴图区域图像”；将“替换贴图区域图像”替换掉所述“抠图区域图像”；第二种方式为识别区域的关键部位，包括第一人脸区域的关键部位和第二人脸区域的关键部位；对第一人脸区域的关键部位和第二人脸区域的关键部位进行定位；计算第二人脸区域的关键部位到第一人脸区域的关键部位的运动向量场；根据所述运动向量场将第二人脸区域变形到第一人脸区域的位置得到变形后的区域；对所述变形后的区域进行自然化处理。
然而，上述这两种方式在最后使用的人脸区域图像上都发生了几何结构上的改变；使得第一人脸区域和第二人脸区域的图像形状稍微有些差异将无法辨认出最终合成的图像所使用的内容是由哪个区域提供的，而在某些应用中保持信息不发生变化是一项基本要求；由于存在这样的技术缺陷，致使该类方法仅能用于娱乐性质的应用。
发明内容
针对现有技术中的问题，本发明提供一种证件照的制作方法、装置及存储介质，制作过程准确且可靠，能够在保证用户人脸图像的特征不发生变化的前提下，最小程度地改变用于替换的目标模特图像，提高了证件照的自然化程度，使得肉眼看上去无合成的痕迹。
为解决上述技术问题，本发明提供以下技术方案：
第一方面，本发明提供一种证件照的制作方法，所述制作方法包括：
根据接收的用户图片生成标准化人脸图像，并确定目标模特图像；
分别获取所述目标模特图像中的第一人脸区域和标准化人脸图像中的第二人脸区域的特征点及特征点的位置信息；
在所述目标模特图像和标准化人脸图像中分别对所述第一人脸区域和第二人脸区域进行前景分割处理；
根据所述第一人脸区域和第二人脸区域的特征点的位置信息，对所述标准化人脸图像进行全局形变处理，使得形变后的标准化人脸图像中的第二人脸区域的尺寸和位置与所述第一人脸区域的尺寸和位置的差值处于预设范围内；
根据形变后的第一人脸区域和第二人脸区域的特征点的位置信息，对所述目标模特图像中的第一人脸区域及其邻接区域进行局部形变处理，使得所述第一人脸区域与所述第二人脸区域的几何结构相同；其中，所述邻接区域为以所述第一人脸区域为中心的扩展区域中的、且与所述第一人脸区域相邻的区域；
将形变后的第一人脸区域替换为形变后的第二人脸区域，得到包括所述第二人脸区域的目标模特图像。
进一步地，在所述根据接收的用户图片生成标准化人脸图像之前，所述方法还包括：
获取证件照素材图片；
依次校验各所述证件照素材图片，并将全部通过校验的所述证件照素材图片设置为相同的图片格式；
以及，将全部通过校验的、且格式相同的所述证件照素材图片存储在证件照图像数据库中；
相对应的，所述根据接收的用户图片生成标准化人脸图像，并确定目标模特图像，包括：
接收用户图片；
对所述用户图片进行校验；
若所述用户图片通过校验，则根据所述用户图片生成标准化人脸图像；
接收用户发送的模特图像选择指令，其中，所述模特图像选择指令中包括目标模特图像在所述证件照图像数据库中的对应标识；
以及，根据该模特图像选择指令中的对应标识，在所述证件照图像数据库中调取目标模特图像。
进一步地，所述方法还包括：
对包括所述第二人脸区域的目标模特图像进行显示；
以及，若接收到二次编辑指令，则根据所述二次编辑指令对所述包括所述第二人脸区域的目标模特图像进行编辑；
若接收到冲印指令，则根据所述冲印指令，将对应的包括所述第二人脸区域的目标模特图像发送至冲印设备，使得所述冲印设备对接收到的包括所述第二人脸区域的目标模特图像进行冲印。
进一步地，所述分别获取目标模特图像中的第一人脸区域和标准化人脸图像中的第二人脸区域的特征点及特征点的位置信息，包括：
分别对所述目标模特图像和标准化人脸图像进行目标区域属性检测，并分别提取所述第一人脸区域和第二人脸区域的各特征点及各特征点的位置信息。
进一步地，所述在所述目标模特图像和标准化人脸图像中对所述第一人脸区域和第二人脸区域进行前景分割处理，包括：
根据所述第一人脸区域的各特征点之间的结构关系，在所述目标模特图像中将第一人脸区域与环境背景进行分割，得到所述第一人脸区域及该第一人脸区域的掩模；
以及，根据所述第二人脸区域的各特征点之间的结构关系，在所述标准化人脸图像中将第二人脸区域与环境背景进行分割，得到所述第二人脸区域及该第二人脸区域的掩模。
进一步地，所述根据所述第一人脸区域和第二人脸区域的特征点的位置信息，对所述标准化人脸图像进行全局形变处理，使得形变后的标准化人脸图像中的第二人脸区域的尺寸和位置与所述第一人脸区域的尺寸和位置的差值处于预设范围内，包括：
根据所述第一人脸区域和第二人脸区域的特征点，应用全局形变矫正方法建立几何形变模型；
基于所述几何形变模型对所述标准化人脸图像进行全局形变处理；
以及，根据所述标准化人脸图像的形变结果，对应调整所述第二人脸区域的特征点的位置信息和所述第二人脸区域的掩模。
进一步地，所述根据形变后的第一人脸区域和第二人脸区域的特征点的位置信息，对所述目标模特图像中的第一人脸区域及其邻接区域进行局部形变处理，使得所述第一人脸区域与所述第二人脸区域的几何结构相同，包括：
在所述目标模特图像中的第一人脸区域及所述标准化人脸图像中的第二人脸区域的各特征点外分别设置保护框，其中，所述保护框的位置根据保护框的中心点构建，其中，保护框的中心点为由全部特征点的外围轮廓组成的封闭凸包区域的中心；
以及，根据形变后的第一人脸区域和第二人脸区域的特征点的位置信息，在所述目标模特图像中的第一人脸区域的各特征点外的保护框内，对各特征点所控制的第一人脸区域的进行形变处理，使得所述第一人脸区域与所述第二人脸区域的几何结构相同。
进一步地，所述将形变后的第一人脸区域替换为形变后的第二人脸区域，得到包括所述第二人脸区域的目标模特图像，包括：
将形变后的第一人脸区域替换为形变后的第二人脸区域，且替换的区域为形变后的第一人脸区域的掩模及形变后的第二人脸区域的掩模的交集区域，得到包括所述第二人脸区域的目标模特图像；
以及，对包括所述第二人脸区域的目标模特图像中的所述第二人脸区域进行自然化融合处理。
第二方面，本发明还提供一种证件照的制作装置，所述制作装置包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述证件照的制作方法的步骤。
第三方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述证件照的制作方法的步骤。
由上述技术方案可知，本发明提供的一种证件照的制作方法、装置及存储介质，其中的制作方法包括根据用户图片生成标准化人脸图像并确定目标模特图像；获取目标模特图像中的第一人脸区域和标准化人脸图像中的第二人脸区域的特征点及特征点的位置信息；对第一人脸区域和第二人脸区域进行前景分割处理；根据特征点的位置信息，首先对标准化人脸图像进行全局形变处理；随后对第一人脸区域及其邻接区域进行局部形变处理；将形变后的第一人脸区域替换为形变后的第二人脸区域，得到替换后的证件照。本发明的制作方法准确且可靠，能够在保证被标准化人脸图像的特征不发生变化的前提下，最小程度地改变用于替换的目标模特图像，提高了证件照的自然化程度，。本发明的制作过程且使得肉眼看上去无合成的痕迹，能够保证替换后的证件照的人脸区域不发生改变，并解决了证件照中人脸区域替换技术中局部区域变形和局部区域外围严重变形造成的合成图像不真实问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的一种证件照的制作方法的流程示意图；
图2是本发明的证件照的制作方法中步骤100之前的步骤A01至A03的流程示意图；
图3是本发明的证件照的制作方法中步骤100的流程示意图；
图4是本发明的证件照的制作方法中步骤600之前后的步骤B01至B03的程示意图；
图5是本发明的证件照的制作方法中步骤200的流程示意图；
图6是本发明的证件照的制作方法中步骤400的流程示意图；
图7是本发明的证件照的制作方法中步骤500的流程示意图；
图8是本发明的证件照的制作方法中步骤600的流程示意图；
图9是本发明应用实例中的证件照的制作方法的流程示意图；
图10是本发明应用实例中的证件照的制作方法中证件照数据的分类示意图；
图11是本发明应用实例中的证件照的制作方法中用户输入人脸数据的数据类型示意图；
图12是本发明应用实例中的证件照的制作方法中人脸替换的流程示意图；
图13是本发明应用实例中的证件照的制作方法中人脸替换可行性的校验方法的流程示意图；
图14是本发明的一种证件照的制作系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对于现有技术中的证件照制作案例所存在的缺陷，本发明提供了一种证件照的制作方法，本发明的制作方法的优势主要在于保持用户脸型不发生改变，因而效果看上去更自然并且能够辨识出还是用户本人，且本申请的制作方法与从2D转换到3D的方式相比实现了在计算资源的节约，同时能够保证被标准化人脸图像的特征不发生变化。
本发明的实施例一提供了一种证件照的制作方法的一种具体实施方式，参见图1，所述证件照的制作方法具体包括如下内容：
步骤100：根据接收的用户图片生成标准化人脸图像，并确定目标模特图像。
在步骤100中，证件照的制作装置根据接收的用户图片生成标准化人脸图像，并确定目标模特图像。可以理解的是，在分别获取得到目标模特图像和标准化人脸图像后，则可以进行将目标模特图像中的人脸替换为用户的人脸的操作了。
步骤200：分别获取目标模特图像中的第一人脸区域和标准化人脸图像中的第二人脸区域的特征点及特征点的位置信息。
在步骤200中，证件照的制作装置分别获取目标模特图像中的第一人脸区域和标准化人脸图像中的第二人脸区域的特征点及特征点的位置信息；可理解的是，所述第一人脸区域在所述目标模特图像中的区域属性与所述第二人脸区域在所述目标模特图像中的区域属性相同，设置有特征点获取单元的处理器最终替换后得到的图像为目标模特图像的背景区域及所述标准化人脸图像中的第二人脸区域。位置信息可以是包含关键特征、轮廓等相关位置信息。
为了能够将目标模特图像中的第一人脸区域准确替换为第二人脸区域，在确定了目标模特图像的第一人脸区域和标准化人脸图像中的第二人脸区域的特征点及特征点的位置信息后，需要将第一人脸区域从目标模特图像的环境背景中区分出来，并将第一人脸区域也从标准化人脸图像的环境背景中区分出来，这样才能对第一人脸区域和第二人脸区域进行准确的处理及替换。
步骤300：在所述目标模特图像和标准化人脸图像中对所述第一人脸区域和第二人脸区域进行前景分割处理。
在步骤300中，证件照的制作装置在所述目标模特图像和标准化人脸图像中对所述第一人脸区域和第二人脸区域进行前景分割处理。可以理解的是，可以根据各特征点之间的结构关系对所述第一人脸区域和第二人脸区域进行背景分割处理；人脸的特征点包括眉毛、眼睛、鼻子、嘴、脸部轮廓的位置等，因此，人脸的特征点之间的结构关系即可根据人脸结构的先验知识获取，人脸结构的先验知识即为面部肌肉相互作用的时空关系，即由人脸的解剖学结构所决定，不受成像环境的影响。
由于第一人脸区域的轮廓与第二人脸区域的轮廓通常是存在差异的，且基准图像的第一人脸区域外通常对应着适用于不同证件要求的背景，因此在经步骤200中的前景分割处理得到基准图像的第一人脸区域和替换图像中的第二人脸区域后，需要对替换图像中的第二人脸区域进行轮廓上的全局调整，以减少替换图像中的第二人脸区域与第一人脸区域的轮廓之间的差异。
步骤400：根据所述第一人脸区域和第二人脸区域的特征点的位置信息，对所述标准化人脸图像进行全局形变处理，使得形变后的标准化人脸图像中的第二人脸区域的尺寸和位置与所述第一人脸区域的尺寸和位置的差值处于预设范围内。
在步骤400中，证件照的制作装置根据所述第一人脸区域和第二人脸区域的特征点的位置信息，对所述标准化人脸图像进行全局形变处理，使得形变后的标准化人脸图像中的第二人脸区域的尺寸和位置与所述第一人脸区域的尺寸和位置的差值处于预设范围内。可以理解的是，所述预设范围在实际应用中根据实际情形确定，且所述预设范围设置的原则为尽量使得第二人脸区域的尺寸与所述第一人脸区域的尺寸一致。以人脸为例，为了保证尺寸和位置的一致，可借助刚体变换(Rigid Transformation)，根据目标模特图像和标准化人脸图像中人脸的关键坐标，利用最小二乘法及随机采样不变算法(RANSAC)，计算得到变换矩阵，进而将标准化人脸图像映射到目标模特图像坐标系中。
步骤500：根据形变后的第一人脸区域和第二人脸区域的特征点的位置信息，对所述目标模特图像中的第一人脸区域及其邻接区域进行局部形变处理，使得所述第一人脸区域与所述第二人脸区域的几何结构相同；其中，所述邻接区域为以所述第一人脸区域为中心的扩展区域中的、且与所述第一人脸区域相邻的区域。
其中，所述扩展区域可以根据实际应用情况设置为任意形状，例如，所述扩展区域为矩形区域或圆形区域等。
在步骤500中，在对标准化人脸图像中的第二人脸区域进行轮廓上的全局调整后，为提高第一人脸区域与第二人脸区域之间替换的准确性，还需要对目标模特图像中的第一人脸区域进行局部调整，即证件照的制作装置根据形变后的第一人脸区域和第二人脸区域的特征点的位置信息，对所述目标模特图像中的第一人脸区域及其邻接区域进行局部形变处理，使得所述第一人脸区域与所述第二人脸区域的几何结构相同。可以理解是，本步骤为本申请的重要步骤，能够同时实现制作过程快速且替换后的图像准确的效果。其中，几何结构指外形轮廓和特征点所在的位置；且几何结构相同包括：所述第一人脸区域与所述第二人脸区域的外形轮廓相同、所述第一人脸区域中的某一特征点与所述第二人脸区域中对应的特征点所在的位置均位于一个针对该特征点的预设的范围内；具体来说，所述第一人脸区域的人脸的某一特征点眼睛与所述第二人脸区域的人脸的对应的特征点眼睛所在的位置位于一个针对该特征点眼睛的预设的范围内；该针对该特征点眼睛的预设的范围可以设为3mm，即所述第一人脸区域的人脸的某一特征点眼睛与所述第二人脸区域的人脸的对应的特征点眼睛所在的位置坐标的差值小于或等于3mm。
步骤600：将形变后的第一人脸区域替换为形变后的第二人脸区域，得到包括所述第二人脸区域的目标模特图像。
在步骤600中，在得到全局形变后的第二人脸区域和局部形变后的第一人脸区域后，证件照的制作装置将形变后的第一人脸区域替换为形变后的第二人脸区域，得到包括所述第二人脸区域的目标模特图像。这里，假设目标模特图像为P，标准化人脸图像为Q，待替换区域为S，非替换区域为NS，最终合成的图像为P’需满足
P’(S)＝Q(S)
P’(NS)＝P(NS)
从上述描述可知，本发明的实施例中的证件照的制作方法的制作过程快速且可靠性高，并提高了人脸图像的局部区域的替换的准确性，能够保证制作后的人脸区域不发生改变，解决了证件照中人脸区域替换技术中局部区域变形和局部区域外围严重变形造成的合成图像不真实问题，同时降低了制作过程的耗时及成本。
本发明的实施例二提供了上述证件照的制作方法中步骤100之前的步骤A01至步骤A03的一种具体实施方式，参见图2，所述步骤A01至步骤A03具体包括如下内容：
步骤A01：获取证件照素材图片。
步骤A02：依次校验各所述证件照素材图片，并将全部通过校验的所述证件照素材图片设置为相同的图片格式。
步骤A03：将全部通过校验的、且格式相同的所述证件照素材图片存储在证件照图像数据库中。
相对应的，参见图3，所述步骤100包括：
步骤101：接收用户图片。
步骤102：对所述用户图片进行校验；
若所述用户图片通过校验，则进入步骤103；否则，则在用户终端显示校验失败信息，并提示用户关于用户图片的拍摄技巧。
在步骤102中，对所述用户图片进行校验具体包括：
根据所述第一人脸区域和标准化人脸图像中的第二人脸区域的特征点及特征点的位置信息，判断所述第一人脸区域的用于检验的属性信息与对应的第二人脸区域中的用于检验的属性信息是否在预设的属性范围内，即判断所述标准化人脸图像是否通过检验。
可以理解的是，根据所述第一人脸区域和标准化人脸图像中的第二人脸区域的特征点及特征点的位置信息，判断所述第一人脸区域与第二人脸区域的待检验属性信息是否在可接受范围内，也就是说判断标准化人脸图像是否通过校验。
若是，则进入步骤103。
否则，则进入步骤106。
步骤103：根据所述用户图片生成标准化人脸图像；
步骤104：接收用户发送的模特图像选择指令，其中，所述模特图像选择指令中包括目标模特图像在所述证件照图像数据库中的对应标识。
步骤105：根据该模特图像选择指令中的对应标识，在所述证件照图像数据库中调取目标模特图像。
步骤106：判定当前标准化人脸图像中的第二人脸区域无法替换目标模特图像中的第一人脸区域，并输出无法替换的告知提示。可以理解的是，在判定当前标准化人脸图像中的第二人脸区域无法替换目标模特图像中的第一人脸区域后，输出无法替换的告知提示，使得用户获知相应反馈信息。
从上述描述可知，本发明的实施例中的证件照的制作方法的制作过程完整且可靠，提高了用户在进行证件照制作的用户体验。
本发明的实施例三提供了上述证件照的制作方法中步骤600之后的步骤B01至步骤B03的一种具体实施方式，参见图4，所述步骤B01至步骤B03具体包括如下内容。
步骤B01：对包括所述第二人脸区域的目标模特图像进行显示；
步骤B02：若接收到二次编辑指令，则根据所述二次编辑指令对所述包括所述第二人脸区域的目标模特图像进行编辑。
步骤B03：若接收到冲印指令，则根据所述冲印指令，将对应的包括所述第二人脸区域的目标模特图像发送至冲印设备，使得所述冲印设备对接收到的包括所述第二人脸区域的目标模特图像进行冲印。
从上述描述可知，本发明的实施例中的证件照的制作方法的，提供了一种可靠且快速的局部区域的可替换性的校验方法，若校验成功，再进行证件照的制作，进而保证了后续局部区域的替换结果的准确性及可用性，提高了整个制作方法的实用性及可靠性，并提高了制作过程的完整程度，提高了用户在进行证件照制作的用户体验。
本发明的实施例四提供了上述证件照的制作方法中步骤200的一种具体实施方式，参见图5，所述步骤200具体包括如下内容：
步骤201：分别对所述目标模特图像和标准化人脸图像进行目标区域属性检测，确定所述第一人脸区域和第二人脸区域的位置信息。
步骤202：分别提取所述第一人脸区域和第二人脸区域的各特征点及各特征点的位置信息。
在步骤202中，通常模特的特征提取，前景分割等操作都是在制作数据库时就完成了，这样处理的响应速度更快，当然同时处理也可以，知识需要较多计算资源，算法放在本地处理时则不需要提取处理，所述特征点的位置信息为该特征点在所在区域内的位置坐标。可以理解的是，首先对输入目标模特图像和标准化人脸图像均进行所述第一人脸区域和第二人脸区域的特征点检测。特征点检测的基础是先进行人脸检测以定位目标模特图像和标准化人脸图像所在位置。
例如，若第一人脸区域和第二人脸区域均为正面且无遮挡的人脸，则目前公开的大量人脸检测算法(AdaBoost,NPD,MTCNN等)均可实现对人脸精准的检测。完成人脸检测后，对检测到的人脸进行特征点提取，特征点提取的方法包括但不限于基于深度学习(如深度自编码网络，深度回归网络等)和基于主动轮廓模型(如ASM，AAM等)的方法。
从上述描述可知，本发明的实施例的证件照的制作方法中，提供了一种可靠且快速的获取目标模特图像中的第一人脸区域和标准化人脸图像中的第二人脸区域的特征点及特征点的位置信息的方法，且获取的特征点及特征点的位置信息的准确度高，为后续局部区域的替换提供了准确的数据基础。
在一种具体实施方式中，上述证件照的制作方法中步骤300的一种具体实施方式。所述步骤300的设置目标为根据所述第一人脸区域的各特征点之间的结构关系，在所述目标模特图像中将第一人脸区域与环境背景进行分割，得到所述第一人脸区域及该第一人脸区域的掩模，以及，根据所述第二人脸区域的各特征点之间的结构关系，在所述标准化人脸图像中将第二人脸区域与环境背景进行分割，得到所述第二人脸区域及该第二人脸区域的掩模，其具体包括如下内容：
总体来说，所述步骤300包括：
(1)根据第一人脸区域或第二人脸区域的轮廓点向内收缩和向外扩张产生前景和背景区域；得到第一疑似前景和背景掩膜。
(2)将前面得到的掩膜和原始图像利用oneCut算法进行分割，进一步细化背景和前景区域，得到第二疑似前景和背景掩膜。
(3)最后，利用形态学对前景区域进行处理(包括开运算和轮廓修补，填充内陷区域)，得到最终前景和背景掩膜。
具体来说，步骤301：疑似前景和背景区域初始化。这里的辅助信息为人脸的面部关键点位置信息，虽然在步骤200中得到了人脸的外轮廓位置，但这些位置信息准确度不够，无法直接生成分割结果，但可以通过将脸部轮廓向内收缩和向外扩张，得到疑似前景和背景区域作为初始分割区域。具体来说，根据所述第一人脸区域和第二人脸区域的各特征点之间的结构关系，在所述目标模特图像中将第一人脸区域与环境背景进行初始分割，并在所述标准化人脸图像中将第二人脸区域与环境背景进行初始分割。
步骤302：在初步分割的基础上可以利用很多高效准确的分割方法(如graphCut、grabCut、oneCut、ACM等)进行二次精确分割。一种优选的方案为one cut in grabcut算法，不同于传统的图割算法，该算法无需迭代，一次运算即可实现分割，进而得到前景区域；
步骤303：后处理得到优化的前景区域，包括灰度值限制和形态学处理(开闭运算和填充孔洞)，一方面保证脸部区域灰度相似性，另一方面保证脸部轮廓的完整性。
在一种具体实施方式中，本申请的步骤400至步骤500具体可以概括为如下内容：
(1)对标准化人脸图像进行整体位置、方向和尺寸变换；
(2)对基准图像局部几何变换；
(3)为了得到自然的替换结果，对第一人脸区域及其邻接区域也进行相应调整。
具体是实施过程说明如下实施例五和实施例六内容所述：
本发明的实施例五提供了上述证件照的制作方法中步骤400的一种具体实施方式，参见图6，所述步骤400具体包括如下内容：
步骤401：根据所述第一人脸区域和第二人脸区域的特征点，应用全局形变矫正方法中的仿射变换的方式建立几何形变模型。
可以理解的是，仿射变换的方式并不是本实施例所用的唯一变换方式，全局形变矫正方法中的任意方式均可以实现本实施例步骤401至步骤403的变换过程。
步骤402：基于所述几何形变模型，根据最小二乘法确定所述第二人脸区域的特征点变换到第一人脸区域的特征点的仿射变换参数。
步骤403：根据所述仿射变换参数对所述标准化人脸图像进行形变，使得形变后的标准化人脸图像中的第二人脸区域的尺寸和位置与所述第一人脸区域的尺寸和位置的差值处于预设范围内。
步骤404：根据所述标准化人脸图像的形变结果，对应调整所述第二人脸区域的特征点的位置信息和所述第二人脸区域的掩模。
在上述步骤401至404中，利用提取到的特征点将标准化人脸图像对齐目标模特图像。例如利用第一人脸区域特征点和第二人脸区域特征点，并用仿射变换作为几何形变模型，通过最小二乘法估计从第二人脸区域特征点到第一人脸区域特征点变换的仿射变换参数。并利用该仿射变换参数对标准化人脸图像进行形变获得与目标模特图像大小相同，第一人脸区域及第二人脸区域的位置基本匹配的标准化人脸图像。在对标准化人脸图像进行形变的同时也需要用相同的参数对掩模和第二人脸区域的特征点坐标进行形变。
从上述描述可知，本发明的实施例的证件照的制作方法中，提供了一种可靠且快速的根据所述第一人脸区域和第二人脸区域的特征点，对所述标准化人脸图像进行形变处理方法，进而提高了整个制作方法的实用性及可靠性。
本发明的实施例六提供了上述证件照的制作方法中步骤500的一种具体实施方式，参见图7，所述步骤500具体应用三角网构建方法：(1)特征点匹配，使得第一人脸区域和第二人脸区域的关键点一一对应；(2)三角网构建，利用Delaunay等算法，建立特征点网状关系图；(3)利用loop subdivision算法，对前面得到关系网细化，构建稠密的三角网；(4)对构建的网状关系图中的各个子图分别进行仿射参数估计和局部插值，使得变换后第一人脸区域的特征点与第二人脸区域的特征点位置信息完全匹配，具体包括如下内容：
步骤501：对第一人脸区域和第二人脸区域的特征点进行匹配，使得相同标号的特征点所表达的属性相同；:
步骤502：除了第一人脸区域和第二人脸区域内部关键点和轮廓点外，还需要增加外部控制点，保证第一人脸区域向第二人脸区域转变时，目标区域及其邻域联动变化。
具体来说，扩展区域的具体设置方式为：首先计算得到能够刚好包含所有特征点的限定正矩形；然后按照限定正矩形的比例、将限定正矩形向外扩展，得到所述矩形扩展区域。
其中，扩展后的矩形的四个顶点和四条边上的多个分位点即为用于产生扩展区域而新增加的特征点。
也就是说，通过额外增加了一些保护性特征点才保证人脸区域和外围背景的几何结构不发生变化，而在人脸区域以外到保护区域范围内的区域仅发生了细微的几何形变，且这种几何形变通过细化的三角网格被弱化，使得肉眼看上去变化很小且几乎很难察觉。
步骤503：利用Delaunay算法构建三角网，在不同特征点之间构建空间位置关系。根据第一人脸区域的N个特征点的位置信息构建第一人脸区域的特征点的位置关系网络；以及，根据第二人脸区域的N个特征点的位置信息构建第二人脸区域的特征点的位置关系网络；
步骤504：为保证后续替换效果的自然性，利用Loop subdivison算法，在原有三角网的基础上，构建更加稠密的三角网。具体来说，可对所述第一人脸区域的位置关系网络进行细分，得到M个特征点，使得所述第一人脸区域的特征点总数为M+N个；以及，对所述第二人脸区域的位置关系网络进行细分，得到M个特征点，使得所述第二人脸区域的特征点总数为M+N个；其中，N和M均为正整数。
步骤505：在完成三角网构建后，可针对目标模特图像和标准化人脸图像中各子网对应的三个角点的位置构建仿射变换模型，经过投影使得目标模特图像和标准化人脸图像子网对应区域的位置完全一致。
在步骤501至505中，利用特征点的相对坐标，生成更多的特征点，将第二人脸区域几何变换后的特征点坐标作为基准，将模特图像的人脸形变来与第二人脸区域的人脸几何结构一致。所述保护框可以为圆形框或矩形框，且所述保护框的位置根据保护框的中心点构建，其中，保护框的中心点为由全部特征点的外围轮廓组成的封闭凸包区域的中心。
从上述描述可知，本发明的实施例的证件照的制作方法中，提供了一种可靠且快速的根据形变后的第一人脸区域和第二人脸区域的特征点的位置信息，对所述目标模特图像中的第一人脸区域进行形变处理的方法，提高了局部区域的替换的准确性，在能够保证替换后的局部区域不发生改变，解决图像中局部区域替换技术中局部区域变形和局部区域外围严重变形造成的合成图像不真实问题。
本发明的实施例七提供了上述证件照的制作方法中步骤600的一种具体实施方式，参见图8，所述步骤600具体包括如下内容：
步骤601：将形变后的第一人脸区域替换为形变后的第二人脸区域，且替换的区域为形变后的第一人脸区域的掩模及形变后的第二人脸区域的掩模的交集区域，得到包括所述第二人脸区域的目标模特图像。
步骤602：对包括所述第二人脸区域的目标模特图像中的所述第二人脸区域进行自然化融合处理。
使用所述第二人脸区域替换形变后目标模特图像的第一人脸区域，替换后的包括所述第二人脸区域的目标模特图像中的第二人脸区域是两幅形变后的第一人脸区域和第二人脸区域掩模的交集；并对包括所述第二人脸区域的目标模特图像中的第二人脸区域进行自然化处理，使得包括所述第二人脸区域的目标模特图像的色彩一致。一种可行的方法为Poisson editing泊松编辑算法，该算法是一种性能优异的无缝拼接算法，通过构造Poisson方程求解像素最优值的方法，在保留了源图像梯度信息的同时，可以很好的融合源图像与目标图像的背景。同时为了加快融合速度，输入图像为包含第一人脸区域和第二人脸区域在内的最小外接矩形。
从上述描述可知，本发明的实施例的证件照的制作方法中，提供了一种可靠且快速的将形变后的第一人脸区域替换为形变后的第二人脸区域，得到包括所述第二人脸区域的目标模特图像的方法，进而提高了整个制作方法的实用性及可靠性。
可以理解的是，上述所述的制作装置可以为一种设有软件程序的电子设备、也可以为一种预装在设备终端的应用程序、也可以为一种预装在设备终端的应用程序中的功能模块，其中，设备终端包括但不限于手机、平板电脑，PC或者嵌入式系统等。
可以理解的是，上述证件照的制作方法中的步骤的实现顺序根据实际应用情形可以做任意调整，并不限于上述各步骤的执行顺序。
为进一步地说明本方案，本发明还提供了一种证件照的制作方法的应用实例，参见图9至13，在该应用实例中，目标模特图像具体应用为模特图像，标准化人脸图像具体应用为用户图像，所述第二人脸区域与所述第二人脸区域均为正面的人脸图像，该应用实例具体包括如下内容：
参见图9，本应用实例用于说明怎样通过图像换脸方法实现证件照服务的营销方案，人们在拍摄证件照时通常需要正式的服装，漂亮的发型。然而通过本发明，用户在只提供人脸图像的情况下就能够为其生成漂亮的证件照。
首先，准备大量的证件照素材，通过校验算法校验素材是否可以进行换脸(校验是对一对图像进行的，这里假设用户图像都是正面图像)，如果校验通过则生成指定格式并存放在数据库中，参见图10所示。
当用户上传一张图像后，对其进行校验(比较姿态时与真面人脸相比)，校验通过则生成标准化人脸，如图11所示。
通过互联网软件平台(如App)将制定的证件照照片推送给用户，用户选择模特照片后系统对模特进行换脸，然后将图片展示给用户，如果用户选择染发，或者选择更换背景，则后台进行对应的处理并将图像效果展示给用户。如果用户喜欢对应的图片，软件平台可以将照片冲洗服务推送给用户，完成对冲洗服务的网络营销。
参见图12，首先对输入模特图像和用户图像均进行人脸特征点检测与人脸分割。特征点检测的基础是先进行人脸检测以定位人脸图像所在位置，由于本专利主要针对正面且无遮挡的人脸，目前公开的大量人脸检测算法均可实现精准的检测。完成人脸检测后，对检测到的人脸进行特征点提取，特征点通常指的是人脸的眉毛、眼睛、鼻子、嘴、脸部轮廓的位置，特征点提取的方法较多包括基于深度学习的、基于主动轮廓模型的，本申请不限于使用哪种方法，仅需要保证特征点的提取准确即可。
利用提取到的人脸特征点，利用人脸结构的先验知识，可以获得人脸前景和背景的一个初步分割。在这个初步分割的基础上可以利用很多高效准确的分割方法(如graphCut、grabCut、oneCut、ACM等)进行人脸的分割。通过以上步骤可获得人脸区域的掩模和特征点的坐标。
然后利用提取到的人脸特征点将用户图像对齐模特图像。例如：利用模特特征点和用户特征点，并用仿射变换作为几何形变模型，通过最小二乘法估计从用户特征点到模特特征点变换的仿射变换参数。并利用该仿射变换参数对用户图像进行形变获得与模特图像大小相同，人脸位置基本匹配的用户图像。在对用户图像进行形变的同时也需要用相同的参数对人脸掩模和用户的特征点坐标进行形变。
再然后，将用户几何变换后的特征点坐标作为基准，将模特图像的人脸形变来与用户的人脸几何结构一致。这时问题转换成了具有已知匹配特征点的图像精配准问题。如果此时直接使用精配准方法，例如使用局部三角网进行仿射变换、或者使用样条插值方法进行匹配则会造成图像不自然，例如三角网方法会存在三角网格之间像素的断裂，而样条插值会造成图像的过度扭曲。为了消除以上现象，本专利在特征点区域外设定了一个保护矩形框(通过将矩形框的轮廓点增加为特征点的方式)，形变主要在矩形框内进行，这样有效的控制形变的范围。随后利用特征点的相对坐标，生成更多的特征点。例如通过对特征点构建三角网，并对三角网进行Loop subdivision细分。扩展后的大量控制点可以使得精配准可以得到很平滑自然的图像。以上形变过程均要对模特的图像和模特人脸的掩模进行。
最后使用用户的人脸替换形变后模特的人脸，替换的区域是两幅形变后图像人脸掩模的交集。并对替换后的人脸进行自然化处理，使得图像的色彩一致。自然化处理可以使用泊松融合方法或者其他图像融合方法。
参见图13，以上方法都是在两幅图像可以自然替换的假设条件下进行的，然而并不是任何包含两幅人脸的图像均可以进行自然替换。为了提高用户的体验需要自动化的检测两幅图像是否可以相互替换。能替换的条件是两幅图像的人脸大体是一致的。而造成两幅图像替换不自然的主要因素是一下几个方面：a.是否佩戴眼镜；b.人脸的姿态是否一致；c.光照是否一致。通常当用户佩戴眼镜的情况很难处理得很自然(考虑眼镜腿的差异)，尤其是在耳朵处，因而，处理过程中如果用户佩戴眼镜，就是不让其通过校验。
因而校验方法中需要具有眼镜检测方法，由于可以获得人脸特征点的位置，可以很容易地获得眼睛区域图像，再通过二分类算法训练一个判决是否是眼镜的模型即可判断是否佩戴眼镜。
而姿态问题也是另一个影响替换效果的主要因素，例如当模特是左侧遮脸而用户是用正面人脸则替换后的整体图像就会很不自然。因而需要通过计算人脸的姿态的参数，并只让具有较小姿态差异的图像对通过校验,表征人头部姿态的参数有3个分别是偏航角、俯仰角和翻滚角，而这三个参数通过面部的特征点坐标即可计算获得。
光照因素是另一个主要影响换脸的因素，面部的光照分布情况，在分布不均匀且差异角较小时可以通过简单的光线强度估计和补偿进行缓和，而当不均匀程度较高时，少量的强度差异补偿后甚至会造成与人脸周围的不和谐，为了避免这种现象的出现，先估计面部的光照情况，并不允许光线分布很不均匀的图像通过校验，而对不同面部区域仅有少量光线强度差异的图像进行光照补偿，然后通过校验。
从上述描述可知，本发明的应用实例降低了能够实现证件照的制作的系统的硬件成本，部署更加灵活快捷，易于维护扩容，提供更稳定的服务。更好的用户体验，且其制作过程的计算成本低，实时性高、图像处理真实度高。
本发明的实施例八提供了能够实现上述证件照的制作方法中全部步骤的一种证件照的制作系统的一种具体实施方式，参见图14，所述证件照的制作系统具体包括如下内容：
标准化人脸图像及目标模特图像确定单元10，用于根据接收的用户图片生成标准化人脸图像，并确定目标模特图像。
特征点获取单元20，用于分别获取目标模特图像中的第一人脸区域和标准化人脸图像中的第二人脸区域的特征点及特征点的位置信息；其中，所述第一人脸区域在所述目标模特图像中的区域属性与所述第二人脸区域在所述目标模特图像中的区域属性相同。
分割处理单元30，用于在所述目标模特图像和标准化人脸图像中对所述第一人脸区域和第二人脸区域进行前景分割处理。
标准化人脸图像形变单元40，用于根据所述第一人脸区域和第二人脸区域的特征点的位置信息，对所述标准化人脸图像进行全局形变处理，使得形变后的标准化人脸图像中的第二人脸区域的尺寸和位置与所述第一人脸区域的尺寸和位置的差值处于预设范围内。
目标模特图像形变单元50，用于根据形变后的第一人脸区域和第二人脸区域的特征点的位置信息，对所述目标模特图像中的第一人脸区域及其邻接区域进局部行形变处理，使得所述第一人脸区域与所述第二人脸区域的几何结构相同；其中，所述邻接区域为以所述第一人脸区域为中心的扩展区域中的、且与所述第一人脸区域相邻的区域。
局部区域替换单元60，用于将形变后的第一人脸区域替换为形变后的第二人脸区域，得到包括所述第二人脸区域的目标模特图像。
本发明提供的证件照的制作系统的实施例具体可以用于执行上述各制作方法实施例的处理流程，其功能在此不再赘述，可以参照上述制作方法实施例的详细描述。从上述描述可知，应用本发明的实施例中的证件照的制作系统的证件照的制作处理过程快速且可靠性高，并提高了局部区域的替换的准确性，在能够保证替换后的局部区域不发生改变，解决图像中局部区域替换技术中局部区域变形和局部区域外围严重变形造成的合成图像不真实问题，同时降低了制作过程的耗时及成本。
本发明的实施例九提供了能够实现上述证件照的制作方法中全部步骤的一种证件照的制作装置的一种具体实施方式，所述证件照的制作装置具体包括如下内容：
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现任一项所述制作方法的步骤，例如实现下述步骤：
步骤100：根据接收的用户图片生成标准化人脸图像，并确定目标模特图像。
步骤200：分别获取所述目标模特图像中的第一人脸区域和标准化人脸图像中的第二人脸区域的特征点及特征点的位置信息。
步骤300：在所述目标模特图像和标准化人脸图像中分别对所述第一人脸区域和第二人脸区域进行前景分割处理。
步骤400：根据所述第一人脸区域和第二人脸区域的特征点的位置信息，对所述标准化人脸图像进行全局形变处理，使得形变后的标准化人脸图像中的第二人脸区域的尺寸和位置与所述第一人脸区域的尺寸和位置的差值处于预设范围内。
步骤500：根据形变后的第一人脸区域和第二人脸区域的特征点的位置信息，对所述目标模特图像中的第一人脸区域及其邻接区域进行局部形变处理，使得所述第一人脸区域与所述第二人脸区域的几何结构相同；其中，所述邻接区域为以所述第一人脸区域为中心的扩展区域中的、且与所述第一人脸区域相邻的区域。
步骤600：将形变后的第一人脸区域替换为形变后的第二人脸区域，得到包括所述第二人脸区域的目标模特图像。
从上述描述可知，本发明的实施例中的证件照的制作装置的制作过程快速且可靠性高，并提高了人脸图像的局部区域的替换的准确性，能够保证制作后的人脸区域不发生改变，解决了证件照中人脸区域替换技术中局部区域变形和局部区域外围严重变形造成的合成图像不真实问题，同时降低了制作过程的耗时及成本。
本发明的实施例十提供了能够实现上述证件照的制作方法中全部步骤的一种计算机可读存储介质的一种具体实施方式，所述计算机可读存储介质具体包括如下内容：
计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现任一项所述制作方法的步骤，例如实现下述步骤：
步骤100：根据接收的用户图片生成标准化人脸图像，并确定目标模特图像。
步骤200：分别获取所述目标模特图像中的第一人脸区域和标准化人脸图像中的第二人脸区域的特征点及特征点的位置信息。
步骤300：在所述目标模特图像和标准化人脸图像中分别对所述第一人脸区域和第二人脸区域进行前景分割处理。
步骤400：根据所述第一人脸区域和第二人脸区域的特征点的位置信息，对所述标准化人脸图像进行全局形变处理，使得形变后的标准化人脸图像中的第二人脸区域的尺寸和位置与所述第一人脸区域的尺寸和位置的差值处于预设范围内。
步骤500：根据形变后的第一人脸区域和第二人脸区域的特征点的位置信息，对所述目标模特图像中的第一人脸区域及其邻接区域进行局部形变处理，使得所述第一人脸区域与所述第二人脸区域的几何结构相同；其中，所述邻接区域为以所述第一人脸区域为中心的扩展区域中的、且与所述第一人脸区域相邻的区域。
步骤600：将形变后的第一人脸区域替换为形变后的第二人脸区域，得到包括所述第二人脸区域的目标模特图像。
从上述描述可知，本发明的实施例中的计算机可读存储介质的制作过程快速且可靠性高，并提高了人脸图像的局部区域的替换的准确性，能够保证制作后的人脸区域不发生改变，解决了证件照中人脸区域替换技术中局部区域变形和局部区域外围严重变形造成的合成图像不真实问题，同时降低了制作过程的耗时及成本。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种证件照的制作方法，其特征在于，所述制作方法包括：
根据接收的用户图片生成标准化人脸图像，并确定目标模特图像；
分别获取所述目标模特图像中的第一人脸区域和标准化人脸图像中的第二人脸区域的特征点及特征点的位置信息；
在所述目标模特图像和标准化人脸图像中分别对所述第一人脸区域和第二人脸区域进行前景分割处理；
根据所述第一人脸区域和第二人脸区域的特征点的位置信息，对所述标准化人脸图像进行全局形变处理，使得全局形变后的标准化人脸图像中的第二人脸区域的尺寸和位置与所述第一人脸区域的尺寸和位置的差值处于预设范围内；
根据全局形变后的第二人脸区域和第一人脸区域的特征点的位置信息，对所述目标模特图像中的第一人脸区域及其邻接区域进行局部形变处理，使得局部形变后的第一人脸区域与全局形变后的第二人脸区域的几何结构相同；其中，所述邻接区域为以所述第一人脸区域为中心的扩展区域中的、且与所述第一人脸区域相邻的区域；
将形变后的第一人脸区域替换为形变后的第二人脸区域，得到包括形变后的所述第二人脸区域的目标模特图像；
所述根据全局形变后的第二人脸区域和第一人脸区域的特征点的位置信息，对所述目标模特图像中的第一人脸区域及其邻接区域进行局部形变处理，使得局部形变后的第一人脸区域与全局形变后的第二人脸区域的几何结构相同，包括：
在所述目标模特图像中的第一人脸区域及所述标准化人脸图像中的第二人脸区域的各特征点外分别设置保护框，其中，所述保护框的位置根据保护框的中心点构建，其中，保护框的中心点为由全部特征点的外围轮廓组成的封闭凸包区域的中心；
以及，根据全局形变后的第二人脸区域和第一人脸区域的特征点的位置信息，在所述目标模特图像中的第一人脸区域的各特征点外的保护框内，对各特征点所控制的第一人脸区域进行形变处理，使得局部形变后的第一人脸区域与全局形变后的第二人脸区域的几何结构相同。
2.根据权利要求1所述的制作方法，其特征在于，在所述根据接收的用户图片生成标准化人脸图像之前，所述方法还包括：
获取证件照素材图片；
依次校验各所述证件照素材图片，并将全部通过校验的所述证件照素材图片设置为相同的图片格式；
以及，将全部通过校验的、且格式相同的所述证件照素材图片存储在证件照图像数据库中；
相对应的，所述根据接收的用户图片生成标准化人脸图像，并确定目标模特图像，包括：
接收用户图片；
对所述用户图片进行校验；
若所述用户图片通过校验，则根据所述用户图片生成标准化人脸图像；
接收用户发送的模特图像选择指令，其中，所述模特图像选择指令中包括目标模特图像在所述证件照图像数据库中的对应标识；
以及，根据该模特图像选择指令中的对应标识，在所述证件照图像数据库中调取目标模特图像。
3.根据权利要求1所述的制作方法，其特征在于，所述方法还包括：
对包括所述第二人脸区域的目标模特图像进行显示；
以及，若接收到二次编辑指令，则根据所述二次编辑指令对所述包括所述第二人脸区域的目标模特图像进行编辑；
若接收到冲印指令，则根据所述冲印指令，将对应的包括所述第二人脸区域的目标模特图像发送至冲印设备，使得所述冲印设备对接收到的包括所述第二人脸区域的目标模特图像进行冲印。
4.根据权利要求1所述的制作方法，其特征在于，所述分别获取目标模特图像中的第一人脸区域和标准化人脸图像中的第二人脸区域的特征点及特征点的位置信息，包括：
分别对所述目标模特图像和标准化人脸图像进行目标区域属性检测，并分别提取所述第一人脸区域和第二人脸区域的各特征点及各特征点的位置信息。
5.根据权利要求1所述的制作方法，其特征在于，所述在所述目标模特图像和标准化人脸图像中对所述第一人脸区域和第二人脸区域进行前景分割处理，包括：
根据所述第一人脸区域的各特征点之间的结构关系，在所述目标模特图像中将第一人脸区域与环境背景进行分割，得到所述第一人脸区域及该第一人脸区域的掩模；
以及，根据所述第二人脸区域的各特征点之间的结构关系，在所述标准化人脸图像中将第二人脸区域与环境背景进行分割，得到所述第二人脸区域及该第二人脸区域的掩模。
6.根据权利要求1所述的制作方法，其特征在于，所述根据所述第一人脸区域和第二人脸区域的特征点的位置信息，对所述标准化人脸图像进行全局形变处理，使得形变后的标准化人脸图像中的第二人脸区域的尺寸和位置与所述第一人脸区域的尺寸和位置的差值处于预设范围内，包括：
根据所述第一人脸区域和第二人脸区域的特征点，应用全局形变矫正方法建立几何形变模型；
基于所述几何形变模型对所述标准化人脸图像进行全局形变处理；
以及，根据所述标准化人脸图像的形变结果，对应调整所述第二人脸区域的特征点的位置信息和所述第二人脸区域的掩模。
7.根据权利要求1所述的制作方法，其特征在于，所述将形变后的第一人脸区域替换为形变后的第二人脸区域，得到包括形变后的所述第二人脸区域的目标模特图像，包括：
将形变后的第一人脸区域替换为形变后的第二人脸区域，且替换的区域为形变后的第一人脸区域的掩模及形变后的第二人脸区域的掩模的交集区域，得到包括形变后的所述第二人脸区域的目标模特图像；
以及，对包括所述形变后的第二人脸区域的目标模特图像中的所述形变后的第二人脸区域进行自然化融合处理。
8.一种证件照的制作装置，其特征在于，所述制作装置包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述制作方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710706884.6A CN107507217B (zh) | 2017-08-17 | 2017-08-17 | 证件照的制作方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710706884.6A CN107507217B (zh) | 2017-08-17 | 2017-08-17 | 证件照的制作方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107507217A CN107507217A (zh) | 2017-12-22 |
| CN107507217B true CN107507217B (zh) | 2020-10-16 |
Family
ID=60690960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710706884.6A Expired - Fee Related CN107507217B (zh) | 2017-08-17 | 2017-08-17 | 证件照的制作方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107507217B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108174237A (zh) * | 2017-12-28 | 2018-06-15 | 北京奇虎科技有限公司 | 图像合成方法及装置 |
| CN108053366A (zh) * | 2018-01-02 | 2018-05-18 | 联想(北京)有限公司 | 一种图像处理方法及电子设备 |
| CN108734764A (zh) * | 2018-05-11 | 2018-11-02 | 深圳市云之梦科技有限公司 | 一种服装对齐的方法及系统 |
| CN110660037B (zh) * | 2018-06-29 | 2023-02-10 | 京东方科技集团股份有限公司 | 图像间脸部交换的方法、装置、系统和计算机程序产品 |
| CN110930298A (zh) * | 2019-11-29 | 2020-03-27 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像处理设备及存储介质 |
| CN111476146B (zh) * | 2020-04-03 | 2023-04-07 | 北京金沙江科技有限公司 | 一种基于移动端的学历证件照标准化处理方法 |
| CN112785683B (zh) * | 2020-05-07 | 2024-03-19 | 武汉金山办公软件有限公司 | 一种人脸图像调整方法及装置 |
| CN112633252B (zh) * | 2021-01-09 | 2024-07-19 | 浙江臻享网络科技有限公司 | 一种证件照标准化处理方法及装置 |
| CN112817503B (zh) * | 2021-01-18 | 2024-03-26 | 陈林斌 | 电子相框的智能显示方法、电子相框及可读存储介质 |
| CN112766215B (zh) * | 2021-01-29 | 2024-08-09 | 北京字跳网络技术有限公司 | 人脸图像处理方法、装置、电子设备及存储介质 |
| CN113903062A (zh) * | 2021-09-09 | 2022-01-07 | 上海浦东发展银行股份有限公司 | 被驱动图像的生成方法、装置、计算机设备和存储介质 |
| CN113556471B (zh) * | 2021-09-18 | 2022-04-12 | 广州卓腾科技有限公司 | 证件照生成方法、系统及计算机可读存储介质 |
| CN114445441B (zh) * | 2022-01-25 | 2022-09-09 | 杭州海量信息技术有限公司 | 一种无需标注的人脸分割方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101770649A (zh) * | 2008-12-30 | 2010-07-07 | 中国科学院自动化研究所 | 一种人脸图像自动合成方法 |
| WO2015074476A1 (zh) * | 2013-11-25 | 2015-05-28 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置和存储介质 |
| CN105069746A (zh) * | 2015-08-23 | 2015-11-18 | 杭州欣禾圣世科技有限公司 | 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统 |
| CN105654420A (zh) * | 2015-12-21 | 2016-06-08 | 小米科技有限责任公司 | 人脸图像处理方法及装置 |
| CN105741229A (zh) * | 2016-02-01 | 2016-07-06 | 成都通甲优博科技有限责任公司 | 实现人脸图像快速融合的方法 |
| CN106023063A (zh) * | 2016-05-09 | 2016-10-12 | 西安北升信息科技有限公司 | 一种视频移植换脸的方法 |
| CN106156730A (zh) * | 2016-06-30 | 2016-11-23 | 腾讯科技（深圳）有限公司 | 一种人脸图像的合成方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9286685B2 (en) * | 2013-07-25 | 2016-03-15 | Morphotrust Usa, Llc | System and method for creating a virtual backdrop |
-
2017
- 2017-08-17 CN CN201710706884.6A patent/CN107507217B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101770649A (zh) * | 2008-12-30 | 2010-07-07 | 中国科学院自动化研究所 | 一种人脸图像自动合成方法 |
| WO2015074476A1 (zh) * | 2013-11-25 | 2015-05-28 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置和存储介质 |
| CN105069746A (zh) * | 2015-08-23 | 2015-11-18 | 杭州欣禾圣世科技有限公司 | 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统 |
| CN105654420A (zh) * | 2015-12-21 | 2016-06-08 | 小米科技有限责任公司 | 人脸图像处理方法及装置 |
| CN105741229A (zh) * | 2016-02-01 | 2016-07-06 | 成都通甲优博科技有限责任公司 | 实现人脸图像快速融合的方法 |
| CN106023063A (zh) * | 2016-05-09 | 2016-10-12 | 西安北升信息科技有限公司 | 一种视频移植换脸的方法 |
| CN106156730A (zh) * | 2016-06-30 | 2016-11-23 | 腾讯科技（深圳）有限公司 | 一种人脸图像的合成方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| Automatic flexible face replacement with no auxiliary data;Kanglai Qian 等;《Computers & Graphics》;20141231;第45卷;全文 * |
| 约束条件下的人脸五官替换算法;高岩 等;《中国图象图形学报》;20100331;第15卷(第3期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107507217A (zh) | 2017-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107507217B (zh) | 证件照的制作方法、装置及存储介质 | |
| CN107507216B (zh) | 图像中局部区域的替换方法、装置及存储介质 | |
| CN107610202B (zh) | 人脸图像替换方法、设备及存储介质 | |
| CN107564080B (zh) | 一种人脸图像的替换系统 | |
| US11037281B2 (en) | Image fusion method and device, storage medium and terminal | |
| US11010967B2 (en) | Three dimensional content generating apparatus and three dimensional content generating method thereof | |
| US11043011B2 (en) | Image processing method, apparatus, terminal, and storage medium for fusing images of two objects | |
| CN109829930B (zh) | 人脸图像处理方法、装置、计算机设备及可读存储介质 | |
| CN107154030B (zh) | 图像处理方法及装置、电子设备及存储介质 | |
| EP4057234B1 (en) | Method and apparatus for three-dimensional face reconstruction, and computer device, storage medium, and program product | |
| JP2022502726A (ja) | 顔画像処理方法及び装置、画像機器並びに記憶媒体 | |
| CN112581518B (zh) | 基于三维卡通模型的眼球配准方法、装置、服务器和介质 | |
| CN111008935B (zh) | 一种人脸图像增强方法、装置、系统及存储介质 | |
| CN110363170B (zh) | 视频换脸方法和装置 | |
| CN111243051B (zh) | 基于肖像照片的简笔画生成方法、系统及存储介质 | |
| CN109166172B (zh) | 服装模型的构建方法、装置、服务器和存储介质 | |
| JP2009251634A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN114359030A (zh) | 一种人脸逆光图片的合成方法 | |
| CN111738930A (zh) | 人脸图像的合成方法、装置、电子设备及存储介质 | |
| CN113837018B (zh) | 一种化妆进度检测方法、装置、设备及存储介质 | |
| CN113012030A (zh) | 图像拼接方法、装置及设备 | |
| CN116681579A (zh) | 一种实时视频人脸替换方法、介质及系统 | |
| CN116977539A (zh) | 图像处理方法、装置、计算机设备、存储介质和程序产品 | |
| CN113766147B (zh) | 视频中嵌入图像的方法、平面预测模型获取方法和装置 | |
| Han et al. | 3D human model reconstruction from sparse uncalibrated views |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201016 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |