CN112287852B - 人脸图像的处理方法、显示方法、装置及设备 - Google Patents
人脸图像的处理方法、显示方法、装置及设备 Download PDFInfo
- Publication number
- CN112287852B CN112287852B CN202011203504.5A CN202011203504A CN112287852B CN 112287852 B CN112287852 B CN 112287852B CN 202011203504 A CN202011203504 A CN 202011203504A CN 112287852 B CN112287852 B CN 112287852B
- Authority
- CN
- China
- Prior art keywords
- face image
- age
- face
- image
- network layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 129
- 238000000034 method Methods 0.000 title claims abstract description 118
- 238000003672 processing method Methods 0.000 title abstract description 16
- 230000008859 change Effects 0.000 claims abstract description 144
- 238000012549 training Methods 0.000 claims description 87
- 238000006073 displacement reaction Methods 0.000 claims description 44
- 230000015572 biosynthetic process Effects 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 38
- 238000003786 synthesis reaction Methods 0.000 claims description 38
- 238000010586 diagram Methods 0.000 claims description 35
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 19
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 15
- 238000001514 detection method Methods 0.000 description 15
- 230000009466 transformation Effects 0.000 description 15
- 238000013473 artificial intelligence Methods 0.000 description 14
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000011161 development Methods 0.000 description 9
- 230000018109 developmental process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 7
- 230000037308 hair color Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000037303 wrinkles Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 230000002087 whitening effect Effects 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种人脸图像的处理方法、显示方法、装置及设备,属于图像处理技术领域。所述方法包括:显示第一人脸图像;调用年龄变化模型预测第一人脸图像在指定年龄下的纹理差异图,纹理差异图用于反映第一人脸图像中的人脸距离指定年龄的人脸纹理差异;基于纹理差异图对第一人脸图像进行图像处理,得到第二人脸图像,第二人脸图像为第一人脸图像中的人脸在指定年龄下的人脸图像;显示第二人脸图像。本申请能够根据用户自定义的年龄或系统指定的年龄改变人脸图像,提升了处理人脸图像的灵活度。
Description
技术领域
本申请涉及图像处理技术领域,特别涉及一种人脸图像的处理方法、显示方法、装置及设备。
背景技术
随着机器学习技术不断成熟,基于机器学习技术的服务的种类也越来越多。例如计算机设备通过机器学习技术,能够对第一人脸图像进行处理,得到第二人脸图像。其中,第一人脸图像中的人脸对应的第一年龄和第二人脸图像中的人脸对应的第二年龄不同,但对应相同身份。
计算机设备通常根据输入的第一人脸图像,基于用户的人脸年龄变化操作,通过机器学习模型对该第一人脸图像进行处理,得到第二人脸图像。其中,该人脸年龄变化操作用于指示计算机设备使第二人脸图像中的人脸对应的第二年龄大于第一人脸图像中的人脸对应的第一年龄,或小于第一年龄。该机器学习模型是基于不同年龄段的不同人脸图像训练得到的。
在通过上述方法对第一人脸图像进行处理时,第二人脸图像中的人脸的第二年龄通常仅能够大于第一年龄或小于第一年龄,处理人脸图像的灵活度较低。
发明内容
本申请提供了一种人脸图像的处理方法、显示方法、装置及设备,可以提升处理人脸图像的灵活度。所述技术方案如下:
根据本申请的一方面,提供了一种人脸图像的处理方法,所述方法包括:
显示第一人脸图像;
调用年龄变化模型预测所述第一人脸图像在指定年龄下的纹理差异图,所述纹理差异图用于反映所述第一人脸图像中的人脸距离所述指定年龄的人脸纹理差异;
基于所述纹理差异图对所述第一人脸图像进行图像处理,得到第二人脸图像,所述第二人脸图像为所述第一人脸图像中的人脸在所述指定年龄下的人脸图像;
显示所述第二人脸图像。
根据本申请的另一方面,提供了一种人脸图像的显示方法,所述方法包括:
显示第一人脸图像和年龄变化控件,所述年龄变化控件是用于输入指定年龄的控件;
响应于针对所述年龄变化控件的触发操作,调用年龄变化模型根据所述触发操作对应的所述指定年龄处理所述第一人脸图像,得到第二人脸图像,所述第二人脸图像为所述第一人脸图像中的人脸在所述指定年龄下的人脸图像;
显示所述第二人脸图像。
根据本申请的另一方面,提供了一种年龄变化模型的训练方法,所述方法包括:
获取样本图像集,所述样本图像集包括:样本图像和所述样本图像的样本年龄标签;
确定指定年龄,所述指定年龄为随机年龄或所述样本年龄标签;
调用生成式对抗网络中的生成器基于所述指定年龄对所述样本图像进行预测,得到预测人脸图像;
调用所述生成式对抗网络中的判别器计算所述预测人脸图像的对抗损失,所述对抗损失用于表征所述预测人脸图像是否为真实人脸图像的损失;
调用年龄预测模型预测所述预测人脸图像的预测年龄,计算所述预测年龄和所述指定年龄之间的年龄损失;
根据所述对抗损失和所述年龄损失对所述生成器进行训练;
在满足训练结束条件时,将所述生成器确定为年龄变化模型。
根据本申请的另一方面,提供了一种人脸图像的处理装置,所述装置包括:
显示模块,用于显示第一人脸图像;
预测模块,用于调用年龄变化模型预测所述第一人脸图像在指定年龄下的纹理差异图,所述纹理差异图用于反映所述第一人脸图像中的人脸距离所述指定年龄的人脸纹理差异;
第一处理模块,用于基于所述纹理差异图对所述第一人脸图像进行图像处理,得到第二人脸图像,所述第二人脸图像为所述第一人脸图像中的人脸在所述指定年龄下的人脸图像;
所述显示模块,用于显示所述第二人脸图像。
可选地,所述年龄变化模型包括条件生成网络层和纹理合成网络层;所述预测模块,用于:
调用所述条件生成网络层基于所述指定年龄对所述第一人脸图像进行预测,输出纹理差异图,所述纹理差异图用于反映所述第一人脸图像中的人脸距离所述指定年龄的人脸纹理差异;
所述第一处理模块,用于调用所述纹理合成网络层将所述纹理差异图与所述第一人脸图像进行叠加,得到所述第二人脸图像。
可选地,所述条件生成网络层还用于输出注意力图,所述注意力图用于反映所述第一人脸图像中的像素点对应的所述纹理差异的权重系数;所述第一处理模块,用于:
调用所述纹理合成网络层,基于所述注意力图将所述纹理差异图与所述第一人脸图像进行叠加,得到所述第二人脸图像。
可选地,所述年龄变化模型还包括形变网络层;所述装置还包括:
第二处理模块,用于调用所述形变网络层对所述第二人脸图像中的人脸进行形变处理。
可选地,所述条件生成网络层还用于输出变形信息图,所述变形信息图用于预测所述第一人脸图像中的人脸距离所述指定年龄的人脸形状变化;所述第二处理模块,用于:
调用所述形变网络层,基于所述变形信息图对所述第二人脸图像中的人脸进行形变处理。
可选地,所述变形信息图包括像素点在第一方向和第二方向上对应的位移信息,所述第一方向和所述第二方向互相垂直;所述第二处理模块,用于:
调用所述形变网络层,基于所述第一方向和所述第二方向上的所述位移信息将所述第二人脸图像中的所述像素点进行双线性位移。
可选地,所述装置还包括:
第三处理模块,用于对所述第二人脸图像进行图像语义分割,得到所述第二人脸图像中的头发区域;
计算模块,用于基于所述头发区域中的像素点的原始颜色值,映射计算出所述头发区域中的像素点在所述指定年龄下对应的目标颜色值;
替换模块,用于将所述头发区域中的像素点的所述原始颜色值替换为所述目标颜色值。
可选地,所述装置还包括:
第四处理模块,用于将所述第一人脸图像输入人脸检测模型,输出所述第一人脸图像中的人脸配准点;
第五处理模块,根据所述人脸配准点,基于仿射变换对所述第一人脸图像进行抠图,得到对齐后的第一人脸图像。
可选地,所述装置还包括训练模块,所述年龄变化模型是采用所述训练模块训练得到的,所述训练模块,用于:
获取样本图像集,所述样本图像集包括:样本图像和所述样本图像的样本年龄标签;
确定指定年龄,所述指定年龄为随机年龄或所述样本年龄标签;
调用生成式对抗网络中的生成器基于所述指定年龄对所述样本图像进行预测,得到预测人脸图像;
调用所述生成式对抗网络中的判别器计算所述预测人脸图像的对抗损失,所述对抗损失用于表征所述预测人脸图像是否为真实人脸图像的损失;
调用年龄预测模型预测所述预测人脸图像的预测年龄,计算所述预测年龄和所述指定年龄之间的年龄损失;
根据所述对抗损失和所述年龄损失对所述生成器进行训练;
在满足训练结束条件时,将所述生成器确定为所述年龄变化模型。
可选地,所述训练模块,用于:
调用所述年龄预测模型对所述样本图像进行年龄预测,得到所述样本图像的样本年龄标签;
将所述样本图像和所述样本图像的样本年龄标签,确定为所述样本图像集。
可选地,所述训练模块,用于:
将所述样本图像输入人脸检测模型,输出所述样本图像中的人脸配准点;
根据所述人脸配准点,基于仿射变换对所述样本图像进行抠图,得到对齐后的样本图像。
可选地,所述生成器包括条件生成网络层和纹理合成网络层;所述训练模块,用于:
调用所述条件生成网络层基于所述指定年龄对所述样本图像进行预测,输出所述纹理差异图;所述纹理差异图用于反映所述样本图像中的人脸距离所述指定年龄的人脸纹理差异;
调用所述纹理合成网络层将所述纹理差异图与所述样本图像进行叠加,得到所述预测人脸图像。
可选地,所述条件生成网络层还用于输出注意力图,所述注意力图用于反映所述样本图像中的像素点对应的所述纹理差异的权重系数;所述训练模块,用于:
调用所述纹理合成网络层,基于所述注意力图将所述纹理差异图与所述样本图像进行叠加,得到所述预测人脸图像。
可选地,所述生成器还包括形变网络层;所述训练模块,用于:
调用所述形变网络层对所述预测人脸图像中的人脸进行形变处理。
可选地,所述条件生成网络层还用于输出变形信息图,所述变形信息图用于预测所述样本图像中的人脸距离所述指定年龄的人脸形状变化;所述训练模块,用于:
调用所述形变网络层,基于所述变形信息图对所述预测人脸图像中的人脸进行形变处理。
可选地,所述变形信息图包括像素点在第一方向和第二方向上对应的位移信息,所述第一方向和所述第二方向互相垂直;所述训练模块,用于:
调用所述形变网络层,基于所述第一方向和所述第二方向上的所述位移信息将所述预测人脸图像中的所述像素点进行双线性位移。
根据本申请的另一方面,提供了一种人脸图像的显示装置,所述装置包括:
显示模块,用于显示第一人脸图像和年龄变化控件,所述年龄变化控件是用于输入指定年龄的控件;
处理模块,用于响应于针对所述年龄变化控件的触发操作,调用年龄变化模型根据所述触发操作对应的所述指定年龄处理所述第一人脸图像,得到第二人脸图像,所述第二人脸图像为所述第一人脸图像中的人脸在所述指定年龄下的人脸图像;
所述显示模块,用于显示所述第二人脸图像。
可选地,所述显示模块,用于:
显示所述第二人脸图像和所述指定年龄。
根据本申请的另一方面,提供了一种年龄变化模型的训练装置,所述装置包括:
获取模块,用于获取样本图像集,所述样本图像集包括:样本图像和所述样本图像的样本年龄标签;
第一确定模块,用于确定指定年龄,所述指定年龄为随机年龄或所述样本年龄标签;
预测模块,用于调用生成式对抗网络中的生成器基于所述指定年龄对所述样本图像进行预测,得到预测人脸图像;
第一计算模块,用于调用所述生成式对抗网络中的判别器计算所述预测人脸图像的对抗损失,所述对抗损失用于表征所述预测人脸图像是否为真实人脸图像的损失;
第二计算模块,用于调用年龄预测模型预测所述预测人脸图像的预测年龄,计算所述预测年龄和所述指定年龄之间的年龄损失;
训练模块,用于根据所述对抗损失和所述年龄损失对所述生成器进行训练;
第二确定模块,用于在满足训练结束条件时,将所述生成器确定为年龄变化模型。
可选地,所述获取模块,用于:
调用所述年龄预测模型对所述样本图像进行年龄预测,得到所述样本图像的样本年龄标签;
将所述样本图像和所述样本图像的样本年龄标签,确定为所述样本图像集。
可选地,所述装置还包括:
第一处理模块,用于将所述样本图像输入人脸检测模型,输出所述样本图像中的人脸配准点;
第二处理模块,用于根据所述人脸配准点,基于仿射变换对所述样本图像进行抠图,得到对齐后的样本图像。
可选地,所述生成器包括条件生成网络层和纹理合成网络层;所述预测模块,用于:
调用所述条件生成网络层基于所述指定年龄对所述样本图像进行预测,输出所述纹理差异图;所述纹理差异图用于反映所述样本图像中的人脸距离所述指定年龄的人脸纹理差异;
调用所述纹理合成网络层将所述纹理差异图与所述样本图像进行叠加,得到所述预测人脸图像。
可选地,所述条件生成网络层还用于输出注意力图,所述注意力图用于反映所述样本图像中的像素点对应的所述纹理差异的权重系数;所述预测模块,用于:
调用所述纹理合成网络层,基于所述注意力图将所述纹理差异图与所述样本图像进行叠加,得到所述预测人脸图像。
可选地,所述生成器还包括形变网络层;所述预测模块,用于:
调用所述形变网络层对所述预测人脸图像中的人脸进行形变处理。
可选地,所述条件生成网络层还用于输出变形信息图,所述变形信息图用于预测所述样本图像中的人脸距离所述指定年龄的人脸形状变化;所述预测模块,用于:
调用所述形变网络层,基于所述变形信息图对所述预测人脸图像中的人脸进行形变处理。
可选地,所述变形信息图包括像素点在第一方向和第二方向上对应的位移信息,所述第一方向和所述第二方向互相垂直;所述预测模块,用于:
调用所述形变网络层,基于所述第一方向和所述第二方向上的所述位移信息将所述预测人脸图像中的所述像素点进行双线性位移。
根据本申请的另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上方面所述的人脸图像的处理方法,人脸图像的显示方法或年龄变化模型的训练方法。
根据本申请的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条程序代码,所述程序代码由处理器加载并执行以实现如上方面所述的人脸图像的处理方法,人脸图像的显示方法或年龄变化模型的训练方法。
根据本申请的另一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述方面的各种可选实现方式中提供的人脸图像的处理方法,人脸图像的显示方法或年龄变化模型的训练方法。
本申请提供的技术方案带来的有益效果至少包括:
通过年龄变化模型处理第一人脸图像,能够根据指定年龄生成并显示第二人脸图像。该第二人脸图像为第一人脸图像中的人脸在该指定年龄下的人脸图像。即能够根据用户自定义的年龄或系统指定的年龄改变人脸图像,提升了处理人脸图像的灵活度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个示意性实施例提供的年龄变化模型的结构示意图;
图2是本申请实施例提供的一种人脸图像的处理方法的流程示意图;
图3是本申请实施例提供的另一种人脸图像的处理方法的流程示意图;
图4是本申请实施例提供的根据指定年龄处理第一人脸图像的实现过程的示意图;
图5是本申请实施例提供的对第一人脸图像进行处理的过程的示意图;
图6是本申请实施例提供的一种人脸图像的显示方法的流程示意图;
图7是本申请实施例提供的一种显示第一人脸图像和年龄变化控件的用户界面的示意图;
图8是本申请实施例提供的另一种显示第一人脸图像和年龄变化控件的用户界面的示意图;
图9是本申请实施例提供的显示的第二人脸图像的示意图;
图10是本申请实施例提供的显示第二人脸图像的用户界面的示意图;
图11是本申请实施例提供的一种年龄变化模型的训练方法的流程示意图;
图12是本申请实施例提供的另一种年龄变化模型的训练方法的流程示意图;
图13是本申请实施例提供的对样本图像进行预测的实现过程的示意图;
图14是本申请实施例提供的对人脸图像进行预处理的实现过程的示意图;
图15是本申请实施例提供的对人脸图像进行年龄变化的实现过程的示意图;
图16是本申请实施例提供的一种人脸图像的处理装置的结构示意图;
图17是本申请实施例提供的另一种人脸图像的处理装置的结构示意图;
图18是本申请实施例提供的又一种人脸图像的处理装置的结构示意图;
图19是本申请实施例提供的再一种人脸图像的处理装置的结构示意图;
图20是本申请实施例提供的还一种人脸图像的处理装置的结构示意图;
图21是本申请实施例提供的一种人脸图像的显示装置的结构示意图;
图22是本申请实施例提供的一种年龄变化模型的训练装置的结构示意图;
图23是本申请实施例提供的另一种年龄变化模型的训练装置的结构示意图;
图24是本申请实施例提供的一种终端的结构示意图。
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
为便于对本申请实施例提供的方法的理解,首先对本申请实施例中涉及的名词进行介绍:
生成式对抗网络:生成式对抗网络(Generative Adversarial Networks,GAN)通常包括一个生成器(Generator,G)和一个判别器(Discriminator,D)。通过生成器和判别器之间的相互博弈,从而实现非监督式学习。其中,生成器从潜在空间(latent space)中随机取样作为输入,其输出结果需要尽量模仿训练集中的真实样本。判别器的输入则为真实样本或生成器的输出,其目的是将生成器的输出作为输入的输入样本,从包括真实样本的全部输入样本中尽可能分辨出来。而生成器则要尽可能地欺骗判别器。构成生成器和判别器之间的对抗关系,从而不断调整参数,最终生成以假乱真的图片,完成模型的训练。
图像语义分割:图像语义分割是计算机视觉中十分重要的领域,指像素级地识别输入图像,并为图像中每个像素点标注其所属的对象类别。例如通过神经网络将包括人脸的图片中的各个要素(包括头发,脸,五官,眼镜,脖子,衣服以及背景等)进行区分。
颜色查找表:通过颜色查找表(Look Up Table,LUT),能够根据实际获取到的颜色查找到对应的另一种颜色。
人工智能云服务:所谓人工智能云服务,一般也被称作是AIaaS(AI as aService,中文为“AI即服务”)。这是目前主流的一种人工智能平台的服务方式。具体来说AIaaS平台会把几类常见的AI服务进行拆分,并在云端提供独立或者打包的服务。这种服务模式类似于开了一个AI主题商城:所有的开发者都可以通过应用程序接口(ApplicationProgramming Interface,API)的方式来接入使用平台提供的一种或者是多种人工智能服务(例如基于指定年龄的人脸图像处理),部分资深的开发者还可以使用平台提供的AI框架和AI基础设施来部署和运维自已专属的云人工智能服务。
图1是本申请一个示意性实施例提供的年龄变化模型的结构示意图。如图1所示,年龄变化模型101包括条件生成网络层1011、纹理合成网络层1012以及形变网络层1013。客户端通过条件生成网络层1011,能够根据输入的第一人脸图像104和指定年龄,输出纹理差异图105、注意力图106以及变形信息图107。该客户端用于提供人脸图像基于指定年龄进行变化的功能,该年龄变化模型101能够被该客户端调用。该纹理差异图105用于反映第一人脸图像104中的人脸距离指定年龄的人脸纹理差异,该注意力图106用于反映第一人脸图像104中的像素点对应的该纹理差异的权重系数,该变形信息图107包括第一人脸图像104中的像素点在第一方向和第二方向上对应的位移信息,第一方向和第二方向互相垂直(例如水平和垂直方向)。之后客户端调用纹理合成网络层1012,基于注意力图106将纹理差异图105与第一人脸图像104进行叠加,得到第二人脸图像。并调用形变网络层1013,基于第一方向和第二方向上的位移信息将第二人脸图像中的像素点进行双线性位移,从而对第二人脸图像中的人脸进行形变,进而得到输出的第二人脸图像108。客户端基于不同的指定年龄,能够根据第一人脸图像104输出第一人脸图像104在不同的指定年龄下的人脸图像109。可选地,客户端在将第一人脸图像104输入年龄变化模型101之前,还会对第一人脸图像104进行预处理。该预处理包括将第一人脸图像104输入人脸检测模型,输出第一人脸图像中的人脸配准点。并根据该人脸配准点,基于仿射变换对第一人脸图像104进行抠图,得到对齐后的第一人脸图像。客户端还对输出的第二人脸图像108进行图像语义分割,得到输出的第二人脸图像中的头发区域。并基于头发区域中的像素点的原始颜色值,映射计算出头发区域中的像素点在该指定年龄下对应的目标颜色值,以及将该头发区域中的像素点的原始颜色值替换为目标颜色值,从而得到基于输出的第二人脸图像108动态改变发色的第二人脸图像。在通过条件生成网络层1011提取第一人脸图像104的特征时,客户端会将指定年龄,融合至条件生成网络层1011中的多个特征提取层所提取出的特征中。
年龄变化模型101和判别器102能够组成生成式对抗网络,此时该年龄变化模型101也可称为生成式对抗网络中的生成器。在对该生成器进行训练时,计算机设备获取样本图像,并随机生成指定年龄,或将年龄预测模型103预测的样本图像对应的年龄作为指定年龄。之后调用生成器(年龄变化模型101)基于该指定年龄对样本图像进行预测,得到预测人脸图像,该预测人脸图像为样本图像中的人脸在该指定年龄下的人脸图像。根据指定年龄预测样本图像对应的预测人脸图像的过程可参照上述通过年龄变化模型101输出第二人脸图像108的过程,本申请在此不作赘述。之后计算机设备调用判别器102计算预测人脸图像的对抗损失,该对抗损失用于表征预测人脸图像是否为真实人脸图像的损失。并调用年龄预测模型103预测预测人脸图像的预测年龄,计算预测年龄和指定年龄之间的年龄损失。从而根据该对抗损失和年龄损失对生成器进行训练。并在满足训练结束条件(例如生成器稳定收敛)时,将该生成器确定为年龄变化模型101。其中,该计算机设备能够调用年龄变化模型101、判别器102以及年龄预测模型103。上述客户端能够安装在该计算机设备中,该计算机设备将训练完成的年龄预测模型103发送给该客户端或者由客户端通过该计算机设备调用年龄变化模型101。可选地,计算机设备在将样本图像输入生成器之前,还会对样本图像进行预处理。该预处理包括将样本图像输入人脸检测模型,输出样本图像中的人脸配准点。并根据该人脸配准点,基于仿射变换对样本图像进行抠图,得到对齐后的样本图像。该针对样本图像的预处理与使用年龄变化模型101处理第一人脸图像104前,对第一人脸图像104所做的预处理相同,能够提升模型输出的准确性以及降低训练难度。
通过年龄变化模型处理第一人脸图像,能够根据指定年龄生成第二人脸图像。该第二人脸图像为第一人脸图像中的人脸在该指定年龄下的人脸图像。即能够根据用户自定义的年龄或系统指定的年龄改变人脸图像,提升了处理人脸图像的灵活度。
图2是本申请实施例提供的一种人脸图像的处理方法的流程示意图。该方法可以用于计算机设备或计算机设备上的客户端。如图2所示,该方法包括:
步骤201:显示第一人脸图像。
该第一人脸图像来源于照片或视频中的视频帧。该第一人脸图像为任一包括人脸的信息的图像。可选地,该第一人脸图像中包括人脸的五官,该第一人脸图像的分辨率为720P、1080P以及4K等。该第一人脸图像为用户在客户端中上传的照片或上传的视频中的视频帧,或者为客户端所在的计算机设备拍摄的照片或拍摄的视频中的视频帧,或者为客户端通过其它计算机设备获取到的照片或视频中的视频帧。
该客户端用于提供基于指定年龄对人脸图像进行处理的功能。示例地,该客户端为短视频客户端、歌曲客户端、直播客户端、社交客户端、游戏客户端、小程序以及网页客户端。用户通过安装该客户端使用该功能,或者通过访问该客户端对应的网址使用该功能。
步骤202:调用年龄变化模型预测第一人脸图像在指定年龄下的纹理差异图。
该指定年龄是客户端根据用户输入指定年龄的操作确定的,或者是客户端生成的。可选地,客户端根据用户对显示第一人脸图像的用户界面中,显示的年龄变化控件的触发操作,获取该指定年龄并调用年龄变化模型基于指定年龄处理该第一人脸图像。
该纹理差异图用于反映第一人脸图像中的人脸距离指定年龄的人脸纹理差异。该纹理差异至少包括:人脸肤质特征差异、发色特征差异以及胡子特征差异。当指定年龄大于样本图像中的人脸对应的年龄时,该人脸肤质特征差异用于使人脸的肤质更光滑细腻,该发色特征差异用于使发色变黑,该胡子特征差异用于使胡子消除。当指定年龄小于样本图像中的人脸对应的年龄时,该人脸肤质特征差异用于使人脸的皱纹增多,该发色特征差异用于使发色变白,该胡子特征差异用于使胡子变白。例如该第一人脸图像中的人脸对应的年龄为21岁,指定年龄为50岁,则该纹理差异图包括皱纹增加对应的纹理信息、发色变白对应的纹理信息以及胡子变白对应的纹理信息。
步骤203:基于纹理差异图对第一人脸图像进行图像处理,得到第二人脸图像。
该第二人脸图像为第一人脸图像中的人脸在该指定年龄下的人脸图像。第一人脸图像中的人脸对应的年龄与该指定年龄相同或不同。示例地,用户在客户端中上传一张自己21岁时的照片,并通过年龄变化控件输入50岁。客户端调用年龄变化模型处理该21岁时的照片,从而得到该21岁时的照片在该用户51岁时对应的照片。
可选地,该第二人脸图像是客户端通过年龄变化模型,基于纹理差异图对第一人脸图像进行图像处理得到的。客户端还通过年龄变化模型预测第一人脸图像中的人脸距离指定年龄的人脸形状变化,并基于该人脸形状变化对第一人脸图像进行处理,从而得到更准确的第二人脸图像。该年龄变化模型基于卷积神经网络(Convolutional NeuralNetworks,CNN)。
该年龄变化模型部署在客户端中,或者部署在与该客户端连接的计算机设备中。该计算机设备为服务器,具体可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。当该年龄变化模型部署在与该客户端连接的计算机设备中,客户端通过计算机设备提供的调用年龄变化模型的接口,调用该年龄变化模型基于指定年龄处理该第一人脸图像。或者,客户端将第一人脸图像以及指定年龄发送至计算机设备,由计算机设备调用年龄变化模型基于指定年龄处理第一人脸图像,并将得到的第二人脸图像发送至该客户端。
步骤204:显示第二人脸图像。
客户端在处理第一人脸图像得到第二人脸图像后,会显示该第二人脸图像。可选地,客户端在不同的用户界面中显示第一人脸图像以及第二人脸图像,或者在同一用户界面中显示第一人脸图像以及第二人脸图像。例如客户端将第一人脸图像以及第二人脸图像叠加显示在用户界面中的同一显示区域中,该显示区域中还显示有切换显示分割线。客户端在该切换显示分割线的一侧显示第一人脸图像,另一侧显示第二人脸图像。响应于对该切换显示分割线的移动操作,客户端在该显示区域中显示的第一人脸图像以及第二人脸图像的显示面积会发生变化。从而,客户端能够实现显示出用于对比第一人脸图像以及第二人脸图像之间差异的用户界面。
可选地,客户端在显示第二人脸图像时,还会显示指定年龄。
综上所述,本申请实施例提供的方法,通过年龄变化模型处理第一人脸图像,能够根据指定年龄生成并显示第二人脸图像。该第二人脸图像为第一人脸图像中的人脸在该指定年龄下的人脸图像。即能够根据用户自定义的年龄或系统指定的年龄改变人脸图像,提升了处理人脸图像的灵活度。
图3是本申请实施例提供的另一种人脸图像的处理方法的流程示意图。该方法可以用于计算机设备或计算机设备上的客户端。如图3所示,该方法包括:
步骤301:显示第一人脸图像。
该第一人脸图像来源于照片或视频中的视频帧。例如为用户在客户端中上传的照片或上传的视频中的视频帧,或者为客户端所在的计算机设备拍摄的照片或拍摄的视频中的视频帧,或者为客户端通过其它计算机设备获取到的照片或视频中的视频帧。该客户端用于提供对人脸图像基于指定年龄进行处理的功能。
步骤302:调用年龄变化模型基于指定年龄对第一人脸图像进行预测,得到第二人脸图像。
该第二人脸图像为第一人脸图像中的人脸在指定年龄下的人脸图像。客户端调用年龄变化模型预测第一人脸图像在指定年龄下的纹理差异图,并基于纹理差异图对第一人脸图像进行图像处理,得到第二人脸图像。或者,客户端调用年龄变化模型预测第一人脸图像在指定年龄下的纹理差异图,以及第一人脸图像中的人脸距离指定年龄的人脸形状变化,并根据该纹理差异图以及人脸形状变化处理第一人脸图像,从而得到该第二人脸图像。其中,该纹理差异图用于反映第一人脸图像中的人脸距离指定年龄的人脸纹理差异。
可选地,客户端在对第一人脸图像进行处理时,还会对该第一人脸图像进行预处理,包括将第一人脸图像输入人脸检测模型,输出第一人脸图像中的人脸配准点。之后根据人脸配准点,基于仿射变换对第一人脸图像进行抠图,得到对齐后的第一人脸图像。其中,该人脸检测模型与训练该年龄变化模型时,用于对样本图像进行预处理的模型相同。客户端通过warpAffine函数,实现基于仿射变换对第一人脸图像进行抠图。客户端调用年龄变化模型,根据指定年龄对完成抠图后的第一人脸图像进行处理,从而得到与抠图后的第一人脸图像对应的第二人脸图像。之后对该第二人脸图像执行与该仿射变换的逆变换,从而得到用于输出的第二人脸图像。
该年龄变化模型集成有高效的网络结构模块(例如MobileNet、CBAM模块),并且采用模型压缩剪枝技术和工程优化对年龄变化模型的性能进行优化。在缩小年龄变化模型占用的存储空间的同时,能够提升年龄变化模型处理第一人脸图像的速度。
可选地,年龄变化模型包括条件生成网络层和纹理合成网络层。该年龄变化模型还能够包括形变网络层。如图4所示,步骤302的实现过程包括以下步骤3021至3023:
在步骤3021中,调用条件生成网络层基于指定年龄对第一人脸图像进行预测,输出纹理差异图。
该纹理差异图用于反映第一人脸图像中的人脸距离指定年龄的人脸纹理差异。该纹理差异至少包括:人脸肤质特征差异、发色特征差异以及胡子特征差异。在通过条件生成网络层提取第一人脸图像的特征,从而预测得到该纹理差异图的过程中。客户端会将指定年龄,融合至条件生成网络层中的多个特征提取层所提取出的特征中。从而提升输出的纹理差异的准确度。
在步骤3022中,调用纹理合成网络层将纹理差异图与第一人脸图像进行叠加,得到第二人脸图像。
可选地,条件生成网络层还用于输出注意力图,注意力图用于反映第一人脸图像中的像素点对应的纹理差异的权重系数。客户端调用纹理合成网络层,基于注意力图将纹理差异图与第一人脸图像进行叠加,得到第二人脸图像。可选地,在基于注意力图将纹理差异图与样本图像进行叠加时,纹理差异图中的像素点、第一人脸图像中的像素点、第二人脸图像中的像素点以及根据注意力图确定的权重系数满足:
Iout=IRGB=α+Iin×(1-α);
其中,IRGB为纹理差异图中的像素点,Iin为第一人脸图像中的像素点,Iout为第二人脸图像中的像素点,α为根据注意力图确定的权重系数。
在步骤3023中,调用形变网络层对第二人脸图像中的人脸进行形变处理。
可选地,条件生成网络层还用于输出变形信息图,该变形信息图用于预测第一人脸图像中的人脸距离指定年龄的人脸形状变化。客户端调用形变网络层,能够基于变形信息图对第二人脸图像中的人脸进行形变处理。
可选地,变形信息图包括像素点在第一方向和第二方向上对应的位移信息。该第一方向和第二方向互相垂直。客户端调用形变网络层,基于第一方向和第二方向上的位移信息将第二人脸图像中的像素点进行双线性位移,从而实现对第二人脸图像进行形变处理。
示例地,第一人脸图像为RGB图像,则第一人脸图像包括三个通道(红、绿、蓝)。条件生成网络层基于第一人脸图像输出的纹理差异图也包括三个通道(红、绿、蓝),注意力图包括一个通道(权重系数),变形信息图包括两个通道(第一方向位移信息、第二方向位移信息)。
示例地,图5是本申请实施例提供的对第一人脸图像进行处理的过程的示意图。如图5所示,客户端调用年龄变化模型中的条件生成网络层,基于指定年龄处理第一人脸图像501。能够得到纹理差异图502、变形信息图504以及注意力图。客户端通过纹理合成网络层,基于注意力图将第一人脸图像501与纹理差异图502进行叠加,能够得到改变纹理的第二人脸图像503。之后通过形变网络层将改变纹理的第二人脸图像503基于变形信息图504进行形变处理,得到变形后的第二人脸图像505。
需要说明的是,客户端通过年龄变化模型处理第一人脸图像,能够仅输出通过改变纹理得到的第二人脸图像。或者,输出通过改变纹理以及变形得到的第二人脸图像。
步骤303:对第二人脸图像中的头发区域的颜色进行处理。
该第二人脸图像为通过改变纹理得到的第二人脸图像,或通过改变纹理以及变形得到的第二人脸图像。为了保证输出的第二人脸图像中的人脸的发色更加逼真,客户端还会对第二人脸图像中的头发区域的颜色进行处理,具体包括:
对第二人脸图像进行图像语义分割,得到第二人脸图像中的头发区域。其中,客户端对第二人脸图像进行图像语义分割,能够得到该头发区域对应的图像掩膜(mask)。在该图像掩膜中,第二人脸图像中头发区域的像素点的值为1,头发区域以外的区域的像素点的值为0。将该图像掩膜与第二人脸图像相乘能够得到该头发区域。之后客户端基于头发区域中的像素点的原始颜色值,映射计算出头发区域中的像素点在指定年龄下对应的目标颜色值。并将头发区域中的像素点的原始颜色值替换为目标颜色值,从而得到改变发色后的第二人脸图像。可选地,客户端通过条件颜色查找表(Conditional LUT),实现根据原始颜色值以及指定年龄,映射计算出目标颜色值。该条件指对于不同的年龄,原始颜色值对应不同的目标颜色值。
步骤304:显示第二人脸图像。
客户端在显示该第一人脸图像以及年龄变化控件的用户界面中,显示该第二人脸图像,即客户端在同一用户界面中显示该第一人脸图像和第二人脸图像。或者客户端在不同的用户界面中显示第一人脸图像以及第二人脸图像。可选地,客户端在显示第二人脸图像的用户界面中,还会显示该第二人脸图像对应的指定年龄。
综上所述,本申请实施例提供的方法,通过年龄变化模型处理第一人脸图像,能够根据指定年龄生成并显示第二人脸图像。该第二人脸图像为第一人脸图像中的人脸在该指定年龄下的人脸图像。即能够根据用户自定义的年龄或系统指定的年龄改变人脸图像,提升了处理人脸图像的灵活度。
另外,对第一人脸图像分别进行纹理变化处理与变形处理,并且将纹理差异图与输入的原图叠加,能够维持输出的人脸图像的清晰度。对进行纹理变化处理与变形处理后的人脸图像,再进行发色处理,能够使最终输出的人脸图像的发色更真实自然。
图6是本申请实施例提供的一种人脸图像的显示方法的流程示意图。该方法可以用于计算机设备或计算机设备上的客户端。如图6所示,该方法包括:
步骤601:显示第一人脸图像和年龄变化控件。
该第一人脸图像来源于照片或视频中的视频帧。该第一人脸图像为任一包括人脸的信息的图像。例如为用户在客户端中上传的照片或上传的视频中的视频帧,或者为客户端所在的计算机设备拍摄的照片或拍摄的视频中的视频帧,或者为客户端通过其它计算机设备获取到的照片或视频中的视频帧。该客户端用于提供对人脸图像基于指定年龄进行处理的功能。
该年龄变化控件是用于输入指定年龄的控件。例如该年龄变化控件包括年龄输入框,该年龄控件包括年龄选择框,或者该年龄控件包括年龄显示条以及叠加在年龄显示条上用于指示指定年龄的元素。
客户端在同一用户界面中显示该第一人脸图像以及年龄变化控件。该用户界面用于提供根据指定年龄处理第一人脸图像的功能。该用户界面中还显示有图像上传控件,用于上传该第一人脸图像。
示例地,图7是本申请实施例提供的一种显示第一人脸图像和年龄变化控件的用户界面的示意图。如图7所示,在第一用户界面701中,显示有用户通过图像上传按钮704上传的第一人脸图像702。该第一用户界面701为客户端中用于提供对人脸图像基于指定年龄进行处理的功能的用户界面。该第一用户界面701中还显示有年龄输入框703。根据对年龄输入框703的输入操作,客户端能够获取到指定年龄。
示例地,图8是本申请实施例提供的另一种显示第一人脸图像和年龄变化控件的用户界面的示意图。如图8所示,在第二用户界面801中,显示有客户端所在的计算机设备实时拍摄的视频的视频帧802,该视频帧802包括人脸的图像。该第二用户界面801为客户端中用于对实时拍摄的视频进行处理的用户界面。当客户端接收到对该第二用户界面801中的变年龄功能的按钮803的单击操作时,客户端会显示年龄拖动条804。根据对年龄拖动条804上用于指示选择的指定年龄的元素的滑动操作,客户端能够获取到指定年龄并在该元素的上方显示该指定年龄。
步骤602:响应于针对年龄变化控件的触发操作,调用年龄变化模型根据触发操作对应的指定年龄处理第一人脸图像,得到第二人脸图像。
该第二人脸图像为第一人脸图像中的人脸在指定年龄下的人脸图像。当客户端接收到针对年龄变化控件的触发操作,会采用上述实施例中的方法,调用年龄变化模型根据指定年龄处理第一人脸图像,得到第二人脸图像。
可选地,当该年龄变化控件包括年龄输入框时,该年龄变化控件还包括确认控件。当客户端接收到对该确定控件的触控操作,会获取该输入框中输入的指定年龄,并确定接收到该触发操作。当该年龄控件包括年龄选择框时,该年龄变化控件也包括确认控件。当客户端接收到对该确定控件的触控操作,会获取通过该选择框选择的指定年龄,并确定接收到该触发操作。或者,当该年龄控件包括年龄显示条以及叠加在年龄显示条上用于指示指定年龄的元素时,当客户端接收到对该用于指示指定年龄的元素的触控操作(例如拖动左滑、右滑),会获取该元素指示的指定年龄,并确定接收到该触发操作。
示例地,继续参照图7。当客户端接收到针对年龄输入框703的输入操作时,客户端获取该输入操作输入的指定年龄,并调用年龄变化模型根据指定年龄处理第一人脸图像。
示例地,继续参照图8。当客户端接收到对年龄拖动条上用于指示选择的指定年龄的元素的滑动操作时,客户端获取该元素当前指示的指定年龄,并调用年龄变化模型根据指定年龄处理第一人脸图像。
步骤603:显示第二人脸图像。
客户端在显示该第一人脸图像以及年龄变化控件的用户界面中,显示该第二人脸图像,即客户端在同一用户界面中显示该第一人脸图像和第二人脸图像。或者客户端在不同的用户界面中显示第一人脸图像以及第二人脸图像。可选地,客户端在显示第二人脸图像的用户界面中,还会显示该第二人脸图像对应的指定年龄。
示例地,图9是本申请实施例提供的显示的第二人脸图像的示意图。如图9所示,客户端根据用户上传的第一人脸图像901,调用年龄变化模型基于预设的多个指定年龄分别处理第一人脸图像。得到第一人脸图像901在多个不同的指定年龄下的人脸图像902。并且,客户端在显示的每个人脸图像上方,还会显示该人脸图像中的人脸对应的年龄903。
示例地,图10是本申请实施例提供的显示第二人脸图像的用户界面的示意图。如图10所示,在第二用户界面801中,显示有客户端所在的计算机设备实时拍摄的视频的视频帧802,该视频帧802包括人脸的图像。客户端根据通过年龄拖动条804获取到指定年龄,调用年龄变化模型处理视频帧802得到目标视频帧805,并将视频帧802与目标视频帧805重叠显示。该目标视频帧805包括对视频帧802中的人脸的图像进行处理得到的人脸的图像。该第二用户界面801中还显示有切换显示分割线806。客户端在该切换显示分割线806的左侧显示视频帧802,另一侧显示目标视频帧805。响应于对该切换显示分割线806的滑动操作,客户端显示的视频帧802以及目标视频帧805的显示面积会发生变化。例如将切换显示分割线806向左滑,客户端显示的视频帧802的面积减小,而显示的目标视频帧805面积增大。将切换显示分割线806向右滑,客户端显示的视频帧802的面积增大,而显示的目标视频帧805面积减小。
综上所述,本申请实施例提供的方法,响应于针对年龄变化控件的触发操作,通过年龄变化模型根据指定年龄处理第一人脸图像,能够得到并显示第一人脸图像中的人脸在该指定年龄下的第二人脸图像。即能够根据用户自定义的年龄或系统指定的年龄改变人脸图像,提升了处理人脸图像的灵活度。
图11是本申请实施例提供的一种年龄变化模型的训练方法的流程示意图。该方法可以用于计算机设备或计算机设备上的客户端。如图11所示,该方法包括:
步骤1101:获取样本图像集。
该样本图像集包括:样本图像和样本图像的样本年龄标签。可选地,该样本图像集包括不同人脸的样本图像。该样本图像集是提供人脸图像处理服务的管理人员确定的。计算机设备根据该样本图像集,训练年龄变化模型,该计算机设备中部署有该年龄变化模型,或者该计算机设备能够远程调用该年龄变化模型。
计算机设备通过年龄预测模型预测样本图像的年龄,从而得到该样本年龄标签。该年龄预测模型基于CNN,是通过不同年龄以及不同身份的人脸图像的样本以及人脸图像对应的已知年龄训练得到。
步骤1102:确定指定年龄,指定年龄为随机年龄或样本年龄标签。
当该指定年龄为随机年龄时,该指定年龄是计算机设备随机生成的,例如计算机设备在10到80之间随机生成一个数字,并将其确定为指定年龄。可选地,计算机设备还能够获取管理人员选择的年龄,作为该指定年龄。
步骤1103:调用生成式对抗网络中的生成器基于指定年龄对样本图像进行预测,得到预测人脸图像。
该预测人脸图像为样本图像中的人脸在指定年龄下的人脸图像。该生成式对抗网络中的生成器,也即是年龄变化模型。可选地,计算机设备调用生成器预测样本图像在指定年龄下的纹理差异图,并基于纹理差异图对样本图像进行图像处理,得到预测人脸图像。或者,计算机设备调用生成器预测样本图像在指定年龄下的纹理差异图,以及样本图像中的人脸距离指定年龄的人脸形状变化,并根据该纹理差异图以及人脸形状变化处理样本图像,从而得到该预测人脸图像。其中,该纹理差异图用于反映样本图像中的人脸距离指定年龄的人脸纹理差异。该生成器基于CNN。
步骤1104:调用生成式对抗网络中的判别器计算预测人脸图像的对抗损失。
生成器和判别器组成生成式对抗网路。该判别器用于判断输入的图像为生成器生成的图像或真实图像,从而形成和生成器之间的对抗关系。计算机设备将预测人脸图像输入判别器,得到判别器预测的该预测人脸图像是否为真实图像的判断,从而计算出该对抗损失。该对抗损失用于表征预测人脸图像是否为真实人脸图像的损失。计算机设备还会将样本图像输入该判别器,并根据判别器输出的对样本图像是否为真实图像的判断来训练该判别器。该判别器基于CNN。
步骤1105:调用年龄预测模型预测预测人脸图像的预测年龄,计算预测年龄和指定年龄之间的年龄损失。
该年龄预测模型与用于预测样本年龄标签的年龄预测模型相同或者不相同。计算机设备将预测人脸图像输入年龄预测模型,输出对预测人脸图像中的人脸预测的预测年龄,并根据该预测年龄和指定年龄计算出年龄损失。该年龄损失能够反映预测年龄和指定年龄之间的偏差。
步骤1106:根据对抗损失和年龄损失对生成器进行训练。
计算机设备根据对抗损失,采用梯度反向传播训练该生成器。以及,根据年龄损失,采用梯度反向传播训练该生成器。计算机设备根据对抗损失和年龄损失交替训练该生成器,或同时训练该生成器。其中,对抗损失能够使生成器生成更逼近真实人脸图像的图像,年龄损失能够使生成器生成的人脸图像中的人脸所反映的年龄,与指定年龄的偏差更小。
步骤1107:在满足训练结束条件时,将生成器确定为年龄变化模型。
该训练结束条件包括根据对抗损失和年龄损失基于反向传播调整得到的生成器的参数,能够使得生成器稳定且收敛。或者,该训练结束条件是训练该生成器的管理人员确定的。上述判别器以及年龄预测模型,主要用于计算机设备训练生成器。在完成生成器的训练时,计算机设备获取该完成训练的生成器,并将其确定为年龄变化模型。
计算机设备在完成对年龄变化模型的训练后,会将该年龄变化模型内置于客户端中,或对外提供该年龄变化模型的调用接口。实现对外提供基于指定年龄处理人脸图像的服务。可选地,该计算机设备为服务器,具体可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。训练年龄变化模型的计算机设备与安装客户端的计算机设备相同或不同。
综上所述,本申请实施例提供的方法,通过样本图像集以及指定年龄训练生成器,从而得到年龄变化模型。该年龄变化模型是基于对抗损失和年龄损失训练的,能够根据用户自定义的年龄或系统指定的年龄改变人脸图像,提升了处理人脸图像的灵活度。
图12是本申请实施例提供的另一种年龄变化模型的训练方法的流程示意图。该方法可以用于计算机设备或计算机设备上的客户端。如图12所示,该方法包括:
步骤1201:获取样本图像集。
该样本图像集包括:样本图像和样本图像的样本年龄标签。可选地,该样本图像集包括不同人脸的样本图像。该样本图像集是提供人脸图像处理服务的管理人员确定的。计算机设备根据该样本图像集,训练年龄变化模型,该计算机设备中部署有该年龄变化模型,或者该计算机设备能够远程调用该年龄变化模型。
计算机设备调用年龄预测模型对样本图像进行年龄预测,得到样本图像的样本年龄标签。并将样本图像和样本图像的样本年龄标签,确定为该样本图像集。该年龄预测模型基CNN,是通过不同年龄以及不同身份的人脸图像的样本以及人脸图像对应的已知年龄训练得到。
步骤1202:对样本图像集进行预处理。
计算机设备会将该样本图像输入人脸检测模型,输出样本图像中的人脸配准点。之后根据该人脸配准点,基于仿射变换对样本图像进行抠图,得到对齐后的样本图像。其中,该人脸检测模型用于确定样本图像包括的人脸的特征,从而得到反映人脸特征的人脸配准点。该人脸检测模型是通过包括人脸五官特征的训练样本训练得到的。该人脸配准点包括用于指示人脸五官的样本图像中的像素点。计算机设备通过warpAffine函数,实现基于仿射变换对样本图像进行抠图。
步骤1203:确定指定年龄,指定年龄为随机年龄或样本年龄标签。
当该指定年龄为随机年龄时,该指定年龄是计算机设备随机生成的,例如计算机设备在10到80之间随机生成一个数字,并将其确定为指定年龄。可选地,计算机设备还能够获取管理人员选择的年龄,作为该指定年龄。
步骤1204:调用生成式对抗网络中的生成器基于指定年龄对样本图像进行预测,得到预测人脸图像。
该生成式对抗网络中的生成器,也即是年龄变化模型。计算机设备调用生成器预测样本图像中的人脸距离指定年龄的人脸纹理差异,并基于该人脸纹理差异对样本图像进行图像处理,得到预测人脸图像。或者,计算机设备调用生成器预测样本图像中的人脸距离指定年龄的人脸纹理差异,以及样本图像中的人脸距离指定年龄的人脸形状变化,并根据该人脸纹理差异以及人脸形状变化处理样本图像,从而得到该预测人脸图像。
可选地,生成器包括条件生成网络层和纹理合成网络层。该生成器还能够包括形变网络层。如图13所示,步骤1204的实现过程包括以下步骤12041至12043:
在步骤12041中,调用条件生成网络层基于指定年龄对样本图像进行预测,输出纹理差异图。
该纹理差异图用于反映样本图像中的人脸距离指定年龄的人脸纹理差异。该纹理差异至少包括:人脸肤质特征差异、发色特征差异以及胡子特征差异。当指定年龄大于样本图像中的人脸对应的年龄时,该人脸肤质特征差异用于使人脸的肤质更光滑细腻,该发色特征差异用于使发色变黑,该胡子特征差异用于使胡子消除。当指定年龄小于样本图像中的人脸对应的年龄时,该人脸肤质特征差异用于使人脸的皱纹增多,该发色特征差异用于使发色变白,该胡子特征差异用于使胡子变白。
在步骤12042中,调用纹理合成网络层将纹理差异图与样本图像进行叠加,得到预测人脸图像。
可选地,条件生成网络层还用于输出注意力图(Attention Map)。该注意力图用于反映样本图像中的像素点对应的纹理差异的权重系数。该权重系数用于反映样本图像中的像素点对应的纹理差异在其它像素点对应的纹理差异中的重要程度。
计算机设备调用纹理合成网络层,能够基于注意力图将纹理差异图与样本图像进行叠加,得到预测人脸图像。可选地,在基于注意力图将纹理差异图与样本图像进行叠加时,纹理差异图中的像素点、样本图像中的像素点、预测人脸图像中的像素点以及根据注意力图确定的权重系数满足:
Iout=IRGB×α+Iin×(1-α);
其中,IRGB为纹理差异图中的像素点,Iin为样本图像中的像素点,Iout为预测人脸图像中的像素点,α为根据注意力图确定的权重系数。
在步骤12043中,调用形变网络层对预测人脸图像中的人脸进行形变处理。
可选地,条件生成网络层还用于输出变形信息图,该变形信息图用于预测样本图像中的人脸距离指定年龄的人脸形状变化。计算机设备调用形变网络层,能够该基于变形信息图对预测人脸图像中的人脸进行形变处理。
可选地,变形信息图包括样本图像中的像素点在第一方向和第二方向上对应的位移信息。预测人脸图像是基于样本图像得到的,该变形信息图也能够反映预测人脸图像中的像素点在第一方向和第二方向上对应的位移信息。其中,第一方向和第二方向互相垂直。例如第一方向为预测样本图像中的竖直方向,第二方向为预测样本图像中的水平方向。计算机设备调用形变网络层,基于第一方向和第二方向上的位移信息将预测人脸图像中的像素点进行双线性位移,从而实现对预测人脸图像进行形变处理。
示例地,样本图像为RGB图像,则样本图像包括三个通道(红、绿、蓝)。条件生成网络层基于样本图像输出的纹理差异图也包括三个通道(红、绿、蓝),注意力图包括一个通道(权重系数),变形信息图包括两个通道(第一方向位移信息、第二方向位移信息)。
步骤1205:调用生成式对抗网络中的判别器计算预测人脸图像的对抗损失。
计算机设备将预测人脸图像输入判别器,得到判别器预测的该预测人脸图像是否为真实图像的判断,从而计算出该对抗损失。该对抗损失用于表征预测人脸图像是否为真实人脸图像的损失。计算机设备还会将样本图像输入该判别器,并根据判别器输出的对样本图像是否为真实图像的判断来训练该判别器。
步骤1206:调用年龄预测模型预测预测人脸图像的预测年龄,计算预测年龄和指定年龄之间的年龄损失。
该年龄预测模型与用于预测样本年龄标签的年龄预测模型相同或者不相同。计算机设备将预测人脸图像输入年龄预测模型,输出对预测人脸图像中的人脸预测的预测年龄,并根据该预测年龄和指定年龄计算出年龄损失。该年龄损失能够反映预测年龄和指定年龄之间的偏差。
步骤1207:根据对抗损失和年龄损失对生成器进行训练。
计算机设备根据对抗损失,采用梯度反向传播训练该生成器。以及,根据年龄损失,采用梯度反向传播训练该生成器。计算机设备根据对抗损失和年龄损失交替训练该生成器,或同时训练该生成器。其中,对抗损失能够使生成器生成更逼近真实人脸图像的图像,年龄损失能够使生成器生成的人脸图像中的人脸所反映的年龄,与指定年龄的偏差更小。
步骤1208:在满足训练结束条件时,将生成器确定为年龄变化模型。
该训练结束条件包括根据对抗损失和年龄损失基于反向传播调整得到的生成器的参数,能够使得生成器稳定且收敛。或者,该训练结束条件是训练该生成器的管理人员确定的。上述判别器以及年龄预测模型,主要用于计算机设备训练生成器。在完成生成器的训练时,计算机设备获取该完成训练的生成器,并将其确定为年龄变化模型。
需要说明的是,计算机设备能够仅训练条件生成网络层和纹理合成网络层,即根据输出的未进行变形处理的预测人脸图像训练生成器。或者,计算机设备训练条件生成网络层、纹理合成网络层以及纹理合成网络层,即根据输出的完成变形处理的预测人脸图像训练生成器。计算机设备在完成对年龄变化模型的训练后,会将该年龄变化模型内置于客户端中,或对外提供该年龄变化模型的调用接口。实现对外提供基于指定年龄处理人脸图像的服务。
综上所述,本申请实施例提供的方法,通过样本图像集以及指定年龄训练生成器,从而得到年龄变化模型。该年龄变化模型是基于对抗损失和年龄损失训练的,能够根据用户自定义的年龄或系统指定的年龄改变人脸图像,提升了处理人脸图像的灵活度。
另外,基于生成式对抗网络训练年龄变化模型,能够使生成的第二人脸图像更自然。基于年龄预测模型训练年龄变化模型,能够使生成的第二人脸图像中的人脸更贴近指定年龄的人脸。对样本图像进行预处理,能够降低训练年龄变化模型的难度,从而提升训练效率。
需要说明的是,本申请实施例提供的方法步骤的先后顺序可以进行适当调整,步骤也可以根据情况进行相应增减,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化的方法,都应涵盖在本申请的保护范围之内,因此不再赘述。
在一个具体的例子中,图14是本申请实施例提供的对人脸图像进行预处理的实现过程的示意图。如图14所示,客户端根据图片或视频帧获取到人脸图像,通过人脸检测模型确定该人脸图像中的人脸配准点,实现对人脸图像中的人脸的检测配准。之后通过warpAffine函数,根据人脸配准点基于仿射变换对人脸图像进行抠图,得到对齐的人脸图像。之后通过年龄预测模型预测人脸图像的年龄,得到人脸图像与预测年龄的组合。该人脸图像以及预测年龄能够作为样本图像和样本年龄标签,训练年龄变化模型。
图15是本申请实施例提供的对人脸图像进行年龄变化的实现过程的示意图。如图15所示,客户端根据图片或视频帧获取到人脸图像。在预处理阶段,对该人脸图像进行人脸对齐的预处理。之后获取指定年龄,在年龄变化模型处理阶段,客户端根据调用条件生成网络层基于指定年龄处理人脸图像,得到纹理差异图、注意力图以及变形信息图。通过纹理合成网络层将纹理差异图与人脸图像基于注意力图叠加,再将输出的纹理变化的人脸图像通过形变网络层基于变形信息图进行变形处理。在发色处理阶段,客户端对纹理改变及变形处理后的人脸图像进行人脸语义分割,得到头发区域,并基于动态发色算法(即条件颜色查找表)替换头发区域中的像素点的颜色,从而输出最终的结果图。
图16是本申请实施例提供的一种人脸图像的处理装置的结构示意图。该装置可以用于计算机设备或计算机设备上的客户端。如图16所示,该装置160包括:
显示模块1601,用于显示第一人脸图像。
预测模块1602,用于调用年龄变化模型预测第一人脸图像在指定年龄下的纹理差异图,纹理差异图用于反映第一人脸图像中的人脸距离指定年龄的人脸纹理差异。
第一处理模块1603,用于基于纹理差异图对第一人脸图像进行图像处理,得到第二人脸图像,第二人脸图像为第一人脸图像中的人脸在指定年龄下的人脸图像。
显示模块1601,用于显示第二人脸图像。
可选地,年龄变化模型包括条件生成网络层和纹理合成网络层。预测模块1602,用于:
调用条件生成网络层基于指定年龄对第一人脸图像进行预测,输出纹理差异图。纹理差异图用于反映第一人脸图像中的人脸距离指定年龄的人脸纹理差异。
第一处理模块1603,用于调用纹理合成网络层将纹理差异图与第一人脸图像进行叠加,得到第二人脸图像。
可选地,条件生成网络层还用于输出注意力图,注意力图用于反映第一人脸图像中的像素点对应的纹理差异的权重系数。第一处理模块1603,用于:
调用纹理合成网络层,基于注意力图将纹理差异图与第一人脸图像进行叠加,得到第二人脸图像。
可选地,年龄变化模型还包括形变网络层。如图17所示,装置160还包括:
第二处理模块1604,用于调用形变网络层对第二人脸图像中的人脸进行形变处理。
可选地,条件生成网络层还用于输出变形信息图,变形信息图用于预测第一人脸图像中的人脸距离指定年龄的人脸形状变化。第二处理模块1604,用于:
调用形变网络层,基于变形信息图对第二人脸图像中的人脸进行形变处理。
可选地,变形信息图包括像素点在第一方向和第二方向上对应的位移信息,第一方向和第二方向互相垂直。第二处理模块1604,用于:
调用形变网络层,基于第一方向和第二方向上的位移信息将第二人脸图像中的像素点进行双线性位移。
可选地,如图18所示,装置160还包括:
第三处理模块1605,用于对第二人脸图像进行图像语义分割,得到第二人脸图像中的头发区域。
计算模块1606,用于基于头发区域中的像素点的原始颜色值,映射计算出头发区域中的像素点在指定年龄下对应的目标颜色值。
替换模块1607,用于将头发区域中的像素点的原始颜色值替换为目标颜色值。
可选地,如图19所示,装置160还包括:
第四处理模块1608,用于将第一人脸图像输入人脸检测模型,输出第一人脸图像中的人脸配准点。
第五处理模块1609,根据人脸配准点,基于仿射变换对第一人脸图像进行抠图,得到对齐后的第一人脸图像。
可选地,如图20所示,装置160还包括训练模块1610,年龄变化模型是采用训练模块1610训练得到的,训练模块1610,用于:
获取样本图像集,样本图像集包括:样本图像和样本图像的样本年龄标签。确定指定年龄,指定年龄为随机年龄或样本年龄标签。调用生成式对抗网络中的生成器基于指定年龄对样本图像进行预测,得到预测人脸图像。调用生成式对抗网络中的判别器计算预测人脸图像的对抗损失,对抗损失用于表征预测人脸图像是否为真实人脸图像的损失。调用年龄预测模型预测预测人脸图像的预测年龄,计算预测年龄和指定年龄之间的年龄损失。根据对抗损失和年龄损失对生成器进行训练。在满足训练结束条件时,将生成器确定为年龄变化模型。
可选地,训练模块1610,用于:
调用年龄预测模型对样本图像进行年龄预测,得到样本图像的样本年龄标签。将样本图像和样本图像的样本年龄标签,确定为样本图像集。
可选地,训练模块1610,用于:
将样本图像输入人脸检测模型,输出样本图像中的人脸配准点。根据人脸配准点,基于仿射变换对样本图像进行抠图,得到对齐后的样本图像。
可选地,生成器包括条件生成网络层和纹理合成网络层。训练模块1610,用于:
调用条件生成网络层基于指定年龄对样本图像进行预测,输出纹理差异图。纹理差异图用于反映样本图像中的人脸距离指定年龄的人脸纹理差异。调用纹理合成网络层将纹理差异图与样本图像进行叠加,得到预测人脸图像。
可选地,条件生成网络层还用于输出注意力图,注意力图用于反映样本图像中的像素点对应的纹理差异的权重系数。训练模块1610,用于:
调用纹理合成网络层,基于注意力图将纹理差异图与样本图像进行叠加,得到预测人脸图像。
可选地,生成器还包括形变网络层。训练模块1610,用于:
调用形变网络层对预测人脸图像中的人脸进行形变处理。
可选地,条件生成网络层还用于输出变形信息图,变形信息图用于预测样本图像中的人脸距离指定年龄的人脸形状变化。训练模块1610,用于:
调用形变网络层,基于变形信息图对预测人脸图像中的人脸进行形变处理。
可选地,变形信息图包括像素点在第一方向和第二方向上对应的位移信息,第一方向和第二方向互相垂直。训练模块1610,用于:
调用形变网络层,基于第一方向和第二方向上的位移信息将预测人脸图像中的像素点进行双线性位移。
图21是本申请实施例提供的一种人脸图像的显示装置的结构示意图。该装置可以用于计算机设备或计算机设备上的客户端。如图21所示,该装置210包括:
显示模块2101,用于显示第一人脸图像和年龄变化控件,年龄变化控件是用于输入指定年龄的控件。
处理模块2102,用于响应于针对年龄变化控件的触发操作,调用年龄变化模型根据触发操作对应的指定年龄处理第一人脸图像,得到第二人脸图像,第二人脸图像为第一人脸图像中的人脸在指定年龄下的人脸图像。
显示模块2101,用于显示第二人脸图像。
可选地,显示模块2101,用于:
显示第二人脸图像和指定年龄。
图22是本申请实施例提供的一种年龄变化模型的训练装置的结构示意图。该装置可以用于计算机设备或计算机设备上的客户端。如图22所示,该装置220包括:
获取模块2201,用于获取样本图像集,样本图像集包括:样本图像和样本图像的样本年龄标签。
第一确定模块2202,用于确定指定年龄,指定年龄为随机年龄或样本年龄标签。
预测模块2203,用于调用生成式对抗网络中的生成器基于指定年龄对样本图像进行预测,得到预测人脸图像。
第一计算模块2204,用于调用生成式对抗网络中的判别器计算预测人脸图像的对抗损失,对抗损失用于表征预测人脸图像是否为真实人脸图像的损失。
第二计算模块2205,用于调用年龄预测模型预测预测人脸图像的预测年龄,计算预测年龄和指定年龄之间的年龄损失。
训练模块2206,用于根据对抗损失和年龄损失对生成器进行训练。
第二确定模块2207,用于在满足训练结束条件时,将生成器确定为年龄变化模型。
可选地,获取模块2201,用于:
调用年龄预测模型对样本图像进行年龄预测,得到样本图像的样本年龄标签。将样本图像和样本图像的样本年龄标签,确定为样本图像集。
可选地,如图23所示,装置220还包括:
第一处理模块2208,用于将样本图像输入人脸检测模型,输出样本图像中的人脸配准点。
第二处理模块2209,用于根据人脸配准点,基于仿射变换对样本图像进行抠图,得到对齐后的样本图像。
可选地,生成器包括条件生成网络层和纹理合成网络层。预测模块2203,用于:
调用条件生成网络层基于指定年龄对样本图像进行预测,输出纹理差异图。纹理差异图用于反映样本图像中的人脸距离指定年龄的人脸纹理差异。调用纹理合成网络层将纹理差异图与样本图像进行叠加,得到预测人脸图像。
可选地,条件生成网络层还用于输出注意力图,注意力图用于反映样本图像中的像素点对应的纹理差异的权重系数。预测模块2203,用于:
调用纹理合成网络层,基于注意力图将纹理差异图与样本图像进行叠加,得到预测人脸图像。
可选地,生成器还包括形变网络层。预测模块2203,用于:
调用形变网络层对预测人脸图像中的人脸进行形变处理。
可选地,条件生成网络层还用于输出变形信息图,变形信息图用于预测样本图像中的人脸距离指定年龄的人脸形状变化。预测模块2203,用于:
调用形变网络层,基于变形信息图对预测人脸图像中的人脸进行形变处理。
可选地,变形信息图包括像素点在第一方向和第二方向上对应的位移信息,第一方向和第二方向互相垂直。预测模块2203,用于:
调用形变网络层,基于第一方向和第二方向上的位移信息将预测人脸图像中的像素点进行双线性位移。
需要说明的是:上述实施例提供的人脸图像的处理装置,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的人脸图像的处理装置与人脸图像的处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
同理,上述实施例提供的人脸图像的显示装置,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的人脸图像的显示装置与人脸图像的显示方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
同理,上述实施例提供的年龄变化模型的训练装置,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的年龄变化模型的训练装置与年龄变化模型的训练方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请的实施例还提供了一种计算机设备,该计算机设备包括:处理器和存储器,存储器中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的人脸图像的处理方法,人脸图像的显示方法或年龄变化模型的训练方法。
可选地,该计算机设备为终端。示例地,图24是本申请实施例提供的一种终端的结构示意图。
通常,终端2400包括有:处理器2401和存储器2402。
处理器2401可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器2401可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器2401也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器2401可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器2401还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器2402可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器2402还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器2402中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器2401所执行以实现本申请中方法实施例提供的方法。
在一些实施例中,终端2400还可选包括有:外围设备接口2403和至少一个外围设备。处理器2401、存储器2402和外围设备接口2403之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口2403相连。具体地,外围设备包括:射频电路2404、显示屏2405、摄像头组件2406、音频电路2407、定位组件2408和电源2409中的至少一种。
外围设备接口2403可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器2401和存储器2402。在一些实施例中,处理器2401、存储器2402和外围设备接口2403被集成在同一芯片或电路板上;在一些其他实施例中,处理器2401、存储器2402和外围设备接口2403中的任意一个或两个可以在单独的芯片或电路板上实现,本申请实施例对此不加以限定。
射频电路2404用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路2404通过电磁信号与通信网络以及其他通信设备进行通信。射频电路2404将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路2404包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路2404可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路2404还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏2405用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏2405是触摸显示屏时,显示屏2405还具有采集在显示屏2405的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器2401进行处理。此时,显示屏2405还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏2405可以为一个,设置终端2400的前面板;在另一些实施例中,显示屏2405可以为至少两个,分别设置在终端2400的不同表面或呈折叠设计;在再一些实施例中,显示屏2405可以是柔性显示屏,设置在终端2400的弯曲表面上或折叠面上。甚至,显示屏2405还可以设置成非矩形的不规则图形,也即异形屏。显示屏2405可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,机发光二极管)等材质制备。
摄像头组件2406用于采集图像或视频。可选地,摄像头组件2406包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端2400的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件2406还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路2407可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器2401进行处理,或者输入至射频电路2404以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端2400的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器2401或射频电路2404的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路2407还可以包括耳机插孔。
定位组件2408用于定位终端2400的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件2408可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源2409用于为终端2400中的各个组件进行供电。电源2409可以是交流电、直流电、一次性电池或可充电电池。当电源2409包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端2400还包括有一个或多个传感器2410。该一个或多个传感器2410包括但不限于:加速度传感器2411、陀螺仪传感器2412、压力传感器2413、指纹传感器2414、光学传感器2415以及接近传感器2416。
加速度传感器2411可以检测以终端2400建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器2411可以用于检测重力加速度在三个坐标轴上的分量。处理器2401可以根据加速度传感器2411采集的重力加速度信号,控制触摸显示屏2405以横向视图或纵向视图进行用户界面的显示。加速度传感器2411还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器2412可以检测终端2400的机体方向及转动角度,陀螺仪传感器2412可以与加速度传感器2411协同采集用户对终端2400的3D动作。处理器2401根据陀螺仪传感器2412采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器2413可以设置在终端2400的侧边框和/或触摸显示屏2405的下层。当压力传感器2413设置在终端2400的侧边框时,可以检测用户对终端2400的握持信号,由处理器2401根据压力传感器2413采集的握持信号进行左右手识别或快捷操作。当压力传感器2413设置在触摸显示屏2405的下层时,由处理器2401根据用户对触摸显示屏2405的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器2414用于采集用户的指纹,由处理器2401根据指纹传感器2414采集到的指纹识别用户的身份,或者,由指纹传感器2414根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器2401授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器2414可以被设置终端2400的正面、背面或侧面。当终端2400上设置有物理按键或厂商Logo时,指纹传感器2414可以与物理按键或厂商Logo集成在一起。
光学传感器2415用于采集环境光强度。在一个实施例中,处理器2401可以根据光学传感器2415采集的环境光强度,控制触摸显示屏2405的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏2405的显示亮度;当环境光强度较低时,调低触摸显示屏2405的显示亮度。在另一个实施例中,处理器2401还可以根据光学传感器2415采集的环境光强度,动态调整摄像头组件2406的拍摄参数。
接近传感器2416,也称距离传感器,通常设置在终端2400的前面板。接近传感器2416用于采集用户与终端2400的正面之间的距离。在一个实施例中,当接近传感器2416检测到用户与终端2400的正面之间的距离逐渐变小时,由处理器2401控制触摸显示屏2405从亮屏状态切换为息屏状态;当接近传感器2416检测到用户与终端2400的正面之间的距离逐渐变大时,由处理器2401控制触摸显示屏2405从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图24中示出的结构并不构成对终端2400的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本申请实施例中还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条程序代码,当该程序代码由计算机设备的处理器加载并执行时,实现上述各方法实施例提供的人脸图像的处理方法,人脸图像的显示方法或年龄变化模型的训练方法。
本申请还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例提供的人脸图像的处理方法,人脸图像的显示方法或年龄变化模型的训练方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,上述提到的可读存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同切换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种人脸图像的处理方法,其特征在于,所述方法应用于客户端,所述客户端调用年龄变化模型,所述年龄变化模型包括条件生成网络层、纹理合成网络层和形变网络层,所述方法包括:
显示第一人脸图像;
调用所述条件生成网络层基于指定年龄对所述第一人脸图像进行预测,输出纹理差异图、注意力图和变形信息图,所述纹理差异图用于反映所述第一人脸图像中的人脸距离所述指定年龄的人脸的纹理差异,所述注意力图用于反映所述第一人脸图像中的像素点对应的所述纹理差异的权重系数,所述变形信息图用于预测所述第一人脸图像中的人脸距离所述指定年龄的人脸的形状变化;
调用所述纹理合成网络层,基于所述注意力图将所述纹理差异图与所述第一人脸图像进行叠加,得到第二人脸图像,所述第二人脸图像为所述第一人脸图像中的人脸在所述指定年龄下的人脸图像;
所述变形信息图包括像素点在第一方向和第二方向上对应的位移信息,所述第一方向和所述第二方向互相垂直;调用所述形变网络层,基于所述第一方向和所述第二方向上的所述位移信息将所述第二人脸图像中的所述像素点进行双线性位移;
显示所述第二人脸图像。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述第二人脸图像进行图像语义分割,得到所述第二人脸图像中的头发区域;
基于所述头发区域中的像素点的原始颜色值,映射计算出所述头发区域中的像素点在所述指定年龄下对应的目标颜色值;
将所述头发区域中的像素点的所述原始颜色值替换为所述目标颜色值。
3.根据权利要求1或2所述的方法,其特征在于,所述年龄变化模型是采用如下方式训练得到的:
获取样本图像集,所述样本图像集包括:样本图像和所述样本图像的样本年龄标签;
确定指定年龄,所述指定年龄为随机年龄或所述样本年龄标签;
调用生成式对抗网络中的生成器基于所述指定年龄对所述样本图像进行预测,得到预测人脸图像;
调用所述生成式对抗网络中的判别器计算所述预测人脸图像的对抗损失,所述对抗损失用于表征所述预测人脸图像是否为真实人脸图像的损失;
调用年龄预测模型预测所述预测人脸图像的预测年龄,计算所述预测年龄和所述指定年龄之间的年龄损失;
根据所述对抗损失和所述年龄损失对所述生成器进行训练;
在满足训练结束条件时,将所述生成器确定为所述年龄变化模型。
4.根据所述权利要求3所述的方法,其特征在于,所述获取样本图像集,包括:
调用所述年龄预测模型对所述样本图像进行年龄预测,得到所述样本图像的样本年龄标签;
将所述样本图像和所述样本图像的样本年龄标签,确定为所述样本图像集。
5.一种人脸图像的显示方法,其特征在于,所述方法包括:
显示第一人脸图像和年龄变化控件,所述年龄变化控件是用于输入指定年龄的控件;
响应于针对所述年龄变化控件的触发操作,调用年龄变化模型根据所述触发操作对应的所述指定年龄处理所述第一人脸图像,得到第二人脸图像,所述第二人脸图像为所述第一人脸图像中的人脸在所述指定年龄下的人脸图像;所述年龄变化模型包括条件生成网络层、纹理合成网络层和形变网络层;
所述调用年龄变化模型根据所述触发操作对应的所述指定年龄处理所述第一人脸图像,得到第二人脸图像,包括:
调用所述条件生成网络层基于所述指定年龄对所述第一人脸图像进行预测,输出纹理差异图、注意力图和变形信息图,所述纹理差异图用于反映所述第一人脸图像中的人脸距离所述指定年龄的人脸的纹理差异,所述注意力图用于反映所述第一人脸图像中的像素点对应的所述纹理差异的权重系数,所述变形信息图用于预测所述第一人脸图像中的人脸距离所述指定年龄的人脸的形状变化;
调用所述纹理合成网络层,基于所述注意力图将所述纹理差异图与所述第一人脸图像进行叠加,得到所述第二人脸图像;
所述变形信息图包括像素点在第一方向和第二方向上对应的位移信息,所述第一方向和所述第二方向互相垂直;调用所述形变网络层,基于所述第一方向和所述第二方向上的所述位移信息将所述第二人脸图像中的所述像素点进行双线性位移;
显示所述第二人脸图像。
6.根据权利要求5所述的方法,其特征在于,所述显示所述第二人脸图像,包括:
显示所述第二人脸图像和所述指定年龄。
7.一种人脸图像的处理装置,其特征在于,所述装置包括:
显示模块,用于显示第一人脸图像;
预测模块,用于调用条件生成网络层基于指定年龄对所述第一人脸图像进行预测,输出纹理差异图、注意力图和变形信息图,所述纹理差异图用于反映所述第一人脸图像中的人脸距离所述指定年龄的人脸的纹理差异,所述注意力图用于反映所述第一人脸图像中的像素点对应的所述纹理差异的权重系数,所述变形信息图用于预测所述第一人脸图像中的人脸距离所述指定年龄的人脸的形状变化;
第一处理模块,用于调用纹理合成网络层,基于所述注意力图将所述纹理差异图与所述第一人脸图像进行叠加,得到第二人脸图像,所述第二人脸图像为所述第一人脸图像中的人脸在所述指定年龄下的人脸图像;
所述变形信息图包括像素点在第一方向和第二方向上对应的位移信息,所述第一方向和所述第二方向互相垂直;第二处理模块,用于调用形变网络层,基于所述第一方向和所述第二方向上的所述位移信息将所述第二人脸图像中的所述像素点进行双线性位移;
所述显示模块,用于显示所述第二人脸图像。
8.一种人脸图像的显示装置,其特征在于,所述装置包括:
显示模块,用于显示第一人脸图像和年龄变化控件,所述年龄变化控件是用于输入指定年龄的控件;
处理模块,用于响应于针对所述年龄变化控件的触发操作,调用年龄变化模型根据所述触发操作对应的所述指定年龄处理所述第一人脸图像,得到第二人脸图像,所述第二人脸图像为所述第一人脸图像中的人脸在所述指定年龄下的人脸图像;所述年龄变化模型包括条件生成网络层、纹理合成网络层和形变网络层;
所述处理模块,用于调用所述条件生成网络层基于所述指定年龄对所述第一人脸图像进行预测,输出纹理差异图、注意力图和变形信息图,所述纹理差异图用于反映所述第一人脸图像中的人脸距离所述指定年龄的人脸的纹理差异,所述注意力图用于反映所述第一人脸图像中的像素点对应的所述纹理差异的权重系数,所述变形信息图用于预测所述第一人脸图像中的人脸距离所述指定年龄的人脸的形状变化;
所述处理模块,用于调用所述纹理合成网络层,基于所述注意力图将所述纹理差异图与所述第一人脸图像进行叠加,得到所述第二人脸图像;
所述变形信息图包括像素点在第一方向和第二方向上对应的位移信息,所述第一方向和所述第二方向互相垂直;所述处理模块,用于调用所述形变网络层,基于所述第一方向和所述第二方向上的所述位移信息将所述第二人脸图像中的所述像素点进行双线性位移;
所述显示模块,用于显示所述第二人脸图像。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一段程序,所述至少一段程序由所述处理器加载并执行以实现如权利要求1至4任一所述的人脸图像的处理方法,或权利要求5或6所述的人脸图像的显示方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条程序代码,所述程序代码由处理器加载并执行以实现如权利要求1至4任一所述的人脸图像的处理方法,或权利要求5或6所述的人脸图像的显示方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011203504.5A CN112287852B (zh) | 2020-11-02 | 2020-11-02 | 人脸图像的处理方法、显示方法、装置及设备 |
JP2023513667A JP7562927B2 (ja) | 2020-11-02 | 2021-10-08 | 顔画像の処理方法、装置及びコンピュータプログラム |
PCT/CN2021/122656 WO2022089166A1 (zh) | 2020-11-02 | 2021-10-08 | 人脸图像的处理方法、显示方法、装置及设备 |
US17/969,435 US20230042734A1 (en) | 2020-11-02 | 2022-10-19 | Face image processing method and apparatus, face image display method and apparatus, and device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011203504.5A CN112287852B (zh) | 2020-11-02 | 2020-11-02 | 人脸图像的处理方法、显示方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112287852A CN112287852A (zh) | 2021-01-29 |
CN112287852B true CN112287852B (zh) | 2023-11-21 |
Family
ID=74352904
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011203504.5A Active CN112287852B (zh) | 2020-11-02 | 2020-11-02 | 人脸图像的处理方法、显示方法、装置及设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230042734A1 (zh) |
JP (1) | JP7562927B2 (zh) |
CN (1) | CN112287852B (zh) |
WO (1) | WO2022089166A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112287852B (zh) * | 2020-11-02 | 2023-11-21 | 腾讯科技(深圳)有限公司 | 人脸图像的处理方法、显示方法、装置及设备 |
CN113392769A (zh) * | 2021-06-16 | 2021-09-14 | 广州繁星互娱信息科技有限公司 | 人脸图像的合成方法、装置、电子设备及存储介质 |
CN114022931A (zh) * | 2021-10-29 | 2022-02-08 | 北京字节跳动网络技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN115147508B (zh) * | 2022-06-30 | 2023-09-22 | 北京百度网讯科技有限公司 | 服饰生成模型的训练、生成服饰图像的方法和装置 |
CN116994309B (zh) * | 2023-05-06 | 2024-04-09 | 浙江大学 | 一种公平性感知的人脸识别模型剪枝方法 |
CN116740654B (zh) * | 2023-08-14 | 2023-11-07 | 安徽博诺思信息科技有限公司 | 基于图像识别技术的变电站作业防控方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101556701A (zh) * | 2009-05-15 | 2009-10-14 | 陕西盛世辉煌智能科技有限公司 | 基于平均脸和衰老比例图的人脸图像年龄变换方法 |
WO2017006615A1 (ja) * | 2015-07-09 | 2017-01-12 | みずほ情報総研 株式会社 | 加齢化予測システム、加齢化予測方法及び加齢化予測プログラム |
CN109308450A (zh) * | 2018-08-08 | 2019-02-05 | 杰创智能科技股份有限公司 | 一种基于生成对抗网络的脸部变化预测方法 |
CN110348352A (zh) * | 2019-07-01 | 2019-10-18 | 深圳前海达闼云端智能科技有限公司 | 一种人脸图像年龄迁移网络的训练方法、终端和存储介质 |
CN111612872A (zh) * | 2020-05-22 | 2020-09-01 | 中国科学院自动化研究所 | 人脸年龄变化图像对抗生成方法及系统 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3799633B2 (ja) * | 1995-06-16 | 2006-07-19 | セイコーエプソン株式会社 | 顔画像処理方法および顔画像処理装置 |
JP4351001B2 (ja) | 2003-08-11 | 2009-10-28 | 株式会社インテックシステム研究所 | 年齢変化画像生成方法及び肌平滑化画像生成方法 |
US8705875B1 (en) * | 2010-09-07 | 2014-04-22 | University Of North Carolina At Wilmington | Demographic analysis of facial landmarks |
US10621771B2 (en) | 2017-03-21 | 2020-04-14 | The Procter & Gamble Company | Methods for age appearance simulation |
US10614623B2 (en) * | 2017-03-21 | 2020-04-07 | Canfield Scientific, Incorporated | Methods and apparatuses for age appearance simulation |
US10565758B2 (en) * | 2017-06-14 | 2020-02-18 | Adobe Inc. | Neural face editing with intrinsic image disentangling |
WO2022002964A1 (en) * | 2020-06-30 | 2022-01-06 | L'oréal | High-resolution controllable face aging with spatially-aware conditional gans |
US20220084173A1 (en) * | 2020-09-17 | 2022-03-17 | Arizona Board of Regents on behalf on Arizona State University | Systems, methods, and apparatuses for implementing fixed-point image-to-image translation using improved generative adversarial networks (gans) |
CN112287852B (zh) * | 2020-11-02 | 2023-11-21 | 腾讯科技(深圳)有限公司 | 人脸图像的处理方法、显示方法、装置及设备 |
-
2020
- 2020-11-02 CN CN202011203504.5A patent/CN112287852B/zh active Active
-
2021
- 2021-10-08 JP JP2023513667A patent/JP7562927B2/ja active Active
- 2021-10-08 WO PCT/CN2021/122656 patent/WO2022089166A1/zh active Application Filing
-
2022
- 2022-10-19 US US17/969,435 patent/US20230042734A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101556701A (zh) * | 2009-05-15 | 2009-10-14 | 陕西盛世辉煌智能科技有限公司 | 基于平均脸和衰老比例图的人脸图像年龄变换方法 |
WO2017006615A1 (ja) * | 2015-07-09 | 2017-01-12 | みずほ情報総研 株式会社 | 加齢化予測システム、加齢化予測方法及び加齢化予測プログラム |
CN109308450A (zh) * | 2018-08-08 | 2019-02-05 | 杰创智能科技股份有限公司 | 一种基于生成对抗网络的脸部变化预测方法 |
CN110348352A (zh) * | 2019-07-01 | 2019-10-18 | 深圳前海达闼云端智能科技有限公司 | 一种人脸图像年龄迁移网络的训练方法、终端和存储介质 |
CN111612872A (zh) * | 2020-05-22 | 2020-09-01 | 中国科学院自动化研究所 | 人脸年龄变化图像对抗生成方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2022089166A1 (zh) | 2022-05-05 |
JP7562927B2 (ja) | 2024-10-08 |
CN112287852A (zh) | 2021-01-29 |
JP2023539620A (ja) | 2023-09-15 |
US20230042734A1 (en) | 2023-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11678734B2 (en) | Method for processing images and electronic device | |
US11244170B2 (en) | Scene segmentation method and device, and storage medium | |
CN112287852B (zh) | 人脸图像的处理方法、显示方法、装置及设备 | |
CN109978989B (zh) | 三维人脸模型生成方法、装置、计算机设备及存储介质 | |
CN110502954B (zh) | 视频分析的方法和装置 | |
CN110992493B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN111079576B (zh) | 活体检测方法、装置、设备及存储介质 | |
CN110807361B (zh) | 人体识别方法、装置、计算机设备及存储介质 | |
CN109191549B (zh) | 显示动画的方法及装置 | |
CN112991494B (zh) | 图像生成方法、装置、计算机设备及计算机可读存储介质 | |
CN109815150B (zh) | 应用测试方法、装置、电子设备及存储介质 | |
KR20210111833A (ko) | 타겟의 위치들을 취득하기 위한 방법 및 장치와, 컴퓨터 디바이스 및 저장 매체 | |
CN110570460B (zh) | 目标跟踪方法、装置、计算机设备及计算机可读存储介质 | |
CN113763228B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN110599593B (zh) | 数据合成的方法、装置、设备及存储介质 | |
CN109947338B (zh) | 图像切换显示方法、装置、电子设备及存储介质 | |
CN111541907A (zh) | 物品显示方法、装置、设备及存储介质 | |
CN111723803B (zh) | 图像处理方法、装置、设备及存储介质 | |
CN111680758B (zh) | 图像训练样本生成方法和装置 | |
CN112337105B (zh) | 虚拟形象生成方法、装置、终端及存储介质 | |
CN112581358B (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
CN114170349A (zh) | 图像生成方法、装置、电子设备及存储介质 | |
CN111068323B (zh) | 智能速度检测方法、装置、计算机设备及存储介质 | |
CN110807769B (zh) | 图像显示控制方法及装置 | |
CN112767453B (zh) | 人脸跟踪方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40037369 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |