CN118470218A - 一种个性化定制出图方法及系统 - Google Patents
一种个性化定制出图方法及系统 Download PDFInfo
- Publication number
- CN118470218A CN118470218A CN202410915615.0A CN202410915615A CN118470218A CN 118470218 A CN118470218 A CN 118470218A CN 202410915615 A CN202410915615 A CN 202410915615A CN 118470218 A CN118470218 A CN 118470218A
- Authority
- CN
- China
- Prior art keywords
- face
- model
- image
- feature
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 121
- 230000000694 effects Effects 0.000 claims abstract description 262
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 54
- 238000007499 fusion processing Methods 0.000 claims abstract description 27
- 239000013598 vector Substances 0.000 claims description 120
- 230000004927 fusion Effects 0.000 claims description 82
- 230000007246 mechanism Effects 0.000 claims description 42
- 210000004209 hair Anatomy 0.000 claims description 37
- 238000009877 rendering Methods 0.000 claims description 34
- 210000000746 body region Anatomy 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 30
- 230000001815 facial effect Effects 0.000 claims description 26
- 238000005457 optimization Methods 0.000 claims description 17
- 230000008878 coupling Effects 0.000 claims description 13
- 238000010168 coupling process Methods 0.000 claims description 13
- 238000005859 coupling reaction Methods 0.000 claims description 13
- 230000014509 gene expression Effects 0.000 claims description 13
- 238000012423 maintenance Methods 0.000 claims description 13
- 210000000697 sensory organ Anatomy 0.000 claims description 13
- 230000004048 modification Effects 0.000 claims description 11
- 238000012986 modification Methods 0.000 claims description 11
- 210000004709 eyebrow Anatomy 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000012512 characterization method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 210000001331 nose Anatomy 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 5
- 210000001508 eye Anatomy 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 210000000056 organ Anatomy 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 230000003796 beauty Effects 0.000 claims description 3
- 210000005069 ears Anatomy 0.000 claims description 3
- 210000000214 mouth Anatomy 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims 2
- 239000000523 sample Substances 0.000 claims 1
- 230000006870 function Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 15
- 238000009826 distribution Methods 0.000 description 10
- 210000000887 face Anatomy 0.000 description 8
- 238000013507 mapping Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000036544 posture Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 235000002673 Dioscorea communis Nutrition 0.000 description 3
- 241000544230 Dioscorea communis Species 0.000 description 3
- 208000035753 Periorbital contusion Diseases 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000002054 transplantation Methods 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 210000000088 lip Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000000379 polymerizing effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明一个或多个实施例提供一种个性化定制出图方法及系统。该方法包括:确定用户指定的人脸描述文本,并调用生成式算法基于所述人脸描述文本生成人脸图像;获取目标服装的第一着装效果图像,所述第一着装效果图像用于呈现所述目标服装在数字模特身上的穿戴效果;对所述人脸图像和所述第一着装效果图像进行融合处理,以生成所述目标服装的第二着装效果图像,所述第二着装效果图像用于呈现所述目标服装在融合后数字模特身上的穿戴效果。该方案不仅能够高质量地实现服装图片的快速出图,而且融合后的图像能够保持特征一致性,图像的显示效果也能够符合用户的个性化需求。
Description
技术领域
本发明一个或多个实施例涉及终端技术领域,尤其涉及一种个性化定制出图方法及系统。
背景技术
随着网络购物的普及和个性化消费需求的增加,人们对于服装的个性化定制提出了更高的要求,传统的服装定制方法主要依靠平面设计和试衣,无法直观地展示服装在模特身上的效果,很难实现对服装在不同人体上的实际效果进行直观展示。
同时,在服装定制和设计领域,为顾客提供个性化的服装效果展示具有重要意义,用户往往希望能够根据自身需求和喜好对服装样式、颜色和配饰等进行调整,并且能够通过模特的各种要素来预览成品效果。
现有技术已经存在一些定制出图的方法,例如通过人工绘制、图像编辑软件,或者基于虚拟现实技术等,然而,这些方法仍存在一些局限性和不足之处,如缺乏真实感和准确性等等。此外,定制出图需要耗费大量的人力和时间,使用图像编辑软件出图需要用户具备一定的图像处理技能,而虚拟现实技术更少需要昂贵的设备和专业知识,对于普通用户而言操作较为复杂。
发明内容
有鉴于此,本发明一个或多个实施例提供技术方案如下:
根据本发明一个或多个实施例的第一方面,提出了一种个性化定制出图方法,包括:
确定用户指定的人脸描述文本,并调用生成式算法基于所述人脸描述文本生成人脸图像;
获取目标服装的第一着装效果图像,所述第一着装效果图像用于呈现所述目标服装在数字模特身上的穿戴效果;
对所述人脸图像和所述第一着装效果图像进行融合处理,以生成所述目标服装的第二着装效果图像,所述第二着装效果图像用于呈现所述目标服装在融合后数字模特身上的穿戴效果。
根据本发明一个或多个实施例的第二方面,提出了一种个性化定制出图系统,包括:
人脸图像生成模块,用于确定用户指定的人脸描述文本,并调用生成式算法基于所述人脸描述文本生成人脸图像;
着装图像获取模块,用于获取目标服装的第一着装效果图像,所述第一着装效果图像用于呈现所述目标服装在数字模特身上的穿戴效果;
图像融合模块,用于对所述人脸图像和所述第一着装效果图像进行融合处理,以生成所述目标服装的第二着装效果图像,所述第二着装效果图像用于呈现所述目标服装在融合后数字模特身上的穿戴效果。
根据本发明一个或多个实施例的第三方面,提出了一种个性化定制出图方法,所述方法包括:
对服装及模特进行三维建模以生成三维模型,并对所述三维模型进行渲染以得到渲染图片;
解析所述渲染图片的服装要素及模特要素;
通过调节所述服装要素、所述模特要素和/或添加新要素的方式对所述渲染图片进行修改,以得到成品图片。
根据本发明一个或多个实施例的第四方面,提出了一种个性化定制出图系统,所述系统包括:
建模模块,用于对服装及模特进行三维建模以生成三维模型;
渲染模块,用于对三维模型进行渲染以得到渲染图片;
解析模块,用于解析所述渲染图片的服装要素及模特要素;
修改模块,用于通过调节所述服装要素、所述模特要素和/或添加新要素的方式对所述渲染图片进行修改,以得到成品图片。
根据本发明一个或多个实施例的第五方面,提出了一种基于面部一致性保持的模特脸定制方法,包括:
获取源模特脸,提取所述源模特脸的脸部数据和/或头发数据;
直接获取参考模特脸;或采用预设脸参数化定制模块,从基本特征、五官特征和头发特征中的一个或多个维度进行参数化描述,以得到参考模特脸;
从所述源模特脸的脸部数据和/或所述头发数据中提取出第一特征向量,对所述参考模特脸进行人脸识别提取出第二特征向量;
对所述第一特征向量和所述第二特征向量进行特征融合,得到隐空间表征;对所述隐空间表征进行解码,得到目标模特脸。
根据本发明一个或多个实施例的第六方面,提出了一种基于面部一致性保持的模特脸定制系统,包括:
第一获取单元,用于获取源模特脸,提取所述源模特脸的脸部数据和/或头发数据;
第二获取单元,直接获取参考模特脸;或采用预设脸参数化定制模块,从基本特征、五官特征和头发特征中的一个或多个维度进行参数化描述,以得到参考模特脸;
特征向量单元,从所述源模特脸的脸部数据和/或所述头发数据中提取出第一特征向量,对所述参考模特脸进行人脸识别提取出第二特征向量;
特征融合单元,对所述第一特征向量和所述第二特征向量进行特征融合,得到隐空间表征;
生成单元,用于对所述隐空间表征进行解码,得到目标模特脸,并采用人脸美化模块对所述目标模特脸进行可辨识度和表现力优化提升。
根据本发明一个或多个实施例的第七方面,提出了一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器通过运行所述可执行指令以实现如第一方面所述方法的步骤。
根据本发明一个或多个实施例的第八方面,提出了一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现如第一方面所述方法的步骤。
根据本发明一个或多个实施例的第九方面,提出了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现如第一方面所述方法的步骤。
其中,本发明的上述方案可以实现如下技术效果:
利用上述第一方面中的个性化定制出图方法,能够高质量地实现服装图片的快速出图,提升了出图及内容分发效率及营销需求,能够保持建模服装的高保真度,操作难度不高,显著降低了时间成本和人力成本,同时还具有较为广泛的应用面。除此之外,用户可以按照自身需求指定人脸描述文本以调用生成式算法基于该文本生成满足该需求的人脸图像,相对于用户自行绘制或者从3D模型截取的人脸图像而言,该方式所生成人脸图像的真实性更强(即CG感较弱),从而有助于确保融合处理得到的第二着装效果图像具有较强的真实性。另外,本方案通过将人脸图像和用于呈现目标服装在数字模特身上的穿戴效果的第一着装效果图像进行融合处理,得到用于呈现该目标服装在融合后数字模特身上的穿戴效果的第二着装效果图,该图像能够保持人脸图像和第一着装效果图像中数字模特的特征一致性,即该图像中的所述融合后数字模特的外貌,既能够呈现上述人脸图像中的人脸特征,又能够呈现所述数字模特原有的人体特征,所述第二着装效果图的显示效果也能够符合用户的上述需求。显然,相对于直接裁剪拼接/替换人脸的相关技术方案,本方案通过融合处理得到的第二着装效果图中的人体显示效果更加真实、自然。
利用上述第三方面中的个性化定制出图方法,能够高质量地实现服装图片的快速出图,提升了出图及内容分发效率及营销需求,能够保持建模服装的高保真度,操作难度不高,显著降低了时间成本和人力成本,同时还具有较为广泛的应用面。
利用上述第五方面中的基于面部一致性保持的模特脸定制方法,给定源模特脸和参考模特脸可快速输出目标模特脸,并能有效保持源模特脸和参考模特脸的特征一致性,保留模特脸上的个性化特征,实现模特脸的高质量出图,且具有高图像分辨率和细节丰富的模特脸细节,可准确地进行相貌特征的修改和定制。脸参数化定制模块能够满足参考模特脸的高度个性化定制,进而实现更多需求场景的应用。
附图说明
图1为实施例1提供的个性化定制出图系统的整体模块结构示意图。
图2为实施例2提供的个性化定制出图方法的整体流程示意图。
图3为生成三维模型的流程示意图。
图4为得到成品图片的流程示意图。
图5为实施例3提供的模特脸定制方法的流程图。
图6为实施例3提供的模特脸定制方法的原理示意图。
图7为本发明实施例提供的特征融合步骤的示意图。
图8为实施例4提供的模特脸定制系统的结构示意图。
图9为实施例5提供的个性化定制出图方法的整体流程示意图。
图10为个性化定制出图操作入口界面的示意图。
图11为个性化定制出图操作界面的示意图。
图12a为人脸描述选项的选取界面的示意图。
图12b为一种人脸融合处理结果的示意图。
图13a为人脸描述文本的输入界面的示意图。
图13b为另一种人脸融合处理结果的示意图。
图14为实施例6提供的个性化定制出图系统的整体模块结构示意图。
图15为一示例性实施例提供的一种设备的结构示意图。
具体实施方式
为解决相关技术中存在的上述问题,本发明提出了一种个性化定制出图方法,允许用户灵活调整图像中的要素以对渲染图片进行修改。另外,本发明还提出一种基于面部一致性保持的模特脸定制方法,即先提取源模特脸的第一特征向量和参考模特脸的第二特征向量,再对两特征向量进行特征融合以得到目标模特脸。在此基础上,本发明提出基于图像融合实现的另一种个性化定制出图方法,即根据用户上传的人脸图像或者根据用户指定的人脸描述信息确定人脸图像,再对该人脸图像与第一着装效果图像进行融合处理得到第二着装效果图。下面结合附图及相关实施例分别对三种方法及其各自对应的系统进行详细说明。
下面结合实施例1和实施例2,分别对本发明提出的一种个性化定制出图系统及方法进行说明。
【实施例1】
本实施例提出了一种个性化定制出图系统,能够高质量地实现三维服装模型的快速出图,并可以实现任意场景、模特、姿势、视角的高效单图及组图出图,提升内容分发效率及营销需求,同时保持建模服装的高保真度。参见图1,所述系统包括:
建模模块1,用于对服装及模特进行三维建模以生成三维模型;
渲染模块2,用于对三维模型进行渲染以得到渲染图片;
解析模块3,用于解析渲染图片的服装要素及模特要素;
修改模块4,用于通过调节服装要素、模特要素和/或添加新要素的方式对渲染图片进行修改,以得到成品图片。
本实施例中,渲染模块2用于渲染三维模型中的服装以使服装更加逼真;被解析模块3解析并被修改模块4调节的服装要素可以包括服装的轮廓、纹理、色彩和/或风格;模特要素可以包括模特的肤色、表情、动作、脸型、发型、身材和/或妆容等。
在一实施例中,修改模块4还支持解析模块3从服装、模特等解析出来的先验信息,并将这些先验信息作为生成式AI的可控和稳定生成的预先知识,有效的保证了系统运行的鲁棒性。
需要说明的是,通过本实施例提出的个性化定制出图系统得到的图片可为单张图片或成套的多张组图,充分利用数字化建模能力,且无需高复杂度的模特建模,同时无需再经历传统的样衣、模特拍摄、修图等操作,实现快速的出图和内容分发。
例如,当用户需要得到成套的多张组图时,可以对服装要素、模特要素以及添加的新要素进行相应的调节,使其中的一部分要素相同,而另一部分要素可根据用户的需求进行更改,最终生成用户所需的组图。
示例性地,可以通过对一部分模特要素相同以使生成的组图中的模特固定为同一个,而对另一部分模特要素进行更改,以使模特具有不同的表情、动作、姿势。也可以通过对一部分服装要素相同以使生成的组图中的服装固定为同一类款式,而对另一部分服装要素进行更改,以使服装具有不同的颜色、纹理。还可以通过对一部分场景要素相同以使生成的组图中的服装固定为同一处背景,而对另一部分场景要素进行更改,以使场景具有不同的视角。
本实施例中建模模块1可以在服装建模软件如Style3D Studio完成对服装及模特的三维建模。如首先进行3D服装建模,在完成服装建模后,用户可以选择数字模特或人台模特建模以生成三维模型。
在一实施例中,建模模块1可以包括:服装建模单元11,用于对服装进行三维建模以构建三维服装模型;模特建模单元12,用于为用户提供定制数字模特的选项,并基于三维服装模型及定制完成的数字模特模型,在建模软件中进行服装模拟以生成三维模型;或用于为用户提供多个人台模特以供用户选择,将三维服装模型与用户选择的人台模特通过建模软件模拟引擎进行模拟到稳定状态,以生成三维模型。
在一实施例中,建模模块1还可以在对服装及模特建模的同时对场景建模,也可以通过修改模块4添加场景要素以自动生成图片场景。
当建模模块1在对服装及模特建模同时对场景建模时,建模模块1还可以包括场景建模单元13,用于在生成三维模型时,预置与所述服装及所述模特所相适应的场景,以生成包含场景的三维模型。相应地,解析模块3可以包括:服装解析单元31,用于解析渲染图片的服装要素;模特解析单元32,用于解析渲染图片的模特要素;场景解析单元33,用于解析渲染图片的场景要素。
由此,可实现服装在不同的模特上的呈现效果,如发型、脸型、表情、姿势等,更加形象真实的表现服装的效果;同时可定制化服装的呈现场景,如沙滩、街拍、秀场等,更有助于提升不同群体对于服装表现的不同关注点。
在一实施例中,修改模块4可以包括:编码器41,用于对渲染图片进行编码;调节单元42,用于通过调节服装要素、模特要素和/或添加新要素的方式对编码后的渲染图片进行修改,以得到修改图片;解码器43,用于对修改图片进行解码,以得到成品图片。
需要说明的是,编码器41能够将网络计算由图像素空间转换到隐藏空间,实现数据降维和压缩,起到减少计算量的作用,由此可以提高模特的生成质量,更好地控制调节单元42的输入条件,且能够适用于一些需要特殊视角的场合,从而可以更好地满足设计需求并提高效率。
其中,调节单元42添加的要素可以包括但不限于:
场景要素,以使调节单元42基于场景要素对渲染图片的场景进行修改,场景要素包括但不限于场景的色调、布局、搭配等要素;
人物要素,以使调节单元42基于人物要素对模特进行修改,人物要素包括但不限于模特的年龄、性别、动作等要素;
文本信息,以使调节单元42将文本信息显示在渲染图片上,文本信息可以包括服装价格、当下爆款、流行趋势、时事热点等与商业具有紧密联系的信息,以使本实施例提出的个性化定制出图系统可应用于网络电商平台的快速定制出图。
通过从数字化建模到电商场景的快速出图,充分利用数字化建模能力,且无需高复杂度的模特建模,同时无需再经历传统的样衣、模特拍摄、修图等操作,一键实现电商快速出图,快速内容分发。
在一实施例中,调节单元42可以包括生成网络,需要说明的是,生成网络是一种具有学习功能的机器模型,生成网络能够基于概率模型和统计学方法,通过学习从已有数据中提取规律和模式,并利用这些模式生成新的数据,如生成新的图像、文本或音频等数据的样本。
【实施例2】
对应于前述实施例1所述的个性化定制出图系统,本实施例提出一种个性化定制出图方法。请参见图2,该方法包括:
S210:对服装及模特进行三维建模以生成三维模型,并对三维模型进行渲染以得到渲染图片。
其中,S210中所述的对三维模型进行渲染具体可以是对三维模型中的服装进行渲染,以使服装更加逼真。
S220:解析渲染图片的服装要素及模特要素。
本实施例中,模特要素可以包括模特的肤色、表情、动作、脸型、发型、身材和/或妆容;服装要素可以包括服装的轮廓、纹理、色彩和/或风格等。
S230:通过调节服装要素、模特要素和/或添加新要素的方式对渲染图片进行修改,以得到成品图片。
需要说明的是,通过步骤S230得到的成品图片可以为单张图片或成套的多张组图。通过该方法,可以充分利用数字化建模能力,且无需高复杂度的模特建模,同时无需再经历传统的样衣、模特拍摄、修图等操作,实现快速的出图和内容分发。
当用户需要得到成套的多张组图时,可以对服装要素、模特要素以及添加的新要素进行相应的调节,使其中的一部分要素相同,而另一部分要素可根据用户的需求进行更改,最终生成用户所需的组图。
示例性地,可以通过对一部分模特要素相同以使生成的组图中的模特固定为同一个,而对另一部分模特要素进行更改,以使模特具有不同的表情、动作、姿势;也可以通过对一部分服装要素相同以使生成的组图中的服装固定为同一类款式,而对另一部分服装要素进行更改,以使服装具有不同的颜色、纹理;还可以通过对一部分场景要素相同以使生成的组图中的服装固定为同一处背景,而对另一部分场景要素进行更改,以使场景具有不同的视角。
在一实施例中,步骤S210中可以在服装建模软件如Style3D Studio完成对服装及模特的三维建模。例如首先进行3D服装建模,在完成服装建模后,用户可选择数字模特或人台模特建模以生成三维模型。请参见图3,步骤S210中所述的对服装及模特进行三维建模以生成三维模型的过程,可以包括:
S211:对服装进行三维建模以构建三维服装模型。
步骤S211后,用户可选择从步骤S212、步骤S213中择一执行。
S212:为用户提供定制数字模特的选项,并基于三维服装模型及定制完成的数字模特模型,在建模软件中进行服装模拟以生成三维模型。
S213:为用户提供多个人台模特以供用户选择,将三维服装模型与用户选择的人台模特通过建模软件模拟引擎进行模拟到稳定状态,以生成三维模型。
在一实施例中,在步骤S210生成三维模型时,可预置与所述服装及所述模特所相适应的场景,以生成包含场景的三维模型,步骤S220解析渲染图片的服装要素及模特要素时,对渲染图片的场景要素一并进行解析,进而使渲染图片可在步骤S230中通过调节场景要素的方式被进行修改;此外,也可通过直接在步骤S230中添加场景要素的方式生成图片场景。
请参见图4,步骤S230可以包括:
S231:对渲染图片进行编码。
S232:通过调节服装要素、模特要素和/或添加新要素的方式对编码后的渲染图片进行修改,以得到修改图片。
S233:对修改图片进行解码,以得到成品图片。
其中,步骤S231可以通过编码器实现,编码器能够将网络计算由像素空间转换到隐藏空间,实现数据降维和压缩,起到减少计算量的作用,由此可以提高模特的生成质量,更好地对各个要素进行调节或添加,且能够适用于一些需要特殊视角的场合,从而可以更好地满足设计需求并提高效率。
另外,步骤S232中所述的通过添加新要素的方式对渲染图片进行修改,可以包括:添加场景要素,以基于场景要素对渲染图片的场景进行修改,场景要素包括但不限于场景的色调、布局、搭配等要素;和/或,添加人物要素,以基于人物要素对模特进行修改,人物要素包括但不限于模特的年龄、性别、动作等要素;和/或,添加文本信息,以使文本信息显示在渲染图片上,文本信息可以包括服装价格、当下爆款、流行趋势、时事热点等与商业具有紧密联系的信息。
本实施例中,步骤S232可以由生成网络实现,需要说明的是,生成网络是一种具有学习功能的机器模型,生成网络能够基于概率模型和统计学方法,通过学习从已有数据中提取规律和模式,并利用这些模式生成新的数据,如生成新的图像、文本或音频等数据的样本。
本实施例提出的方案具有广泛的应用面,如应用于网络电商平台的快速定制出图时,通过对三维数字化建模服装、模特、场景等的素材加工生产,可以满足电商场景内容分发需求的生成式AI技术步骤,并能利用该步骤达成快速高质量的电商模特个性化定制的出单图、组图的目的。
由上述实施例1和实施例2可见,本发明提供的一种个性化定制出图系统,具备解析多种要素的功能,从而使用户可以根据自己的需求和喜好获得更真实、逼真的图片,用户可通过调节服装要素、模特要素或添加新要素的方式对渲染图片进行定制化的调整,以准确地呈现服装在模特身上的效果;
进一步地,本方案可实现服装在不同的模特上的呈现效果,如发型、脸型、表情、姿势等,更加形象真实的表现服装的效果;同时可定制化服装的呈现场景,如沙滩、街拍、秀场等,更有助于提升不同群体对于服装表现的不同关注点;
优选地,本方案可应用于网络电商平台的快速定制出图,通过从数字化建模到电商场景的快速出图,充分利用数字化建模能力,且无需高复杂度的模特建模,同时无需再经历传统的样衣、模特拍摄、修图等操作,一键实现电商快速出图,快速内容分发。
综上可见,本发明提供的一种个性化定制出图系统和方法能够高质量地实现服装图片的快速出图,提升了出图及内容分发效率及营销需求,能够保持建模服装的高保真度,操作难度不高,显著降低了时间成本和人力成本,同时还具有较为广泛的应用面。
另外,本发明还提出一种基于面部一致性保持的模特脸定制方法及系统。下面结合实施例3和实施例4,对该方法及系统进行说明。
【实施例3】
本实施例提出一种基于面部一致性保持的模特脸定制方法,该方法能够有效地保持源模特脸和参考模特脸的特征一致性,实现模特脸的高质量出图,满足参考模特脸的高度个性化定制。该方法的具体流程如说明书附图5所示,该方法包括:
S510:获取源模特脸,提取源模特脸的脸部数据和/或头发数据;
S520:直接获取参考模特脸;或采用预设脸参数化定制模块,从基本特征、五官特征和头发特征中的一个或多个维度进行参数化描述,以得到参考模特脸;
S530:从源模特脸的脸部数据和/或头发数据中提取出第一特征向量,对参考模特脸进行人脸识别提取出第二特征向量;
S540:对第一特征向量和第二特征向量进行特征融合,得到隐空间表征;
S550:对隐空间表征进行解码,得到目标模特脸。
在一实施例中,步骤S550之后还包括:
S560:采用预设人脸美化模块对目标模特脸进行可辨识度和表现力优化提升。
在本实施例中,存在源模特脸和参考模特脸,可理解为在源模特脸的属性特征上融合参考模特脸的身份特征,使面部特征迁移保持一致性。但需要说明的是,上述融合并非简单的人脸替换,而是会保留源模特脸和参考模特脸上具备个性化的显著特征。最终生成的模特脸上的特征都有一定的融合,而不只是来源于一张脸;换言之,融合生成的目标模特脸是同时具有源模特脸和参考模特脸的显著特征的新的模特。
其中,属性特征指的是人脸的一些固有特征,具体可以包括:结构特征:人脸具有复杂的结构,如眼睛、嘴巴、鼻子、眉毛、耳朵等部位的位置、大小、形状等。面部表情:人脸可以表达出多种情感和情绪,例如喜怒哀乐等。肤色和纹理:不同的人种可能具有不同的肤色和面部纹理,这也是人脸的一种属性特征。其他特征:人脸还有其他的属性特征,例如脸型、面部轮廓等。
其中,身份特征则是指每个人独特的个体特征。具体包括:人脸的三维特征:这是指人脸的整体形状,包括面部各个器官的相对位置、大小等。人脸的色彩和纹理特征:这是指人脸的皮肤颜色、肤色、面部纹理等。人脸的微表情特征:这是指人脸在短暂的时间内表现出的细微表情,这些表情通常是无意识的,但可以通过机器学习和图像处理技术进行识别和分析。
其中,显著特征可理解为模特脸部的个性化特征,例如独特的发型、特立独行的妆造等,因为显著特征的存在使得模特具备高级感。高级感本身没有划分标准,显著特征也没有具体的量化手段。因此,显著特征可以人为进行选择,凡是用户觉得想要定制模特脸上的特征都可作为显著特征。而高级感对于模特而言,是其独特特质的表现,也是本实施例方案所着重强调的。本实施例的方案能够实现模特脸定制化的同时,保留模特脸上独特的显著特征,使生成的目标模特脸具备高级感。优选地,分别选定源模特脸和参考模特脸上具备个性的特征作为显著特征,显著特征包括源模特脸的身份特征、参考模特脸的身份特征;之后生成的隐空间表征中就包括显著特征、源模特脸和参考模特脸的显著特征融合后的特征、源模特脸和参考模特脸的非显著特征融合后的特征,使最终生成的定制脸具备源模特脸和参考模特脸上的个性化特征,得到具备高级感的模特脸。
具体地,给定源模特脸后,需要对其进行人脸分析,以有效的定位到模特脸部,并提取源模特的脸部数据和/或头发数据。可采用人脸关键点、人脸分割等算法,如图6所示。在实际应用中,可能会结合多种算法以获得最佳的人脸检测效果。例如,将源模特脸上划定矩形区域,确定区域的位置和区域内的特征,或者获取源模特脸的掩码区域数据。脸部数据至少包括脸部轮廓、脸部所述的类型、脸部的各处细节。本实施例采用人脸分析算法,将人脸按照区域划分,则需要确定区域位置、类型、大小以及区域内的特征。头发数据主要指头发在源模特脸中的位置、颜色、形状等,与头发有关的数据都可纳入到头发数据中。后续的特征移植都是在脸部区域和/或头发区域中进行,因此要获取区域的相关信息,以方便进行后续的人脸移植。
关于参考模特脸,可理解为目标模特脸的目标。参考模特脸的输入支持两种方式,一种是直接输入模特脸,例如,用户直接输入符合条件的参考模特脸的图像到软件中,或是给定参考模特脸的数据后生成对应的图像;另一种是采用脸参数化定制模块获取特定参考模特脸的图像。其中,脸参数化定制模块区别于传统的人脸定制方案,不仅系统化、细节化各维度的特征属性,还针对属性之间因描述上的耦合关系而产生的混淆问题进行改进。
在本实施例中,脸参数定制模块从脸部基本特征、五官特征、头发特征三个维度来描述定制模特,具体如附图6所示。基本特征涉及对脸部有影响的基本信息,包括性别、年龄、表情、肤色、脸型、妆容、脸部细节、脸部轮廓和模特风格等。脸部细节主要指脸上的皱纹等细节特征。模特风格则会影响后续的特征描述耦合问题,不同风格的模特脸可能对应不同的特征描述。五官特征包括眉部、嘴部、眼部、鼻部、耳部,眉毛、嘴唇、眼睛、瞳色、鼻子、下巴等细节特征都是可定制的。头发特征包括发型、发色、发长。从脸部基本特征、五官特征、头发特征三个维度实现模特脸的全局特征的定制,同时具体细化各维度下的细节特征,能够对细粒度的细节特征进行独特设计,塑造独一无二的模特脸表达。
脸参数化定制模块根据设定的基本特征、五官特征、头发特征,形成模特脸的参数化描述,该描述可以是根据特定的参考模特脸图像设定,也可以是根据应用经验所设定,以满足对模特脸的定制需求。脸参数化定制模块,能够满足参考模特脸的高度个性化定制,进而实现更多需求场景的应用。对于参数化描述,采用生成网络等生成式算法,如GAN、扩散模型等,生成符合特征要求的模特脸,有效实现模特脸的独特性与美观性的视觉效果。
在一个具体实施例中,在脸参数化定制模块中,通过描述词描述参考模特脸上的各个特征属性以实现参数化描述;并预先构建有token处理机制以处理因特征属性之间关于描述词耦合而产生的特征属性描述混淆。token处理机制,将面部特征与该特征的一般描述相关联,而避免出现特征描述之间耦合所出现的混淆问题。该token 机制建立了邻近描述词与非邻近描述词之间的差异性,让邻近描述词之间具有更高权重,非邻近描述词之间权重降低,类似于聚类问题的类内间距和类间间距。比如,红色眉毛和浅色嘴唇,token处理机制将红色和眉毛关联,浅色和嘴唇关联,而避免出现红色嘴唇、浅色眉毛等特征描述之间耦合所出现的混淆问题。
进一步优选地,预先构建具备通常合理性的人脸特征描述机制,该机制能够代表一般审美下的脸部特征描述,例如,人们普遍认可的嘴唇颜色是红色,而不是黑色,红色的嘴唇就是人脸特征描述机制的内容。换言之,人脸特征描述机制代表的是绝大多数人对人脸特征的通常认知和通常审美。接下来,需要综合人脸特征描述机制以及对目标模特脸的风格需求建立各个特征属性的近邻描述词和非近邻描述词。由于人脸特征描述机制只是代表一般认知,存在某些特殊风格的模特,而正是由于其面部的特殊性使其具备高级感,因此本实施例将该部分特殊风格的模特脸纳入考量范围。若是目标模特风格特殊,则模特风格所占比重更大,人脸特征描述机制所占比重适当降低,甚至部分描述予以修改。最后,通过token处理机制强化近邻描述词和非近邻描述词之间的差异性,使邻近描述词之间的权重提升、非邻近描述词之间的权重降低,降低非近邻描述词对特征属性的描述,降低描述混淆出现的概率。
得到参考模特脸和源模特脸之后,即可按照附图7所示的流程进行后续处理,图7中的定制模特脸即为输出的目标模特脸。对于人脸分析后的源模特脸,采用编码器进行处理,得到其特征向量表达。对于参考模特脸图像,采用卷积神经网络(如ResNet)进行处理,同样提取出参考模特脸的特征表达。优选地,对于参考模特脸图像采用Arcface损失函数,更好地实现模特脸的类间分离以及类内聚合,有助于将图像中的关键信息转化为特征向量,其能够有效地表征模特脸图像所具有的特征。将参考模特脸特征向量与源模特脸特征向量进行解耦与聚合操作,以脸部数据中划定的各区域为基准,进行特征的填充。
具体地,对源模特脸和参考模特脸的特征向量进行解耦合聚合,解耦实现了将源模特脸特征与参考模特脸特征的分离;聚合实现了源模特脸特征与参考模特脸特征的合并,从而得到一个全新的隐空间表征。这个新的隐空间表征既包含了源模特脸的特征,也包含了参考模特脸的特征,同时还融合了源模特脸和参考模特脸的其他表征信息。隐空间表征以特征向量的形式存储相关特征。
隐空间表征中的特征向量所对应的特征具体包括显著特征、源模特脸和参考模特脸上分别针对同一特征属性的显著特征所融合后的特征、源模特脸和参考模特脸上分别针对同一特征属性的非显著特征所融合后的特征。针对同一特征属性,显著特征既可以只存在于源模特脸,也可以只存在于参考模特脸,甚至可以同时存在于源模特脸和参考模特脸。当显著特征只存在于源模特脸或参考模特脸上时,则无需进行特征融合,只需将该显著特征定制到目标模特脸上即可。而当源模特脸和参考模特脸上,针对同一属性特征(如眼部的某一特征)都具备显著特征时,为充分保留两种显著特征,本实施例的方案将源模特脸和参考模特脸上的显著特征进行融合,融合后的特征中保留了两者的特点,再将融合后的特征定制到目标模特脸上。而针对非显著特征,可以进行融合,也可以择一保留,可根据实际情况进行设定。
之后,采用解码器对特征融合后的特征向量进行解码,最终得到满足源模特脸和参考模特脸特征的目标模特脸结果,有效的保留了模特面部特征的一致性信息,实现模特脸特征的定制。并且,为了进一步满足更高质量的模特脸定制,采用人脸美化模块对目标模特脸效果升级。具体地,采用了超分、细节优化与增强、美颜等算法,对模特脸的可辨识度和表现力优化提升,使得模特脸的轮廓、五官、肤色等特征将变得更加精细和生动。
基于利用模特脸一致性信息,采用本实施例的模特脸定制方案还能够实现组图、套图、图像序列、视频等批量图像的模特脸定制。
本实施例提出了一种基于面部一致性保持的模特脸定制方法,给定源模特脸和参考模特脸可快速输出目标模特脸,并能有效保持源模特脸和参考模特脸的特征一致性,实现模特脸的高质量出图,且具有高图像分辨率和细节丰富的模特脸细节,可准确地进行相貌特征的修改和定制。
【实施例4】
本实施例提出一种基于面部一致性保持的模特脸定制系统,将实施例3的一种基于面部一致性保持的模特脸定制方法系统化,使其更具实用性。模特脸定制系统的整体结构图如说明书附图8所示,该系统包括:
第一获取单元81,用于获取源模特脸,提取源模特脸的脸部数据和/或头发数据;
第二获取单元82,直接获取参考模特脸;或采用预设脸参数化定制模块,从基本特征、五官特征和头发特征中的一个或多个维度进行参数化描述,以得到参考模特脸;
特征向量单元83,从源模特脸的脸部数据和/或头发数据中提取出第一特征向量,对参考模特脸进行人脸识别提取出第二特征向量;
特征融合单元84,对第一特征向量和第二特征向量进行特征融合,得到隐空间表征;
生成单元85,用于对隐空间表征进行解码,得到目标模特脸,并采用人脸美化模块对目标模特脸进行可辨识度和表现力优化提升。
其中,在脸参数化定制模块中,通过描述词描述参考模特脸上的各个特征属性以实现参数化描述;并预先构建有token处理机制以处理因特征属性之间关于描述词的耦合关系而产生的特征属性描述混淆。
前述实施例3和实施例4提出的基于面部一致性保持的模特脸定制方案,能够针对给定的源模特脸和参考模特脸快速输出融合后的目标模特脸,并能有效保持源模特脸和参考模特脸的特征一致性,保留模特脸上的个性化特征,实现模特脸的高质量出图,且具有高图像分辨率和细节丰富的模特脸细节,可准确地进行相貌特征的修改和定制。脸参数化定制模块能够满足参考模特脸的高度个性化定制,进而实现更多需求场景的应用。
如前所述,实施例1和实施例2公开了一种个性化定制出图方案,实施例3和实施例4公开了一种基于面部一致性保持的模特脸定制方案。其中,在所述个性化定制出图方案中,可以通过调节模特要素的方式对渲染图片进行修改,以得到成品图片。而所述模特脸定制方案,可以通过特征融合的方式融合源模特脸和参考模特脸的特征以生成目标模特脸,该方案可视为“通过调节模特要素的方式对渲染图片进行修改”在模特脸场景下的具体实现。
鉴于前述个性化定制出图方案中的模特在所述渲染图片中的可见部位除了包括人脸之外,还可能包括肢体(如头发、脖子、四肢、腰部等),本发明还提出基于图像融合实现的另一种个性化定制出图方案,即根据用户上传的人脸图像或者根据用户指定的人脸描述信息确定人脸图像,再对该人脸图像与第一着装效果图像进行融合处理得到第二着装效果图,从而将实施例3和实施例4所示的特征融合技术推广至数字模特全身。下面结合实施例5和实施例6,对该个性化定制出图方案进行说明。
【实施例5】
本实施例提出一种全新的个性化定制出图方法,该方法可以应用于下文实施例6所示的个性化定制出图系统,该系统可以仅包括客户端,也可以包括客户端和服务端。
在一实施例中,该方法可以应用于三维模型处理软件,该软件可以用于处理三维模型,并用于输出三维模型对应的图像。其中,在所述三维模型处理软件支持三维建模功能的情况下,被处理的三维模型可以由该软件通过该功能生成;而在所述三维模型处理软件不支持三维建模功能的情况下,该软件可以接收其他的三维建模软件构建并输出的三维模型,在本地对该模型进行处理,并输出其对应的图像。
在另一实施例中,该方法可以应用于三维着装模型处理软件,该软件用于输出基于三维服装模型和数字模特得到的着装效果图像。其中,被该软件处理的三维着装模型,可以由三维服装模型(对服装建模得到)和数字模特(对实物模特建模得到)共同建模得到。与前述三维模型处理软件类似的,在所述三维着装模型处理软件支持三维建模功能的情况下,被处理的三维着装模型可以由该软件通过该功能生成;而在所述三维着装模型处理软件不支持三维建模功能的情况下,该软件可以接收其他的三维建模软件构建并输出的三维着装模型,在本地对该模型进行处理,并输出其对应的着装效果图像。具体而言,用于构建所述三维服装模型的服装可以为本实施例所述的目标服装。示例性的,所述三维着装模型处理软件可以为Style3D Studio或其他软件。
另外需要说明的是,所述个性化定制出图系统可以归属于前述三维模型处理软件或者归属于前述三维着装模型处理软件。以三维着装模型处理软件为例,在所述个性化定制出图系统仅包括客户端的情况下,该客户端即为该三维着装模型处理软件的客户端;而在所述个性化定制出图系统包括客户端和服务端的情况下,该客户端和服务端即为该三维着装模型处理软件的客户端和服务端。
如图9所示,该方法包括步骤S910-S930。
步骤S910:确定用户指定的人脸描述文本,并调用生成式算法基于所述人脸描述文本生成人脸图像。
在本实施例中,用户可以按照自身需求指定人脸描述文本,从而个性化定制出图系统可以调用生成式算法基于该文本生成满足上述需求的人脸图像。该方式所生成人脸图像的真实性更强(即CG感较弱),从而有助于确保融合处理得到的第二着装效果图像具有较强的真实性。显然,通过该方式生成的人脸图像,即为待进行融合处理的图像。
其中,客户端可以为用户提供相应的操作界面,如在用户通过客户端登录账号后展示该操作界面。所述客户端可以为电子设备上安装的原生应用程序(即Application,APP),或者也可以为小程序、快应用或其他类似的形式。当然,当采用诸如HTML5或类似的网页技术时,可以通过浏览器访问并展示上述操作界面,这里的浏览器可以为独立的浏览器应用,也可以是某些应用内嵌的浏览器模块。
在一实施例中,用户可以通过多种方式指定上述人脸描述文本。例如,所述操作界面可以显示有多个人脸描述选项,其中每一人脸描述选项都存在相应的人脸描述文本,对此,用户可以根据自身需求选取其中的至少一个人脸描述选项;相应的,客户端可以确定被用户选取的人脸描述选项所对应的人脸描述文本(将该方式确定出的文本称为第一人脸描述文本)。当然,在用户同时选取多个选项的情况下,客户端可以确定被选取的各个选项分别对应的人脸描述文本,不再赘述。如图12a和图13a所示,界面中显示有“性别”、“年龄”、“地域”等多个人脸描述选项,用户可以按需为各个选项选取相应的取值。不妨假设用户选取的性别为“女”、年龄为“20-25岁”、地域为“亚洲”,则系统可以按照上述选取结果将“女”、“20-25岁”和“亚洲人”确定为第一人脸描述文本。
和/或,所述操作界面也可以显示有文本输入框,用户可以在该输入框中输入符合自身需求的人脸描述文本;相应的,客户端可以接收用户输入的该人脸描述文本(将该方式接收到的文本称为第二人脸描述文本)。如图13a所示,界面中显示有“请输入描述文本”的文字以及相应的文本输入框。不妨假设用户在该输入框中输入文本“侧方长刘海、高鼻梁、厚嘴唇、皮肤白、黑眼珠、婴儿肥”,则系统可以将该文本确定为第二人脸描述文本。
在获取到上述人脸描述文本(即第一人脸描述文本和/或第二人脸描述文本)后,系统可以调用生成式算法基于所述人脸描述文本生成人脸图像,如可以基于所述人脸描述文本生成人脸提示词Prompts(如将该文本直接作为提示词,或者利用该文本中的描述关键词和预设的提示词模板生成人脸提示词),并将该人脸提示词输入所述生成式算法进行推理运算,以生成相应的人脸图像。其中,所述生成式算法可以部署在该系统本地,如运行在客户端所在的电子设备中,或者运行在服务端所在的服务器中等;或者也可以部署在其他平台并由该系统通过开放接口访问该算法,不再赘述。示例性的,所述生成式算法可以为GAN或者扩散模型等形式,本发明实施例并不对此进行限制。
在一实施例中,系统可以从基本特征、五官特征和头发特征中的一个或多个维度进行参数化描述得到所述人脸图像。该描述可以根据特定的人脸图像设定,也可以是根据应用经验所设定,以满足对人脸图像的定制需求。可见,该方式能够满足人脸图像的高度个性化定制,进而实现更多需求场景的应用。对于参数化描述,可以采用生成网络等生成式算法,如GAN、扩散模型等,生成符合特征要求的人脸图像,有效实现人脸图像中人脸的独特性与美观性的视觉效果。
其中,系统可以通过描述词描述所述人脸图像的各个特征属性以实现参数化描述,其中,可以预先构建token处理机制,以用于处理因特征属性之间关于描述词的耦合关系而产生的特征属性描述混淆。token处理机制可以将面部特征与该特征的一般描述相关联,而避免出现特征描述之间耦合所出现的混淆问题。该token机制建立了邻近描述词与非邻近描述词之间的差异性,让邻近描述词之间具有更高权重,非邻近描述词之间权重降低,类似于聚类问题的类内间距和类间间距。比如,红色眉毛和浅色嘴唇,token处理机制将红色和眉毛关联,浅色和嘴唇关联,而避免出现红色嘴唇、浅色眉毛等特征描述之间耦合所出现的混淆问题。
在一实施例中,系统可以预先构建具备通常合理性的模特特征描述机制;再根据所述模特特征描述机制以及所述融合后数字模特的风格需求建立各个特征属性的近邻描述词和非近邻描述词;最后通过所述token处理机制强化近邻描述词和非近邻描述词之间的差异性,使邻近描述词之间的权重提升、非邻近描述词之间的权重降低,降低非近邻描述词对特征属性的描述,降低描述混淆出现的概率。其中,所述模特特征描述机制能够代表一般审美下的脸部特征描述,例如,人们普遍认可的嘴唇颜色是红色,而不是黑色,红色的嘴唇就是人脸特征描述机制的内容。换言之,人脸特征描述机制代表的是绝大多数人对人脸特征的通常认知和通常审美。接下来,需要综合人脸特征描述机制以及对融合后数字模特的人脸部分(下称融合后模特脸)的风格需求建立各个特征属性的近邻描述词和非近邻描述词。由于人脸特征描述机制只是代表一般认知,存在某些特殊风格的模特,而正是由于其面部的特殊性使其具备高级感,因此本实施例将该部分特殊风格的模特脸纳入考量范围。若是融合后模特脸风格特殊,则模特风格所占比重更大,人脸特征描述机制所占比重适当降低,甚至部分描述予以修改。最后,通过token处理机制强化近邻描述词和非近邻描述词之间的差异性,使邻近描述词之间的权重提升、非邻近描述词之间的权重降低,降低非近邻描述词对特征属性的描述,降低描述混淆出现的概率。
如图13a所示,用户在选中上述人脸描述选项并输入相应的人脸描述文本后,可以点击右下方的“生成”按钮,以触发系统按照上述描述文本生成相应的人脸图像,生成结果即为人脸图像1301所示。
步骤S920:获取目标服装的第一着装效果图像,所述第一着装效果图像用于呈现所述目标服装在数字模特身上的穿戴效果。
除了接收或确定前述人脸图像之外,系统还需要获取目标服装的第一着装效果图像,以作为待进行融合处理的图像。其中,所述目标服装可以包括需要穿戴在数字模特身上相应部位的服装,该服装可以为任意类型,例如可以为帽子、围巾、上衣、裤子、裙子、鞋子等,本发明实施例并不对此进行限制。另外需要说明的是,本发明所述的目标服装具体可以包括至少一件服装,如数字模特身上可以仅穿一件裙子或仅穿一件上衣(即仅穿戴一件服装),或者也可以同时戴帽子、穿上衣和裙子(即同时穿戴多件服装)等,不再赘述。所述第一着装效果图像即用于呈现(将该服装穿戴在数字模特身上的相应部位后)所述目标服装在数字模特身上的穿戴效果。
在一实施例中,与前述人脸图像类似的,第一着装效果图像也可以由用户预先生成并上传至系统。其可以通过PS、Style3D Studio等任意形式的图像编辑软件预先编辑生成。
在另一实施例中,系统也可以支持三维建模功能,此时系统可以对所述目标服装和所述数字模特进行三维建模以生成三维着装模型,并对该模型进行渲染以得到所述第一着装效果图像。通过该方式,个性化定制出图系统可以利用自身兼容的三维建模功能生成第一着装效果图像,以实现与后续融合处理的无缝对接,能够实现该系统的一站式定制化出图,有助于简化用户操作并提升系统的易用性。当然,在该系统不支持三维建模功能的情况下,也可以从支持三维建模功能的其他软件处接收其利用该功能生成的第一着装效果图像,不再赘述。
需要说明的是,第一着装效果图像按照图像内容所在位置划分,可以包括服装区域(即目标服装所在的位置)、裸露人体区域(即未被目标服装覆盖的所述数字模特的人体区域,如人脸、头发、脖子、腰部、肢体等),另外,还可能包括背景区域(即图像中除服装区域和裸露人体区域之外的无关区域)。其中,所述裸露人体区域可能仅包括人脸区域(如数字模特仅有人脸和躯干,而没有四肢);当然,在一些实施例中,所述裸露人体区域还可能包括肢体区域(即数字模特包括四肢)等,不再赘述。
另外需要说明的是,本发明实施例对于步骤S910和S920执行的先后顺序并不进行限制,可以根据实际需要进行灵活调整。
步骤S930:对所述人脸图像和所述第一着装效果图像进行融合处理,以生成所述目标服装的第二着装效果图像,所述第二着装效果图像用于呈现所述目标服装在融合后数字模特身上的穿戴效果。
在通过前述方式确定人脸图像和第一着装效果图像之后,系统可以对二者进行融合处理,以生成用于呈现目标服装在融合后数字模特身上的穿戴效果的第二着装效果图像。
可以理解的是,该方案能够高质量地实现服装图片的快速出图,提升了出图及内容分发效率及营销需求,能够保持建模服装的高保真度,操作难度不高,显著降低了时间成本和人力成本,同时还具有较为广泛的应用面。除此之外,用户可以按照自身需求指定人脸描述文本以调用生成式算法基于该文本生成满足该需求的人脸图像,相对于用户自行绘制或者从3D模型截取的人脸图像而言,该方式所生成人脸图像的真实性更强(即CG感较弱),从而有助于确保融合处理得到的第二着装效果图像具有较强的真实性。另外,本方案通过将人脸图像和用于呈现目标服装在数字模特身上的穿戴效果的第一着装效果图像进行融合处理,即可得到用于呈现该目标服装在融合后数字模特身上的穿戴效果的第二着装效果图,该图像能够保持人脸图像和第一着装效果图像中数字模特的特征一致性,即该图像中的所述融合后数字模特的外貌,既能够呈现上述人脸图像中的人脸特征,又能够呈现所述数字模特原有的人体特征,所述第二着装效果图的显示效果也能够符合用户的上述需求。显然,相对于直接裁剪拼接/替换人脸的相关技术方案,本方案通过融合处理得到的第二着装效果图中的人体显示效果更加真实、自然。
在一实施例中,在对所述人脸图像和所述第一着装效果图像进行融合处理时,一方面可以针对所述人脸图像提取人脸特征向量;另一方面可以解析第一着装效果图像以识别服装区域和所述目标服装未覆盖的裸露人体区域,并针对所述第一着装效果图像提取着装效果特征向量,该向量至少包含所述裸露人体区域对应的人体特征向量;进而,可以对所述人脸特征向量和所述着装效果特征向量进行特征融合,并对融合结果进行解码处理以得到第二着装效果图像。可以理解的是,针对所述人脸图像提取到的人脸特征向量,能够表征该人脸图像中人脸的显著特征;而从第一着装效果图像提取到的着装效果特征向量中的人体特征向量,能够表征前述裸露人体区域所对应人体部分的显著特征,本方案通过对上述两种特征向量进行融合处理,能够确保第二着装效果图像中的融合后数字模特的人体部分同时具有上述两种显著特征,从而确保特征一致性。
在一实施例中,可以采用多种方式解析第一着装效果图像,以识别服装区域和裸露人体区域时。例如,可以利用图像分割算法对第一着装效果图像进行分割处理,以识别所述服装区域和所述裸露人体区域。其中,所述图像分割算法可以采用基于阈值、基于边缘、基于区域、基于聚类分析、基于小波变换等原理实现,或者也可以采用基于人工神经网络或者基于遗传算法等实现,本发明实施例并不对此进行限制。再例如,在所述第一着装效果图像通过渲染三维着装模型的方式得到的情况下,该图像可以从所述三维着装模型继承(或称关联)相应的立体空间相关信息(如深度信息、曲线信息、光线信息等);基于此,系统也可以根据第一着装效果图像的立体空间相关信息识别所述服装区域和所述裸露人体区域。
在一实施例中,鉴于所述着装效果特征向量中包含裸露人体区域对应的人体特征向量,所以在对所述人脸特征向量和所述着装效果特征向量进行特征融合时,可以对所述人脸特征向量和所述人体特征向量进行特征融合。其中,若所述着装效果特征向量中还包含服装区域对应的服装特征向量,则可以对所述第一着装效果图像中的服装区域(可能还有背景区域)进行掩码处理,从而使人脸特征向量仅与服装效果特征向量中的人脸特征向量进行特征融合,而不与其中的服装特征向量进行特征融合。在该融合方式下,服装特征向量不参与融合计算,目标服装在第一着装效果图像和第二着装效果图像中的显示效果完全一致,无任何变化。
或者,也可以对所述人脸特征向量和所述着装效果特征向量进行特征融合,即将人脸特征向量与人体特征向量和服装特征向量构成的整体进行融合,在该融合方式下,服装特征向量会参与融合计算,目标服装在第一着装效果图像和第二着装效果图像中的显示效果基本一致,只是角度、光线等服装细节可能存在细微变化。当然,为了确保目标服装在第一着装效果图像和第二着装效果图像中的显示效果完全一致,也还可以在将人脸特征向量与人体特征向量和服装特征向量构成的整体进行融合后,使用前述服装特征向量替换融合结果中相应的向量部分,然后对替换后的融合结果进行解码以得到第二着装效果图像;或者在融合后对融合结果进行解码得到初步的第二着装效果图像,并使用前述服装区域覆盖该图像中的相应部分,以得到最终的第二着装效果图像。通过上述方式,同样可以确保目标服装在最终生成的第二着装效果图像中的显示效果与其在第一着装效果图像中的显示效果完全一致。
当然,由前述实施例3和实施例4可知,此处也可以将人体特征向量划分为第一人脸特征向量(对应于第一着装效果图像中的人脸部分)和第一肢体特征向量(对应于第一着装效果图像中除人脸部分之外的肢体部分),并使所述人脸特征向量仅与该第一人脸特征向量进行特征融合,从而通过该融合处理仅改变第一着装效果图像中数字模特的人脸显示效果,而不改变其肢体显示效果,具体过程不再赘述。
如前所述,对融合结果进行解码处理可以得到第二着装效果图像。在一实施例中,在解码处理时,可以对所述人体区域对应的融合结果进行解码得到融合后裸露人体区域,并将该融合后裸露人体区域和所述服装区域拼接得到第二着装效果图像。通过该方式,同样可以确保目标服装在最终生成的第二着装效果图像中的显示效果与其在第一着装效果图像中的显示效果完全一致。
在前述各实施例中,所述融合结果包括隐空间表征,该表征的具体形式可以参见前述实施例3和实施例4的记载,此处不再赘述。可以理解的是,隐空间(latent space,或称浅空间)表征可以通过降维技术(如主成分分析、自编码器等),其允许将复杂的数据结构映射到更简单、紧凑的空间中,同时尽可能地保留数据的显著特征。在这个低维隐空间中,数据通常更易于处理、分析和理解,同时也有助于数据的可视化和生成。因而,该方式有助于实现降维压缩、去噪、特征提取等任务。当然,在融合精度、计算资源等条件满足的情况下,所述融合结果也可以采用特征空间(Feature space)表征、参数空间(Parameter space)表征等,本发明实施例并不对此进行限制。
如图10所示,个性化定制出图系统可以支持3D出图和2D出图等功能,下文实施例以3D出图过程为例进行说明。用户点击“3D出图”按钮后,跳转至图11所示的着装效果图编辑界面。在该界面中,用户可以调整3D模型的大小、角度、朝向、背景等出图参数(如在右侧的“出图参数编辑”框中调整这些参数),并触发系统渲染输出不同视角下的着装效果图,如图11所示,输出了两张着装效果图像1101和1102。对此,用户点击“保存”按钮保存上述着装效果图,或者也可以点击“本地渲染”按钮对其进行进一步的渲染、编辑,不再赘述。另外,用户可以选取其中任意数量的着装效果图作为融合处理的对象(即作为本说明书实施例所述的第一着装效果图像),下文实施例以用户选取着装效果图像1101为例进行说明。
在选中着装效果图像1101之后,用户可以点击“AI出图”按钮,此时可以跳转至图12a所示的人脸图像指定界面或者图13a所示的人脸图像生成界面。
在图12a所示的人脸图像指定界面中,用户可以通过多种操作方式实现个性化定制出图。例如,用户可以在基础特征选择框1201中按需选取合适的人脸特征,但不在细节特征选择框1202中选中任何图像,此时点击“融合出图”按钮后,系统会按照被选取的上述人脸特征自动生成相应的人脸图像,然后对该人脸图像与图11所示的着装效果图像1101(此时,该图像被作为第一着装效果图像)进行融合处理,以得到相应的第二着装效果图像。
再例如,用户也可以在细节特征选择框1202中选中系统提供的任一标准人脸图像,或者自行上传预先生成的本地人脸图像并选中该图像,但并不在基础特征选择框1201中选取人脸特征,此时点击“融合出图”按钮后,系统会将细节特征选择框1202中被选中的人脸图像作为融合对象,并对该人脸图像与图11所示的着装效果图像1101进行融合处理,以得到相应的第二着装效果图像。
又例如,用户还可以既在基础特征选择框1201中按需选取合适的人脸特征,又在细节特征选择框1202中选中任一图像,此时点击“融合出图”按钮后,系统会先按照被选中的人脸特征和被选中的所述任一图像生成新的人脸图像(该人脸图像在所述任一图像的基础上叠加了被选中的人脸特征,该叠加过程也可以视为一种“特征融合”),再对该人脸图像与图11所示的着装效果图像1101进行融合处理,以得到相应的第二着装效果图像。
在生成所述第二着装效果图像后,可以跳转至图12b所示的融合效果展示界面,该界面中显示的“原效果图”和“融合效果图”分别为图11所示的着装效果图像1101和融合处理得到的第二着装效果图。此时,用户可以点击“保存”按钮,以保存所述融合效果图,当然也可以同时保存原效果图和融合效果图。可以理解的是,在融合效果图被保存后,本方案所述的个性化定制出图过程即告结束。
图12a所示的基础特征,可以视为前文实施例所述的第一人脸描述文本对应的人脸特征。除此之外,用户也可以灵活编辑第二人脸描述文本。如图13a所示,用户除了可以选择“性别”、“年龄”、“地域”等人脸描述选项之外,还可以在文本输入框中输入第二人脸描述文本“侧方长刘海、高鼻梁、厚嘴唇、皮肤白、黑眼珠、婴儿肥”。此时用户点击“生成”按钮,系统即可按照上述第一人脸描述文本(即“女”、“20~25岁”和“亚洲人”等)和第二人脸描述文本(即“侧方长刘海、高鼻梁、厚嘴唇、皮肤白、黑眼珠、婴儿肥”自动生成符合这些文本所描述特征的人脸图像,如图13a中的人脸图像1301所示。当然,用户也可以不选择上述基础特征,而仅在文本输入框中直接输入第二人脸描述文本,以由系统调用生成式算法基于该文本生成相应的人脸图像,不再赘述。若用户对该图像不满意,可以调整上述人脸描述选项或人脸描述文本后重新生成新的人脸图像,直至满意。若用户对该人脸图像满意,则可以进一步点击界面右下方的“融合出图”,此时系统可以对图11所示的着装效果图像1101和图13a所示的人脸图像1301进行融合处理,以得到相应的第二着装效果图像。
与前述实施例类似的,在生成所述第二着装效果图像后,可以跳转至图13b所示的融合效果展示界面,该界面中显示的“原效果图”和“融合效果图”分别为图11所示的着装效果图像1101和融合处理得到的第二着装效果图。此时,用户可以点击“保存”按钮,以保存所述融合效果图。可以理解的是,在融合效果图被保存后,本方案所述的个性化定制出图过程即告结束。
当然,也可以同时保存上述人脸图像和/或第一着装效果图像,以便用户可以追溯第二着装效果图像的生成过程,不再赘述。另外,用户若对本次生成的融合效果图不满意,可以重新上传人脸图像,或者修改人脸描述文本后重新生成新的人脸图像(当然,鉴于生成式算法根据相同的提示词可能生成不同的人脸图像,因此用户也可以不修改人脸描述文本,而直接点击“生成”按钮以生成新的人脸图像),然后点击“融合出图”按钮重新生成新的融合后图像,直至满意为止。
另外需要说明的是,图12b和图13b除了展示原效果图和融合效果图之外,还可以展示相应的人脸图像,以便用户清楚地知晓其融合处理的效果差异,也便于用户调整融合效果。
如前所述,着装效果图像可以显示所述人脸图像、所述第一着装效果图像和所述第二着装效果图像中的至少之一,以便用户查看上述图像,从而清楚地获知图像的详细显示效果,从而便于用户实施进一步操作。
在一实施例中,所述目标服装在所述第一着装效果图像和第二着装效果图像中的显示效果一致。其中,根据上述聚合方式和解码方式的不同,两显示效果可能完全一致,也可能仅存在角度、光线等方面的细微差别,不再赘述。但需要说明的是,本实施例所述个性化定制出图方案,并不会改变第一着装效果图像中目标服装所包含的各个服装元素(如服装上的花纹、图案)及其属性(如花纹的长度、角度、位置、颜色等),而只是通过融合处理修改第一着装效果图像中数字模特的显示效果。
在一实施例中,在通过前述方式得到所述第二穿戴效果图像后,系统还可以对所述融合后数字模特进行可辨识度和表现力优化提升。具体而言,可以采用包括超分算法、细节优化与增强算法、美颜算法在内的一种或多种算法对所述融合后数字模特进行优化,以增强所述融合后数字模特的精细化程度。当然,也可以根据实际需求采用其他算法进行优化,不再赘述。
示例性的,所述模特美化模块可以包括仅针对模特的人脸部分进行美化的人脸美化模块,从而系统可以采用所述人脸美化模块对所述融合后数字模特的人脸部分(即前述融合后模特脸)进行可辨识度和表现力优化提升。具体而言,该模块可以采用前述超分算法、细节优化与增强算法、美颜算法在内的一种或多种算法对所述融合后模特脸进行优化,以增强所述融合后模特脸的精细化程度,使得该模特脸的轮廓、五官、肤色等特征更加精细和生动,从而确保第二着装效果图中的人脸部分具有更好的细节显示效果及更好的真实感。
【实施例6】
本实施例提出一种个性化定制出图系统,将实施例5的一种个性化定制出图方法系统化,使其更具实用性。该系统的整体结构图如说明书附图14所示,该系统包括:
人脸图像生成模块141,用于确定用户指定的人脸描述文本,并调用生成式算法基于所述人脸描述文本生成人脸图像;
着装图像获取模块142,用于获取目标服装的第一着装效果图像,所述第一着装效果图像用于呈现所述目标服装在数字模特身上的穿戴效果;
图像融合模块143,用于对所述人脸图像和所述第一着装效果图像进行融合处理,以生成所述目标服装的第二着装效果图像,所述第二着装效果图像用于呈现所述目标服装在融合后数字模特身上的穿戴效果。
可选的,所述人脸图像生成模块141具体包括:
文本确定单元1411,用于确定用户选取的人脸描述选项所对应的第一人脸描述文本;
和/或,文本接收单元1412,用于接收用户输入的第二人脸描述文本。
可选的,所述着装图像获取模块142具体包括:
模型渲染单元1421,用于对所述目标服装和所述数字模特进行三维建模以生成三维着装模型,并对所述三维着装模型进行渲染以得到所述第一着装效果图像。
可选的,所述图像融合模块143具体包括:
人脸向量提取单元1431,用于针对所述人脸图像提取人脸特征向量;
效果向量提取单元1432,用于解析第一着装效果图像以识别服装区域和所述目标服装未覆盖的裸露人体区域,并针对所述第一着装效果图像提取着装效果特征向量,所述着装效果特征向量至少包含所述裸露人体区域对应的人体特征向量;
特征向量融合单元1433,用于对所述人脸特征向量和所述着装效果特征向量进行特征融合,并对融合结果进行解码处理以得到第二着装效果图像。
可选的,所述效果向量提取单元1432具体用于:
利用图像分割算法对所述第一着装效果图像进行分割处理,以识别所述服装区域和所述裸露人体区域;或者,
根据所述第一着装效果图像的立体空间相关信息识别所述服装区域和所述裸露人体区域。
可选的,所述特征向量融合单元1433具体用于:
对所述人脸特征向量和所述人体特征向量进行特征融合。
可选的,所述特征向量融合单元1433具体用于:
对所述人体区域对应的融合结果进行解码得到融合后裸露人体区域,并将所述融合后裸露人体区域和所述服装区域拼接得到第二着装效果图像。
可选的,所述融合结果包括隐空间表征。
可选的,还包括:图像显示模块144,用于显示所述人脸图像、所述第一着装效果图像和所述第二着装效果图像中的至少之一。
可选的,所述目标服装在所述第一着装效果图像和所述第二着装效果图像中的显示效果一致。
可选的,还包括:效果提升模块145,用于得到所述第二穿戴效果图像后,对所述融合后数字模特进行可辨识度和表现力优化提升。
可选的,采用包括超分算法、细节优化与增强算法、美颜算法在内的一种或多种算法对所述融合后数字模特进行优化,以增强所述融合后数字模特的精细化程度。
可选的,所述人脸图像生成模块141具体用于:
基于所述人脸描述文本,从基本特征、五官特征和头发特征中的一个或多个维度进行参数化描述得到所述人脸图像。
可选的,通过描述词描述所述人脸图像的各个特征属性以实现参数化描述,其中,预先构建的token处理机制用于处理因特征属性之间关于描述词的耦合关系而产生的特征属性描述混淆。
可选的,还包括特征描述模块146,用于:
预先构建具备通常合理性的模特特征描述机制;
根据所述模特特征描述机制以及所述融合后数字模特的风格需求建立各个特征属性的近邻描述词和非近邻描述词;
通过所述token处理机制强化近邻描述词和非近邻描述词之间的差异性,使邻近描述词之间的权重提升、非邻近描述词之间的权重降低,降低非近邻描述词对特征属性的描述,降低描述混淆出现的概率。
可选的,该系统归属于三维模型处理软件,所述三维模型处理软件用于输出三维模型对应的图像。
可选的,该系统归属于三维着装模型处理软件,所述三维着装模型处理软件用于输出基于三维服装模型和数字模特得到的着装效果图像。
图15是一示例性实施例提供的一种设备的示意结构图。请参考图15,在硬件层面,该设备包括处理器1502、内部总线1504、网络接口1506、内存1508以及非易失性存储器1510,当然还可能包括其他功能所需要的硬件。本说明书一个或多个实施例可以基于软件方式来实现,比如由处理器1502从非易失性存储器1510中读取对应的计算机程序到内存1508中然后运行。当然,除了软件实现方式之外,本说明书一个或多个实施例并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
基于与上述方法同样的构思,本说明书还提供了一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器通过运行所述可执行指令以实现如上述任一实施例所述方法的步骤。
基于与上述方法同样的构思,本说明书还提供了一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现如上述任一实施例所述方法的步骤。
基于与上述方法同样的构思,本说明书还提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现如上述任一实施例所述方法的步骤。
Claims (56)
1.一种个性化定制出图方法,其特征在于,包括:
确定用户指定的人脸描述文本,并调用生成式算法基于所述人脸描述文本生成人脸图像;
获取目标服装的第一着装效果图像,所述第一着装效果图像用于呈现所述目标服装在数字模特身上的穿戴效果;
对所述人脸图像和所述第一着装效果图像进行融合处理,以生成所述目标服装的第二着装效果图像,所述第二着装效果图像用于呈现所述目标服装在融合后数字模特身上的穿戴效果。
2.根据权利要求1所述的方法,其特征在于,所述确定用户指定的人脸描述文本,包括:
确定用户选取的人脸描述选项所对应的第一人脸描述文本;和/或,
接收用户输入的第二人脸描述文本。
3.根据权利要求1所述的方法,其特征在于,所述获取目标服装的第一着装效果图像,包括:
对所述目标服装和所述数字模特进行三维建模以生成三维着装模型,并对所述三维着装模型进行渲染以得到所述第一着装效果图像。
4.根据权利要求1所述的方法,其特征在于,所述对所述人脸图像和所述第一着装效果图像进行融合处理,包括:
针对所述人脸图像提取人脸特征向量;
解析第一着装效果图像以识别服装区域和所述目标服装未覆盖的裸露人体区域,并针对所述第一着装效果图像提取着装效果特征向量,所述着装效果特征向量至少包含所述裸露人体区域对应的人体特征向量;
对所述人脸特征向量和所述着装效果特征向量进行特征融合,并对融合结果进行解码处理以得到第二着装效果图像。
5.根据权利要求4所述的方法,其特征在于,所述解析第一着装效果图像以识别服装区域和所述目标服装未覆盖的裸露人体区域,包括:
利用图像分割算法对所述第一着装效果图像进行分割处理,以识别所述服装区域和所述裸露人体区域;或者,
根据所述第一着装效果图像的立体空间相关信息识别所述服装区域和所述裸露人体区域。
6.根据权利要求4所述的方法,其特征在于,所述对所述人脸特征向量和所述着装效果特征向量进行特征融合,包括:
对所述人脸特征向量和所述人体特征向量进行特征融合。
7.根据权利要求4所述的方法,其特征在于,所述对融合结果进行解码处理以得到第二着装效果图像,包括:
对所述人体区域对应的融合结果进行解码得到融合后裸露人体区域,并将所述融合后裸露人体区域和所述服装区域拼接得到第二着装效果图像。
8.根据权利要求4中任一项所述的方法,其特征在于,所述融合结果包括隐空间表征。
9.根据权利要求1所述的方法,其特征在于,还包括:
显示所述人脸图像、所述第一着装效果图像和所述第二着装效果图像中的至少之一。
10.根据权利要求1所述的方法,其特征在于,所述目标服装在所述第一着装效果图像和所述第二着装效果图像中的显示效果一致。
11.根据权利要求1所述的方法,其特征在于,还包括:
得到所述第二穿戴效果图像后,对所述融合后数字模特进行可辨识度和表现力优化提升。
12.根据权利要求11所述的方法,其特征在于,采用包括超分算法、细节优化与增强算法、美颜算法在内的一种或多种算法对所述融合后数字模特进行优化,以增强所述融合后数字模特的精细化程度。
13.根据权利要求1所述的方法,其特征在于,所述调用生成式算法基于所述人脸描述文本生成人脸图像,包括:
基于所述人脸描述文本,从基本特征、五官特征和头发特征中的一个或多个维度进行参数化描述得到所述人脸图像。
14.根据权利要求13所述的方法,其特征在于,
通过描述词描述所述人脸图像的各个特征属性以实现参数化描述,其中,预先构建的token处理机制用于处理因特征属性之间关于描述词的耦合关系而产生的特征属性描述混淆。
15.根据权利要求14所述的方法,其特征在于,还包括:
预先构建具备通常合理性的模特特征描述机制;
根据所述模特特征描述机制以及所述融合后数字模特的风格需求建立各个特征属性的近邻描述词和非近邻描述词;
通过所述token处理机制强化近邻描述词和非近邻描述词之间的差异性,使邻近描述词之间的权重提升、非邻近描述词之间的权重降低,降低非近邻描述词对特征属性的描述,降低描述混淆出现的概率。
16.根据权利要求1-15中任一项所述的方法,其特征在于,所述方法应用于三维模型处理软件,所述三维模型处理软件用于输出三维模型对应的图像。
17.根据权利要求1-15中任一项所述的方法,其特征在于,所述方法应用于三维着装模型处理软件,所述三维着装模型处理软件用于输出基于三维服装模型和数字模特得到的着装效果图像。
18.一种个性化定制出图系统,其特征在于,包括:
人脸图像生成模块,用于确定用户指定的人脸描述文本,并调用生成式算法基于所述人脸描述文本生成人脸图像;
着装图像获取模块,用于获取目标服装的第一着装效果图像,所述第一着装效果图像用于呈现所述目标服装在数字模特身上的穿戴效果;
图像融合模块,用于对所述人脸图像和所述第一着装效果图像进行融合处理,以生成所述目标服装的第二着装效果图像,所述第二着装效果图像用于呈现所述目标服装在融合后数字模特身上的穿戴效果。
19.根据权利要求18所述的系统,其特征在于,所述人脸图像生成模块具体包括:
文本确定单元,用于确定用户选取的人脸描述选项所对应的第一人脸描述文本;和/或,
文本接收单元,用于接收用户输入的第二人脸描述文本。
20.根据权利要求18所述的系统,其特征在于,所述着装图像获取模块具体包括:
模型渲染单元,用于对所述目标服装和所述数字模特进行三维建模以生成三维模型,并对所述三维模型进行渲染以得到所述第一着装效果图像。
21.根据权利要求18所述的系统,其特征在于,所述图像融合模块具体包括:
人脸向量提取单元,用于针对所述人脸图像提取人脸特征向量;
效果向量提取单元,用于解析第一着装效果图像以识别服装区域和所述目标服装未覆盖的裸露人体区域,并针对所述第一着装效果图像提取着装效果特征向量,所述着装效果特征向量至少包含所述裸露人体区域对应的人体特征向量;
特征向量融合单元,用于对所述人脸特征向量和所述着装效果特征向量进行特征融合,并对融合结果进行解码处理以得到第二着装效果图像。
22.根据权利要求21所述的系统,其特征在于,所述效果向量提取单元具体用于:
利用图像分割算法对所述第一着装效果图像进行分割处理,以识别所述服装区域和所述裸露人体区域;或者,
根据所述第一着装效果图像的立体空间相关信息识别所述服装区域和所述裸露人体区域。
23.根据权利要求21所述的系统,其特征在于,所述特征向量融合单元具体用于:
对所述人脸特征向量和所述人体特征向量进行特征融合。
24.根据权利要求21所述的系统,其特征在于,所述特征向量融合单元具体用于:
对所述人体区域对应的融合结果进行解码得到融合后裸露人体区域,并将所述融合后裸露人体区域和所述服装区域拼接得到第二着装效果图像。
25.根据权利要求21所述的系统,其特征在于,所述融合结果包括隐空间表征。
26.根据权利要求18所述的系统,其特征在于,还包括:
图像显示模块,用于显示所述人脸图像、所述第一着装效果图像和所述第二着装效果图像中的至少之一。
27.根据权利要求18所述的系统,其特征在于,所述目标服装在所述第一着装效果图像和所述第二着装效果图像中的显示效果一致。
28.根据权利要求18所述的系统,其特征在于,还包括:
效果提升模块,用于得到所述第二穿戴效果图像后,对所述融合后数字模特进行可辨识度和表现力优化提升。
29.根据权利要求28所述的系统,其特征在于,采用包括超分算法、细节优化与增强算法、美颜算法在内的一种或多种算法对所述融合后数字模特进行优化,以增强所述融合后数字模特的精细化程度。
30.根据权利要求18所述的系统,其特征在于,所述人脸图像生成模块具体用于:
基于所述人脸描述文本,从基本特征、五官特征和头发特征中的一个或多个维度进行参数化描述得到所述人脸图像。
31.根据权利要求30所述的系统,其特征在于,
通过描述词描述所述人脸图像的各个特征属性以实现参数化描述,其中,预先构建的token处理机制用于处理因特征属性之间关于描述词的耦合关系而产生的特征属性描述混淆。
32.根据权利要求31所述的系统,其特征在于,还包括特征描述模块,用于:
预先构建具备通常合理性的模特特征描述机制;
根据所述模特特征描述机制以及所述融合后数字模特的风格需求建立各个特征属性的近邻描述词和非近邻描述词;
通过所述token处理机制强化近邻描述词和非近邻描述词之间的差异性,使邻近描述词之间的权重提升、非邻近描述词之间的权重降低,降低非近邻描述词对特征属性的描述,降低描述混淆出现的概率。
33.根据权利要求18-32中任一项所述的系统,其特征在于,该系统归属于三维模型处理软件,所述三维模型处理软件用于输出三维模型对应的图像。
34.根据权利要求18-32中任一项所述的系统,其特征在于,该系统归属于三维着装模型处理软件,所述三维着装模型处理软件用于输出基于三维服装模型和数字模特得到的着装效果图像。
35.一种个性化定制出图方法,其特征在于,所述方法包括:
对服装及模特进行三维建模以生成三维模型,并对所述三维模型进行渲染以得到渲染图片;
解析所述渲染图片的服装要素及模特要素;
通过调节所述服装要素、所述模特要素和/或添加新要素的方式对所述渲染图片进行修改,以得到成品图片。
36.根据权利要求35所述的个性化定制出图方法,其特征在于,所述方法还包括:
在生成所述三维模型时,预置与所述服装及所述模特所相适应的场景,以生成包含场景的所述三维模型;
在解析所述渲染图片的服装要素及模特要素时,对所述渲染图片的场景要素一并进行解析,以使所述渲染图片可通过调节所述场景要素的方式被进行修改。
37.根据权利要求35所述的个性化定制出图方法,其特征在于,所述通过调节所述服装要素、所述模特要素和/或添加新要素的方式对所述渲染图片进行修改,以得到成品图片包括:
对所述渲染图片进行编码;
通过调节所述服装要素、所述模特要素和/或添加新要素的方式对编码后的所述渲染图片进行修改,以得到修改图片;
对所述修改图片进行解码,以得到所述成品图片。
38.根据权利要求35或37所述的个性化定制出图方法,其特征在于,所述通过添加新要素的方式对所述渲染图片进行修改包括:
添加场景要素,以基于所述场景要素对所述渲染图片的场景进行修改;
和/或,添加人物要素,以基于所述人物要素对所述模特进行修改;
和/或,添加文本信息,以使所述文本信息显示在所述渲染图片上。
39.根据权利要求35-37中任一项所述的个性化定制出图方法,其特征在于,所述模特要素包括所述模特的肤色、表情、动作、脸型、发型、身材和/或妆容;
所述服装要素包括所述服装的轮廓、纹理、色彩和/或风格。
40.根据权利要求35所述的个性化定制出图方法,其特征在于,所述对服装及模特进行三维建模以生成三维模型包括:
对所述服装进行三维建模以构建三维服装模型;
为用户提供定制数字模特的选项,并基于所述三维服装模型及定制完成的所述数字模特模型,在建模软件中进行服装模拟以生成所述三维模型;或,为用户提供多个人台模特以供所述用户选择,将所述三维服装模型与所述用户选择的所述人台模特通过建模软件模拟引擎进行模拟到稳定状态,以生成所述三维模型。
41.一种个性化定制出图系统,其特征在于,所述系统包括:
建模模块,用于对服装及模特进行三维建模以生成三维模型;
渲染模块,用于对三维模型进行渲染以得到渲染图片;
解析模块,用于解析所述渲染图片的服装要素及模特要素;
修改模块,用于通过调节所述服装要素、所述模特要素和/或添加新要素的方式对所述渲染图片进行修改,以得到成品图片。
42.根据权利要求41所述的个性化定制出图系统,其特征在于,所述建模模块包括:
服装建模单元,用于对所述服装进行三维建模以构建三维服装模型;
模特建模单元,用于为用户提供定制数字模特的选项,并基于所述三维服装模型及定制完成的所述数字模特模型,在建模软件中进行服装模拟以生成所述三维模型;或用于为用户提供多个人台模特以供所述用户选择,将所述三维服装模型与所述用户选择的所述人台模特通过建模软件模拟引擎进行模拟到稳定状态,以生成所述三维模型。
43.根据权利要求41或42所述的个性化定制出图系统,其特征在于,所述建模模块还包括场景建模单元,所述场景建模单元用于在生成所述三维模型时,预置与所述服装及所述模特所相适应的场景,以生成包含场景的所述三维模型;
所述解析模块包括:
服装解析单元,用于解析所述渲染图片的服装要素;
模特解析单元,用于解析所述渲染图片的模特要素;
场景解析单元,用于解析所述渲染图片的场景要素。
44.根据权利要求41所述的个性化定制出图系统,其特征在于,所述修改模块包括:
编码器,用于对所述渲染图片进行编码;
调节单元,用于通过调节所述服装要素、所述模特要素和/或添加新要素的方式对编码后的所述渲染图片进行修改,以得到修改图片;
解码器,用于对所述修改图片进行解码,以得到所述成品图片。
45.一种基于面部一致性保持的模特脸定制方法,其特征在于,包括:
获取源模特脸,提取所述源模特脸的脸部数据和/或头发数据;
直接获取参考模特脸;或采用预设脸参数化定制模块,从基本特征、五官特征和头发特征中的一个或多个维度进行参数化描述,以得到参考模特脸;
从所述源模特脸的脸部数据和/或所述头发数据中提取出第一特征向量,对所述参考模特脸进行人脸识别提取出第二特征向量;
对所述第一特征向量和所述第二特征向量进行特征融合,得到隐空间表征;对所述隐空间表征进行解码,得到目标模特脸。
46.根据权利要求45所述的模特脸定制方法,其特征在于,还包括:
得到所述目标模特脸后,采用人脸美化模块对所述目标模特脸进行可辨识度和表现力优化提升。
47.根据权利要求45所述的模特脸定制方法,其特征在于,在所述脸参数化定制模块中,通过描述词描述参考模特脸上的各个特征属性以实现参数化描述;
并预先构建有token处理机制以处理因特征属性之间关于描述词的耦合关系而产生的特征属性描述混淆。
48.根据权利要求47所述的模特脸定制方法,其特征在于,预先构建具备通常合理性的人脸特征描述机制;
根据所述人脸特征描述机制以及目标模特脸的风格需求建立各个特征属性的近邻描述词和非近邻描述词;
通过所述token处理机制强化近邻描述词和非近邻描述词之间的差异性,使邻近描述词之间的权重提升、非邻近描述词之间的权重降低,降低非近邻描述词对特征属性的描述,降低描述混淆出现的概率。
49.根据权利要求45所述的模特脸定制方法,其特征在于,所述特征融合具体包括:
先对所述第一特征向量和所述第二特征向量进行解耦处理,以实现源模特脸与参考模特脸各自在身份特征与属性特征上的分离;
再对所述第一特征向量和所述第二特征向量进行聚合处理,以实现源模特脸的属性特征与参考模特脸的身份特征的合并。
50.根据权利要求45所述的模特脸定制方法,其特征在于,所述基本特征包括年龄、性别、肤色、表情、妆容、脸部细节、脸部轮廓和模特风格;
所述五官特征包括眉部、嘴部、眼部、鼻部、耳部;
所述头发特征包括发型、发色、发长。
51.根据权利要求47所述的模特脸定制方法,其特征在于,分别选定源模特脸和参考模特脸上的显著特征,所述显著特征包括所述源模特脸的身份特征、所述参考模特脸的身份特征;
所述隐空间表征中的特征向量所对应的特征具体包括所述显著特征、所述源模特脸和所述参考模特脸上分别针对同一特征属性的显著特征所融合后的特征、所述源模特脸和所述参考模特脸上分别针对同一特征属性的非显著特征所融合后的特征。
52.根据权利要求46所述的模特脸定制方法,其特征在于,所述人脸美化模块采用包括超分算法、细节优化与增强算法、美颜算法在内的一种或多种算法对目标模特脸进行优化,以增强脸部特征的精细化程度。
53.一种基于面部一致性保持的模特脸定制系统,其特征在于,包括:
第一获取单元,用于获取源模特脸,提取所述源模特脸的脸部数据和/或头发数据;
第二获取单元,直接获取参考模特脸;或采用预设脸参数化定制模块,从基本特征、五官特征和头发特征中的一个或多个维度进行参数化描述,以得到参考模特脸;
特征向量单元,从所述源模特脸的脸部数据和/或所述头发数据中提取出第一特征向量,对所述参考模特脸进行人脸识别提取出第二特征向量;
特征融合单元,对所述第一特征向量和所述第二特征向量进行特征融合,得到隐空间表征;
生成单元,用于对所述隐空间表征进行解码,得到目标模特脸,并采用人脸美化模块对所述目标模特脸进行可辨识度和表现力优化提升。
54.一种电子设备,其特征在于,包括:
处理器;用于存储处理器可执行指令的存储器;其中,所述处理器通过运行所述可执行指令以实现如权利要求1-17、35-40和45-52中任一项所述方法的步骤。
55.一种计算机可读存储介质,其特征在于,其上存储有计算机指令,该指令被处理器执行时实现如权利要求1-17、35-40和45-52中任一项所述方法的步骤。
56.一种计算机程序产品,其特征在于,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现如权利要求1-17、35-40和45-52中任一项所述方法的步骤。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310841791X | 2023-07-10 | ||
CN202310841791 | 2023-07-10 | ||
CN2023113780049 | 2023-10-23 | ||
CN202311378004 | 2023-10-23 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118470218A true CN118470218A (zh) | 2024-08-09 |
Family
ID=92159047
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410915615.0A Pending CN118470218A (zh) | 2023-07-10 | 2024-07-09 | 一种个性化定制出图方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118470218A (zh) |
-
2024
- 2024-07-09 CN CN202410915615.0A patent/CN118470218A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11625878B2 (en) | Method, apparatus, and system generating 3D avatar from 2D image | |
CN112598785B (zh) | 虚拟形象的三维模型生成方法、装置、设备及存储介质 | |
EP4207080A1 (en) | Avatar generation method, apparatus and device, and medium | |
CN101055646B (zh) | 用于处理图像的方法和装置 | |
KR20210119438A (ko) | 얼굴 재연을 위한 시스템 및 방법 | |
CN111652828A (zh) | 人脸图像生成方法、装置、设备和介质 | |
CN113628327B (zh) | 一种头部三维重建方法及设备 | |
US12056743B2 (en) | Image and data processing methods and apparatuses | |
CN114266695A (zh) | 图像处理方法、图像处理系统及电子设备 | |
JP2024500896A (ja) | 3d頭部変形モデルを生成するための方法、システム及び方法 | |
WO2022257766A1 (zh) | 图像处理方法、装置、设备及介质 | |
WO2023138345A1 (zh) | 虚拟形象生成方法和系统 | |
CN114821675B (zh) | 对象的处理方法、系统和处理器 | |
CN113870404B (zh) | 一种3d模型的皮肤渲染方法及显示设备 | |
JP2024503794A (ja) | 2次元(2d)顔画像から色を抽出するための方法、システム及びコンピュータプログラム | |
WO2024174422A1 (zh) | 模型的生成方法及装置、电子设备、存储介质 | |
CN118115642A (zh) | 三维数字人的生成方法、装置、电子设备、存储介质和程序产品 | |
CN113050794A (zh) | 用于虚拟形象的滑块处理方法及装置 | |
CN112200717A (zh) | 基于神经网络的复杂服装虚拟试衣方法、装置及存储介质 | |
CN118470218A (zh) | 一种个性化定制出图方法及系统 | |
Ren et al. | Make-a-character: High quality text-to-3d character generation within minutes | |
CN117132711A (zh) | 一种数字人像定制方法、装置、设备及存储介质 | |
CN115631516A (zh) | 人脸图像处理方法、装置、设备及计算机可读存储介质 | |
KR102652199B1 (ko) | 포즈추정 기반의 영상 컨텐츠 생성 시스템 및 방법 | |
KR102532561B1 (ko) | 개인 스타일에 대한 컨설팅 데이터를 제공하는 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |