CN113421317B - 一种生成图像的方法、系统及电子设备 - Google Patents
一种生成图像的方法、系统及电子设备 Download PDFInfo
- Publication number
- CN113421317B CN113421317B CN202110645535.4A CN202110645535A CN113421317B CN 113421317 B CN113421317 B CN 113421317B CN 202110645535 A CN202110645535 A CN 202110645535A CN 113421317 B CN113421317 B CN 113421317B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- distribution
- loss value
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000009826 distribution Methods 0.000 claims abstract description 146
- 238000004590 computer program Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 abstract description 26
- 230000000694 effects Effects 0.000 abstract description 9
- 238000004422 calculation algorithm Methods 0.000 abstract description 4
- 238000005070 sampling Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000013461 design Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 210000000887 face Anatomy 0.000 description 4
- 101150115304 cls-2 gene Proteins 0.000 description 3
- 101150053100 cls1 gene Proteins 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 208000006440 Open Bite Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种生成图像的方法、系统及电子设备，通过对输入的活体或者非活体图像提取特征生成特征分布，然后基于得到特征分布生成联合特征分布，最后通过对联合特征分布进行反卷积上采样重构输出新的活体或者非活体图像。基于上述方法可以有效生成遮挡以及无遮挡人脸的活体或者非活体图像，保证生成图像的性能的鲁棒性，并且使生成图像可以直接应用人脸活体检测算法训练，有效提高遮挡人脸的活体检测效果。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种生成图像的方法、系统及电子设备。
背景技术
随着人脸识别技术的广泛应用，人脸识别系统的安全性与人脸识别系统在复杂场景中的识别准确度，越来越被重视。
现有人脸识别的活体检测技术在复杂场景应用需要依赖于对海量人脸遮挡和人脸无遮挡的活体图像进行训练，以提高识别的精准性。
但是，上述方案在算法设计训练时存在缺乏大量的人脸遮挡和人脸无遮挡的活体图像的问题。
发明内容
本申请提供一种生成图像的方法、系统及电子设备，用以实现生成大量活体或者非活体的图像。
第一方面，本申请提供了一种生成图像的方法，所述方法包括：
获取第一目标对象的第一组图像，其中，所述第一组图像包括：所述第一目标对象的无遮挡人脸的第一图像以及所述第一目标对象的有遮挡人脸的第二图像；
计算所述第一图像的第一特征分布和所述第二图像的第二特征分布；
根据所述第一特征分布以及所述第二特征分布，生成联合特征分布；
通过第一模型，对所述联合特征分布进行反卷积上采样，生成第二组图像，其中，第二组图像包括：第二目标对象无遮挡人脸的第三图像以及第二目标对象有遮挡的人脸的第四图像。
通过上述方法，有效生成大量遮挡以及无遮挡人脸的活体或者非活体图像，保证生成图像的性能的鲁棒性，并且使生成图像可以直接应用人脸活体检测算法训练，有效提高遮挡人脸的活体检测效果。
在一种可能的设计中，所述计算所述第一图像的第一特征分布和所述第二图像的第二特征分布，包括：
提取所述第一组图像的第一均值和第一方差，以及提取所述第二图像的第二均值和第二方差；
根据所述第一均值以及所述第一方差，得到所述第一图像的第一特征分布；
根据所述第二均值以及所述第二方差，得到所述第二图像的第二特征分布。
通过计算输入图像的特征分布，使提取的特征的泛化性更强，保证生成图像的有效性。
在一种可能的设计中，在所述通过第一模型，对所述联合特征分布进行反卷积上采样，生成第二组图像之前，还包括：
获取所述第一图像的第一高斯分布以及所述第二图像的第二高斯分布；
根据所述第一高斯分布与所述第一特征分布的第一分布距离，以及所述第二高斯分布与所述第二特征分布的第二分布距离，得到所述第一组图像的相对熵；
根据所述相对熵调整所述第一模型中的模型参数，以调整所述第二组图像中各图像的图像特征。
保证生成图像与输入图像具有相似的图像特征。
在一种可能的设计中，所述通过第一模型，对所述联合特征分布进行反卷积上采样，生成第二组图像，具体通过如下公式得到：
其中，ζout表示所述第二组图像，Z1表示所述第一特征分布，Z2表示所述第二特征分布，x1表示所述第一图像，x2表示所述第二图像，Z3表示所述联合特征分布。
保证生成图像与输入图像具有相似的图像特征。
在一种可能的设计中，在所述通过第一模型，对所述联合特征分布进行反卷积上采样，生成第二组图像之后，还包括：
根据对所述第三图像和所述第四图像进行分类生成的第一分类损失和第二分类损失，得到第一损失值；
根据所述第一图像与所述第三图像的第一活体特征距离，以及所述第二图像与所述第四图像的第二活体特征距离，得到第二损失值；
根据所述第三图像与所述第四图像的第三活体特征距离，得到第三损失值；
对所述第一损失值、所述第二损失值以及所述第三损失值加权求和，得到模型损失值；
根据所述模型损失值调整所述第一模型中的模型参数，以调整所述第二组图像中各图像的图像特征。
通过上述的方式，保证生成图像的分类结果与预期保持一致，保证生成图像之间的活体特征一致，保证生成图像与输入图像之间的活体特征一致，进一步保证了生成图像的有效性，有效提高第一模型生成图像的性能，并且使得生成图像的性能更加鲁棒。
第二方面，本申请提供了一种生成图像的系统，所述系统包括：
获取模块，用于获取第一目标对象的第一组图像，其中，所述第一组图像包括：所述第一目标对象的无遮挡人脸的第一图像以及所述第一目标对象的有遮挡人脸的第二图像；
计算模块，用于计算所述第一图像的第一特征分布和所述第二图像的第二特征分布；根据所述第一特征分布以及所述第二特征分布，生成联合特征分布；
生成模块，用于通过第一模型，对所述联合特征分布进行反卷积上采样，生成第二组图像，其中，第二组图像包括：第二目标对象无遮挡人脸的第三图像以及第二目标对象有遮挡的人脸的第四图像。
在一种可能的设计中，在所述计算模块，具体用于提取所述第一组图像的第一均值和第一方差，以及提取所述第二图像的第二均值和第二方差；根据所述第一均值以及所述第一方差，得到所述第一图像的第一特征分布；根据所述第二均值以及所述第二方差，得到所述第二图像的第二特征分布；
在一种可能的设计中，在所述生成模块，还用于根据对所述第三图像和所述第四图像进行分类计算生成的第一分类损失和第二分类损失，得到第一损失值；根据所述第一图像与所述第三图像的第一活体特征距离，以及所述第二图像与所述第四图像的第二活体特征距离，得到第二损失值；根据所述第三图像与所述第四图像的第三活体特征距离，得到第三损失值；对所述第一损失值、所述第二损失值以及所述第三损失值加权求和，得到模型损失值；根据所述模型损失值调整所述第一模型中的模型参数，以调整所述第二组图像中各图像的图像特征。
第三方面，本申请提供了一种电子设备，所述电子设备包括：
存储器，用于存放计算机程序；
处理器，用于执行所述存储器上所存放的计算机程序时，实现上述的一种生成图像的方法步骤。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述的一种生成图像的方法步骤。
上述第二方面至第四方面中的各个方面以及各个方面可能达到的技术效果请参照上述针对第一方面或第一方面中的各种可能方案可以达到的技术效果说明，这里不再重复赘述。
附图说明
图1为本申请提供的一种生成图像的系统的结构图；
图2为本申请提供的一种生成图像的方法的流程图；
图3为本申请提供的一种无遮挡的人脸图像的示意图；
图4为本申请提供的一种有遮挡的人脸图像的示意图；
图5为本申请提供的一种生成图像的系统的示意图；
图6为本申请提供的一种电子设备的结构示意图。
具体实施方式
为了解决在遮挡人脸的活体检测中，应用活体样本图像有限的问题，本申请提供了一种生成图像的系统，该系统可以是如图1所示的系统，该系统可以包括一个编码模块、一个解码模块和一个活体检测模块。其中，编码器模块由两个编码器共同构成：第一编码器以及第二编码器。解码模块由解码器构成。活体检测模块由活体检测模型构成。
基于上述的系统，本申请提供了一种可以应用到上述系统中的方法，通过该方法可以有效生成遮挡以及无遮挡人脸的活体或者非活体图像作为训练数据，解决目前人脸的活体检测中有效训练数据有限的问题，有效提高人脸的活体检测的检测准确性。
下面结合附图对本申请所提供的方法作出进一步详细说明。
参阅图2所示，本申请提供了一种生成图像的方法，具体流程如下：
S201：获取第一目标对象的第一组图像；
在本申请中第一组图像包括：第一目标对象的无遮挡人脸的第一图像以及第一目标对象的有遮挡人脸的第二图像。
第一图像以及第二图像在选取上可以适配不同应用场景。第一图像以及第二图像可以通过外红装置获取，也就是说第一图像以及第二图像可以为红外单通道图像。第一图像以及第二图像可以根据实际需求获取，例如通过普通摄像设备，那么第一图像以及第二图像就是彩色三通道图像。第一图像以及第二图像也可以是经过颜色、空间或模式变换获得的图像，例如：HSV、YCrCb、LBP、傅里叶频谱图等。
第一图像中的无遮挡表示图像中的人脸上没有任何遮挡物，如图3所示。第二图像中的有遮挡表示图像中的人脸上存在遮挡物并且遮挡住部分人脸，这里的遮挡物可以是口罩，也可以是其他遮挡物，例如：帽子、墨镜或书本等。在本公开实施例中，遮挡物采用口罩为例，也就是说第二图像为第一目标的有口罩遮挡的人脸图像，如图4所示，本实施例中对于其他遮挡情况将不做具体阐述。
S202：计算得到第一图像的第一特征分布和第二图像的第二特征分布；
具体来说，在本申请中可以通过第一编码器以及第二编码器来对第一图像以及第二图像进行处理得到对应的特征分布，处理方式如下：
第一图像通过第一编码器获得第一均值和第一方差，并且计算第一图像在隐空间的第一独立分布，根据所述第一独立分布得到第一图像的第一特征分布。第二图像通过第二编码器获得第二均值和第二方差，并且计算第二图像在隐空间的第二独立分布，根据所述第二独立分布得到第二图像的第二特征分布。
以第一编码器为例，首先获取第一图像，通过第一编码器得到第一图像的第一均值和第一方差。在这里，用第一均值和第一方差表示第一图像在隐空间的数据特征。
然后，根据第一均值和第一方差，通过计算得到第一图像在隐空间的第一独立分布，计算公式如下公式1所示：
如上式所示，z1表示为第一独立分布，μ1表示为第一均值，σ1表示为第一方差，ε表示为用来保持随机性的随机噪声。
最后，根据所述第一独立分布得到第一图像的第一特征分布，计算公式如下公式2所示：
Z1＝qφ1(z1|x1) (公式2)
如上式所示，Z1表示为第一特征分布，z1表示为第一独立分布，x1表示为第一图像。
以第二编码器为例，首先获取第二图像，通过第二编码器得到第二图像的第二均值和第二方差。在这里，用第二均值和第二方差表示第二图像在隐空间的数据特征。
然后，根据第二均值和第二方差，通过计算得到第二图像在隐空间的第二独立分布，如下公式3所示：
如上式所示，z2表示为第二独立分布，μ2表示为第二均值，σ2表示为第二方差，ε表示为用来保持随机性的随机噪声。
最后，根据所述第二独立分布得到第二图像的第二特征分布，计算公式如下公式4所示：
Z2＝qφ2(z2|x2) (公式4)
如上式所示，Z2表示为第二特征分布，z2表示为第二独立分布，x2表示为第二图像。
通过计算第一组图像的特征分布，不直接对眼睛和反射率等低层次纹理信息进行提取特征，增强针对遮挡人脸提取的特征的描述力，使提取的特征的泛化性更强，能够应对复杂场景下，例如：人脸眼睛被遮挡，人脸角度变化较大等情况。
S203：根据第一特征分布以及第二特征分布，生成联合特征分布；
在本申请中，结合第一特征分布和第二特征分布，用以学习生成具有第一图像和第二图像的活性特征的联合特征分布。在本申请中联合特征分布可以通过第一特征分布以及第二特征分布的通道相加的方法得到。
S204：通过第一模型，对所述联合特征分布进行反卷积上采样，生成第二组图像。
本申请中，第二组图像包括：第二目标对象的无遮挡人脸的第三图像以及第二目标对象的有遮挡人脸的第四图像。在解码模块中，通过所述第一模型，对所述联合特征分布进行反卷积上采样，生成第二组图像，并且，为了使得重构出的第二组图像与第一组图像具有相似的活体特征，计算第一组图像的相对熵，根据所述相对熵来调整第一模型参数，以调整所述第二组图像中个图像的图像特征。
具体来说，第一模型可以是一个卷积神经网络，反卷积在第一模型中完成，反卷积为上采样的一种常见方法，通过反卷积可以根据输入图像特征，实现由小分辨率到大分辨率的映射操作，起到还原的作用，输出图像。因此，在本申请中根据联合特征分布重构输出的第二组图像，并且第二组图像与第一组图像具有相似的图像特征。
本申请的实施例中，通过第一模块生成第二组图像的方法可以如下公式5所示：
在上述公式中，ζout表示经过第一模块重构生成的第二组图像，Z1表示第一特征分布，Z2表示第二特征分布，x1表示第一图像，x2表示第二图像，Z3表示联合特征分布。
在这里，因为获取的第一组图像为活体图像，包含：无遮挡的第一图像以及有遮挡的第二图像，所以生成的第二组图像也为活体图像，包含：生成的无遮挡的第三图像以及有遮挡的第四图像。并且最终解码模块输出图片与输入图片的活体特征相似。
需要注意的是，因为第二组图像与第一组图像具有相似的活体特征，即：如果第一组图像是活体图像，那么第二组图像也是活体图像；如果第一组图像是非活体图像，那么第二组图像也是非活体图像。本申请中，第一组图像可以是具有活体特征的活体图像，也可以是不具有活体特征的非活体图像。在本申请实施例中，以第一组图像是具有活体特征的活体图像为例，另外一种情况可以通过相同的方法得到，本申请实施例中不做具体阐述。
为了使得生成的第二组图像与第一组图像具有相似的活体特征，计算第一组图像的相对熵，根据所述相对熵来调整第一模型参数，以调整所述第二组图像中个图像的图像特征，在本申请实施例中，计算第一组图像的相对熵的方法如下：
针对第一组图像：计算第一图像的第一特征分布与第一高斯分布之间的第一分布距离，其中，第一高斯分布为第一独立分布的单位高斯分布；计算第二图像的第二特征分布与第二高斯分布之间的第二分布距离，其中，第二高斯分布为第二独立分布的单位高斯分布，根据所述第一分布距离与第二分布距离，得到第一组图像的相对熵。
相对熵，又名KL散度，是指两个概率分布p和q差别的非对称性的度量，一般用于衡量两个随机分布之间的距离。当两个随机分布相同时，它们的相对熵为零；当两个随机分布的差别增大时，它们的相对熵也会增大。
具体来说，在这里使用相对熵来度量第一组图像中的各个图像的特征分布和单位高斯分布之间的差异，以此可以保证分布与分布的差异性，例如，第一图像和第二图像都具有活体特征，那么根据它们重构生成的第三图像和第四图像也都应该具有活体特征，也就是关于第三图像和第四图像提取出的活体特征应该与第一图像和第二图像保持一致。
因此，为使得生成的第二组图像与第一组图像具有相似的活性特征，需要减小第一组图像的相对熵，得到第一组图像的相对熵的方法可以如下公式6所示：
ζkl＝Dkl(qφ1(z1|x1)||p(z1))+Dkl(qφ2(z2|x2)||p(z2)) (公式6)
在上述公式中，以ζkl表示第一组图像的相对熵：由第一图像的第一分布距离Dkl(qφ1(z1|x1)||p(z1))以及第二图像的第二分布距离Dkl(qφ2(z2|x2)||p(z2))求和得到。其中，qφ1(z1|x1)表示所述第一特征分布，p(z1)表示所述第一独立分布的第一高斯分布，qφ2(z2|x2)表示所述第二特征分布，p(z2)表示所述第二独立分布的第二高斯分布。
根据所述相对熵调整所述第一模型中的模型参数，使得重构生成第二组图像中各图像与第一组图像的活性特征相似。
通过以上方法，在本申请中首先对输入的活体或者非活体图像提取特征生成特征分布，然后基于得到特征分布生成联合特征分布，最后通过对联合特征分布进行反卷积上采样重构输出新的活体或者非活体图像，解决了当前活体或者非活体样本图像有限的问题，达到可以根据实际需求生成大量活体或者非活体样本图像的目的。
在上述方法基础上，为了能保证生成活体或者非活体图像的有效性，以及提高在人脸无遮挡和有遮挡两种情况下的活体检测的适配性。在本申请中还提供了如下方法：
为了减小第二组图像中各图像的分类结果与预期的差异，减小第二组图像与第一组图像之间的活体特征的差异，以及减小第二组图像中各图像的活体特征的差异，在活体检测模块中，可以预设定一个轻量级的活体检测特征提取模型用于提取图像活体特征，并且引入一个模型损失值作为调整第一模型的模型参数，以调整第二组图像中各图像的图像特征，通过减小模型损失值，保证生成的第二组图像的有效性。
本申请中，所述模型损失值中的损失表示第二组图像中各图像的分类结果与预期之间产生的活性特征的损失、第二组图像与第一组图像之间产生的活性特征的损失以及第三图像和第四图像之间产生的活性特征的损失。
因此模型损失值在这里可以由三个方面构成，包括：第一方面，限制第三图像和第四图像的分类结果与预期之间的差异，并以第一损失值表示计算得到的差异值；第二方面，限制第二组图像与第一组图像之间的活体特征的差异，并以第二损失值表示计算得到的两组图像之间距离的差异值；第三方面，限制第三图像和第四图像之间的活体特征的差异，并以第三损失值表示第三图像与第四图像之间距离的差异值。
本申请中，模型损失值求解方法可以如下公式7所示：
ζall＝αζcls+βζin-out+χζpair (公式7)
如上式所示，其中，ζall表示模型损失值，ζcls表示第一损失值，ζin-out表示第二损失值，ζpair表示第三损失值，α、β、χ分别表示第一损失值、第二损失值、第三损失值的权重系数。所述权重系数的作用是加大所述配对损失的比重。
为了保证第二组图像的有效性，需要减小模型损失值，由公式7可知，减小模型损失值，需要减小第一损失值、第二损失值或第三损失值中的任意一个或者都减小。下面将针对所述第一损失值、所述第二损失值以及所述第三损失值的求解方法分为三个部分作具体说明：
第一部分，在这个部分将对第一损失值的求解方法作具体说明。
第一损失值为限制第三图像和第四图像的分类结果与预期差异的损失值，通过减小第一损失值，减小了第三图像和第四图像的分类结果与预期的差异性，保证第二组图像中的各个图像在分类中的准确性。
本申请中，将同时采用第一组图像以及第二组图像，其中：首先通过活体检测特征提取模型提取第三图像以及第四图像的活体特征，并且根据第一图像以及第二图像的标签作为分类标签，采用二分类交叉熵损失函数作为监督对第三图像以及第四图像进行人脸活体的有监督学习分类，通过分类得到第三图像以及第四图像各自分类结果与分类标签的差异性，也就是第一图像的第一分类损失值和第二图像的第二分类损失值。对所述第一分类损失值和第二分类损失值求和得到第一损失值，即在这里第一损失值表示为第三图像和第四图像的分类结果与预期，表示为分类结果与预设标签之间的差异。
具体来说，二分类交叉熵损失函数公式如下式公式8所示：
如上式所示，C代表样本数量，Lcls是预测C个样本为正例的得分，pj是模型预测第j个样本的正例的概率，yj是第j个样本的标签，如果第j个样本属于正例，取值为1，否则取值为0。通过二分类交叉熵损失函数可以表示在分类中实际输出分类结果与预设标签之间的差异。
举例来说，针对第三图像，将第三图像作为样本，第一图像作为标签，应用二分类交叉熵损失函数得到第一分类损失值Lcls1，在这里第一分类损失值表示第三图像为活体或者非活体的分类结果与第一图像的标签之间的差异性。
针对第四图像，将第四图像作为样本，第二图像作为标签，应用二分类交叉熵损失函数得到第二分类损失值Lcls2，在这里第二分类损失值表示第四图像为活体或者非活体的分类结果与第二图像的标签之间的差异。
根据第一分类损失值与第二分类损失值，得到第一损失值的方法如下公式9所示：
ζcls＝Lcls1+Lcls2 (公式9)
如上公式所述，ζcls表示第一损失值，Lcls1表示第一分类损失值，Lcls2表示第二分类损失值。
通过第一损失值，控制第二组图像中各图像的分类结果与预测之间的差异，提升了模型的拟合度。
第二部分，在这个部分将对第二损失值的求解方法作具体说明。
第二损失值为限制第二组图像与第一组图像之间的活体特征的差异的损失值，通过所述第二损失值保证第二组图像和第一组图像之间的活性特征的统一性。
本申请中，根据活体检测特征模型提取的第一组图像以及第二组图像的活体特征，得到第一图像与第三图像之间的第一活体特征距离，以及第二图像与第四图像之间的第二活体特征距离，然后根据所述第一活体特征距离以及第二活体特征距离，得到表示第二组图像与第一组图像之间差异性的第二损失值。
具体来说，所述活体检测特征模型的本质是对输入该模型的图像提取活性特征，在活体检测特征模型中，使用Flv()表示预定义的轻量级的活体检测特征模型的输出结果。用第一活体特征Flv(x1)来表示第一图像经过所述特征模型提取的活体特征的输出结果，用第二活体特征Flv(x2)来表示第二图像经过所述特征模型提取的活体特征的输出结果。并且，把第三图像定义为
把第四图像定义为
用第三活体特征
来表示第三图像经过所述特征模型提取的活体特征的输出结果；用第四活体特征
来表示第四图像经过所述特征模型提取的活体特征的输出结果。
通过活体检测特征模型对第一组图像以及第二组图像提取活体特征后，计算第一活体特征与第三活体特征的第一活体特征距离，以及第二活体特征与第四活体特征的第二活体特征距离，根据所述第一活体特征距离以及第二活体特征距离，得到第二损失值，计算所述第二损失值的方法可以如下公式10所示：
如上式所示，ζin-out表示第二损失值，
表示第一活体特征距离，
表示第二活体特征距离，
表示第三活体特征，Flv(x1)表示第一活体特征，
表示第四活体特征，Flv(x2)表示第二活体特征。
通过第二损失值，控制第二组图像与第一组图像之间的活体特征的差异，提高了模型的鲁棒性。
第三部分，在这个部分将对第三损失值的求解方法作具体说明。
第三损失值为限制第三图像与第四图像之间的活体特征的差异的损失值，通过所述第三损失值保证生成的第三图像与第四图像的活性特征的统一性。
本申请中，根据计算第三活体特征以及第四活体特征的第三活体特征距离，得到第三损失值，所述第三损失值即为第三活体特征距离，在此第三损失值表示第三图像与第四图像之间的活体特征的差异性。
具体来说，第三损失值，也就是第三活体特征距离可以通过计算输出与标签的距离得到。将第三活体特征与第四活体特征作为输出，并且互为标签，例如：在第三活体特征作为输出时，第四活体特征作为标签；在第四活体特征作为输出时，第三活体特征作为标签。
在此，使第三活体特征与第四活体特征作为输出，并且互为标签的前提是：因为第二组图像是由第一组图像重构生成，第二组图像与第一组图像具有相似的活性特征，所以第二组图像与第一组图像的标签相同，例：第一组图像中各图像的标签为活体，那么第二组图像中各图像的标签也为活体，并且在第二组图像中，若第三图像为活体，那么第四图像也为活体；第一组图像中各图像的标签为非活体，那么第二组图像各图像的标签为非活体，并且若第三图像为非活体，那么第四图像也为非活体。
为了控制第三图像与第四图像之间的活体特征的差异，计算第三损失值的方法可以如下公式11所示：
在上述公式中，ζpair表示第三损失值，
表示第三活体特征，
表示第四活体特征，
表示第三活体特征距离。
通过第三损失值，控制第三图像和第四图像之间的活体特征的差异，保证生成框架的效率。
在上述三个部分中，具体阐述计算第一损失值、第二损失值以及第三损失值的方法。根据对所述第一损失值、第二损失值以及第三损失值加权求和，得到模型损失值。模型损失值在第一模型中作为优化系统模型的参数，使得在训练过程中生成活体人脸图像具有相似的图像特征。
通过上述的方式，第三图像以及第二图像的分类结果与预期保持一致，第一组图像与第二组图像的活体特征保持一致，第三图像与第四图像之间的活体特征保持一致。模型损失值进一步保证了生成图像的有效性，有效提高第一模型生成图像的性能，并且使得生成图像的性能更加鲁棒。
基于同一发明构思，本申请还提供了一种生成图像的系统，用以实现有效生成遮挡以及无遮挡人脸的活体或者非活体图像，解决目前人脸的活体检测中有效训练数据有限的问题，有效提高人脸的活体检测的检测准确性，参见图5，该系统包括：
获取模块501，用于获取第一目标对象的第一组图像，其中，所述第一组图像包括：所述第一目标对象的无遮挡人脸的第一图像以及所述第一目标对象的有遮挡人脸的第二图像；
计算模块502，用于计算所述第一图像的第一特征分布和所述第二图像的第二特征分布；根据所述第一特征分布以及所述第二特征分布，生成联合特征分布；
生成模块503，用于通过第一模型，对所述联合特征分布进行反卷积上采样，生成第二组图像，其中，第二组图像包括：第二目标对象无遮挡人脸的第三图像以及第二目标对象有遮挡的人脸的第四图像。
在一种可能的设计中，所述计算模块502，具体用于提取所述第一组图像的第一均值和第一方差，以及提取所述第二图像的第二均值和第二方差；根据所述第一均值以及所述第一方差，得到所述第一图像的第一特征分布；根据所述第二均值以及所述第二方差，得到所述第二图像的第二特征分布。
在一种可能的设计中，所述生成模块503，还用于根据对所述第三图像和所述第四图像进行分类计算生成的第一分类损失和第二分类损失，得到第一损失值；根据所述第一图像与所述第三图像的第一活体特征距离，以及所述第二图像与所述第四图像的第二活体特征距离，得到第二损失值；根据所述第三图像与所述第四图像的第三活体特征距离，得到第三损失值；对所述第一损失值、所述第二损失值以及所述第三损失值加权求和，得到模型损失值；根据所述模型损失值调整所述第一模型中的模型参数，以调整所述第二组图像中各图像的图像特征。
基于上述系统，有效生成大量遮挡以及无遮挡人脸的活体或者非活体图像，保证生成图像的性能的鲁棒性，并且使生成图像可以直接应用人脸活体检测算法训练，有效提高遮挡人脸的活体检测效果。
基于同一发明构思，本申请实施例中还提供了一种电子设备，所述电子设备可以实现前述一种生成图像的系统的功能，参考图6，所述电子设备包括：
至少一个处理器601，以及与至少一个处理器601连接的存储器602，本申请实施例中不限定处理器601与存储器602之间的具体连接介质，图6中是以处理器601和存储器602之间通过总线600连接为例。总线600在图6中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线600可以分为地址总线、数据总线、控制总线等，为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。或者，处理器601也可以称为控制器，对于名称不做限制。
在本申请实施例中，存储器602存储有可被至少一个处理器601执行的指令，至少一个处理器601通过执行存储器602存储的指令，可以执行前文论述的生成图像方法。处理器601可以实现图5所示的系统中各个模块的功能。
其中，处理器601是该系统的控制中心，可以利用各种接口和线路连接整个该控制设备的各个部分，通过运行或执行存储在存储器602内的指令以及调用存储在存储器602内的数据，该系统的各种功能和处理数据，从而对该系统进行整体监控。
在一种可能的设计中，处理器601可包括一个或多个处理单元，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。在一些实施例中，处理器601和存储器602可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
处理器601可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的生成图像方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器602作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器602可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器602是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器602还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
通过对处理器601进行设计编程，可以将前述实施例中介绍的生成图像方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行图2所示的实施例的生成图像方法的步骤。如何对处理器601进行设计编程为本领域技术人员所公知的技术，这里不再赘述。
基于同一发明构思，本申请实施例还提供一种存储介质，该存储介质存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行前文论述生成图像方法。
在一些可能的实施方式中，本申请提供的生成图像方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在装置上运行时，程序代码用于使该控制设备执行本说明书上述描述的根据本申请各种示例性实施方式的生成图像方法中的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种生成图像的方法，其特征在于，所述方法包括：
获取第一目标对象的第一组图像，其中，所述第一组图像包括：所述第一目标对象的无遮挡人脸的第一图像以及所述第一目标对象的有遮挡人脸的第二图像，所述第一图像以及所述第二图像为红外单通道图像；
计算所述第一图像的第一特征分布和所述第二图像的第二特征分布；
根据所述第一特征分布以及所述第二特征分布，生成联合特征分布；
通过第一模型，对所述联合特征分布进行反卷积上采样，生成第二组图像，其中，第二组图像包括：第二目标对象无遮挡人脸的第三图像以及第二目标对象有遮挡的人脸的第四图像；
基于所述第一组图像与所述第二组图像的活体特征距离，得到模型损失值，根据所述模型损失值调整所述第一模型中的模型参数，以调整所述第二组图像中各图像的图像特征。
2.如权利要求1所述的方法，其特征在于，所述计算得到第一图像的第一特征分布和第二图像的第二特征分布，包括：
提取所述第一组图像的第一均值和第一方差，以及提取所述第二图像的第二均值和第二方差；
根据所述第一均值以及所述第一方差，得到所述第一图像的第一特征分布；
根据所述第二均值以及所述第二方差，得到所述第二图像的第二特征分布。
3.如权利要求1所述的方法，其特征在于，在所述通过第一模型，对所述联合特征分布进行反卷积上采样，生成第二组图像之前，还包括：
获取所述第一图像的第一高斯分布以及第二图像的第二高斯分布；
根据所述第一高斯分布与所述第一特征分布的第一分布距离，以及所述第二高斯分布与所述第二特征分布的第二分布距离，得到所述第一组图像的相对熵；
根据所述相对熵调整所述第一模型中的模型参数，以调整所述第二组图像中各图像的图像特征。
4.如权利要求1所述的方法，其特征在于，所述通过第一模型，对所述联合特征分布进行反卷积上采样，生成第二组图像，具体通过如下公式得到：
其中，ζout表示所述第二组图像，Z1表示所述第一特征分布，Z2表示所述第二特征分布，x1表示所述第一图像，x2表示所述第二图像，Z3表示所述联合特征分布。
5.如权利要求1所述的方法，其特征在于，所述基于所述第一组图像与所述第二组图像的活体特征距离，得到模型损失值，包括：
根据对所述第三图像和所述第四图像进行分类计算生成的第一分类损失和第二分类损失，得到第一损失值；
根据所述第一图像与所述第三图像的第一活体特征距离，以及所述第二图像与所述第四图像的第二活体特征距离，得到第二损失值；
根据所述第三图像与所述第四图像的第三活体特征距离，得到第三损失值；
对所述第一损失值、所述第二损失值以及所述第三损失值加权求和，得到模型损失值。
6.一种生成图像的系统，其特征在于，所述系统包括：
获取模块，用于获取第一目标对象的第一组图像，其中，所述第一组图像包括：所述第一目标对象的无遮挡人脸的第一图像以及所述第一目标对象的有遮挡人脸的第二图像，所述第一图像以及所述第二图像为红外单通道图像；
计算模块，用于计算所述第一图像的第一特征分布和所述第二图像的第二特征分布；根据所述第一特征分布以及所述第二特征分布，生成联合特征分布；
生成模块，用于通过第一模型，对所述联合特征分布进行反卷积上采样，生成第二组图像，其中，第二组图像包括：第二目标对象无遮挡人脸的第三图像以及第二目标对象有遮挡的人脸的第四图像；基于所述第一组图像与所述第二组图像的活体特征距离，得到模型损失值，根据所述模型损失值调整所述第一模型中的模型参数，以调整所述第二组图像中各图像的图像特征。
7.如权利要求6所述的系统，其特征在于，所述计算模块，具体用于提取所述第一组图像的第一均值和第一方差，以及提取所述第二图像的第二均值和第二方差；根据所述第一均值以及所述第一方差，得到所述第一图像的第一特征分布；根据所述第二均值以及所述第二方差，得到所述第二图像的第二特征分布。
8.如权利要求6所述的系统，其特征在于，所述生成模块，还用于根据对所述第三图像和所述第四图像进行分类计算生成的第一分类损失和第二分类损失，得到第一损失值；根据所述第一图像与所述第三图像的第一活体特征距离，以及所述第二图像与所述第四图像的第二活体特征距离，得到第二损失值；根据所述第三图像与所述第四图像的第三活体特征距离，得到第三损失值；对所述第一损失值、所述第二损失值以及所述第三损失值加权求和，得到模型损失值。
9.一种电子设备，其特征在于，包括：
存储器，用于存放计算机程序；
处理器，用于执行所述存储器上所存放的计算机程序时，实现权利要求1-5中任一项所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110645535.4A CN113421317B (zh) | 2021-06-10 | 2021-06-10 | 一种生成图像的方法、系统及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110645535.4A CN113421317B (zh) | 2021-06-10 | 2021-06-10 | 一种生成图像的方法、系统及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113421317A CN113421317A (zh) | 2021-09-21 |
| CN113421317B true CN113421317B (zh) | 2023-04-18 |
Family
ID=77788196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110645535.4A Active CN113421317B (zh) | 2021-06-10 | 2021-06-10 | 一种生成图像的方法、系统及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113421317B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116311553B (zh) * | 2023-05-17 | 2023-08-15 | 武汉利楚商务服务有限公司 | 应用于半遮挡图像下的人脸活体检测方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111626163A (zh) * | 2020-05-18 | 2020-09-04 | 浙江大华技术股份有限公司 | 一种人脸活体检测方法、装置及计算机设备 |
| CN112329720A (zh) * | 2020-11-26 | 2021-02-05 | 杭州海康威视数字技术股份有限公司 | 人脸活体检测方法、装置及设备 |
| CN112926464A (zh) * | 2021-03-01 | 2021-06-08 | 创新奇智(重庆)科技有限公司 | 一种人脸活体检测方法以及装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111753595A (zh) * | 2019-03-29 | 2020-10-09 | 北京市商汤科技开发有限公司 | 活体检测方法和装置、设备和存储介质 |
| CN111353411A (zh) * | 2020-02-25 | 2020-06-30 | 四川翼飞视科技有限公司 | 一种基于联合损失函数的遮挡人脸的识别方法 |
| CN111639545B (zh) * | 2020-05-08 | 2023-08-08 | 浙江大华技术股份有限公司 | 一种人脸识别方法、装置、设备及介质 |
| CN111667403B (zh) * | 2020-07-02 | 2023-04-18 | 北京爱笔科技有限公司 | 一种有遮挡的人脸图像的生成方法及装置 |
| CN112528764B (zh) * | 2020-11-25 | 2021-09-03 | 杭州欣禾圣世科技有限公司 | 人脸表情识别方法、系统、装置及可读存储介质 |
-
2021
- 2021-06-10 CN CN202110645535.4A patent/CN113421317B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111626163A (zh) * | 2020-05-18 | 2020-09-04 | 浙江大华技术股份有限公司 | 一种人脸活体检测方法、装置及计算机设备 |
| CN112329720A (zh) * | 2020-11-26 | 2021-02-05 | 杭州海康威视数字技术股份有限公司 | 人脸活体检测方法、装置及设备 |
| CN112926464A (zh) * | 2021-03-01 | 2021-06-08 | 创新奇智(重庆)科技有限公司 | 一种人脸活体检测方法以及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113421317A (zh) | 2021-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11734851B2 (en) | Face key point detection method and apparatus, storage medium, and electronic device | |
| CN108256562B (zh) | 基于弱监督时空级联神经网络的显著目标检测方法及系统 | |
| Byeon et al. | Contextvp: Fully context-aware video prediction | |
| KR102113911B1 (ko) | 생체 인식 인증을 위한 특징 추출 및 정합과 템플릿 갱신 | |
| WO2022078041A1 (zh) | 遮挡检测模型的训练方法及人脸图像的美化处理方法 | |
| CN111079764B (zh) | 一种基于深度学习的低照度车牌图像识别方法及装置 | |
| US20230021661A1 (en) | Forgery detection of face image | |
| US20170357847A1 (en) | Biologically inspired apparatus and methods for pattern recognition | |
| CN111860398B (zh) | 遥感图像目标检测方法、系统及终端设备 | |
| CN113066034B (zh) | 人脸图像的修复方法与装置、修复模型、介质和设备 | |
| CN110163111A (zh) | 基于人脸识别的叫号方法、装置、电子设备及存储介质 | |
| CN111695462A (zh) | 一种人脸识别方法、装置、存储介质和服务器 | |
| KR20170038622A (ko) | 영상으로부터 객체를 분할하는 방법 및 장치 | |
| JP7357176B1 (ja) | 周波数領域における自己注意機構に基づく夜間オブジェクト検出、訓練方法及び装置 | |
| Choi et al. | Face detection using haar cascade classifiers based on vertical component calibration | |
| CN112634246A (zh) | 一种口腔图像识别方法及相关设备 | |
| KR20210037632A (ko) | 생체 검출 방법 및 장치 | |
| Yu et al. | FS-GAN: Fuzzy Self-guided structure retention generative adversarial network for medical image enhancement | |
| CN117576405A (zh) | 舌象语义分割方法、装置、设备及介质 | |
| CN115631112B (zh) | 一种基于深度学习的建筑轮廓矫正方法及装置 | |
| CN113421317B (zh) | 一种生成图像的方法、系统及电子设备 | |
| CN111488811A (zh) | 人脸识别方法、装置、终端设备及计算机可读介质 | |
| CN113269812B (zh) | 图像预测模型的训练及应用方法、装置、设备、存储介质 | |
| CN117115031A (zh) | 一种基于非配对学习的cbct金属伪影去除方法及系统 | |
| US20230376766A1 (en) | Systems, methods, and media for generating and using neural networks having improved efficiency for analyzing video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |