CN107958235B - 一种人脸图像检测方法、装置、介质和电子设备 - Google Patents
一种人脸图像检测方法、装置、介质和电子设备 Download PDFInfo
- Publication number
- CN107958235B CN107958235B CN201711460256.0A CN201711460256A CN107958235B CN 107958235 B CN107958235 B CN 107958235B CN 201711460256 A CN201711460256 A CN 201711460256A CN 107958235 B CN107958235 B CN 107958235B
- Authority
- CN
- China
- Prior art keywords
- signal
- sampling
- face image
- sampling signal
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种人脸图像检测方法、装置、介质和电子设备。方法包括:获取原始人脸图像;按照预设的采样规则对原始人脸图像进行采样,获得原始人脸图像对应在不同频段的不同采样信号;依据获得的不同采样信号,得到目标人脸图像;将得到的目标人脸图像作为预先训练好的卷积神经网络分类模型的输入,利用卷积神经网络分类模型对目标人脸图像进行检测,获取卷积神经网络分类模型输出的对应目标人脸图像的数值;判断数值是否小于第一预设阈值;如果小于,确定原始人脸图像为非法人脸图像。本发明实施例能够准确地识别出视频翻拍得到的人脸图像,防范视频翻拍攻击行为,提高人脸图像的检测准确性。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种视频翻拍的人脸图像检测方法、装置、介质和电子设备。
背景技术
人脸识别技术已广泛应用于金融、保险、安防、管理等各种领域,用以实现对客户身份的合法性验证。然而由于现有人脸识别技术存在的安全漏洞,仿冒客户的违法违规行为开始层出不穷。
目前对人脸识别系统常用的欺骗手段主要包括三类:1)合法用户的照片;2)合法用户的视频;3)合法用户的三维模型。
制作合法用户的三维模型成本较高、工艺复杂、实现困难,在实际应用中很少应用到,相较之,合法用户的照片和合法用户的视频很容易获取到,因此照片和视频便成为目前欺骗人脸识别系统最为常用的手段。
为了提高人脸识别系统对于人脸图像的检测准确性,在人脸识别技术中提出了活体检测技术。目前的活体检测技术包括指令式活体检测方法和非指令式无感活体检测方法,其中指令式活体检测方法是指用户根据系统发出的指令做出指定的眨眼、张嘴等动作,从而完成活体检测;非指令式无感活体检测方法是指用户不需要做出动作,系统自动根据视频画面的变化自动完成活体检测。通过在人脸识别技术中加入活体检测技术,能够有效地识别出人脸图像为合法用户的照片的情况,从而避免非法用户利用合法用户的照片欺骗人脸识别系统。
然而本发明的发明人发现,由于合法用户的视频中可能包含有合法用户的头部运动、面部动作等活体的生理信息,利用视频中合法用户的头部运动、面部动作等活体的生理信息是可以验证通过目前的活体检测技术的,也就是说,目前的活体检测技术不能很好地识别出基于合法用户的视频得到的人脸图像,人脸识别系统存在以视频翻拍方式进行攻击的安全隐患,人脸图像的检测准确性有待提高。
发明内容
有鉴于此,本发明提供一种人脸图像检测方法、装置、介质和电子设备,能够准确地识别出视频翻拍得到的人脸图像,防范视频翻拍攻击行为,提高人脸图像的检测准确性。技术方案如下:
基于本发明实施例的一方面,本发明实施例提供一种人脸图像检测方法,包括:
获取原始人脸图像;
按照预设的采样规则对所述原始人脸图像进行采样,获得所述原始人脸图像对应在不同频段的不同采样信号;
依据获得的不同采样信号,得到目标人脸图像,所述目标人脸图像中的细节信息相比于所述原始人脸图像中的细节信息被放大;
将得到的所述目标人脸图像作为预先训练好的卷积神经网络分类模型的输入,利用所述卷积神经网络分类模型对所述目标人脸图像进行检测,获取所述卷积神经网络分类模型输出的对应所述目标人脸图像的数值;
判断所述数值是否小于第一预设阈值;
如果小于,确定所述原始人脸图像为非法人脸图像。
可选地,所述按照预设的采样规则对所述原始人脸图像进行采样,获得所述原始人脸图像对应在不同频段的不同采样信号包括:
对所述原始人脸图像进行奇数列和偶数列地采样,得到第一奇数列信号和第一偶数列信号;
对所述第一奇数列信号和第一偶数列信号进行差分运算,得到第一差分信号,并从所述第一奇数列信号和第一偶数列信号中任意选取一个作为第一采样信号;
对所述第一差分信号进行奇数行和偶数行地采样,得到第二采样信号和第三采样信号;
对所述第二采样信号和第三采样信号进行差分运算,得到第二差分信号,并从所述第二采样信号和第三采样信号中任意选取一个作为第一目标采样信号;
对所述第一采样信号进行奇数行和偶数行地采样,得到第四采样信号和第五采样信号;
对所述第四采样信号和第五采样信号进行差分运算,得到第三差分信号,并从所述第四采样信号和第五采样信号中任意选取一个作为第二目标采样信号;
对所述第二目标采样信号进行奇数列和偶数列地采样,得到第二奇数列信号和第二偶数列信号;
对所述第二奇数列信号和第二偶数列信号进行差分运算,得到第四差分信号,并从所述第二奇数列信号和第二偶数列信号中任意选取一个作为第六采样信号;
对所述第四差分信号进行奇数行和偶数行地采样,得到第七采样信号和第八采样信号;
对所述第七采样信号和第八采样信号进行差分运算,得到第五差分信号,并从所述第七采样信号和第八采样信号中任意选取一个作为第三目标采样信号;
对所述第六采样信号进行奇数行和偶数行地采样,得到第九采样信号和第十采样信号;
对所述第九采样信号和第十采样信号进行差分运算,得到第六差分信号,并从所述第九采样信号和第十采样信号中任意选取一个作为第四目标采样信号;
所述第二差分信号、所述第一目标采样信号、所述第三差分信号、所述第五差分信号、所述第三目标采样信号、所述第六差分信号和所述第四目标采样信号为获得的所述原始人脸图像对应在不同频段的不同采样信号。
可选地,依据获得的不同采样信号,得到目标人脸图像包括:
滤除所述第四目标采样信号;
采用小波逆变换方法,将所述第二差分信号、所述第一目标采样信号、所述第三差分信号、所述第五差分信号、所述第三目标采样信号、和所述第六差分信号合成得到所述目标人脸图像。
可选地,所述卷积神经网络分类模型采用如下方法训练得到:
确定训练样本集,所述训练样本集包括合法人脸图像和非法人脸图像;
对所述训练样本集中的各个人脸图像分别进行预处理,所述预处理包括灰度化处理、值域归一化处理和尺寸归一化处理中的至少一个;
构建卷积神经网络的软件架构,所述卷积神经网络的软件架构至少包括所述卷积神经网络分类模型的处理算法以及所述卷积神经网络分类模型训练停止的目标函数;
将所述训练样本集中预处理后的人脸图像依次输入所述卷积神经网络的软件架构进行训练,直至所述目标函数满足预设的训练停止条件,保存训练结果;
依据所述训练结果,得到所述卷积神经网络分类模型。
可选地,所述卷积神经网络分类模型的处理算法包括卷积运算、池化运算、全连接运算中的至少一个;
所述目标函数基于残差最小原理确定得到;
所述将所述训练样本集中预处理后的人脸图像依次输入所述卷积神经网络的软件架构进行训练,直至所述目标函数满足预设的训练停止条件,保存训练结果包括:
将所述训练样本集中预处理后的人脸图像通过单个计算循环,全部输入至所述神经网络的软件架构中进行运算,通过梯度下降法,在所述目标函数的误差小于第二预设阈值时,保存训练结果;所述训练结果至少包括卷积核参数、各神经元间的连接权值。
可选地,所述得到所述卷积神经网络分类模型之后,所述方法还包括:
将测试样本集输入至所述卷积神经网络分类模型,所述测试样本集包括至少一个预处理后的测试人脸图像;
获取所述卷积神经网络分类模型输出的对应所述测试样本集的测试数值;
当所述测试数值与所述测试样本的实际数值间的误差值大于第三阈值,则确定新的训练样本集,并基于所述新的训练样本集对所述卷积神经网络分类模型进行训练。
可选地,所述确定所述原始人脸图像为非法人脸图像时,所述方法还包括:
获取连续的N帧原始人脸图像,采用权利要求1-6任一项所述的人脸图像检测方法确定所述连续的N帧原始人脸图像中各个原始人脸图像分别是合法人脸图像或非法人脸图像,N为正整数;
基于对所述N帧原始人脸图像的确定结果,确定是否存在视频翻拍攻击行为。
基于本发明实施例的另一方面,本发明实施例提供一种人脸图像检测装置,包括:
图像获取单元,用于获取原始人脸图像;
采样单元,用于按照预设的采样规则对所述原始人脸图像进行采样,获得所述原始人脸图像对应在不同频段的不同采样信号;
目标人脸图像获取单元,用于依据获得的不同采样信号,得到目标人脸图像,所述目标人脸图像中的细节信息相比于所述原始人脸图像中的细节信息被放大;
训练单元,用于将得到的所述目标人脸图像作为预先训练好的卷积神经网络分类模型的输入,利用所述卷积神经网络分类模型对所述目标人脸图像进行检测,获取所述卷积神经网络分类模型输出的对应所述目标人脸图像的数值;
判断单元,用于判断所述数值是否小于第一预设阈值;
人脸图像合法性确定单元,用于在所述判断单元判断所述数值小于第一预设阈值时,确定所述原始人脸图像为非法人脸图像。
基于本发明实施例的再一方面,本发明实施例提供一种存储介质,其上存储有程序,所述程序被处理器执行时实现前文所述的人脸图像检测方法。
基于本发明实施例的再一方面,本发明实施例提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行前文所述的人脸图像检测方法。
本发明实施例提供的人脸图像检测方法、装置、介质和电子设备中,通过按照预设的采样规则对原始人脸图像进行采样,获得原始人脸图像对应在不同频段的不同采样信号,进而依据获得的不同采样信号,得到目标人脸图像,该得到的目标人脸图像中的细节信息相比于原始人脸图像中的细节信息被放大,因此对于视频翻拍的人脸图像所产生的屏幕纹理信息会被凸显出来。
进一步将目标人脸图像输入至预先训练好的卷积神经网络分类模型,利用卷积神经网络分类模型对目标人脸图像进行检测,获取卷积神经网络分类模型输出的对应目标人脸图像的数值。当判断数值小于第一预设阈值时,确定原始人脸图像为非法人脸图像。本发明实施例通过对人脸图像进行频谱分析,并利用预先训练好的卷积神经网络分类模型进行检测,能够准确地识别出视频翻拍的非法人脸图像和用户实际真实的合法人脸图像,从而及时发现视频翻拍攻击行为,提高了人脸图像的检测准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种人脸图像方法的流程图;
图2为本发明实施例中对原始人脸图像进行采样的方法的流程图;
图3为本发明实施例中对原始人脸图像进行采样的流程示意图;
图4为本发明实施例中卷积神经网络分类模型进行训练的方法流程图;
图5为本发明实施例中卷积神经网络图像处理过程示意图;
图6为本发明实施例中单个神经元加权累加示意图;
图7为本发明实施例中单层神经网络加权累加示意图;
图8为本发明实施例提供的一种人脸图像装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的发明人发现,视频翻拍的人脸图像与现场用户拍摄的真实人脸图像在频谱分布上存在较大差异。对于视频翻拍的人脸图像,由于视频显示器与捕获人脸图像的摄像机间的刷新频率不同,因此摄像机从视频显示器中捕获到的人脸图像掺杂了大量的高频信息,而对于现场用户拍摄的真实人脸图像,除人脸面部区域的高频信息较丰富外,其他区域的高频信息较少甚至没有。
基于此,本发明实施例提供一种人脸图像检测方法,如图1所示,方法包括:
步骤101,获取原始人脸图像。
本发明实施例提供的人脸图像检测方法可以应用于电脑、平板电脑、手机等具有摄像功能的电子设备上,通过控制打开电子设备上的摄像装置,如摄像头,来捕获人脸图像。
本发明实施例中的原始人脸图像为视频翻拍的人脸图像(非法人脸图像)或现场用户拍摄的真实人脸图像(合法人脸图像)。
步骤102,按照预设的采样规则对所述原始人脸图像进行采样,获得所述原始人脸图像对应在不同频段的不同采样信号。
在获取到原始人脸图像后,本发明实施例首先按照预设的采样规则对原始人脸图像进行采样,获得原始人脸图像对应在不同频段的不同采样信号。其中,预设的采样规则例如为低频、高频采样规则。
下面发明人以低频、高频三次采样规则为例,对本发明实施例中涉及的对原始人脸图像进行采样的具体实现方法进行详细说明。结合图2、图3所示:
步骤201,对所述原始人脸图像进行奇数列和偶数列地采样,得到第一奇数列信号和第一偶数列信号。
本发明实施例首先对原始人脸图像按照奇数列和偶数列进行抽取采样,得到第一奇数列信号(亦称奇数列图像)F1和第一偶数列信号(亦称偶数列图像)F2。
步骤202,对所述第一奇数列信号和第一偶数列信号进行差分运算,得到第一差分信号,并从所述第一奇数列信号和第一偶数列信号中任意选取一个作为第一采样信号。
对于得到的第一奇数列信号F1和第一偶数列信号F2,对其进行差分运算,得到第一差分信号H,并从该第一奇数列信号F1和第一偶数列信号F2中任意选取一个作为第一采样信号L。
需要说明的是,第一差分信号H和第一采样信号L相对而言,第一差分信号H为高频差分信号,第一采样信号L为低频采样信号。
步骤203,对所述第一差分信号进行奇数行和偶数行地采样,得到第二采样信号和第三采样信号。
对于第一差分信号H,继续对其进行奇数行和偶数行地抽取采样,得到第二采样信号H1和第三采样信号H2。
步骤204,对所述第二采样信号和第三采样信号进行差分运算,得到第二差分信号,并从所述第二采样信号和第三采样信号中任意选取一个作为第一目标采样信号。
对于得到的第二采样信号H1和第三采样信号H2,将其进行差分运算,得到第二差分信号HH1,并从第二采样信号H1和第三采样信号H2中任意选取一个作为第一目标采样信号HL1。
需要说明的是,第二差分信号HH1与第一目标采样信号HL1相对而言,第二差分信号HH1为高频差分信号,第一目标采样信号HL1为低频采样信号。
步骤205,对所述第一采样信号进行奇数行和偶数行地采样,得到第四采样信号和第五采样信号。
对于第一采样信号L,继续对其进行奇数行和偶数行地抽取采样,得到第四采样信号L1和第五采样信号L2。
步骤206,对所述第四采样信号和第五采样信号进行差分运算,得到第三差分信号,并从所述第四采样信号和第五采样信号中任意选取一个作为第二目标采样信号。
对于得到的第四采样信号L1和第五采样信号L2,将其进行差分运算,得到第三差分信号LH1,并才第四采样信号L1和第五采样信号L2中任意选取一个作为第二目标采样信号LL1。
需要说明的是,第三差分信号LH1与第二目标采样信号LL1相对而言,第三差分信号LH1为高频差分信号,第二目标采样信号LL1为低频采样信号。
还需要说明的是,本发明实施例步骤203至步骤204描述的是对第一差分信号H的采样处理过程,步骤205至步骤206描述的是对第一采样信号L的采样处理过程,本发明对于步骤203至步骤204、与步骤205至步骤206的执行顺序不做限定,本发明实施例也可先执行步骤205至步骤206,再执行步骤203至步骤204,或步骤203至步骤204、步骤205至步骤206同时执行。
步骤207,对所述第二目标采样信号进行奇数列和偶数列地采样,得到第二奇数列信号和第二偶数列信号。
对于第二目标采样信号LL1,继续对其进行奇数列和偶数列地抽取采样,得到第二奇数列信号M1和第二偶数列信号M2。
步骤208,对所述第二奇数列信号和第二偶数列信号进行差分运算,得到第四差分信号,并从所述第二奇数列信号和第二偶数列信号中任意选取一个作为第六采样信号。
对于得到的第二奇数列信号M1和第二偶数列信号M2,将其进行差分运算,得到第四差分信号X,并从第二奇数列信号M1和第二偶数列信号M2中任意选取一个作为第六采样信号Y。
需要说明的是,第四差分信号X与第六采样信号Y相对而言,第四差分信号X为高频差分信号,第六目标采样信号Y为低频采样信号。
步骤209,对所述第四差分信号进行奇数行和偶数行地采样,得到第七采样信号和第八采样信号。
对于第四差分信号X,继续对其进行奇数行和偶数行地抽取采样,得到第七采样信号X1和第八采样信号X2。
步骤210,对所述第七采样信号和第八采样信号进行差分运算,得到第五差分信号,并从所述第七采样信号和第八采样信号中任意选取一个作为第三目标采样信号。
对于得到的第七采样信号X1和第八采样信号X2,将其进行差分运算,得到第五差分信号XH1,并从第七采样信号X1和第八采样信号X2中任意选取一个作为第三目标采样信号XL1。
需要说明的是,第五差分信号XH1与第三目标采样信号XL1相对而言,第五差分信号XH1为高频差分信号,第三目标采样信号XL1为低频采样信号。
步骤211,对所述第六采样信号进行奇数行和偶数行地采样,得到第九采样信号和第十采样信号。
对于第六采样信号Y,继续对其进行奇数行和偶数行地采样,得到第九采样信号Y1和第十采样信号Y2。
步骤212,对所述第九采样信号和第十采样信号进行差分运算,得到第六差分信号,并从所述第九采样信号和第十采样信号中任意选取一个作为第四目标采样信号。
对于得到的第九采样信号Y1和第十采样信号Y2,将其进行差分运算,得到第六差分信号YH1,并从第九采样信号Y1和第十采样信号Y2中任意选取一个作为第四目标采样信号YL1。
需要说明的是,第六差分信号YH1与第四目标采样信号YL1相对而言,第六差分信号YH1为高频差分信号,第四目标采样信号YL1为低频采样信号。
还需要说明的是,本发明实施例步骤209至步骤210描述的是对第四差分信号X的采样处理过程,步骤211至步骤212描述的是对第六采样信号Y的采样处理过程,本发明对于步骤209至步骤210、与步骤211至步骤212的执行顺序不做限定,本发明实施例也可先执行步骤211至步骤212,再执行步骤209至步骤210,或步骤209至步骤210、步骤211至步骤212同时执行。
本发明实施例中,获取到的第二差分信号HH1、第一目标采样信号HL1、第三差分信号LH1、第五差分信号XH1、第三目标采样信号XL1、第六差分信号YH1和第四目标采样信号YL1即为原始人脸图像对应在不同频段的不同采样信号。
本发明实施例通过对原始人脸图像进行采样,能够减少低频信号干扰,有效保留了高频视频翻拍痕迹,有利于提高视频翻拍检测的准确度。
步骤103,依据获得的不同采样信号,得到目标人脸图像,所述目标人脸图像中的细节信息相比于所述原始人脸图像中的细节信息被放大。
具体地,本发明实施例基于获得的第二差分信号HH1、第一目标采样信号HL1、第三差分信号LH1、第五差分信号XH1、第三目标采样信号XL1、第六差分信号YH1和第四目标采样信号YL1,首先将第四目标采样信号YL1滤除,进而采用小波逆变换方法,将第二差分信号HH1、第一目标采样信号HL1、第三差分信号LH1、第五差分信号XH1、第三目标采样信号XL1和第六差分信号YH1进行合成,得到目标人脸图像。
本发明实施例通过对原始人脸图像进行两次尺度小波变换,得到经过滤波和尺度变换后的一组小波图像,然后再利用小波逆变换合成小波图像,得到高通滤波后的空域图像,即目标人脸图像。该目标人脸图像中的细节信息相比于原始人脸图像中的细节信息被放大,对于视频翻拍的人脸图像,其视频翻拍时所产生的屏幕纹理信息被凸显出来。
可选地,本发明可以预先构建一高通滤波器,由高通滤波器实现本发明实施例上述步骤102至步骤103。
步骤104,将得到的所述目标人脸图像作为预先训练好的卷积神经网络分类模型的输入,利用所述卷积神经网络分类模型对所述目标人脸图像进行检测,获取所述卷积神经网络分类模型输出的对应所述目标人脸图像的数值。
本发明实施例预先训练好一用于对人脸图像进行检测的卷积神经网络分类模型,该卷积神经网络分类模型能够准确地计算出人脸图像的数值,进而基于得到的数值,判断人脸图像是合法人脸图像还是非法人脸图像。
可选地,本发明实施例中的卷积神经网络分类模型具体为卷积神经网络分类器。
具体地,结合图4、图5所示,本发明实施例中的卷积神经网络分类模型采用如下步骤301至步骤305所示的方法训练得到。
步骤301,确定训练样本集,所述训练样本集包括合法人脸图像和非法人脸图像。
其中合法人脸图像为用户真实拍摄的人脸图像,非法人脸图像为视频翻拍的人脸图像。为了保证模型训练的准确性,本发明实施例确定的训练样本集中的合法人脸图像和非法人脸图像的个数保证需达到一定数量,如各100张,且合法人脸图像和非法人脸图像的个数相等。
步骤302,对所述训练样本集中的各个人脸图像分别进行预处理,所述预处理包括灰度化处理、值域归一化处理和尺寸归一化处理中的至少一个。
可选地,本发明实施例对训练样本集中的各个人脸图像分别进行灰度化处理、值域归一化处理和尺寸归一化处理。
其中,灰度化处理是指将人脸图像由通道彩色图像变换为单通道灰度图像。值域归一化处理是指将人脸图像上的各像素点的值归一化到[0,1]区间内。尺寸归一化处理是指将所有人脸图像的尺寸归一化到相同的尺寸。
步骤303,构建卷积神经网络的软件架构,所述卷积神经网络的软件架构至少包括所述卷积神经网络分类模型的处理算法以及所述卷积神经网络分类模型训练停止的目标函数。
具体地,本发明实施例中卷积神经网络分类模型的处理算法可以包括卷积运算、池化运算、全连接运算中的至少一个。
其中,卷积运算主要用于图像滤波和抽样,池化运算主要用于图像下采样和特征抽取,全连接运算主要用于实现特征映射与组合。
可选地,本发明实施例推荐使用5层以上的卷积神经网络进行训练,以达到较理想的分类精度。
具体地本发明实施例中,卷积运算的实现过程大致包括:首先定义图像卷积核的类型和大小。其中图像卷积核的类型可以包括Sobel算子、高斯核、Gabor核等,卷积核的大小一般使用3*3或5*5。然后对卷积核中的各元素进行赋值,这些值在进行卷积神经网络训练前随机生成,为[-1,1]之间的浮点数。最后将归一化后图像中与卷积核进行卷积运算,得到卷积后的图像。为了实现对不同尺度图像内容的描述,本发明对不同卷积层使用的卷积核使用了不同的初始化系数δ,随着层数的加深,系数逐渐减小,该系数是个可调参数,经验建议数值为:
δ=1/[max(height,width)*current_level(con_layer)]
其中max(height,width)表示取原始卷积图像宽度和高度中的较大值;current_level(con_layer)表示当前卷积层con_layer在总体神经网络中的层级。
计算过程结合图6、图7所示。其中每个隐层神经元(图像像素值)与对应的权值(卷积核)相乘后,再累加一个偏执量b,作为激活函数ReLu的输入。经激活函数运算后,作为下一层(池化运算层)对应神经元的输入。
图6中,x1、x2、x3、+1分别是输入层的四个神经元,前三个神经元的值为图像每个像素点的值,第四个神经元的值为常量。a1、a2、a3分别是隐含层每个神经元的输出值,由输入神经元加权乘累加得到,计算公式如下:
其中h是激活函数的输入值,当激活函数位于隐含层时,用于过饱和抑制,当激活函数位于输出层时,用于目标分类概率的计算。
具体地本发明实施例中,池化运算的实现过程大致包括:卷积运算后的图像各像素值经过ReLu变换后,传递给池化运算层,池化操作主要是对制定区域内像素点的值进行分析,取其中最大、最小或中间等具有代表性的值作为该区域的代表,用以表示该区域,从而实现了降采样。
本发明实施例使用最大池化算子,即取池化区域内值最大的像素点作为下一层的输入,进行多次池化运算和卷积运算的交替计算,从而得到了非常多的卷积神经网络的中间层。其中,具体层数的多少与输入图像大小以及用户设定有关。
具体地本发明实施例中,全连接运算主要完成特征的映射组合,以提供给Softmax分类器使用。特征映射主要对应的神经网络隐含层,可以有多个层,具体数量可以根据实验和经验确定。特征映射后会得到一个可供Softmax分类器使用的特征向量,用以计算分类输出结果,分类器的数量与期望输出的种类有关,可以由用户自行设定。
卷积神经网络分类模型训练停止的目标函数,可以基于残差最小原理确定得到,用以决定何时停止迭代训练的过程。具体地,本发明实施例初步定义训练终止的目标函数可以为:
其中,h表示计算值,y表示期望值,二者之间的差表示计算值与期望值之间的差距,这个差距越小,说明训练精度越高。因此,基于拉格朗日算法,在目标函数中加入条件变量W,W是神经网络特征映射时用于连接两层间神经元的权值,最后确定的目标函数如下:
步骤304,将所述训练样本集中预处理后的人脸图像依次输入所述卷积神经网络的软件架构进行训练,直至所述目标函数满足预设的训练停止条件,保存训练结果。
具体地,本发明实施例将训练样本集中预处理后的人脸图像通过单个计算循环,全部输入至所述神经网络的软件架构中进行运算,通过梯度下降法,在目标函数对W和b偏导数反方向上,对W和b进行不断的修正,使得目标函数向着累加误差最小的方向发展。当在目标函数的误差小于第二预设阈值时,确定训练完成,保存训练结果。其中训练结果至少包括卷积核参数、各神经元间的连接权值W和b。
步骤305,依据所述训练结果,得到所述卷积神经网络分类模型。
最后基于获得的训练结果,得到卷积神经网络分类模型。
可选地,为了保证训练得到的卷积神经网络分类模型的准确度,本发明实施例在得到卷积神经网络分类模型之后,对其准确度进行测试。
具体地,本发明实施例将测试样本集输入至训练好的卷积神经网络分类模型,所述测试样本集包括至少一个预处理后的测试人脸图像,然后获取所述卷积神经网络分类模型输出的对应所述测试样本集的测试数值。当所述测试数值与所述测试样本的实际数值间的误差值大于第三阈值,说明该卷积神经网络分类模型的准确度较低,需要对其进行重新或继续训练,由此,本发明实施例再次确定新的训练样本集,并基于新的训练样本集对卷积神经网络分类模型进行训练。如果误差值不大于第三阈值,说明卷积神经网络分类模型的准确度较高,确定卷积神经网络分类模型的训练成功,可以应用。
本发明实施例中,卷积神经网络分类模型会将目标人脸图像由一个高维向量空间,变为一个一维向量空间,因此卷积神经网络分类模型对目标人脸图像进行检测后能够输出一对应所述目标人脸图像的数值,该数值是一个浮点小数。
步骤105,判断所述数值是否小于第一预设阈值。如果小于,执行步骤106,如果不小于,可以选择返回执行步骤101。
步骤106,确定所述原始人脸图像为非法人脸图像。
当判断数值小于第一预设阈值,则可以确定获取的原始人脸图像为视频翻拍的非法人脸图像,当判断数值不小于第一预设阈值,则可以确定获取的原始人脸图像为用户真实拍摄的合法人脸图像。
因此应用本发明实施例提供的人脸图像检测方法,通过按照预设的采样规则对原始人脸图像进行采样,获得原始人脸图像对应在不同频段的不同采样信号,进而依据获得的不同采样信号,得到目标人脸图像,该得到的目标人脸图像中的细节信息相比于原始人脸图像中的细节信息被放大,因此对于视频翻拍的人脸图像所产生的屏幕纹理信息会被凸显出来。
进一步将目标人脸图像输入至预先训练好的卷积神经网络分类模型,利用卷积神经网络分类模型对目标人脸图像进行检测,获取卷积神经网络分类模型输出的对应目标人脸图像的数值。当判断数值小于第一预设阈值时,确定原始人脸图像为非法人脸图像。本发明实施例通过对人脸图像进行频谱分析,并利用预先训练好的卷积神经网络分类模型进行检测,能够准确地识别出视频翻拍的非法人脸图像和用户实际真实的合法人脸图像,从而及时发现视频翻拍攻击行为,提高了人脸图像的检测准确性。
在上述实施例的基础上,本发明在确定原始人脸图像为非法人脸图像时,方法还可以进一步包括:
获取连续的N帧原始人脸图像,采用前文所述的人脸图像检测方法确定所述连续的N帧原始人脸图像中各个原始人脸图像分别是合法人脸图像或非法人脸图像,N为正整数;进而基于对所述N帧原始人脸图像的确定结果,确定是否存在视频翻拍攻击行为。
具体地,本发明实施例可以利用视频的时间序列信息,对连续的N帧图像进行采样。如果确定连续的N帧原始人脸图像都是非法人脸图像,或连续的N帧原始人脸图像中有一半及一半以上是非法人脸图像,本发明确定存在视频翻拍攻击行为。可以理解地,本发明实施例还可以设置连续的N帧原始人脸图像中有三分之一及以上、或四分之一及以上等的原始人脸图像是非法人脸图像时,确定存在视频翻拍攻击行为,本发明对于如何基于对N帧原始人脸图像的确定结果,确定是否存在视频翻拍攻击行为的具体实现方式不做限定。
可选地,本发明实施例在确定连续的N帧原始人脸图像中有一半及一半以上是非法人脸图像时,本发明实施例还可以进一步确定获取的所有原始人脸图像都是非法人脸图像。
本发明实施例基于对N帧原始人脸图像的确定结果,确定是否存在视频翻拍攻击行为,进一步提高了人脸图像的检测准确性。
基于前文本发明实施例提供的一种人脸图像检测方法,本发明实施例还提供一种人脸图像检测装置,如图8所述,所述人脸图像检测装置包括:
图像获取单元100,用于获取原始人脸图像;
采样单元200,用于按照预设的采样规则对所述原始人脸图像进行采样,获得所述原始人脸图像对应在不同频段的不同采样信号;
目标人脸图像获取单元300,用于依据获得的不同采样信号,得到目标人脸图像,所述目标人脸图像中的细节信息相比于所述原始人脸图像中的细节信息被放大;
训练单元400,用于将得到的所述目标人脸图像作为预先训练好的卷积神经网络分类模型的输入,利用所述卷积神经网络分类模型对所述目标人脸图像进行检测,获取所述卷积神经网络分类模型输出的对应所述目标人脸图像的数值;
判断单元500,用于判断所述数值是否小于第一预设阈值;
人脸图像合法性确定单元600,用于在所述判断单元判断所述数值小于第一预设阈值时,确定所述原始人脸图像为非法人脸图像。
所述人脸图像检测装置包括处理器和存储器,上述图像获取单元100、采样单元200、目标人脸图像获取单元300、训练单元400、判断单元500和人脸图像合法性确定单元600等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来实现人脸图像的检测。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现所述人脸图像检测方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述人脸图像检测方法。
本发明实施例提供了一种电子设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:
获取原始人脸图像;
按照预设的采样规则对所述原始人脸图像进行采样,获得所述原始人脸图像对应在不同频段的不同采样信号;
依据获得的不同采样信号,得到目标人脸图像,所述目标人脸图像中的细节信息相比于所述原始人脸图像中的细节信息被放大;
将得到的所述目标人脸图像作为预先训练好的卷积神经网络分类模型的输入,利用所述卷积神经网络分类模型对所述目标人脸图像进行检测,获取所述卷积神经网络分类模型输出的对应所述目标人脸图像的数值;
判断所述数值是否小于第一预设阈值;
如果小于,确定所述原始人脸图像为非法人脸图像。
可选地,所述按照预设的采样规则对所述原始人脸图像进行采样,获得所述原始人脸图像对应在不同频段的不同采样信号包括:
对所述原始人脸图像进行奇数列和偶数列地采样,得到第一奇数列信号和第一偶数列信号;
对所述第一奇数列信号和第一偶数列信号进行差分运算,得到第一差分信号,并从所述第一奇数列信号和第一偶数列信号中任意选取一个作为第一采样信号;
对所述第一差分信号进行奇数行和偶数行地采样,得到第二采样信号和第三采样信号;
对所述第二采样信号和第三采样信号进行差分运算,得到第二差分信号,并从所述第二采样信号和第三采样信号中任意选取一个作为第一目标采样信号;
对所述第一采样信号进行奇数行和偶数行地采样,得到第四采样信号和第五采样信号;
对所述第四采样信号和第五采样信号进行差分运算,得到第三差分信号,并从所述第四采样信号和第五采样信号中任意选取一个作为第二目标采样信号;
对所述第二目标采样信号进行奇数列和偶数列地采样,得到第二奇数列信号和第二偶数列信号;
对所述第二奇数列信号和第二偶数列信号进行差分运算,得到第四差分信号,并从所述第二奇数列信号和第二偶数列信号中任意选取一个作为第六采样信号;
对所述第四差分信号进行奇数行和偶数行地采样,得到第七采样信号和第八采样信号;
对所述第七采样信号和第八采样信号进行差分运算,得到第五差分信号,并从所述第七采样信号和第八采样信号中任意选取一个作为第三目标采样信号;
对所述第六采样信号进行奇数行和偶数行地采样,得到第九采样信号和第十采样信号;
对所述第九采样信号和第十采样信号进行差分运算,得到第六差分信号,并从所述第九采样信号和第十采样信号中任意选取一个作为第四目标采样信号;
所述第二差分信号、所述第一目标采样信号、所述第三差分信号、所述第五差分信号、所述第三目标采样信号、所述第六差分信号和所述第四目标采样信号为获得的所述原始人脸图像对应在不同频段的不同采样信号。
可选地,依据获得的不同采样信号,得到目标人脸图像包括:
滤除所述第四目标采样信号;
采用小波逆变换方法,将所述第二差分信号、所述第一目标采样信号、所述第三差分信号、所述第五差分信号、所述第三目标采样信号、和所述第六差分信号合成得到所述目标人脸图像。
可选地,所述卷积神经网络分类模型采用如下方法训练得到:
确定训练样本集,所述训练样本集包括合法人脸图像和非法人脸图像;
对所述训练样本集中的各个人脸图像分别进行预处理,所述预处理包括灰度化处理、值域归一化处理和尺寸归一化处理中的至少一个;
构建卷积神经网络的软件架构,所述卷积神经网络的软件架构至少包括所述卷积神经网络分类模型的处理算法以及所述卷积神经网络分类模型训练停止的目标函数;
将所述训练样本集中预处理后的人脸图像依次输入所述卷积神经网络的软件架构进行训练,直至所述目标函数满足预设的训练停止条件,保存训练结果;
依据所述训练结果,得到所述卷积神经网络分类模型。
可选地,所述卷积神经网络分类模型的处理算法包括卷积运算、池化运算、全连接运算中的至少一个;
所述目标函数基于残差最小原理确定得到;
所述将所述训练样本集中预处理后的人脸图像依次输入所述卷积神经网络的软件架构进行训练,直至所述目标函数满足预设的训练停止条件,保存训练结果包括:
将所述训练样本集中预处理后的人脸图像通过单个计算循环,全部输入至所述神经网络的软件架构中进行运算,通过梯度下降法,在所述目标函数的误差小于第二预设阈值时,保存训练结果;所述训练结果至少包括卷积核参数、各神经元间的连接权值。
可选地,所述得到所述卷积神经网络分类模型之后,所述方法还包括:
将测试样本集输入至所述卷积神经网络分类模型,所述测试样本集包括至少一个预处理后的测试人脸图像;
获取所述卷积神经网络分类模型输出的对应所述测试样本集的测试数值;
当所述测试数值与所述测试样本的实际数值间的误差值大于第三阈值,则确定新的训练样本集,并基于所述新的训练样本集对所述卷积神经网络分类模型进行训练。
可选地,所述确定所述原始人脸图像为非法人脸图像时,所述方法还包括:
获取连续的N帧原始人脸图像,采用权利要求1-6任一项所述的人脸图像检测方法确定所述连续的N帧原始人脸图像中各个原始人脸图像分别是合法人脸图像或非法人脸图像,N为正整数;
基于对所述N帧原始人脸图像的确定结果,确定是否存在视频翻拍攻击行为。
本文中的设备可以是服务器、PC、PAD、手机等。
本发明还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:
获取原始人脸图像;
按照预设的采样规则对所述原始人脸图像进行采样,获得所述原始人脸图像对应在不同频段的不同采样信号;
依据获得的不同采样信号,得到目标人脸图像,所述目标人脸图像中的细节信息相比于所述原始人脸图像中的细节信息被放大;
将得到的所述目标人脸图像作为预先训练好的卷积神经网络分类模型的输入,利用所述卷积神经网络分类模型对所述目标人脸图像进行检测,获取所述卷积神经网络分类模型输出的对应所述目标人脸图像的数值;
判断所述数值是否小于第一预设阈值;
如果小于,确定所述原始人脸图像为非法人脸图像。
可选地,所述按照预设的采样规则对所述原始人脸图像进行采样,获得所述原始人脸图像对应在不同频段的不同采样信号包括:
对所述原始人脸图像进行奇数列和偶数列地采样,得到第一奇数列信号和第一偶数列信号;
对所述第一奇数列信号和第一偶数列信号进行差分运算,得到第一差分信号,并从所述第一奇数列信号和第一偶数列信号中任意选取一个作为第一采样信号;
对所述第一差分信号进行奇数行和偶数行地采样,得到第二采样信号和第三采样信号;
对所述第二采样信号和第三采样信号进行差分运算,得到第二差分信号,并从所述第二采样信号和第三采样信号中任意选取一个作为第一目标采样信号;
对所述第一采样信号进行奇数行和偶数行地采样,得到第四采样信号和第五采样信号;
对所述第四采样信号和第五采样信号进行差分运算,得到第三差分信号,并从所述第四采样信号和第五采样信号中任意选取一个作为第二目标采样信号;
对所述第二目标采样信号进行奇数列和偶数列地采样,得到第二奇数列信号和第二偶数列信号;
对所述第二奇数列信号和第二偶数列信号进行差分运算,得到第四差分信号,并从所述第二奇数列信号和第二偶数列信号中任意选取一个作为第六采样信号;
对所述第四差分信号进行奇数行和偶数行地采样,得到第七采样信号和第八采样信号;
对所述第七采样信号和第八采样信号进行差分运算,得到第五差分信号,并从所述第七采样信号和第八采样信号中任意选取一个作为第三目标采样信号;
对所述第六采样信号进行奇数行和偶数行地采样,得到第九采样信号和第十采样信号;
对所述第九采样信号和第十采样信号进行差分运算,得到第六差分信号,并从所述第九采样信号和第十采样信号中任意选取一个作为第四目标采样信号;
所述第二差分信号、所述第一目标采样信号、所述第三差分信号、所述第五差分信号、所述第三目标采样信号、所述第六差分信号和所述第四目标采样信号为获得的所述原始人脸图像对应在不同频段的不同采样信号。
可选地,依据获得的不同采样信号,得到目标人脸图像包括:
滤除所述第四目标采样信号;
采用小波逆变换方法,将所述第二差分信号、所述第一目标采样信号、所述第三差分信号、所述第五差分信号、所述第三目标采样信号、和所述第六差分信号合成得到所述目标人脸图像。
可选地,所述卷积神经网络分类模型采用如下方法训练得到:
确定训练样本集,所述训练样本集包括合法人脸图像和非法人脸图像;
对所述训练样本集中的各个人脸图像分别进行预处理,所述预处理包括灰度化处理、值域归一化处理和尺寸归一化处理中的至少一个;
构建卷积神经网络的软件架构,所述卷积神经网络的软件架构至少包括所述卷积神经网络分类模型的处理算法以及所述卷积神经网络分类模型训练停止的目标函数;
将所述训练样本集中预处理后的人脸图像依次输入所述卷积神经网络的软件架构进行训练,直至所述目标函数满足预设的训练停止条件,保存训练结果;
依据所述训练结果,得到所述卷积神经网络分类模型。
可选地,所述卷积神经网络分类模型的处理算法包括卷积运算、池化运算、全连接运算中的至少一个;
所述目标函数基于残差最小原理确定得到;
所述将所述训练样本集中预处理后的人脸图像依次输入所述卷积神经网络的软件架构进行训练,直至所述目标函数满足预设的训练停止条件,保存训练结果包括:
将所述训练样本集中预处理后的人脸图像通过单个计算循环,全部输入至所述神经网络的软件架构中进行运算,通过梯度下降法,在所述目标函数的误差小于第二预设阈值时,保存训练结果;所述训练结果至少包括卷积核参数、各神经元间的连接权值。
可选地,所述得到所述卷积神经网络分类模型之后,所述方法还包括:
将测试样本集输入至所述卷积神经网络分类模型,所述测试样本集包括至少一个预处理后的测试人脸图像;
获取所述卷积神经网络分类模型输出的对应所述测试样本集的测试数值;
当所述测试数值与所述测试样本的实际数值间的误差值大于第三阈值,则确定新的训练样本集,并基于所述新的训练样本集对所述卷积神经网络分类模型进行训练。
可选地,所述确定所述原始人脸图像为非法人脸图像时,所述方法还包括:
获取连续的N帧原始人脸图像,采用权利要求1-6任一项所述的人脸图像检测方法确定所述连续的N帧原始人脸图像中各个原始人脸图像分别是合法人脸图像或非法人脸图像,N为正整数;
基于对所述N帧原始人脸图像的确定结果,确定是否存在视频翻拍攻击行为。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本发明的实施例可提供为方法、系统或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本发明的实施例而已,并不用于限制本发明。对于本领域技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。
Claims (8)
1.一种人脸图像检测方法,其特征在于,包括:
获取原始人脸图像;
按照预设的采样规则对所述原始人脸图像进行采样,获得所述原始人脸图像对应在不同频段的不同采样信号;
依据获得的不同采样信号,得到目标人脸图像,所述目标人脸图像中的细节信息相比于所述原始人脸图像中的细节信息被放大;
将得到的所述目标人脸图像作为预先训练好的卷积神经网络分类模型的输入,利用所述卷积神经网络分类模型对所述目标人脸图像进行检测,获取所述卷积神经网络分类模型输出的对应所述目标人脸图像的数值;
判断所述数值是否小于第一预设阈值;
如果小于,确定所述原始人脸图像为非法人脸图像;
其中,所述按照预设的采样规则对所述原始人脸图像进行采样,获得所述原始人脸图像对应在不同频段的不同采样信号包括:
对所述原始人脸图像进行奇数列和偶数列地采样,得到第一奇数列信号和第一偶数列信号;
对所述第一奇数列信号和第一偶数列信号进行差分运算,得到第一差分信号,并从所述第一奇数列信号和第一偶数列信号中任意选取一个作为第一采样信号,所述第一差分信号与所述第一采样信号相比,所述第一差分信号为高频差分信号,所述第一采样信号为低频采样信号;
对所述第一差分信号进行奇数行和偶数行地采样,得到第二采样信号和第三采样信号;
对所述第二采样信号和第三采样信号进行差分运算,得到第二差分信号,并从所述第二采样信号和第三采样信号中任意选取一个作为第一目标采样信号,所述第二差分信号与所述第一目标采样信号相比,所述第二差分信号为高频差分信号,所述第一目标采样信号为低频采样信号;
对所述第一采样信号进行奇数行和偶数行地采样,得到第四采样信号和第五采样信号;
对所述第四采样信号和第五采样信号进行差分运算,得到第三差分信号,并从所述第四采样信号和第五采样信号中任意选取一个作为第二目标采样信号,所述第三差分信号与所述第二目标采样信号相比,所述第三差分信号为高频差分信号,所述第二目标采样信号为低频采样信号;
对所述第二目标采样信号进行奇数列和偶数列地采样,得到第二奇数列信号和第二偶数列信号;
对所述第二奇数列信号和第二偶数列信号进行差分运算,得到第四差分信号,并从所述第二奇数列信号和第二偶数列信号中任意选取一个作为第六采样信号,所述第四差分信号与所述第六采样信号相比,所述第四差分信号为高频差分信号,所述第六采样信号为低频采样信号;
对所述第四差分信号进行奇数行和偶数行地采样,得到第七采样信号和第八采样信号;
对所述第七采样信号和第八采样信号进行差分运算,得到第五差分信号,并从所述第七采样信号和第八采样信号中任意选取一个作为第三目标采样信号,所述第五差分信号与所述第三目标采样信号相比,所述第五差分信号为高频差分信号,所述第三目标采样信号为低频采样信号;
对所述第六采样信号进行奇数行和偶数行地采样,得到第九采样信号和第十采样信号;
对所述第九采样信号和第十采样信号进行差分运算,得到第六差分信号,并从所述第九采样信号和第十采样信号中任意选取一个作为第四目标采样信号,所述第六差分信号与所述第四目标采样信号相比,所述第六差分信号为高频差分信号,所述第四目标采样信号为低频采样信号;
所述第二差分信号、所述第一目标采样信号、所述第三差分信号、所述第五差分信号、所述第三目标采样信号、所述第六差分信号和所述第四目标采样信号为获得的所述原始人脸图像对应在不同频段的不同采样信号;
其中,所述卷积神经网络分类模型采用如下方法训练得到:
确定训练样本集,所述训练样本集包括合法人脸图像和非法人脸图像;
对所述训练样本集中的各个人脸图像分别进行预处理,所述预处理包括灰度化处理、值域归一化处理和尺寸归一化处理中的至少一个;
构建卷积神经网络的软件架构,所述卷积神经网络的软件架构至少包括所述卷积神经网络分类模型的处理算法以及所述卷积神经网络分类模型训练停止的目标函数,其中,所述卷积神经网络分类模型训练停止的目标函数为h表示计算值,y表示期望值,W、b为各神经元间的连接权值,x为图像像素点的值;
将所述训练样本集中预处理后的人脸图像依次输入所述卷积神经网络的软件架构进行训练,直至所述目标函数满足预设的训练停止条件,保存训练结果;
依据所述训练结果,得到所述卷积神经网络分类模型。
2.根据权利要求1所述的方法,其特征在于,依据获得的不同采样信号,得到目标人脸图像包括:
滤除所述第四目标采样信号;
采用小波逆变换方法,将所述第二差分信号、所述第一目标采样信号、所述第三差分信号、所述第五差分信号、所述第三目标采样信号、和所述第六差分信号合成得到所述目标人脸图像。
3.根据权利要求1所述的方法,其特征在于,所述卷积神经网络分类模型的处理算法包括卷积运算、池化运算、全连接运算中的至少一个;
所述目标函数基于残差最小原理确定得到;
所述将所述训练样本集中预处理后的人脸图像依次输入所述卷积神经网络的软件架构进行训练,直至所述目标函数满足预设的训练停止条件,保存训练结果包括:
将所述训练样本集中预处理后的人脸图像通过单个计算循环,全部输入至所述神经网络的软件架构中进行运算,通过梯度下降法,在所述目标函数的误差小于第二预设阈值时,保存训练结果;所述训练结果至少包括卷积核参数、各神经元间的连接权值。
4.根据权利要求1或3所述的方法,其特征在于,所述得到所述卷积神经网络分类模型之后,所述方法还包括:
将测试样本集输入至所述卷积神经网络分类模型,所述测试样本集包括至少一个预处理后的测试人脸图像;
获取所述卷积神经网络分类模型输出的对应所述测试样本集的测试数值;
当所述测试数值与所述测试样本的实际数值间的误差值大于第三阈值,则确定新的训练样本集,并基于所述新的训练样本集对所述卷积神经网络分类模型进行训练。
5.根据权利要求1-3任一项所述的方法,其特征在于,所述确定所述原始人脸图像为非法人脸图像时,所述方法还包括:
获取连续的N帧原始人脸图像,采用权利要求1-4任一项所述的人脸图像检测方法确定所述连续的N帧原始人脸图像中各个原始人脸图像分别是合法人脸图像或非法人脸图像,N为正整数;
基于对所述N帧原始人脸图像的确定结果,确定是否存在视频翻拍攻击行为。
6.一种人脸图像检测装置,其特征在于,包括:
图像获取单元,用于获取原始人脸图像;
采样单元,用于按照预设的采样规则对所述原始人脸图像进行采样,获得所述原始人脸图像对应在不同频段的不同采样信号;
目标人脸图像获取单元,用于依据获得的不同采样信号,得到目标人脸图像,所述目标人脸图像中的细节信息相比于所述原始人脸图像中的细节信息被放大;
训练单元,用于将得到的所述目标人脸图像作为预先训练好的卷积神经网络分类模型的输入,利用所述卷积神经网络分类模型对所述目标人脸图像进行检测,获取所述卷积神经网络分类模型输出的对应所述目标人脸图像的数值;
判断单元,用于判断所述数值是否小于第一预设阈值;
人脸图像合法性确定单元,用于在所述判断单元判断所述数值小于第一预设阈值时,确定所述原始人脸图像为非法人脸图像;
其中,所述目标人脸图像获取单元具体用于:
对所述原始人脸图像进行奇数列和偶数列地采样,得到第一奇数列信号和第一偶数列信号;
对所述第一奇数列信号和第一偶数列信号进行差分运算,得到第一差分信号,并从所述第一奇数列信号和第一偶数列信号中任意选取一个作为第一采样信号,所述第一差分信号与所述第一采样信号相比,所述第一差分信号为高频差分信号,所述第一采样信号为低频采样信号;
对所述第一差分信号进行奇数行和偶数行地采样,得到第二采样信号和第三采样信号;
对所述第二采样信号和第三采样信号进行差分运算,得到第二差分信号,并从所述第二采样信号和第三采样信号中任意选取一个作为第一目标采样信号,所述第二差分信号与所述第一目标采样信号相比,所述第二差分信号为高频差分信号,所述第一目标采样信号为低频采样信号;
对所述第一采样信号进行奇数行和偶数行地采样,得到第四采样信号和第五采样信号;
对所述第四采样信号和第五采样信号进行差分运算,得到第三差分信号,并从所述第四采样信号和第五采样信号中任意选取一个作为第二目标采样信号,所述第三差分信号与所述第二目标采样信号相比,所述第三差分信号为高频差分信号,所述第二目标采样信号为低频采样信号;
对所述第二目标采样信号进行奇数列和偶数列地采样,得到第二奇数列信号和第二偶数列信号;
对所述第二奇数列信号和第二偶数列信号进行差分运算,得到第四差分信号,并从所述第二奇数列信号和第二偶数列信号中任意选取一个作为第六采样信号,所述第四差分信号与所述第六采样信号相比,所述第四差分信号为高频差分信号,所述第六采样信号为低频采样信号;
对所述第四差分信号进行奇数行和偶数行地采样,得到第七采样信号和第八采样信号;
对所述第七采样信号和第八采样信号进行差分运算,得到第五差分信号,并从所述第七采样信号和第八采样信号中任意选取一个作为第三目标采样信号,所述第五差分信号与所述第三目标采样信号相比,所述第五差分信号为高频差分信号,所述第三目标采样信号为低频采样信号;
对所述第六采样信号进行奇数行和偶数行地采样,得到第九采样信号和第十采样信号;
对所述第九采样信号和第十采样信号进行差分运算,得到第六差分信号,并从所述第九采样信号和第十采样信号中任意选取一个作为第四目标采样信号,所述第六差分信号与所述第四目标采样信号相比,所述第六差分信号为高频差分信号,所述第四目标采样信号为低频采样信号;
所述第二差分信号、所述第一目标采样信号、所述第三差分信号、所述第五差分信号、所述第三目标采样信号、所述第六差分信号和所述第四目标采样信号为获得的所述原始人脸图像对应在不同频段的不同采样信号;
其中,所述训练单元中的卷积神经网络分类模型采用如下方法训练得到:
确定训练样本集,所述训练样本集包括合法人脸图像和非法人脸图像;
对所述训练样本集中的各个人脸图像分别进行预处理,所述预处理包括灰度化处理、值域归一化处理和尺寸归一化处理中的至少一个;
构建卷积神经网络的软件架构,所述卷积神经网络的软件架构至少包括所述卷积神经网络分类模型的处理算法以及所述卷积神经网络分类模型训练停止的目标函数,其中,所述卷积神经网络分类模型训练停止的目标函数为h表示计算值,y表示期望值,W、b为各神经元间的连接权值,x为图像像素点的值;
将所述训练样本集中预处理后的人脸图像依次输入所述卷积神经网络的软件架构进行训练,直至所述目标函数满足预设的训练停止条件,保存训练结果;
依据所述训练结果,得到所述卷积神经网络分类模型。
7.一种存储介质,其特征在于,其上存储有程序,所述程序被处理器执行时实现权利要求1至5中任一项所述的人脸图像检测方法。
8.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至5中任一项所述的人脸图像检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711460256.0A CN107958235B (zh) | 2017-12-28 | 2017-12-28 | 一种人脸图像检测方法、装置、介质和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711460256.0A CN107958235B (zh) | 2017-12-28 | 2017-12-28 | 一种人脸图像检测方法、装置、介质和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107958235A CN107958235A (zh) | 2018-04-24 |
CN107958235B true CN107958235B (zh) | 2021-10-26 |
Family
ID=61957168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711460256.0A Active CN107958235B (zh) | 2017-12-28 | 2017-12-28 | 一种人脸图像检测方法、装置、介质和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107958235B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109344747B (zh) * | 2018-09-17 | 2024-01-05 | 平安科技(深圳)有限公司 | 一种篡改图的识别方法、存储介质和服务器 |
CN109447716A (zh) * | 2018-11-09 | 2019-03-08 | 四川长虹电器股份有限公司 | 基于循环神经网络的销量预测方法及服务器 |
CN111241873A (zh) * | 2018-11-28 | 2020-06-05 | 马上消费金融股份有限公司 | 图像翻拍检测方法及其模型的训练方法、支付方法及装置 |
CN110059546A (zh) * | 2019-03-08 | 2019-07-26 | 深圳神目信息技术有限公司 | 基于频谱分析的活体识别方法、装置、终端及可读介质 |
CN110110652B (zh) * | 2019-05-05 | 2021-10-22 | 达闼科技(北京)有限公司 | 一种目标检测方法、电子设备及存储介质 |
CN110070076B (zh) * | 2019-05-08 | 2021-05-18 | 北京字节跳动网络技术有限公司 | 用于选取训练用样本的方法和装置 |
WO2020258121A1 (zh) * | 2019-06-27 | 2020-12-30 | 深圳市汇顶科技股份有限公司 | 一种人脸识别的方法、装置和电子设备 |
CN110516575A (zh) * | 2019-08-19 | 2019-11-29 | 上海交通大学 | 基于残差域富模型的gan生成图片检测方法及系统 |
CN111881707B (zh) * | 2019-12-04 | 2021-09-14 | 马上消费金融股份有限公司 | 图像翻拍检测方法、身份验证方法、模型训练方法及装置 |
CN113033761B (zh) * | 2019-12-09 | 2024-05-14 | 中科寒武纪科技股份有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
CN111461298A (zh) * | 2020-03-26 | 2020-07-28 | 广西电网有限责任公司电力科学研究院 | 一种用于断路器故障识别的卷积神经网络及方法 |
CN111178340B (zh) * | 2020-04-10 | 2020-07-21 | 支付宝(杭州)信息技术有限公司 | 图像识别方法及图像识别模型的训练方法 |
CN111488836B (zh) * | 2020-04-13 | 2023-06-02 | 广州市百果园信息技术有限公司 | 人脸轮廓修正方法、装置、设备及存储介质 |
CN114140751B (zh) * | 2021-12-13 | 2024-02-09 | 江苏商贸职业学院 | 一种考场监控方法及系统 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101430759A (zh) * | 2008-12-04 | 2009-05-13 | 上海大学 | 优化的人脸识别预处理方法 |
CN101571919A (zh) * | 2009-05-26 | 2009-11-04 | 重庆大学 | 基于光学非下采样轮廓波变换的人脸识别方法 |
CN102542257A (zh) * | 2011-12-20 | 2012-07-04 | 东南大学 | 基于视频传感器的驾驶人疲劳等级检测方法 |
CN103434484A (zh) * | 2013-08-20 | 2013-12-11 | 安科智慧城市技术(中国)有限公司 | 车载识别认证装置、移动终端、智能车钥控制系统及方法 |
CN104731341A (zh) * | 2015-04-01 | 2015-06-24 | 浙江大学 | 一种基于eeg和计算机视觉的人脸图片检索方法 |
CN105141922A (zh) * | 2015-09-02 | 2015-12-09 | 广东美的制冷设备有限公司 | 基于空调的安防监控方法和空调器 |
CN105138993A (zh) * | 2015-08-31 | 2015-12-09 | 小米科技有限责任公司 | 建立人脸识别模型的方法及装置 |
CN106781282A (zh) * | 2016-12-29 | 2017-05-31 | 天津中科智能识别产业技术研究院有限公司 | 一种智能行车驾驶员疲劳预警系统 |
CN106909882A (zh) * | 2017-01-16 | 2017-06-30 | 广东工业大学 | 一种应用于保安机器人的人脸识别系统及方法 |
CN106940904A (zh) * | 2017-03-14 | 2017-07-11 | 深圳汇通智能化科技有限公司 | 基于人脸识别和语音识别的考勤系统 |
CN107423690A (zh) * | 2017-06-26 | 2017-12-01 | 广东工业大学 | 一种人脸识别方法及装置 |
CN107451455A (zh) * | 2017-07-29 | 2017-12-08 | 广东欧珀移动通信有限公司 | 解锁控制方法及相关产品 |
-
2017
- 2017-12-28 CN CN201711460256.0A patent/CN107958235B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101430759A (zh) * | 2008-12-04 | 2009-05-13 | 上海大学 | 优化的人脸识别预处理方法 |
CN101571919A (zh) * | 2009-05-26 | 2009-11-04 | 重庆大学 | 基于光学非下采样轮廓波变换的人脸识别方法 |
CN102542257A (zh) * | 2011-12-20 | 2012-07-04 | 东南大学 | 基于视频传感器的驾驶人疲劳等级检测方法 |
CN103434484A (zh) * | 2013-08-20 | 2013-12-11 | 安科智慧城市技术(中国)有限公司 | 车载识别认证装置、移动终端、智能车钥控制系统及方法 |
CN104731341A (zh) * | 2015-04-01 | 2015-06-24 | 浙江大学 | 一种基于eeg和计算机视觉的人脸图片检索方法 |
CN105138993A (zh) * | 2015-08-31 | 2015-12-09 | 小米科技有限责任公司 | 建立人脸识别模型的方法及装置 |
CN105141922A (zh) * | 2015-09-02 | 2015-12-09 | 广东美的制冷设备有限公司 | 基于空调的安防监控方法和空调器 |
CN106781282A (zh) * | 2016-12-29 | 2017-05-31 | 天津中科智能识别产业技术研究院有限公司 | 一种智能行车驾驶员疲劳预警系统 |
CN106909882A (zh) * | 2017-01-16 | 2017-06-30 | 广东工业大学 | 一种应用于保安机器人的人脸识别系统及方法 |
CN106940904A (zh) * | 2017-03-14 | 2017-07-11 | 深圳汇通智能化科技有限公司 | 基于人脸识别和语音识别的考勤系统 |
CN107423690A (zh) * | 2017-06-26 | 2017-12-01 | 广东工业大学 | 一种人脸识别方法及装置 |
CN107451455A (zh) * | 2017-07-29 | 2017-12-08 | 广东欧珀移动通信有限公司 | 解锁控制方法及相关产品 |
Non-Patent Citations (1)
Title |
---|
小波变换和 LBP 对数域特征提取的人脸识别算法;梁淑芬等;《信号处理》;20130930;第1227-1232页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107958235A (zh) | 2018-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107958235B (zh) | 一种人脸图像检测方法、装置、介质和电子设备 | |
JP7490141B2 (ja) | 画像検出方法、モデルトレーニング方法、画像検出装置、トレーニング装置、機器及びプログラム | |
Li et al. | Which has better visual quality: The clear blue sky or a blurry animal? | |
CN109325954B (zh) | 图像分割方法、装置及电子设备 | |
Garcia et al. | Face-spoofing 2D-detection based on Moiré-pattern analysis | |
Rahmouni et al. | Distinguishing computer graphics from natural images using convolution neural networks | |
CN107766786B (zh) | 活性测试方法和活性测试计算设备 | |
CN112581379B (zh) | 图像增强方法以及装置 | |
Mavridaki et al. | No-reference blur assessment in natural images using fourier transform and spatial pyramids | |
EP3333768A1 (en) | Method and apparatus for detecting target | |
US10963676B2 (en) | Image processing method and apparatus | |
CN112446270A (zh) | 行人再识别网络的训练方法、行人再识别方法和装置 | |
CN106408037B (zh) | 图像识别方法及装置 | |
CN109325933A (zh) | 一种翻拍图像识别方法及装置 | |
US20170069059A1 (en) | Non-Local Image Denoising | |
EP3674973A1 (en) | Method and apparatus with liveness detection and object recognition | |
US10706558B2 (en) | Foreground and background detection method | |
TW201142719A (en) | Head recognition method | |
KR101786754B1 (ko) | 나이 추정 장치 및 방법 | |
CN112991345A (zh) | 图像真伪检测方法、装置、计算机设备和存储介质 | |
CN110348434A (zh) | 相机来源鉴别方法、系统、存储介质和计算设备 | |
Geradts et al. | Interpol review of forensic video analysis, 2019–2022 | |
CN111144425A (zh) | 检测拍屏图片的方法、装置、电子设备及存储介质 | |
CN112861743A (zh) | 一种掌静脉图像防伪方法、装置和设备 | |
Lyu | Research on subway pedestrian detection algorithm based on big data cleaning technology |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |