Nothing Special   »   [go: up one dir, main page]

CN112926464B - 一种人脸活体检测方法以及装置 - Google Patents

一种人脸活体检测方法以及装置 Download PDF

Info

Publication number
CN112926464B
CN112926464B CN202110228537.3A CN202110228537A CN112926464B CN 112926464 B CN112926464 B CN 112926464B CN 202110228537 A CN202110228537 A CN 202110228537A CN 112926464 B CN112926464 B CN 112926464B
Authority
CN
China
Prior art keywords
face
image
parallax information
abscissa
human face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110228537.3A
Other languages
English (en)
Other versions
CN112926464A (zh
Inventor
张发恩
禹文扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ainnovation Chongqing Technology Co ltd
Original Assignee
Ainnovation Chongqing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ainnovation Chongqing Technology Co ltd filed Critical Ainnovation Chongqing Technology Co ltd
Priority to CN202110228537.3A priority Critical patent/CN112926464B/zh
Publication of CN112926464A publication Critical patent/CN112926464A/zh
Application granted granted Critical
Publication of CN112926464B publication Critical patent/CN112926464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20228Disparity calculation for image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种人脸活体检测的方法以及装置,所述人脸活体检测的方法包括:获取多个角度拍摄的多张包含人脸的图像;基于各人脸图像上的人脸关键部位获取视差信息,其中,所述关键部位包括眼睛、鼻子和嘴巴,所述视差信息用于表征相应图像上所述人脸关键部位之间的相对位置;根据所述各人脸对应的所述视差信息确认所述人脸类别,其中,所述人脸类别包括活体人脸或者非活体人脸。本申请的实施例通过采集人脸上关键部位的视差信息来判断是否属于人脸活体的方法,减少了计算量,提升了人脸检测的速度。

Description

一种人脸活体检测方法以及装置
技术领域
本申请涉及人脸活体检测领域,具体而言本申请实施例涉及一种人脸活体检测方法以及装置。
背景技术
当代社会人脸识别技术越来越普及到人民生活的方方面面,在门禁、身份识别等细分领域已经有诸多成功应用的技术案例。因此,人脸防伪/活体检测(Face Anti-Spoofing)技术在近年来得到了越来越多的关注,因为在用户刷脸的时候,算法要判别这张脸是不是真人活体脸,而对于合成的、或者他人照片来攻击算法的,应该予以拒绝。PA(Presentation Attacks)是常用的攻击方式,主要包含print attack(即打印出人脸照片)、replay attack(播放视频)等。
现在对于人脸防伪/活体检测已经有好些年的研究历史了,传统方法将其视为一个“活体”VS“假体”的二分类问题。人脸活体检测主要有以下三种方案:第一种,提取人脸的几何特征、纹理特征等再结合SVM、LR等分类器进行分类,为了克服光照等因素的影响,会常常将RGB输入空间变换到HSV,YCbCr或Fourier spectrum空间;AlexNet之后,研究者们纷纷转向设计更有效的深度神经网络结构来做二分类。此类方法通常可用性较差,在对抗照片攻击的训练或测试过程中通常会学到照片边框、视觉波纹等额外信息造成过拟合而非真正学会了如何区分活体和非活体。第二种,通过执行系统发出的“眨眼”、“点头”、“转向”等指令来辨别真假活体。该方法需要用户主动配合做出动作,并且在实践工作非常影响识别效率,并且对视频录制的非活体人脸攻击抵抗较差。第三种,在不接触皮肤的情况下获取生物信号(例如心率等)用于活体检测,该方法需求的生物信号输出需要额外的设备接入。
此外,近期也涌现出利用三维视觉成像技术进行活体检测,但是这些三维视觉技术也存在如下各自的问题。
第一种,以双目立体视觉技术对人脸面部像素进行拟合和三维重建,从而区分出立体的人脸活体和照片视频中平面人脸的区别。
双目立体视觉的深度信息拟合耗费的算力较大需要较为昂贵的算力平台支持,而且拟合效果依赖于像素差异化和纹理丰富程度,生成稠密深度信息矩阵的代价高昂,因此实际应用效果和可靠性均较差。
第二种,加入TOF、结构光等三维视觉相机拟合出人脸三维点云信息用以替代双目(标准的双目立体视觉技术采用两台光学参数完全一致的可见光相机进行视差比对)立体视觉的另外一目,形成近红外3D相机和可见光相机的伪双目立体视觉组合,以三维信息对抗二维照片或视频的伪装人脸。
三维视觉信息介入确实对照片或视频为代表的二维非活体人脸有排除效果,但额外的三维视觉相机加入不但需要更多的硬件成本,而且进行人脸检测的常规RGB相机和三维视觉相机必须经过复杂的空间坐标标定和光学参数匹配才能确保视觉系统捕捉的人脸。
第三种,直接把三维视觉相机采集到的人脸点云数据用神经网络模型进行训练和推理,完全替代常规基于彩色图像的人脸训练和推理识别。
目前较为成熟的神经网络模型都是基于RGB色彩图形所开发,人脸面部区域较小,相邻像素的三维点云坐标变化平缓,无法达到RGB面部图片一样在唇部、眼部等五官位置有剧烈的色彩变化梯度,因此在五官定位和面部特征信息提取方面纯三维点云图无法和RGB色彩图相比。
因此如何在减少计算量的同时还能保证人脸活体检测的准确性成了亟待解决的技术问题。
发明内容
本申请实施例的目的在于提供一种人脸活体检测方法以及装置,本申请的实施例通过获取不同角度拍摄的多张图像上的视差信息之间的差异来确定被拍摄对象属于人脸活体还是人脸图像等非人脸活体,有效减少了根据视差信息进行人脸活体检测的计算量,提升了处理速度。
第一方面,本申请的实施例提供一种人脸活体检测的方法,所述方法包括:获取多个角度拍摄的多张包含人脸的图像;基于各人脸图像上的人脸关键部位获取视差信息,其中,所述关键部位包括眼睛、鼻子和嘴巴,所述视差信息用于表征相应图像上所述人脸关键部位之间的相对位置;根据所述各人脸对应的所述视差信息确认所述人脸类别,其中,所述人脸类别包括活体人脸或者非活体人脸。
本申请的实施例通过采集人脸上关键部位的视差信息来判断是否属于人脸活体的方法(例如,由第一元素和第二元素在两张图像之间是否发生相对位移来确定,其中,第一元素是由眼睛和嘴巴构成的,第二元素包括鼻子),减少了计算量,提升了人脸检测的速度,降低了硬件成本需求。
在一些实施例中,所述多张包含人脸的图像是通过同步触发拍摄角度不同的主相机和至少一个副相机对人脸进行拍摄得到的,其中,由所述主相机拍摄的图像为主图像,由所述至少一个副相机中各副相机拍摄图像为副图像。
本申请的一些实施例基于双目视差原理采用多个拍摄角度不同的相机对人脸进行拍摄得到多副图像,进而可以获取视差信息,再根据视差信息获取人脸活体识别提升了获取视差信息的准确性。通过多个角度下副相机的部署可以避免目标人脸朝向问题造成部分人脸被遮挡的检测盲区。
在一些实施例中,所述基于各人脸图片上的人脸关键部位获取视差信息,包括:在所述主图像中搜索人脸,得到主图像人脸,并在各所述副图像中搜索人脸得到副图像人脸;在所述主图像人脸中标注所述关键部位,得到主图像关键部位坐标;在所述各副图像人脸中标注所述关键部位,得到各副图像关键部位坐标;基于所述主图像关键部位坐标获取主图像视差信息,并基于所述各副图像关键部位坐标获取副图像视差信息,其中,所述主图像视差信息和所述副图像视差信息用于表征鼻子在第一连线和第二连线之间的相对位置,所述第一连线对应左眼和左嘴角的连线,所述第二连线为所述右眼和右嘴角的连线;所述根据所述各人脸对应的所述视差信息确认所述人脸类别,包括:通过对比所述主图像视差信息和所述副图像视差信息之间的差异确定所述人脸类别。
本申请的一些实施例通过关键部位坐标获取鼻子处于脸部两条连线之间的相对位置对应的视差信息来确定被拍摄对象是否属于人脸活体,相对于现有技术的视差信息,本申请采用鼻子与两条连线的相对位置确定的视差信息更容易计算,且视差结果更准确,进而提升了人脸活体检测的准确性。
在一些实施例中,所述关键部位坐标包括:左眼睛的眼球坐标、右眼睛的眼球坐标、鼻子中鼻尖坐标、左嘴角坐标以及右嘴角坐标。
本申请的一些实施例通过获取主图像和副图像中左眼睛坐标、右眼睛坐标、鼻子坐标、左嘴角坐标以及右嘴角坐标,通过获取这些关键部位的坐标可以确定主图像和副图像上鼻子在第一连线和第二连线之间的相对位置的变化情况,进而确定是否属于活体人脸。
在一些实施例中,所述副相机的个数为一,所述主图像视差信息的值或者所述副图像视差信息的值是根据相应图像上第一交点横坐标与鼻尖横坐标的差值确定的,所述第一交点横坐标包括左线交点横坐标和右线交点横坐标,所述左线交点横坐标是根据所述相应图像上鼻尖的纵坐标在由左眼与左嘴角构成的连线上确定的横坐标,所述右线交点横坐标是根据所述相应图像上鼻子的纵坐标在由右眼与右嘴角构成的连线上确定的横坐标。
本申请的一些实施例的主图像视差信息的值和副图像视差信息的值是根据鼻子(例如,鼻尖)在相应图像上横坐标,和与鼻子处于同一水平向上的左眼(例如,左眼的眼球)和左嘴角构成的第一连线上横坐标的差值确定的;或者是由鼻子(例如,鼻尖)在相应图像上横坐标,和与鼻子处于同一水平向上的右眼(例如,右眼的眼球)和右嘴角构成的第二连线上的横坐标的差值确定的,本申请的一些实施例提供的确定视差信息的值的计算公式使得视差信息值的计算结果更加准确客观。
在一些实施例中,所述主图像视差信息的值为第一左差值和第一右差值的比值,其中,所述第一左差值为所述主图像人脸上鼻子的横坐标与所述左线交点横坐标的差值,所述第一右差值为所述鼻子的横坐标与所述主图像上右线交点横坐标的差值;所述副图像视差信息的值为第二左差值和第二右差值,其中,所述第二座差值为所述副图像上鼻子的横坐标与所述副图像上左线交点横坐标的差值,所述第二右差值为所述副图像上鼻子的横坐标与所述副图像上右线交点横坐标的差值;所述通过对比所述主图像视差信息和所述副图像视差信息之间的差异确定所述人脸类别,包括:如果所述主图像视差信息的值与所述副图像视差信息的值的差别小于设定值,则确认所述人脸属于非活体人脸,反之属于活体人脸。
本申请的一些实施例通过对比鼻子(例如,鼻尖)在主图像和副图像上位于两条连线(即由左眼(例如,左眼的眼球)和左嘴角形成的第一连线以及右眼(例如,右眼的眼球)和右嘴角形成的第二连线)之间位置的变化情况来确定是否属于活体人脸,提升了人脸活体检测的准确性和速度。
在一些实施例中,所述设定值时根据实际场景确定的。
在一些实施例中,通过神经网络模型从所述主图像和所述副图像中搜索人脸。
第二方面,本申请的一些实施例提供一种人脸活体检测的装置,所述装置包括:获取模块,被配置为获取多个角度拍摄的多张包含人脸的图像;视差信息获取模块,被配置为基于各人脸图像上的人脸关键部位获取视差信息,其中,所述关键部位包括眼睛、鼻子和嘴巴,所述视差信息用于表征相应图像上所述人脸关键部位之间的相对位置;人脸类别识别模块,被配置为根据所述各人脸对应的所述视差信息确认所述人脸类别,其中,所述人脸类别包括活体人脸或者非活体人脸。
第三方面,本申请的一些实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时可实现上述第一方面所述的方法。
第四方面,本申请的一些实施例通提供一种信息处理设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其中,所述处理器执行所述程序时可实现上述第一方面所述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为相关技术提供的基于双目视差原理构造的双目立体视觉架构图;
图2为本申请实施例提供的双目立体视觉拍照系统的放置关系示意图;
图3为本申请实施例提供的人脸活体检测的系统组成框图;
图4为相关技术提供的双目视差原理示意图;
图5为本申请实施例提供的人脸活体检测方法的流程图;
图6为本申请实施例提供的人脸关键点进行标记的示意图;
图7为本申请实施例提供的对活体人脸正拍的视差标记示意图;
图8为本申请实施例提供的对图7的活体人脸侧拍的视差标记示意图;
图9为本申请实施例提供的对图7人脸的照片侧拍的视差标记示意图;
图10为本申请实施例提供的侧拍模拟图7同一对象得到的人脸的视差标记示意图;
图11为本申请实施例提供的人脸活体检测装置组成框图;
图12为本申请实施例提供的信息处理设备的组成示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在现实世界中人脸是一个有凹凸变化的非平面物体,人脸识别技术查找到的五官的位置在三维空间中不在同一平面,而照片和视频中的人脸图像都是二维平面上的人脸投影,因此人脸图像中的五官位置都在同一平面上,据此可以利用视差技术进行甄别。当前基于三维视觉技术人脸活体检测方案将拍摄目标得到的图像上每个像素的三维坐标都计算出来形成稠密点云再进行分析,而本申请实施例提供的人脸活体检测的方案只需要关注面部的鼻尖和双眼这几个关键点的位置坐标进行视差判定,如果视差判定成功则判断目标为三维物体即正常人脸,而视差判定失败则判断目标为二维物体即伪装人脸。
需要说明的是,为了实施本申请提供的人脸活体检测方案需要首先采用多个相机或者具有拍照功能的其它终端设备拍摄多张不同角度的图像。
下面示例性阐述相关技术用于拍摄多张不同角度的双目立体视觉架构的架构图,并提供本申请实施例所采用的用于拍摄多张不同角度的双目立体视觉架构的架构图。通过对比相关技术的架构与本申请实施例架构的差异,可以发现本申请实施例提供的人脸识别方法对双目立体视觉架构的约束较少,因此更易搭建且提升了整个技术方案的可操作性。
请参看图1,图1为相关技术基于双目视差原理构造的双目立体视觉架构图,图1包括两台相机,即第一相机101和第二相机102,且第一相机101和第二相机102的视场角相等,例如图1的第一相机101和第二相机102的视场角均为α。图1的第一相机101和第二相机102的视线轴都在三维空间中平行于H轴,图1中第一相机101和第二相机102之间的距离为B,且第一相机101和第二相机102之间共有的视场区域为图1标出的L区域。
本申请一些实施例以双目立体视觉作为基准实现方案,本申请的另一些实施例中采用三目,四目乃至更多目立体视觉方案以应对多角度下数据互相印证以及避免人脸朝向过偏而个别摄像头无法捕捉到完全人脸的技术问题。
与图1提供的相关技术的双目立体视觉架构不同的是,本申请的一些实施例双目立体视觉系统如图2所示。本申请实施例的双相机分为主相机和副相机,且主相机和副相机两台相机的视场角不再锁死为必须相等,且主相机和副相机的视线轴平行于水平面但垂直面上交汇(也就是说,视线轴平行于水平面但在空间中会产生交汇点,不同于相关技术双目立体视觉中双相机视线轴空间平行不相交的光学结构),副相机的视场角和偏转角度依据实施场景下的具体细节而调整,细节内容包括设计的人脸识别区位置和大小等。
如图3所示,假设采用多目立体视觉架构分别采集目的对象得到主图像111和N张副图像,分别为图3的第一副图像112、第二副图像113……直至第N副图像。将采集的N张副图像和主图像提供给服务器200,以使服务器200根据这些图像实现本申请实施例的人脸活体识别方法。
下面示例性阐述由服务器200执行的本申请实施例的人脸活体检测方法。
本申请的一些实施例基于双目立体视觉中的视差原理对常规的RGB人脸识别方法进行简易改进以达成高效的人脸活体检测目的。相关技术的双目视差原理如图4所示,对于基线长度Tx双眼/双目距离Z以外的目标点P,目标点P(坐标为X,Y,Z)在左相机的感光面上的X轴投影坐标为Xl,目标点P在右相机(Right Camera)的感光面上X轴投影坐标为Xr,视差Xm=Xl-Xr。依据图4的示意图可知,视差Xm的大小和相机焦距f以及距离Z相关,在相机f锁死的前提下,目标点P距离双目系统的距离Z越小,视差Xm就越大,双目立体视觉技术就是据此计算出每一个像素点和自身的距离Z,Z也可称为像素的深度值。
本申请的实施例也借鉴了相关技术的视差原理。
如图5所示,本申请的实施例提供一种由图3的服务器执行的人脸活体检测的方法,所述方法包括:S101,获取多个角度拍摄的多张包含人脸的图像;S102,基于各人脸图像上的人脸关键部位获取视差信息,其中,所述关键部位包括眼睛、鼻子和嘴巴,所述视差信息用于表征相应图像上所述人脸关键部位之间的相对位置;S103,根据所述各人脸对应的所述视差信息确认所述人脸类别,其中,所述人脸类别包括活体人脸或者非活体人脸。
下面示例性阐述上述各步骤以及与各步骤相关的方案。
可以理解的是,为了执行S101,在本申请的一些实施例中需要预先控制主相机和至少一个副相机同步触发拍摄多张角度不同的图像。例如,S101所获取的多张包含人脸的图像是通过同步触发拍摄角度不同的主相机和至少一个副相机对人脸进行拍摄得到的,其中,由所述主相机拍摄的图像为主图像,由所述至少一个副相机中各副相机拍摄图像为副图像。
作为本申请的一个示例,S102可以包括:分别在主副相机拍摄得到的图像中搜索人脸,具体方法不限,例如在测试实践中采用开源的深度神经网络模型算法RetinaFace对人脸进行检测。如果算法搜索到人脸则进一步识别并标记出双眼、左右唇角和鼻尖这五处关键点的位置坐标。如果主相机识别到人脸但副相机未成功找到人脸,则临时降低副相机图像的人脸识别判定阈值,重新尝试再识别一次或多次直至在副图像上检测到人脸。
例如,在本申请的一些实施例中,S102包括:在所述主图像中搜索人脸,得到主图像人脸,并在各所述副图像中搜索人脸得到副图像人脸;在所述主图像人脸中标注所述关键部位,得到主图像关键部位坐标;在所述各副图像人脸中标注所述关键部位,得到各副图像关键部位坐标;基于所述主图像关键部位坐标获取主图像视差信息,并基于所述各副图像关键部位坐标获取副图像视差信息,其中,所述主图像视差信息和所述副图像视差信息用于表征鼻子在第一连线和第二连线之间的相对位置,所述第一连线对应左眼和左嘴角的连线,所述第二连线为所述右眼和右嘴角的连线;所述根据所述各人脸对应的所述视差信息确认所述人脸类别,包括:通过对比所述主图像视差信息和所述副图像视差信息之间的差异确定所述人脸类别。例如,所述关键部位坐标包括:左眼睛坐标、右眼睛坐标、鼻子坐标、左嘴角坐标以及右嘴角坐标。
本申请的一些实施例通过关键部位坐标获取鼻子处于脸部两条连线之间的相对位置对应的视差信息来确定被拍摄对象是否属于人脸活体,相对于现有技术的视差信息,本申请采用鼻子与两条连线的相对位置确定的视差信息更容易计算,且视差结果更准确,进而提升了人脸活体检测的准确性。
例如,S102对人脸关键点进行标记的方法如图6所示,单张人脸上共计5个视差标记点,依次为右眼眼球ER(X1,Y1),左眼眼球EL(X2,Y2),鼻尖N(X3,Y3),右唇角MR(X4,Y4)和左唇角ML(X5,Y5),其中鼻尖以空心十字叉表示,其他4个点以实心十字叉标记。
作为一个示例,点位标记完成后,分别得到主相机正对人脸拍摄出图像的5个视差标记点结果,副相机侧对真实人脸侧拍拍摄出副图像的5个视差标记点结果,副相机侧对照片人脸侧拍拍摄出图像的5个视差标记点结果,以及副相机对模拟人脸侧拍拍摄出图像的5个视差标记结果。按照光学摄影理论,三维空间中侧拍的二维目标图形效果应类似于二维平面透视变换效果,因此对模拟人脸侧拍的图像上的视差标记点结果与对照片人脸侧拍得到的副图像上的视差标记点极为接近。将主图像和副图像的视差标记关键点提取出来顺序摆放,并将左眼EL和左唇角ML用线段连接,右眼ER和右唇角MR以线段连接,则结果如图7-图10所示,照片人脸侧拍(即图9的视差标记点)、模拟人脸侧拍(即图10的视差标记点)和人脸正拍(即图7的视差标记点)的关键点分布基本一致,完全没有视差效果,可判定副相机拍摄出的照片人脸对应的目标人脸为二维平面上的照片人脸,符合预设条件,而如图8所示侧拍实际人脸的鼻尖定位关键点N明显右移(图片方向)接近左眼和左唇角(按人脸方向)的连线标记,有明显视差效果,因此可判定图8的被拍摄目标为三维的活体人脸,也符合预设条件。需要说明的是,图7-图10是针对同一对象的人脸(包括:活体人脸、人脸照片和模拟人脸)的视差标记结果。
下面以一个副相机为例示例性阐述本申请实施例的人脸活体识别方法。
在本申请的一些实施例中,所述副相机的个数为一,所述主图像视差信息的值或者所述副图像视差信息的值是根据相应图像上第一交点横坐标与鼻子横坐标的差值确定的,所述第一交点横坐标包括左线交点横坐标和右线交点横坐标,所述左线交点横坐标是根据所述相应图像上鼻子的纵坐标在由左眼与左嘴角构成的连线上确定的横坐标,所述右线交点横坐标是根据所述相应图像上鼻子的纵坐标在由右眼与右嘴角构成的连线上确定的横坐标。例如,所述主图像视差信息的值为第一左差值和第一右差值的比值,其中,所述第一左差值为所述主图像人脸上鼻子的横坐标与所述左线交点横坐标的差值,所述第一右差值为所述鼻子的横坐标与所述主图像上右线交点横坐标的差值;所述副图像视差信息的值为第二左差值和第二右差值,其中,所述第二座差值为所述副图像上鼻子的横坐标与所述副图像上左线交点横坐标的差值,所述第二右差值为所述副图像上鼻子的横坐标与所述副图像上右线交点横坐标的差值;所述通过对比所述主图像视差信息和所述副图像视差信息之间的差异确定所述人脸类别,包括:如果所述主图像视差信息的值与所述副图像视差信息的值的差别小于设定值,则确认所述人脸属于非活体人脸,反之属于活体人脸。例如,所述设定值时根据实际场景确定的。例如,通过神经网络模型从所述主图像和所述副图像中搜索人脸。
例如,在本申请的一些实施例中S102包括:
分别根据主相机和副相机的人脸识别结果打上5个视差关键标记点,即右眼眼球ER(X1,Y1),左眼眼球EL(X2,Y2),鼻尖N(X3,Y3),右唇角MR(X4,Y4)和左唇角ML(X5,Y5)。
计算左唇角左眼连线和右唇角右眼连线在图片中的表达式,根据直线方程,对于任意在左唇角左眼连线上的一点PL(XL,YL),其横坐标X与纵坐标Y的关系可表达为公式1,同理右唇角右眼连线上一点PR(XR,YR)可表达为公式2。
获取鼻尖关键点处N的位置坐标X3(即鼻子的横坐标为X3)和Y3,将Y3代入公式(1)和公式(2)替代未知数YR和YL,分别计算出在鼻子在纵轴线上与左右连接线交汇的横坐标XR和XL,则N点(即鼻子所在的位置点)到右连接线水平距离DR=abs(X3-XR),N点到左连接线上的水平距离DL=abs(X3-XL),函数abs()代表取绝对值运算。
分别计算主副相机的视差信息值(即分别计算主图像视差信息值和副图像视差信息值)DIF=DL/DR,如果主副相机之间的DIF值区别较小甚至没有差别,则推断被拍摄目标为二维平面上的伪人脸,如主副相机之间的DIF值差别较大,则推断被拍摄目标为三维的活体人脸。具体定义DIF差距分界的阈值依据实际场景设定。
请参考图11,图11示出了本申请实施例提供的人脸活体检测装置,应理解,该装置与上述图5方法实施例对应,能够执行上述方法实施例涉及的各个步骤,该装置的具体功能可以参见上文中的描述,为避免重复,此处适当省略详细描述。装置包括至少一个能以软件或固件的形式存储于存储器中或固化在装置的操作系统中的软件功能模块,该人脸活体检测装置,包括:获取模块110,被配置为获取多个角度拍摄的多张包含人脸的图像;视差信息获取模块120,被配置为基于各人脸图像上的人脸关键部位获取视差信息,其中,所述关键部位包括眼睛、鼻子和嘴巴,所述视差信息用于表征相应图像上所述人脸关键部位之间的相对位置;人脸类别识别模块130,被配置为根据所述各人脸对应的所述视差信息确认所述人脸类别,其中,所述人脸类别包括活体人脸或者非活体人脸。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考图5中的对应过程,在此不再过多赘述。
本申请的一些实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时可实现上述图5所述的方法。
如图12所示,本申请的一些实施例通提供一种信息处理设备,包括存储器510、处理器520以及存储在所述存储器510上并可在所述处理器520上运行的计算机程序,其中,所述处理器520通过总线530从存储器510上读取程序并执行所述程序时可实现上述图5所述人脸活体检测方法。
处理器520可以处理数字信号,可以包括各种计算结构。例如复杂指令集计算机结构、结构精简指令集计算机结构或者一种实行多种指令集组合的结构。在一些示例中,处理器520可以是微处理器。
存储器510可以用于存储由处理器520执行的指令或指令执行过程中相关的数据。这些指令和/或数据可以包括代码,用于实现本申请实施例描述的一个或多个模块的一些功能或者全部功能。本公开实施例的处理器520可以用于执行存储器510中的指令以实现图5中所示的方法。存储器510包括动态随机存取存储器、静态随机存取存储器、闪存、光存储器或其它本领域技术人员所熟知的存储器。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (9)

1.一种人脸活体检测的方法,其特征在于,所述方法包括:
获取多个角度拍摄的多张包含人脸的图像,所述多张包含人脸的图像至少包括主图像和副图像;
基于各人脸图像上的人脸关键部位获取视差信息,其中,所述关键部位包括眼睛、鼻子和嘴巴,所述视差信息用于表征相应图像上所述人脸关键部位之间的相对位置;
根据所述各人脸对应的所述视差信息确认人脸类别,其中,所述人脸类别包括活体人脸或者非活体人脸;
所述基于各人脸图片上的人脸关键部位获取视差信息,包括:
在所述主图像中搜索人脸,得到主图像人脸,并在所述副图像中搜索人脸得到副图像人脸;
在所述主图像人脸中标注所述关键部位,得到主图像关键部位坐标;
在所述副图像人脸中标注所述关键部位,得到副图像关键部位坐标;
基于所述主图像关键部位坐标获取主图像视差信息,并基于所述副图像关键部位坐标获取副图像视差信息,其中,所述主图像视差信息和所述副图像视差信息用于表征鼻子在第一连线和第二连线之间的相对位置,所述第一连线对应左眼和左嘴角的连线,所述第二连线对应右眼和右嘴角的连线;
所述主图像视差信息的值或者所述副图像视差信息的值是根据相应图像上第一交点横坐标与鼻子横坐标的差值确定的,所述第一交点横坐标包括左线交点横坐标和右线交点横坐标,所述左线交点横坐标是根据所述相应图像上鼻子的纵坐标在由左眼与左嘴角构成的左连接线上确定的横坐标,所述右线交点横坐标是根据所述相应图像上鼻子的纵坐标在由右眼与右嘴角构成的右连接线上确定的横坐标;
所述根据所述各人脸对应的所述视差信息确认所述人脸类别,包括:通过对比所述主图像视差信息和所述副图像视差信息之间的差异确定所述人脸类别;
所述通过对比所述主图像视差信息和所述副图像视差信息之间的差异确定所述人脸类别,包括:
如果所述主图像视差信息的值与所述副图像视差信息的值的差别小于设定值,则确认所述人脸属于非活体人脸,反之属于活体人脸。
2.如权利要求1所述的方法,其特征在于,
所述多张包含人脸的图像是通过同步触发拍摄角度不同的主相机和至少一个副相机对人脸进行拍摄得到的,其中,由所述主相机拍摄的图像为主图像,由所述至少一个副相机中各副相机拍摄图像为副图像。
3.如权利要求2所述的方法,其特征在于,所述关键部位坐标包括:左眼球坐标、右眼球坐标、鼻尖坐标、左嘴角坐标以及右嘴角坐标。
4.如权利要求3所述的方法,其特征在于,所述主图像视差信息的值为第一左差值和第一右差值的比值,其中,所述第一左差值为所述主图像人脸上鼻子的横坐标与所述左线交点横坐标的差值,所述第一右差值为所述鼻子的横坐标与所述主图像上右线交点横坐标的差值;所述副图像视差信息的值为第二左差值和第二右差值的比值,其中,所述第二左差值为所述副图像上鼻子的横坐标与所述副图像上左线交点横坐标的差值,所述第二右差值为所述副图像上鼻子的横坐标与所述副图像上右线交点横坐标的差值;
所述通过对比所述主图像视差信息和所述副图像视差信息之间的差异确定所述人脸类别,包括:如果所述主图像视差信息的值与所述副图像视差信息的值的差别小于设定值,则确认所述人脸属于非活体人脸,反之属于活体人脸。
5.如权利要求4所述的方法,其特征在于,所述设定值是根据实际场景确定的。
6.如权利要求1所述的方法,其特征在于,通过神经网络模型从所述主图像和所述副图像中搜索人脸。
7.一种人脸活体检测的装置,其特征在于,所述装置包括:
获取模块,被配置为获取多个角度拍摄的多张包含人脸的图像,所述多张包含人脸的图像至少包括主图像和副图像;
视差信息获取模块,被配置为基于各人脸图像上的人脸关键部位获取视差信息,其中,所述关键部位包括眼睛、鼻子和嘴巴,所述视差信息用于表征相应图像上所述人脸关键部位之间的相对位置;
人脸类别识别模块,被配置为根据所述各人脸对应的所述视差信息确认所述人脸类别,其中,所述人脸类别包括活体人脸或者非活体人脸;
所述视差信息获取模块用于:
在所述主图像中搜索人脸,得到主图像人脸,并在所述副图像中搜索人脸得到副图像人脸;
在所述主图像人脸中标注所述关键部位,得到主图像关键部位坐标;
在所述副图像人脸中标注所述关键部位,得到副图像关键部位坐标;
基于所述主图像关键部位坐标获取主图像视差信息,并基于所述副图像关键部位坐标获取副图像视差信息,其中,所述主图像视差信息和所述副图像视差信息用于表征鼻子在第一连线和第二连线之间的相对位置,所述第一连线对应左眼和左嘴角的连线,所述第二连线对应右眼和右嘴角的连线;
所述主图像视差信息的值或者所述副图像视差信息的值是根据相应图像上第一交点横坐标与鼻子横坐标的差值确定的,所述第一交点横坐标包括左线交点横坐标和右线交点横坐标,所述左线交点横坐标是根据所述相应图像上鼻子的纵坐标在由左眼与左嘴角构成的左连接线上确定的横坐标,所述右线交点横坐标是根据所述相应图像上鼻子的纵坐标在由右眼与右嘴角构成的右连接线上确定的横坐标;
所述人脸类别识别模块用于:通过对比所述主图像视差信息和所述副图像视差信息之间的差异确定所述人脸类别;
所述人脸类别识别模块具体用于:如果所述主图像视差信息的值与所述副图像视差信息的值的差别小于设定值,则确认所述人脸属于非活体人脸,反之属于活体人脸。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时可实现权利要求1-6中任意一项权利要求所述的方法。
9.一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其中,所述处理器执行所述程序时可实现权利要求1-6中任意一项权利要求所述的方法。
CN202110228537.3A 2021-03-01 2021-03-01 一种人脸活体检测方法以及装置 Active CN112926464B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110228537.3A CN112926464B (zh) 2021-03-01 2021-03-01 一种人脸活体检测方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110228537.3A CN112926464B (zh) 2021-03-01 2021-03-01 一种人脸活体检测方法以及装置

Publications (2)

Publication Number Publication Date
CN112926464A CN112926464A (zh) 2021-06-08
CN112926464B true CN112926464B (zh) 2023-08-29

Family

ID=76172916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110228537.3A Active CN112926464B (zh) 2021-03-01 2021-03-01 一种人脸活体检测方法以及装置

Country Status (1)

Country Link
CN (1) CN112926464B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421317B (zh) * 2021-06-10 2023-04-18 浙江大华技术股份有限公司 一种生成图像的方法、系统及电子设备
CN113705428B (zh) * 2021-08-26 2024-07-19 北京市商汤科技开发有限公司 活体检测方法及装置、电子设备及计算机可读存储介质
CN113963425B (zh) * 2021-12-22 2022-03-25 北京的卢深视科技有限公司 人脸活体检测系统的测试方法、装置及存储介质
JP7450668B2 (ja) 2022-06-30 2024-03-15 維沃移動通信有限公司 顔認識方法、装置、システム、電子機器および読み取り可能記憶媒体

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016104487A1 (de) * 2016-03-11 2017-09-14 Dermalog Identification Systems Gmbh Mobiles elektronisches Gerät mit Gesichtserkennung
CN107609471A (zh) * 2017-08-02 2018-01-19 深圳元见智能科技有限公司 一种人脸活体检测方法
DE102016009619A1 (de) * 2016-07-29 2018-02-01 LÜTH & DÜMCHEN Automatisierungsprojekt GmbH Verfahren zum Nachweis der räumlichen Ausdehnung eines Kameraobjektes als Bestandteil einer Lebenderkennung für Vorrichtungen zur Erfassung personenspezifischer Daten
CN109241832A (zh) * 2018-07-26 2019-01-18 维沃移动通信有限公司 一种人脸活体检测的方法及终端设备
CN110059590A (zh) * 2019-03-29 2019-07-26 努比亚技术有限公司 一种人脸活体验证方法、装置、移动终端及可读存储介质
CN110472567A (zh) * 2019-08-14 2019-11-19 旭辉卓越健康信息科技有限公司 一种适用于非配合场景下的人脸识别方法和系统
CN110688878A (zh) * 2018-07-06 2020-01-14 北京三快在线科技有限公司 活体识别检测方法、装置、介质及电子设备
CN110889355A (zh) * 2019-11-19 2020-03-17 深圳市紫金支点技术股份有限公司 一种人脸识别校验方法、系统及存储介质
CN110956114A (zh) * 2019-11-25 2020-04-03 展讯通信(上海)有限公司 人脸活体检测方法、装置、检测系统及存储介质
CN111241926A (zh) * 2019-12-30 2020-06-05 新大陆数字技术股份有限公司 考勤与学情分析方法、系统、设备及可读存储介质
CN111753781A (zh) * 2020-06-30 2020-10-09 厦门瑞为信息技术有限公司 一种基于双目红外的实时3d人脸活体判断方法
KR20200129602A (ko) * 2019-05-09 2020-11-18 가천대학교 산학협력단 얼굴의 비대칭 특성정보를 도출하는 방법, 및 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101569268B1 (ko) * 2014-01-02 2015-11-13 아이리텍 잉크 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016104487A1 (de) * 2016-03-11 2017-09-14 Dermalog Identification Systems Gmbh Mobiles elektronisches Gerät mit Gesichtserkennung
DE102016009619A1 (de) * 2016-07-29 2018-02-01 LÜTH & DÜMCHEN Automatisierungsprojekt GmbH Verfahren zum Nachweis der räumlichen Ausdehnung eines Kameraobjektes als Bestandteil einer Lebenderkennung für Vorrichtungen zur Erfassung personenspezifischer Daten
CN107609471A (zh) * 2017-08-02 2018-01-19 深圳元见智能科技有限公司 一种人脸活体检测方法
CN110688878A (zh) * 2018-07-06 2020-01-14 北京三快在线科技有限公司 活体识别检测方法、装置、介质及电子设备
CN109241832A (zh) * 2018-07-26 2019-01-18 维沃移动通信有限公司 一种人脸活体检测的方法及终端设备
CN110059590A (zh) * 2019-03-29 2019-07-26 努比亚技术有限公司 一种人脸活体验证方法、装置、移动终端及可读存储介质
KR20200129602A (ko) * 2019-05-09 2020-11-18 가천대학교 산학협력단 얼굴의 비대칭 특성정보를 도출하는 방법, 및 시스템
CN110472567A (zh) * 2019-08-14 2019-11-19 旭辉卓越健康信息科技有限公司 一种适用于非配合场景下的人脸识别方法和系统
CN110889355A (zh) * 2019-11-19 2020-03-17 深圳市紫金支点技术股份有限公司 一种人脸识别校验方法、系统及存储介质
CN110956114A (zh) * 2019-11-25 2020-04-03 展讯通信(上海)有限公司 人脸活体检测方法、装置、检测系统及存储介质
CN111241926A (zh) * 2019-12-30 2020-06-05 新大陆数字技术股份有限公司 考勤与学情分析方法、系统、设备及可读存储介质
CN111753781A (zh) * 2020-06-30 2020-10-09 厦门瑞为信息技术有限公司 一种基于双目红外的实时3d人脸活体判断方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Face Anti-Spoofing Based on NIR Photos;ZhiYuan Shi et al.;《2019 IEEE 13th International Conference on Anti-conterfeiting, Security, and Identification (ASID)》;第31-35页 *

Also Published As

Publication number Publication date
CN112926464A (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
CN112926464B (zh) 一种人脸活体检测方法以及装置
US10269177B2 (en) Headset removal in virtual, augmented, and mixed reality using an eye gaze database
AU2018292610B2 (en) Method and system for performing simultaneous localization and mapping using convolutional image transformation
CN109598242B (zh) 一种活体检测方法
US20150243031A1 (en) Method and device for determining at least one object feature of an object comprised in an image
CN106326832B (zh) 基于物体区域处理图像的装置及方法
JP5035467B2 (ja) 立体性認証方法、立体性認証装置および立体性認証プログラム
EP3651457B1 (en) Pupillary distance measurement method, wearable eye equipment and storage medium
CN105740778B (zh) 一种改进的三维人脸活体检测方法及其装置
KR101510312B1 (ko) 복수의 카메라들을 이용한 3d 얼굴 모델링 장치, 시스템 및 방법
CN101923641A (zh) 一种改进的人脸识别方法
JP2007304801A (ja) 立体性認証方法、立体性認証装置および立体性認証プログラム
CN106991378B (zh) 基于深度的人脸朝向检测方法、检测装置和电子装置
US20120120196A1 (en) Image counting method and apparatus
CN110567441B (zh) 基于粒子滤波的定位方法、定位装置、建图及定位的方法
EP3506149A1 (en) Method, system and computer program product for eye gaze direction estimation
CN109035307B (zh) 基于自然光双目视觉的设定区域目标追踪方法及系统
Asteriadis et al. A natural head pose and eye gaze dataset
CN112257641A (zh) 一种人脸识别活体检测方法
JP6950644B2 (ja) 注意対象推定装置及び注意対象推定方法
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
US9940504B2 (en) Method to produce consistent face texture
CN109961473A (zh) 双眼定位方法及装置、电子设备和计算机可读存储介质
CN117058183A (zh) 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质
WO2024113275A1 (zh) 凝视点获取方法和装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant