CN112115886A - 图像检测方法和相关装置、设备、存储介质 - Google Patents
图像检测方法和相关装置、设备、存储介质 Download PDFInfo
- Publication number
- CN112115886A CN112115886A CN202011002322.1A CN202011002322A CN112115886A CN 112115886 A CN112115886 A CN 112115886A CN 202011002322 A CN202011002322 A CN 202011002322A CN 112115886 A CN112115886 A CN 112115886A
- Authority
- CN
- China
- Prior art keywords
- detected
- target
- image
- preset
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 130
- 238000000034 method Methods 0.000 claims description 57
- 238000000605 extraction Methods 0.000 claims description 47
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 abstract description 29
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 206010035664 Pneumonia Diseases 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
本申请公开了一种图像检测方法和相关装置、设备、存储介质,图像检测方法包括:获取包含待检测目标的第一图像;对第一图像进行检测,得到第一图像的检测结果,其中,检测结果包括第一图像中的待检测目标是否被预设物体遮挡;执行与检测结果匹配的预设操作。上述方案,能够检测待检测目标是否被预设物体遮挡,进而基于遮挡状态进行灵活处理。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像检测方法和相关装置、设备、存储介质。
背景技术
目前,图像处理,特别是对图像中的目标进行检测与识别,已被广泛运用。以人脸为例,对图像中的人脸检测与识别,已广泛应用于金融、边检、政府、航天、电力、工厂、教育、医疗等领域。通常情况下,采用摄像设备采集含有人脸的图像或视频流,并自动在图像中检测人脸,进而对检测到的人脸进行脸部识别,并基于识别结果进行相应处理。
通常情况下,对图像中的目标处理的方式都是对整个目标进行检测与识别,并不会判断出该目标的状态,如是否存在遮挡物等,故无法针对不同状态下的目标进行处理。
发明内容
本申请至少提供一种图像检测方法和相关装置、设备、存储介质。
本申请第一方面提供了一种图像检测方法,包括:获取包含待检测目标的第一图像;对第一图像进行检测,得到第一图像的检测结果,其中,检测结果包括第一图像中的待检测目标是否被预设物体遮挡;执行与检测结果匹配的预设操作。
因此,通过对包含待检测目标的第一图像进行检测以得到待检测目标是否被遮挡的检测结果,然后执行与检测结果匹配的预设操作,能够实现判断待检测目标是否被遮挡,从而进行后续的与检测结果匹配的预设操作,实现了基于图像中待检测目标的遮挡状态进行灵活处理。
其中,检测结果是利用神经网络对第一图像进行检测得到的。
因此,通过提前训练好的神经网络来进行检测,使得检测结果更准确且检测速度更快。
其中,执行与检测结果匹配的预设操作,包括:在待检测目标未被预设物体遮挡的情况下,发出第一提醒;其中,第一提醒用于提示使用预设物体对待检测目标进行遮挡。
因此,通过在待检测目标未被遮挡时发出第一提醒,以及时提醒待检测目标未被预设物体遮挡的情况,进而被提醒者也能够及时采取对应的措施。
其中,检测结果还包括待检测目标被预设物体的遮挡方式是否为预设遮挡方式;执行与检测结果匹配的预设操作,包括:在待检测目标被预设物体遮挡且遮挡方式不属于预设遮挡方式的情况下,发出第二提醒;其中,第二提醒用于提示调整预设物体的遮挡方式。
因此,当遮挡方式不正确时,发出第二提醒,以便于及时调整待检测目标的遮挡方式。
其中,执行与检测结果匹配的预设操作,包括:在待检测目标被预设物体遮挡的情况下,从第一图像中至少提取待检测目标的未被遮挡部分的第一特征,作为待检测目标的待识别特征;利用待识别特征,对待检测目标进行识别,并得到识别结果。
因此,在待检测目标被预设物体遮挡时,则提取未被遮挡部分的特征进行识别,实现了基于待检测目标的局部特征进行识别,而且由于该局部特征未被遮挡,故能够代表待检测目标,在一定程度上保证识别的准确性。
其中,从第一图像中至少提取待检测目标的未被遮挡部分的第一特征,作为待检测目标的待识别特征,包括:从第一图像中提取待检测目标的未被遮挡部分的第一特征,并获取待检测目标的被遮挡部分的第二特征;将第一特征和第二特征作为待检测目标的待识别特征。
因此,除采用待检测目标未被遮挡部分的特征以外,还结合被遮挡部分的特征,由此可提高待检测目标的特征丰富度。
其中,获取待检测目标的被遮挡部分的第二特征,包括:从第一图像中提取被遮挡部分的特征作为第二特征;或者,获取被遮挡部分的预设特征作为第二特征,其中,预设特征包括基于至少一个参考特征得到的特征,每个参考特征是对不存在被遮挡部分的参考目标中与被遮挡部分对应的区域提取得到的。
因此,关于被遮挡部分的特征确定方式,可通过直接提取被遮挡部分的特征,由于被遮挡部分的特征能够在一定程度随着待检测目标的不同而不同,故此方式能够提高识别的准确性;也可通过获取预设特征作为被遮挡部分特征,此方式无需对被遮挡部分进行特征提取,可减少处理资源的损耗,且提高处理效率。
其中,利用待识别特征,对待检测目标进行识别,并得到识别结果,包括如下至少一项:在预设目标包括一个的情况下,获取待识别特征与预设目标的预存特征之间的第一相似度,并在第一相似度满足第一预设条件的情况下,确定识别结果包括待检测目标通过身份认证;在预设目标包括多个的情况下,分别获取待识别特征与每个预设目标的预存特征之间的第二相似度,并确定识别结果包括将待检测目标的身份确定为满足第二预设条件的第二相似度对应的预设目标的身份。
因此,通过计算与特定预设目标的预存特征之间的第一相似度,或计算与多个预设目标的预存特征之间的相似度,使得能够实现根据具体场景需求将待检测目标与特定某个预设目标进行比对,或与某个数据库中的预设目标进行比对。
其中,方法包括如下至少一项:第一预设条件包括第一相似度大于第一相似度阈值;第二预设条件包括第二相似度大于第二相似度阈值。
因此,通过将不同的场景中分别设置第一相似度阈值,使得识别结果更准确。
其中,方法包括如下至少一项:在待识别特征包括待检测目标的被遮挡部分的第二特征的情况下的第一相似度阈值,小于在待识别特征不包括第二特征的情况下的第一相似度阈值;在待识别特征包括第二特征的情况下的第二相似度阈值,小于在待识别特征不包括第二特征的情况下的第二相似度阈值。
因此,如果待识别特征中包含第二特征,第二特征可能会与待检测目标被遮挡部分的关键点真实的特征所有出入,因此,在这种情况下适当地减小相似度阈值能够提高识别的准确性。
其中,在获取待识别特征与预设目标的预存特征之间的第一相似度之前,方法还包括:响应于账号注册请求,为用户注册账号;从对用户拍摄得到的至少一帧第二图像中,确定满足预设质量要求的第二图像,并从确定的第二图像中提取用户的预设部位的特征;将预设部位的特征与账号建立关联,并将预设部位的特征保存作为预设目标的预存特征。
因此,通过先确定满足质量要求的第二图像来提取预设部位的特征以使得提取到的特征更准确。
其中,在待检测目标被预设物体遮挡的情况下,在从第一图像中至少提取待检测目标的未被遮挡部分的第一特征之前,方法还包括以下至少一个步骤:从包含待检测目标的多帧第一图像中,确定满足预设质量要求的第一图像作为进行后续特征提取的第一图像;对进行后续特征提取的第一图像进行预处理;对进行后续特征提取的第一图像进行活体检测,并在活体检测结果为待检测目标为活体的情况下,确定执行从第一图像中至少提取待检测目标的未被遮挡部分的第一特征及其后续步骤。
因此,通过在进行特征提取之前,先进行预处理,使得提取到的特征更准确,通过在待检测目标为活体的情况下才对待检测目标进行识别,从而增强了识别的安全性,可以在一定程度上防止假体攻击。
其中,从包含待检测目标的多帧第一图像中,确定满足预设质量要求的第一图像作为进行后续特征提取的第一图像,包括:基于每帧第一图像的质量因子,对应得到每帧第一图像的质量分数,其中,第一图像的质量因子包括以下至少一者:待检测目标相对于拍摄器件的位姿信息、用于反映第一图像中待检测目标大小的参数信息、第一图像的亮度信息;基于质量分数,确定满足预设质量要求的第一图像作为进行后续特征提取的第一图像,其中,选择的第一图像的质量分数高于其他第一图像的质量分数。
因此,通过确定质量分数满足要求的图像进行特征提取,使得提取到的特征更能表示待检测目标。
其中,对进行后续特征提取的第一图像进行预处理,包括:在第一图像包括多个待检测目标的情况,确定满足预设提取要求的待检测目标在第一图像中的目标区域,并去除第一图像中除目标区域以外的图像部分;和/或,检测到第一图像中待检测目标的倾斜角度大于预设角度,并将第一图像旋转至待检测目标的倾斜角度小于或等于预设角度。
因此,当第一图像中存在多个待检测目标时,仅确定满足预设提取要求的待检测目标,而将不满足要求的待检测目标丢弃,减小了不满足要求的待检测目标对识别结果的影响;其次,当第一图像中待检测目标的倾斜角度,则将其摆正,减少了因为待检测目标因为倾斜而造成的影响。
其中,预设提取要求包括待检测目标对应区域的面积大于其他待检测目标对应区域的面积,其他待检测目标包括除待检测目标以外的目标。
因此,因为待检测目标的面积越大,提取到的特征则越准确,因此,通过选择面积更大的待检测目标使得待检测结果更准确。
其中,待检测目标包括人脸,预设物体包括口罩。
因此,通过判断人脸是否佩戴口罩,并执行对应操作,例如,若人脸没有佩戴口罩或佩戴口罩的方式不准确,则可发出对应的提醒,使得用户能够及时调整;若人脸佩戴口罩,则对人脸进行识别等。
本申请第二方面提供了一种图像检测装置,包括:图像获取模块,用于获取包含待检测目标的第一图像;目标检测模块,用于对第一图像进行检测,得到第一图像的检测结果,其中,检测结果包括第一图像中的待检测目标是否被预设物体遮挡;操作执行模块,用于执行与检测结果匹配的预设操作。
本申请第三方面提供了一种电子设备,包括存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述图像检测方法。
本申请第四方面提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述图像检测方法。
上述方案,通过对包含待检测目标的第一图像进行检测以得到待检测目标是否被遮挡,然后执行与检测结果匹配的预设操作,能够判断待检测目标是否被遮挡从而能够进行后续的与检测结果匹配的预设操作,实现了基于图像中待检测目标的遮挡状态进行灵活处理。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。
图1是本申请图像检测方法一实施例的流程示意图;
图2是本申请图像检测方法一实施例中第一图像示意图;
图3是本申请图像检测方法一实施例中经过预处理的第一图像示意图;
图4是本申请图像检测装置一实施例的结构示意图;
图5是本申请电子设备一实施例的结构示意图;
图6是本申请计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
本申请可应用于具备图像处理能力的设备。此外,该设备可以具备图像采集或是视频采集功能,比如,该设备可以包括诸如摄像头等用于采集图像或是视频的部件。或是该设备可以通过与其他设备进行数据传输或是数据交互的方式,以从其他设备中获取所需的视频流或是图像,或是从其他设备的存储资源中访问所需的视频流或是图像等。其中,其他设备具备图像采集或是视频采集功能,且与该设备之间具备通信连接,比如,该设备可以与其他设备之间通过蓝牙、无线网络等方式进行数据传输或是数据交互,在此对于二者之间的通信方式不予限定,可以包括但不限于上述例举的情况。在一种实现方式中,该设备可以包括手机、平板电脑、可交互屏幕等,在此不予限定。
请参阅图1,图1是本申请图像检测方法一实施例的流程示意图。具体而言,可以包括如下步骤:
步骤S11:获取包含待检测目标的第一图像。
其中,包含待检测目标的第一图像可以是直接调用本设备的摄像头采集的包含目标对象的初始图像,当然还可以是从其他设备中获取到的图像,也可以是经过选帧、调整亮度、分辨率等的图像。待检测目标也可以包括人脸、其他动物的面部或肢体等等。因此,获取包含待检测目标的第一图像的方式不限。其中,其他设备指的是分别利用不同中央处理器才能进行操作的设备。
步骤S12:对第一图像进行检测,得到第一图像的检测结果,其中,检测结果包括第一图像中的待检测目标是否被预设物体遮挡。
其中,预设物体指的是能够对待检测目标进行遮挡的任何物体,例如口罩、围巾、眼镜或者手臂、纸张等可视物体。
对第一图像进行检测,在检测过程中需要对第一图像中是否包含待检测图像进行检测,若存在待检测目标,则进一步判断待检测目标是否被预设物体遮挡。判断待检测目标是否被预设物体遮挡的方式可以是在对第一图像进行检测之前,先行训练一个遮挡检测模型,通过将第一图像输入遮挡检测模型(比如,可以为具备遮挡检测功能的神经网络),即可得知第一图像中的待检测目标是否被预设物体遮挡。当然,在其他公开实施例中,判断待检测目标是否被预设物体遮挡的方式还可以是判断待检测目标中预设检测位置是否被遮挡,以及对预设检测位置遮挡的物体是否满足预设物体的条件。其中,可以提取遮挡物体与预设遮挡物体的特征,进行相似度的判断从而得出包含待检测目标是否被遮挡的检测结果。
步骤S13:执行与检测结果匹配的预设操作。
其中,检测结果可能是待检测目标被遮挡但不是被预设物体遮挡,待检测目标被预设物体遮挡但是遮挡的方式不是预设方式,待检测目标被预设物体遮挡且遮挡的方式与预设方式相同或待检测目标完全没有被遮挡。本公开实施例中,考虑第一图像中的待检测目标是否被预设物体遮挡的情况。当然,在其他公开实施例中,可将预设物体设置为任何物体,也就是采用遮挡检测模型,只要判断得出待检测目标被遮挡,则执行对应的预设操作。预设操作可以是与目标检测相关的任何操作,例如识别等。
上述方案,通过对包含待检测目标的第一图像进行检测以得到待检测目标是否被遮挡,然后执行与检测结果匹配的预设操作,能够实现判断待检测目标是否被遮挡,从而进行后续的与检测结果匹配的预设操作,实现了基于图像中待检测目标的遮挡状态进行灵活处理。
一些公开实施例中,检测结果是利用神经网络对第一图像进行检测得到的。在对第一图像进行检测之前,先训练一个预设物体遮挡模型,使得训练好的预设物体遮挡模型能够检测第一图像中的待检测目标是否被预设物体遮挡。其中,预设物体可以是一个也可以是多个,例如两个、三个不同的物体,当预设物体是多个时,表明一个预设物体遮挡模型能够在判断待检测目标是否被预设物体遮挡的同时还能检测到待检测目标被哪一种预设物体遮挡。可选地,待检测目标可以是人脸,预设物体可以是口罩。对应地,预设物体遮挡模型则是口罩检测模型。口罩检测模型可以检测待检测目标是否佩戴口罩,当然,在其他实施例中,还可同时检测到待检测目标在佩戴口罩的情况下,佩戴口罩的方式是否正确。通过提前训练好的神经网络来进行检测,使得检测结果更准确且检测速度更快。
在待检测目标未被预设物体遮挡的情况下,发出第一提醒,其中,第一提醒用于提示使用预设物体对待检测目标进行遮挡。其中,第一提醒可以有多种提醒方式,包括由人脸框框选的方式,若检测到待检测目标未被预设物体遮挡,那么就会将人脸区域以人脸框的形式框选出来,此时的人脸框可以带有警示性的颜色,例如红色或黄色,第一提醒还可以是人脸框与提示性文字结合,提示性文字例如您未佩戴口罩,请您佩戴口罩,当然,还可以是语音提醒的方式,或提示灯闪烁等形式,当然,这些形式可以多个配合使用,也可单独使用,此处不做具体规定。例如,当口罩检测模型检测到人脸未佩戴口罩,则发出第一提醒以提醒该人脸佩戴口罩对人脸的口鼻进行遮挡。通过在待检测目标未被遮挡时发出第一提醒,以及时提醒待检测目标未被预设物体遮挡的情况,进而被提醒者也能够及时采取对应的措施。
一些公开实施例中,检测结果还包括待检测目标被预设物体的遮挡方式是否为预设遮挡方式。可选地,在训练预设物体遮挡模型这个神经网络时,可以在训练样本中标注预设遮挡方式,其中预设遮挡方式可以是正确的遮挡方式,以此训练预设物体遮挡模型使得训练好的预设物体遮挡模型能够在检测到待检测目标在被预设物体遮挡的情况下,进一步判断预设物体的遮挡方式是否是预设遮挡方式。在待检测目标被预设物体遮挡且所述遮挡方式不属于预设遮挡方式的情况下,发出第二提醒。第二提醒用于提示调整预设物体的遮挡方式。例如,在待检测目标为人脸,预设物体为口罩,预设遮挡方式为正确的佩戴口罩方式。当检测到人脸佩戴口罩时,进一步判断佩戴口罩的方式是否为正确的佩戴口罩方式,若不正确,则发出第二提醒以提示人脸调整预设物体的遮挡方式。当然,在其他公开实施例中,预设遮挡方式可以为多种遮挡方式,例如正确的遮挡方式、第一种错误的遮挡方式、第二种错误的遮挡方式等,当检测到待检测目标被预设物体的遮挡方式为第一错误的遮挡方式,则发出与第一种错误的遮挡方式对应的提醒,当检测到待检测目标被预设物体的遮挡方式为第二错误的遮挡方式,则发出与第二种错误的遮挡方式对应的提醒以提示待检测目标将遮挡方式调整为正确的遮挡方式。例如,同样在待检测目标为人脸,预设物体为口罩,正确的遮挡方式为口罩同时将鼻子和嘴巴遮盖住,第一种错误的遮挡方式为口罩遮住了鼻子但未遮住嘴巴,与第一种错误的遮挡方式对应的提醒为提示人脸同时遮住嘴巴,第二种错误的遮挡方式为口罩遮住了嘴巴但未遮住鼻子,与第二种错误的遮挡方式对应的提醒为提示人脸同时遮住鼻子。当遮挡方式不正确时,发出第二提醒,以便于及时调整待检测目标的遮挡方式。其中,第二提醒的方式与第一提醒的方式类似,也可以由人脸框与文字提醒配合的形式以及人脸框与语音提醒或单独的文字提醒或单独的语音提醒或警示灯闪烁等,当然,若存在多种不同的预设遮挡方式,那么文字提醒或语音也对应设置多种,例如预设遮挡方式为第一种错误的遮挡方式,那么文字提醒与第一种错误的遮挡方式对应。
一些公开实施例中,一些业务场景中在待检测目标被预设物体遮挡的情况下,对待检测目标进行识别。在另一些业务场景中,若待检测目标未被预设物体遮挡,则不对待检测目标进行识别,例如,新冠肺炎疫情期间在高铁或飞机等公众场合,若检测到人脸未佩戴口罩,则不对人脸进行人脸识别,则未佩戴口罩的人脸就不能通过人脸识别进站。当然根据业务场景的需要,即使检测到待检测目标未被预设物体遮挡,还是可以对待检测目标进行识别。对待检测目标进行识别,需要对待检测目标进行特征提取,而在进行特征提取之前,可以从包含待检测目标的多帧第一图像中,确定满足预设质量要求的第一图像作为后续特征提取的第一图像。其中,确定满足预设质量要求的第一图像作为进行后续特征提取的第一图像的方式可以是基于每帧第一图像的质量因子,对应得到每帧第一图像的质量分数,其中,第一图像的质量因子包括以下至少一者:待检测目标相对于拍摄器件的位姿信息、用于反映第一图像中待检测目标大小的参数信息、第一图像的亮度信息。可选地,待检测目标相对于拍摄器件的位姿信息可以是待检测目标相对于拍摄器件的角度信息。其中,这里的待检测目标相对于拍摄器件的角度信息可以是待检测目标相对于拍摄期间的镜头的角度信息。例如,以镜头为原点,建立三维坐标系,其中,镜头与地心的连线为X轴,镜头的正前方延线且与X轴垂直的为Y轴,同时与X轴和Y轴垂直的为Z轴。三维坐标系仅是为了表示待检测目标与拍摄器件的角度,在其他实施例中,三维坐标系的原点选取或三个方向的选择可与本公开实施例不同。其中角度可具体划分为相对于镜头XYZ方向上的角度,例如,待检测目标正对镜头则沿XYZ方向上的角度皆为0°,而待检测目标正侧对第一图像采集组件,则待检测目标相对于第一图像采集组件X方向上的角度为90°,沿Y方向上的角度为0°,沿Z方向上的角度也为0°,此处因为待检测目标绕X轴旋转了90°,所以待检测目标与X轴也就是相对于X方向的角度为90°。当然,各个方向上的角度越小越好。用于反映第一图像中待检测目标大小的参数信息包括待检测目标所占第一图像的面积大小,其中,面积大小可用待检测目标所占第一图像的区域大小表示。当然,前提是待检测目标是完整包含在第一图像中,若第一图像中仅包含待检测目标的一部分,那么,这帧第一图像中关于待检测目标的大小这一质量因子的得分就比较低。第一图像的亮度信息也并不是越高越好,而是越接近当前时刻的自然光的亮度越好,其中这一质量因子的得分就相对越高。其中,依据上述三个质量因子对图像质量的影响程度关系设置上述三个质量因子所占权重。例如,设置角度的权重为0.4,其余两个分别设置为0.3,当然,这仅是举例,各个质量因子之间的权重可根据需求自行设置,且在其他实施例中,除了这三个质量因子,还可以包括第一图像的模糊度等因素,只要能影响图像质量的因素都可以用于计算图像的质量分数。通过选择质量分数满足要求的图像进行特征提取,使得提取到的特征更能表示待检测目标。当然,权重的设置可以考虑到实际的图像检测精度需求以及图像检测设备的处理能力、资源占用情况等。例如,一些公开实施例中,若图像检测设备的处理能力较高、资源占用较少,则可考量多个质量因子来计算质量分数,而如果图像检测设备的处理能力过低,则可适当采用几个质量因子来计算质量分,例如根据计算各个质量因子的所需时间或内存空间占用来选择合适的质量因子。因此,采用多少质量因子或采用哪几个质量因子,可灵活做出选择。当然,在其他实施例中,也可以是确定一个较低的质量分数阈值,若第一图像的质量分数低于质量分数阈值,就将其排除,保留质量分数大于该质量分数阈值的第一图像。
一些公开实施例中,在对第一图像进行特征提取进行识别之前,还可以对后续特征提取的第一图像进行预处理。其中,预处理的方式可以是在第一图像中包括多个待检测目标的情况下,确定满足预设提取要求的待检测目标在第一图像中的目标区域,并去除第一图像中除目标区域以外的图像部分。其中,这里的目标区域可以是包含一个待检测目标的区域。也就是说,在第一图像中包含多个待检测目标的情况下,并不是对完整的第一图像进行识别,而是仅针对满足预设提取要求的待检测目标的目标区域进行识别,因此,在一定程度上减少了其他待检测目标在识别过程中产生的噪音,从而减小了不满足要求的待检测目标对识别结果的影响。具体地,预设提取要求可以是待检测目标对应区域的面积大于其他待检测目标对应区域的面积,其中其他待检测目标包括除待检测目标以外的目标。如果当第一图像中存在多个待检测目标,多个待检测目标所占面积可能不一致,面积更大的待检测目标在识别过程中的识别率相对更高,因此,选择面积更大的待检测目标进行识别。可选地,如果存在多个待检测目标的面积相同时,可以对待检测目标的中心更接近第一图像中心的待检测目标进行识别,或者在另一些实施例中,可以分别获取所有的待检测目标对应的目标区域以进行目标检测,当然后者所述的所有待检测目标指的是面积大小并列第一或者面积皆大于一个预设面积提取阈值的待检测目标。
一些公开实施例中,在对第一图像进行特征提取进行识别之前,对后续特征提取的第一图像进行预处理还可以是,检测到第一图像中待检测目标的倾斜角度大于预设角度,并将第一图像旋转至待检测目标的倾斜角度小于或等于预设角度。在其他实施例中,旋转的方式除了旋转整张第一图像之外,还可以仅旋转待检测目标,或者包含待检测目标的目标区域,因此,摆正待检测目标的方式此处不做具体限定。可选地,预设角度可以是顺时针或逆时针0°~180°以内,本公开实施例选择设置预设角度为0°,其他实施例中预设角度还可以是30°、35°等。可选地,判断待检测目标是否倾斜了预设角度的方式可以是获取待检测目标中的预设第一关键点和预设第二关键点的连线与一竖直线的夹角,判断该夹角是否大于预设角度,若大于,则旋转第一图像使得该夹角小于或等于预设角度,且旋转之后的预设第一关键点位于预设第二关键的上方,此上方是相对于第一图像的底边确定。当然,倾斜角度还可以是待检测目标相对于第一图像的某一位置的倾斜角度,例如待检测目标相对于第一图像中心的倾斜角度。当然,这里的预设角度可以根据不同场景的需求进行设置,例如可根据待检测目标所在区域占第一图像的面积进行确定。例如,当待检测目标所在区域的面积大于第一面积预设值时,则可设置预设角度大于30度,当待检测目标所在区域的面积小于第二面积预设值时,则可设置预设角度小于30度。因为待检测目标所在区域的面积越大则说明待检测目标的面积越大,即待检测目标受到角度的影响越小,则对于待检测目标的倾斜角度越宽容,反之,则说明待检测目标受到倾斜角度的影响越大,则对待检测目标的倾斜角度越严格。当然,这只是举例,其他实施例中,还可设置其他面积与预设角度的对应关系等,此处不做具体规定。
例如,参见图2和图3,图2是本申请图像检测方法一实施例中第一图像示意图,图3是本申请图像检测方法一实施例中经过预处理的第一图像示意图。如图2所示,第一图像20中待检测目标21的下半部分被预设物体22遮挡,且待检测目标21明显向左倾斜,即待检测目标21的左上角点(第一预设关键点)和左下角点(第二预设关键点)的连线与一竖直线的夹角为30°,即待检测目标21的倾斜角度为30°大于预设角度0°,则将第一图像20向右,也就是顺时针旋转30°,旋转之后的第一图像如图3所示,图3中待检测目标21的左上角点(第一预设关键点)和左下角点(第二预设关键点)的连线与一竖直线的夹角为0°等于预设角度0°。
通过在第一图像中待检测目标的倾斜角度大于预设角度的情况下,则将待检测目标摆正,使得后续对待检测目标进行活体检测或目标识别的过程中减少了因为待检测目标因为倾斜而造成的影响。
一些公开实施例中,在对第一图像进行特征提取进行识别之前,还可以对后续特征提取的第一图像进行活体检测,并在活体检测结果为待检测目标为活体的情况下,确定执行从所述第一图像中至少提取待检测目标的未被遮挡部分的第一特征及其后续步骤。可选地,若第一图像中存在多个待检测目标时,选择面积最大的待检测目标进行活体检测。具体地,可以通过将待检测目标对应的目标区域输入活体检测模型进行活体检测,其中活体检测模型是利用若干个包含被预设物体遮挡的待检测目标的图像进行训练得到。通过在待检测目标为活体的情况下才对待检测目标进行识别,从而增强了识别的安全性,可以在一定程度上防止假体攻击。
可选地,对待检测目标进行识别过程中,先从第一图像中至少提取待检测目标的未被遮挡部分的第一特征,作为待检测目标的待识别特征。其中,第一特征指的是待检测目标中未被遮挡的关键点的特征。具体地,可以从第一图像中提取待检测目标的未被遮挡部分的第一特征,并获取待检测目标的被遮挡部分的第二特征,将第一特征和第二特征作为待检测目标的待识别特征。这里的第二特征是待检测目标被遮挡部分关键点的特征。其中,被遮挡部分的第二特征的获取方式可以有两种方式,一种是从第一图像中提取被遮挡部分的特征作为第二特征。也就是虽然这部分被预设物体遮挡,但是还是按照未被遮挡提取第一特征的方式对遮挡部分的第二特征进行提取,即不论待检测目标是否被预设物体遮挡皆采用相同的处理机制,即是否被预设物体遮挡并不影响特征的提取过程。当然,在其他实施例中,若没有预设遮挡待检测目标的物体,还是可使用这种方式对待检测目标中关键点特征的提取。例如,当待检测目标为人脸,预设物体为口罩,对第二特征提取的方式就是当做人脸没有被口罩遮挡,提取人脸上各个关键点的特征,也就是说对于佩戴口罩的人脸和没有佩戴口罩的人脸采用相同的处理机制,即佩戴口罩并不会对提取特征的过程产生影响。另一种方式是获取被遮挡部分的预设特征作为第二特征,其中,预设特征可以是基于至少一个参考特征得到的特征,每个参考特征是对不存在被遮挡部分的参考目标中与被遮挡部分对应的区域提取得到的。也就是说,在对第一图像进行识别之前,先对被遮挡部分的关键点预设参考特征,也就是对被遮挡部分的特征进行补齐。例如,预先提取若干个检测结果为不存在被遮挡部分的待检测目标中对应预设部位的特征,然后将提取到的若干个特征的平均值补齐作为被物体遮挡部分的参考特征,具体地,可以是预先提取若干个检测结果为未被预设物体遮挡的待检测目标中对应预设部位的特征,然后将提取到的若干个特征的平均值补齐作为被预设物体遮挡部分的参考特征。例如,预先提取若干个不戴口罩的人脸中对应预设部位的特征,即戴口罩部分的特征,例如鼻子、嘴巴等,将提取的若干个特征的平均值补齐,作为被口罩遮住的部分预设的参考特征。关于被遮挡部分的特征确定方式,可通过直接提取被遮挡部分的特征,由于被遮挡部分的特征能够在一定程度会随着待检测目标的不同而不同,故此方式能够提高识别的准确性;也可通过获取预设特征作为被遮挡部分特征,此方式无需对被遮挡部分进行特征提取,可减少处理资源的损耗,且提高处理效率。
一些公开实施例中,在获得待检测目标的待识别特征之后,利用待识别特征对待检测目标进行识别。可选地,识别的场景可以分为1:1的场景,以及1:N的场景,其中1:1指的是两个特征之间的比对,而1:N指的是一个特征与多个特征之间的比对。在1:1的场景中,也即是在预设目标包括一个的情况下,获取待识别特征与预设目标的预存特征之间的第一相似度,并在第一相似度满足第一预设条件的情况下,确定识别结果包括待检测目标通过身份认证。其中,第一预设条件可以是第一相似度大于第一相似度阈值。可选地,在待识别特征包括待检测目标的被遮挡部分的第二特征的情况下的第一相似度阈值,小于在待识别特征不包括第二特征的情况下的第一相似度阈值。如果待识别特征中包含第二特征,第二特征可能会与待检测目标被遮挡部分的关键点真实的特征所有出入,因此,在这种情况下适当地减小相似度阈值能够提高识别的准确性。其中,待识别特征中不包括第二特征的情况下,第一相似度阈值的选取可以是根据被遮挡的关键点的数量所占待检测目标总体关键点的数量的比值来确定。例如,被遮挡部分的关键点是待检测目标总体关键点数量的三分之一,则可确定第一相似度阈值为未被遮挡的待检测目标识别的相似度阈值的三分之一。此时,可设置待识别特征中包括第二特征时,第一相似度阈值可比待识别特征中不包括第二特征情况下的第一相似度阈值小0.1,或小其他数值,此处不做具体规定。例如,未被遮挡的待检测目标识别的相似度阈值可以在0.6~1之间。当然,这仅是举例,其他实施例中,在待识别特征包括待检测目标的被遮挡部分的第二特征的情况下的第一相似度阈值,也可等于待识别特征不包括第二特征的情况下的第一相似度阈值,若待识别特征中包括第二特征时,也可按照上述方法确定可根据具体情况进行确定。
一些公开实施例中,在获取待识别特征与预设目标的预存特征之间的第一相似度之前,先建立用户账号与预设目标的预存特征之间的关联。具体方式如下:响应于账号注册请求,为用户注册账号。其中,这里的账号可以是支付宝账号、微信账号、京东账号等,只要能够进行目标识别的应用程序皆可响应账号注册请求,为用户注册账号。用户可以在对应的应用程序中通过手机号注册,注册成功之后,用户获取到用户名、密码等信息。从对用户拍摄得到的至少一帧第二图像中,确定满足预设质量要求的第二图像,并从确定的第二图像中提取用户的预设部位的特征。其中,这里的预设部位同待检测目标的预设部位。其中,选择满足预设质量要求的第二图像的步骤同上述选择满足预设质量要求的第一图像的步骤,因此此处不再赘述。最后,将预设部位的特征与账号建立关联,并将预设部位的特征保存作为预设目标的预存特征。即用户的预设部位则为预设目标。
其中,1:N的场景中,也即是在预设目标包括多个的情况下,分别获取待识别特征与每个预设目标的预存特征之间的第二相似度,并确定识别结果包括将待检测目标的身份确定为满足第二预设条件的第二相似度对应的预设目标的身份。其中,第二预设条件可以是第二相似度大于第二相似度阈值。其中,一般情况下,这里所指的满足第二预设条件,不仅要大于第二相似度阈值,而且往往是所有第二相似度里取最大值的参数。也即是选择最大第二相似度对应的预设目标身份作为待检测目标的身份。可选地,在待识别特征包括第二特征的情况下的第二相似度阈值,小于在待识别特征不包括第二特征的情况下的第二相似度阈值。如果待识别特征中包含第二特征,第二特征可能会与待检测目标被遮挡部分的关键点真实的特征所有出入,因此,在这种情况下适当地减小相似度阈值能够提高识别的准确性。第二相似度阈值的确定方法同第一相似度阈值的确定方法,此处不再赘述。
1:N可以是涉及到很多张人脸的场景中,比如,一个办公楼宇或者一家公司在出入口安装了人脸识别闸机,这种场景下需要在楼宇或者公司范围内,将每个需要出入的人进行注册,并形成一个人脸库,当注册的人出现在闸机前时,闸机上的摄像头对人脸进行检测、抓拍,并将抓拍的人脸与人脸库中的进行比较,当比对成功时,打开闸机,当未注册的人出现在闸机时,应该比对不成功,闸机无响应。
上述方案,通过对包含待检测目标的第一图像进行检测以得到待检测目标是否被遮挡,然后执行与检测结果匹配的预设操作,能够判断待检测目标是否被遮挡从而能够进行后续的与检测结果匹配的预设操作,实现了基于图像中待检测目标的遮挡状态进行灵活处理。
其中,图像检测方法的执行主体可以是图像检测装置,例如,图像检测方法可以由终端设备或服务器或其它处理设备执行,其中,终端设备可以为用户设备(UserEquipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(PersonalDigital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该图像检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
请参阅图4,图4是本申请图像检测装置一实施例的结构示意图。图像检测装置40包括图像获取模块41、目标检测模块42以及操作执行模块43。图像获取模块41用于获取包含待检测目标的第一图像;目标检测模块42用于对第一图像进行检测,得到第一图像的检测结果,其中,检测结果包括第一图像中的待检测目标是否被预设物体遮挡;操作执行模块43,用于执行与检测结果匹配的预设操作。
上述方案,通过对包含待检测目标的第一图像进行检测以得到待检测目标是否被遮挡,然后执行与检测结果匹配的预设操作,能够判断待检测目标是否被遮挡从而能够进行后续的与检测结果匹配的预设操作,实现了基于图像中待检测目标的遮挡状态进行灵活处理。
一些公开实施例中,检测结果是目标检测模块42利用神经网络对第一图像进行检测得到的。
上述方案,通过提前训练好的神经网络来进行检测,使得检测结果更准确且检测速度更快。
一些公开实施例中,操作执行模块43执行与检测结果匹配的预设操作,包括:在待检测目标未被预设物体遮挡的情况下,发出第一提醒;其中,第一提醒用于提示使用预设物体对待检测目标进行遮挡。
上述方案,通过在待检测目标未被遮挡时发出第一提醒,以及时提醒待检测目标未被预设物体遮挡的情况,进而被提醒者也能够及时采取对应的措施。
一些公开实施例中,检测结果还包括待检测目标被预设物体的遮挡方式是否为预设遮挡方式;操作执行模块43执行与检测结果匹配的预设操作,包括:在待检测目标被预设物体遮挡且遮挡方式不属于预设遮挡方式的情况下,发出第二提醒;其中,第二提醒用于提示调整预设物体的遮挡方式。
上述方案,当遮挡方式不正确时,发出第二提醒,以便于及时调整待检测目标的遮挡方式。
一些公开实施例中,操作执行模块43执行与检测结果匹配的预设操作,包括:在待检测目标被预设物体遮挡的情况下,从第一图像中至少提取待检测目标的未被遮挡部分的第一特征,作为待检测目标的待识别特征;利用待识别特征,对待检测目标进行识别,并得到识别结果。
上述方案,在待检测目标被预设物体遮挡时,则提取未被遮挡部分的特征进行识别,实现了基于待检测目标的局部特征进行识别,而且由于该局部特征未被遮挡,故能够代表待检测目标,在一定程度上保证识别的准确性。
一些公开实施例中,操作执行模块43从第一图像中至少提取待检测目标的未被遮挡部分的第一特征,作为待检测目标的待识别特征,包括:从第一图像中提取待检测目标的未被遮挡部分的第一特征,并获取待检测目标的被遮挡部分的第二特征;将第一特征和第二特征作为待检测目标的待识别特征。
上述方案,除采用待检测目标未被遮挡部分的特征以外,还结合被遮挡部分的特征,由此可提高待检测目标的特征丰富度。
一些公开实施例中,操作执行模块43获取待检测目标的被遮挡部分的第二特征,包括:从第一图像中提取被遮挡部分的特征作为第二特征;或者,获取被遮挡部分的预设特征作为第二特征,其中,预设特征包括基于至少一个参考特征得到的特征,每个参考特征是对不存在被遮挡部分的参考目标中与被遮挡部分对应的区域提取得到的。
上述方案,关于被遮挡部分的特征确定方式,可通过直接提取被遮挡部分的特征,由于被遮挡部分的特征能够在一定程度会随着待检测目标的不同而不同,故此方式能够提高识别的准确性;也可通过获取预设特征作为被遮挡部分特征,此方式无需对被遮挡部分进行特征提取,可减少处理资源的损耗,且提高处理效率。
一些公开实施例中,操作执行模块43利用待识别特征,对待检测目标进行识别,并得到识别结果包括如下至少一项:在预设目标包括一个的情况下,获取待识别特征与预设目标的预存特征之间的第一相似度,并在第一相似度满足第一预设条件的情况下,确定识别结果包括待检测目标通过身份认证;在预设目标包括多个的情况下,分别获取待识别特征与每个预设目标的预存特征之间的第二相似度,并确定识别结果包括将待检测目标的身份确定为满足第二预设条件的第二相似度对应的预设目标的身份。
上述方案,通过计算与特定预设目标的预存特征之间的第一相似度,或计算与多个预设目标的预存特征之间的相似度,使得能够实现根据具体场景需求将待检测目标与特定某个预设目标进行比对,或与某个数据库中的预设目标进行比对。
一些公开实施例中,第一预设条件包括第一相似度大于第一相似度阈值;第二预设条件包括第二相似度大于第二相似度阈值。
上述方案,通过将不同的场景中分别设置第一相似度阈值,使得识别结果更准确。
一些公开实施例中,在待识别特征包括待检测目标的被遮挡部分的第二特征的情况下的第一相似度阈值,小于在待识别特征不包括第二特征的情况下的第一相似度阈值;在待识别特征包括第二特征的情况下的第二相似度阈值,小于在待识别特征不包括第二特征的情况下的第二相似度阈值。
上述方案,如果待识别特征中包含第二特征,第二特征可能会与待检测目标被遮挡部分的关键点真实的特征所有出入,因此,在这种情况下适当地减小相似度阈值能够提高识别的准确性。
一些公开实施例中,图像检测装置40还包括预存模块(图未示)。在操作执行模块43获取待识别特征与预设目标的预存特征之间的第一相似度之前,预存模块用于:响应于账号注册请求,为用户注册账号;从对用户拍摄得到的至少一帧第二图像中,确定满足预设质量要求的第二图像,并从确定的第二图像中提取用户的预设部位的特征;将预设部位的特征与账号建立关联,并将预设部位的特征保存作为预设目标的预存特征。
上述方案,通过先确定满足质量要求的第二图像来提取预设部位的特征以使得提取到的特征更准确。
一些公开实施例中,在待检测目标被预设物体遮挡的情况下,在从第一图像中至少提取待检测目标的未被遮挡部分的第一特征之前,操作执行模块43还用于执行以下至少一个步骤:从包含待检测目标的多帧第一图像中,确定满足预设质量要求的第一图像作为进行后续特征提取的第一图像;对进行后续特征提取的第一图像进行预处理;对进行后续特征提取的第一图像进行活体检测,并在活体检测结果为待检测目标为活体的情况下,确定执行从第一图像中至少提取待检测目标的未被遮挡部分的第一特征及其后续步骤。
上述方案,通过在进行特征提取之前,先进行预处理,使得提取到的特征更准确,通过在待检测目标为活体的情况下才对待检测目标进行识别,从而增强了识别的安全性,可以在一定程度上防止假体攻击。
一些公开实施例中,操作执行模块43从包含待检测目标的多帧第一图像中,确定满足预设质量要求的第一图像作为进行后续特征提取的第一图像,包括:基于每帧第一图像的质量因子,对应得到每帧第一图像的质量分数,其中,第一图像的质量因子包括以下至少一者:待检测目标相对于拍摄器件的位姿信息、用于反映第一图像中待检测目标大小的参数信息、第一图像的亮度信息;基于质量分数,确定满足预设质量要求的第一图像作为进行后续特征提取的第一图像,其中,选择的第一图像的质量分数高于其他第一图像的质量分数。
上述方案,通过确定质量分数满足要求的图像进行特征提取,使得提取到的特征更能表示待检测目标。
一些公开实施例中,操作执行模块43对进行后续特征提取的第一图像进行预处理,包括:在第一图像包括多个待检测目标的情况,确定满足预设提取要求的待检测目标在第一图像中的目标区域,并去除第一图像中除目标区域以外的图像部分;和/或,检测到第一图像中待检测目标的倾斜角度大于预设角度,并将第一图像旋转至待检测目标的倾斜角度小于预设角度。
上述方案,当第一图像中存在多个待检测目标时,仅确定满足预设提取要求的待检测目标,而将不满足要求的待检测目标丢弃,减小了不满足要求的待检测目标对识别结果的影响;其次,当第一图像中待检测目标的倾斜角度,则将其摆正,减少了因为待检测目标因为倾斜而造成的影响。
一些公开实施例中,预设提取要求包括待检测目标对应区域的面积大于其他待检测目标对应区域的面积,其他待检测目标包括除待检测目标以外的目标。
上述方案,因为待检测目标的面积越大,提取到的特征则越准确,因此,通过选择面积更大的待检测目标使得待检测结果更准确。
一些公开实施例中,待检测目标包括人脸,预设物体包括口罩。
上述方案,通过判断人脸是否佩戴口罩,并执行对应操作,例如,若人脸没有佩戴口罩或佩戴口罩的方式不准确,则可发出对应的提醒,使得用户能够及时调整;若人脸佩戴口罩,则对人脸进行识别等。
上述方案,通过对包含待检测目标的第一图像进行检测以得到待检测目标是否被遮挡,然后执行与检测结果匹配的预设操作,能够判断待检测目标是否被遮挡从而能够进行后续的与检测结果匹配的预设操作,实现了基于图像中待检测目标的遮挡状态进行灵活处理。
请参阅图5,图5是本申请电子设备一实施例的结构示意图。电子设备50包括存储器51和处理器52,处理器52用于执行存储器51中存储的程序指令,以实现上述任一图像检测方法实施例中的步骤。在一个具体的实施场景中,电子设备50可以包括但不限于:微型计算机、服务器,此外,电子设备50还可以包括笔记本电脑、平板电脑等移动设备,在此不做限定。
具体而言,处理器52用于控制其自身以及存储器51以实现上述任一图像检测方法实施例中的步骤。处理器52还可以称为CPU(Central Processing Unit,中央处理单元)。处理器52可能是一种集成电路芯片,具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器52可以由集成电路芯片共同实现。
上述方案,通过对包含待检测目标的第一图像进行检测以得到待检测目标是否被遮挡,然后执行与检测结果匹配的预设操作,能够判断待检测目标是否被遮挡从而能够进行后续的与检测结果匹配的预设操作,实现了基于图像中待检测目标的遮挡状态进行灵活处理。
请参阅图6,图6是本申请计算机可读存储介质一实施例的结构示意图。计算机可读存储介质60存储有能够被处理器运行的程序指令61,程序指令61用于实现上述任一图像检测方法实施例中的步骤。
上述方案,通过对包含待检测目标的第一图像进行检测以得到待检测目标是否被遮挡,然后执行与检测结果匹配的预设操作,能够判断待检测目标是否被遮挡从而能够进行后续的与检测结果匹配的预设操作,实现了基于图像中待检测目标的遮挡状态进行灵活处理。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (19)
1.一种图像检测方法,其特征在于,包括:
获取包含待检测目标的第一图像;
对所述第一图像进行检测,得到所述第一图像的检测结果,其中,所述检测结果包括所述第一图像中的待检测目标是否被预设物体遮挡;
执行与所述检测结果匹配的预设操作。
2.根据权利要求1所述的方法,其特征在于,所述检测结果是利用神经网络对所述第一图像进行检测得到的。
3.根据权利要求1或2所述的方法,其特征在于,所述执行与所述检测结果匹配的预设操作,包括:
在所述待检测目标未被所述预设物体遮挡的情况下,发出第一提醒;其中,所述第一提醒用于提示使用所述预设物体对所述待检测目标进行遮挡。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述检测结果还包括所述待检测目标被预设物体的遮挡方式是否为预设遮挡方式;所述执行与所述检测结果匹配的预设操作,包括:
在所述待检测目标被所述预设物体遮挡且所述遮挡方式不属于预设遮挡方式的情况下,发出第二提醒;其中,所述第二提醒用于提示调整所述预设物体的遮挡方式。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述执行与所述检测结果匹配的预设操作,包括:
在所述待检测目标被所述预设物体遮挡的情况下,从所述第一图像中至少提取所述待检测目标的未被遮挡部分的第一特征,作为所述待检测目标的待识别特征;
利用所述待识别特征,对所述待检测目标进行识别,并得到识别结果。
6.根据权利要求5所述的方法,其特征在于,所述从所述第一图像中至少提取所述待检测目标的未被遮挡部分的第一特征,作为所述待检测目标的待识别特征,包括:
从所述第一图像中提取所述待检测目标的未被遮挡部分的第一特征,并获取所述待检测目标的被遮挡部分的第二特征;
将所述第一特征和第二特征作为所述待检测目标的待识别特征。
7.根据权利要求6所述的方法,其特征在于,所述获取所述待检测目标的被遮挡部分的第二特征,包括:
从所述第一图像中提取所述被遮挡部分的特征作为所述第二特征;或者,
获取所述被遮挡部分的预设特征作为所述第二特征,其中,所述预设特征包括基于至少一个参考特征得到的特征,每个所述参考特征是对不存在所述被遮挡部分的参考目标中与所述被遮挡部分对应的区域提取得到的。
8.根据权利要求5至7任一项所述的方法,其特征在于,所述利用所述待识别特征,对所述待检测目标进行识别,并得到识别结果,包括如下至少一项:
在预设目标包括一个的情况下,获取所述待识别特征与所述预设目标的预存特征之间的第一相似度,并在所述第一相似度满足第一预设条件的情况下,确定所述识别结果包括所述待检测目标通过身份认证;
在所述预设目标包括多个的情况下,分别获取所述待识别特征与每个所述预设目标的预存特征之间的第二相似度,并确定所述识别结果包括将所述待检测目标的身份确定为满足第二预设条件的第二相似度对应的预设目标的身份。
9.根据权利要求8所述的方法,其特征在于,所述方法包括如下至少一项:
所述第一预设条件包括所述第一相似度大于第一相似度阈值;
所述第二预设条件包括所述第二相似度大于第二相似度阈值。
10.根据权利要求9所述的方法,其特征在于,所述方法包括如下至少一项:
在所述待识别特征包括所述待检测目标的被遮挡部分的第二特征的情况下的所述第一相似度阈值,小于在所述待识别特征不包括所述第二特征的情况下的所述第一相似度阈值;
在所述待识别特征包括所述第二特征的情况下的所述第二相似度阈值,小于在所述待识别特征不包括所述第二特征的情况下的所述第二相似度阈值。
11.根据权利要求8至10任一项所述的方法,其特征在于,在所述获取所述待识别特征与预设目标的预存特征之间的第一相似度之前,所述方法还包括:
响应于账号注册请求,为用户注册账号;
从对所述用户拍摄得到的至少一帧第二图像中,确定满足预设质量要求的所述第二图像,并从确定的所述第二图像中提取所述用户的预设部位的特征;
将所述预设部位的特征与所述账号建立关联,并将所述预设部位的特征保存作为所述预设目标的预存特征。
12.根据权利要求5-11中任一项所述的方法,其特征在于,在所述待检测目标被所述预设物体遮挡的情况下,在所述从所述第一图像中至少提取所述待检测目标的未被遮挡部分的第一特征之前,所述方法还包括以下至少一个步骤:
从包含所述待检测目标的多帧第一图像中,确定满足预设质量要求的所述第一图像作为进行后续特征提取的所述第一图像;
对进行后续特征提取的所述第一图像进行预处理;
对进行后续特征提取的所述第一图像进行活体检测,并在活体检测结果为所述待检测目标为活体的情况下,确定执行所述从所述第一图像中至少提取所述待检测目标的未被遮挡部分的第一特征及其后续步骤。
13.根据权利要求12所述的方法,其特征在于,所述从包含所述待检测目标的多帧第一图像中,确定满足预设质量要求的所述第一图像作为进行后续特征提取的所述第一图像,包括:
基于每帧所述第一图像的质量因子,对应得到每帧所述第一图像的质量分数,其中,所述第一图像的质量因子包括以下至少一者:所述待检测目标相对于拍摄器件的位姿信息、用于反映所述第一图像中待检测目标大小的参数信息、所述第一图像的亮度信息;
基于所述质量分数,确定满足预设质量要求的所述第一图像作为进行后续特征提取的所述第一图像,其中,所述选择的第一图像的所述质量分数高于其他所述第一图像的质量分数。
14.根据权利要求12或13所述的方法,其特征在于,所述对进行后续特征提取的所述第一图像进行预处理,包括:
在所述第一图像包括多个所述待检测目标的情况,确定满足预设提取要求的所述待检测目标在所述第一图像中的目标区域,并去除所述第一图像中除所述目标区域以外的图像部分;和/或,
检测到所述第一图像中所述待检测目标的倾斜角度大于预设角度,并将所述第一图像旋转至所述待检测目标的倾斜角度小于或等于所述预设角度。
15.根据权利要求14所述的方法,其特征在于,所述预设提取要求包括所述待检测目标对应区域的面积大于其他待检测目标对应区域的面积,所述其他待检测目标包括除所述待检测目标以外的目标。
16.根据权利要求10所述的方法,其特征在于,所述待检测目标包括人脸,所述预设物体包括口罩。
17.一种图像检测装置,其特征在于,包括:
图像获取模块,用于获取包含待检测目标的第一图像;
目标检测模块,用于对所述第一图像进行检测,得到所述第一图像的检测结果,其中,所述检测结果包括所述第一图像中的待检测目标是否被预设物体遮挡;
操作执行模块,用于执行与所述检测结果匹配的预设操作。
18.一种电子设备,其特征在于,包括存储器和处理器,所述处理器用于执行所述存储器中存储的程序指令,以实现权利要求1至16任一项所述的方法。
19.一种计算机可读存储介质,其上存储有程序指令,其特征在于,所述程序指令被处理器执行时实现权利要求1至16任一项所述的方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011002322.1A CN112115886A (zh) | 2020-09-22 | 2020-09-22 | 图像检测方法和相关装置、设备、存储介质 |
JP2021564951A JP2022552754A (ja) | 2020-09-22 | 2021-04-21 | 画像検出方法及び関連装置、機器、記憶媒体、並びにコンピュータプログラム |
KR1020217035770A KR20220042301A (ko) | 2020-09-22 | 2021-04-21 | 이미지 검출 방법 및 관련 장치, 기기, 저장 매체, 컴퓨터 프로그램 |
PCT/CN2021/088718 WO2022062379A1 (zh) | 2020-09-22 | 2021-04-21 | 图像检测方法和相关装置、设备、存储介质、计算机程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011002322.1A CN112115886A (zh) | 2020-09-22 | 2020-09-22 | 图像检测方法和相关装置、设备、存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112115886A true CN112115886A (zh) | 2020-12-22 |
Family
ID=73801500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011002322.1A Pending CN112115886A (zh) | 2020-09-22 | 2020-09-22 | 图像检测方法和相关装置、设备、存储介质 |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP2022552754A (zh) |
KR (1) | KR20220042301A (zh) |
CN (1) | CN112115886A (zh) |
WO (1) | WO2022062379A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113065394A (zh) * | 2021-02-26 | 2021-07-02 | 青岛海尔科技有限公司 | 用于图像识别物品的方法、电子设备及存储介质 |
CN113158732A (zh) * | 2020-12-31 | 2021-07-23 | 深圳市商汤科技有限公司 | 图像处理方法及相关装置 |
CN113792662A (zh) * | 2021-09-15 | 2021-12-14 | 北京市商汤科技开发有限公司 | 图像检测方法、装置、电子设备以及存储介质 |
WO2022062379A1 (zh) * | 2020-09-22 | 2022-03-31 | 北京市商汤科技开发有限公司 | 图像检测方法和相关装置、设备、存储介质、计算机程序 |
WO2023024440A1 (zh) * | 2021-08-27 | 2023-03-02 | 上海商汤智能科技有限公司 | 一种姿态估计方法、装置、计算机设备、存储介质以及程序产品 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114955772A (zh) * | 2022-05-30 | 2022-08-30 | 阿里云计算有限公司 | 针对电动车的处理方法和装置 |
CN115660468B (zh) * | 2022-10-19 | 2024-08-09 | 希格玛检测(江苏)有限公司 | 一种多元化产品检验检测方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140282269A1 (en) * | 2013-03-13 | 2014-09-18 | Amazon Technologies, Inc. | Non-occluded display for hover interactions |
CN110110681A (zh) * | 2019-05-14 | 2019-08-09 | 哈尔滨理工大学 | 一种用于有遮挡的人脸识别方法 |
JP2020003873A (ja) * | 2018-06-25 | 2020-01-09 | 株式会社日立製作所 | 生体認証プログラム、生体認証方法 |
CN110826519A (zh) * | 2019-11-14 | 2020-02-21 | 深圳市华付信息技术有限公司 | 人脸遮挡检测方法、装置、计算机设备及存储介质 |
CN111598065A (zh) * | 2020-07-24 | 2020-08-28 | 上海肇观电子科技有限公司 | 深度图像获取方法及活体识别方法、设备、电路和介质 |
CN111597910A (zh) * | 2020-04-22 | 2020-08-28 | 深圳英飞拓智能技术有限公司 | 一种人脸识别方法、装置、终端设备及介质 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007148872A (ja) * | 2005-11-29 | 2007-06-14 | Mitsubishi Electric Corp | 画像認証装置 |
JP4957056B2 (ja) * | 2006-04-11 | 2012-06-20 | パナソニック株式会社 | 顔認証システムおよび顔認証方法 |
JP5480532B2 (ja) * | 2009-04-30 | 2014-04-23 | グローリー株式会社 | 画像処理装置、画像処理方法、及び同方法をコンピュータに実行させるプログラム |
US9177130B2 (en) * | 2012-03-15 | 2015-11-03 | Google Inc. | Facial feature detection |
JP5871764B2 (ja) * | 2012-09-28 | 2016-03-01 | セコム株式会社 | 顔認証装置 |
CN105095829B (zh) * | 2014-04-29 | 2019-02-19 | 华为技术有限公司 | 一种人脸识别方法及系统 |
JP2017224186A (ja) * | 2016-06-16 | 2017-12-21 | 株式会社 日立産業制御ソリューションズ | セキュリティシステム |
JP2020052788A (ja) * | 2018-09-27 | 2020-04-02 | キヤノン株式会社 | 画像処理装置及びその方法、プログラム |
JP6852779B2 (ja) * | 2019-12-12 | 2021-03-31 | 日本電気株式会社 | 画像認識装置、画像認識方法、および、画像認識プログラム |
CN111444862A (zh) * | 2020-03-30 | 2020-07-24 | 深圳信可通讯技术有限公司 | 一种人脸识别的方法及装置 |
CN112115886A (zh) * | 2020-09-22 | 2020-12-22 | 北京市商汤科技开发有限公司 | 图像检测方法和相关装置、设备、存储介质 |
-
2020
- 2020-09-22 CN CN202011002322.1A patent/CN112115886A/zh active Pending
-
2021
- 2021-04-21 JP JP2021564951A patent/JP2022552754A/ja active Pending
- 2021-04-21 WO PCT/CN2021/088718 patent/WO2022062379A1/zh active Application Filing
- 2021-04-21 KR KR1020217035770A patent/KR20220042301A/ko unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140282269A1 (en) * | 2013-03-13 | 2014-09-18 | Amazon Technologies, Inc. | Non-occluded display for hover interactions |
JP2020003873A (ja) * | 2018-06-25 | 2020-01-09 | 株式会社日立製作所 | 生体認証プログラム、生体認証方法 |
CN110110681A (zh) * | 2019-05-14 | 2019-08-09 | 哈尔滨理工大学 | 一种用于有遮挡的人脸识别方法 |
CN110826519A (zh) * | 2019-11-14 | 2020-02-21 | 深圳市华付信息技术有限公司 | 人脸遮挡检测方法、装置、计算机设备及存储介质 |
CN111597910A (zh) * | 2020-04-22 | 2020-08-28 | 深圳英飞拓智能技术有限公司 | 一种人脸识别方法、装置、终端设备及介质 |
CN111598065A (zh) * | 2020-07-24 | 2020-08-28 | 上海肇观电子科技有限公司 | 深度图像获取方法及活体识别方法、设备、电路和介质 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022062379A1 (zh) * | 2020-09-22 | 2022-03-31 | 北京市商汤科技开发有限公司 | 图像检测方法和相关装置、设备、存储介质、计算机程序 |
CN113158732A (zh) * | 2020-12-31 | 2021-07-23 | 深圳市商汤科技有限公司 | 图像处理方法及相关装置 |
CN113065394A (zh) * | 2021-02-26 | 2021-07-02 | 青岛海尔科技有限公司 | 用于图像识别物品的方法、电子设备及存储介质 |
WO2023024440A1 (zh) * | 2021-08-27 | 2023-03-02 | 上海商汤智能科技有限公司 | 一种姿态估计方法、装置、计算机设备、存储介质以及程序产品 |
CN113792662A (zh) * | 2021-09-15 | 2021-12-14 | 北京市商汤科技开发有限公司 | 图像检测方法、装置、电子设备以及存储介质 |
CN113792662B (zh) * | 2021-09-15 | 2024-05-21 | 北京市商汤科技开发有限公司 | 图像检测方法、装置、电子设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP2022552754A (ja) | 2022-12-20 |
KR20220042301A (ko) | 2022-04-05 |
WO2022062379A1 (zh) | 2022-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112115886A (zh) | 图像检测方法和相关装置、设备、存储介质 | |
CN110232369B (zh) | 一种人脸识别方法和电子设备 | |
CN103577801B (zh) | 用于生物特征验证的质量度量的方法和系统 | |
CN111523473B (zh) | 口罩佩戴识别方法、装置、设备和可读存储介质 | |
KR20190001066A (ko) | 얼굴 인증 방법 및 장치 | |
WO2013042992A1 (ko) | 얼굴 표정 인식 방법 및 시스템 | |
CN110287671B (zh) | 验证方法及装置、电子设备和存储介质 | |
US20060056664A1 (en) | Security system | |
CN111523476B (zh) | 口罩佩戴识别方法、装置、设备和可读存储介质 | |
CN110956114A (zh) | 人脸活体检测方法、装置、检测系统及存储介质 | |
CN111860566B (zh) | 遮挡物识别模型训练方法、识别方法、装置及存储介质 | |
CN109858337A (zh) | 一种基于瞳孔信息的人脸识别方法、系统和设备 | |
CN108108711B (zh) | 人脸布控方法、电子设备及存储介质 | |
CN109002786A (zh) | 人脸检测方法、设备及计算机可读存储介质 | |
CN113392699A (zh) | 用于人脸遮挡检测的多标签深度卷积神经网络方法、装置和电子设备 | |
CN109034029A (zh) | 检测活体的人脸识别方法、可读存储介质和电子设备 | |
CN110175553B (zh) | 基于步态识别与人脸识别建立特征库的方法及装置 | |
CN111597910A (zh) | 一种人脸识别方法、装置、终端设备及介质 | |
JP2008090452A (ja) | 検出装置、方法およびプログラム | |
KR102316165B1 (ko) | 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 장치 및 방법 | |
CN109726613B (zh) | 一种用于检测的方法和装置 | |
CN109684993A (zh) | 一种基于鼻孔信息的人脸识别方法、系统和设备 | |
JP2003132339A (ja) | 顔画像認識装置および方法 | |
JP2020052788A (ja) | 画像処理装置及びその方法、プログラム | |
CN110348272A (zh) | 动态人脸识别的方法、装置、系统和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40038877 Country of ref document: HK |
|
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201222 |
|
RJ01 | Rejection of invention patent application after publication |