CN110428399B - 用于检测图像的方法、装置、设备和存储介质 - Google Patents
用于检测图像的方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN110428399B CN110428399B CN201910606028.2A CN201910606028A CN110428399B CN 110428399 B CN110428399 B CN 110428399B CN 201910606028 A CN201910606028 A CN 201910606028A CN 110428399 B CN110428399 B CN 110428399B
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- authenticity
- feature representation
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/80—Recognising image objects characterised by unique random patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Ophthalmology & Optometry (AREA)
- Geometry (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
根据本公开的示例实施例,提供了用于检测图像的方法、装置、设备和计算机可读存储介质。用于检测图像的方法包括获取包括目标对象的待检测图像和多个特征表示确定模型,多个特征表示确定模型是利用包括参考对象的参考图像和参考图像的真实性针对参考对象的不同部分而训练的;基于待检测图像和多个特征表示确定模型,确定目标对象的不同部分的多个特征表示;以及基于多个特征表示,确定待检测图像的真实性。以此方式,能够全面地利用待检测图像中的信息来确定待检测图像的真实性。
Description
技术领域
本公开的实施例主要涉及计算机领域,并且更具体地,涉及用于检测图像的方法、装置、设备和计算机可读存储介质。
背景技术
照片和视频在人们生活和工作中发挥得到越来越多的应用。近年来,随着基于深度学习的图像生成技术的发展,已经出现了利用人工智能算法自动化批量合成假图像事件,例如伪造人脸及其视频的事件。传统的基于手工人脸图像修改的技术虽然精巧,但限于精力、时间和成本,不能大量生成假图像或者视频。然而基于自编码器,以对抗生成网络为代表的深度学习人脸造假技术已经可以制造大量的换脸视频。
发明内容
根据本公开的示例实施例,提供了一种用于检测图像的方案。
在本公开的第一方面中,提供了一种检测图像的方法。该方法包括获取包括目标对象的待检测图像和多个特征表示确定模型,多个特征表示确定模型是利用包括参考对象的参考图像和参考图像的真实性针对参考对象的不同部分而训练的。该方法还包括基于待检测图像和多个特征表示确定模型,确定目标对象的不同部分的多个特征表示。该方法进一步包括基于多个特征表示,确定待检测图像的真实性。
在本公开的第二方面中,提供了一种用于检测图像的装置。该装置包括图像和模型获取模块,被配置为获取包括目标对象的待检测图像和多个特征表示确定模型,多个特征表示确定模型是利用包括参考对象的参考图像和参考图像的真实性针对参考对象的不同部分而训练的。该装置还包括特征表示确定模块,被配置为基于待检测图像和多个特征表示确定模型,确定目标对象的不同部分的多个特征表示。该装置进一步包括真实性确定模块,被配置为基于多个特征表示,确定待检测图像的真实性。
在本公开的第三方面中,提供了一种电子设备,包括一个或多个处理器;以及存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现根据本公开的第一方面的方法。
在本公开的第四方面中,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现根据本公开的第一方面的方法。
应当理解,发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征,亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中,相同或相似的附图标注表示相同或相似的元素,其中:
图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图;
图2示出了根据本公开的一些实施例的检测图像的过程的流程图;
图3示出了根据本公开的一些实施例的检测图像的架构的示意性框图;
图4示出了根据本公开的一些实施例的检测图像的架构的示意性框图;
图5示出了根据本公开的一些实施例的用于检测图像的装置的示意性框图;以及
图6示出了能够实施本公开的多个实施例的计算设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
在本公开的实施例的描述中,术语“包括”及其类似用语应当理解为开放性包含,即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
如上文所提及的,目前已经出现批量合成假图像或假视频的情况。为了识别这种假图像或假视频,已经出现了一些解决方案,包括基于端到端的卷积神经网络(CNN)、基于CNN学习表征和分类器以及传统的图像处理方式,诸如提取噪音特征、LDA特征、各种滤波算法等,然后用传统分类器。按照信息利用单位,这些解决方案可以分为单帧检测和多帧检测。
在现有的解决方案中,基于卷积神经网络的识别技术大多仅利用了图像的部分信息,比如在图像输入模型时需要将图像调整到指定大小,通常是被缩小。这导致许多图像细节特征在输入卷积神经网络模型前被插值算法所丢弃。直接利用整张图像信息的缺点还在于,诸如人脸的对象的各部位存在个体差异,难以准确对齐。这对于识别伪造图像或视频这种非常细微精巧的任务造成干扰。
另一方面,除了传统方法具有可解释性,基于深度学习技术的识伪方法不具有可解释性,例如,无法给出人脸的哪个或哪些部位存在造假或合成痕迹。这对于数字证据鉴定和司法相关的工作非常不利。因此,需要寻求解决方案来尽可能多地利用图像所包含的各种信息,并提高模型的可解释能力。
根据本公开的实施例,提出了一种检测图像的方案。在该方案中,利用针对对象的不同部分预先训练的多个特征表示确定模型来确定待检测图像所包括的目标对象的不同部分的多个特征表示。进而基于这些不同部分的特征表示来确定待检测图像的真实性。以此方式,通过综合考虑目标对象的不同部分,能够更全面地利用待检测图像的信息、减少对待检测图像的压缩,从而提高检测结果的准确性。因此,本公开的方案能够有利地实现对合成图像或造假图像的自动、有效且低成本的检测。
以下将参照附图来具体描述本公开的实施例。
图1示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。在该示例环境100中,由计算设备102生成针对图像101(以下称为待检测图像101)的检测结果104。应当理解,图1中示出的环境100仅是示例性的,还可以使用多个计算设备来生成检测结果104。
计算设备102可以是任何具有计算能力的设备。作为非限制性示例,计算设备102可以是任意类型的固定计算设备、移动计算设备或便携式计算设备,包括但不限于台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、多媒体计算机、移动电话等;计算设备102的全部组件或一部分组件可以分布在云端。
待检测图像101包括目标对象103。待检测图像101可以是单个图片,也可以是视频的一个帧。待检测图像101还可以是从单个图片或视频的单个帧中提取的包括目标对象103的部分图像。本公开的实施例在此方面不受限制。
尽管在图1中将目标对象103示出为人脸并且在下文中结合人脸作为目标对象来描述本公开的实施例,但这仅是示例性的。本公开的实施例也可以应用于关于其他类型的对象的图像,例如关于动物的图像。另外,尽管在图1的示例中示出待检测图像101仅包括一个目标对象103,但是应当理解待检测图像101中可以包括多个对象(例如多张人脸),并且可以对这些对象中的一个或多个执行本公开的实施例的图像检测过程。
在这样的图片或视频中,诸如人脸的目标对象103可能是合成的,诸如利用人工智能技术生成的或者在真实人脸图像基础上修改而得到的。在获取待检测图像101后,利用下文详细描述的本公开的图像检测方案可以提供关于图像101的检测结果104。检测结果104可以包括图像101是真实图像还是合成图像,或者图像101是合成图像的概率。在一些实施例中,检测结果104还可以包括附加的信息,例如定位合成或造假痕迹。例如,检测结果104还可以指示目标对象101的鼻子是合成的,或者指示目标对象101的鼻子具有较高的造假可能性。
为了更清楚地理解本公开的实施例所提供的检测图像的方案,将参照图2来进一步描述本公开的实施例。图2示出了根据本公开的实施例的检测图像的过程200的流程图。过程200可以由图1的计算设备102实现。为便于讨论,将结合图1来描述过程200。
在框210,计算设备102获取包括目标对象103的待检测图像101和多个特征表示确定模型。多个特征表示确定模型是利用包括参考对象的参考图像和参考图像的真实性针对参考对象的不同部分而训练的。如上文所描述的,待检测图像101可以是视频的某一帧。目标对象103可以诸如是人脸。例如,计算设备102可以通过人脸识别技术从视频的帧中提取人脸图像作为待检测图像101。
多个特征表示确定模型可以是针对参考对象的不同部分预先训练而得到的。在目标对象103为人脸的情况下,参考图像可以是多张人脸图像,这些人脸图像中的一些是合成的,另一些是真实的。这些特征表示确定模型可以分别对应于目标对象103的不同部分。例如,可以存在对应于n个不同部分的n个特征表示确定模型,即,n个特征表示确定模型分别用于确定n个不同部分中的对应部分的特征表示。
对于目标对象103为人脸的情况,这些特征表示确定模型可以分别对应于人脸的不同部位,例如左眼、右眼、鼻子、耳朵、嘴巴等。参考图3,其示出了根据本公开的一些实施例的检测图像的架构300的示意性框图。在图3的示例中,特征表示确定模型311-314分别对应于人脸的右眼、左眼、鼻子和嘴巴。也就是说,在该示例中,特征表示确定模型311-314分别用于确定待检测图像中的人脸的右眼、左眼、鼻子和嘴巴的特征表示。
在一些实施例中,特征表示确定模型311-314可以是基于神经网络的模型,例如基于卷积神经网络CNN的模型。在本文中,“神经网络”有时也可以被称为“基于神经网络的模型”、“学习网络”、“学习模型”、“网络”或“模型”。这些术语在本文中可互换地使用。神经网络是多层处理模型,其具有由非线性单元组成的一个或多个层用于处理接收到的输入,以产生相应输出。一些神经网络包括一个或多个隐藏层以及输出层。每个隐藏层的输出被用作神经网络中下一层(即下一隐藏层或输出层)的输入。神经网络的每个层根据预定的参数集的取值来处理输入以生成相应的输出。神经网络中各个层的参数集的取值通过训练过程来确定。
继续参考图2,在框220,计算设备102基于待检测图像101和多个特征表示确定模型,确定目标对象103的不同部分的多个特征表示。例如,计算设备102可以利用特征表示确定模型311-312来分别确定目标对象103的右眼、左眼、鼻子和嘴巴的特征表示。每个部分的特征表示可以例如以向量的形式。
为了确定不同部分的特征表示,计算设备102将首先确定目标对象103的不同部分在待检测图像101中的位置。当待检测图像101为具有预定或标准尺寸的图像时,例如为具有预定尺寸的证件照时,可以通过以预定方式分割待检测图像101来定位不同部分。
在一些实施例中,计算设备102可以基于关键点检测来定位目标对象103的不同部分。计算设备102可以在待检测图像101中确定与不同部分相关联的多个关键点集合,进而可以基于多个关键点集合和多个特征表示确定模型来确定不同部分的多个特征表示。关键点集合可以包括与对应的部分相关联的一个或多个预定点。
举例而言,对于图3中的示例,计算设备102可以在待检测图像101中分别确定与右眼相关联的关键点集合、与左眼相关联的关键点集合、与鼻子相关联的关键点集合、与嘴巴相关联的关键点集合。人脸关键点定位或检测可以采用诸如多任务级联卷积网络MTCNN、Dlib方法等,本公开的实施例在此方面不受限制。
在一些实施例中,在确定关键点集合之后,可以直接提取包括关键点集合所在区域的图像数据,应用到对应的特征表示确定模型中,从而确定对应部分的特征表示。例如,可以提取与左眼相关联的关键点集合所在的区域的图像数据,应用到特征表示确定模型312,从而确定目标对象103的左眼的特征表示。
在一些实施例中,在确定关键点集合之后,可以基于关键点集合来生成中间图像,并且将中间图像应用于特征表示确定模型。例如,计算设备102可以从待检测图像101中确定多个关键点集中的一个关键点集合所在的区域,并且基于所确定的区域来生成中间图像。计算设备102可以通过将中间图像应用到与该关键点集合相对应的特征表示确定模型,来确定与该关键点集合相对应的部分的特征表示。
现在参考图3来详细描述一个这样的示例。以目标对象103的嘴巴的特征表示为例,在通过关键点定位或检测后,可以从待检测图像103中确定与目标对象103的嘴巴相关联的一个或多个关键点所在的区域。继而,计算设备102可以基于嘴巴所在的区域生成用于输入到特征表示确定模型314的中间图像304。例如,可以采用突出局部、虚化其他部位的方式,即突出嘴巴所在的区域、虚化待检测图像101中的其他区域。还可以附加地将如此处理而获得新图像放大到指定大小。
在生成中间图像304的过程中还可以进行对齐处理,例如将所突出的区域放置在所生成的中间图像的中心。可以以相同的方式来关于其他部分处理待检测图像101,从而生成与右眼相对应的中间图像301、与左眼相对应的中间图像302以及与鼻子相对应的中间图像303。接下来,计算设备102可以将中间图像301-304分别应用到特征表示确定模型311-314,从而分别确定目标对象103的右眼、左眼、鼻子和嘴巴的特征表示。
在这样的实施例中,利用关键点检测或定位过程,可以准确地定位目标对象的不同部分,有利于更准确地评估待检测图像的真实性。
应当理解,以上参考图3所描述的生成中间图像的方式应当与训练特征表示确定模型311-314过程中生成中间参考图像(详见下文的描述)的方式相一致。还应当理解,图3所示的中间图像、特征表示确定模型的数目仅是示例性的,而无意限制本公开的范围。本公开的实施例中可以根据需要选择适当数目的特征表示确定模型。
继续参考图2,在框230,计算设备102基于在框220确定的多个特征表示,确定待检测图像101的真实性。计算设备102可以确定待检测图像101是合成图像,例如确定目标对象103是合成的人脸。计算设备102也可以确定待检测图像101是合成图像的概率。在一些实施例中,计算设备102可以利用预先确定的关系来组合所确定的多个特征表示,从而确定待检测图像101是合成图像的概率。例如,在特征表示以向量形式的情况下,计算设备102可以针对每个特征表示,加权特征表示的各个分量得到每个特征表示加权后的结果,然后各个特征表示加权后的结果相组合。
在一些实施例中,计算设备102可以通过将所确定的多个特征表示应用到真实性评估模型,来确定待检测图像101的真实性。下面继续参考图3,其中示出了真实性评估模型320。在图3的示例中,目标对象103的右眼、左眼、鼻子、嘴巴的特征表示被应用到真实性评估模型320(又可以称为决策模型),从而来确定目标对象103是否真实人脸还是合成人脸(例如,假脸)。
真实性评估模型320可以是基于神经网络、决策树、随机森林、逻辑回归等的模型。真实性评估模型320是与多个特征表示确定模型311-314一起利用参考图像和参考图像的真实性被训练的。
在本公开的实施例中,通过将待检测图像中的目标对象分成不同部分,综合不同部分的特征表示来确定待检测图像的真实性。以此方式,能够减少对待检测图像的压缩,从而更全面地利用待检测图像中的信息。
在一些实施例中,在框230,计算设备102还可以进一步目标对象103的哪个或哪些部分很可能是被合成的,即,定位造假痕迹。例如,计算设备102可以确定与多个特征表示中的每个特征表示相对应的部分的真实性评分。如果与某个特征表示相对应的部分的真实性评分低于预定阈值,则可以确定与该特征表示相对应的部分是经合成的,或者具有较高的是合成部分的概率。例如,计算设备102可以确定目标对象103的右眼、左眼、鼻子和嘴巴的真实性评分。例如,如果鼻子的真实性评分低于预定阈值,则可以认为鼻子很可能是合成的。计算设备102可以在检测结果104中提供这方面的信息。
可以根据真实性评估模型320的具体实现来采用不同的真实性评分度量。举例而言,在真实性评估模型320基于神经网络的情况下,真实性评分或真实性度量可以基于神经网络的某一层中与相应部分的特征表示相对应的元素的加权,或者可以是输出层前一层中与相应部分的特征表示相对应的元素的值。例如,右眼的特征表示在经真实性评估模型320转换后在某一层中对应的元素为a、b、c,则可以通过对a、b、c的加权来评估右眼的真实性,从而确定右眼是否是合成的。
在这样的实施例中,由于分别利用目标对象的不同部分的局部特征而不是整张待检测图像的整体信息,因而可以提供关于不同部分的造假分析。以此方式,可以定位造假痕迹,这对于数字证据鉴定和司法相关的工作是有利的。
在一些实施例中,还可以对待检测图像103进行噪声提取等滤波处理,将经滤波的图像与上述的局部图像相结合来确定待检测图像103的真实性。下面结合图4来描述这样的一些实施例中。图4示出了根据本公开的一些实施例的检测图像的架构400的示意性框图。
计算设备102可以通过将至少一个滤波器应用于待检测图像,来生成至少一个经滤波图像。计算设备102进而可以基于所生成的至少一个经滤波图像和附加的特征表示确定模型,来确定待检测图像的附加的特征表示。附加的特征表示确定模型是利用参考图像和参考图像的真实性针对至少一个滤波器而训练的。接下来,计算设备102可以基于在框220确定的多个特征表示和此处确定的附加的特征表示,来确定待检测图像103的真实性,例如待检测图像是合成图像的概率。
参考图4,计算设备102可以利用预先设计的滤波器来处理待检测图像103,从而生成经滤波图像401、402和403。然后通过将经滤波图像401、402和403分别应用到附加的特征表示确定模型411、412和413来确定附加的特征表示。接下来,真实性评估模型420可以利用由特征表示确定模型311-314所确定的特征表示和由附加的特征表示确定模型411-413所确定的附加的特征表示来确定目标对象103是否是合成的人脸。
可以设计一个或多个滤波器来对待检测图像103进行噪声提取。在一些实施例中,可以通过直接在空间域上滤波(例如,使用预先设计的卷积核)来处理待检测图像103。例如,可以利用空域富模型(SRM)滤波器、相机响应系数、纹理滤波热力图等。式(1)给出了SRM滤波器内核的三个示例。在这样的实施例中,通过使用预先设计的滤波器,可以附加地确定待检测图像的可能造假手段。
在一些实施例中,可以通过空域和频域的变换来进行滤波。例如,可以将待检测图像103从空间域用傅立叶变换在频域展开,在频域提取多个频段(例如,高频、中频、低频),再分别将其做反傅立叶变换回空间域。将所获得的多个经过滤图像作为对应的特征表示确定模型的输入。
应当理解,在这样的实施例中,在附加的特征表示确定模型411-413的训练过程中,应当对训练中所使用的参考图像应用相同的滤波器或滤波手段。还应当理解,在一些实施例中,以上直接在空间域滤波的方式和空间域-频域转换的方式可以相结合。
下面结合图3和图4来描述获取特征表示确定模型311-314、411-413和真实性评估模型320、420的示例过程。首先获得参考图像集(又可以称为训练图像集),参考图像集包括多个参考图像和参考图像的真实性信息。参考图像集中的参考图像包括真实图像和合成图像,例如包括真实的人脸图像和合成的人脸图像。在图3的示例中,特征表示确定模型311-314和真实性评估模型320是一起被训练的。在图4的示例中,特征表示确定模型311-314、411-413和真实性评估模型420是一起被训练的。
例如,对于某个参考图像,可以基于该参考图像,生成分别包括参考对象的不同部分的多个中间参考图像。生成中间参考图像的过程与上文描述的生成中间图像的过程相同。然后,利用多个中间参考图像和参考图像的真实性来训练多个特征表示确定模型。在图3的示例中,还一起训练真实性评估模型320。在图4的示例中,还可以对该参考图像进行滤波,利用经滤波的参考图像作为输入,来与特征表示确定模型311-314和真实性评估模型420一起来训练附加的特征表示确定模型411-413。
以上参考图3和图4所描述的模型训练过程可以是在计算设备102处执行的,也可以是在其他计算设备处执行的。在后一情况下,计算设备102可以获取并利用经训练的模型来实现本公开的实施例的检测图像的方案。
图5示出了根据本公开实施例的用于检测图像的装置500的示意性框图。装置500可以被包括在图1的计算设备102中或者被实现为计算设备102。如图5所示,装置500包括图像和模型获取模块510,被配置为获取包括目标对象的待检测图像和多个特征表示确定模型,多个特征表示确定模型是利用包括参考对象的参考图像和参考图像的真实性针对参考对象的不同部分而训练的。装置500还包括特征表示确定模块520,被配置为基于待检测图像和多个特征表示确定模型,确定目标对象的不同部分的多个特征表示。装置500进一步包括真实性确定模块530,被配置为基于多个特征表示,确定待检测图像的真实性。
在一些实施例中,特征表示确定模块520包括:关键点确定模块,被配置为在待检测图像中确定与不同部分相关联的多个关键点集合;以及关键点利用模块,被配置为基于多个关键点集合和多个特征表示确定模型,确定多个特征表示。
在一些实施例中,关键点利用模块包括:区域确定模块,被配置为从待检测图像中确定多个关键点集中的一个关键点集合所在的区域;中间图像生成模块,被配置为基于区域来生成中间图像;以及中间图像应用模块,被配置为通过将中间图像应用到与一个关键点集合相对应的特征表示确定模型,来确定与一个关键点集合相对应的部分的特征表示。
在一些实施例中,真实性确定模块530包括:评分模块,被配置为确定与多个特征表示中的一个特征表示相对应的部分的真实性评分;以及判断模块,被配置为响应于真实性评分低于预定阈值,确定与一个特征表示相对应的部分是经合成的。
在一些实施例中,装置500还包括:滤波模块,被配置为通过将至少一个滤波器应用于待检测图像,来生成至少一个经滤波图像;附加特征表示确定模块,被配置为基于至少一个经滤波图像和附加的特征表示确定模型,确定待检测图像的附加的特征表示,附加的特征表示确定模型是利用参考图像和参考图像的真实性针对至少一个滤波器而训练的;并且其中真实性确定模块530包括:概率确定模块,被配置为基于多个特征表示和附加的特征表示,确定待检测图像是合成图像的概率。
在一些实施例中,至少一个滤波器包括针对不同频段的多个滤波器,并且其中滤波模块包括:滤波器应用模块,被配置为将多个滤波器中的一个滤波器应用于待检测图像,使得所生成的经滤波图像仅包括与一个滤波器相对应的频段的信息。
在一些实施例中,图像和模型获取模块510包括:中间参考图像生成模块,被配置为基于参考图像,生成分别包括参考对象的不同部分的多个中间参考图像;以及模型训练模块,被配置为利用多个中间参考图像和参考图像的真实性来训练多个特征表示确定模型。
在一些实施例中,真实性确定模块530包括:真实性评估模块,被配置为通过将多个特征表示应用到真实性评估模型,来确定待检测图像的真实性,真实性评估模型与多个特征表示确定模型一起利用参考图像和参考图像的真实性被训练。
图6示出了可以用来实施本公开的实施例的示例设备600的示意性框图。设备600可以用于实现图1的计算设备102。如图所示,设备600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的计算机程序指令或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序指令,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元601执行上文所描述的各个方法和处理,例如过程200。例如,在一些实施例中,过程200可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由CPU 601执行时,可以执行上文描述的过程200的一个或多个步骤。备选地,在其他实施例中,CPU 601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行过程200。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外,虽然采用特定次序描绘了各操作,但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行,或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地,在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (16)
1.一种检测图像的方法,包括:
获取包括目标对象的待检测图像和多个特征表示确定模型,所述多个特征表示确定模型是利用包括参考对象的参考图像和所述参考图像的真实性针对所述参考对象的不同部分而训练的;
在所述待检测图像中确定与所述不同部分相关联的多个关键点集合;
基于所述多个关键点集合和所述多个特征表示确定模型,确定所述多个特征表示;
通过将至少一个滤波器应用于所述待检测图像,来生成至少一个经滤波图像;
基于所述至少一个经滤波图像和附加的特征表示确定模型,确定所述待检测图像的附加的特征表示,所述附加的特征表示确定模型是利用所述参考图像和所述参考图像的真实性针对所述至少一个滤波器而训练的;以及
基于所述多个特征表示和所述附加的特征表示,确定所述待检测图像的真实性。
2.根据权利要求1所述的方法,其中基于所述多个关键点集合和所述多个特征表示确定模型确定所述多个特征表示包括:
从所述待检测图像中确定所述多个关键点集中的一个关键点集合所在的区域;
基于所述区域来生成中间图像;以及
通过将所述中间图像应用到与所述一个关键点集合相对应的特征表示确定模型,来确定与所述一个关键点集合相对应的部分的特征表示。
3.根据权利要求1至2中的任一项所述的方法,其中确定所述待检测图像的真实性包括:
确定与所述多个特征表示中的一个特征表示相对应的部分的真实性评分;以及
响应于所述真实性评分低于预定阈值,确定与所述一个特征表示相对应的所述部分是经合成的。
4.根据权利要求1至2中的任一项所述的方法,其中确定所述待检测图像的真实性包括:
基于所述多个特征表示和所述附加的特征表示,确定所述待检测图像是合成图像的概率。
5.根据权利要求4所述的方法,其中所述至少一个滤波器包括针对不同频段的多个滤波器,并且其中生成所述至少一个经滤波图像包括:
将所述多个滤波器中的一个滤波器应用于所述待检测图像,使得所生成的经滤波图像仅包括与所述一个滤波器相对应的频段的信息。
6.根据权利要求1至2中的任一项所述的方法,其中获取所述多个特征表示确定模型包括:
基于所述参考图像,生成分别包括所述参考对象的所述不同部分的多个中间参考图像;以及
利用所述多个中间参考图像和所述参考图像的真实性来训练所述多个特征表示确定模型。
7.根据权利要求1至2中任一项所述的方法,其中确定所述待检测图像的真实性包括:
通过将所述多个特征表示应用到真实性评估模型,来确定所述待检测图像的真实性,所述真实性评估模型与所述多个特征表示确定模型一起利用所述参考图像和所述参考图像的真实性被训练。
8.一种用于检测图像的装置,包括:
图像和模型获取模块,被配置为获取包括目标对象的待检测图像和多个特征表示确定模型,所述多个特征表示确定模型是利用包括参考对象的参考图像和所述参考图像的真实性针对所述参考对象的不同部分而训练的;
关键点确定模块,被配置为在所述待检测图像中确定与所述不同部分相关联的多个关键点集合;
关键点利用模块,被配置为基于所述多个关键点集合和所述多个特征表示确定模型,确定所述多个特征表示;
滤波模块,被配置为通过将至少一个滤波器应用于所述待检测图像,来生成至少一个经滤波图像;
附加特征表示确定模块,被配置为基于所述至少一个经滤波图像和附加的特征表示确定模型,确定所述待检测图像的附加的特征表示,所述附加的特征表示确定模型是利用所述参考图像和所述参考图像的真实性针对所述至少一个滤波器而训练的;以及
真实性确定模块,被配置为基于所述多个特征表示和所述附加的特征表示,确定所述待检测图像的真实性。
9.根据权利要求8所述的装置,其中所述关键点利用模块包括:
区域确定模块,被配置为从所述待检测图像中确定所述多个关键点集中的一个关键点集合所在的区域;
中间图像生成模块,被配置为基于所述区域来生成中间图像;以及
中间图像应用模块,被配置为通过将所述中间图像应用到与所述一个关键点集合相对应的特征表示确定模型,来确定与所述一个关键点集合相对应的部分的特征表示。
10.根据权利要求8至9中的任一项所述的装置,其中所述真实性确定模块包括:
评分模块,被配置为确定与所述多个特征表示中的一个特征表示相对应的部分的真实性评分;以及
判断模块,被配置为响应于所述真实性评分低于预定阈值,确定与所述一个特征表示相对应的所述部分是经合成的。
11.根据权利要求8至9中的任一项所述的装置,其中所述真实性确定模块包括:
概率确定模块,被配置为基于所述多个特征表示和所述附加的特征表示,确定所述待检测图像是合成图像的概率。
12.根据权利要求11所述的装置,其中所述至少一个滤波器包括针对不同频段的多个滤波器,并且其中所述滤波模块包括:
滤波器应用模块,被配置为将所述多个滤波器中的一个滤波器应用于所述待检测图像,使得所生成的经滤波图像仅包括与所述一个滤波器相对应的频段的信息。
13.根据权利要求8至9中的任一项所述的装置,其中所述图像和模型获取模块包括:
中间参考图像生成模块,被配置为基于所述参考图像,生成分别包括所述参考对象的所述不同部分的多个中间参考图像;以及
模型训练模块,被配置为利用所述多个中间参考图像和所述参考图像的真实性来训练所述多个特征表示确定模型。
14.根据权利要求8至9中的任一项所述的装置,其中所述真实性确定模块包括:
真实性评估模块,被配置为通过将所述多个特征表示应用到真实性评估模型,来确定所述待检测图像的真实性,所述真实性评估模型与所述多个特征表示确定模型一起利用所述参考图像和所述参考图像的真实性被训练。
15.一种电子设备,所述设备包括:
一个或多个处理器;以及
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一项所述的方法。
16.一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910606028.2A CN110428399B (zh) | 2019-07-05 | 2019-07-05 | 用于检测图像的方法、装置、设备和存储介质 |
US16/879,342 US11244157B2 (en) | 2019-07-05 | 2020-05-20 | Image detection method, apparatus, device and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910606028.2A CN110428399B (zh) | 2019-07-05 | 2019-07-05 | 用于检测图像的方法、装置、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110428399A CN110428399A (zh) | 2019-11-08 |
CN110428399B true CN110428399B (zh) | 2022-06-14 |
Family
ID=68410320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910606028.2A Active CN110428399B (zh) | 2019-07-05 | 2019-07-05 | 用于检测图像的方法、装置、设备和存储介质 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11244157B2 (zh) |
CN (1) | CN110428399B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110245612A (zh) * | 2019-06-14 | 2019-09-17 | 百度在线网络技术(北京)有限公司 | 人脸图像的检测方法和装置 |
US20220268689A1 (en) * | 2019-07-29 | 2022-08-25 | Hitachi High-Tech Corporation | Particle quantifying device |
US10990807B2 (en) * | 2019-09-06 | 2021-04-27 | Adobe, Inc. | Selecting representative recent digital portraits as cover images |
US20210182585A1 (en) * | 2019-12-17 | 2021-06-17 | Daon Holdings Limited | Methods and systems for displaying a visual aid |
CN113449553B (zh) * | 2020-03-25 | 2024-08-02 | 阿里巴巴集团控股有限公司 | 一种图像检测方法及装置 |
US12118729B2 (en) * | 2020-05-11 | 2024-10-15 | Nec Corporation | Determination device, determination method, and recording medium |
CN114821690B (zh) * | 2021-01-28 | 2024-10-29 | Oppo广东移动通信有限公司 | 关键点识别模型处理方法、关键点识别方法及装置 |
CN112926515B (zh) * | 2021-03-26 | 2022-09-20 | 支付宝(杭州)信息技术有限公司 | 活体模型训练方法和装置 |
CN113221678B (zh) * | 2021-04-26 | 2024-06-11 | 深圳市商汤科技有限公司 | 一种标准工时确定方法、装置、计算机设备及存储介质 |
CN113326400B (zh) * | 2021-06-29 | 2024-01-12 | 合肥高维数据技术有限公司 | 基于深度伪造视频检测的模型的评价方法及系统 |
CN113449657B (zh) * | 2021-07-05 | 2022-08-30 | 中山大学 | 一种基于人脸关键点的深度伪造人脸视频检测方法、系统及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107633207A (zh) * | 2017-08-17 | 2018-01-26 | 平安科技(深圳)有限公司 | Au特征识别方法、装置及存储介质 |
CN107633204A (zh) * | 2017-08-17 | 2018-01-26 | 平安科技(深圳)有限公司 | 人脸遮挡检测方法、装置及存储介质 |
CN109711273A (zh) * | 2018-12-04 | 2019-05-03 | 北京字节跳动网络技术有限公司 | 图像关键点提取方法、装置、可读存储介质及电子设备 |
CN109858439A (zh) * | 2019-01-30 | 2019-06-07 | 北京华捷艾米科技有限公司 | 一种基于人脸的活体检测方法及装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2921989A1 (en) * | 2014-03-17 | 2015-09-23 | Université de Genève | Method for object recognition and/or verification on portable devices |
US10819881B1 (en) * | 2015-03-12 | 2020-10-27 | Igor Vladimir Smolyar | System and method for encryption/decryption of 2-D and 3-D arbitrary images |
CN108475425B (zh) * | 2016-01-20 | 2022-03-08 | 富士通株式会社 | 图像处理装置、图像处理方法及计算机可读取的记录介质 |
JP2017221483A (ja) * | 2016-06-16 | 2017-12-21 | コニカミノルタ株式会社 | 医用画像処理装置及びプログラム |
CN106101594B (zh) * | 2016-08-04 | 2019-03-12 | 深圳创维-Rgb电子有限公司 | Hdr电视机及区域调光方法 |
CN107578404B (zh) * | 2017-08-22 | 2019-11-15 | 浙江大学 | 基于视觉显著特征提取的全参考立体图像质量客观评价方法 |
US10275872B2 (en) * | 2017-08-24 | 2019-04-30 | Applied Materials Israel Ltd. | Method of detecting repeating defects and system thereof |
JP7297470B2 (ja) * | 2019-03-05 | 2023-06-26 | キヤノン株式会社 | 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法 |
SG10201902889VA (en) * | 2019-03-29 | 2020-10-29 | Nec Corp | System and Method for Adaptively Constructing a Three-Dimensional Facial Model Based on Two or More Inputs of a Two- Dimensional Facial Image |
-
2019
- 2019-07-05 CN CN201910606028.2A patent/CN110428399B/zh active Active
-
2020
- 2020-05-20 US US16/879,342 patent/US11244157B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107633207A (zh) * | 2017-08-17 | 2018-01-26 | 平安科技(深圳)有限公司 | Au特征识别方法、装置及存储介质 |
CN107633204A (zh) * | 2017-08-17 | 2018-01-26 | 平安科技(深圳)有限公司 | 人脸遮挡检测方法、装置及存储介质 |
CN109711273A (zh) * | 2018-12-04 | 2019-05-03 | 北京字节跳动网络技术有限公司 | 图像关键点提取方法、装置、可读存储介质及电子设备 |
CN109858439A (zh) * | 2019-01-30 | 2019-06-07 | 北京华捷艾米科技有限公司 | 一种基于人脸的活体检测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110428399A (zh) | 2019-11-08 |
US11244157B2 (en) | 2022-02-08 |
US20210004587A1 (en) | 2021-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110428399B (zh) | 用于检测图像的方法、装置、设备和存储介质 | |
JP7490141B2 (ja) | 画像検出方法、モデルトレーニング方法、画像検出装置、トレーニング装置、機器及びプログラム | |
US10726244B2 (en) | Method and apparatus detecting a target | |
CN108875732B (zh) | 模型训练与实例分割方法、装置和系统及存储介质 | |
US10534957B2 (en) | Eyeball movement analysis method and device, and storage medium | |
JP2023018021A (ja) | 制御されていない照明条件の画像中の肌色を識別する技術 | |
US8861884B1 (en) | Training classifiers for deblurring images | |
CN106650662B (zh) | 目标对象遮挡检测方法及装置 | |
TW202006602A (zh) | 三維臉部活體檢測方法、臉部認證識別方法及裝置 | |
JP6544900B2 (ja) | オブジェクト識別装置、オブジェクト識別方法及びプログラム | |
CN108345818B (zh) | 一种人脸活体检测方法及装置 | |
CN108171207A (zh) | 基于视频序列的人脸识别方法和装置 | |
CN110222728B (zh) | 物品鉴别模型的训练方法、系统及物品鉴别方法、设备 | |
CN104517104A (zh) | 一种基于监控场景下的人脸识别方法及系统 | |
US20230056564A1 (en) | Image authenticity detection method and apparatus | |
US10650234B2 (en) | Eyeball movement capturing method and device, and storage medium | |
JP6071002B2 (ja) | 信頼度取得装置、信頼度取得方法および信頼度取得プログラム | |
CN111183455A (zh) | 图像数据处理系统与方法 | |
US9977950B2 (en) | Decoy-based matching system for facial recognition | |
CN106056083B (zh) | 一种信息处理方法及终端 | |
Al-Dhabi et al. | Deepfake video detection by combining convolutional neural network (cnn) and recurrent neural network (rnn) | |
US9940718B2 (en) | Apparatus and method for extracting peak image from continuously photographed images | |
CN109858355B (zh) | 图像处理方法及相关产品 | |
CN109598201B (zh) | 动作检测方法、装置、电子设备及可读存储介质 | |
Vinay et al. | A double filtered GIST descriptor for face recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |