CN108513069B - 图像处理方法、装置、存储介质及电子设备 - Google Patents
图像处理方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN108513069B CN108513069B CN201810276764.1A CN201810276764A CN108513069B CN 108513069 B CN108513069 B CN 108513069B CN 201810276764 A CN201810276764 A CN 201810276764A CN 108513069 B CN108513069 B CN 108513069B
- Authority
- CN
- China
- Prior art keywords
- image
- wide
- face
- processed
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种图像处理方法、装置、存储介质及电子设备,其中,本申请实施例首先获取同步采集的、同一场景的长焦场景图像以及广角场景图像;然后对长焦场景图像进行人脸识别,得到长焦场景图像的人脸特征;再将长焦场景图像的人脸特征与广角场景图像绑定;最后根据广角场景图像所绑定的人脸特征,对广角场景图像进行预设处理。将本方案应用于远距离的人像拍摄或者多人合影时,可以通过取景范围小但人像占比较大的长焦场景图像提取出待拍摄场景中人物的人脸特征,之后将提取出的人脸特征与取景范围大但人像占比较小的广角场景图像,用于对该广角场景图像进行处理,从而能够克服人脸特征提取难的问题,达到提高图像处理准确度的目的。
Description
技术领域
本申请涉及图像处理技术领域,具体涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
如手机等电子设备通常为使用者提供有拍照功能,随着摄像模组等硬件和图像处理算法的不断进步,电子设备的拍摄功能也越来越强大,用户也越来越频繁地使用电子设备进行拍照。
目前,电子设备除了提供基础的拍照功能之外,还进一步提供了图像处理功能,比如,可以对图像中的人脸进行美化和修饰等。而实现图像处理的前提是识别到图像中的人脸特征,但是,电子设备在对距离较远的人物进行拍摄,或者是进行多人合影时,拍摄得到的图像中人脸会较小,难以准确的提取到人脸特征,影响后续对该图像进行图像处理的准确度。
发明内容
本申请实施例提供了一种图像处理方法、装置、存储介质及电子设备,能够提高图像处理的准确度。
第一方面,本申请实施例了提供了的一种图像处理方法,包括:
获取同步采集的、同一场景的长焦场景图像以及广角场景图像;
对所述长焦场景图像进行人脸识别,得到所述长焦场景图像的人脸特征;
将所述人脸特征与所述广角场景图像绑定;
根据所述广角场景图像所绑定的人脸特征,对所述广角场景图像进行预设处理。
第二方面,本申请实施例了提供了的一种图像处理装置,包括:
图像获取模块,用于获取同步采集的、同一场景的长焦场景图像以及广角场景图像;
图像识别模块,用于对所述长焦场景图像进行人脸识别,得到所述长焦场景图像的人脸特征;
特征绑定模块,用于将所述人脸特征与所述广角场景图像绑定;
图像处理模块,用于根据所述广角场景图像所绑定的人脸特征,对所述广角场景图像进行预设处理。
第三方面,本申请实施例提供的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如本申请任一实施例提供的图像处理方法。
第四方面,本申请实施例提供了一种电子设备,包括中央处理器和存储器,所述存储器有计算机程序,所述中央处理器通过调用所述计算机程序,用于执行如本申请任一实施例提供的图像处理方法。
本申请实施例首先获取同步采集的、同一场景的长焦场景图像以及广角场景图像;然后对长焦场景图像进行人脸识别,得到长焦场景图像的人脸特征;再将长焦场景图像的人脸特征与广角场景图像绑定;最后根据广角场景图像所绑定的人脸特征,对广角场景图像进行预设处理。将本申请实施例提供的技术方案应用于远距离的人像拍摄或者多人合影时,可以通过取景范围小但人像占比较大的长焦场景图像提取出待拍摄场景中人物的人脸特征,之后将提取出的人脸特征与取景范围大但人像占比较小的广角场景图像,用于对该广角场景图像进行处理,从而能够克服人脸特征提取难的问题,达到提高图像处理准确度的目的。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的图像处理方法的一个流程示意图。
图2是本申请实施例中长焦摄像头和广角摄像头的设置位置示意图。
图3是本申请实施例中采集得到待拍摄场景的长焦场景图像以及广角场景图像的示例图。
图4是本申请实施例中一种绑定人脸特征的操作示意图。
图5是本申请实施例中另一种绑定人脸特征的操作示意图。
图6是本申请实施例中从多个广角场景图像中确定出待处理图像的示意图。
图7是本申请实施例中从待处理图像中确定出待处理脸部图像的操作示意图。
图8是本申请实施例中从其它广角场景图像中获取目标脸部图像的操作示意图。
图9是本申请实施例中一种将待处理脸部图像替换为目标脸部图像的操作示意图。
图10是本申请实施例中从脸部图像库中获取目标脸部图像的操作示意图。
图11是本申请实施例中另一种将待处理脸部图像替换为目标脸部图像的操作示意图。
图12是本申请实施例中从目标电子设备获取目标脸部图像的操作示意图。
图13是本申请实施例中提供的图像处理方法的又一个流程示意图。
图14是本申请实施例提供的图像处理装置的一结构示意图。
图15是本申请实施例提供的电子设备的一个结构示意图。
图16是本申请实施例提供的电子设备的另一结构示意图。
图17是本申请实施例中图像处理电路的一个细化结构示意图。
图18是本申请实施例中图像处理电路的另一个细化结构示意图。
具体实施方式
请参照图式,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
在以下的说明中,本申请的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明,除非另有述明。因此,这些步骤及操作将有数次提到由计算机执行,本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处,其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置,其具有由该数据格式所定义的特定特性。但是,本申请原理以上述文字来说明,其并不代表为一种限制,本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
本文所使用的术语“模块”可看做为在该运算系统上执行的软件对象。本文所述的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文所述的装置及方法可以以软件的方式进行实施,当然也可在硬件上进行实施,均在本申请保护范围之内。
本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。比如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块,而是某些实施例还包括没有列出的步骤或模块,或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例提供一种图像处理方法,该图像处理方法的执行主体可以是本申请实施例提供的图像处理装置,或者集成了该图像处理装置的电子设备,其中该图像处理装置可以采用硬件或者软件的方式实现。其中,电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等设备。
请参照图1,图1为本申请实施例提供的图像处理方法的流程示意图。本申请实施例提供的图像处理方法的具体流程可以如下:
在步骤101中,获取同步采集的、同一场景的长焦场景图像以及广角场景图像。
请参照图2,在本申请实施例中,电子设备包括长焦摄像头和广角摄像头,如图2所示的一种设置方式中,长焦摄像头和广角摄像头水平并列设置于电子设备的同一平面,且长焦摄像头和广角摄像头之间具有一定的距离。此外,电子设备配置有长焦图像缓存队列和广角图像缓存队列,其中长焦图像缓存队列用于缓存长焦摄像头采集到的图像,广角图像缓存队列用于缓存广角摄像头采集到的图像。需要说明的是,在具体实施时,长焦摄像头和广角摄像头的设置方式可由本领域技术人员根据实际需要进行设置。
本申请实施例中,电子设备在启动拍照类应用之后,将同步启动长焦摄像头和广角摄像头,且控制长焦摄像头和广角摄像头按照相同的帧率同步采集待拍摄场景的图像,分别得到待拍摄场景的长焦场景图像和广角场景图像。其中,长焦摄像头将采集到的长焦场景图像存入长焦图像缓存队列中,广角摄像头将采集到的广角场景图像存入广角图像缓存队列中。
比如,请参照图3,在图3所示待拍摄场景中,包括人物丙、人物丁和人物戊3个不同的人物,在某采集时刻,电子设备通过长焦摄像头采集到该待拍摄场景的长焦场景图像,通过广角摄像头采集到该待拍摄场景的广角场景图像,显而易见的,长焦场景图像中的人像相对于广角场景图像中的人像更大,更易于辨识。
本申请实施例中,电子设备在接收到触发的图像拍摄请求时,从长焦场景图像队列以及广角场景图像队列中,分别提取出长焦摄像头和广角摄像头同步采集的、同一场景的长焦场景图像以及广角场景图像。
可选的,在一实施例中,获取同步采集的、同一场景的长焦场景图像以及广角场景图像,可以包括:
获取多个采集时刻同步采集的、同一场景的长焦场景图像以及广角场景图像,得到长焦场景图像集合和广角场景图像集合。
其中,长焦场景图像集合中长焦场景图像的个数、和广角场景图像集合中广角场景图像的个数相同。获取长焦场景图像/广角长焦图像的目标个数可以根据长焦摄像头/广角摄像头的帧率信息进行确定。
具体的,电子设备在接收到触发的图像拍摄请求时,首先获取长焦摄像头/广角摄像头的帧率信息,其中,帧率信息用于描述长焦摄像头/广角摄像头在单位时间内采集到场景图像的个数,比如,在获取到的帧率信息为30fps时,说明长焦摄像头每秒采集待拍摄场景的30个长焦场景图像,广角摄像头每秒采集待拍摄场景的30个广角场景图像;又比如,在获取到的帧率信息为15fps时,说明长焦摄像头每秒采集待拍摄场景的15个长焦场景图像,广角摄像头每秒采集待拍摄场景的15个广角场景图像。
其中,影响长焦摄像头/广角摄像头帧率信息的主要原因是环境光亮度,当环境光亮度较高(或者说电子设备处于亮光环境)时,长焦摄像头/广角摄像头可以在较短的时间内(如30ms)完成曝光,从而使得其能够以较高的帧率采集场景图像;而当环境光亮度较低(或者说电子设备处于暗光环境)时,长焦摄像头/广角摄像头需要花费较长的时间(如40ms-60ms,或更多)来完成曝光,从而使得其仅能以较低的帧率采集场景图像。
之后,根据长焦摄像头/广角摄像头的帧率信息,确定对应该帧率信息的目标个数,其中,目标个数和帧率信息可以成正比关系,比如,在长焦摄像头/广角摄像头的帧率信息为30fps,可以确定目标个数为8,在长焦摄像头/广角摄像头的帧率信息为15fps时,可以确定目标个数为6。
在确定目标个数之后,从长焦图像缓存队列和广角图像缓存队列中提取出数量为目标个数的长焦场景图像和广角场景图像,其中,采集时刻相同(或者说同步采集)的长焦场景图像和广角场景图像构成一个图像组,共得到目标个数的图像组。
比如,在确定目标个数为“4”时,从长焦图像缓存队列中提取出采集时刻分别为t1、t2、t3以及t4的4个长焦场景图像,从广角图像缓存队列中提取出采集时刻分别为t1、t2、t3以及t4的4个广角场景图像,这样将得到4个图像组,分别对应采集时刻t1、t2、t3以及t4。
在步骤102中,对获取到的长焦场景图像进行人脸识别,得到长焦场景图像的人脸特征;
本申请实施例中,在获取到的长焦场景图像为多个时,则分别对获取到的多个长焦场景图像进行人脸识别;在获取到长焦场景图像仅为一个时,则对获取到的一个长焦场景图像进行人脸识别。
其中,人脸特征用于描述长焦场景图像所包含的脸部图像,包括但不限于脸部大小、眼睛开合度以及表情类型(如生气、厌恶、恐惧、高兴、悲伤和吃惊等)等。
需要说明的是,对于采用何种人脸识别技术对长焦场景图像进行人脸识别本申请实施例对此不做具体限制,本领域技术人员可根据实际需要选择合适的人脸识别技术。
在步骤103中,将长焦场景图像的人脸特征与广角场景图像绑定;
其中,在完成对获取到长焦场景图像的人脸识别之后,将从长焦场景图像中识别到的人脸特征与其采集时刻的相同的广角场景图像绑定。
比如,请参照图4,获取到采集时刻为t1的长焦场景图像和广角长焦图像,之后,从采集时刻为t1的长焦场景图像中识别出人脸特征,并将识别出的该人脸特征与采集时刻同为t1的广角场景图像绑定,作为该广角场景图像的人脸特征。
又比如,请参照图5,获取到采集时刻分别为t1、t2、t3以及t4的4个图像组,之后,从采集时刻为t1的长焦场景图像中识别出人脸特征1,并将识别出的该人脸特征1与采集时刻同为t1的广角场景图像绑定,从采集时刻为t2的长焦场景图像中识别出人脸特征2,并将识别出的该人脸特征2与采集时刻同为t2的广角场景图像绑定,从采集时刻为t3的长焦场景图像中识别出人脸特征3,并将识别出的该人脸特征3与采集时刻同为t3的广角场景图像绑定,从采集时刻为t4的长焦场景图像中识别出人脸特征4,并将识别出的该人脸特征4与采集时刻同为t4的广角场景图像绑定。
在步骤104中,根据广角场景图像所绑定的人脸特征,对广角场景图像进行预设处理。
本申请实施例中,在完成人脸特征的绑定之后,进一步根据广角场景图像所绑定的人脸特征,对广角场景图像进行预设处理。可具体的,在一个可选的实施方式中,在获取到的广角场景图像为多个时,根据广角场景图像所绑定的人脸特征,对广角场景图像进行预设处理,包括:
根据各广角场景图像所绑定的人脸特征,确定各广角场景图像中包含的、符合预设条件的匹配脸部图像的个数;
将包含匹配脸部图像个数最多的广角场景图像作为待处理图像;
根据待处理图像所绑定的人脸特征,对待处理图像进行预设处理。
其中,预设条件可根据实际拍摄需求进行设置,比如,在进行多人合影时,若需要拍摄大家都吃惊的表情,则可将预设条件配置为“表情类型为吃惊”;又比如,在进行多人合影时,若需要拍摄大家睁眼并微笑的表情,则可将预设脸部特征配置为“表情类型为微笑,且睁眼”。
比如,请参照图6,共获取到4个广角场景图像,分别为:广角场景图像A、广角场景图像B、广角场景图像C以及广角场景图像D,这4个广角场景图像所对应的待拍摄场景中包括丙丁戊3个不同的人物,且预设条件被配置为“表情为大笑”,根据这4个广角场景图像各自绑定的人脸特征,确定广角场景图像A中包括一个匹配脸部图像(即丙的脸部图像),确定广角场景图像B中不存在匹配脸部图像,确定广角场景图像C中包括两个匹配脸部图像(即丙的脸部图像和丁的脸部图像),确定广角场景图像D中包括一个匹配脸部图像(即戊的脸部图像),显然的,广角场景图像C包含的匹配脸部图像的个数最多,因此将广角场景图像C作为待处理图像。
在确定待处理图像之后,即可根据待处理图像所绑定的人脸特征,对确定的待处理图像进行预设处理,可具体的,根据待处理图像所绑定的人脸特征,对待处理图像进行预设处理,包括:
根据待处理图像所绑定的人脸特征,确定待处理图像中不符合预设条件的待处理脸部图像;
从除待处理图像之外的其它广角场景图像中,获取对应待处理脸部图像的目标脸部图像,该目标脸部图像符合预设条件,且与待处理脸部图像属于相同人物;
将待处理脸部图像替换为目标脸部图像。
其中,在从获取到的多个广角场景图像中确定出待处理图像之后,进一步从待处理图像中确定出待处理脸部图像,其中,该待处理脸部图像的不符合预设条件。
比如,请参照图7,确定出的待处理图像包括人物丙的脸部图像、人物丁的脸部图像以及人物戊的脸部图像,如图7所示,根据待处理图像所绑定的人脸特征,确定丙脸部图像的表情类型为“大笑”,丁脸部图像的表情类型同样为“大笑”,而戊脸部图像的表情类型为“沮丧”,若预设条件为“表情类型为大笑”,则丙脸部图像和丁脸部图像符合预设条件,戊脸部图像不符合预设条件,因此,将戊脸部图像确定为待处理脸部图像。
在确定出待处理图像之中的待处理脸部图像,进一步从除待处理图像之外的其它广角场景图像中,获取对应待处理脸部图像的目标脸部图像,其中,该目标脸部图像与待处理脸部图像属于相同人物,且该目标脸部图像符合预设条件。比如,请参照图8和图6,对于图6所示的四个广角场景图像中,广角场景图像C被确定为待处理图像,其中戊脸部图像的表情类型为“沮丧”,与预设条件“表情类型为大笑”不符,被进一步确定为待处理脸部图像。之后,在除待处理图像(此处为场景图像C)之外的其它广角场景图像(此处为场景图像A、场景图像B以及场景图像D)中,查找是否存在表情类型为“大笑”的戊脸部图像(即人物戊的脸部图像),显然的,如图6所示,广角场景图像D中存在表情类型为“大笑”的戊脸部图像,此时,将广角场景图像D中的戊脸部图像确定为目标脸部图像,并从广角场景图像D中提取出戊脸部图像,用作后续处理。
在获取到对应待处理脸部图像的目标脸部图像之后,即可将待处理脸部图像替换为目标脸部图像。比如,请结合参照图9和图6,在获取到图6所示的四个广角场景图像(即广角场景图像A、广角场景图像B、广角场景图像C以及广角场景图像D)之后,将广角场景图像C确定为待处理图像,并进一步将广角场景图像C中的戊脸部图像(即人物戊的脸部图像)确定为待处理脸部图像;之后,将广角场景图像D中的戊脸部图像确定为目标脸部图像;之后,将广角场景图像C中的戊脸部图像替换为广角场景图像D中的戊脸部图像,从而得到替换处理后的广角场景图像C,如图9所示,替换后的广角场景图像C中,各人物脸部图像的表情类型均为“大笑”,均符合预设条件“表情类型为大笑”。
本申请实施例中,在完成图像替换之后,即可将替换后的待处理图像作为图像拍摄请求的结果图像。
可选的,在一实施例中,将待处理脸部图像替换为目标脸部图像之后,还包括:
根据除待处理图像之外的其它广角场景图像对替换后的待处理图像进行降噪处理。
其中,可以采用多帧降噪的方式对待处理图像进行降噪处理。比如,共获取到4个广角场景图像,分别为广角场景图像A、广角场景图像B、广角场景图像C、广角场景图像D,其中,广角场景图像D被确定为待处理图像,那么可以根据根据广角场景图像A、广角场景图像B以及广角场景图像C对广角场景图像D进行多帧降噪。
具体的,在进行多帧降噪时,可以先将广角场景图像A、广角场景图像D、广角场景图像B以及广角场景图像C对齐,并获取每一组对齐像素的像素值。若同一组对齐像素的像素值相差不多,那么可以计算这组对齐像素的像素值均值,再用该像素值均值替换掉广角场景图像D的对应像素的像素值。若同一组对齐像素的像素值相差较多,那么可以不对广角场景图像D中的像素值进行调整。
比如,广角场景图像A中的像素P1、广角场景图像D中的像素P2、广角场景图像B中的像素P3以及广角场景图像C中的像素P4是一组相互对齐的像素,其中P1的像素值为101,P2的像素值为102,P3的像素值为103,P4的像素值为104,那么这组相互对齐的像素的像素值均值为102.5,那么终端就可以将广角场景图像D中的P2像素的像素值由102调整为102.5,从而对广角场景图像D中的P2像素进行降噪处理。若P1的像素值为80,P2的像素值为102,P3的像素值为83,P4的像素值为90,那么由于它们的像素值相差较多,此时终端可以不调整P2的像素值,即P2的像素值保持102不变。
可选的,在一实施例中,从除待处理图像之外的其它广角场景图像中,获取对应待处理脸部图像的目标脸部图像之后,还包括:
在从其它广角场景图像中获取目标脸部图像失败时,判断本地预设的脸部图像库中是否存储有目标脸部图像;
在脸部图像库中存储有目标脸部图像时,提取脸部图像库中存储的目标脸部图像。
考虑到从其它广角场景图像中获取目标脸部图像失败的情况,此处提供一种备选的、获取目标脸部图像的方案。
具体的,可以在电子设备本地预先创建一个脸部图像库中,该脸部图像库中用于存储电子设备获取到的脸部图像。比如,电子设备在每次对外部场景进行拍摄,得到对应该外部场景的广角场景图像之后,对该广角场景图像进行人脸识别,并将从广角场景图像中识别出的脸部图像存储至脸部图像库中。
相应的,在从其它广角场景图像中获取目标脸部图像失败时,可以在本地预设的脸部图像库中查找是否存储有对应待处理脸部图像的目标脸部图像。其中,目标脸部图像与待处理脸部图像属于相同人物,且目标脸部图像符合预设条件。
若在脸部图像库中查找到对应待处理脸部图像的目标脸部图像,则从脸部图像库中提取出对应待处理脸部图像的目标脸部图像。比如,请结合参照图10和图6,对于图6所示的待处理图像中确定出的待处理脸部图像(即戊脸部图像),从脸部图像库中提取出对应待处理脸部图像的目标脸部图像(该目标脸部图像为之前从历史拍摄的某图像中识别出,并存储在脸部图像库中),如图10所示,提取出的目标脸部图像和待处理脸部图像属于相同人物,即同属于人物戊,且目标脸部图像的表情类型为“大笑”,符合配置的预设条件“表情类型为大笑”。
可具体的,提取脸部图像库中存储的目标脸部图像,包括:
在脸部图像库中存储有多个目标脸部图像时,获取各目标脸部图像的存入时刻;
提取脸部图像库中、存入时刻距离当前时刻最近的目标脸部图像。
比如,在脸部图像库中查找到3个对应待处理图像的目标脸部图像,分别为目标脸部图像1、目标脸部图像2和目标脸部图像3,且获取到目标脸部图像1的存入时刻为t1,获取到目标脸部图像2的存入时刻为t2,获取到目标脸部图像3的存入时刻为t3,若存入时刻t1距离当前时刻的时长为1天,存入时刻t2距离当前时刻的时长为2天,存入时刻t3距离当前时刻的时长为7天,显然的,目标脸部图像1的存入时刻距离当前时刻最近,此时从脸部图像库中提取出目标图像1用作后续处理。
可具体的,由于此时目标脸部图像从脸部图像库中提取出,该目标脸部图像可能从不同的拍摄场景中采集得到,而拍摄场景不同,其光照也不相同,因此,为提升图像处理后图像效果,将待处理脸部图像替换为目标脸部图像,包括:
获取待处理脸部图像的光照信息;
将获取到的光照信息迁移至目标脸部图像;
将待处理脸部图像替换为迁移后的目标脸部图像。
其中,在进行光照信息的迁移时,可根据实际需要选取合适的光照迁移算法,来将待处理图像的光照信息迁移至目标脸部图像。其中,可选的光照迁移算法包括但不限于:基于商图的光照迁移算法、基于3D模型的光照迁移算法、基于滤波分解的光照迁移算法以及基于本征分解的光照迁移算法等。
在完成光照信息的迁移之后,将确定的待处理脸部图像替换为迁移后的目标脸部图像,由此使得替换后的待处理图像中、所有脸部图像均符合预设条件,且光照信息一致。
比如,请参照图11,将确定的某待处理脸部图像的光照信息迁移至其对应的目标脸部图像之后,目标脸部图像和该待处理脸部图像获得相同的光照效果,之后,将确定的待处理脸部图像替换为迁移后的目标脸部图像,由此使得替换后的待处理图像中、所有脸部图像均符合预设条件,且光照信息一致。
需要说明的是,对于采用何种光照迁移算法,本申请实施例不做具体限制,可由本领域技术人员根据实际需要进行选取,可以是本申请实施例所列出的光照迁移算法,也可以是本申请实施例中未列出的光照迁移算法。
可选的,在一实施例中,判断本地预设的脸部图像库中是否存储有目标脸部图像之后,还包括:
在脸部图像库中未存储有对应待处理脸部图像的目标脸部图像时,获取待处理脸部图像对应的人物信息;
发送图像获取请求至获取到的人物信息所对应的目标电子设备,其中,图像获取请求用于指示目标电子设备查找并返回对应待处理脸部图像的目标脸部图像;
接收目标电子设备返回的目标脸部图像。
考虑到从本地脸部图像库获取目标脸部图像失败的情况,也即是本地的脸部图像库中并未存储有对应待处理脸部图像的目标脸部图像时,此处提供另外一种获取目标脸部图像的方案。
具体的,在完成对脸部图像库的查找,且未在脸部图像库中查找到对应待处理脸部图像的目标脸部图像时,也即是脸部图像库中未存储有对应待处理脸部图像的目标脸部图像时,获取待处理脸部图像对应的人物信息,换言之,即确定该待处理脸部图像是“谁”的脸部图像。
在获取得到待处理脸部图像对应的人物信息之后,进一步根据本地预存的人物信息和电子设备的关联关系(该关联关系用于描述一电子设备归属于哪一个使用者),确定获取到人物信息所对应目标电子设备。比如,请参照图6,对于图6所示的待处理图像,确定其中的待处理脸部图像为戊脸部图像,此时将获取到戊脸部图像对于的人物信息为“人物戊”,并进一步确定人物戊的手机为目标电子设备。
在确定目标电子设备之后,按照预先约定的报文格式生成图像获取请求,并将生成的图像获取请求发送至确定的目标电子设备。其中,图像获取请求用于指示目标电子设备查找其本地是否存在对应待处理脸部图像的目标脸部图像,若查找到,则返回查找到的目标脸部图像。具体的,目标电子设备本地也预先创建有脸部图像库,在接收到图像获取请求时,根据该图像获取请求的指示,在其本地的脸部图像库中进行查找,若查找到对应待处理脸部图像的目标脸部图像,则将查找到的目标脸部图像返回。
相应的,在向目标电子设备发送图像获取请求之后,接收目标电子设备返回的目标脸部图像。
比如,请参照图12,一方面,电子设备在获取到待处理图像(图示丙丁戊三人的合影图像)之后,确定待处理图像中的戊脸部图像为待处理脸部图像,通过对本地的脸部图像库进行查找,未查找到对应待处理脸部图像的目标脸部图像,此时确定戊的手机为目标电子设备,并发送图像获取请求至该目标电子设备;另一方面,目标电子设备在接收到来自电子设备的图像获取请求之后,在本地的脸部图像库中进行查找,并查找到对应待处理脸部图像的目标脸部图像,此时将查找到的目标脸部图像返回至电子设备。
可具体的,在一个可选的实施方式中,在获取到的广角场景图像为一个时,根据广角场景图像所绑定的人脸特征,对广角场景图像进行预设处理,包括:
根据广角场景图像所绑定的人脸特征,确定该广角场景图像中不符合预设条件的待处理脸部图像;
从本地预设的脸部图像库中、获取对应待处理脸部图像的目标脸部图像;
将确定的待处理脸部图像替换为获取到的目标脸部图像。
比如,获取到的广角场景图像包括人物丙的脸部图像、人物丁的脸部图像以及人物戊的脸部图像,根据该广角场景图像所绑定的人脸特征,确定丙脸部图像的表情类型为“大笑”,丁脸部图像的表情类型同样为“大笑”,而戊脸部图像的表情类型为“沮丧”,若预设条件为“表情类型为大笑”,则丙脸部图像和丁脸部图像符合预设条件,戊脸部图像不符合预设条件,因此,将戊脸部图像确定为待处理脸部图像。
在从广角场景图像中确定出待处理脸部图像之后,可以在本地预设的脸部图像库中查找是否存储有对应待处理脸部图像的目标脸部图像,其中,该目标脸部图像与待处理脸部图像属于相同人物,且目标脸部图像符合预设条件。
在获取到对应待处理脸部图像的目标脸部图像之后,即可将待处理脸部图像替换为目标脸部图像。由于此时目标脸部图像从脸部图像库中提取出,该目标脸部图像可能从不同的拍摄场景中采集得到,而拍摄场景不同,其光照也不相同,因此,将确定的待处理脸部图像替换为获取到的目标脸部图像,先将待处理脸部图像的光照信息迁移至目标脸部图像,再将待处理脸部图像替换为迁移后的目标脸部图像,由此使得替换后的广角场景图像中、所有脸部图像均符合预设条件,且光照信息一致。
由上可知,将本申请实施例提供的技术方案应用于远距离的人像拍摄或者多人合影时,可以通过取景范围小但人像占比较大的长焦场景图像提取出待拍摄场景中人物的人脸特征,之后将提取出的人脸特征与取景范围大但人像占比较小的广角场景图像,用于对该广角场景图像进行处理,从而能够克服人脸特征提取难的问题,达到提高图像处理准确度的目的。
下面将在上述实施例描述的方法基础上,对本申请的图像处理方法做进一步介绍。请参照图13,该图像处理方法可以包括:
在步骤201中,获取同一场景的多个图像组,各图像组中包括采集时刻相同的长焦场景图像和广角场景图像。
请参照图2,在本申请实施例中,电子设备包括长焦摄像头和广角摄像头,如图2所示的一种设置方式中,长焦摄像头和广角摄像头水平并列设置于电子设备的同一平面,且长焦摄像头和广角摄像头之间具有一定的距离。此外,电子设备配置有长焦图像缓存队列和广角图像缓存队列,其中长焦图像缓存队列用于缓存长焦摄像头采集到的图像,广角图像缓存队列用于缓存广角摄像头采集到的图像。需要说明的是,在具体实施时,长焦摄像头和广角摄像头的设置方式可由本领域技术人员根据实际需要进行设置。
本申请实施例中,电子设备在启动拍照类应用之后,将同步启动长焦摄像头和广角摄像头,且控制长焦摄像头和广角摄像头按照相同的帧率同步采集待拍摄场景的图像,分别得到待拍摄场景的长焦场景图像和广角场景图像。其中,长焦摄像头将采集到的长焦场景图像存入长焦图像缓存队列中,广角摄像头将采集到的广角场景图像存入广角图像缓存队列中。
比如,请参照图3,在图3所示待拍摄场景中,包括人物丙、人物丁和人物戊3个不同的人物,在某采集时刻,电子设备通过长焦摄像头采集到该待拍摄场景的长焦场景图像,通过广角摄像头采集到该待拍摄场景的广角场景图像,显而易见的,长焦场景图像中的人像相对于广角场景图像中的人像更大,更易于辨识。
具体的,电子设备在接收到触发的图像拍摄请求时,首先获取长焦摄像头/广角摄像头的帧率信息,其中,帧率信息用于描述长焦摄像头/广角摄像头在单位时间内采集到场景图像的个数,比如,在获取到的帧率信息为30fps时,说明长焦摄像头每秒采集待拍摄场景的30个长焦场景图像,广角摄像头每秒采集待拍摄场景的30个广角场景图像;又比如,在获取到的帧率信息为15fps时,说明长焦摄像头每秒采集待拍摄场景的15个长焦场景图像,广角摄像头每秒采集待拍摄场景的15个广角场景图像。
其中,影响长焦摄像头/广角摄像头帧率信息的主要原因是环境光亮度,当环境光亮度较高(或者说电子设备处于亮光环境)时,长焦摄像头/广角摄像头可以在较短的时间内(如30ms)完成曝光,从而使得其能够以较高的帧率采集场景图像;而当环境光亮度较低(或者说电子设备处于暗光环境)时,长焦摄像头/广角摄像头需要花费较长的时间(如40ms-60ms,或更多)来完成曝光,从而使得其仅能以较低的帧率采集场景图像。
之后,根据长焦摄像头/广角摄像头的帧率信息,确定对应该帧率信息的目标个数,其中,目标个数和帧率信息可以成正比关系,比如,在长焦摄像头/广角摄像头的帧率信息为30fps,可以确定目标个数为8,在长焦摄像头/广角摄像头的帧率信息为15fps时,可以确定目标个数为6。
在确定目标个数之后,从长焦图像缓存队列和广角图像缓存队列中提取出数量为目标个数的长焦场景图像和广角场景图像,其中,采集时刻相同(或者说同步采集)的长焦场景图像和广角场景图像构成一个图像组,共得到目标个数的图像组。
比如,在确定目标个数为“4”时,从长焦图像缓存队列中提取出采集时刻分别为t1、t2、t3以及t4的4个长焦场景图像,从广角图像缓存队列中提取出采集时刻分别为t1、t2、t3以及t4的4个广角场景图像,这样将得到4个图像组,分别对应采集时刻t1、t2、t3以及t4。
在步骤202中,获取各图像组中长焦场景图像的人脸特征,并将获取到的各长焦场景图像的人脸特征、与其组内的广角场景图像绑定。
其中,人脸特征用于描述长焦场景图像所包含的脸部图像,包括但不限于脸部大小、眼睛开合度以及表情类型(如生气、厌恶、恐惧、高兴、悲伤和吃惊等)等。
需要说明的是,对于采用何种人脸识别技术对长焦场景图像进行人脸识别本申请实施例对此不做具体限制,本领域技术人员可根据实际需要选择合适的人脸识别技术。
比如,请参照图5,获取到采集时刻分别为t1、t2、t3以及t4的4个图像组,之后,从采集时刻为t1的长焦场景图像中识别出人脸特征1,并将识别出的该人脸特征1与采集时刻同为t1的广角场景图像绑定,从采集时刻为t2的长焦场景图像中识别出人脸特征2,并将识别出的该人脸特征2与采集时刻同为t2的广角场景图像绑定,从采集时刻为t3的长焦场景图像中识别出人脸特征3,并将识别出的该人脸特征3与采集时刻同为t3的广角场景图像绑定,从采集时刻为t4的长焦场景图像中识别出人脸特征4,并将识别出的该人脸特征4与采集时刻同为t4的广角场景图像绑定。
在步骤203中,根据各广角场景图像所绑定的人脸特征,确定各广角场景图像中包含的、符合预设条件的匹配脸部图像的个数。
在步骤204中,将包含匹配脸部图像个数最多的广角场景图像作为待处理图像。
其中,预设条件可根据实际拍摄需求进行设置,比如,在进行多人合影时,若需要拍摄大家都吃惊的表情,则可将预设条件配置为“表情类型为吃惊”;又比如,在进行多人合影时,若需要拍摄大家睁眼并微笑的表情,则可将预设脸部特征配置为“表情类型为微笑,且睁眼”。
比如,请参照图6,共获取到4个广角场景图像,分别为:广角场景图像A、广角场景图像B、广角场景图像C以及广角场景图像D,这4个广角场景图像所对应的待拍摄场景中包括丙丁戊3个不同的人物,且预设条件被配置为“表情为大笑”,根据这4个广角场景图像各自绑定的人脸特征,确定广角场景图像A中包括一个匹配脸部图像(即丙的脸部图像),确定广角场景图像B中不存在匹配脸部图像,确定广角场景图像C中包括两个匹配脸部图像(即丙的脸部图像和丁的脸部图像),确定广角场景图像D中包括一个匹配脸部图像(即戊的脸部图像),显然的,广角场景图像C包含的匹配脸部图像的个数最多,因此将广角场景图像C作为待处理图像。
在步骤205中,确定待处理图像中不符合预设条件的待处理脸部图像。
其中,在从获取到的多个广角场景图像中确定出待处理图像之后,进一步从待处理图像中确定出待处理脸部图像,其中,该待处理脸部图像的不符合预设条件。
比如,请参照图7,确定出的待处理图像包括人物丙的脸部图像、人物丁的脸部图像以及人物戊的脸部图像,如图7所示,根据待处理图像所绑定的人脸特征,确定丙脸部图像的表情类型为“大笑”,丁脸部图像的表情类型同样为“大笑”,而戊脸部图像的表情类型为“沮丧”,若预设条件为“表情类型为大笑”,则丙脸部图像和丁脸部图像符合预设条件,戊脸部图像不符合预设条件,因此,将戊脸部图像确定为待处理脸部图像。
在步骤206中,从除待处理图像之外的其它广角场景图像中,获取对应待处理脸部图像的目标脸部图像,该目标脸部图像符合预设条件,且与待处理脸部图像属于相同人物。
在确定出待处理图像之中的待处理脸部图像,进一步从除待处理图像之外的其它广角场景图像中,获取对应待处理脸部图像的目标脸部图像,其中,该目标脸部图像与待处理脸部图像属于相同人物,且该目标脸部图像符合预设条件。比如,请参照图8和图6,对于图6所示的四个广角场景图像中,广角场景图像C被确定为待处理图像,其中戊脸部图像的表情类型为“沮丧”,与预设条件“表情类型为大笑”不符,被进一步确定为待处理脸部图像。之后,在除待处理图像(此处为场景图像C)之外的其它广角场景图像(此处为场景图像A、场景图像B以及场景图像D)中,查找是否存在表情类型为“大笑”的戊脸部图像(即人物戊的脸部图像),显然的,如图6所示,广角场景图像D中存在表情类型为“大笑”的戊脸部图像,此时,将广角场景图像D中的戊脸部图像确定为目标脸部图像,并从广角场景图像D中提取出戊脸部图像,用作后续处理。
在步骤207中,将待处理脸部图像替换为目标脸部图像。
在获取到对应待处理脸部图像的目标脸部图像之后,即可将待处理脸部图像替换为目标脸部图像。比如,请结合参照图9和图6,在获取到图6所示的四个广角场景图像(即广角场景图像A、广角场景图像B、广角场景图像C以及广角场景图像D)之后,将广角场景图像C确定为待处理图像,并进一步将广角场景图像C中的戊脸部图像(即人物戊的脸部图像)确定为待处理脸部图像;之后,将广角场景图像D中的戊脸部图像确定为目标脸部图像;之后,将广角场景图像C中的戊脸部图像替换为广角场景图像D中的戊脸部图像,从而得到替换处理后的广角场景图像C,如图9所示,替换后的广角场景图像C中,各人物脸部图像的表情类型均为“大笑”,均符合预设条件“表情类型为大笑”。
本申请实施例中,在完成图像替换之后,即可将替换后的待处理图像作为图像拍摄请求的结果图像。
在一实施例中,还提供了一种图像处理装置400,请参阅图14,图14为本申请实施例提供的图像处理装置400的结构示意图。其中该图像处理装置400应用于电子设备,该图像处理装置400包括图像获取模块401、图像识别模块402、特征绑定模块403以及图像处理模块404,如下:
图像获取模块401,用于获取同步采集的、同一场景的长焦场景图像以及广角场景图像;
图像识别模块402,用于对获取到的长焦场景图像进行人脸识别,得到长焦场景图像的人脸特征;
特征绑定模块403,用于将长焦场景图像的人脸特征与广角场景图像绑定;
图像处理模块404,用于根据广角场景图像所绑定的人脸特征,对广角场景图像进行预设处理。
在一实施例中,在图像获取模块401获取到的广角场景图像为多个时,图像处理模块404,具体用于:
根据各广角场景图像所绑定的人脸特征,确定各广角场景图像中包含的、符合预设条件的匹配脸部图像的个数;
将包含匹配脸部图像个数最多的广角场景图像作为待处理图像;
根据待处理图像所绑定的人脸特征,对待处理图像进行预设处理。
在一实施例中,图像处理模块404,还具体用于:
根据待处理图像所绑定的人脸特征,确定待处理图像中不符合预设条件的待处理脸部图像;
从除待处理图像之外的其它广角场景图像中,获取对应待处理脸部图像的目标脸部图像,该目标脸部图像符合预设条件,且与待处理脸部图像属于相同人物;
将待处理脸部图像替换为目标脸部图像。
在一实施例中,图像处理装置400还包括降噪处理模块,用于:
根据除待处理图像之外的其它广角场景图像对替换后的待处理图像进行降噪处理。
在一实施例中,图像处理模块404,还用于:
在从除待处理图像之外的其它广角场景图像中获取目标脸部图像失败时,判断本地预设的脸部图像库中是否存储有目标脸部图像;
在脸部图像库中存储有目标脸部图像时,提取脸部图像库中存储的目标脸部图像。
在一实施例中,图像处理模块404,具体用于:
获取待处理脸部图像的光照信息;
将获取到的光照信息迁移至目标脸部图像;
将待处理脸部图像替换为迁移后的目标脸部图像。
在一实施例中,图像处理模块404,还用于:
在脸部图像库中未存储有目标脸部图像时,获取待处理脸部图像对应的人物信息;
发送图像获取请求至该人物信息对应的目标电子设备,该图像获取请求用于指示目标电子设备查找并返回目标脸部图像;
接收目标电子设备返回的目标脸部图像。
具体实施时,以上各个模块可以作为独立的实体实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单位的具体实施可参见前面的实施例,在此不再赘述。
由上可知,本实施例图像处理装置可以由图像获取模块401获取同步采集的、同一场景的长焦场景图像以及广角场景图像;由图像识别模块402对获取到的长焦场景图像进行人脸识别,得到长焦场景图像的人脸特征;由特征绑定模块403将长焦场景图像的人脸特征与广角场景图像绑定;由图像处理模块404根据广角场景图像所绑定的人脸特征,对广角场景图像进行预设处理。将本申请实施例提供的技术方案应用于远距离的人像拍摄或者多人合影时,可以通过取景范围小但人像占比较大的长焦场景图像提取出待拍摄场景中人物的人脸特征,之后将提取出的人脸特征与取景范围大但人像占比较小的广角场景图像,用于对该广角场景图像进行处理,从而能够克服人脸特征提取难的问题,达到提高图像处理准确度的目的。
本申请实施例还提供一种电子设备。请参阅图15,电子设备500包括中央处理器501以及存储器502。其中,中央处理器501与存储器502电性连接。
所述中央处理器500是电子设备500的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或加载存储在存储器502内的计算机程序,以及调用存储在存储器502内的数据,执行电子设备500的各种功能并处理数据,从而实现对用户性别的准确识别。
所述存储器502可用于存储软件程序以及模块,中央处理器501通过运行存储在存储器502的计算机程序以及模块,从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器502可以包括高速随机存取存储器,还可以包括非易失性存储器,比如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器502还可以包括存储器控制器,以提供中央处理器501对存储器502的访问。
在本申请实施例中,电子设备500中的中央处理器501通过运行存储在存储器502中的计算机程序,执行上述任一实施例中的图像处理方法,比如:获取同步采集的、同一场景的长焦场景图像以及广角场景图像;对获取到的长焦场景图像进行人脸识别,得到长焦场景图像的人脸特征;将得到的长焦场景图像的人脸特征与广角场景图像绑定;根据角场景图像所绑定的人脸特征,对广角场景图像进行预设处理。
请一并参阅图16,在某些实施方式中,电子设备500还可以包括:显示器503、射频电路504、音频电路505、电源506、图像处理电路507以及图形处理器508。其中,显示器503、射频电路504、音频电路505以及电源506分别与中央处理器501电性连接。
显示器503可以用于显示由用户输入的信息或提供给用户的信息以及各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示器503可以包括显示面板,在某些实施方式中,可以采用液晶显示器(Liquid Crystal Display,LCD)、或者有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板。
射频电路504可以用于收发射频信号,以通过无线通信与网络设备或其他电子设备建立无线通讯,与网络设备或其他电子设备之间收发信号。
音频电路505可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。
电源506可以用于给电子设备500的各个部件供电。在一些实施例中,电源506可以通过电源管理系统与中央处理器501逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
图像处理电路507可以利用硬件和/或软件组件实现,可包括定义ISP(ImageSignal Processing,图像信号处理)管线的各种处理单元,请参照图17,在一实施例中,图像处理电路507包括ISP处理器5071和控制逻辑器5072。摄像头5073捕捉的图像数据首先由ISP处理器5071处理,ISP处理器5071对图像数据进行分析以捕捉可用于确定和/或摄像头5073的一个或多个控制参数的图像统计信息。摄像头5073可包括具有一个或多个透镜50731和图像传感器50732的照相机。图像传感器50732可包括色彩滤镜阵列(如Bayer滤镜),图像传感器50732可获取用图像传感器50732的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器5071处理的一组原始图像数据。传感器5074(如陀螺仪)可基于传感器5074接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器5071。传感器5074接口可以利用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外,图像传感器50732也可将原始图像数据发送给传感器5074,传感器5074可基于传感器5074接口类型把原始图像数据提供给ISP处理器5071,或者传感器5074将原始图像数据存储到图像存储器5075中。
ISP处理器5071按多种格式逐个像素地处理原始图像数据。比如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器5071可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器5071还可从图像存储器5075接收图像数据。比如,传感器5074接口将原始图像数据发送给图像存储器5075,图像存储器5075中的原始图像数据再提供给ISP处理器5071以供处理。图像存储器5075可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器50732接口或来自传感器5074接口或来自图像存储器5075的原始图像数据时,ISP处理器5071可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器5075,以便在被显示之前进行另外的处理。ISP处理器5071从图像存储器5075接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器5071处理后的图像数据可输出给显示器503,以供用户观看和/或由图形引擎或图像处理器507进一步处理。此外,ISP处理器5071的输出还可发送给图像存储器5075,且显示器503可从图像存储器5075读取图像数据。在一个实施例中,图像存储器5075可被配置为实现一个或多个帧缓冲器。此外,ISP处理器5071的输出可发送给编码器/解码器5076,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器503设备上之前解压缩。编码器/解码器5076可由CPU或GPU或协处理器实现。
ISP处理器5071确定的统计数据可发送给控制逻辑器5072单元。比如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜50731阴影校正等图像传感器50732统计信息。控制逻辑器5072可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定摄像头5073的控制参数及ISP处理器5071的控制参数。比如,摄像头5073的控制参数可包括传感器5074控制参数(比如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜50731控制参数(比如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(比如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜50731阴影校正参数等。
图像处理器508对电子设备需要进行显示的显示数据进行转换驱动,并向显示器503提供行扫描信号,控制显示器503的正确显示。
进一步地,在上述实施例描述的图像处理电路507的基础上,对该图像处理电路507做进一步介绍,请参照图18,与上述实施例的区别在于,摄像头5073包括长焦摄像头507301和广角摄像头507302,长焦摄像头507301包括第一透镜507311和第一图像传感器507321,广角摄像头507302包括第二透镜507312和第二图像传感器507322。
其中,对长焦摄像头507301和广角摄像头507302的性能参数(例如,焦距、光圈大小、解像力等等)不做任何限制。长焦摄像头507301和广角摄像头507302可设置于电子设备的同一平面内,比如,同时设置在电子设备的背面或正面。双摄像头在电子设备的安装距离可根据电子设备的尺寸确定和/或拍摄效果等确定,比如,为了使长焦摄像头507301和广角摄像头507302拍摄的图像内容重叠度高,可将长焦摄像头507301和广角摄像头507302安装得越近越好,例如,10mm以内。
本申请实施例还提供一种存储介质,存储介质存储有计算机程序,当计算机程序在计算机上运行时,使得计算机执行上述任一实施例中的图像处理方法,比如:获取同步采集的、同一场景的长焦场景图像以及广角场景图像;对获取到的长焦场景图像进行人脸识别,得到长焦场景图像的人脸特征;将得到的长焦场景图像的人脸特征与广角场景图像绑定;根据角场景图像所绑定的人脸特征,对广角场景图像进行预设处理。
在本申请实施例中,存储介质可以是磁碟、光盘、只读存储器(Read Only Memory,ROM,)、或者随机存取记忆体(Random Access Memory,RAM)等。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
需要说明的是,对本申请实施例的图像处理方法而言,本领域普通测试人员可以理解实现本申请实施例的图像处理方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,计算机程序可存储于一计算机可读取存储介质中,如存储在电子设备的存储器中,并被该电子设备内的至少一个中央处理器执行,在执行过程中可包括如图像处理方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
对本申请实施例的图像处理装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种图像处理方法、装置、存储介质及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。
Claims (7)
1.一种图像处理方法,其特征在于,包括:
获取长焦摄像头和广角摄像头的帧率信息,并确定对应所述帧率信息的目标个数;
获取目标个数的图像组,所述图像组包括同步采集的、同一场景的长焦场景图像以及广角场景图像;
对每一图像组中的长焦场景图像进行人脸识别,得到人脸特征;
将每一图像组中长焦场景图像的人脸特征作为其中广角场景图像的人脸特征;
根据各广角场景图像的人脸特征,确定各广角场景图像中包含的、符合预设条件的匹配脸部图像的个数;
将包含匹配脸部图像个数最多的广角场景图像作为待处理图像;
根据所述待处理图像的人脸特征,确定所述待处理图像中不符合预设条件的待处理脸部图像;
从除所述待处理图像之外的其它广角场景图像中,获取对应所述待处理脸部图像的目标脸部图像,所述目标脸部图像符合所述预设条件,且与所述待处理脸部图像属于相同人物;
将所述待处理脸部图像替换为所述目标脸部图像;
针对替换后的待处理图像中的每一像素,根据所述其它广角场景图像中相同位置像素的像素值,进行降噪处理或不进行降噪处理。
2.如权利要求1所述的图像处理方法,其特征在于,从除所述待处理图像之外的其它广角场景图像中,获取对应所述待处理脸部图像的目标脸部图像之后,还包括:
在从所述其它广角场景图像中获取所述目标脸部图像失败时,判断本地预设的脸部图像库中是否存储有所述目标脸部图像;
在所述脸部图像库中存储有所述目标脸部图像时,提取所述脸部图像库中存储的所述目标脸部图像。
3.如权利要求2所述的图像处理方法,其特征在于,将所述待处理脸部图像替换为所述目标脸部图像,包括:
获取所述待处理脸部图像的光照信息;
将获取到的所述光照信息迁移至所述目标脸部图像;
将所述待处理脸部图像替换为迁移后的所述目标脸部图像。
4.如权利要求2所述的图像处理方法,其特征在于,判断本地预设的脸部图像库中是否存储有所述目标脸部图像之后,包括:
在所述脸部图像库中未存储有所述目标脸部图像时,获取所述待处理脸部图像对应的人物信息;
发送图像获取请求至所述人物信息对应的目标电子设备,所述图像获取请求用于指示所述目标电子设备查找并返回所述目标脸部图像;
接收所述目标电子设备返回的所述目标脸部图像。
5.一种图像处理装置,其特征在于,包括:
图像获取模块,用于获取长焦摄像头和广角摄像头的帧率信息,并确定对应所述帧率信息的目标个数,以及获取目标个数的图像组,所述图像组包括同步采集的、同一场景的长焦场景图像以及广角场景图像;
图像识别模块,用于对每一图像组中的长焦场景图像进行人脸识别,得到人脸特征;
特征绑定模块,用于将每一图像组中长焦场景图像的人脸特征作为其中广角场景图像的人脸特征;
图像处理模块,用于根据各广角场景图像的人脸特征,确定各广角场景图像中包含的、符合预设条件的匹配脸部图像的个数;将包含匹配脸部图像个数最多的广角场景图像作为待处理图像;根据所述待处理图像的人脸特征,确定所述待处理图像中不符合预设条件的待处理脸部图像;从除所述待处理图像之外的其它广角场景图像中,获取对应所述待处理脸部图像的目标脸部图像,所述目标脸部图像符合所述预设条件,且与所述待处理脸部图像属于相同人物;将所述待处理脸部图像替换为所述目标脸部图像;
降噪处理模块,用于针对替换后的待处理图像中的每一像素,根据所述其它广角场景图像中同一像素的像素值,进行降噪处理或不进行降噪处理。
6.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1至4任一项所述的图像处理方法。
7.一种电子设备,包括中央处理器和存储器,所述存储器存储有计算机程序,其特征在于,所述中央处理器通过调用所述计算机程序,用于执行如权利要求1-4任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810276764.1A CN108513069B (zh) | 2018-03-30 | 2018-03-30 | 图像处理方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810276764.1A CN108513069B (zh) | 2018-03-30 | 2018-03-30 | 图像处理方法、装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108513069A CN108513069A (zh) | 2018-09-07 |
CN108513069B true CN108513069B (zh) | 2021-01-08 |
Family
ID=63379314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810276764.1A Active CN108513069B (zh) | 2018-03-30 | 2018-03-30 | 图像处理方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108513069B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110430359B (zh) * | 2019-07-31 | 2021-07-09 | 北京迈格威科技有限公司 | 拍摄辅助方法、装置、计算机设备和存储介质 |
CN112887613B (zh) * | 2021-01-27 | 2022-08-19 | 维沃移动通信有限公司 | 拍摄方法、装置、电子设备和存储介质 |
CN113014820A (zh) * | 2021-03-15 | 2021-06-22 | 联想(北京)有限公司 | 一种处理方法、装置及电子设备 |
CN113329172B (zh) * | 2021-05-11 | 2023-04-07 | 维沃移动通信(杭州)有限公司 | 拍摄方法、装置及电子设备 |
CN113347355A (zh) * | 2021-05-28 | 2021-09-03 | 维沃移动通信(杭州)有限公司 | 图像处理方法、装置及电子设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104243818A (zh) * | 2014-08-29 | 2014-12-24 | 小米科技有限责任公司 | 图像处理方法、装置及设备 |
CN105183734A (zh) * | 2014-06-16 | 2015-12-23 | 西安中兴新软件有限责任公司 | 一种图像文件共享方法和装置 |
CN105303161A (zh) * | 2015-09-21 | 2016-02-03 | 广东欧珀移动通信有限公司 | 一种多人拍照的方法及装置 |
CN106454287A (zh) * | 2016-10-27 | 2017-02-22 | 深圳奥比中光科技有限公司 | 组合摄像系统、移动终端及图像处理方法 |
CN106454130A (zh) * | 2016-11-29 | 2017-02-22 | 广东欧珀移动通信有限公司 | 控制方法、控制装置和电子装置 |
CN106454121A (zh) * | 2016-11-11 | 2017-02-22 | 努比亚技术有限公司 | 双摄像头拍照方法及装置 |
CN106993135A (zh) * | 2017-03-31 | 2017-07-28 | 维沃移动通信有限公司 | 一种拍照方法及移动终端 |
CN107690649A (zh) * | 2015-06-23 | 2018-02-13 | 三星电子株式会社 | 数字拍摄装置及其操作方法 |
CN107833197A (zh) * | 2017-10-31 | 2018-03-23 | 广东欧珀移动通信有限公司 | 图像处理的方法、装置、计算机可读存储介质和电子设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3008890A4 (en) * | 2013-06-13 | 2016-05-04 | Corephotonics Ltd | ZOOM OF A DIGITAL CAMERA WITH DUAL IRIS |
-
2018
- 2018-03-30 CN CN201810276764.1A patent/CN108513069B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105183734A (zh) * | 2014-06-16 | 2015-12-23 | 西安中兴新软件有限责任公司 | 一种图像文件共享方法和装置 |
CN104243818A (zh) * | 2014-08-29 | 2014-12-24 | 小米科技有限责任公司 | 图像处理方法、装置及设备 |
CN107690649A (zh) * | 2015-06-23 | 2018-02-13 | 三星电子株式会社 | 数字拍摄装置及其操作方法 |
CN105303161A (zh) * | 2015-09-21 | 2016-02-03 | 广东欧珀移动通信有限公司 | 一种多人拍照的方法及装置 |
CN106454287A (zh) * | 2016-10-27 | 2017-02-22 | 深圳奥比中光科技有限公司 | 组合摄像系统、移动终端及图像处理方法 |
CN106454121A (zh) * | 2016-11-11 | 2017-02-22 | 努比亚技术有限公司 | 双摄像头拍照方法及装置 |
CN106454130A (zh) * | 2016-11-29 | 2017-02-22 | 广东欧珀移动通信有限公司 | 控制方法、控制装置和电子装置 |
CN106993135A (zh) * | 2017-03-31 | 2017-07-28 | 维沃移动通信有限公司 | 一种拍照方法及移动终端 |
CN107833197A (zh) * | 2017-10-31 | 2018-03-23 | 广东欧珀移动通信有限公司 | 图像处理的方法、装置、计算机可读存储介质和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN108513069A (zh) | 2018-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108513069B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN108322646B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110505411B (zh) | 图像拍摄方法、装置、存储介质及电子设备 | |
CN116582741B (zh) | 一种拍摄方法及设备 | |
US10769416B2 (en) | Image processing method, electronic device and storage medium | |
US20210168279A1 (en) | Document image correction method and apparatus | |
CN115633262B (zh) | 图像处理方法和电子设备 | |
EP4376433A1 (en) | Camera switching method and electronic device | |
CN114096994A (zh) | 图像对齐方法及装置、电子设备、存储介质 | |
CN112668636A (zh) | 摄像头遮挡检测方法及系统、电子设备及存储介质 | |
CN108259767B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN114390212B (zh) | 拍照预览方法、电子设备以及存储介质 | |
CN108574803B (zh) | 图像的选取方法、装置、存储介质及电子设备 | |
CN113808066A (zh) | 图像选取方法、装置、存储介质及电子设备 | |
CN108495038B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN117201930B (zh) | 一种拍照方法和电子设备 | |
WO2022183876A1 (zh) | 拍摄方法、装置、计算机可读存储介质及电子设备 | |
CN117132515A (zh) | 一种图像处理方法及电子设备 | |
CN108769527B (zh) | 场景识别方法、装置及终端设备 | |
CN108259768B (zh) | 图像的选取方法、装置、存储介质及电子设备 | |
CN113676670B (zh) | 拍照方法、电子设备、芯片系统及存储介质 | |
CN112367470B (zh) | 图像处理方法、装置及电子设备 | |
CN117676331B (zh) | 自动对焦方法及电子设备 | |
EP4304188A1 (en) | Photographing method and apparatus, medium and chip | |
CN112887602B (zh) | 摄像头切换方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |