Nothing Special   »   [go: up one dir, main page]

CN113673474A - 图像处理方法、装置、电子设备及计算机可读存储介质 - Google Patents

图像处理方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113673474A
CN113673474A CN202111015385.5A CN202111015385A CN113673474A CN 113673474 A CN113673474 A CN 113673474A CN 202111015385 A CN202111015385 A CN 202111015385A CN 113673474 A CN113673474 A CN 113673474A
Authority
CN
China
Prior art keywords
image
face
region
portrait
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111015385.5A
Other languages
English (en)
Other versions
CN113673474B (zh
Inventor
李章宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202111015385.5A priority Critical patent/CN113673474B/zh
Publication of CN113673474A publication Critical patent/CN113673474A/zh
Application granted granted Critical
Publication of CN113673474B publication Critical patent/CN113673474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、电子设备及计算机可读存储介质。该方法,包括:对第一图像进行人脸识别,以得到所述第一图像中包含的每张人脸的人脸信息;根据所述第一图像的人像掩膜及所述人脸信息,生成权重掩膜,所述权重掩膜用于确定所述第一图像中所述每张人脸对应的人脸清晰区域,以及所述每张人脸对应的人像模糊过渡区域;获取所述第一图像对应的模糊图像及背景虚化图像;根据所述权重掩膜对所述模糊图像及所述背景虚化图像进行融合,得到第二图像。上述的图像处理方法、装置、电子设备及计算机可读存储介质,能够避免图像中的所有人像区域都清晰导致出现无突出重点的问题,提高图像的视觉显示效果。

Description

图像处理方法、装置、电子设备及计算机可读存储介质
技术领域
本申请涉及影像技术领域,具体涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。
背景技术
在影像技术领域中,为了突出图像中的人像,通常会对人像图像中的背景区域进行虚化,以达到拍摄的主体人物清晰的效果。目前的虚化技术,通常会使图像中的全部人像区域保持清晰,导致出现无突出重点的问题,图像的视觉效果表现较差。
发明内容
本申请实施例公开了一种图像处理方法、装置、电子设备及计算机可读存储介质,能够避免图像中的所有人像区域都清晰导致出现无突出重点的问题,提高图像的视觉显示效果。
本申请实施例公开了一种图像处理方法,包括:
对第一图像进行人脸识别,以得到所述第一图像中包含的每张人脸的人脸信息;
根据所述第一图像的人像掩膜及所述人脸信息,生成权重掩膜,所述权重掩膜用于确定所述第一图像中所述每张人脸对应的人脸清晰区域,以及所述每张人脸对应的人像模糊过渡区域;其中,所述人脸清晰区域指的是所述第一图像的人像区域中需要保持清晰的区域,所述人像模糊过渡区域指的是所述人像区域中从清晰到模糊之间的变化区域;
获取所述第一图像对应的模糊图像及背景虚化图像,所述模糊图像的模糊程度小于所述背景虚化图像中背景区域的模糊程度;
根据所述权重掩膜对所述模糊图像及所述背景虚化图像进行融合,得到第二图像。
本申请实施例公开了一种图像处理装置,包括:
人脸识别模块,用于对第一图像进行人脸识别,以得到所述第一图像中包含的每张人脸的人脸信息;
权重生成模块,用于根据所述第一图像的人像掩膜及所述人脸信息,生成权重掩膜,所述权重掩膜用于确定所述第一图像中所述每张人脸对应的人脸清晰区域,以及所述每张人脸对应的人像模糊过渡区域;其中,所述人脸清晰区域指的是所述第一图像的人像区域中需要保持清晰的区域,所述人像模糊过渡区域指的是所述人像区域中从清晰到模糊之间的变化区域;
图像获取模块,用于获取所述第一图像对应的模糊图像及背景虚化图像,所述模糊图像的模糊程度小于所述背景虚化图像中背景区域的模糊程度;
融合模块,用于根据所述权重掩膜对所述模糊图像及背景虚化图像进行融合,得到第二图像。
本申请实施例公开了一种电子设备,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现如上所述的方法。
本申请实施例公开了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的方法。
本申请实施例公开的图像处理方法、装置、电子设备及计算机可读存储介质,对第一图像进行人脸识别,以得到第一图像中包含的每张人脸的人脸信息,根据第一图像的人像掩膜及人脸信息,生成权重掩膜,再基于该权重掩膜对第一图像对应的模糊图像及背景虚化图像进行融合,得到第二图像,由于该权重掩膜中可用于确定第一图像中每张人脸对应的人脸清晰区域,以及每张人脸对应的人像模糊过渡区域,基于该权重掩膜将两种模糊程度不同的模糊图像及背景虚化图像进行融合得到的第二图像中可保持每张人脸清晰,且其他人像区域从清晰逐渐过渡到模糊,能够避免图像中的所有人像区域都清晰导致出现无突出重点的问题,且图像效果更加自然,提高了图像的视觉显示效果。
此外,在第一图像包含多张人脸的情况下,可保证得到的第二图像中每张人脸清晰,可避免出现仅对焦一人,而其它人脸被模糊的情况,提高了图像虚化效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理电路的框图;
图2为一个实施例中图像处理方法的流程图;
图3为一个实施例中生成权重掩膜的流程图;
图4A为一个实施例中人脸清晰区域的示意图;
图4B为一个实施例中权重掩膜的示意图;
图5为另一个实施例中图像处理方法的流程图;
图6为一个实施例中图像处理装置的框图;
图7为一个实施例中电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一图像称为第二图像,且类似地,可将第二图像称为第一图像。第一图像和第二图像两者都是图像,但其不是同一图像。
目前的人像图像的虚化技术,通常都是采用在识别出人像图像的背景区域后,对背景区域进行虚化的方式,人像图像的所有人像区域都保持清晰的效果,会导致出现无突出重点的问题。而有些技术解决方案中会基于高精度的深度图对人像图像进行虚化,但是该方式通常仅能保持一人清晰,其它不处于同一深度水平的人像也会被模糊,图像的虚化效果较差。
本申请实施例公开了一种图像处理方法、装置、电子设备及计算机可读存储介质,能够避免图像中的所有人像区域都清晰导致出现无突出重点的问题,提高图像的视觉显示效果,且可以避免出现仅对焦一人,而其它人脸被模糊的情况,提高了图像虚化效果。
本申请实施例提供一种电子设备,该电子设备可包括但不限于手机、智能可穿戴设备、平板电脑、PC(Personal Computer,个人计算机)、车载终端、数码相机等,本申请实施例对此不作限定。该电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的框图。为便于说明,图1仅示出与本申请实施例相关的图像处理技术的各个方面。
如图1所示,图像处理电路包括ISP处理器140和控制逻辑器150。成像设备110捕捉的图像数据首先由ISP处理器140处理,ISP处理器140对图像数据进行分析以捕捉可用于确定成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括一个或多个透镜112和图像传感器114。图像传感器114可包括色彩滤镜阵列(如Bayer滤镜),图像传感器114可获取每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器140处理的一组原始图像数据。姿态传感器120(如三轴陀螺仪、霍尔传感器、加速度计等)可基于姿态传感器120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器140。姿态传感器120接口可以采用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行摄像头接口或上述接口的组合。
需要说明的是,虽然图1中仅示出了一个成像设备110,但是在本申请实施例中,可包括至少两个成像设备110,每个成像设备110可分别对应一个图像传感器114,也可多个成像设备110对应一个图像传感器114,在此不作限定。每个成像设备110的工作过程可参照上述所描述的内容。
此外,图像传感器114也可将原始图像数据发送给姿态传感器120,姿态传感器120可基于姿态传感器120接口类型把原始图像数据提供给ISP处理器140,或者姿态传感器120将原始图像数据存储到图像存储器130中。
ISP处理器140按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器140还可从图像存储器130接收图像数据。例如,姿态传感器120接口将原始图像数据发送给图像存储器130,图像存储器130中的原始图像数据再提供给ISP处理器140以供处理。图像存储器130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器114接口或来自姿态传感器120接口或来自图像存储器130的原始图像数据时,ISP处理器140可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器130,以便在被显示之前进行另外的处理。ISP处理器140从图像存储器130接收处理数据,并对该处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器140处理后的图像数据可输出给显示器160,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器140的输出还可发送给图像存储器130,且显示器160可从图像存储器130读取图像数据。在一个实施例中,图像存储器130可被配置为实现一个或多个帧缓冲器。
ISP处理器140确定的统计数据可发送给控制逻辑器150。例如,统计数据可包括陀螺仪的振动频率、自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜112阴影校正等图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备110的控制参数及ISP处理器140的控制参数。例如,成像设备110的控制参数可包括姿态传感器120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、照相机防抖位移参数、透镜112控制参数(例如聚焦或变焦用焦距)或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜112阴影校正参数。
示例性地,结合图1的图像处理电路,对本申请实施例所提供的图像处理方法进行说明。ISP处理器140可从成像设备110或图像存储器130中获取第一图像,并对第一图像进行人脸识别,以得到第一图像中包含的每张人脸的人脸信息。ISP处理器140可根据第一图像的人像掩膜及人脸信息,生成权重掩膜,该权重掩膜可用于确定第一图像中每张人脸对应的人脸清晰区域,以及每张人脸对应的人像模糊过渡区域。ISP处理器140可获取第一图像对应的模糊图像及背景虚化图像,其中,模糊图像的模糊程度小于背景虚化图像中背景区域的模糊程度,再根据权重掩膜对模糊图像及背景虚化图像进行融合,得到第二图像。
可选地,ISP处理器140可将第二图像发送至图像存储器130中存储,也可将第二图像发送至显示器160进行显示。
需要说明的是,本申请实施例所提供的图像处理方法也可通过电子设备的其它处理器实现,如通过CPU(central processing unit,中央处理器)、GPU(graphicsprocessing unit,图形处理器)等处理器,该其它处理器可获取经ISP处理器140处理后的图像数据,也即获取第一图像,并实现本申请实施例所提供的图像处理方法。
如图2所示,在一个实施例中,提供一种图像处理方法,可应用于上述的电子设备,该方法可包括以下步骤:
步骤210,对第一图像进行人脸识别,以得到第一图像中包含的每张人脸的人脸信息。
第一图像可以是包含有人物的图像,第一图像可为需要进行图像处理的图像。该第一图像可为彩色图像,例如可以是RGB(Red Green Blue,红绿蓝)格式的图像或YUV(Y表示明亮度,U和V表示色度)格式的图像等。第一图像可以是预先存储在电子设备的存储器中的图像,也可以是电子设备通过摄像头实时采集到的图像。
电子设备可对第一图像进行人脸识别,得到第一图像中包含的每张人脸的人脸信息,该人脸信息可包括但不限于每张人脸的人脸区域、每个人脸区域的中心点坐标、每个人脸区域的半径等中的一种或多种。
在一些实施例中,对第一图像进行人脸识别的方式可包括但不限于基于人脸模板进行识别的方式、基于分类器进行人脸识别的方式及通过深度神经网络进行人脸识别等方式。
例如,电子设备可采用卷积神经网络对第一图像进行人脸识别,该卷积神经网络可以是根据人脸样本集合训练得到,人脸样本集合可包括多张标注有人脸区域的人脸图像。该卷积神经网络可提取第一图像中的人脸特征点,并根据人脸特征点确定第一图像中的每张人脸对应的人脸检测框,每张人脸对应的人脸检测框所在的图像区域即可作为人脸区域。
可选地,该人脸检测框的形状可包括但不限于正方形、矩形、圆形等。若人脸检测框为正方形、矩形等四边形,则对应人脸区域的半径可为人脸检测框的外接圆半径,若人脸检测框为圆形,则人脸区域的半径即为人脸检测框的半径。人脸区域的中心点坐标即为人脸检测框的中心像素点的坐标,若人脸检测框为正方形、矩形等四边形,该中心像素点的横坐标可为人脸检测框宽的一半,中心像素点的纵坐标可为人脸检测框高的一半。若人脸检测框为圆形,则人脸区域的中心点即为人脸检测框的圆心。
步骤220,根据第一图像的人像掩膜及人脸信息,生成权重掩膜。
在本申请实施例中,权重掩膜可用于确定第一图像中每张人脸对应的人脸清晰区域,以及每张人脸对应的人像模糊过渡区域,该人脸清晰区域指的是第一图像的人像区域中需要保持清晰的区域,人像模糊过渡区域指的是人像区域中从清晰到模糊之间的变化区域。
可获取第一图像的人像掩膜,人像掩膜可用于表征第一图像中的人像区域位置,能够对第一图像中属于人像区域的像素点进行标注。可选地,在人像掩膜中,可采用不同的像素值表示人像区域以及非人像区域(即背景区域),例如,像素值为255表示像素点属于人像区域,像素值为0表示像素点属于背景区域,或像素值为0表示表示像素点属于人像区域,像素值为255表示像素点属于背景区域等,但不限于此。
在一些实施例中,人像掩膜可预先存储在存储器,电子设备在获取第一图像后,可根据第一图像的图像标识从存储器中获取对应的人像掩膜,该图像标识可包括但不限于图像编号、图像采集时刻、图像名称等信息。人像掩膜也可以是电子设备在获取到第一图像后,对第一图像进行人像识别生成的。对第一图像进行人像识别的方式,可包括但不限于以下几种方式:
方式一、基于第一图像的深度图识别第一图像的人像区域,得到人像掩膜。可对第一图像进行深度估计,得到第一图像的深度图,该深度图可包括第一图像中的各个像素点对应的深度信息,该深度信息可用于表征被拍摄物体上的点与摄像头之间的距离,深度信息越大可表示距离越远。由于人像区域与背景区域之间的深度信息区别较大,因此,可根据深度图识别第一图像的人像区域,例如,可将第一图像中深度信息小于第一深度阈值的像素点组成的区域确定为人像区域,将深度信息大于第二深度阈值的像素点组成的区域确定为背景区域等,其中,第一深度阈值可小于或等于第二深度阈值。
电子设备对第一图像进行深度估计的方式可以是软件的深度估计方式,也可以是结合硬件设备计算深度信息的方式等。软件的深度估计方式可包括但不限于使用深度估计模型等神经网络进行深度估计的方式,该深度估计模型可通过深度训练集训练得到,深度训练集可包括多张样本图像及每张样本图像对应的深度图等。结合硬件设备的深度估计方式可包括但不限于利用多摄像头(例如双摄像头)进行深度估计、利用结构光进行深度估计、利用TOF(Time of flight,飞行时间)进行深度估计等。本申请实施例对深度估计的方式不作限定。
在一些实施例中,可将第一图像中每张人脸的人脸信息与深度图进行结合,可确定每个人脸区域在深度图中的深度信息,并计算深度图中各个像素点的深度信息与每个人脸区域的深度信息的深度差值,若像素点与任一人脸区域之间的深度差值小于差值阈值,则可确定该像素点属于该人脸区域对应的人像区域,可提高人像区域识别的准确性。
方式二、可对第一图像进行人像分割处理,得到人像掩膜。人像分割处理的方法可包括但不限于利用基于图论的人像分割方法、基于聚类的人像分割方法、基于语义的人像分割方法、基于实例的人像分割方法、基于deeplab系列的网络模型的人像分割方法、基于U型网络(U-Net)的分割方法或者基于全卷积网络(Fully Convolutional Network,FCN)的人像分割方法等方式。
以电子设备通过人像分割模型对第一图像进行人像分割处理,得到人像掩膜为例,该人像分割模型可以是U-Net结构的模型,该人像分割模型中可包括编码器及解码器,编码器中可包括多个下采样层,解码器可包括多个上采样层。人像分割模型可通过编码器的多个下采样层先对第一图像进行多次的下采样卷积处理,再通过解码器的多个上采样层进行多次的上采样处理,得到人像掩膜。人像分割模型中,相同分辨率之间的下采样层及上采样层之间可实现跳跃连接,将相同分辨率之间的下采样层与上采样层的特征进行融合,使得上采样过程更加准确。
可选地,人像分割模型可以是根据人像样本集合训练得到的,该人像样本集合可包括多张携带有人像标签的人像样本图像,该人像标签可用于标注人像样本图像中的人像区域,例如,该人像标签可包括样本人像掩膜等。
在一些实施例中,可根据每张人脸的人脸信息确定第一图像的人像掩膜中,每张人脸对应的人脸清晰区域,可选地,每张人脸的人脸清晰区域可以是人脸对应的人脸区域,也可以是人脸区域的外接圆区域,或者是在人脸区域内划定的一个区域。进一步地,人脸清晰区域的中心点可与人脸区域的中心点重合,以保证人脸清晰。
可基于每个人脸清晰区域确定每张人脸对应的人像区域中的人像模糊过渡区域,以生成权重掩膜该人像模糊过渡区域可以是人像区域中除人脸清晰区域以外的部分人像区域。作为一种实施方式,权重掩膜中属于人脸清晰区域的像素点可对于第一像素值,人像区域中不属于人脸清晰区域也不属于人像模糊过渡区域的像素点可对应第二像素值,属于模糊过渡区域的像素点的像素值可处于第一像素值与第二像素值之间,例如,第一像素值可为0,第二像素值可为255等,但不限于此。
步骤230,获取第一图像对应的模糊图像及背景虚化图像。
模糊图像为对第一图像进行模糊处理得到的图像,背景虚化图像为对第一图像的背景区域进行虚化处理得到的图像,可选地,模糊处理可包括但不限于均值模糊处理、中值模糊处理等,虚化处理可采用高斯滤波器、均值模糊处理、中值模糊处理等方式进行实现,在此不作限定。
模糊图像的模糊程度可小于背景虚化图像中背景区域的模糊程度,在一些实施例中,模糊图像可以是基于第一模糊半径对第一图像进行模糊处理得到的图像,背景虚化图像可以是基于第二模糊半径对第一图像的背景区域进行虚化处理得到的图像。其中,模糊半径可用于表征模糊程度,模糊半径越大,模糊效果越强,因此,第一模糊半径可小于第二模糊半径。
步骤240,根据权重掩膜对模糊图像及背景虚化图像进行融合,得到第二图像。
由于权重掩膜中标注了每张人脸对应的人脸清晰区域以及每张人脸对应的人像模糊过渡区域,利用权重掩膜对模糊图像及背景虚化图像进行融合得到第二图像中,人脸清晰区域及背景区域可对应背景虚化图像中的图像内容,人像区域中除人脸清晰区域及人像模糊过渡区域以外的其他人像区域,可对应模糊图像中的图像内容,第二图像中人像模糊过渡区域的图像内容可以是背景虚化图像与模糊图像二者之间的结合,实现人像区域从清晰到模糊的效果。背景虚化图像中的人像区域为清晰的图像内容,而模糊图像中整张图像均有模糊效果,可使得第二图像中的每张人脸保持清晰,其他人像区域保持较小程度的模糊,且从清晰到模糊之间具有过渡区域,使得整体的图像效果更加自然。
在本申请实施例中,由于该权重掩膜中标注了第一图像中每张人脸对应的人脸清晰区域,以及每张人脸对应的人像模糊过渡区域,基于该权重掩膜将两种模糊程度不同的模糊图像及背景虚化图像进行融合得到的第二图像中可保持每张人脸清晰,且其他人像区域从清晰逐渐过渡到模糊,能够避免图像中的所有人像区域都清晰导致出现无突出重点的问题,且图像效果更加自然,提高了图像的视觉显示效果。此外,在第一图像包含多张人脸的情况下,可保证得到的第二图像中每张人脸清晰,可避免出现仅对焦一人,而其它人脸被模糊的情况,提高了图像虚化效果。
如图3所示,在一个实施例中,步骤根据第一图像的人像掩膜及人脸信息,生成权重掩膜,可包括以下步骤:
步骤302,根据人脸信息确定每张人脸在第一图像的人像掩膜中对应的人脸清晰区域。
人脸信息可包括人脸区域、人脸区域的中心点坐标、人脸区域的外接圆半径等信息,作为一种实施方式,可以将人脸区域的外接圆形成的图像区域作为该人脸区域的人脸清晰区域。每张人脸在人像掩膜中对应的人脸清晰区域,为以每张人脸对应的人脸区域的中心点坐标为中心点,并以每张人脸对应的人脸区域的外接圆半径为区域半径的圆形区域。
以第一图像中的第一人脸为例,该第一人脸为第一图像中的任一人脸,第一人脸的人脸清晰区域可以是,以该第一人脸对应的人脸区域的中心点坐标为中心点,以该第一人脸对应的人脸区域的外接圆半径为区域半径的圆形区域,也即,第一人脸的人脸清晰区域可以是第一人脸的人脸区域的外接圆形区域。
示例性地,图4A为一个实施例中人脸清晰区域的示意图。如图4A所示,人像掩膜中的白色区域为人像区域,黑色区域为背景区域,人像掩膜中包含两个人脸,可分别基于每张人脸的人脸区域确定人脸清晰区域412及人脸清晰区域414。
步骤304,分别确定人像掩膜中人像区域的各个像素点与对应的目标人脸清晰区域的中心点之间的第一距离。
人像区域的各个像素点对应的目标人脸清晰区域可为人像区域的各个像素点距离最近的目标人脸清晰区域。在一些实施例中,可根据对第一图像进行人脸识别的识别结果确定第一图像中包含的人脸数量,若第一图像中仅包含一张人脸,则该人脸对应的人脸清晰区域即为人像掩膜中人像区域的所有像素点对应的目标人脸清晰区域,可确定确定人像掩膜中人像区域的各个像素点与该人脸对应的人脸清晰区域的中心点之间的距离为第一距离。
若第一图像中包含至少两张人脸,则可确定人像掩膜中人像区域的各个像素点距离最近的目标人脸清晰区域,并分别计算各个像素点与对应的目标人脸清晰区域的中心点之间的第一距离。可分别计算像素点与各个人脸清晰区域之间的距离,并从中选择距离最小的人脸清晰区域作为目标人脸清晰区域。
在一些实施例中,步骤确定人像掩膜中人像区域的各个像素点距离最近的目标人脸清晰区域,并分别计算该人像区域的各个像素点与对应的目标人脸清晰区域的中心点之间的第一距离,可包括:根据目标像素点与各个人脸清晰区域的中心点之间的第二距离,以及各个人脸清晰区域的区域半径,计算目标像素点到各个人脸清晰区域的第三距离;将第三距离最小的人像清晰区域确定为目标像素点对应的目标人脸清晰区域;根据目标像素点到目标人脸区域对应的第三距离,以及目标人脸区域的区域半径,确定目标像素点与目标人脸清晰区域的中心点之间的第一距离。
目标像素点可以是人像掩膜中人像区域的任一像素点,可获取各个人脸清晰区域的中心点坐标,利用两点间距离公式,可根据目标像素点的坐标与各个人脸清晰区域的中心点坐标,计算目标像素点到各个人脸清晰区域的中心点的第二距离。可将目标像素点到各个人脸清晰区域的中心点的第二距离减去对应人脸清晰区域的区域半径,得到目标像素点到各个人像清晰区域的第三距离。
具体地,目标像素点到各个人像清晰区域的第三距离的计算公式可如公式(1)所示:
d3_k(x,y)=d2_k(x,y)-rk 公式(1);
其中,d3_k(x,y)表示像素点(x,y)到第k个人像清晰区域的第三距离,d2_k(x,y)表示像素点(x,y)与第k个人像清晰区域的中心点之间的第二距离,rk表示第k个人像清晰区域的区域半径。k可为大于或等于2的正整数。
在得到目标像素点到各个人像清晰区域的第三距离后,可从中选择最小的第三距离,并将最小的第三距离所对应的人像清晰区域作为目标像素点对应的目标人像清晰区域。可将目标像素点到目标人像清晰区域的第三距离加上目标人脸区域的区域半径,得到目标像素点与目标人脸清晰区域的中心点之间的第一距离。
具体地,目标像素点与目标人脸清晰区域的中心点之间的第一距离的计算公式可如公式(2)所示:
d1(x,y)=MIN(d3_k(x,y))+rk′ 公式(2);
其中,MIN(d3_k(x,y))表示像素点(x,y)到各个人像清晰区域的第三距离中最小的第三距离,rk′表示该最小的第三距离对应的人像清晰区域(即目标人像清晰区域)的区域半径,d1(x,y)表示像素点(x,y)到目标人像清晰区域的中心点的第一距离。
可对人像掩膜中人像区域的所有像素点进行遍历,该人像区域的每个像素点均可按照上述实施例描述的方式计算得到与目标人像清晰区域的中心点之间的第一距离。以图4A为例,可确定图4A中白色区域(即人像区域)中的各个像素点对应的目标人脸清晰区域为人脸清晰区域412还是人脸清晰区域414,即确定白色区域中的各个像素点的归属,再计算白色区域中的各个像素点与对应的目标人脸清晰区域之间的第一距离。
步骤306,根据该各个像素点对应的目标人脸清晰区域的人像过渡范围,对该各个像素点的第一距离进行归一化处理,得到各个像素点对应的归一化值,并根据归一化值及人像掩膜生成权重掩膜。
人像过渡范围可以是预先设置的人像模糊过渡区域的区域范围,该人像模糊过渡区域的区域形状及大小可根据实际需求进行设置,本申请实施例对此不作限定。
针对大小不同的人脸清晰区域,可分别对应大小不同的人像过渡范围,人像过渡范围的大小可与对应的人脸清晰区域的区域半径相关。示例性地,人像过渡范围可以是在人脸清晰区域外且接近人脸清晰区域的圆环范围,该圆环范围的小圆半径即为人脸清晰区域的区域半径,大圆半径可以是2倍的人脸清晰区域的区域半径。也即,人像过渡范围可以是距离人脸清晰区域的中心点从区域半径到2倍区域半径所形成的范围。
针对人像掩膜中人像区域的各个像素点,可分别对该人像区域的各个像素点的第一距离进行归一化处理,得到各个像素点对应的归一化值,其中,归一化处理可指的是将数值映射到0~1区间内的值。
以该人像区域中的目标像素点为例,该目标像素点可以是该人像区域中的任一像素点,可根据目标像素点对应的目标人脸清晰区域的区域半径,确定目标人脸清晰区域对应的人像过渡范围。例如,人像过渡范围可为[rk′,2rk′],也即距离人脸清晰区域的中心点从区域半径到2倍区域半径所形成的范围。
可计算目标像素点到目标人脸清晰区域的中心点的第一距离,与目标人脸清晰区域的区域半径的差值,并确定差值与人像过渡范围之间的比值,再对该比值进行归一化处理,得到目标像素点的归一化值。
具体地,以人像过渡范围为[rk′,2rk′]为例,计算该比值的公式可如公式(3)所示:
Figure BDA0003240134170000141
其中,d1(x,y)表示像素点(x,y)到目标人像清晰区域的中心点的第一距离,rk′表示像素点(x,y)对应的目标人像清晰区域的区域半径,F(x,y)表示像素点(x,y)对应的比值。
可对目标像素点对应的比值进行归一化处理,作为一种实施方式,可判断该比值是否小于0或大于1,若该比值小于0,说明目标像素点属于人脸清晰区域,则可确定目标像素点的归一化值为0;若该比值大于1,说明目标像素点不在目标人像清晰区域对应的人像过渡范围内,不属于人像模糊过渡区域也不属于人脸清晰区域,则可确定目标像素点的归一化值为1。若该比值大于或等于0,且小于或等于1,说明目标像素点在目标人像清晰区域对应的人像过渡范围内,属于人像模糊过渡区域,则可将该比值作为目标像素点的归一化值。
在根据上述的方式计算得到人像掩膜中人像区域的各个像素点的归一化值后,可根据该人像区域的各个像素点的归一化值及该人像掩膜生成权重掩膜。在一些实施例中,可将该人像区域的各个像素点的像素值与该人像区域的各个像素点的归一化值相乘,得到该人像区域的各个像素点对应的权重值,以生成权重掩膜。
具体地,人像掩膜中人像区域的各个像素点对应的权重值的计算公式可如公式(4)所示:
W_Mask(x,y)=P_Marsk(x,y)·f(x,y) 公式(4);
其中,W_Mask(x,y)表示像素点(x,y)的权重值,P_Marsk(x,y)表示像素点(x,y)在人像掩膜中的像素值,f(x,y)表示像素点(x,y)对应的归一化值。
示例性地,图4B为一个实施例中权重掩膜的示意图。如图4B所示,与图4A的人像掩膜对应,权重掩膜包括两张人脸,其中,左侧人脸对应人脸清晰区域412及人像模糊过渡区域422(左侧人像区域中从黑到白渐变的区域),右侧人脸对应人脸清晰区域414及人像模糊过渡区域424(右侧人像区域中从黑到白渐变的区域),针对每张人脸都有对应的人脸清晰区域及人像模糊过渡区域。需要说明的是,图4B的是两个圆形及一条直线只是为了辅助说明权重掩膜中的区域,不表示真实的权重掩膜中携带有该图形。
在一些实施例中,在根据人像掩膜中人像区域的各个像素点对应的归一化值及人像掩膜生成权重掩膜之后,还可对该权重掩膜进行模糊处理,该模糊处理可包括中值模糊处理等,使得模糊处理后的权重掩膜更加平滑,再根据模糊处理后的权重掩膜对模糊图像及背景虚化图像进行融合,得到第二图像,可使得到的第二图像更加平滑、自然。
在本申请实施例中,根据第一图像的人像掩膜,以及第一图像中每张人脸的人脸信息,可准确生成相应的权重掩膜,通过权重掩膜对第一图像中每张人脸的人脸清晰区域及人像模糊过渡区域进行准确标注,可提高后续的融合得到的第二图像的视觉显示效果。
如图5所示,在另一个实施例中,提供一种图像处理方法,可包括以下步骤:
步骤502,对第一图像进行人脸识别,以得到第一图像中包含的每张人脸的人脸信息。
步骤504,根据第一图像的人像掩膜及人脸信息,生成权重掩膜。
步骤502~504的描述可参考上述各实施例中的相关描述,在此不再重复赘述。
在一些实施例中,还可根据第一图像的人像掩膜、第一图像的深度图及上述的人脸信息,生成权重掩膜,该深度图可包含第一图像中各个像素点对应的深度信息。作为一种实施方式,可根据深度图,获取人像掩膜中人像区域的各个像素点的深度信息,并将各个像素点的深度信息作为权重值,以生成权重掩膜。
作为另一种实施方式,可确定第一图像中人脸区域的深度信息,并根据人像掩膜中人像区域的各个像素点的深度信息与该人脸区域的深度信息之间的深度差,可根据该人像区域的各个像素点的深度差确定该人像区域的各个像素点的权重值。
可选地,也可对该深度差进行归一化处理,深度差小于第一阈值的像素点对应的归一化值可为0,深度差大于第二阈值的像素点对应的归一化值可为1,深度差在第一阈值与第二阈值之间的像素点对应的归一化值可为深度差与第二阈值减第一阈值的差值的比值。该第一阈值与第二阈值可根据实际需求进行设置,第二阈值大于第一阈值。
在一些实施例中,在第一图像中包含多张人脸的情况下,可能存在人像区域的深度信息不一致的情况,因此,可获取每个人脸区域的深度信息,并基于每个人脸区域的深度信息对人像掩膜中的人像区域进行非线性拉伸处理,使整个人像区域的深度信息接伸到同一水平,再根据人像区域中的各个像素点拉伸处理后的深度信息确定各个像素点的权重值。其中,人脸区域的深度信息可以是人脸区域包含的所有像素点的平均深度信息,也可以是人脸区域的中心点的深度信息。
通过第一图像的深度图、人像掩膜及人脸信息等生成权重掩膜,可使得后续融合得到的第二图像中与人脸距离越近的人像区域越清晰,与人脸距离越远的人像区域越模糊,实现相对真实的人像重对焦效果。
步骤506,基于第一模糊半径对第一图像进行模糊处理,得到模糊图像。
步骤508,基于第二模糊半径对第一图像的背景区域进行虚化处理,得到背景虚化图像。
步骤506~508的描述可参考上述各实施例中的相关描述,在此不再重复赘述。
在一些实施例中,可根据第一图像的深度图对第一图像的背景区域进行划分,将背景区域中深度信息相同或相近的像素点划分到同一区域中,得到多个背景子区域。可根据各个背景子区域的深度信息确定各个背景子区域的第二模糊半径,背景子区域的深度信息可与对应的第二模糊半径呈正相关关系,即背景子区域的深度信息越大,第二模半径可越大,实现越远越模糊的效果,提高背景虚化图像的图像效果。
需要说明的是,步骤506~508的步骤时序在本申请实施例中不作限定,如可以并行进行处理,也可以依次进行处理,可以生成权重掩膜之前或之后处理。
步骤510,将权重掩膜作为模糊图像的Alpha值,对模糊图像及背景虚化图像进行Alpha融合,得到第二图像。
在一些实施例中,模糊图像与背景虚化图像的融合方式可以是Alpha融合处理,Alpha融合处理可为模糊图像及背景虚化图像中的每个像素点分别赋予一个Alpha值,使得模糊图像与背景虚化图像具有不同的透明度。可将权重掩膜作为模糊图像的Alpha值,基于目标权重图,将模糊图像与背景虚化图像进行Alpha融合,得到第二图像。
具体地,对模糊图像及背景虚化图像进行Alpha融合处理,Alpha融合处理的公式可如式(5)所示:
I=αI1+(1-α)I2 公式(5);
其中,I1表示模糊图像,α表示权重掩膜,I2表示背景虚化图像,I表示融合得到的第二图像。进一步地,假设人像掩膜中人像区域的各个像素点的像素值为255,背景区域的像素点的像素值为0,则权重掩膜中的人像清晰区域的权重值为0,人像模糊过渡区域的权重值为在0~255区间内逐渐变化的值,除人像清晰区域及人像模糊过渡区域以外的其他人像区域的权重值为255,权重掩膜中背景区域的像素点的值可为0。因此,融合得到的第二图像中人脸清晰区域及背景区域对应背景虚化图像中的图像内容,除人像清晰区域及人像模糊过渡区域以外的其他人像区域对应模糊图像中的图像内容,人像模糊过渡区域为背景虚化图像与模糊图像的融合图像内容,且人像模糊过渡区域可呈现从清晰到模糊的过渡效果,使第二图像更加自然。
在本申请实施例中,可使得第二图像中每个人像主体的人脸保持清晰,除人脸以外的人像区域保持较小程度的模糊,实现人像重对焦,能够避免图像中的所有人像区域都清晰导致出现无突出重点的问题,且可避免出现仅对焦一人,而其它人脸被模糊的情况,提高了图像虚化效果。
如图6所示,在一个实施例中,提供一种图像处理装置600,可应用于上述的电子设备,该图像处理装置600可包括人脸识别模块610、权重生成模块620、图像获取模块630及融合模块640。
人脸识别模块610,用于对第一图像进行人脸识别,以得到第一图像中包含的每张人脸的人脸信息。
权重生成模块620,用于根据第一图像的人像掩膜及人脸信息,生成权重掩膜,该权重掩膜用于确定第一图像中每张人脸对应的人脸清晰区域,以及每张人脸对应的人像模糊过渡区域。
图像获取模块630,用于获取第一图像对应的模糊图像及背景虚化图像,模糊图像的模糊程度小于背景虚化图像中背景区域的模糊程度。
融合模块640,用于根据权重掩膜对模糊图像及背景虚化图像进行融合,得到第二图像。
在本申请实施例中,由于该权重掩膜中标注了第一图像中每张人脸对应的人脸清晰区域,以及每张人脸对应的人像模糊过渡区域,基于该权重掩膜将两种模糊程度不同的模糊图像及背景虚化图像进行融合得到的第二图像中可保持每张人脸清晰,且其他人像区域从清晰逐渐过渡到模糊,能够避免图像中的所有人像区域都清晰导致出现无突出重点的问题,且图像效果更加自然,提高了图像的视觉显示效果。此外,在第一图像包含多张人脸的情况下,可保证得到的第二图像中每张人脸清晰,可避免出现仅对焦一人,而其它人脸被模糊的情况,提高了图像虚化效果。
在一个实施例中,权重生成模块620,包括清晰区域确定单元、距离确定单元及归一化单元。
清晰区域确定单元,用于根据人脸信息确定第一图像的人像掩膜中每张人脸对应的人脸清晰区域。
在一个实施例中,人脸信息包括人脸区域的中心点坐标、人脸区域的外接圆半径;每张人脸在人像掩膜中对应的人脸清晰区域,为以每张人脸对应的人脸区域的中心点坐标为中心点,并以每张人脸对应的人脸区域的外接圆半径为区域半径的圆形区域。
距离确定单元,用于分别确定人像掩膜中人像区域的各个像素点与对应的目标人脸清晰区域的中心点之间的第一距离,其中,人像区域的各个像素点对应的目标人脸清晰区域为该各个像素点距离最近的目标人脸清晰区域。
在一个实施例中,距离确定单元,还用于若第一图像仅包含一张人脸,则确定人像掩膜中人像区域的各个像素点与人脸对应的人脸清晰区域的中心点之间的距离为第一距离;以及用于若第一图像包含至少两张人脸,则确定人像掩膜中人像区域的各个像素点距离最近的目标人脸清晰区域,并分别计算该人像区域的各个像素点与对应的目标人脸清晰区域的中心点之间的第一距离。
在一个实施例中,距离确定单元,还用于根据目标像素点与各个人脸清晰区域的中心点之间的第二距离,以及各个人脸清晰区域的区域半径,计算目标像素点到各个人脸清晰区域的第三距离,其中,目标像素点为人像掩膜中人像区域的任一像素点;将第三距离最小的人像清晰区域确定为目标像素点对应的目标人脸清晰区域;以及用于根据目标像素点到目标人脸区域对应的第三距离,以及目标人脸区域的区域半径,确定目标像素点与目标人脸清晰区域的中心点之间的第一距离。
归一化单元,用于根据人像掩膜中人像区域的各个像素点对应的目标人脸清晰区域的人像过渡范围,对该人像区域的各个像素点的第一距离进行归一化处理,得到该人像区域的各个像素点对应的归一化值,并根据归一化值及人像掩膜生成权重掩膜。
在一个实施例中,归一化单元,还用于根据目标像素点对应的目标人脸清晰区域的区域半径,确定目标人脸清晰区域对应的人像过渡范围,目标像素点为人像掩膜中人像区域的任一像素点;计算目标像素点的第一距离与区域半径的差值,并确定该差值与人像过渡范围之间的比值;以及对该比值进行归一化处理,得到目标像素点的归一化值。
在一个实施例中,归一化单元,还用于若比值小于0,则确定目标像素点的归一化值为0;若比值大于1,则确定目标像素点的归一化值为1;若比值大于或等于0,且小于或等于1,则将比值作为目标像素点的归一化值。
在一个实施例中,归一化单元,还用于将人像掩膜中人像区域的各个像素点的像素值与该人像区域的各个像素点的归一化值相乘,得到该人像区域的各个像素点对应的权重值,以生成权重掩膜。
在一个实施例中,权重生成模块620,除了包括清晰区域确定单元、距离确定单元及归一化单元,还包括模糊单元。
模糊单元,用于对权重掩膜进行模糊处理。
融合模块640,还用于根据模糊处理后的权重掩膜对模糊图像及背景虚化图像进行融合,得到第二图像。
在本申请实施例中,根据第一图像的人像掩膜,以及第一图像中每张人脸的人脸信息,可准确生成相应的权重掩膜,通过权重掩膜对第一图像中每张人脸的人脸清晰区域及人像模糊过渡区域进行准确标注,可提高后续的融合得到的第二图像的视觉显示效果。
在一个实施例中,权重生成模块620,还用于根据第一图像的人像掩膜、第一图像的深度图及人脸信息,生成权重掩膜,深度图包含第一图像中各个像素点对应的深度信息。
在一个实施例中,图像获取模块630,还用于基于第一模糊半径对第一图像进行模糊处理,得到模糊图像;基于第二模糊半径对第一图像的背景区域进行虚化处理,得到背景虚化图像,第一模糊半径小于第二模糊半径。
在一个实施例中,融合模块640,还用于将权重掩膜作为模糊图像的Alpha值,对模糊图像及背景虚化图像进行Alpha融合,得到第二图像。
在本申请实施例中,可使得第二图像中每个人像主体的人脸保持清晰,除人脸以外的人像区域保持较小程度的模糊,实现人像重对焦,能够避免图像中的所有人像区域都清晰导致出现无突出重点的问题,且可避免出现仅对焦一人,而其它人脸被模糊的情况,提高了图像虚化效果。
图7为一个实施例中电子设备的结构框图。如图7所示,电子设备700可以包括一个或多个如下部件:处理器710、与处理器710耦合的存储器720,其中存储器720可存储有一个或多个计算机程序,一个或多个计算机程序可以被配置为由一个或多个处理器710执行时实现如上述各实施例描述的方法。
处理器710可以包括一个或者多个处理核。处理器710利用各种接口和线路连接整个电子设备700内的各个部分,通过运行或执行存储在存储器720内的指令、程序、代码集或指令集,以及调用存储在存储器720内的数据,执行电子设备700的各种功能和处理数据。可选地,处理器710可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器710可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器710中,单独通过一块通信芯片进行实现。
存储器720可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory,ROM)。存储器720可用于存储指令、程序、代码、代码集或指令集。存储器720可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储电子设备700在使用中所创建的数据等。
可以理解地,电子设备700可包括比上述结构框图中更多或更少的结构元件,例如,包括电源模块、物理按键、WiFi(Wireless Fidelity,无线保真)模块、扬声器、蓝牙模块、传感器等,还可在此不进行限定。
本申请实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序被处理器执行时实现如上述实施例描述的方法。
本申请实施例公开一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可被处理器执行时实现如上述各实施例描述的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、ROM等。
如此处所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括ROM、可编程ROM(Programmable ROM,PROM)、可擦除PROM(Erasable PROM,EPROM)、电可擦除PROM(Electrically ErasablePROM,EEPROM)或闪存。易失性存储器可包括随机存取存储器(random access memory,RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM可为多种形式,诸如静态RAM(Static RAM,SRAM)、动态RAM(Dynamic Random Access Memory,DRAM)、同步DRAM(synchronous DRAM,SDRAM)、双倍数据率SDRAM(Double Data Rate SDRAM,DDR SDRAM)、增强型SDRAM(Enhanced Synchronous DRAM,ESDRAM)、同步链路DRAM(Synchlink DRAM,SLDRAM)、存储器总线直接RAM(Rambus DRAM,RDRAM)及直接存储器总线动态RAM(DirectRambus DRAM,DRDRAM)。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在本申请的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可位于一个地方,或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上对本申请实施例公开的一种图像处理方法、装置、电子设备及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (15)

1.一种图像处理方法,其特征在于,包括:
对第一图像进行人脸识别,以得到所述第一图像中包含的每张人脸的人脸信息;
根据所述第一图像的人像掩膜及所述人脸信息,生成权重掩膜,所述权重掩膜用于确定所述第一图像中所述每张人脸对应的人脸清晰区域,以及所述每张人脸对应的人像模糊过渡区域;其中,所述人脸清晰区域指的是所述第一图像的人像区域中需要保持清晰的区域,所述人像模糊过渡区域指的是所述人像区域中从清晰到模糊之间的变化区域;
获取所述第一图像对应的模糊图像及背景虚化图像,所述模糊图像的模糊程度小于所述背景虚化图像中背景区域的模糊程度;
根据所述权重掩膜对所述模糊图像及所述背景虚化图像进行融合,得到第二图像。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一图像的人像掩膜及所述人脸信息,生成权重掩膜,包括:
根据所述人脸信息确定所述每张人脸在所述第一图像的人像掩膜中对应的人脸清晰区域;
分别确定所述人像掩膜中人像区域的各个像素点与对应的目标人脸清晰区域的中心点之间的第一距离,其中,所述各个像素点对应的目标人脸清晰区域为所述各个像素点距离最近的人脸清晰区域;
根据所述各个像素点对应的目标人脸清晰区域的人像过渡范围,对所述各个像素点的第一距离进行归一化处理,得到所述各个像素点对应的归一化值,并根据所述归一化值及所述人像掩膜生成权重掩膜。
3.根据权利要求2所述的方法,其特征在于,所述分别确定所述人像掩膜中人像区域的各个像素点与对应的目标人脸清晰区域的中心点之间的第一距离,包括:
若所述第一图像仅包含一张人脸,则确定所述人像掩膜中人像区域的各个像素点与所述人脸对应的人脸清晰区域的中心点之间的距离为第一距离;
若所述第一图像包含至少两张人脸,则确定所述各个像素点距离最近的目标人脸清晰区域,并分别计算所述各个像素点与对应的目标人脸清晰区域的中心点之间的第一距离。
4.根据权利要求3所述的方法,其特征在于,所述确定所述各个像素点距离最近的目标人脸清晰区域,并分别计算所述各个像素点与对应的目标人脸清晰区域的中心点之间的第一距离,包括:
根据目标像素点与各个人脸清晰区域的中心点之间的第二距离,以及所述各个人脸清晰区域的区域半径,计算所述目标像素点到各个人脸清晰区域的第三距离,其中,所述目标像素点为所述人像掩膜中人像区域的任一像素点;
将第三距离最小的人像清晰区域确定为所述目标像素点对应的目标人脸清晰区域;
根据所述目标像素点到所述目标人脸区域对应的第三距离,以及所述目标人脸区域的区域半径,确定所述目标像素点与所述目标人脸清晰区域的中心点之间的第一距离。
5.根据权利要求2~4任一所述的方法,其特征在于,所述人脸信息包括人脸区域的中心点坐标、所述人脸区域的外接圆半径;每张人脸在所述人像掩膜中对应的人脸清晰区域,为以所述每张人脸对应的人脸区域的中心点坐标为中心点,并以所述每张人脸对应的人脸区域的外接圆半径为区域半径的圆形区域。
6.根据权利要求2所述的方法,其特征在于,根据所述各个像素点对应的目标人脸清晰区域的人像过渡范围,对所述各个像素点的第一距离进行归一化处理,得到所述各个像素点对应的归一化值,包括:
根据目标像素点对应的目标人脸清晰区域的区域半径,确定所述目标人脸清晰区域对应的人像过渡范围,所述目标像素点为所述人像掩膜中人像区域的任一像素点;
计算所述目标像素点的第一距离与所述区域半径的差值,并确定所述差值与所述人像过渡范围之间的比值;
对所述比值进行归一化处理,得到所述目标像素点的归一化值。
7.根据权利要求6所述的方法,其特征在于,所述对所述比值进行归一化处理,得到所述目标像素点的归一化值,包括:
若所述比值小于0,则确定所述目标像素点的归一化值为0;
若所述比值大于1,则确定所述目标像素点的归一化值为1;
若所述比值大于或等于0,且小于或等于1,则将所述比值作为所述目标像素点的归一化值。
8.根据权利要求6或7所述的方法,其特征在于,所述根据所述归一化值及所述人像掩膜生成权重掩膜,包括:
将所述人像掩膜中所述人像区域的各个像素点的像素值与所述各个像素点的归一化值相乘,得到所述各个像素点对应的权重值,以生成权重掩膜。
9.根据权利要求2~4任一所述的方法,其特征在于,在所述根据所述归一化值及所述人像掩膜生成权重掩膜之后,所述方法还包括:
对所述权重掩膜进行模糊处理;
所述根据所述权重掩膜对所述模糊图像及背景虚化图像进行融合,得到第二图像,包括:
根据模糊处理后的权重掩膜对所述模糊图像及背景虚化图像进行融合,得到第二图像。
10.根据权利要求1所述的方法,其特征在于,所述根据所述第一图像的人像掩膜及所述人脸信息,生成权重掩膜,包括:
根据所述第一图像的人像掩膜、所述第一图像的深度图及所述人脸信息,生成权重掩膜,所述深度图包含所述第一图像中各个像素点对应的深度信息。
11.根据权利要求1~4任一所述的方法,其特征在于,所述获取所述第一图像对应的模糊图像及背景虚化图像,包括:
基于第一模糊半径对所述第一图像进行模糊处理,得到模糊图像;
基于第二模糊半径对所述第一图像的背景区域进行虚化处理,得到背景虚化图像,所述第一模糊半径小于所述第二模糊半径。
12.根据权利要求1~4任一所述的方法,其特征在于,所述根据所述权重掩膜对所述模糊图像及背景虚化图像进行融合,得到第二图像,包括:
将所述权重掩膜作为所述模糊图像的Alpha值,对所述模糊图像及背景虚化图像进行Alpha融合,得到第二图像。
13.一种图像处理装置,其特征在于,包括:
人脸识别模块,用于对第一图像进行人脸识别,以得到所述第一图像中包含的每张人脸的人脸信息;
权重生成模块,用于根据所述第一图像的人像掩膜及所述人脸信息,生成权重掩膜,所述权重掩膜用于确定所述第一图像中所述每张人脸对应的人脸清晰区域,以及所述每张人脸对应的人像模糊过渡区域;其中,所述人脸清晰区域指的是所述第一图像的人像区域中需要保持清晰的区域,所述人像模糊过渡区域指的是所述人像区域中从清晰到模糊之间的变化区域;
图像获取模块,用于获取所述第一图像对应的模糊图像及背景虚化图像,所述模糊图像的模糊程度小于所述背景虚化图像中背景区域的模糊程度;
融合模块,用于根据所述权重掩膜对所述模糊图像及背景虚化图像进行融合,得到第二图像。
14.一种电子设备,其特征在于,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现如权利要求1至12任一所述的方法。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至12任一所述的方法。
CN202111015385.5A 2021-08-31 2021-08-31 图像处理方法、装置、电子设备及计算机可读存储介质 Active CN113673474B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111015385.5A CN113673474B (zh) 2021-08-31 2021-08-31 图像处理方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111015385.5A CN113673474B (zh) 2021-08-31 2021-08-31 图像处理方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113673474A true CN113673474A (zh) 2021-11-19
CN113673474B CN113673474B (zh) 2024-01-12

Family

ID=78547791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111015385.5A Active CN113673474B (zh) 2021-08-31 2021-08-31 图像处理方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113673474B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115223022A (zh) * 2022-09-15 2022-10-21 平安银行股份有限公司 一种图像处理方法、装置、存储介质及设备
CN115526809A (zh) * 2022-11-04 2022-12-27 山东捷瑞数字科技股份有限公司 一种图像处理方法、装置及电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704798A (zh) * 2017-08-09 2018-02-16 广东欧珀移动通信有限公司 图像虚化方法、装置、计算机可读存储介质和计算机设备
CN108234882A (zh) * 2018-02-11 2018-06-29 维沃移动通信有限公司 一种图像虚化方法及移动终端
WO2019105214A1 (zh) * 2017-11-30 2019-06-06 Oppo广东移动通信有限公司 图像虚化方法、装置、移动终端和存储介质
CN111402111A (zh) * 2020-02-17 2020-07-10 深圳市商汤科技有限公司 图像虚化方法、装置、终端及计算机可读存储介质
CN112561822A (zh) * 2020-12-17 2021-03-26 苏州科达科技股份有限公司 美颜方法、装置、电子设备及存储介质
CN112884637A (zh) * 2021-01-29 2021-06-01 北京市商汤科技开发有限公司 特效生成方法、装置、设备及存储介质
CN112991208A (zh) * 2021-03-11 2021-06-18 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质和电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704798A (zh) * 2017-08-09 2018-02-16 广东欧珀移动通信有限公司 图像虚化方法、装置、计算机可读存储介质和计算机设备
WO2019105214A1 (zh) * 2017-11-30 2019-06-06 Oppo广东移动通信有限公司 图像虚化方法、装置、移动终端和存储介质
CN108234882A (zh) * 2018-02-11 2018-06-29 维沃移动通信有限公司 一种图像虚化方法及移动终端
CN111402111A (zh) * 2020-02-17 2020-07-10 深圳市商汤科技有限公司 图像虚化方法、装置、终端及计算机可读存储介质
CN112561822A (zh) * 2020-12-17 2021-03-26 苏州科达科技股份有限公司 美颜方法、装置、电子设备及存储介质
CN112884637A (zh) * 2021-01-29 2021-06-01 北京市商汤科技开发有限公司 特效生成方法、装置、设备及存储介质
CN112991208A (zh) * 2021-03-11 2021-06-18 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王长城等: "无监督深度学习模型的多聚焦图像融合算法", 《计算机工程与应用》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115223022A (zh) * 2022-09-15 2022-10-21 平安银行股份有限公司 一种图像处理方法、装置、存储介质及设备
CN115223022B (zh) * 2022-09-15 2022-12-09 平安银行股份有限公司 一种图像处理方法、装置、存储介质及设备
CN115526809A (zh) * 2022-11-04 2022-12-27 山东捷瑞数字科技股份有限公司 一种图像处理方法、装置及电子设备和存储介质
CN115526809B (zh) * 2022-11-04 2023-03-10 山东捷瑞数字科技股份有限公司 一种图像处理方法、装置及电子设备和存储介质

Also Published As

Publication number Publication date
CN113673474B (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
CN111402135B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN111741211B (zh) 图像显示方法和设备
CN110248096B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN113313661B (zh) 图像融合方法、装置、电子设备及计算机可读存储介质
CN113888437A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN113766125B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
WO2021022983A1 (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110493527B (zh) 主体对焦方法、装置、电子设备和存储介质
CN110149482A (zh) 对焦方法、装置、电子设备和计算机可读存储介质
CN113658197B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110191287B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
WO2022261828A1 (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN113313626A (zh) 图像处理方法、装置、电子设备及存储介质
KR20160140453A (ko) 4d 원시 광 필드 데이터로부터 리포커싱된 이미지를 획득하기 위한 방법
CN112017137B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN113610865B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN113674303B (zh) 图像处理方法、装置、电子设备及存储介质
CN110881103B (zh) 对焦控制方法和装置、电子设备、计算机可读存储介质
CN113673474B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110276831A (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
CN110956679A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN113610884B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110365897B (zh) 图像修正方法和装置、电子设备、计算机可读存储介质
CN110689007B (zh) 主体识别方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant