CN112581481A - 图像处理方法和装置、电子设备、计算机可读存储介质 - Google Patents
图像处理方法和装置、电子设备、计算机可读存储介质 Download PDFInfo
- Publication number
- CN112581481A CN112581481A CN202011629334.7A CN202011629334A CN112581481A CN 112581481 A CN112581481 A CN 112581481A CN 202011629334 A CN202011629334 A CN 202011629334A CN 112581481 A CN112581481 A CN 112581481A
- Authority
- CN
- China
- Prior art keywords
- image
- hair
- portrait
- predicted
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 210000004209 hair Anatomy 0.000 claims abstract description 586
- 238000012545 processing Methods 0.000 claims abstract description 138
- 238000012216 screening Methods 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims description 65
- 238000004590 computer program Methods 0.000 claims description 15
- 238000003709 image segmentation Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 18
- 230000000694 effects Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 8
- 238000005070 sampling Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000003705 background correction Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。所述方法包括:获取待处理图像中的人像图像和候选头发图像;对所述人像图像和所述候选头发图像分别进行二值化处理,得到对应的第一人像掩膜图和第一头发掩膜图;根据所述第一人像掩膜图和所述第一头发掩膜图,确定所述第一头发掩膜图中的待滤除头发区域;基于所述待滤除头发区域,从所述候选头发图像中筛选出人像主体的目标头发图像。采用本方法能够识别出图像中的路人的头发区域,从而准确筛选出人像主体的头发区域。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像处理方法和装置、电子设备、计算机可读存储介质。
背景技术
人像虚化通常先进行人像分割,将图像中的人像与背景分离出来,并将分离出的人像用于后续的虚化处理,达到单反拍照的效果。为了提高虚化的效果,还会进一步将人像的头发进行识别、分割。而传统的方式对图像中人像的头发区域识别不准确,导致后续的人像虚化效果差。
发明内容
本申请实施例提供一种图像处理方法、装置、电子设备、计算机可读存储介质,可以准确识别人像的头发区域。
一种图像处理方法,包括:
获取待处理图像中的人像图像和候选头发图像;
对所述人像图像和所述候选头发图像分别进行二值化处理,得到对应的第一人像掩膜图和第一头发掩膜图;
根据所述第一人像掩膜图和所述第一头发掩膜图,确定所述第一头发掩膜图中的待滤除头发区域;
基于所述待滤除头发区域,从所述候选头发图像中筛选出人像主体的目标头发图像。
一种图像处理装置,包括:
图像获取模块,用于获取待处理图像中的人像图像和候选头发图像;
二值化模块,用于对所述人像图像和所述候选头发图像分别进行二值化处理,得到对应的第一人像掩膜图和第一头发掩膜图;
第一确定模块,用于根据所述第一人像掩膜图和所述第一头发掩膜图,确定所述第一头发掩膜图中的待滤除头发区域;
第一筛选模块,用于基于所述待滤除头发区域,从所述候选头发图像中筛选出人像主体的目标头发图像。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待处理图像中的人像图像和候选头发图像;
对所述人像图像和所述候选头发图像分别进行二值化处理,得到对应的第一人像掩膜图和第一头发掩膜图;
根据所述第一人像掩膜图和所述第一头发掩膜图,确定所述第一头发掩膜图中的待滤除头发区域;
基于所述待滤除头发区域,从所述候选头发图像中筛选出人像主体的目标头发图像。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待处理图像中的人像图像和候选头发图像;
对所述人像图像和所述候选头发图像分别进行二值化处理,得到对应的第一人像掩膜图和第一头发掩膜图;
根据所述第一人像掩膜图和所述第一头发掩膜图,确定所述第一头发掩膜图中的待滤除头发区域;
基于所述待滤除头发区域,从所述候选头发图像中筛选出人像主体的目标头发图像。
上述图像处理方法、装置、电子设备和计算机可读存储介质,获取待处理图像中的人像图像和候选头发图像,对人像图像和候选头发图像分别进行二值化处理,以得到对应的第一人像掩膜图和第一头发掩膜图。根据第一人像掩膜图和第一头发掩膜图,能够识别出第一头发掩膜图中路人的头发区域,即待滤除头发区域。基于待滤除头发区域,从候选头发图像中筛选出目标头发图像,能够去除图像中的路人的头发区域,得到人像主体的目标头发,从而准确识别出人像主体的头发。同时,能够提高对多人场景的头发识别和分割的精度。
一种图像识别模型的训练方法,所述方法包括:
获取样本图像和所述样本图像对应的标签;
通过待训练的图像识别模型对所述样本图像进行图像分割处理,得到预测人像图像和第一预测头发图像;
对所述预测人像图像和所述第一预测头发图像分别进行二值化处理,得到对应的预测人像掩膜图和预测头发掩膜图;
根据所述预测人像掩膜图和所述预测头发掩膜图,确定所述预测头发掩膜图中的预测滤除头发区域;
基于所述预测滤除头发区域,从所述第一预测头发图像中筛选出人像主体的第二预测头发图像;
基于所述第二预测头发图像和所述标签之间的差异,对所述图像识别模型进行训练,当满足训练停止条件时得到已训练的图像识别模型。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取样本图像和所述样本图像对应的标签;
通过待训练的图像识别模型对所述样本图像进行图像分割处理,得到预测人像图像和第一预测头发图像;
对所述预测人像图像和所述第一预测头发图像分别进行二值化处理,得到对应的预测人像掩膜图和预测头发掩膜图;
根据所述预测人像掩膜图和所述预测头发掩膜图,确定所述预测头发掩膜图中的预测滤除头发区域;
基于所述预测滤除头发区域,从所述第一预测头发图像中筛选出人像主体的第二预测头发图像;
基于所述第二预测头发图像和所述标签之间的差异,对所述图像识别模型进行训练,当满足训练停止条件时得到已训练的图像识别模型。
一种图像识别模型的训练装置,包括:
样本获取模块,用于获取样本图像和所述样本图像对应的标签;
分割模块,用于通过待训练的图像识别模型对所述样本图像进行图像分割处理,得到预测人像图像和第一预测头发图像;
处理模块,用于对所述预测人像图像和所述第一预测头发图像分别进行二值化处理,得到对应的预测人像掩膜图和预测头发掩膜图;
第二确定模块,用于根据所述预测人像掩膜图和所述预测头发掩膜图,确定所述预测头发掩膜图中的预测滤除头发区域;
第二筛选模块,用于基于所述预测滤除头发区域,从所述第一预测头发图像中筛选出人像主体的第二预测头发图像;
训练模块,用于基于所述第二预测头发图像和所述标签之间的差异,对所述图像识别模型进行训练,当满足训练停止条件时得到已训练的图像识别模型。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取样本图像和所述样本图像对应的标签;
通过待训练的图像识别模型对所述样本图像进行图像分割处理,得到预测人像图像和第一预测头发图像;
对所述预测人像图像和所述第一预测头发图像分别进行二值化处理,得到对应的预测人像掩膜图和预测头发掩膜图;
根据所述预测人像掩膜图和所述预测头发掩膜图,确定所述预测头发掩膜图中的预测滤除头发区域;
基于所述预测滤除头发区域,从所述第一预测头发图像中筛选出人像主体的第二预测头发图像;
基于所述第二预测头发图像和所述标签之间的差异,对所述图像识别模型进行训练,当满足训练停止条件时得到已训练的图像识别模型。
上述图像识别模型的训练方法、装置、电子设备和计算机可读存储介质,通过样本图像和对应的标签对待训练的图像识别模型进行训练,通过图像识别模型预测处理样本图像中人像主体的头发图像,即第二预测头发图像,并基于预测得到的头发图像和标签之间的差异调整图像识别模型的参数并继续训练,在满足训练停止条件的情况下获得训练好的图像识别模型,提高图像识别模型的精度和准确性。训练好的图像识别模型能够从多人场景中准确识别出人像主体的头发和路人的头发,从而准确分割出人像主体的头发。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中电子设备的内部结构框图;
图2为一个实施例中图像处理方法的流程图;
图3为一个实施例中根据第一人像掩膜图和第一头发掩膜图,确定第一头发掩膜图中的待滤除头发区域的流程图;
图4为一个实施例中图像识别模型的训练方法的流程图;
图5为另一个实施例中图像处理方法的流程图;
图6为一个实施例中图像识别模型的结构示意图;
图7为一个实施例中第二人像掩膜图的示意图;
图8为一个实施例中第二头发掩膜图的示意图;
图9为一个实施例中图像处理装置的结构框图;
图10为一个实施例中图像识别模型的训练装置的结构框图;
图11为一个实施例中电子设备的内部结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种图像,但这些图像不受这些术语限制。这些术语仅用于将第一个图像与另一个图像区分。举例来说,在不脱离本申请的范围的情况下,可以将第一头发掩膜图称为第二头发掩膜图,且类似地,可将第二头发掩膜图称为第一头发掩膜图。第一头发掩膜图和第二头发掩膜图两者都是客头发掩膜图,但其不是同一头发掩膜图。
本申请实施例提供一种电子设备。上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的示意图。如图1所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
如图1所示,图像处理电路包括ISP处理器140和控制逻辑器150。成像设备110捕捉的图像数据首先由ISP处理器140处理,ISP处理器140对图像数据进行分析以捕捉可用于确定和/或成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括具有一个或多个透镜112和图像传感器114的照相机。图像传感器114可包括色彩滤镜阵列(如Bayer滤镜),图像传感器114可获取用图像传感器114的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器140处理的一组原始图像数据。姿态传感器120(如三轴陀螺仪、霍尔传感器、加速度计)可基于姿态传感器120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器140。姿态传感器120接口可以利用SMIA(Standard MobileImagingArchitecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外,图像传感器114也可将原始图像数据发送给姿态传感器120,传感器120可基于姿态传感器120接口类型把原始图像数据提供给ISP处理器140,或者姿态传感器120将原始图像数据存储到图像存储器130中。
ISP处理器140按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器140还可从图像存储器130接收图像数据。例如,姿态传感器120接口将原始图像数据发送给图像存储器130,图像存储器130中的原始图像数据再提供给ISP处理器140以供处理。图像存储器130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器114接口或来自姿态传感器120接口或来自图像存储器130的原始图像数据时,ISP处理器140可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器130,以便在被显示之前进行另外的处理。ISP处理器140从图像存储器130接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器140处理后的图像数据可输出给显示器160,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器140的输出还可发送给图像存储器130,且显示器160可从图像存储器130读取图像数据。在一个实施例中,图像存储器130可被配置为实现一个或多个帧缓冲器。
ISP处理器140确定的统计数据可发送给控制逻辑器150单元。例如,统计数据可包括陀螺仪的振动频率、自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜112阴影校正等图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备110的控制参数及ISP处理器140的控制参数。例如,成像设备110的控制参数可包括姿态传感器120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、照相机防抖位移参数、透镜112控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜112阴影校正参数。
在一个实施例中,通过成像设备(照相机)110中的透镜112和图像传感器114获取待处理图像,并将待处理图像发送至ISP处理器140。ISP处理器140接收到待处理图像后对所述人像图像和所述候选头发图像分别进行二值化处理,得到对应的第一人像掩膜图和第一头发掩膜图。当ISP处理器140检测到当前帧图像中存在对焦框时,根据对焦框中的图像确定当前帧图像的目标主体。ISP处理器140根据所述第一人像掩膜图和所述第一头发掩膜图,确定所述第一头发掩膜图中的待滤除头发区域,基于所述待滤除头发区域,从所述候选头发图像中筛选出人像主体的目标头发图像。
图2为一个实施例中图像处理方法的流程图。本实施例中的图像处理方法,以运行于终端或服务器上为例进行描述。如图2所示,该图像处理方法包括:
步骤202,获取待处理图像中的人像图像和候选头发图像。
其中,待处理图像可通过摄像头拍摄任意包含人像的场景得到图像,可以是彩色(Red、Green、Blue,简称RGB)图像、黑白图像、raw图像、深度图像和YUV图像中的Y分量所对应的图像等其中的任意一种。其中,YUV图像中的“Y”表示明亮度(Luminance或Luma),也就是灰阶值,“U”和“V”表示的则是色度(Chrominance或Chroma),作用是描述影像色彩及饱和度,用于指定像素的颜色。raw图像是由相机捕获的、未经进一步处理的图像数据。该待处理图像可为电子设备本地存储的,也可为其他设备存储的,也可以为从网络上存储的,还可为电子设备实时拍摄的,不限于此。人像图像是指待处理图像中包含人体和头发的图像。
具体地,电子设备的ISP处理器或中央处理器可从本地或其他设备或网络上获取待处理图像,或者通过摄像头以拍摄得到待处理图像。电子设备的ISP处理器或中央处理器可对待处理图像进行识别,以从待处理图像中分割出人像区域和头发区域。
在其中一个实施例中,获取待处理图像中的人像图像和候选头发图像,包括:获取待处理图像,识别待处理图像中的人像区域和头发区域;基于人像区域和头发区域,对待处理图像进行图像分割处理,得到对应的人像图像和候选头发图像。
电子设备的ISP处理器或中央处理器对待处理图像进行识别,以识别出待处理图像中的人像区域和头发区域。其中,人像区域中包含人像的头发。电子设备的ISP处理器或中央处理器基于识别出的人像区域和头发区域,对待处理图像进行图像分割处理,得到人像区域对应的人像图像和头发区域对应的候选头发图像。
在一个实施例中,在获取待处理图像中的人像图像和候选头发图像之前,还包括:对待处理图像进行缩放处理得到预设尺寸的待处理图像。
其中,预设大小可根据需要设定,如224*224大小,或256*256,800*600等,不限于此。将待处理图像缩小到预设大小,可以节省数据量,提高处理效率,减少系统资源消耗。
在一个实施例中,在获取待处理图像中的人像图像和候选头发图像之前,还包括:对待处理图像进行归一化处理,得到归一化后的待处理图像。
具体地,电子设备的ISP处理器或中央处理器,该待处理图像中像素点的像素值和该深度图中像素点的像素值分别进行归一化处理。进一步地,可将待处理图像的每个像素点的R、G、B三个通道的值减去阈值,再除以阈值。
在其中一个实施例中,将待处理图像中像素点的像素值从0到255的整型归一化处理为-1到+1的浮点型数值,对深度图中像素点的像素值归一化处理为0到1的浮点型数值。
本实施例中,对待处理图像中的像素值分别进行归一化处理,可以减小数据量,节省计算所消耗的处理器资源。
该获取待处理图像中的人像图像和候选头发图像,包括:从缩放或归一化后的待处理图像中获取人像图像和候选头发图像。
步骤204,对人像图像和候选头发图像分别进行二值化处理,得到对应的第一人像掩膜图和第一头发掩膜图。
二值化是指把图像中大于或等于某个临界灰度值,即阈值的像素灰度设为灰度极大值,例如255,把小于临界灰度值的像素灰度设为灰度极小值,例如0,从而得到掩膜图。人像掩膜图是用于识别图像中人像的图像滤镜模板,可以遮挡图像的其他部分,筛选出图像中的人像。头发掩膜图是用于识别图像中头发的图像滤镜模板,可以遮挡图像的其他部分,筛选出图像中的头发。
具体地,电子设备的ISP处理器或中央处理器对人像图像进行二值化处理,得到对应的第一人像掩膜图。电子设备的ISP处理器或中央处理器对候选头发图像进行二值化处理,得到对应的第一头发掩膜图。
在一个实施例中,ISP处理器或中央处理器分别将人像图像和候选头发图像中像素值大于或等于临界灰度值的像素点采用1表示,小于或等于临界灰度值的像素点采用0表示,分别得到得到第一人像掩膜图和第一头发掩膜图。
步骤206,根据第一人像掩膜图和第一头发掩膜图,确定第一头发掩膜图中的待滤除头发区域。
其中,待滤除头发区域是指第一头发掩膜图中的路人的头发区域。人像主体是指图像中被识别为主体的人像,路人是指图像中的主体的人像以外的人像。
具体地,电子设备的ISP处理器或中央处理器可确定第一人像掩膜图和第一头发掩膜图中的重叠区域,根据重叠区域识别出第一头发掩膜图中的待滤除头发区域。
步骤208,基于待滤除头发区域,从候选头发图像中筛选出人像主体的目标头发图像。
其中,目标头发图像是指人像主体的头发图像。
具体地,电子设备的ISP处理器或中央处理器确定待滤除头发区域在候选头发图像中的对应区域,根据待滤除头发区域在候选头发图像中的对应区域,从候选头发图像中筛选出人像主体的目标头发图像。
在一个实施例中,基于待滤除头发区域,从候选头发图像中筛选出目标头发图像,包括:去除待滤除头发区域在候选头发图像中的对应区域,得到人像主体的目标头发图像。
在其中一个实施例中,基于待滤除头发区域,从候选头发图像中筛选出目标头发图像,包括:将候选头发图像中除待滤除头发区域的对应区域以外的头发区域,得到人像主体的目标头发图像。
本实施例中,获取待处理图像中的人像图像和候选头发图像,对人像图像和候选头发图像分别进行二值化处理,以得到对应的第一人像掩膜图和第一头发掩膜图。根据第一人像掩膜图和第一头发掩膜图,能够识别出第一头发掩膜图中路人的头发区域,即待滤除头发区域。基于待滤除头发区域,从候选头发图像中筛选出目标头发图像,能够去除图像中的路人的头发区域,得到人像主体的目标头发,从而准确识别出人像主体的头发。同时,能够提高对多人场景的头发识别和分割的精度。
在一个实施例中,如图3所示,根据第一人像掩膜图和第一头发掩膜图,确定第一头发掩膜图中的待滤除头发区域,包括:
步骤302,对第一人像掩膜图和第一头发掩膜图分别进行连通域处理,得到第一人像掩膜图中的人像区域块和第一头发掩膜图中的头发区域块。
其中,连通区域处理是指将图像中的各个连通区域找出并标记。头发区域块是指第一头发掩膜图中具有相同像素值且位置相邻的像素点组成的图像区域。人像区域块是指第一人像掩膜图中具有相同像素值且位置相邻的像素点组成的图像区域。
具体地,电子设备的ISP处理器或中央处理器查找第一人像掩膜图中具有相同像素值且位置相邻的像素点组成的图像区域,得到第一人像掩膜图中的各个人像区域块。电子设备的ISP处理器或中央处理器查找第一头发掩膜图中具有相同像素值且位置相邻的像素点组成的图像区域,得到第一头发掩膜图中的各个人像区域块。
步骤304,从第一人像掩膜图中筛选出面积大于或等于面积阈值的人像区域块,得到第二人像掩膜图。
具体地,电子设备的ISP处理器或中央处理器获取面积阈值,面积阈值可设为a*W*H,其中,a为常数,例如0.05,W为第一人像掩膜图下采样后的宽,H为第一人像掩膜图下采样后的高。
针对第一人像掩膜图中的每个人像区域块,电子设备的ISP处理器或中央处理器将人像区域块和面积阈值进行比较,从第一人像掩膜图中筛选出面积大于或等于面积阈值的人像区域块,由筛选出的各人像区域块构成第二人像掩膜图。
在本实施例中,电子设备的ISP处理器或中央处理器可去除第一人像掩膜图中面积小于面积阈值的人像区域块,得到第二人像掩膜图。进一步地,电子设备的ISP处理器或中央处理器可确定第一人像掩膜图中面积小于面积阈值的人像区域块,将面积小于面积阈值的人像区域块中各像素点的像素值设为灰度极小值,例如设置为0。
在其中一个实施例中,电子设备的ISP处理器或中央处理器将第一人像掩膜图进行下采样处理,例如将第一人像掩膜图的尺寸从800*600,下采样至200*150。电子设备的ISP处理器或中央处理器根据下采样后的第一人像掩膜图的尺寸,确定面积阈值。
步骤306,从第一头发掩膜图中筛选出面积处于预设面积范围内的头发区域块,得到第二头发掩膜图。
具体地,电子设备的ISP处理器或中央处理器获取预设面积范围,预设面积范围为[b*w*h,c*w*h]。其中,b、c为阈值常数,例如b设置为0.001,c设置为0.01,w为第一头发掩膜图下采样后的宽,h为第一头发掩膜图下采样后的高。
针对第一头发掩膜图中的每个头发区域块,电子设备的ISP处理器或中央处理器将头发区域块和预设面积范围内进行比较,从第一头发掩膜图中筛选出面积处于预设面积范围内的头发区域块,由筛选出的各头发区域块构成第二头发掩膜图。
在本实施例中,电子设备的ISP处理器或中央处理器可去除第一头发掩膜图中不处于预设面积范围内的头发区域块,得到第二头发掩膜图。进一步地,电子设备的ISP处理器或中央处理器可确定第一头发掩膜图中面积不处于预设面积范围内的头发区域块,将不处于预设面积范围内的头发区域块中各像素点的像素值设为灰度极小值,例如设置为0。
在其中一个实施例中,电子设备的ISP处理器或中央处理器将第一头发掩膜图进行下采样处理,例如将第一头发掩膜图的尺寸从800*600,下采样至200*150。电子设备的ISP处理器或中央处理器根据下采样后的第一头发掩膜图的尺寸,确定预设面积范围。
步骤308,基于第二人像掩膜图和第二头发掩膜图的重叠区域,确定第一头发掩膜图中的待滤除头发区域。
具体地,电子设备的ISP处理器或中央处理器可确定第二人像掩膜图和第二头发掩膜图中存在重叠的重叠区域,根据重叠区域的面积确定第一头发掩膜图中的待滤除头发区域。
本实施例中,对第一人像掩膜图和第一头发掩膜图分别进行连通域处理,得到第一人像掩膜图中的人像区域块和第一头发掩膜图中的头发区域块,从第一人像掩膜图中筛选出面积大于或等于面积阈值的人像区域块,得到第二人像掩膜图,从而可以准确筛选出人像主体的掩膜图,去除路人的掩膜图。从第一头发掩膜图中筛选出面积处于预设面积范围内的头发区域块,得到第二头发掩膜图,该第二头发掩膜图最大概率为路人的头发掩膜图。根据人像主体的掩膜图和路人的头发掩膜图,进一步准确识别出第一头发掩膜图中的路人的头发掩膜图,即待滤除头发区域。
在一个实施例中,基于第二人像掩膜图和第二头发掩膜图的重叠区域,确定第一头发掩膜图中的待滤除头发区域,包括:
确定第二人像掩膜图中人像区域块和第二头发掩膜图中头发区域块的重叠面积;在重叠面积和人像区域块的面积的比值小于比值阈值的情况下,将头发区域块标记为待滤除头发区域。
具体地,电子设备的ISP处理器或中央处理器从第二头发掩膜图中选取头发区域块,计算头发区域块分别和第二人像掩膜图中的每个人像区域块的重叠面积。电子设备的ISP处理器或中央处理器计算重叠面积和每个人像区域块面积的比值,在重叠面积和每个人像区域块的面积的比值均小于比值阈值的情况下,将所选取的头发区域块标记为待滤除头发区域。
按照相同的处理方式,电子设备的ISP处理器或中央处理器可标记出第二头发掩膜图中的待滤除头发区域。
本实施例中,确定第二人像掩膜图中人像区域块和第二头发掩膜图中头发区域块的重叠面积,以确定人像主体的掩膜图与大概率为路人的头发掩膜图之间相同的面积。在重叠面积和人像区域块的面积的比值小于比值阈值的情况下,表示第二头发掩膜图的头发区域块为路人的头发区域块,从而能够准确识别出第二头发掩膜图中哪些区域块属于路人的头发区域块,以准确标记出路人的头发区域块。
在一个实施例中,基于待滤除头发区域,从候选头发图像中筛选出目标头发图像,包括:对待滤除头发区域块进行膨胀处理,去除膨胀处理后的待滤除头发区域在候选头发图像中的对应区域,得到人像主体的目标头发图像。
膨胀是指求局部最大值的操作,即将图像或图像的一部分区域与卷积核进行卷积。卷积核中设置参考点。例如,待滤除头发区域块A和核B进行卷积,即计算待滤除头发区域块A中被核B覆盖的区域内的像素点的最大值,并把该最大值赋值给参考点指定的像素点。
电子设备的ISP处理器或中央处理器对待滤除头发区域块进行膨胀处理,使得膨胀处理后的待滤除头发区域更明显。电子设备的ISP处理器或中央处理器确定该膨胀处理后的待滤除头发区域在候选头发图像中对应的头发区域,去除将该对应的头发区域,得到人像主体的目标头发图像。
在本实施例中,电子设备的ISP处理器或中央处理器确定该膨胀处理后的待滤除头发区域在候选头发图像中对应的头发区域,将该对应的头发区域中各像素点的像素值调整为0,得到人像主体的目标头发图像。
电子设备的ISP处理器或中央处理器对待滤除头发区域块进行膨胀处理,达到邻域扩张的效果,膨胀处理后的待滤除头发区域在候选头发掩膜图中具有更大的高亮区域,使得该待滤除头发区域更明显,从而能够充分去除候选头发图像中该待滤除头发区域,所获得的目标头发区域更精准。通过对标记的路人头发区域进行膨胀处理,使得路人头发区域更明显,从而能够更准确去除在候选头发图像中的路人头发区域,得到仅包含人像主体的头发图像。
在一个实施例中,该方法还包括:基于目标头发图像和人像图像,对待处理图像进行人像虚化处理,得到对应的虚化图像。
具体地,电子设备的ISP处理器或中央处理器基于目标头发图像和人像图像,准确识别出待处理图像的中人像主体图像和背景图像。电子设备的ISP处理器或中央处理器将待处理图像的背景图像进行虚化,人像主体图像不进行虚化,得到对应的虚化图像。
本实施例中,在去除候选头发图像中的路人的头发区域后,获得人像主体的头发图像。根据人像主体的头发图像和人像主体准确进行人像虚化,有效提升人像虚化的准确性和稳定性。
在一个实施例中,基于目标头发图像和人像图像,对待处理图像进行人像留色处理,能够提高留色的稳定性。人像留色处理是指保留人像主体的颜色,背景色彩变成黑白。
在一个实施例中,图4为一个实施例中图像识别模型的训练方法的流程图。本实施例中的图像识别模型的训练方法,以运行于终端或服务器上为例进行描述。如图4所示,该图像识别模型的训练方法包括:
步骤402,获取样本图像和样本图像对应的标签。
其中,样本图像是包含人像主体和人像主体的头发区域的图像,还可以包括路人及路人的头发区域。样本图像中包括样本人像图像和样本头发图像。
具体地,电子设备的ISP处理器或中央处理器可获取多张样本图像,并获取每张样本图像对应的标签。
在一个实施例中,ISP处理器或中央处理器从样本图像中获取样本头发图像,通过人工去除样本头发图像中的路人的头发区域,将去除路人的头发区域后的样本头发图像作为样本图像对应的标签。或者,从样本头发图像中分割出人像主体的头发区域作为样本图像对应的标签。
步骤404,通过待训练的图像识别模型对样本图像进行图像分割处理,得到预测人像图像和第一预测头发图像。
具体地,电子设备的ISP处理器或中央处理器将样本图像输入待训练的图像识别模型。待训练的图像识别模型对样本图像进行图像识别,以识别出样本图像中的人像区域和头发区域。基于人像区域从样本图像中分割出预测人像图像和第一预测头发图像。
步骤406,对预测人像图像和第一预测头发图像分别进行二值化处理,得到对应的预测人像掩膜图和预测头发掩膜图。
具体地,待训练的图像识别模型对预测人像图像进行二值化处理,得到对应的预测人像掩膜图。对第一预测头发图像进行二值化处理,得到对应的预测头发掩膜图。
步骤408,根据预测人像掩膜图和预测头发掩膜图,确定预测头发掩膜图中的预测滤除头发区域。
具体地,图像识别模型对预测人像掩膜图和预测头发掩膜图分别进行连通域处理,得到预测人像掩膜图中的人像区域块和预测头发掩膜图中的头发区域块。图像识别模型从预测人像掩膜图中筛选出面积大于或等于面积阈值的人像区域块,并从预测头发掩膜图中筛选出面积处于预设面积范围内的头发区域块。
图像识别模型确定人像区域块和头发区域块的重叠面积,图像识别模型在重叠面积和人像区域块的面积的比值小于比值阈值的情况下,将头发区域块标记为待滤除头发区域。
步骤410,基于预测滤除头发区域,从第一预测头发图像中筛选出人像主体的第二预测头发图像。
具体地,对待滤除头发区域块进行膨胀处理,去除膨胀处理后的待滤除头发区域在第一预测头发图像中的对应区域,得到人像主体的第二预测头发图像。
步骤412,基于第二预测头发图像和标签之间的差异,对图像识别模型进行训练,当满足训练停止条件时得到已训练的图像识别模型。
其中,已训练的图像识别模型为训练好的图像识别模型。该已训练的图像识别模型用于从图像中的识别出人像主体的目标头发图像。
具体地,电子设备基于样本图像和对应的标签对待训练的图像识别模型进行训练。在训练过程中调整图像识别模型的参数并继续进行训练,直到图像识别模型满足训练停止条件时停止训练,得到训练好的图像识别模型。
在本实施例中,训练停止条件可以为第二预测头发图像和标签之间的相似度大于或等于相似度阈值,或者第二预测头发图像和标签之间的相似度与相似度阈值之间的差异小于或等于差异阈值,或者图像识别模型的损失误差小于或等于损失阈值,或者训练停止条件为图像识别模型的迭代次数达到预设迭代次数。
例如,训练停止条件可以为第二预测头发图像和标签之间的相似度大于或等于相似度阈值。电子设备确定第二预测头发图像和标签之间的相似度,在第二预测头发图像和标签之间的相似度小于相似度阈值的情况下,调整图像识别模型的参数并继续训练。在第二预测头发图像和标签之间的相似度大于或等于相似度阈值的情况下,停止训练。
或者,训练停止条件为第二预测头发图像和标签之间的相似度与相似度阈值之间的差异小于或等于差异阈值。电子设备确定第二预测头发图像和标签之间的相似度,在第二预测头发图像和标签之间的相似度和相似度阈值之间差异大于差异阈值的情况下,调整图像识别模型的参数并继续训练。在第二预测头发图像和标签之间的相似度和相似度阈值的差异小于或等于差异阈值情况下,停止训练。
例如,训练停止条件为图像识别模型的损失误差小于或等于损失阈值。计算出图像识别模型在每次训练中产生的损失误差,在损失误差大于损失阈值的情况下,调整该图像识别模型的参数并继续训练。在损失误差小于或等于损失阈值的情况下,停止训练,得到训练好的图像识别模型。
或者训练停止条件为图像识别模型的迭代次数达到预设迭代次数。
电子设备的ISP处理器或中央处理器通过计算图像识别模型在训练过程中的迭代次数,当训练过程图像识别模型的迭代次数达到预设迭代次数时,停止训练,得到训练好的图像识别模型。
在本实施例中,通过样本图像和对应的标签对待训练的图像识别模型进行训练,通过图像识别模型预测处理样本图像中人像主体的头发图像,即第二预测头发图像,并基于预测得到的头发图像和标签之间的差异调整图像识别模型的参数并继续训练,在满足训练停止条件的情况下获得训练好的图像识别模型,提高图像识别模型的精度和准确性。训练好的图像识别模型能够从多人场景中准确识别出人像主体的头发和路人的头发,从而去除路人的头发区域,准确分割出人像主体的头发。
在一个实施例中,如图5所示,提供了一种图像处理方法,包括:
步骤502,电子设备的ISP处理器或中央处理器获取待处理图像,执行步骤504,即对待处理图像进行缩放,得到预设尺寸的待处理图像。
步骤506,电子设备的ISP处理器或中央处理器将预设尺寸的待处理图像中像素点的像素值进行归一化处理,得到归一化后的待处理图像。
步骤508,电子设备的ISP处理器或中央处理器对归一化的待处理图像进行识别,得到人像区域和头发区域。接着,分别执行步骤510和步骤512。
步骤510,基于人像区域对待处理图像进行图像分割处理,得到对应的人像图像。
步骤512,基于头发区域,对待处理图像进行图像分割处理,得到对应的候选头发图像。
步骤514,对人像图像和候选头发图像进行下采样处理,并执行步骤516。
步骤516,分别对下采样后的人像图像和候选头发图像进行二值化处理,得到对应的第一人像掩膜图518和第一头发掩膜图520。接着,执行步骤522。
步骤522,对第一人像掩膜图和第一头发掩膜图分别进行连通域处理,得到第一人像掩膜图中的人像区域块和第一头发掩膜图中的头发区域块。从第一人像掩膜图中筛选出面积大于或等于面积阈值的人像区域块,得到第二人像掩膜图524。从第一头发掩膜图中筛选出面积处于预设面积范围内的头发区域块,得到第二头发掩膜图526。接着,执行步骤528。
步骤528,确定第二人像掩膜图中人像区域块和第二头发掩膜图中头发区域块的重叠面积。
步骤530,在重叠面积和人像区域块的面积的比值小于比值阈值的情况下,将头发区域块标记为待滤除头发区域。
步骤532,对待滤除头发区域块进行膨胀处理,对膨胀处理后的待滤除头发区域进行上采样,去除上采样后的待滤除头发区域在候选头发图像中的对应区域,并执行步骤534。
步骤534,对去除待滤除头发区域的对应区域的候选头发图像进行归一化处理,得到人像主体的目标头发图像。
在本实施例中,根据图像识别模型识别人像图像和候选头发图像,结合连通域和重叠面积计算,准确判断多人场景中头发区域是否属于路人,并将路人的头发区域滤除,避免了含有路人的多人场景中,路人的头发区域误分割引起的人像虚化、留色效果瑕疵。采用本方案能够提高多人场景下头发区域的输出精度,从而有效提升多人场景下的人像虚化、留色的效果和稳定性。
在一个实施例中,提供了一种图像处理方法,包括:
电子设备通过摄像头拍摄多人场景,得到RGB图像。该RGB图像中存在路人。
电子设备的ISP处理器或中央处理器将RGB图像进行缩放处理,得到尺寸为800*600的图像。
将归一化后的800*600的图像输入图像识别模型。该图像识别模型可由卷积神经网络(Convolutional Neural Network,简称CNN)构成,CNN网络包括但不限于deeplab系列分割算法、U-Net、FCN等算法进行改进得到。该图像识别模型的CNN网络包括一个特征编码器Encoder和两个特征解码器Decoder,两个Decoder特征解码层的输出分别是人像区域对应的人像图像,以及头发区域对应的候选头发图像。该人像图像和候选头发图像尺寸为800*600。
如图6所示,归一化后的800*600的图像输入图像识别模型,图像识别模型的特征编码器Encoder对输入的800*600的图像进行特征编码,特征编码器Encoder输出的特征图分别输出两个特征解码器Decoder。特征编码器Encoder和两个特征解码器Decoder之间跳跃连接。两个特征解码器Decoder对输入的特征图进行解码,得到一个特征解码器输出的人像图像,另一个特征解码器输出的候选头发图像。从人像图像中可看出,路人并没有从800*600的图像中分割出来,而该路人的头发被图像识别模型从800*600的图像中分割出来。该分割得到的人像图像和候选头发图像可以为RGB图像,也可以是掩膜图。
图像识别模型对800*600的人像图像和候选头发进行下采样处理,得到200*150的人像图像和候选头发。
对200*150的人像图像和候选头发图像的像素点的像素值进行二值化处理。200*150的人像图像使用临界灰度值127.5进行二值化处理,得到第一人像掩膜图。200*150的候选头发图像使用临界灰度值10进行二值化处理,得到第一头发掩膜图。
对200*150的第一人像掩膜图和第一头发掩膜图分别进行连通域处理,得到第一人像掩膜图中的人像区域块和第一头发掩膜图中的头发区域块。
从200*150的第一人像掩膜图中,过滤掉面积小于面积阈值0.05*200*150的人像区域块,得到第二人像掩膜图。该第二人像掩膜图即为人像主体,如图7所示。
从200*150的第一头发掩膜图中,保留面积在预设面积范围[0.001*200*150,0.01*200*150]内的头发区域块,得到第二头发掩膜图。该第二头发掩膜图很大概率为图像中的路人的头发区域,如图8所示。
从第二头发掩膜图中选取任一头发区域块,计算被选取的头发区域块分别和第二人像掩膜图中的每个人像区域块的重叠面积I。获取被选取的头发区域块的面积X,则分别计算每个I和X的比值,即I/X。在每个比值I/X小于阈值T的情况下,将被选取的头发区域块标记为待滤除头发区域。按照相同的处理方式,可得到第二头发掩膜图中的所有待滤除头发区域。
对待滤除头发区域块进行膨胀处理,对膨胀处理后的待滤除头发区域进行上采样。
确定上采样后的待滤除头发区域在候选头发图像中的对应区域,将对应区域的像素点的像素值均调整为0,并进行归一化处理,输出人像主体的目标头发图像。
在本实施例中,根据图像识别模型识别人像图像和候选头发图像,结合连通域和重叠面积计算,准确判断多人场景中头发区域是否属于路人,并将路人的头发区域滤除,避免了含有路人的多人场景中,路人的头发区域误分割引起的人像虚化、留色效果瑕疵。采用本方案能够提高多人场景下头发区域的输出精度,从而有效提升后续多人场景下的人像虚化、留色的效果和稳定性。
应该理解的是,虽然图2-图5的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-图5中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图9为一个实施例的图像处理装置的结构框图。如图9所示,该图像处理装置包括:
图像获取模块902,用于获取待处理图像中的人像图像和候选头发图像。
二值化模块904,用于对所述人像图像和所述候选头发图像分别进行二值化处理,得到对应的第一人像掩膜图和第一头发掩膜图。
第一确定模块906,用于根据所述第一人像掩膜图和所述第一头发掩膜图,确定所述第一头发掩膜图中的待滤除头发区域。
第一筛选模块908,用于基于所述待滤除头发区域,从所述候选头发图像中筛选出人像主体的目标头发图像。
本实施例中,获取待处理图像中的人像图像和候选头发图像,对人像图像和候选头发图像分别进行二值化处理,以得到对应的第一人像掩膜图和第一头发掩膜图。根据第一人像掩膜图和第一头发掩膜图,能够识别出第一头发掩膜图中路人的头发区域,即待滤除头发区域。基于待滤除头发区域,从候选头发图像中筛选出目标头发图像,能够去除图像中的路人的头发区域,得到人像主体的目标头发,从而准确识别出人像主体的头发。同时,能够提高对多人场景的头发识别和分割的精度。
在一个实施例中,第一确定模块906还用于:对第一人像掩膜图和第一头发掩膜图分别进行连通域处理,得到第一人像掩膜图中的人像区域块和第一头发掩膜图中的头发区域块;从第一人像掩膜图中筛选出面积大于或等于面积阈值的人像区域块,得到第二人像掩膜图;从第一头发掩膜图中筛选出面积处于预设面积范围内的头发区域块,得到第二头发掩膜图;基于第二人像掩膜图和第二头发掩膜图的重叠区域,确定第一头发掩膜图中的待滤除头发区域。
本实施例中,对第一人像掩膜图和第一头发掩膜图分别进行连通域处理,得到第一人像掩膜图中的人像区域块和第一头发掩膜图中的头发区域块,从第一人像掩膜图中筛选出面积大于或等于面积阈值的人像区域块,得到第二人像掩膜图,从而可以准确筛选出人像主体的掩膜图,去除路人的掩膜图,即去除路人的掩膜图。从第一头发掩膜图中筛选出面积处于预设面积范围内的头发区域块,得到第二头发掩膜图,该第二头发掩膜图最大概率为路人的头发掩膜图,即路人的头发掩膜图。根据人像主体的掩膜图和路人的头发掩膜图,进一步准确识别出第一头发掩膜图中的路人的头发掩膜图,即待滤除头发区域。
在一个实施例中,第一确定模块906还用于:确定第二人像掩膜图中人像区域块和第二头发掩膜图中头发区域块的重叠面积;在重叠面积和人像区域块的面积的比值小于比值阈值的情况下,将头发区域块标记为待滤除头发区域。
本实施例中,确定第二人像掩膜图中人像区域块和第二头发掩膜图中头发区域块的重叠面积,以确定人像主体的掩膜图与大概率为路人的头发掩膜图之间相同的面积。在重叠面积和人像区域块的面积的比值小于比值阈值的情况下,表示第二头发掩膜图的头发区域块为路人的头发区域块,从而能够准确识别出第二头发掩膜图中哪些区域块属于路人的头发区域块,以准确标记出路人的头发区域块。
在一个实施例中,第一筛选模块908还用于:对待滤除头发区域块进行膨胀处理,去除膨胀处理后的待滤除头发区域在候选头发图像中的对应区域,得到人像主体的目标头发图像。
本实施例中,对待滤除头发区域块进行膨胀处理,达到邻域扩张的效果,膨胀处理后的待滤除头发区域在候选头发掩膜图中具有更大的高亮区域,使得该待滤除头发区域更明显,从而能够充分去除候选头发图像中该待滤除头发区域,所获得的目标头发区域更精准。通过对标记的路人头发区域进行膨胀处理,使得路人头发区域更明显,从而能够更准确去除在候选头发图像中的路人头发区域,得到仅包含人像主体的头发图像。
在一个实施例中,该装置还包括:虚化模块。该虚化模块用于基于目标头发图像和人像图像,对待处理图像进行人像虚化处理,得到对应的虚化图像。
本实施例中,在去除候选头发图像中的路人的头发区域后,获得人像主体的头发图像。根据人像主体的头发图像和人像主体准确进行人像虚化,有效提升人像虚化的准确性和稳定性。
图10为一个实施例的图像识别模型的训练装置的结构框图。如图10所示,该图像识别模型的训练装置,包括:
样本获取模块1002,用于获取样本图像和所述样本图像对应的标签。
分割模块1004,用于通过待训练的图像识别模型对所述样本图像进行图像分割处理,得到预测人像图像和第一预测头发图像。
处理模块1006,用于对所述预测人像图像和所述第一预测头发图像分别进行二值化处理,得到对应的预测人像掩膜图和预测头发掩膜图。
第二确定模块1008,用于根据所述预测人像掩膜图和所述预测头发掩膜图,确定所述预测头发掩膜图中的预测滤除头发区域。
第二筛选模块1010,用于基于所述预测滤除头发区域,从所述第一预测头发图像中筛选出人像主体的第二预测头发图像。
训练模块1012,用于基于所述第二预测头发图像和所述标签之间的差异,对所述图像识别模型进行训练,当满足训练停止条件时得到已训练的图像识别模型。
在本实施例中,通过样本图像和对应的标签对待训练的图像识别模型进行训练,通过图像识别模型预测处理样本图像中人像主体的头发图像,即第二预测头发图像,并基于预测得到的头发图像和标签之间的差异调整图像识别模型的参数并继续训练,在满足训练停止条件的情况下获得训练好的图像识别模型,提高图像识别模型的精度和准确性。训练好的图像识别模型能够从多人场景中准确识别出人像主体的头发和路人的头发,从而准确分割出人像主体的头发。
上述图像处理装置、图像识别模型的训练装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像处理装置、图像识别模型的训练装置按照需要划分为不同的模块,以完成上述图像处理装置、图像识别模型的训练装置的全部或部分功能。
图11为一个实施例中电子设备的内部结构示意图。如图11所示,该电子设备包括通过系统总线连接的处理器和存储器。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种图像处理方法、图像识别模型的训练方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
本申请实施例中提供的图像处理装置、图像识别模型的训练装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行图像处理方法、图像识别模型的训练方法的步骤。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行图像处理方法、图像识别模型的训练方法。
本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像处理方法,其特征在于,包括:
获取待处理图像中的人像图像和候选头发图像;
对所述人像图像和所述候选头发图像分别进行二值化处理,得到对应的第一人像掩膜图和第一头发掩膜图;
根据所述第一人像掩膜图和所述第一头发掩膜图,确定所述第一头发掩膜图中的待滤除头发区域;
基于所述待滤除头发区域,从所述候选头发图像中筛选出人像主体的目标头发图像。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一人像掩膜图和所述第一头发掩膜图,确定所述第一头发掩膜图中的待滤除头发区域,包括:
对所述第一人像掩膜图和所述第一头发掩膜图分别进行连通域处理,得到所述第一人像掩膜图中的人像区域块和所述第一头发掩膜图中的头发区域块;
从所述第一人像掩膜图中筛选出面积大于或等于面积阈值的人像区域块,得到第二人像掩膜图;
从所述第一头发掩膜图中筛选出面积处于预设面积范围内的头发区域块,得到第二头发掩膜图;
基于所述第二人像掩膜图和所述第二头发掩膜图的重叠区域,确定所述第一头发掩膜图中的待滤除头发区域。
3.根据权利要求2所述的方法,其特征在于,所述基于所述第二人像掩膜图和所述第二头发掩膜图的重叠区域,确定所述第一头发掩膜图中的待滤除头发区域,包括:
确定所述第二人像掩膜图中人像区域块和所述第二头发掩膜图中头发区域块的重叠面积;
在所述重叠面积和所述人像区域块的面积的比值小于比值阈值的情况下,将所述头发区域块标记为待滤除头发区域。
4.根据权利要求1所述的方法,其特征在于,所述基于所述待滤除头发区域,从所述候选头发图像中筛选出人像主体的目标头发图像,包括:
对所述待滤除头发区域块进行膨胀处理,去除膨胀处理后的待滤除头发区域在所述候选头发图像中的对应区域,得到人像主体的目标头发图像。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述方法还包括:
基于所述目标头发图像和所述人像图像,对所述待处理图像进行人像虚化处理,得到对应的虚化图像。
6.一种图像识别模型的训练方法,其特征在于,所述方法包括:
获取样本图像和所述样本图像对应的标签;
通过待训练的图像识别模型对所述样本图像进行图像分割处理,得到预测人像图像和第一预测头发图像;
对所述预测人像图像和所述第一预测头发图像分别进行二值化处理,得到对应的预测人像掩膜图和预测头发掩膜图;
根据所述预测人像掩膜图和所述预测头发掩膜图,确定所述预测头发掩膜图中的预测滤除头发区域;
基于所述预测滤除头发区域,从所述第一预测头发图像中筛选出人像主体的第二预测头发图像;
基于所述第二预测头发图像和所述标签之间的差异,对所述图像识别模型进行训练,当满足训练停止条件时得到已训练的图像识别模型。
7.一种图像处理装置,其特征在于,包括:
图像获取模块,用于获取待处理图像中的人像图像和候选头发图像;
二值化模块,用于对所述人像图像和所述候选头发图像分别进行二值化处理,得到对应的第一人像掩膜图和第一头发掩膜图;
第一确定模块,用于根据所述第一人像掩膜图和所述第一头发掩膜图,确定所述第一头发掩膜图中的待滤除头发区域;
第一筛选模块,用于基于所述待滤除头发区域,从所述候选头发图像中筛选出人像主体的目标头发图像。
8.一种图像识别模型的训练装置,其特征在于,包括:
样本获取模块,用于获取样本图像和所述样本图像对应的标签;
分割模块,用于通过待训练的图像识别模型对所述样本图像进行图像分割处理,得到预测人像图像和第一预测头发图像;
处理模块,用于对所述预测人像图像和所述第一预测头发图像分别进行二值化处理,得到对应的预测人像掩膜图和预测头发掩膜图;
第二确定模块,用于根据所述预测人像掩膜图和所述预测头发掩膜图,确定所述预测头发掩膜图中的预测滤除头发区域;
第二筛选模块,用于基于所述预测滤除头发区域,从所述第一预测头发图像中筛选出人像主体的第二预测头发图像;
训练模块,用于基于所述第二预测头发图像和所述标签之间的差异,对所述图像识别模型进行训练,当满足训练停止条件时得到已训练的图像识别模型。
9.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011629334.7A CN112581481B (zh) | 2020-12-30 | 2020-12-30 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011629334.7A CN112581481B (zh) | 2020-12-30 | 2020-12-30 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112581481A true CN112581481A (zh) | 2021-03-30 |
CN112581481B CN112581481B (zh) | 2024-04-12 |
Family
ID=75144483
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011629334.7A Active CN112581481B (zh) | 2020-12-30 | 2020-12-30 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112581481B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113658197A (zh) * | 2021-08-20 | 2021-11-16 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN114140547A (zh) * | 2021-12-07 | 2022-03-04 | 北京百度网讯科技有限公司 | 图像生成方法和装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101877131A (zh) * | 2009-04-28 | 2010-11-03 | 青岛海信数字多媒体技术国家重点实验室有限公司 | 一种目标识别方法、装置及目标识别系统 |
US20180276866A1 (en) * | 2013-07-25 | 2018-09-27 | Morphotrust Usa, Llc | System and Method for Creating a Virtual Backdrop |
CN109117760A (zh) * | 2018-07-27 | 2019-01-01 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备和计算机可读介质 |
CN109978930A (zh) * | 2019-03-27 | 2019-07-05 | 杭州相芯科技有限公司 | 一种基于单幅图像的风格化人脸三维模型自动生成方法 |
CN110517278A (zh) * | 2019-08-07 | 2019-11-29 | 北京旷视科技有限公司 | 图像分割和图像分割网络的训练方法、装置和计算机设备 |
CN110738595A (zh) * | 2019-09-30 | 2020-01-31 | 腾讯科技(深圳)有限公司 | 图片处理方法、装置和设备及计算机存储介质 |
CN110991298A (zh) * | 2019-11-26 | 2020-04-10 | 腾讯科技(深圳)有限公司 | 图像的处理方法和装置、存储介质及电子装置 |
-
2020
- 2020-12-30 CN CN202011629334.7A patent/CN112581481B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101877131A (zh) * | 2009-04-28 | 2010-11-03 | 青岛海信数字多媒体技术国家重点实验室有限公司 | 一种目标识别方法、装置及目标识别系统 |
US20180276866A1 (en) * | 2013-07-25 | 2018-09-27 | Morphotrust Usa, Llc | System and Method for Creating a Virtual Backdrop |
CN109117760A (zh) * | 2018-07-27 | 2019-01-01 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备和计算机可读介质 |
CN109978930A (zh) * | 2019-03-27 | 2019-07-05 | 杭州相芯科技有限公司 | 一种基于单幅图像的风格化人脸三维模型自动生成方法 |
CN110517278A (zh) * | 2019-08-07 | 2019-11-29 | 北京旷视科技有限公司 | 图像分割和图像分割网络的训练方法、装置和计算机设备 |
CN110738595A (zh) * | 2019-09-30 | 2020-01-31 | 腾讯科技(深圳)有限公司 | 图片处理方法、装置和设备及计算机存储介质 |
CN110991298A (zh) * | 2019-11-26 | 2020-04-10 | 腾讯科技(深圳)有限公司 | 图像的处理方法和装置、存储介质及电子装置 |
Non-Patent Citations (1)
Title |
---|
于海滨;刘敬彪;刘济林;: "用于行人头部特征提取的目标区域匹配方法", 中国图象图形学报, no. 03, 15 March 2009 (2009-03-15), pages 482 - 488 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113658197A (zh) * | 2021-08-20 | 2021-11-16 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN113658197B (zh) * | 2021-08-20 | 2023-09-05 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN114140547A (zh) * | 2021-12-07 | 2022-03-04 | 北京百度网讯科技有限公司 | 图像生成方法和装置 |
CN114140547B (zh) * | 2021-12-07 | 2023-03-14 | 北京百度网讯科技有限公司 | 图像生成方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112581481B (zh) | 2024-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110149482B (zh) | 对焦方法、装置、电子设备和计算机可读存储介质 | |
CN110248096B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN113766125B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN110334635B (zh) | 主体追踪方法、装置、电子设备和计算机可读存储介质 | |
CN110473185B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN110572573B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN108810418B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
CN108198152B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN110660090B (zh) | 主体检测方法和装置、电子设备、计算机可读存储介质 | |
CN110650291B (zh) | 目标追焦方法和装置、电子设备、计算机可读存储介质 | |
CN110191287B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN110661977B (zh) | 主体检测方法和装置、电子设备、计算机可读存储介质 | |
CN109712177B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN107368806B (zh) | 图像矫正方法、装置、计算机可读存储介质和计算机设备 | |
US11836903B2 (en) | Subject recognition method, electronic device, and computer readable storage medium | |
CN113313626A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN113658197B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN110881103B (zh) | 对焦控制方法和装置、电子设备、计算机可读存储介质 | |
CN112581481B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN110365897B (zh) | 图像修正方法和装置、电子设备、计算机可读存储介质 | |
CN110399823B (zh) | 主体跟踪方法和装置、电子设备、计算机可读存储介质 | |
CN110378934B (zh) | 主体检测方法、装置、电子设备和计算机可读存储介质 | |
CN110830709A (zh) | 图像处理方法和装置、终端设备、计算机可读存储介质 | |
CN113673474B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN113610884A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |