CN108320294A - 一种二代身份证照片的人像背景智能全自动替换方法 - Google Patents

Abstract

本发明公开了一种二代身份证照片的人像背景智能全自动替换方法，包括以下步骤：1)在HSV色彩空间，利用多尺度视觉敏感度排序度量方法，增强人像与背景显著性；2)分割所述显著性图得到人像和背景初始二值图，采用形态学方法删除孤立的噪声区域，然后，采用高斯平滑方式自动生成三值图；3)根据自动生成的三值图和原始人像照片，采用多尺度随机游走搜索方法，最小化抠图目标函数，求解得到人像前景的不透明度图。该方法不需要任何人工抠图步骤，且背景和前景过渡自然、鲁棒性强、速度快，可以用于二代身份证自助拍照申请设备、手机移动端证件照处理。

Description

一种二代身份证照片的人像背景智能全自动替换方法

技术领域

本发明属于图像处理与应用领域，尤其涉及一种二代身份证照片的人像背景智能全自动替换方法。

背景技术

传统身份证申请过程需要群众到指定的照相馆去拍照。二代身份证照片必须符合公安部制定的标准：照片具有固定的尺寸、头顶距离、人像距离边缘范围、眼睛高度、对比度和色度范围等严格要求。照相馆工作人员采用Photoshop等图象处理软件，手工对照片进行裁剪、抠图、调整对比度和色度等。其中，抠图部分是非常关键部分，现有的手工抠图方法，需要专业的图像处理人员，处理步骤繁琐、速度慢，头发和背景之间过渡经常非常不自然。

已有很多算法用于求解前景对象的不透明度图，但大多数方法还需指定背景、前景和未知像素三值图。根据色彩合成公式和三值图，采用背景和前景采样方法，根据后验概率最大方法求解得到前景对象不透明度图(Y.-Y.Chuang,B.Curless,D.H.Salesin,andR.Szeliski.A bayesian approach to digital matting.CVPR 2001.)。Levin等人根据前景和背景像素值局部平滑假设，提出一种图像抠图的闭合解方法(Anat Levin,DaniLischinski,Yair Weiss.A Closed Form Solution to Natural Image Matting.TPAMI2008.)，在该方法中，抠图问题的闭合解可以通过求解稀疏线性方程组，得到全局最优的不透明度图。此外，闭合解通过分析稀疏矩阵的特征向量，允许预测闭合解的属性。He等人提出一种全局采样的抠图算法(Kaiming He,Christoph Rhemann,Carsten Rother,XiaoouTang,Jian Sun.A Global Sampling Method for Alpha Matting.CVPR 2011.)，该算法将色彩合成误差和距离误差综合考虑，提出一种新的全局最优的目标函数，在前景和目标边缘像素组成的二维空间，采样随机采用匹配方法求解目标函数。K-近邻抠图算法采用非局部原则生成不透明度图(Qifeng Chen,Dingzeyu Li,Chi-Keung Tang.KNN Matting.TPAMI2013.)，同时提取图像的多个层。最近，有学者提出一种基于深度卷积神经网络的图像抠图算法(Ning Xu,Brian Price,Scott Cohen,and Thomas Huang.Deep Image Matting.CVPR2017.)，该算法分为两部分：第一部分是深度卷积编码和解码网络，输入图像和相应的三值图，然后预测图像的不透明度图。第二部分一个小型的卷积神经网络，用于精细调整第一个网络的不透明度图，使得输出不透明度图的更准确、边缘更清晰。

从现有文献来看，现有的抠图处理算法需要手工绘制或指定三值图，显然不适合自助设备，因为不能要求用户懂图像处理专业知识。此外，上述方法虽然在某些图像上取得不错的结果，但在有些图像上处理会出现问题，例如，出现过度平滑结果、处理不干净，甚至求解失败。本发明算法不需要用户输入三值图，而是采用人脸检测、人脸表情分析等技术，自动生成三值图，提出一种目标函数及其最小化优化方法，实现不透明度图的求解。因此，具有很好的创新性，且处理结果非常准确、速度快。

发明内容

针对现有技术的不足之处，本发明提供了一种二代身份证照片的人像背景智能全自动替换方法，包括以下步骤：

1)在HSV色彩空间，利用多尺度视觉敏感度排序度量方法，增强人像与背景显著性图；

2)分割所述显著性图得到人像和背景初始二值图，采用形态学方法删除孤立的噪声区域，然后，采用高斯平滑方式自动生成三值图；

3)根据自动生成的三值图和原始人像照片，采用多尺度随机游走搜索方法，最小化抠图目标函数，求解得到人像前景的不透明度图。

进一步地，所述多尺度视觉敏感度排序度量方法为：在HSV色彩空间，提出对HSV各分量采用不同的视觉敏感度权值，用于模拟各个分量对视觉敏感度的贡献差异，计算局部邻域差分矢量的敏感排序度量值，得到了与人眼视觉基本一致的显著性图。

进一步地，利用多尺度视觉敏感度排序度量法增强人像与背景显著性图的方法具体为：

首先，采用双边滤波器对原始图像I进行滤波去除噪声，具体计算如下：

式中，x为图像二维坐标，N(x)为点x的邻域点集合，y为x的某个邻域点，I^c(x)为图像在x处的c通道像素值，c＝R、G或B，f_s(x,y)为空域核函数，f_v(g₁,g₂)为值域核函数；

然后，将滤波后的RGB图像变换到HSV色彩空间，具体变换公式如下：

V＝max(R,G,B) (3)

然后，对色度分量H进行圆周化，即如果H<0，则H＝H+360，直到H≥0为止，如果H>360，H＝H-360，直到H≤360为止；再对色度分量H和饱和度分量V进行归一化，即H＝H/360，V＝V/255；

在HSV空间，在每个像素的局部邻域区域内，计算不同尺度、不同视觉敏感度的局部差分对比度矢量，具体如下：

式中，g^c(x)是x点处的c通道像素值，是以x点为圆心、r为半径的圆上第i邻域点c通道像素值，i＝0,1,…,7，w^c是c通道的人眼敏感度权值；

在上述公式(6)中，c＝H、S或V，r＝1、2或3，因此每个像素点处可以提取出一个8*3*3＝72维的加权人眼敏感度矢量，表示如下：

然后，将上式敏感度矢量的每个分量绝对值大小按照降序排列，得到排序后的人眼敏感度特征矢量d^s(x)＝[d₁,…,d₇₂]，即|d₁|≥…≥|d₇₂|，为了抑制噪声，选择两个索引阈值i₁和i₂，其中0≤i₁<i₂≤72，用于选择中间稳定的差分值，在本算法的实现中，选择i₁＝5和i₂＝10，用于计算该敏感度矢量的排序度量值，作为该点对比度显著值，具体显著图特征计算如下：

进一步地，所述三值图自动生成的方法为：

得到了所述显著性图后，根据经验或学习方法确定一个阈值t_s，将对比度显著图m_s(x)分割成二值图：

m_b(x)＝m_s(x)≥t_s (9)

由于二值图m_b(x)可能存在孤立噪声区域，采用数学形态算子开运算，删除这些噪声区域，得到新的二值图m_b(x)；

为了从二值图得到三值图，采用高斯核函数对二值图进行卷积，得到平滑版本的多值图像：

m_f(x)＝m_b(x)*G_σ(x) (10)

式中，*表示卷积运算，σ为高斯核函数的尺度(偏差)，

根据σ的大小，选择合适阈值t₁和t₂，将平滑后的多值图像转化为三值图，具体计算如下：

式中，0代表背景点，1代表前景点，2代表未知点。

5.根据权利要求4所述的一种二代身份证照片的人像背景智能全自动替换方法，其特征在于，所述步骤3)具体为：

对于某个未知点x，虽然该点观察像素值I是已知，但前景和背景像素值都未知，那么需要一种策略从其相邻的前景点集合N_F(x)和背景点集合N_B(x)，估算第i个前景点的像素值Fⁱ和第j个背景点的像素值B^j，设计如下目标函数：

ε(Fⁱ,B^j)＝w_cε_c(Fⁱ,B^j)+w_dε_d(Fⁱ,B^j)+w_sε_s(Fⁱ,B^j) (12)

其中，ε_c、ε_d、ε_s为色彩合成惩罚项、距离惩罚项、局部邻域平滑惩罚项，w_c、w_d、w_s分别为这些惩罚项的系数，

色彩合成误差惩罚项定义为：

候选前景背景点与当前未知点之间的距离越近越好，定义距离惩罚项为：

其中，d_FI和d_BI分别是当前点到前景点集合和背景点集合的最小距离，x_I、分别为当前点、第i个前景点和第j个背景点的坐标，

设未知点的已求解局部邻域点集合为N(x)，则前景点(或背景点)像素值应该保持局部变化比较小，也就是局部平滑项，具体定义如下：

式中，|N(x)|为已求解局部邻域点的个数，

为了降低时间复杂度，针对每个未知像素x，采用随机游走搜索算法，最小化公式(12)，从而得到该点对应的不透明度值α(x)。

本发明首先采用双边滤波器算法去除图像中的噪声，随后将去噪后的RGB图像转换到HSV色彩空间。在HSV色彩空间，提出一种多尺度视觉敏感排序度量方法，用于计算和增强人像显著性。根据人像和背景边缘显著性，初步分割人像和背景区域，从而得到二值图。采用形态学方法删除孤立的噪声区域，然后采用高斯平滑的方式自动生成三值图。最后，根据自动生成的三值图，采用多尺度随机游走搜索方法求解最小化抠图目标函数，得到人像前景的不透明度图。根据不透明度图，该方法可以将人像的背景替换成任意背景，从而完成二代身份证照片背景的自动替换关键任务。该方法不需要任何人工抠图步骤，且背景和前景过渡自然、鲁棒性强、速度快，可以用于二代身份证自助拍照申请设备、手机移动端证件照处理。

附图说明

图1为人像照片的背景自动替换算法框图；

图2为人像照片的多尺度敏感度计算示意图。

具体实施方式

以下结合附图对本发明的实施例作进一步的详细说明。

图1给出本发明算法的照片背景智能替换方法框图，具体步骤如下：

1、三值图自动生成方法

设二代身份证照片图像为I，人像前景图像为F，背景图像为B，前景目标的不透明度图为α。对图像中的每一个点x，满足如下线性图像融合公式：

I(x)＝F(x)α(x)+B(x)(1-α(x)) (1)

在上式中，I(x)是已观察到点x处的RGB值，但F(x)、B(x)和α(x)均为未知，三个方程却有七个未知数，该方程高度病态，无法直接求解。因此，在图像抠图求解中，往往需要用户采用某种方法输入另外一个三值图。但在二代身份证自助拍照处理设备，用户可能不懂图像处理知识，不能要求用户绘制或输入三值图，因此算法必须自动生成三值图。因此，提出一种基于多尺度的人像和背景显著性提取方法。

首先，采用双边滤波器对原始图像I进行滤波去除噪声，具体计算如下：

式中，x为图像二维坐标，N(x)为点x的邻域点集合，y为x的某个邻域点，I^c(x)为图像在x处的c通道像素值，c＝R、G或B，f_s(x,y)为空域核函数，f_v(g₁,g₂)为值域核函数。

然后，将滤波后的RGB图像变换到HSV色彩空间，具体变换公式如下：

V＝max(R,G,B) (3)

然后，对色度分量H进行圆周化，即如果H<0，则H＝H+360，直到H≥0为止，如果H>360，H＝H-360，直到H≤360为止。最后，对色度分量H和饱和度分量V进行归一化，即H＝H/360，V＝V/255。

在HSV空间，在每个像素的局部邻域区域内，计算不同尺度、不同视觉敏感度的局部差分对比度矢量，具体如下：

式中，g^c(x)是x点处的c通道像素值，是以x点为圆心、r为半径的圆上第i邻域点c通道像素值，i＝0,1,…,7，w^c是c通道的人眼敏感度权值。

在本发明算法中，c＝H、S或V，r＝1、2或3，因此每个像素点处可以提取出一个8*3*3＝72维的加权人眼敏感度矢量，表示如下：

然后，将上式敏感度矢量的每个分量绝对值大小按照降序排列，得到排序后的人眼敏感度特征矢量d^s(x)＝[d₁,…,d₇₂]，即|d₁|≥…≥|d₇₂|。为了抑制噪声，本算法选择两个索引阈值i₁和i₂，其中0≤i₁<i₂≤72，用于选择中间稳定的差分值。在本算法的实现中，选择i₁＝5和i₂＝10，用于计算该敏感度矢量的排序度量值，作为该点对比度显著值。具体显著图特征计算如下：

一旦得到了多尺度显著性图后，根据经验或学习方法确定一个阈值t_s，将对比度显著图m_s(x)分割成二值图：

m_b(x)＝m_s(x)≥t_s (9)

由于二值图m_b(x)可能存在孤立噪声区域，采用数学形态算子开运算，删除这些噪声区域，得到新的二值图m_b(x)。

为了从二值图得到三值图，采用高斯核函数对二值图进行卷积，得到平滑版本的多值图像:

m_f(x)＝m_b(x)*G_σ(x) (10)

式中，*表示卷积运算，σ为高斯核函数的尺度(偏差)。

根据σ的大小，选择合适阈值t₁和t₂，将平滑后的多值图像转化为三值图，具体计算如下：

式中，0代表背景点，1代表前景点，2代表未知点。

2、目标函数及其求解

对于某个未知点x，虽然该点观察像素值I是已知。但前景和背景像素值都未知，那么需要一种策略从其相邻的前景点集合N_F(x)和背景点集合N_B(x)，估算第i个前景点的像素值Fⁱ和第j个背景点的像素值B^j，设计如下目标函数：

ε(Fⁱ,B^j)＝w_cε_c(Fⁱ,B^j)+w_dε_d(Fⁱ,B^j)+w_sε_s(Fⁱ,B^j)(12)

其中，ε_c、ε_d、ε_s为色彩合成惩罚项、距离惩罚项、局部邻域平滑惩罚项，w_c、w_d、w_s分别为这些惩罚项的系数。

色彩合成误差惩罚项定义为：

候选前景背景点与当前未知点之间的距离越近越好，定义距离惩罚项为：

其中，d_FI和d_BI分别是当前点到前景点集合和背景点集合的最小距离，x_I、分别为当前点、第i个前景点和第j个背景点的坐标。

设未知点的已求解局部邻域点集合为N(x)，则前景点(或背景点)像素值应该保持局部变化比较小，也就是局部平滑项，具体定义如下：

式中，|N(x)|为已求解局部邻域点的个数。

为了降低时间复杂度，针对每个未知像素x，采用随机游走搜索算法，最小化公式(12)，从而得到该点对应的不透明度值α(x)。

以上对本发明所提供的技术方案进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (5)

1.一种二代身份证照片的人像背景智能全自动替换方法，其特征在于，包括以下步骤：

1)在HSV色彩空间，利用多尺度视觉敏感度排序度量方法，增强人像与背景显著性；

2)分割所述显著性图得到人像和背景初始二值图，采用形态学方法删除孤立的噪声区域，然后，采用高斯平滑方式自动生成三值图；

3)根据自动生成的三值图和原始人像照片，采用多尺度随机游走搜索方法，最小化抠图目标函数，求解得到人像前景的不透明度图。

2.根据权利要求1所述的一种二代身份证照片的人像背景智能全自动替换方法，其特征在于，所述多尺度视觉敏感度排序度量方法为：在HSV色彩空间，提出对HSV各分量采用不同的视觉敏感度权值，用于模拟各个分量对视觉敏感度的贡献差异，计算局部邻域差分矢量的敏感排序度量值，得到了与人眼视觉基本一致的显著性图。

3.根据权利要求1或2所述的一种二代身份证照片的人像背景智能全自动替换方法，其特征在于，利用多尺度视觉敏感度排序度量法增强人像与背景显著性图的方法具体为：

首先，采用双边滤波器对原始图像I进行滤波去除噪声，具体计算如下：

式中，x为图像二维坐标，N(x)为点x的邻域点集合，y为x的某个邻域点，I^c(x)为图像在x处的c通道像素值，c＝R、G或B，f_s(x,y)为空域核函数，f_v(g₁,g₂)为值域核函数；

然后，将滤波后的RGB图像变换到HSV色彩空间，具体变换公式如下：

V＝max(R,G,B) (3)

然后，对色度分量H进行圆周化，即如果H<0，则H＝H+360，直到H≥0为止，如果H>360，H＝H-360，直到H≤360为止；再对色度分量H和饱和度分量V进行归一化，即H＝H/360，V＝V/255；

在HSV空间，在每个像素的局部邻域区域内，计算不同尺度、不同视觉敏感度的局部差分对比度矢量，具体如下：

式中，g^c(x)是x点处的c通道像素值，是以x点为圆心、r为半径的圆上第i邻域点c通道像素值，i＝0,1,…,7，w^c是c通道的人眼敏感度权值；

在上述公式(6)中，c＝H、S或V，r＝1、2或3，因此每个像素点处可以提取出一个8*3*3＝72维的加权人眼敏感度矢量，表示如下：

然后，将上式敏感度矢量的每个分量绝对值大小按照降序排列，得到排序后的人眼敏感度特征矢量d^s(x)＝[d₁,…,d₇₂]，即|d₁|≥…≥|d₇₂|，为了抑制噪声，选择两个索引阈值i₁和i₂，其中0≤i₁<i₂≤72，用于选择中间稳定的差分值，在本算法的实现中，选择i₁＝5和i₂＝10，用于计算该敏感度矢量的排序度量值，作为该点对比度显著值，具体显著图特征计算如下：

4.根据权利要求3所述的一种二代身份证照片的人像背景智能全自动替换方法，其特征在于，所述三值图自动生成的方法为：

得到了所述显著性图后，根据经验或学习方法确定一个阈值t_s，将对比度显著图m_s(x)分割成二值图：

m_b(x)＝m_s(x)≥t_s (9)

由于二值图m_b(x)可能存在孤立噪声区域，采用数学形态算子开运算，删除这些噪声区域，得到新的二值图m_b(x)；

为了从二值图得到三值图，采用高斯核函数对二值图进行卷积，得到平滑版本的多值图像：

m_f(x)＝m_b(x)*G_σ(x) (10)

式中，*表示卷积运算，σ为高斯核函数的尺度(偏差)，

根据σ的大小，选择合适阈值t₁和t₂，将平滑后的多值图像转化为三值图，具体计算如下：

式中，0代表背景点，1代表前景点，2代表未知点。

5.根据权利要求4所述的一种二代身份证照片的人像背景智能全自动替换方法，其特征在于，所述步骤3)具体为：

对于某个未知点x，虽然该点观察像素值I是已知，但前景和背景像素值都未知，那么需要一种策略从其相邻的前景点集合N_F(x)和背景点集合N_B(x)，估算第i个前景点的像素值Fⁱ和第j个背景点的像素值B^j，设计如下目标函数：

其中，ε_c、ε_d、ε_s为色彩合成惩罚项、距离惩罚项、局部邻域平滑惩罚项，w_c、w_d、w_s分别为这些惩罚项的系数，

色彩合成误差惩罚项定义为：

候选前景背景点与当前未知点之间的距离越近越好，定义距离惩罚项为：

其中，d_FI和d_BI分别是当前点到前景点集合和背景点集合的最小距离，x_I、x_Fi、x_Bj分别为当前点、第i个前景点和第j个背景点的坐标，

设未知点的已求解局部邻域点集合为N(x)，则前景点(或背景点)像素值应该保持局部变化比较小，也就是局部平滑项，具体定义如下：

式中，|N(x)|为已求解局部邻域点的个数，

为了降低时间复杂度，针对每个未知像素x，采用随机游走搜索算法，最小化公式(12)，从而得到该点对应的不透明度值α(x)。