CN102024156B - 彩色人脸图像中的唇部区域定位方法 - Google Patents

Abstract

本发明提供一种彩色人脸图像中的唇部区域定位方法，技术方案包含两个步骤：唇部区域粗定位阶段和唇部区域精确定位阶段。在唇部区域粗定位阶段，将输入的彩色人脸图像利用平行线投影分割技术和肤色检测技术同时进行两种处理，并把得到的结果进行或运算，得到唇部区域粗定位结果。在唇部区域精确定位阶段，在粗定位结果中的唇部边缘特征点周围构建窄带区域，然后利用闭式解分割技术对窄带区域进行纹理分割，最后将主动形状模型的特征模板与纹理分割结果进行匹配，通过一系列迭代过程，输出唇部区域精确定位结果。利用本发明能够在图像含有噪声的情况下仍然实现唇部区域的精确定位。

Description

彩色人脸图像中的唇部区域定位方法

技术领域

本发明属于数字图像处理领域，涉及一种人脸图像中唇部区域的定位方法。

背景技术

人脸图像中唇部区域的提取与精确定位在人脸识别、语音动画合成、多模式人机交互、虚拟主持人等方面有着重要的应用。在图像的传输和存储过程中，经常会受到散粒噪声、光电子噪声、热噪声等各种噪声的干扰，极大地降低了图像的质量，妨碍了唇部区域的精确定位。因此，如何在人脸图像，特别是含有噪声的人脸图像中对唇部区域进行精确定位，是一个亟待解决的问题。

唇部区域是人脸中特征十分突出的部位之一。早期的唇部区域定位的方法是针对灰度图像采用阈值分割的方法，即单纯地利用图像的一维灰度直方图或二维灰度直方图，根据灰度信息分割人脸图像，然后对唇部区域进行检测与定位。由于唇部区域和人脸肤色的灰度信息差别较小，这种定位方法不能达到很高的精度。

唇部区域的唇色相对于人脸肤色的颜色较红，因而许多方法着眼于利用人脸图像中彩色信息实现唇部区域的检测和定位。已有的方法是对彩色图像进行色彩空间变换，从RGB（Red－Green－Blue，简称红绿蓝）空间转换到                                               

(Luminance-Chroma简称亮度-色度)空间，选取其中区分肤色和唇色比较明显的一个或多个分量进行唇部区域检测和定位，定位时采用线性判别限制一定颜色范围为唇色。这种定位方法过于粗糙，容易受到噪声和不同光照条件的影响。

另外，一些研究人员提出了自动轮廓模型、可变形模型和主动形状模型来实现唇部区域的定位。但这些方法存在人工痕迹明显，定位不精确的缺点。一些人提出了多级、由粗到细的唇部特征提取策略，这种方法在检测到大致人脸区域的基础上，利用人脸构造的先验知识、面部灰度分布特性粗略地估计唇部特征点，再借助于给出模板的初始参数，实现精确的唇部区域定位。然而，这种方法需要事先训练较多的初始特征参数，在图像噪声较大的情况下，不能保证初始特征参数的正确性，因而影响唇部区域的精确定位结果。

发明内容

本发明提供一种彩色人脸图像中的唇部区域定位方法，能够在图像含有噪声的情况下仍然实现唇部区域的精确定位。

本发明的技术方案包含两个步骤：唇部区域粗定位阶段和唇部区域精确定位阶段。在唇部区域粗定位阶段，一种处理步骤是将输入的彩色人脸图像转换为灰度图像，并用平行线投影分割技术对灰度图像进行分割；另一种处理步骤是将输入的彩色人脸图像利用肤色检测技术进行检测，并将检测结果二值化；最后，将上述两种处理步骤得到的结果进行或运算，得到唇部区域粗定位结果。在唇部区域精确定位阶段，在粗定位结果中的唇部边缘特征点周围构建窄带区域，然后利用闭式解分割技术对窄带区域进行纹理分割，最后将主动形状模型的特征模板与纹理分割结果进行匹配，通过一系列迭代过程，输出唇部区域精确定位结果。

本发明的具体实施步骤是：

第一步，唇部区域粗定位阶段。

设输入彩色人脸图像为FaceImage，对该彩色图像同时进行下述两种处理：

第一种处理，转换为灰度图像并进行分割，包括：

第（1）步，将彩色人脸图像FaceImage转换为灰度人脸图像

，灰度级取值范围为从0到L。其中，L为整数，并且L的取值范围为[128,512]。

第（2）步，用平行线投影分割方法对灰度人脸图像

进行分割，得到图像

的二值分割结果，记为图像SegResult₁，二值的取值为0和1。

第二种处理，肤色检测并进行二值化分割，包括：

第（1）步，肤色检测。

将彩色人脸图像FaceImage的各像素值在

 （Luminance-Chrom，称亮度-色度）彩色空间表示，设坐标为

的像素，亮度值是，蓝色色度是

，红色色度是

。在彩色人脸图像的唇部区域中，

的强度远高于

的强度。肤色检测计算公式为：

            （公式一）

      

                       _{（公式二）}

利用肤色检测计算公式得到灰度图像

，灰度图像

中坐标为的像素对应的灰度值是

。

第（2）步，二值化分割。

用模糊C-均值聚类算法对灰度图像

进行二值化分割，得到二值分割结果，记为图像SegResult₂，二值的取值为0和1。

将第一种处理得到的结果SegResult₁和第二种处理得到的结果SegResult₂进行或运算，得到唇部区域粗定位结果SegResult_a。SegResult_a为二值图像，对应取值是1的区域称为目标区，即为唇部区域。

第二步，唇部区域精确定位阶段。

本步骤输入唇部区域粗定位结果SegResult_a，输出唇部区域精确定位结果SegResult_b。

第[1]步，利用主动形状模型 (Active Shape Model，简称ASM)方法训练已知唇部区域的图像（将已知唇部区域的图像的集合称为训练集），得到基于训练集的特征模板，该特征模板为一个唇部区域的像素点集。

第[2]步，构建窄带区域。

利用边缘提取方法提取二值图像SegResult_a中目标区的边缘点，将提取的边缘点作为特征点，利用提取出的特征点构建窄带区域，具体构建方法见“具体实施方式”中引用的文章。

第[3]步，闭式解分割。

对窄带区域

做闭式解分割，通过最小化代价函数，得到最优分割结果。其具体过程描述为：假设窄带区域

的任意一个像素点

在灰度人脸图像

中对应相同位置像素点的灰度值

（

为窄带区域

的像素点序列号）都由目标值和背景值

按照比例组成，决定目标值

所占比例的比例参数为

，则

                           （公式四）

令

，

                          （公式五）

其中

，，

代表像素点

周围一个

的窗函数，通过拉格朗日法寻找不同的

、

、

，使得代价函数最小化，

                 （公式六）

设当上述代价函数

取最小值时对应的比例参数

的取值为

。当

时，判断像素点

为目标点，当

时，判断像素点

为背景点，所有被判断为目标点的像素点构成了一个目标模板。

第[4]步，主动形状模型特征模板匹配。

设

为目标模板，

为特征模板，将目标模板和特征模板进行匹配：

当 

，目标模板所对应的相同坐标的像素点即对应彩色人脸图像FaceImage的唇部区域SegResult_b；否则，令

 为二值图像SegResult_a中的目标区，返回第[2]步。

本发明的有益效果：在唇部区域粗定位过程中，平行线投影分割方法能够有效避免噪声的影响，但该方法对唇部区域的边界不敏感。肤色检测技术能够利用颜色信息精确地检测出无噪声人脸图像中的唇部区域，但检测结果容易受到噪声的干扰，稳定性差。因此，唇部区域的粗定位过程集合了这两种方法的优点，最大程度地避免了噪声对分割结果的影响，确定了唇部区域的大致范围。在唇部区域精确定位过程中，通过构建窄带区域，使得分割区域减小，减少了闭式解分割技术的计算量，提高了计算精度，减少了计算时间。另外，将闭式解分割技术有效地融入到主动形状模型中，改善了传统主动形状模型技术中对平滑区域特征点收敛不精确的问题，这样做的优势在于：闭式解分割技术对平滑图像分割较为精确，因此可用该方法分割出图像中的平滑区域，即人脸区域，使得目标人脸像素保留，而背景像素为零，这样可使平滑部分边缘突变，更有利于唇部区域定位的匹配计算。利用主动形状模型特征模板进行循环匹配，直到满足匹配条件，进一步提高了唇部区域的定位精度结果。

附图说明

图1是本发明提供的彩色人脸图像唇部区域定位流程示意图；

图2是利用本发明进行仿真实验的结果实例1；

图3是利用本发明进行仿真实验的结果实例2；

图4是利用本发明进行仿真实验的结果实例3。

具体实施方式

下面结合附图对本发明进行详细说明。

图1是本发明提供的彩色人脸图像唇部区域定位流程示意图。如图1所示，包含两个步骤：第一步，唇部区域粗定位阶段；第二步，唇部区域精确定位阶段。在第一步的唇部区域粗定位阶段，输入的彩色人脸图像FaceImage，首先转换为灰度图像，并用平行线投影分割方法对灰度图像进行分割，得到二值分割结果SegResult_1，其中平行线投影分割方法参见工学博士论文《真实感汉语可视语音合成关键技术研究》，国防科技大学，2010年1月，作者：赵晖；同时，对输入的彩色图像进行肤色检测，并实施二值化分割, 得到二值分割结果SegResult₂；最后，将上述得到的结果SegResult₁和SegResult₂进行或运算，得到唇部区域粗定位结果SegResult_a。在唇部区域精确定位阶段，首先利用主动形状模型方法训练图像，得到特征模板，具体实现方法参见论文《Multi-resolution search with active shape models》，Proceedings of International Conference on Pattern Recognition，1994, 1:610-612，作者：Cootes T F, Taylor C J；然后利用唇部区域的粗定位结果SegResult_a构建窄带区域，窄带区域构建方法参见论文《改进的多模板ASM人脸面部特征定位算法》，计算机辅助设计与图形学学报，2010，10：1762-1768，作者：李皓、谢琛、唐朝京，然后利用闭式解分割技术对窄带区域进行分割，构建目标模板，将特征模板与目标模板进行匹配，通过一系列迭代过程，输出唇部区域精确定位结果SegResult_b，其中用到的匹配方法参见论文《改进的多模板ASM人脸面部特征定位算法》，计算机辅助设计与图形学学报，2010，10：1762-1768，作者：李皓、谢琛、唐朝京。

图2～图4是利用本发明进行仿真实验的结果。仿真实验采用软件matlab7.6编程实现，计算机的处理器为双核Athlon CPU 2.29GHz，内存2.00G。选取300幅已知唇部区域的彩色人脸图像作为训练集，对200幅无噪声的彩色人脸图像和300幅含噪声的彩色人脸图像利用本发明进行唇部区域定位，这些图像的人脸全部正对屏幕。每幅图像处理的平均时间为0.17秒。随机选取其中的三幅图像及处理结果，如图5、图6和图7所示。图5（a）为含高斯噪声

的彩色人脸图像；（b）为唇部区域粗定位结果；（c）为唇部区域精确定位结果。图6（a）为含泊松噪声的彩色人脸图像；（b）为唇部区域粗定位结果；（c）为唇部区域精确定位结果。图7（a）为含椒盐噪声的彩色人脸图像；（b）为唇部区域粗定位结果；（c）为唇部区域精确定位结果。以上三幅图中，（b）和（c）中均利用红色曲线标识出唇部区域的轮廓。从图中可以看出，本发明提供的唇部区域定位方法具有较高的定位精度和较强的抗噪声能力。

Claims (2)

1.一种彩色人脸图像中的唇部区域定位方法，其特征在于包括下述步骤：

第一步，唇部区域粗定位阶段；

设输入彩色人脸图像为FaceImage，对该彩色人脸图像同时进行下述两种处理：

第一种处理，转换为灰度图像并进行分割，包括：

第(1)步，将彩色人脸图像FaceImage转换为灰度人脸图像f，灰度级取值范围为从0到L；其中，L为整数；

第(2)步，用平行线投影分割方法对灰度人脸图像f进行分割，得到图像f的二值分割结果，记为图像SegResult₁，二值的取值为0和1；

第二种处理，肤色检测并进行二值化分割，包括：

第(1)步，肤色检测；

将彩色人脸图像FaceImage的各像素值在亮度-色度彩色空间表示，设坐标为(x，y)的像素，亮度值是Y(x，y)，蓝色色度是C_b(x，y)，红色色度是C_r(x，y)；

肤色检测计算公式为：

MouthMap(x，y)＝C_r(x，y)²·(C_r(x，y)²-η·C_r(x，y)/C_b(x，y))²

$\mathrm{\η}=0.95\×\frac{\underset{(x,y)\∈\mathrm{FaceImage}}{\mathrm{\Σ}}{C}_r{(x,y)}^2}{\underset{(x,y)\∈\mathrm{FaceImage}}{\mathrm{\Σ}}{C}_r(x,y)/C_b(x,y)}$

利用肤色检测计算公式得到灰度图像m，灰度图像m中坐标为(x，y)的像素对应的灰度值是MouthMap(x，y)；

第(2)步，二值化分割；

用模糊C-均值聚类算法对灰度图像m进行二值化分割，得到二值分割结果，记为图像SegResult₂，二值的取值为0和1；

将第一种处理得到的结果SegResult₁和第二种处理得到的结果SegResult₂进行或运算，得到唇部区域粗定位结果SegResult_a；SegResult_a为二值图像，对应取值是1的区域称为目标区；

第二步，唇部区域精确定位阶段；

第[1]步，利用主动形状模型方法训练已知唇部区域的图像，将已知唇部区域的图像的集合称为训练集，得到基于训练集的特征模板，该特征模板为一个唇部区域的像素点集；

第[2]步，构建窄带区域；

利用边缘提取方法提取二值图像SegResult_a中目标区的边缘点，将提取的边缘点作为特征点，利用提取出的特征点构建窄带区域I；

第[3]步，闭式解分割；

对窄带区域I做闭式解分割，通过最小化代价函数，得到最优分割结果；其具体过程描述为：假设窄带区域I的任意一个像素点j在灰度人脸图像f中对应相同位置像素点的灰度值I_j，其中j为窄带区域I的像素点序列号，都由目标值F_j和背景值B_j按照比例组成，决定目标值F_j所占比例的比例参数为α_j，则

I_j＝α_jF_j+(1-α_j)B_j

令

α_j＝a_jI_j+b_j， $\∀j\∈W_j$

其中a_j、b_j是比例系数，并且a_j＝1/(F_j-B_j)，b_j＝-B_j/(F_j-B_j)，W_j代表像素点j周围一个3×3的窗函数，通过拉格朗日法寻找不同的α_j、a_j、b_j，使得代价函数J(α_j，a_j，b_j)最小化，

$J({\mathrm{\α}}_j,a_j{,b}_j)=\underset{j\∈I}{\mathrm{\Σ}}(\underset{j\∈W_j}{\mathrm{\Σ}}{({\mathrm{\α}}_j-a_j{I}_j-b_j)}^2+0.001\·a_j^2)$

设当上述代价函数J(α_j，a_j，b_j)取最小值时对应的比例参数α_j的取值为α_min；当α_min≥0.5时，判断像素点j为目标点，当α_min＜0.5时，判断像素点j为背景点，所有被判断为目标点的像素点构成了一个目标模板；

第[4]步，主动形状模型特征模板匹配；

设A_l为目标模板，A_r为特征模板，将目标模板和特征模板进行匹配：

当A_l∩A_r＞A_r·75％，目标模板所对应的相同坐标的像素点即对应彩色人脸图像FaceImage的唇部区域SegResult_b；否则，令Al为二值图像SegResult_a中的目标区，返回第[2]步。

2.根据权利要求1所述的彩色人脸图像中的唇部区域定位方法，其特征在于，L的取值范围为[128，512]。

Images