CN108805097A - 一种基于色彩空间转换的人脸识别与实时跟踪方法 - Google Patents

Abstract

本发明公开了一种基于色彩空间转换的人脸识别与实时跟踪方法，包括脸部特征的色彩空间转换；图像亮度信息的归一化处理；利用肤色和其他任一脸部特征颜色实现脸部识别；采用前向估计方法完成实时跟踪。本发明可实现用最小的频宽实现人脸快速识别和实时跟踪，具有冗余信息少，实时性好及稳定性高的优点。

Description

一种基于色彩空间转换的人脸识别与实时跟踪方法

技术领域

本发明属于计算机、通信和图像处理领域，具体涉及一种基于色彩空间转换的人脸识别与实时跟踪方法。

背景技术

在面部识别、人员检测、表情检测以及唇语解读等领域都用到人脸识别，而目前的通行方法主要是采用眼部定位或神经网络训练，普遍存在着对光照条件敏感、算法复杂、计算量大和实时性不佳的问题，无法适用于实时和动态识别要求高的场景。

发明内容

为解决上述问题，本发明提供了一种基于色彩空间转换的人脸识别与实时跟踪方法，可以不通过眼部定位和复杂的神经网络训练等方法，实现快速识别和实时跟踪。

本发明解决其问题所包括的步骤如下：

一种基于色彩空间转换的人脸识别与实时跟踪方法，其特征在于，包括以下步骤：

A.将脸部特征的RGB色彩空间转换成YIQ色彩空间；

B.将图像中脸部特征采样的亮度信息归一化处理；

C.利用肤色和其他任一脸部特征颜色实现脸部识别；

D.采用前向估计方法完成实时跟踪。

进一步的，所述步骤A的具体实现方式为：

(1)对RGB信息重新编码，转换到YUV色彩空间

根据RGB_YUV转换公式有下式：

其中C₁和C₂为压缩比；

通常取值为并且满足条件C₁ ²+C₂ ²＝1，因此，可以结合三角函数关系，令

以上算式中，Y表示颜色的灰度值，U和V表示色差，并且U，V两色差信息是正交的，因此，可认为在二维坐标系(U，V)中，二维颜色信息向量的模值N_v表达了颜色的饱和度Sa，其相位角θ表达了颜色的色调Hu，以上关系可表示为下式：

(2)将YUV色彩空间转换为YIQ空间，最终将RGB转换为IQ空间：

根据YUV_YIQ转换关系，有下式：

由上式，可直观地看出U-V空间逆时针转动33°便可得到IQ空间，因此，得到RGB_YIQ转换算式如下：

进一步的，所述步骤B的具体实现方式为：

(1)利用样本的原始RGB信息进行处理，对亮度信息归一化处理

原始颜色空间信息记为[R G B]^T归一化后的颜色空间信息记为[R_N G_N B_N]^T，则归一化算式如下：

(2)变换样本的二维色度信息(I，Q)平面，使得样本的人脸特征色度信息映射到色度平面区域后，能够集中体现在质心轴上

①根据样本，绘制在不同时段的自然光照、多种人工光照下特征色的色调相位分布，进而确定特征颜色色调分布极值所对应的相位角θ_m

②利用步骤①所确定的极值相位θ_m，在原始色度坐标系(I，Q)的基础上，生成特征色度坐标系

根据三角函数关系和分量的正交特性，可得变换算式：

结合RGB_YIQ的空间转换算式，可得，

进一步的，所述步骤C的具体实现方式为：

(1)肤色和脸部第二特征色的定位与预处理

假设图像中肤色区域的像素点集为Set_sk，第二特征色区域的像素点集记为Set₂，则两部分区域的面积为：

其中，

经过上述计算，若满足条件：则可作为初级目标区域集Set_o；

(2)对初级目标区域集Set_o的像素色度信息Cm₁(x，y)，Cm₂(x，y)进行平滑处理

式中n为Set_o的维度，i，j分别为特征颜色空间的x，y的计数；

(3)人脸图像尺寸的归一化处理，生成脸像基本色度规律

脸像在不同的环境和姿态的情况下，具有不同的像素形状，为了抓取脸像的基本色度分布规律，使其在不同姿态下，都能够包含这一规律，采用图像的色度质量分布图H(Cm₁，Cm₂)来反映这一规律：

(4)排除初级目标区域集Set_o中的非脸部部分

①提取初级目标区域集Set_o中与步骤(3)生成的基本色度差异最大的特征点：

②排除非脸部部分的特征点：

参数ρ为敏感度阈值，根据样本值统计得到，也可作为AI接口，由机器学习训练得到，

σ₁和σ₂为经验值，一般取值为W×B为图像像素数；

满足上式所述条件的，判定为脸部特征，其余特征被排除。

进一步的，所述步骤D的具体实现方式为：

假设系统在当前时间以及前后两个单位时间下的三个状态记为t₀，t₀+1，t₀-1，目标的运动速度记为则前向估计方法如下：

(1)目标下一时刻运动速度估计

因此，目标下一时刻的运动速度估计

(2)根据上述估计，那么目标在(t₀+1)状态时的位置前向估计为：

本发明的有益效果为：

本发明所述的一种基于色彩空间转换的人脸识别与实时跟踪方法可实现用最小的频宽实现人脸快速识别和实时跟踪，具有冗余信息少，实时性好及稳定性高的优点。

附图说明

图1为一种基于色彩空间转换的人脸识别与实时跟踪方法整体流程图；

图2为样本图像在多光源下的色调相位分布曲线；

图3为本发明的识别和跟踪效果。

具体实施方式

本方法实施例基于色彩空间转换的人脸识别与实时跟踪方法包括以下步骤：

A.脸部特征的色彩空间转换；

通用的RGB色彩空间因需要独立通道来传输颜色的三维信息，不利于高实时性的处理，为了实现脸部快速识别和实时跟踪，本方法首先将RGB色彩空间转换成亮度-色度空间PAL制式的YUV空间和NTSC制式的YIQ空间，这两种色彩空间均是用颜色的灰阶值Y和色度信息组成，但是YIQ空间将色度信息分解成I和Q，分别对应于人眼最敏感的色度和人眼最不敏感的色度，只需用最小的频宽来处理Q信息，可以从根本上实现以最小的带宽和最少的冗余信息来处理图像，因此本发明将色彩空间最终都转换成YIQ空间，方法如下：

(1)对RGB信息重新编码，转换到YUV色彩空间，本实例采用planar格式。

根据RGB_YUV转换公式有下式：

其中C₁和C₂为压缩比。

通常取值为并且满足条件C₁ ²+C₂ ²＝1，因此，可以结合三角函数关系，令

以上算式中，Y表示颜色的灰度值，U和V表示色差，并且U，V两色差信息是正交的。因此，可认为在二维坐标系(U，V)中，二维颜色信息向量的模值N_v表达了颜色的饱和度Sa，其相位角θ表达了颜色的色调Hu，以上关系可表示为下面算式：

(2)将YUV色彩空间转换为YIQ空间，最终将RGB转换为IQ空间：

根据YUV_YIQ转换关系，有下式：

由上式，可直观地看出U-V空间逆时针转动33°便可得到IQ空间。因此，得到RGB_YIQ转换算式如下：

B.图像中脸部特征采样的亮度信息归一化处理：

为了提高人脸识别的稳定性和实时性，本发明以肤色和脸部特征颜色作为处理的基础。以颜色作为处理依据的方法在原理上存在着易受环境光照影响，对后续的人脸识别造成严重影响。从颜色空间可知，环境光照对肤色信息的影响主要是灰阶值，而不是对色彩直接造成影响，在步骤A中，通过RGB_YIQ颜色空间的转换，将颜色信息转变成了灰阶值和色差，也就是亮度和色度两部分，因此，只要将样本的亮度信息归一化处理，就能够充分利用色度信息展开识别工作。方法如下：

(1)利用样本的原始RGB信息进行处理，对亮度信息归一化处理：

原始颜色空间信息记为[R G B]^T归一化后的颜色空间信息记为[R_N G_N B_N]^T，则归一化算式如下：

(2)变换样本的二维色度信息(I，Q)平面，使得样本的人脸特征色度信息映射到色度平面区域后，能够集中体现在质心轴上：

①根据样本，绘制在不同时段的自然光照、多种人工光照下特征色的色调相位分布，进而确定特征颜色色调分布极值所对应的相位角θ_m，如图2所示；

②利用步骤①所确定的极值相位θ_m，在原始色度坐标系(I，Q)的基础上，生成特征色度坐标系

根据三角函数关系和分量的正交特性，可得变换算式：

结合步骤A的空间转换算式，可得，

即，

这样便将原始RGB颜色信息转换到特征色度坐标系，脸部其他特征都可按照上述方法来转换，比如眼部、唇部颜色等。

C.利用肤色和其他任一脸部特征颜色实现脸部识别：

(1)肤色和脸部第二特征色的定位与预处理；

假设图像中肤色区域的像素点集为Set_sk，第二特征色区域的像素点集记为Set₂，则两部分区域的面积为：

其中，

经过上述计算，若满足条件：则可作为初级目标区域集Set_o，其中尚包含干扰和噪声等假目标信息。

(2)对初级目标区域集Set_o的像素色度信息Cm₁(x，y)，Cm₂(x，y)进行平滑处理：

式中n为Set_o的维度，i，j分别为特征颜色空间的x，y的计数。

(3)人脸图像尺寸的归一化处理，生成脸像基本色度规律：

脸像在不同的环境和姿态的情况下，具有不同的像素形状，为了抓取脸像的基本色度分布规律，使其在不同姿态下，都能够包含这一规律，采用图像的色度质量分布图H(Cm₁，Cm₂)来反映这一规律：

(4)排除初级目标区域集Set_o中的非脸部部分：

①提取初级目标区域集Set_o中与步骤(3)生成的基本色度差异最大的特征点：

②排除非脸部部分的特征点：

参数ρ为敏感度阈值，根据样本值统计得到，也可作为AI接口，由机器学习训练得到。

σ₁和σ₂为经验值，一般取值为W×B为图像像素数。

满足上式所述条件的，判定为脸部特征，其余特征被排除。

D.采用前向估计方法完成实时跟踪。

为了取得更高的实时性，本发明采用前向估计的方法，以提高系统灵敏度和计算效率。假设系统在当前时间以及前后两个单位时间下的三个状态记为t₀，t₀+1，t₀-1，目标的运动速度记为则前向估计方法如下：

(1)目标下一时刻运动速度估计

因此，目标下一时刻的运动速度估计

(2)根据上述估计，那么目标在(t₀+1)状态时的位置前向估计为：

上述算式具有前向预估特性，能够在其他条件相同的前提下，大大提高脸部识别后的实时跟踪效率。

综上所述，便完成了本发明所述的一种基于色彩空间转换的人脸识别与实时跟踪方法，本方法可实现用最小的频宽实现人脸快速识别和实时跟踪，具有冗余信息少，实时性好及稳定性高的优点。

Claims (5)

1.一种基于色彩空间转换的人脸识别与实时跟踪方法，其特征在于，包括以下步骤：

A.将脸部特征的RGB色彩空间转换成YIQ色彩空间；

B.将图像中脸部特征采样的亮度信息归一化处理；

C.利用肤色和其他任一脸部特征颜色实现脸部识别；

D.采用前向估计方法完成实时跟踪。

2.如权利要求1所述的基于色彩空间转换的人脸识别与实时跟踪方法，其特征在于：

所述步骤A的具体实现方式为：

(1)对RGB信息重新编码，转换到YUV色彩空间

根据RGB_YUV转换公式有下式：

其中C₁和C₂为压缩比；

通常取值为并且满足条件C₁ ²+C₂ ²＝1，因此，可以结合三角函数关系，令

以上算式中，Y表示颜色的灰度值，U和V表示色差，并且U,V两色差信息是正交的，因此，可认为在二维坐标系(U,V)中，二维颜色信息向量的模值N_v表达了颜色的饱和度Sa，其相位角θ表达了颜色的色调Hu，以上关系可表示为下式：

(2)将YUV色彩空间转换为YIQ空间，最终将RGB转换为IQ空间：

根据YUV_YIQ转换关系，有下式：

由上式，可直观地看出U-V空间逆时针转动33°便可得到IQ空间，因此，得到RGB_YIQ转换算式如下：

3.如权利要求1或2所述的基于色彩空间转换的人脸识别与实时跟踪方法，其特征在于：

所述步骤B的具体实现方式为：

(1)利用样本的原始RGB信息进行处理，对亮度信息归一化处理

原始颜色空间信息记为[R G B]^T归一化后的颜色空间信息记为[R_N G_N B_N]^T，则归一化算式如下：

(2)变换样本的二维色度信息(I,Q)平面，使得样本的人脸特征色度信息映射到色度平面区域后，能够集中体现在质心轴上

①根据样本，绘制在不同时段的自然光照、多种人工光照下特征色的色调相位分布，进而确定特征颜色色调分布极值所对应的相位角θ_m

②利用步骤①所确定的极值相位θ_m，在原始色度坐标系(I,Q)的基础上，生成特征色度坐标系

根据三角函数关系和分量的正交特性，可得变换算式：

结合RGB_YIQ的空间转换算式，可得，

4.如权利要求3所述的基于色彩空间转换的人脸识别与实时跟踪方法，其特征在于：

所述步骤C的具体实现方式为：

(1)肤色和脸部第二特征色的定位与预处理

假设图像中肤色区域的像素点集为Set_sk，第二特征色区域的像素点集记为Set₂，则两部分区域的面积为：

其中，

经过上述计算，若满足条件：则可作为初级目标区域集Set_o；

(2)对初级目标区域集Set_o的像素色度信息Cm₁(x,y)，Cm₂(x,y)进行平滑处理

式中n为Set_o的维度，i,j分别为特征颜色空间的x,y的计数；

(3)人脸图像尺寸的归一化处理，生成脸像基本色度规律

脸像在不同的环境和姿态的情况下，具有不同的像素形状，为了抓取脸像的基本色度分布规律，使其在不同姿态下，都能够包含这一规律，采用图像的色度质量分布图H(Cm₁,Cm₂)来反映这一规律：

(4)排除初级目标区域集Set_o中的非脸部部分

①提取初级目标区域集Set_o中与步骤(3)生成的基本色度差异最大的特征点：

②排除非脸部部分的特征点：

参数ρ为敏感度阈值，根据样本值统计得到，也可作为AI接口，由机器学习训练得到，

σ₁和σ₂为经验值，一般取值为W×B为图像像素数；

满足上式所述条件的，判定为脸部特征，其余特征被排除。

5.如权利要求4所述的基于色彩空间转换的人脸识别与实时跟踪方法，其特征在于：

所述步骤D的具体实现方式为：

假设系统在当前时间以及前后两个单位时间下的三个状态记为t₀，t₀+1，t₀-1，目标的运动速度记为则前向估计方法如下：

(1)目标下一时刻运动速度估计

因此，目标下一时刻的运动速度估计

(2)根据上述估计，那么目标在(t₀+1)状态时的位置前向估计为：