CN105139004B - 基于视频序列的人脸表情识别方法 - Google Patents
基于视频序列的人脸表情识别方法 Download PDFInfo
- Publication number
- CN105139004B CN105139004B CN201510612526.XA CN201510612526A CN105139004B CN 105139004 B CN105139004 B CN 105139004B CN 201510612526 A CN201510612526 A CN 201510612526A CN 105139004 B CN105139004 B CN 105139004B
- Authority
- CN
- China
- Prior art keywords
- facial expression
- expression sequence
- image
- hcbp
- dynamic space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 280
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 33
- MVWHGTYKUMDIHL-UHFFFAOYSA-N 2,2',4,4',5,5'-hexachlorobiphenyl Chemical compound C1=C(Cl)C(Cl)=CC(Cl)=C1C1=CC(Cl)=C(Cl)C=C1Cl MVWHGTYKUMDIHL-UHFFFAOYSA-N 0.000 claims abstract description 27
- 230000014509 gene expression Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 33
- 238000012706 support-vector machine Methods 0.000 claims description 23
- 230000011218 segmentation Effects 0.000 claims description 19
- 238000012360 testing method Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000002474 experimental method Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 7
- 206010063659 Aversion Diseases 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 5
- 230000000903 blocking effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000002790 cross-validation Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 8
- 230000008569 process Effects 0.000 abstract description 4
- 238000000638 solvent extraction Methods 0.000 abstract 1
- 238000005286 illumination Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- NSXJEEMTGWMJPY-UHFFFAOYSA-N 9-[3-(3-carbazol-9-ylphenyl)phenyl]carbazole Chemical compound C12=CC=CC=C2C2=CC=CC=C2N1C1=CC(C=2C=CC=C(C=2)N2C3=CC=CC=C3C3=CC=CC=C32)=CC=C1 NSXJEEMTGWMJPY-UHFFFAOYSA-N 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明基于视频序列的人脸表情识别方法，涉及用于识别图形的方法，是一种利用HCBP‑TOP算法提取人脸表情序列的动态时空纹理特征的人脸表情识别方法，步骤是：人脸表情序列预处理；采用空间金字塔分割方式对人脸表情序列图像分层分块处理；利用HCBP‑TOP算法提取人脸表情序列图像的动态时空纹理特征；采用SVM分类器进行人脸表情的训练和预测。本发明方法克服了现有技术没有考虑中心像素，忽视局部细节信息，人脸表情识别的效率和识别精度均较低，不具有普遍的适用性的缺陷。
Description
技术领域
本发明的技术方案涉及用于识别图形的方法，具体地说是基于视频序列的人脸表情识别方法。
背景技术
表情是人类情感交流中最有效的方式，近几年来人脸表情识别系统在涉及视觉系统和模式识别的领域中都有重要的应用，如心理学研究、视频会议、情感计算、智能人机交互和医疗行业。随着人机交互技术全面地提升，研究如何让计算机系统更有能力地感知人类表情是目前人工智能的焦点，研究发展人脸表情识别系统具有重要意义。
早期的人脸表情识别方法集中于研究静态图像中的人脸表情，然而，静态图像存在的主要问题是忽略了时域信息。人脸表情作为一个动态的变化过程，其时域信息起着非常重要的作用。基于视频序列的人脸表情识别方法能更好地反映人脸表情本身的变化，从而提高人脸表情识别的精确性和鲁棒性。因此，研究基于视频序列的人脸表情识别具有重要的科研意义。
现有的基于视频序列的人脸表情识别方法有：加州大学的Bartlett等于1999年利用多尺度多方向的Gabor滤波器提取人脸图像特征，然后利用支持向量机(support vectormachines，SVM)进行特征分类，从而识别出不同的人脸表情。但是Gabor特征具有计算复杂度大、维度高以及易受光照干扰的缺点；清华大学的王宇博等于2003年提取人脸图像的Haar-like特征，然后利用基于连续Adaboost的算法对人脸表情分类。Haar-like几何特征具有直观、维度低和描述能力强的一些优点，但该方法对边缘特征和线特征较为敏感，特征提取精度不高，另外，当图像或视频的背景环境复杂时，Adaboost分类器会产生较高的误识别。北卡罗来纳大学的Liao于2009年利用占优局部二值模式(Dominant LBP, DLBP)和Gabor方法结合提取特征，针对LBP算法进行了主要特征的挑选，使得运算更为快捷，且结合DLBP和Gabor方法提取特征后进行纹理分类得到了很好的效果，但该方法存在两个方面的缺点：一方面，LBP在图像纹理特征表达方面没有考虑到中心像素的影响；另一方面，该方法没有充分考虑到时域信息的作用，丢失了一部分信息而导致识别率不理想。针对LBP没有考虑到中心像素这一缺陷，近年来在LBP基础上提出的中心化二值模式(以下简称CBP)为这个问题的解决提供了思路，在此基础上又提出多尺度 CBP(简称MCBP)和嵌入图像欧式距离(IMED)的MCBP(简称MCBP-IMED)方法。LBP由于具有灰度不变性和旋转不变性的优点，因此在表情识别领域得到广泛的应用，但其缺陷是很难获得较大的空间支持区域，并且对光照方向和视角的变化不具鲁棒性，在纹理分类方面表现并不尽如人意。
发明内容
本发明所要解决的技术问题是：提供基于视频序列的人脸表情识别方法，是一种利用三维正交Haar-like中心二值模式(Haar-like Centralized Binary Patterns fromThree Orthogonal Panels，以下简称HCBP-TOP)提取人脸表情序列的动态时空纹理特征的人脸表情识别方法，克服了现有技术没有考虑中心像素，忽视局部细节信息，人脸表情识别的效率和识别精度均较低，不具有普遍的适用性的缺陷。
本发明解决该技术问题所采用的技术方案是：基于视频序列的人脸表情识别方法，是一种利用HCBP-TOP算法提取人脸表情序列的动态时空纹理特征的人脸表情识别方法，具体步骤如下：
第一步，人脸表情序列图像预处理：
(1)人脸表情序列图像裁剪：
将从已有人脸表情视频序列数据库读取到的人脸表情序列图像由RBG空间转化到灰度空间，采用的公式(1)如下：
Gray＝0.299R+0.587G+0.114B (1)，
其中，Gray为灰度值，范围一般从0到255，R为红色分量，G为绿色分量，B为蓝色分量，
根据人脸面部“三庭五眼”的特征和人脸的几何模型，对转化到灰度空间的人脸表情序列图像进行裁剪，设双眼之间的水平距离为d，以两眼连线的中点为基准点，向上距离基准点0.55d处定为上边界，向下距离基准点1.45d处定为下边界，向左距离0.9d处定为左边界，向右距离0.9d处定为右边界，由此完成人脸表情序列图像裁剪；
(2)人脸表情序列图像缩放：
对上述(1)裁剪后的人脸表情序列采用双三次插值算法改变图像的尺度，实现尺度归一化，以进行人脸表情序列图像缩放，经过人脸表情序列缩放后的人脸图像大小为64× 64像素；
(3)人脸表情序列图像灰度均衡化：
采用直方图均衡化对上述(2)处理得到的人脸表情序列图像进行灰度处理，至此完成人脸表情序列图像预处理；
第二步，采用空间金字塔分割方式对人脸表情序列图像分层分块处理：
空间金字塔分割即在空间上对图像进行逐步细分，这里采用的空间金字塔分割方式是在人脸表情序列图像的水平和竖直两个标准坐标方向上进行2的指数倍数的划分，设金字塔的总层数为L+1，金字塔各层的层数i分别为0，1，2，…，L，金字塔第i层的分割方法为：在水平标准坐标方向把人脸表情序列图像划分为2i块，在竖直标准坐标方向把人脸表情序列图像划分为2i块，最终将人脸表情序列图像划分为2i×2i块，这里设定上述 L＝2，即利用空间金字塔分割方式把第一步中预处理后的人脸表情序列图像分成2+1层，第零层为原人脸表情序列图像，第i层把原人脸表情序列图像分成2i×2i的子块，i＝1，2；
第三步，利用HCBP-TOP算法提取人脸表情序列图像的动态时空纹理特征：
利用HCBP-TOP算法对人脸表情序列图像进行分层分块的动态时空域纹理特征的提取，所述的“分层分块”是上述第二步中得到的人脸表情序列图像分层分块，经过第二步空间金字塔分割方式对人脸表情序列图像分层分块处理后，进一步用HCBP-TOP算法获取到每个子块X轴、Y轴、时间T轴三个维度的特征向量，并组合拼接成块内整体特征向量，再将整幅图像内的所有块的特征向量整合，形成一幅图像某个分层上的特征数据，最后将金字塔的各层人脸表情序列图像的动态时空纹理特征直方图按照权重分配串联成整个人脸表情序列图像的动态时空纹理特征直方图，具体方法如下：
(1)提取图像子块的HCBP特征：
在每一层中，利用HCBP-TOP算法对每个序列中对应位置的子块上提取图像子块的HCBP特征，对该子块进行人脸表情序列图像的动态时空纹理特征的直方图统计，然后将所有子块的人脸表情序列图像的动态时空纹理特征直方图串联成整个人脸表情序列中各层的人脸表情序列图像的动态时空纹理特征直方图，即获取人脸表情序列在X-Y平面的形变信息和在X-T平面和Y-T平面的运动信息，提取过程是通过如下HCBP编码计算的：
8组HCBP编码模型M1-M8如公式(2)所示：
上式中每组模型中最外层5个像素被设定权重为1，相邻的第二外层5个像素被设定权值为-1，其他部分被设定权重为0，中心点P0用来记录存储Haar-like型特征的纹理变化，在X-Y、X-T、Y-T每个平面上以P0为中心构成了一个如公式(3)所示5×5的小窗口，周围有24个邻域点Pi(i＝1，2，…，24)，
由以上描述可知，图像序列I中的任意一个像素点I(x,y,t)在其四周存在小窗 Wj(x,y),j＝0,1,2，W0(x,y)表示该像素点在X-Y平面上对应的小窗口，W1(x,y)表示该像素点在X-Z平面上对应的小窗口，W2(x,y)表示该像素点在Y-Z平面上对应的小窗口， Wj(x,y)的HCBP值fj(x,y,t)的计算公式如下式：
其中，
aj,k＝Mk·Wj(x,y) (7)，
Mk为编码模型，Ck为每个编码模型中权值不为零的像素求和模型，Ck＝|Mk|，B(x)为HCBP值的阈值比较函数，Tj,k为阈值，aj,k为小窗Wj(x,y)和编码模型Mk卷积后得到的十进制数；
对每个图像子块利用模型M1-M8对图像区域像素进行扫描，模型窗口大小为5×5像素，每个模型对应一个阈值，阈值的计算方法为，先计算每个模型中10个权值不为零像素与中心像素共11个像素的和，即Ck·Wj(x,y)，然后求出这11个像素的平均值，每个模型的阈值为中心像素与平均值的差值的5倍，然后利用公式(4)计算人脸表情序列的动态时空纹理特征，权值为1的5个像素值的和减去权值为-1的5个像素值的和，即外侧向里侧的变化信息，得到一个十进制数aj,k，将aj,k与阈值Tj,k比较，若aj,k大于阈值则 HCBP-TOP码值为1，否则计为0；
(2)提取人脸表情序列图像的动态时空纹理HCBP-TOP特征:
利用HCBP-TOP算法对第二步生成的分层金字塔子块提取人脸表情序列图像的动态时空纹理特征，根据上述(1)中提取图像子块的HCBP特征计算每块内的人脸表情序列图像的动态时空纹理HCBP-TOP特征，每个子块X、Y、T三个维度的在XY、XT、YT方向上的HCBP特征向量组合拼接成块内整体特征向量HCBP-TOP，再将整幅图像内的所有块的特征向量整合，形成一幅图像某个分层上的特征数据，根据直方图函数得到某层的特征直方图，由于图像分类时各层图像的空间信息不同和各层图像块在图像分类时所起到的作用不同，将金字塔的各层人脸表情序列图像的动态时空纹理特征直方图按照权重分配串联成整个人脸表情序列图像的动态时空纹理特征直方图，权重分配原则为大尺度的子块所属的图层的人脸表情序列图像的动态时空纹理特征直方图权重小，而小尺度的子块所属的图层的人脸表情序列图像的动态时空纹理特征直方图权重大，定义金字塔第i层的人脸表情序列图像的动态时空纹理特征直方图的权重为i+1，则第零层原图特征直方图分配的权重为1，第一层特征直方图分配的权重为2，随着层数越大，该层特征直方图分配的权重越大，即该层特征信息在总特征表示中的比重就越大；然后将各层人脸表情序列图像的动态时空纹理特征直方图根据划分的权重组合拼接成整体图像的人脸表情序列图像的动态时空纹理特征直方图,其中第i层的子块个数为2i×2i，每个子块的人脸表情序列图像的动态时空纹理特征取值范围为0到255，并经过规范化处理得到最终的人脸表情序列图像的动态时空纹理特征表示，将提取到的人脸表情序列图像的动态时空纹理特征数据输入 SVM中训练分类器；
第四步，采用SVM分类器进行人脸表情的训练和预测：
将第三步提取到的人脸表情序列图像的动态时空纹理特征数据输入SVM训练分类器进行人脸表情的训练和预测，判断提取的人脸表情序列图像的动态时空纹理特征究竟属于哪类人脸表情，采用留一法，取实验的平均结果为表情识别率，具体操作流程如下：
(1)将上述第三步提取到的人脸表情序列图像的动态时空纹理特征数据输入SVM训练分类器，根据这些人脸表情序列图像的动态时空纹理特征样本构造出与训练样本人脸表情序列图像的动态时空纹理特征矩阵和测试样本人脸表情序列图像的动态时空纹理特征矩阵分别对应的训练和测试类别样本矩阵，该训练和测试类别样本矩阵中的值为样本的分类类别；
(2)针对局部人脸表情序列图像的动态时空纹理特征采用自定义核函数，采用交叉验证选择最佳参数c与g，拉格朗日因子c＝790，g＝1.9，首先将训练样本人脸表情序列图像的动态时空纹理特征矩阵和测试样本人脸表情序列图像的动态时空纹理特征矩阵送入svmtrain函数得到支持向量，再将测试样本人脸表情序列图像的动态时空纹理特征矩阵和上述支持向量送入svmpredict函数中进行预测，由此完成人脸表情识别，在Cohn-Kanade库和SFEW库中实验得到生气、厌恶、害怕、高兴、伤心和惊讶6种表情，由此完成人脸表情的识别。
上述基于视频序列的人脸表情识别方法，所述HCBP-TOP算法，是采用CBP特征和Haar-like特征相结合的算法，对同频率的子图像序列用HCBP-TOP算法提取分块的人脸表情序列的动态时空纹理特征，其中HCBP-TOP直方图定义如下：
其中：fn(x,y,t)表示第n 平面上像素点I(x,y,t)的HCBP值，(n＝0时当前平面是XY 平面；n＝1时当前平面是XT平面；n＝2时当前平面是YT平面)，函数E{f}的定义如下：
上述基于视频序列的人脸表情识别方法，所述空间金字塔分割和SVM分类器是公知的。
本发明的有益效果是：与现有技术相比，本发明的突出的实质性特点和显著进步如下：
(1)本发明方法在人脸表情序列图像分层步骤中，克服提取整幅图像而忽略局部细节信息导致识别率低的缺陷，采用空间金字塔分割方式把图像序列分成L+1层，每层图像划分的子块数为2i×2i，其中i∈{0，1，…，L}，每层以子块为单位提取特征，并根据层数对统计特征直方图赋予不同的权重，分块越多权重越大，通过权重大小体现细节信息，提高了表情识别率，普遍适用于各种图像序列中；
(2)本发明方法在利用HCBP-TOP算法提取人脸表情序列图像的动态时空纹理特征步骤中，相对于现有HLBP没有考虑中心像素导致的识别速度低的缺陷，通过求取每个模式中十个元素和中心元素的平均值，把11个元素的平均值与中心像素的差值的五倍作为每个模式中的阈值，提高了表情识别率；
(3)本发明方法在分类器进行训练和预测步骤中，采用SVM分类器进行人脸表情的训练和预测，采用基于Haar-like的中心化二值模式算法即HCBP提取提取人脸表情序列图像的动态时空纹理特征，采用空间金字塔分割方式分配人脸表情序列图像的动态时空纹理特征直方图的权重，将统计人脸表情序列图像的动态时空纹理特征直方图合并作为整体人脸表情序列图像的动态时空纹理特征，将提取到的人脸表情序列图像的动态时空纹理特征数据输入SVM训练分类器进行人脸表情的训练和预测，这种基于Haar-like的中心化二值模式人脸表情序列图像的动态时空纹理特征能够对人脸表情特征进行很好的描述，具有很高的识别精度，进一步提高了人脸表情识别系统的实用性；
(4)本发明方法能有效地利用人脸表情时空域特征的信息，并且克服LBP识别方法中没有考虑中心像素的缺陷，提高了视频序列中人脸表情识别的效率和识别精度，提高了训练的速度和效率，使得该方法更具有实际的普遍的应用价值。
下面的实施例对本发明的突出的实质性特点和显著进步作了进一步的证明。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明基于视频序列的人脸表情识别方法的步骤流程示意图。
图2为本发明方法中用HCBP-TOP算法提取人脸表情序列图像的动态时空纹理特征过程的示意图。
具体实施方式
图1所示实施例表明，本发明基于视频序列的人脸表情识别方法的步骤流程示是：人脸表情序列预处理→采用空间金字塔分割方式对人脸表情序列图像分层分块处理→利用HCBP-TOP算法提取人脸表情序列图像的动态时空纹理特征→采用SVM分类器进行人脸表情的训练和预测。
图2所示实施例表明，本发明方法中用HCBP-TOP算法提取人脸表情序列图像的动态时空纹理特征过程是：对经过空间金字塔分割方式处理后的人脸表情序列图像进行X、Y、T三个维度的人脸表情序列图像的动态时空纹理特征提取，X和Y代表水平和垂直方向，T代表时间域，在XY、XT和YT三个正交面上提取XY平面的形变信息和在XT平面和YT平面的运动信息，三个维度的特征向量组合拼接成块内整体特征向量，再将整幅图像内的所有块的特征向量整合，形成一幅图像某个分层上的特征数据。
进一步作详细说明：经过上述第二步空间金字塔分割方式对人脸表情序列图像分层分块处理后，进一步用HCBP-TOP算法获取每个子块X、Y、T三个维度的特征向量并组合拼接成块内整体特征向量，再将整幅图像内的所有块的特征向量整合，形成一幅图像某个分层上的特征数据，由于图像分类时各层图像的空间信息不同和各层图像块在图像分类时所起到的作用不同，即将各层人脸表情序列图像的动态时空纹理特征数据根据划分的权重组合拼接成整体图像的人脸表情序列图像的动态时空纹理特征数据。经过汇总后的人脸表情序列图像的动态时空纹理特征数据经过规范化处理得到最终的图像特征表示。
实施例
本实施例基于视频序列的人脸表情识别方法，是一种利用HCBP-TOP算法提取人脸表情序列的动态时空纹理特征的人脸表情识别方法，具体步骤如下：
第一步，人脸表情序列图像预处理：
(1)人脸表情序列图像裁剪：
将从已有人脸表情视频序列数据库读取到的人脸表情序列图像由RBG空间转化到灰度空间，采用的公式(1)如下：
Gray＝0.299R+0.587G+0.114B (1)，
其中，Gray为灰度值，范围一般从0到255，R为红色分量，G为绿色分量，B为蓝色分量，
根据人脸面部“三庭五眼”的特征和人脸的几何模型，对转化到灰度空间的人脸表情序列图像进行裁剪，设双眼之间的水平距离为d，以两眼连线的中点为基准点，向上距离基准点0.55d处定为上边界，向下距离基准点1.45d处定为下边界，向左距离0.9d处定为左边界，向右距离0.9d处定为右边界，由此完成人脸表情序列图像裁剪；
(2)人脸表情序列图像缩放：
对上述(1)裁剪后的人脸表情序列采用双三次插值算法改变图像的尺度，实现尺度归一化，以进行人脸表情序列图像缩放，经过人脸表情序列缩放后的人脸图像大小为64× 64像素；
(3)人脸表情序列图像灰度均衡化：
采用直方图均衡化对上述(2)处理得到的人脸表情序列图像进行灰度处理，至此完成人脸表情序列图像预处理；
第二步，采用空间金字塔分割方式对人脸表情序列图像分层分块处理：
空间金字塔分割即在空间上对图像进行逐步细分，这里采用的空间金字塔分割方式是在人脸表情序列图像的水平和竖直两个标准坐标方向上进行2的指数倍数的划分，设金字塔的总层数为L+1，金字塔各层的层数i分别为0，1，2，…，L，金字塔第i层的分割方法为：在水平标准坐标方向把人脸表情序列图像划分为2i块，在竖直标准坐标方向把人脸表情序列图像划分为2i块，最终将人脸表情序列图像划分为2i×2i块，这里设定上述 L＝2，即利用空间金字塔分割方式把第一步中预处理后的人脸表情序列图像分成2+1层，第零层为原人脸表情序列图像，第i层把原人脸表情序列图像分成2i×2i的子块，i＝1，2；
第三步，利用HCBP-TOP算法提取人脸表情序列图像的动态时空纹理特征：
利用HCBP-TOP算法对人脸表情序列图像进行分层分块的动态时空域纹理特征的提取，所述的“分层分块”是上述第二步中得到的人脸表情序列图像分层分块，经过第二步空间金字塔分割方式对人脸表情序列图像分层分块处理后，进一步用HCBP-TOP算法获取到每个子块X轴、Y轴、时间T轴三个维度的特征向量，并组合拼接成块内整体特征向量，再将整幅图像内的所有块的特征向量整合，形成一幅图像某个分层上的特征数据，最后将金字塔的各层人脸表情序列图像的动态时空纹理特征直方图按照权重分配串联成整个人脸表情序列图像的动态时空纹理特征直方图，具体方法如下：
(1)提取图像子块的HCBP特征：
在每一层中，利用HCBP-TOP算法对每个序列中对应位置的子块上提取图像子块的HCBP特征，对该子块进行人脸表情序列图像的动态时空纹理特征的直方图统计，然后将所有子块的人脸表情序列图像的动态时空纹理特征直方图串联成整个人脸表情序列中各层的人脸表情序列图像的动态时空纹理特征直方图，即获取人脸表情序列在X-Y平面的形变信息和在X-T平面和Y-T平面的运动信息，提取过程是通过如下HCBP编码计算的：
8组HCBP编码模型M1-M8如公式(2)所示：
上式中每组模型中最外层5个像素被设定权重为1，相邻的第二外层5个像素被设定权值为-1，其他部分被设定权重为0，中心点P0用来记录存储Haar-like型特征的纹理变化，在X-Y、X-T、Y-T每个平面上以P0为中心构成了一个如公式(3)所示5×5的小窗口，周围有24个邻域点Pi(i＝1，2，…，24)，
由以上描述可知，图像序列I中的任意一个像素点I(x,y,t)在其四周存在小窗 Wj(x,y),j＝0,1,2，W0(x,y)表示该像素点在X-Y平面上对应的小窗口，W1(x,y)表示该像素点在X-Z平面上对应的小窗口，W2(x,y)表示该像素点在Y-Z平面上对应的小窗口， Wj(x,y)的HCBP值fj(x,y,t)的计算公式如下式：
其中，
aj,k＝Mk·Wj(x,y) (7)，
Mk为编码模型，Ck为每个编码模型中权值不为零的像素求和模型，Ck＝|Mk|，B(x)为HCBP值的阈值比较函数，Tj,k为阈值，aj,k为小窗Wj(x,y)和编码模型Mk卷积后得到的十进制数；
对每个图像子块利用模型M1-M8对图像区域像素进行扫描，模型窗口大小为5×5像素，每个模型对应一个阈值，阈值的计算方法为，先计算每个模型中10个权值不为零像素与中心像素共11个像素的和，即Ck·Wj(x,y)，然后求出这11个像素的平均值，每个模型的阈值为中心像素与平均值的差值的5倍，然后利用公式(4)计算人脸表情序列的动态时空纹理特征，权值为1的5个像素值的和减去权值为-1的5个像素值的和，即外侧向里侧的变化信息，得到一个十进制数aj,k，将aj,k与阈值Tj,k比较，若aj,k大于阈值则 HCBP-TOP码值为1，否则计为0；
(2)提取人脸表情序列图像的动态时空纹理HCBP-TOP特征:
利用HCBP-TOP算法对第二步生成的分层金字塔子块提取人脸表情序列图像的动态时空纹理特征，根据上述(1)步的提取图像子块的HCBP特征计算每块内的人脸表情序列图像的动态时空纹理HCBP-TOP特征，每个子块X、Y、T三个维度的在XY、XT、YT 方向上的HCBP特征向量组合拼接成块内整体特征向量HCBP-TOP，再将整幅图像内的所有块的特征向量整合，形成一幅图像某个分层上的特征数据，根据直方图函数得到某层的特征直方图，由于图像分类时各层图像的空间信息不同和各层图像块在图像分类时所起到的作用不同，将金字塔的各层人脸表情序列图像的动态时空纹理特征直方图按照权重分配串联成整个人脸表情序列图像的动态时空纹理特征直方图，权重分配原则为大尺度的子块所属的图层的人脸表情序列图像的动态时空纹理特征直方图权重小，而小尺度的子块所属的图层的人脸表情序列图像的动态时空纹理特征直方图权重大，定义金字塔第i层的人脸表情序列图像的动态时空纹理特征直方图的权重为i+1，则第零层原图特征直方图分配的权重为1，第一层特征直方图分配的权重为2，随着层数越大，该层特征直方图分配的权重越大，即该层特征信息在总特征表示中的比重就越大；然后将各层人脸表情序列图像的动态时空纹理特征直方图根据划分的权重组合拼接成整体图像的人脸表情序列图像的动态时空纹理特征直方图,其中第i层的子块个数为2i×2i，每个子块的人脸表情序列图像的动态时空纹理特征取值范围为0到255，并经过规范化处理得到最终的人脸表情序列图像的动态时空纹理特征表示，将提取到的人脸表情序列图像的动态时空纹理特征数据输入 SVM中训练分类器；
第四步，采用SVM分类器进行人脸表情的训练和预测：
将第三步提取到的人脸表情序列图像的动态时空纹理特征数据输入SVM训练分类器进行人脸表情的训练和预测，判断提取的人脸表情序列图像的动态时空纹理特征究竟属于哪类人脸表情，采用留一法，取实验的平均结果为表情识别率，具体操作流程如下：
(1)将上述第三步提取到的人脸表情序列图像的动态时空纹理特征数据输入SVM训练分类器，根据这些人脸表情序列图像的动态时空纹理特征样本构造出与训练样本人脸表情序列图像的动态时空纹理特征矩阵和测试样本人脸表情序列图像的动态时空纹理特征矩阵分别对应的训练和测试类别样本矩阵，该训练和测试类别样本矩阵中的值为样本的分类类别；
(2)针对局部人脸表情序列图像的动态时空纹理特征采用自定义核函数，采用交叉验证选择最佳参数c与g，拉格朗日因子c＝790，g＝1.9，首先将训练样本人脸表情序列图像的动态时空纹理特征矩阵和测试样本人脸表情序列图像的动态时空纹理特征矩阵送入svmtrain函数得到支持向量，再将测试样本人脸表情序列图像的动态时空纹理特征矩阵和上述支持向量送入svmpredict函数中进行预测，由此完成人脸表情识别，在Cohn-Kanade库和SFEW库中实验得到生气、厌恶、害怕、高兴、伤心和惊讶6种表情，由此完成人脸表情的识别。
本实施例的基于视频序列的人脸表情识别方法中，所述HCBP-TOP算法，是采用CBP特征和Haar-like特征相结合的算法，对同频率的子图像序列用HCBP-TOP算法提取分块改进的人脸表情序列的动态时空纹理特征，其中HCBP-TOP直方图定义如下：
其中：fn(x,y,t)表示第n 平面上像素点I(x,y,t)的HCBP值，(n＝0时当前平面是XY 平面；n＝1时当前平面是XT平面；n＝2时当前平面是YT平面)，函数E{f}的定义如下：
本实施例在Cohn-Kanade和SFEW两个已有人脸表情视频序列数据库上进行了实验。从Cohn-Kanade库中，选取327个人脸表情视频序列图像进行实验，实验中人脸表情序列图像被分为生气，厌恶，害怕，高兴，难过和惊讶，分别包含38，35，41，50，43， 48个图像序列，每个人脸表情视频序列图像包含10帧，开始帧为中性表情，结束帧为表情发生的尖端，共3270幅图像。在Windows 7环境下的MATLAB R2012a平台上运行完成，并分别对正常光照、弱光照、强光照下采集的人脸表情视频进行识别实验。为了对本实施例的方法进行有效的评估，从人脸表情视频序列中提取3270帧包括不同肤色、不同光照的图像进行了实验分析，本实施例的准确识别率为92.86％，误检率为7.14％。
为了验证本实施例方法在人脸表情识别率上的优势，本实施例选取常用于人脸表情识别的LBP-TOP算法提取人脸表情序列的动态时空纹理特征的人脸表情识别方法和HLBP-TOP算法提取人脸表情序列的动态时空纹理特征的人脸表情识别方法进行比较，利用SVM分类器训练，在Cohn-Kanade上进行人脸表情识别对比实验。表1列出了不同算法在Cohn-Kanade数据库上的人脸表情的识别率，其中训练测试样本的选择方式为随机选择每类视频序列的一部分作为训练样本，剩下的一部分为测试样本，保证了训练与测试样本不重复出现，更能保证实验结果的普遍性和正确性。
表1.不同算法在Cohn-Kanade数据库上的人脸表情的识别率
空间金字塔分割方式的分层数不同也会对人脸表情识别率产生影响，表2列出了空间金字塔分割方式不同分层数对人脸表情识别率的影响。其中空间金字塔分割方式的分层数为2，即分三层时效果最好。
表2.空间金字塔分割方式不同分层数对Cohn-Kanade数据库人脸表情平均识别率的影响
从SFEW库中，选取940张人脸表情视频序列图像进行实验，实验中人脸表情序列图像被分为生气、厌恶、害怕、高兴、难过和惊讶，分别包含214、66、116、227、198、 119张图像。表3列出了不同算法在SFEW数据库上的人脸表情的识别率。
表3.不同算法在SFEW数据库上的人脸表情的识别率
结果表明，本实施例方法利用HCBP-TOP算法提取人脸表情序列的动态时空纹理特征的人脸表情识别方法的识别率明显优于LBP-TOP算法提取人脸表情序列的动态时空纹理特征的人脸表情识别方法和HLBP-TOP算法提取人脸表情序列的动态时空纹理特征的人脸表情识别方法。
本实施例中所述空间金字塔分割和SVM分类器是公知的，所涉及的设备是本技术领域熟知并可通过商购途径获得的。
Claims (1)
1.基于视频序列的人脸表情识别方法，其特征在于：是一种利用HCBP-TOP算法提取人脸表情序列的动态时空纹理特征的人脸表情识别方法，具体步骤如下：
第一步，人脸表情序列图像预处理：
(1)人脸表情序列图像裁剪：
将从已有人脸表情视频序列数据库读取到的人脸表情序列图像由RBG空间转化到灰度空间，采用的公式(1)如下：
Gray＝0.299R+0.587G+0.114B (1)，
其中，Gray为灰度值，范围从0到255，R为红色分量，G为绿色分量，B为蓝色分量，
根据人脸面部“三庭五眼”的特征和人脸的几何模型，对转化到灰度空间的人脸表情序列图像进行裁剪，设双眼之间的水平距离为d，以两眼连线的中点为基准点，向上距离基准点0.55d处定为上边界，向下距离基准点1.45d处定为下边界，向左距离0.9d处定为左边界，向右距离0.9d处定为右边界，由此完成人脸表情序列图像裁剪；
(2)人脸表情序列图像缩放：
对上述“(1)人脸表情序列图像裁剪”裁剪后的人脸表情序列采用双三次插值算法改变图像的尺度，实现尺度归一化，以进行人脸表情序列图像缩放，经过人脸表情序列缩放后的人脸图像大小为64×64像素；
(3)人脸表情序列图像灰度均衡化：
采用直方图均衡化对上述“(2)人脸表情序列图像缩放”处理得到的人脸表情序列图像进行灰度处理，至此完成人脸表情序列图像预处理；
第二步，采用空间金字塔分割方式对人脸表情序列图像分层分块处理：
空间金字塔分割即在空间上对图像进行逐步细分，这里采用的空间金字塔分割方式是在人脸表情序列图像的水平和竖直两个标准坐标方向上进行2的指数倍数的划分，设金字塔的总层数为L+1，金字塔各层的层数i分别为0，1，2，…，L，金字塔第i层的分割方法为：在水平标准坐标方向把人脸表情序列图像划分为2i块，在竖直标准坐标方向把人脸表情序列图像划分为2i块，最终将人脸表情序列图像划分为2i×2i块，这里设定上述L＝2，即利用空间金字塔分割方式把第一步中预处理后的人脸表情序列图像分成2+1层，第零层为原人脸表情序列图像，第i层把原人脸表情序列图像分成2i×2i的子块，i＝1，2；
第三步，利用HCBP-TOP算法提取人脸表情序列图像的动态时空纹理特征：
利用HCBP-TOP算法对人脸表情序列图像进行分层分块的动态时空域纹理特征的提取，所述的“分层分块”是上述第二步中得到的人脸表情序列图像分层分块，经过第二步空间金字塔分割方式对人脸表情序列图像分层分块处理后，进一步用HCBP-TOP算法获取到每个子块X轴、Y轴、时间T轴三个维度的特征向量，并组合拼接成块内整体特征向量，再将整幅图像内的所有块的特征向量整合，形成一幅图像某个分层上的特征数据，最后将金字塔的各层人脸表情序列图像的动态时空纹理特征直方图按照权重分配串联成整个人脸表情序列图像的动态时空纹理特征直方图，具体方法如下：
(1)提取图像子块的HCBP特征：
在每一层中，利用HCBP-TOP算法对每个序列中对应位置的子块上提取图像子块的HCBP特征，对该子块进行人脸表情序列图像的动态时空纹理特征的直方图统计，然后将所有子块的人脸表情序列图像的动态时空纹理特征直方图串联成整个人脸表情序列中各层的人脸表情序列图像的动态时空纹理特征直方图，即获取人脸表情序列在X-Y平面的形变信息和在X-T平面和Y-T平面的运动信息，提取过程是通过如下HCBP编码计算的：
8组HCBP编码模型M1-M8如公式(2)所示：
上式中每组模型中最外层5个像素被设定权重为1，相邻的第二外层5个像素被设定权值为-1，其他部分被设定权重为0，中心点P0用来记录存储Haar-like型特征的纹理变化，在X-Y、X-T、Y-T每个平面上以P0为中心构成了一个如公式(3)所示5×5的小窗口，周围有24个邻域点P1，P2，…，P24，
由以上描述可知，图像序列I中的任意一个像素点I(x,y,t)在其四周存在小窗Wj(x,y),j＝0,1,2，W0(x,y)表示该像素点在X-Y平面上对应的小窗口，W1(x,y)表示该像素点在X-Z平面上对应的小窗口，W2(x,y)表示该像素点在Y-Z平面上对应的小窗口，Wj(x,y)的HCBP值fj(x,y,t)的计算公式如下式：
其中，
aj,k＝Mk·Wj(x,y) (7)，
Mk为编码模型，Ck为每个编码模型中权值不为零的像素求和模型，Ck＝|Mk|，B(x)为HCBP值的阈值比较函数，Tj,k为阈值，aj,k为小窗Wj(x,y)和编码模型Mk卷积后得到的十进制数；
对每个图像子块利用模型M1-M8对图像区域像素进行扫描，模型窗口大小为5×5像素，每个模型对应一个阈值，阈值的计算方法为，先计算每个模型中10个权值不为零像素与中心像素共11个像素的和，即Ck·Wj(x,y)，然后求出这11个像素的平均值，每个模型的阈值为中心像素与平均值的差值的5倍，然后利用公式(4)计算人脸表情序列的动态时空纹理特征，权值为1的5个像素值的和减去权值为-1的5个像素值的和，即外侧向里侧的变化信息，得到一个十进制数aj,k，将aj,k与阈值Tj,k比较，若aj,k大于阈值则HCBP-TOP码值为1，否则计为0；
(2)提取人脸表情序列图像的动态时空纹理HCBP-TOP特征:
利用HCBP-TOP算法对第二步生成的分层金字塔子块提取人脸表情序列图像的动态时空纹理特征，根据“上述(1)提取图像子块的HCBP特征”中提取图像子块的HCBP特征计算每块内的人脸表情序列图像的动态时空纹理HCBP-TOP特征，每个子块X、Y、T三个维度的在XY、XT、YT方向上的HCBP特征向量组合拼接成块内整体特征向量HCBP-TOP，再将整幅图像内的所有块的特征向量整合，形成一幅图像某个分层上的特征数据，根据直方图函数得到某层的特征直方图，由于图像分类时各层图像的空间信息不同和各层图像块在图像分类时所起到的作用不同，将金字塔的各层人脸表情序列图像的动态时空纹理特征直方图按照权重分配串联成整个人脸表情序列图像的动态时空纹理特征直方图，权重分配原则为大尺度的子块所属的图层的人脸表情序列图像的动态时空纹理特征直方图权重小，而小尺度的子块所属的图层的人脸表情序列图像的动态时空纹理特征直方图权重大，定义金字塔第i层的人脸表情序列图像的动态时空纹理特征直方图的权重为i+1，则第零层原图特征直方图分配的权重为1，第一层特征直方图分配的权重为2，随着层数越大，该层特征直方图分配的权重越大，即该层特征信息在总特征表示中的比重就越大；然后将各层人脸表情序列图像的动态时空纹理特征直方图根据划分的权重组合拼接成整体图像的人脸表情序列图像的动态时空纹理特征直方图,其中第i层的子块个数为2i×2i，每个子块的人脸表情序列图像的动态时空纹理特征取值范围为0到255，并经过规范化处理得到最终的人脸表情序列图像的动态时空纹理特征表示，将提取到的人脸表情序列图像的动态时空纹理特征数据输入SVM中训练分类器；
所述HCBP-TOP算法，是采用CBP特征和Haar-like特征相结合的算法，对同频率的子图像序列用HCBP-TOP算法提取分块的人脸表情序列的动态时空纹理特征，其中HCBP-TOP直方图定义如下：
其中：fn(x,y,t)表示第n 平面上像素点I(x,y,t)的HCBP值，n＝0时当前平面是XY平面；n＝1时当前平面是XT平面；n＝2时当前平面是YT平面，函数E{f}的定义如下：
第四步，采用SVM分类器进行人脸表情的训练和预测：
将第三步提取到的人脸表情序列图像的动态时空纹理特征数据输入SVM训练分类器进行人脸表情的训练和预测，判断提取的人脸表情序列图像的动态时空纹理特征究竟属于哪类人脸表情，采用留一法，取实验的平均结果为表情识别率，具体操作流程如下：
(1)将上述第三步提取到的人脸表情序列图像的动态时空纹理特征数据输入SVM训练分类器，根据这些人脸表情序列图像的动态时空纹理特征样本构造出与训练样本人脸表情序列图像的动态时空纹理特征矩阵和测试样本人脸表情序列图像的动态时空纹理特征矩阵分别对应的训练和测试类别样本矩阵，该训练和测试类别样本矩阵中的值为样本的分类类别；
(2)针对局部人脸表情序列图像的动态时空纹理特征采用自定义核函数，采用交叉验证选择最佳参数c与g，拉格朗日因子c＝790，g＝1.9，首先将训练样本人脸表情序列图像的动态时空纹理特征矩阵和测试样本人脸表情序列图像的动态时空纹理特征矩阵送入svmtrain函数得到支持向量，再将测试样本人脸表情序列图像的动态时空纹理特征矩阵和上述支持向量送入svmpredict函数中进行预测，由此完成人脸表情识别，在Cohn-Kanade库和SFEW库中实验得到生气、厌恶、害怕、高兴、伤心和惊讶6种表情，由此完成人脸表情的识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510612526.XA CN105139004B (zh) | 2015-09-23 | 2015-09-23 | 基于视频序列的人脸表情识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510612526.XA CN105139004B (zh) | 2015-09-23 | 2015-09-23 | 基于视频序列的人脸表情识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105139004A CN105139004A (zh) | 2015-12-09 |
| CN105139004B true CN105139004B (zh) | 2018-02-06 |
Family
ID=54724347
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510612526.XA Expired - Fee Related CN105139004B (zh) | 2015-09-23 | 2015-09-23 | 基于视频序列的人脸表情识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105139004B (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105701495B (zh) * | 2016-01-05 | 2022-08-16 | 贵州大学 | 图像纹理特征提取方法 |
| CN105701459B (zh) * | 2016-01-06 | 2019-04-16 | Oppo广东移动通信有限公司 | 一种图片显示方法及终端设备 |
| CN107045618B (zh) * | 2016-02-05 | 2020-07-03 | 北京陌上花科技有限公司 | 一种人脸表情识别方法及装置 |
| CN106341724A (zh) * | 2016-08-29 | 2017-01-18 | 刘永娜 | 一种表情图像标注的方法和系统 |
| CN107294947A (zh) * | 2016-08-31 | 2017-10-24 | 张梅 | 基于物联网的停车信息公共服务平台 |
| CN106446810A (zh) * | 2016-09-12 | 2017-02-22 | 合肥工业大学 | 一种用于精神状态分析的计算机视觉方法 |
| CN106980811A (zh) * | 2016-10-21 | 2017-07-25 | 商汤集团有限公司 | 人脸表情识别方法和人脸表情识别装置 |
| CN106845483A (zh) * | 2017-02-10 | 2017-06-13 | 杭州当虹科技有限公司 | 一种视频高清字样检测方法 |
| CN108537194A (zh) * | 2018-04-17 | 2018-09-14 | 谭红春 | 一种基于深度学习和svm的肝豆状核变性患者的表情识别方法 |
| CN109145754A (zh) * | 2018-07-23 | 2019-01-04 | 上海电力学院 | 融合面部表情及肢体动作三维特征的情绪识别方法 |
| CN109124604A (zh) * | 2018-09-20 | 2019-01-04 | 南方医科大学珠江医院 | 一种新生儿疼痛程度的评估方法 |
| CN109409296B (zh) * | 2018-10-30 | 2020-12-01 | 河北工业大学 | 将人脸表情识别和语音情感识别融合的视频情感识别方法 |
| CN110175526B (zh) * | 2019-04-28 | 2024-06-21 | 平安科技（深圳）有限公司 | 狗情绪识别模型训练方法、装置、计算机设备及存储介质 |
| CN110321805B (zh) * | 2019-06-12 | 2021-08-10 | 华中科技大学 | 一种基于时序关系推理的动态表情识别方法 |
| CN110427848B (zh) * | 2019-07-23 | 2022-04-12 | 京东方科技集团股份有限公司 | 一种精神分析系统 |
| CN111931677A (zh) * | 2020-08-19 | 2020-11-13 | 北京影谱科技股份有限公司 | 一种人脸检测方法及装置、人脸表情检测方法及装置 |
| CN112580648A (zh) * | 2020-12-14 | 2021-03-30 | 成都中科大旗软件股份有限公司 | 一种基于图像分割技术实现图像信息识别的方法 |
| CN114926886B (zh) * | 2022-05-30 | 2023-04-25 | 山东大学 | 一种微表情动作单元识别方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103488974A (zh) * | 2013-09-13 | 2014-01-01 | 南京华图信息技术有限公司 | 基于模拟生物视觉神经网络的人脸表情识别方法及系统 |
| CN104298981A (zh) * | 2014-11-05 | 2015-01-21 | 河北工业大学 | 人脸微表情的识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| NZ587528A (en) * | 2008-01-31 | 2012-11-30 | Univ Southern California | Practical modelling and acquisition layered facial reflectance |
-
2015
- 2015-09-23 CN CN201510612526.XA patent/CN105139004B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103488974A (zh) * | 2013-09-13 | 2014-01-01 | 南京华图信息技术有限公司 | 基于模拟生物视觉神经网络的人脸表情识别方法及系统 |
| CN104298981A (zh) * | 2014-11-05 | 2015-01-21 | 河北工业大学 | 人脸微表情的识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| Real time facial expression recognition in video using support vector machines;Philipp Michel等;《International Conference on Multimodal Interfaces》;20031107;第258-264页 * |
| 基于LGBP特征和稀疏表示的人脸表情识别;于明 等;《计算机工程与设计》;20130516;第34卷(第5期);第1787-1791页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105139004A (zh) | 2015-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105139004B (zh) | 基于视频序列的人脸表情识别方法 | |
| CN107341452B (zh) | 基于四元数时空卷积神经网络的人体行为识别方法 | |
| WO2020108362A1 (zh) | 人体姿态检测方法、装置、设备及存储介质 | |
| Du et al. | Skeleton based action recognition with convolutional neural network | |
| CN106127196B (zh) | 基于动态纹理特征的人脸表情的分类与识别方法 | |
| CN107085716B (zh) | 基于多任务生成对抗网络的跨视角步态识别方法 | |
| CN108764085B (zh) | 基于生成对抗网络的人群计数方法 | |
| CN109871781A (zh) | 基于多模态3d卷积神经网络的动态手势识别方法及系统 | |
| CN113989890A (zh) | 基于多通道融合和轻量级神经网络的人脸表情识别方法 | |
| CN110826389B (zh) | 基于注意力3d频率卷积神经网络的步态识别方法 | |
| Aurangzeb et al. | Human behavior analysis based on multi-types features fusion and Von Nauman entropy based features reduction | |
| CN111353385B (zh) | 一种基于掩膜对齐与注意力机制的行人再识别方法和装置 | |
| CN110046550A (zh) | 基于多层特征学习的行人属性识别系统及方法 | |
| CN111027377B (zh) | 一种双流神经网络时序动作定位方法 | |
| CN106650617A (zh) | 一种基于概率潜在语义分析的行人异常识别方法 | |
| CN105469050B (zh) | 基于局部时空特征描述与金字塔词汇树的视频行为识别方法 | |
| CN113435432B (zh) | 视频异常检测模型训练方法、视频异常检测方法和装置 | |
| CN109325507A (zh) | 一种结合超像素显著性特征与hog特征的图像分类算法和系统 | |
| CN112861605A (zh) | 基于时空混合特征的多人步态识别方法 | |
| CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
| CN112329662B (zh) | 基于无监督学习的多视角显著性估计方法 | |
| Ahmad et al. | 3D capsule networks for object classification from 3D model data | |
| CN113592893A (zh) | 一种确定主体和精准化边缘相结合的图像前景分割方法 | |
| CN111860056B (zh) | 基于眨眼的活体检测方法、装置、可读存储介质及设备 | |
| CN115862120A (zh) | 可分离变分自编码器解耦的面部动作单元识别方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180206 |