Nothing Special   »   [go: up one dir, main page]

CN112101193B - 基于虚拟样本和协同表示的人脸特征提取方法 - Google Patents

基于虚拟样本和协同表示的人脸特征提取方法 Download PDF

Info

Publication number
CN112101193B
CN112101193B CN202010960796.0A CN202010960796A CN112101193B CN 112101193 B CN112101193 B CN 112101193B CN 202010960796 A CN202010960796 A CN 202010960796A CN 112101193 B CN112101193 B CN 112101193B
Authority
CN
China
Prior art keywords
face
image
column vector
virtual
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010960796.0A
Other languages
English (en)
Other versions
CN112101193A (zh
Inventor
彭亚丽
王旭宁
张军伟
刘侍刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Normal University
Original Assignee
Shaanxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Normal University filed Critical Shaanxi Normal University
Priority to CN202010960796.0A priority Critical patent/CN112101193B/zh
Publication of CN112101193A publication Critical patent/CN112101193A/zh
Application granted granted Critical
Publication of CN112101193B publication Critical patent/CN112101193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

一种基于虚拟样本和协同表示的人脸特征提取方法,由图像预处理、构建虚拟样本V和W、划分数据集、确定字典B、确定协同重构权向量ri、保持最优协同重构权向量提取人脸特征步骤组成。在各个步骤中未使用模型参数,提高了本发明的易用性和实用性;本发明根据人脸的对称性自然地从原始人脸构建包含更多右脸信息和左脸信息的两个虚拟人脸图像,将原始图像与虚拟图像整合成所需的数据集;使用岭回归方法保持这些数据集的协同重构关系,获得最优的邻接权重矩阵;寻找投影,依然保持低维嵌入子空间的最优协同重构权向量。本发明具有识别精确度高、应用领域广、实用性强等优点,可用于身份认证的人脸识别技术领域。

Description

基于虚拟样本和协同表示的人脸特征提取方法
技术领域
本发明属于图像处理技术领域,具体涉及结合增加的虚拟样本和协同表示的人脸特征提取方法。
背景技术
随着人工智能大数据技术的飞速发展,人们对国家公共安全、社会信息安全开始有着更高的要求。人脸识别技术也应用而生,其人脸独特的生物学特性,被广泛用于身份认证的重要场合。在真实的人脸识别系统中,由于人脸图像采集过程中受环境干扰较大,将会损害图像的质量和数量,使得人脸识别成为小样本问题。人脸图像通常具有较高的维度,包含太多冗余信息,最终导致稳定执行分类存在一定困难。
经典的无监督特征提取技术,如PCA用于流行学习时线性地嵌入周围空间,无法发现非线性的基本数据结构。局部保持投影(LPP)是非线性LaplacianEigenmap的线性近似。邻域保留嵌入(NPE)和局部线性嵌入(LLE)是特征空间分析(LEA)的两个线性化版本;这些方法在实际应用中优于PCA,但面临选择邻域大小以及分配超参数的困难。稀疏保持投影(SPP)可以解决设置参数的问题,却忽略了不同样本中人脸数据的共性。以上的这些特征提取方法应用在图像识别方面都展现出了不错的效果,但没有考虑到图像识别需要丰富的训练样本。
协同表示方法是人脸识别领域的重要理论之一,该方法应用于人脸识别能克服以上问题且具有较好的鲁棒性,该方法存在的主要问题是求解协同编码问题时,很难获得最合适的解,使得在实际应用时受到限制。
在人脸识别技术领域,当前需迫切解决的一个技术问题是提供一种能更好地求解协同编码、缓解小样本问题、识别率高的人脸特征提取方法。
发明内容
本发明所要解决的技术问题在于克服上述现有技术的缺点,提供一种能更好地求解协同编码、缓解小样本问题、识别率高的基于虚拟样本和协同表示的人脸特征提取方法。
解决上述技术问题所采用的技术方案是由下述步骤组成:
(1)图像预处理
从Yale、FERET、Extened Yale B、ORL图像数据集中分别选取165、1400、2414、400张样本图像进行灰度值缩放为[0,1],将所有图像裁剪成32×32或40×40的图像。
(2)构建虚拟样本V和W
1)确定人脸图像的初始值
一张原始人脸图像矩阵X为:
X=[x1,...,xN/2,xN/2+1,...,xN];
式中N为图像矩阵X的列数,xj为图像矩阵X的每一列,j∈[1,N],其中N为32或40;
按下式分别确定一张人脸图像的左半脸列向量v的初始值v0和右半脸列向量w的初始值w0
将一张人脸图像的左半脸列向量v反转得到v′和右半脸列向量w反转得到w′,按下式分别确定一张人脸图像的左半脸列向量反转v′的初始值(v′)0和右半脸列向量反转w′的初始值(w′)0
2)设定目标函数f(v,w′)
采用梯度下降法构建第一个虚拟样本V如下:
vt+1=vt-η[vt-(w′)t] (2)
(w′)t+1=(w′)t-η[(w′)t-vt] (3)
式中t为迭代次数,且t为有限的正整数,η为学习率;
将左半脸列向量v单独执行3次连续迭代,在左半脸列向量v与右半脸列向量反转w′之间互相迭代,连接v和w′确定第一个对称的虚拟脸V1。对于整个数据集,得到K张图像所有的第一个虚拟样本V为:
V=[V1,V2,...,VK];
式中K为图像数据集中的样本总数;
3)设定目标函数f(v′,w)
采用梯度下降法构建第二个虚拟样本W如下:
wt+1=wt-η[wt-(v′)t] (5)
(v′)t+1=(v′)t-η[(v′)t-wt] (6)
将右半脸列向量w单独执行3次连续迭代,在左半脸列向量反转v′与右半脸列向量w之间互相迭代,连接v′和w确定第二个对称的虚拟脸W1。对于整个数据集,得到K张图像所有的第二个虚拟样本W为:
W=[W1,W2,...,WK];
迭代更新终止条件为||vt-(w′)t||<ε和||(v′)t-(w)t||<ε,ε为0.01;
(3)划分数据集
将Yale、FERET、Extened Yale B、ORL图像数据集的每一张图像扩充为3张图像,从Yale、FERET、Extened Yale B、ORL图像数据集的每一类中分别选取18、12、96、15张图像作为训练样本,剩余的图像作为测试样本;
(4)确定字典B
设置一组训练样本其中Xi为m维列向量,Xi∈Rm且n<K,添加对应的虚拟样本V和W到每个人脸图像集合中,确定字典B:
B=[B1,B2,...,Bn]
式中Bi为3m维的列向量;
(5)确定协同重构权向量ri
用岭回归方法确定协同重构权向量ri
式中λ0为正则化参数,λ0∈[1×10-4,1×10-1];
确定所有样本的协同重构权重矩阵R:
式中为最优协同重构权向量,i为[1,n];
(6)保持最优协同重构权向量
按下式确定投影后的目标函数为:
式中a是投影向量;
(7)提取人脸特征
按下式确定最优投影向量a:
BRαBTa=λBBTa (10)
式中Rα为R+RT-RTR,λ为特征值;通过(10)式广义特征值问题选出d个特征值对应的投影向量a,d∈[1,m],m为有限的正整数,即是特征提取后的人脸图像;在1-NN分类器上完成人脸识别。
在本发明的构建虚拟样本V和W步骤(2)的确定人脸图像的初始值1)步骤中,所述的一张原始人脸图像矩阵X为:
X=[x1,...,xN/2,xN/2+1,...,xN];
式中N为图像矩阵X的列数,xj为图像矩阵X的每一列,j∈[1,N],其中N最佳为32或40;
按下式分别确定一张人脸图像的左半脸列向量v的初始值v0和右半脸列向量w的初始值w0
将一张人脸图像的左半脸列向量v反转得到v′和右半脸列向量w反转得到w′,按下式分别确定一张人脸图像的左半脸列向量反转v′的初始值(v′)0和右半脸列向量反转w′的初始值(w′)0
2)设定目标函数f(v,w′)
采用梯度下降法构建第一个虚拟样本V如下:
vt+1=vt-η[vt-(w′)t] (2)
(w′)t+1=(w′)t-η[(w′)t-vt] (3)
式中t为迭代次数,且t为有限的正整数,η为学习率;
将左半脸列向量v单独执行3次连续迭代,在左半脸列向量v与右半脸列向量反转w′之间互相迭代,连接v和w′确定第一个对称的虚拟脸V1。对于整个数据集,得到K为165、1400、2414、400张图像所有的第一个虚拟样本V为:
V=[V1,V2,...,VK];
式中K为图像数据集中的样本总数;
3)设定目标函数f(v′,w)
采用梯度下降法构建第二个虚拟样本W如下:
wt+1=wt-η[wt-(v′)t] (5)
(v′)t+1=(v′)t-η[(v′)t-wt] (6)
将右半脸列向量w单独执行3次连续迭代,在左半脸列向量反转v′与右半脸列向量w之间互相迭代,连接v′和w确定第二个对称的虚拟脸W1。对于整个数据集,得到K为165、1400、2414、400张图像所有的第二个虚拟样本W为:
W=[W1,W2,...,WK];
迭代更新终止条件为||vt-(w′)t||<ε和||(v′)t-(w)t||<ε,ε为0.01;
在本发明的确定字典B步骤(4)、协同重构权向量ri步骤(5)、保持协同重构权向量步骤(6)中,所述的参数m为1024或1600,n为90、800、1216、200中的任意一个数。
由于本发明根据人脸的对称性自然地从原始人脸构建包含更多右脸信息和左脸信息的两个虚拟人脸图像,将原始图像与虚拟图像整合成所需的数据集;使用岭回归方法保持这些数据集的协同重构关系,获得最优的邻接权重矩阵;寻找投影,依然保持低维嵌入子空间的最优协同重构权向量。步骤中未使用模型参数,提高了本发明的易用性和实用性;采用本发明实施例1-4分别于Yale、FERET、ExtenedYale B、ORL图像数据集进行了对比仿真实验,试验结果表明,实施例1的人脸特征提取方法的平均识别率比识别率最低的PCA人脸特征方法高11.38%,比识别率最高的SPP2人脸特征提取方法高4.51%;实施例2的人脸特征提取方法的平均识别率比识别率最低的PCA人脸特征方法高19.12%,比识别率最高的SPP1人脸特征提取方法高13.09%;实施例3的人脸特征提取方法的平均识别率比识别率最低的PCA人脸特征方法高16.44%,比识别率最高的SPP1人脸特征提取方法低0.59%;实施例4的人脸特征提取方法的平均识别率比识别率最低的LPP人脸特征方法高19.93%,比识别率最高的SPP1人脸特征提取方法高2.26%。
本发明具有识别精确度高、应用领域广、实用性强等优点,可用于身份认证的人脸识别技术领域。
附图说明
图1是本发明实施例1的流程图。
图2是在Yale数据集上识别准确率随维度的变化曲线。
图3是在FERET数据集上识别准确率随维度的变化曲线。
图4是在Extened Yale B数据集上识别准确率随维度的变化曲线。
图5是在ORL数据集上识别准确率随维度的变化曲线。
具体实施方式
下面结合附图和实施例对本发明进一步详细说明,但本发明不限于下述的实施方式。
实施例1
本实施例以在Yale数据集中取15个人形态各异的面部照片为例,基于虚拟样本和协同表示的人脸特征提取方法由下述步骤组成(参见图1):
(1)图像预处理
在Yale数据集中取15人不同光照条件和表情的正面人脸图片,每个人有11张图片,将每张照片大小归一化至尺寸为32×32,灰度值重新标度为[0,1]。
(2)构建虚拟样本V和W
1)确定人脸图像的初始值
一张原始人脸图像矩阵X为:
X=[x1,...,xN/2,xN/2+1,...,xN];
式中N为图像矩阵X的列数,xj为图像矩阵X的每一列,j∈[1,N],其中N为偶数,本实施例的N为32。
按下式分别确定一张人脸图像的左半脸列向量v的初始值v0和右半脸列向量w的初始值w0
将一张人脸图像的左半脸列向量v反转得到v′和右半脸列向量w反转得到w′,按下式分别确定一张人脸图像的左半脸列向量反转v′的初始值(v′)0和右半脸列向量反转w′的初始值(w′)0
2)设定目标函数f(v,w′)
采用梯度下降法构建第一个虚拟样本V如下:
vt+1=vt-η[vt-(w′)t] (2)
(w′)t+1=(w′)t-η[(w′)t-vt] (3)
式中t为迭代次数,且t为有限的正整数,η为学习率;
将左半脸列向量v单独执行3次连续迭代,在左半脸列向量v与右半脸列向量反转w′之间互相迭代,连接v和w′确定第一个对称的虚拟脸V1。对于整个数据集,得到K张图像所有的第一个虚拟样本V为:
V=[V1,V2,...,VK];
式中K为图像数据集中的样本总数,本实施例的K为165。
3)设定目标函数f(v′,w)
采用梯度下降法构建第二个虚拟样本W如下:
wt+1=wt-η[wt-(v′)t] (5)
(v′)t+1=(v′)t-η[(v′)t-wt] (6)
将右半脸列向量w单独执行3次连续迭代,在左半脸列向量反转v′与右半脸列向量w之间互相迭代,连接v′和w确定第二个对称的虚拟脸W1。对于整个数据集,得到K张图像所有的第二个虚拟样本W为:
W=[W1,W2,...,WK];
本实施例的K为165。
迭代更新终止条件为||vt-(w′)t||<ε和||(v′)t-(w)t||<ε,ε为0.01;
(3)划分数据集
将Yale图像数据集的一个人每一张图像扩充为三张图像,共有33张图像。从Yale图像数据集的每一个人中选取18张图像作为训练样本,15张图像作为测试样本。
(4)确定字典B
设置一组训练样本其中Xi为m维列向量,Xi∈Rm且n<K,本实施例的m为1024,n为90,添加对应的虚拟样本V和W到每个人脸图像集合中,确定字典B:
B=[B1,B2,...,Bn]
式中Bi为3m维的列向量;
(5)确定协同重构权向量ri
用岭回归方法确定协同重构权向量ri
式中λ0为正则化参数,λ0∈[1×10-4,1×10-1];
确定所有样本的协同重构权重矩阵R:
式中为最优协同重构权向量,i为[1,n],本实施例的m为1024,n为90。
(6)保持最优协同重构权向量
按下式确定投影后的目标函数为:
式中a是投影向量;
(7)提取人脸特征
按下式确定最优投影向量a:
BRαBTa=λBBTa (10)
式中Rα为R+RT-RTR,λ为特征值。
通过(10)式广义特征值问题选出d个特征值对应的投影向量a,d∈[1,m],本实施例的d为88,m为1024,即是特征提取后的人脸图像;在1-NN分类器上完成人脸识别。
实施例2
本实施例以在FERET数据集中取200个人形态各异的面部照片为例,基于虚拟样本和协同表示的人脸特征提取方法由下述步骤组成:
(1)图像预处理
在FERET数据集中取200人不同光照条件和表情的正面人脸图片,每个人有7张图片,将每张照片大小归一化至尺寸为40×40,灰度值重新标度为[0,1]。
(2)构建虚拟样本V和W
1)确定人脸图像的初始值
一张原始人脸图像矩阵X为:
X=[x1,...,xN/2,xN/2+1,...,xN];
式中N为图像矩阵X的列数,xj为图像矩阵X的每一列,j∈[1,N],其中N为偶数,本实施例的N为40。
按下式分别确定一张人脸图像的左半脸列向量v的初始值v0和右半脸列向量w的初始值w0
将一张人脸图像的左半脸列向量v反转得到v′和右半脸列向量w反转得到w′,按下式分别确定一张人脸图像的左半脸列向量反转v′的初始值(v′)0和右半脸列向量反转w′的初始值(w′)0
2)设定目标函数f(v,w′)
采用梯度下降法构建第一个虚拟样本V如下:
vt+1=vt-η[vt-(w′)t] (2)
(w′)t+1=(w′)t-η[(w′)t-vt] (3)
式中t为迭代次数,且t为有限的正整数,η为学习率;
将左半脸列向量v单独执行3次连续迭代,在左半脸列向量v与右半脸列向量反转w′之间互相迭代,连接v和w′确定第一个对称的虚拟脸V1。对于整个数据集,得到K张图像所有的第一个虚拟样本V为:
V=[V1,V2,...,VK];
式中K为图像数据集中的样本总数,本实施例的K为1400。
3)设定目标函数f(v′,w)
采用梯度下降法构建第二个虚拟样本W如下:
wt+1=wt-η[wt-(v′)t] (5)
(v′)t+1=(v′)t-η[(v′)t-wt] (6)
将右半脸列向量w单独执行3次连续迭代,在左半脸列向量反转v′与右半脸列向量w之间互相迭代,连接v′和w确定第二个对称的虚拟脸W1,对于整个数据集,得到K张图像所有的第二个虚拟样本W为:
W=[W1,W2,...,WK];
本实施例的K为1400。
迭代更新终止条件为||vt-(w′)t||<ε和||(v′)t-(w)t||<ε,ε为0.01;
(3)划分数据集
将FERET图像数据集的一个人每一张图像扩充为三张图像,共有21张图像。从FERET图像数据集的每一个人中选取12张图像作为训练样本,9张图像作为测试样本。
(4)确定字典B
设置一组训练样本其中Xi为m维列向量,Xi∈Rm且n<K,本实施例的m为1600,n为800,添加对应的虚拟样本V和W到每个人脸图像集合中,确定字典B:
B=[B1,B2,...,Bn]
式中Bi为3m维的列向量;
(5)确定协同重构权向量ri
用岭回归方法确定协同重构权向量ri
式中λ0为正则化参数,λ0∈[1×10-4,1×10-1];
确定所有样本的协同重构权重矩阵R:
式中为最优协同重构权向量,i为[1,n],本实施例的m为1600,n为800。
(6)保持最优协同重构权向量
该步骤与实施例1相同。
(7)提取人脸特征
按下式确定最优投影向量a:
BRαBTa=λBBTa (10)
式中Rα为R+RT-RTR,λ为特征值。
通过(10)式广义特征值问题选出d个特征值对应的投影向量a,d∈[1,m],本实施例d为283,m为1600,即是特征提取后的人脸图,在1-NN分类器上完成人脸识别。
实施例3
本实施例以在Extened Yale B数据集中取38个人形态各异的面部照片为例,基于虚拟样本和协同表示的人脸特征提取方法由下述步骤组成
(1)图像预处理
从Extened Yale B图像数据集中选取2414张样本图像进行灰度值缩放为[0,1],将所有图像裁剪成32×32的图像。
(2)构建虚拟样本V和W
1)确定人脸图像的初始值
一张原始人脸图像矩阵X为:
X=[x1,...,xN/2,xN/2+1,...,xN];
式中N为图像矩阵X的列数,xj为图像矩阵X的每一列,j∈[1,N],其中N为偶数,本实施例的N为32。
按下式分别确定一张人脸图像的左半脸列向量v的初始值v0和右半脸列向量w的初始值w0
将一张人脸图像的左半脸列向量v反转得到v′和右半脸列向量w反转得到w′,按下式分别确定一张人脸图像的左半脸列向量反转v′的初始值(v′)0和右半脸列向量反转w′的初始值(w′)0
2)设定目标函数f(v,w′)
采用梯度下降法构建第一个虚拟样本V如下:
vt+1=vt-η[vt-(w′)t] (2)
(w′)t+1=(w′)t-η[(w′)t-vt] (3)
式中t为迭代次数,且t为有限的正整数,η为学习率;
将左半脸列向量v单独执行3次连续迭代,在左半脸列向量v与右半脸列向量反转w′之间互相迭代,连接v和w′确定第一个对称的虚拟脸V1。对于整个数据集,得到K张图像所有的第一个虚拟样本V为:
V=[V1,V2,...,VK];
式中K为图像数据集中的样本总数,本实施例的K为2414。
3)设定目标函数f(v′,w)
采用梯度下降法构建第二个虚拟样本W如下:
wt+1=wt-η[wt-(v′)t] (5)
(v′)t+1=(v′)t-η[(v′)t-wt] (6)
将右半脸列向量w单独执行3次连续迭代,在左半脸列向量反转v′与右半脸列向量w之间互相迭代,连接v′和w确定第二个对称的虚拟脸W1。对于整个数据集,得到K张图像所有的第二个虚拟样本W为:
W=[W1,W2,...,WK];
本实施例的K为2414。
迭代更新终止条件为||vt-(w′)t||<ε和||(v′)t-(w)t||<ε,ε为0.01;
(3)划分数据集
将Extened Yale B图像数据集的一个人每一张图像扩充为三张图像,共有192张图像。从Extened Yale B图像数据集的每一个人中选取96张图像作为训练样本,96张图像作为测试样本。
(4)确定字典B
设置一组训练样本其中Xi为m维列向量,Xi∈Rm且n<K,本实施例的m为1024,n为1216,添加对应的虚拟样本V和W到每个人脸图像集合中,确定字典B:
B=[B1,B2,...,Bn]
式中Bi为3m维的列向量;
(5)确定协同重构权向量ri
用岭回归方法确定协同重构权向量ri
式中λ0为正则化参数,λ0∈[1×10-4,1×10-1];
确定所有样本的协同重构权重矩阵R:
式中为最优协同重构权向量,i为[1,n],本实施例的m为1024,n为1216。
(6)保持最优协同重构权向量
该步骤与实施例1相同。
(7)提取人脸特征
按下式确定最优投影向量a:
BRαBTa=λBBTa (10)
式中Rα为R+RT-RTR,λ为特征值。
通过(10)式广义特征值问题选出d个特征值对应的投影向量a,d∈[1,m],本实施例d为199,m为1024,即是特征提取后的人脸图像。在1-NN分类器上完成人脸识别。
实施例4
本实施例以在ORL数据集中取40个人形态各异的面部照片为例,基于虚拟样本和协同表示的人脸特征提取方法由下述步骤组成
(1)图像预处理
从ORL图像数据集中选取400张样本图像进行灰度值缩放为[0,1],将所有图像裁剪成32×32的图像。
(2)构建虚拟样本V和W
1)确定人脸图像的初始值
一张原始人脸图像矩阵X为:
X=[x1,...,xN/2,xN/2+1,...,xN];
式中N为图像矩阵X的列数,xj为图像矩阵X的每一列,j∈[1,N],其中N为偶数,本实施例的N为32。
按下式分别确定一张人脸图像的左半脸列向量v的初始值v0和右半脸列向量w的初始值w0
将一张人脸图像的左半脸列向量v反转得到v′和右半脸列向量w反转得到w′,按下式分别确定一张人脸图像的左半脸列向量反转v′的初始值(v′)0和右半脸列向量反转w′的初始值(w′)0
2)设定目标函数f(v,w′)
采用梯度下降法构建第一个虚拟样本V如下:
vt+1=vt-η[vt-(w′)t] (2)
(w′)t+1=(w′)t-η[(w′)t-vt] (3)
式中t为迭代次数,且t为有限的正整数,η为学习率;
将左半脸列向量v单独执行3次连续迭代,在左半脸列向量v与右半脸列向量反转w′之间互相迭代,连接v和w′确定第一个对称的虚拟脸V1。对于整个数据集,得到K张图像所有的第一个虚拟样本V为:
V=[V1,V2,...,VK];
式中K为图像数据集中的样本总数,本实施例的K为400。
3)设定目标函数f(v′,w)
采用梯度下降法构建第二个虚拟样本W如下:
wt+1=wt-η[wt-(v′)t] (5)
(v′)t+1=(v′)t-η[(v′)t-wt] (6)
将右半脸列向量w单独执行3次连续迭代,在左半脸列向量反转v′与右半脸列向量w之间互相迭代,连接v′和w确定第二个对称的虚拟脸W1。对于整个数据集,得到K张图像所有的第二个虚拟样本W为:
W=[W1,W2,...,WK];
本实施例的K为400。
迭代更新终止条件为||vt-(w′)t||<ε和||(v′)t-(w)t||<ε,ε为0.01;
(3)划分数据集
将ORL图像数据集的一个人每一张图像扩充为三张图像,共有30张图像。从ORL图像数据集的每一个人中选取15张图像作为训练样本,15张图像作为测试样本。
(4)确定字典B
设置一组训练样本其中Xi为m维列向量,Xi∈Rm且n<K,本实施例的m为1024,n为200,添加对应的虚拟样本V和W到每个人脸图像集合中,确定字典B:
B=[B1,B2,...,Bn]
式中Bi为3m维的列向量;
(5)确定协同重构权向量ri
用岭回归方法确定协同重构权向量ri
式中λ0为正则化参数,λ0∈[1×10-4,1×10-1];
确定所有样本的协同重构权重矩阵R:
式中为最优协同重构权向量,i为[1,n],本实施例的m为1024,n为200。
(6)保持最优协同重构权向量
该步骤与实施例1相同。
(7)提取人脸特征
按下式确定最优投影向量a:
BRαBTa=λBBTa (10)
式中Rα为R+RT-RTR,λ为特征值。
通过(10)式广义特征值问题选出d个特征值对应的投影向量a,d∈[1,m],本实施例d为174,m为1024,即是特征提取后的人脸图像。在1-NN分类器上完成人脸识别。
为了验证本发明的有益效果,发明人采用本发明实施例1~4的基于虚拟样本和协同表示的人脸特征提取方法与PCA、LPP、NPE、SPP1、SPP2人脸特征方法在1-NN分类器上进行了仿真对比实验,基线为没有经过特征提取时图像本身的维度。参数k为邻域大小。实验结果见表1~4和图2~5。
表1实施例1在1-NN分类器上与5种人脸特征提取方法的平均识别率
由表1可见,实施例1的人脸特征提取方法的平均识别率比识别率最低的PCA人脸特征方法高11.38%,比识别率最高的SPP2人脸特征提取方法高4.51%。
表2实施例2在1-NN分类器上与5种对比试验方法的平均识别率
由表2可见,实施例2的人脸特征提取方法的平均识别率比识别率最低的PCA人脸特征方法高19.12%,比识别率最高的SPP1人脸特征提取方法高13.09%。
表3实施例3在1-NN分类器上与5种对比试验方法的平均识别率
由表3可见,实施例3的人脸特征提取方法的平均识别率比识别率最低的PCA人脸特征方法高16.44%,比识别率最高的SPP1人脸特征提取方法低0.59%。
表4实施例4在1-NN分类器上与5种对比试验方法的平均识别率
由表4可见,实施例4的人脸特征提取方法的平均识别率比识别率最低的LPP人脸特征方法高19.93%,比识别率最高的SPP1人脸特征提取方法高2.26%。
从表1-4中可见,本发明与其他特征提取方法相比,提取了有效的主成分,提高了识别准确率,提高了训练样本的质量和数量,减弱了非线性因素对人脸识别的影响。
从图2-5中可见,本发明与其他特征提取方法相比,随着维度增加,识别率呈正比例增加,在相同维度下,提高了平均识别率。

Claims (1)

1.一种基于虚拟样本和协同表示的人脸特征提取方法,其特征在于它是由下述步骤组成:
(1)图像预处理
从Yale、FERET、Extened Yale B、ORL图像数据集中分别选取165、1400、2414、400张样本图像进行灰度值缩放为[0,1],将所有图像裁剪成32×32或40×40的图像;
(2)构建虚拟样本V和W
1)确定人脸图像的初始值
一张原始人脸图像矩阵X为:
X=[x1,...,xN/2,xN/2+1,...,xN];
式中N为图像矩阵X的列数,xj为图像矩阵X的每一列,j∈[1,N],其中N为偶数;
按下式分别确定一张人脸图像的左半脸列向量v的初始值v0和右半脸列向量w的初始值w0
将一张人脸图像的左半脸列向量v反转得到v′和右半脸列向量w反转得到w′,按下式分别确定一张人脸图像的左半脸列向量反转v′的初始值(v′)0和右半脸列向量反转w′的初始值(w′)0
2)设定目标函数f(v,w′)
采用梯度下降法构建第一个虚拟样本Vh为:
vt+1=vt-η[vt-(w′)t] (2)
(w′)t+1=(w′)t-η[(w′)t-vt] (3)
式中t为迭代次数,且t为有限的正整数,η为学习率;
将左半脸列向量v单独执行3次连续迭代,在左半脸列向量v与右半脸列向量反转w′之间互相迭代,连接v和w′确定第一个对称的虚拟脸V1,对于整个数据集,得到K为165、1400、2414、400张图像所有的第一个虚拟样本Vh为:
Vh=[V1,V2,...,VK];
K为图像数据集中的样本总数;
3)设定目标函数f(v′,w)
采用梯度下降法构建第二个虚拟样本W如下:
wt+1=wt-η[wt-(v′)t] (5)
(v′)t+1=(v′)t-η[(v′)t-wt] (6)
将右半脸列向量w单独执行3次连续迭代,在左半脸列向量反转v′与右半脸列向量w之间互相迭代,连接v′和w确定第二个对称的虚拟脸W1,对于整个数据集,得到K为165、1400、2414、400张图像所有的;
第二个虚拟样本Wh为:
Wh=[W1,W2,...,WK];
迭代更新终止条件为||vt-(w′)t||<ε和||(v′)t-(w)t||<ε,ε为0.01;
(3)划分数据集
将Yale、FERET、Extened Yale B、ORL图像数据集的每一张图像扩充为3张图像,从Yale、FERET、Extened Yale B、ORL图像数据集的每一类中分别选取18、12、96、15张图像作为训练样本,剩余的图像作为测试样本;
(4)确定字典B
设置一组训练样本其中Xi为m维列向量,Xi∈Rm且n<K,添加对应的虚拟样本V和W到每个人脸图像集合中,确定字典B:
B=[B1,B2,...,Bn]
式中Bi为3m维的列向量,m为1024或1600,n为90、800、1216、200中的任意一个数;;
(5)确定协同重构权向量ri
用岭回归方法确定协同重构权向量ri
式中λ0为正则化参数,λ0∈[1×10-4,1×10-1];
确定所有样本的协同重构权重矩阵R:
式中为最优协同重构权向量,i为[1,n],n为90、800、1216、200中的任意一个数;
(6)保持最优协同重构权向量
按下式确定投影后的目标函数为:
式中a是投影向量,n为90、800、1216、200中的任意一个数;
(7)提取人脸特征
按下式确定最优投影向量a:
BRαBTa=λBBTa (10)
式中Rα为R+RT-RTR,λ为特征值;通过(10)式广义特征值问题选出d个特征值对应的投影向量a,d∈[1,m],m为有限的正整数,即是特征提取后的人脸图像;在1-NN分类器上完成人脸识别。
CN202010960796.0A 2020-09-14 2020-09-14 基于虚拟样本和协同表示的人脸特征提取方法 Active CN112101193B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010960796.0A CN112101193B (zh) 2020-09-14 2020-09-14 基于虚拟样本和协同表示的人脸特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010960796.0A CN112101193B (zh) 2020-09-14 2020-09-14 基于虚拟样本和协同表示的人脸特征提取方法

Publications (2)

Publication Number Publication Date
CN112101193A CN112101193A (zh) 2020-12-18
CN112101193B true CN112101193B (zh) 2024-01-05

Family

ID=73751513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010960796.0A Active CN112101193B (zh) 2020-09-14 2020-09-14 基于虚拟样本和协同表示的人脸特征提取方法

Country Status (1)

Country Link
CN (1) CN112101193B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102142082A (zh) * 2011-04-08 2011-08-03 南京邮电大学 用于人脸识别的基于虚拟样本的核鉴别方法
CN103530659A (zh) * 2013-10-18 2014-01-22 哈尔滨工业大学深圳研究生院 结合原始和对称脸人脸图像的人脸识别方法及考勤系统
CN104268593A (zh) * 2014-09-22 2015-01-07 华东交通大学 一种小样本情况下多稀疏表示的人脸识别方法
CN107918761A (zh) * 2017-10-19 2018-04-17 九江学院 一种基于多流形核鉴别分析的单样本人脸识别方法
CN109685105A (zh) * 2018-11-16 2019-04-26 中国矿业大学 一种基于无监督宽度学习的高光谱图像聚类方法
CN110780264A (zh) * 2019-10-12 2020-02-11 河海大学 基于改进岭回归的气象雷达风力涡轮机杂波抑制方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11829848B2 (en) * 2017-05-09 2023-11-28 Microsoft Technology Licensing, Llc Adding negative classes for training classifier

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102142082A (zh) * 2011-04-08 2011-08-03 南京邮电大学 用于人脸识别的基于虚拟样本的核鉴别方法
CN103530659A (zh) * 2013-10-18 2014-01-22 哈尔滨工业大学深圳研究生院 结合原始和对称脸人脸图像的人脸识别方法及考勤系统
CN104268593A (zh) * 2014-09-22 2015-01-07 华东交通大学 一种小样本情况下多稀疏表示的人脸识别方法
CN107918761A (zh) * 2017-10-19 2018-04-17 九江学院 一种基于多流形核鉴别分析的单样本人脸识别方法
CN109685105A (zh) * 2018-11-16 2019-04-26 中国矿业大学 一种基于无监督宽度学习的高光谱图像聚类方法
CN110780264A (zh) * 2019-10-12 2020-02-11 河海大学 基于改进岭回归的气象雷达风力涡轮机杂波抑制方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Linear regression based projections for dimensionality reduction;Si-Bao Chen et al;《Information Sciences》;20181031;第14页 *
基于低秩表示投影的无监督人脸特征提取;张振月等;《山东大学学报(工学版)》;20180228;第48卷(第1期);第1.1、2.1节 *
基于协同表示和线性回归的人脸识别算法研究;张哲来;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160215;第2016年卷(第2期);第4.2节 *
基于小样本条件下的人脸识别算法的研究;孙晨晖;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200615;第2020年卷(第6期);第3.2.2、3.3.1节 *

Also Published As

Publication number Publication date
CN112101193A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
Zhang et al. Joint low-rank and sparse principal feature coding for enhanced robust representation and visual classification
CN107622104B (zh) 一种文字图像识别标注方法及系统
Zhuang et al. Constructing a nonnegative low-rank and sparse graph with data-adaptive features
CN107330355B (zh) 一种基于正样本平衡约束的深度行人再标识方法
Kong et al. Hep-2 cell pattern classification with discriminative dictionary learning
CN104281835B (zh) 基于局部敏感的核稀疏表示的人脸识别方法
Zhang et al. Singular value decomposition based virtual representation for face recognition
Corcoran et al. Automatic face recognition system for hidden markov model techniques
Narang et al. Devanagari ancient character recognition using HOG and DCT features
CN112233017A (zh) 一种基于生成对抗网络的病态人脸数据增强方法
Wang et al. Graph-based safe support vector machine for multiple classes
CN111126169B (zh) 基于正交化的图正则非负矩阵分解的人脸识别方法及系统
CN114882288B (zh) 基于分层图增强堆叠自编码器的多视图图像分类方法
CN112733859A (zh) 一种组织病理学图像的深度迁移半监督域自适应分类方法
Zhang et al. Efficient orthogonal non-negative matrix factorization over Stiefel manifold
Lu et al. Similar handwritten chinese character recognition based on CNN-SVM
CN111401434A (zh) 一种基于无监督特征学习的图像分类方法
CN112101193B (zh) 基于虚拟样本和协同表示的人脸特征提取方法
Bian et al. Conditional adversarial consistent identity autoencoder for cross-age face synthesis
Chang et al. Graph-regularized discriminative analysis-synthesis dictionary pair learning for image classification
CN108734206B (zh) 一种基于深度参数学习的最大相关主成分分析方法
CN106815844A (zh) 一种基于流形学习的抠图方法
Wang et al. Feature extraction method of face image texture spectrum based on a deep learning algorithm
Jin Convolutional neural networks for biometrics applications
Kapse et al. Cd-net: Histopathology representation learning using pyramidal context-detail network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant