CN109697432B - 融合改进的siltp和局部方向模式的学习者姿态识别方法 - Google Patents

Abstract

一种融合改进的SILTP和局部方向模式的学习者姿态识别方法，由图像预处理、提取三尺度加权的自适应SILTP特征、提取改进的局部方向模式特征F_LVR、将三尺度加权自适应SILTP特征F_MWA‑SILTP和改进的局部方向模式特征F_LVR进行融合得到姿态识别的总特征F_{MWASILTP‑LVR}、采用支持向量机对学习者姿态分类识别组成。本发明在SILTP中采用自适应阈值，得到自适应SILTP，可动态生成适应于各样本的阈值，自适应性更强；并在SILTP中引入三尺度加权机制，将不同尺度的自适应SILTP以不同权重融合，具有较好的特征表征能力；在局部方向模式中融入方差VAR，充分利用图像的边缘梯度信息和灰度值变化强度；本发明具有抗干扰性强、识别率高等优点，可用于学习者姿态识别及其它图像识别和分类。

Description

融合改进的SILTP和局部方向模式的学习者姿态识别方法

技术领域

本发明涉及图像处理和机器视觉技术领域，具体涉及一种融合改进的SILTP和局部方向模式的学习者姿态识别方法。

背景技术

随着互联网技术的发展和人工智能时代的到来，在线学习作为一种便捷新颖的学习方式，日益广泛地影响着我们的学习和工作。如何有效地评估数字化学习过程中学习者的行为状态成为日益重要的问题。对学习者学习过程中的姿态识别进而判断学习者的状态，可以实现学习过程的监测。学习者姿态识别能够有效地评价在线学习过程中学习者的学习状态，对分析和改善学习者的学习状态具有重要作用。

张鸿宇等人提出了一种基于深度图像的多学习者姿态识别的方法，首先通过Kinect的红外传感器获取包含深度信息的深度图像，利用深度图像进行人像－背景分离，然后提取人体的轮廓特征Hu矩，采用支持向量机分类器对轮廓特征进行分类和识别，实验表明这种方法能有效地识别学习者的举手、正坐和低头等姿态。Chu等人提出一种新的行人重识别框架，在水平和垂直方向上将放大后的图像划分为子区域，并提取图像局部区域的尺度不变局部三值模式(ScaleInvariantLocalTernary Pattern，SILTP)和HSV(Hue，Saturation，Value)特征进行行人重识别，降低了不匹配的风险，增加了对遮挡的鲁棒性。齐美彬等人提出一种改进特征与GPU(graphic processingunit)加速的行人检测算法，选取SILTP特征作为纹理特征，在GPU空间中并行提取，同时提取图像的HOG(histogramoforientedgradient)特征值，将提取的全部特征输出到CPU(centralprocessingunit)，利用支持向量机分类器实现行人检测。

上述学习者姿态识别模型采用Hu矩特征来描述学习者姿态特征，Hu矩不能完全提取图像中的信息，而且它们是非正交的，具有信息冗余性；上述行人重识别和行人检测模型采用传统SILTP进行特征提取，但传统SILTP并不稳定，在复杂背景的情况下，并不能很好地表征每个样本的纹理特征，自适应性不强。

发明内容

本发明针对已有技术的不足，提供一种抗干扰性强、识别率高的融合改进的SILTP和局部方向模式的学习者姿态识别方法。

解决上述技术问题所采用的技术方案由下述步骤组成：

(1)图像预处理

对学习者姿态图像进行尺度归一化处理，并将图像转化为灰度图像{G(p,q)}，p是灰度图像像素点的横坐标，q是灰度图像像素点的纵坐标，p、q均为正整数；

(2)提取三尺度加权的自适应SILTP特征

(2.1)根据全局和局部邻域对比度值的离散程度自动生成当前邻域的自适应阈值ε，并进行SILTP编码，得到自适应SILTP，自适应SILTP的表达式为

式中(x_c，y_c)为灰度图像{G(p,q)}像素点的位置，I_c是中心像素点的灰度值，I_k是以中心像素点为圆心、半径为R区域内N邻域所对应的像素点的灰度值，k∈{0,1,...,N-1}，R为有限正整数，N取4或8，ε是自适应阈值，

是比特连接运算符，s_ε是分段函数；

所述的分段函数s_ε为

(2.2)提取灰度图像{G(p,q)}的三个尺度的自适应SILTP特征，并将该三个尺度的自适应SILTP特征以不同权重融合，得到三尺度加权自适应SILTP特征F_MWA-SILTP；

(3)提取改进的局部方向模式特征F_LVR

(3.1)把灰度图像{G(p,q)}送入局部方向模式中，选取前3个最大边缘响应绝对值并设为1，提取灰度图像{G(p,q)}的局部方向模式特征F_LDP；

(3.2)通过计算灰度图像{G(p,q)}每个像素点在(R₁，N₁)邻域内的方差VAR值，提取灰度图像{G(p,q)}的方差VAR直方图特征F_VAR，R₁是邻域半径，N₁是邻域节点数目，R₁为正整数，N₁取4或8；

(3.3)将局部方向模式特征F_LDP和方差VAR直方图特征F_VAR进行融合，作为图像{G(p,q)}的改进的局部方向模式特征F_LVR；

(4)将三尺度加权自适应SILTP特征F_MWA-SILTP和改进的局部方向模式特征F_LVR进行融合，得到姿态识别的总特征F_MWASILTP-LVR；

(5)采用支持向量机对学习者姿态进行分类识别。

作为一种优选的技术方案，所述的步骤(2.1)中自适应阈值ε生成公式如下：

式中u是图像水平方向上像素点的总数，w是图像垂直方向上像素点的总数，Δg_pq是灰度图像{G(p,q)}像素点的灰度值与平均灰度值的差值，

是灰度图像{G(p,q)}像素点的灰度值与平均灰度值的差值的均值，ΔI_k是中心像素值I_c在(R,N)邻域内的对比度值，

是中心像素值I_c在(R,N)邻域内对比度值的均值；

所述的中心像素值I_c在(R,N)邻域内的对比度值ΔI_k为

ΔI_k＝I_k-I_c,(k＝0,1,…,N-1) (4)

所述的中心像素值I_c在(R,N)邻域内对比度值的均值

为

作为一种优选的技术方案，所述的步骤(2.2)中三个不同尺度的自适应SILTP特征加权融合的方法如下：

(a)把灰度图像{G(p,q)}送入自适应SILTP中，获取灰度图像{G(p,q)}在半径R分别为1、4、6三个尺度下的自适应SILTP直方图特征向量H₁，H₂，H₃，并对特征向量H₁，H₂，H₃分别归一化为H'₁，H'₂，H'₃；

(b)对特征向量H'₁，H'₂，H'₃进行加权融合，得到三尺度加权自适应SILTP特征F_MWA-SILTP，

F_MWA-SILTP＝w₁×H'₁+w₂×H'₂+w₃×H'₃ (6)

式中，w₁是R＝1尺度对应的权重，w₂是R＝4尺度对应的权重，w₃是R＝6尺度对应的权重，w₁+w₂+w₃＝1且w₁、w₂、w₃均为正数。

作为一种优选的技术方案，所述的R＝1尺度对应的权重w₁为0.6，R＝4尺度对应的权重w₂为0.2，R＝6尺度对应的权重w₃为0.2。

作为一种优选的技术方案，其特征在于所述的步骤(3.3)中局部方向模式特征F_LDP和方差VAR直方图特征F_VAR按下式融合：

F_LVR＝[F_LDP,F_VAR] (7)

作为一种优选的技术方案，所述的步骤(4)中三尺度加权自适应SILTP特征F_MWA-SILTP和改进的局部方向模式特征F_LVR按下式融合：

F_MWASILTP-LVR＝[F_MWA-SILTP,F_LVR] (8)

本发明的有益效果如下：

本发明在SILTP中采用自适应阈值，得到自适应SILTP，可动态生成适应于各样本的阈值，自适应性更强，对光照变化和噪声具有较好的鲁棒性，降低了学习者姿态图像受外界环境的影响；并在SILTP中引入三尺度加权机制，对图像进行多分辨率表征，获得更丰富的特征信息，具有较好的特征表征能力；本发明在局部方向模式中融入方差VAR，充分利用图像的边缘梯度信息和灰度值变化强度，获得更丰富的特征信息，更稳定；本发明采用多特征融合的方式，融合三尺度加权自适应SILTP和改进的局部方向模式特征，从多角度提取图像各方面的信息，为学习者姿态识别提供可靠的分类依据，有效地提高分类识别的精度。本发明具有抗干扰性强、识别率高等优点，可用于学习者姿态识别及其它图像识别和分类。

附图说明

图1是本发明的流程图。

图2是LPR图库中的部分图像。

具体实施方式

下面结合附图和实施例对本发明进一步详细说明，但本发明不限于下述的实施方式。

实施例1

在图1中，融合改进的SILTP和局部方向模式的学习者姿态识别方法，由下述步骤组成：

(1)图像预处理

对学习者姿态图像进行尺度归一化处理，归一化后的图像像素为256×256，并将图像转化为灰度图像{G(p,q)}，p是灰度图像像素点的横坐标，q是灰度图像像素点的纵坐标，p、q均为正整数；

(2)提取三尺度加权的自适应SILTP特征

(2.1)根据全局和局部邻域对比度值的离散程度自动生成当前邻域的自适应阈值ε，并进行SILTP编码，得到自适应SILTP，自适应SILTP的表达式为

式中(x_c，y_c)为灰度图像{G(p,q)}像素点的位置，I_c是中心像素点的灰度值，I_k是以中心像素点为圆心、半径为R区域内N邻域所对应的像素点的灰度值，k∈{0,1,...,N-1}，R为有限正整数，N取4，ε是自适应阈值，

是比特连接运算符，s_ε是分段函数；

本实施例中分段函数s_ε为

本实施例中自适应阈值ε生成公式如下：

式中u是图像水平方向上像素点的总数，u为256，w是图像垂直方向上像素点的总数，w为256，Δg_pq是灰度图像{G(p,q)}像素点的灰度值与平均灰度值的差值，

是灰度图像{G(p,q)}像素点的灰度值与平均灰度值的差值的均值，ΔI_k是中心像素值I_c在(R,N)邻域内的对比度值，

是中心像素值I_c在(R,N)邻域内对比度值的均值；

本实施例中心像素值I_c在(R,N)邻域内的对比度值ΔI_k为

ΔI_k＝I_k-I_c,(k＝0,1,…,N-1) (4)

本实施例中心像素值I_c在(R,N)邻域内对比度值的均值

为

本实施例灰度图像{G(p,q)}像素点的灰度值与平均灰度值的差值Δg_pq为

Δg_pq＝T(p,q)-J (6)

式中J是灰度图像{G(p,q)}的像素点的平均灰度值，T(p,q)是灰度图像{G(p,q)}像素点的灰度值；

本实施例灰度图像{G(p,q)}像素点的灰度值与平均灰度值的差值的均值

为

(2.2)提取灰度图像{G(p,q)}的三个尺度的自适应SILTP特征，并将该三个尺度的自适应SILTP特征以不同权重融合，得到三尺度加权自适应SILTP特征F_MWA-SILTP；

上述三个不同尺度的自适应SILTP特征加权融合的方法如下：

(a)把灰度图像{G(p,q)}送入自适应SILTP中，获取灰度图像{G(p,q)}在半径R分别为1、4、6三个尺度下的自适应SILTP直方图特征向量H₁，H₂，H₃，并对特征向量H₁，H₂，H₃分别归一化为H'₁，H'₂，H'₃；

(b)对特征向量H'₁，H'₂，H'₃进行加权融合，得到三尺度加权自适应SILTP特征F_MWA-SILTP，

F_MWA-SILTP＝w₁×H'₁+w₂×H'₂+w₃×H'₃ (8)

式中，w₁是R＝1尺度对应的权重，w₂是R＝4尺度对应的权重，w₃是R＝6尺度对应的权重，w₁为0.6，w₂为0.2，w₃为0.2；

(3)提取改进的局部方向模式特征F_LVR

(3.1)把灰度图像{G(p,q)}送入局部方向模式中，选取前3个最大边缘响应绝对值并设为1，提取灰度图像{G(p,q)}的局部方向模式特征F_LDP；

(3.2)通过计算灰度图像{G(p,q)}每个像素点在(R₁，N₁)邻域内的方差VAR值，提取灰度图像{G(p,q)}的方差VAR直方图特征F_VAR，R₁是邻域半径，N₁是邻域节点数目，R₁为1，N₁取8；

(3.3)将局部方向模式特征F_LDP和方差VAR直方图特征F_VAR按下式(9)进行融合，作为图像{G(p,q)}的改进的局部方向模式特征F_LVR；

F_LVR＝[F_LDP,F_VAR] (9)

(4)将三尺度加权自适应SILTP特征F_MWA-SILTP和改进的局部方向模式特征F_LVR按下式(10)进行融合，得到姿态识别的总特征F_MWASILTP-LVR；

F_MWASILTP-LVR＝[F_MWA-SILTP,F_LVR] (10)

(5)采用支持向量机对学习者姿态进行分类识别。

将学习者姿态的图像分为训练样本和测试样本两类，学习者姿态图像按照所属的类别分为正坐的标签为1、举手的标签为2、低头的标签为3，将学习者姿态训练样本的特征向量及标签输入支持向量机分类器训练，并将学习者姿态测试样本的特征向量及标签输入支持向量机分类器，由分类器对学习者姿态进行识别。

为了验证本发明的有益效果，发明人应用实施例1的方法进行了如下实验：

1、图库的建立

在教室场景中，用普通相机拍摄教室里学生学习时正坐、举手、低头的图像，建立了一个学习者姿态图像数据库(简称LPR图库)，该数据库共采集了3000张图像，其中正坐姿态、举手姿态、低头姿态图像各1000张。图2为LPR图库中的部分图像，图2中(a)为正坐姿态，(b)为举手姿态，(c)为低头姿态。

2、学习者姿态识别

从LPR图库中随机选取2100张图像作为训练集，其中正坐姿态、举手姿态、低头姿态的图像各700张；图库中剩余的900张图像作为测试集；

应用实施例1的融合改进的SILTP和局部方向模式的学习者姿态识别方法进行姿态识别，表1给出了该方法三种姿态对应的识别率，

表1三种姿态对应的识别率

从表1看出，本发明对学习者的正坐、举手、低头三种姿态具有较高的识别率，因为本发明充分利用三尺度加权自适应SILTP特征F_MWA-SILTP和改进的局部方向模式特征F_LVR两种特征的优势，对光照变化和噪声具有较好的鲁棒性，抗干扰性更强，更稳定，能够更好地提取边缘信息，自适应性强，从而使得多特征融合具有更好的特征表征能力，从而提高了学习者姿态识别率。

Claims (5)

1.一种融合改进的SILTP和局部方向模式的学习者姿态识别方法，其特征在于由下述步骤组成：

(1)图像预处理

对学习者姿态图像进行尺度归一化处理，并将图像转化为灰度图像{G(p,q)}，p是灰度图像像素点的横坐标，q是灰度图像像素点的纵坐标，p、q均为正整数；

(2)提取三尺度加权的自适应SILTP特征

(2.1)根据全局和局部邻域对比度值的离散程度自动生成当前邻域的自适应阈值ε，并进行SILTP编码，得到自适应SILTP，自适应SILTP的表达式为

式中(x_c，y_c)为灰度图像{G(p,q)}像素点的位置，I_c是中心像素点的灰度值，I_k是以中心像素点为圆心、半径为R区域内N邻域所对应的像素点的灰度值，k∈{0,1,...,N-1}，R为有限正整数，N取4或8，ε是自适应阈值，

是比特连接运算符，s_ε是分段函数；

所述的分段函数s_ε为

(2.2)提取灰度图像{G(p,q)}的三个尺度的自适应SILTP特征，并将该三个尺度的自适应SILTP特征以不同权重融合，得到三尺度加权自适应SILTP特征F_MWA-SILTP；

所述三个不同尺度的自适应SILTP特征加权融合的方法如下：

(a)把灰度图像{G(p,q)}送入自适应SILTP中，获取灰度图像{G(p,q)}在半径R分别为1、4、6三个尺度下的自适应SILTP直方图特征向量H₁，H₂，H₃，并对特征向量H₁，H₂，H₃分别归一化为H′₁，H′₂，H′₃；

(b)对特征向量H′₁，H′₂，H′₃进行加权融合，得到三尺度加权自适应SILTP特征F_MWA-SILTP，

F_MWA-SILTP＝w₁×H′₁+w₂×H′₂+w₃×H′₃ (3)

式中，w₁是R＝1尺度对应的权重，w₂是R＝4尺度对应的权重，w₃是R＝6尺度对应的权重，w₁+w₂+w₃＝1且w₁、w₂、w₃均为正数；

(3)提取改进的局部方向模式特征F_LVR

(3.1)把灰度图像{G(p,q)}送入局部方向模式中，选取前3个最大边缘响应绝对值并设为1，提取灰度图像{G(p,q)}的局部方向模式特征F_LDP；

(3.2)通过计算灰度图像{G(p,q)}每个像素点在(R₁，N₁)邻域内的方差VAR值，提取灰度图像{G(p,q)}的方差VAR直方图特征F_VAR，R₁是邻域半径，N₁是邻域节点数目，R₁为正整数，N₁取4或8；

(3.3)将局部方向模式特征F_LDP和方差VAR直方图特征F_VAR进行融合，作为图像{G(p,q)}的改进的局部方向模式特征F_LVR；

(4)将三尺度加权自适应SILTP特征F_MWA-SILTP和改进的局部方向模式特征F_LVR进行融合，得到姿态识别的总特征F_MWASILTP-LVR；

(5)采用支持向量机对学习者姿态进行分类识别。

2.按照权利要求1所述的融合改进的SILTP和局部方向模式的学习者姿态识别方法，其特征在于所述的步骤(2.1)中自适应阈值ε生成公式如下：

式中u是图像水平方向上像素点的总数，w是图像垂直方向上像素点的总数，Δg_pq是灰度图像{G(p,q)}像素点的灰度值与平均灰度值的差值，

是灰度图像{G(p,q)}像素点的灰度值与平均灰度值的差值的均值，ΔI_k是中心像素值I_c在(R,N)邻域内的对比度值，

是中心像素值I_c在(R,N)邻域内对比度值的均值；

所述的中心像素值I_c在(R,N)邻域内的对比度值ΔI_k为

ΔI_k＝I_k-I_c,(k＝0,1,…,N-1) (5)

所述的中心像素值I_c在(R,N)邻域内对比度值的均值

为

3.按照权利要求1所述的融合改进的SILTP和局部方向模式的学习者姿态识别方法，其特征在于：所述的R＝1尺度对应的权重w₁为0.6，R＝4尺度对应的权重w₂为0.2，R＝6尺度对应的权重w₃为0.2。

4.按照权利要求1所述的融合改进的SILTP和局部方向模式的学习者姿态识别方法，其特征在于所述的步骤(3.3)中局部方向模式特征F_LDP和方差VAR直方图特征F_VAR按下式融合：

F_LVR＝[F_LDP,F_VAR] (7)。

5.按照权利要求1所述的融合改进的SILTP和局部方向模式的学习者姿态识别方法，其特征在于所述的步骤(4)中三尺度加权自适应SILTP特征F_MWA-SILTP和改进的局部方向模式特征F_LVR按下式融合：

F_MWASILTP-LVR＝[F_MWA-SILTP,F_LVR] (8)。

Images