CN105975934B - 一种用于增强现实辅助维修的动态手势识别方法及系统 - Google Patents

Abstract

本发明提供了一种用于增强现实辅助维修的动态手势识别方法及系统。该方法包括如下步骤：采集动态手势的视频图像以作为测试样本；根据肤色范围法对测试样本中的每一帧图像进行手势和背景的分割；从测试样本的所有图像中，找出动态手势的指尖运动轨迹，并根据动态手势的指尖运动轨迹构建动态手势特征向量；动态手势特征向量中的每一分量为相邻两帧图像中指尖连线构成的方向向量；将动态手势特征向量送入支持向量机，由支持向量机中的分类器进行手势识别，获得动态手势的最优分类解。本发明将指尖运动轨迹以离散的移动方向表示，使时间上的指尖位置数据转换为空间上的方向数据并保留了动态手势的主要特征，从而有助于动态手势的快速准确识别。

Description

一种用于增强现实辅助维修的动态手势识别方法及系统

技术领域

本发明涉及手势识别技术领域，具体地说是一种用于增强现实辅助维修的动态手势识别方法及系统。

背景技术

当前，增强现实技术应用于复杂装备维修，为用户提供了一种身临其境的“虚实结合”的维修环境和更加直观灵活的操作方式，对于缩短装备维护周期、提高维修效率、降低维修成本具有重要意义。而动态手势识别做为增强现实技术中一个重要的环节，可有效捕捉、分析、处理及识别各类手势指令信息，实现了提示信息的翻页、选择、拉伸、缩放等人机交互功能。因此针对增强现实辅助维修系统开展动态手势识别技术研究具有重要意义。

发明内容

本发明的目的之一就是提供一种用于增强现实辅助维修的动态手势识别方法，该方法能够在增强现实辅助维修系统下识别裸手的动态手势。

本发明的目的之二就是提供一种用于增强现实辅助维修的动态手势识别系统，该系统能够准确地识别裸手的动态手势，保证维修过程中人手操作的灵活性和维修保障效率。

本发明的目的之一是这样实现的：一种用于增强现实辅助维修的动态手势识别方法，包括如下步骤：

a、采集动态手势的视频图像，作为测试样本；每一个测试样本中均包括若干帧按序排列的图像；

b、对测试样本中的每一帧图像进行手势和背景的分割；具体是：在每一帧图像中，若像素点在YCbCr颜色空间中的Cb值处于[120,145]之间，且Cr值处于[145,180]之间，则该像素点为肤色点；否则该像素点为背景点；由相邻肤色点连通构成的最大连通区域即为手势区域，将手势区域从图像中分割出来，即实现手势和背景的分割；

c、从测试样本的所有图像帧序列中，找出动态手势的指尖运动轨迹，并根据动态手势的指尖运动轨迹构建动态手势特征向量；所构建的动态手势特征向量中的每一分量为相邻两帧图像中指尖连线构成的方向向量；

d、将动态手势特征向量送入支持向量机，由支持向量机中的分类器进行手势识别，获得动态手势的最优分类解。

步骤d中支持向量机中的分类器是通过如下步骤形成的：

①、建立动态手势库；动态手势库中包含若干视频图像，动态手势库中的每一个视频图像所对应的动态手势为指尖“向上”、“向下”、“向左”或“向右”的动态手势；

②、依照步骤b中手势和背景分割方法对动态手势库中每一个视频图像中的所有图像帧序列分别进行手势和背景的分割；

③、依照步骤c中方法构建与动态手势库中每一个视频图像对应的动态手势特征向量；

④、采用一对一方法构造二元分类器，共得到6个二元分类器；并通过K折交叉验证方法确定每一个分类器的惩罚系数C及核函数参数。

步骤①中建立动态手势库具体包括如下步骤：

首先，以迷彩装或电路板作为辅助维修操作的基本背景；

其次，在晴朗室内正午、晴朗室外正午、晴朗室内下午三种不同光照条件下对10位采集者进行动态手势采集，对每位采集者均采集指尖“向上”、“向下”、“向左”和“向右”四种动态手势各十次，共得到三种不同光照条件下的1200个视频图像。

步骤c中，从测试样本中所有图像帧序列中，找出动态手势的指尖运动轨迹，具体是：

①、在测试样本的每一帧图像中，分别找出手势中的指尖，并确定指尖在对应帧图像中的坐标；

②、在测试样本的每一帧图像中均设定一个矩形的预设检测区域L，该预设检测区域L的四个顶点坐标分别为(a₁，b₁)、(a₂，b₁)、(a₁，b₂)及(a₂，b₂)，其中a₁＜a₂，b₁＜b₂；

③、设动态手势中指尖在预设检测区域L内的起始点坐标为(x_start,y_start)，终止点坐标为(x_end,y_end)，并对起始点坐标和终止点坐标进行初始化，即：使(x_start,y_start)＝(0,0)，(x_end,y_end)＝(0,0)；

④、依序对测试样本的每一帧图像中指尖的位置(x_i,y_i)进行跟踪、判断，确定起始点位置：

并记录起始点位置对应的图像帧序号k_start；

⑤、继续跟踪、判断图像中指尖的位置，确定终止点位置：

并记录终止点位置对应的图像帧序号k_end；

⑥、测试样本中序号处于k_start和k_end之间的图像中指尖的运动轨迹即为动态手势的指尖运动轨迹。

步骤c中，根据动态手势的指尖运动轨迹构建动态手势特征向量，具体是：

①、在空间坐标系x-y平面内将0～360°按逆时针方向量化为12个主方向，每一个主方向对应一个角度区间，12个主方向分别以特征值1～12来表示，特征值与角度之间的关系式为：

F＝roundup(θ/30°+0.5)

上式中，F为角度量化后的特征值，roundup()为向上取整运算，θ为待量化的角度值，单位为度；且当θ＞345°时，F为1；

②、在测试样本中序号处于k_start和k_end之间的图像帧序列中，依次连接相邻帧图像中指尖的位置，每相邻两帧图像中指尖的连线构成一个方向向量，每一个方向向量对应角度量化后的一个特征值，所有特征值按序排列即构成该测试样本对应的动态手势特征向量。

步骤b中肤色点在YCbCr颜色空间中的Cb值和Cr值的取值范围是通过如下方法获取的：

首先，采集20个人员在晴朗室内正午、晴朗室外正午、晴朗室内下午三种不同光照条件下的60幅纯肤色样本图像，每幅图像的尺寸为320像素×240像素，共得到4608000个像素点；

其次，在YCbCr颜色空间中考察上述4608000个像素点在Cb和Cr空间上出现的频次，最终得到肤色点在YCbCr颜色空间中的Cb值处于[120,145]之间，Cr值处于[145,180]之间。

本发明的目的之二是这样实现的：一种用于增强现实辅助维修的动态手势识别系统，包括：

图像采集模块，与手势分割模块相接，用于采集包含动态手势的视频图像，以作为测试样本；每一个测试样本中均包括若干帧按序排列的图像；

手势分割模块，分别与所述图像采集模块和向量构建模块相接，用于对测试样本中的每一帧图像进行手势和背景的分割；具体分割过程是：在每一帧图像中，若像素点在YCbCr颜色空间中的Cb值处于[120,145]之间，且Cr值处于[145,180]之间，则该像素点为肤色点；否则该像素点为背景点；由相邻肤色点连通构成的最大连通区域即为手势区域，将手势区域从图像中分割出来，即实现手势和背景的分割；

向量构建模块，分别与所述手势分割模块和手势识别模块相接，用于从测试样本的所有图像帧序列中，找出动态手势的指尖运动轨迹，并根据动态手势的指尖运动轨迹构建动态手势特征向量；所构建的动态手势特征向量中的每一分量为相邻两帧图像中指尖连线构成的方向向量；以及

手势识别模块，与所述相向量构建模块接，用于通过支持向量机中的分类器对动态手势特征向量进行手势识别，获得动态手势的最优分类解。

在向量构建模块中，从测试样本的所有图像帧序列中，找出动态手势的指尖运动轨迹，具体是：

①、在测试样本的每一帧图像中，分别找出手势中的指尖，并确定指尖在对应帧图像中的坐标；

②、在测试样本的每一帧图像中均设定一个矩形的预设检测区域L，该预设检测区域L的四个顶点坐标分别为(a₁，b₁)、(a₂，b₁)、(a₁，b₂)及(a₂，b₂)，其中a₁＜a₂，b₁＜b₂；

③、设动态手势中指尖在预设检测区域L内的起始点坐标为(x_start,y_start)，终止点坐标为(x_end,y_end)，并对起始点坐标和终止点坐标进行初始化，即：使(x_start,y_start)＝(0,0)，(x_end,y_end)＝(0,0)；

④、依序对测试样本的每一帧图像中指尖的位置(x_i,y_i)进行跟踪、判断，确定起始点位置：

并记录起始点位置对应的图像帧序号k_start；

⑤、继续跟踪、判断图像中指尖的位置，确定终止点位置：

并记录终止点位置对应的图像帧序号k_end；

⑥、测试样本中序号处于k_start和k_end之间的图像中指尖的运动轨迹即为动态手势的指尖运动轨迹。

在向量构建模块中，根据动态手势的指尖运动轨迹构建动态手势特征向量，具体是：

①、在空间坐标系x-y平面内将0～360°按逆时针方向量化为12个主方向，每一个主方向对应一个角度区间，12个主方向分别以特征值1～12来表示，特征值与角度之间的关系式为：

F＝roundup(θ/30°+0.5)

上式中，F为角度量化后的特征值，roundup()为向上取整运算，θ为待量化的角度值，单位为度；且当θ＞345°时，F为1；

②、在测试样本中序号处于k_start和k_end之间的图像帧序列中，依次连接相邻帧图像中指尖的位置，每相邻两帧图像中指尖的连线构成一个方向向量，每一个方向向量对应角度量化后的一个特征值，所有特征值按序排列即构成该测试样本对应的动态手势特征向量。

本发明基于统计学习理论VC(Vapnik-Chervonenkis)维和结构风险最小化(Structural Risk Minimization,SRM)原则的支持向量机(Support Vector Machine，SVM)，通过建立动态手势库，手势和背景分割，构建动态手势特征向量，构造二元分类器，选择适当的函数子集和判别函数，使实际风险降至最小，经过训练样本集训练后得到的分类器具有小的误差量，利用该分类器对测试样本进行测试，使测试误差最小，从而获得最优分类解。

在具体构建动态手势特征向量时，是根据基于斜率方向的编码方法(即链码或Freeman码)，综合考虑手势特征的表征准确性和计算效率，基于该方法采用12方向编码构造单手单指尖轨迹特征模型，再根据单指尖运动轨迹，构建动态手势特征向量，所构建的动态手势特征向量中的每一分量为单指尖运动轨迹中相邻两个指尖连线构成的方向向量，从而将指尖运动轨迹以离散的移动方向表示，使时间上的指尖位置数据转换为空间上的方向数据并保留了动态手势的主要特征，有助于动态手势的快速准确识别。

本发明在建立动态手势库时，分别在晴朗室内正午、晴朗室外正午、晴朗室内下午三种不同光照条件下对10位采集者进行手势采集，减少了手势识别中的光照影响。除了考虑光照影响外，还充分考虑了背景等的影响，提高了支持向量机中训练样本的准确性，提高了识别精度。

本发明还采用了基于颜色识别的手势分割方法，在实验室条件下对不同实验者的手部纯肤色样本进行统计分析，建立基于统计的手部肤色模型，经逻辑运算并以最大连通域作为待分割手势图像，利用阈值法进行手势分割。该方法可有效去除部分类肤色区域，满足系统实时性的要求。

附图说明

图1是本发明中用于增强现实辅助维修的动态手势识别方法的流程示意图。

图2是本发明中60幅纯肤色样本图像在YCbCr颜色空间中的Cb和Cr空间上出现的频次示意图。

图3是本发明中指尖运动轨迹的起止点位置检测方法流程示意图。

图4是本发明中相邻两帧图像中指尖连线构成的方向矢量示意图。

图5是本发明中在二维平面上将0～360°角度进行12级量化后的示意图。

图6是本发明中所采集的指尖“向上”、“向下”、“向左”和“向右”四种动态手势的照片图。

图7是本发明中用于增强现实辅助维修的动态手势识别系统的结构框图。

具体实施方式

实施例1，一种用于增强现实辅助维修的动态手势识别方法。

如图1所示，本发明所提供的用于增强现实辅助维修的动态手势识别方法包括如下步骤：

S1、采集动态手势的视频图像，作为测试样本。

利用摄像机在迷彩装或电路板的背景下采集动态手势的视频图像，以作为测试样本。当然，也可以从现有的动态手势库中提取现有的视频图像来作为测试样本。每一个测试样本对应一个视频图像，每一个视频图像中包含有若干帧按时间顺序排列的图像。所有的测试样本构成测试样本集。

本发明中所描述的动态手势是在指尖提取的基础上进行的，通过指尖实时位置信息表征“向上”(up)、“向下”(down)、“向左”(left)和“向右”(right)共四种动态手势，在增强现实辅助维修系统中这四种动态手势分别对应上翻页、下翻页、左翻页和右翻页四种手势活动。“向上”表示指尖由下至上运动，“向下”表示指尖由上至下运动，“向左”表示指尖由右至左运动，“向右”表示指尖由左至右运动。

S2、对测试样本中的每一帧图像进行手势和背景的分割。

由于每一个测试样本所对应的视频图像均是由若干帧图像按序排列形成的，因此，本步骤中需要对每一个测试样本中每一帧图像中的手势和背景进行分割。对单个图像中手势和背景进行分割，具体是：根据肤色范围法，对图像中的各个像素点进行逐一判断；若图像中像素点在YCbCr颜色空间中的Cb值处于[120,145]之间，且Cr值处于[145,180]之间，则该像素点为肤色点；否则该像素点为背景点；将相邻的肤色点连接起来，形成连通区域，由相邻肤色点连通构成的最大连通区域即为手势区域；将手势区域从图像中分割出来，实现手势和背景的分割；分割后对图像进行二值化处理，得到二值图像。

本步骤中在采用肤色范围法对图像中各像素点进行判断时，所用到的YCbCr颜色空间的Cb值和Cr值的范围是根据如下方法得到的：

根据肤色图像在YCbCr颜色空间内的色度分布情况，可得到一个阈值区域，如果待分割图像中某一像素点的色度分量包含在该阈值区域内，则将其确定为一个肤色点，否则视为背景点。

具体是：在实验室环境中随机采集20个不同(黄色肤种)人员在晴朗室内正午(照度在150lx～2000lx之间)、晴朗室外正午(照度在20000lx～150000lx之间)、晴朗室内下午(照度在50lx～100lx之间)三种不同光照条件下(每个人员在三种不同光照条件下分别采集一张手部图像)的60幅手部纯肤色样本图像(每幅图像尺寸为320像素×240像素)，共获得4608000个像素点，在YCbCr颜色空间中分别考察纯肤色样本图像在Cb、Cr空间上的肤色聚类情况(即出现的频次)，所得结果如图2所示。由图2可知，肤色像素出现的频次在Cb和Cr空间集中分布在较小的范围内，这种分布呈现明显的聚类特性，如对Cb空间分量，落在120～140色度区域内的肤色点达到90％以上。因此，根据肤色范围法设定Cb＝[120,145]和Cr＝[145,180]区域内的像素点为肤色像素点(简称肤色点)。考虑到不同成像器件在色度信息获取上的差异性，在实验中采用了同一摄像设备以消除这一影响。

S3、构建与测试样本对应的动态手势特征向量。

本步骤包括两步：第一，从测试样本的所有图像帧序列中，找出动态手势的指尖运动轨迹；第二，根据动态手势的指尖运动轨迹构建动态手势特征向量；所构建的动态手势特征向量中的每一分量为相邻两帧图像中指尖连线构成的方向向量。下面分别就这两步进行详细说明。

第一，从测试样本的所有图像帧序列中，找出动态手势的指尖运动轨迹。

本步骤中找动态手势的指尖运动轨迹，首先要对指尖进行定位，其次要对指尖的轨迹进行跟踪、描述。

①、对指尖进行定位。

在步骤S2中对图像进行手势和背景分割后，可得到完整的手势区域。将该完整的手势区域用一个矩形框框出，以便找出感兴趣区域(ROI)，感兴趣区域的确定有助于粗略确定指尖的大致位置。要确定ROI，首先要对矩形框内的人手轮廓进行提取，按一定顺序存储人手轮廓的边缘点信息，通过边缘点位置确定ROI。考虑到指尖位置与ROI质心位置之间的距离最远，指尖大致位置即可确定。

在获得指尖粗略位置后要对其进行精确定位。由于指尖在运动过程中可能会发生一定程度的遮挡和形变，以及个体之间的手指形状也存在一定差异性，因此采用模板匹配的方法进行指尖识别定位，所建立的模板必须具备平移、旋转和伸缩不变性等特性。增强现实辅助维修过程中，指尖运动主要实现的是翻页、缩放等指令信息，其产生的形变较手掌其他部位要小，具有相对稳定的二维几何特征。将手指不同状态视为一组平行线和一个圆形基元的组合，指尖中心即为圆形基元的中心，圆形基元直径可等同为手指宽度，其与摄像机和手的欧式距离有关。在该圆形基元外的特定搜索范围内，指尖被一正方形区域包含，该圆形基元与正方形组成了指尖模板。指尖模板具备平移、旋转和伸缩不变性。结合人手ROI区域与指尖模板交点这一事实，可获得指尖定位信息。

本步骤中需要对测试样本中所有图像中的指尖分别进行一一定位。

②、对指尖的轨迹进行跟踪、描述。

手势运动信息除了运动轨迹特征提取外，起止点的判定也至关重要。起始点、终止点位置所在的图像帧包含在手势运动的关键帧中，关键帧是能代表手势意义的图像帧，一方面要求其能准确描述手势含义，另一方面要求数据量尽量小，避免计算的复杂度。在动态手势识别中，手势运动全程必然包含某些瞬时停滞的关键帧，可通过手势跟踪获得相邻轨迹点之间的距离来提取，而后预设检测区域确定手势起始和终止位置。

动态手势运动过程可分为准备、挥动、回复三个阶段。准备阶段是手势从无意义状态到达开始状态的过程；挥动阶段是手势从开始状态到达结束状态的过程；回复阶段是手势从结束状态到达无意义状态，处于休息、等待、或准备执行下一手势指令的状态。手势的全部含义都在挥动阶段体现，动态手势的检测也常处于所检测场景的中间部分，因此可通过在图像中预设检测区域来确定手势的起止点位置。

设指尖运动轨迹在图像坐标系中的实时坐标位置为(x_i,y_i)，i＝1,...,n，指尖运动轨迹为C＝{(x_i,y_i)}。考虑到维修操作人员利用ARSAM实时维修过程中，其视角范围相对集中在图像视场中央一个区域内，且手势在进入图像视场后并不立即赋予实际手势意义，因此以图像视场中央为中心，设定比图像视场区域略小的矩形框L作为有效手势区域。在动态手势识别中，对于指尖轨迹C＝{(x_i,y_i)}，以操作人员的指尖位置(x_i,y_i)是否置于该矩形框L内来触发手势开始开关，即指尖轨迹的起始位置。设矩形框L区域各顶点坐标为(a₁，b₁)、(a₂，b₁)、(a₁，b₂)及(a₂，b₂)，其中a₁＜a₂，b₁＜b₂。设指尖起始点坐标为(x_start,y_start)，终止点坐标为(x_end,y_end)，结合图3，指尖运动轨迹的起止点位置检测步骤为：

首先，初始化起始点和终止点，使(x_start,y_start)＝(0,0)，(x_end,y_end)＝(0,0)；

其次，利用指尖跟踪算法获得指尖实时位置坐标(x_i,y_i)，确定起始点位置：

并记录下起始点位置对应的图像帧序号k_start，此时触发起始开关；

接着连续跟踪指尖运动的位置点坐标(x_i,y_i)，确定终止点位置：

并记录下此时终止点位置对应的图像帧序号k_end；帧序号处于k_start和k_end之间的图像中指尖的运动轨迹即为动态手势的指尖运动轨迹。

第二，根据动态手势的指尖运动轨迹构建动态手势特征向量；所构建的动态手势特征向量中的每一分量为相邻两帧图像中指尖连线构成的方向向量。

在图像帧序列中动态手势轨迹是由一系列离散点连接组成的，这一系列指尖定位点所形成的运动信息包含起始点、运动轨迹和终止点三要素。将一系列指尖定位点按时间顺序依次连接起来形成方向矢量集，可用来表征某一项运动信息。若以连续角度(二维空间0～360°范围内)为度量单位表征方向矢量集，则包含了很多冗余信息，影响手势识别的实时性，若采用数据压缩，使方向角度矢量离散化或量化，则将复杂的识别问题转化为定量求解问题。矢量量化(Vector Quantization,VQ)技术主要应用在语音信号编码等领域，在二维图像处理中引入方向矢量量化编码概念来表示线段、平面曲线、边界轮廓等信息，可有效减少图像数据的存储空间。Freeman提出的一种基于斜率方向的编码方法(即链码或Freeman码)，可将二维平面平均分为8个区域，则中心点到相邻像素点的直线段可有8个斜率方向的向量编码。实际应用中，也有研究者根据方向链码的思路，使用4方向、7方向、12方向、16方向、20方向的方向量化编码方法。量化方向越多，量化结果越精确，计算量越大。综合考虑手势特征的表征准确性和计算效率，本发明采用12方向编码构造单手单指尖轨迹特征模型。

指尖运动轨迹由一系列位置点组成，前后相邻点可形成方向矢量，如图4所示，图4中前一帧图像中的指尖坐标为P₁(x₁，y₁)，后一帧图像中的指尖坐标为P₂(x₂，y₂)，将两帧图像的指尖相连并使前一帧图像中指尖指向后一帧图像中指尖，即形成一个方向矢量。指尖运动轨迹的特征参量可由一组离散的运动方向矢量集表征。基于方向编码概念，将指尖在空间坐标系x-y平面内的运动轨迹进行等角度划分并赋予编号，按照逆时针方向划分为12个主方向，分别以值1～12表示，如图5所示，将二维平面空间12级量化后，可将指尖运动轨迹的角度序列值依次映射到量化的编码上，计算公式为：

F＝roundup(θ/30°+0.5)

上式中，F为角度量化后的特征值，roundup()为向上取整运算，θ为待量化的角度值，单位为度。同时规定当θ＞345°且F＞12时，则规划F为1。利用上述方法，将指尖运动轨迹以离散的移动方向表示，使时间上的指尖位置数据转换为空间上的方向数据并保留了运动手势的主要特征，有助于动态手势的快速准确识别。

指尖运动轨迹方向编码数据越多，需要指尖定位的运算量越大，综合考虑实时性要求和表征运动轨迹特征的完备性，本实施例中取动态手势中10个连续的指尖运动轨迹点为分析对象，实际系统中可根据精度要求合理选择指尖点数。同时规定，若采集到的指尖点数超过10个，则查找到空间跨度最小的两个位置点，以一个中间点位置信息替代两个点的位置信息，重复此操作直至指尖轨迹点数为10个。依次连接这10个轨迹点坐标，可得到9个方向向量。对于某一方向向量，在二维运动空间中均可得到其所属的方向编码，由此得到运动轨迹的方向序列，如垂直向下的指尖轨迹运动，其对应的方向编码为(10，10，10，10，10，10，10，10，10)，而在第三象限中以θ＝225°角度直线运动轨迹的方向编码则为(8，8，8，8，8，8，8，8，8)。

S4、由支持向量机中的分类器进行动态手势识别。

将所构建的动态手势特征向量送入支持向量机，由支持向量机中的分类器根据每一向量进行手势识别，获得动态手势的最优分类解。

本发明中支持向量机(Support Vector Machine，SVM)中的分类器是通过预先训练、构造出来的，SVM分类器的具体形成过程如下：

①、建立动态手势库。

首先，以迷彩装或电路板作为辅助维修操作的基本背景，在基本背景下对10位采集者进行动态手势采集。对每位采集者均采集指尖“向上”、“向下”、“向左”和“向右”四种动态手势，如图6所示，图6(a)为“向上”的动态手势，图6(b)为“向下”的动态手势，图6(c)为“向左”的动态手势，图6(d)为“向右”的动态手势，每一个动态手势中，均对应七幅按时间顺序排列的图像。

本发明中充分考虑了光照对手势图像的影响，对每位采集者分别在晴朗室内正午(照度在150lx～2000lx之间)、晴朗室外正午(照度在20000lx～150000lx之间)、晴朗室内下午(照度在50lx～100lx之间)三种不同光照条件下进行动态手势采集。在同一光照条件下，每位采集者采集四种动态手势各十次，共得到400个视频图像。在三种不同光照条件下，对10位采集者采集四种动态手势，共得到1200个视频图像。所采集到的1200个视频图像即构成动态手势库。通过在不同光照条件下采集动态手势，可以减少后期手势识别中光照的影响。

②、对动态手势库中每一个视频图像中的所有图像帧序列分别进行手势和背景的分割。

依照步骤S2中手势和背景分割方法，对动态手势库中每一个视频图像中所有的图像均进行手势和背景的分割，分割后再进行二值化处理，得到二值图像。具体是：根据肤色范围法，对图像各个像素点进行逐一判断；若图像中像素点在YCbCr颜色空间中的Cb值处于[120,145]之间，且Cr值处于[145,180]之间，则该像素点为肤色点；否则该像素点为背景点；将相邻的肤色点连接起来，形成连通区域，由相邻肤色点连通构成的最大连通区域即为手势区域；将手势区域从图像中分割出来，实现手势和背景的分割；分割后对图像进行二值化处理，得到二值图像。

③、构建与动态手势库中每一个视频图像对应的动态手势特征向量。

依照步骤S3中动态手势特征向量的构建方法，构建与动态手势库中每一个视频图像对应的动态手势特征向量。

④、采用一对一方法构造二元分类器，共得到6个二元分类器；并通过K折交叉验证方法确定每一个分类器的惩罚系数C及核函数参数。

随机从动态手势库中抽取“向上”、“向下”、“向左”和“向右”四种动态手势各100个，共400个视频图像(作为训练样本)用于训练SVM分类器。当然，选择更多个视频图像作为训练样本也是可行的。

采用“一对一”方法构造SVM二元分类器。四种动态手势需构造6个分类器，“向上”、“向下”、“向左”和“向右”四种动态手势分别以A、B、C及D表示。首先将A类手势样本类别标签转化为“正”，B、C、D类转化为“负”，利用SVM分别训练A和B、A和C、A和D得到(A，B)、(A，C)、(A，D)三个二分类手势识别器(简称二元分类器)；而后将B类转化为“正”，C、D类转化为“负”，利用SVM分别训练B和C、B和D得到(B，C)、(B，D)两个二分类手势识别器；再将C类转化为“正”，D类转化为“负”，利用SVM训练C和D得到(C，D)二分类手势识别器。经过上述训练，一共得到6组二分类手势识别器。每一个二元分类器均通过K折交叉验证方法确定分类器的惩罚系数C及核函数参数。

选择径向基函数(Radial Basis Function，RBF)为核函数，并且利用K折交叉验证(K-fold Cross Validation，K-CV)方法对惩罚系数C和核函数参数进行寻优。惩罚系数C用于控制手势错分样本惩罚程度和逼近误差的折中，C越大则逼近误差越小，模型越复杂分类器推广能力越差；核函数参数控制逼近误差大小。本发明选择RBF核函数，RBF核函数只有一个参数g，寻找参数(C,g)使SVM分类器智能识别性能最好。

利用K-CV方法进行(C,g)寻优，首先将训练样本分为训练集和验证集，并分别利用训练集和验证集对分类器进行训练和验证，以分类准确率作为分类器性能优劣的指标。利用K-CV方法是将原始数据分成(一般为均分)K个子集(K一般大于等于2，实际操作时一般从3开始取，只有在原始数据集合数据量小的时候才会尝试取2)，以其中一个子集作为验证集，其余K-1个子集作为训练集，共得到K个模型，并将验证集在K个模型中的分类准确率均值作为分类器性能指标。例如，400个数据平均分成4组，编号分别为1、2、3、4。进行如下：第1组100个数据作为验证集，2-4组共300个数据作为训练集得到一个训练模型，用第1组的数据验证该模型得到分类准确率。以此类推共得到4个模型，最后用这4个模型最终的验证集的分类准确率的平均数作为此K-CV下分类器的性能指标。实施时，首先让(C,g)在一定范围内(如向上、向下缩放1000倍)取值搜寻，利用K-CV方法取得训练集分类准确率最高的那组(C,g)作为最佳参数，若对应最小C有多组g，则选取最先搜索得到的那组(C,g)作为最佳参数。K-CV方法可以有效的避免过学习以及欠学习状态的发生，最后得到的结果也比较具有说服性。

利用K-CV方法对每一个分类器进行(C,g)寻优后，即可得到每一个分类器对应的最优超平面，通过分类器对应的最优超平面，可对测试样本进行分类决策。

本步骤中通过预先训练、构造的SVM二元分类器对测试样本进行手势分类识别，具体是：对每个测试样本进行手势分类识别时，首先需要将该测试样本依次代入上述6个二元分类器中一一进行识别，每一个分类器都会判断该测试样本中的动态手势属于该分类器中的哪一种动态手势并给出结果，最后通过统计各分类器识别结果票数多少来确定测试样本中的动态手势类别，得票最多的即为动态手势的最终识别结果。例如：对一个视频图像中的动态手势(其真实动态手势为“向上”)进行识别，将该视频图像对应的动态手势特征向量依次输入6个二元分类器，(A，B)分类器判断出为“A”手势(即“向上”动态手势)，则“A”手势得一票；(A，C)分类器判断出为“A”手势，则“A”手势再得一票；(A，D)分类器判断出为“A”手势，“A”手势再得一票。其他三个分类器(B，C)、(B，D)和(C，D)，由于其上的两个手势均不是“A”，则其会随机给出一个结果；最终得到的“B”、“C”、“D”三个手势各自的得票数与“A”手势的最终得票数相当的概率很小，因此，最终“A”手势得票最多，该判断结果为“A”手势。如若概率很小的事件发生了，则最终所得的结果为错误的手势，即手势识别错误。

本实施例从动态手势库中随机选取200个视频图像作为测试样本进行动态手势识别。由最终识别结果可知，动态手势识别正确率达到了95％，表明SVM分类器可准确识别出给定的动态手势类型。动态手势识别中，无论手势运动节奏快还是慢，均可得到正确的识别结果，表明动态手势识别方法对不同的维修环境也有较强的适应能力。

从实时性测试结果看，动态手势识别算法处理动态手势识别图像的平均用时约为30ms/f，满足常见的帧频25-30f/s的实时处理要求。

实施例2，一种用于增强现实辅助维修的动态手势识别系统。

如图7所示，本实施例中所提供的用于增强现实辅助维修的动态手势识别系统包括图像采集模块1、手势分割模块2、向量构建模块3和手势识别模块4。

图像采集模块1与手势分割模块2相接，其用于采集视频图像以得到测试样本。图像采集模块1可以通过摄像机采集视频图像，也可以从现有的动态手势库中选取视频图像，这些视频图像一般以迷彩装或电路板作为背景。

手势分割模块2分别与图像采集模块1和向量构建模块3相接，手势分割模块2用于对测试样本中的每一帧图像进行手势和背景的分割；具体分割过程是：在每一帧图像中，若像素点在YCbCr颜色空间中的Cb值处于[120,145]之间，且Cr值处于[145,180]之间，则该像素点为肤色点；否则该像素点为背景点；由相邻肤色点连通构成的最大连通区域即为手势区域，将手势区域从图像中分割出来，即实现手势和背景的分割。对每一帧图像进行手势和背景的分割后，再通过二值化处理，图像即转化成二值图像。

向量构建模块3分别与手势分割模块2和手势识别模块4相接。向量构建模块3用于从测试样本的所有图像帧序列中，找出动态手势的指尖运动轨迹，并根据动态手势的指尖运动轨迹构建动态手势特征向量；所构建的动态手势特征向量中的每一分量为相邻两帧图像中指尖连线构成的方向向量。

从测试样本的所有图像帧序列中，找出动态手势的指尖运动轨迹，具体是：

①、在测试样本的每一帧图像中，分别找出手势中的指尖，并确定指尖在对应帧图像中的坐标；

②、在测试样本的每一帧图像中均设定一个矩形的预设检测区域L，该预设检测区域L的四个顶点坐标分别为(a₁，b₁)、(a₂，b₁)、(a₁，b₂)及(a₂，b₂)，其中a₁＜a₂，b₁＜b₂；

③、设动态手势中指尖在预设检测区域L内的起始点坐标为(x_start,y_start)，终止点坐标为(x_end,y_end)，并对起始点坐标和终止点坐标进行初始化，即：使(x_start,y_start)＝(0,0)，(x_end,y_end)＝(0,0)；

④、依序对测试样本的每一帧图像中指尖的位置(x_i,y_i)进行跟踪、判断，确定起始点位置：

并记录起始点位置对应的图像帧序号k_start；

⑤、继续跟踪、判断图像中指尖的位置，确定终止点位置：

并记录终止点位置对应的图像帧序号k_end；

⑥、测试样本中序号处于k_start和k_end之间的图像中指尖的运动轨迹即为动态手势的指尖运动轨迹。

找出动态手势的指尖运动轨迹后，根据动态手势的指尖运动轨迹构建动态手势特征向量，具体是：

①、在空间坐标系x-y平面内将0～360°按逆时针方向量化为12个主方向，每一个主方向对应一个角度区间，12个主方向分别以特征值1～12来表示，特征值与角度之间的关系式为：

F＝roundup(θ/30°+0.5)

上式中，F为角度量化后的特征值，roundup()为向上取整运算，θ为待量化的角度值，单位为度；且当θ＞345°时，F为1；

②、在测试样本中序号处于k_start和k_end之间的图像帧序列中，依次连接相邻帧图像中指尖的位置，每相邻两帧图像中指尖的连线构成一个方向向量，每一个方向向量对应角度量化后的一个特征值，所有特征值按序排列即构成该测试样本对应的动态手势特征向量。

手势识别模块4与向量构建模块3相接，手势识别模块4用于通过支持向量机中的分类器对所构建的动态手势特征向量进行手势识别，获得动态手势的最优分类解。

支持向量机中的分类器是通过如下步骤形成的：

①、建立动态手势库。动态手势库的建立过程如下：

首先，以迷彩装或电路板作为辅助维修操作的基本背景；

其次，在晴朗室内正午(照度在150lx～2000lx之间)、晴朗室外正午(照度在20000lx～150000lx之间)、晴朗室内下午(照度在50lx～100lx之间)三种不同光照条件下对10位采集者进行动态手势采集，对每位采集者均采集指尖“向上”、“向下”、“向左”和“向右”四种动态手势各十次，共得到不同光照条件下1200个动态手势视频图像。

②、参照手势分割模块2对动态手势库中每一个视频图像中所有图像进行手势和背景分割，并对分割后的图像进行二值化处理，得到二值图像。

③、参照向量构建模块3构建与动态手势库中每一个视频图像对应的动态手势特征向量。

④、采用一对一方法构造SVM二元分类器，共得到6个SVM二元分类器；每一个分类器均通过K折交叉验证方法确定相应的惩罚系数C及核函数参数。

本实施例描述的相对比较简单，相关相似之处可参见实施例1中所述。

Claims (5)

1.一种用于增强现实辅助维修的动态手势识别方法，其特征是，包括如下步骤：

a、采集动态手势的视频图像，作为测试样本；每一个测试样本中均包括若干帧按序排列的图像；

b、对测试样本中的每一帧图像进行手势和背景的分割；具体是：在每一帧图像中，若像素点在YCbCr颜色空间中的Cb值处于[120,145]之间，且Cr值处于[145,180]之间，则该像素点为肤色点；否则该像素点为背景点；由相邻肤色点连通构成的最大连通区域即为手势区域，将手势区域从图像中分割出来，即实现手势和背景的分割；

c、从测试样本的所有图像帧序列中，找出动态手势的指尖运动轨迹，并根据动态手势的指尖运动轨迹构建动态手势特征向量；所构建的动态手势特征向量中的每一分量为相邻两帧图像中指尖连线构成的方向向量；

d、将动态手势特征向量送入支持向量机，由支持向量机中的分类器进行手势识别，获得动态手势的最优分类解；

步骤c中，从测试样本中所有图像帧序列中，找出动态手势的指尖运动轨迹，具体是：

①、在测试样本的每一帧图像中，分别找出手势中的指尖，并确定指尖在对应帧图像中的坐标；

②、在测试样本的每一帧图像中均设定一个矩形的预设检测区域L，该预设检测区域L的四个顶点坐标分别为(a₁,b₁)、(a₂,b₁)、(a₁,b₂)及(a₂,b₂)，其中a₁＜a₂，b₁＜b₂；

③、设动态手势中指尖在预设检测区域L内的起始点坐标为(x_start,y_start)，终止点坐标为(x_end,y_end)，并对起始点坐标和终止点坐标进行初始化，即：使(x_start,y_start)＝(0,0)，(x_end,y_end)＝(0,0)；

④、依序对测试样本的每一帧图像中指尖的位置(x_i,y_i)进行跟踪、判断，确定起始点位置：

并记录起始点位置对应的图像帧序号k_start；

⑤、继续跟踪、判断图像中指尖的位置，确定终止点位置：

并记录终止点位置对应的图像帧序号k_end；

⑥、测试样本中序号处于k_start和k_end之间的图像中指尖的运动轨迹即为动态手势的指尖运动轨迹；

根据动态手势的指尖运动轨迹构建动态手势特征向量，具体是：

①、在空间坐标系x-y平面内将0～360°按逆时针方向量化为12个主方向，每一个主方向对应一个角度区间，12个主方向分别以特征值1～12来表示，特征值与角度之间的关系式为：

F＝roundup(θ/30°+0.5)

上式中，F为角度量化后的特征值，roundup()为向上取整运算，θ为待量化的角度值，单位为度；且当θ＞345°时，F为1；

②、在测试样本中序号处于k_start和k_end之间的图像帧序列中，依次连接相邻帧图像中指尖的位置，每相邻两帧图像中指尖的连线构成一个方向向量，每一个方向向量对应角度量化后的一个特征值，所有特征值按序排列即构成该测试样本对应的动态手势特征向量。

2.根据权利要求1所述的用于增强现实辅助维修的动态手势识别方法，其特征是，步骤d中支持向量机中的分类器是通过如下步骤形成的：

①、建立动态手势库；动态手势库中包含若干视频图像，动态手势库中的每一个视频图像所对应的动态手势为指尖“向上”、“向下”、“向左”或“向右”的动态手势；

②、依照步骤b中手势和背景分割方法对动态手势库中每一个视频图像中的所有图像帧序列分别进行手势和背景的分割；

③、依照步骤c中方法构建与动态手势库中每一个视频图像对应的动态手势特征向量；

④、采用一对一方法构造二元分类器，共得到6个二元分类器；并通过K折交叉验证方法确定每一个分类器的惩罚系数及核函数参数。

3.根据权利要求2所述的用于增强现实辅助维修的动态手势识别方法，其特征是，步骤①具体包括如下步骤：

首先，以迷彩装或电路板作为辅助维修操作的基本背景；

其次，在晴朗室内正午、晴朗室外正午、晴朗室内下午三种不同光照条件下对十位采集者进行动态手势采集，对每位采集者均采集指尖“向上”、“向下”、“向左”和“向右”四种动态手势各十次，共得到三种不同光照条件下的1200个视频图像。

4.根据权利要求1所述的用于增强现实辅助维修的动态手势识别方法，其特征是，步骤b中肤色点在YCbCr颜色空间中的Cb值和Cr值的取值范围是通过如下方法获取的：

首先，采集20个人员在晴朗室内正午、晴朗室外正午、晴朗室内下午三种不同光照条件下的60幅纯肤色样本图像，每幅图像的尺寸为320像素×240像素，共得到4608000个像素点；

其次，在YCbCr颜色空间中考察上述4608000个像素点在Cb和Cr空间上出现的频次，最终得到肤色点在YCbCr颜色空间中的Cb值处于[120,145]之间，Cr值处于[145,180]之间。

5.一种用于增强现实辅助维修的动态手势识别系统，其特征是，包括：

图像采集模块，与手势分割模块相接，用于采集包含动态手势的视频图像，以作为测试样本；每一个测试样本中均包括若干帧按序排列的图像；

手势分割模块，分别与所述图像采集模块和向量构建模块相接，用于对测试样本中的每一帧图像进行手势和背景的分割；具体分割过程是：在每一帧图像中，若像素点在YCbCr颜色空间中的Cb值处于[120,145]之间，且Cr值处于[145,180]之间，则该像素点为肤色点；否则该像素点为背景点；由相邻肤色点连通构成的最大连通区域即为手势区域，将手势区域从图像中分割出来，即实现手势和背景的分割；

向量构建模块，分别与所述手势分割模块和手势识别模块相接，用于从测试样本的所有图像帧序列中，找出动态手势的指尖运动轨迹，并根据动态手势的指尖运动轨迹构建动态手势特征向量；所构建的动态手势特征向量中的每一分量为相邻两帧图像中指尖连线构成的方向向量；以及

手势识别模块，与所述向量构建模块相 接，用于通过支持向量机中的分类器对动态手势特征向量进行手势识别，获得动态手势的最优分类解；

在向量构建模块中，从测试样本的所有图像帧序列中，找出动态手势的指尖运动轨迹，具体是：

①、在测试样本的每一帧图像中，分别找出手势中的指尖，并确定指尖在对应帧图像中的坐标；

②、在测试样本的每一帧图像中均设定一个矩形的预设检测区域L，该预设检测区域L的四个顶点坐标分别为(a₁,b₁)、(a₂,b₁)、(a₁,b₂)及(a₂,b₂)，其中a₁＜a₂，b₁＜b₂；

③、设动态手势中指尖在预设检测区域L内的起始点坐标为(x_start,y_start)，终止点坐标为(x_end,y_end)，并对起始点坐标和终止点坐标进行初始化，即：使(x_start,y_start)＝(0,0)，(x_end,y_end)＝(0,0)；

④、依序对测试样本的每一帧图像中指尖的位置(x_i,y_i)进行跟踪、判断，确定起始点位置：

并记录起始点位置对应的图像帧序号k_start；

⑤、继续跟踪、判断图像中指尖的位置，确定终止点位置：

并记录终止点位置对应的图像帧序号k_end；

⑥、测试样本中序号处于k_start和k_end之间的图像中指尖的运动轨迹即为动态手势的指尖运动轨迹；

在向量构建模块中，根据动态手势的指尖运动轨迹构建动态手势特征向量，具体是：

①、在空间坐标系x-y平面内将0～360°按逆时针方向量化为12个主方向，每一个主方向对应一个角度区间，12个主方向分别以特征值1～12来表示，特征值与角度之间的关系式为：

F＝roundup(θ/30°+0.5)

上式中，F为角度量化后的特征值，roundup()为向上取整运算，θ为待量化的角度值，单位为度；且当θ＞345°时，F为1；

②、在测试样本中序号处于k_start和k_end之间的图像帧序列中，依次连接相邻帧图像中指尖的位置，每相邻两帧图像中指尖的连线构成一个方向向量，每一个方向向量对应角度量化后的一个特征值，所有特征值按序排列即构成该测试样本对应的动态手势特征向量。

Images