CN102622766A - 多目标优化的多镜头人体运动跟踪方法 - Google Patents

Abstract

本发明公开了一种多目标优化的多镜头人体运动跟踪方法，主要解决现有技术受训练数据库的限制，跟踪过程的复杂度高，恢复出人体姿态不够准确的问题。其实现过程为：(1)用骨骼抽象的方法建立三维人体骨架模型；(2)预处理视频图像，得到图像上的人体关节点；(3)初始化人体骨架参数；(4)在两个同步镜头下构建相似度函数；(5)用非支配邻域免疫算法优化相似度函数；(6)在优化得到的一组人体骨架中选择最精确的人体骨架作为跟踪结果。该方法适用普遍的视频，采用了两个相似度函数，可以更好的利用视频图像信息，提高了人体运动跟踪的精确度，可用体育训练和动画制作。

Description

多目标优化的多镜头人体运动跟踪方法

技术领域

本发明属于图像处理技术领域，更进一步涉及计算机视觉领域中实现人体运动跟踪的一种方法，采用一种多目标优化的方法实现人体运动跟踪和三维姿态估计，可用于体育训练和动画制作等领域。

背景技术

人体运动跟踪的主要任务是从视频图像中检测出人体轮廓，再对人体的关节点进行定位，在此基础上识别出人体运动姿态，最终重建三维人体运动姿态。由于目前视频图像是三维场景中的人体轮廓在二维图像上的投影，所以，丢失了大量的深度信息，并且人体运动过程中，人体四肢自遮挡现象时常发生，视频图像存在歧义性，这使得很难从无标记单目视频中恢复人体运动姿态。因此，由于基于多镜头视频的人体运动跟踪受到了很多学者的关注。至今，基于视频的人体运动跟踪的方法主要分为两大类：基于学习的人体运动跟踪和基于模型的人体运动跟踪。

第一种，基于学习的人体运动跟踪方法，其实想步骤是：首先在训练的视频图像和目标视频图像数据库里提取精确的图像特征；然后学习训练视频图像数据库的图像特征与运动捕捉数据之间的映射；最后在目标视频图像上直接使用人体特征恢复三维姿态。现有的学习的方法有：Urtasun et al.(R.Urtasun and T.Darrell.Local ProbabilisticRegression for Activity-Independent Human Pose Inference IEEE Conference on ComputerVision and Pattern Recognition(CVPR)，2008)使用平衡高斯过程动态模型指导在视频序列中跟踪三维人体运动，该动态模型是从较少的包含多种模式的训练运动数据中学习得到。Sigal et al.(L.Sigal andM.Black.Measure Locally，Reason Globally：Occlusion-sensitive articulated pose estimation.IEEE Conference on Computer Vision andPattern Recognition(CVPR)，2006.)提出一个贝叶斯框架，包含序贯重要性采样和退火粒子滤波，跟踪时使用了多种运动模型。为了使三维恢复更加符合解剖关节限制和降低搜索空间，从训练数据中学习运动模型，使用虚拟标记的欧式距离差作为误差量测。该方法的缺点是提取精确的图像特征需要花费大量的时间，而且跟踪视频受到学习数据库是否存在的限制，不存在学习数据库时无法完成跟踪。

第二种，基于模型的人体运动跟踪方法，其实现是直接在目标视频图像上提取图像信息，建立相似度函数，对相似度函数进行优化从而在高维的状态空间中搜索最优的状态。从而获得更准确的人体姿态，而不需要学习数据库。法国国家信息与自动化研究所(INRIA)的C.Sminchisescu采用此种方法实现了多种人体模型和跟踪方法(C.Sminchisescu and A.Jepson.GenerativeModeling for Continuous Non-Linearly EmbeddedVisual Inference.International Conference on Machine Learning(ICML)，2004)。Deutscher et al.使用边界和侧影作为图像特征构建加权的相似度函数，应用退火粒子滤波框架实现人体运动跟踪(J.Deutscher and I.Reid.Articulated body motion captureby stochastic search.International Journal of Computer Vision(IJCV)，61(2)：185-205，2004.)。由于该方法只建立一个相似度函数，而用于优化相似度函数的单目标的方法在搜索最优结果时很容易陷入局部最优，导致跟踪到的人体姿态不准确，而且算法的时间复杂度高。

湖南大学申请的专利“基于属性关系图外观模型的多人体跟踪方法”(专利申请号200910043537.5，公开号CN101561928)，首先对当前帧人体检测区域建立属性关系图外观模型，计算与上一帧跟踪人体的属性关系图外观模型的相似度，根据相似度确定帧间人体的匹配，从而确定人体跟踪情况及获取运动轨迹。该专利申请存在的不足是，只能对固定的场景进行人体跟踪，外观模型的相似度不足以准确的跟踪人体姿态。

发明内容

本发明的目的在于针对现有技术中的不足，提出一种基于模型的多目标优化的人体运动跟踪方法，以剔除训练数据库的限制，降低跟踪过程的复杂度，恢复出较为准确的人体姿态。

为实现上述目的，本发明采用基于模型的方法，建立人体骨架模型，利用视频图像提取关节点的位置，在两个同步的镜头下，构建两个相似度函数，在人体骨骼长度的限制下采用多目标优化算法优化相似度函数得到人体运动姿态的跟踪。具体实现步骤包括如下：

(1)用骨骼抽象的方法建立三维人体骨架模型；

(2)预处理人体视频图像

2a)输入人体视频图像，通过背景差分获得人体侧影，提取人体轮廓，对人体轮廓进行中轴细化处理，形成人体骨架线；

2b)在人体骨架线上沿骨架线搜索得到头、根、膝、脚节点坐标位置，使用粒子滤波预测检测出其余的人体关节点坐标位置；

2c)在人体侧影图像上使用sobel算子得到图像的灰度值；

(3)初始化人体骨架模型

3a)对步骤2b)得到的初始时刻视频图像关节点位置进行手工标定，由标定数据设置初始时刻人体姿态对应的人体骨架；

3b)将t-1时刻跟踪得到的最精确的人体骨架作为t时刻的初始化人体骨架，t＞0；

(4)构建相似度函数

4a)将初始化的人体骨架投影到二维图像空间得到每个关节点的坐标位置；

4b)建立正面镜头下的距离相似度函数，用于度量人体正面图像的投影关节点与检测关节点间的欧式距离：

$f_1\left(V\right)=\underset{i=1}{\overset{15}{\mathrm{\Σ}}}{\left|\right|P_i^{c1}V-z_i\left|\right|}_2,$

其中z_i为检测到关节点，V是人体骨架上15个关节点的三维矩阵表示，表示第i个关节点正面摄像机镜头的参数矩阵，i为人体骨架上的第i个关节点；

4c)建立侧面镜头下的距离相似度函数，用于度量人体侧面图像的投影关节点与检测关节点间的欧式距离：

$f_2\left(V\right)=\underset{i=1}{\overset{15}{\mathrm{\Σ}}}{\left|\right|P_i^{c2}V-z_i\left|\right|}_2,$

其中z_i为检测到关节点，V是人体骨架上15个关节点的三维矩阵表示，P^c2表示第i个关节正面摄像机镜头的参数矩阵，i为人体骨架上的第i个关节点；

(5)利用非支配邻域免疫算法，对两个距离相似度函数f₁(V)、f₂(V)进行优化，获得t时刻一组与真实人体运动姿态相似的人体骨架；

(6)对每一个由步骤(5)得到的人体骨架，计算其与t-1时刻跟踪到的人体骨架的欧式距离，选择出欧式距离最小的人体骨架作为t时刻跟踪到的人体骨架。

本发明与现有的技术相比具有以下优点：

1、由于本发明使用了粒子滤波预测人体关节点，来获得更精确的人体关节点图像位置，较之现有技术本发明的算法简单，时间复杂度低。

2、由于本发明使用了基于模型的人体跟踪方法，直接对视频图像跟踪，较之现有技术基于学习的人体跟踪方法，本发明不受学习数据库的限制，可以适用普遍的视频跟踪。

3、由于本发明在跟踪过程中采用了两个相似度函数，可以更好的利用视频图像信息，同时多目标进化算法的非支配邻域免疫算法，较之现有的单目标优化人体跟踪方法可以避免陷入局部最优，提高了人体运动跟踪的精确度。

附图说明

图1为本发明的总流程图；

图2为本发明的人体关节点检测流程图；

图3为本发明仿真实验的三维跟踪结果图；

图4为本发明仿真实验的三维结果与真实值的误差图。

具体实施方式

下面结合附图对本发明做进一步的描述。

参照图1，本发明的具体实现过程如下：

步骤1，建立人体骨架模型。

根据解剖学知识，人体骨架虽然受年龄和健康的影响而不断发生变化，但是骨架的组成是不变的，人体大致包括：胫骨、股骨、胯骨、躯干部、桡骨、肱骨、锁骨、颈和头。在这种情况下本实例把人体表示为由15个关节点和14跟杆状骨骼组成的骨架模型。在虚拟空间用14条具有三维坐标的关节点之间的直线段表示这14根杆状骨骼模型。

第i个关节点的三维坐标表示为v_i＝[x_i，y_i，z_i]^T，i＝1，2，…，14，整个人体骨架表示为V＝[v₁，v₂，…，v₁₅]^T，相邻两个关节点p和q之间的骨骼长度表示为||v_p-v_q||＝l_p，q   p＝1，2，…，

由此可以得到人体骨架模型的限制条件||L_jV||＝l_j，j＝1，2，…，14，其中L_j是1×3阶矩阵，l_j是第j根骨骼的长度，14是总的骨骼数。

在相应的关节点的连接下组成整个三维人体骨架模型，当输入一组对应人体运动时15个关节点的三维坐标值，人体骨架模型将模拟出运动的三维人体姿态。

步骤2，预处理视频图像。

参照图2，本步骤的具体实现如下：

2a)利用背景差获得人体侧影，从人体侧影中提取人体轮廓，对人体轮廓进行细化处理形成人体骨架线，即输入人体视频图像，采用最小平方中值LMedS方法获取背景图像，对人体运动图像与背景图像做像素差，获得背景差图像；采用形态学方法清除背景差图像中的分割噪声，得到清晰的人体侧影；采用边缘跟踪算法获得人体侧影外轮廓；中轴细化人体轮廓，得到人体骨架线；

2b)在人体骨架线上沿骨架线搜索得到头、根节点坐标位置

使用同心圆模板沿着骨架线搜索，将落入圆环的人体侧影轮廓点最多时的圆心作为头节点；选取人体侧影重心部位为根节点，将所有人体侧影点x轴坐标值的算术平均值作为根节点的x轴坐标，将y轴坐标值的算术平均值作为根节点的y轴坐标；将三维人体骨架模型以根节点为基准在视频图像上投影，得到人体躯干中心点、锁骨关节点和左右臀部关节点；

2c)使用粒子滤波检测手、肘节点坐标位置

假设存在关节点x_t，根据关节点位置生成以关节点为中心的矩形框，将矩形框中像素的不变距特征记作关节点先验特征；在关节点x_t位置八邻域内取像素点，设为采样粒子，对于采样例子i，根据矩形框大小，获得以采样粒子为中心的模板图像，计算采样粒子的权重Weight_i：

${\mathrm{Weight}}_i=-\exp (1-\frac{{\mathrm{phi}}_p^i\·{\mathrm{phi}}_t^T}{\mathrm{norm}\left({\mathrm{phi}}_p^i\right)\×\mathrm{norm}\left({\mathrm{phi}}_t\right)}),$

其中，

是第个采样粒子的不变距特征，phi_t为采样粒子对应关节点的关节点先验特征，norm为2范数，T为矩阵转置，exp为指数次幂；

根据权重Weight_i，计算关节点x_t的位置：

$P_{x_t}=\underset{i=1}{\overset{N_s}{\mathrm{\Σ}}}{\mathrm{particle}}_i\×{\mathrm{Weight}}_i,$

其中，particle_i表示第i个采样粒子的图像位置，N_s是采样粒子的个数；

2d)使用下肢长度检测膝和脚关节点位置

根据前一帧的结果计算左大腿和右大腿的长度，根据前两帧的结果预测膝关节的位置，若左膝的预测位置在右膝的左边或者右边，则以左臀点为圆心，以左大腿长度为半径，从侧影左侧或者右侧开始向腿部画圆，取第一个与人体侧影相交时的图像位置，作为左膝节点，同时，以右臀点为圆心，以右大腿长度为半径，从侧影右侧或者左侧开始向腿部画圆，取第一个与人体侧影相交时的图像位置，作为右膝节点，再用与膝关节点的相同检测方法检测脚关节点。

步骤3：初始化。

3a)本实例仿真实验采用的视频图像的初始时刻人体姿态为身体站立，双手垂直置于身体两侧，结合步骤2b)对人体初始时刻视频图像关节点的位置进行检测，可以得到初始时刻的人体骨架模型参数；

3b)把t时刻的初始化人体骨架参数，设为t-1时刻跟踪得到的最精确的人体骨架参数值，t＞0。

步骤4：构建相似度函数。

4a)将初始化的人体骨架投影到二维图像空间得到每个关节点的坐标位置，记作

i＝1，2，…15；本实例使用了弱透视投影模型，已知摄像机参数矩阵P，三维人体模型能够通过摄像机参数矩阵投影到图像平面，即，这里

是在摄像机镜头k下第i个关节点参数矩阵，V是人体骨架参数；

4b)建立第一个摄像机镜头下投影的关节点与检测到的关节点的距离相似度函数

将检测到的图像内的15个关节点记为z_i＝[x′_i，y′_i]^T，第i个关节点的三维投影与检测的距离记为15个关节点的总的距离表示为

$\underset{i=1}{\overset{15}{\mathrm{\Σ}}}{\left|\right|v_i^{\mathrm{proj}}-z_i\left|\right|}_2=\underset{i=1}{\overset{15}{\mathrm{\Σ}}}{\left|\right|P_i^{1}V-z_i\left|\right|}_2,$

这里是在第一个摄像机镜头1下，第i个关节点的参数矩阵，第一个摄像机镜头位于人体正面。

由于检测到的关节点是由预处理视频图像得到的，人体跟踪就可以表示成求一个非线性的参数优化问题，距离相似度函数由此确定：

$\arg \underset{V}{\min }{f}_1\left(V\right)=\underset{i=1}{\overset{15}{\mathrm{\Σ}}}{\left|\right|P_i^{1}V-z_i\left|\right|}_2,$

4c)用与4b)相同的方法建立第二个摄像机镜头下投影的关节点与检测到的关节点的距离相似度函数：

$\arg \underset{V}{\min }{f}_1\left(V\right)=\underset{i=1}{\overset{15}{\mathrm{\Σ}}}{\left|\right|P_i^{2}V-z_i\left|\right|}_2,$

这里

是在第二个摄像机镜头下，第i个关节点的参数矩阵，第二个摄像机镜头位于人体侧面。

步骤5：优化目标函数。

由步骤4b)和4c)中得到的两个相似度函数以及步骤1中人体骨骼长度的限制，将人体跟踪描述成以下的多目标函数：

$\left\{\begin{array}{c}\underset{V}{\arg \min }F\left(V\right)={[f_1\left(V\right),f_2\left(V\right)]}^T\\ f_1\left(V\right)=\underset{i=1}{\overset{15}{\mathrm{\Σ}}}{\left|\right|P_i^{1}V-z_i\left|\right|}_2\\ f_2\left(V\right)=\underset{i=1}{\overset{15}{\mathrm{\Σ}}}{\left|\right|P_i^{2}V-z_i\left|\right|}_2\\ s.t.\left|\right|L_{j}V\left|\right|=l_j,j=\mathrm{1,2},\·\·\·,14\end{array}\right.,$

对所述的多目标函数，采用非支配邻域免疫算法进行优化，该非支配邻域免疫算法是一种有效的解决多目标问题的算法，它模拟了免疫响应中的多样抗体共生、少数抗体激活的现象，对个体按照拥挤距离排序，选择少数相对独立的非支配个体进行克隆、重组、变异，加强了对最优解的搜索，避免陷入局部最优。

用这种算法对多目标函数进行优化时，是在t时刻以初始化的人体骨架的参数作为初始种群的个体，对所有个体按照拥挤距离排序，从小到大选择设定个数的非支配个体，进行克隆、重组、变异，搜索全局最优解，在设定的进化代数下更新种群，最终得到一组人体骨架。

步骤6：选择人体最佳运动姿态。

本实例所用的视频，速率是每秒64帧，但不限于此，人体姿态在相邻帧的视频图像上相差很小，对每一个由步骤5得到的人体骨架，计算其与t-1时刻跟踪到的人体骨架的欧式距离，选择出欧式距离最小的人体骨架作为t时刻跟踪到的最精确的人体骨架。

本发明的效果可以通过以下仿真实验得到验证：

仿真实验在Matlab上编译完成，执行环境为Windows框架下的HP工作站，所用数据是人体运动视频来自美国布朗大学的HumanEva数据库。

仿真内容：

仿真1，从输入视频序列中检测人体关节点位置；采用多目标优化的方法对多镜头视频图像序列中的人体运动进行跟踪，三维跟踪结果如图3所示，其中包括了视频图像的56-106帧每隔10帧的结果，第一行是原视频图像，第二行是三维跟踪结果。

仿真2，计算三维结果与数据库中的真实值之间的欧式距离作为实验的跟踪误差，如图4所示。

仿真结果分析：从图3中可知，本发明的三维跟踪结果与真实的人体运动姿态基本相同，有效的解决了人体运动跟踪的歧义性问题，提高了跟踪的精确性和稳定性。从图4中可知，本发明的多目标优化方法平均误差在5mm左右，可见使用本发明的多镜头人体跟踪结果的误差较小。

综上，本发明使用多目标优化的方法对多镜头视频图像序列进行人体跟踪，关节点检测算法检测效果比较准确，并且消耗的运行时间较少；采用两个同步镜头下的距离似然函数为目标函数，充分利用了视频图像的信息；非支配邻域免疫算法用于优化两个目标函数，避免陷入局部最优，提高了跟踪的精确度，节省了时间。仿真结果表明，该跟踪方法准确的得到了三维的姿态恢复，减少了人体运动歧义性，降低了时间复杂度。

Claims (5)

1.一种多目标优化的多镜头人体运动跟踪方法，包括如下步骤：

(1)用骨骼抽象的方法建立三维人体骨架模型；

(2)预处理人体视频图像

2a)输入人体视频图像，通过背景差分获得人体侧影，提取人体轮廓，对人体轮廓进行中轴细化处理，形成人体骨架线；

2b)在人体骨架线上沿骨架线搜索得到头、根、膝、脚节点坐标位置，使用粒子滤波预测检测出其余的人体关节点坐标位置；

2c)在人体侧影图像上使用sobel算子得到图像的灰度值；

(3)初始化人体骨架模型

3a)对步骤2b)得到的初始时刻视频图像关节点位置进行手工标定，由标定数据设置初始时刻人体姿态对应的人体骨架；

3b)将t-1时刻跟踪得到的最精确的人体骨架作为t时刻的初始化人体骨架，t＞0；

(4)构建相似度函数

4a)将初始化的人体骨架投影到二维图像空间得到每个关节点的坐标位置；

4b)建立正面镜头下的距离相似度函数，用于度量人体正面图像的投影关节点与检测关节点间的欧式距离：

$f_1\left(V\right)=\underset{i=1}{\overset{15}{\mathrm{\Σ}}}{\left|\right|P_i^{c1}V-z_i\left|\right|}_2,$

其中z_i为检测到关节点，V是人体骨架上15个关节点的三维矩阵表示，

表示第i个关节点正面摄像机镜头的参数矩阵，i为人体骨架上的第i个关节点；

4c)建立侧面镜头下的距离相似度函数，用于度量人体侧面图像的投影关节点与检测关节点间的欧式距离：

$f_2\left(V\right)=\underset{i=1}{\overset{15}{\mathrm{\Σ}}}{\left|\right|P_i^{c2}V-z_i\left|\right|}_2,$

其中z_i为检测到关节点，V是人体骨架上15个关节点的三维矩阵表示，P^c2表示第i个关节正面摄像机镜头的参数矩阵，i为人体骨架上的第i个关节点；

(5)利用非支配邻域免疫算法，对两个距离相似度函数f₁(V)、f₂(V)进行优化，获得t时刻一组与真实人体运动姿态相似的人体骨架；

(6)对每一个由步骤(5)得到的人体骨架，计算其与t-1时刻跟踪到的人体骨架的欧式距离，选择出欧式距离最小的人体骨架作为t时刻跟踪到的最精确的人体骨架。

2.根据权利要求1所述的多目标优化的多镜头人体运动跟踪方法，其中步骤(1)所述的用骨骼抽象的方法建立三维人体骨架模型，是将人体骨架按照15个关节划分为14个部分，每部分由一根杆状骨骼模型表达，在虚拟空间用14条具有三维坐标的关节点之间的直线段表示这14根杆状骨骼模型，在相应的关节点的连接下组成整个三维人体骨架模型。

3.根据权利要求1所述的多目标优化的多镜头人体运动跟踪方法，其中步骤2a)所述的通过背景差分获得人体侧影，提取人体轮廓，对人体轮廓进行中轴细化处理，是先输入人体视频图像，采用最小平方中值LMedS方法获取背景图像，人体运动图像与背景图像做像素差，获得背景差图像；再采用形态学方法清除背景差图像中的分割噪声，得到清晰的人体侧影。

4.根据权利要求1所述的多目标优化的多镜头人体运动跟踪方法，其中步骤2b)所述的使用粒子滤波预测检测出其余的人体关节点坐标位置，按如下步骤进行：

2b.1)在检测手、肘、肩关节点位置时，根据关节点位置生成以关节点为中心的矩形框，将关节点先验特征记作矩形框中像素的不变距特征；

2b.2)采用二阶自回归模型更新t时刻获得的检测关节点x_t位置时，获得一个采样粒子，根据矩形框大小，获得以采样粒子为中心的模板图像，计算采样粒子的权重Weight_i：

${\mathrm{Weight}}_i=-\exp (1-\frac{{\mathrm{phi}}_p^i\·{\mathrm{phi}}_t^T}{\mathrm{norm}\left({\mathrm{phi}}_p^i\right)\×\mathrm{norm}\left({\mathrm{phi}}_t\right)}),$

其中，

是第i个采样粒子的不变距特征，phi_t为采样粒子对应关节点的关节点先验特征，norm为2范数，T为矩阵转置，exp为指数次幂；

2b.3)根据权重Weight_i，计算关节点x_t的位置：

$P_{x_t}=\underset{i=1}{\overset{N_s}{\mathrm{\Σ}}}{\mathrm{particle}}_i\×{\mathrm{Weight}}_i,$

其中，particle_i表示第i个采样粒子的图像位置，N_s是采样粒子的个数。

5.根据权利要求1所述的多目标优化的多镜头人体运动跟踪方法，其中步骤(5)所述的利用非支配邻域免疫算法，对两个的距离相似度函数进行优化，按如下步骤进行：

5a)在t时刻，以初始化的人体骨架的参数作为初始种群的个体；

5b)对所有个体按照拥挤距离排序；

5c)在5b)得到的排序下，从小到大选择设定个数的非支配个体，进行克隆、重组、变异，搜索全局最优解，在设定的进化代数下更新种群，最终得到一组人体骨架。

Images