CN107798313A - 一种人体姿态识别方法、装置、终端和存储介质 - Google Patents

Abstract

本发明公开了一种人体姿态识别方法、装置、终端和存储介质，该方法包括：获取待检测视频中的运动人体目标；提取所述运动人体目标的姿态特征；计算所述运动人体目标所在的当前视频帧与前一视频帧的图像相似度；根据所述运动人体目标的姿态特征和所述图像相似度对所述人体目标的姿态进行识别。解决以单帧的分类结果为最终识别结果的局限性与不确定性，增加了识别过程中前后视频帧之间的关联程度，在保障实时性的同时提高了姿态识别的准确率和效率。

Description

一种人体姿态识别方法、装置、终端和存储介质

技术领域

本发明涉及智能视频监控技术领域，尤其涉及一种人体姿态识别方法、装置、终端和存储介质。

背景技术

人体姿态识别是计算机视觉领域的一个重要研究方向，在智能视频监控、智能机器人、视频检索、视频游戏、无标记动作捕捉、安全和卫生保健系统等领域有着广泛的应用前景。

目前的人体姿态识别包括两种方式，即对视频中包括运动的人体目标的某一帧进行图像的检测和分析，根据单帧的分析结果给出姿态的识别结果；或者借助于微软的Kinect深度传感器可以获取人体骨架信息和场景深度图像，对人体姿态的识别提供了很大的帮助。

然而，现有技术仅以单独一帧的检测结果为最终结果，降低了检测结果的准确率，且借助于外加的深度传感器，增加检测的复杂度，降低了检测效率。

发明内容

本发明实施例提供了一种人体姿态识别方法、装置、终端和存储介质，能够提高人体姿态识别的效率和准确率。

第一方面，本发明实施例提供了一种人体姿态识别方法，包括：

获取待检测视频中的运动人体目标；

提取所述运动人体目标的姿态特征；

计算所述运动人体目标所在的当前视频帧与前一视频帧的图像相似度；

根据所述运动人体目标的姿态特征和所述图像相似度对所述人体目标的姿态进行识别。

第二方面，本发明实施例提供了一种人体姿态识别装置，包括：

待检测目标获取模块，用于获取待检测视频中的运动人体目标；

目标特征提取模块，用于提取所述运动人体目标的姿态特征；

相似度计算模块，用于计算所述运动人体目标所在的当前视频帧与前一视频帧的图像相似度；

姿态识别模块，用于根据所述运动人体目标的姿态特征和所述图像相似度对所述人体目标的姿态进行识别。

第三方面，本发明实施例提供了一种终端，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至4中任一项所述的人体姿态识别方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1至4中任一项所述的人体姿态识别方法。

本发明通过获取待检测视频中的运动人体目标，提取所述运动人体目标的姿态特征，计算所述运动人体目标所在的当前视频帧与前一视频帧的图像相似度，根据所述运动人体目标的姿态特征和所述图像相似度对所述人体目标的姿态进行识别。解决以单帧的分类结果为最终识别结果的局限性与不确定性，增加了识别过程中前后视频帧之间的关联程度，在保障实时性的同时提高了姿态识别的准确率和效率。

附图说明

图1为本发明实施例一提供的一种人体姿态识别方法的流程图；

图2为本发明实施例二提供的一种人体姿态识别方法的流程图；

图3为本发明实施例三提供的一种人体姿态识别装置的结构示意图；

图4为本发明实施例四提供的一种终端的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种人体姿态识别方法的流程图，本实施例可适用于对视频中人体姿态进行识别的情况，该方法可以由一种人体姿态识别装置来执行。该方法具体包括如下步骤：

步骤110、获取待检测视频中的运动人体目标。

待检测视频可以为实时录制的监控视频，也可以为已经录制好或者需要进行分析的线现成视频。视频中运动的的人体目标可以通过对视频进行目标检测来获得。

步骤120、提取所述运动人体目标的姿态特征。

人体的姿态特征种类很多，为了实现高效的识别人体的姿态，可以采用简单的人体姿态特征为识别的依据，例如人体姿态的轮廓特征、极值点的位置特征等。

步骤130、计算所述运动人体目标所在的当前视频帧与前一视频帧的图像相似度。

由于视频中的内容具有连续性，因此可以通过比对当前检测的视频帧的前后若干个连续的视频帧的相关程度，综合确定当前检测的视频帧中的姿态。相似度越高表示其相关程度越高，反之相关程度越低。

步骤140、根据所述运动人体目标的姿态特征和所述图像相似度对所述人体目标的姿态进行识别。

对于相关程度高的视频帧的分类结果进行着重考虑，对于相关程度低的视频帧的分类结果不进行考虑或者仅限参考。例如，以当前检测的视频帧地前后各两帧的分类结果为依据，对当前检测的视频帧中的人体姿态进行识别。当各帧之间的相关程度较高且姿态的分类结果一致时，则证明当前视频中的动作是连续的，当前检测的视频帧中的姿态识别结果即为该姿态一致的分类结果。

本实施例的技术方案，通过获取待检测视频中的运动人体目标，提取所述运动人体目标的姿态特征，计算所述运动人体目标所在的当前视频帧与前一视频帧的图像相似度，根据所述运动人体目标的姿态特征和所述图像相似度对所述人体目标的姿态进行识别。解决以单帧的分类结果为最终识别结果的局限性与不确定性，增加了识别过程中前后视频帧之间的关联程度，在保障实时性的同时提高了姿态识别的准确率和效率。

实施例二

本实施例在上述实施例一的基础上，提供了人体姿态识别方法的一个优选实施方式，能够根据视频帧之间的关联程度。图2为本发明实施例二提供的一种人体姿态识别方法的流程图，如图2所示，该方法包括以下具体步骤：

步骤201、获取不同人体姿态的标准样本图片。

标准样本图片包括正样本和负样本，此过程需要前期开发人员手动区分标准样本图片，将其按照不同的人体姿态分为与其对应的正负样本，做为后期训练人体姿态模型的依据。

步骤202、提取所有标准样本图片中人体的姿态特征。

人体的姿态特征种类很多，为了实现高效的识别人体的姿态，可以采用简单的人体姿态特征为识别的依据，例如人体姿态的轮廓特征、极值点的位置特征等。

示例性的，可以采用星型模型，即人体目标图像的轮廓极点和质心点计算，以获得其特征。具体的，可以采用八星模型，通过获取人体轮廓的8个轮廓极点与人体目标质心进行计算，快速获取一组具有17个特征值的特征向量来描述人体姿态，能够更加完善的描述人体轮廓特征，包括头部和四肢，且不显赘余。假设建立的人体姿态模型为Feature＝{D,A,e}，其中，D为八星模型的8个轮廓点与人体目标质心的距离；A为八星模型8个轮廓点到质心点的轴线与水平线所成的最小角度；e为人体目标的离心率。人体目标质心为(x_c,y_c)，其中 N_b为目标像素点的个数，(x_i,y_i)为目标图像中的一个像素点。通过质心将人体目标分为上下左右四个部分，分别计算出其最上/最下、最左/最右8个轮廓点。计算8个轮廓极点(x_i,y_i)与质心点(x_c,y_c)之间的欧氏距离则D＝[d₁,d₂,…,d₈]。通过8个轮廓点到质心点的轴线，计算8条轴线分别与水平线所成的最小角度，分别表示为a_i，其计算公式为则A＝[a₁,a₂,…,a₈]。离心率描述了人体目标的舒展程度，其计算公式为其中，a为人体目标高度H和宽度W相比的较小者，b为高度H和宽度W相比的较大者，H为目标归一化后统一的图像高度，W为按照原始目标比例进行缩放后的宽度。综上所述，将三个特征组合后，算法中提取的第t帧的视频序列的特征向量为Feature_t＝[d₁,d₂,…,d₈,a₁,a₂,…,a₈,e]。

步骤203、根据所述标准样本图片中人体的姿态特征，训练人体姿态模型。

在获得不同姿态的多组姿态特征后，对其进行有监督的训练。示例性的，可以采用支持向量机SVM来训练姿态模型。SVM根据结构风险最小化准则，在使训练样本分类误差极小化的前提下，尽量提高分类器的泛化推广能力，通过构造全局最优超平面作为决策平面，使特征空间中的类模式分开。由于提取的特征是非线性的，因此用核函数将特征向量从原始的特征空间映射到一个高维的特征空间。

步骤204、对所述待检测视频进行运动目标检测。

运动检测是在相机固定和目标运动的条件下，通过除去当前图像帧中的背景来识别出符合运动目标的区域。示例性的，可以采用基于混合高斯模型的背景减除法来进行运动目标检测。

步骤205、对运动目标检测的结果进行心态学处理，获取所述待检测视频中的运动人体目标。

对运动目标检测后的前景运动目标运用形态学算子处理前景图像中的噪声和空洞现象，并通过计算同一帧中检测出的目标面积来提取出面积最大的目标。

步骤206、提取所述运动人体目标的姿态特征。

按照上述提取样本图片的人体姿态特征的方法，提取待检测的运动人体目标的姿态特征，并转化为一维特征向量。

步骤207、计算所述运动人体目标所在的当前视频帧与前一视频帧的图像相似度。

图像相似度计算主要针对两幅图像之间内容的相近程度进行打分，根据分数的高低来判断图像内容的相似程度。相似度越高表示图像内容的相近程度越高，反之图像内容的相近程度越低。示例性的，可以采用基于边缘直方图的相似度计算方法，图像中的边缘是灰度发生阶跃变化或者屋顶变化的区域，它是图像最基本的特征之一，也是判别物体重要的视觉感知信息。图像的边缘方向直方图能有效反映图像中的形状信息。

步骤208、利用所述人体姿态模型对所述运动人体目标的姿态特征进行分类。

利用上述训练好的人体姿态模型，根据待检测的运动人体目标的姿态特征对待检测的运动人体目标进行姿态的分类。

步骤209、根据所述相似度分配所述分类结果的权重。

在一个周期内，由于相邻两帧时间间隔非常小，故人体动作变化幅度小，其相似度较高。因此，同一个姿态周期内相邻两帧的相似度都比较高，而对于相似度较小的帧，其产生原因在于外界噪声或者检测算法本身误差，故应降低该帧识别结果的说服力，平滑过滤掉该帧的识别结果，使姿态描述更加流畅。因此在一个二次统计周期中，对于相似度较高的视频帧的分类结果赋予较大的权重，反之对于相似度较低的视频帧的分类结果赋予较小的权重。

步骤210、根据所述运动人体目标的预先设置的前后若干连续的视频帧的分类结果和权重，估计所述运动人体目标的人体姿态。

由于人体行为姿态的完整表达需要周期，故不能客观的对单独一副视频帧中的人体姿态进行定性识别。因此选取以一定的帧数为一个二次统计周期，通过计算相邻两帧相似度，自适应地分配每帧一次分类结果的统计权值，进而二次统计一个周期内的分类结果，最终统计值最大的那一类姿态即为当前的识别结果。

本实施例的技术方案，通过对不同的人体姿态进行建模，根据运动人体目标的姿态特征对对单帧姿态进行第一次分类识别，通过计算相邻两帧图像相似度，自适应分配一个判别周期内第一次分类结果的统计权值，进行二次人体姿态分类。解决以单帧的分类结果为最终识别结果的局限性与不确定性，增加了识别过程中前后视频帧之间的关联程度，在保障实时性的同时提高了姿态识别的准确率和效率。

实施例三

图3为本发明实施例三提供的一种人体姿态识别装置的结构示意图，本实施例可适用于对视频中人体姿态进行识别的情况，该装置可实现本发明任意实施例所述的人体姿态识别方法。该装置具体包括：

待检测目标获取模块310，用于获取待检测视频中的运动人体目标；

目标特征提取模块320，用于提取所述运动人体目标的姿态特征；

相似度计算模块330，用于计算所述运动人体目标所在的当前视频帧与前一视频帧的图像相似度；

姿态识别模块340，用于根据所述运动人体目标的姿态特征和所述图像相似度对所述人体目标的姿态进行识别。

进一步的，所述装置包括：

样本获取模块350，用于在所述获取待检测视频中的运动人体目标之前，获取不同人体姿态的标准样本图片；

样本特征提取模块360，用于提取所有标准样本图片中人体的姿态特征；

姿态模型训练模块370，用于根据所述标准样本图片中人体的姿态特征，训练人体姿态模型。

所述待检测目标获取模块310，包括：

运动目标检测单元，用于对所述待检测视频进行运动目标检测；

目标预处理单元，用于对运动目标检测的结果进行形态学处理，获取所述待检测视频中的运动人体目标。

所述姿态识别模块340，包括：

姿态分类单元，用于利用所述人体姿态模型对所述运动人体目标的姿态特征进行分类；

权重分配单元，用于根据所述相似度分配所述分类结果的权重；

姿态估计单元，用于根据所述运动人体目标的预先设置的前后若干连续的视频帧的分类结果和权重，估计所述运动人体目标的人体姿态。

本实施例的技术方案，通过各个模块间的相互配合，实现人体姿态模型的训练、运动目标的检测、姿态特征的提取、姿态的分类以及二次分类。解决以单帧的分类结果为最终识别结果的局限性与不确定性，增加了识别过程中前后视频帧之间的关联程度，在保障实时性的同时提高了姿态识别的准确率和效率。

实施例四

图4为本发明实施例四提供的一种终端的结构示意图。如图4所示，该终端具体包括：一个或多个处理器410，图4中以一个处理器410为例；存储器420，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器410执行，使得一个或多个处理器410实现本发明任意实施例所述的人体姿态识别方法。处理器410与存储器420可以通过总线或其他方式连接，图4中以通过总线连接为例。

存储器420，作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的人体姿态识别方法对应的程序指令(例如，人体姿态模型的训练以及运动目标的检测与姿态特征的提取)。处理器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行终端的各种功能应用以及数据处理，即实现上述的人体姿态识别方法。

存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实施例五

本发明实施例五还提供一种计算机可读存储介质，其上存储有计算机程序(或称为计算机可执行指令)，该程序被处理器执行时用于执行一种人体姿态识别方法，该方法包括：

获取待检测视频中的运动人体目标；

提取所述运动人体目标的姿态特征；

计算所述运动人体目标所在的当前视频帧与前一视频帧的图像相似度；

根据所述运动人体目标的姿态特征和所述图像相似度对所述人体目标的姿态进行识别。

当然，本发明实施例所提供的一种计算机可读存储介质,其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的人体姿态识别方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。值得注意的是，上述搜索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种人体姿态识别方法，其特征在于，包括：

获取待检测视频中的运动人体目标；

提取所述运动人体目标的姿态特征；

计算所述运动人体目标所在的当前视频帧与前一视频帧的图像相似度；

根据所述运动人体目标的姿态特征和所述图像相似度对所述人体目标的姿态进行识别。

2.根据权利要求1所述的方法，其特征在于，在所述获取待检测视频中的运动人体目标之前，所述方法包括：

获取不同人体姿态的标准样本图片；

提取所有标准样本图片中人体的姿态特征；

根据所述标准样本图片中人体的姿态特征，训练人体姿态模型。

3.根据权利要求1所述的方法，其特征在于，所述获取待检测视频中的运动人体目标，包括：

对所述待检测视频进行运动目标检测；

对运动目标检测的结果进行心态学处理，获取所述待检测视频中的运动人体目标。

4.根据权利要求1所述的方法，其特征在于，所述根据所述姿态特征和所述相似度对所述人体目标的姿态进行识别，包括：

利用所述人体姿态模型对所述运动人体目标的姿态特征进行分类；

根据所述相似度分配所述分类结果的权重；

根据所述运动人体目标的预先设置的前后若干连续的视频帧的分类结果和权重，估计所述运动人体目标的人体姿态。

5.一种人体姿态识别装置，其特征在于，包括：

待检测目标获取模块，用于获取待检测视频中的运动人体目标；

目标特征提取模块，用于提取所述运动人体目标的姿态特征；

相似度计算模块，用于计算所述运动人体目标所在的当前视频帧与前一视频帧的图像相似度；

姿态识别模块，用于根据所述运动人体目标的姿态特征和所述图像相似度对所述人体目标的姿态进行识别。

6.根据权利要求5所述的装置，其特征在于，所述装置包括：

样本获取模块，用于在所述获取待检测视频中的运动人体目标之前，获取不同人体姿态的标准样本图片；

样本特征提取模块，用于提取所有标准样本图片中人体的姿态特征；

姿态模型训练模块，用于根据所述标准样本图片中人体的姿态特征，训练人体姿态模型。

7.根据权利要求5所述的装置，其特征在于，所述待检测目标获取模块，包括：

运动目标检测单元，用于对所述待检测视频进行运动目标检测；

目标预处理单元，用于对运动目标检测的结果进行形态学处理，获取所述待检测视频中的运动人体目标。

8.根据权利要求5所述的装置，其特征在于，所述姿态识别模块，包括：

姿态分类单元，用于利用所述人体姿态模型对所述运动人体目标的姿态特征进行分类；

权重分配单元，用于根据所述相似度分配所述分类结果的权重；

姿态估计单元，用于根据所述运动人体目标的预先设置的前后若干连续的视频帧的分类结果和权重，估计所述运动人体目标的人体姿态。

9.一种终端，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至4中任一项所述的人体姿态识别方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4中任一项所述的人体姿态识别方法。