CN110705390A - 基于lstm的形体姿态识别方法、装置及存储介质 - Google Patents

Abstract

本发明涉及生物识别技术领域，提出一种基于LSTM的形体姿态识别方法，该方法包括：获取待识别主体的动作视频；通过OpenPose提取所获取的待识别主体的动作视频中的动作特征信息；其中，所述动作特征信息至少包括骨架关键点信息；将根据所述动作特征信息和预先训练生成的形体姿态识别模型，识别出与所述动作特征信息对应的动作规范度；其中，所述形体姿态识别模型为根据预设规范动作生成的目标神经网络模型；所述目标神经网络模型依据按时间序列排列的规范动作特征信息训练生成。本发明不需要将视频动作切割成孤立的特征去识别，而是通过配合神经网络模型进行学习识别，形体姿态识别过程快速准确，提升了用户体验。

Description

基于LSTM的形体姿态识别方法、装置及存储介质

技术领域

本发明涉及生物识别技术领域，尤其涉及一种基于LSTM的形体姿态识别 方法、装置及计算机可读存储介质。

背景技术

很多活动尤其是竞技性体育运动，比如游泳、打乒乓球、跳水、体操等， 在训练和比赛过程中，对于每一个细微动作都有具体的要求，以期达到更好 的训练或者比赛效果。在体育训练过程中，很多动作的调整、纠错大都是通 过专门的教练在专业指导过程中完成的，运动人员在运动过程中自己很难发 现自己的动作误差。在现有的形体比赛过程中，比如健美操比赛、广播体操 比赛以及舞蹈比赛等，目前都是通过裁判对个人表现打分，虽然裁判都是专 业人士，但也存在误判、漏判以及主观偏见等影响成绩的客观性。

因此，希望能够有计算机能够代替教练和裁判对运动者的动作、形体姿 态进行一定程度的分析评判。

目前的姿态打分系统多是采用传感器+APP的模式，使用传感器捕获人体 的运动模式，使用APP呈现相关数据。无法用于精准的动作判定。

动作识别技术涉及计算机视觉、模式识别等。人体动作识别的目的是及 时准确地将采集到的人体动作特征与完备的人体动作姿态库中的动作进行识 别分类，匹配出相似度最高的动作姿态并输出。

当前动作识别技术主要分为两种，一种基于RGB图像，另外一种基于深 度图像。但两种方法均存在自己的不足之处，RGB图像内部包含的信息过多， 不利于动作姿态特征的提取。而在深度图像中，很容易出现肢体相互遮挡的 现象，影响识别准确度。

所以，亟需一种能够提升检测速度，且不损失检测准确度的动作姿态识 别方法。

发明内容

本发明提供一种基于LSTM的形体姿态识别方法、电子装置及计算机可读 存储介质，其主要目的在于通过将按照时间序列排列的规范动作的视频集作 为训练词典，以包括Masking层和Softmax层的神经网络LSTM为模型，以规范 动作视频中人体骨骼特征点为目标，以联结主义时间分类器CTC为训练准则 对所述模型进行训练，得到训练后的形体姿态识别模型。

为实现上述目的，本发明提供一种基于LSTM的形体姿态识别方法，该 方法包括：

获取待识别主体的动作视频；

通过OpenPose提取所获取的待识别主体的动作视频中的动作特征信息； 其中，动作特征信息至少包括骨架关键点信息；

将根据所述动作特征信息和预先训练生成的形体姿态识别模型，识别出 与所述动作特征信息对应的动作规范度；其中，所述形体姿态识别模型为根 据预设规范动作生成的目标神经网络模型；所述目标神经网络模型依据按时 间序列排列的规范动作特征信息训练生成。

在一个实施例中，所述形体姿态识别模型的神经网络包括Masking层、 Softmax层以及所述Masking层和Softmax层之间的LSTM层。

在一个实施例中，所述形体姿态识别模型的目标函数为CTC；所述形体 姿态识别模型通过所述CTC输出Loss值，所输出的所述Loss值越小，与所 述Loss值对应的所述待识别主体的动作规范度越高。

在一个实施例中，所述通过OpenPose提取所获取的待识别主体的动作视 频中的动作特征信息的步骤包括：

以预设时段或者节拍为时间单位获取所述待识别主体的动作视频，利用OpenPose从所述待识别主体的动作视频中抽取图像帧；

根据所抽取的图象帧确定所述待识别主体的多个骨架关键特征点；

将所述多个骨架关键特征点整合成为所述待识别主体的骨架关键点信息。

在一个实施例中，所述骨架关键点信息为(x，y，v)，其中，x和y为所 述骨架关键点的横纵坐标信息，v为所述骨架关键点的状态信息；所述关键点 的状态包括可见、不可见以及不在图内。

在一个实施例中，在所述通过OpenPose提取所获取的待识别主体的动作 视频中的动作特征信息之后，还包括：以JSON格式存储所述骨架关键点信息。

在一个实施例中，在所述根据所述动作特征信息和预先训练生成的形体姿 态识别模型识别出与所述动作特征信息对应的动作规范度之前，还包括：在 Softmax层中使用CTC对所述形体姿态识别模型进行迭代训练，直至所述CTC 输出的Loss值大于或等于设定阈值。

此外，为实现上述目的，本发明还提供一种电子装置，该电子装置包括： 存储器、处理器及摄像装置，所述存储器中包括基于LSTM的形体姿态识别 程序，所述基于LSTM的形体姿态识别程序被所述处理器执行时实现如下步 骤：S110、获取待识别主体的动作视频；S120、通过OpenPose提取所获取的 待识别主体的动作视频中的动作特征信息；其中，动作特征信息至少包括骨 架关键点信息；S130、将根据所述动作特征信息和预先训练生成的形体姿态 识别模型，识别出与所述动作特征信息对应的动作规范度；其中，所述形体 姿态识别模型为根据预设规范动作生成的目标神经网络模型；所述目标神经 网络模型依据按时间序列排列的规范动作特征信息训练生成。

在一个实施例中，所述通过OpenPose提取所获取的待识别主体的动作视 频中的动作特征信息的步骤包括：

以预设时段或者节拍为时间单位获取所述待识别主体的动作视频，利用OpenPose从所述待识别主体的动作视频中抽取图像帧；S320、根据所抽取的 图象帧确定所述待识别主体的多个骨架关键特征点；S330、将所述多个骨架 关键特征点整合成为所述待识别主体的骨架关键点信息。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述 计算机可读存储介质中存储有基于LSTM的形体姿态识别程序，所述基于 LSTM的形体姿态识别程序被处理器执行时，实现如上所述的基于LSTM的 形体姿态识别方法的步骤。

本发明提出的基于LSTM的形体姿态识别方法、电子装置及计算机可读 存储介质，该方法将规范动作的视频集作为训练词典，以包括Masking层和 Softmax层的神经网络LSTM为模型，以规范动作视频中人体骨骼特征点为目 标，以联结主义时间分类器CTC为训练准则对所述模型进行训练，得到训练 后的形体姿态识别模型。本发明的基于LSTM的形体姿态识别方法可以实现 缩短模型训练周期和提高模型训练精度的效果，不需要通过将视频动作切割 成孤立的特征去识别，而是配合神经网络模型进行学习识别；快速准确，提 升了用户体验。

附图说明

图1为本发明基于LSTM的形体姿态识别方法较佳实施例的流程图；

图2为本发明的骨架关键特征点的示意图；

图3为本发明的获取骨架关键点信息的方法较佳实施例的流程图；

图4为本发明实施例的基于LSTM的形体姿态识别方法的应用环境示意 图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步 说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限 定本发明。

本发明提供一种基于LSTM的形体姿态识别方法。参照图1所示，为本 发明基于LSTM的形体姿态识别方法较佳实施例的流程图。该方法可以由一 个装置执行，该装置可以由软件和/或硬件实现。

需要说明的是，我们采用基于LSTM(Long-Short Term Memory，长短 期记忆)的循环神经网络(RNN)来搭建基础框架，用于学习有效的特征并 且对时域的动态过程建模，实现端到端的行为识别及检测。其中，长短期记 忆网络，是一种时间循环神经网络，适合处理和预测时间序列中间隔和延迟 相对较长的重要事件。

具体的，本发明是基于动态视频人体骨骼特征点的检测，利用卡内基梅 隆大学提出开源算法OpenPose算法对比赛视频中的人体姿态特征点提取，与 神经网络中训练出来的模型做比较，得出差异范围，差异最小的得分最高， 反之则低，从而实现形体姿态的精确识别。

在本实施例中，基于LSTM的形体姿态识别方法包括：步骤S110-步骤 S130。

S110、获取待识别主体的动作视频。

在具体的实施例中，是待评分的主体的动作视频，比如体操比赛中，参 赛选手的动作视频。对于获得的动作视频，首先是要进行预处理或者去噪。

S120、通过OpenPose提取所获取的待识别主体的动作视频中的动作特征 信息；其中，动作特征信息至少包括骨架关键点信息。

人体的运动可以通过一些主要骨架的关键节点(简称骨架关键点)的移 动来描述，因此，只要多个人体骨架的关键节点的组合与追踪便能形成对诸 多行为例如跳舞、走路、跑步等的刻画，做到通过人体骨架的关键节点的运 动来识别行为。

当然，也可以以人体的关节位移信息、体表关键点位移信息等作为待识 别主体的动作特征信息。

具体地，本发明在一个具体实施例中是通过将动作中骨架关键点具有的 共性特征引入到了LSTM网络中，将其作为网络参数学习的约束来优化识别 性能。人的某个行为动作常常和骨架的一些特征关键点构成的集合，以及这 个集合中节点的交互密切相关。

在一个具体的实施例中，第八套广播体操里的体侧运动，“鼻子”“膝盖” “脚踝”以及“手部”等关键点构成具有判别力的节点集合。

图2为本发明骨架关键特征点的示意图。参照图2所示，骨架关键点特 征点为多个，具体来说如图所示为18个。

OpenPose是一个实时多人关键点检测的库，基于OpenCV和Caffe编写； OpenPose的性能十分强大，根据人体的骨骼特点以及舞蹈动作特点，选取出 鼻子、颈部、右肩、右肘、右手腕、左肩、左肘、左手腕、右臀、右膝盖、 右脚踝、左臀、左膝盖、左脚踝、右眼、左眼、右耳、左耳共18个骨架关键 特征点进行检测。

待识别主体即为广播体操表演者，广播体操表演者的动作视频以“1、2、 3、4、5、6、7、8”这一个八拍为时间单位。而视频的帧数根据视频的实际 大小来确定，以广播体操为例，这一个八拍大约8秒，按帧率25来算的话， 这一个节拍大约为200帧。若视频的长度是8秒，帧数为200，每帧有18*2 个值，则输入的是200*36个值，若视频中的值数量不够，则用零补齐。也就 是说，首先将序列转换为定长序列，本申请中的序列包含200*36个值，若所 选取的视频不足这个长度的序列，则补0；上述以八拍为定长序列，以八拍为 单位，按照时间顺序排列的图像帧。

示例性的说明如下：广播体操(又名《大众广播体操》)由8节徒手体操 组成，共计4分45秒。而每节动作又分为四个八拍；以下肢运动为例：第一 个八拍，1、左脚向前一步，右脚向后垫底，同时两臂屈肘，胸前交叉，手握 拳，拳心向内；捕捉这一个八拍中的18个骨架关键特征点。

图3为本发明获取骨架关键点信息的方法的示意图。参照图3所示，获 取所述骨架关键点信息的方法包括：S310、以预设时段或者节拍为时间单位 获取所述待识别主体的动作视频，利用OpenPose从所述待识别主体的动作视 频中抽取图像帧；S320、根据所抽取的图象帧确定所述待识别主体的多个骨 架关键特征点；S330、将所述多个骨架关键特征点整合成为所述待识别主体 的骨架关键点信息。

其中，预设时段或者节拍为一个时间定义序列单位，可以以一个固定时 间段为单位也可以选择一个节拍为单位。

需要说明的是，骨架关键点信息(x，y，v)三个信息，x和y即为图像中 的横纵坐标信息，v表示该骨架关键点的状态信息，即可见、不可见以及不在 图内(或不可推测)。其中，不在图内是指该骨架关键点不位于该图像帧所示 的图内。

其中骨架关键点信息以JSON格式存储。每个JSON文件分别对应一个数 据集，一个JSON文件中的每个item存储该数据集中一张图片的人体框位置 与人体骨架关键点位置。

进一步需要说明的是，数据集所存储的信息包括存储图像的文件名、存 储人体框的位置和人体骨架关键点位置；人体框的位置包括四个参数，前两 个参数为人体框左上角点的坐标值，后两个参数为人体框右下角点的坐标值； 而人体骨架关键点位置中，V代表该关键点的状态，vi＝1可见，vi＝2不可 见，vi＝3不在图内或不可推测。其中，只需要返回vi＝1可见状态的骨架关 键点的信息，其他状态的关键点以(0，0，0)代替。

S130、将根据所述动作特征信息和预先训练生成的形体姿态识别模型， 识别出与所述动作特征信息对应的动作规范度；其中，所述形体姿态识别模 型为根据预设规范动作生成的目标神经网络模型；所述目标神经网络模型依 据按时间序列排列的规范动作特征信息训练生成。

在具体的实施例中，训练样本数据集是由规范动作的视频集组成的，其 中，仍然以广播体操为例，由伸展运动、扩胸运动、踢腿运动、体侧运动、 体转运动、全身运动、跳跃运动以及整理运动8节徒手体操组成；里面涉及 屈伸、转体、平衡、跳跃等各种动作；每节徒手操可分解成4-5个动作；训练 样本数据集会包含40个动作，组成的2640个视频；每个视频由2-10个动作 组成。确定动作的开始时间以及结束时间，在这个时间段内，按照时间序列排列动作的特征信息。

具体的，形态分类器通过动作视频即可识别出每一帧动作，该动作类别 仅限于训练数据所包含的动作类别；仍旧以广播体操为例，其动作类别仅限 于训练数据所包含的40个动作类别。

示例性的说明如下：一个节拍为10秒的视频，帧率为25，则共250帧， 每一帧都通过openpose框架的骨架关键点检测，输出18个上述值；将18个 值串起来，也就是250*18个上述值当做输入，进入网络；得到分类模型，有 多少个节拍，就有多少个分类。这个模型的输入是若干个18个值，输出是标 签“X运动Y节拍”和Loss值。标签举例说明如下：“头部运动第1节拍”。

在一个具体的实施例中，所述形体姿态识别模型的目标函数为CTC；所 述形体姿态识别模型通过所述CTC输出Loss值，所述Loss值越小，所述待 识别主体的动作规范度越高。

本发明是利用LSTM神经网络结构结合CTC进行姿态分类器模型训练， 最终得到LSTM-CTC姿态分类模型。将规范动作的视频集作为训练词典，以 一层卷积神经网络CNN加上五层时间递归神经网络LSTM为模型，以规范动 作视频中人体骨骼特征点为目标，以联结主义时间分类器CTC为训练准则对 所述模型进行训练，得到训练后的CTC姿态模型；网络训练过程通过随机梯 度下降算法训练神经网络模型以及损失网络函数模型。神经网络包括：LSTM 模型+CTC模型；其中：LSTM+CTC输出对应的分类标签以及Loss值。其中， 先通过RNN网络读取图像，然后将图像转化为矩阵，然后取矩阵行、列数目， 最后用reshape函数将改变形状。将转化后的特征送入LSTM。

具体的LSTM算法是由于RNN的梯度消失和梯度暴增的不足提出的一种 算法。且有着短时的记忆能力。一般使用BPTT(Back Propagation Through Time) 来进行梯度的更新。LSTM网络中，将一般的RNN网络中的神经元换成了 Block。

神经网络的网络结构包括：所述LSTM层前为Masking层，所述LSTM 层后为Softmax层。

其中，Masking层，的作用为过滤0；然后在Masking层中mask_value 中指定过滤字符。如上所述，将序列中补的0全部被过滤掉；此外，embedding 层也有过滤的功能，但与masking层不同的是，它只能过滤0，不能指定其他 字符，并且因为是embedding层，它会将序列映射到一个固定维度的空间中。 因此，使用Masking层会比使用Embedding层更加适合。所述Softmax层用 于分类。

在一个具体的实施例中，所述LSTM层将每帧数据根据步长200串联；

CTC Loss的计算过程，也就是一次前向传播的损失。就是当前序列标签 的负对数。利用下述公式获得：

L(S)＝-ln∏_(x,z)∈S p(z|x)＝-∑_(x,z)∈S lnp(z|x)

其中，p(z|x)代表给定输入x，输出序列z的概率，S为训练集。也就是 说，给定样本后输出正确label的概率的乘积，再取负对数就是损失函数了， 取负号后，通过最小化损失函数，使输出正确的label的概率达到最大了。

也就是说，在所述根据所述动作特征信息和预先训练生成的形体姿态识 别模型识别出与所述动作特征信息对应的动作规范度之前，在Softmax层中使 用CTC对所述形体姿态识别模型进行迭代训练，直至所述CTC输出的Loss 值大于或等于设定阈值。在模型的训练过程中，Loss值越小模型的精确度越 高，一般的精确度要求为98％。

本发明的基于LSTM的形体姿态识别方法，不需要训练人员身上佩戴传 感器就能够分析参赛人员的比赛动作、速度、方位、角度等与规范动作的差 别，提高比赛打分的精准度。

本发明提供一种基于LSTM的形体姿态识别装置，包括骨架关键点信息 获取单元、形体姿态识别模型训练单元、形体姿态识别模型检测单元；其中， 骨架关键点信息获取单元，用于利用摄像装置获取参赛人员的动作视频；通 过OpenPose对待识别主体动作视频进行骨架关键点检测，得到该参赛人员的 骨架关键点信息；形体姿态识别模型训练单元，用于通过训练步骤获取所述 形体姿态识别模型；形体姿态识别模型检测单元，用于利用形体姿态识别模 型对所述动作骨架关键点信息进行分类识别，得到分类标签并计算损失函数Loss；通过损失函数Loss的大小，判断待识别主体动作与规范动作的相似度。

本发明提供一种基于LSTM的形体姿态识别方法，应用于一种电子装置 4。参照图4所示，为本发明基于LSTM的形体姿态识别方法较佳实施例的应 用环境示意图。

在本实施例中，电子装置4可以是服务器、智能手机、平板电脑、便携 计算机、桌上型计算机等具有运算功能的终端设备。

该电子装置4包括：处理器42、存储器41、摄像装置43、网络接口44 及通信总线45。

存储器41包括至少一种类型的可读存储介质。所述至少一种类型的可读 存储介质可为如闪存、硬盘、多媒体卡、卡型存储器41等的非易失性存储介 质。在一些实施例中，所述可读存储介质可以是所述电子装置4的内部存储 单元，例如该电子装置4的硬盘。在另一些实施例中，所述可读存储介质也 可以是所述电子装置4的外部存储器41，例如所述电子装置4上配备的插接 式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD) 卡，闪存卡(Flash Card)等。

在本实施例中，所述存储器41的可读存储介质通常用于存储安装于所述 电子装置4的基于LSTM的形体姿态识别程序40等。所述存储器41还可以 用于暂时地存储已经输出或者将要输出的数据。

处理器42在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器41中存储的程序代 码或处理数据，例如执行基于LSTM的形体姿态识别程序40等。

摄像装置43既可以是所述电子装置4的一部分，也可以独立于电子装置 4。在一些实施例中，所述电子装置4为智能手机、平板电脑、便携计算机等 具有摄像头的终端设备，则所述摄像装置43即为所述电子装置4的摄像头。 在其他实施例中，所述电子装置4可以为服务器，所述摄像装置43独立于该 电子装置4、与该电子装置4通过网络连接，例如，该摄像装置43安装于特 定场所，如办公场所、监控区域，对进入该特定场所的目标实时拍摄得到实 时图像，通过网络将拍摄得到的实时图像传输至处理器42。

网络接口44可选地可以包括标准的有线接口、无线接口(如WI-FI接口)， 通常用于在该电子装置4与其他电子设备之间建立通信连接。

通信总线45用于实现这些组件之间的连接通信。

图4仅示出了具有组件41-45的电子装置4，但是应理解的是，并不要求 实施所有示出的组件，可以替代的实施更多或者更少的组件。

在本发明的一个具体实施方式中，该电子装置4还可以包括用户接口， 用户接口可以包括输入单元比如键盘(Keyboard)、语音输入装置比如麦克风 (microphone)等具有语音识别功能的设备、语音输出装置比如音响、耳机等， 可选地用户接口还可以包括标准的有线接口、无线接口。

此外，该电子装置4还可以包括显示器，显示器也可以称为显示屏或显 示单元。在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示 器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。显 示器用于显示在电子装置4中处理的信息以及用于显示可视化的用户界面。

另外，该电子装置4还包括触摸传感器。所述触摸传感器所提供的供用 户进行触摸操作的区域称为触控区域。此外，这里所述的触摸传感器可以为 电阻式触摸传感器、电容式触摸传感器等。而且，所述触摸传感器不仅包括 接触式的触摸传感器，也可包括接近式的触摸传感器等。此外，所述触摸传 感器可以为单个传感器，也可以为例如阵列布置的多个传感器。

此外，该电子装置4的显示器的面积可以与所述触摸传感器的面积相同， 也可以不同。可选地，将显示器与所述触摸传感器层叠设置，以形成触摸显 示屏。该装置基于触摸显示屏侦测用户触发的触控操作。

可选地，该电子装置4还可以包括射频(Radio Frequency，RF)电路， 传感器、音频电路等等，在此不再赘述。

在图4所示的装置实施例中，作为一种计算机存储介质的存储器41中可 以包括操作系统、以及基于LSTM的形体姿态识别程序40；处理器42执行 存储器41中存储的基于LSTM的形体姿态识别程序40时实现如下步骤：

S110、获取待识别主体的动作视频；S120、通过OpenPose提取所获取的 待识别主体的动作视频中的动作特征信息；其中，动作特征信息至少包括骨 架关键点信息；S130、将根据所述动作特征信息和预先训练生成的形体姿态 识别模型，识别出与所述动作特征信息对应的动作规范度；其中，所述形体 姿态识别模型为根据预设规范动作生成的目标神经网络模型；所述目标神经 网络模型依据按时间序列排列的规范动作特征信息训练生成。。

上述实施例提出的电子装置，将规范动作的视频集作为训练词典，以包 括Masking层和Softmax层的神经网络LSTM为模型，以规范动作视频中人 体骨骼特征点为目标，以联结主义时间分类器CTC为训练准则对所述模型进 行训练，得到训练后的形体姿态识别模型，从而进行正确的姿态识别。

在其他实施例中，基于LSTM的形体姿态识别程序40还可以被分割为一 个或者多个模块，一个或者多个模块被存储于存储器41中，并由处理器42 执行，以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计 算机程序指令段。

所述基于LSTM的形体姿态识别程序40可以被分割为：包括骨架关键点 信息获取子程序、形体姿态识别模型训练子程序、形体姿态识别模型检测子 程序；其中，骨架关键点信息获取子程序，用于利用摄像装置获取待识别主 体的动作视频；通过OpenPose对待识别主体动作视频进行骨架关键点检测， 得到该待识别主体的骨架关键点信息；形体姿态识别模型训练子程序，用于 通过训练步骤获取所述形体姿态识别模型；形体姿态识别模型检测子程序， 用于利用形体姿态识别模型对所述动作骨架关键点信息进行分类识别，得到 分类标签并计算损失函数Loss；通过损失函数Loss的大小，判断待识别主体 动作与规范动作的相似度。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读 存储介质中存储有基于LSTM的形体姿态识别程序，所述基于LSTM的形体 姿态识别程序被处理器执行时实现如下操作：

S110、获取待识别主体的动作视频；S120、通过OpenPose提取所获取的 待识别主体的动作视频中的动作特征信息；其中，动作特征信息至少包括骨 架关键点信息；S130、将根据所述动作特征信息和预先训练生成的形体姿态 识别模型，识别出与所述动作特征信息对应的动作规范度；其中，所述形体 姿态识别模型为根据预设规范动作生成的目标神经网络模型；所述目标神经 网络模型依据按时间序列排列的规范动作特征信息训练生成。。

本发明之计算机可读存储介质的具体实施方式与上述基于LSTM的形体 姿态识别方法、电子装置的具体实施方式大致相同，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在 涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方 法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括 为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下， 由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物 品或者方法中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上 的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可 借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很 多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质 上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计 算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘) 中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或 者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是 利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间 接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于LSTM的形体姿态识别方法，应用于电子装置，其特征在于，所述方法包括：

获取待识别主体的动作视频；

通过OpenPose提取所获取的待识别主体的动作视频中的动作特征信息；其中，所述动作特征信息至少包括骨架关键点信息；

根据所述动作特征信息和预先训练生成的形体姿态识别模型，识别出与所述动作特征信息对应的动作规范度；其中，所述形体姿态识别模型为根据预设规范动作生成的目标神经网络模型；所述目标神经网络模型依据按时间序列排列的规范动作特征信息训练生成。

2.根据权利要求1所述的基于LSTM的形体姿态识别方法，其特征在于，所述形体姿态识别模型的神经网络包括Masking层、Softmax层以及所述Masking层和Softmax层之间的LSTM层。

3.根据权利要求2所述的基于LSTM的形体姿态识别方法，其特征在于，所述形体姿态识别模型的目标函数为CTC；所述形体姿态识别模型通过所述CTC输出Loss值，所输出的所述Loss值越小，与所述Loss值对应的所述待识别主体的动作规范度越高。

4.根据权利要求1所述的基于LSTM的形体姿态识别方法，其特征在于，所述通过OpenPose提取所获取的待识别主体的动作视频中的动作特征信息的步骤包括：

以预设时段或者节拍为时间单位获取所述待识别主体的动作视频，利用OpenPose从所述待识别主体的动作视频中抽取图像帧；

根据所抽取的图象帧确定所述待识别主体的多个骨架关键特征点；

将所述多个骨架关键特征点整合成为所述待识别主体的骨架关键点信息。

5.根据权利要求4所述的基于LSTM的形体姿态识别方法，其特征在于，所述骨架关键点信息为(x，y，v)，其中，x和y为所述骨架关键点的横纵坐标信息，v为所述骨架关键点的状态信息；

所述关键点的状态包括可见、不可见以及不在图内。

6.根据权利要求5所述的基于LSTM的形体姿态识别方法，其特征在于，在通过OpenPose提取所获取的待识别主体的动作视频中的动作特征信息之后，还包括：以JSON格式存储所述骨架关键点信息。

7.根据权利要求3所述的基于LSTM的形体姿态识别方法，其特征在于，在根据所述动作特征信息和预先训练生成的形体姿态识别模型识别出与所述动作特征信息对应的动作规范度之前，还包括：

在Softmax层中使用CTC对所述形体姿态识别模型进行迭代训练，直至所述CTC输出的Loss值大于或等于设定阈值。

8.一种电子装置，其特征在于，该电子装置包括存储器、处理器及摄像装置，所述存储器中存储有基于LSTM的形体姿态识别程序，所述基于LSTM的形体姿态识别程序被所述处理器执行时实现如下步骤：

获取待识别主体的动作视频；

通过OpenPose提取所获取的待识别主体的动作视频中的动作特征信息；其中，所述动作特征信息至少包括骨架关键点信息；

将根据所述动作特征信息和预先训练生成的形体姿态识别模型，识别出与所述动作特征信息对应的动作规范度；其中，所述形体姿态识别模型为根据预设规范动作生成的目标神经网络模型；所述目标神经网络模型依据按时间序列排列的规范动作特征信息训练生成。

9.根据权利要求8所述的电子装置，其特征在于，

所述通过OpenPose提取所获取的待识别主体的动作视频中的动作特征信息的步骤包括：

以预设时段或者节拍为时间单位获取所述待识别主体的动作视频，利用OpenPose从所述待识别主体的动作视频中抽取图像帧；

根据所抽取的图象帧确定所述待识别主体的多个骨架关键特征点；

将所述多个骨架关键特征点整合成为所述待识别主体的骨架关键点信息。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有基于LSTM的形体姿态识别程序，所述基于LSTM的形体姿态识别程序被处理器执行时，实现如权利要求1至7中任一项所述的基于LSTM的形体姿态识别方法的步骤。

Images