CN110287825B - 一种基于关键骨骼点轨迹分析的摔倒动作检测方法 - Google Patents

Abstract

本发明提供一种基于关键骨骼点轨迹分析的摔倒动作检测方法，包括如下步骤：步骤1.首先收集若干组包含摔倒动作的图像序列，以及若干组包含除摔倒动作以外的其它动作的图像序列；步骤2.关键骨骼点提取：在正负样本中提取人体关键骨骼点的相关信息，包括每个骨骼点在RGB图像中的位置信息以及深度信息；步骤3：构建特征模型，生成基于关键骨骼点轨迹的特征描述符；步骤4：构建分类器，对轨迹特征描述符进行分类，检测摔倒动作。本发明利用基于神经网络的OpenPose人体骨骼检测算法提取出人体骨骼位置信息，可直接获取最具说服力的人体自身骨骼点，不局限于特定情况以及特殊环境，不需要用户佩戴任何东西，也不需要复杂的安装，成本很低。

Description

一种基于关键骨骼点轨迹分析的摔倒动作检测方法

技术领域

本发明涉及计算机视觉与图像识别领域，具体为一种基于关键骨骼点轨迹分析的摔倒动作检测方法。

背景技术

在世界范围内，65岁以上人口的比例不断增加，中国已经成为世界上老年人口最多的国家，也是老龄化人口发展速度最快的国家之一。据联合国统计，到本世纪中期，中国将有5亿人口超过60岁，而这个数字将超过美国人口的总数。而更加不容忽视的是中国空巢老人问题更加突出，目前在城市有54％的家庭是空巢老人家庭，而随着农村进城务工人数的增加，农村空巢老人的比例已接近半数。由于年龄的增长，老年人的身体机能不断下降，摔倒已成为60岁以上老年人受到伤害和死亡的最大诱因。为此，在过去的几年里，研究人员集中在开发安全可靠系统的解决方案，以监控老年人的日常活动并及时发现摔倒事件。这些系统将使老年人能够继续享有独立的生活方式，直接惠及老年人，无需转入制度化医疗服务，在需要时及时有效干预，最终减轻老年人及其家庭的情感和经济负担。降低处理摔倒事件所需的成本和资源，也具有明显的社会和经济效益，特别是在长时间停留在地板上的时候可能出现的更为复杂情况。

目前主流摔倒检测方法分为三类，即可穿戴设备(主要是三轴加速度计)，环境传感器(例如感应压力，振动，音频)和基于视觉的传感器(主要是用于检测姿势形状和活动变化的摄像头)。

基于可穿戴方法主要原理是对人体的姿态进行监测，进而进行摔倒检测判断。常用的传感器包括加速度传感器，陀螺仪传感器，压力传感器，还可以与心电，脉搏等设备结合进行检测。但是这种方法需要用户进行长期的佩戴，用户体验较差，不方便日常的活动，而且长期的佩戴会对器材有所损耗，误报率很高，使得准确度一般；

基于环境传感器的摔倒检测系统，原理是在检测人体目标的活动区域内安装多个嵌入在环境中的外部传感器，包括压力传感器，声学传感器，肌电传感器等。主要基于目标人物摔倒时所发出的声音以及与地面接触时地面震动所产生的数据来进行摔倒判断。这种方法数据量过大，算法复杂，且这种系统资金投入大，安装复杂，在实际应用中很少；

随着近年来计算机视觉的发展，基于图像和视频的方法在摔倒检测系统中已经变得流行。原理是在一定区域中安装一个或几个摄像头采集人体运动图像，提取摔倒动作的特征向量，进行匹配来实现摔倒检测。这种方法人工介入少，安装方便，器材损耗小，成本低廉，而且随着计算机视觉的不断发展，精确度会越来越高。但是隐私问题是一个致命缺点，用户大多都不肯接受。

发明内容

本发明的技术任务是针对以上现有技术的不足，而提供一种基于关键骨骼点轨迹分析的摔倒动作检测方法。

本发明解决其技术问题所采用的技术方案是：一种基于关键骨骼点轨迹分析的摔倒动作检测方法，包括如下步骤：

步骤1.预处理：对原始数据进行划分；

首先收集若干组包含摔倒动作的图像序列作为正样本，以及若干组包含除摔倒动作以外的其它动作的图像序列作为负样本，所述图像序列包括RGB图像序列和深度图像序列；

步骤2.关键骨骼点提取：对正负样本提取人体关键骨骼点的信息，包括位置信息以及深度信息，所述位置信息为人体关键骨骼点在RGB图像中的二维位置坐标；所述深度信息为上述人体关键骨骼点对应的深度图像相应位置的深度值；所述位置信息使用OpenPose算法进行人体关键骨骼点检测，输入为RGB图像序列或RGB视频，输出是人体主要的18个骨骼点坐标，选择除左、右眼以及左、右耳以外的14个关键骨骼点；

18个骨骼点坐标包括鼻子，脖子，肩(左右)，肘(左右)，腕(左右)，髋(左右)，膝(左右)，踝(左右)，眼(左右)，耳(左右)，本方法考虑的问题是人体行为动作，不涉及很小的动作细节，因而眼(左右)以及耳(左右)予以剔除，剩下的14个关键骨骼点为所需的信息；

步骤3：构建特征模型，生成基于关键骨骼点轨迹的特征描述符；

根据步骤1和步骤2中获得的一系列正负样本的关键骨骼点信息，对指定跨度L的其中一个轨迹，规定(1)作为其特征模型：

其中：

式中，x,y是位置坐标，d是对应坐标处的深度值，i是该段轨迹的起始帧号，L是轨迹跨度，ω_n指编号为n的骨骼权重，

分别表示第i帧处上半身，下半身的加权中心位置坐标，编号1-8的骨骼点对应上半身，编号9-14的骨骼点对应下半身；

步骤4：构建分类器，对轨迹特征描述符进行分类，检测摔倒动作。

进一步地，所述步骤1中正负样本的收集具体包括：对于摔倒动作的图像序列，设定某段视频其中摔倒动作的发生帧号和结束帧号分别为t_start和t_end，对于摔倒动作的判定需要选取显著区别于其它动作特点的重要时期，并需要人工手动标注以构建训练数据集，规定一个轨迹跨度L，从t_start开始截取L个视频帧的集合作为一个正样本轨迹，然后以步长为1依次向后滑动，直到该段视频中某个轨迹的最后一帧为t_end为止；即该段视频会有t_end-t_start-L+2个轨迹作为正样本生成，其余的视频以此类推；

对于除摔倒动作以外的其它动作的视频或图像序列，负样本的收集不需要人工手动标注，只需要在该段视频或图像中随机截取即可，但是轨迹跨度必须和正样本一致，即负样本也要以L作为其轨迹跨度。

进一步地，步骤1中，对于负样本，需要考虑到视频中的特殊动作，包括坐下，弯腰，躺下及类似动作，以及过渡动作，包括人在地面行走及类似动作。

进一步地，由于每段视频中人本身各不相同，离摄像头的距离也不尽相同，因此需对步骤3中获得的特征模型做归一化处理，这里采用min-max标准化，也称为离差标准化。

进一步地，所述步骤4的具体操作分为如下两步：

S1.用训练数据的轨迹特征描述符建立随机森林分类器；对于一个新的图像序列，从第一帧开始，以L为轨迹跨度依次滑动得到一组轨迹，并提取相应的基于关键骨骼点轨迹的特征描述符，利用随机森林分类器对所有轨迹特征描述符进行分类，分类结果为1表示摔倒动作，分类结果为0表示其它动作；

S2.对于一个新的图像序列，得到所有轨迹的分类结果后，依据整合方法给出整个图像序列的最终判定结果。

进一步地，所述整合方法为：

S201.借鉴膨胀腐蚀原理，用R＝1的圆在整个图像序列的分类结果上进行腐蚀操作，来初步消除明显的噪声点；

S202.对一个完整图像序列的分类结果，从第一个轨迹段开始往后滑动，计算轨迹段累计值M，遇“0”累计值M重置为0，遇“1”累计值M自加1，当某时刻累计值超过10时，停止计算，认为这段图像序列发生了摔倒；如果直到最后一个轨迹段，仍没有触发终止条件，则认为这段视频没有发生摔倒。

本发明提供了一种基于关键骨骼点轨迹分析的摔倒动作检测算法，不需要用户佩戴任何东西，也不需要复杂的安装，仅使用一个深度相机即可完成所有的检测过程，成本很低；

与现有的基于视觉的摔倒动作检测方法相比，本方法利用基于神经网络的OpenPose人体骨骼检测算法提取出人体骨骼位置信息，不同于其它方法寻找代替模型来解释人体行为动作，本方法可直接获取最具说服力的人体自身骨骼点，好处就是不局限于特定情况以及特殊环境，检测对象永远是人，适应于任何环境，真正达到可推广到实际场景；

本发明将深度信息和位置信息进行融合，因为深度信息与横轴方向的位移信息组合起来同样具有很大的区分度，本发明所述的特征模型只有骨骼位置以及深度信息，也解决了用户普遍不接受的隐私问题；

本发明保留了人体关键骨骼点，配合上随机森林强大的自我学习优势以及抗噪声能力，在识别特定动作上，不仅仅局限于摔倒动作，也可以扩展到其它行为动作检测。

附图说明

图1是本发明流程结构框图；

图2是人体关键骨骼点示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例

如图1所示，一种基于关键骨骼点轨迹分析的摔倒动作检测方法，包括如下步骤：

步骤A1、采集大量人的视频(图像序列)用于OpenPose神经网络模型训练：

1.1先收集大量人正常日常活动的视频，可以是单人也可以是多人，手动标记出视频中每帧图像人的关键骨骼点；

1.2得到骨骼点处的坐标，并按照同一个规则的顺序记录下来作为该帧标签；

1.3通过对神经网络模型输入类似这样的大量有标签样本进行训练；

1.4 OpenPose使用人体关键点亲和场(PAFs)的特征来推测骨骼点分属于哪些人，而不会错误地分配骨骼点。

步骤A2、采集一些摔倒视频以及ADL动作视频或图像序列：

2.1选择可用的摔倒检测数据集，将数据集分成两部分，一部分用作训练，另一部分用作测试；

2.2将训练集数据放入OpenPose神经网络模型，输出人体关键骨骼点坐标，大部分数据集都是单人实验(同一场景同时只会出现一个人)，不存在多人的情况，所以每帧检测出的骨骼点数一致；如果用于多人检测，只需要稍微修改骨骼坐标输出程序。

2.3基于深度的摔倒数据集一般包含两种形式的数据：RGB图像和深度图像，所述OpenPose神经网络模型的训练和检测都是基于RGB图像的，得到一系列骨骼点坐标后，再对应于深度图像，获取同一位置处的像素值；

2.4关于像素值与深度值转换公式，公开数据集都会予以提供，这里我们需要的是深度值；

2.5 OpenPose得到的每个骨骼数据包括x,y,δ三个信息：x,y分别是横纵坐标，以图片左上角为坐标系顶点，横轴为x轴，纵轴为y轴；δ是置信度，表明这个骨骼点估计准确的概率，取值在0-1之间，越接近0概率越低，越接近1概率越高；

2.6对于每一帧图像，我们用{n,x₀,y₀,δ₀,d₀,...,x₁₃,y₁₃,δ₁₃,d₁₃}来表示这帧图像人体骨骼模型信息，其中n是该帧图片的序号，我们主要检测人体动作行为，所以面部的骨骼点我们不予考虑，故这里只保留了14个骨骼点；

2.7对2.6中模型信息，编号“1”到“8”的骨骼点为上半身骨骼点，依据权重表，可加权平均求出上半身重心点；编号“9”到“14”的骨骼点为下半身骨骼点，同理求出下半身重心点；

本发明所涉及的人体关键骨骼点如图2所示，各骨骼点权重如表1所示：

表1人体关键骨骼点权重表

2.8指定跨度L，定义自第i帧图像开始的连续L帧图像序列的轨迹片段特征模型为公式(1)：

其中：

式中，x,y是位置坐标，d是对应坐标处的深度值，i是该段轨迹的起始帧号，L是轨迹跨度，ω_n指编号为n的骨骼权重(详见表1)，

分别表示第i帧处上半身，下半身的加权中心位置坐标(编号1-8的骨骼点对应上半身，编号9-14的骨骼点对应下半身)；

2.9采用min-max标准化，也称为离差标准化，是对原始数据的线性变换，使结果值映射到[0-1]之间，转换函数如下：

其中max为样本数据的最大值，min为样本数据的最小值；

步骤A3、构建分类器，对轨迹特征描述符进行分类，检测摔倒动作；

在Spyder中直接从Scikit-Learn库中导入Decision Tree Classifier随机森林模型，具体操作分为两步：

3.1用训练数据的轨迹特征描述符建立随机森林分类器；对于一个新的图像序列，从第一帧开始，以L为轨迹跨度依次滑动得到一组轨迹，并提取相应的基于关键骨骼点轨迹的特征描述符，利用随机森林分类器对所有轨迹特征描述符进行分类，分类结果为1表示摔倒动作，分类结果为0表示其它动作；

3.2对于一个新的图像序列，得到所有轨迹的分类结果后，依据下述整合方法给出整个图像序列的最终判定结果。

其中，所述整合方法为：

借鉴膨胀腐蚀原理，用R＝1的圆在整个图像序列的分类结果上进行腐蚀操作，来初步消除明显的噪声点，例如“001000111011111”序列腐蚀后的结果为“000000111111111”，其中两处显著噪声点已被消除；

对一个完整图像序列的分类结果，从第一个轨迹段开始往后滑动，计算轨迹段累计值M，遇“0”累计值M重置为0，遇“1”累计值M自加1，当某时刻累计值超过10时，停止计算，认为这段图像序列发生了摔倒；如果直到最后一个轨迹段，仍没有触发终止条件，则认为这段视频没有发生摔倒。

以上技术方案阐述了本发明的技术思路，不能以此限定本发明的保护范围，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上技术方案所作的任何改动及修饰，均属于本发明技术方案的保护范围。

Claims (6)

1.一种基于关键骨骼点轨迹分析的摔倒动作检测方法，其特征在于，包括如下步骤：

步骤1.预处理：对原始数据进行划分；

收集若干组包含摔倒动作和除摔倒动作以外其它动作的视频或图像序列，应包括RGB图像和RGBD深度图像两部分；

步骤2.关键骨骼点提取：对正负样本提取人体关键骨骼点信息，包括位置信息以及深度信息，所述位置信息为人体关键骨骼点在RGB图像中的二维位置坐标；所述深度信息为上述人体关键骨骼点对应的深度图像相应位置的深度值；所述位置信息使用OpenPose算法进行人体关键骨骼点检测，输入为RGB图像序列，输出是人体主要的18个骨骼点坐标，选择除左、右眼以及左、右耳以外的14个关键骨骼点；

步骤3：构建特征模型，生成基于关键骨骼点轨迹的特征描述符；

根据步骤1和步骤2中获得的一系列正负样本的信息，对指定跨度L的其中一个轨迹，规定(1)作为其特征模型：

其中：

式中，x,y是位置坐标，d是对应坐标处的深度值，i是指定跨度L的其中一个所述轨迹的起始帧号，L是轨迹跨度，ω_n指编号为n的骨骼权重，

分别表示第i帧处上半身，下半身的加权中心位置坐标，编号1-8的骨骼点对应上半身，编号9-14的骨骼点对应下半身；

步骤4：构建分类器，对轨迹特征描述符进行分类，检测摔倒动作。

2.根据权利要求1所述的一种基于关键骨骼点轨迹分析的摔倒动作检测方法，其特征在于，所述步骤1中正负样本的收集具体包括：对于摔倒动作的图像序列，设定某段视频其中摔倒动作的发生帧号和结束帧号分别为t_start和t_end，对于摔倒动作的判定需要选取显著区别于其它动作特点的重要时期，并需要人工手动标注以构建训练数据集，规定一个轨迹跨度L，从t_start开始截取L个视频帧的集合作为一个正样本轨迹，然后以步长为1依次向后滑动，直到该段视频中某个轨迹的最后一帧为t_end为止；即该段视频会有t_end-t_start-L+2个轨迹作为正样本生成，其余的视频以此类推；

对于除摔倒动作以外的其它动作的视频或图像序列，负样本的收集不需要人工手动标注，只需要在该段视频或图像中随机截取即可，但是轨迹跨度必须和正样本一致，即负样本也要以L作为其轨迹跨度。

3.根据权利要求2所述的一种基于关键骨骼点轨迹分析的摔倒动作检测方法，其特征在于，步骤1中，对于负样本，需要考虑到视频中的特殊动作，包括坐下，弯腰及躺下，以及过渡动作，包括人在地面行走。

4.根据权利要求1所述的一种基于关键骨骼点轨迹分析的摔倒动作检测方法，其特征在于，所述检测方法还包括对步骤3中获得的特征模型做归一化处理，这里采用min-max标准化，也称为离差标准化。

5.根据权利要求1所述的一种基于关键骨骼点轨迹分析的摔倒动作检测方法，其特征在于，所述步骤4具体操作为：

S1.用训练数据的轨迹特征描述符建立随机森林分类器；对于一个新的图像序列，从第一帧开始，以L为轨迹跨度依次滑动得到一组轨迹，并提取相应的基于关键骨骼点轨迹的特征描述符，利用随机森林分类器对所有轨迹特征描述符进行分类，分类结果为1表示摔倒动作，分类结果为0表示其它动作；

S2.对于一个新的图像序列，得到所有轨迹的分类结果后，依据整合方法给出整个图像序列的最终判定结果。

6.根据权利要求5所述的一种基于关键骨骼点轨迹分析的摔倒动作检测方法，其特征在于，所述整合方法为：

S201.借鉴膨胀腐蚀原理，用R＝1的圆在整个图像序列的分类结果上进行腐蚀操作，来初步消除明显的噪声点；

S202.对一个完整图像序列的分类结果，从第一个轨迹段开始往后滑动，计算轨迹段累计值M，遇“0”累计值M重置为0，遇“1”累计值M自加1，当某时刻累计值超过10时，停止计算，认为这段图像序列发生了摔倒；如果直到最后一个轨迹段，仍没有触发终止条件，则认为这段视频没有发生摔倒。

Images