CN111062238A - 基于人体骨架信息及多目标跟踪的扶梯流量监测方法及系统 - Google Patents

Abstract

本发明涉及计算机技术领域，具体涉及基于人体骨架信息及多目标跟踪的扶梯流量监测方法及系统，包括以下步骤：获取扶梯区域监控图像；提取人体骨架信息；建立骨架信息的分类模型；对实时骨架信息进行分类；选取人体骨架关键点；获得选定人体骨架关键点的外接矩形；截取外接矩形对应的像素区域，新增跟踪对象，对新增跟踪对象进行跟踪，得到跟踪对象运动轨迹；若跟踪对象进入扶梯入口，则扶梯监测人数加1，若跟踪对象进入扶梯出口，则扶梯监测人数减1；当扶梯监测人数超标时，现场声音报警。本发明的实质性效果是：通过图像识别技术，降低了部署成本并提高了扶梯流量监测的效率；提高乘客乘坐自动扶梯的安全性。

Description

基于人体骨架信息及多目标跟踪的扶梯流量监测方法及系统

技术领域

本发明涉及计算机技术领域，具体涉及基于人体骨架信息及多目标跟踪的扶梯流量监测方法及系统。

背景技术

自动扶梯也称电动扶梯，以下简称扶梯，它是一种类似于倾斜式传送带的运输装置，主要完成对乘客和货物的输送任务，尤其是前者。随着人们对快捷生活方式的不断追求，扶梯的使用越来越普遍，像地铁站、火车站、建筑物内等公共场所。随着扶梯的大量使用，扶梯的一些安全问题、顺畅运行问题越来越引起人们的关注，尤其是扶梯口位置，包括扶梯口客流是否拥堵、是否有乘客摔倒、是否有大件物品滞留等。上述这些行为一方面会降低扶梯的运输效率，另一方面可能会引起扶梯口踩踏事故的发生。针对上述问题，目前常用的做法是在扶梯口处安排工作人员进行看护，根据现场的情况进行相应的处理措施，包括语音喊话提醒、紧急按钮制动等。这种做法有一定的弊端：1)地铁站、机场、火车站等公共场合使用扶梯的数量很多，若每个扶梯安排一个工作人员进行看护，人工成本很大；2)人工看护，很难做到对扶梯使用过程中客流情况及其行为的实时监测，也就很难在第一时间采取应对措施。因而，急需研发一种更智能化的看护扶梯运行的技术方案。随着计算机视觉技术、图形处理技术以及嵌入式技术等相关技术的快速发展，为计算机视觉技术应用于解决扶梯上的安全、顺畅运行监控问题提供了基础，但目前尚缺乏将计算机视觉技术用于扶梯流量监测的技术方案。

如中国专利CN103318739B，公开日2014年11月19日，自动扶梯和自动人行道人流量统计分析预警监测管理系统，包括安装在自动扶梯或自动人行道上两个人体接近传感器，与人体接近传感器连接的下位机信号采集装置以及下位机信号采集装置通讯连接的远端监控中心上位机；远端监控中心上位机内置有被监测自动扶梯或自动人行道档案数据库以及统计分析数据库，根据下位机信号采集装置采集的人体接近传感器传来的信号进行统计分析，在显示界面上输出与被监测自动扶梯或自动人行道相关内容，同时进行自动扶梯或自动人行道维护保养提示或报警。其虽然能为公共建筑内整体人流量统计和不确定性人流量突增提供数据分析依据。但其采用的人体接近传感器容易被遮挡，在人群密集时，其准确性较差。

发明内容

本发明要解决的技术问题是：目前缺乏高效稳定的扶梯流量监测技术的问题。提出了一种工作稳定高效的基于人体骨架信息及多目标跟踪的扶梯流量监测方法及系统。

为解决上述技术问题，本发明所采取的技术方案为：基于人体骨架信息及多目标跟踪的扶梯流量监测方法，包括以下步骤：获取扶梯区域监控图像；利用OpenPose深度学习网络模型从当前帧图像中提取人体骨架信息；建立骨架信息的分类模型；使用分类模型对实时骨架信息进行分类，识别出正确的骨架信息，并去除误检骨架信息；分别选取在扶梯出口以及入口区域范围内的人体骨架关键点；选定若干人体骨架关键点，获得选定人体骨架关键点的外接矩形；截取外接矩形对应的像素区域，使用像素区域初始化跟踪器，新增跟踪对象，对新增跟踪对象进行跟踪，得到跟踪对象运动轨迹；跟踪对象运动轨迹，若跟踪对象进入扶梯入口，则扶梯监测人数加1，若跟踪对象进入扶梯出口，则扶梯监测人数减1；当扶梯监测人数超标时，现场声音报警。通过扶梯区域监控视频图像，利用OpenPose深度学习网络模型从当前帧图像中提取人体骨架，进行分类去除误检骨架信息后，进行对象运动轨迹的跟踪，即可实现乘客行为的跟踪以及扶梯流量的监控，实现通过计算机视觉进行高效准确的扶梯流量监控，提高乘客乘坐扶梯的安全性。

作为优选，建立骨架信息的分类模型的方法包括：人工收集误检及真实乘客骨架信息，并打上相应标签，构建正常行人骨架及误检骨架数据的正负样本；训练SVM分类器，作为分类模型。通过SVM分类器能够较为准确的对人体骨架信息进行分类。

作为优选，所述OpenPose深度学习网络模型为：BODY_25、COCO或MPI。

作为优选，所述选定的若干人体骨架关键点具体为：在扶梯入口区域为肩部、颈部、髋部以及耳朵中一个或多个，在扶梯出口区域为肩部、颈部、髋部以及鼻中一个或多个。扶梯入口较扶梯出口位置更低，监控图像的视角存在差异，在入口区域、出口区域分别选择不同的关键点，能够适应入口区域、出口区域的图像的差别，提高人体骨架识别的准确度。

作为优选，对新增跟踪对象进行跟踪，得到跟踪对象运动轨迹时，采用KCF、CSRT、Boosting、MIL、TLD、MedianFlow或Mosse中的一种跟踪器。

作为优选，获得选定人体骨架关键点的外接矩形时，同时执行以下方法：若外接矩形与已有跟踪对象的跟踪外接矩形重叠面积与二者的并集面积的比值小于阈值，则新增外接矩形。乘客乘坐扶梯时，可能会进行活动，在单个乘客活动时，外接矩形与已有跟踪对象的跟踪外接矩形重叠面积与二者的并集面积的比值接近1，存在靠近的两个乘客时，乘客越靠近则该比值越接近1，但与单个乘客情况下的比值相比有明显的差别，适当设置阈值，能够区分单个乘客的活动与两个靠近的乘客，提高扶梯流量监控的准确性。

作为优选，所述跟踪对象运动轨迹为外接矩形的中心点在连续帧中的坐标信息。

作为优选，还包括步骤：根据跟踪对象的运动轨迹，获得跟踪对象从扶梯入口至扶梯出口所需时间并记录；当跟踪对象在扶梯上的时间高于设定阈值或不同跟踪对象所需时间的差别超过设定阈值时发出报警。扶梯以及扶梯驱动电机老化或出现故障后，会导致运行速度波动，进而导致运动对象从扶梯入口至扶梯出口所需时间的变化，从时间的变化上可以判断扶梯是否出现故障及过度老化，发出报警可提醒维保人员现场检修。

作为优选，还包括步骤：在无人乘坐扶梯情况下，选定扶梯的一个参照点，记录该参照点从扶梯入口开始至扶梯出口为止在每一帧图像中的位置，多次执行该方法获得扶梯的运行轨迹；选定跟踪对象的一个关键点，跟踪该关键点在每一帧中出现的位置；计算该关键点在每一帧中相对前一帧的相对位移，将该相对位移减去扶梯的运行轨迹，即获得关键点在每一帧相对扶梯的偏移量，当偏移量大于第一阈值时忽略该偏移量，当该偏移量小于第一阈值但大于第二阈值时发出报警。通过跟踪对象的关键点减去事先采集的扶梯的运行轨迹，并剔除跟踪对象本身的活动带来的偏移，既可以获得扶梯的晃动情况，若扶梯在运行中的晃动超过阈值，则需要检修，提高扶梯的安全性。

基于人体骨架信息及多目标跟踪的扶梯流量监测系统，用于执行如前述的基于人体骨架信息及多目标跟踪的扶梯流量监测方法，包括图像获取模块、骨架提取模块、骨架分析模块、目标跟踪模块、跟踪分析模块和判断报警模块，所述图像获取模块安装在扶梯出口以及入口处，获取扶梯出口以及入口区域的监控视频图像，所述骨架提取模块与图像获取模块连接，骨架提取模块使用OpenPose深度学习网络模型从当前帧图像中提取人体骨架，所述骨架分析模块与骨架提取模块连接，骨架分析模块对人体骨架进行分类，识别出正确的骨架信息，并去除误检骨架信息，所述目标跟踪模块与骨架分析模块连接，目标跟踪模块得到跟踪对象及其运动轨迹，所述跟踪分析模块与目标跟踪模块连接，跟踪分析模块判断跟踪对象是否进入扶梯入口区域以及扶梯出口区域，并实时更新扶梯监测人数，判断报警模块与跟踪分析模块连接，判断报警模块实时获取跟踪分析模块维护的扶梯监测人数，若扶梯监测人数超标，则发出报警。

本发明的实质性效果是：通过图像识别技术，避免了在扶梯上安装传感器，降低了部署成本并提高了扶梯流量监测的效率；监控视频设备安装在高处，不容易被遮挡，人群密集时能够保持准确性；提取人体骨架，提高乘客识别的准确性；通过对象运动轨迹的跟踪，实时监测扶梯乘客行为的目的，起到辅助扶梯现场管理的目的，提高乘客乘坐自动扶梯的安全性。

附图说明

图1为实施例一扶梯流量监测方法流程框图。

图2为实施例一扶梯流量监测结构示意图。

图3为实施例一扶梯入口区域监控图像。

图4为实施例一扶梯出口区域监控图像。

图5为实施例一人体骨架信息提取以及对象跟踪结果示意图。

其中：100、图像获取模块，200、骨架提取模块,300、骨架分析模块，400、目标跟踪模块，500、跟踪分析模块，600、判断报警模块。

具体实施方式

下面通过具体实施例，并结合附图，对本发明的具体实施方式作进一步具体说明。

实施例一：

基于人体骨架信息及多目标跟踪的扶梯流量监测方法，如图1所示，本实施例包括以下步骤：S100、通过摄像头获取扶梯区域监控视频图像；所述扶梯区域监控视频图像包括扶梯入口图像、扶梯出口图像，分别如图3、图4所示。

S200、利用OpenPose深度学习网络模型从当前帧图像中提取人体骨架；OpenPose深度学习网络模型具体为：BODY_25、COCO或MPI。

S300、收集误检及真实乘客骨架信息，并打上相应标签，构建正常行人骨架及误检骨架数据正负样本。

S400、采用SVM分类器构建分类模型。

S500、对实时骨架信息进行分类，保留正确的骨架信息，去除误检骨架信息。

S600、选取在扶梯出入口区域范围内的人体骨架关键点。

S700、选定部分稳定的人体骨架关键点，计算选定人体骨架关键点的外接矩形。选定的若干人体骨架关键点具体为：在扶梯入口区域为肩部、颈部、髋部以及耳朵中一个或多个，在扶梯出口区域为肩部、颈部、髋部以及鼻中一个或多个。扶梯入口较扶梯出口位置更低，监控图像的视角存在差异，在入口区域、出口区域分别选择不同的关键点，能够适应入口区域、出口区域的图像的差别，提高人体骨架识别的准确度。

S800、若外接矩形与已有跟踪对象的跟踪外接矩形重叠面积与二者的并集面积的比值小于阈值，则新增外接矩形。乘客乘坐扶梯时，可能会进行活动，在单个乘客活动时，外接矩形与已有跟踪对象的跟踪外接矩形重叠面积与二者的并集面积的比值接近1，存在靠近的两个乘客时，乘客越靠近则该比值越接近1，但与单个乘客情况下的比值相比有明显的差别，适当设置阈值，能够区分单个乘客的活动与两个靠近的乘客，提高扶梯流量监控的准确性。

S900、截取新增跟踪框对应像素区域，使用像素区域初始化跟踪器，新增跟踪对象，采用KCF、CSRT、Boosting、MIL、TLD、MedianFlow或Mosse中的一种跟踪器，对新增跟踪对象进行跟踪，。

S110、跟踪对象运动轨迹，跟踪对象运动轨迹为外接矩形的中心点在连续帧中的坐标信息，跟踪对象进入扶梯入口，则扶梯监测人数加1，若跟踪对象进入扶梯出口，则扶梯监测人数减1，如图5所示。

S120、当扶梯监测人数超标时，现场声音报警。

基于人体骨架信息及多目标跟踪的扶梯流量监测系统，用于执行如前述的基于人体骨架信息及多目标跟踪的扶梯流量监测方法，如图2所示，包括图像获取模块100、骨架提取模块200、骨架分析模块300、目标跟踪模块400、跟踪分析模块500和判断报警模块600，图像获取模块100安装在扶梯出口以及入口处，获取扶梯出口以及入口区域的监控视频图像，骨架提取模块200与图像获取模块100连接，骨架提取模块200使用OpenPose深度学习网络模型从当前帧图像中提取人体骨架，骨架分析模块300与骨架提取模块200连接，骨架分析模块300对人体骨架进行分类，识别出正确的骨架信息，并去除误检骨架信息，目标跟踪模块400与骨架分析模块300连接，目标跟踪模块400得到跟踪对象及其运动轨迹，跟踪分析模块500与目标跟踪模块400连接，跟踪分析模块500判断跟踪对象是否进入扶梯入口区域以及扶梯出口区域，并实时更新扶梯监测人数，判断报警模块600与跟踪分析模块500连接，判断报警模块600实时获取跟踪分析模块500维护的扶梯监测人数，若扶梯监测人数超标，则现场声音报警。

通过扶梯区域监控视频图像，利用OpenPose深度学习网络模型从当前帧图像中提取人体骨架，进行分类去除误检骨架信息后，进行对象运动轨迹的跟踪，即可实现乘客行为的跟踪以及扶梯流量的监控，实现通过计算机视觉进行高效准确的扶梯流量监控，提高乘客乘坐扶梯的安全性。

本领域内的技术人员应明白，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质( 包括但不限于磁盘存储器、CD-ROM、光学存储器等) 上实施的计算机程序产品的形式。

本发明是参照根据本发明的方法、终端设备( 系统)、和计算机程序产品的流程图和/ 或方框图来描述的。应理解可由计算机程序指令实现流程图和/ 或方框图中的每一流程和/ 或方框、以及流程图和/ 或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/ 或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/ 或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/ 或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

以上所述的实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。

Claims (8)

1.基于人体骨架信息及多目标跟踪的扶梯流量监测方法，其特征在于，

包括以下步骤：

获取扶梯区域监控图像；

利用OpenPose深度学习网络模型从当前帧图像中提取人体骨架信息；

建立骨架信息的分类模型；

使用分类模型对实时骨架信息进行分类，识别出正确的骨架信息，并去除误检骨架信息；

分别选取在扶梯出口以及入口区域范围内的人体骨架关键点；

选定若干人体骨架关键点，获得选定人体骨架关键点的外接矩形；

截取外接矩形对应的像素区域，使用像素区域初始化跟踪器，新增跟踪对象，对新增跟踪对象进行跟踪，得到跟踪对象运动轨迹；

跟踪对象运动轨迹，若跟踪对象进入扶梯入口，则扶梯监测人数加1，若跟踪对象进入扶梯出口，则扶梯监测人数减1；

当扶梯监测人数超标时，现场声音报警。

2.根据权利要求1所述的基于人体骨架信息及多目标跟踪的扶梯流量监测方法，其特征在于，

建立骨架信息的分类模型的方法包括：

人工收集误检及真实乘客骨架信息，并打上相应标签，构建正常行人骨架及误检骨架数据的正负样本；

训练SVM分类器，作为分类模型。

3.根据权利要求2所述的基于人体骨架信息及多目标跟踪的扶梯流量监测方法，其特征在于，

所述OpenPose深度学习网络模型为：BODY_25、COCO或MPI。

4.根据权利要求1或2或3所述的基于人体骨架信息及多目标跟踪的扶梯流量监测方法，其特征在于，

所述选定的若干人体骨架关键点具体为：在扶梯入口区域为肩部、颈部、髋部以及耳朵中一个或多个，在扶梯出口区域为肩部、颈部、髋部以及鼻中一个或多个。

5.根据权利要求1或2或3所述的基于人体骨架信息及多目标跟踪的扶梯流量监测方法，其特征在于，

对新增跟踪对象进行跟踪，得到跟踪对象运动轨迹时，采用KCF、CSRT、Boosting、MIL、TLD、MedianFlow或Mosse中的一种跟踪器。

6.根据权利要求1或2或3所述的基于人体骨架信息及多目标跟踪的扶梯流量监测方法，其特征在于，

获得选定人体骨架关键点的外接矩形时，同时执行以下方法：

若外接矩形与已有跟踪对象的跟踪外接矩形重叠面积与二者的并集面积的比值小于阈值，则新增外接矩形。

7.根据权利要求1或2或3所述的基于人体骨架信息及多目标跟踪的扶梯流量监测方法，其特征在于，

所述跟踪对象运动轨迹为外接矩形的中心点在连续帧中的坐标信息。

8.基于人体骨架信息及多目标跟踪的扶梯流量监测系统，用于执行如权利要求1至7任一项所述的基于人体骨架信息及多目标跟踪的扶梯流量监测方法，其特征在于，

包括图像获取模块、骨架提取模块、骨架分析模块、目标跟踪模块、跟踪分析模块和判断报警模块，所述图像获取模块安装在扶梯出口以及入口处，获取扶梯出口以及入口区域的监控视频图像，所述骨架提取模块与图像获取模块连接，骨架提取模块使用OpenPose深度学习网络模型从当前帧图像中提取人体骨架，所述骨架分析模块与骨架提取模块连接，骨架分析模块对人体骨架进行分类，识别出正确的骨架信息，并去除误检骨架信息，所述目标跟踪模块与骨架分析模块连接，目标跟踪模块得到跟踪对象及其运动轨迹，所述跟踪分析模块与目标跟踪模块连接，跟踪分析模块判断跟踪对象是否进入扶梯入口区域以及扶梯出口区域，并实时更新扶梯监测人数，判断报警模块与跟踪分析模块连接，判断报警模块实时获取跟踪分析模块维护的扶梯监测人数，若扶梯监测人数超标，则发出报警。

Images