CN107742097A - 一种基于深度相机的人体行为识别方法 - Google Patents
一种基于深度相机的人体行为识别方法 Download PDFInfo
- Publication number
- CN107742097A CN107742097A CN201710916303.1A CN201710916303A CN107742097A CN 107742097 A CN107742097 A CN 107742097A CN 201710916303 A CN201710916303 A CN 201710916303A CN 107742097 A CN107742097 A CN 107742097A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msup
- msub
- plane
- contour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 210000003141 lower extremity Anatomy 0.000 claims abstract description 21
- 210000001364 upper extremity Anatomy 0.000 claims abstract description 20
- 230000001133 acceleration Effects 0.000 claims abstract description 15
- 238000012544 monitoring process Methods 0.000 claims abstract description 15
- 230000001815 facial effect Effects 0.000 claims abstract description 6
- 210000003127 knee Anatomy 0.000 claims description 53
- 230000006399 behavior Effects 0.000 claims description 51
- 210000000544 articulatio talocruralis Anatomy 0.000 claims description 34
- 210000003423 ankle Anatomy 0.000 claims description 25
- 230000009191 jumping Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 210000004394 hip joint Anatomy 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 5
- 238000003384 imaging method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度相机的人体行为识别方法，包括以下步骤：通过安装在公共区域不同位置的多个深度相机获取监控图像序列；提取监控图像序列中的人体图像，得到人体图像序列，进一步提取每一帧人体图像中的人体面部轮廓、上肢轮廓和下肢轮廓；计算每个时间窗口中人体面部轮廓、上肢轮廓和下肢轮廓在各平面的投影面积；根据前后时间窗口内投影面积的变化情况粗略判定人体行为类别，并在人体图像序列中将投影面积发生变化的时间窗口内的图像帧提取出来；通过分析提取出的图像帧中相关关节点之间的相对速度和相对加速度是否符合步骤4中粗略判定的行为类别的特征，精准判定是否为此类行为。本发明成本低，精确度高，实时性强。
Description
技术领域
本发明涉及一种基于深度相机的人体行为识别方法。
背景技术
目前的安保监控系统，多采用二维成像相机对公共区域进行视频监控，二维成像相机只能成平面图像，不能得到深度信息；因此，监控到的图像中只存在人体行为的投影，无法通过其精确辨识人体行为。而通过多个二维成像相机获取的二维图像，重建成立体视觉进行视频监控，则增加了硬件成本和软件开发的工作量。
因此，有必要提供一种基于深度相机的人体行为识别方法。
发明内容
本发明所解决的技术问题是，针对现有技术的不足，提供一种基于深度相机的人体行为识别方法，利用安装在不同方位的深度相机对公共区域进行多视角视频监控，提取出各个人体图像，然后利用识别算法辨识人体行为，成本低，精确度高，实时性强。
本发明所提供的技术方案为：
一种基于深度相机的人体行为识别方法，包括以下步骤：
步骤1、通过安装在公共区域不同位置的多个深度相机采集公共区域内的点云数据；
步骤2、对多个深度相机采集的点云数据进行三维重建，获得重建后的监控图像序列；此处为成熟的现有技术，参见参考文献[1]、[2]、[3]。
步骤3、首先提取监控图像序列中的人体图像，得到人体图像序列；然后提取每一帧人体图像中的人体面部轮廓、上肢轮廓和下肢轮廓；最后划分时间窗口，并计算每个时间窗口中人体面部轮廓、上肢轮廓和下肢轮廓在y-z平面、x-z平面和x-y平面的投影面积；
步骤4、根据前后时间窗口内人体面部轮廓、上肢轮廓和下肢轮廓在各平面的投影面积的变化情况，粗略判定人体行为类别，并在人体图像序列中将投影面积发生变化的时间窗口内的图像帧提取出来；如果身体部位向前运动，则面部轮廓在该面的投影面积最大；如果人体向一边转身，则面部轮廓在该边的投影面积会变大，因此，通过上面得到的人体面部轮廓、上肢轮廓和下肢轮廓在各平面的投影面积的变化情况，可以粗略判断行为类别；在连续时间窗口中，若前后时间窗口内人体面部轮廓、上肢轮廓和下肢轮廓在各平面的投影面积发生变化，则将这些时间窗口内的图像帧提取出来；
步骤5、通过分析提取出的图像帧中相关关节点之间的相对速度和相对加速度是否符合步骤4中粗略判定的行为类别的特征，精准判定是否为此类行为。
进一步地，所述步骤3中，每个时间窗口中人体面部轮廓、上肢轮廓和下肢轮廓在y-z平面、x-z平面和x-y平面的投影面积包括以下步骤：
3.1)根据Canny算法，提取出每一帧人体图像中的轮廓H，H＝1,2,3分别表示面部轮廓、上肢轮廓、下肢轮廓；
3.2)根据以下公式计算任一帧人体图像中的轮廓H在y-z平面、x-z平面和x-y平面的投影面积：
其中，x,y,z为深度相机得到图像具有三个维度；为该时间窗口中轮廓H在y-z平面的投影面积；为该时间窗口中轮廓H在x-z平面的投影面积；为该时间窗口中轮廓H在x-y平面的投影面积；i为帧序号，n为一个时间窗口采集的图像总帧数；SH(xi,y,z)为该时间窗口采集的第i帧图像中的轮廓H在y-z平面的投影面积；SH(x,yi,z)为该时间窗口采集的第i帧图像中的轮廓H在x-z平面的投影面积；SH(x,y,zi)为该时间窗口采集的第i帧图像中的轮廓H在x-y平面的投影面积；为所有时间窗口采集的图像中的轮廓H在y-z平面的投影面积之和；为所有时间窗口采集的图像中的轮廓H在x-z平面的投影面积之和，为所有时间窗口采集的图像中的轮廓H在x-y平面的投影面积之和；
本发明先将每个时间窗口采集的所有图像中的轮廓H的投影面积求和，再除以所有时间窗口采集的图像中的轮廓H的投影面积之和，得到每个时间窗口中轮廓H在y-z平面、x-z平面和x-y平面的投影面积，这样计算可以适当提高精度。
进一步地，所述步骤5包括以下步骤：
5.1)由深度相机采集的深度图像序列获取人体关节点的运动轨迹；
深度相机例如kinect采集的深度图像自动会给标注出人体15个关节点，这些关节点为头部，颈部，左右肩膀，左右肘部，左右手，躯干中心点、左右踝关节，左右膝，左右髋关节，人体的各个部位通过关节点相互连接形成一种树形结构。
5.2)分析提取出的图像帧中相关关节点之间的相对速度和相对加速度是否符合步骤4中粗略判定的行为类别的特征，精准判定是否为此类行为；例如：通过前后时间窗口内人体面部轮廓、上肢轮廓和下肢轮廓在各平面的投影面积的变化，发现下肢面积变小，则粗略判断行为类别为跳跃行为，再根据脚踝、膝盖之间的相对速度和相对加速度是否符合跳跃行为的特征，判定是否为跳跃行为。每一类行为具有其独特的特征，例如：奔跑行为，左膝和右膝的相对速度、左踝关节和右踝关节的相对速度明显大于其他动作，因此可以根据是否符合行为的特征，精准判定是否为此类行为。如果直接对每个时间窗口中的每一帧图像都计算关节点之间的相对速度和相对加速度判别，则运算量很大，系统实时性受到影响；本发明仅对提取出的投影面积发生变化的时间窗口内的图像帧进行计算，能有效减少计算量，提高系统的实时性。
图像帧中关节点之间的相对速度和相对加速度计算公式如下：
其中，ti为该图像帧采集的时刻，n为该图像帧采集的时刻所在的时间窗口采集的图像总帧数fp′(ti)和fq′(ti)分别表示关节点p和q的运动轨迹fp(t)和fq(t)在ti时刻的一阶导数，即关节点p和q在ti时刻的速度；fp″(ti)和fq″(ti)分别表示关节点p和q的运动轨迹fp(t)和fq(t)在ti时刻的二阶导数，即关节点p和q在ti时刻的加速度；Δvp,q和Δap,q表示通过加权处理后的关节点p和q的相对速度，每一帧的权重可以认为是相同的，加权处理的作用是使每两个节点间计算得到的相对速度和加速度有统一的量纲，类似于正则化处理。
进一步地，所述步骤4中，5种典型人体行为及其相应的特征为：
跳跃：Δv左膝，右膝和Δv左踝关节，右踝关节均大于阈值t1，Δa左膝，右膝大于阈值t2；
奔跑：Δv左踝关节，右踝关节、Δv左膝，右髋部和Δv左膝，右膝均大于阈值t3，Δa左膝，右膝大于阈值t4；
步行：Δv左膝，左踝关节、Δv右髋关节，左踝关节和Δv右膝，右踝关节大于阈值t5；
跳跃：Δv左踝关节，左髋关节、Δv右踝关节，左膝、Δv右膝，左踝关节、Δv左膝，左踝关节和Δv右膝，右踝关节均大于阈值t6，Δa左膝，右膝大于阈值t7；
拳击：Δv左踝关节，右踝关节、Δv右踝关节，右膝、Δv左膝，左踝关节和Δv左膝，右踝关节均大于阈值t8，Δa左手，左肘、Δa右手，右肘和Δa左膝，左踝关节均大于阈值t9；
所述阈值t1～t9根据经验确定。
进一步地，所述步骤4中，根据试验确定阈值为t1～t9分别为：1.5、40、5.5、60、3.5，5.0、40、7.0和30。
进一步地，所述基于深度相机的人体行为识别方法，还包括步骤6，通过安装在深度相机上的无线通信模块将人体行为识别结果发送给安保控制中心，如果有危险行为则出发报警。
有益效果：
本发明利用安装在不同方位的深度相机对公共区域进行多视角视频监控，提取出各个人人体图像，然后利用识别算法辨识人体行为，成本低，精确度高，实时性强。
附图说明
图1为系统示意图。
具体实施方式
本发明公开了一种基于深度相机的人体行为识别方法，包括以下步骤：
步骤1、通过安装在公共区域不同位置的多个深度相机采集公共区域内的点云数据；
步骤2、对多个深度相机采集的点云数据进行三维重建，获得重建后的监控图像序列；此处为成熟的现有技术，参见参考文献[1]、[2]、[3]。
步骤3、首先提取监控图像序列中的人体图像，得到人体图像序列；然后提取每一帧人体图像中的人体面部轮廓、上肢轮廓和下肢轮廓；最后划分时间窗口，并计算每个时间窗口中人体面部轮廓、上肢轮廓和下肢轮廓在y-z平面、x-z平面和x-y平面的投影面积；
计算每个时间窗口中人体面部轮廓、上肢轮廓和下肢轮廓在y-z平面、x-z平面和x-y平面的投影面积包括以下步骤：
3.1)根据Canny算法，提取出每一帧人体图像中的轮廓H，H＝1,2,3分别表示面部轮廓、上肢轮廓、下肢轮廓；
3.2)根据以下公式计算任一帧人体图像中的轮廓H在y-z平面、x-z平面和x-y平面的投影面积：
其中，x,y,z为深度相机得到图像具有三个维度；为当前时间窗口中轮廓H在y-z平面的投影面积；为该时间窗口中轮廓H在x-z平面的投影面积；为该时间窗口中轮廓H在x-y平面的投影面积；i为帧序号，n为一个时间窗口采集的图像总帧数；SH(xi,y,z)为该时间窗口采集的第i帧图像中的轮廓H在y-z平面的投影面积；SH(x,yi,z)为该时间窗口采集的第i帧图像中的轮廓H在x-z平面的投影面积；SH(x,y,zi)为该时间窗口采集的第i帧图像中的轮廓H在x-y平面的投影面积；为所有时间窗口采集的图像中的轮廓H在y-z平面的投影面积之和；为所有时间窗口采集的图像中的轮廓H在x-z平面的投影面积之和，为所有时间窗口采集的图像中的轮廓H在x-y平面的投影面积之和；
本发明先将每个时间窗口采集的所有图像中的轮廓H的投影面积求和，再除以所有时间窗口采集的图像中的轮廓H的投影面积之和，得到每个时间窗口中轮廓H在y-z平面、x-z平面和x-y平面的投影面积，这样计算可以适当提高精度。
步骤4、根据前后时间窗口内人体面部轮廓、上肢轮廓和下肢轮廓在各平面的投影面积的变化情况，粗略判定人体行为类别，并在人体图像序列中将投影面积发生变化的时间窗口内的图像帧提取出来；
步骤5、通过分析提取出的图像帧中相关关节点之间的相对速度和相对加速度是否符合步骤4中粗略判定的行为类别的特征，精准判定是否为此类行为。
5.1)由深度相机采集的深度图像序列获取人体关节点的运动轨迹；
深度相机例如kinect采集的深度图像自动会给标注出人体15个关节点，这些关节点为头部，颈部，左右肩膀，左右肘部，左右手，躯干中心点、左右踝关节，左右膝，左右髋关节，人体的各个部位通过关节点相互连接形成一种树形结构；
5.2)分析提取出的图像帧中相关关节点之间的相对速度和相对加速度是否符合步骤4中粗略判定的行为类别的特征，精准判定是否为此类行为；如果直接对每个时间窗口中的每一帧图像都计算关节点之间的相对速度和相对加速度判别，则运算量很大，系统实时性受到影响；本发明仅对提取出的投影面积发生变化的时间窗口内的图像帧进行计算，能有效减少计算量，提高系统的实时性。
图像帧中关节点之间的相对速度和相对加速度计算公式如下：
其中，ti为该图像帧采集的时刻，n为该图像帧采集的时刻所在的时间窗口采集的图像总帧数fp′(ti)和fq′(ti)分别表示关节点p和q的运动轨迹fp(t)和fq(t)在ti时刻的一阶导数，即关节点p和q在ti时刻的速度；fp″(ti)和fq″(ti)分别表示关节点p和q的运动轨迹fp(t)和fq(t)在ti时刻的二阶导数，即关节点p和q在ti时刻的加速度；Δvp,q和Δap,q表示通过加权处理后的关节点p和q的相对速度，每一帧的权重可以认为是相同的，加权处理的作用是使每两个节点间计算得到的相对速度和加速度有统一的量纲，类似于正则化处理。
5种典型人体行为及其相应的特征为：
跳跃：Δv左膝，右膝和Δv左踝关节，右踝关节均大于阈值t1，Δa左膝，右膝大于阈值t2；
奔跑：Δv左踝关节，右踝关节、Δv左膝，右髋部和Δv左膝，右膝均大于阈值t3，Δa左膝，右膝大于阈值t4；
步行：Δv左膝，左踝关节、Δv右髋关节，左踝关节和Δv右膝，右踝关节大于阈值t5；
跳跃：Δv左踝关节，左髋关节、Δv右踝关节，左膝、Δv右膝，左踝关节、Δv左膝，左踝关节和Δv右膝，右踝关节均大于阈值t6，Δa左膝，右膝大于阈值t7；
拳击：Δv左踝关节，右踝关节、Δv右踝关节，右膝、Δv左膝，左踝关节和Δv左膝，右踝关节均大于阈值t8，Δa左手，左肘、Δa右手，右肘和Δa左膝，左踝关节均大于阈值t9；
根据试验确定阈值为t1～t9分别为：1.5、40、5.5、60、3.5，5.0、40、7.0和30。
本发明利用安装在不同方位的深度相机对公共区域进行多视角视频监控，提取出各个人人体图像，然后利用识别算法辨识人体行为，成本低，精确度高，实时性强。
参考文献：
[1]赵中溥.基于深度相机的三维人体快速重建系统[D].青岛大学.2015.
[2]周瑾.基于Kinect深度相机的三维人体重建技术研究.杭州电子科技大学.2012
[3]华东交通大学.申请号：2016108195882.名称：一种公共区域人体行为监控方法。
Claims (6)
1.一种基于深度相机的人体行为识别方法，其特征在于，包括以下步骤：
步骤1、通过安装在公共区域不同位置的多个深度相机采集公共区域内的点云数据；
步骤2、对多个深度相机采集的点云数据进行三维重建，获得重建后的监控图像序列；
步骤3、首先提取监控图像序列中的人体图像，得到人体图像序列；然后提取每一帧人体图像中的人体面部轮廓、上肢轮廓和下肢轮廓；最后根据划分的时间窗口，并计算每个时间窗口中人体面部轮廓、上肢轮廓和下肢轮廓在y-z平面、x-z平面和x-y平面的投影面积；
步骤4、根据前后时间窗口内人体面部轮廓、上肢轮廓和下肢轮廓在各平面的投影面积的变化情况，粗略判定人体行为类别，并在人体图像序列中将投影面积发生变化的时间窗口内的图像帧提取出来；
步骤5、通过分析提取出的图像帧中相关关节点之间的相对速度和相对加速度是否符合步骤4中粗略判定的行为类别的特征，精准判定是否为此类行为。
2.根据权利要求1所述的基于深度相机的人体行为识别方法，其特征在于，所述步骤3中，每个时间窗口中人体面部轮廓、上肢轮廓和下肢轮廓在y-z平面、x-z平面和x-y平面的投影面积包括以下步骤：
3.1)根据Canny算法，提取出每一帧人体图像中的轮廓H，H＝1,2,3分别表示面部轮廓、上肢轮廓、下肢轮廓；
3.2)根据以下公式计算任一帧人体图像中的轮廓H在y-z平面、x-z平面和x-y平面的投影面积：
<mrow>
<msubsup>
<mi>S</mi>
<mi>x</mi>
<mi>H</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>,</mo>
<mi>z</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<msup>
<mi>S</mi>
<mi>H</mi>
</msup>
<mrow>
<mo>(</mo>
<msup>
<mi>x</mi>
<mi>i</mi>
</msup>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>z</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>&delta;</mi>
<mo>&lsqb;</mo>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<msup>
<mi>S</mi>
<mi>H</mi>
</msup>
<mrow>
<mo>(</mo>
<msup>
<mi>x</mi>
<mi>i</mi>
</msup>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>z</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
</mfrac>
</mrow>
<mrow>
<msubsup>
<mi>S</mi>
<mi>y</mi>
<mi>H</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>z</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<msup>
<mi>S</mi>
<mi>H</mi>
</msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<msup>
<mi>y</mi>
<mi>i</mi>
</msup>
<mo>,</mo>
<mi>z</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>&delta;</mi>
<mo>&lsqb;</mo>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<msup>
<mi>S</mi>
<mi>H</mi>
</msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<msup>
<mi>y</mi>
<mi>i</mi>
</msup>
<mo>,</mo>
<mi>z</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
</mfrac>
</mrow>
<mrow>
<msubsup>
<mi>S</mi>
<mi>z</mi>
<mi>H</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<msup>
<mi>S</mi>
<mi>H</mi>
</msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<msup>
<mi>z</mi>
<mi>i</mi>
</msup>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>&delta;</mi>
<mo>&lsqb;</mo>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<msup>
<mi>S</mi>
<mi>H</mi>
</msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<msup>
<mi>z</mi>
<mi>i</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
</mfrac>
</mrow>
其中，x,y,z为深度相机得到图像具有三个维度；为当前时间窗口中轮廓H在y-z平面的投影面积；为该时间窗口中轮廓H在x-z平面的投影面积；为该时间窗口中轮廓H在x-y平面的投影面积；i为帧序号，n为一个时间窗口采集的图像总帧数；SH(xi,y,z)为该时间窗口采集的第i帧图像中的轮廓H在y-z平面的投影面积；SH(x,yi,z)为该时间窗口采集的第i帧图像中的轮廓H在x-z平面的投影面积；SH(x,y,zi)为该时间窗口采集的第i帧图像中的轮廓H在x-y平面的投影面积；为所有时间窗口采集的图像中的轮廓H在y-z平面的投影面积之和；为所有时间窗口采集的图像中的轮廓H在x-z平面的投影面积之和；为所有时间窗口采集的图像中的轮廓H在x-y平面的投影面积之和；
由此得到每个时间窗口中轮廓H在y-z平面、x-z平面和x-y平面的投影面积，这样计算可以适当提高精度。
3.根据权利要求2所述的基于深度相机的人体行为识别方法，其特征在于，所述步骤5包括以下步骤：
5.1)由深度相机采集的深度图像序列获取人体关节点的运动轨迹；
5.2)分析提取出的图像帧中相关关节点之间的相对速度和相对加速度是否符合步骤4中粗略判定的行为类别的特征，精准判定是否为此类行为；
图像帧中关节点之间的相对速度和相对加速度计算公式如下：
<mrow>
<msub>
<mi>&Delta;v</mi>
<mrow>
<mi>p</mi>
<mo>,</mo>
<mi>q</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mo>|</mo>
<msup>
<msub>
<mi>f</mi>
<mi>p</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msup>
<msub>
<mi>f</mi>
<mi>q</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>|</mo>
</mrow>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<mo>|</mo>
<msup>
<msub>
<mi>f</mi>
<mi>p</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msup>
<msub>
<mi>f</mi>
<mi>q</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>|</mo>
</mrow>
</mfrac>
</mrow>
<mrow>
<msub>
<mi>&Delta;a</mi>
<mrow>
<mi>p</mi>
<mo>,</mo>
<mi>q</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mo>|</mo>
<msup>
<msub>
<mi>f</mi>
<mi>p</mi>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msup>
<msub>
<mi>f</mi>
<mi>q</mi>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>|</mo>
</mrow>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<mo>|</mo>
<msup>
<msub>
<mi>f</mi>
<mi>p</mi>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msup>
<msub>
<mi>f</mi>
<mi>q</mi>
</msub>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>|</mo>
</mrow>
</mfrac>
</mrow>
其中，ti为该图像帧采集的时刻，n为该图像帧采集的时刻所在的时间窗口采集的图像总帧数fp′(ti)和fq′(ti)分别表示关节点p和q的运动轨迹fp(t)和fq(t)在ti时刻的一阶导数，即关节点p和q在ti时刻的速度；fp″(ti)和fq″(ti)分别表示关节点p和q的运动轨迹fp(t)和fq(t)在ti时刻的二阶导数，即关节点p和q在ti时刻的加速度；Δvp,q和Δap,q表示通过加权处理后的关节点p和q的相对速度。
4.根据权利要求3所述的基于深度相机的人体行为识别方法，其特征在于，所述步骤4中，5种典型人体行为及其相应的特征为：
跳跃：Δv左膝，右膝和Δv左踝关节，右踝关节均大于阈值t1，Δa左膝，右膝大于阈值t2；
奔跑：Δv左踝关节，右踝关节、Δv左膝，右髋部和Δv左膝，右膝均大于阈值t3，Δa左膝，右膝大于阈值t4；
步行：Δv左膝，左踝关节、Δv右髋关节，左踝关节和Δv右膝，右踝关节大于阈值t5；
跳跃：Δv左踝关节，左髋关节、Δv右踝关节，左膝、Δv右膝，左踝关节、Δv左膝，左踝关节和Δv右膝，右踝关节均大于阈值t6，Δa左膝，右膝大于阈值t7；
拳击：Δv左踝关节，右踝关节、Δv右踝关节，右膝、Δv左膝，左踝关节和Δv左膝，右踝关节均大于阈值t8，Δa左手，左肘、Δa右手，右肘和Δa左膝，左踝关节均大于阈值t9；
所述阈值t1～t9根据经验确定。
5.根据权利要求4所述的基于深度相机的人体行为识别方法，其特征在于，所述步骤4中，根据试验确定阈值为t1～t9分别为：1.5、40、5.5、60、3.5，5.0、40、7.0和30。
6.根据权利要求1～5中任一项所述的基于深度相机的人体行为识别方法，其特征在于，还包括步骤6，通过安装在深度相机上的无线通信模块将人体行为识别结果发送给安保控制中心，如果有危险行为则出发报警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710916303.1A CN107742097B (zh) | 2017-09-30 | 2017-09-30 | 一种基于深度相机的人体行为识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710916303.1A CN107742097B (zh) | 2017-09-30 | 2017-09-30 | 一种基于深度相机的人体行为识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107742097A true CN107742097A (zh) | 2018-02-27 |
| CN107742097B CN107742097B (zh) | 2020-07-07 |
Family
ID=61235362
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710916303.1A Active CN107742097B (zh) | 2017-09-30 | 2017-09-30 | 一种基于深度相机的人体行为识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107742097B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108810517A (zh) * | 2018-07-05 | 2018-11-13 | 盎锐（上海）信息科技有限公司 | 具有监控功能的影像处理装置及方法 |
| CN108846348A (zh) * | 2018-06-07 | 2018-11-20 | 四川大学 | 一种基于三维骨骼特征的人体行为识别方法 |
| CN110491316A (zh) * | 2019-07-08 | 2019-11-22 | 青岛小鸟看看科技有限公司 | 一种投影仪及其投影控制方法 |
| CN111062233A (zh) * | 2018-10-17 | 2020-04-24 | 北京地平线机器人技术研发有限公司 | 标识物表示的获取方法、标识物表示的获取装置和电子设备 |
| CN111209774A (zh) * | 2018-11-21 | 2020-05-29 | 杭州海康威视数字技术股份有限公司 | 目标行为识别及显示方法、装置、设备、可读介质 |
| CN112686208A (zh) * | 2021-01-22 | 2021-04-20 | 上海喵眼智能科技有限公司 | 基于机器视觉的运动识别特征参数算法 |
| CN113936269A (zh) * | 2021-11-17 | 2022-01-14 | 深圳市镭神智能系统有限公司 | 滞留对象的识别方法及机动车控制方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101561868A (zh) * | 2009-05-19 | 2009-10-21 | 华中科技大学 | 基于高斯特征的人体运动情感识别方法 |
| US20100034462A1 (en) * | 2008-06-16 | 2010-02-11 | University Of Southern California | Automated Single Viewpoint Human Action Recognition by Matching Linked Sequences of Key Poses |
| CN102004840A (zh) * | 2009-08-28 | 2011-04-06 | 深圳泰山在线科技有限公司 | 一种基于计算机实现虚拟拳击的方法和系统 |
| CN105243375A (zh) * | 2015-11-02 | 2016-01-13 | 北京科技大学 | 一种动作特征提取方法及装置 |
-
2017
- 2017-09-30 CN CN201710916303.1A patent/CN107742097B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100034462A1 (en) * | 2008-06-16 | 2010-02-11 | University Of Southern California | Automated Single Viewpoint Human Action Recognition by Matching Linked Sequences of Key Poses |
| CN101561868A (zh) * | 2009-05-19 | 2009-10-21 | 华中科技大学 | 基于高斯特征的人体运动情感识别方法 |
| CN102004840A (zh) * | 2009-08-28 | 2011-04-06 | 深圳泰山在线科技有限公司 | 一种基于计算机实现虚拟拳击的方法和系统 |
| CN105243375A (zh) * | 2015-11-02 | 2016-01-13 | 北京科技大学 | 一种动作特征提取方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 赵海勇; 贾保先: "《基于轮廓特征的人体行为识别》", 《计算机科学》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108846348A (zh) * | 2018-06-07 | 2018-11-20 | 四川大学 | 一种基于三维骨骼特征的人体行为识别方法 |
| CN108846348B (zh) * | 2018-06-07 | 2022-02-11 | 四川大学 | 一种基于三维骨骼特征的人体行为识别方法 |
| CN108810517A (zh) * | 2018-07-05 | 2018-11-13 | 盎锐（上海）信息科技有限公司 | 具有监控功能的影像处理装置及方法 |
| CN111062233A (zh) * | 2018-10-17 | 2020-04-24 | 北京地平线机器人技术研发有限公司 | 标识物表示的获取方法、标识物表示的获取装置和电子设备 |
| CN111209774A (zh) * | 2018-11-21 | 2020-05-29 | 杭州海康威视数字技术股份有限公司 | 目标行为识别及显示方法、装置、设备、可读介质 |
| CN111209774B (zh) * | 2018-11-21 | 2024-03-26 | 杭州海康威视数字技术股份有限公司 | 目标行为识别及显示方法、装置、设备、可读介质 |
| CN110491316A (zh) * | 2019-07-08 | 2019-11-22 | 青岛小鸟看看科技有限公司 | 一种投影仪及其投影控制方法 |
| CN112686208A (zh) * | 2021-01-22 | 2021-04-20 | 上海喵眼智能科技有限公司 | 基于机器视觉的运动识别特征参数算法 |
| CN113936269A (zh) * | 2021-11-17 | 2022-01-14 | 深圳市镭神智能系统有限公司 | 滞留对象的识别方法及机动车控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107742097B (zh) | 2020-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107742097B (zh) | 一种基于深度相机的人体行为识别方法 | |
| CN109934848B (zh) | 一种基于深度学习的运动物体精准定位的方法 | |
| CN104167016B (zh) | 一种基于rgb彩色与深度图像的三维运动重建方法 | |
| CN114067358B (zh) | 一种基于关键点检测技术的人体姿态识别方法及系统 | |
| CN110738154A (zh) | 一种基于人体姿态估计的行人摔倒检测方法 | |
| CN104038738B (zh) | 一种提取人体关节点坐标的智能监控系统及方法 | |
| CN112069933A (zh) | 基于体态识别和人体生物力学的骨骼肌肉受力估计方法 | |
| CN101558996A (zh) | 基于人体运动结构正投影三维重建的步态识别方法 | |
| WO2019045889A1 (en) | DENSE CORRESPONDENCE ESTIMATION WITH MULTI-LEVEL METRIC LEARNING AND HIERARCHICAL CORRESPONDENCE | |
| CN104933734B (zh) | 一种基于多kinect的人体姿态数据融合方法 | |
| KR20120071223A (ko) | 모션 캡처 장치 및 방법 | |
| CN111027432B (zh) | 基于步态特征的视觉跟随机器人方法 | |
| CN103020606B (zh) | 一种基于时空上下文信息的行人检测方法 | |
| CN109670380A (zh) | 动作识别、姿势估计的方法及装置 | |
| CN109344694B (zh) | 一种基于三维人体骨架的人体基本动作实时识别方法 | |
| CN104504671A (zh) | 一种用于立体显示的虚实融合图像生成方法 | |
| CN102184541A (zh) | 多目标优化人体运动跟踪方法 | |
| CN107491720A (zh) | 一种基于改进型卷积神经网络的车型识别方法 | |
| CN104881881A (zh) | 运动对象表示方法及其装置 | |
| CN101692284A (zh) | 基于量子免疫克隆算法的三维人体运动跟踪方法 | |
| CN104200199B (zh) | 基于tof相机的不良驾驶行为检测方法 | |
| CN104834887A (zh) | 运动行人表示方法、识别方法及其装置 | |
| CN104050685A (zh) | 基于粒子滤波视觉注意力模型的运动目标检测方法 | |
| CN106815855A (zh) | 基于产生式和判别式结合的人体运动跟踪方法 | |
| US20210035326A1 (en) | Human pose estimation system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190813 Address after: 410205 A128, Headquarters Building of Changsha Zhongdian Software Park, 39 Jianshan Road, Changsha High-tech Development Zone, Hunan Province Applicant after: CHANGSHA HCC HIDEN TECHNOLOGY Co.,Ltd. Applicant after: Hunan Great Wall Science and Technology Information Co.,Ltd. Address before: 410205 A128, Headquarters Building of Changsha Zhongdian Software Park, 39 Jianshan Road, Changsha High-tech Development Zone, Hunan Province Applicant before: CHANGSHA HCC HIDEN TECHNOLOGY Co.,Ltd. Applicant before: GREATWALL INFORMATION INDUSTRY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240620 Address after: Room 201, Headquarters Building of Changsha Zhongdian Software Park Co., Ltd., No. 39 Jianshan Road, Changsha High tech Development Zone, Changsha City, Hunan Province, 410221 Patentee after: China Electric Great Wall Technology Co.,Ltd. Country or region after: China Address before: 410205 No. A128, headquarters building, Changsha Zhongdian Software Park, No. 39, Jianshan Road, high tech Development Zone, Changsha, Hunan Patentee before: CHANGSHA HCC HIDEN TECHNOLOGY Co.,Ltd. Country or region before: China Patentee before: Hunan Great Wall Science and Technology Information Co.,Ltd. |