Nothing Special   »   [go: up one dir, main page]

CN106815578A - 一种基于深度运动图‑尺度不变特征变换的手势识别方法 - Google Patents

一种基于深度运动图‑尺度不变特征变换的手势识别方法 Download PDF

Info

Publication number
CN106815578A
CN106815578A CN201710052155.3A CN201710052155A CN106815578A CN 106815578 A CN106815578 A CN 106815578A CN 201710052155 A CN201710052155 A CN 201710052155A CN 106815578 A CN106815578 A CN 106815578A
Authority
CN
China
Prior art keywords
gesture
depth
motion
sequence
dmm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710052155.3A
Other languages
English (en)
Inventor
蔡林沁
崔双杰
虞继敏
刘晓林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201710052155.3A priority Critical patent/CN106815578A/zh
Publication of CN106815578A publication Critical patent/CN106815578A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度运动图‑尺度不变特征变换的手势识别方法，该方法主要包括以下三个部分：在运动数据获取方面，采用Kinect体感技术提供的原始深度图像作为手势识别系统的输入量；在人体手势特征构造方面，采用基于深度运动图‑尺度不变特征变换的提取方法，并对特征提取后的数据采用有监督局部线性嵌入的方法进行降维处理，以表示手势运动特征量；在手势分类器识别方面，利用判别式的支持向量机对深度图像序列的特征量进行样本训练建模，并对未知手势进行分类预测。本发明不仅能够适应不同光照环境、鲁棒性较强，还能够对手势序列进行实时高效识别，适用于人机交互中的实时手势识别领域。

Description

一种基于深度运动图-尺度不变特征变换的手势识别方法
技术领域
本发明属于手势识别、体感技术、虚拟现实、自然人机交互技术领域，涉及一种基于深度运动图-尺度不变特征变换的手势识别方法。
背景技术
近年来，随着模式识别、人工智能及计算机视觉等领域的高速发展，基于体感的手势识别成为了新的研究热点。人们每天都在重复着大量的复合型活动，如与人交流时除自然语言对话之外，经常涉及到手势。如果机器和计算机也能像正常人类一样理解人类手势的含义并根据相应的手势来完成各种指令，实现与人的实时交互，一个崭新的世界在向我们挥手。这些研究已经在大量的应用中显示出优势。例如，手势用于聋哑人群与正常人群的无障碍交流、机器人机械手的抓取、互动游戏平台、控制智能轮椅或实现虚拟环境的交互。
手势识别是通过计算机设备对人的手势进行精准解释，已成为一种基于体感的自然人机交互的有效手段。动态手势既包括空间信息又涉及时间信息，常见的特征为运动历史图、时空形状、时空体、运动速度、运动方向、梯度方向直方图、加速稳健特征等。
目前，虽然基于手势识别的人机交互具有良多的好处及优势，但是现实并不是一帆风顺，手势识别方法很容易受到外界条件的影响，在很多方面都具有改进的必要。在特征提取方面，常见特征提取过程复杂且易受到遮挡、光照、距离和摄像头移动等因素的限制；在分类方面，由于人体手势特征量及手势样本数量较多而导致运算量过大，时间复杂度较高进而影响人机交互的实时性。因此，急需提出一种能够适应不同光照环境、高准确率同时兼顾实时性的手势识别方法。
发明内容
有鉴于此，本发明的目的在于提供一种基于深度运动图-尺度不变特征变换的手势识别方法，该方法针对传统的彩色视频中手势识别算法成本高，且二维信息不足导致动作识别效果不佳实时性差的问题，能够高效处理高维非线性流行特征量，具有较少的模型参数，降维后的数据特征具有易于解释的可视化特性，对手势序列进行实时高效识别。
为达到上述目的，本发明提供如下技术方案：
一种基于深度运动图-尺度不变特征变换的手势识别方法，该方法包括以下步骤：
S1：采用基于Kinect体感技术获取手势运动信息，通过基于Kinect体感技术获取原始深度图像序列；与常规的手势动作输入信息不同，采用基于Kinect体感技术获取的原始深度图像序列，既能消除光照、肤色等影响又能保证输入数据的高精准度。
S2：采用基于深度运动图-尺度不变特征变换的描述符进行手势运动特征提取，可以有效表征手势运动过程，然后采用有监督局部线性嵌入的降维方法处理高维的深度运动图-尺度不变特征变换描述符，以减小计算量；
S3：手势模型分类识别：采用基于统计方法的分类器，支持向量机，对深度图像序列提取的特征集合进行建模，可有效利用训练得到的模型，识别未知标签的动态手势。
进一步，在步骤S2中，特征提取和特征降维主要包括：
S21：采集数据，即Kinect体感技术获取的原始深度视频序列；
S22：预处理，对原始深度图像进行去噪操作，采用双边滤波方法；
S23：深度投影图，将原始深度图投影到三个笛卡尔正交平面，得到手势的三个深度投影图，分别为DPMfDPMsDPMt；
S24：动态手势深度运动图DMMv，通过计算深度投影图连续帧差得到运动能量，累计整个动态手势深度序列的能量产生深度运动图；
S25：DMM-SIFT描述符，在动态手势深度运动图DMMv上提取SIFT特征，并级联三个投影面上的DMM-SIFT作为动态手势深度序列的表达，记为DMM-SIFT描述符；
S26：降维处理，运用有监督局部线性嵌入算法对DMM-SIFT描述符集合进行降维。
进一步，在步骤S23中，将深度图投影到各个平面后，利用形态学操作(膨胀和腐蚀)移除每个投影图中内部空隙和噪声，得到每帧图像的三个深度投影图。
进一步，在步骤S24中，所述的动态手势深度运动图DMMv，对一个动态手势过程，通过在前视图、侧视图、俯视图三个正交平面上分别计算连续帧间差异，得到运动能量，积累整个动态手势深度序列的运动能量产生动态手势深度运动图DMMv。
进一步，在步骤S3中，所述支持向量机模型包含三个部分：
部分一：输入观测序列X，为手势运动原始深度序列样本即每个手势的运动特征；
部分二：支持向量机隐含层，采用Sigmoid函数作为核函数，隐含层节点数目及节点对输入节点的权值由训练过程中自动确定；
部分三：输出动作类别Y，为通过支持向量机模型预测出的手势动作类别。
进一步，所述支持向量机识别算法分为两个过程：训练过程和识别过程，其中，训练过程即为对大量手势动作特征描述符进行分类的过程；识别过程即在训练模型基础上对一个未知的测试集中的观察序列X进行预测，推理出对应的手势识别标签的过程。
本发明的有益效果在于：本发明提供的方法不仅能够适应不同光照环境、鲁棒性较强，还能够对手势序列进行实时高效识别，适用于人机交互中的实时手势识别领域。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为本发明的基于深度运动图-尺度不变特征的手势识别方法示意图；
图2为本发明所述DMM-SIFT描述符具体示意图。
具体实施方式
下面将结合附图，对本发明的优选实施例进行详细的描述。
图1为本发明的基于深度运动图-尺度不变特征的手势识别方法示意图，如图1所示，基于深度运动图和尺度不变特征变换的手势识别示意图，包括：数据采集、提取人体手势运动特征、手势动作识别。其中，人体手势数据采集采用的是基于Kinect体感技术，与传统的彩色图像相比，深度图像能够提供第三维的深度数据，对光照不敏感，能够有效的消除肤色、遮挡及背景对手势识别的影响。常见的基于三维骨骼节点的识别方法，由于Kinect是通过分析深度图像重构出的人体骨骼节点，不能保证骨骼点的坐标估算准确，故本发明采用的是一种基于原始深度图像的手势识别方法，对采集到原始深度图像序列进行预处理，即对原始深度图像进行去噪操作，为避免滤波器平滑图像去噪时导致边缘模糊化，采用是改进的高斯滤波，即双边滤波。
在本实施例中，所述手势识别方法中深度信息由体感设备Kinect采集提供，并把原始的深度图像作为特征提取的输入，由于原始的深度图像不仅能够提供人体的形状信息，还能提供不同视角下手势动作之间的差别，故采用原始的深度视频序列作为手势动作特征数据。
在所述手势识别方法中特征提取方面，本发明提出一个全新的描述符——深度运动图(DMM)-尺度不变特征变换。首先，深度序列的每一帧都被投影到三个正交的笛卡尔平面上，深度序列的每一帧都得到三个深度投影图，对每个投影图计算并累计其运动能量产生动态手势深度运动图。其次，为了更好的表征动态手势深度运动图的局部外观和形状，在动态手势深度运动图上提取SIFT特征，最后，由于在手势深度运动图上提取尺度不变特征的运算空间复杂度和时间复杂度较大，故对图模型采用局部线性嵌入算法降维处理。
在手势模型分类识别方面，支持向量机作为一种基于统计方法的分类器，由于其优良和稳定的分类能力，对比其他分类算法不容易出现过拟合，并且支持向量机在解决小样本，非线性及高维模式识别中具有很大的优势，故在视频或者图像分类领域支持向量机已经成为最常见的分类器。本发明所述的识别方法设计非线性高维模式识别，故采用支持向量机分类器。
进一步地，所述通过体感设备Kinect获取深度信息，即Kinect红外发射器向外发射镭射光，通过红外发射器镜头前的光栅，均匀地投射到测量空间，测量空间的粗糙物体反射，形成随机的散斑，再通过红外摄像机记录空间中形成的散斑，得到原始数据，然后使用特殊的芯片计算图像的深度。
进一步地，所述手势识别特征提取分为两个部分：DMM-SIFT描述符和有监督局部线性嵌入算法。首先，在Kinect传感器所获取的深度视频序列上，深度序列每一帧被投影到三个笛卡尔正交平面得到三个深度投影图DPMv，其中v∈{f,s,t}(即前视投影图、侧视投影图、俯视投影图)。对每个投影图，通过计算连续帧投影图的差异来得到其运动能量，积累整个动态手势深度序列的运动能量，即通过整个深度序列累计的全局活动产生动态手势深度运动图DMMv。由于动态手势深度序列生成的深度运动图表征了累计的运动分布和强度，考虑到SIFT特征可以表征深度运动图的局部外观和形状，从DMMv计算得到SIFTv，并级联[ SIFTt T]作为动态手势深度序列的特征表达，记为DMM-SIFT描述符。
所述的DMM-SIFT描述符是高维的具有大量性，故需对其进行降维处理。为使降维后的数据能够保持原有的拓扑结构，采用有监督局部线性嵌入算法，既能保证特征的多样性又能保证识别的高效性。
进一步地，所述支持向量机的识别方法，在模型训练方面，选用降维后的DMM-SIFT描述符作为支持向量机分类器的输入，输出为已知对应手势类别标签。经过大量样本数据的训练，得到相应的样本训练模型。在模型预测方面，输入同为降维处理后的DMM-SIFT描述符，输出为模型预测标签，对应着相应的手势类别。
所述识别方法，对采集到的深度序列数据集上进行留一测试，即对于具有N个对象的数据集，使用N-1个对象的数据进行训练，对剩余一个对象的数据进行测试，并进行重复实验，获得平均识别准确率。
人体手势运动特征提取过程分为特征提取和特征降维两个部分，所述方法的基本流程为：
1)深度投影图，根据图2所述的流程，将手势深度序列的每一帧投影到三个笛卡尔正交平面上，并利用形态学操作(膨胀和腐蚀)移除每个投影图中的内部空隙和噪声，得到手势的三个方向深度投影图，前视投影图、侧视投影图和俯视投影图，分别记为DPMfDPMsDPMt。
2)动态手势深度运动图DMMv，累计每个平面上连续帧深度投影图的差异，获得动态手势运动能量，通过积累整个动态手势深度序列的运动能量产生动态手势深度运动图DMMv。
3)DMM-SIFT描述符，由于动态手势深度运动图携带的形状和结构信息是局部的且SIFT特征能够很好的表征深度运动图的局部外观和形状，故在动态手势深度运动图DMMv上提取SIFT特征。提取尺度不变特征过程包括构建尺度空间、检测尺度空间极值点、除去不好的特征点、赋值方向参数和生成关键点描述子等五个部分。其中，构建尺度空间主要涉及图像金字塔的建立；检测尺度空间极值点即找到图像中的兴趣点；除去不好的特征点本质上是去掉尺度空间中局部曲率非常不对称的点；生成关键点描述子，对一个关键点产生128个数据即最终形成128维的SIFT特征向量。然后，通过级联三个投影面的DMM-SIFT作为动态手势深度序列的表达，记为DMM-SIFT描述符。
4)降维处理，对DMM-SIFT样本集合，首先以欧式距离为度量寻找样本的k个近邻点；其次，在高维空间中，由每个样本的近邻点计算该样本的局部重建权值矩阵；最后，由该样本点的局部重建权值矩阵和其近邻点计算该样本点的输出值。
手势动作识别过程主要包括构造支持向量机分类器、将特征向量样本添加到支持向量机、训练支持向量机以得到模型、对未知序列进行识别等步骤。支持向量机算法包括以下三个方面的内容：
1)输入观察序列X，为手势运动深度序列样本即每帧降维处理后的手势运动特征值。
2)SVM隐含层核函数K，采用Sigmoid函数作为核函数，隐含层节点数目及节点对输入节点的权值由训练过程中自动确定。
3)输出动作类别Y，为通过支持向量机模型预测出的手势动作类别。
所述手势识别过程可以看作是给每个手势动作序列的观察值预测一个类别标签的过程。结合图1可知，所述支持向量机模型以DMM-SIFTd描述符(即经过局部线性嵌入算法降维后的DMM-SIFT特征量)作为训练样本输入。训练过程即为对大量手势动作特征描述符进行分类的过程；然后，在训练模型基础上对一个未知的测试集中的观察序列X进行预测，推理出对应的手势识别标签的过程。
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (6)

1.一种基于深度运动图-尺度不变特征变换的手势识别方法，其特征在于：该方法包括以下步骤：
S1：采用基于Kinect体感技术获取手势运动信息，通过基于Kinect体感技术获取原始深度图像序列；
S2：采用基于深度运动图-尺度不变特征变换的描述符进行手势运动特征提取，然后采用有监督局部线性嵌入的降维方法处理高维的深度运动图-尺度不变特征变换描述符，以减小计算量；
S3：手势模型分类识别：采用基于统计方法的分类器，支持向量机，对深度图像序列提取的特征集合进行建模，可有效利用训练得到的模型，识别未知标签的动态手势。
2.根据权利要求1所述的一种基于深度运动图-尺度不变特征变换的手势识别方法，其特征在于：在步骤S2中，特征提取和特征降维主要包括：
S21：采集数据，即Kinect体感技术获取的原始深度视频序列；
S22：预处理，对原始深度图像进行去噪操作，采用双边滤波方法；
S23：深度投影图，将原始深度图投影到三个笛卡尔正交平面，得到手势的三个深度投影图，分别为DPMfDPMsDPMt；
S24：动态手势深度运动图DMMv，通过计算深度投影图连续帧差得到运动能量，累计整个动态手势深度序列的能量产生深度运动图；
S25：DMM-SIFT描述符，在动态手势深度运动图DMMv上提取SIFT特征，并级联三个投影面上的DMM-SIFT作为动态手势深度序列的表达，记为DMM-SIFT描述符；
S26：降维处理，运用有监督局部线性嵌入算法对DMM-SIFT描述符集合进行降维。
3.根据权利要求2所述的一种基于深度运动图-尺度不变特征变换的手势识别方法，其特征在于：在步骤S23中，将深度图投影到各个平面后，利用形态学操作移除每个投影图中内部空隙和噪声，得到每帧图像的三个深度投影图。
4.根据权利要求2所述的一种基于深度运动图-尺度不变特征变换的手势识别方法，其特征在于：在步骤S24中，所述的动态手势深度运动图DMMv，对一个动态手势过程，通过在前视图、侧视图、俯视图三个正交平面上分别计算连续帧间差异，得到运动能量，积累整个动态手势深度序列的运动能量产生动态手势深度运动图DMMv。
5.根据权利要求1所述的一种基于深度运动图-尺度不变特征变换的手势识别方法，其特征在于：在步骤S3中，所述支持向量机模型包含三个部分：
部分一：输入观测序列X，为手势运动原始深度序列样本即每个手势的运动特征；
部分二：支持向量机隐含层，采用Sigmoid函数作为核函数，隐含层节点数目及节点对输入节点的权值由训练过程中自动确定；
部分三：输出动作类别Y，为通过支持向量机模型预测出的手势动作类别。
6.根据权利要求5所述的一种基于深度运动图-尺度不变特征变换的手势识别方法，其特征在于：所述支持向量机识别算法分为两个过程：训练过程和识别过程，其中，训练过程即为对大量手势动作特征描述符进行分类的过程；识别过程即在训练模型基础上对一个未知的测试集中的观察序列X进行预测，推理出对应的手势识别标签的过程。
CN201710052155.3A 2017-01-23 2017-01-23 一种基于深度运动图‑尺度不变特征变换的手势识别方法 Pending CN106815578A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710052155.3A CN106815578A (zh) 2017-01-23 2017-01-23 一种基于深度运动图‑尺度不变特征变换的手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710052155.3A CN106815578A (zh) 2017-01-23 2017-01-23 一种基于深度运动图‑尺度不变特征变换的手势识别方法

Publications (1)

Publication Number Publication Date
CN106815578A true CN106815578A (zh) 2017-06-09

Family

ID=59112097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710052155.3A Pending CN106815578A (zh) 2017-01-23 2017-01-23 一种基于深度运动图‑尺度不变特征变换的手势识别方法

Country Status (1)

Country Link
CN (1) CN106815578A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622257A (zh) * 2017-10-13 2018-01-23 深圳市未来媒体技术研究院 一种神经网络训练方法及三维手势姿态估计方法
CN107958218A (zh) * 2017-11-22 2018-04-24 南京邮电大学 一种实时手势识别的方法
CN108038420A (zh) * 2017-11-21 2018-05-15 华中科技大学 一种基于深度视频的人体行为识别方法
CN108344995A (zh) * 2018-01-25 2018-07-31 宁波隔空智能科技有限公司 一种基于微波雷达技术的手势识别装置及手势识别方法
CN108647603A (zh) * 2018-04-28 2018-10-12 清华大学 基于注意力机制的半监督连续手语翻译方法及装置
CN108764133A (zh) * 2018-05-25 2018-11-06 北京旷视科技有限公司 图像识别方法、装置及系统
CN109044651A (zh) * 2018-06-09 2018-12-21 苏州大学 未知环境中基于自然手势指令的智能轮椅控制方法及系统
CN109086659A (zh) * 2018-06-13 2018-12-25 深圳市感动智能科技有限公司 一种基于多模道特征融合的人体行为识别方法和装置
CN109635776A (zh) * 2018-12-23 2019-04-16 广东腾晟信息科技有限公司 通过程序识别人体动作的方法
CN109917921A (zh) * 2019-03-28 2019-06-21 长春光华学院 一种用于vr领域的隔空手势识别方法
CN113468913A (zh) * 2020-03-30 2021-10-01 阿里巴巴集团控股有限公司 数据处理、动作识别、模型训练方法、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102801924A (zh) * 2012-07-20 2012-11-28 合肥工业大学 一种基于Kinect的电视节目主持互动系统
CN103530619A (zh) * 2013-10-29 2014-01-22 北京交通大学 基于rgb-d数据构成的少量训练样本的手势识别方法
CN105224942A (zh) * 2015-07-09 2016-01-06 华南农业大学 一种rgb-d图像分类方法及系统
CN105759967A (zh) * 2016-02-19 2016-07-13 电子科技大学 一种基于深度数据的手部全局姿态检测方法
CN105843223A (zh) * 2016-03-23 2016-08-10 东南大学 一种基于空间词袋模型的移动机器人三维建图与避障方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102801924A (zh) * 2012-07-20 2012-11-28 合肥工业大学 一种基于Kinect的电视节目主持互动系统
CN103530619A (zh) * 2013-10-29 2014-01-22 北京交通大学 基于rgb-d数据构成的少量训练样本的手势识别方法
CN105224942A (zh) * 2015-07-09 2016-01-06 华南农业大学 一种rgb-d图像分类方法及系统
CN105759967A (zh) * 2016-02-19 2016-07-13 电子科技大学 一种基于深度数据的手部全局姿态检测方法
CN105843223A (zh) * 2016-03-23 2016-08-10 东南大学 一种基于空间词袋模型的移动机器人三维建图与避障方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐海宁: ""基于深度图像和骨骼数据的人体动作识别"", 《万方数据知识服务平台》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622257A (zh) * 2017-10-13 2018-01-23 深圳市未来媒体技术研究院 一种神经网络训练方法及三维手势姿态估计方法
CN108038420A (zh) * 2017-11-21 2018-05-15 华中科技大学 一种基于深度视频的人体行为识别方法
CN107958218A (zh) * 2017-11-22 2018-04-24 南京邮电大学 一种实时手势识别的方法
CN108344995A (zh) * 2018-01-25 2018-07-31 宁波隔空智能科技有限公司 一种基于微波雷达技术的手势识别装置及手势识别方法
CN108647603A (zh) * 2018-04-28 2018-10-12 清华大学 基于注意力机制的半监督连续手语翻译方法及装置
CN108764133B (zh) * 2018-05-25 2020-10-20 北京旷视科技有限公司 图像识别方法、装置及系统
CN108764133A (zh) * 2018-05-25 2018-11-06 北京旷视科技有限公司 图像识别方法、装置及系统
CN109044651A (zh) * 2018-06-09 2018-12-21 苏州大学 未知环境中基于自然手势指令的智能轮椅控制方法及系统
CN109044651B (zh) * 2018-06-09 2020-06-16 苏州大学 未知环境中基于自然手势指令的智能轮椅控制方法及系统
CN109086659A (zh) * 2018-06-13 2018-12-25 深圳市感动智能科技有限公司 一种基于多模道特征融合的人体行为识别方法和装置
CN109635776A (zh) * 2018-12-23 2019-04-16 广东腾晟信息科技有限公司 通过程序识别人体动作的方法
CN109917921A (zh) * 2019-03-28 2019-06-21 长春光华学院 一种用于vr领域的隔空手势识别方法
CN113468913A (zh) * 2020-03-30 2021-10-01 阿里巴巴集团控股有限公司 数据处理、动作识别、模型训练方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN106815578A (zh) 一种基于深度运动图‑尺度不变特征变换的手势识别方法
CN110147743B (zh) 一种复杂场景下的实时在线行人分析与计数系统及方法
CN107742102B (zh) 一种基于深度传感器的手势识别方法
CN105550678B (zh) 基于全局显著边缘区域的人体动作特征提取方法
CN102663409B (zh) 一种基于hog-lbp描述的行人跟踪方法
CN110852182B (zh) 一种基于三维空间时序建模的深度视频人体行为识别方法
CN109785363A (zh) 一种无人机航拍视频运动小目标实时检测与跟踪方法
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
Zhou et al. Learning to estimate 3d human pose from point cloud
CN108171133B (zh) 一种基于特征协方差矩阵的动态手势识别方法
CN108416266A (zh) 一种利用光流提取运动目标的视频行为快速识别方法
CN105912999A (zh) 基于深度信息的人体行为识别方法
CN111160294B (zh) 基于图卷积网络的步态识别方法
CN108648211A (zh) 一种基于深度学习的小目标检测方法、装置、设备和介质
Xu et al. Robust hand gesture recognition based on RGB-D Data for natural human–computer interaction
CN105469050B (zh) 基于局部时空特征描述与金字塔词汇树的视频行为识别方法
CN110751097A (zh) 一种半监督的三维点云手势关键点检测方法
CN107479693A (zh) 基于rgb信息的实时手部识别方法、存储介质、电子设备
CN117541994A (zh) 一种密集多人场景下的异常行为检测模型及检测方法
Batool et al. Telemonitoring of daily activities based on multi-sensors data fusion
CN112017188A (zh) 一种空间非合作目标语义识别与重构方法
CN108564020B (zh) 基于全景3d图像的微手势识别方法
Fiaz et al. Vision based human activity tracking using artificial neural networks
Li et al. Spatial and temporal information fusion for human action recognition via Center Boundary Balancing Multimodal Classifier
CN114299339A (zh) 一种基于区域相关性建模的三维点云模型分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170609

RJ01 Rejection of invention patent application after publication