Nothing Special   »   [go: up one dir, main page]

CN107203753A - 一种基于模糊神经网络和图模型推理的动作识别方法 - Google Patents

一种基于模糊神经网络和图模型推理的动作识别方法 Download PDF

Info

Publication number
CN107203753A
CN107203753A CN201710377372.XA CN201710377372A CN107203753A CN 107203753 A CN107203753 A CN 107203753A CN 201710377372 A CN201710377372 A CN 201710377372A CN 107203753 A CN107203753 A CN 107203753A
Authority
CN
China
Prior art keywords
mrow
msub
msup
msubsup
mtr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710377372.XA
Other languages
English (en)
Other versions
CN107203753B (zh
Inventor
肖秦琨
赵丹
赵一丹
高嵩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Technological University
Original Assignee
Xian Technological University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Technological University filed Critical Xian Technological University
Priority to CN201710377372.XA priority Critical patent/CN107203753B/zh
Publication of CN107203753A publication Critical patent/CN107203753A/zh
Application granted granted Critical
Publication of CN107203753B publication Critical patent/CN107203753B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)

Abstract

本发明公开了的一种基于模糊神经网络和图模型推理的人体运动识别方法具体按照以下步骤实施：步骤1：使用Kinect设备拍摄单目及深度视频，构建人体运动视频序列数据库；步骤2：提取视频Vi的每帧图像，通过人体骨架提取法获得运动骨架；步骤3：对应的代表性帧图像组成人体运动代表帧图像数据库DRF＝{RFi}；步骤4：基于所有获得的运动姿势关键帧骨架特征训练数据的分类；步骤5：构建一个基于概率图模型的模糊神经网络系统进行运动语义推理，来识别由每个代表帧确定的身体姿态语义；步骤6：基于步骤5中构建的FNNGM图模型结构，对动作语义序列进行分类。本发明克服了现有方法较高的计算成本，运动捕获数据较低的应用效率的问题。

Description

一种基于模糊神经网络和图模型推理的动作识别方法
技术领域
本发明属于人体运动识别技术领域，具体涉及一种基于模糊神经网络和图模型推理的动作识别方法。
背景技术
近年来，人体动作识别已经成为计算机视觉领域的核心问题。从早期受限条件下简单的动作识别发展到对真实自然场景下复杂动作的识别；从对单人动作的识别到对交互动作甚至是大规模群体动作识别。由于人体运动的复杂性和不确定性，动作识别仍然是一个非常具有挑战性的课题。许多动作识别方法侧重于设计有效的描述符或特征，通过特征匹配进行分类。以往的动作识别主要包含两个类别：特征表示和动作分类。特征表示始终是动作识别的关键任务。一般而言，动作序列特征表示通常分为全局表示和局部表示。全局特征记录总图像呈现，然而，全局特征经常受到遮挡、视点变化和噪声的干扰。基于全局的特征包括基于光流的呈现、基于剪影的描述符、基于边缘的特征和运动历史图像等。局部特征总是独立地描述补丁，并将补丁组合在一起构建时空模型。局部描述符可以更有效地呈现动作视频，尤其是对于噪声图像和部分遮挡图像的呈现。
发明内容
本发明的目的是提供一种基于模糊神经网络和图模型推理的动作识别方法，克服了现有方法较高的计算成本，运动捕获数据较低的应用效率和对紧密匹配的运动的检索不能区分到位的问题。
本发明采用的技术方案是，一种基于模糊神经网络和图模型推理的动作识别方法，具体按照以下步骤实施：
步骤1：使用Kinect设备拍摄单目及深度视频，拍摄速度为30帧每秒，构建有N个类别的人体运动视频序列数据库Dvideo＝(V1,V2,...,Vi,...,VN)；
步骤2：提取视频Vi的每帧图像，得到帧图像Fi＝(fi1,...,fin)，其中n表示视频Vi的帧数，对fij进行预处理，通过背景差分和肤色模型获取出fij中运动轮廓，通过人体骨架提取法获得运动骨架；
步骤3：基于获得的帧图像Fi＝(fi1,...,fin)聚类获取运动序列代表性的帧RFi＝(rfi1,…,rfic)；所有视频运动类别所对应的代表性帧图像组成人体运动代表帧图像数据库DRF＝{RFi},i＝1,…,p，p代表数据库总运动序列数；
步骤4：基于所有获得的运动姿势关键帧骨架特征训练数据的分类，首先建立动作语义集S＝{S1,…,Sω}，其中ω是通过聚类后动作语义分类的个数；然后基于关键帧运动骨架特征聚类以形成相似的运动集合G＝{G1,…,Gq}，其中q是聚类组的个数；
步骤5：构建一个基于概率图模型的模糊神经网络系统进行运动语义推理，来识别由每个代表帧确定的身体姿态语义，使用概率图推理来分类动作语义序列；首先训练设计的FNN作为人体姿势分类器；其次，在训练完成的FNN基础上构建图模型；
步骤6：基于步骤5中构建的FNNGM图模型结构，进行图模型推理，对动作语义序列进行分类；将{rf1:k}作为一个测量的图模型；系统状态序列为S＝{s1:k}和G＝{g1:k}，基于图模型推理的对动作识别进行描述。
本发明的特点还在于，
步骤2具体按照以下步骤实施：
(21)使用Kinect获取人体运动的RGB彩色与深度图像，去除RGB彩色与深度图像噪声,并对其进行图像校正处理；
(22)根据彩色图像背景的复杂程度采用不同方法去除背景,获得前景彩色图像；
(23)基于前景彩色图像且依据肤色模型对脸部及手部进行定位并将脸部及手部定位质心作为初始获取的关节点；
(24)基于学习得到的贝叶斯分类器对彩色图像前景中的运动人体进行部件分类识别；
(25)依据分类识别结果判定肢体各刚体结构部位类别,再根据各刚体部件的链接关系确定出各关节点,依次联接各关节点形成平面人体骨架结合各个关节点深度数据将平面骨架变换成三维立体骨架。
步骤3具体按照以下步骤实施：
(31)给定运动序列Fi，使用模糊C均值FCM聚类方法生成代表帧RFi；
(32)使用四元数来呈现身体姿态，计算两帧间距离；设fi为第i帧中的运动描述符，f1和f2之间的距离计算为：
d(f1,f2)＝(f1-f2)(f1-f2)T
使用聚类方法来生成c个聚类中心，选择距离聚类中心最短距离的一些帧作为代表帧，代表帧可表示为RFi＝{rfk}k＝1:c，其中rfk对应于第k个聚类中心。
步骤4具体按照以下步骤实施：
(41)从获取的所有运动代表帧中任意选择q个关键帧骨架运动特征作为初始聚类中心；
(42)根据每个聚类对象的均值，计算任意一个关键帧rfi与聚类中心rfk的距离d(rfi,rfk)，rfk代表第k个聚类中心，其欧氏距离为：
(43)重新计算每个聚类的均值，按照运动特征数据点到新质心的距离对数据进行分组，并计算每组的均值作为新质心；当均值与原质心相等，也就是说新质心与原质心相等时算法停止计算，如果条件不满足d(rfi,rfk)<ε，则返回(42)，重复执行。
步骤5具体按照以下步骤实施：
(51)训练设计的FNN作为人体姿势分类器，使用数据(rfi,Gj),i＝1...n,j＝1...p对FNN进行训练；
(52)在训练完成的FNN基础上构建图模型，具体分析过程如下：
FNNGM的参数定义为l＝(PS,AS,BG,Brf)，其中PS＝[pi]1′w是先验概率矩阵，w是动作语义的数量，AS＝[aij]w′w是语义状态转换矩阵，是手势观察矩阵，是RF观察矩阵，此外，所有矩阵的元素定义为：
其中S＝{S1,...,Sw}和G＝{G1,...,Gp}分别是动作语义集和相似姿态集合；
估计FNNGM的初始参数如下：基于S和G中的rfi数量，计算图形模型参数：
首先，先验概率的计算为：
其中属于语义Si的代表帧数，nrf是训练数据集中所有代表帧的数量；
其次，估计语义交易可能性aij为：
其中，表示训练数据从rft到rft+1相邻链接的数目，其中rft∈Si，rft+1∈Sj；表示训练数据中从rft到rft+1的邻接链路的数量，其中，rft∈Si，rft+1∈Sj，S为所有可能的语义；
第三，观测可能性是多变量高斯分布，其中参数和分别是期望和方差，可以通过最大似然方法来学习；
最后，计算观测可能性
其中表示训练数据中rft的数目，其中rft∈Si∩Gj，表示训练数据中rft的数量，其中rft∈Si。
步骤(51)具体按照以下步骤实施：
(511)构建一个模糊神经网络模型，模糊系统使用的规则如下：
假设：
则：
其中：是模糊集，是系统参数，yi是模糊规则下计算的输出；假定输入为rfi＝(x1,...,xn)，则根据模糊规则计算xj的模糊隶属度为：
其中，分别是隶属函数中心和宽度，k是输入参数的数量，n是模糊集的数量，则rfi的模糊隶属度计算公式为：
同时，输出yi计算为：
(512)所述(511)构建的模糊神经网络模型分为四层：输入层、模糊层、模糊规则层和输出层；在输入层中没有计算操作，在模糊层使用公式(1)计算模糊隶属度，然后根据公式(2)得到规则推理结果，最终通过公式(3)计算输出，得到语义分类结果；
(513)使用数据(rfi,Gj),i＝1...n,j＝1...p对模糊神经网络FNN进行训练，步骤如下:
a.误差计算
其中yd是期望输出，yc是实际输出，e＝yd-yc,e是期望输出与实际输出之间的误差；
b.系数修正
其中是系数，a是学习率，wi是输入量xj和的乘积。
c.参数修正
其中分别是隶属函数中心和宽度。
步骤6具体按照以下步骤实施：
(61)给定检测量{rf1:k}，以更新隐藏状态信号S＝{s1:k}和g＝{h1:k}，根据贝叶斯规则，计算P(s1)：
将s0和P(s1|s0)设置为初始系统输入，根据公式(8)，(9)，(11)得到P(s1)；
(62)预测C使用检测量更新为：
保证a输出结果在区间[0,1]中，此外，通过测量结果，滤波方程可以重新写为：
基于滤波方程公式(13)，进一步得到最大可能状态路径：
最终获得语义序列最大可能性状态值：
本发明的有益效果是，本发明提出的方法分为两个阶段：系统学习和动作识别。在系统学习阶段，首先，提取运动数据集中动作的帧图像；其次，使用模糊C均值聚类算法对帧图像进行聚类获取运动的代表帧；设计一个模糊神经网络分类器来识别代表帧的运动姿态，代表帧的标记的姿态特征数据集被用作教师信号来训练模糊神经网络；最后，使用模糊神经网络图模型的概率图模型对代表帧序列进行分类。本发明的图模型是基于隐马尔可夫模型和模糊神经网络的组合。在动作识别阶段，自动提取待识别动作的代表帧特征，然后使用FNNGM即模糊神经网络和图模型推理算法得到动作语义分类结果。本发明提出的方法能够更加准确、容易的进行动作识别。将本发明提出的算法与现有模型进行比较，验证该算法检索结果具有良好的精确性和有效性。
附图说明
图1是本发明的总体流程图；
图2为本发明步骤4的动作语义集和相似姿态集合的构建；
图3为本发明步骤(51)的用于识别的神经网络；
图4为本发明步骤(52)所构建的FNNGM模型。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明中相关技术介绍如下：
(1)基于肤色模型手势分割技术：肤色为脸和双手区别于周围环境的最明显和简单的特征，所以通过确定准确的肤色区域阈值条件，就可以定位出人脸和双手区域。拍摄视频的图像颜色空间为RGB颜色空间，但在RGB空间人体的肤色受亮度影响相当大，使得肤色点很难从非肤色点中分离出来，同时，每个人的肤色，尤其是不同种族人的肤色都很不同，其主要是由于饱和度与亮度不同而造成的，而肤色在色度上的差异并不大。在色度空间中，HSV色彩空间采用色调H、饱和度S和亮度V三个维度来表示颜色，成功的将三个变量分别开来，所以使用H的阈值用来区分出肤色。YCbCr颜色空间将颜色的亮度用Y分量区分出来，Cb和Cr分别表示蓝色和红色的浓度偏移量成份，所以附加上Cb和Cr的阈值条件共同实现肤色分割。
(2)模糊C均值聚类算法(FCM)：在众多模糊聚类算法中，模糊C均值(FCM)算法应用最广泛且较成功，它通过优化目标函数得到每个样本点对所有类中心的隶属度，从而决定样本点的类属以达到自动对样本数据进行分类的目的。
(3)模糊神经网络(FNN)：模糊神经网络就是具有模糊权系数或者输入信号是模糊量的神经网络。是模糊理论同神经网络相结合的产物，它汇集了神经网络与模糊理论的优点，集学习、联想、识别、信息处理于一体。
(4)四元数：四元数是由爱尔兰数学家威廉·卢云·哈密顿在1843年发现的数学概念。明确地说，四元数是复数的不可交换延伸。如把四元数的集合考虑成多维实数空间的话，四元数就代表着一个四维空间，相对于复数为二维空间。四元数都是由实数加上三个元素i、j、k组成，而且它们有如下的关系：q＝xi+yj+zk+w其中满足i2＝j2＝k2＝-1。
(5)Baum-Welch算法：Baum-Welch算法是一种对HMM模型做参数估计的方法，是EM算法的一个特例。EM算法包含两步：(1)expectation，计算隐变量的概率分布，并得到可观察变量与隐变量联合概率的log-likelihood在前面求得的隐变量概率分布下的期望。(2)maximization，求得使上述期望最大的新的模型参数。若达到收敛条件则退出，否则回到步骤(1)。
本发明方法如图1所示，具体按照以下步骤实施：
步骤1：使用Kinect设备拍摄单目及深度视频，拍摄速度为30帧每秒，构建有N个类别的人体运动视频序列数据库Dvideo＝(V1,V2,...,Vi,...,VN)；
步骤2：提取视频Vi的每帧图像，得到帧图像Fi＝(fi1,...,fin)，其中n表示视频Vi的帧数，对fij进行预处理，通过背景差分和肤色模型获取出fij中运动轮廓，通过人体骨架提取法获得运动骨架；
步骤2具体按照以下步骤实施：
(21)使用Kinect获取人体运动的RGB彩色与深度图像，去除RGB彩色与深度图像噪声,并对其进行图像校正处理；
(22)根据彩色图像背景的复杂程度采用不同方法去除背景,获得前景彩色图像；
(23)基于前景彩色图像且依据肤色模型对脸部及手部进行定位并将脸部及手部定位质心作为初始获取的关节点；
(24)基于学习得到的贝叶斯分类器对彩色图像前景中的运动人体进行部件分类识别；
(25)依据分类识别结果判定肢体各刚体结构部位类别,再根据各刚体部件的链接关系确定出各关节点,依次联接各关节点形成平面人体骨架结合各个关节点深度数据将平面骨架变换成三维立体骨架。
步骤3：基于获得的帧图像Fi＝(fi1,...,fin)聚类获取运动序列代表性的帧RFi＝(rfi1,…,rfic)；所有视频运动类别所对应的代表性帧图像组成人体运动代表帧图像数据库DRF＝{RFi},i＝1,…,p，p代表数据库总运动序列数；
步骤3具体按照以下步骤实施：
(31)给定运动序列Fi，使用模糊C均值FCM聚类方法生成代表帧RFi；
(32)使用四元数来呈现身体姿态，计算两帧间距离；设fi为第i帧中的运动描述符，f1和f2之间的距离计算为：
d(f1,f2)＝(f1-f2)(f1-f2)T
使用聚类方法来生成c个聚类中心，选择距离聚类中心最短距离的一些帧作为代表帧，代表帧可表示为RFi＝{rfk}k＝1:c，其中rfk对应于第k个聚类中心。
在步骤(32)中，人体运动捕获数据看作是由离散的时间点采样得到的人体运动姿态序列{x1,…,xn}，每个采样点看作是一帧，其中每一帧姿态由所有关节点转角信息共同决定，所以，任意时刻，人体运动的姿态都可以表示为一个四元数矢量：q＝xi+yj+zk+w(其中满足i2＝j2＝k2＝-1，w是实数；使用n维四元数矢量来描述身体运动姿态，本发明在骨架中使用26个关节点状态信息来呈现一个身体动作，每一个关节点采用四元数来描述，其中n＝26×4＝104，因此得到104维四元数描述符特征向量，则任意一个关键帧可表示为：rfi＝(a1,…,a104)。
步骤4：如图2所示，基于所有获得的运动姿势关键帧骨架特征训练数据的分类，首先建立动作语义集S＝{S1,…,Sω}，其中ω是通过聚类后动作语义分类的个数；然后基于关键帧运动骨架特征聚类以形成相似的运动集合G＝{G1,…,Gq}，其中q是聚类组的个数；
步骤4具体按照以下步骤实施：
(41)从获取的所有运动代表帧中任意选择q个关键帧骨架运动特征作为初始聚类中心；
(42)根据每个聚类对象的均值，计算任意一个关键帧rfi与聚类中心rfk的距离d(rfi,rfk)，rfk代表第k个聚类中心，其欧氏距离为：
(43)重新计算每个聚类的均值，按照运动特征数据点到新质心的距离对数据进行分组，并计算每组的均值作为新质心；当均值与原质心相等，也就是说新质心与原质心相等时算法停止计算，如果条件不满足d(rfi,rfk)<ε，则返回(42)，重复执行。
步骤5：构建一个基于概率图模型的模糊神经网络系统进行运动语义推理，来识别由每个代表帧确定的身体姿态语义，使用概率图推理来分类动作语义序列；首先训练设计的FNN作为人体姿势分类器；其次，在训练完成的FNN基础上构建图模型；
步骤5具体按照以下步骤实施：
(51)如图3所示，训练设计的FNN作为人体姿势分类器，使用数据(rfi,Gj),i＝1...n,j＝1...p对FNN进行训练；
(511)构建一个模糊神经网络模型，模糊系统使用的规则如下：
假设：
则：
其中：是模糊集，是系统参数，yi是模糊规则下计算的输出；假定输入为rfi＝(x1,...,xn)，则根据模糊规则计算xj的模糊隶属度为：
其中，分别是隶属函数中心和宽度，k是输入参数的数量，n是模糊集的数量，则rfi的模糊隶属度计算公式为：
同时，输出yi计算为：
(512)所述(511)构建的模糊神经网络模型分为四层：输入层、模糊层、模糊规则层和输出层；在输入层中没有计算操作，在模糊层使用公式(1)计算模糊隶属度，然后根据公式(2)得到规则推理结果，最终通过公式(3)计算输出，得到语义分类结果；
(513)使用数据(rfi,Gj),i＝1...n,j＝1...p对模糊神经网络FNN进行训练，步骤如下:
a.误差计算
其中yd是期望输出，yc是实际输出，e＝yd-yc,e是期望输出与实际输出之间的误差；
b.系数修正
其中是系数，a是学习率，wi是输入量xj和的乘积。
c.参数修正
其中分别是隶属函数中心和宽度；
(52)如图4所示，在训练完成的FNN基础上构建图模型，具体分析过程如下：
在模糊神经网络模型对每个代表帧确定的身体语义姿态进行识别之后，使用概率图推理对动作语义序列进行分类。首先要构建一个图模型结构，本发明中构建的FNNGM模型图包括三层：测量信号层、运动姿势层和动作语义层。最低层是测量信号层，从最低层输入代表帧序列(rf1,...,rfk)。中间层是运动姿势层，在这一层呈现由FNN推断的离散姿态状态信号(g1,...gk)。最高层是动作语义层，根据中间层和最低层的信息，在该层中计算最终动作语义(s1,...,sk)。
FNNGM的参数定义为l＝(PS,AS,BG,Brf)，其中PS＝[pi]1′w是先验概率矩阵，w是动作语义的数量，AS＝[aij]w′w是语义状态转换矩阵，是手势观察矩阵，是RF观察矩阵，此外，所有矩阵的元素定义为：
其中S＝{S1,...,Sw}和G＝{G1,...,Gp}分别是动作语义集和相似姿态集合；
估计FNNGM的初始参数如下：基于S和G中的rfi数量，计算图形模型参数：
首先，先验概率的计算为：
其中属于语义Si的代表帧数，nrf是训练数据集中所有代表帧的数量；
其次，估计语义交易可能性aij为：
其中，表示训练数据从rft到rft+1相邻链接的数目，其中rft∈Si，rft+1∈Sj；表示训练数据中从rft到rft+1的邻接链路的数量，其中，rft∈Si，rft+1∈Sj，S为所有可能的语义；
第三，观测可能性是多变量高斯分布，其中参数和分别是期望和方差，可以通过最大似然方法来学习；
最后，计算观测可能性
其中表示训练数据中rft的数目，其中rft∈Si∩Gj，表示训练数据中rft的数量，其中rft∈Si。
基于初始参数估计，进一步使用Baum-Welch算法优化参数，对数似然值对应于参数学习的全局收敛性能，当对数似然值变得稳定时，意味着参数收敛到最优值。
步骤6：基于步骤5中构建的FNNGM图模型结构，进行图模型推理，对动作语义序列进行分类；将{rf1:k}作为一个测量的图模型；系统状态序列为S＝{s1:k}和G＝{g1:k}，基于图模型推理的对动作识别进行描述；
步骤6具体按照以下步骤实施：
(61)给定检测量{rf1:k}，以更新隐藏状态信号S＝{s1:k}和g＝{h1:k}，根据贝叶斯规则，计算P(s1)：
将s0和P(s1|s0)设置为初始系统输入，根据公式(8)，(9)，(11)得到P(s1)；
(62)预测C使用检测量更新为：
保证a输出结果在区间[0,1]中，此外，通过测量结果，滤波方程可以重新写为：
基于滤波方程公式(13)，进一步得到最大可能状态路径：
最终获得语义序列最大可能性状态值：
另外，使用FNNGM进行动作识别的算法如下：
输入：待识别动作
输出：识别结果：s*1:k；
1.获取训练动作数据集中的所有代表帧；
2.使用FCM自动提取代表帧特征；
3.获取动作语义集合S＝{S1,...,Sw}，相似姿势集合G＝{G1,...,Gp}。
4.基于代表帧特征数据集，构建FNNGM模型；
5.基于集合S和G，根据公式7-10获取FNNGM的参数：λ＝{
πS,AS,BG,Brf}，并使用Baum-Welch算法优化参数；
6.输入待识别动作，使用FCM提取代表帧{rf1:k}；
7.设定先验分布：P(s0)；
8.for t＝1：k
9.根据贝叶斯规则，使用公式11计算P(st)；
10.根据方程12计算P(st|gt),P(st|rft)；
11.根据方程13计算P(st|g1:t,rf1:t)；
12.根据方程14计算maxsP(s1:t|g1:t,rf1:t)；
13.end for
14.输出最大概率序列作为识别结果：s*1:k＝argmaxs P(s1:t|g1:t,rf1:t)。

Claims (7)

1.一种基于模糊神经网络和图模型推理的动作识别方法，其特征在于，具体按照以下步骤实施：
步骤1：使用Kinect设备拍摄单目及深度视频，拍摄速度为30帧每秒，构建有N个类别的人体运动视频序列数据库Dvideo＝(V1,V2,...,Vi,...,VN)；
步骤2：提取视频Vi的每帧图像，得到帧图像Fi＝(fi1,...,fin)，其中n表示视频Vi的帧数，对fij进行预处理，通过背景差分和肤色模型获取出fij中运动轮廓，通过人体骨架提取法获得运动骨架；
步骤3：基于获得的帧图像Fi＝(fi1,...,fin)聚类获取运动序列代表性的帧RFi＝(rfi1,…,rfic)；所有视频运动类别所对应的代表性帧图像组成人体运动代表帧图像数据库DRF＝{RFi},i＝1,…,p，p代表数据库总运动序列数；
步骤4：基于所有获得的运动姿势关键帧骨架特征训练数据的分类，首先建立动作语义集S＝{S1,…,Sω}，其中ω是通过聚类后动作语义分类的个数；然后基于关键帧运动骨架特征聚类以形成相似的运动集合G＝{G1,…,Gq}，其中q是聚类组的个数；
步骤5：构建一个基于概率图模型的模糊神经网络系统进行运动语义推理，来识别由每个代表帧确定的身体姿态语义，使用概率图推理来分类动作语义序列；首先训练设计的FNN作为人体姿势分类器；其次，在训练完成的FNN基础上构建图模型；
步骤6：基于步骤5中构建的FNNGM图模型结构，进行图模型推理，对动作语义序列进行分类；将{rf1:k}作为一个测量的图模型；系统状态序列为S＝{s1:k}和G＝{g1:k}，基于图模型推理的对动作识别进行描述。
2.根据权利要求1所述的一种基于模糊神经网络和图模型推理的动作识别方法，其特征在于，所述的步骤2具体按照以下步骤实施：
(21)使用Kinect获取人体运动的RGB彩色与深度图像，去除RGB彩色与深度图像噪声,并对其进行图像校正处理；
(22)根据彩色图像背景的复杂程度采用不同方法去除背景,获得前景彩色图像；
(23)基于前景彩色图像且依据肤色模型对脸部及手部进行定位并将脸部及手部定位质心作为初始获取的关节点；
(24)基于学习得到的贝叶斯分类器对彩色图像前景中的运动人体进行部件分类识别；
(25)依据分类识别结果判定肢体各刚体结构部位类别,再根据各刚体部件的链接关系确定出各关节点,依次联接各关节点形成平面人体骨架结合各个关节点深度数据将平面骨架变换成三维立体骨架。
3.根据权利要求1所述的一种基于模糊神经网络和图模型推理的动作识别方法，其特征在于，所述的步骤3具体按照以下步骤实施：
(31)给定运动序列Fi，使用模糊C均值FCM聚类方法生成代表帧RFi；
(32)使用四元数来呈现身体姿态，计算两帧间距离；设fi为第i帧中的运动描述符，f1和f2之间的距离计算为：
d(f1,f2)＝(f1-f2)(f1-f2)T
使用聚类方法来生成c个聚类中心，选择距离聚类中心最短距离的一些帧作为代表帧，代表帧可表示为RFi＝{rfk}k＝1:c，其中rfk对应于第k个聚类中心。
4.根据权利要求1所述的一种基于模糊神经网络和图模型推理的人体运动识别方法，其特征在于，所述的步骤4具体按照以下步骤实施：
(41)从获取的所有运动代表帧中任意选择q个关键帧骨架运动特征作为初始聚类中心；
(42)根据每个聚类对象的均值，计算任意一个关键帧rfi与聚类中心rfk的距离d(rfi,rfk)，rfk代表第k个聚类中心，其欧氏距离为：
<mrow> <mi>d</mi> <mrow> <mo>(</mo> <msub> <mi>rf</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>rf</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>104</mn> </munderover> <mrow> <mo>(</mo> <msubsup> <mi>rf</mi> <mi>j</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>rf</mi> <mi>j</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> </mrow> </msqrt> </mrow>
(43)重新计算每个聚类的均值，按照运动特征数据点到新质心的距离对数据进行分组，并计算每组的均值作为新质心；当均值与原质心相等，也就是说新质心与原质心相等时算法停止计算，如果条件不满足d(rfi,rfk)<ε，则返回(42)，重复执行。
5.根据权利要求1所述的一种基于模糊神经网络和图模型推理的人体运动识别方法，其特征在于，所陈述的步骤5具体按照以下步骤实施：
(51)训练设计的FNN作为人体姿势分类器，使用数据(rfi,Gj),i＝1...n,j＝1...p对FNN进行训练；
(52)在训练完成的FNN基础上构建图模型，具体分析过程如下：
FNNGM的参数定义为l＝(PS,AS,BG,Brf)，其中PS＝[pi]1′w是先验概率矩阵，w是动作语义的数量，AS＝[aij]w′w是语义状态转换矩阵，是手势观察矩阵，是RF观察矩阵，此外，所有矩阵的元素定义为：
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>&amp;pi;</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mn>0</mn> </msub> <mo>=</mo> <msup> <mi>S</mi> <mi>i</mi> </msup> <mo>)</mo> </mrow> <mo>,</mo> <msup> <mi>S</mi> <mi>i</mi> </msup> <mo>&amp;Element;</mo> <mi>S</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>a</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>=</mo> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>S</mi> <mrow> <mi>i</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>|</mo> <msub> <mi>S</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>S</mi> <mrow> <mi>i</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>=</mo> <msup> <mi>S</mi> <mi>i</mi> </msup> <mo>|</mo> <msub> <mi>S</mi> <mi>i</mi> </msub> <mo>=</mo> <msup> <mi>S</mi> <mi>j</mi> </msup> <mo>)</mo> </mrow> <mo>,</mo> <msup> <mi>S</mi> <mi>i</mi> </msup> <mo>,</mo> <msup> <mi>S</mi> <mi>j</mi> </msup> <mo>&amp;Element;</mo> <mi>S</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mi>b</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mi>r</mi> <mi>f</mi> </mrow> </msubsup> <mo>=</mo> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>rf</mi> <mi>t</mi> </msub> <mo>|</mo> <msub> <mi>s</mi> <mi>t</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>rf</mi> <mi>t</mi> </msub> <mo>|</mo> <msub> <mi>s</mi> <mi>t</mi> </msub> <mo>=</mo> <msup> <mi>S</mi> <mi>i</mi> </msup> <mo>)</mo> </mrow> <mo>=</mo> <mi>N</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;mu;</mi> <msub> <mi>S</mi> <mi>i</mi> </msub> </msub> <mo>,</mo> <msub> <mi>&amp;Sigma;s</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <msub> <mi>rf</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>,</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mi>b</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mi>G</mi> </msubsup> <mo>=</mo> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>g</mi> <mi>t</mi> </msub> <mo>|</mo> <msub> <mi>s</mi> <mi>t</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>g</mi> <mi>t</mi> </msub> <mo>=</mo> <msup> <mi>G</mi> <mi>i</mi> </msup> <mo>|</mo> <msub> <mi>s</mi> <mi>t</mi> </msub> <mo>=</mo> <msup> <mi>S</mi> <mi>j</mi> </msup> <mo>)</mo> </mrow> <mo>,</mo> <msup> <mi>G</mi> <mi>i</mi> </msup> <mo>&amp;Element;</mo> <mi>G</mi> <mo>,</mo> <msup> <mi>S</mi> <mi>j</mi> </msup> <mo>&amp;Element;</mo> <mi>S</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
其中S＝{S1,...,Sw}和G＝{G1,...,Gp}分别是动作语义集和相似姿态集合；
估计FNNGM的初始参数如下：基于S和G中的rfi数量，计算图形模型参数：
首先，先验概率的计算为：
<mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>S</mi> <mi>t</mi> </msub> <mo>=</mo> <msup> <mi>S</mi> <mi>i</mi> </msup> <mo>)</mo> </mrow> <mo>&amp;ap;</mo> <mfrac> <msub> <mi>n</mi> <mrow> <msup> <mi>rfes</mi> <mi>t</mi> </msup> </mrow> </msub> <msub> <mi>n</mi> <mrow> <mi>r</mi> <mi>f</mi> </mrow> </msub> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
其中属于语义Si的代表帧数，nrf是训练数据集中所有代表帧的数量；
其次，估计语义交易可能性aij为：
<mrow> <msub> <mi>a</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>=</mo> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>=</mo> <msub> <mi>S</mi> <mi>j</mi> </msub> <mo>|</mo> <msub> <mi>s</mi> <mi>t</mi> </msub> <mo>&amp;Element;</mo> <msup> <mi>S</mi> <mi>i</mi> </msup> <mo>)</mo> </mrow> <mo>&amp;ap;</mo> <mfrac> <msub> <mi>n</mi> <mrow> <msup> <mi>S</mi> <mi>i</mi> </msup> <mo>|</mo> <msup> <mi>S</mi> <mi>j</mi> </msup> </mrow> </msub> <msub> <mi>n</mi> <mrow> <mi>S</mi> <mo>|</mo> <msup> <mi>S</mi> <mi>t</mi> </msup> </mrow> </msub> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>
其中，表示训练数据从rft到rft+1相邻链接的数目，其中rft∈Si，rft+1∈Sj；表示训练数据中从rft到rft+1的邻接链路的数量，其中，rft∈Si，rft+1∈Sj，S为所有可能的语义；
第三，观测可能性是多变量高斯分布，其中参数和分别是期望和方差，可以通过最大似然方法来学习；
最后，计算观测可能性
<mrow> <msubsup> <mi>b</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mi>G</mi> </msubsup> <mo>=</mo> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>g</mi> <mi>t</mi> </msub> <mo>=</mo> <msup> <mi>G</mi> <mi>j</mi> </msup> <mo>|</mo> <msub> <mi>s</mi> <mi>t</mi> </msub> <mo>=</mo> <msup> <mi>S</mi> <mi>i</mi> </msup> <mo>)</mo> </mrow> <mo>&amp;ap;</mo> <mfrac> <msub> <mi>n</mi> <mrow> <msup> <mi>G</mi> <mi>j</mi> </msup> <mo>|</mo> <msup> <mi>S</mi> <mi>i</mi> </msup> </mrow> </msub> <msub> <mi>n</mi> <msup> <mi>S</mi> <mi>i</mi> </msup> </msub> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>
其中表示训练数据中rft的数目，其中rft∈Si∩Gj，表示训练数据中rft的数量，其中rft∈Si。
6.根据权利要求5所述的一种基于模糊神经网络和图模型推理的人体运动识别方法，其特征在于，所述的步骤(51)具体按照以下步骤实施：
(511)构建一个模糊神经网络模型，模糊系统使用的规则如下：
假设：
则：
其中：是模糊集，是系统参数，yi是模糊规则下计算的输出；假定输入为rfi＝(x1,...,xn)，则根据模糊规则计算xj的模糊隶属度为：
<mrow> <msub> <mi>u</mi> <msubsup> <mi>A</mi> <mi>j</mi> <mi>i</mi> </msubsup> </msub> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <msup> <mrow> <mo>(</mo> <mrow> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>-</mo> <msubsup> <mi>c</mi> <mi>j</mi> <mi>i</mi> </msubsup> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>/</mo> <msubsup> <mi>b</mi> <mi>j</mi> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> <mo>,</mo> <mi>j</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mi>k</mi> <mo>;</mo> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mi>n</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
其中，分别是隶属函数中心和宽度，k是输入参数的数量，n是模糊集的数量，则rfi的模糊隶属度计算公式为：
<mrow> <msup> <mi>w</mi> <mi>i</mi> </msup> <mo>=</mo> <msub> <mi>u</mi> <msubsup> <mi>A</mi> <mi>j</mi> <mn>1</mn> </msubsup> </msub> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mo>*</mo> <msub> <mi>u</mi> <msubsup> <mi>A</mi> <mi>j</mi> <mn>2</mn> </msubsup> </msub> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mo>*</mo> <mo>...</mo> <mo>*</mo> <msub> <mi>u</mi> <msubsup> <mi>A</mi> <mi>j</mi> <mi>k</mi> </msubsup> </msub> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>,</mo> <mi>j</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mi>n</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
同时，输出yi计算为：
<mrow> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msup> <mi>&amp;omega;</mi> <mi>i</mi> </msup> <mrow> <mo>(</mo> <msubsup> <mi>p</mi> <mn>0</mn> <mi>i</mi> </msubsup> <mo>+</mo> <msubsup> <mi>p</mi> <mn>1</mn> <mi>i</mi> </msubsup> <msub> <mi>x</mi> <mn>1</mn> </msub> <mo>+</mo> <mo>...</mo> <mo>+</mo> <msubsup> <mi>p</mi> <mi>k</mi> <mi>i</mi> </msubsup> <msub> <mi>x</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>/</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msup> <mi>&amp;omega;</mi> <mi>i</mi> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
(512)所述(511)构建的模糊神经网络模型分为四层：输入层、模糊层、模糊规则层和输出层；在输入层中没有计算操作，在模糊层使用公式(1)计算模糊隶属度，然后根据公式(2)得到规则推理结果，最终通过公式(3)计算输出，得到语义分类结果；
(513)使用数据(rfi,Gj),i＝1...n,j＝1...p对模糊神经网络FNN进行训练，步骤如下:
a.误差计算
<mrow> <mi>y</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <msup> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mi>d</mi> </msub> <mo>-</mo> <msub> <mi>y</mi> <mi>c</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
其中yd是期望输出，yc是实际输出，e＝yd-yc,e是期望输出与实际输出之间的误差；
b.系数修正
<mrow> <mtable> <mtr> <mtd> <mrow> <msubsup> <mi>p</mi> <mi>j</mi> <mi>i</mi> </msubsup> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>p</mi> <mi>j</mi> <mi>i</mi> </msubsup> <mrow> <mo>(</mo> <mi>k</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>-</mo> <mi>&amp;alpha;</mi> <mfrac> <mrow> <mo>&amp;part;</mo> <mi>e</mi> </mrow> <mrow> <mo>&amp;part;</mo> <msubsup> <mi>p</mi> <mi>j</mi> <mi>i</mi> </msubsup> </mrow> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mfrac> <mrow> <mo>&amp;part;</mo> <mi>&amp;epsiv;</mi> </mrow> <mrow> <mo>&amp;part;</mo> <msub> <mi>p</mi> <mfrac> <mi>i</mi> <mi>j</mi> </mfrac> </msub> </mrow> </mfrac> <mo>=</mo> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mi>c</mi> </msub> <mo>-</mo> <msub> <mi>y</mi> <mi>d</mi> </msub> <mo>)</mo> </mrow> <msup> <mi>&amp;omega;</mi> <mi>i</mi> </msup> <mo>/</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <msup> <mi>&amp;omega;</mi> <mi>i</mi> </msup> <msub> <mi>x</mi> <mi>j</mi> </msub> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
其中是系数，a是学习率，wi是输入量xj和的乘积。
c.参数修正
<mrow> <mtable> <mtr> <mtd> <mrow> <msubsup> <mi>c</mi> <mi>j</mi> <mi>i</mi> </msubsup> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>c</mi> <mi>j</mi> <mi>i</mi> </msubsup> <mrow> <mo>(</mo> <mi>k</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>-</mo> <mi>&amp;beta;</mi> <mfrac> <mrow> <mo>&amp;part;</mo> <mi>&amp;epsiv;</mi> </mrow> <mrow> <mo>&amp;part;</mo> <msubsup> <mi>c</mi> <mi>j</mi> <mi>i</mi> </msubsup> </mrow> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mi>b</mi> <mi>j</mi> <mi>i</mi> </msubsup> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>b</mi> <mi>j</mi> <mi>i</mi> </msubsup> <mrow> <mo>(</mo> <mi>k</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>-</mo> <mi>&amp;beta;</mi> <mfrac> <mrow> <mo>&amp;part;</mo> <mi>&amp;epsiv;</mi> </mrow> <mrow> <mo>&amp;part;</mo> <msubsup> <mi>b</mi> <mi>j</mi> <mi>i</mi> </msubsup> </mrow> </mfrac> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
其中分别是隶属函数中心和宽度。
7.根据权利要求1或6任一所述的一种基于模糊神经网络和图模型推理的人体运动识别方法，其特征在于，所述的步骤6具体按照以下步骤实施：
(61)给定检测量{rf1:k}，以更新隐藏状态信号S＝{s1:k}和g＝{h1:k}，根据贝叶斯规则，计算P(s1)：
<mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <msub> <mi>s</mi> <mn>0</mn> </msub> <mo>=</mo> <mn>1</mn> </mrow> <mi>&amp;omega;</mi> </munderover> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mn>1</mn> </msub> <mo>|</mo> <msub> <mi>s</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>11</mn> <mo>)</mo> </mrow> </mrow>
将s0和P(s1|s0)设置为初始系统输入，根据公式(8)，(9)，(11)得到P(s1)；
(62)预测C使用检测量更新为：
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mn>1</mn> </msub> <mo>|</mo> <msub> <mi>rf</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mn>1</mn> </msub> <mo>|</mo> <msub> <mi>rf</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>rf</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>=</mo> <mi>&amp;alpha;</mi> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mn>1</mn> </msub> <mo>|</mo> <msub> <mi>rf</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mn>1</mn> </msub> <mo>|</mo> <msub> <mi>g</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>g</mi> <mn>1</mn> </msub> <mo>|</mo> <msub> <mi>s</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>g</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>=</mo> <mi>&amp;alpha;</mi> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>g</mi> <mn>1</mn> </msub> <mo>|</mo> <msub> <mi>s</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>12</mn> <mo>)</mo> </mrow> </mrow>
保证a输出结果在区间[0,1]中，此外，通过测量结果，滤波方程可以重新写为：
<mrow> <mtable> <mtr> <mtd> <mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mrow> <mn>1</mn> <mo>+</mo> <mi>t</mi> </mrow> </msub> <mo>|</mo> <msub> <mi>g</mi> <mrow> <mn>1</mn> <mo>:</mo> <mn>1</mn> <mo>+</mo> <mi>t</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>rf</mi> <mrow> <mn>1</mn> <mo>:</mo> <mn>1</mn> <mo>+</mo> <mi>t</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mrow> <mn>1</mn> <mo>+</mo> <mi>t</mi> </mrow> </msub> <mo>|</mo> <msub> <mi>rf</mi> <mrow> <mn>1</mn> <mo>+</mo> <mi>t</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>rf</mi> <mrow> <mn>1</mn> <mo>:</mo> <mi>t</mi> </mrow> </msub> <mo>)</mo> </mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mrow> <mn>1</mn> <mo>+</mo> <mi>t</mi> </mrow> </msub> <mo>|</mo> <msub> <mi>g</mi> <mrow> <mn>1</mn> <mo>+</mo> <mi>t</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>g</mi> <mrow> <mn>1</mn> <mo>:</mo> <mi>t</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <mi>&amp;alpha;</mi> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>rf</mi> <mrow> <mn>1</mn> <mo>+</mo> <mi>t</mi> </mrow> </msub> <mo>|</mo> <msub> <mi>s</mi> <mrow> <mn>1</mn> <mo>+</mo> <mi>t</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>rf</mi> <mrow> <mn>1</mn> <mo>:</mo> <mi>t</mi> </mrow> </msub> <mo>)</mo> </mrow> <munder> <mo>&amp;Integral;</mo> <mrow> <msub> <mi>rf</mi> <mi>t</mi> </msub> </mrow> </munder> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mrow> <mn>1</mn> <mo>+</mo> <mi>t</mi> </mrow> </msub> <mo>|</mo> <msub> <mi>rf</mi> <mrow> <mn>1</mn> <mo>+</mo> <mi>t</mi> </mrow> </msub> <mo>)</mo> </mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>g</mi> <mrow> <mn>1</mn> <mo>+</mo> <mi>t</mi> <mo>|</mo> <msub> <mi>s</mi> <mn>1</mn> </msub> <mo>+</mo> <mi>t</mi> </mrow> </msub> <mo>)</mo> </mrow> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>g</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </mrow> </munder> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mrow> <mn>1</mn> <mo>+</mo> <mi>t</mi> </mrow> </msub> <mo>|</mo> <msub> <mi>g</mi> <mrow> <mn>1</mn> <mo>:</mo> <mi>t</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <mi>&amp;alpha;</mi> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>rf</mi> <mrow> <mn>1</mn> <mo>+</mo> <mi>t</mi> </mrow> </msub> <mo>|</mo> <msub> <mi>s</mi> <mrow> <mn>1</mn> <mo>+</mo> <mi>t</mi> </mrow> </msub> <mo>)</mo> </mrow> <munder> <mo>&amp;Integral;</mo> <mrow> <msub> <mi>rf</mi> <mi>t</mi> </msub> </mrow> </munder> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mrow> <mn>1</mn> <mo>+</mo> <mi>t</mi> </mrow> </msub> <mo>|</mo> <msub> <mi>s</mi> <mi>t</mi> </msub> <mo>)</mo> </mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mi>t</mi> </msub> <mo>|</mo> <msub> <mi>rf</mi> <mrow> <mn>1</mn> <mo>:</mo> <mi>t</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>&amp;times;</mo> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>g</mi> <mrow> <mn>1</mn> <mo>+</mo> <mi>t</mi> <mo>|</mo> <msub> <mi>s</mi> <mn>1</mn> </msub> <mo>+</mo> <mi>t</mi> </mrow> </msub> <mo>)</mo> </mrow> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>g</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </mrow> </munder> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mrow> <mn>1</mn> <mo>+</mo> <mi>t</mi> </mrow> </msub> <mo>|</mo> <msub> <mi>s</mi> <mi>t</mi> </msub> <mo>)</mo> </mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mi>t</mi> </msub> <mo>|</mo> <msub> <mi>g</mi> <mrow> <mn>1</mn> <mo>:</mo> <mi>t</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>13</mn> <mo>)</mo> </mrow> </mrow>
基于滤波方程公式(13)，进一步得到最大可能状态路径：
<mrow> <mtable> <mtr> <mtd> <mrow> <munder> <mi>max</mi> <mrow> <msub> <mi>s</mi> <mn>1</mn> </msub> <mo>,</mo> <mi>L</mi> <mo>,</mo> <msub> <mi>s</mi> <mi>t</mi> </msub> </mrow> </munder> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mrow> <mn>1</mn> <mo>:</mo> <mn>1</mn> <mo>+</mo> <mi>t</mi> </mrow> </msub> <mo>|</mo> <msub> <mi>g</mi> <mrow> <mn>1</mn> <mo>:</mo> <mn>1</mn> <mo>+</mo> <mi>t</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>rf</mi> <mrow> <mn>1</mn> <mo>:</mo> <mn>1</mn> <mo>+</mo> <mi>t</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <mi>&amp;alpha;</mi> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>rf</mi> <mrow> <mn>1</mn> <mo>+</mo> <mi>t</mi> </mrow> </msub> <mo>|</mo> <msub> <mi>s</mi> <mrow> <mn>1</mn> <mo>+</mo> <mi>t</mi> </mrow> </msub> <mo>)</mo> </mrow> <munder> <mi>max</mi> <msub> <mi>s</mi> <mi>t</mi> </msub> </munder> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mrow> <mn>1</mn> <mo>+</mo> <mi>t</mi> </mrow> </msub> <mo>|</mo> <msub> <mi>s</mi> <mi>t</mi> </msub> <mo>)</mo> </mrow> <munder> <mi>max</mi> <mrow> <msub> <mi>s</mi> <mn>1</mn> </msub> <mo>,</mo> <mi>L</mi> <mo>,</mo> <msub> <mi>s</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> </mrow> </munder> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mi>t</mi> </msub> <mo>|</mo> <msub> <mi>rf</mi> <mrow> <mn>1</mn> <mo>:</mo> <mi>t</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <mrow></mrow> <mo>&amp;prime;</mo> </msup> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>g</mi> <mrow> <mn>1</mn> <mo>+</mo> <mi>t</mi> </mrow> </msub> <mo>|</mo> <msub> <mi>s</mi> <mrow> <mn>1</mn> <mo>+</mo> <mi>t</mi> </mrow> </msub> <mo>)</mo> </mrow> <munder> <mi>max</mi> <msub> <mi>s</mi> <mi>t</mi> </msub> </munder> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mrow> <mn>1</mn> <mo>+</mo> <mi>t</mi> </mrow> </msub> <mo>|</mo> <msub> <mi>s</mi> <mi>t</mi> </msub> <mo>)</mo> </mrow> <munder> <mi>max</mi> <mrow> <msub> <mi>s</mi> <mn>1</mn> </msub> <mo>,</mo> <mi>L</mi> <mo>,</mo> <msub> <mi>s</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> </mrow> </munder> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mi>t</mi> </msub> <mo>|</mo> <msub> <mi>g</mi> <mrow> <mn>1</mn> <mo>:</mo> <mi>t</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>14</mn> <mo>)</mo> </mrow> </mrow>
最终获得语义序列最大可能性状态值：
CN201710377372.XA 2017-05-25 2017-05-25 一种基于模糊神经网络和图模型推理的动作识别方法 Expired - Fee Related CN107203753B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710377372.XA CN107203753B (zh) 2017-05-25 2017-05-25 一种基于模糊神经网络和图模型推理的动作识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710377372.XA CN107203753B (zh) 2017-05-25 2017-05-25 一种基于模糊神经网络和图模型推理的动作识别方法

Publications (2)

Publication Number Publication Date
CN107203753A true CN107203753A (zh) 2017-09-26
CN107203753B CN107203753B (zh) 2020-09-08

Family

ID=59906051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710377372.XA Expired - Fee Related CN107203753B (zh) 2017-05-25 2017-05-25 一种基于模糊神经网络和图模型推理的动作识别方法

Country Status (1)

Country Link
CN (1) CN107203753B (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107749950A (zh) * 2017-11-09 2018-03-02 睿魔智能科技（东莞）有限公司 一种基于深度学习的拍摄方法和系统
CN107894834A (zh) * 2017-11-09 2018-04-10 上海交通大学 增强现实环境下控制手势识别方法与系统
CN107944431A (zh) * 2017-12-19 2018-04-20 陈明光 一种基于运动变化的智能识别方法
CN108197589A (zh) * 2018-01-19 2018-06-22 北京智能管家科技有限公司 动态人体姿态的语义理解方法、装置、设备和存储介质
CN108647663A (zh) * 2018-05-17 2018-10-12 西安电子科技大学 基于深度学习和多层次图结构模型的人体姿态估计方法
CN108701214A (zh) * 2017-12-25 2018-10-23 深圳市大疆创新科技有限公司 图像数据处理方法、装置及设备
CN108830246A (zh) * 2018-06-25 2018-11-16 中南大学 一种交通环境行人多维运动特征视觉提取方法
CN109011506A (zh) * 2018-07-12 2018-12-18 深圳市虚数科技有限公司 一种训练动作识别方法
CN109409438A (zh) * 2018-11-07 2019-03-01 重庆市勘测院 基于ifcm聚类与变分推断的遥感影像分类方法
CN109409209A (zh) * 2018-09-11 2019-03-01 广州杰赛科技股份有限公司 一种人体行为识别方法与装置
CN109544606A (zh) * 2018-11-02 2019-03-29 山东大学 基于多个Kinect的快速自动配准方法及系统
CN109598337A (zh) * 2018-12-05 2019-04-09 河南工业大学 分解模糊神经网络优化方法及装置
CN109670520A (zh) * 2017-10-13 2019-04-23 杭州海康威视数字技术股份有限公司 一种目标姿态识别方法、装置及电子设备
CN109697511A (zh) * 2017-10-24 2019-04-30 华为技术有限公司 数据推理方法、装置及计算机设备
EP3528166A1 (en) * 2018-02-19 2019-08-21 Braun GmbH Apparatus and method for classifying a motion of a movable personal appliance
EP3528167A1 (en) * 2018-02-19 2019-08-21 Braun GmbH Apparatus and method for performing a localization of a movable treatment device
EP3528170A1 (en) * 2018-02-19 2019-08-21 Braun GmbH Apparatus and method for classifying the motion of a movable treatment device
CN110472482A (zh) * 2019-07-01 2019-11-19 广东工业大学 一种物体识别及实时翻译的方法及装置
CN111126432A (zh) * 2019-11-14 2020-05-08 武汉纺织大学 一种用于服装设计的人体体型分类方法
CN111325347A (zh) * 2020-02-19 2020-06-23 山东大学 基于可解释视觉推理模型的危险预警描述自动生成方法
CN112106073A (zh) * 2018-05-09 2020-12-18 渊慧科技有限公司 使用网格代码执行导航任务
CN112201323A (zh) * 2020-10-16 2021-01-08 童心堂健康科技(北京)有限公司 基于人工智能的运动监测方法、装置和计算机设备
CN112295617A (zh) * 2020-09-18 2021-02-02 济南大学 一种基于实验场景态势感知的智能烧杯
US10929987B2 (en) 2017-08-16 2021-02-23 Nvidia Corporation Learning rigidity of dynamic scenes for three-dimensional scene flow estimation
CN112771542A (zh) * 2018-09-27 2021-05-07 渊慧科技有限公司 以学习的视觉实体为基础的强化学习神经网络
CN114724247A (zh) * 2022-04-11 2022-07-08 西安电子科技大学广州研究院 面向特定场景下基于语义认知的姿态估计方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100086215A1 (en) * 2008-08-26 2010-04-08 Marian Steward Bartlett Automated Facial Action Coding System
CN102682302A (zh) * 2012-03-12 2012-09-19 浙江工业大学 一种基于关键帧的多特征融合的人体姿态识别方法
CN103605986A (zh) * 2013-11-27 2014-02-26 天津大学 一种基于局部特征的人体动作识别方法
CN105373810A (zh) * 2015-11-12 2016-03-02 清华大学 一种用于建立动作识别模型的方法及系统
US20160232157A1 (en) * 2015-02-05 2016-08-11 Microsoft Technology Licensing, Llc Document retrieval/identification using topics
CN106203363A (zh) * 2016-07-15 2016-12-07 中国科学院自动化研究所 人体骨架运动序列行为识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100086215A1 (en) * 2008-08-26 2010-04-08 Marian Steward Bartlett Automated Facial Action Coding System
CN102682302A (zh) * 2012-03-12 2012-09-19 浙江工业大学 一种基于关键帧的多特征融合的人体姿态识别方法
CN103605986A (zh) * 2013-11-27 2014-02-26 天津大学 一种基于局部特征的人体动作识别方法
US20160232157A1 (en) * 2015-02-05 2016-08-11 Microsoft Technology Licensing, Llc Document retrieval/identification using topics
CN105373810A (zh) * 2015-11-12 2016-03-02 清华大学 一种用于建立动作识别模型的方法及系统
CN106203363A (zh) * 2016-07-15 2016-12-07 中国科学院自动化研究所 人体骨架运动序列行为识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LORENZO LIVI等: "Entropic One-Class Classifiers", 《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》 *
刘建伟等: "概率图模型推理方法的研究进展", 《计算机科学》 *

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11508076B2 (en) 2017-08-16 2022-11-22 Nvidia Corporation Learning rigidity of dynamic scenes for three-dimensional scene flow estimation
US10929987B2 (en) 2017-08-16 2021-02-23 Nvidia Corporation Learning rigidity of dynamic scenes for three-dimensional scene flow estimation
CN109670520A (zh) * 2017-10-13 2019-04-23 杭州海康威视数字技术股份有限公司 一种目标姿态识别方法、装置及电子设备
CN109670520B (zh) * 2017-10-13 2021-04-09 杭州海康威视数字技术股份有限公司 一种目标姿态识别方法、装置及电子设备
CN109697511A (zh) * 2017-10-24 2019-04-30 华为技术有限公司 数据推理方法、装置及计算机设备
CN107894834A (zh) * 2017-11-09 2018-04-10 上海交通大学 增强现实环境下控制手势识别方法与系统
CN107894834B (zh) * 2017-11-09 2021-04-02 上海交通大学 增强现实环境下控制手势识别方法与系统
CN107749950A (zh) * 2017-11-09 2018-03-02 睿魔智能科技（东莞）有限公司 一种基于深度学习的拍摄方法和系统
CN107944431A (zh) * 2017-12-19 2018-04-20 陈明光 一种基于运动变化的智能识别方法
CN107944431B (zh) * 2017-12-19 2019-04-26 天津天远天合科技有限公司 一种基于运动变化的智能识别方法
CN108701214A (zh) * 2017-12-25 2018-10-23 深圳市大疆创新科技有限公司 图像数据处理方法、装置及设备
CN108197589A (zh) * 2018-01-19 2018-06-22 北京智能管家科技有限公司 动态人体姿态的语义理解方法、装置、设备和存储介质
EP3528171A3 (en) * 2018-02-19 2020-01-08 Braun GmbH Apparatus and method for performing a localization of a movable treatment device
EP3528172A3 (en) * 2018-02-19 2020-01-08 Braun GmbH System for classifying the usage of a handheld consumer device
US12056208B2 (en) 2018-02-19 2024-08-06 Braun Gmbh Apparatus and method for performing a localization of a movable treatment device
EP3528166A1 (en) * 2018-02-19 2019-08-21 Braun GmbH Apparatus and method for classifying a motion of a movable personal appliance
EP3528167A1 (en) * 2018-02-19 2019-08-21 Braun GmbH Apparatus and method for performing a localization of a movable treatment device
EP3528170A1 (en) * 2018-02-19 2019-08-21 Braun GmbH Apparatus and method for classifying the motion of a movable treatment device
WO2019159127A1 (en) * 2018-02-19 2019-08-22 Braun Gmbh Apparatus and method for classifying the motion of a movable treatment device
WO2019159130A3 (en) * 2018-02-19 2019-10-17 Braun Gmbh System for classifying the usage of a handheld consumer device
WO2019159128A3 (en) * 2018-02-19 2019-10-17 Braun Gmbh Apparatus and method for performing a localization of a movable treatment device
WO2019159129A3 (en) * 2018-02-19 2019-10-31 Braun Gmbh Apparatus and method for performing a localization of a movable treatment device
US12045710B2 (en) 2018-02-19 2024-07-23 Braun Gmbh Apparatus and method for classifying the motion of a movable treatment device
US11755686B2 (en) 2018-02-19 2023-09-12 Braun Gmbh System for classifying the usage of a handheld consumer device
US12033057B2 (en) 2018-02-19 2024-07-09 Braun Gmbh System for classifying the usage of a handheld consumer device
CN112106073A (zh) * 2018-05-09 2020-12-18 渊慧科技有限公司 使用网格代码执行导航任务
CN108647663A (zh) * 2018-05-17 2018-10-12 西安电子科技大学 基于深度学习和多层次图结构模型的人体姿态估计方法
CN108647663B (zh) * 2018-05-17 2021-08-06 西安电子科技大学 基于深度学习和多层次图结构模型的人体姿态估计方法
CN108830246B (zh) * 2018-06-25 2022-02-15 中南大学 一种交通环境行人多维运动特征视觉提取方法
CN108830246A (zh) * 2018-06-25 2018-11-16 中南大学 一种交通环境行人多维运动特征视觉提取方法
CN109011506A (zh) * 2018-07-12 2018-12-18 深圳市虚数科技有限公司 一种训练动作识别方法
CN109409209A (zh) * 2018-09-11 2019-03-01 广州杰赛科技股份有限公司 一种人体行为识别方法与装置
CN112771542B (zh) * 2018-09-27 2024-03-05 渊慧科技有限公司 以学习的视觉实体为基础的强化学习神经网络
CN112771542A (zh) * 2018-09-27 2021-05-07 渊慧科技有限公司 以学习的视觉实体为基础的强化学习神经网络
CN109544606B (zh) * 2018-11-02 2022-02-15 山东大学 基于多个Kinect的快速自动配准方法及系统
CN109544606A (zh) * 2018-11-02 2019-03-29 山东大学 基于多个Kinect的快速自动配准方法及系统
CN109409438A (zh) * 2018-11-07 2019-03-01 重庆市勘测院 基于ifcm聚类与变分推断的遥感影像分类方法
CN109409438B (zh) * 2018-11-07 2021-09-07 重庆市勘测院 基于ifcm聚类与变分推断的遥感影像分类方法
CN109598337A (zh) * 2018-12-05 2019-04-09 河南工业大学 分解模糊神经网络优化方法及装置
CN109598337B (zh) * 2018-12-05 2021-02-02 河南工业大学 基于分解模糊神经网络的二氧化硫浓度预测方法
CN110472482A (zh) * 2019-07-01 2019-11-19 广东工业大学 一种物体识别及实时翻译的方法及装置
CN111126432A (zh) * 2019-11-14 2020-05-08 武汉纺织大学 一种用于服装设计的人体体型分类方法
CN111325347A (zh) * 2020-02-19 2020-06-23 山东大学 基于可解释视觉推理模型的危险预警描述自动生成方法
CN112295617A (zh) * 2020-09-18 2021-02-02 济南大学 一种基于实验场景态势感知的智能烧杯
CN112295617B (zh) * 2020-09-18 2022-04-01 济南大学 一种基于实验场景态势感知的智能烧杯
CN112201323A (zh) * 2020-10-16 2021-01-08 童心堂健康科技(北京)有限公司 基于人工智能的运动监测方法、装置和计算机设备
CN114724247B (zh) * 2022-04-11 2023-01-31 西安电子科技大学广州研究院 面向特定场景下基于语义认知的姿态估计方法及系统
CN114724247A (zh) * 2022-04-11 2022-07-08 西安电子科技大学广州研究院 面向特定场景下基于语义认知的姿态估计方法及系统

Also Published As

Publication number Publication date
CN107203753B (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
CN107203753B (zh) 一种基于模糊神经网络和图模型推理的动作识别方法
Wang et al. Binge watching: Scaling affordance learning from sitcoms
CN109815826B (zh) 人脸属性模型的生成方法及装置
CN106778796B (zh) 基于混合式协同训练的人体动作识别方法及系统
CN108182447B (zh) 一种基于深度学习的自适应粒子滤波目标跟踪方法
CN108288051B (zh) 行人再识别模型训练方法及装置、电子设备和存储介质
CN104463191A (zh) 一种基于注意机制的机器人视觉处理方法
CN107169117B (zh) 一种基于自动编码器和dtw的手绘图人体运动检索方法
CN112784929B (zh) 一种基于双元组扩充的小样本图像分类方法及装置
CN108764019A (zh) 一种基于多源深度学习的视频事件检测方法
Kumar et al. 3D sign language recognition using spatio temporal graph kernels
Ari et al. Facial feature tracking and expression recognition for sign language
Vieriu et al. On HMM static hand gesture recognition
CN110046544A (zh) 基于卷积神经网络的数字手势识别方法
Yang et al. A robust iris segmentation using fully convolutional network with dilated convolutions
Ridge et al. Self-supervised cross-modal online learning of basic object affordances for developmental robotic systems
Amrutha et al. Human Body Pose Estimation and Applications
Iosifidis et al. Neural representation and learning for multi-view human action recognition
CN109191485B (zh) 一种基于多层超图模型的多视频目标协同分割方法
Kumar et al. Early estimation model for 3D-discrete indian sign language recognition using graph matching
CN112200110A (zh) 一种基于深度干扰分离学习的人脸表情识别方法
CN113159002B (zh) 一种基于自注意力权重辅助模块的人脸表情识别方法
CN114492634A (zh) 一种细粒度装备图片分类识别方法及系统
CN111160161B (zh) 一种基于噪声剔除的自步学习人脸年龄估计方法
Rajan et al. Gesture recognition of RGB-D and RGB static images using ensemble-based CNN architecture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200908

Termination date: 20210525