CN118486089A - 基于步态识别的情感辅助分析方法及系统 - Google Patents
基于步态识别的情感辅助分析方法及系统 Download PDFInfo
- Publication number
- CN118486089A CN118486089A CN202410948120.8A CN202410948120A CN118486089A CN 118486089 A CN118486089 A CN 118486089A CN 202410948120 A CN202410948120 A CN 202410948120A CN 118486089 A CN118486089 A CN 118486089A
- Authority
- CN
- China
- Prior art keywords
- corner
- initial
- gait
- representation
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005021 gait Effects 0.000 title claims abstract description 215
- 230000008451 emotion Effects 0.000 title claims abstract description 40
- 238000004458 analytical method Methods 0.000 title claims abstract description 27
- 230000003287 optical effect Effects 0.000 claims abstract description 73
- 230000004044 response Effects 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000011156 evaluation Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000002996 emotional effect Effects 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 210000000323 shoulder joint Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000007665 sagging Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及数据处理技术领域，具体涉及基于步态识别的情感辅助分析方法及系统，包括：获取识别对象步态图像序列，并获取序列中每帧识别对象步态图像的角点以及初始响应值。通过构建直角坐标系并获取初始角点以及光流角点，将识别对象步态图像序列划分为多个目标序列段。计算每个初始角点的人体角点表现程度，以确定初始表现角点。然后计算出识别对象步态图像序列的移动误差，进而计算出初始表现角点的调整响应值，根据初始表现角点的调整响应值重新进行角点检测，得到若干个人体角点轨迹序列，从而最终得到人体的情感状态。本发明通过对连续帧的识别对象步态图像中角点进行分析，准确的保留人体角点，从而提高步态识别的准确性。
Description
技术领域
本发明涉及数据处理技术领域，具体涉及基于步态识别的情感辅助分析方法及系统。
背景技术
人在行走时的姿态和模式，可以包含丰富的情感信息，通过分析个体行走姿态推断其情绪状态，可以用于多种场景，如安全监控增强、人机交互及医疗健康领域。通过非接触式的收集步态数据，提供对情绪状态的实时和客观的评估。
通过研究个体行走时的姿态和模式来识别和理解其情绪状态，而关节的位置对于理解行走模式至关重要，角点检测可以辅助确定关节的近似位置，因此使用角点检测在人体的行走过程中进行步态识别。但获取行走过程中的人体角点时，复杂背景中包含可能被识别为人体角点的干扰情况，会对获取人体角点造成困难，从而影响最终步态识别的结果。
发明内容
本发明提供基于步态识别的情感辅助分析方法及系统，以解决现有的问题。
本发明的基于步态识别的情感辅助分析方法及系统采用如下技术方案：
本发明一个实施例提供了基于步态识别的情感辅助分析方法，该方法包括以下步骤：
获取识别对象步态图像序列；
在识别对象步态图像序列中，获取每帧识别对象步态图像的若干个角点以及每个角点的初始响应值；构建每帧识别对象步态灰度图像的直角坐标系；将第一帧识别对象步态图像的角点，记为初始角点；获取每个初始角点在每帧识别对象步态图像中的光流角点；
根据每个初始角点在所有识别对象步态图像的每个光流角点在直角坐标系上到原点的距离之间的差异，将识别对象步态图像序列等分为若干个目标序列段；
根据每个初始角点在每个目标序列段的同序数值的识别对象步态图像的每个光流角点的链码值以及在直角坐标系上到原点的距离之间的差异，得到每个初始角点的人体角点表现程度；根据每个初始角点的人体角点表现程度，得到若干个初始表现角点；
根据初始表现角点的数量和每个初始表现角点在每个目标序列段的每帧识别对象步态图像的光流角点所处边缘线的长度，得到识别对象步态图像序列的移动误差；
根据识别对象步态图像序列的移动误差、初始表现角点在每个目标序列段的同序数值的识别对象步态图像的光流角点的位置之间的差异、初始响应值以及人体角点表现程度，得到每个初始表现角点的调整响应值；根据初始表现角点的调整响应值重新进行角点检测，得到若干个人体角点轨迹序列；根据若干个人体角点轨迹序列，使用训练后的神经网络，得到人体的情感状态。
进一步地，所述根据每个初始角点在所有识别对象步态图像的每个光流角点在直角坐标系上到原点的距离之间的差异，将识别对象步态图像序列等分为若干个目标序列段，包括的具体步骤如下：
预设若干个分段周期，使用任意一个分段周期将识别对象步态灰度图像序列等分为若干个序列段；
根据每个初始角点对应在第个分段周期对应的每个序列段中每帧识别对象步态图像的光流角点与直角坐标系原点的距离，得到第个分段周期对应的周期评价指标；
将周期评价指标最大的分段周期，记为最终步态周期；
将最终步态周期对应的序列段，记为目标序列段。
进一步地，所述根据每个初始角点对应在第个分段周期对应的每个序列段中每帧识别对象步态图像的光流角点与直角坐标系原点的距离，得到第个分段周期对应的周期评价指标对应的具体计算公式为：
其中，表示第个分段周期对应的周期评价指标；表示初始角点的数量；表示第个分段周期对应的序列段的数量；表示第个分段周期对应的序列段中的识别对象步态图像的数量；表示第个初始角点对应在第个分段周期对应的第个序列段中第帧识别对象步态图像的光流角点与直角坐标系原点的距离；表示第个初始角点对应在第个分段周期对应的第个序列段中第帧识别对象步态图像的光流角点与直角坐标系原点的距离；表示绝对值；表示以自然常数为底的指数函数。
进一步地，所述根据每个初始角点在每个目标序列段的同序数值的识别对象步态图像的每个光流角点的链码值以及在直角坐标系上到原点的距离之间的差异，得到每个初始角点的人体角点表现程度对应的具体计算公式为：
其中，表示第个初始角点的人体角点表现程度；表示目标序列段的数量；表示每个目标序列段的识别对象步态图像的数量；表示第个初始角点在第个目标序列段的第帧识别对象步态图像的光流角点在直角坐标系上与原点的距离；表示第个初始角点在第个目标序列段的第帧识别对象步态图像的光流角点在直角坐标系上与原点的距离；表示第个初始角点在第个目标序列段的第帧识别对象步态图像的光流角点的链码值；表示第个初始角点在第个目标序列段的第帧识别对象步态图像的光流角点的链码值；表示绝对值；表示以自然常数为底的指数函数；表示线性归一化函数。
进一步地，所述根据每个初始角点的人体角点表现程度，得到若干个初始表现角点，包括的具体步骤如下：
当大于时，则将第个初始角点，记为初始表现角点；其中，为预设的表现程度阈值，为第个初始角点的人体角点表现程度。
进一步地，所述根据初始表现角点的数量和每个初始表现角点在每个目标序列段的每帧识别对象步态图像的光流角点所处边缘线的长度，得到识别对象步态图像序列的移动误差对应的具体计算公式为：
其中，表示识别对象步态图像序列的移动误差；表示初始表现角点的数量；表示目标序列段的数量；表示每个目标序列段的识别对象步态图像的数量；表示第z个初始表现角点在第个目标序列段的第帧识别对象步态图像的光流角点所处边缘线的长度；表示第z个初始表现角点在第个目标序列段的第帧识别对象步态图像的光流角点所处边缘线的长度。
进一步地，所述根据识别对象步态图像序列的移动误差、初始表现角点在每个目标序列段的同序数值的识别对象步态图像的光流角点的位置之间的差异、初始响应值以及人体角点表现程度，得到每个初始表现角点的调整响应值，包括的具体步骤如下：
根据识别对象步态图像序列的移动误差、第个初始表现角点以及第个初始表现角点所处边缘线上相邻的初始表现角点在每个目标序列段的中所有帧识别对象步态灰度图像的光流角点在直角坐标系上的坐标构成的曲线之间的差异，得到第个初始表现角点的联动性；
根据第个初始表现角点的联动性、人体角点表现程度以及初始响应值，得到第个初始表现角点的调整响应值。
进一步地，所述根据识别对象步态图像序列的移动误差、第个初始表现角点以及第个初始表现角点所处边缘线上相邻的初始表现角点在每个目标序列段的中所有帧识别对象步态灰度图像的光流角点在直角坐标系上的坐标构成的曲线之间的差异，得到第个初始表现角点的联动性对应的具体计算公式为：
其中，表示第个初始表现角点的联动性；表示第个初始表现角点所处边缘线上与第个初始表现角点相邻的初始表现角点的数量；表示目标序列段的数量；表示第个初始表现角点在第个目标序列段的中所有帧识别对象步态灰度图像的光流角点在直角坐标系上的坐标构成的曲线；表示第个初始表现角点所处边缘线上相邻的第个初始表现角点在第个目标序列段的中所有帧识别对象步态灰度图像的光流角点在直角坐标系上的坐标构成的曲线；表示识别对象步态图像序列的移动误差；表示以自然常数为底的指数函数；表示线性归一化函数；表示和的DTW距离值。
进一步地，所述根据第个初始表现角点的联动性、人体角点表现程度以及初始响应值，得到第个初始表现角点的调整响应值，包括的具体步骤如下：
将第个初始表现角点的联动性、人体角点表现程度以及初始响应值的乘积，记为第个初始表现角点的调整响应值。
本发明还提出了基于步态识别的情感辅助分析系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述存储器存储的计算机程序，以实现前述所述的基于步态识别的情感辅助分析方法的步骤。
本发明的技术方案的有益效果是：
获取识别对象步态图像序列；
在识别对象步态图像序列中，获取每帧识别对象步态图像的若干个角点以及每个角点的初始响应值；构建每帧识别对象步态灰度图像的直角坐标系；将第一帧识别对象步态图像的角点，记为初始角点；获取每个初始角点在每帧识别对象步态图像中的光流角点；根据每个初始角点在所有识别对象步态图像的每个光流角点在直角坐标系上到原点的距离之间的差异，将识别对象步态图像序列等分为若干个目标序列段，可以更准确的识别和分析每一步态周期的特征。根据每个初始角点在每个目标序列段的同序数值的识别对象步态图像的每个光流角点的链码值以及在直角坐标系上到原点的距离之间的差异，得到每个初始角点的人体角点表现程度；根据每个初始角点的人体角点表现程度，得到若干个初始表现角点；提高了获取人体角点的准确性。根据初始表现角点的数量和每个初始表现角点在每个目标序列段的每帧识别对象步态图像的光流角点所处边缘线的长度，得到识别对象步态图像序列的移动误差，降低了背景角点对获取人体角点时的影响。根据识别对象步态图像序列的移动误差、初始表现角点在每个目标序列段的同序数值的识别对象步态图像的光流角点的位置之间的差异、初始响应值以及人体角点表现程度，得到每个初始表现角点的调整响应值，进一步提高了获取人体角点的准确性。根据初始表现角点的调整响应值重新进行角点检测，得到若干个人体角点轨迹序列；根据若干个人体角点轨迹序列，使用训练后的神经网络，得到人体的情感状态。本发明通过对连续帧的识别对象步态图像中角点进行分析，准确的保留人体角点，从而提高步态识别的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于步态识别的情感辅助分析方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于步态识别的情感辅助分析方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的基于步态识别的情感辅助分析方法及系统的具体方案。
请参阅图1，其示出了本发明一个实施例提供的基于步态识别的情感辅助分析方法的步骤流程图，该方法包括以下步骤：
步骤S001：获取识别对象步态图像序列。
选择一个适合行走的场地，将多个高清摄像机固定在不同角度进行录制，将录制的视频进行预处理，如去噪、裁剪、增强对比度以及灰度化处理，截取录制的视频中每帧的识别对象步态图像，得到连续帧构成的识别对象步态图像序列。
步骤S002：在识别对象步态图像序列中，获取每帧识别对象步态图像的若干个角点以及每个角点的初始响应值；构建每帧识别对象步态灰度图像的直角坐标系；将第一帧识别对象步态图像的角点，记为初始角点；获取每个初始角点在每帧识别对象步态图像中的光流角点。
使用Harris角点检测对每帧识别对象步态图像进行运算，得到每帧识别对象步态图像的若干个角点以及每个角点的初始响应值。其中，Harris角点检测为公知技术，具体方法在此不做介绍。
以每帧识别对象步态灰度图像的左下角的顶点为原点，水平向右为横轴正方向，竖直向上为纵轴正方向构建直角坐标系，得到每帧识别对象步态图像的直角坐标系。
将第一帧识别对象步态图像的所有角点，记为初始角点。
使用光流法对每个初始角点在连续帧的识别对象步态灰度图像序列中进行运算，得到每个初始角点对应在每帧识别对象步态灰度图像中的光流角点。其中，光流法为公知技术，具体方法在此不做介绍。
步骤S003：根据每个初始角点在所有识别对象步态图像的每个光流角点在直角坐标系上到原点的距离之间的差异，将识别对象步态图像序列等分为若干个目标序列段。
所需说明的是：行走时，每次分段周期都是重复的，通过分段，可以更准确的识别和分析每一分段周期的特征，从而区分人与背景之间的角点。每个分段周期内，属于人体的角点经过了位置移动，最后会回到与原位相近的位置，而背景中的角点有可能固定不动，也有可能不断被遮挡或显露，根据不同分段周期内所有角点在变化过程中的位置，获得若干个目标序列段。
预设若干个分段周期，以任意一个分段周期为例，将识别对象步态灰度图像序列等分为若干个序列段，令每个序列段中的识别对象步态灰度图像数量为该任意一个分段周期。
所需说明的是：本实施例中预设若干个分段周期分别为，以此为例进行叙述，其中为识别对象步态灰度图像序列中识别对象步态灰度图像数量的一半，为向上取整。当最后一个序列段中的识别对象步态灰度图像的数量小于该任意一个分段周期时，则不对其进行后续运算。
则第个分段周期对应的周期评价指标对应的具体计算公式为：
其中，表示第个分段周期对应的周期评价指标；表示初始角点的数量；表示第个分段周期对应的序列段的数量；表示第个分段周期对应的序列段中的识别对象步态图像的数量；表示第个初始角点对应在第个分段周期对应的第个序列段中第帧识别对象步态图像的光流角点与直角坐标系原点的距离；表示第个初始角点对应在第个分段周期对应的第个序列段中第帧识别对象步态图像的光流角点与直角坐标系原点的距离；表示绝对值；表示以自然常数为底的指数函数。
所需说明的是：表示相邻识别对象步态图像分段序列内的第帧识别对象步态图像中第个初始角点的光流角点之间的位置差异，人行走时动作重复进行，每个周期内同一帧时的动作同步，的值越小，识别对象步态图像分段序列的周期评价指标的越大。
通过上述过程，得到了第个分段周期对应的周期评价指标。
将每个分段周期按照上述过程进行运算，得到每个分段周期对应的周期评价指标。
将周期评价指标最大的分段周期，记为最终步态周期。
将最终步态周期对应的序列段，记为目标序列段。
所需说明的是：当识别对象步态图像分段序列的识别对象步态图像的数量小于最终步态周期时，则不进行如下运算。
步骤S004：根据每个初始角点在每个目标序列段的同序数值的识别对象步态图像的每个光流角点的链码值以及在直角坐标系上到原点的距离之间的差异，得到每个初始角点的人体角点表现程度；根据每个初始角点的人体角点表现程度，得到若干个初始表现角点。
所需说明的是：在识别对象步态图像序列中，人体角点随着帧数的变化会出现移动，而背景的角点固定不动，并且人体角点的移动方向具有一致性，通过分析每个目标序列段内初始角点的位置移动，及在不同目标序列段内对应的运动方向，可以获得初始角点的人体角点表现程度。
使用链码提取算法对每个初始角点在每帧识别对象步态图像中的每个光流角点进行运算，得到每个初始角点的每个光流角点的链码值。其中，链码提取算法为公知技术，具体方法在此不做介绍。
以第个初始角点为例，则第个初始角点的人体角点表现程度对应的具体计算公式为：
其中，表示第个初始角点的人体角点表现程度；表示目标序列段的数量；表示每个目标序列段的识别对象步态图像的数量；表示第个初始角点在第个目标序列段的第帧识别对象步态图像的光流角点在直角坐标系上与原点的距离；表示第个初始角点在第个目标序列段的第帧识别对象步态图像的光流角点在直角坐标系上与原点的距离；表示第个初始角点在第个目标序列段的第帧识别对象步态图像的光流角点的链码值；表示第个初始角点在第个目标序列段的第帧识别对象步态图像的光流角点的链码值；表示绝对值；表示以自然常数为底的指数函数；表示线性归一化函数。
所需说明的是：的值越大，说明第个初始角点越有可能是人体的角点，则第个初始角点的人体角点表现程度越大；的值越大，说明第个初始角点在相邻目标序列段的同序数值的识别对象步态图像的光流角点的移动方向一致性很高，属于人体角点的初始角点在不同周期内的运动方向是一致的，因此第个初始角点的人体角点表现程度越高。
通过上述过程，得到了第个初始角点的人体角点表现程度。
将每个初始角点按照上述过程进行运算，得到每个初始角点的人体角点表现程度。
当大于时，则将第个初始角点，记为初始表现角点。其中，为预设的表现程度阈值，本实施例预设的表现程度阈值为0.8，以此为例进行叙述。
通过上述过程，得到了若干个初始表现角点。
步骤S005：根据初始表现角点的数量和每个初始表现角点在每个目标序列段的每帧识别对象步态图像的光流角点所处边缘线的长度，得到识别对象步态图像序列的移动误差。
所需说明的是：在某些情绪下，如悲伤时，行走缓慢沉重，肩部保持位置不动，此时肩部关节位置的角点与背景角点相似，在行走过程中都表现为静止状态，需要进一步的区分。在识别对象步态图像序列中人会朝一个方向走去，根据近大远小的原理，人体角点所在边缘线的长度会随行走而发生变化，然而背景的角点所在边缘线的长度不会随时间出现变化，因此通过初始表现角点所在边缘线长度的变化，获得移动误差。
在每个目标序列段中，根据每帧识别对象步态图像中像素点灰度值，使用Sobel边缘检测算法对每帧识别对象步态图像进行边缘检测，得到每帧识别对象步态图像的若干条边缘线。
所需说明的是：角点是图像中的一个局部最大值或者局部最小值，它是图像中的一个尖锐的转折点或者拐角，其往往处于边缘线上。若流光点不处于边缘线上，则不分析该流光角点。
则识别对象步态图像序列的移动误差对应的具体计算公式为：
其中，表示识别对象步态图像序列的移动误差；表示初始表现角点的数量；表示目标序列段的数量；表示每个目标序列段的识别对象步态图像的数量；表示第z个初始表现角点在第个目标序列段的第帧识别对象步态图像的光流角点所处边缘线的长度；表示第z个初始表现角点在第个目标序列段的第帧识别对象步态图像的光流角点所处边缘线的长度。
所需说明的是：的值越大，识别对象步态图像序列的移动误差就越大。
进一步所需说明的是：角点是图像中的一个局部最大值或者局部最小值，它是图像中的一个尖锐的转折点或者拐角，其往往处于边缘线上。若初始表现角点或者其对应的流光点不处于边缘线上，则不分析该初始表现角点。
步骤S006：根据识别对象步态图像序列的移动误差、初始表现角点在每个目标序列段的同序数值的识别对象步态图像的光流角点的位置之间的差异、初始响应值以及人体角点表现程度，得到每个初始表现角点的调整响应值；根据初始表现角点的调整响应值重新进行角点检测，得到若干个人体角点轨迹序列；根据若干个人体角点轨迹序列，使用训练后的神经网络，得到人体的情感状态。
所需说明的是：在同一边缘线上若存在多个初始表现角点，则说明该边缘线上的初始表现角点具有联动性，并且相邻的初始表现角点在每个目标序列段的中所有帧识别对象步态灰度图像的光流角点在直角坐标系上的坐标构成的曲线之间越相似，则该初始表现角点是人体角点的可能性就越大。
以第个初始表现角点为例，则第个初始表现角点的联动性对应的具体计算公式为：
其中，表示第个初始表现角点的联动性；表示第个初始表现角点所处边缘线上与第个初始表现角点相邻的初始表现角点的数量；表示目标序列段的数量；表示每个目标序列段的识别对象步态图像的数量；表示第个初始表现角点在第个目标序列段的中所有帧识别对象步态灰度图像的光流角点在直角坐标系上的坐标构成的曲线；表示第个初始表现角点所处边缘线上相邻的第个初始表现角点在第个目标序列段的中所有帧识别对象步态灰度图像的光流角点在直角坐标系上的坐标构成的曲线；表示识别对象步态图像序列的移动误差；表示以自然常数为底的指数函数；表示线性归一化函数。表示和的DTW距离值，其中，DTW距离值根据DTW算法获取，此为公知技术。
所需说明的是：表示每过一个周期，添加一个移动误差，排除移动误差对联动性计算的干扰；为和的DTW距离值，的值越小，体现初始表现角点之间的运动轨迹越相似，说明第个初始表现角点的联动性越大。
进一步所需说明的是：若第个初始表现角点所处边缘线上没有相邻的初始表现角点时，则不进行分析。
更进一步所需说明的是：人体角点和背景角点进行区分的重要因素为角点之间的联动性，根据获得的初始表现角点的联动性，可以将属于背景的角点被移除，具体过程为当联动性较高时，说明该初始表现角点为人体角点的可能性大，因此调整相应的响应值，使其成为邻域内响应值的最大值，在Harris角点检测的非极大值抑制步骤中，只保留最大响应值的角点，从而筛选出人体角点。
通过上述过程，得到了第个初始表现角点的联动性。
将每个初始表现角点按照上述过程进行运算，得到每个初始表现角点的联动性。
将第个初始表现角点的联动性、人体角点表现程度以及初始响应值的乘积，记为第个初始表现角点的调整响应值。
通过上述过程，得到每个初始表现角点的调整响应值。
第一帧识别对象步态图像使用调整后的初始表现角点的调整响应值，对第一帧识别对象步态图像进行Harris角点检测，获得人体角点。
按照上述方式，得到每帧识别对象步态图像的人体角点。
使用光流法得到连续帧图像中的若干个人体角点轨迹序列。其中Harris角点检测和光流法为公知技术，具体方法在此不做介绍。
根据人行走过程中所有的人体角点轨迹序列，可以获得行走过程中人体姿态的变化，即步态特征，在图像中将角点运动轨迹标记在一张图像中，获得关节位置的移动方向、移动位置及身体摆动规律等信息。通过研究人体行走时的姿态和模式即步态特征可以识别和理解其情绪状态，如快乐情绪下，步态更加轻快，步长较长，则在人体角点的表现是移动方向存在差别、位置移动较大，同时行走时伴随更明显的手臂摆动，头部和上半身的姿态更加直立；而悲伤情绪下，步态可能沉重缓慢，手臂摆动减少，肩膀下垂。不同情感下，具有不同的步态，因此通过获取大量不同情感下的行走步态数据集。使用RNN循环神经网络进行情感分析，从而通过步态识别获得人体的情感状态。
所需说明的是：本实施例中的RNN循环神经网络的输入为所有的人体角点轨迹序列，输出为人体的情感状态，即快乐、悲伤。卷积神经网络模型是ResNet500，以此为例进行叙述，数据集为所有的人体角点轨迹序列构成的数据集，以每个人体角点轨迹序列中人体情感作为样本的标签，如高兴标注为1、悲伤标注为2，利用上述获得的数据集训练该神经网络，使用的损失函数为交叉熵损失函数，具体训练过程是公知的，本实施例不进行具体赘述。
至此，本发明完成。
综上所述，在本发明实施例中，获取识别对象步态图像序列，并获取序列中每帧识别对象步态图像的角点以及初始响应值。通过构建直角坐标系并获取初始角点以及光流角点，将识别对象步态图像序列划分为多个目标序列段。计算每个初始角点的人体角点表现程度，以确定初始表现角点。然后计算出识别对象步态图像序列的移动误差，进而计算出初始表现角点的调整响应值，根据初始表现角点的调整响应值重新进行角点检测，得到若干个人体角点轨迹序列，从而最终得到人体的情感状态。本发明通过对连续帧的识别对象步态图像中角点进行分析，准确的保留人体角点，从而提高步态识别的准确性。
本发明还提供了基于步态识别的情感辅助分析系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述存储器存储的计算机程序，以实现前述所述的基于步态识别的情感辅助分析方法的步骤。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于步态识别的情感辅助分析方法，其特征在于，该方法包括以下步骤：
获取识别对象步态图像序列；
在识别对象步态图像序列中，获取每帧识别对象步态图像的若干个角点以及每个角点的初始响应值；构建每帧识别对象步态灰度图像的直角坐标系；将第一帧识别对象步态图像的角点，记为初始角点；获取每个初始角点在每帧识别对象步态图像中的光流角点；
根据每个初始角点在所有识别对象步态图像的每个光流角点在直角坐标系上到原点的距离之间的差异，将识别对象步态图像序列等分为若干个目标序列段；
根据每个初始角点在每个目标序列段的同序数值的识别对象步态图像的每个光流角点的链码值以及在直角坐标系上到原点的距离之间的差异，得到每个初始角点的人体角点表现程度；根据每个初始角点的人体角点表现程度，得到若干个初始表现角点；
根据初始表现角点的数量和每个初始表现角点在每个目标序列段的每帧识别对象步态图像的光流角点所处边缘线的长度，得到识别对象步态图像序列的移动误差；
根据识别对象步态图像序列的移动误差、初始表现角点在每个目标序列段的同序数值的识别对象步态图像的光流角点的位置之间的差异、初始响应值以及人体角点表现程度，得到每个初始表现角点的调整响应值；根据初始表现角点的调整响应值重新进行角点检测，得到若干个人体角点轨迹序列；根据若干个人体角点轨迹序列，使用训练后的神经网络，得到人体的情感状态。
2.根据权利要求1所述基于步态识别的情感辅助分析方法，其特征在于，所述根据每个初始角点在所有识别对象步态图像的每个光流角点在直角坐标系上到原点的距离之间的差异，将识别对象步态图像序列等分为若干个目标序列段，包括的具体步骤如下：
预设若干个分段周期，使用任意一个分段周期将识别对象步态灰度图像序列等分为若干个序列段；
根据每个初始角点对应在第个分段周期对应的每个序列段中每帧识别对象步态图像的光流角点与直角坐标系原点的距离，得到第个分段周期对应的周期评价指标；
将周期评价指标最大的分段周期，记为最终步态周期；
将最终步态周期对应的序列段，记为目标序列段。
3.根据权利要求2所述基于步态识别的情感辅助分析方法，其特征在于，所述根据每个初始角点对应在第个分段周期对应的每个序列段中每帧识别对象步态图像的光流角点与直角坐标系原点的距离，得到第个分段周期对应的周期评价指标对应的具体计算公式为：
其中，表示第个分段周期对应的周期评价指标；表示初始角点的数量；表示第个分段周期对应的序列段的数量；表示第个分段周期对应的序列段中的识别对象步态图像的数量；表示第个初始角点对应在第个分段周期对应的第个序列段中第帧识别对象步态图像的光流角点与直角坐标系原点的距离；表示第个初始角点对应在第个分段周期对应的第个序列段中第帧识别对象步态图像的光流角点与直角坐标系原点的距离；表示绝对值；表示以自然常数为底的指数函数。
4.根据权利要求1所述基于步态识别的情感辅助分析方法，其特征在于，所述根据每个初始角点在每个目标序列段的同序数值的识别对象步态图像的每个光流角点的链码值以及在直角坐标系上到原点的距离之间的差异，得到每个初始角点的人体角点表现程度对应的具体计算公式为：
其中，表示第个初始角点的人体角点表现程度；表示目标序列段的数量；表示每个目标序列段的识别对象步态图像的数量；表示第个初始角点在第个目标序列段的第帧识别对象步态图像的光流角点在直角坐标系上与原点的距离；表示第个初始角点在第个目标序列段的第帧识别对象步态图像的光流角点在直角坐标系上与原点的距离；表示第个初始角点在第个目标序列段的第帧识别对象步态图像的光流角点的链码值；表示第个初始角点在第个目标序列段的第帧识别对象步态图像的光流角点的链码值；表示绝对值；表示以自然常数为底的指数函数；表示线性归一化函数。
5.根据权利要求1所述基于步态识别的情感辅助分析方法，其特征在于，所述根据每个初始角点的人体角点表现程度，得到若干个初始表现角点，包括的具体步骤如下：
当大于时，则将第个初始角点，记为初始表现角点；其中，为预设的表现程度阈值，为第个初始角点的人体角点表现程度。
6.根据权利要求1所述基于步态识别的情感辅助分析方法，其特征在于，所述根据初始表现角点的数量和每个初始表现角点在每个目标序列段的每帧识别对象步态图像的光流角点所处边缘线的长度，得到识别对象步态图像序列的移动误差对应的具体计算公式为：
其中，表示识别对象步态图像序列的移动误差；表示初始表现角点的数量；表示目标序列段的数量；表示每个目标序列段的识别对象步态图像的数量；表示第z个初始表现角点在第个目标序列段的第帧识别对象步态图像的光流角点所处边缘线的长度；表示第z个初始表现角点在第个目标序列段的第帧识别对象步态图像的光流角点所处边缘线的长度。
7.根据权利要求1所述基于步态识别的情感辅助分析方法，其特征在于，所述根据识别对象步态图像序列的移动误差、初始表现角点在每个目标序列段的同序数值的识别对象步态图像的光流角点的位置之间的差异、初始响应值以及人体角点表现程度，得到每个初始表现角点的调整响应值，包括的具体步骤如下：
根据识别对象步态图像序列的移动误差、第个初始表现角点以及第个初始表现角点所处边缘线上相邻的初始表现角点在每个目标序列段的中所有帧识别对象步态灰度图像的光流角点在直角坐标系上的坐标构成的曲线之间的差异，得到第个初始表现角点的联动性；
根据第个初始表现角点的联动性、人体角点表现程度以及初始响应值，得到第个初始表现角点的调整响应值。
8.根据权利要求7所述基于步态识别的情感辅助分析方法，其特征在于，所述根据识别对象步态图像序列的移动误差、第个初始表现角点以及第个初始表现角点所处边缘线上相邻的初始表现角点在每个目标序列段的中所有帧识别对象步态灰度图像的光流角点在直角坐标系上的坐标构成的曲线之间的差异，得到第个初始表现角点的联动性对应的具体计算公式为：
其中，表示第个初始表现角点的联动性；表示第个初始表现角点所处边缘线上与第个初始表现角点相邻的初始表现角点的数量；表示目标序列段的数量；表示第个初始表现角点在第个目标序列段的中所有帧识别对象步态灰度图像的光流角点在直角坐标系上的坐标构成的曲线；表示第个初始表现角点所处边缘线上相邻的第个初始表现角点在第个目标序列段的中所有帧识别对象步态灰度图像的光流角点在直角坐标系上的坐标构成的曲线；表示识别对象步态图像序列的移动误差；表示以自然常数为底的指数函数；表示线性归一化函数；表示和的DTW距离值。
9.根据权利要求7所述基于步态识别的情感辅助分析方法，其特征在于，所述根据第个初始表现角点的联动性、人体角点表现程度以及初始响应值，得到第个初始表现角点的调整响应值，包括的具体步骤如下：
将第个初始表现角点的联动性、人体角点表现程度以及初始响应值的乘积，记为第个初始表现角点的调整响应值。
10.基于步态识别的情感辅助分析系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9任一项所述的基于步态识别的情感辅助分析方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410948120.8A CN118486089B (zh) | 2024-07-16 | 2024-07-16 | 基于步态识别的情感辅助分析方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410948120.8A CN118486089B (zh) | 2024-07-16 | 2024-07-16 | 基于步态识别的情感辅助分析方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118486089A true CN118486089A (zh) | 2024-08-13 |
| CN118486089B CN118486089B (zh) | 2024-09-20 |
Family
ID=92197387
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410948120.8A Active CN118486089B (zh) | 2024-07-16 | 2024-07-16 | 基于步态识别的情感辅助分析方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118486089B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103049758A (zh) * | 2012-12-10 | 2013-04-17 | 北京工业大学 | 融合步态光流图和头肩均值形状的远距离身份验证方法 |
| CN104866827A (zh) * | 2015-05-19 | 2015-08-26 | 天津大学 | 基于视频监控平台的人员翻越行为的检测方法 |
| CN108416325A (zh) * | 2018-03-27 | 2018-08-17 | 中国计量大学 | 一种结合视角转换模型与隐马尔可夫模型的步态识别方法 |
| US20190162508A1 (en) * | 2017-11-29 | 2019-05-30 | Huntercraft Limited | Automatic deviation correction method |
| CN110766698A (zh) * | 2019-10-16 | 2020-02-07 | 浙江工业大学 | 一种动态背景下振荡苹果跟踪识别方法 |
| WO2020260635A1 (fr) * | 2019-06-26 | 2020-12-30 | Ekinnox | Procédé d'analyse de la démarche d'un individu |
| US20210089040A1 (en) * | 2016-02-29 | 2021-03-25 | AI Incorporated | Obstacle recognition method for autonomous robots |
| WO2021135557A1 (zh) * | 2019-12-30 | 2021-07-08 | 清华大学 | 一种人工智能多模成像分析装置 |
| WO2021217542A1 (zh) * | 2020-04-30 | 2021-11-04 | 深圳大学 | 步态识别方法、装置、终端及存储介质 |
| CN117372966A (zh) * | 2023-12-06 | 2024-01-09 | 陕西龙跃锐星科技有限公司 | 基于视频监控的转台状态监测方法 |
| CN117474959A (zh) * | 2023-12-19 | 2024-01-30 | 北京智汇云舟科技有限公司 | 基于视频数据的目标对象运动轨迹处理方法及系统 |
| CN117854011A (zh) * | 2024-03-07 | 2024-04-09 | 福建南亿智能科技有限公司 | 一种智能ai摄像头识别对比方法及系统 |
-
2024
- 2024-07-16 CN CN202410948120.8A patent/CN118486089B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103049758A (zh) * | 2012-12-10 | 2013-04-17 | 北京工业大学 | 融合步态光流图和头肩均值形状的远距离身份验证方法 |
| CN104866827A (zh) * | 2015-05-19 | 2015-08-26 | 天津大学 | 基于视频监控平台的人员翻越行为的检测方法 |
| US20210089040A1 (en) * | 2016-02-29 | 2021-03-25 | AI Incorporated | Obstacle recognition method for autonomous robots |
| US20190162508A1 (en) * | 2017-11-29 | 2019-05-30 | Huntercraft Limited | Automatic deviation correction method |
| CN108416325A (zh) * | 2018-03-27 | 2018-08-17 | 中国计量大学 | 一种结合视角转换模型与隐马尔可夫模型的步态识别方法 |
| WO2020260635A1 (fr) * | 2019-06-26 | 2020-12-30 | Ekinnox | Procédé d'analyse de la démarche d'un individu |
| CN110766698A (zh) * | 2019-10-16 | 2020-02-07 | 浙江工业大学 | 一种动态背景下振荡苹果跟踪识别方法 |
| WO2021135557A1 (zh) * | 2019-12-30 | 2021-07-08 | 清华大学 | 一种人工智能多模成像分析装置 |
| WO2021217542A1 (zh) * | 2020-04-30 | 2021-11-04 | 深圳大学 | 步态识别方法、装置、终端及存储介质 |
| CN117372966A (zh) * | 2023-12-06 | 2024-01-09 | 陕西龙跃锐星科技有限公司 | 基于视频监控的转台状态监测方法 |
| CN117474959A (zh) * | 2023-12-19 | 2024-01-30 | 北京智汇云舟科技有限公司 | 基于视频数据的目标对象运动轨迹处理方法及系统 |
| CN117854011A (zh) * | 2024-03-07 | 2024-04-09 | 福建南亿智能科技有限公司 | 一种智能ai摄像头识别对比方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| AHMED KARAM ELDALY等: "Deconvolution of Irregularly Subsampled Images", 2018 IEEE STATISTICAL SIGNAL PROCESSING WORKSHOP (SSP), 30 August 2018 (2018-08-30) * |
| 余静, 游志胜: "自动目标识别与跟踪技术研究综述", 计算机应用研究, no. 01, 28 January 2005 (2005-01-28) * |
| 蒋晓瑜;姚军;宋小杉;汪熙;: "基于局部光流约束的角点匹配算法", 光学技术, no. 02, 15 March 2010 (2010-03-15) * |
| 邓小炼;杜玉琪;王长耀;王晓花;: "像素自相关矩阵的阈值自适应角点检测算法", 农业工程学报, no. 18, 23 September 2017 (2017-09-23) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118486089B (zh) | 2024-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109558832B (zh) | 一种人体姿态检测方法、装置、设备及存储介质 | |
| CN109815850B (zh) | 基于深度学习的虹膜图像分割及定位方法、系统、装置 | |
| Zhou et al. | A novel finger and hand pose estimation technique for real-time hand gesture recognition | |
| Du et al. | Representation learning of temporal dynamics for skeleton-based action recognition | |
| CN108446585B (zh) | 目标跟踪方法、装置、计算机设备和存储介质 | |
| CN106648078B (zh) | 应用于智能机器人的多模态交互方法及系统 | |
| US20110317874A1 (en) | Information Processing Device And Information Processing Method | |
| CN112883896B (zh) | 一种基于bert网络的微表情检测方法 | |
| CN109766838B (zh) | 一种基于卷积神经网络的步态周期检测方法 | |
| Zhang et al. | Multimodal spatiotemporal networks for sign language recognition | |
| CN110991278A (zh) | 计算机视觉系统的视频中人体动作识别方法和装置 | |
| CN112861808A (zh) | 动态手势识别方法、装置、计算机设备及可读存储介质 | |
| CN110956141A (zh) | 一种基于局部识别的人体连续动作快速分析方法 | |
| De Coster et al. | Towards the extraction of robust sign embeddings for low resource sign language recognition | |
| KR20120089948A (ko) | Ｍｈｉ의 형태 정보를 이용한 실시간 동작 인식시스템 및 실시간 동작 인식 방법 | |
| CN111415370A (zh) | 一种基于嵌入式的红外复杂场景目标实时跟踪方法及系统 | |
| Shiravandi et al. | Hand gestures recognition using dynamic Bayesian networks | |
| CN118486089B (zh) | 基于步态识别的情感辅助分析方法及系统 | |
| Yang | Face feature tracking algorithm of aerobics athletes based on Kalman filter and mean shift | |
| Lee et al. | Motion recognition and recovery from occluded monocular observations | |
| Ruiz et al. | Word level sign language recognition via handcrafted features | |
| Xu et al. | 3D joints estimation of human body using part segmentation | |
| CN114550298A (zh) | 短视频的动作识别方法及系统 | |
| Xu | Optical image enhancement based on convolutional neural networks for key point detection in swimming posture analysis | |
| CN105809709B (zh) | 一种基于位平面的运动目标跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |