CN114333046A - 舞蹈动作评分方法、装置、设备和存储介质 - Google Patents
舞蹈动作评分方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN114333046A CN114333046A CN202111358056.0A CN202111358056A CN114333046A CN 114333046 A CN114333046 A CN 114333046A CN 202111358056 A CN202111358056 A CN 202111358056A CN 114333046 A CN114333046 A CN 114333046A
- Authority
- CN
- China
- Prior art keywords
- dance
- standard
- human body
- angle variation
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009471 action Effects 0.000 title claims abstract description 130
- 238000013077 scoring method Methods 0.000 title claims abstract description 24
- 230000033001 locomotion Effects 0.000 claims abstract description 63
- 230000000875 corresponding effect Effects 0.000 claims abstract description 41
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims description 31
- 238000010586 diagram Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 5
- 230000004069 differentiation Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000037237 body shape Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种舞蹈动作评分方法、装置、设备和存储介质，包括：将当前学员的舞蹈动作的人体姿态识别数据输入到人体识别模型，得到人体关节的第一三维坐标；根据所述第一三维坐标获取同一帧图像中人体的相连接的两个骨骼之间的第一夹角；获取所述第一夹角在相邻两帧图像之间的第一角度变化量；将所述第一角度变化量与标准动作的标准角度变化量进行比较，得到角度变化量差值，其中，所述第一角度变化量与对应的所述标准角度变化量所在舞蹈动作的动作序列片段相匹配；根据所述角度变化量差值和当前舞蹈类型对应的评分规则获取所述当前学员的人体不同部位的差异化分数。本发明的技术方案可以较为准确地进行舞蹈动作评分。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种舞蹈动作评分方法、装置、电子设备和非暂态计算机可读存储介质。
背景技术
舞蹈作为一项健身运动慢慢进入更多数人的日常生活。目前的舞蹈锻炼过程中，舞蹈学员需要使用镜子进行舞蹈动作是否到位的自我观察，以进行自我调整，或者由舞蹈教练对舞蹈学员动作是否到位进行评判。
但是，不管是舞蹈学员自己还是舞蹈教练，都不能将舞蹈学员的舞蹈动作与标准的舞蹈动作进行精确的对比。
发明内容
本发明提供一种舞蹈动作评分方法、装置、电子设备和非暂态计算机可读存储介质，用以解决当前技术中不能对舞蹈动作进行精确对比的问题，实现对舞蹈动作的精确评分。
本发明提供一种舞蹈动作评分方法，包括：将当前学员的舞蹈动作的人体姿态识别数据输入到人体识别模型，得到人体关节的第一三维坐标；根据所述第一三维坐标获取同一帧图像中人体的相连接的两个骨骼之间的第一夹角；获取所述第一夹角在相邻两帧图像之间的第一角度变化量；将所述第一角度变化量与标准动作的标准角度变化量进行比较，得到角度变化量差值，其中，所述第一角度变化量与对应的所述标准角度变化量所在舞蹈动作的动作序列片段相匹配；根据所述角度变化量差值和当前舞蹈类型对应的评分规则获取所述当前学员的人体不同部位的差异化分数。
根据本发明提供的一种舞蹈动作评分方法，所述根据所述角度变化量差值和当前舞蹈类型对应的评分规则获取所述当前学员的人体不同部位的差异化分数之后，所述方法还包括：根据所述角度变化量差值和所述标准动作的标准动作数据生成前端显示页面，以进行所述当前学员的舞蹈动作与所述标准动作的对比显示。
根据本发明提供的一种舞蹈动作评分方法，所述将当前学员的舞蹈动作的人体姿态识别数据输入到人体识别模型之前，所述方法还包括：将所述当前学员的学员舞蹈视频输入到预设的人体姿态识别模型，得到所述人体姿态识别数据。
根据本发明提供的一种舞蹈动作评分方法，所述根据所述角度变化量差值和所述标准动作的标准动作数据生成前端显示页面，包括：将所述角度变化量差值进行归一化处理，得到归一化差值；根据所述归一化差值和所述标准动作数据使用绘图协议生成连线圆点图，所述连线圆点图的圆点叠加在所述标准动作的标准视频的对应帧的对应位置上。
根据本发明提供的一种舞蹈动作评分方法，所述根据所述归一化差值和所述标准动作数据使用绘图协议生成连线圆点图，包括：根据所述角度变化量差值和设定的色彩规则，改变所述连线圆点图的圆点和连线的显示颜色。
根据本发明提供的一种舞蹈动作评分方法，所述将所述当前学员的学员舞蹈视频输入到预设的人体姿态识别模型之前，所述方法还包括：获取对所述当前学员的舞蹈动作进行视频采集得到的所述学员舞蹈视频。
根据本发明提供的一种舞蹈动作评分方法，所述将所述第一角度变化量与标准动作的标准角度变化量进行比较之前，所述方法还包括：获取对标准舞蹈者的舞蹈动作进行视频采集得到的标准舞蹈视频；将根据所述标准舞蹈视频得到的所述标准舞蹈者的舞蹈动作的人体姿态识别数据输入到人体识别模型，得到人体关节的第二三维坐标；根据所述第二三维坐标获取同一帧图像中人体的相连接的两个骨骼之间的第二夹角；获取所述第二夹角在相邻两帧图像之间的标准角度变化量。
本发明提供一种舞蹈动作评分装置，包括：第一识别单元，用于将当前学员的舞蹈动作的人体姿态识别数据输入到人体识别模型，得到人体关节的第一三维坐标；第一获取单元，用于根据所述第一三维坐标获取同一帧图像中人体的相连接的两个骨骼之间的第一夹角；第二获取单元，用于获取所述第一夹角在相邻两帧图像之间的第一角度变化量；比较单元，用于将所述第一角度变化量与标准动作的标准角度变化量进行比较，得到角度变化量差值，其中，所述第一角度变化量与对应的所述标准角度变化量所在舞蹈动作的动作序列片段相匹配；评分单元，用于根据所述角度变化量差值和当前舞蹈类型对应的评分规则获取所述当前学员的人体不同部位的差异化分数。
根据本发明提供的一种舞蹈动作评分装置，所述装置还包括显示单元，用于根据所述角度变化量差值和所述标准动作的标准动作数据生成前端显示页面，以进行所述当前学员的舞蹈动作与所述标准动作的对比显示。
根据本发明提供的一种舞蹈动作评分装置，所述装置还包括第二识别单元，用于将所述当前学员的学员舞蹈视频输入到预设的人体姿态识别模型，得到所述人体姿态识别数据。
根据本发明提供的一种舞蹈动作评分装置，所述显示单元还用于将所述角度变化量差值进行归一化处理，得到归一化差值；根据所述归一化差值和所述标准动作数据使用绘图协议生成连线圆点图，所述连线圆点图的圆点叠加在所述标准动作的标准视频的对应帧的对应位置上。
根据本发明提供的一种舞蹈动作评分装置，所述显示单元还用于：根据所述角度变化量差值和设定的色彩规则，改变所述连线圆点图的圆点和连线的显示颜色。
根据本发明提供的一种舞蹈动作评分装置，所述装置还包括第三获取单元，用于获取对所述当前学员的舞蹈动作进行视频采集得到的所述学员舞蹈视频。
根据本发明提供的一种舞蹈动作评分装置，所述装置还包括标准单元，用于获取对标准舞蹈者的舞蹈动作进行视频采集得到的标准舞蹈视频；将根据所述标准舞蹈视频得到的所述标准舞蹈者的舞蹈动作的人体姿态识别数据输入到人体识别模型，得到人体关节的第二三维坐标；根据所述第二三维坐标获取同一帧图像中人体的相连接的两个骨骼之间的第二夹角；获取所述第二夹角在相邻两帧图像之间的标准角度变化量。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述舞蹈动作评分方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述舞蹈动作评分方法的步骤。
本发明提供的舞蹈动作评分方法、装置、电子设备和非暂态计算机可读存储介质，通过对当前学员的舞蹈动作进行人体姿态识别和人体识别，得到人体关节的位置坐标，根据不同人体关节的位置坐标可以得到相邻两帧图像中骨骼角度变化量，将该骨骼角度变化量与标准角度变化量相比较，结合舞蹈评分规则，即可以得到当前舞蹈动作评分。该方案可以得到较为准确的舞蹈评分。
本发明实施例的技术方案为舞蹈学习提供了方便和智能的辅助工具，由计算机根据视频信息或拍摄到的画面进行动作自动对比和打分，在大部分没有舞蹈教练现场指导的情况下，可以使得学员的舞蹈学习变得更方便，纠错效果更好。此外，本发明实施例的技术方案为舞蹈考试考级提供了一种客观的辅助打分手段，对于一些舞蹈基础动作，在人工打分的基础上，提供了一种客观的打分机制，为舞蹈考试考级的组织方增加了一种评判参考方式。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的舞蹈动作评分方法的流程示意图；
图2是本发明提供的获取标准动作数据的流程示意图；
图3是本发明提供的舞蹈动作评分装置的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明一个或多个实施例。在本发明一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本发明一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
下面结合附图对本发明示例实施方式进行详细说明。
如图1所示的是本发明实施例的舞蹈动作评分方法的流程图。本发明实施例提供的方法可以由任意具备计算机处理能力的电子设备执行，例如终端或服务器。如图1所示，该舞蹈动作评分方法包括：
步骤102，将当前学员的舞蹈动作的人体姿态识别数据输入到人体识别模型，得到人体关节的第一三维坐标。
具体地，人体姿态识别数据指的是通过人体姿态识别模型对图像或视频中的人体进行人体姿态识别得到的识别数据。人体姿态识别可以为人体关键点姿态识别，其检测人体行为表达过程中，每一帧人体姿态关键部位的位置，将人体姿态简化为人体关键点，并通过这些关键点对人体姿态表达的语义进行分类识别。本发明实施例中的关键点可以为人体关节。人体姿态识别模型可以是一种神经网络模型。人体识别模型是一种人体三维模型，例如SMPL(A Skinned Multi-Person Linear Model)模型。SMPL模型是一种有皮肤和纹理的基于顶点的模型，可以较为方便地调整以适应各种人体形状以及姿态。
步骤104，根据第一三维坐标获取同一帧图像中人体的相连接的两个骨骼之间的第一夹角。
具体地，骨骼通过人体关节连接，通过人体关节的坐标即可以得到骨骼所在的直线，进而可以得到两个骨骼所在的直线之间的夹角。
步骤106，获取第一夹角在相邻两帧图像之间的第一角度变化量。
具体地，根据一帧图像中的某两个骨骼之间的第一夹角，以及这一帧图像的下一帧图像中的上述两个骨骼之间的第一夹角，即可以得到第一角度变化量。
步骤108，将第一角度变化量与标准动作的标准角度变化量进行比较，得到角度变化量差值，其中，第一角度变化量与对应的标准角度变化量所在舞蹈动作的动作序列片段相匹配。
具体地，标准角度变化量根据采集于标准舞蹈者的相同舞蹈动作的视频得到，自视频得到角度变化量差值的步骤与步骤102至步骤108相似。
步骤110，根据角度变化量差值和当前舞蹈类型对应的评分规则获取当前学员的人体不同部位的差异化分数。
具体地，不同的舞蹈类型允许的角度变化量差值不同，根据当前舞蹈类型对应的评分规则，可以得到当前学员的舞蹈动作的评分，即上述差异化分数。
在相关技术中，舞蹈动作与标准动作的对比多由人工进行，人工靠目测来确定舞蹈动作的幅度和角度，准确性不高，对比标准比较主观，从而使得对比得到的评分不够准确。在本发明实施例的技术方案中，通过计算机视觉技术和运动分析科技技术，对舞蹈动作进行分析，并将分析得到的角度变化量差值通过与标准动作对比进行评分，可以获得较为准确的量化评分以及纠错指导结果。
在步骤102之前，可以获取对当前学员的舞蹈动作进行视频采集得到的学员舞蹈视频，并将当前学员的学员舞蹈视频输入到预设的人体姿态识别模型，得到人体姿态识别数据。
具体地，视频采集设备可以为相机或者穿戴设备。可以使用彩色深度相机去捕捉人体舞蹈动作，也可以使用具有采集彩色深度图像功能的便捷式穿戴设备去捕捉人体舞蹈动作。用计算机控制视频采集设备的镜头，舞蹈者站在视频采集设备的视野内，视频采集设备就可以拍摄到舞蹈者的舞蹈动作，形成视频流。将视频流输入到人体姿态识别模型，即可以得到人体运动的二维和三维参数，之后可以利用人体动作序列编码引擎对捕捉的二维和三维参数进行预测和优化。
在步骤102中，根据优化后的人体运动的二维和三维参数，可以推算出人体关节对应的三维坐标。
在步骤104中，根据人体关节的三维坐标，可以计算出每一帧图像中人体的每两个骨骼之间的夹角，进而在步骤106中，计算该夹角在两帧之间的变化量。
在步骤108之前，还需要获得标准角度变化量。其过程包括如图2所示的如下步骤：
步骤202，获取对标准舞蹈者的舞蹈动作进行视频采集得到的标准舞蹈视频。
步骤204，将根据标准舞蹈视频得到的标准舞蹈者的舞蹈动作的人体姿态识别数据输入到人体识别模型，得到人体关节的第二三维坐标。
步骤206，根据第二三维坐标获取同一帧图像中人体的相连接的两个骨骼之间的第二夹角。
步骤208，获取第二夹角在相邻两帧图像之间的标准角度变化量。
此外，在步骤108中进行角度变化量差值对比时，要求将第一角度变化量与标准角度变化量的时间对齐。在本发明实施例中，可以使用Rule-Base(规则库)的方法对人体舞蹈动作片段进行分割。从而将舞蹈学员和舞蹈教练的动作序列在语义上进行分割，剥离出动作序列片段并匹配舞蹈学员和舞蹈教练相同的动作序列片段，即实现第一角度变化量与对应的标准角度变化量的时间对齐。
在步骤108中的角度对比环节中，可以对剥离出来的动作片段逐帧对比舞蹈学员和舞蹈教练的角度变化量，得到角度变化量差值。
在步骤110中的动作对比的显示环节中，可以根据角度变化量差值和标准动作的标准动作数据生成前端显示页面，以进行当前学员的舞蹈动作与标准动作的对比显示。
具体地，可以将角度变化量差值进行归一化处理，得到归一化差值；根据归一化差值和标准动作数据使用绘图协议生成连线圆点图，连线圆点图的圆点叠加在标准动作的标准视频的对应帧的对应位置上。其中，连线圆点图中的圆点即代表节点，连线即代表骨骼。
在归一化处理时，将角度变化量差值映射到-1到1之间，记为diff(k)，其中，k为当前帧数。diff(k)由服务端发送到前端程序，前端程序中用OpenGL或WebGL将节点和骨骼用圆点和线渲染在画面上，叠加在视频中人体上的对应位置上实现动作对比的显示。其中，OpenGL是一种用于渲染2D(二维)、3D(三维)矢量图形的跨语言、跨平台的应用程序编程接口。WebGL是一种绘图协议。连线圆点图可以使用OpenGL或WebGL中的任一种生成。
此外，还可以根据角度变化量差值和设定的色彩规则，改变连线圆点图的圆点和连线的显示颜色。具体地，可以将归一化差值diff(k)与RGB颜色值对应的数值相乘，改变节点和骨骼的显示颜色，以提供更加直观的显示图像。
本发明实施例的舞蹈动作评分方案通过人体姿态识别环节、人体识别模型建立环节、三维坐标计算环节、关节角度和动力学信息计算环节、运动序列跨时间匹配和分析环节、动力学信息存储和调用环节、动作比对和打分环节以及客户端展示渲染环节，实现了对舞蹈动作本身的语义分割，并且实现了时间的校准对齐，从而可以得到较为精确的评分数据。
在本发明实施例中，舞蹈学习者和舞蹈教练分别使用搭载本发明实施例的技术的系统和产品记录自己的舞蹈动作，算法会根据两人的动作进行匹配和差异查找，并给出打分、评价和纠错的量化指导结果，从而帮助学员学习舞蹈动作。
本发明实施例的技术方案为舞蹈学习提供了方便和智能的辅助工具，由计算机根据视频信息或拍摄到的画面进行动作自动对比和打分，在大部分没有舞蹈教练现场指导的情况下，可以使得学员的舞蹈学习变得更方便，纠错效果更好。此外，本发明实施例的技术方案为舞蹈考试考级提供了一种客观的辅助打分手段，对于一些舞蹈基础动作，在人工打分的基础上，提供了一种客观的打分机制，为舞蹈考试考级的组织方增加了一种评判参考方式。
本发明提供的舞蹈动作评分方法，通过对当前学员的舞蹈动作进行人体姿态识别和人体识别，得到人体关节的位置坐标，根据不同人体关节的位置坐标可以得到相邻两帧图像中骨骼角度变化量，将该骨骼角度变化量与标准角度变化量相比较，结合舞蹈评分规则，即可以得到当前舞蹈动作评分。该方案可以得到较为准确的舞蹈评分。
下面对本发明提供的舞蹈动作评分装置进行描述，下文描述的舞蹈动作评分装置与上文描述的舞蹈动作评分方法可相互对应参照。
如图3所示，本发明实施例的一种舞蹈动作评分装置，该装置包括：
第一识别单元302，可以用于将当前学员的舞蹈动作的人体姿态识别数据输入到人体识别模型，得到人体关节的第一三维坐标。
具体地，人体识别模型是一种人体三维模型，例如SMPL(ASkinned Multi-PersonLinear Model)模型。SMPL模型是一种有皮肤和纹理的基于顶点的模型，可以较为方便地调整以适应各种人体形状以及姿态。
第一获取单元304，可以用于根据第一三维坐标获取同一帧图像中人体的相连接的两个骨骼之间的第一夹角。
具体地，通过人体关节的坐标即可以得到骨骼所在的直线，进而可以得到两个骨骼所在的直线之间的夹角。
第二获取单元306，可以用于获取第一夹角在相邻两帧图像之间的第一角度变化量。
具体地，根据一帧图像中的某两个骨骼之间的第一夹角，以及这一帧图像的下一帧图像中的上述两个骨骼之间的第一夹角，即可以得到第一角度变化量。
比较单元308，可以用于将第一角度变化量与标准动作的标准角度变化量进行比较，得到角度变化量差值，其中，所述第一角度变化量与对应的所述标准角度变化量所在舞蹈动作的动作序列片段相匹配。
评分单元310，可以用于根据角度变化量差值和当前舞蹈类型对应的评分规则获取当前学员的人体不同部位的差异化分数。
在相关技术中，舞蹈动作与标准动作的对比多由人工进行，人工靠目测来确定舞蹈动作的幅度和角度，准确性不高，对比标准比较主观，从而使得对比得到的评分不够准确。在本发明实施例的技术方案中，通过计算机视觉技术和运动分析科技技术，对舞蹈动作进行分析，并将分析得到的角度变化量差值通过与标准动作对比进行评分，可以获得较为准确的量化评分以及纠错指导结果。
在本发明实施例中，装置还可以包括显示单元，用于根据角度变化量差值和标准动作的标准动作数据生成前端显示页面，以进行当前学员的舞蹈动作与标准动作的对比显示。
在本发明实施例中，装置还可以包括第二识别单元，用于将当前学员的学员舞蹈视频输入到预设的人体姿态识别模型，得到人体姿态识别数据。
发明实施例中的关键点可以为人体关节。人体姿态识别模型可以是一种神经网络模型。
在本发明实施例中，显示单元还可以用于将角度变化量差值进行归一化处理，得到归一化差值；根据归一化差值和标准动作数据使用绘图协议生成连线圆点图，连线圆点图的圆点叠加在标准动作的标准视频的对应帧的对应位置上。
在归一化处理时，将角度变化量差值映射到-1到1之间，记为diff(k)，其中，k为当前帧数。diff(k)由服务端发送到前端程序，前端程序中用OpenGL或WebGL将节点和骨骼用圆点和线渲染在画面上，叠加在视频中人体上的对应位置上实现动作对比的显示。
在本发明实施例中，显示单元还可以用于：根据角度变化量差值和设定的色彩规则，改变连线圆点图的圆点和连线的显示颜色。
在本发明实施例中，装置还可以包括第三获取单元，用于获取对当前学员的舞蹈动作进行视频采集得到的学员舞蹈视频。
用计算机控制视频采集设备的镜头，舞蹈者站在视频采集设备的视野内，视频采集设备就可以拍摄到舞蹈者的舞蹈动作，形成视频流。将视频流输入到人体姿态识别模型，即可以得到人体运动的二维和三维参数，之后利用人体动作序列编码引擎对捕捉的二维和三维参数进行预测和优化。
在本发明实施例中，装置还可以包括标准单元，用于获取对标准舞蹈者的舞蹈动作进行视频采集得到的标准舞蹈视频；将根据标准舞蹈视频得到的标准舞蹈者的舞蹈动作的人体姿态识别数据输入到人体识别模型，得到人体关节的第二三维坐标；根据第二三维坐标获取同一帧图像中人体的相连接的两个骨骼之间的第二夹角；获取第二夹角在相邻两帧图像之间的标准角度变化量。
此外，比较单元在进行就角度变化量差值对比时，要求将第一角度变化量与标准角度变化量的时间对齐。在本发明实施例中，可以使用Rule-Base(规则库)的方法对人体舞蹈动作片段进行分割。从而将舞蹈学员和舞蹈教练的动作序列在语义上进行分割，剥离出动作序列片段并匹配舞蹈学员和舞蹈教练相同的动作序列片段，即实现第一角度变化量与对应的标准角度变化量的时间对齐。
本发明实施例的技术方案为舞蹈学习提供了方便和智能的辅助工具，由计算机根据视频信息或拍摄到的画面进行动作自动对比和打分，在大部分没有舞蹈教练现场指导的情况下，可以使得学员的舞蹈学习变得更方便，纠错效果更好。此外，本发明实施例的技术方案为舞蹈考试考级提供了一种客观的辅助打分手段，对于一些舞蹈基础动作，在人工打分的基础上，提供了一种客观的打分机制，为舞蹈考试考级的组织方增加了一种评判参考方式。
由于本发明的示例实施例的舞蹈动作评分装置的各个功能模块与上述舞蹈动作评分方法的示例实施例的步骤对应，因此对于本发明装置实施例中未披露的细节，请参照本发明上述的舞蹈动作评分方法的实施例。
本发明提供的舞蹈动作评分装置，通过对当前学员的舞蹈动作进行人体姿态识别和人体识别，得到人体关节的位置坐标，根据不同人体关节的位置坐标可以得到相邻两帧图像中骨骼角度变化量，将该骨骼角度变化量与标准角度变化量相比较，结合舞蹈评分规则，即可以得到当前舞蹈动作评分。该方案可以得到较为准确的舞蹈评分。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行舞蹈动作评分方法，该方法包括：将当前学员的舞蹈动作的人体姿态识别数据输入到人体识别模型，得到人体关节的第一三维坐标；根据所述第一三维坐标获取同一帧图像中人体的相连接的两个骨骼之间的第一夹角；获取所述第一夹角在相邻两帧图像之间的第一角度变化量；将所述第一角度变化量与标准动作的标准角度变化量进行比较，得到角度变化量差值，其中，所述第一角度变化量与对应的所述标准角度变化量所在舞蹈动作的动作序列片段相匹配；根据所述角度变化量差值和当前舞蹈类型对应的评分规则获取所述当前学员的人体不同部位的差异化分数。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的舞蹈动作评分方法，该方法包括：将当前学员的舞蹈动作的人体姿态识别数据输入到人体识别模型，得到人体关节的第一三维坐标；根据所述第一三维坐标获取同一帧图像中人体的相连接的两个骨骼之间的第一夹角；获取所述第一夹角在相邻两帧图像之间的第一角度变化量；将所述第一角度变化量与标准动作的标准角度变化量进行比较，得到角度变化量差值，其中，所述第一角度变化量与对应的所述标准角度变化量所在舞蹈动作的动作序列片段相匹配；根据所述角度变化量差值和当前舞蹈类型对应的评分规则获取所述当前学员的人体不同部位的差异化分数。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的舞蹈动作评分方法，该方法包括：将当前学员的舞蹈动作的人体姿态识别数据输入到人体识别模型，得到人体关节的第一三维坐标；根据所述第一三维坐标获取同一帧图像中人体的相连接的两个骨骼之间的第一夹角；获取所述第一夹角在相邻两帧图像之间的第一角度变化量；将所述第一角度变化量与标准动作的标准角度变化量进行比较，得到角度变化量差值，其中，所述第一角度变化量与对应的所述标准角度变化量所在舞蹈动作的动作序列片段相匹配；根据所述角度变化量差值和当前舞蹈类型对应的评分规则获取所述当前学员的人体不同部位的差异化分数。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种舞蹈动作评分方法，其特征在于，包括：
将当前学员的舞蹈动作的人体姿态识别数据输入到人体识别模型，得到人体关节的第一三维坐标；
根据所述第一三维坐标获取同一帧图像中人体的相连接的两个骨骼之间的第一夹角；
获取所述第一夹角在相邻两帧图像之间的第一角度变化量；
将所述第一角度变化量与对应的标准动作的标准角度变化量进行比较，得到角度变化量差值，其中，所述第一角度变化量与对应的所述标准角度变化量所在舞蹈动作的动作序列片段相匹配；
根据所述角度变化量差值和当前舞蹈类型对应的评分规则获取所述当前学员的人体不同部位的差异化分数。
2.根据权利要求1所述的方法，其特征在于，所述根据所述角度变化量差值和当前舞蹈类型对应的评分规则获取所述当前学员的人体不同部位的差异化分数之后，所述方法还包括：
根据所述角度变化量差值和所述标准动作的标准动作数据生成前端显示页面，以进行所述当前学员的舞蹈动作与所述标准动作的对比显示。
3.根据权利要求1所述的方法，其特征在于，所述将当前学员的舞蹈动作的人体姿态识别数据输入到人体识别模型之前，所述方法还包括：
将所述当前学员的学员舞蹈视频输入到预设的人体姿态识别模型，得到所述人体姿态识别数据。
4.根据权利要求1所述的方法，其特征在于，所述根据所述角度变化量差值和所述标准动作的标准动作数据生成前端显示页面，包括：
将所述角度变化量差值进行归一化处理，得到归一化差值；
根据所述归一化差值和所述标准动作数据使用绘图协议生成连线圆点图，所述连线圆点图的圆点叠加在所述标准动作的标准视频的对应帧的对应位置上。
5.根据权利要求4所述的方法，其特征在于，所述根据所述归一化差值和所述标准动作数据使用绘图协议生成连线圆点图，包括：
根据所述角度变化量差值和设定的色彩规则，改变所述连线圆点图的圆点和连线的显示颜色。
6.根据权利要求1所述的方法，其特征在于，所述将所述当前学员的学员舞蹈视频输入到预设的人体姿态识别模型之前，所述方法还包括：
获取对所述当前学员的舞蹈动作进行视频采集得到的所述学员舞蹈视频。
7.根据权利要求1所述的方法，其特征在于，所述将所述第一角度变化量与标准动作的标准角度变化量进行比较之前，所述方法还包括：
获取对标准舞蹈者的舞蹈动作进行视频采集得到的标准舞蹈视频；
将根据所述标准舞蹈视频得到的所述标准舞蹈者的舞蹈动作的人体姿态识别数据输入到人体识别模型，得到人体关节的第二三维坐标；
根据所述第二三维坐标获取同一帧图像中人体的相连接的两个骨骼之间的第二夹角；
获取所述第二夹角在相邻两帧图像之间的标准角度变化量。
8.一种舞蹈动作评分装置，其特征在于，包括：
第一识别单元，用于将当前学员的舞蹈动作的人体姿态识别数据输入到人体识别模型，得到人体关节的第一三维坐标；
第一获取单元，用于根据所述第一三维坐标获取同一帧图像中人体的相连接的两个骨骼之间的第一夹角；
第二获取单元，用于获取所述第一夹角在相邻两帧图像之间的第一角度变化量；
比较单元，用于将所述第一角度变化量与标准动作的标准角度变化量进行比较，得到角度变化量差值，其中，所述第一角度变化量与对应的所述标准角度变化量所在舞蹈动作的动作序列片段相匹配；
评分单元，用于根据所述角度变化量差值和当前舞蹈类型对应的评分规则获取所述当前学员的人体不同部位的差异化分数。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111358056.0A CN114333046A (zh) | 2021-11-16 | 2021-11-16 | 舞蹈动作评分方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111358056.0A CN114333046A (zh) | 2021-11-16 | 2021-11-16 | 舞蹈动作评分方法、装置、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114333046A true CN114333046A (zh) | 2022-04-12 |
Family
ID=81044726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111358056.0A Pending CN114333046A (zh) | 2021-11-16 | 2021-11-16 | 舞蹈动作评分方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114333046A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112597933A (zh) * | 2020-12-29 | 2021-04-02 | 咪咕互动娱乐有限公司 | 动作评分方法、装置及可读存储介质 |
| CN116112761A (zh) * | 2023-04-12 | 2023-05-12 | 海马云（天津）信息技术有限公司 | 生成虚拟形象视频的方法及装置、电子设备和存储介质 |
| CN116259111A (zh) * | 2023-05-15 | 2023-06-13 | 江西工业贸易职业技术学院 | 基于vr的体育动作评分方法、系统、电子设备及存储介质 |
| CN118135118A (zh) * | 2024-05-06 | 2024-06-04 | 芯知科技(江苏)有限公司 | 三维建模姿态数据处理方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344922A (zh) * | 2018-09-06 | 2019-02-15 | 闫维新 | 一种具备运动捕捉功能的舞蹈动作评测系统 |
| CN111563487A (zh) * | 2020-07-14 | 2020-08-21 | 平安国际智慧城市科技股份有限公司 | 基于姿态识别模型的舞蹈评分方法及相关设备 |
| CN112416124A (zh) * | 2020-11-09 | 2021-02-26 | 深圳博升光电科技有限公司 | 舞蹈姿势反馈方法及装置 |
| CN112933581A (zh) * | 2021-02-02 | 2021-06-11 | 江西服装学院 | 一种基于虚拟现实技术的体育动作评分方法与装置 |
-
2021
- 2021-11-16 CN CN202111358056.0A patent/CN114333046A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344922A (zh) * | 2018-09-06 | 2019-02-15 | 闫维新 | 一种具备运动捕捉功能的舞蹈动作评测系统 |
| CN111563487A (zh) * | 2020-07-14 | 2020-08-21 | 平安国际智慧城市科技股份有限公司 | 基于姿态识别模型的舞蹈评分方法及相关设备 |
| CN112416124A (zh) * | 2020-11-09 | 2021-02-26 | 深圳博升光电科技有限公司 | 舞蹈姿势反馈方法及装置 |
| CN112933581A (zh) * | 2021-02-02 | 2021-06-11 | 江西服装学院 | 一种基于虚拟现实技术的体育动作评分方法与装置 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112597933A (zh) * | 2020-12-29 | 2021-04-02 | 咪咕互动娱乐有限公司 | 动作评分方法、装置及可读存储介质 |
| CN112597933B (zh) * | 2020-12-29 | 2023-10-20 | 咪咕互动娱乐有限公司 | 动作评分方法、装置及可读存储介质 |
| CN116112761A (zh) * | 2023-04-12 | 2023-05-12 | 海马云（天津）信息技术有限公司 | 生成虚拟形象视频的方法及装置、电子设备和存储介质 |
| CN116112761B (zh) * | 2023-04-12 | 2023-06-27 | 海马云（天津）信息技术有限公司 | 生成虚拟形象视频的方法及装置、电子设备和存储介质 |
| CN116259111A (zh) * | 2023-05-15 | 2023-06-13 | 江西工业贸易职业技术学院 | 基于vr的体育动作评分方法、系统、电子设备及存储介质 |
| CN118135118A (zh) * | 2024-05-06 | 2024-06-04 | 芯知科技(江苏)有限公司 | 三维建模姿态数据处理方法及系统 |
| CN118135118B (zh) * | 2024-05-06 | 2024-07-09 | 芯知科技(江苏)有限公司 | 三维建模姿态数据处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3885965B1 (en) | Image recognition method based on micro facial expressions, apparatus and related device | |
| CN114333046A (zh) | 舞蹈动作评分方法、装置、设备和存储介质 | |
| CN107103613B (zh) | 一种三维手势姿态估计方法 | |
| CN110363867B (zh) | 虚拟装扮系统、方法、设备及介质 | |
| JP4829141B2 (ja) | 視線検出装置及びその方法 | |
| JP7015152B2 (ja) | キーポイントデータに関する加工装置、方法及びプログラム | |
| WO2019245768A1 (en) | System for predicting articulated object feature location | |
| CN108734078B (zh) | 图像处理方法、装置、电子设备、存储介质及程序 | |
| CN114120432A (zh) | 基于视线估计的在线学习注意力跟踪方法及其应用 | |
| CN112633221A (zh) | 一种人脸方向的检测方法及相关装置 | |
| CN108875586A (zh) | 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法 | |
| CN112417142A (zh) | 基于眼动跟踪的词义和摘要生成辅助方法及系统 | |
| Amrutha et al. | Human Body Pose Estimation and Applications | |
| CN112699857A (zh) | 基于人脸姿态的活体验证方法、装置及电子设备 | |
| CN111274854B (zh) | 一种人体动作识别方法和视觉增强处理系统 | |
| CN113239861B (zh) | 驾驶员头部动作的确定方法、存储介质、电子装置 | |
| Mattos et al. | Multi-view mouth renderization for assisting lip-reading | |
| Purps et al. | Reconstructing facial expressions of hmd users for avatars in vr | |
| US11527090B2 (en) | Information processing apparatus, control method, and non-transitory storage medium | |
| CN115019396A (zh) | 一种学习状态监测方法、装置、设备及介质 | |
| CN114677476A (zh) | 一种脸部处理方法、装置、计算机设备及存储介质 | |
| CN107423665A (zh) | 基于bp神经网络的三维人脸分析方法及其分析系统 | |
| JP5688514B2 (ja) | 視線計測システム、方法およびプログラム | |
| KR20130081126A (ko) | 손 제스처 인식 방법 및 그 장치 | |
| CN112785524A (zh) | 一种人物图像的修复方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |