CN116563576A - 姿态比对方法、估计方法、装置及电子设备 - Google Patents
姿态比对方法、估计方法、装置及电子设备 Download PDFInfo
- Publication number
- CN116563576A CN116563576A CN202310539326.0A CN202310539326A CN116563576A CN 116563576 A CN116563576 A CN 116563576A CN 202310539326 A CN202310539326 A CN 202310539326A CN 116563576 A CN116563576 A CN 116563576A
- Authority
- CN
- China
- Prior art keywords
- gesture
- pose
- image
- measurement
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000005259 measurement Methods 0.000 claims abstract description 53
- 230000001629 suppression Effects 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 4
- 230000036544 posture Effects 0.000 description 45
- 238000001514 detection method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000011524 similarity measure Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003108 foot joint Anatomy 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种姿态比对方法、估计方法、装置及电子设备。其中，该方法包括：获取第一姿态和第二姿态之间的姿态度量；获取第一姿态对应图像的第一特征向量和第二姿态对应图像的第二特征向量；基于所述第一特征向量和所述第二特征向量，计算得到所述第一姿态对应图像和所述第二姿态对应图像的外观相似度；根据所述姿态度量和外观相似度衡量所述第一姿态和第二姿态之间的距离，以比对所述第一姿态和所述第二姿态。通过结合姿态度量与外观相似度，实现比对第一姿态和第二姿态，从而有助于在姿态度量难以比对第一姿态和第二姿态时，利用外观相似度提高比对精度，从而有利于确定冗余姿态，提高了姿态估计结果准确性的技术效果。
Description
技术领域
本发明涉及图像处理领域，具体而言，涉及一种姿态比对方法、估计方法、装置及电子设备。
背景技术
二维人体姿态估计是计算机视觉领域基础且热门的研究课题，对于描述人体姿态、人体行为等有着重要的作用，广泛应用于医疗康复、人机交互、虚拟现实、视频监控和运动分析等领域。
在现有技术中，先识别二维图像中的人体，将每个人体抽离形成单人的检测图像；而后对各个检测图像中的姿态进行识别。在识别过程中，容易在一个关节处生成多个点位以及生成多个姿态。为了得到最准确的姿态，通常采用非极大值抑制姿态算法对多余的关节和姿态进行筛选，剔除冗余数据，得到最终的姿态。
但现有技术中的非极大值抑制姿态算法存在度量不平衡的问题，即可能存在冗余区域与算法中的一个度量方式类似，与另一个度量方法区别较大，导致筛选失败，无法剔除冗余数据或者剔除了正确的数据，降低了姿态估计结果的准确性。
发明内容
本发明实施例提供了一种姿态比对方法、估计方法、装置及电子设备，以至少解决由于无法剔除冗余数据或者剔除了正确的数据造成的姿态估计结果准确性低的技术问题。
根据本发明实施例的一个方面，提供了一种姿态比对方法，包括：
获取第一姿态和第二姿态之间的姿态度量；
获取第一姿态对应图像的第一特征向量和第二姿态对应图像的第二特征向量；
基于所述第一特征向量和所述第二特征向量，计算得到所述第一姿态对应图像和所述第二姿态对应图像的外观相似度；
根据所述姿态度量和外观相似度衡量所述第一姿态和第二姿态之间的距离，以比对所述第一姿态和所述第二姿态。
可选地，所述姿态度量包括：
所述第一姿态与所述第二姿态之间的姿态关键点匹配度量，以及所述第一姿态与所述第二姿态之间的姿态相似度度量。
可选地，所述基于所述第一特征向量和所述第二特征向量，计算得到所述第一姿态对应图像和所述第二姿态对应图像的外观相似度，包括：
对所述第一特征向量和所述第二特征向量进行逐像素相乘并将逐像素相乘的结果相加，得到所述外观相似度。
可选地，所述根据所述姿态度量和外观相似度衡量所述第一姿态和第二姿态之间的距离，以比对所述第一姿态和所述第二姿态，包括：
将所述姿态关键点匹配度量与所述姿态相似度度量求和，得到求和结果；
根据所述求和结果与所述外观相似度做比的结果衡量所述第一姿态与所述第二姿态之间的距离，其中，所述比值越小，所述第一姿态和所述第二姿态的距离越小。
根据本发明实施例的另一方面，还提供了一种应用于姿态估计的非极大值抑制方法，包括：
采用上述所述姿态比对方法，衡量所述第一姿态和所述第二姿态之间的距离，其中，所述第一姿态的置信度高于所述第二姿态的置信度；
在比对结果为所述第一姿态与所述第二姿态之间的距离小于阈值时，将所述第二姿态作为冗余姿态处理。
根据本发明实施例的另一方面，还提供了一种用于姿态估计的数据增强方法，包括：
根据样本集中各个样本图像的置信度，筛选确定包含有目标物的样本图像；
结合所述样本集中的热图，计算得到各个包含有目标物的样本图像的采样概率；
根据所述采样概率从包含有目标物的样本图像中确定训练图像；
在上述所述的方法执行之前，利用所述训练图像对非极大值抑制模型进行训练，其中，所述非极大值抑制模型用于执行上述所述的方法。
根据本发明实施例的另一方面，还提供了一种姿态估计方法，包括：
所述方法采用上述所述的方法，确定所述冗余姿态；
剔除所述冗余姿态，以确定姿态估计结果。
可选地，在所述确定所述冗余姿态之前，所述方法还包括：
采用目标检测器对待估计图像中的各个目标物进行检测，得到各个目标物的目标图像，其中，所述目标图像包括若干所述第一姿态对应图像和若干所述第二姿态对应图像。
根据本发明实施例的另一方面，还提供了一种姿态比对装置，包括：
第一获取模块，用于获取第一姿态和第二姿态之间的姿态度量；
第二获取模块，用于获取第一姿态对应图像的第一特征向量和第二姿态对应图像的第二特征向量；
外观模块，用于基于所述第一特征向量和所述第二特征向量，计算得到所述第一姿态对应图像和所述第二姿态对应图像的外观相似度；
比对模块，用于根据所述姿态度量和外观相似度衡量所述第一姿态和第二姿态之间的距离，以比对所述第一姿态和所述第二姿态。
根据本发明实施例的另一方面，还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器用于在执行所述计算机程序时采用上述所述的方法。
在本发明实施例中，采用引入外观相似度作为度量条件的方式，通过结合姿态度量与外观相似度，确定第一姿态和第二姿态之间的距离，实现比对第一姿态和第二姿态，从而有助于在姿态度量难以比对第一姿态和第二姿态时，利用外观相似度提高比对精度，从而有利于确定冗余姿态，提高了姿态估计结果准确性的技术效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的姿态比对方法流程图；
图2是根据本发明实施例的一种可选的姿态比对方法中姿态的示意图；
图3是根据本发明实施例的一种可选的姿态比对方法中计算距离的框图；
图4是根据本发明实施例的一种数据增强方法与现有方法的对比示意图；
图5是根据本发明实施例的一种可选的姿态估计方法中检测器的处理过程示意图；
图6是根据本发明实施例的一种可选的姿态估计方法的处理过程示意图；
图7是根据本发明实施例的一种可选的姿态估计方法的另一处理过程示意图；
图8是根据本发明实施例的一种可选的姿态比对装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例，提供了一种姿态比对方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的姿态比对方法，如图1所示，该方法包括如下步骤：
步骤S101，获取第一姿态和第二姿态之间的姿态度量。
其中，第一姿态和第二姿态均指图像中目标物的姿态。目标物可以是人体，也可以是动物、机械臂等，对此本实施例不做限定。第一姿态和第二姿态中的姿态均是由多个关节点直接或间接相连而形成的姿态；如图2所示，以人体为例，通过识别图像中人体各个部分，得到各个部位的关节点，例如膝盖关节点、脚部关节点、手臂关节点等，将各个关节点进行直接相连或简介相连，即可形成诸如蹲姿、坐姿、站姿、跑姿等姿态。
具体的，为了便于理解，需要说明的是，本实施例中的第一姿态和第二姿态以及姿态度量可以利用非极大值抑制模型(Non Maximum Suppress ion，NMS)计算得到。其中，姿态度量是用于比对第一姿态和第二姿态之间距离的度量条件。由于仅通过姿态度量比对第一姿态和第二姿态之间的距离，易于出现差错，导致比对结果精准度下降。为了解决上述问题，本申请实施例的一种姿态比对方法还包括：
步骤102，获取第一姿态对应图像的第一特征向量和第二姿态对应图像的第二特征向量。
其中，在一实施例中，第一姿态和第二姿态指同一个目标物的两个姿态。由于在对包含有目标物的图像进行识别时，受识别精度影响，容易出现多个冗余关节点，从而生成多个冗余姿态。为了识别并消除冗余关节点，进而消除因冗余关节点产生的冗余姿态，得到准确的目标物姿态，需要将目标物的多个姿态进行比对。
在另一实施例中，第一姿态和第二姿态指不同目标物的姿态。即在该实施例中，不仅将同一个目标物的多个姿态之间进行比对，同时也比对不同目标物之间的姿态，以提高识别冗余关节点或冗余姿态的精度。
即，第一姿态对应图像和第二姿态对应图像可以是同一个图像，也可以是不同的图像，本实施例对此不做具体限定。
在一实施例中，第一特征向量和第二特征向量均利用VGG16神经网络模型得到。利用VGG16神经网络模型对第一姿态对应图像和第二姿态对应图像进行处理，即可得到第一特征向量和第二特征向量。
步骤S103，基于第一特征向量和第二特征向量，计算得到第一姿态对应图像和第二姿态对应图像的外观相似度。
在一实施例中，利用第一特征向量和第二特征向量计算第一姿态对应图像和第二姿态对应图像的外观相似度。其中，外观相似度即第一姿态对应图像和第二姿态对应图像在外观上的相似程度。具体的，外观可以包括颜色、像素点数量和颜色覆盖面积等，对此本实施例不作具体限定。
步骤S104，根据姿态度量和外观相似度衡量第一姿态和第二姿态之间的距离，以比对第一姿态和第二姿态。
将姿态度量与外观相似度进行结合，对第一姿态和第二姿态之间的距离进行衡量，通过距离反映第一姿态和第二姿态之间的比对结果。例如，在一实施例中，距离越大，证明第一姿态与第二姿态之间的冗余性越差；距离越小，证明第一姿态与第二姿态之间的冗余性越强，以此完成第一姿态与第二姿态之间的比对。
通过上述步骤，采用引入外观相似度作为度量条件的方式，通过结合姿态度量与外观相似度，确定第一姿态和第二姿态之间的距离，实现比对第一姿态和第二姿态，从而有助于在姿态度量难以比对第一姿态和第二姿态时，利用外观相似度提高比对精度，从而有利于确定冗余姿态，提高了姿态估计结果准确性的技术效果。
可选地，所述姿态度量包括第一姿态与第二姿态之间的姿态关键点匹配度量。所述姿态度量还包括第一姿态与第二姿态之间的姿态相似度度量。
其中，姿态关键点匹配度量用于消除置信度相似的关节点；姿态相似度度量用于消除位置相近的关节点。需要说明的是，利用非极大值抑制模型(Non MaximumSuppression，NMS)即可得到第一姿态与第二姿态之间的姿态关键点匹配度量。为了便于理解，例如，在一实施例中，第一姿态对应图像i中具有m个关节，第一姿态pi表示为其中，/>是第一姿态对应图像i中第n个关节的位置，/>是第一姿态对应图像i中第n个关节的置信度得分。同理，第二姿态对应图像j中具有m个关节，第二姿态pj表示为/>其中，/>是第二姿态对应图像j中第n个关节的位置，/>是第二姿态对应图像j中第n个关节的置信度得分。
计算姿态关键点匹配度量包括：
其中，Ksim(Pi,Pj|σ1)是第一姿态和第二姿态之间的姿态关键点匹配度量；Pi是第一姿态对应图像i中目标物的姿态；Pj是第二姿态对应图像j中目标物的姿态；σ1是姿态关键点匹配度量参数。
计算姿态相似度度量包括：
其中，σ2是姿态相似度度量参数。
通过上述步骤，姿态度量中包含有两个度量条件，分别为姿态关键点匹配度量和姿态相似度度量。通过两个度量条件，易于比对出第一姿态与第二姿态之间的冗余性。在此基础上，结合第一姿态对应图像和第二姿态对应图像之间的外观相似度，能够进一步提高第一姿态与第二姿态之间的比对精确度。
可选地，基于第一特征向量和第二特征向量，计算得到第一姿态对应图像和第二姿态对应图像的外观相似度，包括：
对第一特征向量和第二特征向量进行逐像素相乘并将逐像素相乘的结果相加，得到外观相似度。
具体的，在一实施例中，如图3所示，先利用VGG16神经网络模型计算得到第一姿态的第一特征向量以及第二姿态的第二特征向量，而后利用全局平均池化模型对第一特征向量和第二特征向量进行压缩，得到压缩后的第一特征向量和第二特征向量。最后对压缩后的第一特征向量和第二特征向量进行逐像素相乘并相加，得到第一姿态对应图像和第二姿态对应图像之间的外观相似度。
具体的，对第一特征向量和第二特征向量进行压缩，得到1*1*c的向量，其中，c为通道数。
通过上述步骤，利用逐像素相乘的方式计算第一姿态对应图像和第二姿态对应图像的外观相似度，有助于提高外观相似度的计算准确度和计算效率。
可选地，根据姿态度量和外观相似度衡量第一姿态和第二姿态之间的距离，以比对第一姿态和第二姿态，包括：
步骤S401，将姿态关键点匹配度量与姿态相似度度量求和，得到求和结果。
在一实施例中，求和结果的计算过程包括：
Ksim(Pi,Pj|σ1)+Hsim(Pi,Pj|σ2)；(3)
其中，Ksim(Pi,Pj|σ1)为姿态关键点匹配度量；Hsim(Pi,Pj|σ2)为姿态相似度度量；σ1为姿态关键点匹配度量参数；σ2为姿态相似度度量参数。
步骤S402，根据求和结果与外观相似度做比的结果衡量第一姿态与第二姿态之间的距离，其中，比值越小，第一姿态和第二姿态的距离越小。
具体的，第一姿态与第二姿态之间的距离的计算过程包括：
其中，dadaptive(Pi,Pj|Λ)为第一姿态与第二姿态之间的距离；Asim(I(Pi),I(Pj)|φ)为外观相似度；Λ是函数d()的参数集；φ是外观相似度的参数。
距离越小，表征第一姿态与第二姿态之间的冗余性越高，即第一姿态有更大几率是第二姿态的冗余姿态，需要剔除。
通过上述步骤，利用姿态关键点匹配度量、姿态相似度度量和外观相似度比对第一姿态和第二姿态，采用计算第一姿态和第二姿态之间的距离表征两个姿态之间的冗余性，计算简单、有助于节省资源，且受外观相似度的影响，在姿态关键点匹配度量与姿态相似度度量相互矛盾时，能够更快速和准确地比对两个姿态，提高了姿态比对的精确度，从而有利于提高姿态估计结果的准确性。
本申请实施例还提供一种应用于姿态估计的非极大值抑制方法，包括：
步骤S501，采用上述所述姿态比对方法，衡量第一姿态和第二姿态之间的距离。
其中，第一姿态的置信度高于第二姿态的置信度。具体的，在一实施例中，无论是第一姿态对应图像还是第二姿态对应图像，均利用目标检测器进行处理，即可得到图像中各个姿态的置信度；在其他实施例中，还可以使用其他算法计算得到图像中各个姿态的置信度，对此本实施例不作具体限定。
采用上述姿态比对方法，能够计算得到第一姿态与第二姿态之间的距离。
步骤S502，在比对结果为第一姿态与第二姿态之间的距离小于阈值时，将第二姿态作为冗余姿态处理。
其中，比对结果即第一姿态和第二姿态之间的距离。通过预先设置阈值，再将计算得到的距离与阈值进行比较，超出阈值则将置信度低的姿态判定为冗余姿态。
在一实施例中，通过将冗余姿态删除或者冗余姿态中的至少一个关节点删除，确定目标物最终的姿态估计结果。在另一实施例中，通过将冗余姿态进行标记，在通过标记确定目标物最终的姿态估计结果。
此外，需要说明的是，第一姿态和第二姿态对应的图像可以是同一个，可以是不同个。在比对两个姿态时，将置信度高的姿态判定为第一姿态，置信度相对较低的姿态判定为第二姿态。
通过上述步骤，利用姿态比对方法计算得到第一姿态和第二姿态之间的距离，而后根据距离与阈值之间的大小关系，确定第一姿态和/或第二姿态的冗余性。通过判断姿态的冗余性，有利于对准确度低的冗余姿态进行剔除，从而保留准确度较高的姿态作为姿态估计结果，有利于提高姿态估计结果的准确度。
本申请实施例还提供一种用于姿态估计的数据增强方法，包括：
步骤S601，根据样本集中各个样本图像的置信度，筛选确定包含有目标物的样本图像。
其中，样本集指包含有若干训练用图像的图像集。在一实施例中，利用非极大值抑制模型实现上述所述非极大值抑制方法。在非极大值抑制模型正式使用之前，需要利用带有目标物的图像对非极大值抑制模型进行训练，使非极大值抑制模型能够计算出目标物的两个姿态之间的距离，并判定出其中的冗余姿态。而非极大值抑制模型的训练效率和训练效果与训练用图像关系密切，为了提高非极大值抑制模型的冗余姿态判断准确性，本实施例先从样本集中确定出包含有目标物的样本图像，使非极大值抑制模型的训练图像中均具有目标物，如此即可保证每个训练图像中均能够有与目标物对应的姿态。
步骤S602，结合样本集中的热图，计算得到各个包含有目标物的样本图像的采样概率。
在一实施例中，利用目标检测器获得热图。具体的，目标检测器用于检测图像中的目标物，并使目标物形成独立图像。目标检测器诸如CenterNet检测器。
在一实施例中，采样概率的计算过程包括：
Pij＝pij+Norm(Hij)；(5)
其中，Pij是采样概率；Hij是目标检测器输出的热图；max是最大值；min是最小值。
步骤S603，根据采样概率从包含有目标物的样本图像中确定训练图像。
在一实施例中，采样概率指采集某样本图像作为训练图像的概率，在得到样本集中包含有目标物的样本图像的采样概率后，通过筛选，即可确定训练图像。
步骤S604，在上述所述姿态估计的非极大值抑制方法执行之前，利用训练图像对非极大值抑制模型进行训练。
其中，非极大值抑制模型用于执行上述所述姿态估计的非极大值抑制方法。
通过上述步骤，如图4所示，利用目标检测器的置信度和热图，计算样本集中样本图像的采样概率，实现基于检测置信度的非均匀采样分布，能够提高训练图像的质量，从而提高非极大值抑制模型的训练效率和训练效果。
本申请实施例还提供一种姿态估计方法，包括：
采用上述所述姿态估计的非极大值抑制方法，确定冗余姿态，而后剔除冗余姿态，以确定姿态估计结果。
在确定冗余姿态后，将冗余姿态剔除，即删除冗余姿态。其中，删除冗余姿态可以是将整个姿态删除，也可以是将姿态中的至少一个关节点删除，旨在删除冗余姿态后，能够确定出目标物唯一的姿态，从而能够将唯一的姿态确定为姿态估计结果。
具体的，姿态估计结果可以是姿态本身，也可以是对姿态形状的描述，例如蹲姿、站姿等，对此本实施例不作具体限定。
通过上述内容，将外观相似度作为格外的度量条件，参与姿态的比对，确定出冗余姿态。再将冗余姿态删除，使每个目标物仅对应有唯一的姿态，提高了姿态估计结果的准确性和效率。
可选地，在确定冗余姿态之前，所述姿态估计方法还包括：
采用目标检测器对待估计图像中的各个目标物进行检测，得到各个目标物的目标图像。
其中，目标图像包括若干第一姿态对应图像和若干第二姿态对应图像。具体的，在一实施例中，待估计图像中包含有至少一个目标物，目标物可以是人体、动物、机械等。利用目标检测器对待估计图像进行处理后，得到各个目标物的目标图像；具体的，目标检测器采用CenterNet检测器。即每个目标图像中均含有对应的目标物。例如，在一应用场景中，待估计图像中共含有10个人。经过CenterNet检测器处理后，得到10个目标图像，每个目标图像对应一个人。
在一实施例中，CenterNet构建模型时将目标物作为一个点，即目标物bbox的中心点，将目标物检测问题转化为关键点检测问题。将图像输入网络，生成关键点heatmap，heatmap上的峰值点对应的就是目标物的中心点。检测到目标物中心点后，利用每个peak点的特征回归目标框的其它属性，如二维bbox的宽和高，三维bbox的长宽高、深度、角度和人体姿态等。CenterNet框架如图5所示。最左边表示输入图片，输入图片需要裁减到512*512大小，即长边缩放到512，短边补0。中间表示基准网络，采用了Hourglass、ResNet与DLA 3种网络架构。最右边表示预测模块，该模块包含3个分支，具体包括中心点heatmap图分支、中心点偏移量(offset)分支、目标大小(size)分支。heatmap图分支包含C个通道，每一个通道包含一个类别，heatmap中白色的亮区域表示目标的中心点位置；中心点偏移量分支用来弥补将池化后的低分辨率heatmap上的点映射到原图中所带来的像素误差；目标大小分支用来预测目标矩形框的w与h偏差值。其优势在于：(1)锚点仅仅是放在目标中心，没有尺寸框。(2)使用更大分辨率的输出特征图，有助于改善小目标检测质量。
具体来说，我们首先对图像进行预处理以满足目标检测算法需求。第一步我们需要将图像进行归一化，保证每个像素值范围在[0,1]之间。接下来，通过CenterNet输出检测到的目标中心点热力图、当前检测目标的置信度以及目标框尺度回归值，并确定各目标的检测框。由于CenterNet只估计目标物的中心点位置，因此检测算法中不涉及NMS等后处理操作，最后根据目标框位置，对检测到目标区域进行裁剪，用于后续关键点估计算法
通过上述步骤，CenterNet检测器的检测精度更高，有助于提高目标图像的质量，从而降低后续步骤的处理难度。
可选地，如图6所示，在得到各个目标物的目标图像之后，所述姿态估计方法还包括：
步骤S801，利用空间变换模型对各个目标图像进行定位处理，以消除定位误差，得到第一图像。
在一实施例中，空间变换模型采用STN模型(Spatial transformer network)，将目标图像输入空间变换模型，以对目标图像进行定位误差消除。
步骤S802，利用姿态识别模型对第一图像进行姿态识别，得到目标姿态。
在一实施例中，姿态识别模型采用SPPE模型(Single Person Pose Estimation)，用于对定位误差消除后的第一图像进行姿态识别，得到第一图像中的多个关节点以及姿态。
步骤S803，利用映射模型，按照目标图像位于待评估图像中的位置，将目标姿态映射回待评估图像，得到姿态候选图像。
在一实施例中，映射模型采用SDTN模型(Spatial de-transformer network)。
此外，在一实施例中，姿态估计模型还包括SPPE支路模型，与STN模型和SDTN模型并联，共享STN模型的输出。
通过上述步骤，采用空间变换模型、姿态识别模型和映射模型计算姿态候选图像，有助于提高姿态识别的计算效率。
为了便于理解，下面通过具体的应用场景对本实施例中的姿态估计方法进行说明。
在诸如人机交互、虚拟现实、医疗康复和体育运动等领域，通常需要根据图像中的人体、动物或机械形态进行姿态识别。以虚拟现实为例，如图7所示，本实施例中的姿态估计方法先获取图像，图像中包含有多个人体。为了识别出每个人体的姿态，将图像输入给CenterNet检测器。CenterNet检测器识别图像中包含的人体，并将每一个人体包含在一个目标框中，每个目标框判定为一个目标图像。使多人姿态的分析问题变为多个单人姿态的分析问题，提高姿态识别准确度。
得到目标图像后，将目标图像作为SPPE模型的输入，利用SPPE模型对目标图像进行处理。具体的，SPPE模型会识别目标图像中人体的关节，并生成关节点，将各个关节点直接或间接的连接后，得到目标图像中人体的姿态。由于识别过程中，可能会出现干扰因素，因此得到的姿态可能有多个，或者一个关节对应有多个关节点。为了识别出冗余的姿态和/或关节点，使用非极大值抑制模型对得到的姿态进行后处理。
其中，非极大值抑制模型采用姿态关键点匹配度量、姿态相似度度量和外观相似度作为度量条件，判断多个姿态之间的冗余姿态，从而输出与各个人体唯一对应的姿态。
本申请实施例还提供一种姿态比对装置，如图8所示，包括：
第一获取模块1，用于获取第一姿态和第二姿态之间的姿态度量；
第二获取模块2，用于获取第一姿态对应图像的第一特征向量和第二姿态对应图像的第二特征向量；
外观模块3，用于基于所述第一特征向量和所述第二特征向量，计算得到所述第一姿态对应图像和所述第二姿态对应图像的外观相似度；
比对模块4，用于根据所述姿态度量和外观相似度衡量所述第一姿态和第二姿态之间的距离，以比对所述第一姿态和所述第二姿态。
可选地，所述姿态度量包括所述第一姿态与所述第二姿态之间的姿态关键点匹配度量，以及所述第一姿态与所述第二姿态之间的姿态相似度度量。
可选地，所述外观模块3包括外观单元，用于对所述第一特征向量和所述第二特征向量进行逐像素相乘并将逐像素相乘的结果相加，得到所述外观相似度。
可选地，所述比对模块4包括求和单元，用于将所述姿态关键点匹配度量与所述姿态相似度度量求和，得到求和结果；
比值单元，用于根据所述求和结果与所述外观相似度做比的结果衡量所述第一姿态与所述第二姿态之间的距离，其中，所述比值越小，所述第一姿态和所述第二姿态的距离越小。
通过上述内容，通过将姿态关键点匹配度量、姿态相似度度量与外观相似度结合，判断第一姿态与第二姿态之间的距离，从而确定冗余姿态，得到姿态估计结果。相较于仅使用姿态关键点匹配度量和姿态相似度度量确定冗余姿态的方式，有利于在姿态关键点匹配度量和姿态相似度度量出现矛盾时，精确的确定冗余姿态，提高姿态估计结果的准确率和效率。
本申请实施例还提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器用于在执行所述计算机程序时采用上述所述的姿态比对方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种姿态比对方法，其特征在于，包括：
获取第一姿态和第二姿态之间的姿态度量；
获取第一姿态对应图像的第一特征向量和第二姿态对应图像的第二特征向量；
基于所述第一特征向量和所述第二特征向量，计算得到所述第一姿态对应图像和所述第二姿态对应图像的外观相似度；
根据所述姿态度量和外观相似度衡量所述第一姿态和第二姿态之间的距离，以比对所述第一姿态和所述第二姿态。
2.根据权利要求1所述的姿态比对方法，其特征在于，所述姿态度量包括：
所述第一姿态与所述第二姿态之间的姿态关键点匹配度量，以及所述第一姿态与所述第二姿态之间的姿态相似度度量。
3.根据权利要求1或2所述的姿态比对方法，其特征在于，所述基于所述第一特征向量和所述第二特征向量，计算得到所述第一姿态对应图像和所述第二姿态对应图像的外观相似度，包括：
对所述第一特征向量和所述第二特征向量进行逐像素相乘并将逐像素相乘的结果相加，得到所述外观相似度。
4.根据权利要求2所述的姿态比对方法，其特征在于，所述根据所述姿态度量和外观相似度衡量所述第一姿态和第二姿态之间的距离，以比对所述第一姿态和所述第二姿态，包括：
将所述姿态关键点匹配度量与所述姿态相似度度量求和，得到求和结果；
根据所述求和结果与所述外观相似度做比的结果衡量所述第一姿态与所述第二姿态之间的距离，其中，所述比值越小，所述第一姿态和所述第二姿态的距离越小。
5.一种应用于姿态估计的非极大值抑制方法，其特征在于，包括：
采用如权利要求1-4任一项所述姿态比对方法，衡量所述第一姿态和所述第二姿态之间的距离，其中，所述第一姿态的置信度高于所述第二姿态的置信度；
在比对结果为所述第一姿态与所述第二姿态之间的距离小于阈值时，将所述第二姿态作为冗余姿态处理。
6.一种用于姿态估计的数据增强方法，其特征在于，包括：
根据样本集中各个样本图像的置信度，筛选确定包含有目标物的样本图像；
结合所述样本集中的热图，计算得到各个包含有目标物的样本图像的采样概率；
根据所述采样概率从包含有目标物的样本图像中确定训练图像；
在权利要求5所述的方法执行之前，利用所述训练图像对非极大值抑制模型进行训练，其中，所述非极大值抑制模型用于执行权利要求5所述的方法。
7.一种姿态估计方法，其特征在于，所述方法采用权利要求5所述的方法，确定所述冗余姿态；
剔除所述冗余姿态，以确定姿态估计结果。
8.根据权利要求7所述的姿态估计方法，其特征在于，在所述确定所述冗余姿态之前，所述方法还包括：
采用目标检测器对待估计图像中的各个目标物进行检测，得到各个目标物的目标图像，其中，所述目标图像包括若干所述第一姿态对应图像和若干所述第二姿态对应图像。
9.一种姿态比对装置，其特征在于，包括：
第一获取模块，用于获取第一姿态和第二姿态之间的姿态度量；
第二获取模块，用于获取第一姿态对应图像的第一特征向量和第二姿态对应图像的第二特征向量；
外观模块，用于基于所述第一特征向量和所述第二特征向量，计算得到所述第一姿态对应图像和所述第二姿态对应图像的外观相似度；
比对模块，用于根据所述姿态度量和外观相似度衡量所述第一姿态和第二姿态之间的距离，以比对所述第一姿态和所述第二姿态。
10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器用于在执行所述计算机程序时采用如权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310539326.0A CN116563576A (zh) | 2023-05-11 | 2023-05-11 | 姿态比对方法、估计方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310539326.0A CN116563576A (zh) | 2023-05-11 | 2023-05-11 | 姿态比对方法、估计方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116563576A true CN116563576A (zh) | 2023-08-08 |
Family
ID=87489453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310539326.0A Pending CN116563576A (zh) | 2023-05-11 | 2023-05-11 | 姿态比对方法、估计方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116563576A (zh) |
-
2023
- 2023-05-11 CN CN202310539326.0A patent/CN116563576A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109670474B (zh) | 一种基于视频的人体姿态估计方法、装置及设备 | |
| KR101791590B1 (ko) | 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법 | |
| CN111780764B (zh) | 一种基于视觉地图的视觉定位方法、装置 | |
| EP2479726B1 (en) | Image comparison system and image comparison method | |
| Thung et al. | Content-based image quality metric using similarity measure of moment vectors | |
| CN111598998A (zh) | 三维虚拟模型重建方法、装置、计算机设备和存储介质 | |
| Ali et al. | Guided image filtering in shape-from-focus: A comparative analysis | |
| CN110688929B (zh) | 一种人体骨架关节点定位方法及装置 | |
| CN104598871B (zh) | 一种基于相关回归的面部年龄计算方法 | |
| CN111862044A (zh) | 超声图像处理方法、装置、计算机设备和存储介质 | |
| US20100266212A1 (en) | Estimating Vanishing Points in Images | |
| CN109740659B (zh) | 一种图像匹配方法及装置、电子设备、存储介质 | |
| EP3012781A1 (en) | Method and apparatus for extracting feature correspondences from multiple images | |
| CN113361542A (zh) | 一种基于深度学习的局部特征提取方法 | |
| CN109002758A (zh) | 人脸特征点定位方法、装置、设备及存储介质 | |
| CN110866873A (zh) | 内腔镜图像的高光消除方法及装置 | |
| CN112233161B (zh) | 手部图像深度确定方法、装置、电子设备及存储介质 | |
| CN116563576A (zh) | 姿态比对方法、估计方法、装置及电子设备 | |
| CN109767468B (zh) | 脏器体积检测方法及装置 | |
| CN112712571A (zh) | 基于视频的物体平面贴图方法、装置以及设备 | |
| CN108256578B (zh) | 一种灰度图像的识别方法、装置、设备及可读存储介质 | |
| CN105931231A (zh) | 一种基于全连接随机场联合能量最小化的立体匹配方法 | |
| EP4343680A1 (en) | De-noising data | |
| Park et al. | Depth image correction for intel realsense depth camera | |
| CN114913287A (zh) | 一种三维人体模型重建方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |