CN111428665A - 一种信息确定方法、设备及计算机可读存储介质 - Google Patents
一种信息确定方法、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111428665A CN111428665A CN202010241288.7A CN202010241288A CN111428665A CN 111428665 A CN111428665 A CN 111428665A CN 202010241288 A CN202010241288 A CN 202010241288A CN 111428665 A CN111428665 A CN 111428665A
- Authority
- CN
- China
- Prior art keywords
- key point
- posture
- special effect
- matching degree
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000036544 posture Effects 0.000 claims abstract description 173
- 230000000694 effects Effects 0.000 claims abstract description 121
- 238000010606 normalization Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000000875 corresponding effect Effects 0.000 description 32
- 230000033001 locomotion Effects 0.000 description 9
- 210000001503 joint Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 210000002310 elbow joint Anatomy 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 210000000323 shoulder joint Anatomy 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 210000003857 wrist joint Anatomy 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 206010034719 Personality change Diseases 0.000 description 1
- 241000270708 Testudinidae Species 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种信息确定方法、设备及计算机可读存储介质，涉及视频处理技术领域，以准确的体现用户的姿态的特效效果。该方法包括：获取目标对象的图像；从所述图像中提取所述目标对象的姿态的信息；根据所述姿态的信息，确定所述目标对象的姿态与预设姿态之间的匹配度；根据所述匹配度，确定所述姿态的特效效果的特效强度。本发明实施例可准确的体现用户的姿态的特效效果。
Description
技术领域
本发明涉及视频处理技术领域，尤其涉及一种信息确定方法、设备及计算机可读存储介质。
背景技术
用户可模仿视频中的姿态(如手势，动作等)，然后，基于用户的模仿呈现特效效果。但是，现有技术中，所有的姿态其对应的特效都是一样的。因此，利用现有技术的方法无法准确的体现用户的姿态的特效效果。
发明内容
本发明实施例提供一种信息确定方法、设备及计算机可读存储介质，以准确的体现用户的姿态的特效效果。
第一方面，本发明实施例提供了一种信息确定方法，包括：
获取目标对象的图像；
从所述图像中提取所述目标对象的姿态的信息；
根据所述姿态的信息，确定所述目标对象的姿态与预设姿态之间的匹配度；
根据所述匹配度，确定所述姿态的特效效果的特效强度。
其中，所述从所述图像中提取所述目标对象的姿态的信息，包括：
从所述图像中提取第一姿态关键点，其中，所述第一姿态关键点的数量为至少三个；
对于所述第一姿态关键点中的第一关键点、第二关键点和第三关键点，计算第一连接线和第二连接线之间的夹角；
其中，所述第一关键点、所述第二关键点和所述第三关键点为所述第一姿态关键中任意依次相邻的三个关键点；所述第二关键点位于所述第一关键点和所述第三关键点之间；
所述第一连接线为所述第二关键点和所述第一关键点之间的连线，所述第二连接线为所述第二关键点和所述第三关键点之间的连线。
其中，所述根据所述姿态的信息，确定所述目标对象的姿态与预设姿态之间的匹配度，包括：
确定所述预设姿态的第二姿态关键点；
对于所述夹角中的第一夹角，计算所述第一夹角和所述预设姿态中的第二夹角之间的第二匹配度；
将获得的至少一个第二匹配度进行归一化处理，得到所述目标对象的姿态与所述预设姿态之间的匹配度；
其中，所述第二夹角是第三连接线和第四连接线之间的夹角，所述第三连接线为第四关键点和第五关键点之间的连线，所述第四连接线为所述第五关键点和第六关键点之间的连线，所述第四关键点、所述第五关键点和所述第六关键点为所述第二姿态关键点中依次相邻的三个关键点，且分别与所述第一姿态关键点中形成所述第一夹角的三个关键点对应；
所述第五关键点位于所述第四关键点和所述第六关键点之间。
其中，所述根据所述姿态的信息，确定所述目标对象的姿态与预设姿态之间的匹配度，包括：
确定所述预设姿态的第二姿态关键点；
将所述目标对象的图像中所述目标对象的大小调整为与所述预设姿态的大小一致；
对于所述第一姿态关键点中的第七关键点，在所述第二姿态关键点中确定对应的第八关键点，并调整所述目标对象的姿态，使得所述第七关键点和所述第八关键点重合；
对于所述第一姿态关键点中的第九关键点，在所述第二姿态关键点中确定对应的第十关键点，并调整所述目标对象的姿态，使得所述第九关键点和所述第十关键点之间的距离最小；
分别计算所述第一姿态关键点中的第一目标关键点和所述预设姿态中的第二目标关键点之间的距离；其中，所述第一目标关键点为所述第一姿态关键点中的任一关键点，所述第二目标关键点为所述预设姿态的关键点中的任一关键点，且与所述第一目标关键点对应；
对获得的至少一个距离进行归一化处理，得到所述目标对象的姿态与所述预设姿态之间的匹配度。
其中，所述根据所述匹配度，确定所述姿态的特效效果的特效强度，包括：
对于所述特效效果对应的目标特效参数，利用所述目标特效参数对应的最小参数值与第一数值的和，作为所述目标特效参数的特效强度；
其中，所述第一数值为所述目标特效参数对应的最大参数值和所述最小参数值之差与所述匹配度的乘积。
其中，所述姿态的信息包括时间上连续的至少一个子姿态的信息；
所述确定所述目标对象的姿态与预设姿态之间的匹配度，包括：
根据所述至少一个子姿态的信息，分别确定所述至少一个子姿态与所述预设姿态之间的匹配度，得到至少一个匹配度；
利用动态时间规整算法DTW对所述至少一个匹配度进行处理，将处理结果作为所述目标对象的姿态与预设姿态之间的匹配度。
其中，所述方法还包括：
对所述特效效果的特效参数进行归一化处理。
其中，在所述根据所述匹配度，确定特效效果的特效强度之后，所述方法还包括：
显示具有所述特效强度的特效效果。
第二方面，本发明实施例还提供一种信息确定设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如上所述的信息确定方法中的步骤。
第三方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的信息确定方法中的步骤。
在本发明实施例中，将目标对象的姿态和预设姿态之间进行匹配，得到匹配度，然后根据匹配度确定目标对象的姿态所对应的特效效果的特效强度。由此可以看出，在本发明实施例中，可区分目标对象的姿态和预设姿态之间的匹配情况来确定特效效果的特效强度，因此，利用本发明实施例的方案，可准确的体现用户的姿态的特效效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的信息确定方法的流程图；
图2是本发明实施例提供的人体的关键点的示意图之一；
图3是本发明实施例提供的人体的关键点的示意图之二；
图4是本发明实施例提供的信息确定装置的结构图；
图5是本发明实施例提供的信息确定设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1是本发明实施例提供的信息确定方法的流程图，如图1所示，包括以下步骤：
步骤101、获取目标对象的图像。
其中，所述目标对象可以是人，还可以是其他的对象，如动物等。在本发明实施例中，可通过摄像头拍摄目标对象的图像，如2D图像或者3D图像等。
步骤102、从所述图像中提取所述目标对象的姿态的信息。
在目标对象的图像中，以目标对象为人为例，人可能会做一定的动作，从而呈现出不同的姿态。其中，所述姿态的信息可以以姿态关键点以及姿态关键点所形成的夹角来体现。
在实际应用中，可通过人体骨骼关键点检测算法，根据动作的类型等信息，检测出所述图像中目标对象的姿态关键点。通常情况下，姿态关键点为关节上的关节点，如腕关节、肘关节、肩关节上的关节点等。每个关节上可以有一个或者多个关键点。
具体的，在此步骤中，从所述图像中提取第一姿态关键点，其中，所述第一姿态关键点的数量为至少三个。其中，所述第一姿态关键点可能位于不同的关节上。
然后，计算任意依次相邻的三个关键点所形成的夹角。在此，依次相邻指的是，三个关键点形成一个排列，在这个排列中三个关键点的顺序相对固定。例如，对于人体来讲，按照从头到脚的顺序，在肩关节、肘关节、腕关节上分别有关键点A，B，C。由于肩关节、肘关节、手部腕关节之间具有明确的相对位置关系，因此，A，B，C三个点可认为是依次相邻。
具体的，在计算夹角时，对于所述第一姿态关键点中的第一关键点、第二关键点和第三关键点，计算第一连接线和第二连接线之间的夹角。其中，所述第一关键点、所述第二关键点和所述第三关键点为所述第一姿态关键中任意依次相邻的三个关键点；所述第一连接线为所述第二关键点和所述第一关键点之间的连线，所述第二连接线为所述第二关键点和所述第三关键点之间的连线。所述第二关键点位于所述第一关键点和所述第三关键点之间，也即，第二关键点所位于的部位，在第一关键点所位于的部位和第三关键点所位于的部位之间。
如图2所示，在肩关节、肘关节、腕关节上分别有关键点J(Jx，Jy，Jz)，E(Ex，Ey，Ez)，W(Wx，Wy，Wz)。J、E、W点分别对应前述的第一关键点、第二关键点、第三关键点，或者，W、E、J点分别对应前述的第一关键点、第二关键点、第三关键点。EJ之间的连线可以认为是第一连接线，EW之间的连线可以认为是第二连接线。或者，反之亦可。
那么，这三个关键点之间的夹角计算方式如下：
其中，
表示关键点E和关键点J之间的连线的向量，
表示关键点E和关键点W之间的连线的向量，
表示两个向量之间的夹角的余弦值。通过上述余弦值即可得到连线EJ和连线EW两个连线之间的夹角。
在此步骤中，对于任意依次相邻的三个关键点均可计算其所形成的夹角。
步骤103、根据所述姿态的信息，确定所述目标对象的姿态与预设姿态之间的匹配度。
由于角度的大小可表示动作幅度的大小，因此，可基于角度之间的匹配，来确定两个动作或者姿态之间的匹配度。如果匹配度满足预设要求，例如，匹配度大于某个预设值，则可以触发该目标对象的姿态所对应的特效效果。
其中，所述预设姿态可以认为是预先定义的一些标准动作的姿态。标准动作可包括：人体四肢动作、手指动作、面部动作等。其中，可根据特效类型设定触发某类型的特效的标准动作。如，击球的声音特效，对应的动作为击球动作。也即，如果检测到了击球动作，可触发击球的声音特效。这些预设姿态的图像可以预先存储。同时，还可存储这些姿态中的关键点信息，以及这些关键点所构成的夹角信息。
当获取目标对象的图像后，可根据其应用场景等信息进行图像识别，从而从存储的图像中找到可以用来进行匹配的图像。例如，对于棒球比赛中获得的用户图像，可以从预先存储的棒球动作相关的图像库中选择用来进行匹配的图像。
在本发明实施例中，可有以下至少两种方式确定所述目标对象的姿态与预设姿态之间的匹配度。
在一种方式中，可包括如下步骤：
步骤1031a、确定所述预设姿态的第二姿态关键点。
如图3所示，将人体的骨骼点划分为三类：人体左侧的关节上的点303、305、309、411、413等，人体右侧的关节上的点304、306、410、412、414等，以及头部上的关键点301、302。通常情况下，关键点指的是人体左侧和人体右侧关节上的点。在此，可按照前述的人体骨骼关键点检测算法，确定预设姿态中的第二姿态关键点，该第二姿态关键点的个数为至少三个。
其中，第二姿态关键点可以是预先标注好的。
步骤1031b、对于所述夹角中的第一夹角，计算所述第一夹角和所述预设姿态中的第二夹角之间的第二匹配度。
其中，所述第二夹角是第三连接线和第四连接线之间的夹角，所述第三连接线为第四关键点和第五关键点之间的连线，所述第四连接线为所述第五关键点和第六关键点之间的连线，所述第四关键点、所述第五关键点和所述第六关键点为所述第二姿态关键点中依次相邻的三个关键点，且分别与所述第一姿态关键点中形成所述第一夹角的三个关键点对应；
所述第五关键点位于所述第四关键点和所述第六关键点之间。
如果第一夹角是基于第一姿态关键点中的第一关键点、第二关键点、第三关键点确定的，那么，计算所述第二夹角的第二姿态关键点中的第四关键点、第五关键点和第六关键点分别是与第一关键点、第二关键点、第三关键点相对应的关键点。
例如，第一关键点、第二关键点、第三关键点依次是左侧肩部、左侧肘部、左侧腕部的关键点，那么第四关键点、第五关键点和第六关键点也依次是左侧肩部、左侧肘部、左侧腕部的关键点。
在本发明实施例中，可按照从头部到脚部或者按照从脚部到头部的顺序，根据前述的角度的计算方法，计算出依次相邻的三个关键点所形成的夹角的大小。或者，所述夹角的大小也可以是预先计算好的。在此，获取预先计算好的第二夹角即可。
其中，在此方式中，所述第一夹角和第二夹角之间的匹配度可以通过两个夹角的差来表示。差的绝对值越小，则表示两个角度越接近。
步骤1031c、将获得的至少一个第二匹配度进行归一化处理，得到所述目标对象的姿态与所述预设姿态之间的匹配度。
在本发明实施例中，为预设姿态的每个夹角设置一个误差范围。如果获得第一夹角和第二夹角的匹配度在对应的误差范围内，则认为第一夹角和第二夹角匹配，否则可认为不匹配。
在此步骤中，将获得的至少一个第二匹配度进行归一化处理，得到所述目标对象的姿态与所述预设姿态之间的匹配度。该匹配度是大于或等于0且小于或等于1的数。
在另一种方式中，可包括如下步骤：
步骤1032a、确定所述预设姿态的第二姿态关键点。
此步骤的描述可参照前述步骤1031a的描述。
步骤1032b、将所述目标对象的图像中所述目标对象的大小调整为与所述预设姿态的大小一致。
在此，可将目标对象的大小和预设姿态的大小进行归一化，从而将所述目标对象的图像中所述目标对象的大小调整为与所述预设姿态的大小一致。
步骤1032c、对于所述第一姿态关键点中的第七关键点，在所述第二姿态关键点中确定对应的第八关键点，并调整所述目标对象的姿态，使得所述第七关键点和所述第八关键点重合。
其中，所述第七关键点可以是任何一个关键点。通常情况下，所述第七关键点可以是腿部上的关键点，或者，自脚部往头的方向上的第一个关键点。
在此步骤中，以该第七关键点为中心，调整目标对象的姿态(如3D姿态)，使得所述第七关键点和所述第八关键点重合。其中，所述第八关键点是所述预设姿态上与所述第七关键点位于相同部位的关键点。
步骤1032d、对于所述第一姿态关键点中的第九关键点，在所述第二姿态关键点中确定对应的第十关键点，并调整所述目标对象的姿态，使得所述第九关键点和所述第十关键点之间的距离最小。
其中，第九关键点可以是目标对象的姿态中与所述第七关键点相邻的，且位于所述第七关键点所在的部位之上的人体部位上的关键点。
步骤1032e、分别计算所述第一姿态关键点中的第一目标关键点和所述预设姿态中的第二目标关键点之间的距离。其中，所述第一目标关键点为所述第一姿态关键点中的任一关键点，所述第二目标关键点为所述预设姿态的关键点中的任一关键点，且与所述第一目标关键点对应。
也即，对于第一姿态关键点和第二姿态关键点中的关键点，计算任意两个相对应的关键点之间的直线距离。
步骤1032f、对获得的至少一个距离进行归一化处理，得到所述目标对象的姿态与所述预设姿态之间的匹配度。
同样，对于每个关键点可设置距离范围。如果第一目标关键点和第二目标关键点之间的距离在对应的距离范围内，则认为二者匹配；否则可认为二者不匹配。
在此步骤中，将获得的至少一个距离度进行归一化处理，得到所述目标对象的姿态与所述预设姿态之间的匹配度。该匹配度是大于或等于0且小于或等于1的数。
步骤104、根据所述匹配度，确定所述姿态的特效效果的特效强度。
在此步骤中，对于所述特效效果对应的目标特效参数，利用所述目标特效参数对应的最小参数值与第一数值的和，作为所述目标特效参数的特效强度。其中，所述第一数值为所述目标特效参数对应的最大参数值和所述最小参数值之差与所述匹配度的乘积。所述目标特效参数例如可以是亮度、对比度、大小、速度、频率等，所述特效效果例如可以是声音，灯光等等。所述特效强度指的是特效效果中某个特效参数的大小，比如，特效的声音的大小，灯光的强暗，动作速度的大小等等。
在本发明实施例中，为了使得确定的特效强度更为准确，还可对所述特效效果的特效参数进行归一化处理，例如，分别对亮度、对比度、大小、速度、频率等进行归一化处理。其中，某个特效参数的特效归一化取值范围为：该特效参数的最弱效果参数，该特效参数的最大效果参数与该特效参数的最弱效果参数之间的差值和匹配度的乘积。
以特效为火焰为例，其特效参数对应的最小特效、最大特效、归一化后的特效强度如下表1所示：
表1
通过上述表1，在获得了匹配度之后，即可计算出某个参数对应的特效强度。关键点之间越匹配，特效效果越强。
在本发明实施例中，将目标对象的姿态和预设姿态之间进行匹配，得到匹配度，然后根据匹配度确定目标对象的姿态所对应的特效效果的特效强度。由此可以看出，在本发明实施例中，可区分目标对象的姿态和预设姿态之间的匹配情况来确定特效效果的特效强度，因此，利用本发明实施例的方案，可准确的体现用户的姿态的特效效果。
此外，还可显示具有所述特效强度的特效效果，从而便于用户了解动作的匹配程度。或者，还可在上述获得的匹配度满足预设要求的情况下，显示具有所述特效强度的特效效果。其中，所述预设要求例如可以是匹配度大于某个值，而该值可以根据需要设置。
在实际应用中，目标对象的姿态可能会持续一段时间或者是由时间上连续的多个姿态构成。那么，相应的，所述姿态的信息包括时间上连续的至少一个子姿态的信息。因此，在确定匹配度的时候，为了使得获得的特效强度更为准确，还可根据所述至少一个子姿态的信息，分别确定所述至少一个子姿态与所述预设姿态之间的匹配度，得到至少一个匹配度。其中，确定匹配度的方式可参照前述实施例的描述。之后，利用DTW(Dynamic TimeWarping，动态时间规整算法)对所述至少一个匹配度进行处理，将处理结果作为所述目标对象的姿态与预设姿态之间的匹配度。通过这种方式，可将连续的姿态变化过程中各子姿态对应的匹配度都作为考虑，从而得到一个中间的匹配度值。
在以上的实施例中，还可为某个标准姿态设置其关键点以及关键点之间形成的夹角。其中，关键点的选取用于决定特效强度，也即关键点的匹配满足一定条件之后，才能触发特效，并影响特效的强度。例如，用户模仿孙悟空发动龟波气功，脚部和腰部动作达到一定匹配度，则触发特效；而手掌动作越接近设定好的动作，则发出来的气功波效果越强烈。
本发明实施例还提供了一种信息确定装置。参见图4，图4是本发明实施例提供的信息确定装置的结构图。由于信息确定装置解决问题的原理与本发明实施例中信息确定方法相似，因此该信息确定装置的实施可以参见方法的实施，重复之处不再赘述。
如图4所示，信息确定装置400包括：
第一获取模块401，用于获取目标对象的图像；第一提取模块402，用于从所述图像中提取所述目标对象的姿态的信息；第一确定模块403，用于根据所述姿态的信息，确定所述目标对象的姿态与预设姿态之间的匹配度；第二确定模块404，用于根据所述匹配度，确定所述姿态的特效效果的特效强度。
可选的，所述第一提取模块402可包括：
第一提取子模块，用于从所述图像中提取第一姿态关键点，其中，所述第一姿态关键点的数量为至少三个；第一计算子模块，用于对于所述第一姿态关键点中的第一关键点、第二关键点和第三关键点，计算第一连接线和第二连接线之间的夹角；其中，所述第一关键点、所述第二关键点和所述第三关键点为所述第一姿态关键中任意依次相邻的三个关键点；所述第二关键点位于所述第一关键点和所述第三关键点之间；所述第一连接线为所述第二关键点和所述第一关键点之间的连线，所述第二连接线为所述第二关键点和所述第三关键点之间的连线。
可选的，所述第一确定模块403可包括：
第一确定子模块，用于确定所述预设姿态的第二姿态关键点；第一计算子模块，用于对于所述夹角中的第一夹角，计算所述第一夹角和所述预设姿态中的第二夹角之间的第二匹配度；第一获取子模块，用于将获得的至少一个第二匹配度进行归一化处理，得到所述目标对象的姿态与所述预设姿态之间的匹配度；其中，所述第二夹角是第三连接线和第四连接线之间的夹角，所述第三连接线为第四关键点和第五关键点之间的连线，所述第四连接线为所述第五关键点和第六关键点之间的连线，所述第四关键点、所述第五关键点和所述第六关键点为所述第二姿态关键点中依次相邻的三个关键点，且分别与所述第一姿态关键点中形成所述第一夹角的三个关键点对应；
所述第五关键点位于所述第四关键点和所述第六关键点之间。
可选的，所述第一确定模块403可包括：
第二确定子模块，用于确定所述预设姿态的第二姿态关键点；第一调整子模块，用于将所述目标对象的图像中所述目标对象的大小调整为与所述预设姿态的大小一致；第二调整子模块，用于对于所述第一姿态关键点中的第七关键点，在所述第二姿态关键点中确定对应的第八关键点，并调整所述目标对象的姿态，使得所述第七关键点和所述第八关键点重合；第三调整子模块，用于对于所述第一姿态关键点中的第九关键点，在所述第二姿态关键点中确定对应的第十关键点，并调整所述目标对象的姿态，使得所述第九关键点和所述第十关键点之间的距离最小；第二计算子模块，用于分别计算所述第一姿态关键点中的第一目标关键点和所述预设姿态中的第二目标关键点之间的距离；其中，所述第一目标关键点为所述第一姿态关键点中的任一关键点，所述第二目标关键点为所述预设姿态的关键点中的任一关键点，且与所述第一目标关键点对应；第二获取子模块，用于对获得的至少一个距离进行归一化处理，得到所述目标对象的姿态与所述预设姿态之间的匹配度。
可选的，所述第二确定模块404具体用于，对于所述特效效果对应的目标特效参数，利用所述目标特效参数对应的最小参数值与第一数值的和，作为所述目标特效参数的特效强度；其中，所述第一数值为所述目标特效参数对应的最大参数值和所述最小参数值之差与所述匹配度的乘积。
可选的，所述姿态的信息包括时间上连续的至少一个子姿态的信息；所述第一确定模块403可包括：
第三确定子模块，用于根据所述至少一个子姿态的信息，分别确定所述至少一个子姿态与所述预设姿态之间的匹配度，得到至少一个匹配度；第四确定子模块，用于利用DTW对所述至少一个匹配度进行处理，将处理结果作为所述目标对象的姿态与预设姿态之间的匹配度。
可选的，所述装置还可包括：
处理模块，用于对所述特效效果的特效参数进行归一化处理。
可选的，所述装置还可包括：显示具有所述特效强度的特效效果。
本发明实施例提供的装置，可以执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
如图5所示，本发明实施例的信息确定设备，包括：处理器500，用于读取存储器520中的程序，执行下列过程：
获取目标对象的图像；
从所述图像中提取所述目标对象的姿态的信息；
根据所述姿态的信息，确定所述目标对象的姿态与预设姿态之间的匹配度；
根据所述匹配度，确定所述姿态的特效效果的特效强度。
其中，在图5中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器500代表的一个或多个处理器和存储器520代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器500负责管理总线架构和通常的处理，存储器520可以存储处理器500在执行操作时所使用的数据。
处理器500负责管理总线架构和通常的处理，存储器520可以存储处理器500在执行操作时所使用的数据。
处理器500还用于读取所述程序，执行如下步骤：
从所述图像中提取第一姿态关键点，其中，所述第一姿态关键点的数量为至少三个；
对于所述第一姿态关键点中的第一关键点、第二关键点和第三关键点，计算第一连接线和第二连接线之间的夹角；
其中，所述第一关键点、所述第二关键点和所述第三关键点为所述第一姿态关键中任意依次相邻的三个关键点；所述第二关键点位于所述第一关键点和所述第三关键点之间；
所述第一连接线为所述第二关键点和所述第一关键点之间的连线，所述第二连接线为所述第二关键点和所述第三关键点之间的连线。
处理器500还用于读取所述程序，执行如下步骤：
确定所述预设姿态的第二姿态关键点；
对于所述夹角中的第一夹角，计算所述第一夹角和所述预设姿态中的第二夹角之间的第二匹配度；
将获得的至少一个第二匹配度进行归一化处理，得到所述目标对象的姿态与所述预设姿态之间的匹配度；
其中，所述第二夹角是第三连接线和第四连接线之间的夹角，所述第三连接线为第四关键点和第五关键点之间的连线，所述第四连接线为所述第五关键点和第六关键点之间的连线，所述第四关键点、所述第五关键点和所述第六关键点为所述第二姿态关键点中依次相邻的三个关键点，且分别与所述第一姿态关键点中形成所述第一夹角的三个关键点对应；所述第五关键点位于所述第四关键点和所述第六关键点之间。
处理器500还用于读取所述程序，执行如下步骤：
确定所述预设姿态的第二姿态关键点；
将所述目标对象的图像中所述目标对象的大小调整为与所述预设姿态的大小一致；
对于所述第一姿态关键点中的第七关键点，在所述第二姿态关键点中确定对应的第八关键点，并调整所述目标对象的姿态，使得所述第七关键点和所述第八关键点重合；
对于所述第一姿态关键点中的第九关键点，在所述第二姿态关键点中确定对应的第十关键点，并调整所述目标对象的姿态，使得所述第九关键点和所述第十关键点之间的距离最小；
分别计算所述第一姿态关键点中的第一目标关键点和所述预设姿态中的第二目标关键点之间的距离；其中，所述第一目标关键点为所述第一姿态关键点中的任一关键点，所述第二目标关键点为所述预设姿态的关键点中的任一关键点，且与所述第一目标关键点对应；
对获得的至少一个距离进行归一化处理，得到所述目标对象的姿态与所述预设姿态之间的匹配度。处理器500还用于读取所述程序，执行如下步骤：
处理器500还用于读取所述程序，执行如下步骤：
对于所述特效效果对应的目标特效参数，利用所述目标特效参数对应的最小参数值与第一数值的和，作为所述目标特效参数的特效强度；
其中，所述第一数值为所述目标特效参数对应的最大参数值和所述最小参数值之差与所述匹配度的乘积。
所述姿态的信息包括时间上连续的至少一个子姿态的信息；处理器500还用于读取所述程序，执行如下步骤：
根据所述至少一个子姿态的信息，分别确定所述至少一个子姿态与所述预设姿态之间的匹配度，得到至少一个匹配度；
利用动态时间规整算法DTW对所述至少一个匹配度进行处理，将处理结果作为所述目标对象的姿态与预设姿态之间的匹配度。
处理器500还用于读取所述程序，执行如下步骤：
对所述特效效果的特效参数进行归一化处理。
处理器500还用于读取所述程序，执行如下步骤：
显示具有所述特效强度的特效效果。
本发明实施例提供的设备，可以执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述信息确定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。根据这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。
Claims (10)
1.一种信息确定方法，其特征在于，包括：
获取目标对象的图像；
从所述图像中提取所述目标对象的姿态的信息；
根据所述姿态的信息，确定所述目标对象的姿态与预设姿态之间的匹配度；
根据所述匹配度，确定所述姿态的特效效果的特效强度。
2.根据权利要求1所述的方法，其特征在于，所述从所述图像中提取所述目标对象的姿态的信息，包括：
从所述图像中提取第一姿态关键点，其中，所述第一姿态关键点的数量为至少三个；
对于所述第一姿态关键点中的第一关键点、第二关键点和第三关键点，计算第一连接线和第二连接线之间的夹角；
其中，所述第一关键点、所述第二关键点和所述第三关键点为所述第一姿态关键中任意依次相邻的三个关键点；所述第二关键点位于所述第一关键点和所述第三关键点之间；
所述第一连接线为所述第二关键点和所述第一关键点之间的连线，所述第二连接线为所述第二关键点和所述第三关键点之间的连线。
3.根据权利要求2所述的方法，其特征在于，所述根据所述姿态的信息，确定所述目标对象的姿态与预设姿态之间的匹配度，包括：
确定所述预设姿态的第二姿态关键点；
对于所述夹角中的第一夹角，计算所述第一夹角和所述预设姿态中的第二夹角之间的第二匹配度；
将获得的至少一个第二匹配度进行归一化处理，得到所述目标对象的姿态与所述预设姿态之间的匹配度；
其中，所述第二夹角是第三连接线和第四连接线之间的夹角，所述第三连接线为第四关键点和第五关键点之间的连线，所述第四连接线为所述第五关键点和第六关键点之间的连线，所述第四关键点、所述第五关键点和所述第六关键点为所述第二姿态关键点中依次相邻的三个关键点，且分别与所述第一姿态关键点中形成所述第一夹角的三个关键点对应；
所述第五关键点位于所述第四关键点和所述第六关键点之间。
4.根据权利要求2所述的方法，其特征在于，所述根据所述姿态的信息，确定所述目标对象的姿态与预设姿态之间的匹配度，包括：
确定所述预设姿态的第二姿态关键点；
将所述目标对象的图像中所述目标对象的大小调整为与所述预设姿态的大小一致；
对于所述第一姿态关键点中的第七关键点，在所述第二姿态关键点中确定对应的第八关键点，并调整所述目标对象的姿态，使得所述第七关键点和所述第八关键点重合；
对于所述第一姿态关键点中的第九关键点，在所述第二姿态关键点中确定对应的第十关键点，并调整所述目标对象的姿态，使得所述第九关键点和所述第十关键点之间的距离最小；
分别计算所述第一姿态关键点中的第一目标关键点和所述预设姿态中的第二目标关键点之间的距离；其中，所述第一目标关键点为所述第一姿态关键点中的任一关键点，所述第二目标关键点为所述预设姿态的关键点中的任一关键点，且与所述第一目标关键点对应；
对获得的至少一个距离进行归一化处理，得到所述目标对象的姿态与所述预设姿态之间的匹配度。
5.根据权利要求1所述的方法，其特征在于，所述根据所述匹配度，确定所述姿态的特效效果的特效强度，包括：
对于所述特效效果对应的目标特效参数，利用所述目标特效参数对应的最小参数值与第一数值的和，作为所述目标特效参数的特效强度；
其中，所述第一数值为所述目标特效参数对应的最大参数值和所述最小参数值之差与所述匹配度的乘积。
6.根据权利要求1所述的方法，其特征在于，所述姿态的信息包括时间上连续的至少一个子姿态的信息；
所述确定所述目标对象的姿态与预设姿态之间的匹配度，包括：
根据所述至少一个子姿态的信息，分别确定所述至少一个子姿态与所述预设姿态之间的匹配度，得到至少一个匹配度；
利用动态时间规整算法DTW对所述至少一个匹配度进行处理，将处理结果作为所述目标对象的姿态与预设姿态之间的匹配度。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述特效效果的特效参数进行归一化处理。
8.根据权利要求1所述的方法，其特征在于，在所述根据所述匹配度，确定特效效果的特效强度之后，所述方法还包括：
显示具有所述特效强度的特效效果。
9.一种信息确定设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；其特征在于，所述处理器，用于读取存储器中的程序实现如权利要求1至8中任一项所述的信息确定方法中的步骤。
10.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的信息确定方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010241288.7A CN111428665B (zh) | 2020-03-30 | 2020-03-30 | 一种信息确定方法、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010241288.7A CN111428665B (zh) | 2020-03-30 | 2020-03-30 | 一种信息确定方法、设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111428665A true CN111428665A (zh) | 2020-07-17 |
| CN111428665B CN111428665B (zh) | 2024-04-12 |
Family
ID=71551754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010241288.7A Active CN111428665B (zh) | 2020-03-30 | 2020-03-30 | 一种信息确定方法、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111428665B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109147023A (zh) * | 2018-07-27 | 2019-01-04 | 北京微播视界科技有限公司 | 基于人脸的三维特效生成方法、装置和电子设备 |
| CN109462776A (zh) * | 2018-11-29 | 2019-03-12 | 北京字节跳动网络技术有限公司 | 一种视频特效添加方法、装置、终端设备及存储介质 |
| CN110113523A (zh) * | 2019-03-15 | 2019-08-09 | 深圳壹账通智能科技有限公司 | 智能拍照方法、装置、计算机设备及存储介质 |
| CN110297929A (zh) * | 2019-06-14 | 2019-10-01 | 北京达佳互联信息技术有限公司 | 图像匹配方法、装置、电子设备及存储介质 |
| US20200082635A1 (en) * | 2017-12-13 | 2020-03-12 | Tencent Technology (Shenzhen) Company Limited | Augmented reality processing method, object recognition method, and related device |
-
2020
- 2020-03-30 CN CN202010241288.7A patent/CN111428665B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200082635A1 (en) * | 2017-12-13 | 2020-03-12 | Tencent Technology (Shenzhen) Company Limited | Augmented reality processing method, object recognition method, and related device |
| CN109147023A (zh) * | 2018-07-27 | 2019-01-04 | 北京微播视界科技有限公司 | 基于人脸的三维特效生成方法、装置和电子设备 |
| CN109462776A (zh) * | 2018-11-29 | 2019-03-12 | 北京字节跳动网络技术有限公司 | 一种视频特效添加方法、装置、终端设备及存储介质 |
| CN110113523A (zh) * | 2019-03-15 | 2019-08-09 | 深圳壹账通智能科技有限公司 | 智能拍照方法、装置、计算机设备及存储介质 |
| CN110297929A (zh) * | 2019-06-14 | 2019-10-01 | 北京达佳互联信息技术有限公司 | 图像匹配方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 傅鹏;孙世君;王琨;金元;蔡汉辉;孙权森;朱近;: "图像MTF对立体定位测量精度影响的仿真研究" * |
| 罗会兰;冯宇杰;孔繁胜;: "融合多姿势估计特征的动作识别" * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111428665B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8639020B1 (en) | Method and system for modeling subjects from a depth map | |
| CN108230383B (zh) | 手部三维数据确定方法、装置及电子设备 | |
| Chua et al. | Model-based 3D hand posture estimation from a single 2D image | |
| CN111191599A (zh) | 姿态识别方法、装置、设备及存储介质 | |
| US20180321776A1 (en) | Method for acting on augmented reality virtual objects | |
| Maisto et al. | An accurate algorithm for the identification of fingertips using an RGB-D camera | |
| CN108304819B (zh) | 姿态识别系统及方法、存储介质 | |
| Anilkumar et al. | Pose estimated yoga monitoring system | |
| JP2019096113A (ja) | キーポイントデータに関する加工装置、方法及びプログラム | |
| WO2008007471A1 (fr) | Procédé de suivi d'un marcheur et dispositif de suivi d'un marcheur | |
| CN108509924B (zh) | 人体姿态的评分方法和装置 | |
| CN109740511B (zh) | 一种人脸表情匹配方法、装置、设备及存储介质 | |
| Lee et al. | Kinect who's coming—applying Kinect to human body height measurement to improve character recognition performance | |
| JP2010113530A (ja) | 画像認識装置及びプログラム | |
| CN113947810A (zh) | 基于姿态识别的太极拳评估方法及系统 | |
| CN111103981B (zh) | 控制指令生成方法及装置 | |
| CN111368787A (zh) | 视频处理方法及装置、设备和计算机可读存储介质 | |
| CN112418153B (zh) | 图像处理方法、装置、电子设备和计算机存储介质 | |
| CN111722710B (zh) | 开启增强现实ar互动学习模式的方法及电子设备 | |
| CN111639615B (zh) | 一种虚拟建筑物的触发控制方法及装置 | |
| KR20230036458A (ko) | 사용자의 자세를 평가하는 방법 및 장치 | |
| CN111428665B (zh) | 一种信息确定方法、设备及计算机可读存储介质 | |
| CN111353347B (zh) | 动作识别纠错方法、电子设备、存储介质 | |
| CN111611941A (zh) | 特效处理方法及相关设备 | |
| JP2020198019A (ja) | 骨格抽出方法、装置およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |