CN112966599B - 关键点识别模型的训练方法、关键点识别方法及装置 - Google Patents
关键点识别模型的训练方法、关键点识别方法及装置 Download PDFInfo
- Publication number
- CN112966599B CN112966599B CN202110241835.6A CN202110241835A CN112966599B CN 112966599 B CN112966599 B CN 112966599B CN 202110241835 A CN202110241835 A CN 202110241835A CN 112966599 B CN112966599 B CN 112966599B
- Authority
- CN
- China
- Prior art keywords
- detection frame
- target object
- calibration
- prediction
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000012549 training Methods 0.000 title claims abstract description 68
- 238000001514 detection method Methods 0.000 claims abstract description 331
- 238000003860 storage Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 43
- 238000011176 pooling Methods 0.000 claims description 9
- 238000012806 monitoring device Methods 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 6
- 230000004069 differentiation Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims 2
- 238000012544 monitoring process Methods 0.000 abstract description 11
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 5
- 230000000875 corresponding effect Effects 0.000 description 38
- 238000010586 diagram Methods 0.000 description 17
- 238000004590 computer program Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Computational Biology (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种关键点识别模型的训练方法、装置、关键点识别方法、电子设备、存储介质、程序产品、以及监控设备，涉及人工智能，具体为计算机视觉和深度学习，可应用于智慧城市场景下。包括：获取样本数据集，样本数据集包括：至少一组样本数据；每组样本数据包括：含有目标对象的样本原始图像、第一差异化信息和第二差异化信息。第一差异化信息表征样本原始图像中目标对象的预测检测框所包括的像素与样本原始图像中目标对象的标定检测框所包括的像素之间的差异；第二差异化信息表征预测检测框中目标对象的热图与标定检测框中的目标对象的热图之间的差异，根据样本数据集对基础模型进行训练，得到关键点识别模型，提高了效率，且节约了资源。
Description
技术领域
本申请涉及人工智能领域，具体为计算机视觉和深度学习，可应用于智慧城市场景下，尤其涉及一种关键点识别模型的训练方法、装置、关键点识别方法、电子设备、存储介质、程序产品、以及监控设备。
背景技术
关键点识别(如人体关键点识别)被广泛地应用于各种安防监控场景。
在现有技术中，通常采用的关键点识别的方法为：通过对象检测模型对采集到的图像进行识别，得到待识别对象的检测信息，并基于关键点模型对待识别对象的检测信息进行识别，得到待识别对象的关键点信息。
然而，通过训练两个模型(即对象检测模型和关键点模型)得到待识别对象的关键点信息，存在消耗的算力资源较高，且时间消耗较长的问题。
发明内容
本申请提供了一种用于节约资源，提高效率的关键点识别模型的训练方法、装置、关键点识别方法、电子设备、存储介质、程序产品、以及监控设备。
根据本申请的第一方面，提供了一种关键点识别模型的训练方法，包括：
获取样本数据集；其中，所述样本数据集包括：至少一组样本数据；每组样本数据包括：含有目标对象的样本原始图像、第一差异化信息和第二差异化信息；所述第一差异化信息表征所述样本原始图像中所述目标对象的预测检测框所包括的像素与所述样本原始图像中所述目标对象的标定检测框所包括的像素之间的差异；所述第二差异化信息表征所述预测检测框中所述目标对象的热图与所述标定检测框中的所述目标对象的热图之间的差异；
根据所述样本数据集，对预设的基础模型进行训练，得到关键点识别模型。
根据本申请的第二方面，提供了一种关键点识别方法，包括：
获取包括待识别对象的待识别图像；
基于预先训练的关键点识别模型对所述待识别图像进行识别处理，得到与所述待识别对象对应的待识别对象关键点信息，其中，所述关键点识别模型是基于第一方面所述的方法生成的。
根据本申请的第三方面，提供了一种关键点识别模型的训练装置，包括：
第一获取单元，用于获取样本数据集；其中，所述样本数据集包括：至少一组样本数据；每组样本数据包括：含有目标对象的样本原始图像、第一差异化信息和第二差异化信息；所述第一差异化信息表征所述样本原始图像中所述目标对象的预测检测框所包括的像素与所述样本原始图像中所述目标对象的标定检测框所包括的像素之间的差异；所述第二差异化信息表征所述预测检测框中所述目标对象的热图与所述标定检测框中的所述目标对象的热图之间的差异；
训练单元，用于根据所述样本数据集，对预设的基础模型进行训练，得到关键点识别模型。
根据本申请的第四方面，提供了一种关键点识别装置，包括：
第二获取模块，用于获取包括待识别对象的待识别图像；
识别模块，用于基于预先训练的关键点识别模型对所述待识别图像进行识别处理，得到与所述待识别对象对应的待识别对象关键点信息，其中，所述关键点识别模型是基于第一方面所述的方法生成的。
根据本申请的第五方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面或者第二方面所述的方法。
根据本申请的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面或者第二方面所述的方法。
根据本申请的第七方面，提供了一种计算机程序产品，所述程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面或者第二方面所述的方法。
根据本申请的第八方面，提供了一种监控设备，所述监控设备包括：
如第四方面所述的关键点识别装置；或者，
如第五方面所述的电子设备。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的示意图；
图2是根据本申请第二实施例的示意图；
图3是可以实现本申请实施例的关键点识别方法的场景图；
图4是根据本申请第三实施例的示意图；
图5是根据本申请第四实施例的示意图；
图6是根据本申请第五实施例的示意图；
图7是根据本申请第六实施例的示意图；
图8是用来实现本申请实施例的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
随着互联网技术和安防监控技术的发展，关键点识别被广泛地应用于各种安防监控场景。
示例性地，安防监控场景包括室内场景和室外场景，且室内场景可以包括商场场景等，室外场景可以包括公路场景等，关键点识别包括人体的关键点识别和车辆的关键点识别等。
其中，关键点可以理解为勾勒目标对象(如人体和车辆等)的重要点。例如，若关键点为人体的关键点，则人体的关键点可以包括：眼睛、鼻子、嘴巴各自对应的点，等。
随着深度学习等人工智能技术地发展，关键点识别通常可以通过构建网络模型，并基于构建的网络模型实现关键点识别。
而在相关技术中，通常需要训练两个网络模型对关键点进行识别，两个网络模型分别为对象检测模型和关键点模型。其中，对象检测模型用于从待识别的图像中获取待识别对象，关键点模型用于对待识别对象进行关键点识别。
也就是说，在相关技术中，需要训练两个网络模型(即对象检测模型和关键点模型)，以便通过该两个网络模型实现对关键点的识别。
然而，训练两个模型可能存在消耗算力资源较高，且训练耗时较长的问题，即通过相关技术中的训练两个网络模型的方法对关键点进行识别，可能造成效率偏低，资源消耗较多的问题。
为了解决相关技术中存在的上述问题，本申请的发明人经过创造性地劳动，得到了本申请的发明构思：由既包括第一差异化信息，又包括第二差异化信息的样本数据集，对基础模型进行训练，得到关键点识别模型，其中，第一差异化信息表征预测检测框的像素与标定检测框的像素之间的从差异，第二差异化信息表征预测检测框的热图与标定检测框的热图之间的差异。
基于上述发明构思，本申请提供一种关键点识别模型的训练方法、装置、关键点识别方法、电子设备、存储介质、程序产品、以及监控设备，应用于人工智能领域，具体为计算机视觉和深度学习，可应用于智慧城市场景下，以达到提高训练效率，节约时间和算力资源。
图1是根据本申请第一实施例的示意图，如图1所示，本申请实施例的关键点识别模型的训练方法包括：
S101：获取样本数据集。
其中，样本数据集包括：至少一组样本数据；每组样本数据包括：含有目标对象的样本原始图像、第一差异化信息和第二差异化信息。第一差异化信息表征样本原始图像中目标对象的预测检测框所包括的像素与样本原始图像中目标对象的标定检测框所包括的像素之间的差异；第二差异化信息表征预测检测框中目标对象的热图与标定检测框中的目标对象的热图之间的差异。
示例性地，本实施例的执行主体可以为关键点识别模型的训练装置(下文简称训练装置)，训练装置可以为服务器(包括本地服务器和云端服务器，服务器可以为云控平台、车路协同管理平台、中心子系统、边缘计算平台、云计算平台等)，也可以为监控设备，也可以为路侧设备，也可以为终端设备，也可以为处理器，还可以为芯片，等等，本实施例不做限定。
其中，路侧设备例如有计算功能的路侧感知设备、与路侧感知设备相连接的路侧计算设备，在智能交通车路协同的系统架构中，路侧设备包括路侧感知设备和路侧计算设备，路侧感知设备(例如路侧相机)连接到路侧计算设备(例如路侧计算单元RSCU)，路侧计算设备连接到服务器，服务器可以通过各种方式与自动驾驶或辅助驾驶车辆通信；或者，路侧感知设备自身包括计算功能，则路侧感知设备直接连接到服务器。以上连接可以是有线或是无线。
示例性地，基于上述分析可知，安防监控场景可以包括商场场景和公路场景等，则若本申请实施例的训练生成的关键点识别模型应用于公路场景，如对公路上行驶的车辆，或者对公路上行走的路人等进行关键点识别，则本实施例的执行主体可以为路侧设备。
值得说明地是，在本实施例中，引入了两个差异化信息，一个差异化信息为第一差异化信息，另一个差异化信息为第二差异化信息。
示例性地，样本原始图像中包括目标对象，若安防监控场景为公路场景，则目标对象可以为行驶于公路的车辆(包括汽车、公交车、电动车、以及自行车等)，也可以为行走于公路的行人。
目标对象对应两种检测框，一种检测框为预测检测框，另一种检测框为标定检测框。其中，预测检测框可以基于基础模型对样本原始图像进行处理生成，标定检测框可以为通过人工或者智能地方式生成，标定检测框具体可以理解为标准的，或者用作参考的检测框。
针对第一差异化信息，可以理解为：
预测检测框中包括像素，标定检测框中也包括像素，第一异常信息表征预测检测框中像素与标定检测框中的像素之间的差异。
针对第二差异化信息，可以理解为：
预测检测框中包括目标对象，标定检测框中也包括目标对象，第二异常信息表征预测检测框中的目标对象的热图与标定检测框中的目标对象的热图之间的差异。
示例性地，目标对象的热图可以理解为以点的方式来显示目标对象的关键点的信息的图。
S102：根据样本数据集，对预设的基础模型进行训练，得到关键点识别模型。
其中，本申请实施例对基础模型的类型和结构等不做限定。
例如，针对基础模型的类型不做限定，可以理解为：基础模型可以为深度学习模型，也可以为强化学习模型；针对基础模型的结构不做限定，可以理解为：基础模型的卷积核数量，以及卷积核参数等，可以由训练装置基于需求、历史记录、以及试验等进行设置。
具体地，在一些实施例中，基础模型可以为YOLOv3。
值得说明地是，在本实施例中，通过引入第一异常信息和第二异常信息，并结合第一异常信息和第二异常信息对基础模型进行训练，得到关键点识别模型，避免了相关技术中，需要分别训练对象检测模型和关键点模型，以便解决对待识别对象的关键点进行检测造成的消耗资源偏高，且训练效率偏低的问题，提高训练的效率，节约训练资源。
图2是根据本申请第二实施例的示意图，如图2所示，本申请实施例的关键点识别模型的训练方法包括：
S201：获取多个包括目标对象的样本原始图像。
需要理解地是，本实施例对样本原始图像的数量不做限定，样本原始图像的数量可以基于需求、历史记录、以及试验等进行设置。
例如，针对识别需求相对较高的场景，样本原始图像的数量相对可以偏多，而针对识别需求相对较低的场景，样本原始图像的数量相对可以偏低。
且本实施例对样本原始图像的大小不做限定，如样本原始图像的尺寸大小，以及样本原始图像的像素大小。
基于上述分析可知，关键点识别模型可以应用于如公路场景和商场场景等各安防场景中，若关键点识别模型应用于公路场景，则目标对象可以为车辆，也可以为行人；若关键点识别模型应用于商场场景，则目标对象可以为购物者。
也就是说，针对关键点识别模型的不同应用场景，获取的样本原始图像可能存在区别，且具体可以以关键点识别模型的场景需求获取样本原始图像。
需要说明地是，在本实施例中，对训练装置获取样本原始图像的方式不做限定。例如，训练装置可以包括图像采集器，并基于图像采集器对样本原始图像进行获取；又如，训练装置可以与外界装置连接，并从外界装置获取样本原始图像，等等，此处不再一一列举。
S202：基于各样本原始图像获取多个包括目标对象的预测检测框。
在一些实施例中，S202可以包括如下步骤：
步骤1：对每一样本原始图像进行目标对象特征提取处理，得到每一样本原始图像的目标对象特征。
步骤2：根据每一样本原始图像的目标对象特征，确定每一样本原始图像中的预测检测框。
示例性地，若基础模型为YOLOv3，则在S202中，训练装置可以基于YOLOv3获取预测检测框。
例如，训练装置可以将darcknet(为开源深度学习框架)作为YOLOv3中的backbone(神经网络模型中的一种)，并由backbone对输入的样本原始图像进行提取目标对象特征处理，得到每一样本原始图像的目标对象特征，并确定用于框定目标对象特征的预测检测框。
需要说明地是，特征提取的主要目的是降维，而在降维的过程中，可以得到不同维度的特征，即每一样本原始图像的目标对象特征可以为多个维度的特征，如低维样本特征、中维样本特征、以及高维样本特征。
相应地，预测检测框也可以分为不同维度的特征的预测检测框，且在确定预测检测框时，可以基于高维度样本特征确定预测检测框。
其中，低维、中维、以及高维的划分可以参见相关技术中的划分方法，此处不再赘述。
S203：确定每一预测检测框与每一预测检测框对应的标定检测框之间的第一差异化信息、第二差异化信息。
示例性地，该步骤可以理解为：确定每一预测检测框与每一预测检测框对应的标定检测框之间的第一差异化信息，且确定每一预测检测框与每一预测检测框对应的标定检测框之间的第二差异化信息。
其中，第一差异化信息表征样本原始图像中目标对象的预测检测框所包括的像素与样本原始图像中目标对象的标定检测框所包括的像素之间的差异；第二差异化信息表征预测检测框中所述目标对象的热图与标定检测框中的目标对象的热图之间的差异。
具体地，关于第一差异化信息和第二差异化信息地理解，可以参见第一实施例，此处不再赘述。
在一些实施例中，确定每一预测检测框与每一预测检测框对应的标定检测框之间的第二差异化信息可以包括如下步骤：
步骤1：根据每一标定检测框的标定目标对象关键点坐标，对每一标定检测框所归属的样本原始图像进行处理，得到每一标定检测框的标定目标对象热图。
示例性地，该步骤可以理解为：为了进行区分，可以将标定检测框中的目标对象称为标定目标对象，在对标定检测框进行标定时，还可以对标定检测框中的目标对象的关键点坐标进行标定，得到标定目标对象关键点坐标，基于标定目标对象关键点坐标可以对相应的样本原始图像进行处理，从而得到与标定检测框中的标定目标对象的热图(即为标定目标对象热图)。
在一些实施例中，步骤1可以包括如下子步骤：
子步骤1：根据每一标定检测框的标定目标对象关键点坐标，对每一标定检测框所归属的样本原始图像进行池化处理，得到每一标定检测框中的目标对象的检测特征图。
结合上述示例，若基础模型为YOLOv3，且若不同标定检测框之间的特征维度不同，则可以基于最高维度特征将各标定检测框进行对齐处理，得到相同特征维度的标定目标对象关键点坐标，并进行池化处理，从而得到每一标定检测框中的目标对象的检测特征。
其中，在对齐处理时，可以基于需求、历史记录、以及式样等方式设置预设尺寸，并基于预设尺寸作为对齐处理标准。
子步骤2：对每一标定检测框中的目标对象的检测特征图进行卷积和反卷积处理，得到每一标定检测框的标定目标对象热图。
结合上述示例，若基础模型为YOLOv3，基础模型包括卷积层(conv)和反卷积层(conv-transpose)，则训练装置可以将每一标定检测框中的目标对象的检测特征图依次输入至卷积层和反卷积层，得到每一标定检测框的标定目标对象热图。
需要说明地是，基于上述分析可知，目标对象的检测特征图的尺寸可以基于需求、历史记录、以及试验等进行确定，且目标对象的检测特征图可以为低维度的特征图，也可以为高维度的特征图，在一些实施例中，若目标对象的检测特征图为高维度的特征图，则可以基于目标对象的检测特征图进行降维处理，具体可以基于应用场景和应用需求等进行设置，本实施例不做限定。
值得说明地是，在本实施例中，通过结合每一标定检测框的标定目标对象关键点坐标、池化处理、卷积处理、以及反卷积处理，得到每一标定检测框的目标对象热图，标定目标对象关键点坐标可以相对丰富地体现目标对象的关键点的特征，因此，通过结合目标对象关键点坐标确定目标对象热图，可以提高确定标定目标对象热图的准确性和可靠性的技术效果。
步骤2：根据每一标定检测框的标定目标对象关键点坐标，确定与每一标定检测框对应的预测检测框的预测目标对象关键点坐标。
基于上述分析可知，预测检测框为基于对样本原始图像进行预测生成的检测框，标定检测框为基于对样本原始图像进行标定生成的检测框，则一般而言，一个预测检测框可以对应一个标定检测框，标定检测框可以理解为用于作为预测检测框的参考标准的检测框。
相应地，在标定检测框的标定目标对象关键点坐标确定的基础上，可以基于标定检测框与预测检测框之间的对应关系，确定预测检测框的预测目标对象关键点坐标。
在一些实施例中，可以通过交叠率的方式确定预测检测框对应的标定检测框。其中，在本实施例中，交叠率可以理解为预测检测框与标定检测框之间的相似程度，即可以理解为既包含于预测检测框，又被包含于标定检测框中的信息，占预测检测框的信息与标定检测框的信息的总和的比例。
示例性地，训练装置可以计算每一标定检测框与各预测检测框之间的交叠率，并根据各交叠率确定与每一预测检测框对应的标定检测框。
具体地，训练装置可以通过式1计算交叠率IOU，式1：
IOU＝(标定检测框与预测检测框的交集)/(标定检测框与预测检测框的并集)。
值得说明地是，在本实施例中，通过基于交叠率确定与预测检测框对应的标定检测框，可以提高确定出的存在对应关系的预测检测框与标定检测框之间的准确性和可靠性的技术效果。
在一些实施例中，根据各交叠率确定与每一预测检测框对应的标定检测框，可以包括：从预测检测框与各标定检测框之间的各交叠率中，确定最大交叠率对应的标定检测框为与预测检测框对应的标定检测框。
例如，针对任意预测检测框，可以基于上述式1分别计算该任意预测检测框与每一标定检测框之间的交叠率，得到多个交叠率，并从多个交叠率中确定最大交叠率，且将最大交叠率对应的标定检测框确定为与该任意预测检测框对应的标定检测框。
值得说明地是，在本实施例中，通过将最大交叠率的标定检测框与预测检测框确定为存在对应关系的检测框，可以进一步提高确定出的与预测检测框对应的标定检测框的准确性和可靠性的技术效果。
步骤3：根据每一预测检测框的预测目标对象关键点坐标对每一预测检测框所归属的样本原始图像进行处理，得到每一预测检测框的预测目标对象热图。
同理，在本实施例中，若确定出预测检测框的预测目标对象关键点坐标，则可以确定出的预测检测框的预测目标对象关键点坐标，对预测检测框所归属的样本原始图像进行处理，得到预测检测框的预测目标对象热图。
在一些实施例中，步骤3可以包括：根据每一预测检测框和每一预测检测框的预测目标对象关键点坐标，从每一预测检测框所归属的样本原始图像中裁剪并生成每一预测检测框的预测目标对象热图。
示例性地，该步骤可以理解为：训练装置可以基于某预测检测框的预测目标对象关键点坐标，对该预测检测框所归属的样本原始图像执行裁剪操作，从该预测检测框所归属的样本原始图像中裁剪并生成与该预测检测框对应的预测目标对象的热图(即预测目标对象热图)。
值得说明地是，在本实施例中，通过结合预测目标对象关键点坐标和预测检测框，从预测检测框所归属的样本原始图像中裁剪并生成预测目标对象热图，可以提高预测目标对象热图的准确性和可靠性的技术效果。
更具体地，在上述描述步骤3的基础上，步骤3具体可以包括如下子步骤：
子步骤1：从每一预测检测框所归属的样本原始图像中裁剪与每一预测检测框对应的区域图像。
示例性地，预测检测框a所归属的样本原始图像为b，则训练装置从样本原始图像b中裁剪预测检测框a对应的区域图像。也即，训练装置基于预测检测框a从样本原始图像b中裁剪图像，且裁剪的图像为样本原始图像b中与预测检测框a位置对应的图像，可以将该图像称为区域图像。
子步骤2：根据每一预测检测框的预测目标对象关键点坐标，获取每一预测检测框对应的区域图像中的目标对象关键点信息。
例如，结合上述示例，该子步骤可以理解为：区域图像为样本原始图像中的部分图像，且该部分图像为与预测检测框a对应的图像，则训练装置可以基于预测检测框a的预测目标对象关键点坐标，确定区域图像中的目标对象关键点信息。
子步骤3：根据每一目标对象关键点信息生成每一预测检测框的预测目标对象热图。
在一些实施例中，可以基于高斯分布原理结合目标对象关键点信息，生成预设尺寸的预测目标对象热图。
值得说明地是，在本实施例中，通过裁剪得到区域图像，并确定区域图像的目标对象关键点信息，以便基于目标对象关键点信息确定预测目标对象热图，可以使得确定出的预测目标对象热图与目标对象高度关联，从而提高确定出的预测目标对象热图的准确性和可靠性的技术效果。
步骤4：根据每一标定检测框的标定目标对象热图与每一标定检测框对应的预测检测框的预测目标对象热图，确定每一第二差异化信息。
结合上述对第二差异化信息地描述可知，该步骤可以理解为：若目标对象热图为c，与之对应的预测目标对象热图为d，则可以将目标对象热图c与预测目标对象热图d之间的位置差异(如坐标)等确定为第二差异信息。
值得说明地是，在本实施例中，通过标定目标对象关键点坐标确定标定目标对象热图，确定预测目标对象关键点坐标，并根据预测目标对象关键点坐标确定预测目标对象热图，以便基于标定目标对象热图和预测目标对象热图确定两种热图之间的差异(即第二差异信息)，通过结合关键点坐标(即预测目标对象关键点坐标和标定目标对象关键点坐标)确定热图(即标定目标对象热图和预测目标对象热图)，可以提高确定出的热图的准确性，从而实现基于热图确定出的第二差异信息的可靠性的技术效果。
S204：基于样本原始图像、第一差异化信息、以及第二差异化信息，生成所述样本数据集。
值得说明地是，在本实施例中，通过分别确定预测检测框与预测检测框对应的标定检测框之间的第一差异化信息、第二差异化信息，从而得到样本数据集，可以提高确定样本数据集的效率，且可以使得样本数据集较为精准地表征样本原始图像的特征，从而可以实现提高确定出的样本数据集的准确性和可靠性的技术效果。
S205：根据样本数据集，对预设的基础模型进行训练，得到关键点识别模型。
示例性地，关于S205地描述，可以参见S102，此处不再赘述。
在一些实施例中，S205可以包括：根据样本数据集对基础模型的参数进行调整，得到关键点识别模型。
示例性地，结合上述示例可知，基础模型可以为YOLOv3，则基础模型的参数可以为YOLOv3的卷积层的参数、反卷积层的参数、以及池化层的参数中的一种或多种。
更具体地，训练装置可以确定第一差异化信息和第二差异化信息的加权平均差异化信息，并根据加权平均差异化信息对基础模型的参数进行调整，得到关键点识别模型。
基于上述分析可知，采用上述关键点识别模型的训练方法生成的关键点识别模型可以用于各种安防监控应用场景，如室内场景和室外场景，且室内场景可以为商场场景等，室外场景可以为公路场景等。
现以上述关键点识别模型的训练方法应用于商场场景为例，对基于关键点识别模型实现关键点识别方法的应用场景进行示范性地描述。
图3是可以实现本申请实施例的关键点识别方法的场景图，如图3所示，摄像头301采集包括如图1中所示的人体的图像，并将采集到的包括人体的图像发送给服务器302。
相应地，服务器302接收由摄像头301发送的包括人体的图像。
基于上述分析可知，在相关技术中，在对关键点识别时，通常先采用对象检测模型对采集到的包括人体的图像进行识别，得到人体的检测信息，并基于关键点识别模型对人体的检测信息进行识别，得到人体的关键点信息。
然而，采用相关技术中的方案，需要预先训练两个模型，一个为对象检测模型，一个为关键点识别模型，则可能存在训练成本较高，消耗资源较多，训练效率偏低的问题。且结合如图3所示的应用场景，需要将两个模型部署于服务器302中，并通过两个模型依次执行的方式，确定人体的关键点信息，可能导致识别效率偏低，运行负载相对偏高的问题。
而在本实施例中，服务器302中可以部署有基于上述第一实施例或者第二实施例所述的方法训练生成的关键点识别模型，且可以基于关键点识别模型对包括人体的图像进行识别，得到人体的关键点，避免了识别效率偏低等问题，提高了识别效率，且降低了服务器的运行负载的技术效果。
图4是根据本申请第三实施例的示意图，如图4所示，本申请实施例的关键点识别方法包括：
S401：获取包括待识别对象的待识别图像。
示例性地，本实施例的执行主体与关键点识别模型的训练方法的执行主体可以相同，也可以不同。关于本实施例的执行主体地描述，可以参见关键点识别模型的训练方法的执行主体地描述，此处不再赘述。
例如，若本实施例的关键点识别方法应用于如图3所示的应用场景，则本实施例的执行主体可以为如图3所示的服务器。
且若本实施例的关键点识别方法应用于如图3所示的应用场景，待识别对象可以为如图3中所示的人体，待识别图像可以为包括人体的图像。
又如，若本实施例的关键点识别方法应用于公路场景，则本实施例的执行主体可以为路侧设备，关于路侧设备地描述可以参见第一实施例，此处不再赘述。
且若本实施例的关键点识别方法应用于公路场景，则待识别对象可以为行驶于公路的车辆，也可以为行走于公路的行人，待识别图像可以为包括行驶于公路的车辆的图像，也可以为包括行走于公路的行人的图像。
S402：基于预先训练的关键点识别模型对待识别图像进行识别处理，得到与待识别对象对应的待识别对象关键点信息。
其中，关键点识别模型是基于上述任一实施例所述的方法生成的，如关键点识别模型是基于如图1或者如图2所示的方法生成的。
图5是根据本申请第四实施例的示意图，如图5所示，本申请实施例的关键点识别模型的训练装置500，包括：
第一获取单元501，用于获取样本数据集。
其中，样本数据集包括：至少一组样本数据；每组样本数据包括：含有目标对象的样本原始图像、第一差异化信息和第二差异化信息；第一差异化信息表征样本原始图像中目标对象的预测检测框所包括的像素与样本原始图像中所述目标对象的标定检测框所包括的像素之间的差异；第二差异化信息表征预测检测框中所述目标对象的热图与标定检测框中的目标对象的热图之间的差异。
训练单元502，用于根据样本数据集，对预设的基础模型进行训练，得到关键点识别模型。
图6是根据本申请第五实施例的示意图，如图6所示，本申请实施例的关键点识别模型的训练装置600，包括：
第一获取单元601，用于获取样本数据集。
如图6所示，在一些实施例中，第一获取单元601包括：
获取子单元6011，用于获取多个包括目标对象的样本原始图像，并基于各样本原始图像获取多个包括目标对象的预测检测框。
计算子单元6012，用于计算每一标定检测框与各预测检测框之间的交叠率。
第二确定子单元6013，用于根据各交叠率确定与每一预测检测框对应的标定检测框。
在一些实施例中，第二确定子单元6013用于，从预测检测框与各标定检测框之间的各交叠率中，确定最大交叠率对应的标定检测框为与预测检测框对应的标定检测框。
第一确定子单元6014，用于确定每一预测检测框与每一预测检测框对应的标定检测框之间的第一差异化信息、第二差异化信息。
在一些实施例中，第一确定子单元6014可以包括：
第一处理模块，用于根据每一标定检测框的标定目标对象关键点坐标，对每一标定检测框所归属的样本原始图像进行处理，得到每一标定检测框的标定目标对象热图。
第一确定模块，用于根据每一标定检测框的标定目标对象关键点坐标，确定与每一标定检测框对应的预测检测框的预测目标对象关键点坐标。
第二处理模块，用于根据每一预测检测框的预测目标对象关键点坐标对每一预测检测框所归属的样本原始图像进行处理，得到每一预测检测框的预测目标对象热图。
第二确定模块，用于根据每一标定检测框的标定目标对象热图与每一标定检测框对应的预测检测框的预测目标对象热图，确定每一第二差异化信息。
在一些实施例中，第一处理模块，包括：
池化处理子模块，用于根据每一标定检测框的标定目标对象关键点坐标，对每一标定检测框所归属的样本原始图像进行池化处理，得到每一标定检测框中的目标对象的检测特征图。
卷积处理子模块，用于对每一标定检测框中的目标对象的检测特征图进行卷积和反卷积处理，得到每一标定检测框的标定目标对象热图。
在一些实施例中，第二处理模块用于，根据每一预测检测框和每一预测检测框的预测目标对象关键点坐标，从每一预测检测框所归属的样本原始图像中裁剪并生成每一预测检测框的预测目标对象热图。
在一些实施例中，第二处理模块，包括：
裁剪子模块，用于从每一预测检测框所归属的样本原始图像中裁剪与每一预测检测框对应的区域图像。
获取子模块，用于根据每一预测检测框的预测目标对象关键点坐标，获取每一预测检测框对应的区域图像中的目标对象关键点信息。
生成子模块，用于根据每一目标对象关键点信息生成每一预测检测框的预测目标对象热图。
生成子单元6015，用于基于样本原始图像、第一差异化信息、以及第二差异化信息，生成样本数据集。
训练单元602，用于根据样本数据集，对预设的基础模型进行训练，得到关键点识别模型。
图7是根据本申请第六实施例的示意图，如图7所示，本申请实施例的关键点识别装置700，包括：
第二获取单元701，用于获取包括待识别对象的待识别图像。
识别单元702，用于基于预先训练的关键点识别模型对待识别图像进行识别处理，得到与待识别对象对应的待识别对象关键点信息。
其中，关键点识别模型是基于第一实施例或者第二实施例所述的方法生成的。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
根据本申请的实施例，本申请还提供了一种计算机程序产品，程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
图8示出了可以用来实施本申请的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示，电子设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如关键点识别模型的训练方法或者关键点识别方法。例如，在一些实施例中，关键点识别模型的训练方法或者关键点识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM803并由计算单元801执行时，可以执行上文描述的关键点识别模型的训练方法或者关键点识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行关键点识别模型的训练方法或者关键点识别方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
根据本申请实施例的另一个方面，本申请实施例还提供了一种监控设备，包括：如第六实施例所述的关键点识别装置；或者，如图8所示的电子设备。
示例性地，若监控设备包括关键点识别装置，则监控设备还可以包括图像采集装置，其中，
图像采集装置对包括待识别对象的待识别图像进行采集，并将待识别图像发送至关键点识别装置；
关键点识别装置中部署有基于第一实施例或者第二实施例所述的方法生成的关键点识别模型，关键点识别装置基于关键点识别模型对待识别图像进行识别，得到待识别对象的关键点信息。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (17)
1.一种关键点识别模型的训练方法，包括：
获取多个包括目标对象的样本原始图像，并基于各所述样本原始图像获取多个包括目标对象的预测检测框；
确定每一所述预测检测框与每一所述预测检测框对应的标定检测框之间的第一差异化信息；所述第一差异化信息表征所述样本原始图像中所述目标对象的预测检测框所包括的像素与所述样本原始图像中所述目标对象的标定检测框所包括的像素之间的差异；
根据每一标定检测框的标定目标对象关键点坐标，对每一所述标定检测框所归属的样本原始图像进行处理，得到每一所述标定检测框的标定目标对象热图；
根据每一所述标定检测框的标定目标对象关键点坐标，确定与每一所述标定检测框对应的预测检测框的预测目标对象关键点坐标，并根据每一所述预测检测框的预测目标对象关键点坐标对每一所述预测检测框所归属的样本原始图像进行处理，得到每一所述预测检测框的预测目标对象热图；
根据每一所述标定检测框的标定目标对象热图与每一所述标定检测框对应的预测检测框的预测目标对象热图之间的差异，确定每一第二差异化信息；
基于所述样本原始图像、所述第一差异化信息、以及所述第二差异化信息，生成样本数据集；
根据所述样本数据集，对预设的基础模型进行训练，得到关键点识别模型。
2.根据权利要求1所述的方法，其中，根据每一所述标定检测框的标定目标对象关键点坐标，对每一所述标定检测框所归属的样本原始图像进行处理，得到每一所述标定检测框的标定目标对象热图，包括：
根据每一所述标定检测框的标定目标对象关键点坐标，对每一所述标定检测框所归属的样本原始图像进行池化处理，得到每一所述标定检测框中的目标对象的检测特征图；
对每一所述标定检测框中的目标对象的检测特征图进行卷积和反卷积处理，得到每一所述标定检测框的标定目标对象热图。
3.根据权利要求1所述的方法，其中，根据每一所述预测检测框的预测目标对象关键点坐标对每一所述预测检测框所归属的样本图像进行处理，得到每一所述预测检测框的预测目标对象热图，包括：
根据每一所述预测检测框和每一所述预测检测框的预测目标对象关键点坐标，从每一所述预测检测框所归属的样本原始图像中裁剪并生成每一所述预测检测框的预测目标对象热图。
4.根据权利要求2所述的方法，其中，根据每一所述预测检测框和每一所述预测检测框的预测目标对象关键点坐标，从每一所述预测检测框所归属的样本原始图像中裁剪并生成每一所述预测检测框的预测目标对象热图，包括：
从每一所述预测检测框所归属的样本原始图像中裁剪与每一所述预测检测框对应的区域图像；
根据每一所述预测检测框的预测目标对象关键点坐标，获取每一所述预测检测框对应的区域图像中的目标对象关键点信息，并根据每一所述目标对象关键点信息生成每一所述预测检测框的预测目标对象热图。
5.根据权利要求2至4中任一项所述的方法，在确定每一所述预测检测框与所述每一所述预测检测框对应的标定检测框之间的第一差异化信息、第二差异化信息之前，还包括：
计算每一所述标定检测框与各所述预测检测框之间的交叠率；
根据各所述交叠率确定与每一所述预测检测框对应的标定检测框。
6.根据权利要求5所述的方法，其中，根据各所述交叠率确定与每一所述预测检测框对应的标定检测框，包括：
从所述预测检测框与各所述标定检测框之间的各交叠率中，确定最大交叠率对应的标定检测框为与所述预测检测框对应的标定检测框。
7.一种关键点识别方法，包括：
获取包括待识别对象的待识别图像；
基于预先训练的关键点识别模型对所述待识别图像进行识别处理，得到与所述待识别对象对应的待识别对象关键点信息，其中，所述关键点识别模型是基于权利要求1至6中任一项所述的方法生成的。
8.一种关键点识别模型的训练装置，包括：
第一获取单元，用于获取样本数据集；其中，所述样本数据集包括：至少一组样本数据；每组样本数据包括：含有目标对象的样本原始图像、第一差异化信息和第二差异化信息；所述第一差异化信息表征所述样本原始图像中所述目标对象的预测检测框所包括的像素与所述样本原始图像中所述目标对象的标定检测框所包括的像素之间的差异；所述第二差异化信息表征所述预测检测框中所述目标对象的热图与所述标定检测框中的所述目标对象的热图之间的差异；
训练单元，用于根据所述样本数据集，对预设的基础模型进行训练，得到关键点识别模型；
其中，所述第一获取单元，包括：
获取子单元，用于获取多个包括目标对象的样本原始图像，并基于各所述样本原始图像获取多个包括目标对象的预测检测框；
第一确定子单元，用于确定每一所述预测检测框与每一所述预测检测框对应的标定检测框之间的第一差异化信息、第二差异化信息；
生成子单元，用于基于所述样本原始图像、所述第一差异化信息、以及所述第二差异化信息，生成所述样本数据集；
所述第一确定子单元，包括：
第一处理模块，用于根据每一所述标定检测框的标定目标对象关键点坐标，对每一所述标定检测框所归属的样本原始图像进行处理，得到每一所述标定检测框的标定目标对象热图；
第一确定模块，用于根据每一所述标定检测框的标定目标对象关键点坐标，确定与每一所述标定检测框对应的预测检测框的预测目标对象关键点坐标；
第二处理模块，用于根据每一所述预测检测框的预测目标对象关键点坐标对每一所述预测检测框所归属的样本原始图像进行处理，得到每一所述预测检测框的预测目标对象热图；
第二确定模块，用于根据每一所述标定检测框的标定目标对象热图与每一所述标定检测框对应的预测检测框的预测目标对象热图，确定每一所述第二差异化信息。
9.根据权利要求8所述的训练装置，其中，所述第一处理模块，包括：
池化处理子模块，用于根据每一所述标定检测框的标定目标对象关键点坐标，对每一所述标定检测框所归属的样本原始图像进行池化处理，得到每一所述标定检测框中的目标对象的检测特征图；
卷积处理子模块，用于对每一所述标定检测框中的目标对象的检测特征图进行卷积和反卷积处理，得到每一所述标定检测框的标定目标对象热图。
10.根据权利要求8所述的训练装置，其中，所述第二处理模块用于，根据每一所述预测检测框和每一所述预测检测框的预测目标对象关键点坐标，从每一所述预测检测框所归属的样本原始图像中裁剪并生成每一所述预测检测框的预测目标对象热图。
11.根据权利要求10所述的训练装置，其中，所述第二处理模块，包括：
裁剪子模块，用于从每一所述预测检测框所归属的样本原始图像中裁剪与每一所述预测检测框对应的区域图像；
获取子模块，用于根据每一所述预测检测框的预测目标对象关键点坐标，获取每一所述预测检测框对应的区域图像中的目标对象关键点信息；
生成子模块，用于根据每一所述目标对象关键点信息生成每一所述预测检测框的预测目标对象热图。
12.根据权利要求8至11中任一项所述的训练装置，所述第一获取单元，还包括：
计算子单元，用于计算每一所述标定检测框与各所述预测检测框之间的交叠率；
第二确定子单元，用于根据各所述交叠率确定与每一所述预测检测框对应的标定检测框。
13.根据权利要求12所述的训练装置，其中，所述第二确定子单元用于，从所述预测检测框与各所述标定检测框之间的各交叠率中，确定最大交叠率对应的标定检测框为与所述预测检测框对应的标定检测框。
14.一种关键点识别装置，包括：
第二获取单元，用于获取包括待识别对象的待识别图像；
识别单元，用于基于预先训练的关键点识别模型对所述待识别图像进行识别处理，得到与所述待识别对象对应的待识别对象关键点信息，其中，所述关键点识别模型是基于权利要求1至6中任一项所述的方法生成的。
15. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法；或者，
以使所述至少一个处理器能够执行权利要求7所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法；或者，
所述计算机指令用于使所述计算机执行权利要求7所述的方法。
17.一种监控设备，所述监控设备包括：
如权利要求14所述的关键点识别装置；或者，
如权利要求15所述的电子设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110241835.6A CN112966599B (zh) | 2021-03-04 | 2021-03-04 | 关键点识别模型的训练方法、关键点识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110241835.6A CN112966599B (zh) | 2021-03-04 | 2021-03-04 | 关键点识别模型的训练方法、关键点识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112966599A CN112966599A (zh) | 2021-06-15 |
| CN112966599B true CN112966599B (zh) | 2023-07-28 |
Family
ID=76276544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110241835.6A Active CN112966599B (zh) | 2021-03-04 | 2021-03-04 | 关键点识别模型的训练方法、关键点识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112966599B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113361458A (zh) * | 2021-06-29 | 2021-09-07 | 北京百度网讯科技有限公司 | 基于视频的目标对象识别方法、装置、车辆及路侧设备 |
| CN113435358B (zh) * | 2021-06-30 | 2023-08-11 | 北京百度网讯科技有限公司 | 用于训练模型的样本生成方法、装置、设备、程序产品 |
| CN113920307A (zh) * | 2021-09-29 | 2022-01-11 | 北京百度网讯科技有限公司 | 模型的训练方法、装置、设备、存储介质及图像检测方法 |
| CN114332977A (zh) * | 2021-10-14 | 2022-04-12 | 北京百度网讯科技有限公司 | 关键点检测方法、装置、电子设备及存储介质 |
| CN114022900A (zh) * | 2021-10-29 | 2022-02-08 | 北京百度网讯科技有限公司 | 检测模型的训练方法、检测方法、装置、设备和介质 |
| CN115375802B (zh) * | 2022-06-17 | 2023-07-14 | 北京百度网讯科技有限公司 | 动态图像的生成方法、装置、存储介质及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111104813A (zh) * | 2019-12-16 | 2020-05-05 | 北京达佳互联信息技术有限公司 | 二维码图像关键点检测方法、装置、电子设备及存储介质 |
| CN111523468A (zh) * | 2020-04-23 | 2020-08-11 | 北京百度网讯科技有限公司 | 人体关键点识别方法和装置 |
| CN112364807A (zh) * | 2020-11-24 | 2021-02-12 | 深圳市优必选科技股份有限公司 | 图像识别方法、装置、终端设备及计算机可读存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985259B (zh) * | 2018-08-03 | 2022-03-18 | 百度在线网络技术（北京）有限公司 | 人体动作识别方法和装置 |
-
2021
- 2021-03-04 CN CN202110241835.6A patent/CN112966599B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111104813A (zh) * | 2019-12-16 | 2020-05-05 | 北京达佳互联信息技术有限公司 | 二维码图像关键点检测方法、装置、电子设备及存储介质 |
| CN111523468A (zh) * | 2020-04-23 | 2020-08-11 | 北京百度网讯科技有限公司 | 人体关键点识别方法和装置 |
| CN112364807A (zh) * | 2020-11-24 | 2021-02-12 | 深圳市优必选科技股份有限公司 | 图像识别方法、装置、终端设备及计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Removing dynamic 3D objects from point clouds of a moving RGB-D camera;Canben Yin等;《IEEE Xplore》;全文 * |
| 基于级联卷积神经网络的服饰关键点定位算法;李锵;姚麟倩;关欣;;天津大学学报(自然科学与工程技术版)(03);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112966599A (zh) | 2021-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112966599B (zh) | 关键点识别模型的训练方法、关键点识别方法及装置 | |
| CN113191256B (zh) | 车道线检测模型的训练方法、装置、电子设备及存储介质 | |
| CN113920307A (zh) | 模型的训练方法、装置、设备、存储介质及图像检测方法 | |
| CN113378760A (zh) | 训练目标检测模型和检测目标的方法及装置 | |
| CN112785625A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| CN113177497B (zh) | 视觉模型的训练方法、车辆识别方法及装置 | |
| CN113947188A (zh) | 目标检测网络的训练方法和车辆检测方法 | |
| CN112863187B (zh) | 感知模型的检测方法、电子设备、路侧设备和云控平台 | |
| CN112509126A (zh) | 三维物体检测的方法、装置、设备及存储介质 | |
| CN116052097A (zh) | 一种地图要素检测方法、装置、电子设备和存储介质 | |
| CN113762397B (zh) | 检测模型训练、高精度地图更新方法、设备、介质及产品 | |
| CN113989300A (zh) | 车道线分割的方法、装置、电子设备和存储介质 | |
| CN113052047B (zh) | 交通事件的检测方法、路侧设备、云控平台及系统 | |
| CN114238790A (zh) | 用于确定最大感知范围的方法、装置、设备以及存储介质 | |
| CN117315406B (zh) | 一种样本图像处理方法、装置及设备 | |
| CN114549961B (zh) | 目标对象的检测方法、装置、设备以及存储介质 | |
| CN114724113B (zh) | 道路标牌识别方法、自动驾驶方法、装置和设备 | |
| CN114445802A (zh) | 点云处理方法、装置及车辆 | |
| KR20230006628A (ko) | 이미지 처리 방법과 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 | |
| CN114708498A (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
| CN114170282A (zh) | 点云融合方法、装置、电子设备和介质 | |
| CN113901903A (zh) | 道路识别方法和装置 | |
| CN113361524B (zh) | 图像处理方法及装置 | |
| CN113806361B (zh) | 电子监控设备与道路的关联方法、装置及存储介质 | |
| CN113361379B (zh) | 生成目标检测系统和检测目标的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |