CN111814846A - 属性识别模型的训练方法、识别方法及相关设备 - Google Patents

Abstract

本申请公开了一种属性识别模型的训练方法、识别方法、电子设备及存储介质。该训练方法包括：获取目标样本集；对目标样本集中各属性对应的真实类别进行统计，得到每个属性的各类别样本分布情况；利用属性识别模型对目标样本集进行识别，得到每张样本图像的属性识别结果；基于每个属性的真实类别与预测类别之间的类别差异，以及每个属性的各类别样本分布情况，确定属性识别模型的损失值；基于损失值调整属性识别模型的参数；重复执行上述过程直至满足预设的停止训练的条件。通过上述方式，本申请能够使得属性识别模型的识别结果更加准确。

Description

属性识别模型的训练方法、识别方法及相关设备

技术领域

本申请涉及人工智能领域，特别是涉及一种属性识别模型的训练方法、识别方法、电子设备及存储介质。

背景技术

随着人工智能(Artificial Intelligence,AI)技术的不断成熟，越来越多场景下开始借助该人工智能技术来进行属性识别，具体可借助属性识别模型对目标对象的图像进行属性识别。例如，基于行人的图像对行人的性别、衣服、头发等属性进行识别，又如，基于车辆的图像对车辆的颜色、车型等属性进行识别。

然而，现有的属性识别模型得到的识别结果不够准确。

发明内容

本申请提供一种属性识别模型的训练方法、电子设备及存储介质，能够解决现有技术中现有的属性识别模型得到的识别结果不够准确的问题。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种获取目标样本集，其中，目标样本集中包括多个目标对象的样本图像，样本图像标注有目标对象的至少一个属性对应的真实类别；对目标样本集中各属性对应的真实类别进行统计，得到每个属性的各类别样本分布情况；利用属性识别模型对目标样本集进行识别，得到每张样本图像的属性识别结果，其中，属性识别结果包括目标对象的每个属性的预测类别；基于每个属性的真实类别与预测类别之间的类别差异，以及每个属性的各类别样本分布情况，确定属性识别模型的损失值，其中，属性的各类别样本分布越均衡，对应属性的所述类别差异对损失值的影响越小；基于损失值调整属性识别模型的参数；重复执行上述过程直至满足预设的停止训练的条件。

为解决上述技术问题，本申请采用的另一个技术方案是：提高一种属性识别方法，该方法包括：获取待识别图像；利用属性识别模型对待识别图像进行识别，得到待识别图像的属性识别结果，其中，属性识别模型是由上述训练方法训练得到的。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，该设备包括处理器，存储器存储有程序指令，处理器用于执行存储器存储的程序指令以实现上述方法。

为解决上述技术问题，本申请采用的再一个技术方案是：提供一种存储介质，存储有程序指令，程序指令被执行时能够实现上述方法。

区别于现有技术的情况，本申请的有益效果是：基于目标样本集中样本图像各属性的真实类别得到各属性对应的类别样本分布情况，即每个属性对应的多个类别的样本图像数量分布情况，并利用属性识别模型识别得到的样本图像各属性对应的预测类别，与样本图像各属性对应的真实类别之间的类别差异，确定属性识别模型的损失值，由于属性的类别样本分布越均衡，代表该属性对应的类别不确定性越大，因此可根据属性的类别样本分布情况确定其类别差异对属性识别模型的损失值影响程度，以实现基于样本分布情况动态调整属性识别模型所产生的损失，进而使得训练得到的属性识别模型对于真实场景具有更好的泛化性能，故属性识别模型的识别结果更加准确。

附图说明

图1是本申请属性识别模型的训练方法一实施例的流程示意图；

图2是图1中S110的具体流程示意图；

图3是图2中S113的具体流程示意图；

图4是图3中S1133的具体流程示意图；

图5是图1中S120的具体流程示意图；

图6是图1中S140的具体流程示意图；

图7是本申请属性识别方法一实施例的流程示意图；

图8是本申请电子设备一实施例的结构示意图；

图9是本申请存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤的过程、方法、系统、产品或设备没有限定于已列出的步骤，而是可选地还包括没有列出的步骤，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。

图1是本申请属性识别模型的训练方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例包括：

S110：获取目标样本集。

其中，目标样本集中包括多张包含目标对象的样本图像，样本图像标注有目标对象的至少一个属性对应的真实类别。

目标对象的样本图像可以从视频中获取到，目标对象可以为行人，也可以为车辆等可移动物体。每张样本图像中可以包含一个目标对象，目标样本集中包括同一个目标对象的至少一张样本图像。目标对象至少具有一个属性，每个属性至少对应两种类别，目标对象的样本图像标注有每个属性对应的真实类别。例如，行人具有“性别”属性，该“性别”属性包括类别“男”、“女”，当该行人为女性时，该行人的样本图像标注有“女”，也即该行人的样本图像带有标签“女”。可以理解的是，在其他实施例中，每张样本图像也可以包括两个以上的目标对象，此时，该样本图像可以认为是其包含的任意目标对象的样本图像。

本实施例中，目标样本集中包括的目标对象的样本图像也可以被称为目标样本集中的样本。

参阅图2，S110可以包括：

S111：获取视频中的多帧图像。

视频可以由前端设备获取到，前端设备可以为摄像头、具有拍摄功能的电子设备等。可按照指定帧率从视频中获取多帧图像。

S112：对每帧图像进行目标识别，得到每帧图像中的目标对象。

可基于目标检测算法对每帧图像进行目标识别，得到每帧图像中的所有目标对象的坐标。不同帧图像中的目标对象可能相同，也可能不相同。例如，当目标对象为行人时，可基于行人检测算法识别得到每帧图像中所有行人的坐标。

S113：基于多帧图像获得每个目标对象的样本图像。

下面对每个目标对象的样本图像获取方法进行说明，参阅图3，S113具体可以包括：

S1131：获取多帧图像中目标对象的轨迹信息。

可基于当前目标对象在不同帧图像中的坐标，获取当前目标对象的轨迹信息。例如，可通过目标跟踪算法为当前目标对象在不同帧图像中的坐标建立联系，从而得到当前目标对象的轨迹信息。

S1132：基于目标对象的轨迹信息，得到包含目标对象的至少一帧图像。

基于当前目标对象的轨迹信息，可以得到多帧图像中包含当前目标对象的图像。其中，包含当前目标对象的图像中可能还包含其他目标对象。例如，当前目标对象为行人甲，包含行人甲的图像中可能还包含行人乙。

S1133：基于包含目标对象的图像，获得目标对象的样本图像。

参阅图4，S1133可以包括：

S11331：分别从包含目标对象的图像中抠取目标对象对应的区域，得到目标对象子图像。

可利用抠图算法从包含当前目标对象的图像中抠取出当前目标对象对应的区域，作为当前目标对象的子图像，即目标对象子图像。

S11332：分别计算每张目标对象子图像的质量分数。

其中，质量分数可以为目标对象子图像的清晰度分数、遮挡度分数或完整度分数中的至少一种。

S11333：基于质量分数从目标对象子图像中选出目标对象的样本图像。

基于当前目标对象每张目标对象子图像的质量分数，选出当前目标对象的样本图像。

可以将质量分数最高的目标对象子图像作为包含目标对象的样本图像。当然，在其他实施例中，也可以预先设定一质量分数阈值，将质量分数超过该质量分数阈值的目标对象子图像作为该目标对象的样本图像。或者，当目标对象为行人时，还可以结合目标对象子图像中行人的姿态和目标对象子图像的质量分数选出当前行人的样本图像，具体而言，可选择当前行人在每个姿态下的一张质量最高的目标对象子图像作为当前行人的样本图像。

S120：对目标样本集中各属性对应的真实类别进行统计，得到每个属性对应的各类别样本分布情况。

在一具体实施方式中，每个属性对应的各类别样本分布情况可以为每个属性对应的各类别的样本图像数量的分布情况。具体如下：

参阅图5，S120可以包括：

S121：统计目标样本集中各属性对应的每个真实类别样本数量。

目标样本集中属性可以为目标样本集中样本图像具有的属性，各属性对应的每个真实类别样本数量可以为标注有各属性对应的每个真实类别的样本图像数量。

仍以目标对象为行人进行说明，现目标样本集具有“性别”、“头发”两个属性，其中“性别”属性包括“男”、“女”两种类别，“头发”属性包括“长”、“短”两种类别，那么需要统计目标样本集中属性为“性别”、类别为“女”的样本图像数量，属性为“性别”、类别为“男”的样本图像数量，以及属性为“头发”、类别为“长”的样本图像数量，属性为“头发”、类别为“短”的样本图像数量。

S122：利用每个真实类别样本数量与属性的样本总数，确定每个属性的基尼指数。

其中，当前属性对应的每个真实类别的样本图像数量之和为当前属性的样本总数。可以利用具有当前属性对应的每个真实类别的样本数量与当前属性的样本总数，确定当前属性的基尼指数。

例如，目标样本集具有“性别”属性，性别为女”的样本数量、类别为“男”的样本数量之和为“性别”属性的样本总数。可利用目标样本集中性别为女”的样本数量、类别为“男”的样本数量以及“性别”属性的样本总数，确定“性别”属性的基尼指数。具体确定方法如下：

在一具体实施方式中，可利用当前属性对应的每个真实类别的样本图像在具有当前属性的样本图像中的占比，确定每个属性的基尼指数。具体可利用如下公式，得到每个属性的基尼指数：

其中，D_m表示具有第m个属性的样本图像集合，|D_m|表示D_m中的样本图像数量，K表示第m个属性对应的真实类别总数，C_km表示|D_m|中对应第k个真实类别的样本数量，即|D_m|中标注有第k个真实类别的样本数量。

例如，目标样本集中样本图像具有一个属性，该属性对应K个类别，该属性对应的第k个类别占比为p_k，则该属性的基尼指数为：

当该属性包括2个类别，即K＝2时，第一个类别的样本图像占比为p，则该属性的基尼指数为：

Gini(p)＝2p(1-p)。

其中，属性的基尼指数越大，意味着该属性的各类别样本图像数量分布越均衡，即该属性的各类别样本分布越均衡，该属性对应的类别样本不确定性也就越大。

本申请对每个属性对应的各类别样本分布情况的统计方法不作限定，在其他具体实施方式中，也可以用其他方式来统计每个属性对应的各类别样本分布情况，当用其他方式来统计每个属性对应的各类别样本分布情况时，每个属性的基尼指数计算方法可以不同。

S130：利用属性识别模型对目标样本集进行识别，得到每张样本图像的属性识别结果。

属性识别模型可以对目标样本集中每张样本图像进行识别，并输出每张样本图像的识别结果。属性识别结果可以包括目标对象的每个属性对应的预测类别，还可以包括每个属性对应的预测类别置信度。

S140：基于每个属性的真实类别与预测类别之间的类别差异，以及每个属性的各类别样本分布情况，确定属性识别模型的损失值。

可选地，属性的各类别样本分布越均衡，对应属性的类别差异对损失值的影响越小。具体而言，属性的各类别样本分布越均衡，就意味着该属性对应的类别越难以确定，因此对应属性的类别差异对损失值的影响越小。

在一具体实施方式中，可以基于每个属性的类别差异、预测类别置信度以及各类别样本分布情况，确定属性识别模型的损失值。参阅图6，具体方法可以包括：

S141：利用每个属性的各类别样本分布情况分别得到对应属性的权重。

可选地，属性的各类别样本分布越均衡，对应属性的权重越小。具体而言，属性的各类别样本分布均衡，就意味着目标样本集中样本图像该属性对应的类别难以确定，因此设定该属性对应的权重小，能够使得后续计算出的损失值更加有效。

可选地，将预设指数与每个属性的基尼指数之间的比值分别作为对应属性的权重，其中预设指数大于或等于1。由此，当前属性的基尼指数越大，计算得到的权重越小，从而能够弱化对应类别不确定性大的属性对损失值的影响。例如，第m个属性的权重为

其中λ为预设指数，λ≥1。

S142：利用每个属性的类别差异、预测类别置信度以及权重进行交叉熵损失计算，得到属性识别模型的损失值。

具体可以利用如下公式，得到属性识别模型的损失值L。其中，若属性对应的类别为两个，则公式为：

若属性对应的类别多于两个，则公式为:

其中，N表示目标样本集中样本图像的数量，M表示属性的数量，W_m表示第m个属性的权重，y_im表示第i张样本图像的第m个属性的类别差异，其中，若第i张样本图像的第m个属性的真实类别与预设类别相同，则类别差异为1，否则为0，p_im表示第i张样本图像的第m个属性的置信度。

S150：判断是否满足预设的停止训练的条件。

预设的停止训练的条件可以为损失值小于预设阈值，也可以为训练次数达到预设阈值等。

若否，则执行S160；若是，则执行S170。

S160：基于损失值调整属性识别模型的参数。

通过属性识别模型的识别结果的损失值不断调整属性识别模型的参数，可以不断优化属性识别模型，使得属性识别模型的属性识别结果更加准确。

执行完本步骤之后跳转至S130以重复执行上述过程，直至满足预设的停止训练的条件。

S170：停止训练。

通过本实施例的实施，基于目标样本集中样本图像各属性的真实类别得到各属性对应的类别样本分布情况，即每个属性对应的多个类别的样本图像数量分布情况，并利用属性识别模型识别得到的样本图像各属性对应的预测类别，与样本图像各属性对应的真实类别之间的类别差异，确定属性识别模型的损失值，由于属性的类别样本分布越均衡，代表该属性对应的类别不确定性越大，因此可根据属性的类别样本分布情况确定其类别差异对属性识别模型的损失值影响程度，以实现基于样本分布情况动态调整属性识别模型所产生的损失，进而使得训练得到的属性识别模型对于真实场景具有更好的泛化性能，故属性识别模型的识别结果更加准确。

上述训练方法得到的属性识别模型可以用于对图像进行属性识别，图7是本申请属性识别方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图7所示的流程顺序为限。如图7所示，本实施例包括：

S210：获取待识别图像。

待识别图像的获取方法请参见前面的实施例，在此不再重复。

S220：利用属性识别模型对待识别图像进行识别，得到待识别图像的属性识别结果。

其识别过程详细描述请参见前面的实施例，在此不再重复。

其中，属性识别模型可以由上述属性识别模型的训练方法进行训练得到。

图8是本申请电子设备一实施例的结构示意图。如图8所示，该电子设备包括处理器310、与处理器耦接的存储器320。

其中，存储器320存储有用于实现上述任一实施例的方法的程序指令；处理器310用于执行存储器320存储的程序指令以实现上述方法实施例的步骤。其中，处理器310还可以称为CPU(Central Processing Unit，中央处理单元)。处理器310可能是一种集成电路芯片，具有信号的处理能力。处理器310还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

图9是本申请存储介质一实施例的结构示意图。本申请实施例的存储介质400存储有程序指令410，该程序指令410被执行时实现本申请上述实施例提供的方法。其中，该程序指令410可以形成程序文件以软件产品的形式存储在上述存储介质400中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质400包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (12)

1.一种属性识别模型的训练方法，其特征在于，包括：

获取目标样本集，其中，所述目标样本集中包括多个目标对象的样本图像，所述样本图像标注有所述目标对象的至少一个属性对应的真实类别；

对所述目标样本集中各所述属性对应的真实类别进行统计，得到每个所述属性的各类别样本分布情况；

利用所述属性识别模型对所述目标样本集进行识别，得到每张所述样本图像的属性识别结果，其中，所述属性识别结果包括所述目标对象的每个所述属性的预测类别；

基于每个所述属性的真实类别与预测类别之间的类别差异，以及每个所述属性的各类别样本分布情况，确定所述属性识别模型的损失值，其中，所述属性的各类别样本分布越均衡，对应所述属性的所述类别差异对所述损失值的影响越小；

基于所述损失值调整所述属性识别模型的参数；

重复执行上述过程直至满足预设的停止训练的条件。

2.根据权利要求1所述的方法，其特征在于，

所述属性识别结果还包括每个所述属性的预测类别置信度，所述基于每个所述属性的真实类别与预测类别之间的差异，以及每个所述属性的各类别样本分布情况，确定所述属性识别模型的损失值，包括：

基于每个所述属性的类别差异、预测类别置信度以及每个所述属性的各类别样本分布情况，确定所述属性识别模型的损失值。

3.根据权利要求2所述的方法，其特征在于，

所述基于每个所述属性的类别差异、预设类别置信度以及每个所述属性的各类别样本分布情况，确定所述属性识别模型的损失值，包括：

利用每个所述属性的各类别样本分布情况分别得到对应所述属性的权重，其中，所述属性的各类别样本分布越均衡，对应所述属性的权重越小；

利用每个所述属性的类别差异、预测类别置信度以及权重进行交叉熵损失计算，得到所述属性识别模型的损失值。

4.根据权利要求3所述的方法，其特征在于，

所述利用每个所述属性的类别差异、预测类别置信度以及权重进行交叉熵损失计算，得到所述属性识别模型的损失值，包括：

利用如下公式，得到所述属性识别模型的损失值L，其中，

若所述属性对应的类别为两个，则所述公式为：

若存在所述对应属性的类别多于两个，则所述公式为:

其中，N表示所述目标样本集中所述样本图像的数量，M表示所述属性的数量，W_m表示第m个所述属性的权重，y_im表示第i张所述样本图像的第m个属性的所述类别差异，p_im表示第i张所述样本图像的第m个属性的所述预测类别置信度。

5.根据权利要求3所述的方法，其特征在于，

所述对所述目标样本集中各所述属性的真实类别进行统计，得到每个所述属性的各类别样本分布情况包括：

统计所述目标样本集中各所述属性对应的每个真实类别样本数量；

利用所述每个真实类别样本数量与所述属性的样本总数，确定每个所述属性的基尼指数；

所述利用每个属性的各类别样本分布情况分别得到对应所述属性的权重，包括：

将预设指数与每个属性的基尼指数之间的比值分别作为对应所述属性的权重，其中所述预设指数大于或等于1。

6.根据权利要求5所述的方法，其特征在于，

所述利用所述每个真实类别样本数量与所述属性的样本总数，确定每个所述属性的基尼指数，包括：

利用如下公式，得到每个所述属性的基尼指数：

其中，D_m表示所述目标样本集中具有第m个所述属性的样本图像集合，|D_m|表示D_m中所述样本图像的数量，K表示所述第m个属性对应的所述真实类别总数，C_km表示D_m中对应第k个所述真实类别的样本数量。

7.根据权利要求1所述的方法，其特征在于，

所述目标对象为行人；和/或，

所述获取目标样本集包括：

获取视频中的多帧图像；

对每帧所述图像进行目标识别，得到每帧所述图像中的目标对象；

基于多帧所述图像获得每个所述目标对象的样本图像。

8.根据权利要求7所述的方法，其特征在于，

所述基于所述多帧图像获得每个所述目标对象的样本图像，包括：

对于每个所述目标对象：

获取所述多帧图像中所述目标对象的轨迹信息；

基于所述目标对象的轨迹信息，得到包含所述目标对象的至少一帧图像；

基于包含所述目标对象的图像，获得所述目标对象的样本图像。

9.根据权利要求8所述的方法，其特征在于，

所述基于包含所述目标对象的图像，获得所述目标对象的样本图像，包括：

从包含所述目标对象的图像中抠取所述目标对象对应的区域，得到目标对象子图像；

分别计算每张所述目标对象子图像的质量分数；

基于所述质量分数从目标对象子图像中选出所述目标对象的样本图像。

10.一种属性识别方法，其特征在于，包括：

获取待识别图像；

利用属性识别模型对所述待识别图像进行识别，得到所述待识别图像的属性识别结果；

其中，所述属性识别模型是由权利要求1至9任一项所述的方法训练得到的。

11.一种电子设备，其特征在于，包括处理器、与所述处理器连接的存储器，其中，

所述存储器存储有程序指令；

所述处理器用于执行所述存储器存储的所述程序指令以实现权利要求1-10中任一项所述的方法。

12.一种存储介质，其特征在于，所述存储介质存储程序指令，所述程序指令被执行时实现如权利要求1-10中任一项所述的方法。

Images