CN114972807B - 图像识别准确率的确定方法、装置、电子设备和介质 - Google Patents

Abstract

本公开提供了一种图像识别准确率的确定方法、装置、设备、介质和产品，涉及人工智能领域，具体为深度学习、图像处理等技术领域。图像识别准确率的确定方法包括：针对图像集合中的目标对象，获取针对目标对象的真实对象标识和针对目标对象的识别对象标识，其中，识别对象标识是通过对图像集合中的目标对象进行识别得到的；以真实对象标识为参考，确定针对识别对象标识的第一指标值；以识别对象标识为参考，确定针对真实对象标识的第二指标值；基于第一指标值和第二指标值，确定图像识别准确率。

Description

图像识别准确率的确定方法、装置、电子设备和介质

技术领域

本公开涉及人工智能领域，具体为深度学习、图像处理等技术领域，更具体地，涉及一种图像识别准确率的确定方法、装置、电子设备、介质和程序产品。

背景技术

在一些场景下，可以通过摄像头采集视频或图像，并利用图像识别技术处理视频或图像实现对目标对象进行识别。因此，图像识别技术的识别准确性至关重要。为了保证图像识别的效果，需要对图像识别技术的识别准确性进行评价。

发明内容

本公开提供了一种图像识别准确率的确定方法、装置、电子设备、存储介质以及程序产品。

根据本公开的一方面，提供了一种图像识别准确率的确定方法，包括：针对图像集合中的目标对象，获取针对所述目标对象的真实对象标识和针对所述目标对象的识别对象标识，其中，所述识别对象标识是通过对所述图像集合中的目标对象进行识别得到的；以所述真实对象标识为参考，确定针对所述识别对象标识的第一指标值；以所述识别对象标识为参考，确定针对所述真实对象标识的第二指标值；基于所述第一指标值和所述第二指标值，确定图像识别准确率。

根据本公开的另一方面，提供了一种图像识别准确率的确定装置，包括：获取模块、第一确定模块、第二确定模块以及第三确定模块。获取模块，用于针对图像集合中的目标对象，获取针对所述目标对象的真实对象标识和针对所述目标对象的识别对象标识，其中，所述识别对象标识是通过对所述图像集合中的目标对象进行识别得到的；第一确定模块，用于以所述真实对象标识为参考，确定针对所述识别对象标识的第一指标值；第二确定模块，用于以所述识别对象标识为参考，确定针对所述真实对象标识的第二指标值；第三确定模块，用于基于所述第一指标值和所述第二指标值，确定图像识别准确率。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器和与所述至少一个处理器通信连接的存储器。其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的图像识别准确率的确定方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述的图像识别准确率的确定方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述图像识别准确率的确定方法的步骤。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示意性示出了根据本公开一实施例的图像识别准确率的确定的系统架构；

图2示意性示出了根据本公开一实施例的图像识别准确率的确定方法的流程图；

图3示意性示出了根据本公开一实施例的确定第一指标值的示意图；

图4示意性示出了根据本公开一实施例的确定第二指标值的示意图；

图5示意性示出了根据本公开一实施例的图像识别准确率的确定装置的框图；以及

图6是用来实现本公开实施例的用于执行图像识别准确率的确定的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

图1示意性示出了根据本公开一实施例的图像识别准确率的确定的系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括数据采集装置101、102、103，网络104和服务器105。网络104用以在数据采集装置101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

数据采集装置101、102、103通过网络104与服务器105交互，以接收或发送消息等。数据采集装置101、102、103具有采集图像或采集视频的功能，数据采集装置101、102、103包括但不限于摄像头、智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对数据采集装置101、102、103采集的数据进行分析等处理，服务器105可以是云服务器，即服务器105具有云计算功能。

例如，服务器105具有图像处理的功能，数据采集装置101采集图像或视频之后，将图像或视频发送给服务器105进行图像识别。服务器105可以通过深度学习模型识别图像或视频，得到识别结果，识别结果包括图像或视频中的目标对象。

需要说明的是，本公开实施例所提供的图像识别准确率的确定方法可以由服务器105执行。相应地，本公开实施例所提供的图像识别准确率的确定装置可以设置于服务器105中。

应该理解，图1中的客户端、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的客户端、网络和服务器。

在安全防护、超市等场景下，通常通过一个或多个摄像头采集对象的图像或视频。对象包括行人。当通过多个摄像头采集图像或视频时，该场景为跨镜头场景。

在一些情况下，为了保证图像处理的准确性，需要对用于进行图像识别的深度学习模型进行评价。例如，需要对深度学习模型的图像识别准确率进行评价。

例如，可以利用深度学习模型中的行人重识别技术(Person re-identification，REID)提取图像或视频中目标对象的特征，计算两个目标对象的特征相似度，相似度高的表示为同一个目标的概率较高。例如，设定一个阈值，相似度超过阈值则认为两个目标对象为同一个目标对象。

在多目标跟踪(Multiple Object Tracking，MOT)领域，通常可以通过多目标跟踪准确度(Multiple Object Tracking Accuracy，MOTA)指标、跨摄像头跟踪准确度(Multi-camera Tracking Accuracy，MCTA)指标评价深度学习模型的识别准确率。

在一示例中，当通过一个摄像头采集图像或视频时，通过深度学习模型识别图像或视频，得到识别结果，可以通过MOTA指标基于识别结果评价深度学习模型的识别准确率，MOTA指标如公式(1)所示。

其中，MOTA指标主要用于评价单镜头下特定目标的识别准确度，通过一个摄像头拍摄得到多帧图像。通过深度学习模型检测多帧图像中的目标对象，如果检测到目标对象，以检测框标出。

在公式(1)中，FN、FP是针对检测框的评价指标。FN表示当前帧图像出现对象的区域没有检测框；FP表示当前帧图像没有出现对象的区域存在检测框。例如，FN是指所有帧图像的假负数之和，即假设fn_t为第t帧的假负数，则FN＝∑_tfn_t，同理，FP＝∑_tfP_t。

T是指所有帧图像中真实存在的目标对象的数量总和，即假设第t帧真实存在g_t个目标对象，则T＝∑_tg_t。

φ表示所有帧图像中目标对象发生的跳变数(Fragmentation)，φ_t为第t帧的目标跳变数，则φ＝∑_tφ_t。跳变数表示同一目标对象在不同帧图像之间的变化次数。

FN、FP、φ分别表示缺失率、误判率、误配率。

在另一示例中，当通过多个摄像头采集图像或视频时，通过深度学习模型识别图像或视频，得到识别结果，可以通过MCTA指标基于识别结果评价深度学习模型的识别准确率，MCTA指标如公式(2)所示。

其中，MCTA指标主要用于评价多镜头下特定目标对象的识别准确度，通过多个摄像头拍摄得到图像或视频，通过深度学习模型检测图像或视频中的目标对象，如果检测到目标对象，标出目标对象的标识(ID)。

在公式(2)中，P、R分别表示对图像进行目标识别的准确率和召回率。例如一帧图像中包括5个目标，如果深度学习模型检测到了3个目标，其中3个目标有2个识别正确，召回率例如为2/5，精准率为2/3。

M^ω表示对单个摄像头拍摄的图像进行目标检测得到目标对象ID的错误匹配数；T^ω表示对单个摄像头拍摄的图像进行目标检测的得到目标对象ID的正确检测数。

M^h表示对多个摄像头拍摄的图像进行目标检测得到目标对象ID的错误匹配数；T^h表示对多个摄像头拍摄的图像进行目标检测的得到目标对象ID的正确检测数，即某个目标对象从某个摄像头拍摄的图像中消失而下次再出现在另一个摄像头拍摄的图像中。

MCTA指标的值通常在[0，1]的范围。

针对人重识别技术(Person re-identification，REID)，通常可以通过RankN、mAP指标评价深度学习模型的识别准确率。

在一示例中，RankN指标中的N可以取正整数，以N＝1为例。首先定义一个指示函数

用于表示两个图像q、i是否具有相同标签，标签可以表示目标对象的ID：

针对Q张查询图像中的每一张查询图像，将该查询图像与多个候选图像进行相似度比较，从中选择相似度最大的n＝1个候选图片，确定查询图像与该n＝1个候选图片中目标对象的ID是否一致，一致则表示该查询图像满足条件。将Q张查询图像中满足条件的图像数量和Q之间的比值，作为Rank1。

类似地，n可以等于5、10等等。当n＝5时，从多个候选图像中确定与查询图像相似度最大的n＝5个候选图像，确定5个候选图像中是否具有ID与查询图像中对象ID一致的图像，如果有则表示该查询图像满足条件。

在另一示例中，mAP指标表示所有检测结果的准确率。

其中，P表示精度，即对某一张查询图像，计算前k个候选图像与查询图像中ID相同的图像数量比例。

AP@n表示平均精度，即在前n个候选图像中，只对ID与查询图像相同的候选图像进行精度平均，即n_q表示在前k个候选图像中有多少个ID与查询图像q相同的候选图像。

mAP@n表示对所有的Q张查询图像，计算其AP，对所有的AP计算均值。

在公式(3)和(4)的基础上，以n＝5为例，如果5个候选图像中具有对象ID与查询图像中对象ID一致的图片数量为3，则AP@n为3/5。将Q张查询图像的AP@n值进行平均，得到公式(5)中的mAP@n。

对于上述MOT类指标(包括MOTA指标和MCTA指标)和REID类指标(包括RankN指标和mAP指标)这两类类型的指标，该两类指标难以准确反映跨镜头跟踪(不同镜头场景)的真实效果。

MOT类指标受到单镜头跟踪指标影响较大，但是跨镜头跟踪与单镜头跟踪所使用的技术方案相对独立，并无关联。因此使用该类指标进行评价时其评价结果往往被单镜头跟踪效果影响而不能准确表示跨镜头匹配的效果，并且其计算复杂。

对于REID类指标，跨镜头跟踪通常采用REID匹配特征，但是REID特征匹配只是整个流程中的一环，并不能代表整个流程的效果，流程中的其他环节也会对最终结果产生影响，因此评价效果不够准确。

有鉴于此，本公开提出了一种优化的图像识别准确率的确定方法，下面参考图2～图4来描述根据本公开示例性实施方式的图像识别准确率的确定方法。本公开实施例的图像识别准确率的确定方法例如可以由图1所示的服务器来执行，图1所示的服务器例如以下文的电子设备相同或类似。

图2示意性示出了根据本公开一实施例的图像识别准确率的确定方法的流程图。

如图2所示，本公开实施例的图像识别准确率的确定方法200例如可以包括操作S210～操作S240。

在操作S210，针对图像集合中的目标对象，获取针对目标对象的真实对象标识和针对目标对象的识别对象标识。

在操作S220，以真实对象标识为参考，确定针对识别对象标识的第一指标值。

在操作S230，以识别对象标识为参考，确定针对真实对象标识的第二指标值。

在操作S240，基于第一指标值和第二指标值，确定图像识别准确率。

示例性地，图像集合中包括一个或多个图像。在一示例中，图像集合可以包括视频，视频中包括多个视频帧，图像集合例如由数据采集装置采集得到，数据采集装置例如包括摄像头。

得到图像集合之后，可以标记图像集合中的目标对象，得到真实的目标对象标签。针对目标对象的识别对象标识例如是通过对图像集合中的目标对象进行识别得到的。例如，通过图像识别技术对图像集合进行识别，得到目标对象，对识别得到的目标对象进行标识得到识别对象标识，识别对象标识是对目标对象的一种预测结果。当图像识别技术包括深度学习模型时，可以利用深度学习模型识别图像集合中的目标对象，得到识别对象标识。深度学习模型例如包括目标检测模型。

在得到真实对象标识和识别对象标识之后，可以基于真实对象标识和识别对象标识评价深度学习模型的图像识别准确率。例如，以真实对象标识为参考，确定针对识别对象标识的第一指标值，以识别对象标识为参考，确定针对真实对象标识的第二指标值，第一指标值和第二指标值例如表征了识别对象标识的准确性或错误率。接下来，基于第一指标值和第二指标值确定图像识别准确率。

根据本公开的实施例，基于真实对象标识和识别对象标识来评价深度学习模型的图像识别准确率，提高了评价效果，降低了计算量，该评价方式便捷准确，计算复杂度较低。

图3示意性示出了根据本公开一实施例的确定第一指标值的示意图。

如图3所示，图像集合例如包括N个图像集合，N个图像集合例如分别由N个数据采集装置采集得到，N为大于1的整数。

从N个图像集合中确定M₁个图像集合，识别对象标识是对M₁个图像集合进行识别得到的，M₁不大于N。例如，利用深度学习模型分别对N个图像集合进行识别得到识别结果，识别结果表示M₁个图像集合中的每个图像集合均包括某个目标对象，该识别结果为深度学习算法的预测结果，不一定完全准确。对识别到的目标对象进行标记，得到识别对象标识“A_1”，即，M₁个图像集合中的每个图像集合均具有识别对象标识“A_1”。

针对深度学习模型识别得到的某个目标对象，该目标对象在M₁个图像集合中对应的识别对象标识均为“A_1”。接下来，确定识别对象标识“A_1”对应的目标对象分别在M₁个图像集合中的真实对象标识，即确定识别对象标识“A_1”在M₁个图像集合中一一对应的M₁个真实对象标识。M₁个真实对象标识例如分别为“A_1”、“A_1”、“A_2”、“A_2”、“A_3”、“A_1”、......、“A_K₁”，M₁个真实对象标识可以表示为id_1集合。由此可以看出，深度学习模型的识别结果包括正确的结果和错误的结果。

接下来，基于M₁个真实对象标识，确定针对识别对象标识的第一指标值。

示例性地，基于M₁个真实对象标识，确定表征图像识别正确的第一数值TP和表征图像识别错误的第二数值FP。

例如，去除M₁个真实对象标识中重复的真实对象标识，得到剩余的K₁个真实对象标识，K₁不大于M₁。剩余的K₁个真实对象标识包括“A_1”、“A_2”、“A_3”、......、“A_K₁”。

将M₁和K₁的差值，确定为第一数值TP，如公式(6)：

TP＝M₁-K₁＝M₁-len(set(id_1)) (6)

其中，id_1包括M₁个真实对象标识“A_1”、“A_1”、“A_2”、“A_2”、“A_3”、“A_1”、......、“A_K₁”；set(id_1)表示对M₁个真实对象标识去重复后得到剩余的K₁个真实对象标识；len(set(id_1))表示K₁个真实对象标识的数量，即K₁＝len(set(id_1))。

基于K₁确定第二数值FP，如公式(7)：

FP＝K₁-1＝len(set(id_1))-1 (7)

最后，将第一数值TP和第二数值FP，确定为针对识别对象标识的第一指标值。

根据本公开的实施例，第一数值TP表示深度学习模型对目标对象的正确识别结果，第二数值FP表示深度学习模型对目标对象的错误识别结果，基于第一数值TP和第二数值FP得到用于表征识别对象标识的准确率的第一指标值。

可以理解，基于第一数值和第二数值确定第一指标值，该过程计算便捷、准确性较高，降低了计算复杂度。

图4示意性示出了根据本公开一实施例的确定第二指标值的示意图。

如图4所示，图像集合例如包括N个图像集合，N为大于1的整数。

从N个图像集合中确定M₂个图像集合，M₂个图像集合包括与真实对象标识对应的目标对象，M₂不大于N。换言之，针对一个目标对象，获取该目标对象的真实对象标识“B_1”，从N个图像集合中确定具有该目标对象的M₂个图像集合。

针对M₂个图像集合，利用深度学习模型分别对该M₂个图像集合进行识别得到识别结果，识别结果表征M₂个图像集合中的每个图像集合是否存在该目标对象。

例如，确定真实对象标识在M₂个图像集合中一一对应的M₂个识别对象标识，M₂个识别对象标识分别为“B_1”、“B_1”、“B_2”、“B_2”、“B_3”、“B_1”、......、“B_K₂”。M₂个识别对象标识可以表示为id_2集合。如果识别对象标识与真实对象标识“B_1”一致，表示深度学习模型对某个图像集合的识别结果正确，否则表示识别结果错误。

接下来，基于M₂个识别对象标识，确定针对真实对象标识的第二指标值。

例如，去除M₂个识别对象标识中重复的识别对象标识，得到剩余的K₂个识别对象标识，K₂不大于M₂。剩余的K₂个识别对象标识包括“B_1”、“B_2”、“B_3”、......、“B_K₂”。

接下来，基于K₂，确定针对真实对象标识的第二指标值FN，如公式(8)所示。

FN＝K₂-1＝len(set(id_2))-1 (8)

其中，id_2包括“B_1”、“B_1”、“B_2”、“B_2”、“B_3”、“B_1”、......、“B_K₂”；set(id_2)表示对M₂个识别对象标识去重复后得到剩余的K₂个识别对象标识，len(set(id_2))表示K₂个识别对象标识的数量，即K₂＝len(set(id_2))。

根据本公开的实施例，第二指标值FN表示深度学习模型对目标对象的错误识别结果，通过上述方式确定第二指标至的过程计算便捷、准确性较高，降低了计算复杂度。

根据本公开实施例，在得到第一指标值和第二指标值之后，可以基于第一指标值和第二指标值，确定图像识别准确率。

例如，基于第一指标值得到精准率，基于第一指标值和第二指标值得到召回率。

在一示例中，可以基于精准率确定图像识别准确率。或者，基于召回率确定图像识别准确率。或者，为了提高准确性，可以综合精准率和召回率来确定图像识别准确率。

例如，第一指标值包括第一数值TP和第二数值FP。可以基于第一指标值，得到精准率。例如，确定第一数值TP和第二数值FP的第一和值，将第一数值TP和第一和值之间的比值确定为精准率。精准率Precision如公式(9)所示：

示例性地，第二指标值表示为FN。可以基于第一指标值(包括第一数值TP和第二数值FP)和第二指标值FN，得到召回率。

例如，确定第一数值TP和第二指标值FN的第二和值，将第一数值TP和第二和值之间的比值，确定为召回率。召回率Recall如公式(10)所示：

得到精准率和召回率之后，可以基于精准率和召回率来确定图像识别准确率，图像识别准确率F如公式(11)所示：

根据本公开的实施例，基于精准率和召回率来确定图像识别准确率，使得图像识别准确率更加准确。，图像识别准确率表征了深度学习模型对多个图像集合(跨镜头)的识别准确性，因此通过图像识别准确率来评价深度学习模型的识别效果，提高了评价效果，实现了及时对深度学习模型进行评价，便于及时调整深度学习模型以提高深度学习模型的识别效果。

图5示意性示出了根据本公开一实施例的图像识别准确率的确定装置的框图。

如图5所示，本公开实施例的图像识别准确率的确定装置500例如包括获取模块510、第一确定模块520、第二确定模块530以及第三确定模块540。

获取模块510可以用于针对图像集合中的目标对象，获取针对目标对象的真实对象标识和针对目标对象的识别对象标识，其中，识别对象标识是通过对图像集合中的目标对象进行识别得到的。根据本公开实施例，获取模块510例如可以执行上文参考图2描述的操作S210，在此不再赘述。

第一确定模块520可以用于以真实对象标识为参考，确定针对识别对象标识的第一指标值。根据本公开实施例，第一确定模块520例如可以执行上文参考图2描述的操作S220，在此不再赘述。

第二确定模块530可以用于以识别对象标识为参考，确定针对真实对象标识的第二指标值。根据本公开实施例，第二确定模块530例如可以执行上文参考图2描述的操作S230，在此不再赘述。

第三确定模块540可以用于基于第一指标值和第二指标值，确定图像识别准确率。根据本公开实施例，第三确定模块540例如可以执行上文参考图2描述的操作S240，在此不再赘述。

根据本公开的实施例，图像集合包括N个图像集合，N为大于1的整数；第一确定模块520包括：第一确定子模块、第二确定子模块和第三确定子模块。第一确定子模块，用于从N个图像集合中确定M₁个图像集合，其中，识别对象标识是对M₁个图像集合进行识别得到的，M₁不大于N；第二确定子模块，用于确定识别对象标识在M₁个图像集合中一一对应的M₁个真实对象标识；第三确定子模块，用于基于M₁个真实对象标识，确定针对识别对象标识的第一指标值。

根据本公开的实施例，第三确定子模块包括：第一确定单元和第二确定单元。第一确定单元，用于基于M₁个真实对象标识，确定表征图像识别正确的第一数值和表征图像识别错误的第二数值；第二确定单元，用于将第一数值和第二数值，确定为针对识别对象标识的第一指标值。

根据本公开的实施例，第一确定单元包括：去除子单元、第一确定子单元和第二确定子单元。去除子单元，用于去除M₁个真实对象标识中重复的真实对象标识，得到剩余的K₁个真实对象标识，K₁不大于M₁；第一确定子单元，用于将M₁和K₁的差值，确定为第一数值；第二确定子单元，用于基于K₁，确定第二数值。

根据本公开的实施例，图像集合包括N个图像集合，N为大于1的整数；第二确定模块530包括：第四确定子模块、第五确定子模块和第六确定子模块。第四确定子模块，用于从N个图像集合中确定M₂个图像集合，其中，M₂个图像集合包括与真实对象标识对应的目标对象，M₂不大于N；第五确定子模块，用于确定真实对象标识在M₂个图像集合中一一对应的M₂个识别对象标识；第六确定子模块，用于基于M₂个识别对象标识，确定针对真实对象标识的第二指标值。

根据本公开的实施例，第六确定子模块包括：去除单元和第三确定单元。去除单元，用于去除M₂个识别对象标识中重复的识别对象标识，得到剩余的K₂个识别对象标识，K₂不大于M₂；第三确定单元，用于基于K₂，确定针对真实对象标识的第二指标值。

根据本公开的实施例，第三确定模块540包括：第一获得子模块、第二获得子模块和第七确定子模块。第一获得子模块，用于基于第一指标值，得到精准率；第二获得子模块，用于基于第一指标值和第二指标值，得到召回率；第七确定子模块，用于基于精准率和召回率，确定图像识别准确率。

根据本公开的实施例，第一指标值包括第一数值和第二数值；第一获得子模块包括：第四确定单元和第五确定单元。第四确定单元，用于确定第一数值和第二数值的第一和值；第五确定单元，用于将第一数值和第一和值之间的比值，确定为精准率。

根据本公开的实施例，第二获得子模块包括：第六确定单元和第七确定单元。第六确定单元，用于确定第一数值和第二指标值的第二和值；第七确定单元，用于将第一数值和第二和值之间的比值，确定为召回率。

根据本公开的实施例，装置500还可以包括：处理模块，利用深度学习模型识别图像集合中的目标对象，得到识别对象标识。

根据本公开的实施例，N个图像集合分别由N个数据采集装置采集得到，图像集合包括视频数据。

在本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。

在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开实施例，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行上文所描述的图像识别准确率的确定方法。

根据本公开实施例，提供了一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时实现上文所描述的图像识别准确率的确定方法。

图6是用来实现本公开实施例的用于执行图像识别准确率的确定的电子设备的框图。

图6示出了可以用来实施本公开实施例的示例电子设备600的示意性框图。电子设备600旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如图像识别准确率的确定方法。例如，在一些实施例中，图像识别准确率的确定方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的图像识别准确率的确定方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像识别准确率的确定方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程图像识别准确率的确定装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (24)

1.一种图像识别准确率的确定方法，包括：

针对N个图像集合中各自的目标对象，获取针对所述目标对象的真实对象标识和针对所述目标对象的识别对象标识，其中，所述识别对象标识是通过对所述图像集合中的目标对象进行识别得到的；所述N个图像集合包括M₁个图像集合和M₂个图像集合，所述M₁个图像集合包括与同一个识别对象标识相对应的目标对象，所述M₂个图像集合包括与同一个真实对象标识相对应的目标对象；N为大于1的整数，M₁不大于N，M₂不大于N；

以所述真实对象标识为参考，确定针对所述识别对象标识的第一指标值；所述第一指标值包括基于K₁确定的第二数值，所述K₁表征针对与所述M₁个图像集合一一对应的M₁个真实对象标识执行去重操作后剩余的真实对象标识数量；K₁不大于M₁；

以所述识别对象标识为参考，基于K₂确定针对所述真实对象标识的第二指标值；所述K₂表征针对与所述M₂个图像集合一一对应的M₂个识别对象标识执行去重操作后剩余的识别对象标识数量；K₂不大于M₂；以及

基于所述第一指标值和所述第二指标值，确定图像识别准确率。

2.根据权利要求1所述的方法，其中，所述以所述真实对象标识为参考，确定针对所述识别对象标识的第一指标值包括：

从所述N个图像集合中确定M₁个图像集合，其中，所述识别对象标识是对所述M₁个图像集合进行识别得到的；

确定所述识别对象标识在所述M₁个图像集合中一一对应的M₁个真实对象标识；以及

基于所述M₁个真实对象标识，确定针对所述识别对象标识的所述第一指标值。

3.根据权利要求2所述的方法，其中，所述基于所述M₁个真实对象标识，确定针对所述识别对象标识的所述第一指标值包括：

基于所述M₁个真实对象标识，确定表征图像识别正确的第一数值和表征图像识别错误的第二数值；以及

将所述第一数值和所述第二数值，确定为针对所述识别对象标识的所述第一指标值。

4.根据权利要求3所述的方法，其中，所述基于所述M₁个真实对象标识，确定表征图像识别正确的第一数值和表征图像识别错误的第二数值包括：

去除所述M₁个真实对象标识中重复的真实对象标识，得到剩余的K₁个真实对象标识；

将M₁和K₁的差值，确定为所述第一数值；以及

基于所述K₁，确定所述第二数值。

5.根据权利要求1-4中任意一项所述的方法，其中，所述以所述识别对象标识为参考，确定针对所述真实对象标识的第二指标值包括：

从所述N个图像集合中确定M₂个图像集合，其中，所述M₂个图像集合包括与所述真实对象标识对应的目标对象；

确定所述真实对象标识在所述M₂个图像集合中一一对应的M₂个识别对象标识；以及

基于所述M₂个识别对象标识，确定针对所述真实对象标识的所述第二指标值。

6.根据权利要求5所述的方法，其中，所述基于所述M₂个识别对象标识，确定针对所述真实对象标识的所述第二指标值包括：

去除所述M₂个识别对象标识中重复的识别对象标识，得到剩余的K₂个识别对象标识；以及

基于所述K₂，确定针对所述真实对象标识的所述第二指标值。

7.根据权利要求1-4中任意一项所述的方法，其中，所述基于所述第一指标值和所述第二指标值，确定图像识别准确率包括：

基于所述第一指标值，得到精准率；

基于所述第一指标值和所述第二指标值，得到召回率；以及

基于所述精准率和所述召回率，确定所述图像识别准确率。

8.根据权利要求7所述的方法，其中，所述第一指标值包括第一数值和第二数值；所述基于所述第一指标值，得到精准率包括：

确定所述第一数值和所述第二数值的第一和值；以及

将所述第一数值和所述第一和值之间的比值，确定为所述精准率。

9.根据权利要求8所述的方法，其中，所述基于所述第一指标值和所述第二指标值，得到召回率包括：

确定所述第一数值和所述第二指标值的第二和值；以及

将所述第一数值和所述第二和值之间的比值，确定为所述召回率。

10.根据权利要求1所述的方法，还包括：

利用深度学习模型识别所述图像集合中的目标对象，得到所述识别对象标识。

11.根据权利要求1所述的方法，其中，所述N个图像集合分别由N个数据采集装置采集得到，所述图像集合包括视频数据。

12.一种图像识别准确率的确定装置，包括：

获取模块，用于针对N个图像集合中各自的目标对象，获取针对所述目标对象的真实对象标识和针对所述目标对象的识别对象标识，其中，所述识别对象标识是通过对所述图像集合中的目标对象进行识别得到的；所述N个图像集合包括M₁个图像集合和M₂个图像集合，所述M₁个图像集合包括与同一个识别对象标识相对应的目标对象，所述M₂个图像集合包括与同一个真实对象标识相对应的目标对象；N为大于1的整数，M₁不大于N，M₂不大于N；

第一确定模块，用于以所述真实对象标识为参考，确定针对所述识别对象标识的第一指标值；所述第一指标值包括基于K₁确定的第二数值，所述K₁表征针对与所述M₁个图像集合一一对应的M₁个真实对象标识执行去重操作后剩余的真实对象标识数量；K₁不大于M₁；

第二确定模块，用于以所述识别对象标识为参考，基于K₂确定针对所述真实对象标识的第二指标值；所述K₂表征针对与所述M₂个图像集合一一对应的M₂个识别对象标识执行去重操作后剩余的识别对象标识数量；K₂不大于M₂；以及

第三确定模块，用于基于所述第一指标值和所述第二指标值，确定图像识别准确率。

13.根据权利要求12所述的装置，其中，所述第一确定模块包括：

第一确定子模块，用于从所述N个图像集合中确定M1个图像集合，其中，所述识别对象标识是对所述M₁个图像集合进行识别得到的；

第二确定子模块，用于确定所述识别对象标识在所述M₁个图像集合中一一对应的M₁个真实对象标识；以及

第三确定子模块，用于基于所述M₁个真实对象标识，确定针对所述识别对象标识的所述第一指标值。

14.根据权利要求13所述的装置，其中，所述第三确定子模块包括：

第一确定单元，用于基于所述M₁个真实对象标识，确定表征图像识别正确的第一数值和表征图像识别错误的第二数值；以及

第二确定单元，用于将所述第一数值和所述第二数值，确定为针对所述识别对象标识的所述第一指标值。

15.根据权利要求14所述的装置，其中，所述第一确定单元包括：

去除子单元，用于去除所述M₁个真实对象标识中重复的真实对象标识，得到剩余的K₁个真实对象标识；

第一确定子单元，用于将M₁和K₁的差值，确定为所述第一数值；以及

第二确定子单元，用于基于所述K₁，确定所述第二数值。

16.根据权利要求12-15中任意一项所述的装置，其中，所述第二确定模块包括：

第四确定子模块，用于从所述N个图像集合中确定M₂个图像集合，其中，所述M₂个图像集合包括与所述真实对象标识对应的目标对象；

第五确定子模块，用于确定所述真实对象标识在所述M₂个图像集合中一一对应的M₂个识别对象标识；以及

第六确定子模块，用于基于所述M₂个识别对象标识，确定针对所述真实对象标识的所述第二指标值。

17.根据权利要求16所述的装置，其中，所述第六确定子模块包括：

去除单元，用于去除所述M₂个识别对象标识中重复的识别对象标识，得到剩余的K₂个识别对象标识；以及

第三确定单元，用于基于所述K₂，确定针对所述真实对象标识的所述第二指标值。

18.根据权利要求12-15中任意一项所述的装置，其中，所述第三确定模块包括：

第一获得子模块，用于基于所述第一指标值，得到精准率；

第二获得子模块，用于基于所述第一指标值和所述第二指标值，得到召回率；以及

第七确定子模块，用于基于所述精准率和所述召回率，确定所述图像识别准确率。

19.根据权利要求18所述的装置，其中，所述第一指标值包括第一数值和第二数值；所述第一获得子模块包括：

第四确定单元，用于确定所述第一数值和所述第二数值的第一和值；以及

第五确定单元，用于将所述第一数值和所述第一和值之间的比值，确定为所述精准率。

20.根据权利要求19所述的装置，其中，所述第二获得子模块包括：

第六确定单元，用于确定所述第一数值和所述第二指标值的第二和值；以及

第七确定单元，用于将所述第一数值和所述第二和值之间的比值，确定为所述召回率。

21.根据权利要求12所述的装置，还包括：

处理模块，利用深度学习模型识别所述图像集合中的目标对象，得到所述识别对象标识。

22.根据权利要求12所述的装置，其中，所述N个图像集合分别由N个数据采集装置采集得到，所述图像集合包括视频数据。

23.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。

24.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-11中任一项所述的方法。

Images