CN112633384B - 基于图像识别模型的对象识别方法、装置和电子设备 - Google Patents

Abstract

本申请公开了基于图像识别模型的对象识别方法、装置和电子设备，涉及计算机视觉和深度学习技术领域。具体实现方案为：获取多个候选类型的置信度阈值，采用图像识别模型对采集图像进行识别，得到目标区域，以及得到各候选类型的置信度，目标区域是采集图像中包含对象的区域，置信度用于指示对象属于对应候选类型的概率，根据多个候选类型的置信度阈值，从多个候选类型中，确定目标类型，其中，目标类型是所对应置信度大于所对应的置信度阈值的候选类型，确定目标区域所包含的对象属于目标类型。本申请中，针对不同类型，设置对应的置信度阈值，提高了对象识别的准确度，满足了不同的场景识别的精度要求。

Description

基于图像识别模型的对象识别方法、装置和电子设备

技术领域

本申请涉及人工智能技术领域，具体涉及计算机视觉和深度学习技术领域，尤其涉及基于图像识别模型的对象识别方法、装置和电子设备。

背景技术

目前，深度学习已经在图像识别、语音识别、自然语言处理、计算生物、推荐系统等领域成效显著。实现深度学习模型的部署，是AI应用落地的最后一环。

相关技术中，针对不同的类别识别场景，在样本分布不均时，对于样本较少的一些类型，对象识别召回率不佳，不能满足不同场景的识别精度要求。

发明内容

本申请提供了一种用于提高对象识别准确度的基于图像识别模型的对象识别方法、装置和电子设备。

根据本申请的一方面，提供了一种基于图像识别模型的对象识别方法，包括：

获取多个候选类型的置信度阈值；

采用图像识别模型对采集图像进行识别，得到目标区域，以及得到各候选类型的置信度；其中，所述目标区域是所述采集图像中包含对象的区域，所述置信度用于指示所述对象属于对应候选类型的概率；

根据所述多个候选类型的置信度阈值，从多个所述候选类型中，确定目标类型，其中，所述目标类型是所对应置信度大于所对应的置信度阈值的候选类型；

确定所述目标区域所包含的对象属于所述目标类型。

根据本申请的另一方面，提供了一种基于图像识别模型的对象识别装置，包括：

获取模块，用于获取多个候选类型的置信度阈值；

处理模块，用于采用图像识别模型对采集图像进行识别，得到目标区域，以及得到各候选类型的置信度；其中，所述目标区域是所述采集图像中包含对象的区域，所述置信度用于指示所述对象属于对应候选类型的概率；

第一确定模块，用于根据所述多个候选类型的置信度阈值，从多个所述候选类型中，确定目标类型，其中，所述目标类型是所对应置信度大于所对应的置信度阈值的候选类型；

识别模块，用于确定所述目标区域所包含的对象属于所述目标类型。

根据本申请的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的基于图像识别模型的对象识别方法。

根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面所述的基于图像识别模型的对象识别方法。

根据本申请的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如第一方面所述的基于图像识别模型的对象识别方法。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1为本申请实施例所提供的一种基于图像识别模型的对象识别方法的流程示意图；

图2为本申请实施例提供的另一种基于图像识别模型的对象识别方法的流程示意图；

图3为本申请实施例提供的用户交互界面示意图；

图4为本申请实施例提供的相机图像识别示意图之一；

图5为本申请实施例提供的相机图像识别示意图之二；

图6为本申请实施例提供的相机图像识别示意图之三；

图7为本申请实施例提供的一种基于图像识别模型的对象识别装置的结构示意图；

图8示为本申请实施例的示例电子设备800的示意性框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

下面参考附图描述本申请实施例的基于图像识别模型的对象识别方法、装置和电子设备。

图1为本申请实施例所提供的一种基于图像识别模型的对象识别方法的流程示意图。

如图1所示，该方法包括以下步骤：

步骤101，获取多个候选类型的置信度阈值。

本实施例中，不同的候选类型具有对应的置信度阈值，也就是说候选类型不同，置信度不同。其中，类型，和分类场景相关，例如，在生产场景下，针对螺钉的分类，类型包含六角螺丝，自攻螺丝等。在车辆类型识别场景，类型包含小轿车、货车、越野车等。

本实施例中的候选类型的置信度阈值，指示了对象属于该类型的概率，通过设置不同的候选类型对应的置信度阈值，满足了不同识别场景的类型识别的精度要求，避免了在样本分布不均时，对于样本较少的类型和样本较多的类型，对识别模型的训练程度不同，而设置相同的置信度阈值，会导致训练样本较少的对象类型识别准确度较低的问题。

步骤102，采用图像识别模型对采集图像进行识别，得到目标区域，以及得到各候选类型的置信度。

本实施例中的图像识别模型是采用相应的训练样本，采用深度学习的方式训练得到的，采用图像识别模型对采集到的图像进行识别，得到目标区域，以及得到各候选类型的置信度。其中，目标区域是采集图像中包含对象的区域，置信度用于指示对象属于对应候选类型的概率。例如，对象是六角螺丝钉，通过图像识别模型识别，确定了目标区域，目标区域是采集图像中包含有六角螺丝钉的区域，以及对象属于六角螺丝钉类型的概率为0.88，对象属于自攻螺丝的概率为0.4等。

步骤103，根据多个候选类型的置信度阈值，从多个候选类型中，确定目标类型。

其中，目标类型是所对应置信度大于所对应的置信度阈值的候选类型。

本实施例中，将识别模型识别得到的对象属于各候选类型的置信度，与各候选类型设定的置信度阈值进行比较，将对应置信度大于置信度阈值的候选类型作为对象的目标类型，提高了图像中对象的类型确定的可靠性。

例如，本实施例中，设定了六角螺丝钉的置信度阈值为0.7，自攻螺丝钉的置信度阈值为0.5，从而，根据上述步骤中图像识别模型输出的识别置信度，识别到的六角螺丝钉的置信度0.88大于对应的置信度阈值0.7，而识别到的自攻螺丝钉的置信度0.4小于对应的置信度阈值0.5，因此，确定对象的目标类型为六角螺丝钉。

步骤104，确定目标区域所包含的对象属于目标类型。

进而，本实施例中，确定采集图像中识别到的目标区域中，所包含的对象属于目标类型，提高了图像中对象类型确定的可靠性。

本实施例的基于图像识别模型的对象识别方法中，获取多个候选类型的置信度阈值，采用图像识别模型对采集图像进行识别，得到目标区域，以及得到各候选类型的置信度，目标区域是采集图像中包含对象的区域，置信度用于指示对象属于对应候选类型的概率，根据多个候选类型的置信度阈值，从多个候选类型中，确定目标类型，其中，目标类型是所对应置信度大于所对应的置信度阈值的候选类型，确定目标区域所包含的对象属于目标类型，本申请中，针对不同分类，设置对应的置信度阈值，提高了对象识别的准确度，满足了不同的场景识别的精度要求。

基于上一实施例，本实施例提供了另一种基于图像识别模型的对象识别方法，说明了通过设定尺寸范围，提高目标区域中识别出的目标类型对象确定的准确性。

图2为本申请实施例提供的另一种基于图像识别模型的对象识别方法的流程示意图。如图2所示，该方法包含以下步骤：

步骤201，获取多个候选类型的置信度阈值。

在本实施例的一种实现方式中，置信度阈值的设置是通过响应用于操作设置的，具体来说，响应于第一设置操作，设定多个候选类型的置信度阈值，其中，第一设置操作，可以为点击设置操作，或者为滑动设置操作。其中，多个候选类型的置信度阈值，是根据响应用户的设置操作，基于图像识别模型的训练样本的数量手动设置的，训练样本的数量较少，模型训练的程度不够，模型识别的准确度较低，也就是说通过模型识别得到的类型的置信度值较低，则相应的置信度阈值设置为较小的值，例如，设置为0.5；训练样本的数量较多时，训练得到的模型的识别精度较高，则相应的置信度阈值设置为较高的值，例如，设置为0.8，实现了满足不同分类场景下的识别精度需求。

例如，图3为本申请实施例提供的用户交互界面示意图，如图3所示，用户在交互界面上，通过置信度调节按钮，可进行不同候选类型的置信度阈值设置。

在本实施例的另一种实现方式中，置信度阈值的设置是自动设置的，具体来说，电子设备根据图像识别模型的训练样本集合中，各候选类型的训练样本数量，自动确定各候选类型的置信度阈值。其中，样本数量和置信度阈值成正比例关系，训练样本的数量较少，模型训练的程度不够，训练得到的模型识别的准确度较低，也就是说通过模型识别得到的类型的置信度值较低，则相应的置信度阈值设置为较小的值，例如，设置为0.5；训练样本的数量较多时，训练得到的模型的识别精度较高，则相应的置信度阈值设置为较高的值，例如，设置为0.8，实现了满足不同分类场景下的识别精度需求。

步骤202，采用图像识别模型对采集图像进行识别，得到目标区域，以及得到各候选类型的置信度。本实施例中，可将一个或多个工业相机接入，对相机采集的图像直接进行识别，并提供了多种相机的适配方案，同时，不需要安装驱动。

在本申请的一种实现方式中，从图像传感器获取包含多帧采集图像的视频流，将获取到的视频流转化为数组格式的数据，将数组格式的数据输入至图像识别模型进行识别。如图4所示，图中示出了识别示意图，需要说明的是，图4中的工业相机，可以为一个工业相机，也可以为多个工业相机，其中，多个工业相机场景下，每一个工业相机对应的图像识别模型可以选择为相同，或者不同。可通过图3所示的用户交互界面UI进行相应相机的模型选择，本实施例中不进行限定。

本实施例的另一种实现方式中，从图像传感器获取包含多帧采集图像的视频流，将视频流转化为预定文件格式的视频文件，采用预定接口将预定文件格式的视频文件输入图像识别模型进行识别。如图5所示，不进行获取的视频流的直接传输，而是将视频流转化为base64文件格式，其中，base64是最常见的用于传输8Bit字节码的编码方式之一，可用于传输较长的视频文件，并采用GRPC接口将设定格式的视频文件输入图像识别模型进行识别，提高了传输性能和提高了效率。

在本实施例的又一种实现方式中，从至少一个图像传感器获取包含多帧采集图像的视频流，将各图像传感器的视频流输入对应的图像识别模型进行识别。

如图6所示，可从一个相机的图像传感器获取到的多帧图像的视频流，输入对应的图像传感器进行识别，也可以对多个相机输出的视频流采用对应的图像传感器进行识别，其中，不同的相机对应的图像传感器可以相同，也可以不同。需要说明的是，在多个相机的场景下，多个相机输出的视频流可转化为对应的base64文件格式，再传输至对应的图像识别模型进行识别，以提高传输的效率。

其中，对于步骤202的其它解释说明，可以参照前述实施例中的解释说明，本实施例中不再赘述。

步骤203，根据多个候选类型的置信度阈值，从多个候选类型中，确定目标类型。

具体可参照上述实施例中的解释说明，原理相同，此处不再赘述。

步骤204，响应于第二设置操作，设定尺寸范围。

其中，第二设置操作，是用户执行的点击操作，或者是滑动操作，以用于在和用户交互的UI界面中，设定对象的尺寸范围。

相关技术中，在对对象进行识别时，通过识别模型输出的检测结果包含矩形框的大小，而矩形框的大小无法对识别对象的大小进行量化，从而，本实施例中，可响应用户操作，设置对象的尺寸范围，该尺寸范围是对象映射至图像中的尺寸范围。

例如，本实施例中，要识别的对象对短的六角螺丝钉，根据阈值，可以识别出长的六角螺丝钉和短的六角螺丝钉，进一步，为了提高对象识别的准确性，通过设置对象，例如，短六角螺丝钉的尺寸范围，可以准确筛选出短的六角螺丝钉，而将长的六角螺丝钉排除，提高了对象识别的可靠性。

步骤205，确定目标区域内展示的对象符合尺寸范围。

在本申请实施例的一种实现方式中，将目标区域中符合设定形状的最大局部区域，作为对象区域，在对象区域的尺寸处于尺寸范围内的情况下，确定目标区域内展示的对象符合尺寸范围，以提高了对象尺寸确定的准确性。其中，设定形状，是指待识别对象的设定形状。

在本申请实施例的另一种可能的实现方式中，根据设定系数对目标区域的面积进行修正，以得到修正后的面积，在修正后的面积处于尺寸范围内的情况下，确定目标区域内展示的对象符合尺寸范围，以提高了对象尺寸确定的准确性。其中，设定系数，可以是根据识别到的目标区域的统计值确定的。

在本申请实施例的又一种可能的实现方式中，根据目标区域中横向和/或纵向的像素点个数，确定目标区域的尺寸，在目标区域的尺寸处于尺寸范围内的情况下，确定目标区域内展示的对象符合尺寸范围，通过设置的尺寸范围，对对象进行进一步筛选，提高了对象尺寸确定的准确性。

本实施例中通过设定的尺寸范围，对目标区域中的对象进行进一步识别，提高了目标区域中对象识别的可靠性。

步骤206，确定目标区域所包含的对象属于目标类型。

本实施例中，在目标区域内展示的对象符合尺寸范围的情况下，确定目标区域所包含的对象属于目标类型，提高了目标类型的对象识别的可靠性。

如图3所示，可在用户交互界面中对多个相机，例如两个相机的图像识别结果进行展示，增加了直观性。

本实施例的基于图像识别模型的对象识别方法中，获取多个候选类型的置信度阈值，采用图像识别模型对采集图像进行识别，以从采集图像中确定展示有对象的目标区域，以及对象属于各候选类型的置信度，根据多个候选类型的置信度阈值，从多个候选类型中，确定目标类型，其中，目标类型的置信度大于目标类型的置信度阈值，确定目标区域所包含的对象属于目标类型，本申请中，针对不同类型，设置对应的置信度阈值，提高了对象识别的准确度，满足了不同的场景识别的精度要求。同时，设置对象的尺寸范围，基于设定的尺寸范围，对目标区域中的对象尺寸进行进一步识别，提高了目标区域中对象识别的可靠性。

为了实现上述实施例，本实施例提供了一种基于图像识别模型的对象识别装置。

图7为本申请实施例提供的一种基于图像识别模型的对象识别装置的结构示意图，如图7所示，该装置包含：

获取模块71，用于获取多个候选类型的置信度阈值。

处理模块72，用于采用图像识别模型对采集图像进行识别，得到目标区域，以及得到各候选类型的置信度；其中，所述目标区域是所述采集图像中包含对象的区域，所述置信度用于指示所述对象属于对应候选类型的概率。

第一确定模块73，用于根据多个候选类型的置信度阈值，从多个所述候选类型中，确定目标类型，其中，目标类型是所对应置信度大于所对应的置信度阈值的候选类型。

识别模块74，用于确定目标区域所包含的对象属于目标类型。

进一步，在本申请的一个实现方式中，上述获取模块71，具体用于：响应于第一设置操作，设定多个所述候选类型的所述置信度阈值；或者，根据所述图像识别模型的训练样本集合中，各所述候选类型的训练样本数量，确定各所述候选类型的所述置信度阈值。

在本申请的一个实现方式中，该装置还包括：

设定模块，用于响应于第二设置操作，设定尺寸范围；

上述识别模块74，具体用于：在所述目标区域内展示的对象符合所述尺寸范围的情况下，确定目标区域所包含的对象属于目标类型。

在本申请的一个实现方式中，该装置，还包括：

第二确定模块，用于将所述目标区域中符合设定形状的最大局部区域，作为对象区域；在所述对象区域的尺寸处于所述尺寸范围内的情况下，确定所述目标区域内展示的对象符合所述尺寸范围。

在本申请的一个实现方式中，上述第二确定模块，还用于根据设定系数对所述目标区域的面积进行修正，以得到修正后的面积；在所述修正后的面积处于所述尺寸范围内的情况下，确定所述目标区域内展示的对象符合所述尺寸范围。

在本申请的一个实现方式中，上述第二确定模块，还用于根据所述目标区域中横向和/或纵向的像素点个数，确定所述目标区域的尺寸；在所述目标区域的尺寸处于所述尺寸范围内的情况下，确定所述目标区域内展示的对象符合所述尺寸范围。

在本申请的一个实现方式中，上述处理模块72，具体用于：从图像传感器获取包含多帧采集图像的视频流；将获取到的所述视频流转化为数组格式的数据；将所述数组格式的数据输入至所述图像识别模型进行识别。

在本申请的一个实现方式中，上述处理模块72，具体还用于：从图像传感器获取包含多帧采集图像的视频流；将所述视频流转化为预定文件格式的视频文件；采用预定接口将所述预定文件格式的视频文件输入所述图像识别模型进行识别。

在本申请的一个实现方式中，上述处理模块72，具体还用于：从至少一个图像传感器获取包含多帧采集图像的视频流；将各所述图像传感器的视频流输入对应的所述图像识别模型进行识别。

需要说明的是，前述方法实施例的解释说明，也适用于本实施例的装置，原理相同，此处不再赘述。

本实施例的基于图像识别模型的对象识别装置中，获取多个候选类型的置信度阈值，采用图像识别模型对采集图像进行识别，得到目标区域，以及得到各候选类型的置信度，目标区域是采集图像中包含对象的区域，置信度用于指示对象属于对应候选类型的概率，根据多个候选类型的置信度阈值，从多个候选类型中，确定目标类型，其中，目标类型是所对应置信度大于所对应的置信度阈值的候选类型，确定目标区域所包含的对象属于目标类型，本申请中，针对不同分类，设置对应的置信度阈值，提高了对象识别的准确度，满足了不同的场景识别的精度要求。

为了实现上述实施例，本实施例提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述方法实施例所述的基于图像识别模型的对象识别方法。

为了实现上述实施例，本实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行前述方法实施例所述的基于图像识别模型的对象识别方法。

为了实现上述实施例，本实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如前述方法实施例所述的基于图像识别模型的对象识别方法。

根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图8示为本申请实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图8所示，设备800包括计算单元801，其可以根据存储在ROM(Read-OnlyMemory，只读存储器)802中的计算机程序或者从存储单元808加载到RAM(Random AccessMemory，随机访问/存取存储器)803中的计算机程序，来执行各种适当的动作和处理。在RAM803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。I/O(Input/Output，输入/输出)接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于CPU(Central Processing Unit，中央处理单元)、GPU(Graphic Processing Units，图形处理单元)、各种专用的AI(Artificial Intelligence，人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(Digital SignalProcessor，数字信号处理器)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如基于图像识别模型的对象识别方法。例如，在一些实施例中，基于图像识别模型的对象识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM803并由计算单元801执行时，可以执行上文描述的基于图像识别模型的对象识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行基于图像识别模型的对象识别方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、FPGA(Field Programmable Gate Array，现场可编程门阵列)、ASIC(Application-Specific Integrated Circuit，专用集成电路)、ASSP(Application Specific StandardProduct，专用标准产品)、SOC(System On Chip，芯片上系统的系统)、CPLD(ComplexProgrammable Logic Device，复杂可编程逻辑设备)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM(Electrically Programmable Read-Only-Memory，可擦除可编程只读存储器)或快闪存储器、光纤、CD-ROM(Compact Disc Read-Only Memory，便捷式紧凑盘只读存储器)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode-Ray Tube，阴极射线管)或者LCD(Liquid Crystal Display，液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：LAN(LocalArea Network，局域网)、WAN(Wide Area Network，广域网)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

其中，需要说明的是，人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (12)

1.一种基于图像识别模型的对象识别方法，包括：

获取多个候选类型的置信度阈值；

采用图像识别模型对采集图像进行识别，得到目标区域，以及得到各候选类型的置信度；其中，所述目标区域是所述采集图像中包含对象的区域，所述置信度用于指示所述对象属于对应候选类型的概率，提供多种相机的适配，所述采集图像是将一个或多个工业相机接入，对图像进行采集所得到的；在多个工业相机场景下，每个工业相机对应的图像识别模型相同或不同，用户能够通过用户交互界面进行相应相机的图像识别模型的选择；

根据所述多个候选类型的置信度阈值，从多个所述候选类型中，确定目标类型，其中，所述目标类型是所对应置信度大于所对应的置信度阈值的候选类型；

确定所述目标区域所包含的对象属于所述目标类型；

其中，所述方法还包括：响应于第二设置操作，设定尺寸范围，所述尺寸范围是所述对象映射至图像中的尺寸范围，所述第二设置操作包括用户执行的点击操作，或者是滑动操作，以用于在和用户交互的UI界面中，设定对象的尺寸范围；将所述目标区域中符合设定形状的最大局部区域，作为对象区域，所述设定形状是指待识别对象的设定形状；在所述对象区域的尺寸处于所述尺寸范围内的情况下，确定所述目标区域内展示的对象符合所述尺寸范围；

所述确定所述目标区域所包含的对象属于所述目标类型，包括：

在所述目标区域内展示的对象符合所述尺寸范围的情况下，确定所述目标区域所包含的对象属于所述目标类型；

其中，所述采用图像识别模型对采集图像进行识别，包括：

从至少一个图像传感器获取包含多帧采集图像的视频流；

将所述视频流转化为预定文件格式的视频文件；

采用预定接口将所述预定文件格式的视频文件输入所述图像识别模型进行识别，在用户交互界面中对多个识别结果进行展示。

2.根据权利要求1所述的对象识别方法，其中，所述获取多个候选类型的置信度阈值，包括：

响应于第一设置操作，设定多个所述候选类型的所述置信度阈值；

或者，根据所述图像识别模型的训练样本集合中各所述候选类型的训练样本数量，确定各所述候选类型的所述置信度阈值。

3.根据权利要求1所述的对象识别方法，其中，所述方法，还包括：

根据设定系数对所述目标区域的面积进行修正，以得到修正后的面积；

在所述修正后的面积处于所述尺寸范围内的情况下，确定所述目标区域内展示的对象符合所述尺寸范围。

4.根据权利要求1所述的对象识别方法，其中，所述方法，还包括：

根据所述目标区域中横向和/或纵向的像素点个数，确定所述目标区域的尺寸；

在所述目标区域的尺寸处于所述尺寸范围内的情况下，确定所述目标区域内展示的对象符合所述尺寸范围。

5.根据权利要求1-4任一项所述的对象识别方法，其中，所述采用图像识别模型对采集图像进行识别，包括：

从图像传感器获取包含多帧采集图像的视频流；

将获取到的所述视频流转化为数组格式的数据；

将所述数组格式的数据输入至所述图像识别模型进行识别。

6.一种基于图像识别模型的对象识别装置，包括：

获取模块，用于获取多个候选类型的置信度阈值；

处理模块，用于采用图像识别模型对采集图像进行识别，得到目标区域，以及得到各候选类型的置信度；其中，所述目标区域是所述采集图像中包含对象的区域，所述置信度用于指示所述对象属于对应候选类型的概率，提供多种相机的适配，所述采集图像是将一个或多个工业相机接入，对图像进行采集所得到的；在多个工业相机场景下，每个工业相机对应的图像识别模型相同或不同，用户能够通过用户交互界面进行相应相机的图像识别模型的选择；

第一确定模块，用于根据所述多个候选类型的置信度阈值，从多个所述候选类型中，确定目标类型，其中，所述目标类型是所对应置信度大于所对应的置信度阈值的候选类型；

识别模块，用于确定所述目标区域所包含的对象属于所述目标类型；

其中，所述装置还包括：

设定模块，用于响应于第二设置操作，设定尺寸范围，所述尺寸范围是所述对象映射至图像中的尺寸范围，所述第二设置操作包括用户执行的点击操作，或者是滑动操作，以用于在和用户交互的UI界面中，设定对象的尺寸范围；

第二确定模块，用于将所述目标区域中符合设定形状的最大局部区域，作为对象区域，所述设定形状是指待识别对象的设定形状；在所述对象区域的尺寸处于所述尺寸范围内的情况下，确定所述目标区域内展示的对象符合所述尺寸范围；

所述识别模块，具体用于：

在所述目标区域内展示的对象符合所述尺寸范围的情况下，确定所述目标区域所包含的对象属于所述目标类型；

所述处理模块，具体用于：

从至少一个图像传感器获取包含多帧采集图像的视频流；

将所述视频流转化为预定文件格式的视频文件；

采用预定接口将所述预定文件格式的视频文件输入所述图像识别模型进行识别，在用户交互界面中对多个识别结果进行展示。

7.根据权利要求6所述的对象识别装置，其中，所述获取模块，具体用于：

响应于第一设置操作，设定多个所述候选类型的所述置信度阈值；

或者，根据所述图像识别模型的训练样本集合中，各所述候选类型的训练样本数量，确定各所述候选类型的所述置信度阈值。

8.根据权利要求6所述的对象识别装置，其中，

所述第二确定模块，还用于根据设定系数对所述目标区域的面积进行修正，以得到修正后的面积；在所述修正后的面积处于所述尺寸范围内的情况下，确定所述目标区域内展示的对象符合所述尺寸范围。

9.根据权利要求6所述的对象识别装置，其中，

所述第二确定模块，还用于根据所述目标区域中横向和/或纵向的像素点个数，确定所述目标区域的尺寸；在所述目标区域的尺寸处于所述尺寸范围内的情况下，确定所述目标区域内展示的对象符合所述尺寸范围。

10.根据权利要求6-9任一项所述的对象识别装置，其中，所述处理模块，具体用于：

从图像传感器获取包含多帧采集图像的视频流；

将获取到的所述视频流转化为数组格式的数据；

将所述数组格式的数据输入至所述图像识别模型进行识别。

11.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。

12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的方法。

Images