CN114998357A

CN114998357A - 基于多信息分析的工业检测方法、系统、终端和介质

Info

Publication number: CN114998357A
Application number: CN202210942231.9A
Authority: CN
Inventors: 黎达; 叶子铭; 李航; 高三山; 苏思源
Original assignee: Changchun Monoway Intelligent Photoelectric Technology Co ltd
Current assignee: Changchun Monoway Intelligent Photoelectric Technology Co ltd
Priority date: 2022-08-08
Filing date: 2022-08-08
Publication date: 2022-09-02
Anticipated expiration: 2042-08-08
Also published as: CN114998357B

Abstract

基于多信息分析的工业检测方法、系统、终端和介质涉及工业检测技术领域，解决了现有基于深度学习的工业检测方法的通用性不强和需要大量训练数据才能保证检测准确率的问题，过程为：基于工业目标类别库、基于具有多标签类别标注的集成工业场景数据集训练卷积神经网络得到工业目标识别模型；将待检测工业场景的数据输入到工业目标识别模型中输出通用工业场景的识别结果；对通用工业场景的识别结果和该待检测工业场景的信息进行融合分析得到该待检测工业场景的识别结果；筛除非兴趣目标和对相似目标进行区分，得到最终识别结果。本发明无需要大量数据且场景依赖性不强。

Description

基于多信息分析的工业检测方法、系统、终端和介质

技术领域

本发明涉及工业检测技术领域，具体涉及基于多信息分析的工业检测方法、系统、终端和介质。

背景技术

当前工业生产线中，大量任务包括质量检查、过程控制、错误跟踪等依赖于人眼对目标进行识别，这就大大提高了生产线的人力成本以及误操作的可能。为解决该问题，视觉检测方法是一种低成本且高度自动化的方案。基于视觉的工业目标检测是实现在复杂工业场景下，目标为工业检测中涉及的物体，通过视觉传感器对所需的、具体的目标（包括但不限于螺栓、孔洞、机架、工件等）进行定位以及识别。通过对所需目标的准确定位和分类，能够实现瑕疵样品检测、错误状态跟踪、精准控制以及异常状态监控等操作。

随着DL（deep learning，深度学习）技术的发展，大量深度CNN（卷积神经网络）已被开发用于2D目标检测。现有基于视觉的工业目标检测是直接利用现有深度CNN网络实现工业目标检测，其过程包括以下几个步骤：1）利用2D视觉传感器，在工业现场进行大量的图片数据采集；2）对采集到的图片进行标注，明确每张图片中所需目标的坐标信息以及类别；3）利用采集到的图片构建数据集，对现有深度CNN网络进行训练；4）将训练好的深度CNN网络进行现场部署，根据需求实现现场目标检测。但是，该方法存在如下缺点：

1）需要大量数据才能训练得到精度高的CNN网络，当训练数据不足时，误差率较大；

2）场景依赖性强，当场景更换，需要重新训练CNN网络，研发成本高。

发明内容

为了解决上述现有基于DL的工业检测方法的通用性不强和需要大量训练数据才能保证检测准确率的问题，本发明提供基于多信息分析的工业检测方法、系统、终端和介质。

本发明为解决技术问题所采用的技术方案如下：

一种基于多信息分析的工业检测方法，包括如下步骤：

步骤1、基于工业目标类别库、基于具有多标签类别标注的集成工业场景数据集训练卷积神经网络得到工业目标识别模型；所述多标签类别标注包括目标定位信息标注、目标表面形貌尺寸信息标注、目标物质属性信息标注；所述工业目标类别库包括目标定位信息、目标表面形貌尺寸信息和目标属性信息；所述工业目标类别库中包括目标缺陷类别，所述多标签类别标注包括目标缺陷类别标注；

步骤2、将待检测工业场景的数据输入到步骤1得到的工业目标识别模型中，输出该待检测工业场景对应的通用工业场景的识别结果；

步骤3、对步骤2得到的识别结果和该待检测工业场景的信息进行融合分析，得到该待检测工业场景的识别结果；所述待检测工业场景的信息包括：待检测工业场景的场景信息、待检测工业场景的任务信息、待检测工业场景的目标信息和待检测工业场景的目标与目标间的关系信息；

步骤4、筛除待检测工业场景的非兴趣目标，根据目标与目标间的关系信息对相似目标进行区分，得到待检测工业场景的最终识别结果。

一种基于多信息分析的工业检测系统，包括：

训练模块，用于基于工业目标类别库、基于具有多标签类别标注的集成工业场景数据集训练卷积神经网络得到工业目标识别模型；所述工业目标识别模型能够对输入到其中的待检测工业场景的数据进行目标识别，输出该待检测工业场景对应的通用工业场景的识别结果；所述多标签类别标注包括目标定位信息标注、目标表面形貌尺寸信息标注、目标物质属性信息标注；所述工业目标类别库包括目标定位信息、目标表面形貌尺寸信息和目标属性信息；所述工业目标类别库中包括目标缺陷类别，所述多标签类别标注包括目标缺陷类别标注；

识别模块，用于将待检测工业场景的数据输入到工业目标识别模型进行目标识别，工业目标识别模型输出该待检测工业场景对应的通用工业场景的识别结果；

融合分析模块，用于根据待检测工业场景对应的通用工业场景的识别结果和待检测工业场景的信息进行融合分析，得到该待检测工业场景的识别结果；所述待检测工业场景的信息包括：待检测工业场景的场景信息、待检测工业场景的任务信息、待检测工业场景的目标信息和待检测工业场景的目标与目标间的关系信息；

筛除模块，用于筛除待检测工业场景的识别结果中待检测工业场景的非兴趣目标，用于根据目标与目标间的关系信息对待检测工业场景的识别结果中的相似目标进行区分。

一种终端，所述终端包括存储器、处理器以及存储在所述存储器并可在所述处理器上运行的工业检测程序，所述工业检测程序被所述处理器执行时实现所述的一种基于多信息分析的工业检测方法的各个步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有工业检测程序，所述工业检测程序被处理器执行时实现所述的一种基于多信息分析的工业检测方法的各个步骤。

本发明的有益效果：

1、本发明基于多信息分析的工业检测方法、系统、终端和介质通过工业目标类别库、基于具有多标签类别标注的集成工业场景数据集对工业目标识别模型的训练得到通用的工业目标识别模型，无需针对每一种场景进行单独的训练，在多种应用场景的总体上无需大量训练数据，集成工业场景数据集的基础上配合工业目标类别库实现了减少了数据需求，可在新场景下亦可实现工业目标检测，无需或仅需用有限新场景数据对该网络进行迁移训练，便可以通过多信息融合分析来实现对新场景下的目标检测与识别，得到准确的定位和类别。场景依赖性不强，当场景更换时无需要重新训练CNN网络。本发明具有通用性和对训练数据集的规模要求小。

2、相较于传统目标检测只对单一类目标进行单标签预测，基于多信息分析的工业检测方法同时预测出目标的多个所属类别，提供丰富的额外信息，对相似目标也能够准确的分类，不需要人为进行额外分析，使得检测结果更加直观准确。

3、通过对多信息进行分析，即使无法通过视觉直接识别，也可通过间接信息进行定位和识别，大大降低了研发成本以及对数据的要求。

附图说明

图1为本发明的基于多信息分析的工业检测方法的实现过程示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

基于多信息分析的工业检测方法，如图1所示，包括如下步骤：

步骤1、基于工业目标类别库和具有多标签类别标注的集成工业场景数据集，训练卷积神经网络得到工业目标识别模型。

在多种不同工业场景中，利用图像传感器，采集到多种不同工业场景的图像数据，受限于工业场景的特殊性，数据规模或较为有限，利用这些有限数据建立起集成工业场景数据集。集成工业场景数据集包括但不限于图像类数据，还可包括测量数据、光谱图等，比如可使用测量数据来描述两目标间的具体距离，采用不同光波段下的光谱来描述物质特征等。集成工业场景数据集中包括场景信息、任务信息、目标信息。场景信息包括但不限于：场景布局信息、工况信息（生产装置和设施生产运行的状态信息）等，任务信息包括但不限于：工序要求信息、工艺要求信息等。目标信息包括目标表面形貌尺寸信息、目标定位信息、目标属性信息、目标与目标间的关系信息、目标与目标间的关系信息包括目标间的依赖关系信息、目标之间的位置信息。本实施方式中目标属性信息为目标材料信息。上述目标信息还可包括目标缺陷信息，也就是目标表面形貌尺寸信息包括目标缺陷信息，可以是每一种目标均有其对应的缺陷分类。

根据对多种工业场景（可包括但不限于集成工业场景数据集对应的工作场景）进行分析，本实施方式中对集成工业场景数据集对应的工作场景，进行分析，对各个工业场景中的通用规则进行提取，建立工业目标类别库，如螺栓、架、孔洞等在不同的场景下均大概率会出现，可由此建立一个具有一定通用性的工业目标类别库。工业目标类别库是目标和目标类别的集合，工业目标类别库包括多种工业场景中均具有的目标和该目标的类别。本实施方式中工业标准类别库是通过大量的不同工业数据积累得到的，这些数据的来源不仅包括公有/公开数据集，也包括通过视觉系统在不同工业类型的场景下采集得到的。工业目标类别库包括目标定位信息、目标表面形貌尺寸信息和目标属性信息，目标定位信息、目标表面形貌尺寸信息和目标属性信息均属于目标类别。本实施方式中工业目标类别库包括目标缺陷信息。

本实施方式中，以机械工业场景为例，工业目标类别库包括但不限于加工设备名称（生产加工中所使用的设备的名称）、生产用工具（包括生产加工中所使用的手工工具的名称，例如扳手、钳子）、工人、零件名称（例如齿轮、轴、枪栓、螺旋桨、螺栓）、零件材质（例如铝、钢、各类合金、塑料、陶瓷）、零件规格型号（例如螺栓规格有M8、M10、M12等规格）、零件完好程度（例如零件完好、零件存在裂缝问题、零件存在缺损问题）、零件缺陷类型（不同零件具有不同的缺陷分类，例如致命缺陷、重要缺陷、次要缺陷，例如外观缺陷、尺寸缺陷、性能缺陷位置，例如点缺陷、线缺陷、面缺陷，例如缺陷所处零件的位置等等）、工人工种、零件之间的依赖关系（例如拧紧顺序，依存或链接关系）等。其中，加工设备名称、生产用工具、零件名称和工人属于目标，零件规格型号、零件完好程度、零件缺陷类型和工人工种属于目标类别。

根据但不仅限于工业目标类别库对集成工业场景数据集进行多标签类别标注得到用于训练深度CNN的集成工业场景数据集。具体可为：根据工业目标类别库以及集成工业场景数据集对应工业场景下的标签类别，对集成工业场景数据集中的数据进行目标标注、目标的多标签类别标注，得到标注后的集成工业场景数据集。其中，多标签类别标注即为一个目标可对应多个标签类别，这多个标签类别中的标签类别之间可以是从属关系也可是并列关系，通常多个标签类别之间为网络关系。根据这些标签，目标可以获得一个相对于单标签更加详细的描述。多标签类别标注包括目标定位信息标注、目标表面形貌尺寸信息标注，目标物质属性信息标注，优选的是多标签类别标注包括对工业目标类别库中各个信息进行标注。具体的，多标签类别标注包括根据名称标注、零件规格型号标注、零件完好程度标注。生产加工汽车轮毂的场景、生产加工汽车外壳的场景、生产加工厨房用蒸锅的场景等均为上述工业场景。工业场景下的标签类别可包括工业场景、该工业场景的成品/半成品的名称及规格、该工业场景的加工设备名称及规格、该工业场景的生产用工具名称及规格、该工业场景的零件名称、该工业场景的零件规格型号、该工业场景的零件完好程度等。

利用工业目标类别库和标注后的集成工业场景数据集对深度卷积神经网络进行训练，通过训练得到工业目标识别模型。利用工业目标识别模型能够得到通用工业场景的识别结果，所述识别结果包括识别的目标、所识别目标的多标签类别。

本实施方式中工业目标类别库中的目标类别包括目标缺陷类别，对集成工业场景数据集的标注包括对目标缺陷类别的标注。

步骤2、将待检测工业场景的数据输入到步骤1得到的工业目标识别模型中，工业目标识别模型输出该待检测工业场景对应的通用工业场景的识别结果。

采集某一待检测工业场景的实时数据，实时数据通常为图片但不限于必须是图片也不限于只有图片，将采集某一待检测工业场景的实时数据输入到工业目标识别模型中，工业目标识别模型输出该待检测工业场景对应的通用工业场景的识别结果，该待检测工业场景对应的通用工业场景的识别结果是包括当前该工业场景中所有可能存在的目标和目标的多标签类别，此处输出的是多标签分类，即是该目标的完整描述信息。图1的目标1、目标2、目标N仅表示不同的目标，1、2、N仅表示目标的编号，N为自然数，目标N示意性的表示第N个目标。

步骤3、根据该待检测工业场景的通用工业场景的识别结果和该待检测工业场景的信息进行融合分析，得到该待检测工业场景识别结果。

该待检测工业场景识别结果包括该待检测工业场景识别的目标、该待检测工业场景所识别目标的标签类别（此时的标签类别不限定是单个、两个还是多个，根据具体情况而定）。所述待检测工业场景的信息包括但不限于：待检测工业场景的场景信息、待检测工业场景的任务信息、待检测工业场景的目标信息和待检测工业场景的目标与目标间的关系信息。上述融合分析时还可利用先验知识。

步骤4、筛除步骤3得到的识别结果中待检测工业场景的非兴趣目标，根据目标与目标间的关系信息对步骤3识别结果中的相似目标进行区分，得到待检测工业场景的最终识别结果。

对非该待检测工业场景下的兴趣目标进行筛除，具体为：根据待检测工业场景的信息和先验知识对非该待检测工业场景下的兴趣目标进行筛除。对相似目标（例如两个尺寸接近的螺栓为相似目标）根据待检测工业场景的信息进行进一步分析以作区分，具体通过目标与目标间的关系信息计算不同目标之间的相对位置等信息，进行进一步细分类以区分相似目标，实现更准确的识别结果输出，从而优化和调整了步骤3的识别结果。待检测工业场景的最终识别结果包括该待检测工业场景最终的识别的目标、该待检测工业场景最终所识别目标的标签类别。

该待检测工业场景最终识别结果中的目标相对于步骤2的目标来说更准确，该待检测工业场景最终识别结果中的目标的标签类别相对于步骤2的目标的多标签类别来说更准确。

本发明基于多信息分析的工业检测方法通过对工业目标识别模型的训练得到通用的工业目标识别模型，无需针对每一种场景进行单独的训练，在多种应用场景的总体上无需大量训练数据，集成工业场景数据集的基础上配合工业目标类别库实现了减少了数据需求，可在新场景下亦可实现工业目标检测，无需或仅需用有限新场景数据对该网络进行迁移训练，便可以通过多信息融合分析来实现对新场景下的目标检测与识别，得到准确的定位和类别，针对相似目标可以进行更准确的分类，不需要人为进行额外分析，使得检测结果更加直观准确；相较于传统目标检测只对单一类目标进行单标签预测，基于多信息分析的工业检测方法同时预测出目标的多个所属类别，提供丰富的额外信息，对相似目标也能够准确的分类。通过对多信息进行分析，即使无法通过视觉直接识别，也可通过间接信息进行定位和识别，大大降低了研发成本以及对数据的要求。该工业检测方法可以用于通用工业场景，即使场景发生变化或出现未见过的目标（如新种类的瑕疵件），亦可基于工业目标类别库训练的工业目标识别模型对目标进行识别和定位，产品通用性大大提高。因此本发明兼具通用性和对训练数据集的规模要求小。本发明应用范围广，该技术可用于包括汽车工业、机械工业、精密电子工业等众多工业领域，亦可用于机场、地铁安全检查，医疗等各种复杂场景的目标检测任务。同时基于本发明，能够对尚未人为发现、尚未定性的目标能够得到全面定性的描述，以实现工业现场的智能化、自动化监测。

另外，本发明通过对大量工业场景分析，自行研发建立工业目标类别库，可涵盖大部分工业场景，提高了本发明检测方法的通用性。通过工业目标类别库和集成工业场景数据集中的目标类别均包括目标缺陷类别，能够更好地将相似目标的准确区分，现有技术只能是标出是否有缺陷，不能进一步识别，例如目标具有缝隙缺陷，但由于缝隙外观相似，无法进而识别出是具体哪种缺陷。凭借本发明所述之方法，可以凭借带有多标签信息大量样本信息，描述性的准确定性定义缝隙外观，且随着同类样本采集和补充，迭代形成出一类或多类新的相关标签和样本。

再者，本发明利用多目标的识别结果进行综合分析，利用其中的包括但不限于相对位置信息、几何信息、场景信息、任务信息对目标识别结果进行进一步的调整和优化，输出在该任务场景下准确的定位和类别信息。

下面基于该方法以机架螺栓检测为例进行应用性说明。

待检测工业场景为机架螺栓安装，利用做基于多信息分析的工业检测方法做机架螺栓检测。

需求：机架不同位置的螺栓扭矩不同，工人利用扳手对螺栓进行拧紧操作时，需要对拧紧螺栓的类别和序号进行判断，进而确定所需扭矩并监测是否出现扭矩设置错误。

对于现有技术的难点：螺栓外观一致，传统目标检测方法无法对螺栓的具体类别、序号进行判断，为每一个螺栓设置其特定的扭矩较为困难。

利用本发明的基于多信息分析的工业检测方法能够识别机架和螺栓，包括每一个螺栓具体类别、具体位置（安装时的序号），具体过程如下：

a. 首先利用图像传感器，在车间现场采集实时作业数据，建立集成工业场景数据集。

b. 根据自建的工业目标类别库对集成工业场景数据集进行分析标注，此时不仅需要对螺栓进行标注，也会标注扳手、机架、工人等场外信息。

c. 利用标注好的集成工业场景数据集对目标检测深度CNN进行训练得到训练好的深度CNN，也就是得到了工业目标识别模型。

d. 将训练好的工业目标识别模型放到螺栓检测现场，实时输入现场检测图片，训练好的工业目标识别模型将能够标注出螺栓、扳手、机架、工人等众多信息的位置，并进行准确的分类。

e. 根据该任务信息，首先需判断螺栓的类别，根据螺栓与机架的相对位置以及机架的类别，可以判断出螺栓的具体类别；判断当前操作的螺栓：计算扳手与各个螺栓的相对距离，距离最近的即为当前操作螺栓。

f. 针对集成工业场景数据集中未出现过的新物体（如新机架），本发明的基于多信息融合分析的工业检测方法仍能够检测到螺栓，也能得到新机架的类别描述。

本发明第二方面提供了一种基于多信息分析的工业检测系统，包括训练模块、识别模块、融合分析模块和筛除模块。训练模块，用于基于工业目标类别库、基于具有多标签类别标注的集成工业场景数据集训练卷积神经网络得到工业目标识别模型；所述工业目标识别模型能够对输入到其中的待检测工业场景的图片进行目标识别，输出该待检测工业场景对应的通用工业场景的识别结果。识别模块，用于将待检测工业场景的图片代入到工业目标识别模型进行目标识别，输出该待检测工业场景对应的通用工业场景的识别结果。融合分析模块，用于根据待检测工业场景对应的通用工业场景的识别结果和待检测工业场景的信息进行融合分析，该待检测工业场景的识别结果，具体得到该待检测工业场景所识别的目标、该待检测工业场景所识别目标的标签类别。筛除模块，用于筛除待检测工业场景的识别结果中待检测工业场景的非兴趣目标，以及根据目标与目标间的关系信息对待检测工业场景的识别结果中的相似目标进行区分，得到待检测工业场景的最终识别结果。所述多标签类别标注包括目标定位信息标注、目标表面形貌尺寸信息标注、目标物质属性信息标注；所述工业目标类别库包括目标定位信息、目标表面形貌尺寸信息和目标属性信息；所述工业目标类别库中包括目标缺陷类别，所述多标签类别标注包括目标缺陷类别标注；所述待检测工业场景的信息包括：待检测工业场景的场景信息、待检测工业场景的任务信息、待检测工业场景的目标信息和待检测工业场景的目标与目标间的关系信息。

需要说明的是，一种基于多信息分析的工业检测系统的实现原理及实施方式与基于多信息分析的工业检测方法相一致，故以下不再赘述。

本发明再一方面是提供一种终端(图中未示出)，终端包括存储器、处理器以及存储在存储器并可在处理器上运行的工业检测程序，工业检测程序被处理器执行时实现如上述实施方式任一项所述的基于多信息分析的工业检测方法的各个步骤。处理器可以是中央处理单元(CPU)，可以是图形单元处理器或者图形处理器（GPU），还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。存储器可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)、永久存储装置。

本发明还提供一种计算机可读存储介质(图中未示出)，计算机可读存储介质存储有工业检测程序，工业检测程序被处理器执行时实现上述任一实施方式所述的基于多信息分析的工业检测方法的各个步骤。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

本发明并不仅仅限于说明书和实施方式中所描述，因此对于熟悉领域的人员而言可容易地实现另外的优点和修改，故在不背离权利要求及等同范围所限定的一般概念的精神和范围的情况下，本发明并不限于特定的细节、代表性的设备和这里示出与描述的图示示例。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种基于多信息分析的工业检测方法，其特征在于，包括如下步骤：

2.如权利要求1所述的一种基于多信息分析的工业检测方法，其特征在于，所述步骤1之前还包括步骤0.1，步骤0.1为：采集多种工业场景下的数据得到集成工业场景数据集的步骤、建立工业目标类别库的步骤和对集成工业场景数据集进行多标签类别标注的步骤。

3.如权利要求2所述的一种基于多信息分析的工业检测方法，其特征在于，所述步骤0.1和步骤1具体为：采集多种工业场景下的数据得到集成工业场景数据集，根据集成工业场景数据集建立适用于多种工业场景的工业目标类别库，根据工业目标类别库和集成工业场景数据集对应工业场景下的标签类别对集成工业场景数据集进行多标签类别标注，得到标注后的集成工业场景数据集，根据工业目标类别库和标注后的集成工业场景数据集对深度卷积神经网络进行训练得到工业目标识别模型。

4.一种基于多信息分析的工业检测系统，其特征在于，包括：

识别模块，用于将待检测工业场景的数据输入到工业目标识别模型进行目标识别，工业目标识别模型输出该待检测工业场景对应的通用工业场景的识别结果；所述待检测工业场景的信息包括：

融合分析模块，用于根据待检测工业场景对应的通用工业场景的识别结果和待检测工业场景的信息进行融合分析，得到该待检测工业场景的识别结果；待检测工业场景的场景信息、待检测工业场景的任务信息、待检测工业场景的目标信息和待检测工业场景的目标与目标间的关系信息；

5.一种终端，其特征在于，所述终端包括存储器、处理器以及存储在所述存储器并可在所述处理器上运行的工业检测程序，所述工业检测程序被所述处理器执行时实现如权利要求1-3中任一项所述的一种基于多信息分析的工业检测方法的各个步骤。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有工业检测程序，所述工业检测程序被处理器执行时实现如权利要求1-3中任一项所述的一种基于多信息分析的工业检测方法的各个步骤。