CN115861227A - 基于图像语义重建的无监督工业表面缺陷检测方法与装置 - Google Patents

Abstract

本发明公开了基于图像语义重建的无监督工业表面缺陷检测方法与装置，该方法包括：获取工业产品图像；将工业产品图像输入至语义修复模型进行图像缺陷修复，以得到第一修复结果图；将工业产品图像与所述第一修复结果图进行拼接，将拼接后的图像输入至分割网络模型对拼接后图像中的缺陷区域进行分割，并对比缺陷分割结果和预设的缺陷标注结果以得到缺陷分割定位结果。本发明不需要采集缺陷产品图像，极大节约人力成本；模型离线训练，需求算力小；可以对细小缺陷实现精准检测与定位，并且检测速度快，缺陷定位精准。

Description

基于图像语义重建的无监督工业表面缺陷检测方法与装置

技术领域

本发明涉缺陷检测技术领域，特别是涉及基于图像语义重建的无监督工业表面缺陷检测方法与装置。

背景技术

缺陷检测是工业生产中必不可少的一个环节，是保证产品质量的重要手段。缺陷检测环节通常是在工厂生产环节之后，对于产品可能出现的结构或者功能性缺陷做出检测。精准而有效的异常或者缺陷检测技术，可以有效的预防更大的经济损失出现。图1展示了四种工业产品缺陷检测现场。

实际工业场景是十分分散且复杂的，大多处理的是图像数据，缺陷数据如图二所示。数据类型从日常生活使用的布匹图像数据到精密电子仪器内的PCB线路板图像，不同的应用场景，其检测的产品差异巨大。而在同一个工业业务场景之下，也因为需求的不同，产品数据本身存在差异，例如不同的布料织造方式和颜色纹理如图2所示。

除此之外，在实际工业场景中，异常的出现频率往往是较低的，所以异常数据相对于正常数据来说，十分稀少。而对于有监督的深度学习异常检测方式而言，这类算法对于数据的要求更加严格，十分依赖异常数据量和人工标注。同时在大多数实际生产场景中，正常数据与异常数据的差异往往是细小的，例如工业生产电路板的异常往往是毫米级甚至微米级的，这是图像数据正常区域与异常区域的不平衡问题，会给异常检测方法上带来巨大的考验。另外，现有的某些特定的方法对于某一场景可能适用，但是如果将方法迁移到其他领域，因为检测场景与检测目标的变化，往往会出现效果大打折扣的情况。

而就异常检测算法而言，传统的检测方法，对于低维的数据表现良好，但是难以有效处理复杂的图像异常数据。而现有的很多利用深度学习的方法，根据是否需要人工标注，可以将这些算法分为有监督的深度学习异常检测算法和无监督的深度学习异常检测算法。有监督的异常检测算法，需要大量的人工标注的异常样本作为训练集。但是由于异常样本的稀少性，获取大量异常样本的代价往往是昂贵的，而依赖有监督的异常检测算法，一般对未知形式异常的表现较差。同时由于业务场景与检测目标的变化，这些有监督的检测方式，大多对于不同场景需要特定的设计算法模型。

深入剖析异常检测问题，工业异常检测问题的数据往往带有异常形式的不可预知性，而在检测异常时，如果不要求将异常做细致的分类，那么我们通常将非正常数据看作同类而做二分类。基于之前对于数据的分析和对无监督的异常检测方法对比，传统的异常检测方法包括基于统计学的方法、基于相似度的方法以及传统无监督机器学习方法。而随着深度学习的发展，现有的异常检测算法依靠深度学习得到了性能上的巨大提升，同时现有的基于深度学习的方法也分为基于特征空间、基于图像重建和基于其他度量指标等方法。

传统的无监督异常检测算法主要分为三大类：基于统计学的方法、基于相似度的方法以及传统无监督机器学习方法。他们在原理上略有差异，但是在低维数据的表现上都表现出相似的性能。但是这些方法的局限性都很大，例如通过度量数据相似性的欧式距离，在高维数据上表现糟糕。而如果想要将这些方法用于高维数据，解决的思想也主要是通过降维或者提取特征的方式转化为类似的相似度衡量问题。如果直接将这些方法用于复杂的工业产品异常检测，往往表现不佳。

基于特征空间上的无监督深度学习异常检测方法，其主要原理是通过特定的方法，将输入的数据映射到高维特征空间，再在特征空间上寻找异常数据与正常数据的差异。将数据映射到特征空间上，可以抽象得到更加高层次的信息，并且在特征空间上更加灵活。但是由于其原理上的局限，工业产品的细小缺陷往往会在深度学习网络抽取特征的过程中逐渐丢失信息，从而在高维特征空间表现出于正常产品十分接近，导致无法做出区分，从而在对细小缺陷的检测上，其检测精度较低。

基于其他度量的无监督深度学习异常检测。它们的原理是：当使用基于重建的算法模型去训练时，正常数据的重建损失会随着迭代的次数与时间稳步下降，而如果出现异常的数据，那么整个模型在面对之前从未见过的异常数据时，训练的损失会出现较为明显的波动。这类方法的整体缺陷检测性能上较差。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，提出一种基于图像语义重建的无监督工业表面缺陷检测方法。本发明基于对检测目标图像进行语义修复、纹理结构精细重建、生成模板对比的无监督异常检测算法。在能够不需要缺陷数据样本的支持，可以高效而精准的检测工业产品外观缺陷，可以极大的提高检测精度，降低人力成本，具有较强的理论意义和实用价值。

本发明的第二方面在于提出一种基于图像语义重建的无监督工业表面缺陷检测装置。

本发明第三方面提出一种计算机设备。

本发明第四方面提出一种存储介质。

为达上述目的，本发明一方面提出一种基于图像语义重建的无监督工业表面缺陷检测方法，包括：

获取工业产品图像；

将所述工业产品图像输入至语义修复模型进行图像缺陷修复，以得到第一修复结果图；

将所述工业产品图像与所述第一修复结果图进行拼接，将拼接后的图像输入至分割网络模型对拼接后图像中的缺陷区域进行分割，并对比缺陷分割结果和预设的缺陷标注结果以得到缺陷分割定位结果。

本发明实施的基于图像语义重建的无监督工业表面缺陷检测方法还可以具有以下附加技术特征：

进一步地，在所述将工业产品图像输入至语义修复模型进行图像缺陷修复之前，所述方法，还包括：构建训练数据库包括：

获取训练数据集，其中，所述训练数据集包括工业产品的多个正常图像样本和自然图像的多个缺陷源图；

基于所述训练数据集生成所述多个缺陷源图的随机缺陷区域图，将所述随机缺陷区域图和所述多个缺陷源图进行泊松融合，以将多个缺陷源图中对应缺陷区域叠加到所述多个正常图像样本中得到多个正常图像样本的缺陷生成图；

根据所述多个正常图像样本的缺陷生成图构建所述训练数据库。

进一步地，在所述构建训练数据库之后，所述方法，还包括，利用训练数据库中的训练数据集训练深度学习神经网络模型，以得到所述语义修复模型，包括：

构建深度学习神经网络模型；所述深度学习神经网络模型，包括主干支路网络结构和辅助支路网络结构；

将所述缺陷生成图输入所述主干支路网络结构以对多个正常图像样本进行修复输出得到第二修复结果图；以及，将所述第二修复结果图与所述多个正常图像样本拼接后输入至所述辅助支路网络结构输出得到第三修复结果图；

分别基于所述第二修复结果图和所述第三修复结果图进行损失计算，根据损失计算结果完成深度学习神经网络模型的训练以得到所述语义修复模型。

进一步地，所述分割网络模型，为沙漏结构的分割网络；所述将工业产品图像与所述第一修复结果图进行拼接，将拼接后的图像输入至分割网络模型对拼接后图像中的缺陷区域进行分割，并对比缺陷分割结果和预设的缺陷标注结果以得到缺陷分割定位结果，包括：

获取所述训练数据库中多个正常图像样本的缺陷标注结果；

将所述工业产品图像与所述第一修复结果图进行图像通道上的拼接得到拼接修复图；

将所述拼接修复图输入至所述沙漏结构的分割网络中，以对拼接修复图中的缺陷区域进行图像分割得到缺陷分割结果；

对比所述缺陷分割结果与所述缺陷标注结果，根据缺陷对比结果实现最优的缺陷分割定位。

为达上述目的，本发明另一方面提出一种基于图像语义重建的无监督工业表面缺陷检测装置，包括：

图像获取模块，用于获取工业产品图像；

缺陷修复模块，用于将所述工业产品图像输入至语义修复模型进行图像缺陷修复，以得到第一修复结果图；

分割定位模块，用于将所述工业产品图像与所述第一修复结果图进行拼接，将拼接后的图像输入至分割网络模型对拼接后图像中的缺陷区域进行分割，并对比缺陷分割结果和预设的缺陷标注结果以得到缺陷分割定位结果。

本发明第三方面实施例提出了一种计算机设备，包括处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现所述基于图像语义重建的无监督工业表面缺陷检测方法。

本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如所述基于图像语义重建的无监督工业表面缺陷检测方法。

本发明实施例的基于图像语义重建的无监督工业表面缺陷检测方法、装置、计算机设备及存储介质，通过构建双支路深度学习图像语义重建网络，主干支路注重RGB图像语义信息修复，辅助支路引入纹理图像(Sobel算子图)重建信息流，对正常区域实现精细重建，以缩小正常区域原始输入与重建结果的差异。同时对异常区域进行精细的修复，以扩大异常区域的重建结果与原始输入的差异。通过这种方式，扩大了异常区域检测的定位的决策边界，通过沙漏结构分割网络对异常区域实现直接分割定位，极大提高了算法对于不同工业产品的检测适用性。与其他方法相比，本发明不需要采集缺陷产品图像，极大节约人力成本；模型离线训练，需求算力小；可以对细小缺陷实现精准检测与定位，检测速度快，缺陷定位精准；尤其是对细小缺陷，可以实现精准检测与定位。由此，本发明具有较大的理论和实践价值。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为现有四类工业产品缺陷检测现场图；

图2为现有各类工业产品缺陷数据图像示意图；

图3为根据本发明实施例的基于图像语义重建的无监督工业表面缺陷检测方法流程图；

图4为根据本发明实施例的工业生产现场采集的布匹图像；

图5为根据本发明实施例的通过泊松融合的方式几种图像；

图6为根据本发明实施例的算法修复结果示意图；

图7为根据本发明实施例的对比分割结果示意图；

图8为根据本发明实施例的语义修复模型结构图；

图9为根据本发明实施例的缺陷修复分割定位结构图；

图10为根据本发明实施例的基于图像语义重建的无监督工业表面缺陷检测装置的结构示意图；

图11为根据本发明实施例的计算机设备。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

下面参照附图描述根据本发明实施例提出的基于图像语义重建的无监督工业表面缺陷检测方法、装置、计算机设备及存储介质。

图3是本发明实施例的基于图像语义重建的无监督工业表面缺陷检测方法的流程图。

如图3所示，该方法包括但不限于以下步骤：

S1，获取工业产品图像。

可以理解的是，本发明提出的基于语义重建的无监督缺陷检测方法依赖于正常的产品外观图像，由部署在工业生产场景的高清相机采集，采集到的图像如图4所示。

作为一种示例，本发明的图像为工业生产现场采集的布匹图像。

S2，将工业产品图像输入至语义修复模型进行图像缺陷修复，以得到第一修复结果图。

作为一种实施例，在对正常图像与训练数据库进行数据匹配之前，需要构建训练数据库，包括：获取训练数据集，其中，训练数据集包括工业产品的多个正常图像样本和自然图像的多个缺陷源图；基于训练数据集生成所述多个缺陷源图的随机缺陷区域图，将随机缺陷区域图和多个缺陷源图进行泊松融合，以将多个缺陷源图中对应缺陷区域叠加到多个正常图像样本中得到多个正常图像样本的缺陷生成图；根据多个正常图像样本的缺陷生成图构建训练数据库。

具体地，为了离线的训练深度学习神经网络模型，本发明首先需要构建训练数据库。其构建步骤如下：一，采集生产现场的正常(无缺陷)样本图像数据，收集自然图像作为缺陷源图；二，生成随机大小区域的缺陷区域，并随机选取一张缺陷源图，通过泊松融合的方式，将对应区域叠加到样本图像，得到模型训练输入需要的缺陷图像。如图5所示，其中，图5中的(a)为样本图像；图5中的(b)为样本图像随机缺陷区域图；图5中的(c)为样本图像缺陷源图；图5中的(d)为缺陷生成图。

可以理解的是，上述采用泊松融合的方式，使得从缺陷源图中提取的区域图像块，可以更加自热的融合到样本原图。其原理是让目标图像在融合部分根据源图像的引导场(实际是梯度场gradient field)“生长”出新的图像。

由此为离线的训练深度学习神经网络模型，构建需要的数据库，以从训练好的数据库中得到大批量与正常样本图像配对的缺陷生成图像。

作为一种实施例，在进行图像缺陷修复之前，需要构建深度学习神经网络模型；深度学习神经网络模型，包括主干支路网络结构和辅助支路网络结构；将多个正常图像样本的缺陷生成图输入主干支路网络结构以对多个正常图像样本进行修复输出得到第二修复结果图；以及，将多个正常图像样本的缺陷生成图的Sobel算子图输入至辅助支路网络结构以对多个正常图像样本的Sobel算子图进行修复输出得到第三修复结果图；基于第二修复结果图和所述第三修复结果图的融合信息，得到预训练的深度学习神经网络模型。

具体地，为了可以对目标产品图像进行检测，本发明期望得到一个模型，可以在只有工业生产采集的只有正常样本图像的基础上训练，使得模型算法具有对图像中产品的缺陷部分具有修复的能力。这个模型算法的最终目的，一是不改变输入图像中产品的正常结构和语义信息，二可以修复图像中出现的缺陷结构及语义。

本发明的深度学习神经网络模型模型的主干支路结构可以为AE结构(Encoder-Decoder)，并且为了提升对缺陷结构和语义的修复效果，以及抑制模型在修复过程中对产品图像正常区域结构的破坏，将深度学习神经网络模型设计成双支路。主干支路输入是样本图像的缺陷生成图，修复目标是样本原图。辅助支路输入是样本图像缺陷生成图的Sobel算子图(纹理图像)，辅助支路修复目标是样本原图的Sobel算子图。算法的修复结果如图6所示，本发明的语义修复模型结构如图8所示。

通过上述步骤S3的实施可以通过采集得到的正常样本图像生成缺陷图，训练模型使得其具有修复任意缺陷形式的能力，同时通过子支路的信息融合，提升修复效果，抑制模型对产品图像正常区域的改变。

S3，将工业产品图像与所述第一修复结果图进行拼接，将拼接后的图像输入至分割网络模型对拼接后图像中的缺陷区域进行分割，并对比缺陷分割结果和预设的缺陷标注结果以得到缺陷分割定位结果。

可以理解的是，本发明的目标是检测并定位产品外观缺陷，因此需要检测出输入产品图像中是否包含缺陷，以及缺陷的位置定位。

进一步地，本发明通过上述阶段的图像语义修复之后，可以得到修复之后的结果图像，这张结果图在产品外观整体上，与输入的区别，在于缺陷部分的结构和语义已经被修复，而正常区域(非缺陷区域)几乎不会被改变。

具体地，本发明采用将原始的输入样本图像与修复结果图，在图像通道上做拼接，然后送入分割模型中，对两张图像差异较大的部分(缺陷区域)进行图像分割。为了避免模型直接输出两张图像像素级相减结果，同时适应不同工业产品数据图像，本发明采用沙漏结构的分割网络，从而得到更优的缺陷分割定位结果，如图7所示。本发明的缺陷修复分割定位结构如图9所示。

通过上述步骤S3的实施可以利用前阶段的修复结果和原始样本输入图像，分割定位缺陷位置，采用沙漏结构的分割网络，提升了算法对不同工业产品数据的适用性和检测准确性。

根据本发明实施例的基于图像语义重建的无监督工业表面缺陷检测方法，在能够不需要缺陷数据样本的支持，可以高效而精准的检测工业产品外观缺陷，可以极大的提高检测精度，降低人力成本，具有较强的理论意义和实用价值。并且本发明不需要采集缺陷产品图像，极大节约人力成本；模型离线训练，需求算力小；可以对细小缺陷实现精准检测与定位，检测速度快，缺陷定位精准；特别是对细小缺陷，可以实现精准检测与定位。

为了实现上述实施例，如图10所示，本实施例中还提供了基于图像语义重建的无监督工业表面缺陷检测装置10，该装置10包括，图像获取模块100、缺陷修复模块200、分割定位模块300。

图像获取模块100，用于获取工业产品图像；

缺陷修复模块200，用于将工业产品图像输入至语义修复模型进行图像缺陷修复，以得到第一修复结果图；

分割定位模块300，用于将工业产品图像与所述第一修复结果图进行拼接，将拼接后的图像输入至分割网络模型对拼接后图像中的缺陷区域进行分割，并对比缺陷分割结果和预设的缺陷标注结果以得到缺陷分割定位结果。

进一步地，在缺陷修复模块之前，装置10，还包括：训练数据库构建模块，用于：

获取训练数据集，其中，训练数据集包括工业产品的多个正常图像样本和自然图像的多个缺陷源图；

基于训练数据集生成多个缺陷源图的随机缺陷区域图，将随机缺陷区域图和多个缺陷源图进行泊松融合，以将多个缺陷源图中对应缺陷区域叠加到多个正常图像样本中得到多个正常图像样本的缺陷生成图；

根据多个正常图像样本的缺陷生成图构建训练数据库。

进一步地，在训练数据库构建模块之后，装置10，还包括，模型训练模块，用于利用训练数据库中的训练数据集训练深度学习神经网络模型，以得到语义修复模型，包括：

构建深度学习神经网络模型；深度学习神经网络模型，包括主干支路网络结构和辅助支路网络结构；

将缺陷生成图输入主干支路网络结构以对多个正常图像样本进行修复输出得到第二修复结果图；以及，将第二修复结果图与多个正常图像样本拼接后输入至辅助支路网络结构输出得到第三修复结果图；

分别基于第二修复结果图和所述第三修复结果图进行损失计算，根据损失计算结果完成深度学习神经网络模型的训练以得到语义修复模型。

进一步地，分割网络模型，为沙漏结构的分割网络；上述分割定位模块300，还用于：

获取训练数据库中多个正常图像样本的缺陷标注结果；

将工业产品图像与第一修复结果图进行图像通道上的拼接得到拼接修复图；

将拼接修复图输入至沙漏结构的分割网络中，以对拼接修复图中的缺陷区域进行图像分割得到缺陷分割结果；

对比缺陷分割结果与所述缺陷标注结果，根据缺陷对比结果实现最优的缺陷分割定位。

根据本发明实施例的基于图像语义重建的无监督工业表面缺陷检测装置，在能够不需要缺陷数据样本的支持，可以高效而精准的检测工业产品外观缺陷，可以极大的提高检测精度，降低人力成本，具有较强的理论意义和实用价值。并且本发明不需要采集缺陷产品图像，极大节约人力成本；模型离线训练，需求算力小；可以对细小缺陷实现精准检测与定位，检测速度快，缺陷定位精准；特别是对细小缺陷，可以实现精准检测与定位。

为了实现上述实施例的方法，本发明还提供了一种计算机设备，如图11所示，该计算机设备600包括存储器601、处理器602；其中，所述处理器602通过读取所述存储器601中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现上文所述方法的各个步骤。

为了实现上述实施例，本申请还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如前述实施例所述的方法。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例的一种流动水体中泥沙含量的测定方法。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于图像语义重建的无监督工业表面缺陷检测方法，其特征在于，包括以下步骤：

获取工业产品图像；

将所述工业产品图像输入至语义修复模型进行图像缺陷修复，以得到第一修复结果图；

将所述工业产品图像与所述第一修复结果图进行拼接，将拼接后的图像输入至分割网络模型对拼接后图像中的缺陷区域进行分割，并对比缺陷分割结果和预设的缺陷标注结果以得到缺陷分割定位结果。

2.根据权利要求1所述的方法，其特征在于，在所述将工业产品图像输入至语义修复模型进行图像缺陷修复之前，所述方法，还包括：构建训练数据库包括：

获取训练数据集，其中，所述训练数据集包括工业产品的多个正常图像样本和自然图像的多个缺陷源图；

基于所述训练数据集生成所述多个缺陷源图的随机缺陷区域图，将所述随机缺陷区域图和所述多个缺陷源图进行泊松融合，以将多个缺陷源图中对应缺陷区域叠加到所述多个正常图像样本中得到多个正常图像样本的缺陷生成图；

根据所述多个正常图像样本的缺陷生成图构建所述训练数据库。

3.根据权利要求2所述的方法，其特征在于，在所述构建训练数据库之后，所述方法，还包括，利用训练数据库中的训练数据集训练深度学习神经网络模型，以得到所述语义修复模型，包括：

构建深度学习神经网络模型；所述深度学习神经网络模型，包括主干支路网络结构和辅助支路网络结构；

将所述缺陷生成图输入所述主干支路网络结构以对多个正常图像样本进行修复输出得到第二修复结果图；以及，将所述第二修复结果图与所述多个正常图像样本拼接后输入至所述辅助支路网络结构输出得到第三修复结果图；

分别基于所述第二修复结果图和所述第三修复结果图进行损失计算，根据损失计算结果完成深度学习神经网络模型的训练以得到所述语义修复模型。

4.根据权利要求2所述的方法，其特征在于，所述分割网络模型，为沙漏结构的分割网络；所述将工业产品图像与所述第一修复结果图进行拼接，将拼接后的图像输入至分割网络模型对拼接后图像中的缺陷区域进行分割，并对比缺陷分割结果和预设的缺陷标注结果以得到缺陷分割定位结果，包括：

获取所述训练数据库中多个正常图像样本的缺陷标注结果；

将所述工业产品图像与所述第一修复结果图进行图像通道上的拼接得到拼接修复图；

将所述拼接修复图输入至所述沙漏结构的分割网络中，以对拼接修复图中的缺陷区域进行图像分割得到缺陷分割结果；

对比所述缺陷分割结果与所述缺陷标注结果，根据缺陷对比结果实现最优的缺陷分割定位。

5.一种基于图像语义重建的无监督工业表面缺陷检测装置，其特征在于，包括：

图像获取模块，用于获取工业产品图像；

缺陷修复模块，用于将所述工业产品图像输入至语义修复模型进行图像缺陷修复，以得到第一修复结果图；

分割定位模块，用于将所述工业产品图像与所述第一修复结果图进行拼接，将拼接后的图像输入至分割网络模型对拼接后图像中的缺陷区域进行分割，并对比缺陷分割结果和预设的缺陷标注结果以得到缺陷分割定位结果。

6.根据权利要求5所述的装置，其特征在于，在所述缺陷修复模块之前，所述装置，还包括：训练数据库构建模块，用于：

获取训练数据集，其中，所述训练数据集包括工业产品的多个正常图像样本和自然图像的多个缺陷源图；

基于所述训练数据集生成所述多个缺陷源图的随机缺陷区域图，将所述随机缺陷区域图和所述多个缺陷源图进行泊松融合，以将多个缺陷源图中对应缺陷区域叠加到所述多个正常图像样本中得到多个正常图像样本的缺陷生成图；

根据所述多个正常图像样本的缺陷生成图构建所述训练数据库。

7.根据权利要求6所述的装置，其特征在于，在所述训练数据库构建模块之后，所述装置，还包括，模型训练模块，用于利用训练数据库中的训练数据集训练深度学习神经网络模型，以得到所述语义修复模型，包括：

构建深度学习神经网络模型；所述深度学习神经网络模型，包括主干支路网络结构和辅助支路网络结构；

将所述缺陷生成图输入所述主干支路网络结构以对多个正常图像样本进行修复输出得到第二修复结果图；以及，将所述第二修复结果图与所述多个正常图像样本拼接后输入至所述辅助支路网络结构输出得到第三修复结果图；

分别基于所述第二修复结果图和所述第三修复结果图进行损失计算，根据损失计算结果完成深度学习神经网络模型的训练以得到所述语义修复模型。

8.根据权利要求6所述的装置，其特征在于，所述分割网络模型，为沙漏结构的分割网络；所述分割定位模块，还用于：

获取所述训练数据库中多个正常图像样本的缺陷标注结果；

将所述工业产品图像与所述第一修复结果图进行图像通道上的拼接得到拼接修复图；

将所述拼接修复图输入至所述沙漏结构的分割网络中，以对拼接修复图中的缺陷区域进行图像分割得到缺陷分割结果；

对比所述缺陷分割结果与所述缺陷标注结果，根据缺陷对比结果实现最优的缺陷分割定位。

9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-4中任一所述的方法。

10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4中任一所述的方法。

Images