CN114638294A - 一种数据增强方法、装置、终端设备及存储介质 - Google Patents
一种数据增强方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN114638294A CN114638294A CN202210237047.4A CN202210237047A CN114638294A CN 114638294 A CN114638294 A CN 114638294A CN 202210237047 A CN202210237047 A CN 202210237047A CN 114638294 A CN114638294 A CN 114638294A
- Authority
- CN
- China
- Prior art keywords
- defect
- picture
- target
- sample
- pictures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000007547 defect Effects 0.000 claims abstract description 406
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000004590 computer program Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 5
- 230000002950 deficient Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 241001292396 Cirrhitidae Species 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Processing (AREA)
Abstract
本申请适用于工业视觉技术领域，提供了一种数据增强方法、装置、终端设备及存储介质。本申请实施例中获取缺陷样本图片，根据上述缺陷样本图片中的缺陷区域生成缺陷图片，并将上述缺陷图片存储于预设的缺陷样本集中；若上述缺陷样本集中的缺陷图片满足预设条件，则将上述缺陷样本集中的缺陷图片随机覆盖到预设数量的正常样本图片上，得到预设数量的目标样本图片；根据上述缺陷样本图片、上述预设数量的正常样本图片和上述预设数量的目标样本图片对预设的模型进行训练，从而提高了模型识别结果的准确率。
Description
技术领域
本申请属于工业视觉技术领域，尤其涉及一种数据增强方法、装置、终端设备及存储介质。
背景技术
在工业界，深度学习作为一种学习型的算法，越来越受到人们的重视，其具有一定的推理和泛化能力，可以通过合格产品和不合格产品的产品图片对深度学习模型进行训练，促使模型可以对工业中的产品图片进行分类检测，以判断产品是否合格。
但在实际环境中，合格产品对应的正常样本图片的数量远远多于不合格产品的缺陷样本图片，利用上述数据对深度学习模型进行训练的话，会由于样本图片的丰富度不高而导致模型识别结果的准确率较低。
发明内容
本申请实施例提供了一种数据增强方法、装置、终端设备及存储介质，可以解决模型识别结果的准确率较低的问题。
第一方面，本申请实施例提供了一种数据增强方法，包括：
获取缺陷样本图片，根据上述缺陷样本图片中的缺陷区域生成缺陷图片，并将上述缺陷图片存储于预设的缺陷样本集中；
若上述缺陷样本集中的缺陷图片满足预设条件，则将上述缺陷样本集中的缺陷图片随机覆盖到预设数量的正常样本图片上，得到预设数量的目标样本图片；
根据上述缺陷样本图片、上述预设数量的正常样本图片和上述预设数量的目标样本图片对预设的模型进行训练。
在一个实施例中，在将上述缺陷图片存储于预设的缺陷样本集中之后，还包括：
若上述缺陷样本集中的缺陷图片不满足预设条件，则返回执行获取缺陷样本图片，直至上述缺陷样本集中的缺陷图片满足预设条件。
在一个实施例中，上述根据上述缺陷样本图片中的缺陷区域生成对应的缺陷图片，包括：
确定上述缺陷样本集中缺陷图片的目标缺陷类型；
根据上述目标缺陷类型从上述缺陷区域中确定目标区域，上述目标区域的缺陷类型与上述目标缺陷类型不同；
根据上述目标区域生成上述缺陷图片。
在一个实施例中，上述确定上述缺陷样本集中缺陷图片的目标缺陷类型，包括：
获取上述缺陷样本集中缺陷图片的缺陷形状；
根据上述缺陷形状确定上述缺陷图片的目标缺陷类型。
在一个实施例中，上述根据上述目标区域生成上述缺陷图片，包括：
对上述目标区域做最小外接矩形处理，得到矩形区域；
将边界区域的像素设为零，上述边界区域为上述矩形区域内除上述目标区域之外的区域；
根据上述矩形区域的各个像素生成上述缺陷图片。
在一个实施例中，上述将上述缺陷样本集中的缺陷图片随机覆盖到预设数量的正常样本图片上，包括：
从上述缺陷样本集中随机选取目标缺陷图片；
将上述目标缺陷图片以预设方式进行旋转，得到旋转后的目标缺陷图片；
从上述正常样本图片上随机选取目标位置，将上述旋转后的目标缺陷图片覆盖到上述目标位置上。
在一个实施例中，上述将上述目标缺陷图片以预设方式进行旋转，得到旋转后的目标缺陷图片，包括：
确定上述预设方式中的旋转角度和旋转方向；
根据上述旋转角度和旋转方向对上述目标缺陷图片中各个像素进行位置映射，得到旋转后的目标缺陷图片。
第二方面，本申请实施例提供了一种数据增强装置，包括：
图片生成模块，用于获取缺陷样本图片，根据上述缺陷样本图片中的缺陷区域生成缺陷图片，并将上述缺陷图片存储于预设的缺陷样本集中；
图片覆盖模块，用于若上述缺陷样本集中的缺陷图片满足预设条件，则将上述缺陷样本集中的缺陷图片随机覆盖到预设数量的正常样本图片上，得到预设数量的目标样本图片；
训练模块，用于根据上述缺陷样本图片、上述预设数量的正常样本图片和上述预设数量的目标样本图片对预设的模型进行训练。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现上述任一种数据增强方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述的计算机程序被处理器执行时实现上述任一种数据增强方法的步骤。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一种数据增强方法。
本申请实施例中获取缺陷样本图片，再根据上述缺陷样本图片中的缺陷区域生成缺陷图片，即只包含缺陷的缺陷图片，并将上述缺陷图片存储于预设的缺陷样本集中。若上述缺陷样本集中的缺陷图片满足预设条件，则将上述缺陷样本集中的缺陷图片随机覆盖到预设数量的正常样本图片上，得到预设数量的目标样本图片，即得到一定数量的不合格产品可能存在的缺陷图片，最后根据上述缺陷样本图片、上述预设数量的正常样本图片和上述预设数量的目标样本图片对预设的模型进行训练，从而通过缺陷图片对正常样本图片覆盖，得到不合格产品可能存在的缺陷图片，对样本进行了数据增强，提高了样本的丰富度，进而提高了模型识别结果的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的数据增强方法的第一种流程示意图；
图2是本申请实施例提供的缺陷样本图片；
图3是本申请实施例提供的缺陷图片；
图4是本申请实施例提供的正常样本图片；
图5是本申请实施例提供的目标样本图片；
图6是本申请实施例提供的数据增强装置的结构示意图；
图7是本申请实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
图1所示为本申请实施例中一种数据增强方法的流程示意图，该方法的执行主体可以是终端设备，如图1所示，上述数据增强方法可以包括如下步骤：
步骤S101、获取缺陷样本图片，根据上述缺陷样本图片中的缺陷区域生成缺陷图片，并将上述缺陷图片存储于预设的缺陷样本集中。
在本实施例中，终端设备可以获取用于训练模型的样本图片，并从中选取出存在缺陷的样本图片，该存在缺陷的样本图片即为上述缺陷样本图片，如图2所示，图2中存在“月牙形”的缺陷。终端设备可以通过可视化软件在获取的缺陷样本图片中识别出图片中存在缺陷的区域，即上述缺陷区域，再以预设方式根据该缺陷区域生成缺陷图片，该缺陷图片中只存在缺陷，如图3所示，从而便于后期基于该缺陷图片进行数据增强。终端设备可以将上述生成的缺陷图片存储于预设的缺陷样本集中，以便于后期提取缺陷图片。
具体地，终端设备可以利用Halcon读取缺陷样本图片，并在QT的QLabel控件中进行显示，并可进一步将缺陷样本图片进行放大或缩小，从而将缺陷样本图片的缺陷区域放大，直至该缺陷区域的像素清晰度符合预设清晰度阈值，该清晰度阈值为像素清晰可辨时对应的阈值，通过将缺陷样本图片放大来提高缺陷图片获取的精度。终端设备在获取缺陷图片后还可以根据缺陷图片的生成时间对缺陷图片命名。
在一个实施例中，上述步骤S101中可以包括：终端设备可以利用Halcon中用于画区域的算子来从缺陷区域中划分出目标区域，该目标区域包括全部或部分缺陷区域，从而将目标区域生成缺陷图片，其中，上述划分目标区域可以是用户下达控制指令，促使终端设备基于该控制指令从缺陷区域中以圈、抠、切、割等方式划分出目标区域。上述划分目标区域还可以是终端设备以预设随机算法随机从在缺陷区域中以位置、形状、角度、面积等信息对目标区域进行划分，从而提高了缺陷图片的丰富度。
在一个实施例中，为了在满足缺陷图片的丰富度的同时提高缺陷图片的确定效率，上述步骤S101中可以包括：终端设备确定上述缺陷样本集中缺陷图片的目标缺陷类型，该缺陷样本集中不同的缺陷图片对应不同的目标缺陷类型。终端设备再根据上述目标缺陷类型从上述缺陷区域中确定目标区域，即上述目标区域的缺陷类型与上述目标缺陷类型不同，也就是根据缺陷样本集中已存在的目标缺陷类型确定出缺陷样本集中不存在的缺陷类型，从而基于该不存在的缺陷类型确定出对应的目标区域，最后根据上述目标区域生成上述缺陷图片。
可以理解的是，由于生成缺陷图片的目标区域可以是缺陷区域中的一部分，所以上述步骤S101中终端设备所获取的缺陷样本图片可以是已生成过缺陷图片的缺陷样本图片，也可以是终端设备重新获取的未生成过缺陷图片的缺陷样本图片。若是已生成过缺陷图片的缺陷样本图片，则可以通过不同的位置、形状、角度、面积等信息从缺陷样本图片中确定不同的目标区域，从而生成不同缺陷类型的缺陷图片，可以提高缺陷图片的丰富度，并且致使缺陷图片的针对性更强。
在一个实施例中，上述根据目标缺陷类型确定出缺陷样本集中不存在的缺陷类型可以包括：获取该产品可能出现缺陷对应的各个缺陷类型，再与目标缺陷类型对比，从而确定出缺陷样本集中不存在的缺陷类型。
在一个实施例中，上述确定上述缺陷样本集中缺陷图片的目标缺陷类型可以包括：终端设备获取上述缺陷样本集中缺陷图片的缺陷形状，从而根据上述缺陷形状确定上述缺陷图片的目标缺陷类型，即缺陷样本集中的缺陷图片的缺陷形状各不相同。
在一个实施例中，上述根据上述目标区域生成上述缺陷图片可以包括：终端设备对上述目标区域做最小外接矩形处理，从而得到矩形区域，再将上述矩形区域内除上述目标区域之外的区域确定为矩形区域内的边界区域，即该边界区域是不存在缺陷的部分，对该边界区域进行处理，例如将边界区域内的像素设为零，从而根据上述矩形区域的各个像素生成上述缺陷图片。
具体地，终端设备可以利用Halcon算子对上述目标区域做最小外接矩形，并提取最小外接矩形中的所有像素值，目标区域的像素维持不变，将边界区域的像素设为零，从而依据矩形区域的各个像素生成一张图片。
在一个实施例中，在步骤S101之后还可以包括：若上述缺陷样本集中的缺陷图片不满足预设条件，说明当前用于数据增强的缺陷图片的丰富程度不符合要求，则返回执行获取缺陷样本图片，该缺陷样本图片可以是上一次已生成过缺陷图片的缺陷样本图片，也可以是未生成过缺陷图片的缺陷样本图片，直至上述缺陷样本集中的缺陷图片满足预设条件。其中，上述预设条件可以根据用户需求进行设定，例如，将条件设为缺陷图片对应的缺陷类型的数量，当缺陷样本集中不同的缺陷类型的数量满足预设阈值，则说明其满足条件。可以理解的是，若基于已生成过缺陷图片的缺陷样本图片不能再得到与样本样本集中的目标缺陷类型不同的缺陷图片，则再次获取的缺陷样本图片为未生成过缺陷图片的缺陷样本图片。
示例性地，设定当前用于训练模型的样本图片中存在10张缺陷样本图片和1000张正常样本图片，且上述步骤S101中终端设备所获取的缺陷样本图片是终端设备重新获取的未生成过缺陷图片的缺陷样本图片，上述条件为缺陷样本集中不同的缺陷类型的数量为10，所以一张缺陷样本图片可以对应生成一张缺陷图片，根据上述10张缺陷样本图片可生成10张不同缺陷类型的缺陷图片，并将10张缺陷图片存储于缺陷样本集中。
步骤S102、若上述缺陷样本集中的缺陷图片满足预设条件，则将上述缺陷样本集中的缺陷图片随机覆盖到预设数量的正常样本图片上，得到预设数量的目标样本图片。
在本实施例中，若上述缺陷样本集中的缺陷图片满足预设条件，说明当前用于数据增强的缺陷图片的丰富程度已经符合要求，则终端设备可以利用缺陷样本集中的缺陷图片进行数据增强，即将上述缺陷样本集中的缺陷图片随机覆盖到正常样本图片上，该正常样本图片为不存在缺陷的图片，如图4所示，从而通过缺陷覆盖得到对应的目标样本图片，如图5所示，通过改变缺陷的缺陷类型和改变缺陷所处的背景产生目标样本图片，增加了缺陷样本的种类。
在一个实施例中，上述步骤S102可以包括：终端设备通过随机算法从上述缺陷样本集中随机选取目标缺陷图片，并将上述目标缺陷图片以预设方式进行旋转，得到旋转后的目标缺陷图片，再从上述正常样本图片上随机选取目标位置，将上述旋转后的目标缺陷图片覆盖到上述目标位置上。
可以理解的是，若上述目标位置与正常样本图片的边界之间的距离小于预设距离，则根据旋转后的目标缺陷图片的尺寸和所述目标点判断上述旋转后的目标缺陷图片覆盖到正常样本图片上时是否会超出边界，若不超出边界，则可直接将旋转后的目标缺陷图片覆盖到上述目标位置上；若超过边界，则根据目标缺陷图片的尺寸对目标位置进行修改，从而避免目标缺陷图片覆盖到正常样本图片上时超出边界。
在一个实施例中，上述将上述目标缺陷图片以预设方式进行旋转，得到旋转后的目标缺陷图片可以包括：终端设备可以确定上述预设方式中的旋转角度和旋转方向，该旋转角度和旋转方向可以是随机生成的，从而根据上述旋转角度和旋转方向对上述目标缺陷图片中各个像素进行位置映射，得到旋转后的目标缺陷图片。其中，终端设备可以利用opencv算法根据上述旋转角度和旋转方向对上述目标缺陷图片中各个像素进行位置映射，从而避免了生成的目标样本图片出现黑边现象。
示例性地，基于上述示例，终端设备首先随机从存在10张缺陷图片的缺陷样本集中选取一张目标缺陷图片，再确定旋转后的目标缺陷图片，从正常样本图片中随机选取一个坐标点，即上述目标位置，将旋转后的目标缺陷图片覆盖到正常样本图片中的坐标点上，从而得到目标样本图片，在生成该目标样本图片的同时，通过循环算法对1000张正常样本图片中的其他正常样本图片以上述方式进行缺陷图片的覆盖，从而一共得到1000张目标样本图片。
步骤S103、根据上述缺陷样本图片、上述预设数量的正常样本图片和上述预设数量的目标样本图片对预设的模型进行训练。
在本实施例中，在缺陷样本图片较少的情况下，终端设备通过数据增强得到了预设数量的正常样本图片，并基于该预设数量的正常样本图片对模型进行训练，即通过数据增强后的训练数据对模型进行训练，训练出一个鲁棒性较强的神经网络模型，提高了在工业领域上利用模型进行识别时的识别结果的准确率，而且在降低漏检率的同时避免了过检率出现大幅度增长。
可以理解的是，若上述模型适用于在工业中对产品图片进行分类检测，从而判定产品是NG还是OK，则可利用缺陷样本图片、预设数量的正常样本图片和预设数量的目标样本图片对模型进行训练，以实现模型可以准确对待识别图片进行分类检测，该待识别图片为产品图片。
示例性地，基于上述示例，终端设备可以将10张缺陷样本图片、1000张正常样本图片和1000张目标样本图片送入Resnet18网络模型进行训练，训练出模型A，该模型A即可满足对产品图片进行分类检测的准确度需求，例如利用模型A对1000张OK图和150张NG图进行分类，可以得到漏检率为1.3％，以及过检率为0。此外，为形成对比，以判断通过上述方法训练出的模型是否满足需求，终端设备还可利用上述缺陷样本图片和正常样本图片训练出的模型进行对比，即根据10张缺陷样本图片、1000张正常样本图片对模型进行训练，训练出模型B，利用模型B对1000张OK图和150张NG图进行分类，可以得到漏检率为100％，以及过检率为0，从而通过实验证明通过上述数据增强方法对模型进行训练后，可以使模型的漏检率从100％降低为1.3％，漏检率出现飞跃式降低，极大地提高了模型的适用效果。
本申请实施例中获取缺陷样本图片，再根据上述缺陷样本图片中的缺陷区域生成缺陷图片，即只包含缺陷的缺陷图片，并将上述缺陷图片存储于预设的缺陷样本集中。若上述缺陷样本集中的缺陷图片满足预设条件，则将上述缺陷样本集中的缺陷图片随机覆盖到预设数量的正常样本图片上，得到预设数量的目标样本图片，即得到一定数量的不合格产品可能存在的缺陷图片，最后根据上述缺陷样本图片、上述预设数量的正常样本图片和上述预设数量的目标样本图片对预设的模型进行训练，从而通过缺陷图片对正常样本图片覆盖，得到不合格产品可能存在的缺陷图片，对样本进行了数据增强，提高了样本的丰富度，进而提高了模型识别结果的准确率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文所述的一种数据增强方法，图6所示为本申请实施例中一种数据增强装置的结构示意图，如图6所示，上述数据增强装置可以包括：
图片生成模块601，用于获取缺陷样本图片，根据上述缺陷样本图片中的缺陷区域生成缺陷图片，并将上述缺陷图片存储于预设的缺陷样本集中。
图片覆盖模块602，用于若上述缺陷样本集中的缺陷图片满足预设条件，则将上述缺陷样本集中的缺陷图片随机覆盖到预设数量的正常样本图片上，得到预设数量的目标样本图片。
训练模块603，用于根据上述缺陷样本图片、上述预设数量的正常样本图片和上述预设数量的目标样本图片对预设的模型进行训练。
在一个实施例中，上述数据增强装置还可以包括：
执行模块，用于若上述缺陷样本集中的缺陷图片不满足预设条件，则返回执行获取缺陷样本图片，直至上述缺陷样本集中的缺陷图片满足预设条件。
在一个实施例中，上述图片生成模块601可以包括：
类型确定单元，用于确定上述缺陷样本集中缺陷图片的目标缺陷类型。
区域确定单元，用于根据上述目标缺陷类型从上述缺陷区域中确定目标区域，上述目标区域的缺陷类型与上述目标缺陷类型不同。
图片生成单元，用于根据上述目标区域生成上述缺陷图片。
在一个实施例中，上述类型确定单元可以包括：
形状获取子单元，用于获取上述缺陷样本集中缺陷图片的缺陷形状。
类型确定子单元，用于根据上述缺陷形状确定上述缺陷图片的目标缺陷类型。
在一个实施例中，上述图片生成单元可以包括：
区域处理子单元，用于对上述目标区域做最小外接矩形处理，得到矩形区域。
像素设置子单元，用于将边界区域的像素设为零，上述边界区域为上述矩形区域内除上述目标区域之外的区域。
图片生成子单元，用于根据上述矩形区域的各个像素生成上述缺陷图片。
在一个实施例中，上述图片覆盖模块602可以包括：
图片选取单元，用于从上述缺陷样本集中随机选取目标缺陷图片。
图片旋转单元，用于将上述目标缺陷图片以预设方式进行旋转，得到旋转后的目标缺陷图片。
图片覆盖单元，用于从上述正常样本图片上随机选取目标位置，将上述旋转后的目标缺陷图片覆盖到上述目标位置上。
在一个实施例中，上述图片旋转单元可以包括：
信息确定子单元，用于确定上述预设方式中的旋转角度和旋转方向。
位置映射子单元，用于根据上述旋转角度和旋转方向对上述目标缺陷图片中各个像素进行位置映射，得到旋转后的目标缺陷图片。
本申请实施例中获取缺陷样本图片，再根据上述缺陷样本图片中的缺陷区域生成缺陷图片，即只包含缺陷的缺陷图片，并将上述缺陷图片存储于预设的缺陷样本集中。若上述缺陷样本集中的缺陷图片满足预设条件，则将上述缺陷样本集中的缺陷图片随机覆盖到预设数量的正常样本图片上，得到预设数量的目标样本图片，即得到一定数量的不合格产品可能存在的缺陷图片，最后根据上述缺陷样本图片、上述预设数量的正常样本图片和上述预设数量的目标样本图片对预设的模型进行训练，从而通过缺陷图片对正常样本图片覆盖，得到不合格产品可能存在的缺陷图片，对样本进行了数据增强，提高了样本的丰富度，进而提高了模型识别结果的准确率。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述系统实施例以及方法实施例中的对应过程，在此不再赘述。
图7为本申请实施例提供的终端设备的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分。
如图7所示，该实施例的终端设备7包括：至少一个处理器700(图7中仅示出一个)，与上述处理器700连接的存储器701，以及存储在上述存储器701中并可在上述至少一个处理器700上运行的计算机程序702，例如数据增强程序。上述处理器700执行上述计算机程序702时实现上述各个数据增强方法实施例中的步骤，例如图1所示的步骤S101至S103。或者，上述处理器700执行上述计算机程序702时实现上述各装置实施例中各模块的功能，例如图6所示模块601至603的功能。
示例性的，上述计算机程序702可以被分割成一个或多个模块，上述一个或者多个模块被存储在上述存储器701中，并由上述处理器700执行，以完成本申请。上述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述上述计算机程序702在上述终端设备7中的执行过程。例如，上述计算机程序702可以被分割成图片生成模块601、图片覆盖模块602、训练模块603，各模块具体功能如下：
图片生成模块601，用于获取缺陷样本图片，根据上述缺陷样本图片中的缺陷区域生成缺陷图片，并将上述缺陷图片存储于预设的缺陷样本集中；
图片覆盖模块602，用于若上述缺陷样本集中的缺陷图片满足预设条件，则将上述缺陷样本集中的缺陷图片随机覆盖到预设数量的正常样本图片上，得到预设数量的目标样本图片；
训练模块603，用于根据上述缺陷样本图片、上述预设数量的正常样本图片和上述预设数量的目标样本图片对预设的模型进行训练。
上述终端设备7可包括，但不仅限于，处理器700、存储器701。本领域技术人员可以理解，图7仅仅是终端设备7的举例，并不构成对终端设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备、总线等。
所称处理器700可以是中央处理单元(Central Processing Unit，CPU)，该处理器700还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
上述存储器701在一些实施例中可以是上述终端设备7的内部存储单元，例如终端设备7的硬盘或内存。上述存储器701在另一些实施例中也可以是上述终端设备7的外部存储设备，例如上述终端设备7上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，上述存储器701还可以既包括上述终端设备7的内部存储单元也包括外部存储设备。上述存储器701用于存储操作系统、应用程序、引导装载程序(Boot Loader)、数据以及其他程序等，例如上述计算机程序的程序代码等。上述存储器701还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种数据增强方法，其特征在于，包括：
获取缺陷样本图片，根据所述缺陷样本图片中的缺陷区域生成缺陷图片，并将所述缺陷图片存储于预设的缺陷样本集中；
若所述缺陷样本集中的缺陷图片满足预设条件，则将所述缺陷样本集中的缺陷图片随机覆盖到预设数量的正常样本图片上，得到预设数量的目标样本图片；
根据所述缺陷样本图片、所述预设数量的正常样本图片和所述预设数量的目标样本图片对预设的模型进行训练。
2.如权利要求1所述的数据增强方法，其特征在于，在将所述缺陷图片存储于预设的缺陷样本集中之后，还包括：
若所述缺陷样本集中的缺陷图片不满足预设条件，则返回执行获取缺陷样本图片，直至所述缺陷样本集中的缺陷图片满足预设条件。
3.如权利要求1所述的数据增强方法，其特征在于，所述根据所述缺陷样本图片中的缺陷区域生成对应的缺陷图片，包括：
确定所述缺陷样本集中缺陷图片的目标缺陷类型；
根据所述目标缺陷类型从所述缺陷区域中确定目标区域，所述目标区域的缺陷类型与所述目标缺陷类型不同；
根据所述目标区域生成所述缺陷图片。
4.如权利要求3所述的数据增强方法，其特征在于，所述确定所述缺陷样本集中缺陷图片的目标缺陷类型，包括：
获取所述缺陷样本集中缺陷图片的缺陷形状；
根据所述缺陷形状确定所述缺陷图片的目标缺陷类型。
5.如权利要求3所述的数据增强方法，其特征在于，所述根据所述目标区域生成所述缺陷图片，包括：
对所述目标区域做最小外接矩形处理，得到矩形区域；
将边界区域的像素设为零，所述边界区域为所述矩形区域内除所述目标区域之外的区域；
根据所述矩形区域的各个像素生成所述缺陷图片。
6.如权利要求1至5任一项所述的数据增强方法，其特征在于，所述将所述缺陷样本集中的缺陷图片随机覆盖到预设数量的正常样本图片上，包括：
从所述缺陷样本集中随机选取目标缺陷图片；
将所述目标缺陷图片以预设方式进行旋转，得到旋转后的目标缺陷图片；
从所述正常样本图片上随机选取目标位置，将所述旋转后的目标缺陷图片覆盖到所述目标位置上。
7.如权利要求6所述的数据增强方法，其特征在于，所述将所述目标缺陷图片以预设方式进行旋转，得到旋转后的目标缺陷图片，包括：
确定所述预设方式中的旋转角度和旋转方向；
根据所述旋转角度和旋转方向对所述目标缺陷图片中各个像素进行位置映射，得到旋转后的目标缺陷图片。
8.一种数据增强装置，其特征在于，包括：
图片生成模块，用于获取缺陷样本图片，根据所述缺陷样本图片中的缺陷区域生成缺陷图片，并将所述缺陷图片存储于预设的缺陷样本集中；
图片覆盖模块，用于若所述缺陷样本集中的缺陷图片满足预设条件，则将所述缺陷样本集中的缺陷图片随机覆盖到预设数量的正常样本图片上，得到预设数量的目标样本图片；
训练模块，用于根据所述缺陷样本图片、所述预设数量的正常样本图片和所述预设数量的目标样本图片对预设的模型进行训练。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的一种数据增强方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的一种数据增强方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210237047.4A CN114638294A (zh) | 2022-03-10 | 2022-03-10 | 一种数据增强方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210237047.4A CN114638294A (zh) | 2022-03-10 | 2022-03-10 | 一种数据增强方法、装置、终端设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114638294A true CN114638294A (zh) | 2022-06-17 |
Family
ID=81948279
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210237047.4A Pending CN114638294A (zh) | 2022-03-10 | 2022-03-10 | 一种数据增强方法、装置、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114638294A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115330803A (zh) * | 2022-10-17 | 2022-11-11 | 菲特（天津）检测技术有限公司 | 一种表面缺陷数据增强方法、装置、电子设备及存储介质 |
| CN115346109A (zh) * | 2022-08-02 | 2022-11-15 | 北京新岳纵横科技有限公司 | 一种基于iou策略的增强样本生成方法 |
| CN115908402A (zh) * | 2022-12-30 | 2023-04-04 | 胜科纳米(苏州)股份有限公司 | 一种缺陷分析方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110807359A (zh) * | 2019-09-19 | 2020-02-18 | 江苏濠汉信息技术有限公司 | 基于部署在无人机中模型的杆塔缺陷巡检的方法 |
| WO2020042741A1 (zh) * | 2018-08-27 | 2020-03-05 | 北京百度网讯科技有限公司 | 电池检测方法及装置 |
| CN111047576A (zh) * | 2019-12-12 | 2020-04-21 | 珠海博明视觉科技有限公司 | 一种表面缺陷样本生成工具 |
| CN112446429A (zh) * | 2020-11-27 | 2021-03-05 | 广东电网有限责任公司肇庆供电局 | 一种基于cgan的巡检图像数据小样本扩充方法 |
| CN112906769A (zh) * | 2021-02-04 | 2021-06-04 | 国网河南省电力公司电力科学研究院 | 一种基于CycleGAN的输变电设备图像缺陷样本增广方法 |
| CN114065874A (zh) * | 2021-11-30 | 2022-02-18 | 河北省科学院应用数学研究所 | 医药玻璃瓶外观缺陷检测模型训练方法、装置及终端设备 |
-
2022
- 2022-03-10 CN CN202210237047.4A patent/CN114638294A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020042741A1 (zh) * | 2018-08-27 | 2020-03-05 | 北京百度网讯科技有限公司 | 电池检测方法及装置 |
| CN110807359A (zh) * | 2019-09-19 | 2020-02-18 | 江苏濠汉信息技术有限公司 | 基于部署在无人机中模型的杆塔缺陷巡检的方法 |
| CN111047576A (zh) * | 2019-12-12 | 2020-04-21 | 珠海博明视觉科技有限公司 | 一种表面缺陷样本生成工具 |
| CN112446429A (zh) * | 2020-11-27 | 2021-03-05 | 广东电网有限责任公司肇庆供电局 | 一种基于cgan的巡检图像数据小样本扩充方法 |
| CN112906769A (zh) * | 2021-02-04 | 2021-06-04 | 国网河南省电力公司电力科学研究院 | 一种基于CycleGAN的输变电设备图像缺陷样本增广方法 |
| CN114065874A (zh) * | 2021-11-30 | 2022-02-18 | 河北省科学院应用数学研究所 | 医药玻璃瓶外观缺陷检测模型训练方法、装置及终端设备 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115346109A (zh) * | 2022-08-02 | 2022-11-15 | 北京新岳纵横科技有限公司 | 一种基于iou策略的增强样本生成方法 |
| CN115330803A (zh) * | 2022-10-17 | 2022-11-11 | 菲特（天津）检测技术有限公司 | 一种表面缺陷数据增强方法、装置、电子设备及存储介质 |
| CN115330803B (zh) * | 2022-10-17 | 2023-01-24 | 菲特（天津）检测技术有限公司 | 一种表面缺陷数据增强方法、装置、电子设备及存储介质 |
| CN115908402A (zh) * | 2022-12-30 | 2023-04-04 | 胜科纳米(苏州)股份有限公司 | 一种缺陷分析方法、装置、电子设备及存储介质 |
| CN115908402B (zh) * | 2022-12-30 | 2023-10-03 | 胜科纳米(苏州)股份有限公司 | 一种缺陷分析方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110060237B (zh) | 一种故障检测方法、装置、设备及系统 | |
| CN108875723B (zh) | 对象检测方法、装置和系统及存储介质 | |
| CN114638294A (zh) | 一种数据增强方法、装置、终端设备及存储介质 | |
| CN109886928B (zh) | 一种目标细胞标记方法、装置、存储介质及终端设备 | |
| CN109840883B (zh) | 一种训练物体识别神经网络的方法、装置及计算设备 | |
| CN108090486B (zh) | 一种台球比赛中的图像处理方法及装置 | |
| US20230214989A1 (en) | Defect detection method, electronic device and readable storage medium | |
| CN110570442A (zh) | 一种复杂背景下轮廓检测方法、终端设备及存储介质 | |
| CN111290684B (zh) | 图像显示方法、图像显示装置及终端设备 | |
| CN112634201A (zh) | 目标检测方法、装置和电子设备 | |
| CN112396050B (zh) | 图像的处理方法、设备以及存储介质 | |
| CN113609984A (zh) | 一种指针式仪表读数识别方法、装置及电子设备 | |
| CN112634235A (zh) | 产品图像的边界检测方法和电子设备 | |
| CN112559341A (zh) | 一种画面测试方法、装置、设备及存储介质 | |
| CN111680704A (zh) | 海洋红线新增人类活动斑块自动化快速提取方法和装置 | |
| CN113269752A (zh) | 一种图像检测方法、装置终端设备及存储介质 | |
| CN110110697B (zh) | 基于方向矫正的多指纹分割提取方法、系统、设备及介质 | |
| CN112419207A (zh) | 一种图像矫正方法及装置、系统 | |
| CN115829929A (zh) | 产品表面图像的缺陷检测方法、装置、设备及存储介质 | |
| CN116249015A (zh) | 摄像头遮挡检测方法、装置、摄像头设备及存储介质 | |
| CN109389628B (zh) | 图像配准方法、设备和存储介质 | |
| CN114821274A (zh) | 一种用于识别分合指示牌的状态的方法和设备 | |
| CN114359048A (zh) | 图像的数据增强方法、装置、终端设备及存储介质 | |
| CN114677319A (zh) | 干细胞分布确定方法、装置、电子设备及存储介质 | |
| CN108629219B (zh) | 一种识别一维码的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220617 |