CN112749894A - 一种缺陷检测模型评价方法以及装置 - Google Patents
一种缺陷检测模型评价方法以及装置 Download PDFInfo
- Publication number
- CN112749894A CN112749894A CN202110034225.9A CN202110034225A CN112749894A CN 112749894 A CN112749894 A CN 112749894A CN 202110034225 A CN202110034225 A CN 202110034225A CN 112749894 A CN112749894 A CN 112749894A
- Authority
- CN
- China
- Prior art keywords
- data
- evaluated
- algorithm model
- verification
- sample data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 39
- 230000007547 defect Effects 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 142
- 238000012795 verification Methods 0.000 claims abstract description 102
- 238000012549 training Methods 0.000 claims abstract description 76
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000004590 computer program Methods 0.000 claims description 7
- 238000007689 inspection Methods 0.000 claims description 6
- 230000001629 suppression Effects 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 description 22
- 239000011159 matrix material Substances 0.000 description 11
- 238000012360 testing method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Educational Administration (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Development Economics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Entrepreneurship & Innovation (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明公开了一种缺陷检测模型评价方法以及装置，该方法包括：分别从供电公司的主网、变电站和配网获取原始样本数据，构建样本数据库；获取待评价算法模型，从样本数据库中选择训练样本数据，将训练样本数据输入待评价算法模型进行训练，获得训练后的待评价算法模型；从样本数据库中选择验证样本数据，将验证样本数据输入训练后的待评价算法模型，获得训练后的待评价算法模型的输出结果；根据验证样本数据和输出结果，获取待评价算法模型的验证指标；根据验证指标，获取待评价算法模型的评价报告。这样，可以准确检测待评价算法模型的性能。
Description
技术领域
本申请涉及检测模型技术领域，尤其涉及一种缺陷检测模型评价方法以及装置。
背景技术
随着电网信息化的推进，机器学习算法在电网中的应用越来越广泛。各类识别检测算法层出不穷，算法的性能得不到统一评价，使得机器学习算法的应用和研究不能够得到客观公正的导向。因此，现有技术中，无法对算法模型进行准确的检测。
发明内容
本申请提供了一种缺陷检测模型评价方法以及装置，以解决现有技术中，无法对算法模型进行准确的检测的技术问题。
第一方面，本发明提供了一种缺陷检测模型评价方法，包括：
分别从供电公司的主网、变电站和配网获取原始样本数据，构建样本数据库；
获取待评价算法模型，从所述样本数据库中选择训练样本数据，将所述训练样本数据输入所述待评价算法模型进行训练，获得训练后的待评价算法模型；
从所述样本数据库中选择验证样本数据，将所述验证样本数据输入所述训练后的待评价算法模型，获得所述训练后的待评价算法模型的输出结果；
根据所述验证样本数据和所述输出结果，获取所述待评价算法模型的验证指标；
根据所述验证指标，获取所述待评价算法模型的评价报告。
可选的，所述从所述样本数据库中选择训练样本数据，包括：
选择训练总体；
从所述训练总体提供的原始样本数据中选择所述训练样本数据。
可选的，所述从所述样本数据库中选择验证样本数据，包括：
获取提供训练样本的训练总体；
选择与所述提供训练样本的训练总体相同或者不同的验证总体；
从所述验证总体提供的原始样本数据中选择所述验证样本数据。
可选的，所述根据所述验证样本数据和所述输出结果，获取所述待评价算法模型的验证指标，包括：
根据所述验证样本数据获取所述输出结果中的真阳性数据、真阴性数据、假阳性数据和假阴性数据；
根据所述真阳性数据、所述真阴性数据、所述假阳性数据和所述假阴性数据，获取所述待评价算法模型的查准率。
可选的，在所述根据所述验证样本数据获取所述输出结果中的真阳性数据、真阴性数据、假阳性数据和假阴性数据的步骤之后，所述方法还包括：
根据所述真阳性数据、所述真阴性数据、所述假阳性数据和所述假阴性数据，获取所述待评价算法模型的查全率。
可选的，在所述根据所述真阳性数据、所述真阴性数据、所述假阳性数据和所述假阴性数据，获取所述待评价算法模型的查全率的步骤之后，所述方法还包括：
根据所述查准率和所述查全率，获取所述待评价算法模型的F1值。
可选的，所述验证指标包括时效性、平台依赖性、判断阈值、非极大值抑制阈值、交并比中的至少一项。
第二方面，本发明还提供了一种缺陷检测模型评价装置，包括：
第一获取模块，用于分别从供电公司的主网、变电站和配网获取原始样本数据，构建样本数据库；
第二获取模块，用于获取待评价算法模型，从所述样本数据库中选择训练样本数据，将所述训练样本数据输入所述待评价算法模型进行训练，获得训练后的待评价算法模型；
选择模块，用于从所述样本数据库中选择验证样本数据，将所述验证样本数据输入所述训练后的待评价算法模型，获得所述训练后的待评价算法模型的输出结果；
第三获取模块，用于根据所述验证样本数据和所述输出结果，获取所述待评价算法模型的验证指标；
第四获取模块，用于根据所述验证指标，获取所述待评价算法模型的评价报告。
第三方面，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行第一方面所述的缺陷检测模型评价方法。
第四方面，本发明还提供了一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行第一方面所述的缺陷检测模型评价方法。
由以上技术方案可知，本发明提供的一种缺陷检测模型评价方法以及装置，分别从供电公司的主网、变电站和配网获取原始样本数据，构建样本数据库；获取待评价算法模型，从所述样本数据库中选择训练样本数据，将所述训练样本数据输入所述待评价算法模型进行训练，获得训练后的待评价算法模型；从所述样本数据库中选择验证样本数据，将所述验证样本数据输入所述训练后的待评价算法模型，获得所述训练后的待评价算法模型的输出结果；根据所述验证样本数据和所述输出结果，获取所述待评价算法模型的验证指标；根据所述验证指标，获取所述待评价算法模型的评价报告。这样，可以分别从供电公司的主网、变电站和配网获取原始样本数据，可以有效确保样本的多样性和完整性。从样本数据库中选择训练样本数据对待评价算法模型进行训练，并从样本数据库中选择验证样本数据对训练后的待评价算法模型进行验证，可以准确检测待评价算法模型的性能。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种缺陷检测模型评价方法的流程示意图；
图2为本发明提供的另一种缺陷检测模型评价方法的流程示意图；
图3为本发明提供的一种基于透视变换的样本自动生成方法的流程示意图；
图4为本发明提供的一种缺陷检测模型评价装置的结构图；
图5为本发明提供的一种计算机设备的结构示意图。
具体实施方式
下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。
参阅图1，图1是本发明提供的一种缺陷检测模型评价方法的流程示意图。如图1所示，包括如下步骤：
步骤101、分别从供电公司的主网、变电站和配网获取原始样本数据，构建样本数据库。
在步骤101中，可以从供电公司的主网、变电站和配网获取原始样本数据，原始样本数据包括正数据(例如，没有故障的端子、线缆等等)，也包括负数据(例如，存在故障的端子、线缆等等)。由于供电公司的主网、变电站、配网采用的设备不尽相同，此外各个设备所处的环境也不相同，因此有故障的情况也各不相同。从供电公司的主网、变电站和配网获取原始样本数据，构建样本数据库，可以有效提升样本数据库的全面性。
在其他实施场景中，样本数据库中还包括后期生成的合成样本数据，例如，可通过原始样本数据进行透视变换，获取合成样本数据。
步骤102、获取待评价算法模型，从所述样本数据库中选择训练样本数据，将所述训练样本数据输入所述待评价算法模型进行训练，获得训练后的待评价算法模型。
在步骤102中，可以获取待评价算法模型，该待评价算法模型可以是缺陷判断模型，用于判断巡维人员上传的巡维图像中是否存在具有故障的设备。该待评价算法模型还可以是设备识别模型，用于识别巡维人员上传的巡维图像中是否包括目标拍摄物。从样本数据库中选择与待评价算法模型的功能相匹配的训练样本数据，例如获取包括有故障设备的图像数据以及包括无故障设备的图像数据，输入待评价算法模型进行训练。根据预设的标注判断训练是否完成，例如训练预设次数、预设时长，或者损失函数开始收敛、损失函数小于预设值等等。当训练完成后，获取训练后的待评价算法模型。
在本实施场景中，在选择训练样本数据时，选择提供训练样本数据的训练总体，例如从主网、变电站、配网中选择一个作为训练总体。还可以根据训练样本数据的其他特征选择训练总体，例如选择晴天环境下的训练样本数据作为训练总体，选择包括端子的训练样本数据作为训练总体。或者选择在某一区域采集的训练样本数据作为训练总体。从训练总体提供的原始样本数据中选择训练样本数据。
步骤103、从所述样本数据库中选择验证样本数据，将所述验证样本数据输入所述训练后的待评价算法模型，获得所述训练后的待评价算法模型的输出结果。
在步骤103中，可以从样本数据库中选择验证样本数据，将验证样本数据输入训练后的待评价算法模型，获取训练后的待评价算法模型的输出结果。验证样本数据可以是随机选择，或者是根据训练样本数据选择。例如，训练样本数据和验证样本数据均通过随机抽样的原理获取，来源于同一个训练总体。又例如训练样本数据和验证样本数据不是来自相同的训练总体，可能不满足独立同分布的原则。
步骤104、根据所述验证样本数据和所述输出结果，获取所述待评价算法模型的验证指标。
在步骤104中，可以根据验证样本数据和输出结果，获取待评价算法模型的验证指标。
步骤105、根据所述验证指标，获取所述待评价算法模型的评价报告。
在步骤105中，可以根据验证样本数据和输出结果，获取待评价算法模型的验证指标，获取验证样本数据的正确结果将正确结果与输出结果进行对比，获取验证指标。例如，可以获取验证数据和输出结果相同的概率，即待评价算法模型判断的准确率。
在本实施场景中，验证指标包括：时效性、平台依赖性、判断阈值、非极大值抑制阈值、交并比中的至少一项。具体地说，时效性是指信息仅在一定时间段内对决策具有价值的属性，可以检测待评价算法模型对于不同时期采集的验证样本数据判断的准确率，从而获取待评价算法模型的时效性。可以检测待评价算法模型在不同平台上运行时的准确率，从而获取待评价算法模型的平台依赖性。非极大值抑制(Non-Maximum Suppress ion，NMS)，顾名思义就是抑制不是极大值的元素，可以理解为局部最大搜索，特别适合目标检测问题。交并比(Intersection-over-Union，IoU)，目标检测中使用的一个概念，是产生的候选框(candidate bound)与原标记框(ground truth bound)的交叠率，即它们的交集与并集的比值，在本实施场景中，交并比可以是验证样本数据和输出结果的交并比。根据判断阈值、非极大值抑制阈值和交并比中的至少一个可以获取待评价算法模型的性能。
在本实施场景中，根据验证指标获取待评价算法模型的评价报告，可以是对待评价算法模型的性能评分，例如根据上述验证指标的实际值与预设值之间的差距，得出性能评分。也可以是通过直方图、饼状图、面积图、折线图等等多种形式表现出待评价算法模型在各个验证指标的得分情况。
由以上技术方案可知，本发明实施例提供的一种缺陷检测模型评价方法，分别从供电公司的主网、变电站和配网获取原始样本数据，构建样本数据库；获取待评价算法模型，从所述样本数据库中选择训练样本数据，将所述训练样本数据输入所述待评价算法模型进行训练，获得训练后的待评价算法模型；从所述样本数据库中选择验证样本数据，将所述验证样本数据输入所述训练后的待评价算法模型，获得所述训练后的待评价算法模型的输出结果；根据所述验证样本数据和所述输出结果，获取所述待评价算法模型的验证指标；根据所述验证指标，获取所述待评价算法模型的评价报告。这样，可以分别从供电公司的主网、变电站和配网获取原始样本数据，可以有效确保样本的多样性和完整性。从样本数据库中选择训练样本数据对待评价算法模型进行训练，并从样本数据库中选择验证样本数据对训练后的待评价算法模型进行验证，可以准确检测待评价算法模型的性能。
参阅图2，图2是本发明提供的另一种缺陷检测模型评价方法的流程示意图。如图2所示，包括如下步骤：
步骤201、分别从供电公司的主网、变电站和配网获取原始样本数据，构建样本数据库。
步骤202、获取待评价算法模型，从所述样本数据库中选择训练样本数据，将所述训练样本数据输入所述待评价算法模型进行训练，获得训练后的待评价算法模型。
步骤203、从所述样本数据库中选择验证样本数据，将所述验证样本数据输入所述训练后的待评价算法模型，获得所述训练后的待评价算法模型的输出结果。
步骤204、根据所述验证样本数据获取所述输出结果中的真阳性数据、真阴性数据、假阳性数据和假阴性数据。
在步骤204中，可以获取验证样本数据的真实结果(包括阳性结果和阴性结果)，获取待评估算法模型的输出结果(包括阳性结果和阴性结果)，将两者一一对应比较，获取真阳性数据、真阴性数据、假阳性数据和假阴性数据。具体地说，针对待评估算法模型A的验证样本数据包括样本1-10，共10个，获取验证算法数据中的验证阳性数据，已知验证算法数据中，样本1、3、5、7、9为阳性，因此可以获取样本2、4、6、8、10为阴性。在其他实施场景中，也可以获取验证算法数据中的验证阴性数据，从而获取验证阳性数据，也可以同时获取验证阳性数据和验证阴性数据。
获取输出结果中的测试阳性数据，例如样本1、2、3、6、7为阳性，则可以获取样本4、5、8、9、10为阴性。在其他实施场景中，也可以获取输出结果中的测试阴性数据，从而获取测试阳性数据，也可以同时获取测试阳性数据和测试阴性数据。根据验证阳性数据和验证阴性数据以及测试阳性数据和测试阴性数据获取假阳性数据和/或假阴性数据，假阴性数据即为该样本在验证算法数据中为阳性，在输出结果中为阴性的数据，例如样本5和9，则假阴性数据为2。假阳性数据即为该样本在验证算法数据中为阴性，在输出结果中为阳性的数据，例如样本2和4，则假阳性数据为2。根据验证阳性数据和验证阴性数据以及测试阳性数据和测试阴性数据获取真阳性数据和/或真阴性数据，真阴性数据即为该样本在验证算法数据中为阴性，在输出结果中也为阴性，例如样本4、8、10，则真阴性数据为3，真阳性数据即为该样本在验证算法数据中为阳性，在输出结果中也为阳性，例如样本1、3、7，则真阳性数据为3。
步骤205、根据所述真阳性数据、所述真阴性数据、所述假阳性数据和所述假阴性数据，获取所述待评价算法模型的查准率。
在步骤205中，Precision指被称为查准率或者是精确率，查准率(Precision)是指在所有系统判定的“真”的样本中，确实是真的的占比。可以根据以下公式计算获取：
其中，P为待评估算法模型的查准率，TP为待评估算法模型的真阳性数据，FP为待评估算法模型的假阳性数据。
根据上述公式进行计算，可以得出待评估算法模型A的P值为60％。
步骤206、根据所述真阳性数据、所述真阴性数据、所述假阳性数据和所述假阴性数据，获取所述待评价算法模型的查全率。
在步骤206中，Recall指标在中卫里常被称为查全率或者是召回率，查全率(Recall)是指在所有确实为真的样本中，被判为“真”的占比。可以根据以下公式计算获取：
其中，R为待评估算法模型的查全率，TP为待评估算法模型的真阳性数据，FN为待评估算法模型的假阴性数据。
根据上述公式进行计算，可以得出待评估算法模型A的R值为60％。
步骤207、根据所述查准率和所述查全率，获取所述待评价算法模型的F1值。
在步骤207中，F1-score是一个综合考虑precision和recall的指标。可以根据以下公式计算获取：
其中，P为待评估算法模型的查准率，R为待评估算法模型的查全率。
根据上述公式进行计算，可以得出待评估算法模型A的F1值为60％。
步骤208、根据查准率、查全率和F1值获取待评估算法模型的评估报告。
在步骤208中，可以根据获取的验证指标，例如查准率、查全率和F1值绘制雷达图，能够更直观显示不同待评估算法模型的特点，方便用户对其优势和功能进行分析，从而提升对待评估算法模型的利用效果，也避免使用没有贡献的待评估算法模型，提升了判断结果的可靠性。
由以上技术方案可知，本发明实施例提供的一种缺陷检测模型评价方法，通过查准率、查全率和F1值获取待评估算法模型的评估报告，方便用户对待评估算法模型的优势和功能进行分析，从而提升对待评估算法模型的利用效果，也避免使用没有贡献的待评估算法模型，提升了判断结果的可靠性。
请参阅图3，图3是本发明提供的一种基于透视变换的样本自动生成方法的流程示意图。如图3所示，包括以下步骤：
步骤301、获取样本对象图片，获取样本对象图片的前景图片。
在步骤301中，可以获取样本对象图片，样本对象图片可以是实际拍摄的包括目标拍摄物的巡维图片。通过图片前景分割算法(例如，Graph cut算法)获取样本对象图片的前景图片。步骤302、获取目标背景图片，在目标背景图片上随机选择至少一个像素点作为至少一个图片中心点。
在步骤302中，可以获取目标背景图片，在目标背景图片上随机选择至少一个像素点，每个像素点作为图片中心点，也就是以后将变换图片放置在目标背景图片上时，变换图片的中心点的位置。
步骤303、以每个图片中心点为中心生成矩形框，将至少一个矩形框对应的区域作为至少一个目标显示区域。
在步骤303中，可以随机获取高度值和宽度值，根据高度值和宽度值以图片中心点为中心生成矩形框。进一步地，随机确定矩形框的长边或宽边与水平线的夹角。将至少一个矩形框对应的区域作为至少一个目标显示区域。至少一个矩形框的位置关系包括平行、重叠、部分重叠、远离等等。
步骤304、获取透视变换矩阵；获取前景图片中目标像素点的初始坐标值，根据透视变换矩阵计算出初始坐标值对应的目标坐标值，从而获取变换图片。
在步骤304中，透视变换原理为
其中，透视变换矩阵warpMatric为
透视变换的初始点矩阵为
透视变换的目标点矩阵为
由于透视变换是二维空间到三维空间的转换，实际转换后的结果以二维图片的形式展现，因此将X、Y、Z都除以Z，获得X’、Y’、Z’，以表示透视变换后的变换图片上的点。具体地，请参阅下列公式：
进一步地，根据上述公式可以得出：
令a33＝1，展开上述公式，可以得出变换图片中一个点(X’，Y’)的情况：
根据上述公式可知，存在8个未知数《α11、α12、α13、α21、a22、α23、α31、a32)，获取4个点的坐标可以得到8个方程，求解8个未知数，即可解出透视变换矩阵warpMatric：
假设前景图片中的四个初始像素点的初始坐标分别为(x0,y0)、(x1,y1)、(x2,y2)、(x3,y3)，变换后的变换图片的四个初始像素点的目标坐标为(X'0,Y'0)、(X'1,Y'1)、(X'2,Y'2)、(X'3,Y'3)，则上述公式可以变为：
根据上述公式可以计算出透视变换矩阵
将前景图片中的每一像素点作为目标像素点乘以透视变换矩阵warpMatric，根据前景图片中目标像素点的初始坐标值计算出初始坐标值对应的目标坐标值从而获取变换图片。
在本实施场景中，可以选择前景图像的边缘或者顶角的像素点作为目标像素点，在其他实施场景中，还可以选择前景图像中心的像素点作为目标像素点。获取目标像素点在变化图片中的坐标，从而计算出透视变换矩阵warpMatric。
步骤305、将变换图片放置于匹配的目标显示区域，生成目标样本图片。
在步骤305中，将变换图片放置于目标显示区域，生成目标样本图片。进一步地，获取样本对象图片的标识，例如样本对象图片为绝缘子故障，为目标样本图片添加同样的标识。
通过上述描述可知，在本实施例中获取前景图片中至少四个初始像素点的初始坐标值，以及至少四个初始像素点对应的变换像素点的变换坐标值；根据初始坐标值和变换坐标值计算透视变换矩阵，将前景图片中的每一像素点均乘以透视变换矩阵warpMatric，从而获取变换图片，将变换图片放置于匹配的目标显示区域，生成目标样本图片，可以根据一个样本对象图片随机生成多个不同视角的目标样本图片，有效扩充了样本数量。
参见图4，图4是本发明提供的一种缺陷检测模型评价装置的结构图。如图4所示，缺陷检测模型评价装置400包括第一获取模块401、第二获取模块402、选择模块403、第三获取模块404和第四获取模块405，其中：
第一获取模块401，用于分别从供电公司的主网、变电站和配网获取原始样本数据，构建样本数据库；
第二获取模块402，用于获取待评价算法模型，从所述样本数据库中选择训练样本数据，将所述训练样本数据输入所述待评价算法模型进行训练，获得训练后的待评价算法模型；
选择模块403，用于从所述样本数据库中选择验证样本数据，将所述验证样本数据输入所述训练后的待评价算法模型，获得所述训练后的待评价算法模型的输出结果；
第三获取模块404，用于根据所述验证样本数据和所述输出结果，获取所述待评价算法模型的验证指标；
第四获取模块405，用于根据所述验证指标，获取所述待评价算法模型的评价报告。
缺陷检测模型评价装置400能够实现图1的方法实施例中缺陷检测模型评价装置实现的各个过程，为避免重复，这里不再赘述。且缺陷检测模型评价装置400可以实现分别从供电公司的主网、变电站和配网获取原始样本数据，可以有效确保样本的多样性和完整性。从样本数据库中选择训练样本数据对待评价算法模型进行训练，并从样本数据库中选择验证样本数据对训练后的待评价算法模型进行验证，可以准确检测待评价算法模型的性能。
请参阅图5，图5是本发明提供的一种计算机设备的结构示意图。计算机设备50包括处理器51、存储器52。处理器51耦接存储器52。存储器52中存储有计算机程序，处理器51执行上述缺陷检测模型评价方法。
本发明还提供一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述缺陷检测模型评价方法。存储介质可以是终端中的存储芯片、硬盘或者是移动硬盘或者优盘、光盘等其他可读写存储的工具，还可以是服务器等等。
本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。
Claims (10)
1.一种缺陷检测模型评价方法，其特征在于，包括：
分别从供电公司的主网、变电站和配网获取原始样本数据，构建样本数据库；
获取待评价算法模型，从所述样本数据库中选择训练样本数据，将所述训练样本数据输入所述待评价算法模型进行训练，获得训练后的待评价算法模型；
从所述样本数据库中选择验证样本数据，将所述验证样本数据输入所述训练后的待评价算法模型，获得所述训练后的待评价算法模型的输出结果；
根据所述验证样本数据和所述输出结果，获取所述待评价算法模型的验证指标；
根据所述验证指标，获取所述待评价算法模型的评价报告。
2.根据权利要求1所述的缺陷检测模型评价方法，其特征在于，所述从所述样本数据库中选择训练样本数据，包括：
选择训练总体；
从所述训练总体提供的原始样本数据中选择所述训练样本数据。
3.根据权利要求2所述的缺陷检测模型评价方法，其特征在于，所述从所述样本数据库中选择验证样本数据，包括：
获取提供训练样本的训练总体；
选择与所述提供训练样本的训练总体相同或者不同的验证总体；
从所述验证总体提供的原始样本数据中选择所述验证样本数据。
4.根据权利要求1所述的缺陷检测模型评价方法，其特征在于，所述根据所述验证样本数据和所述输出结果，获取所述待评价算法模型的验证指标，包括：
根据所述验证样本数据获取所述输出结果中的真阳性数据、真阴性数据、假阳性数据和假阴性数据；
根据所述真阳性数据、所述真阴性数据、所述假阳性数据和所述假阴性数据，获取所述待评价算法模型的查准率。
5.根据权利要求4所述的缺陷检测模型评价方法，其特征在于，在所述根据所述验证样本数据获取所述输出结果中的真阳性数据、真阴性数据、假阳性数据和假阴性数据的步骤之后，所述方法还包括：
根据所述真阳性数据、所述真阴性数据、所述假阳性数据和所述假阴性数据，获取所述待评价算法模型的查全率。
6.根据权利要求5所述的缺陷检测模型评价方法，其特征在于，在所述根据所述真阳性数据、所述真阴性数据、所述假阳性数据和所述假阴性数据，获取所述待评价算法模型的查全率的步骤之后，所述方法还包括：
根据所述查准率和所述查全率，获取所述待评价算法模型的F1值。
7.根据权利要求1所述的缺陷检测模型评价方法，其特征在于，所述验证指标包括时效性、平台依赖性、判断阈值、非极大值抑制阈值、交并比中的至少一项。
8.一种缺陷检测模型评价装置，其特征在于，包括：
第一获取模块，用于分别从供电公司的主网、变电站和配网获取原始样本数据，构建样本数据库；
第二获取模块，用于获取待评价算法模型，从所述样本数据库中选择训练样本数据，将所述训练样本数据输入所述待评价算法模型进行训练，获得训练后的待评价算法模型；
选择模块，用于从所述样本数据库中选择验证样本数据，将所述验证样本数据输入所述训练后的待评价算法模型，获得所述训练后的待评价算法模型的输出结果；
第三获取模块，用于根据所述验证样本数据和所述输出结果，获取所述待评价算法模型的验证指标；
第四获取模块，用于根据所述验证指标，获取所述待评价算法模型的评价报告。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的缺陷检测模型评价方法。
10.一种存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的缺陷检测模型评价方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110034225.9A CN112749894A (zh) | 2021-01-12 | 2021-01-12 | 一种缺陷检测模型评价方法以及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110034225.9A CN112749894A (zh) | 2021-01-12 | 2021-01-12 | 一种缺陷检测模型评价方法以及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112749894A true CN112749894A (zh) | 2021-05-04 |
Family
ID=75650788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110034225.9A Pending CN112749894A (zh) | 2021-01-12 | 2021-01-12 | 一种缺陷检测模型评价方法以及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112749894A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113326400A (zh) * | 2021-06-29 | 2021-08-31 | 合肥高维数据技术有限公司 | 基于深度伪造视频检测的模型的评价方法及系统 |
| CN113742216A (zh) * | 2021-07-26 | 2021-12-03 | 科大讯飞股份有限公司 | 一种检测机器学习引擎的效率的方法、装置和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109685526A (zh) * | 2018-12-12 | 2019-04-26 | 税友软件集团股份有限公司 | 一种企业信用等级评价方法、装置及相关设备 |
| CN110298379A (zh) * | 2019-05-23 | 2019-10-01 | 中国平安人寿保险股份有限公司 | 评估模型选择方法、装置、计算机设备及存储介质 |
| CN110807489A (zh) * | 2019-11-04 | 2020-02-18 | 北京明略软件系统有限公司 | 二分类任务评价指标的确定方法、装置及电子设备 |
| CN111402248A (zh) * | 2020-03-23 | 2020-07-10 | 华南理工大学 | 一种基于机器视觉的输电线路导线缺陷检测方法 |
| CN112200273A (zh) * | 2020-12-07 | 2021-01-08 | 长沙海信智能系统研究院有限公司 | 数据标注方法、装置、设备及计算机存储介质 |
-
2021
- 2021-01-12 CN CN202110034225.9A patent/CN112749894A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109685526A (zh) * | 2018-12-12 | 2019-04-26 | 税友软件集团股份有限公司 | 一种企业信用等级评价方法、装置及相关设备 |
| CN110298379A (zh) * | 2019-05-23 | 2019-10-01 | 中国平安人寿保险股份有限公司 | 评估模型选择方法、装置、计算机设备及存储介质 |
| CN110807489A (zh) * | 2019-11-04 | 2020-02-18 | 北京明略软件系统有限公司 | 二分类任务评价指标的确定方法、装置及电子设备 |
| CN111402248A (zh) * | 2020-03-23 | 2020-07-10 | 华南理工大学 | 一种基于机器视觉的输电线路导线缺陷检测方法 |
| CN112200273A (zh) * | 2020-12-07 | 2021-01-08 | 长沙海信智能系统研究院有限公司 | 数据标注方法、装置、设备及计算机存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 刘树春、贺盼、马建奇等: "《深度实践OCR基于深度学习的文字识别》", 北京机械工业出版社, pages: 185 - 188 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113326400A (zh) * | 2021-06-29 | 2021-08-31 | 合肥高维数据技术有限公司 | 基于深度伪造视频检测的模型的评价方法及系统 |
| CN113326400B (zh) * | 2021-06-29 | 2024-01-12 | 合肥高维数据技术有限公司 | 基于深度伪造视频检测的模型的评价方法及系统 |
| CN113742216A (zh) * | 2021-07-26 | 2021-12-03 | 科大讯飞股份有限公司 | 一种检测机器学习引擎的效率的方法、装置和存储介质 |
| CN113742216B (zh) * | 2021-07-26 | 2023-12-01 | 科大讯飞股份有限公司 | 一种检测机器学习引擎的效率的方法、装置和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110645986B (zh) | 定位方法及装置、终端、存储介质 | |
| JP2021081793A (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
| CN109508583B (zh) | 一种人群分布特征的获取方法和装置 | |
| CN112634340A (zh) | 基于点云数据确定bim模型的方法、装置、设备和介质 | |
| CN111753826B (zh) | 车辆与车牌的关联方法、装置和电子系统 | |
| CN112749894A (zh) | 一种缺陷检测模型评价方法以及装置 | |
| CN111125290B (zh) | 一种基于河长制的智能巡河方法、装置及存储介质 | |
| CN113505643B (zh) | 违章目标物检测方法及相关装置 | |
| CN109190674A (zh) | 训练数据的生成方法及装置 | |
| CN114066999A (zh) | 基于三维建模的目标定位系统及方法 | |
| CN109059949B (zh) | 最短路径的计算方法及装置 | |
| CN111444075B (zh) | 一种自动发现关键影响力指标的方法 | |
| CN108169792B (zh) | 一种地震灾情数据采集管理方法和系统 | |
| CN113822892B (zh) | 仿真雷达的评测方法、装置、设备及计算机存储介质 | |
| RU2659486C1 (ru) | Способ обработки результатов радиомониторинга | |
| CN112749746A (zh) | 一种缺陷样本迭代更新方法、系统及装置 | |
| CN112766348A (zh) | 一种基于对抗神经网络生成样本数据的方法以及装置 | |
| CN113873431A (zh) | 楼宇网络质量呈现方法和装置 | |
| Hong et al. | The use of CCTV in the emergency response: A 3D GIS perspective | |
| CN112949699B (zh) | 一种遥感图像分类模型建立与验证方法、系统及电子设备 | |
| CN118052809B (zh) | 一种考虑提示学习的零样本点云异常检测方法及系统 | |
| CN113642565B (zh) | 对象检测方法、装置、设备及计算机可读存储介质 | |
| CN112801189B (zh) | 经纬度异常检测方法、装置、电子设备和存储介质 | |
| CN116740385B (zh) | 一种设备质检方法、装置和系统 | |
| CN117197730B (zh) | 一种城市空间畸变图像的修复评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |