CN113419951B - 人工智能模型优化方法、装置、电子设备及存储介质 - Google Patents
人工智能模型优化方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113419951B CN113419951B CN202110694382.2A CN202110694382A CN113419951B CN 113419951 B CN113419951 B CN 113419951B CN 202110694382 A CN202110694382 A CN 202110694382A CN 113419951 B CN113419951 B CN 113419951B
- Authority
- CN
- China
- Prior art keywords
- data
- test
- model
- processing model
- network component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000005457 optimization Methods 0.000 title claims abstract description 38
- 238000003860 storage Methods 0.000 title claims description 16
- 238000012545 processing Methods 0.000 claims abstract description 204
- 238000012360 testing method Methods 0.000 claims abstract description 164
- 238000002955 isolation Methods 0.000 claims abstract description 60
- 238000005070 sampling Methods 0.000 claims abstract description 36
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 10
- 230000002776 aggregation Effects 0.000 claims description 18
- 238000004220 aggregation Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 18
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 238000007726 management method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 241000219109 Citrullus Species 0.000 description 3
- 235000012828 Citrullus lanatus var citroides Nutrition 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 244000157072 Hylocereus undatus Species 0.000 description 1
- 235000018481 Hylocereus undatus Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012559 user support system Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Prevention of errors by analysis, debugging or testing of software
- G06F11/3668—Testing of software
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Prevention of errors by analysis, debugging or testing of software
- G06F11/362—Debugging of software
- G06F11/3628—Debugging of software of optimised code
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Prevention of errors by analysis, debugging or testing of software
- G06F11/3668—Testing of software
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Prevention of errors by analysis, debugging or testing of software
- G06F11/3668—Testing of software
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及人工智能技术，揭露了一种人工智能模型优化方法，包括：构建数据处理模型的隔离网络，在隔离网络中构建数据处理模型的网络组件的镜像服务；提取预先获取的处理数据的数据特征，按照数据特征对处理数据进行分类，得到测试样本；对测试样本进行数据采样，得到测试数据；利用测试数据对镜像服务进行测试；对测试结果中的错误结果对应的测试数据进行扩充，利用扩充后的测试数据对镜像服务进行训练,并利用训练后的镜像服务对数据处理模型的网络组件进行替换。此外，本发明还涉及区块链技术，产品画像及用户画像可存储于区块链的节点。本发明还提出一种人工智能模型优化装置、设备及介质。本发明可以提高人工智能模型优化的精确度。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种人工智能模型优化方法、装置、电子设备及计算机可读存储介质。
背景技术
随着AI应用程序的日益普及和它本身所使用技术的复杂性，人工智能模型应用的质量保障重要性越来越突出，因此，对于智能模型的优化成为了人们越来越关注的重点。
现有的智能人工智能模型优化方式多为前向优化，即在测试环境中制造测试数据，以测试数据对模型进行测试，根据测试结果对智能模型进行优化，再利用优化后的模型进行数据处理。该方法中，制造的测试数据中数据类型较少，导致测试场景有限，不足以对模型进行高精度的优化，且固定的测试数据，难以发现模型过拟合的情况，导致测试后的模型难以泛化至实际生产数据。
发明内容
本发明提供一种人工智能模型优化方法、装置及计算机可读存储介质，其主要目的在于解决对模型进行优化的精确度较低的问题。
为实现上述目的，本发明提供的一种人工智能模型优化方法，包括：
对数据处理模型进行区域隔离，得到所述数据处理模型的隔离网络，在所述隔离网络中构建所述数据处理模型的网络组件的镜像服务；
获取所述数据处理模型中所述网络组件运行时的处理数据,提取所述处理数据的数据特征，按照所述数据特征对所述处理数据进行分类，得到测试样本；
利用预设的随机采样器对所述测试样本进行数据采样，得到测试数据；
利用所述测试数据对所述镜像服务进行测试，得到测试结果，获取用户对所述测试结果的反馈信息，根据所述反馈信息筛选出所述测试结果中的错误结果；
将所述错误结果对应的测试数据进行扩充，利用扩充后的测试数据对所述镜像服务进行预设次数的迭代训练,并利用训练后的镜像服务对所述数据处理模型的网络组件进行替换。
可选地，所述对数据处理模型进行区域隔离，得到所述数据处理模型的隔离网络，包括：
获取所述数据处理模型中每个网络组件的资源利用率，确定所述数据处理模型中所述资源利用率小于预设利用率的网络组件的运行空间为可用隔离区域；
限制所述可用隔离区域与所述数据处理模型之间的数据传输速率小于预设速率，得到隔离网络。
可选地，所述在所述隔离网络中构建所述数据处理模型的网络组件的镜像服务，包括：
对所述数据处理模型中网络组件进行镜像参数复制，得到镜像参数；
利用所述镜像参数在所述隔离网络中构建所述网络组件的镜像服务。
可选地，所述获取所述数据处理模型中所述网络组件运行时的处理数据，包括：
获取所述数据处理模型中各网络组件的数据接口参数；
根据所述数据接口参数构建数据聚合接口；
利用所述数据聚合接口从所述数据处理模型中抓取多网络组件的处理数据。
可选地，所述提取所述处理数据的数据特征，包括：
利用卷积、池化操作对所述处理数据进行特征描述，得到低维特征；
将所述低维特征通过全连接处理映射至预设的特征空间，并利用预设激活函数对所述特征空间中的低维特征进行选择性表达，得到数据特征。
可选地，所述利用预设的随机采样器对所述测试样本进行数据采样，得到测试数据，包括：
获取所述测试样本中每一类别处理数据的采样权重，及对所述处理数据的采样总数；
利用预设的随机采样器根据所述采样权重及所述采样总数对所述测试样本进行随机采样，得到测试数据。
可选地，所述将所述错误结果对应的测试数据进行扩充，包括：
获取数据扩充规则表；
提取所述错误结果对应的测试数据的数据类型，根据所述数据类型从所述数据扩充规则表中选取数据扩充规则；
按照所述数据扩充规则对所述错误结果对应的测试数据进行扩充，得到扩充后的测试样本。
为了解决上述问题，本发明还提供一种人工智能模型优化装置，所述装置包括：
镜像服务生成模块，用于对数据处理模型进行区域隔离，得到所述数据处理模型的隔离网络，在所述隔离网络中构建所述数据处理模型的网络组件的镜像服务；
样本分类模块，用于获取所述数据处理模型中所述网络组件运行时的处理数据,提取所述处理数据的数据特征，按照所述数据特征对所述处理数据进行分类，得到测试样本；
数据采样模块，用于利用预设的随机采样器对所述测试样本进行数据采样，得到测试数据；
服务测试模块，用于利用所述测试数据对所述镜像服务进行测试，得到测试结果，获取用户对所述测试结果的反馈信息，根据所述反馈信息筛选出所述测试结果中的错误结果；
模型更新模块，用于将所述错误结果对应的测试数据进行扩充，利用扩充后的测试数据对所述镜像服务进行预设次数的迭代训练,并利用训练后的镜像服务对所述数据处理模型的网络组件进行替换。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
存储器，存储至少一个指令；及
处理器，执行所述存储器中存储的指令以实现上述所述的人工智能模型优化方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的人工智能模型优化方法。
本发明实施例通过构建数据处理模型的隔离网络，在隔离网络内构建数据处理模型的网络组件的镜像服务，并利用数据处理模型中网络组件运行时的处理数据对镜像服务进行测试、优化，再利用优化后的镜像服务对数据处理模型中的模型进行替换，以实现利用在线的处理数据对网络组件进行优化，避免了人为制造测试数据进行测试，增多了测试数据的类型，提高了测试、优化的精确度。因此本发明提出的人工智能模型优化方法、装置、电子设备及计算机可读存储介质，可以解决对模型进行优化的精确度较低的问题。
附图说明
图1为本发明一实施例提供的人工智能模型优化方法的流程示意图；
图2为本发明一实施例提供的获取处理数据的流程示意图；
图3为本发明一实施例提供的构建数据聚合接口的流程示意图；
图4为本发明一实施例提供的人工智能模型优化装置的功能模块图；
图5为本发明一实施例提供的实现所述人工智能模型优化方法的电子设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种人工智能模型优化方法。所述人工智能模型优化方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述人工智能模型优化方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
参照图1所示，为本发明一实施例提供的人工智能模型优化方法的流程示意图。在本实施例中，所述人工智能模型优化方法包括：
S1、对数据处理模型进行区域隔离，得到所述数据处理模型的隔离网络，在所述隔离网络中构建所述数据处理模型的网络组件的镜像服务。
本发明实施例中，所述数据处理模型可以为任何用于数据处理的人工智能网络模型，例如，人脸识别身份验证系统中用于支持对请求登录的用户进行人脸识别的网络模型；或者，证券交易系统中，用户支持证券交易业务的网络模型等。
本发明实施例中，可通过在所述数据处理模型中进行区域隔离，以实现构建该数据处理模型的隔离网络。
详细地，所述隔离网络用于隔离所述数据处理模型的运行环境。
例如，在所述数据处理模型中确定隔离区域，限制所述隔离区域与所述数据处理模型之间的数据传输速率小于预设速率，以使该隔离区域中运行的数据对数据处理模型不产生影响，得到所述隔离网络。
本发明实施例中，所述对数据处理模型进行区域隔离，得到所述数据处理模型的隔离网络，包括：
获取所述数据处理模型中每个网络组件的资源利用率，确定所述数据处理模型中所述资源利用率小于预设利用率的网络组件的运行空间为可用隔离区域；
限制所述可用隔离区域与所述数据处理模型之间的数据传输速率小于预设速率，得到隔离网络。
详细地，可通过具有资源利用率检测功能的计算机语句对所述数据处理模型中每个网络组件的资源利用率进行检测，以获取所述数据处理模型中各部分的计算资源利用率，并选取该数据处理模型中计算资源利用率较低的区域作为所述可用隔离区域，通过计算资源利用率确定可用隔离区域，有利于减少构建隔离网络后，整个数据处理模型的计算资源负担。
具体地，可限制所述可用隔离区域与所述数据处理模型之间的数据传输速率小于预设速率，当所述数据传输速率小于预设速率时，可阻断或一定程度上限制该可用隔离区域与数据处理模型之间的数据交互，实现将可用隔离区域与数据处理模型进行隔离，得到隔离区域。
例如，限定为：在数据处理模型与隔离区域进行数据的传输时,限制数据传输速率为0,以实现将二者数据的隔离。
通过对数据传输速率的限定，可构建出与所述数据处理模型相互隔离的网络组件，以便于对模型进行在线优化时，确保数据处理模型的安全性。
本发明其他实施例中，还可通过在所述数据处理模型的外部构建所述隔离网络，避免对生成网络的修改，进而提高数据处理模型的稳定性。
进一步地，本发明实施例可通过镜像复制的方法在所述隔离网络中创建预设的网络组件的镜像服务，所述网络组件为所述数据处理模型中用于实现业务功能的网络，例如行实时人脸识别的网络中，所述网络组件为人脸识别网络。
本发明实施例中，所述在所述隔离网络中构建所述数据处理模型的网络组件的镜像服务，包括：
对所述数据处理模型中网络组件进行镜像参数复制，得到镜像参数；
利用所述镜像参数在所述隔离网络中构建所述网络组件的镜像服务。
详细地，可通过具有数据抓取功能的计算机语句(java语句、python语句等)对所述网络组件的底层代码进行抓取，获取以pmml文件形式存在的网络组件，进而利用获取的网络组件在所述隔离网络中构建所述网络组件的镜像服务。
具体地，模型经过离线训练后，导出为pmml模型文件，得到所述网络组件。通过发布系统将所述网络组件发布至数据处理模型，得到生产服务。同时在所述隔离网络中构建与所述数据处理模型中相同版本网络组件的镜像服务。
S2、获取所述数据处理模型中所述网络组件运行时的处理数据,提取所述处理数据的数据特征，按照所述数据特征对所述处理数据进行分类，得到测试样本。
本发明实施例中，所述处理数据为所述数据处理模型在执行业务过程中使用的数据。
例如，进行实时人脸识别的网络对人脸图像进行识别时，该人脸图像即为所述处理数据；或者，文本识别网络对文本数据进行识别时，该文本数据即为所述处理数据。
详细地，可分别从所述数据处理模型中的多个网络组件中获取所述处理数据，以使获取的处理数据可覆盖所有网络组件，提高获取的处理数据的多样性，进而提高后续对模型进行优化的精确度。
本发明实施例中，参图2所示，所述获取所述数据处理模型中所述网络组件运行时的处理数据，包括：
S21、获取所述数据处理模型中各网络组件的数据接口参数；
S22、根据所述数据接口参数构建数据聚合接口；
S23、利用所述数据聚合接口从所述数据处理模型中抓取多网络组件的处理数据。
例如，数据处理模型为图像识别网络，该图像识别网络中包括网络组件1：人脸识别，和网络组件2：证件识别；则可获取网络组件1和网络组件2的数据接口参数，并根据该数据接口参数构件可用于从网络组件1和网络组件2中抓取处理数据的数据聚合接口，进而利用数据聚合接口从该数据处理模型的网络组件1中对该网络组件的处理数据(人脸图像)进行抓取，以及从该数据处理模型的网络组件2中对该网络组件的处理数据(证件图像)进行抓取。
本发明实施例中，可通过具有数据抓取功能的计算机语句(java语句、python语句等)对所述数据接口参数进行。
本发明其中一个实施例中，所述根据所述数据接口参数构建数据聚合接口，包括：
利用预设的接口创建方法，将所述数据接口参数编译为聚合参数；
利用所述接口创建方法创建仅包括初始化参数的初始聚合接口；
利用所述聚合参数对所述初始聚合接口进行参数赋值，得到所述数据聚合接口。
本申请实施例中，所述接口创建方法包括但不限于GraphQL接口创建方式、SQL接口创建方式，所述接口参数包括：接口地址、接口请求方法、接口请求字段名称与规则及接口响应字段名称与规则等。
本申请实施例通过构建数据聚合接口，利用数据聚合接口调用数据处理模型中多个网络组件的处理数据，可实现利用统一的接口实现对多个网络组件中处理数据的调用，有利于提高利用数据聚合接口从数据处理模型的不同的网络组件中抓取处理数据的效率。
本发明实施例中，可利用预先训练的特征提取模型提取所述处理数据中每个数据的数据特征，进而按照所述数据特征对所述处理数据进行分类，得到包含多种类别的测试样本。
所述特征提取模型包括但不限于：VGG-Net模型、XGboost模型等。
例如，处理数据中包含大量图像，将所述处理数据(图像)输入至特征提取模型，以利用所述特征提取模型对所述处理数据(图像)进行特征提取，得到该处理数据(图像)中的图像的数据特征。
本实施例中，可利用多个不同的特征提取模型对处理数据(图像)进行特征提取，以获取该处理数据(图像)多种类型的数据特征，所述数据特征包括如下至少一项：图像大小、对比度、清晰度、噪声类型和完整性等。
本发明其中一个实施例中，所述提取所述处理数据的数据特征，包括：
利用卷积、池化操作对所述处理数据进行特征描述，得到低维特征；
将所述低维特征通过全连接处理映射至预设的特征空间，并利用预设激活函数对所述特征空间中的低维特征进行选择性表达，得到数据特征。
详细地，通过卷积、池化等操作，可实现将所述处理数据中可能包含的多种特征进行低维度的描述，以减少处理数据中的数据量，提高对处理数据进行特征提取的效率；将所述低维特征通过全连接处理映射至所述特征空间，实现了对该低维特征的可视化显示。
实际应用中，由于特征提取模型的精确度有限，导致映射至该特征空间的低维特征中可能存在着由于模型错误判断输出的假特征，即该特征空间的低维特征中仅有部分特征为该处理数据的真实特征，因此，本发明实施例可利用预设激活函数对该特征空间的低维特征进行计算，得到所述低维特征为所述产生数据的真实特征的概率值，并根据所述概率值对低维特征进行选择性的输出，得到数据特征。
例如，特征空间中包括低维特征1、低维特征2和低维特征3，通过所述激活函数分别对低维特征1、低维特征2和低维特征3进行计算，得到低维特征1为所述处理数据的真实特征的概率值为0.8，低维特征2为所述处理数据的真实特征的概率值为0.2，低维特征3为所述处理数据的真实特征的概率值为0.65；若设定概率阈值为0.7，则根据每个低维特征的概率值确定低维特征2和低维特征3为所述处理数据的假特征，对所述低维特征2和低维特征3进行忽略，低维特征1为所述处理数据的真实特征，将低维特征1进行输出，得到该处理数据的数据特征。
进一步地，在提取处理数据中每个数据的数据特征后，可按照提取出的数据特征中任一特征或多个特征的结合对所述处理数据进行分类，得到测试样本。
例如，按照单一特征对所述处理数据进行分类，所述处理数据为多张图像，以数据特征中的图像大小对所述处理数据进行分类，确定多张图像中图像大小在(0，a]之间的图像为第一类，确定多张图像中图像大小在(a，b]之间的图像为第二类，多张图像中图像大小在(b，+∞]之间的图像为第三类。
或者，按照多特征对所述处理数据进行分类，所述处理数据为多张图像，以数据特征中的图像大小和是完整性对所述处理数据进行分类，确定多张图像中图像大小小于预设大小，且图像完整的为第一类，确定多张图像中图像大小小于预设大小，且图像不完整的为第二类，确定多张图像中图像大小大于或等于预设大小，且图像完整的为第三类，确定多张图像中图像大小大于或等于预设大小，且图像不完整的为第四类。
S3、利用预设的随机采样器对所述测试样本进行数据采样，得到测试数据。
本发明实施例中，所述随机采样器为具有随机采样功能的数据选择工具，可用于从多个数据中随机筛选出预设数量的数据，所述随机采样器包括Box-Muller采样器、MonteCarlo采样器等。
本发明实施例中，所述利用预设的随机采样器对所述测试样本进行数据采样，得到测试数据，包括：
获取所述测试样本中每一类别处理数据的采样权重，及对所述处理数据的采样总数；
利用预设的随机采样器根据所述采样权重及所述采样总数对所述测试样本进行随机采样，得到测试数据。
详细地，可获取由用户预先设定的采样权重和采样总数，所述采样总数指从所述测试样本中采集处理数据的总数量，所述采样权重是指从所述测试样本中不同类别的处理数据中进行采样的比例。
例如，测试样本中包含100个处理数据，其中，第一类处理数据50个，第二类处理数据30个，第三类处理数据20个；当采样总数为30，第一类处理数据的采样权重为0.6，第二类处理数据的采样权重为0.3，第三类处理数据的采样权重为0.1时，则利用随机采样器从第一类处理数据中随机采样18个处理数据，从第二类处理数据中随机采样9个处理数据，从第三类处理数据中随机采样2个处理数据。
本发明实施例利用预设的随机采样器对测试样本进行数据采样，可以提高测试数据的多样性，进而有利于提高模型优化的精确度。
S4、利用所述测试数据对所述镜像服务进行测试，得到测试结果，获取用户对所述测试结果的反馈信息，根据所述反馈信息筛选出所述测试结果中的错误结果。
本发明实施例中，可将所述测试数据输入至所述镜像服务，通过所述镜像服务对所述测试数据进行预测，得到测试结果。
例如，所述测试数据中包括苹果图像A和西瓜图像B，分别将苹果图像A和西瓜图像B输入至所述镜像服务进行预测，获取所述镜像服务输出的预测结果为：图像A是苹果，图像B是火龙果。
本发明实施例中，所述反馈信息为用户对所述预测结果的确认或纠正。
例如，将测试数据A输入至所述镜像服务，得到测试数据A的预测结果，则所述反馈信息为用户确认该测试结果为正确结果，或者确认该测试结果为错误结果。
进一步地，将该预测结果输出给用户，并获取该用户对所述预测结果的反馈信息：图像A为苹果，预测结果为正确结果，及图像B为西瓜，预测结果为错误结果。
本发明实施例可根据所述反馈信息，从所述测试结果中选取出错误结果。
例如，预测结果中存在预测结果A、预测结果B、预测结果C和预测结果D，反馈信息为预测结果A为正确结果、预测结果B为错误结果、预测结果C为错误结果、预测结果D为正确结果，则从该预测结果中选取错误结果：预测结果B和预测结果C。
S5、将所述错误结果对应的测试数据进行扩充，利用扩充后的测试数据对所述镜像服务进行预设次数的迭代训练,并利用训练后的镜像服务对所述数据处理模型的网络组件进行替换。
本发明实施例中，可通过对测试结果中预测结果错误的测试样本进行噪声添加，以实现对预测结果错误的测试样本进行扩充。
本发明实施例中，参图3所示，所述将所述错误结果对应的测试数据进行扩充，包括：
S31、获取数据扩充规则表；
S32、提取所述错误结果对应的测试数据的数据类型，根据所述数据类型从所述数据扩充规则表中选取数据扩充规则；
S33、按照所述数据扩充规则对所述错误结果对应的测试数据进行扩充，得到扩充后的测试样本。
详细地，所述数据扩充规则表可由用户预先上传，所述数据扩充规则表中包含多种数据的数据类型，以及每一种数据类型的数据可使用的数据扩充规则。
具体地，可利用具有数据类型提取功能的java语句提取所述错误结果对应的测试数据的数据类型，并根据提取到的数据类型在所述数据扩充规则表中进行检索，得到该数据类型的数据可使用的数据扩充规则，进而按照所述数据扩充规则对所述错误结果对应的测试数据进行扩充。
例如，测试数据包括图像A和图像B，其中，图像A预测结果正确，图像B预测结果错误，则提取所述图像B的数据类型为：图像，根据该数据类型(图像)在所述数据扩充规则表中进行检索，得到图像数据的数据扩充规则包括对比度拉伸、局部遮掩、色彩转换等操作，进而可对图像B进行对比度拉伸、局部遮掩、色彩转换等操作，实现对图像B的扩充，得到多张扩充后的测试样本。
本发明实施例中，可利用扩充后的测试样本对所述镜像服务进行训练，以实现对镜像服务中参数的优化。
例如，当扩充后的测试样本为图像时，获取该测试样本的标准标签，利用所述镜像服务对所述测试样本进行标签预测，得到该测试样本的预测标签，将所述测试标签与所述标准标签进行比对，得到所述测试标签与所述标准标签之间的差异值，根据所述差异值，利用预设的优化算法进行参数优化计算，得到优化参数，利用所述优化参数对所述镜像服务中当前的参数进行赋值，得到更新后的镜像服务，并利用更新后的镜像服务重新对所述测试样本进行标签预测，直至测试标签与标准标签之间的差异值小于预设差异阈值，得到训练后的镜像服务。
本发明实施例可利用训练后的镜像服务对所述数据处理模型中的网络组件进行替换，以实现对该网络组件的优化。
本发明实施例通过构建数据处理模型的隔离网络，在隔离网络内构建数据处理模型的网络组件的镜像服务，并利用数据处理模型中网络组件运行时的处理数据对镜像服务进行测试、优化，再利用优化后的镜像服务对数据处理模型中的模型进行替换，以实现利用在线的处理数据对网络组件进行优化，避免了人为制造测试数据进行测试，增多了测试数据的类型，提高了测试、优化的精确度。因此本发明提出的人工智能模型优化方法、装置、电子设备及计算机可读存储介质，可以解决对模型进行优化的精确度较低的问题。
如图4所示，是本发明一实施例提供的人工智能模型优化装置的功能模块图。
本发明所述人工智能模型优化装置100可以安装于电子设备中。根据实现的功能，所述人工智能模型优化装置100可以包括镜像服务生成模块101、样本分类模块102、数据采样模块103、服务测试模块104及模型更新模块105。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述镜像服务生成模块101，用于对数据处理模型进行区域隔离，得到所述数据处理模型的隔离网络，在所述隔离网络中构建所述数据处理模型的网络组件的镜像服务；
所述样本分类模块102，用于获取所述数据处理模型中所述网络组件运行时的处理数据,提取所述处理数据的数据特征，按照所述数据特征对所述处理数据进行分类，得到测试样本；
所述数据采样模块103，用于利用预设的随机采样器对所述测试样本进行数据采样，得到测试数据；
所述服务测试模块104，用于利用所述测试数据对所述镜像服务进行测试，得到测试结果，获取用户对所述测试结果的反馈信息，根据所述反馈信息筛选出所述测试结果中的错误结果；
所述模型更新模块105，用于将所述错误结果对应的测试数据进行扩充，利用扩充后的测试数据对所述镜像服务进行预设次数的迭代训练,并利用训练后的镜像服务对所述数据处理模型的网络组件进行替换。
详细地，本发明实施例中所述人工智能模型优化装置100中所述的各模块在使用时采用与上述图1至图3中所述的人工智能模型优化方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
如图5所示，是本发明一实施例提供的实现人工智能模型优化方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11、通信总线12以及通信接口13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如人工智能模型优化程序。
其中，所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(ControlUnit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如执行人工智能模型优化程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。
所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如人工智能模型优化程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述通信总线12可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
所述通信接口13用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的人工智能模型优化程序是多个指令的组合，在所述处理器10中运行时，可以实现：
对数据处理模型进行区域隔离，得到所述数据处理模型的隔离网络，在所述隔离网络中构建所述数据处理模型的网络组件的镜像服务；
获取所述数据处理模型中所述网络组件运行时的处理数据,提取所述处理数据的数据特征，按照所述数据特征对所述处理数据进行分类，得到测试样本；
利用预设的随机采样器对所述测试样本进行数据采样，得到测试数据；
利用所述测试数据对所述镜像服务进行测试，得到测试结果，获取用户对所述测试结果的反馈信息，根据所述反馈信息筛选出所述测试结果中的错误结果；
将所述错误结果对应的测试数据进行扩充，利用扩充后的测试数据对所述镜像服务进行预设次数的迭代训练,并利用训练后的镜像服务对所述数据处理模型的网络组件进行替换。
具体地，所述处理器10对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
对数据处理模型进行区域隔离，得到所述数据处理模型的隔离网络，在所述隔离网络中构建所述数据处理模型的网络组件的镜像服务；
获取所述数据处理模型中所述网络组件运行时的处理数据,提取所述处理数据的数据特征，按照所述数据特征对所述处理数据进行分类，得到测试样本；
利用预设的随机采样器对所述测试样本进行数据采样，得到测试数据；
利用所述测试数据对所述镜像服务进行测试，得到测试结果，获取用户对所述测试结果的反馈信息，根据所述反馈信息筛选出所述测试结果中的错误结果；
将所述错误结果对应的测试数据进行扩充，利用扩充后的测试数据对所述镜像服务进行预设次数的迭代训练,并利用训练后的镜像服务对所述数据处理模型的网络组件进行替换。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (7)
1.一种人工智能模型优化方法，其特征在于，所述方法包括：
对数据处理模型进行区域隔离，得到所述数据处理模型的隔离网络，在所述隔离网络中构建所述数据处理模型的网络组件的镜像服务；
获取所述数据处理模型中所述网络组件运行时的处理数据,提取所述处理数据的数据特征，按照所述数据特征对所述处理数据进行分类，得到测试样本；
利用预设的随机采样器对所述测试样本进行数据采样，得到测试数据；
利用所述测试数据对所述镜像服务进行测试，得到测试结果，获取用户对所述测试结果的反馈信息，根据所述反馈信息筛选出所述测试结果中的错误结果；
将所述错误结果对应的测试数据进行扩充，利用扩充后的测试数据对所述镜像服务进行预设次数的迭代训练,并利用训练后的镜像服务对所述数据处理模型的网络组件进行替换；
其中，所述对数据处理模型进行区域隔离，得到所述数据处理模型的隔离网络，包括：获取所述数据处理模型中每个网络组件的资源利用率，确定所述数据处理模型中所述资源利用率小于预设利用率的网络组件的运行空间为可用隔离区域；限制所述可用隔离区域与所述数据处理模型之间的数据传输速率小于预设速率，得到隔离网络；
所述在所述隔离网络中构建所述数据处理模型的网络组件的镜像服务，包括：对所述数据处理模型中网络组件进行镜像参数复制，得到镜像参数；利用所述镜像参数在所述隔离网络中构建所述网络组件的镜像服务；
所述将所述错误结果对应的测试数据进行扩充，包括：获取数据扩充规则表；提取所述错误结果对应的测试数据的数据类型，根据所述数据类型从所述数据扩充规则表中选取数据扩充规则；按照所述数据扩充规则对所述错误结果对应的测试数据进行扩充，得到扩充后的测试样本。
2.如权利要求1所述的人工智能模型优化方法，其特征在于，所述获取所述数据处理模型中所述网络组件运行时的处理数据，包括：
获取所述数据处理模型中各网络组件的数据接口参数；
根据所述数据接口参数构建数据聚合接口；
利用所述数据聚合接口从所述数据处理模型中抓取多网络组件的处理数据。
3.如权利要求1所述的人工智能模型优化方法，其特征在于，所述提取所述处理数据的数据特征，包括：
利用卷积、池化操作对所述处理数据进行特征描述，得到低维特征；
将所述低维特征通过全连接处理映射至预设的特征空间，并利用预设激活函数对所述特征空间中的低维特征进行选择性表达，得到数据特征。
4.如权利要求1至3中任一项所述的人工智能模型优化方法，其特征在于，所述利用预设的随机采样器对所述测试样本进行数据采样，得到测试数据，包括：
获取所述测试样本中每一类别处理数据的采样权重，及对所述处理数据的采样总数；
利用预设的随机采样器根据所述采样权重及所述采样总数对所述测试样本进行随机采样，得到测试数据。
5.一种人工智能模型优化装置，用于实现如权利要求1至4中任意一项所述的人工智能模型优化方法，其特征在于，所述装置包括：
镜像服务生成模块，用于对数据处理模型进行区域隔离，得到所述数据处理模型的隔离网络，在所述隔离网络中构建所述数据处理模型的网络组件的镜像服务；
样本分类模块，用于获取所述数据处理模型中所述网络组件运行时的处理数据,提取所述处理数据的数据特征，按照所述数据特征对所述处理数据进行分类，得到测试样本；
数据采样模块，用于利用预设的随机采样器对所述测试样本进行数据采样，得到测试数据；
服务测试模块，用于利用所述测试数据对所述镜像服务进行测试，得到测试结果，获取用户对所述测试结果的反馈信息，根据所述反馈信息筛选出所述测试结果中的错误结果；
模型更新模块，用于将所述错误结果对应的测试数据进行扩充，利用扩充后的测试数据对所述镜像服务进行预设次数的迭代训练,并利用训练后的镜像服务对所述数据处理模型的网络组件进行替换。
6.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以实现如权利要求1至4中任意一项所述的人工智能模型优化方法。
7.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4中任意一项所述的人工智能模型优化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110694382.2A CN113419951B (zh) | 2021-06-22 | 2021-06-22 | 人工智能模型优化方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110694382.2A CN113419951B (zh) | 2021-06-22 | 2021-06-22 | 人工智能模型优化方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113419951A CN113419951A (zh) | 2021-09-21 |
| CN113419951B true CN113419951B (zh) | 2024-03-19 |
Family
ID=77716105
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110694382.2A Active CN113419951B (zh) | 2021-06-22 | 2021-06-22 | 人工智能模型优化方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113419951B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115061939B (zh) * | 2022-06-30 | 2023-08-01 | 北京瑞莱智慧科技有限公司 | 数据集安全测试方法、装置及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106506587A (zh) * | 2016-09-23 | 2017-03-15 | 中国人民解放军国防科学技术大学 | 一种基于分布式存储的Docker镜像下载方法 |
| CN109857475A (zh) * | 2018-12-27 | 2019-06-07 | 深圳云天励飞技术有限公司 | 一种框架管理的方法及装置 |
| US11036560B1 (en) * | 2016-12-20 | 2021-06-15 | Amazon Technologies, Inc. | Determining isolation types for executing code portions |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10664368B2 (en) * | 2017-11-30 | 2020-05-26 | International Business Machines Corporation | Modifying aspects of a storage system associated with data mirroring |
| US11630758B2 (en) * | 2018-02-06 | 2023-04-18 | Siemens Aktiengesellschaft | Artificial intelligence enabled output space exploration for guided test case generation |
| US11675325B2 (en) * | 2019-04-04 | 2023-06-13 | Schlumberger Technology Corporation | Cutter/rock interaction modeling |
-
2021
- 2021-06-22 CN CN202110694382.2A patent/CN113419951B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106506587A (zh) * | 2016-09-23 | 2017-03-15 | 中国人民解放军国防科学技术大学 | 一种基于分布式存储的Docker镜像下载方法 |
| US11036560B1 (en) * | 2016-12-20 | 2021-06-15 | Amazon Technologies, Inc. | Determining isolation types for executing code portions |
| CN109857475A (zh) * | 2018-12-27 | 2019-06-07 | 深圳云天励飞技术有限公司 | 一种框架管理的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113419951A (zh) | 2021-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022247005A1 (zh) | 图像中目标物识别方法、装置、电子设备及存储介质 | |
| CN110837550A (zh) | 基于知识图谱的问答方法、装置、电子设备及存储介质 | |
| WO2022105179A1 (zh) | 生物特征图像识别方法、装置、电子设备及可读存储介质 | |
| CN113378970B (zh) | 语句相似性检测方法、装置、电子设备及存储介质 | |
| CN113706322B (zh) | 基于数据分析的服务分发方法、装置、设备及存储介质 | |
| CN113360654B (zh) | 文本分类方法、装置、电子设备及可读存储介质 | |
| CN113806434B (zh) | 大数据处理方法、装置、设备及介质 | |
| CN113627530B (zh) | 相似问题文本生成方法、装置、设备及介质 | |
| CN116821373A (zh) | 基于图谱的prompt推荐方法、装置、设备及介质 | |
| CN114491047A (zh) | 多标签文本分类方法、装置、电子设备及存储介质 | |
| CN113628043A (zh) | 基于数据分类的投诉有效性判断方法、装置、设备及介质 | |
| CN113419951B (zh) | 人工智能模型优化方法、装置、电子设备及存储介质 | |
| CN113435308B (zh) | 文本多标签分类方法、装置、设备及存储介质 | |
| CN111859985B (zh) | Ai客服模型测试方法、装置、电子设备及存储介质 | |
| CN114840684A (zh) | 基于医疗实体的图谱构建方法、装置、设备及存储介质 | |
| CN113486238A (zh) | 基于用户画像的信息推送方法、装置、设备及存储介质 | |
| CN113806492A (zh) | 基于语义识别的记录生成方法、装置、设备及存储介质 | |
| CN113076485B (zh) | 基于智能降级的资源推荐方法、装置、设备及存储介质 | |
| CN113723611B (zh) | 基于因果推断的业务因子生成方法、装置、设备及介质 | |
| CN116521867A (zh) | 文本聚类方法、装置、电子设备及存储介质 | |
| CN116741358A (zh) | 问诊挂号推荐方法、装置、设备及存储介质 | |
| CN116701635A (zh) | 培训视频文本二分类方法、装置、设备及存储介质 | |
| CN116579798A (zh) | 基于数据增强的用户画像构建方法、装置、设备及介质 | |
| CN116468025A (zh) | 电子病历结构化方法、装置、电子设备及存储介质 | |
| CN113515591B (zh) | 文本不良信息识别方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |