CN112883654B - 一种基于数据驱动的模型训练系统 - Google Patents

Abstract

本发明涉及一种基于数据驱动的模型训练系统，包括：初始模型构建器，用于从用户终端浏览器获取数据训练集，并根据数据训练集从预设的网络结构模型库中选择对应的网络结构模型；参数提取器，用于根据预设的参数框架从所述网络结构模型中提取预设参数；模型映射器，用于选择目标深度学习框架，将预设参数映射为目标深度学习框架对应的映射数据和映射模型；代码生成器，用于将映射数据和映射模型动态生成可执行的代码；代码执行器，用于运行可执行的代码，并生成运行结果。本发明简化了模型训练流程，提高了模型训练的效率，降低了用于操作难度，使得非专业人员也能够使用。

Description

一种基于数据驱动的模型训练系统

技术领域

本发明涉及模型训练技术领域，尤其涉及一种基于数据驱动的模型训练系统。

背景技术

随着机器学习技术的不断发展，模型训练应用广泛，但往往掌握机器学习知识的专业人员才能进行模型训练。然而，越来越多非机器学习领域的专业人员也需要用到模型训练。超级计算机具备天然的巨大算力和大规模数据融合的属性，因此将模型训练过程在超级计算机上执行也成为发展趋势，同样，超级计算机也需要掌握超级计算机的专业人员才能操作超级计算机。因此如何将模型训练运行于超级计算机，提升模型训练的效率，且简化使用流程，使得非专业人员也能够使用成为亟待解决的技术问题。

发明内容

本发明目的在于，提供一种基于数据驱动的模型训练系统，简化了模型训练流程，提高了模型训练的效率，降低了用于操作难度，使得非专业人员也能够使用。

一种基于数据驱动的模型训练系统，包括：

初始模型构建器，设置于云服务器上，所述云服务器与超级计算机和用户终端通信连接，用于从用户终端浏览器获取数据训练集，并根据所述数据训练集从预设的网络结构模型库中选择对应的网络结构模型；

参数提取器，设置于所述云服务器上，所述参数提取器用于根据预设的参数框架从所述网络结构模型中提取预设参数；

模型映射器，设置于所述云服务器上，用于选择目标深度学习框架，将所提取的预设参数映射为目标深度学习框架对应的映射数据和映射模型；

代码生成器，设置于所述超级计算机上，用于将所述映射数据和映射模型动态生成可执行的代码；

代码执行器，设置于超级计算机上，用于运行所述可执行的代码，并生成运行结果。

进一步的，所述系统还包括网络结构模型库构模块，用于将共性的网络结构模型以及对应的参数进行集成封装，将所述网络结构模型库中每一所述网络结构模型对应的预设的待配置参数设置为待输入状态，除所述待配置参数以外的所有参数配置为默认值。

进一步的，所述初始模型构建器包括网络结构模型推荐单元，用于根据所述数据训练集样本数量的大小向所述用户终端推荐对应的网络结构模型。

进一步的，所述系统还包括目标深度学习框架确定模块，用于根据超级计算机上所配置的深度学习框架以及资源使用情况，确定所述目标深度学习框架。

进一步的，所述初始模型构建器内设置有数据层、计算图层和训练层，所述初始模型构建器在所述数据层设定训练数据的位置，在所述计算图层设定网络结构模型的有向图结构，在所述训练层设定训练计算所需资源，所述训练计算所需资源包括节点数、训练轮次和每轮次所需数据量大小。

进一步的，所述预设的参数框架包括数据参数、模型参数和计算资源，所述参数提取器具体用于：

从所述数据层提取所述数据参数，所述数据参数包括数据源、数据格式和数据大小；

从所述计算图层提取模型参数，所述模型参数包括图的节点组成、连接关系以及所述计算图层中每个图节点对应的参数；

从所述训练层中提取训练计算所需的计算资源。

进一步的，所述映射数据为所述数据参数解析得到的目标深度学习框架对应的训练数据，包括训练数据源、每训练批次数据大小、增广选项和预处理选项；

所述映射模型为由所述模型参数映射等得到的目标深度学习框架对应的图表形式数据，包括json表单形式和xml表格形式。

进一步的，代码生成器具体用于预置一个转换模板，并采用依赖库加载、数据加载、模型加载、训练配置的顺序将所述映射数据和映射模型依次转换为对应的代码。

进一步的，所述代码执行器用于将所述可执行的代码转换为超级计算机对应的运行脚本进行运行，生成所述运行结果。

进一步的，所述系统还包括：

结果回收器，用于从所述代码执行器获取运行结果，将所述运行结果存储至云服务器，所述结果回收器将运行结果存储至网盘中，并挂载至所述云服务器上，再由所述云服务器发送给所述结果查看器；

结果查看器，设置在用户终端的浏览器上，用于根据预设的显示规则显示显示关键参数，所述关键参数包括损失参数、学习率和准确率。

本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明提供的一种基于数据驱动的模型训练系统可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有下列优点：

（1）简化了模型训练流程，提高了模型训练的效率，降低了用于操作难度，使得非专业人员也能够使用。

（2）实现了算法复用和框架迁移，避免多次编程，简化了模型训练过程，提高了模型训练的效率，且容错性好。

（3）保证模型的有效快速的执行，动态实现资源调配，实现不同框架的适配，用户只要创建了训练任务，系统会根据当前的框架的安装情况和资源的可用情况自动配置相应的计算环境和资源，从而能快速执行。

（4）系统具有一套统一的模型结构，使其具有很好的可移植性，即写一套代码可以在不同的框架下执行，便于对比分析和后期的改进。

（5）具有可视化的功能，交互和执行效率很高，具备很好的用户体验。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。

附图说明

图1为本发明实施例提供的基于数据驱动的模型训练系统示意图。

【符号说明】

1：初始模型构建器 2：参数提取器

3：模型映射器 4：代码生成器

5：代码执行器 6：结果回收器

7：结果查看器。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的一种基于数据驱动的模型训练系统的具体实施方式及其功效，详细说明如后。

为解决背景技术中所述的技术问题，本发明实施例根据用户输入的数据训练集即可选择对应的网络结构模型再通过设计机器学习模型生成技术流程，实现从前端可视化模型到后端机器学习框架的动态映射。通过对拖拽式建模形成的模型描述文件进行流程解析和参数解析，形成具有统一描述格式的网络结构，然后根据网络参数关于训练数据的指定，实现对训练数据库的加载，形成目标模型。通过指定训练所需计算资源，适配对应的训练框架、目标模型。最后开展训练，并实现对模型的保存等操作。

具体地，本发明实施例提供了一种基于数据驱动的模型训练系统，如图1所示，包括初始模型构建器1、参数提取器2、模型映射器3、代码生成器4和代码执行器5，其中，初始模型构建器1设置于云服务器上，所述云服务器与超级计算机和用户终端通信连接，用于从用户终端浏览器获取数据训练集，并根据所述数据训练集从预设的网络结构模型库中选择对应的网络结构模型；参数提取器2设置于云服务器上，所述参数提取器2用于根据预设的参数框架从所述网络结构模型中提取预设参数；模型映射器3设置于所述云服务器上，用于选择目标深度学习框架，将所提取的预设参数映射为目标深度学习框架对应的映射数据和映射模型；代码生成器4设置于所述超级计算机上，用于将所述映射数据和映射模型动态生成可执行的代码；代码执行器5设置于超级计算机上，用于运行所述可执行的代码，并生成运行结果。

需要说明的是，数据驱动是指通过移动互联网或者其他的相关软件为手段采集海量的数据，将数据进行组织形成信息，之后对相关的信息进行整合和提炼，在数据的基础上经过训练和拟合形成自动化的决策模型。

为了便于用户直接通过可视化界面获取到执行结果，提升用户体验。所述系统还包括结果回收器6和结果查看器7，如图1所示，其中，结果回收器6用于从所述代码执行器5获取运行结果，将所述运行结果存储至云服务器，并发送给结果查看器7；结果查看器7设置在用户终端的浏览器上，用于根据预设的显示规则显示所述运行生成的结果对应的显示参数。所述结果回收器6将运行结果存储至网盘中，并挂载至所述云服务器上，再由所述云服务器发送给所述结果查看器7。所述结果查看器7用于根据预设的规则显示关键参数，所述关键参数包括损失参数、学习率和准确率，还可供下一次模型编辑调整参考。

所述系统通过设置初始模型构建器1和参数提取器2可以有效解决在超级计算机上执行人工智能运算时，算法复用和修改难度大的技术问题。当模型网络结构或参数发生变化，无需重写代码，降低了模型文件以及其对应的数据日志文件管理难度增大。所述系统通过设置模型映射器3，解决了跨框架迁移难度大的技术问题，可直接转换为对应的目标深度学习框架对应的映射数据和映射模型，无需重写代码，提高了容错性。所述系统通过设置代码执行器5、结果回收器6和结果查看器7，使得计算过程在超级计算机上运行，用户输入任务以及查询结果均在浏览器上进行，简化了调试的难度既提高了交互效率，也提高了计算效率，同时提升了用户体验。

作为一种示例，所述系统还包括网络结构模型库构模块，用于将共性的网络结构模型以及对应的参数进行集成封装，将所述网络结构模型库中每一所述网络结构模型对应的预设的待配置参数设置为待输入状态，除所述待配置参数以外的所有参数配置为默认值，这样即可实现系统仅向用户开放一些必要的需用户自行设置的参数，且提前将其他的参数设置为默认的值并封装至模板中，在用户使用时需用户自行设置的参数即可进行模型训练，仅需输入降低了用户操作的难度，便于用户使用，需要说明的是共性的网络结构模型是指网络结构相似，功能系统、输入数据一样的一类模型，即性质相同的意思。

作为示例，本发明实施例所述系统可适用于图像分类和图像目标检测等应用场景，在图像分类应用场景中，网络结构模型库中可集成AlexNet、LeNet、VGG、ResNet、Inception、MobileNet等多个成熟模型及其多个版本。

作为一种示例，所述初始模型构建器包括网络结构模型推荐单元，用于根据所述数据训练集样本数量的大小向所述用户终端推荐对应的网络结构模型，更进一步简化模型训练流程，降低用户操作难度。

所述初始模型构建器1内设置有数据层、计算图层和训练层，所述初始模型构建器1在所述数据层设定训练数据的位置，在所述计算图层设定网络结构模型的有向图结构，在所述训练层设定训练计算所需资源，所述训练计算所需资源包括节点数、训练轮次和每轮次所需数据量大小。

作为一种示例，所述系统还包括目标深度学习框架确定模块，用于根据超级计算机上所配置的深度学习框架以及资源使用情况，确定所述目标深度学习框架。可以理解的是，也可直接由用户指定，或系统根据任务需求推选默认的深度学习框架作为目标深度学习框架。

作为一种示例，所述预设的参数框架包括数据参数、模型参数和计算资源，所述参数提取器2具体用于：从所述数据层提取所述数据参数，所述数据参数包括数据源、数据格式和数据大小；从所述计算图层提取模型参数，所述模型参数包括图的节点组成、连接关系以及所述计算图层中每个图节点对应的参数；从所述训练层中提取训练计算所需的计算资源。需要说明的是，参数框架中还可预留状态参数，用于记录每一运行阶段的运行参数和结果，可以反映整个运行过程的状态，后续可根据需求，调取对应阶段的状态参数进行显示。

所述映射数据可为所述数据参数解析得到的目标深度学习框架对应的训练数据，包括训练数据源、每训练批次数据大小、增广选项和预处理选项；所述映射模型可为由所述模型参数映射等得到的目标深度学习框架对应的图表形式数据，包括json表单形式和xml表格形式。

作为一种示例，代码生成器4具体用于预置一个转换模板，并采用依赖库加载、数据加载、模型加载、训练配置的顺序将所述映射数据和映射模型依次转换为对应的代码，具体可采用Python语言来实现，Python是一种计算机程序设计语言，是一种面向对象的动态类型语言。

所述代码执行器5用于将所述可执行的代码转换为超级计算机对应的运行脚本进行运行，生成所述运行结果。例如，在天河超级计算机上，运行脚本假设命名为xxx.bat 为yhrun -N N -p P run.py ，其中N为计算资源指定的节点数；P为超级计算上的资源分区；run.py为代码生成器4生成的代码，该脚本将由yhbath -N N -p P xxx.bat。将计算资源配置为核数时，需要进行节点与核数转换，即：节点数=INT（核数/每个节点核数），如果核数/每个节点核数非整除，则节点数=INT（核数/每个节点核数）+1。

本发明实施例所述系统简化了模型训练流程，提高了模型训练的效率，降低了用于操作难度，使得非专业人员也能够使用。所述系统实现了算法复用和框架迁移，避免多次编程，简化了模型训练过程，提高了模型训练的效率，且容错性好。还可保证模型的有效快速的执行，动态实现资源调配，实现不同框架的适配，用户只要创建了训练任务，系统会根据当前的框架的安装情况和资源的可用情况自动配置相应的计算环境和资源，从而能快速执行。此外，所述系统具有一套统一的模型结构，使其具有很好的可移植性，即写一套代码可以在不同的框架下执行，便于对比分析和后期的改进。所述系统还具有可视化的功能，交互和执行效率很高，具备很好的用户体验。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (8)

1.一种基于数据驱动的模型训练系统，其特征在于，包括：

初始模型构建器，设置于云服务器上，所述云服务器与超级计算机和用户终端通信连接，所述初始模型构建器用于从用户终端浏览器获取数据训练集，并根据所述数据训练集从预设的网络结构模型库中选择对应的网络结构模型；

所述初始模型构建器内设置有数据层、计算图层和训练层，所述初始模型构建器在所述数据层设定训练数据的位置，在所述计算图层设定网络结构模型的有向图结构，在所述训练层设定训练计算所需资源，所述训练计算所需资源包括节点数、训练轮次和每轮次所需数据量大小；

参数提取器，设置于所述云服务器上，所述参数提取器用于根据预设的参数框架从所述网络结构模型中提取预设参数；

所述预设的参数框架包括数据参数、模型参数和计算资源，所述参数提取器具体用于：

从所述数据层提取所述数据参数，所述数据参数包括数据源、数据格式和数据大小；

从所述计算图层提取模型参数，所述模型参数包括图的节点组成、连接关系以及所述计算图层中每个图节点对应的参数；

从所述训练层中提取训练计算所需的计算资源；

模型映射器，设置于所述云服务器上，用于选择目标深度学习框架，将所提取的预设参数映射为目标深度学习框架对应的映射数据和映射模型；

代码生成器，设置于所述超级计算机上，用于将所述映射数据和映射模型动态生成可执行的代码；

代码执行器，设置于超级计算机上，用于运行所述可执行的代码，并生成运行结果。

2.根据权利要求1所述的基于数据驱动的模型训练系统，其特征在于，

所述系统还包括网络结构模型库构建模块，用于将共性的网络结构模型以及对应的参数进行集成封装，将所述网络结构模型库中每一所述网络结构模型对应的预设的待配置参数设置为待输入状态，除所述待配置参数以外的所有参数配置为默认值。

3.根据权利要求1所述的基于数据驱动的模型训练系统，其特征在于，

所述初始模型构建器包括网络结构模型推荐单元，用于根据所述数据训练集样本数量的大小向所述用户终端推荐对应的网络结构模型。

4.根据权利要求1所述的基于数据驱动的模型训练系统，其特征在于，

所述系统还包括目标深度学习框架确定模块，用于根据超级计算机上所配置的深度学习框架以及资源使用情况，确定所述目标深度学习框架。

5.根据权利要求1所述的基于数据驱动的模型训练系统，其特征在于，

所述映射数据为所述数据参数解析得到的目标深度学习框架对应的训练数据，包括训练数据源、每训练批次数据大小、增广选项和预处理选项；

所述映射模型为由所述模型参数映射得到的目标深度学习框架对应的图表形式数据，包括json表单形式和xml表格形式。

6.根据权利要求1所述的基于数据驱动的模型训练系统，其特征在于，

代码生成器具体用于预置一个转换模板，并采用依赖库加载、数据加载、模型加载、训练配置的顺序将所述映射数据和映射模型依次转换为对应的代码。

7.根据权利要求1所述的基于数据驱动的模型训练系统，其特征在于，

所述代码执行器用于将所述可执行的代码转换为超级计算机对应的运行脚本进行运行，生成所述运行结果。

8.根据权利要求1-7中任意一项所述的基于数据驱动的模型训练系统，其特征在于，

所述系统还包括：

结果回收器，用于从所述代码执行器获取运行结果，将所述运行结果存储至云服务器，所述结果回收器将运行结果存储至网盘中，并挂载至所述云服务器上，再由所述云服务器发送给所述结果查看器；

结果查看器，设置在用户终端的浏览器上，用于根据预设的显示规则显示显示关键参数，所述关键参数包括损失参数、学习率和准确率。

Images