CN113657468A - 预训练模型的生成方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开提出了一种预训练模型的生成方法、装置、电子设备和存储介质，涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术领域，可应用于图像处理、图像识别等场景。方案为：对包含多个模型的超网络执行对应的训练任务，从训练后的超网络中选取部分模型进行模型组合得到多组候选模型组合，采用各组候选模型组合对第一样本集进行特征提取，根据各组候选模型组合所提取特征的信息熵，从多组候选模型组合中选取目标模型组合，根据目标模型组合生成预训练模型。本公开中超网络训练多个模型，提高了模型训练的速度和关联性，通过信息熵评估模型组合提取到的特征包含的信息量，以筛选得到的最优的模型组合，提高了预训练模型的精度。

Description

预训练模型的生成方法、装置、电子设备和存储介质

技术领域

本公开涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术领域，可应用于图像处理、图像识别等场景，具体涉及预训练模型的生成方法、装置、电子设备和存储介质。

背景技术

最近几年，预训练模型取得了巨大的成功。预训练模型在上游任务上通过大量的数据进行训练，进而，在下游任务上，只需要少量数据训练就可以取得较好的结果。而相关技术中的预训练模型在场景迁移上具有较大的局限性，无法满足精度的要求。因此，如何提高生成的预训练模型的精度是亟待解决的技术问题。

发明内容

本公开提供了一种预训练模型的生成方法、装置、电子设备和存储介质。

根据本公开的一方面，提供了一种预训练模型的生成方法，包括：

对超网络执行对应的训练任务，以得到训练后的超网络；其中，所述超网络中包含多个模型；

从所述训练后的超网络中选取至少部分模型进行模型组合，得到多组候选模型组合；

采用各组所述候选模型组合对第一样本集进行特征提取；

根据各组所述候选模型组合所提取特征的信息熵，从多组候选模型组合中选取目标模型组合；

根据所述目标模型组合生成预训练模型。

根据本公开的另一方面，提供了一种预训练模型的生成装置，包括：

训练模块，用于对超网络执行对应的训练任务，以得到训练后的超网络；其中，所述超网络中包含多个模型；

组合模块，用于从所述训练后的超网络中选取至少部分模型进行模型组合，得到多组候选模型组合；

特征提取模块，用于采用各组所述候选模型组合对第一样本集进行特征提取；

选取模块，用于根据各组所述候选模型组合所提取特征的信息熵，从多组候选模型组合中选取目标模型组合；

生成模块，用于根据所述目标模型组合生成预训练模型。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述一方面所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行前述一方面所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现前述一方面所述的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1为本公开实施例提供的一种预训练模型的生成方法的流程示意图；

图2为本公开实施例提供的另一种预训练模型的生成方法的流程示意图；

图3为本公开实施例提供的另一种预训练模型的生成方法的流程示意图；

图4为本公开实施例提供的一种预训练模型的生成装置的结构示意图；

图5为本公开实施例提供的示例电子设备500的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

下面参考附图描述本公开实施例的预训练模型的生成方法、装置、电子设备和存储介质。

图1为本公开实施例提供的一种预训练模型的生成方法的流程示意图。

如图1所示，该方法包含以下步骤：

步骤101，对超网络执行对应的训练任务，以得到训练后的超网络，其中，超网络中包含多个模型。

其中，训练任务和业务场景相关，例如为图像处理任务，图像识别任务。超网络中包含的多个模型为神经网络的模型。

本公开实施例中，超网络是用于加速模型训练的一种方式，其中，超网络并非一个具体的网络架构，而是包括有多个模型的集合，其中，多个模型类型相同，而参数不同。通过训练初始状态的超网络，能过调整超网络中每个模型的参数。训练完成的超网络，同样包括上述多个模型，不同的是，模型的参数经过了调节，实现了对模型的训练。从而，在对模型集合训练的场景下，通过超网络执行对应的训练任务进行训练，实现通过对超网络进行训练使得超网络中包含的所有的模型的训练，模型训练速度更快，相比于对每个模型单独训练，提高了模型训练的速度。同时，本公开的超网络在训练过程中，会确定多个模型间互补关系，以使得模型组合时精度更高，提高模型组合的性能。

对于超网络的训练方法，作为一种可能的实现方式，可基于一次性成功的One-Shot神经网络结构搜索(Neural Architecture Search，NAS)思想训练超网络，即将相应的训练数据仅输入超网络一次，也就是对超网络的参数进行调整一次，而无需重复的多次迭代训练，网络即可收敛，提高了训练的速度。其中，超网络的训练方法，后续实施例中会具体说明。

步骤102，从训练后的超网络中选取至少部分模型进行模型组合，得到多组候选模型组合。

在本公开实施例中，可采用随机搜索算法，或进化搜索算法，或蚁群搜索算法，又或者是强化学习算法，从训练后的超网络中，按照设定的模型组合数量，得到多组候选模型组合。

其中，设定数量的模型，可以为超网络中部分模型，或者是超网络中的全部数量的模型。

步骤103，采用各组候选模型组合对第一样本集进行特征提取。

其中，第一样本集中包含多个样本图像。

本公开实施例中，各组候选模型组合可对应第一样本集中的相同样本，也可以为不同的样本，同时，对应的样本可以为一个也可以为多个。而对于每一个候选模型组合中，其中包含的各个模型可对应相同的样本，也可以对应不同的样本。

步骤104，根据各组候选模型组合所提取特征的信息熵，从多组候选模型组合中选取目标模型组合。

本公开实施例中，通过信息论评估模型组合提取到的特征的优劣，其中，特征的信息熵越大，模型组合提取到的特征包含的信息量愈大，模型组合的性能越好，从而，筛选得到的模型组合精度较高，即提升了预训练模型的精度。

步骤105，根据目标模型组合生成预训练模型。

本公开的预训练模型的生成方法中，对包含多个模型的超网络执行对应的训练任务，从训练后的超网络中选取部分模型进行模型组合得到多组候选模型组合，采用各组候选模型组合对第一样本集进行特征提取，根据各组候选模型组合所提取特征的信息熵，从多组候选模型组合中选取目标模型组合，根据目标模型组合生成预训练模型。本公开中超网络训练多个模型，提高了模型训练的速度和关联性，通过信息熵评估模型组合提取到的特征包含的信息量，以筛选得到的最优的模型组合，提高了预训练模型的精度。

基于上述实施例，本实施例提供了另一种预训练模型的生成方法，其中，超网络为多个。图2为本公开实施例提供的另一种预训练模型的生成方法的流程示意图，如图2所示，该方法包含以下步骤：

步骤201，将第二样本集内的训练样本输入各超网络。

其中，超网络中包含多个模型。

本公开实施例中，第一样本集、第二样本集和第三样本集可以为相同的样本集也可以为不同的样本集，本实施例中不进行限定。

步骤202，对各超网络输出的特征进行融合，得到融合特征。

步骤203，根据融合特征执行多种训练任务，得到各训练任务的预测信息。

其中，训练任务的数量可以大于超网络的数量，也可以等于超网络的数量。

本公开实施例中，将各超网络输出的特征融合得到的融合特征，执行多种训练任务，得到各训练任务的预测信息，实现了将各超网络中包含的多个模型均执行了多个训练任务，相比与将每一个超网络中的每个模型分别执行多个训练任务，本公开的方式消耗的时间更少，效率更高。同时，执行多个训练任务，使得各个超网络中包含的多个模型，均可以在多个任务中进行特征提取，增加了各个超网络可适配的场景。

步骤204，根据各训练任务的预测信息，与对应训练任务的标准信息之间的差异，确定各训练任务的损失函数值。

其中，第二样本集内的样本对应的标准信息和训练任务具有对应关系，也就是说训练任务不同，样本对应的标准信息不同，即对于每个训练任务，样本均具有对应的标准信息。

步骤205，对各训练任务的损失函数值加权求和，得到总损失函数值，根据总损失函数值，更新各超网络的参数。

作为一种实现方式，可将各训练任务的损失函数值通过平均加权的方式融合得到总损失函数值；作为另一种实现方式，可以根据预先设定的各个训练任务的损失函数值的重要程度，确定各个训练任务的损失函数值的权重，即各训练任务的重要性和损失函数值的权重成正比，进而，根据各训练任务的损失函数值的权重和对应的损失函数值进行加权计算，以得到总损失函数值。进而，根据总损失函数值，更新各超网络的参数，可实现对各超网络中包含的各模型的参数的调整，同时，在对各个超网络训练的过程中，还考虑了超网络间的参数关联关系，以及各个超网络中各个模型间的参数关联关系，提高了大规模模型训练的速度和精度，并使得基于超网络选取候选模型组合时，可以提高组合模型间的互补性。

需要说明的是，超网络可以提高各模型训练的速度，是因为在通过融合损失函数对超网络中的各模型进行参数调整时，根据各个模型间参数共享的方式，实现对多个模型的参数调整，从而整体上降低了可调整的参数的数量，提高了各个模型训练的速度。而通过超网络的损失函数对超网络进行参数调整时，由于超网络中的各个模型间存在参数共享，从而，在对模型进行参数调整时，使得各模型间建立了互补的关联性，以使得后续各模组间进行组合时组合模型的精度更高，提高模型组合的性能。

步骤206，从训练后的各超网络中选取至少部分模型进行模型组合，得到多组候选模型组合。

本公开实施例中，候选模型组合，可以是从一个超网络中选择到的多个模型组合得到的，或者是从多个超网络中选择得到的多个模型组合得到的。

步骤207，采用各组候选模型组合对第一样本集进行特征提取。

步骤208，对任意的一组候选模型组合，确定对第一样本集所提取特征在特征空间内的特征分布，根据特征分布，确定一组候选模型组合所提取特征的信息熵。

本公开实施例的一种实现方式中，根据一组候选模型组合所提取特征的在特征特征空间内的特征分布，根据特征分布中特征的均值和方差确定特征的信息熵，通过特征的信息熵来度量提取到的特征所包含的信息量，信息量越大后续模型组合提取到的特征越好，候选模型额的性能，如精度则越高。

步骤209，根据各组候选模型组合所提取特征的信息熵，从多组候选模型组合中选取目标模型组合。

作为一种实现方式，从各组候选模型组合中，选取所提取特征的信息熵最大的候选模型组合，将信息熵最大的候选模型组合作为目标模型组合，其中，所提取特征的信息熵越大，候选模型组合所提取到的特征中包含的信息量越多，从而该候选模型组合的性能越好，提高了目标模型组合的精度。

作为另一种实现方式，从各组候选模型组合中，选取所提取特征的信息熵最大的候选模型组合，获取信息熵最大的候选模型组合对第一样本集进行特征提取所需的计算时延，确定信息熵最大的候选模型组合的计算时延小于或等于设定时长，则将信息熵最大的候选模型组合作为目标模型组合。这是因为，在一种场景下，可能存在并列的多个信息熵最大的候选模型组合，为了筛选出更优的候选模型组合，可获取信息熵最大的各候选模型组合对第一样本集进行特征提取所需的计算时延，利用计算时延去除计算时延大于设定时长的候选模型组合，将信息熵最大同时计算时延小于或等于设定时长的候选模型组合作为目标模型组合，使得确定的目标模型组合不仅精度较高，同时在进行特征提取时满足速度要求。

步骤210，根据目标模型组合生成预训练模型。

本公开实施例的预训练模型的生成方法中，对多个超网络输出的特征进行融合得到融合特征，基于融合特征分别执行多种训练任务，以得到各个超网络在不同的训练任务上的表现，通过联合训练得到的各训练任务的损失函数来指示，进而，将个训练任务的损失函数值加权求和得到总损失函数，利用总损失函数更新各超网络的参数，建立了模型间的关联性和互补性，实现了快速训练多个模型，同时使得后续基于多个超网络中的模型进行组合时，确定的可作为预训练模型的组合模型在同样的速度情况下精度更高，或者，在同样精度的情况下，速度更快，可以提升模型在特定硬件或芯片上处理图像或者音视频的速度。同时，相比相关技术中在单任务上对模型进行预训练的方式，存在应用场景的局限性的问题，通过对各个超网络在不同训练任务上的表现，可得到多个模型在不同训练任务上的表现，使得多个模型可适配多种任务的场景。

基于上述实施例，本实施例提供了另一种预训练模型的生成方法，其中，超网络为多个，各超网络具有对应的训练任务，图3为本公开实施例提供的另一种预训练模型的生成方法的流程示意图，如图3所示，该方法包含以下步骤：

步骤301，将第三样本集内的训练样本输入各超网络，以得到各超网络输出的特征。

其中，超网络中包含多个模型。

本公开实施例中的第二样本集和第三样本集可以为相同的样本集，本公开实施例中并不进行限定。

步骤302，根据各超网络输出的特征执行对应的训练任务，得到各训练任务的预测信息。

步骤303，根据各训练任务的预测信息，与对应训练任务的标准信息之间的差异，确定各训练任务的损失函数值。

步骤304，根据各训练任务的损失函数值，更新对应的超网络的参数。

本公开实施例中，针对每一个超网络，针对该超网络对应的训练任务，分别对每一个超网络进行训练，以得到训练后的超网络，使得超网络训练完成时，则超网络中的多个模型也在相应的训练任务上训练完成，相比单个模型单独训练的方式，在大规模模型训练的场景下，提高了多个模型训练的速度。

需要说明的是，超网络可以提高各模型训练的速度，是因为在通过融合损失函数对超网络中的各模型进行参数调整时，根据各个模型间参数共享的方式，实现对多个模型的参数调整，从而整体上降低了可调整的参数的数量，提高了各个模型训练的速度。另外，通过超网络的损失函数对超网络进行参数调整时，由于超网络中的各个模型间存在参数共享，从而，在对模型进行参数调整时，使得各模型间建立了互补的关联性，以使得后续各模组间进行组合时得到的组合模型的精度更高，提高模型组合的性能。

步骤305，从训练后的各超网络中选取至少部分模型进行模型组合，得到多组候选模型组合。

步骤306，采用各组候选模型组合对第一样本集进行特征提取。

步骤307，对任意的一组候选模型组合，确定对第一样本集所提取特征在特征空间内的特征分布，根据特征分布，确定一组候选模型组合所提取特征的信息熵。

步骤308，根据各组候选模型组合所提取特征的信息熵，从多组候选模型组合中选取目标模型组合。

步骤309，根据目标模型组合生成预训练模型。

其中，步骤305-步骤309，可参照前述方法实施例中的解释说明，原理相同，本实施例中不再限定。

本公开实施例的预训练模型的生成方法中，通过对各个超网络在对应训练任务上的表现，可得到各超网络中的多个模型在相应训练任务上的表现，使得其中的多个模型可适配对应的任务的场景，实现了快速训练多个模型，同时建立了模型间的关联性和互补性，使得后续基于多个超网络中的模型进行组合时，提高了组合模型的精度，以及增加了可适配的任务场景。

为了实现上述实施例，本公开实施例提供了一种预训练模型的生成装置。

图4为本公开实施例提供的一种预训练模型的生成装置的结构示意图。

如图4所示，该装置包含：

训练模块41，用于对超网络执行对应的训练任务，以得到训练后的超网络；其中，所述超网络中包含多个模型；

组合模块42，用于从所述训练后的超网络中选取至少部分模型进行模型组合，得到多组候选模型组合；

特征提取模块43，用于采用各组所述候选模型组合对第一样本集进行特征提取；

选取模块44，用于根据各组所述候选模型组合所提取特征的信息熵，从多组候选模型组合中选取目标模型组合；

生成模块45，用于根据所述目标模型组合生成预训练模型。

进一步，作为一种实现方式，该装置，还包括：

确定模块，用于对任意的一组候选模型组合，确定对所述第一样本集所提取特征在特征空间内的特征分布；根据所述特征分布，确定所述一组候选模型组合所提取特征的信息熵。

作为一种实现方式，选取模块44，用于：

从各组所述候选模型组合中，选取信息熵最大的候选模型组合，将所述信息熵最大的候选模型组合作为所述目标模型组合。

作为一种实现方式，选取模块44，还用于：

获取所述信息熵最大的候选模型组合对第一样本集进行特征提取所需的计算时延；确定所述信息熵最大的候选模型组合的计算时延小于或等于设定时长。

作为一种实现方式，超网络为多个，训练模块41，还用于：

将第二样本集内的训练样本输入各所述超网络；对各所述超网络输出的特征进行融合，得到融合特征；根据融合特征执行多种训练任务，得到各训练任务的预测信息；根据各所述训练任务的所述预测信息，与对应训练任务的所述标准信息之间的差异，确定各所述训练任务的损失函数值；对各所述训练任务的损失函数值加权求和，得到总损失函数值；根据所述总损失函数值，更新各所述超网络的参数。

作为一种实现方式，超网络为多个，各超网络具有对应的训练任务，训练模块41，还用于：

将第三样本集内的训练样本输入各所述超网络，以得到各所述超网络输出的特征；根据各所述超网络输出的特征执行对应的训练任务，得到各所述训练任务的预测信息；根据各所述训练任务的所述预测信息，与对应训练任务的所述标准信息之间的差异，确定各所述训练任务的损失函数值；根据各所述训练任务的损失函数值，更新对应的所述超网络的参数。

需要说明的是，前述对方法实施例的解释说明也适用于本实施例的装置，原理相同，本实施例中不再赘述。

本公开的预训练模型的生成装置中，对包含多个模型的超网络执行对应的训练任务，从训练后的超网络中选取部分模型进行模型组合得到多组候选模型组合，采用各组候选模型组合对第一样本集进行特征提取，根据各组候选模型组合所提取特征的信息熵，从多组候选模型组合中选取目标模型组合，根据目标模型组合生成预训练模型。本公开中超网络训练多个模型，提高了模型训练的速度和关联性，通过信息熵评估模型组合提取到的特征包含的信息量，以筛选得到的最优的模型组合，提高了预训练模型的精度。

为了实现上述实施例，本公开实施例提供了一种电子设备，包括：

至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述方法实施例所述的方法。

为了实现上述实施例，本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行前述方法实施例所述的方法。

为了实现上述实施例，本公开实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现前述方法实施例所述的方法。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图5为本公开实施例提供的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图5所示，设备500包括计算单元501，其可以根据存储在ROM(Read-OnlyMemory，只读存储器)502中的计算机程序或者从存储单元508加载到RAM(Random AccessMemory，随机访问/存取存储器)503中的计算机程序，来执行各种适当的动作和处理。在RAM503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。I/O(Input/Output，输入/输出)接口505也连接至总线504。

设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于CPU(Central Processing Unit，中央处理单元)、GPU(Graphic Processing Units，图形处理单元)、各种专用的AI(Artificial Intelligence，人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(Digital SignalProcessor，数字信号处理器)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如预训练模型的生成方法。例如，在一些实施例中，预训练模型的生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的预训练模型的生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行预训练模型的生成方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、FPGA(Field Programmable Gate Array，现场可编程门阵列)、ASIC(Application-Specific Integrated Circuit，专用集成电路)、ASSP(Application Specific StandardProduct，专用标准产品)、SOC(System On Chip，芯片上系统的系统)、CPLD(ComplexProgrammable Logic Device，复杂可编程逻辑设备)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM(Electrically Programmable Read-Only-Memory，可擦除可编程只读存储器)或快闪存储器、光纤、CD-ROM(Compact Disc Read-Only Memory，便捷式紧凑盘只读存储器)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode-Ray Tube，阴极射线管)或者LCD(Liquid Crystal Display，液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：LAN(LocalArea Network，局域网)、WAN(Wide Area Network，广域网)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

其中，需要说明的是，人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (15)

1.一种预训练模型的生成方法，包括：

对超网络执行对应的训练任务，以得到训练后的超网络；其中，所述超网络中包含多个模型；

从所述训练后的超网络中选取至少部分模型进行模型组合，得到多组候选模型组合；

采用各组所述候选模型组合对第一样本集进行特征提取；

根据各组所述候选模型组合所提取特征的信息熵，从多组候选模型组合中选取目标模型组合；

根据所述目标模型组合生成预训练模型。

2.根据权利要求1所述的方法，其中，所述根据各组所述候选模型组合所提取特征的信息熵，从多组候选模型组合中选取目标模型组合之前，还包括：

对任意的一组候选模型组合，确定对所述第一样本集所提取特征在特征空间内的特征分布；

根据所述特征分布，确定所述一组候选模型组合所提取特征的信息熵。

3.根据权利要求1所述的方法，其中，所述根据各组所述候选模型组合所提取特征的信息熵，从多组候选模型组合中选取目标模型组合，包括：

从各组所述候选模型组合中，选取信息熵最大的候选模型组合；

将所述信息熵最大的候选模型组合作为所述目标模型组合。

4.根据权利要求3所述的方法，其中，所述将所述信息熵最大的候选模型组合作为所述目标模型组合之前，还包括：

获取所述信息熵最大的候选模型组合对第一样本集进行特征提取所需的计算时延；

确定所述信息熵最大的候选模型组合的计算时延小于或等于设定时长。

5.根据权利要求1-4任一项所述的方法，其中，所述超网络为多个；所述对超网络执行对应的训练任务，以得到训练后的超网络，包括：

将第二样本集内的训练样本输入各所述超网络；

对各所述超网络输出的特征进行融合，得到融合特征；

根据融合特征执行多种训练任务，得到各训练任务的预测信息；

根据各所述训练任务的所述预测信息，与对应训练任务的所述标准信息之间的差异，确定各所述训练任务的损失函数值；

对各所述训练任务的损失函数值加权求和，得到总损失函数值；

根据所述总损失函数值，更新各所述超网络的参数。

6.根据权利要求1-4任一项所述的方法，其中，所述超网络为多个，各所述超网络具有对应的训练任务；所述对超网络执行对应的训练任务，以得到训练后的超网络，包括：

将第三样本集内的训练样本输入各所述超网络，以得到各所述超网络输出的特征；

根据各所述超网络输出的特征执行对应的训练任务，得到各所述训练任务的预测信息；

根据各所述训练任务的所述预测信息，与对应训练任务的所述标准信息之间的差异，确定各所述训练任务的损失函数值；

根据各所述训练任务的损失函数值，更新对应的所述超网络的参数。

7.一种预训练模型的生成装置，包括：

训练模块，用于对超网络执行对应的训练任务，以得到训练后的超网络；其中，所述超网络中包含多个模型；

组合模块，用于从所述训练后的超网络中选取至少部分模型进行模型组合，得到多组候选模型组合；

特征提取模块，用于采用各组所述候选模型组合对第一样本集进行特征提取；

选取模块，用于根据各组所述候选模型组合所提取特征的信息熵，从多组候选模型组合中选取目标模型组合；

生成模块，用于根据所述目标模型组合生成预训练模型。

8.根据权利要求7所述的装置，其中，所述装置，还包括：

确定模块，用于对任意的一组候选模型组合，确定对所述第一样本集所提取特征在特征空间内的特征分布；根据所述特征分布，确定所述一组候选模型组合所提取特征的信息熵。

9.根据权利要求7所述的装置，其中，所述选取模块，用于：

从各组所述候选模型组合中，选取信息熵最大的候选模型组合；

将所述信息熵最大的候选模型组合作为所述目标模型组合。

10.根据权利要求9所述的装置，其中，所述选取模块，还用于：

获取所述信息熵最大的候选模型组合对第一样本集进行特征提取所需的计算时延；

确定所述信息熵最大的候选模型组合的计算时延小于或等于设定时长。

11.根据权利要求7-10任一项所述的装置，其中，所述超网络为多个；所述训练模块，还用于：

将第二样本集内的训练样本输入各所述超网络；

对各所述超网络输出的特征进行融合，得到融合特征；

根据融合特征执行多种训练任务，得到各训练任务的预测信息；

根据各所述训练任务的所述预测信息，与对应训练任务的所述标准信息之间的差异，确定各所述训练任务的损失函数值；

对各所述训练任务的损失函数值加权求和，得到总损失函数值；

根据所述总损失函数值，更新各所述超网络的参数。

12.根据权利要求7-10任一项所述的装置，其中，所述超网络为多个，各所述超网络具有对应的训练任务；所述训练模块，还用于：

将第三样本集内的训练样本输入各所述超网络，以得到各所述超网络输出的特征；

根据各所述超网络输出的特征执行对应的训练任务，得到各所述训练任务的预测信息；

根据各所述训练任务的所述预测信息，与对应训练任务的所述标准信息之间的差异，确定各所述训练任务的损失函数值；

根据各所述训练任务的损失函数值，更新对应的所述超网络的参数。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。

15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。

Images