CN111985644B - 神经网络生成方法及装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供了一种神经网络生成方法及装置、电子设备和存储介质，其中，首先基于预设负载确定目标神经网络对应的多个通道数配置方案；之后针对每个通道数配置方案，基于预设自由权重和该通道数配置方案中各个网络层所包括的通道数，确定该通道数配置方案下的多种神经网络结构；以及，基于每个通道数配置方案下的每种神经网络结构对应的测量精度，确定目标神经网络中各个网络层所包括的目标通道数，最后基于目标神经网络中各个网络层所包括的目标通道数，生成目标神经网络。本申请利用预设自由权重在一定自由度范围内选取通道进行通道数学习，提高了神经网络通道数学习的质量和搜索效率，从而提高了生成的目标神经网络的精确度和速度。

Description

神经网络生成方法及装置、电子设备及存储介质

技术领域

本申请涉及计算机及深度学习技术领域，具体而言，涉及一种神经网络生成方法及装置、电子设备及存储介质。

背景技术

在生成神经网络之前，首先需要学习神经网络中各个网络层的通道数，神经网络通道数学习的质量对神经网络的精确度和速度至关重要。目前，一般是人工根据经验来设定神经网络的通道数，不仅无法保证神经网络的精确度和速度，而且大量的人工设定和测试造成学习成本过高，不利于进一步提高神经网络的精确度和速度。

另外，目前还有自动学习神经网络通道数的方法，但是自动学习的方法在选取通道的时候一般是从前到后选择，这就造成位于前面的通道训练次数多，而位于后面的通道训练次数少，降低了神经网络通道数学习的质量，并且需要巨大的计算成本、搜索效率低下。

发明内容

本申请实施例至少提供一种神经网络生成方法及装置，以提高神经网络通道数学习的质量，提高生成的神经网络的精确度。

第一方面，本申请实施例提供了一种神经网络生成方法，包括：

基于预设负载，确定目标神经网络对应的多个通道数配置方案；其中，每个通道数配置方案均包括所述目标神经网络中各个网络层所包括的通道数；

针对每个通道数配置方案，基于预设自由权重和该通道数配置方案中各个网络层所包括的通道数，确定该通道数配置方案下的多种神经网络结构；

基于每个通道数配置方案下的每种神经网络结构对应的测量精度，确定所述目标神经网络中各个网络层所包括的目标通道数；

基于所述目标神经网络中各个网络层所包括的目标通道数，生成所述目标神经网络。

该方面，利用预设自由权重构建多种神经网络结构，进行神经网络通道数的学习，克服了人工设定通道数对学习质量提高的限制以及学习成本高的缺陷；同时该方面利用预设自由权重可以在一定范围内灵活选择参与训练的通道，克服了现有技术自动学习网络通道数中通道选择固定的缺陷，能够提高神经网络通道数学习的质量和搜索效率，从而提高了生成的目标神经网络的精确度和速度。

在一种可能的实施方式中，确定所述多种神经网络结构，包括：

针对每个通道数配置方案，基于所述预设自由权重和该通道数配置方案中各个网络层所包括的通道数，确定该通道数配置方案下，各个网络层中的自由通道区；其中，所述自由通道区包括对应的网络层中的多个通道；

基于所述预设自由权重，从各个自由通道区中分别为对应的网络层选取目标通道，形成该通道数配置方案下的多种神经网络结构。

该实施方式，利用预设自由权重设置自由通道区，并从自由通道区内选择组成神经网络结构的通道，克服了现有技术自动学习网络通道数中通道选择固定的缺陷，能够较为灵活的选择神经网络中的通道，提高了神经网络通道数学习的质量和搜索效率。

在一种可能的实施方式中，所述基于所述预设自由权重，从各个自由通道区中分别为对应的网络层选取目标通道，形成该通道数配置方案下的多种神经网络结构，包括：

基于所述预设自由权重，确定所述目标通道在所述自由通道区中多种可选位置信息；其中，不同网络层中的自由通道区包括相同数量的通道；

针对每种可选位置信息，分别在各个网络层的自由通道区中，按照该可选位置信息选取目标通道，并基于选取的各个网络层中的所述目标通道，形成与该可选位置信息相对应的神经网络结构。

该实施方式，基于可选位置信息选取神经网络的通道，克服了现有技术自动学习网络通道数中通道选择固定的缺陷，能够较为灵活的选择神经网络中的通道，提高了神经网络通道数学习的质量和搜索效率。

在一种可能的实施方式中，所述基于选取的各个网络层中的所述目标通道，形成与该可选位置信息相对应的神经网络结构，包括：

基于所述预设自由权重和该通道数配置方案中各个网络层所包括的通道数，确定该通道数配置方案下，各个网络层中的基本通道区；其中，所述基本通道区包括对应的网络层中的至少一个通道；

基于各个网络层中的基本通道区和各个网络层中的目标通道，形成与该可选位置信息相对应的神经网络结构。

该实施方式，利用基本通道区和各个网络层中选取的目标通道构建神经网络结构，能够限制选择通道的自由度，减少神经网络结构的多样性，在保证神经网络通道数学习质量的前提下，降低了神经网络通道数学习的计算量，提高了学习效率。

在一种可能的实施方式中，在确定所述多种神经网络结构之后，神经网络生成方法还包括：

基于各个通道数配置方案下的各种神经网络结构，构造超网络；

基于所述超网络，确定每个通道数配置方案下的每种神经网络结构对应的测量精度。

该实施方式，利用超网络测试每种神经网络结构对应的测量精度，能够提高神经网络通道数学习的效率。

在一种可能的实施方式中，所述基于每个通道数配置方案下的每种神经网络结构对应的测量精度，确定所述目标神经网络中各个网络层所包括的目标通道数，包括：

针对每个通道数配置方案，基于该通道数配置方案下每种神经网络结构的测量精度，确定该通道数配置方案对应的神经网络测量精度；

将最高的神经网络测量精度对应的通道数配置方案中，各个网络层所包括的通道数作为所述目标神经网络中各个网络层所包括的目标通道数。

该实施方式，将具有最高的神经网络测量精度的通道数配置方案所包括的通道数作为目标通道数，能够保证神经网络通道数学习的质量。

在一种可能的实施方式中，在确定了所述目标神经网络中各个网络层所包括的目标通道数之后，神经网络生成方法还包括：

获取新的预设负载，并基于所述新的预设负载确定目标神经网络对应的多个新的通道数配置方案；所述新的预设负载小于前一次迭代中的预设负载，所述前一次迭代是前一次确定所述目标神经网络中各个网络层所包括的目标通道数的过程；

对每个新的通道数配置方案，基于预设自由权重、该新的通道数配置方案中各个网络层所包括的通道数、和在前一次迭代中的预设负载下所述目标神经网络中各个网络层所包括的目标通道数，确定该新的通道数配置方案下的多种神经网络结构；

基于每个新的通道数配置方案下的每种神经网络结构对应的测量精度，确定新的预设负载下，所述目标神经网络中各个网络层所包括的目标通道数。

该实施方式，利用比前一次迭代中的预设负载小的预设负载，确定新的通道数配置方案，并基于新的通道数配置方案，从前一次迭代对应的通道空间内选择新的目标通道，能够提高通道数学习的效率和质量。

在一种可能的实施方式中，所述基于预设自由权重、该新的通道数配置方案中各个网络层所包括的通道数、和在前一次迭代中的预设负载下所述目标神经网络中各个网络层所包括的目标通道数，确定该新的通道数配置方案下的多种神经网络结构，包括：

基于在前一次迭代中的预设负载下所述目标神经网络中各个网络层所包括的目标通道数，确定当次迭代中各个网络层对应的可选通道区；

基于各个网络层对应的可选通道区、预设自由权重、该新的通道数配置方案中各个网络层所包括的通道数，确定该新的通道数配置方案下的多种神经网络结构。

该实施方式，利用从前一次迭代中的预设负载对应的目标通道数构建可选通道区，并从可选通道区内选择新的目标通道来进行神经网络通道数的学习，能够缩小通道数的学习空间，降低通道数学习的计算量，提高通道数学习的效率和质量。

在一种可能的实施方式中，所述基于所述目标神经网络中各个网络层所包括的目标通道数，生成目标神经网络，包括：

基于各个网络层所包括的目标通道数，对所述目标神经网络进行训练，确定所述目标神经网络中各个网络层所包括的通道的位置，以及每个通道对应的参数信息，得到训练好的目标神经网络。

该实施方式，在确定了目标神经网络的各个网络层的通道数之后，基于确定的通道数对目标神经网络进行重训练，能够提高生成的目标神经网络的测量精度。

在一种可能的实施方式中，在确定多个通道数配置方案之前，上述神经网络生成方法还包括：

针对所述目标神经网络的每个网络层，确定该网络层中的单个通道对所述目标神经网络的测量精度的影响度信息；

基于所述影响度信息，确定该网络层中每个通道组包括的单个通道的数量；

基于确定的所述数量，对该网络层中的单个通道进行分割，得到多个通道组；

将得到通道组作为该网络层中新的通道。

该实施方式，根据单个通道的影响度信息，对神经网络层中的单个通道进行分割，得到通道组，利用通道组作为新的通道进行通道数学习，能够提高通道数学习效率。

第二方面，本申请提供了一种神经网络生成装置，包括：

通道设计模块，用于基于预设负载，确定目标神经网络对应的多个通道数配置方案；其中，每个通道数配置方案均包括所述目标神经网络中各个网络层所包括的通道数；

网络构建模块，用于针对每个通道数配置方案，基于预设自由权重和该通道数配置方案中各个网络层所包括的通道数，确定该通道数配置方案下的多种神经网络结构；

通道确定模块，用于基于每个通道数配置方案下的每种神经网络结构对应的测量精度，确定所述目标神经网络中各个网络层所包括的目标通道数；

网络生成模块，用于基于所述目标神经网络中各个网络层所包括的目标通道数，生成所述目标神经网络。

在一种可能的实施方式中，所述网络构建模块在确定所述多种神经网络结构时，用于：

针对每个通道数配置方案，基于所述预设自由权重和该通道数配置方案中各个网络层所包括的通道数，确定该通道数配置方案下，各个网络层中的自由通道区；其中，所述自由通道区包括对应的网络层中的多个通道；

基于所述预设自由权重，从各个自由通道区中分别为对应的网络层选取目标通道，形成该通道数配置方案下的多种神经网络结构。

在一种可能的实施方式中，所述通道确定模块在基于每个通道数配置方案下的每种神经网络结构对应的测量精度，确定所述目标神经网络中各个网络层所包括的目标通道数时，用于：

针对每个通道数配置方案，基于该通道数配置方案下每种神经网络结构的测量精度，确定该通道数配置方案对应的神经网络测量精度；

将最高的神经网络测量精度对应的通道数配置方案中，各个网络层所包括的通道数作为所述目标神经网络中各个网络层所包括的目标通道数。

在一种可能的实施方式中，所述通道设计模块还用于获取新的预设负载，并基于所述新的预设负载确定目标神经网络对应的多个新的通道数配置方案；所述新的预设负载小于前一次迭代中的预设负载，所述前一次迭代是前一次确定所述目标神经网络中各个网络层所包括的目标通道数的过程；

所述网络构建模块还用于，对每个新的通道数配置方案，基于预设自由权重、该新的通道数配置方案中各个网络层所包括的通道数、和在前一次迭代中的预设负载下所述目标神经网络中各个网络层所包括的目标通道数，确定该新的通道数配置方案下的多种神经网络结构；

所述通道确定模块还用于，基于每个新的通道数配置方案下的每种神经网络结构对应的测量精度，确定新的预设负载下，所述目标神经网络中各个网络层所包括的目标通道数。

在一种可能的实施方式中，所述通道设计模块在确定多个通道数配置方案之前，还用于：

针对所述目标神经网络的每个网络层，确定该网络层中的单个通道对所述目标神经网络的测量精度的影响度信息；

基于所述影响度信息，确定该网络层中每个通道组包括的单个通道的数量；

基于确定的所述数量，对该网络层中的单个通道进行分割，得到多个通道组；

将得到通道组作为该网络层中新的通道。

第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述神经网络生成方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述神经网络生成方法的步骤。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的神经网络生成方法的流程图；

图2示出了本申请实施例中神经网络结构的示意图；

图3示出了本申请实施例所提供的神经网络生成装置的结构示意图；

图4示出了本申请实施例所提供的一种电子设备的示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

针对目前神经网络通道数学习存在的效率低、学习成本高以及测量精度和测量速度无法保证的缺陷，本申请提供了一种神经网络生成方法及装置、电子设备及存储介质，本申请利用预设自由权重构建多种神经网络结构，进行神经网络通道数的学习，克服了人工设定通道数对学习质量提高的限制以及学习成本高的缺陷；同时该方面利用预设自由权重可以在一定范围内灵活选择参与训练的通道，克服了现有技术自动学习网络通道数中通道选择固定的缺陷，能够提高神经网络通道数学习的质量和搜索效率，同时提高了生成的神经网络的精确度和速度。

下面对申请提供的神经网络生成方法及装置、电子设备和存储介质进行详细说明。

本申请提供的神经网络生成方法由服务器执行，能够学习到合适目标通道数，保证通道数学习的质量、目标神经网络的精确度，提高通道数搜索的效率，同时能够克服人工设定通道数对学习质量提高的限制以及学习成本高的缺陷。具体地，如图1所示，本申请提供的神经网络生成方法可以包括如下步骤：

S110、基于预设负载，确定目标神经网络对应的多个通道数配置方案；其中，每个通道数配置方案均包括所述目标神经网络中各个网络层所包括的通道数。

这里，预设负载是预先基于应用场景设定的，具体可以根据所述目标神经网络所在的设备的计算能力确定。在多次迭代确定各个网络层的目标通道数时，可以设置多个预设负载，只是后一次迭代对应的预设负载小于前一次迭代对应的预设负载。这样根据预设负载确定的通道数配置方案中包括的通道数越来越少，后一次迭代在搜索目标通道数时，从前一次迭代确定的目标通道数对应的搜索空间中进行搜索和学习，不仅能够减少通道数学习的计算量，还能够提高通道数学习的质量。

S120、针对每个通道数配置方案，基于预设自由权重和该通道数配置方案中各个网络层所包括的通道数，确定该通道数配置方案下的多种神经网络结构。

这里，在基于预设自由权重构造神经网络结构的时候，具体是按照每个通道数配置方案中包括的各个网络层的通道数，基于预设自由权重为每个通道数配置方案选取不同位置的通道，得到不同的神经网络结构。

现有技术中一般是从前到后，按照预设的通道数顺次选择对应位置的通道，这就造成排在前面的通道被选择和训练的次数较多，排在后面的通道被选择和训练的次数较少，这样会降低神经网络通道数学习的质量。这里利用预设自由权重能够较为随机的从网络中选择不同位置的通道，克服前述现有技术带来的缺陷，提高通道数学习的质量。

在确定了每种通道数配置方案下的多种神经网络结构之后，可以利用每个通道数配置方案下的多种神经网络结构，构造一个超网络，在基于构造的超网络进行训练，得到每个通道数配置方案下的每种神经网络结构对应的测量精度。利用超网络测试每种神经网络结构对应的测量精度，能够提高神经网络通道数学习的效率。

S130、基于每个通道数配置方案下的每种神经网络结构对应的测量精度，确定所述目标神经网络中各个网络层所包括的目标通道数。

这里，具体的可以是，首先基于每个通道数配置方案下的每种神经网络结构对应的测量精度，分别确定每个通道数配置方案下目标神经网络的神经网络测量精度，之后，将最高的神经网络测量精度对应的通道数配置方案中，各个网络层所包括的通道数作为所述目标神经网络中各个网络层所包括的目标通道数。

在确定某个通道数配置方案下目标神经网络的神经网络测量精度时，具体可以是将该通道数配置方案下神经网络结构的最高的测量精度作为神经网络测量精度。

上述将具有最高的神经网络测量精度的通道数配置方案所包括的通道数作为目标通道数，能够保证神经网络通道数学习的质量。

S140、基于所述目标神经网络中各个网络层所包括的目标通道数，生成所述目标神经网络。

这里具体是对确定了各个网络层所包括的目标通道数之后的神经网络进行重训练，生成上述目标神经网络。基于各个网络层所包括的目标通道数进行网络重训练，能够提高生成的目标神经网络的测量精度。

在一些实施例中，上述步骤120中确定所述多种神经网络结构，具体可以包括如下步骤：

步骤一、针对每个通道数配置方案，基于所述预设自由权重和该通道数配置方案中各个网络层所包括的通道数，确定该通道数配置方案下，各个网络层中的自由通道区；其中，所述自由通道区包括对应的网络层中的多个通道。

这里，在为某个网络层确定自由通道区时，具体可以是，按照通道从前到后的顺序，将以通道数配置方案中该网络层的通道数为次序的通道，作为自由通道区中心位置的通道，之后，利用确定的中心位置的通道、该通道的前N个通道和该通道的后N个通道组成该网络层的自由通道区。这里的N对应于预设自由权重，具体可以根据应用场景灵活设置。

如图2所示，预设自由权重设置为1，通道数配置方案中第一个网络层包括5个通道，那么该网络层的第5个通道为自由通道区中心位置的通道，中心位置的通道、该通道的前1个通道和该通道的后1个通道组成了第一个网络层的自由通道区21。再例如，通道数配置方案中第二个网络层包括3个通道，那么该网络层的第3个通道为自由通道区中心位置的通道，中心位置的通道、该通道的前1个通道和该通道的后1个通道组成了第二个网络层的自由通道区22。再例如，通道数配置方案中第三个网络层包括4个通道，那么该网络层的第4个通道为自由通道区中心位置的通道，中心位置的通道、该通道的前1个通道和该通道的后1个通道组成了第二个网络层的自由通道区23。

步骤二、基于所述预设自由权重，从各个自由通道区中分别为对应的网络层选取目标通道，形成该通道数配置方案下的多种神经网络结构。

这里在为每个网络层选取目标通道时，具体可以是，从该网络层的自由通道区内剔除预设自由权重个通道，剔除通道的位置随机，自由通道区内剩余的通道作为目标通道。

上述利用预设自由权重设置自由通道区，并从自由通道区内选择组成神经网络结构的通道，克服了现有技术自动学习网络通道数中通道选择固定的缺陷，能够较为灵活的选择神经网络中的通道，提高了神经网络通道数学习的质量和搜索效率。

根据上面的描述可知，所有网络层的自由通道区所包括的通道数均相等，那么在为每个网络层选取目标通道时，可以随机分别为每个网络层选取目标通道，不同的网络层中目标通道在自由通道区内的相对位置信息可能相同，也可能不相同。

为了减少通道数学习的计算量，可以将同一个神经网络结构的各个网络层中的目标通道对应的相对位置信息设置为相同。如图2所示，第一个神经网络结构24中，各个网络层中的目标通道在对应的自由通道区内的相对位置信息相同，均位于自由通道区的左起两个位置；第二个神经网络结构25中，各个网络层中的目标通道在对应的自由通道区内的相对位置信息相同，均位于自由通道区的左起一个和右起一个的位置；第三个神经网络结构26中，各个网络层中的目标通道在对应的自由通道区内的相对位置信息相同，均位于自由通道区的右起向左两个的位置。

在具体实施时，图2所示的各个神经网络结构24、25和26可以利用如下步骤形成：

步骤一、基于所述预设自由权重，确定所述目标通道在所述自由通道区中多种可选位置信息；其中，不同网络层中的自由通道区包括相同数量的通道。

这里，基于预设自由权重可以确定各个自由通道区内剔除的通道的位置，剩余的通道位置即为可选通道位置。如图2所示，基于预设自由权重1，确定的三种可选位置信息对应的自由通道区的结构如27、28、29所示，符号27对应的可选位置信息中，剔除的通道位于自由通道区的最右侧，符号28对应的可选位置信息中，剔除的通道位于自由通道区的中心，符号29对应的可选位置信息中，剔除的通道位于自由通道区的最左侧。

步骤二、针对每种可选位置信息，分别在各个网络层的自由通道区中，按照该可选位置信息选取目标通道，并基于选取的各个网络层中的所述目标通道，形成与该可选位置信息相对应的神经网络结构。

如图2所示，符号27对应的可选位置信息中，剔除的通道位于自由通道区的最右侧，左起两个通道作为目标通道。符号28对应的可选位置信息中，剔除的通道位于自由通道区的中心，两侧的两个通道作为目标通道。符号29对应的可选位置信息中，剔除的通道位于自由通道区的最左侧，右起向左两个通道作为目标通道。

利用上述步骤，同一个神经网络结构中，不同网络层中的目标通道在对应的自由通道区内的相对位置信息相同，这样能够减少构造的神经网络结构的数量，从而能够降低通道数学习的计算量。

上述实施例基于可选位置信息选取神经网络的通道，克服了现有技术自动学习网络通道数中通道选择固定的缺陷，能够较为灵活的选择神经网络中的通道，提高了神经网络通道数学习的质量和搜索效率。

在为每个网络层选取了目标通道之后，针对每个网络层，可以将该网络层中的目标通道与该网络层中自由通道区之前的通道合并形成该网络层的通道结构。该网络层中自由通道区之前的通道可以形成基本通道区，这样，就是将该网络层中的基本通道区和该网络层中的目标通道合并以形成该网络层的通道结构。各个网络层的通道结构合并形成一个神经网络结构。

在具体实施时，上述基本通道区可以是在自由通道区形成之后，基于自由通道区的位置，将自由通道区之前的所有通道作为基本通道区，也可以是基于所述预设自由权重和通道数配置方案中该网络层所包括的通道数确定的，即基于预设自由权重和通道数配置方案中该网络层所包括的通道数确定基本通道区所包括的通道数，之后将该网络层中左起该通道数个通道作为基本通道区。所述基本通道区包括对应的网络层中的至少一个通道。

上述实施例利用基本通道区和各个网络层中选取的目标通道构建神经网络结构，能够限制选择通道的自由度，减少神经网络结构的多样性，在保证神经网络通道数学习质量的前提下，降低了神经网络通道数学习的计算量，提高了学习效率。

在一些实施例中，在确定了所述目标神经网络中各个网络层所包括的目标通道数之后，还可以进行下一次迭代，确定新的目标通道数，具体地：

步骤一、获取新的预设负载，并基于所述新的预设负载确定目标神经网络对应的多个新的通道数配置方案；所述新的预设负载小于前一次迭代中的预设负载，所述前一次迭代是前一次确定所述目标神经网络中各个网络层所包括的目标通道数的过程。

这里，新的预设负载也是基于目标神经网络所在的设备的计算能力确定的，基于新的预设负载可以进行下一轮网络通道数的训练。另外，还可以设置更小的预设负载来进行新一轮网络通道数的训练。轮数越大，预设负载设置的越小，越接近目标神经网络所在的设备的计算能力。这样可以实现通道数搜索空间逐渐减小，提高搜索效率和通道数学习质量。

步骤二、对每个新的通道数配置方案，基于预设自由权重、该新的通道数配置方案中各个网络层所包括的通道数、和在前一次迭代中的预设负载下所述目标神经网络中各个网络层所包括的目标通道数，确定该新的通道数配置方案下的多种神经网络结构。

这里，针对每个网络层，基于前一次迭代确定的该网络层所包括的目标通道数确定此次迭代的搜索空间，之后从确定的搜索空间中筛选通道形成此次迭代中该网络层中的通道结构。具体的：基于在前一次迭代中的预设负载下所述目标神经网络中各个网络层所包括的目标通道数，确定当次迭代中各个网络层对应的可选通道区，即上述搜索空间；之后，从确定的搜索空间中，基于预设自由权重、新的通道数配置方案中各个网络层所包括的通道数，确定各个网络层对应的新的自由通道区，从新的自由通道区中筛选各个网络层中的新的目标通道，并基于新的目标通道和新的自由通道区前面的通道形成各个网络层的新的通道结构。

之后利用各个网络层对应的新的通道结构形成该次迭代中的神经网络结构。

综上，此步骤首先基于所述目标神经网络中各个网络层所包括的目标通道数，确定各个网络层对应的可选通道区；之后基于各个网络层对应的可选通道区、预设自由权重、该新的通道数配置方案中各个网络层所包括的通道数，确定该新的通道数配置方案下的多种神经网络结构。

这里，利用从前一次迭代中预设负载对应的目标通道数构建可选通道区，并从可选通道区内选择新的目标通道来进行神经网络通道数的学习，能够缩小通道数的学习空间，降低通道数学习的计算量，提高通道数学习的效率和质量。

步骤三、基于每个新的通道数配置方案下的每种神经网络结构对应的测量精度，确定新的预设负载下，所述目标神经网络中各个网络层所包括的目标通道数。

这里利用测量精度确定目标通道数的方法与上述实施例中的相同，不再进行赘述。

上述实施例利用比前一次迭代中预设负载小的新的预设负载，确定新的通道数配置方案，并基于新的通道数配置方案，从前一次迭代中预设负载对应的搜索空间内选择新的目标通道，缩小了通道数学习的搜索空间，在保证相同搜索细粒度的情况下，上述实施例能够缩小搜索空间10⁸倍，因此能够有效提高通道数学习的效率和质量。

在一些实施例中，上述基于所述目标神经网络中各个网络层所包括的目标通道数，生成目标神经网络，具体可以利用如下步骤实现：

基于各个网络层所包括的目标通道数，对所述目标神经网络进行训练，确定所述目标神经网络中各个网络层所包括的通道的位置，以及每个通道对应的参数信息，得到训练好的目标神经网络。

在确定目标通道数的训练过程中，得到的通道位置和通道的参数信息不能够使目标神经网络的测量精度较优，此时需要基于确定的目标通道数对目标神经网络进行重训练，得到测量精度较高的目标神经网络。

上述实施例在确定了目标神经网络的各个网络层的通道数之后，基于确定的通道数对目标神经网络进行重训练，能够提高生成的目标神经网络的测量精度。

上述提到的所有通道都可以是一个通道组，一个通道组内包括多个单个通道，一个通道组当做一个通道来使用，能够降低计算量。在为每个网络层分割单个通道形成通道组时，可以结合每层中单个通道对目标神经网络的测量精度的影响，目标是不同网络层中的每个通道组对目标神经网络的测量精度的影响相均相同，同一网络层中的不同通道组对目标神经网络的测量精度的影响相均相同。具体地，可以通过下面的步骤实现：

步骤一、针对每个网络层，确定该网络层中的单个通道对所述目标神经网络的测量精度的影响度信息。

每个网络层中的所有单个通道对目标神经网络的测量精度的影响度信息是相同的。不同网络层中单个通道对目标神经网络的测量精度的影响度信息可以是相同的，也可以是不同的。

在具体实施时，上述影响度信息可以是单个通道对应的每秒浮点运算次数FLOPs。

步骤二、基于所述影响度信息，确定该网络层中每个通道组包括的单个通道的数量。

这里在确定某网络层中通道组包括的单个通道的数量之前，需要首先预设通道组对目标神经网络的测量精度的综合影响度信息。之后，利用该网络层中单个通道对目标神经网络的测量精度的影响度信息和综合影响度信息，确定该网络层中每个通道组包括的单个通道的数量。

不同网络层对应的综合影响度信息是相同的。

在具体实施时，上述综合影响度信息可以是单个通道对应的每秒浮点运算次数FLOPs。

步骤三、基于确定的所述数量，对该网络层中的单个通道进行分割，得到多个通道组。

步骤四、将得到通道组作为该网络层中新的通道。

上述实施例，根据单个通道的影响度信息，对神经网络层中的单个通道进行分割，得到通道组，利用通道组作为新的通道进行通道数学习，能够提高通道数学习效率。

上述实施例根据预设负载训练得到的目标神经网络适用于更多种具有不同计算能力的设备，既可以适用于小型化设备、便携式设备等，也可以适用于具有大计算能力的设备。

对应于上述神经网络生成方法，本申请还公开了一种神经网络生成装置，应用于服务器，该装置中的各个模块能够实现上述各个实施例的神经网络生成方法中的每个步骤，并且能够取得相同的有益效果，因此，对于相同的部分这里不再进行赘述。具体地，如图3所示，神经网络生成装置包括：

通道设计模块310，用于基于预设负载，确定目标神经网络对应的多个通道数配置方案；其中，每个通道数配置方案均包括所述目标神经网络中各个网络层所包括的通道数。

网络构建模块320，用于针对每个通道数配置方案，基于预设自由权重和该通道数配置方案中各个网络层所包括的通道数，确定该通道数配置方案下的多种神经网络结构。

通道确定模块330，用于基于每个通道数配置方案下的每种神经网络结构对应的测量精度，确定所述目标神经网络中各个网络层所包括的目标通道数；

网络生成模块340，用于基于所述目标神经网络中各个网络层所包括的目标通道数，生成所述目标神经网络。

在一些实施例中，所述网络构建模块320在确定所述多种神经网络结构时，用于：

针对每个通道数配置方案，基于所述预设自由权重和该通道数配置方案中各个网络层所包括的通道数，确定该通道数配置方案下，各个网络层中的自由通道区；其中，所述自由通道区包括对应的网络层中的多个通道；

基于所述预设自由权重，从各个自由通道区中分别为对应的网络层选取目标通道，形成该通道数配置方案下的多种神经网络结构。

在一些实施例中，所述通道确定模块330在基于每个通道数配置方案下的每种神经网络结构对应的测量精度，确定所述目标神经网络中各个网络层所包括的目标通道数时，用于：

针对每个通道数配置方案，基于该通道数配置方案下每种神经网络结构的测量精度，确定该通道数配置方案对应的神经网络测量精度；

将最高的神经网络测量精度对应的通道数配置方案中，各个网络层所包括的通道数作为所述目标神经网络中各个网络层所包括的目标通道数。

在一些实施例中，所述通道设计模块310还用于获取新的预设负载，并基于所述新的预设负载确定目标神经网络对应的多个新的通道数配置方案；所述新的预设负载小于前一次迭代中的预设负载，所述前一次迭代是前一次确定所述目标神经网络中各个网络层所包括的目标通道数的过程；

所述网络构建模块320还用于，对每个新的通道数配置方案，基于预设自由权重、该新的通道数配置方案中各个网络层所包括的通道数、和在前一次迭代中的预设负载下所述目标神经网络中各个网络层所包括的目标通道数，确定该新的通道数配置方案下的多种神经网络结构；

所述通道确定模块330还用于，基于每个新的通道数配置方案下的每种神经网络结构对应的测量精度，确定新的预设负载下，所述目标神经网络中各个网络层所包括的目标通道数。

在一些实施例中，所述通道设计模块310在确定多个通道数配置方案之前，还用于：

针对所述目标神经网络的每个网络层，确定该网络层中的单个通道对所述目标神经网络的测量精度的影响度信息；

基于所述影响度信息，确定该网络层中每个通道组包括的单个通道的数量；

基于确定的所述数量，对该网络层中的单个通道进行分割，得到多个通道组；

将得到通道组作为该网络层中新的通道。

对应于上述神经网络生成方法，本申请实施例还提供了一种电子设备400，如图4所示，为本申请实施例提供的电子设备400结构示意图，包括：

处理器41、存储器42、和总线43；存储器42用于存储执行指令，包括内存421和外部存储器422；这里的内存421也称内存储器，用于暂时存放处理器41中的运算数据，以及与硬盘等外部存储器422交换的数据，处理器41通过内存421与外部存储器422进行数据交换，当电子设备400运行时，处理器41与存储器42之间通过总线43通信，使得处理器41执行以下指令：基于预设负载，确定目标神经网络对应的多个通道数配置方案；其中，每个通道数配置方案均包括所述目标神经网络中各个网络层所包括的通道数；针对每个通道数配置方案，基于预设自由权重和该通道数配置方案中各个网络层所包括的通道数，确定该通道数配置方案下的多种神经网络结构；基于每个通道数配置方案下的每种神经网络结构对应的测量精度，确定所述目标神经网络中各个网络层所包括的目标通道数；基于所述目标神经网络中各个网络层所包括的目标通道数，生成所述目标神经网络。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的神经网络生成方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本申请实施例所提供的神经网络生成的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的神经网络生成方法的步骤，具体可参见上述方法实施例，在此不再赘述。

本申请实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (17)

1.一种神经网络生成方法，其特征在于，包括：

基于预设负载，确定目标神经网络对应的多个通道数配置方案；其中，每个通道数配置方案均包括所述目标神经网络中各个网络层所包括的通道数；所述预设负载用于根据待生成的目标神经网络所在的设备的计算能力进行确定；

针对每个通道数配置方案，基于预设自由权重和该通道数配置方案中各个网络层所包括的通道数，确定该通道数配置方案下的多种神经网络结构；

基于每个通道数配置方案下的每种神经网络结构对应的测量精度，确定所述目标神经网络中各个网络层所包括的目标通道数；

基于所述目标神经网络中各个网络层所包括的目标通道数，生成所述目标神经网络，所述目标神经网络适用于小型化设备和/或便携式设备。

2.根据权利要求1所述的神经网络生成方法，其特征在于，确定所述多种神经网络结构，包括：

针对每个通道数配置方案，基于所述预设自由权重和该通道数配置方案中各个网络层所包括的通道数，确定该通道数配置方案下，各个网络层中的自由通道区；其中，所述自由通道区包括对应的网络层中的多个通道；

基于所述预设自由权重，从各个自由通道区中分别为对应的网络层选取目标通道，形成该通道数配置方案下的多种神经网络结构。

3.根据权利要求2所述的神经网络生成方法，其特征在于，所述基于所述预设自由权重，从各个自由通道区中分别为对应的网络层选取目标通道，形成该通道数配置方案下的多种神经网络结构，包括：

基于所述预设自由权重，确定所述目标通道在所述自由通道区中多种可选位置信息；其中，不同网络层中的自由通道区包括相同数量的通道；

针对每种可选位置信息，分别在各个网络层的自由通道区中，按照该可选位置信息选取目标通道，并基于选取的各个网络层中的所述目标通道，形成与该可选位置信息相对应的神经网络结构。

4.根据权利要求3所述的神经网络生成方法，其特征在于，所述基于选取的各个网络层中的所述目标通道，形成与该可选位置信息相对应的神经网络结构，包括：

基于所述预设自由权重和该通道数配置方案中各个网络层所包括的通道数，确定该通道数配置方案下，各个网络层中的基本通道区；其中，所述基本通道区包括对应的网络层中的至少一个通道；

基于各个网络层中的基本通道区和各个网络层中的目标通道，形成与该可选位置信息相对应的神经网络结构。

5.根据权利要求1至4任一项所述的神经网络生成方法，其特征在于，在确定所述多种神经网络结构之后，还包括：

基于各个通道数配置方案下的各种神经网络结构，构造超网络；

基于所述超网络，确定每个通道数配置方案下的每种神经网络结构对应的测量精度。

6.根据权利要求1至4任一项所述的神经网络生成方法，其特征在于，所述基于每个通道数配置方案下的每种神经网络结构对应的测量精度，确定所述目标神经网络中各个网络层所包括的目标通道数，包括：

针对每个通道数配置方案，基于该通道数配置方案下每种神经网络结构的测量精度，确定该通道数配置方案对应的神经网络测量精度；

将最高的神经网络测量精度对应的通道数配置方案中，各个网络层所包括的通道数作为所述目标神经网络中各个网络层所包括的目标通道数。

7.根据权利要求1至4任一项所述的神经网络生成方法，其特征在于，在确定了所述目标神经网络中各个网络层所包括的目标通道数之后，还包括：

获取新的预设负载，并基于所述新的预设负载确定目标神经网络对应的多个新的通道数配置方案；所述新的预设负载小于前一次迭代中的预设负载，所述前一次迭代是前一次确定所述目标神经网络中各个网络层所包括的目标通道数的过程；

对每个新的通道数配置方案，基于预设自由权重、该新的通道数配置方案中各个网络层所包括的通道数、和在前一次迭代中的预设负载下所述目标神经网络中各个网络层所包括的目标通道数，确定该新的通道数配置方案下的多种神经网络结构；

基于每个新的通道数配置方案下的每种神经网络结构对应的测量精度，确定新的预设负载下，所述目标神经网络中各个网络层所包括的目标通道数。

8.根据权利要求7所述的神经网络生成方法，其特征在于，所述基于预设自由权重、该新的通道数配置方案中各个网络层所包括的通道数、和在前一次迭代中的预设负载下所述目标神经网络中各个网络层所包括的目标通道数，确定该新的通道数配置方案下的多种神经网络结构，包括：

基于在前一次迭代中的预设负载下所述目标神经网络中各个网络层所包括的目标通道数，确定当次迭代中各个网络层对应的可选通道区；

基于各个网络层对应的可选通道区、预设自由权重、该新的通道数配置方案中各个网络层所包括的通道数，确定该新的通道数配置方案下的多种神经网络结构。

9.根据权利要求1至4任一项所述的神经网络生成方法，其特征在于，所述基于所述目标神经网络中各个网络层所包括的目标通道数，生成目标神经网络，包括：

基于各个网络层所包括的目标通道数，对所述目标神经网络进行训练，确定所述目标神经网络中各个网络层所包括的通道的位置，以及每个通道对应的参数信息，得到训练好的目标神经网络。

10.根据权利要求1至4任一项所述的神经网络生成方法，其特征在于，在确定多个通道数配置方案之前，还包括：

针对所述目标神经网络的每个网络层，确定该网络层中的单个通道对所述目标神经网络的测量精度的影响度信息；

基于所述影响度信息，确定该网络层中每个通道组包括的单个通道的数量；

基于确定的所述数量，对该网络层中的单个通道进行分割，得到多个通道组；

将得到通道组作为该网络层中新的通道。

11.一种神经网络生成装置，其特征在于，包括：

通道设计模块，用于基于预设负载，确定目标神经网络对应的多个通道数配置方案；其中，每个通道数配置方案均包括所述目标神经网络中各个网络层所包括的通道数；所述预设负载用于根据待生成的目标神经网络所在的设备的计算能力进行确定；

网络构建模块，用于针对每个通道数配置方案，基于预设自由权重和该通道数配置方案中各个网络层所包括的通道数，确定该通道数配置方案下的多种神经网络结构；

通道确定模块，用于基于每个通道数配置方案下的每种神经网络结构对应的测量精度，确定所述目标神经网络中各个网络层所包括的目标通道数；

网络生成模块，用于基于所述目标神经网络中各个网络层所包括的目标通道数，生成所述目标神经网络，所述目标神经网络适用于小型化设备和/或便携式设备。

12.根据权利要求11所述的神经网络生成装置，其特征在于，所述网络构建模块在确定所述多种神经网络结构时，用于：

针对每个通道数配置方案，基于所述预设自由权重和该通道数配置方案中各个网络层所包括的通道数，确定该通道数配置方案下，各个网络层中的自由通道区；其中，所述自由通道区包括对应的网络层中的多个通道；

基于所述预设自由权重，从各个自由通道区中分别为对应的网络层选取目标通道，形成该通道数配置方案下的多种神经网络结构。

13.根据权利要求11或12所述的神经网络生成装置，其特征在于，所述通道确定模块在基于每个通道数配置方案下的每种神经网络结构对应的测量精度，确定所述目标神经网络中各个网络层所包括的目标通道数时，用于：

针对每个通道数配置方案，基于该通道数配置方案下每种神经网络结构的测量精度，确定该通道数配置方案对应的神经网络测量精度；

将最高的神经网络测量精度对应的通道数配置方案中，各个网络层所包括的通道数作为所述目标神经网络中各个网络层所包括的目标通道数。

14.根据权利要求11或12所述的神经网络生成装置，其特征在于，

所述通道设计模块还用于获取新的预设负载，并基于所述新的预设负载确定目标神经网络对应的多个新的通道数配置方案；所述新的预设负载小于前一次迭代中的预设负载，所述前一次迭代是前一次确定所述目标神经网络中各个网络层所包括的目标通道数的过程；

所述网络构建模块还用于，对每个新的通道数配置方案，基于预设自由权重、该新的通道数配置方案中各个网络层所包括的通道数、和在前一次迭代中的预设负载下所述目标神经网络中各个网络层所包括的目标通道数，确定该新的通道数配置方案下的多种神经网络结构；

所述通道确定模块还用于，基于每个新的通道数配置方案下的每种神经网络结构对应的测量精度，确定新的预设负载下，所述目标神经网络中各个网络层所包括的目标通道数。

15.根据权利要求11或12所述的神经网络生成装置，其特征在于，所述通道设计模块在确定多个通道数配置方案之前，还用于：

针对所述目标神经网络的每个网络层，确定该网络层中的单个通道对所述目标神经网络的测量精度的影响度信息；

基于所述影响度信息，确定该网络层中每个通道组包括的单个通道的数量；

基于确定的所述数量，对该网络层中的单个通道进行分割，得到多个通道组；

将得到通道组作为该网络层中新的通道。

16.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至10任一所述的神经网络生成方法的步骤。

17.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至10任一所述的神经网络生成方法的步骤。