CN111461306B - 特征评估的方法及装置 - Google Patents

Abstract

本申请实施例提供一种特征评估的方法及装置，涉及深度学习技术领域，具体包括：电子设备针对第一样本集的任意一个样本，利用替换算子每次替换任意一个样本的其中一个特征的特征属性，得到多个替换样本；获取多个替换样本中的特征属性在神经网络模型中对应的向量值；进而计算得到各替换样本的预测结果；根据各替换样本的预测结果与各样本的实际值的差异情况，确定各特征的权重。本申请实施例中，可以基于电子设备与运行神经网络模型的设备的线上交互，以及电子设备本身的计算资源实现特征重要度的计算，对资源的占用较少。

Description

特征评估的方法及装置

技术领域

本申请涉及深度学习技术领域，尤其涉及一种特征评估的方法及装置。

背景技术

在计算机视觉、语音识别和机器人等人工智能应用中，广泛使用了深度神经网络(deep neural networks，DNN)模型，深度神经网络模型可以使用统计学习方法从样本中提取高层特征，实现预估或分类等。具体应用中，如果有效的特征输入到深度神经网络模型模型中，可以帮助深度神经网络模型模型更加准确、快速的刻画对象，提供精准的预估或者分类等。但是随着外界条件的变化等，有效特征可能发生变化，或者在用户侧不再有效，则深度神经网络模型将无法提供精准的预估或者分类等。因此，需要通过拆解每个特征输入神经元对模型输出的影响，评估特征重要程度，进而对特征进行优化等。

现有技术中，对深度神经网络模型进行特征重要度评估方案是在模型训练中计算得到。具体的，深度神经网络模型在高并发的分布式集群上训练时，通过篡改训练样本中特征取值的方式来实现上述方案，完成特征重要度评估。

但是在模型训练的过程中完成特征重要度评估的代价较高，因为如果要对训练样本进行篡改，要有一个独立的训练任务来进行计算，需要耗费和常规模型训练任务同等量级的资源。

发明内容

本申请实施例提供一种特征评估的方法及装置，以解决现有技术中完成特征重要度评估的代价较高的技术问题。

本申请实施例第一方面提供一种特征评估的方法，包括：

获取第一样本集，所述第一样本集中的任意一个样本包括多个特征以及所述样本的特征属性，所述样本的特征属性用于描述所述特征；针对所述第一样本集的任意一个样本，利用替换算子每次替换所述任意一个样本的其中一个特征的特征属性，得到所述任意一个样本的多个替换样本；获取所述多个替换样本的特征属性在神经网络模型中对应的向量值；所述神经网络模型为采用第二样本集训练得到的，所述第一样本集与所述第二样本集无交集；依据所述向量值计算各所述替换样本在所述神经网络模型的输入值；对各所述替换样本在所述神经网络模型的输入值进行向量计算，得到各所述替换样本的预测结果；根据各所述替换样本的预测结果与各所述样本的实际值的差异情况，确定各所述特征的权重。这样，可以在神经网络模型训练完成后，基于电子设备与运行神经网络模型的设备的线上交互，以及电子设备本身的计算资源实现特征的重要度的计算，对资源的占用较少。

可选的，所述获取所述多个替换样本的特征属性在神经网络模型中对应的向量值包括：向运行所述神经网络模型的设备发送查询请求；所述查询请求中包括所述多个替换样本中的特征属性；所述神经网络模型中包括所述多个替换样本的特征属性与向量值的对应关系；从运行所述神经网络模型的设备获取所述向量值。

可选的，所述电子设备不同于运行所述神经网络模型的设备。这样可以将特征重要度的评估本地化，与和模型训练框架解耦，可以节约资源，以及可以支持水平扩容等。

可选的，所述依据所述向量值计算各所述替换样本在所述神经网络模型的输入值，包括：对于任一个所述替换样本，采用与所述替换样本的特征属性对应的向量值替换所述替换样本的特征属性，得到所述替换样本在所述神经网络模型的输入值。

可选的，所述根据各所述替换样本的预测结果与各所述样本的实际值的差异情况，确定各所述特征的权重包括：根据各所述替换样本的预测结果与各所述样本的实际值，计算各所述替换样本的曲线下面积AUC值；将各所述替换样本的AUC值反向排序，得到各所述特征的权重。

可选的，还包括：周期性确定各所述特征的权重，在各所述特征的权重的波动小于波动阈值的情况下，指示降低所述神经网络模型的更新频率。这样，可以节约神经网络模型的训练资源，降低神经网络模型运行维护的成本。

可选的，还包括：在更新所述神经网络模型时，在更新样本中删除重要度低于阈值的特征。从而可以减少训练神经网络模型时的计算量，提升训练效率。

可选的，还包括：在用户界面显示各所述特征的权重。则用户可以根据用户界面的显示，观察各特征对模型效果的重要程度，进而可以将长期排名处于较低水平的特征进行删除从而节省应用系统计算资源。

本申请实施例第二方面提供一种特征评估的装置，包括：

获取模块，用于获取第一样本集，所述第一样本集中的任意一个样本包括多个特征以及所述样本的特征属性，所述样本的特征属性用于描述所述特征；

替换模块，用于针对所述第一样本集的任意一个样本，利用替换算子每次替换所述任意一个样本的其中一个特征的特征属性，得到所述任意一个样本的多个替换样本；

所述获取模块，还用于获取所述多个替换样本的特征属性在神经网络模型中对应的向量值；所述神经网络模型为采用第二样本集训练得到的，所述第一样本集与所述第二样本集无交集；

计算模块，用于依据所述向量值计算各所述替换样本在所述神经网络模型的输入值；

所述计算模块，还用于对各所述替换样本在所述神经网络模型的输入值进行向量计算，得到各所述替换样本的预测结果；

所述计算模块，还用于根据各所述替换样本的预测结果与各所述样本的实际值的差异情况，确定各所述特征的权重。

可选的，所述获取模块具体用于：

向运行所述神经网络模型的设备发送查询请求；所述查询请求中包括所述多个替换样本中的特征属性；所述神经网络模型中包括所述多个替换样本的特征属性与向量值的对应关系；从运行所述神经网络模型的设备获取所述向量值。

可选的，所述电子设备不同于运行所述神经网络模型的设备。

可选的，所述计算模块具体用于：对于任一个所述替换样本，采用与所述替换样本的特征属性对应的向量值替换所述替换样本的特征属性，得到所述替换样本在所述神经网络模型的输入值。

可选的，所述计算模块具体用于：根据各所述替换样本的预测结果与各所述样本的实际值，计算各所述替换样本的曲线下面积AUC值；将各所述替换样本的AUC值反向排序，得到各所述特征的权重。

可选的，还包括：

指示模块，用于周期性确定各所述特征的权重，在各所述特征的权重的波动小于波动阈值的情况下，指示降低所述神经网络模型的更新频率。

可选的，还包括：

删除模块，用于在更新所述神经网络模型时，在更新样本中删除重要度低于阈值的特征。

可选的，还包括：

显示模块，用于在用户界面显示各所述特征的权重。

本申请实施例第三方面提供一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前述第一方面任一项所述的方法。

本申请实施例第四方面提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如前述第一方面中任一项所述的方法。

综上所述，本申请实施例相对于现有技术的有益效果：

本申请实施例中提供了一种特征评估的方法及装置，可以在神经网络模型训练完成后，基于电子设备与运行神经网络模型的设备的线上交互，以及电子设备本身的计算资源实现特征的权重的计算，对资源的占用较少。具体的，可以获取第一样本集，第一样本集中的任意一个样本包括多个特征以及样本的特征属性，样本的特征属性用于描述特征；针对第一样本集的任意一个样本，利用替换算子每次替换任意一个样本的其中一个特征的特征属性，得到多个替换样本；获取多个替换样本中的特征属性在神经网络模型中对应的向量值；神经网络模型为采用第二样本集训练得到的，第一样本集与第二样本集无交集；依据向量值计算各替换样本在神经网络模型的输入值；对各替换样本在神经网络模型的输入值进行向量计算，得到各替换样本的预测结果；根据各替换样本的预测结果与各样本的实际值的差异情况，确定各特征的权重。即本申请实施例中可以基于一台电子设备的计算资源实现特征重要度的获取，且在电子设备中，可以根据与神经网络模型的训练样本不同的样本计算特征的权重，不需要将新的样本与计算训练神经网络模型的样本组合计算，计算量较小，计算效率较高。

附图说明

图1为本申请实施例提供的神经网络模型的网络结构示意图；

图2为本申请实施例提供的特征评估的方法适用的系统架构示意图；

图3为本申请实施例提供的特征评估的方法的流程示意图；

图4为本申请实施例提供的特征评估的方法的场景示意图；

图5为本申请实施例提供的特征评估装置的结构示意图；

图6是用来实现本申请实施例的特征评估的方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

本申请实施例的方法可以应用于电子设备，例如终端或服务器，终端可以包括：手机、平板电脑、笔记本电脑、或者台式电脑等。本申请实施例对应用的具体设备不作具体限定。

本申请实施例所描述的第一样本集可以是用于训练神经网络模型的系统从网络或客户端等获取的，第一样本集可以存储在存储空间中，电子设备可以定期或随机从存储空间中获取第一样本集。

本申请实施例所描述的第二样本集可以用于训练神经网络模型的样本集。第一样本集与第二样本集无交集。一种可能的实现方式中，第二样本集的获取可以早于第一样本集，或者可以理解为，随之时间的推移，有新的样本产生，利用新的样本可以计算特征对神经网络模型的重要度。

本申请实施例所描述的样本的特征及特征属性可以根据实际的应用场景设定，例如，在统计用户对事件的点击率的应用场景中，样本的特征可以包括：年龄、性别、位置、用户设备型号等，特征的属性可以是特征对应的具体值，例如年龄的属性为具体的年岁值，性别的属性为男或女，等。本申请实施例对样本的特征、特征属性的具体值和数量不作具体限定。

本申请实施例所描述的替换算子可以采用随机替换的方式，每次替换样本中的一个特征的特征属性，从而可以根据第一样本集生成较多的替换样本，例如，第一样本集中有M个样本，每个样本有N个特征，则利用替换算子可以生成M*N个替换样本，因为每个替换样本中是对一个特征的向量值得替换，所以后续可以根据该替换样本的预测结果与样本实际值得差异情况，判定该替换样本中所替换的特征的权重(或称为重要度)。

本申请实施例所描述的特征属性在神经网络模型中对应的向量值，与具体的神经网络模型可以具有一一对应的关系，例如，对于同一个特征属性，在不同的神经网络模型中对应有不同的向量值。因此，本申请实施例中，可以基于与神经网络模型的线上交互，得到特征属性在神经网络模型的实时向量值，进而可以计算各特征对该神经网络模型的重要度。

本申请实施例所描述的电子设备中可以提供图形用户界面(graphical userinterface，GUI)，在图形用户界面中可以以曲线、文字、图形、表格或其他任意像是显示各特征的权重值等，本申请实施例对此不作具体限定。

本申请实施例所描述的神经网络模型可以是DNN模型，也可以是其他任意的神经网络模型，本申请实施例对此不作具体限定。示例性的，图1示出了一种DNN模型的网络结构示意图。DNN模型中存在多个隐层(hidden layer)，在输入层(input layer)获取的各个神经元特征槽位(slot，也可以称为特征)的特征值会经过隐层中大量神经元的处理和计算，最终由输出层(output layer)输出。这样的网络结构中特征值的传递和计算通常是不可见的。

对于DNN模型的特征重要度进行评估时，可能的方式为：对于一个有N个输入slot的模型，进行N次计算，每次顺序选取一个slot，在input layer层对选取的slot的输入进行混淆，随机替换为非本样本的相同slot的值。这样，如果一个slot对模型重要，那么它的值丢失、错乱会对模型最终的效果造成负面影响，模型最终的曲线下面积(area undercurve，AUC)越低，说明这个slot越重要，可以将所有特征全部替换完成之后，根据AUC的值进行反向排序，就得到了模型中特征中重要度的顺序。其中，AUC被定义为接收者操作特征曲线(receiver operating characteristic curve,ROC)曲线下与坐标轴围成的面积，该面积的数值不会大于1，且由于ROC曲线一般都处于y＝x这条直线的上方，所以AUC的取值范围在0.5和1之间。使用AUC值作为评价标准可以给出模型整体的效果，通过拆解每个特征输入神经元对模型最终的AUC贡献了多少，可以了解单一神经元对整体的影响效果。

通常的，对于DNN模型的特征重要度进行评估需要在模型训练框架中实现。例如，模型在高并发的分布式集群上训练时，可以通过篡改训练样本中slot取值的方式来实现上述方案，完成对slot维度的特征重要度评估。

但是在模型训练的过程中完成这个方案代价较高，因为模型训练的主要目的是为了使用真实的训练样本来获取最新的模型，如果要对训练样本进行篡改，势必要有一个独立的训练任务来进行计算，这就决定了在集群上进行大规模模型重要度评估，需要耗费和常规模型训练任务同等量级的资源，评估特征重要度的成本较高。

基于此，本申请实施例将特征评估的过程本地化，可以在神经网络模型训练完成后，基于电子设备与运行神经网络模型的设备的线上交互，以及电子设备本身的计算资源实现特征重要度的计算，对资源的占用较少。

示例性的，如图2所示，图2为本申请实施例提供的方法所适用的应用场景架构示意图。

本申请实施例中，电子设备11可以获取第一样本集，并计算得到第一样本集中各样本的替换样本，以及向运行神经网络模型的设备12发送查询请求，设备12可以是服务器集群等，例如可以包括服务器121至服务器12n(n为大于1的值)等，设备12可以获取查询请求中的特征属性值在神经网络模型中对应的向量值，设备12向电子设备11发送向量值，电子设备可以依据向量值计算得到各替换样本在神经网络模型对应的输入值，以及根据各替换样本在神经网络模型对应的输入值进行向量计算，得到各替换样本的预测结果，进而根据各替换样本的预测结果与各样本的实际值的差异情况，确定各特征对神经网络模型的重要度。

即本申请实施例中可以基于一台电子设备的计算资源实现特征重要度的计算，且在电子设备中，可以根据与神经网络模型的训练样本不同的样本计算特征的权重，不需要将新的样本与计算训练神经网络模型的样本组合计算，计算量较小，计算效率较高。

如图3所示，图3为本申请实施例提供的特征评估的方法的流程示意图。

该方法具体可以包括：

S101：获取第一样本集，所述第一样本集中的任意一个样本包括多个特征以及所述样本的特征属性，所述样本的特征属性用于描述所述特征。

本申请实施例中，神经网络模型可以是周期性更新的，例如，按照一定的周期，结合新的样本对神经网络模型进行训练，在应用系统中可以运行最新训练的神经网络模型。用于收集神经网络模型训练样本的设备可以依据一定的条件收集新产生的样本，以及将新的样本存储在存储空间或数据库等位置。

本申请实施例的电子设备可以在存储新样本的存储空间中获取多个新样本得到第一样本集。例如，电子设备可以定期查询该存储空间，在该存储空间中有新样本时，可以从存储空间中获取新样本得到第一样本集。

示例性的，以统计用户对事件的点击率的应用场景为例，第一样本集中的样本的特征可以包括：年龄和性别，年龄的属性为具体的年岁值，性别的属性为男或女，样本中还可以包括该用户对事件的实际点击率。

S102：针对所述第一样本集的任意一个样本，利用替换算子每次替换所述任意一个样本的其中一个特征的特征属性，得到所述任意一个样本的多个替换样本。

本申请实施例中，针对第一样本集的任意一个样本，可以采用替换算子每次替换一个特征的特征属性的方式，得到该样本的多个替换样本。替换的方式可以是随机的。

示例性的，以第一样本集的其中一个样本中，特征和特征的属性包括：年龄20，性别女，则可以得到两个替换样本。例如，替换特征“年龄”后得到的替换样本为“年龄40，性别女”，替换特征“性别”后得到的替换样本为“年龄20，性别男”。

S103：获取所述多个替换样本的特征属性在神经网络模型中对应的向量值；所述神经网络模型为采用第二样本集训练得到的，所述第一样本集与所述第二样本集无交集。

本申请实施例中，神经网络模型可以采用任意可能的训练方式得到，本申请实施例对此不作具体限定，第一样本集与用于训练神经网络模型的第二样本集没有交集，即采用新的样本验证各特征对神经网络模型的重要度。

本申请实施例中，电子设备可以与运行神经网络模型的设备线上交互，查询多个替换样本中的特征属性在神经网络模型中对应的向量值。例如，电子设备可以向运行神经网络模型的设备发送查询请求；查询请求中包括多个替换样本中的特征属性；神经网络模型中包括特征属性与向量值的对应关系；进而电子设备可以从运行神经网络模型的设备获取相应的向量值。其中，具体的特征属性和具体的向量值可以根据实际应用场景确定，本申请实施例不作具体限定。

S104：依据所述向量值计算各所述替换样本在所述神经网络模型的输入值。

本申请实施例中，电子设备获取到替换样本中的特征属性在神经网络模型中对应的向量值，因此可以基于向量值得到各替换样本在所述神经网络模型的输入值。

一种可能的实现方式中，对于任一个替换样本，采用与替换样本的特征属性对应的向量值替换替换样本的特征属性，可以得到替换样本在神经网络模型的输入值。

S105：对各所述替换样本在所述神经网络模型的输入值进行向量计算，得到各所述替换样本的预测结果。

本申请实施例中，可以采用可以实现的任意方式对替换样本在神经网络模型的输入值进行向量计算，得到各替换样本的预测结果。由于向量计算是较为惯用的方式，本申请实施例在此不再赘述。

S106：根据各所述替换样本的预测结果与各所述样本的实际值的差异情况，确定各所述特征的权重。

本申请实施例中，如果替换样本的预测结果与样本的实际值差异较大，则可以说明替换样本中替换了属性的特征对神经网络模型的重要度较高。如果替换样本的预测结果与样本的实际值差异较小，则可以说明替换样本中替换了属性的特征对神经网络模型的重要度较低。从而可以得到各特征的权重。

一种可能的实现方式中，可以根据各替换样本的预测结果与各样本的实际值，计算各替换样本的AUC值；将各替换样本的AUC值反向排序，得到各特征的权重。由于AUC值计算是较为惯用的方式，本申请实施例在此不再赘述。

综上所述，本申请实施例中提供了一种特征评估的方法及装置，可以在神经网络模型训练完成后，基于电子设备与运行神经网络模型的设备的线上交互，以及电子设备本身的计算资源实现特征重要度的计算，对资源的占用较少。具体的，可以获取第一样本集，第一样本集中的任一个样本中包括多个特征以及样本的特征属性，样本的特征属性用于描述特征；针对第一样本集的任意一个样本，利用替换算子每次替换任意一个样本的其中一个特征的特征属性，得到多个替换样本；获取多个替换样本中的特征属性在神经网络模型中对应的向量值；神经网络模型为采用第二样本集训练得到的，第一样本集与第二样本集无交集；依据向量值计算各替换样本在神经网络模型的输入值；对各替换样本在神经网络模型的输入值进行向量计算，得到各替换样本的预测结果；根据各替换样本的预测结果与各样本的实际值的差异情况，确定各特征的权重。即本申请实施例中可以基于一台电子设备的计算资源实现特征重要度的获取，且在电子设备中，可以根据与神经网络模型的训练样本不同的样本计算特征的权重，不需要将新的样本与计算训练神经网络模型的样本组合计算，计算量较小，计算效率较高。

在图3对应的实施例的基础上，一种可能的实现方式中，还可以：周期性确定各所述特征的权重，在各所述特征的权重的波动小于波动阈值的情况下，指示降低所述神经网络模型的更新频率。

本申请实施例中，可以采用图3对应的实施例中描述的特征重要度的计算方法，周期性计算各特征的权重，如果各特征的权重在几次计算中的波动不大，例如波动小于波动阈值(波动阈值可以根据实际情况设定，本申请实施例不作具体限定)，则说明神经网络模型较为稳定，可以通过文字、图像或语音等方式指示用户降低神经网络模型的更新频率，从而可以节约神经网络模型的训练资源，降低神经网络模型运行维护的成本。

在图3对应的实施例的基础上，一种可能的实现方式中，还可以：在更新所述神经网络模型时，在更新样本中删除重要度低于阈值的特征。

本申请实施例中，对于重要度较低的特征，对神经网络模型的训练的意义不大，则可以在更新神经网络模型时，在更新样本中重要度低于阈值的特征，从而可以减少训练神经网络模型时的计算量，提升训练效率。

在图3对应的实施例的基础上，一种可能的实现方式中，还可以：在用户界面显示各所述特征的权重。

本申请实施例中，在用户界面中可以采用曲线、文字、图形、表格或其他任意像是显示各特征的权重等，本申请实施例对此不作具体限定。则用户可以根据用户界面的显示，观察各特征对模型效果的重要程度，进而可以将长期排名处于较低水平的特征进行删除从而节省应用系统计算资源。

图4为本申请实施例的一种具体的特征评估的方法的场景示意图。如图4所示。

在时间X时，利用集群设备和样本X进行模型训练，得到神经网络模型，并在应用系统中运行神经网络模型。

在时间X+1时，获取到新的、当前未训练样本集的样本X+1，通过替换算子可以将样本X+1中各特征的属性分别替换，生成替换后的样本集，每个替换后的样本中有一个特征的属性与替换前样本不同，进一步从模型中获取替换后的特征属性的向量值，以及通过DNN网络计算得到各替换样本的预测结果，在特征维度通过AUC算子计算AUC值，计算后的AUC值可以写入存储库，并进一步可以进行特征重要度显示、特征调研，或模型延迟分析等，本申请实施例对此不作具体限定。

本申请实施例中，执行特征重要度评估方法的电子设备可以不同于运行神经网络模型的设备，从而可以将特征重要度的评估本地化、单机化，和模型训练框架解耦，不需要依赖分布式的参数服务器(parameter server)。在真实的业务中，通常的，一个模型的完整评估需要消耗200台集群资源进行15小时的计算；而使用本申请实施例中，可以用一台物理机在30分钟就完成相同模型的特征重要度评估，且经过大规模的数据对比，两种方案的评估结论一致，模型AUC的差异在万分位(0.0001)，完全达到了预期的效果。且本申请实施例中，由于整个评估方案在本地进行，所有的样本数据可以进行抽样裁剪，在保证置信度的前提下，可以任意压缩样本量减少评估时间，同时传统的大规模集群训练的方式改为在线访问离散特征值词典，可以从量级上减少耗时，从而可以达到高效评估的目的。目前应用在真实的推荐系统中，将这个过程从10小时缩短至30分钟。且本申请实施例中，可以在模型迭代时触发特征重要度计算，在下一次迭代时计算完成，结果可视化展示每个版本的重要度结果，有力的支撑应用系统从中提升效益。且本申请实施例中为CPU计算，可以支持水平扩容，增加本地的CPU资源即可对评估容量进行扩容，提升计算速度。

图5为本申请提供的特征评估的装置一实施例的结构示意图。如图5所示，本实施例提供的特征评估的装置包括：

获取模块51，用于获取第一样本集，所述第一样本集中的任意一个样本包括多个特征以及所述样本的特征属性，所述样本的特征属性用于描述所述特征；

替换模块52，用于针对所述第一样本集的任意一个样本，利用替换算子每次替换所述任意一个样本的其中一个特征的特征属性，得到所述任意一个样本的多个替换样本；

所述获取模块51，还用于获取所述多个替换样本的特征属性在神经网络模型中对应的向量值；所述神经网络模型为采用第二样本集训练得到的，所述第一样本集与所述第二样本集无交集；

计算模块53，用于依据所述向量值计算各所述替换样本在所述神经网络模型的输入值；

所述计算模块53，还用于对各所述替换样本在所述神经网络模型的输入值进行向量计算，得到各所述替换样本的预测结果；

所述计算模块53，还用于根据各所述替换样本的预测结果与各所述样本的实际值的差异情况，确定各所述特征的权重。

可选的，所述获取模块具体用于：

向运行所述神经网络模型的设备发送查询请求；所述查询请求中包括所述多个替换样本中的特征属性；所述神经网络模型中包括所述多个替换样本的特征属性与向量值的对应关系；从运行所述神经网络模型的设备获取所述向量值。

可选的，所述电子设备不同于运行所述神经网络模型的设备。

可选的，所述计算模块具体用于：对于任一个所述替换样本，采用与所述替换样本的特征属性对应的向量值替换所述替换样本的特征属性，得到所述替换样本在所述神经网络模型的输入值。

可选的，所述计算模块具体用于：根据各所述替换样本的预测结果与各所述样本的实际值，计算各所述替换样本的曲线下面积AUC值；将各所述替换样本的AUC值反向排序，得到各所述特征的权重。

可选的，还包括：

指示模块，用于周期性确定各所述特征的权重，在各所述特征的权重的波动小于波动阈值的情况下，指示降低所述神经网络模型的更新频率。

可选的，还包括：

删除模块，用于在更新所述神经网络模型时，在更新样本中删除重要度低于阈值的特征。

可选的，还包括：

显示模块，用于在用户界面显示各所述特征的权重。

本申请实施例中提供了一种特征评估的方法及装置，可以在神经网络模型训练完成后，基于电子设备与运行神经网络模型的设备的线上交互，以及电子设备本身的计算资源实现特征重要度的计算，对资源的占用较少。具体的，可以获取第一样本集，第一样本集中的任一个样本中包括多个特征以及样本的特征属性，样本的特征属性用于描述特征；针对第一样本集的任意一个样本，利用替换算子每次替换任意一个样本的其中一个特征的特征属性，得到多个替换样本；获取多个替换样本中的特征属性在神经网络模型中对应的向量值；神经网络模型为采用第二样本集训练得到的，第一样本集与第二样本集无交集；依据向量值计算各替换样本在神经网络模型的输入值；对各替换样本在神经网络模型的输入值进行向量计算，得到各替换样本的预测结果；根据各替换样本的预测结果与各样本的实际值的差异情况，确定各特征的权重。即本申请实施例中可以基于一台电子设备的计算资源实现特征重要度的获取，且在电子设备中，可以根据与神经网络模型的训练样本不同的样本计算特征的权重，不需要将新的样本与计算训练神经网络模型的样本组合计算，计算量较小，计算效率较高。

本申请各实施例提供的特征评估的装置可用于执行如前述各对应的实施例所示的方法，其实现方式与原理相同，不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图6所示，是根据本申请实施例的特征评估的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。

存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的特征评估的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的特征评估的方法。

存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的特征评估的方法对应的程序指令/模块(例如，附图5所示的获取模块51、替换模块52和计算模块53)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的特征评估的方法。

存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据特征评估的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至特征评估的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

特征评估的方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。

输入装置603可接收输入的数字或字符信息，以及产生与特征评估的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，可以在神经网络模型训练完成后，基于电子设备与运行神经网络模型的设备的线上交互，以及电子设备本身的计算资源实现特征重要度的计算，对资源的占用较少。具体的，可以获取第一样本集，第一样本集中的任一个样本中包括：多个特征以及样本的特征属性，样本的特征属性用于描述特征；针对第一样本集的任意一个样本，利用替换算子每次替换任意一个样本的其中一个特征的特征属性，得到多个替换样本；获取多个替换样本中的特征属性在神经网络模型中对应的向量值；神经网络模型为采用第二样本集训练得到的，第一样本集与第二样本集无交集；依据向量值计算各替换样本在神经网络模型的输入值；对各替换样本在神经网络模型的输入值进行向量计算，得到各替换样本的预测结果；根据各替换样本的预测结果与各样本的实际值的差异情况，确定各特征的权重。即本申请实施例中可以基于一台电子设备的计算资源实现特征重要度的获取，且在电子设备中，可以根据与神经网络模型的训练样本不同的样本计算特征的权重，不需要将新的样本与计算训练神经网络模型的样本组合计算，计算量较小，计算效率较高。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (18)

1.一种特征评估的方法，其特征在于，应用于电子设备，所述方法包括：

获取第一样本集，所述第一样本集中的任意一个样本包括多个特征以及所述样本的特征属性，所述样本的特征属性用于描述所述特征；

针对所述第一样本集的任意一个样本，利用替换算子每次替换所述任意一个样本的其中一个特征的特征属性，得到所述任意一个样本的多个替换样本；

获取所述多个替换样本的特征属性在神经网络模型中对应的向量值；所述神经网络模型为采用第二样本集训练得到的，所述第一样本集与所述第二样本集无交集；

依据所述向量值计算各所述替换样本在所述神经网络模型的输入值；

对各所述替换样本在所述神经网络模型的输入值进行向量计算，得到各所述替换样本的预测结果；

根据各所述替换样本的预测结果与各所述样本的实际值的差异情况，确定各所述特征的权重。

2.根据权利要求1所述的方法，其特征在于，所述获取所述多个替换样本的特征属性在神经网络模型中对应的向量值包括：

向运行所述神经网络模型的设备发送查询请求；所述查询请求中包括所述多个替换样本的特征属性；所述神经网络模型中包括所述多个替换样本的特征属性与向量值的对应关系；

从运行所述神经网络模型的设备获取所述向量值。

3.根据权利要求2所述的方法，其特征在于，所述电子设备不同于运行所述神经网络模型的设备。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述依据所述向量值计算各所述替换样本在所述神经网络模型的输入值，包括：

对于任一个所述替换样本，采用与所述替换样本的特征属性对应的向量值替换所述替换样本的特征属性，得到所述替换样本在所述神经网络模型的输入值。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述根据各所述替换样本的预测结果与各所述样本的实际值的差异情况，确定各所述特征的权重包括：

根据各所述替换样本的预测结果与各所述样本的实际值，计算各所述替换样本的曲线下面积AUC值；

将各所述替换样本的AUC值反向排序，得到各所述特征的权重。

6.根据权利要求1-3任一项所述的方法，其特征在于，还包括：

周期性确定各所述特征的权重，在各所述特征的权重的波动小于波动阈值的情况下，指示降低所述神经网络模型的更新频率。

7.根据权利要求1-3任一项所述的方法，其特征在于，还包括：

在更新所述神经网络模型时，在更新样本中删除重要度低于阈值的特征。

8.根据权利要求1-3任一项所述的方法，其特征在于，还包括：

在用户界面显示各所述特征的权重。

9.一种特征评估的装置，其特征在于，应用于电子设备，包括：

获取模块，用于获取第一样本集，所述第一样本集中的任意一个样本包括多个特征以及所述样本的特征属性，所述样本的特征属性用于描述所述特征；

替换模块，用于针对所述第一样本集的任意一个样本，利用替换算子每次替换所述任意一个样本的其中一个特征的特征属性，得到所述任意一个样本的多个替换样本；

所述获取模块，还用于获取所述多个替换样本的特征属性在神经网络模型中对应的向量值；所述神经网络模型为采用第二样本集训练得到的，所述第一样本集与所述第二样本集无交集；

计算模块，用于依据所述向量值计算各所述替换样本在所述神经网络模型的输入值；

所述计算模块，还用于对各所述替换样本在所述神经网络模型的输入值进行向量计算，得到各所述替换样本的预测结果；

所述计算模块，还用于根据各所述替换样本的预测结果与各所述样本的实际值的差异情况，确定各所述特征的权重。

10.根据权利要求9所述的装置，其特征在于，所述获取模块具体用于：

向运行所述神经网络模型的设备发送查询请求；所述查询请求中包括所述多个替换样本的特征属性；所述神经网络模型中包括所述多个替换样本的特征属性与向量值的对应关系；从运行所述神经网络模型的设备获取所述向量值。

11.根据权利要求10所述的装置，其特征在于，所述电子设备不同于运行所述神经网络模型的设备。

12.根据权利要求9-11任一项所述的装置，其特征在于，所述计算模块具体用于：对于任一个所述替换样本，采用与所述替换样本的特征属性对应的向量值替换所述替换样本的特征属性，得到所述替换样本在所述神经网络模型的输入值。

13.根据权利要求9-11任一项所述的装置，其特征在于，所述计算模块具体用于：根据各所述替换样本的预测结果与各所述样本的实际值，计算各所述替换样本的曲线下面积AUC值；将各所述替换样本的AUC值反向排序，得到各所述特征的权重。

14.根据权利要求9-11任一项所述的装置，其特征在于，还包括：

指示模块，用于周期性确定各所述特征的权重，在各所述特征的权重的波动小于波动阈值的情况下，指示降低所述神经网络模型的更新频率。

15.根据权利要求9-11任一项所述的装置，其特征在于，还包括：

删除模块，用于在更新所述神经网络模型时，在更新样本中删除重要度低于阈值的特征。

16.根据权利要求9-11任一项所述的装置，其特征在于，还包括：

显示模块，用于在用户界面显示各所述特征的权重。

17.一种电子设备，其特征在于，包括：

至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-8任一项所述的方法的指令。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，计算机指令用于使所述计算机执行如权利要求1-8任一项所述的方法。

Images