CN106033554A - 一种基于分段的两级深度学习模型的大数据处理方法 - Google Patents

Abstract

本发明提供了一种基于分段的两级深度学习模型的大数据处理方法，所述方法包括：步骤1)构建并训练基于分段的两级深度学习模型，该模型从纵向层次上分为两级：第一级和第二级；所述第一级的各层从横向上分为M段；第一级中不同段间相邻层的神经元节点间权重为0；步骤2)将待处理的大数据按照数据的类型分为M个子集，分别输入基于分段的两级深度学习模型的第一层的M段进行处理；步骤3)输出大数据处理结果。本发明提出的基于分段的两级深度学习模型能够有效地减小了模型规模，缩短了模型的训练时间；本发明的方法能够提高大数据的处理速度，缩短处理时间。

Description

一种基于分段的两级深度学习模型的大数据处理方法

技术领域

本发明涉及人工智能和大数据领域，特别涉及一种基于分段的两级深度学习模型的大数据处理方法。

背景技术

随着网络技术的快速发展，数据的容量和多样性快速增加，而处理数据的算法复杂度却难以改善，如何高效处理大数据已经成为一个紧迫的难题。在现有的依赖个人经验和手工操作来描述数据、标注数据、选择特征、提取特征、处理数据的方法，已经很难满足大数据快速增长的需求。随着人工智能技术的快速发展，特别是深度学习算法的研究突破，为解决大数据处理问题指明了一个值得探索的方向。

Hinton等人在2006年提出了用于深度置信网的逐层初始化训练方法，这是深度学习方法的研究起点，该方法打破了持续了几十年的深度神经网络训练困难且效果不好的局面。此后，深度学习算法在图像识别、语音识别、自然语言理解等领域得到广泛的应用。深度学习是通过模拟人脑分层次的抽象，将底层数据逐层映射而获得更抽象的特征，由于它可以从大数据中自动提取特征，并通过海量的样本训练获得很好的处理效果，从而得到了广泛的关注。实际上，大数据的快速增长和深度学习的研究突破是相辅相成的，一方面大数据的快速增长需要一种高效处理海量数据的方法，另一方面深度学习模型的训练需要海量的样本数据。总之，大数据可以使深度学习的性能达到极致。

但是，现有的深度学习模型仍然存在很多严重的问题，例如：模型难以扩展、参数优化困难、训练时间过长、推理效率低下等。在2013年Bengio的一篇综述论文中，总结了目前深度学习所面临的挑战和难点，包括如何扩展现有的深度学习模型的规模，并应用到更大的数据集；如何减小参数优化困难；如何避免昂贵的推理和采样；以及如何解开变化因素等。

发明内容

本发明的目的在于克服在大数据应用中现有神经网络深度学习模型存在的上述问题，提出了基于分段的两级深度学习模型，通过对深度学习模型分级分段的处理，对跨段间的权重进行约束，提高了模型的扩展能力，基于该模型，本发明提出了一种基于分段的两级深度学习模型的大数据处理方法，该方法能够提高大数据的处理速度，缩短处理时间。

为了实现上述目的，本发明提出了一种基于分段的两级深度学习模型的大数据处理方法，所述方法包括：

步骤1)构建并训练基于分段的两级深度学习模型，该模型从纵向层次上分为两级：第一级和第二级；所述第一级的各层从横向上分为M段；其中，M为多模态输入的模态个数；第一级中不同段间相邻层的神经元节点间权重为0；

步骤2)将待处理的大数据按照数据的类型分为M个子集，分别输入基于分段的两级深度学习模型的第一层的M段进行处理；

步骤3)输出大数据处理结果。

上述技术方案中，所述步骤1)进一步包括：

步骤101)将深度为L层的深度学习模型从纵向层次上分为两级：第一级和第二级：

输入层为第一层，输出层为第L层，第L^*层为划分层，2≤L^*≤L-1；则从第一层到第L^*层间的所有层称为第一级，而第L^*+1层到第L层间的所有层称为第二级；

步骤102)将第一级内每层上的神经元节点从横向上分为M段：

设L层神经网络的输入宽度为N，即每层有N个神经元节点，第一级的神经元节点划分为M段，每一段的宽度为D_m，1≤m≤M，且并在同一段中，任意两层的宽度都相同；

步骤103)将训练样本划分为M个子集，分别输入深度学习模型的第一层的M段；

步骤104)分别对第一级的M段子模型进行训练：

第一级中不同段间相邻层的神经元节点间权重为0，即第m段的所有节点集合为S_m，第l-1层的任意节点为2≤l≤L^*，而第o段第l层的任意节点 $s_{j^{\left(o\right)},l}\∈S_o,$ 且m≠o，则节点和间权重 $w_{i^{\left(m\right)},j^{\left(o\right)},l}=0;$

在上述约束条件下，利用深度神经网络学习算法分别对第一级的M段子模型进行训练；

步骤105)对第二级的各层进行训练；

步骤106)通过深度神经网络学习算法对各层的网络参数进行全局微调，直到各层的网络参数达到最优值。

上述技术方案中，L*的取值方法为：在L^*的取值区间内通过交叉验证方法确定一个最优值。

本发明的优点在于：

1、本发明提出的基于分段的两级深度学习模型能够有效地减小了模型规模，缩短了模型的训练时间；

2、本发明提出的大数据处理方法支持多源异构或多模态的大数据的并行输入，提高了大数据的处理速度，缩短了处理时间。

附图说明

图1为本发明的基于分段的两级深度学习模型的大数据处理方法的流程图；

图2为基于分段的两级深度学习模型的示意图。

具体实施方式

以下结合附图对本发明的方法做进一步详细的描述。

如图1所示，一种基于分段的两级深度学习模型的大数据处理方法，包括：

步骤1)构建并训练基于分段的两级深度学习模型；包括：

步骤101)将深度为L层的深度学习模型从纵向上分为两级：第一级和第二级：

输入层为第一层，输出层为第L层，第L^*层为划分层，其中2≤L^*≤L-1，则从第一层到第L^*层间的所有层称为第一级，而第L^*+1层到第L层间的所有层称为第二级。

L*的取值方法为：在L^*的取值区间内通过交叉验证方法确定一个最优值。

步骤102)将第一级内每层上的神经元节点从横向上分为M段；其中，M为多模态输入的模态个数；

如图2所示，设L层神经网络的输入宽度为N，即每层有N个神经元节点，第一级的神经元节点划分为M段，每一段的宽度为D_m，1≤m≤M，且并在同一段中，任意两层的宽度都相同；

步骤103)将训练样本划分为M个子集，分别输入深度学习模型的第一层的M段；

步骤104)分别对第一级的M段子模型进行训练；

第一级中不同段间相邻层的神经元节点间权重为0，即第m段的所有节点集合为S_m，第l-1层的任意节点为2≤l≤L^*，而第o段第l层的任意节点 $s_{j^{\left(o\right)},l}\∈S_o,$ 且m≠o，则节点和间权重 $w_{i^{\left(m\right)},j^{\left(o\right)},l}=0;$

在上述约束条件下，利用深度神经网络学习算法分别对第一级的M段子模型进行训练。

步骤105)对第二级的各层进行训练；

步骤106)通过深度神经网络学习算法对各层的网络参数进行全局微调，直到各层的网络参数达到最优值；

所述深度神经网络学习算法为BP算法。

步骤2)将待处理的大数据按照数据的类型分为M个子集，分别输入基于分段的两级深度学习模型的第一层的M段进行处理；

步骤3)输出大数据处理结果。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种基于分段的两级深度学习模型的大数据处理方法，所述方法包括：

步骤1)构建并训练基于分段的两级深度学习模型，该模型从纵向层次上分为两级：第一级和第二级；所述第一级的各层从横向上分为M段；其中，M为多模态输入的模态个数；第一级中不同段间相邻层的神经元节点间权重为0；

步骤2)将待处理的大数据按照数据的类型分为M个子集，分别输入基于分段的两级深度学习模型的第一层的M段进行处理；

步骤3)输出大数据处理结果。

2.根据权利要求1所述的基于分段的两级深度学习模型的大数据处理方法，其特征在于，所述步骤1)进一步包括：

步骤101)将深度为L层的深度学习模型从纵向层次上分为两级：第一级和第二级：

输入层为第一层，输出层为第L层，第L^*层为划分层，2≤L^*≤L-1；则从第一层到第L^*层间的所有层称为第一级，而第L^*+1层到第L层间的所有层称为第二级；

步骤102)将第一级内每层上的神经元节点从横向上分为M段：

设L层神经网络的输入宽度为N，即每层有N个神经元节点，第一级的神经元节点划分为M段，每一段的宽度为D_m，1≤m≤M，且并在同一段中，任意两层的宽度都相同；

步骤103)将训练样本划分为M个子集，分别输入深度学习模型的第一层的M段；

步骤104)分别对第一级的M段子模型进行训练：

第一级中不同段间相邻层的神经元节点间权重为0，即第m段的所有节点集合为S_m，第l-1层的任意节点为2≤l≤L^*，而第o段第l层的任意节点 $s_{j^{\left(o\right)},l}\∈S_o,$ 且m≠o，则节点和间权重 $w_{i^{\left(m\right)},j^{\left(o\right)},l}=0;$

在上述约束条件下，利用深度神经网络学习算法分别对第一级的M段子模型进行训练；

步骤105)对第二级的各层进行训练；

步骤106)通过深度神经网络学习算法对各层的网络参数进行全局微调，直到各层的网络参数达到最优值。

3.根据权利要求2所述的基于分段的两级深度学习模型的大数据处理方法，其特征在于，所述L*的取值方法为：在L^*的取值区间内通过交叉验证方法确定一个最优值。