CN107783840B - 一种分布式多层深度学习资源分配方法和装置 - Google Patents
一种分布式多层深度学习资源分配方法和装置 Download PDFInfo
- Publication number
- CN107783840B CN107783840B CN201711021439.2A CN201711021439A CN107783840B CN 107783840 B CN107783840 B CN 107783840B CN 201711021439 A CN201711021439 A CN 201711021439A CN 107783840 B CN107783840 B CN 107783840B
- Authority
- CN
- China
- Prior art keywords
- unit
- neural network
- matrix
- configuration
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Information Transfer Between Computers (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种分布式多层深度学习资源分配方法和装置,通过将运算电路从本地终端设备到云端服务器设备分为不同层次,针对不同的任务请求的运算量,将任务请求对应分配至不同层次的运算电路中进行运算,从而兼顾运算量与运算实时性,较好地解决了当前终端算力不足与用户对运算实时性要求的矛盾,提升了用户体验。
Description
技术领域
本发明涉及神经网络技术领域,尤其涉及一种分布式多层深度学习资源分配方法和装置。
背景技术
随着深度学习神经网络技术的快速发展, 用户对深度学习的反馈实时性要求越来越高, 但是由于终端设备的计算能力有限而神经网络通常要求的运算力十分巨大, 因而运算过程一般放在服务器而非终端设备上进行,由于经过服务器计算得到的数据的传输和反馈受限于传输带宽,这就造成的运算过程实时性下降,影响用户体验。
发明内容
为此,需要提供一种分布式多层深度学习资源分配的技术方案,用以解决由于神经网络运算过程在服务器进行,导致运算实时性下降、延迟长、用户体验差的问题。
为实现上述目的,发明人提供了一种分布式多层深度学习资源分配装置,所述装置包括终端和服务器,所述终端包括任务需求确认单元、任务分配单元、记录单元、网络配置库存储单元、数据流分配单元、结果分析单元、本地神经网络单元;所述本地神经网络单元包括第一神经网络配置单元和第一可重构神经网络矩阵;所述记录单元包括网络结构记录单元和任务记录单元;所述服务器包括云端神经网络单元,所述云端神经网络单元包括第二神经网络配置单元和第二可重构神经网络矩阵;
所述任务需求确认单元用于接收一个或多个任务请求;
所述任务分配单元用于根据任务请求类型,确定从所述网络配置库存储单元中获取各个任务请求对应的神经网络结构参数配置信息并将神经网络结构参数配置信息与该参数配置信息对应的任务请求类型对应存储于网络结构记录单元;所述参数配置信息包括配置参数;
所述任务分配单元还用于确定任务请求分配策略,并根据任务请求分配策略,将各个任务请求以及对应的神经网络结构配置参数发送至本地神经网络单元或云端神经网络单元,并将任务请求与处理任务请求的神经网络单元的标识信息对应存储于任务记录单元;
所述第一神经网络配置单元用于根据接收到的神经网络结构配置参数配置第一可重构神经网络矩阵的参数初始值,并根据参数初始值进行神经网络训练,以及在训练完成后更新第一可重构神经网络矩阵的参数值;或者,所述第二神经网络配置单元用于根据接收到的神经网络结构配置参数配置第二可重构神经网络矩阵的参数初始值,并根据参数初始值进行神经网络训练,以及在训练完成后更新第二可重构神经网络矩阵的参数值;
所述数据流分配单元用于接收待测数据,确定数据处理分配策略,并根据数据处理分配策略将待测数据分配至训练完成的第一可重构神经网络矩阵所在的本地神经网络单元或训练完成的第二可重构神经网络矩阵所在的云端神经网络单元;
所述训练完成的第一可重构神经网络矩阵所在的本地神经网络单元或训练完成的第二可重构神经网络矩阵所在的云端神经网络单元对接收的待测数据进行运算,并将运算结果发送至结果分析单元;
所述结果分析单元用于输出运算结果。
进一步地,所述终端还包括分配记录单元,所述分配记录单元用于存储分配记录信息,所述分配记录信息包括待测数据类型以及处理该类型的待测数据的神经网络单元的标识信息;
所述结果分析单元用于输出运算结果包括:结果分析单元用于从分配记录单元中读取分配记录信息,并根据分配记录信息从对应的神经网络单元中获取待测数据的运算结果依次进行输出。
进一步地,所述终端还包括WIFI通信单元,所述任务分配单元还用于在未从网络配置库存储单元中获取到任务请求对应的神经网络结构配置参数时,通过WIFI通信单元从互联网中搜索任务请求所需的神经网络结构配置参数,并在搜索到需要的神经网络结构配置参数后,将其存储于网络配置库存储单元中。
进一步地,根据参数初始值进行神经网络训练,以及在训练完成后更新可重构神经网络矩阵的参数值包括:调整各个参数值,进行神经网络训练计算,比较本次训练结果与真实信息的匹配度是否达到预设比例,若是则判定为训练完成,并将可重构神经网络矩阵的参数更新为当前的各个参数值;否则根据本次训练结果的匹配度相较于上一次训练结果的匹配度的差异,继续调整各个参数值,再次进行神经网络训练计算直至训练完成。
进一步地,所述可重构神经网络矩阵包括互联矩阵单元、累加器单元、升级单元、激活函数单元、累加器配置单元;所述累加器单元、升级单元、激活函数单元分别与互联矩阵单元连接,所述累加器单元与累加器配置单元连接;所述累加器单元包括多个不同精度的累加器;所述参数配置信息还包括参数连接信息;
所述累加器配置单元用于配置累加器精度,所述可重构神经网络矩阵在进行神经网络训练时,根据配置的累加器精度选用不同精度的累加器进行计算;
所述互联矩阵单元用于根据参数连接信息对累加器单元、升级单元、激活函数单元进行互联,从而形成对应的神经网络结构。
发明人还提供了一种分布式多层深度学习资源分配方法,所述方法应用于分布式多层深度学习资源分配装置,所述装置包括终端和服务器,所述终端包括任务需求确认单元、任务分配单元、记录单元、网络配置库存储单元、数据流分配单元、结果分析单元、本地神经网络单元;所述本地神经网络单元包括第一神经网络配置单元和第一可重构神经网络矩阵;所述记录单元包括网络结构记录单元和任务记录单元;所述服务器包括云端神经网络单元,所述云端神经网络单元包括第二神经网络配置单元和第二可重构神经网络矩阵;所述方法包括以下步骤:
任务需求确认单元接收一个或多个任务请求;
任务分配单元根据任务请求类型,确定从所述网络配置库存储单元中获取各个任务请求对应的神经网络结构参数配置信息并将神经网络结构参数配置信息与该参数配置信息对应的任务请求类型对应存储于网络结构记录单元;所述参数配置信息包括配置参数;
任务分配单元确定任务请求分配策略,并根据任务请求分配策略,将各个任务请求以及对应的神经网络结构配置参数发送至本地神经网络单元或云端神经网络单元,并将任务请求与处理任务请求的神经网络单元的标识信息对应存储于任务记录单元;
第一神经网络配置单元根据接收到的神经网络结构配置参数配置第一可重构神经网络矩阵的参数初始值,并根据参数初始值进行神经网络训练,以及在训练完成后更新第一可重构神经网络矩阵的参数值;或者,第二神经网络配置单元根据接收到的神经网络结构配置参数配置第二可重构神经网络矩阵的参数初始值,并根据参数初始值进行神经网络训练,以及在训练完成后更新第二可重构神经网络矩阵的参数值;
数据流分配单元接收待测数据,确定数据处理分配策略,并根据数据处理分配策略将待测数据分配至训练完成的第一可重构神经网络矩阵所在的本地神经网络单元或训练完成的第二可重构神经网络矩阵所在的云端神经网络单元;
训练完成的第一可重构神经网络矩阵所在的本地神经网络单元或训练完成的第二可重构神经网络矩阵所在的云端神经网络单元对接收的待测数据进行运算,并将运算结果发送至结果分析单元;
结果分析单元输出运算结果。
进一步地,所述终端还包括分配记录单元,所述方法包括:
分配记录单元存储分配记录信息,所述分配记录信息包括待测数据类型以及处理该类型的待测数据的神经网络单元的标识信息;
结果分析单元输出运算结果包括:结果分析单元从分配记录单元中读取分配记录信息,并根据分配记录信息从对应的神经网络单元中获取待测数据的运算结果依次进行输出。
进一步地,所述终端还包括WIFI通信单元,所述方法包括:
任务分配单元在未从网络配置库存储单元中获取到任务请求对应的神经网络结构配置参数时,通过WIFI通信单元从互联网中搜索任务请求所需的神经网络结构配置参数,并在搜索到需要的神经网络结构配置参数后,将其存储于网络配置库存储单元中。
进一步地,神经网络配置单元根据参数初始值进行神经网络训练,以及在训练完成后更新可重构神经网络矩阵的参数值包括:调整各个参数值,进行神经网络训练计算,比较本次训练结果与真实信息的匹配度是否达到预设比例,若是则判定为训练完成,并将可重构神经网络矩阵的参数更新为当前的各个参数值;否则根据本次训练结果的匹配度相较于上一次训练结果的匹配度的差异,继续调整各个参数值,再次进行神经网络训练计算直至训练完成。
进一步地,所述可重构神经网络矩阵包括互联矩阵单元、累加器单元、升级单元、激活函数单元、累加器配置单元;所述累加器单元、升级单元、激活函数单元分别与互联矩阵单元连接,所述累加器单元与累加器配置单元连接;所述累加器单元包括多个不同精度的累加器;所述参数配置信息还包括参数连接信息;所述方法包括:
累加器配置单元配置累加器精度,可重构神经网络矩阵在进行神经网络训练时,根据配置的累加器精度选用不同精度的累加器进行计算;
互联矩阵单元根据参数连接信息对累加器单元、升级单元、激活函数单元进行互联,从而形成对应的神经网络结构。
本发明提出一种分布式多层深度学习资源分配方法和装置, 通过将运算电路从本地终端设备到云端服务器设备分为不同层次,针对不同的任务请求的运算量,将任务请求对应分配至不同层次的运算电路中进行运算,从而兼顾运算量与运算实时性,较好地解决了当前终端算力不足与用户对运算实时性要求的矛盾,提升了用户体验。
附图说明
图1为本发明一实施例涉及的分布式多层深度学习资源分配装置的示意图;
图2为本发明一实施例涉及的误差计算单元的电路结构图;
图3为本发明一实施例涉及的升级单元的电路结构图;
图4为本发明一实施例涉及的累加器单元的电路结构图;
图5为本发明一实施例涉及的可重构神经网络矩阵的电路结构图;
图6为本发明一实施例涉及的配置累加器单元的精度的电路结构图;
图7为本发明一实施例涉及的分布式多层深度学习资源分配方法的流程图。
附图标记说明:
101、终端;
102、服务器;
111、任务需求确认单元;
112、任务分配单元;
113、记录单元;1131、网络结构记录单元;1132、任务记录单元;
114、网络配置库存储单元;
115、数据流分配单元;
116、结果分析单元;
117、本地神经网络单元;1171、第一神经网络配置单元;1172、第一可重构神经网络矩阵;
118、分配记录单元;
119、WIFI通信单元;
121、云端神经网络单元;1211、第二神经网络配置单元;1212、第二可重构神经网络矩阵;
131、互联矩阵单元;132、累加器单元;133、升级单元;134、激活函数单元;135、累加器配置单元。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果,以下结合具体实施例并配合附图详予说明。
请参阅图1,为本发明一实施例涉及的分布式多层深度学习资源分配装置的示意图。所述装置包括终端101和服务器102,所述终端101包括任务需求确认单元111、任务分配单元112、记录单元113、网络配置库存储单元114、数据流分配单元115、结果分析单元116、本地神经网络单元117;所述本地神经网络单元117包括第一神经网络配置单元1171和第一可重构神经网络矩阵1172;所述记录单元113包括网络结构记录单元1131和任务记录单元1132;所述服务器102包括云端神经网络单元121,所述云端神经网络单元121包括第二神经网络配置单元1211和第二可重构神经网络矩阵1212;
所述任务需求确认单元111用于接收一个或多个任务请求。所述任务请求根据功能进行划分,包括指纹识别请求、人脸识别请求、语音识别请求等。在神经网络领域,每一种任务请求都有其对应的神经网络结构。
所述任务分配单元112用于根据任务请求类型,确定从所述网络配置库存储单元114中获取各个任务请求对应的神经网络结构参数配置信息并将神经网络结构参数配置信息与该参数配置信息对应的任务请求类型对应存储于网络结构记录单元1131。所述参数配置信息包括配置参数,在本实施方式中,所述配置参数包括神经网络层数、各层神经网络的神经元数量、各层神经网络的卷积核值、卷积配置值、权值。
在某些实施例中,所述终端还包括WIFI通信单元119,所述任务分配单元112还用于在未从网络配置库存储单元114中获取到任务请求对应的神经网络结构配置参数时,通过WIFI通信单元119从互联网中搜索任务请求所需的神经网络结构配置参数,并在搜索到需要的神经网络结构配置参数后,将其存储于网络配置库存储单元114中。简言之,终端的网络配置库存储单元会存储一些网络结构的配置参数,以便神经网络单元训练时及时调取,同时任务分配单元也可以通过互联网将本地没有的一些网络结构参数下载存储至网络配置库存储单元,从而提高本装置的适用范围。例如在某一应用场景中,网络配置库存储单元只存储有指纹识别的配置参数,而任务需求确认单元接收的任务请求包括人脸识别,任务分配单元将从互联网下载与人脸识别相关的神经网络结构的配置参数至网络配置库存储单元中,以便后续调用。
所述任务分配单元112还用于确定任务请求分配策略,并根据任务请求分配策略,将各个任务请求以及对应的神经网络结构配置参数发送至本地神经网络单元117或云端神经网络单元121,并将任务请求与处理任务请求的神经网络单元的标识信息对应存储于任务记录单元1132。所述标识信息可以为数字、字母、字符串等。任务请求与神经网络单元的对应关系存储于任务记录单元,这样,当神经网络单元全部训练完成后,终端在接收到多个任务请求的数据流时,就可以对数据流进行分门别类,并根据任务记录单元中记录的对应关系分配至对应的神经网络单元进行处理。例如本地神经网络单元为具有指纹识别功能的网络结构,云端神经网络单元为具有人脸识别功能的网络结构,当本地和云端的神经网络单元的训练完成后,终端接收到人脸数据和指纹数据后,根据任务记录单元记录的信息,可以将指纹数据发送至本地神经网络单元进行处理,同时将人脸数据发送至云端神经网络单元进行处理。
所述第一神经网络配置单元1171用于根据接收到的神经网络结构配置参数配置第一可重构神经网络矩阵1172的参数初始值,并根据参数初始值进行神经网络训练,以及在训练完成后更新第一可重构神经网络矩阵的参数值;或者,所述第二神经网络配置单元1211用于根据接收到的神经网络结构配置参数配置第二可重构神经网络矩阵的参数初始值,并根据参数初始值进行神经网络训练,以及在训练完成后更新第二可重构神经网络矩阵1212的参数值。
在某些实施例中,可重构神经网络矩阵(包括第一可重构神经网络矩阵和第二可重构神经网络矩阵,两者训练的方式类似)根据参数初始值进行神经网络训练,以及在训练完成后更新可重构神经网络矩阵的参数值包括:调整各个参数值,进行神经网络训练计算,比较本次训练结果与真实信息的匹配度是否达到预设比例,若是则判定为训练完成,并将可重构神经网络矩阵的参数更新为当前的各个参数值;否则根据本次训练结果的匹配度相较于上一次训练结果的匹配度的差异,继续调整各个参数值,再次进行神经网络训练计算直至训练完成。所述真实信息是指输入至可重构网络矩阵单元的特征信息,可以是指纹特征信息、人脸特征信息,也可以是包含有指纹特征信息、人脸特征信息的图片等。例如可重构神经网络矩阵进行的是基于指纹识别功能的训练,则真实特征信息为指纹特征信息。神经网络训练计算过程,现有多种算法已有公开,此处不再赘述。
所述数据流分配单元115用于接收待测数据,确定数据处理分配策略,并根据数据处理分配策略将待测数据分配至训练完成的第一可重构神经网络矩阵1172所在的本地神经网络单元117或训练完成的第二可重构神经网络矩阵1212所在的云端神经网络单元121。所述训练完成的第一可重构神经网络矩阵所在的本地神经网络单元或训练完成的第二可重构神经网络矩阵所在的云端神经网络单元对接收的待测数据进行运算,并将运算结果发送至结果分析单元;所述结果分析单元116用于输出运算结果。
在某些实施例中,所述终端还包括分配记录单元118,所述分配记录单元118用于存储分配记录信息,所述分配记录信息包括待测数据类型以及处理该类型的待测数据的神经网络单元的标识信息;所述结果分析单元用于输出运算结果包括:结果分析单元116用于从分配记录单元中读取分配记录信息,并根据分配记录信息从对应的神经网络单元中获取待测数据的运算结果依次进行输出。以装置包括两个云端神经网络单元(A和B)以及一个本地神经网络单元为例,假设经过训练后,云端神经网络单元A为处理语音识别的神经网络,云端神经网络单元B为处理人脸识别的神经网络,本地神经网络单元C为处理语音识别的神经网络。当数据流分配单元接收到语音数据、指纹数据和人脸数据时,会将语音数据发送至云端神经网络单元A进行处理,将人脸数据发送至云端神经网络单元B进行处理,将语音数据发送至本地神经网络单元进行处理。同时,分配记录单元记录以下内容:标记语音数据类型在云端神经网络单元A进行处理、标记人脸数据类型在云端神经网络单元B进行处理、标记指纹数据类型在本地神经网络单元C进行处理。当需要对数据流的识别结果进行输出时,结果输出单元可以根据分配记录单元所记录的内容,从对应的神经网络单元中依次获取各个运算结果并进行输出。
在某些实施例中,当云端神经网络单元A、云端神经网络单元B、本地神经网络单元都是具有处理人脸识别的神经网络结构时,当接收到人脸数据时,则会优先选取本地神经网络单元对人脸数据进行计算。当人脸数据的计算量较大时,即超过本地神经网络单元所能计算的范围,则会选用云端神经网络单元进行相应计算。为了加快计算效率,如有两个以上的云端神经网络单元均具有相应的任务请求处理功能,则会后优先选择网络带宽大和网络延时低的云端神经网络单元处理任务请求。
如图5所示,所述可重构神经网络矩阵包括互联矩阵单元131、累加器单元132、升级单元133、激活函数单元134、累加器配置单元;所述累加器单元、升级单元、激活函数单元分别与互联矩阵单元连接,所述累加器单元与累加器配置单元连接;所述累加器单元包括多个不同精度的累加器;所述参数配置信息还包括参数连接信息;所述累加器配置单元用于配置累加器精度,所述可重构神经网络矩阵在进行神经网络训练时,根据配置的累加器精度选用不同精度的累加器进行计算;所述互联矩阵单元用于根据参数连接信息对累加器单元、升级单元、激活函数单元进行互联,从而形成对应的神经网络结构。升级单元的电路结构如图3所示、累加器单元的电路结构如图4所示。
在某些实施例中,可重构神经网络矩阵包括误差计算单元,所述误差计算单元与互联矩阵单元连接,所述误差计算单元用于计算本次可重构神经网络矩阵的计算结果与真实信息之间的误差。误差计算单元的电路结构如图2所示。
如图6所示,累加器单元包括不同精度的累加器单元,如8bit整数、16bit浮点数、32bit浮点数等。累加器配置单元可以通过发送不同的控制信号,使得神经网络结构选用不同精度的累加器进行搭建,以便提供多种选择。同理,激活函数单元也可以包括有多种激活函数 (比如sigmoid、ReLU等),可以通过不同的控制信号进行选定,选定后则记录于参数配置信息中,而后通过互联矩阵单元根据参数连接信息对选定的累加器单元、升级单元、激活函数单元进行互联。
请参阅图7,本发明还提供了一种分布式多层深度学习资源分配方法,所述方法应用于分布式多层深度学习资源分配装置,所述装置包括终端和服务器,所述终端包括任务需求确认单元、任务分配单元、记录单元、网络配置库存储单元、数据流分配单元、结果分析单元、本地神经网络单元;所述本地神经网络单元包括第一神经网络配置单元和第一可重构神经网络矩阵;所述记录单元包括网络结构记录单元和任务记录单元;所述服务器包括云端神经网络单元,所述云端神经网络单元包括第二神经网络配置单元和第二可重构神经网络矩阵;所述方法包括以下步骤:
首先进入步骤S701任务需求确认单元接收一个或多个任务请求;
而后进入步骤S702任务分配单元根据任务请求类型,确定从所述网络配置库存储单元中获取各个任务请求对应的神经网络结构参数配置信息并将神经网络结构参数配置信息与该参数配置信息对应的任务请求类型对应存储于网络结构记录单元;所述参数配置信息包括配置参数;
而后进入步骤S703任务分配单元确定任务请求分配策略,并根据任务请求分配策略,将各个任务请求以及对应的神经网络结构配置参数发送至本地神经网络单元或云端神经网络单元,并将任务请求与处理任务请求的神经网络单元的标识信息对应存储于任务记录单元;
而后进入步骤S704第一神经网络配置单元根据接收到的神经网络结构配置参数配置第一可重构神经网络矩阵的参数初始值,并根据参数初始值进行神经网络训练,以及在训练完成后更新第一可重构神经网络矩阵的参数值;或者,第二神经网络配置单元根据接收到的神经网络结构配置参数配置第二可重构神经网络矩阵的参数初始值,并根据参数初始值进行神经网络训练,以及在训练完成后更新第二可重构神经网络矩阵的参数值;
而后进入步骤S705数据流分配单元接收待测数据,确定数据处理分配策略,并根据数据处理分配策略将待测数据分配至训练完成的第一可重构神经网络矩阵所在的本地神经网络单元或训练完成的第二可重构神经网络矩阵所在的云端神经网络单元;
而后进入步骤S706训练完成的第一可重构神经网络矩阵所在的本地神经网络单元或训练完成的第二可重构神经网络矩阵所在的云端神经网络单元对接收的待测数据进行运算,并将运算结果发送至结果分析单元;
而后进入步骤S707结果分析单元输出运算结果。
在某些实施例中,所述终端还包括分配记录单元,所述方法包括:分配记录单元存储分配记录信息,所述分配记录信息包括待测数据类型以及处理该类型的待测数据的神经网络单元的标识信息;结果分析单元输出运算结果包括:结果分析单元从分配记录单元中读取分配记录信息,并根据分配记录信息从对应的神经网络单元中获取待测数据的运算结果依次进行输出。
在某些实施例中,所述终端还包括WIFI通信单元,所述方法包括:任务分配单元在未从网络配置库存储单元中获取到任务请求对应的神经网络结构配置参数时,通过WIFI通信单元从互联网中搜索任务请求所需的神经网络结构配置参数,并在搜索到需要的神经网络结构配置参数后,将其存储于网络配置库存储单元中。
在某些实施例中,神经网络配置单元根据参数初始值进行神经网络训练,以及在训练完成后更新可重构神经网络矩阵的参数值包括:调整各个参数值,进行神经网络训练计算,比较本次训练结果与真实信息的匹配度是否达到预设比例,若是则判定为训练完成,并将可重构神经网络矩阵的参数更新为当前的各个参数值;否则根据本次训练结果的匹配度相较于上一次训练结果的匹配度的差异,继续调整各个参数值,再次进行神经网络训练计算直至训练完成。
在某些实施例中,所述可重构神经网络矩阵包括互联矩阵单元、累加器单元、升级单元、激活函数单元、累加器配置单元;所述累加器单元、升级单元、激活函数单元分别与互联矩阵单元连接,所述累加器单元与累加器配置单元连接;所述累加器单元包括多个不同精度的累加器;所述参数配置信息还包括参数连接信息;所述方法包括:累加器配置单元配置累加器精度,可重构神经网络矩阵在进行神经网络训练时,根据配置的累加器精度选用不同精度的累加器进行计算;互联矩阵单元根据参数连接信息对累加器单元、升级单元、激活函数单元进行互联,从而形成对应的神经网络结构。
本发明公开了一种分布式多层深度学习资源分配方法和装置, 通过将运算电路从本地终端设备到云端服务器设备分为不同层次,针对不同的任务请求的运算量,将任务请求对应分配至不同层次的运算电路中进行运算,从而兼顾运算量与运算实时性,较好地解决了当前终端算力不足与用户对运算实时性要求的矛盾,提升了用户体验。
需要说明的是,尽管在本文中已经对上述各实施例进行了描述,但并非因此限制本发明的专利保护范围。因此,基于本发明的创新理念,对本文所述实施例进行的变更和修改,或利用本发明说明书及附图内容所作的等效结构或等效流程变换,直接或间接地将以上技术方案运用在其他相关的技术领域,均包括在本发明的专利保护范围之内。
Claims (10)
1.一种分布式多层深度学习资源分配装置,其特征在于,所述装置包括终端和服务器,所述终端包括任务需求确认单元、任务分配单元、记录单元、网络配置库存储单元、数据流分配单元、结果分析单元、本地神经网络单元;所述本地神经网络单元包括第一神经网络配置单元和第一可重构神经网络矩阵;所述记录单元包括网络结构记录单元和任务记录单元;所述服务器包括云端神经网络单元,所述云端神经网络单元包括第二神经网络配置单元和第二可重构神经网络矩阵;
所述任务需求确认单元用于接收一个或多个任务请求;所述任务请求根据识别请求的生物特征进行划分;
所述任务分配单元用于根据任务请求类型,确定从所述网络配置库存储单元中获取各个任务请求对应的神经网络结构参数配置信息并将神经网络结构参数配置信息与该参数配置信息对应的任务请求类型对应存储于网络结构记录单元;所述参数配置信息包括配置参数;
所述任务分配单元还用于确定任务请求分配策略,并根据任务请求分配策略,将各个任务请求以及对应的神经网络结构配置参数发送至本地神经网络单元或云端神经网络单元,并将任务请求与处理任务请求的神经网络单元的标识信息对应存储于任务记录单元;
所述第一神经网络配置单元用于根据接收到的神经网络结构配置参数配置第一可重构神经网络矩阵的参数初始值,并根据参数初始值进行神经网络训练,以及在训练完成后更新第一可重构神经网络矩阵的参数值;或者,所述第二神经网络配置单元用于根据接收到的神经网络结构配置参数配置第二可重构神经网络矩阵的参数初始值,并根据参数初始值进行神经网络训练,以及在训练完成后更新第二可重构神经网络矩阵的参数值;
所述数据流分配单元用于接收待测数据,确定数据处理分配策略,并根据数据处理分配策略将待测数据分配至训练完成的第一可重构神经网络矩阵所在的本地神经网络单元或训练完成的第二可重构神经网络矩阵所在的云端神经网络单元;
所述训练完成的第一可重构神经网络矩阵所在的本地神经网络单元或训练完成的第二可重构神经网络矩阵所在的云端神经网络单元对接收的待测数据进行运算,并将运算结果发送至结果分析单元;
所述结果分析单元用于输出运算结果。
2.如权利要求1所述的分布式多层深度学习资源分配装置,其特征在于,所述终端还包括分配记录单元,所述分配记录单元用于存储分配记录信息,所述分配记录信息包括待测数据类型以及处理该类型的待测数据的神经网络单元的标识信息;
所述结果分析单元用于输出运算结果包括:结果分析单元用于从分配记录单元中读取分配记录信息,并根据分配记录信息从对应的神经网络单元中获取待测数据的运算结果依次进行输出。
3.如权利要求1所述的分布式多层深度学习资源分配装置,其特征在于,所述终端还包括WIFI通信单元,所述任务分配单元还用于在未从网络配置库存储单元中获取到任务请求对应的神经网络结构配置参数时,通过WIFI通信单元从互联网中搜索任务请求所需的神经网络结构配置参数,并在搜索到需要的神经网络结构配置参数后,将其存储于网络配置库存储单元中。
4.如权利要求1所述的分布式多层深度学习资源分配装置,其特征在于,根据参数初始值进行神经网络训练,以及在训练完成后更新可重构神经网络矩阵的参数值包括:调整各个参数值,进行神经网络训练计算,比较本次训练结果与真实信息的匹配度是否达到预设比例,若是则判定为训练完成,并将可重构神经网络矩阵的参数更新为当前的各个参数值;否则根据本次训练结果的匹配度相较于上一次训练结果的匹配度的差异,继续调整各个参数值,再次进行神经网络训练计算直至训练完成。
5.如权利要求1所述的分布式多层深度学习资源分配装置,其特征在于,可重构神经网络矩阵包括互联矩阵单元、累加器单元、升级单元、激活函数单元、累加器配置单元;所述累加器单元、升级单元、激活函数单元分别与互联矩阵单元连接,所述累加器单元与累加器配置单元连接;所述累加器单元包括多个不同精度的累加器;所述参数配置信息还包括参数连接信息;
所述累加器配置单元用于配置累加器精度,可重构神经网络矩阵在进行神经网络训练时,根据配置的累加器精度选用不同精度的累加器进行计算;
所述互联矩阵单元用于根据参数连接信息对累加器单元、升级单元、激活函数单元进行互联,从而形成对应的神经网络结构。
6.一种分布式多层深度学习资源分配方法,其特征在于,所述方法应用于分布式多层深度学习资源分配装置,所述装置包括终端和服务器,所述终端包括任务需求确认单元、任务分配单元、记录单元、网络配置库存储单元、数据流分配单元、结果分析单元、本地神经网络单元;所述本地神经网络单元包括第一神经网络配置单元和第一可重构神经网络矩阵;所述记录单元包括网络结构记录单元和任务记录单元;所述服务器包括云端神经网络单元,所述云端神经网络单元包括第二神经网络配置单元和第二可重构神经网络矩阵;所述方法包括以下步骤:
任务需求确认单元接收一个或多个任务请求;所述任务请求根据识别请求的生物特征进行划分;
任务分配单元根据任务请求类型,确定从所述网络配置库存储单元中获取各个任务请求对应的神经网络结构参数配置信息并将神经网络结构参数配置信息与该参数配置信息对应的任务请求类型对应存储于网络结构记录单元;所述参数配置信息包括配置参数;
任务分配单元确定任务请求分配策略,并根据任务请求分配策略,将各个任务请求以及对应的神经网络结构配置参数发送至本地神经网络单元或云端神经网络单元,并将任务请求与处理任务请求的神经网络单元的标识信息对应存储于任务记录单元;
第一神经网络配置单元根据接收到的神经网络结构配置参数配置第一可重构神经网络矩阵的参数初始值,并根据参数初始值进行神经网络训练,以及在训练完成后更新第一可重构神经网络矩阵的参数值;或者,第二神经网络配置单元根据接收到的神经网络结构配置参数配置第二可重构神经网络矩阵的参数初始值,并根据参数初始值进行神经网络训练,以及在训练完成后更新第二可重构神经网络矩阵的参数值;
数据流分配单元接收待测数据,确定数据处理分配策略,并根据数据处理分配策略将待测数据分配至训练完成的第一可重构神经网络矩阵所在的本地神经网络单元或训练完成的第二可重构神经网络矩阵所在的云端神经网络单元;
训练完成的第一可重构神经网络矩阵所在的本地神经网络单元或训练完成的第二可重构神经网络矩阵所在的云端神经网络单元对接收的待测数据进行运算,并将运算结果发送至结果分析单元;
结果分析单元输出运算结果。
7.如权利要求6所述的分布式多层深度学习资源分配方法,其特征在于,所述终端还包括分配记录单元,所述方法包括:
分配记录单元存储分配记录信息,所述分配记录信息包括待测数据类型以及处理该类型的待测数据的神经网络单元的标识信息;
结果分析单元输出运算结果包括:结果分析单元从分配记录单元中读取分配记录信息,并根据分配记录信息从对应的神经网络单元中获取待测数据的运算结果依次进行输出。
8.如权利要求6所述的分布式多层深度学习资源分配方法,其特征在于,所述终端还包括WIFI通信单元,所述方法包括:
任务分配单元在未从网络配置库存储单元中获取到任务请求对应的神经网络结构配置参数时,通过WIFI通信单元从互联网中搜索任务请求所需的神经网络结构配置参数,并在搜索到需要的神经网络结构配置参数后,将其存储于网络配置库存储单元中。
9.如权利要求6所述的分布式多层深度学习资源分配方法,其特征在于,神经网络配置单元根据参数初始值进行神经网络训练,以及在训练完成后更新可重构神经网络矩阵的参数值包括:调整各个参数值,进行神经网络训练计算,比较本次训练结果与真实信息的匹配度是否达到预设比例,若是则判定为训练完成,并将可重构神经网络矩阵的参数更新为当前的各个参数值;否则根据本次训练结果的匹配度相较于上一次训练结果的匹配度的差异,继续调整各个参数值,再次进行神经网络训练计算直至训练完成。
10.如权利要求6所述的分布式多层深度学习资源分配方法,其特征在于,可重构神经网络矩阵包括互联矩阵单元、累加器单元、升级单元、激活函数单元、累加器配置单元;所述累加器单元、升级单元、激活函数单元分别与互联矩阵单元连接,所述累加器单元与累加器配置单元连接;所述累加器单元包括多个不同精度的累加器;所述参数配置信息还包括参数连接信息;所述方法包括:
累加器配置单元配置累加器精度,可重构神经网络矩阵在进行神经网络训练时,根据配置的累加器精度选用不同精度的累加器进行计算;
互联矩阵单元根据参数连接信息对累加器单元、升级单元、激活函数单元进行互联,从而形成对应的神经网络结构。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711021439.2A CN107783840B (zh) | 2017-10-27 | 2017-10-27 | 一种分布式多层深度学习资源分配方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711021439.2A CN107783840B (zh) | 2017-10-27 | 2017-10-27 | 一种分布式多层深度学习资源分配方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107783840A CN107783840A (zh) | 2018-03-09 |
CN107783840B true CN107783840B (zh) | 2020-08-21 |
Family
ID=61431586
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711021439.2A Active CN107783840B (zh) | 2017-10-27 | 2017-10-27 | 一种分布式多层深度学习资源分配方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107783840B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108520296B (zh) * | 2018-03-20 | 2020-05-15 | 福州瑞芯微电子股份有限公司 | 一种基于深度学习芯片动态cache分配的方法和装置 |
CN110389824A (zh) * | 2018-04-20 | 2019-10-29 | 伊姆西Ip控股有限责任公司 | 处理计算任务的方法、设备和计算机程序产品 |
CN110399211B (zh) * | 2018-04-24 | 2021-06-08 | 中科寒武纪科技股份有限公司 | 机器学习的分配系统、方法及装置、计算机设备 |
CN108549934B (zh) * | 2018-04-25 | 2020-06-19 | 福州瑞芯微电子股份有限公司 | 一种基于自动集群神经网络芯片组的运算方法和装置 |
CN108647155B (zh) * | 2018-05-14 | 2020-08-21 | 瑞芯微电子股份有限公司 | 一种基于深度学习的多级cache共享的方法和装置 |
CN109376849A (zh) * | 2018-09-26 | 2019-02-22 | 旺微科技(上海)有限公司 | 一种卷积神经网络系统的控制方法及装置 |
CN111047045B (zh) * | 2018-10-12 | 2021-03-19 | 中科寒武纪科技股份有限公司 | 机器学习运算的分配系统及方法 |
KR20200051278A (ko) * | 2018-11-05 | 2020-05-13 | 삼성전자주식회사 | 인공 신경망에서의 작업 관리 방법 및 이를 포함하는 시스템 |
CN110008028B (zh) * | 2019-04-10 | 2021-08-06 | 北京旷视科技有限公司 | 计算资源分配方法、装置、计算机设备和存储介质 |
US11907770B2 (en) | 2019-09-19 | 2024-02-20 | Huawei Cloud Computing Technologies Co., Ltd. | Method and apparatus for vectorized resource scheduling in distributed computing systems using tensors |
CN111105023B (zh) * | 2019-11-08 | 2023-03-31 | 深圳市中科元物芯科技有限公司 | 数据流重构方法及可重构数据流处理器 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101373445A (zh) * | 2008-09-09 | 2009-02-25 | 创新科存储技术(深圳)有限公司 | 一种内存调度方法及装置 |
CN103685457A (zh) * | 2012-09-20 | 2014-03-26 | 美国博通公司 | 机动车神经网络 |
CN105518620A (zh) * | 2014-10-31 | 2016-04-20 | 华为技术有限公司 | 一种网卡配置方法及资源管理中心 |
CN106095586A (zh) * | 2016-06-23 | 2016-11-09 | 东软集团股份有限公司 | 一种任务分配方法、装置及系统 |
CN106326899A (zh) * | 2016-08-18 | 2017-01-11 | 郑州大学 | 一种基于高光谱图像和深度学习算法的烟叶分级方法 |
CN106778505A (zh) * | 2016-11-24 | 2017-05-31 | 福州瑞芯微电子股份有限公司 | 一种自动图像识别分发系统及方法 |
CN107241767A (zh) * | 2017-06-14 | 2017-10-10 | 广东工业大学 | 一种移动协同计算的方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130283097A1 (en) * | 2012-04-23 | 2013-10-24 | Yahoo! Inc. | Dynamic network task distribution |
US10430240B2 (en) * | 2015-10-13 | 2019-10-01 | Palantir Technologies Inc. | Fault-tolerant and highly-available configuration of distributed services |
-
2017
- 2017-10-27 CN CN201711021439.2A patent/CN107783840B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101373445A (zh) * | 2008-09-09 | 2009-02-25 | 创新科存储技术(深圳)有限公司 | 一种内存调度方法及装置 |
CN103685457A (zh) * | 2012-09-20 | 2014-03-26 | 美国博通公司 | 机动车神经网络 |
CN105518620A (zh) * | 2014-10-31 | 2016-04-20 | 华为技术有限公司 | 一种网卡配置方法及资源管理中心 |
CN106095586A (zh) * | 2016-06-23 | 2016-11-09 | 东软集团股份有限公司 | 一种任务分配方法、装置及系统 |
CN106326899A (zh) * | 2016-08-18 | 2017-01-11 | 郑州大学 | 一种基于高光谱图像和深度学习算法的烟叶分级方法 |
CN106778505A (zh) * | 2016-11-24 | 2017-05-31 | 福州瑞芯微电子股份有限公司 | 一种自动图像识别分发系统及方法 |
CN107241767A (zh) * | 2017-06-14 | 2017-10-10 | 广东工业大学 | 一种移动协同计算的方法及装置 |
Non-Patent Citations (2)
Title |
---|
Adaptive workload distribution for local and remote Clouds;Lan Wang.et.al.;《2016 IEEE International Conference on Systems, Man, and Cybernetics (SMC)》;20161012;全文 * |
一种基于移动Agent的云端计算任务安全分割与分配算法;倪斌等;《现代电子技术》;20150930;第38卷(第17期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN107783840A (zh) | 2018-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107783840B (zh) | 一种分布式多层深度学习资源分配方法和装置 | |
CN108549934B (zh) | 一种基于自动集群神经网络芯片组的运算方法和装置 | |
CN111340237B (zh) | 数据处理和模型运行方法、装置和计算机设备 | |
CN111950225B (zh) | 一种芯片布局方法、装置、存储介质和电子设备 | |
CN108763398B (zh) | 数据库配置参数处理方法、装置、计算机设备和存储介质 | |
EP4152154A1 (en) | Adaptive artificial neural network selection techniques | |
CN107800572B (zh) | 一种基于神经网络升级设备的方法和装置 | |
CN110874528B (zh) | 文本相似度的获取方法及装置 | |
CN112200296A (zh) | 网络模型量化方法、装置、存储介质及电子设备 | |
CN108877783A (zh) | 确定音频数据的音频类型的方法和装置 | |
WO2019006541A1 (en) | SYSTEM AND METHOD FOR AUTOMATIC CONSTRUCTION OF LEARNING MACHINES USING LEARNING MACHINES | |
CN111428854A (zh) | 一种结构搜索方法及结构搜索装置 | |
CN116684330A (zh) | 基于人工智能的流量预测方法、装置、设备及存储介质 | |
CN112446462B (zh) | 目标神经网络模型的生成方法和装置 | |
CN110601909B (zh) | 网络维护方法、装置、计算机设备和存储介质 | |
EP3683733A1 (en) | A method, an apparatus and a computer program product for neural networks | |
CN114092162B (zh) | 推荐质量确定方法、推荐质量确定模型的训练方法及装置 | |
CN116304296A (zh) | 一种推荐方法以及装置 | |
CN115983362A (zh) | 一种量化方法、推荐方法以及装置 | |
CN111836274B (zh) | 一种业务处理的方法及装置 | |
CN113704528A (zh) | 聚类中心确定方法、装置和设备及计算机存储介质 | |
CN114048392B (zh) | 多媒体资源推送方法、装置、电子设备及存储介质 | |
CN113947067B (zh) | 标准问确定方法、装置、设备及计算机可读存储介质 | |
CN108229748A (zh) | 用于合乘服务的匹配方法、装置及电子设备 | |
CN108288090B (zh) | 一种并行竞争神经网络芯片的优化方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 350003 building, No. 89, software Avenue, Gulou District, Fujian, Fuzhou 18, China Applicant after: Ruixin Microelectronics Co., Ltd Address before: 350003 building, No. 89, software Avenue, Gulou District, Fujian, Fuzhou 18, China Applicant before: Fuzhou Rockchips Electronics Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |