CN110769037B

CN110769037B - 嵌入式边缘计算平台资源配置方法

Info

Publication number: CN110769037B
Application number: CN201910929156.0A
Authority: CN
Inventors: 林勤; 潘灵; 钟瑜; 贾明权; 刘红伟; 张昊; 吴明钦
Original assignee: Southwest Electronic Technology Institute No 10 Institute of Cetc
Current assignee: Southwest Electronic Technology Institute No 10 Institute of Cetc
Priority date: 2019-09-28
Filing date: 2019-09-28
Publication date: 2021-12-07
Anticipated expiration: 2039-09-28
Also published as: CN110769037A

Abstract

本发明公开的一种嵌入式边缘计算平台资源配置方法，旨在为嵌入式边缘计算平台提供一种简单可靠、可快速部署的分布式计算资源配置方法。本发明通过下述技术方案予以实现：以Json文件为载体，按照计算图中的数据传播路径和节点计算操作，对Json文件进行编排，并将需额外补充的计算操作程序一起打包成一个压缩文件；然后，将计算任务(即Json文件包)注入嵌入式边缘计算平台，自动解析Json文件，恢复出计算图，并根据计算图对计算、通信资源的需求进行分解，形成映射图；最后，使用映射图完成计算需求到硬件资源的部署；如映射未成功，则可根据失败反馈的原因，对计算图的分解方式进行调整，形成新的映射图后进行再次映射。

Description

嵌入式边缘计算平台资源配置方法

技术领域

本发明涉及一种用于嵌入式边缘计算平台的分布式计算资源配置方法。

背景技术

近年来，随着传感器和端设备的能力越来越强，数据量和数据处理多样化的需求爆发式增长。尤其是当前物联网、自动驾驶、虚拟现实等新应用的不断涌现，传统基于云端的大数据处理和人工智能计算已不能很好地解决现有问题，于是产生了一种新的计算模型，叫做边缘计算。边缘计算在网络边缘，即靠近数据生成源头，利用网络边缘节点来处理和分析数据、提供近端计算服务。

作为工业物联网的一部分，边缘计算变得日益重要。由于物联网终端的资源局限，传统方式需要借助远端的云计算资源为用户提供服务，如果将终端所有数据传输到云中心统一处理后再返回终端，势必给网络链路和数据中心带来巨大压力，也极易导致云中心过载而拒绝服务，影响终端用户的体验。因此，根据分级分层计算的理念和应用实践，逐步提出了边缘计算模式，通过在用户邻近区域提供计算服务，减少网络和云计算中心资源压力。边缘计算并不是为了取代云计算，而是对云计算的拓展，为物联网提供更好的计算平台。边缘计算的构架是“端设备—边缘—云”三层模型，三层均可以为应用提供资源与服务。边缘层与设备层之间的邻近度包含有两层含义。第一，逻辑上的邻近度，代表边缘层基础设施与终端设备之间的路由跳数，跳数越多代表路由中遭遇拥塞的机会越大，延迟增加的可能性也越大。第二，指物理上的邻近度，物理上的邻近度取决于终端设备与边缘层的物理距离和边缘计算设备的性能。

边缘计算中，端设备会产生大量的数据，同时边缘服务器(也可称为边缘计算平台)需要提供大量的数据处理服务。因此，根据边缘计算平台性能以及网络状况，如何动态地对这些数据和处理进行调度至合适的计算服务提供者即计算节点，是边缘计算中的核心问题之一。同时，由于边缘计算环境中计算设备和计算服务请求的大动态特性，计算设备由于用户开关等造成动态注册和撤销，计算服务请求可能随时发起或终止，边缘平台的计算服务通常也需要跟着进行迁移和启停。因此，实现边缘平台计算服务的快速配置，也是边缘计算中的一个核心问题。

嵌入式系统是以应用为中心，以计算机技术为基础，并且软硬件可裁剪，适用于应用系统对功能、可靠性、成本、体积、功耗有较高要求的专用计算机系统。目前主流的嵌入式微处理器包括进阶精简指令集机ARM(Advanced RISC Machine)，数字信号处理器DSP(Digital Signal Processor)和现场可编程门阵列FPGA(Field Programmable GateArray)等。由于其体积小、功耗低、形态易定制、便携等优良特性，嵌入式系统非常适合作为边缘计算平台提供边缘计算服务。但是针对上述核心问题，目前尚无建立实施标准。并且对比云计算中心，边缘计算平台的计算、通信、存储、供电等资源均较为有限，不适宜布置重量级的系统服务，因此急需一种适用于边缘计算平台的轻量级资源配置方法。

发明内容

为了满足嵌入式边缘计算平台资源配置的需求，本发明针对现有技术存在的问题，提供一种简单可靠、复杂度低、可快速部署的嵌入式边缘计算平台资源配置方法。

本发明的上述目的通过以下措施来达到。一种嵌入式边缘计算平台资源配置方法，其特征在于包括如下步骤：首先，应用编排人员以Json文件为载体对映射-归约计算模型(MapReduce)的计算图进行编排，按照分布式方式统计字母出现频次的MapReduce计算图的数据传播路径和节点计算操作，对Json文件进行编排，并将需额外补充的计算操作程序一起打包成一个压缩文件；然后，将计算任务注入嵌入式边缘计算平台，边缘计算平台自动对Json文件进行解析，恢复出计算图，并根据计算图对计算、通信资源的需求进行分解，形成映射图。计算图分解时将单入单出的多个链式操作划分为同一操作组，保障资源映射时同一操作组的计算被分配到同一计算节点内，减少计算节点间的通信传输，而不同操作组间的连接则根据靠近数据源原则，按照顺序依次连接，缩短数据在分布式计算资源间的传播路径；最后，使用映射图完成计算需求到硬件资源的部署；如映射未成功，则根据失败反馈的原因，对计算图的分解方式进行调整，形成新的映射图后进行再次映射。

本发明相比现有技术方法的有益效果是：

简单可靠、轻量级。本发明使用Json文件为载体对MapReduce的计算图进行编排，约定的编排格式可简单、清晰地描述MapReduce计算图的数据传播路径和节点操作，平台通过对Json文件的解析恢复出计算任务。其中，Json是一种灵活且轻量级的数据交换格式，它基于ECMAScript(欧洲计算机协会制定的JS(Java描述语言，JavaScript)规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据，其语法规则类似C语言家族的习惯。Json简洁又清晰的层次结构既易于人阅读和编写，也易于机器解析和生成。因此，平台计算任务的注入，采用了完全独立于语言的文本格式，无需重量级的语言环境支持，例如：对比Python。

复杂度低、可快速部署。本发明综合考虑边缘计算应用对延迟和带宽的要求，以及嵌入式边缘计算平台的特点，因此：1)在计算图分解时将单入单出的多个链式操作划分为同一操作组，保障资源映射时同一操作组的计算被分配到同一计算节点内，减少计算节点间的通信传输，2)不同操作组间的连接根据靠近数据源原则，按照顺序依次连接，缩短了数据在分布式计算资源间的传播路径。以上两项措施复杂度低、简单有效，既避免了任务部署时资源优化方案规划的复杂计算过程，又兼顾了任务对时延的要求，可实现任务在边缘计算平台上的快速部署。

本发明适用于嵌入式边缘计算平台的分布式资源快速部署，简单可靠，环境和资源需求代价小，具有极强的工程应用价值。

附图说明

下面结合附图和实时例对本发明进一步说明。

图1是本发明嵌入式边缘计算平台资源配置流程图。

图2是Json文件编排的约定格式编排的MapReduce计算图。

图3是图2的MapReduce映射图。

图4是映射图到嵌入式硬件资源的映射实施例示意图。

具体实施方式

下面结合附图和具体实施方式对本方法进一步说明。

参阅图1。根据本发明，首先，应用编排人员以Json文件为载体对映射-归约计算模型(MapReduce)的计算图进行编排，按照分布式方式统计字母出现频次的MapReduce计算图的数据传播路径和节点计算操作，对Json文件进行编排，并将需额外补充的计算操作程序一起打包成一个压缩文件；然后，将计算任务注入嵌入式边缘计算平台，边缘计算平台自动对Json文件进行解析，恢复出计算图，并根据计算图对计算、通信资源的需求进行分解，形成映射图。计算图分解时将单入单出的多个链式操作划分为同一操作组，保障资源映射时同一操作组的计算被分配到同一计算节点内，减少计算节点间的通信传输，而不同操作组间的连接则根据靠近数据源原则，按照顺序依次连接，缩短数据在分布式计算资源间的传播路径；最后，使用映射图完成计算需求到硬件资源的部署；如映射未成功，则根据失败反馈的原因，对计算图的分解方式进行调整，形成新的映射图后进行再次映射。

第一步骤打包指的是将Json文件和计算平台自身函数未支持，需额外补充的计算操作的可执行文件一起进行打包，成一个压缩文件。Json文件中的"executables"(可执行程序)项对补充的计算操作进行描述；"ops"(操作，operations)对操作的调用进行描述。

在以下描绘的实施例中，映射-归约计算模型(MapReduce)是一个以分布式方式统计字母出现频次(即字母计数，LetterCount，LC)的计算图，计算图包含：数据源(即字母源，LetterSource，LC)、数据分发操作(即轮询，RoundRobin，RR)、3个数据处理通道的字母拆分操作(即字母拆分，LetterSplit，LS)和字母按类汇集操作(即字母分区，LetterPartition，LP)，以及归约Reduce操作(即字母归约，LetterReduce，LR)和输出(即字母输出，LetterOutput，LO)。大量的字母由数据源随机产生或采用外部文件输入，数据分发操作对数据源输入的数据流通过轮询方式发送至3个数据处理通道，3个数据处理通道对收到的数据进行分布式的映射Map操作(即LetterSplit和LetterPartition)，最后汇聚到LetterReduece后进行结果输出LetterOutput。

应用程序编排人员可根据Json文件的编排格式进行举一反三，对计算图进行扩展。以LetterCount实施例为例，Json文件编排的约定格式如下：

Json文件对LC实施例计算图的输入、输出、数据传播路径、路径上每一节点的计算操作函数和相关参数进行了描述。

参阅图2。LC实施例采用映射-归约MapReduce计算模型构建的有向无环计算图，计算图中的箭头表示数据传播路径，节点即方框表示对数据的计算操作。MapReduce是一种分布式计算模型，其核心思想是将需要处理的大型数据切割成多个数据分片，每个数据分片在分布式集群的不同计算节点上进行并行处理即Map(映射)，数据分片在处理完成后进行合并输出处理结果即归约(Reduce)。MapReduce提供了一种可运行在数十、数百、甚至数千个分布式计算节点上实施并行计算的程序设计模型和方法，大大降低了应用编排人员对并行计算基础知识要求的门槛，提升了应用编排开发的速度。

LC实施例的MapReduce计算图中，LetterSource是数据源，随机产生或从外部文件读入大量的字母；数据分发操作RoundRobin执行数据分发操作，将从LetterSource输入的大量字母按时间段进行拆分为数据分片，并通过轮询的方式发送后续Map阶段的3个数据处理通道；Map阶段的3个数据处理通道分别对收到的数据分片并行地进行Map操作，即字母拆分操作(LetterSplit)和字母按类汇集操作(LetterPartition)；Map阶段处理结束，3个数据处理通道的处理结果汇聚输入LetterReduce执行Reduce操作后输出(LetterOutput)。

参阅图3。嵌入式边缘计算平台对Json文件解析恢复出计算图后，需要对任务的资源需求进行分解，以完成计算资源需求到硬件的映射。这一过程是对资源配置的寻优过程，基础计算能力和节点间通信是嵌入式资源配置寻优的两大核心问题。以通信代价和实时性要求(即延迟最小)为寻优目标，本发明采用按组分配的方式对计算资源需求进行划分，即单入单出的多个链式操作可划分为同一个操作组，如图中的LS0和LS1。在资源配置的时候，本发明将按照操作组分配到同一个计算节点的规则进行资源分配，当链式操作的链条对计算节点太长的情况，则需要对链条进行斩断，形成多个操作组。

图中，按照单入单出原则，从左至右搜寻，将LS0和LP0、LS1和LP1、LS2和LP2划分为3个操作组，以保障操作组内通信为计算节点内通信，提升通信效率、降低时延。

参阅图4。以德州仪器的多核DSP(数字信号处理器，Digital Signal Processor)+进阶精简指令集机ARM(Advanced RISC Machine)芯片66ak2H14为一个计算节点，其中一片66ak2H14芯片包含1颗ARM核心(ARM Core)和8颗DSP核心(DSP Core)，计算操作全部由DSP核心完成。实施例以一颗DSP核心为最小计算粒度，即一颗DSP核心执行一个计算操作。则实施例的映射图以图中的方式映射至硬件资源计算实体，即各DSP核。

从左至右，在计算节点1中，LS映射至DSP Core0、RR映射至DSP Core1、LS0和LP0按操作组为单位，占用连续的DSP Core2和DSP Core3，依次类推。占用完计算节点1的所有DSPCore以后，系统找到最近的计算节点2，因此将剩余的LR和LO依次映射到了计算节点2的DSPCore0和DSP Core1。硬件资源域中的带箭头实线和映射图域中的带箭头实线相对应，表示数据的传播路径，跨越映射图域和硬件资源域的带箭头虚线表示计算操作到执行操作的硬件实体的映射。可以看到同一操作组的计算被分配到了同一计算节点内，即一片66ak2H14芯片内；不同操作组间的连接则根据靠近数据源原则，按照顺序依次连接，缩短数据在分布式计算资源间的传播路径。

以上所述为本发明较佳实施例，应该注意的是上述实施例对本发明进行说明，然而本发明并不局限于此，并且本领域技术人员在脱离所附权利要求的范围情况下可设计出替换实施例。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims

1.一种嵌入式边缘计算平台资源配置方法，其特征在于包括如下步骤：首先，应用编排人员以Json文件为载体对映射-归约计算模型（MapReduce）的计算图进行编排，按照分布式方式统计字母出现频次的MapReduce计算图的数据传播路径和节点计算操作，对Json文件进行编排，并将需额外补充的计算操作程序一起打包成一个压缩文件；然后，将计算任务注入嵌入式边缘计算平台，边缘计算平台自动对Json文件进行解析，恢复出计算图，并根据计算图对计算、通信资源的需求进行分解，形成映射图;计算图分解时将单入单出的多个链式操作划分为同一操作组，保障资源映射时同一操作组的计算被分配到同一计算节点内，减少计算节点间的通信传输，而不同操作组间的连接则根据靠近数据源原则，按照顺序依次连接，缩短数据在分布式计算资源间的传播路径；最后，使用映射图完成计算需求到硬件资源的部署；如映射未成功，则根据失败反馈的原因，对计算图的分解方式进行调整，形成新的映射图后进行再次映射。

2.如权利要求1所述的嵌入式边缘计算平台资源配置方法，其特征在于：计算图包含：数据源，即字母源，LetterSource，LC、数据分发操作，即轮询，RoundRobin，RR、3个数据处理通道的字母拆分操作，即字母拆分，LetterSplit，LS和字母按类汇集操作，即字母分区，LetterPartition，LP，以及归约Reduce操作，即字母归约，LetterReduce，LR和输出，即字母输出，LetterOutput，LO。

3.如权利要求2所述的嵌入式边缘计算平台资源配置方法，其特征在于：大量的字母由数据源随机产生或采用外部文件输入。

4.如权利要求2所述的嵌入式边缘计算平台资源配置方法，其特征在于：数据源LetterSource随机产生或从外部文件读入大量的字母；数据分发操作RoundRobin执行数据分发操作，将从LetterSource输入的大量字母按时间段进行拆分为数据分片，并通过轮询的方式发送至后续Map阶段的3个数据处理通道。

5.如权利要求4所述的嵌入式边缘计算平台资源配置方法，其特征在于：数据分发操作对数据源输入的数据流通过轮询方式发送至3个数据处理通道，3个数据处理通道对收到的数据进行分布式的映射Map操作，即LetterSplit和LetterPartition，最后汇聚到LetterReduece后进行结果输出LetterOutput。

6.如权利要求1所述的嵌入式边缘计算平台资源配置方法，其特征在于：映射-归约计算模型（MapReduce）将大型数据切割成多个数据分片，每个数据分片在分布式集群的不同计算节点上进行并行处理即映射（Map），数据分片在处理完成后进行合并输出处理结果即归约（Reduce）.映射-归约MapReduce计算模型构建的有向无环计算图，计算图中的箭头表示数据传播路径，节点即方框表示对数据的计算操作。

7.如权利要求6所述的嵌入式边缘计算平台资源配置方法，其特征在于：Map阶段的3个数据处理通道分别对收到的数据分片并行地进行Map操作，即字母拆分操作LetterSplit和字母按类汇集操作LetterPartition；Map阶段处理结束，3个数据处理通道的处理结果汇聚输入LetterReduce执行Reduce操作后输出LetterOutput。

8.如权利要求1所述的嵌入式边缘计算平台资源配置方法，其特征在于：嵌入式边缘计算平台对Json文件解析恢复出计算图后，对任务的资源需求进行分解，以完成计算资源需求到硬件的映射。

9.如权利要求1所述的嵌入式边缘计算平台资源配置方法，其特征在于：嵌入式边缘计算平台按组分配的方式对计算资源需求进行划分，即将单入单出的多个链式操作划分为同一个操作组。

10.如权利要求9所述的嵌入式边缘计算平台资源配置方法，其特征在于：在资源配置的时候，嵌入式边缘计算平台按照操作组分配到同一个计算节点的规则进行资源分配，当链式操作的链条对计算节点太长的情况，则对链条进行斩断，形成多个操作组。