CN103294648A

CN103294648A - 支持多mac运算部件向量处理器的分块矩阵乘法向量化方法

Info

Publication number: CN103294648A
Application number: CN2013101664113A
Authority: CN
Inventors: 刘仲; 陈书明; 窦强; 郭阳; 刘衡竹; 田希; 龚国辉; 陈海燕; 彭元喜; 万江华; 刘胜; 陈跃跃; 扈啸; 吴家铸
Original assignee: National University of Defense Technology
Current assignee: National University of Defense Technology
Priority date: 2013-05-08
Filing date: 2013-05-08
Publication date: 2013-09-11
Anticipated expiration: 2033-05-08
Also published as: CN103294648B

Abstract

一种支持多MAC运算部件向量处理器的分块矩阵乘法向量化方法，流程为：（1）依据向量处理器的向量处理单元VPE的数量p、VPE中的MAC运算部件的数量m、向量存储器的容量s和矩阵元素的数据大小d，确定最优的子矩阵的块大小blocksize，确定乘数矩阵B的子矩阵的列数和行数以及确定被乘数矩阵A的子矩阵的行数与列数；（2）将向量存储器的容量s分为容量相等的两部分存储区域Buffer0和Buffer1，依次在Buffer0和Buffer1间以乒乓方式实现子矩阵的乘法，直到整个矩阵乘法计算完成。本发明具有实现简单、操作方便、可提高向量处理器并行性、能提高处理器运算效率等优点。

Description

支持多MAC运算部件向量处理器的分块矩阵乘法向量化方法

技术领域

本发明主要涉及到数据处理技术领域，特指一种支持多MAC运算部件向量处理器的分块矩阵乘法向量化方法。

背景技术

随着大型稠密线性方程组求解、4G无线通信、雷达信号处理、高清视频和数字图像处理等计算密集型应用的高性能计算需求日益增长，计算机体系结构出现显著变化，出现许多新型体系结构，如众核体系结构、异构多核体系结、流处理器体系结构和向量处理器体系结构等等，这些新的体系结构在单芯片上集成多个处理器核，每个核上包含丰富的运算部件，大幅度提高了芯片的计算性能；同时，还对软件开发提出了新的挑战。因为现有的大量程序和算法是基于单核处理器设计的，如何针对多核、多运算部件等体系结构特点，充分开发各个层次的并行性，高效地并行和向量化这些应用算法是当前面临的主要困难。

“矩阵乘法”是高性能计算（High Performance Computing，HPC）常用的核心模块之一，是典型的计算密集和访存密集型应用，对处理器的乘加（Multiply Accumulate，MAC）能力和访存带宽要求非常高，计算的时间复杂度很高，大约为O（N³），N为矩阵规模。传统的三重循环实现矩阵乘法的方法计算访存比较低，Cache的数据缺失、矩阵数据搬移开销占比大，导致处理器的运算效率较低。分块矩阵乘法方法将大矩阵的乘法分割为一系列子矩阵的乘法，通过合理的设置子矩阵的块大小，子矩阵的块大小blocksize通常满足blocksize<=sqrt(M/3)，M为Cache的容量，使得子矩阵计算时的数据访问能够全部在Cache中命中，通过减少子矩阵的计算时间降低整个大矩阵乘法的计算时间，从而大幅度提高处理器的运算效率。

图1是多MAC运算部件向量处理器的一般结构示意图，它包括标量处理部件（Scalar Processing Unit，SPU）和向量处理部件（Vector Processing Unit，VPU），SPU负责标量任务计算和流控，VPU负责向量计算，包括若干向量处理单元（Vector Processing Element，VPE），每个VPE包含MAC0、MAC1等多个运算功能部件，以及ALU 、BP等其他功能部件。SPU和VPU提供数据通道传输和交换数据。向量数据访问单元支持向量数据的Load/Store，提供大容量的专用向量存储器，而不是单核处理器的Cache机制，现有的分块矩阵乘法方法不适合这类向量处理器。因此，亟需设计一种高效的支持多MAC运算部件向量处理器的分块矩阵乘法向量化的方法，以便最优的发挥向量处理器的运算效率。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现简单、操作方便、可提高向量处理器并行性、能提高处理器运算效率的支持多MAC运算部件向量处理器的分块矩阵乘法向量化方法。

为解决上述技术问题，本发明采用以下技术方案：

一种支持多MAC运算部件向量处理器的分块矩阵乘法向量化方法，流程为：

（1）依据向量处理器的向量处理单元VPE的数量p、VPE中的MAC运算部件的数量m、向量存储器的容量s和矩阵元素的数据大小d，确定最优的子矩阵的块大小blocksize，确定乘数矩阵B的子矩阵的列数和行数以及确定被乘数矩阵A的子矩阵的行数与列数；

（2）将向量存储器的容量s分为容量相等的两部分存储区域Buffer0和Buffer1，依次在Buffer0和Buffer1间以乒乓方式实现子矩阵的乘法，直到整个矩阵乘法计算完成。

作为本发明的进一步改进：

所述步骤（1）中，乘数矩阵B的子矩阵的列数为p*m，行数为(s/2/2)/(p*m*d)；确定乘数矩阵B的子矩阵块大小后，再确定被乘数矩阵A的子矩阵块大小；所述被乘数矩阵A的子矩阵的行数与列数都等于乘数矩阵B的子矩阵的行数，即(s/2/2)/(p*m*d)。

所述向量处理器的标量处理部件SPU依次读取被乘数子矩阵A的每一行中的每一个元素，并扩展成一个向量数据；由向量处理部件VPU读取乘数子矩阵B的B0行数据与前述向量数据的每个元素分别进行乘累加；当遍历完被乘数子矩阵的A0行数据时，计算得到结果子矩阵C的C0行数据；当遍历完被乘数子矩阵A的所有行时，完成结果子矩阵C的计算。

所述步骤（2）中，存储区域Buffer0用于本次的子矩阵乘法中的乘数矩阵B和输出结果矩阵C的子矩阵存储，同时通过DMA控制器将下一次子矩阵乘法所需要的乘数矩阵B的子矩阵数据搬运到存储区域Buffer1，以及上一次的结果子矩阵数据搬移到外存储器。

与现有技术相比，本发明的优点在于：本发明依据向量处理器的体系结构特点和矩阵元素的数据大小，确定最优的子矩阵的块大小blocksize，有效提高了处理器的计算访存比；采用双缓冲的乒乓方式实现子矩阵的乘法能够有效地将数据搬移时间与计算时间重叠，减少总的计算时间。由向量处理器的标量处理部件SPU读取被乘数子矩阵的行数据，并扩展成向量数据，与向量处理部件VPU按行读取乘数子矩阵的向量数据的每个元素分别进行乘累加，避免了列数据的访问以及向量数据的规约求和。这些优点使得本发明的方法实现简单，操作方便，能够充分挖掘向量处理器的指令、数据、任务等各个层次的并行性，将处理器的运算效率提高到90%以上，从而充分发挥多MAC运算部件向量处理器所具有的高性能计算能力的优点。

附图说明

图1是多MAC运算部件向量处理器的一般结构示意图。

图2是本发明方法的执行流程示意图。

图3是具体实施例中依据向量处理器的体系结构特点确定最优子矩阵的块大小的流程示意图。

图4是本发明中子矩阵乘法的具体实施过程的运算示意图。

图5是在具体实施例中采用双缓冲的乒乓方式实现子矩阵乘法的流程示意图。

具体实施方式

以下将结合说明书附图和具体实施例对本发明做进一步详细说明。

如图2所示，本发明支持多MAC运算部件向量处理器的分块矩阵乘法向量化方法，具体流程为：

（1）首先依据向量处理器的向量处理单元VPE的数量p、VPE中的MAC运算部件的数量m、向量存储器的容量s和矩阵元素的数据大小d，确定最优的子矩阵的块大小blocksize，确定乘数矩阵B的子矩阵的列数和行数以及确定被乘数矩阵A的子矩阵的行数与列数。

如图3所示，具体应用时，根据向量处理器的向量处理单元VPE的数量p、每个VPE中的MAC运算部件的数量m、向量存储器的容量s和矩阵元素的数据大小d，确定最优的子矩阵的块大小blocksize。其中，乘数矩阵B的子矩阵的列数为p*m，行数为(s/2/2)/(p*m*d)。确定乘数矩阵B的子矩阵块大小后，再确定被乘数矩阵A的子矩阵块大小。被乘数矩阵A的子矩阵的行数与列数都等于乘数矩阵B的子矩阵的行数，即(s/2/2)/(p*m*d)。举一个例子来说，假定矩阵元素的数据为单精度浮点数据，数据大小为4B（字节），向量存储器的容量为1024KB，向量处理单元VPE的数量p=16，每个VPE中的MAC运算部件的数量m=2，则乘数矩阵B的子矩阵的列数为p*m=16*2=32列，行数为(1024*1024/2/2)/(16*2*4)=2048行。被乘数矩阵A的子矩阵的行数与列数都等于2048。

如图4所示，本实施例中，乘数矩阵B的子矩阵的列数为4、行数为8；被乘数矩阵A的子矩阵的行数与列数都等于8。采用的方法是，由向量处理器的标量处理部件SPU依次读取被乘数子矩阵A的每一行中的每一个元素，并扩展成一个向量数据，如图4中的A0行的a00元素扩展成向量(a00, a00, a00, a00)，a01元素扩展成向量(a01, a01, a01, a01)。由向量处理部件VPU读取乘数子矩阵B的B0行数据(b00, b01, b02, b03)，与前述向量数据的每个元素分别进行乘累加。当遍历完被乘数子矩阵的A0行数据时，计算得到结果子矩阵C的C0行数据(c00, c01, c02, c03)。当遍历完被乘数子矩阵A的所有行时，完成结果子矩阵C的计算。

如图5所示，本实施例中的分块矩阵乘法采用双缓冲（Buffer）的乒乓方式实现子矩阵的乘法，将向量存储器的容量s分为容量相等的两部分存储区域Buffer0和Buffer1，其中Buffer0用于本次的子矩阵乘法中的乘数矩阵B和输出结果矩阵C的子矩阵存储，同时通过DMA控制器将下一次子矩阵乘法所需要的乘数矩阵B的子矩阵数据搬运到Buffer1，以及上一次的结果子矩阵数据搬移到外存储器。

综上所述，通过本发明所实现的支持多MAC运算部件向量处理器的分块矩阵乘法向量化方法，能够依据向量处理器的体系结构特点确定最优的子矩阵的块大小blocksize。采用双缓冲的乒乓方式实现子矩阵的乘法能够有效地将数据搬移时间与计算时间重叠，减少总的计算时间。由向量处理器的标量处理部件SPU读取被乘数子矩阵的行数据，并扩展成向量数据，与向量处理部件VPU按行读取乘数子矩阵的向量数据的每个元素分别进行乘累加，避免了列数据的访问以及向量数据的规约求和。这些优点使得本发明的方法实现简单，操作方便，能够充分挖掘向量处理器的指令、数据、任务等各个层次的并行性，将处理器的运算效率提高到90%以上，从而充分发挥多MAC运算部件向量处理器所具有的高性能计算能力的优点。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims

1.一种支持多MAC运算部件向量处理器的分块矩阵乘法向量化方法，其特征在于，流程为：

2.根据权利要求1所述的支持多MAC运算部件向量处理器的分块矩阵乘法向量化方法，其特征在于，所述步骤（1）中，乘数矩阵B的子矩阵的列数为p*m，行数为(s/2/2)/(p*m*d)；确定乘数矩阵B的子矩阵块大小后，再确定被乘数矩阵A的子矩阵块大小；所述被乘数矩阵A的子矩阵的行数与列数都等于乘数矩阵B的子矩阵的行数，即(s/2/2)/(p*m*d)。

3.根据权利要求2所述的支持多MAC运算部件向量处理器的分块矩阵乘法向量化方法，其特征在于，所述向量处理器的标量处理部件SPU依次读取被乘数子矩阵A的每一行中的每一个元素，并扩展成一个向量数据；由向量处理部件VPU读取乘数子矩阵B的B0行数据与前述向量数据的每个元素分别进行乘累加；当遍历完被乘数子矩阵的A0行数据时，计算得到结果子矩阵C的C0行数据；当遍历完被乘数子矩阵A的所有行时，完成结果子矩阵C的计算。

4.根据权利要求1或2或3所述的支持多MAC运算部件向量处理器的分块矩阵乘法向量化方法，其特征在于，所述步骤（2）中，存储区域Buffer0用于本次的子矩阵乘法中的乘数矩阵B和输出结果矩阵C的子矩阵存储，同时通过DMA控制器将下一次子矩阵乘法所需要的乘数矩阵B的子矩阵数据搬运到存储区域Buffer1，以及上一次的结果子矩阵数据搬移到外存储器。