CN109710652A - 一种数据处理方法、主处理器、协处理器及系统 - Google Patents

Abstract

本发明实施例提供一种数据处理方法、主处理器、协处理器及系统，协处理器接收主处理器的处理命令，其中，所述处理命令包括目标用户的特征；根据目标用户的特征，从数据库中获取相似用户，并根据目标用户和相似用户的特征计算相似用户的相似度；其中，相似用户与目标用户具有全部或部分相同的特征；将所有相似用户的相似度发送到主处理器。这样，本发明实施例通过主处理器和协处理器架构，将计算量大、适合并行运算的部分移植到协处理器中进行加速计算，有效提高了数据处理效率。

Description

一种数据处理方法、主处理器、协处理器及系统

技术领域

本发明涉及计算机技术领域，特别是涉及一种数据处理方法、主处理器、协处理器及系统。

背景技术

大数据时代产生了海量的数据，数据对企业来说是一种隐形的资产，里面蕴含了丰富的价值。但是，海量的数据并不都是有价值的，如何从海量数据当中提取有价值的信息至关重要。推荐算法是从大数据中找到目标用户感兴趣的内容为其进行推荐的一直算法。随着大数据时代的到来，推荐算法得到了越来越广泛的应用。协同过滤推荐算法是一种主流的、目前广泛应用在工业界的推荐算法。协同过滤算法主要有两类，分别是基于用户的协同过滤算法和基于物品的协同过滤算法。

然而，发明人通过研究发现，目前的协同过滤推荐算法是在CPU上串行实现的，随着数据量的急剧增加，传统的串行实现方法无法满足日益提高的计算要求。因此，在海量数据的背景下，如何能够提高数据处理效率是本领域技术人员亟需解决的技术问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种数据处理方法、主处理、协处理器及系统，用于解决现有技术中数据处理效率低的问题。

为实现上述目的及其他相关目的，根据本发明的第一方面，本发明实施例提供一种数据处理方法，应用于协处理器，该方法包括以下步骤：

接收主处理器的处理命令，其中，所述处理命令包括目标用户的特征；

根据目标用户的特征，从数据库中获取相似用户，并根据目标用户和相似用户的特征计算相似用户的相似度；其中，相似用户与目标用户具有全部或部分相同的特征；

将所有相似用户的相似度发送到主处理器。

可选地，所述根据目标用户的特征，从数据库中获取相似用户，包括：

根据预设获取数目，从数据库中获取相应数目的参考用户；

将与目标用户的特征匹配的参考用户作为相似用户。

可选地，所述根据目标用户的特征，从数据库中获取相似用户，包括：

根据处理资源确定获取数目；

根据确定的获取数目，从数据库中获取相应数目的参考用户；

将与目标用户的特征匹配的参考用户作为相似用户。

根据本发明的第二方面，本发明实施例还提供一种数据处理方法，应用于主处理器，该方法包括：

接收协处理器发送的相似用户的相似度；

按照相似度排列所有的相似用户；

根据排列后的相似用户生成推荐列表，并将所述推荐列表发送到目标用户。

根据本发明的第三方面，本发明实施例还提供一种协处理器，包括：

接收模块，用于接收主处理的处理命令，其中，所述处理命令包括目标用户的特征；

分析模块，用于根据目标用户的特征，从数据库中获取相似用户，并根据目标用户和相似用户的特征计算相似用户的相似度；其中，相似用户与目标用户具有全部或部分相同的特征；

发送模块，用于将所有相似用户的相似度发送到主处理器。

可选地，所述根据目标用户的特征，从数据库中获取相似用户，包括：

根据预设获取数目，从数据库中获取相应数目的参考用户；

将与目标用户的特征匹配的参考用户作为相似用户。

可选地，所述根据目标用户的特征，从数据库中获取相似用户，包括：

根据处理资源确定获取数目；

根据预设获取数目，从数据库中获取相应数目的参考用户；

将与目标用户的特征匹配的参考用户作为相似用户。

根据本发明的第四方面，本发明实施例还提供一种主处理器，包括：

接收模块，用于接收协处理器发送的相似用户的相似度；

排序模块，用于按照相似度排列所有的相似用户；

生成模块，用于根据排列后的相似用户生成推荐列表，并将所述推荐列表发送到目标用户。

根据本发明的第五方面，本发明实施例还提供一种系统，该系统包括上述实施例所描述的主处理器和协处理器。

根据本发明的第六方面，本发明实施例还提供一种系统，该系统包括协处理器和主处理器，所述协处理器和所述主处理器通信连接，其中，所述协处理器被配置为执行上述实施例所描述的协处理器侧的数据处理方法，所述主处理器被配置为执行上述实施例所描述的主处理器侧的数据处理方法

如上所述，本发明实施例提供的一种数据处理方法、主处理器、协处理及系统，具有以下有益效果：协处理器接收主处理器的处理命令，其中，所述处理命令包括目标用户的特征；根据目标用户的特征，从数据库中获取相似用户，并根据目标用户和相似用户的特征计算相似用户的相似度；其中，相似用户与目标用户具有全部或部分相同的特征；将所有相似用户的相似度发送到主处理器。这样，本发明实施例通过主处理器和协处理器架构，将计算量大、适合并行运算的部分移植到协处理器中进行加速计算，有效提高了数据处理效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种协处理器侧数据处理方法的流程示意图；

图2是本发明实施例提供的一种相似用户获取方法的流程示意图；

图3是本发明实施例提供的另一种相似用户获取方法的流程示意图；

图4是本发明实施例提供的一种主处理器侧数据处理方法的流程示意图；

图5是本发明实施例提供的一种协处理器的结构示意图；

图6是本发明实施例提供的一种主处理器的结构示意图；

图7是本发明实施例提供的执行数据处理方法的系统结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

请参阅图1至图7。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在本发明实施例中，主处理器可以为CPU，协处理器可以为FPGA，这样通过CPU和FPGA的系统架构来实现数据处理过程。

参见图1，是本发明实施例提供的一种协处理器侧数据处理方法的流程示意图，如图1所示，本发明实施例示出了协处理器执行该数据处理方法的过程：

步骤S101：接收主处理器的处理命令，其中，所述处理命令包括目标用户的特征。

主处理器可以向协处理器发送处理命令，该处理命令中可以携带目标用户的特征。在一示例性实施例中，该特征可以是关键词、或者特征值等，在本发明实施例中不做限定。

步骤S102：根据目标用户的特征，从数据库中获取相似用户，并根据目标用户和相似用户的特征计算相似用户的相似度；其中，相似用户与目标用户具有全部或部分相同的特征。

进一步，根据获取到的目标用户的特征，遍历数据库中的所有用户，选择全部或者部分与目标用户的特征相同的用户作为相似用户。

根据目标用户的特征，和相似用户的特征，计算相似用户与目标用户的相似度，相似度的计算可以使用欧几里得距离、皮尔森相关系数等，在本发明实施例中不做限定。

为了保证资源配置的合理性，在第一种实施情况下，参见图2，是本发明实施例提供的一种相似用户获取方法的流程示意图，如图2所示，本发明实施例示出了获取相似用户的过程：

步骤S1021：根据预设获取数目，从数据库中获取相应数目的参考用户。

为了充分利用协处理器的资源，在本发明实施例中，协处理可以按照预设的获取数目，从数据库汇总获取相应数目的参考用户。在一示例性实施例中，该获取数目可以为16，这样协处理器可以从数据库中每次提取16个用户到FPGA内存进行处理，在FPGA内部可以使用并行处理的方式进行循环展开计算，提高计算效率。

步骤S1022：将与目标用户的特征匹配的参考用户作为相似用户。

在第二种实施情况下，参见图3，是本发明实施例提供的另一种相似用户获取方法的流程示意图，如图3所示，本发明实施例示出了根据当前处理资源进行动态任务分配的过程，以提高相似用户的获取效率：

步骤S1023：根据处理资源确定获取数目。

为了进一步充分利用协处理器的资源，协处理器可以计算自身的缓存、处理器占用率等，从而计算得到获取数目。在一示例性实施例中，当处理器占用率较高时，确定较低的获取数目，当处理器占用率较低时，确定较高的获取数目。

步骤S1024：根据确定的获取数目，从数据库中获取相应数目的参考用户。

步骤S1025：将与目标用户的特征匹配的参考用户作为相似用户。

这样通过综合考虑协处理当前资源，实现协处理器获取用户数目的动态调整，保证协处理器计算资源利用的最优化。

步骤S103：将所有相似用户的相似度发送到主处理器。

根据步骤S102计算后，协处理器进一步将所有相似用户的相似度发送到主处理器，由主处理器进行后续处理。

由上述实施例的描述可见，本发明实施例提供的一种数据处理器方法，包括接收主处理器的处理命令，其中，所述处理命令包括目标用户的特征；根据目标用户的特征，从数据库中获取相似用户，并根据目标用户和相似用户的特征计算相似用户的相似度；其中，相似用户与目标用户具有全部或部分相同的特征；将所有相似用户的相似度发送到主处理器。这样，本发明实施例通过主处理器和协处理器架构，将计算量大、适合并行运算的部分移植到协处理器中进行加速计算，有效提高了数据处理效率。

参见图4，是本发明实施例提供的一种主处理器侧数据处理方法的流程示意图，如图4所示，本发明实施例示出了主处理执行数据处理方法的过程：

步骤S201：接收协处理发送的相似用户的相似度。

根据上述实施例的描述，主处理器接收协处理器通过并行计算得到的相似用户的相似度。

步骤S202：按照相似度排列所有的相似用户。

步骤S203：根据排列后的相似用户生成推荐列表，并将所述推荐列表发送到目标用户。

由上述实施例的描述可见，本发明实施例提供的一种主处理器侧数据处理方法，通过主处理和协处理器的架构，将计算量大的相似度计算算法等移植到协处理，主处理器和协处理器进行不同的分工计算，有效提高了数据处理效率。

在具体实施时，采用OpenCL高级语言完成协同滤波推荐算法的描述，包括在通用处理器CPU上运行的主机端程序，以及面向FPGA平台的Kernel端程序。其中主机端程序实现初始化数据、对相似用户进行排序以及生成推荐列表对目标用户进行推荐模块，kernel端程序实现找出与目标用户具有相同item的相似用户模块和计算各相似用户与目标用户的相似度模块；然后，采用GCC编译器对主机端程序进行编译，生成可在通用处理器CPU上执行的可执行程序文件；采用Altera SDK for OpenCL(AOC)高层次综合工具对Kernel程序文件进行编译综合，生成可在FPGA上运行的AOCX文件。最后，在通用处理器CPU上运行主机端程序，调用FPGA上的kernel端硬件电路进行硬件加速，CPU与FPGA之间采用PCI-E接口连接，进行数据通信，采用FPGA开发板上的DDR3内存作为数据缓存Buffer。

在相似用户的并行化实现过程中，可以将数据库中所有用户进行分组处理，按照充分利用但不超出FPGA资源的原则，选择合适的group_size，例如group_size＝16，表示每次取数据库中的16个用户到FPGA内存进行处理，通过将组内处理循环展开达到并行处理的目的。

通过以上的方法实施例的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

与本发明提供的数据处理方法实施例相对应，本发明还提供了一种协处理器。

参见图5，是本发明实施例提供的一种协处理器的结构示意图，如图5所示，该协处理器包括：

接收模块11，用于接收主处理的处理命令，其中，所述处理命令包括目标用户的特征；

分析模块12，用于根据目标用户的特征，从数据库中获取相似用户，并根据目标用户和相似用户的特征计算相似用户的相似度；其中，相似用户与目标用户具有全部或部分相同的特征；

发送模块13，用于将所有相似用户的相似度发送到主处理器。

在一示例性实施例中，所述分析模块12还用于，

根据预设获取数目，从数据库中获取相应数目的参考用户；

将与目标用户的特征匹配的参考用户作为相似用户。

在一示例性实施例中，所述分析模块12还用于，

根据处理资源确定获取数目；

根据预设获取数目，从数据库中获取相应数目的参考用户；

将与目标用户的特征匹配的参考用户作为相似用户。

参见图6，是本发明实施例提供的一种主处理器的结构示意图，如图6所示，该主处理器包括：

接收模块21，用于接收协处理器发送的相似用户的相似度；

排序模块22，用于按照相似度排列所有的相似用户；

生成模块23，用于根据排列后的相似用户生成推荐列表，并将所述推荐列表发送到目标用户。

本发明实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的数据处理方法。

图7是本发明实施例提供的执行数据处理方法的系统结构示意图，如图7所示，该系统包括主处理器31和协处理器32，主处理器31可以被配置为执行上述实施例所描述的主处理器侧的数据处理方法，协处理器32可以被配置为执行上述实施例所描述的协处理器侧的数据处理方法，且具有相同的技术效果，在本发明实施例中不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据处理方法，应用于协处理器，其特征在于，包括以下步骤：

接收主处理器的处理命令，其中，所述处理命令包括目标用户的特征；

根据目标用户的特征，从数据库中获取相似用户，并根据目标用户和相似用户的特征计算相似用户的相似度；其中，相似用户与目标用户具有全部或部分相同的特征；

将所有相似用户的相似度发送到主处理器。

2.根据权利要求1所述的数据处理方法，其特征在于，所述根据目标用户的特征，从数据库中获取相似用户，包括：

根据预设获取数目，从数据库中获取相应数目的参考用户；

将与目标用户的特征匹配的参考用户作为相似用户。

3.根据权利要求1所述的数据处理方法，其特征在于，所述根据目标用户的特征，从数据库中获取相似用户，包括：

根据处理资源确定获取数目；

根据确定的获取数目，从数据库中获取相应数目的参考用户；

将与目标用户的特征匹配的参考用户作为相似用户。

4.一种数据处理方法，应用于主处理器，其特征在于，包括以下步骤：

接收协处理器发送的相似用户的相似度；

按照相似度排列所有的相似用户；

根据排列后的相似用户生成推荐列表，并将所述推荐列表发送到目标用户。

5.一种协处理器，其特征在于，包括：

接收模块，用于接收主处理的处理命令，其中，所述处理命令包括目标用户的特征；

分析模块，用于根据目标用户的特征，从数据库中获取相似用户，并根据目标用户和相似用户的特征计算相似用户的相似度；其中，相似用户与目标用户具有全部或部分相同的特征；

发送模块，用于将所有相似用户的相似度发送到主处理器。

6.根据权利要求5所述的协处理器，其特征在于，所述根据目标用户的特征，从数据库中获取相似用户，包括：

根据预设获取数目，从数据库中获取相应数目的参考用户；

将与目标用户的特征匹配的参考用户作为相似用户。

7.根据权利要求5所述的协处理器，其特征在于，所述根据目标用户的特征，从数据库中获取相似用户，包括：

根据处理资源确定获取数目；

根据预设获取数目，从数据库中获取相应数目的参考用户；

将与目标用户的特征匹配的参考用户作为相似用户。

8.一种主处理器，其特征在于，包括：

接收模块，用于接收协处理器发送的相似用户的相似度；

排序模块，用于按照相似度排列所有的相似用户；

生成模块，用于根据排列后的相似用户生成推荐列表，并将所述推荐列表发送到目标用户。

9.一种系统，其特征在于，该系统包括如权利要求5至7任一项所述的协处理器，以及如权利要求8所述的主处理器。

10.一种系统，其特征在于，该系统包括协处理器和主处理器，所述协处理器和所述主处理器通信连接，其中，所述协处理器被配置为执行如权利要求1至3任一项所述的数据处理方法，所述主处理器被配置为执行如权利要求4所述的数据处理方法。