CN115878924B - 一种基于双字典树数据处理方法、装置、介质及电子设备 - Google Patents

Abstract

本申请实施例公开了一种基于双字典树数据处理方法、装置、介质及电子设备。该方法包括：获取用户浏览的网址字段；其中，所述网址字段包括至少一个字符串；将所述网址字段，按照预设处理规则生成待处理字典树；其中，所述待处理字典树包括父节点和子节点；所述父节点用于存储字符串首字母；所述子节点用于存储字符串其余字母；根据预先确定的目标字典树的标签，确定与所述网址字段相对应的标签，以根据所述标签对所述网址字段进行处理。本技术方案，能够降低数据处理的时间和资源，从而达到提高效率的目的。

Description

一种基于双字典树数据处理方法、装置、介质及电子设备

技术领域

本申请实施例涉及字段匹配技术领域，尤其涉及一种基于双字典树数据处理方法、装置、介质及电子设备。

背景技术

随着移动互联网的崛起，多元化的数据使得我们对各类数据的分析挖掘需求更为迫切。用户上网日志数据中包含了用户的上网行为，通过对上网日志数据进行分析挖掘，能够更好的筛出目标用户，以便于业务需求。

目前，解析用户上网日志数据，通常采用传统线性字符串匹配的方法对大量上网日志数据进行匹配。

采用传统线性字符串匹配，会消耗大量时间和资源，在资源有限的情况下，挖掘用户上网日志数据加工变得十分艰难，大大降低了处理的效率。

发明内容

本申请实施例提供一种基于双字典树数据处理方法、装置、介质及电子设备，能够降低数据处理的时间和资源，从而达到提高效率的目的。

第一方面，本申请实施例提供了一种基于双字典树数据处理方法，该方法包括：

获取用户浏览的网址字段；其中，所述网址字段包括至少一个字符串；

将所述网址字段，按照预设处理规则生成待处理字典树；其中，所述待处理字典树包括父节点和子节点；所述父节点用于存储字符串首字母；所述子节点用于存储字符串其余字母；

根据预先确定的目标字典树的标签，确定与所述网址字段相对应的标签，以根据所述标签对所述网址字段进行处理。

第二方面，本申请实施例提供了一种基于双字典树数据处理装置，该装置包括：

网址字段获取模块，用于获取用户浏览的网址字段；其中，所述网址字段包括至少一个字符串；

待处理字典树生成模块，用于将所述网址字段，按照预设处理规则生成待处理字典树；其中，所述待处理字典树包括父节点和子节点；所述父节点用于存储字符串首字母；所述子节点用于存储字符串其余字母；

标签确定模块，用于根据预先确定的目标字典树的标签，确定与所述网址字段相对应的标签，以根据所述标签对所述网址字段进行处理。

第三方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的基于双字典树数据处理方法。

第四方面，本申请实施例提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的基于双字典树数据处理方法。

本申请实施例所提供的技术方案，获取用户浏览的网址字段；将网址字段，按照预设处理规则生成待处理字典树；其中，待处理字典树包括父节点和子节点；父节点用于存储字符串首字母；子节点用于存储字符串其余字母；根据预先确定的目标字典树的标签，确定与网址字段相对应的标签，以根据标签对网址字段进行处理。本技术方案，能够降低数据处理的时间和资源，从而达到提高效率的目的。

附图说明

图1是本申请实施例一提供的基于双字典树数据处理方法的流程图；

图2是本申请实施例二提供的基于双字典树数据处理装置的结构示意图；

图3是本申请实施例四提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

实施例一

图1是本申请实施例一提供的基于双字典树数据处理方法的流程图，本实施例可适用于对用户浏览的网址字段进行处理的情况，该方法可以由本申请实施例所提供的基于双字典树数据处理装置执行，该装置可以由软件和/或硬件的方式来实现，并可集成于用于网址字段处理的智能终端等设备中。

如图1所示，所述基于双字典树数据处理方法包括：

S110、获取用户浏览的网址字段；其中，所述网址字段包括至少一个字符串；

在本方案中，网址字段可以是指用户访问的网址url。可以从数据库获取用户浏览的网址字段，也可以从上网日志中获取用户浏览的网址字段。

其中，网址字段由至少一个字符串构成，各字符串由多个字母组成。

在本技术方案中，可选的，获取用户浏览的网址字段，包括：

通过扫描预先获取的上网日志表，得到用户浏览的网址字段。

其中，上网日志表可以从后台数据库中进行获取，通过hive sql扫描上网日志表获取用户浏览网址字段。其中，上网日志表中包含全联通用户每条上网全量日志。

通过对网址字段进行获取，能够基于双字典树高效地筛出目标用户并打上对应标签，不同标签用户再进行组合等逻辑，形成业务所需规则数据，从而实现数据变现，保证了业务所需的准确性和时效性。

在本技术方案中，可选的，在获取用户浏览的网址字段之前，所述方法还包括：

获取用户上网行为，并基于所述上网行为生成目标字典树；其中，所述目标字典树各节点用于存储字母和标签。

在本实施例中，字典树是一种高效的索引方法，它实际上是一种确定有限自动机(DFA)，在树的结构中，每一个结点对应一个DFA状态，每一个从父结点指向子结点(有向)标记的边对应一个DFA转换。字典树核心思想是空间换取时间，利用字符串的公共前缀来节省查询时间，常用于统计与排序大量字符串。

其中，用户上网行为可以是指用户浏览网址的各种行为。例如，浏览各个网址，对网址内容进行查看等。

在本实施例中，根据实际业务需求，形成用户上网行为自有检索字典库，并处理生成目标字典树。

基于目标字典树的标签，能够确定与网址字段相对应的标签，提高了数据的处理效率，减少了数据处理时间和资源。

S120、将所述网址字段，按照预设处理规则生成待处理字典树；其中，所述待处理字典树包括父节点和子节点；所述父节点用于存储字符串首字母；所述子节点用于存储字符串其余字母；

在本实施例中，获取网址字段后，将网址字段按照字符串进行分割，将每个字符串中的字母按照先后顺序生成字典树。

在本技术方案中，可选的，将所述网址字段，按照预设处理规则生成待处理字典树，包括：

依次获取所述网址字段中字符串，按照所述字符串中字母的先后顺序创建待处理字典树。

在本实施例中，获取网址字段后，将网址字段按照字符串进行分割，按照每个字符串中字母的先后顺序创建待处理字典树。例如，网址字段中包含b，abc，abd，bcd，abcd，efg，hii这6个字符串，按照字母顺序生成待处理字典树可以是a-b-c-d，a-b-d，b-c-d，e-f-g，h-i-i。其中，a-b-c-d和a-b-d父节点相同。

通过采用字典树算法解析分析上网日志字符串，大大提高了解析效率，提升了数据读取的速度，同时释放了现有资源，解决了有限资源下难以进行海量数据处理的问题。

在本技术方案中，可选的，在依次获取所述网址字段中字符串，按照所述字符串中字母的先后顺序创建待处理字典树之后，所述方法还包括：

根据所述待处理字典树确定待处理基值数组和待处理校验值数组，并将所述待处理基值数组和待处理校验值数组生成待处理文件；其中，所述待处理基值数组用于存储所述待处理字典树各节点的当前状态；所述待处理校验值数据用于存储所述待处理字典树各节点的前驱状态。

在本方案中，基值数组的每个元素表示一个字典树节点，即一个状态(分为空闲状态和占用状态)，校验值数组的每个元素表示某个状态的前驱状态。双数组结合了array查询效率高、list节省空间的优点，具体是通过两个数组base、check来实现：base数组中的s代表当前状态的下标，t代表转移状态的下标，c代表输入字符的数值，则base[s]+c＝t表示一次状态转移；由于转移后状态下标为t，且父子关系是唯一的，所以可通过检验当前元素的前驱状态确定转移是否成功，check[t]＝s检验状态转移是否成功。只需要一个加法一次比较即可完成一次状态转移，只花费了常数时间。

将网址字段生成双数组字典树，保证了数据处理效率的同时减少了存储空间的使用，解决了有限资源下难以进行海量数据处理的问题。

S130、根据预先确定的目标字典树的标签，确定与所述网址字段相对应的标签，以根据所述标签对所述网址字段进行处理。

其中，标签可以用字母、数字或者字符串等形式进行表示。同一类型网址字段对应的标签相同。

在本实施例中，目标字典树的各个节点中包含字母，以及字母与标签的对应关系，可以将待处理字典树与目标字典树进行匹配，确定与网址字段相对应的标签。不同标签用户再进行组合等逻辑，形成业务所需规则数据，从而实现数据变现，保证了业务所需的准确性和时效性。

在本技术方案中，可选的，根据预先确定的目标字典树的标签，确定与所述网址字段相对应的标签，包括：

将所述待处理字典树的父节点与目标字典树的父节点进行匹配；

若匹配成功，则将所述待处理字典树的子节点与目标字典树的子节点进行匹配，确定与所述网址字段相对应的标签。

在本实施例中，首先将待处理字典树的父节点与目标字典树的父节点进行匹配，若匹配不成功，则说明该目标字典树中不包含该网址字段，则可以按照标签打标规则重新给该网址字段进行打标，并将该网址字段信息更新至目标字典树。若匹配成功，则将待处理字典树的子节点与目标字典树的子节点进行匹配，直至匹配成功，确定与网址字段相对应的标签。

基于双字典树匹配方法，较高效地筛出目标用户并打上对应标签，不同标签用户再进行组合等逻辑，形成业务所需规则数据，从而实现数据变现，保证了业务所需的准确性和时效性。

在本技术方案中，可选的，基于所述上网行为生成目标字典树之后，所述方法还包括：

根据所述目标字典树确定目标基值数组和目标校验值数组，并将所述目标基值数组和目标校验值数组生成目标文件；其中，所述目标基值数组用于存储所述目标字典树各节点的当前状态和标签；所述目标校验值数据用于存储所述目标字典树各节点的前驱状态；

相应的，根据预先确定的目标字典树的标签，确定与所述网址字段相对应的标签，包括：

将所述目标文件中的数组和待处理文件中的数组进行匹配，若匹配成功，则确定与所述网址字段相对应的标签。

在本方案中，字典树能够利用词的共同前缀达到节省空间的目的，将目标文件中的数组和待处理文件中的数组进行匹配，能够较高效地筛出目标用户并打上对应标签。不同标签用户再进行组合等逻辑，形成业务所需规则数据，从而实现数据变现，保证了业务所需的准确性和时效性。

基于双数组字典树对网址字段进行处理，能够降低数据处理的时间和资源，从而达到提高效率的目的。

本申请实施例所提供的技术方案，获取用户浏览的网址字段；将网址字段，按照预设处理规则生成待处理字典树；其中，待处理字典树包括父节点和子节点；父节点用于存储字符串首字母；子节点用于存储字符串其余字母；根据预先确定的目标字典树的标签，确定与网址字段相对应的标签，以根据标签对网址字段进行处理。通过执行本技术方案，可以能够降低数据处理的时间和资源，从而达到提高效率的目的，能够有效解决数据处理时间长的难点，从而能够给后续找到目标用户提供了有力解决方案，促进工作的开展。

实施例二

图2是本申请实施例二提供的基于双字典树数据处理装置的结构示意图，如图2所示，基于双字典树数据处理装置包括：

网址字段获取模块210，用于获取用户浏览的网址字段；其中，所述网址字段包括至少一个字符串；

待处理字典树生成模块220，用于将所述网址字段，按照预设处理规则生成待处理字典树；其中，所述待处理字典树包括父节点和子节点；所述父节点用于存储字符串首字母；所述子节点用于存储字符串其余字母；

标签确定模块230，用于根据预先确定的目标字典树的标签，确定与所述网址字段相对应的标签，以根据所述标签对所述网址字段进行处理。

在本技术方案中，可选的，待处理字典树生成模块220，包括：

待处理字典树创建单元，用于依次获取所述网址字段中字符串，按照所述字符串中字母的先后顺序创建待处理字典树。

在本技术方案中，可选的，待处理字典树生成模块220，还包括：

待处理文件生成单元，用于根据所述待处理字典树确定待处理基值数组和待处理校验值数组，并将所述待处理基值数组和待处理校验值数组生成待处理文件；其中，所述待处理基值数组用于存储所述待处理字典树各节点的当前状态；所述待处理校验值数据用于存储所述待处理字典树各节点的前驱状态。

在本技术方案中，可选的，标签确定模块230，具体用于：

将所述待处理字典树的父节点与目标字典树的父节点进行匹配；

若匹配成功，则将所述待处理字典树的子节点与目标字典树的子节点进行匹配，确定与所述网址字段相对应的标签。

在本技术方案中，可选的，网址字段获取模块210，具体用于：

通过扫描预先获取的上网日志表，得到用户浏览的网址字段。

在本技术方案中，可选的，所述装置还包括：

目标字典树生成模块，用于获取用户上网行为，并基于所述上网行为生成目标字典树；其中，所述目标字典树各节点用于存储字母和标签。

在本技术方案中，可选的，所述装置还包括：

目标文件生成模块，用于根据所述目标字典树确定目标基值数组和目标校验值数组，并将所述目标基值数组和目标校验值数组生成目标文件；其中，所述目标基值数组用于存储所述目标字典树各节点的当前状态和标签；所述目标校验值数据用于存储所述目标字典树各节点的前驱状态；

相应的，标签确定模块230，还用于：

将所述目标文件中的数组和待处理文件中的数组进行匹配，若匹配成功，则确定与所述网址字段相对应的标签。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

实施例三

本申请实施例还提供一种包含计算机可执行指令的介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种基于双字典树数据处理方法，该方法包括：

获取用户浏览的网址字段；其中，所述网址字段包括至少一个字符串；

将所述网址字段，按照预设处理规则生成待处理字典树；其中，所述待处理字典树包括父节点和子节点；所述父节点用于存储字符串首字母；所述子节点用于存储字符串其余字母；

根据预先确定的目标字典树的标签，确定与所述网址字段相对应的标签，以根据所述标签对所述网址字段进行处理。

介质——任何的各种类型的存储器设备或存储设备。术语“介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDRRAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。介质可以还包括其它类型的存储器或其组合。另外，介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多介质。介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的介质，其计算机可执行指令不限于如上所述的基于双字典树数据处理操作，还可以执行本申请任意实施例所提供的基于双字典树数据处理方法中的相关操作。

实施例四

本申请实施例提供了一种电子设备，该电子设备中可集成本申请实施例提供的基于双字典树数据处理装置。图3是本申请实施例四提供的一种电子设备的结构示意图。如图3所示，本实施例提供了一种电子设备300，其包括：一个或多个处理器320；存储装置310，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器320执行，使得所述一个或多个处理器320实现本申请实施例所提供的基于双字典树数据处理方法，该方法包括：

获取用户浏览的网址字段；其中，所述网址字段包括至少一个字符串；

将所述网址字段，按照预设处理规则生成待处理字典树；其中，所述待处理字典树包括父节点和子节点；所述父节点用于存储字符串首字母；所述子节点用于存储字符串其余字母；

根据预先确定的目标字典树的标签，确定与所述网址字段相对应的标签，以根据所述标签对所述网址字段进行处理。

当然，本领域技术人员可以理解，处理器320还实现本申请任意实施例所提供的基于双字典树数据处理方法的技术方案。

图3显示的电子设备300仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图3所示，该电子设备300包括处理器320、存储装置310、输入装置330和输出装置340；电子设备中处理器320的数量可以是一个或多个，图3中以一个处理器320为例；电子设备中的处理器320、存储装置310、输入装置330和输出装置340可以通过总线或其他方式连接，图3中以通过总线350连接为例。

存储装置310作为一种计算机可读介质，可用于存储软件程序、计算机可执行程序以及模块单元，如本申请实施例中的基于双字典树数据处理方法对应的程序指令。

存储装置310可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置310可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置310可进一步包括相对于处理器320远程设置的存储器，这些远程存储器可以通过网络连接。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置330可用于接收输入的数字、字符信息或语音信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏、扬声器等电子设备。

本申请实施例提供的电子设备，可以降低数据处理的时间和资源，从而达到提高效率的目的。

上述实施例中提供的基于双字典树数据处理装置、介质及电子设备可执行本申请任意实施例所提供的基于双字典树数据处理方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的基于双字典树数据处理方法。

注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (8)

1.一种基于双字典树数据处理方法，其特征在于，包括：

获取用户浏览的网址字段；其中，所述网址字段包括至少一个字符串；

将所述网址字段，按照预设处理规则生成待处理字典树；其中，所述待处理字典树包括父节点和子节点；所述父节点用于存储字符串首字母；所述子节点用于存储字符串其余字母；

根据预先确定的目标字典树的标签，确定与所述网址字段相对应的标签，以根据所述标签对所述网址字段进行处理；

将所述网址字段，按照预设处理规则生成待处理字典树，包括：

依次获取所述网址字段中字符串，按照所述字符串中字母的先后顺序创建待处理字典树；

根据预先确定的目标字典树的标签，确定与所述网址字段相对应的标签，包括：

将所述待处理字典树的父节点与目标字典树的父节点进行匹配；

若匹配成功，则将所述待处理字典树的子节点与目标字典树的子节点进行匹配，确定与所述网址字段相对应的标签。

2.根据权利要求1所述的方法，其特征在于，在依次获取所述网址字段中字符串，按照所述字符串中字母的先后顺序创建待处理字典树之后，所述方法还包括：

根据所述待处理字典树确定待处理基值数组和待处理校验值数组，并将所述待处理基值数组和待处理校验值数组生成待处理文件；其中，所述待处理基值数组用于存储所述待处理字典树各节点的当前状态；所述待处理校验值数组用于存储所述待处理字典树各节点的前驱状态。

3.根据权利要求1所述的方法，其特征在于，获取用户浏览的网址字段，包括：

通过扫描预先获取的上网日志表，得到用户浏览的网址字段。

4.根据权利要求1所述的方法，其特征在于，在获取用户浏览的网址字段之前，所述方法还包括：

获取用户上网行为，并基于所述上网行为生成目标字典树；其中，所述目标字典树各节点用于存储字母和标签。

5.根据权利要求4所述的方法，其特征在于，基于所述上网行为生成目标字典树之后，所述方法还包括：

根据所述目标字典树确定目标基值数组和目标校验值数组，并将所述目标基值数组和目标校验值数组生成目标文件；其中，所述目标基值数组用于存储所述目标字典树各节点的当前状态和标签；所述目标校验值数组用于存储所述目标字典树各节点的前驱状态；

相应的，根据预先确定的目标字典树的标签，确定与所述网址字段相对应的标签，包括：

将所述目标文件中的数组和待处理文件中的数组进行匹配，若匹配成功，则确定与所述网址字段相对应的标签。

6.一种基于双字典树数据处理装置，其特征在于，包括：

网址字段获取模块，用于获取用户浏览的网址字段；其中，所述网址字段包括至少一个字符串；

待处理字典树生成模块，用于将所述网址字段，按照预设处理规则生成待处理字典树；其中，所述待处理字典树包括父节点和子节点；所述父节点用于存储字符串首字母；所述子节点用于存储字符串其余字母；

标签确定模块，用于根据预先确定的目标字典树的标签，确定与所述网址字段相对应的标签，以根据所述标签对所述网址字段进行处理；

待处理字典树创建单元，用于依次获取所述网址字段中字符串，按照所述字符串中字母的先后顺序创建待处理字典树；

标签确定模块，具体用于：

将所述待处理字典树的父节点与目标字典树的父节点进行匹配；

若匹配成功，则将所述待处理字典树的子节点与目标字典树的子节点进行匹配，确定与所述网址字段相对应的标签。

7.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的基于双字典树数据处理方法。

8.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5中任一项所述的基于双字典树数据处理方法。