CN111159219B - 一种数据管理方法、装置、服务器及存储介质 - Google Patents

Abstract

本发明提供一种数据管理方法、装置、服务器及存储介质，通过接收数据查询请求，数据查询请求携带数据查询条件；从分布式存储系统存储的SQLite数据文件中获取与数据查询条件相关的各个目标SQLite数据文件，分布式存储系统中的SQLite数据文件是由计算平台将原始数据转换成SQLite数据文件后存储至分布式存储系统中的；从各个目标SQLite数据文件中查询与数据查询条件匹配的信息作为数据查询结果。基于本发明，能够基于分布式存储系统实现海量数据存储，且通过查询分布式存储系统中的SQLite数据文件可以实现SQL的规范标准查询以及提高数据查询的快速响应，不需对数据库自身进行改进，降低了使用门槛。

Description

一种数据管理方法、装置、服务器及存储介质

技术领域

本发明涉及大数据管理技术领域，更具体地说，涉及一种数据管理方法、装置、服务器及存储介质。

背景技术

目前大数据中心接入的数据量越来越多、应用越来越广泛。在一些数据应用场景中，既要求能够实现对海量数据的存储，又要求能够实现对数据查询的快速响应。Hadoop虽然能实现对海量数据的存储，但是对数据查询响应较慢，尤其是小数据量查询响应较慢。关系型数据库虽然能够基于SQL实现对数据查询的快速响应，但是其数据存储能力有限。Nosql虽然能实现海量数据的存储，但是却需要进行一定的改进才能实现SQL查询以提高数据查询响应速度，使用门槛较高。

发明内容

有鉴于此，本申请提供一种数据管理方法、装置、服务器及存储介质，以在降低使用门槛的基础上，实现对海量数据的存储和数据查询的快速响应。

技术方案如下：

本发明第一方面公开一种数据管理方法，包括：

接收数据查询请求，所述数据查询请求携带数据查询条件；

从分布式存储系统存储的SQLite数据文件中获取与所述数据查询条件相关的各个目标SQLite数据文件，所述分布式存储系统中的SQLite数据文件是由计算平台将原始数据转换成SQLite数据文件后存储至所述分布式存储系统中的；

从各个所述目标SQLite数据文件中查询与所述数据查询条件匹配的信息作为数据查询结果。

可选的，所述从分布式存储系统存储的SQLite数据文件中获取与所述数据查询条件相关的各个目标SQLite数据文件，包括：

获取所述数据查询条件中的表名和账期；

对所述表名和账期进行哈希计算生成第二信息；

从分布式存储系统存储的SQLite数据文件中查询携带的第一信息与所述第二信息相同的SQLite数据文件，将查询到的SQLite数据文件确定为目标SQLite数据文件；

其中，所述计算平台用于将原始数据划分成账期不同的各个数据文件，分别将每个所述数据文件转换成SQLite数据文件，且针对每个所述SQLite数据文件，利用该SQLite数据文件的表名和该SQLite数据文件对应的账期进行哈希计算生成该SQLite数据文件的第一信息，并根据该SQLite数据文件的第一信息中的目标信息在分布式存储系统中存储该SQLite数据文件。

可选的，所述从分布式存储系统存储的SQLite数据文件中获取与所述数据查询条件相关的各个目标SQLite数据文件，包括：

获取所述数据查询条件中的表名；

对所述表名进行哈希计算生成第二信息；

从分布式存储系统存储的SQLite数据文件中查询携带的第一信息与所述第二信息相同的SQLite数据文件，将查询到的SQLite数据文件确定为目标SQLite数据文件；

其中，所述计算平台用于将原始数据全量划分成各个数据文件，分别将每个所述数据文件转换成SQLite数据文件，且针对每个所述SQLite数据文件，利用该SQLite数据文件的表名进行哈希计算生成该SQLite数据文件的第一信息，并根据该SQLite数据文件的第一信息中的目标信息在分布式存储系统中存储该SQLite数据文件。

可选的，所述接收数据查询请求，包括：在缓存中未存储有数据查询请求的历史数据查询结果的情况下，接收依据数据访问接口规范通过数据访问接口发送的所述数据查询请求。

可选的，还包括：

在缓存中存储有所述数据查询请求的历史数据查询结果的情况下，将所述历史数据查询结果作为数据查询结果。

可选的，所述从各个所述目标SQLite数据文件中查询与所述数据查询条件匹配的信息作为数据查询结果，包括：

将各个所述目标SQLite数据文件加载至内存；

对加载至内存中的各个所述目标SQLite数据文件进行聚合计算得到与所述数据查询条件匹配的信息；

将所述信息作为所述数据查询请求的数据查询结果。

可选的，所述分布式存储系统为基于Hadoop平台的HBase数据库。

本发明第二方面公开一种数据管理装置，包括：

接收单元，用于接收数据查询请求，所述数据查询请求携带数据查询条件；

第一获取单元，用于从分布式存储系统存储的SQLite数据文件中获取与所述数据查询条件相关的各个目标SQLite数据文件，所述分布式存储系统中的SQLite数据文件是由计算平台将原始数据转换成SQLite数据文件后存储至所述分布式存储系统中的；

第一查询单元，用于从各个所述目标SQLite数据文件中查询与所述数据查询条件匹配的信息作为数据查询结果。

本发明第三方面公开一种服务器，包括：至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器调用所述存储器存储的程序，所述程序用于实现如上述本发明第一方面任意一项公开的数据管理方法。

本发明第四方面公开一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行如上述本发明第一方面任意一项公开的数据管理方法。

本发明提供一种数据管理方法、装置、服务器及存储介质，接收数据查询请求，并从分布式存储系统存储的SQLite数据文件中获取与数据查询条件相关的各个目标SQLite数据文件，进而从各个目标SQLite数据文件中查询与数据查询条件匹配的信息作为数据查询结果。本发明提供的技术方法，能够基于分布式存储系统实现海量数据存储，且通过查询分布式存储系统中的SQLite数据文件可以实现SQL的规范标准查询以及提高数据查询的快速响，不需对数据库自身进行改进，降低了使用门槛。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种数据管理系统的结构示意图；

图2为本发明实施例提供的一种数据管理方法示意图；

图3为本发明实施例提供的一种数据管理方法的流程示意图；

图4为本发明实施例提供的一种将SQLite数据文件存储至分布式存储系统的方法的流程示意图；

图5为本发明实施例提供的一种从各个目标SQLite数据文件中查询与数据查询条件匹配的信息作为数据查询结果的方法的流程示意图；

图6为本发明实施例提供的另一种数据管理方法的示例图；

图7为本发明实施例提供的一种数据管理装置的结构示意图；

图8为本发明实施例提供的一种服务器的硬件框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

由上述背景技术可知，目前大数据中心接入的数据量越来越多、应用越来越广泛。在一些数据应用场景中，既要求能够实现对海量数据的存储，又要求能够实现对数据查询的快速响应。目前对海量数据的进行存储的方法，是通过Hadoop对数据进行计算汇总得到原始数据，将原始数据存储至关系型数据库或者转存到Nosql中，以实现在进行数据查询时，通过关系型数据库或者Nosql进行数据查询。

当原始数据的数据量较大时，由于关系型数据库的数据存储能力有限，无法进行海量数据的存储，且当同时存在用户对同一条原始数据的进行存储和查询时，会引发锁表的情况，从而导致生产故障。Nosql虽然能实现海量数据的存储，但是Nosql默认不支持SQL查询，当需要进行SQL查询时，需要在Nosql中叠加相应的大数据组件，且Nosql对查询条件和查询场景具有一定的限制，需要提前规划好查询场景，进而根据查询场景制定相应的查询条件，才能实现SQL查询，对技术人员的设计能力要求较高，使用门槛高。

Hadoop虽然能在实现对数据进行计算得到原始数据的基础上，进一步实现对原始数据的存储和查询，但是其对数据查询响应较慢，尤其是当原始数据的数据量较小查询时，由于Hadoop的前期准备工作较大，即启动时间长，导致对小数据量的查询响应较慢。

因此，本发明提供一种数据管理方法、装置、服务器及存储介质，通过基于分布式存储系统实现海量数据存储，且通过查询分布式存储系统中的SQLite数据文件实现SQL查询以提高数据查询的快速响应，不需对数据库自身进行改进，降低了使用门槛。

参见图1，示出了本发明实施例提供的一种数据管理系统的结构示意图。该数据管理系统包括服务器、数据访问接口、数据访问中间件和HBase数据库。其中，HBase数据库中存储有SQLite数据文件。

结合图1参见图2，示出了本发明实施例提供一种数据管理方法的示意图，如图2所示，具体的：

服务器接收用户基于前端应用发送的数据查询请求，并判断缓存中是否存储有该数据查询请求的历史数据查询结果，若存在，则将历史数据查询结果作为该数据查询请求的数据查询结果返回给用户；若不存在，则依据数据访问接口规范调用数据访问接口将数据查询请求发送给数据访问中间件。

数据访问中间件基于SQL访问引擎对数据查询请求进行解析，得到数据查询条件；根据数据查询条件从HBase数据库中获取与数据查询条件相关的各个目标SQLite数据文件；将各个目标SQLite数据文件加载至自身的内存中；将内存中各个目标SQLite数据文件进行合并，并对合并后的各个目标SQLite数据文件进行聚合计算得到与数据查询条件匹配的信息，进而将得到的信息作为数据查询请求的数据查询结果。并基于数据访问接口将数据查询结果返回服务器，以使得服务器将数据查询结果返回给前端应用，以供用户查看。

需要说明的是，HBaes数据库为基于Hadoop平台的分布式存储系统。前端应用可以为报表Web应用。

在本申请实施例中，服务器将数据查询请求的数据查询结果返回给前端应用的同时，可以将该数据查询请求的数据查询结果存储至缓存，该数据查询请求的数据查询结果存储缓存后可以将该数据查询结果称为该数据查询请求的历史数据查询结果。由此，当接收到该数据查询请求时，可以判断缓存中是否存储有该数据查询请求的历史数据查询结果；若缓存中存储有该数据查询请求的历史数据查询结果，则将历史数据查询结果作为该数据查询请求的数据查询结果返回给用户；若缓存中未存储有该数据查询请求的历史数据查询结果，则依据数据访问接口规范调用数据访问接口将该数据查询请求发送给数据访问中间件，通过数据访问中间的SQL访问引擎对该数据查询请求做进一步的处理。

比如，缓存中存储有数据查询请求1的历史数据查询结果、数据查询请求2的历史数据查询结果和数据查询请求3的历史数据查询结果。若接收到的数据查询请求为数据查询请求1，确定缓存中存储有数据查询请求的历史数据查询结果，进而将数据查询请求1的历史数据查询结果作为接收到的数据查询请求的数据查询结果。

反之，若接收到的数据查询请求为数据查询请求4，确定缓存中未存储有数据查询请求的历史数据查询结果，则依据数据访问接口规范调用数据访问接口将数据查询请求发送给数据访问中间件，通过数据访问中间的SQL访问引擎对数据查询请求做进一步的处理。

需要说明的是，当缓存中存储的历史数据查询结果在缓存中的存储时长达到预设时长时，将存储时长达到预设时长的历史数据查询结果从缓存中删除。

在本申请实施例中，预设时长可以为一天、两天等等，以上仅仅是本申请实施例提供的预设时长的优选数值，有关预设时长的具体数值，发明人可根据自己的需求进行设置，在此不做限定。

在本发明实施例中，当接收到数据查询请求时，判断缓存中否存储有数据查询请求的历史数据查询结果；若缓存中存储有数据查询请求的历史数据查询结果，将历史数据查询结果作为数据查询请求的数据查询结果；若缓存中未存储有数据查询请求的历史数据查询结果，从分布式存储系统存储的SQLite数据文件中获取与数据查询条件相关的各个目标SQLite数据文件，进而从各个目标SQLite数据文件中查询与数据查询条件匹配的信息作为数据查询结果。本申请在缓存中存储有数据查询请求的历史数据查询结果的情况下，可以不对数据查询请求进行处理，而是直接将历史数据查询结果作为数据查询请求的数据查询结果，进而提高数据查询的响应效率。在缓存中未存储有数据查询请求的历史数据查询结果的情况下，基于分布式存储系统实现海量数据存储，且由SQL访问引擎查询分布式存储系统中的SQLite数据文件可以实现SQL的规范标准查询以及提高数据查询的快速响，不需对数据库自身进行改进，降低了使用门槛。

现结合图3对本发明实施例提供的一种数据管理方法进行详细说明，该数据管理方法应用与数据访问中间件，具体应用于数据访问中间件中的SQL访问引擎。如图3所示，该数据管理方法具体包括以下步骤：

S301：接收数据查询请求，数据查询请求携带数据查询条件；

在本申请实施例中，在缓存中未存储有数据查询请求的历史数据查询结果的情况下，接收依据数据访问接口规范通过数据访问接口发送的数据查询请求。其中，缓存可以为数据缓存区。

在本申请实施例中，确定缓存中是否存储有数据查询请求的历史数据查询结果的方式可以为：用户基于前端应用向服务器发送数据查询请求，服务器在接收到数据查询请求后，判断缓存中是否存储有该数据查询请求的历史数据查询结果；若缓存中存储有该数据查询请求的历史数据查询结果，将历史数据查询结果发送作为数据查询结果；若缓存中未存储有数据查询请求的历史数据查询结果，则依据数据访问接口规范调用数据访问接口将数据查询请求发送给数据访问中间件。

S302：从分布式存储系统存储的SQLite数据文件中获取与数据查询请求条件相关的各个目标SQLite数据文件；

在具体执行步骤S302的过程中，分布式存储系统中存储有SQLite数据文件，当接收到数据查询请求时，基于SQL访问引擎对数据查询请求进行解析，得到数据查询条件；进而根据数据查询条件从分布式存储系统中获取与该数据查询条件相关的各个目标SQLite数据文件。

在本申请实施例中，分布式存储系统中的SQLite数据文件是由计算平台将原始数据转换成SQLite数据文件后存储至分布式存储系统中的。

作为本申请实施例的一种优选方式，如图4所示，将SQLite数据文件存储至分布式存储系统的方式可以为：通过计算平台将原始数据划分成账期不同各个数据文件；分别将每个数据文件转换成SQLite数据文件；针对每个SQLite数据文件，利用该SQLite数据文件的表名和该SQLite数据文件对应的账期进行哈希计算，并将对表名和账期进行哈希计算得到结果作为该SQLite数据文件的第一信息，进而根据该SQLite数据文件的第一信息中的目标信息在分布式存储系统中存储该SQLite数据文件。

在本申请实施例中，计算平台对数据进行汇总计算得到原始数据后，按照月份将原始数据划分成账期不同各个数据文件。比如，计算平台可以按照月份将一年的原始数据划分成1月份账期的数据文件、2月份账期的数据文件……12月份账期的数据文件。有关于通过计算平台将原始数据进行分成账期不同各个数据文件的具体方式，发明人可根据自己的需求进行设置，本申请实施例不加以限定。

在本申请实施例中，针对每个数据文件而言，可以将数据文件转换成SQLite数据文件，转成的每个SQLite数据文件存在唯一的表名和账期；针对每个SQLite数据文件而言，可以根据该SQLite数据文件的表名和账期进行哈希计算得到该SQLite数据文件的第一信息。其中，第一信息可以为32位或者64位的字符串。进而可以根据第一信息中的目标信息依据01f～fef中间按奇数跳的方式进行预分区，并根据预分区的结果在分布式存储系统中存储SQLite数据文件，以便于平衡分布式存储系统。其中，第一信息中的目标信息可以为第一信息中的前3位字符。

相应的，在本申请实施例中，从分布式存储系统存储的SQLite数据文件中获取与数据查询条件相关的各个目标SQLite数据文件的方式可以为：在基于SQL访问引擎对数据查询请求进行解析得到数据查询条件后，获取数据查询条件中的表名和账期；并对所获取的表名和账期进行哈希计算，将对表名和账期进行哈希计算得到的结果作为第一信息；从分布式存储系统的各个SQLite数据文件携带的第一信息中查询与第二信息相同的SQLite数据文件，进而将查询到的SQLite数据文件确定为目标SQLite数据文件。

在本申请实施例中，将对数据查询条件中的表名和账期进行哈希计算得到的结果作为第一信息，能够根据第一信息中的目标信息快速确定目标SQLite数据文件在分布式存储系统中所存储的分区，进而从所确定的分区中确定与数据条件相关的目标SQLite数据文件。

比如，计算平台可以将原始数据划分成的1月份账期数据文件和2月份账期文件；将1月份账期文件转换成SQLite数据文件1；将2月份账期的数据文件转换成SQLite数据文件2；其中，SQLite数据文件1的表名为表名1，SQLite数据文件2的表名为表名2。利用表名1和1月份账期进行哈希计算生成SQLite数据文件1的第一信息为k1，利用表名2和2月份账期进行哈希计算生成SQLite数据文件2的第一信息为k2。若获取数据查询条件中的表名和账期分别为表名1和1月份账期；对表名1和1月份账期进行哈希计算生成的第二信息为k1，进而确定分布式存储系统存储的SQLite数据文件中携带的第一信息与第二信息相同的SQLite数据文件为SQLite数据文件1。

作为本申请实施例的另一种优选方式，如图4所示，将SQLite数据文件存储至分布式存储系统的方式可以为：通过计算平台将原始数据进行全量划分成各个数据文件；分别将每个数据文件转换成SQLite数据文件；针对每个SQLite数据文件，利用该SQLite数据文件的表名进行哈希计算，并将对表名进行哈希计算得到结果作为该SQLite数据文件的第一信息，进而根据该SQLite数据文件的第一信息中的目标信息在分布式存储系统中存储该SQLite数据文件。

在本申请实施例中，针对每个SQLite数据文件而言，该SQLite数据文件存在唯一的表名，可以根据该SQLite数据文件的表名进行哈希计算得到该SQLite数据文件的第一信息。其中，第一信息可以为32位或者64位的字符串。进而可以根据第一信息中的目标信息依据01f～fef中间按奇数跳的方式划进行预分区，并根据预分区的结果在分布式存储系统中存储SQLite数据文件，以便于平衡分布式存储系统。其中，第一信息中的目标信息可以为第一信息中的前3位字符。

相应的，在本申请实施例中，从分布式存储系统存储的SQLite数据文件中获取与数据查询条件相关的各个目标SQLite数据文件的方式可以为：在基于SQL访问引擎对数据查询请求进行解析得到数据查询条件后；获取数据查询条件中的表名，并对所获取的表名进行哈希计算，将对表名进行哈希计算得到的结果作为第二信息；从分布式存储系统的各个SQLite数据文件携带的第一信息中查询与第二信息SQLite数据文件，进而将查询到的SQLite数据文件确定为目标SQLite数据文件。

在本申请实施例中，将对数据查询条件中的表名进行哈希计算得到的结果作为第二信息，能够根据第二信息中的目标信息快速确定目标SQLite数据文件在分布式存储系统中所存储的分区，进而从所确定的分区中确定与数据条件相关的目标SQLite数据文件。

比如，通过计算平台用于将原始数据全量划分成的数据文件1和数据文件1，将数据文件1转换成SQLite数据文件1，将数据文件2转换成SQLite数据文件2；其中，SQLite数据文件1的表名为表名1，SQLite数据文件2的表名为表名2。利用表名1进行哈希计算生成SQLite数据文件1的第一信息为k1，利用表名2进行哈希计算生成SQLite数据文件2的第一信息为k2。若获取数据查询条件中的表名为表名1；对表名1进行哈希计算生成的第二信息为k1，则确定分布式存储系统存储的SQLite数据文件中携带的第一信息与第二信息相同的SQLite数据文件为SQLite数据文件1。

优选的，在本申请实施例中，分布式存储系统为基于Hadoop平台的HBase数据库。

需要说明的是，在HBase数据库的基础上应用Hadoop平台的分布式文件系统hdsf，进而实现文件的分布式存储。

S303：从各个目标SQLite数据文件中查询与数据查询条件匹配的信息作为数据查询查询结果。

图5为本发明实施例提供的一种从各个目标SQLite数据文件中查询与数据查询条件匹配的信息作为数据查询结果的方法的流程示意图。

如图5所示，该方法包括：

S501：将各个目标SQLite数据文件加载至内存；

在本申请实施例中，基于SQL访问引擎从分布式存储系统中获取与数据查询条件匹配的各个目标SQLite数据文件，进而将获取的各个目标SQLite数据文件加载至内存。

S502：对加载至内存中的各个目标SQLite数据文件进行聚合计算得到与数据查询条件匹配的信息；

在本申请实施例中，在将各个目标SQLite数据文件加载到内存后，基于SQL访问引擎将内存中的各个目标SQLite数据文件进行合并，进而对合并后的各个目标SQLite数据文件进行聚合计算，得到与数据查询条件匹配的信息。

需要说明的是，对内存中的各个目标SQLite数据文件进行合并可以理解为：将内存中的各个目标SQLite数据文件放到同一个SQLite数据文件中。

S503：将信息作为数据查询请求的数据查询结果。

进一步的，在本申请实施例中，数据访问中间件的SQL访问引擎基于数据访问接口将数据查询请求的数据查询结果返回给服务器，以使得服务器将数据查询请求的数据查询结果返回给前端应用，以供用户查看。

本发明提供一种数据管理方法，应用于数据访问中间件，具体应用于数据访问中间件的SQL访问引擎，接收数据查询请求，并从分布式存储系统存储的SQLite数据文件中获取与数据查询条件相关的各个目标SQLite数据文件，进而从各个目标SQLite数据文件中查询与数据查询条件匹配的信息作为数据查询结果。本发明提供的技术方法，能够基于分布式存储系统实现海量数据存储，且由SQL访问引擎查询分布式存储系统中的SQLite数据文件实现SQL的规范标准查询以及提高数据查询的快速响，不需对数据库自身进行改进，降低了使用门槛。

为了更好对上述提供的一种数据管理方法中的内容进行理解，本发明实施例基于在指标库的生产与使用的应用提供一种数据管理方法的示例。如图6所示，具体为：

SPARK指标计算平台对数据仓库中的数据进行汇总计算得到原始数据，并将原始数据划分成账期不同的各个数据文件；分别将每个数据文件转换成SQLite数据文件；并进行CUBE化存储，即针对每个SQLite数据文件，利用该SQLite数据文件的表名和该SQLite数据文件对应的账期进行哈希计算，并将对表名和账期进行哈希计算得到结果作为该SQLite数据文件的第一信息，进而根据该SQLite数据文件的第一信息中的目标信息在分布式存储系统中存储该SQLite数据文件。

服务器接收用户基于前端应用发送的SQL请求，并对判断缓存中是否存储有SQL请求的历史数据查询结果；若缓存中存储有SQL请求的历史数据查询结果，将该历史数据查询结果作为SQL请求的数据查询结果返回给前端应用。

若缓存中未存储有SQL请求的历史数据查询结果，依据数据访问接口规范调用数据访问接口将数据查询请求发送给指标聚合中间件，即数据访问中间件；基于指标聚合中间件的SQL访问引擎对SQL请求进行解析得到的数据查询条件；获取数据查询条件中的表名和账期，并对所获取的表名和账期进行哈希计算，将对表名和账期进行哈希计算得到的结果作为第二信息；从分布式存储系统的各个SQLite数据文件携带的第一信息中查询与第二信息相同的SQLite数据文件，进而将查询到的SQLite数据文件确定为目标SQLite数据文件；将各个目标SQLite数据文件加载至内存，并对内存中的各个目标SQLite数据文件进行合并，进而对合并后的各个目标SQLite数据文件进行SQL计算，即对合并后的各个目标SQLite数据文件聚合计算，得到与数据查询条件匹配的信息；基于数据访问接口将与数据查询条件匹配的信息作为数据查询结果返回给服务器，以使得服务器将数据查询结果返回给前端应用，以供用户查看。

与上述本发明实施例提供的一种数据管理方法相对应，如图7所示，本发明实施例还提供一种数据管理装置的结构示意图。该数据管理装置包括：

接收单元71，用于接收数据查询请求，数据查询请求携带数据查询条件；

第一获取单元72，用于从分布式存储系统存储的SQLite数据文件中获取与数据查询条件相关的各个目标SQLite数据文件，分布式存储系统中的SQLite数据文件是由计算平台将原始数据转换成SQLite数据文件后存储至分布式存储系统中的；

第一查询单元73，用于从各个目标SQLite数据文件中查询与数据查询条件匹配的信息作为数据查询结果。

上述本发明实施例公开的数据管理装置中各个单元具体的原理和执行过程，与上述本发明实施例公开的数据管理方法相同，可参见上述本发明实施例公开的数据管理方法中相应的部分，这里不再进行赘述。

本发明提供一种数据管理装置，接收数据查询请求，并从分布式存储系统存储的SQLite数据文件中获取与数据查询条件相关的各个目标SQLite数据文件，进而从各个目标SQLite数据文件中查询与数据查询条件匹配的信息作为数据查询结果。本发明提供的技术方法，能够基于分布式存储系统实现海量数据存储，且由SQL访问引擎引擎查询分布式存储系统中的SQLite数据文件实现SQL的规范标准查询以及提高数据查询的快速响，不需对数据库自身进行改进，降低了使用门槛。

在本申请实施例中，优选的，第一获取单元，包括：

第二获取单元，用于获取所述数据查询条件中的表名和账期；

第一计算单元，用于对所述表名和账期进行哈希计算生成第二信息；

第二查询单元，用于从分布式存储系统存储的SQLite数据文件中查询携带的第一信息与所述第二信息相同的SQLite数据文件，将查询到的SQLite数据文件确定为目标SQLite数据文件；

其中，所述计算平台用于将原始数据划分成账期不同的各个数据文件，分别将每个所述数据文件转换成SQLite数据文件，且针对每个所述SQLite数据文件，利用该SQLite数据文件的表名和该SQLite数据文件对应的账期进行哈希计算生成该SQLite数据文件的第一信息，并根据该SQLite数据文件的第一信息中的目标信息在分布式存储系统中存储该SQLite数据文件。

在本申请实施例中，优选的，第一获取单元，包括：

第三获取单元，用于获取所述数据查询条件中的表名；

第二计算单元，用于对所述表名进行哈希计算生成第二信息；

第三查询单元，用于从分布式存储系统存储的SQLite数据文件中查询携带的第一信息与所述第二信息相同的SQLite数据文件，将查询到的SQLite数据文件确定为目标SQLite数据文件；

其中，所述计算平台用于将原始数据全量划分成各个数据文件，分别将每个所述数据文件转换成SQLite数据文件，且针对每个所述SQLite数据文件，利用该SQLite数据文件的表名进行哈希计算生成该SQLite数据文件的第一信息，并根据该SQLite数据文件的第一信息中的目标信息在分布式存储系统中存储该SQLite数据文件。

在本申请实施例中，优选的，接收单元，包括：

接收子单元，用于在缓存中未存储有数据查询请求的历史数据查询结果的情况下，接收依据数据访问接口规范通过数据访问接口发送的数据查询请求。

进一步的，本申请实施例提供的一种数据管理装置，还包括：

第一确定单元，用于在缓存中存储有数据查询请求的历史数据查询结果的情况下，将历史数据查询结果作为数据查询结果。

在本申请实施例中，在缓存中未存储有数据查询请求的历史数据查询结果的情况下，可以不对数据查询请求进行处理，直接将历史数据查询结果作为数据查询请求的数据查询结果，进而提高数据查询的响应效率。

在本申请实施例中，优选的，第一查询单元，包括：

加载单元，用于将各个SQLite数据文件加载至内存；

聚合计算单元，用于对加载至内存中的各个目标SQLite数据文件进行聚合计算得到与数据查询条件匹配的信息；

第二确定单元，用于将信息作为数据查询请求的数据查询结果。

在本申请实施例中，优选的，分布式存储系统为基于Hadoop平台的HBase数据库。

下面以数据管理方法应用于服务端为例，对本申请实施例提供的一种数据管理方法所适用于的服务端的硬件结构进行详细说明。

本申请实施例提供的一种数据管理方法可应用于服务端，该服务端可以是网络侧为用户提供服务的服务设备，其可能是多台服务器组成的服务器集群，也可能是单台服务器。

可选的，图8示出了本申请实施例提供的一种数据管理方法所适用于的服务端的硬件结构框图，参照图8，服务端的硬件结构可以包括：处理器81，存储器82，通信接口83和通信总线84；

在本发明实施例中，处理器81、存储器82、通信接口83、通信总线84的数量均可以为至少一个，且处理器81、存储器82、通信接口83通过通信总线84完成相互间的通信；

处理器81可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；

存储器82可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器；

其中，存储器存储有程序，处理器可调用存储器存储的程序，程序用于：

接收数据查询请求，数据查询请求携带数据查询条件；

从分布式存储系统存储的SQLite数据文件中获取与数据查询条件相关的各个目标SQLite数据文件，分布式存储系统中的SQLite数据文件是由计算平台将原始数据转换成SQLite数据文件后存储至分布式存储系统中的；

从各个目标SQLite数据文件中查询与数据查询条件匹配的信息作为数据查询结果。

有关程序的功能可参见上文对本申请实施例提供的一种数据管理方法的详细描述，在此不做赘述。

进一步的，本申请实施例还提供一种计算机可读计算机存储介质，该计算机可读存储介质中存储有计算机可执行指令，该计算机可执行指令用于执行上述数据管理方法。

有关计算机可执行指令的具体内容可参见上文对本申请实施例提供的一种数据管理方法的详细描述，在此不做赘述。

以上对本发明所提供的一种数据管理方法、装置、服务器及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素，或者是还包括为这些过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种数据管理方法，其特征在于，包括：

接收数据查询请求，所述数据查询请求携带数据查询条件；

从分布式存储系统存储的SQLite数据文件中获取与所述数据查询条件相关的各个目标SQLite数据文件，所述分布式存储系统中的SQLite数据文件是由计算平台将原始数据转换成SQLite数据文件后存储至所述分布式存储系统中的；

从各个所述目标SQLite数据文件中查询与所述数据查询条件匹配的信息作为数据查询结果；

所述从分布式存储系统存储的SQLite数据文件中获取与所述数据查询条件相关的各个目标SQLite数据文件，包括：

获取所述数据查询条件中的表名和账期；

对所述表名和账期进行哈希计算生成第二信息；

从分布式存储系统存储的SQLite数据文件中查询携带的第一信息与所述第二信息相同的SQLite数据文件，将查询到的SQLite数据文件确定为目标SQLite数据文件；

其中，所述计算平台用于将原始数据划分成账期不同的各个数据文件，分别将每个所述数据文件转换成SQLite数据文件，且针对每个所述SQLite数据文件，利用该SQLite数据文件的表名和该SQLite数据文件对应的账期进行哈希计算生成该SQLite数据文件的第一信息，并根据该SQLite数据文件的第一信息中的目标信息在分布式存储系统中存储该SQLite数据文件。

2.根据权利要求1所述的方法，其特征在于，所述从分布式存储系统存储的SQLite数据文件中获取与所述数据查询条件相关的各个目标SQLite数据文件，还包括：

获取所述数据查询条件中的表名；

对所述表名进行哈希计算生成第二信息；

从分布式存储系统存储的SQLite数据文件中查询携带的第一信息与所述第二信息相同的SQLite数据文件，将查询到的SQLite数据文件确定为目标SQLite数据文件；

其中，所述计算平台用于将原始数据全量划分成各个数据文件，分别将每个所述数据文件转换成SQLite数据文件，且针对每个所述SQLite数据文件，利用该SQLite数据文件的表名进行哈希计算生成该SQLite数据文件的第一信息，并根据该SQLite数据文件的第一信息中的目标信息在分布式存储系统中存储该SQLite数据文件。

3.根据权利要求1所述的方法，其特征在于，所述接收数据查询请求，包括：在缓存中未存储有数据查询请求的历史数据查询结果的情况下，接收依据数据访问接口规范通过数据访问接口发送的所述数据查询请求。

4.根据权利要求3所述的方法，其特征在于，还包括：

在缓存中存储有所述数据查询请求的历史数据查询结果的情况下，将所述历史数据查询结果作为数据查询结果。

5.根据权利要求1所述的方法，其特征在于，所述从各个所述目标SQLite数据文件中查询与所述数据查询条件匹配的信息作为数据查询结果，包括：

将各个所述目标SQLite数据文件加载至内存；

对加载至内存中的各个所述目标SQLite数据文件进行聚合计算得到与所述数据查询条件匹配的信息；

将所述信息作为所述数据查询请求的数据查询结果。

6.根据权利要求1-5任意一项所述的方法，其特征在于，所述分布式存储系统为基于Hadoop平台的HBase数据库。

7.一种数据管理装置，其特征在于，包括：

接收单元，用于接收数据查询请求，所述数据查询请求携带数据查询条件；

第一获取单元，用于从分布式存储系统存储的SQLite数据文件中获取与所述数据查询条件相关的各个目标SQLite数据文件，所述分布式存储系统中的SQLite数据文件是由计算平台将原始数据转换成SQLite数据文件后存储至所述分布式存储系统中的；

第一查询单元，用于从各个所述目标SQLite数据文件中查询与所述数据查询条件匹配的信息作为数据查询结果；

所述第一获取单元，包括：

第二获取单元，用于获取所述数据查询条件中的表名和账期；

第一计算单元，用于对所述表名和账期进行哈希计算生成第二信息；

第二查询单元，用于从分布式存储系统存储的SQLite数据文件中查询携带的第一信息与所述第二信息相同的SQLite数据文件，将查询到的SQLite数据文件确定为目标SQLite数据文件；

其中，所述计算平台用于将原始数据划分成账期不同的各个数据文件，分别将每个所述数据文件转换成SQLite数据文件，且针对每个所述SQLite数据文件，利用该SQLite数据文件的表名和该SQLite数据文件对应的账期进行哈希计算生成该SQLite数据文件的第一信息，并根据该SQLite数据文件的第一信息中的目标信息在分布式存储系统中存储该SQLite数据文件。

8.一种服务器，其特征在于，至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器调用所述存储器存储的程序，所述程序用于实现如权利要求1-6任意一项所述的数据管理方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1-6任意一项所述的数据管理方法。

Images