CN103607463B - 定位数据存储系统和存储方法 - Google Patents
定位数据存储系统和存储方法 Download PDFInfo
- Publication number
- CN103607463B CN103607463B CN201310602987.XA CN201310602987A CN103607463B CN 103607463 B CN103607463 B CN 103607463B CN 201310602987 A CN201310602987 A CN 201310602987A CN 103607463 B CN103607463 B CN 103607463B
- Authority
- CN
- China
- Prior art keywords
- location data
- location
- server
- data
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种定位数据存储系统和存储方法,所述系统包括:定位数据接收服务器,用于从各客户端或监控服务器接收定位数据;第一分布式缓存服务器集群中的分类处理服务器,根据接收的定位数据的监控周期确定其合并类型后,并将该定位数据对应合并类型进行缓存;第二分布式缓存服务器集群中的合并处理服务器,根据获取的定位数据的合并类型,确定出针对该合并类型预先设定的时间间隔;将时间间隔内的同一监控物标识的定位数据,合并到一条定位综合数据中;之后,将该条定位综合数据对应合并类型进行缓存;定位数据存储处理服务器,将获取的定位综合数据,存储到非关系型数据库中。应用本发明,可以提高定位数据查询的效率。
Description
技术领域
本发明涉及计算机通信技术,尤其涉及一种定位数据存储系统和存储方法。
背景技术
目前,随着GPS(Global Positioning System,全球定位系统)的广泛应用,以及CDMA(Code Division Multiple Access,码分多址)/GSM(Global Systemfor Mobile communications,全球移动通信系统)/GPRS(General Packet RadioService,通用分组无线服务)基站定位技术和互联网第三方定位技术的日趋成熟,有效地支持了对于移动人员、车辆、货物等监控业务平台的建设,使得诸如移动外勤人车综合管理系统、物流人员车辆远程监控平台、城市出租车远程管理系统等各类移动定位平台和监控系统迅速发展起来,并得到广泛应用。
监控业务平台中设有定位数据存储系统,用于存储定位数据,是监控业务平台的基础,现有的基于监控业务平台的定位数据存储系统,一般将定位数据的监控对象类型作为存储对象,并按照日期将定位数据存储在关系数据库的不同的文件中,当查询定位数据时,定位数据存储系统根据查询指令所涉及的监控对象的标识将属于该标识定位数据的不同文件合并后返回。
然而,仅以人员监控为例,同时假定人员定位的定位周期为半小时,被监控的人员每天产生48条定位数据,监控业务平台的监控规模为50万用户,每天则需要存储50万个只包含有48条定位数据的微小表文件,监控业务平台中所定位的周期较长的监控对象类型越多,产生的上述的微小表文件越多,使查询定位数据变得异常缓慢,造成查询效率严重低下。
此外,还存在一种数据存储方法,该方法将接收的数据按照采样周期进行分类,不同的采样周期的数据对应不同的存储结构:对于采样周期大于30分钟所采集的数据采用纵向存储结构,纵向存储包括两个维度域和不定个数的数据域,维度域用于存储数据的标识和数据的时刻,数据域的个数与数据的类型数相等;对于采样周期小于等于30分钟所采集的数据采用横向存储结构,横向存储包括三个维度域和固定个数的数据域,维度域用于存储数据的类型、标识,以及数据的时刻;数据域的个数与数据的采样周期相关。这样,采样周期相对较短,在数据库存储的时间较长的情况下,仍具有较好的查询效率。
本发明的发明人发现,假定车辆定位的定位周期为10s,由于其周期小于30分钟,上述的数据存储方法采用横向存储,横向存储的数据域将达到8640个,在查询定位车辆一天中的某个时间段的定位数据时,会造成其查询效率较低。因此有必要提出一种查询效率更高的定位数据存储系统和存储方法。
发明内容
本发明实施例提供了一种定位数据存储系统和存储方法,用以提高定位数据查询的效率。
根据本发明的一个方面,提供了一种定位数据存储系统,包括:
定位数据接收服务器,用于从各客户端或监控服务器接收定位数据;其中,一条定位数据包括:监控对象类型、监控物标识、定位经纬度、定位时间;
第一分布式缓存服务器集群,其包括:分类处理服务器和多个定位数据一级缓存服务器;所述分类处理服务器用于对于从所述定位数据接收服务器获取的每条定位数据,根据该定位数据的监控对象类型的监控数量和该定位数据的监控周期确定其合并类型后,将该定位数据发送到对应该合并类型的定位数据一级缓存服务器进行缓存;
第二分布式缓存服务器集群,其包括:合并处理服务器和多个定位数据二级缓存服务器;所述合并处理服务器对于每个定位数据一级缓存服务器,获取该定位数据一级缓存服务器中缓存的定位数据后,根据获取的定位数据的合并类型,确定出针对该合并类型预先设定的时间间隔;将从该定位数据一级缓存服务器获取的、所述时间间隔内的同一监控物标识的定位数据,依各定位数据的定位时间顺序合并到一条定位综合数据中;之后,将该条定位综合数据发送到对应该合并类型的定位数据二级缓存服务器进行缓存;
定位数据存储处理服务器,用于对于每个定位数据二级缓存服务器,将从该定位数据二级缓存服务器获取的定位综合数据,存储到非关系型数据库中。
较佳地,所述定位数据存储处理服务器还用于对于第一分布式缓存服务器集群中的每个定位数据一级缓存服务器,将从该定位数据一级缓存服务器获取的定位数据,存储到关系型数据库。
较佳地,所述系统还包括:
定位数据检索服务器,用于接收到定位数据的查询请求后,确定出该定位数据的合并类型,进而确定出针对该合并类型预先设定的时间间隔;若确定所述查询请求的查询条件中设置的查询时间的间隔大于或等于确定出的时间间隔,则从所述非关系型数据库中查找到相应的定位综合数据进行返回。
较佳地,所述定位数据检索服务器还用于若确定所述查询请求的查询条件中设置的查询时间的间隔小于确定出的时间间隔,则从所述关系型数据库中查找到相应的定位数据进行返回。
较佳地,所述定位数据检索服务器还用于若确定所述查询请求的查询条件中设置的查询时间的间隔小于确定出的时间间隔,则从所述关系型数据库中查找到相应的定位数据进行返回。
根据本发明的另一个方面,还提供了一种定位数据存储方法,包括:
定位数据接收服务器,从各客户端或监控服务器接收定位数据后,将接收的定位数据发送到第一分布式缓存服务器集群;
第一分布式缓存服务器集群中的分类处理服务器对于从所述定位数据接收服务器接收的每条定位数据,根据该定位数据的监控对象类型的监控数量和该定位数据的监控周期确定其合并类型后,将该定位数据发送到第一分布式缓存服务器集群中的、对应该合并类型的定位数据一级缓存服务器进行缓存;
第二分布式缓存服务器集群中的合并处理服务器对于每个定位数据一级缓存服务器,获取该定位数据一级缓存服务器中缓存的定位数据后,根据获取的定位数据的合并类型,确定出针对该合并类型预先设定的时间间隔;将从该定位数据一级缓存服务器获取的、所述时间间隔内的同一监控物标识的定位数据,依各定位数据的定位时间顺序合并到一条定位综合数据中;之后,将该条定位综合数据发送到第二分布式缓存服务器集群中的、对应该合并类型的定位数据二级缓存服务器进行缓存;
定位数据存储处理服务器对于第二分布式缓存服务器集群中的每个定位数据二级缓存服务器,将从该定位数据二级缓存服务器获取的定位综合数据,存储到非关系型数据库中。
进一步,所述根据该定位数据的监控对象类型的监控数量和该定位数据的监控周期确定其合并类型,具体包括:
所述第一分布式缓存服务器集群中的分类处理服务器根据从各客户端或监控服务器接收的定位数据的监控对象类型确定出该定位数据的监控周期和该监控对象类型的监控数量;之后,将该监控周期、该监控数量分别与预先设定的周期阈值、数量阈值进行对比,若该监控周期小于预先设定的第一周期阈值并且该监控数量小于预先设定的第一数量阈值,将该条定位数据的合并类型确定为第一合并类型;若该监控周期大于预先设定的第二周期阈值并且该监控数量大于预先设定的第二数量阈值,将该条定位数据的合并类型确定为第二合并类型。
进一步,在所述第一分布式缓存服务器集群中的分类处理服务器对于从所述定位数据接收服务器接收的每条定位数据,将该定位数据发送到第一分布式缓存服务器集群中的、对应该定位数据的合并类型的定位数据一级缓存服务器进行缓存之后,还包括:
所述定位数据存储处理服务器对于第一分布式缓存服务器集群中的每个定位数据一级缓存服务器,将从该定位数据一级缓存服务器获取的定位数据,存储到关系型数据库。
进一步,所述将从该定位数据一级缓存服务器获取的、所述时间间隔内的同一监控物标识的定位数据,依各定位数据的定位时间顺序合并到一条定位综合数据中,具体包括:
所述合并处理服务器将从该定位数据一级缓存服务器获取的、所述时间间隔内的同一监控物标识的定位数据,先将获取的定位数据的合并类型、监控物标识、以及第一条和最后一条定位数据的定位时间记录到所述定位综合数据中;之后,依各定位数据的定位时间顺序,将各定位数据的定位经纬度按照WKB格式依次记录到所述定位综合数据中。
进一步,所述将从该定位数据二级缓存服务器获取的定位综合数据,存储到非关系型数据库中具体为:
所述定位数据存储处理服务器将从该定位数据二级缓存服务器获取的定位综合数据,以key/value形式存储到所述非关系型数据库中;其中,根据所述定位综合数据中记录的合并类型、监控物标识、以及第一条和最后一条定位数据的定位时间生成key,将所述定位综合数据中记录的WKB格式的定位经纬度作为对应所述key的value。
进一步,在所述定位数据存储处理服务器对于第二分布式缓存服务器集群中的每个定位数据二级缓存服务器,将从该定位数据二级缓存服务器获取的定位综合数据,存储到非关系型数据库后,还包括:
定位数据检索服务器接收到定位数据的查询请求后,确定出该查询请求所涉及的定位数据的合并类型,进而确定出针对该合并类型预先设定的时间间隔;若确定所述查询请求的查询条件中设置的查询时间的间隔大于或等于确定出的时间间隔,则:
根据该查询请求所涉及的定位数据的合并类型、监控物标识、以及查询时间的起始时间、终止时间生成key;根据生成的key在所述非关系型数据库中查找到相应的value进行返回。
进一步,所述将从该定位数据一级缓存服务器获取的、所述时间间隔内的同一监控物标识的定位数据,依各定位数据的定位时间顺序合并到一条定位综合数据中,具体为:
所述合并处理服务器将从该定位数据一级缓存服务器获取的、同一监控物标识的定位数据,根据各定位数据的定位时间顺序合并到一条定位综合数据中,并使得该条定位综合数据中的第一条与最后一条定位数据的定位时间之差等于确定出的时间间隔。
本发明实施例的技术方案,采用两级集群服务器存储海量混合定位数据:系统接收定位数据后,由第一级缓存服务器集群根据定位数据的监控对象类型的监控数量和该定位数据的监控周期确定其合并类型,并将该定位数据存储在该集群中相应的关系型数据库中,之后,由第二级缓存服务器集群根据预设的时间间隔,将该时间间隔内的同一监控物标识的定位数据合并成一条综合的数据,存储在该集群中相应的非关系型数据库中;在查询定位数据时,如果查询的时间的间隔大于或等于预设的时间间隔,根据查询指令所涉及的合并类型确定出对应的非关系型数据库,非关系型数据库根据监控标识和时间间隔,迅速确定并返回需要查询的WKB格式的定位经纬度,提高了海量混合类型的定位数据的查询效率。
附图说明
图1为本发明实施例提供的定位数据存储系统的结构示意图;
图2为本发明实施例提供的定位数据存储的方法流程示意图;
图3为本发明实施例提供的定位数据查询的方法流程示意图。
具体实施方式
以下将结合附图对本发明的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例,都属于本发明所保护的范围。
本申请使用的“模块”、“系统”等术语旨在包括与计算机相关的实体,例如但不限于硬件、固件、软硬件组合、软件或者执行中的软件。例如,模块可以是,但并不仅限于:处理器上运行的进程、处理器、对象、可执行程序、执行的线程、程序和/或计算机。举例来说,计算设备上运行的应用程序和此计算设备都可以是模块。一个或多个模块可以位于执行中的一个进程和/或线程内,一个模块也可以位于一台计算机上和/或分布于两台或更多台计算机之间。
本发明提供的技术方案中,采用两级集群服务器存储海量混合定位数据:系统接收定位数据后,由第一级缓存服务器集群根据定位数据的监控对象类型的监控数量和该定位数据的监控周期确定其合并类型,并将该定位数据存储在该集群中相应的关系型数据库中,之后,由第二级缓存服务器集群根据预设的时间间隔,将该时间间隔内的同一监控物标识的定位数据合并成一条综合的数据,存储在该集群中相应的非关系型数据库中;在查询定位数据时,如果查询的时间的间隔大于或等于预设的时间间隔,根据查询指令所涉及的合并类型确定出对应的非关系型数据库,非关系型数据库根据监控标识和时间间隔,返回需要查询的WKB格式的定位经纬度,即使是查询定位周期小于15s的车辆定位数据,也可以迅速确定并返回,从而提高了海量混合类型的定位数据的查询效率。
下面结合附图详细说明本发明实施例的技术方案。本发明实施例提供的定位数据存储系统的结构如图1所示。包括:定位数据接收服务器101、第一分布式缓存服务器集群102、第二分布式缓存服务器集群103、定位数据存储处理服务器104;
其中,定位数据接收服务器101从各客户端或监控服务器接收包含有监控对象类型、监控物标识、定位经纬度、定位时间的定位数据定位数据。
上述的监控对象类型包括:人员、车辆、货物、设备、订单等;
若该条定位数据的监控类型为人员,则监控物标识的具体为定位人员ID(Identity,身份编码);若该条定位数据的监控类型为车辆,则监控物标识的具体为定位车辆的车牌号码;若该条定位数据的监控类型为货物,则监控物标识的具体为定位货物的条形编码;若该条定位数据的监控类型为设备,则监控物标识的具体为定位设备的设备型号;若该条定位数据的监控类型为订单,则监控物标识的具体为定位订单的订单号。
第一分布式缓存服务器集群102包括:分类处理服务器和多个定位数据一级缓存服务器;第一分布式缓存服务器集群102中的分类处理服务器对于从定位数据接收服务器101获取的每条定位数据,根据该定位数据的监控对象类型的监控数量和该定位数据的监控周期确定其合并类型:根据接收的定位数据的监控对象类型确定对应该监控对象类型的监控周期和监控数量,即确定出接收的定位数据的监控周期和该监控对象类型的监控数量;之后,根据该定位数据的监控周期和该监控对象类型的监控数量确定其合并类型。事实上,不同监控对象类型的监控周期往往是不同的;例如,监控对象类型为人员的情况,监控周期通常是30min;监控对象类型为车辆的情况,监控周期通常是10s。
之后,第一分布式缓存服务器集群102中的分类处理服务器将该定位数据发送到对应该合并类型的定位数据一级缓存服务器进行缓存。
其中,第一分布式缓存服务器集群102中的分类处理服务器中预先设定有两个时间阈值和两个数量阈值,将确定出的该定位数据的监控周期和监控数量分别与时间阈值、数量阈值进行对比,若该定位数据的监控周期小于第一时间阈值,并且该监控对象类型的监控数量小于第一数量阈值,则将该定位数据的合并类型确定为第一合并类型;若该定位数据的监控周期大于第二时间阈值,并且该监控对象类型的监控数量大于第二数量阈值,则将该定位数据的合并类型确定为第二合并类型。
上述的预先设定的时间阈值和数量阈值可以由本领域技术人员根据客户端或监控服务器的实际情况和本领域技术人员的经验进行设定。
第二分布式缓存服务器集群103包括:合并处理服务器和多个定位数据二级缓存服务器;第二分布式缓存服务器集群103中的合并处理服务器对于每个定位数据一级缓存服务器,获取该定位数据一级缓存服务器中缓存的定位数据后,根据获取的定位数据的合并类型,确定出针对该合并类型预先设定的时间间隔;将从该定位数据一级缓存服务器获取的、时间间隔内的同一监控物标识的定位数据,依各定位数据的定位时间顺序合并到一条定位综合数据中;之后,将该条定位综合数据发送到对应该合并类型的定位数据二级缓存服务器进行缓存。
定位数据存储处理服务器104对于每个定位数据二级缓存服务器,将从该定位数据二级缓存服务器获取的定位综合数据,存储到非关系型数据库中。
进一步,定位数据存储处理服务104对于第一分布式缓存服务器集群102中的每个定位数据一级缓存服务器,将从该定位数据一级缓存服务器获取的定位数据,存储到关系型数据库。
本发明实施例提供的定位数据存储方法的流程如图2所示。包括如下步骤:
S201:定位数据接收服务器101将接收的定位数据发送到第一分布式缓存服务器集群102。
本步骤中,定位数据接收服务器101从各客户端或监控服务器接收定位数据后,将接收的定位数据发送到第一分布式缓存服务器集群102。
S202:第一分布式缓存服务器集群102中的分类处理服务器将接收的每条定位数据,根据该定位数据的监控对象类型的监控数量和该定位数据的监控周期确定其合并类型,并将其发送到对应该定位数据的合并类型的定位数据一级缓存服务器进行缓存。
本步骤中,第一分布式缓存服务器集群102中的分类处理服务器对于从定位数据接收服务器101接收的每条定位数据,根据该定位数据的监控对象类型确定出该监控对象类型的监控数量和该定位数据的监控周期,之后,将该监控周期、该监控数量分别与预先设定的时间阈值、数量阈值进行对比,若该定位数据的监控周期小于第一时间阈值,并且该监控对象类型的监控数量小于第一数量阈值,则将该定位数据的合并类型确定为第一合并类型;若该定位数据的监控周期大于第二时间阈值,并且该监控对象类型的监控数量大于第二数量阈值,则将该定位数据的合并类型确定为第二合并类型;随后,将该定位数据发送到第一分布式缓存服务器集群102中的、对应该合并类型的定位数据一级缓存服务器进行缓存。
实际应用中,第一分布式缓存服务器集群102中的定位数据一级缓存服务器可以使用Binlog对缓存进行备份,并定时对备份进行更新;当缓存出现故障时,可以从备份缓存中提取定位数据,保证定位数据的存储效率。
S203:定位数据存储处理服务器104将从第一分布式缓存服务器集群102中的每个定位数据一级缓存服务器获取的定位数据,存储到关系型数据库。
本步骤中,定位数据存储处理服务器对于第一分布式缓存服务器集群101中的每个定位数据一级缓存服务器,将从该定位数据一级缓存服务器获取的定位数据,存储到关系型数据库。
S204:第二分布式缓存服务器集群103中的合并处理服务器将从定位数据一级缓存服务器获取的同一监控物标识的定位数据按时间顺序合并成一条综合数据。
本步骤中,第二分布式缓存服务器集群103中的合并处理服务器对于每个定位数据一级缓存服务器,获取该定位数据一级缓存服务器中缓存的定位数据后,根据获取的定位数据的监控对象类型,确定出针对该监控对象类型预先设定的时间间隔;将从该定位数据一级缓存服务器获取的、时间间隔内的同一监控物标识的定位数据,依各定位数据的定位时间顺序合并到一条定位综合数据中。
具体地,第二分布式缓存服务器集群103中的合并处理服务器从该定位数据一级缓存服务器获取的、时间间隔内的同一监控物标识的定位数据,先将获取的定位数据的合并类型、监控物标识、以及第一条定位数据和最后一条定位数据的定位时间记录到定位综合数据中,并使得该条定位综合数据中的第一条与最后一条定位数据的定位时间之差等于确定出的时间间隔,之后,依各定位数据的定位时间顺序,将各定位数据的定位经纬度按照WKB(Well-known Binary,熟知二进制)格式记录到定位综合数据中,表示该监控对象在预设的时间间隔内的运动轨迹。表1示出了第二分布式缓存服务器集群103中的合并处理服务器从该定位数据一级缓存服务器获取的、时间间隔为33s内的同一监控物标识的定位数据,合并后得到如表2所示的综合数据。
表1
合并类型 | 监控物标识 | 定位数据生成时间 | 经度 | 纬度 |
第一合并类型 | 京P2QB13 | 2013-01-0100:00:00 | 116.3456 | 39.9889 |
第一合并类型 | 京P2QB13 | 2013-01-0100:00:10 | 116.3567 | 39.9334 |
第一合并类型 | 京P2QB13 | 2013-01-0100:00:21 | 116.3595 | 39.9076 |
第一合并类型 | 京P2QB13 | 2013-01-0100:00:33 | 116.3580 | 39.9002 |
表2
其中,不同合并类型的时间间隔可以根据客户端或监控服务器的实际情况和本领域技术人员的经验进行设置。
S205:第二分布式缓存服务器集群103中的合并处理服务器将合并的定位综合数据发送到对应合并类型的定位数据二级缓存服务器进行缓存。
本步骤中,第二分布式缓存服务器集群103中的合并处理服务器将每条合并后的定位综合数据发送到第二分布式缓存服务器集群中的、对应该合并类型的定位数据二级缓存服务器进行缓存。
S206:定位数据存储处理服务器104将从定位数据二级缓存服务器获取的定位综合数据,存储到非关系型数据库中。
本步骤中,定位数据存储处理服务器对于第二分布式缓存服务器集群103中的每个定位数据二级缓存服务器,将从该定位数据二级缓存服务器获取的定位综合数据,存储到非关系型数据库中。
具体地,定位数据存储处理服务器将从该定位数据二级缓存服务器获取的定位综合数据,以key/value形式存储到所述非关系型数据库中。
其中,根据定位综合数据中记录的合并类型、监控物标识、第一条定位数据的定位时间,以及最后一条定位数据的定位时间生成key,将定位综合数据中记录的WKB格式的定位经纬度数据作为对应该key的value。
进一步,本发明实施例提供的定位数据存储系统还包括:定位数据检索服务器105。
定位数据检索服务器105接收到定位数据的查询请求后,确定出该查询请求所涉及的定位数据的合并类型,进而确定出针对该合并类型预先设定的时间间隔;若确定该查询请求的查询条件中设置的查询时间的间隔大于或等于确定出的时间间隔,则从非关系型数据库中查找到相应的定位综合数据进行返回;若确定该查询请求的查询条件中设置的查询时间的间隔小于确定出的时间间隔,则从关系型数据库中查找到相应的定位数据进行返回。
本发明实施例提供的定位数据查询方法的流程如图3所示。包括如下步骤:
S301:定位数据检索服务器105确定查询请求所涉及的定位数据的合并类型和针对该合并类型预先设定的时间间隔。
本步骤中,定位数据检索服务器105接收到定位数据的查询请求后,确定出该查询请求所涉及的定位数据的合并类型,进而确定出针对该合并类型预先设定的时间间隔。
S302:定位数据检索服务器105判断查询请求的查询条件中设置的查询时间的间隔是否大于或等于确定出的时间间隔。若是,则执行S303;否则,执行S304。
本步骤中,定位数据检索服务器105判断查询请求的查询条件中设置的查询时间的间隔是否大于或等于确定出的时间间隔;若判断出查询请求的查询条件中设置的查询时间的间隔大于或等于确定出的时间间隔,则执行S303;若判断出查询请求的查询条件中设置的查询时间的间隔小于确定出的时间间隔,执行S304。
S303:定位数据检索服务器105在非关系型数据库中查找该查询请求所涉及的定位数据。
本步骤中,定位数据检索服务器105确定出查询请求的查询条件中设置的查询时间的间隔大于或等于确定出的时间间隔后,根据该查询请求所涉及的定位数据的合并类型、监控物标识、以及查询时间的起始时间、终止时间生成key;根据生成的key在非关系型数据库中查找到相应的value进行返回。这样,当对某一监控对象类型中的监控物标识的定位数据进行查询时,如果设置的查询时间的间隔相距较大,也就是说,查询所涉及的定位数据较多,则到非关系数据库中查找符合条件的综合定位数据,从而快速返回查询结果。其中,value为该条定位数据的WKB格式的定位经纬度。
S304:定位数据检索服务器105在关系型数据库中查找该查询请求所涉及的定位数据。
本步骤中,定位数据检索服务器105确定出查询请求的查询条件中设置的查询时间的间隔小于确定出的时间间隔后,从关系型数据库中查找到相应的定位数据进行返回。
本步骤中,定位数据检索服务器105确定出查询请求的查询条件中设置的查询时间的间隔小于确定出的时间间隔后,根据该查询请求所涉及的定位数据的合并类型、监控物标识,在关系型数据库中查找到相应的数据表,并根据根据该查询请求所涉及的时间间隔,在数据表中查找到相应的经纬度进行返回。这样,当对某一监控对象类型中的监控物标识的定位数据进行查询时,如果设置的查询时间的间隔相距较小,也就是说,查询所涉及的定位数据较少,则到关系数据库中查找符合条件定位数据。
本发明的技术方案中,采用两级集群服务器的定位数据存储系统,由定位数据存储处理服务器将第一分布式缓存服务器集群中根据定位数据的合并类型缓存的定位数据存储到关系型数据库中,由定位数据存储处理服务器将第二分布式缓存服务器集群中根据预设时间间隔、监控物标识合并缓存的定位数据存储到非关系型数据库中;当查询请求中的时间间隔大于等于预设时间间隔时,由非关系型数据库中将综合数据返回,时间间隔小于预设时间间隔时,由关系型数据库将符合条件的数据返回,从而提高了查询的效率。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (12)
1.一种定位数据存储系统,其特征在于,包括:
定位数据接收服务器,用于从各客户端或监控服务器接收定位数据;其中,一条定位数据包括:监控对象类型、监控物标识、定位经纬度、定位时间;
第一分布式缓存服务器集群,其包括:分类处理服务器和多个定位数据一级缓存服务器;所述分类处理服务器用于对于从所述定位数据接收服务器获取的每条定位数据,根据该定位数据的监控对象类型的监控数量和该定位数据的监控周期确定其合并类型后,将该定位数据发送到对应该合并类型的定位数据一级缓存服务器进行缓存;
第二分布式缓存服务器集群,其包括:合并处理服务器和多个定位数据二级缓存服务器;所述合并处理服务器对于每个定位数据一级缓存服务器,获取该定位数据一级缓存服务器中缓存的定位数据后,根据获取的定位数据的合并类型,确定出针对该合并类型预先设定的时间间隔;将从该定位数据一级缓存服务器获取的、所述时间间隔内的同一监控物标识的定位数据,依各定位数据的定位时间顺序合并到一条定位综合数据中;之后,将该条定位综合数据发送到对应该合并类型的定位数据二级缓存服务器进行缓存;
定位数据存储处理服务器,用于对于每个定位数据二级缓存服务器,将从该定位数据二级缓存服务器获取的定位综合数据,存储到非关系型数据库中。
2.如权利要求1所述的系统,其特征在于,
所述定位数据存储处理服务器还用于对于第一分布式缓存服务器集群中的每个定位数据一级缓存服务器,将从该定位数据一级缓存服务器获取的定位数据,存储到关系型数据库。
3.如权利要求2所述的系统,其特征在于,还包括:
定位数据检索服务器,用于接收到定位数据的查询请求后,确定出该定位数据的合并类型,进而确定出针对该合并类型预先设定的时间间隔;若确定所述查询请求的查询条件中设置的查询时间的间隔大于或等于确定出的时间间隔,则从所述非关系型数据库中查找到相应的定位综合数据进行返回。
4.如权利要求3所述的系统,其特征在于,
所述定位数据检索服务器还用于若确定所述查询请求的查询条件中设置的查询时间的间隔小于确定出的时间间隔,则从所述关系型数据库中查找到相应的定位数据进行返回。
5.一种定位数据存储方法,其特征在于,包括:
定位数据接收服务器,从各客户端或监控服务器接收定位数据后,将接收的定位数据发送到第一分布式缓存服务器集群;
第一分布式缓存服务器集群中的分类处理服务器对于从所述定位数据接收服务器接收的每条定位数据,根据该定位数据的监控对象类型的监控数量和该定位数据的监控周期确定其合并类型后,将该定位数据发送到第一分布式缓存服务器集群中的、对应该合并类型的定位数据一级缓存服务器进行缓存;
第二分布式缓存服务器集群中的合并处理服务器对于每个定位数据一级缓存服务器,获取该定位数据一级缓存服务器中缓存的定位数据后,根据获取的定位数据的合并类型,确定出针对该合并类型预先设定的时间间隔;将从该定位数据一级缓存服务器获取的、所述时间间隔内的同一监控物标识的定位数据,依各定位数据的定位时间顺序合并到一条定位综合数据中;之后,将该条定位综合数据发送到第二分布式缓存服务器集群中的、对应该合并类型的定位数据二级缓存服务器进行缓存;
定位数据存储处理服务器对于第二分布式缓存服务器集群中的每个定位数据二级缓存服务器,将从该定位数据二级缓存服务器获取的定位综合数据,存储到非关系型数据库中。
6.如权利要求5所述的方法,其特征在于,所述根据该定位数据的监控对象类型的监控数量和该定位数据的监控周期确定其合并类型,具体包括:
所述第一分布式缓存服务器集群中的分类处理服务器根据从各客户端或监控服务器接收的定位数据的监控对象类型确定出该定位数据的监控周期和该监控对象类型的监控数量;之后,将该监控周期、该监控数量分别与预先设定的周期阈值、数量阈值进行对比,若该监控周期小于预先设定的第一周期阈值并且该监控数量小于预先设定的第一数量阈值,将该条定位数据的合并类型确定为第一合并类型;若该监控周期大于预先设定的第二周期阈值并且该监控数量大于预先设定的第二数量阈值,将该条定位数据的合并类型确定为第二合并类型。
7.如权利要求5所述的方法,其特征在于,在所述第一分布式缓存服务器集群中的分类处理服务器对于从所述定位数据接收服务器接收的每条定位数据,将该定位数据发送到第一分布式缓存服务器集群中的、对应该定位数据的合并类型的定位数据一级缓存服务器进行缓存之后,还包括:
所述定位数据存储处理服务器对于第一分布式缓存服务器集群中的每个定位数据一级缓存服务器,将从该定位数据一级缓存服务器获取的定位数据,存储到关系型数据库。
8.如权利要求7所述的方法,其特征在于,所述将从该定位数据一级缓存服务器获取的、所述时间间隔内的同一监控物标识的定位数据,依各定位数据的定位时间顺序合并到一条定位综合数据中,具体包括:
所述合并处理服务器将从该定位数据一级缓存服务器获取的、所述时间间隔内的同一监控物标识的定位数据,先将获取的定位数据的合并类型、监控物标识、以及第一条和最后一条定位数据的定位时间记录到所述定位综合数据中;之后,依各定位数据的定位时间顺序,将各定位数据的定位经纬度按照WKB格式依次记录到所述定位综合数据中。
9.如权利要求8所述的方法,其特征在于,所述将从该定位数据二级缓存服务器获取的定位综合数据,存储到非关系型数据库中具体为:
所述定位数据存储处理服务器将从该定位数据二级缓存服务器获取的定位综合数据,以key/value形式存储到所述非关系型数据库中;其中,根据所述定位综合数据中记录的合并类型、监控物标识、以及第一条和最后一条定位数据的定位时间生成key,将所述定位综合数据中记录的WKB格式的定位经纬度作为对应所述key的value。
10.如权利要求9所述的方法,其特征在于,在所述定位数据存储处理服务器对于第二分布式缓存服务器集群中的每个定位数据二级缓存服务器,将从该定位数据二级缓存服务器获取的定位综合数据,存储到非关系型数据库后,还包括:
定位数据检索服务器接收到定位数据的查询请求后,确定出该查询请求所涉及的定位数据的合并类型,进而确定出针对该合并类型预先设定的时间间隔;若确定所述查询请求的查询条件中设置的查询时间的间隔大于或等于确定出的时间间隔,则:
根据该查询请求所涉及的定位数据的合并类型、监控物标识、以及查询时间的起始时间、终止时间生成key;根据生成的key在所述非关系型数据库中查找到相应的value进行返回。
11.如权利要求10所述的方法,其特征在于,
所述定位数据检索服务器还用于若确定所述查询请求的查询条件中设置的查询时间的间隔小于确定出的时间间隔,则从所述关系型数据库中查找到相应的定位数据进行返回。
12.如权利要求5所述的方法,所述将从该定位数据一级缓存服务器获取的、所述时间间隔内的同一监控物标识的定位数据,依各定位数据的定位时间顺序合并到一条定位综合数据中,具体为:
所述合并处理服务器将从该定位数据一级缓存服务器获取的、同一监控物标识的定位数据,根据各定位数据的定位时间顺序合并到一条定位综合数据中,并使得该条定位综合数据中的第一条与最后一条定位数据的定位时间之差等于确定出的时间间隔。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310602987.XA CN103607463B (zh) | 2013-11-25 | 2013-11-25 | 定位数据存储系统和存储方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310602987.XA CN103607463B (zh) | 2013-11-25 | 2013-11-25 | 定位数据存储系统和存储方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103607463A CN103607463A (zh) | 2014-02-26 |
CN103607463B true CN103607463B (zh) | 2016-08-17 |
Family
ID=50125663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310602987.XA Active CN103607463B (zh) | 2013-11-25 | 2013-11-25 | 定位数据存储系统和存储方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103607463B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106033324B (zh) * | 2015-03-09 | 2020-03-06 | 杭州海康威视数字技术股份有限公司 | 一种数据存储的方法和装置 |
CN104702439B (zh) * | 2015-03-16 | 2018-10-19 | 北京百度网讯科技有限公司 | 监控网络节点的方法和装置 |
CN105468748B (zh) * | 2015-11-26 | 2020-05-26 | 航天恒星科技有限公司 | 一种分布式存储位置数据方法及系统 |
CN108205562B (zh) * | 2016-12-19 | 2022-04-08 | 千寻位置网络有限公司 | 地理信息系统的定位数据存储、检索方法及其装置 |
CN107193968A (zh) * | 2017-05-25 | 2017-09-22 | 努比亚技术有限公司 | 一种位置信息存储的方法、装置及计算机可读存储介质 |
CN110019092B (zh) * | 2017-12-27 | 2021-07-09 | 华为技术有限公司 | 数据存储的方法、控制器和系统 |
CN109299089B (zh) * | 2018-08-27 | 2020-05-26 | 广东电网有限责任公司信息中心 | 一种画像标签数据的计算及存储方法和计算及存储系统 |
CN109408501B (zh) * | 2018-11-07 | 2020-12-29 | 北京锐安科技有限公司 | 一种位置数据的处理方法、装置、服务器及存储介质 |
CN109714441A (zh) * | 2019-02-28 | 2019-05-03 | 云南开放大学 | 一种车辆检测系统及方法 |
CN111045606B (zh) * | 2019-12-13 | 2021-08-27 | 西安奥卡云数据科技有限公司 | 一种可扩展云规模iot存储方法、装置及服务器 |
CN112685337B (zh) * | 2021-01-15 | 2022-05-31 | 浪潮云信息技术股份公司 | 一种存储集群中分级缓存读写数据的方法 |
CN115695551B (zh) * | 2021-07-22 | 2024-07-26 | 海信集团控股股份有限公司 | 车辆数据的发送方法及系统、缓存服务器、中间服务器 |
CN113392115B (zh) * | 2021-08-16 | 2021-10-29 | 成都数联铭品科技有限公司 | 基于时间轴的地图关联关系数据动态位移变化方法及装置 |
CN118101651B (zh) * | 2024-02-23 | 2024-09-13 | 中国人民公安大学 | 一种实现服务高可用数据低留存的分布式系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020281A (zh) * | 2012-12-27 | 2013-04-03 | 中国科学院计算机网络信息中心 | 一种基于空间数据数值索引的数据存储与检索方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030115346A1 (en) * | 2001-12-13 | 2003-06-19 | Mchenry Stephen T. | Multi-proxy network edge cache system and methods |
-
2013
- 2013-11-25 CN CN201310602987.XA patent/CN103607463B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020281A (zh) * | 2012-12-27 | 2013-04-03 | 中国科学院计算机网络信息中心 | 一种基于空间数据数值索引的数据存储与检索方法 |
Non-Patent Citations (2)
Title |
---|
空间数据存储机制研究;许捍卫,等;《计算机应用研究》;20030228(第2期);第39页至第40页,第74页 * |
车辆定位监控系统数据库的设计与优化;仰燕兰,等;《东南大学学报》;20100930;第40卷;第43页至第47页 * |
Also Published As
Publication number | Publication date |
---|---|
CN103607463A (zh) | 2014-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103607463B (zh) | 定位数据存储系统和存储方法 | |
Muckell et al. | SQUISH: an online approach for GPS trajectory compression | |
EP2709023A1 (en) | Systems and/or methods for statistical online analysis of large and potentially heterogeneous data sets | |
CN103353873B (zh) | 基于时间度量数据实时查询服务的优化实现方法及系统 | |
US20150095381A1 (en) | Method and apparatus for managing time series database | |
CN105654201B (zh) | 一种广告流量预测方法及装置 | |
US20100287014A1 (en) | Contextualizing business intelligence reports based on context driven information | |
CN109299157B (zh) | 一种分布式大单表的数据导出方法及装置 | |
CN106528787A (zh) | 一种基于海量数据多维分析的查询方法及装置 | |
CN110795471B (zh) | 数据匹配的方法及装置、计算机可读存储介质、电子设备 | |
US20140351273A1 (en) | System and method for searching information | |
CN105100050A (zh) | 用户权限管理方法及系统 | |
CN102737123B (zh) | 一种多维数据分布方法 | |
CN109145225B (zh) | 一种数据处理方法及装置 | |
CN110543477A (zh) | 一种标签构建系统及方法 | |
CN107491463B (zh) | 数据查询的优化方法和系统 | |
WO2007038149A3 (en) | A system and method for aggregating item delivery information | |
KR20150121945A (ko) | 아이템 추천 시스템 및 아이템 추천 방법 | |
CN104075709B (zh) | 基于稀疏轨迹点数据的移动轨迹确定方法及设备 | |
CN112307151B (zh) | 导航数据处理方法及装置 | |
CN109460401B (zh) | 一种智能化的盾构tbm数据采集与补全方法 | |
CN111177255A (zh) | 一种数据一致性检测方法、装置、存储介质和服务器 | |
CN111813773B (zh) | 一种电网抄表数据存储方法、上传方法、装置和存储装置 | |
CN105302909B (zh) | 基于分区偏移计算的网络安全日志系统大数据检索方法 | |
CN112699196A (zh) | 轨迹生成方法、装置、终端设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address |
Address after: Room 1308, 13th floor, East Tower, 33 Fuxing Road, Haidian District, Beijing 100036 Patentee after: China Telecom Digital Intelligence Technology Co.,Ltd. Address before: Room 413, block a, Qingya building, South ninth floor, No. 8, wenhuiyuan North Road, Haidian District, Beijing 100088 Patentee before: CHINA TELECOM GROUP SYSTEM INTEGRATION Co.,Ltd. |
|
CP03 | Change of name, title or address |