Nothing Special   »   [go: up one dir, main page]

CN104519130B - 一种跨idc的数据共享缓存方法 - Google Patents

一种跨idc的数据共享缓存方法 Download PDF

Info

Publication number
CN104519130B
CN104519130B CN201410784343.1A CN201410784343A CN104519130B CN 104519130 B CN104519130 B CN 104519130B CN 201410784343 A CN201410784343 A CN 201410784343A CN 104519130 B CN104519130 B CN 104519130B
Authority
CN
China
Prior art keywords
data
write
local
internet
centers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410784343.1A
Other languages
English (en)
Other versions
CN104519130A (zh
Inventor
张博
余效伟
李旭阳
胡道生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING SINOIOV VEHICLE NETWORK TECHNOLOGY Co Ltd
Original Assignee
BEIJING SINOIOV VEHICLE NETWORK TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING SINOIOV VEHICLE NETWORK TECHNOLOGY Co Ltd filed Critical BEIJING SINOIOV VEHICLE NETWORK TECHNOLOGY Co Ltd
Priority to CN201410784343.1A priority Critical patent/CN104519130B/zh
Publication of CN104519130A publication Critical patent/CN104519130A/zh
Application granted granted Critical
Publication of CN104519130B publication Critical patent/CN104519130B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开一种跨IDC的数据共享缓存方法，该方法包括步骤：(1)建立本地共享缓存，初始化数据；(2)注册，建立各互联网数据中心的共享缓存网络连接；(3)进行数据写入及同步；(4)向其它互联网数据中心提供数据服务。本发明将多个互联网数据中心的共享缓存连接为一个整体进行数据写入及同步，并向其它互联网数据中心提供数据服务，所以能够使多个互联网数据中心的数据在短时间内完成数据同步，保证数据的一致性，保证各地互联网数据中心可以获取全国的数据并以此提供数据服务，显著提高服务质量和服务响应速率。

Description

一种跨IDC的数据共享缓存方法
技术领域
本发明涉及互联网数据处理的技术领域，具体地涉及一种跨IDC的数据共享缓存方法，即在不同的互联网数据中心(IDC，Internet Data Center)之间进行数据的共享缓存。
背景技术
互联网的共享缓存服务为实时服务提供数据支持，通常基于内存数据库，如redis，mongodb等开发，可以快速响应查询，广泛为互联网企业采用。跨IDC的数据共享缓存方法对于要求提供大范围服务、需要全面数据的领域，尤其如交通领域，来说十分重要。
现有的跨IDC的数据共享缓存方法的设计思路如下：
1.以本地数据为基础，定期地同步异地数据，如24小时整体同步一次异地数据。
2.服务仅仅针对本地服务，不能实时同步其他互联网数据中心的数据。
因此，以上跨IDC的数据共享缓存方法存在明显的技术不足：
1.共享缓存只支持本地服务；
2.不能实时同步异地数据中心数据；
3.在没有同步异地数据之前不能提供与之相关的服务；
4.不同数据中心之间数据一致性差；
5.受广域网传输限制，传输效率不高；
6.缺乏实时性，或者仅同步静态数据，如用户基本信息，不能同步用户实时位置的动态信息。
但是，随着人类社会的发展和进步，人们越来越多地采用汽车作为交通工具，道路上的汽车增长迅猛，不同区域的互联网数据中心之间的数据常常需要被实时地传输，以供不同区域的用户查看分析。
发明内容
本发明的技术解决问题是：克服现有技术的不足，提供一种跨IDC的数据共享缓存方法,其能够使多个互联网数据中心的数据在短时间内完成数据同步，保证数据的一致性，保证各地互联网数据中心可以获取全国的数据并以此提供数据服务，显著提高服务质量和服务响应速率。
本发明的技术解决方案是：这种跨IDC的数据共享缓存方法，该方法包括以下步骤：
(1)建立本地共享缓存，初始化数据；
(2)注册，建立各互联网数据中心的共享缓存网络连接；
(3)进行数据写入及同步；
(4)向其它互联网数据中心提供数据服务。
本发明将多个互联网数据中心的共享缓存连接为一个整体进行数据写入及同步，并向其它互联网数据中心提供数据服务，所以能够使多个互联网数据中心的数据在短时间内完成数据同步，保证数据的一致性，保证各地互联网数据中心可以获取全国的数据并以此提供数据服务，显著提高服务质量和服务响应速率。
还提供了一种跨IDC的数据共享缓存方法，该方法包括以下步骤：
(I)开始；
(II)获取配置信息；
(III)初始化系统，建立路由表；
(IV)初始化网络连接；
(V)连接本地数据库；
(VI)启动服务；
(VII)判断响应请求是否终止，是则执行步骤(XIV)，否则执行步骤(VIII)；
(VIII)监听请求，如果是读取请求则执行步骤(IX)，如果是写入请求则执行步骤(XI)；
(IX)查询本地数据库；
(X)响应请求，跳转步骤(VII)；
(XI)判断是否为本地请求，是则执行步骤(XII)，否则执行步骤(XIII)；
(XII)路由分流，本地数据写入其它互联网数据中心；
(XIII)写入本地数据库，跳转步骤(X)；
(XIV)结束。
附图说明
图1为根据本发明的跨IDC的数据共享缓存方法的一个优选实施例的流程图。
具体实施方式
这种跨IDC的数据共享缓存方法，该方法包括以下步骤：
(1)建立本地共享缓存，初始化数据；
(2)注册，建立各互联网数据中心的共享缓存网络连接；
(3)进行数据写入及同步；
(4)向其它互联网数据中心提供数据服务。
本发明将多个互联网数据中心的共享缓存连接为一个整体进行数据写入及同步，并向其它互联网数据中心提供数据服务，所以能够使多个互联网数据中心的数据在短时间(正常网络状态时为50ms)内完成数据同步，保证数据的一致性，保证各地互联网数据中心可以获取全国的数据并以此提供数据服务，显著提高服务质量和服务响应速率。
另外，所述步骤(1)中初始化数据是从其它互联网数据中心同步数据。当然，也可以采取其它方式来初始化数据。
另外，所述步骤(3)包括以下分步骤：
(3.1)确定各个互联网数据中心之间的逻辑关系，依照逻辑关系判定是否本地数据需要同步到那些数据中心，建立路由表；
(3.2)数据接入，经过路由表，判定需要写入的数据中心；
(3.3)查询路由表，选择路由通道；
(3.4)写入本地共享缓存；
(3.5)通过路由技术读取缓存数据，分发数据；
(3.6)经过数据平台开发套件DPDK服务器(即分发中心)，修改原始报头，发送到其它互联网数据中心的DPDK服务器；
(3.7)其它互联网数据中心的DPDK服务器接收报文，恢复为原始报头，写入当地共享缓存。
另外，所述步骤(3)还包括以下分步骤：
(3.8)提供查询服务；
(3.9)实时同步，当本地数据中心有写入操作时，将该操作的操作名以及数据，序列化为byte流，进行传输；异地数据中心接收该消息后反序列化得到操作数据，执行该操作完成同步。
如图1所示，还提供了一种跨IDC的数据共享缓存方法，该方法包括以下步骤：
(I)开始；(图1中未示出此步骤)
(II)获取配置信息；
(III)初始化系统，建立路由表；
(IV)初始化网络连接；
(V)连接本地数据库；
(VI)启动服务；
(VII)判断响应请求是否终止，是则执行步骤(XIV)，否则执行步骤(VIII)；
(VIII)监听请求，如果是读取请求则执行步骤(IX)，如果是写入请求则执行步骤(XI)；(此时其它互联网数据中心的数据写入本地)
(IX)查询本地数据库；
(X)响应请求，跳转步骤(VII)；
(XI)判断是否为本地请求，是则执行步骤(XII)，否则执行步骤(XIII)；
(XII)路由分流，本地数据写入其它互联网数据中心；
(XIII)写入本地数据库，跳转步骤(X)；
(XIV)结束。
另外，所述步骤(XII)中：数据分发中心根据路由规则分发至其它数据中心；其它数据中心监听到新的命令，解析该命令，并在所在数据中心执行该命令，完成数据同步。
相对于现有技术，本方法有如下创新点：
1.基于内存数据库；
2.基于为共享缓存建立数据分发的路由机制；
3.基于DPDK技术保证共享缓存数据同步的高速率，将数据包的分发集中到专业的网络服务器上，配合压缩算法，可显著提高服务器和带宽的利用率；
4.插件化设计，可以数据复制分发策略可以由用户选择，仅影响效率，不影响功能实现。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (4)

1.一种跨IDC的数据共享缓存方法，其特征在于：该方法包括以下步骤：
(1)建立本地共享缓存，初始化数据；
(2)注册，建立各互联网数据中心的共享缓存网络连接；
(3)进行数据写入及同步；
(4)向其它互联网数据中心提供数据服务；
所述步骤(1)中初始化数据是从其它互联网数据中心同步数据；
所述步骤(3)包括以下分步骤：
(3.1)确定各个互联网数据中心之间的逻辑关系，依照逻辑关系判定是否本地数据需要同步到那些数据中心，建立路由表；
(3.2)数据接入，经过路由表，判定需要写入的数据中心；
(3.3)查询路由表，选择路由通道；
(3.4)写入本地共享缓存；
(3.5)通过路由技术读取缓存数据，分发数据；
(3.6)经过数据平台开发套件DPDK服务器，修改原始报头，发送到其它互联网数据中心的DPDK服务器；
(3.7)其它互联网数据中心的DPDK服务器接收报文，恢复为原始报头，写入当地共享缓存。
2.根据权利要求1所述的跨IDC的数据共享缓存方法，其特征在于：所述步骤(3)还包括以下分步骤：
(3.8)提供查询服务；
(3.9)实时同步，当本地数据中心有写入操作时，将该操作的操作名以及数据，序列化为byte流，进行传输；异地数据中心接收该消息后反序列化得到操作数据，执行该操作完成同步。
3.一种跨IDC的数据共享缓存方法，其特征在于：该方法包括以下步骤：
(I)开始；
(II)获取配置信息；
(III)初始化系统，建立路由表；
(IV)初始化网络连接；
(V)连接本地数据库；
(VI)启动服务；
(VII)判断响应请求是否终止，是则执行步骤(XIV)，否则执行步骤(VIII)；
(VIII)监听请求，如果是读取请求则执行步骤(IX)，如果是写入请求则执行步骤(XI)；
(IX)查询本地数据库；
(X)响应请求，跳转步骤(VII)；
(XI)判断是否为本地请求，是则执行步骤(XII)，否则执行步骤(XIII)；
(XII)路由分流，本地数据写入其它互联网数据中心；
(XIII)写入本地数据库，跳转步骤(X)；
(XIV)结束。
4.根据权利要求3所述的跨IDC的数据共享缓存方法，其特征在于：所述步骤(XII)中：数据分发中心根据路由规则分发至其它数据中心；其它数据中心监听到新的命令，解析该命令，并在所在数据中心执行该命令，完成数据同步。
CN201410784343.1A 2014-12-16 2014-12-16 一种跨idc的数据共享缓存方法 Active CN104519130B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410784343.1A CN104519130B (zh) 2014-12-16 2014-12-16 一种跨idc的数据共享缓存方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410784343.1A CN104519130B (zh) 2014-12-16 2014-12-16 一种跨idc的数据共享缓存方法

Publications (2)

Publication Number Publication Date
CN104519130A CN104519130A (zh) 2015-04-15
CN104519130B true CN104519130B (zh) 2018-02-27

Family

ID=52793833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410784343.1A Active CN104519130B (zh) 2014-12-16 2014-12-16 一种跨idc的数据共享缓存方法

Country Status (1)

Country Link
CN (1) CN104519130B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106933550B (zh) 2015-12-29 2021-01-08 阿里巴巴集团控股有限公司 全局信息获取、处理及更新方法、装置和系统
CN106933548B (zh) 2015-12-29 2021-01-12 阿里巴巴集团控股有限公司 全局信息获取、处理及更新、方法、装置和系统
CN106933547B (zh) 2015-12-29 2020-12-01 阿里巴巴集团控股有限公司 全局信息获取及处理的方法、装置和更新系统
CN106101280B (zh) * 2016-08-18 2019-01-22 无锡华云数据技术服务有限公司 一种数据中心间的网络信息同步更新方法
CN109213766B (zh) * 2018-09-12 2021-03-26 福建天泉教育科技有限公司 一种数据零延迟的处理方法及终端
CN109522353A (zh) * 2018-11-09 2019-03-26 福建南威软件有限公司 基于路由表的电子证照跨区域共享实现方法
CN109788060B (zh) * 2019-01-22 2021-05-07 曲阜师范大学 基于区块链的云数据共享和更新方法
CN110809051B (zh) * 2019-11-11 2020-11-13 广州华多网络科技有限公司 一种业务数据的处理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103078957A (zh) * 2013-02-01 2013-05-01 北京航空航天大学 支持跨idc域功能的数据中心镜像分发系统
CN103685486A (zh) * 2013-12-02 2014-03-26 中国科学院计算技术研究所 跨数据中心集群的分布式系统监控方法及系统
CN103763368A (zh) * 2014-01-20 2014-04-30 浪潮电子信息产业股份有限公司 一种跨数据中心的数据同步方法
CN103945004A (zh) * 2014-05-06 2014-07-23 中国联合网络通信集团有限公司 一种数据中心间的数据调度方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103078957A (zh) * 2013-02-01 2013-05-01 北京航空航天大学 支持跨idc域功能的数据中心镜像分发系统
CN103685486A (zh) * 2013-12-02 2014-03-26 中国科学院计算技术研究所 跨数据中心集群的分布式系统监控方法及系统
CN103763368A (zh) * 2014-01-20 2014-04-30 浪潮电子信息产业股份有限公司 一种跨数据中心的数据同步方法
CN103945004A (zh) * 2014-05-06 2014-07-23 中国联合网络通信集团有限公司 一种数据中心间的数据调度方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"跨IDC ycache原理和配置说明";码迷;《码迷》;20141103;全文 *

Also Published As

Publication number Publication date
CN104519130A (zh) 2015-04-15

Similar Documents

Publication Publication Date Title
CN104519130B (zh) 一种跨idc的数据共享缓存方法
CN103493455B (zh) 使用经修改的主机名的全球流量管理
US9264511B2 (en) Content sharing among mobile terminals
CN103457993B (zh) 本地缓存装置和提供内容缓存服务的方法
CN103036977B (zh) 基于内容分发网络的业务推送方法及推送系统
CN111263171A (zh) 直播流的流媒体数据获取方法、边缘节点区域组网系统
CN105868231A (zh) 缓存数据的更新方法及装置
CN103888999B (zh) 一种WebCache服务和CDN服务的融合方法和设备
CN103581248A (zh) 内容分发网络cdn服务的提供方法及装置
CN103825919B (zh) 一种缓存数据资源的方法、装置及系统
JP2019174783A (ja) 画像とオーディオの同期再生の処理方法及びデバイス
CN103401946A (zh) Http上传加速方法和系统
US20140189035A1 (en) Virtual Desktop Infrastructure (VDI) Login Acceleration
CN103139252B (zh) 一种网络代理缓存加速的实现方法及其装置
CN106375425A (zh) 分布式缓存的处理方法和装置
US20150006622A1 (en) Web contents transmission method and apparatus
CN102572012A (zh) 一种消息处理方法、交换机及系统
CN105681199A (zh) 一种车载总线中报文数据的处理方法及装置
CN106569929A (zh) 一种应用于监控系统的实时数据存取方法及系统
CN101895550A (zh) 一种互联网网站的兼容动静态内容的缓冲加速系统及方法
CN105653717A (zh) 一种信息分享的方法及装置
CN202103713U (zh) 访问系统
CN103117928B (zh) 提高芯片转发性能的方法及装置
CN109309711A (zh) 一种虚拟缓存共享方法和系统
CN111133422A (zh) 用于存储器管理单元的事务调度器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant