CN107861686A - 文件存储方法、服务端和计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种文件存储方法，应用于互联网数据中心，所述互联网数据中心包括文件处理系统、分布式文件系统、分布式存储系统，文件处理系统包括服务端和客户端，该方法包括：服务端通过客户端接收发送方上传的文件；将接收到的文件缓存至临时文件夹中，并在分布式存储系统中记录各个文件的存储位置信息；对临时文件夹中的各个文件进行合并处理，得到合并后的文件，并将合并后的文件存储到分布式文件系统中；基于合并后的文件，更新分布式存储系统中对应的存储位置信息。本发明还公开了一种服务端和计算机可读存储介质。本发明通过文件的合并可以提高数据存储的数量，并通过分布式文件系统存储文件，使得可存储的文件数量更多。

Description

文件存储方法、服务端和计算机可读存储介质

技术领域

本发明涉及应用技术领域，尤其涉及一种文件存储方法、服务端和计算机可读存储介质。

背景技术

传统的海量文件存储是采用专门的文件服务器中如NAS(Network AttachedStorage，网络附属存储)进行存储，NAS被定义为一种特殊的专用数据存储服务器，包括存储器件(例如磁盘阵列、CD/DVD驱动器、磁带驱动器或可移动的存储介质)和内嵌系统软件，可提供跨平台文件共享功能。NAS通常在一个LAN(Local Area Network，局域网)上占有自己的节点，无需应用服务器的干预，允许用户在网络上存取数据。

现有的文件存储架构，多台前端服务器通过专用存储网络共享后端NAS设备，后端NAS设备上的存储空间通过CIFS(Commom Internet File System，通用网络文件系统)、NFS(Network File System,网络文件系统)协议共享给前端主机，可同时对同一目录或文件进行并发读写。文件系统位于后端存储系统，连接采用标准以太网链路和TCP(TransmissionControl Protocol，传输控制协议)/IP(Internet Protocol，因特网互联协议)协议，可实现多系统之间的文件存储共享。然而，随着时间的推移以及业务的发展，数据规模越来越大，NAS设备的存储容量有限，传统文件存储模式已经很难应对数据的井喷式发展，也就是说，在数据量越来越大的情况下，现有的文件存储方式，存储数据的容量很难满足需求。

发明内容

本发明的主要目的在于提供一种文件存储方法、服务端和计算机可读存储介质，旨在解决现有的文件存储方式，在数据容量增大的情况下，难以满足存储需求的技术问题。

为实现上述目的，本发明提供一种文件存储方法，应用于互联网数据中心，所述互联网数据中心包括文件处理系统、分布式文件系统、分布式存储系统，所述文件处理系统包括服务端和客户端，所述文件存储方法包括：

文件处理系统的服务端通过客户端接收发送方上传的文件；

将接收到的文件缓存至临时文件夹中，并在分布式存储系统中记录各个文件的存储位置信息；

对临时文件夹中的各个文件进行合并处理，得到合并后的文件，并将合并后的文件存储到分布式文件系统中；

基于合并后的文件，更新分布式存储系统中对应的存储位置信息。

可选地，所述对临时文件夹中的各个文件进行合并处理，得到合并后的文件的步骤包括：

所述服务端扫描所述临时文件夹中的各个文件；

获取组合文件，并在扫描的文件中确定与所述组合文件合并后的容量值小于预设阀值的文件，将确定的文件合并到所述组合文件中。

可选地，所述方法还包括：

在接收到文件查询指令时，确定文件查询指令对应的索引信息；

在分布式文件系统中查找所述索引信息所指向的已合并文件；

对所述已合并文件进行还原，以从已合并文件中还原出所述索引信息对应的文件。

可选地，所述将合并后的文件存储到分布式文件系统中的步骤之后，所述方法还包括：

所述服务端基于分布式文件系统中存储的文件，生成文件标识信息及文件哈希信息；

通过所述客户端反馈文件标识信息及文件哈希信息至所述发送方，以供所述发送方将文件标识信息及文件哈希信息传输至接收方；

通过所述客户端接收到所述接收方发送的文件标识信息时，在分布式文件系统中提取所述文件标识信息对应的文件，并反馈至所述接收方，以供所述接收方通过文件哈希信息检验所述文件，并在检验成功时获取所述文件。

可选地，所述服务端的个数包括多个，所述文件处理系统的服务端和客户端通过网关连接，文件从客户端上传至服务端的方式包括：网关按照预设的策略，将客户端上传的文件轮询上传至服务端中。

可选地，所述基于合并后的文件，更新分布式存储系统中对应的存储位置信息的步骤之后，所述方法还包括：

所述服务端扫描分布式文件系统中的各个文件，以监测各个文件的存储时长；

在有文件的存储时长达到预设时长时，删除所述分布式文件系统中的所述文件，并删除所述分布式存储系统中所述文件的存储位置信息。

可选地，所述互联网数据中心还包括分布式应用程序协调服务，所述服务端扫描分布式文件系统中的各个文件，以监测各个文件的存储时长的步骤之前，所述方法还包括：

所述服务端向分布式应用程序协调服务发送删除锁的请求信息；

在获取锁成功时，执行扫描分布式文件系统中的各个文件，以监测各个文件的存储时长的步骤。

可选地，所述服务端位于主互联网数据中心中，在系统中存在备互联网数据中心的情况下，所述基于合并后的文件，更新分布式存储系统中对应的存储位置信息的步骤之后，所述方法包括：

所述服务端将存储的文件同步到备互联网数据中心所在文件处理系统的服务端中，以供备互联网数据中心所在文件处理系统的服务端执行文件存储操作。

此外，为实现上述目的，本发明还提供一种服务端，所述服务端包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的文件存储程序，所述文件存储程序被所述处理器执行时实现如上文所述的文件存储方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有文件存储程序，所述文件存储程序被处理器执行时实现如上文所述的文件存储方法的步骤。

本发明提出的技术方案，文件处理系统的服务端先通过客户端接收发送方上传的文件，然后将接收到的文件缓存至临时文件夹中，并在分布式存储系统中记录各个文件的存储位置信息，再对临时文件夹中的各个文件进行合并处理，得到合并后的文件，并将合并后的文件存储到分布式文件系统中，最终基于合并后的文件，更新分布式存储系统中对应的存储位置信息，便于后续根据所述存储位置信息读取文件。本方案中，对接收到的文件进行合并处理，再将合并后的文件存储至分布式文件系统中，文件的合并使得系统可存储的文件量增大，此外，由于分布式文件系统具有可扩展性，通过分布式文件系统存储文件，可存储的文件数量更多，相对于现有的文件存储方式，本方案可储存的文件量更大，更适合存储大量的小文件。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的服务端结构示意图；

图2为本发明文件存储方法第一实施例的流程示意图；

图3是本发明的文件存储架构图；

图4为本发明文件合并的示意图；

图5为本发明文件存储方法第二实施例的流程示意图；

图6为本发明文件传输的示例图；

图7为本发明文件存储方法第三实施例的流程示意图；

图8为本发明文件删除的示例图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的解决方案主要是：文件处理系统的服务端先通过客户端接收发送方上传的文件，然后将接收到的文件缓存至临时文件夹中，并在分布式存储系统中记录各个文件的存储位置信息，再对临时文件夹中的各个文件进行合并处理，得到合并后的文件，并将合并后的文件存储到分布式文件系统中，最终基于合并后的文件，更新分布式存储系统中对应的存储位置信息，便于后续根据所述存储位置信息读取文件。以解决现有的文件存储方式，难以满足存储需求的问题。

需要说明的是，现有的文件存储方式，还存储以下几点缺陷：

文件存储方案没有生命周期管理功能，不支持临时文件过期删除等功能，容易导致数据存储过多；

不适合大量系统的接入，安装部署相对比较麻烦。

基于现有技术存在的问题，本发明搭建一个FPS(File Process System，文件处理系统)，该FPS可以支持海量数据的存储，同时采用数据跨机架、机房存储多份的方案来保证服务的高可用性。其主要应用场景包括：

(1)提供一个中间平台供不同系统间的文件交换，例如A系统通过中间平台提供对账文件给B系统进行对账；

(2)提供一个基于文件生命周期管理的数据存储平台，能支持海量数据存储，且文件存储一段时间，到期需要自动删除。

本发明的专业术语介绍：

Hadoop：是一个分布式系统基础架构，能够让用户架构和使用的分布式计算平台，用户可以在Hadoop上开发和运行处理海量数据的应用程序。

HDFS：分布式文件系统(Hadoop Distributed File System)。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上；而且它提供高吞吐量(highthroughput)来访问应用程序的数据，适合那些有着超大数据集(large data set)的应用程序。

HBase：是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。属于Hadoop生态圈。

Zookeeper：是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。属于Hadoop生态圈。

TGW：全称Tencent GateWay，是一套实现多网统一接入、外网网络请求转发、支持自动负载均衡的系统，TGW可称为网关。

NAS：网络附属存储(Network Attached Storage)，是连接在网络上，具备资料存储功能的装置，因此也称为“网络存储器”。它是一种专用数据存储服务器。

RMB：消息总线系统，用于在多系统之间的RPC消息服务。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的服务端结构示意图。

本发明实施例服务端可以是PC(personal computer，个人计算机)，也可以是平板电脑、便携计算机等具有显示功能的终端设备。

如图1所示，该服务端可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口(例如用于连接有线键盘、有线鼠标等)、无线接口(例如用于连接无线键盘、无线鼠标)。网络接口1004可选的可以包括标准的有线接口(用于连接有线网络)、无线接口(如WI-FI接口、蓝牙接口、红外线接口等，用于连接无线网络)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，服务端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。

本领域技术人员可以理解，图1中示出的服务端结构并不构成对服务端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及文件存储程序。其中，操作系统是管理和控制服务端与软件资源的程序，支持网络通信模块、用户接口模块、文件存储程序以及其他程序或软件的运行；网络通信模块用于管理和控制网络接口1002；用户接口模块用于管理和控制用户接口1003。

在图1所示的服务端中，网络接口1004主要用于连接备互联网数据中心的服务端，与备互联网数据中心的服务端进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；所述服务端通过处理器1001调用存储器1005中存储的文件存储程序，并执行以下步骤：

通过客户端接收发送方上传的文件；

将接收到的文件缓存至临时文件夹中，并在分布式存储系统中记录各个文件的存储位置信息；

对临时文件夹中的各个文件进行合并处理，得到合并后的文件，并将合并后的文件存储到分布式文件系统中；

基于合并后的文件，更新分布式存储系统中对应的存储位置信息。

进一步地，所述服务端通过处理器1001调用存储器1005中存储的文件存储程序，以实现对临时文件夹中的各个文件进行合并处理，得到合并后的文件的步骤：

扫描所述临时文件夹中的各个文件；

获取组合文件，并在扫描的文件中确定与所述组合文件合并后的容量值小于预设阀值的文件，将确定的文件合并到所述组合文件中。

进一步地，所述服务端通过处理器1001调用存储器1005中存储的文件存储程序，以实现以下步骤：

在接收到文件查询指令时，确定文件查询指令对应的索引信息；

在分布式文件系统中查找所述索引信息所指向的已合并文件；

对所述已合并文件进行还原，以从已合并文件中还原出所述索引信息对应的文件。

进一步地，所述将合并后的文件存储到分布式文件系统中的步骤之后，所述服务端通过处理器1001调用存储器1005中存储的文件存储程序，以实现以下步骤：

基于分布式文件系统中存储的文件，生成文件标识信息及文件哈希信息；

通过所述客户端反馈文件标识信息及文件哈希信息至所述发送方，以供所述发送方将文件标识信息及文件哈希信息传输至接收方；

通过所述客户端接收到所述接收方发送的文件标识信息时，在分布式文件系统中提取所述文件标识信息对应的文件，并反馈至所述接收方，以供所述接收方通过文件哈希信息检验所述文件，并在检验成功时获取所述文件。

进一步地，所述服务端的个数包括多个，所述文件处理系统的服务端和客户端通过网关连接，文件从客户端上传至服务端的方式包括：网关按照预设的策略，将客户端上传的文件轮询上传至服务端中。

进一步地，所述基于合并后的文件，更新分布式存储系统中对应的存储位置信息的步骤之后，所述服务端通过处理器1001调用存储器1005中存储的文件存储程序，以实现以下步骤：

扫描分布式文件系统中的各个文件，以监测各个文件的存储时长；

在有文件的存储时长达到预设时长时，删除所述分布式文件系统中的所述文件，并删除所述分布式存储系统中所述文件的存储位置信息。

进一步地，所述互联网数据中心还包括分布式应用程序协调服务，所述服务端扫描分布式文件系统中的各个文件，以监测各个文件的存储时长的步骤之前，所述服务端通过处理器1001调用存储器1005中存储的文件存储程序，以实现以下步骤：

向分布式应用程序协调服务发送删除锁的请求信息；

在获取锁成功时，执行扫描分布式文件系统中的各个文件，以监测各个文件的存储时长的步骤。

进一步地，所述服务端位于主互联网数据中心中，在系统中存在备互联网数据中心的情况下，所述基于合并后的文件，更新分布式存储系统中对应的存储位置信息的步骤之后，所述服务端通过处理器1001调用存储器1005中存储的文件存储程序，以实现以下步骤：

将存储的文件同步到备互联网数据中心所在文件处理系统的服务端中，以供备互联网数据中心所在文件处理系统的服务端执行文件存储操作。

基于上述服务端的硬件结构，提出本发明文件存储方法各个实施例。

参照图2，图2为本发明文件存储方法第一实施例的流程示意图。

在本实施例中，所述文件存储方法应用于互联网数据中心，所述互联网数据中心包括文件处理系统、分布式文件系统、分布式存储系统，所述文件处理系统包括服务端和客户端，所述文件存储方法包括：

文件处理系统的服务端通过客户端接收发送方上传的文件；将接收到的文件缓存至临时文件夹中，并在分布式存储系统中记录各个文件的存储位置信息；对临时文件夹中的各个文件进行合并处理，得到合并后的文件，并将合并后的文件存储到分布式文件系统中；基于合并后的文件，更新分布式存储系统中对应的存储位置信息。

在本实施例中，所述文件存储方法应用于IDC(Internet Data Center，互联网数据中心)所在文件处理系统FPS对应的服务端中，所述服务端可选为图2所示的服务端。

需要说明的是，本发明实施例设置FPS(File Process System，文件处理系统)，该FPS是自主研发的小文件存储处理系统，具体生命周期管理，跨机房容灾等功能。

本发明实施中，所述IDC的结构图可参照图3：

IDC中包括文件处理系统FPS、分布式文件系统HDFS、分布式存储系统Hbase，其中，FPS主要包括两部分：FPS-Client(客户端)和FPS-Server(服务端)。业务程序通过集成FPS-Client来使用FPS提供的功能。

FPS-Client：FPS对外提供java版本、c语言版本、python版本的客户端。

FPS-Server：FPS的后台服务端程序，提供了主要的业务逻辑处理，包括权限控制、文件的存储与读取、文件的生命周期管理等功能。

从图3中可看出，所述文件处理系统的服务端和客户端通过网关连接，所述网关用TGW表示，该TGW(Tencent Gataway)用于文件转发时，做负载均衡。

需要说明的是，FPS的服务端和客户端的个数不做限定，可根据实际情况设置个数，在所述服务端的个数包括多个的情况下，文件从客户端上传至服务端的方式包括：网关按照预设的策略，将客户端上传的文件轮询上传至服务端中。

即，通过网关，即FPS-Client上传文件到FPS-Server中的所有流量都会经过TGW，通过TGW将文件轮询发送给各个FPS-Server。FPS-Server收到文件之后，将文件内容存储在HDFS(分布式文件系统)中，同时将文件的存储位置信息记录到HBASE(分布式存储系统)中。

需要说明的是，HDFS是一个分布式文件系统，采用PC作为存储，一般文件会有多个备份，如三个备份，可以很方便的动态线性增加机器，面对互联网业务指数型增长，可以很方便的做到不停机扩容，可以很好的满足业务的需求。同时，将文件的存储位置信息保存在HBase上，可以提供千亿级文件索引的存储，HBase跟HDFS一样，同属于Hadoop生态圈的成员，也可以很方便通过增加节点来增加存储性能。

在本发明实施例中，FPS-Client跟FPS-Server之间的交互通过HTTP(Hyper TextTransfer Protocol，超文本传输协议)协议进行。

以下是本实施例中实现文件存储的具体步骤：

步骤S10，文件处理系统的服务端通过客户端接收发送方上传的文件；

即，服务端接收客户端通过TGW上传的文件。

步骤S20，将接收到的文件缓存至临时文件夹中，并在分布式存储系统中记录各个文件的存储位置信息；

在本实施例中，如图3所示，FPS-Server通过FPS-Client接收发送方发送的文件，当FPS-Server接收到文件之后，先将接收到的文件缓存至临时文件夹中，该临时文件夹优选为HDFS的指定目录，当FPS-Server将文件缓存至临时文件夹之后，先在分布式存储文件中记录各个文件的存储位置信息。

步骤S30，对临时文件夹中的各个文件进行合并处理，得到合并后的文件，并将合并后的文件存储到分布式文件系统中；

具体地，所述“对临时文件夹中的各个文件进行合并处理，得到合并后的文件”的步骤包括：

步骤1，所述服务端扫描所述临时文件夹中的目录，以获取目录对应的锁；

步骤2，在获取到锁的情况下，所述服务端扫描所述临时文件夹中的各个文件；

步骤3，获取组合文件，并在扫描的文件中确定与所述组合文件合并后的容量值小于预设阀值的文件，将确定的文件合并到所述组合文件中。

进一步地，步骤3之后，所述方法还包括：

步骤4，删除所述临时文件夹中被合并的文件。

即，当上传的文件缓存至临时文件夹之后，FPS-Server扫描所述临时文件夹中的目录，以获取目录对应的锁，若能获取到锁，该FPS-Server扫描该临时文件夹中的各个文件的容量值，并优选对与所述组合文件合并后的容量值小于预设阈值的文件进行合并处理，本实施例中，所述预设阈值根据实际情况设置，此处不做限定。文件的合并方式为：获取预设的组合文件，扫描所述临时文件夹中的各个文件，在扫描的文件中确定与所述组合文件合并后的容量值小于预设阈值的文件，并将确定的文件合并到组合文件中，在对文件合并后，即可将合并后的文件存储到分布式文件系统HDFS中，再根据合并后的文件，更新分布式存储系统中合并的文件对应的索引信息。

本发明实施例中，可以是定期扫描临时文件夹中的各个文件，或者是实时扫描文件夹中的各个文件，再对扫描到的小文件进行合并处理，并在HBase中更新小文件合并之后的存储位置信息。由FPS-Server对小文件进行合并处理，使得后续存储到分布式文件系统中的文件不会太零散，可减小存储文件所占用的空间，能明显节省集群节点的内存空间。

为更好理解本实施例，参照图4，首先，FPS-Server先对HDFS的临时目录进行扫描，然后获取目录对应的锁，在获取到锁的情况下，扫描目录下的每个文件，然后在分布式存储系统中获取小文件索引信息，再获取组合文件，将小文件合并到组合文件中，最终更新索引信息并删除分别分布式文件系统中的原始小文件。

步骤S40，基于合并后的文件，更新分布式存储系统中对应的存储位置信息。

在得到合并后的文件之后，FPS-Server基于合并后的文件更新分布式存储系统，以在分布式存储系统中更新合并的文件对应的存储位置信息，也就是说，FPS-Server将合并后的文件在分布式文件系统中的存储位置信息更新到分布式存储系统中，便于后续查找文件时，根据该存储位置信息索引到对应的信息。

此外，本发明实施例中，所述方法还包括：

步骤A，在接收到文件查询指令时，确定文件查询指令对应的索引信息；

步骤B，在分布式文件系统中查找所述索引信息所指向的已合并文件；

步骤C，对所述已合并文件进行还原，以从已合并文件中还原出所述索引信息对应的文件。

本实施例提出的技术方案，文件处理系统的服务端先通过客户端接收发送方上传的文件，然后将接收到的文件缓存至临时文件夹中，并在分布式存储系统中记录各个文件的存储位置信息，再对临时文件夹中的各个文件进行合并处理，得到合并后的文件，并将合并后的文件存储到分布式文件系统中，最终基于合并后的文件，更新分布式存储系统中对应的存储位置信息，便于后续根据所述存储位置信息读取文件。本方案中，对接收到的文件进行合并处理，再将合并后的文件存储至分布式文件系统中，文件的合并使得系统可存储的文件量增大，此外，由于分布式文件系统具有可扩展性，通过分布式文件系统存储文件，可存储的文件数量更多，相对于现有的文件存储方式，本方案可储存的文件量更大，更适合存储大量的小文件。

进一步地，参照图5，基于第一实施例提出本发明文件存储方法的第二实施例。

文件存储方法的第二实施例与文件存储方法的第一实施例的区别在于，所述步骤S30之后，所述方法还包括：

步骤S50，所述服务端基于分布式文件系统中存储的文件，生成文件标识信息及文件哈希信息；

步骤S60，通过所述客户端反馈文件标识信息及文件哈希信息至所述发送方，以供所述发送方将文件标识信息及文件哈希信息传输至接收方；

步骤S70，通过所述客户端接收到所述接收方发送的文件标识信息时，在分布式文件系统中提取所述文件标识信息对应的文件，并反馈至所述接收方，以供所述接收方通过文件哈希信息检验所述文件，并在检验成功时获取所述文件。

在本实施例中，当FPS-Server在分布式文件系统HDFS中存储文件之后，根据该HDFS存储的文件，生成该文件对应的文件标识信息(File Id)及文件哈希信息(FileHash)，在得到该File Id和File Hash之后，FPS-Server反馈该File Id和File Hash至发送方，以供发送方将该File Id和File Hash传输至接收方。

需要说明的是，发送方和接收方之间通过RMB消息服务总线进行交互。当接收方接收到该File Id和File Hash之后，使用FPS-Client，将File Id发送至所述FPS-Server。

当FPS-Server通过所述FPS-Client接收到该接收方发送的File Id时，在HDFS中提取所述File Id对应的文件，并反馈至所述接收方，以供所述接收方通过File Hash检验所述文件，并在检验成功时获取所述文件。也就是说，接收方通过File Id到FPS-Server进行下载，并通过File Hash校验文件的准确性，下载跟文件正确性校验都在FPS-Client中完成。

为更好理解本实施例，参照图6，发送方将文件上传至FPS，并在文件上传成功后，FPS会返回给发送方该文件的File Id跟File Hash，发送方接收到之后，将File Id跟FileHash通过RMB消息服务总线发送给接收方.接收方收到消息通知后，使用FPS的FPS-Client，发送File Id到FPS的FPS-Server进行文件的下载，由FPS-Client通过File Hash校验文件的准确性，在校验成功后，FPS-Client返回给接收方文件下载成功的消息。

在本实施例中，通过互联网数据中心中各个系统实现发送方和接收方之间的文件传输，并由文件标识信息和文件哈希信息进行文件的校验，提高了文件传输的准确性。

进一步地，参照图7，基于第一实施例提出本发明文件存储方法的第三实施例。

文件存储方法的第三实施例与文件存储方法的第一实施例的区别在于，所述步骤S40之后，所述方法包括：

步骤S80，所述服务端扫描分布式文件系统中的各个文件，以监测各个文件的存储时长；

步骤S90，在有文件的存储时长达到预设时长时，删除所述分布式文件系统中的所述文件，并删除所述分布式存储系统中所述文件的存储位置信息。

在本实施例中，服务端扫描分布式文件系统中的各个文件的方式优选为定时扫描。因此，在分布式文件系统HDFS存储文件之后，FPS-Server后台会定期执行下述操作：定期扫描已经过期的文件并删除文件，以节省磁盘空间。具体地：所述FPS-Server扫描分布式文件系统HDFS中的各个文件，以监测各个文件的存储时长，在有文件的存储时长达到预设时长时，所述预设时长根据实际情况设定，不做限定，如该预设时长为3个月。当文件的存储时长达到预设时长时，说明该文件的存储时间较长，为了实现文件存储的生命周期管理，删除所述分布式文件系统中的所述文件，并删除所述分布式存储系统中所述文件的存储位置信息。

在本实施例中，所述互联网数据中心还包括分布式应用程序协调服务，所述步骤S80之前，所述方法还包括：

所述服务端向分布式应用程序协调服务发送删除锁的请求信息；

在获取锁成功时，执行扫描分布式文件系统中的各个文件，以监测各个文件的存储时长的步骤。

如图3所示，所述应用程序协调服务用Zookeeper表示。在删除文件之前，FPS-Server先向Zookeeper发送获取删除锁的请求信息，若能成功获取到锁，才执行步骤S80。

为更好理解本发明，参照图8，FPS-Server定时向Zookeeper发送获取删除锁的请求信息，若能获取到锁，即FPS-Server获取锁成功，此时，FPS-Server向分布式存储系统Hbase请求过期的数据，即FPS-Server向Hbase请求存储时长达到预设时长的文件对应的存储位置信息，在请求到之后，删除该请求到的存储位置信息。后续，FPS-Server向Zookeeper请求获取删除锁，并在获取到锁之后，在分布式文件系统HDFS中删除存储时长达到预设时长的文件。

在本实施例中，通过对过期的数据进行定时删除，使得该文件存储具有生命周期，可以定时删除过期文件，防止文件量过大，提高了文件存储的智能性。

进一步地，基于第一实施例提出本发明文件存储方法的第四实施例。

文件存储方法的第四实施例与文件存储方法的第一至第三实施例的区别在于，所述服务端位于主互联网数据中心中，在系统中存在备互联网数据中心的情况下，所述步骤S40之后，所述方法包括：

步骤D，所述服务端将存储的文件同步到备互联网数据中心所在文件处理系统的服务端中，以供备互联网数据中心所在文件处理系统的服务端执行文件存储操作。

在本实施例中，部署的互联网数据中心IDC包括多套，如包括两套互联网数据中心IDC，分别是主IDC和被IDC，两个IDC之间网络互通。业务系统通过集成FPS-Client连接到TGW请求上传文件，TGW按照指定的策略将请求路由到主IDC中的某台FPS-Server，之后正式开始上传文件。FPS-Server将文件临时存储在中，同时文件的位置信息存储在HBASE。

当主IDC中的文件上传成功后，主IDC中的FPS-Server会将该文件异步上传到备IDC中的FPS-Server中，以此来保证两个集群中的文件一致性，FPS的主备同步采用的是逻辑备份。

在本实施例中，通过文件的备份，在主IDC故障的情况下，可以由备IDC继续提供服务，不影响文件的存储和使用，可用性更高。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有文件存储程序，所述文件存储程序被处理器执行时实现如下操作：

通过客户端接收发送方上传的文件；

将接收到的文件缓存至临时文件夹中，并在分布式存储系统中记录各个文件的存储位置信息；

对临时文件夹中的各个文件进行合并处理，得到合并后的文件，并将合并后的文件存储到分布式文件系统中；

基于合并后的文件，更新分布式存储系统中对应的存储位置信息。

进一步地，所述文件存储程序被处理器执行时，还实现对临时文件夹中的各个文件进行合并处理，得到合并后的文件的操作：

扫描所述临时文件夹中的各个文件；

获取组合文件，并在扫描的文件中确定与所述组合文件合并后的容量值小于预设阀值的文件，将确定的文件合并到所述组合文件中。

进一步地，所述文件存储程序被处理器执行时，还实现以下操作：

在接收到文件查询指令时，确定文件查询指令对应的索引信息；

在分布式文件系统中查找所述索引信息所指向的已合并文件；

对所述已合并文件进行还原，以从已合并文件中还原出所述索引信息对应的文件。

进一步地，所述将合并后的文件存储到分布式文件系统中的步骤之后，所述文件存储程序被处理器执行时，还实现以下操作：

基于分布式文件系统中存储的文件，生成文件标识信息及文件哈希信息；

通过所述客户端反馈文件标识信息及文件哈希信息至所述发送方，以供所述发送方将文件标识信息及文件哈希信息传输至接收方；

通过所述客户端接收到所述接收方发送的文件标识信息时，在分布式文件系统中提取所述文件标识信息对应的文件，并反馈至所述接收方，以供所述接收方通过文件哈希信息检验所述文件，并在检验成功时获取所述文件。

进一步地，所述服务端的个数包括多个，所述文件处理系统的服务端和客户端通过网关连接，文件从客户端上传至服务端的方式包括：网关按照预设的策略，将客户端上传的文件轮询上传至服务端中。

进一步地，所述基于合并后的文件，更新分布式存储系统中对应的存储位置信息的步骤之后，所述文件存储程序被处理器执行时，还实现以下操作：

扫描分布式文件系统中的各个文件，以监测各个文件的存储时长；

在有文件的存储时长达到预设时长时，删除所述分布式文件系统中的所述文件，并删除所述分布式存储系统中所述文件的存储位置信息。

进一步地，所述互联网数据中心还包括分布式应用程序协调服务，所述服务端扫描分布式文件系统中的各个文件，以监测各个文件的存储时长的步骤之前，所述文件存储程序被处理器执行时，还实现以下操作：

向分布式应用程序协调服务发送删除锁的请求信息；

在获取锁成功时，执行扫描分布式文件系统中的各个文件，以监测各个文件的存储时长的步骤。

进一步地，所述服务端位于主互联网数据中心中，在系统中存在备互联网数据中心的情况下，所述基于合并后的文件，更新分布式存储系统中对应的存储位置信息的步骤之后，所述文件存储程序被处理器执行时，还实现以下操作：

将存储的文件同步到备互联网数据中心所在文件处理系统的服务端中，以供备互联网数据中心所在文件处理系统的服务端执行文件存储操作。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种文件存储方法，其特征在于，应用于互联网数据中心，所述互联网数据中心包括文件处理系统、分布式文件系统、分布式存储系统，所述文件处理系统包括服务端和客户端，所述文件存储方法包括：

文件处理系统的服务端通过客户端接收发送方上传的文件；

将接收到的文件缓存至临时文件夹中，并在分布式存储系统中记录各个文件的存储位置信息；

对临时文件夹中的各个文件进行合并处理，得到合并后的文件，并将合并后的文件存储到分布式文件系统中；

基于合并后的文件，更新分布式存储系统中对应的存储位置信息。

2.如权利要求1所述的文件存储方法，其特征在于，所述对临时文件夹中的各个文件进行合并处理，得到合并后的文件的步骤包括：

所述服务端扫描所述临时文件夹中的各个文件；

获取组合文件，并在扫描的文件中确定与所述组合文件合并后的容量值小于预设阀值的文件，将确定的文件合并到所述组合文件中。

3.如权利要求2所述的文件存储方法，其特征在于，所述方法还包括：

在接收到文件查询指令时，确定文件查询指令对应的索引信息；

在分布式文件系统中查找所述索引信息所指向的已合并文件；

对所述已合并文件进行还原，以从已合并文件中还原出所述索引信息对应的文件。

4.如权利要求1所述的文件存储方法，其特征在于，所述将合并后的文件存储到分布式文件系统中的步骤之后，所述方法还包括：

所述服务端基于分布式文件系统中存储的文件，生成文件标识信息及文件哈希信息；

通过所述客户端反馈文件标识信息及文件哈希信息至所述发送方，以供所述发送方将文件标识信息及文件哈希信息传输至接收方；

通过所述客户端接收到所述接收方发送的文件标识信息时，在分布式文件系统中提取所述文件标识信息对应的文件，并反馈至所述接收方，以供所述接收方通过文件哈希信息检验所述文件，并在检验成功时获取所述文件。

5.如权利要求1所述的文件存储方法，其特征在于，所述服务端的个数包括多个，所述文件处理系统的服务端和客户端通过网关连接，文件从客户端上传至服务端的方式包括：网关按照预设的策略，将客户端上传的文件轮询上传至服务端中。

6.如权利要求1所述的文件存储方法，其特征在于，所述基于合并后的文件，更新分布式存储系统中对应的存储位置信息的步骤之后，所述方法还包括：

所述服务端扫描分布式文件系统中的各个文件，以监测各个文件的存储时长；

在有文件的存储时长达到预设时长时，删除所述分布式文件系统中的所述文件，并删除所述分布式存储系统中所述文件的存储位置信息。

7.如权利要求6所述的文件存储方法，其特征在于，所述互联网数据中心还包括分布式应用程序协调服务，所述服务端扫描分布式文件系统中的各个文件，以监测各个文件的存储时长的步骤之前，所述方法还包括：

所述服务端向分布式应用程序协调服务发送删除锁的请求信息；

在获取锁成功时，执行扫描分布式文件系统中的各个文件，以监测各个文件的存储时长的步骤。

8.如权利要求1-7任一项所述的文件存储方法，其特征在于，所述服务端位于主互联网数据中心中，在系统中存在备互联网数据中心的情况下，所述基于合并后的文件，更新分布式存储系统中对应的存储位置信息的步骤之后，所述方法包括：

所述服务端将存储的文件同步到备互联网数据中心所在文件处理系统的服务端中，以供备互联网数据中心所在文件处理系统的服务端执行文件存储操作。

9.一种服务端，其特征在于，所述服务端包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的文件存储程序，所述文件存储程序被所述处理器执行时实现如权利要求1至8中任一项所述的文件存储方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有文件存储程序，所述文件存储程序被处理器执行时实现如权利要求1至8中任一项所述的文件存储方法的步骤。