CN103488685A

CN103488685A - 一种基于分布式存储系统的碎片文件存储方法

Info

Publication number: CN103488685A
Application number: CN201310391797.8A
Authority: CN
Inventors: 杨源杰; 陈化峰; 李庆瑜; 戴立言; 王振邦; 戴彩霞
Original assignee: SHANGHAI WONDERTEK SOFTWARE CO Ltd
Current assignee: SHANGHAI WONDERTEK SOFTWARE CO Ltd
Priority date: 2013-09-02
Filing date: 2013-09-02
Publication date: 2014-01-01
Anticipated expiration: 2033-09-02
Also published as: CN103488685B

Abstract

本发明公开了一种基于分布式存储系统的碎片文件存储方法，利用内存映射文件技术，将碎片文件连续映射到内存中，合并为一大文件，再对大文件进行存储。本方明还提供了一种与上述方法相对应的存储节点，包括：碎片文件判断单元、碎片文件映射空间、碎片文件元数据单元、内存映射空间元数据单元、指针列表单元以及内存交换控制单元。本发明具有以下有益效果：由于本发明将碎片文件合并为大文件进行存储，大大提高了磁盘的利用效率，且大大提高了连续碎片文件处理的效率；由于本发明的内存映射空间采用非交换内存，配合相应的文件优先级以及交换策略，大大提高了随机碎片文件处理的效率。

Description

一种基于分布式存储系统的碎片文件存储方法

技术领域

本发明属于计算机文件存储技术领域，具体涉及一种基于分布式存储系统的碎片文件存储方法。

背景技术

文件系统是计算机操作系统与驱动器之间的接口，当操作系统请求从硬盘里读取一个文件时，会请求相应的文件系统（FAT 16/32, NTFS, Ext2/3/4）打开文件。扇区是磁盘最小的物理存储单元，但由于操作系统无法对数目众多的扇区进行寻址，所以操作系统就将相邻的扇区组合在一起，形成一个簇，然后再对簇进行管理。每个簇可以包括2、4、8、16、32或64个扇区。显然，簇是操作系统所使用的逻辑概念，而非磁盘的物理特性。为了更好地管理磁盘空间和更高效地从硬盘读取数据，操作系统规定一个簇中只能放置一个文件的内容，因此文件所占用的空间，只能是簇的整数倍；而如果文件实际大小小于一簇，它也要占一簇的空间。所以，一般情况下文件所占空间要略大于文件的实际大小，只有在少数情况下，即文件的实际大小恰好是簇的整数倍时，文件的实际大小才会与所占空间完全一致。

微博、在线办公、在线笔记类型的Web应用包括腾讯微薄、box.net, EverNotes等，每种应用都吸引了成千上万、甚至上亿的用户，每天产生几亿、几十亿甚至更多的记录，这些记录，有的是几个字节的随手笔记，有的是一两个字节的心情上的抒发，都对应相同数量小文件，可以想象，当存储对象是大量的这样的小文件的时候，磁盘的利用效率会急剧下降，对应的，文件的增删查改的效率也会急剧下降。

因此，有必要提供统一种碎片文件存储的优化方法，对碎片文件的存储进行特殊的优化，以解决碎片文件处理效率低下的问题。

发明内容

为了克服现有技术中存在的碎片文件处理效率低下缺陷，本发明提供一种基于分布式存储系统的碎片文件存储方法，本发明的主要思想是，利用内存映射文件技术，将碎片文件连续映射到内存中，合并为一大文件，再对大文件进行存储，可以大大减小碎片文件占用的空间且提高文件处理的效率。本发明具体的技术方案如下：

一种基于分布式存储系统的碎片文件存储方法，包括如下步骤：

在存储节点的内存中分配一碎片文件映射空间，碎片文件映射空间是连续的；

在存储节点中，根据预设的阈值对若干源文件进行判断，若某一源文件的大小小于阈值，则该源文件即为碎片文件，经判断后得到若干碎片文件；其中，每个源文件都预设有一个对应的源文件编号；

将若干碎片文件连续的映射到碎片文件映射空间中，合并成为大文件；当大文件的大小达到阈值时，当前大文件的合并结束，若还有剩余的碎片文件，则按照上述步骤继续合并，从而得到若干大文件；在合并的同时，为每个大文件分配一个对应的大文件编号；根据需要决定各大文件在碎片文件映射空间与磁盘之间的交换；

将碎片文件对应的源文件编号转换为大文件编号加相应的偏移。

作为优化方案，阈值等于文件簇的大小。

作为优化方案，碎片文件映射空间采用非交换内存。

作为优化方案，还包括如下步骤：

为每个大文件预设优先级，根据优先级决定大文件在碎片文件映射空间与磁盘中之间的交换。

作为优化方案，优先级根据如下标准设定：文件访问的频繁程度，或者最后一次访问的时间，或者历史访问记录加权。

作为优化方案，大文件在碎片文件映射空间与磁盘之间的交换策略包括：需要时才交换；系统空闲时交换；换出但不立即释放；碎片文件映射空间已满时换出。

作为优化方案，在存储节点内设置碎片文件指针列表、大文件空闲指针列表以及当前指针列表；其中，碎片文件指针列表记录各大文件中碎片文件的起始地址及偏移，大文件空闲指针列表记录各大文件中空闲的地址及偏移，当前指针列表记录大文件中当前的读写的地址。

作为优化方案，利用客户端应用程序向路由器上传源文件，利用路由器为每个源文件分配一个对应的源文件编号，再将源文件分配到相应的存储节点。

作为优化方案，在路由器中设置一请求表，请求表用于记录源文件编号；步骤S4进一步包括：存储节点返回数据给路由器，路由器将请求表中的碎片文件对应的源文件编号转换为大文件编号加相应的偏移。

一种采用基于分布式存储系统的碎片文件存储方法的存储节点，包括：

碎片文件判断单元，用于根据预设的阈值对若干源文件进行判断，若某一源文件的大小小于阈值，则该源文件即为碎片文件，经判断后得到若干碎片文件；

碎片文件映射空间，用于将若干碎片文件连续的映射到碎片文件映射空间中，合并成为大文件；碎片文件映射空间为连续的内存空间。

作为优化方案，该存储节点还包括：

碎片文件元数据单元，用于管理记录碎片文件与大文件对应关系的元数据；

内存映射空间元数据单元，用于管理记录碎片文件映射空间与内存之间的对应关系的元数据。

作为优化方案，该存储节点还包括：

指针列表单元，用于管理碎片文件指针列表、大文件空闲指针列表以及当前指针列表；其中，碎片文件指针列表记录各大文件中碎片文件的起始地址及偏移，大文件空闲指针列表记录各大文件中空闲的地址及偏移，当前指针列表记录大文件中当前的读写的地址。

作为优化方案，该存储节点还包括：

内存交换控制单元，用于管理各大文件在碎片文件映射空间与磁盘之间的交换。

与现有技术相比，本发明具有以下有益效果：

（1）由于本发明将碎片文件合并为大文件进行存储，大大提高了磁盘的利用效率，且大大提高了连续碎片文件处理的效率；

（2）由于本发明的内存映射空间采用非交换内存，配合相应的文件优先级以及交换策略，大大提高了随机碎片文件处理的效率。

附图说明

图1为本发明的方法流程图；

图2为分布式存储系统的结构框图；

图3为存储节点的结构框图。

具体实施方式

下面结合附图以实施例的方式详细描述本发明。

在对本发明进行具体描述前，先对分布式存储系统作简单说明。分布式存储系统的系统框图如图2所示，包括路由器、若干存储节点以及系统元数据模块。客户端应用程序将若干文件上传到路由器，由路由器将这些文件分配到相应的存储节点进行存储。系统元数据模块用于管理记录上传的文件与各存储节点的对应关系的元数据，当查询文件时，路由器会从中读取相应的信息以查找文件。每个存储节点中均设有内存和磁盘，存储文件时，路由器将文件发送到存储节点的内存中，再将内存中的文件换出到磁盘实现永久储存；读取文件时，将磁盘中存储的文件换入内存，路由器从存储节点的内存中读取文件回传到客户端应用程序。若上传的这些文件均为几个字节的小文件，正如背景技术中所述的原因，存储节点在存储大量小文件时会占用大量的磁盘空间。

实施例1：

如图1所示，本发明提供一种基于分布式存储系统的碎片文件存储方法，包括如下步骤：

步骤S1，在存储节点的内存中分配一碎片文件映射空间，该碎片文件映射空间是连续的。

步骤S2，在存储节点中，根据预设的阈值对若干源文件进行判断，若某一源文件的大小小于阈值，则该源文件即为碎片文件，经判断后得到若干碎片文件；其中，每个源文件都预设有一个对应的源文件编号。

其中，源文件即是指客户端应用程序通过路由器上传到存储节点中的文件。源文件编号是在利用路由器上传源文件时，由路由器进行分配的。在路由器中设置一请求表，该请求表用于记录源文件编号。

步骤S3，将若干碎片文件连续的映射到碎片文件映射空间中，合并成为大文件；当大文件的大小达到阈值时，当前大文件的合并结束，若还有剩余的碎片文件，则按照上述步骤继续合并，从而得到若干大文件；在合并的同时，为每个大文件分配一个对应的大文件编号。

步骤S2和S3中提到的阈值是可以根据需要任意选择的，对于源文件，若小于该阈值的源文件即视为碎片文件，大于或等于该阈值则视为普通文件，按照正常的存储方式存储。最优的实施例为，将阈值设定为与操作系统的文件簇的大小相同，这样每个合并后的大文件都与簇的大小相同，使大文件的实际大小与所占空间完全一致，大大节省磁盘空间。例如，如果操作系统的文件簇设置为4K，则阈值也设为4K。

在本实施例中，碎片文件映射空间采用普通内存，该普通内存是交换内存，会自动释放内存内存储的文件。即当上传文件时，采用普通内存的碎片文件映射空间将合并后的某一大文件存储到磁盘中，直接释放碎片文件映射空间中相应的该大文件；当读取文件时，碎片文件映射空间再将所需的大文件从磁盘中换入，实现大文件在碎片文件映射空间与磁盘之间的交换。由于本实施例采用普通内存，以上交换会自动实现，无须设置任何交换策略。

在碎片文件映射空间中将碎片文件合并为大文件是通过设置若干指针列表来实现的。在存储节点内设置碎片文件指针列表、大文件空闲指针列表以及当前指针列表；其中，碎片文件指针列表记录各大文件中碎片文件的起始地址及偏移，大文件空闲指针列表记录各大文件中空闲的地址及偏移，当前指针列表记录大文件中当前的读写的地址。当对碎片文件进行合并时，根据碎片文件指针列表、大文件空闲指针列表以及当前指针列表确定该碎片文件在碎片文件映射空间中的存放地址；当对碎片文件映射空间中的内容进行更改时，同步更新碎片文件指针列表、大文件空闲指针列表以及当前指针列表。

步骤S4，将碎片文件对应的源文件编号转换为大文件编号加相应的偏移。存储节点返回编号转换的相应数据给路由器，路由器将请求表中的碎片文件对应的源文件编号转换为大文件编号加相应的偏移。

由于本发明将碎片文件合并为大文件进行存储，采用本实施例的方法大大提高了磁盘的利用效率，且大幅提高了连续碎片文件的查询、删除、修改的效率。以云笔记为例，如果一段文字产生的文件大小为50字节，对应的文件簇设置为4K，采用本发明后，新的文件占用的磁盘空间只有以前的1/80；如果一段文字产生的文件大小为50字节，连续查询80条，采用传统的查询技术，需要将80个小文件从磁盘中读出并放在内存里面；相对比，采用本发明后，只需要将一个大文件读出即可，查询的效率提升将超过80倍。

本实施例提供一种采用上述存储方法的存储节点，包括：

碎片文件判断单元，用于根据预设的阈值对若干源文件进行判断，若某一源文件的大小小于所述阈值，则该源文件即为碎片文件，经判断后得到若干碎片文件；

碎片文件映射空间，用于将若干碎片文件连续的映射到所述碎片文件映射空间中，合并成为大文件；所述碎片文件映射空间为连续的内存空间；

指针列表单元，用于管理碎片文件指针列表、大文件空闲指针列表以及当前指针列表；其中，所述碎片文件指针列表记录各大文件中碎片文件的起始地址及偏移，所述大文件空闲指针列表记录各大文件中空闲的地址及偏移，所述当前指针列表记录所述大文件中当前的读写的地址。

实施例2：

本实施例与实施例1的区别在于：碎片文件映射空间采用非交换内存。由于采用非交换内存，碎片文件映射空间不会自动释放空间内的内容，需要设定一些交换方法以实现文件在碎片文件映射空间与磁盘之间的交换。

为每个大文件预设优先级，根据优先级决定大文件在碎片文件映射空间与磁盘之间的交换。优先级可根据如下标准设定：文件访问的频繁程度，或者最后一次访问的时间，或者历史访问记录加权；但不限于此，也可采用其他标准。以文件访问的频繁程度的标准为例，若某一大文件的访问次数越多，则该大文件的优先级越高，反之，优先级则越低；优先级高的大文件保留在碎片文件映射空间中，优先级低的大文件则换出到磁盘中存储；由于优先级高的大文件使用较频繁，保留在碎片文件映射空间中则省去了每次读取时都要从磁盘中读取到内存中的时间，大大提升了大文件的读取速度。

可根据需要设置大文件在碎片文件映射空间与磁盘之间的交换策略，这些交换策略包括：需要时才交换；系统空闲时交换；换出但不立即释放；碎片文件映射空间已满时换出。其中，需要时才交换是指当需要使用某一大文件时，若该大文件不在碎片文件映射空间中，则将其从磁盘换入碎片文件映射空间；系统空闲时交换是指，若正在存储或读取文件时，不进行交换，仅当系统空闲时才根据优先级将大文件由，或由磁盘换入到碎片文件映射空间中；换出但不立即释放是指当把某一大文件换出到磁盘中后，不立即释放碎片文件映射空间中的该大文件；碎片文件映射空间已满时换出是指当碎片文件映射空间已满时，不得不换出，则将优先级较低的大文件换出到磁盘中存储，释放碎片文件映射空间中相应的内存。可从上述交换策略中选择所需的策略进行单独或组合使用，且交换策略不限于此，也可使用其他交换策略。

与实施例1相比，本实施例的技术方案大大提高了碎片文件的随机查询、删除、修改的效率（可以提高20%~50%，甚至更高）。

本实施例提供一种采用上述存储方法的存储节点，见图3。与实施例1中的提供存储节点的区别在于，还包括：

内存交换控制单元，用于管理各大文件在所述碎片文件映射空间与磁盘之间的交换。该内存交换控制单元中预存有上述存储方法中的大文件优先级以及交换策略等信息，并根据该优先级和交换策略管理并控制各大文件在所述碎片文件映射空间与磁盘之间的交换。

本实施例的其他技术方案均与实施例1相同，在此不再赘述。

以上公开的仅为本申请的几个具体实施例，但本申请并非局限于此任何本领域的技术人员能思之的变化，都应落在本申请的保护范围内。

Claims

1.一种基于分布式存储系统的碎片文件存储方法，其特征在于，包括如下步骤：

在存储节点的内存中分配一碎片文件映射空间，所述碎片文件映射空间是连续的；

在存储节点中，根据预设的阈值对若干源文件进行判断，若某一源文件的大小小于所述阈值，则该源文件即为碎片文件，经判断后得到若干碎片文件；其中，每个源文件都预设有一个对应的源文件编号；

将若干碎片文件连续的映射到所述碎片文件映射空间中，合并成为大文件；当所述大文件的大小达到所述阈值时，当前大文件的合并结束，若还有剩余的碎片文件，则按照上述步骤继续合并，从而得到若干大文件；在合并的同时，为每个大文件分配一个对应的大文件编号；根据需要决定各大文件在所述碎片文件映射空间与磁盘之间的交换；

将所述碎片文件对应的源文件编号转换为大文件编号加相应的偏移。

2.根据权利要求1所述的一种基于分布式存储系统的碎片文件存储方法，其特征在于，所述阈值等于文件簇的大小。

3. 根据权利要求1所述的一种基于分布式存储系统的碎片文件存储方法，其特征在于，所述碎片文件映射空间采用非交换内存。

4. 根据权利要求3所述的一种基于分布式存储系统的碎片文件存储方法，其特征在于，还包括如下步骤：

为每个大文件预设优先级，根据所述优先级决定所述大文件在所述碎片文件映射空间与磁盘中之间的交换。

5.根据权利要求4所述的一种基于分布式存储系统的碎片文件存储方法，其特征在于，所述优先级根据如下标准设定：文件访问的频繁程度，或者最后一次访问的时间，或者历史访问记录加权。

6.根据权利要求3-5任一项所述的一种基于分布式存储系统的碎片文件存储方法，其特征在于，所述大文件在碎片文件映射空间与磁盘之间的交换策略包括：需要时才交换；系统空闲时交换；换出但不立即释放；碎片文件映射空间已满时换出。

7.根据权利要求1所述的一种基于分布式存储系统的碎片文件存储方法，其特征在于，在所述存储节点内设置碎片文件指针列表、大文件空闲指针列表以及当前指针列表；其中，所述碎片文件指针列表记录各大文件中碎片文件的起始地址及偏移，所述大文件空闲指针列表记录各大文件中空闲的地址及偏移，所述当前指针列表记录所述大文件中当前的读写的地址。

8. 根据权利要求1所述的一种基于分布式存储系统的碎片文件存储方法，其特征在于，利用客户端应用程序向路由器上传所述源文件，利用所述路由器为每个源文件分配一个对应的源文件编号，再将所述源文件分配到相应的存储节点。

9. 根据权利要求8所述的一种基于分布式存储系统的碎片文件存储方法，其特征在于，在所述路由器中设置一请求表，所述请求表用于记录源文件编号；所述步骤S4进一步包括：所述存储节点返回数据给路由器，路由器将请求表中的所述碎片文件对应的源文件编号转换为大文件编号加相应的偏移。

10. 一种采用权利要求1所述的基于分布式存储系统的碎片文件存储方法的存储节点，其特征在于，包括：

碎片文件映射空间，用于将若干碎片文件连续的映射到所述碎片文件映射空间中，合并成为大文件；所述碎片文件映射空间为连续的内存空间。

11.根据权利要求10所述的存储节点，其特征在于，还包括：

12. 根据权利要求10或11所述的存储节点，其特征在于，还包括：

13.根据权利要求10或11所述的存储节点，其特征在于，还包括：

内存交换控制单元，用于管理各大文件在所述碎片文件映射空间与磁盘之间的交换。