Nothing Special   »   [go: up one dir, main page]

CN103488685A - 一种基于分布式存储系统的碎片文件存储方法 - Google Patents

一种基于分布式存储系统的碎片文件存储方法 Download PDF

Info

Publication number
CN103488685A
CN103488685A CN201310391797.8A CN201310391797A CN103488685A CN 103488685 A CN103488685 A CN 103488685A CN 201310391797 A CN201310391797 A CN 201310391797A CN 103488685 A CN103488685 A CN 103488685A
Authority
CN
China
Prior art keywords
file
fragment
memory
fragment file
mapping space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310391797.8A
Other languages
English (en)
Other versions
CN103488685B (zh
Inventor
杨源杰
陈化峰
李庆瑜
戴立言
王振邦
戴彩霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI WONDERTEK SOFTWARE CO Ltd
Original Assignee
SHANGHAI WONDERTEK SOFTWARE CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI WONDERTEK SOFTWARE CO Ltd filed Critical SHANGHAI WONDERTEK SOFTWARE CO Ltd
Priority to CN201310391797.8A priority Critical patent/CN103488685B/zh
Publication of CN103488685A publication Critical patent/CN103488685A/zh
Application granted granted Critical
Publication of CN103488685B publication Critical patent/CN103488685B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • G06F16/1824Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/1827Management specifically adapted to NAS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/1724Details of de-fragmentation performed by the file system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于分布式存储系统的碎片文件存储方法,利用内存映射文件技术,将碎片文件连续映射到内存中,合并为一大文件,再对大文件进行存储。本方明还提供了一种与上述方法相对应的存储节点,包括:碎片文件判断单元、碎片文件映射空间、碎片文件元数据单元、内存映射空间元数据单元、指针列表单元以及内存交换控制单元。本发明具有以下有益效果:由于本发明将碎片文件合并为大文件进行存储,大大提高了磁盘的利用效率,且大大提高了连续碎片文件处理的效率;由于本发明的内存映射空间采用非交换内存,配合相应的文件优先级以及交换策略,大大提高了随机碎片文件处理的效率。

Description

一种基于分布式存储系统的碎片文件存储方法
技术领域
本发明属于计算机文件存储技术领域,具体涉及一种基于分布式存储系统的碎片文件存储方法。
背景技术
文件系统是计算机操作系统与驱动器之间的接口,当操作系统请求从硬盘里读取一个文件时,会请求相应的文件系统(FAT 16/32, NTFS, Ext2/3/4)打开文件。扇区是磁盘最小的物理存储单元,但由于操作系统无法对数目众多的扇区进行寻址,所以操作系统就将相邻的扇区组合在一起,形成一个簇,然后再对簇进行管理。每个簇可以包括2、4、8、16、32或64个扇区。显然,簇是操作系统所使用的逻辑概念,而非磁盘的物理特性。为了更好地管理磁盘空间和更高效地从硬盘读取数据,操作系统规定一个簇中只能放置一个文件的内容,因此文件所占用的空间,只能是簇的整数倍;而如果文件实际大小小于一簇,它也要占一簇的空间。所以,一般情况下文件所占空间要略大于文件的实际大小,只有在少数情况下,即文件的实际大小恰好是簇的整数倍时,文件的实际大小才会与所占空间完全一致。
微博、在线办公、在线笔记类型的Web应用包括腾讯微薄、box.net, EverNotes等,每种应用都吸引了成千上万、甚至上亿的用户,每天产生几亿、几十亿甚至更多的记录,这些记录,有的是几个字节的随手笔记,有的是一两个字节的心情上的抒发,都对应相同数量小文件,可以想象,当存储对象是大量的这样的小文件的时候,磁盘的利用效率会急剧下降,对应的,文件的增删查改的效率也会急剧下降。
因此,有必要提供统一种碎片文件存储的优化方法,对碎片文件的存储进行特殊的优化,以解决碎片文件处理效率低下的问题。
发明内容
为了克服现有技术中存在的碎片文件处理效率低下缺陷,本发明提供一种基于分布式存储系统的碎片文件存储方法,本发明的主要思想是,利用内存映射文件技术,将碎片文件连续映射到内存中,合并为一大文件,再对大文件进行存储,可以大大减小碎片文件占用的空间且提高文件处理的效率。本发明具体的技术方案如下:
一种基于分布式存储系统的碎片文件存储方法,包括如下步骤:
在存储节点的内存中分配一碎片文件映射空间,碎片文件映射空间是连续的;
在存储节点中,根据预设的阈值对若干源文件进行判断,若某一源文件的大小小于阈值,则该源文件即为碎片文件,经判断后得到若干碎片文件;其中,每个源文件都预设有一个对应的源文件编号;
将若干碎片文件连续的映射到碎片文件映射空间中,合并成为大文件;当大文件的大小达到阈值时,当前大文件的合并结束,若还有剩余的碎片文件,则按照上述步骤继续合并,从而得到若干大文件;在合并的同时,为每个大文件分配一个对应的大文件编号;根据需要决定各大文件在碎片文件映射空间与磁盘之间的交换;
将碎片文件对应的源文件编号转换为大文件编号加相应的偏移。
作为优化方案,阈值等于文件簇的大小。
作为优化方案,碎片文件映射空间采用非交换内存。
作为优化方案,还包括如下步骤:
为每个大文件预设优先级,根据优先级决定大文件在碎片文件映射空间与磁盘中之间的交换。
作为优化方案,优先级根据如下标准设定:文件访问的频繁程度,或者最后一次访问的时间,或者历史访问记录加权。
作为优化方案,大文件在碎片文件映射空间与磁盘之间的交换策略包括:需要时才交换;系统空闲时交换;换出但不立即释放;碎片文件映射空间已满时换出。
作为优化方案,在存储节点内设置碎片文件指针列表、大文件空闲指针列表以及当前指针列表;其中,碎片文件指针列表记录各大文件中碎片文件的起始地址及偏移,大文件空闲指针列表记录各大文件中空闲的地址及偏移,当前指针列表记录大文件中当前的读写的地址。
作为优化方案,利用客户端应用程序向路由器上传源文件,利用路由器为每个源文件分配一个对应的源文件编号,再将源文件分配到相应的存储节点。
作为优化方案,在路由器中设置一请求表,请求表用于记录源文件编号;步骤S4进一步包括:存储节点返回数据给路由器,路由器将请求表中的碎片文件对应的源文件编号转换为大文件编号加相应的偏移。
一种采用基于分布式存储系统的碎片文件存储方法的存储节点,包括:
碎片文件判断单元,用于根据预设的阈值对若干源文件进行判断,若某一源文件的大小小于阈值,则该源文件即为碎片文件,经判断后得到若干碎片文件;
碎片文件映射空间,用于将若干碎片文件连续的映射到碎片文件映射空间中,合并成为大文件;碎片文件映射空间为连续的内存空间。
作为优化方案,该存储节点还包括:
碎片文件元数据单元,用于管理记录碎片文件与大文件对应关系的元数据;
内存映射空间元数据单元,用于管理记录碎片文件映射空间与内存之间的对应关系的元数据。
作为优化方案,该存储节点还包括:
指针列表单元,用于管理碎片文件指针列表、大文件空闲指针列表以及当前指针列表;其中,碎片文件指针列表记录各大文件中碎片文件的起始地址及偏移,大文件空闲指针列表记录各大文件中空闲的地址及偏移,当前指针列表记录大文件中当前的读写的地址。
作为优化方案,该存储节点还包括:
内存交换控制单元,用于管理各大文件在碎片文件映射空间与磁盘之间的交换。
与现有技术相比,本发明具有以下有益效果:
(1)由于本发明将碎片文件合并为大文件进行存储,大大提高了磁盘的利用效率,且大大提高了连续碎片文件处理的效率;
(2)由于本发明的内存映射空间采用非交换内存,配合相应的文件优先级以及交换策略,大大提高了随机碎片文件处理的效率。
附图说明
图1为本发明的方法流程图;
图2为分布式存储系统的结构框图;
图3为存储节点的结构框图。 
具体实施方式
下面结合附图以实施例的方式详细描述本发明。
在对本发明进行具体描述前,先对分布式存储系统作简单说明。分布式存储系统的系统框图如图2所示,包括路由器、若干存储节点以及系统元数据模块。客户端应用程序将若干文件上传到路由器,由路由器将这些文件分配到相应的存储节点进行存储。系统元数据模块用于管理记录上传的文件与各存储节点的对应关系的元数据,当查询文件时,路由器会从中读取相应的信息以查找文件。每个存储节点中均设有内存和磁盘,存储文件时,路由器将文件发送到存储节点的内存中,再将内存中的文件换出到磁盘实现永久储存;读取文件时,将磁盘中存储的文件换入内存,路由器从存储节点的内存中读取文件回传到客户端应用程序。若上传的这些文件均为几个字节的小文件,正如背景技术中所述的原因,存储节点在存储大量小文件时会占用大量的磁盘空间。
实施例1:
如图1所示,本发明提供一种基于分布式存储系统的碎片文件存储方法,包括如下步骤:
步骤S1,在存储节点的内存中分配一碎片文件映射空间,该碎片文件映射空间是连续的。
步骤S2, 在存储节点中,根据预设的阈值对若干源文件进行判断,若某一源文件的大小小于阈值,则该源文件即为碎片文件,经判断后得到若干碎片文件;其中,每个源文件都预设有一个对应的源文件编号。
其中,源文件即是指客户端应用程序通过路由器上传到存储节点中的文件。源文件编号是在利用路由器上传源文件时,由路由器进行分配的。在路由器中设置一请求表,该请求表用于记录源文件编号。
步骤S3,将若干碎片文件连续的映射到碎片文件映射空间中,合并成为大文件;当大文件的大小达到阈值时,当前大文件的合并结束,若还有剩余的碎片文件,则按照上述步骤继续合并,从而得到若干大文件;在合并的同时,为每个大文件分配一个对应的大文件编号。
步骤S2和S3中提到的阈值是可以根据需要任意选择的,对于源文件,若小于该阈值的源文件即视为碎片文件,大于或等于该阈值则视为普通文件,按照正常的存储方式存储。最优的实施例为,将阈值设定为与操作系统的文件簇的大小相同,这样每个合并后的大文件都与簇的大小相同,使大文件的实际大小与所占空间完全一致,大大节省磁盘空间。例如,如果操作系统的文件簇设置为4K,则阈值也设为4K。
在本实施例中,碎片文件映射空间采用普通内存,该普通内存是交换内存,会自动释放内存内存储的文件。即当上传文件时,采用普通内存的碎片文件映射空间将合并后的某一大文件存储到磁盘中,直接释放碎片文件映射空间中相应的该大文件;当读取文件时,碎片文件映射空间再将所需的大文件从磁盘中换入,实现大文件在碎片文件映射空间与磁盘之间的交换。由于本实施例采用普通内存,以上交换会自动实现,无须设置任何交换策略。
在碎片文件映射空间中将碎片文件合并为大文件是通过设置若干指针列表来实现的。在存储节点内设置碎片文件指针列表、大文件空闲指针列表以及当前指针列表;其中,碎片文件指针列表记录各大文件中碎片文件的起始地址及偏移,大文件空闲指针列表记录各大文件中空闲的地址及偏移,当前指针列表记录大文件中当前的读写的地址。当对碎片文件进行合并时,根据碎片文件指针列表、大文件空闲指针列表以及当前指针列表确定该碎片文件在碎片文件映射空间中的存放地址;当对碎片文件映射空间中的内容进行更改时,同步更新碎片文件指针列表、大文件空闲指针列表以及当前指针列表。
步骤S4,将碎片文件对应的源文件编号转换为大文件编号加相应的偏移。存储节点返回编号转换的相应数据给路由器,路由器将请求表中的碎片文件对应的源文件编号转换为大文件编号加相应的偏移。
由于本发明将碎片文件合并为大文件进行存储,采用本实施例的方法大大提高了磁盘的利用效率,且大幅提高了连续碎片文件的查询、删除、修改的效率。以云笔记为例,如果一段文字产生的文件大小为50字节,对应的文件簇设置为4K,采用本发明后,新的文件占用的磁盘空间只有以前的1/80;如果一段文字产生的文件大小为50字节,连续查询80条,采用传统的查询技术,需要将80个小文件从磁盘中读出并放在内存里面;相对比,采用本发明后,只需要将一个大文件读出即可,查询的效率提升将超过80倍。
本实施例提供一种采用上述存储方法的存储节点,包括:
碎片文件判断单元,用于根据预设的阈值对若干源文件进行判断,若某一源文件的大小小于所述阈值,则该源文件即为碎片文件,经判断后得到若干碎片文件;
碎片文件映射空间,用于将若干碎片文件连续的映射到所述碎片文件映射空间中,合并成为大文件;所述碎片文件映射空间为连续的内存空间;
碎片文件元数据单元,用于管理记录碎片文件与大文件对应关系的元数据;
内存映射空间元数据单元,用于管理记录碎片文件映射空间与内存之间的对应关系的元数据。
指针列表单元,用于管理碎片文件指针列表、大文件空闲指针列表以及当前指针列表;其中,所述碎片文件指针列表记录各大文件中碎片文件的起始地址及偏移,所述大文件空闲指针列表记录各大文件中空闲的地址及偏移,所述当前指针列表记录所述大文件中当前的读写的地址。
实施例2:
本实施例与实施例1的区别在于:碎片文件映射空间采用非交换内存。由于采用非交换内存,碎片文件映射空间不会自动释放空间内的内容,需要设定一些交换方法以实现文件在碎片文件映射空间与磁盘之间的交换。
为每个大文件预设优先级,根据优先级决定大文件在碎片文件映射空间与磁盘之间的交换。优先级可根据如下标准设定:文件访问的频繁程度,或者最后一次访问的时间,或者历史访问记录加权;但不限于此,也可采用其他标准。以文件访问的频繁程度的标准为例,若某一大文件的访问次数越多,则该大文件的优先级越高,反之,优先级则越低;优先级高的大文件保留在碎片文件映射空间中,优先级低的大文件则换出到磁盘中存储;由于优先级高的大文件使用较频繁,保留在碎片文件映射空间中则省去了每次读取时都要从磁盘中读取到内存中的时间,大大提升了大文件的读取速度。
可根据需要设置大文件在碎片文件映射空间与磁盘之间的交换策略,这些交换策略包括:需要时才交换;系统空闲时交换;换出但不立即释放;碎片文件映射空间已满时换出。其中,需要时才交换是指当需要使用某一大文件时,若该大文件不在碎片文件映射空间中,则将其从磁盘换入碎片文件映射空间;系统空闲时交换是指,若正在存储或读取文件时,不进行交换,仅当系统空闲时才根据优先级将大文件由,或由磁盘换入到碎片文件映射空间中;换出但不立即释放是指当把某一大文件换出到磁盘中后,不立即释放碎片文件映射空间中的该大文件;碎片文件映射空间已满时换出是指当碎片文件映射空间已满时,不得不换出,则将优先级较低的大文件换出到磁盘中存储,释放碎片文件映射空间中相应的内存。可从上述交换策略中选择所需的策略进行单独或组合使用,且交换策略不限于此,也可使用其他交换策略。
与实施例1相比,本实施例的技术方案大大提高了碎片文件的随机查询、删除、修改的效率(可以提高20%~50%,甚至更高)。
本实施例提供一种采用上述存储方法的存储节点,见图3。与实施例1中的提供存储节点的区别在于,还包括:
内存交换控制单元,用于管理各大文件在所述碎片文件映射空间与磁盘之间的交换。该内存交换控制单元中预存有上述存储方法中的大文件优先级以及交换策略等信息,并根据该优先级和交换策略管理并控制各大文件在所述碎片文件映射空间与磁盘之间的交换。
本实施例的其他技术方案均与实施例1相同,在此不再赘述。
以上公开的仅为本申请的几个具体实施例,但本申请并非局限于此任何本领域的技术人员能思之的变化,都应落在本申请的保护范围内。 

Claims (13)

1.一种基于分布式存储系统的碎片文件存储方法,其特征在于,包括如下步骤:
在存储节点的内存中分配一碎片文件映射空间,所述碎片文件映射空间是连续的;
在存储节点中,根据预设的阈值对若干源文件进行判断,若某一源文件的大小小于所述阈值,则该源文件即为碎片文件,经判断后得到若干碎片文件;其中,每个源文件都预设有一个对应的源文件编号;
将若干碎片文件连续的映射到所述碎片文件映射空间中,合并成为大文件;当所述大文件的大小达到所述阈值时,当前大文件的合并结束,若还有剩余的碎片文件,则按照上述步骤继续合并,从而得到若干大文件;在合并的同时,为每个大文件分配一个对应的大文件编号;根据需要决定各大文件在所述碎片文件映射空间与磁盘之间的交换;
将所述碎片文件对应的源文件编号转换为大文件编号加相应的偏移。
2.根据权利要求1所述的一种基于分布式存储系统的碎片文件存储方法,其特征在于,所述阈值等于文件簇的大小。
3. 根据权利要求1所述的一种基于分布式存储系统的碎片文件存储方法,其特征在于,所述碎片文件映射空间采用非交换内存。
4. 根据权利要求3所述的一种基于分布式存储系统的碎片文件存储方法,其特征在于,还包括如下步骤:
为每个大文件预设优先级,根据所述优先级决定所述大文件在所述碎片文件映射空间与磁盘中之间的交换。
5.根据权利要求4所述的一种基于分布式存储系统的碎片文件存储方法,其特征在于,所述优先级根据如下标准设定:文件访问的频繁程度,或者最后一次访问的时间,或者历史访问记录加权。
6.根据权利要求3-5任一项所述的一种基于分布式存储系统的碎片文件存储方法,其特征在于,所述大文件在碎片文件映射空间与磁盘之间的交换策略包括:需要时才交换;系统空闲时交换;换出但不立即释放;碎片文件映射空间已满时换出。
7.根据权利要求1所述的一种基于分布式存储系统的碎片文件存储方法,其特征在于,在所述存储节点内设置碎片文件指针列表、大文件空闲指针列表以及当前指针列表;其中,所述碎片文件指针列表记录各大文件中碎片文件的起始地址及偏移,所述大文件空闲指针列表记录各大文件中空闲的地址及偏移,所述当前指针列表记录所述大文件中当前的读写的地址。
8. 根据权利要求1所述的一种基于分布式存储系统的碎片文件存储方法,其特征在于,利用客户端应用程序向路由器上传所述源文件,利用所述路由器为每个源文件分配一个对应的源文件编号,再将所述源文件分配到相应的存储节点。
9. 根据权利要求8所述的一种基于分布式存储系统的碎片文件存储方法,其特征在于,在所述路由器中设置一请求表,所述请求表用于记录源文件编号;所述步骤S4进一步包括:所述存储节点返回数据给路由器,路由器将请求表中的所述碎片文件对应的源文件编号转换为大文件编号加相应的偏移。
10. 一种采用权利要求1所述的基于分布式存储系统的碎片文件存储方法的存储节点,其特征在于,包括:
碎片文件判断单元,用于根据预设的阈值对若干源文件进行判断,若某一源文件的大小小于所述阈值,则该源文件即为碎片文件,经判断后得到若干碎片文件;
碎片文件映射空间,用于将若干碎片文件连续的映射到所述碎片文件映射空间中,合并成为大文件;所述碎片文件映射空间为连续的内存空间。
11.根据权利要求10所述的存储节点,其特征在于,还包括:
碎片文件元数据单元,用于管理记录碎片文件与大文件对应关系的元数据;
内存映射空间元数据单元,用于管理记录碎片文件映射空间与内存之间的对应关系的元数据。
12. 根据权利要求10或11所述的存储节点,其特征在于,还包括:
指针列表单元,用于管理碎片文件指针列表、大文件空闲指针列表以及当前指针列表;其中,所述碎片文件指针列表记录各大文件中碎片文件的起始地址及偏移,所述大文件空闲指针列表记录各大文件中空闲的地址及偏移,所述当前指针列表记录所述大文件中当前的读写的地址。
13.根据权利要求10或11所述的存储节点,其特征在于,还包括:
内存交换控制单元,用于管理各大文件在所述碎片文件映射空间与磁盘之间的交换。
CN201310391797.8A 2013-09-02 2013-09-02 一种基于分布式存储系统的碎片文件存储方法 Active CN103488685B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310391797.8A CN103488685B (zh) 2013-09-02 2013-09-02 一种基于分布式存储系统的碎片文件存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310391797.8A CN103488685B (zh) 2013-09-02 2013-09-02 一种基于分布式存储系统的碎片文件存储方法

Publications (2)

Publication Number Publication Date
CN103488685A true CN103488685A (zh) 2014-01-01
CN103488685B CN103488685B (zh) 2017-02-01

Family

ID=49828911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310391797.8A Active CN103488685B (zh) 2013-09-02 2013-09-02 一种基于分布式存储系统的碎片文件存储方法

Country Status (1)

Country Link
CN (1) CN103488685B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956165A (zh) * 2016-05-20 2016-09-21 江苏得得空间信息科技有限公司 一种三维模型数据的瓦片式大文件存储组织方法
CN106469120A (zh) * 2016-08-30 2017-03-01 华为技术有限公司 碎片整理方法、装置及设备
CN107148056A (zh) * 2017-04-26 2017-09-08 上海斐讯数据通信技术有限公司 一种同步服务器式无线路由器数据传输方法及系统
CN107341227A (zh) * 2017-07-01 2017-11-10 中国科学院计算机网络信息中心 文件处理方法、服务器及计算机可读存储介质
CN107509085A (zh) * 2017-08-24 2017-12-22 山东浪潮商用系统有限公司 一种流媒体文件的存储方法及装置
CN107870739A (zh) * 2017-03-15 2018-04-03 珠海市杰理科技股份有限公司 磁盘文件存储方法和系统
CN109508300A (zh) * 2018-11-22 2019-03-22 努比亚技术有限公司 一种磁盘碎片整理方法、设备及计算机可读存储介质
CN111897493A (zh) * 2020-07-15 2020-11-06 杭州海康威视系统技术有限公司 存储空间管理方法、装置及电子设备、存储介质
CN113609082A (zh) * 2021-06-25 2021-11-05 苏州浪潮智能科技有限公司 一种文件系统碎片整理方法、装置及存储介质
CN114365096A (zh) * 2019-11-04 2022-04-15 深圳市欢太科技有限公司 内存分配方法、装置、终端及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1950802A (zh) * 2004-02-13 2007-04-18 扎鲁纳股份有限公司 存储器分配
US20080077762A1 (en) * 2006-09-27 2008-03-27 Network Appliance, Inc. Method and apparatus for defragmentation
CN102024034A (zh) * 2010-11-26 2011-04-20 中国科学院声学研究所 一种面向高清媒体的嵌入式文件系统的碎片处理方法
CN102096679A (zh) * 2009-12-15 2011-06-15 北大方正集团有限公司 一种索引段合并和写入磁盘的方法及装置
CN102332029A (zh) * 2011-10-15 2012-01-25 西安交通大学 一种基于Hadoop的海量可归类小文件关联存储方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1950802A (zh) * 2004-02-13 2007-04-18 扎鲁纳股份有限公司 存储器分配
US20080077762A1 (en) * 2006-09-27 2008-03-27 Network Appliance, Inc. Method and apparatus for defragmentation
CN102096679A (zh) * 2009-12-15 2011-06-15 北大方正集团有限公司 一种索引段合并和写入磁盘的方法及装置
CN102024034A (zh) * 2010-11-26 2011-04-20 中国科学院声学研究所 一种面向高清媒体的嵌入式文件系统的碎片处理方法
CN102332029A (zh) * 2011-10-15 2012-01-25 西安交通大学 一种基于Hadoop的海量可归类小文件关联存储方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956165A (zh) * 2016-05-20 2016-09-21 江苏得得空间信息科技有限公司 一种三维模型数据的瓦片式大文件存储组织方法
CN105956165B (zh) * 2016-05-20 2019-01-18 江苏得得空间信息科技有限公司 一种三维模型数据的瓦片式大文件存储组织方法
CN106469120A (zh) * 2016-08-30 2017-03-01 华为技术有限公司 碎片整理方法、装置及设备
CN107870739A (zh) * 2017-03-15 2018-04-03 珠海市杰理科技股份有限公司 磁盘文件存储方法和系统
CN107870739B (zh) * 2017-03-15 2021-03-19 珠海市杰理科技股份有限公司 磁盘文件存储方法和系统
CN107148056B (zh) * 2017-04-26 2020-06-05 上海斐讯数据通信技术有限公司 一种同步服务器式无线路由器数据传输方法及系统
CN107148056A (zh) * 2017-04-26 2017-09-08 上海斐讯数据通信技术有限公司 一种同步服务器式无线路由器数据传输方法及系统
CN107341227A (zh) * 2017-07-01 2017-11-10 中国科学院计算机网络信息中心 文件处理方法、服务器及计算机可读存储介质
CN107341227B (zh) * 2017-07-01 2020-12-25 中国科学院计算机网络信息中心 文件处理方法、服务器及计算机可读存储介质
CN107509085A (zh) * 2017-08-24 2017-12-22 山东浪潮商用系统有限公司 一种流媒体文件的存储方法及装置
CN107509085B (zh) * 2017-08-24 2019-12-24 山东浪潮商用系统有限公司 一种流媒体文件的存储方法及装置
CN109508300A (zh) * 2018-11-22 2019-03-22 努比亚技术有限公司 一种磁盘碎片整理方法、设备及计算机可读存储介质
CN109508300B (zh) * 2018-11-22 2022-07-05 广州爱云信息技术有限公司 一种磁盘碎片整理方法、设备及计算机可读存储介质
CN114365096A (zh) * 2019-11-04 2022-04-15 深圳市欢太科技有限公司 内存分配方法、装置、终端及计算机可读存储介质
CN111897493A (zh) * 2020-07-15 2020-11-06 杭州海康威视系统技术有限公司 存储空间管理方法、装置及电子设备、存储介质
CN111897493B (zh) * 2020-07-15 2023-03-10 杭州海康威视系统技术有限公司 存储空间管理方法、装置及电子设备、存储介质
CN113609082A (zh) * 2021-06-25 2021-11-05 苏州浪潮智能科技有限公司 一种文件系统碎片整理方法、装置及存储介质
CN113609082B (zh) * 2021-06-25 2023-07-18 苏州浪潮智能科技有限公司 一种文件系统碎片整理方法、装置及存储介质

Also Published As

Publication number Publication date
CN103488685B (zh) 2017-02-01

Similar Documents

Publication Publication Date Title
CN103488685A (zh) 一种基于分布式存储系统的碎片文件存储方法
CN103608782B (zh) Lsb页面和msb页面中的选择性数据存储
CN100565512C (zh) 消除文件存储系统中冗余文件的系统及方法
CN107844269A (zh) 一种基于一致性哈希的分层混合存储系统及方法
US9355112B1 (en) Optimizing compression based on data activity
CN104850358B (zh) 一种磁光电混合存储系统及其数据获取和存储方法
CN105205009B (zh) 一种基于大容量固态存储的地址映射方法及装置
CN101556557B (zh) 一种基于对象存储设备的对象文件组织方法
CN106095342B (zh) 一种动态可变长条带的瓦记录磁盘阵列构建方法及系统
CN102385554B (zh) 重复数据删除系统的优化方法
CN102541983B (zh) 一种分布式文件系统中多客户端缓存同步的方法
CN104133882A (zh) 一种基于hdfs的小文件处理方法
US8090924B2 (en) Method for the allocation of data on physical media by a file system which optimizes power consumption
JP2019508765A (ja) 記憶システムおよびソリッドステートディスク
CN103838853A (zh) 一种基于不同存储介质的混合文件系统
CN104899297A (zh) 具有存储感知的混合索引结构
CN103530387A (zh) 一种hdfs针对小文件的改进方法
CN107315547A (zh) 一种读取分布式元数据文件的方法及装置
CN103888499A (zh) 一种分布式对象处理的方法及系统
CN103366016A (zh) 基于hdfs的电子文件集中存储及优化方法
CN104462389A (zh) 基于分级存储的分布式文件系统实现方法
CN106354890B (zh) 一种基于N-ary树结构的随机访问的文件系统的实现方法
CN101777028A (zh) 一种混合型二级存储系统的实现方法及装置
CN104054071A (zh) 访问存储设备的方法和存储设备
CN104182487A (zh) 一种支持多种存储方式的统一存储方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant