Nothing Special   »   [go: up one dir, main page]

CN103778120B - 全局文件标识生成方法、生成装置及相应的分布式文件系统 - Google Patents

全局文件标识生成方法、生成装置及相应的分布式文件系统 Download PDF

Info

Publication number
CN103778120B
CN103778120B CN201210395226.7A CN201210395226A CN103778120B CN 103778120 B CN103778120 B CN 103778120B CN 201210395226 A CN201210395226 A CN 201210395226A CN 103778120 B CN103778120 B CN 103778120B
Authority
CN
China
Prior art keywords
global profile
subfield
establishment
mark
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210395226.7A
Other languages
English (en)
Other versions
CN103778120A (zh
Inventor
伍海君
叶航军
李锐
邹永强
董乘宇
赵大勇
王磊
阙太富
杨绍鹏
张书鑫
陈晓东
刘畅
张银锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201210395226.7A priority Critical patent/CN103778120B/zh
Publication of CN103778120A publication Critical patent/CN103778120A/zh
Application granted granted Critical
Publication of CN103778120B publication Critical patent/CN103778120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种全局文件标识生成方法、生成装置及相应的分布式文件系统,本发明的全局文件标识生成方法包括步骤:接收到文件创建请求时,根据被创建文件所在元数据服务器的编号生成所述全局文件标识的服务器编号字段;以及根据所述全局文件标识在所述主元数据服务器中的创建编号生成所述全局文件标识的文件顺序字段;不同的所述全局文件标识在所述主元数据服务器中的创建编号不同。本发明还涉及一种分布式文件系统的全局文件标识生成装置及相应的分布式文件系统。本发明的全局文件标识生成方法、生成装置及相应的分布式文件系统可节约元数据服务器的存储以及传输数据的资源,又可有效的保证每个文件的标识唯一性。

Description

全局文件标识生成方法、生成装置及相应的分布式文件系统
技术领域
本发明涉及数据存储领域,特别是涉及一种分布式文件系统的全局文件标识生成方法、生成装置及相应的分布式文件系统。
背景技术
目前在工业界广泛应用分布式文件系统进行数据的存储读写。一般分布式文件系统包括多个元数据服务器,分布式文件系统的文件的元信息(即文件标识)均存储在各个元数据服务器中。由于文件的元信息包括路径、服务器IP地址、所有者、备份数、创建时间、修改时间、访问时间、版本、文件大小、文件数据块的个数以及每个数据块的元信息等,数据块的元信息又包括数据块的版本、有效长度以及校验码等。由于需要通过文件的元信息读取分布式文件系统中的文件,同时文件的元信息构成比较复杂,这样使得分布式文件系统的每个元数据服务器均有较大文件传输和路径计算的成本,同时不利于进行各文件读写操作的统计。
为了减少读写文件时的数据传输量以及各文件读写的统计。现有的分布式文件系统还设置有一个主元数据服务器,用户通过该主元数据服务器与各个元数据服务器连接,由于主元数据服务器上记载了每个文件的元信息,这样可以大大减小用户和元数据服务器之间的数据通信量,用户只需要从主元数据服务器获取与该文件元信息相应的全局文件标识,即可对相应的元数据服务器上文件进行读写操作。现有的全局文件标识包括文件所在的元数据服务器的IP地址、备份数、版本、文件大小、文件数据块的个数以及每个数据块的元信息,虽然用户可以根据该全局文件标识直接定位到文件所在的元数据服务器,但是该全局文件标识通常有几十字节,传输及存储该全局文件标识的成本依然太大。
故,有必要提供一种分布式文件系统的全局文件标识生成方法、生成装置及相应的分布式文件系统,以解决现有技术所存在的问题。
发明内容
本发明的目的在于提供一种可节约元数据服务器的存储以及传输数据的资源,又可有效的保证每个文件的标识唯一性的全局文件标识生成方法、生成装置及相应的分布式文件系统;解决了现有的分布式文件系统的全局文件标识容量太大导致存储及传输该全局文件标识成本过大的技术问题。
为解决上述问题,本发明提供的技术方案如下:
本发明涉及一种分布式文件系统的全局文件标识生成方法,其中,所述分布式文件系统包括至少一个主元数据服务器以及多个元数据服务器,所述元数据服务器用于存储及读写文件,所述主元数据服务器用于根据所述文件的元信息生成相应的全局文件标识,所述全局文件标识生成方法包括步骤:
接收到文件创建请求时,根据被创建文件所在元数据服务器的编号生成所述全局文件标识的服务器编号字段;以及
根据所述全局文件标识在所述主元数据服务器中的创建编号生成所述全局文件标识的文件顺序字段;
不同的所述全局文件标识在所述主元数据服务器中的创建编号不同。
在本发明所述的分布式文件系统的全局文件标识生成方法中,所述文件顺序字段根据所述全局文件标识的实际创建时间严格递增。
在本发明所述的分布式文件系统的全局文件标识生成方法中,所述根据所述全局文件标识在所述主元数据服务器中的创建编号生成所述全局文件标识的文件顺序字段的步骤包括:
根据所述全局文件标识在所述主元数据服务器中的创建时间生成所述文件顺序字段的创建时间子字段;以及
根据所述创建时间子字段相同的所述全局文件标识的创建编号生成所述文件顺序字段的创建顺序子字段。
在本发明所述的分布式文件系统的全局文件标识生成方法中,如当前时间创建文件的全局文件标识的数量A1小于等于当前时间的创建顺序子字段所能表示全局文件标识的数量A2,则根据所述全局文件标识的创建顺序使用当前时间的创建时间子字段和相应的创建顺序子字段来表示当前时间所创建文件的所述全局文件标识;
如当前时间创建文件的全局文件标识的数量A1大于当前时间的创建顺序子字段所能表示的全局文件标识的数量A2,且相同创建时间子字段的创建顺序子字段所能表示的全局文件标识的最大数量为A3,则根据所述全局文件标识的创建顺序使用当前时间的创建时间子字段和相应的创建顺序子字段、以及下n秒的创建时间子字段和相应的创建顺序子字段来表示当前时间所创建文件的所述全局文件标识;其中n为[(A1-A2)/A3]的向上取整。
在本发明所述的分布式文件系统的全局文件标识生成方法中,所述分布式文件系统的全局文件标识生成方法还包括步骤:
在所述全局文件标识内设置扩展数据字段,所述扩展数据字段用于进行所述全局文件标识的数据扩展;
所述全局文件标识依次包括为所述扩展数据字段、所述服务器编号字段、所述创建时间子字段以及所述创建顺序子字段。
在本发明所述的分布式文件系统的全局文件标识生成方法中,所述扩展数据字段的长度范围为8-16比特,所述服务器编号字段的长度范围为8-16比特,所述创建时间子字段的长度为32-64比特,所述创建顺序子字段的长度为16-32比特。
在本发明所述的分布式文件系统的全局文件标识生成方法中,所述扩展数据字段的长度为8比特,所述服务器编号字段的长度为8比特,所述创建时间子字段的长度为32比特,所述创建顺序子字段的长度为16比特。
本发明还涉及一种分布式文件系统的全局文件标识生成装置,其中所述分布式文件系统包括至少一个主元数据服务器以及多个元数据服务器,所述元数据服务器用于存储及读写文件,所述主元数据服务器用于根据所述文件的元信息生成相应的全局文件标识,所述全局文件标识生成装置包括:
服务器编号字段模块,用于使用服务器编号字段描述与所述全局文件标识相应的文件所在的元数据服务器;以及
文件顺序字段模块,用于使用文件顺序字段描述所述全局文件标识在所述主元数据服务器中的创建编号;
不同的所述全局文件标识在所述主元数据服务器中的创建编号不同。
在本发明所述的分布式文件系统的全局文件标识生成装置中,所述文件顺序字段模块中的所述文件顺序字段根据所述全局文件标识的实际创建时间严格递增。
在本发明所述的分布式文件系统的全局文件标识生成装置中,所述文件顺序字段模块包括:
创建时间子字段单元,用于使用创建时间子字段描述所述全局文件标识在所述主元数据服务器中的创建时间;以及
创建顺序子字段单元,用于使用创建顺序子字段描述所述创建时间子字段相同的所述全局文件标识的创建编号。
在本发明所述的分布式文件系统的全局文件标识生成装置中,所述全局文件标识生成装置还包括:
扩展数据字段模块,用于使用扩展数据字段进行所述全局文件标识的数据扩展。
在本发明所述的分布式文件系统的全局文件标识生成装置中,所述全局文件标识依次包括所述扩展数据字段、所述服务器编号字段、所述创建时间子字段以及所述创建顺序子字段。
在本发明所述的分布式文件系统的全局文件标识生成装置中,所述扩展数据字段的长度范围为8-16比特,所述服务器编号字段的长度范围为8-16比特,所述创建时间子字段的长度为32-64比特,所述创建顺序子字段的长度为16-32比特。
在本发明所述的分布式文件系统的全局文件标识生成装置中,所述扩展数据字段的长度为8比特,所述服务器编号字段的长度为8比特,所述创建时间子字段的长度为32比特,所述创建顺序子字段的长度为16比特。
本发明还涉及一种分布式文件系统,其包括至少一个主元数据服务器以及多个元数据服务器,所述元数据服务器用于存储及读写文件,所述主元数据服务器根据所述文件的元信息,使用上述的全局文件标识生成装置生成相应的全局文件标识。
相较于现有技术,本发明的全局文件标识生成方法、生成装置及相应的分布式文件系统可节约元数据服务器的存储以及传输数据的资源,又可有效的保证每个文件的标识唯一性;解决了现有的分布式文件系统的全局文件标识容量太大导致存储及传输该全局文件标识成本过大的技术问题。
为让本发明的上述内容能更明显易懂,下文特举优选实施例,并配合所附图式,作详细说明如下:
附图说明
图1为本发明的分布式文件系统的全局文件标识生成方法的优选实施例的流程图;
图2为本发明的分布式文件系统的全局文件标识生成装置的优选实施例生成的全局文件标识的示意图;
图3为本发明的分布式文件系统的优选实施例的结构示意图。
具体实施方式
以下各实施例的说明是参考附加的图式,用以例示本发明可用以实施的特定实施例。本发明所提到的方向用语,例如「上」、「下」、「前」、「后」、「左」、「右」、「内」、「外」、「侧面」等,仅是参考附加图式的方向。因此,使用的方向用语是用以说明及理解本发明,而非用以限制本发明。
在图中,结构相似的单元是以相同标号表示。
本发明涉及一种分布式文件系统的全局文件标识生成方法,如图1所示,图1为本发明的分布式文件系统的全局文件标识生成方法的优选实施例的流程图。该分布式文件系统包括至少一个主元数据服务器以及多个元数据服务器,元数据服务器用于存储及读写文件,主元数据服务器用于根据文件的元信息生成相应的全局文件标识,该分布式文件系统的全局文件标识生成方法包括:
步骤101,接收到文件创建请求时,根据被创建文件所在元数据服务器的编号生成全局文件标识的服务器编号字段;
步骤102,根据全局文件标识在主元数据服务器中的创建时间生成文件顺序字段的创建时间子字段;
步骤103,根据创建时间子字段相同的全局文件标识的创建编号生成文件顺序字段的创建顺序子字段;
这里不同的全局文件标识在主元数据服务器中的创建编号不同。
下面将详细的说明本发明实施例的分布式文件系统的全局文件标识生成方法的每个步骤的详细流程。
在步骤101中,接收到文件创建请求时,根据被创建文件所在元数据服务器的编号生成全局文件标识的服务器编号字段,从而该服务器编号字段可描述该被创建文件所在的元数据服务器的编号。
在步骤102中,根据全局文件标识在主元数据服务器中的创建时间生成文件顺序字段的创建时间子字段。根据文件的创建时间生成的创建时间子字段能够较好的区分不同的创建文件,同时还能够通过全局文件标识反映文件的创建时间的属性。这里为了保证每个被创建文件的全局文件标识的唯一性,文件顺序字段的创建时间子字段根据全局文件标识的实际创建时间严格递增。这里的严格递增是指创建时间较后的创建时间子字段一定大于创建时间较前的创建时间子字段(创建时间相邻的创建时间子字段不能相等)。
在步骤103中,根据创建时间子字段相同的全局文件标识的创建编号生成文件顺序字段的创建顺序子字段。在同一秒的时间内,多个元数据服务器可能会创建多个文件,这时为了满足对同一秒创建的文件(即创建时间子字段相同的全局文件标识所表示的文件)进行区分,可根据文件的创建编号生成创建顺序子字段,该创建编号优选根据文件的创建顺序生成,即相同创建时间子字段的创建顺序子字段根据全局文件标识的实际创建时间严格递增,以保证每个文件标识的唯一性。
进一步,本发明实施例的分布式文件系统的全局文件标识生成方法还包括步骤:在全局文件标识内设置扩展数据字段。扩展数据字段、服务器编号字段、创建时间子字段以及创建顺序子字段依次排列构成了全局文件标识。其中扩展数据字段用于进行全局文件标识的数据扩展,该扩展数据字段可以对现有的文件的某个属性进行编号(例如文件的版本等),也可以预留对将来扩展的服务器进行编号,甚至可以预留对将来文件的某个扩展属性进行编号,当然这里也可以不设置扩展数据字段。
进一步,分布式文件系统的全局文件标识生成时,为了保证每个文件的标识的唯一性,文件顺序字段根据全局文件标识的实际创建时间严格递增,即实际创建时间晚的全局文件标识的文件顺序字段一定大于实际创建时间早的全局文件标识的文件顺序字段。
进一步,该全局文件标识中的扩展数据字段的长度范围为8-16比特,服务器编号字段的长度范围为8-16比特,创建时间子字段的长度为32-64比特,创建顺序子字段的长度为16-32比特。
例如全局文件标识中的扩展数据字段的长度优选为8比特(即1字节),服务器编码字段的长度优选为8比特,创建时间子字段的长度优选为32比特,创建顺序子字段的长度优选为16比特。这样服务器编码字段可支持对256个元数据服务器进行编号,创建时间子字段以秒为最小计数单元,可以对232秒(130多年)内的文件进行编号,创建顺序子字段可以对1秒内的216(65536)个文件进行不同的编号。这样全局文件标识的总长度为64比特,在较好的实现唯一性标识的同时,全局文件标识占用的存储空间也较小。当然全局文件标识中各字段的具体长度可以根据用户的具体需要进行调整。
使用本发明实施例的分布式文件系统的全局文件标识生成方法生成全局文件标识时,如当前时间创建文件的全局文件标识的数量A1小于等于当前时间(当前秒)的创建顺序子字段所能表示的全局文件标识的数量A2,则根据全局文件标识的创建顺序使用当前时间的创建时间子字段和相应的创建顺序子字段来表示当前时间所创建文件的全局文件标识。
如当前时间创建文件的全局文件标识的数量A1大于当前时间的创建顺序子字段所能表示的全局文件标识的数量A2,且相同创建时间子字段的创建顺序子字段所能表示的全局文件标识的最大数量为A3,则根据全局文件标识的创建顺序使用当前时间的创建时间子字段和相应的创建顺序子字段、以及下n秒的创建时间子字段和相应的创建顺序子字段来表示当前时间所创建文件的全局文件标识;其中n为[(A1-A2)/A3]的向上取整。
下面通过描述三秒时间内的文件的全局文件标识的生成来具体说明创建时间子字段和相应的创建顺序子字段的生成(由于服务器编号字段根据元数据服务器的预设编号直接生成,这里不再做详细阐述)。
第一秒,如A2=A3=216=65536,A1=70000,这时由于A1大于A2,当前时间(当前秒)的创建时间子字段和相应的创建顺序子字段不能表示当前时间产生的所有的文件的全局文件标识,因此使用下一秒的创建时间子字段和相应的创建顺序子字段来表示A1-A2=4464个文件的全局文件标识。同时该70000个文件的全局文件标识的文件顺序字段根据全局文件标识的实际创建时间严格递增,其中前65536个文件的全局文件标识在同一创建时间子字段下的创建顺序子字段根据全局文件标识的实际创建时间严格递增,后4564个文件的全局文件标识在同一创建时间子字段下的创建顺序子字段根据全局文件标识的实际创建时间严格递增。
第二秒,如A3=65536,A2=65536-4464=61072,A1=70000,这时A1依然大于A2,当前时间的创建时间子字段和相应的创建顺序子字段不能表示当前时间产生的所有的文件的全局文件标识,因此使用下一秒的创建时间子字段和相应的创建顺序子字段来表示A1-A2=8928个文件的全局文件标识。同时该70000个文件的全局文件标识的文件顺序字段根据全局文件标识的实际创建时间严格递增,其中前61072个文件的全局文件标识在同一创建时间子字段下的创建顺序子字段根据全局文件标识的实际创建时间严格递增,后8928个文件的全局文件标识在同一创建时间子字段下的创建顺序子字段根据全局文件标识的实际创建时间严格递增。
第三秒,如A3=65536,A2=65536-8928=56608,A1=50000,这时A1小于A2,可使用当前时间的创建时间子字段和相应的创建顺序子字段来表示当前时间创建的文件的全局文件标识,上述8928个文件和该50000个文件的全局文件标识在同一创建时间子字段下的创建顺序子字段根据全局文件标识的实际创建时间严格递增。
进一步,如主元数据服务器进行主备切换时,备用的主元数据服务器可能会与原主元数据服务器的时间不一致,这时为了保证每个文件的全局文件标识的唯一性,切换后的文件顺序字段依然根据全局文件标识的实际创建时间严格递增。
如备用的主元数据服务器的时间晚于原主元数据服务器的时间,则直接采用备用的主元数据服务器的时间进行创建时间子字段的生成;如备用的主元数据服务器的时间早于原主元数据服务器的时间,则根据上述创建时间子字段和相应的创建顺序子字段的生成的实施例生成创建时间子字段,即采用后续时间的创建时间子字段来表示当前时间创建的文件的全局文件标识,以保证文件顺序字段依然根据全局文件标识的实际创建时间严格递增。
分布式文件系统的全局文件标识使用时,用户通过文件的路径从主元数据服务器上获取该文件的全局文件标识;然后从文件的全局文件标识中的服务器编号字段获取文件所在的元数据服务器的编号(即元数据服务器的IP);用户根据该元数据服务器的编号连接到相应的元数据服务器;最后用户根据全局文件标识中的文件顺序字段对相应的文件进行读写操作。
由于该全局文件标识的结构简单,分布式文件系统使用该全局文件标识,可以有效的减少用户和元数据服务器之间的数据传输量,同时保证每个文件的标识的唯一性。
本发明还涉及一种分布式文件系统的全局文件标识生成装置,请参照图2和图3,图2为本发明的分布式文件系统的全局文件标识生成装置的优选实施例生成的全局文件标识的示意图,图3为本发明的分布式文件系统的优选实施例的结构示意图。该分布式文件系统包括至少一个主元数据服务器11以及多个元数据服务器12,该元数据服务器12用于存储及读写文件,该主元数据服务器11用于根据文件的元信息,使用全局文件标识生成装置13生成相应的全局文件标识。主元数据服务器11和每个元数据服务器12连接,用户同时与主元数据服务器11和每个元数据服务器12连接。
本发明实施例的全局文件标识生成装置13包括服务器编号字段模块131、文件顺序字段模块132以及扩展数据字段模块133。服务器编号字段模块131用于生成服务器编号字段,文件顺序字段模块132用于生成文件顺序字段,扩展数据字段模块133用于生成扩展数据字段。该文件顺序字段模块132包括用于生成创建时间子字段的创建时间子字段单元以及用于生成创建顺序子字段的创建顺序子字段单元。
下面详细说明本优选实施例的全局文件标识生成装置13生成的全局文件标识。该全局文件标识包括服务器编号字段以及文件顺序字段,该服务器编号字段用于描述与全局文件标识相应的文件所在的元数据服务器12(即相应元数据服务器12的编号);该文件顺序字段用于描述全局文件标识在主元数据服务器11中的创建编号,每个全局文件标识在主元数据服务器11中的文件顺序字段均不相同。
如图2所示,全局文件标识还包括扩展数据字段,文件顺序字段包括创建时间子字段以及创建顺序子字段,扩展数据字段、服务器编号字段、创建时间子字段以及创建顺序子字段依次排列构成了全局文件标识。其中扩展数据字段用于进行全局文件标识的数据扩展,该扩展数据字段可以对现有的文件的某个属性进行编号(例如文件的版本等),也可以预留对将来扩展的服务器进行编号,甚至可以预留对将来文件的某个扩展属性进行编号,当然这里也可不设置扩展数据字段。
创建时间子字段用于描述全局文件标识在主元数据服务器11中的创建时间;创建顺序子字段用于描述创建时间子字段相同的全局文件标识的创建编号。由于文件的创建时间能够较好的区分不同的创建文件,同时还能够通过全局文件标识反映文件的创建时间的属性,因此通过创建时间子字段对某个元数据服务器12中的文件进行唯一性标识可以大大的简化全局文件标识的字段长度,从而节约主元数据服务器11存储和传输全局文件标识的资源。创建顺序子字段对同一秒创建的文件(即创建时间子字段相同的全局文件标识所表示的文件)进行进一步的区分,以保证每个文件的全局文件标识的唯一性。当然这里的文件顺序字段也可采用其他的方式来表示,只要能够实现对每个元数据服务器12中的文件进行唯一性标识(即能反映文件在元数据服务器12中的创建编号)的文件顺序字段均属于本发明的保护范围。
进一步,为了保证每个文件的标识的唯一性,文件顺序字段根据全局文件标识的实际创建时间严格递增,即实际创建时间晚的全局文件标识的文件顺序字段一定大于实际创建时间早的全局文件标识的文件顺序字段。
进一步,该全局文件标识中的扩展数据字段的长度范围为8-16比特,服务器编号字段的长度范围为8-16比特,创建时间子字段的长度为32-64比特,创建顺序子字段的长度为16-32比特。
参照图2,例如该全局文件标识中的扩展数据字段的长度优选为8比特(即1字节),服务器编码字段的长度优选为8比特,创建时间子字段的长度优选为32比特,创建顺序子字段的长度优选为16比特。这样服务器编码字段可支持对256个元数据服务器12进行编号,创建时间子字段以秒为最小计数单元,可对232秒(130多年)内的文件进行编号,创建顺序子字段可以对1秒内的216(65536)个文件进行不同的编号。这样全局文件标识的总长度为64比特,在较好的实现唯一性标识的同时,全局文件标识占用的存储空间也较小。当然全局文件标识中各字段的具体长度可以根据用户的具体需要进行调整。
本发明还涉及一种分布式文件系统,该分布式文件系统包括至少一个主元数据服务器以及多个元数据服务器,该元数据服务器用于存储及读写文件,主元数据服务器用于根据文件的元信息,使用上述的全局文件标识生成装置生成相应的全局文件标识,同时该分布式文件系统使用上述的全局文件标识进行元数据服务器上文件的创建和读写,该分布式文件系统使用的全局文件标识生成装置及相应的使用方法请参见上述分布式文件系统的全局文件标识生成方法及生成装置的具体实施例。
本发明的全局文件标识生成方法、生成装置及相应的分布式文件系统可节约主元数据服务器的存储以及传输数据的资源,又可有效的保证每个文件的标识唯一性;解决了现有的分布式文件系统的全局文件标识容量太大导致存储及传输该全局文件标识成本过大的技术问题。
综上所述,虽然本发明已以优选实施例揭露如上,但上述优选实施例并非用以限制本发明,本领域的普通技术人员,在不脱离本发明的精神和范围内,均可作各种更动与润饰,因此本发明的保护范围以权利要求界定的范围为准。

Claims (13)

1.一种分布式文件系统的全局文件标识生成方法,其特征在于,所述分布式文件系统包括至少一个主元数据服务器以及多个元数据服务器,所述元数据服务器用于存储及读写文件,所述主元数据服务器用于根据所述文件的元信息生成相应的全局文件标识,所述全局文件标识生成方法包括步骤:
接收到文件创建请求时,根据被创建文件所在元数据服务器的编号生成所述全局文件标识的服务器编号字段;以及
根据所述全局文件标识在所述主元数据服务器中的创建编号生成所述全局文件标识的文件顺序字段;
不同的所述全局文件标识在所述主元数据服务器中的创建编号不同;
其中所述根据所述全局文件标识在所述主元数据服务器中的创建编号生成所述全局文件标识的文件顺序字段的步骤包括:
根据所述全局文件标识在所述主元数据服务器中的创建时间生成所述文件顺序字段的创建时间子字段;以及
根据所述创建时间子字段相同的所述全局文件标识的创建编号生成所述文件顺序字段的创建顺序子字段。
2.根据权利要求1所述的分布式文件系统的全局文件标识生成方法,其特征在于,所述文件顺序字段根据所述全局文件标识的实际创建时间严格递增。
3.根据权利要求1所述的分布式文件系统的全局文件标识生成方法,其特征在于,
如当前时间创建文件的全局文件标识的数量A1小于等于当前时间的创建顺序子字段所能表示全局文件标识的数量A2,则根据所述全局文件标识的创建顺序使用当前时间的创建时间子字段和相应的创建顺序子字段来表示当前时间所创建文件的所述全局文件标识;
如当前时间创建文件的全局文件标识的数量A1大于当前时间的创建顺序子字段所能表示的全局文件标识的数量A2,且相同创建时间子字段的创建顺序子字段所能表示的全局文件标识的最大数量为A3,则根据所述全局文件标识的创建顺序使用当前时间的创建时间子字段和相应的创建顺序子字段、以及下n秒的创建时间子字段和相应的创建顺序子字段来表示当前时间所创建文件的所述全局文件标识;其中n为[(A1-A2)/A3]的向上取整。
4.根据权利要求1所述的分布式文件系统的全局文件标识生成方法,其特征在于,所述分布式文件系统的全局文件标识生成方法还包括步骤:
在所述全局文件标识内设置扩展数据字段,所述扩展数据字段用于进行所述全局文件标识的数据扩展;
所述全局文件标识依次包括为所述扩展数据字段、所述服务器编号字段、所述创建时间子字段以及所述创建顺序子字段。
5.根据权利要求4所述的分布式文件系统的全局文件标识生成方法,其特征在于,所述扩展数据字段的长度范围为8-16比特,所述服务器编号字段的长度范围为8-16比特,所述创建时间子字段的长度为32-64比特,所述创建顺序子字段的长度为16-32比特。
6.根据权利要求5所述的分布式文件系统的全局文件标识生成方法,其特征在于,所述扩展数据字段的长度为8比特,所述服务器编号字段的长度为8比特,所述创建时间子字段的长度为32比特,所述创建顺序子字段的长度为16比特。
7.一种分布式文件系统的全局文件标识生成装置,其特征在于,所述分布式文件系统包括至少一个主元数据服务器以及多个元数据服务器,所述元数据服务器用于存储及读写文件,所述主元数据服务器用于根据所述文件的元信息生成相应的全局文件标识,所述全局文件标识生成装置包括:
服务器编号字段模块,用于使用服务器编号字段描述与所述全局文件标识相应的文件所在的元数据服务器;以及
文件顺序字段模块,用于使用文件顺序字段描述所述全局文件标识在所述主元数据服务器中的创建编号;
不同的所述全局文件标识在所述主元数据服务器中的创建编号不同;
所述文件顺序字段模块包括:
创建时间子字段单元,用于使用创建时间子字段描述所述全局文件标识在所述主元数据服务器中的创建时间;以及
创建顺序子字段单元,用于使用创建顺序子字段描述所述创建时间子字段相同的所述全局文件标识的创建编号。
8.根据权利要求7所述的分布式文件系统的全局文件标识生成装置,其特征在于,所述文件顺序字段模块中的所述文件顺序字段根据所述全局文件标识的实际创建时间严格递增。
9.根据权利要求7所述的分布式文件系统的全局文件标识生成装置,其特征在于,所述全局文件标识生成装置还包括:
扩展数据字段模块,用于使用扩展数据字段进行所述全局文件标识的数据扩展。
10.根据权利要求9所述的分布式文件系统的全局文件标识生成装置,其特征在于,所述全局文件标识依次包括所述扩展数据字段、所述服务器编号字段、所述创建时间子字段以及所述创建顺序子字段。
11.根据权利要求10所述的分布式文件系统的全局文件标识生成装置,其特征在于,所述扩展数据字段的长度范围为8-16比特,所述服务器编号字段的长度范围为8-16比特,所述创建时间子字段的长度为32-64比特,所述创建顺序子字段的长度为16-32比特。
12.根据权利要求11所述的分布式文件系统的全局文件标识生成装置,其特征在于,所述扩展数据字段的长度为8比特,所述服务器编号字段的长度为8比特,所述创建时间子字段的长度为32比特,所述创建顺序子字段的长度为16比特。
13.一种分布式文件系统,其特征在于,包括至少一个主元数据服务器以及多个元数据服务器,所述元数据服务器用于存储及读写文件,所述主元数据服务器根据所述文件的元信息,使用上述权利要求7至12中任一所述的全局文件标识生成装置生成相应的全局文件标识。
CN201210395226.7A 2012-10-17 2012-10-17 全局文件标识生成方法、生成装置及相应的分布式文件系统 Active CN103778120B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210395226.7A CN103778120B (zh) 2012-10-17 2012-10-17 全局文件标识生成方法、生成装置及相应的分布式文件系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210395226.7A CN103778120B (zh) 2012-10-17 2012-10-17 全局文件标识生成方法、生成装置及相应的分布式文件系统

Publications (2)

Publication Number Publication Date
CN103778120A CN103778120A (zh) 2014-05-07
CN103778120B true CN103778120B (zh) 2018-01-16

Family

ID=50570365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210395226.7A Active CN103778120B (zh) 2012-10-17 2012-10-17 全局文件标识生成方法、生成装置及相应的分布式文件系统

Country Status (1)

Country Link
CN (1) CN103778120B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699779A (zh) * 2015-03-11 2015-06-10 北京京东尚科信息技术有限公司 一种对象编号的生成方法和装置
CN105095478B (zh) * 2015-08-12 2019-03-15 浪潮(北京)电子信息产业有限公司 一种获取分布式文件系统中文件的创建时间的方法及装置
CN105653648A (zh) * 2015-12-28 2016-06-08 北京金山安全软件有限公司 一种文件获取方法、装置及电子设备
CN110019031B (zh) * 2017-08-31 2022-05-13 华为技术有限公司 一种文件创建方法及文件管理装置
CN108647193B (zh) * 2018-04-20 2021-11-19 河南中烟工业有限责任公司 一种可应用于分布式系统的唯一标识符生成方法及装置
CN110545299B (zh) * 2018-05-29 2022-04-05 腾讯科技(深圳)有限公司 内容列表信息的获取方法、提供方法、装置及设备
CN111274205B (zh) * 2020-01-07 2024-03-26 北京小米松果电子有限公司 数据块访问方法及装置、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101997823A (zh) * 2009-08-17 2011-03-30 联想(北京)有限公司 一种分布式文件系统及其数据访问方法
CN102024020A (zh) * 2010-11-04 2011-04-20 曙光信息产业(北京)有限公司 一种分布式文件系统中高效的元数据访存方法
CN102411637A (zh) * 2011-12-30 2012-04-11 创新科软件技术(深圳)有限公司 分布式文件系统的元数据管理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040030731A1 (en) * 2002-04-03 2004-02-12 Liviu Iftode System and method for accessing files in a network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101997823A (zh) * 2009-08-17 2011-03-30 联想(北京)有限公司 一种分布式文件系统及其数据访问方法
CN102024020A (zh) * 2010-11-04 2011-04-20 曙光信息产业(北京)有限公司 一种分布式文件系统中高效的元数据访存方法
CN102411637A (zh) * 2011-12-30 2012-04-11 创新科软件技术(深圳)有限公司 分布式文件系统的元数据管理方法

Also Published As

Publication number Publication date
CN103778120A (zh) 2014-05-07

Similar Documents

Publication Publication Date Title
CN103778120B (zh) 全局文件标识生成方法、生成装置及相应的分布式文件系统
CN105993013B (zh) 一种数据处理方法装置及系统
US9489409B2 (en) Rollover strategies in a N-bit dictionary compressed column store
CN102918509B (zh) 数据读写方法、装置和存储系统
CN105283855B (zh) 一种寻址方法及装置
CN101159619B (zh) Arp表项的快速添加方法、装置及交换设备
CN105242881A (zh) 分布式存储系统及其数据读写方法
CN103034544A (zh) 一种用户态与内核态共享内存的管理方法和装置
CN104407935A (zh) 快照回滚方法和存储设备
CN114138193B (zh) 一种分区命名空间固态硬盘的数据写入方法、装置及设备
CN109213699A (zh) 一种元数据管理方法、系统、设备及计算机可读存储介质
CN110134338A (zh) 一种分布式存储系统及其数据冗余保护方法和相关设备
CN108399050B (zh) 一种数据处理方法及装置
CN105260128A (zh) 一种将数据写入存储设备的方法及存储设备
TW200708950A (en) Memory management method and system
US20180239791A1 (en) Bitmap-based storage space management system and methods thereof
US8988951B2 (en) Method and device for writing block data to an embedded DRAM free of address conflicts
CN103793332B (zh) 基于内存的数据存储方法、装置、处理器和电子设备
CN103605478B (zh) 存储地址标示、配置方法和数据存取方法及系统
CN104765754A (zh) 数据存储方法及装置
CN102959548A (zh) 数据存储方法、查找方法及装置
CN102306128B (zh) 磁盘管理方法、装置及网络设备
CN107168890B (zh) 一种内存池的管理方法和装置
CN102426601B (zh) 数据删除方法和装置
CN101650690B (zh) 大容量存储卡的应用方法及移动终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190807

Address after: 518057 Nanshan District science and technology zone, Guangdong, Zhejiang Province, science and technology in the Tencent Building on the 1st floor of the 35 layer

Co-patentee after: Tencent cloud computing (Beijing) limited liability company

Patentee after: Tencent Technology (Shenzhen) Co., Ltd.

Address before: 518000 Guangdong city of Shenzhen province Futian District SEG Science Park 2 Building No. 403 East

Patentee before: Tencent Technology (Shenzhen) Co., Ltd.