CN103713972B - 一种增量备份系统和方法 - Google Patents
一种增量备份系统和方法 Download PDFInfo
- Publication number
- CN103713972B CN103713972B CN201410001140.0A CN201410001140A CN103713972B CN 103713972 B CN103713972 B CN 103713972B CN 201410001140 A CN201410001140 A CN 201410001140A CN 103713972 B CN103713972 B CN 103713972B
- Authority
- CN
- China
- Prior art keywords
- change
- list
- change list
- information
- backup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000008859 change Effects 0.000 claims abstract description 180
- 230000004048 modification Effects 0.000 claims abstract description 39
- 238000012986 modification Methods 0.000 claims abstract description 39
- 238000012544 monitoring process Methods 0.000 claims abstract description 15
- 230000004075 alteration Effects 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 17
- 230000002123 temporal effect Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 4
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种增量备份方法和系统，该方法包括如下步骤：监控备份路径，在监控到文件或者目录的内容变更时，发送变更通知；记录变更文件或目录的变更信息，并根据变更信息生成变化列表；所述变化列表至少包含一个变更条目，该变更条目包括相应的变更信息；对变化列表中的信息进行处理，以使得变化列表中的信息形成统一的形式；根据经过处理后的变化列表进行相应的备份和存储。上述技术方案能够提高备份效率。
Description
技术领域
本发明涉及增量备份技术，具体而言，涉及一种增量备份系统和方法。
背景技术
据IDC统计表明，美国在2000年前10年间发生过数据灾难的公司中，有55%当时倒闭，剩下的45%中，因为数据丢失，又有29%也在2年之内倒闭，生存下来的仅占16%。而拥有有效的备份方法及备份策略的公司则能够将损失降到最低。因此，数据的备份被提上日程。
针对海量的数据备份，如果全部采用全量备份的方式，不仅会浪费大量的空间资源而且备份效率也十分的底下，所以目前经常采用的是全量备份加增量备份的方式，增量备份的效率直接影响到整个备份系统运行效率。
传统文件级增量备份需要针对每个文件进行遍历操作，当数据量达到千万级时，这样的备份效率是十分低下的。
发明内容
有待于此，本发明实施例要解决的技术问题是提供一种增量备份系统方法，以提高增量备份的效率。
为了解决上述问题，本发明实施例采用如下技术方案：
一种增量备份系统，该系统基于变化列表，包括：处理器和存储器，其中，所述处理器包括监控模块、变化列表生成模块、变化列表处理模块和备份模块，其中：
所述监控模块设置成：监控备份路径，在监控到文件或者目录的内容变更时，发送消息通知所述变化列表生成模块记录变更文件或目录的变更信息；
所述变化列表生成及处理模块设置成：记录变更文件或目录的变更信息，并根据变更信息生成变化列表；或者在已经生成的变化列表中增加新的变更条目；其中，所述变化列表至少包含一个变更条目，该变更条目包括相应的变更信息；
所述变化列表信息处理模块设置成：对变化列表中的信息进行处理，以使得变化列表中的信息形成统一的形式；
所述备份模块设置成：根据经过所述变化列表处理模块处理后的变化列表进行相应的备份；
所述存储器设置成：对备份信息和变化列表进行存储。
可选地，所述备份模块还设置成：在备份完成之后通知所述变化列表生成及处理模块将备份时间点之前的相应变化列表信息删除，避免下次备份时造成备份数据重复。
可选地，所述变更信息至少包括变更路径、时间信息和变更类型。
可选地，所述变化列表处理模块设置成按照如下方式对变化列表中的信息进行处理：
将变化列表中的短路径形式的文件名全部转换为长路径形式的文件名；
将变化列表中不符合预定形式的时间信息全部转换成预设的时间形式；和/或
将变化列表中变更类型转换成预设的变更类型形式。
可选地，所述备份模块设置成按照如下方式根据经过所述变化列表处理模块处理后的变化列表进行相应的备份：
根据时间信息从所述变化列表中提取该时间点之前的信息，根据变更类型对变更路径进行相应的备份操作。
一种增量备份方法，该方法基于变化列表，包括如下步骤：
监控备份路径，在监控到文件或者目录的内容变更时，发送变更通知；
记录变更文件或目录的变更信息，并根据变更信息生成变化列表；所述变化列表至少包含一个变更条目，该变更条目包括相应的变更信息；
对变化列表中的信息进行处理，以使得变化列表中的信息形成统一的形式；
根据经过处理后的变化列表进行相应的备份和存储。
可选地，该方法还包括：在备份完成之后将备份时间点之前的相应变化列表信息删除，避免下次备份时造成备份数据重复。
可选地，该方法还包括：生成变化列表后，如果监控到新的文件或者目录的内容变更时，记录变更文件或目录的变更信息，并根据变更信息在生成的变化列表中增加相应的变更条目。
可选地，所述变更信息至少包括变更路径、时间信息和变更类型。
可选地，对变化列表中的信息进行处理的步骤包括：
将变化列表中的短路径形式的文件名全部转换为长路径形式的文件名；
将变化列表中不符合预定形式的时间信息全部转换成预设的时间形式；和/或
将变化列表中变更类型转换成预设的变更类型形式。
可选地，根据经过处理后的变化列表进行相应的备份的步骤包括：
根据时间信息从变化列表中提取该时间点之前的信息，根据变更类型对变更路径进行相应的备份操作。
上述技术方案采用文件变化列表的增量备份方法，采用实时记录文件变化信息的方式对需要进行增量备份的文件进行记录，在执行增量备份时不需对整个备份目录进行遍历，大大提高了增量备份的执行效率。
附图说明
图1为本发明实施例的基于变化列表的增量备份流程图；
图2为本发明实施例的基于变化列表的增量备份系统结构图。
具体实施方式
下面将结合附图及实施例对本发明的技术方案进行更详细的说明。
需要说明的是，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例的一种基于变化列表的增量备份方法，如图1所示，包括如下步骤：
步骤101、监控备份路径，在监控到文件或者目录的内容变更时，发送变更通知。
步骤102、记录变更文件或目录的变更信息，并根据变更信息生成变化列表。
步骤103、对变化列表中的信息进行处理，以使得变化列表中的信息形成统一的形式。
步骤104、根据经过处理后的变化列表进行相应的备份和存储。
可选地，该方法还包括：在备份完成之后将备份时间点之前的相应变化列表信息删除，避免下次备份时造成备份数据重复。
可选地，该方法还包括：生成变化列表后，如果监控到新的文件或者目录的内容变更时，记录变更文件或目录的变更信息，并根据变更信息在生成的变化列表中增加相应的变更条目。
可选地，变更信息至少包括变更路径、时间信息和变更类型。
可选地，所述变更类型包括新建、修改、重命名等，不包括删除操作信息，因为删除操作代表着此路径不存在，在备份时自然不会进行备份，记录删除操作信息对于备份过程没有意义。
可选地，所述变化列表至少包含一个变更条目，该变更条目包括相应的变更信息。
可选地，对变化列表中的信息进行处理的步骤包括：
将变化列表中的短路径形式的文件名全部转换为长路径形式的文件名；
将变化列表中不符合预定形式的时间信息全部转换成预设的时间形式；和/或
将变化列表中变更类型转换成预设的变更类型形式。
可选地，根据经过处理后的变化列表进行相应的备份的步骤包括：
根据时间信息从变化列表中提取该时间点之前的信息，根据变更类型对变更路径进行相应的备份操作。
实践表明，上述方案用于大数据量文件增量备份时，可以显著提高备份效率，节省备份时间。
本发明实施例的基于变化列表的增量备份系统，如图2所示，包括：处理器21和存储器22，其中，处理器21包括监控模块211、变化列表生成模块212、变化列表处理模块213和备份模块214，其中：
监控模块211设置成：监控备份路径，在监控到文件或者目录的内容变更时，发送消息通知变化列表生成模块212记录变更文件或目录的变更信息。
变化列表生成及处理模块212设置成：记录变更文件或目录的变更信息，并根据变更信息生成变化列表；或者在已经生成的变化列表中增加新的变更条目。
变化列表信息处理模块213设置成：对变化列表中的信息进行处理，以使得变化列表中的信息形成统一的形式。
备份模块214设置成：根据经过变化列表处理模块213处理后的变化列表进行相应的备份，并在备份完成之后通知变化列表生成及处理模块212将备份时间点之前的相应变化列表信息删除，避免下次备份时造成备份数据重复。
所述存储器22设置成：对备份信息和变化列表进行存储。
可选地，变更信息至少包括变更路径、时间信息和变更类型。
可选地，所述变更类型包括新建、修改、重命名等，不包括删除操作信息，因为删除操作代表着此路径不存在，在备份时自然不会进行备份，记录删除操作信息对于备份过程没有意义。
可选地，所述变化列表至少包含一个变更条目，该变更条目包括相应的变更信息。
可选地，变化列表处理模块213设置成按照如下方式对变化列表中的信息进行处理：
将变化列表中的短路径形式的文件名全部转换为长路径形式的文件名；
将变化列表中不符合预定形式的时间信息全部转换成预设的时间形式；和/或
将变化列表中变更类型转换成预设的变更类型形式。
可选地，所述备份模块214设置成按照如下方式根据经过变化列表处理模块213处理后的变化列表进行相应的备份：
根据时间信息从变化列表中提取该时间点之前的信息，根据变更类型对变更路径进行相应的备份操作。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明的权利要求的保护范围。
Claims (6)
1.一种增量备份系统，其特征在于，该系统基于变化列表，包括：处理器和存储器，其中，所述处理器包括监控模块、变化列表生成模块、变化列表处理模块和备份模块，其中：
所述监控模块设置成：监控备份路径，在监控到文件或者目录的内容变更时，发送消息通知所述变化列表生成模块记录变更文件或目录的变更信息，所述变更信息至少包括变更路径、时间信息和变更类型；
所述变化列表生成模块设置成：记录变更文件或目录的变更信息，并根据变更信息生成变化列表；或者在已经生成的变化列表中增加新的变更条目；其中，所述变化列表至少包含一个变更条目，该变更条目包括相应的变更信息；
所述变化列表处理模块设置成：对变化列表中的信息进行处理，以使得变化列表中的信息形成统一的形式；所述变化列表处理模块设置成按照如下方式对变化列表中的信息进行处理：将变化列表中的短路径形式的文件名全部转换为长路径形式的文件名、将变化列表中不符合预定形式的时间信息全部转换成预设的时间形式和将变化列表中变更类型转换成预设的变更类型形式；
所述备份模块设置成：根据经过所述变化列表处理模块处理后的变化列表进行相应的备份；
所述存储器设置成：对备份信息和变化列表进行存储；
还包括：用于生成变化列表后，如果监控到新的文件或者目录的内容变更时，记录变更文件或目录的变更信息，并根据变更信息在生成的变化列表中增加相应的变更条目的模块。
2.如权利要求1所述的系统，其特征在于，所述备份模块还设置成：在备份完成之后通知所述变化列表生成模块将备份时间点之前的相应变化列表信息删除，避免下次备份时造成备份数据重复。
3.如权利要求1所述的系统，其特征在于，所述备份模块设置成按照如下方式根据经过所述变化列表处理模块处理后的变化列表进行相应的备份：
根据时间信息从所述变化列表中提取该时间点之前的信息，根据变更类型对变更路径进行相应的备份操作。
4.一种增量备份方法，其特征在于，该方法基于变化列表，包括如下步骤：
监控备份路径，在监控到文件或者目录的内容变更时，发送变更通知；
记录变更文件或目录的变更信息，并根据变更信息生成变化列表；所述变化列表至少包含一个变更条目，该变更条目包括相应的变更信息，所述变更信息至少包括变更路径、时间信息和变更类型；
对变化列表中的信息进行处理，以使得变化列表中的信息形成统一的形式，具体包括：将变化列表中的短路径形式的文件名全部转换为长路径形式的文件名、将变化列表中不符合预定形式的时间信息全部转换成预设的时间形式和将变化列表中变更类型转换成预设的变更类型形式；
根据经过处理后的变化列表进行相应的备份和存储；
该方法还包括：生成变化列表后，如果监控到新的文件或者目录的内容变更时，记录变更文件或目录的变更信息，并根据变更信息在生成的变化列表中增加相应的变更条目。
5.如权利要求4所述的方法，其特征在于，该方法还包括：在备份完成之后将备份时间点之前的相应变化列表信息删除，避免下次备份时造成备份数据重复。
6.如权利要求4所述的方法，其特征在于，根据经过处理后的变化列表进行相应的备份的步骤包括：
根据时间信息从变化列表中提取该时间点之前的信息，根据变更类型对变更路径进行相应的备份操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410001140.0A CN103713972B (zh) | 2014-01-02 | 2014-01-02 | 一种增量备份系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410001140.0A CN103713972B (zh) | 2014-01-02 | 2014-01-02 | 一种增量备份系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103713972A CN103713972A (zh) | 2014-04-09 |
| CN103713972B true CN103713972B (zh) | 2017-03-08 |
Family
ID=50406973
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410001140.0A Active CN103713972B (zh) | 2014-01-02 | 2014-01-02 | 一种增量备份系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103713972B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103995757A (zh) * | 2014-05-12 | 2014-08-20 | 浪潮电子信息产业股份有限公司 | 一种基于变化文件监控的快速文件备份方法 |
| CN105376277B (zh) * | 2014-08-25 | 2019-02-01 | Tcl集团股份有限公司 | 一种数据同步方法及装置 |
| CN106293993A (zh) * | 2015-05-13 | 2017-01-04 | 北大方正集团有限公司 | 避免重复处理文件的方法及装置 |
| TWI584131B (zh) * | 2015-12-14 | 2017-05-21 | 財團法人工業技術研究院 | 伺服器備份方法及其備份系統 |
| CN106155841A (zh) * | 2016-06-24 | 2016-11-23 | 乐视控股（北京）有限公司 | 数据备份的方法和系统 |
| KR102012482B1 (ko) * | 2017-08-29 | 2019-08-20 | 이호준 | 실시간 파일 변경 감지 기반 자동백업 장치 |
| CN111881095A (zh) * | 2020-07-29 | 2020-11-03 | 天津中新智冠信息技术有限公司 | 一种文件变更的处理方法、装置、存储介质及电子设备 |
| US12106119B2 (en) | 2022-07-27 | 2024-10-01 | Hewlett Packard Enterprise Development Lp | Client update of data modification tracking structure |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6088694A (en) * | 1998-03-31 | 2000-07-11 | International Business Machines Corporation | Continuous availability and efficient backup for externally referenced objects |
| CN101770484A (zh) * | 2008-12-31 | 2010-07-07 | 北大方正集团有限公司 | 一种网站更新实时发布的方法及系统 |
| CN101833489A (zh) * | 2010-05-06 | 2010-09-15 | 北京邮电大学 | 一种文件实时监控和智能备份的方法 |
| CN101968747A (zh) * | 2010-09-17 | 2011-02-09 | 中国科学院计算技术研究所 | 一种机群应用管理系统及其应用管理方法 |
| CN103129125A (zh) * | 2011-11-30 | 2013-06-05 | 北大方正集团有限公司 | 目录监控方法和装置 |
| CN103678041A (zh) * | 2013-12-11 | 2014-03-26 | 浪潮(北京)电子信息产业有限公司 | 一种增量备份方法及系统 |
-
2014
- 2014-01-02 CN CN201410001140.0A patent/CN103713972B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6088694A (en) * | 1998-03-31 | 2000-07-11 | International Business Machines Corporation | Continuous availability and efficient backup for externally referenced objects |
| CN101770484A (zh) * | 2008-12-31 | 2010-07-07 | 北大方正集团有限公司 | 一种网站更新实时发布的方法及系统 |
| CN101833489A (zh) * | 2010-05-06 | 2010-09-15 | 北京邮电大学 | 一种文件实时监控和智能备份的方法 |
| CN101968747A (zh) * | 2010-09-17 | 2011-02-09 | 中国科学院计算技术研究所 | 一种机群应用管理系统及其应用管理方法 |
| CN103129125A (zh) * | 2011-11-30 | 2013-06-05 | 北大方正集团有限公司 | 目录监控方法和装置 |
| CN103678041A (zh) * | 2013-12-11 | 2014-03-26 | 浪潮(北京)电子信息产业有限公司 | 一种增量备份方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103713972A (zh) | 2014-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103713972B (zh) | 一种增量备份系统和方法 | |
| CN106445738B (zh) | 一种数据库备份方法及装置 | |
| US9002801B2 (en) | Systems and/or methods for distributed data archiving amongst a plurality of networked computing devices | |
| CN105049260B (zh) | 日志管理方法和装置 | |
| CN109284251A (zh) | 日志管理方法、装置、计算机设备以及存储介质 | |
| CN102902762B (zh) | 一种删除重复数据的方法、装置和系统 | |
| CN104239443B (zh) | 一种序列化数据操作日志的存储方法 | |
| CN101739311A (zh) | 一种安全备份内存数据的方法及装置 | |
| CN103412826A (zh) | 固态硬盘的垃圾回收方法及系统 | |
| CN110502540A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| US9722797B2 (en) | Computer-based optimization of digital signature generation for records based on eventual selection criteria for products and services | |
| CN105653393B (zh) | 一种基于usn日志方式进行海量文件备份的方法 | |
| US8943364B2 (en) | Appliance for storing, managing and analyzing problem determination artifacts | |
| CN105302488B (zh) | 一种存储系统的数据写入方法及系统 | |
| CN103092849A (zh) | 文件系统簇管理方法 | |
| CN103678041A (zh) | 一种增量备份方法及系统 | |
| CN103207916A (zh) | 元数据处理的方法和装置 | |
| CN109299045A (zh) | 一种日志存储方法、装置、设备及可读存储介质 | |
| JP6157420B2 (ja) | 業務処理システムおよび業務処理方法 | |
| CN105760283B (zh) | 一种日志输出方法和装置 | |
| CN110413587A (zh) | 一种老化历史数据的方法和装置 | |
| CN105589912A (zh) | 一种利用mram处理频写文件的方法及存储结构 | |
| CN108140047B (zh) | 数据处理装置和方法以及数据容器结构 | |
| CN111125047B (zh) | 冷热数据目录识别方法及装置 | |
| CN103034565A (zh) | 一种大规模3d数据编辑期的灾难恢复方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |