CN102576321B - 快照系统中的性能存储系统以用于容量优化存储系统的性能改进 - Google Patents

快照系统中的性能存储系统以用于容量优化存储系统的性能改进 Download PDF

Info

Publication number
CN102576321B
CN102576321B CN201080042904.0A CN201080042904A CN102576321B CN 102576321 B CN102576321 B CN 102576321B CN 201080042904 A CN201080042904 A CN 201080042904A CN 102576321 B CN102576321 B CN 102576321B
Authority
CN
China
Prior art keywords
storage
data
section
performance
storage system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080042904.0A
Other languages
English (en)
Other versions
CN102576321A (zh
Inventor
H·R·帕特森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EMC Inc
Original Assignee
EMC Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMC Inc filed Critical EMC Inc
Publication of CN102576321A publication Critical patent/CN102576321A/zh
Application granted granted Critical
Publication of CN102576321B publication Critical patent/CN102576321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • G06F3/0607Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/12Replacement control
    • G06F12/121Replacement control using replacement algorithms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608Saving storage space on storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • G06F3/0611Improving I/O performance in relation to response time
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • G06F3/0619Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/064Management of blocks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/064Management of blocks
    • G06F3/0641De-duplication techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065Replication mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0673Single storage device
    • G06F3/0679Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • G06F3/0685Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays

Abstract

一种用于存储数据的系统包括用于存储一个或多个数据项目的性能存储系统。所述一个或多个数据项目的数据项目包括数据文件或数据块。该系统还包括用于在性能存储系统中存储所述一个或多个数据项目的存储数据项目的快照的段存储系统。该存储数据项目的快照的取得使得能够调用如在快照时存储的该存储数据项目。至少一个新写的段被存储为对以前存储段的引用。

Description

快照系统中的性能存储系统以用于容量优化存储系统的性能 改进
本申请向2009年9月22日提交的名称为PERFORMANCE IMPROVEMENT OF ACAPACITY OPTIMIZED STORAGE SYSTEM的美国临时专利申请No.61/277271(代理人卷号DDOMP033+)要求优先权,该申请通过引用结合于本文中以用于所有目的。
背景技术
段去除重复(deduplication)存储系统在存储容量方面是高效的。在段去除重复存储系统中,数据流或数据块被分割成段。在段以前未存储的情况下存储段。在段以前已被存储的情况下,存储对以前存储的段的引用。还存储有关存储的段如何用于重构数据流或数据块的信息。然而,段去除重复存储系统在一些情况下对于在系统中存储数据和检索存储的数据太慢。存储能够变得太慢,因为必须搜索以前存储的段以了解进入的段是否与以前存储的段相同。检索能够变得太慢,因为必须从以前存储的多个数据段来重构数据。
附图说明
在下面的详细描述和附图中,公开了本发明的不同实施例。
图1A是示出存储系统的一实施例的框图。
图1B是示出存储用户系统的一实施例的框图。
图2是示出段存储系统的一实施例的框图。
图3是示出性能存储系统的一实施例的框图。
图4是示出用于存储系统的过程的一实施例的流程图。
图5是示出用于存储系统的过程的一实施例的流程图。
图6是示出用于从存储系统提供请求的数据的过程的一实施例的流程图。
图7是示出用于取得性能存储单元中数据项目的快照的过程的一实施例的流程图。
具体实施方式
本发明能够以多种方式来实现,包括作为过程、设备、系统、物质组成、计算机可读存储媒体上实施的计算机程序产品和/或处理器,如配置成执行耦合到处理器的存储器上和/或由所述存储器提供的指令的处理器。在此说明书中,这些实现或本发明可采用的任何其它形式可称为技术。通常,在本发明范围内可改变公开的过程的步骤顺序。除非另有说明,否则,诸如处理器和存储器等被描述为配置成执行任务的组件可实现为暂时配置成在给定时间执行该任务的组件或制造为执行该任务的特定组件。在本文中使用时,术语“处理器”指配置成处理诸如计算机程序指令等数据的一个或多个装置、电路和/或处理核。
本发明一个或多个实施例的详细描述在下面与显示本发明原理的附图一起提供。本发明连同此类实施例进行描述,但本发明并不限于任何实施例。本发明的范围只受权利要求的限制,并且本发明包括许多备选、修改和等同。许多特定的细节在下面的描述中陈述以便提供本发明的详细理解。这些细节被提供以用于示例的目的,并且本发明可在一些或所有这些特定细节不存在的情况下根据权利要求来实践。为了清晰的目的,与本发明相关技术领域中已知的技术材料未详细描述以免不必要地混淆本发明。
本文公开了一种用于存储数据的系统。该系统包括用于存储一个或多个数据项目的性能存储系统。所述一个或多个数据项目的数据项目包括数据文件或数据块。该系统还包括用于在性能存储系统中存储所述一个或多个数据项目的存储数据项目的快照的段存储系统。该存储数据项目的快照的取得使得能够调用(recall)如在快照时存储的该存储数据项目。至少一个新写的段被存储为对以前存储段的引用。
在一些实施例中,公开了一种用于存储数据的系统。该系统包括用于存储数据流或数据块的性能存储单元。数据流或数据块包括一个或多个数据项目。该系统还包括用于将所述一个或多个数据项目的存储的数据项目自动存储为段集合的段存储系统。该系统还包括用于在该存储的数据项目已使用段存储系统来存储的情况下存储段集合的性能段存储单元。
在一些实施例中,公开了一种用于存储数据的系统。该系统包括性能存储单元和性能段存储单元。该系统还包括确定器。确定器确定请求的数据是否存储在性能存储单元中。在请求的数据未存储在性能存储单元中的情况下,确定器确定请求的数据是否存储在性能段存储单元中。
在一些实施例中,存储系统通过在性能存储系统中存储数据来提供性能。性能存储系统中存储的数据自动存储在存储容量优化的存储系统(例如,段存储系统、去除重复段存储系统、压缩存储系统等)中。在各种实施例中,在性能存储系统已满、文件完成被使用、时期结束、指示调度的传送或用于自动存储的任何其它适当准则的情况下,发生自动存储。在一些实施例中,在容量优化的存储系统中自动存储一数据项目后,可从性能优化的存储系统删除该数据项目。在一些实施例中,在希望数据项目从存储系统以高性能可用于用户或另一网络附连系统的情况下,将数据项目传送回性能存储系统。在一些实施例中,传送回性能存储系统的数据项目以容量优化方式被存储(例如,作为去除重复段,被压缩等)。
在一些实施例中,在确定一个或多个数据项目不需要用于从存储系统由用户或另一网络附连的系统来高性能访问的情况下,从性能存储系统删除所述一个或多个数据项目。在从性能存储系统删除前,确定所述一个或多个数据项目是否存储在容量优化的存储系统中,并且在它们未存储于其中的情况下,将所述一个或多个数据项目存储到容量优化的存储系统。
在一些实施例中,通过使用性能存储,改进了段去除重复存储的优点;段去除重复存储通过在新接收的段已经存储的情况下,将接收的段只存储为对以前存储的段的引用,从而在存储容量方面是高效的;性能存储能够对已被存储为去除重复段的数据和对已按照原来接收的所存储的数据均实现高效的读和写。
在各种实施例中,存储系统包括客户端/用户系统内运行的性能存储系统和单独系统中运行的段存储系统;面对共同段存储系统的多个性能存储系统;具有用于极快访问的一些快速本地闪存的一群应用服务器,但段存储装置不在网络上并且被复制,或者在任何适当硬件上运行的性能和段系统组件的任何其它适当配置。
虽然下面的实施例通过包括段存储装置的容量优化存储装置进行描述,但也能够使用任何其它容量优化的存储系统-例如,使用压缩,使用块级别去除重复、增量(delta)去除重复或用于存储的任何其它适当的容量优化的存储系统。
图1A是示出存储系统的一实施例的框图。在所示示例中,存储系统100接收存储和/或检索一个或多个数据项目的请求。在各种实施例中,所述一个或多个数据项目是数据流或数据块或任何其它适当数据结构或分组的一部分。存储系统100直接或经网络108从存储用户系统110接收请求。在一些实施例中,存储用户系统110是能够传递请求到存储系统100的多个系统之一。
存储系统100包括系统接口102、性能存储系统104和段存储系统106。系统接口102接收存储数据项目到存储系统100和/或从存储系统100检索数据项目的请求。系统接口102将检索到的数据项目传递到网络108和/或存储用户系统110。系统接口102从网络108和/或存储用户系统110传递要由存储系统100存储的数据项目。
数据项目使用性能存储系统104来存储。性能存储系统104能够高效地响应存储和检索数据的请求。数据项目从性能存储系统104传送到段存储系统106。在一些实施例中,段存储系统106从性能存储系统104接收数据项目,并且数据项目被处理以将数据项目分割成段,并且对段进行去除重复(例如,以确定每个段是否以前已被存储,并且在段以前已被存储的情况下,存储引用而不是按照所接收的来存储段)。在一些实施例中,在段存储系统106中存储后数据项目被传送回性能存储系统104并存储为段集合。在一些实施例中,按照原来所接收的来存储的原数据项目在这些数据项目被传送回性能存储系统104后从性能存储系统104删除。
在一些实施例中,段存储系统106包括压缩段的存储系统(例如,Lempel-Ziv压缩、Lempel-Ziv-Welsh压缩、Lempel-Ziv-Renau压缩等)。
经系统接口102所请求的数据项目从性能存储系统104或段存储系统106来检索。在一些实施例中,在对段存储系统106而不是性能存储系统104中存储的数据项目有许多请求的情况下,可将数据项目传送到性能存储系统104,以便改进存储系统100响应性能。
在各种实施例中,性能存储系统104包括闪存存储装置、光纤信道存储装置、持久性存储器存储装置、块可寻址存储器(例如,类似于硬盘驱动器存储块等可寻址的512K块,不同于字节可寻址存储器或存储装置、固定大小块寻址和/或逻辑可寻址存储器)、文件系统组织的存储器、随机存取存储器或任何其它适当的存储系统或系统组件。在一些实施例中,性能存储系统104包括存储为压缩数据表示(例如,去除重复的段的集合)和未压缩数据表示两者的数据。
在各种实施例中,段存储系统106包括一起提供段存储系统的功能性的系统簇。
在各种实施例中,段存储系统106使用可变长度段来存储数据项目,具有内容可地址段(例如,使用段的指纹),使用复本(replica)段存储系统112被复制(例如,存储如段存储系统106存储的快照和/或段),根据复制协议被复制(例如,根据时间表,在预定量的数据被存储后,或根据任何其它适当的协议),具有与性能存储系统104不同的数据表示(例如,段集合相比原数据,内容寻址相比逻辑或物理寻址,可变块表示相比固定块,压缩相比未压缩数据),或用于段存储系统的任何其它适当的功能性。在各种实施例中,段存储系统106由类似于复本段存储系统112的多个复本段存储系统来复制,这些复本段存储系统各自复制如段存储系统106存储的一部分或所有数据项目和/或快照。
图1B是示出存储用户系统的一实施例的框图。在一些实施例中,图1B的存储系统类似于图1A的存储系统,但在不同系统位置带有功能性的不同分区-例如,系统接口和生能存储系统包括存储用户系统内的子系统,并且通过网络与段存储系统进行通信。在一些实施例中,可以有几个此类性能存储子系统在几个不同存储用户系统中运行,其所有与单个段存储系统进行通信。在所示示例中,存储系统150接收存储和/或检索一个或多个数据项目的请求。在各种实施例中,所述一个或多个数据项目是数据流或数据块或任何其它适当数据结构或分组的一部分。存储系统150直接从存储用户系统160接收请求。在一些实施例中,存储用户系统160是能够传递请求到存储系统150的多个系统之一。存储用户系统160包括与段存储系统150组合的性能存储系统154,其包括高速且高效的数据存储系统。在各种实施例中,性能存储系统154包括高速固态存储器、RAM盘、高速磁存储器或任何其它适当的存储器或存储器的组合。
存储系统150包括系统接口152、性能存储系统154和段存储系统156。系统接口152接收存储数据项目到存储系统150和/或从存储系统100检索数据项目的请求。系统接口152/性能存储系统154将检索到的数据项目传递到网络158和段存储系统156。
数据项目使用性能存储系统154来存储。性能存储系统154能够高效地响应要存储和要检索数据的请求。数据项目从性能存储系统154传送到段存储系统156。在一些实施例中,段存储系统156从性能存储系统154接收数据项目,并且数据项目被处理以将数据项目分割成段,并且对段进行去除重复(例如,以确定每个段是否以前已被存储,并且在段以前已被存储的情况下,存储引用而不是按照所接收的来存储段)。在一些实施例中,在段存储系统156中存储后数据项目被传送回性能存储系统154并存储为段集合。在一些实施例中,按照原来接收的所存储的原数据项目在这些数据被传送回性能存储系统154后从性能存储系统154删除。
在一些实施例中,段存储系统156包括压缩段的存储系统(例如,Lempel-Ziv压缩、Lempel-Ziv-Welsh压缩、Lempel-Ziv-Renau压缩等)。
数据项目从性能存储系统154、或者如果在性能存储系统154中不存在则从段存储系统156被请求和检索。在一些实施例中,在对段存储系统156而不是性能存储系统154中存储的数据项目有许多请求的情况下,可将数据项目传送到性能存储系统154,以便改进响应性能。
在各种实施例中,性能存储系统154包括闪存存储装置、光纤信道存储装置、持久性存储器存储装置、块可寻址存储器(例如,类似于硬盘驱动器存储块等可寻址的512K块,不同于字节可寻址存储器或存储装置、固定大小块寻址和/或逻辑可寻址存储器)、文件系统组织的存储器、随机存取存储器或任何其它适当的存储系统或系统组件。在一些实施例中,性能存储系统154包括存储为压缩数据表示(例如,去除重复段的集合)和未压缩数据表示两者的数据。
在各种实施例中,段存储系统156使用可变长度段来存储数据项目,具有内容可地址段(例如,使用段的指纹),使用复本段存储系统162被复制(例如,存储如段存储系统156存储的快照和/或段),根据复制协议被复制(例如,根据时间表,在预定量的数据被存储后,或根据任何其它适当的协议),具有与性能存储系统154不同的数据表示(例如,段集合相比原数据,内容寻址相比逻辑或物理寻址,可变块表示相比固定块,压缩相比未压缩数据),或用于段存储系统的任何其它适当的功能性。在各种实施例中,段存储系统156由类似于复本段存储系统162的多个复本段存储系统来复制,这些复本段存储系统各自复制如段存储系统156存储的一部分或所有数据项目和/或快照。
图2是示出段存储系统的一实施例的框图。在一些实施例中,图2的系统用于实现图1的段存储系统106。在所示示例中,段存储系统200包括接口202、分段器204、重复消除器206、文件系统208、索引210及段存储装置212。段存储系统200使用接口202接收数据项目。数据项目由分段器204和文件系统208处理。分段器204将数据项目分割成段。在各种实施例中,通过使用基于内容的技术(例如,在数据项目的各种位置计算一函数,在该函数等于某个值时或在该值是最小值、最大值或者是相对于为该数据项目所计算的其它函数值的其它极值时)、基于非内容的技术(例如,基于数据项目属性-例如,字节长度、标题、创建日期)或任何其它适当的技术来识别段边界,从而将数据项目分割成段。在各种实施例中,段受限于最小和/或最大长度、每数据项目的最小或最大数量的段或任何其它适当的限制。文件系统208处理信息以指示与数据项目相关联的段。在一些实施例中,指纹列表用于指示与数据项目相关联的段。索引210用于定位段存储装置212中存储的段。
重复消除器206识别新接收的段是否已经在段存储装置212中被存储。在段已经在段存储装置212中被存储的情况下,存储对以前存储的段的引用而不是存储新接收的段。
接口202接收检索数据项目的请求。接口202与文件系统208进行通信以检索数据项目。文件系统208确定与请求的数据项目相关联的段,与索引210进行通信以定位段存储装置212中存储的段,读取段存储装置212中存储的适当段,以及重构请求的数据项目。响应请求,经接口202来提供数据项目。
在一些实施例中,文件系统208使用指针树(例如指纹)将文件与数据段相关联。在数据项目更改的情况下,不同的段将与数据项目相关联,并且由于使用树结构易于识别适当的指针,因此,到树中节点的指针更改将从与文件名相关联的树(或目录结构)的底部高效地波动(ripple)到顶部。
图3是示出性能存储系统的一实施例的框图。在一些实施例中,图3的性能存储系统用于实现图1的性能存储系统104。在所示示例中,性能存储系统300包括接口302、文件系统304、性能存储单元306、性能段存储单元308及性能存储传送管理器310。接口302接收要存储的数据项目。数据项目使用性能存储单元306进行存储。文件系统304存储有关数据项目的信息以便有利于从性能存储单元306检索数据项目。在一些实施例中,文件系统304不存在,并且远程文件系统或存储有数据的文件系统用于识别性能存储单元306内的文件。性能存储传送管理器310管理数据项目从性能存储单元306到段存储单元的传送。性能存储传送管理器310还管理存储为段集合的数据项目到性能段存储单元308的传送。在一些实施例中,在存储为段集合的数据项目传送到性能段存储单元308后,删除性能存储单元306中存储的相同数据项目。在一些实施例中,性能存储传送管理器310可使用分段器或重复消除器将数据项目从性能存储单元306传送到性能段存储单元308而未先将数据项目传送到段存储系统。
接口302接收检索数据项目的请求。数据项目从性能存储单元306或性能段存储单元308或段存储系统来检索。在一些实施例中,在请求检索数据项目的情况下在检查性能段存储单元308之前,检查性能存储单元306。在一些实施例中,在检查段存储系统之前,检查性能段存储单元308。在一些实施例中,通过使用文件系统304进行检查来执行检查。
在一些实施例中,性能存储传送管理器310通过取得性能存储单元306中存储的数据项目的快照,将数据项目传送到段存储系统。快照使得能够调用如快照时存储的数据项目。在一些实施例中,根据快照协议(例如,指示在性能存储单元已满时、在性能存储单元306只具有一定量的空间仍可用时、在数据项目在预定的时期内未被访问时、在处理带宽可用于将数据项目传送到数据高效存储系统(例如,去除重复数据段存储装置、压缩存储装置)时等某个时间发生快照的协议,或任何其它适当的协议),或者在它接收指示应创建快照的信号时执行快照。
在一些实施例中,段存储装置具有快照的完整副本(copy),因此,它能够以容量优化形式复制完整的快照,以便远程站点具有灾难恢复所需的快照的完整副本。
在一些实施例中,未使用任何快照来捕获性能存储单元306中存储的数据项目(例如,文件或数据项目是临时文件或数据项目,并且在快照期间在性能存储单元306中不存在;文件或数据项目版本在快照后被创建,并随后在下一快照前被改写;文件或数据项目是只在两次快照之间存在的中间更新等)。在一些实施例中,使用性能存储单元306中数据项目或文件的更改的日志来执行快照。在一些实施例中,通过保留指针树的根来创建快照。
在一些实施例中,在数据项目或文件由于快照而已被存储或传送到段存储系统后(例如,立即或在之后的某个时间,这取决于性能系统中保留数据项目的需要),性能系统删除数据项目或文件。
图4是示出用于存储系统的过程的一实施例的流程图。在一些实施例中,图4的过程由图1的存储系统100来实现。在所示示例中,在400中,使用性能存储系统来存储数据流或数据块,其中,数据流或数据块包括一个或多个数据项目。在一些实施例中,性能存储系统按照所接收的来存储数据流或数据块(例如,无压缩),并且能够提供数据流或数据块的快速存储和调用。在各种实施例中,性能存储系统包括闪存、光纤信道驱动器、基于半导体的存储器、持久性存储器或任何其它适当的性能存储装置。在402中,使用段存储系统来取得存储的数据项目的快照,其中,快照使得能够调用如在快照时存储的数据项目。在各种实施例中,根据包括在时间上定期取得快照(例如,每小时,每12小时,每天,每周,每月等)、在性能存储器已存储另外预定数量的块、字节或文件时取得快照、在装置的使用率低时取得快照、取得最近未访问的块、字节或文件的快照的快照协议或任何其它适当的协议来进行快照。
图5是示出用于存储系统的过程的一实施例的流程图。在一些实施例中,图5的过程由图1的性能存储系统104实现。在所示示例中,在500中,在性能存储单元中将数据流或数据块存储为数据项目。在502中,确定数据项目是否要在段存储系统中自动存储为段集合。在各种实施例中,要自动存储的数据项目是性能存储单元存储的数据项目之一、一部分或全部,或性能存储单元存储的任何其它适当的数据项目。在504中,在数据项目不要由段存储单元存储的情况下,该过程等待并且控制传递到502。在各种实施例中,根据某个协议自动存储数据项目,其中,该协议指示自动存储数据项目时的调度(例如,时间、日期、周期性等)或条件(例如,百分比存储器满、访问频率、存储单元访问加载、处理器加载等)。在各种实施例中,响应接收的信号而存储数据项目。在506中,在数据项目自动作为段集合存储在段存储系统中的情况下,在性能存储单元中删除存储的数据项目。在一些实施例中,未从性能存储单元删除一些或所有数据项目(例如,在访问活动性高,或用于存储系统的处理器负载高的情况下)。在508中,存储数据项目的段集合被存储在性能段存储单元中。在各种实施例中,性能段存储单元包括闪存、光纤信道存储装置、持久性存储器或任何其它适当的性能存储装置。在一些实施例中,在希望对数据项目的性能访问的情况下,用于数据项目的段集合被存储在性能段存储单元中。
图6是示出用于从存储系统提供请求的数据的过程的一实施例的流程图。在一些实施例中,图6的过程由图1的存储系统100实现。在所示示例中,在600中接收读取数据的请求。在602中,确定请求的数据是否在性能存储单元中。在604中,在请求的数据在性能存储单元中的情况下,从性能存储单元提供请求的数据。在606中,在请求的数据不在性能存储单元中的情况下,确定请求的数据是否在性能段存储单元中。在608中,在请求的数据在性能段存储单元中的情况下,从性能段存储单元提供请求的数据。在610中,在请求的数据不在性能段存储单元中的情况下,确定请求的数据是否在段存储系统中。在612中,在请求的数据在段存储系统中的情况下,从段存储系统提供请求的数据。在614中,在适当时数据被提升到性能段存储单元(例如,如果确定希望性能访问-例如,多个请求可能针对该数据),并且该过程结束。在616中,在请求的数据不在段存储系统中的情况下,指示请求的数据未由存储系统存储,并且该过程结束。
图7是示出用于取得性能存储单元中数据项目的快照的过程的一实施例的流程图。在一些实施例中,图7的过程由图3的性能存储传送管理器310实现。在所示示例中,在700中在性能存储单元中创建新快照。在各种实施例中,基于快照协议(例如,其中协议按照使用率、存储器充满度、访问、新数据项目来设置在快照中包括数据项目的条件或准则,或者任何其它适当的条件或准则),性能存储单元中的快照包括性能存储单元存储的一个数据项目、一部分数据项目或所有数据项目。在702中,确定是否有性能存储单元的以前快照。在704中,在没有性能存储单元的以前快照的情况下,使用段存储系统来存储新快照的副本。在706中,如果有性能存储单元的以前快照,则确定新快照与以前快照之前的增量。在708中,创建以前快照的副本,并且应用该增量到该副本以在段存储系统中创建新快照的副本。副本可以是虚拟副本,包括到相同段的新指针,或者它可以是新物理副本,或者它可以是组合。
在一些实施例中,包括用于快照的所有文件或数据项目的段和相关联的文件或数据项目的指针树能够用于高效地识别快照之间的增量。
虽然为了清楚理解的目的而以一定的细节描述了上述实施例,但本发明并不限于提供的细节。实施本发明有许多备选方式。公开的实施例是说明性而不是限制性的。
所要求权利的是:

Claims (20)

1.一种用于存储数据的系统,包括:
性能存储系统,包括:
用于存储至少一个数据项目的性能存储单元,所述至少一个数据项目包括含有多个段的数据块或数据文件;和
用于存储包含一个或多个数据项目的至少一组去除重复的段的性能段存储单元,其中在希望对一个或多个数据项目的性能访问的情况下,所述包含所述一个或多个数据项目的所述至少一组去除重复的段作为段集合被存储在所述性能段存储单元中,并且其中,在所述至少一组去除重复的段被传送回到所述性能段存储单元后,从所述性能存储单元移除作为原始接收来存储的所述一个或多个数据项目;以及
段存储系统,用于根据协议来自动存储所述性能存储系统中所述一个或多个数据项目的存储的数据项目的快照,其中所述协议指示自动存储所述一个或多个数据项目时的调度或条件,其中所述存储的数据项目的所述快照的取得使得能够调用如在所述快照时存储的所述存储的数据项目,以及其中至少一个新写的段被存储为对以前存储的段的引用,
——其中所述调度指定周期性,
——其中所述条件包括百分比存储器满,
其中,所述性能存储系统用于高效地响应存储和检索数据的请求,同时所述段存储系统用于压缩数据。
2.如权利要求1所述的系统,其中所述性能存储系统包括以下一项或多项:闪存、光纤信道存储装置、持久性存储器、块可寻址存储器、文件系统组织的存储器或随机存取存储器。
3.如权利要求1所述的系统,其中未使用任何快照来捕获所述一个或多个数据项目的第二存储的数据项目。
4.如权利要求1所述的系统,其中在通过在所述段存储系统上取得所述快照而存储所述存储的数据项目后,所述性能存储系统删除所述存储的数据项目。
5.如权利要求1所述的系统,其中所述段存储系统使用可变长度段来存储所述快照。
6.如权利要求1所述的系统,其中所述段存储系统具有内容可寻址段。
7.如权利要求1所述的系统,其中使用复本段存储系统来复制所述段存储系统。
8.如权利要求1所述的系统,其中所述性能存储系统的至少一部分中的数据表示与所述段存储系统中的数据表示不同。
9.如权利要求1所述的系统,其中所述段存储系统包括包含快照的所有数据项目的完整副本,其中所述段存储系统使用所有数据项目的完整副本,以容量优化形式复制所有所述数据项目。
10.一种用于存储数据的方法,包括:
在性能存储系统中存储一个或多个数据项目,其中所述一个或多个数据项目的数据项目包括数据文件或数据块;以及
根据协议来在段存储系统中自动存储所述性能存储系统中的所述一个或多个数据项目的存储的数据项目的快照,其中所述协议指示自动存储所述一个或多个数据项目时的调度或条件,其中所述存储的数据项目的所述快照的取得使得能够调用如所述快照时存储的所述存储的数据项目,以及其中至少一个新写的段被存储为对以前存储的段的引用,
——其中所述调度指定周期性,
——其中所述条件包括百分比存储器满,
其中,所述性能存储系统用于高效地响应存储和检索数据的请求,同时所述段存储系统用于压缩数据。
11.一种用于存储数据的系统,包括:
性能存储单元,用于存入数据流或数据块,其中所述数据流或所述数据块包括一个或多个数据项目;
段存储系统,用于根据协议来自动将所述一个或多个数据项目的存储的数据项目存储为段的集合,其中所述协议指示自动存储所述一个或多个数据项目时的调度或条件;
性能段存储单元,用于在已使用所述段存储系统存储了所述存储的数据项目的情况中存储段的所述集合,
——其中所述调度指定周期性,
——其中所述条件包括百分比存储器满,
其中,所述性能存储系统用于高效地响应存储和检索数据的请求,同时所述段存储系统用于压缩数据。
12.如权利要求11所述的系统,其中在所述段存储系统存储所述存储的数据项目后,所述性能存储单元删除所述存储的数据项目。
13.如权利要求11所述的系统,其中未使用任何快照来捕获所述一个或多个数据项目的第二存储的数据项目。
14.如权利要求11所述的系统,其中一旦通过在所述段存储系统上取得所述存储的数据项目的快照而存储所述存储的数据项目,所述性能存储单元便删除所述存储的数据项目。
15.如权利要求11所述的系统,其中所述段存储系统使用可变长度段来存储所述存储的数据项目的快照。
16.如权利要求11所述的系统,其中使用复本段存储系统来复制所述段存储系统。
17.如权利要求11所述的系统,其中所述性能存储单元中的数据表示与所述段存储系统中的数据表示不同。
18.如权利要求11所述的系统,其中所述性能段存储单元包括使用压缩数据表示所存储的数据。
19.如权利要求11所述的系统,还包括用于确定请求的数据是否存储在所述性能存储单元中、以及在所述请求的数据未存储在所述性能存储单元中的情况下确定所述请求的数据是否存储在所述性能段存储单元中的确定器。
20.一种用于存储数据的方法,包括:
在性能存储单元中存储数据流或数据块,其中所述数据流或所述数据块包括一个或多个数据项目;
使用段存储系统根据协议来将所述一个或多个数据项目的存储的数据项目自动存储为段的集合,其中所述协议指示自动存储所述一个或多个数据项目时的调度或条件;以及
在已使用所述段存储系统存储了所述存储的数据项目的情况下,在性能段存储单元中存储段的所述集合,
——其中所述调度指定周期性,
——其中所述条件包括百分比存储器满,
其中,所述性能存储系统用于高效地响应存储和检索数据的请求,同时所述段存储系统用于压缩数据。
CN201080042904.0A 2009-09-22 2010-09-21 快照系统中的性能存储系统以用于容量优化存储系统的性能改进 Active CN102576321B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US27727109P 2009-09-22 2009-09-22
US61/277271 2009-09-22
PCT/US2010/002593 WO2011037624A1 (en) 2009-09-22 2010-09-21 Snapshotting a performance storage system in a system for performance improvement of a capacity optimized storage system
US12/887402 2010-09-21
US12/887,404 US9141300B2 (en) 2009-09-22 2010-09-21 Performance improvement of a capacity optimized storage system using a performance segment storage system and a segment storage system
US12/887414 2010-09-21
US12/887,414 US8447726B2 (en) 2009-09-22 2010-09-21 Performance improvement of a capacity optimized storage system including a determiner
US12/887,402 US8677052B2 (en) 2009-09-22 2010-09-21 Snapshotting of a performance storage system in a system for performance improvement of a capacity optimized storage system
US12/887404 2010-09-21

Publications (2)

Publication Number Publication Date
CN102576321A CN102576321A (zh) 2012-07-11
CN102576321B true CN102576321B (zh) 2017-06-09

Family

ID=43757494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080042904.0A Active CN102576321B (zh) 2009-09-22 2010-09-21 快照系统中的性能存储系统以用于容量优化存储系统的性能改进

Country Status (4)

Country Link
US (8) US8447726B2 (zh)
EP (1) EP2480971A4 (zh)
CN (1) CN102576321B (zh)
WO (1) WO2011037624A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8291183B2 (en) * 2009-01-15 2012-10-16 Emc Corporation Assisted mainframe data de-duplication
US8452932B2 (en) * 2010-01-06 2013-05-28 Storsimple, Inc. System and method for efficiently creating off-site data volume back-ups
US8862560B1 (en) 2010-06-21 2014-10-14 Emc Corporation Compression system pause and auto-resume
US8886901B1 (en) 2010-12-31 2014-11-11 Emc Corporation Policy based storage tiering
US9280550B1 (en) * 2010-12-31 2016-03-08 Emc Corporation Efficient storage tiering
US9396242B2 (en) * 2011-04-11 2016-07-19 Salesforce.Com, Inc. Multi-master data replication in a distributed multi-tenant system
US11184156B2 (en) * 2011-07-27 2021-11-23 Aon Global Operations Se, Singapore Branch Impact data manager for dynamic data delivery
US9058120B2 (en) * 2011-11-09 2015-06-16 International Business Machines Corporation Setting optimal space allocation policy for creating dependent snapshots to enhance application write performance and reduce resource usage
WO2013097229A1 (zh) * 2011-12-31 2013-07-04 华为技术有限公司 易失性存储设备持久化过程中的数据更新方法及装置
JP5561303B2 (ja) * 2012-03-30 2014-07-30 日本電気株式会社 データ複製システム、データ複製方法、及びそのプログラム
US11036392B2 (en) * 2013-02-26 2021-06-15 Pure Storage, Inc. Determining when to use convergent encryption
WO2015075803A1 (ja) * 2013-11-21 2015-05-28 富士通株式会社 情報処理装置、方法、プログラム及び記録媒体
CN104714755B (zh) * 2013-12-13 2020-01-03 华为技术有限公司 一种快照管理方法及装置
CN104751235A (zh) * 2013-12-27 2015-07-01 伊姆西公司 用于数据挖掘的方法和装置
US10656864B2 (en) 2014-03-20 2020-05-19 Pure Storage, Inc. Data replication within a flash storage array
US10628380B2 (en) * 2014-07-24 2020-04-21 Netapp Inc. Enabling data replication processes between heterogeneous storage systems
US9547560B1 (en) * 2015-06-26 2017-01-17 Amazon Technologies, Inc. Amortized snapshots
US10114704B1 (en) * 2015-10-30 2018-10-30 Intuit Inc. Updating database records while maintaining accessible temporal history
US10296633B1 (en) * 2016-03-23 2019-05-21 Amazon Technologies, Inc. Data storage management system
US11507597B2 (en) 2021-03-31 2022-11-22 Pure Storage, Inc. Data replication to meet a recovery point objective
CN113885809B (zh) * 2021-12-07 2022-03-18 云和恩墨(北京)信息技术有限公司 数据管理系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1504912A (zh) * 2002-12-05 2004-06-16 �Ҵ���˾ 用树状分段改善树搜索性能和存储器带宽的方法和系统

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5721918A (en) 1996-02-06 1998-02-24 Telefonaktiebolaget Lm Ericsson Method and system for fast recovery of a primary store database using selective recovery by data type
JPH10154101A (ja) 1996-11-26 1998-06-09 Toshiba Corp データ記憶システム及び同システムに適用するキャッシュ制御方法
JP2000163288A (ja) 1998-11-30 2000-06-16 Nec Corp データ記憶システム、データ再配置方法及び記録媒体
JP4186293B2 (ja) * 1999-02-10 2008-11-26 株式会社ニコン 電子カメラ
JP3663075B2 (ja) 1999-04-05 2005-06-22 シャープ株式会社 情報処理装置
US6915397B2 (en) * 2001-06-01 2005-07-05 Hewlett-Packard Development Company, L.P. System and method for generating point in time storage copy
US6959310B2 (en) 2002-02-15 2005-10-25 International Business Machines Corporation Generating data set of the first file system by determining a set of changes between data stored in first snapshot of the first file system, and data stored in second snapshot of the first file system
US6898667B2 (en) * 2002-05-23 2005-05-24 Hewlett-Packard Development Company, L.P. Managing data in a multi-level raid storage array
US6934822B2 (en) 2002-08-06 2005-08-23 Emc Corporation Organization of multiple snapshot copies in a data storage system
US6928526B1 (en) 2002-12-20 2005-08-09 Datadomain, Inc. Efficient data storage system
US7065619B1 (en) 2002-12-20 2006-06-20 Data Domain, Inc. Efficient data storage system
DE60221140T2 (de) 2002-12-30 2008-03-20 Stmicroelectronics S.R.L., Agrate Brianza Versorgungsarchitektur für die Einspeisespannung von mehreren Speichermodulen
US20040153481A1 (en) 2003-01-21 2004-08-05 Srikrishna Talluri Method and system for effective utilization of data storage capacity
US20040153614A1 (en) * 2003-02-05 2004-08-05 Haim Bitner Tape storage emulation for open systems environments
US7231409B1 (en) 2003-03-21 2007-06-12 Network Appliance, Inc. System and method for reallocating blocks in checkpointing bitmap-based file systems
US7143251B1 (en) * 2003-06-30 2006-11-28 Data Domain, Inc. Data storage using identifiers
US7353218B2 (en) * 2003-08-14 2008-04-01 International Business Machines Corporation Methods and apparatus for clustering evolving data streams through online and offline components
JP4907059B2 (ja) 2004-01-26 2012-03-28 大日本印刷株式会社 コンピュータシステムおよびそのデータの自動バックアップ方法
ATE509316T1 (de) 2004-02-12 2011-05-15 Irdeto Access Bv Verfahren und system für externe datenspeicherung
US7634615B2 (en) 2004-06-10 2009-12-15 Marvell World Trade Ltd. Adaptive storage system
US7254682B1 (en) 2004-07-28 2007-08-07 Symantec Corporation Selective file and folder snapshot image creation
US20060123211A1 (en) * 2004-12-08 2006-06-08 International Business Machines Corporation Method for optimizing a snapshot operation on a file basis
TW200708983A (en) 2005-08-16 2007-03-01 Benq Corp Mobile electronic device and data processing system utilizing the same
US7937269B2 (en) * 2005-08-22 2011-05-03 International Business Machines Corporation Systems and methods for providing real-time classification of continuous data streams
US7584338B1 (en) 2005-09-27 2009-09-01 Data Domain, Inc. Replication of deduplicated storage system
US7882064B2 (en) * 2006-07-06 2011-02-01 Emc Corporation File system replication
US7504969B2 (en) 2006-07-11 2009-03-17 Data Domain, Inc. Locality-based stream segmentation for data deduplication
US8880480B2 (en) * 2007-01-03 2014-11-04 Oracle International Corporation Method and apparatus for data rollback
US7853750B2 (en) * 2007-01-30 2010-12-14 Netapp, Inc. Method and an apparatus to store data patterns
US7769971B2 (en) * 2007-03-29 2010-08-03 Data Center Technologies Replication and restoration of single-instance storage pools
WO2008138008A1 (en) 2007-05-08 2008-11-13 Riverbed Technology, Inc A hybrid segment-oriented file server and wan accelerator
US8095804B1 (en) 2007-05-25 2012-01-10 Emc Corporation Storing deleted data in a file system snapshot
JP5194703B2 (ja) 2007-10-16 2013-05-08 ソニー株式会社 データ処理装置及び共有メモリのアクセス方法
US7567188B1 (en) * 2008-04-10 2009-07-28 International Business Machines Corporation Policy based tiered data deduplication strategy
US20090307329A1 (en) * 2008-06-06 2009-12-10 Chris Olston Adaptive file placement in a distributed file system
US8316064B2 (en) * 2008-08-25 2012-11-20 Emc Corporation Method and apparatus for managing data objects of a data storage system
US8495036B2 (en) 2008-10-24 2013-07-23 Microsoft Corporation Blob manipulation in an integrated structured storage system
US8751462B2 (en) 2008-11-14 2014-06-10 Emc Corporation Delta compression after identity deduplication
US8645334B2 (en) * 2009-02-27 2014-02-04 Andrew LEPPARD Minimize damage caused by corruption of de-duplicated data
US20100257403A1 (en) 2009-04-03 2010-10-07 Microsoft Corporation Restoration of a system from a set of full and partial delta system snapshots across a distributed system
US8095756B1 (en) * 2009-04-28 2012-01-10 Netapp, Inc. System and method for coordinating deduplication operations and backup operations of a storage volume
US8176270B2 (en) * 2009-05-01 2012-05-08 Quantum Corporation Data allocation system
US8051050B2 (en) 2009-07-16 2011-11-01 Lsi Corporation Block-level data de-duplication using thinly provisioned data storage volumes

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1504912A (zh) * 2002-12-05 2004-06-16 �Ҵ���˾ 用树状分段改善树搜索性能和存储器带宽的方法和系统

Also Published As

Publication number Publication date
US8880469B2 (en) 2014-11-04
US8447726B2 (en) 2013-05-21
US20110071980A1 (en) 2011-03-24
US20110072227A1 (en) 2011-03-24
US9141300B2 (en) 2015-09-22
US10013167B2 (en) 2018-07-03
US20150095559A1 (en) 2015-04-02
US20150347049A1 (en) 2015-12-03
WO2011037624A1 (en) 2011-03-31
US9483183B2 (en) 2016-11-01
US9875028B2 (en) 2018-01-23
EP2480971A1 (en) 2012-08-01
US20140201430A1 (en) 2014-07-17
EP2480971A4 (en) 2013-08-07
US9092145B2 (en) 2015-07-28
US8677052B2 (en) 2014-03-18
US20110072226A1 (en) 2011-03-24
US20130304969A1 (en) 2013-11-14
US20160034200A1 (en) 2016-02-04
CN102576321A (zh) 2012-07-11

Similar Documents

Publication Publication Date Title
CN102576321B (zh) 快照系统中的性能存储系统以用于容量优化存储系统的性能改进
JP6033241B2 (ja) データー重複排除のためのバックアップおよび復元方策
CN103635900B (zh) 基于时间的数据分割
US10740300B1 (en) Synchronization of metadata in a distributed storage system
KR20170054299A (ko) 메모리 관리 시의 중복 제거를 위해서 기준 세트로 기준 블록을 취합하는 기법
CN108255408A (zh) 数据存储方法以及系统
GB2383859A (en) Memory controller managing a file allocation table for a memory card
CN103955530A (zh) 一种在线重复数据删除系统的数据重建优化方法
US20190026317A1 (en) Memory use in a distributed index and query system
CN110347643B (zh) 一种磁盘间ntfs卷克隆方法及装置
US10649967B2 (en) Memory object pool use in a distributed index and query system
CN104065906A (zh) 数字录像设备的录像方法及装置
CN116185308B (zh) 一种数据集处理方法、装置、设备、介质及模型训练系统
CN108363727A (zh) 一种基于zfs文件系统的数据存储方法及装置
CN109558270A (zh) 数据备份的方法和装置、数据还原的方法和装置
CN110896408B (zh) 一种数据处理方法及服务器集群
CN109074379A (zh) 针对文件级重影的文件系统支持
CN107977168B (zh) 一种基于云存储的数据分散存储系统
CN102253947B (zh) 可渐进传输的矢量数据聚集化存储与访问的方法
CN114036104A (zh) 基于分布式存储的重删数据的云归档方法、装置及系统
EP3819754A1 (en) Information processing apparatus and recording medium storing information processing program
CN117472296B (zh) 数据处理方法、装置、电子设备以及存储介质
CN111339037B (zh) 一种高效的并行分布式文件系统并行复制方法
CN116069788B (zh) 数据处理方法、数据库系统、计算机设备和存储介质
CN114968669A (zh) 一种实时数据压缩备份方法、装置及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant