CN101646993B - 恢复固态存储器内的存储空间的装置、系统和方法 - Google Patents

恢复固态存储器内的存储空间的装置、系统和方法 Download PDF

Info

Publication number
CN101646993B
CN101646993B CN200780050969.8A CN200780050969A CN101646993B CN 101646993 B CN101646993 B CN 101646993B CN 200780050969 A CN200780050969 A CN 200780050969A CN 101646993 B CN101646993 B CN 101646993B
Authority
CN
China
Prior art keywords
storage
storage part
data
solid
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200780050969.8A
Other languages
English (en)
Other versions
CN101646993A (zh
Inventor
大卫·弗林
伯特·拉格斯特德特
约翰·斯特拉瑟
乔纳森·撒切尔
迈克尔·扎佩
约翰·沃克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SanDisk Technologies LLC
Original Assignee
SanDisk Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SanDisk Technologies LLC filed Critical SanDisk Technologies LLC
Priority claimed from PCT/US2007/086688 external-priority patent/WO2008070800A1/en
Publication of CN101646993A publication Critical patent/CN101646993A/zh
Application granted granted Critical
Publication of CN101646993B publication Critical patent/CN101646993B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00Constructional details common to different types of electric apparatus
    • H05K7/14Mounting supporting structure in casing or on frame or rack
    • H05K7/1485Servers; Data center rooms, e.g. 19-inch computer racks
    • H05K7/1487Blade assemblies, e.g. blade cases or inner arrangements within a blade
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/18Packaging or power distribution
    • G06F1/183Internal mounting support structures, e.g. for printed circuit boards, internal connecting means
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00Constructional details common to different types of electric apparatus
    • H05K7/14Mounting supporting structure in casing or on frame or rack
    • H05K7/1438Back panels or connecting means therefor; Terminals; Coding means to avoid wrong insertion
    • H05K7/1439Back panel mother boards
    • H05K7/1444Complex or three-dimensional-arrangements; Stepped or dual mother boards

Abstract

本发明公开了一种恢复固态存储器(110)内的存储空间的装置、系统和方法。顺序存储模块(802)将数据包顺序地写入存储部。所述存储部包括固态存储器(110)的一部分。所述数据包源于对象。按照处理的顺序顺序地存储所述数据包。存储部选择模块(804)选择恢复的存储部。数据恢复模块(806)从选定为恢复的存储部中读取有效数据包、将所述有效数据包与其他将要被顺序地写入的数据包排队并更新具有所述有效数据的新物理地址的索引。所述索引包括从数据包的物理地址到对象标识符的映射。存储部恢复模块(808)将选定为恢复的存储空间标记为可用,以顺序地写入数据包,以响应从所述存储部完成复制有效数据。

Description

恢复固态存储器内的存储空间的装置、系统和方法
相关申请的交叉引用
本申请要求下述申请的优先权:David Flynn等人于2006年12月6日提交的题为“Elemental Blade System”的美国临时专利申请(申请号为:60/873,111);David Flynn等人于2007年9月22日提交的题为“Apparatus,System,and Methodfor Object-OrientedSolid-State Storage”的美国临时专利申请(申请号为:60/974,470)。上述申请通过引用并入本文中。
发明背景
技术领域
本发明涉及固态存储器,更具体地,涉及恢复固态存储器内的存储空间。
背景技术
由于在特定位置存取的数据可以被修改,然后被放回同一位置,所以数据存储设备通常是随机存取设备。可分割文件或对象,并将其分块地放入数据存储设备中的未存储数据或数据被标记为无效的不同位置。这种方法对于诸如硬盘驱动器(“HDD”)的设备是行之有效的,然而对于固态存储器,随机存取可能效率低下并且可导致过早损坏。
对固态存储器采用随机存取可能效率低下,这是因为通常情况下,写入数据常常比读取数据需要更长的时间。对于闪存(一种类型的固态存储器),通常,将一位从“0”状态(“0”)改变为“1”状态(“1”)比将一位从1改为0需要更长的时间。对于采用电容器作为单元的典型的闪存就是这样的情况,在该单元中,0等同于单元中的放电的电容器,而1等同于单元中的充电的电容器。通常,给电容器充电比给电容器放电需要更长的时间。
对固态存储器采用随机存取可导致固态存储器的过早损坏,这是因为通常情况下,固态存储设备中的每个单元仅能写入一定的次数,然后单元就会开始失效。随机存取通常不在固态存储器中均衡地分配写入数据,所以一些区域或地址比其他区域更加频繁地被使用。一些区域的过度使用可导致固态存储设备的整体或部分过早损坏。
通常,固态存储设备恢复未使用的存储空间的方法与非固态存储器的方法大体一致,即按随机存取处理固态存储设备并将未使用的存储空间标记为可被再次使用。这种方法是有弊端的,这是因为应用到固态存储器的典型的存储空间恢复方法遭遇了上述的效率低下和易于损坏的问题。
发明内容
如上所述,显而易见,存在有效地恢复固态存储设备内的存储空间和数据的装置、系统和方法的需求。有利地是,这种装置、系统和方法可以在固态存储设备的其他内存库执行其他读取和写入操作时,自主地固态存储设备内的内存库中的存储空间。
本发明是针对现有技术的现况开发出来的,具体地,是针对现有技术中通过现有的存储空间恢复方法并未完全解决的问题和需要。因此,本发明已经被开发出来以提供克服现有技术中的上述多数或全部缺陷的为存储器恢复存储空间的装置、系统和方法。
恢复固态存储器中的存储空间的装置具有多个配置成功能性地执行下述必要步骤的模块:顺序地存储数据包、选择恢复的存储部、读取选定的存储部中的有效数据并将所述有效数据复制到下一可用存储位置、和将选定的存储部标记为可以恢复。描述的实施方式中的这些模块包括将数据包顺序地写入存储部的顺序存储模块。所述存储部包括固态存储设备中的固态存储器的一部分。所述数据包源于对象并且按照处理的顺序顺序地存储所述数据包。
所述装置包括选择恢复的存储部的存储部选择模块。所述装置包括数据恢复模块,该数据恢复模块实现如下功能:从选定为恢复的存储部中读取有效数据包、将所述有效数据包与其他将要由所述顺序存储模块顺序地写入的数据包排队并更新具有由所述顺序存储模块写入的有效数据的新物理地址的索引。所述索引包括从存储在所述固态存储器中的数据包的物理地址到对应于所述数据包的对象标识符之间的映射。所述装置包括存储部恢复模块,该存储部恢复模块将所述选定为恢复的存储部标记为对所述顺序存储模块可用,以顺序地写入数据包。所述存储部被标记为恢复以响应所述数据恢复模块完成从所述存储部中复制有效数据。
在一种实施方式中,所述顺序存储模块、所述存储部选择模块、所述数据恢复模块和所述存储部恢复模块位于所述固态存储设备内的固态存储设备控制器中,并且所述固态存储设备控制器创建并保持对象索引,且所述对象索引位于所述固态存储设备内。
在另一种实施方式中,所述存储部包括擦除块,所述装置包括擦除模块,该擦除模块在所述存储部恢复模块将所述擦除块标记为可恢复之前擦除选定为恢复的擦除块。擦除选定为恢复的擦除块以响应所述数据恢复模块从选定的擦除块中复制有效数据包。在相关的实施方式中,所述固态存储器布置在两个或更多个内存库内,并且当所述顺序存储模块将数据包写入第二内存库中的存储部时,所述擦除模块擦除第一内存库中的擦除块。在另一种相关的实施方式中,所述固态存储器布置在两个或更多个内存库内,并且当从第二内存库中的存储部读取数据时,所述擦除模块擦除第一内存库中的擦除块。在另一种实施方式中,所述存储部选择模块、所述数据恢复模块和所述存储部恢复模块自主地运行。
在一种实施方式中,所述装置包括垃圾标记模块,该垃圾标记模块将存储部中的数据包识别为无效,以响应指示所述数据包不再有效的操作。在相关的实施方式中,所述存储部内的所述数据包是第一数据包,指示所述第一数据包不再有效的操作包括当所述第一数据包无效时,将第二数据包写入所述固态存储设备。在另一种相关的实施方式中,指示所述数据包不再有效的操作包括删除操作或读-修改-写操作,其中,所述删除操作预示着所述数据包将被删除,而所述读-修改-写操作包括读取所述数据包、修改所述数据包并将修改过的数据包写入另一位置。由所述顺序存储模块将所述修改过的数据包写入另一位置。在另一种相关的实施方式中,将数据包识别为无效包括修改所述对象索引中的项以指示所述数据包为无效。
在一种实施方式中,所述存储部选择模块通过识别具有低额损耗的存储部来选择恢复的存储部。在另一种实施方式中,识别具有低额损耗的存储部包括识别具有少量无效数据的存储部。在另一种实施方式中,识别具有低额损耗的存储部包括识别擦除擦除时间少的和/或编程时间少的存储部。在另一 种实施方式中,识别具有低额损耗的存储部包括识别程序计数低的存储部,其中,程序包括将数据包写入所述存储部内的指定页。在又一种实施方式中,识别具有低额损耗的存储部包括识别位出错率低的存储部。
在一种实施方式中,所述存储部选择模块通过识别具有高额损耗的存储部来选择恢复的存储部。在另一种实施方式中,识别具有高额损耗的存储部包括识别擦除重复次数多的存储部。在另一种实施方式中,所述存储部恢复模块将所述选定为恢复的存储部标记为可存储数据。在另一种实施方式中,识别具有高额损耗的存储部包括识别位出错率高的存储部。在相关的实施方式中,识别位出错率高的存储部包括识别具有不可恢复的纠错码(“ECC”)块的存储部。在另一种实施方式中,识别位出错率高的存储部包括识别擦除时间长和编程时间长的存储部。
在一种实施方式中,所述存储部选择模块通过识别具有大量无效数据的存储部来选择恢复的存储部。在另一种实施方式中,所述存储部选择模块通过识别使用下述参数中的两个或更多个的组合的存储部来选择恢复的存储部:程序计数、擦除周期计数、位出错率、无效数据的量、擦除重复的次数及不可恢复的ECC块的数量。在又一种实施方式中,所述固态存储器布置在存储元件的阵列中,并且存储部包括虚拟存储部,该虚拟存储部包括一起存取的存储元件行中的每一个存储元件内的存储部。
还担出了本发明的一种系统,以恢复固态存储器内的存储空间。所述系统可由具有固态存储器的固态存储设备来实现。所述固态存储器包括一个或多个存储部,每个存储部包括所述固态存储设备中的所述固态存储器的一部分。具体地,所述固态存储设备包括将数据包顺序地写入存储部的顺序存储模块。所述数据包源于对象并且按照处理的顺序顺序地存储所述数据包。
所述固态存储设备包括存储部选择模块,该存储部选择模块选择恢复的存储部。所述固态存储设备包括数据恢复模块,该数据恢复模块实现如下功能:从选定为恢复的存储部中读取有效数据包、将所述有效数据包与其他将要由所述顺序存储模块顺序地写入的数据包排队并更新具有由所述顺序存储模块写入的有效数据的新物理地址的索引。所述索引包括索引包括从存储在所述固态存储器中的数据包的物理地址到对应于所述数据包的对象标识符之间的映射。所述固态存储设备包括存储部恢复模块,该存储部恢复模块将所述选定为恢复的存储部标记为对所述顺序存储模块可用,以顺序地写入数据包。所述存储部被标记为恢复以响应所述数据恢复模块完成从所述存储部中复制有效数据。
还提出了本发明的一种方法,用于恢复固态存储器中的存储空间。在公开的实施方式中的该方法大体上包括实现上述与所述装置和系统的运行有关的功能的必要步骤。在一种实施方式中,该方法包括将数据包顺序地写入存储部。所述存储部包括固态存储设备中的固态存储器的一部分。所述数据包源于对象,按照处理的顺序顺序地存储所述数据包。所述方法包括选择恢复的存储部。
所述方法包括从选定为恢复的存储部中读取有效数据包、将所述有效数据包与其他为顺序地写入而排队的数据包排队及更新具有由顺序存储模块写入的有效数据的新物理地址的索引。所述索引包括从存储在所述固态存储器中的数据包的物理地址到对应于所述数据包的对象标识符之间的映射。所述方法包括将所述选定为恢复的存储部标记为可用,以顺序地写入数据包,其中,所述存储部被标记为恢复以响应完成从所述存储部中复制有效数据。
在另一种实施方式中,所述存储部为擦除块,所述方法包括在存储部恢复模块将所述擦除块标记为可恢复之前擦除选定为恢复的擦除块,其中,擦除选定为恢复的擦除块以响应数据恢复模块从选定的擦除块中复制有效数据包。在这种实施方式中,所述方法包括将存储部中的数据包识别为无效,以响应指示所述数据包不再有效的操作。
本说明书全文所提到的特征、优点或者类似措辞并不意味着可在本发明包含在本发明的任一单独的实施方式中的情况下实现所有的特征和优点。当然,涉及特征和优点的措辞被理解为意味着:与实施方式一起描述的特定的特征、优点或者特点包括在本发明的至少一种实施方式中。因此,在本说明书全文中,关于特征、优点和类似措辞的讨论可(但未必)涉及同一实施方式。
此外,描述的本发明的特征、优点和特点可采用任何合适的方式与一个或多个实施方式结合。相关领域的技术人员可意识到本发明可在不具备特定实施方式的一个或多个具体特征或优点的情况下被实施。在其他例子中,可意识到附加特征和优点出现在某些实施方式中,而不是在本发明的所有实施 方式中都出现。
通过下面的说明和附加的权利要求,本发明的这些特征和优点将变得更加充分的显而易见,或者可以通过按下文所阐述的实施本发明的方法而获悉。
附图说明
为了使本发明的优点更加容易理解,会参考附图中示出的特定实施方式给出上面简要描述的本发明的更具体的说明。在理解到这些附图仅描述了本发明的一般实施方式并且并不因此认为本发明限于此范围的情况下,将通过使用附图并结合更多的具体特征和细节描述和解释本发明,附图中:
图1A是示意性框图,示出了根据本发明的用于固态存储设备内的数据管理的系统的一种实施方式;
图1B是示意性框图,示出了根据本发明的用于存储设备内的对象管理的系统的一种实施方式;
图2A是示意性框图,示出了根据本发明的用于存储设备内的对象管理的装置的一种实施方式;
图2B是示意性框图,示出了根据本发明的位于固态存储设备内的固态存储设备控制器的一种实施方式;
图3是示出了根据本发明的位于固态存储设备内的固态存储设备控制器的一种实施方式的示意性框图,该固态存储设备控制器具有写入数据管道和读取数据管道;
图4A是示意性框图,示出了根据本发明的位于固态存储控制器内的内存库交错控制器的一种实施方式;
图4B是示意性框图,示出了根据本发明的位于固态存储设备内的内存库交错控制器的一种替代实施方式;
图5是示意性流程图,示出了根据本发明的在固态存储设备内采用数据管道管理数据的方法的一种实施方式;
图6是示意性流程图,示出了根据本发明的在固态存储设备内采用数据管道管理数据的方法的另一种实施方式;
图7是示意性流程图,示出了根据本发明的在固态存储设备中利用内存库交错管理数据的方法的一种实施方式;
图8是示意性框图,示出了根据本发明的利用库交错在固态存储设备中收集垃圾的装置的一种实施方式;
图9是示意性流程图,示出了根据本发明的在固态存储设备中收集垃圾的方法的一种实施方式。
具体实施方式
为了更显著地强调功能性单元运行的独立性,在本说明书中描述的许多功能性单元已被标示为模块。例如,模块可作为硬件电路来实施,所述硬件电路包括自定义VLSI电路、门阵列或成品半导体(例如逻辑芯片、晶体管或其他分立元件)。模块也可在可编程硬件设备(如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备或类似设备)内实施。
模块还可在由不同类型的处理器运行的软件中实施。例如,可执行代码的识别模块可以包括一个或多个计算机指令物理块或逻辑块,该计算机指令被作为对象、程序或函数来组织。然而,识别模块的可执行文件不必在物理上位于一起,但是可包括存储在不同位置的不同命令,当这些命令在逻辑上连接在一起时,所述命令包括所述模块并实现所述模块的指定目标。
当然,可执行代码的模块可以为一个或许多指令,并且甚至可以分布在若干不同的代码段中、分布在不同的程序中并可分布在多个存储设备中。类似地,可以在此在模块内识别并示出运算数据,并且可以以任何合适的形式体现所述运算数据并在任意合适类型的数据结构中组织所述运算数据。所述运算数据可作为单数据集收集,或者可以分布在不同的位置(包括不同的存储设备),并且可在系统或网络中至少部分地仅作为电信号存在。当模块或模块的部分在软件中实施时,软件部分被存储在一个或多个计算机可读媒体上。
本说明书全文所提到的“一种实施方式”、“实施方式”或类似的措辞意味着与实施方式一起描述的特定的特征、结构或特点包括在本发明的至少一种实施方式中。因此,在本说明书全文中,短语“在一种实施方式中”、“在实施方式中”及类似措辞的出现可(但未必)涉及同一实施方式。
提及信号承载媒介可采取任何能够生成信号、导致信号生成或者导致在数字处理设备上执行机器可读命令程序的形式。信号承载媒介可通过下述设 备体现:传输线、光盘、数字视频光盘、磁带、伯努利驱动器、磁盘、穿孔卡、闪存、集成电路或其他数字处理装置存储设备。
此外,描述的本发明的特征、结构或特点可以以任何合适的方式合并在一种或多种实施方式中。在下文的说明中,提供了大量的具体细节以全面理解本发明的实施方式,所述具体细节比如编程、软件模块、用户选择、网络事务、数据库查询、数据库结构、硬件模块、硬件电路、硬件芯片等等的实例。然而,相关技术领域的技术人员可认识到:本发明在可在不具备一个或多个具体实施方式的具体细节的情况下被实施,或者本发明可结合其他方法、组件、材料等实施。在其他例子中,并没有显示或描述公知的结构、材料或操作以使本发明变得清晰。
此处包括的示意性流程图大体上是作为逻辑流程图来列举的。就这点而言,描述的顺序和标记的步骤是本方法的一种实施方式的指示性说明。可设想其他在功能上、逻辑上或效果上与图示方法的一个或多个步骤(或其中部分)相同的步骤和方法。此外,使用的格式和符号被用于解释方法的逻辑步骤并被理解为不限制本方法的范围。尽管在流程图中可使用不同的箭头类型和线条类型,但这些箭头类型和线条类型被理解为不限制相应方法的范围。的确,一些箭头或其他连接器可用于仅表示方法的逻辑流程。例如,箭头可表示描述的方法的列举的步骤之间的未指明间期的等待或监测时期。此外,特定方法的步骤的顺序可或可不严格依照所示的对应步骤的顺序。
固态存储系统
图1A是示意性框图,示出了根据本发明的用于固态存储设备内的数据管理的系统100的一种实施方式。系统100包括固态存储设备102、固态存储控制器104、写入数据管道106、读取数据管道108、固态存储器110、计算机112、客户端114和计算机网络116,这些装置描述如下。
系统100包括至少一个固态存储设备102。在另一种实施方式中,系统100包括两个或更多个固态存储设备102,每个固态存储设备102可包括非易失性的、固态的存储器110,所述非易失性的、固态的存储器例如纳米随机存取存储器(“纳米RAM”或者“NRAM”)、磁电阻式RAM(“MRAM”)、动态RAM(“DRAM”)、相变RAM(“PRAM”)闪存等等。结合图2和图3更详细地描述了固态存储设备102。固态存储设备102被描述成位于通过计算机网络116与客 户端114相连的计算机112内。在一种实施方式中,固态存储设备102位于计算机112内部并且采用系统总线连接,所述系统总线例如快速外围组件互连(“PCI-e”)总线、串行高级技术附件(“串行ATA”)总线或类似总线。在另一种实施方式吧,固态存储设备102位于计算机112外部,并且通过通用串行总线(“USB”)、电气与电子工程师协会(“IEEE”)1394总线(“火线”)或类似总线连接。在其他实施方式中,固态存储设备102采用下述方式与计算机112相连接:外围组件互连(“PCI”)express总线、外部电或光总线扩展或者总线网络解决方案,所述总线网络解决方案例如无限带宽或快速PCI高级交换(“PCIe-AS”)或类似技术。
在不同的实施方式中,固态存储设备102可以是双列直插式内存模块(“DIMM”)、子卡或微型模块的形式。在另一种实施方式中,固态存储设备102是位于机架式刀片内的元件。在另一种实施方式中,固态存储设备102包含在直接集成到高级集成装置(如主板、笔记本电脑、图形处理器)的封装内。在另一种实施方式中,包括固态存储设备102的单独元件直接集成到高级集成装置上而不经过中间封装。
固态存储设备102包括一个或多个固态存储控制器104,每个固态存储控制器104可包括写入数据管道106和读取数据管道108,而且,每个固态存储控制器104还包括固态存储器110,这将在下文中结合图2和图3详细说明。
系统100包括一台或多台连接到固态存储设备102的计算机112。计算机112可以是主机、服务器、存储区域网络(“SAN”)的存储控制器、工作站、个人计算机、笔记本电脑、手持式计算机、超级计算机、计算机集群、网络交换机、路由器或设备、数据库或存储设备、数据采集或数据采集系统、诊断系统、测试系统、机器人、便携式电子设备、无线设备或类似设备。在另一种实施方式中,计算机112可以是客户端,并且固态存储设备102自主运行以应答发送自计算机112的数据请求。在这种实施方式中,计算机112和固态存储设备102可采用下列方式连接:计算机网络、系统总线或其他适于在计算机112和自主固态存储设备102之间连接的通信手段。
在一种实施方式中,系统100包括一个或多个客户端114,所述一个或多个客户端114通过一个或多个计算机网络116连接到一台或多台计算机112。客户端114可以是主机、服务器、SAN的存储控制器、工作站、个人计算机、笔 记本电脑、手持式计算机、超级计算机、计算机集群、网络交换机、路由器或设备、数据库或存储设备、数据采集或数据采集系统、诊断系统、测试系统、机器人、便携式电子设备、无线设备或类似设备。计算机网络116可包括因特网、广域网(“WAN”)、城域网(“MAN”)、局域网(“LAN”)、令牌环网、无线网络、光纤通道网络、SAN、网络附属存储(“NAS”)、ESCON或类似网络、或者是网络的任意组合。计算机网络116还可包括来自IEEE802系列网络技术中的网络,如以太网、令牌环网、WiFi、WiMax及类似网络。
计算机网络116可包括服务器、交换机、路由器、电缆、无线电和其他用于促进计算机112和客户端114的网络连接的设备。在一种实施方式中,系统100包括通过计算机网络116进行对等通信的多台计算机112。在另一种实施方式中,系统100包括通过计算机网络116进行对等通信的多个固态存储设备102。本领域技术人员可认识到其他计算机网络116可包括一个或多个计算机网络116以及相关设备,所述相关设备具有一个或多个客户端114、其他计算机或与一台或多台计算机112相连的一个或多个固态存储设备102之间的单个或冗余连接,所述其他计算机具有一个或多个固态存储设备102。在一种实施方式中,系统100包括两个或更多个通过计算机网络116连接到客户端114的固态存储设备102,而不包括计算机112。
存储控制器管理的对象
图1B是示意性框图,示出了根据本发明的用于存储设备内的对象管理的系统101的一种实施方式。系统101包括一个或多个存储设备150(每一个存储设备150都具有存储控制器152和一个或多个数据存储设备154)和一个或多个请求设备155。存储设备150联网在一起并与一个或多个请求设备155连接。请求设备155将对象请求发给存储设备150a。对象请求可以是创建对象的请求、向对象写入数据的请求、从对象读取数据的请求、删除对象的请求、检查对象的请求、复制对象的请求及类似请求。本领域技术人员会认识到其他对象请求。
在一种实施方式中,存储控制器152和数据存储设备154是分离的设备。在另一种实施方式中,存储控制器152和数据存储设备154集成到一个存储设备150上。在另一种实施方式中,数据存储设备154为固态存储器110,而存储控制器152为固态存储设备控制器202。在其他实施方式中,数据存储设备154 可以为硬盘驱动器、光驱动器、磁带存储器或类似存储设备。在另一种实施方式中,存储设备150可包括两个或更多个不同类型的数据存储设备154。
在一种实施方式中,数据存储设备154为固态存储器110,并且被布置为固态存储元件216、218、220的阵列。在另一种实施方式中,固态存储器110被布置在两个或更多个内存库(bank)214a-n内。下文结合图2B更详细地描述了固态存储器110。
存储设备150a-n可联网在一起并且可作为分布式存储设备运行。与请求设备155连接的存储设备150a控制发送到所述分布式存储设备的对象请求。在一种实施方式中,存储设备150和关联的存储控制器152管理对象并对请求设备155来说表现为分布式对象文件系统。在这种情况下,一类分布式对象文件系统的实例是并行对象文件系统。在另一种实施方式中,存储设备150和关联的存储控制器152管理对象并对请求设备155来说表现为分布式对象文件服务器。在这种情况下,一类分布式对象文件服务器的实例是并行对象文件服务器。在这些和其他实施方式中,请求设备155可只管理对象或者与存储设备150结合而参与管理对象,这通常并不将存储设备150的功能限制在为其他客户端114充分管理对象的范围内。在退化情况下,每个分布式存储设备、分布式对象文件系统和分布式对象文件服务器能作为单个设备独立运行。联网的存储设备150a-n可作为分布式存储设备、分布式对象文件系统、分布式对象文件服务器和它们的任意组合运行,所述组合具有一个或多个为一个或多个请求设备155配置的这些功能。例如,存储设备150可配置为:为第一请求设备155a作为分布式存储设备运行,而请求设备155b作为分布式存储设备和分布式对象文件系统为运行。当系统101包括一个存储设备150a时,存储设备150a的存储控制器152a管理对象并对请求设备155来说表现为对象文件系统或对象文件服务器。
在一种实施方式中,其中,存储设备150作为分布式存储设备联网在一起,存储设备150充当由一个或多个分布式存储控制器152管理的独立驱动器冗余阵列(“RAID”)。例如,写入对象数据段的请求导致所述数据段根据RAID级别在数据存储设备154a-n中被条带化为具有奇偶校验条带的条带。这种布置的一个好处是这种对象管理系统可在单独的存储设备150(无论是存储控制器152、数据存储设备154或存储设备150的其他组件)出现故障时继续使用。
当冗余网络用于互连存储设备150和请求设备155时,所述对象管理系统可在出现网络故障的情况下(只要网络中的一个仍在运行)继续使用。具有一个存储设备150a的系统101还可包括多个数据存储设备154a,而存储设备150a的存储控制器152a可作为RAID控制器运行并在存储设备150a的数据存储设备154a间分割数据段,存储设备150a的存储控制器152a可包括根据RAID级别的奇偶校验条带。
在一种实施方式中,其中,一个或多个存储设备150a-n是具有固态存储设备控制器202和固态存储器110的固态存储设备102,固态存储设备102可配置为DIMM配置、子卡、微型模块等,并保留在计算机112内。计算机112可以是服务器或具有固态存储设备102的类似设备,固态存储设备102联网在一起并作为分布式RAID控制器运行。有利地是,存储设备102可采用PCI-e、PCIe-AS、无限带宽或其他高性能总线、交换总线、网络总线或网络连接,并且可提供极致密型、高性能的RAID存储系统,在该系统中,单独的或分布式固态存储控制器202自主地在固态存储器110a-n间条带化数据段。
在一种实施方式中,请求设备155用于与存储设备150通信的同一网络可被对等存储设备150a使用,以与对等存储设备150b-n通信以实现RAID功能。在另一种实施方式中,可为了RAID的目的而在存储设备150间使用单独的网络。在另一种实施方式中,请求设备155可通过向存储设备150发送冗余请求而参与RAID进程。例如,请求设备155可向第一存储设备150a发送第一对象写入请求,而向第二存储设备150b发送具有相同数据段的第二对象写入请求以实现简单的镜像。
当具有在存储设备102内进行对象处理的能力时,只有存储控制器152具有采用一个RAID级别存储一个数据段或对象的能力,而采用不同的RAID级别或不采用RAID条带化来存储另一数据段或对象。这些多个RAID群组可与存储设备150内的多个分区相关联。可同时在各种RAID群组间支持RAID0、RAID1、RAID5、RAID6和复合RAID类型10、50、60,所述RAID群组包括数据存储设备154a-n。本领域技术人员可认识到还可同时支持的其他RAID类型和配置。
而且,由于存储控制器152像RAID控制器一样自主运行,所述RAID控制器能够执行渐进RAID并能够将在数据存储设备154间条带化的具有一个RAID级别的对象或对象的某些部分转换为另一RAID级别,转换时请求设备 155不受影响、不参与或者甚至不探测RAID级别的变化在优选实施方式中,促进RAID配置从一个级别变为另一级别可在对象或甚至在包基上自主实现,并且可由运行在存储设备150或存储控制器152中的一个上的分布式RAID控制模块初始化。通常,RAID渐进是从高性能和低效率的存储配置(如RAID1)转换为低性能和高存储效率的存储配置(如RAID5),其中,转换是基于读取频率被动态地初始化。但是,可以发现,从RAID5到RAID1的渐进也是可能的。可配置其他用于初始化RAID渐进的进程,或者可由客户端或外部代理(如存储系统管理服务器请求)请求该进程。本领域技术人员可认识到具有存储控制器152的存储设备102的其他特征和优点,该存储控制器152自主管理对象。
用于存储控制器管理的对象的装置
图2A是示意性框图,示出了根据本发明的用于存储设备内的对象管理的装置200的一种实施方式。装置200包括存储控制器152,该存储控制器152具有:对象请求接收器模块260、解析模块262、命令执行模块264、对象索引模块266、对象请求排队模块268、具有消息模块270的封包器302、及对象索引重建模块272,上述模块描述如下。
存储控制器152大体上与图1B中的系统101描述的存储控制器152类似,并且可以是图2描述的固态存储设备控制器202。装置200包括对象请求接收器模块260,该对象请求接收器模块260接收来自一个或多个请求设备155的对象请求。例如,对于存储对象数据请求,存储控制器152在数据存储设备154中以数据包的形式存储数据段,该数据存储设备154与存储控制器152相连接。所述对象请求通常由存储在或将要被存储在一个或多个对象数据包中的数据段指令存储控制器152管理的对象。对象请求可请求存储控制器152创建对象,该对象随后会通过可利用本地或远程直接内存读取(“DMA”、“RDMA”)转换的稍后的对象请求来填充数据。
在一种实施方式中,对象请求为将对象的全部或一部分写入先前创建的对象的写入请求。在一个实例中,所述写入请求用于对象的数据段。可将所述对象的其他数据段写入存储设备150或者写入其他存储设备。在另一个实例中,所述写入请求用于整个对象。在另一个实例中,所述对象请求为从由存储控制器152管理的数据段中读取数据。在又一种实施方式中,所述对象请求 为删除请求,以删除数据段或对象。
有利地是,存储控制器152能接受不仅仅写新对象或为已存在的对象添加数据的写入请求。例如,由对象请求接收器模块260接收的写入请求可包括:在由存储控制器152存储的数据前添加数据的请求、在已存储的数据中插入数据的请求或者替换数据的一段的请求。由存储控制器152保持的对象索引提供了这些复杂写操作所需要的灵活性,所述写操作在其他存储控制器内不可用,但是目前仅在服务器和其他计算机文件系统内的存储控制器外可用。
装置200包括解析模块262,该解析模块262将所述对象请求解析为一条或多条命令。通常,解析模块262将所述对象请求解析为一个或多个缓存。例如,所述对象请求中的一条或多条命令可被解析为命令缓存。通常,解析模块262准备对象请求,以使得所述对象请求中的信息可以被存储控制器152理解并执行。本领域技术人员会认识到将对象请求解析为一条或多条命令的解析模块262的其他功能。
装置200包括命令执行模块264,该命令执行模块264执行从所述对象请求解析出的命令。在一种实施方式中,命令执行模块264执行一条命令。在另一种实施方式中,命令执行模块264执行多条命令。通常,命令执行模块264解释解析自所述对象请求的命令(如写入命令),然后创建、排列并且执行子命令。例如,解析自对象请求的写入命令可指令存储控制器152存储多个数据段。所述对象请求还可包括必要属性(如加密、压缩等)。命令执行模块264可命令存储控制器152压缩所述数据段、加密所述数据段、创建一个或多个数据包并为每个数据包关联包头、使用媒体加密密钥加密所述数据包、添加错误修正码并将所述数据包存储在指定位置。在指定位置存储所述数据包,并且其他子命令还可被分解为其他更低级别的子命令。本领域技术人员会认识到命令执行模块264能执行一条或多条解析自对象请求的命令的其他方法。
装置200包括对象索引模块266,该对象索引模块266在对象索引中创建对象项,以响应创建对象或存储所述对象数据段的存储控制器152。通常,存储控制器152从所述数据段中创建数据包,并且在存储所述数据段时,所述数据包存储的位置即被指定。同数据段一起接收的或作为对象请求的一部分接收的对象元数据可采用类似方法存储。
对象索引模块266在存储所述数据包和分配所述数据包的物理地址时创 建进入对象索引的对象项。所述对象项包括所述对象的逻辑标识符和一个或多个物理地址之间的映射,所述一个或多个物理地址对应于存储控制器152存储一个或多个数据包和任何对象元数据包的位置。在另一种实施方式中,在存储所述对象的数据包之前在所述对象索引中创建项。例如,如果存储控制器152较早地确定存储所述数据包的物理地址,则对象索引模块266可较早地在所述对象索引中创建项。
通常,当对象请求或对象请求组导致对象或数据段被修改时(可能在读修改写操作期间),所述对象索引模块266更新所述对象索引中的项以符合修改的对象。在一种实施方式中,所述对象索引创建新对象并在所述对象索引为所述修改的对象创建新项。通常,当仅有对象的一部分被修改时,所述对象包括修改过的数据包和一些保持不变的数据包。在这种情况下,所述新项包括到未变的数据包(与最初写入它们的位置相同)的映射和到写入新位置的修改后的对象的映射。
在另一种实施方式中,对象请求接收器模块260接收对象请求,该对象请求包括擦除数据块或其他对象元的命令,存储控制器152可至少存储一个包(如擦除包,该擦除包具有对象的引用、与对象的关系和擦除的数据块的大小的信息)。此外,这可进一步表明擦除的对象元素被填充为0。因此,擦除对象请求可用于仿真被擦除的实际的内存或存储器,并且,所述实际的内存或存储器实际上具有合适的内存/存储器的一部分,所述合适的内存/存储器实际上以0存储在所述内存/存储器的单元中。
有利地是,创建具有项(该项表明了数据段和对象元数据之间的映射)的对象索引允许存储控制器152自主的处理和管理对象。这种能力允许在存储设备150中十分灵活地存储数据。一旦创建了对象的索引项,存储控制器152可有效地处理后继关于所述对象的对象请求。
在一种实施方式中,存储控制器152包括对象请求排队模块,该对象请求排队模块268在解析模块262解析之前将一个或多个由对象请求接收器模块260接收到的对象排队。对象请求排队模块268允许在接收对象请求时和在执行所述对象请时之间的灵活性。
在另一种实施方式中,存储控制器152包括封包器302,该封包器302根据一个或多个数据段创建一个或多个数据包,其中,数据包的大小适于存储在 数据存储设备154内。在下文中结合图3更详细地描述封包器302。在一种实施方式中,封包器302包括为每个包创建包头的消息模块270。所述包头包括包标识符和包长度。所述包标识符把所述包与对象(为该对象生成所述包)联系起来。
在一种实施方式中,由于包标识符包含足够的信息以确定对象和在对象内的包含在包内的对象元素之间的关系,因此每个包包括自包含的包标识符。然而,更有效的优选实施方式是在容器中存储包。
容器是一种数据结构,这种数据结构有助于更有效的存储数据包并帮助建立对象和数据包、元数据包和其他与存储在容器内的对象有关的包之间的关系。注意到存储控制器152通常以处理作为对象的一部分接收的对象元数据的类似方式处理数据段。通常,“包”可指包含数据的数据包、包含元数据的元数据包或其他包类型的其他包。对象可存储在一个或多个容器中,并且容器通常包括仅用于一个唯一的对象的包。对象可分布在多个容器之间。容器通常存储在单个逻辑擦除块内(存储部)并且通常不分散在逻辑擦除块间。
在一个实例中,容器可分散在两个或更多个逻辑/虚拟页间。通过将容器与对象关联起来的容器标签确定容器。容器可包含0个到许多个包并且容器内的这些包通常来自一个对象。包可以有许多对象元素类型(包括对象属性元、对象数据元、对象索引元和类似的元素类型)。可以创建包括不止一个对象元类型的混合包。每个包可包含0个到许多个同一类型的元。容器内的每个包通常都包含标识与对象关系的唯一标识符。
每个包与一个容器相关联。在优选实施方式中,容器被限于擦除块,以使得在每个擦除块的起始部分或在擦除块的起始部分附近能发现容器包。这有助于将数据丢失限制在具有损坏的包头的擦除块范围内。在这种实施方式中,如果对象索引不可用并且擦除块内的包头损坏,由于可能没有可靠的机制确定后继包的位置,从损坏的包头到擦除块尾的内容可能会丢失。在另一种实施方式中,更可靠的方法是采用限于页的边界的容器。这种实施方式需要更多包头开销。在另一种实施方式中,容器可流经页面和擦除块边界。这种方法需要较少的包头开销,但是,如果包头损坏,则有可能会丢失更多部分的数据。对这些实施方式来说,使用一些类型的RAID以进一步保证数据完整性是可以预期的。
在一种实施方式中,装置200包括对象索引重建模块272,该对象索引重建模块272采用来自存储在数据存储设备154中的包头的信息重建所述对象索引中的项。在一种实施方式中,对象索引重建模块272通过读取包头(以确定每个包所属的对象)和序列信息(以确定数据或元数据在对象中所属的位置)来重建所述对象索引的项。对象索引重建模块272采用每个包的物理地址信息和时间戳或序列信息以创建包的物理地址和对象标识符和数据段序列间的映射。对象索引重建模块272使用时间戳或序列信息以再现索引变更的顺序并通常因此重建最近的状态。
在另一种实施方式中,对象索引重建模块272采用包头信息以及容器包信息放置包以识别包的物理位置、对象标识符和每个包的序列号,从而在所述对象索引中重建项。在一种实施方式中,在写入数据包时,擦除块被戳记上时间,或者赋给擦除块序列号,并且擦除块的时间戳或序列信息和来自容器头和包头的信息一起使用以重建对象索引。在另一种实施方式中,当擦除块恢复时,时间戳或序列信息被写入该擦除块。
当对象索引存储在易失性存储器中时,如果不能重建所述对象索引,错误、失电、或其他导致存储控制器152未存储所述对象索引而停工的因素可能会成为问题。对象索引重建模块272允许所述对象索引存储在具有易失性存储体优点(如快速存取)的易失性存储体中。对象索引重建模块272允许自主地快速重建所述对象索引,而并不需要依靠位于存储设备150外的设备。
在一种实施方式中,易失性存储体中的所述对象索引周期性地存储在数据存储设备154内。在具体的实例中,所述对象索引或“索引元数据”周期性地存储固态存储器110中。在另一种实施方式中,所述索引元数据存储在固态存储器110n(与固态存储器110a-110n-1存储包分离)中。独立于数据和对象元数据管理所述索引元数据,所述数据和对象元数据传送自请求设备155并且由存储控制器152/固态存储控制器202管理。管理和存储与其他来自对象的数据和元数据分离的索引元数据允许有效的数据流,同时存储控制器152/固态存储设备控制器202并不会不必要地处理对象元数据。
在一种实施方式中,其中,由对象请求接收器模块260接收到的对象请求包括写入请求,存储控制器152通过本地或远程直接存储器存取(“DMA”、“RDMA”)操作接收来自请求设备155的内存的一个或多个对象数据段。在优 选实例中,存储控制器152在一次或多次DMA或RDMA操作中从请求设备155的内存中读取数据。在另一实例中,请求设备155在一次或多次DMA或RDMA操作中将所述数据段写入存储控制器152。在另一种实施方式中,其中,所述对象请求包括读请求,存储控制器152在一次或多次DMA或RDMA操作中将对象的一个或多个数据段传送给请求设备155的内存。在优选实例中,存储控制器152在一次或多次DMA或RDMA操作中将数据写入请求设备155的内存。在另一实例中,请求设备在一次或多次DMA或RDMA操作中从存储控制器152中读取数据。在另一实施方式中,存储控制器152在一次或多次DMA或RDMA操作中从请求设备155的内存中读取对象命令请求集。在另一实例中,请求设备155在一次或多次DMA或RDMA操作中将对象命令请求集写入存储控制器152。
在一种实施方式中,存储控制器152仿真块存储,并且在请求设备155和存储控制器152之间通信的对象包括一个或多个数据块。在一种实施方式中,请求设备155包括驱动器,以使得存储设备150表现为块存储设备。例如请求设备155可与请求设备155期望数据存储的物理地址一起发送特定大小的一组数据。存储控制器152接收所述数据块,并将与所述数据块一起传送的物理块地址或者将物理块地址的转化形式作为对象标识符。然后,存储控制器152通过随意地封包所述数据块和存储数据块将所述数据块存储为对象或对象的数据段。然后,对象索引模块266利用基于物理块的对象标识符和存储控制器152存储所述数据包的实际物理位置在所述对象索引中创建项,所述数据包包括来自所述数据块的数据。
在另一种实施方式中,存储控制器152通过接收块对象仿真块存储。块对象可包括块结构中的一个或多个数据块。在一种实施方式中,存储控制器152像处理任意其他对象一样处理所述块对象。在另一种实施方式中,对象可代表整个块设备、块设备的分区或块设备的一些其他逻辑子元件或物理子元件,所述块设备包括磁道、扇区、通道及类似设备。值得特别注意的是将块设备RAID组重映射到支持不同RAID构建(如渐进RAID)的对象。本领域技术人员会认识到将传统的或未来的块设备映射到对象的其他方法
固态存储设备
图2B是示出了根据本发明的包括固态存储设备102的固态存储设备控制器202的一种实施方式201的示意性框图,该固态存储设备控制器202包括写入数据管道106和读取数据管道108。固态存储设备控制器202可包括若干固态存储控制器0-N,104a-n,每个固态存储控制器都控制固态存储器110。在描述的实施方式中,示出了两个固态控制器:固态控制器0104a和固态控制器N104n,并且它们中的每一个都控制固态存储器110a-n。在描述的实施方式中,固态存储控制器0104a控制数据通道,以使得附属固态存储器110a存储数据。固态存储控制器N 104n控制与存储的数据关联的索引元数据通道,以使得关联的固态存储器110n存储索引元数据。在替代的实施方式中,固态存储设备控制器202包括具有单个固态存储器110a的单个固态控制器104a。在另一种实施方式中,存在大量的固态存储控制器104a-n和关联的固态存储器110a-n。在一种实施方式中,一个或多个固态控制器104a-104n-1(与它们的关联固态存储器110a-110n-1连接)控制数据,而至少一个固态存储控制器104n(与其关联固态存储器110n连接)控制索引元数据。
在一种实施方式中,至少一个固态控制器104是现场可编程门阵列(“FPGA”)并且控制器功能被编入FPGA。在特定的实施方式中,FPGA是 公司的FPGA。在另一种实施方式中,固态存储控制器104包括专门设计为固态存储控制器104的组件(如专用集成电路(“ASIC”)或自定义逻辑解决方案)。每个固态存储控制器104通常包括写入数据管道106和读取数据管道108,结合图3进一步描述了这两个管道。在另一种实施方式中,至少一个固态存储控制器104由FPGA、ASIC和自定义逻辑组件的组合组成。
固态存储器
固态存储器110是非易失性固态存储元件216、218、220的阵列,该阵列布置在内存库214中并且通过双向存储输入输出(I/O)总线210并行访问。在一种实施方式中,存储I/O总线210能够在任何一个时刻进行单向通信。例如,当将数据写入固态存储器110时,不能从固态存储器110中读取数据。在另一种实施方式中,数据可同时双向地流动。然而,双向(如此处针对数据总线使用的)指在同一时间数据仅在一个方向流动的数据通路,但是,当在双向数据总线上流动的数据被阻止时,数据可在所述双向总线上沿相反方向流动。
固态存储元件(如SSS 0.0216a)通常被配置为芯片(一个或多个小片的封装)或电路板上的小片。正如所描述的那样,固态存储元件(如216a)独立于或半独立于其他固态存储元件(如218a)运行,即使这些元件被一起封装在芯片包、芯片包的堆栈或一些其他封包元件内。正如所描述的,一列固态存储元件216、218、220被指定为内存库214。正如所描述的,可以有“n”个内存库214a-n并且每个内存库可以有“m”个固态存储元件216a-m,218a-m,220a-m,从而在固态存储器110中成为固态存储元件216、218、220的n*m阵列。在一种实施方式中,固态存储器110a在每个内存库214(有8个内存库214)中包括20个固态存储元件216、218、220,并且,固态存储器110n在每个内存库214中(只有一个内存库214)包括两个固态存储元件216、218。在一种实施方式中,每个固态存储元件216、218、220由单层单元(“SLC”)设备组成。在另一种实施方式中,每个固态存储元件216、218、220由多层单元(“MLC”)设备组成。
在一种实施方式中,用于多个内存库的固态存储元件被封包在一起,所述多个内存库共享公用存储I/O总线210a行(如216b、218b、220b)。在一种实施方式中,固态存储元件216、218、220的每个芯片可具有一个或多个小片,而一个或多个芯片垂直堆叠且每个小片可被独立存取。在另一种实施方式中,固态存储元件(如SSS 0.0216a)的每个小片可具有一个或多个虚拟小片,每个芯片可具有一个或多个小片,而一个或多个小片中的一些或全部垂直堆叠且每个虚拟小片可被独立存取。
在一种实施方式中,每组有四个堆,每堆有两个小片垂直堆叠,从而形成8个存储元件(如SSS 0.0-SSS 0.8)216a-220a,每个存储元件位于分离的内存库214a-n内。在另一种实施方式中,20个存储元件(如SSS 0.0-SSS 20.0)216形成虚拟内存库214a,因此八个虚拟内存库中的每一个都具有20个存储元件(如SSS0.0-SSS20.8)216、218、220。通过存储I/O总线210将数据发送到固态存储器110,并发送到存储元件(SSS 0.0-SSS 0.8)216a、218a、220a的特定组的所有存储元件。存储控制总线212a用于选择特定的内存库(如内存库-0214a),从而通过连接到所有内存库214的存储I/O总线210接收到的数据仅被写入选定的内存库214a。
在优选实施方式中,存储I/O总线210由一个或多个独立I/O总线(包括210a.a-m,210n.a-m的“IIOBa-m”)组成,其中,每一行内的固态存储元件共享独立I/O总线中的一条,所述独立I/O总线中的一条平行访问每个固态存储元件216、218、220,从而使得同时访问所有的内存库214。例如,存储I/O总线210 的一个通道可同时访问每个内存库214a-n的第一固态存储元件216a、218a、220a。存储I/O总线210的第二通道可同时访问每个内存库214a-n的第二固态存储元件216b、218b、220b。固态存储元件216、218、220的每一行都被同时访问。在一种实施方式中,其中,固态存储元件216、218、220是多层的(物理堆叠的),固态存储元件216、218、220的所有物理层被同时访问。正如此处所使用的,“同时”还包括几乎同时的访问,其中,以略有不同的时间间隔访问设备以避免切换噪声。在这种情况下,同时被用于与连续的或系列的访问相区别,其中,命令和/或数据被单独地并相继地发送。
通常,采用存储控制总线212独立地选择内存库214a-n。在一种实施方式中,采用芯片选通或芯片选择来选择内存库214。当芯片选择和芯片使能均可用时,存储控制总线212可选择多层固态存储元件216、218、220中的一层。在其他实施方式中,存储控制总线212使用其他命令来单独地选择多层固态存储元件216、218、220中的一层。还可通过控制和地址信息的结合来选择固态存储元件216、218、220,所述控制和地址信息在存储I/O总线210和存储控制总线212上传输。
在一种实施方式中,每个固态存储元件216、218、220被分割成擦除块,并且每个擦除块被分割成页。典型的页的容量为2000字节(“2kB”)。在一个实例中,固态存储元件(如SSS 0.0)包括两个寄存器并能编程为两页,从而双寄存器固态存储元件216、218、220具有4kB的容量。20个固态存储元件216、218、220的内存库214就会有80kB的页访问容量,同时同一地址流出存储I/O总线210的通道。
在固态存储元件216、218、220的内存库214中的这一组80kB大小的页可称为虚拟页。类似地,内存库214a的每个存储元件216a-m的擦除块可被分组以形成虚拟块。在优选实施方式中,当在固态存储元件216、218、220中接收到擦除命令时,擦除位于固态存储元件216、218、220内的页擦除块。然而,在固态存储元件216、218、220内的擦除块、页、平面层或其他逻辑和物理部分的大小和数量预计会随着技术的进步而变化,可以预期的是,与新配置一致的许多实施例是可能的并与本文的一般描述相一致。
通常,当将包写入固态存储元件216、218、220内的特定位置时,其中,拟将所述包写入特定页内的位置,所述特定页对应于特定内存库的特定元件 的特定擦除块的页,在发送所述包之后通过存储I/O总线210发送物理地址。所述物理地址包含足够的信息,以使得固态存储元件216、218、220将所述包导入页内的指定位置。由于存储元件行(如SSS 0.0-SSS 0.N 216a、218a、220a)上的存储元件通过存储I/O总线210a.a内的合适总线同时被访问,为了到达合适的页并将所述数据包写入在存储元件行(SSS 0.0-SSS 0.N 216a、218a、220a)中具有相似地址的页,存储控制总线212同时选择内存库214a(包括具有要将所述数据包写入其内的正确页的固态存储元件SSS 0.0216a)。
类似地,在存储I/O总线210上传输的读命令需要同时在存储控制总线212上传输的命令,以选择单个的内存库214a和内存库214内的合适页。在优选实施方式中,读命令读取整个页,并且由于在内存库214内存在许多并行的固态存储元件216、218、220,读命令读取整个虚拟页。然而,所述读命令可分割为子命令,这将在下文中结合内存库交错进行解释。还可以在写操作中访问虚拟页。
可通过存储I/O总线210发出的擦除块擦除命令以擦除擦除块,该擦除块具有特定的擦除块地址以擦除特定的擦除块。通常,可通过存储I/O总线210的并行通路发送擦除块擦除命令以擦除虚拟擦除块,每个虚拟擦除块具有特定的擦除块地址以擦除特定的擦除块。同时,通过存储控制总线212选择特定的内存库(如内存库-0214a)以防止擦除所有的内存库(内存库1-N 214b-n)中的具有类似地址的擦除块。还可采用存储I/O总线210和存储控制总线212的结合将其他命令发送到特定位置。本领域技术人员会认识到采用双向存储I/O总线210和存储控制总线212选择特定存储单元的其他方法。
在一种实施方式中,将包顺序地写入固态存储器110。例如,包流到存储元件216的内存库214a的存储写入缓冲器,并且当所述缓冲器饱和时,所述包被编程入指定的虚拟页。然后所述包再次填充所述存储写入缓冲器,并且当所述存储缓冲器再次饱和时,所述包被写入下一虚拟页。所述下一个虚拟页可位于同一个内存库214a内或可位于另一个内存库(如214b)内。这个过程(一个虚拟页接一个虚拟页)通常一直持续到虚拟块被填满时。在另一种实施方式中,当这个过程(一个虚拟擦除块接一个虚拟擦除块)持续时,数据流可继续越过虚拟擦除块边界。
在读、修改、写操作中,在读操作中定位并读取与所述对象关联的数据 包。已被修改的修改对象的数据段并不写入读取它们的位置。取而代之,修改的数据段再次被转化为数据包并随后被写入正在被写入的虚拟页中的下一个可用位置。各个数据包的所述对象索引项被修改为指向包含已修改的数据段的包。所述对象索引中用于与同一对象(未被修改)关联的数据包的项(或多个项)会包括指向未被修改的数据包的源位置的指针。因此,如果源对象保持不变(例如保持所述对象的先前版本不变),所述源对象将在所述对象索引中具有指向所有与最初写入的一样的数据包的指针。新对象将在所述对象索引中具有指向一些源数据包的指针和指向正在被写入的虚拟页中的修改的数据包的指针。
在复制操作中,所述对象索引包括用于源对象的项,该源对象映射到若干存储在固态存储器110中的包。当复制完拷贝时,创建了新对象并在所述对象索引中创建将所述新对象映射到源包的新项。还将所述新对象写入固态存储器110,且所述新对象的地址映射到所述对象索引中的新项。新对象包可用于确定在源对象中的包,该包被引用以防在未复制的源对象中发生改变并以防对象索引丢失或损坏。
有利地是,顺序地写入包有助于更平滑地使用固态存储器110并允许固态存储设备控制器202监测固态存储器110内的存储热点和不同虚拟页的层使用状况。相继地写入包还可有助于建立强大、高效的垃圾收集系统,这将在下文中详细描述。本领域技术人员会认识到顺序地存储数据包的其他好处。
固态存储设备控制器
在不同的实施方式中,固态存储设备控制器202还可包括数据总线204、局部总线206、缓冲控制器208、缓冲器0-N 222a-n,主控制器224、直接存储器存取(“DMA”)控制器226、存储器控制器228、动态存储器阵列230、静态随机存储器阵列232、管理控制器234、管理总线236、连接系统总线240的网桥238和杂项逻辑块242,这些将在下文中描述。在其他实施方式中,系统总线240与一个或多个网络接口卡(“NIC”)244相连接,这些网络接口卡中的一些可包括远程DMA(“RDMA”)控制器246、一个或多个中央处理器(“CPU”)248、一个或多个外部存储器控制器250和关联的外部存储器阵列252、一个或多个存储控制器254、对等控制器256和专用处理器258,这将在下文描述。连接到系统总线240的组件244-258可位于计算内112内或者可以为其他设备。
通常,固态存储控制器104通过存储I/O总线210与固态存储器110进行数据通信。在典型的实施方式中,固态存储器布置在内存库214内,且每个内存库214包括多个并行访问的存储元件216、218、220,存储I/O总线210是多条总线的阵列,每一条总线用于内存库214内的存储元件216、218、220的每一行。正如此处所使用的,术语“存储I/O总线”可指一条存储I/O总线210或多条独立的数据总线204的阵列。在优选实施方式中,访问存储元件的行(如216、218a、220a)的每条存储I/O总线210可包括在存储元件216、218a、220a的行中访问的存储部(如擦除块)的逻辑-物理映射。如果第一存储部失效、部分失效、不可访问或出现一些其他问题时,这种映射允许映射到存储部的物理地址的逻辑地址重映射到不同的存储部。相对于图4A和图4B中重映射模块430进一步解释了重映射。
还可通过系统总线240、网桥238、局部总线206、缓冲器222并最终通过数据总线204将数据从请求设备155传送到固态存储控制器104。数据总线204通常连接到一个或多个由缓冲控制器208控制的缓冲器222a-n。缓冲控制器208通常控制数据从局部总线206传递到缓冲器222并通过数据总线204传递到管道输入缓冲器306和输出缓冲器330。为了解决时钟域差异、防止数据冲突等等,缓冲控制器208通常控制在缓冲器222中暂时存储来自请求设备155的数据的方式,并控制此后传送给数据总线204(或相反)的方式。缓冲控制器208通常与主控制器224结合使用以协调数据流。当数据到达时,所述数据会到达系统总线240并通过网桥238传递给局部总线206.
通常,数据在主控制器224和缓冲控制器208的控制下从局部总线206传递给一个或多个数据缓冲器222。然后,所述数据通过固态控制器104从缓冲器222流向数据总线204并到达固态存储器110(如NAND闪存或其他存储媒体)。在优选实施方式中,数据与与所述数据一起到达的关联的带外元数据(“对象元数据”)采用一个或多个的数据通道被送达,所述数据通道包括一个或多个固态存储控制器104a-104n-1和关联的固态存储器110a-110n-1,而至少一个通道(固态存储控制器104n、固态存储器110n)用于带内元数据(如索引信息和其他固态存储设备102内部生成的元数据)。
局部总线206通常为双向总线或总线组,所述双向总线或总线组允许数据和命令在固态存储设备控制器202内部的设备间通信,也允许命令和数据在固 态存储设备102内部的设备和与系统总线240连接的设备244-258之间通信。网桥238有助于在局部总线206和系统总线240之间的通信。本领域技术人员会认识到其他实施方式,如总线240、206、204、210和网桥238的环结构或交换式星形配置和功能。
系统总线240通常是计算机、安装有或连接有固态存储设备102的其他设备的总线。在一种实施方式中,系统总线240可以为PCI-e总线、串行高级技术附件(“串行ATA”)总线、并行ATA或类似总线。在另一种实施方式中,系统总线240为外部总线,例如小型计算机系统接口(“SCSI”)、防火墙、光纤通道、USB、PCIe-As或类似总线。固态存储设备102可被封装为适于置于设备内部或被封装为外部连接设备。
固态存储设备控制器202包括在固态存储设备102内控制较高级别功能的主控制器224。在不同的实施方式中,主控制器224通过解释对象请求和其他请求来控制数据流,指导创建索引,该索引将与数据关联的对象标识符映射到关联的数据(或协调的DMA请求等)的物理地址。主控制器224完全地或部分地控制此处描述的许多功能。
在一种实施方式中,主控制器224采用嵌入式控制器。在另一种实施方式中,主控制器224采用局部存储器,如动态存储器阵列230(动态随机存取存储器“DRAM”)、静态存储器阵列232(静态随机存取存储器“SRAM”)等。在一种实施方式中,采用主控制器224控制局部存储器。在另一实施方式中,主控制器224通过存储器控制器228访问局部存储器。在另一种实施方式中,所述主控制器224运行Linux服务器并可支持各种常用服务器接口,如万维网、超文本标记语言(“HTML”)等。在另一种实施方式中,主控制器224采用纳米处理器。可采用可编程或标准逻辑或上述控制器类型的任意组合来构建主控制器224。本领域技术人员会认识到主控制器224的许多实施方式。
在一种实施方式中,其中,存储控制器152/固态存储设备控制器202管理多个数据存储设备/固态存储器110a-n,主控制器224在内部控制器(如固态存储控制器104a-n)之间分配工作负载。例如,主控制器224可分割将要被写入数据存储设备(如固态存储器110a-n)中的对象,使得每个附属的数据存储设备存储所述对象的一部分。这种特征是允许更快地存储和访问对象的性能增强。在一种实施方式中,主控制器224利用FPGA实施。在另一种实施方式中, 位于主控制器224内的固件可通过管理总线236、通过网络连接到NIC244的系统总线240或其他连接到系统总线240的设备更新。
在一种实施方式中,管理对象的主控制器224仿真块存储,从而使得计算机112或其他连接到存储设备/固态存储设备102的设备将存储设备/固态存储设备102视为块存储设备并将数据发送给存储设备/固态存储设备120中的特定物理地址。然后,主控制器224分配块并像存储对象一样存储数据块。然后,主控制器224将块和与块一起发送的物理地址映射到由主控制器224确定的实际位置。映射存储在对象索引中。通常,对于块仿真来说在计算机112、客户端114或其他希望将存储设备/固态存储设备102当成块存储设备来使用的设备中提供有块设备应用程序接口(“API”)。
在另一种实施方式中,主控制器224与NIC控制器244和嵌入式RDMA控制器246协同运行以提供准时的RDMA数据和命令集传输。NIC控制器244可隐藏在非透明端口后以使得能够使用自定义的驱动器。同样地,客户端114上的驱动器可通过采用标准栈API的并与NIC244结合运行的I/O存储驱动器访问计算机网络116。
在一种实施方式中,主控制器224也是独立驱动器冗余阵列(“RAID”)控制器。当数据存储设备/固态存储设备120与一个或多个其他数据存储设备/固态存储设备120联网时,主控制器224可以是用于单层RAID、多层RAID、渐进RAID等的RAID控制器。主控制器224还允许一些对象存储在RAID阵列内而其他对象不通过RAID存储。在另一种实施方式中,主控制器224可以是分布式RAID控制器元件。在另一种实施方式中,主控制器224可包括许多RAID、分布式RAID和另行描述的其他功能。
在一种实施方式中,主控制器224与单个或多个网络管理器(如交换机)协同运行以建立路由、平衡带宽使用率、故障转移等。在另一种实施方式中,主控制器224与集成专用逻辑器件(通过局部总线206)和关联的驱动器软件协同运行。在另一种实施方式中,主控制器224与附属专用处理器258或逻辑器件(通过外部系统总线240)和关联的驱动器软件协同运行。在另一种实施方式中,主控制器224与远程专用逻辑器件(通过计算机网络116)和关联的驱动器软件协同运行。在另一种实施方式中,主控制器224与局部总线206或附属于硬盘驱动器(“HDD”)存储控制器的外部总线协同运行。
在一种实施方式中,主控制器224与一个或多个存储控制器254通信,其中存储设备/固态存储设备120可表现为通过SCSI总线、因特网SCSI(“iSCSI”)、光纤通道等连接的存储设备。同时,存储设备/固态存储设备120可自主地管理对象并可表现为对象文件系统或分布式对象文件系统。还可通过对等控制器256和/或专用处理器258访问主控制器224。
在另一种实施方式中,主控制器224与自主集成管理控制器协同运行以周期性地验证FPGA码和/或控制器软件、在运行(复位)时验证FPGA码和/或在通电(复位)期间验证控制器软件、支持外部复位请求、支持由于检查包而超时的复位请求,并支持电压、电流、功率、温度及其他环境测量和阈值中断设置。在另一种实施方式中,主控制器224管理垃圾收集以释放擦除块用于再次使用。在另一种实施方式中,主控制器224管理耗损均衡。在另一种实施方式中,主控制器224允许数据存储设备/固态存储设备102被分割成多个虚拟设备并允许基于分区的媒体加密。在又一种实施方式中,主控制器224支持具有高级的、多位的ECC修正的固态存储控制器104。本领域技术人员会认识到位于存储控制器152内(或更具体地说位于固态存储设备102内)的主控制器224的其他特征和功能。
在一种实施方式中,固态存储设备控制器202包括存储器控制器228,该存储器控制器228控制动态随机存储器阵列230和/或静态随机存储器阵列232。如上所述,存储器控制器228可独立于主控制器224使用或与主控制器224集成使用。存储器控制器228通常控制验证一些存储器类型,如DRAM(动态随机存储器阵列230)和SRAM(静态随机存储器阵列232)。在其他实例中,存储器控制器228还控制其他存储器类型,如电可擦可编程序只读存储器(“EEPROM”)等。在其他实施方式中,存储器控制器228控制两种或更多种存储器类型且存储器控制器228可包括不止一个控制器。通常,存储器控制器228在可行情况下控制尽可能多的SRAM232,并且通过DRAM230补足SRAM232。
在一种实施方式中,所述对象索引存储在存储器230、232中并周期性的被卸载到固态存储器110n或其他非易失性存储器的通道内。本领域技术人员会认识到存储器控制器228、动态存储器阵列230、静态存储器阵列232的其他运用和配置。
在一种实施方式中,固态存储设备控制器202包括DMA控制器226,该DMA控制器226控制在下列设备之间的DMA操作:存储设备/固态存储设备102、一个或多个外部存储器控制器250、关联的外部存储器阵列252和CPU248。应该注意到,外部存储器控制器250和外部存储器阵列252之所以被称为外部是因为它们位于存储设备/固态存储设备102的外部。此外,DMA控制器226还可通过NIC244和关联的RDMA控制器246控制请求设备的RDMA操作。DMA和RDMA在下文中有详细说明。
在一种实施方式中,固态存储设备控制器202包括连接到管理总线236的管理控制器234。通常管理控制器234管理存储设备/固态存储设备102的环境指标和状态。管理控制器234可通过管理总线236监测设备温度、风扇转速、电力供应设置等。管理控制器234可支持电可擦可编程序只读存储器(“EEPROM”)以存储FPGA码和控制器软件。通常,管理总线236连接到存储设备/固态存储设备102内的不同组件。管理控制器234可通过局部总线206进行警报、中断等的通信或可包括单独的到系统总线240或其他总线的连接。在一种实施方式中,管理总线236为内部集成电路(“I2C”)总线。本领域技术人员会认识到通过管理总线236连接到存储设备/固态存储设备102的组件的管理控制器234的其他功能和运用。
在一种实施方式中,固态存储设备控制器202包括杂项逻辑块242,该杂项逻辑块242可被定制为专用。通常,当固态设备控制器202或主控制器224被配置为使用FPGA或其他可配置控制器时,可基于特定应用、用户需求、存储需求等而包括定制逻辑。
数据管道
图3是示出了根据本发明的位于固态存储设备102内的固态存储设备控制器104的一种实施方式300的示意性框图,该固态存储设备控制器具有写入数据管道106和读取数据管道108。实施方式300包括数据总线204、局部总线206和缓冲控制器208,这些设备大体上类似于相对于图2中固态存储设备控制器202描述的设备。所述写入数据管道106包括封包器302和纠错码(“ECC”)发生器304。在其他实施方式中,所述写入数据管道106包括输入缓冲器306、写入同步缓冲器308、写入程序模块310、压缩模块312、加密模块314、垃圾收集器旁路316(部分位于所述读取数据管道108内)、媒体加密模块318和写入 缓冲器320。读取数据管道108包括读取同步缓冲器328、ECC纠错模块322、解包器324、对齐模块326和输出缓冲器330。在另一种实施方式中,读取数据管道108可包括媒体解密模块332、垃圾收集器旁路316的一部分、解密模块334、解压缩模块336和读取程序模块338。固态存储控制器104还可包括控制与状态寄存器340和控制队列342、内存库交错控制器344、同步缓冲器346、存储总线控制器348及多路转换器(“MUX”)350。固态控制器104的组件和关联的写入数据管道106和读取数据管道108描述如下。在其他实施方式中,可采用同步固态存储器110并且可不使用同步缓冲器308、328。
写入数据管道
写入数据管道106包括封包器302,该封包器直接地或间接地通过另一写入数据管道106的级接收将要被写入固态存储器的数据或元数据段,并创建一个或多个大小适于固态存储器110的包。所述数据或元数据段通常是对象的一部分,但也可包括整个对象。在另一种实施方式中,所述数据段是数据块的一部分,但也可包括整个数据块。通常,对象接收自计算机112、客户端114或其他计算机或设备并被以流向固态存储设备102或计算机112的数据段的形式传送给固态存储设备102。数据段也可被称为另一名称(如数据包裹),本文所提及的数据段包括对象或数据块的全部或一部分。
每个对象被存为一个或多个包。每个对象可具有一个或多个容器包。每个包包含包头。所述包头可包括包头类型字段。类型字段可包括数据、对象属性、元数据、数据段定界符(多包)、对象结构、对象连接及类似物。所述包头还可包括关于包的大小的信息(如包内的数据的字节数)。所述包的长度可由包类型确实。一个实例可能是利用数据包包头的偏移值来确定对象内数据段的位置。本领域技术人员会认识到其他包含在由封包器302添加到数据上的包头内的信息和其他添加到数据包的信息。
每个包包括包头,还可能包括来自所述数据和元数据段的数据。每个包的包头包括用于将包与包所属对象联系起来的相关信息。例如,所述包头可包括对象标识符和偏移值,该偏移值表明了用于数据包形成的数据段、对象或数据块。所述包头还可包括存储总线控制器348用以存储包的逻辑地址。所述包头还可包括关于包的大小的信息(如包内字节数)。所述包头还可包括序列号,当生建数据段或对象时,该序列号识别数据段相对于对象内的其他 包所属的位置。所述包头可包括包头类型字段。类型字段可包括数据、对象属性、元数据、数据段定界符(多包)、对象结构、对象连接及类似物。本领域技术人员会认识到其他包含在由封包器302加到数据上的包头内的信息和其他添加到数据包的信息。
写入数据管道106包括ECC发生器304,该ECC发生器为一个或多个接收自封包器302的包生成一个或多个纠错码(“ECC”)。ECC发生器304通常采用纠错算法生成ECC,该ECC与包一起存储。与包一起存储的ECC通常用于探测和纠正由于传送和存储而引起的错误。在一种实施方式中,包作为长度为N的未编码块流入ECC发生器304。计算并添加长度为S的并发位,并作为长度为N+S的编码块输出。N和S的值依赖于算法的特点,该算法被选择用于实现特定的性能、效率和鲁棒性指标。在优选实施方式中,在ECC块和包之间并没有固定关系;包可包括不止一个ECC块;ECC块可包括不止一个包;且第一包可在ECC块内的任何位置终止而第二包可始于同一ECC块内的第一包终止的位置。在优选实施方式中,ECC算法不能被动态修改。在优选实施方式中,与数据包一起存储的ECC足够稳健以在两个以上的位内纠正错误。
有利地是,采用允许不止一位的修正或甚至是两位修正的稳健ECC算法允许延长固态存储器110的使用寿命。例如,如果固态存储器110内使用闪存作为存储媒体,闪存在每个擦除周期内可被写入大约100000次不出现错误。这种使用期限可通过稳健ECC算法延长。固态存储设备102板载有ECC发生器304和相应的ECC纠错模块322,固态存储设备102可在其内部纠正错误并具有比采用不甚稳健的ECC算法(如单位错误修正)更长的使用寿命。然而,在其他实施方式中,ECC发生器304可采用不甚稳健的算法并可修正单位或双位错误。在另一种实施方式中,固态存储设备110可包括不甚可靠的存储器以增加容量,所述不甚可靠的存储器例如多级单元(“MLC”)闪存,所述不甚可靠的存储器在没有稳健ECC算法的情况下可以不充分可靠。
在一种实施方式中,写入数据管道包括输入缓冲器306,该输入缓冲器接收将要被写入固态存储器110的数据段并存储输入的数据段直到写入数据管道106的下一级,例如封包器302(或其他更复杂写入数据管道106的其他级)准备处理下一个数据段。通过使用适当容量的数据缓冲器,输入缓冲器306通常允许写入数据管道106接收和处理数据段之间存在速率差异。输入缓冲器 306还允许数据总线204将数据传送给写入数据管道106的速率大于写入数据管道106能支持的速率,从而改进数据总线204运行的效率。通常,当写入数据管道106不包括输入缓冲器306时,缓冲功能在别处(如固态存储设备102)实现,但所述别处位于写入数据管道106外、位于计算机内,例如当使用远程直接存储器读取(“RMDA”)时,如在网络接口卡(“NIC”)内或其他设备上。
在另一种实施方式中,写入数据管道106还包括写入同步缓冲器308,该写入同步缓冲器308在将包写入固态存储器110之前缓冲接收自ECC发生器304的包。写入同步缓冲器308位于本地时钟域和固态存储时钟域之间的边界上,并且提供缓冲以解决时钟域差异。在其他实施方式中,可采用同步固态存储器110而移除同步缓冲器308、328。
在一种实施方式中,写入数据管道106还包括媒体加密模块318,该媒体加密模块318直接地或间接地从封包器302接收一个或多个包,并在将包发送给ECC发生器304之前利用对固态存储设备102唯一的加密密钥加密所述一个或多个包。通常,整个包(包括包头)都被加密。在另一种实施方式中,并不加密包头。在本文中,在一种实施方式中,加密密钥被理解为意味着在外部管理的秘密加密密钥,这种密钥将固态存储器110和需要加密保护的设备集成在一起。媒体加密模块318和相应的媒体解密模块332为存储在固态存储器110中数据提供安全等级。例如,当数据利用媒体加密模块加密时,如果固态存储器110连接到不同的固态存储控制器104、固态存储设备102或计算机112,通常,在不使用同一加密密钥(在将数据写入固态存储器110期间使用)时,如果不经过合理的努力,则不能读取固态存储器110的内容。
在典型的实施方式中,固态存储设备102不将所述加密密钥存储在非易失性存储器中并且不允许从外部访问所述加密密钥。在初始化期间为固态存储控制器104提供加密密钥。固态存储设备102可使用并存储非秘密性加密临时值,该非秘密性加密临时值与加密密钥结合使用。不同的临时值可与每个包一起存储。为了加强保护,加密算法可利用唯一临时值在多个包之间分割数据段。所述加密密钥可接收自客户端114、计算机112、密钥管理器或其他管理固态存储控制器104使用的加密密钥的设备。在另一种实施方式中,固态存储器110可具有两个或更多个分区,并且固态存储控制器104显得就像有两个或更多个固态存储控制器104,每一个固态存储控制器104在固态存储器110内 的单个分区上运行。在这种实施方式中,唯一的媒体加密密钥可与每个分区一起使用。
在另一种实施方式中,写入数据管道106还包括加密模块314,该加密模块314在将数据段发送给封包器302之前直接地或间接地加密接收自输入缓冲器306的数据或元数据段,利用与数据段一同接收的加密密钥来加密数据段。加密模块314与媒体加密模块318不同,这是由于:加密模块314用以加密数据的加密密钥对存储在固态存储设备102内的数据来说不是共同的并在对象基础上可能不同,并且加密密钥可不与数据段一起接收(如下所述)。例如,加密模块314用以加密数据段的加密密钥可与数据段一起被接收或可作为将对象写入数据段所属位置的命令的一部分被接收。固态存储设备102可在每个与加密密钥结合使用的对象包中使用并存储非秘密性加密临时值。不同的临时值可与每个包一起存储。为了通过加密算法加强保护,可利用唯一临时值在多个包之间分割数据段。在一种实施方式中,媒体加密模块318使用的临时值与加密模块314使用的临时值相同。
加密密钥可接收自客户端114、计算机112、密钥管理器或其他保存用于加密数据段的加密密钥的设备。在一种实施方式中,加密密钥被从固态存储设备102、计算机112、客户端114或其他外部代理中的一个传送到固态存储控制器104,所述外部代理能够执行工业标准方法以安全地传送并保护私有密钥和公共密钥。
在一种实施方式中,加密模块314利用与第一包一起接收的第一加密密钥加密第一包,并利用与第二包一起接收的第二加密密钥加密第二包。在另一种实施方式中,加密模块314利用与第一包一起接收的第一加密密钥加密第一包,而将第二数据包传递给下一级(未经加密)。有利地是,包括在固态存储设备102的写入数据管道106内的加密模块314允许对象接对象或段接段的数据加密,而不需要单独的文件系统或其他外部系统来追踪不同的用于存储相应对象或数据段的加密密钥。每个请求设备155或相关密钥管理器独立地管理加密密钥,该加密密钥仅用于加密请求设备155发送的对象或数据段。
在另一种实施方式中,写入数据管道106包括压缩模块312,该压缩模块312在将数据段发送给封包器302之前为元数据段压缩数据。压缩模块312通常利用本领域技术人员熟知的压缩程序来压缩数据或元数据段以减少段占用的 的存储空间大小。例如,如果数据段包括一串512个0位,压缩模块312可用表明512个0位的编码或令牌来替换这512个0位,其中,所述编码所占的空间比512个0位所占的空间要小得多。
在一种实施方式中,压缩模块312利用第一压缩程序压缩第一段,而输送第二段(未经压缩)。在另一种实施方式中,压缩模块312利用第一压缩程序压缩第一段并利用第二压缩程序压缩第二段。在固态存储设备102内具有这种灵活性是有利的,以便客户端或其他将数据写入固态存储设备102内的设备中每一个都可指定压缩程序或以便一个设备指定压缩程序而另一个设备指定无压缩。还可根据每个对象类型或对象类基础的默认设置来选择压缩程序。例如,特定对象的第一对象可以能够废除默认压缩程序设置,同一对象类和对象类型的第二对象可采用默认压缩程序,而同一对象类和对象类型的第三对象可不压缩。
在一种实施方式中,写入数据管道106包括垃圾收集器旁路316,该垃圾收集器旁路316接收来自读取数据管道的108(在垃圾收集系统中作为数据旁路的一部分)的数据段。垃圾收集系统通常标记不再有效的包,不再有效的原因通常是由于包被标记为删除或包已被修改且修改过的数据存储在不同的位置。在某一时刻,垃圾收集系统确定存储器的某个区域可被恢复。之所以确定某个区域可被恢复可能是由于:缺乏可用的存储空间、标记为无效的的数据百分比达到阈值、有效数据的合并、存储器的该区域错误检出率达到阈值或基于数据分布提高性能等。垃圾收集算法可考虑大量的因素以确定何时存储器的区域将要被恢复。
一旦存储器的区域被标记为恢复,该区域内的有效包通常必须被重新存放。垃圾收集器旁路316允许将包读入读取数据管道108,并允许然后将包直接传送给写入数据管道106而不会将包路由出固态存储控制器104。在优选实施方式中,垃圾收集器旁路316是运行在固态存储设备102内的自主垃圾收集系统的一部分。这允许固态存储设备102管理数据,从而数据系统地传播到整个固态存储器110以提升性能、数据可靠性并避免过度使用和不充分使用固态存储器110的任何一个位置或区域,并且延长了固态存储器110的使用寿命。
垃圾收集器旁路316协调将数据段插入写入数据管道106而其他数据段由客户端114或其他设备写入。在描述的实施方式中,垃圾收集器旁路316位于 写入数据管道106内的封包器302之前、读取数据管道内的解包器314之后,但也可位于写入和读取数据管道106、118内的其他位置。可在清洗写入数据管道106期间使用垃圾收集器旁路316,以填充虚拟页的剩余部分,从而提升固态存储器110内的存储效率并因此减少垃圾收集的频率。
在一种实施方式中,写入数据管道106包括写入缓冲器320,该写入缓冲器320为了高效的写操作而缓冲数据。通常,写入缓冲器320包括用于包的足够容量,以填充固态存储器110内的至少一个虚拟页。这允许写操作将数据的整个页没有中断地发送给固态存储器110。通过选择写入数据管道106的写入缓冲器320的容量并将读取数据管道108内的缓冲器的容量选为同样大小容量或比固态存储器110内存储写入缓冲器的容量大,由于单个写入命令可被设计为将数据的整个虚拟页发送给固态存储器110,从而以单条命令替代多条命令,写入和读取数据的效率更高。
当填充写入缓冲器320时,固态存储器110可用于其他读操作。这是有利的,原因是:当将数据写入存储写入缓冲器时和注入数据缓冲器的数据失速时,具有更小容量的写入缓冲器的或不具有写入缓冲器的其他固态设备可绑定固态存储器。读操作会被拦截直到整个存储写入缓冲器被填充或被编程。用于不具写入缓冲器或具有小容量的写入缓冲器的系统的另一种方法是清洗未满的存储写入缓冲器以使得能进行读操作。同样地,由于需要多写入/编程周期来填充页,因此这种方法的效率低下。
对于描述的具有容量比虚拟页容量大的写入缓冲器320的实施方式,单个的写入命令(包括大量子命令)的后续命令可以是单个程序命令,以将来自每个固态存储元件216、218、220中的存储写入缓冲器的数据页传递给每个固态存储元件216、218、220中的指定页。这种技术带来的好处是:减少了部分页编程,众所周知,这降低了数据的可靠性和稳定性并在当缓冲器填充时,为读命令和其他命令释放了目标内存库。
在一种实施方式中,写入缓冲器320为交替缓冲器,其中,所述交替缓冲器的一侧被填充,然后当所述交替缓冲器的另一侧被填充时,所述交替缓冲器的一侧被指定为在适当的时间传送数据。在另一种实施方式中,写入缓冲器320包括先进先出(“FIFO”)寄存器,该FIFO寄存器的容量比数据段虚拟页的容量大。本领域技术人员会认识到允许在将数据写入固态存储器110之前存 储数据虚拟页的其他写入缓冲器320配置。
在另一种实施方式中,写入缓冲器320的容量比虚拟页小,从而少于一页的信息可被写入固态存储器110内的存储写入缓冲器。在这种实施方式中,为了防止写入数据管道106的失速阻止读操作,采用需要从一个位置移动到另一个位置的垃圾收集系统将数据排队,这个过程是垃圾收集进程的一部分。为了防止写入数据管道106中的数据失速,可通过垃圾收集器旁路316将所述数据供应给写入缓冲器320并然后将所述数据供应给固态存储器110中的存储写入缓冲器,从而在编程所述数据之前填充虚拟页的页面。这样,写入数据管道106中的数据失速不会使读取自固态存储设备102的数据失速。
在另一种实施方式中,写入数据管道106包括写入程序模块310,该写入程序模块310具有写入数据管道106内的一个或多个用户可定义的功能。写入程序模块310允许用户自定义写入数据管道106。用户可基于特定数据请求或应用自定义写入数据管道106。当固态存储控制器104为FPGA时,用户可相对轻松地编程具有自定义命令和功能的写入数据管道106。用户还可利用写入程序模块310以使ASIC包括自定义功能,然而自定义ASIC可能比使用FPGA时更困难。写入程序模块310可包括缓冲器和旁路机制,以允许第一数据段在写入程序模块310中执行,而第二数据段通过写入数据管道106可继续传送。在另一种实施方式中,写入程序模块310可包括能通过软件编程的处理器内核。
应注意,写入程序模块310被示为位于输入缓冲器306和压缩模块312之间,然而写入程序模块310可位于写入数据管道106内的任何位置,并且可分布在不同的级302-320之间。此外,在不同的、已编程的且独立运行的级302-320之间可分布有多个写入程序模块310。此外,级302-320的顺序可以改变。本领域技术人员会认识到基于特定用户需求的级302-320的顺序的可行改变。
读取数据管道
读取数据管道108包括ECC纠错模块322,该ECC纠错模块322通过使用与请求包中的每个ECC块一起存储的ECC来确定接收自固态存储器110的请求包的ECC块中是否存在错误。然后,如果存在任何错误并且所述错误可使用ECC修正,则ECC纠错模块322修正请求包中的任何错误。例如,如果ECC能够探测6位的错误但只能修正3位的错误,那么ECC纠错模块322修正具有3位错误 的请求包ECC块。ECC纠错模块322通过把出错的位改变为正确的1或0状态来修正出错的位,从而请求数据包与其被写入固态存储器110并且为包生成ECC时一致。
如果ECC纠错模块322确定请求包包含了比ECC能修正的位数多的出错位,则ECC纠错模块322不能修正请求包毁坏的ECC块的错误并发送中断。在一种实施方式中,ECC纠错模块322发送中断以及指示请求包出错的消息。所述消息可包括指出ECC纠错模块322不能修正错误或ECC纠错模块322没有能力修正错误的信息。在另一种实施方式中,ECC纠错模块322与所述中断和/或消息一起发送请求包中毁坏的ECC块。
在优选的实施方式中,请求包中毁坏的ECC块或毁坏的ECC块的一部分(不能被ECC纠错模块322修正)由主控制器224读取,并被修正和返回给ECC纠错模块322以被读取数据管道108进一步处理。在一种实施方式中,请求包中毁坏的ECC块或毁坏的ECC块的一部分被发送给请求数据的设备。请求设备155可修正所述ECC块或用另一拷贝替换数据(如备份或镜像拷贝),然后可使用请求数据包的替换的数据或将所述替换的数据返回给读取数据管道108。请求设备155可使用出错请求包中的包头信息以识别替换毁坏请求包或替换包所属的对象所需的数据。在另一种优选实施方式中,固态存储控制器104采用一些类型的RAID存储数据并能够恢复毁坏的数据。在另一种实施方式中,ECC纠错模块322发送中断和/或消息,并且接收设备停止与请求数据包关联的读操作。本领域技术人员会认识到ECC纠错模块322确定请求包的一个或多个ECC块为毁坏的且ECC纠错模块322不能修正错误后采取的其他选择和操作。
读取数据管道108包括解包器324,该解包器324直接地或间接地接收来自ECC修正模块322的请求包ECC块,并检查和删除一个或多个包头。解包器324可通过检查包头内的包标识符、数据长度、数据位置等验证包头。在一种实施方式中,所述包头包括散列码,该散列码可用于验证传递给读取数据管道108的包为请求包。解包器324还从请求包中删除由封包器302添加的包头。解包器324可被指定为不对某些包起作用而将这些包未经修改地向前传送。一个实例可以是容器标签,当对象索引重建模块272需要包头信息时,该容器标签在重建进程期间被请求。另外的实例包括传送不同类型的包(预定在固态存储设备102内使用)。在另一种实施方式中,解包器324操作可以依赖于包的 类型。
读取数据管道326包括对齐模块326,该对齐模块326接收来自解包器324的数据并删除多余的数据。在一种实施方式中,发送给固态存储器110的读命令恢复数据包。请求数据的设备可不需要恢复的数据包内的所有数据,并且对齐模块326删除多余的数据。如果恢复页内的所有数据都是请求的数据,对齐模块326不删除任何数据。
对齐模块326在数据段传输到下一级之前以与请求数据段的设备兼容的形式按对象的数据段重新格式化数据。通常,由于数据由读取数据管道108处理,数据段或包的大小在不同级间改变。对齐模块326使用接收到的数据以将数据格式化为适于发送给请求设备155的数据段,该数据段还适于连接在一起以形成响应。例如,来自第一数据包的一部分的数据可与来自第二数据包的一部分的数据结合。如果数据段比由请求设备155请求的数据大,对齐模块326可丢弃不需要的数据。
在一种实施方式中,读取数据管道108包括读取同步缓冲器328,该读取同步缓冲器328在读取数据管道108处理之前缓冲一个或多个读取自固态存储器110的请求包。读取同步缓冲器328位于固态存储时钟域和本地总线时钟域之间的边界上并提供缓冲以解决时钟域差异。
在另一种实施方式中,读取数据管道108包括输出缓冲器330,该输出缓冲器330接收来自对齐模块326的请求包并在数据包传送到所述请求设备155前存储该包。输出缓冲器330解决当从读取数据管道108接收数据段时和当将数据段传送给固态存储控制器104的其他部分或传送给请求设备155时之间的差异。输出缓冲器330还允许数据总线以比读取数据管道108能够支持的速率高的速率接收来自读取数据管道108的数据,以提升数据总线204运行的效率。
在一种实施方式中,读取数据管道108包括媒体解密模块332,该媒体解密模块332接收一个或多个来自ECC纠错模块322的加密过的请求包并在将一个或多个所述请求包发送给解包器324之前利用对于固态存储设备102唯一的加密密钥解密一个或多个所述请求包。通常,媒体解密模块332用以解密数据的加密密钥与媒体加密模块318使用的加密密钥一致。在另一种实施方式中,固态存储器110可具有两个或更多个分区且固态存储控制器104表现得好像有两个或更多个固态存储控制器104(每个都在固态存储器110内的单独分区内 运行)一样。在这种实施方式中,可对每个分区使用唯一的媒体加密密钥。
在另一种实施方式中,读取数据管道108包括解密模块334,该解密模块334在将数据段发送给输出缓冲器330之前解密由解包器324格式化的所述数据段。采用与读请求一起接收的加密密钥解密所述数据段,所述读请求初始化恢复由读取同步缓冲器328接收的请求包。解密模块334可利用与用于第一包的读请求一起接收的加密密钥解密第一包,然后可利用不同的加密密钥解密第二包或可将第二包未经解密地传送给读取数据管道108的下一级。通常,解密模块334使用与媒体解密模块332用以解密请求数据包的加密密钥不同的加密密钥解密数据段。当包与非秘密性加密临时值一起存储时,该临时值与加密密钥一起使用以解密数据包。加密密钥可接收自客户端114、计算机112、密钥管理器或管理固态存储控制器104使用的加密密钥的其他设备。
在另一种实施方式中,读取数据管道108包括解压缩模块336,该解压缩模块336解压缩由解包器324格式化的数据段。在优选实施方式中,解压缩模块336使用存储在包头和容器标签中的一个或两个中的压缩信息以选择补充程序,压缩模块312使用该补充程序来压缩数据。在另一种实施方式中,解压缩模块336所使用的解压缩程序由请求解压缩的数据段确定。在另一种实施方式中,解压缩模块336根据每个对象类型或对象类基础的默认设置选择解压缩程序。第一对象的第一包可以能够废除默认解压缩程序设置,具有相对的对象类和对象类型的第二对象的第二包可采用默认解压缩程序,而具有相同的对象类和对象类型的第三对象的第三包可不经过解压缩。
在另一种实施方式中,读取数据管道108包括读取程序模块338,该读取程序模块338包括一个或多个在读取数据管道108内的用户可定义功能。读取程序模块338具有与写入程序模块310类似的特点并允许用户提供自定义功能给读取数据管道108。读取程序模块338可位于图3中所示的位置、可位于读取数据管道108内的其他位置、或者可包括读取数据管道108内多个位置的多个部分。此外,在读取数据管道108内的多个不同位置可有多个独立运行的读取程序模块338。本领域技术人员会认识到读取数据管道108内的读取程序模块338的其他形式。正如写入数据管道,读取数据管道108的级可重新排序,本领域技术人员会认识到读取数据管道108内的级的其他排列顺序。
固态存储控制器104包括控制和状态寄存器340和相应的控制队列342。控 制和状态寄存器340和控制队列342有助于控制并按顺序排列与在写入和读取数据管道106、108内处理的数据相关联的命令和子命令。例如,封包器302中的数据段可具有一个或多个在与ECC发生器304关联的控制队列342内的相应控制命令或指令。当数据段被封包时,可在封包器302内执行一些指令或命令中。当从数据段建立的、最新形成的数据包被传送给下一级时,其他命令或指令可通过控制和状态寄存器340直接传送给下一个控制队列342。
可同时将命令和指令加载到控制队列342上以将包转发给写入数据管道106,同时,由于每个管道级要执行各自的包,因此每个管道级读取合适的命令或指令。类似地,可同时将命令和指令加载到控制队列342上以从读取数据管道108请求包,而且,由于每个管道级要执行各自的包,因此每个管道级读取合适的命令或指示。本领域技术人员会认识到控制和状态寄存器340和控制队列342的其他特征和功能。
固态存储控制器104和/或固态存储设备102还可包括内存库交错控制器344、同步缓冲器346、存储总线控制器348及多路转换器(“MUX”)350,这些设备相对于图4A和图4B描述。
内存库交错
图4A是根据本发明的位于固态存储控制器104内的内存库交错控制器344一种实施方式400的示意性框图。内存库交错控制器344连接到控制和状态寄存器340并通过MUX350、存储总线控制器348和同步缓冲器346连接到存储I/O总线210和存储控制总线212上,这在下文中有所描述。内存库交错控制器344包括读取代理402、写入代理404、擦除代理406、管理代理408、读取队列410a-n、写入队列412a-n、擦除队列414a-n、用于固态存储器110中的内存库214的管理队列416a-n、内存库控制器418a-n、总线仲裁器420和状态MUX422,这些设备在下文中描述。存储总线控制器348包括具有重映射模块430的映射模块424、状态捕捉模块426和NAND总线控制器438,这些设备在下文中描述。
内存库交错控制器344将一条或多条命令送往内存库交错控制器344中的两个或更多个队列,并在固态存储器110的内存库214之间协调存储在队列中的命令的执行,以使得第一类型的命令在一个内存库241a上执行而第二类型的命令在第二内存库214b上执行。所述一条或多条命令按命令类型分别送入队列中。固态存储器110的每个内存库214在内存库交错控制器344内具有相应 的队列集,且每个队列集包括每个命令类型的队列。
内存库交错控制器344在固态存储器110的内存库214之间协调存储在队列中的命令的执行。例如,第一类型的命令在在一个内存库241a上执行而第二类型的命令在第二内存库214b上执行。通常,命令类型和队列类型包括读取和写入命令和队列410、412,但是还可包括存储媒介指定的其他命令和队列。例如,在图4A所描述的实施方式中,擦除和管理队列414、416被包括在其中且适于闪存、NRAM、MRAM、DRAM、PRAM等。
对于其他类型的固态存储器110,可包括其他类型的命令和相应的队列而不脱离本发明的范围。FPGA固态存储控制器104的灵活性质允许存储媒介的灵活性。如果将闪存换成另一种固态存储类型,可改变内存库交错控制器344、存储总线控制器348和MUX350以适应媒介类型而不显著地影响数据管道106、108和其他固态存储控制器104运行。
在图4A所描述的实施方式中,对每个内存库214来说,内存库交错控制器344包括:用于从固态存储器110读取数据的读取队列410、用于将命令写入固态存储器110的写入队列412、用于擦除固态存储器中的擦除块的擦除队列414、用于管理命令的管理队列416。内存库交错控制器344还包括相应的读取、写入、擦除和管理代理402、404、406、408。在另一种实施方式中,控制和状态寄存器340和控制队列342或类似元件在没有内存库交错控制器344的情况为了发送给固态存储器110的内存库214的数据而将命令排队。
在一种实施方式中,代理402、404、406、408将预定用于特定内存库214a的合适类型的命令送到内存库214a的修正队列。例如,读取代理402可接收用于内存库-1 214b的读命令并将所述读命令送到内存库-1读取队列410b。写入代理404可接收将数据写入固态存储器110的内存库-0 214a的写入命令并然后会将所述写入命令发送给内存库-0写入队列412a。类似地,擦除代理406可接收擦除命令以擦除内存库-1 214b中的擦除块并然后会将所述擦除命令传送给内存库-1擦除队列414b。管理代理408通常接收管理命令、状态请求及其类似消息,如复位命令或读取内存库214(如内存库-0 214a)的配置寄存器的请求。管理代理408将所述管理命令发送给内存库-0管理队列416a。
代理402、404、406、408通常还监测队列410、412、414、416的状态并当队列402、404、406、408满、接近满、丧失功能时,发送状态、中断或其 他消息。在一种实施方式中,代理402、404、406、408接收命令并生成相应的子命令。在一种实施方式中,代理402、404、406、408通过控制和状态寄存器340接收命令并生成相应的子命令,所述子命令被转发给队列410、412、414、416。本领域技术人员会认识到代理402、404、406、408的其他功能。
队列410、412、414、416通常接收命令并存储所述命令直到所述命令被要求传送给固态存储器内存库214。在典型的实施方式中,队列410、412、414、416是先进先出(“FIFO”)寄存器或以FIFO运行的类似组件。在另一种实施方式中,队列410、412、414、4166按与数据、重要性或其他标准相匹配的顺序来存储命令。
内存库控制器418通常接收来自队列410、412、414、416的命令并生成合适的子命令。例如,内存库-0写入队列412a可接收将数据包的页写入内存库-0214a的命令。内存库-0控制器418a可在合适的时间接收写入命令并可为每个存储在写入缓冲器320中的数据包生成一个或多个写入子命令(将要被写入内存库-0 214a的页中)。例如,内存库-0控制器418a可生成验证内存库-0 214a和固态存储阵列216状态的命令、选择写入一个或多个数据包的合适位置的命令、清除位于固态存储阵列216内的输入缓冲器的命令、将一个或多个数据包传送所述输入缓冲器的命令、将输入缓冲器放到选定位置中的命令、检验数据被正确编程的命令,并且如果发生程序故障,则一次或多次地中断主控制器224、重试写入同一物理地址并重试写入不同的物理地址。此外,与实例中的写入命令一起,存储总线控制器348会将一条或多条命令乘以每条存储I/O总线210a-n从而翻倍,而所述命令的逻辑地址映射到用于存储I/O总线210a的第一物理地址,并映射到用于存储I/O总线210a的第二物理地址,下面将详细描述。
通常,总线仲裁器420选自内存库控制器418并从内存库控制器418的输出队列提取子命令,并且将这些子命令以最优化内存库214性能的序列形式发给存储总线控制器348。在另一种实施方式中,总线仲裁器420可响应高级中断并修改普通选择标准。在另一种实施方式中,主控制器224可通过控制和状态寄存器340控制总线仲裁器420。本领域技术人员会认识到总线控制器420可控制和交错从内存库控制器418传送到固态存储器110的命令序列。
通常,总线仲裁器420协调来自内存库控制器418适当的命令和命令类型所需的相应数据的选择,并将所述命令和数据发送给存储总线控制器348。总 线仲裁器420通常还将命令发送给存储控制总线212以选择合适的内存库214。对于闪存或其他具有异步、双向串行的存储I/O总线210的固态存储器110而言,一次只能传送一条命令(控制信息)或数据集。例如,当将写入命令或数据通过存储I/O总线210传送给固态存储器110时,读取命令、读取的数据、擦除命令、管理命令或其他状态命令不能在存储I/O总线210上传输。例如,当从存储I/O总线210读取数据时,不能向固态存储器110写入数据。
例如,在内存库-0的写操作期间,总线仲裁器420选择在其队列顶部具有写入命令或一系列写入子命令的内存库-0控制器418a,所述一系列写入子命令使得存储总线控制器348执行后继的序列。总线仲裁器420将写入命令转发给存储总线控制器348,该存储总线控制器348通过下列方式建立了写入命令:通过存储控制总线212选择内存库-0 214a、发送清除与内存库-0 214a关联的固态存储元件110的输入缓冲器的命令、发送验证与内存库-0214a关联的固态存储元件216、218、220的状态的命令。然后,存储总线控制器348通过包含了物理地址存储I/O总线210传送写入命令,该物理地址如同映射自逻辑擦除块地址一样包括用于每个单独的物理擦除固态存储元件216a-m的逻辑擦除块地址。然后,存储总线控制器348通过多路转换器350将写入缓冲器经写入同步缓冲器多路复用到存储I/O总线210并使写入数据流向合适的页。当所述页写满时,然后,存储总线控制器348促使与内存库-0214a关联的固态存储元件216a-m将输入缓冲器编入固态存储元件216a-m的内存单元。最终,存储总线控制器348验证状态以确保所述页被正确编程。
读操作与上文的写操作实例类似。在读操作期间,通常,总线仲裁器420或内存库交错控制器344的其他组件接收数据和相应的状态信息并将数据发送给读取数据管道108,同时将状态信息发送给控制和状态寄存器340。通常,从总线仲裁器420传送给存储总线控制器348的读数据命令会促使多路转换器350将读数据通过存储I/O总线210传送给读取数据管道108并通过状态多路转换器422向控制和状态寄存器340发送状态信息。
总线仲裁器420协调不同的命令类型和数据存取模式,使得在任意给定的时间内,在总线上只有合适的命令类型或对应数据。如果总线仲裁器420已选择了写入命令,且写入子命令和对应数据正在被写入固态存储器110,总线仲裁器420不会允许在存储I/O总线210存在其他命令类型。有利地是,总线仲裁 器420使用定时信息(如预定的命令执行时间)以及接收到的关于内存库214状态的信息,以协调总线上不同命令的执行,这样做的目标是最小化或消除总线的停工时间。
通过总线仲裁器420的主控制器224通常使用存储在队列410、412、414、416中的命令的预定完成时间以及状态信息,使得在一个内存库214a上执行与命令关联的子命令时,而在其他内存库241b-n上执行其他命令的其他子命令。当内存库214a完全执行完一条命令时,总线仲裁器420将其他命令传给内存库214a。总线仲裁器420还可与协调存储在队列410、412、414、416的命令一起协调不存储在队列410、412、414、416的其他命令。
例如,可发出擦除命令以擦除固态存储器110内的一组擦除块。执行擦除命令可消耗比执行写入或读取命令多10到1000倍的时间,或消耗比执行程序命令多10到100倍的时间。对于N个内存库214,内存库交错控制器可将擦除命令分割为N条命令,每条命令擦除内存库214a的虚拟擦除块。当内存库-0 214a执行擦除命令时,总线仲裁器420可选择在其他内存库214b-n上执行的其他命令。总线仲裁器420还可与其他组件(如存储总线控制器348、主控制器224等)一起工作以在总线之间协调命令的执行。利用总线仲裁器420、内存库控制器418、队列410、412、414、416、和内存库交错控制器的代理402、404、406、408协调命令的执行可显著的提升性能(相比于其他没有内存库交错功能的固态存储系统)。
在一种实施方式中,固态控制器104包括一个内存库交错控制器344,该内存库交错控制器344为固态存储器110的所有存储元件216、218、220提供服务。在另一种实施方式中,固态控制器104内存库包括用于每个存储元件行216a-m、218a-m、220a-m的交错控制器344。例如一个内存库交错控制器344服务存储元件的一行SSS 0.0-SSS 0.N 216a、218a、220a,第二内存库交错控制器344服务存储元件的第二行SSS 1.0-SSS 1.-N 216b、218b、220b,等等。
图4B是示出了根据本发明的位于固态存储设备104内的内存库交错控制器344的一种替代实施方式401的示意性框图。图4B所示实施方式中描述的组件210、212、340、346、348、350、402-430大体上与相对于图4A描述的内存库交错装置400类似,除了下述不同点:每个内存库214包括单独的队列432a-n及用于内存库的(如内存库-0 214a)读取命令、写入命令、擦除命令、 管理命令等被传送给内存库214的单独队列432a。在一种实施方式中,队列432是FIFO。在另一种实施方式中,队列432可具有以不同于存储的顺序的顺序从队列432中提取的命令。在另一种替代实施方式(未示出)中,读取代理402、写入代理404、擦除代理406和管理代理408可结合成单个代理,所述单个代理将命令分配给合适的队列432a-n。
在另一种替代的实施方式(未示出)中,命令存储在单独的队列中,其中,可以以不同于存储的顺序的顺序从队列中提取命令,从而使得内存库交错控制器344在余下的内存库214b-n上执行。本领域技术人员会轻易地认识到其他能够在一个内存库214a上执行命令而在其他内存库214b-n上执行其他命令的队列配置和类型。
特定存储组件
固态存储控制器104包括同步缓冲器346,该同步缓冲器346从固态存储器110发送和接收的命令和状态消息。同步缓冲器346位于固态存储时钟域和本地总线时钟域之间的边界上,并提供缓冲以解决时钟域差异。同步缓冲器346、写入同步缓冲器308和读取同步缓冲器328可独立地或共同运作以缓冲数据、命令、状态消息等等。在优选实施方式中,同步缓冲器346所处的位置使得跨越时钟域的信号数量最少。本领域技术人员会认识到:时钟域间的同步可任意运行在固态存储设备102的其他位置,以优化设计实施方案的某些方面。
固态存储控制器104包括存储总线控制器348,该存储总线控制器348解释和翻译用于发送给或读取自固态存储器110的数据的命令并基于固态存储器110的类型接收自固态存储器110的状态消息。例如,存储总线控制器348可针对不同的存储类型、不同性能特点、不同制造商的存储器等而具有不同的定时要求。存储总线控制器348还将控制命令发送给存储控制总线212。
在优选实施方式中,固态存储控制器104包括MUX350,该MUX350包括多路转换器350a-n的阵列,其中,每个多路转换器用于固态存储阵列110的一行。例如,多路转换器350a与固态存储元件216a、218a、220a关联。MUX350通过存储总线控制器348、同步缓冲器346和内存库交错控制器344将来自写入数据管道106的数据和来自存储总线控制器348的命令经存储I/O总线210路由至固态存储器110,并将来自固态存储器110的数据和状态消息经存储I/O总线210路由至读取数据管道108和控制和状态寄存器340。
在优选实施方式中,固态存储控制器104包括用于固态存储元件的每一行的(如SSS 0.1216a、SSS 0.2218a、SSS 0.N 220a)的MUX350。MUX350将来自写入数据管道106的数据和发送给固态存储器110的命令通过存储I/O总线210结合起来,并将需要由读取数据管道108处理的数据从命令中分离出来。存储在写入缓冲器320中的包通过用于固态存储元件的每一行(SSS x.0 to SSSx.N 216、218、220)的写入缓冲器308由写入缓冲器外的总线传给用于固态存储元件的每一行(SSS x.0 to SSS x.N 216、218、220)的MUX350。MUX350从存储I/O总线210接收命令和读取数据。MUX350还将状态消息传给存储总线控制器348。
存储总线控制器348包括映射模块424。映射模块424将擦除块的逻辑地址映射到擦除块的一个或多个物理地址。例如,每个内存库214a具有20个存储元件的阵列(如SSS0.0至SSS M.0 216)的固态存储器110可具有映射到擦除块的20个物理地址的特定擦除块的逻辑地址(每个存储元件有一个物理地址)。由于平行访问存储元件,所以位于存储元件216a、218a、220a的行中的每个存储元件中的同一位置的擦除块会分享物理地址。为了选择一个擦除块(如在存储元件SSS 0.0 216a中)代替行(如在存储元件SSS 0.0、0.1,...0.N216a、218a、220a中)中的所有擦除块,可选择一个内存库(在这种情况下为内存库-0214a)。
这种用于擦除块的逻辑到物理的映射是有好处的,这是由于如果一个擦除块已损坏或不可访问,所述映射可改为映射到另一擦除块。当一个元件的擦除块出错时,这种方法减少了失去整个虚拟擦除块的损失。重映射模块430将擦除块的逻辑地址的映射改为虚拟擦除块的一个或多个物理地址(遍布存储元件的阵列)。例如,虚拟擦除块1可映射到存储元件SSS 0.0 216a的擦除块1、映射到存储元件SSS 1.0 216b的擦除块1、...和映射到存储元件M.0 216m,虚拟擦除块2可映射到存储元件SSS 0.1 218a的擦除块2、映射到存储元件SSS1.1 218b的擦除块2、...和映射到存储元件M.1 218m,等等。
如果存储元件SSS 0.0 216a的擦除块1损坏、由于损耗遇到错误或由于一些原因不能被使用,重映射模块430可将从逻辑到物理的映射改为指向虚拟擦除块1的擦除块1的逻辑地址的映射。如果存储元件SSS 0.0 216a的空闲擦除块(将其称为擦除块221)可用且当前并未被映射,重映射模块430可改变虚拟擦除 块1的映射为映射到指向存储元件SSS0.0 216的擦除块221,而继续指向存储元件SSS 1.0 216b的擦除块1、存储元件SSS 2.0(未示出)的擦除块1、...和指向存储元件M.0 216m。映射模块424或重映射模块430可按固定顺序映射擦除块(虚拟擦除块1到存储元件的擦除块1,虚拟擦除块2到存储元件的擦除块2,等等)或可按基于其他一些标准的顺序映射存储元件216、218、220的擦除块。
在一种实施方式中,可按访问时间分组擦除块。按访问时间分组、均衡命令执行的时间(如将数据编入或写入指定擦除块的页)可平均命令补齐,从而使得在虚拟擦除块的擦除块之间执行的命令不会由于最慢的擦除块而被限制。在另一种实施方式中,可按损耗程度、运行状况来分组擦除块。本领域技术人员会认识到当映射或重映射擦除块时需要考虑的其他问题。
在一种实施方式中,存储总线控制器348包括状态捕捉模块426,该状态捕捉模块426接收来自固态存储器110的状态消息并将该状态消息发送给状态MUX422。在另一种实施方式中,当固态存储器110为闪存时,存储总线控制器348包括NAND总线控制器428。NANA总线控制器428将命令从读取和写入数据管道106、108传送给固态存储器110中的正确位置,并根据所述闪存的特点协调命令执行的时间,等等。如果固态存储器110为另一种类型的固态存储器,则将NAND总线控制器428替换为针对存储类型的总线控制器。本领域技术人员会认识到NAND总线控制器428的其他功能。
流程图
图5是根据本发明的在固态存储设备102内采用数据管道管理数据的方法500的一种实施方式的示意性流程图。方法500始于步骤502,输入缓冲器306接收一个或多个将要被写入固态存储器110的数据段(步骤504)。封包器302可创建一个或多个对象指定包以及对象。封包器302为每个包添加包头,所述包头通常包括包的长度和对象内包的序列号。封包器302接收一个或多个存储在输入缓冲器306的数据或元数据段(步骤504),并通过创建一个或多个大小适于固态存储器110的包来封包所述一个或多个数据或元数据段(步骤506),其中,每个包包括一个包头和来自一个或个段的数据。
通常,第一包包括对象标识符,该对象标识符确定对象,为了该对象而创建包。第二包可包括具有信息的包头,该信息由固态存储设备102用于关联第二包和第一包中确定的对象,该包头还具有在对象内定位第二包的偏移信 息和数据。固态存储设备控制器202管理内存库214和包流向的物理区域。
ECC发生器304接收来自封包器302的包并为数据包生成ECC(步骤508)。通常,在包和ECC块之间没有固定关系。ECC块可包括一个或多个包。包可包括一个或多个ECC块。包可始于ECC块内的任意位置并可在ECC块内的任意位置结束。包可始于第一ECC块内的任意位置并可在相继的ECC块中的任意位置结束。
写入同步缓冲器308在将ECC块写入固态存储器110之前缓冲分布在对应ECC块中的包(步骤510),然后固态存储控制器104在考虑到时钟域差异的适当的时间写入数据(步骤512),方法500终止于步骤514。写入同步缓冲器308位于本地时钟域和固态存储器110时钟域的边界上。注意到为方便起见,方法500描述了接收一个或多个数据段并写入一个或多个数据包,但通常接收数据段流或组。通常,若干包括完整固态存储器110的虚拟页的ECC块被写入固态存储器110。通常,封包器302接收某个大小的数据段并生成另一大小的包。这必然需要数据或元数据段或数据或元数据段的部分结合起来,以形成将段的所有数据捕捉进包的数据包。
图6是根据本发明的在固态存储设备102内采用数据管道管理数据的方法600的再一种实施方式的示意性流程图。方法600始于步骤602,输入缓冲器306接收一个或多个将要被写入固态存储器110的数据或元数据段(步骤604)。封包器302为每个包添加包头,所述包头通常包括对象内包的长度。封包器302接收一个或多个存储在输入缓冲器306中的段(步骤604),并通过创建一个或多个大小适于固态存储器110的包来封包一个或多个段(步骤606),其中每个包包括包头和来自一个或多个段的数据。
ECC发生器304接收来自封包器302的包并生成一个或多个用于包的ECC块(步骤608)。写入同步缓冲器308在将ECC块写入固态存储器110之前缓冲分布在对应ECC块中的包(步骤610),然后固态存储控制器104在考虑到时钟域差异的合适的时间写入数据(步骤612)。当从固态存储器110请求数据时,包括一个或多个数据包的ECC块被读入读取同步缓冲器328并被缓冲(步骤614)。通过存储I/O总线210接收包的ECC块。由于存储I/O总线210是双向,当读取数据时,写操作、命令操作等被停止。
ECC纠错模块322接收暂存在读取同步缓冲器328中的请求包的ECC块,并 在必要时修正每个ECC块中的错误(步骤616)。如果ECC纠错模块322确定在ECC块中存在一个或多个错误并且错误可利用ECC一并修正,ECC纠错模块322修正ECC块中的错误(步骤616)。如果ECC纠错模块322确定探测到的错误不可用ECC修正,则ECC纠错模块322发送中断。
解包器324在ECC纠错模块322修正任何错误之后接收请求包(步骤618)并通过检查和删除每个包的包头解包所述包(步骤618)。对齐模块326接收经过解包的包、删除多余的数据、并采用与请求数据段的设备兼容的形式按对象的数据段重新格式化所述数据(步骤620)。输入缓冲器330接收经过解包的请求包,并在包传送给请求设备155之前缓冲包(步骤622),方法600终止于步骤624。
图7是示意性流程图,示出了根据本发明的在固态存储设备102内利用内存库交错管理数据的方法700的一种实施方式。方法700始于步骤702,内存库交错控制器344将一条或多条命令传给两个或多个队列410、412、414、416(步骤704)。通常,代理402、404、406、408根据命令类型将所述命令传给队列410、412、414、416(步骤704)。队列410、412、414、416的每个集包括用于每个命令类型的队列。内存库交错控制器344在内存库214之间协调存储在队列410、412、414、416的所述命令的执行(步骤706),以使得第一类型的命令在一个内存库214a上执行,而第二类型的命令在第二内存库214b上执行,方法700结束于步骤708。
存储空间的恢复
图8是示意性框图,示出了根据本发明的在固态存储设备102中收集垃圾的装置800的一种实施方式。装置800包括顺序存储模块802、存储部选择模块804、数据恢复模块806及存储部恢复模块808,这些模块将在下文中描述。在其他实施方式中,装置800包括垃圾标记模块812和擦除模块810。
装置800包括顺序存储模块802,该顺序存储模块802将数据包顺序地写入存储部内的页。无论是新的包还是修改过的包,这些包都按顺序存储。在这种实施方式中,通常不将修改过的包写回其先前存储的位置。在一种实施方式中,顺序存储模块802将包写入存储部的页中的第一位置,然后写入该页中的下一个位置,并继续写入下一个位置和再下一个位置,直到该页被写满。然后,顺序存储模块802开始填充所述存储部中的下一页。这个过程一 直持续到所述存储部被写满。
在优选实施方式中,顺序存储模块802开始将包写入内存库(内存库-0214a)的存储元件(如SSS 0.0到SSS M.0 216)中的存储写入缓冲器。当所述存储写入缓冲器写满时,固态存储控制器104使得所述存储写入缓冲器中的数据被编入内存库214a的存储元件216中的指定页。然后,另一个内存库(如内存库-1 214b)被选定,并且当一个内存库-0编程所述指定页时,顺序存储模块802开始将包写入内存库214b的存储元件218的存储写入缓冲器。当内存库214b的存储写入缓冲器写满时,该存储写入缓冲器中的内容被编入每个存储元件218中的另一指定页。这个过程是有效率的,这是因为当一个内存库214a编程页时,可填充另一个内存库214b的存储写入缓冲器。
所述存储部包括固态存储设备102中的固态存储器110的一部分。通常,所述存储部为擦除块。对于闪存来说,擦除块上的擦除操作通过为每个单元充电将1写入所述擦除块中的每一位。相比于始于全为1的位置的程序操作,这是一个冗长过程,并且,当数据被写入时,一些位通过给被写为0的单元放电而改变为0。然而,当固态存储器110不是闪存时或固态存储器110具有擦除周期消耗的时间和其他操作(如读取或编程)消耗的时间差不多的闪存时,所述存储部可不需要被擦除。
正如此处所使用的,存储部在大小上与擦除块等同,但可(或可不)被擦除。当在此处使用擦除块时,擦除块可指存储元件(如SSS 0.0 216a)内指定大小的特定区域,并通常包括一定数量的页。当“擦除块”与闪存结合使用时,擦除块通常是在写入之前被擦除的存储部。当“擦除块”与“固态存储器”一起使用时,擦除块可(或可不)被擦除。正如此处所使用的,擦除块可包括一个擦除块或擦除块组,存储元件(如SSS 0.0到SSS M.0 216a-n)的每一行都具有该擦除块组中的一个擦除块,擦除块或擦除块组在此处还可被称为虚拟擦除块。当擦除块指与所述虚拟擦除块关联的逻辑构建时,所述擦除块在此处可被称为逻辑擦除块(“LEB”)。
通常,按照处理的顺序顺序地存储所述包。在一种实施方式中,当使用写入数据管道106时,顺序存储模块802按照包从写入数据管道106出来的顺序存储包。这种顺序可能是由于下述原因:来自请求设备155的数据段与读取自另一存储部的有效数据包(正如在下述的恢复操作期间从存储部恢复数据一样)混合。将恢复的、有效的数据包重路由到写入数据管道可包括如 上文中相对于图3的固态存储控制器104描述的垃圾收集器旁路316。
装置800包括选择恢复的存储部的存储部选择模块804。选择恢复的存储部可以使顺序存储模块802将所述存储部重新用于写入数据,因此将所述恢复的存储部添加到存储池中,或者所述存储部被重新用于在确定下述条件后从所述存储部中恢复有效数据:所述存储部失效、不可靠、应该被刷新、或其他将所述存储部暂时地或永久地移出所述存储池的理由。在另一种实施方式中,存储部选择模块804通过识别具有大量无效数据的存储部或擦除块来选择恢复的存储部。
在另一种实施方式中,存储部选择模块804通过识别具有低额损耗的存储部或擦除块来选择恢复的存储部。例如,识别具有低额损耗的存储部或擦除块可包括识别无效数据少、擦除重复的次数少、位出错率低或程序计数低(缓冲器中一页数据写入所述存储部中的页的次数少;程序计数可从下列情况开始被测量:制造设备时、所述存储部最近一次被擦除时、其他任意事件发生时及这些情况的组合)的存储部。存储部选择模块804还可使用上述参数中的任意组合或其他参数以确定具有低额损耗的存储部。通过确定具有低额损耗的存储部来选择恢复的存储部可有助于发现未充分利用的存储部,还可由于损耗均衡而被恢复,等等。
在另一种实施方式中,存储部选择模块804通过识别具有高额损耗的存储部或擦除块来选择恢复的存储部。例如,识别具有高额损耗的存储部或擦除块来选择恢复的存储部包括识别擦除重复次数多、位出错率高、具有不可恢复的ECC块或程序计数高的存储部。存储部选择模块804还可使用上述参数的任意组合或其他参数以确定具有高额损耗的存储部。通过确定具有高额损耗的存储部来选择恢复的存储部可有助于发现被过度使用的存储部,还可通过利用擦除周期刷新所述存储部而被恢复等等,或者使所述存储部像不能使用那样不提供服务。
装置800包括数据恢复模块806,该数据恢复模块806从选定为恢复的存储部中读取有效数据包、将所述有效数据包与其他将要由顺序存储模块802顺序地写入的数据包排队并更新具有由顺序存储模块802写入的有效数据的新物理地址的索引。通常,所述索引为对象索引,该对象索引将对象的数据对象标识符映射到形成包的位置的物理地址,所述数据对象存储在固态存储器110中。
在一种实施方式中,装置800包括存储部恢复模块808,该存储部恢复模块808为使用或再使用而准备所述存储部并将所述存储部标记为对顺序存储模块802可用,以在数据恢复模块806完成从所述存储部中复制有效数据之后顺序地写入数据包。在另一种实施方式中,装置800包括存储部恢复模块808,该存储部恢复模块808将选定为恢复的存储部标记为无法存储数据。通常,这是由于存储部选择模块804识别具有高额损耗的存储部或擦除块来选择恢复的存储部,从而使得所述存储部或擦除块没有条件被用于可靠的数据存储。
在一种实施方式中,装置800位于固态存储设备102的固态存储设备控制器202内。在另一种实施方式中,装置800控制固态存储设备控制器202。在另一种实施方式中,装置800的一部分位于固态存储设备控制器202内。在另一种实施方式中,由数据恢复模块806更新的对象索引也位于固态存储设备控制器202内。
在一种实施方式中,所述存储部为擦除块,并且装置800包括擦除模块810,该擦除模块810在数据恢复模块806完成从所述选定的擦除块中复制有效数据包之后并在存储部恢复模块808将所述擦除块标记为可用之前,擦除选定为恢复的擦除块。对于闪存和其他擦除操作消耗的时间比读取或写入操作消耗的时间长得多的固态存储器来说,在使数据块可以写入新数据之前擦除所述数据块有助于高效的操作。当固态存储器110布置在内存库214内时,擦除模块810的擦除操作可在一个内存库上执行,而另一个内存库可执行读取、写入或其他操作。
在一种实施方式中,装置800包括垃圾标记模块812,该垃圾标记模块812将存储部中的数据包识别为无效,以响应指示所述数据包不再有效的操作。例如,如果数据包被删除,垃圾标记模块812可将所述数据包识别为无效。读-修改-写操作是用于将数据包识别为无效的另一种方法。在一种实施方式中,垃圾标记模块812可通过更新索引将所述数据包识别为无效。在另一种实施方式中,垃圾标记模块812可通过存储另一数据包将所述数据包识别为无效,所述另一数据包指示无效的数据包已经被删除。这种方法是有利的,这是由于在固态存储器110中存储所述数据包已被删除的信息允许对象索引重建模块262或类似模块重建具有项的对象索引,所述项指示所述无效的数据包已经被删除。
在一种实施方式中,装置800可被用于在清洗命令之后填充数据的虚拟页中的剩余部分,以提升整体的性能,其中,所述清洗命令使数据停止流入写入数据管道106,直到写入数据管道106为空且所有的包已被永久地写入非易失性固态存储器110。这具有以下好处:降低了需要的垃圾收集的量、减少了用于擦除存储部的时间并减少了编程虚拟页所需的时间。例如,可仅在准备将一个小包写入固态存储器100的虚拟页内时,接收清洗命令。编程这个几乎为空的页可能会引起下述结果:需要立即恢复浪费的空间;导致所述存储部内的有效数据被当作垃圾不必要的收集;及擦除、恢复所述存储空间并将所述存储空间返回到可用空间池以被顺序存储模块802写入。
将所述数据包标记为无效而不是实际上擦除无效的数据包是有效率的,这是因为,如上所述,对于闪存和其他类似存储器来说,擦除操作消耗相当长的时间。允许垃圾收集系统(如装置800中所述的)在固态存储器110内自主地运行提供了一种将擦除操作与读取、写入或其他更快的操作分开的方法,从而使得固态存储设备102能比其他许多固态存储系统或数据存储设备运行得快得多。
图9是示意性流程图,示出了根据本发明的用于存储恢复的方法900的一种实施方式。方法900始于步骤902,顺序存储模块802将数据包顺序地写入存储部(步骤904)。所述存储部是固态存储设备102中的固态存储器110的一部分。通常,存储部为擦除块。所述数据包源于对象,而且所述数据包按处理的顺序被顺序地存储。
存储部选择模块804选择恢复的存储部(步骤906),并且数据恢复模块806从选定为恢复的存储部中读取有效的数据包(步骤908)。通常,有效的数据包为未被标记为擦除、删除或其他一些无效数据标识符的数据包,所述数据包被视为有效或“好”的数据。数据恢复模块806将有效的数据包与其他预定由顺序存储模块802顺序地写入的数据包排队(步骤910)。数据恢复模块806更新具有由顺序存储模块802所写入的数据的新物理地址的索引(步骤912)。所述索引包括从数据包的物理地址到对象标识符的映射。这些数据包存储在固态存储器110中,并且所述对象标识符对应于所述数据包。
在数据恢复模块806完成从所述存储部复制有效数据后,存储部恢复模块将选定为恢复的存储部标记为对顺序存储模块802可用(步骤914),以顺序地写入数据包,方法900结束于步骤916。
本发明可采用其他指定形式实施而不脱离本发明的宗旨或本质特点。描述的实施方式在各个方面被视为仅仅是示例性而不是限制性的。因此,本发明的范围由附属的权利要求确定,而不是由上述说明书确定。在本发明的权利要求的含义和等价范围内的所有改变被包含在本发明的保护范围内。

Claims (26)

1.一种用于存储恢复的装置,该装置包括:
将数据包顺序地写入存储部的顺序存储模块,所述存储部包括固态存储设备中的固态存储器的一部分,所述数据包源于对象,按照处理的顺序顺序地存储所述数据包;
存储部选择模块,该存储部选择模块在固态存储媒介上从多个存储部中选择存储部用于恢复;
数据恢复模块,该数据恢复模块实现如下功能:从选定为恢复的存储部中读取有效数据包、将所述有效数据包与其他将要由所述顺序存储模块顺序地写入的数据包排队并更新具有由所述顺序存储模块写入的有效数据的新物理地址的索引,所述索引包括从存储在所述固态存储器中的数据包的物理地址到对应于所述数据包的对象标识符之间的映射;
存储部恢复模块,该存储部恢复模块将所述选定为恢复的存储部标记为对所述顺序存储模块可用,以顺序地写入数据包,所述存储部被标记为恢复以响应所述数据恢复模块完成从所述存储部中复制有效数据,以及其中在数据包被写入所述存储部时,所述存储部被标记有序列号;及
对象索引重建模块,该对象索引重建模块使用存储部序列号和数据包头重建索引。
2.如权利要求1所述的装置,其中,所述顺序存储模块、所述存储部选择模块、所述数据恢复模块和所述存储部恢复模块位于所述固态存储设备内的固态存储设备控制器中,并且所述固态存储设备控制器创建并保持对象索引,且所述对象索引位于所述固态存储设备内。
3.如权利要求1所述的装置,其中,所述存储部是擦除块,所述装置进一步包括擦除模块,该擦除模块在所述存储部恢复模块将所述擦除块标记为可恢复之前擦除选定为恢复的擦除块,擦除选定为恢复的擦除块以响应所述数据恢复模块从选定的擦除块中复制有效数据包。
4.如权利要求3所述的装置,其中,所述固态存储器布置在两个或更多个内存库内,并且当所述顺序存储模块将数据包写入第二内存库中的存储部时,所述擦除模块擦除第一内存库中的擦除块。
5.如权利要求3所述的装置,其中,所述固态存储器布置在两个或更多个内存库内,并且当从第二内存库中的存储部读取数据时,所述擦除模块擦除第一内存库中的擦除块。
6.如权利要求1所述的装置,其中,所述存储部选择模块、所述数据恢复模块和所述存储部恢复模块自主地运行。
7.如权利要求2所述的装置,进一步包括垃圾标记模块,该垃圾标记模块将存储部中的数据包识别为无效,以响应指示所述数据包不再有效的操作。
8.如权利要求7所述的装置,其中,所述存储部内的所述数据包是第一数据包,指示所述第一数据包不再有效的操作包括当所述第一数据包无效时,将第二数据包写入所述固态存储设备。
9.如权利要求7所述的装置,其中,指示所述数据包不再有效的操作包括删除操作和读-修改-写操作中的一种,所述删除操作预示着所述数据包将被删除,而所述读-修改-写操作包括读取所述数据包、修改所述数据包并将修改过的数据包写入另一位置,由所述顺序存储模块将所述修改过的数据包写入另一位置。
10.如权利要求7所述的装置,其中,将数据包识别为无效包括修改所述对象索引中的项以指示所述数据包为无效。
11.如权利要求1所述的装置,其中,所述存储部选择模块通过识别具有低额损耗的存储部来选择恢复的存储部。
12.如权利要求11所述的装置,其中,识别具有低额损耗的存储部包括识别具有少量无效数据的存储部。
13.如权利要求11所述的装置,其中,识别具有低额损耗的存储部包括识别擦除重复次数少的存储部。
14.如权利要求11所述的装置,其中,识别具有低额损耗的存储部包括识别编程计数低的存储部,其中,编程包括将数据包写入所述存储部内的指定页。
15.如权利要求11所述的装置,其中,识别具有低额损耗的存储部包括识别位出错率低的存储部。
16.如权利要求1所述的装置,其中,所述存储部选择模块通过识别具有高额损耗的存储部来选择恢复的存储部。
17.如权利要求16所述的装置,其中,识别具有高额损耗的存储部包括识别擦除重复次数多的存储部。
18.如权利要求16所述的装置,其中,所述存储部恢复模块将所述选定为恢复的存储部标记为不可存储数据。
19.如权利要求16所述的装置,其中,识别具有高额损耗的存储部包括识别位出错率高的存储部。
20.如权利要求19所述的装置,其中,识别位出错率高的存储部包括识别具有不可恢复的纠错码(“ECC”)块的存储部。
21.如权利要求1所述的装置,其中,所述存储部选择模块通过识别具有大量无效数据的存储部来选择恢复的存储部。
22.如权利要求1所述的装置,其中,所述存储部选择模块通过识别使用下述参数中的两个或更多个的组合的存储部来选择恢复的存储部:编程计数、擦除周期计数、位出错率、无效数据的量、擦除重复的次数及不可恢复的ECC块的数量。
23.如权利要求1所述的装置,其中,所述固态存储器布置在存储元件的阵列中,并且存储部包括虚拟存储部,该虚拟存储部包括一起存取的存储元件行中的每一个存储元件内的存储部。
24.一种用于存储恢复的系统,该系统包括:
包括固态存储器的固态存储设备,所述固态存储器包括一个或多个存储部,每个存储部包括所述固态存储设备中的所述固态存储器的一部分,所述固态存储设备包括:
将数据包顺序地写入存储部的顺序存储模块,所述数据包源于对象,按照处理的顺序顺序地存储所述数据包;
存储部选择模块,该存储部选择模块从一个或多个存储部中选择存储部用于恢复;
数据恢复模块,该数据恢复模块实现如下功能:从选定为恢复的存储部中读取有效数据包、将所述有效数据包与其他将要由所述顺序存储模块顺序地写入的数据包排队并更新具有由所述顺序存储模块写入的有效数据的新物理地址的索引,所述索引包括从存储在所述固态存储器中的数据包的物理地址到对应于所述数据包的对象标识符之间的映射;
存储部恢复模块,该存储部恢复模块将所述选定为恢复的存储部标记为对所述顺序存储模块可用,以顺序地写入数据包,所述存储部被标记为恢复以响应所述数据恢复模块完成从所述存储部中复制有效数据,以及其中当存储部被恢复时,时间戳被写入所述存储部;及
对象索引重建模块,该对象索引重建模块使用存储部时间戳和数据包头重建索引。
25.一种用于存储恢复的方法,该方法包括:
将数据包顺序地写入存储部,所述存储部包括固态存储设备中的固态存储器的一部分,所述数据包源于对象,按照处理的顺序顺序地存储所述数据包;
从固态存储媒介上的多个存储部中选择存储部用于恢复;
从选定为恢复的存储部中读取有效数据包;
将所述有效数据包与其他为顺序地写入而排队的数据包排队;
更新具有由顺序存储模块写入的有效数据的新物理地址的索引,所述索引包括从存储在所述固态存储器中的数据包的物理地址到对应于所述数据包的对象标识符之间的映射;
将所述选定为恢复的存储部标记为可用,以顺序地写入数据包,所述存储部被标记为恢复以响应完成从所述存储部中复制有效数据,其中所述标记包括当恢复存储部时,用序列号标记所述存储部;及
使用所述存储部的序列号及从数据包头收集的信息重建索引。
26.如权利要求25所述的方法,其中,所述存储部是擦除块,该方法进一步包括:
在存储部恢复模块将所述擦除块标记为可恢复之前擦除选定为恢复的擦除块,擦除选定为恢复的擦除块以响应数据恢复模块从选定的擦除块中复制有效数据包;及
将存储部中的数据包识别为无效,以响应指示所述数据包不再有效的操作。
CN200780050969.8A 2006-12-06 2007-12-06 恢复固态存储器内的存储空间的装置、系统和方法 Active CN101646993B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US87311106P 2006-12-06 2006-12-06
US60/873,111 2006-12-06
US97447007P 2007-09-22 2007-09-22
US60/974,470 2007-09-22
PCT/US2007/086688 WO2008070800A1 (en) 2006-12-06 2007-12-06 Apparatus, system, and method for storage space recovery in solid-state storage

Publications (2)

Publication Number Publication Date
CN101646993A CN101646993A (zh) 2010-02-10
CN101646993B true CN101646993B (zh) 2017-04-12

Family

ID=39492874

Family Applications (7)

Application Number Title Priority Date Filing Date
CN200780051020A Pending CN101622596A (zh) 2006-12-06 2007-12-06 使用空数据令牌指令管理存储设备中的数据的装置、系统和方法
CN200780050989A Pending CN101622595A (zh) 2006-12-06 2007-12-06 用于服务器内的存储区域网络的装置、系统和方法
CN200780051034.1A Expired - Fee Related CN101636712B (zh) 2006-12-06 2007-12-06 在存储控制器内服务对象请求的装置、系统和方法
CN200780050969.8A Active CN101646993B (zh) 2006-12-06 2007-12-06 恢复固态存储器内的存储空间的装置、系统和方法
CN200780050973.4A Active CN101622606B (zh) 2006-12-06 2007-12-06 用于作为大容量、非易失性存储器的高速缓存的固态存储器的装置、系统和方法
CN200780051027.1A Active CN101646994B (zh) 2006-12-06 2007-12-06 利用内存库交错管理固态存储器的命令的装置、系统及方法
CN200780050983A Pending CN101657802A (zh) 2006-12-06 2007-12-06 用于远程直接存储器存取固态存储设备的装置、系统及方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN200780051020A Pending CN101622596A (zh) 2006-12-06 2007-12-06 使用空数据令牌指令管理存储设备中的数据的装置、系统和方法
CN200780050989A Pending CN101622595A (zh) 2006-12-06 2007-12-06 用于服务器内的存储区域网络的装置、系统和方法
CN200780051034.1A Expired - Fee Related CN101636712B (zh) 2006-12-06 2007-12-06 在存储控制器内服务对象请求的装置、系统和方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN200780050973.4A Active CN101622606B (zh) 2006-12-06 2007-12-06 用于作为大容量、非易失性存储器的高速缓存的固态存储器的装置、系统和方法
CN200780051027.1A Active CN101646994B (zh) 2006-12-06 2007-12-06 利用内存库交错管理固态存储器的命令的装置、系统及方法
CN200780050983A Pending CN101657802A (zh) 2006-12-06 2007-12-06 用于远程直接存储器存取固态存储设备的装置、系统及方法

Country Status (3)

Country Link
US (2) US7778020B2 (zh)
CN (7) CN101622596A (zh)
WO (1) WO2008070175A2 (zh)

Families Citing this family (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004056243A1 (de) * 2004-11-22 2006-05-24 Abb Patent Gmbh Modulares Automatisierungssystem
US8498309B2 (en) * 2005-05-18 2013-07-30 Intel Corporation Data transport module
WO2008070814A2 (en) 2006-12-06 2008-06-12 Fusion Multisystems, Inc. (Dba Fusion-Io) Apparatus, system, and method for a scalable, composite, reconfigurable backplane
CN101622596A (zh) * 2006-12-06 2010-01-06 弗森多系统公司(dba弗森-艾奥) 使用空数据令牌指令管理存储设备中的数据的装置、系统和方法
US7896702B2 (en) 2008-06-06 2011-03-01 Apple Inc. Compact power adapter
WO2009154630A1 (en) * 2008-06-20 2009-12-23 Hewlett-Packard Development Company, L.P. Low level initializer
US20100070653A1 (en) * 2008-09-18 2010-03-18 Vedran Degoricija IO Card Receiving Unit
US8021183B2 (en) 2008-10-31 2011-09-20 Apple Inc. Cold headed electric plug arm
US8208253B1 (en) * 2008-11-18 2012-06-26 Force10 Networks, Inc. Modular chassis arrangement with separately cooled logic and logic power modules
US8934261B2 (en) * 2008-12-23 2015-01-13 Apple Inc. Compact device housing and assembly techniques therefor
US9497039B2 (en) 2009-05-28 2016-11-15 Microsoft Technology Licensing, Llc Agile data center network architecture
US8972601B2 (en) * 2009-10-09 2015-03-03 Microsoft Technology Licensing, Llc Flyways in data centers
DE102009057273A1 (de) * 2009-12-08 2011-06-09 Diehl Bgt Defence Gmbh & Co. Kg Elektronische Baugruppe
US9015268B2 (en) * 2010-04-02 2015-04-21 Intel Corporation Remote direct storage access
US9391716B2 (en) 2010-04-05 2016-07-12 Microsoft Technology Licensing, Llc Data center using wireless communication
EP2391195A3 (en) * 2010-05-31 2015-03-18 Caswell Inc. High-density computer system with high-performance CPU card sharing structure
US20120020349A1 (en) * 2010-07-21 2012-01-26 GraphStream Incorporated Architecture for a robust computing system
US8441792B2 (en) 2010-07-21 2013-05-14 Birchbridge Incorporated Universal conduction cooling platform
US8411440B2 (en) 2010-07-21 2013-04-02 Birchbridge Incorporated Cooled universal hardware platform
US8410364B2 (en) 2010-07-21 2013-04-02 Birchbridge Incorporated Universal rack cable management system
US8259450B2 (en) 2010-07-21 2012-09-04 Birchbridge Incorporated Mobile universal hardware platform
US8441793B2 (en) 2010-07-21 2013-05-14 Birchbridge Incorporated Universal rack backplane system
CN101944185A (zh) * 2010-09-03 2011-01-12 深圳市江波龙电子有限公司 一种智能存储设备读写方法、装置及智能存储设备
US8850114B2 (en) 2010-09-07 2014-09-30 Daniel L Rosenband Storage array controller for flash-based storage devices
US20120106052A1 (en) * 2010-10-29 2012-05-03 Odineal Robert D Twin-mate cpu assembly
US9092149B2 (en) * 2010-11-03 2015-07-28 Microsoft Technology Licensing, Llc Virtualization and offload reads and writes
US8601311B2 (en) * 2010-12-14 2013-12-03 Western Digital Technologies, Inc. System and method for using over-provisioned data capacity to maintain a data redundancy scheme in a solid state memory
US9703706B2 (en) * 2011-02-28 2017-07-11 Oracle International Corporation Universal cache management system
US9146765B2 (en) 2011-03-11 2015-09-29 Microsoft Technology Licensing, Llc Virtual disk storage techniques
US9417894B1 (en) 2011-06-15 2016-08-16 Ryft Systems, Inc. Methods and apparatus for a tablet computer system incorporating a reprogrammable circuit module
US20120324143A1 (en) 2011-06-15 2012-12-20 Data Design Corporation Methods and apparatus for data access by a reprogrammable circuit module
CN102323901A (zh) * 2011-07-28 2012-01-18 张岭 一种提高固态存储系统纠错码使用效率的方法
CN102955502B (zh) * 2011-08-25 2017-05-17 赛恩倍吉科技顾问(深圳)有限公司 背板接口电路、硬盘背板及服务器系统
CN102521389A (zh) * 2011-12-23 2012-06-27 天津神舟通用数据技术有限公司 一种混合使用固态硬盘和传统硬盘的postgresql数据库集群系统及其优化方法
CN103186195A (zh) * 2011-12-29 2013-07-03 鸿富锦精密工业(深圳)有限公司 服务器空盘组合及具有该服务器空盘组合的机柜组合
CN102520890B (zh) * 2011-12-30 2014-10-22 北京天地云箱科技有限公司 基于gpu的rs-draid系统及存储设备数据控制方法
US9817582B2 (en) 2012-01-09 2017-11-14 Microsoft Technology Licensing, Llc Offload read and write offload provider
US20130238851A1 (en) * 2012-03-07 2013-09-12 Netapp, Inc. Hybrid storage aggregate block tracking
US8832158B2 (en) * 2012-03-29 2014-09-09 International Business Machines Corporation Fast predicate table scans using single instruction, multiple data architecture
US8804313B2 (en) 2012-06-22 2014-08-12 Microsoft Corporation Enclosure power distribution architectures
US9078375B1 (en) * 2012-06-25 2015-07-07 Google Inc. Hardware plane providing improved cooling air flow
US9712373B1 (en) * 2012-07-30 2017-07-18 Rambus Inc. System and method for memory access in server communications
US9304828B2 (en) * 2012-09-27 2016-04-05 Hitachi, Ltd. Hierarchy memory management
CN103714091B (zh) * 2012-10-09 2020-01-21 创新先进技术有限公司 一种生成对象识别符及从其中提取属性信息的方法及装置
US9229497B2 (en) 2012-11-08 2016-01-05 Silicon Graphics International Corp. On-blade cold sink for high-density clustered computer system
US9360908B2 (en) * 2012-12-12 2016-06-07 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Sequential power up of devices in a computing cluster based on device function
US9071585B2 (en) 2012-12-12 2015-06-30 Microsoft Technology Licensing, Llc Copy offload for disparate offload providers
US9251201B2 (en) 2012-12-14 2016-02-02 Microsoft Technology Licensing, Llc Compatibly extending offload token size
CN103034559B (zh) * 2012-12-18 2016-06-08 无锡众志和达数据计算股份有限公司 基于rdma架构设计的pq检验模块及检验方法
CN103914395B (zh) * 2013-01-06 2017-02-08 北京忆恒创源科技有限公司 用于存储设备的地址映射方法
CN103207894A (zh) * 2013-03-14 2013-07-17 深圳市知正科技有限公司 一种多路实时视频数据存储系统及其进行缓存控制的方法
US9335950B2 (en) * 2013-03-15 2016-05-10 Western Digital Technologies, Inc. Multiple stream compression and formatting of data for data storage systems
US9448738B2 (en) 2013-03-15 2016-09-20 Western Digital Technologies, Inc. Compression and formatting of data for data storage systems
CN104216837A (zh) * 2013-05-31 2014-12-17 华为技术有限公司 一种内存系统、内存访问请求的处理方法和计算机系统
US9430412B2 (en) 2013-06-26 2016-08-30 Cnex Labs, Inc. NVM express controller for remote access of memory and I/O over Ethernet-type networks
CN103440202B (zh) * 2013-08-07 2016-12-28 华为技术有限公司 一种基于rdma的通信方法、系统及通信设备
US9898410B2 (en) * 2013-09-10 2018-02-20 Intel Corporation Hybrid main memory using a fine-grain level of remapping
CN103558995B (zh) * 2013-10-15 2016-09-28 华为技术有限公司 一种存储控制芯片及磁盘报文传输方法
CN103530237B (zh) * 2013-10-31 2016-02-17 厦门大学 一种固态盘阵列的垃圾回收方法
CN103699340B (zh) * 2013-12-16 2016-12-07 华为数字技术(苏州)有限公司 一种请求处理方法及设备
CN104932981B (zh) * 2014-03-20 2018-05-25 宏达国际电子股份有限公司 移动电子装置与清理存储区块的方法
CN103970690A (zh) * 2014-05-19 2014-08-06 浪潮电子信息产业股份有限公司 一种基于通道绑定的高性能高容错存储设计方法和装置
US9730355B2 (en) * 2014-06-11 2017-08-08 Dell Products, L.P. Provisioning of lightweight configurable servers with chassis base and cover designed for nested stacking
US20160088772A1 (en) * 2014-09-04 2016-03-24 Avalanche Technology, Inc. Method and apparatus to reduce thermal resistance in a server chassis
US9582201B2 (en) * 2014-09-26 2017-02-28 Western Digital Technologies, Inc. Multi-tier scheme for logical storage management
US9678677B2 (en) * 2014-12-09 2017-06-13 Intel Corporation Determining adjustments to the spare space in a storage device unavailable to a user based on a current consumption profile of a storage device
WO2016118112A1 (en) * 2015-01-20 2016-07-28 Hewlett Packard Enterprise Development Lp Latch assembly for a computing device
US10025747B2 (en) * 2015-05-07 2018-07-17 Samsung Electronics Co., Ltd. I/O channel scrambling/ECC disassociated communication protocol
SG11201708381PA (en) * 2015-05-21 2017-11-29 Agency Science Tech & Res Cache architecture and algorithms for hybrid object storage devices
US9954751B2 (en) 2015-05-29 2018-04-24 Microsoft Technology Licensing, Llc Measuring performance of a network using mirrored probe packets
US20160350002A1 (en) * 2015-05-29 2016-12-01 Intel Corporation Memory device specific self refresh entry and exit
KR20170012629A (ko) * 2015-07-21 2017-02-03 에스케이하이닉스 주식회사 메모리 시스템 및 메모리 시스템의 동작 방법
US10713210B2 (en) * 2015-10-13 2020-07-14 Microsoft Technology Licensing, Llc Distributed self-directed lock-free RDMA-based B-tree key-value manager
US10237999B2 (en) 2015-10-30 2019-03-19 Hewlett Packard Enterprise Development Lp Configurable node expansion space
US10188016B2 (en) 2015-10-30 2019-01-22 Hewlett Packard Enterprise Development Lp Node blind mate liquid cooling
US10437480B2 (en) * 2015-12-01 2019-10-08 Futurewei Technologies, Inc. Intelligent coded memory architecture with enhanced access scheduler
CN105550097A (zh) * 2015-12-02 2016-05-04 英业达科技有限公司 非易失性内存固态硬盘的灯号控制系统
CN105389248A (zh) * 2015-12-02 2016-03-09 英业达科技有限公司 非易失性内存固态硬盘的灯号控制系统
US10437483B2 (en) 2015-12-17 2019-10-08 Samsung Electronics Co., Ltd. Computing system with communication mechanism and method of operation thereof
TWI571745B (zh) * 2016-01-26 2017-02-21 鴻海精密工業股份有限公司 緩存管理方法及使用該方法的電子裝置
US10621041B2 (en) 2016-03-25 2020-04-14 Intel Corporation Methods and apparatus to assign indices and relocate object fragments in distributed storage systems
US10346044B2 (en) * 2016-04-14 2019-07-09 Western Digital Technologies, Inc. Preloading of directory data in data storage devices
KR102635134B1 (ko) * 2016-06-30 2024-02-08 에스케이하이닉스 주식회사 메모리 컨트롤러, 비동기식 메모리 버퍼칩 및 이를 포함하는 메모리 시스템
US11861188B2 (en) * 2016-07-19 2024-01-02 Pure Storage, Inc. System having modular accelerators
CN108089814B (zh) * 2016-11-23 2021-04-06 中移(苏州)软件技术有限公司 一种数据存储方法及装置
CN106598730B (zh) * 2016-11-24 2020-06-12 上海交通大学 基于非易失性内存的可在线恢复对象分配器设计方法
CN106776815B (zh) * 2016-11-24 2020-07-14 上海交通大学 基于多模式切换的rdma友好的sparql查询方法
JP2018088137A (ja) 2016-11-29 2018-06-07 東芝メモリ株式会社 半導体記憶装置
CN106598742B (zh) * 2016-12-26 2020-01-03 湖南国科微电子股份有限公司 一种ssd主控内部负载均衡系统及方法
CN106708441B (zh) * 2016-12-29 2019-06-21 至誉科技(武汉)有限公司 一种用于降低固态存储读延迟的操作方法
CN106959828A (zh) * 2017-03-31 2017-07-18 山东超越数控电子有限公司 一种基于国产平台的硬件raid系统及其实现方法
EP3662474B1 (en) * 2017-07-30 2023-02-22 NeuroBlade Ltd. A memory-based distributed processor architecture
CN107506138B (zh) * 2017-08-11 2020-12-18 东莞记忆存储科技有限公司 一种固态硬盘提升寿命的方法
CN107688442B (zh) * 2017-09-04 2020-11-20 苏州浪潮智能科技有限公司 一种用于固态硬盘的虚拟块管理方法
CN107608914B (zh) * 2017-09-29 2020-09-29 北京字节跳动网络技术有限公司 一种多路存储设备的访问方法、装置及移动终端
US20190121402A1 (en) * 2017-10-24 2019-04-25 Intel Corporation Computer chassis with parallel backplanes
CN109753225B (zh) * 2017-11-03 2020-06-02 华为技术有限公司 一种数据存储方法及设备
TWI636366B (zh) * 2017-11-22 2018-09-21 緯穎科技服務股份有限公司 資料冗餘的處理方法及其相關電腦系統
CN110058792B (zh) * 2018-01-18 2022-08-30 伊姆西Ip控股有限责任公司 扩大存储空间的方法、设备以及计算机程序产品
EP3562283A1 (de) * 2018-04-25 2019-10-30 Siemens Aktiengesellschaft Modulare backplaneanordnung
CN110568992A (zh) * 2018-06-06 2019-12-13 华为技术有限公司 一种数据处理装置及方法
CN108763589B (zh) * 2018-06-20 2021-12-07 程慧泉 一种分布式文件系统的目录系统及其实现方法
CN110659226A (zh) * 2018-06-28 2020-01-07 晨星半导体股份有限公司 用以存取数据的方法以及相关电路
KR102516584B1 (ko) * 2018-11-21 2023-04-03 에스케이하이닉스 주식회사 메모리 시스템
KR102549346B1 (ko) 2018-07-24 2023-06-28 삼성전자주식회사 솔리드 스테이트 드라이브 및 그의 메타 데이터 액세스 방법
CN109062511B (zh) * 2018-07-26 2021-12-17 浪潮电子信息产业股份有限公司 一种数据读取的方法以及相关装置
US11327656B2 (en) * 2018-08-03 2022-05-10 Mobileye Vision Technologies Ltd. Accessing a dynamic memory module
US11099778B2 (en) * 2018-08-08 2021-08-24 Micron Technology, Inc. Controller command scheduling in a memory system to increase command bus utilization
CN110837479B (zh) * 2018-08-17 2023-09-01 华为云计算技术有限公司 数据处理方法、相关设备及计算机存储介质
US10909012B2 (en) * 2018-11-12 2021-02-02 H3 Platform, Inc. System having persistent memory
CN109656479B (zh) * 2018-12-11 2022-03-25 湖南国科微电子股份有限公司 一种构建存储器命令序列的方法及装置
KR20200076923A (ko) * 2018-12-20 2020-06-30 에스케이하이닉스 주식회사 저장 장치, 컨트롤러 및 저장 장치의 동작 방법
TWM577125U (zh) * 2019-01-04 2019-04-21 華碩電腦股份有限公司 電子設備及其主機
CN109902035B (zh) * 2019-02-03 2023-10-31 成都皮兆永存科技有限公司 复合存储器
CN113330410A (zh) * 2019-03-01 2021-08-31 阿里巴巴集团控股有限公司 用于管理非易失性存储器和闪存作为计算对象接口固态驱动器的方法和装置
CN109992212B (zh) * 2019-04-10 2020-03-27 苏州浪潮智能科技有限公司 一种数据写入方法和一种数据读取方法
US10888012B2 (en) * 2019-05-16 2021-01-05 Hewlett Packard Enterprise Development Lp Printed circuit board orientations
US10958003B2 (en) * 2019-08-09 2021-03-23 Intel Corporation Interleaved card/riser connection assembly for compact card integration
CN111208882B (zh) * 2020-01-03 2023-07-07 英业达科技有限公司 一种gpu及机箱硬件架构
CN111813340A (zh) * 2020-07-10 2020-10-23 杭州海康威视数字技术股份有限公司 基于固态硬盘的指令响应方法、系统、装置及电子设备
CN112083881B (zh) * 2020-08-24 2022-10-18 云南财经大学 一种基于持久化内存的一体化天文数据采集与存储系统
CN112187760B (zh) * 2020-09-22 2022-11-08 宏图智能物流股份有限公司 一种基于数据拆分的网络请求防篡改方法
US11593021B2 (en) * 2020-11-06 2023-02-28 Hewlett Packard Enterprise Development Lp Writing a container index to persistent storage
US11531498B2 (en) * 2020-11-20 2022-12-20 Western Digital Technologies, Inc. Peer storage device messaging over control bus
CN113934697B (zh) * 2021-10-21 2022-04-08 中孚安全技术有限公司 一种基于内核文件过滤驱动提升io性能方法及系统
CN114153649B (zh) * 2021-12-09 2023-04-14 合肥康芯威存储技术有限公司 一种数据存储设备及其控制方法与电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6240040B1 (en) * 2000-03-15 2001-05-29 Advanced Micro Devices, Inc. Multiple bank simultaneous operation for a flash memory

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3466591A (en) * 1964-10-30 1969-09-09 Olivetti & Co Spa Electrical connector for printed-circuit boards
US4858070A (en) * 1987-04-24 1989-08-15 Racal Data Communications Inc. Modular expandable housing arrangement for electronic apparatus
US5261068A (en) 1990-05-25 1993-11-09 Dell Usa L.P. Dual path memory retrieval system for an interleaved dynamic RAM memory unit
CA2055078A1 (en) * 1990-11-16 1992-05-17 Tokuhei Takashima Parallel processing system
US5122691A (en) * 1990-11-21 1992-06-16 Balu Balakrishnan Integrated backplane interconnection architecture
US5438671A (en) 1991-07-19 1995-08-01 Dell U.S.A., L.P. Method and system for transferring compressed bytes of information between separate hard disk drive units
US5335146A (en) * 1992-01-29 1994-08-02 International Business Machines Corporation High density packaging for device requiring large numbers of unique signals utilizing orthogonal plugging and zero insertion force connetors
US5352123A (en) * 1992-06-08 1994-10-04 Quickturn Systems, Incorporated Switching midplane and interconnection system for interconnecting large numbers of signals
US5845329A (en) 1993-01-29 1998-12-01 Sanyo Electric Co., Ltd. Parallel computer
US6170047B1 (en) 1994-11-16 2001-01-02 Interactive Silicon, Inc. System and method for managing system memory and/or non-volatile memory using a memory controller with integrated compression and decompression capabilities
US6002411A (en) 1994-11-16 1999-12-14 Interactive Silicon, Inc. Integrated video and memory controller with data processing and graphical processing capabilities
US5701434A (en) 1995-03-16 1997-12-23 Hitachi, Ltd. Interleave memory controller with a common access queue
EP0747825B1 (en) 1995-06-06 2001-09-19 Hewlett-Packard Company, A Delaware Corporation SDRAM data allocation system and method
JP3732869B2 (ja) * 1995-06-07 2006-01-11 株式会社日立製作所 外部記憶装置
US6330688B1 (en) 1995-10-31 2001-12-11 Intel Corporation On chip error correction for devices in a solid state drive
US6385710B1 (en) 1996-02-23 2002-05-07 Sun Microsystems, Inc. Multiple-mode external cache subsystem
US5960462A (en) 1996-09-26 1999-09-28 Intel Corporation Method and apparatus for analyzing a main memory configuration to program a memory controller
US5754567A (en) 1996-10-15 1998-05-19 Micron Quantum Devices, Inc. Write reduction in flash memory systems through ECC usage
JP3459868B2 (ja) 1997-05-16 2003-10-27 日本電気株式会社 メモリ障害時におけるグループ入れ替え方式
US6418478B1 (en) 1997-10-30 2002-07-09 Commvault Systems, Inc. Pipelined high speed data transfer mechanism
US6185654B1 (en) 1998-07-17 2001-02-06 Compaq Computer Corporation Phantom resource memory address mapping system
US6412080B1 (en) 1999-02-23 2002-06-25 Microsoft Corporation Lightweight persistent storage system for flash memory devices
TW443083B (en) * 1999-06-23 2001-06-23 Asustek Comp Inc Printed circuit board structure
US6983350B1 (en) * 1999-08-31 2006-01-03 Intel Corporation SDRAM controller for parallel processor architecture
KR100577380B1 (ko) 1999-09-29 2006-05-09 삼성전자주식회사 플래시 메모리와 그 제어 방법
US6496366B1 (en) * 1999-10-26 2002-12-17 Rackable Systems, Llc High density computer equipment storage system
US6850408B1 (en) * 1999-10-26 2005-02-01 Rackable Systems, Inc. High density computer equipment storage systems
US6785785B2 (en) 2000-01-25 2004-08-31 Hewlett-Packard Development Company, L.P. Method for supporting multi-level stripping of non-homogeneous memory to maximize concurrency
US6671757B1 (en) 2000-01-26 2003-12-30 Fusionone, Inc. Data transfer and synchronization system
USD475705S1 (en) * 2000-02-18 2003-06-10 Rackable Systems, Inc. Computer chassis for dual, opposing main boards
US7089391B2 (en) 2000-04-14 2006-08-08 Quickshift, Inc. Managing a codec engine for memory compression/decompression operations using a data movement engine
US6523102B1 (en) 2000-04-14 2003-02-18 Interactive Silicon, Inc. Parallel compression/decompression system and method for implementation of in-memory compressed cache improving storage density and access speed for industry standard memory subsystems and in-line memory modules
US6525926B1 (en) * 2000-07-11 2003-02-25 Racklogic Technologies, Inc. Multinode high density computing apparatus
US6411506B1 (en) * 2000-07-20 2002-06-25 Rlx Technologies, Inc. High density web server chassis system and method
JP4397109B2 (ja) * 2000-08-14 2010-01-13 富士通株式会社 情報処理装置及びクロスバーボードユニット・バックパネル組立体の製造方法
US6883079B1 (en) 2000-09-01 2005-04-19 Maxtor Corporation Method and apparatus for using data compression as a means of increasing buffer bandwidth
US6625685B1 (en) 2000-09-20 2003-09-23 Broadcom Corporation Memory controller with programmable configuration
US6779088B1 (en) 2000-10-24 2004-08-17 International Business Machines Corporation Virtual uncompressed cache size control in compressed memory systems
US20020069317A1 (en) 2000-12-01 2002-06-06 Chow Yan Chiew E-RAID system and method of operating the same
US6824393B2 (en) 2001-05-29 2004-11-30 International Business Machines Corporation Fragmented backplane system for I/O applications
US6839808B2 (en) 2001-07-06 2005-01-04 Juniper Networks, Inc. Processing cluster having multiple compute engines and shared tier one caches
US6556440B2 (en) * 2001-07-26 2003-04-29 Dell Products L.P. Dishrack shroud for shielding and cooling
US20030033463A1 (en) 2001-08-10 2003-02-13 Garnett Paul J. Computer system storage
WO2003022024A1 (fr) * 2001-08-30 2003-03-13 Fujitsu Limited Unite de circuit imprime et appareil electronique
US6938133B2 (en) 2001-09-28 2005-08-30 Hewlett-Packard Development Company, L.P. Memory latency and bandwidth optimizations
US6715046B1 (en) * 2001-11-29 2004-03-30 Cisco Technology, Inc. Method and apparatus for reading from and writing to storage using acknowledged phases of sets of data
JP4061272B2 (ja) 2002-01-09 2008-03-12 株式会社ルネサステクノロジ メモリシステム及びメモリカード
US6724640B1 (en) * 2002-02-15 2004-04-20 Steve Cooper Blade armor shielding
JP2003281071A (ja) 2002-03-20 2003-10-03 Seiko Epson Corp データ転送制御装置、電子機器及びデータ転送制御方法
JP4050548B2 (ja) 2002-04-18 2008-02-20 株式会社ルネサステクノロジ 半導体記憶装置
US7043599B1 (en) 2002-06-20 2006-05-09 Rambus Inc. Dynamic memory supporting simultaneous refresh and data-access transactions
US6822878B2 (en) * 2002-10-09 2004-11-23 Hewlett-Packard Development Company, L.P. Circuit board support arrangement, method, and method for using the same
US7818519B2 (en) 2002-12-02 2010-10-19 Silverbrook Research Pty Ltd Timeslot arbitration scheme
JP2004348818A (ja) 2003-05-20 2004-12-09 Sharp Corp 半導体記憶装置の書込制御方法及びシステム並びに携帯電子機器
US7035111B1 (en) * 2003-05-23 2006-04-25 Hewlett-Packard Development Company, L.P. Circuit board orientation with different width portions
US7243203B2 (en) 2003-06-13 2007-07-10 Sandisk 3D Llc Pipeline circuit for low latency memory
WO2005065084A2 (en) 2003-11-13 2005-07-21 Commvault Systems, Inc. System and method for providing encryption in pipelined storage operations in a storage network
JP4524120B2 (ja) * 2004-02-03 2010-08-11 富士通株式会社 ブレード型光伝送装置
US7045717B2 (en) * 2004-06-30 2006-05-16 International Business Machines Corporation High speed cable interconnect to a computer midplane
US7716387B2 (en) 2005-07-14 2010-05-11 Canon Kabushiki Kaisha Memory control apparatus and method
US7344439B2 (en) * 2006-03-06 2008-03-18 International Business Machines Corporation System, method, and apparatus for distributing air in a blade server
CN101622596A (zh) * 2006-12-06 2010-01-06 弗森多系统公司(dba弗森-艾奥) 使用空数据令牌指令管理存储设备中的数据的装置、系统和方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6240040B1 (en) * 2000-03-15 2001-05-29 Advanced Micro Devices, Inc. Multiple bank simultaneous operation for a flash memory

Also Published As

Publication number Publication date
US7778020B2 (en) 2010-08-17
US20080225474A1 (en) 2008-09-18
CN101646994A (zh) 2010-02-10
CN101636712A (zh) 2010-01-27
US20080137284A1 (en) 2008-06-12
WO2008070175A3 (en) 2008-12-18
CN101622596A (zh) 2010-01-06
US7713068B2 (en) 2010-05-11
CN101622606B (zh) 2014-04-09
CN101646993A (zh) 2010-02-10
CN101636712B (zh) 2016-04-13
WO2008070175A2 (en) 2008-06-12
CN101622606A (zh) 2010-01-06
CN101657802A (zh) 2010-02-24
CN101646994B (zh) 2016-06-15
CN101622595A (zh) 2010-01-06

Similar Documents

Publication Publication Date Title
CN101646993B (zh) 恢复固态存储器内的存储空间的装置、系统和方法
CN103049058B (zh) 使用空数据令牌指令管理存储设备中的数据的装置、系统和方法
JP2010512584A5 (zh)
CN103098034B (zh) 用于条件和原子存储操作的装置和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1136059

Country of ref document: HK

ASS Succession or assignment of patent right

Owner name: CAIZHI INTELLECTUAL PROPERTY RIGHTS HOLDING COMPAN

Free format text: FORMER OWNER: FUSION MULTISYSTEMS INC

Effective date: 20140902

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20140902

Address after: Delaware

Applicant after: Intellectual property holding company (2)

Address before: Utah, USA

Applicant before: Fusion-io, Inc.

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160701

Address after: Luxemburg, Grand Duchy of Luxemburg

Applicant after: Longitude Business Flash Memory Co.

Address before: Luxemburg, Grand Duchy of Luxemburg

Applicant before: PS12 Lukesike Co.

Effective date of registration: 20160701

Address after: Luxemburg, Grand Duchy of Luxemburg

Applicant after: PS12 Lukesike Co.

Address before: Delaware

Applicant before: Intellectual property holding company (2)

C41 Transfer of patent application or patent right or utility model
CB02 Change of applicant information

Address after: Texas, USA

Applicant after: SANDISK TECHNOLOGIES LLC

Address before: Texas, USA

Applicant before: SANDISK TECHNOLOGIES Inc.

COR Change of bibliographic data
TA01 Transfer of patent application right

Effective date of registration: 20160722

Address after: Texas, USA

Applicant after: SANDISK TECHNOLOGIES Inc.

Address before: Luxemburg, Grand Duchy of Luxemburg

Applicant before: Longitude Business Flash Memory Co.

GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1136059

Country of ref document: HK