(完整版)华为RAID2.0技术细节

《(完整版)华为RAID2.0技术细节》由会员分享，可在线阅读，更多相关《(完整版)华为RAID2.0技术细节（9页珍藏版）》请在装配图网上搜索。

1、RAID 2.0 为增强型 RAID 技术，有效解决了机械硬盘容量越来越大，重构一块机械硬盘 所需时间越来越长，传统 RAID 组重构窗口越来越大而导致重构期间又故障一块硬盘而彻底 丢失数据风险的问题。RAID 2.0+在 RAID 2.0 的基础上提供了更细粒度的资源颗粒，形成存储资源的标准分配及 回收单位，类似计算虚拟化中的虚拟机。这些容量单位一致的虚拟块构成了一个统一的存储资源池，所有应用、中间件、虚拟机、操作系统所需的资源可以在这个资源池中按需分配及 回收。对于一个存储系统而言， 其可靠性的最重要标志就是其RAID 重构时间，时间越短，重构完成前再次坏盘的概率越低。早期存储系统大多使用

2、FC 盘且容量仅为几十个 G,因此重构时间较短，重构中再次坏盘的概率低。但随着近年来硬盘容量的快速增长，硬盘读写速度受磁盘转速等多方面影响增长缓慢，已无法满足系统对重构时间的要求。以一块 2TB 7.2K rpm 盘为例，重构时平均写入速度为 30M/S 左右，完成重构时间长达18 个小时，因此重构过程中出现新的坏盘概率到大大增加，数据丢失的风险也大大增加。传统RAID 技术已无法满足在系统中使用现代大容量硬盘的要求。在过去的几年里，许多存储领域的创新型初创公司如HUAWEI、3PAR 等公司已经将磁盘阵列从基于磁盘的 RAID 发展成更为灵活的 RAID 2.0 及 RAID 2.0+技术，

3、不但整合了数据保护 和跨磁盘规划数据分布的功能，而且充分满足虚拟机环境下对存储的应用需求。传统存储的底层硬盘管理在基于外部控制器的硬盘存储系统(External Controller-Based disk storage system )中，RAID(RedundantArray of Independent Disks )是最基础的部分，RAID 把多个硬盘组合成为一个逻辑扇区，因此，操作系 统只会把它当作一个硬盘，其基本原理是把相同的数据存储在多个硬盘的不同地方。RAID 技术主要包含RAID 0RAID 60 等数个规范，在实际应用中使用较多的是RAID 1，RAID 5，RAID 6，

4、RAID10，RAID 50，RAID 60 RAID 的两大特点:1、 提高传输速率：通过在多个硬盘上同时存储和读取数据来大幅提高存储系统的数据吞吐量(Throughput )在 RAID 中，可以让很多硬盘同时传输数据，所以使用RAID 可以达到单个硬盘几倍、几十倍的速率。2、 通过数据校验提供容错：硬盘本身无法提供容错(不包括写在硬盘上的CRC 循环冗余校验码)，RAID容错是建立在每个硬盘的硬件容错功能之上，提供更高的安全性。在很多RAID 模式中都有较为完备的相互校验/恢复的措施，甚至是直接相互的镜像备份，从而大大提高了容错度和冗余性。在目前大多存储系统中，RAID 都是以物理硬盘为

5、单元，故其基础保障机制如图1 所示：图 1: RAID 基础保障机制RAID 重构过程中数据没有可靠性保障，如果在重构完成前岀现坏盘就将造成数据丢失，不可恢复;于一个存储系统而言，其可靠性的最重要标志就是其RAID 重构时间越小越好。2000年图 2 :硬盘容量与性能增长的不匹配RAID 重构时间=数据量 埔硬盘读写速度，在以物理硬盘为单元的 RAID 保护模式下，其重构数据量等于硬 盘容量，然而硬盘容量与读写能力的不匹配增长，导致采用以物理硬盘单元为RAID 的传统方式效率低下可靠性越来越差。传统硬盘重构的瓶颈主要在目标盘(热备盘)，因为，所有成员盘将所有数据读岀后全部写入到目标盘，目标盘写

6、带宽就成了整个重构速度的关键，以一块2TB 7.2Krpm 盘为例，重构时平均写入速度为30M/S左右，完成重构时间长达 18 个小时。一jF所以对容潼读爲速率GR100MB/S9CB-15Krpm75GB7.2Krr) )m400GB5O0MB/S600GB15K rpm4000GBr2K rpmi67 倍2012年从科旳畛淀金 Jtam 的杀撼AAiDJU 11I 吒创蝕騒履阳!W 验 TRAID 6(6*3)传统存储的上层资源管理在实际使用存储系统时，通常会将硬盘固定的划分为若干个RAID，再分别将每个 RAID 的空间固定的切分为 1 个或 N 个小段映射给主机操作系统使用。图 3 :

7、传统 RAID 下的资源管理示意图问题:1、配置规划复杂：在做存储系统规划时，要求管理员不仅需要准确的计算岀当前每一个单元业务的容量、性能需求，还需要能准确评估每个单元业务未来发展的容量、性能要求；否则要么设计不足不能满足需求,要么过度设计导致资源浪费。 同时在存储系统的具体配置过程中， 需要管理员通过复杂的操作过程完成一 步步的配置。2、配置调整困难：因为所有的分配过程都是固定的，如果因为各种未预测到的变化需要调整原分配，那么 只能通过手动配置删除和重新分配，以及复杂的数据迁入迁出来实现。华为存储 RAID 2.0+概述华为存储 RAID 2.0+变传统固定管理模式为：一层深淘滩” 一层低作

8、堰”的两层虚拟化管理模式1、对于系统内部物理硬盘，按介质的性能不同，组成三类存储池；对于通过其它方式接入系统的，则作为 外部存储池2、 将系统内部每个硬盘空间切分成64MB 大写逻辑块（Chunk ）3、 将来自不同硬盘上的按RAID 组成逻辑块组（CKG）4、 将逻辑块组（CKG ）切分成 512KB64MB，默认 4MB （大小可配置）的更细粒度逻辑块（ Extent ）5、按需将 1-N 个更细粒度逻辑块（Extent）组成卷（Volume ） /文件（File）图 4: RAID 2.0+逻辑结构深淘滩”底层硬盘管理（Virtual for Disk ） 快速 RAID 重构先将每个物

9、理硬盘虚拟化为若干个64MB 大小的逻辑块（Chunk ），再以多个硬盘的逻辑块（Chunk ）按一定的算法关系构建 RAID。当一个逻辑块故障时，重构的仅是一个逻辑块（Chunk ）大小的数据，1-3 秒即可完成重构。当一个物理硬盘故障时， 重构的仅是多个有实际数据的逻辑块（Chunk），同时更多的目标硬盘参加重构。Virhja二cm PooCKG cig38888S”算魅初Gi7 kJMM b|U U MUSSDNL-SASExternal DikQSCSIiCOE-iNFSCFSVirtw一for Disk5m artCache 4 * JiKcrnal Dish图 5： RAID 2.

10、0+下的重构如图 6 所示，当硬盘 1 损坏，造成 CKGO 和 CKG1 的数据损坏，实际有数据的 14 和 16 两个 Chunk 损坏, 将随机选择 Pool 中的空闲 Chunk 进行重构（如图 6 中的黄色方块），随机选择的 Chunk 将保证尽量分布 在不同的硬盘上。CRG1图 6： RAID 2.0+重构示意图 A如图 7 所示，随机选择硬盘 6 的 61 号 Chunk 和硬盘 8 的 81 号 Chunk，数据将从其他成员盘重构到这两 个 Chunk。7： RAID 2.0+重构示意图 B而经过 RAID 2.0+的 Virtual for Disk 后将有两个方面的提升:1

11、、 减少重构的总数据量，按 Chunk 重构，只对有数据的 Chunk 重构。2、 增加重构块目标盘数，如上例子就是两块目标盘，需要重构的Chunk 数量增加，目标盘数量也增加, 目标盘最大可以达到整个 Pool 的成员盘个数，提供重构数据的写入速度。华为存储 RAID 2.0+之 Virtual for Disk 每 TB 重构小于 30 分钟完成（传统 RAID 下每 TB 重构需要 9 小时）， 重构时间缩短，将大大降低双盘失效的概率。Ptl低作堰上层资源管理(Virtual for Pool )提高资源管理效率由于华为存储提供给主机操作系统的资源由Extent 组成，Extent 作为

12、逻辑地址映射关系是十分灵活的动态调整，故在实际使用存储系统时，传统存储的两个基本问题配置规划复杂、配置调整困难”得到了完美解决。在做存储系统规划时，管理员只需要计算岀当前业务总容量和性能的需求，并预留一定比例增长余量即可。同时在存储系统的具体配置过程中，管理员只需要做简单资源划分，系统将根据业务的实际使用情况自动 调整 Extent的配比，以满足业务各单元的容量和性能需求。当业务发展系统预留余量资源不足时， 系统会自动提示管理员添加资源， 而添加资源的过程仅需插入硬盘， 并将硬盘加入到相应的 Disk Pool 中，随后的系统将在后台自动调整 Extent 的分布，重新实现全局均衡。图 8:

13、RAID 2.0+下的资源管理示意图?最大化的自动负载均衡：Volume/File 的数据被均匀分布到阵列内所有的硬盘上，可以防止局部硬盘过热，当存储池中的硬盘数量增加或减少，以及随业务变化硬盘读写压力发生变化后，系统通 过 IO 记录智能分析计算，并自动调节热点 Extent 在同一类硬盘上的实际存储位置(SmartMotion )以确保每一块硬盘的压力均衡，从而实现均衡硬盘磨损，有效降低故障率、延长硬盘寿命。?最大化性能资源利用率：提供给主机操作系统的Volume/File 基于资源池(Pool)创建，不再受限于 RAID 组硬盘数量，单个 Volume/File 性能可得到整 Pool

14、性能；当系统中存在多种性能不同 的硬盘时，系统通过 IO 记录智能分析计算并自动调节热点Extent 在不同类硬盘上的实际存储位置(SmartTier ),以确保高性能硬盘存放的是热点数据。?最大化容量资源利用率：由于资源池中的硬盘数量不受限于RAID 级别，免除传统管理方式环境下有些 RAID 组空间利用率高而有些 RAID 组空间利用率低的状况，对于Thin Volume/File 采用写入分配及零数据空间回收(SmartThin )，从而进一步大幅提升容量利用率。面向未来电子介质存储时代前几年 SSD 的容量比较小，同时由于产业链的原因Flash 颗粒很贵，更重要的是Flash 有限的擦

15、写次数。使得 SSD 在企业存储领域主要作为加速介质存在。企业存储技术的实施始终围绕着存储介质的读写行为。因此，在目前传统存储系统中的很多策略都是针对机械硬盘介质特征的。机械硬盘最大的特征是存在寻道时间，如果在随机读写的模式下，机械硬盘的性能非常差，为此，系统会采用pre-fetch 的方式减少读写次数，采用 10 聚合排序的方式减少机械硬盘指针的抖动。SSD 作为电子介质没有寻道时间，完全是地址映射表；因此，在管理 SSD 硬盘时，所采用的读写技术， 由于 SSD的读写特征发生了变化，与机械硬盘是有区别的。在华为存储系统RAID 2.0+的设计中，在底层硬盘介质管理的 Virtual for

16、 Disk 层，由于采用虚拟化技术使得系统得以将不同的硬盘介质分Disk Pool 进行管理，从而使得 SSD 和 HDD 可以采用不同的管理方式完成读写行为。Virtual for Disk 如深淘滩”一般，RAID 重构与系统自优化做到了最小单元和最底层，这样保证了系统中每一块硬盘、每一个部件能力充分发挥，每一个硬盘或部件都不会因为压力过大造成瓶颈。Virtual for Pool 女口低作堰一般，SmartThin （空间管理）、SmartQoS （服务质量管理）、SmartCache/Tier/Motion/Virtualization（性能管理）组成的三大主体工程。它们有机的组合，最大程度提高存储系统资源利用率与效率。目前华为存储高端存储 HVS 系列、中低端统一存储 T 系列等产品，都已采用 RAID 2.0+技术加速 RAID 重 构，提高资源管理效率。