存储类的物品

  1. 西部数据(Veloci)猛禽10,000 RPM的颂歌

    2021年10月30日星期六

    简介

    2004年,我拜访了一家现已破产的荷兰电脑商店MyCom1位于阿姆斯特丹的Kinkerstraat。我在那里买了一台西部数据公司(Western Digital)的猛禽(Raptor)型号WD740,容量74gb,转速10000转。

    mywd

    我买这个硬盘的时候,我们还在从PATA接口,萨塔2.我的猛禽硬盘驱动器仍ob体育下载然有一个molex连接器,因为旧的电脑电源没有SATA电源连接器。

    岁的

    您可能注意到,我最终设法折断了SATA电源连接器的塑料标签。幸运的是,我仍然可以通过Molex连接器为驱动器供电。

    同一驱动器的后来版本禁用了Molex连接器,如下所示。

    新闻

    为什么迅猛龙如此重要?

    我非常渴望得到这个驱动器,因为它比当时市场上的任何消费驱动器都快。

    这个驱动器不仅使你的计算机启动得更快,而且使它反应更灵敏。至少,当时我是这么觉得的。

    更快的旋转驱动器并没有带来更多的MB/s吞吐量——尽管这也有所改善——而是减少了欧宝体育直播官网延迟

    转得更快的驱动器3.可以完成更多的I/O操作每秒或IOPs4.它可以在相同的时间内做更多的工作,因为与较慢的转弯驱动器相比,每个操作所需的时间更少。

    猛禽-主要集中在桌面应用程序5-让专业人士和消费者爱好者都松了一口气。尤其是硬盘性能延迟,是当时最大的性能瓶颈之一。

    对于绝大多数消费者或员工来说,这一瓶颈只有在2010年ssd慢慢开始成为新电脑的标配之后才会开始缓解。

    这也是ssd的主要意义所在:它们的I/O操作是以微秒而不是毫秒来衡量的。并不是说吞吐量(MB/s)不重要,但是对于大多数交互式应用程序,您关心的是延迟。欧宝体育直播官网这就是为什么当你把硬盘换成SSD硬盘时,旧电脑会感觉焕然一新。ob体育下载

    猛禽作为启动驱动器

    对于消费者和发烧友来说,猛禽是一个惊人的启动驱动器。74gb的型号足够容纳操作系统和应用程序。大部分数据仍然存储在第二块硬盘上,要么也通过SATA连接,要么仍然通过PATA连接。ob体育下载

    使用Raptor作为启动驱动器运行计算机,可以减少启动时间和应用程序加载时间。但最重要的是系统感觉更多的响应。

    尽管盘片的转速达到了每分钟10,000转,但它的声音并不比当时的普通驱动器响亮多少。7

    在上面的视频中,树莓Pi4从74gb的猛禽硬盘启动。ob体育下载

    当时迅猛龙的替代品

    从这个角度来看,即使在2003/2004年,10,000 RPM的驱动器在服务器中也很常见。面向服务器的驱动器使用SCSI接口/协议与板载IDE/SATA控制器不兼容。

    一些有能力这样做的爱好者确实买了两个控制器8以及一个或多个SCSI“服务器”驱动器,以提高计算机的性能。他们甚至可以得到15,000 RPM的硬盘!ob体育下载然而,这些驱动器的声音非常大,容量甚至更小。

    猛禽在几乎所有情况下的表现都非常出色,尤其是在那些对消费者和消费者爱好者很重要的情况下。突然之间,你可以以消费者的价格获得SCSI/服务器的性能。

    深入的审查Techreport对WD740的报道显示了迅猛龙的重要性。

    迅猛龙的

    迅猛龙最终被迅猛龙取代。迅猛龙的外形是2.5英寸,但比普通2.5英寸的笔记本电脑驱动器要厚得多。由于它以每分钟10,000转的速度旋转,驱动器会变得很热,因此它被安装在一个“冰袋”中,以消散产生的热量。这给迅猛龙带来了3.5英寸的外形,就像以前的迅猛龙驱动器一样。

    伶盗龙

    在下面的视频中,树莓Pi4从500gb的迅猛龙硬盘启动。ob体育下载

    对Veloci迅猛龙进行基准测试

    ob体育下载硬盘驱动器在顺序读/写模式下表现良好,但当数据访问模式变得随机时,它们的性能就会崩溃。这是由于设备的机械性质。在这种随机访问模式下,10,000 RPM的性能优于它们较慢的转向兄弟。

    随机4K读取性能,显示IOPs和延迟。这是一种了解驱动器的原始I/O和延迟性能的最坏情况基准。

    fios

    驱动ID 形成的因素 RPM 大小(GB) 描述
    ST9500423AS 2.5” 7200 500 希捷笔记本电脑硬盘ob体育下载
    wd740gd - 75 fla1 3.5” 10000年 74 西部数据猛禽WD740
    三星HD103UJ 3.5” 7200 1000 三星Spintpoint F1
    WDC WD5000HHTZ 2.5英寸3.5英寸 10000年 500 西部数字迅猛龙
    ST2000DM008 3.5” 7200 2000 希捷3.5英寸2TB驱动器
    MB1000GCWCV 3.5” 7200 1000 惠普品牌希捷1tb驱动器

    我已经在IBM M1015 SATA RAID卡上测试了硬盘,闪存到IT模式(HBA模式,没有RAID固件)。图像是用fio-plot,它还附带一个工具来运行fio基准。

    很明显,这两个10,000 RPM驱动器优于所有7200 RPM驱动器,正如预期的那样。

    如果我们将原来3.5英寸的迅猛龙与2.5英寸的迅猛龙进行比较,性能的提升是显著的:IOPs增加了22%,延迟降低了18%。我认为性能的提升是由于更高的数据密度,更小的尺寸(r/w头在需要的地方更快)和更好的固件的结合。

    笔记本电脑和台式机希捷驱动器似乎都比理论上应该有的速度要慢一些。惠普(更名为希捷)的情况正好相反,它的容量和转速似乎比预期的要好。我不知道这是为什么。我只能推测,因为惠普驱动器来自服务器,所以该防火墙针对服务器使用模式进行了调整。

    关闭的话

    尽管迅猛龙的性能提升相当显著,但它从未得到广泛采用。特别是当猛禽第一次被标记时,它的主要作用是引导驱动器,因为它的容量小。你仍然需要第二块硬盘来存放数据。因此,性能的提高是以显著的额外成本为代价的。

    迅猛龙和迅猛龙现在已经过时了。你可以花20到40美元买到一个固态硬盘,即使是那些面向预算的ssd硬盘也会比(Veloci)raptor性能好很多倍。

    如果你对更多图片和细节感兴趣,请看看这篇文章

    本文在Hacker News上进行了讨论在这里

    关于这篇文章的Reddit帖欧宝体育直播官网子可以找到在这里


    1. 在荷兰各大城市都有多家店铺的连锁店Mycom破产了两次一次在2015年,最后一次在2019年。

    2. 我们谈论的是第一个SATA版本欧宝体育直播官网,最大带宽容量为150mb /s。那时候足够装硬盘了。ob体育下载

    3. https://en.wikipedia.org/wiki/Hard_disk_drive_performance_characteristics

    4. https://欧宝体育登陆首页官网下载www.buy-gems.com/understanding-storage-performance-iops-and-latency.html

    5. 我读WD打算将第一个Raptor (34 GB版本)用于低端服务器,作为SCSI驱动器的廉价替代品。在电脑爱好者和专业人士采用猛禽之后,西部数据公司似乎有所转变,所以下一个版本——我现在拥有的74 GB——更适合台式机使用。这也意味着这款74gb的机型配备了流体轴承,使其更安静6

    6. 74gb的型号在空闲时实际上是相当安静的。驾驶活动听起来相当平稳和愉快,没有哒哒声。

    7. 请注意,第一个模型,37gb版本,使用球轴承而不是流体轴承,据报道,声音要大得多。

    8. 低端SCSI卡通常用于驱动平板扫描仪、Iomega ZIP驱动器、磁带驱动器或其他外围设备,但为了从这些服务器硬盘驱动器的性能中受益,您需要支持更高带宽的SCSI控制器,而这些控制器更昂贵。ob体育下载

    标记为: 存储
  2. 不要害怕RAID

    2020年5月22日星期五

    简介

    我在互联网上感觉到这种情绪,RAID是危险的,你的RAID阵列在重建期间发生故障的可能性几乎是肯定的,因为硬盘驱动器已经变得如此之大。ob体育下载

    我认为事实并非如此,我想要打破这个神话。

    特别是对于家庭用户和小型企业来说,RAID阵列仍然是在单一位置存储大量数据的一种可靠和有效的方式。

    RAID可靠性感知

    在互联网上有许多关于人们在家里丢失RAID阵列的恐怖故事。欧宝体育直播官网这些故事可能导致了人们对RAID的消极态度。

    你可能会指责我指责受害者,但在许多情况下,我确实想知道这些事件是否是由于用户错误造成的1,由于运气不好或实际RAID造成的问题。报道中存在偏见:你不会听到无数没有问题的人的声音。

    在任何情况下,损害已经造成,但我仍然认为(软件)RAID是完美的。

    关于不可恢复读错误欧宝体育直播官网(URE)的误解

    我想麻烦是从这个开始的ZDNET上的糟糕文章从2007年开始。

    在这篇文章中,我们讨论的是随着驱动器变大,而不是变多可靠的,您将看到更多不可恢复的读错误(ure)。更大的产能意味着更多的行业,因此其中一个行业出现问题的风险就更大。

    URE是指硬盘无法读取扇区的事件ob体育下载5.对于像我这样的老人来说,这听起来就像一个“坏扇区”.这篇文章认为,平均来说,每读取12.5 TB的数据就会遇到一个URE。

    根据ZDNET文章的逻辑,仅仅从14tb驱动器复制所有数据可能是不可能的,因为在完成复制之前可能会遇到URE /坏扇区。

    这对于RAID阵列来说是一个非常大的问题。RAID阵列重建包括完整地读取所有剩余驱动器的内容2.所以你是保证在RAID重建过程中击中一个URE。

    好消息是你不用担心这些。欧宝体育直播官网因为它就是不正确的

    ob体育下载硬盘驱动器则不是在实践中不可靠。恰恰相反。我得说,他们非常可靠。看看Backblaze驱动器统计6

    ZDNET上那篇臭名昭著的文章的预测并没有成为现实。硬盘驱动器的URE规范描述了最坏的情况,似乎更多的是ob体育下载关于营销(一种区分企业驱动器和消费者驱动器的方法),而不是关于现实。欧宝体育直播官网

    如果ZDNET文章是正确的,我自己应该遇到了许多ure,因为在各种RAID阵列上完成了许多RAID阵列擦洗/巡逻读取。

    RAID从未停止工作,并且仍然很强大。

    擦洗可以防止坏道的影响

    当只能容忍一个驱动器故障的RAID阵列中的一个驱动器故障时,所有剩余的驱动器都不会遇到任何读取错误是非常重要的。由于丢失了冗余,由坏扇区引起的任何读取错误都可能意味着整个阵列丢失或至少某些文件损坏7

    每个RAID阵列都支持“擦洗”。它是一个读取RAID阵列的每个扇区的过程,这实际上导致所有硬盘驱动器的所有扇区都被读取。ob体育下载

    擦除是一种提前检查坏扇区的过程。如果在硬盘驱动器上发现坏扇区,可以更换驱动器,以便在未来可能ob体育下载的重建期间不会引起问题。更换驱动器本身将导致重新构建,但假设擦除没有发现任何其他坏扇区的驱动器,重新构建将是正常的。

    一个RAID阵列如果不定期进行擦洗,那就是一场灾难。坏扇区可能会在另一个驱动器上堆积,当一个驱动器实际发生故障时,整个阵列可能会丢失,因为(其中一个)剩余驱动器上没有检测到坏扇区。

    如果需要在RAID组中可靠地存储数据,则需要定期对RAID组进行擦洗。即使你不使用RAID,我也建议每个月对你拥有的每个硬盘进行一次长时间的SMART测试。ob体育下载

    默认情况下,Linux软件RAID阵列每周在Ubuntu上清洗一次。具体操作请参见“/etc/cron.d/mdadm.”目录

    如果你在Linux上使用ZFS,如果你运行Ubuntu,你的数组会在每个月的第二个星期天自动被清洗。

    像Synology或QNAP这样的NAS供应商默认启用了数据擦洗。请考虑您的特定NAS的手册来调整频率。我建议每个月至少擦洗一次,而且是在晚上。

    为什么认为RAID 5是有害的?

    坦率地说,我也想知道

    我注意到网上很多人都说你应该这样做从来没有使用RAID 5,但我不同意。这要视情况而定。在成本和风险之间找到平衡很重要。

    回溯到2003年不提倡使用RAID 5,但它主要针对企业环境,即使在企业环境中,我也看到了它的用途。

    5个或更少驱动器的RAID阵列,我认为RAID 5仍然是一个很好的选择。特别是如果您运行一个小型的4盘NAS,那么使用RAID 5是完全有意义的。您可以在容量和可用性成本之间取得很好的平衡。

    不建议创建更大的RAID 5阵列。与单个驱动器相比,包含8个驱动器的RAID阵列出现驱动器故障的可能性是单个驱动器的8倍。你将单个驱动器故障的风险乘以8。对于较大的阵列,双驱动器故障成为一个严重的风险。

    这就是为什么建议对较大的RAID阵列使用RAID 6的原因,因为RAID 6可以容忍两个同时发生的驱动器故障。我过去使用过RAID 6,现在使用RAIDZ2 (ZFS)作为当前NAS的基础。

    我还在我的一台主机服务器上运行8盘RAID 5不是很重要的数据我仍然想留在身边,不想失去,但不是不惜一切代价。这一切都是关于风险欧宝体育直播官网和成本之间的平衡。也请阅读这篇文章的后记,你会喜欢的。

    的确,在重建过程中,硬盘驱动器会承受更大的压力,但除非RAID阵列也ob体育下载被大量使用,否则驱动器上的负载不会那么大:数据是按顺序读取的,这对驱动器来说相当容易。

    突袭重建性能主要由驱动器的大小决定,而不是由RAID阵列中的驱动器数量决定3.

    几年前,我运行了一个基于1tb驱动器的20个驱动器的RAID 6,它在5个小时内完成了重建。最近我在RAID 5中测试了8个驱动器的重建(使用相同的驱动器),它也花了将近5个小时(4H45M)。

    RAID写洞

    RAID 5/6“写入漏洞”经常被提到,这是你应该担心的事情。欧宝体育直播官网

    像raid5和raid6这样基于奇偶的RAID可能会受到一个名为“写入漏洞”。为了(过度)简化:如果计算机突然断电,对RAID的写入可能会中断。这可能会导致对RAID阵列的部分写入,使其处于不一致的状态。

    作为旁注,我总是建议用UPS(电池备份)来保护您的NAS,这样您的服务器就可以在电池耗尽之前以一种干净的方式关闭。

    ZFS RAIDZ不受“写洞”问题的影响,因为它在将数据写入实际数组之前先将数据写入日志4

    Linux MDADM软件RAID也通过使用一个“写洞”现象来保护位图(默认启用4).

    硬件RAID还可以通过为高速缓存使用电池备份来防止这种情况。一旦计算机重新上电,高速缓存中的数据就会被写入磁盘。

    设置提醒,如果您关心您的数据欧宝体育直播官网

    我认为许多RAID恐怖故事是由于人们可能永远不会注意到任何问题,直到为时已晚,因为他们从来没有设置任何类型的警报(通过电子邮件或其他方式)。

    理想情况下,您还可以确保您的系统监视硬盘驱动器的SMART数据,并在关键数字开始上升时发出警报(重新分配的扇区计数和当前待定扇区计数)。ob体育下载

    这也是个人反思的时刻。你运行一个RAID阵列吗?你设置警报了吗?或者您的RAID阵列正在失败非常时刻你不知道吗?

    无论如何:我认为缺乏适当的警报是RAID遇到麻烦的好方法,但这不是RAID。任何不受监控的存储解决方案都只是一场等待发生的灾难。

    为什么人们选择不使用RAID

    如果RAID组故障,将导致所有数据丢失。有些人对这种风险感到不安。他们宁愿丢失一些驱动器的内容,而不是全部。

    解决方案等Unraid而且SnapRAID使用一个或多个专用硬盘来存储冗余(奇偶校验)数据。ob体育下载其他硬盘驱动器是用您ob体育下载选择的文件系统格式化的,可以像普通硬盘驱动器一样访问。虽然我对这个产品没有经验,StableBit DrivePool似乎是类似的方式。

    如果您有6个硬盘驱动器,因此有5个数据驱动器ob体育下载和1个校验磁盘,丢失两个驱动器将导致数据丢失,就像RAID 5一样。然而,其余四个驱动器上的数据仍然完好无损。数据丢失仅限于一个驱动器的数据值。

    与常规软件RAID相关的“全有或全无”风险因此得到缓解。我自己不认为这些风险没有那么大,但Unraid和snapraid是很受欢迎的产品,我认为它们是合理的选择。

    Mergerfs这也是一个有趣的选项,尽管它只支持镜像。

    备份仍然很重要

    将数据存储在任何类型的RAID阵列上从来没有备用的替代品。

    如果你想保护你的数据,你仍然应该把你的数据复制到一些其他的存储。您可以选择只备份所有数据的一个子集,但至少您承担了知情的风险。

    评价

    我希望我已经说明了为什么RAID仍然是数据存储的有效和可靠的选择。

    欢迎在评论中分享你的观点。

    注:

    在撰写本文时,我对8盘RAID 5阵列(基于2 TB驱动器)进行了一次擦洗。我的服务器只在我需要的时候才会启动,而在关闭的时候,它们很容易错过定期的擦洗窗口。

    为了实践我所宣扬的,我经营了一家医院。你瞧,其中一个驱动器被踢出了我的Linux软件RAID阵列。你不喜欢讽刺吗?

    sd 0:0:4:0: [sde] tag#29 FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE sd 0:0:4:0: [sde] tag#29 Sense Key: Medium Error [current] sd 0:0:4:0: [sde] tag#29 Add. Sense: Unrecovered read Error sd 0:0:4:0: [sde] tag#29 CDB: read (10) 28 00 9f 42 9e 30 00 04 00 00 print_req_error: critical Medium Error, dev sde, sector 2671943216

    紧随其后的是:

    md/raid:md6: Disk failure on sde, disabling device。md/raid:md6: Operation continuing on 7 device。

    驱动器显然是被踢出的,因为驱动器遇到坏扇区。对SMART数据的快速检查显示,超过300个扇区已经重新映射,但存储在其中的数据无法恢复,导致读取错误。

    这个计划显然已经完成了,尽管它仍在运作。

    在把这个有缺陷的驱动器换成备用的替换后,我开始了重建过程,这花了4小时20分钟。我的RAID 5已经重建,现在完全正常。

    如果这样的活动都不能让人们明白手术服的重要性,我不知道还有什么能做到。


    1. 有时我读到人们用来存储的硬件,我会想到约翰·格伦的这句话:欧宝体育直播官网“我的感受和你在准备发射时的感觉一模一样,你知道自己正坐在200万个零件上,这些零件都是由政府合同中出价最低的投标人制造的。”

    2. ZFS的工作方式不同,它只读取包含实际数据的扇区。

    3. ZFS重建或“resilvers”变得更慢当您添加更多的驱动器到RAIDZ(2/3) VDEV时,它似乎。我不确定最近的ZFS版本是否仍然如此。

    4. 由于使用日志/位图,ZFS和MDADM的性能都会受到影响。这两种解决方案都支持使用SSD来加速日志/位图,以消除这种性能影响。大多数家庭用户可能不需要这个。

    5. 一个驱动器可以存储的最小存储单位,对于较老的、较小的驱动器,通常是4K或512字节。

    6. 这些硬盘存储ob体育下载在一个有条件环境的数据中心里,你可能在家里没有这样的环境。但是只要你把硬盘的温度控制在一定的范围内,我认为这并不重要。ob体育下载

    7. ZFS既是一个RAID解决方案,也是一个文件系统,它可以准确地告诉您哪个文件受到了影响。一个不错的功能。

    标记为: 存储突袭
  3. 关于静默数据损坏,家庭NAS构建者应该了解什么欧宝体育直播官网

    2020年4月23日星期四

    简介

    在DIY NAS上下文中处理存储时,会出现两个重要的主题:

    1. 不可恢复的读错误(ure)或像我这样的老人所说的“坏扇区”
    2. 无声数据损坏(存储层不注意的数据损坏)

    我有一个强烈的印象,人们倾向于混淆这些概念。然而,当人们想要购买或构建自己的diy NAS时,他们经常会在评估他们的选择时出现。

    在本文中,我想明确区分这两者并评估其风险。这可以帮助你评估这些风险,并做出明智的决定。

    不可恢复的读错误(由于坏扇区)

    当硬盘遇到“坏ob体育下载扇区”时,这意味着它不能再读取该特定扇区的内容。

    如果硬盘在多次ob体育下载尝试后仍无法读取该数据,操作系统将返回一个不可恢复的读取错误(URE)。

    这是一个(在Linux上)遇到读取错误的驱动器的例子,从/var/log/syslog中取出(为了可读性剔除了一点):

    sd 0:0:0:0: [sda] tag#19 FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE sd 0:0:0:0: [sda] tag#19 Sense Key: Medium Error [current] sd 0:0:0:0: [sda] tag#19 Add. Sense:未恢复的读取错误sd 0:0:0:0: [sda] tag#19 CDB: read (10) 28 00 02 1c 8c 00 00 00 00 98 00 blk_update_request: critical Medium Error, dev sda, sector 35425280 op 0x0:(read) sd 0:0:0:0: [sda] tag#16 FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE sd 0:0:0:0: [sda] tag#16 Sense Key:Medium Error [current] sd 0:0:0:0: [sda] tag#16 Add. Sense: Unrecovered read Error sd 0:0:0:0: [sda] tag#16 CDB: read (10) 28 00 02 1c 8d 00 00 00 88 00 blk_update_request: critical Medium Error, dev sda, sector 35425536 op 0x0:(read)

    如果无法读取扇区,则该扇区内的数据将丢失。根据我的经验,如果你遇到一个坏区,很快就会有更多坏区出现。所以如果发生这种情况,是时候更换硬盘了。ob体育下载

    我们使用RAID来防止驱动器故障。RAID(无论实现)也可以处理“部分故障”,如驱动器遇到坏扇区。

    在RAID阵列中,遇到不可恢复的读取错误的驱动器只是被踢出阵列,所以它不会“挂起”或“暂停”整个RAID阵列。

    请注意,这种行为取决于所选择的特定RAID解决方案1.问题的关键是坏扇区或ure是一个常见的事件,RAID解决方案可以正确地处理它们。

    坏扇区(导致ure)的真正问题是,它们可能一直未被发现,直到为时已晚。所以在早期发现它们,这是非常重要的运行常规数据擦洗。我写一篇文章特别是关于这个话题。欧宝体育直播官网

    无声数据损坏

    不可恢复的读取错误意味着我们不能读取文件的(一部分)。虽然这是不幸的-因为我们最好有一个完整的备份文件-我们也很幸运。

    我们为什么幸运?

    我们很幸运,因为存储系统(硬盘和操作系统)报告了一个错误。ob体育下载我们能够诊断出问题并采取行动。

    但有可能在你的硬盘、SATA控制器或操作系统不注意的情况下,比特和字节被损坏了。ob体育下载在某个地方,以某种方式,一个位被读取或传输为1,而它本应该是0。

    这是非常糟糕的,因为数据损坏未被发现,它是'沉默,没有通知。

    因为想象一下会发生什么:损坏的文件愉快地由备份软件备份,因为它没有意识到有任何错误。当您发现数据损坏时,原始的原始文件已经不再是备份的一部分了。您将留下一个损坏文件的大量备份。我们遇到了数据丢失。

    这是最可怕的一种数据丢失。因为它很难被发现。你必须不断地计算一个文件的校验和,并验证它仍然是正确的。

    这就是——尽管很简单——确切地说ZFS(在许多其他事情中)。ZFS在块级使用校验和,因此每次读取时确保块中包含的数据是否仍然有效。ZFS是少数几个具有这种强大特性的文件系统之一(BTRFS是另一个例子)。

    常规RAID阵列(无论是基于硬件的还是基于软件的)无法检测静默数据损坏(尽管RAID6可以做到)。因此,必须清楚ZFS能够抵御“常规”RAID无法应对的风险。

    无声的数据损坏是家庭DIY NAS建设者的重大威胁吗?

    虽然无声的数据损坏是一个非常可怕的威胁,但据我所知,这并不严重独立的风险证据沉默数据损坏是如此之高,以至于普通家庭DIY NAS建设者应该考虑到这种风险吗2

    也许我错了,但我认为许多人错误地混淆了ure或不可恢复的读错误(由坏扇区引起)沉默数据损坏。我认为这是错误的,因为根本没有沉默欧宝体育直播官网关于一个不可恢复的读错误。

    事实是,硬盘驱动器实际上是非常可靠的ob体育下载沉默数据损坏,因为他们大量使用错误检测和修正算法。硬盘驱动器的很大一部分原始容量被牺牲来存储冗余信息,以帮助检测和纠正数据损坏。ob体育下载根据维基百科、使ob体育下载用的硬盘Reed-Solomon纠错在过去和更现代的驱动器使用方法,

    这些错误修正代码确保了数据的完整性。虽然“软”读错误可能发生,但硬盘驱动器上存储了足够多的额外冗余信息来检测错误,甚至重构数据(在某种程度上)。ob体育下载你的硬盘自ob体育下载己处理这些,这是正常操作的一部分。

    所以这就是我的观点:重要的是要理解,在硬盘驱动器中有很多防止无声数据损坏的保护措施。ob体育下载因此,无声数据损坏的风险很小3.

    有时读取的数据是如此的乱码,即使是错误纠正代码也不能重建数据,因为它是最初存储的,这就是我们所经历的不可恢复的读取错误。但是磁盘注意到了!它会报告的!这一点都不安静!

    要真正产生无声的数据损坏,需要发生一些非常特殊的事情。需要明确的是:这样的事情确实会发生.但它们非常罕见。

    以某种方式,一个比特必须翻转,这个事件没有被错误修正算法检测到。也许是从硬盘读取数据时,硬盘缓存中的比特翻转了。ob体育下载也许它在通过SATA电缆传输时翻转了。

    但有趣的是,SATA协议还在协议中嵌入了错误检测,以实现可靠的数据传输。这是错误检测和纠正一直往下

    风险是沉默因此,数据损坏的发生是非常小的,特别是对于家庭用户。

    同样,毫无疑问:风险是真实存在的,对于拥有数百、数千或数万个驱动器的大规模存储解决方案(san /存储阵列),确实必须考虑到无声数据损坏的风险。在规模上,即使是非常小的风险也会成为必然。

    企业存储解决方案通常使用自己的专有解决方案来防止无声数据损坏。尽管它取决于特解4在美国,它通常是存储阵列的一部分。ZFS是革命性的,因为他们把数据完整性检查放在文件系统本身。

    因此,如果您认为无声数据损坏的风险仍然很高,应该保护自己免受它的侵害,我建议您考虑使用ECC内存防止内存中的数据损坏。坦率地说:我认为非ecc内存比存储子系统更有可能导致静默数据损坏,存储子系统已经采用了所有这些错误检测和纠正算法。非ecc内存完全不受保护。

    Anekdote我自己经营一家24-drive NAS基于ZFS,它已经连续6年坚如磐石。

    mynasimage

    有时,我确实会运行磁盘“擦洗”,这可能需要相当长的时间。尽管我有许多tb的数据受到ZFS的保护,但是没有检测到一个无声的数据损坏实例。我演过那么多手术我读过的不止是拍字节有价值的数据。

    Anekdote:有人犯了一个错误,用了电缆类型错误将硬盘连接到HBA卡。ob体育下载这导致了实际的无声数据损坏。因为此人正在运行ZFS,所以ZFS检测到了他的数据。在这个例子中,ZFS确实保护了一个人不受无声数据损坏的影响。

    评价

    我希望不可恢复的读取错误和静默数据损坏之间的区别是明确的,并且我们不应该混淆这两者。它们有不同的风险概况。

    此外,我认为无声的数据损坏是真正的这是一个很严重的问题在规模,这是相应的处理。

    但是,我还认为,除非您是在地下室运行小型数据中心的家庭用户,否则无声数据损坏的风险非常小合理的作为DIY NAS构建者接受风险,而不寻求针对它的特定保护。

    由你来决定。如果您希望使用ZFS并防止隐式数据损坏,您还应该了解并接受ZFS成本.我自己已经接受了我自己NAS的成本,但如果你不接受也没关系。如果你那么在意静默数据损欧宝体育直播官网坏,也请考虑使用纠错码存储器

    但在我看来,你是如果你选择Unraid, Snapraid, Linux内核RAID, Windows存储空间或其他相同的选项,就会冒不合理的风险。我会说这是合理的由你决定。

    请记住:家庭用户NAS盒的著名供应商似乎都使用常规的Linux内核RAID在引擎盖下面。他们似乎认为这没什么。

    最后,真正重要的是一个解决方案能满足您的需求,也符合您的预算和专业水平。当出现问题时,你能解决问题吗?


    1. 我注意到,在使用这个特定的驱动器进行测试时,该驱动器没有被踢出阵列,它只是一直试图读取,使Linux软件RAID阵列停止运行。从阵列中移除驱动器修复了这个问题。有一个“快速故障”选项,只适用于RAID1或RAID10。

    2. 我不想以任何方式暗示它会是错误的将无声的数据损坏考虑在内,但我想说的是,我认为这并不是强制性的。

    3. 最大的风险是企业级硬盘使用板载ECC缓存内存,而消费者硬盘使用ob体育下载non-ECC高速缓冲存储器。因此,驱动器高速缓存中的数据被悄悄损坏可能是一种风险。

    4. 存储供应商通常选择重新格式化较大的硬盘部门的大小5.这些较大的扇区还包含额外的校验和数据,以更好地防止数据损坏或不可恢复的读取错误。

    5. https://www.seagate.com/files/staticfiles/docs/pdf/whitepaper/safeguarding-data-from-corruption-technology-paper-tp621us.pdf

    标记为: 存储

第1页/ 13

Baidu
map