文章在光泽类别

  1. 光泽和严重数据丢失的风险

    2010年7月3日星期六

    就我个人而言,我喜欢超大的存储空间。说“拍字节”,我就感兴趣了。所以我在考虑如何建立一个大型的、可扩欧宝体育直播官网展的存储基础设施。这样的事情应该如何运作呢?

    非常简单:您应该能够添加带有一些庞大的RAID阵列的主机。也许甚至没有那么大,比如8tb RAID 6阵列或更大。您可以使用这些系统作为构建块来创建单个且非常大的存储空间。然后还有一个额外的需求:随着这些构建块的数量的增加,您必须能够丢失一些数据或可用性。在您丢失数据和/或可用性之前,您应该能够在没有一个或两个存储构建块的情况下继续操作。类似于RAID 5或RAID 6,但是在服务器系统而不是硬盘驱动器上。ob体育下载

    困难的部分是将所有这些单独的存储连接到一个虚拟环境。这个问题的解决方案是Lustre。

    光泽是一个网络集群文件系统。这是什么意思?您可以使用Lustre创建一个可伸缩的存储平台。单个文件系统可以增长到多个pb。Lustre部署在涉及一些最快和最大计算机集群的大规模站点的生产环境中。因此,光泽是一件需要认真对待的事情。

    Lustre将所有关于文件的元数据存储在一个单独的MD欧宝体育直播官网S (MetaDataServer)上。所有实际文件数据都存储在ost (Object Storage Targets)上。它们只是连接了一个或多个大RAID阵列(或简单磁盘)的机器。客户端不能直接访问ost,需要通过OSS (Object Storage Server)进行访问。出于性能原因,可以在多个ost上划分存储在文件中的数据。一种网络raid0。

    Lustre不仅允许扩展到pb级的存储,还允许并行文件传输性能超过100gb /s。你喜欢这些苹果吗?这太恶心了。

    看看这张关于Lustre如何运行的图表:欧宝体育直播官网

    光泽模式

    我不打算详细介绍Lustre。欧宝体育直播官网我想讨论一个可能造成严重数据丢失风险的缺点:如果您丢失了带有任何附加存储的单个OST,您将丢失存储在该OST上的所有数据

    光泽不能应付单个OST的损失!即使你买了完全冗余的硬件,双RAID控制器,ECC内存,双PSU等,即使这样,如果主板被炸了,你会丢失数据。当然不是所有的,但让我们假设“仅仅”8tb吧?

    我认为风险是很低的,因为Lustre的大规模部署。由真正使用它的人部署,他们在这方面比我有更多的经验和知识。欧宝体育直播官网也许我指出的风险很小。但我曾见过服务器系统如此严重的故障。我认为风险并不小,尤其是在这种规模上。

    我当然是不是第一个指出这种风险

    Lustre真正强大的解决方案是实现某种基于网络的RAID 6条带化,这样你可以丢失一个甚至两个ost,而除了性能以外不会对可用性产生任何影响。但现在还没有。

    这意味着你必须创建一个超级可靠的ost,这将是非常昂贵的(不可扩展)。或者有一些非常大容量的备份解决方案,这将能够恢复一些数据。但是你会有休息时间。

    所以我要问您的问题是:是否有一个像Lustre一样实际的可伸缩文件系统能够承受单个存储构建块的故障?如果你有什么要指出的,尽管说。

    BTW:请注意,一个OSS的损失是可以克服的,因为另一个OSS可以接管一个失败的OSS的ost。

第1页/ 1

Baidu
map