在数据存储中使用纠删码和远程复制的建议
对于IT部门来说,远程复制是灾难恢复中的关键技术。Ethan Miller就数据存储阵列中纠删码和远程复制技术的使用场景作了分析。
Ethan Miller是加利福尼亚大学的一名计算机科学教授,主要研究纠删码以及如何在存储系统中使用纠删码。
对于IT部门来说,远程复制是灾难恢复中的关键技术。加州大学圣克鲁兹分校的教授分析了在数据存储阵列中纠删码和远程复制技术的使用场景。
对于存储管理员来说,对于采用纠删码还是远程复制,有什么建议?
目前大部分IT组织都会在自己的本地存储中使用纠删码,他们通常使用诸如RAID5、RAID6这种类型的纠删码。然而,如果你关注的是灾难恢复—— 当你的数据中心发生故障时是否会出现数据可用性或数据丢失的问题——那么你需要在多个站点之间部署远程复制机制。大部分数据中心不会超过双节点或三节点, 所以它们可能只有一份或两份数据备份。在这种情况下,你需要在数据中心站点之间部署远程复制,因为纠删码在站点数量较少的情况下是无法工作的。当然,你依 然可以在站点内部使用纠删码,例如RAID5或RAID6,它们会让你的数据更可靠。而跨站点部署纠删码对于大部分组织的IT部门来说是不明智的。
如 果你拥有两到三家云服务提供商的支持,并且有三个数据中心,理论上你是可以在站点间使用纠删码的。但问题在于纠删码需要通过大部分完好的站点来恢复数据, 这在有两到三个外部的云服务提供商和三个自己的数据中心的环境下是不实际的,因为你至少需要从其中三个站点来读取数据。
不过,只要你不介意花费数天时间来恢复数据,你还是可以部署跨站点纠删码的。但如果你需要在几分钟内恢复业务,远程复制将会是你的明智选择,并且你需要在站点间建立一个高带宽或低延迟的网络。
0赞好文章,需要你的鼓励
推荐文章
微软近年来频繁出现技术故障和服务中断,从Windows更新删除用户文件到Azure云服务因配置错误而崩溃,质量控制问题愈发突出。2014年公司大幅裁减测试团队后,采用敏捷开发模式替代传统测试方法,但结果并不理想。虽然Windows生态系统庞大复杂,某些问题在所难免,但Azure作为微软核心云服务,反复因配置变更导致客户服务中断,已不仅仅是质量控制问题,更是对公司技术能力的质疑。
Meta研究团队发现仅仅改变AI示例间的分隔符号就能导致模型性能产生高达45%的巨大差异,甚至可以操纵AI排行榜排名。这个看似微不足道的格式选择问题普遍存在于所有主流AI模型中,包括最先进的GPT-4o,揭示了当前AI评测体系的根本性缺陷。研究提出通过明确说明分隔符类型等方法可以部分缓解这一问题。
当团队准备部署大语言模型时,面临开源与闭源的选择。专家讨论显示,美国在开源AI领域相对落后,而中国有更多开源模型。开源系统建立在信任基础上,需要开放数据、模型架构和参数。然而,即使是被称为"开源"的DeepSeek也并非完全开源。企业客户往往倾向于闭源系统,但开源权重模型仍能提供基础设施选择自由。AI主权成为国家安全考量,各国希望控制本地化AI发展命运。
香港中文大学研究团队开发出CALM训练框架和STORM模型,通过轻量化干预方式让40亿参数小模型在优化建模任务上达到6710亿参数大模型的性能。该方法保护模型原生推理能力,仅修改2.6%内容就实现显著提升,为AI优化建模应用大幅降低了技术门槛和成本。