导读:分布式存储具有高扩展与可持续演进的特性,在超融合、Openstack私有云、大数据与AI领域中得到了广泛的关注和应用。然而,与基于传统RAID技术的磁盘阵列相比,分布式存储不仅在稳定性与性能方面有差距,甚至可能成为数据安全的隐患,如同IT基础架构中的“危楼”。
序言:如果看见一群人住在危楼里,但却对危险毫无所知,您会不会着急地大声呐喊,希望人们尽快远离危楼?而在分布式存储领域,目前最流行的以Ceph为代表的三副本方案,就是存储领域的“危楼”。
为什么?
著名的CAP原理是分布式系统最基本、最重要的理论之一,最初由加州柏克莱计算机科学家布鲁尔教授在2000年提出猜想,两年后由麻省理工的吉尔伯特和林奇教授证明。CAP原理的核心是:当分布式系统出现网络问题(Network Partition),人们只能在数据的一致性(Consistency)与可用性(Availability)二选一。
这意味着什么?
这意味着,在三副本系统中,当网络出现故障时,如果仍试图维持业务在线,即选择Availability(可用性),无论软件设计多么巧妙,运维团队多么优秀,仍然无法保证数据副本之间的一致性,最终可能只有一个副本保持了最新数据,即三副本在网络不稳定的情况下,将不可避免地降级为两副本甚至单副本,成为无形中的“危楼”:一旦出现系统掉电或一个或多个硬盘损坏,很可能造成严重的数据丢失现象。
如何消除分布式存储的危楼? 如何解决三副本的对数据安全带来的潜在威胁?
南京道熵推出的双重RAID架构是彻底清消除上述“危楼”的有效方法。双重RAID采用节点内RAID数据保护技术与跨节点的网络RAID技术相结合,将网络副本或EC码建立在节点内RAID基础之上,即使在出现网络故障的情形下,依靠每个节点内独立的RAID数据保护,仍然可以保证数据无忧,有效解决分布式系统中因网络故障而带来的安全隐患。
总结:
根据CAP定理,单纯的网络RAID,如三副本,无法彻底解决分布式系统中的数据一致性问题,无形中导致IT基础架构领域的“危楼”。双重RAID架构,将成为分布式存储最可靠的选择。
好文章,需要你的鼓励
科技泡沫并非世界末日,从经济角度看,泡沫是押注过大导致供过于求。AI泡沫问题复杂在于AI软件开发节奏与数据中心建设周期的时间错配。甲骨文关联数据中心获180亿美元信贷,Meta承诺三年内投入6000亿美元基础设施。麦肯锡调查显示企业虽广泛使用AI但规模有限,多数仍持观望态度。微软CEO表示更担心数据中心空间不足而非芯片短缺,电力需求成为新瓶颈。
Salesforce AI研究团队构建了首个大规模多模态文档RAG评测基准UniDoc-Bench,包含7万页真实PDF文档和1600个问答对,覆盖8个领域。研究发现文本图像融合检索策略显著优于单一模态和联合多模态方法,为未来AI文档理解系统提供了"分工合作"的设计思路。
Goodfire.ai研究人员首次发现AI语言模型中记忆和推理功能通过完全独立的神经通路运作。研究显示,移除记忆通路后,模型丧失97%的训练数据复述能力,但逻辑推理能力几乎完全保留。令人意外的是,算术运算与记忆共享神经通路而非推理通路,这可能解释了AI模型在数学方面的困难。该技术未来有望用于移除版权内容或敏感信息而不损害模型核心功能。
腾讯研究团队发现AI训练中"推理火花"现象,揭示低概率词汇如"等等"、"不过"等在维持AI探索能力中的关键作用。团队开发的低概率正则化方法通过精准保护有价值的低概率词汇,在数学推理任务中实现60.17%准确率,比传统方法提升2.66%,为AI创造性思维研究开辟新路径。