目前,世界上大多数的数据中心仍然使用垂直缩放的存储解决方案,这是一个困扰人们的问题。这种传统的存储方法在设计时并没有考虑到现在达到泽字节的庞大数据。企业以往任何时候需要存储更多的指数的数据,他们需要采用不损害性能的经济实惠的方式来进行。软件定义存储的出现使得横向扩展存储解决方案成为了现实。
如今出现的另一个相对较新的技术混合云,使组织折云架构具有最大的业务灵活性,这有助于在达到预算和性能目标的同时,最大限度地提高效率。简而言之,混合云是一个使用混合的内部部署,私有云和公共云服务的组合,以及业务流程平台之间的云计算环境。
与任何新的架构一样,部署混合云的方法都会有一些好处和缺点。本文将讨论一些你可以使用设计元素,以确保你的混合云提供所需要的性能、灵活性和可扩展性。
横向扩展NAS的作用
向外扩展的NAS(网络附加存储)是基础性的混合云存储解决方案。由于混合云架构全面部署,许多组织都将面对这一相对较新的市场,甚至不了解一致性的横向扩展NAS的重要性。许多环境是最终一致的,这意味着你编写一个节点的文件不会立即从其他节点进行访问。这种情况可能是缺乏正确实施的协议,或不够紧密集成的虚拟文件系统而引起的。与之相反的情况是严格一致的:文件是在同一时间访问所有节点。与虚拟文件系统兼容的协议实现和紧密集成是一个很好的成功秘诀。
扩展基于NAS的混合云架构应该基于三层。在集群中的每个服务器都会运行一个基于这些层的软件堆栈。第一层是持久存储层。它是基于对象存储,它提供了一个优势,如极端的可扩展性。但该层必须严格一致。虚拟文件系统是任何规模的NAS的核心。而高速缓存、锁定、分层、配额和快照处理是第二层特征。第三层包含的协议如SMB和NFS并集成虚拟机管理程序。
它保持架构对称和清洁性是非常重要的。如果你能做到这一点,未来的许多架构挑战将更容易克服。
我们现在需要更密切地关注存储层。由于它是基于对象存储,我们现在可以用干净的对称架构,轻松地扩展我们的存储解决方案。我们可以扩展到EB级别的数据和文件。
存储层需要一种快速、有效的自愈机制来完成冗余的责任。在数据中心保持数据的低足迹,储层需要支持不同的文件编码。有些是良好的性能,而一些是为减少其足迹。
元数据找到它的位置
元数据是虚拟文件系统的一个重要方面。元数据是描述文件系统结构的信息块。例如,一个元数据文件可以包含在文件系统中的文件夹中所包含的文件和文件夹的信息。这意味着我们在虚拟文件系统中的每个文件夹将有一个元数据文件。随着虚拟文件系统的发展,我们将获得越来越多的元数据文件。
对于一个较小的存储需求的组织,元数据的集中存储将是一种选择,但不是当我们谈论向外扩展。那么,让我们来看看哪里都不存储元数据。在单台服务器中存储元数据可能会导致可扩展性差,性能不佳和可用性差。由于我们的存储层是基于对象存储,一个更好的地方来存储所有的元数据,特别是存储我们谈论的高数量的元数据。这种做法将确保良好的可扩展性、良好的性能,以及良好的可用性。
为了更好的性能缓存
为了提高性能,软件定义的存储解决方案需要缓存设备。从存储解决方案的角度来看,无论是速度和大小物以及价格,找到最佳点是很重要的。对于SDS的解决方案,将其复制到另一个节点并降级到存储层之前来保护数据在较高的水平,这也是很重要的。
随着存储解决方案的能力和功能的提高,特别是在虚拟或云环境中,支持多个域变得更加重要。支持多个文件系统也很重要。在不同的应用和使用的情况下,更偏爱不同的协议。有时,也有必要在不同的协议中访问相同的数据。
虚拟机管理程序支持的混合云的云元素是必要的,当然。因此,扩展NAS还必须能够运行超融合。在这里,软件定义是有意义的。
如果架构是扁平,并且缺乏外部存储系统,向外扩展NAS必须能够运行一个虚拟机,并利用虚拟机管理程序主机的物理资源。客户端虚拟机(VM)的图像和数据将被存储在提供虚拟文件系统的横向扩展NAS。客户端虚拟机可以使用这个文件系统,它们之间共享文件,使得其获得完美的VDI环境。
现在,为什么支持多种协议很重要,在虚拟环境中,许多不同的应用程序正在运行,每个应用程序都有不同的需求。通过支持多种协议,我们保持了体系结构的扁平化,我们有能力在一定程度上共享应用程序之间的数据共享数据。
支持裸机和虚拟环境中,具有一个架构使我们能够开始小规模和扩展。而软件定义,同时支持快速和高效节能的硬件,并支持所有主要协议,使其成为一个非常灵活和有用的存储解决方案。
混合云文件
这往往会是这样的情况:不同的办公室有需要的私人领域和地区,他们将与其他分支机构共享。每个站点都有自己独立的文件系统,所以只有部分的文件系统与其他人共享。
选择一个文件系统的一部分,让其他人将其放在其他文件系统任何点,并为扩展的文件系统提供的灵活性,确保文件系统的水平同步发生,并有跨站点文件系统的一致视图。能够在不同地点来指定不同的文件编码是有用的,例如,可以将一个站点作为备份目标。
扩展性能
汇集上述所列的所有功能,创建一个混合的云系统,能够提供当今数据中心需要线性缩放功能。解决可能妨碍性能的瓶颈。通过增加节点,通过添加节点、本地协议支持Flash的高性能灵活地向外扩展,其中都包含在这个架构的基础上扩展的NAS。采用这个系统的数据中心将具有可扩展性,并且在成本上负担得起。
好文章,需要你的鼓励
这项来自苹果公司的研究揭示了视频大语言模型评测的两大关键问题:许多测试问题不看视频就能回答正确,且打乱视频帧顺序后模型表现几乎不变。研究提出VBenchComp框架,将视频问题分为四类:语言模型可回答型、语义型、时序型和其他类型,发现在主流评测中高达70%的问题实际上未测试真正的视频理解能力。通过重新评估现有模型,研究团队证明单一总分可能掩盖关键能力差距,并提出了更高效的评测方法,为未来视频AI评测提供了新方向。
这篇来自KAIST AI研究团队的论文提出了"差分信息分布"(DID)这一创新概念,为理解直接偏好优化(DPO)提供全新视角。研究证明,当偏好数据编码了从参考策略到目标策略所需的差分信息时,DPO中的对数比率奖励形式是唯一最优的。通过分析DID熵,研究解释了对数似然位移现象,并发现高熵DID有利于通用指令跟随,而低熵DID适合知识密集型问答。这一框架统一了对DPO目标、偏好数据结构和策略行为的理解,为语言模型对齐提供理论支持。
VidText是一个全新的视频文本理解基准,解决了现有评估体系的关键缺口。它涵盖多种现实场景和多语言内容,提出三层评估框架(视频级、片段级、实例级),并配对感知与推理任务。对18个先进多模态模型的测试显示,即使最佳表现的Gemini 1.5 Pro也仅达46.8%平均分,远低于人类水平。研究揭示输入分辨率、OCR能力等内在因素和辅助信息、思维链推理等外部因素对性能有显著影响,为未来视频文本理解研究提供了方向。
ZeroGUI是一项突破性研究,实现了零人工成本下的GUI代理自动化在线学习。由上海人工智能实验室和清华大学等机构联合开发,这一框架利用视觉-语言模型自动生成训练任务并提供奖励反馈,使AI助手能够自主学习操作各种图形界面。通过两阶段强化学习策略,ZeroGUI显著提升了代理性能,在OSWorld环境中使UI-TARS和Aguvis模型分别获得14%和63%的相对改进。该研究彻底消除了传统方法对昂贵人工标注的依赖,为GUI代理技术的大规模应用铺平了道路。