通过将SSD和HDD以恰当的方式相结合,有可能又带来性能的大幅提升,同时保持成本控制。
固态硬盘(SSD)可以帮助企业的IT经理们在一个快速??发展的数据中心环境最大限度地提高存储效率。诸如垂直NAND(Vertical NAND,V-NAND)、非易失性存储器 (Non-Volatile Memory Express,NVMe)和PCI Express(PCIe)等新兴技术帮助固态硬盘提供了高带宽和低延迟性,而硬盘驱动器(HDD)仍然能够为那些有着具有较低的性能要求的数据提供了大量的存储效率。
最大限度地提高效率,并实现成本节约的关键便是调整性能和容量。而通过将SSD和HDD以恰当的方式进行组合,则有可能带来性能的大幅提升,同时保持成本控制。
根据分析公司IDC的数据显示,全球约90%的数据被认为是“冷数据(cold data)”,这意味着当这些数据被收集捕获后,并不经常被访问。剩余的10%的数据则是热的,这意味着这些数据被收集捕获后,会被经常频繁的访问。以Twitter为例,最新发送的推文会被推送、点赞、转发或收藏,进而变得越来越“热”,而大部分超过一周的旧推文,则会“降温”,但仍然可被搜索到。
将所有的数据都存储在高性能、低延迟的存储设备的成本是极为昂贵的,因此可以使用分层存储架构,其中每一级的存储均提供了最适合该层数据的独特的性能品质:
• CPU缓存和内存处理构成了“最热”的一层,有少量的数据。
• 一个“热(hot)”层处理从内存溢出到存储的数据,支持高性能的写入。PCIe NVMe固态硬盘提供了前所未有的交易速度和这些需求的持久必要的写入。
• 一个“温暖(warm)”层采用2位和3位MLC串行ATA(SATA)固态硬盘增加数据容量,因为它们仍然提供了很好的交易性能和每GB更低成本的耐用性。
• 一个“冷(cold)”层以每千兆字节最低的成本将批量数据归档到HDD硬盘驱动器。
数据应该自然的从“热”层流向“温暖”层,并最终流到“冷”层。这样,当归档数据突然发现自己处在更高的需求,便可以将其迁移回“热”层或“温暖”层进行处理。这种方法允许每一层围绕恰当的技术进行全面的优化,无需花费不必要的成本即可提高整个数据中心的性能。
借助V-NAND技术实现更好的SSD固态硬盘
当谈到NAND闪存技术时,了解NAND及其性能、耐久性和不同版本之间的成本差异的发展演化是非常重要的。多年来,NAND闪存的进步使得将越来越多的bit打包到每个单元(cell)成为了可能。但在某种程度上,NAND闪存单元变得如此紧凑,他们实际上相互干涉,降低了可靠性。较小的单元也变得更容易磨损,而NAND闪存的耐力开始达到一个极限。
借助V-NAND技术,蜂窝塔(cell tower)是由堆叠的多个层创建,能够从2D到3D的规模化扩展缩放。而不是让单元向在2D NAND中那样更小,V-NAND具备减少尺寸规模的功能,同时还能实现显著更高的堆栈功能。其结果是,V-NAND提供了超过平面NAND的性能改进和耐久性。
V-NAND技术还可以在数据中心提高性能和耐久性。受益于在较小的平面NAND结构一个更大的单元几何结构降低了误差修正要求。这意味着,较之传统的平面NAND SSD,V-NAND固态硬盘操作消耗较少的能量,而且比HDD硬盘所消耗的能量更少,而又能提供更快的转速。更快的V-NAND闪存也可以让SSD固态硬盘充分利用快速的接口。
由于ECC需求的减少和能源消耗的降低,基于SSD的V-NAND也能够提供较高的耐久性。
根据应用程序的不同,受益的范围可以包括了从更多的用户能够访问同一网络上的数据、数据分析响应时间的改善,或在SSD存储空间驱动写入的增加。
借助PCIe和NVMe提高速度和性能
尽管在改善NAND结构以便实现更好的持久性方面已经取得了巨大的进步,但捕捉完整的性能提升需要软件界面连接SSD到计算机的改进。
非易失性存储器(NVMe)和PCI Express(PCIe)SSD技术正在改变数据中心的的处理速度和性能。借助PCIe接口和NVMe协议,存储子系统提供更高的带宽,更低的延迟,并且能够避免性能瓶颈,所有这一切都推动了高水准的数据中心性能。从SATA或SAS到PCIe接口的转变为数据中心提供了比以往通过采用前代的SATA接口的任何时候都更多的带宽。PCIe固态硬盘可以直接连接到CPU,而无需主机总线适配器,进一步减少了延迟。
除了电子接口,操作系统也需要改进的软件接口以实现更高的存储性能。从历史上看,SSD和HDD使用高级主机控制器接口(AHCI),其为SSD固态硬盘带来了一个瓶颈效应,因为其最初的设计是用于在SATA接口上的HDD硬盘的高延迟性。在AHCI堆栈增加了额外的转换层,并且,基于其设计,只能支持一个多达32个未处理命令的队列。根据该技术的性质,SSD能够以较低的延迟带来更高的传输速度,但如果没有一个优化的软件接口,也不能充分发挥其潜力。
尽管前进的道路出现了坎坷,但其最终开始理顺了。借助在此之前的任何标准方法,结合PCIe接口的SSD供应商不得不编写专有驱动程序来提高性能。而NVMe的兴起则成为了一种新的规范,在应用程序和SSD之间使用简化的、低延迟性的堆栈,以减少I/O开销,提供更高的性能和更高的效率。由于AHCI支持一个队列和32个命令,NVMe通过对数以千计的队列系统的支持,每个队列允许多达65,536个未处理的命令,大大改进了队列系统。较之SATA接口的SSD固态硬盘使用AHCI协议,NVMe和PCIe固态硬盘的过渡,以有助于改进随机和顺序性能。
借助这些新的和改进的技术速度,受益于较高的每秒进行读写(I/O)操作的次数(IOPS)的数据中心将能够体验到快四倍的性能提升。现在,数据中心可以使用PCIe和NVMe固态硬盘,最大限度地提高速度和性能,特别是在那些数据访问更频繁的“热”层。
处理最激烈的交易
在单一驱动级别,具有PCIe接口和NVMe驱动的V-NAND SSD固态硬盘的引入,可以在数据中心大大提高关键点的处理速度。随着数据的成倍增加,理解哪些数据是“热”的,哪些数据是“冷”的,对于设计一个架构来进行成本有效的处理变得相当重要。
一个分层的存储方法,能够最成本有效的使用技术。在大多数数据中心,“冷”层的HDD已经存在了,而中档的SSD固态硬盘“暖”层可能是非正式的。添加一个高性能、高耐久性的SSD的“热”层,以专注于处理具有最激烈交易,则有助于使得数据中心的性能提高到一个新的水平。
好文章,需要你的鼓励
微软近年来频繁出现技术故障和服务中断,从Windows更新删除用户文件到Azure云服务因配置错误而崩溃,质量控制问题愈发突出。2014年公司大幅裁减测试团队后,采用敏捷开发模式替代传统测试方法,但结果并不理想。虽然Windows生态系统庞大复杂,某些问题在所难免,但Azure作为微软核心云服务,反复因配置变更导致客户服务中断,已不仅仅是质量控制问题,更是对公司技术能力的质疑。
Meta研究团队发现仅仅改变AI示例间的分隔符号就能导致模型性能产生高达45%的巨大差异,甚至可以操纵AI排行榜排名。这个看似微不足道的格式选择问题普遍存在于所有主流AI模型中,包括最先进的GPT-4o,揭示了当前AI评测体系的根本性缺陷。研究提出通过明确说明分隔符类型等方法可以部分缓解这一问题。
当团队准备部署大语言模型时,面临开源与闭源的选择。专家讨论显示,美国在开源AI领域相对落后,而中国有更多开源模型。开源系统建立在信任基础上,需要开放数据、模型架构和参数。然而,即使是被称为"开源"的DeepSeek也并非完全开源。企业客户往往倾向于闭源系统,但开源权重模型仍能提供基础设施选择自由。AI主权成为国家安全考量,各国希望控制本地化AI发展命运。
香港中文大学研究团队开发出CALM训练框架和STORM模型,通过轻量化干预方式让40亿参数小模型在优化建模任务上达到6710亿参数大模型的性能。该方法保护模型原生推理能力,仅修改2.6%内容就实现显著提升,为AI优化建模应用大幅降低了技术门槛和成本。