提到全闪存系统,大家第一反应就是快,各大存储厂家也在不遗余力的宣传各种闪存系统的指标,诸如百万IOPS、0.3ms时延等等,看上去似乎只要用了SSD盘就能“鸟枪换炮”,瞬间走上人生巅峰。
可是理想很丰满,现实却很骨感,就像每辆汽车的仪表盘上都有200KM/H的刻度,然而真正能跑到这个速度,并且还能操控自如的汽车又有多少呢?没有扎实的底盘,精准的转向,良好的悬挂,最终只是铤而走险。同样,不在客户真实的业务配置下宣传的性能指标,都仅仅是镜中花、水中月。
在全闪存系统中,由于SSD本身的价格以及可靠性,在线重删压缩属于必备特性。为了实现重删压缩以及磨损均衡,全闪存系统都会基于ROW(redirect on write)机制进行开发。同时,为了避免静默数据损坏,端到端的DIF功能也是企业级存储的必备能力,能与数据的DIX功能配合,实现从业务到存储介质全流程数据完整性保护。另外就是大家耳熟能详的快照功能,可以用来做本地数据备份,实现本地高可靠方案。而这些功能,在一定程度上都会对系统性能造成影响。
众所周知,时延敏感的业务基本上都是基于数据库构建,而数据库的典型模型为7:3读写比,8K IO粒度随机访问。
因此,如果想模拟真实用户的业务场景来评估性能,一般可基于此业务模型展开。此外,结合现实应用,一般还需要叠加部分高级特性,如开启重删压缩、开启端到端DIF校验、系统容量使用80%、创建快照等。
经过测试我们可以发现,华为OceanStor Dorado V3全闪存存储系统基于华为自研存储操作系统OceanStor OS以及自研硬件,采用创新的FlashLink技术,系统软件与自研SSD控制器更好配合,在上述场景,能在0.5ms稳定低时延下双控性能超过150K IOPS。
下面我们来分析一下,OceanStor Dorado V3在配置了SSD后,是如何让存储系统变为一辆超级跑车。
首先,SSD的性能非常高,单盘就能达到几万甚至十万以上IOPS的性能,那么传统的SAS级联方式会极大的限制其性能发挥,OceanStor Dorado V3既支持传统的SAS接口的SSD,还支持基于NVMe接口的SSD。在使用SAS接口SSD时,每一个硬盘框支持25块硬盘,并且通过4个48G的SAS端口连接到控制框,最大程度地发挥单框硬盘的性能;NVMe接口的SSD(通过NVMe协议)可以直接连接到PCIe总线,无需PCIe到SAS协议的转换,可以提供更低的时延。
其次,存储介质性能的提高必然需要存储系统软件在设计上做单独的考量,OceanStor Dorado V3存储系统采用面向闪存设计的FlashLink技术,实现了全局磨损均衡、冷热数据分离、端到端IO优先级控制、满分条顺序写等功能,配合OceanStor OS提供的CPU分区、多核免锁、时间复杂度优先的cache算法,使得系统软件的各类调度和资源分配,都充分保证主机读写请求控制在一个低时延水平。
综合以上,全闪存系统的“快”,是要在真实业务场景配置下依然能获得的“快”,而不只是停留在纸面,这样的“快”才有价值和意义。
好文章,需要你的鼓励
微软近年来频繁出现技术故障和服务中断,从Windows更新删除用户文件到Azure云服务因配置错误而崩溃,质量控制问题愈发突出。2014年公司大幅裁减测试团队后,采用敏捷开发模式替代传统测试方法,但结果并不理想。虽然Windows生态系统庞大复杂,某些问题在所难免,但Azure作为微软核心云服务,反复因配置变更导致客户服务中断,已不仅仅是质量控制问题,更是对公司技术能力的质疑。
Meta研究团队发现仅仅改变AI示例间的分隔符号就能导致模型性能产生高达45%的巨大差异,甚至可以操纵AI排行榜排名。这个看似微不足道的格式选择问题普遍存在于所有主流AI模型中,包括最先进的GPT-4o,揭示了当前AI评测体系的根本性缺陷。研究提出通过明确说明分隔符类型等方法可以部分缓解这一问题。
当团队准备部署大语言模型时,面临开源与闭源的选择。专家讨论显示,美国在开源AI领域相对落后,而中国有更多开源模型。开源系统建立在信任基础上,需要开放数据、模型架构和参数。然而,即使是被称为"开源"的DeepSeek也并非完全开源。企业客户往往倾向于闭源系统,但开源权重模型仍能提供基础设施选择自由。AI主权成为国家安全考量,各国希望控制本地化AI发展命运。
香港中文大学研究团队开发出CALM训练框架和STORM模型,通过轻量化干预方式让40亿参数小模型在优化建模任务上达到6710亿参数大模型的性能。该方法保护模型原生推理能力,仅修改2.6%内容就实现显著提升,为AI优化建模应用大幅降低了技术门槛和成本。