提到全闪存系统,大家第一反应就是快,各大存储厂家也在不遗余力的宣传各种闪存系统的指标,诸如百万IOPS、0.3ms时延等等,看上去似乎只要用了SSD盘就能“鸟枪换炮”,瞬间走上人生巅峰。
可是理想很丰满,现实却很骨感,就像每辆汽车的仪表盘上都有200KM/H的刻度,然而真正能跑到这个速度,并且还能操控自如的汽车又有多少呢?没有扎实的底盘,精准的转向,良好的悬挂,最终只是铤而走险。同样,不在客户真实的业务配置下宣传的性能指标,都仅仅是镜中花、水中月。
在全闪存系统中,由于SSD本身的价格以及可靠性,在线重删压缩属于必备特性。为了实现重删压缩以及磨损均衡,全闪存系统都会基于ROW(redirect on write)机制进行开发。同时,为了避免静默数据损坏,端到端的DIF功能也是企业级存储的必备能力,能与数据的DIX功能配合,实现从业务到存储介质全流程数据完整性保护。另外就是大家耳熟能详的快照功能,可以用来做本地数据备份,实现本地高可靠方案。而这些功能,在一定程度上都会对系统性能造成影响。
众所周知,时延敏感的业务基本上都是基于数据库构建,而数据库的典型模型为7:3读写比,8K IO粒度随机访问。
因此,如果想模拟真实用户的业务场景来评估性能,一般可基于此业务模型展开。此外,结合现实应用,一般还需要叠加部分高级特性,如开启重删压缩、开启端到端DIF校验、系统容量使用80%、创建快照等。
经过测试我们可以发现,华为OceanStor Dorado V3全闪存存储系统基于华为自研存储操作系统OceanStor OS以及自研硬件,采用创新的FlashLink技术,系统软件与自研SSD控制器更好配合,在上述场景,能在0.5ms稳定低时延下双控性能超过150K IOPS。
下面我们来分析一下,OceanStor Dorado V3在配置了SSD后,是如何让存储系统变为一辆超级跑车。
首先,SSD的性能非常高,单盘就能达到几万甚至十万以上IOPS的性能,那么传统的SAS级联方式会极大的限制其性能发挥,OceanStor Dorado V3既支持传统的SAS接口的SSD,还支持基于NVMe接口的SSD。在使用SAS接口SSD时,每一个硬盘框支持25块硬盘,并且通过4个48G的SAS端口连接到控制框,最大程度地发挥单框硬盘的性能;NVMe接口的SSD(通过NVMe协议)可以直接连接到PCIe总线,无需PCIe到SAS协议的转换,可以提供更低的时延。
其次,存储介质性能的提高必然需要存储系统软件在设计上做单独的考量,OceanStor Dorado V3存储系统采用面向闪存设计的FlashLink技术,实现了全局磨损均衡、冷热数据分离、端到端IO优先级控制、满分条顺序写等功能,配合OceanStor OS提供的CPU分区、多核免锁、时间复杂度优先的cache算法,使得系统软件的各类调度和资源分配,都充分保证主机读写请求控制在一个低时延水平。
综合以上,全闪存系统的“快”,是要在真实业务场景配置下依然能获得的“快”,而不只是停留在纸面,这样的“快”才有价值和意义。
好文章,需要你的鼓励
南洋理工大学研究团队开发了WorldMem框架,首次让AI拥有真正的长期记忆能力,解决了虚拟世界模拟中的一致性问题。该系统通过记忆银行存储历史场景,并使用智能检索机制,让AI能准确重现之前的场景和事件,即使间隔很长时间。实验显示在Minecraft和真实场景中都表现出色,为游戏、自动驾驶、机器人等领域带来广阔应用前景。
AWS通过升级SageMaker机器学习平台来扩展市场地位,新增观测能力、连接式编码环境和GPU集群性能管理功能。面对谷歌和微软的激烈竞争,AWS专注于为企业提供AI基础设施支撑。SageMaker新功能包括深入洞察模型性能下降原因、为开发者提供更多计算资源控制权,以及支持本地IDE连接部署。这些更新主要源于客户需求,旨在解决AI模型开发中的实际问题。
MTS AI研究团队提出RewardRanker系统,通过重排序模型和迭代自训练显著提升AI代码生成质量。该方法让13.4B参数模型超越33B大模型,在多种编程语言上表现优异,甚至在C++上超越GPT-4。通过引入困难负样本和PPO优化,系统能从多个代码候选中选出最优方案,为AI编程助手的实用化奠定基础。