和传统硬盘相比,固态硬盘(Solid State Drives,简称SSD)具有高性能、低延迟的巨大优势,同时又具有擦写寿命限制、写入放大等自身弱点。浪潮智能全闪新品G2-F针对SSD特性,扬长避短,从全闪存存储架构、效率、可靠性等方面进行了全面优化,将闪存技术与企业级高可靠数据存储平台深度融合,满足了IO密集型企业关键业务的数据存储需求。
擦写寿命限制及写放大先天弱点,挑战全闪存存储系统
相对传统机械磁盘,SSD具有极大的性能优势:其随机读写性能是传统磁盘的数百倍,延迟只有传统磁盘的一百至数百分之一。在强调数据吞吐性能的今天,完全由固态存储介质构成的全闪存存储阵列成为诸多企业升级存储系统的优先选择。然而,全闪存存储系统依然面临着诸多挑战,其中最显著缺点的是耐久性问题,即擦写寿命限制及写放大。
SSD的擦写寿命,主要由其存储介质(NAND为主)决定,其典型擦写寿命为1.5~10万次,落后于传统机械磁盘,一旦超过擦写寿命,容易导致数据丢失乃至磁盘报废。另外,SSD在进行操作时,其写动作是以1 page(如4K)为单位,而擦除则是以block(如128*4K)为最小单位。当发生数据更改时,闪存的一个块在新数据写入前必须要先擦除(除非是空白数据块),而擦除block就需要将其中有效的page移除并写入到其他位置,这就发生了写放大问题。
在传统的存储系统中,磁盘控制器在处理IO后一般会有相对余量周期来处理快照、卷管理和复制之类的存储服务,但SSD大大提升了大多数服务的处理周期,使得传统的单控制器处理能力,以及常见的AA双控存储架构存在性能瓶颈。最后,相比传统机械磁盘,目前SSD的成本仍然很高,极大的影响了SSD的进一步普及。
浪潮发力点:寻求SSD性能、可靠性与价格的平衡
针对以上问题,浪潮实现了SSD性能、可靠性与价格的平衡:
全闪存存储设计优化示意
首先,扩展控制器方式。SSD的加入,使得低端存储资源不再是存储系统的性能瓶颈所在。在这种情况下,通常使用更多数据流并发的分布式控制器架构,比如,在传统双控存储架构上,将单个控制器的处理器升级到两个乃至更多;在Scale up基础上支持集群,或原生支持Scale out控制器架构;通过多控制器的叠加保证SSD性能的充分挖掘。
其次,改善数据组织。基于磁盘的传统RAID模式若直接应用到SSD,会使得整体性能和SSD使用寿命受到严重影响。浪潮G2-F全闪存存储系统的设计,重点考虑了如何发挥出SSD的随机访问性能,主要从系统元数据、FTL映射等管理、垃圾回收和磨损均衡等出发进行设计。例如,做到元数据聚合,不会出现小块数据写入动作,减少系统的写放大。
再次,优化IO路径。在传统IO处理的基础上,尽可能减少SSD的擦写次数,避免小块数据写放大,减少了写放大和数据量。另外,数据缩减机制基本是浪潮全闪存存储系统G2-F的标准配置,可以更多地减少数据量。
G2-F写性能提升2-4倍,平均寿命提高至5年以上
浪潮智能全闪G2-F新品
在创新技术与理念的支撑下,浪潮智能全闪G2-F存储实现了高扩展、高性能、高可用性,并极大的提升了使用寿命:
支持在线横向扩展,最大支持16控制器,TB级缓存,使客户的存储资源得到线性增长,满足客户不断变化的业务需求;
提供基于智能的缓存MASP架构,通过数据即存即计算,优化闪存存储性能,系统最大可达260万IOPS;
提供顺序化条带写入优化的硬压缩技术,通过硬压缩、消0技术减少实际写入的数据量,再通过顺序化条带技术提升数据写入效率,降低SSD写放大,可将写性能提升2-4倍;
采用全局动态磨损均衡算法,通过SSD全局磨损均衡、SSD故障检测等闪存优化,将闪存平均使用寿命提高至5年以上;
借助A-A架构,双控/多控的数据一致性技术,浪潮G2-F实现了6个9的企业级存储可靠性。与此同时,G2-F提供混合云分层技术,轻松实现可应用上云。其业内独有的云分层技术,具备独特的混合云存储能力,提供云缓存,云容灾,云备份等功能,无需购买备份软件即可实现数据到云端的备份,降低备份复杂程度,有效保护客户的数据安全。客户可将云存储的高性价比和可扩展性与本地数据中心架构相结合,轻松实现数据在本地数据中心和公有云之间的无缝流动。
浪潮存储产品部总经理孙钢表示:"浪潮新一代智能全闪G2-F存储系统聚焦闪存技术与企业级高可靠数据存储平台的融合,进一步丰富了浪潮智能存储G2产品体系,满足了IO密集型企业关键业务的数据存储需求。未来,浪潮存储会持续加大研发投入,根据用户需求对产品不断进行优化,和合作伙伴一起创造一个面向未来的开放生态,为最终用户提供端到端全部重新优化的智能存储平台解决方案。"
好文章,需要你的鼓励
南洋理工大学研究团队开发了WorldMem框架,首次让AI拥有真正的长期记忆能力,解决了虚拟世界模拟中的一致性问题。该系统通过记忆银行存储历史场景,并使用智能检索机制,让AI能准确重现之前的场景和事件,即使间隔很长时间。实验显示在Minecraft和真实场景中都表现出色,为游戏、自动驾驶、机器人等领域带来广阔应用前景。
AWS通过升级SageMaker机器学习平台来扩展市场地位,新增观测能力、连接式编码环境和GPU集群性能管理功能。面对谷歌和微软的激烈竞争,AWS专注于为企业提供AI基础设施支撑。SageMaker新功能包括深入洞察模型性能下降原因、为开发者提供更多计算资源控制权,以及支持本地IDE连接部署。这些更新主要源于客户需求,旨在解决AI模型开发中的实际问题。
MTS AI研究团队提出RewardRanker系统,通过重排序模型和迭代自训练显著提升AI代码生成质量。该方法让13.4B参数模型超越33B大模型,在多种编程语言上表现优异,甚至在C++上超越GPT-4。通过引入困难负样本和PPO优化,系统能从多个代码候选中选出最优方案,为AI编程助手的实用化奠定基础。