StreamFast专注于开发新型SSD驱动器,这些驱动器内置外部数据服务器功能,并按顺序存储任意长度的数据字符串。开放闪存平台(OFP)旨在从文件访问客户端系统和存储驱动器之间的数据路径中移除外部数据服务器。
开放闪存平台架构设计
这是探讨StreamFast和OFP系列文章的第三篇,OFP旨在打造1 EB机架闪存存储容量。这个1 EB OPF存储机架使用1 RU托盘,最多可插入六个厚E2e标尺格式滑板,每个滑板具有4 PB容量和800 Gbps网络连接。OPF架构图显示滑板中似乎有12个独立的NFS eSSD,分为四组4层驱动器堆栈,表明每个U.2驱动器容量为333.3 TB,我们可以说是330 TB。但这是一个原型设计,所以不应过分纠结于绝对数值。滑板中还包含一个Excite DPU。
eSSD技术核心
eSSD本质上是一个片上系统(SoC),配备Linux存储服务器,在其内核中运行NFS和pNFS,基于Arm CPU运行,外加100 Gbe网卡和QLC闪存子系统。
驱动器图像显示为U.2格式,配备三星NAND芯片,每侧24个,以及StreamFast品牌芯片,推测是Arm CPU。
GPU服务器集成方案
OFP机架设计包含机架顶部网络交换机和24 PB闪存托盘,其余空间用于GPU服务器。用户可以拥有无存储GPU服务器,通过PCIe Gen 5总线从OFP托盘中的驱动器启动。Flynn告诉我们:"你可以使用RDMA,因为这在机架内。"
他说:"GPU可以使用直接物理流地址访问SSD控制器上的数据块。StreamFast架构配合物理需求寻址将成为GPU访问数据的方式。"
产业化进展
Hammerspace正在资助原型开发工作,并接受潜在客户的意见。首席营销官Molly Presley告诉我们:"显然,我们的客户Meta提供了大量意见,他们也是OCP的成员。我们正努力获得超大规模厂商以及行业供应商的意见和支持。我们现在已经建成了fp托盘。这不是概念产品。它们已经建成,正在运行,现在在实验室中,我们正在准备下一步的规模化建设。"
时间表很紧迫:"从设计到现在准备规模化建设的进展极其迅速。这主要是由我们收到的订单驱动的,我们计划在夏季时间框架内交付。"
技术优势与市场前景
总体而言,如果OFP数据准确,相比同等NAS阵列,密度增加超过10倍,电力消耗减少90%,运行寿命延长60%,总拥有成本降低50%,那么在密度、机架空间占用和能效方面,没有其他存储方案能与OFP存储相提并论。在这个AI驱动的时期,NAND价格日益昂贵(GPU高带宽内存更是如此),充分利用闪存存储显然是明智之举,特别是对于大规模部署的超大规模厂商而言。
Q&A
Q1:StreamFast eSSD的核心技术是什么?
A:StreamFast eSSD本质上是一个片上系统(SoC),配备Linux存储服务器,在其内核中运行NFS和pNFS,基于Arm CPU运行,外加100 Gbe网卡和QLC闪存子系统。它内置外部数据服务器功能,并按顺序存储任意长度的数据字符串。
Q2:开放闪存平台相比传统存储方案有什么优势?
A:根据OFP数据,相比同等NAS阵列,开放闪存平台密度增加超过10倍,电力消耗减少90%,运行寿命延长60%,总拥有成本降低50%。在密度、机架空间占用和能效方面都有显著优势。
Q3:开放闪存平台什么时候能实现商用部署?
A:根据Hammerspace首席营销官透露,原型产品已经建成并在实验室运行,计划在夏季时间框架内交付订单。从设计到规模化建设的进展极其迅速,主要由现有订单驱动。
好文章,需要你的鼓励
美国连锁超市巨头Albertsons正在基于Databricks构建商品智能平台,整合产品、定价、促销与陈列等决策功能,目标是在2026年底前全面向门店运营商落地。该平台以Databricks Lakehouse存储零售数据,通过Unity Catalog与AI Gateway实现数据治理,并借助AI智能体Genie支持自然语言查询,帮助商家洞察销售趋势,提升决策效率。此举是Albertsons今年四项AI核心战略投资之一。
阿里Qwen团队通过引入强化学习和在线策略蒸馏,将Qwen-Image-2.0升级为Qwen-Image-2.0-RL,让图像生成模型真正学会人类审美,文生图Elo评分提升78分,图像编辑提升93分。
微软正将Windows 11打造成真正的AI操作系统。在Build大会上,微软展示了AI模型与智能代理如何深度融合进Windows 11,让用户通过自然语言完成系统操作。借助Windows ML框架,超过5亿台PC已可在本地离线运行AI任务,无需联网、无token费用、数据不离设备。Office、Photos、Teams等应用已支持本地AI能力,Adobe、WhatsApp、Canva等第三方也在积极跟进,企业级AI PC采购需求有望加速。
港科大与快手联合提出NormGuard,针对流匹配模型强化学习训练中速度范数膨胀问题,通过训练时单向惩罚约束,在保留奖励的同时改善图像真实感。