NVMe是新一代的PCIe固态硬盘接口规范,其目的是统一主流厂商的SSD接口交互标准,并更好的对上层系统释放效率潜能。NVMe标准的倡导者包括英特尔、三星、美光、Oracle、微软、Dell、HGST、希捷等行业领先企业,2014年11月发布版本1.2标准。
市售的基于NVMe硬盘动辄可达到单盘GB级的读写带宽和十万量级的随机IOPS,为SATA固态硬盘的5~10倍。然而,由于Linux内核驱动实现与调度机制的限制,主流的软件定义存储系统并不能完全释放其性能,同时,对CPU等系统资源消耗巨大,为构建融合存储系统带来挑战。
继为SDN和NFV领域带来福音的DPDK之后,英特尔于2015年9月开始,逐步将为NVMe等新一代存储规范优化的Linux性能工具包SPDK(Storage Performance Development Kit)对合作伙伴与社区开源,试图将Linux用户态存储服务程序与底层硬件设施打通,大幅度缩短IO路径,充分利用无锁机制,为NVMe等新一代的存储介质打通软件层瓶颈,使其能够在有限的系统资源消耗下支撑关键业务存储系统足够的带宽和延时要求。
SPDK系统架构图
如同DPDK一样,SPDK作为开源的代码实现,并不仅仅支持英特尔品牌的闪存设备。它面向整个基于Linux平台的软件生态系统,为业界“软件定义存储”(SDS,Software Defined Storage)提供了又一性能与架构利器,势必影响深远。
作为开源软件定义存储的首选系统,Ceph长期以来就其计算资源占用率和性能方面,虽不断提高,但在闪存环境下仍难觅突破性进展。顺应业界趋势,将SPDK的支持在Ceph中实现势在必行。
Ceph与SPDK结合架构图
XSKY(星辰天合)是国内SDS初创企业,其团队在Ceph开源社区代码贡献量在全球行业内领先。作为英特尔在中国的首批SPDK合作伙伴之一,XSKY率先将SPDK与Ceph用户态文件系统BlueFS整合,大幅度提高Ceph在NVMe介质上的落盘效率。
相较于此前的NVMe公版内核态驱动,数据落盘模块性能提升明显,特别是时延方面,提高在20%以上(在英特尔® P3700 SSD上已测试验证)。下一步,XSKY将发起针对整个Ceph OSD的重构,全面面向SPDK进行优化并接纳英特尔DPDK作为网络层交互方案,可以期待性能达到双倍提高。随着对Ceph上层模块的不断优化,整个软件定义存储系统会有更好的性能表现。
该创新实践已得到Red Hat方面Ceph社区领袖Sage Weil等人的认可,XSKY已将此部分代码贡献到开源Ceph主线,并承诺持续对此部分进行整合优化工作,推动该技术在实际生产环境中的应用。
参考资料及其来源
好文章,需要你的鼓励
甲骨文云基础设施与xAI达成合作,OCI将为企业客户托管xAI的Grok模型。此次合作使Grok 3等模型可供以数据为中心的客户群进行训练和推理,支持Nvidia和AMD加速器。OCI采用独特的AI策略,专注于企业数据需求,保持模型和工具的不可知论立场,让生态系统合作伙伴专注于提供工具,而OCI确保体验的无摩擦、高性能和安全性。
华为诺亚实验室联合多家顶尖院校推出开源机器人编程框架Ark,通过Python优先设计和模块化架构,实现仿真与现实环境的无缝切换。该框架大幅降低机器人编程门槛,支持现代AI技术集成,为机器人学习研究提供统一平台,有望加速机器人技术普及。
量子计算何时能商用化仍是行业关注焦点。专家指出,除了逻辑量子比特和错误纠正技术,量子计算系统还面临诸多挑战:激光器缺乏相干性、稀释制冷机难以适应数据中心环境、系统可扩展性不足等硬件问题。此外,量子计算机需要达到99.999%的运行时间要求,编程易用性和与传统高性能计算的混合架构复杂性也有待解决。
网易有道研究团队开发了Confucius3-Math,这是一个专门针对中国K-12数学教育的14B参数AI模型。该模型在多项数学推理测试中表现出色,超越了许多规模更大的竞争对手,训练成本仅需2.6万美元,推理速度比DeepSeek-R1快15倍,能在消费级GPU上高效运行,旨在通过降低AI教育成本来促进教育公平。