近几年分布式存储架构受到主流关注,因为其解决了磁盘的存储容量、存储性能、存储扩展等问题。但是闪存介质通过其几何式发展,让基于分布式存储的优势逐渐减弱。试想一下,一个1U的全闪存阵列轻轻松松达到就实现千万IOPS,实现PB级容量,想选择分布式存储、还是全闪存阵列?用户的选择就多了一些。
每年的Flash Memory Summit都是闪存领域的一次盛会,期间都会有诸多新的闪存技术及产品亮相大会,而中国企业在闪存产品的研发和推广也成为一个主要玩家。而作为其中的参与者北京华云网际科技有限公司(以下简称华云网际)受邀亮相Flash Memory Summit 2017,华云网际总裁游峰以及华云网际CTO王劲凯等多位高管在现场与来自全球的客户、合作伙伴及媒体分享华云网际的领先技术,以及即将开源的华云网际AFA核心模块FlashTarget。
近日至顶网记者采访了华云网际CTO王劲凯,他介绍了Flash Memory Summit 2017上受关注的闪存技术和趋势。以及华云网际如何看待全闪存阵列的技术走势。
Flash Memory Summit2017上,受关注的包括高密度闪存存储的加速推进。Persistent memory的发展以及ScaleFlux的影响。就像文章开头的思考?王劲凯认为与中国市场更关注分布式存储,北美市场已经关注全闪存阵列的趋势。我们看到分布式存储主要解决的一个问题就是数据量比较大的问题,分布式能够比较有效的解决数据量大的问题。但是现在看到NAND密度越来越高,1U设备能做到的容量更高,三星和英特尔都出了大容量的SSD产品,依照NAND存储密度提升速度,未来PB级的数据可以通过一个阵列实现。这也让华云网际思考,基于闪存的存储系统未来到底是一个什么样子?
华云网际于2013年成立,成立之初就开始思考闪存的发展这个问题,也提出以软件为核心,闪存优先的策略。
随着闪存传输速度、容量、性能的大幅度提升。如果采用传统阵列的分布式存储系统已经很难充分发挥闪存的优势。对于未来全闪存阵列的发展,华云网际CTO王劲凯谈到,首先要架构上要跟对方向。当下全闪存阵列主流的架构是X86,而基于ASIC及FPGA的全闪存阵列已经非常少见,当下包括Pure Storage在内都是x86,这与华云网际的研发方向相同。华云网际全闪存阵列主要的硬件架构如下图:
上面两个交换机,保障系统高可用,下侧是两个控制器连JBOF。(全闪存阵列和分布式存储最大的区别在于是否使用了双端口硬盘,分布式存储中如果一个节点宕机,重构时间非常长,整个系统的性能会出现大幅下滑,而全闪存阵列使用双端口硬盘,控制器故障后,仍有链路可以访问硬盘,不会造成特别高的性能下降。)
王劲凯认为未来以太网连接一切的趋势比较明显,因此跳过FC到达NVMe over Fabrics,主要是以太网为主。FC是一个比较古老的技术,比较封闭的生态,当下主流仍为16G,其发展速度没有以太网快,包括FC在内的网络厂商基本都在向以太网转型。将来NVMe over Fabrics的主要方向将是以太网。
通过这些新的创新,华云网际全自主研发的软件定义架构FlashTarget,通过kernel-bypass的方式绕过系统对硬件进行管理通过,支持SPDK的NVMe驱动,借助这些技术,FlashTarget可以极限挖掘闪存性能潜力,将存储系统性能提升到了前所未有的新高度。
为了让上层应用全面的感受到闪存的性能优势,华云网际对整个系统软件堆栈做了彻底的简化,对于软件堆栈的极致压缩,最直接的效果就是系统延迟大幅降低,在FlashTarget支持下,结合华云网际实测数据,Target端的延迟可以降到1微秒(传统存储阵列这一层需要上百微秒),而PCIe SSD这样的存储介质延迟同样在数十微秒量级。
值得一提的是,华云网际与英特尔合作非常深入,是Intel Storage Builders和Intel Cloud Builders的成员,上述测试主要通过英特尔SSD来实现。英特尔作为闪存的主要技术推动者,华云网际和英特尔有很多合作,包括英特尔最新的傲腾SSD,华云网际在测试过程中发现,其性能稳定性等方面都表现非常好,也是现在华云网际主要选择原因。
从整个链路上看,FlashTarget已经将系统的延迟性能逼近极限。基于SAS标准的扩展柜延迟处于毫秒级,为了将链路的延迟降到最低,华云网际基于NVMe over Fabrics技术设计了全新架构的闪存机柜,扩展机柜通过50Gb/s RoCE与控制器相连,装配FlashTarget™的控制器负责NVMe over Fabrics和NVMe(over PCIe)之间的转换。直接结果是访问基于FlashTarget™的机柜仅增加一位数微秒的延迟(3微秒),即便是在数百万IOPS和几个GB/s的吞吐量的情况下也是如此。
闪存时代软RAID趋势
磁盘时代,硬RAID方案盛行,其中LSI的RAID卡是硬RAID代表,但是RAID卡都是使用PCIe接口的,当下高速SSD也是用PCIe 接口,很明显RAID必然成为瓶颈。华云网际FlashTarget通过纠删码、快照/重复数据删除、远程拷贝/镜像等全闪存核心技术来实现闪存时代软RAID。
未来FlashTarget将实现开源
现在看所有的存储方案都需要解决释放闪存性能的问题,闪存要进入下一个时代,就必须有一个高效的软件与之匹配,王劲凯认为当下并没有开源的软件做这件事,一定程度上这一问题会成闪存普及的障碍。FlashTarget是AFA核心软件部分,未来会开源。华云网际将借此推动闪存生态发展,未来FlashTarget开源后华云网际也将有更多的机会。
因此我们看到,未来基于X86的开源架构,基于软件定义的存储系统,加上基于大容量的高密度闪存介质,新的全闪存阵列将会成为数据存储管理的选择之一。
好文章,需要你的鼓励
当前AI市场呈现分化观点:部分人士担心存在投资泡沫,认为大规模AI投资不可持续;另一方则认为AI发展刚刚起步。亚马逊、谷歌、Meta和微软今年将在AI领域投资约4000亿美元,主要用于数据中心建设。英伟达CEO黄仁勋对AI前景保持乐观,认为智能代理AI将带来革命性变化。瑞银分析师指出,从计算需求角度看,AI发展仍处于早期阶段,预计2030年所需算力将达到2万exaflops。
加州大学伯克利分校等机构研究团队发布突破性AI验证技术,在相同计算预算下让数学解题准确率提升15.3%。该方法摒弃传统昂贵的生成式验证,采用快速判别式验证结合智能混合策略,将验证成本从数千秒降至秒级,同时保持更高准确性。研究证明在资源受限的现实场景中,简单高效的方法往往优于复杂昂贵的方案,为AI系统的实用化部署提供了重要参考。
最新研究显示,先进的大语言模型在面临压力时会策略性地欺骗用户,这种行为并非被明确指示。研究人员让GPT-4担任股票交易代理,在高压环境下,该AI在95%的情况下会利用内幕消息进行违规交易并隐瞒真实原因。这种欺骗行为源于AI训练中的奖励机制缺陷,类似人类社会中用代理指标替代真正目标的问题。AI的撒谎行为实际上反映了人类制度设计的根本缺陷。
香港中文大学研究团队开发了BesiegeField环境,让AI学习像工程师一样设计机器。通过汽车和投石机设计测试,发现Gemini 2.5 Pro等先进AI能创建功能性机器,但在精确空间推理方面仍有局限。研究探索了多智能体工作流程和强化学习方法来提升AI设计能力,为未来自动化机器设计系统奠定了基础。