近几年分布式存储架构受到主流关注,因为其解决了磁盘的存储容量、存储性能、存储扩展等问题。但是闪存介质通过其几何式发展,让基于分布式存储的优势逐渐减弱。试想一下,一个1U的全闪存阵列轻轻松松达到就实现千万IOPS,实现PB级容量,想选择分布式存储、还是全闪存阵列?用户的选择就多了一些。
每年的Flash Memory Summit都是闪存领域的一次盛会,期间都会有诸多新的闪存技术及产品亮相大会,而中国企业在闪存产品的研发和推广也成为一个主要玩家。而作为其中的参与者北京华云网际科技有限公司(以下简称华云网际)受邀亮相Flash Memory Summit 2017,华云网际总裁游峰以及华云网际CTO王劲凯等多位高管在现场与来自全球的客户、合作伙伴及媒体分享华云网际的领先技术,以及即将开源的华云网际AFA核心模块FlashTarget。
近日至顶网记者采访了华云网际CTO王劲凯,他介绍了Flash Memory Summit 2017上受关注的闪存技术和趋势。以及华云网际如何看待全闪存阵列的技术走势。
Flash Memory Summit2017上,受关注的包括高密度闪存存储的加速推进。Persistent memory的发展以及ScaleFlux的影响。就像文章开头的思考?王劲凯认为与中国市场更关注分布式存储,北美市场已经关注全闪存阵列的趋势。我们看到分布式存储主要解决的一个问题就是数据量比较大的问题,分布式能够比较有效的解决数据量大的问题。但是现在看到NAND密度越来越高,1U设备能做到的容量更高,三星和英特尔都出了大容量的SSD产品,依照NAND存储密度提升速度,未来PB级的数据可以通过一个阵列实现。这也让华云网际思考,基于闪存的存储系统未来到底是一个什么样子?
华云网际于2013年成立,成立之初就开始思考闪存的发展这个问题,也提出以软件为核心,闪存优先的策略。
随着闪存传输速度、容量、性能的大幅度提升。如果采用传统阵列的分布式存储系统已经很难充分发挥闪存的优势。对于未来全闪存阵列的发展,华云网际CTO王劲凯谈到,首先要架构上要跟对方向。当下全闪存阵列主流的架构是X86,而基于ASIC及FPGA的全闪存阵列已经非常少见,当下包括Pure Storage在内都是x86,这与华云网际的研发方向相同。华云网际全闪存阵列主要的硬件架构如下图:
上面两个交换机,保障系统高可用,下侧是两个控制器连JBOF。(全闪存阵列和分布式存储最大的区别在于是否使用了双端口硬盘,分布式存储中如果一个节点宕机,重构时间非常长,整个系统的性能会出现大幅下滑,而全闪存阵列使用双端口硬盘,控制器故障后,仍有链路可以访问硬盘,不会造成特别高的性能下降。)
王劲凯认为未来以太网连接一切的趋势比较明显,因此跳过FC到达NVMe over Fabrics,主要是以太网为主。FC是一个比较古老的技术,比较封闭的生态,当下主流仍为16G,其发展速度没有以太网快,包括FC在内的网络厂商基本都在向以太网转型。将来NVMe over Fabrics的主要方向将是以太网。
通过这些新的创新,华云网际全自主研发的软件定义架构FlashTarget,通过kernel-bypass的方式绕过系统对硬件进行管理通过,支持SPDK的NVMe驱动,借助这些技术,FlashTarget可以极限挖掘闪存性能潜力,将存储系统性能提升到了前所未有的新高度。
为了让上层应用全面的感受到闪存的性能优势,华云网际对整个系统软件堆栈做了彻底的简化,对于软件堆栈的极致压缩,最直接的效果就是系统延迟大幅降低,在FlashTarget支持下,结合华云网际实测数据,Target端的延迟可以降到1微秒(传统存储阵列这一层需要上百微秒),而PCIe SSD这样的存储介质延迟同样在数十微秒量级。
值得一提的是,华云网际与英特尔合作非常深入,是Intel Storage Builders和Intel Cloud Builders的成员,上述测试主要通过英特尔SSD来实现。英特尔作为闪存的主要技术推动者,华云网际和英特尔有很多合作,包括英特尔最新的傲腾SSD,华云网际在测试过程中发现,其性能稳定性等方面都表现非常好,也是现在华云网际主要选择原因。
从整个链路上看,FlashTarget已经将系统的延迟性能逼近极限。基于SAS标准的扩展柜延迟处于毫秒级,为了将链路的延迟降到最低,华云网际基于NVMe over Fabrics技术设计了全新架构的闪存机柜,扩展机柜通过50Gb/s RoCE与控制器相连,装配FlashTarget™的控制器负责NVMe over Fabrics和NVMe(over PCIe)之间的转换。直接结果是访问基于FlashTarget™的机柜仅增加一位数微秒的延迟(3微秒),即便是在数百万IOPS和几个GB/s的吞吐量的情况下也是如此。
闪存时代软RAID趋势
磁盘时代,硬RAID方案盛行,其中LSI的RAID卡是硬RAID代表,但是RAID卡都是使用PCIe接口的,当下高速SSD也是用PCIe 接口,很明显RAID必然成为瓶颈。华云网际FlashTarget通过纠删码、快照/重复数据删除、远程拷贝/镜像等全闪存核心技术来实现闪存时代软RAID。
未来FlashTarget将实现开源
现在看所有的存储方案都需要解决释放闪存性能的问题,闪存要进入下一个时代,就必须有一个高效的软件与之匹配,王劲凯认为当下并没有开源的软件做这件事,一定程度上这一问题会成闪存普及的障碍。FlashTarget是AFA核心软件部分,未来会开源。华云网际将借此推动闪存生态发展,未来FlashTarget开源后华云网际也将有更多的机会。
因此我们看到,未来基于X86的开源架构,基于软件定义的存储系统,加上基于大容量的高密度闪存介质,新的全闪存阵列将会成为数据存储管理的选择之一。
好文章,需要你的鼓励
微软近年来频繁出现技术故障和服务中断,从Windows更新删除用户文件到Azure云服务因配置错误而崩溃,质量控制问题愈发突出。2014年公司大幅裁减测试团队后,采用敏捷开发模式替代传统测试方法,但结果并不理想。虽然Windows生态系统庞大复杂,某些问题在所难免,但Azure作为微软核心云服务,反复因配置变更导致客户服务中断,已不仅仅是质量控制问题,更是对公司技术能力的质疑。
Meta研究团队发现仅仅改变AI示例间的分隔符号就能导致模型性能产生高达45%的巨大差异,甚至可以操纵AI排行榜排名。这个看似微不足道的格式选择问题普遍存在于所有主流AI模型中,包括最先进的GPT-4o,揭示了当前AI评测体系的根本性缺陷。研究提出通过明确说明分隔符类型等方法可以部分缓解这一问题。
当团队准备部署大语言模型时,面临开源与闭源的选择。专家讨论显示,美国在开源AI领域相对落后,而中国有更多开源模型。开源系统建立在信任基础上,需要开放数据、模型架构和参数。然而,即使是被称为"开源"的DeepSeek也并非完全开源。企业客户往往倾向于闭源系统,但开源权重模型仍能提供基础设施选择自由。AI主权成为国家安全考量,各国希望控制本地化AI发展命运。
香港中文大学研究团队开发出CALM训练框架和STORM模型,通过轻量化干预方式让40亿参数小模型在优化建模任务上达到6710亿参数大模型的性能。该方法保护模型原生推理能力,仅修改2.6%内容就实现显著提升,为AI优化建模应用大幅降低了技术门槛和成本。