近几年分布式存储架构受到主流关注,因为其解决了磁盘的存储容量、存储性能、存储扩展等问题。但是闪存介质通过其几何式发展,让基于分布式存储的优势逐渐减弱。试想一下,一个1U的全闪存阵列轻轻松松达到就实现千万IOPS,实现PB级容量,想选择分布式存储、还是全闪存阵列?用户的选择就多了一些。
每年的Flash Memory Summit都是闪存领域的一次盛会,期间都会有诸多新的闪存技术及产品亮相大会,而中国企业在闪存产品的研发和推广也成为一个主要玩家。而作为其中的参与者北京华云网际科技有限公司(以下简称华云网际)受邀亮相Flash Memory Summit 2017,华云网际总裁游峰以及华云网际CTO王劲凯等多位高管在现场与来自全球的客户、合作伙伴及媒体分享华云网际的领先技术,以及即将开源的华云网际AFA核心模块FlashTarget。
近日至顶网记者采访了华云网际CTO王劲凯,他介绍了Flash Memory Summit 2017上受关注的闪存技术和趋势。以及华云网际如何看待全闪存阵列的技术走势。
Flash Memory Summit2017上,受关注的包括高密度闪存存储的加速推进。Persistent memory的发展以及ScaleFlux的影响。就像文章开头的思考?王劲凯认为与中国市场更关注分布式存储,北美市场已经关注全闪存阵列的趋势。我们看到分布式存储主要解决的一个问题就是数据量比较大的问题,分布式能够比较有效的解决数据量大的问题。但是现在看到NAND密度越来越高,1U设备能做到的容量更高,三星和英特尔都出了大容量的SSD产品,依照NAND存储密度提升速度,未来PB级的数据可以通过一个阵列实现。这也让华云网际思考,基于闪存的存储系统未来到底是一个什么样子?
华云网际于2013年成立,成立之初就开始思考闪存的发展这个问题,也提出以软件为核心,闪存优先的策略。
随着闪存传输速度、容量、性能的大幅度提升。如果采用传统阵列的分布式存储系统已经很难充分发挥闪存的优势。对于未来全闪存阵列的发展,华云网际CTO王劲凯谈到,首先要架构上要跟对方向。当下全闪存阵列主流的架构是X86,而基于ASIC及FPGA的全闪存阵列已经非常少见,当下包括Pure Storage在内都是x86,这与华云网际的研发方向相同。华云网际全闪存阵列主要的硬件架构如下图:
上面两个交换机,保障系统高可用,下侧是两个控制器连JBOF。(全闪存阵列和分布式存储最大的区别在于是否使用了双端口硬盘,分布式存储中如果一个节点宕机,重构时间非常长,整个系统的性能会出现大幅下滑,而全闪存阵列使用双端口硬盘,控制器故障后,仍有链路可以访问硬盘,不会造成特别高的性能下降。)
王劲凯认为未来以太网连接一切的趋势比较明显,因此跳过FC到达NVMe over Fabrics,主要是以太网为主。FC是一个比较古老的技术,比较封闭的生态,当下主流仍为16G,其发展速度没有以太网快,包括FC在内的网络厂商基本都在向以太网转型。将来NVMe over Fabrics的主要方向将是以太网。
通过这些新的创新,华云网际全自主研发的软件定义架构FlashTarget,通过kernel-bypass的方式绕过系统对硬件进行管理通过,支持SPDK的NVMe驱动,借助这些技术,FlashTarget可以极限挖掘闪存性能潜力,将存储系统性能提升到了前所未有的新高度。
为了让上层应用全面的感受到闪存的性能优势,华云网际对整个系统软件堆栈做了彻底的简化,对于软件堆栈的极致压缩,最直接的效果就是系统延迟大幅降低,在FlashTarget支持下,结合华云网际实测数据,Target端的延迟可以降到1微秒(传统存储阵列这一层需要上百微秒),而PCIe SSD这样的存储介质延迟同样在数十微秒量级。
值得一提的是,华云网际与英特尔合作非常深入,是Intel Storage Builders和Intel Cloud Builders的成员,上述测试主要通过英特尔SSD来实现。英特尔作为闪存的主要技术推动者,华云网际和英特尔有很多合作,包括英特尔最新的傲腾SSD,华云网际在测试过程中发现,其性能稳定性等方面都表现非常好,也是现在华云网际主要选择原因。
从整个链路上看,FlashTarget已经将系统的延迟性能逼近极限。基于SAS标准的扩展柜延迟处于毫秒级,为了将链路的延迟降到最低,华云网际基于NVMe over Fabrics技术设计了全新架构的闪存机柜,扩展机柜通过50Gb/s RoCE与控制器相连,装配FlashTarget™的控制器负责NVMe over Fabrics和NVMe(over PCIe)之间的转换。直接结果是访问基于FlashTarget™的机柜仅增加一位数微秒的延迟(3微秒),即便是在数百万IOPS和几个GB/s的吞吐量的情况下也是如此。
闪存时代软RAID趋势
磁盘时代,硬RAID方案盛行,其中LSI的RAID卡是硬RAID代表,但是RAID卡都是使用PCIe接口的,当下高速SSD也是用PCIe 接口,很明显RAID必然成为瓶颈。华云网际FlashTarget通过纠删码、快照/重复数据删除、远程拷贝/镜像等全闪存核心技术来实现闪存时代软RAID。
未来FlashTarget将实现开源
现在看所有的存储方案都需要解决释放闪存性能的问题,闪存要进入下一个时代,就必须有一个高效的软件与之匹配,王劲凯认为当下并没有开源的软件做这件事,一定程度上这一问题会成闪存普及的障碍。FlashTarget是AFA核心软件部分,未来会开源。华云网际将借此推动闪存生态发展,未来FlashTarget开源后华云网际也将有更多的机会。
因此我们看到,未来基于X86的开源架构,基于软件定义的存储系统,加上基于大容量的高密度闪存介质,新的全闪存阵列将会成为数据存储管理的选择之一。
好文章,需要你的鼓励
Lumen Technologies对美国网络的数据中心和云连接进行重大升级,在16个高连接城市的70多个第三方数据中心提供高达400Gbps以太网和IP服务。该光纤网络支持客户按需开通服务,几分钟内完成带宽配置,最高可扩展至400Gbps且按使用量付费。升级后的网络能够轻松连接数据中心和云接入点,扩展企业应用,并应对AI和数据密集型需求波动。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
RtBrick研究警告,运营商面临AI和流媒体服务带宽需求"压倒性"风险。调查显示87%运营商预期客户将要求更高宽带速度,但81%承认现有架构无法应对下一波AI和流媒体流量。84%反映客户期望已超越网络能力。尽管91%愿意投资分解式网络,95%计划五年内部署,但仅2%正在实施。主要障碍包括领导层缺乏决策支持、运营转型复杂性和专业技能短缺。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。