单卷峰值IOPS 大于200万,最低时延达到 65us,这些高端全闪存存储的性能指标,如今正在通过软件定义存储的方式实现。
2022年8月31日,由华瑞指数云(ExponTech)主办的“全自研下一代软件定义存储产品体验沙龙”在北京圆满举办。发布会现场,华瑞指数云重磅推出全自研极速分布式块存储产品WDS 。这是继2021年11月24日该公司在中国数据与存储峰会发布WiDE无量数据引擎之后又一个新的里程碑。
ExponTech WDS是基于WiDE引擎研发的第一款软件定义存储(Software Defined Storage,简称SDS)2.0产品。它率先打破了当前的SDS 产品 (SDS1.0) 在IOPS和时延方面的能力瓶颈,相对SDS 1.0产品IOPS提升最高达30倍,时延降低幅度达90%,完全满足企业核心数据库、关键业务虚拟化和容器化,以及HPDA等场景对极高性能、极低时延和稳定可靠存储能力的需求,可广泛应用于金融、运营商、医疗、能源、交通、制造等行业,为企业关键应用提供持续卓越的数据存储服务能力。
ExponTech WDS的问世,弥合了SDS产品能力与企业关键业务及新兴业务需求之间的鸿沟,撕下了SDS1.0产品身上的低端存储的标签,开辟了SDS的下一个时代,引领SDS迈入 2.0的新时代。
数据井喷时代 存储亟待升级
随着数字经济发展和数字化转型的发展风向,数据井喷时代已然到来。自动驾驶,人工智能,数字化营销,数字工厂……本质上都是数据驱动型的新业务形态,这类业务的典型特征是数据规模巨大、业务负载复杂多样、处理性能要求高,因此对数据存储的扩展性,读写效率,可靠性,能耗等提出了极大的挑战。
伴随着云计算和大数据的出现,SDS产品应运而生。发展至今时,商用SDS产品能够基本解决数据量大、吞吐量大、并发量大的问题,但是它存在性能和IO处理效率上的“致命伤”,IO处理效率太低,性能低、时延高,同时CPU消耗大、消耗系统资源多,无法胜任企业关键业务及关键数据存储的高要求。
跨越技术鸿沟,突破存储瓶颈
近年来,借着云计算的东风,SDS 1.0市场取得了长足进步,在互联网、云原生等大量新业务场景中获得企业青睐。根据Gartner预测,到2024年,全球50%的存储容量将以软件定义存储的形式部署,包括本地部署或在公有云上。
事实上,虽然SDS 1.0具备扩展能力强、软件独立解耦等优势,但依然存在性能低下、时延较高等缺点,被市场普遍视为入门级存储产品,普遍应用于企业非核心业务,难以胜任企业的关键商用应用和核心数据,也难以胜任人工智能,高性能数据分析等新兴业务形态提出的混合负载、实时数据分析的挑战。与之相对的,以AFA全闪存阵列为代表的中高端存储,具备千万级IOPS、百微秒级时延等优势。但遗憾的是,该类产品存在使用门槛高、硬件锁定、扩展性差、运维复杂度高等缺陷,难以应对业务新场景发起的数据规模、部署形态、灵活弹性、降低综合使用成本的挑战。
据了解,截至目前SDS市场仍处于1.0时代,主流产品依然沿用十年前的开源软件架构,不能迭代升级利用当下新兴技术,无法充分发挥新存储介质的潜能,从而导致SDS 1.0产品在面对企业关键业务和新兴业务场景时,存在一条巨大技术鸿沟。
如何弥补这个技术鸿沟?ExponTech自研的WiDE引擎创造性的全面重新设计和实现了SDS的技术架构,让软件定义,分布式存储的软硬解耦和水平扩展能力和高端存储的性能优势完美融合,既能够充分发挥新兴存储介质的高性能,又能够通过组合式架构应对混合业务负载,满足海量数据持续增长的需求。
华瑞指数云CTO 曹羽中
“软件定义存储,其中最重要的问题是其IO处理效率和性能远远无法和现在的传统集中式存储相比。华瑞指数云团队长期探索和研发新一代的分布式存储架构,是打造面向未来的数字化和数字经济的引擎,基于一套架构帮助企业客户打造统一的数据底座。”华瑞指数云CTO曹羽中分享到。
此次发布会上,ExponTech重磅推出基于WiDE引擎打造的WDS 极速硬盘存储产品,标志着SDS市场开始真正进入2.0时代,极大拓宽SDS产品的市场空间,帮助企业更好应对数字洪流。
ExponTech WDS 重磅发布,助力国内数据存储产业阔步向前
ExponTech WDS 是面向企业关键业务和新兴业务场景打造的超高性能块存储产品。经过华瑞指数云和英特尔公司联合测试,WDS取得了亮眼表现。在3服务器节点(每节点4块,总共12块SCM SSD硬盘)集群规模下,集群峰值IOPS高达691万,时延438微秒,单卷 IOPS高达259万,时延低至390微秒。MySQL数据库测试场景,在大压力下端到端时延稳定在5毫秒内,支持高达20000TPS。
“目前,WDS和WiDE实现了全部的柔性化部署,结合可组合式架构,就可以最小资源消耗+最大性能体验,实现最优部署形态,这是非常大的优势。同时,可组合式架构的能力也给用户带来了绿色、低碳、高效的体验,能够给用户带来资源消耗和性能体验二者兼得的完美组合。”华瑞指数云存储首席架构师于强表示,“可靠性是存储至关重要的根本,WDS在可靠性方面有非常出色的表现。WDS有智能网络亚健康检测能力,通过检测识别网络的时延异常、丢包错包来自动隔离处理网络的故障,或者指导用户及时做修复处理。面对突发故障,WDS也实现了双活容灾能力,我们跨地域实现了副本同步,保证业务连续稳定的运行。”
华瑞指数云存储首席架构师 于强
发布会前夕,华瑞指数云联合英特尔发布了《WiDE分布式引擎与英特尔新一代平台联合解决方案技术白皮书》。在发布会上,英特尔云解决方案架构师张庆峰表示,“值得一提的是,本次和ExponTech WDS方案联合验证过程中,使用的另一个特性是RDMA功能,测试搭建了RoCEv2网络,用了英特尔100GE网卡E810和交换机联合联合适配,最终使得存储性能充分发挥出来,更惊喜的发现,网络在这里面没有成为任何瓶颈。未来英特尔希望在存储领域可以跟合作伙伴一起作出更多更好的产品和方案。”
大数据在线主编袁绍龙作为产品体验官表示:“数据库、高性能大数据分析、AI等高性能的核心业务场景中,我们很少见到软件定义存储的身影,这好像给软件定义存储打上了不能胜任高端核心应用的标签。但我们发现这种标签正在逐步打破,基于全新软件技术栈的软件定义存储产品,通过通用硬件+下一代的软件架构产品其实一样能达到高端存储的性能表现。”随后,在几十家媒体及合作伙伴的共同见证下,ExponTech采用了非常大胆的产品发布方式,现场进行性能实战PK,通过多样性的性能比拼测试,充份体现ExponTech WDS产品的领先性,让现场嘉宾和媒体朋友们赞叹不绝。
现场的比拼测试,总共准备了6台服务器,组成了两套测试环境,6台服务器硬件均基于统一型号、统一配置,使用了NVMe SSD以及25G网络。在两套测试环境上对比了目前市场上非常主流的Ceph产品以及华瑞指数云的下一代SDS产品WDS,分别从单节点单路和多节点对比产品性能,通过现场几轮测试结束,袁绍龙表示,“测试结果非常惊人,从测试结果来看,WDS在三节点峰值性能4k随机写达到了123万IOPS(时延309us),4k随机读达到了272万IOPS(时延561us),无论是随机写还是随机读都已经跑到了接近硬件网卡的极限性能,WDS的随机写IPOS是Ceph的12倍,时延只有Ceph的2%,随机读性能是Ceph的6倍,时延只有Ceph的13%。
这个表现跟很多集中式的高端全闪存储公布的数据非常接近,而且WDS还具备性能的线性扩展能力,硬件能力越好,集群节点数越多,WDS就越能线性扩展出相应的性能水准,这一点又是集中式的高端全闪存储做不到的,可见WDS面对单兵作战(单结点性能)和多兵协同作战(集群可扩展)都能应对自如。”此外,现场还提供了另外3台服务器组成的WDS分布式存储集群,供现场的嘉宾们实际使用和体验WDS的管理界面,各项功能,可靠性以及性能。
如此优秀的性能表明,ExponTech的WiDE引擎以及WDS产品完全跨越了SDS产品和集中式高端全闪存储之间的性能鸿沟,融合了两者的优点,可以真正实现在一套分布式存储底座上,支持企业的全场景数据,包括需要高IOPS和极低时延的核心数据,需要高吞吐和成本敏感的海量数据等。我们有理由期待ExponTech WDS将更好地帮助企业应对数字化时代面临的业务需求,推动企业的数字化和智能化转型。
好文章,需要你的鼓励
如果说世界上有哪个市场迫切需要激烈竞争,自然就是推动AI革命的数据中心GPU市场。目前英伟达几乎就是行业内唯一的神。
近日,杂货巨头Woolworths新西兰技术总经理Steve James和我们分享了如何在极端事件中保持基本服务的运行,如何与社区互动以激励人们从事技术职业,以及如何利用技术来确保团队安全。
从业务角度来说是反映模型的初始响应速度,对于实时交互式应用非常重要,较低的TTFT可以提高用户体验,使用户感觉模型响应迅速;