在数据中心的云转型中,需要备份到云或远程数据中心的业务数据大幅增加。浪潮智能存储G2平台根据这一需求,推出了WAN加速技术,通过数据流压缩、固定块切割和多数据流并发,将远程传输的性能提升高达10倍、延时降低10倍,助推企业异地灾备和未来的云对接。
大象,如何跨地域备份?
当数字共享经济到来,有意向将数据备份到云或远程数据中心的企业越来越多。据Gartner预测,到2018年,使用云/异地作为备份目标端的企业的数量会翻番,比2016年初的11%增长一倍。这里既有互联网行业的创新型公司,也不乏"大块头"的跨区域、跨国家的国字号企业。
不过,备份到远程数据中心或云端的愿景虽然看起来美好,想要消化下去却绝非易事。
先看备份的数据体量。企业业务繁杂,业务数据包括数据中心工作负载,比如文件共享区、文件系统、操作系统、数据库、电子邮件、内容管理、客户关系管理(CRM)、企业资源规划(ERP)和协作应用软件(比如内容管理解决方案)数据,容量动辄数十、数百TB,甚至达到PB级,这吨位可以说达到了大象级。如今,这些工作负载大多在本地,而企业却希望把这头数据大象备份到云上或者备份到数百、上千公里之外的远程数据中心,难度可想而知。
再看远程备份通路。企业远程备份的通道一般是构建专用光纤网络或租用公共电信网络。前者企业也都清楚,专用光纤网络需要一笔不菲的建设投入,只能成为一些实力雄厚的企业才能负担的数据传输方式。普通企业几乎没有可能筹措规模庞大的资金去建立一个从性能、容量、带宽上同时满足备份业务需求的存储系统。更不用说专用光纤网络有可能会在某些特殊的节骨眼上,出现业务高峰,到那个时候怎么办?这样一来,后者是大多数企业采用的方式,也就是基于TCP/IP协议的WAN广域网传输。
既然WAN传输是性价比比较高的远程/云备份传输方式,那么就不能用"蛮力"解决一切问题。是不是有捷径可走?能不能更加简单高效的、智能化的满足企业数据远程备份的需求,做到四两拨千斤,减少越来越庞大的IT投资,把钱用到业务创新的刀刃上去?
"对于大多数企业来说,现在数据远程备份已经不缺解决方案,缺的是如何在大容量、强交互环境下能够提升传输性能和体验的WAN加速方案。"浪潮智能存储G2平台产品经理翟爽表示。"WAN(广域网)加速服务是一项对远程备份很有价值的存储技术,它使通过广域网(WAN)将数据高性能、低延迟的备份到公有云或企业远程数据中心成为可能。"
WAN传输效率提升,对于业务带来的好处显而易见。据亚马逊(Amazon)统计,延迟每降低100毫秒可以换来1%销售额的提高;而阿卡迈(Akamai)的研究同样指出:网页加载延迟1秒将会导致平均7%的客户流失、减少11%的网页访问量和16%的客户满意度;AR和VR更是需要在1毫秒内完成场景的构建。虽然企业WAN传输效率提升对业务的影响,不一定像亚马逊、阿迈卡、AR/VR等场景这样有直观的数据来衡量;但随着企业数字化升级不断深入,WAN加速技术对业务的价值会更加显著。
浪潮智能存储G2:WAN加速,从何入手?
在回答这个问题之前,我们先来看看TCP/IP协议的数据传输机制和特点。
TCP/IP是Transmission Control Protocol/Internet Protocol的简写,中译名为传输控制协议/因特网互联协议,是Internet最基本的协议,由网络层的IP协议和传输层的TCP协议组成。
数据通过TCP/IP协议进行传输,可以分为如下步骤:分割成报文段、发送并启动定时器、校验和检验、接收端排序、丢弃重复数据和流量控制。
数据通过TCP/IP协议传输的流程
TCP/IP协议在数据传输可靠性上具有优势。这里有个小故事,TCP/IP协议制定出来后,当时作了一个试验,将信息包通过点对点的卫星网络,再通过陆地电缆,再通过卫星网络,再由地面传输,贯串欧洲和美国,经过各种电脑系统,全程9.4万公里竟然没有丢失一个数据位,远距离的可靠数据传输证明了TCP/IP协议的成功。
TCP/IP协议能做的这么可靠,这要归功于TCP的重传机制,它负责发现传输的问题,一有问题就发出信号,要求重新传输,直到所有数据安全正确地传输到目的地。然而,这个重传机制也有个问题:当一个数据流传输时,如果等到整个数据流传输完成,在接收端进行校验并将结果反馈给发送端,发送端确认无误再推进下一个数据流任务。大家可能已经发现了,发送端传完一个数据流,等待反馈的过程,会造成带宽资源的浪费;更不利的是网络延时比较高,会降低前端业务的运营效率。而且一旦发送中出现错误,哪怕只是一个比特数据的错误,都需要重新传送整个数据流。结果可想而知,生产数据中心到远程备份/云备份的数据中心距离越远,需要等到反馈的时间窗口越大、需要重传的概率越高,带来带宽资源浪费加重、延时更长;当距离达到数百乃至数千公里时,传输效率会低到让备份难以实现。
"浪潮智能存储G2平台在设计之初就系统的分析过远程协同、云对接、智能化趋势下企业数据中心的灾备需求,进而在WAN加速方面做了大量技术优化开发",翟爽介绍到。
WAN加速:提升10X传输性能、降低10倍延时
浪潮智能存储G2平台的WAN加速原理
浪潮智能存储G2平台的WAN加速技术采用多数据流并发传输机制。一方面在发送端,会将每个数据流进行免license压缩,可实现2-5倍的数据压缩比;再将压缩后的数据流切成多个固定大小的数据块,给数据块打上序号和校验码,然后向传输通道传输各个数据流的定长数据块,源源不断的发送过去。另一方面在接受端,对每个定长数据块进行校验,一旦发现数据块有误或丢失,就反馈给发送端,发送端只需要重新传输这个小的定长数据块,不需要重传整个数据流。同时,对数据块进行排序和解压缩,还原成各个数据流的完整版。
经过此番技术创新,浪潮智能存储G2平台的WAN加速技术大幅提升了远程传输的效率。为此,浪潮进行了一组未加速和采用WAN加速技术的远程备份场景测试。在同样的IT配置下(主数据中心和备数据中心都采用了浪潮X86服务器和浪潮中端存储AS5500G2),首先基于FileZilla进行远程传输,这是一个免费开源的FTP软件,分为客户端版本和服务器版本,具备所有的FTP软件功能。其次,基于浪潮智能存储G2平台的WAN加速技术进行传输。结果显示,在数据容量4.4GB,延时40ms、丢包率0.5%的情况下,未采用WAN加速需要传输55分钟,采用WAN加速后只需要4分钟;未采用WAN加速带宽10Mb/s,采用WAN加速带宽138Mb/s。
浪潮智能存储G2平台的WAN加速技术测试数据
翟爽表示,"浪潮WAN加速不仅技术领先,更采用了免费内置的业务模式,很受企业欢迎。通过提高带库利用率,将WAN传输性能、带宽提升10倍以上,满足了企业远程备份数据高效传输的刚需"。
WAN加速,助力智能存储G2在十多个行业落地
浪潮智能存储G2平台上市不到半年,已在能源、政府、电力、动漫等10余个行业部署应用,其中大量远程备份或两地三中心项目都部署了WAN加速技术。
有道是说得好不如用的好,如果企业CIO和CTO们在数据中心建设中有云备份或远程备份采购需求,可以买几台G2回去试试,在业务中实实在在的体验G2的WAN加速优势。
好文章,需要你的鼓励
新加坡国立大学研究团队开发了名为IEAP的图像编辑框架,它通过将复杂编辑指令分解为简单原子操作序列解决了当前AI图像编辑的核心难题。研究发现当前模型在处理不改变图像布局的简单编辑时表现出色,但在需要改变图像结构时效果差。IEAP框架定义了五种基本操作,并利用思维链推理技术智能分解用户指令,实验证明其性能显著超越现有方法,尤其在处理复杂多步骤编辑时。
Character AI的研究者开发出TalkingMachines系统,通过自回归扩散模型实现实时音频驱动视频生成。研究将预训练视频模型转变为能进行FaceTime风格对话的虚拟形象系统。核心创新包括:将18B参数的图像到视频DiT模型改造为音频驱动系统、通过蒸馏实现无错误累积的无限长视频生成、优化工程设计降低延迟。系统可让多种风格的虚拟角色与人进行自然对话,嘴型与语音同步,为实时数字人交互技术开辟了新可能。
这项由中国人民大学高瓴人工智能学院研究团队发表的研究解决了大语言模型评判中的自我偏好问题。研究提出了DBG分数,通过比较模型给自身回答的分数与黄金判断的差异来测量偏好度,有效分离了回答质量与自我偏好偏差。实验发现,预训练和后训练模型都存在自我偏好,但大模型比小模型偏好度更低;调整回答风格和使用相同数据训练不同模型可减轻偏好。研究还从注意力分析角度揭示了自我偏好的潜在机制,为提高AI评判客观性提供了重要指导。
这篇研究提出了DenseDPO,一种改进视频生成模型的新方法,通过三大创新解决了传统方法中的"静态偏好"问题:使用结构相似的视频对进行比较,采集细粒度的时序偏好标注,并利用现有视觉语言模型自动标注。实验表明,DenseDPO不仅保留了视频的动态性,还在视觉质量方面与传统方法相当,同时大大提高了数据效率。这项技术有望推动AI生成更加自然、动态的视频内容。