近日,Emulex联合InfiniBand行业协会(InfiniBand Trade Association,IBTA),共同宣布推出了增强RoCE(RDMA over Converged Ethernet)规范,该规范将被称为“RoCEv2”。
RoCEv2在现有RoCE规范中添加的主要提升功能叫做可布线性(Routability),该功能可突破2层网络边界,并帮助企业通过RoCE在数据中心的任何位置实现应用加速。利用这项创新,数据中心可以将RoCE的价值扩展到多个域和物理位置。
RDMA允许在两台服务器的内存之间直接转移数据,而无需任何一台服务器的CPU参与(也称为零拷贝网络),因此可实现更高效的通信。这种处理在支持RDMA的网络接口卡(Network Interface Card,NIC)上进行,并且会避开TCP/IP堆栈,因而加快数据转移。如此,就可以直接将数据传送到目标服务器上的远程内存中,降低用于其他处理的服务器的CPU I/O工作负载。
虽然RDMA最初是InfiniBand网络的一项功能,但许多年来,人们一直设法使以太网能够支持RoCE。2010年推出的初始RoCE规范在以太网上实现了RDMA功能,但它却需要无损网络,这限制了该功能的应用范围。目前,RoCE的主要用途之一是在Windows Server 2012上通过服务器消息块(SMB)Direct实现高性能数据传输;同时,各种版本的Linux也支持该功能。RoCE的主要优势在于:由于它的延迟较低,因此可提高网络利用率;同时它可避开TCP/IP并采用硬件卸载,因此CPU利用率也较低。此外,由于可以在单一线路上将服务器上的其他协议融合到网络中,RoCE还进一步深化了线缆整合的概念。
但是,随着虚拟化、云计算和分散式大数据存储库的持续增长,数据加速能力已经成为全球数据中心共同面临的问题,而不是仅局限于单一2层网络的局部问题。利用可布线性,RoCEv2可填补这一差距,并跟上传统本地化数据中心功能在整个数据中心内的扩张步伐。为了实现上述目标,RoCEv2规范将用以太网链路层上的IP报头和UDP报头替代InfiniBand网络层。这样,就可以在基于IP的传统路由器之间路由RoCE。下面的图1和图2显示了协议堆栈比较和帧格式。
RDMA协议堆栈比较
RoCEv2帧格式
利用这项创新,整个业界就能够满足企业内日益增长的高性能和横向扩展架构需求。从传统企业(如华尔街银行和超大规模云数据中心)到大型服务器和存储OEM厂商,RoCEv2均可帮助其实现融合路径的持续性并提供高度密集的数据中心。
好文章,需要你的鼓励
微软近年来频繁出现技术故障和服务中断,从Windows更新删除用户文件到Azure云服务因配置错误而崩溃,质量控制问题愈发突出。2014年公司大幅裁减测试团队后,采用敏捷开发模式替代传统测试方法,但结果并不理想。虽然Windows生态系统庞大复杂,某些问题在所难免,但Azure作为微软核心云服务,反复因配置变更导致客户服务中断,已不仅仅是质量控制问题,更是对公司技术能力的质疑。
Meta研究团队发现仅仅改变AI示例间的分隔符号就能导致模型性能产生高达45%的巨大差异,甚至可以操纵AI排行榜排名。这个看似微不足道的格式选择问题普遍存在于所有主流AI模型中,包括最先进的GPT-4o,揭示了当前AI评测体系的根本性缺陷。研究提出通过明确说明分隔符类型等方法可以部分缓解这一问题。
当团队准备部署大语言模型时,面临开源与闭源的选择。专家讨论显示,美国在开源AI领域相对落后,而中国有更多开源模型。开源系统建立在信任基础上,需要开放数据、模型架构和参数。然而,即使是被称为"开源"的DeepSeek也并非完全开源。企业客户往往倾向于闭源系统,但开源权重模型仍能提供基础设施选择自由。AI主权成为国家安全考量,各国希望控制本地化AI发展命运。
香港中文大学研究团队开发出CALM训练框架和STORM模型,通过轻量化干预方式让40亿参数小模型在优化建模任务上达到6710亿参数大模型的性能。该方法保护模型原生推理能力,仅修改2.6%内容就实现显著提升,为AI优化建模应用大幅降低了技术门槛和成本。