随着云计算、互联网业务的持续高速增长,社会对信息化的追求直接导致了网络对高带宽的追求,由此催生了以太网各种标准,而不同标准从概念化到产业链成熟(即可规模商用)的时间也在逐渐缩短。速度从3Mbps到现在逐渐成为主流的标准IEEE 802.3ba 支持40Gbps的速度,速度快速增长。我们暂且忽略在这过程中的种种,先来看看今天异军突起的40GE以太网到底是什么吧。
目前运营商的IT骨干网已经开始大量使用40Gb/s的链路,40Gb以太网(40GE)是一个标准,是由IEEE 802.3ba 工作小组开发,2010年正式获得批准。在产业链方面,40GE芯片和光模块都已经具备了成熟的商用能力,已在网络领域广泛应用。40GE组网在网络带宽提供、网络综合成本、未来业务需求和技术演进趋势等方面相比10GE组网更具优势。
40GE以太网是目前大规模商用的最大带宽、最高速率的以太网接口,其在实现方面有自己独特的地方。在物理层(PHY)实现方面,由于40GE速率高,40GE的物理媒质附属(PMA)子层和物理媒质依赖(PMD)子层与10GE相比有较大变化。与10GE相比,40GE的MAC与物理层的接口由原来的XGMII接口演变成XLGMI接口,接口容量由10Gbit/s提高到40Gbit/s,数据通道位宽由32 bit增加到64 bit。在子层接口方面,40GE的PMA与PMD子层之间接口为XLAUI/CAUI,该接口为4×10Gbit/s,40GE PMD采用并行接口,传输媒质有铜线、多模光纤、单模光线等。
RDMA,Remote Direct Memory Access(远程直接数据存取)是一种网卡技术,支持同步数据在本地直接存取对端引擎的内存,可以将同步数据从一个系统通过网络快速传送到远程系统内存中,不需要经过CPU耗时的传输,从而减少对总线带宽和CPU开销的需要,大幅度降低时延。该技术可以在40GE网卡设备上进行支持。
支持RDMA技术的40GE以太网技术在现在的IT数据中心中得到了青睐,目前大多数服务器、网络厂家都支持这种高速的数据传输网络技术,因为伴随着海量数据的处理,大数据分析不断进行数据交互等应用场景,需要高带宽、低延时的数据传输通道。40Gb以太网凭借着其自身的诸多优势,逐渐成为用户使用的新选择。但是在存储领域,40G以太网还没有得到大范围的使用,这是因为存储在整个数据中心来说,是比较封闭的,无论其存储产品线的历史原因、存储操作系统支持情况还是其对新技术的拥抱程度,都会稍微落后于整个IT发展的速度。但是,目前40Gb以太网技术已经非常成熟,服务器和网络均大范围支持这种高速以太网技术,这就要求存储在速度上也要匹配前端业务的需求,存储引入40GE成为一种发展趋势。
看40GE存储的傲人指标
宏杉科技率先将40GE以太网技术引入存储领域,成为了业内首家在存储上支持40GE的厂家,而且宏杉科技将40GE技术用于对称双活存储的数据同步,大大提升了两套存储之间的数据同步效率,进一步巩固了自身在双活存储领域的领先地位。为什么双活存储需要高的带宽呢?因为对于双活存储来讲,数据同步的效率会影响整个双活存储性能,所以如何选择双活存储之间的同步链路成为双活解决方案的一个关键点。目前业界有使用10GE和16Gb FC等几种链路的双活数据同步,40GE比10GE和16GbFC具有更高的效率,所以宏杉科技率先将40GE技术用于对称双活存储的数据同步,可以为用户提供更加高效和完善的双活存储解决方案。
以下是针对40GE和10GE的网络接口带宽及IOPS的性能对比测试,采用的性能测试工具是netperf,在4个进程的压力情况下进行的。通过测试结果,可以看到10GE卡最大带宽可以达到1128.84MB/s,最大IOPS可以达到88134.31。而在40GE卡的情况下,最大带宽可以达到4488.99MB/s,最大的IOPS可以达到156321.48。通过测试数据可以看到,带宽40GE的是10GE的4倍左右,IOPS上40GE的是10GE的2倍,性能提升非常明显。而且40GE卡的平均响应时间只是10GE网卡的响应时间的一半。
宏杉科技用40GE玩什么
1、支持双活存储,高速数据同步
采用40GE以太网进行对称双活存储系统的数据同步。通过在两台存储阵列上配置40GE以太网接口卡,利用光纤直接连接或者利用交换机组网来构建双活存储系统的私有网络来进行数据同步。宏杉科技的双活存储在业界率先支持40GE以太网技术,40GE是目前业界以太网实际应用中具有最高带宽的传输技术,基于40GE以太网数据同步的对称双活存储,不仅保证了数据同步速率,而且简化了对网络链路的要求。
2、支持主口互联,满足应用需机接求
宏杉科技的40GE以太网IO模块可用于与前端主机互联,大大提升了前端应用服务器和存储之间的通道带宽,可以满足大规模应用的高并发需求。
3、支持RDMA技术,显著降低时延
宏杉科技的40GE IO模块支持RDMA网卡技术,支持在本地直接存取对端引擎的内存,可以将需要同步的数据从一个系统通过网络快速传送到远程系统内存中,不需要经过CPU耗时的传输,从而减少对总线带宽和CPU的开销,采用RDMA技术可以将链路时延减少80%。同时,宏杉科技存储设备的ODSP软件平台优化支持RDMA存取方式,大大提高数据传输的性能。
4、支持中端存储多控互联,提高效率
目前在中端存储领域,各个存储厂家基本上使用的都是万兆网络进行互联多个双控组成8控存储系统,宏杉科技的MS3000、MS5000中端存储系列的多控存储系统,也会引入40GE的互联技术。通过40GE互联,不仅可以为以后集群的扩展预留空间,保证集群弹性扩展,而且为控制器之间提供了高速的数据传输通道进行数据转发。通过40GE进行存储控制器互联,可以大大地降低链路时延,提高数据传输的性能。为满足大数据、低延时、高并发的存储需求,提供强有力的技术支撑。
存储互联是未来存储发展的方向,40GE是进行存储互联的强有力的纽带。显然,在存储互联领域、在高速传输技术拥抱方面,宏杉科技走在了业界发展的最前面。目前,宏杉科技创新的将网络、服务器的40GE高速带宽技术引入到了存储的解决方案中,不仅可以采用高效40GE技术来构建的双活存储系统,大幅提升双活数据同步速度,完美解决双活存储两个节点间数据同步的带宽问题。而且还可以将40GE以太网技术用于与前端主机互联,大大提升前端应用服务器和存储之间的通道带宽,可以满足大规模应用的高并发需求。通过支持RDMA的40GE技术,可以完美解决存储互联的理念,将存储互联的理念进行实实在在的落地。在云计算、大数据、互联网+高速发展的今天,只有做到存储互联才能更好地从上到下保证整个IT架构数据传输通道带宽,更好地为应用服务。宏杉科技借助40GE和RDMA这一套“组合拳”,将自己特色的存储双活解决方案中的数据同步效率提高了一个档次,在两套双活存储之间构建了一畅通高速的“信息高铁”。
好文章,需要你的鼓励
微软近年来频繁出现技术故障和服务中断,从Windows更新删除用户文件到Azure云服务因配置错误而崩溃,质量控制问题愈发突出。2014年公司大幅裁减测试团队后,采用敏捷开发模式替代传统测试方法,但结果并不理想。虽然Windows生态系统庞大复杂,某些问题在所难免,但Azure作为微软核心云服务,反复因配置变更导致客户服务中断,已不仅仅是质量控制问题,更是对公司技术能力的质疑。
Meta研究团队发现仅仅改变AI示例间的分隔符号就能导致模型性能产生高达45%的巨大差异,甚至可以操纵AI排行榜排名。这个看似微不足道的格式选择问题普遍存在于所有主流AI模型中,包括最先进的GPT-4o,揭示了当前AI评测体系的根本性缺陷。研究提出通过明确说明分隔符类型等方法可以部分缓解这一问题。
当团队准备部署大语言模型时,面临开源与闭源的选择。专家讨论显示,美国在开源AI领域相对落后,而中国有更多开源模型。开源系统建立在信任基础上,需要开放数据、模型架构和参数。然而,即使是被称为"开源"的DeepSeek也并非完全开源。企业客户往往倾向于闭源系统,但开源权重模型仍能提供基础设施选择自由。AI主权成为国家安全考量,各国希望控制本地化AI发展命运。
香港中文大学研究团队开发出CALM训练框架和STORM模型,通过轻量化干预方式让40亿参数小模型在优化建模任务上达到6710亿参数大模型的性能。该方法保护模型原生推理能力,仅修改2.6%内容就实现显著提升,为AI优化建模应用大幅降低了技术门槛和成本。