在新一轮科技革命和产业变革深入发展的当前,数据成为新的生产要素,算力成为新的基础能源,大模型等人工智能技术则成为新的生产工具,特别是在关键行业,高安全算力基础设施成为驱动新质生产力的核心引擎。因此,为了满足党政、能源、通信、交通、水利、金融等关键行业不同场景下的智能化需求,高安全、高性能的AI服务器变得至关重要。
在刚刚落幕的第七届数字中国建设峰会上,算力技术创新领域的领军企业浪潮计算机重磅发布AI服务器NF5468H7。这款服务器是面向深度学习、元宇宙、AIGC、科学计算等复杂AI应用场景使用的新一代高性能AI服务器,具备卓越多元算力性能、极致弹性架构扩展、多场景灵活适用等特性,并灵活适配国内各品牌AI加速卡和IB/RoCE网卡、智能网卡,以及3种PCIe拓扑的灵活切换,满足了HPC以及不同计算量的大模型训练、推理需求,为关键信息基础设施行业的AI应用打造强大且安全的算力“心脏”,源源不断地为创新注入澎湃动能。
卓越技术 服务器性能进阶
AI算力基础设施作为新型信息基础设施的重要组成部分,呈现多元泛在、智能敏捷、安全可靠、绿色低碳等特征,对于助推产业转型升级、赋能科技创新进步和实现社会高效能治理具有重要意义。浪潮计算机AI服务器NF5468H7采用了2颗最新一代高性能C86处理器,单CPU最高可支持32个计算核心、64线程,最高主频可达2.7Ghz,TDP(热设计功耗)可达225W。
在内存方面,NF5468H7支持4条xGMI互联,有效消除算力内存墙(memory wall),并支持32条DDR4 RDIMM内存配置,频率达到3200 MHz。同时在满配GPU情况下,NF5468H7支持5个PCIe4.0 插槽,1个OCP网络插槽,支持200G IB/RoCE网络,保障了数据密集计算下的快速数据交换,大幅度提升人工智能应用的负载性能。
AI计算场景需要备高度的可靠性和稳定性,能够长时间稳定运行,进而保障大模型训练任务的持续输出。为此,NF5468H7采用了先进的冗余设计和故障恢复技术,最高支持2+2冗余的4块80 PLUS铂金电源模块和N+1冗余的12颗6056系列风扇,可支持热插拔以保障高负荷运算要求,保障底层硬件的高可靠、高稳定运行。
此外,NF5468H7还搭载浪潮原创设计BMC管理芯片,通过分层解耦、模块化设计,在BMC层面实现了软硬件的标准设计,可以实时监测服务器的状态和性能,及时发现并解决潜在的问题,保证系统层面的稳定性和可靠性,更可以在远程管理和批量自动部署等方面满足AI应用快速迭代更新的需求。
多场景景覆盖 让安全的AI算力无处不在
人工智能正在加速从感知智能到生成式智能迈进,中国人工智能算力市场规模快速扩大,IDC和浪潮信息联合发布的《2023-2024年中国人工智能计算力发展评估报告》预测,2022-2027年中国智能算力规模年复合增长率为33.9%,2023-2027年中国人工智能服务器市场复合增长率达到21.8%。而在技术路线、政策驱动、行业需求等多重因素的驱动下,中国AI算力呈现多元异构特征,据不完全统计,GPU、FPGA等加速计算企业超过20多家。
为满足关键行业应用对可靠性、安全性的苛刻要求,NF5468H7实现了全面的GPU生态适配,支持8张双宽AI加速卡,支持主流PyTorch 、TensorFlow、PaddlePaddle等开源框架,满足模型开发,模型训练等应用需求。而其广泛的生态适配,让NF5468H7可以兼容各种国内主流的高端AI芯片,可为智算中心、党政、金融、通信等关键行业提供大模型训练、图像识别、智能推荐、语音分析、量化交易等诸多核心应用场景的安全算力支撑。
当前,“计算力就是生产力”已成为业界共识,特别是计算力作为数字经济时代的关键生产力要素,更成为了挖掘数据要素价值,推动数字经济发展的核心支撑力和驱动力。面对与日俱增的云计算、大数据、科学计算、AIGC等复杂多样的AI应用场景需求,浪潮计算机匠心打造的NF5468H7高性能AI服务器,加速实现了算力产品的智能再进化,为千行百业的数智变革构筑多元开放、高效融合、安全可靠的强劲AI算力底座。
好文章,需要你的鼓励
这项研究提出了HoPE(混合位置编码),一种针对视觉语言模型的新型位置编码技术,专门解决长视频理解的挑战。传统位置编码技术在处理长视频时表现不佳,HoPE通过两个创新解决了这一问题:混合频率分配策略(为空间信息分配高频,时间维度使用零频率)和动态时间缩放机制(根据视频速度灵活调整时间编码)。实验证明,HoPE在长视频理解和检索任务上分别提升了8.35%和22.23%,为AI更准确理解长视频内容开辟了新途径。
东京大学研究团队推出MangaVQA基准和MangaLMM模型,专门用于评估和提升AI对日本漫画的理解能力。MangaVQA由526个高质量手动创建的问答对组成,用于评估AI系统对漫画内容的深入理解;MangaOCR则专注于漫画页内文本识别。基于这两个基准,研究团队从开源多模态模型Qwen2.5-VL微调出MangaLMM,能同时处理文本识别和内容理解任务。实验显示,即使是GPT-4o等顶尖商业模型在处理漫画的独特复杂性时也面临挑战,而专门训练的MangaLMM表现出色。
这项研究由ISTA和谷歌研究院联合开发的"影响力蒸馏"方法,通过利用二阶信息为训练样本分配最优权重,实现了大语言模型训练数据的高效选择。该方法在数学上有坚实理论支持,并创新性地引入"地标"近似技术,仅需计算少量样本的精确影响力,再高效传播到其他样本,大幅降低计算成本。实验证明,该方法在多种模型和任务上均优于或匹配现有技术,同时实现了高达3.5倍的速度提升,为大模型训练开辟了更高效的路径。
来自哈佛大学等顶尖学府的研究团队在这篇论文中挑战了传统观念,认为Token压缩不仅仅是提高AI模型运行效率的工具,更应成为生成式AI模型设计的核心原则。研究表明,精心设计的Token压缩策略可以促进多模态深度整合、减轻AI"幻觉"问题、增强处理长序列输入的能力,并提高训练稳定性。论文详细分析了现有方法的局限性,并提出了算法创新、强化学习指导和硬件协同设计等未来研究方向。