在6月21日举办的华为开发者大会(HDC 2024)上,华为云CTO张宇昕介绍了下一代云基础设施——CloudMatrix。这一创新性的技术解决方案旨在解决当前云平台在大模型训练和使用中遇到的“算力墙”“内存墙”和“能效墙”等问题。
张宇昕表示,CloudMatrix改变了传统数据中心的架构和算力供给模式,将传统的以CPU为中心的主从架构,演进为多元算力对等全互联架构;并通过高速互联网络协议,将CPU、NPU、GPU 等算力资源全部互联和池化,从而把AI算力从单体算力演进到矩阵算力,开启智能算力新纪元。
目前华为云是业界唯一采用对等架构超节点技术提供算力服务的厂商,实现了业界领先的性能和可靠性。据悉,华为云超节点在算力方面相比业界单节点提升了50倍,大模型的checkpoint恢复时长低于10分钟,万卡集群线性度大于95%,远超业界水平。
值得一提的是,基于盘古大模型5.0的实测数据显示,在同等算力条件下,CloudMatrix相较于传统服务器集群架构,在模型训练效率上提升了68%。这一显著的提升,充分证明了CloudMatrix在云原生基础设施方面的技术领先性。
好文章,需要你的鼓励
这项由东京科学技术大学等机构联合发布的研究提出了UMoE架构,通过重新设计注意力机制,实现了注意力层和前馈网络层的专家参数共享。该方法在多个数据集上显著优于现有的MoE方法,同时保持了较低的计算开销,为大语言模型的高效扩展提供了新思路。
当前企业面临引入AI的机遇与挑战。管理层需要了解机器学习算法基础,包括线性回归、神经网络等核心技术。专家建议从小规模试点开始,优先选择高影响用例,投资数据治理,提升员工技能。对于影子IT现象,应将其视为机会而非问题,建立治理流程将有效工具正式化。成功的AI采用需要明确目标、跨部门协作、变革管理和持续学习社区建设。
小米团队开发的MiMo-7B模型证明了AI领域"小而精"路线的可行性。这个仅有70亿参数的模型通过创新的预训练数据处理、三阶段训练策略和强化学习优化,在数学推理和编程任务上超越了320亿参数的大模型,甚至在某些指标上击败OpenAI o1-mini。研究团队还开发了高效的训练基础设施,将训练速度提升2.29倍。该成果已完全开源,为AI民主化发展提供了新思路。