今天,华为开发者大会2024(HDC 2024)在东莞篮球中心隆重揭幕。华为携手各领域客户及伙伴,全面分享了HarmonyOS、盘古大模型、昇腾AI云服务、GaussDB数据库等最新科技创新成果,以及如何以科技创新为驱动,在鸿蒙生态和大模型技术中心把握新机遇,构建智慧未来的新商业蓝图。
在今天下午举行的大会主题演讲中,华为云CTO张宇昕发表《系统创新x服务重塑 打造AI Native的华为云》主题演讲。他表示,华为云通过AI的全栈系统性创新,并通过AI重塑云服务,从两个方面打造AI Native的云。
华为云CTO张宇昕
一方面是“Cloud for AI”。即通过全栈系统性创新,能够让大模型的数据准备、训练、推理、应用实现全流程的高效率和高性能。华为云全栈系统性创新覆盖了数据中心、云平台架构和基础设施服务,为AI开发提供AI Native的基础设施。
当前云平台在大模型的训练和使用中通常存在“算力墙”“内存墙”“能效墙”等问题。为此,华为云打造了下一代的云基础设施CloudMatrix,改变传统数据中心的架构和算力供给模式,将传统的以CPU为中心的主从架构,演进为多元算力对等全互联架构;并通过高速互联网络协议,将CPU、NPU、GPU 等算力资源全部互联和池化,从而把AI算力从单体算力演进到矩阵算力,开启智能算力新纪元。
同时,针对云平台在大模型的训练和使用中存在的“内存墙”问题,华为云正式发布EMS弹性内存存储服务,基于Memory Pooling专利技术,通过显存扩展、算力卸载、以存代算等三大手段来打破内存墙,释放极致算力。
基于新一代云基础设施和EMS弹性内存存储服务、昇腾AI云服务等创新,华为云已经在贵安、乌兰察布和芜湖,构建了三大AI算力中心CloudOcean;同时也在华北、华东、华南等热点区域部署了AI算力资源池CloudSea;还通过华为云CloudLake和CloudPond边缘云平台,将AI算力推到客户身边,提供最低时延的AI训推服务。由此,华为云打造了云、网、边、端协同的AI Native的算力平台,提供给开发者、客户和伙伴使用。
同时,华为云对AI 开发生产线ModelArts进行升级,在AI开发基础设施和流水线之上,构建了大模型即服务平台 ModelArts Studio,提供百模千态的第三方大模型托管服务,支持对大模型定制开发,并提供相应的工具和行业集成套件,让客户可以方便的将大模型与业务系统结合。
另一方面是“AI for Cloud”。除了系统性创新,华为云还将盘古大模型和华为在产品研发、数据治理、安全防护、业务运维等各个领域积累的数据和经验相结合,“跳了自己的降落伞”,应用在了华为云CodeArts、DataArts、MetaStudio和GaussDB、云安全等系列云服务的智能化上。将华为云的服务重塑和升级,从而更智能、更高效。
在软件开发方面,华为云通过结合AI Agent能力,将CodeArts软件开发生产线从单点智能升级到项目级智能,大幅提升了问题定位率和项目级问题修复成功率,让开发者能轻松实现项目级智能。
在数据治理方面,华为云将盘古大模型和华为多年数据治理经验相结合,让不熟悉IT技术的业务人员、管理人员可以通过自然语言交互的方式,快速获取需要的数据,形成可视化的图表,直接高效的管数、用数。
在数字内容生产方面,华为云将盘古媒体大模型和华为有着深厚积累的音视频编解码、3D模型物理仿真、图形渲染等引擎能力相结合,一起用于AI内容生成。这样生成的数字内容更符合物理世界的规律,并且可以实现任意时长的实时互动,突破了当前AIGC的局限。
在数据库方面,华为云将产品文档、专家知识、运维经验等数据库专业数据和大模型相结合,构建盘古数据库大模型,让GaussDB数据库在开发、测试、迁移、运维等全生命周期实现智能化,显著提升开发人员和DBA的使用效率。
在安全方面,华为云打造了面向安全领域的盘古安全大模型,能够快速、精准地给出安全治理咨询的专业意见,让企业安全更加智能。
好文章,需要你的鼓励
这篇研究论文介绍了"Speechless",一种创新方法,可以在不使用实际语音数据的情况下训练语音指令模型,特别适用于越南语等低资源语言。研究团队通过将文本指令转换为语义表示,绕过了对高质量文本转语音(TTS)系统的依赖。该方法分三个阶段:首先训练量化器将语音转为语义标记;然后训练Speechless模型将文本转为这些标记;最后用生成的合成数据微调大型语言模型。实验表明,该方法在越南语ASR任务中表现出色,为低资源语言的语音助手开发提供了经济高效的解决方案。
《Transformer Copilot》论文提出了一种革命性的大语言模型微调框架,通过系统记录和利用模型训练过程中的"错误日志"来提升推理性能。研究团队受人类学习者记录和反思错误的启发,设计了一个"副驾驶"模型来辅助原始"驾驶员"模型,通过学习错误模式并在推理时校正输出。这一方法在12个基准测试上使模型性能提升高达34.5%,同时保持计算开销最小,展现了强大的可扩展性和可迁移性,为大语言模型的优化提供了全新思路。
德克萨斯大学Austin分校的研究团队提出了RIPT-VLA,一种创新的视觉-语言-动作模型后训练范式。该方法通过让AI模型与环境互动并仅接收简单的成功/失败反馈来学习,无需复杂的奖励函数或价值模型。实验证明,RIPT-VLA能显著提升现有模型性能,在轻量级QueST模型上平均提升21.2%,将大型OpenVLA-OFT模型推至97.5%的前所未有成功率。最令人惊叹的是,仅用一个示范样本,它就能将几乎不可用的模型在15次迭代内从4%提升至97%的成功率,展现出卓越的数据效率和适应能力。
北京大学与华为诺亚方舟实验室研究团队共同开发了TIME基准,这是首个专为评估大语言模型在真实世界场景中的时间推理能力而设计的多层级基准。该研究提出了三个层级的时间推理框架,包含11个细粒度任务,并构建了涵盖38,522个问答对的数据集,针对知识密集型信息、快速变化的事件动态和社交互动中的复杂时间依赖性三大现实挑战。实验结果表明,即使是先进模型在构建时间线和理解复杂时间关系方面仍面临显著挑战,而测试时扩展技术可明显提升时间逻辑推理能力。