北京时间2月29日,国家自然科学基金委员发布了2023年度中国科学十大进展,突破榜单囊括一年中最重大的科学发现、科学进展及未来趋势,华为云盘古气象大模型入选。
盘古气象大模型
天气预报是国际科学前沿问题,具有重大的社会价值。现有数值天气预报范式源于20世纪50年代,即通过超算平台的大规模计算来求解大气运动偏微分方程组,实现对未来天气的预报。近些年使用该传统方法提升预报水平面临越来越大的挑战。华为云研发团队基于人工智能技术,提出了一种适配地球坐标系统的三维神经网络,能够有效处理天气数据中的复杂过程,并通过层次化时域聚合策略来有效减少迭代误差,成功实现了精准的中期天气预报。在1979-2017年全球天气再分析数据上训练后,构建了盘古气象大模型。该模型能够预报7天内的地表层和13个高空层的温度、气压、湿度、风速等气象要素,并将全球最先进的欧洲中长期天气预报中心(ECMWF)集成预报系统的预报时效提高了0.6天左右,在热带气旋的路径预报误差相较于ECMWF预报系统降低了25%。该模型仅需10秒即可完成全球7天重要气象要素的预报,计算速度较数值方法提升1万倍以上。该研究展示了人工智能和大数据在解决天气预报问题上的突破。
盘古气象大模型的三维神经网络结构
目前,盘古气象大模型能够提供全球气象秒级预报,其气象预测结果包含台风路径、降水,以及位势、湿度、风速、温度、海平面气压等基础气象要素,应用于多个气象研究细分场景,欧洲中期预报中心、中国国家气象局、香港天文台等都在实测中发现盘古预测的优越性。在2023年汛期,盘古气象大模型成功预测了玛娃、泰利、杜苏芮、苏拉等影响我国的强台风路径。
2023年7月5日,《Nature》刊发华为云盘古气象研究成果,并盛赞重新审视气象未来。目前,华为云盘古气象大模型已正式上线欧洲中期天气预报中心和香港天文台地球官网,华为云还携手深圳市气象局、泰国国家气象局等打造高精度区域气象预报大模型,利用人工智能技术提升气象灾害预警能力。
好文章,需要你的鼓励
这项由东京科学技术大学等机构联合发布的研究提出了UMoE架构,通过重新设计注意力机制,实现了注意力层和前馈网络层的专家参数共享。该方法在多个数据集上显著优于现有的MoE方法,同时保持了较低的计算开销,为大语言模型的高效扩展提供了新思路。
当前企业面临引入AI的机遇与挑战。管理层需要了解机器学习算法基础,包括线性回归、神经网络等核心技术。专家建议从小规模试点开始,优先选择高影响用例,投资数据治理,提升员工技能。对于影子IT现象,应将其视为机会而非问题,建立治理流程将有效工具正式化。成功的AI采用需要明确目标、跨部门协作、变革管理和持续学习社区建设。
小米团队开发的MiMo-7B模型证明了AI领域"小而精"路线的可行性。这个仅有70亿参数的模型通过创新的预训练数据处理、三阶段训练策略和强化学习优化,在数学推理和编程任务上超越了320亿参数的大模型,甚至在某些指标上击败OpenAI o1-mini。研究团队还开发了高效的训练基础设施,将训练速度提升2.29倍。该成果已完全开源,为AI民主化发展提供了新思路。