在CCF HPC China2019第十五届全国高性能计算学术年会上,清华大学计算机系教授、本届年会共同主席郑纬民在大会做了从2019年TOP500和2018年戈登贝尔奖看E级超级计算机与应用发展趋势报告。报告上介绍说,高性能计算是一个国家综合国力的体现,最近十几年来,我国高性能计算取得了非常大的进展。我们国家的高性能计算机已在世界Top500强排行榜里位列第一,这表明我们超级计算机的水平已经名列世界前列。我国于 2016年和2017年连续两次夺得了高性能计算应用专项奖-戈登贝尔奖,这也说明了我们国家高性能计算应用水平大幅度的提高。
他总结了超级计算机与应用两个重要发展趋势
趋势1,异构架构在超算系统构建层面被广泛接受
TOP 10系统中异构超算占据7成,异构架构已经成为构建顶级超算系统的大势所趋,加速器异构还是异构众核之争仍将继续,目前的 TOP10系统中异构超算占据七成,其中, NVIDIA GPU构建的异构超算 占5席。
随着人工智能技术在科学与工程计算中越来越广泛的应用,支持高性能张量计算的图形加速器硬件还可能越来越多地受到超算中心决策者的青睐。
趋势2,人工智能应用有望成为超算的主流应用之一
算力一直被认为是人工智能再次起飞的重要基础之一。随着深度神经网络规模的扩大,最新的网络生成和训练往往需要数万GPU小时(如BERT, NASNet等)甚至更多,具有顶级计算能力的超算系统理应为大规模人工智能应用提供助力,不断拓展后者的技术边界。
2018年的戈登·贝尔奖选择大规模深度学习应用,入围应用中人工智能相关的项目也前所未有地占据了半壁江山,这一切都预示人工智能与超算的结合将愈来愈紧密。
好文章,需要你的鼓励
南洋理工大学研究团队开发了WorldMem框架,首次让AI拥有真正的长期记忆能力,解决了虚拟世界模拟中的一致性问题。该系统通过记忆银行存储历史场景,并使用智能检索机制,让AI能准确重现之前的场景和事件,即使间隔很长时间。实验显示在Minecraft和真实场景中都表现出色,为游戏、自动驾驶、机器人等领域带来广阔应用前景。
AWS通过升级SageMaker机器学习平台来扩展市场地位,新增观测能力、连接式编码环境和GPU集群性能管理功能。面对谷歌和微软的激烈竞争,AWS专注于为企业提供AI基础设施支撑。SageMaker新功能包括深入洞察模型性能下降原因、为开发者提供更多计算资源控制权,以及支持本地IDE连接部署。这些更新主要源于客户需求,旨在解决AI模型开发中的实际问题。
MTS AI研究团队提出RewardRanker系统,通过重排序模型和迭代自训练显著提升AI代码生成质量。该方法让13.4B参数模型超越33B大模型,在多种编程语言上表现优异,甚至在C++上超越GPT-4。通过引入困难负样本和PPO优化,系统能从多个代码候选中选出最优方案,为AI编程助手的实用化奠定基础。