在CCF HPC China2019第十五届全国高性能计算学术年会上,清华大学计算机系教授、本届年会共同主席郑纬民在大会做了从2019年TOP500和2018年戈登贝尔奖看E级超级计算机与应用发展趋势报告。报告上介绍说,高性能计算是一个国家综合国力的体现,最近十几年来,我国高性能计算取得了非常大的进展。我们国家的高性能计算机已在世界Top500强排行榜里位列第一,这表明我们超级计算机的水平已经名列世界前列。我国于 2016年和2017年连续两次夺得了高性能计算应用专项奖-戈登贝尔奖,这也说明了我们国家高性能计算应用水平大幅度的提高。
他总结了超级计算机与应用两个重要发展趋势
趋势1,异构架构在超算系统构建层面被广泛接受
TOP 10系统中异构超算占据7成,异构架构已经成为构建顶级超算系统的大势所趋,加速器异构还是异构众核之争仍将继续,目前的 TOP10系统中异构超算占据七成,其中, NVIDIA GPU构建的异构超算 占5席。
随着人工智能技术在科学与工程计算中越来越广泛的应用,支持高性能张量计算的图形加速器硬件还可能越来越多地受到超算中心决策者的青睐。
趋势2,人工智能应用有望成为超算的主流应用之一
算力一直被认为是人工智能再次起飞的重要基础之一。随着深度神经网络规模的扩大,最新的网络生成和训练往往需要数万GPU小时(如BERT, NASNet等)甚至更多,具有顶级计算能力的超算系统理应为大规模人工智能应用提供助力,不断拓展后者的技术边界。
2018年的戈登·贝尔奖选择大规模深度学习应用,入围应用中人工智能相关的项目也前所未有地占据了半壁江山,这一切都预示人工智能与超算的结合将愈来愈紧密。
好文章,需要你的鼓励
很多人担心被AI取代,陷入无意义感。按照杨元庆的思路,其实无论是模型的打造者,还是模型的使用者,都不该把AI放在人的对立面。
MIT研究团队提出递归语言模型(RLM),通过将长文本存储在外部编程环境中,让AI能够编写代码来探索和分解文本,并递归调用自身处理子任务。该方法成功处理了比传统模型大两个数量级的文本长度,在多项长文本任务上显著优于现有方法,同时保持了相当的成本效率,为AI处理超长文本提供了全新解决方案。
谷歌宣布对Gmail进行重大升级,全面集成Gemini AI功能,将其转变为"个人主动式收件箱助手"。新功能包括AI收件箱视图,可按优先级自动分组邮件;"帮我快速了解"功能提供邮件活动摘要;扩展"帮我写邮件"工具至所有用户;支持复杂问题查询如"我的航班何时降落"。部分功能免费提供,高级功能需付费订阅。谷歌强调用户数据安全,邮件内容不会用于训练公共AI模型。
华为研究团队推出SWE-Lego框架,通过混合数据集、改进监督学习和测试时扩展三大创新,让8B参数AI模型在代码自动修复任务上击败32B对手。该系统在SWE-bench Verified测试中达到42.2%成功率,加上扩展技术后提升至49.6%,证明了精巧方法设计胜过简单规模扩展的技术理念。