近日,2024年度开发者大会暨光合基金三期结项评审会在美丽的海滨城市天津全满结束。本次结项评审共有100多个课题同时进行答辩,Ai方向经过权威专家组的慎重讨论,《训练一体化平台移植国产加速卡》《基于国产加速卡的文生图并行训练方法研究》《面向流场预测的长序列模型研究与移植》三项荣获光和基金3期优秀课题,助推行业智能化发展。
其中,《训练一体化平台移植国产加速卡》由光合组织与思必驰共同研究推出,以破解私域知识不准确,判别式任务精度及时效性不足,数据安全和计算可信问题,以及工程化成本高等问题。移植完成后,200片国产加速卡卡,每天可完成30+模型任务的训练;针对500万数据的解码,速度明显快了70%,500万数据量的解码平均时长更是缩短了近一半。课题的完成,将支撑语音识别、自然语言处理、语音全成等场景下的训练任务稳定性、可靠性性和可扩展性,不仅提升了模型训练的效率,减少了训练排队等待的时延,还缩短了整体的研发和落地周期。
《基于国产加速卡的文生图并行训练方法研究》是光合组织与西安电子科技大学共同研究的课题,以期实现在Stable Diffusion算法复杂度高的情况下,解决应用中面临的关键技术难题。移植完成后,使用1024片国产加速卡,加速比可以达到56倍,性能提升显著。测试结果超出预期,用户非常满意,给予高度评价,充分肯定国产化的优势。
《面向流场预测的长序列模型研究与移植》作为光合组织与北京航空航天大学共同研究的课题,瞄准流体力学领域的Navier-Stokes方程求解问题,以流场预测任务为牵引,基于成熟的CAE-LSTM基础模型,移植新一代长序列建模的Informer神经网络模型,实现高性能流场预测模型CAE-Informer。课题完成后,使用基于Informer的序列模型进行预训练,替代传统LSTM等模型,预期比现有模型提升20%以上性能,并在同等算力下提高1倍以上计算效率。同时,在batch-size为1的情况下,并行效率93.1%。
课题的不断推新,不仅展示了中国在AI领域的强大实力和无限潜力,也为全球AI市场的格局带来了新的变化。接下来,光合组织将不断继续创新、不断进步,为全球AI技术的发展贡献更多的力量。
好文章,需要你的鼓励
很多人担心被AI取代,陷入无意义感。按照杨元庆的思路,其实无论是模型的打造者,还是模型的使用者,都不该把AI放在人的对立面。
MIT研究团队提出递归语言模型(RLM),通过将长文本存储在外部编程环境中,让AI能够编写代码来探索和分解文本,并递归调用自身处理子任务。该方法成功处理了比传统模型大两个数量级的文本长度,在多项长文本任务上显著优于现有方法,同时保持了相当的成本效率,为AI处理超长文本提供了全新解决方案。
谷歌宣布对Gmail进行重大升级,全面集成Gemini AI功能,将其转变为"个人主动式收件箱助手"。新功能包括AI收件箱视图,可按优先级自动分组邮件;"帮我快速了解"功能提供邮件活动摘要;扩展"帮我写邮件"工具至所有用户;支持复杂问题查询如"我的航班何时降落"。部分功能免费提供,高级功能需付费订阅。谷歌强调用户数据安全,邮件内容不会用于训练公共AI模型。
华为研究团队推出SWE-Lego框架,通过混合数据集、改进监督学习和测试时扩展三大创新,让8B参数AI模型在代码自动修复任务上击败32B对手。该系统在SWE-bench Verified测试中达到42.2%成功率,加上扩展技术后提升至49.6%,证明了精巧方法设计胜过简单规模扩展的技术理念。