近日,2024年度开发者大会暨光合基金三期结项评审会在美丽的海滨城市天津全满结束。本次结项评审共有100多个课题同时进行答辩,Ai方向经过权威专家组的慎重讨论,《训练一体化平台移植国产加速卡》《基于国产加速卡的文生图并行训练方法研究》《面向流场预测的长序列模型研究与移植》三项荣获光和基金3期优秀课题,助推行业智能化发展。
其中,《训练一体化平台移植国产加速卡》由光合组织与思必驰共同研究推出,以破解私域知识不准确,判别式任务精度及时效性不足,数据安全和计算可信问题,以及工程化成本高等问题。移植完成后,200片国产加速卡卡,每天可完成30+模型任务的训练;针对500万数据的解码,速度明显快了70%,500万数据量的解码平均时长更是缩短了近一半。课题的完成,将支撑语音识别、自然语言处理、语音全成等场景下的训练任务稳定性、可靠性性和可扩展性,不仅提升了模型训练的效率,减少了训练排队等待的时延,还缩短了整体的研发和落地周期。
《基于国产加速卡的文生图并行训练方法研究》是光合组织与西安电子科技大学共同研究的课题,以期实现在Stable Diffusion算法复杂度高的情况下,解决应用中面临的关键技术难题。移植完成后,使用1024片国产加速卡,加速比可以达到56倍,性能提升显著。测试结果超出预期,用户非常满意,给予高度评价,充分肯定国产化的优势。
《面向流场预测的长序列模型研究与移植》作为光合组织与北京航空航天大学共同研究的课题,瞄准流体力学领域的Navier-Stokes方程求解问题,以流场预测任务为牵引,基于成熟的CAE-LSTM基础模型,移植新一代长序列建模的Informer神经网络模型,实现高性能流场预测模型CAE-Informer。课题完成后,使用基于Informer的序列模型进行预训练,替代传统LSTM等模型,预期比现有模型提升20%以上性能,并在同等算力下提高1倍以上计算效率。同时,在batch-size为1的情况下,并行效率93.1%。
课题的不断推新,不仅展示了中国在AI领域的强大实力和无限潜力,也为全球AI市场的格局带来了新的变化。接下来,光合组织将不断继续创新、不断进步,为全球AI技术的发展贡献更多的力量。
好文章,需要你的鼓励
这项由加州大学圣地亚哥分校和微软研究院合作开发的REAL框架,通过程序分析反馈训练大型语言模型生成高质量代码。与传统方法不同,REAL采用强化学习将代码安全性和可维护性作为奖励信号,不依赖人工标注或特定规则。研究在多个数据集上的实验表明,REAL在保证功能正确性的同时显著提高了代码质量,有效解决了"即兴编程"中的安全漏洞和维护性问题,为AI辅助编程提供了新的范式。
加州大学伯克利分校与Meta FAIR研究团队开发了"Self-Challenging"框架,让大语言模型通过自己创建和解决任务来提升能力。该方法引入创新的"Code-as-Task"格式,包含指令、验证函数、示例解决方案和失败案例,确保生成的任务既可行又有挑战性。在工具计算、网页浏览、零售服务和航班预订四种环境测试中,仅使用自生成训练数据,Llama-3.1-8B模型性能提升了两倍多,证明AI可以通过自我挑战实现有效学习,减少对人类标注的依赖。
南洋理工大学与SenseTime Research合作提出了PoseFuse3D-KI,一种创新的人体中心关键帧插值框架。该方法将3D人体模型信息融入扩散过程,解决了现有技术在处理复杂人体动作时产生扭曲结果的问题。研究团队开发了专门的SMPL-X编码器直接从3D空间提取几何信息,并设计了融合网络将3D线索与2D姿态无缝整合。他们还构建了CHKI-Video数据集,包含2,614个视频片段及完整的人体标注。实验结果显示,PoseFuse3D-KI在PSNR上提升9%,LPIPS减少38%,显著超越现有方法。
这项研究提出了LongGuide算法,解决了大型语言模型在长文本生成任务中的局限性。研究团队发现,仅依靠上下文学习无法使模型充分掌握文本的语言和格式特性。LongGuide通过自动生成两种指导原则:度量指导原则和输出约束指导原则,显著提升了模型性能。在七种长文本生成任务中,该方法使开源和闭源模型的ROUGE-L评分平均提高约6%。LongGuide具有通用性强、易于学习、成本效益高等优点,为提升AI长文本生成能力提供了新方向。