近日,2024年度开发者大会暨光合基金三期结项评审会在美丽的海滨城市天津全满结束。本次结项评审共有100多个课题同时进行答辩,Ai方向经过权威专家组的慎重讨论,《训练一体化平台移植国产加速卡》《基于国产加速卡的文生图并行训练方法研究》《面向流场预测的长序列模型研究与移植》三项荣获光和基金3期优秀课题,助推行业智能化发展。
其中,《训练一体化平台移植国产加速卡》由光合组织与思必驰共同研究推出,以破解私域知识不准确,判别式任务精度及时效性不足,数据安全和计算可信问题,以及工程化成本高等问题。移植完成后,200片国产加速卡卡,每天可完成30+模型任务的训练;针对500万数据的解码,速度明显快了70%,500万数据量的解码平均时长更是缩短了近一半。课题的完成,将支撑语音识别、自然语言处理、语音全成等场景下的训练任务稳定性、可靠性性和可扩展性,不仅提升了模型训练的效率,减少了训练排队等待的时延,还缩短了整体的研发和落地周期。
《基于国产加速卡的文生图并行训练方法研究》是光合组织与西安电子科技大学共同研究的课题,以期实现在Stable Diffusion算法复杂度高的情况下,解决应用中面临的关键技术难题。移植完成后,使用1024片国产加速卡,加速比可以达到56倍,性能提升显著。测试结果超出预期,用户非常满意,给予高度评价,充分肯定国产化的优势。
《面向流场预测的长序列模型研究与移植》作为光合组织与北京航空航天大学共同研究的课题,瞄准流体力学领域的Navier-Stokes方程求解问题,以流场预测任务为牵引,基于成熟的CAE-LSTM基础模型,移植新一代长序列建模的Informer神经网络模型,实现高性能流场预测模型CAE-Informer。课题完成后,使用基于Informer的序列模型进行预训练,替代传统LSTM等模型,预期比现有模型提升20%以上性能,并在同等算力下提高1倍以上计算效率。同时,在batch-size为1的情况下,并行效率93.1%。
课题的不断推新,不仅展示了中国在AI领域的强大实力和无限潜力,也为全球AI市场的格局带来了新的变化。接下来,光合组织将不断继续创新、不断进步,为全球AI技术的发展贡献更多的力量。
好文章,需要你的鼓励
麻省理工学院研究团队发现大语言模型"幻觉"现象的新根源:注意力机制存在固有缺陷。研究通过理论分析和实验证明,即使在理想条件下,注意力机制在处理多步推理任务时也会出现系统性错误。这一发现挑战了仅通过扩大模型规模就能解决所有问题的观点,为未来AI架构发展指明新方向,提醒用户在复杂推理任务中谨慎使用AI工具。
继苹果和其他厂商之后,Google正在加大力度推广其在智能手机上的人工智能功能。该公司试图通过展示AI在移动设备上的实用性和创新性来吸引消费者关注,希望说服用户相信手机AI功能的价值。Google面临的挑战是如何让消费者真正体验到AI带来的便利,并将这些技术优势转化为市场竞争力。
中科院自动化所等机构联合发布MM-RLHF研究,构建了史上最大的多模态AI对齐数据集,包含12万个精细人工标注样本。研究提出批评式奖励模型和动态奖励缩放算法,显著提升多模态AI的安全性和对话能力,为构建真正符合人类价值观的AI系统提供了突破性解决方案。