1月10日,中国电信星辰语义大模型TeleChat-7B版本宣布开源,并开放1T高质量清洗数据集。星辰语义大模型已与昇腾AI基础软硬件完成适配,并开源了适配后的代码。此外,中国电信还将在1月20日开源12B版本模型,拥抱更多开发者共建开源大模型生态。
星辰语义大模型是由中电信人工智能科技有限公司研发训练的大语言模型,采用1.5万亿 Tokens中英文高质量语料进行训练。星辰语义大模型在业界首次提出缓解多轮幻觉的解决方案,通过关键信息注意力增强、知识图谱强化、多轮知识强化、知识溯源能力四大技术,将AI大模型的幻觉率降低了40%,这有助于大模型变得更有“人味”,真正理解问题语境,告别风马牛不相及的答案。
目前,星辰语义大模型正在与千行百业的信息化解决方案进行融合,满足多样场景需求。在中国电信内部,星辰语义大模型赋能行文写作、代码编程、网络故障分析以及经营分析等场景,以行文写作为例,其平均生成字数超过1500字,有效采纳率达到85.7%;在对外企事业单位客户的业务中,星辰语义大模型赋能企业经营分析、政务公开咨询、民生诉求接待等场景,其业务覆盖率达到95%,多轮理解准确率达到90%。
早在2023年11月,中国电信就在2023数字科技生态大会上发布了千亿参数“星辰语义大模型”,并公布了后续的开源开放的时间表。本次TeleChat-7B版本开源了对话模型TeleChat-7B-bot,以及其huggingface格式的权重文件。此外,还开源了7B模型的int8和int4量化版本。
可访问开源仓了解详情:
Gitee地址:https://gitee.com/Tele-AI/tele-chat
Github地址:https://github.com/Tele-AI/Telechat
在模型开发上,星辰语义大模型已与昇腾AI基础软硬件完成适配:支持Atlas 300I pro推理卡,具备int8量化能力,精度与性能表现均与业界第一梯队持平;支持Atlas训练服务器,用户可使用昇思MindSpore和PyTorch框架进行模型训练和推理,两个框架下模型精度与性能均有不俗表现。
除了星辰语义大模型,目前已有50+业界主流大模型基于昇腾训练迭代,9家伙伴携手昇腾发布了大模型训推一体机,昇腾以开放易用的平台使能千模百态,为大模型创新注入动能。
本次星辰语义大模型TeleChat-7B版本开源,夯实了中国电信构建开放生态的重要一环,降低了大模型开发门槛,未来,中国电信将进一步携手昇腾AI等合作伙伴推动中国大模型在千行百业落地,加速人工智能产业发展。
好文章,需要你的鼓励
很多人担心被AI取代,陷入无意义感。按照杨元庆的思路,其实无论是模型的打造者,还是模型的使用者,都不该把AI放在人的对立面。
MIT研究团队提出递归语言模型(RLM),通过将长文本存储在外部编程环境中,让AI能够编写代码来探索和分解文本,并递归调用自身处理子任务。该方法成功处理了比传统模型大两个数量级的文本长度,在多项长文本任务上显著优于现有方法,同时保持了相当的成本效率,为AI处理超长文本提供了全新解决方案。
谷歌宣布对Gmail进行重大升级,全面集成Gemini AI功能,将其转变为"个人主动式收件箱助手"。新功能包括AI收件箱视图,可按优先级自动分组邮件;"帮我快速了解"功能提供邮件活动摘要;扩展"帮我写邮件"工具至所有用户;支持复杂问题查询如"我的航班何时降落"。部分功能免费提供,高级功能需付费订阅。谷歌强调用户数据安全,邮件内容不会用于训练公共AI模型。
华为研究团队推出SWE-Lego框架,通过混合数据集、改进监督学习和测试时扩展三大创新,让8B参数AI模型在代码自动修复任务上击败32B对手。该系统在SWE-bench Verified测试中达到42.2%成功率,加上扩展技术后提升至49.6%,证明了精巧方法设计胜过简单规模扩展的技术理念。