1月10日,中国电信星辰语义大模型TeleChat-7B版本宣布开源,并开放1T高质量清洗数据集。星辰语义大模型已与昇腾AI基础软硬件完成适配,并开源了适配后的代码。此外,中国电信还将在1月20日开源12B版本模型,拥抱更多开发者共建开源大模型生态。
星辰语义大模型是由中电信人工智能科技有限公司研发训练的大语言模型,采用1.5万亿 Tokens中英文高质量语料进行训练。星辰语义大模型在业界首次提出缓解多轮幻觉的解决方案,通过关键信息注意力增强、知识图谱强化、多轮知识强化、知识溯源能力四大技术,将AI大模型的幻觉率降低了40%,这有助于大模型变得更有“人味”,真正理解问题语境,告别风马牛不相及的答案。
目前,星辰语义大模型正在与千行百业的信息化解决方案进行融合,满足多样场景需求。在中国电信内部,星辰语义大模型赋能行文写作、代码编程、网络故障分析以及经营分析等场景,以行文写作为例,其平均生成字数超过1500字,有效采纳率达到85.7%;在对外企事业单位客户的业务中,星辰语义大模型赋能企业经营分析、政务公开咨询、民生诉求接待等场景,其业务覆盖率达到95%,多轮理解准确率达到90%。
早在2023年11月,中国电信就在2023数字科技生态大会上发布了千亿参数“星辰语义大模型”,并公布了后续的开源开放的时间表。本次TeleChat-7B版本开源了对话模型TeleChat-7B-bot,以及其huggingface格式的权重文件。此外,还开源了7B模型的int8和int4量化版本。
可访问开源仓了解详情:
Gitee地址:https://gitee.com/Tele-AI/tele-chat
Github地址:https://github.com/Tele-AI/Telechat
在模型开发上,星辰语义大模型已与昇腾AI基础软硬件完成适配:支持Atlas 300I pro推理卡,具备int8量化能力,精度与性能表现均与业界第一梯队持平;支持Atlas训练服务器,用户可使用昇思MindSpore和PyTorch框架进行模型训练和推理,两个框架下模型精度与性能均有不俗表现。
除了星辰语义大模型,目前已有50+业界主流大模型基于昇腾训练迭代,9家伙伴携手昇腾发布了大模型训推一体机,昇腾以开放易用的平台使能千模百态,为大模型创新注入动能。
本次星辰语义大模型TeleChat-7B版本开源,夯实了中国电信构建开放生态的重要一环,降低了大模型开发门槛,未来,中国电信将进一步携手昇腾AI等合作伙伴推动中国大模型在千行百业落地,加速人工智能产业发展。
好文章,需要你的鼓励
作者历经多年积累了大量照片和视频,分散存储在Google、Apple、Flickr、Dropbox、OneDrive五个云端及多个本地存储设备中。他通过"收集、整理、整合"三步法完成了清理:首先汇总所有存储位置的文件,然后删除模糊、重复及无意义的内容,最后统一迁移至Google Photos。借助去重工具大幅削减冗余文件,并遵循3-2-1备份原则,年订阅费用从近300美元降至60美元以下。
这项研究提出HeRA方法,通过精准识别语言大模型中对齐最弱的注意力头并施加拓扑对比学习损失,有效提升多模态AI的视觉理解能力,同时抑制视觉幻觉,且不损害语言推理能力。
上周北美热浪肆虐之际,电动汽车并未如批评者所担忧的那样加剧电网负担,反而通过V2G(车辆到电网)技术向电网反向输电。目前约230辆电动校车已可向电网提供8兆瓦时电力,足够约1600户家庭使用4小时。加州奥克兰统一学区的74辆电动校车每年可回馈约2.1吉瓦时清洁能源。随着规模扩大,V2G技术还有望降低用电峰值成本,并在自然灾害中为社区提供应急供电保障。
英伟达与台湾中研院提出一种实时通用语音增强框架,单模型支持30种延迟配置,通过并行卷积层和早退机制分别控制算法与计算延迟,性能接近专用模型。