1月10日,中国电信星辰语义大模型TeleChat-7B版本宣布开源,并开放1T高质量清洗数据集。星辰语义大模型已与昇腾AI基础软硬件完成适配,并开源了适配后的代码。此外,中国电信还将在1月20日开源12B版本模型,拥抱更多开发者共建开源大模型生态。
星辰语义大模型是由中电信人工智能科技有限公司研发训练的大语言模型,采用1.5万亿 Tokens中英文高质量语料进行训练。星辰语义大模型在业界首次提出缓解多轮幻觉的解决方案,通过关键信息注意力增强、知识图谱强化、多轮知识强化、知识溯源能力四大技术,将AI大模型的幻觉率降低了40%,这有助于大模型变得更有“人味”,真正理解问题语境,告别风马牛不相及的答案。
目前,星辰语义大模型正在与千行百业的信息化解决方案进行融合,满足多样场景需求。在中国电信内部,星辰语义大模型赋能行文写作、代码编程、网络故障分析以及经营分析等场景,以行文写作为例,其平均生成字数超过1500字,有效采纳率达到85.7%;在对外企事业单位客户的业务中,星辰语义大模型赋能企业经营分析、政务公开咨询、民生诉求接待等场景,其业务覆盖率达到95%,多轮理解准确率达到90%。
早在2023年11月,中国电信就在2023数字科技生态大会上发布了千亿参数“星辰语义大模型”,并公布了后续的开源开放的时间表。本次TeleChat-7B版本开源了对话模型TeleChat-7B-bot,以及其huggingface格式的权重文件。此外,还开源了7B模型的int8和int4量化版本。
可访问开源仓了解详情:
Gitee地址:https://gitee.com/Tele-AI/tele-chat
Github地址:https://github.com/Tele-AI/Telechat
在模型开发上,星辰语义大模型已与昇腾AI基础软硬件完成适配:支持Atlas 300I pro推理卡,具备int8量化能力,精度与性能表现均与业界第一梯队持平;支持Atlas训练服务器,用户可使用昇思MindSpore和PyTorch框架进行模型训练和推理,两个框架下模型精度与性能均有不俗表现。
除了星辰语义大模型,目前已有50+业界主流大模型基于昇腾训练迭代,9家伙伴携手昇腾发布了大模型训推一体机,昇腾以开放易用的平台使能千模百态,为大模型创新注入动能。
本次星辰语义大模型TeleChat-7B版本开源,夯实了中国电信构建开放生态的重要一环,降低了大模型开发门槛,未来,中国电信将进一步携手昇腾AI等合作伙伴推动中国大模型在千行百业落地,加速人工智能产业发展。
好文章,需要你的鼓励
谷歌发布新的AI学术搜索工具Scholar Labs,旨在回答详细研究问题。该工具使用AI识别查询中的主要话题和关系,目前仅对部分登录用户开放。与传统学术搜索不同,Scholar Labs不依赖引用次数或期刊影响因子等传统指标来筛选研究质量,而是通过分析文档全文、发表位置、作者信息及引用频次来排序。科学界对这种忽略传统质量评估方式的新方法持谨慎态度,认为研究者仍需保持对文献质量的最终判断权。
Meta公司FAIR实验室与UCLA合作开发了名为HoneyBee的超大规模视觉推理数据集,包含250万训练样本。研究揭示了构建高质量AI视觉推理训练数据的系统方法,发现数据质量比数量更重要,最佳数据源比最差数据源性能提升11.4%。关键创新包括"图片说明书"技术和文字-图片混合训练法,分别提升3.3%和7.5%准确率。HoneyBee训练的AI在多项测试中显著超越同规模模型,同时降低73%推理成本。
Meta发布第三代SAM(分割一切模型)系列AI模型,专注于视觉智能而非语言处理。该模型擅长物体检测,能够精确识别图像和视频中的特定对象。SAM 3在海量图像视频数据集上训练,可通过点击或文本描述准确标识目标物体。Meta将其应用于Instagram编辑工具和Facebook市场功能改进。在野生动物保护方面,SAM 3与保护组织合作分析超万台摄像头捕获的动物视频,成功识别百余种物种,为生态研究提供重要技术支持。
上海AI实验室团队提出ViCO训练策略,让多模态大语言模型能够根据图像语义复杂度智能分配计算资源。通过两阶段训练和视觉路由器,该方法在压缩50%视觉词汇的同时保持99.6%性能,推理速度提升近一倍,为AI效率优化提供了新思路。