中国电信星辰语义大模型 TeleChat-7B 版本宣布开源,并开放 1T 数据集

1 月 12 日消息,中国电信 1 月 10 日宣布开源星辰语义大模型 TeleChat-7B 版本,并开放 1T 清洗数据集。此外,中国电信还将在 1 月 20 日开源 12B 版本模型,拥抱更多开发者共建开源大模型生态。

据介绍,星辰语义大模型是由中电信人工智能科技有限公司研发训练的大语言模型,采用 1.5 万亿 Tokens 中英文语料进行训练。星辰语义大模型在业界首次提出缓解多轮幻觉的解决方案,通过关键信息注意力增强、知识图谱强化、多轮知识强化、知识溯源能力四大技术,将 AI 大模型的幻觉率降低了 40%,有助于大模型变得更有“人味”,理解问题语境,告别风马牛不相及的答案。

在中国电信内部,星辰语义大模型用于行文写作、代码编程、网络故障分析以及经营分析等场景,以行文写作为例,其平均生成字数超过 1500 字,有效采纳率达到 85.7%;在对外企事业单位客户的业务中,星辰语义大模型用于企业经营分析、政务公开咨询、民生诉求接待等场景,其业务覆盖率达到 95%,多轮理解准确率达到 90%。

早在 2023 年 11 月,中国电信就在 2023 数字科技生态大会上发布了千亿参数“星辰语义大模型”,并公布了后续的开源开放的时间表。发现,本次 TeleChat-7B 版本开源了对话模型 TeleChat-7B-bot,以及其 huggingface 格式的权重文件。此外,还开源了 7B 模型的 int8 和 int4 量化版本。

在模型开发上,星辰语义大模型已与华为昇腾 AI 基础软硬件完成适配:支持 Atlas 300I pro 推理卡,具备 int8 量化能力;支持 Atlas 训练服务器,用户可使用昇思 MindSpore 和 PyTorch 框架进行模型训练和推理。

Github 开源地址:

  • https://github.com/Tele-AI/Telechat

Gitee 地址:

  • https://gitee.com/Tele-AI/tele-chat

Published by

风君子

独自遨游何稽首 揭天掀地慰生平