中国电信AI研究院携手北京智源AI研究院发布了全球首个单体稠密万亿参数语言模型Tele-FLM-1T，成为国内首家推出稠密万亿参数大模型的机构。
为了应对大模型训练中的算力消耗挑战，研究团队通过深入研发，融合了模型增长和损失预测等关键技术，推出了Tele-FLM模型系列。该系列模型在算力资源的使用上，仅消耗了行业标准训练方案的9%，体现出极高的算力效率。
利用112台A800服务器，TeleAI团队在4个月内完成了3个模型总计2.3T tokens的训练，全程没有进行任何调整和重试，验证了模型训练的稳定性和收敛性。
值得注意的是，Tele-FLM-1T版本即将开源，旨在为社区提供万亿稠密模型训练的技术指南，解决万亿模型训练收敛困难的问题，推动大模型技术的进步。
TeleAI除了技术创新外，还积极通过开源方式促进大模型技术的普及和国产化发展。他们陆续开源了7B、12B、52B参数规模的大模型，在开源社区引发广泛关注和应用，开源模型下载量已超万次，吸引了超过40万用户。