站长之家 - 业界 2021-10-12 09:59

微软和英伟达宣布推出自然语言生成模型 MT-NLG

站长之家(ChinaZ.com) 10月12日消息:据微软官网发布的博客文章显示,微软和英伟达宣布了由 DeepSpeed 和 Megatron 驱动的 Megatron-Turing 自然语言生成模型(MT-NLG),这是迄今为止训练的最大和最强大的解码语言模型。

据介绍,这个模型包括5300亿个参数,与现有最大的模型GPT-3相比,参数数量是其3倍。训练这样的大型模型涉及各种挑战,沿着所有的人工智能轴线进行了许多创新和突破。例如,通过紧密合作,英伟达和微软将最先进的GPU加速训练基础设施与尖端的分布式学习软件堆栈相融合,实现了前所未有的训练效率。

微软与NVIDIA建立了高质量的自然语言训练语料库,其中包含数千亿个标记,并共同开发了训练配方,以提高优化效率和稳定性。

相关话题

推荐关键词

24小时热搜

查看更多内容

大家正在看