站长之家 - 业界 2025-01-03 13:44

突破算力限制!Meta开源“记忆层”,重塑Transformer架构大模型

今天凌晨3点,全球社交巨头Meta分享了一个创新研究——Memory layers(记忆层)。目前,Transformer架构的预训练大模型在存储、查询数据时,随着参数的变大对算力的需求呈指数级增长。“记忆层”提出了新的高效查询机制替代了传统的查询方法,通过比较查询键与两个较小集合中的键,

本文由站长之家合作伙伴自媒体作者“​AIGC开放社区公众号”授权发布于站长之家平台,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。

推荐关键词

24小时热搜

查看更多内容

大家正在看