站长之家 - 业界 2024-01-18 10:04

蚂蚁开源ATorch 、 Lookahead两项大模型技术

站长之家(ChinaZ.com)1月18日 消息:最近,蚂蚁开源了两项与大模型相关的新技术:ATorch 和 Lookahead。

ATorch 是一个大模型分布式训练加速扩展库,可实现深度学习自动资源动态优化和分布式训练稳定性提升,可提升深度学习的智能性,千亿模型千卡级别训练的算力利用率可达60%。

Lookahead 是一个推理加速框架,可以大幅提升大模型的推理效率,可将推理加速2-6倍。

微信截图_20240118100559.png

ATorch 采用了分层架构设计,功能清晰、设计全面,为开发者提供极致精简的开发体验。作为 PyTorch 框架的高性能扩展加速库,ATorch 最少化用户代码侵入,为千亿参数大模型千卡级训练提供易用的高性能方案。在实践中,ATorch 已经在多个开源模型的训练优化实践中表现出色,将算力利用率提升了很多,并且稳定性也得到了显著提升。ATorch 已集成到蚂蚁集团的大模型训练开源产品 DLRover 中,让大模型开发者能够更专注于模型架构的设计,而无需处理工程方面的细节。

Lookahead 是一个推理加速框架,可以将推理加速2-6倍。通过采用多分支策略,Lookahead 能够在一次前向过程中生成更多的 Token,进一步压榨硬件性能。此外,Lookahead 还利用 trie 树存储和检索 Token 序列,并合并多条草稿中相同的父节点,提高计算效率。为了提高易用性,Lookahead 的 trie 树构建不依赖额外的草稿模型,只利用推理过程中的 prompt 及生成的回答进行动态构建,降低了用户的接入成本。

开源地址:https://github.com/intelligent-machine-learning/dlrover/atorch

论文地址:https://arxiv.org/abs/2312.12728

开源地址:https://github.com/alipay/PainlessInferenceAcceleration

新鲜AI产品点击了解https://top.aibase.com/

相关话题

推荐关键词

24小时热搜

查看更多内容

大家正在看