站长之家用户 - 传媒 2024-11-13 14:04

英特尔® 矩阵扩展加速AI工作负载

英特尔推出的第四代和第五代英特尔® 至强® 可扩展处理器及其内置的英特尔® 高 级矩阵扩展(Intel® Advanced Matrix Extensions,英特尔® AMX)可进一步提高 AI 功能。与第三代英特尔® 至强® 可扩展处理器相比,第五代英特尔® 至强® 可扩展处理器可使推理工作负载的性能提升高达 10 倍,每瓦性能提升高达 7 倍。

优化AI管线

从图书和电影推荐系统到驱动大型电商网站的数字化零售软件,再到支持聊天机器人和机器翻译的自然语言处理 (NLP) 功能,企业可通过在不同场景中应用 AI 获得诸多收益。 AI 真正的价值在于其能够解析复杂环境和海量数据的特性,以及解决以往难解之题的能力,而这正是不断推进企业革新的关键潜能。据研究显示,到 2025 年,90% 新发布的企业应用版本都将包含嵌入式 AI 功能。

第四代和第五代英特尔® 至强® 可扩展处理器内置 AI 加速器——英特尔® AMX,是企业和机构优化 AI 管线的理想选择。平衡推理是 CPU 在 AI 应用中的主要用例,而这款英特尔® AI 引擎专为该用例设计并且具备更多训练能力(见图 )。目前,在所有运行 AI 推理工作负载的已装机数据中心处理单元中,英特尔® 至强® 可扩展处理器的占比高达 65%; 因此,为新的 AI 部署选择内置英特尔® AMX 的第四代和第五代英特尔® 至强® 可扩展处理器,是一种既高效又具有成本效益的 AI 工作负载加速方式。

选择内置加速器的理由

目前,采用内置英特尔® 深度学习加速技术(Intel® Deep Learning Boost,英特尔® DL Boost)的第三代英特尔® 至强® 可扩展处理器支持 AI 部署,可满足 IT 部门履行客户服务级别协议 (SLA) 的要求,而内置英特尔® AMX 的第四代和第五代英特尔® 至强® 可扩展处理器则将带来新的变革。

如图所示:与上一代产品相比,内置英特尔® AMX 的第五代英特尔® 至强® 可扩展处理器,可将实时推理性能提升高达 1.23 至 1.35 倍,可将实时推理每瓦性能提升高达 1.2 至 1.38 倍5,6,7。

第五代英特尔® 至强® 可扩展处理器与第三代英特尔® 至强® 可扩展处理器相比能够带来的总体拥有成本 (TCO) 优势。针对批量 NLP 推理 (BERT-Large) 工作负载,只需 13 台基于第五代英特尔® 至强® 可扩展处理器的服务器即可实现 50 台基于第三代英特尔® 至强® 可扩展处理器的服务器所能提供的性能8。服务器数量的减少意味着更低的能耗和更低 CO2 排放量,从而实现多达 64% 的 TCO 节约8。

英特尔® AMX 带来的性能提升远大于每一代产品(从第 一代英特尔® 至强® 可扩展处理器开始)通过增加内核所实现的性能提升。

欲了解更多行业应用详情,请访问硬蛋聚合商官网 www.ingdan.com

相关话题

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,相关信息仅供参考。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

推荐关键词

24小时热搜

查看更多内容

大家正在看