Intel助力阿里云大模型提升效率
Intel宣布其数据中心、客户端和边缘AI解决方案已为阿里云通义千问2（Qwen2）提供支持，取得了多项创新成果。
为了提升通义千问2等大模型的效率，Intel进行了全面优化，包括融合算子、量化技术等。
Intel还采用了多种技术提高推理效率，如KV Caching和PagedAttention。
硬件加速
Intel硬件与软件框架相结合，可加速大模型推理。如PyTorch和Intel PyTorch扩展包、OpenVINO工具包等。
Intel Gaudi AI加速器专为大模型加速而设计，可轻松部署超大模型。
Intel对70亿和720亿参数的通义千问2模型进行了基准测试，结果如下：
70亿参数通义千问2在单颗Gaudi 2加速器上的推理
720亿参数通义千问2在八颗Gaudi 2加速器上的推理
通义千问2 FP8在Gaudi 2加速器上的推理
通义千问2在Gaudi 2加速器上的微调
Intel至强处理器适用于各种规模的数据中心，可加速AI推理。
至强处理器内置Intel AMX高级矩阵扩展，可处理多样化的AI工作负载。
阿里云ecs.ebmg8i.48xlarge实例上运行通义千问2的下一个token延迟
消费级AI PC
消费级AI PC可本地部署大模型，可以使用内置GPU核显、NPU AI引擎或独立显卡。
酷睿Ultra 7 165H上的通义千问2推理
酷睿 Ultra 7 165H上的通义千问2下一个token延迟
锐炫A770 16GB显卡上的通义千问2下一个token延迟
推荐关键词
24小时热搜
-
热
- 1 沙特申博宣传片真是中国拍的 网友：这风格意境是中国的手笔
- 2 南方人东北购物被店主语气“凶哭”：文化差异导致误解
- 3 女子下班回家发现家门口被贴U盘：新型诈骗手段？
- 4 爸爸送娃撂下就走结果学校没开门：交警协助联系 安全返家
-
热
- 5 宗庆后在黄金地段为员工建廉租房：从不裁45岁以上员工 我算有钱
- 荐 2020年高通骁龙CPU排名 高通骁龙888排名领先