英特尔第五代至强处理器通过 AISBench 人工智能服务器系统性能测试,成为首家通过大语言模型 (LLM) 推理性能测试的企业。
在 AISBench 2.0 评估下,第五代至强处理器在 ChatGLM V2-6B(60 亿参数)和 Llama2-13B(130 亿参数)模型上表现突出,满足轻量级 LLM 的实时推理需求。
具体性能表现如下:
- ChatGLM V2 模型通用推理(输入输出序列 256):每秒 2493 个 token
- ChatGLM V2 模型通用推理(输入输出序列 2048):每秒 926 个 token
- Llama2 模型通用推理(输入输出序列 256):每秒 513 个 token
- Llama2 模型通用推理(输入输出序列 2048):每秒 132 个 token
AISBench 2.0 测试结果证明了英特尔至强在轻量级 LLM 推理方面的卓越性能。
基于至强的服务器可构建通用 AI 系统,用于数据预处理、模型推理和部署,提供 AI 性能、效率、准确性和可扩展性的结合。
英特尔至强还支持“开箱即用”部署部分 AI 工作负载,降低总体拥有成本,为企业提供更佳的优势。