站长之家 - 业界 2024-09-05 22:34

Intel首批通过AISBench大模型性能测试!5代至强可达每秒2493 token

英特尔第五代至强处理器通过 AISBench 人工智能服务器系统性能测试,成为首家通过大语言模型 (LLM) 推理性能测试的企业。

在 AISBench 2.0 评估下,第五代至强处理器在 ChatGLM V2-6B(60 亿参数)和 Llama2-13B(130 亿参数)模型上表现突出,满足轻量级 LLM 的实时推理需求。

具体性能表现如下:

  • ChatGLM V2 模型通用推理(输入输出序列 256):每秒 2493 个 token
  • ChatGLM V2 模型通用推理(输入输出序列 2048):每秒 926 个 token
  • Llama2 模型通用推理(输入输出序列 256):每秒 513 个 token
  • Llama2 模型通用推理(输入输出序列 2048):每秒 132 个 token

AISBench 2.0 测试结果证明了英特尔至强在轻量级 LLM 推理方面的卓越性能。

基于至强的服务器可构建通用 AI 系统,用于数据预处理、模型推理和部署,提供 AI 性能、效率、准确性和可扩展性的结合。

英特尔至强还支持“开箱即用”部署部分 AI 工作负载,降低总体拥有成本,为企业提供更佳的优势。

推荐关键词

24小时热搜

查看更多内容

大家正在看