站长之家 - 业界 2025-02-12 19:24

AMD锐龙AI处理器轻松本地跑DeepSeek:支持70B参数

本地部署 DeepSeek,AMD 锐龙 AI 助力

DeepSeek 近期大受欢迎,但由于服务器负载限制,经常会出现无响应的情况。因此,本地部署体验成为更好的选择,具体规模取决于硬件配置。

AMD 锐龙 AI 处理器拥有业内最强大的 NPU,算力高达 50 TOPS(每秒 50 万亿次计算),是体验 DeepSeek 的理想选择。

如果您拥有 AMD 锐龙 AI 笔记本,可以通过 LM Studio 轻松在本地部署、体验 DeepSeek R1 精简版推理模型。

操作步骤:

  1. 安装 AMD Adrenalin 25.1.1 或更新版本的显卡驱动。
  2. 打开 lmstudio.ai/ryzenai,下载 LM Studio 0.3.8 或更新版本。
  3. 安装并启动 LM Studio,跳过引导屏幕。
  4. 点击“发现”标签页。
  5. 选择适合自己硬件的 DeepSeek R1 Distill 模型,具体选择见后。
  6. 在软件页面右侧,勾选“Q4 K M”量化模式,然后点击“下载”。
  7. 下载完成后,返回聊天选项页,从下拉菜单中选择 DeepSeek R1 distill,并确保勾选“手动选择参数”选项。
  8. 在“GPU 卸载”中,将滑块移至最大值。
  9. 点击“模型加载”。
  10. 现在,您可以在本地体验 DeepSeek R1 推理模型了!

不同硬件配置支持的不同参数量:

  • AMD 锐龙 AI MAX395 处理器,搭配 64GB 或 128GB 内存,最高支持 DeepSeek-R1-Distill-Llama-70B。
  • 搭配 32GB 内存,可支持 DeepSeek-R1-Distill-Qwen-32B。
  • AMD 锐龙 AI HX 370、AI 365 处理器,搭配 24GB 或 32GB 内存,支持 DeepSeek-R1-Distill-Qwen-14B。
  • AMD 锐龙 7040/8040 系列,搭配 32GB 内存,支持 DeepSeek-R1-Distill-Qwen-14B。

AMD 推荐将所有 Distill 运行在 Q4 K M 量化模式。

如果您使用的是台式机,AMD RX 7000 系列显卡也支持本地部署 DeepSeek R1。

  • RX 7900 XTX 旗舰显卡最高支持 DeepSeek-R1-Distill-Qwen-32B。
  • RX 7900 XT、7900 GRE、7800 XT、7700 XT、7600 XT 均支持 DeepSeek-R1-Distill-Qwen-14B。
  • RX 7600 和 RX 7650 GRE 适合 DeepSeek-R1-Distill-Llama-8B。

推荐关键词

24小时热搜

查看更多内容