本地部署 DeepSeek,AMD 锐龙 AI 助力
DeepSeek 近期大受欢迎,但由于服务器负载限制,经常会出现无响应的情况。因此,本地部署体验成为更好的选择,具体规模取决于硬件配置。
AMD 锐龙 AI 处理器拥有业内最强大的 NPU,算力高达 50 TOPS(每秒 50 万亿次计算),是体验 DeepSeek 的理想选择。
如果您拥有 AMD 锐龙 AI 笔记本,可以通过 LM Studio 轻松在本地部署、体验 DeepSeek R1 精简版推理模型。
操作步骤:
- 安装 AMD Adrenalin 25.1.1 或更新版本的显卡驱动。
- 打开 lmstudio.ai/ryzenai,下载 LM Studio 0.3.8 或更新版本。
- 安装并启动 LM Studio,跳过引导屏幕。
- 点击“发现”标签页。
- 选择适合自己硬件的 DeepSeek R1 Distill 模型,具体选择见后。
- 在软件页面右侧,勾选“Q4 K M”量化模式,然后点击“下载”。
- 下载完成后,返回聊天选项页,从下拉菜单中选择 DeepSeek R1 distill,并确保勾选“手动选择参数”选项。
- 在“GPU 卸载”中,将滑块移至最大值。
- 点击“模型加载”。
- 现在,您可以在本地体验 DeepSeek R1 推理模型了!
不同硬件配置支持的不同参数量:
- AMD 锐龙 AI MAX395 处理器,搭配 64GB 或 128GB 内存,最高支持 DeepSeek-R1-Distill-Llama-70B。
- 搭配 32GB 内存,可支持 DeepSeek-R1-Distill-Qwen-32B。
- AMD 锐龙 AI HX 370、AI 365 处理器,搭配 24GB 或 32GB 内存,支持 DeepSeek-R1-Distill-Qwen-14B。
- AMD 锐龙 7040/8040 系列,搭配 32GB 内存,支持 DeepSeek-R1-Distill-Qwen-14B。
AMD 推荐将所有 Distill 运行在 Q4 K M 量化模式。
如果您使用的是台式机,AMD RX 7000 系列显卡也支持本地部署 DeepSeek R1。
- RX 7900 XTX 旗舰显卡最高支持 DeepSeek-R1-Distill-Qwen-32B。
- RX 7900 XT、7900 GRE、7800 XT、7700 XT、7600 XT 均支持 DeepSeek-R1-Distill-Qwen-14B。
- RX 7600 和 RX 7650 GRE 适合 DeepSeek-R1-Distill-Llama-8B。