专攻代码的Code Llama一出，大家伙都盼着谁来后续量化瘦身一下，好在本地也能运行。果然是llama.cpp作者Georgi Gerganov出手了，但他这回不按套路出牌:不量化，就用FP16精度也让34B的Code LLama跑在苹果电脑上，推理速度超过每秒20个token。原本需要4个高端GPU才能搞定的活现在用只
本文由站长之家合作伙伴自媒体作者“量子位公众号”授权发布于站长之家平台，本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间，为了保证文章信息的及时性，内容观点的准确性，平台将不提供完全的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请查看原文，获取内容详情。