站长之家 - 业界 2024-01-30 14:12

猎户星空大模型日、韩语能力全球:能跟日本人流畅交流

1月21日,猎户星空推出 Orion-14B 开源大模型,其 140 亿参数规模展示出强劲性能。Orion-14B 在通用能力评估中取得行业领先地位,超越了许多更大的模型。

值得注意的是,Orion-14B 针对日语和韩语进行了专门训练,为猎户星空在海外部署商业机器人应用提供支持。这些机器人不仅提供送餐服务,还能顺畅地与用户交流。

通过 AWQ Q4 量化技术,Orion-14B 的模型大小减少了 70%,推理速度提升了 30%,性能几乎没有损失(小于 1%)。它可以在千元级显卡上流畅运行,在 NVIDIA RTX 3060 显卡上实测推理速度可达 31 token/s(约每秒 50 个汉字)。

推荐关键词

24小时热搜

查看更多内容

大家正在看