站长之家 - 业界 2024-01-30 14:12

猎户星空大模型日、韩语能力全球:能跟日本人流畅交流

快科技1月29日消息,1月21日,猎户星空发布了开源大模型Orion-14B,以其140亿参数规模展现出了卓越的性能,在多个权威通用能力上Orion-14B表现出百亿参数大模型基座能力的行业领先性。

不仅如此,Orion-14B超越了市面上许多更大参数的模型,尤其日语和韩语能力表现优秀,评测全球第一

猎户星空董事长傅盛强调,Orion-14B在语料训练中专门强化了日语和韩语,旨在为猎户星空出海商用机器人应用提供支持。

猎户星空机器人在日本和韩国不仅限于送餐服务,还能与用户进行流畅的交流。

值得一提的是,Orion-14B通过AWQ Q4量化技术,模型大小减少70%,推理速度提升30%,性能几乎无损(损失小于1%),在千元级显卡可以流畅运行。在NVIDIA RTX 3060显卡实测,推理速度可达31 token/s (约每秒50汉字)。

推荐关键词

24小时热搜

查看更多内容

大家正在看

孟子3-13B大模型正式开源