站长之家(ChinaZ.com)7月24日 消息:Stability AI 与 CarperAI 发布了两个新的大型语言模型,名为 FreeWilly。其中一个模型基于 Meta 的 Llama v2,通过优化性能展示了开源开发的速度。
两个 FreeWilly 模型均基于 Meta 的 Llama 模型,其中 FreeWilly2已使用具有700亿个参数的较新的 Llama-2模型。FreeWilly 团队自己的努力是使用“高质量指令”生成的新合成数据集进行“仔细微调”。
FreeWilly 团队使用微软的 “Orca 方法” 训练小型模型逐步推理,而不是简单地模仿大型模型的输出风格。他们创建了一个包含600,000个数据点的数据集,相比于 Orca 团队使用的数据集只占了10% 左右。
在常见的基准测试中,以这种方式训练的 FreeWilly 模型在某些逻辑任务中表现出与 ChatGPT 相当的结果,其中基于 Llama2的 FreeWilly2模型优于 FreeWilly1。
总体而言,FreeWilly2在性能上领先于 Llama v2约4%,这表明 Meta 的新标准模型仍有改进的空间,并且开源社区可以提供帮助。
FreeWilly2目前在性能最佳的开源模型列表中处于领先地位,而原始的 Llama2在通用语言理解基准测试 MMLU 上略微领先。
FreeWilly 模型在开放访问大型语言模型领域树立了新标准,推动了研究并增强了自然语言理解和复杂任务的实现。这些模型可免费用于研究目的,并且 FreeWilly2被认为是在基准测试中具有最佳平均结果的开源模型。
项目网址:https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
ChatGPT源码推荐:小狐狸ChatGPT付费创作系统完全开源源码