站长之家 - 业界 2024-05-23 14:19

去除对齐和偏见,多功能文本生成模型Dolphin Mixtral 1x22b

站长之家(ChinaZ.com)5月23日 消息:Dolphin2.9.1Mixtral1x22b是由Cognitive Computations团队创建的一个多功能文本生成模型

image.png

这个模型具备以下特点:

  • 多功能文本生成:它能够处理指令、对话和编码任务,具有广泛的应用能力。
  • 高性能:模型基于Dolphin-2.9-Mixtral-8x22b,拥有64k上下文的基础模型,经过全权重微调,使用16k序列长度,在8xH100GPU上耗时27小时完成。
  • SLERP提取技术:通过SLERP提取方法组合所有8个专家,而不完全转换为密集模型,保持原始模型的性能。
  • 初步代理能力:模型支持函数调用,具备初步的代理能力,能够处理更复杂的任务。

不受限制的模型:数据集经过过滤以去除对齐和偏见,模型设计为不受限制,具有高度符合性。这意味着在生成文本时,没有严格的限制或过滤机制,模型可能会遵循不道德的请求并生成相应的内容。

模型的设计理念是提供一个没有审查和道德限制的文本生成工具,但这种开放性也带来了一定的风险,特别是当用户提出不道德的请求时,模型可能会遵循这些请求。

模型地址:https://huggingface.co/cognitivecomputations/dolphin-2.9.1-mixtral-1x22b

相关话题

推荐关键词

24小时热搜

查看更多内容

大家正在看