大数跨境

去除对齐和偏见,多功能文本生成模型Dolphin Mixtral 1x22b

去除对齐和偏见,多功能文本生成模型Dolphin Mixtral 1x22b 圆海
2024-05-23
7
导读:Dolphin2.9.1Mixtral1x22b是由CognitiveComputations团队创建的一个多功能文本生成模型。这个模型具备以下特点:多功能文本生成:它能够处理指令、对话和编码任务,具

Dolphin-2.9.1-Mixtral-1x22b:高性能无限制文本生成模型

Dolphin-2.9.1-Mixtral-1x22b 是由 Cognitive Computations 团队研发的多功能文本生成模型,专为指令遵循、对话交互及代码编写等复杂任务设计。

核心特性

  • 多场景应用:具备强大的指令处理、对话交流及编码能力,适用场景广泛。
  • 卓越性能:基于 Dolphin-2.9-Mixtral-8x22b 架构,支持 64k 上下文窗口。该模型经过全权重微调,采用 16k 序列长度,在 8 张 H100 GPU 上耗时 27 小时完成训练。
  • SLERP 融合技术:利用 SLERP(球面线性插值)方法整合全部 8 个专家网络,在避免转换为密集模型的同时,完整保留了原始模型的性能优势。
  • 初步代理能力:原生支持函数调用,具备执行复杂任务的初步智能体(Agent)能力。

无限制设计理念与风险提示

该模型数据集经过严格过滤,移除了对齐机制与偏见约束,旨在提供一个无审查、高服从性的文本生成工具。然而,这种开放性也伴随着显著风险:由于缺乏严格的内容过滤机制,模型可能会响应并生成涉及不道德请求的内容。用户在使用时需充分认知其潜在的安全与伦理挑战。

模型地址:https://huggingface.co/cognitivecomputations/dolphin-2.9.1-mixtral-1x22b

【声明】内容源于网络
0
0
圆海
圆海跨境知识分享
内容 4092
粉丝 0
圆海 圆海跨境知识分享
总阅读32.8k
粉丝0
内容4.1k