Hugging Face近日发布Falcon 180B,这是目前规模最大的开源大语言模型。该模型在自然语言处理任务中表现卓越,性能对标Google Palm 2,且未设置安全对齐机制,为开发者提供了高度自由的微调空间。
Falcon 180B实现业界领先性能
官方数据显示,Falcon 180B在多项基准测试中超越了此前的开源最强模型Llama 2 70B及OpenAI GPT-3.5,综合性能与Google Palm 2相当。根据评估标准不同,其能力通常介于GPT-3.5与GPT-4之间。
性能对比截图

“Falcon 180B是目前最优秀的开源大语言模型,优于Llama 2 70B和GPT-3.5……在不同评估基准下,其表现通常位于GPT-3.5和GPT-4之间。”
公告指出,用户若对模型进行额外微调,有望进一步提升其性能表现。
训练数据集The RefinedWeb详解
Falcon 180B基于“The RefinedWeb Dataset”训练而成。该数据集完全源自Common Crawl公开网络数据,研究人员通过激进的去重策略和严格过滤,移除了机器生成的垃圾内容、模板化文本及重复序列,以确保数据质量。
“严格的过滤和去重可产生适合生产竞争性模型的纯网络数据集(约五万亿token),其效果甚至优于在精心策划的语料库上训练的LLM。”
研究证明,经过深度清洗的网络数据足以支撑高质量模型训练,无需依赖书籍等非网络数据源。
无安全护栏与使用限制
Falcon 180B未经过任何安全对齐或指令微调,这意味着它可能生成事实性错误、幻觉内容或不安全输出。这种“无护栏”特性使其具备更高的可塑性,允许开发者调优出其他商业产品无法实现的特定功能,但也要求使用者自行承担风险。
“局限性:该模型会产生事实性错误信息及幻觉。由于未经过高级对齐,在被特定提示诱导时可能生成问题性输出。”
商业许可与基础模型定位
Hugging Face允许Falcon 180B用于商业用途,但采用限制性许可证,建议企业在商用前咨询法律专业人士。此外,该模型属于基础预训练模型,不具备对话格式,不能直接作为聊天机器人使用。官方虽发布了简易版聊天模型,但核心版本仍需开发者根据自身需求进行二次微调和指令训练。

