

模速企业 | 虎博Tigerbot大模型研究成果被人工智能顶会收录

上海模速空间大模型创新生态社区

2025-01-20

第31届国际计算语言学会议（International Conference on Computational Linguistics ，COLING 2025) 于 2025 年 1 月 19 日至 24 日在阿联酋阿布扎比举行。虎博科技的论文被成功收录。其论文题目为：Let's Focus on Neuron: Neuron-Level Supervised Fine-tuning for Large Language Model。

论文中指出，传统的微调方法通常涉及调整LLMs的所有参数，而PEFT方法尽管减少了可训练参数的数量，仍在较宏观的层面进行操作（如层级）。研究表明，许多神经元在模型中可能处于非活跃状态，这种稀疏性被用来裁剪LLMs或提高推理效率，但鲜有研究将神经元层面的操作应用于模型训练中。此外，现有的探测技术在处理复杂任务时表现有限。

我们的主要贡献包括：

引入了一种新的方法——神经元级微调（NeFT），将参数训练的粒度细化到单个神经元。
为了区分模型之间神经元利用的差异，我们计算了每个神经元在两个模型之间的排名差异，表示为∆Rank。
将神经元分为三类：强烈影响、被抑制和间接影响的神经元。

虎博网络技术（上海）有限公司（以下简称“虎博科技”）成立于2017年，是一家专注大模型、自然语言处理、深度学习、行业知识图谱等前沿人工智能技术的高新技术企业，是国内十大通用大模型企业之一。虎博科技自主研发的全栈通用大模型TigerBot是全球领先的大模型之一，在国内外主流评测中能力名列前茅，拥有7B-180B全系列模型。虎博科技在医疗大模型领域具有领先的技术和成熟的应用经验。首创了clinical token技术，中文标准医疗术语体系，并在国际顶级论坛发表了数篇具有影响力的科研论文。目前虎博医疗大模型已经被应用在国内三甲医院，虎博中医大模型也在海外成功落地。

【声明】内容源于网络

上海模速空间大模型创新生态社区

“模速空间”是全国首个大模型专业孵化和加速载体，立足徐汇滨江，基于“十百千万”目标，打造数据、算力、评测、金融、综合等功能平台，赋能各通用大模型、垂类大模型、大模型应用创新初创企业汇聚上海、引领全国、扬帆世界。

内容 597

粉丝 0

上海模速空间大模型创新生态社区 “模速空间”是全国首个大模型专业孵化和加速载体，立足徐汇滨江，基于“十百千万”目标，打造数据、算力、评测、金融、综合等功能平台，赋能各通用大模型、垂类大模型、大模型应用创新初创企业汇聚上海、引领全国、扬帆世界。

总阅读531

粉丝0

内容597