驾驭深度学习模型的一大挑战，往往在于理解其行为逻辑：无论是xAI微调Grok时的政治倾向挣扎、ChatGPT的阿谀奉承问题，还是常见的“幻觉”现象，深入探究数十亿参数的神经网络绝非易事。
旧金山初创公司Guide Labs今日提出解决方案。该公司开源了80亿参数LLM Steerling-8B，该模型采用新架构训练，旨在实现行为可解释性：模型生成的每个token均可追溯至训练数据中的具体起源。
这种可追溯性既可用于确定事实引用的参考资料，也可用于解析模型对幽默或性别等复杂概念的认知。
创始人朱利叶斯·阿德巴约（Julius Adebayo）表示：“若以万亿种方式编码性别并在十亿项事物中实施，就必须确保找到所有被编码项并能可靠地开启或关闭它们。”他指出，现有模型虽能勉强实现，但极其脆弱，“这堪称圣杯级难题”。
从神经科学分析到工程化构建
阿德巴约在麻省理工学院攻读博士期间开启了此项研究。他2018年共同撰写的论文曾指出，当时理解深度学习模型的方法并不可靠。基于此，团队开发了构建LLM的新方法：在模型中插入概念层，将数据归类为可追溯类别。尽管这需要更多前期标注，但借助其他AI辅助，他们成功完成了迄今最大的概念验证项目训练。
“现有的可解释性研究是对模型进行神经科学分析，而我们反其道而行之，”阿德巴约解释道，“我们从底层构建模型，从而无需再进行事后神经科学研究。”
保留涌现能力与多领域应用前景
针对该方法可能削弱LLM泛化能力的担忧，阿德巴约回应称，其模型仍能产生“发现的概念”（如量子计算），即模型自行探索出的新知。
他认为可解释架构应成为行业基础：
- 消费级LLM：便于屏蔽版权材料，精准控制暴力、药物滥用等敏感话题输出；
- 受监管行业：提升可控性，例如金融信贷评估仅依据财务记录而非种族因素；
- 科学研究：增强透明度，帮助科学家理解蛋白质折叠等模型决策背后的深层逻辑。
“训练可解释模型已不再是科学探索，而是工程问题，”阿德巴约强调，“科学原理已解决且具备扩展性，没有理由认为其性能无法达到前沿水平。”
融资进展与未来规划
Guide Labs表示，Steerling-8B凭借新颖架构，以更少训练数据实现了现有模型90%的能力。该公司已从Y Combinator毕业，并于2024年11月获Initialized Capital 900万美元种子轮融资。下一步计划包括构建更大规模模型，并向用户提供API及智能体访问权限。
阿德巴约总结道：“当前模型训练方式仍显原始，普及内在可解释性将对人类角色产生长期积极影响。在追求超级智能的过程中，我们不应让神秘莫测的黑箱替自己做决定。”