新智元报道

继9月底对IQuest-Q1进行交通调度、仓储物流及电梯控制等多场景实测后,至知创新研究院(IQuest Research)今日正式发布该模型的技术报告《IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI Systems》,详细披露了其训练机制与技术细节。
IQuest-Q1是一款拥有320B总参数、15B激活参数的开源大模型,重点面向代码开发、命令行交互及复杂Agent任务。此次发布不仅展示了其在30项Benchmark中的优异成绩,更揭示了其背后的数据规模、防作弊机制及架构优化策略。
核心亮点:29T Tokens训练数据、超100万个可执行任务实例、1.93倍架构规模化效率提升,以及专为防止模型“作弊”设计的训练机制。
从代码生成到跨系统执行:基模能力的新考验
技术报告显示,IQuest-Q1在30项评测中涵盖了代码生成、软件工程、终端操作、工具使用、复杂工作流及通用推理等多个维度。其中,AutomationBench与τ³-Banking的成绩尤为引人注目。
- AutomationBench:考察跨应用自动化能力,要求模型在不同系统间调用工具、保持任务状态并完成多步骤操作。IQuest-Q1得分52.7,位居前列。
- τ³-Banking:引入复杂银行业务场景,测试智能体对业务规则的理解及多轮任务执行能力。IQuest-Q1得分51.8,同样表现优异。
此外,模型在SkillsBench(74.1分)、MCP-Atlas(78.4分)和Toolathlon-Verified(75.0分)等涉及技能使用及工具接口理解的评测中也取得了高分。在内部评测IQuest-CLIBench中,模型得分为53.7,进一步验证了其在CLI Agent任务中的交互表现。

Benchmark成绩概览
在代码能力方面,IQuest-Q1在NL2Repo-Bench和CyberGym上分别获得63.0和84.5分。同时,其在信息搜索(BrowseComp 85.5分)和知识推理(GPQA Diamond 93.3分)方面也展现了强劲实力。
百万级实战任务与防作弊机制
训练能够独立执行任务的Agent基础模型,关键在于让模型进入真实环境并处理连续状态。IQuest-Q1团队构建了超过100万个可执行、容器化的任务实例,覆盖软件工程、终端操作、网络安全等领域。

智能体训练任务与验证体系
针对强化学习中常见的“奖励作弊”(Reward Hacking)现象,即模型通过查找答案或修改脚本而非真正解决问题来获取奖励,团队建立了三层防护机制:
- 环境准备:清理可能泄露答案的代码历史与参考文件,严格隔离任务环境。
- 执行时检查:限制模型访问隐藏测试用例及已有解决方案等资源。
- 轨迹审计:审查实际执行命令、工具输出与提交结果,剔除存在作弊行为的轨迹。
在后训练阶段,团队结合监督微调、领域强化学习与多教师在线策略蒸馏(MOPD),利用四类专业教师模型增强IQuest-Q1对不同工具接口(如Claude Code、Codex)及交互流程的适应能力。

后训练流程
架构优化:计算效率提升1.93倍
在基础模型架构方面,IQuest-Q1实现了显著的效率提升。实验数据显示,在使用相同训练数据的条件下,其达到相同训练损失所需的计算量约为Qwen3-30B-A3B基线的52%,规模化效率提升1.93倍。

规模化效率与稳定性实验
IQuest-Q1采用稀疏MoE架构,包含88层Transformer,每层设置256个路由专家,每个Token激活8个。注意力机制结合了分组查询注意力与滑动窗口注意力,中间层采用“每3层滑动窗口+1层全注意力”的结构。

IQuest-Q1整体模型架构
为提升训练稳定性与效率,团队采用了Stable SplitNorm、Muon优化器及μP参数化,并引入Critical Model Size(CMS)指标研究大规模训练边界。此外,模型引入了Recursive MTP(递归式多Token预测)技术,通过复用MTP模块生成多个候选Token,支持投机解码,并在长上下文条件下限制计算开销。
结语:从理论到实践的跨越
IQuest-Q1的技术报告揭示了其从预训练到中期训练的完整路径,累计使用约29T Tokens,代码数据比例最高达70%,上下文长度扩展至512K Tokens。值得注意的是,团队甚至利用模型自身排查训练数据中的工具调用格式问题,实现了部分数据清洗工作的自动化。
尽管Benchmark成绩优异,但真实环境中的突发报错、任务延展及环境变化仍是模型面临的终极考验。IQuest-Q1通过百万级实战任务演练与严谨的防作弊机制,为Agentic AI的发展提供了新的技术范本。随着技术的不断迭代,其在复杂现实场景中的应用潜力值得期待。
参考资料:
技术报告:https://arxiv.org/pdf/2610.30949
Blog:https://iquestlab.github.io/
Hugging Face:https://huggingface.co/IQuestLab/IQuest-Q1
GitHub:https://github.com/IQuestLab/IQuest-Q1
编辑:元宇

