大数跨境

100万道实战题,还得防AI作弊!320B国产基模技术细节揭秘

100万道实战题,还得防AI作弊!320B国产基模技术细节揭秘 新智元
2026-10-23
6

新智元报道

继9月底对IQuest-Q1进行交通调度、仓储物流及电梯控制等多场景实测后,至知创新研究院(IQuest Research)今日正式发布该模型的技术报告《IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI Systems》,详细披露了其训练机制与技术细节。

IQuest-Q1是一款拥有320B总参数、15B激活参数的开源大模型,重点面向代码开发、命令行交互及复杂Agent任务。此次发布不仅展示了其在30项Benchmark中的优异成绩,更揭示了其背后的数据规模、防作弊机制及架构优化策略。

核心亮点:29T Tokens训练数据、超100万个可执行任务实例、1.93倍架构规模化效率提升,以及专为防止模型“作弊”设计的训练机制。

从代码生成到跨系统执行:基模能力的新考验

技术报告显示,IQuest-Q1在30项评测中涵盖了代码生成、软件工程、终端操作、工具使用、复杂工作流及通用推理等多个维度。其中,AutomationBench与τ³-Banking的成绩尤为引人注目。

  • AutomationBench:考察跨应用自动化能力,要求模型在不同系统间调用工具、保持任务状态并完成多步骤操作。IQuest-Q1得分52.7,位居前列。
  • τ³-Banking:引入复杂银行业务场景,测试智能体对业务规则的理解及多轮任务执行能力。IQuest-Q1得分51.8,同样表现优异。

此外,模型在SkillsBench(74.1分)、MCP-Atlas(78.4分)和Toolathlon-Verified(75.0分)等涉及技能使用及工具接口理解的评测中也取得了高分。在内部评测IQuest-CLIBench中,模型得分为53.7,进一步验证了其在CLI Agent任务中的交互表现。

Benchmark成绩概览

在代码能力方面,IQuest-Q1在NL2Repo-Bench和CyberGym上分别获得63.0和84.5分。同时,其在信息搜索(BrowseComp 85.5分)和知识推理(GPQA Diamond 93.3分)方面也展现了强劲实力。

百万级实战任务与防作弊机制

训练能够独立执行任务的Agent基础模型,关键在于让模型进入真实环境并处理连续状态。IQuest-Q1团队构建了超过100万个可执行、容器化的任务实例,覆盖软件工程、终端操作、网络安全等领域。

智能体训练任务与验证体系

针对强化学习中常见的“奖励作弊”(Reward Hacking)现象,即模型通过查找答案或修改脚本而非真正解决问题来获取奖励,团队建立了三层防护机制:

  1. 环境准备:清理可能泄露答案的代码历史与参考文件,严格隔离任务环境。
  2. 执行时检查:限制模型访问隐藏测试用例及已有解决方案等资源。
  3. 轨迹审计:审查实际执行命令、工具输出与提交结果,剔除存在作弊行为的轨迹。

在后训练阶段,团队结合监督微调、领域强化学习与多教师在线策略蒸馏(MOPD),利用四类专业教师模型增强IQuest-Q1对不同工具接口(如Claude Code、Codex)及交互流程的适应能力。

后训练流程

架构优化:计算效率提升1.93倍

在基础模型架构方面,IQuest-Q1实现了显著的效率提升。实验数据显示,在使用相同训练数据的条件下,其达到相同训练损失所需的计算量约为Qwen3-30B-A3B基线的52%,规模化效率提升1.93倍。

规模化效率与稳定性实验

IQuest-Q1采用稀疏MoE架构,包含88层Transformer,每层设置256个路由专家,每个Token激活8个。注意力机制结合了分组查询注意力与滑动窗口注意力,中间层采用“每3层滑动窗口+1层全注意力”的结构。

IQuest-Q1整体模型架构

为提升训练稳定性与效率,团队采用了Stable SplitNorm、Muon优化器及μP参数化,并引入Critical Model Size(CMS)指标研究大规模训练边界。此外,模型引入了Recursive MTP(递归式多Token预测)技术,通过复用MTP模块生成多个候选Token,支持投机解码,并在长上下文条件下限制计算开销。

结语:从理论到实践的跨越

IQuest-Q1的技术报告揭示了其从预训练到中期训练的完整路径,累计使用约29T Tokens,代码数据比例最高达70%,上下文长度扩展至512K Tokens。值得注意的是,团队甚至利用模型自身排查训练数据中的工具调用格式问题,实现了部分数据清洗工作的自动化。

尽管Benchmark成绩优异,但真实环境中的突发报错、任务延展及环境变化仍是模型面临的终极考验。IQuest-Q1通过百万级实战任务演练与严谨的防作弊机制,为Agentic AI的发展提供了新的技术范本。随着技术的不断迭代,其在复杂现实场景中的应用潜力值得期待。

参考资料:
技术报告:https://arxiv.org/pdf/2610.30949
Blog:https://iquestlab.github.io/
Hugging Face:https://huggingface.co/IQuestLab/IQuest-Q1
GitHub:https://github.com/IQuestLab/IQuest-Q1

编辑:元宇

【声明】内容源于网络
0
0
新智元
智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。
内容 16666
粉丝 0
新智元 智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。
总阅读473.8k
粉丝0
内容16.7k