大数跨境

用 AI 写代码总是卡住?开源项目 IQuestRT 了解一下

用 AI 写代码总是卡住?开源项目 IQuestRT 了解一下 程序员小灰
2026-11-07
0

大家好,我是程序员小灰。

用 AI 编程助手时,你有没有遇到过这样的情况:需求已经说清楚了,它也开始干活了,可你还是得盯着屏幕等。

等它分析代码,等它生成修改,再等它读完工具返回的结果,开始下一轮。

一次等待也许不算长。但一个任务来回执行很多轮,等待就会累积起来。模型回答得快不快,也就成了编程体验里很实际的问题。

最近,至知发布了开源项目 IQuestRT,专门优化 IQuest-Q1 模型的推理执行过程。我读了它的技术报告和仓库说明,觉得其中一些思路值得拆开聊聊。

这篇文章分几部分,先讲它解决什么问题,再解释几项关键加速方法,最后看看官方测试该怎么理解,以及目前有哪些限制。文中的性能与验证结果来自官方披露,小灰没有在对应硬件上独立复测。

文章较长,建议收藏不迷路。

一、同一个模型,运行方式也会影响速度

先把两个名字分清楚。

IQuest-Q1 是模型,负责理解需求、推理和生成内容。IQuestRT 则是运行这个模型的推理引擎,安排底层计算、显卡通信和数据传输。

平时用聊天软件,我们看到的是不断出现的文字。到了服务器上,每生成一小段内容,背后都要执行一系列计算。

这些计算需要读取模型权重,也就是模型学到的参数;还要访问前文留下的中间数据,并在多张显卡之间交换结果。

其中有些步骤必须等前一步完成。有些准备工作其实可以提前开始。如果执行安排不合理,显卡就会花时间等待。

IQuestRT 关注的正是这些细节:哪些计算可以合并,哪些数据可以提前搬过来,哪些调度过程可以少绕一次。

下面这张分层示意图,可以直观看出编程助手、推理引擎和模型分别处于什么位置。侧边的外部工具,也会占用整个任务的执行时间。

这对编程助手尤其有意义。

因为它经常按顺序执行任务:先分析,再调用工具;工具返回结果后,继续生成下一步操作。后一步往往要等前一步完成,生成阶段的延迟会反复出现。

不过,读文件、运行测试、等待外部服务,同样需要时间。推理引擎能优化其中的模型执行部分,整个任务能快多少,还要看时间主要花在哪里。

二、提前预测,再一起验证,怎样省下时间?

明确了优化目标,接下来看看 IQuestRT 的一项重要机制:推测解码。

大模型通常逐个生成词元。词元可以理解为模型处理文字的基本单位,可能是一个字,也可能是一段单词,与我们数汉字的方式并不相同。

逐个生成时,后面的内容要依赖前面的结果。推测解码会先提出一段候选内容,再让目标模型集中验证。

比如,候选内容连续预测对了一部分,这一部分就能通过验证;遇到没通过的位置,再按相应规则处理,并继续生成。

这里的关键是,提前预测本身也要消耗时间。如果花了不少功夫预测,最后通过的内容却很少,就未必划算。

所以,不能只盯着“一次预测多少个”。还得看候选内容通过了多少,以及预测和验证总共花了多久。

根据技术报告,IQuest-Q1 采用递归的多词元预测机制,重复使用预测层来提出后续候选。IQuestRT 把候选生成、验证和后续状态处理一起纳入优化。

它还会根据已经生成的候选信息,判断是否值得继续预测。这个决策直接在显卡上完成,预测深度可以随执行情况调整。

下面这张流程图展示了一轮生成怎样衔接到下一轮。它是概念示意,候选的接受与替换按概率规则处理,不能理解为简单的逐字比对。

小灰觉得,这一点很容易被“多预测几个就更快”的直觉掩盖。真正需要优化的,是最终每生成一个有效词元需要多少时间。

三、计算之外,等待也要一起优化

推测解码能减少一部分逐个生成的开销,但每轮执行内部,仍然存在大量数据传输和同步。

IQuestRT 的另一组优化,就集中在这些重复发生的小步骤上。

1. 让准备工作提前开始

显卡执行的具体计算程序,通常称为内核。一次模型推理,会反复调用许多这样的程序。

如果后一项计算必须等前一项结果才能开始,不代表后一项的所有准备工作都得等。

例如,读取将要使用的权重,有时可以与前面的计算重叠。等真正需要计算时,数据已经准备好了一部分。

IQuestRT 利用底层调度机制,让符合条件的后续程序提前准备输入,减少依赖交接时的空等。

下面这张图把两种安排放在一起:左侧依次计算、准备数据,再继续计算;右侧让独立的准备工作与前序计算重叠。两边分别代表一种安排,不是同一次执行中的三条并行任务。

图中的连线只表达依赖关系,不表示实测耗时或加速倍数。后续计算仍须等前序结果和数据都准备好,才能继续。

它也会把部分相邻操作合并,减少中间结果反复写入和读取,以及重复启动计算程序带来的开销。

2. 用数据本身判断“齐了没有”

模型分布在多张显卡上运行时,一些计算结果需要汇总。某张显卡算完了,也可能要等其他显卡的结果。

通常的做法是:先用一个标志位或者一次同步,确认大家都写完了,再去汇总。技术报告里用了个更巧的办法——让数据自己说话。

具体是这样:每张显卡负责写入的那块缓冲区,一开始全部填成一个特殊值 NaN(表示“这不是一个有效数字”)。哪张卡算完了,就把自己那块改写成真实结果。

汇总的时候,只要还有一张卡没写完,汇总出来的结果里就必然带着 NaN。读取的一方看到 NaN,就知道还没齐,直接再读一次。

等某次读取拿回来的结果里没有 NaN 了,说明所有卡都写完了,这一次读到的就是最终的汇总值。

一个动作同时回答了两个问题:数据齐了没有,齐了的话结果是多少。既不需要额外的标志位,也不需要单独一轮同步。

缓冲区要反复用,怎么保证上一轮的值不混进这一轮?报告里靠缓冲区轮换加有序的 NaN 重填来解决——填回去的位置是上一轮用过的那块,而那块这一轮已经没人读了,重填是安全的。

这类优化看起来细碎,但模型有 88 层,层与层之间都要这样交换一次。同样的等待如果每层都发生,累积起来就值得处理。

当然,这依赖显卡之间的高速互联能力(NVLink 组播)和具体实现,不能直接套用到所有硬件上。

3. 让显卡自己衔接下一轮

除了显卡内部的计算,处理器与显卡之间的往返也会产生间隔。

如果每一轮都要由处理器读取结果、更新状态、再启动下一轮,执行链条里就会反复出现这样的交接。

IQuestRT 把生成循环中的多项状态管理放在显卡上,允许显卡根据执行结果继续启动下一轮,减少轮与轮之间的处理器参与。

这里还有一个实际区别:报告中的性能测试采用无回调的生成方式;提供给应用使用的流式服务,需要阶段性读取结果,才能把内容陆续发给用户。

因此,实际接入时,也需要留意服务输出方式与基准测试之间的差异。

四、提前读取权重,也得算清收益

前面讲的是执行安排。接下来还有一个更具体的问题:模型需要的数据,能不能提前读?

IQuest-Q1 使用混合专家结构。简单说,模型包含多个计算分支,每次根据输入选择其中一部分参与计算,这些分支通常称为“专家”。

既然最终只会用到部分专家,能不能先猜一下将要选谁,把对应权重提前放进缓存?

IQuestRT 做了这类预取优化。它提前预测可能用到的专家,尝试让相关权重更早进入缓存。

需要分清的是,预取预测只影响提前缓存哪些数据,最终选择哪些专家,仍然由正式的路由计算决定。

但预取也会消耗资源。按照官方报告,有些执行规模能从中受益,有些规模下,额外工作反而超过了节省的时间。

最终实现因此只在符合条件的路径启用预取。哪一档有条件、哪一档没条件,官方报告写得挺明确:

活跃的验证行数
预取怎么做
结果
4 到 5 行
从 MLP 尾部旁分出一条支路,把预测到的专家权重提前预热进缓存
有收益,每步省下 20.5 到 23.2 微秒
6 到 8 行
不启用
支路结束得太晚,花的时间比省下来的还多

报告还列出了一些没有采用的尝试,比如进一步合并某些计算,或者换用更低精度的专家权重。它们在测试中没有带来足够的执行收益。

这部分比单纯罗列优化技巧更有参考价值:少读一些数据、少启动一个程序,都只是可能有帮助。能不能变快,最终还得回到完整执行过程里测。

五、官方说的“更快”,应该怎样理解?

理解了这些方法,再看性能结果,就要先确认它测的是什么。

官方报告使用了编程助手的交互轨迹,重点考察单个请求在生成阶段的速度,以及完成一轮推测解码所需的时间。

生成阶段,也叫解码阶段,是模型继续输出内容的过程。它与开始回答前处理输入的阶段,以及加载模型等准备过程,属于不同环节。

报告中的核心速度指标没有把这些准备环节都算进去。因此,它可以帮助我们判断生成路径的优化效果,却不能直接代表用户从提交任务到拿到最终成果的全部耗时。

具体是多少?

数字本身是这样的:在 8 张 GPU、张量并行度 8、同一时刻只有一个活跃请求的条件下,IQuestRT 的单请求解码速度是 911 tokens/s。

作为对照,官方记录的 vLLM 基线是 309.83 tokens/s。两者相差 2.94 倍,和发布稿里“提升至近 3 倍”说的是同一件事。

统计方式和其余数值整理成一张表,方便对照:

项目
数据
IQuestRT 单请求解码速度
911 tokens/s
vLLM 基线速度
309.83 tokens/s
两者相差
2.94 倍
测试样本
400 条 Claude Code 交互轨迹,每条两个随机种子,共 800 次解码、32 万个 token
每轮推测解码耗时
3.558 毫秒,输出 3.24 个 token
每个输出 token
1.098 毫秒

需要说明的是,这组数字目前只有官方自测这一个来源,第三方还没有见到复现结果。小灰也没有相应硬件,无法独立验证。

六、它适合谁,限制又在哪里?

说到这里,最后回到实际使用。

从当前仓库说明看,IQuestRT 面向具备服务器部署条件的开发者和团队,而且门槛写得相当明确:

  • 需要 8 张 NVIDIA GPU,算力等级 10.0,也就是 Blackwell 这一代;
  • 显卡之间必须支持 NVLink 组播,并行方式是 TP=8;
  • 权重文件约 330 GB,另外还要留出环境依赖和编译缓存的空间;
  • 只支持 IQuest-Q1 这一个模型,换模型、换显卡架构、换并行配置,都不在支持范围内。

换句话说,这不是“拿几张卡就能跑”的项目,而是面向一整个八卡节点的专用引擎。普通读者可以了解原理,但照着教程在日常电脑上安装体验,并不符合它当前的定位。

它也提供服务接口,支持流式输出和客户端工具调用,并给出了连接 Claude Code 的方式。

这里运行的模型依然是 IQuest-Q1。Claude Code 在这个场景中充当编程操作入口,接入方式与底层使用什么模型,需要分别理解。

功能覆盖方面,当前说明列出的边界也很具体,接之前最好先对着这张表核一遍:

已经支持
目前不支持
流式输出
图像输入
客户端工具调用
约束式结构化输出
接入 Claude Code
连续批处理
Anthropic Messages 接口
自定义采样参数(固定温度 1、top-k 20、top-p 0.95)

因此,评估是否适合接入时,要把现有应用需要的能力一起核对。生成速度只是其中一项。

小灰更关注它展示出来的两个方向。

一是,编程助手要想更顺畅,除了继续提升模型能力,也可以沿着实际执行路径,把反复出现的等待逐步减下来。

二是,专门针对一个模型和一类任务做优化,可能获得更深入的改善,但也意味着适用范围需要交代清楚。后续如果能补充更广的任务验证和服务场景测试,实际参考价值会更高。

对于普通用户,这些变化最终要落实到回答和执行是否更及时;对于部署团队,则要结合硬件条件、功能需求和实际负载判断是否值得采用。

你用 AI 编程助手时,最影响体验的是生成太慢、工具执行太久,还是改完后还得来回返工?欢迎在评论区聊一聊。

【声明】内容源于网络
0
0
程序员小灰
1234
内容 1701
粉丝 0
程序员小灰 1234
总阅读0
粉丝0
内容1.7k