Qwen4 尚未正式发布，但一份已合并的开源推理内核代码 Pull Request（PR）率先暴露了其架构线索。该 PR 来自阿里云重要芯片供应商英特尔 GPU（XPU）推理加速仓库 analytics-zoo/vllm-xpu-kernels，主要涉及底层推理算子的开发与优化。
在这条名为“Enable Qwen3.8-flash-next 8 cards fp8 & int4 and optimize qwen4-27b”的 PR 中，开发者不仅直接标注了“qwen4-27b”，还公开了模型张量尺寸、注意力计算、残差结构、量化精度及推理解码等具体实现细节。
通常情况下，硬件厂商为在新模型发布当天提供算力支持，会提前数月获取模型结构进行 Kernel 开发。尽管这些工程细节理论上可作为反推架构的依据，但此次新模型的协同痕迹被未经脱敏地推至公开分支，显得颇为蹊跷。
随后，llama.cpp 开源社区开发者通过逆向分析，进一步还原出 Qwen4-27B 的技术细节：该模型延续了上一代 Qwen3.8-27B 的 Dense 稠密架构，同时引入了 Qwen3.8-Flash-Next 的四路残差流、稀疏注意力等新一代设计，且前馈网络的中间维度可能有所缩减。
Qwen3.8-Flash-Next 于今年 8 月发布，被官方定义为 Qwen4 架构预览，是一款 125B 参数、每 Token 激活约 6B 参数的 MoE 稀疏模型。这表明阿里正将下一代模型的架构创新同时应用于大型 MoE 和中等规模 Dense 模型，而非单纯依赖参数堆叠。
Qwen4 意外现身：单设备即可部署
在面向英特尔 GPU（xPU）推理加速的 vLLM XPU Kernels 开源项目分支中，开发者 hzjane 提交的代码更新虽旨在优化 Qwen3.8-Flash-Next，却在标题中直接提及尚未发布的 Qwen4-27B。目前，这份编号为 #22 的 PR 已被正式合并，包含 10 次代码提交及 56 个文件变更。
该 PR 明确了 Qwen4-27B 的底层推理适配方案，针对 Dense 版本提供了 TP2 FP8、TP1/TP2 INT4 的 SYCL/SYCL-TLA 内核。这意味着开发工作已覆盖双设备 FP8 推理，以及单设备、双设备 INT4 量化计算路径。其中，FP8 用于降低计算与存储开销，INT4 则通过压缩权重精度减少显存需求。
对于一款 270 亿参数的稠密模型，若按 4 bit 计算，仅权重理论上需约 13.5GB 存储空间（不含 KV Cache 等运行时开销）。INT4 的适配表明社区正为 Qwen4-27B 的超低显存部署做准备，以实现更低精度、更少资源运行。不过，由于目前主要针对 SYCL/SYCL-TLA 内核（用于高性能计算开发），尚不意味着 Qwen4 已在普通消费级显卡上成功运行。
PR 中还包含了 Qwen4-27B 的部分推理性能测试记录。在 8 张 Intel B70 加速卡环境下，Qwen4 TP2 FP8 配置下 32K 输入的首 Token 延迟从约 37.41 秒缩短至 21.84 秒，降幅约 42%；INT4 配置也有相近幅度的改善。这说明新模型在引入额外结构的同时，通过压缩传统计算模块，平衡了新增的计算与内存成本。
需要注意的是，PR 明确注明目前未提供 Qwen4 的 QSA 权重，因此尚未完成基于真实模型权重的完整端到端验证，QSA 与 MTP 的组合也未启用。换言之，Qwen4-27B 或已进入具体的推理算子适配和优化阶段，但最终模型权重是否就绪尚不可知。
27B 保留稠密路线，四路残差成关键变化
在 llama.cpp GitHub 仓库中，开发者 adambenhassen 将 Qwen4-27B 与 Qwen3.8-27B 进行了对比。结果显示，Qwen4-27B 并未明显改变基础规模，而是将升级重点放在内部架构上。
两代模型均采用 27B Dense 稠密路线，隐藏层维度同为 5120，部分 GDN 和注意力配置基本一致。但 Qwen4 引入了四路 Hyper-Connections（HC）、Sigmoid 输出门控和 QSA 稀疏注意力等新设计。
其中，四路残差是最显著的变化，它将传统 Transformer 的单路残差信息传递扩展为四路，通过门控改善层间信息流动。GDN 利用固定大小状态高效压缩历史信息，QSA 则通过筛选重要上下文减少不必要的注意力计算。这些技术此前已在 Qwen3.8-Flash-Next 中作为架构预览公开，如今证实也将适配于 27B 稠密模型。
如果配置属实，Qwen4-27B 的升级重点在于通过改善信息传递与长上下文计算效率，提升模型能力和推理效率，这与阿里此前公布的技术方向相呼应。对于需要持续读取代码、调用工具、处理长文档的 Agent 而言，模型必须在增强推理能力的同时控制长期运行中的计算与存储成本。GDN 与 QSA 的混合设计正是为此提供的技术路线。
新架构也可能影响现有推理框架的兼容性。llama.cpp 开发者指出，由于四路残差改变了内部信息传递结构，现有针对 qwen3_5 的推理实现无法直接加载 Qwen4-27B，需适配新代码，部分基于上一代模型训练的推测解码辅助模型也可能需要重新训练。
结语
目前社区分析主要基于推理内核代码，在没有正式模型配置和权重的情况下，仍无法判断 Qwen4-27B 的最终完整架构。据知情人士透露，按照以往节奏，27B 规模模型通常属于较晚发布的批次。
最关键的信息是：基于新一代架构的 Qwen4 已进入训练阶段，后续 Qwen4.5、Qwen5 等系列计划向 5 万亿至 10 万亿参数规模扩展。这意味着阿里已将 Qwen4 定位为下一阶段模型架构升级的重要节点。随着 Agent 工作负载日益复杂，模型厂商正同步改进网络架构、注意力计算和推理部署效率，此次代码中出现的 HC、GDN、QSA 等技术均与此路线紧密相关。
声明：本文为AI 前线原创，不代表平台观点，也不构成投资建议，未经许可禁止转载。
