简直就是为OpenClaw而生
昨天,Subquadratic 团队正式发布 SubQ,这不是又一个“参数堆砌”的 frontier model,而是架构级突破:全球首个基于完全子二次方稀疏注意力(Subquadratic Sparse Attention,SSA)架构的 frontier LLM,直接带来 12 million token 的实用上下文窗口!
而当下,OpenAI和Anthropic连100万上下文都还玩不太好😩
产品介绍视频里联合创始人 @alex_whedon 侃侃而谈,配上那些炫酷的 benchmark 图表,看得人热血沸腾。传统 Transformer 的注意力机制是 O(n²),每个 token 都要和序列里所有其他 token 算关系,随任务规模扩大算力需求呈指数级扩大——这在百万 token 级别就是灾难,算力浪费严重。SubQ 的 SSA 则聪明得多:只关注真正重要的 token 关系,动态、基于内容选择,实现了近乎线性的扩展,注意力计算量直接砍到原来的近 1/1000!要知道上周的DFlash、DDTree和Google QuandTurbo还只是10倍提升
实测数据亮眼:
- 12M token 上下文,98%+ 准确率(多轮核心ference 等长上下文任务)
- 1M token 时 prefill 速度比 FlashAttention 快 52x
- 成本不到 Claude Opus 的 5%(从 1.5 以下)
- SWE-Bench 等编码基准上表现强劲,和顶级模型并肩,甚至在长上下文实际工程任务中更实用
这意味着什么?整个 Agentic 工作流的经济模型被重写。以前开发者为了长文档、整个代码仓库、几个月 PR 历史、持久化 Agent 状态,要么 chunk + RAG(丢失上下文关联),要么多轮调用(错误累积、成本爆炸),要么咬牙用贵得离谱的长上下文模型。现在,一次 prompt 塞进整个 repo + 历史 + 需求文档,模型还能高效推理,不漂移、不遗忘。
想象一下:
- 代码 Agent 直接吃下完整大型 monorepo,理解跨文件依赖、历史决策和测试约束
- 法律/金融分析工具一次性处理海量合同和历史记录
- 研究助手同时消化几十篇论文 + 全部引用链
- 企业知识库聊天,再也不用担心“哪个 chunk 里”
这才是真正的“功能性上下文窗口”,而非只是能塞进去的 nominal 窗口。SSA 解决了业界多年痛点:既要高效(线性扩展),又要精准检索(内容依赖路由),还不牺牲质量。团队在训练中专门用 RL 强化长距离依赖捕捉,效果显著。
当然, 有人会问:selector 万一漏掉关键 token 怎么办?早期反馈显示,SubQ 通过针对性训练(distractor docs 等)大幅降低了这种风险,而且在真实 workloads 中表现稳健。模型卡下周就出,技术报告已上线,欢迎大家实测。
对于其他家大模型,需要完全重构自家大模型架构引入这一技术,进行全面训练适配背后核心的selector选择器。所以SubQ的SSA架构离全面落地至少还有半年时间,也就是说到今年年底16GB丐版入门款Mac mini就能跑千亿模型
相比Mamba架构,这一技术优势是,其依旧是Transformer架构,原有技术生态容易适配。未来短程任务使用Flash Attention,长程任务用SubQ,看起来是最优解。
无论如何,AI智能体服务的算力需求,被进一步严格控制起来。
硅基观点:
SubQ 证明了“效率即智能”。Transformer 曾是革命,现在它成了局部最优。谁能跳出这个框架,谁就掌握下一代 scaling law。Subquadratic 团队(来自 Meta、Google、Oxford 等顶尖背景)用实际产品打响了这一枪——长上下文不再是奢侈品,而是标配,且极致便宜。
对开发者、创业者和企业来说,这可能是 2026 年最值得关注的 AI 基础设施突破之一。Agent 时代真正的“无限上下文”门槛,被大幅拉低了。未来已来,只是分布在 subq.ai 的 early access 列表里。😎
强烈建议:有长上下文重度需求的团队,赶紧申请试用。代码 Agent 集成也同步推出,Cursor/Claude Code 用户福音!
转发、点赞、收藏,这波更新值得每一个关注 AI 的人跟进!🚀
欢迎大家关注AI顿悟涌现时,快速入门当下最热的AI大模型前沿。
AI顿悟涌现时
AI顿悟涌现时是红绿旗下关注新技术的内容品牌。 AI顿悟涌现时关注前沿技术的发展应用,深度解读新技术对商业模式和社会形态的变革。 大模型商业技术及通识,筹备开课,欢迎有授课能力的朋友合作,欢迎有兴趣的朋友报名一起学习。相关优质内容将会发布在下方动图内微信公众号▼▼

