字节跳动发布SeedFold：面向生物分子结构预测的大规模折叠模型
高精度生物分子结构预测对结构生物学与药物发现具有重要意义。模型规模化是构建高效基础模型的关键环节之一。
字节跳动Seed团队推出新型折叠模型——SeedFold，首次实现折叠模型在参数量与训练数据规模上的系统性扩展。该模型在FoldBench基准测试中全面超越AlphaFold3等主流开源模型，达到当前SOTA水平。
论文地址：https://arxiv.org/abs/2512.24354
SeedFold基于AlphaFold3架构，通过三项关键技术突破支撑大规模扩展：
- Pairformer宽度扩展：提升配对表征的隐藏维度（从128维逐步扩展至512维），显著增强模型表征能力；
- 线性三角注意力机制：替代传统softmax三角注意力，将计算复杂度由O(L³)降至O(L²)，大幅降低内存与时间开销；
- 大规模蒸馏数据集：构建含2650万样本的高质量训练集，相较实验结构数据扩容147倍。
模型规模化路径验证
研究对比三种扩展策略（加深Pairformer、加深Structure模块、拓宽Pairformer宽度），发现配对表征维度是限制模型容量的核心瓶颈，而模块深度已足以支持潜在空间推理。
线性三角注意力机制
针对AlphaFold3中Pairformer模块的三角运算瓶颈，SeedFold引入线性注意力替代方案，在保持建模能力的同时，显著提升长序列处理效率。
大规模数据蒸馏
基于AlphaFold2预测结果构建蒸馏数据集，覆盖更广泛的蛋白质构象空间，有效缓解实验结构数据稀缺问题。
实验评估结果
在FoldBench基准上，SeedFold与轻量变体SeedFold-Linear均超越AlphaFold3、Boltz-1、Protenix和Chai-1等前沿模型。
二者展现互补优势：SeedFold在抗体-抗原相互作用预测中表现更优；SeedFold-Linear则在蛋白质-配体相互作用任务上更具竞争力。该结果印证了异构注意力机制对特定下游任务适配的重要性。
