JEPA 世界模型的基石是 Yann LeCun 自 2017 年倡导的自监督学习（SSL）。SSL 虽能从海量无标注数据中学习通用表征，却长期受困于“表征坍塌”难题：模型倾向于将不同输入映射为相同向量，导致丧失判别力。
为解决此问题，主流方法多依赖 EMA、教师 - 学生网络等启发式技巧，导致训练脆弱且可调性差；另一条路线是通过正则项约束分布。LeCun 团队提出的 VICReg 利用协方差约束二阶统计量，但无法区分分布形状差异；后续 SIGReg 虽能约束完整分布形状，却存在两大缺陷：一是坍塌时梯度消失，难以自我恢复；二是尺度与形状耦合，在低质量数据上适配性差。
近日，自监督学习新作 VISReg（Variance-Invariance-Sketching Regularization）获图灵奖得主 Yann LeCun 高度认可，他评价道："VICReg 孕育了 SIGReg，SIGReg 又孕育了 VISReg"，明确了该技术路线的演进脉络。
VISReg 的核心突破在于精准解决了 JEPA 世界模型的表征坍塌痛点。它将防止坍塌的正则项解耦为“尺度”与“形状”两个独立目标，在不依赖启发式技巧及海量数据的前提下，于 15 个数据集上超越 7 种主流方法。尤为亮眼的是，其仅用约 1/10 的训练数据，即在分布外（OOD）基准上追平 DINOv2。
论文链接：https://arxiv.org/abs/2606.02572
代码 / 预训练权重：https://github.com/HaiyuWu/visreg
项目主页：https://haiyuwu.github.io/visreg/
图 2：不同正则方法在表征坍缩各阶段的梯度幅值模拟。VISReg 在坍缩状态下仍能保持强梯度，而 SIGReg 的梯度几近消失。
核心方法
VISReg 融合了 VICReg 与 SIGReg 的优势：保留 VICReg 的方差项控制“尺度”，引入基于切片 Wasserstein 距离（SWD）的 sketching 目标替代协方差项以控制“形状”，并通过停止梯度操作将二者彻底解耦。整个正则目标由三部分组成：
尺度正则（Scale Regularization）
第一部分约束每一维的方差，防止幅值坍塌。其关键性质在于：当模型坍塌时，该项梯度趋近常数，确保模型能稳定恢复，有效弥补了 SIGReg 梯度消失的缺陷。
形状正则（Shape Regularization）
第二部分先归一化消除尺度影响，再单独约束形状。关键在于对标准差施加“停止梯度”（stop-gradient），使形状损失优化不反向改变尺度，实现真正的解耦。
归一化后，利用切片 Wasserstein 距离将分布几何形状对齐到各向同性高斯：
其中涉及标准高斯分位数与随机投影方向（切片）。理论依据为 Cramér–Wold 定理：只要将高维表征沿足够多的随机一维方向切片并对齐高斯，即等价于在高维空间对齐了整个分布。这使得算法能用廉价的一维排序操作刻画完整的分布形状，而非局限于二阶统计量。
合并目标
第三部分是将 batch 均值拉向原点的中心化损失。
三个正则项按权重组合，并与 JEPA/LeJEPA 的不变性预测损失平衡，形成完整目标函数：
与 VICReg 相比，VISReg 不仅保留了方差项的灵活性，更通过切片 Wasserstein 目标实现了对分布形状的严格刻画，克服了协方差仅能描述二阶统计量的局限。
仅需约 15 行 PyTorch 代码
该正则目标实现轻量，核心逻辑仅需约 15 行代码：
def visreg(z, K=64):
# 1. 中心化损失
mu = z.mean(dim=0)
L_center = mu.pow(2).mean()
# 2. 尺度损失
z_cent = z - mu
std = z_cent.std(dim=0, unbiased=False)
L_scale = (1.0 - std).pow(2).mean()
# 3. 形状损失：切片 Wasserstein 距离
z_norm = z_cent / (std.detach())
W = torch.randn(D, K)
W /= W.norm(p=2, dim=0)
p_sorted = torch.sort(z_norm @ W, dim=0).values
u = torch.arange(1, N+1) / (N+1)
target = Normal(0, 1).icdf(u)
L_shape = (p_sorted - target).pow(2).mean()
return L_scale + L_shape + L_center计算复杂度与扩展性
VISReg 在计算效率上优势显著。其正则部分复杂度为 O(NDK)，随维度线性增长；而 VICReg 的协方差项复杂度为 O(ND²)，随维度平方增长。在同等 Batch 规模下，VISReg 在单块 H100 GPU 上的运行速度与显存占用均优于 SIGReg。
此外，K 个随机切片可分摊至多块 GPU。实验显示，当单卡切片数不足时，采用 8 卡并行（每卡 128 切片，合计 1024），可将精度差距从 2.4% 缩小至 0.22%。这意味着在大规模训练中可保持常数 K，几乎不增加单卡负担。
图：固定 K 与 D 时，增加 GPU 数量带来的线性探测精度变化。多卡并行可有效补齐精度，支持大规模训练。
实验结果
研究团队在 15 个数据集（涵盖域内、分布外及稠密预测任务）上，将 VISReg 与 MoCoV3、DINO、iBOT、I-JEPA、MAE 等 7 种主流方法对比，场景覆盖天文、医疗、遥感等领域。结果显示：
域内线性探测表现优异
在不使用任何启发式技巧的情况下，VISReg 表现领先：ViT-B/16 域内精度达 75.7%，高于 MAE；ViT-L/14 提升至 77.0%，高于 LeJEPA。虽在常规数据集上略低于使用启发式技巧的 iBOT 和 DINO，但在纹理数据集 DTD 上实现反超，证明其泛化能力源于方法本身。
分布外（OOD）泛化全面最优
在医疗、天文、遥感等 6 个与 ImageNet 分布无关的 OOD 数据集上，VISReg 在所有骨干规模上均取得最佳平均精度，甚至超越部分使用启发式技巧的大模型方法。ViT-L/14 的平均 OOD 精度达 70.63%，显著高于 MAE（67.85%）及 DINO（69.56%）。
图 4：平均 OOD 线性探测精度对比，VISReg 全面优于竞品。
数据效率：1/10 数据比肩 DINOv2
VISReg（ViT-L/14）在 ImageNet-22K（约 1400 万张图像）预训练后，OOD 平均精度达 72.94%，与在 10 倍规模数据（LVD-142M）上训练的 DINOv2（72.93%）持平。这证实了其表征极强的通用性与数据高效性。
图 5：VISReg 以 1/10 数据量在 OOD 基准上比肩 DINOv2。
迁移微调全面超越 DINO
尽管部分域内线性探测精度略低，但在 CIFAR-10、ImageNet-1K 等五个数据集的微调测试中，VISReg 均超越 DINO 及有监督预训练模型，表明其表征分布更均匀、冗余更低、可迁移性更强。
稠密预测与生成引导
在 ADE20K 线性语义分割任务中，VISReg mIoU 达 30.16，优于 DINO 与 MAE。在生成引导任务中，VISReg 特征引导的生成模型在 gFID、Precision 和 Recall 三项指标上均优于 DINO，展现出更优的引导信号质量。
低质量数据上的鲁棒性
在长尾分布（ImageNet-LT）与低秩（Galaxy10）等低质量数据上，VISReg 能稳定防止坍塌并学到有效表征，而 DINO 在缺乏精细调参时直接失效。实验数据显示，DINO 在 ImageNet-LT 上的整体精度仅为 5.13%，而 VISReg 取得了全面最优。
表 1：ImageNet-LT 上的线性探测精度（DINO 几近失败，VISReg 表现最优）
表 2：Galaxy10 上的域内线性探测精度（VISReg 成功避免坍缩，DINO 难以学习有效特征）
结论
VISReg 通过将表征正则解耦为“尺度”与“形状”两个独立组件，提供了一种更稳定、高效且泛化性强的自监督学习方案。在无启发式技巧辅助下，其在识别、分割及生成引导等多维度取得领先成果，并以 1/10 的数据量达到 SOTA 水平，为 JEPA 世界模型的表征坍塌问题提供了新的正则化解法。
参考资料：
https://arxiv.org/abs/2606.02572
编辑：LRST