大数跨境

苏黎世联邦理工博士后李冰聪将入职港大,专攻智能Scaling范式!

苏黎世联邦理工博士后李冰聪将入职港大,专攻智能Scaling范式! 智猩猩AI
2026-11-13
0
导读:从架构出发,探索AI高效Scaling~
图片
智猩猩AI整理
编辑:六六

苏黎世联邦理工学院(ETH Zurich)计算机科学系博士后研究员李冰聪(Bingcong Li)即将加入香港大学,担任长聘教轨助理教授。



李冰聪本科毕业于复旦大学信息科学与工程学院,以最高荣誉(Highest Honors)获得工学学士学位,期间还获得过两次国家奖学金。随后他前往美国明尼苏达大学攻读电气与计算机工程博士,并于2022年获得博士学位。2024年,他加入了ETH Zurich计算机科学系担任博士后研究员,曾获得多项瑞士人工智能计划(Swiss AI Initiative)算力资助。



在大模型持续规模化的背景下,参数规模和计算资源的增长已经成为提升模型能力的重要手段。但模型越大,效果就一定越好吗?


2026年9月,李冰聪在个人研究博客《Scaling Almost Anything?》中讨论了这一问题。



他指出,参数量只是衡量模型容量的一个粗略指标,真正重要的是训练过程能否有效利用这些容量。文章从三个案例展开分析:


  • LoRA微调中,增加Adapter Rank不一定带来更好的效果;

  • 部分Transformer网络层可能没有充分发挥作用;

  • 在采用共享专家的MoE模型中,激活更多专家也不一定持续改善性能。


这些案例指向同一个问题:增加参数并不一定带来能力提升,新增的模型容量如果无法被训练过程有效利用,就可能转化为额外的计算成本。


因此,除了扩大模型规模,如何通过架构设计与优化方法提升模型容量的利用效率,同样值得关注。


在2026年的学术报告《Efficient Scaling of LLMs via Optimization-Aware Architecture Design》中,他将模型规模化分为Width Scaling和Depth Scaling两个维度。



前者关注如何通过引入流形结构改善神经网络线性层的规模化效率,后者则研究残差连接的拓扑结构如何影响模型优化与收敛。相关研究还涉及大语言模型预训练、DiT和强化学习等任务。


围绕模型训练效率,李冰聪还开展了零阶优化、低秩适配等研究。例如发表于ICML 2024的DPZero探索结合零阶优化与差分隐私,在不依赖传统反向传播的情况下实现语言模型隐私微调。



在参数高效微调方面,他还参与了多项围绕LoRA的研究。其中RefLoRA和PoLAR两项工作发表于NeurIPS 2025,分别从低秩适配器的重新参数化和极分解表示出发,探索更高效的模型微调方式。



从网络架构设计到优化算法,再到模型微调,李冰聪的多项研究始终围绕大模型的高效Scaling展开:如何在模型规模持续增长的同时,降低训练成本、提升计算效率。


随着Scaling成为大模型发展的重要驱动力,模型竞争也不再只是参数、数据和算力的比拼。如何通过更合理的架构设计与优化方法,进一步释放模型规模化的潜力,仍有许多问题值得探索。


李冰聪即将加入香港大学开启新的学术阶段,未来他将如何推进AI规模化与高效优化方向的研究,值得持续关注。

END


关注+星标,获取AI前沿进展与开源一线动态

【声明】内容源于网络
0
0
智猩猩AI
智猩猩旗下AI技术内容账号,关注AI大模型掀起的范式革命,追踪AI大时代涌现的开源项目。
内容 2516
粉丝 0
智猩猩AI 智猩猩旗下AI技术内容账号,关注AI大模型掀起的范式革命,追踪AI大时代涌现的开源项目。
总阅读14.4k
粉丝0
内容2.5k