2026年7月，微信AI发布Hidden Decoding技术，旨在通过增加内部计算提升现有大模型能力。该研究团队成员既有2022年WeLM项目的核心成员，也有近年加入的新锐研究者。
周霄、余厚金、陈昱文和杨宇等名字跨越两代项目，见证了团队的技术延续。同时，刘瑷玮（模型架构与预训练）、王锡淮（多智能体强化学习与后训练）、曾少勋（存储系统与训练推理）等新成员的加入，将推荐、视觉、音频等领域的专长融入大模型研究，形成了跨领域的技术合力。
从WeLM到Hidden Decoding：四年技术演进
2022年9月发布的WeLM是微信基础模型研究的起点。这款100亿参数的中文预训练模型早于ChatGPT问世，重点探索零样本、少样本及跨语言能力。周霄、余厚金等早期核心成员的持续参与，为后续研究奠定了人员与技术基础。
四年后的Hidden Decoding聚焦于“如何在已有大模型上持续增长能力”。该方法在保持Transformer主干层数和宽度不变的前提下，将每个token展开为多个计算流，通过增加内部计算来提升性能。这种额外计算沿序列长度维度展开，兼容流水线并行。
针对计算流增加带来的注意力开销，团队采用流分解注意力机制，使多数层在流内独立计算，仅少数层进行信息交换。在WeLM-HD4-80B和WeLM-HD4-617B上的验证表明，该路径能有效提升千亿参数以上MoE规模模型的能力。
Hidden Decoding方法示意图
从2022年的中文预训练到2026年的内部计算扩展，WeLM的研究重心已深入至模型的计算组织方式。早期成员的长期坚守与新力量的注入，共同构建了这一技术脉络。
架构优化与预训练效率提升
张思钧曾参与字节Seed的Efficient Pretraining Length Scaling研究，提出PHD-Transformer以探索预训练阶段的长度扩展与KV缓存管理。加入微信AI后，他继续深耕隐藏计算与效率问题，成为Hidden Decoding的核心作者之一。
2025年清华大学博士毕业的刘瑷玮同年加入微信AI WeLM团队，作为WeLM-80B与WeLM-617B的核心贡献者，负责模型架构设计及大规模预训练基础设施研究。
刘瑷玮
刘瑷玮也是ICML 2026录用论文WeDLM的第一作者。针对扩散语言模型中双向注意力难以复用标准前缀KV缓存的问题，WeDLM通过拓扑重排保留已知token的逻辑位置，使其能利用已有信息，并配合流式并行解码减少等待。
实验显示，在匹配部署条件下，WeDLM在困难推理基准上相比vLLM自回归基线加速近3倍，低熵生成场景中最高达10倍。WeDLM将并行生成接入成熟缓存机制，与Hidden Decoding分别从生成效率和内部计算扩展两个维度，完善了WeLM的架构研究与系统优化主线。
WeDLM速度与能力对比示意
后训练创新与软件工程任务突破
微信AI研究员王锡淮专注于大语言模型后训练。2026年上海交通大学博士毕业后，他将多智能体强化学习积累转向该领域。其早期代表作包括ICLR 2023的Order Matters（提出A2PO算法）和NeurIPS 2024的ZSC-Eval（评估零样本协作能力），以及ACL 2025的DPT-Agent（实时人机协作）。
王锡淮
陆笛同样参与WeLM系列模型后训练，侧重软件工程任务及Terminal-Bench基准研究，考察智能体在命令行环境中的复杂任务处理能力。
陆笛
武楚涵本科及博士均就读于清华大学电子工程系，早期在微软亚洲研究院实习并获微软学者奖学金，主攻用户建模与推荐系统。其EMNLP-IJCNLP 2019一作论文NRMS利用多头自注意力学习新闻与用户关联，成为新闻推荐领域的代表性方法。目前，他将内容理解与用户建模经验应用于微信基础大模型研究，参与WeDLM和Hidden Decoding项目。
武楚涵（右）在2019年微软学者奖学金颁奖仪式上
底层系统研发：训练、推理与强化学习
杨宇曾任百度飞桨核心开发者，具备深厚的底层框架研发与大规模训练系统经验。作为微信NLP与LLM基础设施负责人，他将这些经验延伸至微信大模型基础设施建设，并直接参与Hidden Decoding的模型计算机制探索。
杨宇
曾少勋2026年清华大学博士毕业，在腾讯WeLM团队研究大模型训练、推理与强化学习系统。其FAST 2026获奖工作GPU Checkpoint/Restore Made Fast and Lightweight提升了系统容错效率。他还参与WeDLM及智能体强化学习环境WeEnv的研发，体现了工程效率在模型研究中的关键作用。
曾少勋
多模态深化：文档、交互与音频
微信AI研究员柳源曾核心参与MMSelfSup、OpenCompass等多个开源项目。在POINTS系列研究中，他聚焦视觉语言模型、文档转换和界面定位。其中，POINTS-GUI-G致力于根据指令定位屏幕元素，为软件交互提供基础支持，标志着研究从通用视觉理解向具体交互能力的延伸。
柳源
在多模态音频领域，张林昊与贾巍参与了Unified Audio Schema和UniAudio-Token项目。前者系统化组织音频监督信息，后者增强语义语音tokenizer的感知能力。这两位研究者同时出现在WeDLM和Hidden Decoding作者名单中，体现了多模态与语言模型项目间的人员交叉与技术融合。
音频表征与识别能力对比示意
POINTS与音频项目展示了多模态研究的细化趋势：文档转换注重结构保留，GUI定位强调空间精度，音频理解兼顾语义与声学。这些工作推动通用模型能力解决具体输入难点，数据、训练方法与评测标准成为竞争关键。
多模态智能体与工作流整合
微信在多模态智能体方向持续投入，推出WeAgent-MMSearch（文本视觉交互搜索）和WeAgent-MMGenEdit（图像生成编辑中的检索核验）。微信首席研究员孟凡东作为WeAgent-MMGenEdit通讯作者，带领团队探索文字导向图像编辑（WeEdit）等工作。
孟凡东
2026年复旦大学博士毕业的张辉是WeAgent-MMGenEdit和WeEdit的第一作者，研究方向涵盖智能体强化学习与多模态理解。这组项目将研究对象扩展至包含检索、核验与工具调用的完整任务流程。
张辉
视觉技术落地微信业务场景
WeChat Vision公开了覆盖检测、OCR、分割、文档解析及视频制作的项目，如WeVisOne-VL、WeVisDoc和WeVisCut。孙冲、李琛、梅柯、饶峰云等研究者分别负责不同子项目。
饶峰云拥有清华大学天体物理博士学位，曾在安检图像识别和信息流视频理解领域深耕，其多模态算法已落地QQ浏览器等业务。梅柯负责的WeMM-Embedding项目由饶峰云担任通讯作者，旨在将文本、图片、视频等多模态内容映射至统一表征空间，服务于微信的内容检索与分发。
饶峰云
梅柯
WeMM-Embedding已应用于视频号、公众号、朋友圈及电商服务，并在14项线上A/B测试中取得收益，实现了模型研究与业务效果的闭环。李琛作为微信应用视觉团队负责人，统筹WeVisOne-VL、WeVisDoc及WeLM-Image等项目，构建了从内容感知、文档处理到视觉生成的完整技术版图。
李琛
2026年11月发布的WeLM-Image整合文生图、指令编辑等功能，专为微信大规模用户应用的单GPU部署设计。结合WeVis系列与WeMM-Embedding，WeChat Vision已形成围绕视觉信息处理的多条技术防线。
结语
微信AI团队的履历变迁折射出研究重心的转移：从底层框架开发到大模型基础设施搭建，从新闻推荐到语言模型，从天体物理到多模态表征。老成员的延续与新专长的注入，通过论文署名紧密连接。
从WeLM到WeChat Vision，训练效率、生成速度以及微信业务中的实际效果，成为了检验这些跨界合作与技术积累的最终标尺。
参考来源：
[2] Su H, Zhou X, Yu H, et al. WeLM: A Well-Read Pre-trained Language Model for Chinese. 2022. https://arxiv.org/abs/2209.10372
[3] Wu B, Yan S, Zhang S, et al. Efficient Pretraining Length Scaling. 2025. https://arxiv.org/html/2504.14992v1
[4] Liu A, He M, Zeng S, et al. WeDLM: Reconciling Diffusion Language Models with Standard Causal Attention for Fast Inference. ICML. 2026. https://proceedings.mlr.press/v306/liu26av.html
[5] Zhao Z, Liu Y, Liu Y, et al. POINTS-GUI-G: GUI-Grounding Journey. 2026. https://arxiv.org/abs/2602.06391
[6] Zhang L, Song Y, Liu A, et al. Beyond Transcription: Unified Audio Schema for Perception-Aware AudioLLMs. 2026. https://arxiv.org/abs/2604.12506
[7] Song Y, Zhang L, Liu A, et al. UniAudio-Token: Empowering Semantic Speech Tokenizers with General Audio Perception. 2026. https://arxiv.org/abs/2605.31521
[8] Tencent. Universal Audio Tokenizer项目仓库. 访问于2026-11-10. https://github.com/Tencent/Universal_Audio_Tokenizer
[9] Liu Z, Zhang H, Niu L, et al. WeAgent-MMSearch: Native Text-Vision Interaction for Multimodal Search Agents. 2026. https://arxiv.org/abs/2608.28062
[10] Zhang H, Liu Z, Niu L, et al. WeAgent-MMGenEdit: A Full-Stack Recipe for Multimodal Agentic Image Generation and Editing. 2026. https://arxiv.org/html/2609.05171v1
[11] WeChat Vision. WeVisOne-VL: Unified Visual Perception from Objects to Pixels. 访问于2026-11-10. https://tencent.github.io/WeVisOne-VL/
[12] WeChat Vision. WeVisDoc: From Coverage to Capability for Robust End-to-End Document Parsing. 访问于2026-11-10. https://tencent.github.io/WeVisDoc/
[13] WeChat Vision. WeVisCut: The Whole Editing Room in One Agent — From Narration to Long-Form Video. 访问于2026-11-10. https://tencent.github.io/WeVisCut/
[14] Zhou J, Mei K, Li L, et al. WeMM-Embedding: WeChat Multi-Modal Embedding Technical Report. 2026. https://tencent.github.io/WeMM-Embedding/
[15] Fu C, Li C, Zhang G, et al. WeLM-Image: A Unified Image Generation Model towards Visual Intelligence. 2026. https://arxiv.org/html/2611.07392v1
[16] SIGGRAPH. Chen Li讲者简介. 2026. https://s2026.conference-schedule.org/presenter/?uid=529743
[17] Buchanan K, Shen J, Ye G, et al. Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces. 2026. https://arxiv.org/abs/2601.11868
[18] Hammerscholar Knowledge Group. 关于我们. 访问于2026-11-10. https://kg.hammerscholar.net/zh-hans/about/
[19] 清华大学电子工程系. 成果展示-2019-图信-武楚涵. 访问于2026-11-10. https://www.ee.tsinghua.edu.cn/info/1039/1059.htm
[20] 张娅. Selected Publications. 访问于2026-11-10. https://annzhanglion.github.io/publications.html
[21] 中山大学计算机学院. 余超个人主页. 访问于2026-11-10. https://cse.sysu.edu.cn/node/2574
[22] 腾讯科技（深圳）有限公司. 目标跟踪方法、装置、存储介质及电子设备（WO2020228522A1）. 2020. https://patents.google.com/patent/WO2020228522A1/zh
[23] 机器之心. NeurIPS 2024｜浙大 & 微信 & 清华：彻底解决扩散模型反演问题. 2024-11-02. https://finance.sina.com.cn/tech/roll/2024-11-02/doc-incuryae2266891.shtml
[24] 腾讯科技（深圳）有限公司. 一种跨模态搜索方法及相关设备（CN116775980B）. 2024. https://patents.google.com/patent/CN116775980B/zh
[25] 腾讯科技（深圳）有限公司. 一种混合分辨率编解码方法和装置（CN103813174B）. 2016. https://patents.google.com/patent/CN103813174B/es
[26] Wu C, Wu F, Ge S, et al. Neural News Recommendation with Multi-Head Self-Attention. EMNLP-IJCNLP. 2019. https://aclanthology.org/D19-1671/
[27] Recommenders Team. NRMS模型实现与文档. 访问于2026-11-10. https://recommenders-team.github.io/recommenders/_modules/recommenders/models/newsrec/models/nrms.html
[28] Wang X, Tian Z, Wan Z, et al. Order Matters: Agent-by-agent Policy Optimization. ICLR. 2023. https://arxiv.org/abs/2302.06205
[29] USENIX. GPU Checkpoint/Restore Made Fast and Lightweight. FAST. 2026. https://www.usenix.org/conference/fast26/presentation/zeng
[30] 清华大学. 2018年清华大学大学生学术研究推进论坛举办. 2018. https://www.tsinghua.edu.cn/info/1175/19204.htm
[31] 清华大学电子工程系. 电子系博士生武楚涵获评2019年微软学者奖学金. 2019-11-27. https://www.ee.tsinghua.edu.cn/info/1076/2255.htm
[32] Paddle飞桨深度学习框架官方仓库. https://github.com/PaddlePaddle/Paddle
[33] InfoQ. 饶峰云博士讲者介绍. AICon北京. 2021. https://aicon.infoq.cn/2021/beijing/speaker/6294
[34] 清华大学天文系. 天体物理方向校友. 访问于2026-11-10. https://astro.tsinghua.edu.cn/xy.htm
[35] Wang X, Zhang S, Zhang W, et al. ZSC-Eval: An Evaluation Toolkit and Benchmark for Multi-agent Zero-shot Coordination. NeurIPS. 2024. https://arxiv.org/abs/2310.05208
[36] Zhang S, Wang X, Zhang W, et al. Leveraging Dual Process Theory in Language Agent Framework for Real-time Simultaneous Human-AI Collaboration. ACL. 2025. https://arxiv.org/abs/2502.11882
