作者丨覃倩雯
雷峰网近期与腾讯、阿里、百度一众原高层交流，挖掘了最一手的 Google 前首席科学家 Jeff Dean 与国内互联网大厂之间的技术探讨往事，以及他对 BAT 重大技术决策的启迪案例。本文是这一系列的第一篇，后续还将推出"Jeff Dean 与阿里、百度篇”。
据多位腾讯元老向雷峰网回忆，2006 年，在 Google 的一场开发者交流会上，腾讯几位技术骨干结识了 Jeff Dean，他们私下进行了一场交流。
回到深圳飞亚达大厦后，快被 QQ 空间存储量压垮的这一众人，迅速做了个重要决定：腾讯要借鉴 Jeff Dean 的思路，做自己的分布式文件存储系统。
这个系统后来被叫作 TFS。由卢山发起，姚星负责。
那时候，Jeff Dean 所在的 Google，已经走出了海量数据存储、海量访问、海量计算的三大难题。
彼时，Google 的 Gmail、地图、搜索以及刚收入囊中的 YouTube，加起来共超 5 亿条记录的存储数据，约 5000PB 的存储容量，比腾讯高出很多个量级。
相比 Google，腾讯存储数据容量虽然还没有到 PB 级别单位，但最大的瓶颈就卡在了存储上。
2005 年上线的 QQ 空间增长得太快。用户每天上传照片、头像和文件，通过不断采购 NAS/DAS 存储阵列、增加机房服务器并伴随大量人工数据迁移的扩容速度，开始追不上用户生产内容的速度。
最紧张的时候，QQ 空间的存储系统只能支撑所有用户每天总共上传约 1000 万张图片。
为了给后台“减负”，腾讯甚至做了一层产品限制：普通用户不能无限上传，只有付费的黄钻用户才拥有这个权限。
更麻烦的是，那时的腾讯还没有一套统一的存储平台。
不同业务自己买设备、自己搭系统。业务小时，这套办法还能应付，但是碰到 QQ 空间这样突然爆发的产品，各自为战的技术体系很快被顶到了极限。
与 Jeff Dean 的对话，一下击中了腾讯。
回到腾讯后，时任腾讯 CTO 的张志东，以及汤道生、卢山等技术主管开始琢磨，Google 这套东西能不能搬到腾讯来。
据内部人士回忆，第一次翻到 Jeff Dean 发表的三篇经典论文时，他们赶紧找到了汤道生，让汤道生去看，因为汤道生英语好，能看得更仔细、更完整。那时，汤道生才刚入职腾讯的系统架构部门。
Jeff Dean 的论文三件套分别是：GFS、MapReduce、Bigtable。正是这总共不到 100 页纸的论文，彻底重塑整个数据行业的技术版图，更深刻影响了腾讯整个十年的技术发展。
文章里，Jeff Dean 介绍了 Google 处理海量系统的思路：把数据备份成三份，然后把逻辑和设备硬盘分离。
过去互联网公司面对海量数据，更习惯沿用电信和传统 IT 行业的做法：买更好的机器、更昂贵的存储阵列，再用复杂的硬件机制保证可靠性。
Google 换了一个思路。它把大文件切成一个个固定大小的数据块，同一份数据保存多个副本，分散到不同的普通服务器上。一台机器坏了，还有另外的副本。
更重要的是，文件在逻辑上的位置，不再和某块硬盘、某台机器死死绑在一起。
过去如果数据直接对应具体 IP 和设备，换一块盘、换一台机器，后面的访问关系也可能跟着调整。
Google 把这两层拆开了。
用户和上层业务看到的是一个稳定的逻辑地址，至于文件究竟躺在哪台机器、哪块硬盘上，由后台的映射和调度系统处理。也就是说，硬盘可以换，机器可以坏，服务器可以不断增加，但上面的业务不需要跟着一起搬家。
这给了腾讯很大的启发。
内部经过一轮讨论后，腾讯决定组建一支专门的存储团队，沿着 Google 的方向，做一套自己的分布式存储系统。
有了 GFS、MapReduce、Bigtable 三篇论文借鉴，团队成立的第二年，TFS 存储系统就上线应用，并全面接管 QQ 空间的相册业务。
不过，腾讯并没有简单照着 Google 做。
Google 面对的是搜索，处理大量网页、索引和日志；QQ 空间面对的是数以亿计的用户照片，一张照片可能很小，但数量极多；文件更碎，索引更密，访问也更加随机。
所以 Google GFS 采用 64MB 的数据块，腾讯把 TFS 的数据块做到了 2GB，并围绕大量小文件的存储方式做了大量调整。
这是 TFS 后来能够真正跑起来的关键。
很长一段时间里，TFS 都称得上腾讯内部体量最大的技术后台：几十万台服务器被组织到同一个分布式体系中，原本分散在不同业务里的存储需求，也开始逐渐被收拢成一套公共能力。
后来，随着业务场景越来越复杂，腾讯又先后推出了适合各种不同图片存储场景的存储系统。
针对图片删除和空间回收，有了 CTFS；面对高频访问场景，又出现 HTFS；此后还有支持 EC 编码的 BTFS，以及基于 HDD 的键值对存储平台 TDB。
2009 年，QQ 空间成为腾讯仅次于网络游戏的第二大收入贡献部门。同一年，QQ 农场爆发，“全民偷菜”让腾讯又碰到了一个完全不同的问题：数据本身不算特别大，但所有人都在同时访问。
在原有的技术上，腾讯存储技术团队又为 QQ 农场研发全内存分布式系统，扛住每秒数万次的并发访问。
而腾讯也在一次次爆款产品的压力下，把当年从 Google 得到的启发，一点点变成了自己的技术体系。后来，这套能力继续进入 QQ 邮箱、微云、微信等产品，并逐渐沉淀为腾讯统一存储平台乃至云计算能力的一部分。
值得一提的是，Jeff Dean 这套思路后来也迅速走出 Google，成为整个互联网基础设施演进的重要起点。
此后十多年里，大数据和云计算所依赖的许多核心思想，都能在 GFS、MapReduce 和 Bigtable 中找到源头。后来广泛流行的 Hadoop，也是在这些论文公开之后，由外部开发者沿着 Google 展示的思路重新实现出来的。
2026-07-23
2026-08-04
