9 月 7 日,BAI 资本成员企业、AI 3D 生成公司 Meshy 宣布,计算机图形学与 3D 视觉领域最具影响力的研究者之一童欣博士加入公司,出任首席科学家。
加入 Meshy 后,童欣将负责制定公司的长期科研战略,带领团队开展下一代 3D 基础模型研究,并推动多模态生成与实时交互系统的探索。他还将参与研究团队建设与人才培养,推动前沿研究转化为面向全球创作者、开发者和工作室的模型与产品。
这一重量级科学家的加盟,也标志着 Meshy 的科研发展正式进入新的阶段,从单个 3D 资产的生成,拓展到能够理解、创造并持续运行完整数字世界的系统。
1999 年,童欣从清华大学获得博士学位,随后加入刚刚成立不久的微软中国研究院,也就是后来的微软亚洲研究院。此后,他在那里工作长达 25 年,曾担任网络图形组负责人和全球研究合伙人(Partner Research Manager),是微软亚洲研究院图形学团队最资深的研究者之一。

童欣的研究横跨纹理合成、材质建模、真实感渲染、三维动画、几何处理和三维视觉,几乎覆盖了计算机创造三维世界的完整链路。他共发表论文 190 余篇,其中超过 60 篇发表于 ACM SIGGRAPH、ACM Transactions on Graphics 等图形学顶级会议和期刊。根据 Google Scholar 数据,截至 2026 年 9 月,他的研究成果已被引用超过 21,000 次,H 指数达到 80。
2018 年,童欣获得中国计算机图形学杰出奖。2024 年,他又获得 AsiaGraphics Outstanding Technical Contributions Award;该奖项每年最多授予一人,用于表彰在计算机图形学领域作出突出技术贡献的研究者。
但童欣的影响力不只来自论文和奖项。在微软亚洲研究院期间,他带领团队开发了高动态范围纹理压缩、GPU 虚拟化、3D 打印支撑和几何细节绘制等技术,其中一些后来进入 Xbox 游戏开发技术、Windows 3D 打印功能和 Direct3D 图形开发工具包。
在图形学圈里,童欣被亲切地称为“童姥”。他曾自嘲,家人除了认可他做的饭菜,很难理解他为什么每天对着屏幕里的三维茶壶和兔子研究得津津有味。茶壶和兔子分别指 Utah Teapot 和 Stanford Bunny,都是计算机图形学研究中最经典的测试模型。幽默背后,是童欣对图形学始终如一的理解。在他看来,计算机图形学首先是一门应用学科,新的研究问题往往来自真实需求,以及新设备、新数据和新计算方式的出现。
这也体现在他的研究方向变化中。2017 年,童欣参与的 O-CNN 发表于 SIGGRAPH。当时,传统卷积神经网络已经能够高效处理二维图像,但 3D 模型通常由不规则的网格或点云构成。如果把高分辨率三维空间直接切成密集体素,计算量和显存开销会迅速增加。O-CNN 使用八叉树组织 3D 数据,只在物体表面附近进行卷积计算,让神经网络可以更加高效地处理高分辨率 3D 形状。那时需要解决的问题,主要是如何让深度学习更好地理解三维世界。
到了近年,童欣的研究开始覆盖 3D 内容生成和图形学制作流程中的更多环节。2024 年离开微软后,他加入 Anuttacon,继续探索 AI 与游戏图形学。这一时期,他参与的 TRELLIS 尝试让生成模型学习一种统一的内部 3D 表示,再根据不同需求输出相应形式的三维结果。
发表于 SIGGRAPH 2025 的 RenderFormer 则保留三角网格、材质等明确的场景信息,再由 Transformer 学习场景中的光照关系,生成具有全局光照效果的最终图像。今年公布的 LPM 1.0 又进一步进入角色表演领域,尝试直接从视频中学习人物的语言、动作和反应,减少对传统角色绑定和动画制作流程的依赖。
从让 AI 理解 3D,到生成 3D、渲染 3D,再到让数字角色动起来,童欣近年的研究正在逐渐进入传统图形学与生成式 AI 的交叉地带。这条研究路径也与 Meshy 正在解决的问题逐渐交汇。
2023 年,童欣在讨论 AIGC 与图形学的关系时,曾提出生成式 AI 面前存在两个方向,一个是“最后一公里”,另一个是“开始一公里”。所谓最后一公里,是让 AI 生成的内容真正进入生产流程。
生成模型可以做出一个看起来不错的 3D 模型,但如果模型比例不准确、相邻部件粘在一起、拓扑结构混乱,或者参考图里的凹槽和浮雕只停留在纹理上,没有真正进入几何结构,它就很难被继续用于动画、游戏、编辑和制造。
一个真正可用的 3D 资产,不只有外观,还需要准确的几何、合理的部件结构、干净的拓扑,以及材质和语义等信息。传统图形学已经为此形成了一套成熟的制作流程,生成式 AI 则需要继续完成生成之后的工作。
Meshy 过去三年的产品演进,正是在不断缩短这段最后一公里。Meshy 于 2023 年上线 AI 3D 产品。到今年 7 月,公司注册用户已经超过 1200 万,累计生成 3D 模型超过 1 亿个,ARR 约为一年前的 12 倍,并以 15 亿美元估值完成近 4 亿美元 B 轮融资。
这些模型已经被用于游戏、3D 打印、设计和产品开发。Meshy 的客户及使用方既包括 Nexon、网易游戏、三七互娱等游戏公司,也包括拓竹、创想三维、ELEGOO、闪铸科技和 xTool 等 3D 打印及制造品牌。
今年 8 月发布的 Meshy 7,将重点放在了 geometry alignment,也就是生成模型与参考图之间的几何对齐。过去,一件机械零件生成得可能已经很像,但细看会发现比例存在偏差,相邻部件没有分开,参考图里的凹槽也可能只被画在表面。Meshy 7 开始进一步提高整体比例、空间分布和表面细节的准确性,使五官、解剖结构、机械部件、阴刻文字和浮雕图案真正成为几何的一部分。
Smart Topology 处理的则是更靠后的制作环节。它可以生成带有原生分件的 3D 模型,并控制模型面数,减少人工减面、重拓扑和部件整理等工作。一致性、拓扑、分件和可编辑性,这些曾经属于生成之后的问题,如今已经成为 AI 3D 产品需要直接解决的指标。Meshy 也已经依靠这些能力积累了用户、客户和收入。
但童欣所说的另一段路,才刚刚开始。所谓“开始一公里”,是当新的表示方式和生成模型出现后,3D 内容是否还需要沿用原来的生产与呈现方式,还是可以从头建立一套新的图形学系统。这正是 Meshy 最近开始反复讨论 AI for Fun 的原因。
在 Meshy 创始人兼 CEO 胡渊鸣的构想中,AI 最终改变的不只是内容如何生产,也包括人们怎么玩、体验什么。当 AI 释放出更多创造能力和自由时间,人类对内容的需求也会从被动观看,进一步走向表达、参与和连接。
电影和短视频能够被观看,传统游戏能够被操作,而生成式互动世界还可以根据每一位用户的选择实时演化。未来更具吸引力的内容,可能同时具有视频、声音、3D 和文字等多种模态,也可以持续运行、实时反馈,并不断把用户的想象转化为可以体验的内容。这就是 Meshy 所说的 AI for Fun,即用 AI 创造快乐、体验与意义感。
为了实现这一目标,胡渊鸣将 Meshy 接下来的技术任务概括为三个部分。
第一部分是重新思考图形学的表现层。
过去几十年,实时图形学围绕三角网格、材质、光照、物理模拟和渲染管线,建立起了一套高度成熟的系统。但这套系统是软件、硬件、艺术家工作流和内容产业长期共同演化的结果。站在生成式 AI 的起点回看,它未必仍然是唯一的最优解。
Meshy 并不是要立即抛弃三角网格,而是在追问一个更根本的问题:生成模型产生的结果,是否一定要先被解码为传统网格,再经过一系列复杂管线转化成像素?显式 3D 所提供的空间结构和可控性,能否与视频模型在皮肤、毛发、海浪和光影上的真实感结合起来?Meshy 希望把图形学和生成式 AI 重新组合、协同优化,寻找一种更具扩展性和控制力的图形系统。
第二部分是决定世界如何运行的“导演系统”。
胡渊鸣把图形模型和视频模型比作一个剧组。它们可以生成画面和声音,却未必真正理解世界应该遵循什么规则。一个能够持续运行的互动世界,还需要一位导演,负责生成机制、维护状态、安排角色行为,并根据用户的选择实时续写内容。目前,大语言模型和 Coding Agent 已经能够通过代码搭建互动世界的“骨骼”,多模态模型则可以为它提供由画面、声音和艺术风格组成的“肌肤”。
Meshy 此前推出的 3D Agent,已经把内容创作的起点从一张图片提前至一个想法。它先通过工具调用理解用户意图、完善创作方案,再将这些信息交给 3D 生成模型。Meshy Game Studio 开发的 AI 原生游戏《Black Box: Infinite Arsenal》,则进一步尝试由 AI 根据玩家组合的道具,生成意料之外、情理之中的攻击效果。

第三部分来自基础设施。
与输入提示词、等待几十秒后获得一段视频不同,互动世界必须实时响应。用户按下方向键,角色需要立即移动;用户改变环境,世界必须延续这一变化,而不是在下一帧将其遗忘。任何卡顿、延迟或状态漂移,都会直接破坏沉浸感。这要求系统在有限算力下同时处理用户输入、世界状态、角色行为、画面和声音。模型、算法、GPU kernel、运行时与硬件之间的协同设计,因此可能与模型能力本身同样重要。
这也延续了胡渊鸣在 Taichi 时期的研究。Taichi 曾经通过编程语言、编译器和运行时的协同设计,提高复杂物理模拟在 GPU 上的运行效率。现在,面向低延迟实时多模态系统的新基础设施,正在成为这条技术路线的延续。
Mora 是目前 Meshy 对上述三部分最完整的一次架构验证。Mora 是 Multimodal Open-world Real-time Architecture 的缩写,即多模态开放世界实时架构。它把 Coding Agent、Meshy 的 3D 生成技术和实时视频模型放进同一个系统,希望让 AI 生成的小游戏既有明确的规则和稳定的空间结构,也拥有更加丰富、可以实时变化的视听表现。
现有的互动视频模型已经可以根据文字和图片生成可探索的环境,但在胡渊鸣看来,它们仍然面临一系列限制,包括空间难以长时间保持一致、复杂物理和精确逻辑难以处理、互动方式有限,以及持续时间短、操作延迟较高等。一个由视频模型生成的世界可以看起来真实,但“看起来存在”和“按照一套稳定规则运行”,仍然是两件不同的事。
Mora 因此选择把任务拆开。Coding Agent 负责生成世界的骨架、运行代码和玩法逻辑;Meshy 的 3D 生成负责补充场景与资产,并向视频模型提供空间结构和控制信息;视频模型则专注于最后的画面和声音。
在 Mora 制作的类《传送门》Demo 中,场景结构和谜题逻辑由代码与 3D 系统维持,玩家负责移动和解谜,实时视频模型生成最终画面。《传送门》的玩法高度依赖稳定的空间关系和精确规则,仅靠预测下一帧,很难长期维持这一结构。
Mora 目前仍处于早期阶段。模型暂时还无法正确呈现传送门内部的内容,多人场景容易变得模糊,小角色的面部也会出现典型的视频生成错误。计入网络传输后,从玩家操作到画面反馈的延迟约为 300 毫秒,团队希望进一步将其压缩到 100 毫秒以内。

但这些 Demo 已经初步验证了一种新的分工方式:代码负责世界的运行规则,3D 负责空间结构,视频模型负责视听表现。三者不必相互替代,而可以被组合成一个持续运行的系统。这也为童欣曾经提出的问题提供了一个阶段性回答。
2024 年,童欣曾经追问:“三维是否只是视频生成的特例?”如果一段视频已经能够从任意角度呈现一个物体,是否还有必要显式构建它的三维模型?
Mora 给出的初步答案是,至少在现阶段,3D 与视频生成并不是简单的替代关系。明确的 3D 信息可以为世界提供稳定空间和可控结构,视频模型则能够补充传统实时渲染难以低成本达到的真实感与表现力。Coding Agent 将两者连接起来,并赋予世界可以运行和交互的机制。
这也解释了童欣为什么会在此时加入 Meshy。从 O-CNN 对三维表示的探索,到 TRELLIS 的 3D 生成、RenderFormer 的神经渲染,再到基于视频的角色表演,童欣的研究经历恰好横跨传统图形学、3D 生成与视频模型。他既理解经典图形管线为什么形成,也长期探索生成式 AI 可以在哪些地方改变它。
2016 年,童欣曾提出,图形内容生产需要解决 everyone 和 everywhere 的问题,让任何人在任何地方都可以创造可视媒体内容。
十年后,这个目标正在获得新的含义。创作者不只需要更容易地制作图像和 3D 模型,也可能只用一句话,就能创造一个可以进入、可以影响、可以与他人共同体验的世界。接下来,童欣将参与建立这条技术路线的科学基础,推动 Meshy 从解决 3D 生成的“最后一公里”,走向重新思考图形学与互动内容的“开始一公里”。
如果说 3D 生成让想象有了形状,那么生成式世界要做的,是让人真正走进想象。

