左:Brian,右:Tao
大语言模型已经能做本科水平的数学题,也能输出看起来像数学家一步步推理的内容,但它们经常出错,而且没有人能事先判断它在哪个任务上可靠、在哪个任务上会翻车。一个更基本的问题悬在那里:这些模型究竟是怎么工作的?
这场对话里,菲尔兹奖得主陶哲轩给出了自己的判断:AI 最大的弱点是它的推理没有根基、是概率性的,像一个紧张的学生在黑板前想到什么说什么;他同时指出,训练和运行大模型的数学并不复杂,真正缺理论的是如何评估和预测这些模型的表现。他还用纽结理论的例子说明,神经网络可以当黑箱去探查,从中做出正式的数学预测并把它证明。
陶哲轩是澳裔美国数学家,2006年菲尔兹奖得主,UCLA 数学系教授、IPAM 特别项目主任。他的研究横跨偏微分方程、组合、调和分析与加性数论,Green–Tao 定理证明素数中包含任意长的等差数列,压缩感知技术如今把 MRI 扫描速度提升了约十倍。这场对话从本福特定律和归纳法的边界,延伸到 AI 做数学、数学是发明还是发现、教育变革,以及伽利略的计算尺和弦理论。他的主要观点包括:
当前大语言模型的根本问题是推理没有根基、是概率性的。 它能输出像人类数学家一步步推理的内容,却经常出错,像一个紧张的学生在黑板前想到什么说什么。弱学生一旦跑偏,就能跑得特别远。
AI 现在有用的场景,是文献综述类的提醒任务。 一个问题文献里可能有十几种攻击方法,你自己也许只记得六种,模型能把漏掉的技巧勾出来。但它可能幻觉出三个根本不存在的,必须盯着它、去验证。
AI 复现已有结果,很多时候只是背了训练数据。 如果一个结果在教科书里教过,它就隐含在训练数据里,AI 基本上是在凭记忆复述。很难分辨它是背来的,还是真的自己想出来的。
Brian 认为真正的 AI,要能做出可被人类验证的新预测。 他提出 Keating 测试,本质上是图灵测试:让 AI 拿过去三千年水星轨道的数据,先发现近日点反常进动再预测它,它完全做不到。
神经网络是发现模式的黑箱,但可以反过来探查它。 在纽结理论里,老派神经网络从约一百万个纽结中发现签名可以从双曲不变量高精度预测,准确率大约九成。分析这个黑箱后,他们做出了正式数学预测并证明了它。
训练和运行大模型的数学并不复杂,本科生就够。 懂矩阵乘法再加一点微积分就行。真正缺好的数学理论的领域,是怎么评估、怎么预测这些模型在不同任务上的表现。
神秘之处在于自然数据部分有结构,而我们对它没有好的数学。 纯噪声和高度规律的数据都能分析,但英文文本这种介于两者之间的对象不行。物理里的类比是介观尺度,比如生物细胞:原则上可以一直拆到原子,但实际上根本无法分析。
AI 最好的用法是对准那几百万个中等难度的问题。 高价值难题人已经聚焦了,但长尾里有千千万万不那么出名的问题。即使只解决一百万个中的百分之十,也是十万个问题被解决了,规模才是最大优势。
数学的随机与结构:本福特定律与归纳法
Tao:对,随机数列还有一些别的统计规律,人造的数列是没有的。我觉得我的那个差异律不是直接靠这个来的,但确实存在其他规律。最有名的叫本福特定律,这是个非常反直觉的规律,简单说就是全世界所有数字里大概有百分之三十是以一开头的。听起来很怪,因为数字明明可以以一、二、三一直到九开头。但你随便举个例子:把全世界所有国家的人口拿出来,全世界大概一百多个国家,其中差不多三分之一的人口数是一字开头,中国就是。再看中国的净资产,几百万个百万富翁、亿万富翁之类的,你也会发现大多数都是以一开头。再比如生日,这个规律几乎放之四海皆准。但是如果你随机挑数字,或者说你在做假账的时候人为地编数字,那它们就不一定符合这个规律了。
Brian:人编数字的时候,会以为它应该是均匀的,所以才会那样去编,或者说你以为它是均匀的。
Tao:对,人类其实很不擅长造出真正随机的模式。所以你能把自然产生的模式和人造的模式区分开。挺有意思的。
Brian:有一件事我特别想跟你聊很久了,就是数学归纳法的边界。你之前提到过,先从一个小的数开始,然后一步步往上加。我还真想扯一下 Jim Simons 的工作。他最出名的当然是身家几十亿美元,还搞了慈善基金支持我的研究,希望也支持其他非常优秀的科学家。但他有个不那么出名、却其实非常重要的贡献,至少在我理解归纳法怎么成立、怎么失效这件事上很重要,就是他在最小曲面上的工作,他发现了一个特别迷人的东西。我应该请你解释一下什么是最小曲面,不过按我的理解,你可以从物理上想:拿一个衣架弯成一个圈,再用肥皂泡把它和另一个圈连起来,形成的那个形状就叫最小曲面,对吧?好。然后他发现一维空间里有这种最小曲面,或者说大家知道一维是成立的。接着他证明了二维的,三维空间里存在,四维的、六维的、七维的都行,然后到了八维。结果不成立了。我也想说停一下,对吧?大部分数学归纳看起来都能一直推到无穷。但你已经告诉我一个不能像你想的那样推到无穷的例子。那数学归纳法的边界到底在哪?也许先定义一下什么是数学归纳法。数学归纳法是什么?
Tao:有不同的含义。科学哲学里的归纳大概是另一回事,就是你从小例子里观察到一些事实,然后据此推断大情况会怎样。这是科学方法里非常基础的一步,因为你做实验,再从实验外推。数学归纳是一种更精确的推理形式,有一条精确的数学归纳原理:如果你有一个命题,想让它对所有自然数都成立,一、二、三、四这样下去,你知道它对一成立,而且只要你对某个数 n 成立时,能确定地推出它对 n 加一也成立,那它就对所有自然数都成立。常用的比喻就是一排多米诺骨牌。每一块骨牌代表你要证明的一个情形,你证明了第一个情形,就推倒第一块骨牌,而且每当你推倒一块,它都会带倒下一块,那么不管这排骨牌有多长,你都能把每一块全推倒。但关键在于你的论证必须百分之百滴水不漏。如果一排骨牌里,第九十七块没有带倒第九十八块,那就到那儿为止。所以这是一个只在数学世界里才成立的原理,而数学是少数几个你真能拿到百分之百保证的地方。说到 Simons,他发现了所谓的西莫斯锥。好吧,你有点把我往深处带了,因为这个几何不完全在我的领域内。不过,最小曲面最著名的是二维的,比如肥皂膜。但在数学里,没有任何东西阻止你把同样的概念放到其他维度去看。一维的话就像橡皮筋,一维的最小曲面很无聊,就是直线。但你可以考虑四维空间里的三维曲面,虽然已经很难想象了,数学上完全可以这么做,还有五维、六维。奇怪的是,有时候问题在高维反而变简单。所以哪怕你只关心物理世界,只关心两维和三维,作为数学家先去研究高维也是合理的。它能给你一些直觉,反过来帮你处理你真正关心的低维问题。事实证明,在八维以下,我认为所有最小曲面都是光滑的。你没法把肥皂泡打结,因为总能找到某种方式把它拉开,降低表面张力。而从八维开始,他发现了个非常惊人的事实:奇点真的会出现。它看起来像个锥,只不过是在高得多的维度里,而且你没办法通过修改这个锥来减少表面积。如果你在三维里做个锥,想把肥皂弄成锥形,你可以做个所谓的手术:把锥尖切掉,换成两个圆鼓鼓的小头,这样就能降低表面张力。但在高维你做不了这件事。所以现在,因为数据科学的缘故,我们其实需要比以前更好地理解高维几何。我们很多从低维几何得来的旧直觉,在高维里完全是错的。举个简单的例子:把一个圆内接进一个正方形,它占了正方形相当大的部分,大概百分之七十五左右。把一个球内接进一个立方体,它还是挺大的,我记得占立方体体积的一半左右。但如果你取一个一千维的超立方体,在里面内接一个一千维的球,它会小到惊人,大概只有万分之一百分比那么大。球变得非常……填充空间的能力很差。在高维里它们远远填不满空间。这一点很重要,当你看一团团数据的时候,比如你做了一千次测量,得到一千个数据点,但里面有些误差。你是算均方根误差,相当于把你的测量放进某个球里,还是看最坏的那个误差,一千个误差里最大的那个,相当于放进……问题是,在高维里你想要的误差范围应该是个球还是个立方体?这时候就开始有区别了。
Brian:对,这两种近似之间差别很大。你刚才提到用升到高维的办法来解决低维的问题,这是数学家用的众多工具之一。其他的还包括反证法,也就是归谬法。你能聊聊吗,你最喜欢哪种类型的数学证明?那种你一上手就特别兴奋、恨不得赶紧做完的证明。
Tao:反证法。我觉得 Hardy 有句很棒的话:下棋的人可能愿意牺牲一个兵或者一个象,但数学家愿意赌上整盘棋。这种牺牲,他的意思是,好,我们要证明某个结论。我先承认这个结论是假的,我就让你顺着往下走。但你这么一走,我会证明它会导致矛盾。它确实是一种技巧。一方面它非常反直觉,我们教的大学生,很多人在反证法这个概念上都很挣扎。另一方面,我又见过小学生互相教会这个概念。比如课间休息的时候,孩子们玩比谁说的数大的游戏。他们说好,一千,然后一百万、十亿、十亿的十亿,就这么一直往上。但总有某个时刻,一个孩子会意识到,不管对方说什么数,自己都可以说那个数加一。这就证明了自然数里没有最大的数。而这其实就是一个反证法,因为如果谁声称自己有最大的自然数,你加上一,就跟他矛盾了。所以它其实是一种非常直觉的证明技巧,只是你得教对方法,有时候孩子自己就能悟出来。我最喜欢的那类证明,是能在不同数学领域之间建立意想不到的联系的。比如说离散数学和连续数学之间,我们前面聊过低维和高维。你可能遇到一个组合数学问题,跟现实世界没什么关系,但你发现它有某种物理模型,于是可以用物理里的想法。当然物理学家一直这么干,他们也有各种对应关系,真的很神奇。所以这些对我来说感觉像魔法一样。
Brian:是啊,至少对我这个物理学家来说,最有名的就是用反证法证明根号二是无理数。那是 Euclid 最早的证明,还是能追溯到更早以前?
Tao:Euclid 还是毕达哥拉斯学派?也许是毕达哥拉斯学派吧。
Brian:Euclid 证明质数有无穷多个,基本上也是用了跟那个加一游戏一样的思路,对吧?
Tao:对对对。其实我们有很多要感谢欧几里得的。我的意思是,很多定理他并不是第一个写下来的,比如勾股定理,巴比伦人有个版本,中国人也有个版本。但真正是他引入了证明这个概念,就是复杂的数学事实可以从更简单的公理推导出来。这是一种非常有影响力的思维方式,之前没人这么干过。
Brian:开方这个操作,就作为一个概念,一直让我着迷。一方面,它在物理里出现的频率很高。我一会儿会举几个让我好奇的例子。最终我还想把这事跟 Wigner 那句名言连起来,就是数学在物理世界里不合理的有效性,我们待会儿会聊到那个,顺便也涉及开方。但至少在经典力学里,你可以用位置和动量构造出一些东西,叫泊松括号。而一旦从经典世界进到量子世界,它们不再是等于零,而是等于一个基本常数乘以负一的平方根。对我来说太神奇了,只要你引入平方根和虚数这个概念,物理学家面前就打开了一大片数学。我就在想,一个懂全部数学的外星智慧生命,能不能教会我们这件事?还是说平方根本身有什么特别的地方?LLM 里用的是 LU 分解,我们有 spinor,spinor 的表示也是用平方根写出来的。平方根到底有没有什么特别的?换句话说,为什么不说立方根、五次方根、一百次方根?为什么偏偏是平方根在物理里这么普遍?
Tao:嗯,我们用连续的空间来体验这个世界,也就是欧氏空间。而从我们的空间直觉来看,最自然的数是实数。实数有很多很好的性质,它的代数运作得非常好,加法满足交换律,x 加 y 等于 y 加 x,乘法也满足交换律,x 乘 y 等于 y 乘 x,等等。但它有一个缺陷,就是不是每个多项式方程都有根。比如 x 的平方加一等于零,在实数里永远不成立,因为 x 的平方总是正的。所以它不叫代数闭。不过它离完备很近了。如果你取一个奇数次多项式,比如三次,x 的三次方加三 x 加一,它一定有根,因为三次或者任何奇数次多项式,当 x 变得非常大时,值会变得很大而且是正的;当 x 变得非常非常负时,值会变成负的。由于实数是连续的,多项式也是连续的,所以在中间某个点,你一定会经过零,才能从负变到正。所以世界上大概一半的多项式你能在实数里解出来,另一半不能。事后看来,这真的提示你应该把实数扩大一倍,来获得代数完备这个非常有用的性质。结果呢,恰好存在一种数叫复数,它正好是实数的两倍大。实数是一维的,复数是二维的。它们有非常好的性质,很多漂亮的几何结构、代数结构,归根结底都来自代数完备。而且我们从代数里也知道,把一个数系扩大一倍的方法,就是加入一个以前没有的平方根。如果你想把系统扩大三倍,就应该加入一个以前没有的立方根。所以一旦你知道你在找一个比原来大一倍的新数系,就很自然地会去找一个目前没有平方根的数,比如负一,把它扔进去。这就是事后回想起来,你可能会怎么预测到的过程。当然历史上复数不是这样被发现的,但这可以算是一种解释。
Brian:然后还有一整类数叫超越数,它们不满足任何多项式方程,对吧?
Tao:我们已经发现,数的概念是非常灵活的。人们知道这一点的时候往往会不高兴。在学校里学一个统一的概念,之后不再改变,感觉上更简单。十多年前行星的定义改了的时候,大家就非常生气。我们在数学里偶尔也会这么做。数字一曾经被认为是质数,大约一百年前。
Brian:真的吗?我还是觉得一是质数,但我还是觉得冥王星是行星。
Tao:这是因为所有数学家和科学家,不管哪个领域,刚开始研究一门学问的时候,你并不知道哪些概念是最根本最重要的,哪些不是。所以你根据自己的经验猜一个定义。也许你觉得没有更小因子的数很重要,就叫它们质数。也许你觉得天上会移动的那些星星很重要,就叫它们行星。但随着时间推移,你会意识到其实有稍微更好的定义,性质更好。天文学家为什么认为新的行星定义更好,我说不好。但举个例子,我们发现质数的一个非常重要的性质叫算术基本定理,就是说任何一个数都能唯一地拆成质数的乘积,除了调换顺序之外。比如十二等于二乘三再乘二,或者二乘二乘三。但除了交换顺序,这是把一个数拆成质数的唯一方式。就像把一个化合物拆成原子只有一种方式一样。所以质数就像是乘法的原子。但如果你把一也算作质数,你就不得不放弃算术基本定理,因为现在十二也可以写成一乘二乘二乘三。你就给数论里这个极其重要的事实加了太多例外。所以我们做了一个决定,重新定义它。我在素数对方面做过研究,对吧?素数是数学里最古老的课题之一。欧几里得几乎有史以来第一个定理就是关于素数的,那是两千多年前的事了。所以非常令人沮丧和恼火的是,即便是关于素数最基本的问题,我们现在仍然无法给出确定的答案。我们有很好的猜测。对于几乎所有关于素数的问题,我们都能预测答案,但对其中很多问题,我们拿不到百分之百的数学证明标准。其中一个至少有三百年历史的基本问题,叫孪生素数猜想,说的是应该有无穷多对这样的素数。你可以证明素数有无穷多个,素数永远不会结束,你永远能找到比任意给定数更大的素数。但对于孪生素数,我们还做不到同样的事。所谓孪生素数,就是相差尽可能小的素数对,最小差就是二。比如十一和十三。二和三更接近,但在二之后所有素数都是奇数,所以最小的间隔就是二。我们会观察到,素数看起来并不遵循某种规律,有时候素数间隔很大,有时候很小,但时不时它们会靠得很近,形成一对孪生。它们似乎会出现无穷多次,我们用计算机已经找到了万亿亿个这样的例子,但我们从未证明过这个过程不会停止。我们有一个预测,认为素数的行为基本上就像一个随机数列。如果有一个和素数密度相同的随机数列,它会无穷多次地形成孪生对。但素数不是随机的。我们相信它们是伪随机的,意思是没有明显规律,除了那些一眼能看出的,比如它们都是奇数。所以这是一个很可能成立的假设,但我们没法证明它。
AI做数学:从背答案到发现模式
Brian:AI 到底有没有促成新的数学发现,或者做出本来不可能存在的证明?
Tao:慢慢地,它开始做到了。但单靠它自己,现在这类 AI 最大的弱点是:它能输出看起来像人类数学家一步步推理的内容,却没有根基,是概率性的。它经常出错,就像一个紧张的学生在黑板上解题,想到什么说什么,可能对也可能错;如果是个弱学生,对自己在干什么没有根本理解,一旦跑偏就能跑得特别远。这就是当前大语言模型的根本问题。
但如果你把它当成一个更严格、更有根基的推理系统里的组件——你跟它对话,让它提建议,而你理解它的输出、能去验证它——这样已经有人取得了一些成功。拿自己的数学问题去跟它聊,它会给出一些建议:有些人类专家一看就知道行不通,有些你会想“这个我早就想到了”,但有一两个会让你觉得“这个其实我应该自己能想到,但我一直没意识到”。
所以 AI 已经开始有用的一个场景,就是文献综述类的任务。有一类问题,文献里可能已经有十几种攻击方法,你自己做的时候也许只记得六种,另外六种你想不起来。你可以用这些模型来提醒你,把你漏掉的技巧勾出来。它可能还会幻觉出三个根本不存在的,所以你确实不能信它,得盯着它、必须去验证。
未来是有希望的。还有一类技术是让软件能自动验证某些类型的证明。希望就是,如果你强迫大语言模型只能用某种可验证的语言输出,把幻觉过滤掉,事情就会不一样。
Brian:它有没有复现过 Wiles 那个费马大定理的证明,或者你的工作,还有你现在的 Stokes 相关研究?我是说,它有没有真的能够,打个比方,复现一个像你这样的自然人智能会做的事情?
Tao:这里有个问题。它能,但很多时候是因为所谓的污染。如果一个结果在教科书里教过,那它就隐含在这些 AI 的训练数据里了。所以它们基本上就是在背,跟黑板前那个学生凭记忆复述教科书上的证明是一样的。AI 基本上读遍了全世界所有的教科书,很难分辨它这么做的时候,到底是训练数据里背来的,还是它真的自己想出来的。你让 AI 解释它的思维链,它经常给出一堆胡言乱语,明显就是它自己也不知道。
Brian:是啊。我发现即使我们自己试过,我和我的学生 Evan Watson 一起试的:我们就给它过去三千年水星轨道的信息,JPL 就在附近,他们能拿到这些数据也能预测。然后我们说,好,如果你观察这颗行星,你能不能先发现水星近日点的反常进动,然后再预测它?结果它完全做不到。我们得先把所有东西离散化、欧几里得化,而这恰恰把问题彻底毁了。所以我提出了一个想法,算是个玩笑吧。我管它叫 Keating 测试,本质上就是图灵测试:等到真正的 AI 能提出全新的算法、做出此前未知的、又能被你们这样的人类验证的预测,我们才算知道它是真的。
Tao:我觉得这是 AI 一个很有前景的用法。神经网络本来就是设计来发现模式、找相关性的。数学里已经有几个例子了,比如纽结理论里,用的不是那种很花哨的大语言模型,而是更老派的神经网络,它发现了不同类型纽结不变量之间的相关性,而这些是以前没人怀疑存在的。一开始这种相关性就是个黑箱关系。
Tao:所谓纽结,就是空间里的环,有的能解开,有的解不开。每个纽结都带着一堆数字,叫纽结不变量。这个神经网络喂给它大约一百万个纽结的数据库之后,发现有一个叫签名的不变量,可以从一大堆别的叫双曲不变量的东西里以非常高的精度预测出来。
但这个网络是个黑箱:你输入二十个数字作为双曲不变量,它就吐出签名应该是正三,大概九成时候是对的。可一旦有了这个黑箱,他们就能分析它:改一下输入,动一动双曲体积之类的,看输出怎么变。于是它就像一个有二十个旋钮的盒子,可以随便拨。基本通过做实验,他们看出其中三个输入其实很重要,另外十七个很边缘。通过这类分析,他们真的对这种关系得到了一些洞见,甚至做出了一个正式的数学预测,然后把它证明了。所以一旦有了这些神经网络模型,你是可以去探查它们的。
回到你的天文例子,也许神经网络没法告诉你新物理到底是什么,但它至少可以说:我能预测水星接下来一千年的轨道,这是我的模型。然后你就可以去调它。
Tao:假设我改一下水星的周期,或者质量什么的,会发生什么?也许你就能实验性地摸索出自然规律。这给你一种全新的范式去接触现实,不同于传统的实验或理论。
Brian:对,我用过这个例子。现在有很多 AI 末日论的人,觉得 AI 会失控,把我们都变成回形针之类,全是胡说。但因为它有你说的这个特点,它相当于在对全人类的知识做平均,所以它会出错、会犯错,但错误是被训练集里那部分人类知识给框住的。不过它身上又有一种神奇的东西。说到数学,我是站在伟人面前啊。其实那些数学没那么玄乎,说白了就是大规模、高维度的矩阵乘法,数据量巨大而已。但本质上它真有那么复杂吗?
Tao:训练和运行一个大语言模型或者其他现代 AI 的数学,并不那么复杂。一个数学系本科生就具备全部前置知识了,基本上你只要懂矩阵乘法怎么运作,再有一点微积分就行。但我们真正缺好的数学理论的领域,是怎么评估、怎么预测这些模型的表现。
Tao:神秘的地方不在于它们怎么跑。我们知道怎么做一个大语言模型,怎么训练,怎么运行。真正让人惊讶的是,它在某些任务上效果特别好,在另一些上又不行。我们事先不知道,连个经验法则都没有,无法预判哪些任务适合、哪些不适合,只能去做实证实验。
原因之一是训练数据的性质。数据在一个层面上就是一串零和一。数学上,我们非常理解特别随机的数据,比如纯噪声、完全随机的一串零一,概率论能很好地分析这种情况。我们也非常理解特别有结构的数据,比如全是一、全是零,或者一零交替地非常有规律。但对自然数据,像英文文本,你可以把它数字化成零一的串,是很特定的零一,但又没那么特定到完全可预测,同时它又似乎有点可预测。我们对这种部分有结构的对象没有好的数学。
这在物理学里有个类比。物理里有连续介质力学,一切都被平均掉了,我们有好的理论。还有原子层面的物理,可以看单个分子和粒子。但在介观尺度,也就是中间尺度,有大量中间结构,比如生物细胞,它是涌现出来的,而我们没有好的数学来处理它。原则上你可以一直拆到原子,但你根本没法分析。
数学是发明的还是发现的
Brian:它不是数学上不可能,而是物理上就不可能。聊到大语言模型,总会提到中间的 L 是 language,语言。我带来一本书,是你朋友伽利略的一本数学著作,想听听你的印象。
Brian:他说过,记录自然、宇宙的那本书,是用数学的语言写成的。后来 Wigner 这些人也呼应了这个观点,我们前面已经讨论过。但它真的是种语言吗?它有词汇、有语法,但如果莎士比亚和数学在最底层其实是某种原始语言,那我以为它们之间应该有更多的相似之处。你觉得数学是一种语言,还是比语言多得多?
Tao:数学家之间、或者跟其他科学家交流的时候,肯定得把数学当语言用。我认为数学语言和自然语言的区别在于:数学语言是随着时间演化出来的,目的是尽可能高效地描述底层的数学结构。自然语言不总是追求效率,你还想传达细微差别、情感、艺术,或者发泄一下沮丧,所以它不是纯粹由效率驱动的。但数学基本上是,因为我们要做的数学任务越来越宏大,如果不把数学语言优化下去,就没法完成这些更复杂的任务。
科学也一样,我们不断更新自然定律,好做更复杂的预测。当你为效率优化一种语言时,其实就是在试图把对宇宙的描述压缩到最简、最优雅的形式,这么做的过程中,你其实在某种程度上触及了宇宙实际运作的本质。所以我们大概可以相信,宇宙确实是由某些自然定律支配的,我们希望它们是简单、可预测的定律,而不是某个存在随手瞎编。整个科学史都在印证这种信念,也就是自然主义者想要的哲学立场。
Tao:数学也在对数学理论做同样的事,试图找到最优雅、最小的输入,来解释大量的数学现象。也许这就是为什么它们会随着时间趋同。这也是 Wigner 观察到的:对数学有用的那种形式体系,比如用来描述各种几何的弯曲空间的语言,恰好和描述宇宙的语言高度吻合,就像爱因斯坦用同一套语言来描述时空、描述空间的织物一样。
Brian:我喜欢问上过节目的数学家一个问题,从 Jim Simons、Steven Strogatz 到很多人:相不相信数学是被发明的,还是被发现的?一共有四个选项:发明、发现、两者都是、两者都不是。你站哪一边?
Tao:这场经典争论?肯定是两者都是。我相信存在一种天生的数学结构,我们在努力发现它;而为了做到这一点,我们必须发明数学语言。一开始这个语言不太好用,我们关注的重点也不对。但随着时间推移,为了让语言更高效、更有力量,它会自然地趋近于数学的理想形态,柏拉图式的理想。那当然感觉像是发现,但它是通过人的手段做到的。所以对,既是发明也是发现。Jim Simons 就是这么告诉我们的。
AI时代的教育与数学家的工作流
Brian:当我们展望教育的未来,你不只是菲尔兹奖得主、数学家、父亲,你还是个老师、教育者。跟我说说你对未来的设想,你的教学理念是什么?
Tao:出于很多原因,它需要相当大的演变。世界变得无比复杂、不稳定、不可预测。
而且现在有了AI,人类以前在认知类任务上是垄断的。按这个领域的发展方式来看,AI短期内不太可能超过人类的研究级数学或其他学科的水平。但本科阶段的数学,比如我们现在布置的很多作业,AI已经能做了。所以我们得重新发明教学方式。
Tao:有一件事会变得更重要:学生需要接受更多如何验证所看到信息的训练。过去,权威的信息来源就那么几个——教科书、你的老师之类的。我们没有社交媒体,没有互联网,也没有现在这种质量参差不齐的海量信息,还有AI生成的东西。另一方面,过去内容质量低的东西,呈现方式也往往很糙,所以你能看出来一本制作精良的教科书大概率比用蜡笔乱画的东西更准确。但现在,我们做出高质量呈现的能力,远远跑在了做出高质量内容的前面。你完全可能看到一个YouTube视频或一本教科书,看起来完美无缺,甚至AI生成的输出也是,但里面全是根本性的错误。
所以我们需要鼓励批判性思维。我已经看到有老师在尝试一些做法:这是一道我本来要布置的题,但我先给了ChatGPT,这是它的答案,是错的,请你挑出毛病并改正。挺有意思的。我觉得这些方式更能培养技能,也更互动。不再把知识当成从权威那里被动接收的东西,而是你随时都要去质疑的东西。
Brian:还要去跟它较劲。有意思。这让我想起Caltech的John Preskill谈量子计算和量子优越性那些事。解决量子计算里纠错问题的办法之一,就是往问题里砸更多的qubit。我就在想,我们会不会也往问题里砸更多的AI?这一下就把关系翻转了:你是让人脑去审一个AI,找出它哪里错了。那我们会不会走到一个阶段,让AI自己监督自己?要做到什么程度,我们才能信任它们?
Tao:让它们更可靠当然是好事,但我觉得也许得用一种跟现在AI完全不同的架构才行,因为按天性来说,它们天生就不可靠。但我们是有办法使用不可靠的工具的。随机数发生器是我们技术里最不可靠的设备,可它在密码学等各种事情上极其有用。我认为只要你把这些AI配上好的验证手段,而且只在你能验证其输出的范围内使用,别再多,那它们就能成为很好的工具。
我更觉得它们是来补充人类科学家和数学家的。世界上人类科学家就那么点人,我们能花在研究上的时间也有限,所以我们倾向于聚焦于高价值、高优先级的孤立问题。但在数学和科学里,有千千万万个不那么出名的问题,形成长长一条尾巴,它们也应该得到一些关注。它们不是最难或最重要的,但要是有人或者有东西愿意看看它们就好了。所以我认为AI最好的用法,不是把它们对准最轰动的难题,而是对准那几百万个中等难度的问题。它们可能会失败,可能只解决了这一百万个问题里的百分之十,但那也是十万个问题被解决了。规模才是最大的优势。你看,研究生是不可能这样规模化培养的。
法律上或者伦理上都不行。但AI真正的价值就在这里。
Brian:你现在最高优先级的事是什么?
Tao:从研究上说,我现在最感兴趣的是新的工作流:让数学现代化,让它更协作,对公众更开放,并把AI这类新工具整合进来。我们做数学的方式,几百年来根本没有本质变化。你可以看看我办公室里的黑板,我们还在用纸和笔工作,电脑也用一点,但用得不多。我们的合作规模仍然很小,两三个人一起干。当然在科学界,你们那边有成千上万人的团队。
很大一部分原因是我们不知道怎么吸纳普通大众的贡献。首先就有门槛,我们做的很多东西非常技术性;而且我们需要综合出一个证明,其中每一步都得被验证。如果我们有几千个人参与,就得验证一千个小部件,这在最近之前都是不可行的。另外也因为这些因素,我们和其他科学的合作远不如应该有的那么多,尤其是那些数据驱动的新兴领域,它们以全新的方式连接各种东西,比如社交网络分析之类的。
所以我认为我的研究方向就是这个。说实话,这更像是数学的社会学,而不是技术本身。再近一些,我也一直在想办法为数学研究争取经费,因为这几年它变得很不稳定。
菲尔兹奖之后:压力、年龄与教学
Brian:回头我们再聊那个。一位老朋友 Sergio Kleinerman 问我一个问题,跟你刚才提到的科学社会学有关。他想知道,作为公认地球上最好的数学家、菲尔兹奖得主、一个非常年轻又极其成功的数学家,那种压力对你来说是什么样的?那顶帽子、那份重量压在你肩上,有没有影响过你?
Tao:我记得 2006 年我拿到奖的那一年,生活在很多方面都变了。突然收到大使馆的邀请,能见到一些我本来想见的人;我被拉进各种委员会,大家开始征询我的意见。那确实是个天翻地覆的变化——之前我也已经在一些委员会里了,但这还是让我花了一段时间才适应过来。
不过我觉得有一点能让数学家稍微落地一些:作为一个纯数学家,你的主要任务就是解决你想解决的问题,证明能解决它们的定理,而你的证明必须正确,每一步都得被验证。不管你多有名、声望多大,你不能光说一句「我证明了某个东西,信我吧」,不行,你得给出证明的细节。如果你没有证明,那就是没有证明。所以我觉得这天然会对你的自负形成一种约束,免得它因为这些奖项飘得太高。因为你知道有无数问题是我不会解的——我能解决的,比我不能解决的少得多。这一点能让你保持某种诚实。
Brian:那老说法呢,说数学家在三十岁之前才能做出最好的工作?咱们俩现在都五十多了。Jim Simons 以前跟我说他不怎么相信这个:他觉得其实是某个时刻起表开始走,然后你有十年或二十年去做事。他确实在三十岁左右停了,但那是因为他去了 Renaissance 干了十年,并不是因为有什么年龄上限。你怎么看?
Tao:不同数学家的职业轨迹是不一样的,我肯定是比较典型的那种:我跳了一级,还跳了好几个年级,所以我大部分工作都是在年轻的时候做的。但也有别的数学家起步很晚,大学才对数学产生兴趣,转过来之后做得相当不错。
Tao:我在 Princeton 读博时的导师,我每周都会见他,讨论他布置给我的那些问题。我会花好几个小时试各种疯狂的办法,然后向他汇报这些都不行。而他看着我在黑板上写的内容,想几秒钟,就说:你遇到的困难,跟某某人在某篇论文里遇到的完全是同一个困难,你去图书馆把那篇预印本抽出来读一读,就能解决你的问题。回家读完,问题真的就解决了。下一周我又撞上另一堵墙,在这类问题上花了几个小时,他只要想十秒钟,凭着经验就知道该怎么做。这就是智慧。
Tao:所以我觉得随着年龄增长,你会找到不同的做事方式:可能没那么炫,不像蛮力硬冲那样显眼,效率上也许也不如,但产出可能更高。我现在也能对我自己的研究生使出同一招,看到整个循环在自己身上重现,还挺满足的。
Brian:哈哈,我也可以这么对我的学生来一遍。说到我的导师,还有他当年的导师,让我问你一个跟教学有关的问题。我们前面聊 Wigner 的时候已经很明显了,数学对物理特别重要。那你觉得,一个数学家是不是应该掌握一定量的实验或物理知识?我问过理论物理学家,他们其实更贴近实验那边。你是怎么想的?
Tao:绝对有好处。我觉得数学的一个好地方在于切入它的途径太多:你可以是很视觉化的数学家,看什么都先想图像;也可以很符号化,把数学当成操纵数字和符号的游戏;还可以很偏物理,总爱用物理类比,从物理各个子领域里借直觉。这些连接是很直接的。比如你学微分方程,就很自然地该懂点物理,因为物理里有太多漂亮的微分方程例子,对流体怎么动、波怎么传播有直觉,真的对我帮助很大。总的来说,你在别的领域懂得越多越好。有时候我从经济学里也能找到启发:比如说你想证明 X 小于 Y,一种思路是假设你手里有 Y 那么多东西,能不能买到 X?有时候直接买不到,但你可以先把 Y 换成 Z,再用 Z 去买 X。你就把自己放在一个集市的心态里,有些商人可以用 X 换 Y,但你想谈个好价钱,不想做亏本买卖。这种心态真的能帮你看出从 X 到 Y 的正确路线。
Tao:有时候还可以把一些结构看成游戏。比如在分析里有很多 epsilon-delta 型的命题:对任意 epsilon,存在一个 delta,使得后面一堆条件成立。本科生常常觉得这些相当绕,但如果把它当成博弈来看——如果你习惯下棋这类东西,对方给你一个 epsilon,你得找出一个 delta 去接住它——用这种博弈论的角度去想,有时候会给你一个很有用的心态。生物学也好,社会科学也好,每个学术学科都能跟科学搭上关系。
伽利略、货币兑换与压缩感知
Brian:这让我想起一本书,我一直想拿给你看,录制前我们还一起翻了一下。这本书叫《Compasso Geometrico》,英文名叫 Galileo's The Operations of the Geometric and Military Compass,作者是伽利略。它不是用来找南北方向的,而是用来做计算的,其实是很早期的一种计算尺。这是 1649 年的第二版,第一版是 1601 年出的。那一版的价格相当于我们在加州大学好几年的工资,所以我可买不起。但真正神奇的是,除了伽利略本人的签名,我们可以放大看看那里——我不知道他去世后七年怎么还能拿出这张纸来,但他确实囤了一批存货,当时他已经是个小名人了。而且他这辈子从来没离开过意大利,一步都没出过。
Tao:就这么保存了四十年。
Brian:没错,就是四十年。美不美?我觉得它简直像一件宝藏,等会儿我还要再提它。这东西有分段,是用金属做的,上面有刻度,能测角度什么的,还能做计算。其中一项计算挺有意思的,我在一张便签上做了标记,我想翻到那一页给 Terry 看看。这基本就是一本使用说明书。现在我们买个设备,比如 iPhone,都不带说明书了对吧,默认你自己会用。他在某个地方开始讲线段之间的比较,但我记得这一页上,他写了一条关于货币兑换的规则。你刚才正好提到这个,你想读一下吗?那就太酷了。
Tao:原文是这样写的:借助同样的算术线,我们可以非常轻松快捷地把任何货币兑换成任何其他货币。首先把仪器调好,取你想要兑换的那种货币价格的两倍,然后用另一种货币的价格来填充这条线。举个例子就更清楚了。假设你想把佛罗伦萨的金 scudi 换成威尼斯的 ducats。既然 ducat 的标价是 6.04 soldi,而金 scudi 是按 soldi 计价的,scudi 定价 160 soldi,那么 ducat 对应的就是 124。我太庆幸我们现在不用走路时干这种事了。
Brian:因为我一讲到有趣的地方就上头了。对,就是这个意思。我觉得特别好笑,因为现在 scudi 早就一文不值了,顶多值几美元吧。但要是伽利略当初存下几本初版书留给后人,那价值可就以十亿美元计了。话说回来,我们提到了货币兑换这个概念。我的朋友 Eric Weinstein,我知道他很早就研究过 gauge theory,也就是规范理论,并且把它应用到了这方面。你觉得这件事怎么样?有多有意思?
Tao:行。嗯,对。货币兑换其实是个非常好的例子。规范理论一直有个名声,就是特别晦涩难懂,是物理和数学里很玄的一个领域。但它本质上说的是:现实世界里有很多量是标量,却没有天然的单位。货币就是一个例子。如果我有一定财富,可以用美元衡量,也可以用欧元,随便什么都行。你可以用一个数字来表示它,但它本身并不是一个数字。财富不是数字,只是可以用数字去度量。规范理论研究的正是这类量:它们可以用数字或者坐标 x、y、z 来度量,但你得选用什么单位、用什么坐标系。也许你在地球上的不同位置就得用不同的单位。从一个国家走到下一个国家,你的单位可能就变了,所以你需要某种方式在从一个地方到另一个地方的过程中做转换。类似地,电磁场,我们高中都学过,教的是这些场是向量,每一点都有一个三元组数字,我们叫 E 和 B。但实际上它们不是数字,它们是某个抽象空间里的方向。当你从一个地方移动到另一个地方,这些数字会以某种确定的方式变化。所以规范理论就是管理这些转换的学问。有一天你可能决定,我在这里不再用英镑计价,改用 lira。这不改变你有多少财富,但改变了你的 gauge,也就是规范。于是就有了一套数学来描述这个 gauge 如何运作,哪些量是规范不变的,哪些不是。还有平行输运,如果你沿着一条闭合回路走一圈,把你那个向量沿着你的 gauge 一路输运过去,有时候你会回到起点时的状态,有时候不会,会有一个修正项。而这个修正项跟你选了哪种货币单位、哪种规范无关。比如说你有一笔美元,去了欧洲换成欧元,再回美国换回美元,因为汇率手续费之类的,最后手里的钱可能跟原来不一样。某种意义上,这就是某种曲率。不完全是曲率,但有点像这个世界货币丛上的曲率。
Brian:货币真的是个很好的比喻。是啊,我是说,让人惊讶的是,从不同的对称律这些东西出发,居然能推导出意想不到的性质,涌现出本来不该出现的东西。说到共同点,有一位同获菲尔兹奖的同行,我相信是唯一一位走进数学界的物理学家,就是 Institute for Advanced Study 的 Edward Witten。当然他以对弦理论的贡献闻名。弦理论比我们都年长六十多年了。所以这位同获菲尔兹奖的 Edward Witten,在高等研究院工作,是第一位,也许也是唯一一位赢得菲尔兹奖的物理学家。他大量研究引力和弦理论等等。你怎么看它目前的状态,以及它的数学本质?看起来它似乎只能在极高维的空间里解决问题,而我们根本没有证据说那样的空间存在。作为一个局外人,你的展望是什么?
Tao:我是说,物理学嘛,你知道的,我们对宇宙和现实本质的看法已经被迫改过好几次了。先是哥白尼革命,地球不是宇宙中心;然后是爱因斯坦的相对论,时空必须是弯曲的;再后来是量子力学,现实其实应该用群、波函数和量子场来描述。结果这套理论现在算是被自己的成功害惨了,对吧?因为这些理论能解释百分之九十九点九的可观测现象,唯独在极小的尺度上,或者在宇宙的起源那里行不通,数学上也不自洽,所以我们得拿别的东西来替换它。具体来说,把时空看成光滑流形这个想法,似乎跟普朗克尺度的世界对不上,我们需要别的东西来代替它。麻烦在于,能用来替代的候选方案有无穷多个。尽管数学有着不合理的有效性,但你还得问对那个正确的数学才行。如果让我押注谁的话,我会押弦理论,希望它能给出解释。所以啊,几十年来弦理论一直是最领先的选手。它是一个非常优雅的理论。我不是专家,但我理解它还没完全达到大家的期待,至少没有提供一个唯一的标准理论来拟合数据。也许它太灵活了,给了你太多可能的真空态。
Brian:这就引出一个我一直想问你的问题。数学里有哥德尔不完备定理,它告诉我们从一个给定的公理系统里能推出什么是有边界的,可能也限制了你能证明什么,至少我是这么理解的。但物理里没有这个东西。我们没有任何证明。我们没法证明重力加速度永远是每秒平方九点八米。所以一切都是暂时的,随时可能被新数据推翻。而这恰恰是它美的一部分。但我们最接近的那个标准,似乎是波普尔提出的:好科学的定义就是可证伪性。我老开玩笑说,物理学家都有种羡慕数学家的心理。很多人说社会学家羡慕物理学家,但我觉得是因为我们没法证明东西。那物理理论能回答的问题,是不是永远会有这样一个上限?就像我说的,我们连什么都证明不了。你可以证明一加一等于二,虽然要用一个繁复到离谱的方法,写两百页。但物理里我们什么都证明不了。那在追求真理这件事上,我们到底处在什么位置?
Tao:我觉得你永远得把真实世界和我们对这个世界的模型分开来看。物理学给了我们非常棒的一套模型,但我们没法证明它们。比如相对论,爱因斯坦的方程是完全精确的数学方程,给定初始条件你就能算出结果。如果你真的不指定时空的初始条件,那数学上就只有一个解,除非它根本不存在。好吧,但你可以对这个解证明各种事实。所以这些模型的地位,本质上就是一个数学构造,你既可以证伪它,它本身又是严格的数学对象。物理真正介入的地方,是这个模型怎么跟现实对接。也就是说,就算它不完全吻合,就算它严格意义上被实验证伪了,也不代表这个理论就被摧毁了。牛顿引力到现在还是非常有用的理论。比如算行星、彗星的轨道,它依然够准。我认为只要你别把模型当成现实本身,你就可以既享受数学的蛋糕,又把它吃掉。
Brian:太好了。就在我们要收尾的时候,Terry 抓起粉笔给我们来了个闪电演讲,讲他是怎么帮医生们破解了一个折磨人的图像分析问题,就是怎么从 MRI 机器里拿到质量最好的图像。他和同事们用他所说的压缩感知解决了这个谜题,用数学从比以前少得多的数据里重建出物理图像。结果呢?MRI 扫描速度最快能提升十倍。好好享受吧,你会看过瘾的。
Tao:当时我跟一些统计学家和工程师聊天,聊的是一个图像采集问题,他们已经把它转化成了一个数学谜题,也就是怎么解某个线性方程组。他们报告了一些惊人的结果,说能用比传统成像少得多的测量次数重建出一张图像,而且他们希望能用在医学影像上。我就跟他们聊了聊,然后顺手把他们那个小小的线性代数问题给解了。其实一开始我想的是去证伪它,因为我实在不敢相信结果能好到那种程度。但在尝试证伪的过程中,我把它的原理搞明白了。这个技术我们发表了出来,后来变得非常普及。事实上,如今大多数生产大型医用 MRI 机器的厂商,都在用我们的技术,也就是现在叫压缩感知的这套方法,把 MRI 扫描速度提升了大概十倍。这种事你平时根本不会意识到。
Tao:我做的很多工作,比如现在,就是怎么判断一串数字有没有规律,是有结构的还是随机的,以及各种检验方法中哪些更好。这些东西可以拿来检测欺诈,或者过滤噪声、改进信号采集算法,整个是一个生态系统。我觉得,应用科学家和工程师要想从文献里吸收那些现成的想法来解决自己的问题,就需要基础科学这边的人更多出于好奇心去提问。也许我们做的事情短期内没有直接的实际影响,但这正是数学的不合理有效性。你看,如果没有这些人去提这些问题,下游那些真正把东西做成实际应用的人,就会花更多的时间,甚至砸更多的钱,去摸索。举个例子的话,Shannon 七十多年前就发展出了通信理论,纯理论上讲,如果你每秒只能发送一定数量的比特,你到底能传多少信息,最好的压缩方式是什么。后来形成了一整套实用理论,其实是在数字革命之前很久就开始发展的。等到大家人手一部手机、需要同时传输海量数据的时候,我们还想让手机之间互不干扰,这些数学工作就显得特别重要。它可能没有直接告诉你怎么造手机,但它提供了理论极限,就是所谓的香农限,精确告诉你一段频谱里最多能塞进多少信息。有了这个,你就能做规划,去买下一段频谱时,理论上就知道它能传多少数据,可以做预算和规划。当然还有大量的工程要做,但数学能告诉你什么是可能的。所以你需要这种基础科学,而趁它还只是数学、还在纸笔阶段就做,要便宜得多,总比先砸一百亿美元建好了才发现容量不够,或者又多了,要好。
Brian:是吧,那样的话就是浪费。
Tao:对。
原视频:Terence Tao: Nobody Understands Why AI Actually Works
https://www.youtube.com/watch?v=ukpCHo5v-Gc
中文播客:在小宇宙App搜《硅谷对谈》,或直接访问下面的链接
https://www.xiaoyuzhoufm.com/episode/6ad1f9c40e4e410a05bde4f9
编译:磊哥Thomas

