最近几个月，涌现出一批专注于研究的AI实验室，其中Flapping Airplanes尤为引人注目。在年轻且充满好奇心的创始人推动下，该实验室专注于寻找对数据需求较少的AI训练方法。这有望成为改变AI模型经济性和能力的关键因素——凭借1.8亿美元的种子轮融资，他们有足够的资金探索这一方向。
上周，我与该实验室的三位联合创始人——兄弟Ben和Asher Spector，以及Aidan Smith——进行了交谈，探讨了为什么现在是创办新AI实验室的激动人心的时刻，以及为什么他们不断回到关于人脑的想法上。
为什么是现在？
我想先问一个问题：为什么是现在？像OpenAI和DeepMind这样的实验室已经在扩展其模型上投入了大量资源。我确信竞争看起来令人望而生畏。为什么你们觉得这是一个启动基础模型公司的好时机？
Ben：要做的事情实在太多了。过去五到十年间取得的进步令人惊叹，我们热爱这些工具并每天使用它们。但问题是，这是否涵盖了所有需要完成的工作？经过深思熟虑，我们的答案是否定的，还有大量工作有待开展。在我们看来，数据效率问题正是值得重点攻克的关键所在。当前的前沿模型是基于人类知识的总和进行训练的，而人类显然可以用远少得多的数据做到这一点。因此，这里存在巨大差距，值得深入理解。
我们所做的实际上是对三件事的集中押注。我们押注于这样一个观点：数据效率问题是当前最重要的研究方向。也就是说，这是一个全新且不同的方向，我们可以在此取得进展。我们押注于这将具有极高的商业价值，如果我们能实现它，将使世界变得更美好。我们还押注于，适合做这件事的团队是一种富有创造力、甚至在某些方面缺乏经验的团队，能够从底层重新审视这些问题。
Aidan：确实如此。我们并不认为自己在与其他实验室竞争，因为我们认为自己关注的是截然不同的问题集。从人类大脑来看，其学习方式与Transformer截然不同——这并不是说哪种更好，只是非常不同。因此我们看到不同的权衡：大语言模型（LLMs）拥有惊人的记忆能力，并能利用广博的知识库，但它们很难快速掌握新技能，适应过程需要海量数据。而当我们观察大脑内部时，会发现其使用的算法与梯度下降以及当今人们用于训练AI的某些技术在根本上截然不同。正因如此，我们正在组建新一代研究人员来解决这些问题，并以全新的视角思考AI领域。
Asher：这个问题在科学上极具吸引力：为什么我们构建的智能系统与人类的行为方式如此不同？这种差异从何而来？我们如何利用对这些差异的理解来构建更优的系统？同时，我认为这也具有极高的商业可行性和社会价值。许多至关重要的领域（如机器人技术和科学发现）都严重受限于数据量。即使在企业应用中，一个数据效率高出一百万倍的模型，其商业化落地难度也可能降低一百万倍。因此，我们对这些方法采取全新视角并思考：如果我们真的拥有一个数据效率大幅提升的模型，能从中获得怎样的潜力？
扑翼飞机：神经形态AI的新视角
这引出了我的下一个问题，也与实验室的名字Flapping Airplanes有关。AI领域有一个哲学问题：我们在多大程度上试图重现人类大脑的功能，versus创造一种采取完全不同路径的更抽象的智能。Aidan来自Neuralink，那是一个专注于人脑的项目。你们是否认为自己是在追求一种更具神经形态的AI视角？
Aidan：我将大脑视为一种存在性证明，它作为证据表明世界上还存在其他算法，并非只有一种正统观点；而且大脑具有一些极其严苛的约束条件，当我们审视其底层硬件时，会发现一些令人惊叹的特性——神经动作电位的激发仅需一毫秒，而在此期间计算机所能执行的操作次数是有限的；因此，现实中很可能存在一种比大脑更优越且与Transformer截然不同的方法，我们深受大脑某些机制的启发，但并不会被其束缚。
Ben：对此我想补充一点，这正契合我们的名称“扑翼飞机”（Flapping Airplanes）：可以将当前系统比作大型波音787客机，我们并非试图制造鸟类，那步子迈得太大，而是想打造某种扑翼飞机；从计算机系统的角度来看，大脑与硅基芯片的约束条件差异足够大，因此我们不应期望这些系统最终看起来一模一样；当基础介质如此不同，且在计算成本、局部性以及数据移动成本方面存在真正截然不同的权衡时，你实际上会预期这些系统呈现出些许差异；但正因为它们看起来会有所不同，并不意味着我们不应从大脑中汲取灵感，并尝试利用我们认为有趣的部分来改进我们自己的系统。
研究优先与商业化平衡
感觉现在实验室有更多的自由专注于研究，而不仅仅是开发产品。这对于这一代实验室来说是一个巨大的变化。有些实验室非常专注于研究，而另一些则是“暂时专注于研究”。在Flapping Airplanes内部，这种讨论是什么样的？
Asher：我真希望能给你一个时间表，真能说三年后我们就解决了这个研究问题并以此进行商业化，但我做不到，因为我们不知道答案，我们正在探寻真理；话虽如此，我认为我们确实拥有商业背景，我曾花大量时间为那些为公司带来合理利润的企业开发技术，Ben也孵化过许多具有商业背景的初创公司，我们实际上对商业化充满热情，我们认为将你所创造的价值交到能使用它的人手中对世界有益，因此我并不认为我们反对商业化，只是我们需要从进行研究开始，因为如果我们一开始就签署大型企业合作合同，我们会分心，从而无法开展有价值的研究。
Aidan：是的，我们想要尝试真正radically不同的事物，有时甚至激进的事物会比现有范式表现更差，我们正在探索一系列不同的权衡方案，我们希望它们在长远来看能够有所不同。
Ben：当公司真正专注于把某件事做好时，它们就处于最佳状态，对吧？大公司有能力同时开展许多不同的事情。而当你是一家初创公司时，你必须选择最有价值的事情并全力以赴去做。目前，当我们全力解决根本性问题时，我们创造了最大的价值。
我实际上很乐观地认为，在不久的将来，我们可能会取得足够的进展，从而能够开始接触现实世界。从现实世界中获得反馈能让你学到很多。世界的奇妙之处在于，它不断地教你东西，对吧？它是一个巨大的真理源泉，你可以随时从中汲取智慧。我认为，近期这些结构和融资模式的经济性变化所带来的一项主要能力，是让公司能够更长时间地专注于它们擅长的事情。我认为这种专注，正是我最兴奋的部分，它将使我们能够做出真正差异化的工作。
1.8亿美元融资背后的市场共鸣
让我明确一下我认为你指的是什么：围绕这一领域的热情如此高涨，对投资者而言机会也如此清晰，以至于他们愿意向一家全新的公司提供1.8亿美元的种子轮融资。这家公司里充满了非常聪明、但也非常年轻的年轻人，他们并非刚刚从PayPal套现离场的人。你是如何参与这个过程的？在开始时，你是否就意识到市场有这样的需求，还是说这是你在过程中才发现的——原来我们可以把这件事做得比想象中更大？
Ben：我会说这是两者的结合。市场已经火热了数月之久，因此大型融资轮次开始汇聚并非秘密。但你永远无法确切知道融资环境会对你的世界观产生何种反应。这也是一个需要让世界对你所做的事情提供反馈的地方。即使在融资过程中，我们也学到了很多，并实际上改变了我们的想法。我们refining了对应优先事项的看法，以及商业化的合适时间表。
我们对我们的理念引起如此强烈的共鸣感到有些惊讶，因为这对我们来说是非常清晰的，但你永远无法确定自己的想法是否会被他人认同，或者别人会不会认为你疯了。我们非常幸运地找到了一群出色的投资者，我们的理念与他们产生了强烈共鸣，他们说：“是的，这正是我们一直在寻找的东西。”这真是太棒了。既令人惊喜，又令人欣喜。
Aidan：是的，对“研究时代”的渴望已经在空气中弥漫了一段时间。而且我们越来越发现自己定位为追求“研究时代”的玩家，并真正尝试这些激进的想法。
数据效率与计算成本的权衡
至少对于以规模为导向的公司而言，基础模型存在巨大的进入成本。仅构建一个达到那种规模的基础模型就需要极其庞大的计算资源。研究则处于中间地带：假设你们也在构建基础模型，但如果使用的数据量较少且不太注重规模扩张，或许能获得一些优势。你预计计算成本会在多大程度上限制你们的资金跑道（runway）？
Ben：进行深度基础研究的优势之一在于，有些悖论的是，实施疯狂、激进的想法比做增量工作要便宜得多。因为当你做增量工作时，为了确定它是否有效，你必须沿着扩展阶梯走得很远。许多在小规模下看起来不错的干预措施在大规模下实际上并不能持续存在。因此，做这类工作非常昂贵。而如果你有一些关于新架构优化器的疯狂新想法，它可能第一次运行就会失败，对吧？所以你不需要把它沿阶梯向上推广，它已经坏了。这很好。
因此，这并不意味着规模对我们无关紧要。规模实际上是我们工具箱中所有可用手段中的重要一环。能够扩展我们的想法对我们的公司来说确实相关。所以我不愿把我们描述为规模的反面，但我认为我们工作的一个美妙之处在于，我们可以在考虑大规模实施之前，先在极小规模下尝试许多想法。
Asher：是的，你应该能够使用整个互联网。但你不应该需要这样做。我们发现，要想获得真正的人类水平智能却必须使用整个互联网，这真的令人困惑。
高效数据训练的未来可能性
那么，如果你能更高效地利用数据进行训练，哪些可能性会成为现实呢？显然，模型会变得更强大、更智能。但你对这一方向是否有具体的设想？我们是朝着更强的分布外泛化能力发展，还是指模型在更少经验的情况下就能更好地完成特定任务？
Asher：所以，首先，我们在做科学，所以我不知道答案，但我可以给你三个假设。我的第一个假设是，在仅仅寻找统计模式和具有真正深刻理解之间存在一个广泛的谱系。我认为当前的模型生活在这个谱系的某个地方。我不认为它们完全走向深刻理解，但它们显然也不仅仅是进行统计模式匹配。有可能当你用更少的数据训练模型时，你确实迫使模型对其所见的一切拥有极其深刻的理解。随着你这样做，模型可能会以非常有趣的方式变得更加智能。它可能知道的少一些事实，但在推理方面变得更好。所以这是一个潜在的假设。
另一个假设与你所说的类似：目前，无论是运营层面还是纯金钱成本方面，教模型掌握新能力都非常昂贵，因为需要大量数据来教授这些内容。我们工作可能产生的一个成果是大幅提升后训练（post training）的效率，从而只需少量示例，就能将模型引入新的领域。
此外，这也可能为AI解锁新的垂直领域。例如，在某些类型的机器人技术中，由于各种原因，我们尚无法获得真正使其具备商业可行性的能力。我的观点是，这是一个数据有限的问题，而非硬件问题。你可以通过远程操控机器人来执行任务，这证明了硬件已经足够好。但像科学发现这样的领域还有很多类似的情况。
Ben：我还要重点强调的一点是，当我们思考人工智能对世界的影响时，一种观点认为这是一种具有通缩效应的技术，即人工智能的作用在于自动化大量工作，降低执行成本，从而将部分经济活动从人类手中转移给机器人完成；我确信这种情况会发生，但在我看来，这并非最令人振奋的人工智能愿景，真正令人兴奋的是，未来将出现各种由其他系统构建、而人类因智力不足无法提出的全新科学与技术。
关于这一点，我认为Asher之前提到的那个轴——即真正的泛化与数据的记忆或插值之间的谱系——对于获得将推动医学和科学新进展的深刻见解至关重要。模型必须非常偏向于创造性这一侧。因此，我对我们正在做的工作感到兴奋的原因之一是，我认为即使超越个人的经济影响，我也真心秉持着一种使命导向：我们能否让AI做一些以前人类根本做不到的事情？而不仅仅是“让我们解雇一大批人”。
AGI讨论中的定位与参照系
绝对如此。这是否让你在对AGI（通用人工智能）的讨论、分布外泛化的讨论中归属于某个特定的阵营？
Asher：我其实并不完全清楚通用人工智能（AGI）的确切含义，但显然其能力正在迅速提升，且正在创造巨大的经济价值；就我个人意见而言，我认为我们离所谓的“盒中上帝”还很遥远，不会在两个月甚至两年内出现突然让人类完全过时的奇点；我基本同意Ben开头所说的观点，即世界非常广阔，有待完成的工作还有很多，目前已有许多令人惊叹的成果，而我们也很期待为此做出贡献。
嗯，关于大脑及其神经形态部分的想法确实显得相关。你的意思是，真正值得比较的对象是人类大脑，而不是Mechanical Turk或之前的确定性计算机。
Aidan：我想强调的是，大脑并非上限，相反在许多方面它更像是下限；坦率地说，我没有看到任何证据表明大脑是一个不可知的、不遵循物理定律的系统，事实上我们知道它受到诸多约束，因此我们有理由预期，从长远来看，我们能够创造出比大脑更有趣、更不同且可能更优越的能力；因此，无论目标是通用人工智能还是其他方向，我们都期待为这一未来做出贡献。
Asher：我认为大脑确实是相关的参照对象，因为它有助于我们理解探索空间的广度；人们很容易看到我们所取得的进步并感叹“哇，我们似乎已经找到了答案，快完成了”，但如果稍微向外看并保持更多视角，就会发现我们仍有大量未知领域。
Ben：我们并非单纯追求变得更好，而是力求变得不同，这是我在此想着重强调的关键点；所有这些系统几乎肯定会在各方面呈现出不同的权衡取舍，在某处获得优势的同时必然在其他地方付出代价；世界广阔无垠，存在众多拥有不同权衡取舍的领域，因此拥有更多系统以及能够应对这些不同领域的基础技术，极有可能促使人工智能以更有效、更快速的方式在全球扩散。
招聘哲学：创造力重于资历
你区分自己的一种方式是在招聘方法上，招募非常年轻的人，有些甚至还在上大学或高中。当你在与人交谈时，是什么让你觉得‘我想让这个人和我们一起研究这些问题’？
Aidan：当你与某人交谈时，他们能让你眼前一亮，因为他们拥有许多新想法，并且以许多资深研究人员无法做到的方式思考问题，后者往往因受到成千上万篇论文的“污染”而思维受限。我们最看重的特质就是创造力；我们的团队极具创造力，每天我都能与大家一起探讨解决人工智能重大问题的激进方案，并构想一个截然不同的未来，这让我感到无比幸运。
Ben：我个人最看重的信号是，在与他们相处时，他们是否能教我一些新知识？如果他们能教我新知识，那么他们很可能也能教我们关于正在从事的研究的新知识。在进行研究时，这些富有创意的新想法才是重中之重。
我背景的一部分是在本科和博士期间，我帮助创办了一个名为Prod的孵化器，它与一些后来发展良好的公司合作。我认为我们从那里看到的一点是，年轻人完全可以在工业界的最高层与之竞争。坦率地说，一个关键的突破就是意识到，是的，我可以去做这些事情。你绝对可以在最高层面做出贡献。
当然，我们也认识到经验的价值。那些在大型系统上工作过的人很棒，比如我们雇佣了一些这样的人，你知道，我们很高兴与各种各样的人合作。我认为我们的使命也引起了有经验人士的共鸣。我只是认为，我们的关键在于我们希望找到那些不害怕改变范式并能够想象事物如何运作的新体系的人。
对未来AI系统差异化的展望
我一直在思考的一个问题是，你认为最终生成的AI系统会有多大差异？我很容易想象出像Claude Opus这样的模型，它只是好用了20%，能多完成20%的任务。但如果它是完全全新的东西，就很难想象它会走向何方，或者最终结果会是什么样子。
Asher：我不知道你是否曾有幸与GPT-4基础模型交流过，但它展现出了许多令人惊讶的涌现能力。例如，你可以截取一段你尚未发表的博文片段，问它你认为这是谁写的，它能够识别出来。
存在许多这类能力，即模型以我们无法理解的方式变得聪明。未来的模型将以更加奇特的方式变得更聪明。我认为我们应该预期未来会非常怪异，而架构也会更加怪异。我们正在寻求在数据效率上实现1000倍的提升。我们并非试图进行渐进式的改进。因此，我们也应该期待在极限处出现同样不可知、异质的变化和能力的涌现。
Ben：我大体上同意这一观点。不过，对于世界最终如何体验这些技术，我的态度可能更为审慎，正如GPT-4基础模型经过OpenAI的调优一样。我们希望将产品以适当的形式呈现，让消费者不必直面深渊，我认为这很重要。但我大体上认同，我们的研究议程旨在构建真正与当前能力有根本性差异的技术。
参与方式与人才招募
太棒了！人们有哪些方式可以参与Flapping Airplanes项目吗？现在是否还为时过早？还是说他们只需耐心等待研究和模型正式发布？
Asher：如果你想与我们争论，我们欢迎交流。我们确实进行过一些非常有趣的对话，有人给我们发送长篇大论的文章，阐述他们认为我们不可能做到这一点的原因，而我们很乐意与他们进行互动。
Ben：但他们至今尚未说服我们。没有人成功说服过我们。
Asher：第二点是，我们正在寻找那些试图改变领域和世界的杰出人才。所以，如果你有兴趣，请联系我们。
Ben：而且，如果你有着非传统的背景，也没关系。你不需要拥有两个博士学位。我们真正寻找的是那些思维方式与众不同的人。