AI Leap Studio
联合创建和孵化下一代AI独角兽
在与a16z合伙人David George的对话中，Scale AI的创始人兼CEO Alexandr Wang讨论了AI的三个支柱——模型、计算和数据，以及创建丰富数据如何成为生成式AI进化的核心。通过Scale在企业、汽车和公共部门的应用，Alexandr 还在构建关键基础设施，使任何组织都能利用其专有数据来构建定制的生成式AI应用程序。除了讨论前沿数据，Alexandr 还分享了他在Scale成长过程中的经验、领导方法以及他认为成长阶段的创始人/CEO在招聘方面常犯的错误。
PART 1
前沿数据将如何改变生成式AI
David：今天我们非常高兴能够邀请到Scale AI的创始人兼首席执行官Alexandr Wang。Alex，非常感谢你来到这里。我一直很喜欢和你聊天，每次都能学到很多东西。也许我们可以先从你在Scale AI所构建的项目谈起，然后再深入讨论。
Alex：在Scale，我们正在构建AI数据铸造厂。AI可以归结为三个支柱，我们所看到的所有进展都来自于计算、数据和算法。在这三个支柱的进展中，计算能力由像NVIDIA这样的公司推动，算法的突破由大型实验室如OpenAI等引领，而数据则由Scale提供支持。
我们的目标是与所有大型实验室合作，生产前沿数据，以推动前沿技术的发展，同时使每个企业和政府能够利用他们自己的专有数据来推动他们的前沿人工智能发展。
David：关于前沿数据，你们是如何获取的？
Alex：如果可以的话，这将是我们这个时代的一项伟大人类工程。我们在世界上唯一拥有的关于我们寻求创造的这种高水平智能的模型就是人类，或者说人性。因此，前沿数据的生产就像是人类专家与人性之间的一种结合，辅以基于模型的技术和算法技巧，以产生大量的数据。
顺便说一下，我们今天产生的所有数据——互联网，也是如此。在许多方面，互联网就是机器与人类之间的合作，以产生大量内容和数据。这将像是超能版的互联网，比如，如果互联网不仅仅是一个带有数据生成副产品的人类娱乐设备，而是一个大规模的数据生成实验又会发生什么呢？
David：所以你对行业现状有着非常独特的见解。你会如何描述当前模型，尤其是语言模型的状态？我很想深入探讨一下市场结构等方面，但首先能否谈谈目前行业现状？
Alex：我们可能正接近语言模型开发的第二阶段末期。我认为第一阶段是几乎纯粹的早期研究阶段。第一阶段的标志是最初的Transformer论文、小规模GPT实验，这一阶段一直延续到GPT-3，非常专注于小规模的调试和算法进步。
第二阶段，大概从GPT-3到现在，实际上是初步扩展阶段。我们有了表现相当不错的GPT-3，然后OpenAI真的将这些模型扩展到了GPT-4及更高版本。随后许多公司，比如谷歌、Anthropic、Meta、xAI等也加入了这场竞赛，将这些模型扩展到令人难以置信的能力。
在过去的两年左右，或者说三年，几乎更多是关于执行层面的事情，这涉及大量的工程工作。如何确保大规模训练能够顺利进行？如何确保代码中没有奇怪的漏洞？如何建立更大的集群？为了达到现在这一阶段，我们进行了大量的执行工作，才得以拥有多个非常先进的模型。
我们正进入一个研究将变得更加重要的阶段。各个实验室在选择研究方向方面将会有更多的分歧，并且最终在不同时间点实现突破。所以这有点像在纯执行和创新驱动的周期之间交替的一个令人兴奋的阶段。
David：他们已经达到了一个，计算资源不说非常充足，但确实有足够的计算资源来达到目前的模型水平的阶段。这并不一定是一种限制，他们几乎已经耗尽了所有的前沿实验室能获取的数据，接下来将是推进数据方面的工作，这样说是否合理？
Alex: 是的。如果你看看这些支柱，计算方面，我们显然在继续扩大训练集群的规模。所以这个方向是相当明确的。在算法方面，必须进行大量的创新，这正是许多实验室在纯研究方面真正努力的地方。至于数据，你刚才提到了一点，我们似乎已经耗尽了所有易于获取与可用的数据，你知道的……
David：公共数据爬取已经完成了，每个人都对其有相同的访问权限。
Alex: 是的，没错。因此，很多人都在谈论数据壁：我们正在碰壁，因为我们已经利用了所有公开可用的数据。下一阶段的标志之一就是数据生产。每个实验室将使用什么方法来实际生成必要的数据，以达到更高的智能水平？我们又该如何实现数据的丰富性？这需要在多个领域开展高级工作和研究。
首先，我们要真正关注数据的复杂性，向前沿数据迈进。对于我们希望在模型中构建的许多功能而言，最大的障碍实际上是数据的缺乏。举例来说，“agents”这个词在过去两年里一直是热门话题，但实际上基本上没有哪个agent真正起作用。事实证明，互联网上根本没有agent数据。没有任何地方有真正有价值的agent数据。因此，我们必须想办法提供真正高质量的数据。
David：请举例说明需要生产哪些数据？
Alex: 我们实际上很快会有一些相关的工作成果出来，这些成果表明，目前所有前沿模型在使用组合工具方面表现得很差。它们必须先使用一个工具，然后再使用另一个工具……比如说，它们需要查找一些信息，然后编写一个小的Python脚本，再绘制一些图表。如果它们连续使用多个工具，表现就非常糟糕。它们真的非常不擅长同时使用多个工具，而这恰恰是人类非常自然能够做到的事情。
David：是的，但问题是，这并没有被记录下来，对吧？你实际上无法捕捉到某人从一个窗口切换到另一个应用程序的过程，然后将其输入到模型中让它学习，对吧？
Alex：没错，当人类在解决复杂问题时，我们会自然而然地使用大量工具，我们会思考问题，通过推理确定接下来需要做什么，我们会遇到错误和失败，然后再回过头来重新考虑。这些推理链、代理链中的很多数据现在都不存在，这就是一个需要生产的例子。
但退一步讲，数据方面需要发生什么变化呢？首先是增加数据的复杂性，即朝着前沿数据迈进。其次是数据的丰富性，增加数据的生成量，所以......
David：捕捉更多人类在工作中的实际行为？
Alex：是的。既要更多地捕捉人类的行为，还要投资于合成数据、混合数据之类的东西——即利用合成数据，让人类参与其中，这样你就可以生成更多高质量的数据。谈到芯片时，我们常常讨论芯片代工厂以及如何确保我们有足够的芯片生产手段，数据也是一样的道理。我们需要有数据代工厂以及生成海量数据的能力，以支持这些模型的训练。
最后一步是对模型进行测量，并确保我们确实拥有......我认为一段时间以来，业界一直在说，我们只要再增加一堆数据，我们就能看到模型有多好，然后我们再增加一堆数据，我们就能看到模型有多好。但是，我们必须非常科学地了解目前的模型究竟无法胜任哪些工作，然后，需要添加哪些确切类型的数据才能提高模型的性能。
01
PART 2
大型科技公司是否在人工智能上过度投资？
David：与独立实验室相比，大型科技公司在数据语料库方面有多大优势？
Alex：他们在利用现有数据集时面临很多监管问题，这是在所有这些生成式AI工作之前。有一次Meta进行了一项研究，基本上利用了所有公开的Instagram照片及其标签来训练图像识别算法。他们在欧洲遇到了很多监管问题，结果变得非常麻烦。所以我认为其中一个难以理清的问题是，从监管角度来看，特别是在欧洲，这些公司在多大程度上能够利用其数据优势，这方面还有待观察。
很多大型实验室拥有巨大优势的真正原因在于，它们拥有非常有利可图的业务，可以为这些人工智能项目提供近乎无限的资金来源。这是我密切关注的事情，我非常好奇它将如何发展。
David：现在有一个问题，这个行业是否投资过度？如果你听听大型科技公司的财报电话会议，他们会说，我们的风险是投资不足，而不是投资过度。你怎么看？
Alex：设身处地地想想，如果你是Sundar Pichai、Mark Zuckerberg或Satya Nadella。就你的观点而言，如果他们真的掌握了人工智能技术，他们可能很容易就能再创造一万亿美元的市值。如果他们真的领先于竞争对手，并且以良好的方式将其产品化，那么万亿美元的市值是不在话下的。如果他们不额外投资，每年无论 200 亿还是 300 亿美元的资本支出，并因此错过了这个机会，就会面临一些真正的生存风险，他们的所有业务都有可能被人工智能技术彻底颠覆。
对他们来说，风险回报是显而易见的，这就是大局观。从更战术层面来看，我认为他们都能够相对轻松地收回其资本支出投资，最差情况下就是通过使其核心业务更高效、更有效来实现。
David：是的，例如GPU在Facebook广告中的利用率
Alex：是的，如果Facebook或Google稍微改进他们的广告系统，他们就可以通过此举收回数十亿美元的投资。
David：他们投入这么多资金，对整个行业来说都是好事，因为他们也在出租这些计算资源，至少谷歌和微软是这样。
Alex：而且这些模型正在逐步推广……Llama 3.1 是开源的。因此，所有投资的实际成果也变得广泛可及。这些模型开源所产生的剩余价值简直是惊人的。
David：太疯狂了。这是在模型层进入市场结构的一个很好的切入点。你认为实际情况如何？是否存在我们现在已经确定的少数几个参与者，他们都在竞争？你认为这是一个有利可图的行业吗？开源对业务质量有什么影响？请您预测一下未来几年的情况。
Alex：在过去的一年半时间里，我们看到模型推理的定价大幅下降。
两年内下降了两个数量级。令人震惊的是，原来intelligence也可以是一种商品。我认为，在纯粹的模型层，这种定价能力的缺失无疑表明，单独出租模型本身可能不是最好的长期业务，很可能是一项相对平庸的长期业务。
David：我想这取决于之前提到的突破性的进展，对吧？如果有人或者多个人确实有持久的突破，那么市场结构可能会有所不同。
Alex：所以有两点。首先，如果Meta继续开源，这会对模型层的价值形成一个相当大的限制。其次，如果至少有一部分实验室能够在一段时间内取得类似的性能，那么这也会极大地改变定价模式。因此，我们认为纯粹的模型租赁业务很可能不是最高质量的业务，更高质量的业务将会出现在其上下游。
下游，显然NVIDIA是一家非常出色的公司。但云服务提供商们也有非常好的业务，因为事实证明，建立大型GPU集群在逻辑上是相当困难的。实际上，云计算提供商在出租时也有相当不错的利润。
David：而传统的数据中心业务在很大程度上是一种规模游戏。因此，相对于小型企业来说，他们会受益匪浅。
02
PART 3
人工智能企业将在哪些领域蓬勃发展
Alex：我想到了镐和铲。如果你在模型层之下，那里会有很好的业务。如果你在模型层之上，如果你在构建应用，ChatGPT 就是一个很好的业务。很多初创领域的应用实际上也运作得相当不错，虽然它们都没有ChatGPT那么大。但如果这些应用在早期产品市场契合度上做得很好，最终也会成为不错的企业，因为它们为客户创造的价值远远超过了模型的推理成本（如果它们能把用户体验做好）这里有一些很酷的东西，比如Anthropic推出的Artifacts in Claude......
这就像是这个主题的初露端倪，所有的实验室都将推动更深层次的产品整合，以便能够打造更高质量的业务。我们会在产品层和产品级别看到大量的迭代。那些无聊的聊天机器人不会是最终产品，那并不是终极目标。
产品创新周期很难预测，OpenAI 也对 ChatGPT 的表现或受欢迎程度感到惊讶。对我来说，或者对业内的任何人来说，什么样的产品会大受欢迎，什么样的产品会带来下一步的增长，都不是显而易见的。但是，你必须相信像OpenAI或Anthropic这样的公司能够构建出优秀的应用业务，使它们能够长期独立和可持续发展。
David：那么，是什么驱动了竞争优势？你有模式，在此基础上有一个紧密集成的产品，然后再有好的工作流程，集成所有这些东西。
Alex：你可以清楚地看到他们的布局。OpenAI和Anthropic都在两个月内相继聘请了首席产品官。
03
PART 4
企业如何应对人工智能的应用
David：是的他们正在摸索。你有一个拥有一些非常有趣客户的应用业务，你从企业那里听到的是他们实际上是如何将这些付诸实践的？
Alex：我们看到企业对此非常兴奋。许多企业都在想，“糟了，我们必须开始做点什么。我们必须领先一步。我们必须开始尝试人工智能。”我认为这让他们进入了一个快速的概念验证（POC）周期，他们会想，“我们有哪些唾手可得的点子？”
然后我们去尝试所有这些点子，有些东西不错，有些不好。但无论如何，这都是一场大狂潮。进入生产阶段的POC比我认为的行业整体预期要少得多。很多企业现在看到的是，他们认为可能会发生的末日并没有真正发生，人工智能还没有完全改变大多数行业。
David：这只是边缘性的东西。比如提高效率和提供支持，还有一些创意任务之类的。
Alex：我们经常思考的是，我们正在进行的哪些人工智能改进、人工智能转型或人工智能努力，实际上能够显著推动我们合作公司的股价。
这正是我们鼓励所有客户真正思考的问题，因为归根结底，潜力是存在的。几乎每个企业都有潜在的可能性在推进人工智能时达到显著提升其股价的水平。
David：主要是以节约成本、提高效率的形式。
Alex：现在是以节约成本的形式，但也有更好的客户体验。在与客户的人工互动较多的许多行业中，如果你能实现更多标准化并能使用更多自动化，你应该能推动更好的客户互动，这些最终将使其市场份额超过竞争对手。这就是我们正在推动客户实现的目标，我也看到了这一点。与我们合作的一些首席执行官，他们都很支持也明白这将是一个多年的投资周期。他们可能在下个季度看不到收益，但如果他们真的坚持下去，他们将看到巨大的转变。
许多围绕小型用例和边缘用例的狂热是好事。这很令人兴奋，我认为他们应该这样做，但对我来说，这不是我们来这里的目的。
04
PART 5
下一阶段的生成式AI产品会是什么样子
David：目前的应用层就像是第一阶段，它正在到来。虽然有一些自动化，但主要还是聊天机器人。作为一名初创企业投资者，我希望随着时间的推移，会有一个机会窗口为初创企业打开，产品创新将帮助他们战胜现有企业。我的合伙人Alex Rampell 有一句话：初创企业能在现有企业找到创新之前实现扩张吗？我认为这是有机会的，但目前技术还为时尚早。我不知道你是否同意这一观点。
Alex：我认为现在想象技术还为时过早。还是那句话，因为这主要是为了节约成本。如果大部分好处都体现在节约成本方面，那么这还不足以颠覆那些已经在成长和扩张方面投入了大量成本的大型现有企业。
David：你认为企业内部的数据有多大价值？就像你说的，摩根大通拥有 15PB 的数据。我不记得是多少了，但这个数字是否被高估了？其中有多少是真正有用的？因为今天，大部分数据并没有给他们带来有意义的竞争优势，你认为这种情况会改变吗？
Alex：我认为人工智能是第一次可以看到这种潜在的变化，因为很明显，现在有整个大数据浪潮。大数据可以归结为更好的分析，这对商业决策很有帮助，但并不深入。
David：它不会大规模改变产品的工作方式。
Alex：是的，正是如此。而现在，你确实可以想象产品运作方式的重大转变。我们以任何一家大银行为例：用户与像摩根大通或摩根士丹利这样的大银行之间许多有价值的互动都是由人驱动的，是由人来进行的，他们尽力确保在各个方面提供高质量的体验。然而，显然在任何大型手动流程中，能够保证这一点的程度是有限的。
但是，你之前与客户的所有互动，以及你的业务在历史上的运作方式，构成了唯一可用的数据，可用来训练模型来完成这项特殊任务。如果你考虑到财富管理，互联网上几乎没有可以用来训练模型的同类数据。
David：所以在墙后面，其实有很多非常丰富的数据。
Alex：是的，海量数据。很多数据可能与企业的实际转型没有太大关系，但有些数据却非常有价值。但企业在实际利用所拥有的大量数据时会遇到很多麻烦和挑战。
我的意思是，数据的组织性很差。到处都是。他们向咨询公司支付数千万美元、数亿美元来进行这些数据迁移。而且，你知道，即使在那之后......结果没有变化。
所以企业要真正推动转型，历来都是非常困难的。从某种程度上说，这就是一场竞赛：他们是否能比某些初创企业更快地找出如何利用和发挥数据的作用...
David：用数据的一个小子集创造出完全不同的产品。
Alex：是的，没错。
05
PART 6
Scale扩张策略
David：换个话题，谈谈你是如何经营公司的：你谈到的其中一件事是，在 2020 年和 2021 年的高速发展时期，你在招聘方面犯了一个错误，认为要扩大规模，就必须大量招聘人才。我们在所有的投资组合公司中都看到了这一点。这是一场人才争夺战：“我们得走得更高，我们得更上一层楼，更上一层楼。”那么，在这个过程中，你们学到了哪些经验教训？之后，你们又是如何改变自己的工作方式的？
Alex：在过去几年里，我们的员工人数基本保持不变。整个过程给我们的启示是，人多就能带来更好的结果，人多就能完成更多的工作，这感觉非常合乎逻辑。但自相矛盾的是，我认为如果你有一支表现非常出色的团队和一个表现非常出色的组织，几乎不可能在不失去所有高绩效和成功文化的情况下实现大幅增长。
David：是的。减少沟通和协调开销实际上会提高生产率。
Alex：确实如此。我认为这其实是更深层次的东西，就好比，一个具有一定规模的高绩效团队就像一个非常复杂的雕塑，团队中每个人之间的相互作用非常微妙。如果你在团队中加入一堆人，即使这些人都很优秀，也会把整个团队搞得一团糟。无论如何，随着人员的增加，都会出现向平均值回归的现象。如果你观察那些大量扩充员工的公司，这对他们的财务业绩非常重要，他们会承认这一点。如果你考虑扩大销售团队的规模，你就会意识到你将会经历那种平均回归。但你只需将其操作化，使其略高于平均值。如果你能做到这一点，那么整个等式在财务上还是可行的。
06
PART 7
创始人谬论
Alex：根据我们的观察，初创公司之所以能成功，是因为你拥有表现出色的团队，而你希望尽可能长时间地保持这些表现出色的团队。
我认为一个普遍的创业失败模式是，你有一个有效的产品，但公司里的每个人都非常初级。因此，事情在扩大，但一切都在出问题。你的投资人告诉你，“嘿，你应该雇几个高管”。你开始进行招聘，每次都感觉特别令人沮丧，但你还是得经历这个过程，就算你很擅长做这些，成功的几率也只有一半。
所以你进行高管搜索。你引入了一位高管，然后给予这位高管很大的自主权。这位高管说：“嘿，我们需要雇佣一个庞大的团队才能达到我们的目标。”而你则回应：“好的，我很有经验，你看起来也很有经验。我们按照你的建议做吧。” 然后你就让这些团队壮大起来。现实情况是这样做的结果几乎总是失败。
这并不是说你不能从外部聘请高管，但我认为，当你从外部聘请高管时，你需要确保他们真正深入了解公司是如何运作的。在他们提出任何大刀阔斧的建议之前，先让他们融入公司的节奏和运作。他们是否理解为什么整个系统能够正常运作？为什么行之有效？然后，他们会提出深思熟虑的建议。起初，他们会采取一些小措施，而你要信任并验证每一个小措施。最终，也许他们可以提出更全面的建议，但前提是他们在采取小措施方面带来了显著好处。
David：这很有趣，在雇佣高级管理人员时从小处着手，有点违反直觉，而且这也不是任何高管想要走的路。
Alex：是的。我注意到有一种高管的幻想。顺便说一句，我认为高管们都是很棒的人，他们非常出色。但确实存在一种高管的幻想，尤其是在硅谷那些有年轻创始人的公司里，这种幻想就是，“哦，我要进来，我要解决这个混蛋。”我不该这么说。但确实是，“我要进来，我要把整个事情搞定，我要让这个公司变得专业化。”
归根结底，你是在招聘队友，而不是某种魔法棒。你是在招聘一个你相信在较长时间内会在业务决策中展现出卓越判断力的队友。这正是我们曾经犯过的错误的地方：你并不是要买什么神奇的东西把神奇的配方带进你的企业，一下子就能让整个企业运转起来。
要知道，从另一个角度看，还有一种创始人幻想。创始人的幻想，或者说创始人/首席执行官的幻想，就是 "哦，我要去雇佣一群不可思议的执行官。他们都将是他妈的专家。然后，我要去......”
David：他们会做我不想做的事。
Alex：是的，“他们会做所有我不想做的事。然后我就可以坐下来，只需看着齿轮运转，机器工作。”这也是极不现实的，因为反过来也是如此。你之所以能成为一名优秀的创始人/首席执行官，是因为你在很长一段时间内一次又一次地做出了非常正确的决定，把自己从这些决策循环中拉出来有点疯狂。
David：这是我们经常看到的一种模式，即“我要雇用高管。我要退一步。”然后就会意识到 “哦，该死”，这时一些重大决策就会出错，创始人就会想起这才是他们存在的意义。
Alex：如果你所在的行业非常稳定，这可能是可行的。
David：看看任何一家上市公司，当他们更换CEO时，股价会波动大约2%。好吧其实这并不重要，这与由创始人运营的高速成长型初创公司有很大不同。
Alex：没错。我认为很多初创企业和很多公司的价值在于创新溢价。投资者相信，创始人领导的公司会在创新方面超越市场，所以你的工作就是超越市场，所以你最好参与战略决策。
07
PART 8
MEI以及Alex对人才招聘的看法
David：那MEI怎么样？你最近推出了这个概念。我想我的X动态中有一半的人在称赞你——其实可能不止一半，也有一部分人在责骂你。谈谈这个概念吧，到目前为止，你对推出它有什看法？
Alex：MEI，我们推出了 “能力、卓越、智慧 ”这一理念。基本的想法是，在每个岗位上，我们都会雇用最合适的人，不管他们的背景如何。我们不会为了达到某些人口统计目标而进行任何基于配额的员工优化，这并不意味着我们不关心多样性。实际上，我们非常重视在所有岗位上拥有多样化的招聘渠道和多样化的初步筛选。但归根结底，我们聘用的人一定是最优秀、最有能力胜任每项工作的人。这是一个略有争议的问题。但是，如果我们退后一大步来思考公司应该聘用什么样的人，我想这是显而易见的，公司应该雇用最有才华的人。
公司在其所从事的工作中要承担多大的社会责任显然是一个大问题。我的看法是，我所处的行业竞争非常激烈。Scale AI的作用是帮助人工智能发展，这是一项非常重要的技术。我们需要非常聪明的人才来完成这项工作。Scale 的大多数人都会说这是不言而喻的事实，或者说这并没有偏离我们许多人对 Scale 工作的看法。但将其编纂成文对我们来说真的很有价值，因为它给了每个人信心，即使这就是我们今天的运营方式。公司也会随着时间的推移而做出改变，但我们不会改变这种本心。
David：这真是不可思议。最后我想问一个乐观的问题和预测，你自己对通用人工智能（AGI）的看法或定义是什么？您预计达到这一目标的时间是什么？
Alex：我喜欢这个定义。比方说，80%以上的工作，人们可以纯粹通过计算机来完成，所以人工智能可以完成以数字为重点的工作。这并不是迫在眉睫，也不是马上就能实现的，还需要四年多的时间。但你可以看到曙光，而且根据我们之前谈到的算法创新周期，可能会更快。
08
David George/Andreessen Horowitz普通合伙人
Alexandr Wang/Scale AI 创始人兼首席执行官
Posted September 24, 2024，By a16z
翻译：AI Leap Studio
友情链接：www.a16z.com/Revolution
Albatross Venture
信天创投数字经济生态圈
点击关键词阅读详情
通用型
法大大 |链上科技 | 司库立方 | 缔联科技 | 海蜂法务 | JINGdigital | 九科信息 | 趣云数据 | 巧思科技 | 心知科技 | 爱设计&AiPPT.cn |
垂直型
美味不用等 | 手回集团 | 飞榴科技 | 十六进制 | 4KMILES | 领骏科技 | 九章数据 |豆沙包科技 | 劢微机器人 | 迈思科技 | 千巡科技 |
信天创投成立于2014年，立足于产业，聚焦数字化、绿色化的早期科技投资。目前基金管理规模为10亿人民币，投资项目包括法大大、兰度生物、手回集团、司库立方、劢微机器人等。
