文章背景
本对话是a16z人工智能革命系列的一部分，该系列由人工智能领域一些最具影响力的建设者讨论和辩论人工智能的现状、未来走向和重大开放性问题。
本文由Databricks 的首席执行官兼联合创始人 Ali Ghodsi 和 a16z 的联合创始人 Ben Horowitz 解释了企业内部和外部发生的数据大战，以及它们如何影响 LLM 的发展。
（补充说明：Databricks 成立于 2013 年，由 Apache Spark™、Delta Lake 和 MLflow 的原创者创建。Apache Spark™ 是一个由 UC Berkeley 的研究团队开发的开源大数据处理框架。
Databricks 提供了一个统一的数据智能平台，让你可以在一个平台上处理数据、分析数据和构建人工智能应用。它支持湖仓一体化（Lakehouse）的架构，提供了一个协作式的环境，利用了生成式人工智能（Generative AI）的技术，提供了一个灵活的平台。
Databricks 的平台可以与企业现有的 ETL、数据摄取、商业智能、人工智能和治理工具集成，让企业快速实现数据和人工智能的成功。Databricks 的使命是简化和民主化数据和人工智能，帮助数据团队解决世界上最棘手的问题。）
为什么企业很难采用人工智能？
Ben: 谈到生成式人工智能，作为一家风险投资公司，我们观察到各种各样的公司。有些公司有惊人的吸引力，但每个有吸引力的公司似乎都属于某个类别，比如销售给开发者或消费者，或者可能销售给小型律师事务所。但我们还没有看到任何在企业领域有牵引力的公司。作为企业人工智能基础设施，为什么企业很难采用生成式AI呢？
Ali: 因为企业行动缓慢。它的美妙之处在于，如果你破解了密码并进入其中，他们就很难把你赶出去。他们只是行动比较慢,这是第一点。第二，他们对数据的隐私和安全问题超级恐慌。每个人都在谈论数据，谈论了10 年、15 年、20 年了。我意识到我的数据有多宝贵。我正坐在一个宝库里，并且会超级成功。但现在我终于意识到我的这个数据集有多宝贵，我绝对不想把它给你。我应该谨慎行事。然后就是关于数据泄露的报道。突然间，LLM 会把你的代码或源代码吐出来。他们对数据的隐私和安全问题也很恐慌。所有这些事情都在减慢它的速度，他们也在思考这个问题。
企业面临的第二个挑战是，对于很多应用来说，我们需要数据准确无误。
Ben：那些企业说得对吗？他们真的需要数据准确无误吗？
Ali：我认为这取决于应用。他们只是在谨慎行事，而且速度很慢，大企业就是这样。还有最后一个方面，大家都没提到，那就是大型企业内部的“混乱战争”。
Ben：都有谁在战场里？
Ali：我才是生成式AI的主人，不是Ben。然后你就到处说，"嘿，我才是生成式AI的主人"。内部就会为了谁拥有它而大打出手，互相拖后腿。然后他们说，"嘿，别相信Ben ，因为他处理数据的方式不对" 但我正在构建我的 GenAI，GenAI 的所有者是谁还不清楚。是IT部门吗？是产品线吗？还是业务部门？
大型企业内部正在发生巨大的政治斗争。他们想这么做，但路上有这么多障碍，而且价格昂贵。谁能破解其中的密码，谁就能创建一家了不起的公司。
企业数据战争
Ben: 企业因为各种原因不愿将数据提供给OpenAI、Anthropic、Bard，或其他公司，他们的顾虑是正确的吗？还是他们有些过于谨慎，通过将数据放入一个大模型中，他们可以获得更多的价值？
Ali: 他们可以获得价值。我有机会与这些大公司的CEO交流，而以前他们对我所做的事情不感兴趣。我曾与CIO交流，但突然间，他们想要交流了。他们说：“我想要这个生成式人工智能，我想要谈论公司的战略。我们有这个数据集，它非常有价值，我们必须对其采取一些行动。这个生成式人工智能似乎很有趣。”
其中一件真正有趣的事情发生在CEO和董事会的思维中，他们意识到：“也许我能击败我的竞争对手。也许这就是帮助我击败敌人的氪金。有了生成式人工智能，我实际上可以这样做。”
然后他们在思考：“但我必须自己构建，我必须拥有它。我必须拥有知识产权。我不能只是把知识产权交给Anthropic或OpenAI。它必须是完全专有的。我们办公室外有许多来自不同部门的人在排队，他们表示实际上他们可以做到，而且他们确实可以做到。我们正在努力弄清楚应该把这项任务交给其中的哪一个人。”这就是当前内部正在发生的情况。
大LLM和小LLM
Ben: 有趣。从战略的角度来看，假设你拥有一个庞大的数据集，比如医疗数据集、某种安全数据集或尼尔森的数据集。他们能否通过使用自己的数据构建出更好的模型？或者，如果他们把数据放入其中一个大型模型中，是否总能超越他们目前所做的？
Ali: 这就是我们收购Mosaic的原因。他们可以。这很难，需要大量的GPU。Mosaic的团队刚好找到了如何为其他人大规模实现这一目标的方法。"你想从零开始构建自己的LLM吗？来找我，我知道所有的雷区。它会很顺利，相信我。"
他们可以做到；他们已经为大客户做到了。这不是一项轻松的任务。需要大量的GPU，成本很高，而且取决于你的数据集和应用。他们为大型企业从零开始进行训练，而且效果很好。
Ben: 好消息是这都是我的数据，没有人能触及它。但是，更大的模型是否会得到更好的答案，如果我将相同的数据放入这个大模型中呢？或者，是经过Mosaic调优的、特定于企业的、特定于数据集的模型会表现得更好？你如何看待这个问题？
Ali: 对于特定应用，你不需要一个很大的模型。首先，你可以通过Mosaic和Databricks构建一个大模型。只要你有足够资金。如果你愿意，我们很乐意训练一个包含100个布尔参数的模型。即使你有足够的钱训练它，使用它也会花费很多。当你使用它进行推理时，成本会更高。
Ben: 你如何看待数据集的边际收益，与参数数量、数据量相比呢？更大的模型是否开始出现边际效益的减少，无论是在延迟方面还是在费用方面？
Ali: 存在一个缩放法则（ scaling law）。如果你增加参数，就必须同时增加数据。如果你没有这样做，你就无法在扩展中获得物有所值。如果你在任何一个维度上增加参数或仅增加数据，你仍然会得到改进。但是...
Ben: 但你要付出代价。
Ali: 你会付出代价，这变得低效了。它不再是帕累托最优的。对于那些有特定应用的企业，当他们来找我们时，他们不说：“嘿，我想要一个可以回答所有问题的LLM。” 他们说：“这是我想做的。我想要从这些图片中识别出制造过程中的特定缺陷。” 在这个场景里准确性很重要。如果你有一个好的数据集进行训练，你可以训练一个较小的模型——延迟会更短，以后用起来也更便宜。你绝对可以获得超越真正大型模型的准确性，但是你构建的模型不能在周末娱乐、回答物理问题或帮助你的孩子做作业。
Ben: 为什么你认为对于Databricks来说，构建一个非常大的模型是重要的呢？
Ali: 如果你遵循缩放法则（ scaling law），更大的模型在智能方面会更为强大。如果你愿意支付代价，你有GPU，而且能破解如何对更大的模型进行微调的代码。这是当前所有人在研究界、领域内和企业中都在寻找的圣杯。
微调
Ben：能把“微调”说得更具体些吗？
Ali：把一个现有的非常棒的模型，也就是现有的基础模型，稍微修改一下，让它在其他任务的表现上变得非常出色。有很多不同的技术可以做到这一点，但现在还没有人真正破解如何在不修改整个模型本身的情况下，做到这一点。这样做成本很高，尤其是当你以后想使用它的时候。
Ben：因为你必须查看所有节点。
Ali：是的。如果你制作了一千种不同功能的版本，并将每个版本都加载到 GPU 上，那么为它们提供服务就会变得非常昂贵。每个人都在寻找的 "圣杯 "是什么？
Ben：就是大脑的那一部分。
Ali：没错。就是加这个东西：很多技术，前缀调整、LoRA、CUBE LoRA 等等。目前还没有定论，没有一个真的是一锤定音的，但会有人成功的。
一旦掌握了这些技术，几年后，最理想的状态就是建立一个非常智能的大型基础模型。然后在它的基础上，添加一些额外的模块，这些模块是针对某个特定的任务进行调优的，比如识别制造过程中的错误，或者进行不同语言之间的翻译。这样，你就可以得到一个更适合你的需求的模型，它可以在这个特定的任务上表现得更好。
Ben：到时候，它们处理任务的计算效率和能效都会很高。
Ali：没错。然后，你还可以在 GPU 上加载 1 个智能大脑、1 个巨型模型，然后将其专用化。但要明确的是，目前还没有人真正做到这一点。
Ben：这是要做的。
Ali：我想很多人都希望这么做，但可能并不容易。与此同时，我们也有很多客户希望拥有更便宜、更小巧、精度和性能都很高的专用模型。
在 Databricks，我们收购了 Mosaic。我并没有动用我们的销售队伍，去一个有 3000 人的市场推销我们买下的东西，因为我们根本无法满足需求。没有足够的 GPU。
Ben：所以你甚至不让你的同事去卖它？
Ali：是的，我甚至不让所有客户都买这个东西，因为我们没有 GPU。每家公司都想这么做。"我有上千种东西想做，你能帮我做吗？"
Ben：在这种情况下，你认为这些应用的Fragment 程度如何？你谈到希望它能帮你做孩子的家庭作业，希望它能成为自己的女朋友。你认为这些非常具体的应用在多大程度上会Fragment 化？在这种情况下，我们发现让模型做你想做的事情是用户上传数据的优势所在。如果我想让它给我画一张特定的图片，需要进行很多对话。不管是谁，只要能画出这样的图片，就一定是高手。但也可能有另一个模型想要绘制表情包，但绘制漂亮图片的东西却无法绘制表情包，因为这涉及到文字和其他东西，而它还没有学会从人类中提取并映射到自己的模型中。
你认为我们会在多大程度上实现大量专业化，而不是，一旦大脑变得足够大，我们进行了这些微调，就会是这样。就像 AWS、GCP 和 Azure 一样。
Ali：我认为答案更接近后者。它会有很多专业化的东西。尽管如此，这并不是一个二分法，因为它们可能都在使用一些基础模型，而这些模型在很多情况下都是通用的。你并不是每次开发都从零开始......
Ben：但你在以某种方式进行调整。
Ali：是的。我认为，从某种意义上说，这个行业和人们都看错了。现在的情况有点像 2000 年，互联网即将接管一切，每个人都超级兴奋。有一家公司叫思科，他们制造路由器。谁能制造出最好的路由器，谁就能永远主宰整个互联网，决定人类的未来。思科是迄今为止最好的一家。思科公司在 2000 年的巅峰时期市值达到了 5 万亿美元。人们都在谈论它将成为一家价值万亿美元的公司。它的价值超过了微软。
现在，我觉得有点像。谁拥有最大的 LLM？显然，谁能建立最大的 LLM，谁就能拥有所有的人工智能和人类的未来。但就像互联网一样，以后也会有人出现并想到 Uber 顺风车和出租车司机，然后最终都会有这些应用。其中很多都是显而易见的。马克在《为什么人工智能将拯救世界》中谈到了这一点。不会只有一个由 OpenAI 或 Databricks 或 Anthropic 建造的模型，而且这个模型会主宰所有的用例。不，要打造一个你信任的能治愈你的医生，需要很多的东西。
这些才是我们未来要建立的公司，我认为这些公司会有很大的价值。思科路由器和 LLM 等都有用武之地。思科仍然是一家很有价值的公司，但我认为现在有点过分关注了。
开源人工智能
Ben：有意思。你是如何看待开源的，因为很多大型模型提供商都在说，"现在必须停止开源，你得取缔它"。他们为什么这么说？他们有合理的不满吗？
从Databricks的角度来看，你们是如何看待Mosaic和其他东西（比如LLaMA）的开源的？
Ali：如果最初的 LLaMA 从来没有发布过，那么现在的世界和我们对人工智能的看法会是怎样的？我们会落后很多。它是一个存在于开源中的大型模型。而且它是开源的。这两件事完全改变了现在人工智能发生的一切。
LLaMA 这个模型的大小（规模）和它的开源性（可获取性）都是它的优势，它们让它能够在人工智能领域产生巨大的影响。它不会因为已经发布而停止发展，它还会继续增长和改进。而且要阻止这个模型的传播和使用也很难，因为它的源代码很简单，只有几页，很容易被复制和修改。
Ben：是的，但你也必须有权重。
Ali：是的，但权重泄露了。权重会泄露出去，人们会不断调整权重。还有一些提炼技术，你可以从模型的连续输出中提取权重，然后训练更小的权重，再训练其他权重，等等。
我认为开源技术会越来越好，技术也会越来越多。因为存在稀缺性--他们没有 GPU--他们会想出更高效的技术，比如fast transformer。
与此同时，我也认为，如果有人训练出了一个非常出色的巨型模型，那么他通常不会有动力发布这个模型。
我们通常看到的情况是，开放源代码落后于专有源代码。专有的东西遥遥领先，而且更好。在一些罕见的情况下，比如 Linux，它会绕过专有技术。在这种情况下，它将改变游戏规则。
Ben：这种情况会发生吗？
Ali：很难预测。现在看来，你需要大量 GPU 才能做到这一点。
Ben：当 GPU 变得非常丰富时呢？这几乎肯定会发生。
Ali：GPU 变得丰富起来，或者对转换器进行某些调整，让你以更高的学习率进行训练，你就不会有那么多问题了......
Ben：没错，因为它们现在效率超低。它们不能再低效了。
Ali：是的。然后他们就会被释放。大学们已经迫不及待了，因为现在的情况是，大学们觉得有点......
Ben：他们被淘汰了，他们甚至不再参与游戏，因为他们需要做出改变。
Ali：这是我的游戏。我在玩这个游戏。我在投资。现在你们把我赶了出来，我甚至不能参与，因为我没有 GPU，也没有资金。大学内部的研究人员正面临着巨大的危机。
Ben：我看你把我的人都雇走了。
Ali：他们的人都要走了，因为他们想就近工作，在有数据的地方训练模型，做这些事情。而在大学里，这些都没有。那么大学在做什么呢？他们在研究如何破解密码。我们怎样才能让它更容易、更便宜，怎样才能发布它？因此，创新会不断涌现。
我认为，开源与专有之间的这种竞争将继续下去。最终，开放源代码会迎头赶上，所以回报会越来越少。我认为，我们会在缩放规律上碰壁。你在X轴上向右移动，曲线也向右移动，最终你就会得到AGI。它正在发生，这是肯定的。我认为我们会遇到收益递减的问题。
Benchmarks （基准）都是胡说八道
Ben：你认为我们在实现 AGI 之前会陷入困境，我们需要真正的突破，而不仅仅是更大的规模。
Ali：我也认为，在几乎所有的使用案例中，如果你认真尝试将其用于医学或律师等领域，很快就会发现你需要在回路中加入一个人类来增强它（Human in the loop）。你不可能现在就放任自流。它很笨，会犯错，也许会好起来。
Ben：但它在医学考试上比医生还好。
Ali：这是件有趣的事。我觉得所有的基准（Benchmarks）都是扯淡。所有LLM的基准都是这样的：想象一下，在我们所有的大学里，我们会跟学生说："我们将在前一天晚上给你们考试题，你们可以看看答案。然后第二天，我们把你叫来，你来答题。然后我们会给你打分" 突然间，每个人的考试成绩都很好。
例如，很多人用 MMLU（一个全面评估模型的学术和专业理解的基准） 来评估这些模型的性能。MMLU 只是一些网上的多选题。它会问一个问题，“答案是 ABCDE 中的哪一个？”然后它会告诉你正确答案是什么。它在网上，你可以有意地在它上面训练，做出一个在它上面表现很好的 LLM。或者你可以无意中，在你用来训练你的模型的数据集里，碰巧看到一些在别的地方出现过的问题。所以这些基准有点不靠谱。
Ben：嗯，它们是参加测试的基准，但大概测试与能否做出医疗诊断决定有关。
Ali：是的。但他们把这些都记住了。
Ben：但从考试记忆到实际诊断，并没有迁移学习......
Ali：没有人真正知道答案。现在每个人都在这样玩基准测试游戏。如果能有一大群研究人员...
Ben：这就像以前的假数据库基准测试，说 "看看我们的数据库有多快"。但它只适用于实际基准。
Ali：如果有一群医生聚在一起，制定出一个超级保密的基准，而且不给你看，那我就太开心了。你把你的模型给他们，他们会在此基础上进行提问。然后他们会回来告诉得分。但现在不是这样的。
所以，我的观点是，我认为现在你需要一个人在环路中。我认为，我们需要一个阶段性的改进，才能在大多数重要任务中完全消除人类的参与。
Ali为何不惧怕当今的人工智能
Ben：让我来谈谈你回避的问题，即大型模型与开源模型的道德标准是什么？或者，总的来说，责任是什么？威胁有多大？开源是否是一种道德威胁？
Ali：我没有所有的答案。有不同的分类。有一类是 "工作机会将消失"。我们已经这样做了 300 年，GDP 最高的国家都是自动化程度最高的国家。
Ben：他们拥有最多的工作岗位和最高的就业率。
Ali：我们有办法解决这个问题，而解决的办法不是停止一切进步。那太愚蠢了。胜出的国家都是在自动化方面做得很好的国家，不仅仅是一般的人工智能，还有效率的提高。经济学的核心就是效率。
然后是人类因为恶意而故意做的坏事，这是我认为马克最担心的一点。但自从锤子发明以来，我们就开始以一种不好的方式滥用技术。
Ben：当你有一把锤子时，你的头看起来就像钉子。
Ali：每一次技术进步都会出现这种情况，尤其是互联网。我认为马克在文章中回避了一个大问题，那就是：我们是否会得到一个决定毁灭我们的超级人工智能？我不...
Ben："决定 "这个部分让我有点迷茫。自由意志并不是机器的必经之路。机器正在进行许许多多的计算。在人类历史上，我们从未让机器进行过如此多的计算。这很了不起，但这与......没有任何一个 LLM 曾经决定做任何事是完全不同的。这不是他们的工作。所以现在它们有了自由意志，我们该怎么办？
Ali：我确实认为这些假设......如果你有一个东西具有这种程度的智能，可以控制事物等等，那么我确实认为这是一个很大的风险。只是我认为这不会很快发生。原因如下：有几件事情人们并没有注意到。所以，我不同意马克说的 "哦，这就像烤面包机一样"。你的烤面包机不会决定杀了你" 我不相信，这不是真的。这东西很聪明，它有推理能力，如果你把它和机器人连接起来，它就能开始做事了。
Ben：让它在没有安全保障的情况下自由运行。
Ali：自由运行，说干就干，那就会造成很大的损失。我不太担心这种情况的原因如下：要想获得 GPU 并有钱来训练一个新模型是非常昂贵和困难的。
如果这样一来，只需 10 分钟就能训练出一个和我们现有的最大、最好的模型一样好的新模型，那我们就完蛋了。因为有些混蛋会说，自动 GPT，连接它，写一堆自己的版本。并行试一试，做一百万个这样的并行程序，然后看看你是否越来越聪明。
然后在你意识到这一点之前，也许在 12 个月之后，我们发现了一个更好的变压器版Ben，它的效率更高一些。现在，10 分钟变成了 2 分钟，然后你就开始了一场竞赛，最终你会进入一个循环，它可以自己创造。
现在，训练一个新的大型巨型模型非常昂贵，也非常困难--比直接向它提问要难得多，不像人脑，我可以记住新东西，并迅速更新我的大脑。我还可以读取记忆中的东西，告诉你一些事情。现在，这是一个巨大的不对称。
其次，我们还没有破解机器像人类一样进行生物自我繁殖的密码。一旦你能自动复制和制造新的机器......一旦你破解了这个循环的密码，是的，那么我认为我们就完蛋了。但我们离那还很远。没人能真正做到。仅仅是移动缩放定律，让这些东西的推理能力越来越好，并不能解决我提到的问题。我认为这才是我们现在的救命稻草。
Ben：好了，在这个愉快的时刻，我们要结束了。感谢Ali今天的到来。谢谢大家。谢谢大家。