Martin：能否介绍一下你的背景以及什么让你加入OpenAI？
Mira：我出生在阿尔巴尼亚。在这个与世隔绝的国家，这是一个非常有趣的时代。这种背景对我的教育以及对数学和科学的重视非常重要，因为那个时候的阿尔巴尼亚，数学和物理是重点。人文学科则有些问题，信息的来源和真实性很难确定。因此，我对数学和科学产生了浓厚的兴趣。
随着时间的推移，我的兴趣越来越多地从理论领域转向实际应用，并探索如何应用这些知识来建造东西。我学的是机械工程，后来在航空航天领域担任工程师。不久后，我加入了特斯拉，并在那里工作了几年。最初，我加入特斯拉是为了开发 Model S 双电机。之后，我又参与了 Model X 的初期设计，并最终领导了整个项目的启动。
就在那时，我对人工智能的应用产生了浓厚的兴趣，特别是自动驾驶。我开始更多地思考人工智能的不同应用。特斯拉之后，我继续从事增强现实和虚拟现实方面的工作，我想在不同领域积累经验。我认为现在是研究空间计算的最佳时机。
在这一点上，我开始更多地思考通用性的重要性。忘掉不同领域的能力，只关注通用性。当时有两个地方都在专注于这个问题：OpenAI 和 DeepMind。OpenAI 的使命深深吸引了我。
我觉得，没有什么技术会比 AGI 更重要了。当然，当时我并没有现在这样的信念。但我认为，如果你把智能作为一个核心单元来打造，那么它就会影响一切。还有什么比提升和增加人类的集体智慧更鼓舞人心的呢？
为什么许多AI领袖都来自数学和物理学
Martin：近年来,影响此领域的人多为物理或数学背景，与15年前电气或机械工程背景的工程师不同。你觉得现在是物理学家为计算机科学做贡献的时候吗？
Mira：确实，数学的理论空间和问题的本质，往往需要长时间思考一个问题。有时你睡一觉醒来，会有新的想法。在几天或几周的时间里，你可能会找到最终的解决方案。这不是迅速或迭代式的解决方案，而是一种不同的思维方式。你要建立一种直觉，同时也要有纪律，坚信自己能解决问题。随着时间的推移，你会建立一种直觉，知道什么问题是真正需要解决的。
Martin：现在面临的更多是系统问题、工程问题还是真正的科学问题？
Mira：都有。系统和工程问题很重要，因为我们正在部署这些技术，试图扩大它们的规模，提高它们的效率，使它们易于访问，这样就不需要深懂复杂的机器学习也能使用它们。
实际上，你可以看到通过API提供这些模型与通过ChatGPT提供技术之间的区别。从根本上说，ChatGPT采用的是带有人类反馈的强化学习技术，技术上相似，但吸引人的想象力和每天使用这项技术的能力完全不同。
自然语言界面
Martin: 我发现ChatGPT的API很有趣。在编程使用这些模型时，感觉像是用简单代码包装了超级计算机，有时候甚至想让模型自己编程。你设计ChatGPT时，是否考虑过未来的界面会是自然语言，还是传统的编程仍然重要？
Mira: 编程正在逐渐变得不那么抽象，我们现在可以通过自然语言与计算机进行高效交流。但技术的进步也在教我们如何真正与计算机合作，而不仅仅是对其编程。由于可以用自然语言编程，编程变得更为简单和容易。同时，在ChatGPT中，你可以实际上与模型合作，就像它是你的同事或伙伴一样。
Martin: 随着时间的推移，会发生什么，我们拭目以待。现在虽然已经可以使用API，但与同事的交流不同，它更自然。你认为随着时间推移，接口会变得更加自然语言化吗，或者传统的计算机和有限状态机仍会保持其地位？
Mira: 我们正处于一个转折点，重新定义与数字信息的互动方式，这主要通过我们合作的AI系统实现。可能会有不同能力的几个系统，或者有一个通用系统，它能随我们走到任何地方，了解我们的需求，知道我们的生活和工作目标，并帮助我们完成任务。
现在，我们正处于重新定义所有这些的阶段。我们不确定未来会是什么样，但我们正在努力将这些工具和技术提供给更多的人，让他们能够进行实验，也让我们看看会发生什么。这种策略我们从一开始就采纳了。
在ChatGPT发布前一周，我们还担心它可能不够好。但发布之后，人们告诉我们它已经足够好，并创造了新的应用场景。这就是当你让这些技术易于获取和使用时，每个人都能掌握时所能发生的事情。
OpenAI路线图
Martin：你如何在OpenAI决定下一步要做什么，专注于什么，发布什么或如何定位？
Mira：ChatGPT的诞生过程并非最初的计划。它的真正根源可以追溯到5年多以前，当时我们在思考如何制作一个安全的人工智能系统。我们不想仅仅依赖于人类编写的目标函数，因为可能会有代理问题或出错，这可能非常危险。因此，我们开发了人类反馈强化学习，目的是让人工智能系统与人类的价值观保持一致，并能接收人类的反馈。这样，它更有可能做正确的事，而不是做你不想让它做的事。
在开发出GPT-3并将其应用于API后，这是我们第一次真正将安全研究应用于现实世界。我们采用指令遵循模型来实现这个目标。我们使用这种方法从应用程序接口的客户那里获得提示，然后让承包商生成反馈，供模型学习。我们根据这些数据对模型进行了微调，建立了遵循指令的模型，使其更有可能遵循用户的意图，做你真正想让它做的事情。这一点非常强大，因为现在我们正在进入人工智能安全系统的阶段，问题变成了如何将其融入现实世界。
我们可以看到大型语言模型很好地呈现了现实世界的概念和想法，但在输出方面，存在很多问题，特别是幻觉问题。我们一直在研究如何解决幻觉和真实性问题，以及如何让这些模型表达不确定性。
ChatGPT的前身是WebGPT，它使用检索来获取信息并引用来源。我们认为对话非常特别，它允许你提出问题，纠正对方，并表达不确定性，因此WebGPT变成了ChatGPT。
Martin：因为你们在互动，所以不断发现错误......
Mira：是的，有了这种互动，你就能获得更深层次的真理。我们沿着这条路走下去，用GPT-3和GPT-3.5做了一些实验，并对安全性感到非常兴奋。但当时我们已经训练出了GPT-4，我们在OpenAI内部对GPT-4感到非常兴奋，并将ChatGPT置于后视镜中。然后我们意识到，我们要用6个月的时间专注于GPT-4的调整和安全性。其中最主要的一件事，就是把ChatGPT交给研究人员，因为我们有了这种对话方式，他们可以给我们反馈。我们的初衷其实是希望从研究人员那里获得反馈，并利用这些反馈使GPT-4更统一、更安全、更强大、更可靠。
Martin：当你说对齐和安全时，你是指它是正确的，并能完成它想要做的事情？还是说安全，实际上是指避免某种伤害？
Mira：对齐通常是指它与用户的意图一致，能准确地完成你想要它做的事情。但安全性还包括其他方面，比如避免滥用，即用户故意使用模型来创造有害输出。我们希望让模型更有可能做你希望它做的事情，并解决幻觉问题，这显然是一个极其困难的问题。我们确实认为，如果我们能利用强化学习的方法，再加上人类的反馈，可能就是我们所需要的。
Martin：那么，没有什么宏伟计划吗？就是 "我们需要做什么才能实现人工智能？" 这只是一个接一个的步骤。
Mira：是的，是的，还有一路上你所做的所有小决定。几年前我们确实做出了一项战略决策，要开发一款产品。我们认为不能只在实验室里，在真空中开发这些东西，而不从真实世界的用户那里获得反馈。这是我们的假设，这也帮助我们做出一些决定，并建立了底层基础架构，使我们能最终部署ChatGPT这样的产品。
规模定律
Martin: 缩放法的持续进步和可能面临的收益递减问题是个大议题。你觉得我们能继续看到进步，还是正在走向收益递减？
Mira: 没有证据显示在数据和计算轴上扩展模型会停止带来更强大的模型，但要达到通用人工智能可能需要其他突破。在扩展规律方面，从这些大型模型中获得大量收益的路还很长。
Martin: AGI的定义是什么？
Mira: OpenAI章程中定义，AGI是能够自主完成大部分智力工作的计算机系统。
Martin: 罗伯特-西原提出了从电脑到爱因斯坦的连续体问题，我们处于何处，将解决什么问题？
Mira: 通过微调可以得到很多，但大多数任务我们仍处于实习水平。问题在于可靠性，不能完全依赖系统。如何提高系统的可靠性，同时扩展这些模型的新兴能力和新功能是个问题。
Mira: 即使新兴能力非常不可靠，也要关注它们。特别是对于正在创建公司的人来说，要思考："今天有哪些事情是可能的？看到了什么曙光？”很快，这些模型就会变得可靠。
一个模型统治一切？
Martin: 我想探讨一下未来的情况，特别是从经济效益的角度。我回想起了硅产业的情况，在90年代购买电脑时，有各种奇怪的协处理器负责不同的功能，但最终这些功能都被CPU整合了。这种通用性创造了英特尔和AMD这类公司。制造这些芯片需要大量资金。对于未来，我看到两种可能：一种是通用大型模型消耗所有功能，另一种是多种模型共存，各自设计不同。你觉得是OpenAI和其他人，还是所有人会朝哪种方向发展？
Mira: 这取决于你想做什么。很明显，这些人工智能系统将做越来越多我们正在做的工作。它们将能够自主运行，但我们需要提供方向、指导和监督。但我不想做很多每天都要做的重复性工作。我想专注于其他事情。也许我们不必每天工作10、12个小时，也许我们可以减少工作量，实现更高的产出。关于如何在平台上实现这一点，你今天就可以看到，我们通过应用程序接口（API）提供了很多模型，从非常小的模型到我们的前沿模型。
人们并不总是需要使用最强大、最有能力的模型。有时，他们只需要真正适合他们特定用例的模型，而且这种模型要经济得多。我认为这将是一个范围。但是，是的，就我们对平台玩法的想象而言，我们肯定希望人们在我们的模型基础上进行构建，我们希望为他们提供工具，让这一切变得简单，让他们拥有越来越多的访问权和控制权。你可以带来你的数据，你可以定制这些模型。你可以真正专注于模型之外的层，并定义产品，这实际上真的很难。现在有很多人都在关注建立更多的模型，但在这些模型之上建立好的产品却非常困难。
接下来的5-10年
Martin：请你预测一下3年、5年或10年后的发展方向。
Mira：未来的基础模型将不仅处理文字，还会处理图像、视频等多种模式，以更全面地理解世界。我们会朝这个方向扩展，让预训练模型能理解世界，就像我们一样。在输出部分，我们将引入强化学习和人类反馈，以确保模型可靠地完成我们要求的任务。可能还需要引入浏览功能，以获得最新信息和解决幻觉问题。在产品方面，我们想整合所有这些到一个可以合作的代理集合中，并提供一个可供人们在其基础上构建的平台。随着模型变得更强大，确保它们与我们的意图保持一致将是个挑战。我们在OpenAI已组建了一个团队，专门研究这个超级对齐的技术挑战。