ChatGPT创始人Sam Altman在OpenAI博客发表最新文章《Planning for AGI and beyond》，介绍了OpenAI对于通用人工智能的未来规划，包括OpenAI最关心的三大原则、短期目标以及长期目标等。一方面，这些文字字里行间体现了Sam Altman及OpenAI团队对发展AGI（Artificial General Intelligence）的信心，我们有生之年也许会迎来一个AGI无处不在的世界；另一方面，我们也从中读出了责任，OpenAI团队为了避免AI可能造成的滥用，制定了关于AGI发展的三项规则，呼吁大家就AGI展开对话并达成共识。
深度学习技术出现后，AI每隔一段时间就会给我们一次惊喜。从2012年AlexNet在ImageNet竞赛中一战成名开始，到2016年AlphaGO在围棋中战胜李世石，再到2020年底AlphaFold2在蛋白质预测任务上将误差降低到1埃，直到最近ChatGPT成为历史上最快达到1亿月活用户的产品，再次点燃全社会对于AI的热情。曾经遥不可及的AGI，或许真的已经在到来的路上。不过，和OpenAI一样，我们坚信AI不会像终结者中那样对人类造成威胁，而是会将人从简单的重复工作中解放出来，并增强人的聪明才智和创造力，提高整个社会的生产力，成为解决人类问题的关键所在。
甚至，我们畅想得更远一点，将人工智能技术和生命科学技术深度融合，综合硅基和碳基形态的优势，也许会创造出我们想象的生命形态，帮助人类真正走出太阳系，成为星际文明。当然，就如同最早接触火的人类一样，我们需要循序渐进，逐步学会控制AI，否则可能会反遭其害。
OpenAI的使命是实现通用人工智能系统（AGI，Artificial General Intelligence，即通用意义上比人更聪明的人工智能系统），从而造福全人类。
如果AGI能被成功创造出来，这项技术可以帮助我们提高人类的富裕程度，成为全球经济的增长引擎，帮助发现新的科学知识，突破科技极限。
AGI 有潜力给每个人带来令人难以置信的新能力; 我们可以想象一个全新的世界，在那里，我们所有人在完成任意认知任务时都可以获得帮助，从而为人类的聪明才智和创造力提供强大的力量倍增器。
另一方面，AGI 也伴随着严重的误用风险、重大的事故和社会混乱。但由于 AGI 的优势是如此巨大，我们不相信社会会接受永远停止发展它; 但社会和 AGI 的开发者必须弄清楚如何正确地发展它。[1]
虽然我们无法准确预测未来会发生什么，我们当前的进展也可能遇到阻碍，但我们可以清楚地表达出我们最关心的原则：
1. 我们希望通用人工智能可以赋能人类文明在宇宙中极大繁盛。我们不期望未来成为一个无限制的乌托邦，但我们希望将好处最大化，将坏处最小化，让 AGI 成为人类文明的放大器。
2. 我们希望 AGI 的利益、使用和治理得到广泛和公平的分享。
3. 我们希望成功地应对巨大的风险。在面对这些风险时，我们承认理论上似乎正确的事情在实践中往往比预期更奇怪。我们认为，我们必须通过部署功能较弱的技术版本来不断学习和适应，以最大程度地减少“一次成功”的场景。
为了准备 AGI，我们认为现在有几件重要的事情要做。
首先，随着我们持续创建更加强大的系统，我们希望部署它们并获得在现实世界中操作它们的经验。我们相信，这是谨慎管理 AGI 的最佳方式ーー逐步过渡到一个有 AGI 的世界要比突然转变要好。我们期望强大的人工智能使世界的进步速度更快，我们认为最好的方法是一点点逐步去适应。
一个渐进的过渡可以给人们、政策制定者和机构有时间去理解正在发生的事情，亲身体验这些系统的好处和缺点，调整我们的经济，并实施监管。它还允许社会和人工智能共同进化，并允许人们在风险相对较低的情况下共同弄清楚自己想要什么。
我们目前认为，成功应对人工智能部署挑战的最佳方法是通过快速学习和谨慎迭代的紧密反馈模式。社会将面临人工智能系统被允许做什么、如何消除偏见、如何处理工作岗位流失等重大问题。最佳决策将取决于技术所采用的路径，并且与任何新领域一样，迄今为止大多数专家的预测都是错误的。这使得在真空中进行计划变得非常困难。[2]
一般来说，我们认为在世界上更多使用人工智能会带来好处，并希望推广它（通过将模型放入我们的 API 中，将它们开源等）。我们相信，大众的访问也将导致更多更好的研究、分散的权力、更多的利益和更广泛的人来贡献新的想法。
随着我们的系统越来越接近 AGI，我们对模型的创建和部署也会变得越来越谨慎。在新技术的应用上，我们的决定要比社会通常更加谨慎，也比许多用户希望的更加谨慎。人工智能领域的一些人认为 AGI （以及后续系统）的风险是虚构的; 如果他们最终被证明是正确的，我们将感到高兴，但我们将以AGI存在风险为前提来安排我们的工作。
随着我们的系统越来越接近 AGI，我们对模型的创建和部署变得越来越谨慎。
在某些时刻，部署利弊之间的平衡（例如授权恶意行为者、制造社会和经济混乱、加速不安全的竞赛）可能会发生变化，在这种情况下，我们将围绕所持续进行的部署，来显著改变我们的计划。
其次，我们正在努力创建更加一致和可控的模型。我们从 GPT-3的第一个版本等转换到 InstructGPT 和 ChatGPT 就是一个早期的例子。
特别是，我们认为社会在人工智能的使用边界上达成一致是非常重要的，但在这些边界内，个人用户有很大的自由裁量权。我们最终的希望是，世界各机构能就这些宽泛的边界是什么达成一致；在较短期内，我们计划对外部输入进行试验。世界各机构将需要通过额外的能力和经验得到加强，以便为有关 AGI 的复杂决策做好准备。
我们产品的“默认设置”可能会受到很大限制，但我们计划让用户可以轻松更改他们正在使用的 AI 的行为。我们相信应赋予个人自主决策的权力，以及思想多样性的内在力量。
随着我们的模型变得更加强大，我们将需要开发新的对齐技术(并测试以了解我们当前的技术何时失败)。我们的短期计划是使用人工智能来帮助人类评估更复杂模型的输出并监控复杂系统，而从长远来看，我们将使用 AI 来帮助我们提出新的想法以获得更好的对齐技术。
重要的是，我们认为我们经常需要在人工智能的安全性和能力上同时取得进展。分开讨论它们是错误的二分法; 它们在许多方面是相互关联的。我们最好的安全工作来自与我们最有能力的模型一起工作。也就是说，提高安全进步与能力进步的比率很重要。
第三，我们希望就三个关键问题展开全球对话：如何治理这些系统，如何公平分配它们产生的好处，以及如何公平共享访问。
除了这三个领域之外，我们还试图建立一种结构，使我们的激励措施与良好结果相一致。我们的章程中有一个条款是关于协助其他组织提高安全性，而不是在后期 AGI 开发中与他们竞争。我们对股东可以获得的回报设定了上限，这样我们就不会被激励去试图不受约束地获取价值，也不会冒险部署一些具有潜在灾难性危险的东西（当然这也是一种与社会分享利益的方式）。我们有一个非盈利组织来管理我们，让我们为了人类的利益而运作（并且可以凌驾于任何盈利利益之上），包括让我们做一些事情，比如在安全需要的情况下取消我们对股东的权益义务，并赞助世界上最广泛的 UBI 实验。
我们试图以一种使我们的激励措施与良好结果相一致的方式来建立我们的结构。
我们认为像我们这样在发布新系统之前提交独立审计的努力是很重要的；我们将在今年晚些时候更详细地讨论这个问题。在某些时候，在开始训练未来系统之前获得独立审查可能很重要，而且最好能努力就用于创建新模型的计算增长率的限制达成共识。我们认为关于 AGI 工作何时应停止训练运行、确定模型可以安全发布或从生产使用中撤出模型的公共标准很重要。最后，我们认为重要的是世界主要政府对超过一定规模的训练要有洞察力。
我们相信人类的未来应该由人类决定，与公众分享有关进步的信息很重要。应该对所有试图建立 AGI 的努力进行严格审查，并对重大决策进行公众咨询。
第一个 AGI 将只是智力连续体上的一个点。我们认为，进展很可能会从那里继续，可能会在很长一段时间内保持我们在过去十年中看到的进展速度。如果这是真的，世界可能会变得与今天截然不同，风险可能会非常大。一个错位的超级智能 AGI 可能会对世界造成严重的伤害; 一个拥有决策型超级智能领导的独裁政权也可能造成这样的伤害。
可以加速科学发展的人工智能是一个值得思考的特例，也许比其他任何事情都更有影响力。有足够能力加速自身进步的 AGI 可能会导致重大变化发生的速度更快（即使转变开始缓慢，我们预计它在最后阶段也会快速发生）。我们认为较慢的起飞速度更容易确保安全，在关键时刻协调各个AGI以放慢速度很重要（即使在我们不需要这样做来解决技术对齐问题的世界中，放慢速度对于给社会足够的时间来适应也很重要）。
成功过渡到一个拥有超级智能的世界，或许是人类历史上最重要、最充满希望、最可怕的项目。成功远非板上钉钉，而利害关系（无限下行与无限上行）有望把我们所有人团结起来。
我们可以想象一个人类繁荣到我们任何人都无法完全具象的世界。我们希望为世界贡献一个与这种繁荣相一致的通用人工智能。
注释：
[1]相对于我们之前的预期，我们似乎额外得到了很多赠予：例如，看起来创建 AGI 需要大量算力，于是世界就知道谁在做这件事，看起来最初的概念是高度进化的强化学习代理相互竞争，以一种我们无法真正观察的方式进化智能，这种可能性比最初看起来的要小，而几乎没有人预测到我们会在预训练语言模型上取得这么大的进展，这种模型可以从人类的集体偏好和输出中学习，等等。
AGI 可能发生在不久的将来或者很远的未来; 从最初的 AGI 到更强大的后续系统的起飞速度可能是缓慢的，也可能是快速的。我们中的许多人认为，在这个二乘二矩阵中，最安全的象限是较短的时间线和较慢的起飞速度；较短的时间线似乎更易于协调，更有可能由于较少的计算而导致起飞速度变慢，而较慢的起飞时间，使我们有更多时间根据经验找出如何解决安全问题以及如何适应。
[2]例如，当我们最初启动 OpenAI 时，我们并没有想到规模会如此重要。当我们意识到这越来越重要的时候，我们也意识到我们原来的架构不会成功ーー我们根本无法筹集到足够的资金来完成我们作为一个非营利组织的使命ーー所以我们想出了一个新的结构。
再举一个例子，我们现在认为我们最初关于开放的想法是错误的，并且已经从认为我们应该发布所有东西（尽管我们开源了一些东西，并且期望未来开源更令人兴奋的东西！）转向认为我们应该弄清楚如何安全地共享系统访问和好处。我们仍然相信，社会了解正在发生的事情的好处是巨大的，并且实现这种理解是确保所构建的是社会集体想要的东西的最佳方式（显然这里有很多细微差别和冲突）。
https://openai.com/blog/planning-for-agi-and-beyond/
想入群参加讨论，可以在公众号后台留言“入群”，工作人员会与您联系。
关于碳硅智慧 (www.carbonsilicon.ai)
碳硅智慧是一家聚焦于新药研发的科技公司，我们的定位是新药研发领域的人工智能基础设施和服务提供商。希望将最先进的生命科学技术与人工智能等信息科学技术深度融合，面向新药研发领域，利用人工智能、物理计算，以及自动化软硬件技术，三轮驱动，通过提高新药研发领域生产数据、管理数据以及对数据进行AI建模的能力，将新药研发的各个环节数字化和智能化，解决新药研发难题。
关于DrugFlow (www.drugflow.com)
DrugFlow是由碳硅智慧研发的AI驱动的新药发现SaaS平台，其创造性地将人工智能与物理计算技术深度结合，在提升底层计算模型精度的同时，还提供了优秀的数据管理能力，以此构建了一个涵盖靶标发现与验证，先导化合物发现和先导化合物优化等药物发现全过程的一站式计算平台。
