【好文分享】如何做出顶级AI研究？OpenAI科学家Jason Wei《AI研究思考》演讲，讲述杰出与普通研究之差别

链接：https://x.com/_jasonwei/status/1715080315587440719?s=20

1. 当开始一个项目时，普通研究者往往会迅速跳到建模提议、架构设计、新思路等。而杰出的研究者通常首先会手动查看数据和与模型互动，深入了解问题，然后再提出（通常是简单的）方法。
2. 普通研究者可能经常编写乱七八糟、不可重用且需要多个独立步骤的代码。而杰出的人往往也是优秀的软件工程师——他们的代码可以轻松地扩展用于未来的实验，他们编写详尽的测试，并且建设基础设施以迅速进行多次实验并用最少的点击次数可视化结果。
3. 虽然普通研究者可能主要是独自工作或与一两个人合作，但杰出的人知道研究是一种社交活动。他们与经验各异的人合作，分享研究成果，并有说服力地传达他们的愿景。
4. 普通研究者可能会陷入“兔子洞”——如果他们的实验结果只是普通，他们会花3个多星期撰写并提交到会议。而杰出的人在知道某种方法不会取得重大突破时，会迅速转向其他研究。
5. 如果普通研究者取得了一些成功，他们可能会试图继续做他们觉得舒适的事情，即使这样的方法变得过时。而杰出的人能迅速调整，并不断适应新的进展和范式。
6. 普通研究者经常实施针对特定任务的解决方案，这些方案针对单一任务进行了大量优化。杰出的人也可能努力做特定任务，但他们会试图思考通用方法。
7. 普通研究者谈论并优化论文或会议的接受率。我从未遇到一个真正关心这些事情的杰出研究者。

（以下是Jason分享的PPT文档，通过文末的推特链接可以查看）

• 杰出的研究者
• 作为实践的研究
• 优秀和糟糕的论文
• 有前景的研究方向

  

1. 选择构思
2. 设计和执行实验
3. 写论文
4. 影响最大化

   

1.选择一个研究主题

3.写论文

4.最大化影响

0.META-级别

• 找到一个强大的合作者团队

  -他们会促使你做好以上四项技能

• 尝试与一位出色的合作者合作

  -努力给他们留下深刻印象，而他们对渐进的想法不感兴趣

• 了解为什么有些研究人员如此优秀

  -你会知道要继续学习什么技能

  

杰出的研究：BERT,T5,GPT-2/3/4,InstructGPT等等

优秀科研成果案例：