链接：https://arxiv.org/pdf/2304.06035.pdf

作者：Julian Togelius and Georgios N. Yannakakis

随着大模型和大数据的出现， AI研究者都会感到焦虑。没有计算资源，没有标注的人力，很难做出突破性的研究。即使很多领域还没有出现大模型，但这个过程始终是在加速实现的。所以本文作者提出了一些想法。如作者最后所说的，(1) 分享一些想法给community，（2）提供一些guidelines ，讨论学术届与工业界的AI赛道差异 （3）引发一些公开的讨论。

1.  Introduction

与公司比拼，对于研究人员（小作坊）来说是不公平的。

• Engineering的问题。很多工程问题也不是一个phd或者postdoc能解决的。
• Scale的问题。作者也提到了 Sutton 关于Bitter Lesson的例子，可能越简单的方法，scale大了，自然就好了，不需要很多ad-hoc的东西。
• 类似，你开小镇杂货铺，对门来了沃尔玛。

基于这种情况下，我们要继续推动AI的发展，继续做出有意义的研究。我们该采用什么策略呢？

（读者按：确实，数据和算力是核心问题。）

2. 放弃

一种策略是保证先活下去，即使投一些mid-tier 期刊和会议，保证 Funding的来源。没有必要大幅度改变轨道。

3. 我也做大

尝试用一些GPU 和 CPU 去做更大的事情。但和大公司相比肯定还是少很多的。而且还有调试成本。

同时对于PhD学生他们科研训练，要求独立的paper，而不是一个多作者的工程技术论文。也不符合Phd的需求。

（读者按：要和学生的interest匹配，而且要考虑学生的能力。）

4. Toy Data万岁

做一些toy data上的实验，来探寻机制。

这一种方法的缺点是：虽然往往会很惊艳，但是实际没啥人care。

（读者按：我会想到一个我很喜欢Uber的 paper， coord conv 当时在reddit上有很多讨论。这个paper 的video还是很不错的。）

5. 拿来主义

拿来主义，打不过就加入。

但大模型是否足够general， finetune或者其他post-hoc分析往往不足以达到惊艳的效果。

（读者按：（1）可能大模型连inference都做不了，一张卡也放不下。（2）prompt learning 等也应算在其中，作者好像没提到。）

6. 分析大模型

其实目前我们也不了解大模型。可以从不同角度分析大模型，找到特别的点或者机制。

（读者按：这方面我不了解，目前可能 也就 probe？和CAM？应该还有空间？）

7. RL不需要标注数据

RL 可能相对不需要标注数据，但RL的训练时间仍旧比较长，而且有很多tricks。可能是个难点。

（读者按：我知道早期2017，2018确实是，需要一点技术，但近期我也不确定有没有好一些。早期也有人喷openai的demo不稳定，但后续也解决了？）

8. 小模型减少计算

考虑到部署，edge AI 是最直接的想法，减少碳排放。知识蒸馏等。

（读者按：还有联邦学习等。最近我们也有两个工作，一个是有针对地训练难样本，加速训练的。TIP2022｜领域迁移Adaboost，让模型“选择”学哪些数据！ （https://zhuanlan.zhihu.com/p/593571554）， 一个是用2.4M参数训练了一个小型reid网络 TNNLS22｜在3D空间，用点云数据学行人重识别特征（https://zhuanlan.zhihu.com/p/149121098））

9. 特定领域

不是工业界直接关注（直接挣钱）的领域，提前布局。但结果是你的paper很难中。

maybe 可以考虑自己办个会（就像deep learning在cvpr以前也不待见）。

（读者按：老lecun人了）

10. 很少人关注的问题

类似上一点，找不紧急也不sexy的问题。可以和身边不做AI的人讨论一下。

（读者按：就像mu神说的，impact可能就很小。）

11. 尝试一些不work的事情

工业界大家都会尝试一些work的东西，不会尝试不稳的方法。很多AI的发现和idea也是来自于试错。

（读者按：嗯就像coordconv的motivation。find what CNN can not do）

12.做一些“有坏印象”的事情

公司还是有会限制，在意reputation （比较圣母一些）。这也是为什么大公司会让startup做一些实验性的尝试，而不是自己下场。相比之下，研究者更自由，只要不违法乱纪，可以探索更多东西。

（读者按：我们近期也开了一个ACM MM2023 Workshop关于无人机多媒体的讨论，欢迎大家投稿4页短文https://zhuanlan.zhihu.com/p/620180604 ）

13. 产学结合

把实验室的想法通过公司落地。有很多好处，你可以知道实际的问题，获得实际的数据。

但这也不是完美的。需要考虑(1)很多科研方向不适合start up ，或者做一个产品出来；(2) 需要的转化时间比较长，需要一些功能性产品展示；(3) 投资依旧有限，仍旧不能做大公司的实验; (4)不是所有人都爱冒险

14. 和大公司合作

把实验室开到大公司里（或者派phd去实习）。缺点是 IP专利。另外可能也没人想去你的组，如果整组人都在，有点变味儿了。

15. 工业界大佬能做啥？

公司关注收益。学术界不是他们的interest。

最基础的开源代码/模型，仍会对研究者有益。

培养实习生，建立联系。

16. 大学能做啥？

大学应该鼓励创新。目前有影响力的paper仍旧多数与大学合作。大学应该鼓励faculty 来take more risks.

每年发顶会 paper 可能是不合理，相比之下工业界的lab 更容易。

目前的 grants 也是喜欢 safe and incremental research on popular topics，但这也限制了很难与工业界的lab 竞争。如果大学想改变，应该更鼓励失败，提升high-risk研究的比例 。