历史需要重写？AlexNet之前，早有算法完成计算机视觉四大挑战- 大数跨境

泰斗数科

2019-11-16

2012 年，深度学习三巨头之一、图灵奖得主 Geoffrey Hinton 的学生 Alex Krizhevsky 提出了 AlexNet，并在当年度的 ILSVRC（ImageNet 大规模视觉挑战赛）以显著的优势获得当届冠军，成绩远超第二名。这一成绩引起了学界和业界的极大关注，计算机视觉也开始逐渐进入深度学习主导的时代。但这样一个划时代的研究最近也受到了质疑。

近日，有网友在 reddit 上声称，Jurgen Schmidhuber 团队的 Dan Ciresan 提出的 DanNet（也是一种基于 CUDA 的卷积神经网络）先于 AlexNet 完成了四项图像识别挑战。

DanNet 早于 AlexNet 的有力证据

发帖者在 reddit 中展示了如下一些证据：

1. 发帖者从 Jurgen 发表的《Deep Learning: Our Miraculous Year 1990-1991》第 19 章节的参考文献中看出了端倪；

2. 发帖者表示，在 AlexNet（2012 年 ImageNet 竞赛冠军）之前，Jurgen 团队的罗马尼亚博士后 Dan Ciresan 就已在 2011 年 5 月 15 日和 2012 年 9 月 10 日之间赢得了四项重要的计算机视觉竞赛，所采用的 CUDA CNN 姑且称为 DanNet；

图中红框标注的 IDSIA 即 Dan Ciresan 等人所在的团队，他们在 2011 年 5 月 15 日和 2012 年 9 月 10 日期间赢得了中文书写、交通标识、脑区域分割和癌症检测四项重要的计算机视觉竞赛。

3. 发帖者曾看到有新闻报道称，AlexNet 在 2012 年开启了深度学习革命，但事实上根据 Jurgen 的文章，DanNet 在 2011 年就成为首个赢得 superhuman 视觉模式识别竞赛的方法，并且还采用比 AlexNet 更大的图像赢得了医疗成像竞赛；

Dan Ciresan 参与首次赢得了 superhuman 视觉模式识别竞赛。

Dan Ciresan 参与赢得了乳腺癌组织学图像的有丝分裂检测竞赛。

4. DanNet 被引最多的论文《Multi-column Deep Neural Networks for Image Classification》（CVPR，2012 年 7 月）要比介绍 AlexNet 的论文《ImageNet Classification with Deep Convolutional Neural Networks》（NIPS，2012 年 12 月）早了 5 个月，但关于 DanNet 更早的论文出现在 IJCAI 2011 和 IJCNN 2011 会议上；

Dan Ciresan 的论文。

Alex Krizhevsky 的论文。

5. 公平地说，AlexNet 引用了 DanNet，并承认两者相似，但 AlexNet 并没有提到 DanNet 曾早于它赢得了四项计算机视觉挑战；

6. ResNet 在 2015 年的 ImageNet 竞赛中击败了 AlexNet，但 ResNet 实际上是更为早期的 Highway networks 的一个特例，后者也是 Jurgen 实验室最早提出的，在「第一个超过 100 层的可行前向传播网络」中，Jurgen 把他们的先行性研究归功于自己的学生 Rupesh Kumar Srivastava 和 Klaus Greff。

Jurgen 认为微软的 ResNet 是其团队提出 Highway Nets 的一种特例。

7. 在 Jurgen 文章的第五章节中，他详述了「GAN 的起源」，而在第四章节中，他介绍了 2009 年获得成功的 LSTM。上述内容大家已经耳熟能详，不过大多数人可能还不知道 Jurgen 团队还是第一个在 CUDA 上搞 CNN 并取得成功的。

以上就是发帖者认为 DanNet 先于 AlexNet 出现的一些文献证据。

世间欠 Schmidhuber 一个图灵奖？

那么这样看来，当今深度学习的很多概念，都是 30 年前 LSTM 之父 Jürgen 玩过的？Reddit 上热闹的讨论，源自于今年 10 月，Jürgen Schmidhuber 专门对此发表的一篇文章，其详细论述了近 30 年前（1990-1991 年间）他和团队所进行的很多研究。据他本人称，其中的研究思想为当今的许多深度学习前沿研究奠定了基础，包括 LSTM、元学习、遗忘门机制、注意力和强化学习等。

人们对于 Jürgen Schmidhuber 的印象通常是「LSTM 之父」，他来自德国，现任瑞士 Dalle Molle 人工智能研究所负责人，是人工智能领域的著名学者。在 LSTM 之外，他还一直认为近年来发展很快的 GAN 模型是其早在 1992 年提出的 PM 模型的变体。除此之外，他还在语音识别等方向上有着不小的贡献。

在今年 3 月，计算机领域最高荣誉图灵奖颁发给深度学习三巨头 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 之后，有关「学界欠 Jürgen 一座图灵奖」的讨论一时变得热闹起来。

人工智能著名学者，南京大学人工智能学院院长周志华也曾表示：「要论对深度学习的贡献，Hinton 无疑居首，LeCun 和 Schmidhuber 贡献都很大。但 HLB 总捆绑在一起，而 S 跟 HLB 都不对劲……获奖需有提名有投票，人缘也重要……不过没关系，有 LSTM 这样教科书级的贡献足以淡定。」

Jürgen 本人对于自身学术地位「遭受不公待遇」一直颇有微词，他近年来总是在各个场合宣扬自己的创造性研究，甚至不惜与其他著名学者公开对质（你或许会对 Jürgen 在人工智能顶会 NIPS 2016 现场大战「GAN 之父」Ian Goodfellow 的事件记忆犹新）。因此，人们对于 Jürgen 的看法也呈现两极分化的情形。

今天的讨论也没有例外，在 DanNet 超前于 AlexNet 讨论刚刚开始的时候，占上风的观点是这样的：

好了好了，Jürgen 就是我们的造物主。

但总的来说，对于个人性格的调侃还是要让位于理性，人们最终还是认为 Jürgen Schmidhuber 确实吃了名声的亏。