全球技术研究与咨询公司 Technavio 最近的《全球深度学习系统市场报告》中选出了全球 Top 6 的深度学习机构，分别是谷歌的母公司 Alphabet、伯克利视觉学习中心（BVLC）、Facebook、蒙特利尔大学的 LISA lab 以及微软公司。报告称，到2020年，全球深度学习系统市场规模将超13亿美元。
图：2016至2020年期间的复合年增长率达到 38.73%
今年，人工智能市场异常火爆，这得益于深度学习在人工智能领域的拓展与应用。自然语言处理、语音识别、用户画像、无人驾驶……这些都和深度学习相关的技术，深度学习的应用越来越广。而在未来五年，这个领域仍将由这些上文所提及的“尖子”领军。
但深度学习并不是凭空冒出来的，它从最初的概念诞生被认为是“伪科学”，到现今备受技术和资本的青睐，历经了几十年的起起伏伏。读完这篇文章，物联网安全将带你了解深度学习的前世今生。
机器学习它是人工智能的一个分支，包括能使机器根据经验完成任务的深度统计技术。 而深度学习是机器学习的一个分支，它包括允许软件自行完成任务的算法，例如语音和图像识别，通过多层神经网络系统传输给大数据。
20世纪 50 年代 神经网络初流行
神经网络最早的概念诞生于 20 世纪 50 年代，而一些关键的算法突破则是在 80 至 90 年代才出现。上世纪 50 年代，神经网络的研究潮流才刚刚在计算机科学家们之间流行起来。
1958年康奈尔大学的心理学家Frank Rosenblatt搭建了神经网络的原型并给它取名为 Perceptron，它利用的是占据了整整一个房间大小的穿孔卡片计算机。经过 50 次测验，Perceptron 能够区分两种不同的卡片，其中一种左侧带有记号，另一种右侧带有记号。
Perceptron 软件结构和神经元类似，但和人脑神经的多层结构相比，只具有单层神经元的 Perceptron 能力有限，于是人们开始研究如何开发多层神经网络，也就是我们现在所说的深度神经网络。
60、70年代 深度神经网络的可行性被疑
神经网络先驱 Geoffrey Hinton 举了个例子：深度神经网络辨认图片里的一只鸟的过程。它会先对输入的像素进行分析，如果其中的一些线条两侧亮度相差很大，它会判断出这可能是鸟的轮廓，并把数据传递给下一层神经网络。后者继续沿着线条去寻找一些和鸟类贴合的特征，比如线条转折交汇处形成的角度是不是和鸟类的喙的尖角相似。
如果得到确认，数据会进入下一层，神经网络寻找更加复杂的外型，比如同样的线条有没有大致地围成一圈，形状和鸟类头部的相似性。再下一层，神经网络确定类似鸟嘴的形状和头部的形状是不是以恰当的方式接合在一起，如果是的话它就有相当充分的证据来说明这是一只鸟的头部了。
图：神经网络是如何识别图片中的狗狗的
深度神经网络以类似的方式来对数据进行分析，每一层神经网络都基于上一层极的判断去分析更加复杂和抽象的特征，直到最高一层形成对整体形象的判断。
在 Hinton 提出他的想法之前，60 年代末乃至整一个 70 年代，人们都怀疑深度神经网络的可行性，例如著名的人工智能科学家 Marvin Minsky。直到 Hinton 和其他科学家找到了训练深度神经网络、纠正其错误的方法时，深度神经网络才重回人们的视野。
1986 年，Hinton 和他的两位同事发表了一篇论文，其中他们提供了一种算法来解决这种错误修正难题，深度神经网络学习能力的质疑得到了解决。
20 世纪末 受限于计算能力再次遇冷
之后直到 20 世纪 90 年代中期，图像识别、手写数字辨识、自然语言处理等系列技术都取得了奠基性的成果，这些技术成果至今仍然在广泛应用。
20 世纪最后的几年里，受限于当时的计算能力，深度学习还不是机器学习中最高效的工具，这种有点超前的技术不可避免地再次遇冷。
2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton和他的学生RuslanSalakhutdinov在《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。
21世纪 深度学习发展“大事记”
李飞飞组建有标记图片的数据库
2007 年，斯坦福大学教授李飞飞成立了 ImageNet 并开始组建一个有标记图片的数据库。其中理论基础是如果机器观察到足够的事物，它们就能够在现实世界进行识别。两年后该数据库组建完成，1400 万张经过标记的图片免费开放给机器学习研究者使用。此时硬件的计算性能，也已提高到了足够处理这些数据的程度。
今天深度神经网络能够得到广泛应用，不仅仅依赖于Deep Learning算法，还依赖于云计算对大数据的并行处理能力。用百度首席科学家吴恩达的话来说，深度学习的进展和计算能力的提高和数据的增长密不可分。
在实际应用中，社交媒体、软件服务协议、硬件、网站Cookies 以及应用程序权限等为训练神经网络提供了大量数据。借助于 Deep Learning算法，人类终于找到了如何处理“抽象概念”这个亘古难题的方法。
“猫实验”来检验无监督学习
2012年6月Google Brain项目，用16000个CPU Core的并行计算平台训练一种称为“深度神经网络”（DNN，Deep Neural Networks）的机器学习模型（内部共有10亿个节点，这一网络自然是不能跟人类的神经网络相提并论的），在语音识别和图像识别等领域获得了巨大的成功。
项目负责人之一Andrew称：“我们没有像通常做的那样自己框定边界，而是直接把海量数据投放到算法中，让数据自己说话，系统会自动从数据中学习。”另外一名负责人Jeff则说：“我们在训练的时候从来不会告诉机器说：‘这是一只猫。’系统其实是自己发明或者领悟了“猫”的概念。”
微软实现了和人类一样的语音识别水平
2012年11月，微软在中国天津的一次活动上公开演示了一个全自动的同声传译系统，讲演者用英文演讲，后台的计算机一气呵成自动完成语音识别、英中机器翻译和中文语音合成，效果非常流畅。据报道，后面支撑的关键技术也是DNN或深度学习。
据悉，各家厂商的团队，都在千方百计提高语音识别的准确率，降低词汇差错率，而在9月，差错率的最新成绩降低到了6.3%，而微软公司负责语音识别研究的领导人Xuedong Huang表示：“我们已经实现了和人类一样的识别水平，这是一个历史性突破。”
配备神经网络AlphaGo打败世界级选手
当然它最耀眼的时刻仍然是配备神经网络的 AlphaGo 击败韩国世界级棋手李世石的那一刻。不同于在1997年打败了国际象棋冠军 Garry Kasparov 的IBM 深蓝（Deep Blue），AlphaGo 在编程中，并未使用决策树方法，或是评价所在位置的方程方法，或是 if-then 规则。
DeepMind 的总裁 Demise Hassabis说：“AlphaGo是通过自我博弈和观察大型专业比赛来学习如何下围棋的。”（在训练中，AlphaGo 自我对战次数高达百万次）明年，学习后的AlphaGo将重出江湖，或许可以期待一下，深度学习后AlphaGo的惊艳表现。
吴恩达对人工智能战略地位的概括说：“在过去，许多标普500指数公司的CEO希望自己能早点意识到互联网战略的重要性。我想从现在开始的今后5年也会有一些标普500指数公司的CEO后悔没有早点思考自己的AI战略。”人工智能技术的重要性已不言而喻，而深度学习也许是其中最让人期待的一项。
敢不敢点开阅读原文啊？