

克劳德·香农：看我如何发明未来

极市平台

2021-01-05

导读：信息论的创始人，发表了划时代的论文——通信的数学原理，奠定了现代信息论的基础。

↑ 点击蓝字关注极市平台

来源丨新智元

编辑丨极市平台

极市导读

克劳德·艾尔伍德·香农，美国数学家、电子工程师和密码学家，被誉为信息论的创始人。他发表了划时代的论文——通信的数学原理，奠定了现代信息论的基础。不仅如此，香农还被认为是数字计算机理论和数字电路设计理论的创始人。 >>加入极市CV技术交流群，走在计算机视觉的最前沿

他不曾捧起过一座诺贝尔奖杯。

他得名字也不曾如爱因斯坦、费曼般如雷贯耳，无论是生前死后。

但在大约70年前，他为现代信息时代开创了先河，奠定了整个通信基础设施的基础。

他是克劳德·香农，一个不可磨灭的名字。

信息交流不确定性

1916年，香农出生在密歇根州盖洛德市，父亲是一名商人，母亲是一名教师。从密歇根大学获得电气工程和数学学位后，他在麻省理工学院写了一篇硕士论文，将一门名为布尔代数的数学学科应用于开关电路的分析和合成。

这是一个变革性的工作，把电路设计从一门艺术变成了一门科学，现在被认为是数字电路设计的起点。

此后，香农的心里有了一个更大的目标：通信。

从狼烟烽火到飞鸽传信，再到如今的电脑、电话，通信，一直是人类生存的基本需求，而人类也在借助着科技的力量，让通信的距离越来越远，通信的内容越来越可靠。

但是通信系统的工程总是与特定的源和物理媒介联系在一起。香农反问:「通信是否存在一个大统一理论?在1939年写给导师万内瓦尔·布什(Vannevar Bush)的信中，香农概述了他关于“用于情报传递的一般系统的基本特性」的一些最初想法。

在研究这个问题十年之后，香农终于在1948年出版了他的杰作:《通信的数学理论》。

这本书的核心思想极为简单：发射器将信息编码成信号，信号被噪声破坏，然后由接收器解码。

尽管它很简单，香农的模型包含了两个关键的见解:从要设计的通信系统中隔离信息和噪声源，以及对这两个源进行概率建模。他想象着信息源产生了许多可能要交流的信息中的一条，而每一条都有一定的概率。概率噪声进一步增加了接收端解开的随机性。

在香农之前，通信问题主要被看作是一个确定性的信号重构问题：如何变换被物理介质扭曲的接收信号，以尽可能准确地重建原始信号。香农的天才之处在于他发现沟通的关键在于不确定性。

毕竟，如果你事先知道我会在这篇专栏文章中对你说些什么，那么写它还有什么意义呢?

但在当时，这对通信工程师们来说，这个不小的打击。

因为这将通信问题从物理上转移到了抽象上，使得香农能够利用概率对不确定性进行建模。

在不确定性和概率的框架下，香农在他的里程碑式的论文中系统地确定了通信的基本限制。

他的回答分为三部分。在这三者中起核心作用的是信息「位」（bit）的概念，香农将其作为不确定性的基本单位。这个词是「二进制数字」的合成词，一位可以是1也可以是0，香农的论文是第一个使用这个词的人(尽管他说数学家约翰·图基首先在备忘录中使用了这个词)。

首先，香农提出了一个表示信息的最小每秒比特数的公式，这个数字被他称为熵率h。这个数字量化了确定信息源将产生何种信息所涉及的不确定性。

熵率越低，不确定性越小，因此更容易将信息压缩成更短的内容。

例如，每分钟发送100个英文字母的短信意味着每分钟发送26100条可能的信息，每条信息由100个字母序列表示。可以将所有这些可能性编码为470位，因为2470≈26100。

如果序列是等概率的，那么香农公式会说，熵的速率确实是每分钟470比特。在现实中，某些序列比其他序列更可能出现，而且熵率更低，允许更大的压缩。

第二,他提供了一个公式的最大数量比特每秒可以可靠地传达的噪音,他称之为系统的容量,c,这是最大的速率接收方可以解决信息的不确定性,有效地使其通信的速度限制。

最后，他指出，当且仅当H < c时，噪声源信息的可靠通信是可能的。因此，信息就像水一样:如果流速小于管道的承载能力，那么水流就可以可靠地通过。

虽然这是一种传播理论，但它同时也是一种关于信息如何产生和传递的理论——一种信息论。因此，香农现在被认为是「信息论之父」。

他的定理导致了一些违反直觉的结论。

假设你在一个非常嘈杂的地方谈话。确保你的信息得到传达的最好方法是什么?也许会重复很多次？这当然是每个人的第一反应，但事实证明，这并不是很有效。当然，你重复自己的次数越多，沟通就越可靠。但是你为了可靠性牺牲了速度。

香农向我们展示了我们可以做得更好。重复信息是使用代码来传输信息的一个例子，通过使用不同的和更复杂的代码，一个人可以快速通信——一直到速度限制C——同时保持给定的可靠性。

事实上，香农也证明了，在很多事情上，熵的概念可以作为压缩的基本极限。

比特作为信息的通用货币统治着世界，他是个科学家

从香农的理论中得出的另一个出人意料的结论是，无论信息的性质是什么——无论是莎士比亚十四行诗、贝多芬第五交响曲的录音还是黑泽明的电影——在传输之前将其编码成比特总是最有效的。

所以在无线系统中,例如,尽管最初的声音和电磁信号通过空气发送模拟波形,香农定理意味着它是最佳的先数字化声波成碎片,然后这些比特映射到电磁波。

这一惊人的结果是现代数字信息时代的基石，比特作为信息的通用货币统治着世界。

香农的一般交流理论是如此自然，就好像他发现了宇宙的交流法则，而不是发明了它们。他的理论如同自然物理定律一样是基本的。

从这个意义上说，他是一个科学家。

香农发明了新的数学来描述通信定律。他引入了新的思想，如概率模型的熵率，这已被应用于广泛的数学分支，如遍历理论，研究动力系统的长期行为。

从这个意义上说，香农是一位数学家。

但最重要的是，香农是个工程师。

他的理论是由实际工程问题所激发的。

尽管当时的工程师对香农的理论很深奥，但现在香农的理论已经成为所有现代通信系统的标准框架:光学系统、水下系统、甚至星际通信系统。就我个人而言，我有幸参与了一项将香农理论应用于无线通信的全球努力，将通信速度提高了两个数量级，超越了多个代标准。

事实上，目前推出的5G标准使用的不是一个，而是两个实际代码，被证明达到了香农的速度极限。

香农在70多年前就找到了这一切的基础。他是怎么做到的?坚持不懈地关注一个问题的本质特征，而忽略了其他所有方面。他沟通模式的简单就是这种风格的一个很好的例证。他也知道要专注于可能的事情，而不是立即可行的事情。

香农的研究说明了顶级科学的真正作用。当我开始读研时，我的导师告诉我，最好的工作是修剪知识之树，而不是让它生长。当时我不知道该如何理解这条消息;我一直认为，作为一个研究人员，我的工作就是添加我自己的小树枝。但在我的职业生涯中，当我有机会将这一哲学应用到我自己的工作中，我开始理解。

当香农开始研究通信时，工程师们已经掌握了大量的技术。正是他的统一工作，将所有这些知识的细枝修剪成一棵连贯可爱的大树——这棵大树为一代又一代的科学家、数学家和工程师结出了果实。

参考链接

https://www.quantamagazine.org/how-claude-shannons-information-theory-invented-the-future-20201222/

推荐阅读

添加极市小助手微信（ID : cvmart2），备注：姓名-学校/公司-研究方向-城市（如：小极-北大-目标检测-深圳），即可申请加入极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解等技术交流群：每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~