克劳德·香农：科学、数学、工程集于一身的全才 _小知识

01 香农其人
科学寻求自然的基本定律，数学则在旧基础上构造新的定理，而工程学建造系统来解决人类的需求。这三个学科相互依存，但又截然不同。同时为这三个领域做出核心贡献的人极为罕见，而克劳德·香农就是如此。
香农是纪录片《The Bit Player》的主题，其研究工作和研究哲学深深启发了笔者的事业。尽管如此，无论是生前还是在2001年去世之后，香农并不是一个像爱因斯坦一样家喻户晓的人物，他不像费曼那样出名，也从未获得过诺贝尔奖。然而，香农70多年前的一份开创性论文，奠定了整个现代通信设施的基础。没有他，就没有如今的信息时代。

文章插图

纪录片《The Bit Player》
香农于1916年出生于密歇根州的盖洛德，是一位本地商人和一位教师的儿子。他在密歇根大学获得了电气工程和数学学位，之后，在麻省理工学院撰写了一篇硕士论文，将布尔代数应用于开关电路的分析和综合。这项变革性的工作，将电路设计从一门艺术变成了一门科学，如今这被认为是数字电路设计的起点。

文章插图

【克劳德·香农：科学、数学、工程集于一身的全才】克劳德·香农撰写的硕士论文，突破性地开创了数字电路设计这一领域，十年后，他撰写了有关信息论的开创性论文《通信的数学理论》
接下来，香农将目光投向了一个更大的目标：通信。
02 向通信进发
通信是人类最基本的需求之一。从烟雾信号到信鸽，再到电话、电视，人类一直在寻找更远、更快、更可靠的通信方法。但是，通信系统的工程问题总是逃不开各种发射源和传输介质。
香农却问了一个没人问过的问题：“是否有一个伟大的统一理论来描述通信？”1939年，香农在给导师范尼瓦尔·布什的信中，概述了他的一些关于“用于情报传递的通用系统的基本特性”的初步想法。经过十年的研究，香农终于在1948年发表了他的大师之作：《通信的数学理论》。
香农的理论的核心，是一个简单却非常通用的通信模型：发送器将信息编码为信号，该信号会被噪声破坏，然后由接收器解码。模型很简单，却有两个关键见解：
1.信息源和噪声源独立于要设计的通信系统；
2.对这两个源进行概率建模。他设想源生成许多可能的信息，每条信息都有一定的概率。概率噪声进一步增加了接收器所解码的随机性。
在香农之前，通信问题主要被视为决定论的信号重建问题：信号经介质传播后发生变形，如何处理接收信号，能够尽可能准确地复现原始信号？香农的天才在于他意识到：沟通的关键是不确定性。毕竟，如果我要讲述的内容您提前就知道，我还写它做什么呢？

文章插图

香农的通信模型示意图，摘自他的论文
就是这一见解，将通信问题从实体转为抽象，从而使香农可以使用概率对不确定性进行建模。这极大地震惊了当时的通信工程师。
03 信息论到底在讲什么
建立起有关“不确定性和概率”的理论框架之后，香农开始着手他里程碑式的论文，并系统地确定了通信的基本极限。他的回答分为三个部分。在每个部分中，“bit（比特）”的概念都扮演着重要角色，香农将其用作不确定性的基本单位。“bit”是“binary digit（二进制数字）”的合成词，bit可以是1或0，香农的论文首先使用了该词（尽管他说数学家John Tukey在备忘录中首先使用了它）。
首先，香农提出了一个公式来计算每秒钟至少需要多少个bit来传输一条信息，并将这个数字称作熵率（entropy rate）H 。熵率H表示发送者发送信息的不确定性，熵率越低，不确定性越小，因此越容易将消息压缩得更短。例如，以每分钟100个英文字母的速率发送短信意味着每分钟发送 26100 条可能的消息，每条消息都是100个字母组成的序列。用470个比特就可以编码所有可能，因为 2470≈ 26100 。如果每种序列都具有相同的可能性，那么香农公式将表明熵率H确实是470 bits/分钟。实际上，某些序列比其他序列更有可能出现，熵率低得多，可以进行更大程度的压缩。
其次，香农提出了一个公式，来计算系统在噪声存在情况下的最大传输容量，他称之为系统容量（system’s capacity），C 。这是接收器能够对传送的信息进行解码的最大速率，也代表了通信的速度极限。