热力学|人类进入信息时代70年，3分钟带你搞懂背后的大BOSS——香农定律( 三 ) 众所周知

当他和冯·诺伊曼讨论这个问题时，冯·诺伊曼对香农建议说：“你应该把它称之为‘熵’ 。 ”并给出两个理由，一是“不确定性”这个概念已被用于统计力学，二是没有人知道“熵”到底是什么，不致引发争论。
所以香农熵由此诞生，香农指出信息熵是消除不确定性所需信息量的度量，即未知事件可能含有的信息量。通俗的讲信息熵是用来衡量信息量的大小。

若不确定性越大，则信息量越大，熵越大。
若不确定性越小，则信息量越小，熵越小。

在之前，克劳修斯提出的“熵” ，最初是用来描述“能量退化”的物质状态参数之一，仅仅是一个可以通过热量改变来测定的物理量，但是在香农的手里，熵则开启了信息时代的大门，所以才有了那句经典的“香农说，要有熵，信息时代由此开启” 。

文章插图
信息熵的公式
香农在希拉德的基础上提出，信息就是负熵，麦克斯韦妖将负熵输给系统，即是降低了熵，增加了有序性。信息的获取是需要消耗能量的。物体之间的相互作用在系统之内并不降低系统的不确定度，所以没有信息作用。信息是对系统的观测，是外界对原来系统的作用。信息的本质就是“意义'的载体。
1948年10月香农在《贝尔系统技术学报》发表了论文《A Mathematical Theory of Communication》（通信的数学理论），这是现代信息论研究的开端，文章系统论述了信息的定义，怎样数量化信息，怎样更好地对信息进行编码。在这些研究中，概率理论是香农使用的重要工具，并且正式提出了信息熵的概念，用于衡量消息的不确定性，从而解决了电报、电话、无线电等如何计量信号信息量的问题。

文章插图
除此之外香农还自创用“比特”来测量信息的单位，现已跻身于公尺、千克、分钟之列，成为了日常生活中最常见的量纲之一，是计算机最小的数据单位。
例如“小编实在太厉害”这七个汉字一共是112bits ，一个汉字两个字节，一个字节8bits ，总共就是7*2*8bits 。
香农的厉害之处就在于，有的理论的创始人是带我们到了一个新的起点，而香农创立信息论时，直接定义了它的终点。只要你还在经典信息论框架内，你就逃不出三大定理的范围，我们拼尽全力往技术的山顶走，而香农就在山顶等我们，哪怕是现在认为非常先进的5G技术,其实也并没有突破香农理论的极限。

文章插图
我们真的，香农信息论是以概率论、随机过程为基本研究工具，研究广义通信系统的整个过程，而不是整个环节，并以编、译码器为重点，其关心的是最优系统的性能及如何达到该性能。
虽然香农熵解决了电报、电话、无线电等如何计量信号信息量的问题。但怎么在远距离通信中进一步提高信道容量？也就是信息传送速率上限，即“香农极限” 。
因为在信息论里，有噪信道编码定理指出，尽管噪声会干扰通信信道，但还是有可能在信息传输速率小于信道容量的前提下，以任意低的错误概率传送数据信息。

文章插图
而通信信道的信道容量也就是香农限制是指在指定的噪音标准下，信道理论上的最大传输率。
由此，在这篇论文中，香农提出了信息论的基础，也是关于信道容量计算的一个经典定律——香农定律。这使得至今几乎所有的现代通信理论都是基于这个公式展开。
它是指在高斯白噪声背景下的连续信道的容量

文章插图
=

文章插图
（b/s）。
其中：B为信道带宽（Hz）；S为信号功率（W）；n0为噪声功率谱密度（W/Hz）；N为噪声功率（W）。
香农定理给出了信道信息传送速率的上限（比特每秒）和信道信噪比及带宽的关系。可以解释现代各种无线制式由于带宽不同，所支持的单载波最大吞吐量的不同。

文章插图
C是单信道的信道容量，是能在此信道中信息传输速率的最大值, 。我们建立了一个单点输入、单点输出的通信通道（我们称为信道）后，这条通道每秒最多可以传送多少bit的信息量，如果信息速率超过信道容量,那信息是不可能被传输。