信息的概念是什么什么叫信息( 二 ) _什么叫

所以信息量本身其实就是信息源的信息熵。
信息熵因此，只要我们能计算出信息熵，那么我们就能计算出具体的信息量。
具体怎么算？实际上，香农从热力学中找到了灵感。在热力学中，熵用来表示:
系统的无序状态(不确定性) 。
举个最常见的例子，如果你往水里滴一点墨水，墨水就会和水混合在一起，整个杯子里无序状态的数量就会增加(因为变得混乱) 。在这里，我们可以把这个杯子里的水看成一个系统。
在物理学中，衡量一个系统的混沌程度，其实可以通过统计整个系统的状态来建立。
可能性越多，不确定性越大；当状态数不变时，如果每个状态的可能性相同，不确定性就很大。
所以科学家给出了一个计算系统状态数的公式(不看也没关系):

其实信息熵实际上代表了一个系统(信息源)的不确定性(信息熵) 。
受热力学启发，香农也给出了计算信息熵(信息量)的类似公式:

具体怎么用？让我们回到掷硬币的例子:
抛一枚理想硬币，信息熵为log2(2/1) = 1比特；
扔出两个理想硬币，信息熵为log2(4/1) = 2比特。
自从信息论提出以来，科学家们一直在思考一个问题，这个世界是什么？我们都知道物质是由原子构成的，所以世界是原子的？
但我们也要知道，原子的排列构成了世界，而排列本身就是信息，所以原子是通过交换“比特”来有序排列的，这就意味着在某种程度上，世界是按比特排列的。

信息的概念是什么 什么叫信息( 二 )

信息的概念是什么什么叫信息( 二 )