求问信息论题目答案？ _《信息论基础》ThomasM.Cover第二版课后习题答案

求问信息论题目答案？

文章插图
信息，指音讯、消息、通讯系统传输和处理的对象，泛指人类社会传播的一切内容。人通过获得、识别自然界和社会的不同信息来区别不同事物，得以认识和改造世界。
1948年，数学家香农在题为“通讯的数学理论”的论文中指出：“信息是用来消除随机不定性的东西” 。创建一切宇宙万物的最基本单位是信息。“信息”一词在英文、法文、德文、西班牙文中均是“information”，俄语中叫做“информация”，乌克兰语里叫做“?нформац?я”，日文中为“情报”，我国台湾称之为“资讯”，我国古代用的是“消息” 。作为科学术语最早出现在哈特莱（R.V.Hartley）于1928年撰写的《信息传输》一文中。
20世纪40年代，信息的奠基人香农（C.E.Shannon）给出了信息的明确定义，此后许多研究者从各自的研究领域出发，给出了不同的定义。具有代表意义的表述如下：信息奠基人香农（Shannon）认为“信息是用来消除随机不确定性的东西”，这一定义被人们看作是经典性定义并加以引用。控制论创始人维纳（Norbert Wiener）认为“信息是人们在适应外部世界，并使这种适应反作用于外部世界的过程中，同外部世界进行互相交换的内容和名称”，它也被作为经典性定义加以引用。
经济管理学家认为“信息是提供决策的有效数据” 。别担心，信息虽然是不确定的，但还是有办法将它们进行量化的。人们根据信息的概念，可以归纳出信息是有以下的几个特点的：1．消息x发生的概率P(x)越大，信息量越小；反之，发生的概率越小，信息量就越大。
可见，信息量（我们用I来表示）和消息发生的概率是相反的关系。2．当概率为1时，百分百发生的事，地球人都知道，所以信息量为0 。3．当一个消息是由多个独立的小消息组成时，那么这个消息所含信息量应等于各小消息所含信息量的和。
根据这几个特点，如果用数学上对数函数来表示，就正好可以表示信息量和消息发生的概率之间的关系式：I=-loga(P(x)) 。这样，信息不就可以被量化了吗？既然信息可以被量化，那么总得给它一个单位吧？人的体重是以公斤来计量的，人的身高是以米来计量的，那么信息量该以什么单位来计量呢？通常是以比特（bit）为单位来计量信息量的，这样比较方便，因为一个二进制波形的信息量恰好等于1bit 。有同学又有问题了：这么说我家2Mbit/s的上网速度，就是说每秒可传2Mbit的信息量啦？这里的比特严格来说不是指信息量，而是指信号。本来是不可以说是几比特的信号的，但由于一个二进制波形（码元）的信息量正好等于1比特，所以在工程应用中，往往就把一个二进制码元称作1比特，信息量单位变成信号单位了。
这虽然不严谨，但也不矛盾。我们注意在概念上区分就行了。有同学还有疑问：假设有一个消息“Волк идёт”，通过信源编码转成了一个100bit的数据包，那么信息量就有100bit 。然后把这100bit通过通信网络发送给了很多人，很多人都收到了100bit的信息量。
【求问信息论题目答案？】可是有些人觉得“Волк идёт”这个消息很重要，信息量很大；但有些人又觉得无所谓，信息量很少。可是我们知道，这条消息的信息量都是100bit的呀，怎么又不一样了呢？首先，我们刚刚说过，比特是信息量的单位，但工程上也习惯把它作为信号的单位。这里所说的100bit就是指信号的啦。其次，通信中的基本问题，就是在一点再生另一点的信息，指的是点对点的情况。
但即使在点对多点的情况下，由于在实际的通信系统中，消息往往是指发送的某些符号。这些符号到底能携带多少信息量，与这些符号发生的概率有关，而对于任何接收端来说，这些符号发生的概率是一定的，不会说对这个接收机是这个概率，对那个接收机是那个概率。比如有一串数字221234，这串符号由1，2，3，4四个符号组成，假设四个符号出现的概率都是1/4，那么在这串符号中，2出现了3次，所以2所携带的信息量是-3×log2(1/4)=6bit 。
我们需要明白，通信系统中传送的符号，就相当于我们现在谈论的消息。希望我能帮助你解疑释惑。
《信息论基础》Thomas M.Cover 第二版课后习题答案

文章插图
htt
信息论与编码理论 JM 答案