如何实现可靠的通信?怎样做出更好的决策?浅谈信息论之美( 三 )



如何实现可靠的通信?怎样做出更好的决策?浅谈信息论之美

文章插图

因此,从 X(花瓣宽度小于或大于 0.8 cm)获得的信息增益大于从 Y 获得的信息增益,我们应该首先使用特征X 。这从直观上想是有道理的,因为先 X 可以完全将 山鸢尾类从其他两个类中分离出来,而首先使用 Y 则会带来更复杂的划分 。
总结香农的工作之重要性再怎么强调都不为过:信息理论在不同的领域有着广泛的应用,如统计推断和机器学习、自然语言处理、遗传学、数据压缩、编码理论和密码学 。这篇《通信的数学原理》有超过 12 万的引用,很少有论文能有类似的影响力 。用信息理论家 Anthony Ephremides 的话来说:
信息理论就像一个地震,而且余震远还没有结束!