第三章 归纳：从多个 O 中提取一个 Π

时间回到1946年到1948年之间，香农正在贝尔实验室撰写那篇后来改变世界的论文。 但在写出那篇论文之前，他的书桌上堆着几样东西，它们看起来没有任何关系。 第一样：奈奎斯特1924年的论文。 哈里·奈奎斯特在贝尔实验室研究电报传输时发现：一条线路每秒能传输的符号数量，与线路的带宽存在某种关系。他给出了一个经验公式，但没有解释为什么。 第二样：哈特利1928年的论文。 拉尔夫·哈特利在奈奎斯特的基础上更进一步，提出了"信息量"的概念。他说，一个消息包含的信息量，取决于接收者能区分多少种可能的消息。如果一种消息有n种等可能的变体，那么它包含的信息量是log₂ n。这个公式已经非常接近后来的香农熵，但哈特利没有把它和概率联系起来。 第三样……