11、信息传输与描述：从香农定理到覆盖与描述理论

信息传输与描述：从香农定理到覆盖与描述理论

1. 信息传输基础与香农定理

1.1 信息传输的基本概念

在信息传输领域，信道容量是一个关键概念。它决定了在给定时间内，一个信道能够有效传输的信息量。就像水管有其最大水流量一样，信道也有其最大信息传输量。如果我们想在单位时间内通过信道传输的信息量小于信道容量，那么我们可以采用合适的方法，以高保真度（即低错误概率）从信道输出中恢复原始信息。然而，如果要传输的信息量超过信道容量，就无法实现高保真传输。这体现了信息的不可压缩性，就如同水不能无限制地通过一个固定管径的水管一样。

1.2 适配源到信道的问题

在实际情况中，我们常常面临将信息源适配到信道的问题。假设我们有一个从 A 到 B 的信道 (C_{AB})，以及一个取值在 C 中的平稳过程 U，且 U 满足渐近等分性（a.e.p.）。由于不能直接将信息源过程 U 连接到信道 C，我们需要构建一个合适的适配器。具体来说，我们要构造一个块编码 (h: C^n \to A^*)，通过它将 U 与信道 (C_{AB}) 耦合起来，就像图 9.1 所示的那样。从信道输出 Y 中，我们希望能够以低错误概率确定 U 的值。

1.3 香农定理

香农定理是信息理论基础中最重要的成果之一。对于一个从 A 到 B 的简单信道 (C_{AB})，其容量为 c，设 U 是字母表 C 上满足 a.e.p. 且 (I(U) = r < c) 的平稳过程。那么对于任意的 (\delta > 0)，存在一个 (n \in N) 和一个映射 (m: C^n \to A^n)，使得可以从组合信道 (C_{AB} \circ m) 的输出中以小于