10、平稳过程、信息率与信道容量解析

平稳过程、信息率与信道容量解析

1. 平稳过程与信息率

在有限集合 $A$ 中，对于过程 $X = (X_n)_{n\in N}$，我们可以定义随机向量 $X_n = (X_1, \ldots, X_n)$ 以及随机变量 $I_n(\omega) := N(\overline{X_1(\omega)} \cap \overline{X_2(\omega)} \cap \ldots \cap \overline{X_n(\omega)}) = N(\overline{X_n(\omega)})$。显然，$I_n$ 依赖于 $X_n$，并且 $E(I_n) = I(X_1, \ldots, X_n) = I(X_n)$。

对于两个过程 $X$ 和 $Y$，定义它们的联合过程 $(X, Y) = ((X_n, Y_n)_{n\in N})$，根据定义有 $T (X, Y) = I(X) + I(Y) - I(X, Y)$。

1.1 渐近等分性质（Asymptotic Equipartition Property，a.e.p.）

对于平稳过程 $X$，极限 $\lim_{n\rightarrow\infty} \frac{1}{n}I(X_1, \ldots, X_n) = I(X) = I$ 存在。我们不仅关注平均值，还对函数 $I_n(x)$ 的单个值感兴趣，其中 $x = (x_1, \ldots, x_n)$ 是随机向量 $(X_1, \ldots, X_n)$ 的一个特定值。

• 定义 ：若序列 $(I_{n + 1} - I_n) {n\in N}$ 满足弱大数定律（w.l.