15、信息论中的互新奇性、互信息及相关概念解析

信息论中的互新奇性、互信息及相关概念解析

在信息论的研究中，互新奇性、互信息、信息增益、新奇性增益和惊喜损失等概念是理解信息传递和概率分布变化的关键。下面我们将深入探讨这些概念及其相关性质。

互新奇性与互信息

对于任意两个模板 $\alpha$ 和 $\beta$，我们可以定义互信息 $T(\alpha, \beta)$ 和互新奇性 $M(\alpha, \beta)$。
- 互信息定义 ：$T(\alpha, \beta) := I(\alpha)+I(\beta) - I(\alpha \cdot \beta)$
- 互新奇性定义 ：$M(\alpha, \beta) := N(\alpha)+N(\beta) - N(\alpha \cdot \beta)$

设 $\alpha$ 和 $\beta$ 是两个模板，$d_{\alpha}$ 和 $d_{\beta}$ 是对应的唯一恰当描述，$d_{\alpha \cdot \beta} = d_{\alpha} \cap d_{\beta}$，以及对应的随机变量 $N_{\alpha} = N_{d_{\alpha}}$，$N_{\beta} = N_{d_{\beta}}$，$N_{\alpha \cdot \beta} = N_{d_{\alpha \cdot \beta}}$ 和 $I_{\alpha} = I_{d_{\alpha}}$，$I_{\beta} = I_{d_{\beta}}$，$I_{\alpha \cdot \beta} = I_{d_{\alpha \cdot \beta}}$，则有以下性质：