6、条件与主观新奇性及信息解读

条件与主观新奇性及信息解读

在信息理论的研究中，新奇性和信息是两个核心概念。本文将深入探讨条件与主观新奇性及信息的相关内容，通过具体例子、定义和命题来逐步揭示其中的奥秘。

1. 引入示例

在玩牌时，你正要下注某张牌是A，这时旁边可能看到牌面的人悄悄告诉你：“别下注！如果这张牌是A，我叔叔就是教皇。”结果这张牌真的是A，此时你就知道教皇是他叔叔了。

从信息理论的角度看，这里将两条低信息含量的陈述组合成了一条高信息含量的陈述。经典信息理论表明，一般情况下，组合信息含量不能超过两条单独信息含量之和，即给定Y时X的条件信息不能超过X的无条件信息。

对于随机变量X和Y以及完整描述，上述结论成立，但对于任意描述并非总是如此。实际上，对于任意描述，新奇性具有可加性，即c和d的组合新奇性等于c的新奇性加上给定c时d的条件新奇性。而这个条件新奇性可能比无条件新奇性大得多。

例如，用随机变量X及其补集(\overline{X}^c)进行描述。设(\Omega)为样本空间，对于任意(\omega \in \Omega)，有(\overline{X}(\omega) = [X = X(\omega)])，(\overline{X}^c(\omega) = [X \neq X(\omega)] \cup {\omega})，所以(\overline{X}(\omega) \cap \overline{X}^c(\omega) = {\omega})。(\overline{X})和(\overline{X}^c)的组合信息能完全确定(\omega \in \Omega)，但它们各自的信息可能相当小。

再假设在(\Omega)上有两个随机变量X和Y。