【机器学习-基础知识】统计和贝叶斯推断

1. 概率论基本概念回顾

1. 概率分布

定义： 概率分布（Probability Distribution）指的是随机变量所有可能取值及其对应概率的集合。它描述了一个随机变量可能取的所有值以及每个值被取到的概率。

• 对于离散型随机变量，使用概率质量函数来描述。
• 对于连续型随机变量，使用概率密度函数来描述。

举例说明： 投掷一颗六面骰子，每个面上的数字（1到6）都有相同的概率（1/6）出现，这就是一个简单的概率分布例子。

2. 概率函数

定义： 概率函数（Probability Function）是指在离散型随机变量的情况下，给定一个随机变量的值时，计算该值发生的概率的函数。

公式： 对于离散型随机变量 $X$，其概率函数通常表示为 $P(X=x)$，即随机变量 $X$ 取某个特定值 $x$ 的概率。

举例说明： 抛一枚公平的硬币，令 $X$ 表示出现正面的情况，则 $P(X=\text{正面})=0.5$。

3. 概率分布函数（累积分布函数）

定义： 概率分布函数（Cumulative Distribution Function, CDF），也称作累积分布函数，是一个函数，它给出随机变量小于或等于某个值的概率。

公式： 对于任意实数 $a$，CDF $F(a)=P(X\le a)$。

举例说明： 若 $X$ 为一个均匀分布在 $[0,1]$ 区间上的随机变量，则 $F(x)$ 对于 $0\le x\le 1$ 为 $x$，即 $F(x)=x$。

4. 概率密度函数

定义： 概率密度函数（Probability Density Function, PDF）适用于连续型随机变量，用来描述连续型随机变量落在某个确定值附近的概率密度大小。

公式： 对于连续型随机变量 $X$，其PDF记为 $f(x)$，满足条件：
$${\int }_{-\infty }^{\infty }f(x)dx=1$$
并且对于任意两个实数 $a$ 和 $b$ ($a<b$)，随机变量 $X$ 落在区间 $[a,b]$ 内的概率由下面积分给出：
$$P(a<X\le b)={\int }_a^{b}f(x)dx$$

2. 统计和贝叶斯

贝叶斯公式

定义： 贝叶斯公式（Bayes’ Theorem）是一种计算条件概率的方法，它允许我们通过已知的某些条件下的事件发生的概率来更新对另一些条件下该事件发生概率的估计。

公式：
$$P(A|B)=\frac{P(B|A)\cdot P(A)}{P(B)}$$
其中，

• $P(A|B)$ 是在事件 B 发生的情况下事件 A 发生的概率，称为后验概率。
• $P(B|A)$ 是在事件 A 发生的情况下事件 B 发生的概率，称为后验概率。
• $P(A)$ 和 $P(B)$ 分别是事件 A 和事件 B 的边际概率（无条件概率），$P(A)$ 也被称为先验概率。

全概率公式

定义： 全概率公式（Law of Total Probability）提供了一种方法，用于计算一个复杂事件的概率，特别是当这个事件可以被分解为几个互斥但又完全覆盖样本空间的子事件时。

公式：
如果 $B_1,B_2,...,B_n$ 是一组互斥且穷尽的事件（即它们之间没有交集，但并集覆盖了整个样本空间），则对于任意事件 A，有
$$P(A)=\sum _{i=1}^{n}P(A|B_i)\cdot P(B_i)$$

举例说明： 假设你想要计算某一天下雨的概率。你可以将天气状况分为几种不同的情况（如晴天、阴天、多云等），然后分别计算在每种情况下下雨的概率，最后加权平均这些概率以得到最终的下雨概率。例如：
$$P(\text{下雨})=P(\text{下雨}|\text{晴天})\cdot P(\text{晴天})+P(\text{下雨}|\text{阴天})\cdot P(\text{阴天})+P(\text{下雨}|\text{多云})\cdot P(\text{多云})$$

3. 应用案例

1. 离散分布的案例：医学诊断患病概率

1. 确定先验概率

先验概率（Prior Probability, $P(D)$）通常来源于流行病学数据或专家经验，表示在未进行检测前患者患病的概率。例如，如果某种疾病在人群中的患病率为 1%，则有
$$P(D)=0.01,P(\bar{D})=\mathrm{0.99.}$$

2. 获取检测指标

通过一些方法，得到测试指标主要包括：

• $P(T|D)$：准确率，患者患病时检测呈阳性的概率
• $P(T|\bar{D})$：假阳性率，患者未患病时检测呈阳性的概率。
• $P(\bar{T}|\bar{D})$：真负率/特异性，患者未患病时检测呈阴性的概率。

3. 利用贝叶斯公式更新概率

当检测结果为阳性时，我们希望求得患者真正患病的后验概率 $P(D|T)$。根据贝叶斯定理，
$$P(D|T)=\frac{P(T|D)\cdot P(D)}{P(T)},$$
其中总体阳性概率 $P(T)$ 可以通过全概率公式计算：
$$P(T)=P(T|D)\cdot P(D)+P(T|\bar{D})\cdot P(\bar{D}).$$
因此，后验概率可以写为：
$$P(D|T)=\frac{P(T|D)\cdot P(D)}{P(T|D)\cdot P(D)+P(T|\bar{D})\cdot P(\bar{D})}.$$

4. 举例说明

假设：

• 疾病在人群中的患病率为 1%：$P(D)=0.01$
• 检测敏感度为 99%：$P(T|D)=0.99$
• 假阳性率为2%： $P(T|\bar{D})=0.02$

代入公式可得：
$$P(D|T)=\frac{0.99\times 0.01}{0.99\times 0.01+0.02\times 0.99}\approx \frac{0.0099}{0.0099+0.0198}\approx \frac{0.0099}{0.0297}\approx \mathrm{0.333.}$$
这意味着，即使检测准确度很高，在患病率很低的情况下，阳性结果的患者真实患病概率大约只有 33%。

5. 贝叶斯更新

当有多个检测结果时，可以进行迭代更新：

• 第一次检测得到后验概率 $P(D|T_1)$。
• 将第一次检测的后验作为新的先验，结合第二次检测结果更新，得到 $P(D|T_1,T_2)$。

在接收到第二次检测结果 $T_2$ 时，我们将第一次更新后的后验 $P(D\mid T_1)$ 当作新的先验，再利用贝叶斯定理更新为第二次检测的后验 $P(D\mid T_1,T_2)$：
$$P(D\mid T_1,T_2)=\frac{P(T_2\mid D)P(D\mid T_1)}{P(T_2\mid D)P(D\mid T_1)+P(T_2\mid \bar{D})[1-P(D\mid T_1)]}.$$

如果两次检测使用的是相同的检测手段（即敏感度和特异度相同），而且在检测时的条件（例如样本采集、处理方法等）也保持不变，那么两次检测的似然函数通常是一样的。即：
$$P(T_2\mid D)=P(T_1\mid D)=P(T\mid D)$$
这种“贝叶斯更新”（Bayesian updating）过程可以在不断积累新证据的情况下，对患病概率进行更精确的估计。

2. 连续分布的案例：邮件是垃圾邮件的概率

1. 确定先验概率

• $P(H)$ 表示邮件为垃圾邮件（Spam）的先验概率;
• $P(\bar{H})$ 表示邮件为非垃圾邮件（NonSpam）的先验概率.
• $x$：邮件中某个特征（例如“可疑词汇的加权频率”）的数值。

2. 构建似然函数

假设历史数据表明：

1. 当邮件为垃圾邮件时，特征 $x$ 服从正态分布：
   $$x\mid H\sim \mathcal{N}({\mu }_S,{\sigma }_S^2).$$
   对应的概率密度函数为
   $$f(x\mid H)=\frac{1}{\sqrt{2\pi {\sigma }_S^2}}\exp (-\frac{(x-{\mu }_S{)}^2}{2{\sigma }_S^2}).$$

2. 当邮件为非垃圾邮件时，特征 $x$ 服从另一个正态分布：
   $$x\mid \bar{H}\sim \mathcal{N}({\mu }_N,{\sigma }_N^2),$$
   对应的概率密度函数为
   $$f(x\mid \bar{H})=\frac{1}{\sqrt{2\pi {\sigma }_N^2}}\exp (-\frac{(x-{\mu }_N{)}^2}{2{\sigma }_N^2}).$$

其中

• ${\mu }_S,{\sigma }_S^2$：垃圾邮件中 $x$ 的均值和方差。
• ${\mu }_N,{\sigma }_N^2$：正常邮件中 $x$ 的均值和方差。

3. 应用贝叶斯公式计算后验概率

贝叶斯定理告诉我们，给定观察到特征值 $x$ 后，邮件为垃圾邮件的后验概率为：
$$P(H\mid x)=\frac{f(x\mid H)P(H)}{f(x\mid H)P(H)+f(x\mid \bar{H})P(\bar{H})}.$$

其中：

• $P(H\mid x)$：观察到邮件特征 $x$ 后，邮件为垃圾邮件的后验概率。
• $f(x\mid H)$ 与 $f(x\mid \bar{H})$：分别为垃圾邮件和非垃圾邮件下的似然函数。

具体数值示例及公式推导

假设根据历史数据，我们有：

• 垃圾邮件：${\mu }_S=0.75,{\sigma }_S=0.1$
• 非垃圾邮件：${\mu }_N=0.4,{\sigma }_N=0.1$
• 先验概率：$P(H)=0.3,P(\bar{H})=0.7$

对一封新邮件，测得特征值 $x=0.8$。

计算垃圾邮件的似然

利用正态分布密度函数：
$$f(0.8\mid H)=\frac{1}{\sqrt{2\pi (0.1{)}^2}}\exp (-\frac{(0.8-0.75{)}^2}{2(0.1{)}^2})\approx \mathrm{3.76.}$$

计算非垃圾邮件的似然

同理，
$$f(0.8\mid \bar{H})=\frac{1}{\sqrt{2\pi (0.1{)}^2}}\exp (-\frac{(0.8-0.4{)}^2}{2(0.1{)}^2})\approx \mathrm{0.00133.}$$

利用贝叶斯公式更新后验概率

将上面结果代入：
$$P(H\mid x=0.8)=\frac{3.76\times 0.3}{3.76\times 0.3+0.00133\times 0.7}\approx \mathrm{0.9992.}$$

这意味着，新邮件被判断为垃圾邮件的后验概率约为 $99.9\%$。

注意

在这种情况下，尽管我们在计算过程中使用了条件概率密度函数，但最终计算得到的是经过归一化的数值，其结果是介于0和1之间的一个概率，而不是概率密度。