概率分布函数及相关研究概述

### 概率分布函数及相关研究概述 #### 1. 常见概率分布函数 概率分布函数在许多领域都有广泛应用，下面介绍几种常见的概率分布函数及其特性。 ##### 1.1 正态分布相关特性 - **归一化常数**：对于具有精度矩阵 $R$ 的情况，归一化常数 $C_N (R^{-1}) \triangleq(2\pi)^{-\frac{D}{2}} |R|^{\frac{1}{2}}$。 - **均值**：$E(x)[x] = \mu$。 - **方差**：$E(x)[(x - \mu)(x - \mu)^{\top}] = \Sigma = R^{-1}$。 - **众数**：众数为 $\mu$。 ##### 1.2 拉普拉斯分布 - **概率密度函数（pdf）**： $Lap(x|\mu,\beta) \triangleq C_{Lap}(\beta)\exp \left( -\frac{|x - \mu|}{\beta} \right) = C_{Lap}(\beta) \begin{cases} \exp \left( -\frac{x - \mu}{\beta} \right) & \text{if } x \geq \mu \\ \exp \left( -\frac{\mu - x}{\beta} \right) & \text{if } x < \mu \end{cases}$ 其中 $x \in R$，$\mu \in R$，$\beta > 0$。 - **归一化常数**：$C_{Lap}(\beta) \triangleq \frac{1}{2\beta}$。 - **均值**：$E(x)[x] = \mu$。 - **众数**：众数为 $\mu$。需要注意的是，该概率分布函数在 $\mu$ 处不连续且不可微。 ##### 1.3 学生 t 分布 - **概率密度函数（pdf）**： $St(x|\mu,\lambda,\kappa) \triangleq C_{St} \left( 1 + \frac{1}{\kappa\lambda}(x - \mu)^2 \right)^{-\frac{\kappa + 1}{2}}$ 其中 $x \in R$，$\mu \in R$，$\kappa > 0$，$\lambda > 0$。 - **归一化常数**： $C_{St}(\kappa,\lambda) \triangleq \frac{\Gamma \left( \frac{\kappa + 1}{2} \right)}{\Gamma \left( \frac{\kappa}{2} \right) \Gamma \left( \frac{1}{2} \right)} \left( \frac{1}{\kappa\lambda} \right)^{\frac{1}{2}}$ - **均值**：$E(x)[x] = \mu$。 - **众数**：众数为 $\mu$。参数 $\kappa$ 称为自由度，当 $\kappa$ 较大时，该分布趋近于高斯分布。 ##### 1.4 伽马分布 伽马分布常用作高斯分布精度参数 $r$ 的先验/后验分布。 - **概率密度函数（pdf）**： $Gam(x|\alpha,\beta) \triangleq C_{Gam}(\alpha,\beta)x^{\alpha - 1} \exp(-\beta x)$ 其中 $x > 0$，$\alpha,\beta > 0$。 - **归一化常数**：$C_{Gam}(\alpha,\beta) \triangleq \frac{\beta^{\alpha}}{\Gamma(\alpha)}$。 - **均值**：$E(x)[x] = \frac{\alpha}{\beta} \triangleq \mu$。 - **方差**：$E(x)[(x - \mu)^2] = \frac{\alpha}{\beta^2}$。 - **众数**：当 $\alpha > 1$ 时，众数为 $\frac{\alpha - 1}{\beta}$，这是通过对 $Gam(x|\alpha,\beta)$ 求导并令其为 0 得到的，即 $\frac{d}{dx} Gam(x|\alpha,\beta) = C_{Gam}(\alpha,\beta)(\alpha - 1 - \beta x)x^{\alpha - 2} \exp(-\beta x) = 0$。伽马分布的形状不对称，众数和均值不同。 为了与 Wishart 分布的符号