贝叶斯（一）先验分布与后验分布

一、先验分布与后验分布

1. 先验分布：将一个未知量$\theta$（这个$\theta$并不是样本x）看做随机变量，应用一个概率分布在抽样前描述关于$\theta$的先验信息的概率陈述，即先验分布

2. 总体信息：样本x所属的数据空间X的分布情况

3. 样本信息：样本x自身的分布情况，一般用$P(x|\theta )={\prod }_{i=0}^{n}P(x_i|\theta )$表示

4. 后验分布：根据先验分布和样本信息通过贝叶斯公式得到的针对未知量$\theta$的再次估计得到的概率分布

5. 贝叶斯公式：有三种形式：

   1. 事件形式：假定$A_1,...,A_k$是互不相容的事件，他们的和${\bigcup }_{i=1}^k{A}_i$包含事件B，则有：

      $P(A_i/B)=\frac{P(A_i)P(B/A_i)}{{\sum }_{i=1}^{k}P(A_i)P(B/A_i)}$

   2. 密度函数：随机变量X有一个密度函数P(x|$\theta$)，$\theta$是一个参数，不同$\theta$表示不同的密度函数，因此P(x|$\theta$)可以看做给定$\theta$后的一个条件密度函数，这就可以看做总体的分布。

      1. $\theta$的先验分布为$\pi (\theta )$，同理，后验分布可以表示为$\pi (\theta |x)$其中x是我们抽样后得到的样本

      2. 可以把样本x和参数的先验分布联合得到联合密度函数：

         $h(x_1,...,x_n,\theta )=p(x_1,...,x_n|\theta )\pi (\theta )$

      3. 在联合密度函数中，当样本$x_1,...,x_n$给定之后，未知的参数就只有$\theta$了，就可以通过样本和先验分布去估计$\theta$的后验分布，只要去掉样本$x_1,...,x_n$的分布就可以了，相当于在这里，事件B就是样本$x_1,...,x_n$的分布，通过积分求得全概率，事件A是$\theta$的分布

         $\pi (\theta |x_1,...,x_n)=\frac{h(x_1,...,x_n,\theta )}{m(x_1,...,x_n)}=\frac{p(x_1,...,x_n|\theta )\pi (\theta )}{{\int }_{\theta }p(x_1,...,x_n|\theta )\pi (\theta )d\theta }$

      4. 其中，$m(x_1,...,x_n)$是样本x的边缘分布，或者说全概率

   3. 离散形式：当$\theta$是离散随机变量的时候，先验分布是$\pi ({\theta }_i)$，后验分布是

      $\pi ({\theta }_i|x)=\frac{p(x|{\theta }_i)\pi ({\theta }_i)}{{\sum }_{j}p(x|{\theta }_j)\pi ({\theta }_j)},i=1,2,...$

6. 共轭先验分布：未知量$\theta$的先验分布$\pi (\theta )$和后验分布$\pi (\theta |x)$有着相同的分布函数形式，只是参数不同，则$\pi (\theta )$是变量$\theta$的共轭先验分布

   总体分布	参数	共轭先验分布
   正态分布$N(\theta ,{\sigma }^2)$	均值$\theta$	正态分布$N(\mu ,{\gamma }^2)-N(\frac{\overline{x}\frac{{\sigma }^{-2}}{n}+\mu {\gamma }^{-2}}{\frac{{\sigma }^{-2}}{n}+{\gamma }^{-2}},\frac{}{\frac{{\sigma }^2}{n}+{\gamma }^2}$