19、经典方法与贝叶斯方法优缺点总结及点数据结构探索

经典方法与贝叶斯方法优缺点总结及点数据结构探索

1. 经典方法与贝叶斯方法的技术差异

在数据分析领域，频率主义和贝叶斯主义是两种重要的范式。下面从几个基本的推理任务来探讨它们的技术差异：
- 点估计 ：可以借助决策理论来量化比较最大似然估计（MLE）和贝叶斯估计。在弱条件下的典型参数模型中，最大似然估计近似为极小极大估计，具有恒定风险的贝叶斯估计也是极小极大估计，并且MLE近似为贝叶斯估计。在样本量足够大时，两种范式都能提供良好的估计，结果通常差异不大。但在小样本情况下，先验的影响更大，会使频率主义和贝叶斯估计产生差异。
- 不确定性估计 ：对于典型的参数模型，MLE和贝叶斯估计都能基于分布的渐近收敛到正态分布得出解析置信带。在机器学习中常见的复杂模型里，贝叶斯估计通过马尔可夫链蒙特卡罗（MCMC）得到后验区间，频率主义估计则通过重采样技术（如刀切法和自助法）得到置信集。这两种方法在一般情况下都可行、易实现，但计算成本高。自助法需要注意避免某些模型设置以实现精确保证，而MCMC在复杂似然景观的模型中难以确保可靠结果。
- 假设检验 ：这是频率主义和贝叶斯方法差异较大的领域。贝叶斯假设检验通过对原假设和备择假设设置先验并计算贝叶斯因子，或对两个假设设置总体先验并计算原假设的后验概率。与点估计不同，先验的影响不会随样本数量增加而减弱，这涉及到分析师对依赖先验的主观接受程度。
- 拟合优度检验 ：拟合优度检验可视为无备择假设的假设检验，其有用性取决于观点。拒绝假设意味着不应使用该模型，但不拒绝并不意味着模型正确。在贝叶斯公式中，需要备择