深度学习之概率论预备知识点（3）

在深度学习中，概率论和数理统计是理解许多算法背后的理论基础。这些知识在处理不确定性、估计模型参数、理解数据分布等方面非常关键

1、概率

一种用来描述随机事件发生的可能性的数字度量，表示某一事件发生的可能性。

概率并不客观存在，是一种不确定性的度量。它的范围在【0,1】之间，0表示不可能发生，1表示必然发生。

概率公式：P(A) = 事件A发生的次数/总事件数

在深度学习中，概率用于表示模型预测某一结果的可能性。例如，分类问题中，输出为某一类别的概率。

2、概率和深度学习

概率论在深度学习中的应用广泛，它帮助我们理解模型的不确定性、推理和决策过程。

概率可以用来表示模型的准确率。概率可以用来描述模型的不确定性。概率可以作为模型损失的度量。

概率在深度学习中的作用包括：

• 模型的不确定性：如在贝叶斯神经网络中，权重是随机变量，通过概率表示模型的不确定性。
• 损失函数的定义：如交叉熵损失函数，是基于概率的度量。
• 生成模型：如变分自编码器（VAE）和生成对抗网络（GANs）都基于概率理论来生成新数据。

3、概率的研究

3.1 频率学派（Frequentist Probability）

频率学派定义概率为长期重复试验中事件发生的相对频率，即在无限次试验中，某事件发生的频率会趋近于某个稳定值。因此概率计算公式

，即   注：n是实验的总次数

3.1.1 典型应用：

• 大规模的实验数据，如质量控制中的产品抽样检验、医学研究中的临床试验等。

3.1.2 不足之处：

• 依赖大量实验：频率学派的定义依赖于无限次的重复实验。实际中，我们往往只能进行有限次实验，尤其在某些领域（如医学、天文），难以进行大量实验，这使得频率定义的概率无法准确反映现实情况。
• 不能处理单次事件：频率学派无法为一次性事件（如某个人是否会罹患某种疾病）提供合理的概率估计。这种情况使得频率学派在许多实际场景中无法给出明确答案。
• 不能处理主观信念：频率学派仅依赖于观察数据，无法量化基于个人信念或历史经验的主观判断。这在某些领域（如预测未来事件）表现出局限性。

3.2 古典学派（Classical Probability）-- 平均主义的倡导者

无法掌握先验知识的情况下，未知事件发生的概率都是相等的。

古典学派的概率理论起源于17世纪，基于对称性和等可能性概念进行推导。它的基本思想是：如果一个实验的所有可能结果数量有限，并且这些结果的发生机会是均等的，那么事件A的概率可以定义为 

3.2.1 典型应用：

• 抛硬币、掷骰子等简单实验，其中所有结果都是等可能的。

3.2.2 不足之处：

• 依赖于等可能性假设：古典学派要求所有结果的发生是等可能的，但在实际问题中，等可能性常常难以实现。例如，无法保证现实生活中的每个事件都是等概率的。
• 不适合复杂问题：对于较为复杂的现象（如金融市场或生物实验），结果往往不具有对称性和等可能性，古典学派的适用性有限。
• 主观性限制：古典学派的概率值只能用于那些有明确对称结构的情