前言:我是一名电子信息研0学生,未来研究方向是通感一体化,在学习克拉美-罗下界CRLB时,学习顺序是回顾了无偏估计与最大似然估计,然后再学习CRLB,最后结合论文去理解复数域的CRLB。上篇主要介绍了无偏估计,这篇主要介绍对最大似然估计的学习。
最大似然估计学习
我主要是学习了这篇知乎,里面对似然估计的讲解非常浅显易懂,有对概率函数与似然函数的对比讲解,还有相关例子辅助理解,我也对其中的相关内容进行了推导和整理,笔记如下:
而针对文中它的小写表示和大写表示产生了疑惑,因此整理对最大似然估计量与最大似然估计值的相关学习笔记,其实本质就是概率论里的估计值和估计量相关内容。
最大似然估计量与最大似然估计值
核心定义
-
最大似然估计量 (Maximum Likelihood Estimator - p ^ \hat{p} p^):
- 这是题目中最后一步给出的 p ^ = X ˉ = 1 n ∑ i = 1 n X i \hat{p} = \bar{X} = \frac{1}{n} \sum_{i=1}^{n} X_i p^=Xˉ=n1∑i=1nXi。
- 它是什么? 它是一个数学表达式,一个样本的函数。它将样本的取值 ( X 1 , X 2 , . . . , X n ) (X_1, X_2, ..., X_n) (X1,X2,...,Xn) 映射到一个估计值。
- 关键特性:
- 公式/规则: 它代表了推导出的求解参数 p p p 的通用规则或公式。
- 随机性: 因为样本 X 1 , X 2 , . . . , X n X_1, X_2, ..., X_n X1,X2,...,Xn 本身是随机变量,所以这个估计量 p ^ = X ˉ \hat{p} = \bar{X} p^=Xˉ 也是一个随机变量。
-
最大似然估计值 (Maximum Likelihood Estimate - p ^ \hat{p} p^):
- 这是题目中最后一步给出的 p ^ = x ˉ = 1 n ∑ i = 1 n x i \hat{p} = \bar{x} = \frac{1}{n} \sum_{i=1}^{n} x_i p^=xˉ=n1∑i=1nxi。
- 它是什么? 它是将具体观测数据 ( x 1 , x 2 , . . . , x n ) (x_1, x_2, ..., x_n) (x1,x2,...,xn) 代入估计量公式后得到的具体数值。
- 关键特性:
- 具体数值: 它是一个确定的、非随机的数字。
- 数据依赖性: 它完全依赖于实际观察到的数据 ( x 1 , . . . , x n ) (x_1, ..., x_n) (x1,...,xn)。
区别
特征 | 最大似然估计量 ( p ^ = X ˉ \hat{p} = \bar{X} p^=Xˉ) | 最大似然估计值 ( p ^ = x ˉ \hat{p} = \bar{x} p^=xˉ) |
---|---|---|
本质 | 统计量 - 样本 X i X_i Xi 的函数 | 数值 - 具体计算结果 |
随机性 | 随机变量 | 常数 |
表示符号 | 大写字母 ( X X X) - p ^ = 1 n ∑ X i \hat{p} = \frac{1}{n} \sum X_i p^=n1∑Xi | 小写字母 ( x x x) - p ^ = 1 n ∑ x i \hat{p} = \frac{1}{n} \sum x_i p^=n1∑xi |
描述对象 | 估计的规则 | 估计的结果 |
联系
- 估计值是估计量的具体实现:
估计值 = 估计量 ( x 1 , . . . , x n ) \text{估计值} = \text{估计量}(x_1, ..., x_n) 估计值=估计量(x1,...,xn) - 共同的数学形式:
p ^ = 1 n ∑ X i vs p ^ = 1 n ∑ x i \hat{p} = \frac{1}{n}\sum X_i \quad \text{vs} \quad \hat{p} = \frac{1}{n}\sum x_i p^=n1∑Xivsp^=n1∑xi
相关意义
- 理论推导: 通过最大化似然函数得到估计量公式:
p ^ = X ˉ \hat{p} = \bar{X} p^=Xˉ - 实际应用: 将具体数据代入得到估计值:
p ^ = x ˉ \hat{p} = \bar{x} p^=xˉ