极大似然估计_计量丨极大似然估计(1)

答疑

1.极大似然方法把样本独立同分布当成默认假设

极大似然方法不一定要求样本独立同分布但一般统计教材都只讨论独立同分布的情况，目前考试也只涉及独立同分布的题目，可当做默认假设。

2.dlnL/dθ=0方法&定义法求MLE，dlnL/dθ=0是MLE的必要非充分条件

一阶条件只是MLE的必要条件，不是充分条件

满足dlnL/dθ=0的θ还需要满足

①   似然方程dlnL/dθ=0只有唯一解

②   似然函数最大值在参数空间Θ内部达到

这两个条件对指数族都成立(唯一解可以解出来，θ是内点解也很好验证)

不能用一阶导求MLE的情况：

①L(θ|y)不是θ的可微函数甚至不是连续函数时，不能求导

②L(θ|y)对θ的导数恒为正数或负数，即不存在dlnL/dθ=0的点

求导不可行，用定义法，找令L(θ|y)最大的θ即可

         这类定义法的例子常见于均匀分布或带参数示性函数的分布，这类分布支撑集与θ有关，因此L(θ|y)对θ不连续，求出的θ有时会涉及次序统计量

用定义法求MLE的常见分布：

均匀分布、双参数指数分布

3.统计量的一致性(相合性)的证明方法&MLE不一定有相合性，需要满足一定的条件

首先明确一致性的定义

计量里一致性=统计里的弱相合估计=依概率收敛

弱相合性：依概率收敛(convergence in probability)

强相合性：几乎处处收敛(convergence almost surely)

顺便复习一下概率论里4种常用收敛及关系

然后补充一下弱相合估计和强相合估计的证明方法

弱相合估计/一致性的证明

按照定义，弱相合估计要证明依概率收敛，计量里常简写为证

法1：直接用依概率收敛的定义证

证明在n→时为0即可

例子

韦来生例3.3.6证明均匀分布的MLE估计量是原参数的弱相合估计

法2：用几种收敛之间的关系证明

几乎处处收敛(强相合)→弱相合(依概率收敛)

1次均值收敛→弱相合(依概率收敛)

依分布收敛于常数C→弱相合(依概率收敛)

依分布收敛一般不能推出弱相合(依概率收敛)

强相合估计的证明

强相合估计一般用强大数律证明几乎处处收敛

例子

韦来生例3.1.2证明均匀分布的几何平均估计量是强相合估计

最后说一下统计里面MLE满足弱相合性和强相合性需要的条件

弱相合需要满足的条件

计量里直接用正则性条件证明MLE的三个渐进性质(恒定性不是统计性质)

3个性质的统计学证明了解一下，更重要的是给出具体函数，求完具体MLE后怎么证明MLE估计量的一致性、渐进正态性、渐进有效性

MLE的恒定性在计算MLE中也常用。另外MLE对函数的恒定性要求连续可微函数，而相合性(一致性)对函数的恒定性只要求连续函数。

强相合需要的一系列正则性条件

太复杂而且不要求证明，不用记

4.具体MLE估计量的一致性、渐进正态性、渐进有效性证明

题目给一个矩阵形式或者最简单的一元形式的分布，求MLE或OLS或GLS或其他的估计量，然后证一致性/渐进正态/渐进有效(如果有)，应该怎么证？

一致性证明：概率极限的性质+大数律

例1：CLRM证明OLS估计量有一致性。

例2：i.i.d.样本(期望方差存在)均值具有一致性。

推论：任意函数(期望方差存在)的均值具有一致性。

例3：对于i.i.d.样本，证明exp(EX的均值)为exp(EX)的一致估计。

例3里面涉及一个重要性质：连续函数对相合性保持恒定，类似的，MLE的性质4也是恒定性，即连续可微函数对MLE保持恒定，而相合性只要求连续。

相合性(一致性)的恒定性(对连续函数)

例4：求帕累托分布的极大似然估计量，并证明它的一致性。

概率极限法则(依概率收敛的加减乘除)

大数定律

对于一致性的证明，一般涉及的是依概率收敛，所以辛钦大数律和切比雪夫大数律用的多。但有时候强大数律证明出几乎处处收敛(a.s.)，几乎处处收敛(a.s.)一定依概率收敛(p.)也用到过。

大数律要记清楚条件

渐进正态性证明/求渐进分布：中心极限定理+极限分布法则

渐进分布与依分布收敛(d.)相关，涉及中心极限定理CLT和用Taylor级数近似的delta方法

1.极限分布的定义：Xn依分布收敛于X，且极限分布为F(X)

注意依分布收敛只是描述了Xn的概率分布以某种速度趋于X的分布，并不代表Xn收敛

2.极限分布法则(依分布收敛的加减乘除)

3.中心极限定理

棣莫弗-拉普拉斯中心极限定理可视为林德伯格-列维中心极限定理的推论，把独立同分布的分布具体化到两点分布即可。

林德伯格-列维中心极限定理用的最多，对所有i.i.d.且期望方差存在的随机变量适用。

林德伯格-费勒中心极限定理是只要求独立和满足林德伯格条件的推广，不要求同分布。

李雅普诺夫中心极限定理是林德伯格-费勒中心极限定理一个条件比较简单的形式。

前四条都是对单个随机变量的CLT，后两条给出了多元情况下的林德伯格CLT。多元情形，Xn是随机向量，均值是向量，方差是协方差矩阵，协方差矩阵满足有限且正定。

4.delta法(随机变量的CLT→随机变量函数的CLT)

5.渐进分布&渐进矩(渐进期望&渐进方差)

渐近分布的定义：

渐进正态&渐进有效的定义：

渐进正态：依分布收敛

渐进有效：依分布收敛且协方差矩阵最小(与任何一致且渐进正态估计量的协方差矩阵的差为非负定阵)

delta法(随机变量的CLT→随机变量函数的CLT)

对应于依分布收敛的delta方法，渐近分布结论是一样的，只不过把d.写成渐近分布的a.

渐进矩(渐进期望&渐进方差)

序列阶数(具体方差有几项不同阶数相加，取O(1/n)阶的)

求渐近分布/证明渐进正态的例子：

例1：求帕累托分布的MLE及渐近分布。

渐进有效性

渐进正态：依分布收敛于正态分布

渐进有效：依分布收敛于正态分布且协方差矩阵最小(与任何一致且渐进正态估计量的协方差矩阵的差为非负定阵)

证明渐进有效性的例子：

暂时没找到，待补充

框架

MLE

1.基本概念

①参数识别、参数向量θ可识别/不可识别

②似然函数、对数似然函数、似然方程、极大似然估计值

③求导向量/得分向量/得分函数g及分量gi(lnL的一阶导)、对数似然函数的海塞矩阵H及分矩阵Hi(lnL的二阶导)、信息矩阵(lnL的二阶导的期望的相反数)

④信息矩阵等式(lnL的一阶导、二阶导&信息矩阵的关系)

⑤MLE的小样本&渐进性质

常规条件/正则条件/正规条件(regularity)

MLE的有偏性(小样本可能无偏，如指数分布族抽样时存在SS，这时若存在最小方差无偏估计量，即为MLE)

MLE的一致性(相合性，依概率收敛)

MLE的渐进正态性(依分布收敛于正态分布，期望θ_0方差1/Ι(θ_0))

MLE的渐进有效性(渐进有效定义为一致性+渐进正态(CAN)+在所有CAN估计量里渐进协方差矩阵最小且达到所有一致估计量的C-R下界)

C-R下界

MLE的恒定性(连续可微函数C(θ)的极大似然估计量可以通过直接代入θ的极大似然函数得到)

⑥推导MLE的渐进协方差矩阵的3个渐进等价估计量

精确的对数似然二阶导矩阵的期望(已知lnL二阶导的期望形式)

海塞矩阵(用样本均值估计二阶导矩阵的期望)

BHHH估计量/OPG估计量(梯度外积估计量)(一阶导数向量的协方差矩阵就是二阶导矩阵的期望)

2.LR检验、Wald检验、LM检验的估计量及渐进等价性

三个估计量的表达式

三个估计量的渐近分布

3.极大似然方法的扩展方法

极大似然估计

两阶段极大似然估计

伪(准)极大似然估计

极大似然估计的应用：正态线性模型&广义回归模型&表面不相关回归模型&同步等式模型&非线性回归模型&面板数据模型&潜在阶数和有限混合模型(前两个用的最多，考的最多)

参考

格林, & 张成思 改. (2011). 计量经济分析. 中国人民大学出版社.

陈希孺. (1981). 数理统计引论. 科学出版社.

韦来生. (2015). 数理统计.第2版. 科学出版社.

何书元. (2006). 概率论/北京大学数学教学系列丛书. 北京大学出版社.

茆诗松, 濮晓龙, & 程依明. (2012). 概率论与数理统计简明教程. 高等教育出版社.

The End~