估计理论(4)：例5.8说明如何用完备的充分统计量找到MVU估计

本节内容摘自Steven M. Kay，《Fundamentals of Statistical Signal Processing: Estimation Theory》。
  我们来个例子，如何用完备统计量找到MVU估计。
【例5.8】均匀噪声的均值

• 问题描述
    我们有数据
  $$x[n]=w[n],n=0,1,\dots ,N-1\text{\hspace{1em}(1)}$$这里$w[n]\sim \mathcal{U}(0,\beta )$，$\beta >0$。我们希望能够得到均值$\theta =\beta /2$的MVU估计。
• CRLB为何不适用？
  从【定理3.1】我们知道，要使用CRLB，需要概率密度函数满足正则条件
  $$\mathrm{E}\left[\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\right]=0.\text{\hspace{1em}(2)}$$现在我们来证明，对于均匀分布噪声均值来说，正则条件(2)不满足。

下面我们来看看习题3.1。

顺便说一句，这本书的答案可见（https://download.csdn.net/download/qianlongchen/9433628?utm_source=iteye)。虽然是手写不太清楚，而且VIP才能下载，不过还是很解决问题啦。

【Problem 3.1】如果$x[n]\sim \mathcal{U}(0,\theta )$，$n=0,1,\dots ,N-1$。试说明正则条件
$$\mathrm{E}\left[\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\right]=0$$不成立，因而CRLB不适用。
【解答】
$$p(x[n];\theta )=\frac{1}{\theta }\left(u(x[n])-u(x[n]-\theta )\right)$$这里的$u(x)$为阶跃函数。因此，我们可以得到
$$p(\mathbf{x};\theta )=\prod _{n=0}^{N-1}p(x[n];\theta ),$$显然，如果我们能够证明
$$\mathrm{E}\left[\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\right]\ne 0,\mathrm{f}\mathrm{o}\mathrm{r}n=0,\dots ,N-1$$则获证。我们令$y=x[n]$，有
$$p(y;\theta )=\frac{1}{\theta }\left(u(y)-u(y-\theta )\right),$$则可以得到$p(y;\theta$的图像如下图所示。看图的时候，可以考虑$y$是固定值。显然应该有$y=x[n]>0$。这时，如果$\theta <y$，函数值为0；$\theta >y$，则有函数值为$1/\theta$。因此，有
$$\mathrm{E}\left[\frac{\partial \ln p(y;\theta )}{\partial \theta }\right]=\mathrm{E}\left[\frac{\partial \ln (1/\theta )}{\partial \theta }\right]=-\frac{1}{\theta }\ne 0.$$

• 下面我们来找到一个无偏估计，并且用充分统计量的完备性，来考察这个无偏估计是不是MVU估计。
    我们很自然会想到用样本均值
  $$\hat{\theta }=\frac{1}{N}\sum _{n=0}^{N-1}x[n]$$作为估计。这里$x[n]\sim \mathcal{U}(0,2\theta )$，因此$\mathrm{E}(x[n])=\theta$。对估计求均值，得到
  $$\mathrm{E}(\hat{\theta })=\theta .$$因此$\hat{\theta }$为无偏估计，其方差为
  $$\mathrm{v}\mathrm{a}\mathrm{r}(\hat{\theta })=\frac{1}{N}\mathrm{v}\mathrm{a}\mathrm{r}(x[n])=\frac{{\beta }^2}{12N}=\frac{{\theta }^2}{3N}.\text{\hspace{1em}(5.9)}$$

(1) 找到完备的充分统计量

我们可以用阶跃函数来表示均匀分布的PDF，即
$$p(x[n];\theta )=\frac{1}{\beta }[u(x[n])-u(x[n]-\beta )]，$$则可以得到对所有数据的PDF为
$$p(\mathbf{x};\theta )=\frac{1}{{\beta }^N}\prod _{n=0}^{N-1}[u(x[n])-u(x[n]-\beta )].$$与Problem 3.1类似，我们可以得到
$$p(\mathbf{x};\theta )=\{\begin{array}{cc}\frac{1}{{\beta }^N}& 0\le x[n]\le \beta ,n=0,1,\dots ,N-1\\ 0& \mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}\end{array}$$进一步，可以得到$$p(\mathbf{x};\theta )=\{\begin{array}{cc}\frac{1}{{\beta }^N}& \max x[n]<\beta ,\min x[n]>0\\ 0& \mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}\end{array}$$因此
$$p(\mathbf{x};\theta )=\frac{1}{{\beta }^N}u(\beta -\max x[n])u(\min x[n])=g(T(\mathbf{x}),\theta )h(\mathbf{x}),$$其中
$$g(T(\mathbf{x}),\theta )=\frac{1}{{\beta }^N}u(\beta -\max x[n])，h(\mathbf{x})=u(\min x[n]).$$
通过Neyman-Fisher因式分解定理，$T(\mathbf{x})=\max x[n]$为充分统计量，并且可以证明其为完备的（证明略）。

(2) 找到$T(\mathbf{x})$的函数，得到无偏估计
  上面我们找到完备的充分统计量为$T(\mathbf{x})=\max x[n]$。我们首先来确定它的均值。显然，$T$为顺序统计量(order statistics)。我们先来看累积分布函数
Pr{T≤ξ}=Pr⁡{x[0]≤ξ,x[1]≤ξ,…,x[N−1]≤ξ}=∏n=0N−1Pr⁡{x[n]≤ξ}=Pr⁡{x[n]≤ξ}N. \begin{aligned} {\rm Pr}\{T\le \xi\}&=\Pr\{x[0]\le \xi,x[1]\le\xi, \ldots,x[N-1]\le \xi\}\\ &=\prod_{n=0}^{N-1}\Pr\{x[n]\le \xi\}\\ &=\Pr\{x[n]\le \xi\}^N. \end{aligned} Pr{T≤ξ}​=Pr{x[0]≤ξ,x[1]≤ξ,…,x[N−1]≤ξ}=n=0∏N−1​Pr{x[n]≤ξ}=Pr{x[n]≤ξ}N.​因此得到PDF为
pT(ξ)=dPr{T≤ξ}dξ=NPr⁡{x[n]≤ξ}N−1dPr{x[n]≤ξ}dξ. \begin{aligned} p_{T}(\xi)&=\frac{d{\rm Pr}\{T\le \xi\}}{d\xi}\\ &=N\Pr\{x[n]\le \xi\}^{N-1}\frac{d{\rm Pr}\{x[n]\le \xi\}}{d\xi}. \end{aligned} pT​(ξ)​=dξdPr{T≤ξ}​=NPr{x[n]≤ξ}N−1dξdPr{x[n]≤ξ}​.​注意到dPr{x[n]≤ξ}dξ\frac{d{\rm Pr}\{x[n]\le \xi\}}{d\xi}dξdPr{x[n]≤ξ}​为$x[n]$的概率密度函数$p_{x[n]}(\xi ;\theta )$，且
$$p_{x[n]}(\xi ;\theta )=\{\begin{array}{cc}\frac{1}{\beta }& 0<\xi <\beta \\ 0& \mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}.\end{array}$$积分后得到
Pr⁡{x[n]≤ξ}={0ξ<0ξβ0<ξ<β1ξ>β. \Pr\{x[n]\le\xi\}=\left\{\begin{matrix}0&\xi<0\\\frac{\xi}{\beta}&0<\xi<\beta\\1&{\xi>\beta}.\end{matrix} \right. Pr{x[n]≤ξ}=⎩⎨⎧​0βξ​1​ξ<00<ξ<βξ>β.​最后，我们得到
$$p_T(\xi )=\{\begin{array}{cc}0& \xi <0\\ N{\left(\frac{\xi }{\beta }\right)}^{N-1}\frac{1}{\beta }& 0<\xi <\beta \\ 0& \xi >\beta .\end{array}$$因此，可以求得
$$\begin{array}{rl}\mathrm{E}(T)& ={\int }_{-\infty }^{\infty }\xi p_T(\xi )d\xi \\ & ={\int }_0^{\beta }\xi N{\left(\frac{\xi }{\beta }\right)}^{N-1}\frac{1}{\beta }d\xi \\ & =\frac{N}{N+1}\beta \\ & =\frac{2N}{N+1}\theta \end{array}$$为了得到无偏估计，我们令$\hat{\theta }=\frac{N+1}{2N}T$，因此最终无偏估计为
$$\hat{\theta }=\frac{N+1}{2N}\max x[n].$$
有点出人意料的是，样本均值不是均匀分布噪声的MVU估计！
下面我们来看看二者方差情况。
（3）最小估计方差
  我们可以得到最小估计方差为
$$\mathrm{v}\mathrm{a}\mathrm{r}(\hat{\theta })=\left(\frac{N+1}{2N}\right)\mathrm{v}\mathrm{a}\mathrm{r}(T),$$其中
$$\begin{array}{rl}\mathrm{v}\mathrm{a}\mathrm{r}(T)& ={\int }_0^{\beta }{\xi }^2\frac{N{\xi }^{N-1}}{{\beta }^N}d\xi -{\left(\frac{N\beta }{N+1}\right)}^2\\ & =\frac{N{\beta }^2}{(N+1{)}^2(N+2)}.\end{array}$$最终，我们可以得到最小方差为
$$\mathrm{v}\mathrm{a}\mathrm{r}(\hat{\theta })=\frac{{\beta }^2}{4N(N+2)}.\text{\hspace{1em}(5.10)}$$我们把样本均值的方差(5.9)重写如下
$$\mathrm{v}\mathrm{a}\mathrm{r}(\hat{\theta })=\frac{1}{N}\mathrm{v}\mathrm{a}\mathrm{r}(x[n])=\frac{{\beta }^2}{12N}\text{\hspace{1em}(5.9)}$$显然如果$N\ge 2$，则(5.10)更小。