Математическая статистика

Точечные оценки

Свойства точечных оценок


Пример 1

Показать, что среднее арифметическое $\bar{x}$ выборки x1,…, xn наблюдений случайной величины X является состоятельной и несмещённой оценкой математического ожидания m случайной величины X.

Решение

Выборка x1,…, xn является реализацией случайной выборки X1,…, Xn, а среднее арифметическое $\bar{x}$ – реализацией статистики $\bar{X}=\frac{1}{n}\sum\limits_{i=1}^{n}{{{X}_{i}}}$.

Найдём математическое ожидание и дисперсию статистики $\bar{X}$:

$\text{M}[\bar{X}]=\text{M}\left[ \frac{1}{n}\sum\limits_{i=1}^{n}{{{X}_{i}}}\right]=\frac{1}{n}\sum\limits_{i=1}^{n}{\text{M}[{{X}_{i}}]=}\frac{1}{n}nm=m$,

$\text{D}[\bar{X}]=\text{D}\left[ \frac{1}{n}\sum\limits_{i=1}^{n}{{{X}_{i}}}\right]=\frac{1}{{{n}^{2}}}\sum\limits_{i=1}^{n}{\text{D}[{{X}_{i}}]=}\frac{1}{{{n}^{2}}}n{{\sigma }^{2}}=\frac{{{\sigma }^{2}}}{n}$.

Поскольку математическое ожидание точечной оценки $\bar{X}$ равно оцениваемому параметру m, то оценка является несмещённой. Оценка является состоятельной, т.к. для неё выполнено достаточное условие состоятельности: $\text{M}[\bar{X}]=m$ и $\text{D}[\bar{X}]\to 0$ при $n\to \infty $.



Пример 2

Показать, что выборочная дисперсия $d_{X}^{*}$ выборки x1,…, xn наблюдений случайной величины X является смещённой оценкой дисперсии σ2 случайной величины X.

Решение

Найдём математическое ожидание и дисперсию статистики $D_{X}^{*}=\frac{1}{n}\sum\limits_{i=1}^{n}{{{({{X}_{i}}-\bar{X})}^{2}}}$. Предварительно преобразуем это выражение:

$D_{X}^{*}=\frac{1}{n}\sum\limits_{i=1}^{n}{{{\left( ({{X}_{i}}-m)-(\bar{X}-m) \right)}^{2}}=}$

$=\frac{1}{n}\sum\limits_{i=1}^{n}{{{({{X}_{i}}-m)}^{2}}}-2(\bar{X}-m)\frac{1}{n}\sum\limits_{i=1}^{n}{({{X}_{i}}-m)}+\frac{1}{n}\sum\limits_{i=1}^{n}{{{(\bar{X}-m)}^{2}}}=$

$=\frac{1}{n}\sum\limits_{i=1}^{n}{{{({{X}_{i}}-m)}^{2}}}-2{{(\bar{X}-m)}^{2}}+\frac{1}{n}n{{(\bar{X}-m)}^{2}}=$

$=\frac{1}{n}\sum\limits_{i=1}^{n}{{{({{X}_{i}}-m)}^{2}}}-{{(\bar{X}-m)}^{2}}$.

Используя свойства математического ожидания и дисперсии, запишем:

$\text{M}[D_{X}^{*}]=\frac{1}{n}\text{M}\left[ \sum\limits_{i=1}^{n}{{{({{X}_{i}}-m)}^{2}}} \right]-\text{M}\left[ {{(\bar{X}-m)}^{2}} \right]=$

$=\frac{1}{n}\sum\limits_{i=1}^{n}{\text{M}\left[ {{({{X}_{i}}-m)}^{2}} \right]}-\text{M}\left[ {{(\bar{X}-m)}^{2}}\right]=\frac{1}{n}\sum\limits_{i=1}^{n}{\text{D}[X]}-\text{D}[\bar{X}]=$

$=\frac{1}{n}n{{\sigma }^{2}}-\frac{{{\sigma}^{2}}}{n}=\frac{n-1}{n}{{\sigma }^{2}}\ne {{\sigma }^{2}}$.

Из полученного выражения, в частности, следует, что

1) выборочная дисперсия является асимптотически несмещённой оценкой дисперсии, а её смещение равно ${{b}_{n}}({{\sigma }^{2}})=-\frac{{{\sigma}^{2}}}{n}$;

2) несмещённой оценкой выборочной дисперсии является статистика

$S_{X}^{2}=\frac{n}{n-1}D_{X}^{*}=\frac{1}{n-1}\sum\limits_{i=1}^{n}{{{({{X}_{i}}-\bar{X})}^{2}}}$,

называемая исправленной выборочной дисперсией.

Для доказательства состоятельности выборочной дисперсии и исправленной дисперсии можно воспользоваться достаточным условием состоятельности или законом больших чисел.



Пример 3

Показать, что среднее арифметическое $\bar{x}$ выборки x1,…,xn наблюдений случайной величины X из нормально распределённой генеральной совокупности N(m, s) является эффективной оценкой математического ожидания m.

Решение

Проверим, критерий эффективности, а именно: обращается ли в равенство неравенство Рао-Крамера для оценки $\bar{X}$. Для этого вначале рассчитаем вклад выборки и информацию Фишера.

$U(x,m)=\frac{\partial }{\partial m}\ln {{f}_{X}}(x,m)=\frac{\partial }{\partial m}\ln \left[ \frac{1}{\sigma \sqrt{2\pi }}\exp \left(-\frac{{{(x-m)}^{2}}}{2{{\sigma }^{2}}} \right) \right]=$

$=\frac{\partial }{\partial m}\ln \left[ \frac{1}{\sigma \sqrt{2\pi }} \right]+\frac{\partial }{\partial m}\left( -\frac{{{(x-m)}^{2}}}{2{{\sigma}^{2}}} \right)=-\frac{1}{2{{\sigma }^{2}}}\frac{\partial }{\partial m}{{(x-m)}^{2}}=$

$=\frac{1}{2{{\sigma }^{2}}}2(x-m)=\frac{x-m}{{{\sigma }^{2}}}$;

$I(m)=\text{M}\left[ U{{(X,m)}^{2}} \right]=\text{M}\left[ {{\left( \frac{X-m}{{{\sigma }^{2}}} \right)}^{2}} \right]=$

$=\frac{1}{{{\sigma}^{4}}}\text{M}\left[ {{\left( X-m \right)}^{2}} \right]=\frac{{{\sigma }^{2}}}{{{\sigma }^{4}}}=\frac{1}{{{\sigma }^{2}}}$.

Таким образом, ${{I}_{n}}(m)=\frac{n}{{{\sigma }^{2}}}$, а поскольку $\text{D}[\bar{X}]=\frac{{{\sigma }^{2}}}{n}$ (из Примера 1*), то статистика $\bar{X}$ является эффективной оценкой математического ожидания m.



Пример 4

Показать, что относительная частота x события A в серии из n независимых испытаний, вероятность события A в каждом из которых равна p, является несмещённой, состоятельной и эффективной оценкой вероятности p.

Решение

Случайная величина K – число появлений события A в серии из n независимых испытаний распределена по биномиальному закону B(n, p). Как известно, числовые характеристики биномиального распределения:

$\text{M}[K]=np$,

$\text{D}[K]=np(1-p)$.

Случайные величины K и X связаны соотношением $K=\frac{X}{n}$. Учитывая свойства математического ожидания и дисперсии, запишем:

$\text{M}[X]=\text{M}\left[ \frac{K}{n} \right]=\frac{1}{n}np=p$,

$\text{D}[X]=\text{D}\left[ \frac{K}{n} \right]=\frac{1}{{{n}^{2}}}np(1-p)=\frac{p(1-p)}{n}$.

Из этих соотношений следует, что статистика X является состоятельной и несмещённой оценкой параметра p.

В результате эксперимента у нас имеется только одно наблюдение x случайной величины X, т.е. объём выборки в формуле (4) расчёта информации Фишера равен 1.

Используя формулы (5) и (6), рассчитаем вклад выборки и информацию Фишера о параметре p, содержащуюся в единственном наблюдении x:

$U(x,p)=\frac{\partial }{\partial p}\ln P(x,p)=\frac{\partial }{\partial p}\ln \left( C_{n}^{x}{{p}^{x}}{{(1-p)}^{n-x}} \right)=$

$=\frac{\partial }{\partial p}\left( \ln C_{n}^{x}+x\ln p+(n-x)\ln (1-p) \right)=\frac{x}{p}-\frac{n-x}{1-p}=$

$=\frac{x-px-np+px}{p(1-p)}=\frac{x-np}{p(1-p)},\ \ \ \ \ x=0,1,...,n;$

$I(p)=\text{M}\left[ U{{(X,p)}^{2}} \right]=\text{M}\left[ {{\left( \frac{X-np}{p(1-p)} \right)}^{2}} \right]=$

$=\frac{\text{M}\left[ {{\left( X-np \right)}^{2}}\right]}{{{p}^{2}}{{(1-p)}^{2}}}=\frac{\text{D}[X]}{{{p}^{2}}{{(1-p)}^{2}}}=\frac{np(1-p)}{{{p}^{2}}{{(1-p)}^{2}}}=\frac{n}{p(1-p)}$.

Таким образом, $\text{D}[X]=\frac{1}{I(p)}$, и согласно неравенству Рао-Крамера статистика X имеет минимально возможную дисперсию, т.е. является эффективной.