Математическая статистика
Точечные оценки
Свойства точечных оценок
Показать, что среднее арифметическое $\bar{x}$ выборки x1,…, xn наблюдений случайной величины X является состоятельной и несмещённой оценкой математического ожидания m случайной величины X.
Решение
Выборка x1,…, xn является реализацией случайной выборки X1,…, Xn, а среднее арифметическое $\bar{x}$ – реализацией статистики $\bar{X}=\frac{1}{n}\sum\limits_{i=1}^{n}{{{X}_{i}}}$.
Найдём математическое ожидание и дисперсию статистики $\bar{X}$:
$\text{M}[\bar{X}]=\text{M}\left[ \frac{1}{n}\sum\limits_{i=1}^{n}{{{X}_{i}}}\right]=\frac{1}{n}\sum\limits_{i=1}^{n}{\text{M}[{{X}_{i}}]=}\frac{1}{n}nm=m$,
$\text{D}[\bar{X}]=\text{D}\left[ \frac{1}{n}\sum\limits_{i=1}^{n}{{{X}_{i}}}\right]=\frac{1}{{{n}^{2}}}\sum\limits_{i=1}^{n}{\text{D}[{{X}_{i}}]=}\frac{1}{{{n}^{2}}}n{{\sigma }^{2}}=\frac{{{\sigma }^{2}}}{n}$.
Поскольку математическое ожидание точечной оценки $\bar{X}$ равно оцениваемому параметру m, то оценка является несмещённой. Оценка является состоятельной, т.к. для неё выполнено достаточное условие состоятельности: $\text{M}[\bar{X}]=m$ и $\text{D}[\bar{X}]\to 0$ при $n\to \infty $.
Показать, что выборочная дисперсия $d_{X}^{*}$ выборки x1,…, xn наблюдений случайной величины X является смещённой оценкой дисперсии σ2 случайной величины X.
Решение
Найдём математическое ожидание и дисперсию статистики $D_{X}^{*}=\frac{1}{n}\sum\limits_{i=1}^{n}{{{({{X}_{i}}-\bar{X})}^{2}}}$. Предварительно преобразуем это выражение:
$D_{X}^{*}=\frac{1}{n}\sum\limits_{i=1}^{n}{{{\left( ({{X}_{i}}-m)-(\bar{X}-m) \right)}^{2}}=}$
$=\frac{1}{n}\sum\limits_{i=1}^{n}{{{({{X}_{i}}-m)}^{2}}}-2(\bar{X}-m)\frac{1}{n}\sum\limits_{i=1}^{n}{({{X}_{i}}-m)}+\frac{1}{n}\sum\limits_{i=1}^{n}{{{(\bar{X}-m)}^{2}}}=$
$=\frac{1}{n}\sum\limits_{i=1}^{n}{{{({{X}_{i}}-m)}^{2}}}-2{{(\bar{X}-m)}^{2}}+\frac{1}{n}n{{(\bar{X}-m)}^{2}}=$
$=\frac{1}{n}\sum\limits_{i=1}^{n}{{{({{X}_{i}}-m)}^{2}}}-{{(\bar{X}-m)}^{2}}$.
Используя свойства математического ожидания и дисперсии, запишем:
$\text{M}[D_{X}^{*}]=\frac{1}{n}\text{M}\left[ \sum\limits_{i=1}^{n}{{{({{X}_{i}}-m)}^{2}}} \right]-\text{M}\left[ {{(\bar{X}-m)}^{2}} \right]=$
$=\frac{1}{n}\sum\limits_{i=1}^{n}{\text{M}\left[ {{({{X}_{i}}-m)}^{2}} \right]}-\text{M}\left[ {{(\bar{X}-m)}^{2}}\right]=\frac{1}{n}\sum\limits_{i=1}^{n}{\text{D}[X]}-\text{D}[\bar{X}]=$
$=\frac{1}{n}n{{\sigma }^{2}}-\frac{{{\sigma}^{2}}}{n}=\frac{n-1}{n}{{\sigma }^{2}}\ne {{\sigma }^{2}}$.
Из полученного выражения, в частности, следует, что
1) выборочная дисперсия является асимптотически несмещённой оценкой дисперсии, а её смещение равно ${{b}_{n}}({{\sigma }^{2}})=-\frac{{{\sigma}^{2}}}{n}$;
2) несмещённой оценкой выборочной дисперсии является статистика
$S_{X}^{2}=\frac{n}{n-1}D_{X}^{*}=\frac{1}{n-1}\sum\limits_{i=1}^{n}{{{({{X}_{i}}-\bar{X})}^{2}}}$,
называемая исправленной выборочной дисперсией.
Для доказательства состоятельности выборочной дисперсии и исправленной дисперсии можно воспользоваться достаточным условием состоятельности или законом больших чисел.
Показать, что среднее арифметическое $\bar{x}$ выборки x1,…,xn наблюдений случайной величины X из нормально распределённой генеральной совокупности N(m, s) является эффективной оценкой математического ожидания m.
Решение
Проверим, критерий эффективности, а именно: обращается ли в равенство неравенство Рао-Крамера для оценки $\bar{X}$. Для этого вначале рассчитаем вклад выборки и информацию Фишера.
$U(x,m)=\frac{\partial }{\partial m}\ln {{f}_{X}}(x,m)=\frac{\partial }{\partial m}\ln \left[ \frac{1}{\sigma \sqrt{2\pi }}\exp \left(-\frac{{{(x-m)}^{2}}}{2{{\sigma }^{2}}} \right) \right]=$
$=\frac{\partial }{\partial m}\ln \left[ \frac{1}{\sigma \sqrt{2\pi }} \right]+\frac{\partial }{\partial m}\left( -\frac{{{(x-m)}^{2}}}{2{{\sigma}^{2}}} \right)=-\frac{1}{2{{\sigma }^{2}}}\frac{\partial }{\partial m}{{(x-m)}^{2}}=$
$=\frac{1}{2{{\sigma }^{2}}}2(x-m)=\frac{x-m}{{{\sigma }^{2}}}$;
$I(m)=\text{M}\left[ U{{(X,m)}^{2}} \right]=\text{M}\left[ {{\left( \frac{X-m}{{{\sigma }^{2}}} \right)}^{2}} \right]=$
$=\frac{1}{{{\sigma}^{4}}}\text{M}\left[ {{\left( X-m \right)}^{2}} \right]=\frac{{{\sigma }^{2}}}{{{\sigma }^{4}}}=\frac{1}{{{\sigma }^{2}}}$.
Таким образом, ${{I}_{n}}(m)=\frac{n}{{{\sigma }^{2}}}$, а поскольку $\text{D}[\bar{X}]=\frac{{{\sigma }^{2}}}{n}$ (из Примера 1*), то статистика $\bar{X}$ является эффективной оценкой математического ожидания m.
Показать, что относительная частота x события A в серии из n независимых испытаний, вероятность события A в каждом из которых равна p, является несмещённой, состоятельной и эффективной оценкой вероятности p.
Решение
Случайная величина K – число появлений события A в серии из n независимых испытаний распределена по биномиальному закону B(n, p). Как известно, числовые характеристики биномиального распределения:
$\text{M}[K]=np$,
$\text{D}[K]=np(1-p)$.
Случайные величины K и X связаны соотношением $K=\frac{X}{n}$. Учитывая свойства математического ожидания и дисперсии, запишем:
$\text{M}[X]=\text{M}\left[ \frac{K}{n} \right]=\frac{1}{n}np=p$,
$\text{D}[X]=\text{D}\left[ \frac{K}{n} \right]=\frac{1}{{{n}^{2}}}np(1-p)=\frac{p(1-p)}{n}$.
Из этих соотношений следует, что статистика X является состоятельной и несмещённой оценкой параметра p.
В результате эксперимента у нас имеется только одно наблюдение x случайной величины X, т.е. объём выборки в формуле (4) расчёта информации Фишера равен 1.
Используя формулы (5) и (6), рассчитаем вклад выборки и информацию Фишера о параметре p, содержащуюся в единственном наблюдении x:
$U(x,p)=\frac{\partial }{\partial p}\ln P(x,p)=\frac{\partial }{\partial p}\ln \left( C_{n}^{x}{{p}^{x}}{{(1-p)}^{n-x}} \right)=$
$=\frac{\partial }{\partial p}\left( \ln C_{n}^{x}+x\ln p+(n-x)\ln (1-p) \right)=\frac{x}{p}-\frac{n-x}{1-p}=$
$=\frac{x-px-np+px}{p(1-p)}=\frac{x-np}{p(1-p)},\ \ \ \ \ x=0,1,...,n;$
$I(p)=\text{M}\left[ U{{(X,p)}^{2}} \right]=\text{M}\left[ {{\left( \frac{X-np}{p(1-p)} \right)}^{2}} \right]=$
$=\frac{\text{M}\left[ {{\left( X-np \right)}^{2}}\right]}{{{p}^{2}}{{(1-p)}^{2}}}=\frac{\text{D}[X]}{{{p}^{2}}{{(1-p)}^{2}}}=\frac{np(1-p)}{{{p}^{2}}{{(1-p)}^{2}}}=\frac{n}{p(1-p)}$.
Таким образом, $\text{D}[X]=\frac{1}{I(p)}$, и согласно неравенству Рао-Крамера статистика X имеет минимально возможную дисперсию, т.е. является эффективной.