Математическая статистика

Точечные оценки

Свойства точечных оценок


Пусть x1,...,xn – выборка наблюдений случайной величины X, имеющей распределение FX(x). При проведении ряда статистических исследований вид функции распределения наблюдаемой случайной величины зачастую предполагается известным (например, случайная величина имеет нормальное или биномиальное распределение). Неизвестными же являются параметры этого распределения.

Одной из задач математической статистики является оценка неизвестных параметров распределения наблюдаемой случайной величины X по выборке x1,..., xn её наблюдений.

Параметром θ∈Θ распределения FX(x) случайной величины X называется любая числовая характеристика этой случайной величины (математическое ожидание, дисперсия и т.п.) или любая константа, явно входящая в выражение для функции распределения FX(x).

В общем случае будем считать, что распределение FX(x) характеризуется вектором параметров $\theta =({{\theta}_{1}},...,{{\theta }_{k}})$.

Например, пусть масса деталей, изготавливаемых станком, в силу присутствия неточности работы станка является случайной величиной X, имеющей нормальное распределение, но его параметры ${{\theta }_{1}}={{m}_{X}}$ и ${{\theta }_{2}}={{\sigma }_{X}}$ неизвестны. Требуется найти приближённое значение этих параметров по выборке наблюдений x1,..., xn масс n изготовленных станком деталей.

Напомним, что любая выборка наблюдений x1,...,xn является реализацией случайной выборки X1,...,Xn. Статистикой Z в математической статистике называется произвольная функция случайной выборки, не зависящая от неизвестных параметров распределения:

$Z=\varphi ({{X}_{1}},...,{{X}_{n}})$.

В связи с тем, что статистика Z является функцией случайных аргументов, Z является случайной величиной. Для каждой реализации x1,...,xn случайной выборки X1,...,Xn получим соответствующую ей реализацию z статистики Z:

$z=\varphi ({{x}_{1}},...,{{x}_{n}})$,

называемую выборочным значением статистики Z.

Точечной оценкой ${{\tilde{\theta }}_{n}}$ неизвестного параметра θ∈Θ (или вектора параметров) распределения FX(x) называется произвольная статистика ${{\tilde{\theta }}_{n}}$, построенная по случайной выборке X1,...,Xn из генеральной совокупности X и принимающая значения из множества Θ:

${{\tilde{\theta }}_{n}}=\tilde{\theta }({{X}_{1}},...,{{X}_{n}})$.

(1)

Точечная оценка ${{\tilde{\theta }}_{n}}$ является случайной величиной. Для выборки x1,..., xn может быть рассчитана реализация точечной оценки, или выборочное значение точечной оценки, неизвестного параметра θ∈Θ. Далее точечную оценку и её выборочное значение будем обозначать одинаково через ${{\tilde{\theta }}_{n}}$, при необходимости дополнительно оговаривая, является ли ${{\tilde{\theta}}_{n}}$ случайной величиной или её реализацией.

В соответствии с определением (1) существует бесконечно много точечных оценок неизвестного параметра θ. Формально точечная оценка ${{\tilde{\theta }}_{n}}$ может не иметь ничего общего с интересующим нас параметром θ. Её полезность для получения практически приемлемых оценок вытекает из статистических свойств, которыми она обладает.

Основные свойства точечных оценок.

1. Состоятельность (Consistency)

Точечная оценка ${{\tilde{\theta }}_{n}}=\tilde{\theta }({{X}_{1}},...,{{X}_{n}})$ называется состоятельной оценкой параметра θ, если последовательность случайных величин ${{\tilde{\theta }}_{1}},{{\tilde{\theta }}_{2}},...,{{\tilde{\theta }}_{n}},...$ сходится по вероятности к оцениваемому параметру θ при $n\to \infty $, т.е.

$\forall \varepsilon >0\ \ \ P\left( \left| {{{\tilde{\theta }}}_{n}}-\theta \right|<\varepsilon \right)\to 1$.

Иными словами, для состоятельной оценки вероятность её отклонения от оцениваемого параметра θ на любую малую величину e при увеличении объёма выборки стремится к нулю. Это свойство оценки является очень важным, ибо несостоятельная оценка практически бесполезна. Для несостоятельной оценки её значение, рассчитанное даже для выборки очень большого объёма, может существенно отличаться от значения параметра θ, а увеличение объёма выборки может не улучшать её качество.

Состоятельность оценки может быть проверена, используя достаточное условие состоятельности: если $\text{M}[{{\tilde{\theta }}_{n}}]\to \theta $ и $\text{D}[{{\tilde{\theta }}_{n}}]\to 0$ при $n\to \infty $, то оценка ${{\tilde{\theta }}_{n}}$ является состоятельной.

Доказательство этого утверждения следует из второго неравенства Чебышева, согласно которому

$\forall \varepsilon >0\ \ \ P\left( \left| {{{\tilde{\theta }}}_{n}}-\text{M}[{{{\tilde{\theta }}}_{n}}] \right|\ge \varepsilon \right)\le\frac{\text{D}[{{{\tilde{\theta }}}_{n}}]}{{{\varepsilon }^{2}}}$.

Переходя к пределу при $n\to \infty $ получаем

$\forall \varepsilon >0\ \ \ P\left( \left| {{{\tilde{\theta }}}_{n}}-\theta \right|\ge \varepsilon \right)\to 0$,

из чего следует состоятельность оценки ${{\tilde{\theta }}_{n}}$.

2. Несмещённость (Bias)

Точечная оценка ${{\tilde{\theta }}_{n}}=\tilde{\theta }({{X}_{1}},...,{{X}_{n}})$ называется несмещённой оценкой параметра θ∈Θ, если её математическое ожидание равно оцениваемому параметру θ, т.е.

$\text{M}[{{\tilde{\theta }}_{n}}]=\theta $.

(2)

Разность ${{b}_{n}}\text{(}\theta \text{)=M}[{{\tilde{\theta }}_{n}}]-\theta $ называется смещением точечной оценки ${{\tilde{\theta }}_{n}}$.

Статистика $\tilde{\theta }$ называется несмещённой оценкой параметра θ, если условие (2) выполнено для любого фиксированного объёма выборки n.

Статистика $\tilde{\theta }$ называется асимптотически несмещённой оценкой параметра θ∈Θ, если числовая последовательность математических ожиданий $\text{M}[{{\tilde{\theta }}_{1}}],\text{M}[{{\tilde{\theta }}_{2}}],...,\text{M}[{{\tilde{\theta }}_{n}}],...$ сходится к оцениваемому параметру θ при $n\to \infty $, т.е.

$\text{M}[{{\tilde{\theta }}_{n}}]\to \theta $.

Несмещённость оценки ${{\tilde{\theta }}_{n}}$ означает, что реализации этой оценки, рассчитанные для различных реализаций случайной выборки X1,...,Xn объёма n, будут группироваться в среднем около оцениваемого параметра θ.

Иллюстрация понятия несмещённости точечной оценки

Реализации несмещённой точечной оценки $\tilde{\theta }$ группируются около оцениваемого параметра θ, а реализации смещённой оценки $\hat{\theta }$ – около величины θ + bn(θ).

3. Эффективность (Efficiency)

Для оценки параметра θ может быть предложено несколько несмещённых оценок. Вследствие несмещённости различные реализации этих оценок будут группироваться относительно их математического ожидания, равного θ, однако разброс этих значений может быть различным. Как известно, мерой разброса значений случайной величины относительно математического ожидания является её дисперсия.

Пусть ${{\tilde{\theta }}_{n}}=\tilde{\theta }({{X}_{1}},...,{{X}_{n}})$ и ${{\hat{\theta }}_{n}}=\hat{\theta }({{X}_{1}},...,{{X}_{n}})$ – две несмещённые оценки параметра q по выборке объёма n. Оценка ${{\tilde{\theta }}_{n}}$ называется более эффективной, чем оценка ${{\hat{\theta }}_{n}}$, если её дисперсия меньше, т.е.

$\text{D}[{{\tilde{\theta }}_{n}}]<\text{D}[{{\hat{\theta }}_{n}}]$.

(3)

Статистика $\tilde{\theta }$ называется более эффективной оценкой параметра θ∈Θ, чем статистика $\hat{\theta }$, если условие (3) выполнено для любого фиксированного объёма выборки n.

Если оценка ${{\tilde{\theta }}_{n}}$ более эффективна, чем оценка ${{\hat{\theta }}_{n}}$, то это означает, что реализации оценки ${{\tilde{\theta}}_{n}}$, рассчитанные для различных реализаций случайной выборки X1,...,Xn объёма n, будут иметь меньший разброс около оцениваемого параметра θ, чем реализации менее эффективной оценки ${{\hat{\theta }}_{n}}$.

Иллюстрация понятия эффективности точечных оценок

Оценка параметра θ, имеющая минимально возможную дисперсию среди всех оценок, называется эффективной оценкой параметра θ. В математической статистике наряду с термином «эффективная оценка» используют и другие: «несмещённая оценка с минимальной дисперсией», «оптимальная оценка».

Для того чтобы ответить на вопрос, является ли статистика $\tilde{\theta }$ эффективной оценкой параметра θ, используется неравенство Рао-Крамера (Calyampudi Radhakrishna Rao, Harald Cramer, 1945):

$\text{D}[\tilde{\theta }]\ge \frac{1}{{{I}_{n}}(\theta )}$,

согласно которому любая оценка $\tilde{\theta }$ параметра θ ограничена снизу величиной $\frac{1}{{{I}_{n}}(\theta )}$ при выполнении некоторых условий регулярности (выполнены практически для всех используемых на практике оценок), где In(θ) – количество информации по Фишеру о параметре θ, содержащееся в выборке объёма n.

Таким образом, критерием эффективности оценки $\tilde{\theta }$ является обращение для неё в равенство неравенства Рао-Крамера.

Эффективностью оценки $\tilde{\theta }$ параметра θ называется отношение

$e({\tilde{\theta }})=\frac{1/{{I}_{n}}(\theta )}{\text{D}[\tilde{\theta }]}$.

Согласно неравенству Рао-Крамера эффективность любой точечной оценки ограничена сверху единицей, а для эффективных оценок $e({\tilde{\theta }})=1$.

При выполнении условий регулярности каждый элемент независимой случайной выборки X1,...,Xn вносит равный вклад в информацию Фишера In(θ), т.е.

${{I}_{n}}(\theta )=nI(\theta )$,

(4)

где I(θ) – количество информации по Фишеру о параметре θ, содержащееся в одном выборочном наблюдении.

Величина информации по Фишеру зависит от вида распределения генеральной совокупности X. Так, выборки, полученные из генеральных совокупностей с разными распределениями (например, нормальным и биномиальным) будут содержать различное количество информации о неизвестных математическом ожидании или дисперсии.

Чем больше информации по Фишеру о параметре θ содержится в выборочных наблюдениях, тем меньший разброс имеют реализации эффективной оценки этого параметра, а следовательно, являются более точными.

Формально информация по Фишеру о параметре θ, содержащаяся в одном выборочном наблюдении из генеральной совокупности с функцией плотности распределения fX(x, θ), рассчитывается по формуле

$I(\theta )=\text{M}\left[ U{{(X,\theta )}^{2}} \right]$,

(5)

где функция

$U(x,\theta )=\frac{\partial }{\partial \theta }\ln {{f}_{X}}(x,\theta )$

называется вкладом выборки.

В случае дискретной генеральной совокупности с распределением вероятностей P(x, θ), $\sum\limits_{x}{P(x,\theta )}=1$, вклад выборки определяется как

$U(x,\theta )=\frac{\partial }{\partial \theta }\ln P(x,\theta )$.

(6)

Статистика $\tilde{\theta }$ является асимптотически эффективной оценкой параметра θ, если последовательность дисперсий $\text{D}[{{\tilde{\theta }}_{1}}],\text{D}[{{\tilde{\theta }}_{2}}],...,\text{D}[{{\tilde{\theta }}_{n}}],...$ сходится к величине, обратной информации Фишера при $n\to \infty $, т.е.

$\text{D}[{{\tilde{\theta }}_{n}}]\to \frac{1}{{{I}_{n}}(\theta )}$.

Пример 1

Пример 2

Пример 3

Пример 4