Математическая статистика

Точечные оценки

Методы получения точечных оценок


Точечной оценкой неизвестного параметра θ, вообще говоря, может являться любая статистика. Однако на практике интерес представляют лишь наиболее «качественные» оценки, для которых вероятность того, что при реализации случайной выборки они примут значение максимально близкое к неизвестному значению θ наибольшая. Такие оценки должны быть несмещёнными, состоятельными и эффективными. Возникает вопрос, как получить качественную оценку для произвольного параметра θ наблюдаемой случайной величины X?

1. Метод подстановки

Метод подстановки является наиболее простым методом получения точечных оценок. Метод состоит в том, что в качестве оценки $\tilde{\theta }$ неизвестного параметра θ выбирается соответствующая выборочная числовая характеристика:

$\tilde{\theta }={{\theta }^{*}}$.

Например, согласно методу подстановки оценкой математического ожидания будет выборочное среднее, а оценкой дисперсии – выборочная дисперсия.

Все оценки, рассчитанные по методу подстановки, являются состоятельными, однако их несмещённость и эффективность не гарантированы. Примером смещённой оценки, рассмотренной ранее, является выборочная дисперсия.

2. Метод моментов

Пусть x1,…,xn – выборка наблюдений случайной величины X, имеющей распределение FX(x, θ) с вектором неизвестных параметров $\theta =({{\theta }_{1}},...,{{\theta }_{k}})$. Предположим, что для этого распределения могут быть рассчитаны начальные ${{\alpha }_{r}}={{\alpha }_{r}}({{\theta }_{1}},...,{{\theta }_{k}})$ и центральные ${{\mu }_{r}}={{\mu }_{r}}({{\theta}_{1}},...,{{\theta }_{k}})$ моменты некоторых порядков r. Эти моменты являются функциями неизвестных параметров θ1,…,θk. С другой стороны, для выборки могут быть рассчитаны выборочные начальные $\alpha _{r}^{*}$ и центральные $\mu _{r}^{*}$ моменты тех же порядков r.

Метод моментов состоит нахождении такого вектора параметров θ, при котором теоретические моменты равны выборочным моментам, т.е. в разрешении системы уравнений вида:

$\begin{cases} {{\alpha }_{{{r}_{i}}}}({{\theta }_{1}},...,{{\theta }_{k}})=\alpha _{{{r}_{i}}}^{*},\ \ \ i=1,2,... \\ {{\mu }_{{{r}_{j}}}}({{\theta }_{1}},...,{{\theta }_{k}})=\mu _{{{r}_{j}}}^{*},\ \ \ j=1,2,... \end{cases}$

(1)

Число уравнений в системе (1) равно числу неизвестных параметров k. Для получения оценок по методу моментов, вообще говоря, могут быть выбраны любые моменты произвольных порядков, однако, как правило, на практике используют лишь моменты низших порядков.

Все оценки, рассчитанные по методу моментов, являются состоятельными, однако их несмещённость и эффективность, так же, как и в случае метода подстановки, не гарантированы.

Точечные оценки, полученные по методу моментов, называются ММ-оценками.

Пример 1

3. Метод максимального правдоподобия

Метод максимального правдоподобия (maximum likelihood estimation, MLE) является наиболее популярным методом оценивания неизвестных параметров распределений.

Пусть x1,…,xn – выборка наблюдений случайной величины X, имеющей распределение FX(x, θ) с вектором неизвестных параметров $\theta =({{\theta }_{1}},...,{{\theta }_{k}})$. Функцией правдоподобия выборки x1,…, xn из генеральной совокупности X называется совместная функция плотности распределения случайного вектора $X=({{X}_{1}},...,{{X}_{n}})$ при условии, что его реализация $x=({{x}_{1}},...,{{x}_{n}})$:

$L({{x}_{1}},...,{{x}_{n}};\theta )={{f}_{{{X}_{1}}...{{X}_{n}}}}({{x}_{1}},...,{{x}_{n}};\theta )$.

Учитывая, что компоненты X1,…, Xn случайной выборки, реализациями которых являются выборочные значения x 1,…,xn, независимы, многомерная функция плотности есть произведение одномерных функций плотностей:

$L({{x}_{1}},...,{{x}_{n}};\theta )=\prod\limits_{i=1}^{n}{{{f}_{{{X}_{i}}}}({{x}_{i}};\theta )}=\prod\limits_{i=1}^{n}{{{f}_{X}}({{x}_{i}};\theta )}$.

(2)

В (2) учтено, что все компоненты X1,…, Xn имеют одинаковое распределение, совпадающее с распределением генеральной совокупности X.

Функция правдоподобия выборки x1,…, xn является функцией только вектора неизвестных параметров θ.

Аналогично определяется функция правдоподобия для случая дискретной генеральной совокупности с распределением вероятностей P(x, θ), $\sum\limits_{x}{P(x,\theta )}=1$:

$L({{x}_{1}},...,{{x}_{n}};\theta )=\prod\limits_{i=1}^{n}{P({{X}_{i}}={{x}_{i}};\theta )}=\prod\limits_{i=1}^{n}{P({{x}_{i}};\theta )}$.

Метод максимального правдоподобия состоит в том, что в качестве оценки вектора неизвестных параметров $\theta =({{\theta }_{1}},...,{{\theta }_{k}})$ принимается вектор $\tilde{\theta }=({{\tilde{\theta }}_{1}},...,{{\tilde{\theta }}_{k}})$, доставляющий максимум функции правдоподобия, т.е.

$\tilde{\theta }=\arg \underset{\theta }{\mathop{\max }}\,L({{x}_{1}},...,{{x}_{n}};\theta )$.

Иными словами, метод максимального правдоподобия состоит в отыскании такого вектора параметров $\tilde{\theta }$, при котором данная реализация x1,…, xn случайной выборки X1,…,Xn была бы наиболее вероятной.

Запишем необходимое условие экстремума функции правдоподобия:

$\frac{\partial L({{x}_{1}},...,{{x}_{n}};\theta )}{\partial {{\theta }_{i}}}=0,\ \ \ i=\overline{1,k}$.

(3)

Это система k уравнений с k неизвестными θ1,…,θk, решая которую, получаем оценки ${{\tilde{\theta}}_{1}},...,{{\tilde{\theta }}_{k}}$ неизвестных параметров распределения.

На практике бывает удобно вместо системы уравнений (3) составить систему уравнений

$\frac{\partial \ln L({{x}_{1}},...,{{x}_{n}};\theta )}{\partial {{\theta }_{i}}}=0,\ \ \ i=\overline{1,k}$,

которая имеет те же решения. Функция $\ln L({{x}_{1}},...,{{x}_{n}};\theta )$ называется логарифмической функцией правдоподобия.

Все оценки, рассчитанные по методу максимального правдоподобия, являются состоятельными и, по крайней мере, асимптотически несмещёнными и асимптотически эффективными. Если для неизвестного параметра существует эффективная оценка, то метод максимального правдоподобия даёт именно эту оценку.

Точечные оценки, полученные по методу максимального правдоподобия, называются МП-оценками.

Пример 2