В чем суть метода максимального правдоподобия ММП? (Общая статистика)

Метод максимального правдоподобия (ММП) является одним из наиболее распространенных методов нахождения оценок неизвестных параметров генеральной совокупности. 

Рассмотрим выборку, состоящую из трех наблюдений \(x_1=250\), \(x_2=259\), \(x_3=265\) из нормально распределенной генеральной совокупности с неизвестным средним \(\mu\) и известным стандартным отклонением \(\sigma=10\). Требуется найти такое значение параметра \(\mu\), которое в наибольшей степени соответствует выборочным данным.

Начнем поиск решения с двух возможных вариантов: \(\mu_1=230\), \(\mu_2=259\). В качестве меры состоятельности наблюдения \(x_i\) в выбранной генеральной совокупности можно использовать значение плотности распределения, найденное в указанной точке.

> x <- c(250, 259, 265)

> case1 <- dnorm(x, mean = 230, sd = 10, log = FALSE)

> case2 <- dnorm(x, mean = 259, sd = 10, log = FALSE)

> data <- data.frame(case1, case2)

##          case1      case2

## 1 5.399097e-03 0.02660852

## 2 5.952532e-04 0.03989423

## 3 8.726827e-05 0.03332246

В качестве меры состоятельности нескольких наблюдений в выбранной генеральной совокупности можно использовать произведение найденных значений плотности, которое называют величиной правдоподобия \(L(\mu)\). 

Очевидно, если выбранное значение \(\mu\) соответствует выборочным данным, то значения плотностей в указанных точках, а значит и их произведение будет большим, и наоборот, если выбранное значение \(\mu\) не соответствует выборочным данным, то значения плотностей и величина правдоподобия \(L(\mu)\) будут маленькими.

> prod(case1)

## 2.804654e-10

> prod(case2)

## 3.537268e-05

В первом случае, величина \(L(\mu=230)\) намного меньше величины \(L(\mu=259)\) во втором случае, то есть \(\mu=259\) больше соответствует выборочным данным чем \(\mu=230\). 

Соответствующая МП-оценка, для которой величина правдоподобия максимальна, как и в случае метода наименьших квадратов, может быть найдена аналитически или численно, с помощью поискового алгоритма. Отметим здесь, что функция правдоподобия \(L(\mu)\) может не иметь четко выраженного максимума. В этом случае поисковый алгоритм найдет несколько близких значений, то есть МП-оценка будет относительно точной.

В рассматриваемом примере существует аналитическое решение, а именно для нормально распределенной генеральной совокупности МП-оценкой параметра \(\mu\) является выборочное среднее \(\bar{x}=258\).

> x <- c(250, 259, 265)

> prod(dnorm(x, mean = mean(x), sd = 10, log = FALSE))

## 3.590727e-05