Как оценить коэффициенты регрессии с помощью ММП? (Линейная регрессия)

Рассуждение, лежащее в основе получения МП-оценки для среднего генеральной совокупности легко переносится на оценку параметров линейной регрессионной модели с нормальной ошибкой - модели, в которой отклик \(Y_i\) имеет нормальное распределение с математическим ожиданием \(\beta_0+\beta_1x_i\) и стандартным отклонением \(\sigma\).

Рассмотрим набор данных:

x <- c(20, 55, 30)

y <- c(5, 12, 10)

Пусть, \(\sigma=2.5\). Найдем величину правдоподобия для значений параметров \(\beta_0=0\) и \(\beta_1=0.5\).

Для первого наблюдения \(x_1=20\) и \(\hat{y}_1=0+0.5\cdot20=10\), то есть \(Y_1\sim N(10,2.5)\) и мера состоятельности наблюдения \(y_1=5\) равна \[f_1=\frac{1}{\sqrt{2\pi}(2.5)}\mbox{exp}\left[-\frac{1}{2}\left(\frac{5-10.0}{2.5}\right)^2\right]=0.02159639.\] 

Для оставшихся двух значений, имеем:

dnorm(12, mean = 0 + 0.5 * 55, sd = 2.5, log = FALSE)

dnorm(10, mean = 0 + 0.5 * 30, sd = 2.5, log = FALSE)

## 7.175136e-10

## 0.02159639

Таким образом, искомая величина правдоподобия равна: \[L(\beta_0=0,\beta_1=0.5)=0.021596\cdot(7.175\times10^{-10})\cdot0.021596=3.3465\times10^{-13}.\]

Обычно, дисперсия ошибки \(\sigma^2\) не известна, поэтому в общем случае функция правдоподобия для \(n\) наблюдений \(Y_1,Y_2,\ldots,Y_n\) зависит от трех переменных и имеет следующий вид:\[L(\beta_0,\beta_1,\sigma^2)=\prod_{i=1}^n\frac{1}{\sqrt{2\pi\sigma^2}}\mbox{exp}\left[-\frac{1}{2\sigma^2}(y_i-\beta_0-\beta_1x_i)^2\right].\]

Параметры \(\hat{\beta_0}\), \(\hat{\beta_1}\), \(\hat{\sigma}^2\) доставляющие максимум функции правдоподобия, могут быть найдены аналитически: необходимо найти соответствующие частные производные функции \(L\) (или \(\ln L\)), приравнять их нулю и затем решить полученную систему уравнений.

При этом МП-оценки для коэффициентов регрессии совпадут с оценками полученными по методу наименьших квадратов, то есть \(\hat{\beta_0}=b_0\) и \(\hat{\beta_1}=b_1\), а МП-оценка дисперсии \(\hat{\sigma}^2=\sum(y_i-\hat{y}_i)^2/n\) будет смещенной, в связи с чем вместо нее используют несмещенную оценку MSE.

Отметим, так как МП-оценки коэффициентов регрессии совпадают с МНК-оценками, они обладают всеми свойствами МНК-оценок: (несмещенные, с минимальной дисперсией в классе всех несмещенных линейных оценок), а также, в условиях модели с нормальной ошибкой, дополнительными свойствами: это состоятельные, достаточные оценки, с минимальной дисперсией в классе всех (линейных и остальных) несмещенных оценок.