Что такое простая линейная модель с неопределенной ошибкой? (Линейная регрессия)

Сформулируем простую, линейную по параметрам, линейную по предиктору регрессионную модель \[Y_i=\beta_0+\beta_1x_i+\varepsilon_i\]

где:

• \(Y_i\) - случайная величина, наблюдаемый отклик в \(i\)-ом испытании;
• \(\beta_0\) и \(\beta_1\) - параметры модели (регрессионные коэффициенты);
• \(x_i\) - константа, значение предиктора в \(i\)-ом испытании;
• \(\varepsilon_i\) - наблюдаемая ошибка в \(i\)-ом испытании, случайная величина с математическим ожиданием \(E(\varepsilon_i)=0\) и дисперсией \(var(\varepsilon_i)=\sigma^2\). Допустим также, что случайные величины \(\varepsilon_i\) и \(\varepsilon_j\) попарно некоррелированы.

Иногда удобно ассоциировать переменную \(x\) с каждым регрессионным коэффициентом. Для этого положим \(x_0\equiv1\), тогда \[Y_i=\beta_0x_0+\beta_1x_i+\varepsilon_i.\]

Модель является "простой", так как содержит только один предиктор; линейной по параметрам, так как первый параметр не комбинируется в форме степени, множителя или частного со вторым параметром; линейной по предиктору, так как независимая переменная имеет первую степень. Модели, линейные по параметрам и по предикторам также называют моделями первого порядка.

Приведем основные свойства рассмотренной модели:

1. Так как отклик \(Y_i\) в \(i\)-ом испытании является суммой двух компонент: константы \(\beta_0+\beta_1x_i\) и случайной величины \(\varepsilon_i\), то \(Y_i\) - случайная величина.
2. Так как \(E(\varepsilon_i)=0\), то \[E(Y_i)=E(\beta_0+\beta_1x_i+\varepsilon_i)=\beta_0+\beta_1x_i+E(\varepsilon_i)=\beta_0+\beta_1x_i,\] и регрессионная функция, устанавливающая связь математических ожиданий распределений вероятностей \(Y\) со значениями \(x_i\) имеет вид: \[E(Y)=\beta_0+\beta_1x.\]
3. Отклик \(Y_i\) в \(i\)-ом испытании отклоняется на величину ошибки \(\varepsilon_i\) от соответствующего ему значения регрессионной функции.
4. Так как ошибки имеют постоянную дисперсию \(var(\varepsilon_i)=\sigma^2\), то \(Y_i\) имеет ту же постоянную дисперсию \[var(Y_i)=var(\beta_0+\beta_1x_i+\varepsilon_i)=var(\varepsilon_i)=\sigma^2.\]
5. Так как ошибки \(\varepsilon_i\) и \(\varepsilon_j\) попарно не коррелированы, то случайные величины \(Y_i\) и \(Y_j\) также попарно не коррелированы.

Подведем итог. Простая модель первого порядка предполагает, что отклики \(Y_i\) имеют распределение вероятностей с математическим ожиданием \(E(Y_i)=\beta_0+\beta_1x_i\), дисперсией \(var(Y_i)=\sigma^2\), равной для всех \(x_i\), и попарно не коррелированы.