Как построить доверительный интервал для матожидания отклика? (Линейная регрессия)

Обозначим через $x_h$ значение переменной $x$ при котором требуется построить оценку для математического ожидания отклика. Значение $x_h$ может принадлежать выборке данных или может быть выбрано произвольно из области определения регрессора. Обозначим через $E(Y_h)$ математическое ожидание отклика при $x=x_h$. Тогда точечную оценку $E(Y_h)$ дает формула $$\hat{y}_h=b_0+b_1x_h.$$

Выборочное распределение $\hat{y}_h$ получается за счет многократного повторения эксперимента при неизменных значениях $x_i$ переменной $x$ от выборки к выборке и расчете для каждой новой выборки значения $\hat{y}_h$. 

Для простой линейной модели с нормальной ошибкой $\hat{y}_h$ распределено нормально с математическим ожиданием и дисперсией: $$E[\hat{y}_h]=E[b_0+b_1x_h]=E[b_0]+x_hE[b_1]=\beta_0+\beta_1x_h=E[Y_h],$$ $$var[\hat{y}_h]=\sigma^2\left[\frac{1}{n}+\frac{(x_h-\bar{x})^2}{\sum{(x_i-\bar{x})^2}}\right].$$

Тот факт, что $\hat{y}_h$ распределено по нормальному закону прямо следует из того, что $\hat{y}_h$ (также как $b_0$ и $b_1$) является линейной комбинацией нормально распределенных наблюдений $Y_i$.

Отметим также, что на дисперсию $var[\hat{y}_h]$ влияет то, насколько $x_h$ отстоит от $\bar{x}$, а именно: чем больше расстоянием между $x_h$ и $\bar{x}$, тем больше выражение $(x_h-\bar{x})^2$ и тем больше дисперсия $var[\hat{y}_h]$.

Подставив оценку MSE вместо $\sigma^2$, получим оценку дисперсии $\hat{y}_h$ $$s^2[\hat{y}_h]=MSE\left[\frac{1}{n}+\frac{(x_h-\bar{x})^2}{\sum{(x_i-\bar{x})^2}}\right].$$ C помощью арифметического корня $s[\hat{y}_h]$ получим оценку стандартного отклонения $\hat{y}_h$. 

Заметим здесь, что при $x_h=0$, получим $\hat{y}_h=b_0+b_1x_h=b_0$ и, следовательно, дисперсия $var[\hat{y}_h]$ и ее оценка $s^2[\hat{y}_h]$ совпадут с дисперсией и ее оценкой для коэффициента сдвига $b_0$: $var[b_0]$ и $s^2[b_0]$.

Случайная величина $$\frac{\hat{y}_h-E(Y_h)}{s[\hat{y}_h]}\sim t(n-2)$$ и, следовательно, появляется возможность делать статистические выводы относительно коэффициента регрессии $E(Y_h)$ используя $t$-распределение.

$1-\alpha$ доверительный интервал для $E(Y_h)$ получается аналогично доверительным интервалам для параметров сдвига $\beta_0$ и наклона $\beta_1$ и имеет вид: $$\hat{y}_h\pm t_{1-\alpha/2}(n-2)\cdot s[\hat{y}_h].$$

Рассмотрим данные:

x <- c(80, 30, 50, 90, 70, 60, 120, 80, 100, 50, 40, 70, 90, 20, 110, 100, 30, 50, 90, 110, 30, 90, 40, 80, 70)

y <- c(399, 121, 221, 376, 361, 224, 546, 352, 353, 157, 160, 252, 389, 113, 435, 420, 212, 268, 377, 421, 273, 468, 244, 342, 323)

Построим 90% доверительный интервал для математического ожидания отклика при $x_1$=65, $x_2$=100

> new <- data.frame(x = c(65, 100))

> fit <- lm(y ~ x)

> predict(fit,

+         new,

+         se.fit = TRUE,

+         interval = "confidence",

+         level = 0.9)

## fit

##        fit      lwr      upr

## 1 294.4290 277.4315 311.4264

## 2 419.3861 394.9251 443.8470

## 

## se.fit

##         1         2 

##  9.917579 14.272328 

Таким образом, для значения $x_1$=65 имеем: $\hat{y}_h$=294.4290, $s[\hat{y}_h]$=9.917579, интервал [277.4315, 311.4264]; для значения $x_2$=100 имеем: $\hat{y}_h$=419.3861, $s[\hat{y}_h]$=14.272328, интервал [394.9251, 443.8470].

Отметим, что второй доверительный интервал шире первого, так как значение $x_2$=100 существенно дальше отстоит от среднего $\bar{x}$=70 чем значение $x_1$=65.