Что такое коэффициент корреляции Спирмена? (Корреляционная модель).

Часто совместное двумерное распределение вероятностей случайных величин \(Y_1\) и \(Y_2\) существенно отличается от нормального. В этом случае можно попытаться преобразовать переменные таким образом, чтобы их двумерное совместное распределение стало приблизительно нормальным и затем использовать коэффициент корреляции Пирсона для оценки параметра \(\rho_{12}\).

Если подходящее преобразование не найдено, то для оценки связи между \(Y_1\) и \(Y_2\) можно использовать оценку, известную как непараметрический коэффициент ранговой корреляции Спирмена \(r_s\). Для его расчета значения переменных \(y_{i1}\) и \(y_{i2}\) преобразуются в ранги \(r_{i1}\) и \(r_{i2}\), то есть упорядочиваются по возрастанию и заменяются на свои порядковые номера (при этом равным значениям присваиваются усредненные номера, так называемые связанные ранги) и затем рассчитывается обычный коэффициент корреляции Пирсона, только основанный на рангах:\[r_s=\frac{\sum(r_{i1}-\bar{r}_{1})(r_{i2}-\bar{r}_{2})}{\sqrt{\sum(r_{i1}-\bar{r}_{1})^2\sum(r_{i2}-\bar{r}_{2})^2}},\]здесь \(\bar{r}_1\), \(\bar{r}_2\) - средние арифметические рангов \(r_{i1}\) и \(r_{i2}\). Ясно, что в случае рангов \(\bar{r}_1=\bar{r}_2=(n+1)/2\).

Коэффициент корреляции Спирмена принимает одно из значений между \(-1\) и \(1\) включительно. Коэффициент \(r_s\) равен \(1\) когда ранги переменной \(y_{i1}\) идентичны соответствующим рангам переменной \(y_{i2}\) (наблюдаются пары вида \((1,1)\), \((2,2)\) и т. д.), то есть имеет место совершенное совпадение рангов двух переменных; \(r_s\) равен \(-1\), когда ранги \(y_{i1}\) полностью противоположны соответствующим рангам \(y_{i2}\) (наблюдаются пары вида \((1,n)\), \((2,n-1)\) и т. д.), то есть имеет место полная противоположность рангов двух переменных; в случае малой упорядоченности между рангами наблюдений \(y_{i1}\) и \(y_{i2}\) коэффициент Спирмена принимает значения близкие к нулю.

Коэффициент корреляции Спирмена можно использовать для тестирования альтернативы \(H_0:\) - "нет связи между \(Y_1\) и \(Y_2\)", \(H_a:\) - "есть связь между \(Y_1\) и \(Y_2\)". В случае двустороннего теста \(H_a\) подразумевает оба (положительную и отрицательную) типа связи. Когда гипотеза \(H_a\) имеет вид: "существует положительная (отрицательная) связь между \(Y_1\) и \(Y_2\)" следует использовать правостороннюю (левостороннюю) альтернативу.

Распределение вероятностей \(r_s\) при условии нулевой гипотезы \(H_0\) получается исходя из того, что для любого ранжирования \(y_{i1}\) при условии отсутствия связи между \(Y_1\) и \(Y_2\) все ранжирования \(y_{i2}\) равновероятны. Когда размер выборки \(n\) больше \(10\) для приближенного тестирования нулевой гипотезы используют статистику:\[t^*=\frac{r_s\sqrt{n-2}}{\sqrt{1-r_s^2}}\sim t(n-2),\] имеющую \(t\)-распределение с \(n-2\) степенями свободы

Рассмотрим данные:

y1 <- c(29, 435, 86, 1090, 219, 503, 47, 3524, 185, 98, 952, 89)
y2 <- c(127, 214, 133, 208, 153, 184, 130, 217, 141, 154, 194, 103)

и проведем для них анализ согласно изложенной теории:

> rank(y1)
## [1]  1  8  3 11  7  9  2 12  6  5 10  4
> rank(y2)
## [1]  2 11  4 10  6  8  3 12  5  7  9  1
> cor.test(
  y1,
  y2,
  method = "spearman",
  exact = FALSE,
  alternative = "two.sided",
  conf.level = 0.9
)
## 
##  Spearman's rank correlation rho
## 
## data:  y1 and y2
## S = 30, p-value = 8.367e-05
## alternative hypothesis: true rho is not equal to 0
## sample estimates:
##       rho 
## 0.8951049 

Рассмотрим результаты: параметр \(S\) равен сумме квадратов разностей рангов, значение коэффициента корреляции Спирмена равно \(r_{s}=0.8951049\), нулевая гипотеза \(H_0:\rho=0\) отвергнута: \(p-value=8.367\cdot10^{-5}<0.05\).
В заключении отметим, что наряду с коэффициентом Спирмена можно рассмотреть коэффициент ранговой корреляции Кенделла \(\tau\). Эта статистика также измеряет насколько отличаются друг от друга ранги \(r_{i1}\) и \(r_{i2}\), но несколько иным способом.

Что такое коэффициент корреляции Пирсона? (Корреляционная модель)

Главной задачей при исследовании двумерной нормальной корреляционной модели является изучение связи двух переменных. Степень линейной зависимости переменных \(Y_1\) и \(Y_2\) можно выразить параметром \(\rho_{12}\), МП-оценка \(r_{12}\) которого находится по формуле: \[r_{12}=\frac{\sum(y_{i1}-\bar{y}_1)(y_{i2}-\bar{y}_2)}{\sqrt{\sum(y_{i1}-\bar{y}_1)^2\sum(y_{i2}-\bar{y}_2)^2}}.\] Коэффициент корреляции Пирсона \(r_{12}\) является (за исключением случаев когда \(\rho_{12}\) равно \(0\) или \(1\)) смещенной оценкой \(\rho_{12}\), правда смещение мало при больших значениях \(n\).

Можно показать, что \(-1\leq r_{12}\leq1\). В общем, значения \(r_{12}\) близкие к \(1\) показывают строгую прямую линейную зависимость, к \(-1\) - строгую обратную линейную зависимость, к \(0\) - отсутствие линейной зависимости между переменными \(Y_1\) и \(Y_2\).

В случае совместного двумерного нормального распределения переменных \(Y_1\) и \(Y_2\) равенство нулю коэффициента корреляции означает независимость \(Y_1\) и \(Y_2\). В этой связи целесообразно проверять нулевую гипотезу \(H_0:\rho_{12}=0\) против, например, альтернативы \(H_a:\rho_{12}\neq0\). Можно показать, что в условиях нулевой гипотезы, статистика\[t^*=\frac{r_{12}\sqrt{n-2}}{\sqrt{1-r^2_{12}}}\sim t(n-2)\]имеет \(t\)-распределение с \(n-2\) степенями свободы, то есть соответствующее правило для принятия решения при уровне значимости \(\alpha\) имеет вид: если \(|t^*|\leq t_{1-\alpha/2}(n-2)\), то верна гипотеза \(H_0\), иначе верна гипотеза \(H_a\).

Так как распределение статистики \(r_{12}\) при \(\rho_{12}\neq0\) довольно сложное, доверительный интервал для коэффициента корреляции обычно строят с помощью аппроксимации, основанной на \(Z\)-преобразовании Фишера:\[z'=\frac{1}{2}\ln\left(\frac{1+r_{12}}{1-r_{12}}\right).\]Когда объем выборки \(n\) большой (обычно \(25\) наблюдений и более) статистика \(z'\) имеет приблизительно нормальное распределение с параметрами\[E[z']=\zeta=\frac{1}{2}\ln\left(\frac{1+\rho_{12}}{1-\rho_{12}}\right),\]\[var[z']=\frac{1}{n-3}.\]

При тех же предположениях об объеме выборки (\(n\geq25\)), стандартизованная статистика \[\frac{z'-\zeta}{\sigma[z']}\sim N(0,1)\]имеет приближенно стандартное нормальное распределение. Отсюда \(1-\alpha\) доверительные границы для \(\zeta\) имеют вид:\[z'\pm z_{1-\alpha/2}\sigma[z'],\]где \(z_{1-\alpha/2}\) - квантиль уровня \(1-\alpha/2\) стандартного нормального распределения.

Соответствующие \(1-\alpha\) доверительные границы для \(\rho_{12}\) получаются с помощью обратного преобразования границ \(\zeta\):\[\rho_{12}=\frac{e^{2\zeta}-1}{e^{2\zeta}+1}.\]

Рассмотрим данные:

x <- c(44.4, 45.9, 41.9, 53.3, 44.7, 44.1, 50.7, 45.2, 60.1)

y <- c( 2.6,  3.1,  2.5,  5.0,  3.6,  4.0,  5.2,  2.8,  3.8)

и проведем для них анализ согласно изложенной теории:

> cor.test(x, y, method = "pearson", alternative = "two.sided")

## Pearson's product-moment correlation

## 

## data:  x and y

## t = 1.8411, df = 7, p-value = 0.1082

## alternative hypothesis: true correlation is not equal to 0

## 95 percent confidence interval:

##  -0.1497426  0.8955795

## sample estimates:

##      cor 

## 0.5711816 

Таким образом, значение коэффициента корреляции Пирсона равно \(r_{12}=0.5711816\), нулевую гипотезу \(H_0:\rho=0\) отвергнуть нельзя: \(t^*=1.8411\), \(p-value=0.1082>0.05\). Доверительный интервал \([-0.1497426, 0.8955795]\), построенный для коэффициента корреляции с помощью \(Z\)-преобразования Фишера - широкий, включает значение нуль.

Как обычно, построенный доверительный интервал для коэффициента корреляции можно использовать для проверки равенства \(\rho_{12}\) заданному значению, например \(-0.5\), смотря по тому попадает или нет выбранное число внутрь доверительных границ.

А что в случае, когда регрессор - случайная величина? (Корреляционная модель)

В регрессионной модели с нормальной ошибкой предполагается, что значения независимой переменной \(x\) являются известными константами. Поэтому при моделировании, например, доверительных интервалов, последние строятся при одних и тех же значениях \(x_i\). Однако такой подход не всегда оправдан. Рассмотрим, например, зависимость объема продаж крема для загара от средней дневной температуры. Здесь исследователь не может контролировать дневную температуру и использовать одинаковые значения регрессора при повторных выборках не целесообразно. В качестве другого примера можно рассмотреть зависимость между "рост человека" и "вес человека" взятых по выборке людей - здесь обе переменные выбираются случайно. Задачи подобного рода лучше решаются в рамках корреляционных моделей. 

Пусть даны две нормально распределенные случайные величины \(Y_1\sim N(\mu_1,\sigma_1)\) и \(Y_2\sim N(\mu_2,\sigma_2)\) с двумерным нормальным законом распределения, зависящим от пяти параметров: \(\mu_1\), \(\mu_2\), \(\sigma_1\), \(\sigma_2\), \(\rho_{12}\), где \(\rho_{12}\) - коэффициент корреляции между \(Y_1\) и \(Y_2\), равный \[\rho_{12}=\frac{\mbox{cov}[Y_1, Y_2]}{\sigma_1,\sigma_2}=\frac{E[(Y_1-\mu_1)(Y_2-\mu_2)]}{\sigma_1\sigma_2}.\]Отметим, что \(\mbox{cov}[Y_1,Y_2]\equiv\mbox{cov}[Y_2,Y_1]\) и, следовательно, \(\rho_{12}\equiv\rho_{21}\).

Если \(Y_1\) и \(Y_2\) независимы, то \(\mbox{cov}[Y_1,Y_2]=0\) и \(\rho_{12}=0\). Если \(Y_1\) и \(Y_2\) положительно коррелированы, то есть с увеличением/уменьшением первой переменной увеличивается/уменьшается вторая, то \(\mbox{cov}[Y_1,Y_2]>0\) и \(\rho_{12}>0\). Если \(Y_1\) и \(Y_2\) отрицательно коррелированы, то есть с увеличением/уменьшением первой переменной уменьшается/увеличивается вторая, то \(\mbox{cov}[Y_1,Y_2]<0\) и \(\rho_{12}<0\). Коэффициент корреляции принимает любые значения из промежутка \([-1,1]\), он равен \(1\) при прямой линейной зависимости и \(-1\) при обратной линейной зависимости.

Главным назначением двумерной корреляционной модели является получение условного статистического вывода об одной переменной при заданном значении второй переменной. Такой вывод возможен с привлечением условной плотности распределения. Условная плотность распределения случайной величины \(Y_1\) для любого заданного значения нормально распределенной случайной величины \(Y_2\) с математическим ожиданием \(\alpha_{1|2}+\beta_{12}y_2\) и стандартным отклонением \(\sigma_{1|2}\) имеет вид:\[f(y_1|y_2)=\frac{1}{\sqrt{2\pi}\sigma_{1|2}}\mbox{exp}\left[-\frac{1}{2}\left(\frac{y_1-\alpha_{1|2}-\beta_{12}y_2}{\sigma_{1|2}}\right)^2\right],\]где параметры \(\alpha_{1|2}\), \(\beta_{12}\) и \(\sigma_{1|2}\) - функции параметров двумерной плотности распределения:\[\alpha_{1|2}=\mu_1-\mu_2\rho_{12}\frac{\sigma_1}{\sigma_2}\]\[\beta_{12}=\rho_{12}\frac{\sigma_1}{\sigma_2}\]\[\sigma_{1|2}^2=\sigma_1^2(1-\rho_{12}^2).\] Параметры \(\alpha_{1|2}\) и \(\beta_{12}\) - это сдвиг и наклон соответствующей регрессионной прямой. Условную плотность \(f(y_2|y_1)\) легко получить по аналогии.

Таким образом, условное распределение \(Y_1\) является нормальным, с математическим ожиданием \(E(Y_1|Y_2=y_2)=\alpha_{1|2}+\beta_{12}y_2\) в виде линейной функции от \(y_2\) и постоянным стандартным отклонением \(\sigma_{1|2}\), что полностью подходит под описание линейной регрессионной модели с нормальной ошибкой.

Следовательно, в случае двумерного нормального распределения системы случайных величин \((Y_1,Y_2)\) можно использовать аппарат простой линейной регрессии для построения рассмотренных ранее оценок, а также доверительных и предсказательных интервалов.