Определить коэффициент корреляции онлайн

Графическое представление коэффициента Фехнера

изменяется в пределах [-1; 1] и применяется для оценки тесноты связи качественных признаков (непараметрические методы).

Значение коэффициента Фехнера Качественная характеристика силы связи
[-0,9;-1] Очень высокая обратная
[-0,7;-0,9] Высокая обратная
[-0,5;-0,7] Заметная обратная
[-0,3;-0,5] Умеренная обратная
[-0,1;-0,3] Слабая обратная
0 Связь отсутствует
0,1 — 0,3 Слабая прямая
0,3 — 0,5 Умеренная прямая
0,5 — 0,7 Заметная прямая
0,7 — 0,9 Высокая прямая
0,9 — 1 Очень высокая прямая

Пример №1. При разработке глинистого раствора с пониженной водоотдачей в высокотемпературных условиях проводили параллельное испытание двух рецептур, одна из которых содержала 2% КМЦ и 1% Na2CO3, а другая 2% КМЦ, 1% Na2CO3 и 0,1% бихромата калия. В результате получена следующие значения Х (водоотдача через 30 с).

X1 9 9 11 9 8 11 10 8 10
X2 10 11 10 12 11 12 12 10 9

Проверит, различимы ли рассматриваемые растворы по значению водоотдачи.

где na — число совпадений знаков отклонений индивидуальных величин от средней; nb — число несовпадений.

https://www.youtube.com/watch?v=ytpressru

Коэффициент Фехнера может принимать значения от -1 до 1. Kф = 1 свидетельствует о возможном наличии прямой связи, Kф =-1 свидетельствует о возможном наличии обратной связи.

Xi

Yi

Знаки отклонений значений признака от средней

Совпадение (а) или несовпадение (в) знаков

Для Xi

Для Yi

8

40

А

9

50

В

10

48

В

10

52

В

11

41

В

13

30

В

15

35

В

Для примера: .

Значение коэффициента свидетельствует о том, что можно предполагать наличие обратной связи.

Перейти к онлайн решению своей задачи

Xi

Yi

Знаки отклонений от средней X

Знаки отклонений от средней Y

Совпадение (а) или несовпадение (b) знаков

12

220

B

9

1070

B

8

1000

B

14

606

B

15

780

A

10

790

B

10

900

B

15

544

B

93

5910

0

0

0

Значение коэффициента свидетельствует о том, что можно предполагать наличие обратной связи.

Для оценки достаточно оценить его значимость и найти доверительный интервал.
Значимость коэффициента Фехнера.
По таблице Стьюдента находим t (n-m-1;a) = (6;0.05) = 1.943
Поскольку Tнабл {amp}gt; tтабл, то отклоняем гипотезу о равенстве 0 коэффициента корреляции знаков. Другими словами, коэффициент Фехнера статистически — значим.

Доверительный интервал для коэффициента Фехнера:
r(-1.0;-0.4495)

Xi Yi Знаки отклонений от средней X Знаки отклонений от средней Y Совпадение (а) или несовпадение (b) знаков
96 220 B
52 1070 B
60 1000 B
89 606 B
82 780 A
77 790 B
70 900 B
92 544 B
618 5910 0 0 0

Оценка коэффициента корреляции знаков. Значимость коэффициента корреляции знаков.
По таблице Стьюдента находим tтабл:
tтабл (n-m-1;a) = (6;0.05) = 1.943
Поскольку Tнабл {amp}gt; tтабл , то отклоняем гипотезу о равенстве 0 коэффициента корреляции знаков. Другими словами, коэффициент корреляции знаков статистически — значим.

Доверительный интервал для коэффициента корреляции знаков.
Доверительный интервал для коэффициента корреляции знаков.
r(-1;-0.4495)

Последствия и признаки мультиколлинеарности

При построении уравнения множественной регрессии может возникнуть проблема мультиколлинеарности факторов. называется линейная взаимосвязь двух или нескольких объясняющих переменных, которая может проявляться в функциональной (явной) или стохастической (скрытой) форме.
Выявление связи между отобранными признаками и количественная оценка тесноты связи осуществляются с использованием методов корреляционного анализа. Для решения этих задач сначала оценивается , затем на ее основе определяются частные и множественные коэффициенты корреляции и детерминации, проверяется их значимость. Конечной целью корреляционного анализа является отбор факторных признаков x для дальнейшего построения уравнения регрессии.

Если факторные переменные связаны строгой функциональной зависимостью, то говорят о полной мультиколлинеарности. В этом случае среди столбцов матрицы факторных переменных Х имеются линейно зависимые столбцы, и, по свойству определителей матрицы, det(XTX) = 0, т. е. матрица (XTX) вырождена, а значит, не существует обратной матрицы.

К каким трудностям приводит мультиколлинеарность факторов, включенных в модель, и как они могут быть разрешены?

Мультиколлинеарность может привести к нежелательным последствиям:

  1. оценки параметров становятся ненадежными. Они обнаруживают большие стандартные ошибки. С изменением объема наблюдений оценки меняются (не только по величине, но и по знаку), что делает модель непригодной для анализа и прогнозирования.
  2. затрудняется интерпретация параметров множественной регрессии как характеристик действия факторов в «чистом» виде, ибо факторы коррелированны; параметры линейной регрессии теряют экономический смысл;
  3. становится невозможным определить изолированное влияние факторов на результативный показатель.

Вид мультиколлинеарности, при котором факторные переменные связаны некоторой стохастической зависимостью, называется частичной. Если между факторными переменными имеется высокая степень корреляции, то матрица (XTX) близка к вырожденной, т. е. det(XTX) ≈ 0.Матрица (XTX)-1 будет плохо обусловленной, что приводит к неустойчивости МНК-оценок. Частичная мультиколлинеарность приводит к следующим последствиям:

  • увеличение дисперсий оценок параметров расширяет интервальные оценки и ухудшает их точность;
  • уменьшение t-статистик коэффициентов приводит к неверным выводам о значимости факторов;
  • неустойчивость МНК-оценок и их дисперсий.

Точных количественных критериев для обнаружения частичной мультиколлинеарности не существует. О наличии мультиколлинеарности может свидетельствовать близость к нулю определителя матрицы (XTX). Также исследуют значения парных коэффициентов корреляции. Если же определитель матрицы межфакторной корреляции близок к единице, то мультколлинеарности нет.

Существуют различные подходы преодоления сильной межфакторной корреляции. Простейший из них – исключение из модели фактора (или факторов), в наибольшей степени ответственных за мультиколлинеарность при условии, что качество модели при этом пострадает несущественно (а именно, теоретический коэффициент детерминации -R2y(x1…xm) снизится несущественно).

С помощью какой меры невозможно избавиться от мультиколлинеарности?
a) увеличение объема выборки;
b) исключения переменных высококоррелированных с остальными;c) изменение спецификации модели;
d) преобразование случайной составляющей.

Парные (линейные) и частные коэффициенты корреляции

Тесноту связи, например между переменными x и y по выборке значений (x, (1)
– средние значения, S – стандартные отклонения соответствующих выборок.

Парный коэффициент корреляции изменяется в пределах от –1 до 1. Чем ближе он по абсолютной величине к единице, тем ближе статистическая зависимость между x и y к линейной функциональной. Положительное значение коэффициента свидетельствует о том, что связь между признаками прямая (с ростом x увеличивается значение y), отрицательное значение – связь обратная (с ростом x значение y уменьшается).

Можно дать следующую качественную интерпретацию возможных значений коэффициента корреляции: если |r|{amp}lt;0.3 – связь практически отсутствует; 0.3≤ |r| {amp}lt; 0.7 — связь средняя; 0.7≤ |r| {amp}lt; 0.9 – связь сильная; 0.9≤ |r| {amp}lt; 0.99 – связь весьма сильная.
Для оценки мультиколлинеарности факторов используют матрицу парных коэффициентов корреляции зависимого (результативного) признака y с факторными признаками x1, x2,…,xm, которая позволяет оценить степень влияния каждого показателя-фактора xj на зависимую переменную y, а также тесноту взаимосвязей факторов между собой.

Корреляционная матрица в общем случае имеет вид
.
Матрица симметрична, на ее диагонали стоят единицы. Если в матрице есть межфакторный коэффициент корреляции rxjxi{amp}gt;0.7, то в данной модели множественной регрессии существует мультиколлинеарность.
Поскольку исходные данные, по которым устанавливается взаимосвязь признаков, являются выборкой из некой генеральной совокупности, вычисленные по этим данным коэффициенты корреляции будут выборочными, т. е.

они лишь оценивают связь. Необходима проверка значимости, которая отвечает на вопрос: случайны или нет полученные результаты расчетов.
Значимость парных коэффициентов корреляции проверяют по t-критерию Стьюдента. Выдвигается гипотеза о равенстве нулю генерального коэффициента корреляции: H0: ρ = 0.

Затем задаются параметры: уровень значимости α и число степеней свободы v = n-2. Используя эти параметры, по таблице критических точек распределения Стьюдента находят tкр, а по имеющимся данным вычисляют наблюдаемое значение критерия:, (2)
где r – парный коэффициент корреляции, рассчитанный по отобранным для исследования данным.

Парный коэффициент корреляции считается значимым (гипотеза о равенстве коэффициента нулю отвергается) с доверительной вероятностью γ = 1- α, если tНабл по модулю будет больше, чем tкрит.
Если переменные коррелируют друг с другом, то на значении коэффициента корреляции частично сказывается влияние других переменных.

Частный коэффициент корреляции характеризует тесноту линейной зависимости между результатом и соответствующим фактором при устранении влияния других факторов. Частный коэффициент корреляции оценивает тесноту связи между двумя переменными при фиксированном значении остальных факторов. Если вычисляется, например, ryx1|x2 (частный коэффициент корреляции между y и x1 при фиксированном влиянии x2), это означает, что определяется количественная мера линейной зависимости между y и x1, которая будет иметь место, если устранить влияние x2 на эти признаки.

Если исключают влияние только одного фактора, получают частный коэффициент корреляции первого порядка.Сравнение значений парного и частного коэффициентов корреляции показывает направление воздействия фиксируемого фактора. Если частный коэффициент корреляции ryx1|x2 получится меньше, чем соответствующий парный коэффициент ryx1, значит, взаимосвязь признаков y и x1 в некоторой степени обусловлена воздействием на них фиксируемой переменной x2.

И наоборот, большее значение частного коэффициента по сравнению с парным свидетельствует о том, что фиксируемая переменная x2 ослабляет своим воздействием связь y и x1.
Частный коэффициент корреляции между двумя переменными (y и x2) при исключении влияния одного фактора (x1) можно вычислить по следующей формуле:
.

(3)
Для других переменных формулы строятся аналогичным образом. При фиксированном x2; при фиксированном x3.
Значимость частных коэффициентов корреляции проверяется аналогично случаю парных коэффициентов корреляции. Единственным отличием является число степеней свободы, которое следует брать равным v = n – l -2, где l – число фиксируемых факторов.

На основании частных коэффициентов можно сделать вывод об обоснованности включения переменных в регрессионную модель. Если значение коэффициента мало или он незначим, то это означает, что связь между данным фактором и результативной переменной либо очень слаба, либо вовсе отсутствует, поэтому фактор можно исключить из модели.

Пошаговая регрессия

Отбор факторов x, включаемых в модель множественной регрессии, является одним из важнейших этапов эконометрического моделирования. Метод последовательного (пошагового) включения (или исключения) факторов в модель позволяет выбрать из возможного набора переменных именно те, которые усилят качество модели. При реализации метода на первом шаге рассчитывается корреляционная матрица. На основе парных коэффициентов корреляции выявляется наличие коллинеарных факторов. Факторы x признаются коллинеарными, если r{amp}gt;0.7. В модель включают лишь один из взаимосвязанных факторов. Если среди факторов отсутствуют коллинеарные, то в модель могут быть включены любые факторы, оказывающие существенное влияние на PLANETCALC, Коэффициент корреляции Спирмена

На втором шаге строится уравнение регрессии с одной переменной, имеющей максимальный по абсолютной величине парный коэффициент корреляции с результативным признаком.

На третьем шаге в модель вводится новая переменная, имеющая наибольшее по абсолютной величине значение частного коэффициента корреляции с зависимой переменной при фиксированном влиянии ранее введенной переменной.
При введении в модель дополнительного фактора коэффициент детерминации должен возрастать, а остаточная дисперсия уменьшаться.

Пример №1. По 20 предприятиям региона изучается зависимость выработки продукции на одного работника y (тыс. руб.) от удельного веса рабочих высокой квалификации в общей численности рабочих x1 (% от стоимости фондов на конец года) и от ввода в действие новых основных фондов x2 (%).

Y X1 X2
6 10 3,5
6 12 3,6
7 15 3,9
7 17 4,1
7 18 4,2
8 19 4,5
8 19 5,3
9 20 5,3
9 20 5,6
10 21 6
10 21 6,3
11 22 6,4
11 23 7
12 25 7,5
12 28 7,9
13 30 8,2
13 31 8,4
14 31 8,6
14 35 9,5
15 36 10

Требуется:

  1. Построить корреляционное поле между выработкой продукции на одного работника и удельным весом рабочих высокой квалификации. Выдвинуть гипотезу о тесноте и виде зависимости между показателями X1 и Y .
  2. Оценить тесноту линейной связи между выработкой продукции на одного работника и удельным весом рабочих высокой квалификации с надежностью 0,9.
  3. Рассчитать коэффициенты линейного уравнения регрессии для зависимости выработки продукции на одного работника от удельного веса рабочих высокой квалификации.
  4. Проверить статистическую значимость параметров уравнения регрессии с надежностью 0,9 и построить для них доверительные интервалы.
  5. Рассчитать коэффициент детерминации. С помощью F -критерия Фишера оценить статистическую значимость уравнения регрессии с надежностью 0,9.
  6. Дать точечный и интервальный прогноз с надежностью 0,9 выработки продукции на одного работника для предприятия, на котором высокую квалификацию имеют 24% рабочих.
  7. Рассчитать коэффициенты линейного уравнения множественной регрессии и пояснить экономический смысл его параметров.
  8. Проанализировать статистическую значимость коэффициентов множественного уравнения с надежностью 0,9 и построить для них доверительные интервалы.
  9. Найти коэффициенты парной и частной корреляции. Проанализировать их.
  10. Найти скорректированный коэффициент множественной детерминации. Сравнить его с нескорректированным (общим) коэффициентом детерминации.
  11. С помощью F -критерия Фишера оценить адекватность уравнения регрессии с надежностью 0,9.
  12. Дать точечный и интервальный прогноз с надежностью 0,9 выработки продукции на одного работника для предприятия, на котором высокую квалификацию имеют 24% рабочих, а ввод в действие новых основных фондов составляет 5%.
  13. Проверить построенное уравнение на наличие мультиколлинеарности по: критерию Стьюдента; критерию χ2. Сравнить полученные результаты.
y x1 x2
y 1 0.97 0.991
x1 0.97 1 0.977
x2 0.991 0.977 1

det = 0.00081158, что свидетельствует о наличии сильной мультиколлинеарности.
Для отбора наиболее значимых факторов x учитываются следующие условия:- связь между результативным признаком и факторным должна быть выше межфакторной связи;- связь между факторами должна быть не более 0.7. Если в матрице есть межфакторный коэффициент корреляции r {amp}gt; 0.7, то в данной модели множественной регрессии существует мультиколлинеарность.;- при высокой межфакторной связи признака отбираются факторы с меньшим коэффициентом корреляции между ними.В нашем случае r имеют |r|{amp}gt;0.7, что говорит о мультиколлинеарности факторов и о необходимости исключения одного из них из дальнейшего анализа.Анализ первой строки этой матрицы позволяет произвести отбор факторных признаков, которые могут быть включены в модель множественной корреляционной зависимости. Факторные признаки, у которых |r| {amp}lt; 0.5 исключают из модели. Можно дать следующую качественную интерпретацию возможных значений коэффициента корреляции (по шкале Чеддока): если |r|{amp}gt;0.3 – связь практически отсутствует; 0.3 ≤ |r| ≤ 0.7 — связь средняя; 0.7 ≤ |r| ≤ 0.9 – связь сильная; |r| {amp}gt; 0.9 – связь весьма сильная.Проверим значимость полученных парных коэффициентов корреляции с помощью t-критерия Стьюдента. Коэффициенты, для которых значения t-статистики по модулю больше найденного критического значения, считаются значимыми.Рассчитаем наблюдаемые значения t-статистики для rпо формуле:
где m = 1 — количество факторов в уравнении регрессии.По таблице Стьюдента находим Tтабл(n-m-1;α/2) = (18;0.025) = 2.101Поскольку t {amp}gt; t, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически — значимпо формуле:Поскольку t {amp}gt; t, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически — значимю
Таким образом, связь между (y и x), (y и x) является существенной.Наибольшее влияние на результативный признак оказывает фактор x (r = 0.99), значит, при построении модели он войдет в регрессионное уравнение первым.Наиболее полным алгоритмом исследования мультиколлинеарности является алгоритм Фаррара-Глобера. С его помощью тестируют три вида мультиколлинеарности:1. Всех факторов (χ — хи-квадрат).2. Каждого фактора с остальными (критерий Фишера).3. Каждой пары факторов (критерий Стьюдента).
Проверим переменные на мультиколлинеарность методом Фаррара-Глоубера по первому виду статистических критериев (критерий «хи-квадрат»).Формула для расчета значения статистики Фаррара-Глоубера: = -[n-1-(2m 5)/6]ln(det[R])где m = 2 — количество факторов, n = 20 — количество наблюдений, det[R] — определитель матрицы парных коэффициентов корреляции R.Сравниваем его с табличным значением при v = m/2(m-1) = 1 степенях свободы и уровне значимости α. Если χ {amp}gt; χ, то в векторе факторов есть присутствует мультиколлинеарность.(1;0.05) = 3.84146
Проверим переменные на мультиколлинеарность по второму виду статистических критериев (критерий Фишера).
D = R

D =
55,365 -2,256 -52,656
-2,256 22,386 -19,642
-52,656 -19,642 72,373

Вычисляем F-критерии Фишера: — диагональные элементы матрицы.Рассчитанные значения критериев сравниваются с табличными при v=n-m и v=m-1 степенях свободы и уровне значимости α. Если F {amp}gt; F, то k-я переменная мультиколлинеарна с другими.=20-2 = 18; v=2-1 = 1. F(18;1) = 248Поскольку F {amp}gt; F, то переменная y мультиколлинеарна с другими.Поскольку F {amp}gt; F, то переменная x мультиколлинеарна с другими.Поскольку F {amp}gt; F, то переменная x

Проверим переменные на мультиколлинеарность по третьему виду статистических критериев (критерий Стьюдента). Для этого найдем частные коэффициенты корреляции.Частные коэффициенты корреляции.Коэффициент частной корреляции отличается от простого коэффициента линейной парной корреляции тем, что он измеряет парную корреляцию соответствующих признаков (y и xi) при условии, что влияние на них остальных факторов (xj) устранено.

На основании частных коэффициентов можно сделать вывод об обоснованности включения переменных в регрессионную модель. Если значение коэффициента мало или он незначим, то это означает, что связь между данным фактором и результативной переменной либо очень слаба, либо вовсе отсутствует, поэтому фактор можно исключить из модели.

Теснота связи низкая.
Определим значимость коэффициента корреляции ryx1 /x2.Для этого рассчитаем наблюдаемые значения t-статистики по формуле:где k = 1 — число фиксируемых факторов.По таблице Стьюдента находим Tтаблtкрит(n-k-2;α/2) = (17;0.025) = 2.11Поскольку tнабл {amp}lt; tкрит, то принимаем гипотезу о равенстве 0 коэффициента корреляции.

Другими словами, коэффициент корреляции статистически — не значимКак видим, связь y и x1 при условии, что x2 войдет в модель, снизилась. Отсюда можно сделать вывод, что ввод в регрессионное уравнение x1 остается нецелесообразным.Теснота связи сильнаяОпределим значимость коэффициента корреляции ryx2 /x1.

https://www.youtube.com/watch?v=ytadvertiseru

Для этого рассчитаем наблюдаемые значения t-статистики по формуле:Поскольку tнабл {amp}gt; tкрит, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически — значимКак видим, связь y и x2 при условии, что x1 войдет в модель, снизилась. Отсюда можно сделать вывод, что ввод в регрессионное уравнение x2 остается нецелесообразным.Можно сделать вывод, что при построении регрессионного уравнения следует отобрать факторы x1 , x2.

  y x1 x2 x3
y 1,0      
x1 0,30 1,0    
x2 0,60 0,10 1,0  
x3 0,40 0,15 0,80 1,0

Оцените мультиколлинеарность факторов. Постройте и сделайте выводы.

Поделиться:
Нет комментариев

Добавить комментарий

Ваш e-mail не будет опубликован. Все поля обязательны для заполнения.

×
Рекомендуем посмотреть
Adblock detector