Współczynnik determinacji

Współczynnik determinacji R² – jedna z miar jakości dopasowania modelu do danych uczących. Jego dopełnieniem jest współczynnik zbieżności, ${\displaystyle \varphi ^{2}=1-R^{2}.}$ Występuje obecnie w wielu wariantach stosujących różnorodne poprawki. Jego pierwotne opracowanie przypisuje się m.in. publikacji Sewalla Wrighta z 1921, która opiera się z kolei m.in. na artykule K. Pearsona z 1897^[1].

Obecnie, współczynnik determinacji wykorzystuje się głównie w celach pomocniczych. Lepszymi narzędziami do tego celu są np. kryteria informacyjne AIC, BIC, czy sprawdzian krzyżowy. Już Wright nie przedstawiał R² jako wyczerpującej miary dopasowania modelu do badanego zjawiska, szczególnie nie w sensie wyjaśnienia przyczynowego. Współczynnik determinacji opisuje jedynie oszacowaną na podstawie próby macierz wielokrotnej korelacji obecnych w modelu zmiennych, przy założeniu prawdziwości modelu. Ignoruje dopasowanie modelu do danych spoza próby, oraz problem pominiętych zmiennych. Maksymalizacja tej miary prowadzi do nadmiernego dopasowania modelu do danych uczących^[2][3][4][5]. Schmueli uznaje w tym kontekście tradycję opisywania korelacji zmiennych jako ich wzajemnego wyjaśniania lub determinacji – co może sugerować wytłumaczenie przyczynowe – za szczególnie zwodniczą^[6].

Informuje o tym, jaka część zmienności (wariancji) zmiennej objaśnianej w próbie pokrywa się z korelacjami ze zmiennymi zawartymi w modelu. Jest on więc miarą stopnia, w jakim model pasuje do próby. Współczynnik determinacji przyjmuje wartości z przedziału [0;1] jeśli w modelu występuje wyraz wolny, a do estymacji parametrów wykorzystano metodę najmniejszych kwadratów. Jego wartości najczęściej są wyrażane w procentach. Dopasowanie modelu jest tym lepsze, im wartość R² jest bliższa jedności. Wyraża się on wzorem:

${\displaystyle R^{2}:={\frac {\sum \limits _{i=1}^{n}({\hat {y}}_{i}-{\overline {y}})^{2}}{\sum \limits _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}}\geqslant 0,}$

gdzie:

${\displaystyle y_{i}}$ – ${\displaystyle i}$-ta obserwacja zmiennej ${\displaystyle y,}$

${\displaystyle {\hat {y}}_{i}}$ – wartość teoretyczna zmiennej objaśnianej (na podstawie modelu),

${\displaystyle {\overline {y}}}$ – średnia arytmetyczna empirycznych wartości zmiennej objaśnianej.

Współczynnik ${\displaystyle R^{2}}$ ma jasną interpretację tylko w sytuacji, gdy współczynniki modelu ${\displaystyle y=X\beta +\varepsilon }$ zostały wyestymowane metodą najmniejszych kwadratów i w modelu występuje wyraz wolny. Wówczas ${\displaystyle 0\leqslant R^{2}\leqslant 1}$ i R^2 można interpretować jako miarę dopasowania modelu do danych.

Dowód.

${\displaystyle {\begin{aligned}&\sum _{i=1}^{n}(y_{i}-{\overline {y}})^{2}\\[1ex]={}&\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i}+{\hat {y}}_{i}-{\overline {y}})^{2}\\[1ex]={}&\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}+\sum _{i=1}^{n}({\hat {y}}_{i}-{\overline {y}})^{2}+2\sum _{i=1}(y_{i}-{\hat {y}}_{i})({\hat {y}}_{i}-{\overline {y}}).\end{aligned}}}$

Ostatnią sumę możemy rozpisać

${\displaystyle \sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i})({\hat {y}}_{i}-{\overline {y}})=\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i}){\hat {y}}_{i}-{\overline {y}}\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i}).}$

Pierwsza z tych sum jest równa

${\displaystyle {\begin{aligned}&\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i}){\hat {y}}_{i}\\[1ex]={}&{\hat {y}}^{T}(y-{\hat {y}})\\[1ex]={}&{\hat {\beta }}^{T}X^{T}(y-{\hat {y}})\\[1ex]={}&{\hat {\beta }}^{T}X^{T}(y-X{\hat {\beta }})\\[1ex]={}&{\hat {\beta }}^{T}X^{T}y-{\hat {\beta }}^{T}X^{T}X{\hat {\beta }}\\[1ex]={}&{\hat {\beta }}^{T}X^{T}y-{\hat {\beta }}^{T}X^{T}X(X^{T}X)^{-1}X^{T}y=0.\end{aligned}}}$

Z powyższego rachunku wynika także, że w metodzie najmniejszych kwadratów macierz ${\displaystyle X^{T}}$ jest ortogonalna do wektora reszt ${\displaystyle y-{\hat {y}},}$ tzn.

${\displaystyle X^{T}(y-{\hat {y}})=0.}$

Jeżeli w modelu ${\displaystyle y=X\beta +\varepsilon }$ występuje wyraz wolny, to macierz ${\displaystyle X}$ zwiera kolumnę, a macierz ${\displaystyle X^{T}}$ – rząd jedynek. W takiej sytuacji tożsamość ${\displaystyle X^{T}(y-{\hat {y}})=0}$ implikuje równość

${\displaystyle \sum _{i=1}(y_{i}-{\hat {y}}_{i})=0}$

i otrzymujemy

${\displaystyle \sum _{i=1}^{n}(y_{i}-{\overline {y}})^{2}=\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}+\sum _{i=1}^{n}({\hat {y}}_{i}-{\overline {y}})^{2}.}$

Wówczas

${\displaystyle R^{2}:={\frac {\sum \limits _{i=1}^{n}({\hat {y}}_{i}-{\overline {y}})^{2}}{\sum \limits _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}}={\frac {\sum \limits _{i=1}^{n}({\hat {y}}_{i}-{\overline {y}})^{2}}{\sum \limits _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}+\sum \limits _{i=1}^{n}({\hat {y}}_{i}-{\overline {y}})^{2}}}={\frac {1}{1+{\frac {\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}}{\sum _{i=1}^{n}({\hat {y}}_{i}-{\overline {y}})^{2}}}}}\leqslant 1\ \blacksquare }$

Współczynnik zbieżności ${\displaystyle \varphi ^{2}}$ określa, jaka część zaobserwowanej w próbie zmienności zmiennej objaśnianej nie pasuje do modelu (mieści się w jego błędzie). Współczynnik zbieżności przyjmuje wartości z przedziału [0;1]; wartości te najczęściej są wyrażane w procentach. Dopasowanie modelu jest tym lepsze, im wartość ${\displaystyle \varphi ^{2}}$ jest bliższa zeru. Wyraża się on wzorem:

${\displaystyle \varphi ^{2}:=1-R^{2},}$

lub też (jeżeli w modelu występuje wyraz wolny, a współczynniki zostały wyestymowane metodą najmniejszych kwadratów)

${\displaystyle {\begin{aligned}\varphi ^{2}&=1-R^{2}\\[1ex]&={\frac {\sum _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}{\sum _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}}-{\frac {\sum _{i=1}^{n}({\hat {y}}_{i}-{\overline {y}})^{2}}{\sum _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}}\\[1em]&={\frac {\sum _{i=1}^{n}(y_{i}-{\overline {y}})^{2}-\sum _{i=1}^{n}({\hat {y}}_{i}-{\overline {y}})^{2}}{\sum _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}}\\[1ex]&={\frac {\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}}{\sum _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}},\end{aligned}}}$

gdzie ${\displaystyle {\hat {y}}_{i},}$ ${\displaystyle y_{i}}$ oraz ${\displaystyle {\overline {y}}}$ są określone jak w części poprzedniej.