Optimale voorspelling - coefficienten

Bij optimale lineaire voorspelling hebben we een statistisch model van de vorm $y_i^{est}(x_i) = b_0 + b_1 x_i$ met volgende waarden voor de coefficienten:

1. $b_0 = \overline y - b_1 \overline x$
2. $b_1 = r_{xy} \frac{s_y}{s_x}$

Deze formules kunnen worden afgeleid uit $Z_Y(y_i^{est}) = r_{xy} Z_X(x_i)$ door de Z-transformaties uit te schrijven en de vergelijking vervolgens uit te werken naar $y_i^{est}$. In dit artikel wil ik niet zozeer focussen op de algebraische uitwerking, maar wel op het intuitief begrip van deze formules. Zorg dat je eerstegraadsfuncties (leerstof derde middelbaar) goed onder de knie hebt voor je verder leest.

Intercept $b_0$

De eerste formule is de gemakkelijkste. Ze gaat er van uit dat je $b_1$ al kent, en op zoekt bent naar de gepaste $b_0$. Wat bedoelen we hier met gepast? Het valt op dat deze formule sterk lijkt op de formule van ons model. Herschrijven geeft $b_0 = \overline y - b_1 \overline x \iff \overline y = b_0 + b_1 \overline x$. De gepaste $b_0$ is dus diegene die ervoor zorgt dat, indien onze predictor $x_i$ gelijk is aan $\overline x$, ons criterium $y_i^{est}$ gelijk is aan $\overline y$.

Beeld je in dat je de waarde van $b_0$ met een draaiknop kan regelen. Dan zal je merken dat onze rechte, door heen en weer aan die knop te draaien, enkel naar boven of naar onder schuift. De rico ligt al vast op $b_1$, dus kantelen kan niet meer. De gepaste waarde voor $b_0$ is dan diegene waardoor de rechte precies door punt $(\overline x, \overline y)$ gaat.

Zie ook https://www.desmos.com/calculator/axxshcb5mh.

Als we in plaats van met de originele $X$ en $Y$ werken met $Z_X$ en $Z_Y$, hebben we $\overline x = \overline y = 0$. Dan gaat de rechte volgens onze redenering hierboven door $(0, 0)$. Dat klopt helemaal met de fundamentele formule waarvan we met optimale lineaire voorspelling vertrokken zijn: $Z_Y(y_i^{est}) = r_{xy} Z_X(x_i)$. Die formule is van de vorm $y = mx$ en gaat ook gegarandeerd door $(0, 0)$. Enkel rechten van de vorm $y = mx + q$ met $q \neq 0$ gaan niet door $(0, 0)$.

Richtingscoefficient $b_1$

Ik schrijf de formule $b_1 = r_{xy} \frac{s_y}{s_x}$ liever als $b_1 = s_y r_{xy} \frac{1}{s_x}$. Dat is niet bepaald korter, maar toont wel beter welke stappen er achtereenvolgens gezet worden. Deze $b_1$ wordt uiteindelijk vermenigvuldigd met $x_i$ (en bij $b_0$ geteld) om $y_i^{est}$ te berekenen, dus we moeten het vanuit dat perspectief bekijken. De drie stappen zijn dan de haakjes in volgende formule van binnen naar buiten uitwerken: $y_i^{est}(x_i) = b_0 + b_1 x_i = b_0 + (s_y (r_{xy} (\frac{1}{s_x} x_i)))$.

De eerste stap is de (gedeeltelijke) standaardisatiestap door vermenigvuldiging van $x_i$ met $\frac{1}{s_x}$. Vergelijk het met een Z-transformatie: de standaardafwijking wordt teruggebracht van $s_x$ tot $1$ maar van het gemiddelde $\overline x$ trekken we ons voorlopig niets aan. (Dat deel van de standaardisatie zit in $b_0$.) Zo zetten we intuitief de stap van de $X$-wereld naar de $Z_X$ wereld.

Eens we $x_i$ gestandaardiseerd hebben, kunnen we de vertaalslag maken van de $Z_X$-wereld naar de $Z_Y$-wereld. Dat doen we door te vermenigvuldigen met $r_{xy}$. Reminder: $r_{xy} = s_{Z_X Z_Y}$.

Tot slot de-standaardiseren we door te vermenigvuldigen met $s_y$ en dus de standaardafwijking te veranderen van $1$ naar $s_y$. Opnieuw trekken we ons van $\overline y$ nog niets aan. Zo belanden we van de $Z_Y$-wereld in de $Y$-wereld. Zo zijn we in drie stappen van de $X$-wereld in de $Y$-wereld geraakt.

Je kan $b_0$ beschouwen als de correctiefactor die we achteraf nog nodig hebben omdat we in de stappen hierboven $\overline x$ en $\overline y$ niet in rekening gebracht hebben.

Als je deze logica kan volgen, moet je nooit meer twijfelen of het nu $r_{xy} \frac{s_x}{s_y}$ of $r_{xy} \frac{s_y}{s_x}$ was. Je vertrekt van $x_i$ in de $X$-wereld, dus het zou niet erg logisch zijn om daar direct $\frac{1}{s_y}$ op los te laten. Dat heeft alleen zin in de $Y$-wereld.