Voorbeeldexamen - oef. 19

Achteraan de cursus Statistiek, deel 1 staat een voorbeeldexamen. Ik was onlangs vraag 19 daarvan aan het bekijken, en ik geraakte helemaal in de war. Ze vragen naar de gekwadrateerde standaardfout ($s_{x.y}^2$). Dat is op zich niet zo vreemd, tot bleek dat de modeloplossing dit niet met de formules van optimale voorspelling maar met de regel van Steiner aanpakt. Nog straffer: de uitkomst $s_{x.y}^2 = 125$ was groter dan de gegeven variantie $s_x^2 = 10^2 = 100$. Hier is duidelijk iets vreemd aan de hand, waar ik het fijne van wou weten.

Mijn eerste plan was om de modeloplossing te negeren en op mijn eigen manier met optimale voorspelling tot een oplossing te komen. Daarbij gebeurde iets vreemd...

Poging 1

• gegeven
  • $X$: IQ
  • $\overline x = 125$
  • $s_x = 10$
  • $x^{est} = 130$
• gevraagd
  • $s_{x.y}^2$
• oplossing
  • $s_{verkl}^2$
    • $= \overline{(x^{est} - \overline x)^2}$
    • $= \overline{(130 - 125)^2}$
    • $= \overline{25}$
    • $= 25$
  • $s_x^2 = s_{x.y}^2 + s_{verkl}^2$
  • $\iff s_{x.y}^2 = s_x^2 - s_{verkl}^2$
  • $\iff s_{x.y}^2 = 100 - 25 = 75$

Persoonlijk vond ik deze oplossing logischer klinken dan de modeloplossing. De uitkomst is kleiner dan de variantie zoals verwacht, en de oplossingsmethode is niet zo ver gezocht.

Het is natuurlijk een beetje vreemd dat we hier een variabele $Y$ is het leven moeten roepen waarop we ons zogezegd baseren om $X^{est} = f(Y)$ te voorspellen terwijl we die uiteindelijk helemaal niet gebruiken. De voorspelling is namelijk een constante ($130$), wat de waarde van die erbij gefantaseerde $Y$ ook zou zijn. In de formules komen we ook niet echt in de problemen, want we hebben inderdaad nergens een waarde gerelateerd aan $Y$ nodig.

Op dit moment hebben we twee verschillende oplossingen waar iets voor te zeggen valt: Steiner vs optimale voorspelling. We moeten de zaken dus nog wat verder uitpluizen.

Poging 2

• gegeven
  • $X$: IQ
  • $\overline x = 125$
  • $s_x = 10$
  • $x^{est} = 130$
• gevraagd
  • $s_{x.y}^2$
• oplossing
  • $s_x^2 = \overline{x^2} - \overline{x}^2$
  • $\iff \overline{x^2} = s_x^2 + \overline{x}^2$
  • $\iff \overline{x^2} = 100 + 125^2$
  • $\iff \overline{x^2} = 15725$
  • $s_{x.y}^2$
    • $= \overline{(x^{est} - x)^2}$
    • $= \overline{(130 - x)^2}$
    • $= \overline{130^2 - 260x + x^2}$
    • $= 130^2 - 260\overline x + \overline{x^2}$
    • $= 130^2 - 260 \cdot 125 + 15725$
    • $= 125$

Color me surprised... Als $125$ inderdaad het juiste antwoord zou zijn, wat is er dan mis met mijn eerste poging? Tijd om dieper te duiken.

Poging 1 bis

Werk met een concrete dataset

Als ik in de war ben, probeer ik het wat concreter te maken. In dit geval zou het handig zijn als we een paar concrete $X$ waarden hadden. Daarmee kunnen we in detail alle berekeningen volgen. Stel voor het gemak dat $n=2$, dan hebben we $x_1$ en $x_2$ nodig. Hoe kunnen we de waardes daarvan zo kiezen dat we het juiste gemiddelde en de juiste standaarddeviatie uitkomen?

We beginnen met de voorwaarde van het gemiddelde:

• $\dfrac{x_1 + x_2}{2} = 125$
• $\iff x_1 + x_2 = 250$
• $\iff x_1 = 250 - x_2$

We weten ook van hierboven dat $\overline{x^2} = 15725$:

• $\dfrac{x_1^2 + x_2^2}{2} = 15725$
• $\iff x_1^2 + x_2^2 = 31450$
• $\iff (250-x_2)^2 + x_2^2 = 31450$
• $\iff 2x_x^2 - 500x_2 + 31050 = 0$
• $\iff \ldots$ (uitwerken met discriminant)
• $\iff x_2 = 115$ of $x_2 = 135$
• dan is $x_1 = 250-115 = 135$ of $x_1 = 250-135 = 115$

Conclusie: dataset $X: 115, 135$ heeft de eigenschappen waar we naar op zoek zijn: $\overline x = 125$ en $s_x = 10$.

Pas klassieke OLV toe

Stel dat we om te beginnen die constante voorspelling van $130$ even vergeten en kijken hoe we los daarvan verder zouden gaan met deze gegevens. Ik heb hier deze keer wel een paar concrete $Y$-waarden bij verzonnen om het concreter te maken.

Optimale lineaire voorspelling werkt voor twee punten altijd perfect: je kan er altijd een rechte lijn door trekken. We berekenen eerst de vergelijking van deze lijn met meetkundige formules:

• $x = b_0 + b_1y$
• $b_1 = \dfrac{x_2 - x_1}{y_2 - y_1} = 20$ (rico)
• $115 = b_0 + 20 \cdot 1 \iff b_0 = 95$
• $x = 95 + 20y$

Je kan dit ook met de klassieke formules voor $b_0$ en $b_1$ doen, zelfde resultaat.

Voor $y=1$ zal deze formule dus $x^{est}=115$ voorspellen, en voor $y=2$ wordt $x^{est}=135$.

Hoe zien onze varianties er op basis van deze voorspelling uit?

• $s_x^2 = 100$
• $s_{verkl}^2$
  • $= \overline{(x^{est} - \overline x)^2}$
  • $= \dfrac{(115 - 125)^2 + (135 - 125)^2}{2}$
  • $= 100$
• $s_{x.y}^2$
  • $= \overline{(x^{est} - x)^2}$
  • $= \dfrac{(115 - 115)^2 + (135 - 135)^2}{2}$
  • $= 0$
• $100 = 100 + 0$

So far so good, niets onverwacht.

Pas OLV zonder predictoren toe

Het speciale aan deze voorbeeldexamenvraag is dat we een constante voorspelling hebben. Onze leek kiest voor $130$ maar als hij een beetje slimmer was geweest, zou hij in de plaats het gemiddelde ($125$) gekozen hebben. Dat is ook wat optimale lineaire voorspelling voorschrijft als er geen predictoren zijn (geen $Y$ in dit geval). Laten we dus het geval $x^{est} = 125$ onder de loep nemen.

• $s_x^2 = 100$
• $s_{verkl}^2$
  • $= \overline{(x^{est} - \overline x)^2}$
  • $= \dfrac{(125 - 125)^2 + (125 - 125)^2}{2}$
  • $= 0$
• $s_{x.y}^2$
  • $= \overline{(x^{est} - x)^2}$
  • $= \dfrac{(125 - 115)^2 + (125 - 135)^2}{2}$
  • $= 100$
• $100 = 0 + 100$

Tot hier klinkt alles nog logisch. De formules komen mooi uit. De variantie wordt nu helemaal opgesoupeerd door de foutenvariantie in plaats van door de verklaarde variantie. Niet verwonderlijk als je je voorspelling baseert op... niets.

Gebruik constante voorspelling 130

Wat is er dan zo speciaal aan deze voorbeeldexamenvraag dat deze formules hier niet goed werken? Laten we nog een laatste keer alle berekeningen doen op basis van $x_1 = 115, x_2 = 135$ en $x^{est} = 130$.

• $s_x^2 = 100$
• $s_{verkl}^2$
  • $= \overline{(x^{est} - \overline x)^2}$
  • $= \dfrac{(130 - 125)^2 + (130 - 125)^2}{2}$
  • $= 25$
• $s_{x.y}^2$
  • $= \overline{(x^{est} - x)^2}$
  • $= \dfrac{(130 - 115)^2 + (130 - 135)^2}{2}$
  • $= 125$
• $100 \neq 25 + 125$

Aha! Onze berekening waren dus wel juist. We hebben enkel de fout gemaakt om er van uit te gaan dat in deze context $s_x^2 = s_{x.y}^2 + s_{verkl}^2$. Uit bovenstaand avontuur leren we dat deze formule enkel bruikbaar is als de voorspelde waarde direct uit OLV volgt. Voor andere (niet optimale) voorspellingen geldt deze formule niet. Daarom ging Poging 1 de mist in. Mystery solved!

Conclusie

De modeloplossing was correct, al is het gebruik van Steiner om tot een oplossing te komen optioneel. Zoals je kan zien in Poging 2 hierboven kom je zonder Steiner ook op de juiste uitkomst. Let enkel op dat je geen formules uit optimale lineaire voorspelling toepast als de voorspelling wel lineair maar niet optimaal is.

Los van deze specifieke examenvraag toont dit relaas opnieuw aan hoe je zelf op onderzoek kan gaan als je bij statistiek - of wiskunde in het algemeen - op een tegenstelling botst. Geef niet te snel op, probeer het probleem vanuit verschillende perspectieven te benaderen, en maak het zo concreet mogelijk.