Formularium - Statistiek deel 1

Opgepast: dit is het oude formularium dat hoort bij de oude cursus van prof. Van Mechelen

Beschrijvende statistiek

Univariaat

• observaties van $X$: $(x_1, \ldots, x_i, \ldots, x_n)$
• waardengebied van $X$: $\{x_1, \ldots, x_j, \ldots, x_m\}$

Frequentiefuncties

• frequentie $freq_X(x_j)$
  • $\forall x_j: 0 \leq freq_X(x_j) \leq n$
  • $\sum_j freq_X(x_j) = n$
• proportie $p_X(x_j) = \dfrac{freq_X(x_j)}{n}$
  • notatie: $p(X = x_j)$
  • $\forall x_j: 0 \leq p_X(x_j) \leq 1$
  • $\sum_j p_X(x_j) = 1$
• cumulatieve frequentie $\displaystyle cfreq_X(x_j) = \sum_{x_{j'} \leq x_j} freq_X(x_{j'})$
• cumulatieve proportie $\displaystyle F_X(x_j) = \sum_{x_{j'} \leq x_j} p_X(x_{j'})$
  • notatie: $p(X \leq x_j)$
  • $p(X \leq x_j) \neq p(X < x_j)$
  • $\displaystyle p(a \leq X \leq b) = p(X \leq b) - p(X < a) = \sum_{a \leq x_j \leq b} p_X(x_j)$
    • ongelijkheid in tweede term is strikt ($<$ en niet $\leq$)
• $r$-de kwantiel $x_r \neq F_X^{-1}(r) \mid r \in [0,1]$
  • geval 1: $\forall x_j: F_X(x_j) \neq r$
    • $x_r = \argmin_x F_X(x) > r$
  • geval 2: $\exists x_j: F_X(x_j) = r$
    • $x_r = \frac{1}{2}[\argmin_x (F_X(x) = r) + \argmin_x (F_X(x) > r)]$
    • andere cursussen statistiek hebben vaak andere definities voor geval 2
  • algemene formule voor de twee gevallen
    • $x_r = \frac{1}{2}[\argmin_x (F_X(x) \geq r) + \argmin_x (F_X(x) > r)]$
• percentielen $Pc_1, \ldots, Pc_{99} = x_{0.01}, \ldots, x_{0.99}$
• decielen $D_1, \ldots, D_9 = x_{0.10}, \ldots, x_{0.90}$
• kwartielen $Q_1, Q_2, Q_3 = x_{0.25}, x_{0.50}, x_{0.75}$
• $Pc_0 = D_0 = Q_0 = \min (X)$
• $Pc_{100} = D_{10} = Q_4 = \max (X)$

Centrale tendensmaten

• modus / modi
  • unimodaal, bimodaal, multimodaal
• mediaan $Me_x$
  • $=x_{0.50}$
  • $=x_{\frac{n+1}{2}}$ als $n$ oneven
  • $=\frac{1}{2}\left(x_{\frac{n}{2}} + x_{\frac{n}{2}+1} \right)$ als $n$ even
    • veronderstelling: $x_i$ gesorteerd van klein naar groot
• gemiddelde $\displaystyle \overline x = \dfrac{1}{n} \sum_i x_i = \dfrac{1}{n} \sum_j x_j freq_X(x_j) = \sum_j x_j p_X(x_j)$
• $\overline{x - \overline x} = 0$
• $\overline{|x - Me_x |} \leq \overline{|x - c|}$
  • $Me_x$ is een optimum, maar niet uniek
• $\overline{(x - \overline x)^2} \leq \overline{(x - c)^2}$
  • $\overline x$ is het (unieke) optimum
• Steiner: $\overline{(x - c)^2} = \overline{(x - \overline x)^2} + (\overline x - c)^2$

Spreidingsmaten

• bereik $\max (X) - \min (X)$
• interkwartielbereik $Q_3 - Q_1$
• variantie
  • $\displaystyle s_x^2 = \overline{(x - \overline x)^2} = \overline{x^2} - \overline{x}^2 \geq 0$
  • $s_x^{\prime 2} = \dfrac{n}{n-1} s_x^2 > s_x^2$
• standaarddeviatie
  • $s_x = \sqrt{s_x^2}$
  • $s_x^\prime = \sqrt{s_x^{\prime 2}} > s_x$
• $2s_x^2 = \dfrac{\sum_i \sum_{i'} (x_i - x_{i'})^2}{n^2}$
• Tchebychev ($k > 1$)
  • $p(Z_X^2 \geq k) \leq \dfrac{1}{k}$
  • $p(|Z_X| \geq k) \leq \dfrac{1}{k^2}$
  • ongeacht verdeling van $X$
• boxplot
  • variant 1: $\min(X), Q_1, Me_x, Q_3, \max (X)$
  • variant 2: $\min(X)$ of $Q_1 - 1.5IQR, Q_1, Me_x, Q_3, Q_3 + 1.5IQR$ of $\max (X)$
    • incl. uitbijters buiten de snorharen

Transformaties

• algemeen
  • $\displaystyle Y = f(X) \implies freq_Y(y) = freq_X(f^{-1}(y)) = \sum_{x \mid f(x) = y} freq_X(x)$
  • $\displaystyle Y = f(X) \implies p_Y(y) = p_X(f^{-1}(y)) = \sum_{x \mid f(x) = y} p_X(x)$
  • $\displaystyle \overline{Y} = \overline{f(X)} = \sum_j f(x_j) p_X(x_j)$
• lineaire transformaties $Y=aX + b$
  • $\overline{ax+b} = a\overline{x}+b$
  • $s_{ax+b}^2 = a^2s_x^2$
  • $s_{ax+b} = |a|s_x \geq 0$
  • Z-transformatie $Z_X(X) = \dfrac{X - \overline x}{s_x}$
  • z-score $z_i = Z_X(x_i) = \dfrac{x_i - \overline x}{s_x}$
    • hoeveel standaarddeviaties $x_i$ boven of onder $\overline x$ ligt
  • $\overline{Z_X} = 0$
  • $s_{Z_X}^2 = 1$
  • $Z_{aX+b} = \text{sgn}(a) Z_X$

Bivariaat

• observaties van $X$: $(x_1, \ldots, x_i, \ldots, x_n)$
• observaties van $Y$: $(y_1, \ldots, y_i, \ldots, y_n)$
  • gepaarde gegevens: $n = n_X = n_Y$
• mogelijke waarden van $X$: $\{x_1, \ldots, x_j, \ldots, x_m\}$
• mogelijke waarden van $Y$: $\{y_1, \ldots, y_{j'}, \ldots, y_{m'}\}$
• achtergrondinfo: long data vs wide data
  • omzetting
    • long -> wide: pivot
    • wide -> long: melt

kleur	seizoen	personage
rood	1	Jason
blauw	1	Billy
geel	1	Trini
roze	1	Kimberly
zwart	1	Zack
groen	1	Tommy
rood	2	Rocky
blauw	2	Billy
geel	2	Aisha
roze	2	Kimberly
zwart	2	Adam
wit	2	Tommy

Tabel 1 voorbeeld long data

kleur	seizoen 1	seizoen 2
rood	Jason	Rocky
blauw	Billy	Billy
geel	Trini	Aisha
roze	Kimberly	Kimberly
zwart	Zack	Adam
groen	Tommy	-
wit	-	Tommy

Tabel 2a voorbeeld wide data

seizoen	rood	blauw	geel	roze	zwart	groen	wit
1	Jason	Billy	Trini	Kimberly	Zack	Tommy	-
2	Rocky	Billy	Aisha	Kimberly	Adam	-	Tommy

Tabel 2b voorbeeld wide data, alternatief

Frequentiefuncties

• $freq_{X,Y}(x_j, y_{j'})$
  • $\forall x,y: 0 \leq freq_{X,Y}(x,y) \leq n$
  • $\sum_j \sum_{j'} freq_{X,Y}(x_j, y_{j'}) = n$
  • voorstelling: bivariate frequentietabel = contingentietabel
• marginale frequentiefuncties
  • $freq_X(x_j) = \sum_{j'} freq_{X,Y}(x_j, y_{j'})$
  • $freq_Y(y_{j'}) = \sum_j freq_{X,Y}(x_j, y_{j'})$
• $p_{X,Y}(x_j, y_{j'}) = \dfrac{freq_{X,Y}(x_j, y_{j'})}{n}$
  • $\forall x,y: 0 \leq p_{X,Y}(x,y) \leq 1$
  • $\sum_j \sum_{j'} p_{X,Y}(x_j, y_{j'}) = 1$
  • voorstelling: bivariate proportietabel
• marginale proportiefuncties
  • $p_X(x_j) = \sum_{j'} p_{X,Y}(x_j, y_{j'})$
  • $p_Y(y_{j'}) = \sum_j p_{X,Y}(x_j, y_{j'})$
• (rij-)conditionele proporties
  • assumptie: X in rijen, Y in kolommen
  • $p_{Y \mid X=x_j}(y_{j'}) = \dfrac{freq_{X,Y}(x_j, y_{j'})}{freq_X(x_j)} = \dfrac{p_{X,Y}(x_j, y_{j'})}{p_X(x_j)}$
  • $\sum_{j'} p_{Y \mid X=x_j}(y_{j'}) = 1$
  • $\sum_j p_{Y \mid X=x_j}(y_{j'}) \neq 1$
• (kolom-)conditionele proporties $p_{X \mid Y=y_{j'}}(x_j)$
  • assumptie: X in rijen, Y in kolommen
  • $p_{X \mid Y=y_{j'}}(x_j) = \dfrac{freq_{X,Y}(x_j, y_{j'})}{freq_Y(y_{j'})} = \dfrac{p_{X,Y}(x_j, y_{j'})}{p_Y(y_{j'})}$
  • $\sum_j p_{X \mid Y=y_{j'}}(x_j) = 1$
  • $\sum_{j'} p_{X \mid Y=y_{j'}}(x_j) \neq 1$
• absolute vs conditionele kanstabellen herkennen
  • absoluut als 1 of n als totaal
  • conditioneel als 1 of n overal in somrij of overal in somkolom

Centrale tendensmaten

• conditionele gemiddelde $\overline{y \mid X=x_j} = \dfrac{1}{freq_X(x_j)} \sum_{j'} y_{j'} freq_{X,Y}(x_j, y_{j'}) = \sum_{j'} y_{j'} p_{Y \mid X=x_j}(y_{j'})$

Spreidingsmaten

• conditionele variantie $s_{y \mid X=x_j}^2 = \dfrac{1}{freq_X(x_j)} \sum_{j'} (y_{j'} - \overline{y \mid X=x_j})^2 freq_{X,Y}(x_j, y_{j'}) = \sum_{j'} (y_{j'} - \overline{y \mid X=x_j})^2 p_{Y \mid X=x_j}(y_{j'}) = \overline{y^2 \mid X=x_j} - \overline{y \mid X=x_j}^2$

Associatiematen

• kwalitatieve variabelen met bijectie: $x_j \leftrightarrow y_j$
  • proportie overeenstemming $\sum_j p_{X,Y}(x_j, y_j)$
• kwantitatieve variabelen
  • covariantie
    • $s_{xy} = \overline{(x - \overline x)(y - \overline y)} = \dfrac{1}{n} \sum_i (x_i - \overline x)(y_i - \overline y) = \dfrac{1}{n} \sum_j \sum_{j'} (x_j - \overline x)(y_{j'} - \overline y) freq_{X,Y}(x_j, y_{j'}) = \sum_j \sum_{j'} (x_j - \overline x)(y_{j'} - \overline y) p_{X,Y}(x_j, y_{j'}) = \overline{x \cdot y} - \overline x \cdot \overline y$
    • $s_{xy}^\prime = \dfrac{n}{n-1} s_{xy} > s_{xy}$
    • $s_{xx} = s_x^2$
    • $s_{xy} = s_{yx}$
    • $s_{ax+b\:y} = s_{x\:ay+c} = as_{xy}$
    • $-s_x s_y \leq s_{xy} \leq s_x s_y$
    • $s_{xy} = \pm s_x s_y \iff \forall i: Z_X(x_i) = \pm Z_Y(y_i)$
  • (productmoment)correlatie $r_{xy} = s_{Z_X Z_Y} = \overline{Z_X(x) Z_Y(y)} = \dfrac{s_{xy}}{s_x s_y}$
    • $r_{xy}^\prime = r_{xy}$
    • $r_{xx} = 1$
    • $r_{xy} = r_{yx}$
    • $r_{ax+b\:y} = r_{x\:ay+c} = \dfrac{s_{ax+b\:y}}{s_{ax+b}s_y} = \dfrac{as_{xy}}{|a|s_x s_y} = \text{sgn}(a) r_{xy}$
    • $-1 \leq r_{xy} \leq 1$
    • $r_{xy} = \pm 1 \iff \forall i: Z_X(x_i) = \pm Z_Y(y_i)$

Optimale voorspelling

• terminologie
  • input, onafhankelijke variabele, voorspeller, predictor
  • output, afhankelijke variabele, voorspelde, criterium
  • zowel $X$ als $Y$ kunnen beide rollen aannemen
    • $Y = f_1(X)$ met $X$ als predictor
    • $X = f_2(Y)$ met $Y$ als predictor
• gekwadrateerde standaardfout van estimatie of foutenvariantie $s_{y.x}^2 = \overline{(y^{est} - y)^2}$
  • Engels: mean squared error (MSE)
• verklaarde of voorspelde variantie $s_{verkl}^2 = \overline{(y^{est} - \overline y)^2}$
• $\overline{(y - \overline y)^2} = \overline{(y^{est} - y)^2} + \overline{(y^{est} - \overline y)^2} \iff s_y^2 = s_{y.x}^2 + s_{verkl}^2$
• algemene optimale voorspelling $y_j^{est}(x_j) = \overline{y \mid X=x_j}$
  • minimaliseert $s_{y.x}^2$
• optimale lineaire voorspelling
  • trade-off: hogere $s_{y.x}^2$ in ruil voor simpelere vergelijking
  • $Z_Y(y_i^{est}) = r_{xy} Z_X(x_i)$
    • regression to the mean: $|r_{xy}| \leq 1 \implies |Z_Y(y_i^{est})| \leq |Z_X(x_i)|$
  • $\Delta Z_Y(y^{est}) = r_{xy} \Delta Z_X(x)$
  • $\dfrac{\Delta y^{est}}{s_y} = r_{xy} \dfrac{\Delta x}{s_x}$
  • regressievergelijking $y_j^{est}(x_j) = b_0 + b_1 x_j$
  • regressieconstante $b_0 = \overline y - b_1 \overline x$
    • loopt door punt $(\overline x, \overline y)$
  • regressiegewicht $b_1 = s_y r_{xy} \dfrac{1}{s_x} = \dfrac{\Delta y^{est}}{\Delta x}$
  • determinatiecoefficient $r_{xy}^2 = \dfrac{s_{verkl}^2}{s_y^2}$
    • $s_y^2 = s_{y.x}^2 + s_{verkl}^2 \iff 1 = r_{xy}^2 + (1 - r_{xy}^2) \iff s_y^2 = r_{xy}^2 s_y^2 + (1 - r_{xy}^2)s_y^2$
      • verdeelsleutel tussen verklaarde en onverklaarde variantie
    • zegt enkel iets over mogelijk lineair verband tussen $X$ en $Y$
      • verband kan ook kwadratisch, logaritmisch, ... of onbestaand zijn
  • $r_{xy} = \pm 1 \implies y_i^{est} = y_i \neq x_i$
  • $r_{xy} = 0 \implies y_i^{est} = \overline y$
  • correlation $\neq$ causation
    • spurious correlation: geen inhoudelijke betekenis
    • causaal verband
      • direct: $X \implies Y$ of $Y \implies X$
      • indirect: $X \implies W \implies Y$ of $Y \implies W \implies X$
      • derde (direct of indirect): $W \implies X$ en $W \implies Y$
  • logaritmisch verband $\log Y = b_0 + b_1X \iff Y = \tilde{b_0} \tilde{b_1}^X$
    • startwaarde $\tilde{b_0} = 10^{b_0}$
    • groeifactor $\tilde{b_1} = 10^{b_1}$

Somvariabelen

• centrale tendensmaten
  • $\overline{x+y} = \overline x + \overline y$
  • $\overline{a_0 + \sum_k a_k x_k} = a_0 + \sum_k a_k \overline{x_k}$
• spreidingmaten
  • $s_{x+y}^2 = s_x^2 + 2s_{xy} + s_y^2$
  • $s_{x+y} = s_x + s_y \iff s_{xy} = s_x s_y \iff r_{xy} = 1$
  • $s_{a_0 + \sum_k a_k x_k}^2$
    • $= \sum_k a_k^2 s_{x_k}^2 + 2 \sum_{k, k', k < k'} a_k a_{k'} s_{x_k x_{k'}}$
    • $= \sum_k \sum_{k'} a_k a_{k'} s_{x_k x_{k'}}$
• associatiematen
  • $s_{x+y\:z} = s_{xz} + s_{yz}$
  • $s_{a_0 + \sum_k a_k x_k \: b_0 + \sum_{k'} b_{k'} y_{k'}} = \sum_k \sum_{k'} a_k b_{k'} s_{x_k y_{k'}}$
  • $r_{x+y\:z} \neq r_{xz} + r_{yz}$

Multivariaat

• conditioneel werken
  • kies vaste waarden voor alle variabelen behalve de twee waar je mee werkt
• kwantitatief: optimale lineaire voorspelling
  • meervoudige regressie: $y_i^{est}(x_{1i}, x_{2i}) = b_0 + b_1 x_{1i} + b_2 x_{2i}$
  • $s_{y.x_1 x_2}^2$
  • gekwadrateerde meervoudige correlatiecoefficient $R^2$
• twee binaire kwalitatieve predictorvariabelen
  • $Y = f(X_1, X_2)$
  • dummyvariabelen met $x_{kj} \in \{-1, 1\}$ voor kwalitatieve variabelen
  • tabel met $\overline{y \mid X_1=x_{1j}, X_2=x_{2j'}}$
  • rij/kolom gemiddelden $\overline{y \mid X_k=x_{kj}}$
  • geen hoofdeffect (HE) van $X_k \iff \overline{y \mid X_k = +1} = \overline{y \mid X_k = -1} = \overline y$
    • algemeen: geen hoofdeffect $\iff \forall x_{kj}: \overline{y \mid X_k = x_{kj}} = \overline y$
  • zonder interactie
    • $y_i^{est}(x_{1i}, x_{2i}) = b_0 + b_1 x_{1i} + b_2 x_{2i}$
    • $\overline{y \mid X_1=+1, X_2=-1} - \overline{y \mid X_1=+1, X_2=+1} = \overline{y \mid X_1=-1, X_2=-1} - \overline{y \mid X_1=-1, X_2=+1}$
    • $\overline{y \mid X_1=+1, X_2=-1} - \overline{y \mid X_1=-1, X_2=-1} = \overline{y \mid X_1=+1, X_2=+1} - \overline{y \mid X_1=-1, X_2=+1}$
    • evenwijdige lijnstukken in $X_k-Y$ grafiek
    • bij meer dan 2 waarden: stelling geldig in elke $2 \times 2$ deeltabel
  • met interactie
    • $y_i^{est}(x_{1i}, x_{2i}) = b_0 + b_1 x_{1i} + b_2 x_{2i} + b_3 x_{1i} x_{2i} \mid b_3 \neq 0$
    • ordinaal: lijnstukken snijden/raken op geen enkele grafiek
      • orde blijft behouden
    • disordinaal: lijnstukken snijden/raken op min 1 grafiek
      • orde wisselt om
  • 8 mogelijke combinaties van HE $X_1$, HE $X_2$, interactie

Inductieve statistiek

• heel gelijkaardig aan deel beschrijvende statistiek
  • belangrijkste verschillen
    • hier geen notie van frequentie en afgeleide formules
    • formules vaak verschillend voor discreet en continu
    • geen optimale voorspelling
    • enkel uni- en bivariaat, niet algemeen multivariaat
• populatie
  • (ongeordende) verzameling $\{x_1, \ldots, x_N\}$
• steekproef
  • geordende verzameling $(x_1, \ldots, x_n)$
    • soms ongeordend als expliciet vermeld
  • trekking uit populatie
  • met/zonder teruglegging
• steekproeftrekking op zuiver toevallige wijze (ZTW)
  • met teruglegging
  • elke steekproef van grootte $n$ heeft evenveel kans om getrokken te worden
  • voldoende maar geen noodzakelijke voorwaarde voor statistische inferentie
  • simulatie via randint(1, n) op rekenmachine
    • toevalszaadje of random seed: interne startwaarde
      • expliciet kiezen maakt de simulatie deterministisch
• representatieve steekproef
  • lijkt op populatie m.b.t. 1 of meerdere aspecten
  • niet gegarandeerd door trekking op ZTW (en ook niet omgekeerd)
• gestratificeerde steekproeftrekking
  • verdeel populatie in homogene strata
  • trek substeekproef per strata
  • voeg substeekproeven samen
  • garandeert representativiteit
  • niet op ZTW
• selecte steekproeven
  • trek enkel uit specifieke deelpopulatie (bv. WEIRD)

Univariaat

Verdelingsfuncties

Discrete toevalsvariabele

• waardengebied van $X$: $\{x_1, \ldots, x_j, \ldots\}$
• kansmassafunctie $\pi_X(x) = P(\{\omega \mid X(\omega) = x\})$
  • notatie: $P(X = x)$
  • $P(X = x_j) \neq p(X = x_j)$
  • $\forall x: 0 \leq \pi_X(x_j) \leq 1$
  • $\sum_j \pi_X(x_j) = 1$
• cumulatieve verdelingsfunctie $\displaystyle \Phi_X(x) = \sum_{x_j \leq x} \pi_X(x_j)$
  • notatie: $P(X \leq x)$
  • $P(X \leq x) \neq P(X < x)$
  • $\displaystyle \lim_{x \to -\infty} \Phi_X(x) = 0$
  • $\displaystyle \lim_{x \to +\infty} \Phi_X(x) = 1$
• $r$-de populatiekwantiel $x_r^\star \mid r \in [0,1]$
  • berekening: cf. beschrijvende statistiek

Continue toevalsvariabele

• dichtheidsfunctie $\varphi_X(x)$
  • notatie: niet $P(X=x)$
  • $\forall x: 0 \leq \varphi_X(x) < +\infty$
  • $\displaystyle \int_{-\infty}^{+\infty} \varphi_X(x)dx = 1$
• cumulatieve verdelingsfunctie $\displaystyle \Phi_X(x) = \int_{-\infty}^x \varphi_X(\tau)d\tau$
  • notatie: $P(X \leq x)$
  • $P(X \leq x) = P(X < x)$
  • $\displaystyle \lim_{x \to -\infty} \Phi_X(x) = 0$
  • $\displaystyle \lim_{x \to +\infty} \Phi_X(x) = 1$
• $\displaystyle P(a \leq X \leq b) = P(X \leq b) - P(X \leq a) = \Phi_X(b) - \Phi_X(a) = \int_a^b \varphi_X(x)dx \mid a \leq b$
  • $P(X = x) = P(x \leq X \leq x) = 0 \neq \varphi_X(x)$
• $r$-de populatiekwantiel $x_r^\star = \Phi_X^{-1}(r)$ (enkel indien continu)

Gemeenschappelijk

• percentielen $Pc_1^\star, \ldots, Pc_{99}^\star = x_{0.01}^\star, \ldots, x_{0.99}^\star$
• decielen $D_1^\star, \ldots, D_9^\star = x_{0.10}^\star, \ldots, x_{0.90}^\star$
• kwartielen $Q_1^\star, Q_2^\star, Q_3^\star = x_{0.25}^\star, x_{0.50}^\star, x_{0.75}^\star$
• $Pc_0^\star = D_0^\star = Q_0^\star = \min(X)$
• $Pc_{100}^\star = D_{10}^\star = Q_4^\star = \max(X)$

Centrale tendensmaten

• populatiemodus / populatiemodi
• populatiemediaan $Me_x^\star = x_{0.50}^\star$
• populatiegemiddelde
  • $\displaystyle \mu_X = \sum_j x_j \pi_X(x_j)$
  • $\displaystyle \mu_X = \int_{-\infty}^{+\infty} x \varphi_X(x)dx$
• verwachte waarde of expected value $E[X] = \mu_X$
• $E[X - E[X]] = 0$
• $E[(X - E[X])^2] \leq E[(X - c)^2]$
• Steiner: $E[(X-c)^2] = E[(X-E[X])^2] + (E[X] - c)^2$

Spreidingsmaten

• bereik $\max(X) - \min(X)$
  • min en max bestaan hier niet altijd
• interkwartielbereik $Q_3^\star - Q_1^\star$
• populatievariantie $\sigma_X^2 = E[(X - E[X])^2] = E[X^2] - E[X]^2 \geq 0$
• populatiestandaarddeviatie $\sigma_X = \sqrt{\sigma_X^2}$
• Tchebychev ($k > 1$)
  • $P(\zeta_X^2 \geq k) \leq \dfrac{1}{k}$
  • $P(|\zeta_X| \geq k) \leq \dfrac{1}{k^2}$
  • ongeacht verdeling van $X$

Transformaties

• algemeen
  • $\displaystyle Y = f(X) \implies \pi_Y(y) = \pi_X(f^{-1}(y)) = \sum_{x \mid f(x) = y} \pi_X(x)$
  • $\displaystyle E[f(X)] = \sum_j f(x_j) \pi_X(x_j)$
  • $\displaystyle E[f(X)] = \int_{-\infty}^{+\infty} f(x) \varphi_X(x)dx$
• lineaire transformaties $Y = aX + b$
  • $E[aX+b] = aE[X]+b$
  • $\sigma_{aX+b}^2 = a^2\sigma_X^2$
  • $\sigma_{aX+b} = |a|\sigma_X \geq 0$
  • $\zeta_X(X) = \dfrac{X - \mu_X}{\sigma_X}$
  • $E[\zeta_X] = 0$
  • $\sigma_{\zeta_X}^2 = 1$
  • $\zeta_{aX+b} = \text{sgn}(a) \zeta_X$

Bivariaat

Verdelingsfuncties

Discrete toevalsvariabelen

• mogelijke waarden van $X$: $\{x_1, \ldots, x_j, \ldots\}$
• mogelijke waarden van $Y$: $\{y_1, \ldots, y_{j'}, \ldots\}$
  • gepaarde gegevens: $N = N_X = N_Y$
• bivariate kansmassafunctie $\pi_{X,Y}(x,y) = P(\{\omega \mid X(\omega)=x \text{ en } Y(\omega)=y\})$
  • notatie: $P(X=x \text{ en } Y=y)$
  • $\forall x,y: 0 \leq \pi_{X,Y}(x,y) \leq 1$
  • $\sum_j \sum_{j'} \pi_{X,Y}(x_j, y_{j'}) = 1$
• bivariate cumulatieve verdelingsfunctie $\displaystyle \Phi_{X,Y}(x,y) = \sum_{x_j \leq x} \sum_{y_{j'} \leq y} \pi_{X,Y}(x_j, y_{j'})$
  • notatie: $P(X \leq x \text{ en } Y \leq y)$
  • $P(X \leq x \text{ en } Y \leq y) \neq P(X < x \text{ en } Y < y)$
• marginale kansmassafuncties
  • $\pi_X(x_j) = \sum_{j'} \pi_{X,Y}(x_j, y_{j'})$
  • $\pi_Y(y_{j'}) = \sum_j \pi_{X,Y}(x_j, y_{j'})$
• (rij-)conditionele kansmassafunctie
  • $\pi_{Y \mid X=x_j}(y) = \dfrac{\pi_{X,Y}(x_j, y)}{\pi_X(x_j)}$
    • notatie: $P(Y=y \mid X=x_j) = \dfrac{P(X=x_j \cap Y=y)}{P(X = x_j)}$
• (kolom-)conditionele kansmassafunctie $\pi_{X \mid Y=y_{j'}}(x)$
• twee statistisch onafhankelijke variabelen $X,Y$
  • $\forall j, j': \pi_{X,Y}(x_j, y_{j'}) = \pi_X(x_j) \pi_Y(y_{j'})$
  • $\iff \forall j, j': \Phi_{X,Y}(x_j, y_{j'}) = \Phi_(x_j) \Phi_(y_{j'})$
  • $\iff \forall j: \pi_{Y \mid X=x_j} = \pi_Y$
  • $\iff \forall j': \pi_{X \mid Y=y_{j'}} = \pi_X$
  • voorwaarden: $\pi_X(x_j) \neq 0$ en $\pi_Y(x_{j'}) \neq 0$
  • cf. statistisch onafhankelijke gebeurtenissen

Continue toevalsvariabelen

• bivariate dichtheidsfunctie $\varphi_{X,Y}(x,y)$
  • notatie: niet $P(X=x \text{ en } Y=y)$
  • $\forall x,y: 0 \leq \varphi_{X,Y}(x,y) < +\infty$
  • $\displaystyle \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} \varphi_{X,Y}(x,y)dxdy = 1$
• bivariate cumulatieve verdelingsfunctie $\displaystyle \Phi_{X,Y}(x,y)$
  • notatie: $P(X \leq x \text{ en } Y \leq y)$
  • $P(X \leq x \text{ en } Y \leq y) = P(X < x \text{ en } Y < y)$
• $\displaystyle P(a \leq X \leq b \text{ en } c \leq Y \leq d) = \int_c^d \int_a^b \varphi_{X,Y}(x,y)dxdy = \Phi_{X,Y}(b,d) - \Phi_{X,Y}(a,d) - \Phi_{X,Y}(b,c) + \Phi_{X,Y}(a,c) \mid a \leq b, c \leq d$
  • $P(X = x \text{ en } Y=y) = 0 \neq \varphi_{X,Y}(x,y)$
• marginale dichtheidsfuncties
  • $\displaystyle \varphi_X(x) = \int_{y_{min}}^{y_{max}} \varphi_{X,Y}(x, y)dy$
  • $\displaystyle \varphi_Y(y) = \int_{x_{min}}^{x_{max}} \varphi_{X,Y}(x, y)dx$
• (rij-)conditionele dichtheidsfunctie
  • $\varphi_{Y \mid X=x_j}(y) = \dfrac{\varphi_{X,Y}(x_j, y)}{\varphi_X(x_j)}$
    • notatie: $P(Y=y \mid X=x_j) = \dfrac{P(X=x_j \cap Y=y)}{P(X = x_j)}$
• (kolom-)conditionele dichtheidsfunctie $\varphi_{X \mid Y=y_{j'}}(x)$
• twee statistisch onafhankelijke variabelen $X,Y$
  • $\forall j, j': \varphi_{X,Y}(x_j, y_{j'}) = \varphi_X(x_j) \varphi_Y(y_{j'})$
  • $\iff \forall j, j': \Phi_{X,Y}(x_j, y_{j'}) = \Phi_(x_j) \Phi_(y_{j'})$
  • $\iff \forall j: \varphi_{Y \mid X=x_j} = \varphi_Y$
  • $\iff \forall j': \varphi_{X \mid Y=y_{j'}} = \varphi_X$
  • voorwaarden: $\varphi_X(x_j) \neq 0$ en $\varphi_Y(x_{j'}) \neq 0$
  • cf. statistisch onafhankelijke gebeurtenissen

Centrale tendensmaten

• conditionele populatiegemiddelde
  • $E[Y \mid X=x_j] = \mu_{Y \mid X=x_j} = \sum_{j'} y_{j'} \pi_{Y \mid X=x_j}(y_{j'})$
  • $E[Y \mid X=x_j] = \mu_{Y \mid X=x_j} = \int y \varphi_{Y \mid X=x_j}(y)dy$

Spreidingsmaten

• conditionele populatievariantie
  • $\displaystyle \sigma_{y \mid X=x_j}^2 = \sum_{j'} (y_{j'} - E[Y \mid X=x_j])^2 \pi_{Y \mid X=x_j}(y_{j'})$
  • $\displaystyle \sigma_{y \mid X=x_j}^2 = \int (y - E[Y \mid X=x_j])^2 \varphi_{Y \mid X=x_j}(y)$
  • $\sigma_{y \mid X=x_j}^2 = E[Y^2 \mid X=x_j] - E[Y \mid X=x_j]^2$

Associatiematen

• kwantitatieve variabelen
  • populatiecovariantie
    • $\displaystyle \sigma_{XY} = \sum_j \sum_{j'} (x_j - E[X])(y_{j'} - E[Y]) \pi_{X,Y}(x_j, y_{j'})$
    • $\displaystyle \sigma_{XY} = \int \int (x - E[X])(y - E[Y]) \varphi_{X,Y}(x, y)dxdy$
    • $\sigma_{XY} = E[(X-E[X])(Y-E[Y])] = E[XY] - E[X]E[Y]$
    • $\sigma_{xx} = \sigma_X^2$
    • $\sigma_{XY} = \sigma_{YX}$
    • $\sigma_{aX+b\:Y} = \sigma_{X\:aY+c} = a\sigma_{XY}$
    • $-\sigma_X \sigma_Y \leq \sigma_{XY} \leq \sigma_X \sigma_Y$
    • $\sigma_{XY} = \pm \sigma_X \sigma_Y \iff P(\zeta_X = \pm\zeta_Y) = 1$
  • populatiecorrelatie
    • $\rho_{XY} = \sigma_{Z_X Z_Y} = E[\zeta_X \zeta_Y] = \dfrac{\sigma_{XY}}{\sigma_X \sigma_Y}$
    • $\rho_{XX} = 1$
    • $\rho_{XY} = \rho_{YX}$
    • $\rho_{aX+b\:Y} = \rho_{X\:aY+c} = \dfrac{\sigma_{aX+b\:Y}}{\sigma_{aX+b}\sigma_Y} = \dfrac{a\sigma_{XY}}{|a|\sigma_X \sigma_Y} = \text{sgn}(a) \rho_{XY}$
    • $-1 \leq \rho_{XY} \leq 1$
    • $\rho_{XY} = \pm 1 \iff P(\zeta_X = \pm\zeta_Y) = 1$
    • $X,Y$ statistisch onafhankelijk $\implies \rho_{XY}=0$
      • niet andersom

Somvariabelen

• centrale tendensmaten
  • $E[X+Y] = E[X] + E[Y]$
  • $E[a_0 + \sum_k a_k X_k] = a_0 + \sum_k a_k E[X_k]$
• spreidingmaten
  • $\sigma_{X+Y}^2 = \sigma_X^2 + 2\sigma_{XY} + \sigma_Y^2$
  • $\sigma_{X+Y} = \sigma_X + \sigma_Y \iff \sigma_{XY} = \sigma_X \sigma_Y \iff \rho_{XY} = 1$
  • $\sigma_{a_0 + \sum_k a_k X_k}^2 = \sum_k \sum_{k'} a_k a_{k'} \sigma_{X_k X_{k'}}$
• associatiematen
  • $\sigma_{X+Y\:Z} = \sigma_{XZ} + \sigma_{YZ}$
  • $\sigma_{a_0 + \sum_k a_k X_k \: b_0 + \sum_{k'} b_{k'} X_{k'}} = \sum_k \sum_{k'} a_k b_{k'} \sigma_{X_k Y_{k'}}$
  • $\rho_{X+Y\:Z} \neq \rho_{XZ} + \rho_{YZ}$

Relatie steekproef - populatie

• statistiek $T_{(n)}$: regel die een steekproef van grootte $n$ samenvat in 1 getal
  • bv. $\overline x, Me_x, \min(X), x_n - x_1$
• steekproevenverdeling van statistiek $T$ over verschillende steekproeven: $\pi_T$ of $\varphi_T$
• independent and identically distributed (i.i.d.)
  • $X,Y$ onafhankelijk
    • $\pi_{X,Y}(x,y) = \pi_X(x) \pi_Y(y)$
    • $\varphi_{X,Y}(x,y) = \varphi_X(x) \varphi_Y(y)$
  • $X,Y$ identiek verdeeld
    • $\pi_X = \pi_Y = \pi$
    • $\varphi_X = \varphi_Y = \varphi$
  • gecombineerd
    • $\pi_{X,Y}(x,y) = \pi(x) \pi(y)$
    • $\varphi_{X,Y}(x,y) = \varphi(x) \varphi(y)$
• schatter $\hat \vartheta$: statistiek die populatieparameter $\vartheta$ schat
  • bv. schatter voor $\mu_X: \hat\vartheta = \overline X = \dfrac{1}{n} \sum_i X_i \mid X_i$ i.i.d.
• kwaliteit van schatter
  • 
  • onzuiverheid of bias $E[\hat\vartheta] - \vartheta$ (maat voor accuraatheid, lager is beter)
  • zuivere schatter $E[\hat\vartheta] = \vartheta$
    • perfecte accuraatheid
  • asymptotisch zuivere schatter $\displaystyle\lim_{n \to +\infty} E[\hat\vartheta_{(n)}] = \vartheta$
    • perfecte accuraatheid in de limiet
    • als zuiver, dan ook asymptotisch zuiver
  • gekwadrateerde standaardfout $MSE(\hat\vartheta) = E[(\hat\vartheta - \vartheta)^2] = \sigma_{\hat\vartheta}^2 + (E[\hat\vartheta] - \vartheta)^2$ (maat voor precisie, lager is beter)
    • Engels: mean squared error (MSE)
    • cf. $s_{y.x}^2$
  • zuiver $\implies MSE(\hat\vartheta) = \sigma_{\hat\vartheta}^2$
  • consistente familie schatters $\displaystyle\lim_{n \to +\infty} E[(\hat\vartheta_{(n)} - \vartheta)^2] = 0$
    • perfecte precisie in de limiet
  • $\hat\vartheta = \overline X \implies \sigma_{\hat\vartheta}^2 = \sigma_{\overline X}^2 = \dfrac{\sigma_X^2}{n} \implies \text{consistent}$
• toepassingen
  • $E[\overline X] = \mu_X$ (zuiver)
  • $E[S_{X_{(n)}}^2] = \dfrac{n-1}{n} \sigma_X^2 \neq \sigma_X^2$ (asymptotisch zuiver)
  • $E[S_{X_{(n)}}^{\prime 2}] = \sigma_X^2$ (zuiver)
  • $E[S_{XY}^\prime] = \sigma_{XY}^2$ (zuiver)
  • $\displaystyle\lim_{n \to +\infty} E[r_{XY_{(n)}}] = \rho_{XY}$ (asymptotisch zuiver)