Formularium - Statistiek deel 2

Opgepast: dit is het oude formularium dat hoort bij de oude cursus van prof. Van Mechelen

Inleiding

• vergeet niet de hoofdzaken van deel 1 op te frissen

Statistische modellering

	aantal events	wachttijd tot eerste event
discreet	Bin	Geo
~continu	Poisson	Expon

Discreet

• Bernoulli $X \sim Bern(\vartheta) = Bin(1, \vartheta)$
  • $\vartheta \in \left]0,1\right[$
  • $\pi_X(0) = 1 - \vartheta$
  • $\pi_X(1) = \vartheta$
  • $\Phi_X(0) = 1 - \vartheta$
  • $\Phi_X(1) = 1$
  • $\mu_X = \vartheta$
  • $\sigma_X^2 = \vartheta (1 - \vartheta)$
  • $\hat \vartheta = \hat \mu_X = \overline x$
• Binomiaal $Y \sim Bin(n, \vartheta)$
  • $n \in \mathbb{N}_0$
  • $\vartheta \in \left]0,1\right[$
  • $\forall i: X_i \overset{i.i.d.}{\sim} Bern(\vartheta)$
  • $Y = \sum_{i=1}^n X_i$
  • $\pi_Y(k) = \binom{n}{k} \vartheta^k (1 - \vartheta)^{n-k} \mid k \in \{0,\ldots,n\}$
  • $\mu_Y = n\vartheta$
  • $\sigma_Y^2 = n\vartheta(1 - \vartheta)$
  • $\hat \vartheta = \frac{\hat \mu_Y}{n} = \frac{\overline y}{n}$
  • proportie successen $\frac{Y}{n}$
    • $\mu_{\frac{Y}{n}} = \vartheta$
    • $\sigma_{\frac{Y}{n}}^2 = \frac{\vartheta(1 - \vartheta)}{n}$
  • moeilijk cumulatief uit te rekenen voor grote $k,n$
    • benader met Poisson- of Normaalverdeling
• Geometrisch $Z \sim Geo(\vartheta)$
  • $\vartheta \in \left]0,1\right[$
  • $\forall i: X_i \overset{i.i.d.}{\sim} Bern(\vartheta)$
  • $\pi_Z(k) = (1 - \vartheta)^{k-1} \vartheta \mid k \in \{1,\ldots,n\}$
    • $\pi_Z(1) = \vartheta$
  • $\Phi_Z(k) = 1 - (1 - \vartheta)^k$
  • $\Phi_Z^{-1}(p) = \frac{\log(1 - p)}{\log(1 - \vartheta)}$
  • $\mu_Z = \frac{1}{\vartheta}$
  • $\sigma_Z^2 = \frac{1 - \vartheta}{\vartheta^2}$
  • $\hat \vartheta = \frac{1}{\hat \mu_Z} = \frac{1}{\overline z}$

(Quasi-)Continu

• Poisson $X \sim Poisson(\lambda)$
  • voorwaarden
    • proportionaliteit: kans op gebeurtenis ~ grootte van stuk medium
      • constante kans als alle stukken even groot
      • $t \in \mathbb{R}^+$ stukken: $X^t \sim Poisson(t\lambda)$
        • $X^t$ is geen macht maar een specifieke notatiewijze
    • gebeurtenis onafhankelijk van gebeurtenissen in ander stuk medium
  • $n \in \mathbb{N}_0$
  • $\vartheta \in \left]0,1\right[$
  • $n\vartheta = \lambda \in \mathbb{R}^+_0$
  • $\displaystyle \pi_X(k) = \lim_{\substack{n \to \infty \\ \vartheta \to 0}} \binom{n}{k} \vartheta^k (1 - \vartheta)^{n-k} = \frac{\lambda^k}{k!} e^{-\lambda} \mid k \in \mathbb{N}$
  • $\mu_X = \lambda$
  • $\sigma_X^2 = \lambda$
  • $\hat \lambda = \hat \mu_X = \overline x$
• Uniform $X \sim \mathcal{U}(a,b)$
  • $a,b \in \mathbb{R}: a < b$
  • $\varphi_X(x)$
    • $= \frac{1}{b-a} \mid x \in [a,b]$
    • $= 0 \mid \text{anders}$
  • $\Phi_X(x)$
    • $= 0 \mid x \leq a$
    • $= \frac{x-a}{b-a} \mid a < x < b$
    • $= 1 \mid x \geq b$
  • $\Phi_X^{-1}(p) = a + p(b - a)$
  • $\mu_X = \frac{a+b}{2}$
  • $\sigma_X^2 = \frac{(a -b)^2}{12}$
    • $= E[X^2] - E[X]^2$
    • $= \int_a^b \frac{x^2}{b-a}\,dx - \frac{(a+b)^2}{4}$
  • $\hat a = 2\overline x - \hat b$
  • $\hat b = \overline x - 6s_x^{\prime 2}$
  • $P(c \leq X \leq d) = \frac{d-c}{b-a} \mid [c,d] \subset [a,b]$
  • symmetrisch
• Normaal $X \sim N(\mu, \sigma^2)$
  • $\mu \in \mathbb{R}$
  • $\sigma \in \mathbb{R}^+_0$
  • $\displaystyle \varphi_X(x) = \frac{1}{\sqrt{2\pi} \sigma} e^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2}$
    • klokvormig / Gausscurve
  • $\mu_X = \mu$
  • $\sigma_X^2 = \sigma^2$
  • $\hat\mu = \overline x$
  • $\hat\sigma^2 = s_x^{\prime 2}$
  • $aX+b \sim N(a\mu + b, a^2\sigma^2)$
  • symmetrisch
    • $P(X \leq \mu) = P(X \geq \mu) = 0.5$
    • $\forall a \in \mathbb R: P(X \leq \mu - a) = P(X \geq \mu + a)$
  • standaardnormaalmodel: $\mu=0, \sigma^2=1$
  • $P(-1 \leq Z \leq 1)=P(\mu-\sigma \leq X \leq \mu+\sigma) \approx 0.68$
  • $P(-2 \leq Z \leq 2)=P(\mu-2\sigma \leq X \leq \mu+2\sigma) \approx 0.95$
  • $P(-3 \leq Z \leq 3)=P(\mu-3\sigma \leq X \leq \mu+3\sigma) \approx 0.997$
  • 

• Bivariaat Normaal $(X,Y) \sim N(\mu_1, \mu_2; \sigma_1^2, \sigma_2^2, \rho)$
  • $X,Y$ onafhankelijk $\implies \rho = \rho_{XY} = 0$
    • $X \sim N(\mu_1, \sigma_1^2)$
    • $Y \sim N(\mu_2, \sigma_2^2)$
    • $\displaystyle \varphi_{X,Y}(x,y) = \varphi_X(x) \varphi_Y(y) =\frac{1}{2\pi\sigma_1\sigma_2} e^{-\frac{1}{2} \left[ \left(\frac{x - \mu_1}{\sigma_1}\right)^2 + \left(\frac{y - \mu_2}{\sigma_2}\right)^2 \right]}$
  • $\rho = \rho_{XY} \neq 0$
    • $\displaystyle \varphi_{X,Y}(x,y) = \frac{1}{2\pi\sigma_1\sigma_2(1 - \rho^2)} e^{-\frac{1}{2(1 - \rho^2)} \left[ \left(\frac{x - \mu_1}{\sigma_1}\right)^2 + \left(\frac{y - \mu_2}{\sigma_2}\right)^2 - \frac{2\rho(x - \mu_1)(y - \mu_2)}{\sigma_1 \sigma_2} \right]}$
    • fout in formule?
• Exponentieel $T \sim Expon(\lambda)$
  • $\lambda \in \mathbb{R}_0^+$
  • $t \in \mathbb{R}$
  • $\varphi_T(t)$
    • $= \lambda e^{-\lambda t} \mid t \geq 0$
    • $= 0 \mid t < 0$
    • $\varphi_T(0) = \lambda$
  • $\Phi_T(t) = 1 - e^{-\lambda t}$
  • $\Phi_T^{-1}(p) = \frac{-\ln(1 - p)}{\lambda}$
  • $\mu_T = \frac{1}{\lambda}$
  • $\sigma_T^2 = \frac{1}{\lambda^2}$

Benaderingen

• $Bin(n, \vartheta) \to Poisson(n\vartheta)$ als $n \to \infty$ en $\vartheta \to 0$
• $Bin(n, \vartheta) \to N(n\vartheta, n\vartheta(1-\vartheta))$ als $n \to \infty$ (sneller als $\vartheta \approx 0.5$)
  • voor proporties $\frac{X}{n}$: $\to N\left(\vartheta, \frac{\vartheta(1-\vartheta)}{n}\right)$
• $Poisson(\lambda) \to N(\lambda, \lambda)$ als $\lambda \to \infty$
• $t_{df} \to N(0,1)$ als $df \to \infty$
• $\chi_{df}^2 \to N(df, 2df)$ als $df \to \infty$

Complexe modellen

• mengselmodellen
  • 2 componenten
    • $\pi_X = \lambda \pi_X^{(1)} + (1 - \lambda) \pi_X^{(2)}$
    • $\varphi_X = \lambda \varphi_X^{(1)} + (1 - \lambda) \varphi_X^{(2)}$
  • meerdere componenten
    • $\pi_X = \sum_i \lambda_i \pi_X^{(i)} \mid \sum_i \lambda_i = 1$
    • $\varphi_X = \sum_i \lambda_i \varphi_X^{(i)} \mid \sum_i \lambda_i = 1$
• regressiemodellen
  • enkelvoudig
    • $Y_i = \beta_0 + \beta_1 x_i + E_i \mid E_i \overset{i.i.d.}{\sim} N(0, \sigma^2)$
  • meervoudig
    • $Y_i = \beta_0 + \beta_1 x_{1i} + \beta_2 x_{2i} + E_i \mid E_i \overset{i.i.d.}{\sim} N(0, \sigma^2)$
  • hierarchisch
    • $Y_{ik} = \beta_0 + \beta_{1k} x_i + E_{ik} \mid E_{ik} \overset{i.i.d.}{\sim} N(0, \sigma^2)$
    • $\beta_{1k} \sim \ldots$

Keuze van statistieken

• statistiek $T$ voor $X$
  • steekproef met grootte $n$
    • $X_1, \ldots, X_n$
  • vast recept
  • uitkomst = 1 getal o.b.v. steekproef
  • $T: \Omega_n \to \mathbb{R}: (\omega_1, \ldots, \omega_n) \mapsto f(X_1(\omega_1, \ldots, \omega_n), \ldots, X_n(\omega_1, \ldots, \omega_n))$
• analogieschatters
  • als definities van maten tussen steekproef en populatie gelijk lopen
    • niet gegarandeerd zuiver
  • $\hat \mu_X = \overline X$
  • $\hat \sigma_X^2 = S_X^2$
  • $\hat \rho_{XY} = r_{xy}$
• kleinste kwadratenschatters
  • $\hat \beta_0 = b_0 = \overline y - b_1 \overline x$
  • $\hat \beta_1 = b_1 = r_{xy} \frac{s_y}{s_x}$
• likelihood $L(\text{gegevens} \mid \vartheta) \in [0, 1]$
  • zelfde concept als kans, maar dan na de feiten
  • onafhankelijk $\implies L(X_1 = x_1, \ldots, X_n = x_n \mid \vartheta) = L(X_1 = x_1 \mid \vartheta) \cdot \ldots \cdot L(X_n = x_n \mid \vartheta)$
• maximum likelihood (ML) schatter
  • $\displaystyle \hat\vartheta_1, \ldots, \hat\vartheta_p = \argmax_{\vartheta_1, \ldots, \vartheta_p} L(X_1 = x_1, \ldots, X_n = x_n \mid \vartheta_1, \ldots, \vartheta_p)$
  • gebruik table functie van TI-30XS voor snelle berekening
• goodness of fit
  • absoluut
    • partitioneer waardengebied van de variabele(n) in $I \leq m$ categorieen
      • variabele(n) kan $X$ zijn, of combinatie $(X,Y)$, of ...
      • weinig waarden -> 1 categorie per waarde
    • $O_c$: geobserveerde frequenties in categorie $c$
    • $E_c$: verwachte frequenties in categorie $c$
      • $p_X(x_j) = \frac{freq_X(x_j)}{n} \iff freq_X(x_j) = np_X(x_j)$
      • $\displaystyle E_c = \sum_{x_j \in c} freq_X(x_j) = np_X(x_j)$
    • Pearson Chi-kwadraat toetsstatistiek
      • $\displaystyle X^2 = \sum_{c=1}^I \frac{(O_c - E_c)^2}{E_c} \underset{n \to \infty}{\sim} \chi_{df=I-1-k}^2$
      • $k$: aantal modelparameters geschat o.b.v. gegevens
      • voorwaarden
        • $\forall c: E_c \geq 5$
        • gebaseerd op $n$ onafhankelijke observaties
    • toepassing: test onafhankelijkheid tussen $X$ en $Y$
      • $O_{jj'} = \pi_{X,Y}(x_j, y_{j'})$
      • $E_{jj'} = \pi_X(x_j) \pi_Y(y_{j'})$
      • bonus: gemakkelijk $df$ berekenen
        • $I = mm'$
        • $k = (m-1)+(m'-1) = m+m'-2$
        • $df$
          • $= I - 1 - k$
          • $= mm' - 1 - (m+m'-2)$
          • $= mm' - m - m' + 1$
          • $= (m-1)(m'-1)$
        • interpretatie: hoeveel cellen vrij kunnen ingevuld worden eens de marginalen bekend zijn
        • voorbeeld: $2 \times 2$ tabel $\implies df=(2-1)(2-1)=1$
  • relatief
    • $\mathfrak{M_0}$: restrictieve model
    • $\mathfrak{M_1} \supset \mathfrak{M_0}$: algemene model
    • (1a) bereken ML schatters $\hat\vartheta_i$ van params $\vartheta_i$ voor $\mathfrak{M_0}$
    • (1b) bereken $L_{\mathfrak{M_0}} = L_{\mathfrak{M_0}}(\text{gegevens} \mid \hat\vartheta_1, \ldots, \hat\vartheta_l)$
    • (2a) bereken ML schatters $\hat\vartheta_i$ van params $\vartheta_i$ voor $\mathfrak{M_1}$
    • (2b) bereken $L_{\mathfrak{M_1}} = L_{\mathfrak{M_1}}(\text{gegevens} \mid \hat\vartheta_1, \ldots, \hat\vartheta_l, \ldots \hat\vartheta_{l+r}) > L_{\mathfrak{M_0}}$
    • (3) bereken likelihood ratio $LR = \frac{L_{\mathfrak{M_0}}}{L_{\mathfrak{M_1}}} \in [0,1]$
    • (4) bereken $T = -2\ln(LR) \underset{n \to \infty}{\sim} \chi_{df=r}^2 \mid \mathfrak{M_0}$ waar
      • $r$: aantal vastgeklikte params in $\mathfrak{M_0}$ t.o.v. $\mathfrak{M_1}$
      • uitbreiding is zinvol als $T \gg 0$
  • hypothesetoetsing: enkel rechtse staart verdacht voor $\chi^2_{df}$

Bepalen van de steekproevenverdeling van statistieken

• steekproevenverdeling van statistiek $T$ = kansmassafunctie $\pi_T$ of dichtheidsfunctie $\varphi_T$
• standaardfout van statistiek $T$: $\sigma_T$
• enumeratieve methode
  • geschikt als $n$ en $N$ klein zijn
• deductieve methode
  • exact
    • ongeacht verdeling van $X$
      • $E[\overline X] = \mu_X$ (indien $X_i$'s identiek verdeeld)
      • ZTW / met teruglegging
        • gevolg: $X_i$ i.i.d.
        • $\sigma_{\overline X}^2 = \frac{\sigma_X^2}{n}$
      • zonder teruglegging
        • $\sigma_{\overline X}^2 = \frac{\sigma_X^2}{n} \frac{N-n}{N-1}$
        • $\displaystyle \lim_{N \to \infty} \sigma_{\overline X}^2 = \lim_{N \to \infty} \frac{\sigma_X^2}{n} \frac{N-n}{N-1} = \frac{\sigma_X^2}{n}$
          • goede benadering als $N \gg n$
    • $X \sim N(\mu_X, \sigma_X^2)$
      • $\overline X \sim N \left (\mu_X, \frac{\sigma_X^2}{n} \right )$
      • $\zeta_{\overline X} = \frac{\overline X - \mu_{\overline X}}{\sigma_{\overline X}} = \frac{\overline X - \mu_X}{\sigma_X / \sqrt{n}} \sim N(0, 1)$
      • $T_{\overline X} = \frac{\overline X - \mu_X}{S_X^\prime / \sqrt{n}} \sim t_{df=n-2}$ (als $\sigma_X$ onbekend)
  • benaderend
    • centrale limietstelling
      • $\forall i: X_i \overset{i.i.d.}{\sim}$ willekeurige verdeling $\implies \overline X_n \underset{n \to \infty}{\sim} N(\mu_{\overline X}, \sigma_{\overline X}^2) = N \left (\mu_X, \frac{\sigma_X^2}{n} \right )$
        • asymptotisch normaal verdeeld
        • vuistregel: als $n > 30$
        • convergeert sneller bij meer symmetrische verdelingen
    • goodness of fit
      • zie Keuze van statistieken
• simulatiemethode = parametrische bootstrap
  • genereer steekproeven o.b.v. model met computer
    • voor oefeningen wordt meestal data gegeven
    • benader onbekende model params met schatters
• voorbeelden
  • zie tabellen
  • Fisher-z transformatie
    • $Fz: [-1, 1] \to \mathbb{R}: r \mapsto \tanh^{-1}(r) = \frac{1}{2} \ln \frac{1+r}{1-r}$
    • $Fz^{-1}: \mathbb{R} \to [-1, 1]: z \mapsto \tanh(z) = \frac{e^{2z} - 1}{e^{2z} + 1}$
    • monotoon: $a < b \iff Fz(a) < Fz(b)$

Parameterschatting

Puntschatting

• $\hat\vartheta_n: \Omega_n \to \mathbb{R}$
• zuiver: $E[\hat\vartheta] = \vartheta$
  • voorbeelden
    • $\overline X$ voor $\mu_X$
    • $S_X^{\prime 2}$ voor $\sigma_X^2$
• asymptotisch zuivere familie: $\displaystyle \lim_{n \to \infty} E[\hat\vartheta_n] = \vartheta$
  • zuiver $\implies$ asymptotisch zuiver
  • voorbeeld: $S_X^2$ voor $\sigma_X^2$
• gemiddelde gekwadrateerde fout = mean squared error
  • $MSE(\hat\vartheta) = E[(\hat\vartheta - \vartheta)^2] = \sigma_{\hat\vartheta}^2 + (E[\hat\vartheta] - \vartheta)^2$
  • zuiver $\implies MSE(\hat\vartheta) = \sigma_{\hat\vartheta}^2$
  • asymptotisch zuiver $\displaystyle \implies \lim_{n \to \infty} MSE(\hat\vartheta_n) = \lim_{n \to \infty} \sigma_{\hat\vartheta_n}^2$
  • cf. $s_{y.x}^2 = \overline{(y_i^{est} - y_i)^2}$
• uniforme minimale variantie
  • $\forall \hat\vartheta^\star: MSE(\hat\vartheta) \leq MSE(\hat\vartheta^\star)$
  • voorbeeld: $\overline X$ voor $\lambda$ als $X \sim Poisson(\lambda)$

• consistente familie

  • $\displaystyle \lim_{n \to \infty} MSE(\hat\vartheta_n) = 0$
  • voorbeeld: $\overline X_n$ bij steekproeftrekking op ZTW

Intervalschatting

• $T_{\min}: \Omega_n \to \mathbb{R}$ en $T_{\max}: \Omega_n \to \mathbb{R}$
• betrouwbaarheidscoefficient $\alpha$
  • typisch $0.05$ of $0.01$
  • trade-off
    • betrouwbaarheid: ligt parameter binnen interval?
    • nauwkeurigheid: is interval niet te ruim?
    • $\alpha = 0 \implies$ 100% betrouwbaar, maar oneindig breed (BI = $\mathbb{R}$)
    • $\alpha = 1 \implies$ 0% betrouwbaar, maar oneindig smal (BI = $\hat\vartheta$)
• betrouwbaarheidsinterval (BI) $P(T_{\min} \leq \vartheta \leq T_{\max}) = 1-\alpha$
  • $\iff P(\vartheta \notin [T_{\min}, T_{\max}]) = \alpha$
  • voorbeeld
    • trek 100 steekproeven en bereken voor elke steekproef een BI
    • als $\alpha = 0.05$ zullen gemiddeld $95$ intervallen $\vartheta$ bevatten en $5$ niet
• pivotale grootheid $G$
  • functie van steekproefgegevens ($\overline X, S_X, r_{XY}, \ldots)$ en populatieparameter $\vartheta$
  • (!) geen andere onbekenden toegelaten
  • concept enkel relevant voor betrouwbaarheidsintervallen
• niet altijd symmetrisch
• stappenplan
  • gegeven
    • populatie
      • toevalsvariabele = betekenis ~ verdeling
      • wat bekend, wat onbekend?
    • steekproef
      • wat bekend?
  • gevraagd
    • ($1 - \alpha$) BI voor $\vartheta$
  • oplossing
    • kies gepaste pivotale grootheid $G \sim D$ met $G = f(\vartheta)$
    • dan weten we dat $\displaystyle P\left(\Phi_D^{-1}\left(\frac{\alpha}{2}\right) \leq G \leq \Phi_D^{-1}\left(1 - \frac{\alpha}{2}\right)\right) = 1 - \alpha$
    • bepaal $f^{-1}$ uit $f$ zodat $\vartheta = f^{-1}(G)$
    • zoek $g^\star_{\frac{\alpha}{2}} = \Phi_D^{-1}\left(\frac{\alpha}{2}\right)$ in tabellen
    • zoek $g^\star_{1 - \frac{\alpha}{2}} = \Phi_D^{-1}\left(1 - \frac{\alpha}{2}\right)$ in tabellen
    • $T_1 = f^{-1}(g^\star_{\frac{\alpha}{2}})$
    • $T_2 = f^{-1}(g^\star_{1 - \frac{\alpha}{2}})$
    • $T_{\min} = \min(T_1, T_2)$
    • $T_{\max} = \max(T_1, T_2)$
    • resultaat: $\displaystyle P\left(T_{\min} \leq \vartheta \leq T_{\max}\right) = 1 - \alpha$
    • vul steekproefgegevens $D^{obs}$ in
      • $t_{\min} = T_{\min}(D^{obs})$
      • $t_{\max} = T_{\min}(D^{obs})$
    • BI: $[t_{\min}, t_{\max}]$
  • conclusie: formuleer antwoord op vraag
• voorbeeld
  • gegeven
    • populatie
      • $X$: aantal blabla
      • $\mu_X$ onbekend
      • $\sigma_X^2 = 3^2 = 9$
      • $X \sim N(\mu_X, 9)$
    • steekproef
      • $\overline x = 20$
      • $n = 100$
  • gevraagd
    • 95% BI voor $\mu_X$
    • dus $\alpha = 0.05$
    • dus $\vartheta = \mu_X$
  • oplossing
    • $G = f(\mu_X) = \frac{\overline X - \mu_X}{\sigma_X / \sqrt n} = \frac{\overline X - \mu_X}{3 / 10} \sim N(0, 1)$
    • $\mu_X = f^{-1}(G) = \overline X - \frac{3}{10} G$
    • $g^\star_{0.025} = \Phi_N^{-1}(0.025) = -1.9600$
    • $g^\star_{0.975} = \Phi_N^{-1}(0.975) = +1.9600$
    • $T_1 = f^{-1}(-1.9600) = \overline X - \frac{3}{10} (-1.9600) = \overline X + 0.5880$
    • $T_2 = f^{-1}(+1.9600) = \overline X - \frac{3}{10} (+1.9600) = \overline X - 0.5880$
    • $T_{\min} = T_2$
    • $T_{\max} = T_1$
    • $\displaystyle P\left(\overline X - 0.5880 \leq \vartheta \leq \overline X + 0.5880\right) = 1 - \alpha$
    • $t_{\min} = 20 - 0.5880 = 19.4120$
    • $t_{\max} = 20 + 0.5880 = 20.5880$
    • BI: $[19.4120, 20.5880]$
  • conclusie: $[19.4120, 20.5880]$ is een 95% BI voor $\mu_X$

Hypothesetoetsing

• cf. bewijs uit het ongerijmde
  • Neem voor $H_0$ het omgekeerde van wat je wil "bewijzen"
  • Stel dat $H_0$ toch waar is
  • Is het resultaat dan een contradictie? iets heel onwaarschijnlijk?
  • Zo ja, $H_0$ verwerpen en $H_1$ aanvaarden
• (1) formuleer hypotheses
  • nulhypothese $H_0$
    • enkelvoudige nulhypothese = punt-nulhypothese
      • 1 model zonder onbekende parameters
      • voorbeeld: $\mu_X = 0$ met $X \sim N(\mu_X, 9)$
    • samengestelde nulhypothese
      • verzameling modellen met onbekende parameter(s)
      • voorbeelden
        • $\mu_X = 0$ met $X \sim N(\mu_X, \sigma_X^2)$
          • $\sigma_X^2$ is lastpost-parameter
        • $\mu_X \leq 0$ met $X \sim N(\mu_X, 9)$
          • $\mu_X$ is lastpost-parameter
      • wat met lastpostparameter?
        • optie 1: kies toetsstatistiek met steekproevenverdeling onafhankelijk van die parameter
        • optie 2: $\displaystyle p = \sup_{\vartheta} P_{\vartheta}(...) \mid \vartheta$ consistent met $H_0$
          • $\sup$ = supremum = kleinste bovengrens
  • alternatieve hypothese $H_1$
    • tweezijdig: $\neq$
    • eenzijdig: $<, \leq, \geq, >$
      • risico op opportunisme
• (2) kies toetsstatistiek $T$
  • geen onbekende parameters!
  • verifieer assumpties of voeg er extra toe
• (3) bepaal steekproevenverdeling van $T$ uitgaande van $H_0$
• (4) bereken waarde van $T$ voor geobserveerde gegevens: $T(D^{obs})$
• (5) bepaal $p$-waarde
  • de kans, uitgaande van $H_0$, op een uitkomst dat zo extreem is of extremer dan $T(D^{obs})$
  • eenzijdige $H_1$ -> 1 verdachte staart
  • tweezijdige $H_1$ -> 1 (o.a. $\chi^2$) of 2 verdachte staarten
  • 1 staart verdacht: $p$-waarde = oppervlakte van die staart
  • 2 staarten verdacht: $p$-waarde = 2x oppervlakte van kleinste staart
    • dus de staart aan dezelfde kant van de mediaan als $T(D^{obs})$
• (6) vergelijk $p$-waarde met kritische waarde $\alpha$
  • $p \leq \alpha$: significant toetsingsresultaat
• (7) beslissing
  • $p \leq \alpha$: verwerp $H_0$
  • $p > \alpha$: aanvaard $H_0$
  • verwerpen is gemakkelijker dan aanvaarden
    • geliefkoosde theorie vaak in $H_1$
• $t$-toets
  • $H_0: \mu_X = \mu_Y$ vs $H_1: \mu_X \neq \mu_Y$
  • toetsstatistiek $T_{\overline{X} - \overline{Y}} \sim t_{df=n_X+n_Y-2}$

Beslissingsprocedure

• achtergrondinfo: typische confusion matrix
  • https://en.wikipedia.org/wiki/Confusion_matrix

	voorspelling +	voorspelling -
feitelijk +	true positive (TP)	false negative (FN)
feitelijk -	false positive (FP)	true negative (TN)

• (!) contraintuitief voor hypothesetesten
  • positieve voorspelling = verwerp $H_0$
  • feitelijk waar = valse $H_0$

	verwerp $H_0$	verwerp $H_0$ niet
$H_0$ vals	TP, OV	FN, type II fout
$H_0$ waar	FP, type I fout	TN

• wel logisch vanuit perspectief $H_1$

	aanvaard $H_1$	aanvaard $H_1$ niet
$H_1$ waar	TP, OV	FN, type II fout
$H_1$ vals	FP, type I fout	TN

• kans type I fout
  • P(verwerp $H_0 \mid H_0$ waar)
  • $=\frac{FP}{FP+TN}$ (false positive rate)
  • $= \alpha$ voor enkelvoudige nulhypothesen
  • $\leq \alpha$ voor samengestelde nulhypothesen
  • TODO dubbelcheck
• kans type II fout $\beta$
  • = P(aanvaard $H_0 \mid H_0$ vals)
  • = $\frac{FN}{TP+FN}$ (false negative rate)
  • (1) bereken aanvaardingsinterval o.b.v. $H_0$
    • dus waar $p > \alpha$
  • (2) bereken kans om binnen dat interval te liggen o.b.v. ware model
• onderscheidingsvermogen (OV) = power
  • P(verwerp $H_0 \mid H_0$ vals)
  • $= \frac{TP}{TP + FN}$ (true positive rate of sensitivity)
  • $= 1 - P(\text{type II fout})$
  • $= 1 - \beta$
  • typische doelstelling voor een gepostuleerd waar model: $0.80$
    • hoe halen?
      • extremere "ware" $\mu_X$
      • $\alpha \uparrow$
      • $n \uparrow$
        • minimale $n$ kan vooraf bepaald worden i.f.v. $T, \alpha$ en gewenste OV
      • andere $T$
• probleem: $p$ hangt af van
  • afstand tussen $H_0$ en ware model
  • $n$
  • OV
• oplossing: effectgrootte $d$
  • voorbeelden
    • $d = \frac{\overline x}{\sigma_X}$
    • voor t-toets: $d = \frac{\overline x - \overline y}{\sigma}$
    • voor samenhang: $d = r_{xy}$

Slotbedenkingen

• verband BI en tweezijdige hypothesetoetsing
  • $H_0: \vartheta = a$ vs $H_1: \vartheta \neq a$
  • bereken ($1-\alpha$) BI rond $\vartheta$
  • verwerp $H_0$ op significantieniveau $\alpha \iff a \notin (1-\alpha)$ BI