Ongelijkheid van Tchebychev

In de cursus vinden we twee vormen van de ongelijkheid van Tchebychev:

$$k > 1 \implies p( |X-\overline x| \geq ks_x) \leq \frac{1}{k^2}$$

$$k' > 1 \implies p[(X-\overline x)^2 \geq k' s_x^2] \leq \frac{1}{k'}$$

In het tweede luik van de cursus vinden we ook nog de twee inductieve tegenhangers hiervan.

Wanneer gebruiken?

De enige reden waarom je de ongelijkheid van Tchebychev zou gebruiken, is als je de verdeling van de toevalsvariabele $X$ niet kent: geen $p_x$, geen $\pi_X$, geen $\Phi_X$, ... Als je de verdeling wel kent, heeft deze ongelijkheid geen enkel nut meer. Dan kan je veel nauwkeuriger de kansen o.b.v. de verdelingsfunctie berekenen.

Als je er over nadenkt, is het wel straf dat we toch nog bepaalde uitspraken kunnen doen over $X$ zonder dat we veel over de verdeling weten. Uiteraard moeten we wel het gemiddelde en de variantie kennen. Dat is meteen ook een goede tip voor op het examen: als kansen gevraagd worden over een variabele waar je verdacht weinig over weet behalve die twee maten, is de kans groot dat je met Tchebychev aan de slag moet. Andersom kan het zijn dat je één maat krijgt en de constante $k$, en dan je de andere maat moet proberen achterhalen. Ook die oefeningen zijn herkenbaar door de aanwezigheid van die constante.

Vereenvoudigen

Naar analogie met de eerdere blogpost rond dissectie van formules gaan we deze formules proberen te ontleden.

Aangezien beide varianten nogal een mond vol zijn, zouden we graag een manier vinden om ze korter voor te stellen. Met een concept dat we enkele bladzijden verderop in de cursus geleerd hebben, is dat gelukkig niet al te moeilijk. We kunnen binnen de proportie namelijk beide leden delen door $s_x$ (resp. $s_x^2$) tot we plots iets herkenbaar zien.

$$k > 1 \implies p\left(\frac{|X-\overline x|}{s_x} \geq k\right) \leq \frac{1}{k^2}$$

$$k' > 1 \implies p\left[\frac{(X-\overline x)^2}{s_x^2} \geq k' \right] \leq \frac{1}{k'}$$

Voor we verder gaan moeten we ons wel de vraag stellen: mogen we die deling altijd zomaar uitvoeren? Helaas niet, we komen in de problemen als $s_x = 0$ of als $s_x < 0$.

Als $s_x = 0$ delen we door $0$, wat uiteraard niet toegestaan is. Gelukkig komt die situatie niet zo vaak voor. Een spreiding van $0$ betekent intuitief dat er geen spreiding is of dat dus alle gegevens op elkaar liggen.

• $s_x^2 = \frac{1}{n} \sum_i (x_i - \overline x)^2 = 0$
• $\iff \sum_i (x_i - \overline x)^2 = 0$

De som van positieve getallen kan alleen nul zijn als elke individuele term ook nul is

• $\iff \forall i: (x_i - \overline x)^2 = 0$
• $\iff \forall i: x_i = \overline x$

Dit kan dus enkel als alle observaties gelijk zijn aan hun gemiddelde en dus ook gelijk zijn aan alle andere observaties. In dat geval blijft er weinig mysterie over rond onze toevalsvariabele en hebben we Tchebychev niet nodig om uitspraken over proporties te doen.

Naast $s_x=0$ geeft ook $s_x < 0$ problemen. Gelukkig is dat per definitie onmogelijk. (Als dit wel mogelijk was, zou onze ongelijkheid omdraaien omdat we delen door een negatief getal.)

Nu kunnen we onze formules verder herschrijven:

$$k > 1 \implies p\left( \left|\frac{X-\overline x}{s_x}\right| \geq k\right) \leq \frac{1}{k^2}$$

$$k' > 1 \implies p\left[\left(\frac{X-\overline x}{s_x}\right)^2 \geq k'\right] \leq \frac{1}{k'}$$

Aangezien $s_x = |s_x|$ kunnen we de absolute waarde uitbreiden naar heel de breuk. In de tweede formule kunnen we op een gelijkaardige manier de macht rond de hele breuk zetten.

Het heeft wat moeite gekost, maar door deze stappen te zetten kunnen we nu wel drastisch vereenvoudigen:

$$k > 1 \implies p(|Z_X| \geq k) \leq \frac{1}{k^2}$$

$$k' > 1 \implies p(Z_X^2 \geq k') \leq \frac{1}{k'}$$

Interpretatie

Als je een intuitief begrip hebt van Z-scores, kan je de formules op deze manier wellicht al wat beter vatten. Tchebychev zegt eigenlijk gewoon dat hogere Z-scores (dus waarden verder weg van het gemiddelde) een steeds kleinere kans hebben.

Nog een andere formuleringswijze

Vertrek van de oorsponkelijke stelling:

$$k > 1 \implies p( |X-\overline x| \geq ks_x) \leq \frac{1}{k^2}$$

Stel nu $k = \frac{a}{s_x}$. Dan krijgen we:

$$a > s_x \implies p( |X-\overline x| \geq a) \leq \frac{s_x^2}{a^2}$$

Voor de tweede stelling krijgen we op gelijkaardige manier met $k' = \frac{a'}{s_x^2}$:

$$a' > s_x^2 \implies p[(X-\overline x)^2 \geq a'] \leq \frac{s_x^2}{a'}$$

Wat met de constante?

Een andere vraag die je jezelf zou kunnen stellen, is waarom $k$ per se groter dan één moet zijn. Wat gebeurt er als $k \in \mathopen]0, 1]$? Dan is $\frac{1}{k^2} \geq 1$. Aangezien een proportie altijd in $[0, 1]$ ligt, leren we hier niets nieuw meer uit. De formule is dus niet fout voor deze waarden van $k$, maar ook niet nuttig.

Een ander geval om naderbij te bekijken is $k=0$. In dat geval komen we wel in de problemen omdat we in het rechterlid delen door nul. Anderzijds hebben we Tchebychev niet nodig om te weten wat de proportie $p(|Z_X| \geq 0)$ is, want die is altijd gelijk aan $1$.

Tot slot, wat met $k < 0$ (resp. $k' < 0$)? Hier kunnen we dezelfde redenering toepassen: $|Z_X|$ is gegarandeerd groter dan een negatieve $k$ dus de proportie zal opnieuw altijd $1$ zijn.

Voor $k'$ kunnen we een analoge redenering opbouwen. Conclusie: strikt gezien had er als voorwaarde $k > 0$ (resp. $k' > 0$) mogen staan, maar we zouden daar niets bij winnen. Pas bij waarden strikt groter dan $1$ begint de stelling te renderen.

Relatie tussen de twee stellingen

In de cursus worden de twee stellingen als equivalent neergezet. Een bewijs daarvan krijgen we helaas niet. Je moet de prof dus op zijn woord geloven. Een kritische student zou toch kunnen proberen om zelf uit de eerste versie de tweede te bewijzen of omgekeerd.

Je kan beginnen met in de tweede stelling $k'$ gelijk te stellen aan $k^2$. Dan krijg je:

$$k^2 > 1 \implies p(Z_X^2 \geq k^2) \leq \frac{1}{k^2}$$

Dit lijkt al een beetje op de eerste stelling, maar we zijn er nog niet helemaal. Voor positieve waarden van $k$ komt de uitspraak $k^2 > 1$ inderdaad mooi overeen met $k > 1$. M.a.w.: $\forall k \in \mathbb R_0^+: k^2 > 1 \iff k > 1$. Dan hebben we:

$$k > 1 \implies p(Z_X^2 \geq k^2) \leq \frac{1}{k^2}$$

Als derde en laatste stap moeten we aantonen dat $p(Z_X^2 \geq k^2) = p(|Z_X| \geq k)$. Meer algemeen zou moeten gelden dat $\forall c: p(X^2 \geq c^2) = p(|X| \geq |c|)$. Merk op dat we $Z_X$ vervangen hebben door $X$ omdat deze stelling niet specifiek afhangt van Z-getransformeerde variabelen maar wellicht meer algemeen geldig is. Verder hebben we het over $|c|$ i.p.v. $k$. Aangezien $k$ altijd strikt positief moet zijn, kunnen we in dat specifieke geval de absolute waarde achterwege laten.

In de praktijk blijkt het moeilijk te zijn om hier een formeel bewijs voor te geven, maar de face validity van de stelling is gelukkig al redelijk hoog. Ze rust op het feit dat $\sqrt{x^2} = |x|$ en dat de vierkantswortel als strikt monotoon stijgende functie geen vreemde effecten op ongelijkheden heeft. Als je de stelling probeert toe te passen op verschillende voorbeelden merk je ook dat het altijd lijkt te kloppen. Geen van beide opmerkingen is een garantie dat de stelling effectief klopt, maar het is voorlopig goed genoeg voor ons. Beide stellingen lijken dus inderdaad helemaal equivalent aan elkaar te zijn.