Welkom, beste lezer. Vandaag duiken we samen in een onderwerp dat voor menig onderzoeker, analist of nieuwsgierige geest essentieel is: de post hoc test. Misschien heb je net een ANOVA uitgevoerd. Je hebt gemerkt dat er een significant verschil is tussen je groepen. Fantastisch! Maar dat is vaak pas het begin van de reis. Je weet *dat* er een verschil is, maar je wilt nu precies weten *waar* dat verschil zit. Daar komt de post hoc test om de hoek kijken. Zie het als een detective die na de grote ontdekking op zoek gaat naar de specifieke daders, en voor een nauwkeurige aanpak is de Bonferroni correctie vaak een eerste stap.
Wat is een post hoc test eigenlijk?
Laten we bij het begin beginnen. Stel, je test de effectiviteit van drie verschillende leermethoden (Methode A, B en C) op de examenresultaten. Je gebruikt hiervoor een Variantieanalyse, oftewel ANOVA. De ANOVA vertelt je of er in het algemeen een significant verschil is tussen het gemiddelde van minstens één groep en de andere groepen.
Als de ANOVA-uitkomst ‘significant’ is, dan zeg je in feite: “Hé, ten minste één van deze methoden werkt anders dan de andere.” Maar dit resultaat geeft je nog geen uitsluitsel over de precieze vergelijkingen. Is A beter dan B? Is C slechter dan A? De ANOVA lost dat niet op. Jouw nieuwsgierigheid naar die specifieke paren – de paarsgewijze vergelijkingen – vraag om meer diepgang. En die diepgang bieden de post hoc tests.
Het probleem van meervoudige vergelijkingen
Waarom hebben we deze speciale tests nodig? Waarom kunnen we niet gewoon een reeks t-toetsen uitvoeren tussen A vs. B, A vs. C, en B vs. C? Dat klinkt logisch, toch? Helaas introduceert dit een gevaar: het probleem van de familie-foutmarge (Family-Wise Error Rate, of FWER).
Elke individuele statistische toets heeft een kans om ten onrechte een significant resultaat te vinden, zelfs als er in werkelijkheid geen effect is. Dit noemen we Type I fouten of vals-positieven. Als je één toets doet, houd je deze kans vaak op 5% (alfa = 0.05). Maar als je meerdere onafhankelijke toetsen uitvoert op dezelfde dataset, dan stapelt die kans zich op. Doe je drie vergelijkingen, dan wordt de totale kans op minstens één vals-positief veel groter dan 5%. Dat wil je voorkomen. Een post hoc test corrigeert voor deze stapeling van fouten.
Wanneer gebruik je een post hoc analyse?
Je grijpt naar deze techniek wanneer aan twee belangrijke voorwaarden is voldaan:
- Je hebt meer dan twee onafhankelijke groepen vergeleken.
- De initiële omnibus-test (meestal ANOVA) heeft een significant resultaat laten zien.
Kortom, de post hoc analyse volgt op een significant resultaat van de ANOVA. Het is de logische vervolgstap om je hypothese volledig te onderbouwen, en voor een nauwkeurige statistische analyse is het belangrijk om de juiste methode te kiezen.
De meest gebruikte post hoc technieken
Er is geen ‘one-size-fits-all’ antwoord. De keuze voor de juiste post hoc toets hangt af van de aannames die je over je data kunt doen en wat je precies wilt weten. Elke techniek hanteert een andere manier om de p-waarden aan te passen, zodat de algehele Type I foutmarge beheersbaar blijft.
Tukey’s Honestly Significant Difference (HSD)
Dit is misschien wel de meest populaire methode voor algemene doeleinden. De Tukey HSD-test is ideaal wanneer je alle mogelijke paarsgewijze vergelijkingen wilt doen en de groepsgroottes gelijk zijn. Deze test is ontworpen om de FWER strak onder controle te houden terwijl hij nog steeds gevoelig genoeg is om echte verschillen te detecteren.
Je gebruikt Tukey’s HSD wanneer je alle paren wilt vergelijken en je zeker wilt zijn dat de correctie voor meervoudige vergelijkingen nauwkeurig is.
VIDEO: 12-3 ANOVA Post Hoc Tests
Bonferroni correctie
De Bonferroni methode is extreem conservatief. Het is heel eenvoudig: je deelt je oorspronkelijke alfa-niveau (meestal 0.05) door het aantal paarsgewijze vergelijkingen dat je maakt. Als je drie vergelijkingen hebt, wordt je nieuwe drempel voor significantie $0.05 / 3 approx 0.0167$.
Hoewel Bonferroni de FWER uitstekend controleert, is het soms *te* streng. Deze conservatieve aanpak verhoogt de kans op Type II fouten (het missen van een echt verschil). Je kiest Bonferroni als je absolute zekerheid wilt dat je geen vals-positieven vindt, zelfs als dat betekent dat je mogelijk echte effecten mist.
Scheffé’s test
Scheffé’s test is een zeer flexibele methode. Het is niet alleen geschikt voor eenvoudige paarsgewijze vergelijkingen, maar ook voor complexere contrasten (lineaire combinaties van gemiddelden). Deze test is het meest geschikt als je naast de simpele A vs. B vergelijkingen ook meer complexe hypotheses wilt toetsen binnen je groepen.
Belangrijke leesstof
Breid je begrip van Post hoc test uit met deze zorgvuldig gekozen leesstukken.
Dunnett’s test
Wat als je niet geïnteresseerd bent in alle mogelijke combinaties, maar alleen in het vergelijken van al je behandelgroepen met één enkele controlegroep? Dan is Dunnett’s test je beste vriend. Deze test is krachtiger dan Tukey of Bonferroni voor dit specifieke scenario, omdat hij rekening houdt met het feit dat je niet *alle* paren vergelijkt, maar alleen de paren ten opzichte van die ene controle.
Games-Howell test: Als aannames geschonden zijn
De klassieke ANOVA en de daaropvolgende post hoc tests gaan ervan uit dat de varianties van de groepen ongeveer gelijk zijn (homogeniteit van variantie). Als deze aanname geschonden is, kun je de resultaten van tests als Tukey in twijfel trekken. In dat geval is de Games-Howell test een uitstekend alternatief. Deze non-parametrische benadering vereist geen gelijke varianties en is robuust, wat hem populair maakt bij data die niet perfect symmetrisch zijn.
De keuzehulp: Wat past bij jouw onderzoeksvraag?
De beslissing welke post hoc analyse SPSS of andere software je moet gebruiken, is cruciaal. Hier is een korte gids om je te helpen navigeren:
- Gelijke groepsgroottes en alle paren vergelijken? Probeer Tukey HSD.
- Ongelijke groepsgroottes én ongelijke varianties? Ga voor Games-Howell.
- Vergelijken met slechts één controle groep? Gebruik Dunnett’s test.
- Extreem voorzichtig zijn met Type I fouten? Overweeg de Bonferroni correctie.
- Complexe, niet-gepaarde vergelijkingen? Scheffé’s test biedt de meeste flexibiliteit.
Het begrijpen van deze nuances helpt je om je onderzoeksresultaten eerlijk en betrouwbaar te presenteren. Je wilt immers dat jouw conclusies robuust zijn, nietwaar? Door de juiste post hoc methode te kiezen, zorg je ervoor dat je de verhalen die jouw data vertellen, correct interpreteert.
Veelgestelde vragen over post hoc testen
Wanneer moet ik een post hoc test doen?
Je doet een post hoc test nadat je een significant resultaat hebt gevonden in een ANOVA (of een soortgelijke omnibus-test) wanneer je meer dan twee groepen hebt en je de precieze verschillen tussen die groepen wilt onderzoeken.
Wat is het verschil tussen Tukey en Bonferroni?
Tukey’s HSD is ontworpen om alle paarsgewijze vergelijkingen tegelijk uit te voeren met een gecontroleerde foutmarge. Bonferroni is conservatiever en past de drempel voor elke individuele toets aan, wat de kans op Type II fouten verhoogt.
Mijn ANOVA was niet significant. Kan ik toch post hoc tests doen?
Nee. De logica achter de post hoc test is het opvolgen van een algemeen significant effect. Als de ANOVA geen algemeen verschil aantoont, is er geen reden om specifieke paarsgewijze verschillen te gaan zoeken; je zou alleen maar het risico op Type I fouten verhogen zonder een solide basis.
Is er een post hoc test voor niet-parametrische ANOVA’s?
Jazeker. Als je de aannames voor de parametrische ANOVA (zoals Kruskal-Wallis) niet haalt, bestaan er non-parametrische varianten voor de vervolgstappen. Voor Kruskal-Wallis wordt vaak de Dunn’s test gebruikt, vaak in combinatie met een Bonferroni-achtige correctie.
