Digitaal toetsen levert niet alleen cijfers op, maar ook een schat aan data. Elke toets genereert statistieken die je vertellen hoe goed je vragen zijn, welke onderwerpen leerlingen lastig vinden en of je toets als geheel betrouwbaar is. Toch worden deze statistieken door veel docenten niet gebruikt, vaak omdat de termen onbekend of intimiderend klinken. In dit artikel maken we de belangrijkste toetsstatistieken begrijpelijk en praktisch toepasbaar.
Je hoeft geen statisticus te zijn. Begin met een enkele toets en kijk welke vraag de meeste leerlingen misten. Dat ene inzicht verbetert je volgende les al meer dan een dashboard vol cijfers dat niemand leest.
P-waarde: hoe moeilijk is de vraag?
De P-waarde (ook wel moeilijkheidsindex genoemd) geeft aan welk percentage van de leerlingen een vraag goed heeft beantwoord. Een P-waarde van 0,80 betekent dat 80% de vraag goed had. Een P-waarde van 0,20 betekent dat slechts 20% de vraag goed beantwoordde. De grenzen hieronder zijn vuistregels; boeken en programma's leggen ze net anders.
- P-waarde boven 0,80: de vraag is erg makkelijk. Overweeg om de vraag aan te passen of te vervangen.
- P-waarde tussen 0,30 en 0,80: een bruikbare moeilijkheid. Zo'n vraag kan onderscheid maken tussen sterke en zwakke leerlingen; of dat lukt, zie je aan de Rit-waarde.
- P-waarde onder 0,30: de vraag is erg moeilijk. Controleer of de vraag duidelijk is geformuleerd en of de stof voldoende is behandeld.
Rit-waarde: onderscheidt de vraag goed?
De Rit-waarde (item-totaalcorrelatie) is de correlatie tussen de score op een vraag en de totaalscore op de toets. De Rir-waarde (item-restcorrelatie) doet hetzelfde, maar met de totaalscore zonder die vraag, en is daardoor iets strenger. Een hoge Rit-waarde betekent dat leerlingen die de toets goed maken, ook deze specifieke vraag goed beantwoorden. Een lage of negatieve Rit-waarde wijst op een problematische vraag.
- Rit-waarde boven 0,30: goed discriminerend. De vraag onderscheidt effectief tussen sterke en zwakke leerlingen.
- Rit-waarde tussen 0,10 en 0,30: matig. De vraag draagt beperkt bij aan de betrouwbaarheid van de toets.
- Rit-waarde onder 0,10 of negatief: problematisch. De vraag meet iets anders dan de rest van de toets. Herzie of verwijder deze vraag.
Cronbach's alpha: is de toets betrouwbaar?
Cronbach's alpha meet de interne consistentie van je toets als geheel. Het getal ligt in de praktijk tussen 0 en 1. Een hoge alpha betekent dat de vragen samen een samenhangend geheel vormen. Let op: een korte toets heeft meestal een lagere alpha dan een lange. Ook hier zijn de grenzen vuistregels.
- Alpha boven 0,80: goede betrouwbaarheid. Je toets is consistent en geschikt voor summatieve beoordeling.
- Alpha tussen 0,60 en 0,80: acceptabel voor formatieve doeleinden, maar verbeterbaar.
- Alpha onder 0,60: onvoldoende betrouwbaarheid. De toets bevat waarschijnlijk vragen die niet goed bij elkaar passen.
Hoe gebruik je deze data in de praktijk?
Toetsstatistieken zijn geen doel op zich, maar een middel om je onderwijs te verbeteren. Hier zijn vier concrete manieren om ze in te zetten.
- Verbeter je vragen: een vraag met een lage P-waarde en een negatieve Rit-waarde is waarschijnlijk onduidelijk geformuleerd. Herformuleer de vraag voor de volgende keer.
- Pas je les aan: als 80% van de leerlingen een bepaald onderwerp fout heeft, dan is de stof mogelijk onvoldoende behandeld. Plan een extra instructiemoment.
- Bouw een kwalitatieve vragenbank op: bewaar vragen met goede P- en Rit-waarden en gebruik ze opnieuw.
- Verantwoord je beoordeling: bij vragen over een toets kun je met de statistieken onderbouwen welke vragen goed werkten en welke je hebt aangepast.
Begin klein: een vraag per toets
Toetsstatistiek klinkt zwaar, maar je hoeft er niet diep in te duiken om er profijt van te hebben. Pak na een toets een enkele vraag die opvallend slecht werd gemaakt en stel jezelf twee vragen: lag het aan de vraag of aan de uitleg? Soms blijkt een vraag onduidelijk geformuleerd, soms is een onderdeel van de lesstof simpelweg niet geland. Door dit telkens met een of twee vragen te doen, bouw je geleidelijk een scherp gevoel op voor de kwaliteit van je toetsen, zonder dat je je in formules hoeft te verliezen.
Toetsstatistieken in TestWisely
TestWisely berekent de statistieken van een toets zelf. Via de knop Statistieken op de toetskaart kies je de weergave Basis, Medium of Expert. Vanaf Medium zie je per vraag de P-waarde en de Rit-waarde en voor de hele toets Cronbach's alpha. In Expert komen daar onder meer de Rir-waarde en een afleideranalyse voor meerkeuzevragen bij. Onder Vraag voor vraag klik je een vraag open en zie je hoe de klas antwoordde, bij meerkeuzevragen met het juiste antwoord in groen. Zo bouw je stap voor stap een betere vragenbank op.
Datagedreven onderwijs hoeft niet ingewikkeld te zijn. Begin met het bekijken van de P-waarden na je volgende toets en je zult merken hoeveel inzicht een paar simpele getallen al geven.
