Handleidingen
Toetsanalyse: learning analytics (P’-, Rit- Rir- waarde en standaardafwijking) in de afnameomgeving
In de afnameomgeving vind je de volgende analysegegevens: behaalde scores, percentage maximum score, percentage voldoendes en onvoldoendes, P’-waarde, Rit-waarde, Rir-waarde en de standdaardafwijking van de vraag.
Vanaf stap 1 leggen we uit waar je deze analysegegevens vindt (n.b. de waarden in de screenshots komen niet uit een reële toets).
-
Tip! Meer inhoudelijke en praktische informatie over het analyseren (en opbouwen) van een toets vind je in de Online training over toetsing.
(update februari 2019) In de module wordt qua analyse ingegaan op de onderwerpen :
- Waarom een toetsanalyse?
- Begrippen toetsanalyse uitgelegd (P/P’-waarde , Rir-waarde, Coëfficient alfa)
- Een toets analyseren
- Oefen met een toetsanalyse
-
Stap 1
- Log in op de afnameomgeving.
- Klik op het tabblad Resultaten en kies Analyses.
- Kies of je wilt filteren op toetsmatrijs of toetsmoment. Filter van welke toets je de analysegegevens wilt zien.
- Er verschijnt een tabel met bovenin i.i.g. de tabbladen: ‘Volledig overzicht’, ‘Details van het resultaat’ en ‘Analyseer vragen’. De tab ‘Volledig overzicht’ staat geactiveerd.
- Extra: Er is een alternatieve weg om ‘Learning Analytics’ te bereiken. Volg hiervoor stap 3 en 4 op deze pagina.
-
Stap 2
Tabblad ‘Volledig overzicht’ (gegevens op toetsniveau)
- Zie schermafbeelding. De lijngrafiek geeft een percentage van de behaalde scores. Het cirkeldiagram geeft, wanneer je er met de muis op gaat staan, het percentage onvoldoendes en voldoendes.
- Onder de grafieken zie je een overzicht van de resultaten van alle studenten die deze toets gemaakt hebben.
- Via de pijltjes naast de kolomnamen kun je sorteren.
- Klik achter de naam van de student op het grafiekje om de hele toets van deze student te zien.
- Als je een terugkoppeling (of meerdere) van de score op bepaalde onderdelen van de toets hebt ingesteld, dan verschijnt ook een kolom (of meerdere) ‘Terugkoppeling + nummer’.
- De terugkoppeling heeft een eigen tabblad boven de tabel. De soorten waardes die je onder dat tabblad vindt, zijn gelijk aan die onder het tabblad ‘Details van het resultaat’ (zie volgende stap).
- Met Voer een actie uit kun je de gegevens naar Excel exporten.
-
Stap 3
Tabblad: Details van het resultaat
- Klik op Details van het resultaat. De P’-waarde, de STDev-waarde, Rir- waarde en de Rit-waarde per vraag zijn zichtbaar. Je ziet meteen hoe iedere student dezelfde vraag beantwoord heeft.
- Ga je met de muis op een van de cijfers staan, dan zie je om welke vraag het gaat (naam van de vraag / vraagID). Wil je de hele vraag zien, met het antwoord van de student, klik dan op een gekleurd vakje.
- Met de optie Voer een actie uit kun je deze gegevens naar Excel exporteren.
-
Stap 4
Tabblad: Analyseer vragen
- Klik op het tabblad Analyseer vragen. Bekijk het screenshot.
- Onder ‘Code/kenmerk’ zie je de naam van de vraag, de ID uit de beheeromgeving en de gebruikte versie van de vraag.
- In de volgende kolommen zie: maximaal te behalen score per vraag; aantal studenten dat de vraag beantwoordde (Resultaten); P’-waarde, Rir-waarde en standaardafwijking per vraag.
- Waardes die gemarkeerd zijn met een rood driehoekje (zie screenshot) wijken af van de optimale waarde. Uitleg verschijnt als je op de gemarkeerde waarde staat.
- In de kolom met het tekstwolkje zie je of er een opmerking bij een vraag is. Lees hier de mogelijkheden voor het behandelen van opmerkingen.
- Achter de vragen staan nog twee icoontjes. Klik je op de i (toon toetsvraag en details), dan zie je de vraag en algemene- en meta-informatie over de vraag.
- Klik je op het lijstje (Toon interactie-analyse) dan zie je hoe vaak studenten een bepaald antwoord hebben gegeven. Je kunt hier direct het antwoordmodel aanpassen (als bijvoorbeeld blijkt dat toch meerdere afleiders juist blijken te zijn). N.B.: Meer weten over het antwoordmodel aanpassen? Zie de links onder kopje 4.3 en 4.5 op deze pagina.
