items uit te sluiten uit uw examen

de kwaliteit van uw items in de itembank te verbeteren voor toekomstig gebruik.

P-waarde (maat voor de moeilijkheidsgraad van een item):
De P-waarde staat voor het percentage deelnemers dat een bepaald item juist heeft beantwoord. Het geeft de moeilijkheidsgraad van het item aan. Lagere P-waarden duiden op moeilijkere vragen en hogere P-waarden op makkelijkere vragen. Deze waarde helpt om te begrijpen hoe goed elke vraag de verschillende prestatieniveaus van deelnemers onderscheidt. Een P-waarde tussen 0,3 en 0,7 wordt meestal beschouwd als ideaal voor de meeste examens.
​

RIT- en RIR-waarden (meten de correlatie tussen een item en de algehele examenprestatie): met deze waarden kunt u de bijdrage van elk item aan de algemene examenscore beoordelen, zodat u zeker weet dat elk item is afgestemd op de examendoelstellingen.

De RIT-waarde (Item-Total Correlation) meet hoe goed een bepaald item correleert met de algemene examenscore. Het weerspiegelt de mate waarin het correct beantwoorden van het item gerelateerd is aan een hogere prestatie op het examen als geheel. Een hogere RIT-waarde geeft aan dat het item een goede discriminator is, wat betekent dat deelnemers die het goed doen op het examen meer kans hebben om dit item juist te beantwoorden.

De RIR-waarde (Item-Rest Correlatie) is vergelijkbaar met de RIT-waarde, maar met een klein verschil in wat het meet. Beide waarden worden gebruikt om te beoordelen hoe goed een item correleert met de algemene examenprestaties, maar de RIR-waarde meet specifiek de correlatie tussen een individueel item en de totale score van het examen, exclusief de score voor het item zelf.

Een RIT- of RIR-waarde van 0,2 of hoger wordt over het algemeen als acceptabel beschouwd, waarbij waarden dichter bij 0,4 of hoger ideaal zijn voor een betere itemdiscriminatie. Een lage RIR-waarde (lager dan 0,2) suggereert dat het item niet goed correleert met de algemene examenscore, wat betekent dat het er niet in slaagt om een onderscheid te maken tussen hoog- en laagpresteerders. Dit kan erop wijzen dat het item slecht geschreven is of niet goed aansluit bij de algemene doelstellingen van het examen.
Aan de andere kant geeft een hoge RIR-waarde (boven 0,4) aan dat het item een effectieve discriminator is, wat betekent dat degenen die goed presteren op het examen meer kans hebben om dit item correct te beantwoorden, terwijl degenen die slecht presteren minder kans hebben om dit te doen.
​

A-waarde:
​ De A-waarde geeft de aantrekkelijkheid van een afleider aan (d.w.z. een foute keuze in een meerkeuzevraag). De A-waarde gaat van 0 tot 1. Een A-waarde van 0 betekent dat geen enkele deelnemer de afleider kiest, terwijl een waarde van 1 betekent dat alle deelnemers de afleider kiezen.
In assessmentQ vindt u de A-waarde op de itemdetailpagina's van meerkeuze met één antwoord en meerkeuze met meerdere antwoorden. Meer informatie.
​

Standaardafwijking en normale verdelingscurve:
De standaardafwijking meet de spreiding van de scores rond het gemiddelde. Een lage standaardafwijking betekent dat de meeste deelnemers gelijk scoorden, wat resulteert in een smalle verdelingscurve. Een hoge standaardafwijking wijst op een grote spreiding van de scores, wat resulteert in een brede (vlakke) normale verdelingscurve.
​

Cronbach's alpha
Cronbach's alpha meet de interne consistentie van een examen, wat aangeeft hoe goed de items (vragen) aan elkaar gerelateerd zijn. Een hoge Cronbach's alpha (hoger dan 0,7) geeft aan dat het examen betrouwbaar is, met items die consistent hetzelfde concept meten. Op een curve betekent dit dat de scores van de meeste studenten voorspelbaar rond het gemiddelde zouden moeten liggen. Een lage alfa (lager dan 0,6) wijst op een slechte interne consistentie, wat leidt tot meer verspreide scores over de curve.
Samen geven Cronbach's alfa en standaardafwijking inzicht in zowel de betrouwbaarheid van het examen als de variabiliteit van de prestaties van de deelnemers.

Links bovenaan vindt u algemene gegevens over uw examen (aantal items, aantal deelnemers, minimum- en maximumscore), het slaagpercentage, de tijd die aan de opdracht werd besteed en de scores die werden behaald.
​

Links onderaan vindt u de standaardafwijking en de normaalverdeling van de scores. Hier ziet u de variatie of spreiding van de itemscores in uw examen.
​

Rechts bovenaan het gedeelte Statistieken ziet u een diagram met de P-waarde van alle items in uw examen op de X-as en de RIT/RIR-waarde van alle items op de Y-as. U kunt wisselen tussen het bekijken van de P-waarde en RIT-waarde of de P-waarde en RIR-waarde.
Elk item in uw examen wordt voorgesteld door een punt op het diagram overeenkomstig de P-waarde en RIT/RIR-waarde van het item. Met dit diagram kunt u snel de items identificeren die misschien opnieuw moeten worden bekeken.
Items die zich bevinden in het lichter gekleurde vak combineren een matige tot hoge P-waarde (rond 0,3 tot 0,8) met een matige tot hoge RIT/RIR-waarde (rond 0,2 of hoger). Deze items zijn niet te makkelijk en niet te moeilijk en maken een goed onderscheid tussen goed en slecht presterende deelnemers. Items in de grijze vakken hebben een minder evenwichtige combinatie van P-waarde en RIT/RIR-waarde en moeten wellicht nader onderzocht worden.
​

Opmerking: U kunt doorklikken op een punt om de itemdetailpagina te openen, zie Itemdetailpagina hieronder.
​

Rechtsonderaan ziet u de gemiddelde P-waarde, de gemiddelde RIT- en RIR-waarde en de Cronbach's Alpha waarde van uw examen.
De gemiddelde P-waarde geeft de algemene moeilijkheidsgraad van het examen aan door het percentage deelnemers te tonen dat elke vraag correct beantwoordt.
De gemiddelde RIR-waarde meet hoe goed het examen discrimineert tussen deelnemers met verschillende vaardigheidsniveaus, zodat de vragen effectief onderscheid maken tussen hoge en lage presteerders.

U ziet een waarschuwingsicoon naast de P-waarde, RIT- of RIR-waarde wanneer de waarde onder de 'aanvaardbare' drempelwaarde ligt (0,3 voor de P-waarde en 0,0 voor de RIT- of RIR-waarde). Zo kunt u snel items identificeren die buiten de 'aanvaardbare' drempels vallen.

U kunt doorklikken op een item om de itemdetailpagina te openen, zie Itemdetailpagina hieronder.

Itemtype

P-waarde

RIT-waarde

RIR-waarde

Klik onder het tabblad Opdracht op een punt in het diagram.

Klik onder het tabblad Items op een item in het itemsoverzicht.

Links vindt u algemene gegevens over uw item (itemnaam, itemtype, opdrachtonderdeel waarin het item voorkomt, minimum- en maximumscore), de resultaten (juist, onjuist, gedeeltelijk juist, onbeantwoord), de tijd besteed aan het item, de score, de blootstelling en de statistieken (P-waarde, RIT-waarde en RIR-waarde).
​

Rechts ziet u gedetailleerde informatie over de antwoorden van het item: de specifieke itemantwoorden, het aantal keren dat elk antwoord werd gegeven, of het antwoord juist was of niet.
​

Opmerking: Voor meerkeuzevragen met één antwoord en meerkeuzevragen met meerdere antwoorden wordt de A-waarde van de afleiders toegevoegd. Een A-waarde van 0 betekent dat geen enkele deelnemer de afleider heeft gekozen, terwijl een waarde van 1 betekent dat alle deelnemers de afleider hebben gekozen.

Het kan nuttig zijn om te weten dat een bepaalde afleider van een meerkeuzevraag nooit wordt geselecteerd door de deelnemers. Misschien wilt u deze afleider vervangen door een betere.

Of het kan nuttig zijn om te weten welke antwoorden vaak worden gegeven in invulvragen, zodat u het item kunt aanpassen en rekening kunt houden met andere mogelijke antwoorden.

Neutraliseren betekent dat alle deelnemers de maximale score voor de vraag krijgen. De maximumscore van het examen verandert niet.

Elimineren betekent dat u de vraag uit het examen verwijdert. De maximale score van het examen zal dan dalen.

Wanneer een vraag wordt geëlimineerd of geneutraliseerd, zal dit onmiddellijk zichtbaar zijn in de modules Resultaten, zodat de rapportering steeds up-to-date is.

Wanneer een vraag wordt geëlimineerd of geneutraliseerd, wordt de itemanalyse ’s nachts bijgewerkt. U kunt de update ook handmatig uitvoeren, zie De itemanalyse van een examen updaten.

Het neutraliseren of elimineren van een item is van toepassing op alle sessies (zelfs toekomstige sessies) van uw examen.

Neutraliseren of elimineren van items heeft invloed op het slagingspercentage, de score en het performantieniveau (indien van toepassing) van uw examen.

Het neutraliseren of elimineren van items verandert de statistische waarden voor andere items in uw examen (bijvoorbeeld RIT of RIR). De statistieken en berekeningen die beschikbaar zijn op het item zelf blijven echter ongewijzigd. De P-waarde van een geneutraliseerd item zal bijvoorbeeld niet veranderen in 1.

Antwoorden op geneutraliseerde of geëlimineerde vragen worden nog steeds weergegeven in de module Grading, maar hun score kan niet meer gewijzigd worden en een bericht legt uit waarom.

Wanneer een vraag geëlimineerd of geneutraliseerd is, zullen de deelnemers deze vraag niet meer zien wanneer ze hun examen inkijken. Ze krijgen een bericht te zien dat het item geneutraliseerd of geëlimineerd is.

recent voltooide sessies

bijgewerkte resultaatinstellingen

geëlimineerde of geneutraliseerde vragen

Wanneer u op de knop Updaten klikt, wordt de itemanalyse voor het volledige examen bijgewerkt, ongeacht de geselecteerde filter.

Standaard ontvangt u een e-mail wanneer uw manuele update van de itemanalyse succesvol is verwerkt. Als u deze e-mails niet langer wilt ontvangen, kunt u deze instelling uitschakelen in Mijn voorkeuren in uw accountinstellingen. Meer informatie.

Klik in het overzichtsscherm van alle opdrachten op de drie puntjes rechts van uw opdracht en selecteer Exporteren naar Excel.

Klik in het tabblad Opdracht of Items op de drie puntjes in de rechterbovenhoek en selecteer Exporteren naar Excel.
​Resultaat: U kunt het bestand downloaden vanuit het meldingscentrum wanneer de export klaar is.

Klik in het overzichtsscherm van alle opdrachten op de drie puntjes rechts van uw opdracht en selecteer Open rapport.

Klik in het tabblad Opdracht of Items op de drie puntjes rechtsboven en selecteer Open rapport.

Klik in het overzichtsscherm van alle opdrachten op de drie puntjes rechts van uw opdracht en selecteer Voorbeeld of Opdracht openen.

Klik in het tabblad Opdracht of Items op de drie puntjes rechtsboven en selecteer Voorbeeld of Open opdracht.

Itemanalyse is enkel beschikbaar voor opdrachten van het type examen. Oefeningen zijn niet inbegrepen.
Oefeningen worden over het algemeen meerdere keren gemaakt en de deelnemers kunnen vertrouwd raken met de inhoud of vragen, wat leidt tot een vertekening in de moeilijkheidsgraad en discriminatie van de items.

Opdrachten met on-the-fly itemselectie of adaptieve paden zijn niet opgenomen in de module Itemanalyse. Bij adaptieve of on-the-fly examens krijgen de deelnemers een variabele set vragen.
De berekening van de psychometrische waarden in assessmentQ vereist dat alle deelnemers dezelfde set vragen in een examen beantwoorden.

De gegevens in de itemanalysemodule worden één keer per dag bijgewerkt (nachtelijke batch). Als deelnemers de opdracht beëindigen op dezelfde dag dat u de analyse wilt raadplegen, is de itemanalyse dus pas beschikbaar bij de volgende update. Als u niet wilt wachten op de nachtelijke update om toegang te krijgen tot de meest recente gegevens, kunt u de update zelf uitvoeren, zie De itemanalyse van een examen updaten.

Minimum aantal sessies
Sommige gegevens (bijvoorbeeld de normaalverdeling) kunnen onbetrouwbaar worden wanneer slechts enkele deelnemers het examen hebben afgelegd. Daarom is een minimumdrempel van 10 sessies vereist voordat de gegevens worden gebruikt in berekeningen.

De informatie op de detailpagina van het item is beschikbaar voor een beperkt aantal itemtypes. Er wordt een melding weergegeven als het itemtype niet wordt ondersteund.

De A-waarde wordt enkel ondersteund voor meerkeuzevragen met één antwoord en meerkeuzevragen met meerdere antwoorden.