De nakijkfout die elke docent maakt (en waarom dat menselijk is)
Bij toets vier lees je nog echt. Bij toets achtentwintig zoek je naar een woord. Dat is geen gebrek aan inzet, en juist daarom moeten we er iets aan doen.
Elke docent beoordeelt de laatste toets van een stapel anders dan de eerste. Dat heeft weinig met slordigheid te maken en alles met hoe aandacht werkt: de maatstaf schuift, de volgorde kleurt het oordeel en vermoeidheid maakt het geven van een punt goedkoper dan het wegen ervan. Harder je best doen helpt daar niet tegen. Het vergelijkende werk scheiden van het beslissende werk wel: een machine leest elke toets even nauwkeurig, en de docent blijft degene die het cijfer vaststelt, omdat een besluit met gevolgen bij een mens hoort.
- De maatstaf van een docent verschuift ongemerkt gedurende een stapel toetsen.
- Volgorde-effect, naamherkenning en vermoeidheid zitten allemaal in het cijfer.
- Dit is geen karakterkwestie: het is gedocumenteerd gedrag van elke beoordelaar.
- De oplossing is het vergelijkende werk scheiden van het beslissende werk.
- Omstandigheden horen in wat je met een cijfer doet, niet in het cijfer zelf.
Zondagavond, kwart over tien. Op de eettafel ligt een stapel van eenendertig toetsen waarvan er nog acht niet zijn beoordeeld. De docent die om zeven uur begon is dezelfde persoon als nu. Hij beoordeelt alleen niet meer hetzelfde.
Dat is geen verwijt. Het is een beschrijving van hoe aandacht werkt.
Wat er gebeurt tussen toets vier en toets achtentwintig
Bij de eerste toetsen leest een docent nog echt. Hij weegt de formulering, ziet dat een leerling het in eigen woorden zegt en toch de kern te pakken heeft, en schrijft in de kantlijn waarom er desondanks een half punt af gaat. Bij toets achtentwintig is het correctiemodel geen leidraad meer maar een zoekopdracht: staat het woord erin, ja of nee.
Elke docent die dit leest weet welk moment ik bedoel. Het is het moment waarop je merkt dat je de vorige drie antwoorden eigenlijk niet gelezen hebt, en waarop je besluit ze toch maar niet terug te pakken, want dan ben je vannacht nog bezig. Dit is wat er elke keer gebeurt:
- Kalibratiedrift. De maatstaf schuift gedurende de stapel. Meestal wordt hij milder, soms juist strenger na een reeks zwakke antwoorden.
- Volgorde-effect. Een middelmatig antwoord na drie sterke antwoorden leest als slecht. Precies hetzelfde antwoord na drie zwakke leest als degelijk.
- Naamherkenning. Je weet wie deze leerling is en hoe het vorige hoofdstuk ging. Dat werkt beide kanten op, en geen van beide kanten staat in het correctiemodel.
- Vermoeidheid. Na drie uur lezen kost het wegen van een genuanceerd antwoord meer energie dan het toekennen van het punt.
Dit zijn geen persoonlijke tekortkomingen. Onderzoek naar beoordelaarsbetrouwbaarheid laat al decennia zien dat twee docenten dezelfde open vraag verschillend beoordelen, en dat één docent dezelfde vraag op twee momenten verschillend beoordeelt. Er bestaat een vakterm voor: intrabeoordelaarsbetrouwbaarheid. Dat je er een woord voor nodig hebt zegt genoeg over hoe normaal het verschijnsel is.
We hebben een systeem gebouwd dat een oordeelsvermogen vraagt dat op zondagavond om elf uur nog net zo scherp is als op maandagochtend om negen uur. Dat vermogen heeft nooit bestaan.
De stelling: dit is didactisch onverantwoord
Hier zit het ongemakkelijke deel. Als een cijfer een eerlijke weergave hoort te zijn van wat een leerling kan, dan is het onverantwoord dat die weergave meebeweegt met de plek die de toets in de stapel had. Een leerling die toevallig bovenop lag krijgt een ander soort aandacht dan een leerling die onderop lag, en niemand kan achteraf uitleggen hoeveel dat scheelde.
En toch hebben we het ingericht alsof dat geen probleem is. Nakijken is werk dat naast de lesuren gebeurt, in avonden en weekenden, in blokken die veel te lang zijn omdat er anders geen doorkomen aan is. We vragen het maximum van de menselijke concentratie op precies het moment dat er het minst van over is.
Wat een machine wel levert, en wat niet
Een AI-model heeft om elf uur 's avonds precies dezelfde aandacht als om negen uur 's ochtends. Het weet niet wie de leerling is, het weet niet welk antwoord er als vorige langskwam, en het wordt niet chagrijnig van de zestiende variant op hetzelfde half goede antwoord. Dat is uithoudingsvermogen, en uithoudingsvermogen is precies waar het menselijk tekort zit.
Wat een model niet levert, is een besluit. Het kan een antwoord tegen een correctiemodel leggen, beter en gelijkmatiger dan een mens dat om kwart over twaalf nog kan. Het kan niet dragen wat er daarna met dat cijfer gebeurt: een overgang, een herkansing, een gesprek met ouders, een leerling die het schoolexamen niet in gaat. Zo'n besluit hoort bij iemand die het kan uitleggen en die erop aanspreekbaar is. Daar komt bij dat een docent dingen weet die niet op het papier staan: welk voorbeeld hij in de les heeft gegeven, welke notatie hij heeft toegestaan, en of een antwoord dat buiten het model valt eigenlijk beter is dan het model zelf. Hoe die verantwoordelijkheid precies belegd is, staat in De docent blijft de baas.
Waar de omstandigheden wél thuishoren
Er is één ding dat vaak onder "menselijke maat" wordt geschaard en waar ik het niet mee eens ben: dat een docent bij het nakijken rekening zou moeten houden met wat hij verder over een leerling weet. Dat hij drie weken ziek is geweest. Dat het thuis moeilijk gaat. Dat hij de vorige toets ook al net niet haalde. Het doet er allemaal toe, maar niet in het cijfer.
Een cijfer dat meebeweegt met omstandigheden meet niet meer wat de leerling kan. En dan weet niemand meer wat een 6,4 eigenlijk betekent, ook de leerling zelf niet.
Het is bovendien niet eerlijk in de richting die je zou hopen. Het voordeel valt bij de leerling van wie de docent de omstandigheden toevallig kent, en dat is zelden de leerling die het het hardst nodig heeft. Wie stil is, nieuw is, of geen mentor heeft die het doorheeft, krijgt die coulance niet. Onzichtbaar voortrekken is nog steeds voortrekken.
Omstandigheden horen in wat je met het cijfer doet, en daar horen ze thuis met alles wat een docent heeft: een herkansing, extra uitleg, een aangepaste planning, een gesprek met de mentor, een aantekening dat dit resultaat niet representatief is. Dat zijn openlijke besluiten die je kunt uitleggen. Een half punt dat er stilletjes bij komt omdat het zielig is, is dat dus niet.
De machine leest
Elk antwoord wordt met dezelfde aandacht tegen het correctiemodel gelegd, voor de eerste en de laatste toets van de stapel.
De docent controleert
Geen dertig toetsen van voren af aan, alleen de gevallen waar het model twijfelt en de antwoorden die buiten de lijntjes vallen.
De docent beslist
Het cijfer bestaat pas als de docent het heeft goedgekeurd. Dat is de kern van de afspraak.
Het ongemak dat hierbij hoort
Ik begrijp dat dit als een aanval kan voelen. Nakijken is voor veel docenten het moment waarop ze het dichtst bij het werk van hun leerlingen zitten. Het idee dat een computer daar tussen komt raakt iets dat verder gaat dan efficiëntie.
Maar de vraag is niet of nakijken waardevol is (dat is het namelijk wel). De vraag is of de veertiende beoordeling van vraag 3b nog steeds waardevol is, en of die veertiende beoordeling nog de aandacht krijgt die de eerste kreeg. Wie eerlijk is tegen zichzelf weet het antwoord al.
De fout die elke docent maakt, is echt niet dat hij verslapt. De enige fout is dat we met z'n allen zijn blijven doen alsof dat niet gebeurt.
Veelgestelde vragen
Beoordeelt een AI dan wel consistent?
Consistenter dan een vermoeide mens, ja. Een model heeft geen geheugen van de vorige toets, wordt niet moe en past dezelfde maatstaf toe op de eerste en de laatste leerling. Onfeilbaar is het niet: het kan handschrift verkeerd lezen of een correctiemodel te letterlijk nemen. En los daarvan is een cijfer een besluit met gevolgen, en dat besluit hoort bij een mens te liggen. Daarom is de goedkeuring van de docent altijd de laatste stap.
Moet een docent bij het nakijken rekening houden met de omstandigheden van een leerling?
Niet in het cijfer. Een cijfer hoort weer te geven wat een leerling op dat moment kon, anders weet niemand meer wat het betekent. Bovendien komt zulke coulance terecht bij de leerling van wie de docent de omstandigheden toevallig kent, en niet bij de leerling die stil is of nieuw. Omstandigheden horen in wat je met het cijfer doet: een herkansing, extra uitleg, een gesprek, een aantekening dat het resultaat niet representatief is. Officieel vastgelegde afspraken zoals verlengde tijd of een aangepaste opdracht zijn iets anders. Die gelden vooraf en voor iedereen in dezelfde situatie.
Is het geen erkenning van falen als ik het nakijken uit handen geef?
Nee. Je geeft het vergelijkende deel uit handen, niet het besluit. Het wegen van grensgevallen, het herkennen van een onverwacht goed antwoord, het vaststellen van het cijfer en het gesprek met de leerling blijven bij de docent. Dat zijn ook precies de delen waar de docent onvervangbaar is.
Hoe merk ik zelf of mijn maatstaf verschuift?
Pak na afloop drie toetsen van bovenaan de stapel en drie van onderaan, en beoordeel een paar dezelfde open vragen opnieuw zonder naar je eigen punten te kijken. De meeste docenten schrikken van het verschil. Het is een oefening die je precies één keer hoeft te doen om overtuigd te zijn.
Daniël van EgdomOprichter ToetsChecker