De docent blijft de baas: waarom AI nooit een cijfer mag geven zonder menselijke goedkeuring
Nakijken is vergelijken én beslissen. Het vergelijken kan een model beter dan een docent om kwart over twaalf. Het beslissen kan het helemaal niet, en dat moet je afdwingen, niet hopen.
Nakijkwerk bestaat uit twee dingen: een antwoord tegen een correctiemodel leggen, en vaststellen wat het cijfer wordt dat daaruit volgt. Het eerste doet een AI-model gelijkmatiger dan een vermoeide mens; het komt prima tot een cijfer. Wat het niet kan, is dragen wat er daarna met dat cijfer gebeurt: een overgang, een herkansing, een gesprek met ouders. Zo'n besluit hoort bij iemand die het kan uitleggen en die erop aanspreekbaar is. Een systeem waarin de leerling het resultaat pas ziet ná goedkeuring van de docent is daarom geen beleefdheidsvorm maar een ontwerpeis.
- Nakijken bestaat uit vergelijken en beslissen; alleen het eerste is te automatiseren.
- Een model komt prima tot een cijfer, en gelijkmatiger dan een mens laat op de avond.
- Wat het niet kan, is dragen wat er met dat cijfer gebeurt: dat vraagt aanspreekbaarheid.
- Goedkeuring moet in het systeem verankerd zitten, niet in de goede wil van de gebruiker.
- Automatiseringsbias is het echte risico: kritiekloos meegaan met een net geformuleerd voorstel.
De meest gestelde vraag als een school voor het eerst over AI-nakijken praat, is zelden een technische. Het is: wat blijft er dan nog over van mijn vak? Die vraag verdient een beter antwoord dan een geruststelling.
Want de zorg klopt, alleen niet op de plek waar hij meestal wordt gelegd. Het risico is niet dat een model beter wordt in het toekennen van punten dan een docent; op het vergelijkende deel is dat allang zo, omdat een model om elf uur 's avonds precies dezelfde aandacht heeft als om negen uur 's ochtends. Het risico is dat we daaruit de verkeerde conclusie trekken, en dat een voorstel dat overtuigend klinkt vanzelf een cijfer wordt omdat niemand er nog tegenin gaat.
Nakijken is twee dingen tegelijk
Als je een stapel toetsen nakijkt, doe je in werkelijkheid twee verschillende dingen door elkaar heen. Het eerste is vergelijken: staat er in dit antwoord wat er in het correctiemodel staat? Dat is precies, vermoeiend en herhalend werk, en na toets vijfentwintig doe je het meetbaar anders dan bij toets één. Waarom dat gebeurt en waarom het geen kwestie van inzet is, staat in De nakijkfout die elke docent maakt.
Dit is precies het deel dat een model beter doet dan een mens die laat op de avond de laatste toetsen doorspit. Het weet niet wie de leerling is, het weet niet welk antwoord er als vorige langskwam, en het wordt niet chagrijnig van de zestiende variant op hetzelfde half goede antwoord. Op de vraag "hoeveel punten horen hier volgens dit model bij" komt het gelijkmatiger uit dan wij.
Het tweede is beslissen. Niet: welk getal volgt uit dit antwoord, maar: wat gaat er met dat getal gebeuren. Een overgang, een herkansing, een gesprek met ouders, een leerling die het schoolexamen niet in gaat. Daar zit ook het wegen in van wat níét op het papier staat: het voorbeeld dat je in de les gaf, de notatie die je hebt toegestaan, dat de leerling het moeilijk thuis heeft.
Wat een model niet kan dragen
Dit is geen tijdelijke tekortkoming die met een volgend model verdwijnt, en het is ook geen kennisprobleem dat je met genoeg context oplost. Een besluit met gevolgen hoort bij iemand die het kan uitleggen en die erop aanspreekbaar is te liggen. Een model kan het vergelijkwerk overnemen; het kan niet in de deuropening staan bij een ouder die vraagt waarom hun dochter blijft zitten.
Daar komt bij dat een docent dingen weet die nergens zijn opgeschreven. Dat is niet het hoofdargument, maar het is wel de reden dat een voorstel altijd langs een mens moet die de les heeft gegeven:
- De leerling
- Dat deze leerling voor het eerst sinds maanden een volledige alinea heeft geschreven, verandert wat je erbij schrijft en wat je maandag met hem bespreekt. Niet het aantal punten, want dat hoort te meten wat er staat. Voor het model is het hoe dan ook één antwoord van één anonieme kandidaat.
- De les
- Je hebt in de les een voorbeeld gegeven dat niet in het boek staat. Een leerling die dat voorbeeld gebruikt, doet precies wat je vroeg maar wijkt af van het model. Hoewel de AI van ToetsChecker dit meestal wel correct ziet als een alternatief goed antwoord, lukt dat natuurlijk niet altijd.
- De afspraak
- Verlengde tijd, een aangepaste opdracht, steekwoorden in plaats van hele zinnen. Zulke afspraken zijn vooraf gemaakt en gelden voor iedereen in dezelfde situatie, maar ze staan zelden in het correctiemodel en dus weet een AI-assistent er niets van.
- De bedoeling van de toets
- Wilde je begrip meten of formulering? Dat verschil bepaalt of een half antwoord een half punt of een heel punt waard is, wat ook weer zorgt voor verschillende beoordelingen.
Het echte risico heet automatiseringsbias
In de luchtvaart en de zorg is al decennia bekend wat er gebeurt als een systeem meestal gelijk heeft: mensen gaan minder goed kijken. Als de eerste twintig voorstellen klopten, zal de eenentwintigste ook wel goed zijn.
Bij nakijken werkt dat effect extra hard, omdat een AI-voorstel er beter uitziet dan een eigen aantekening. Het is netjes geformuleerd, het verwijst naar het criterium en het klinkt stellig. Een fout voorstel dat goed geschreven is, is moeilijker te betrappen dan een fout voorstel dat rommelig is. Wat alle AI-nakijkprogramma's daarom (minimaal) moeten hebben:
- Toon de onderbouwing, niet alleen de score. Een punt zonder uitleg kun je niet controleren, alleen accepteren.
- Laat zien waar het model twijfelde. Onzekerheid die zichtbaar is, wordt gecontroleerd. Onzekerheid die is weggepoetst niet.
- Maak afwijken goedkoop. Als een punt aanpassen drie klikken kost, wordt er minder aangepast dan wanneer het er één is.
- Een steekproef in het systeem zelf. Een tweede, zwaarder model dat een deel van de beoordelingen nakijkt, vindt fouten die een vermoeide lezer laat liggen.
Goedkeuring hoort in het systeem
"De docent controleert altijd" is een belofte. Beloftes overleven een drukke week zelden. De vraag die je aan elk nakijkplatform moet stellen is daarom niet of de docent mág controleren, maar wat er gebeurt als hij het niet doet.
Bij ToetsChecker is het antwoord: dan gebeurt er niets. Een leerling ziet geen cijfer, geen feedback en geen antwoordmodel zolang de docent niet heeft vrijgegeven. Dat is geen instelling die je kunt uitzetten en geen regel die je kunt omzeilen. De database geeft de gegevens simpelweg niet af.
Een AI die punten voorstelt is een assistent. Een AI die cijfers uitdeelt is een beslisser.
Wat de docent er wél bij wint
Als het vergelijkwerk is voorbereid, blijft er tijd over voor het deel waar de docent is opgeleid. Niet: dertig keer opzoeken of de woorden "IJzeren Gordijn" erin staan. Wel: zien dat de halve klas dezelfde denkfout maakt en daar maandag de les op aanpassen.
Dat is ook de eerlijke reden om dit te doen. Het model doet het deel waarin het onvermoeibaar is, zodat de docent toekomt aan het deel waarvoor hij is opgeleid en waarop hij aanspreekbaar is. Wie het andersom verkoopt (de AI besluit, de docent kijkt nog even mee) heeft de rollen omgedraaid: dan is het besluit al genomen en mag de mens er nog iets van vinden.
Veelgestelde vragen
Mag AI zelfstandig een cijfer geven aan een leerling?
Niet zonder dat een docent het heeft beoordeeld en goedgekeurd. Niet omdat een model niet tot een cijfer zou kunnen komen, dat kan het (en gelijkmatiger dan een mens laat op de avond), maar omdat een cijfer een besluit met gevolgen is. Zo'n besluit hoort bij iemand die het kan uitleggen en die erop aanspreekbaar is. Daar komt bij dat een docent de les, de leerling en gemaakte afspraken kent, en die staan niet in het correctiemodel.
Wat is automatiseringsbias bij nakijken?
Automatiseringsbias is de neiging om een geautomatiseerd voorstel over te nemen zonder het echt te controleren, juist omdat het systeem meestal gelijk heeft. Bij nakijken versterkt de nette formulering van een AI-voorstel dat effect: het klinkt overtuigender dan een eigen krabbel, ook als het fout is.
Hoe weet ik zeker dat mijn leerlingen het cijfer niet eerder zien?
Vraag of de beperking in het systeem zit of alleen in het scherm. Bij ToetsChecker geeft de database de beoordeling pas vrij nadat de docent heeft goedgekeurd; tot dat moment kan een leerlingaccount de gegevens niet opvragen, ook niet buiten de app om.
Neemt AI het werk van docenten over?
Het neemt een deel van het werk over dat weinig met lesgeven te maken heeft: het herhalend vergelijken van antwoorden met een correctiemodel. Het didactische deel (wegen, uitleggen, bijsturen, de volgende les aanpassen) blijft bij de docent, en de docent krijgt daar dus meer tijd voor.
Als een AI consistenter nakijkt dan een docent, waarom beslist de docent dan nog?
Omdat consistentie en verantwoordelijkheid twee verschillende dingen zijn. Dat een model elke toets met dezelfde aandacht leest maakt het geschikt voor het vergelijkende deel, niet voor het besluit dat erop volgt. Wat er met een cijfer gebeurt (overgaan, herkansen, een gesprek met ouders) vraagt iemand die het kan uitleggen en die erop aanspreekbaar is.
Daniël van EgdomOprichter ToetsChecker