Onderzoek: hoe dicht komen AI-modellen bij het oordeel van een ervaren docent?
2.187 nakijkbeurten over 18 Nederlandse VO-toetsen, 28 modellen. De beste configuratie komt net boven de 90% overeenstemming, en het duurste model is niet het beste.
In een praktijkonderzoek zijn 28 AI-modellen in 95 configuraties losgelaten op 18 volledig uitgewerkte VO-toetsen met een referentiebeoordeling. Over 2.187 nakijkbeurten komt de beste configuratie uit op 90,5% overeenstemming met de docent; de zwakste haalt 58,9%. Het soort antwoord dat voorligt weegt zwaarder dan het model dat het beoordeelt, en prijs voorspelt kwaliteit nauwelijks.
- De beste configuratie komt op 90,5% overeenstemming met de docent; de zwakste op 58,9%.
- Wat er te beoordelen valt weegt zwaarder dan wie het beoordeelt: 0,7 procentpunt tussen de zes beste modellen, 26 tussen de makkelijkste en moeilijkste toets.
- Meer 'denktijd' geven helpt niet lineair; soms wordt het model er slechter van.
- Kosten en kwaliteit lopen niet samen: een factor 86 in prijs voor drie procentpunt mínder.
"AI kan toetsen nakijken" is een uitspraak zonder getal, en daarmee zonder betekenis. Dus is er een dataset gebouwd om er wél een getal aan te hangen: 18 volledig uitgewerkte Nederlandse VO-toetsen, elk met een menselijke beoordeling als referentie, en 28 AI-modellen die allemaal dezelfde stapel kregen (ze hebben natuurlijk nagekeken zonder dat ze de referentie te zien kregen).
Het resultaat: 2.187 nakijkbeurten, over 108 vragen, in zes vakken. Hieronder staat wat eruit kwam, inclusief de dingen die minder goed uitkomen.
Hoe er gemeten is
Elke toets in de set bestaat uit een correctiemodel, leerlingantwoorden en een menselijke beoordeling per vraag. Bij die beoordeling staat niet alleen het toegekende aantal punten, maar ook een bandbreedte: het aantal punten waarbij een tweede docent het er redelijkerwijs ook nog mee eens zou zijn.
- Overeenstemming
- Per vraag wordt gemeten hoe ver het AI-oordeel van het docentoordeel af zit, afgezet tegen het maximum van die vraag. Een half punt verschil op een vraag van vier telt lichter dan een half punt op een vraag van één.
- De bandbreedte
- Voor tien procent telt mee of het oordeel binnen het bereik viel dat de docent nog acceptabel noemde. Nakijken is geen exacte wetenschap, en een maatstaf die dat ontkent meet het verkeerde.
- Configuratie
- Elk model is op meerdere denkniveaus getest, van geen interne redeneerstap tot maximaal. Dat levert 95 configuraties op over 28 modellen.
- Nakijkbeurt en meting
- Een nakijkbeurt is één configuratie die één toets één keer nakijkt: daarvan zijn er 2.187 geslaagd. Een deel van de combinaties is twee keer gedraaid om toeval eruit te halen; die herhalingen zijn uitgemiddeld tot 1.607 metingen, en dat zijn de aantallen in de tabellen hieronder.
Wat de modellen scoorden
Op configuratieniveau (één model op één denkniveau) komt de beste combinatie net boven de 90% uit. Onderaan de lijst staat een model dat nauwelijks beter presteert dan willekeurig punten uitdelen. Helaas zijn de twee slechtste modellen Europese modellen, en dit laat ook meteen zien hoe erg we als Europa achterlopen.
| Configuratie | Overeenstemming |
|---|---|
| Gemini 3.6 Flash (hoog) | ✓ 90,5% |
| Qwen 3.7 Max (gemiddeld) | ✓ 90,2% |
| Gemini 3.1 Pro (laag) | ✓ 89,9% |
| Claude 4.7 Opus (zeer hoog) | ✓ 89,7% |
| Gemini 3.1 Pro (gemiddeld) | ✓ 89,6% |
| Claude 4.6 Sonnet (gemiddeld) | ✓ 89,2% |
| … | … |
| ChatGPT-5.5 (hoog) | – 84,4% |
| Claude 4.5 Haiku (zonder denkstap) | – 76,2% |
| Magistral Medium (hoog) | ✗ 62,6% |
| Magistral Medium (zonder denkstap) | ✗ 58,9% |
Gemiddeld over alle denkniveaus ligt de top nog dichter bij elkaar: Gemini 3.1 Pro 89,1%, ChatGPT-5.6 Terra en Claude 4.6 Sonnet beide 88,9%, Kimi K3 en Gemini 3.6 Flash 88,5%, ChatGPT-5.6 Luna 88,4%. Het verschil tussen de nummers één en zes is zeven tiende procentpunt, en daarmee kleiner dan de ruis tussen twee menselijke nakijkers.
Meer denktijd helpt niet vanzelf
Moderne modellen kun je meer of minder interne redeneerruimte geven. De aanname is dat meer beter is. Dat blijkt niet te kloppen.
| Denkniveau | Overeenstemming | Gem. duur | Metingen |
|---|---|---|---|
| Geen denkstap | ✗ 82,2% | 71 s | 220 |
| Minimaal | 85,9% | 14 s | 90 |
| Laag | 86,0% | 48 s | 339 |
| Gemiddeld | 86,8% | 58 s | 334 |
| Hoog | – 85,7% | 87 s | 385 |
| Zeer hoog | ✓ 88,4% | 88 s | 70 |
| Maximaal | 86,6% | 189 s | 107 |
Van geen denkstap naar minimaal is een sprong van bijna vier punten. Daarna wordt het vlak, en bij 'hoog' zakt het zelfs terug. Alleen de sprong naar 'zeer hoog' levert nog iets op, tegen een duur die zesmaal zo lang is als 'minimaal'. Dat niveau is bovendien op de minste nakijkbeurten gemeten, dus juist die uitschieter verdient de meeste terughoudendheid.
Een plausibele verklaring: bij nakijken is de opgave scherp afgebakend. Meer doordenken betekent meer gelegenheid om een reden te bedenken waarom een antwoord tóch een half punt verdient, precies het gedrag dat je bij een tweede lezing van een correctiemodel wilt onderdrukken.
Prijs voorspelt kwaliteit niet
De prijsverschillen tussen modellen zijn extreem, de kwaliteitsverschillen aan de top niet.
| Model | Overeenstemming | Kosten per 100 nakijkbeurten |
|---|---|---|
| DeepSeek v4 Flash | 87,1% | ✓ € 0,27 |
| ChatGPT-5.6 Luna | 88,4% | ✓ € 0,72 |
| Gemini 3.6 Flash | 88,5% | – € 4,91 |
| Gemini 3.1 Pro | 89,1% | – € 7,40 |
| Claude 4.6 Sonnet | 88,9% | ✗ € 12,51 |
| Claude 4.8 Opus | 84,2% | ✗ € 23,06 |
| Fable 5 (Mythos) | 86,4% | ✗ € 52,42 |
De twee duurste modellen in de test scoren allebei lager dan het goedkoopste. Claude 4.8 Opus is 86 keer zo duur als DeepSeek v4 Flash en komt drie procentpunt lager uit. Voor een school is dat geen academisch detail: het is het verschil tussen een prijs per toets die uit te leggen valt en een die dat niet doet.
Waar het fout gaat, en welke kant op
Interessanter dan hoe vaak een model afwijkt, is of het structureel te mild of te streng is. Over de hele set is de balans licht mild: in 56% van de nakijkbeurten geeft de AI per saldo meer punten dan de docent. Die mildheid is niet gelijkmatig verdeeld.
- Te mild bij een antwoord dat de goede kant op wijst zonder het criterium te halen (72,1% overeenstemming) en bij koppelvragen met een randgeval (73,7%): daar gunt het model eerder een half punt dan de docent doet. Dit is verreweg de grootste afwijking in de set.
- Te streng bij een alternatieve maar correcte oplosmethode (79,2%) en bij een antwoord dat inhoudelijk klopt maar rammelt in taal (82,2%). Een route die het correctiemodel niet noemt wordt sneller afgerekend dan een docent zou doen.
- Neutraal waar het correctiemodel geen ruimte laat: een leeg of kansloos antwoord haalt 95,9%, een meertalig antwoord 91,7%. Daar valt niets te interpreteren, en dus valt er ook niets te verschillen.
Vier toetsen bleken over álle modellen heen structureel lastig, met 71,8% tot 73,7% gemiddeld. In alle vier zit hetzelfde patroon: het correctiemodel laat ruimte, en waar ruimte zit, ontstaat verschil. De best beoordeelde toets in de set haalt 97,6%, en dat is precies de toets waar het correctiemodel geen enkele ruimte laat.
Wat dit onderzoek niet aantoont
Een eerlijk onderzoek benoemt zijn eigen grenzen, dus:
- Achttien toetsen is weinig. Genoeg om grote verschillen zichtbaar te maken, te weinig om een half procentpunt tussen twee topmodellen te vertrouwen.
- Eén leerlingantwoord per toets. Er is dus geen uitspraak te doen over consistentie binnen een klas, een andere en minstens zo belangrijke vraag.
- Eén referentiebeoordelaar. De 'juiste' beoordeling is die van mijzelf (als er docenten zijn die ook toetsen van deze benchmark zouden willen nakijken hoor ik het graag).
- Geen handschrift. De antwoorden zijn als tekst aangeboden, met in sommige gevallen bewust ingebouwde leesruis. Wat dit meet is het beoordelen, niet het uitlezen van een bladzijde.
- Nederlandse VO-context. De uitkomsten zeggen weinig over andere onderwijsniveaus, andere talen of andere toetsvormen.
De conclusie
De beste modellen zitten op een niveau dat serieus genoeg is om als nakijkpartner te dienen: negen van de tien keer komen ze uit waar de docent uitkomt. Bij ruime, interpreteerbare correctiemodellen zakt dat merkbaar, en dat is precies wat het enige probleem is met AI-nakijken: het correctiemodel. Wanneer die geen ruimte laat voor interpretatie krijg je de beste resultaten (soms zelfs bijna 100%).
De metingen zijn uitgevoerd op het platform van ToetsChecker, dat de toetsen, correctiemodellen en modelaansturing beschikbaar stelde.
Veelgestelde vragen
Hoe nauwkeurig kijkt AI open vragen na?
In dit onderzoek komt de beste modelconfiguratie uit op 90,5% overeenstemming met het oordeel van een mens, gemeten over 2.187 nakijkbeurten op 18 Nederlandse VO-toetsen. Het gemiddelde over alle 28 geteste modellen ligt op ruim 85%; de zwakste configuratie haalt 58,9%.
Waar gaat AI-nakijken het vaakst mis?
Bij antwoorden waar het correctiemodel ruimte laat. Over het algemeen geldt: hoe duidelijker het correctiemodel, hoe beter de beoordeling. De correctiemodellen die in deze benchmark gebruikt worden zijn expres onduidelijk en laten ruimte voor interpretatie. Maar een eenduidig antwoordmodel kan zelfs de 100% overeenstemming bereiken.
Maakt het uit welk AI-model een school gebruikt?
Aan de top nauwelijks: tussen de zes best presterende modellen zit zeven tiende procentpunt verschil. Onderaan wel: het slechtste model in de test zit ruim 28 procentpunt lager (Mistral).
Is een duurder AI-model beter in nakijken?
Nee. In deze meting scoren de twee duurste modellen (€23,06 en €52,42 per 100 nakijkbeurten) allebei lager dan het goedkoopste (€0,27). Prijs volgt vooral de omvang van het model, en die voorspelt de kwaliteit van een afgebakende taak als nakijken slecht.
Kan AI dan de docent vervangen bij het beoordelen?
Nee. Negen van de tien keer op het niveau van een docent uitkomen betekent ook dat er een tiende keer is, en de meting laat zien dat die tiende keer niet willekeurig valt: hij concentreert zich bij ruime correctiemodellen, bij alternatieve oplosmethodes en bij zwakke antwoorden die de goede kant op wijzen. Daarom hoort de uitkomst een voorstel te zijn dat de docent controleert.
Daniël van EgdomOprichter ToetsChecker