Kun je zien of een leerling AI heeft gebruikt? Wat AI-detectors wel en niet kunnen
AI-detectors geven een percentage dat als bewijs voelt. Onderzoek laat zien waarom je er geen cijfer of sanctie op mag baseren, en wat je in plaats daarvan doet.
Nee, niet betrouwbaar genoeg om er een beslissing op te baseren. AI-detectors schatten hoe voorspelbaar een tekst is, en dat is geen bewijs van wie hem schreef. Onafhankelijk onderzoek vond dat de geteste detectors AI-tekst missen zodra die een beetje is aangepast, en dat ze menselijke tekst onterecht als AI aanwijzen, vaker bij schrijvers in een tweede taal. OpenAI haalde zijn eigen detector in 2023 offline vanwege de lage nauwkeurigheid. Gebruik een detectoruitslag hooguit als aanleiding om te kijken; bewijs zoek je in het werk zelf en in een gesprek met de leerling.
- Een AI-detector meet hoe voorspelbaar een tekst is, niet wie hem schreef.
- Onafhankelijk onderzoek vond geen enkele detector die betrouwbaar genoeg is om op te beslissen.
- Leerlingen die in een tweede taal schrijven, worden vaker onterecht aangewezen.
- Ook een klein percentage valse meldingen raakt over een schooljaar veel onschuldige leerlingen.
- Bewijs zit in het werk en het gesprek: bronnen, eerder werk onder toezicht en uitleg van de leerling.
Sinds leerlingen toegang hebben tot AI-assistenten, zoeken docenten naar een manier om AI-tekst te herkennen. Er zijn tientallen detectors die dat beloven, en ze geven allemaal een overtuigend getal: "87% kans op AI". Dit artikel legt uit hoe zo'n getal tot stand komt, wat onderzoek zegt over de betrouwbaarheid, en waarom een school er geen cijfer of sanctie op moet baseren.
Hoe een AI-detector werkt
Een taalmodel schrijft door telkens een waarschijnlijk volgend woord te kiezen. Daardoor is AI-tekst gemiddeld voorspelbaarder dan menselijke tekst. Een detector meet die voorspelbaarheid, vaak samen met hoe gelijkmatig de zinnen zijn, en zet de uitkomst om in een percentage.
- Perplexiteit
- Een maat voor hoe verrassend een tekst is voor een taalmodel. Lage perplexiteit betekent voorspelbare woordkeuze. Detectors zien dat als teken van AI, maar heldere, eenvoudige menselijke tekst is ook voorspelbaar.
- Burstiness
- Hoe sterk zinslengte en zinsbouw variëren. Mensen wisselen vaker af tussen korte en lange zinnen. Een leerling die netjes volgens een schrijfkader werkt, schrijft juist gelijkmatig.
- Vals positief
- Een tekst die door een mens is geschreven maar door de detector als AI wordt aangewezen. In het onderwijs is dit de fout met de grootste gevolgen, omdat hij een leerling beschuldigt die niets fout deed.
Het probleem zit in de aanname. Een voorspelbare tekst is niet hetzelfde als een tekst van een AI-model. Een leerling die een schrijfkader volgt, korte heldere zinnen gebruikt of in een tweede taal schrijft, levert precies het soort tekst dat een detector verdacht vindt.
Wat onderzoek zegt over de betrouwbaarheid
Er is inmiddels genoeg onafhankelijk onderzoek om een duidelijk beeld te geven. Drie bevindingen komen steeds terug.
| Bron | Wat er gevonden werd |
|---|---|
| OpenAI, 2023 | OpenAI bracht begin 2023 een eigen AI-tekstclassifier uit en haalde die in juli 2023 offline vanwege de lage nauwkeurigheid. Bij de introductie meldde OpenAI zelf dat de classifier een kwart van de AI-teksten herkende en bij ongeveer één op de elf menselijke teksten onterecht AI aangaf. |
| Weber-Wulff e.a., International Journal for Educational Integrity, 2023 | Veertien detectietools getest, waaronder veelgebruikte commerciële. Geen enkele haalde 80 procent nauwkeurigheid, en na parafraseren of lichte bewerking van de AI-tekst daalde de herkenning sterk. De conclusie van de onderzoekers: de tools zijn niet nauwkeurig en niet betrouwbaar genoeg. |
| Liang e.a., Patterns, 2023 | Essays van niet-moedertaalsprekers (TOEFL-teksten) werden door de geteste detectors gemiddeld in meer dan de helft van de gevallen als AI aangewezen, terwijl ze door mensen waren geschreven. Teksten van moedertaalsprekers werden vrijwel goed beoordeeld. |
Detectors zijn sindsdien verbeterd, maar de taalmodellen ook. Het principe blijft hetzelfde: een detector raadt op basis van stijl, en stijl is te veranderen. Een leerling die de AI-tekst herschrijft of de assistent vraagt om "als een vijftienjarige" te schrijven, glipt erdoorheen. Een leerling die gewoon netjes schrijft, kan er juist in blijven hangen.
Waarom een klein percentage fouten toch veel is
Stel dat een detector bij slechts 2 procent van de menselijke teksten onterecht AI aangeeft. Dat klinkt laag. Maar een docent met vijf klassen van dertig leerlingen die per jaar vier schrijfopdrachten controleert, laat zo'n zeshonderd teksten door de detector gaan. Ook als niemand AI gebruikte, levert dat ongeveer twaalf valse meldingen op. Dat zijn twaalf leerlingen die het gesprek ingaan alsof ze iets fout deden.
Wat wel werkt
De betrouwbaarste manier om te weten of werk van een leerling is, is om het te zien ontstaan of de leerling het te laten uitleggen. Dat klinkt ouderwets, maar het is de enige aanpak die niet afhangt van een wapenwedloop tussen schrijvende en detecterende AI.
Vergelijk met werk onder toezicht
Laat leerlingen regelmatig iets op papier of in een bewaakte afname maken. Dat is je referentie voor niveau, woordkeus en opbouw van die leerling.
Controleer de bronnen
AI-assistenten verzinnen soms boektitels, auteurs, citaten of jaartallen. Een bron die niet bestaat, kun je aanwijzen. Een percentage niet.
Vraag om uitleg
Laat de leerling een alinea toelichten of een begrip uit de eigen tekst uitleggen. Wie het werk zelf maakte, kan dat. Zo'n gesprek kost vijf minuten en zegt meer dan elke detector.
Beoordeel het proces
Een opdracht met tussenproducten (bronnenlijst, opzet, eerste versie) laat zien hoe het werk ontstond. Zie Toetsen ontwerpen die AI niet voor de leerling kan maken.
Hoe je zo'n vermoeden daarna aanpakt, met de leerling en volgens het examenreglement, staat in Hoe ga je als docent om met plagiaat en AI?.
Wat dit betekent voor schoolbeleid
- Zet in het beleid dat een detectoruitslag geen bewijs is. Dan weet elke docent dat een melding hooguit een aanleiding is om te kijken.
- Leg per opdracht vast welk AI-gebruik mag. Fraude is het overtreden van een afspraak. Zonder afspraak valt er niets te overtreden.
- Investeer in toetsing onder toezicht voor alles wat zwaar meetelt, op papier of digitaal met toezicht.
- Let op privacy. Wie leerlingwerk in een online detector plakt, stuurt persoonsgegevens naar een externe partij. Daar hoort een verwerkersovereenkomst bij. Zie AVG en AI in het onderwijs.
Veelgestelde vragen
Zijn AI-detectors betrouwbaar?
Niet betrouwbaar genoeg om er een beslissing over een leerling op te baseren. Onafhankelijk onderzoek uit 2023 testte veertien detectietools en vond er geen die 80 procent nauwkeurigheid haalde; na lichte bewerking van AI-tekst daalde de herkenning sterk. Detectors wijzen bovendien menselijke tekst onterecht als AI aan, vaker bij schrijvers in een tweede taal.
Waarom haalde OpenAI zijn eigen AI-detector offline?
OpenAI haalde zijn AI-tekstclassifier in juli 2023 offline vanwege de lage nauwkeurigheid. Bij de introductie had OpenAI gemeld dat de classifier ongeveer een kwart van de AI-teksten herkende en bij ongeveer één op de elf menselijke teksten onterecht AI aangaf.
Mag een school een leerling straffen op basis van een AI-detector?
Dat is af te raden. Een detectoruitslag is een kansschatting op basis van schrijfstijl, geen bewijs van wie de tekst schreef. Een maatregel hoort te rusten op wat je kunt aantonen, zoals niet-bestaande bronnen, een duidelijke breuk met werk dat onder toezicht is gemaakt of een leerling die zijn eigen werk niet kan uitleggen, en volgt de procedure uit het examenreglement.
Waarom wijzen AI-detectors teksten van anderstalige leerlingen vaker aan?
Detectors zien voorspelbare woordkeuze en gelijkmatige zinsbouw als teken van AI. Wie in een tweede taal schrijft, gebruikt vaak een kleinere woordenschat en eenvoudiger zinnen, en dat levert precies die voorspelbaarheid op. Onderzoek uit 2023 vond dat essays van niet-moedertaalsprekers gemiddeld in meer dan de helft van de gevallen onterecht als AI werden aangewezen.
Hoe kun je dan wel zien of een leerling AI heeft gebruikt?
Door het werk te vergelijken met werk dat de leerling onder toezicht maakte, door de bronnen te controleren en door de leerling te vragen het werk toe te lichten. Opdrachten met tussenproducten en toetsing onder toezicht maken het verschil op voorhand kleiner.
Daniël van EgdomOprichter ToetsChecker