Een nieuwe tool, GPTZero, kan vaststellen of een tekst is geproduceerd door kunstmatige intelligentie (AI). Daarmee kunnen leerlingen betrapt worden die AI-chatbots zoals ChatGPT hun huiswerk laten doen.
Een webtool die GPTZero heet, kan nauwkeurig vaststellen of een opstel is gemaakt door de kunstmatige intelligente chatbot ChatGPT. Dit kan helpen om leerlingen en studenten die AI gebruiken om te frauderen tegen de lamp te laten lopen. De tool werkt echter alleen als het bedrijf achter de populaire chatbot zijn onderliggende AI-modellen openbaar houdt.
Het bedrijf achter ChatGPT, OpenAI, werkt aan watermerken voor hun AI-teksten. Maar voordat het zover is, kunnen gebruikers de chatbot volop inzetten voor snode doeleinden. ChatGPT werd in december 2022 publiekelijk beschikbaar gemaakt, en is sindsdien door miljoenen mensen gebruikt. Er zijn talloze meldingen van leerlingen en studenten die de chatbot hun huiswerk laten maken.
'Mensen zijn huiverig voor onbekend voedsel'
Cagla Cinar onderzoekt onze afkeer van onbekend voedsel. Want waarom eten mensen bijvoorbeeld niet graag een reep gemaakt van insecten?
Detectietool
Computerwetenschapper Edward Tian van de universiteit Princeton in de VS heeft daarom nu een tool ontwikkeld, GPTZero, die toetst of een lap tekst afkomstig is van ChatGPT. De tool gebruikt de architectuur van ChatGPT, die openbaar is. ‘Onze methoden gebruiken het AI-model zelf om te beoordelen of de output een geval van plagiaat is’, zegt Tian.
Wanneer iemand een tekst in GPTZero plakt, gebruikt de tool een oudere versie van het AI-model achter ChatGPT. Zo bepaalt hij hoe waarschijnlijk het is dat de tekst door de AI is geproduceerd. Ook kijkt GPTZero hoe deze waarschijnlijkheid varieert in de verschillende delen van de tekst. Menselijke teksten kunnen afwisselend wel en niet op een AI-tekst lijken, maar in AI-teksten is die waarschijnlijkheid constanter, aldus Tian.
De onderzoekers testten de tool op artikelen die ChatGPT schreef op basis van nieuwskoppen van BBC News. GPTZero beoordeelde de teksten in ongeveer 98 procent van de gevallen juist. In minder dan 1 procent van de gevallen bestempelde hij het artikel als AI-tekst terwijl het in werkelijkheid van een menselijke maker was.
Transparantie
Detectietools zoals GPTZero werken vaak maar tijdelijk, namelijk totdat de AI-modellen leren hoe ze deze tools kunnen omzeilen. Maar Tian denkt dat hun systeem langdurig zal werken, omdat het gebruik maakt van de structuren van de AI. ‘Zolang OpenAI zijn modellen openbaar houdt, zal de detectietool een stap voorliggen’, zegt Tian.
Een woordvoerder van OpenAI onderstreept dat ze zich inzetten voor transparantie rond het gebruik van AI voor het schrijven van teksten. ‘Wij vragen gebruikers open kaart te spelen met hun publiek wanneer ze onze creatieve tools zoals DALL-E en ChatGPT gebruiken. We willen niet dat ChatGPT wordt gebruikt voor misleidende doeleinden op scholen of waar dan ook. We zijn dan ook manieren aan het ontwikkelen om iedereen te helpen teksten te identificeren die door dat systeem zijn geschreven.’
Race om de waarheid
Hulpmiddelen als GPTZero zijn niet nieuw, zegt informaticus Yulan He van King’s College London. Een soortgelijke tool van onderzoekers van MIT, IBM en Harvard werd in 2019 uitgebracht. Die kijkt naar individuele woorden die erop wijzen dat de tekst door kunstmatige intelligentie is gegenereerd. Het succes van ChatGPT heeft dit soort tools nu wel een stuk relevanter gemaakt.
