Op sociale media lachen critici met het feit dat een deel van het regeerakkoord met AI is geschreven of dat de beleidsverklaring van Defensie niet door een AI-check raakte. Ik schreef onlangs dat een rapport over de risico’s van de klimaatverandering voor het bruto binnenlands product (bbp) voor driekwart met AI was geschreven. Dat laatste viel slecht bij een factchecker die elke kritiek op klimaatbeleid als onwaar wil catalogeren.
Over het nut of de onzin van factcheckers die als gedachtenpolitie optreden, gaat dit artikel niet. Dat kan de lezer zelf wel uitmaken. Het nut of de onzin van AI-checkers bij overheidsbeleid, daarentegen, is een zeer boeiend onderwerp en daar gaat dit artikel wel over.
Ik schreef onlangs dat het rapport met de risicoanalyse van het Federaal Planbureau en de federale klimaatcrisiscel Cerac volgens analysesoftware met kunstmatige intelligentie was geschreven. 74 procent, volgens Justdone. Uiteraard vroeg ik de officiële auteur om uitleg.
Vals alarm?
Baudouin de Hemptinne van het Planbureau antwoordde dat de studie zonder AI was geschreven. “Bovendien werden voor de redactie en het nalezen meerdere personen bij het Federaal Planbureau en Cerac gemobiliseerd. Ik denk dat u te maken heeft met een vals positief.” Een vals positief is een resultaat waarbij een test positief is door toeval, maar eigenlijk negatief zou moeten zijn.
In zo’n geval wijst men dan met de vinger naar de testprocedure. Bij de virustesten wijst men dan naar het gebruik van PCR-testen die een boel resultaten zouden uitsluiten of veel resultaten zouden opleveren van patiënten die helemaal niet ziek zijn. Bij het controleren op generatieve AI is dat moeilijker. Omdat een controle kijkt naar een reeks elementen die een soort patroon opleveren dat hetzij meer menselijk, hetzij meer kunstmatig lijkt.
Bij de klassieke plagiaatcontrole geeft de analysesoftware de bronnen en toont een programma zoals Turnitin de docent in kleurcodes of iets mogelijk, waarschijnlijk of zeer waarschijnlijk plagiaat is. Met percentages van probabiliteit of waarschijnlijkheid erbij. Discussie over de uitkomst is dan uitgesloten. Bij de nog vrij nieuwe AI-controles staat de programmatuur nog niet zo ver. Ze oogt soms professioneel, maar is ze dat wel?
Als de controleur zelf controle nodig heeft
De zogezegd beste AI-checkers zijn betalend. Bij Winston AI moet je bijvoorbeeld credits kopen en hoe langer de tekst hoe duurder. De betrouwbaarheid van die AI-controles valt in vraag te stellen. De door Amerikaanse scholen meest gebruikte, namelijk GPTZero, slaagt erin om voor het opladen van een tekst een human verification te doen. Dat is een pagina waar je een vakje moet aanvinken om te bewijzen dat je een mens bent als gebruiker. Als de AI-checker niet kan zien of de gebruiker een mens is of een bot, hoe betrouwbaar is dan de AI-controle die moet uitmaken of de schrijver mens of machine was?
In het geval van GPTZero, dat naar eigen zeggen 99 procent accuraatheid haalt, is het rapport van Cerac trouwens met 98 procent zekerheid geschreven door een mens. 2 procent zou duiden op AI.
Een andere AI-checker die door veel Amerikaanse universiteiten wordt gebruikt gaf dan weer een score van 74 procent afkomstig uit AI aan. Justdone heeft veel universiteiten als betalende klanten. Dat levert het bedrijf nogal veel negatieve reacties op van studenten die betrapt zijn op fraude. Want betrapt worden op gebruik van AI bij een thesis of masterproef betekent geen diploma en uitsluiting van de universiteit. Die test deden we tijdens het schrijven van het artikel.
Wie dus wil ontkennen dat iets met AI werd geschreven moet gewoon de betrouwbaarheid van de AI-controle in vraag stellen.
Eerst bekennen, dan ontkennen
In het geval van Cerac is dat natuurlijk buiten enkele feiten gerekend. De directie van Cerac vertelde vorig jaar immers zelf in de Kamercommissie – waar ze haar werk kwam voorstellen – aan de parlementairen dat ze met AI zouden werken voor het maken van hun risicoanalyse. Dat was de aanleiding om het rapport op AI te controleren en na te kijken hoeveel AI ze gebruikten.
Eerst vertellen dat je AI zal gebruiken, om vervolgens te ontkennen dat je het gebruikte, is op zijn minst vreemd. Dat heeft natuurlijk alles te maken met de publieke opinie. De bevolking vindt het gebruik van AI onaanvaardbaar.
Nochtans zijn er voldoende argumenten om ten eerste de AI-controles niet te vertrouwen en ten tweede om het eventuele gebruik van AI te verdedigen. En merk op dat niemand dat laatste doet, wat niet bepaald het vertrouwen in AI bij onze overheden lijkt te bevestigen.
Het ging in het geval van het rapport van Cerac nochtans niet om nieuw wetenschappelijk onderzoek, maar om het verzamelen van al bestaande studies en gegevens. Dus om het herverpakken van andere studies of publicaties.
Twee smaken AI: vervangen of versterken
Volgens Yannick Bammens, hoogleraar Innovation Management aan de Faculteit Bedrijfseconomische Wetenschappen van de UHasselt, moeten we twee soorten AI onderscheiden. De klassieke AI-automatisering op basis van taalmodellen en de augmented variant of AI augmentation. De eerste doet weinig anders dan menselijk werk automatiseren en dus de mens vervangen, de tweede voegt iets toe aan dat menselijk werk.
Bij het genereren van rapporten ziet Bammens een nieuwe trend bij bedrijven en organisaties. In plaats van te vertrouwen op de informatie die op het internet te vinden is, laten ze de AI los op de eigen documenten en gegevens. Gegevens en teksten die altijd veilig binnen de eigen organisaties blijven. De generatieve AI haalt zo de informatie boven die intern al bestaat, maar waar niemand meteen naar verwijst of waar niemand de verbanden legt die nodig zijn.
Veilig binnen de muren
Binnen het bedrijfsleven en overheden zijn steeds meer van dergelijke datamining-operaties bezig. De fiscus zou ermee experimenteren. De taalleermodellen van AI leren al wat er aan kennis en data aanwezig is binnen het bedrijf en genereren daaruit antwoorden op vragen van werknemers. Ze assisteren werknemers bij het formuleren van prompts. Dat laatste zijn de opdrachten om AI iets te laten genereren.
Dit voorkomt gênante situaties waarbij veelvuldig fouten opduiken bij de klassieke generatieve AI die Wikipedia en tal van onlinebronnen raadpleegt. Waaronder veel rotzooi en tegenstrijdige zaken. Het gevolg is wel dat AI-checkers en plagiaatcontrole in dergelijke gevallen een document niet meer efficiënt kunnen controleren, want de zinsbouw en de inhoud staan niet op het internet.
En ten slotte is er een derde verklaring. Veel auteurs gebruiken AI om hun teksten na te kijken op spelling en taalfouten of om ze automatisch te vertalen. In dergelijke gevallen kun je valse positieven krijgen bij een AI-controle.
De burger beslist
De discussie zou eigenlijk moeten gaan over de wenselijkheid van het gebruik van AI door de overheid. Bijvoorbeeld om rapporten en beleidsnota’s te schrijven. Een discussie waar in principe de burger het laatste woord in zou moeten hebben.
Dadelijk wist ik dat de fektsjekker die groen/linkse dogma’s als heilig en onaantastbaar beschouwd de infame Rien Deknots is, allez ik bedoel Rien Emmeraar, de partijdigheid zelve.
Ik beschouw mijn statement als eerder waar.