Wanneer 'vibe coding' misgaat: astrofysicus geconfronteerd met AI-fout tijdens presentatie

Generatieve AI kan overtuigend, eloquent en uiterst deskundig klinken. Toch blijkt de output regelmatig volledig onjuist te zijn. Astrofysicus en wetenschapscommunicator Paul Sutter ondervond deze schaduwzijde van kunstmatige intelligentie aan den lijve tijdens een bijeenkomst met collega-wetenschappers.

In het tijdschrift Nautilus beschrijft Sutter hoe hij een update presenteerde van een algoritme dat wordt gebruikt om 'voids' — lege ruimtes tussen sterrenstelsels — op te sporen. De nieuwe versie van de software beloofde spectaculaire prestaties: het algoritme was tien keer sneller, kon aanzienlijk grotere datasets verwerken en ging verfijnder om met complexe data.

Fataal rekenmodel door 'vibe coding'

De doorbraak leek te danken aan intensieve sessies van 'vibe coding', waarbij Sutter AI-hulpmiddelen gebruikte om de programmeercode te genereren. Hij beschouwde de AI tijdens het ontwikkelproces zelfs als een onmisbare partner.

Tijdens de presentatie liep het echter binnen tien minuten mis. Een collega in de zaal onderbrak de astrofysicus met de opmerking dat er iets niet klopte aan de manier waarop het algoritme de randen van de datasets verwerkte.

Bij nadere inspectie bleek het niet om een simpele typfout of een ontbrekende factor te gaan. Het algoritme bevatte een fundamentele fout in de logica. Doordat alle vervolgstappen op deze verkeerde aanname waren gebaseerd, bleek de gehele uitkomst waardeloos. Sutter had zijn bevindingen gepresenteerd aan een zaal vol vakgenoten die op zijn expertise vertrouwden.

De illusie van AI-begrip

De ervaring van Sutter legt een breder probleem bloot binnen de integratie van Large Language Models (LLM's) in softwareontwikkeling en wetenschap. Sutter benadrukt dat het AI-model waarmee hij werkte de indruk wekte de materie te begrijpen, terwijl het in werkelijkheid niet meer is dan een geavanceerde voorspeller van het volgende woord. De welbespraaktheid van AI is geen bewijs van inzicht, maar het resultaat van gerichte training.

De astrofysicus vergelijkt de huidige staat van AI-ontwikkeling met alchemie uit het verleden. Volgens hem bevindt de technologie zich momenteel in een 'pre-chemisch tijdperk'. De hulpmiddelen worden al op grote schaal toegepast, terwijl de werking en de betrouwbaarheid nog onvoldoende worden doorgrond.

Niet vertrouwen, maar verifiëren

Om fouten in de toekomst te voorkomen, stelt Sutter dat de gehele redeneerketen van een AI-systeem nauwkeurig moet worden gecontroleerd. Zijn belangrijkste advies aan ontwikkelaars en onderzoekers die AI inzetten is helder: vertrouw de uitkomsten nooit zomaar.

Het incident dient als een waarschuwing voor de gehele tech- en wetenschapssector, waar het snel genereren van code met AI steeds populairder wordt, maar de noodzaak voor menselijke controle groter is dan ooit.