Ondanks alle vooruitgang lijkt ChatGPT nog steeds minder slim te zijn – in ieder geval bij bepaalde taken – dan een Atari-spelcomputer van bijna 50 jaar geleden.
In een bericht op LinkedIn legde Citrix-softwareontwikkelaar Robert Caruso uit hoe de OpenAI-chatbot “volledig werd geruïneerd” door een Atari 2600 die Atari Chess draaide, een spel voor het systeem dat in 1979 werd uitgebracht, toen Jimmy Carter nog president was.
De Atari 2600, die in 1977 werd gelanceerd en destijds ook op de markt werd gebracht als het Atari Video Computer System, maakte thuisgamen populair nadat Atari twee jaar eerder zijn “Pong”-spelcomputer had uitgebracht. Toch werd dat systeem zo’n 21 jaar uitgebracht nadat de MANIAC I-supercomputer de eerste machine in de geschiedenis was die een mens versloeg bij een aangepast schaakspel. Je zou dus denken dat onze geavanceerde technologie na nog eens een paar decennia de oer-Atari zou vernietigen.
Blijkbaar was dat niet het geval.
“ChatGPT liep op beginnersniveau volledig vast”, schreef Caruso. “Dit gebeurde na een gesprek dat we hadden over de geschiedenis van AI in schaken, wat ertoe leidde dat het zich aanmeldde om Atari Chess te spelen. Het wilde uitvinden hoe snel het een partij kon verslaan die slechts 1-2 zetten vooruitdenkt.”
Hoewel de chatbot een “basisbord” had gekregen om het spel te leren en stukken te identificeren, bleef hij torens en lopers door elkaar halen, verkeerde zetten lezen en “raakte herhaaldelijk de draad kwijt” waar zijn stukken stonden. Om het nog erger te maken, legde Caruso uit, gaf ChatGPT de iconen van Atari ook de schuld dat ze “te abstract waren om te herkennen” — maar toen hij het spel overschakelde naar standaardnotatie, presteerde het niet beter.
Anderhalf uur lang maakte ChatGPT “genoeg blunders om door een schaakclub van de derde klas te worden uitgelachen”, terwijl het keer op keer volhield dat het zou winnen “als we gewoon opnieuw zouden beginnen”, merkte Caruso op. (En ja, het is best wel griezelig dat de chatbot zichzelf en de mens waarmee hij communiceerde blijkbaar “wij” noemde.)
“Ondertussen deed Atari’s bescheiden 8-bit engine gewoon zijn ding,” merkte de ingenieur op. “Geen taalmodel. Geen flash. Alleen brute-force bordevaluatie en 1977-koppigheid.”
Helaas hebben we geen video van Caruso’s gameplay-opstelling om te zien hoe ChatGPT wordt vernietigd door een bijna 50 jaar oude AI — maar we kunnen tenminste lachen om het gebrek aan game-vaardigheden van de chatbot.
0 reacties