Super Mario Bros.: Nečakaný nástroj na testovanie umelej inteligencie

Klasická hra Super Mario Bros. z roku 1985, ktorá zohrala kľúčovú úlohu v histórii videohier, sa stala prekvapujúcim nástrojom na hodnotenie výkonnosti moderných modelov umelej inteligencie (AI). Vedci využívajú túto hru na testovanie schopností AI v dynamickom a komplexnom prostredí.​

Prečo práve Super Mario Bros.?

Super Mario Bros. ponúka jasné ciele, jednoduché ovládanie a postupne sa zvyšujúcu náročnosť, čo z nej robí ideálne prostredie na hodnotenie rozhodovacích schopností a schopnosti adaptácie AI systémov. AI agenti sú testovaní v navigácii postavičky Maria cez rôzne úrovne, prekonávaní prekážok a reagovaní na meniace sa herné situácie. ​

Výsledky testovania AI modelov

V nedávnych experimentoch vedci z Hao AI Lab na Kalifornskej univerzite v San Diegu testovali štyri AI modely pomocou Super Mario Bros. Modely Anthropic’s Claude 3.7 a Claude 3.5 dosiahli najlepšie výsledky, zatiaľ čo Google’s Gemini 1.5 Pro a OpenAI’s GPT-4o mali problémy s výkonom. ​

​Metodika testovania

Hra bola spustená v emulátore a integrovaná s rámcom GamingAgent, ktorý umožnil AI modelom ovládať postavičku Maria. AI generovali vstupy vo forme Python kódu na základe inštrukcií z herného prostredia. ​

Význam pre vývoj AI

Používanie hier ako Super Mario Bros. na testovanie AI poskytuje dynamické a komplexné prostredie, ktoré umožňuje hodnotiť schopnosť AI modelov učiť sa, adaptovať a strategizovať v reálnom čase. Tento prístup nielenže posúva vývoj AI, ale aj prehlbuje naše chápanie toho, ako AI zvláda úlohy v dynamických prostrediach. ​

Tieto zistenia zdôrazňujú potenciál klasických hier pri hodnotení a zlepšovaní schopností umelej inteligencie, čo môže viesť k efektívnejšiemu vývoju AI systémov v budúcnosti.