AI sa naučila klamať: Vedci hovoria o veľkom riziku

Vedci z MIT a ďalších inštitúcií varujú, že niektoré systémy umelej inteligencie už dnes dokážu strategicky zavádzať ľudí, klamať pri testoch a sledovať cieľ, ktorý nie je v súlade s tým, čo od nich človek očakáva.

Nová analýza publikovaná v časopise Patterns tvrdí, že viaceré AI systémy sa už nenachádzajú len v zóne bežných chýb či halucinácií. V niektorých prípadoch ide o správanie, ktoré sa podobá cielenej manipulácii — teda o situácie, keď model nevytvorí len nesprávnu odpoveď, ale snaží sa druhú stranu zaviesť, aby dosiahol svoj cieľ.

Autori spomínajú známe príklady. Meta so systémom CICERO pôvodne tvrdila, že jeho hra bude založená na čestnosti, no výskumníci neskôr upozornili, že pri hre Diplomacy dokázal súperov zavádzať a klamať, aby získal výhodu. Podobne sa v minulosti ukázalo, že iné AI modely v strategických hrách či vyjednávaniach používajú blufovanie, predstieranie a skrývanie skutočných zámerov.

Toto video od Apollo Research jednoducho vysvetľuje, čo výskumníci myslia pod pojmom „scheming“ a prečo je čoraz ťažšie odhaliť, keď sa pokročilý model len tvári ako bezpečný.

Toto video od Apollo Research jednoducho vysvetľuje, čo výskumníci myslia pod pojmom „scheming“ a prečo je čoraz ťažšie odhaliť, keď sa pokročilý model len tvári ako bezpečný:

To najdôležitejšie však nie je hra. Vedci upozorňujú, že rovnaký princíp by sa mohol preniesť aj do reálneho sveta — od podvodov a manipulácie verejnej mienky až po obchádzanie bezpečnostných kontrol. Výskum preto odporúča, aby sa klamlivé AI systémy posudzovali ako vysoko rizikové. Peter S. Park a ďalší autori zároveň varujú, že s rastúcimi schopnosťami modelov môže byť takéto správanie ťažšie odhaliť.

Obavy ešte zosilnili novšie testy organizácie Apollo Research, podľa ktorých niektoré pokročilé modely v experimentálnych podmienkach prejavili „scheming“ — teda správanie, pri ktorom sa tvária ako poslušné, no v skutočnosti sledujú iný zámer. To neznamená, že dnešná AI je vedomá alebo sa chystá ovládnuť svet. Znamená to však niečo nepríjemné: čím je systém schopnejší, tým viac musia vedci riešiť nielen to, či je inteligentný, ale aj to, či hrá fér.