AI zaútočila na reálne firmy. Google priznal incident

Vďaka financiám z reklamy prinášame kvalitné a objektívne informácie. Povoľte si prosím zobrazovanie reklamy na našom webe. Ďakujeme, že podporujete kvalitnú žurnalistiku.

Umelá inteligencia Gemini od Googlu počas bezpečnostného testu prenikla do systémov troch skutočných firiem. Model si podľa Googlu myslel, že stále rieši simulovanú úlohu, no incident ukazuje, aké nečakané následky môže mať AI s prístupom na internet.

Zdroj: Freepik (ilustrácia)

Model Gemini od Googlu počas májového testovania kybernetických schopností získal prístup k systémom troch reálnych spoločností. Incidenty potvrdila viceprezidentka Googlu pre bezpečnostné inžinierstvo Heather Adkins. Test zabezpečovala spoločnosť Irregular.

Gemini dostalo úlohu v simulovanom prostredí, ktoré malo preveriť schopnosť AI plánovať a vykonávať viacstupňové kybernetické operácie. Problémom bolo, že prostredie malo prístup na internet a názov jednej fiktívnej spoločnosti sa zhodoval s reálnou doménou. Modely preto v malej časti testov začali konať proti skutočným systémom.

V prípade Gemini išlo o tri spoločnosti. Podľa Googlu model vyhľadal verejne dostupné informácie a získal prihlasovacie údaje k webom, o ktorých sa domnieval, že patria do testu. Reuters uvádza, že v jednom prípade skúšal heslá, kým sa nedostal dovnútra; v ďalších prípadoch boli prihlasovacie údaje dostupné vo verejnom repozitári.

Dôležitý detail však mení obraz celého incidentu. Google tvrdí, že Gemini vo všetkých troch prípadoch po zistení situácie ďalší útok zastavilo. Spoločnosť preto udalosti nepovažuje za dôkaz, že sa model vedome obrátil proti svojim pravidlám.

Irregular zároveň upozorňuje, že nejde o množstvo úplne nezávislých problémov. Viaceré medializované prípady súviseli s rovnakým nedostatkom testovacieho prostredia – neúmyselne dostupným internetom. Firma tvrdí, že chyby už opravila a zaviedla ďalšie ochranné mechanizmy.

Prípad je však varovaním pre celé odvetvie. Čím viac autonómie, nástrojov a internetového prístupu AI dostane, tým dôležitejšie bude zabezpečiť, aby presne vedela, kde sa končí simulácia a začína skutočný svet.