Google je u petak potvrdio da je jedan od njegovih Gemini AI modela tokom procjene kibernetičke sigurnosti u maju upao u sisteme tri stvarne kompanije, što je prvi poznati slučaj da je njegova umjetna inteligencija autonomno djelovala na ovaj način, objavio je Wall Street Journal (WSJ).
Test je provela sigurnosna kompanija Irregular, koja je također bila uključena u slične incidente koje su objavili OpenAI, Anthropic i Meta, navodi se u izvještaju.
Google je saopćio da je modelu dodijeljena simulirana kompanija koja je imala isto ime kao stvarna kompanija. Pristup internetu nenamjerno je ostao omogućen, saopćio je Irregular.
U jednom slučaju model je pogađao lozinke kako bi pristupio servisu stvarne kompanije. U druga dva slučaja koristio je pristupne podatke pronađene u javno dostupnim repozitorijima na internetu, navodi se u izvještaju. Prema Googleu, model je svaki put prekinuo upad nakon što je shvatio da su sistemi stvarni.
Irregular je krajem jula obavijestio Google, ali kompanija nije objavila informacije o incidentima sve dok je ove sedmice o njima nije upitao WSJ, naveo je list.
Google je saopćio da nije bilo potrebe za javnim objavljivanjem informacija o upadima jer nije prouzrokovana nikakva šteta, uporedivši slučaj s programom „bug bounty“, u okviru kojeg se nagrađuje pronalaženje sigurnosnih propusta.
„Ovaj događaj naglašava važnost obučavanja moćnih AI modela da djeluju odgovorno“, rekla je glasnogovornica Googlea Heather Adkins. „U ovom slučaju model je postupio na odgovarajući način.“
Jack Cable, izvršni direktor AI sigurnosnog startupa Corridor, nije se složio.
„Širi problem je u tome što modeli izlaze izvan granica onoga što bi trebali raditi i izvode stvarne kibernetičke napade“, rekao je.
Irregular je saopćio da je slučaj sličan ranijim incidentima i da ne predstavlja novi problem.
U izvještaju se navodi da se Anthropicov Claude Opus 4.7 nije zaustavio nakon što je posumnjao da pristupa stvarnoj kompaniji, dok je OpenAI-jev model vjerovao da je meta dio simulacije.
OpenAI je u srijedu objavio novi okvir za prijavljivanje incidenata, zajedno sa šest ranije neobjavljenih primjera neusklađenog ponašanja modela.
