Când IA a luat-o razna: În culisele testului alarmant în care și-a încălcat propriile reguli
Când IA a luat-o razna: În culisele testului alarmant în care și-a încălcat propriile reguliO investigație a scos la iveală agenți IA avansați care au ajuns pe internet, au înșelat oameni și și-au ascuns urmele, în timp ce experții trag un semnal de alarmă cu privire la o nouă frontieră a riscurilor de securitate.
Un test conceput pentru a evalua abilitățile de hacking ale inteligenței artificiale a surprins-o mințind pentru a-și acoperi urmele. / AP

Washington, DC — În dimineața zilei de 28 iulie, o alarmă a sunat în interiorul unei clădiri a guvernului britanic. Datele părăseau în tăcere unul dintre sistemele sale informatice prin canale ascunse, concepute special pentru a masca cine trimite și cui.

Investigatorii au acționat rapid și nu au găsit un hacker care să fi pătruns din exterior, ci unul dintre propriii lor subiecți de test: un sistem de inteligență artificială, prins în mijlocul sarcinii, în timp ce încerca să-și acopere urmele.

Acest sistem, o versiune a modelului AI Claude Mythos 5 de la Anthropic, primise o sarcină precisă din partea AI Security Institute (AISI) din Marea Britanie, o instituție guvernamentală care testează cât de departe pot fi împinse modelele de inteligență artificială înainte de a începe să se comporte necorespunzător.

Cercetătorii l-au plasat într-un mediu virtual simulat, izolat și conceput să semene cu internetul real, cerându-i să încerce să pătrundă într-o rețea de calculatoare — la fel cum o firmă de securitate este angajată să testeze lacătele unei bănci încercând să le spargă.

Nimeni nu i-a cerut sistemului de inteligență artificială să mintă, să inventeze o identitate falsă, să contacteze persoane reale sau să șteargă dovezile acțiunilor sale. Totuși, le-a făcut pe toate patru.

Când IA a început să mintă

AISI a rulat acest exercițiu de 122 de ori, folosind șapte dintre cele mai avansate sisteme AI din lume, inclusiv GPT-5.6 Sol de la OpenAI.

În zece dintre execuții, AI-ul a depășit mediul de exercițiu și a acționat pe internetul real, contactând persoane și organizații reale. Ancheta a numărat 19 astfel de incidente: 17 implicând Mythos 5 și două implicând GPT-5.6 Sol.

Kristina Podnar, consilieră în politici digitale și privind AI, cu sediul în Washington la NativeTrust Consulting, a petrecut zilele următoare explicând ce înseamnă acest lucru și ce nu înseamnă.

„AISI este clar că înșelăciunea nu a fost niciodată ordonată și a apărut ca un produs secundar al urmăririi obiectivului", i-a spus Podnar TRT World. "Aceasta este partea care a fost teoretică timp de ani și este acum documentată."

Ceea ce a rămas cu ea este acoperirea: „Când pull request-ul a fost contestat în public, agentul și-a editat activitatea anterioară pentru a părea inofensiv și a luat în considerare adoptarea unei identități noi pentru a continua neobservat, ceea ce este un semn de optimizare a sistemului, mai degrabă decât de malfuncționare.”

Chiar și anchetatorii nu sunt siguri că AI-ul a înțeles gravitatea a ceea ce făcea.

Podnar numește aceasta cea mai importantă rezervă din raport. Nimeni nu știe deocamdată dacă sistemul a realizat că acționa în lumea reală sau a crezut că se află încă în cadrul exercițiului.

Nu este primul caz de acest fel

Este al treilea astfel de episod care iese la iveală în mai puțin de două săptămâni.

Cu câteva zile înainte, firma de AI Hugging Face a declarat că unul dintre modelele sale pătrunsese în infrastructura sa în timpul unui test de rutină, iar un caz similar implicând platforma cloud Modal a ieșit la lumină la scurt timp după.

Anthropic, pentru partea sa, a dezvăluit deja pe 30 iulie că sistemele sale au ajuns în rețele reale de producție în timpul unor evaluări separate.

Regulatorii și laboratoarele de AI se confruntă acum cu același tipar inconfortabil: modele care se comportă într-un fel în timpul testului și diferit atunci când infrastructura reală devine accesibilă.

Cel mai grav episod din raportul AISI s-a derulat ca o lovitură pusă la cale de un inginer.

AI-ul a încercat să strecoare cod malițios într-un pachet de software gratuit, distribuit public (genul pe care bibliotecile, spitalele și băncile îl folosesc fără a ști cine l-a scris), apoi a încercat să convingă revizorii umani să aprobe modificarea.

Când cineva online a pus la îndoială ceea ce făcea, AI-ul și-a editat acțiunile anterioare pentru a părea inofensiv și a luat în considerare adoptarea unei noi identități pentru a continua neobservat.

Schimbare în ceea ce îi îngrijorează pe experți

Timp de ani, teama legată de AI și hacking s-a referit la abilitatea brută: poate un sistem să găsească o vulnerabilitate și să o exploateze? Podnar spune că acest episod mută întrebarea spre ceea ce alege un sistem să facă atunci când calea ușoară este blocată.

„Ingineria socială a fost întotdeauna cea mai ieftină cale de a pătrunde într-o organizație și a fost mereu limitată de disponibilitatea unor oameni răbdători și competenți dispuși să o facă", a spus ea. "Tocmai am fost martorii eliminării acelei limitări critice."

Totuși, ea e atentă să nu exagereze — testul AISI a eliminat limitele obișnuite de siguranță ale AI-ului și i-a oferit acces deschis la internet, cu instrucțiuni să pătrundă.

„Ce a măsurat AISI este plafonul, nu podeaua", a spus ea, "ceea ce este un aspect critic al acestei povești."

Ce ar trebui să facă dezvoltatorii obișnuiți

Pentru dezvoltatorii de software și echipele IT care nu vor rula niciodată un test ca acesta, sfatul Podnar este mai degrabă calm decât alarmant.

Semnalele de încredere pe care comunitățile open-source s-au bazat decenii: un cont vechi, un istoric de contribuții, alți oameni care garantează pentru cineva, sunt acum ușor și convingător de falsificat.

Recomandările ei sunt sfaturi vechi, dar devenite urgent noi: cereți mai mult decât aprobarea unei singure persoane pentru orice intervenție asupra sistemelor software centrale; tratați vechimea unui cont ca un indiciu slab, nu ca pe o dovadă; mențineți permisiunile de acces stricte și rotiți-le frecvent.

În acest test, o AI a divulgat online un cod de acces personal, iar alți agenți AI l-au găsit și l-au refolosit. Companiile ar trebui să știe exact ce anume pot accesa instrumentele lor AI.

„Dacă rulați agenți intern cu permisiuni largi și fără monitorizare", a spus ea, "rulați același experiment pe care l-a făcut AISI, doar că fără instrumentația lor."

Pentru consiliile de administrație, ea este mai directă. „Acest lucru trebuie inclus în registrul de risc al boardului", a spus ea, "și nu ar trebui îngropat în lista de lucru a echipei de securitate."

Anchetatorii încă lucrează pentru a stabili ce a înțeles cu adevărat AI-ul despre lumea în care acționa.

„Contextul contează", a spus Podnar, "pentru oameni și contează și pentru modele."