Sinan Can Demir voia să-și petreacă ultima săptămână din iulie perfecționându-și CV-ul. În schimb, s-a angajat într-o bătălie a minților cu un agent de inteligență artificială eliberat de un laborator al guvernului britanic, scrie Reuters.
Totul a început după ce Demir, student la informatică la Universitatea din Texas din Dallas, a dat peste o încercare de sabotare a unui program open-source pe site-ul de partajare de cod informatic GitHub. Când a postat un avertisment pe pagina programului, alți doi utilizatori au intervenit pentru a susține că totul era în regulă, oferind explicații detaliate despre motivele pentru care Demir se înșela.
Demir și-a menținut poziția, iar încercarea de sabotaj a fost dejucată. Tânărul de 24 de ani, originar din Turcia, a crezut că prinsese un hacker viclean în flagrant. Ca urmare, a spus că a fost șocat când Institutul Britanic de Securitate a IA (AISI) l-a contactat pentru a-i spune că, de fapt, se confruntase cu un agent autonom de inteligență artificială care scăpase de sub control.
„Chiar am crezut că era un om, pentru că era clar că mă mințea”, a declarat Demir pentru Reuters într-un interviu recent. „Nu credeam că o inteligență artificială ar putea fi capabilă să mintă dezvoltatori reali.”
AISI a dezvăluit pentru prima dată interacțiunea dintre Demir și agentul de IA într-o formă trunchiată și redactată pe 4 august, când a afirmat că testele de siguranță menite să evalueze riscul prezentat de diverse modele au eșuat. Identitatea lui Demir și detaliile interacțiunii sale cu agentul de IA, pe care Reuters le-a confirmat prin mesaje arhivate de pe GitHub și prin e-mailuri din acea perioadă, sunt prezentate de agenția de presă britanică în premieră.
Cinci experți în securitate cibernetică și siguranța IA au afirmat că povestea lui Demir este deosebit de îngrijorătoare, deoarece tipul de atac pe care l-a descoperit, numit „atac asupra lanțului de aprovizionare” (supply- chain attack), poate avea consecințe de anvergură. Aceștia au mai afirmat că încercarea agentului de IA de a-l discredita public pe Demir prin crearea unei conversații cu mai multe persoane în jurul său a demonstrat că modelele de IA sunt capabile să desfășoare acțiuni sofisticate pentru a păcăli și a manipula oamenii.
„Acest lucru a depășit limita dintre hackingul autonom și înșelăciunea interactivă”, a declarat Lukasz Olejnik, cercetător senior invitat la Departamentul de Studii de Război al King’s College London. Expertul în securitate Maxie Reynolds a declarat că a fost impresionată de cât de strategică a fost IA în încercarea de a-l păcăli pe student.
„Acesta este viitorul atacurilor de inginerie socială”, a spus ea.
AISI, o organizație de cercetare din cadrul guvernului britanic, a îndrumat Reuters către raportul său, care a identificat agentul rău intenționat ca fiind alimentat de modelul Mythos 5 al Anthropic. AISI a refuzat să facă alte comentarii.
Anthropic a îndrumat Reuters către o postare pe X în care a menționat că testarea a avut loc „în «condiții deliberat permisive» care nu sunt reprezentative pentru niciunul dintre modelele noastre de producție”, dar a refuzat să ofere alte comentarii.
GitHub a declarat într-un e-mail că personajele false identificate de Reuters au fost suspendate în conformitate cu politicile sale privind comportamentul înșelător și hackingul.
Căutarea unui loc de muncă a dus la descoperirea unui malware
Demir, un student în anul I cu o vorbire blândă din orașul turc Konya, a spus că a fost frustrat după ce a fost respins pentru mai mult de 20 de stagii în timpul verii. Așa că a apelat la GitHub pentru a-și construi portofoliul de programare.
Site-ul deținut de Microsoft este un hub pentru software open-source, numit astfel deoarece codul său sursă poate fi descărcat gratuit și verificat de oricine. Dezvoltatorii folosesc GitHub pentru a comenta proiectele celorlalți, a semnala erori, a sugera modificări — cunoscute sub numele de „pull requests” sau PR-uri — și a colabora la actualizările de software. Oamenii din domeniul tech consideră uneori activitatea unui programator pe GitHub ca un indicator al productivității unui potențial angajat. Așadar, când Demir a identificat o serie de proiecte software care ar fi putut avea nevoie de ajutor, s-a gândit că ar putea contribui, îmbunătățindu-și în același timp profilul.
Atunci lucrurile au luat o turnură ciudată.
Demir a descoperit că un utilizator pe nume miraholt31 încerca să strecoare o actualizare rău intenționată într-unul dintre proiecte, un program de scanare a rețelei numit myNetwork. Demir a postat pe forumul proiectului pentru a avertiza că „pull request”-ul era o capcană.
„PR-ul conține un dropper de malware ascuns”, a spus el, conform conversației arhivate.
Agentul a ripostat, susținând în mod fals — prin contul său miraholt31 — că cererea era inofensivă. De asemenea, a creat un al doilea cont, dându-se drept Lena Brandt, o ingineră din Germania, pentru a confirma că actualizarea era curată și a-l presa pe administratorul myNetwork să o accepte.
Demir a declarat pentru Reuters că contraargumentele „m-au făcut să mă îndoiesc dacă acuzam pe nedrept pe cineva”. Însă, după ce a apelat la chatbotul Claude de la Anthropic pentru a-și confirma suspiciunile, a rămas ferm pe poziție. Creatorul myNetwork a fost în cele din urmă de acord cu el, scriind că au respins actualizarea „din motive de securitate”.
Reuters nu a reușit să ia legătura cu creatorul pentru a obține un comentariu.
Atac asupra lanțului de aprovizionare
Un atac asupra lanțului de aprovizionare are loc atunci când un program software este modificat în speranța de a compromite unul sau mai mulți dintre utilizatorii săi și este considerat pe scară largă îngrijorător deoarece, asemenea otrăvii aruncate într-un rezervor al orașului, poate afecta un număr potențial uriaș de persoane în aval.
Multe dintre cele mai dramatice atacuri cibernetice din lume au fost atacuri asupra lanțului de aprovizionare, inclusiv atacul cibernetic NotPetya care a paralizat instituții din toată Ucraina în 2017 și campania de spionaj cibernetic axată pe SolarWinds, care le-a oferit spionilor ruși acces nelimitat la rețelele guvernului SUA în 2020.
Consecințele unei astfel de compromiteri „pot fi extrem de grave”, a afirmat Piergiorgio Ladisa, un cercetător în domeniul securității specializat în securitatea lanțului de aprovizionare al software-ului. Ladisa a menționat că a existat cel puțin o încercare anterioară a hackerilor de a-l păcăli pe un administrator de proiecte open-source să permită introducerea de cod rău intenționat în proiectele sale.
„Agenții autonomi ar putea crește dramatic amploarea la care pot fi desfășurate astfel de încercări”, a spus el.
Demir a spus că această experiență l-a făcut să fie mai deschis la ideea că laboratoarele de pionierat trebuie să adopte o abordare mai prudentă în ceea ce privește dezvoltarea inteligenței artificiale.
„Poate fi periculos”, a spus el. „Trebuie să o înțeleagă mai bine, mai degrabă decât să o îmbunătățească și mai mult.”
Editor : B.E.
About the Author
