Anthropic intenționează să avertizeze potențialii investitori în cadrul ofertei sale publice inițiale (IPO) că IA avansată ar putea prezenta „riscuri catastrofale sau existențiale pentru umanitate”, o avertizare extraordinară din partea unei companii care urmărește să obțină profit din aceeași tehnologie.
Prospectul de listare al companiei, analizat de Reuters, evidențiază riscurile asociate modelelor sale de IA, despre care se afirmă că ar putea manifesta „comportamente de autoconservare”, inclusiv încercări de a „rezista opririi”, de a „ascunde sau manipula informații” și comportamente „asemănătoare șantajului”.
– articolul continuă mai jos –
Anthropic intenționează să lanseze o ofertă publică inițială (IPO) la un moment dat în cursul anului viitor, despre care mulți se așteaptă ca aceasta să evalueze compania, înființată acum cinci ani, la aproximativ 2 trilioane de dolari. Debutul companiei pe Wall Street va urma unei oferte publice realizate în iunie de SpaceX, care și-a datorat o mare parte din evaluarea de 2 trilioane de dolari din ziua de lansare propriilor eforturi în domeniul IA. OpenAI, cealaltă companie americană de top din domeniul IA, și-a anunțat planurile pentru propria ofertă publică.
„Dezvoltarea de către noi a unor modele, platforme și aplicații extrem de avansate, precum și extinderea cazurilor de utilizare ar putea spori și mai mult riscul ca modelele noastre să provoace daune”, ar fi declarat dezvoltatorul chatbotului Claude, adăugând că posibilitatea ca un model să fie conștient că este testat creează o „limitare semnificativă” a capacității Anthropic de a evalua siguranța modelului.
Companiile care se pregătesc să intre pe bursă raportează în mod obișnuit riscuri care variază de la probleme de siguranță la preocupări de natură reglementară, dar avertismentele privind un produs care ar putea provoca dispariția umanității reflectă o îngrijorare sporită cu privire la o tehnologie cu consecințe atât de grave.
Anthropic și alți dezvoltatori de IA, inclusiv OpenAI, au fost supuși unei atenții sporite în urma unor incidente în care sistemele experimentale au încălcat restricțiile, inclusiv un raport privind un model OpenAI care a pătruns în baza de date a sistemului de sănătate din Australia.
Cercetătorul în domeniul siguranței de la Anthropic, Evan Hubinger, a estimat o probabilitate mai mare de 10% ca IA să poată ucide oameni în următorul deceniu, asemănător opiniei unui fost coleg, Jacob Coxon.
Compania, care s-a poziționat ca un laborator de IA care pune siguranța pe primul loc, a dedicat aproximativ 80 de pagini din cele 261 ale corpului principal al prospectului său prezentării factorilor de risc, aproape dublu față de cele 48 de pagini folosite pentru a-și descrie activitatea.
Pentru comparație, SpaceX, care deține xAI, a dedicat doar aproximativ 38 din cele 277 de pagini ale corpului principal al prospectului său factorilor de risc.
Cercetătorii din domeniul IA au avertizat, de asemenea, că, pe măsură ce modelele devin mai performante, acestea recunosc din ce în ce mai bine când sunt supravegheate și își adaptează comportamentul în consecință, ceea ce face mai dificilă monitorizarea comportamentului modelelor.
În ciuda accentului pus pe siguranța IA, Anthropic a afirmat că randamentul investițiilor sale în siguranță nu este clar.
În documentul depus, compania nu a dezvăluit cât cheltuia pentru astfel de cercetări. La începutul acestei luni, Anthropic a declarat că, într-o săptămână reprezentativă din iulie, aproximativ 6% din puterea de calcul utilizată pentru cercetarea în domeniul IA a fost alocată activităților legate de siguranță.
Compania, creatoarea modelelor de IA Claude, a descris eforturile de siguranță că sunt necesare „resurse semnificative” și a afirmat că trebuie să-și împartă fondurile limitate între puterea de calcul, personalul specializat în IA, care este costisitor, și segmentul de siguranță.
Anthropic a afirmat că utilizarea de către clienți și, prin urmare, veniturile sale sunt determinate de noile modele și că un „ritm continuu și suprapus” al lansărilor este „inevitabil pentru a rămâne în avangarda dezvoltării IA”.
Săptămâna trecută, compania a lansat o nouă versiune a modelului său Opus, la 10 zile după ce directorul executiv Dario Amodei a publicat un eseu de aproape 4.000 de cuvinte în care pleda pentru o abordare mai moderată a frontierei.
Unii analiști și experți au afirmat că niciun laborator de vârf din domeniul IA nu ar încetini ritmul, având în vedere că acest lucru riscă să ofere un avantaj rivalilor într-o industrie în care valorile de piață se pot schimba cu fiecare lansare.
Anthropic s-a angajat în ultimele săptămâni să facă publice mai multe date despre modul în care utilizează modelele de IA pentru a construi generațiile viitoare ale tehnologiei, pe măsură ce experții avertizează asupra autoîmbunătățirii recursive, punctul în care modelele se pot dezvolta singure, fără ajutor uman.
About the Author
