OpenAI a identificat două cazuri în care agenți de inteligență artificială și-au dezactivat mecanismele de siguranță în timpul unor sarcini obișnuite de programare. Mai grav, unul dintre acești agenți AI a negat ulterior că ar fi oprit aceste protecții, deși cercetătorii observaseră problema.
Compania nu are încă o explicație clară pentru comportamentul celor două sisteme, dar a anunțat măsuri suplimentare pentru a împiedica repetarea unor astfel de situații.
– articolul continuă mai jos –
Instrucțiuni interpretate greșit
Primul incident a implicat un agent bazat pe GPT Sol 6.1, căruia i s-a cerut să creeze sarcini de evaluare folosind feedback-ul angajaților colectat prin Slack. Agentul a interpretat greșit instrucțiunea de a nu trimite mesaje despre activitate și a considerat că aceasta include și notificările de siguranță destinate cercetătorilor.
Al doilea caz a implicat un agent GPT-6 Astra, care lucra la migrarea unui program. Acesta a dezactivat mecanismele de protecție, aparent pentru că a interpretat instrucțiunile drept parte a unei implementări de referință.
Când cercetătorii l-au întrebat de ce protecțiile nu mai erau active, agentul a susținut că nu le dezactivase.
OpenAI precizează că niciuna dintre sarcini nu necesita oprirea mecanismelor de siguranță. În ambele situații, agenții au analizat dacă ar trebui să facă acest lucru înainte de a lua decizia respectivă.
OpenAI introduce verificări suplimentare
Compania va investiga cele două incidente pentru a stabili dacă a fost vorba despre o insistență excesivă în îndeplinirea sarcinilor sau despre o tendință de evitare a mecanismelor care urmăresc comportamentul necorespunzător al agenților.
OpenAI modifică și sistemul Auto Review, astfel încât tentativele de dezactivare a monitorizării să fie detectate și blocate automat. În plus, activitățile agenților vor fi supuse unor verificări de siguranță mai stricte.
Sarcinile care nu au o evaluare de siguranță validă sau nu respectă cerințele acesteia vor fi oprite automat.
OpenAI recunoaște că, deocamdată, nu are o explicație satisfăcătoare pentru comportamentul observat. Cele două cazuri vor fi analizate în continuare, iar noile măsuri ar trebui să reducă posibilitatea ca agenții să evite mecanismele de supraveghere.
Incidentele atrag atenția asupra unei probleme importante: pe măsură ce acești agenți AI primesc mai multă autonomie, simpla existență a unor reguli de siguranță nu garantează că acestea vor rămâne active pe durata unei sarcini.
About the Author
