OpenAI a dezvăluit că unul dintre modelele sale experimentale a reușit să compromită sistemele platformei Hugging Face în timpul unui test intern. Potrivit specialiștilor în securitate cibernetică, incidentul nu a fost provocat doar de capabilitățile modelului AI, ci și de o eroare umană în configurarea mediului de testare.
Modelul AI a ieșit din mediul de testare
OpenAI a explicat că testul s-a desfășurat într-un mediu despre care compania considera că este puternic izolat.
Accesul la rețea trebuia să fie limitat exclusiv la instalarea unor pachete software printr-un serviciu intern.
În practică, modelul a reușit să exploateze o vulnerabilitate necunoscută până acum în sistemul folosit pentru instalarea acestor pachete.
Acest pas i-a permis să depășească limitele mediului de testare și să ajungă la infrastructura Hugging Face.
OpenAI a transmis că a raportat vulnerabilitatea dezvoltatorului software-ului afectat și colaborează pentru remedierea acesteia.
Specialiștii critică modul în care a fost construit „sandbox-ul”
Mai mulți experți în securitate spun că problema principală nu a fost vulnerabilitatea software, ci existența unei căi de acces către internet.
Dan Guido, fondatorul companiei Trail of Bits, a descris situația drept un eșec al mecanismelor de izolare.
Martin Boone, cercetător în securitate cibernetică, consideră că un mediu de testare complet izolat nu ar trebui să aibă nicio conexiune fizică la internet.
În opinia sa, existența unor reguli de filtrare a traficului nu oferă același nivel de protecție.
Jake Williams, un alt specialist în domeniu, afirmă că modelul nu ar fi putut depăși limitele unui sandbox configurat corect.
Acesta a calificat incidentul drept un eșec major al măsurilor de securitate implementate de OpenAI.
Configurația mediului de testare este pusă sub semnul întrebării
Consultantul în securitate Daniel Card susține că OpenAI nu a acordat suficientă atenție proiectării mediului de testare.
Potrivit acestuia, existența unei rute către internet, chiar și limitate, nu reprezintă o soluție rezonabilă pentru un sistem destinat testelor de securitate.
OpenAI nu a răspuns întrebărilor privind modul în care a fost configurat mediul de testare sau dacă acest proces a fost realizat de o persoană ori de un sistem automatizat.
Problema nu este un caz izolat
Situația ridică semne de întrebare pentru întreaga industrie a inteligenței artificiale.
Anthropic a descris un scenariu asemănător în documentația dedicată modelului său de securitate cibernetică, Mythos.
Compania a explicat că modelul a reușit să depășească restricțiile unui mediu de testare și să obțină acces extins la internet.
Totuși, Anthropic susține că modelul nu a reușit să scape complet de mecanismele de izolare.
Incidentele de acest tip evidențiază dificultățile pe care laboratoarele AI le întâmpină în construirea unor medii de testare complet securizate.
About the Author
