De când cu boom-ul ăsta AI, din ce în ce mai mulți oameni experimentează cu LLM-uri pe propriile sisteme. Este și cazul unui utilizator de reddit care folosea un model cu 20 de miliarde de parametri pe o placă video GeForce RTX 5070 Ti, însă LLM-ul s-a dovedit insuficient pentru nevoile sale. Așa că a făcut trecerea la un model 35B și l-a lăsat să-și facă de cap în cei 128GB de memorie RAM pe care o avea în sistem. Din nefericire, după numai 90 de minute, un stick de memorie a dat crash și nu mai era recunoscut.
Vorbim despre o configurație cu 128GB de memorie DDR4 ECC formată din 16 module a câte 8GB RAM. Redditor-ul a rulat Orinth-1.5-35B-A3B și l-a lăsat să lucreze în fundal cât a plecat de acasă. După circa 90 de minute, acesta și-a găsit PC-ul nefuncțional, iar după o inspecție rapidă a determinat că un stick de 8GB RAM este complet mort. Teoria supraîncălzirii a fost eliminată din start, acesta susținând că toate modulele operau la temperaturi normale. Iar pentru o vreme, a crezut că întâmplarea asta a fost cauzată de un simplu modul cu probleme.
Au mai trecut însă 8-9 zile, timp în care sistemul a rulat același LLM cu 35 de miliarde de parametri. Dar la o verificare de rutină, eroul poveștii noastre a descoperit că un al doilea stick de RAM trage să moară. Iar cauza este destul de evidentă: memoria DDR4 nu este destul de puternică încât să susțină astfel de sarcini. Vitezele relativ mici, combinate cu vârsta modulelor și cu cerințele imense ale LLM-ului, au dus la degradarea rapidă a celor două module, deci pe viitor vă recomand să fiți atenți atunci când rulați AI local.
The post Inteligența artificială nu cauzează doar scumpiri, ci duce și la moartea plăcuțelor de RAM appeared first on connect România.
About the Author
