Google recuperează module DDR4 din servere retrase și le reutilizează în infrastructura pentru inteligență artificială. Compania recurge la această soluție pe fondul deficitului de memorie pentru centrele de date.
Informația a fost prezentată de Nikhil Cherian, director senior pentru infrastructura lanțului de aprovizionare la Google Cloud. El a explicat că industria AI a trecut de la o perioadă dominată de lipsa puterii de calcul la una în care memoria reprezintă principala limitare.
Memoria a devenit o problemă majoră pentru AI
Potrivit lui Cherian, memoria de înaltă performanță reprezintă acum peste 75% din costul componentelor unui server AI. Cererea este alimentată de modelele multimodale, arhitecturile de tip Mixture-of-Experts și aplicațiile AI cu agenți.
Google încearcă să reducă presiunea asupra memoriei prin soluții hardware și software. Compania optimizează bibliotecile de funcții, arhitectura modelelor și compresia KV Cache.
În paralel, Google a început să recupereze componente din serverele scoase din uz. Strategia include module DDR4 care pot fi reutilizate în infrastructura mai nouă.
Adaptoare speciale pentru memoria DDR4
DDR4 nu poate fi conectată în mod direct la platformele moderne proiectate pentru generații mai noi de memorie. Google a dezvoltat, de aceea, adaptoare hardware care permit integrarea modulelor recuperate.
Astfel, compania poate scoate memoria din servere retrase și o poate introduce în sisteme AI mai noi. Practica face parte dintr-o strategie internă de reciclare a componentelor.
Google avea deja un sistem pentru recuperarea componentelor din echipamentele de centre de date. Compania spune că, în 2024, a recuperat aproximativ 8,8 milioane de componente din hardware dezafectat.
Noua utilizare a modulelor DDR4 arată însă cât de mare a devenit presiunea asupra pieței de memorie.
Google încearcă să reducă și consumul de memorie
Reciclarea modulelor nu este singura măsură luată de companie. Google lucrează și la reducerea cantității de memorie necesare pentru sarcinile AI.
Optimizarea modelelor și comprimarea KV Cache pot diminua necesarul de memorie pentru anumite operațiuni. Aceste măsuri sunt importante deoarece acceleratoarele AI pot rămâne neutilizate dacă nu au suficientă memorie sau lățime de bandă.
TPU 8i folosește memorie HBM3e
Google dezvoltă în paralel procesoare specializate pentru diferite sarcini AI. Compania a prezentat TPU 8i pentru inferență și TPU 8t pentru antrenarea modelelor.
TPU 8i este proiectat pentru sarcini care necesită latență redusă. Fiecare cip integrează 288 GB de memorie HBM3e și oferă o lățime de bandă de până la 8,6 TB/s, potrivit informațiilor prezentate de Google.
Sistemul include și 384 MB de SRAM integrată. Aceasta poate păstra date active, inclusiv elemente din KV Cache, fără accesarea memoriei externe.
Pentru sarcinile de la nivelul serverului, Google folosește procesoare Axion bazate pe arhitectura Arm. Acestea utilizează memorie DDR5.
DDR4 primește astfel o nouă viață
Faptul că Google recuperează DDR4 din servere retrase reprezintă un semnal al presiunii existente pe piața DRAM.
Compania nu renunță la memoria modernă, dar încearcă să folosească toate resursele disponibile. Reutilizarea modulelor vechi poate reduce atât necesarul de achiziții, cât și cantitatea de hardware care ajunge la casare.
Google nu este singurul gigant din domeniul tehnologiei care explorează această abordare. Meta a dezvoltat propria soluție pentru reutilizarea memoriei DDR4 în servere moderne prin intermediul tehnologiei CXL.
Fenomenul arată că explozia infrastructurii AI schimbă inclusiv modul în care companiile își gestionează memoria existentă. DDR4, o tehnologie considerată veche în raport cu DDR5, poate primi astfel un nou rol în centrele de date.
About the Author
