OpenAI a prezentat primele rezultate oficiale pentru Jalapeño, acceleratorul AI dezvoltat împreună cu Broadcom. Compania susține că cipul oferă o eficiență energetică superioară soluțiilor Nvidia testate.
Jalapeño pune accent pe eficiență
Datele au fost prezentate în cadrul conferinței Hot Chips. OpenAI a comparat Jalapeño cu sisteme Nvidia GB200 și GB300.
Potrivit companiei, acceleratorul oferă între 1,5 și 1,9 ori mai multă performanță per kilowatt. Latența totală ar fi între 1,7 și 3,6 ori mai mică.
Jalapeño are un consum nominal de 700 W. Sistemele Nvidia folosite pentru comparație au fost evaluate la 1.200 W și 1.400 W.
OpenAI a testat cipul cu trei modele open source. Printre acestea se numără GPT-OSS 120B, DeepSeek R1 670B și Kimi K2.5.
Rezultatele au fost obținute folosind suita publică InferenceX de la SemiAnalysis.
Un cip construit pentru inferență
Jalapeño este un ASIC, adică un cip conceput pentru sarcini specifice. În acest caz, OpenAI l-a optimizat pentru rularea modelelor AI.
Compania susține că arhitectura reduce transferul de date și întârzierile de comunicare. Fiecare nucleu are acces rapid la propria zonă de memorie.
Cipul folosește șase module HBM4 și oferă 216 GiB de memorie. Lățimea de bandă ajunge la 15,4 TB/s.
Prin comparație, GB300 are 288 GB de HBM3E. Soluția Nvidia oferă însă o capacitate mai mare de memorie.
Comparația favorizează Jalapeño
Rezultatele publicate de OpenAI trebuie privite cu anumite rezerve. Compania a pus accent pe performanța raportată la consumul de energie.
Această metodă avantajează Jalapeño, deoarece cipul are un consum nominal mult mai mic.
În testul cu GPT-OSS 120B, OpenAI indică un avantaj de 1,9 ori față de GB200. Pentru DeepSeek R1 și Kimi K2.5, avantajul este de 1,7 și 1,5 ori față de GB300.
OpenAI nu a publicat însă o comparație directă între Jalapeño și GB300 pentru GPT-OSS 120B.
GB300 rămâne mai puternic în testele respective. Nvidia are deja în pregătire generația Vera Rubin, iar OpenAI nu a oferit rezultate pentru această platformă.
Testele Jalapeño folosesc și predicția unui singur token. Nu au fost utilizate tehnici precum speculative decoding sau prefill-decode disaggregation.
Într-o configurație GB300 cu predicție multi-token, avantajul de eficiență al Jalapeño scade la aproximativ 1,5 ori.
Următoarea versiune va fi mai eficientă
Rezultatele actuale provin de la versiunea A0 a cipului. Aceasta este prima versiune produsă.
OpenAI lucrează deja la revizia B0. Compania estimează o îmbunătățire de aproximativ 25% a performanței per watt.
Producția ar urma să crească treptat în 2027. OpenAI nu urmărește însă să înlocuiască toate cipurile Nvidia.
Jalapeño este destinat în principal inferenței. Pentru antrenarea modelelor AI, compania continuă să depindă de acceleratoarele Nvidia.
O amenințare pentru Nvidia
Analiștii consideră că proiectul poate pune presiune pe Nvidia, în special pe segmentul inferenței.
O parte importantă a investițiilor în infrastructura AI provine de la companii care dezvoltă deja cipuri proprii. OpenAI se numără acum printre acestea.
Parteneriatul cu Broadcom arată și interesul tot mai mare pentru acceleratoare personalizate. Astfel de soluții pot reduce consumul și costurile operaționale.
OpenAI continuă, în același timp, să cumpere cipuri Nvidia. Cele două companii rămân partenere, chiar dacă OpenAI dezvoltă o alternativă pentru anumite sarcini.
About the Author
