OpenAI afferma di non essere soddisfatta dell'hardware di inferenza Nvidia, ora guarda ad AMD, Cerebras, Groq

OpenAI non è più soddisfatta dei chip IA di Nvidia, soprattutto per quanto riguarda la velocità con cui possono rispondere agli utenti. L'azienda ha iniziato a cercare altre opzioni l'anno scorso, e ora sta parlando con AMD, Cerebras, e stava anche parlando con Groq prima che venisse bloccato.

Questa tensione è diventata reale quando OpenAI si è resa conto che i chip di Nvidia non erano abbastanza veloci per cose specifiche come scrivere codice e gestire attività software-to-software.

Un insider avrebbe affermato che OpenAI vuole nuovi chip per gestire almeno il 10% delle sue esigenze di inferenza in futuro. Questa è la parte in cui l'IA risponde agli utenti, non la parte in cui apprende.

OpenAI vuole chip più veloci per la codifica e le risposte agli utenti

La maggior parte del lavoro attuale di OpenAI funziona ancora su Nvidia, ma dietro le quinte sta testando chip che potrebbero rendere tutto più veloce.

Questo include chip dotati di SRAM, che aiuta ad accelerare le cose mettendo la memoria proprio accanto al processore. Nvidia e AMD utilizzano ancora memoria che si trova all'esterno del chip, il che rallenta le cose.

Le persone all'interno di OpenAI hanno indicato Codex, lo strumento che scrive codice, come il luogo in cui la lentezza era il problema più grande. Alcuni membri del personale hanno persino accusato l'hardware di Nvidia per le prestazioni deboli. In una conferenza stampa del 30 gennaio, il CEO di OpenAI Sam Altman ha dichiarato: "I clienti che utilizzano i nostri modelli di codifica daranno un grande valore alla velocità per il lavoro di codifica."

Sam ha aggiunto che gli utenti normali di ChatGPT non si preoccupano tanto della velocità, ma per gli sviluppatori e le aziende ogni secondo conta. Ha detto che OpenAI aveva appena firmato un accordo con Cerebras per contribuire ad accelerare le cose.

Allo stesso tempo, aziende come Anthropic e Google stanno ottenendo risultati migliori utilizzando i propri chip. Le TPU di Google sono costruite specificamente per il tipo di lavoro di cui ha bisogno l'inferenza. Questo le ha rese più veloci nel rispondere, soprattutto per modelli come Claude e Gemini.

I colloqui OpenAI-Groq si interrompono dopo l'accordo di licenza con Nvidia

OpenAI era anche in trattative con Groq, un'altra startup che costruisce chip veloci, ma quelle conversazioni non sono andate lontano. Nvidia è intervenuta e ha firmato un accordo di licenza da 20 miliardi di dollari con Groq. Questo ha dato a Nvidia accesso ai progetti di Groq e ha ucciso i piani di OpenAI di lavorare con loro.

Una fonte vicina alla situazione ha affermato che i chip di Groq erano costruiti esattamente per ciò di cui OpenAI aveva bisogno. Ma una volta che Nvidia ha concluso l'accordo, quella porta si è chiusa. Anche se la licenza non era esclusiva, Groq si sta ora concentrando su software basato su cloud, e Nvidia ha preso alcuni dei progettisti di chip di Groq per sé.

Cerebras, d'altra parte, ha detto no quando Nvidia ha cercato di acquistarli. Invece, hanno proseguito e hanno fatto il proprio accordo con OpenAI. Groq ha anche ricevuto offerte di investimento che valutavano l'azienda intorno ai 14 miliardi di dollari, ma questo è ora cambiato poiché è legata a Nvidia.

OpenAI non si è allontanata completamente da Nvidia. In una dichiarazione pubblica, un portavoce ha affermato: "Facciamo affidamento su Nvidia per alimentare la stragrande maggioranza della nostra flotta di inferenza", e ha definito le loro prestazioni per dollaro le migliori sul mercato. Nvidia ha anche dichiarato: "I clienti continuano a scegliere Nvidia per l'inferenza perché offriamo le migliori prestazioni e il miglior costo totale di proprietà su larga scala."

L'accordo di investimento da 100 miliardi di dollari con Nvidia è ancora bloccato nel limbo

L'anno scorso, Nvidia ha dichiarato di aver pianificato di investire fino a 100 miliardi di dollari in OpenAI. Quel denaro era destinato ad aiutare OpenAI ad acquistare chip più avanzati, e in cambio Nvidia avrebbe ottenuto una partecipazione nell'azienda. Reuters ha affermato che l'accordo doveva concludersi in poche settimane. Non è ancora successo.

Mentre quell'accordo si è bloccato, OpenAI è andata avanti e ha firmato accordi con AMD e altri per testare chip che potrebbero competere direttamente con quelli di Nvidia. Ma poiché OpenAI ha cambiato i suoi piani di prodotto, anche il tipo di hardware di cui aveva bisogno è cambiato. Questo ha rallentato ancora di più le trattative, ha affermato qualcuno a conoscenza della situazione.

Sabato, al CEO di Nvidia Jensen Huang è stato chiesto dell'attrito. Ha detto: "È una sciocchezza", e ha insistito che Nvidia ha ancora in programma di investire molto in OpenAI. Ma dietro le quinte, è chiaro che entrambe le parti stanno esplorando le loro opzioni.

Allo stesso tempo, Nvidia è stata alla ricerca di nuove idee per i chip. Ha contattato sia Cerebras che Groq per vedere se fossero aperti a essere acquistati. Cerebras ha rifiutato e ha raddoppiato il suo accordo con OpenAI.

Al momento, OpenAI sta utilizzando GPT4o per alimentare la maggior parte dei suoi servizi. Ma come stanno andando le cose, almeno parte di quel lavoro funzionerà su chip di AMD o Cerebras nel prossimo futuro. L'azienda non sta cercando di abbandonare completamente Nvidia, ma è chiaro che vuole più controllo sulla velocità con cui funzionano i suoi sistemi.

Affina la tua strategia con mentorship + idee quotidiane - 30 giorni di accesso gratuito al nostro programma di trading