Revolut afferma di aver ridotto fino al 90% i costi di inferenza dell’IA dopo aver sostituito i carichi di lavoro di Claude con modelli open-weight di Z.ai, in hosting autonomo, provenienti dalla Cina. L’azienda sostiene che il cambiamento ha anche consentito agli sviluppatori di usare l’IA più liberamente, senza limiti di token.
David Abitbol, responsabile dell’infrastruttura di Revolut, ha dichiarato che inizialmente la banca aveva imposto rigidi limiti di budget all’uso dell’IA, perché era scettica riguardo ai costi. Secondo quanto riferito, alcuni utenti assidui spendevano migliaia di dollari al mese in token senza ottenere un ritorno commisurato, dopo che l’azienda aveva prima testato Gemini di Google e poi adottato Claude di Anthropic.
Intervenendo al GTC Berlin, Abitbol ha affermato che la configurazione in hosting autonomo ha migliorato del 70% la produttività nei tempi di consegna e del 60% quella durante la programmazione. Ha inoltre sottolineato la privacy e la verificabilità dei modelli GLM di Z.ai.
Secondo l’articolo, GLM-5.1 ha portato i costi di inferenza a circa 0,30 dollari per milione di token di input e output, all’incirca un decimo del costo di servizi commerciali comparabili. Ora Revolut può gestire la propria capacità di inferenza, ma l’esecuzione dei modelli richiede un’infrastruttura considerevole. Secondo quanto riferito, l’azienda dispone di 56 GPU Nvidia B200, mentre il modello necessita di circa 380 GB di memoria GPU, a cui si aggiungono i requisiti di memoria per il contesto degli utenti.
Sebbene l’hosting autonomo abbia ridotto i costi diretti di utilizzo dei modelli, l’hardware e l’infrastruttura comportano spese proprie, tra cui manutenzione ed elettricità. Abitbol ha dichiarato che l’open source è ora una priorità per Revolut, aggiungendo che i vantaggi economici sono favorevoli e la fatturazione prevedibile, senza addebiti mensili inaspettati.2
Fonti: TechRadar.