Revolut affirme avoir réduit ses coûts d’inférence de l’IA jusqu’à 90 % après avoir remplacé les charges de travail de Claude par des modèles à poids ouverts auto-hébergés de la société chinoise Z.ai. L’entreprise indique que ce changement a également permis aux développeurs d’utiliser l’IA plus librement, sans limites de jetons.
David Abitbol, responsable de l’infrastructure chez Revolut, a déclaré que la banque avait initialement imposé des limites budgétaires strictes à l’utilisation de l’IA, car elle était sceptique quant à son coût. Certains gros utilisateurs dépensaient, selon certaines informations, des milliers de dollars par mois en jetons sans obtenir de retour équivalent, après que l’entreprise eut testé Google Gemini, puis adopté Claude d’Anthropic.
Lors de GTC Berlin, Abitbol a déclaré que la configuration auto-hébergée avait amélioré de 70 % la productivité liée aux délais de livraison et de 60 % celle liée au temps de codage. Il a également souligné la confidentialité et la capacité d’audit des modèles GLM de Z.ai.
L’article indique que GLM-5.1 a ramené les coûts d’inférence à environ 0,30 $ par million de jetons en entrée et en sortie, soit environ un dixième du coût de services commerciaux comparables. Revolut peut désormais gérer sa propre capacité d’inférence, mais l’exécution des modèles nécessite une infrastructure importante. L’entreprise exploiterait 56 GPU Nvidia B200, tandis que le modèle nécessite environ 380 Go de mémoire GPU, sans compter la mémoire supplémentaire nécessaire pour le contexte des utilisateurs.
Bien que l’auto-hébergement ait réduit les coûts directs d’utilisation des modèles, le matériel et l’infrastructure entraînent leurs propres dépenses, notamment pour la maintenance et l’électricité. Abitbol a déclaré que l’open source était désormais une priorité chez Revolut, ajoutant que son modèle économique était avantageux et sa facturation prévisible, sans frais mensuels inattendus.2
Sources: TechRadar.