Revolut zufolge hat das Unternehmen seine KI-Inferenzkosten um bis zu 90 % gesenkt, nachdem es Workloads von Claude durch selbst gehostete Modelle mit offenen Gewichten des chinesischen Unternehmens Z.ai ersetzt hat. Das Unternehmen sagt, die Änderung ermögliche es Entwicklern außerdem, KI freier und ohne Token-Limits zu nutzen.
David Abitbol, Infrastructure Lead bei Revolut, sagte, die Bank habe die KI-Nutzung zunächst streng budgetiert, weil sie den Kosten skeptisch gegenüberstand. Berichten zufolge gaben einige Vielnutzer Tausende Dollar pro Monat für Tokens aus, ohne dass dem ein vergleichbarer Ertrag gegenüberstand. Zuvor hatte das Unternehmen Google Gemini getestet und sich anschließend für Claude von Anthropic entschieden.
Auf der GTC Berlin sagte Abitbol, dass das selbst gehostete Setup die Produktivität bei der Durchlaufzeit um 70 % und die Produktivität während der Programmierung um 60 % verbessert habe. Außerdem hob er den Datenschutz und die Auditierbarkeit der GLM-Modelle von Z.ai hervor.
Dem Artikel zufolge senkte GLM-5.1 die Inferenzkosten auf etwa 0,30 US-Dollar pro Million Eingabe- und Ausgabetokens – ungefähr ein Zehntel der Kosten vergleichbarer kommerzieller Dienste. Revolut kann seine Inferenzkapazität nun selbst verwalten, doch der Betrieb der Modelle erfordert eine beträchtliche Infrastruktur. Das Unternehmen betreibt Berichten zufolge 56 Nvidia-B200-GPUs. Das Modell benötigt rund 380 GB GPU-Speicher, noch bevor der zusätzliche Speicherbedarf für den Kontext der Nutzer berücksichtigt wird.
Obwohl Self-Hosting die direkten Kosten für die Modellnutzung gesenkt hat, verursachen Hardware und Infrastruktur eigene Ausgaben, darunter Wartungs- und Stromkosten. Abitbol sagte, Open Source habe bei Revolut nun Priorität. Die wirtschaftlichen Rahmenbedingungen seien günstig und die Abrechnung vorhersehbar, ohne unerwartete monatliche Gebühren.2
Quellen: TechRadar.