Revolut afirma que ha reducido hasta un 90% los costos de inferencia de IA tras reemplazar las cargas de trabajo de Claude por modelos de pesos abiertos de Z.ai, de China, alojados por cuenta propia. La empresa dice que el cambio también ha permitido a los desarrolladores usar la IA con mayor libertad y sin límites de tokens.
David Abitbol, responsable de Infraestructura de Revolut, dijo que inicialmente el banco había impuesto límites presupuestarios estrictos al uso de la IA porque dudaba de que el costo justificara su uso. Según se informó, algunos usuarios intensivos gastaban miles de dólares al mes en tokens sin obtener un rendimiento comparable, después de que la empresa probara anteriormente Gemini, de Google, y luego adoptara Claude, de Anthropic.
En su intervención en GTC Berlín, Abitbol dijo que la configuración alojada por cuenta propia mejoró un 70% la productividad en los plazos de entrega y un 60% la productividad durante la programación. También destacó la privacidad y la capacidad de auditoría de los modelos GLM de Z.ai.
El artículo informa que GLM-5.1 redujo los costos de inferencia a unos 0,30 dólares por millón de tokens de entrada y salida, aproximadamente una décima parte del costo de servicios comerciales comparables. Revolut ahora puede gestionar su propia capacidad de inferencia, pero ejecutar los modelos requiere una infraestructura considerable. Según se informó, la empresa opera 56 GPU Nvidia B200, mientras que el modelo necesita alrededor de 380 GB de memoria de GPU, sin contar los requisitos de memoria adicionales para el contexto de los usuarios.
Aunque el alojamiento por cuenta propia ha reducido los costos directos de uso de los modelos, el hardware y la infraestructura tienen sus propios gastos, incluidos el mantenimiento y la electricidad. Abitbol dijo que el código abierto es ahora una prioridad en Revolut y añadió que su economía es favorable y su facturación predecible, sin cargos mensuales inesperados.2
Fuentes: TechRadar.