A Revolut afirma que reduziu os custos de inferência de IA em até 90% depois de substituir cargas de trabalho do Claude por modelos de pesos abertos da Z.ai, da China, hospedados por conta própria. A empresa diz que a mudança também permitiu aos desenvolvedores usar IA com mais liberdade, sem limites de tokens.
David Abitbol, responsável pela infraestrutura da Revolut, disse que o banco inicialmente impôs limites orçamentários rigorosos ao uso de IA porque tinha dúvidas quanto aos custos. Segundo relatos, alguns usuários intensivos gastavam milhares de dólares por mês em tokens sem obter um retorno equivalente, depois de a empresa ter testado anteriormente o Gemini, do Google, e adotado em seguida o Claude, da Anthropic.
Falando na GTC Berlin, Abitbol disse que a configuração hospedada por conta própria aumentou a produtividade no tempo de execução em 70% e a produtividade no tempo de programação em 60%. Ele também destacou a privacidade e a auditabilidade dos modelos GLM da Z.ai.
O artigo informa que o GLM-5.1 reduziu os custos de inferência para cerca de US$ 0,30 por milhão de tokens de entrada e saída, aproximadamente um décimo do custo de serviços comerciais comparáveis. Agora, a Revolut pode gerenciar sua própria capacidade de inferência, mas a execução dos modelos exige uma infraestrutura substancial. Segundo relatos, a empresa opera 56 GPUs Nvidia B200, enquanto o modelo precisa de cerca de 380 GB de memória de GPU, sem contar os requisitos adicionais de memória para o contexto dos usuários.
Embora a hospedagem própria tenha reduzido os custos diretos de uso dos modelos, o hardware e a infraestrutura acarretam despesas próprias, incluindo manutenção e eletricidade. Abitbol disse que o código aberto agora é uma prioridade na Revolut, acrescentando que sua economia é favorável e o faturamento, previsível, sem cobranças mensais inesperadas.2
Fontes: TechRadar.