O novo tinybox Red Kimi da Tiny Corp é uma estação de trabalho de US$ 30.000 projetada para executar localmente o modelo Kimi K3, da Moonshot AI, com 2,8 trilhões de parâmetros. Seu hardware combina quatro placas gráficas AMD Radeon AI Pro R9700 com dezesseis SSDs NVMe de 1 TB, usando armazenamento rápido para acomodar um modelo grande demais para caber apenas na memória das GPUs.
As quatro GPUs oferecem, ao todo, 128 GB de memória GDDR6, enquanto o conjunto de SSDs tem capacidade de 16 TB e largura de banda anunciada de 238,4 GB/s. A Tiny Corp afirma que seu software tinygrad inclui um driver que permite às GPUs acessar diretamente os SSDs NVMe, em vez de encaminhar cada leitura pela CPU. O sistema também tem um processador AMD Epyc Genoa de 32 núcleos e 32 GB de memória de sistema DDR5.
A Tiny Corp afirma que a máquina consegue gerar o Kimi K3 a 40 tokens por segundo. Esse número não foi testado de forma independente, e a empresa não revelou a precisão, o tamanho do contexto, o tamanho do lote nem o método utilizado para medi-lo.
A alegação de desempenho depende de manter na memória da GPU boa parte dos dados do modelo usados com frequência. O checkpoint publicado do Kimi K3 tem cerca de 1,56 TB, muito além dos 128 GB de memória das GPUs do tinybox. O modelo ativa 104 bilhões de parâmetros para cada token, o que exigiria a leitura de pelo menos 55 GB de pesos por token na precisão efetiva declarada. A análise do artigo estima que a leitura de todos esses pesos do conjunto de SSDs sustentaria apenas cerca de quatro tokens por segundo.
Para alcançar 40 tokens por segundo, o sistema precisaria recorrer intensamente à memória da GPU, com os SSDs fornecendo apenas parte dos dados necessários para cada token. O resultado poderia depender da eficiência com que o sistema armazena os pesos em cache, além de fatores como quantização ou decodificação especulativa; a Tiny Corp não explicou qual abordagem utiliza.
O Red Kimi é construído sobre a plataforma G5 da Tiny Corp. O configurador da empresa estima que ele pese cerca de 56 libras e tenha 12 polegadas de largura, 19,25 polegadas de altura e 18 polegadas de profundidade. A Tiny Corp também informa um nível de ruído abaixo de 60 dB para configurações com as placas R9700, observando que os ventiladores do tipo blower são audíveis.
Por US$ 30.000, o sistema tem preço próximo ao de uma configuração do Apple Mac Studio que começa em US$ 22.299 e chega a US$ 29.799 com 16 TB de armazenamento, segundo a reportagem de origem. O atrativo do Red Kimi é usar a capacidade dos SSDs para executar localmente um modelo, mas a velocidade de geração anunciada continua sem verificação externa à Tiny Corp.
Fontes: TechRadar.