El nuevo tinybox Red Kimi de Tiny Corp es una estación de trabajo de 30.000 dólares diseñada para ejecutar localmente el modelo Kimi K3 de Moonshot AI, de 2,8 billones de parámetros. Su hardware combina cuatro tarjetas gráficas AMD Radeon AI Pro R9700 con dieciséis SSD NVMe de 1 TB y utiliza almacenamiento rápido para dar cabida a un modelo demasiado grande para entrar únicamente en la memoria de las GPU.
Las cuatro GPU ofrecen un total de 128 GB de memoria GDDR6, mientras que el conjunto de SSD tiene una capacidad de 16 TB y un ancho de banda declarado de 238,4 GB/s. Tiny Corp afirma que su software tinygrad incluye un controlador que permite a las GPU acceder directamente a las unidades NVMe, en lugar de hacer pasar por la CPU cada lectura. El sistema también cuenta con un procesador AMD Epyc Genoa de 32 núcleos y 32 GB de memoria del sistema DDR5.
Tiny Corp afirma que la máquina puede generar texto con Kimi K3 a 40 tokens por segundo. Esa cifra no se ha sometido a pruebas independientes y la empresa no ha revelado la precisión, la longitud del contexto, el tamaño del lote ni el método empleados para medirla.
La afirmación sobre el rendimiento depende de que buena parte de los datos del modelo que se usan con frecuencia permanezca en la memoria de la GPU. El punto de control publicado de Kimi K3 ocupa alrededor de 1,56 TB, muy por encima de los 128 GB de memoria de GPU del tinybox. El modelo activa 104.000 millones de parámetros por cada token, lo que exigiría leer al menos 55 GB de pesos por token con la precisión efectiva indicada. Según las estimaciones del análisis del artículo, leer todos esos pesos desde el conjunto de SSD solo permitiría generar unos cuatro tokens por segundo.
Para alcanzar los 40 tokens por segundo, el sistema tendría que recurrir ampliamente a la memoria de la GPU, y los SSD aportarían solo una parte de los datos necesarios para cada token. El resultado podría depender de la eficacia con que el sistema almacene en caché los pesos, además de factores como la cuantización o la decodificación especulativa; Tiny Corp no ha explicado qué método utiliza.
El Red Kimi está basado en la plataforma G5 de Tiny Corp. Su configurador calcula un peso de aproximadamente 56 libras y unas dimensiones de 12 pulgadas de ancho, 19,25 pulgadas de alto y 18 pulgadas de profundidad. Tiny Corp también indica que el ruido es inferior a 60 dB en las configuraciones con tarjetas R9700, y señala que sus ventiladores tipo turbina se oyen.
Con un precio de 30.000 dólares, el sistema cuesta casi lo mismo que una configuración del Apple Mac Studio, cuyo precio comienza en 22.299 dólares y llega a 29.799 dólares con 16 TB de almacenamiento, según el informe de la fuente. El atractivo del Red Kimi es que aprovecha la capacidad de los SSD para ejecutar localmente un modelo, pero su velocidad de generación declarada sigue sin verificarse fuera de Tiny Corp.
Fuentes: TechRadar.