Le nouveau tinybox Red Kimi de Tiny Corp est une station de travail à 30 000 dollars conçue pour exécuter localement le modèle Kimi K3 de Moonshot AI, qui compte 2 800 milliards de paramètres. Son matériel associe quatre cartes graphiques AMD Radeon AI Pro R9700 à seize SSD NVMe de 1 To, exploitant un stockage rapide pour accueillir un modèle trop volumineux pour tenir dans la seule mémoire des GPU.
Les quatre GPU offrent au total 128 Go de mémoire GDDR6, tandis que l’ensemble de SSD propose une capacité de 16 To et une bande passante annoncée de 238,4 Go/s. Tiny Corp indique que son logiciel tinygrad comprend un pilote permettant aux GPU d’accéder directement aux disques NVMe, au lieu de faire transiter chaque lecture par le CPU. Le système est également équipé d’un processeur AMD Epyc Genoa à 32 cœurs et de 32 Go de mémoire système DDR5.
Tiny Corp affirme que la machine peut générer le Kimi K3 à 40 tokens par seconde. Ce chiffre n’a pas été testé de manière indépendante, et l’entreprise n’a pas précisé la précision, la longueur du contexte, la taille des lots ni la méthode de mesure utilisée.
Cette affirmation de performance repose sur le maintien en mémoire GPU d’une grande partie des données du modèle fréquemment utilisées. Le checkpoint publié du Kimi K3 pèse environ 1,56 To, bien plus que les 128 Go de mémoire GPU du tinybox. Le modèle active 104 milliards de paramètres pour chaque token, ce qui nécessiterait de lire au moins 55 Go de poids par token avec la précision effective indiquée. Selon l’analyse de l’article, lire tous ces poids depuis l’ensemble de SSD ne permettrait d’atteindre qu’environ quatre tokens par seconde.
Pour atteindre 40 tokens par seconde, le système devrait s’appuyer largement sur la mémoire GPU, les SSD ne fournissant qu’une partie des données nécessaires pour chaque token. Le résultat pourrait dépendre de l’efficacité de la mise en cache des poids, ainsi que de facteurs tels que la quantification ou le décodage spéculatif ; Tiny Corp n’a pas indiqué quelle méthode elle utilise.
Le Red Kimi repose sur la plateforme G5 de Tiny Corp. Son configurateur estime son poids à environ 56 livres et ses dimensions à 12 pouces de largeur, 19,25 pouces de hauteur et 18 pouces de profondeur. Tiny Corp indique également un niveau sonore inférieur à 60 dB pour les configurations dotées des cartes R9700, tout en précisant que leurs ventilateurs de type soufflante sont audibles.
À 30 000 dollars, le système est proposé à un prix proche de celui d’une configuration Apple Mac Studio, dont le prix commence à 22 299 dollars et atteint 29 799 dollars avec 16 To de stockage, selon l’article source. Le Red Kimi tire son intérêt de l’utilisation de la capacité des SSD pour exécuter localement un modèle, mais sa vitesse de génération annoncée n’a pas été vérifiée en dehors de Tiny Corp.
Sources: TechRadar.