Il nuovo tinybox Red Kimi di Tiny Corp è una workstation da 30.000 dollari progettata per eseguire localmente il modello Kimi K3 di Moonshot AI, con 2,8 trilioni di parametri. Il suo hardware abbina quattro schede grafiche AMD Radeon AI Pro R9700 a sedici SSD NVMe da 1 TB, ricorrendo a uno spazio di archiviazione veloce per ospitare un modello troppo grande per entrare nella sola memoria delle GPU.
Le quattro GPU offrono complessivamente 128 GB di memoria GDDR6, mentre l’array di SSD mette a disposizione 16 TB di capacità e una larghezza di banda dichiarata di 238,4 GB/s. Tiny Corp afferma che il suo software tinygrad include un driver che consente alle GPU di accedere direttamente alle unità NVMe, anziché far passare ogni lettura attraverso la CPU. Il sistema dispone inoltre di un processore AMD Epyc Genoa a 32 core e di 32 GB di memoria di sistema DDR5.
Tiny Corp sostiene che la macchina può generare testo con Kimi K3 a 40 token al secondo. Questo dato non è stato verificato in modo indipendente e l’azienda non ha reso noti la precisione, la lunghezza del contesto, la dimensione del batch o il metodo utilizzato per misurarlo.
La dichiarazione sulle prestazioni presuppone che gran parte dei dati del modello utilizzati più di frequente rimanga nella memoria delle GPU. Il checkpoint pubblicato di Kimi K3 è di circa 1,56 TB, ben oltre i 128 GB di memoria GPU del tinybox. Il modello attiva 104 miliardi di parametri per ogni token; alla precisione effettiva dichiarata, ciò richiederebbe di leggere almeno 55 GB di pesi per token. Secondo le stime dell’analisi riportata nell’articolo, leggere tutti questi pesi dall’array di SSD consentirebbe di generare soltanto circa quattro token al secondo.
Per arrivare a 40 token al secondo, il sistema dovrebbe attingere in larga misura alla memoria delle GPU, mentre gli SSD fornirebbero solo una parte dei dati necessari per ciascun token. Il risultato potrebbe dipendere dall’efficacia con cui il sistema memorizza nella cache i pesi, oltre che da fattori come la quantizzazione o la decodifica speculativa; Tiny Corp non ha spiegato quale approccio utilizzi.
Il Red Kimi è basato sulla piattaforma G5 di Tiny Corp. Il configuratore dell’azienda stima un peso di circa 56 libbre e dimensioni di 12 pollici di larghezza, 19,25 pollici di altezza e 18 pollici di profondità. Tiny Corp dichiara inoltre un livello di rumore inferiore a 60 dB per le configurazioni con le schede R9700, precisando che le loro ventole a turbina sono udibili.
Con un prezzo di 30.000 dollari, il sistema costa quasi quanto una configurazione di Apple Mac Studio, il cui prezzo parte da 22.299 dollari e arriva a 29.799 dollari con 16 TB di spazio di archiviazione, secondo quanto riportato dalla fonte. Il punto di forza del Red Kimi è l’impiego della capacità degli SSD per eseguire localmente un modello, ma la velocità di generazione dichiarata non è stata verificata al di fuori di Tiny Corp.
Fonti: TechRadar.