Tiny Corps neuer tinybox Red Kimi ist eine 30.000-Dollar-Workstation, die dafür ausgelegt ist, Moonshot AIs 2,8-Billionen-Parameter-Modell Kimi K3 lokal auszuführen. Die Hardware kombiniert vier AMD Radeon AI Pro R9700-Grafikkarten mit sechzehn 1-TB-NVMe-SSDs. Der schnelle Speicher soll ein Modell aufnehmen, das allein nicht in den Speicher der GPUs passt.

Die vier GPUs bieten insgesamt 128 GB GDDR6-Speicher, während das SSD-Array eine Kapazität von 16 TB und eine angegebene Bandbreite von 238,4 GB/s aufweist. Tiny Corp zufolge enthält die tinygrad-Software des Unternehmens einen Treiber, der den GPUs direkten Zugriff auf die NVMe-Laufwerke ermöglicht, sodass nicht jeder Lesevorgang über die CPU geleitet werden muss. Das System verfügt außerdem über einen 32-Kern-Prozessor AMD Epyc Genoa und 32 GB DDR5-Arbeitsspeicher.

Tiny Corp gibt an, dass die Maschine Kimi K3 mit 40 Token pro Sekunde generieren kann. Dieser Wert wurde nicht unabhängig getestet, und das Unternehmen hat weder die Präzision noch die Kontextlänge, die Batchgröße oder die verwendete Messmethode offengelegt.

Die Leistungsangabe setzt voraus, dass ein großer Teil der häufig genutzten Modelldaten im GPU-Speicher gehalten wird. Kimi K3s veröffentlichtes Checkpoint ist rund 1,56 TB groß und damit weit größer als der 128-GB-GPU-Speicher der tinybox. Das Modell aktiviert für jedes Token 104 Milliarden Parameter. Bei der angegebenen effektiven Präzision müssten pro Token mindestens 55 GB an Gewichten gelesen werden. Der Analyse des Artikels zufolge würde das Lesen all dieser Gewichte aus dem SSD-Array nur etwa vier Token pro Sekunde ermöglichen.

Um 40 Token pro Sekunde zu erreichen, müsste das System stark auf den GPU-Speicher zurückgreifen, während die SSDs nur einen Teil der für jedes Token erforderlichen Daten liefern. Das Ergebnis könnte davon abhängen, wie gut das System Gewichte im Cache hält, sowie von Faktoren wie Quantisierung oder spekulativer Dekodierung. Tiny Corp hat nicht erklärt, welchen Ansatz das Unternehmen verwendet.

Der Red Kimi basiert auf Tiny Corps G5-Plattform. Laut dem Konfigurator wiegt das System etwa 56 Pfund und misst 12 Zoll in der Breite, 19,25 Zoll in der Höhe und 18 Zoll in der Tiefe. Tiny Corp gibt für Konfigurationen mit den R9700-Karten außerdem einen Geräuschpegel von unter 60 dB an und merkt an, dass deren Radiallüfter hörbar sind.

Mit 30.000 Dollar liegt der Preis des Systems laut dem ursprünglichen Bericht nahe an dem einer Apple-Mac-Studio-Konfiguration, die bei 22.299 Dollar beginnt und mit 16 TB Speicher 29.799 Dollar kostet. Der Reiz des Red Kimi liegt darin, mithilfe der SSD-Kapazität ein Modell lokal auszuführen. Die angegebene Generierungsgeschwindigkeit ist jedoch außerhalb von Tiny Corp nicht verifiziert.

Quellen: TechRadar.