Qwenputer bettet eine RISC-V-CPU in die Gewichte eines KI-Modells ein und führt DOOM aus

Qwenputer kombiniert das unveränderte große Sprachmodell Qwen 3.5 4B mit einer 32-Bit-RISC-V-CPU, deren Implementierung direkt in die Gewichte des Modells eingebettet ist. Das experimentelle System kann Prozessorarithmetik ausführen sowie C- und MicroPython-Code ausführen, ohne auf eine externe Laufzeitumgebung oder einen Tool-Aufruf angewiesen zu sein. Es kann außerdem DOOM ausführen, allerdings mit sehr geringer Geschwindigkeit.

Die CPU wird durch 11 Transformer-Schichten implementiert, die vor Qwens eigenen Schichten platziert sind. Anstatt trainiert zu werden, werden ihre Gewichte von einem Compiler berechnet. Laut Agrawal besteht der Prozessor die offiziellen RISC-V-Tests, erzeugt Programme, die mit QEMU übereinstimmen, und hat 18 Millionen Instruktionen ohne einen Fehler ausgeführt.

Qwenputer verwendet Qwens Gated-DeltaNet-Zustand als RAM, sodass das Modell Instruktionen intern speichern und abrufen kann. Agrawal bezeichnete die Verwendung dieser „schnellen Gewichte“ als RAM als etablierte Idee, stellte ihre Anwendung auf Qwen 3.5 in diesem Projekt jedoch als eine Premiere dar. Der integrierte Prozessor ermöglicht außerdem exakte Berechnungen und begegnet damit einer häufigen Schwäche von Sprachmodellen.

Das Projekt umfasst ein Dateisystem, das ebenfalls auf dem DeltaNet-Zustand basiert. Sein Speicher bietet 1.024 Slots für bis zu 512 Dateien, und die Inhalte können erhalten bleiben, wenn der Modellzustand am Ende einer Unterhaltung gespeichert wird.

Diese Ergänzungen haben die Größe des zugrunde liegenden Modells nahezu verdoppelt, wodurch Qwenputer fast 19 GB umfasst. Agrawal empfiehlt für das Testen der aktuellen Version eine Workstation mit mindestens 24 GB VRAM. Die Arbeit zur Verbesserung des Programmier-Workflows und der Leistung wird fortgesetzt.

Qwenputer bleibt ein experimentelles Projekt, das sich darauf konzentriert, die Möglichkeiten der Integration von Rechenfunktionen in ein KI-Modell zu erforschen. Sein Code ist unter der MIT-Lizenz auf GitHub verfügbar, und das Modell kann von Hugging Face heruntergeladen werden.

Quellen: Tom's Hardware.