Qwenputer combina il modello linguistico di grandi dimensioni Qwen 3.5 4B originale con una CPU RISC-V a 32 bit, la cui implementazione è incorporata direttamente nei pesi del modello. Il sistema sperimentale può eseguire operazioni aritmetiche del processore ed eseguire codice C e MicroPython senza affidarsi a un runtime esterno o a una chiamata a uno strumento. Può anche eseguire DOOM, sebbene a una velocità molto bassa.
La CPU è implementata attraverso 11 strati transformer posizionati prima degli strati propri di Qwen. Invece di essere addestrati, i loro pesi vengono calcolati da un compilatore. Secondo Agrawal, il processore supera i test ufficiali di RISC-V, produce programmi corrispondenti a QEMU e ha eseguito 18 milioni di istruzioni senza errori.
Qwenputer usa lo stato Gated DeltaNet di Qwen come RAM, consentendo al modello di memorizzare e recuperare internamente le istruzioni. Agrawal ha descritto l’uso di questi “pesi veloci” come RAM come un’idea consolidata, presentando invece la sua applicazione a Qwen 3.5 come una novità per questo progetto. Il processore integrato consente inoltre di effettuare calcoli esatti, affrontando una debolezza comune dei modelli linguistici.
Il progetto include un filesystem che si basa anch’esso sullo stato DeltaNet. La sua memoria offre 1.024 slot per un massimo di 512 file, e i contenuti possono persistere quando lo stato del modello viene salvato alla fine di una conversazione.
Queste aggiunte hanno quasi raddoppiato le dimensioni del modello sottostante, portando Qwenputer a quasi 19 GB. Agrawal raccomanda una workstation con almeno 24 GB di VRAM per testare la versione attuale. I lavori proseguono per migliorare il flusso di lavoro per la programmazione e le prestazioni.
Qwenputer rimane un progetto sperimentale incentrato sull’esplorazione delle possibilità di integrare funzioni di calcolo in un modello di IA. Il suo codice è disponibile con licenza MIT su GitHub, mentre il modello può essere scaricato da Hugging Face.
Fonti: Tom's Hardware.