Gemini 4 Carbon di Google ha conquistato il primo posto nell’Intelligence Index V5 di Artificial Analysis, ottenendo 59 punti e superando di un punto Claude Opus 5.5. Secondo l’analisi, il modello si è classificato primo in quattro delle nove valutazioni della suite di benchmark. Google lo ha rilasciato la settimana scorsa e, inizialmente, lo mette a disposizione di alcuni difensori informatici selezionati tramite il programma Fairwind, con una disponibilità più ampia prevista in seguito.
Il modello ha primeggiato anche nella valutazione AA-Omniscience v1.1 di Artificial Analysis, che misura il richiamo delle conoscenze e le allucinazioni. Ha ottenuto 54 su una scala da -100 a +100. Sebbene sia il risultato migliore del confronto, il punteggio indica che persino i modelli ai primi posti possono ancora avere difficoltà a richiamare le informazioni in modo affidabile.
Il punteggio di Gemini 4 Carbon nell’Intelligence Index lo colloca due punti davanti a GPT-6 Astra di OpenAI e nove punti davanti a Muse Wonder Full di Meta. Artificial Analysis riporta inoltre un costo di 7,76 dollari per attività nel benchmark, leggermente inferiore a quello di Gemini 3.8 Flash (high) e di diversi dollari più basso rispetto a Claude Opus 5.5 o Sonnet 5.5 nelle configurazioni testate. Rimane più costoso di alcuni modelli di OpenAI e considerevolmente più costoso di DeepSeek V4.1 Flash 1017, a pesi aperti, che ha ottenuto 32 punti nell’indice.
I risultati non collocano Carbon al primo posto in ogni ambito. Artificial Analysis afferma che è indietro rispetto a Claude Code con Claude Opus 5.5 nella programmazione e a Grok 4.7, Muse Wonder e Kimi K3.1 Pro nelle attività di conoscenza. Il grafico Pareto Frontier di Arena.ai colloca Carbon al vertice tra i modelli più costosi, mentre tra le opzioni meno costose figurano modelli cinesi a pesi aperti come GLM 5.3-Flash e DeepSeek V4 Pro.
Google afferma di adottare un approccio graduale alla distribuzione e di partecipare al processo volontario del governo degli Stati Uniti per testare i modelli prima del rilascio. L’azienda prevede di fornire inizialmente l’accesso a un sottoinsieme di difensori informatici, per poi estenderlo attraverso partner fidati del programma Fairwind. Google afferma di voler perfezionare le misure di sicurezza del modello prima di renderlo disponibile agli sviluppatori, concentrandosi sulla limitazione degli usi impropri nel campo della cybersicurezza.
L’azienda afferma inoltre che Carbon ha resistito a tutti i tentativi, nel benchmark Gray Swan Indirect Prompt Injection, di indurlo a comportarsi in modo scorretto. Google sostiene che il modello produce la metà delle affermazioni non supportate rispetto a Gemini 4 Argon, presentato due settimane prima, e riduce del 26% gli sconfinamenti del modello. Si tratta di affermazioni dell’azienda; i risultati dei benchmark disponibili non significano che il modello sia privo di errori.
Fonti: Tom's Hardware.