Le aziende che sviluppano intelligenze artificiali si sfidano non solo con nuovi modelli ma anche con i numeri che li accompagnano.
Uno scontro tra OpenAI e xAI, la società di Elon Musk, ha riacceso il dibattito sulla trasparenza dei test che misurano le capacità delle IA.
Tutto è iniziato quando xAI ha pubblicato un grafico che mostra il suo nuovo modello, Grok 3, superare l’intelligenza artificiale di OpenAI in un test di matematica chiamato AIME 2025.
Il problema? Secondo alcuni esperti, il confronto non sarebbe stato del tutto corretto.
xAI: cos’è successo?
I modelli di intelligenza artificiale vengono valutati attraverso dei benchmark, cioè test standardizzati che ne misurano le prestazioni.
Uno di questi è l’AIME 2025, un test basato su domande matematiche avanzate. xAI ha mostrato che il suo Grok 3 ottiene risultati migliori rispetto a o3-mini-high, uno dei modelli di OpenAI.
Alcuni ricercatori hanno però notato una stranezza: il confronto ometteva un aspetto importante. OpenAI ha infatti osservato che il grafico di xAI non includeva i punteggi di o3-mini-high in una modalità chiamata cons@64.
once see this you can’t unsee it:
the light-blue shading that puts grok-3 over o3-mini is cons@64 https://t.co/iJo4Sq2uaa
— Aidan McLaughlin (@aidan_mclau) February 20, 2025
Cosa significa “cons@64”?
Semplificando, è un metodo che permette all’IA di provare a rispondere fino a 64 volte alla stessa domanda, prendendo per buona la risposta più frequente.
Questo approccio tende a migliorare i punteggi dei modelli. Omettendo questo dato dal confronto, xAI ha dato l’impressione che Grok 3 fosse superiore quando in realtà, sostiene OpenAI, non lo è.
Guardando il primo tentativo di risposta dato dai modelli (metrica @1), i risultati cambiano: Grok 3 ottiene punteggi più bassi rispetto al modello di OpenAI e, in un caso, anche rispetto a una versione precedente dell’IA rivale.
Una battaglia che va avanti da tempo
Igor Babushkin, cofondatore di xAI, ha difeso l’azienda sostenendo che anche OpenAI, in passato, ha mostrato grafici poco trasparenti per esaltare i propri modelli.
Nel frattempo, il ricercatore indipendente Nathan Lambert ha pubblicato un confronto più completo, includendo tutti i dati mancanti.
I think its safe to say that xAI and OpenAI both have committed minor chart crimes with thinking models. Frankly, there are no industry norms to lean on. Just expect noise. Is fine.
May the best model win. Do your own evals anyways, AIME is practically useless to 99% of people. pic.twitter.com/ZnibSqZUag
— Nathan Lambert (@natolambert) February 20, 2025
Ma il vero punto della questione, come ha sottolineato lo scienziato Nathan Lambert, è che i numeri dei benchmark raccontano solo una parte della storia. Quello che non viene mai dichiarato apertamente è quanto potere di calcolo (e quindi quanti soldi) servano per ottenere certi risultati.
In altre parole, una IA può sembrare migliore solo perché ha avuto più risorse per allenarsi, un fattore che non traspare dai grafici pubblicati dalle aziende.
E così, il dibattito resta aperto: chi può davvero proclamarsi la “IA più intelligente del mondo”?
