Dopo l’enorme successo di ChatGPT, rilasciato due anni fa, le aziende tecnologiche hanno sposato la filosofia dello “scaling up”, ampliando cioè i modelli esistenti con più dati e potenza di calcolo.
Negli ultimi tempi, però, diversi esperti hanno messo in dubbio questo approccio, perché non basta più ampliare all’infinito per ottenere risultati rilevanti.
A porre l’attenzione sulla questione è Reuters, che racconta che dietro le quinte i principali laboratori di IA stanno incontrando ostacoli crescenti. E la riprova, a ben guardare, arriva dal fatto che il modello GPT-4, sviluppato da OpenAI quasi due anni fa, non ha ancora trovato un degno successore.
I costi di addestramento per i nuovi modelli di IA raggiungono ormai le decine di milioni di dollari, utilizzando centinaia di chip in parallelo. E questa intensità di calcolo comporta dei rischi: l’hardware è sottoposto a stress elevato e le prestazioni finali dei modelli sono visibili solo dopo mesi di lavoro.
Inoltre, molti dei dati facilmente accessibili a livello globale sono stati già utilizzati, e le recenti carenze di energia complicano ulteriormente l’addestramento.
È dunque necessario un cambiamento di prospettiva, e al riguardo arrivano le dichiarazioni di Ilya Sutskever, co-fondatore di Safe Superintelligence (SSI) ed ex membro di OpenAI: “Il decennio del 2010 è stato l’era dell’espansione, ora siamo tornati all’era della scoperta e della meraviglia. Tutti cercano la prossima grande novità”.
IA “umane”
La chiave di questa evoluzione è passare da un approccio basato sulla pura quantità di dati e potenza di calcolo, a uno che permetta agli algoritmi di pensare in modi più simili a quelli umani.
Stando alle parole di scienziati e investitori del settore, queste nuove tecniche, che OpenAI ha adottato nel suo recente modello “o1”, potrebbero ridefinire la corsa all’IA e influenzare profondamente le risorse di cui le aziende tech hanno costante necessità, come energia e chip specifici.
La più grandi speranze sono al momento riposte nel “test-time compute”, che potenzia i modelli durante la fase di inferenza. Questa è il momento in cui un modello di intelligenza artificiale applica le conoscenze acquisite durante l’addestramento per fare previsioni, rispondere a domande o eseguire compiti specifici. Ossia, quando l’IA viene utilizzata dagli utenti.
Tale metodo consente al modello di valutare diverse opzioni in tempo reale, migliorando la propria “capacità decisionale” per attività complesse come problemi matematici o di programmazione.
“È emerso che, in una mano di poker, un bot che ‘pensa’ per soli 20 secondi ottiene lo stesso miglioramento delle prestazioni di un modello addestrato 100.000 volte più a lungo,” ha spiegato Noam Brown, ricercatore di OpenAI, durante la conferenza TED AI di San Francisco. Questo processo di “pensiero” è centrale nel modello o1, l’ultimo prodotto di OpenAI, che simula il ragionamento umano multi-step.
Non è solo OpenAI a sperimentare queste tecniche. Anche Anthropic, xAI e Google DeepMind stanno sviluppando approcci simili, con l’obiettivo di mantenere il passo in una competizione sempre più dinamica.
Kevin Weil, Chief Product Officer di OpenAI, ha sottolineato: “Vediamo molte opportunità facilmente accessibili per migliorare rapidamente questi modelli. Quando gli altri ci raggiungeranno, noi saremo già tre passi avanti”.
Le ripercussioni per Nvidia
Questa evoluzione potrebbe ridisegnare il mercato dell’hardware IA, oggi dominato dalla domanda di chip Nvidia, mentre venture capital come Sequoia e Andreessen Horowitz stanno valutando l’impatto della transizione verso questi nuovi metodi di addestramento.
Sonya Huang, partner di Sequoia, ha dichiarato a Reuters: “Questo cambiamento ci porterà da un mondo di grandi cluster di pre-addestramento verso cloud di inferenza, ovvero server distribuiti e basati su cloud per l’inferenza”.
Nvidia, che ha superato Apple in valore di mercato grazie alla sua posizione di leader nel settore IA, potrebbe però affrontare nuove sfide nella competizione nel mercato dell’inferenza, nel quale è meno dominante. “Ora abbiamo scoperto una seconda legge di scala e questa è la legge di scala per l’inferenza…”, ha dichiarato il CEO Jensen Huang, riferendosi al nuovo chip IA di Nvidia.
L’era del “bigger is better” pare dunque essere in prossimità dei titoli di coda. A quando quella dello “smarter is better”?
