Nello sviluppare modelli di intelligenza artificiale sempre più avanzati, le aziende del settore si trovano di fronte a una sfida crescente: la potenziale insufficienza di dati disponibili su Internet per sostenerne l’addestramento.
Secondo quanto riportato dal Wall Street Journal, data la progressiva limitazione dello spazio informativo disponibile sul web, diverse aziende stanno valutando fonti alternative per l’acquisizione di dati. Tra esse troviamo le trascrizioni di video disponibili pubblicamente e i dati sintetici prodotti dall’intelligenza artificiale.
Compagnie come Dataology, fondata da ex ricercatori di Meta e Google DeepMind tra cui quali Ari Morcos, stanno esplorando nuovi metodi per ottimizzare l’addestramento di modelli più efficienti e intelligenti, riducendo il fabbisogno di dati e di risorse. Tuttavia, la maggior parte delle grandi imprese sta indagando su approcci innovativi e talvolta controversi per la formazione dei dati.
Per esempio, OpenAI, secondo fonti citate dal WSJ, ha considerato l’utilizzo delle trascrizioni di video pubblici su YouTube per l’addestramento di GPT-5, nonostante Mira Murati, Chief Technology Officer dell’azienda, non riesca a confermare se per l’allenamento del generatore di video Sora siano o meno stati utilizzati i dati di YouTube.
Arriviamo così ai dati sintetici, informazioni generate artificialmente tramite algoritmi o intelligenze artificiali. Questi dati sono progettati per simulare le caratteristiche statistiche dei dati reali, consentendo così agli sviluppatori di testare sistemi, modelli di machine learning e algoritmi senza incorrere nei problemi di privacy o di disponibilità associati all’utilizzo di dati reali.
L’addestramento degli LLM sui dati sintetici ha suscitato un ampio dibattito nei mesi recenti, in seguito alla scoperta che l’addestramento delle intelligenze artificiali su dati generati artificialmente potrebbe portare a una sorta di “consanguineità digitale”, culminante nel rischio di un “crollo del modello”.
Aziende quali OpenAI e Anthropic si stanno adoperando per generare dati sintetici di qualità superiore, sebbene i dettagli delle loro metodologie rimangano confidenziali. Anche Anthropic ha rivelato che il suo modello Claude 3 LLM è stato addestrato su “dati generati internamente”, con Jared Kaplan, scienziato principale dell’azienda, che riconosce il valore dell’impiego di dati sintetici in certe applicazioni.
Nonostante le preoccupazioni relative alla possibile carenza di dati per le intelligenze artificiali abbiano iniziato a emergere negli ultimi tempi, Pablo Villalobos, ricercatore presso Epoch, ha minimizzato i timori, sottolineando che, benché la sua organizzazione preveda un esaurimento dei dati adatti all’addestramento nei prossimi anni, non vi è motivo di allarme immediato, enfatizzando l’importanza delle scoperte future in questo ambito.
