SIMA è l’agente AI che impara dai videogiochi per conquistare il mondo virtuale

da | 16 Mar 2024 | IA

Google DeepMind ha presentato una nuova ricerca chiamata SIMA (Scalable Instructable Multiworld Agent). Si tratta di un agente AI per impostazioni virtuali 3D, nato dalla collaborazione con numerosi sviluppatori di videogiochi, tra cui figurano Hello Games (No Man’s Sky) e Tuxedo Labs (Teardown).

Sono stati utilizzati quattro ambienti di ricerca, incluso uno inedito creato internamente con Unity chiamato Construction Lab, in cui l’IA doveva ricavare sculture da blocchi che hanno messo alla prova la manipolazione degli oggetti e la comprensione intuitiva del mondo fisico.

Il punto di forza di SIMA è l’essere in grado di comprendere un’ampia gamma di mondi di gioco e di seguire le istruzioni del linguaggio naturale per svolgere compiti al loro interno, come farebbe un essere umano.

I videogiochi rappresentano un banco di prova fondamentale per i sistemi di intelligenza artificiale, dato che come il mondo reale sono ambienti di apprendimento ricchi di situazioni che richiedono reazioni in tempo reale e pongono obiettivi in ​​continua evoluzione.

Imparando da diverse situazioni, SIMA comprende il modo in cui il linguaggio si lega al comportamento in gioco. Il primo approccio è stato quello di registrare coppie, con una persona che guardava e istruiva l’altra. È stato chiesto di giocare liberamente, poi di rivedere ciò che era stato fatto e di registrare le istruzioni che avrebbero portato alle azioni di gioco.

Per riuscire a riconoscere e comprendere i vari ambienti per poi raggiungere l’obiettivo indicato, SIMA sfrutta un modello progettato per una precisa mappatura del linguaggio delle immagini e un modello video che prevede cosa accadrà successivamente sullo schermo.

SIMA non ha bisogno di accedere al codice sorgente di un videogame per funzionare, né ad API personalizzate (interfacce che permettono a due software di comunicare tra loro). Richiede solo due input: le immagini sullo schermo e semplici istruzioni in linguaggio naturale fornite dall’utente. L’IA utilizza tastiera e mouse per controllare il personaggio principale dei videogiochi ed eseguire queste istruzioni, una semplice interfaccia che gli consente di interagire potenzialmente con qualsiasi ambiente virtuale.

L’attuale versione di SIMA viene valutata su 600 abilità di base che spaziano dal movimento all’interazione con gli oggetti e all’uso dei menu. Compiti semplici che possono essere completati in circa 10 secondi. L’obiettivo principale dello studio è che i futuri agenti IA riescano ad affrontate compiti che richiedono una pianificazione strategica di alto livello e molteplici sotto-attività da completare, come trovare risorse e costruire un campo base.

Un ulteriore punto di forza di SIMA è l’essere stato addestrato su molti giochi differenti, caratteristica che lo rende in grado di adattarsi e comprendere anche ambienti a lui sconosciuti, a differenza di altri sistemi analoghi specializzati in un titolo. La ricerca è ancora agli inizi ma i risultati mostrano il potenziale per sviluppare una nuova ondata di agenti IA guidati dal linguaggio.

POTREBBE INTERESSARTI

Apple rinvierà il lancio di Apple Intelligence nell'UE
,

Apple rinvierà il lancio di Apple Intelligence nell’UE

Il gigante tecnologico indica il Digital Markets Act come la causa di questa decisione.

TikTok prova a rivoluzionare l'ADV ma inciampa clamorosamente

TikTok prova a rivoluzionare l’ADV ma inciampa clamorosamente

I Symphony Digital Avatars, il nuovo strumento di TikTok per la creazione di contenuti generati dall’IA, finiscono nel mirino dopo che una falla ha consentito la...
Ecco come di comporta Claude 3.5 Sonnet rispetto agli altri modelli.

Più veloce e intelligente: ecco Claude 3.5 Sonnet

Claude 3.5 Sonnet è il modello più avanzato di Anthropic, e promette prestazioni superiori a GPT-4 e Gemini

Il produttore di chip TSMC vola in borsa

La valutazione di TSMC vola alle stelle trascinata di Nvidia

TSMC si sta avvicinando alla valutazione di mille miliardi di dollari a Wall Street trascinata da Nvdia e dall’esplosione dell’IA.

L'IA non è in grado di prendere ordini da McDonald's

McDonald’s: l’IA non è ancora in grado di prendere gli ordini al drive-in

McDonald’s, la famosa catena di fast food, negli Stati Uniti ha deciso di disabilitare un sistema basato sull’intelligenza artificiale utilizzato nei...
Jen-Hsun Huang durante una presentazione di Nvidia

Nvidia batte Microsoft ed è la società che vale di più al mondo

Spinta dal crescente interesse nel comparto dell’intelligenza artificiale, Nvidia ha infranto un nuovo record in borsa, superando anche Microsoft.

Il segretario della NATO Jens Stoltenberg

La NATO investe mille miliardi di euro in IA, robot e spazio

La NATO investe mille miliardi di euro in 4 aziende specializzate in tecnologia per lo sviluppo di IA, robotica e ingegneria spaziale.

I robots di Ex-Robots

In Cina stanno costruendo robot con espressioni facciali umane

L’ultima frontiera della tecnologia fonde la robotica con l’intelligenza artificiale. L’obiettivo è quello di usare l’IA per dare ai robot...
Sam Altman potrebbe trasformare OpenAI in una società benefit foto: Joel Saget/AFP/Getty Images

OpenAI potrebbe diventare una società benefit (e perseguire il profitto)

OpenAI, per competete al meglio contro Anthropic e xAI, potrebbe cessare di essere una no-profit. E c’è già chi come passo successivo s’immagina...
NVIDIA lancia Nemotron-4 340B per la generazione di dati sintetici

NVIDIA lancia Nemotron-4 340B per la generazione di dati sintetici

La famiglia di modelli Nemotron-4 340B servirà per l’addestramento dei degli LLM in tutti quei casi in cui i dati reali sono costosi, difficili da ottenere o...
Share This