OpenAI in questi mesi ci ha sorpreso coi modelli Sora e Voice Engine: il primo è capace di creare video da del semplice testo; il secondo è in grado di clonare qualsiasi voce a patto di averne un campionamento di almeno 15 secondi.
L’introduzione di VASA-1, che pare voler unire questi due software sebbene per un compito molto più ristretto e definito, segna comunque un passo in avanti significativo nella creazione di volti parlanti estremamente realistici, generati in tempo reale.
Questo modello, a partire da una semplice foto e un clip audio di un discorso, è capace di produrre video di volti che parlano, col labiale sincronizzato con l’audio e caratterizzati da movimenti naturalistici della testa ed espressioni facciali coerenti.
Il cuore di VASA, acronimo di Visual Affective Skills, è un modello capace di catturare un ampio spettro di sfumature facciali e di movimenti della testa, che contribuiscono all’autenticità e alla vitalità percepite.
VASA-1 ha dimostrato, attraverso una serie di esperimenti e di nuove metriche di valutazione, di superare i metodi precedenti in diversi ambiti chiave. La sua tecnologia non solo assicura un’elevata qualità video ma permette anche la generazione in tempo reale di video a 512×512 pixel fino a 40 FPS, con una latenza di avvio praticamente trascurabile.
Uno degli aspetti più interessanti è la capacità di generalizzazione del modello fuori dalla distribuzione originale. VASA-1 può gestire foto artistiche, audio di canto e discorsi in lingue diverse dall’inglese, tipologie di dati non presenti nel set di addestramento. Inoltre, permette un controllo separato dell’aspetto, della posa in 3D della testa e della dinamica facciale, facilitando la personalizzazione del contenuto generato.
Nonostante le notevoli potenzialità, gli sviluppatori di VASA-1 sono consapevoli dei rischi legati all’uso improprio di queste tecnologie, come l’impersonificazione di persone reali. Per questa ragione, l’obiettivo di Microsoft è utilizzare VASA-1 per promuovere applicazioni positive, come il “miglioramento dell’equità educativa, l’aumento dell’accessibilità per individui con difficoltà comunicative e il supporto terapeutico”. È inoltre in corso lo sviluppo di tecniche per il rilevamento di falsificazioni, con l’obiettivo ultimo di progredire nel benessere umano.
Attualmente il colosso di Seattle non prevede la release di demo online, API o altro fino a quando non sarà assicurato un utilizzo responsabile della tecnologia, in conformità con le normative. Il futuro ci dirà se e come Microsoft riuscirà a perseguire questi obiettivi.
