Negli ultimi tempi, un nuovo protagonista si è fatto strada nel panorama dell’intelligenza artificiale. Ci riferiamo al modello IA di Groq Inc., che sta rapidamente guadagnando attenzione sui social media e sfidando la supremazia di modelli come ChatGPT.
Groq, alimentato da chip progettati specificamente per modelli di linguaggio di grandi dimensioni (LLM), ha dimostrato di essere eccezionalmente veloce, superando ChatGPT-3.5 con una capacità di generare circa 500 token al secondo, un balzo significativo rispetto ai 40 token al secondo del chatbot di Sam Altman.
Groq Inc., attiva dal 2016, ha introdotto nel settore il primo Language Processing Unit (LPU), superando così la dipendenza dai costosi GPU. Ma cos’è una LPU? Si tratta di un motore di inferenza progettato per gestire applicazioni computazionalmente intensive con una componente sequenziale, come i LLM.
Questi motori superano i due principali colli di bottiglia degli LLM: la quantità di calcolo e la larghezza di banda della memoria. Con prestazioni nettamente superiori alle GPU di Nvidia, l’LPU promette una generazione di sequenze di testo più rapida e un’esperienza a bassa latenza capace di restituire testo istantaneamente, il tutto in un pacchetto energeticamente efficiente.
Wow, that’s a lot of tweets tonight! FAQs responses.
• We’re faster because we designed our chip & systems
• It’s an LPU, Language Processing Unit (not a GPU)
• We use open-source models, but we don’t train them
• We are increasing access capacity weekly, stay tuned pic.twitter.com/nFlFXETKUP— Groq Inc (@GroqInc) February 19, 2024
Nonostante la recente popolarità, la società dietro Groq non è nuova. Fondata nel 2016, ha attirato l’attenzione quando Elon Musk ha lanciato un modello di IA chiamato Grok, con una grafica leggermente diversa, sollevando questioni sul nome. Groq Inc. ha prontamente risposto con un post sul blog, chiedendo a Musk di scegliere un altro nome.
L’ascesa di Groq sui social media ha stimolato confronti tra il modello LPU e altri modelli basati su GPU. Un utente che lavora nello sviluppo dell’AI ha definito Groq un “game changer” per prodotti che richiedono bassa latenza, mentre un altro ha suggerito che gli LPU di Groq potrebbero offrire un “enorme miglioramento” rispetto alle GPU, specialmente per le esigenze future delle applicazioni IA, proponendosi come alternativa agli hardware di alta gamma come i chip A100 e H100 di Nvidia.
Questo sviluppo arriva in un momento in cui i principali attori delle intelligenze artificiali cercano di sviluppare chip interni per non dipendere esclusivamente dai modelli di Nvidia. Sam Altman, ad esempio, vuole creare una rete globale di fabbriche di chip per l’IA e superare i problemi di scalabilità dei suoi prodotti. E lo stesso vale per Mark Zuckerberg.
Groq Inc. dunque non solo sfida i giganti esistenti nel campo dell’IA ma apre anche la strada a nuove metodologie e tecnologie nel trattamento dei dati. Se sarà una svolta nel settore dell’intelligenza artificiale, lo scopriremo col tempo.
