Cos’è Groq e perché non va confuso con Grok (di Elon Musk)

da | 25 Feb 2024 | IA

Negli ultimi tempi, un nuovo protagonista si è fatto strada nel panorama dell’intelligenza artificiale. Ci riferiamo al modello IA di Groq Inc., che sta rapidamente guadagnando attenzione sui social media e sfidando la supremazia di modelli come ChatGPT.

Groq, alimentato da chip progettati specificamente per modelli di linguaggio di grandi dimensioni (LLM), ha dimostrato di essere eccezionalmente veloce, superando ChatGPT-3.5 con una capacità di generare circa 500 token al secondo, un balzo significativo rispetto ai 40 token al secondo del chatbot di Sam Altman.

Groq Inc., attiva dal 2016, ha introdotto nel settore il primo Language Processing Unit (LPU), superando così la dipendenza dai costosi GPU. Ma cos’è una LPU? Si tratta di un motore di inferenza progettato per gestire applicazioni computazionalmente intensive con una componente sequenziale, come i LLM.

Questi motori superano i due principali colli di bottiglia degli LLM: la quantità di calcolo e la larghezza di banda della memoria. Con prestazioni nettamente superiori alle GPU di Nvidia, l’LPU promette una generazione di sequenze di testo più rapida e un’esperienza a bassa latenza capace di restituire testo istantaneamente, il tutto in un pacchetto energeticamente efficiente.

Nonostante la recente popolarità, la società dietro Groq non è nuova. Fondata nel 2016, ha attirato l’attenzione quando Elon Musk ha lanciato un modello di IA chiamato Grok, con una grafica leggermente diversa, sollevando questioni sul nome. Groq Inc. ha prontamente risposto con un post sul blog, chiedendo a Musk di scegliere un altro nome.

L’ascesa di Groq sui social media ha stimolato confronti tra il modello LPU e altri modelli basati su GPU. Un utente che lavora nello sviluppo dell’AI ha definito Groq un “game changer” per prodotti che richiedono bassa latenza, mentre un altro ha suggerito che gli LPU di Groq potrebbero offrire un “enorme miglioramento” rispetto alle GPU, specialmente per le esigenze future delle applicazioni IA, proponendosi come alternativa agli hardware di alta gamma come i chip A100 e H100 di Nvidia.

Questo sviluppo arriva in un momento in cui i principali attori delle intelligenze artificiali cercano di sviluppare chip interni per non dipendere esclusivamente dai modelli di Nvidia. Sam Altman, ad esempio, vuole creare una rete globale di fabbriche di chip per l’IA e superare i problemi di scalabilità dei suoi prodotti. E lo stesso vale per Mark Zuckerberg.

Groq Inc. dunque non solo sfida i giganti esistenti nel campo dell’IA ma apre anche la strada a nuove metodologie e tecnologie nel trattamento dei dati. Se sarà una svolta nel settore dell’intelligenza artificiale, lo scopriremo col tempo.

POTREBBE INTERESSARTI

Jen-Hsun Huang durante una presentazione di Nvidia

Nvidia batte Microsoft ed è la società che vale di più al mondo

Spinta dal crescente interesse nel comparto dell'intelligenza artificiale, settore in cui è leader grazie ai suoi processori di fascia alta, Nvidia ha infranto un nuovo...
Il segretario della NATO Jens Stoltenberg

La NATO investe mille miliardi di euro in IA, robot e spazio

La NATO investe mille miliardi di euro in 4 aziende specializzate in tecnologia per lo sviluppo di IA, robotica e ingegneria spaziale.

I robots di Ex-Robots

In Cina stanno costruendo robot con espressioni facciali umane

L’ultima frontiera della tecnologia fonde la robotica con l’intelligenza artificiale. L’obiettivo è quello di usare l’IA per dare ai robot...
Sam Altman potrebbe trasformare OpenAI in una società benefit foto: Joel Saget/AFP/Getty Images

OpenAI potrebbe diventare una società benefit (e perseguire il profitto)

OpenAI, per competete al meglio contro Anthropic e xAI, potrebbe cessare di essere una no-profit. E c’è già chi come passo successivo s’immagina...
NVIDIA lancia Nemotron-4 340B per la generazione di dati sintetici

NVIDIA lancia Nemotron-4 340B per la generazione di dati sintetici

La famiglia di modelli Nemotron-4 340B servirà per l’addestramento dei degli LLM in tutti quei casi in cui i dati reali sono costosi, difficili da ottenere o...
Ai giovani piace l'idea di affidarsi all'IA per gestire il proprio denaro

Giovani e IA: è una nuova era per la gestione finanziaria?

A Generazione Z e Millennials piace l’idea di affidarsi all’IA per gestire il proprio denaro. Scettici invece Generazione X e i Baby Boomers.

Meta sospende il lancio dei modelli di IA in Europa

Meta sospende il lancio dei modelli di IA in Europa

La scelta è dovuta alla richiesta dell’Irlanda. Delusa Meta, soddisfatte NYOB, DPC e ICO.

Dream Machine è in grado di generare 120 fotogrammi di video in 120 secondi

Dream Machine: il text-to-video di Luma Labs è già disponibile

Dream Machine è in grado di generare 120 fotogrammi di video in 120 secondi.

I robot Optimus di Tesla starebbero già lavorando in fabbrica senza intervento umano
,

Tesla rivela che due robot Optimus già lavorano… autonomamente

I robot Optimus di Tesla starebbero già lavorando in fabbrica senza intervento umano. Saranno in vendita dal prossimo anno.

di Apple Intelligence vedrà la collaborazione tra Apple e OpenAI.
,

Apple Intelligence: come funzionerà l’accordo con OpenAI?

Superato l’annuncio della WWDC 2024, restano aperti molti interrogativi non solo sul presente ma anche sul futuro di Apple Intelligence. Ecco quali…

Share This