Nell’ambito dell’intelligenza artificiale e più specificatamente dei modelli linguistici, il termine “open-weights” indica una categoria che rende pubblicamente accessibili e fruibili la sua struttura e i pesi (cioè i parametri che ha acquisito durante il suo addestramento) a ricercatori, sviluppatori e al vasto pubblico.
È però fondamentale distinguere il concetto di “open-weights” da quello di “open source”. Mentre “open source” implica l’accesso non solo ai pesi ma anche al codice sorgente, con una licenza che ne permette una più ampia modifica e condivisione, i modelli “open-weights” si concentrano principalmente sulla disponibilità dei pesi. In questo caso, il codice sorgente può non essere del tutto aperto o liberamente modificabile.
Ora che abbiamo fatto questa precisazione, è più facile passare alla notizia vera e propria, che vede Google aver recentemente annunciato il lancio di Gemma. Si tratta di una serie di innovativi modelli di LLM gratuiti e di tipo open-weights (ora sappiamo che significa), basati su tecnologie simili ai modelli Gemini, noti per la loro potenza ma di natura chiusa.
La caratteristica distintiva di Gemma è la sua capacità di funzionare direttamente su computer desktop o portatili e i modelli sono offerti in due versioni: Gemma 2B, con 2 miliardi di parametri, e Gemma 7B, con 7 miliardi di parametri.
In passato, i modelli LLM open-weights di dimensioni ridotte sono stati per lo più considerati come dimostrazioni tecnologiche, a causa delle loro limitate capacità. Tuttavia, recentemente alcuni modelli più grandi hanno iniziato a raggiungere livelli prestazionali paragonabili a quelli di GPT-3.5. Gli esperti ritengono che i modelli con codice sorgente e pesi accessibili siano fondamentali per garantire trasparenza e privacy nei chatbot.
Google Gemma, che come abbiamo spiegato non è classificabile come “open source” nel senso tradizionale del termine, sembra essere una risposta a Meta, che ha destato attenzione nel rilasciare modelli open-weights come LLaMA e Llama 2, in contrasto con modelli come GPT-4 Turbo di OpenAI, non eseguibili localmente.
Google afferma che il modello 7B di Gemma supera i modelli Llama 2 7B e 13B di Meta in vari benchmark, tra cui compiti di matematica, generazione di codice Python, conoscenza generale e ragionamento di senso comune. È già disponibile su Kaggle, una piattaforma per il machine learning, e su Hugging Face.
