Perché esistono così tanti modelli di intelligenza artificiale?

Quando si parla di IA, spesso si dà per scontato che esista un unico sistema che si perfeziona nel tempo. In realtà, l’ecosistema dell’IA è costituito da numerose famiglie di modelli, ciascuna sviluppata da team diversi, addestrata con obiettivi diversi e rilasciata in versioni diverse.

GPT, Llama, Mistral, Gemma e Qwen sono esempi di famiglie di modelli piuttosto che di singoli prodotti definitivi. Ciascuna famiglia può comprendere modelli fondazionali, modelli ottimizzati per le istruzioni, modelli di codifica, modelli di visione-linguaggio, modelli più piccoli da utilizzare sul dispositivo e checkpoint sperimentali.

Ecco perché il numero di modelli di IA cresce così rapidamente. Una nuova famiglia può generare numerose varianti ufficiali, e ciascuna di queste varianti può successivamente diventare il punto di partenza per ottimizzazioni da parte della comunità, adattamenti specifici per determinati ambiti e versioni ottimizzate per l'implementazione.

Un modello fondazionale è un modello generico addestrato su un ampio corpus di dati, in modo da poter supportare numerosi utilizzi a valle. Di solito non rappresenta la forma definitiva utilizzata in ogni prodotto, ma diventa piuttosto una piattaforma che altri team adattano, valutano e specializzano.

Ad esempio, un modello linguistico generico può diventare un assistente alla programmazione, un modello di sintesi medica, un classificatore di documenti legali, un modello di traduzione multilingue o un assistente per l'assistenza clienti. L'architettura di base può essere simile, ma i modelli risultanti si comportano in modo diverso perché sono ottimizzati per compiti diversi.

Questo effetto di ecosistema è uno dei motivi principali per cui il numero di modelli è così elevato. L’elemento fondamentale non è solo il modello fondazionale originale, ma anche le numerose versioni pratiche che ne derivano, pensate per lingue, settori, politiche di sicurezza, obiettivi di latenza e ambienti hardware specifici.

Il fine-tuning consiste nel prendere un modello esistente e addestrarlo ulteriormente su esempi più specifici. Anziché partire da zero, gli sviluppatori partono da un modello che già comprende il linguaggio, il codice, le immagini o altri schemi, per poi adattarlo a un obiettivo più specifico.

LoRA e altre tecniche di adattamento rendono questo processo più economico e accessibile. Consentono ai team di adattare un modello a un compito specifico senza dover riaddestrare ogni singolo parametro del sistema originale. Il risultato può essere pubblicato come nuovo modello o come adattatore che modifica un modello fondazionale.

Un ospedale, una banca, un laboratorio di ricerca, uno studio di videogiochi o un’azienda di robotica potrebbero tutti aver bisogno di un modello che si comporti in modo diverso. Il fine-tuning consente loro di creare versioni specializzate per il proprio vocabolario, i propri documenti, i propri vincoli e i propri flussi di lavoro. Ogni adattamento utile può diventare un’altra voce nell’ecosistema dei modelli pubblici.

Le piattaforme di modelli aperte aumentano notevolmente la velocità con cui vengono pubblicati i modelli. Hugging Face semplifica la pubblicazione, la ricerca e il riutilizzo dei modelli. GitHub facilita la condivisione di codice di addestramento, script di valutazione, strumenti di elaborazione dei dati ed esempi di implementazione.

Le comunità open source riducono inoltre le barriere alla sperimentazione. Un piccolo team può partire da un modello pubblico, testare un nuovo set di dati, migliorare le prestazioni per una determinata lingua, comprimere il modello per ottenere un’inferenza più economica oppure sviluppare una versione eseguibile su hardware di uso comune.

Ciò non significa che tutti i modelli pubblici abbiano la stessa importanza o siano pronti per la produzione. Molti sono esperimenti, benchmark, fork o miglioramenti incrementali. Tuttavia, l’ecosistema aperto è prezioso perché trasforma lo sviluppo dei modelli in un processo condiviso, anziché in un’attività chiusa all’interno di pochi grandi laboratori.

Un numero elevato di modelli non significa che esistano centinaia di migliaia di sistemi paragonabili ai modelli di frontiera più grandi. La maggior parte dei modelli non è costituita da sistemi delle dimensioni di GPT-4, addestrati da zero con budget enormi e infrastrutture private su vasta scala.

Molti modelli pubblici sono di dimensioni più ridotte, specializzati o derivati da lavori esistenti. Alcuni sono classificatori, modelli di embedding, modelli vocali, modelli di elaborazione delle immagini, modelli di traduzione, modelli di recupero, checkpoint di ricerca o varianti ottimizzate di un modello fondazionale più ampio.

Questa distinzione è importante quando si analizzano gli indicatori relativi all’IA. Un registro dei modelli misura l’attività nell’ecosistema, non il numero di laboratori all’avanguardia. Mostra quanti artefatti riutilizzabili vengono pubblicati, adattati e testati all’interno della più ampia comunità del machine learning.

I modelli specializzati sono utili perché ogni settore ha esigenze diverse. Un modello medico potrebbe dover comprendere la terminologia clinica, mentre un modello finanziario potrebbe dover elaborare documenti di rendicontazione, terminologia relativa al rischio e informazioni di mercato strutturate.

I modelli di robotica possono collegare la percezione alle azioni fisiche. I modelli di traduzione possono concentrarsi sulle lingue con poche risorse disponibili. I modelli di visione artificiale possono rilevare difetti industriali, caratteristiche satellitari o immagini mediche. Un unico modello generico può essere straordinario, ma non è sempre lo strumento migliore o più economico per ogni compito.

Questa diversità rende l'ecosistema dell'IA più resiliente e pratico. Anziché affidarsi a un unico modello che cerchi di soddisfare le esigenze di tutti gli utenti, è possibile ottimizzare numerosi modelli in base a criteri quali precisione, velocità, privacy, costi, copertura linguistica, limitazioni dei dispositivi o requisiti normativi.

È plausibile che il numero di modelli disponibili al pubblico continui ad aumentare. Se la creazione e l’adattamento dei modelli diventeranno più semplici, un numero maggiore di team pubblicherà versioni specifiche per determinati settori, lingue, dispositivi, flussi di lavoro e questioni di ricerca.

La crescita potrebbe non essere lineare. Alcuni modelli diventeranno obsoleti, altri verranno accorpati e alcune piattaforme potrebbero eliminare i duplicati o i repository inattivi. Allo stesso tempo, strumenti più efficaci potrebbero rendere la creazione di modelli un’operazione di routine, al pari della pubblicazione di pacchetti software.

La domanda più importante non è se il numero raggiunga le centinaia di migliaia o i milioni. La domanda più utile è quanti modelli siano affidabili, ben documentati, valutati e adatti all'uso pratico. La quantità riflette l'attività dell'ecosistema; la qualità ne determina il valore a lungo termine.