Waarom zijn er zoveel AI-modellen?

Als mensen het over AI hebben, doen ze vaak alsof er één systeem is dat in de loop van de tijd steeds beter wordt. In werkelijkheid bestaat het AI-ecosysteem uit talrijke modelfamilies, die elk door verschillende teams zijn ontwikkeld, met verschillende doelstellingen zijn getraind en in verschillende versies zijn uitgebracht.

GPT, Llama, Mistral, Gemma en Qwen zijn voorbeelden van modelfamilies en geen afzonderlijke, vaststaande producten. Elke familie kan basismodellen, op instructies afgestemde modellen, coderingsmodellen, visie-taalmodellen, kleinere modellen voor gebruik op het apparaat en experimentele checkpoints bevatten.

Dit is de reden waarom het aantal AI-modellen zo snel toeneemt. Eén nieuwe modelreeks kan talrijke officiële varianten opleveren, en elk van die varianten kan later het uitgangspunt vormen voor door de community doorgevoerde verfijningen, domeinspecifieke aanpassingen en geoptimaliseerde implementatieversies.

Een basismodel is een algemeen model dat is getraind op basis van een brede dataset, zodat het geschikt is voor tal van toepassingen in latere fasen. Het is doorgaans niet de definitieve versie die in elk product wordt gebruikt. In plaats daarvan fungeert het als een platform dat andere teams aanpassen, evalueren en specialiseren.

Een algemeen taalmodel kan bijvoorbeeld worden ingezet als programmeerassistent, als model voor het samenvatten van medische teksten, als classificatiemodel voor juridische documenten, als meertalig vertaalmodel of als assistent voor de klantenservice. De onderliggende architectuur kan vergelijkbaar zijn, maar de resulterende modellen gedragen zich verschillend omdat ze zijn afgestemd op verschillende taken.

Dit ecosysteemeffect is een van de belangrijkste redenen waarom het aantal modellen zo groot is. Niet alleen het oorspronkelijke basismodel is van belang, maar ook de vele praktische varianten die daaruit voortkomen voor specifieke talen, domeinen, veiligheidsbeleidsregels, latentiedoelstellingen en hardwareomgevingen.

Fijnafstemming houdt in dat een bestaand model verder wordt getraind aan de hand van specifiekere voorbeelden. In plaats van helemaal vanaf nul te beginnen, gaan ontwikkelaars uit van een model dat al taal, code, afbeeldingen of andere patronen begrijpt, en passen ze dat vervolgens aan aan een specifieker doel.

LoRA en andere adaptertechnieken maken dit proces goedkoper en toegankelijker. Hiermee kunnen teams een model aanpassen voor een specifieke taak zonder elke parameter in het oorspronkelijke systeem opnieuw te trainen. Het resultaat kan worden gepubliceerd als een nieuw model of als een adapter die een basismodel aanpast.

Een ziekenhuis, een bank, een onderzoekslaboratorium, een gamestudio of een robotica-bedrijf kan allemaal behoefte hebben aan een model dat zich op een andere manier gedraagt. Door het model te verfijnen kunnen ze gespecialiseerde versies maken die zijn afgestemd op hun eigen woordenschat, documenten, beperkingen en werkprocessen. Elke nuttige aanpassing kan een nieuwe toevoeging worden aan het openbare modelecosysteem.

Open modelplatforms zorgen ervoor dat modellen veel sneller beschikbaar komen. Met Hugging Face kun je eenvoudig modellen publiceren, ontdekken en hergebruiken. GitHub maakt het gemakkelijk om trainingscode, evaluatiescripts, tools voor gegevensverwerking en implementatievoorbeelden te delen.

Open-sourcegemeenschappen verlagen ook de drempel om te experimenteren. Een klein team kan uitgaan van een openbaar model, een nieuwe dataset testen, de prestaties voor één taal verbeteren, het model comprimeren om de inferentie goedkoper te maken of een versie bouwen die op standaardhardware draait.

Dit betekent niet dat elk openbaar model even belangrijk is of klaar voor productie. Veel modellen zijn experimenten, benchmarks, forks of stapsgewijze verbeteringen. Maar het open ecosysteem is waardevol omdat het modelontwikkeling tot een gezamenlijk proces maakt, in plaats van een gesloten activiteit binnen een paar grote laboratoria.

Een groot aantal modellen betekent niet dat er wereldwijd honderdduizenden systemen bestaan die vergelijkbaar zijn met de grootste grensverleggende modellen. De meeste modellen zijn geen systemen op GPT-4-schaal die vanaf nul zijn getraind met enorme budgetten en een omvangrijke eigen infrastructuur.

Veel openbare modellen zijn kleiner, gespecialiseerd of afgeleid van bestaand werk. Sommige zijn classificatiemodellen, embeddingmodellen, spraakmodellen, beeldmodellen, vertaalmodellen, zoekmodellen, onderzoekscontrolepunten of verfijnde varianten van een groter basismodel.

Dit onderscheid is van belang bij het interpreteren van AI-statistieken. Een modelregister meet de activiteit binnen het ecosysteem, niet het aantal toonaangevende onderzoekscentra. Het laat zien hoeveel herbruikbare artefacten er binnen de bredere machine learning-gemeenschap worden gepubliceerd, aangepast en getest.

Gespecialiseerde modellen zijn nuttig omdat verschillende vakgebieden verschillende eisen stellen. Een medisch model moet bijvoorbeeld klinische terminologie begrijpen, terwijl een financieel model mogelijk te maken krijgt met rapportages, risicotaal en gestructureerde marktinformatie.

Robotica-modellen kunnen waarnemingen koppelen aan fysieke handelingen. Vertaalmodellen kunnen zich richten op talen met beperkte beschikbaarheid van bronmateriaal. Beeldherkenningsmodellen kunnen industriële defecten, kenmerken op satellietbeelden of medische beelden detecteren. Eén enkel algemeen model kan indrukwekkend zijn, maar het is niet altijd het beste of goedkoopste hulpmiddel voor elke taak.

Deze diversiteit maakt het AI-ecosysteem veerkrachtiger en praktischer. In plaats van dat één model probeert aan de behoeften van elke gebruiker te voldoen, kunnen veel modellen worden geoptimaliseerd op het gebied van nauwkeurigheid, snelheid, privacy, kosten, taalondersteuning, apparaatbeperkingen of wettelijke vereisten.

Het ligt voor de hand dat het aantal openbaar beschikbare modellen zal blijven toenemen. Als het maken en aanpassen van modellen eenvoudiger wordt, zullen meer teams versies publiceren voor specifieke sectoren, talen, apparaten, werkprocessen en onderzoeksvragen.

De groei verloopt wellicht niet lineair. Sommige modellen zullen verouderd raken, andere zullen worden samengevoegd, en sommige platforms zullen mogelijk duplicaten of inactieve repositories opschonen. Tegelijkertijd zou betere software het maken van modellen net zo’n routineklus kunnen maken als het publiceren van softwarepakketten.

De belangrijkste vraag is niet of het aantal in de honderdduizenden of miljoenen loopt. De vraag die meer zin heeft, is hoeveel modellen betrouwbaar, goed gedocumenteerd, geëvalueerd en geschikt zijn voor praktisch gebruik. Kwantiteit geeft de activiteit van het ecosysteem weer; kwaliteit bepaalt de waarde op de lange termijn.