Hvorfor findes der så mange AI-modeller?

Når folk taler om AI, taler de ofte, som om der var ét system, der bliver bedre med tiden. I virkeligheden består AI-økosystemet af mange modelfamilier, der hver især er udviklet af forskellige teams, trænet med forskellige mål og udgivet i forskellige versioner.

GPT, Llama, Mistral, Gemma og Qwen er eksempler på modelfamilier snarere end enkeltstående, faste produkter. Hver familie kan omfatte foundation-modeller, instruktionsoptimerede modeller, kodningsmodeller, vision-sprog-modeller, mindre modeller til brug på enheden samt eksperimentelle checkpoints.

Det er derfor, at antallet af AI-modeller vokser så hurtigt. En ny modelfamilie kan give anledning til mange officielle varianter, og hver af disse varianter kan senere danne udgangspunkt for fine-tuninger fra brugerfællesskabet, domænespecifikke tilpasninger og optimerede implementeringsversioner.

En foundation-model er en alsidig model, der er trænet på et bredt datasæt, så den kan understøtte mange anvendelser i de efterfølgende faser. Den er som regel ikke den endelige version, der anvendes i hvert enkelt produkt. I stedet fungerer den som en platform, som andre teams tilpasser, evaluerer og specialiserer.

En generel sprogmodel kan for eksempel fungere som en programmeringsassistent, en model til sammenfatning af medicinske tekster, en klassificeringsmodel for juridiske dokumenter, en flersproget oversættelsesmodel eller en assistent til kundesupport. Den underliggende arkitektur kan være den samme, men de resulterende modeller fungerer forskelligt, fordi de er tilpasset forskellige opgaver.

Denne økosystemeffekt er en af hovedårsagerne til, at antallet af modeller er så højt. Det afgørende er ikke kun den oprindelige foundation-model, men også de mange praktiske versioner, der opstår omkring den til specifikke sprog, domæner, sikkerhedspolitikker, latenstidmål og hardwaremiljøer.

Fine-tuning går ud på at tage en eksisterende model og træne den yderligere på mere specifikke eksempler. I stedet for at starte fra bunden tager udviklerne udgangspunkt i en model, der allerede forstår sprog, kode, billeder eller andre mønstre, og tilpasser den derefter til et mere afgrænset mål.

LoRA og andre adapterteknikker gør denne proces billigere og mere tilgængelig. De giver teams mulighed for at tilpasse en model til en bestemt opgave uden at skulle gentræne alle parametre i det oprindelige system. Resultatet kan offentliggøres som en ny model eller som en adapter, der modificerer en foundation-model.

Et hospital, en bank, et forskningslaboratorium, et spilstudie eller en robotvirksomhed kan alle have brug for en model, der fungerer på en anden måde. Gennem fine-tuning kan de skabe specialiserede versioner, der er tilpasset deres ordforråd, dokumenter, begrænsninger og arbejdsgange. Hver eneste nyttig tilpasning kan blive endnu et bidrag til det offentlige modeløkosystem.

Åbne modelplatforme øger hastigheden, hvormed modeller bliver tilgængelige, markant. Hugging Face gør det nemt at offentliggøre, finde og genbruge modeller. GitHub gør det nemt at dele træningskode, evalueringsscripts, databehandlingsværktøjer og eksempler på implementering.

Open source-fællesskaber sænker også tærsklen for at eksperimentere. Et lille team kan tage udgangspunkt i en offentligt tilgængelig model, teste et nyt datasæt, forbedre ydeevnen for et bestemt sprog, komprimere modellen for at opnå billigere inferens eller udvikle en version, der kører på almindelig forbrugerhardware.

Det betyder ikke, at alle offentligt tilgængelige modeller er lige vigtige eller klar til brug i praksis. Mange af dem er eksperimenter, benchmark-modeller, forgreninger eller gradvise forbedringer. Men det åbne økosystem er værdifuldt, fordi det gør modeludviklingen til en fælles proces i stedet for en lukket aktivitet, der foregår i nogle få store laboratorier.

Et stort antal modeller betyder ikke, at der findes hundredtusindvis af systemer, der kan sammenlignes med de største banebrydende modeller. De fleste modeller er ikke systemer i GPT-4-størrelsesordenen, der er trænet fra bunden med enorme budgetter og omfattende privat infrastruktur.

Mange offentligt tilgængelige modeller er mindre, specialiserede eller afledt af eksisterende arbejde. Nogle er klassifikatorer, indlejringsmodeller, talemodeller, billedmodeller, oversættelsesmodeller, søgemodeller, forsknings-checkpoints eller finjusterede varianter af en større foundation-model.

Denne skelnen er vigtig, når man analyserer AI-indikatorer. Et modelregister måler aktiviteten i økosystemet, ikke antallet af banebrydende laboratorier. Det viser, hvor mange genanvendelige artefakter der offentliggøres, tilpasses og testes i det bredere maskinlæringsmiljø.

Specialiserede modeller er nyttige, fordi forskellige fagområder stiller forskellige krav. En medicinsk model skal måske kunne forstå klinisk terminologi, mens en finansiel model skal kunne behandle indberetninger, risikospecifik terminologi og strukturerede markedsoplysninger.

Robotmodeller kan forbinde perception med fysiske handlinger. Oversættelsesmodeller kan fokusere på sprog med begrænsede ressourcer. Billedbehandlingsmodeller kan opdage industrielle fejl, satellitdetaljer eller medicinske billeder. En enkelt generel model kan være imponerende, men den er ikke altid det bedste eller billigste værktøj til enhver opgave.

Denne mangfoldighed gør AI-økosystemet mere robust og praktisk. I stedet for at én model skal forsøge at imødekomme alle brugeres behov, kan mange modeller optimeres med hensyn til nøjagtighed, hastighed, privatlivsbeskyttelse, omkostninger, sprogdækning, enhedsbegrænsninger eller lovgivningsmæssige krav.

Det er sandsynligt, at antallet af offentligt tilgængelige modeller vil fortsætte med at stige. Hvis det bliver nemmere at udvikle og tilpasse modeller, vil flere teams offentliggøre versioner til specifikke brancher, sprog, enheder, arbejdsgange og forskningsspørgsmål.

Væksten vil muligvis ikke være lineær. Nogle modeller vil blive forældede, andre vil blive sammenlagt, og nogle platforme vil muligvis rydde op i dubletter eller inaktive repositorier. Samtidig kan bedre værktøjer gøre oprettelsen af modeller lige så rutinemæssig som udgivelsen af softwarepakker.

Det vigtigste spørgsmål er ikke, om tallet ender på hundreder af tusinder eller millioner. Det mere relevante spørgsmål er, hvor mange modeller der er pålidelige, veldokumenterede, evaluerede og egnede til praktisk anvendelse. Mængden afspejler aktiviteten i økosystemet; kvaliteten afgør den langsigtede værdi.