Hvorfor finnes det så mange AI-modeller?

Når folk snakker om AI, snakker de ofte som om det var ett enkelt system som ble stadig bedre over tid. I virkeligheten består AI-økosystemet av mange modellfamilier, som hver er utviklet av forskjellige team, trent med ulike mål og lansert i ulike versjoner.

GPT, Llama, Mistral, Gemma og Qwen er eksempler på modellfamilier, ikke enkeltstående, faste produkter. Hver familie kan inneholde basismodeller, instruksjonsoptimaliserte modeller, kodingsmodeller, bildespråkmodeller, mindre modeller for bruk på enheten og eksperimentelle sjekkpunkter.

Det er derfor antallet AI-modeller øker så raskt. Én ny modellfamilie kan gi opphav til mange offisielle varianter, og hver av disse variantene kan senere danne utgangspunkt for finjusteringer fra brukerfellesskapet, domenespesifikke tilpasninger og optimaliserte driftsversjoner.

En foundation-modell er en allsidig modell som er trent på et bredt datagrunnlag, slik at den kan støtte mange anvendelser i senere ledd. Den er vanligvis ikke den endelige versjonen som brukes i hvert enkelt produkt. I stedet fungerer den som en plattform som andre team tilpasser, evaluerer og spesialiserer.

En generell språkmodell kan for eksempel fungere som en programmeringsassistent, en modell for medisinsk sammendrag, en klassifiseringsmodell for juridiske dokumenter, en flerspråklig oversettelsesmodell eller en assistent for kundesupport. Den underliggende arkitekturen kan være beslektet, men de resulterende modellene oppfører seg forskjellig fordi de er tilpasset ulike oppgaver.

Denne økosystemeffekten er en av hovedårsakene til at antallet modeller er så høyt. Det viktige er ikke bare den opprinnelige grunnmodellen, men også de mange praktiske versjonene som utvikles rundt den for spesifikke språk, fagområder, sikkerhetsretningslinjer, forsinkelsesmål og maskinvaremiljøer.

Fine-tuning innebærer å ta en eksisterende modell og trene den videre på mer spesifikke eksempler. I stedet for å starte helt fra bunnen av, tar utviklerne utgangspunkt i en modell som allerede forstår språk, kode, bilder eller andre mønstre, for deretter å tilpasse den til et mer avgrenset mål.

LoRA og andre adapterteknikker gjør denne prosessen rimeligere og mer tilgjengelig. De gjør det mulig for team å tilpasse en modell til en bestemt oppgave uten å måtte trene opp hver enkelt parameter i det opprinnelige systemet på nytt. Resultatet kan publiseres som en ny modell eller som en adapter som modifiserer en basismodell.

Et sykehus, en bank, et forskningslaboratorium, et spillstudio eller et robotikkfirma kan alle ha behov for en modell som fungerer på forskjellige måter. Gjennom fine-tuning kan de lage spesialtilpassede versjoner for sitt eget ordforråd, sine dokumenter, sine begrensninger og sine arbeidsflyter. Hver nyttig tilpasning kan bli et nytt bidrag til det offentlige modelløkosystemet.

Åpne modellplattformer øker hastigheten på modellutviklingen betydelig. Hugging Face gjør det enkelt å publisere, finne og gjenbruke modeller. GitHub gjør det enkelt å dele treningskode, evalueringsskript, verktøy for databehandling og eksempler på implementering.

Åpen kildekode-miljøer gjør det også lettere å eksperimentere. Et lite team kan ta utgangspunkt i en offentlig tilgjengelig modell, teste et nytt datasett, forbedre ytelsen for ett språk, komprimere modellen for å oppnå rimeligere inferens eller utvikle en versjon som kjører på vanlig forbrukerhardware.

Dette betyr ikke at alle offentlig tilgjengelige modeller er like viktige eller klare for produksjonsbruk. Mange av dem er eksperimenter, referansetester, forgreninger eller trinnvise forbedringer. Men det åpne økosystemet er verdifullt fordi det gjør modellutviklingen til en felles prosess, i stedet for en lukket aktivitet som foregår i noen få store laboratorier.

At antallet modeller er høyt, betyr ikke at det finnes hundretusener av systemer i verden som kan sammenlignes med de største «frontier»-modellene. De fleste modellene er ikke systemer i GPT-4-skala som er trent opp fra bunnen av med enorme budsjetter og omfattende privat infrastruktur.

Mange offentlige modeller er mindre, spesialiserte eller avledet fra eksisterende arbeid. Noen er klassifikatorer, innleiringsmodeller, talemodeller, bildemodeller, oversettelsesmodeller, søkemodeller, forskningsreferansepunkter eller finjusterte varianter av en større basismodell.

Dette skillet er viktig når man tolker AI-indikatorer. Et modellregister måler aktiviteten i økosystemet, ikke antallet banebrytende laboratorier. Det viser hvor mange gjenbrukbare artefakter som publiseres, tilpasses og testes i det bredere maskinlæringsmiljøet.

Spesialiserte modeller er nyttige fordi ulike fagområder har ulike krav. En medisinsk modell må kanskje forstå klinisk terminologi, mens en finansmodell må kunne behandle rapporter, risikoterminologi og strukturert markedsinformasjon.

Robotikkmodeller kan koble persepsjon til fysiske handlinger. Oversettelsesmodeller kan fokusere på språk med få ressurser. Bildegjenkjenningsmodeller kan oppdage feil i industriprodukter, satellitttrekk eller medisinske bilder. En enkelt, generell modell kan være imponerende, men den er ikke alltid det beste eller billigste verktøyet for alle oppgaver.

Dette mangfoldet gjør AI-økosystemet mer robust og praktisk. I stedet for at én modell skal prøve å betjene alle brukere, kan mange modeller optimaliseres med tanke på nøyaktighet, hastighet, personvern, kostnader, språkdækning, enhetsbegrensninger eller lovkrav.

Det er sannsynlig at antallet offentlig tilgjengelige modeller vil fortsette å øke. Hvis det blir enklere å utvikle og tilpasse modeller, vil flere team publisere versjoner for bestemte bransjer, språk, enheter, arbeidsflyter og forskningsspørsmål.

Veksten vil kanskje ikke være lineær. Noen modeller vil bli foreldet, andre vil bli slått sammen, og enkelte plattformer vil kanskje rydde opp i duplikater eller inaktive repositorier. Samtidig kan bedre verktøy gjøre modellutvikling like rutinemessig som å publisere programvarepakker.

Det viktigste spørsmålet er ikke om tallet blir hundretusener eller millioner. Et mer relevant spørsmål er hvor mange modeller som er pålitelige, godt dokumenterte, evaluert og egnet for praktisk bruk. Mengden viser aktiviteten i økosystemet; kvaliteten avgjør den langsiktige verdien.