Varför finns det så många AI-modeller?

När man talar om AI uttrycker man sig ofta som om det vore ett enda system som förbättras med tiden. I själva verket består AI-ekosystemet av många modellfamiljer, som var och en har utvecklats av olika team, tränats med olika mål och släppts i olika versioner.

GPT, Llama, Mistral, Gemma och Qwen är exempel på modellfamiljer snarare än enskilda, färdigutvecklade produkter. Varje familj kan innehålla basmodeller, instruktionsanpassade modeller, kodningsmodeller, bild-språk-modeller, mindre enhetsbaserade modeller och experimentella kontrollpunkter.

Det är därför antalet AI-modeller ökar så snabbt. En ny modellfamilj kan ge upphov till många officiella varianter, och var och en av dessa varianter kan senare utgöra utgångspunkten för finjusteringar från användargemenskapen, domänspecifika anpassningar och optimerade driftsversioner.

En foundation model är en allmän modell som har tränats på ett brett datamaterial för att kunna stödja många olika tillämpningar i senare led. Den är vanligtvis inte den slutgiltiga versionen som används i varje produkt. Istället fungerar den som en plattform som andra team anpassar, utvärderar och specialiserar.

En allmän språkmodell kan till exempel användas som programmeringsassistent, modell för sammanfattning av medicinska texter, klassificeringsmodell för juridiska dokument, flerspråkig översättningsmodell eller assistent inom kundsupport. Den underliggande arkitekturen kan vara likartad, men de resulterande modellerna fungerar på olika sätt eftersom de är anpassade för olika uppgifter.

Denna ekosystemeffekt är en av de främsta orsakerna till att antalet modeller är så stort. Det viktiga är inte bara den ursprungliga basmodellen, utan även de många praktiska versioner som utvecklas kring den för specifika språk, domäner, säkerhetsriktlinjer, latensmål och hårdvarumiljöer.

Fine-tuning innebär att man tar en befintlig modell och tränar den ytterligare med mer specifika exempel. Istället för att börja från noll utgår utvecklarna från en modell som redan förstår språk, kod, bilder eller andra mönster, och anpassar den sedan till ett mer avgränsat mål.

LoRA och andra adaptertekniker gör denna process billigare och mer tillgänglig. De gör det möjligt för team att anpassa en modell för en specifik uppgift utan att behöva träna om varje parameter i det ursprungliga systemet. Resultatet kan publiceras som en ny modell eller som en adapter som modifierar en basmodell.

Ett sjukhus, en bank, ett forskningslaboratorium, en spelstudio eller ett robotföretag kan alla behöva en modell som fungerar på olika sätt. Genom fine-tuning kan de skapa specialanpassade versioner som är anpassade till just deras ordförråd, dokument, begränsningar och arbetsflöden. Varje användbar anpassning kan bli ytterligare ett bidrag till det offentliga modell-ekosystemet.

Öppna modellplattformar ökar hastigheten med vilken modeller tas fram avsevärt. Hugging Face gör det enkelt att publicera, upptäcka och återanvända modeller. GitHub gör det enkelt att dela träningskod, utvärderingsskript, verktyg för databehandling och exempel på driftsättning.

Öppen källkodsgemenskaper sänker också tröskeln för experimenterande. Ett litet team kan utgå från en offentlig modell, testa en ny datamängd, förbättra prestandan för ett visst språk, komprimera modellen för att sänka kostnaden för inferens eller bygga en version som körs på vanlig hårdvara.

Detta innebär inte att alla offentliga modeller är lika viktiga eller redo för produktion. Många är experiment, jämförelsetester, avgreningar eller stegvisa förbättringar. Men det öppna ekosystemet är värdefullt eftersom det gör modellutvecklingen till en gemensam process snarare än en sluten verksamhet inom ett fåtal stora laboratorier.

Att det finns ett stort antal modeller innebär inte att det finns hundratusentals system i världen som är jämförbara med de största pionjärmodellerna. De flesta modeller är inte system i GPT-4-skala som tränats från grunden med enorma budgetar och omfattande privat infrastruktur.

Många offentliga modeller är mindre, specialiserade eller härledda från befintliga arbeten. Vissa är klassificeringsmodeller, inbäddningsmodeller, talmodeller, bildmodeller, översättningsmodeller, sökmodeller, forskningskontrollpunkter eller finjusterade varianter av en större basmodell.

Denna distinktion är viktig när man tolkar AI-indikatorer. Ett modellregister mäter aktiviteten i ekosystemet, inte antalet banbrytande laboratorier. Det visar hur många återanvändbara artefakter som publiceras, anpassas och testas inom den bredare maskininlärningsgemenskapen.

Specialiserade modeller är användbara eftersom olika branscher har olika krav. En medicinsk modell kan behöva förstå klinisk terminologi, medan en finansiell modell kan behöva hantera rapporter, riskspråk och strukturerad marknadsinformation.

Robotmodeller kan koppla samman perception med fysiska handlingar. Översättningsmodeller kan inriktas på språk med begränsade resurser. Bildbehandlingsmodeller kan upptäcka industriella fel, satellitdetaljer eller medicinska bilder. En enda allmän modell kan vara imponerande, men den är inte alltid det bästa eller billigaste verktyget för alla uppgifter.

Denna mångfald gör AI-ekosystemet mer motståndskraftigt och praktiskt. Istället för att en enda modell ska försöka tillgodose alla användares behov kan många olika modeller optimeras med avseende på noggrannhet, hastighet, integritet, kostnad, språktäckning, enhetsbegränsningar eller lagstadgade krav.

Det är troligt att antalet offentligt tillgängliga modeller kommer att fortsätta öka. Om det blir enklare att skapa och anpassa modeller kommer fler team att publicera versioner för specifika branscher, språk, enheter, arbetsflöden och forskningsfrågor.

Tillväxten kommer kanske inte att vara linjär. Vissa modeller kommer att bli föråldrade, andra kommer att slås samman, och vissa plattformar kan komma att rensa bort dubbletter eller inaktiva repositorier. Samtidigt kan bättre verktyg göra modellskapandet lika rutinmässigt som att publicera programvarupaket.

Den viktigaste frågan är inte om antalet uppgår till hundratusentals eller miljoner. En mer relevant fråga är hur många modeller som är tillförlitliga, väl dokumenterade, utvärderade och lämpliga för praktisk användning. Kvantiteten visar på aktiviteten i ekosystemet; kvaliteten avgör det långsiktiga värdet.