Hvad er AI-inferens?

AI-inferens finder sted, efter at en model allerede er blevet trænet. En bruger, et program eller et automatiseret system sender en ny indgangsværdi, og den trænede model bruger det, den har lært under træningen, til at generere en brugbar udgangsværdi.

Denne inddata kan være en skriftlig opgave, en søgeforespørgsel, et produktbillede, en stemmeoptagelse, en kodelinje eller en række i en database. Uddata kan være et svar, et genereret billede, en klassificering, en anbefaling, en oversættelse eller en forudsigelse.

Derfor indebærer hvert eneste ChatGPT-svar, hver AI-billedgenerering, hvert søgeassistentresultat, hver anbefalingsmotor og hver beslutning om indholdsmoderering en inferens. Modellen genopbygges ikke hver gang. Den køres blot på nye data.

Træning og inferens er to forskellige faser i det samme AI-system. Træningen opretter eller opdaterer modellen ved at behandle store datasæt, sammenligne forudsigelser med eksempler og justere interne parametre gennem mange gentagne trin.

Inferensen begynder, når træningsprocessen har resulteret i en brugbar model. Den trænet model implementeres på servere, modtager nye inddata og anvender de mønstre, den har lært, uden at skulle gennemgå hele træningsprocessen igen.

En enkel måde at huske forskellen på er følgende: Træning er den måde, modellen lærer på, mens inferens er den måde, modellen anvendes på. For en mere uddybende forklaring af den første fase henvises til vejledningen om, hvordan AI-modeller trænes.

De nøjagtige trin afhænger af modeltypen, men den grundlæggende fremgangsmåde er den samme. Der modtages en indgangsværdi, systemet forbereder den i det format, som modellen forventer, modellen udfører beregninger på sine parametre, og systemet omdanner modellens output til noget, som brugeren kan læse, se eller bruge.

I en sprogmodel opdeles en prompt normalt i tokens. Modellen analyserer disse tokens og forudsiger de mest sandsynlige næste tokens et skridt ad gangen. I en billedmodel kan input være tekst, et billede eller begge dele, og modellen genererer gradvist pixels eller visuelle træk, der svarer til forespørgslen.

Andre systemer kan klassificere et dokument, rangordne søgeresultater, genkende objekter i et billede, transskribere tale eller anbefale et produkt. I alle tilfælde er inferens det trin i den løbende udførelse, der omdanner en ny indgang til en modeludgang.

AI-inferens er ikke blot en simpel opslag i en database. En stor model kan indeholde milliarder af parametre, og brugen af den kræver mange matematiske operationer for at føre information gennem modellen og beregne det næste resultat.

Denne beregning skal ofte foregå hurtigt. Et svar fra en chatbot, en reaktion fra en søgeassistent eller en oversættelse i realtid skal komme på få sekunder eller endnu hurtigere, og derfor er latens, hukommelsesbåndbredde, batchbehandling, modelstørrelse og hardwareudnyttelse afgørende faktorer for inferenssystemer.

GPU’er og andre AI-acceleratorer er nyttige, fordi de effektivt kan udføre mange parallelle operationer. Jo større modellen er, jo længere konteksten er, og jo flere samtidige brugere der er, desto mere omhyggeligt skal inferensinfrastrukturen udformes.

Når en chatbot besvarer et spørgsmål, foretager den en slutning. Det samme gælder, når en billedgenerator skaber et billede ud fra en beskrivelse, en programmeringsassistent foreslår en funktion, eller et oversættelsesværktøj oversætter en sætning til et andet sprog.

Inferens forekommer også i mindre synlige systemer. Et anbefalingsfeed, der rangordner videoer, et system til svindelopsporing, der markerer en transaktion, en model til medicinsk billedbehandling, der fremhæver et område af interesse, eller et billedbehandlingssystem i en fabrik, der opdager fejl – alle disse systemer anvender trænet modeller på nye data.

Disse eksempler ser forskellige ud for brugerne, men de følger det samme grundlæggende mønster: En trænet model modtager en indgangsværdi, udfører en beregning og returnerer en udgangsværdi, der danner grundlag for en beslutning, et svar eller et genereret resultat.

En enkelt inferensforespørgsel kan være lille, men moderne AI-systemer opererer i enorm skala. Millioner eller milliarder af input, billedforespørgsler, anbefalinger og API-kald kan skabe en konstant belastning på GPU’er, netværk, lagrings- og kølesystemer.

Derfor spiller inferens en central rolle i AI-infrastrukturen. Træning er måske den mest synlige beregningsproces, men inferens gentages hver gang brugerne anvender de implementerede AI-værktøjer. På globalt plan kan denne gentagne brug blive en væsentlig drivkraft bag efterspørgslen efter GPU’er og elforbruget i datacentre.

De nøjagtige energiomkostninger ved en enkelt AI-forespørgsel afhænger af modellens størrelse, hardware, batchbehandling, udnyttelsesgrad, datacentrets effektivitet og typen af output. Det vigtige er, at inferens knytter den daglige brug af AI til den fysiske infrastruktur: chips, servere, strøm, køling og datacentre.

AI-udbydere bruger mange tekniske ressourcer på at gøre inferensen hurtigere, billigere og mere effektiv. Batching gør det muligt at behandle flere anmodninger på én gang, caching gør det muligt at genbruge gentagne opgaver, og routing gør det muligt at sende enklere opgaver til mindre eller specialiserede modeller.

Andre teknikker reducerer den nødvendige beregningsmængde. Kvantisering gør det muligt at repræsentere modelværdier mere kompakt, destillation kan overføre adfærd til en mindre model, og beskæring eller arkitekturændringer kan fjerne unødvendigt arbejde, samtidig med at den nyttige kvalitet bevares.

Specialiseret hardware spiller også en vigtig rolle. GPU’er, AI-acceleratorer, hurtige netværk og hukommelse med høj båndbredde bidrager til, at de implementerede modeller fungerer pålideligt i stor skala. En mere effektiv inferens kan reducere ventetiden, omkostningerne og strømforbruget, men det betyder ikke, at infrastrukturen forsvinder.