Hva er AI-inferens?

AI-inferens skjer etter at en modell allerede er trent opp. En bruker, et program eller et automatisert system sender inn nye data, og den trente modellen bruker det den har lært under treningen til å generere et nyttig resultat.

Denne inndataen kan være en skriftlig oppgave, et søkeord, et produktbilde, et stemmeopptak, en kodelinje eller en rad i en database. Utdataen kan være et svar, et generert bilde, en klassifisering, en anbefaling, en oversettelse eller en prediksjon.

Det er derfor hvert eneste svar fra ChatGPT, hver AI-generert bilde, hvert resultat fra søkeassistenten, hver anbefalingsmotor og hver beslutning om innholdsmoderering innebærer inferens. Modellen bygges ikke opp på nytt hver gang. Den kjøres på nye data.

Trening og inferens er to ulike faser i det samme AI-systemet. Trening innebærer å opprette eller oppdatere modellen ved å behandle store datasett, sammenligne prediksjoner med eksempler og justere interne parametere gjennom mange gjentatte trinn.

Inferensen starter etter at treningsprosessen har resultert i en brukbar modell. Den trente modellen tas i bruk på servere, mottar nye inndata og anvender de innlærte mønstrene uten å måtte gjennomgå hele treningsprosessen på nytt.

En enkel måte å huske forskjellen på er denne: Trening er måten modellen lærer på, mens inferens er måten modellen brukes på. For en mer utdypende forklaring av den første fasen, se veiledningen om hvordan AI-modeller trenes.

De nøyaktige trinnene avhenger av modelltypen, men den grunnleggende prosessen er den samme. Det kommer inn data, systemet forbereder dem i det formatet modellen forventer, modellen utfører beregninger på parametrene sine, og systemet omformer modellens utdata til noe brukeren kan lese, se eller bruke.

I en språkmodell blir en prompt vanligvis delt opp i tokens. Modellen analyserer disse tokenene og forutsier sannsynlige neste tokens ett trinn av gangen. I en bildemodell kan inndata være tekst, et bilde eller begge deler, og modellen genererer gradvis piksler eller visuelle trekk som samsvarer med forespørselen.

Andre systemer kan klassifisere et dokument, rangere søkeresultater, gjenkjenne objekter i et bilde, transkribere tale eller anbefale et produkt. I alle disse tilfellene er inferens det aktive utførelsestrinnet som omdanner en ny inndata til et modellutdata.

AI-inferens er ikke bare et enkelt oppslag i en database. En stor modell kan inneholde milliarder av parametere, og bruken av den krever mange matematiske operasjoner for å føre informasjon gjennom modellen og beregne det neste resultatet.

Denne beregningen må ofte skje raskt. Et svar fra en chatbot, en søkeassistent eller en sanntidsoversettelse bør komme innen sekunder eller enda raskere, så inferenssystemer legger vekt på ventetid, minnebåndbredde, batching, modellstørrelse og utnyttelse av maskinvare.

GPU-er og andre AI-akseleratorer er nyttige fordi de kan utføre mange parallelle operasjoner på en effektiv måte. Jo større modellen er, jo lengre konteksten er og jo flere samtidige brukere det er, desto mer nøye må infrastrukturen for inferens utformes.

Når en chatbot svarer på et spørsmål, utfører den en slutning. Det samme gjelder når en bildegenerator lager et bilde ut fra en beskrivelse, en programmeringsassistent foreslår en funksjon eller et oversettelsesverktøy oversetter en setning til et annet språk.

Inferens forekommer også i mindre synlige systemer. En anbefalingsstrøm som rangerer videoer, et system for svindeloppdagelse som markerer en transaksjon, en modell for medisinsk bildediagnostikk som fremhever et område av interesse, eller et bildesystem i en fabrikk som oppdager feil – alle disse bruker opplærte modeller på nye data.

Disse eksemplene ser forskjellige ut for brukerne, men de følger det samme grunnleggende mønsteret: en trent modell mottar en inndata, utfører beregninger og returnerer en utdata som danner grunnlag for en beslutning, et svar eller et generert resultat.

En enkelt inferensforespørsel kan være liten, men moderne AI-systemer opererer i enorm skala. Millioner eller milliarder av spørsmål, bildeforespørsler, anbefalinger og API-anrop kan skape kontinuerlig belastning på GPU-er, nettverk, lagrings- og kjølesystemer.

Det er derfor inferens er sentralt i AI-infrastrukturen. Trening er kanskje den mest synlige databehandlingsprosessen, men inferens gjentas hver gang folk bruker AI-verktøy som er satt i drift. På globalt plan kan denne gjentatte bruken bli en viktig drivkraft for etterspørselen etter GPU-er og strømforbruket i datasentre.

Den nøyaktige energikostnaden for én AI-forespørsel avhenger av modellstørrelse, maskinvare, batching, utnyttelsesgrad, datasenterets effektivitet og typen utdata. Det viktige poenget er at inferens knytter daglig AI-bruk til den fysiske infrastrukturen: brikker, servere, strøm, kjøling og datasentre.

AI-leverandører bruker mye utviklingsressurser på å gjøre inferens raskere, billigere og mer effektiv. Batching gjør det mulig å behandle flere forespørsler samtidig, caching gjør det mulig å gjenbruke gjentatt arbeid, og routing gjør det mulig å sende enklere oppgaver til mindre eller spesialiserte modeller.

Andre teknikker reduserer mengden beregninger som kreves. Kvantisering kan gi en mer kompakt representasjon av modellverdiene, destillasjon kan overføre atferd til en mindre modell, og beskjæring eller endringer i arkitekturen kan fjerne unødvendig arbeid samtidig som nyttig kvalitet bevares.

Spesialisert maskinvare spiller også en viktig rolle. GPU-er, AI-akseleratorer, raske nettverk og minne med høy båndbredde bidrar til at de implementerte modellene fungerer pålitelig i stor skala. Bedre inferenseffektivitet kan redusere ventetid, kostnader og strømforbruk, men det gjør ikke at infrastrukturen forsvinner.