Vad är AI-inferens?

AI-inferens sker efter att en modell redan har tränats. En användare, en applikation eller ett automatiserat system skickar in en ny indata, och den tränade modellen använder det den lärt sig under träningen för att generera ett användbart resultat.

Denna indata kan vara en skriftlig uppmaning, en sökfråga, en produktbild, en röstinspelning, en kodrad eller en rad i en databas. Utdata kan vara ett svar, en genererad bild, en klassificering, en rekommendation, en översättning eller en prognos.

Det är därför som varje svar från ChatGPT, varje AI-genererad bild, varje resultat från en sökassistent, varje rekommendation från en rekommendationsmotor och varje beslut om innehållsmoderering bygger på inferens. Modellen byggs inte om varje gång, utan körs på nya data.

Träning och inferens är två olika faser i samma AI-system. Träningen skapar eller uppdaterar modellen genom att bearbeta stora datamängder, jämföra förutsägelser med exempel och justera interna parametrar genom många upprepade steg.

Inferensen inleds först när träningen har resulterat i en användbar modell. Den tränade modellen driftsätts på servrar, tar emot nya indata och tillämpar de mönster den lärt sig utan att behöva genomgå hela träningsprocessen på nytt.

Ett enkelt sätt att komma ihåg skillnaden är följande: träning är hur modellen lär sig, medan inferens är hur modellen används. För en mer ingående förklaring av den första fasen, se guiden om hur AI-modeller tränas.

De exakta stegen beror på vilken typ av modell det rör sig om, men det grundläggande förfarandet är ungefär detsamma. En indata anländer, systemet förbereder den i det format som modellen förväntar sig, modellen utför beräkningar utifrån sina parametrar, och systemet omvandlar modellens utdata till något som användaren kan läsa, visa eller använda.

I en språkmodell delas en prompt vanligtvis upp i token. Modellen analyserar dessa token och förutsäger troliga nästa token ett steg i taget. I en bildmodell kan indata bestå av text, en bild eller båda, och modellen genererar stegvis pixlar eller visuella egenskaper som stämmer överens med förfrågan.

Andra system kan klassificera ett dokument, rangordna sökresultat, identifiera objekt i en bild, transkribera tal eller rekommendera en produkt. I samtliga fall är inferensen det steg i realtid som omvandlar en ny indata till ett modellutfall.

AI-inferens är inte bara en enkel sökning i en databas. En stor modell kan innehålla miljarder parametrar, och för att använda den krävs många matematiska operationer för att föra informationen genom modellen och beräkna nästa utdata.

Denna beräkning måste ofta ske snabbt. Ett svar från en chattbot, ett svar från en sökassistent eller en översättning i realtid bör komma inom några sekunder eller ännu snabbare, vilket innebär att inferenssystem måste ta hänsyn till latens, minnesbandbredd, batchbearbetning, modellstorlek och hårdvaruutnyttjande.

GPU:er och andra AI-acceleratorer är användbara eftersom de kan utföra många parallella operationer på ett effektivt sätt. Ju större modellen är, ju längre kontexten är och ju fler samtidiga användare det finns, desto mer noggrant måste infrastrukturen för inferens utformas.

När en chatbot besvarar en fråga utför den en slutsats. Detsamma gäller när en bildgenerator skapar en bild utifrån en uppmaning, en programmeringsassistent föreslår en funktion eller ett översättningsverktyg omvandlar en mening till ett annat språk.

Inferens förekommer även i mindre synliga system. Ett rekommendationsflöde som rangordnar videoklipp, ett system för bedrägeriupptäckt som flaggar en transaktion, en modell för medicinsk bildbehandling som markerar ett område av intresse eller ett bildanalyssystem i en fabrik som upptäcker defekter – alla dessa använder tränade modeller på nya data.

Dessa exempel ser olika ut för användarna, men de följer samma grundläggande mönster: en tränad modell tar emot indata, utför beräkningar och returnerar utdata som ligger till grund för ett beslut, ett svar eller ett genererat resultat.

En enskild inferensförfrågan kan vara liten, men moderna AI-system arbetar i enorm skala. Miljontals eller miljarder inmatningar, bildförfrågningar, rekommendationer och API-anrop kan skapa en kontinuerlig belastning på GPU:er, nätverk, lagrings- och kylsystem.

Det är därför som inferens är så centralt för AI-infrastrukturen. Träning må vara den mest synliga beräkningsprocessen, men inferens upprepas varje gång människor använder de AI-verktyg som har tagits i drift. På global nivå kan denna upprepade användning bli en viktig drivkraft för efterfrågan på GPU:er och elförbrukningen i datacenter.

Den exakta energikostnaden för en AI-fråga beror på modellens storlek, hårdvaran, batchbearbetning, utnyttjandegrad, datacentrets effektivitet och typen av utdata. Det viktiga är att inferensen kopplar samman den dagliga användningen av AI med den fysiska infrastrukturen: chip, servrar, strömförsörjning, kylning och datacenter.

AI-leverantörer lägger ner mycket tekniskt arbete på att göra inferensen snabbare, billigare och mer effektiv. Genom batchbearbetning kan flera förfrågningar behandlas samtidigt, caching gör det möjligt att återanvända upprepade arbetsmoment, och vid vidarebefordran kan enklare uppgifter skickas till mindre eller specialiserade modeller.

Andra tekniker minskar den beräkningsinsats som krävs. Kvantisering gör det möjligt att återge modellvärden på ett mer kompakt sätt, destillering kan överföra beteenden till en mindre modell, och beskärning eller arkitekturändringar kan eliminera onödigt arbete samtidigt som den användbara kvaliteten bevaras.

Specialiserad hårdvara spelar också en viktig roll. GPU:er, AI-acceleratorer, snabba nätverk och minne med hög bandbredd bidrar till att de driftsatta modellerna fungerar tillförlitligt i stor skala. Effektivare inferens kan minska latensen, kostnaderna och elförbrukningen, men det innebär inte att infrastrukturen försvinner.