Wat is AI-inferentie?

AI-inferentie vindt plaats nadat een model al is getraind. Een gebruiker, applicatie of geautomatiseerd systeem stuurt nieuwe invoergegevens, en het getrainde model gebruikt wat het tijdens de training heeft geleerd om bruikbare uitvoer te genereren.

Die invoer kan bestaan uit een geschreven vraag, een zoekopdracht, een productafbeelding, een spraakopname, een regel code of een rij in een database. De uitvoer kan bestaan uit een antwoord, een gegenereerde afbeelding, een classificatie, een aanbeveling, een vertaling of een voorspelling.

Daarom speelt inferentie een rol bij elk antwoord van ChatGPT, elke door AI gegenereerde afbeelding, elk resultaat van een zoekassistent, elke aanbevelingsengine en elke beslissing op het gebied van inhoudsmoderatie. Het model wordt niet telkens opnieuw opgebouwd, maar wordt toegepast op nieuwe gegevens.

Training en inferentie zijn twee verschillende fasen van hetzelfde AI-systeem. Tijdens de training wordt het model opgebouwd of bijgewerkt door grote datasets te verwerken, voorspellingen te vergelijken met voorbeelden en interne parameters aan te passen in een reeks herhaalde stappen.

De inferentie begint zodra die trainingsfase een bruikbaar model heeft opgeleverd. Het getrainde model wordt op servers geïmplementeerd, ontvangt nieuwe invoer en past de aangeleerde patronen toe zonder dat het volledige trainingsproces opnieuw hoeft te worden doorlopen.

Een eenvoudige manier om het verschil te onthouden is deze: training is de manier waarop het model leert, terwijl inferentie de manier is waarop het model wordt gebruikt. Voor een uitgebreidere uitleg over de eerste fase kun je de handleiding raadplegen over hoe AI-modellen worden getraind.

De precieze stappen hangen af van het type model, maar de basisprocedure is vergelijkbaar. Er komt een invoer binnen, het systeem zet deze om in het formaat dat het model verwacht, het model voert berekeningen uit op basis van zijn parameters, en het systeem zet de uitvoer van het model om in iets dat de gebruiker kan lezen, bekijken of gebruiken.

Bij een taalmodel wordt een prompt doorgaans opgedeeld in tokens. Het model analyseert die tokens en voorspelt stap voor stap welke tokens daarna waarschijnlijk volgen. Bij een beeldmodel kan de invoer bestaan uit tekst, een afbeelding of beide, en het model genereert geleidelijk pixels of visuele kenmerken die aansluiten bij de aanvraag.

Andere systemen kunnen een document classificeren, zoekresultaten rangschikken, objecten in een afbeelding herkennen, spraak omzetten in tekst of een product aanbevelen. In elk geval is inferentie de stap waarbij in realtime een nieuwe invoer wordt omgezet in een modeluitvoer.

AI-inferentie is niet zomaar een zoekopdracht in een database. Een groot model kan miljarden parameters bevatten, en om het te gebruiken zijn talrijke wiskundige bewerkingen nodig om informatie door het model te leiden en de volgende uitvoer te berekenen.

Deze berekening moet vaak snel plaatsvinden. Een antwoord van een chatbot, een reactie van een zoekassistent of een realtime vertaling moet binnen enkele seconden of zelfs sneller worden geleverd; daarom is bij inferentiesystemen veel aandacht voor latentie, geheugenbandbreedte, batchverwerking, modelgrootte en hardwarebenutting.

GPU’s en andere AI-versnellers zijn nuttig omdat ze veel parallelle bewerkingen efficiënt kunnen uitvoeren. Hoe groter het model, hoe langer de context en hoe meer gelijktijdige gebruikers er zijn, hoe zorgvuldiger de infrastructuur voor inferentie moet worden ontworpen.

Wanneer een chatbot een vraag beantwoordt, voert hij een redenering uit. Hetzelfde geldt wanneer een beeldgenerator op basis van een opdracht een afbeelding maakt, een programmeerassistent een functie voorstelt of een vertaaltool een zin in een andere taal omzet.

Inferentie komt ook voor in minder zichtbare systemen. Een aanbevelingsfeed die video’s rangschikt, een fraudedetectiesysteem dat een transactie markeert, een model voor medische beeldvorming dat een relevant gebied markeert of een fabrieksvisiesysteem dat defecten opspoort: ze maken allemaal gebruik van getrainde modellen op basis van nieuwe gegevens.

Deze voorbeelden zien er voor gebruikers anders uit, maar volgen allemaal hetzelfde basispatroon: een getraind model ontvangt een invoer, voert berekeningen uit en levert een uitvoer op die ten grondslag ligt aan een beslissing, een antwoord of een gegenereerd resultaat.

Eén inferentieverzoek kan klein zijn, maar moderne AI-systemen werken op enorme schaal. Miljoenen of miljarden prompts, beeldverzoeken, aanbevelingen en API-aanroepen kunnen zorgen voor een continue belasting van GPU’s, netwerken, opslag- en koelsystemen.

Daarom speelt inferentie een centrale rol in de AI-infrastructuur. Training is misschien wel het meest zichtbare rekenproces, maar inferentie vindt telkens plaats wanneer mensen geïmplementeerde AI-tools gebruiken. Op wereldwijde schaal kan dat herhaaldelijke gebruik een belangrijke drijvende kracht worden achter de vraag naar GPU’s en het elektriciteitsverbruik van datacenters.

De exacte energiekosten van één AI-query hangen af van de omvang van het model, de hardware, de batchverwerking, de bezettingsgraad, de efficiëntie van het datacenter en het soort output. Het belangrijkste punt is dat inferentie het dagelijkse gebruik van AI koppelt aan de fysieke infrastructuur: chips, servers, stroomvoorziening, koeling en datacenters.

AI-aanbieders steken veel technische inspanningen in het sneller, goedkoper en efficiënter maken van inferentie. Met batchverwerking kunnen meerdere verzoeken tegelijk worden verwerkt, met caching kan herhaald werk worden hergebruikt en via routing kunnen eenvoudigere taken naar kleinere of gespecialiseerde modellen worden doorgestuurd.

Andere technieken zorgen ervoor dat er minder rekenkracht nodig is. Door kwantisering kunnen modelwaarden compacter worden weergegeven, door distillatie kan gedrag worden overgedragen naar een kleiner model, en door pruning of architectuurwijzigingen kan overbodig werk worden verwijderd zonder dat dit ten koste gaat van de nuttige kwaliteit.

Ook gespecialiseerde hardware speelt een belangrijke rol. GPU’s, AI-versnellers, snelle netwerken en geheugen met hoge bandbreedte zorgen ervoor dat geïmplementeerde modellen op grote schaal betrouwbaar kunnen reageren. Een betere efficiëntie bij het uitvoeren van inferenties kan de latentie, de kosten en het stroomverbruik verminderen, maar zorgt er niet voor dat de infrastructuur verdwijnt.