Kratek odgovor
Inferenca umetne inteligence je trenutek, ko se uporabi že usposobljen model. Ta obdela ukaz, sliko, zvočno datoteko ali drug vnos in vrne rezultat. Vsak odgovor sistema ChatGPT, generacija slike z umetno inteligenco ali zahteva za priporočilo zahteva računsko moč za inferenco.
Sklepanje je izvajanje modela umetne inteligence
V umetni inteligenci (AI) izraz »sklepanje« pomeni uporabo usposobljenega modela na novih podatkih. Model analizira vhodne podatke in ustvari napovedi, odgovore ali generirano vsebino. Za razliko od usposabljanja sklepanje modelu ne prinaša novega znanja. Namesto tega uporablja že naučene parametre, da se v realnem času odzove na uporabnike.
Usposabljanje in sklepanje sta različna
Pri usposabljanju se model oblikuje z dolgotrajno obdelavo obsežnih podatkovnih nizov z uporabo velikih količin računalnikov. Sklepanje je operativna faza, v kateri uporabniki sodelujejo z usposobljenim modelom. Usposabljanje je običajno bolj računsko intenzivno za posamezen dogodek, sklepanje pa poteka neprekinjeno na globalni ravni.
Za sklepanje so potrebni grafični procesorji in specializirana strojna oprema
Sodobno sklepanje umetne inteligence pogosto poteka na grafičnih procesorjih ali pospeševalnikih umetne inteligence, optimiziranih za vzporedno obdelavo. Veliki jezikovni modeli lahko zahtevajo veliko pomnilniške pasovne širine in računske moči, zlasti če sočasno služijo milijonom uporabnikov.
Pri sklepanju se porabi električna energija
Vsak zahtevek za sklepanje porabi električno energijo za računsko strojno opremo, omrežje, shranjevanje in hladilno infrastrukturo. Ker se umetna inteligenca po vsem svetu vse bolj uveljavlja, postajajo delovne obremenitve s sklepanjem vse pomembnejši del svetovnega povpraševanja po električni energiji v podatkovnih centrih.
Sklepanje je mogoče optimizirati
Ponudniki umetne inteligence nenehno optimizirajo sklepanje s paketnim deljenjem, kvantizacijo, destilacijo modelov, predpomnjenjem in učinkovitejšo strojno opremo. Cilj teh tehnik je zmanjšati zakasnitve, porabo električne energije in operativne stroške ter hkrati ohraniti kakovost modela.