Kratek odgovor
Sklepanje se zgodi, ko že usposobljen model umetne inteligence obdela poziv, sliko, zvočno datoteko ali drug vhodni podatek in ustvari rezultat. Vsak odziv ChatGPT, generiranje slik umetne inteligence ali zahteva za priporočilo zahteva računanje sklepanja.
Sklepanje je izvajanje modela umetne inteligence
Med sklepanjem usposobljeni model analizira vhodne podatke in pripravi napovedi ali ustvarjeno vsebino. Za razliko od usposabljanja pri sklepanju model ne pridobi novega znanja. Namesto tega uporablja predhodno naučene parametre za odzivanje na uporabnike v realnem času.
Usposabljanje in sklepanje sta različna
Pri usposabljanju se model oblikuje z dolgotrajno obdelavo obsežnih podatkovnih nizov z uporabo velikih količin računalnikov. Sklepanje je operativna faza, v kateri uporabniki sodelujejo z usposobljenim modelom. Usposabljanje je običajno bolj računsko intenzivno za posamezen dogodek, sklepanje pa poteka neprekinjeno na globalni ravni.
Za sklepanje so potrebni grafični procesorji in specializirana strojna oprema
Sodobno sklepanje umetne inteligence pogosto poteka na grafičnih procesorjih ali pospeševalnikih umetne inteligence, optimiziranih za vzporedno obdelavo. Veliki jezikovni modeli lahko zahtevajo veliko pomnilniške pasovne širine in računske moči, zlasti če sočasno služijo milijonom uporabnikov.
Pri sklepanju se porabi električna energija
Vsak zahtevek za sklepanje porabi električno energijo za računsko strojno opremo, omrežje, shranjevanje in hladilno infrastrukturo. Ker se umetna inteligenca po vsem svetu vse bolj uveljavlja, postajajo delovne obremenitve s sklepanjem vse pomembnejši del svetovnega povpraševanja po električni energiji v podatkovnih centrih.
Sklepanje je mogoče optimizirati
Ponudniki umetne inteligence nenehno optimizirajo sklepanje s paketnim deljenjem, kvantizacijo, destilacijo modelov, predpomnjenjem in učinkovitejšo strojno opremo. Cilj teh tehnik je zmanjšati zakasnitve, porabo električne energije in operativne stroške ter hkrati ohraniti kakovost modela.