Trumpas atsakymas
Išvados daromos, kai jau apmokytas dirbtinio intelekto modelis apdoroja užklausą, vaizdą, garso failą ar kitą įvestį, kad gautų rezultatą. Kiekvienam "ChatGPT" atsakymui, AI vaizdo generavimui ar rekomendacijos užklausai reikia atlikti išvados skaičiavimus.
Išvados yra dirbtinio intelekto modelio vykdymas
Išvados metu apmokytas modelis analizuoja gaunamus duomenis ir pateikia prognozes arba sukuria turinį. Skirtingai nei mokymo metu, išvedimo metu modelis nėra mokomas naujų žinių. Vietoj to jis naudoja anksčiau išmoktus parametrus, kad reaguotų į naudotojus realiuoju laiku.
Mokymas ir išvada yra skirtingi dalykai
Mokymo metu modelis kuriamas ilgą laiką apdorojant didžiulius duomenų rinkinius ir naudojant didelius skaičiavimų kiekius. Išvadų darymas - tai veiklos etapas, kai naudotojai sąveikauja su apmokytu modeliu. Mokymas paprastai reikalauja daugiau skaičiavimo sąnaudų vienam įvykiui, tačiau išvada daroma nuolat pasauliniu mastu.
Išvadoms daryti reikia GPU ir specializuotos aparatinės įrangos
Šiuolaikinės dirbtinio intelekto išvados dažnai daromos naudojant GPU arba dirbtinio intelekto greitintuvus, optimizuotus lygiagrečiam apdorojimui. Dideliems kalbų modeliams gali prireikti didelio atminties pralaidumo ir skaičiavimo galios, ypač kai vienu metu aptarnaujami milijonai naudotojų.
Išvados sunaudoja elektros energiją
Kiekviena išvadų užklausa sunaudoja elektros energiją, nes naudojama skaičiavimo aparatinė įranga, tinklo, saugojimo ir aušinimo infrastruktūra. Pasaulyje vis labiau diegiant dirbtinį intelektą, išvadų darbo krūviai tampa vis svarbesne pasaulio duomenų centrų elektros energijos poreikio dalimi.
Išvadas galima optimizuoti
Dirbtinio intelekto paslaugų teikėjai nuolat optimizuoja išvadas naudodami paketavimą, kvantavimą, modelių distiliavimą, spartinimą ir efektyvesnę aparatinę įrangą. Šiais metodais siekiama sumažinti vėlavimą, elektros energijos suvartojimą ir veiklos sąnaudas, kartu išlaikant modelio kokybę.