Trumpas atsakymas
AI išvadų darymas – tai momentas, kai naudojamas jau apmokytas modelis. Jis apdoroja užklausą, vaizdą, garso failą ar kitą įvestį ir pateikia rezultatą. Kiekvienam „ChatGPT“ atsakymui, AI vaizdo generavimui ar rekomendacijos užklausai reikalingi išvadų darymo skaičiavimai.
Išvados yra dirbtinio intelekto modelio vykdymas
Dirbtinio intelekto srityje išvada reiškia apmokyto modelio taikymą naujiems duomenims. Modelis analizuoja įvesties duomenis ir pateikia prognozes, atsakymus arba sugeneruotą turinį. Skirtingai nuo mokymo, išvada nesuteikia modeliui naujų žinių. Vietoj to, ji naudoja anksčiau išmoktus parametrus, kad realiuoju laiku reaguotų į vartotojų užklausas.
Mokymas ir išvada yra skirtingi dalykai
Mokymo metu modelis kuriamas ilgą laiką apdorojant didžiulius duomenų rinkinius ir naudojant didelius skaičiavimų kiekius. Išvadų darymas - tai veiklos etapas, kai naudotojai sąveikauja su apmokytu modeliu. Mokymas paprastai reikalauja daugiau skaičiavimo sąnaudų vienam įvykiui, tačiau išvada daroma nuolat pasauliniu mastu.
Išvadoms daryti reikia GPU ir specializuotos aparatinės įrangos
Šiuolaikinės dirbtinio intelekto išvados dažnai daromos naudojant GPU arba dirbtinio intelekto greitintuvus, optimizuotus lygiagrečiam apdorojimui. Dideliems kalbų modeliams gali prireikti didelio atminties pralaidumo ir skaičiavimo galios, ypač kai vienu metu aptarnaujami milijonai naudotojų.
Išvados sunaudoja elektros energiją
Kiekviena išvadų užklausa sunaudoja elektros energiją, nes naudojama skaičiavimo aparatinė įranga, tinklo, saugojimo ir aušinimo infrastruktūra. Pasaulyje vis labiau diegiant dirbtinį intelektą, išvadų darbo krūviai tampa vis svarbesne pasaulio duomenų centrų elektros energijos poreikio dalimi.
Išvadas galima optimizuoti
Dirbtinio intelekto paslaugų teikėjai nuolat optimizuoja išvadas naudodami paketavimą, kvantavimą, modelių distiliavimą, spartinimą ir efektyvesnę aparatinę įrangą. Šiais metodais siekiama sumažinti vėlavimą, elektros energijos suvartojimą ir veiklos sąnaudas, kartu išlaikant modelio kokybę.