Īsa atbilde
AI secināšana ir brīdis, kad tiek izmantots jau apmācīts modelis. Tas apstrādā komandu, attēlu, audiofailu vai citu ievadi un atgriež rezultātu. Katra ChatGPT atbilde, AI attēla ģenerēšana vai ieteikuma pieprasījums prasa secināšanas aprēķinus.
Secinājumi ir mākslīgā intelekta modeļa izpilde
Mākslīgajā intelektā (AI) secināšana nozīmē apmācīta modeļa piemērošanu jauniem datiem. Modelis analizē ievadītos datus un sniedz prognozes, atbildes vai ģenerē saturu. Atšķirībā no apmācības, secināšana nemāca modelim jaunas zināšanas. Tā vietā tā izmanto iepriekš apgūtos parametrus, lai reaļlaikā reaģētu uz lietotāju pieprasījumiem.
Apmācība un secinājumi ir atšķirīgi
Mācību laikā modelis tiek veidots, ilgstoši apstrādājot apjomīgas datu kopas, izmantojot milzīgu skaitļošanas jaudu. Secinājumu izdarīšana ir darbības posms, kurā lietotāji mijiedarbojas ar apmācīto modeli. Apmācība parasti ir skaitļošanas ietilpīgāka vienam notikumam, bet secinājumu izdarīšana notiek nepārtraukti globālā mērogā.
Lai izdarītu secinājumus, ir nepieciešami GPU un specializēta aparatūra
Mūsdienu mākslīgā intelekta secinājumi bieži tiek veikti ar GPU vai mākslīgā intelekta paātrinātājiem, kas optimizēti paralēlai apstrādei. Lieli valodas modeļi var prasīt ievērojamu atmiņas joslas platumu un skaitļošanas jaudu, īpaši, ja vienlaicīgi apkalpo miljoniem lietotāju.
Inference patērē elektroenerģiju
Katrs secinājumu pieprasījums patērē elektroenerģiju, izmantojot skaitļošanas aparatūru, tīklu, glabāšanas un dzesēšanas infrastruktūru. Pieaugot mākslīgā intelekta ieviešanai visā pasaulē, secinājumu darba slodzes kļūst par aizvien nozīmīgāku globālā datu centru elektroenerģijas pieprasījuma daļu.
Secinājumu var optimizēt
Mākslīgā intelekta pakalpojumu sniedzēji nepārtraukti optimizē secinājumus, izmantojot pakešu veidošanu, kvantizāciju, modeļu destilāciju, kešēšanu un efektīvāku aparatūru. Šo metožu mērķis ir samazināt latentumu, elektroenerģijas patēriņu un darbības izmaksas, vienlaikus saglabājot modeļa kvalitāti.