Īsa atbilde
Secinājums tiek izdarīts, kad jau apmācīts mākslīgā intelekta modelis apstrādā uzvedni, attēlu, audio failu vai citu ievaddatu, lai radītu rezultātu. Katrai ChatGPT atbildei, AI attēla ģenerēšanai vai ieteikuma pieprasījumam ir nepieciešami secinājumu aprēķini.
Secinājumi ir mākslīgā intelekta modeļa izpilde
Iedošanas laikā apmācīts modelis analizē ienākošos datus un sagatavo prognozes vai ģenerē saturu. Atšķirībā no apmācības, izdarot secinājumus, modelim netiek sniegtas jaunas zināšanas. Tā vietā tas izmanto iepriekš apgūtos parametrus, lai reaģētu uz lietotājiem reālajā laikā.
Apmācība un secinājumi ir atšķirīgi
Mācību laikā modelis tiek veidots, ilgstoši apstrādājot apjomīgas datu kopas, izmantojot milzīgu skaitļošanas jaudu. Secinājumu izdarīšana ir darbības posms, kurā lietotāji mijiedarbojas ar apmācīto modeli. Apmācība parasti ir skaitļošanas ietilpīgāka vienam notikumam, bet secinājumu izdarīšana notiek nepārtraukti globālā mērogā.
Lai izdarītu secinājumus, ir nepieciešami GPU un specializēta aparatūra
Mūsdienu mākslīgā intelekta secinājumi bieži tiek veikti ar GPU vai mākslīgā intelekta paātrinātājiem, kas optimizēti paralēlai apstrādei. Lieli valodas modeļi var prasīt ievērojamu atmiņas joslas platumu un skaitļošanas jaudu, īpaši, ja vienlaicīgi apkalpo miljoniem lietotāju.
Inference patērē elektroenerģiju
Katrs secinājumu pieprasījums patērē elektroenerģiju, izmantojot skaitļošanas aparatūru, tīklu, glabāšanas un dzesēšanas infrastruktūru. Pieaugot mākslīgā intelekta ieviešanai visā pasaulē, secinājumu darba slodzes kļūst par aizvien nozīmīgāku globālā datu centru elektroenerģijas pieprasījuma daļu.
Secinājumu var optimizēt
Mākslīgā intelekta pakalpojumu sniedzēji nepārtraukti optimizē secinājumus, izmantojot pakešu veidošanu, kvantizāciju, modeļu destilāciju, kešēšanu un efektīvāku aparatūru. Šo metožu mērķis ir samazināt latentumu, elektroenerģijas patēriņu un darbības izmaksas, vienlaikus saglabājot modeļa kvalitāti.