Lühike vastus
Järeldamine toimub siis, kui juba treenitud tehisintellekti mudel töötleb üleskutset, pilti, helifaili või muud sisendit, et genereerida tulemus. Iga ChatGPT vastuse, tehisintellekti pildi genereerimise või soovituse taotluse puhul on vaja järelduste arvutamist.
Järeldus on tehisintellekti mudeli täitmine
Järeldamise ajal analüüsib koolitatud mudel sissetulevaid andmeid ja koostab prognoose või genereeritud sisu. Erinevalt koolitusest ei õpetata mudelile uusi teadmisi. Selle asemel kasutab see eelnevalt õpitud parameetreid, et reageerida kasutajatele reaalajas.
Koolitus ja järelduste tegemine on erinevad
Koolituse käigus luuakse mudel, töötledes massilisi andmekogumeid pika aja jooksul, kasutades tohutuid arvutusvõimsusi. Järelduste tegemine on tööetapp, kus kasutajad suhtlevad koolitatud mudeliga. Koolitus on tavaliselt rohkem arvutimahukas ühe sündmuse kohta, kuid järelduste tegemine toimub pidevalt globaalses mastaabis.
Järelduste tegemiseks on vaja GPUsid ja spetsiaalset riistvara
Kaasaegne tehisintellekti järelduste tegemine toimub sageli GPU-del või tehisintellekti kiirendajatel, mis on optimeeritud paralleelseks töötlemiseks. Suured keelemudelid võivad nõuda märkimisväärset mälu ribalaiust ja arvutusvõimsust, eriti kui nad teenindavad miljoneid kasutajaid samaaegselt.
Järeldus tarbib elektrit
Iga järelduste tegemise taotlus tarbib elektrienergiat arvutustehnika, võrgu-, salvestus- ja jahutusinfrastruktuuri kaudu. Kuna tehisintellekti kasutuselevõtt kasvab kogu maailmas, on järelduste tegemise töökoormus muutumas üha olulisemaks osaks ülemaailmsest andmekeskuste elektrinõudlusest.
Järeldusi saab optimeerida
Tehisintellekti pakkujad optimeerivad pidevalt järeldusi batching, kvantiseerimise, mudelite destillatsiooni, vahemälu ja tõhusama riistvara abil. Nende meetodite eesmärk on vähendada latentsust, elektritarbimist ja tegevuskulusid, säilitades samas mudeli kvaliteedi.