Kui palju elektrit kulutab tehisintellekti päring?

Kui esitate AI-teenusele päringu, liigub see esmalt üle interneti teenusepakkuja infrastruktuuri. Marsruudisüsteemid autentivad päringu, rakendavad turva- ja kasutuskontrolli ning suunavad selle kättesaadava järeldusserveri juurde. Koormuse tasakaalustaja võib valida paljude masinate vahel, et kasutajate liiklus jaotuks ilma süsteemi üht osa üle koormamata.

Server teisendab üleskutse märgideks, numbrilisteks ühikuteks, mida töötleb keelemudel. Need märgid ja kõik varasemad vestluskontekstid laaditakse kiirendi mällu. Seejärel teevad GPU või muud tehisintellekti kiibid järgmise märgi ennustamiseks mudeli parameetrite maatriksarvutuste kihte. Protsess kordub mitu korda, kuni vastus on täielik või jõuab konfigureeritud piirini.

Genereeritud väljund dekodeeritakse tekstiks ja edastatakse kasutajale tagasi, sageli samal ajal, kui hilisemad märgid on veel arvutamisel. Selle nähtava interaktsiooni ümber jäävad aktiivseks salvestus-, võrgu-, seire-, energiamuundamis- ja jahutusseadmed. Seega kulutab päring rohkem kui ainult GPU-s mõõdetud elektrienergia, kuigi kiirendi teeb tavaliselt suurema osa intensiivsetest arvutustest.

Tehisintellekti järeldamine on pigem aktiivne arvutus kui lihtne andmebaasist pärimine. Suur mudel peab iga genereeritud sümboli puhul hindama palju arvutusoperatsioone, kasutades parameetreid, mis võivad hõivata kümneid või sadu gigabaite mälu. Nende parameetrite ja vaheväärtuste liigutamine suure ribalaiusega mälu ja protsessori südamike vahel tarbib lisaks arvutustele ka elektrit.

Töö maht kasvab koos mudeli, üleskutse ja soovitud väljundiga. Pikad vestlusajalood nõuavad rohkem konteksti töötlemist, samas kui pikad vastused hoiavad kiirendajaid töös rohkemate genereerimissammude vältel. Pildi-, heli- ja videosüsteemid võivad nõuda erinevaid töötlemispiire või korduvaid täpsustusi, seega ei ole tehisintellekti päring üks standardiseeritud tööühik.

Andmekeskuse üldkulud on samuti olulised. Serveritele on vaja toiteallikaid, võrku, salvestust ja jahutust ning osa elektrienergiast läheb kaduma elektrienergia muundamise ja jaotamise käigus. Operaatorid väljendavad seda üldkulu sageli energiakasutuse efektiivsuse ehk PUE kaudu. Tõhus rajatis toob koguenergia lähemale arvutiseadmete poolt kasutatavale energiale, samas kui vähem tõhus rajatis nõuab sama järelduskoormuse jaoks rohkem toetavat elektrienergiat.

Tehisintellekti päringu jaoks ei ole olemas universaalset elektriarvu. Avalikud hinnangud tekstisisese suhtluse kohta ulatuvad tavaliselt vatt-tunni murdosadest kuni mitme vatt-tunnini, kuid seda vahemikku tuleks käsitleda pigem suurusjärguna kui fikseeritud ümberarvestusena. Lühike päring, millega tegeleb optimeeritud, hästi kasutatav mudel, võib tarbida palju vähem energiat kui pikk vastus suuremalt mudelilt, mis töötab alakasutatud riistvaral.

Vatt-tunniga mõõdetakse energiat, mitte hetkelist võimsust. Näiteks võib server, mis tarbib suurt võimsust sekundi murdosa jooksul, tarbida vähem koguenergiat kui madalama võimsusega süsteem, mis töötab palju kauem. Usaldusväärne hinnang päringu kohta vajab seega nii seadme energiatarbimist kui ka selle kestust ja osakaalu, mis on seotud päringuga.

Võrdlused veebiotsingute, lambipirnide või telefonide laadimisega võivad muuta skaala visualiseerimise lihtsamaks, kuid tihtipeale varjavad need olulised eeldused. Asjakohane küsimus ei ole see, kas iga ajend tarbib ühe kindla koguse. Küsimus on selles, milline mudel teenindas päringut, kui palju märgiseid ja modaalsusi töödeldi, kui tõhusalt päringuid rühmitati ja kui palju infrastruktuuri energiat arvestati.

Tehisintellekti pakkujad avaldavad harva täielikke mõõtmisi, mis seovad üksikud taotlused mudeli suuruse, riistvara kasutamise, sümbolite arvu ja rajatise üldkulude vahel. Seetõttu peavad uurijad kombineerima avalikustatud riistvara spetsifikatsioonid, võrdlusuuringute tulemused, hinnangulised teenindusajad ja andmekeskuse tõhususe eeldused. Erinevad valikud igal sammul võivad anda oluliselt erinevaid vastuseid.

Parteerimine on üks peamisi varieerumise allikaid. Järeldusteserver võib töödelda mitut kasutajat koos, jagades mudeli laadimist ja arvutusi partii vahel. Suur kasutus võib vähendada igale taotlusele määratud keskmist energiat, samas kui tühikäiguvõimsus, latentsusnõuded või liikluse piigid võivad jätta kallist riistvara osaliselt kasutamata. Uuemad kiirendid võivad ka sama töökoormuse kiiremini või vähemate džaulidega lõpule viia.

Ka hinnangu piirid muudavad tulemust. Mõned arvutused arvestavad ainult kiirendi energiat; teised hõlmavad protsessorit, mälu, võrku, jahutust ja energiakadu. Enamiku päringupõhiste arvude puhul ei ole arvestatud varasemat energiat, mida kasutatakse riistvara valmistamiseks ja mudeli treenimiseks. Hinnangud on kõige kasulikumad siis, kui nende süsteemi piirid ja eeldused on selged, mitte siis, kui üks number esitatakse universaalsena.

Koolitus loob või ajakohastab mudelit, töötledes korduvalt suuri andmekogumeid ja kohandades selle parameetreid. Suur treening võib hõivata tuhandeid kiirendeid päevade või nädalate jooksul, mis teeb sellest kontsentreeritud ja väga nähtava arvutussündmuse. Kui treening on lõpetatud, saab saadud mudelit kasutada paljudes järeldusserverites, et vastata kasutajate päringutele.

Järeldus on tavaliselt palju väiksem ühe koostoime puhul, kuid see on pidev. Tootmissüsteemid peavad reageerima igal tunnil, hoidma tipptundide jaoks piisavalt võimsust ja teenindama kasutajaid mitmes piirkonnas. Seetõttu jaotub energiaprofiil paljude andmekeskuste vahel ja kordub iga kord, kui luuakse teksti, pilte, heli või muid väljundeid.

Kumbki töökoormus ei tohiks automaatselt eeldada, et see domineerib mudeli eluaegses elektrienergia kasutamises. Koolitus võib olla suurim üksikjuhtum, eriti piirsüsteemide puhul, samas kui järelduste tegemine võib seda lõpuks ületada, kui teenus käitleb tohutut liiklust kuude või aastate jooksul. Tasakaal sõltub sellest, kui sageli mudeleid ümber õpetatakse, kui laialdaselt neid kasutatakse ja kui intensiivselt inimesed neid kasutavad.

Tehisintellekti päringute keskkonnaalane tähtsus tuleneb eelkõige paljunemisest. Üks lühike päring võib esindada väikest energiakogust, kuid tarbijaassistendid, otsingufunktsioonid, kodeerimisvahendid ja ärirakendused võivad tekitada tohutul hulgal päringuid. Pidevalt korratuna muutub tagasihoidlik päringupõhine energia märkimisväärseks andmekeskuse koormuseks.

Nõudlus ei piirdu ainult nähtavate juturobotite sõnumitega. Rakendused võivad teha ühele kasutaja tegevusele vastamiseks mitu mudelikõnet, kasutada eraldi mudeleid modereerimiseks või päringu tegemiseks, ebaõnnestunud päringute uuesti proovimiseks ja taustakokkuvõtete või soovituste genereerimiseks. Agentlikud süsteemid võivad seda mustrit laiendada, kutsudes ühe ülesande täitmisel korduvalt mudeleid ja tarkvaravahendeid.

Suurus mõjutab ka infrastruktuuri planeerimist. Teenusepakkujad ehitavad võimsust kasvu ja tipptasemel liikluse jaoks, mis võib suurendada elektrivajadust enne, kui iga server on täielikult ära kasutatud. Kogumõju sõltub nii tõhususest päringu kohta kui ka kasutuse laienemise kiirusest. Kui nõudlus kasvab kiiremini kui tõhusus paraneb, võib elektrienergia kogutarbimine jätkuvalt kasvada, isegi kui iga üksik interaktsioon muutub vähem energiamahukaks.

Tehisintellekti järeldamine muutub tõenäoliselt energiatõhusamaks võrreldava ülesande tasemel. Uued kiirendid pakuvad rohkem arvutusi elektriühiku kohta, samas kui kvantimine, kärpimine, spekulatiivne dekodeerimine ja täiustatud mudelite arhitektuurid võivad vähendada kasulikuks väljundiks vajalikke operatsioone. Parem ajaplaneerimine ja pakkimine võivad samuti suurendada riistvara kasutust ilma kasutajakogemust muutmata.

Väiksemad spetsialiseeritud mudelid pakuvad teist võimalust. Teenus ei vaja alati oma suurimat mudelit klassifitseerimiseks, väljavõtete tegemiseks või rutiinsete küsimuste lahendamiseks. Lihtsate tööde suunamine kompaktsetele mudelitele, mittevajaliku konteksti piiramine ja taaskasutatavate tulemuste vahemällu salvestamine võib vähendada nii latentsust kui ka elektrienergia kasutamist. Andmekeskused saavad veelgi parandada kogutõhusust elektrienergia tarnimise, jahutamise ja töökoormuse paigutamise kaudu.

Tõhusus ei taga väiksemat kogutarbimist. Kiirem ja odavam tehisintellekt võib soodustada rohkem rakendusi, pikemaid interaktsioone ja uusi arvutusmahukaid funktsioone, mida mõnikord kirjeldatakse kui tagasilööginõudlust. Seega sõltub tehisintellekti päringute tulevane elektrijalajälg kahest konkureerivast suundumusest: kui kiiresti muutub iga kasuliku töö ühik tõhusamaks ja kui kiiresti kasvab tehisintellekti kasutamise kogumaht ja keerukus.