Kiek elektros energijos sunaudoja dirbtinio intelekto užklausa?

Kai pateikiate užklausą dirbtinio intelekto paslaugai, užklausa pirmiausia keliauja internetu į paslaugų teikėjo infrastruktūrą. Maršrutizavimo sistemos patvirtina užklausos autentiškumą, taiko saugos ir naudojimo kontrolę ir nukreipia ją į prieinamą išvadų serverį. Apkrovos balansavimo įrenginys gali rinktis iš daugelio mašinų, kad naudotojų srautas būtų paskirstytas neperkraunant vienos sistemos dalies.

Serveris konvertuoja užklausą į žetonus - skaitinius vienetus, kuriuos apdoroja kalbos modelis. Šie ženklai ir bet koks ankstesnis pokalbio kontekstas įkeliami į greitintuvo atmintį. Tada GPU arba kiti dirbtinio intelekto lustai atlieka matricinių skaičiavimų sluoksnius pagal modelio parametrus, kad nuspėtų kitą simbolį. Procesas kartojamas daugybę kartų, kol atsakymas baigiamas arba pasiekia nustatytą ribą.

Sugeneruota išvestis iššifruojama į tekstą ir siunčiama atgal naudotojui, dažnai tuo metu, kai dar skaičiuojami vėlesni ženklai. Aplink šią matomą sąveiką ir toliau veikia saugojimo, tinklo, stebėjimo, energijos konversijos ir aušinimo įranga. Todėl užklausa sunaudoja daugiau nei vien tik GPU išmatuotos elektros energijos, nors greitintuvas paprastai atlieka didžiąją dalį intensyvių skaičiavimų.

AI išvada yra aktyvus skaičiavimas, o ne paprasta paieška iš duomenų bazės. Didelis modelis turi įvertinti daugybę skaitinių operacijų kiekvienam sugeneruotam ženklui, naudodamas parametrus, kurie gali užimti dešimtis ar šimtus gigabaitų atminties. Perkeliant šiuos parametrus ir tarpines reikšmes tarp didelės spartos atminties ir procesoriaus branduolių, kartu su pačiais skaičiavimais sunaudojama elektros energija.

Darbo apimtis didėja kartu su modeliu, raginimu ir reikalaujamu rezultatu. Ilgai pokalbių istorijai apdoroti reikia daugiau konteksto, o ilgiems atsakymams apdoroti greitintuvai turi atlikti daugiau generavimo etapų. Vaizdų, garso ir vaizdo sistemoms gali prireikti skirtingų apdorojimo vamzdynų arba pakartotinių tikslinimo operacijų, todėl dirbtinio intelekto užklausa nėra vienas standartizuotas darbo vienetas.

Duomenų centro pridėtinės išlaidos taip pat svarbios. Serveriams reikalingi maitinimo šaltiniai, tinklai, saugyklos ir aušinimo įrenginiai, o dalis elektros energijos prarandama ją konvertuojant ir paskirstant. Operatoriai šias pridėtines sąnaudas dažnai išreiškia energijos vartojimo efektyvumu (PUE). Efektyviai veikianti patalpa priartina bendrą energijos kiekį prie skaičiavimo įrangos sunaudojamos energijos, o mažiau efektyviai veikiančiai patalpai reikia daugiau pagalbinės elektros energijos tai pačiai išvadų darbo apkrovai.

Nėra universalaus elektros energijos kiekio, skirto AI užklausai. Viešai skelbiami sąveikos su tekstu skaičiavimai paprastai svyruoja nuo vienos vatvalandės dalies iki kelių vatvalandžių, tačiau šis intervalas turėtų būti vertinamas ne kaip fiksuotas perskaičiavimo dydis, o kaip eilės dydis. Trumpa užklausa, kurią tvarko optimizuotas, gerai išnaudojamas modelis, gali sunaudoti daug mažiau energijos nei ilgas atsakas iš didesnio modelio, veikiančio su nepakankamai išnaudojama technine įranga.

Vatvalandė matuoja energiją, o ne momentinę galią. Pavyzdžiui, serveris, dalį sekundės naudojantis didelę galią, gali sunaudoti mažiau visos energijos nei mažesnės galios sistema, veikianti daug ilgiau. Todėl norint patikimai įvertinti kiekvienos užklausos kiekį, reikia nurodyti ir įrangos suvartojamą galią, ir trukmę bei tos įrangos dalį, tenkančią užklausai.

Palyginimai su interneto paieškomis, elektros lemputėmis ar telefono įkrovimu gali padėti lengviau įsivaizduoti skalę, tačiau jie dažnai slepia svarbias prielaidas. Svarbus klausimas yra ne tai, ar kiekvienas raginimas sunaudoja vieną konkretų kiekį. Svarbu, koks modelis aptarnavo užklausą, kiek žetonų ir modalumų buvo apdorota, kaip efektyviai užklausos buvo sugrupuotos ir kiek infrastruktūros energijos buvo įtraukta į skaičiavimus.

AI paslaugų teikėjai retai skelbia išsamius matavimus, kurie susieja atskiras užklausas su modelio dydžiu, aparatinės įrangos panaudojimu, žetonų skaičiumi ir įrenginių pridėtinėmis išlaidomis. Todėl tyrėjai turi derinti atskleistas aparatinės įrangos specifikacijas, lyginamųjų testų rezultatus, numatomą aptarnavimo laiką ir duomenų centrų efektyvumo prielaidas. Skirtingi pasirinkimai bet kuriame etape gali duoti iš esmės skirtingus atsakymus.

Vienas iš pagrindinių skirtumų šaltinių yra dozavimas. Išvadų serveris gali apdoroti kelis naudotojus kartu, dalydamasis modelio įkėlimu ir skaičiavimais visoje partijoje. Didelis apkrovimas gali sumažinti vidutinę kiekvienai užklausai priskirtą energiją, o dėl nenaudojamų pajėgumų, vėlavimo reikalavimų ar duomenų srauto šuolių brangi aparatinė įranga gali būti iš dalies naudojama. Naujesni greitintuvai taip pat gali atlikti tą pačią užduotį greičiau arba sunaudodami mažiau džaulių.

Rezultatą keičia ir įverčio riba. Kai kuriuose skaičiavimuose skaičiuojama tik greitintuvo energija, kituose - procesoriaus, atminties, tinklo, aušinimo ir energijos nuostoliai. Į daugumą vienos užklausos skaičiavimų neįtraukiama ankstesnė energija, naudojama aparatinei įrangai gaminti ir modeliui apmokyti. Skaičiavimai naudingiausi, kai jų sistemos ribos ir prielaidos yra aiškios, o ne tada, kai vienas skaičius pateikiamas kaip universalus.

Mokymas sukuria arba atnaujina modelį pakartotinai apdorojant didelius duomenų rinkinius ir koreguojant jo parametrus. Didelė mokymo serija gali užimti tūkstančius greitintuvų dienų ar savaičių, todėl tai yra koncentruotas ir gerai matomas skaičiavimo įvykis. Baigus mokymą, gautą modelį galima dislokuoti daugelyje išvadų serverių ir atsakyti į naudotojų užklausas.

Išvada paprastai yra daug mažesnė, jei sąveika yra viena, tačiau ji yra tęstinė. Gamybos sistemos turi reaguoti bet kurią valandą, išlaikyti pakankamą pajėgumą piko metu ir aptarnauti naudotojus keliuose regionuose. Todėl energijos profilis paskirstomas daugelyje duomenų centrų ir kartojamas kiekvieną kartą generuojant tekstą, vaizdus, garsą ar kitus rezultatus.

Nė vienas iš šių darbo krūvių neturėtų būti automatiškai laikomas dominuojančiu modelio elektros energijos suvartojimu per visą jo naudojimo laiką. Mokymas gali būti didžiausias vienkartinis darbas, ypač ribinių sistemų atveju, o išvados gali būti didesnės, kai paslauga kelis mėnesius ar metus apdoroja didžiulį duomenų srautą. Pusiausvyra priklauso nuo to, kaip dažnai modeliai perrenkami, kaip plačiai jie diegiami ir kaip intensyviai žmonės jais naudojasi.

AI užklausų reikšmė aplinkai visų pirma susijusi su dauginimu. Vienas trumpas užklausimas gali būti susijęs su nedideliu energijos kiekiu, tačiau vartotojų asistentai, paieškos funkcijos, kodavimo įrankiai ir verslo taikomosios programos gali generuoti labai daug užklausų. Nuolat kartojant, kukli vienos užklausos energija tampa didele duomenų centro apkrova.

Paklausa neapsiriboja matomais pokalbių roboto pranešimais. Programos gali atlikti kelis modelių iškvietimus, kad atsakytų į vieną naudotojo veiksmą, naudoti atskirus modelius moderavimui ar paieškai, pakartoti nepavykusias užklausas ir generuoti fonines santraukas ar rekomendacijas. Agentinės sistemos gali išplėsti šį modelį, pakartotinai skambindamos modeliams ir programinėms priemonėms atliekant vieną užduotį.

Mastas taip pat turi įtakos infrastruktūros planavimui. Paslaugų teikėjai sukuria pajėgumus, pritaikytus augimui ir didžiausiam srautui, dėl kurio gali padidėti elektros energijos poreikis, kol kiekvienas serveris dar nėra visiškai išnaudotas. Bendras poveikis priklauso nuo kiekvienos užklausos efektyvumo ir nuo to, kaip sparčiai didėja naudojimas. Jei paklausa auga greičiau nei didėja efektyvumas, bendras elektros energijos suvartojimas gali ir toliau didėti, net jei kiekviena atskira sąveika reikalauja mažiau energijos.

Tikėtina, kad dirbtinio intelekto išvados taps energetiškai efektyvesnės panašaus uždavinio lygmeniu. Nauji greitintuvai užtikrina daugiau skaičiavimų vienam elektros energijos vienetui, o kvantavimas, atpjovimas, spekuliatyvus dekodavimas ir patobulintos modelių architektūros gali sumažinti operacijas, reikalingas naudingam rezultatui gauti. Geresnis planavimas ir paketavimas taip pat gali padidinti aparatinės įrangos panaudojimą nekeičiant naudotojo patirties.

Mažesni specializuoti modeliai siūlo kitą kelią. Klasifikavimui, išskyrimui ar įprastiniams klausimams spręsti tarnybai ne visada reikia didžiausio modelio. Paprastus darbus nukreipiant į kompaktiškus modelius, apribojant nereikalingą kontekstą ir pakartotinai naudojamus rezultatus talpinant į spartinančiąją atmintį galima sumažinti ir vėlinimą, ir elektros energijos naudojimą. Duomenų centrai gali dar labiau padidinti bendrą efektyvumą, naudodami energijos tiekimą, aušinimą ir darbo krūvio išdėstymą.

Efektyvumas negarantuoja mažesnio bendro suvartojimo. Greitesnis ir pigesnis dirbtinis intelektas gali paskatinti daugiau programų, ilgesnį bendravimą ir naujas daug skaičiavimų reikalaujančias funkcijas, o šis poveikis kartais apibūdinamas kaip grįžtanti paklausa. Todėl ateityje dirbtinio intelekto užklausų elektros energijos pėdsakas priklausys nuo dviejų konkuruojančių tendencijų: kaip greitai kiekvienas naudingo darbo vienetas tampa efektyvesnis ir kaip greitai auga bendra dirbtinio intelekto naudojimo apimtis ir sudėtingumas.