Kuinka paljon sähköä tekoälykysely kuluttaa?

Kun lähetät kehotuksen tekoälypalveluun, pyyntö siirtyy ensin internetin kautta palveluntarjoajan infrastruktuuriin. Reititysjärjestelmät todentavat pyynnön, soveltavat turvallisuus- ja käytönvalvontaa ja ohjaavat sen kohti käytettävissä olevaa päättelypalvelinta. Kuormantasaajalla voidaan valita useiden koneiden välillä, jotta käyttäjäliikenne jakautuu kuormittamatta yhtä järjestelmän osaa liikaa.

Palvelin muuntaa kehotteen merkkeihin, jotka ovat kielimallin käsittelemiä numeerisia yksiköitä. Nämä merkit ja mahdollinen aiempi keskustelukonteksti ladataan kiihdyttimen muistiin. GPU:t tai muut tekoälysirut suorittavat sitten kerroksittain matriisilaskelmia mallin parametrien välillä seuraavan merkin ennustamiseksi. Prosessi toistuu monta kertaa, kunnes vastaus on valmis tai saavuttaa määritetyn rajan.

Tuotettu tuloste puretaan tekstiksi ja lähetetään käyttäjälle, usein samalla kun myöhempiä merkkejä vielä lasketaan. Tämän näkyvän vuorovaikutuksen ympärillä säilytys-, verkko-, valvonta-, virransyöttö- ja jäähdytyslaitteet pysyvät aktiivisina. Kysely käyttää siis enemmän kuin pelkästään näytönohjaimesta mitattu sähkö, vaikka kiihdytin yleensä suorittaa suurimman osan intensiivisestä laskennasta.

Tekoälyn päättely on aktiivista laskentaa eikä pelkkää hakua tietokannasta. Suuren mallin on arvioitava monia numeerisia operaatioita jokaisen generoidun merkin kohdalla käyttäen parametreja, jotka voivat viedä kymmeniä tai satoja gigatavuja muistia. Näiden parametrien ja väliarvojen siirtäminen suuren kaistanleveyden omaavan muistin ja prosessoriytimien välillä kuluttaa sähköä itse laskutoimitusten ohella.

Työmäärä kasvaa mallin, kehotuksen ja halutun tuloksen mukaan. Pitkät keskusteluhistoriat vaativat enemmän kontekstia käsiteltäväksi, kun taas pitkät vastaukset pitävät kiihdyttimet käynnissä useamman generointivaiheen ajan. Kuva-, ääni- ja videojärjestelmät voivat vaatia erilaisia prosessointiputkia tai toistuvia tarkennusoperaatioita, joten tekoälykysely ei ole yksi standardoitu työyksikkö.

Myös datakeskuksen yleiskustannuksilla on merkitystä. Palvelimet tarvitsevat virtalähteitä, verkkoja, varastointia ja jäähdytystä, ja osa sähköstä häviää virran muuntamisessa ja jakelussa. Operaattorit ilmaisevat tämän yleiskustannuksen usein tehokäytön tehokkuudella eli PUE-arvolla. Tehokas laitos tuo kokonaisenergian lähemmäs laskentalaitteiden käyttämää energiaa, kun taas vähemmän tehokas laitos vaatii enemmän tukisähköä samaan päättelytyömäärään.

Tekoälykyselylle ei ole olemassa yleispätevää sähkölukua. Tekstivuorovaikutusta koskevat julkiset arviot vaihtelevat yleisesti wattitunnin murto-osista useisiin wattitunteihin, mutta vaihteluväliä olisi pidettävä pikemminkin suuruusluokkana kuin kiinteänä muuntolukuna. Lyhyt pyyntö, jonka hoitaa optimoitu, hyvin hyödynnetty malli, voi kuluttaa paljon vähemmän energiaa kuin pitkän vastauksen antaminen suuremmalta mallilta, joka toimii vajaakäytössä olevalla laitteistolla.

Vattitunti mittaa energiaa, ei hetkellistä tehoa. Esimerkiksi palvelin, joka käyttää paljon tehoa sekunnin murto-osan ajan, voi kuluttaa vähemmän kokonaisenergiaa kuin paljon pidempään toimiva pienitehoinen järjestelmä. Uskottavan kysyntäkohtaisen arvion saamiseksi tarvitaan siis sekä laitteen virrankulutus että pyynnön kesto ja kyseisen laitteen osuus.

Vertailut verkkohakujen, hehkulamppujen tai puhelimen latauksen kanssa voivat helpottaa mittakaavan havainnollistamista, mutta ne usein kätkevät alleen tärkeitä oletuksia. Olennainen kysymys ei ole se, kuluttaako jokainen kehotus yhden tietyn määrän. Kyse on siitä, mikä malli palveli pyyntöä, kuinka monta merkkiä ja modaliteettia käsiteltiin, kuinka tehokkaasti pyynnöt ryhmiteltiin ja kuinka paljon infrastruktuurienergiaa laskettiin mukaan.

Tekoälypalvelujen tarjoajat julkaisevat harvoin täydellisiä mittaustuloksia, jotka yhdistävät yksittäiset pyynnöt mallin kokoon, laitteiston käyttöön, tokenien lukumäärään ja laitoksen yleiskustannuksiin. Tutkijoiden on sen vuoksi yhdistettävä julkistetut laitteistomäärittelyt, vertailuanalyysitulokset, arvioidut palveluajat ja konesalin tehokkuusoletukset. Erilaiset valinnat missä tahansa vaiheessa voivat tuottaa huomattavasti erilaisia vastauksia.

Panostus on yksi merkittävä vaihtelun lähde. Päättelypalvelin voi käsitellä useita käyttäjiä yhdessä ja jakaa mallin lataamisen ja laskennan erän kesken. Korkea käyttöaste voi vähentää kullekin pyynnölle osoitettua keskimääräistä energiaa, kun taas käyttämätön kapasiteetti, viiveaikavaatimukset tai liikennepiikit voivat jättää kalliin laitteiston osittain käyttämättä. Uudemmat kiihdyttimet voivat myös suorittaa saman työmäärän nopeammin tai vähemmillä jouleilla.

Myös arvion rajaus muuttaa tulosta. Joissakin laskelmissa lasketaan vain kiihdyttimen energia, toisissa taas prosessorit, muisti, verkkoyhteydet, jäähdytys ja tehohäviöt. Useimmissa kyselykohtaisissa luvuissa ei oteta huomioon laitteiston valmistukseen ja mallin kouluttamiseen käytettyä energiaa. Arviot ovat hyödyllisimpiä silloin, kun niiden järjestelmärajat ja oletukset ovat selvät, eikä silloin, kun yksittäinen luku esitetään yleispätevänä.

Harjoittelulla luodaan tai päivitetään mallia käsittelemällä toistuvasti suuria tietokokonaisuuksia ja säätämällä sen parametreja. Suuri harjoitusajo voi työllistää tuhansia kiihdyttimiä päivien tai viikkojen ajan, mikä tekee siitä keskitetyn ja hyvin näkyvän laskentatapahtuman. Kun harjoittelu on saatu päätökseen, tuloksena syntynyt malli voidaan ottaa käyttöön monilla päättelypalvelimilla käyttäjien pyyntöihin vastaamiseksi.

Yhden vuorovaikutuksen osalta päätelmä on yleensä paljon pienempi, mutta se on jatkuva. Tuotantojärjestelmien on reagoitava kaikkina aikoina, niiden on pidettävä riittävästi kapasiteettia saatavilla huipputilanteita varten ja palveltava käyttäjiä useilla alueilla. Energiaprofiili jakautuu siis moniin tietokeskuksiin ja toistuu joka kerta, kun tekstiä, kuvia, ääntä tai muita tuotoksia tuotetaan.

Kummankaan työmäärän ei pitäisi automaattisesti olettaa hallitsevan mallin elinkaaren aikaista sähkönkäyttöä. Harjoittelu voi olla suurin yksittäinen tapahtuma, erityisesti eturivin järjestelmissä, kun taas päättely voi lopulta ylittää sen, kun palvelu käsittelee valtavaa liikennettä kuukausien tai vuosien ajan. Tasapaino riippuu siitä, kuinka usein malleja koulutetaan uudelleen, kuinka laajalti niitä käytetään ja kuinka intensiivisesti niitä käytetään.

Tekoälykyselyjen ympäristöllinen merkitys tulee ensisijaisesti moninkertaistumisesta. Yksittäinen lyhyt kysely voi edustaa pientä energiamäärää, mutta kuluttaja-avustajat, hakutoiminnot, koodaustyökalut ja yrityssovellukset voivat tuottaa valtavia määriä kyselyitä. Jatkuvasti toistettuna vaatimattomasta kyselykohtaisesta energiasta tulee huomattava datakeskuksen kuormitus.

Kysyntä ei rajoitu näkyviin chatbot-viesteihin. Sovellukset voivat tehdä useita mallipyyntöjä vastatakseen yhteen käyttäjän toimenpiteeseen, käyttää erillisiä malleja moderoinnissa tai hakemisessa, yrittää epäonnistuneita pyyntöjä uudelleen ja tuottaa taustayhteenvetoja tai suosituksia. Agenttijärjestelmät voivat laajentaa tätä mallia kutsumalla malleja ja ohjelmistotyökaluja toistuvasti yhtä tehtävää suorittaessaan.

Mittakaava vaikuttaa myös infrastruktuurin suunnitteluun. Palveluntarjoajat rakentavat kapasiteettia kasvua ja ruuhkahuippuja varten, mikä voi lisätä sähkön kysyntää ennen kuin jokainen palvelin on täysin käytössä. Kokonaisvaikutus riippuu sekä kyselykohtaisesta tehokkuudesta että käytön kasvuvauhdista. Jos kysyntä kasvaa nopeammin kuin tehokkuus paranee, kokonaissähkönkulutus voi jatkaa kasvuaan, vaikka jokainen yksittäinen vuorovaikutus muuttuu vähemmän energiaintensiiviseksi.

Tekoälyn päättelystä tulee todennäköisesti energiatehokkaampaa vastaavan tehtävän tasolla. Uudet kiihdyttimet tuottavat enemmän laskentatehoa sähköyksikköä kohden, kun taas kvantisointi, karsinta, spekulatiivinen dekoodaus ja parannetut malliarkkitehtuurit voivat vähentää hyödylliseen tulokseen tarvittavia operaatioita. Paremmalla aikataulutuksella ja erittelyllä voidaan myös nostaa laitteiston käyttöastetta muuttamatta käyttäjäkokemusta.

Pienemmät erikoismallit tarjoavat toisen mahdollisuuden. Palvelu ei aina tarvitse suurinta mallia luokitteluun, uuttamiseen tai rutiinikysymyksiin. Yksinkertaisten töiden ohjaaminen pieniin malleihin, tarpeettoman kontekstin rajoittaminen ja uudelleenkäytettävien tulosten välimuistiin tallentaminen voivat vähentää sekä viiveaikaa että sähkönkulutusta. Tietokeskukset voivat edelleen parantaa kokonaistehokkuutta virransyötön, jäähdytyksen ja työmäärän sijoittelun avulla.

Tehokkuus ei takaa alhaisempaa kokonaiskulutusta. Nopeampi ja halvempi tekoäly voi kannustaa lisäämään sovelluksia, pidentämään vuorovaikutusta ja lisäämään uusia laskentaintensiivisiä ominaisuuksia, ja tätä vaikutusta kutsutaan toisinaan rebound-kysynnäksi. Tekoälykyselyjen tuleva sähköjalanjälki riippuu siis kahdesta kilpailevasta suuntauksesta: siitä, kuinka nopeasti kukin hyödyllisen työn yksikkö tehostuu ja kuinka nopeasti tekoälyn käytön kokonaisvolyymi ja monimutkaisuus kasvaa.