Kolik elektřiny spotřebuje dotaz na umělou inteligenci?

Při odesílání promptu službě umělé inteligence se požadavek nejprve přenese přes internet do infrastruktury poskytovatele. Směrovací systémy ověří pravost požadavku, použijí bezpečnostní kontroly a kontroly použití a nasměrují jej na dostupný inferenční server. Vyrovnávač zátěže může vybírat mezi mnoha stroji tak, aby byl provoz uživatelů rozdělen bez přetížení jedné části systému.

Server převádí prompt na tokeny, číselné jednotky zpracovávané jazykovým modelem. Tyto tokeny a případný předchozí kontext konverzace se načtou do paměti akcelerátoru. Grafické procesory nebo jiné čipy umělé inteligence pak provádějí vrstvy maticových výpočtů napříč parametry modelu, aby předpověděly další token. Proces se opakuje mnohokrát, dokud není odpověď kompletní nebo nedosáhne nakonfigurovaného limitu.

Vygenerovaný výstup je dekódován do textu a přenášen zpět k uživateli, často ještě během výpočtu pozdějších tokenů. Kolem této viditelné interakce zůstávají aktivní úložná, síťová, monitorovací, konverzní a chladicí zařízení. Dotaz tedy spotřebuje více elektřiny, než kolik se naměří u samotného GPU, přestože akcelerátor obvykle provádí většinu intenzivních výpočtů.

Odvozování umělé inteligence je spíše aktivní výpočet než prosté vyhledávání z databáze. Rozsáhlý model musí pro každý vygenerovaný token vyhodnotit mnoho numerických operací a použít parametry, které mohou zabírat desítky nebo stovky gigabajtů paměti. Přesouvání těchto parametrů a mezilehlých hodnot mezi pamětí s velkou šířkou pásma a procesorovými jádry spotřebovává vedle samotných výpočtů i elektrickou energii.

Množství práce roste s modelem, promptem a požadovaným výstupem. Dlouhé historie konverzací vyžadují více kontextu ke zpracování, zatímco dlouhé odpovědi udržují akcelerátory v chodu po více kroků generování. Obrazové, zvukové a video systémy mohou vyžadovat různé zpracovatelské pipeline nebo opakované operace upřesnění, takže dotaz na umělou inteligenci není jednou standardizovanou jednotkou práce.

Záleží také na režii datového centra. Servery potřebují napájecí zdroje, sítě, úložiště a chlazení a část elektřiny se ztrácí při přeměně a distribuci energie. Provozovatelé často vyjadřují tuto režii pomocí efektivity využití energie neboli PUE. Efektivní zařízení přibližuje celkovou spotřebu energie spotřebě výpočetního zařízení, zatímco méně efektivní zařízení vyžaduje pro stejnou inferenční zátěž více podpůrné elektřiny.

Pro dotaz na umělou inteligenci neexistuje univerzální údaj o elektřině. Veřejné odhady pro textové interakce se běžně pohybují od zlomků watthodiny po několik watthodin, ale toto rozmezí je třeba považovat spíše za řádovou hodnotu než za pevný přepočet. Krátký dotaz zpracovaný optimalizovaným, dobře využitým modelem může spotřebovat mnohem méně energie než dlouhá odpověď většího modelu běžícího na nedostatečně využitém hardwaru.

Watthodina měří energii, nikoli okamžitý výkon. Například server odebírající vysoký výkon po zlomek sekundy může spotřebovat méně celkové energie než systém s nižším výkonem, který běží mnohem déle. Věrohodný odhad na jeden požadavek proto potřebuje jak spotřebu zařízení, tak dobu trvání a podíl tohoto zařízení připadající na požadavek.

Srovnání s vyhledáváním na webu, žárovkami nebo nabíjením telefonu může usnadnit vizualizaci měřítka, ale často skrývá důležité předpoklady. Podstatnou otázkou není, zda každý podnět spotřebuje jedno konkrétní množství. Jde o to, který model požadavek obsloužil, kolik tokenů a modalit bylo zpracováno, jak efektivně byly požadavky seskupeny a kolik energie infrastruktury bylo zahrnuto do výpočtu.

Poskytovatelé UI zřídkakdy zveřejňují kompletní měření, která spojují jednotlivé požadavky s velikostí modelu, využitím hardwaru, počtem tokenů a režií zařízení. Výzkumníci proto musí kombinovat zveřejněné hardwarové specifikace, výsledky benchmarků, odhadované doby obsluhy a předpoklady o efektivitě datových center. Různé volby v kterémkoli kroku mohou přinést podstatně odlišné odpovědi.

Dávkování je jedním z hlavních zdrojů variability. Inferenční server může zpracovávat několik uživatelů společně a sdílet načítání modelu a výpočty v rámci dávky. Vysoké vytížení může snížit průměrnou energii přiřazenou každému požadavku, zatímco nevyužitá kapacita, požadavky na latenci nebo prudké nárůsty provozu mohou způsobit, že drahý hardware zůstane částečně využitý. Novější akcelerátory mohou také dokončit stejnou zátěž rychleji nebo s menším počtem joulů.

Hranice odhadu mění i výsledek. Některé výpočty počítají pouze s energií akcelerátoru, jiné zahrnují i ztráty procesoru, paměti, sítě, chlazení a napájení. Většina údajů na jeden dotaz nezahrnuje dřívější energii spotřebovanou na výrobu hardwaru a trénování modelu. Odhady jsou nejužitečnější, pokud jsou jejich systémové hranice a předpoklady explicitní, nikoliv pokud je jedno číslo prezentováno jako univerzální.

Trénování vytváří nebo aktualizuje model opakovaným zpracováním velkých souborů dat a úpravou jeho parametrů. Velký tréninkový běh může zaměstnat tisíce akcelerátorů na několik dní nebo týdnů, což z něj činí koncentrovanou a velmi viditelnou výpočetní událost. Jakmile je trénink dokončen, může být výsledný model nasazen na mnoha inferenčních serverech, aby odpovídal na požadavky uživatelů.

Inference je obvykle mnohem menší pro jednu interakci, ale je spojitá. Produkční systémy musí reagovat v kteroukoli hodinu, udržovat dostatečnou kapacitu pro špičky a obsluhovat uživatele ve více regionech. Energetický profil je proto rozložen do mnoha datových center a opakuje se při každém generování textu, obrázků, zvuku nebo jiných výstupů.

Nemělo by se automaticky předpokládat, že ani jedno z těchto zatížení je dominantní pro celoživotní spotřebu elektrické energie modelu. Největší jednorázovou zátěží může být školení, zejména u hraničních systémů, zatímco inference ji může nakonec přesáhnout, pokud služba zpracovává obrovský provoz v průběhu měsíců nebo let. Rovnováha závisí na tom, jak často se modely přeškolují, jak široce jsou nasazeny a jak intenzivně je lidé používají.

Význam dotazů na umělou inteligenci pro životní prostředí vyplývá především z multiplikace. Jediný krátký dotaz může představovat malé množství energie, avšak spotřebitelští asistenti, vyhledávací funkce, kódovací nástroje a obchodní aplikace mohou generovat obrovské množství dotazů. Při nepřetržitém opakování se skromná energie na jeden dotaz stává značnou zátěží datového centra.

Poptávka není omezena na viditelné zprávy chatbotů. Aplikace mohou pro odpověď na jednu akci uživatele volat několik modelů, používat samostatné modely pro moderování nebo vyhledávání, opakovat neúspěšné požadavky a generovat shrnutí nebo doporučení na pozadí. Agentové systémy mohou tento vzor rozšířit o opakované volání modelů a softwarových nástrojů při plnění jednoho úkolu.

Plánování infrastruktury ovlivňuje také rozsah. Poskytovatelé budují kapacitu pro růst a špičkový provoz, což může zvýšit poptávku po elektřině dříve, než je každý server plně využit. Celkový dopad závisí jak na efektivitě na jeden dotaz, tak na rychlosti, jakou se využití rozšiřuje. Pokud poptávka roste rychleji než se zlepšuje účinnost, může celková spotřeba elektřiny dále růst, i když každá jednotlivá interakce bude méně energeticky náročná.

Odvozování pomocí umělé inteligence bude pravděpodobně energeticky účinnější na úrovni srovnatelné úlohy. Nové akcelerátory poskytují více výpočtů na jednotku elektrické energie, zatímco kvantizace, prořezávání, spekulativní dekódování a vylepšené architektury modelů mohou snížit počet operací potřebných pro užitečný výstup. Lepší plánování a dávkování může také zvýšit využití hardwaru, aniž by se změnilo uživatelské prostředí.

Další cestu nabízejí menší specializované modely. Služba nepotřebuje vždy svůj největší model pro klasifikaci, extrakci nebo rutinní otázky. Směrování jednoduché práce na kompaktní modely, omezení zbytečného kontextu a ukládání opakovaně použitelných výsledků do mezipaměti může snížit latenci i spotřebu elektrické energie. Datová centra mohou dále zlepšit celkovou efektivitu díky dodávkám energie, chlazení a umístění pracovní zátěže.

Účinnost nezaručuje nižší celkovou spotřebu. Rychlejší a levnější umělá inteligence může podpořit více aplikací, delší interakce a nové výpočetně náročné funkce, což je někdy označováno jako odraz poptávky. Budoucí elektrická stopa dotazů na UI bude tedy záviset na dvou konkurenčních trendech: jak rychle se každá jednotka užitečné práce stane efektivnější a jak rychle poroste celkový objem a složitost používání UI.