Dlaczego sztuczna inteligencja zużywa tak dużo energii elektrycznej?

Systemy AI nie odpowiadają z statycznej listy zapisanych odpowiedzi. Gdy użytkownik wysyła prompt, przesyła obraz lub wywołuje API AI, system wykonuje operacje matematyczne w wytrenowanym modelu, aby wygenerować wynik.

Takie operacje wymagają procesorów, pamięci, sieci i pamięci masowej. Jedno żądanie może być małe, ale nowoczesne produkty AI obsługują ogromny ruch z chatbotów, asystentów wyszukiwania, narzędzi do kodowania, generatorów obrazów i aplikacji biznesowych.

Dlatego zużycie energii jest nierozłączne z infrastrukturą AI. Widocznym efektem może być krótka odpowiedź na ekranie, ale za nią stoją chipy, serwery, datacenter, chłodzenie i systemy zasilania wykonujące fizyczną pracę.

Nowoczesna AI mocno opiera się na GPU, ponieważ sieci neuronowe obejmują wiele obliczeń możliwych do wykonania równolegle. GPU są projektowane do takich obliczeń równoległych i dlatego lepiej niż CPU pasują do wielu obciążeń treningu i inferencji.

Kosztem jest to, że wysokowydajne serwery GPU pobierają dużo mocy, zwłaszcza przy wysokim wykorzystaniu w klastrach. Duże wdrożenie AI może łączyć wiele akceleratorów szybką siecią, aby współdzielić dane i synchronizować obliczenia.

Nie oznacza to, że GPU są nieefektywne dla AI. W wielu przypadkach są efektywnym wyborem dla danego zadania. Ponieważ jednak zadania są duże i ciągłe, klastry GPU stają się jednym z najbardziej widocznych źródeł zapotrzebowania AI na prąd.

Trening to faza, w której model uczy się z danych. Duże przebiegi treningowe mogą przetwarzać ogromne zbiory danych przez wiele powtarzanych kroków, dostrajając miliardy parametrów, aż model stanie się użyteczny do predykcji, generowania lub klasyfikacji.

Taka praca może utrzymywać duże klastry GPU w działaniu przez dni, tygodnie lub dłużej. Zapotrzebowanie na energię jest skoncentrowane, ponieważ wiele akceleratorów, systemów pamięci masowej i sieci pracuje razem w tym samym zadaniu treningowym.

Trening nie jest jedyną częścią zużycia energii przez AI, ale jest ważny, ponieważ rozwój modeli frontier, eksperymenty i ponowne treningi mogą wymagać intensywnych skoków poboru prądu i znacznej pojemności datacenter.

Inferencja to faza, w której używany jest wytrenowany model. Każda odpowiedź w stylu ChatGPT, generowanie obrazu, tłumaczenie, rekomendacja, podsumowanie lub sugestia kodu wymaga obliczeń inferencyjnych.

W przeciwieństwie do treningu inferencja zachodzi zawsze, gdy ludzie używają wdrożonych systemów AI. Jeśli usługa obsługuje miliony lub miliardy promptów, żądań obrazów i wywołań API, małe ilości energii na żądanie mogą sumować się do znaczącego dziennego popytu.

Dlatego zużycie energii przez AI coraz mocniej wiąże się z adopcją. Im więcej AI trafia do wyszukiwania, narzędzi biurowych, tworzenia oprogramowania, obsługi klienta, produkcji mediów i urządzeń mobilnych, tym więcej infrastruktury inferencyjnej musi działać stale.

Sprzęt AI działa w datacenters, a GPU są tylko częścią historii zużycia prądu. Serwery potrzebują pamięci, pamięci masowej, sprzętu sieciowego, zasilaczy i systemów zapasowych. Dane muszą przemieszczać się między maszynami, szafami, a czasem regionami.

Chłodzenie również ma znaczenie. Gęsto upakowane serwery AI generują dużo ciepła, więc obiekty używają chłodzenia powietrzem, cieczą, agregatów, pomp, wentylatorów lub wymienników ciepła, aby utrzymać sprzęt w bezpiecznych temperaturach.

Efektywność datacenter często opisuje wskaźnik PUE. Niższy PUE oznacza, że większa część energii trafia do sprzętu obliczeniowego zamiast do infrastruktury obiektu, ale żadne duże datacenter nie działa bez energii pomocniczej.

Publiczne szacunki różnią się, ponieważ większość dostawców AI nie ujawnia pełnego zużycia energii w czasie rzeczywistym według modelu, produktu lub typu żądania. Badacze i analitycy łączą więc publiczne sygnały adopcji, założenia sprzętowe, szacunki wielkości modeli i zakresy efektywności datacenters.

Wynik zależy od wielu zmiennych: wielkości modelu, liczby tokenów, rozdzielczości obrazu, generacji sprzętu, wykorzystania, batchingu, przepustowości pamięci, lokalizacji, miksu energetycznego oraz tego, czy system trenuje, obsługuje inferencję czy pozostaje bezczynny.

Dlatego liczby dotyczące energii elektrycznej AI należy zwykle traktować jako szacunki kierunkowe, a nie dokładne oficjalne pomiary. Przydatne pytanie często nie brzmi „jaka jest jedna liczba”, lecz które czynniki zwiększają lub zmniejszają zużycie energii.

AI może być bardziej efektywna dla porównywalnego zadania. Lepsze chipy, ulepszone architektury modeli, kwantyzacja, cache, batching, destylacja i kierowanie do mniejszych modeli mogą zmniejszyć obliczenia potrzebne do użytecznych wyników.

Datacenters również mogą się poprawiać dzięki lepszemu chłodzeniu, wyższemu wykorzystaniu sprzętu, zakupowi czystszej energii i sprawniejszej dystrybucji zasilania. To zmniejsza straty i może obniżyć energię na żądanie.

Trudniejsze pytanie dotyczy popytu całkowitego. Jeśli efektywność rośnie, ale użycie AI rośnie szybciej, całkowite zużycie energii elektrycznej nadal może wzrosnąć. Zrównoważone spojrzenie musi śledzić obie strony: efektywność na zadanie i skalę globalnej adopcji AI.