Колко електроенергия изразходва една заявка за изкуствен интелект?

Когато подавате заявка към услуга за изкуствен интелект, тя първо се пренася през интернет до инфраструктурата на доставчика. Системите за маршрутизация удостоверяват автентичността на заявката, прилагат контрол за безопасност и използване и я насочват към наличен сървър за изводи. Системата за балансиране на натоварването може да избира между много машини, така че потребителският трафик да бъде разпределен, без да се претоварва една част от системата.

Сървърът преобразува заявката в токени - числови единици, които се обработват от езиков модел. Тези токени и всички предишни контексти на разговора се зареждат в паметта на ускорителя. След това графичните процесори или други чипове с изкуствен интелект извършват слоеве от матрични изчисления по параметрите на модела, за да предскажат следващия токен. Процесът се повтаря многократно, докато отговорът е пълен или достигне конфигуриран лимит.

Генерираният резултат се декодира в текст и се предава обратно на потребителя, често докато се изчисляват по-късните токени. Около това видимо взаимодействие остават активни съоръжения за съхранение, мрежи, мониторинг, преобразуване на енергия и охлаждане. Следователно една заявка използва повече от електроенергията, измерена само на графичния процесор, въпреки че ускорителят обикновено извършва по-голямата част от интензивните изчисления.

Изводът на ИИ е активно изчисление, а не просто извличане от база данни. Един голям модел трябва да оценява много числени операции за всеки генериран символ, като използва параметри, които могат да заемат десетки или стотици гигабайти памет. Преместването на тези параметри и междинни стойности между високоскоростна памет и процесорни ядра консумира електроенергия заедно със самите изчисления.

Обемът на работата нараства в зависимост от модела, заявката и искания резултат. Дългите истории на разговорите изискват повече контекст за обработка, докато дългите отговори карат ускорителите да работят на повече стъпки за генериране. Системите за изображения, аудио и видео могат да изискват различни конвейери за обработка или многократни операции за уточняване, така че заявката за ИИ не е една стандартизирана единица работа.

Натоварването на центъра за данни също е от значение. Сървърите се нуждаят от захранване, мрежи, съхранение и охлаждане, а част от електроенергията се губи при преобразуването и разпределението на енергията. Операторите често изразяват тези режийни разходи чрез ефективността на използване на електроенергията или PUE. Ефективното съоръжение доближава общата енергия до енергията, използвана от изчислителното оборудване, докато по-малко ефективното съоръжение изисква повече поддържаща електроенергия за същото работно натоварване с изводи.

Не съществува универсален показател за електроенергия за заявка за изкуствен интелект. Публичните оценки за текстови взаимодействия обикновено варират от части от ват-часа до няколко ват-часа, но диапазонът трябва да се разглежда като порядък на величината, а не като фиксирано преобразуване. Кратка заявка, обработена от оптимизиран, добре използван модел, може да използва много по-малко енергия, отколкото дълъг отговор от по-голям модел, работещ на недостатъчно използван хардуер.

Ватт-часът измерва енергията, а не моментната мощност. Например сървър, който използва висока мощност за част от секундата, може да използва по-малко обща енергия от система с по-ниска мощност, която работи много по-дълго. Следователно за достоверна оценка на заявка е необходимо както потреблението на енергия от оборудването, така и продължителността и делът на това оборудване, които се дължат на заявката.

Сравненията с търсения в интернет, електрически крушки или зареждане на телефони могат да улеснят визуализацията на мащаба, но често скриват важни предположения. Същественият въпрос не е дали всеки подтик потребява едно определено количество. Той е кой модел е обслужил заявката, колко токена и модалности са били обработени, колко ефективно са били групирани заявките и колко енергия от инфраструктурата е била включена в изчисленията.

Доставчиците на изкуствен интелект рядко публикуват пълни измервания, които свързват отделните заявки с размера на модела, използването на хардуера, броя на токените и режийните разходи на съоръжението. Поради това изследователите трябва да комбинират оповестените хардуерни спецификации, резултатите от бенчмаркове, очакваното време за обслужване и предположенията за ефективност на центровете за данни. Различните избори на всяка стъпка могат да доведат до значително различни отговори.

Дозирането е един от основните източници на вариации. Сървърът за изводи може да обработва няколко потребители заедно, като споделя зареждането на модела и изчисленията в една партида. Високото натоварване може да намали средната енергия, разпределена за всяка заявка, докато неизползваният капацитет, изискванията за латентност или скоковете в трафика могат да оставят скъпия хардуер частично използван. По-новите ускорители могат също така да изпълняват едно и също натоварване по-бързо или с по-малко джаули.

Границата на оценката също променя резултата. Някои изчисления отчитат само енергията на ускорителя, други включват процесорите, паметта, мрежите, охлаждането и загубите на енергия. Повечето цифри на заявка изключват по-ранната енергия, използвана за производството на хардуера и обучението на модела. Изчисленията са най-полезни, когато техните системни граници и допускания са ясни, а не когато едно число се представя като универсално.

Обучението създава или актуализира модел чрез многократна обработка на големи набори от данни и коригиране на параметрите му. Едно голямо обучение може да заеме хиляди ускорители в продължение на дни или седмици, което го превръща в концентрирано и силно видимо изчислително събитие. След приключване на обучението полученият модел може да бъде разположен в много сървъри за изводи, за да отговори на потребителските заявки.

Заключението обикновено е много по-малко за едно взаимодействие, но то е непрекъснато. Производствените системи трябва да реагират на всеки час, да поддържат достатъчен капацитет за пиковите моменти и да обслужват потребители в множество региони. Затова енергийният профил се разпределя в много центрове за данни и се повтаря всеки път, когато се генерират текст, изображения, аудио или други изходи.

Нито едно от двете натоварвания не трябва автоматично да се приема за доминиращо в потреблението на електроенергия през целия живот на модела. Обучението може да бъде най-голямото единично събитие, особено за гранични системи, докато изводът може да го надхвърли, когато услугата обработва огромен трафик в продължение на месеци или години. Балансът зависи от това колко често се преквалифицират моделите, колко широко са разгърнати и колко интензивно ги използват хората.

Значението на заявките за изкуствен интелект за околната среда идва главно от умножаването. Една кратка заявка може да представлява малко количество енергия, но потребителските асистенти, функциите за търсене, инструментите за кодиране и бизнес приложенията могат да генерират огромен брой заявки. Повтаряйки се непрекъснато, скромната енергия на заявка се превръща в значително натоварване на центровете за данни.

Търсенето не се ограничава до видими съобщения на чатбота. Приложенията могат да направят няколко извиквания на модели, за да отговорят на едно действие на потребителя, да използват отделни модели за модериране или извличане, да повтарят неуспешни заявки и да генерират фонови обобщения или препоръки. Агентичните системи могат да разширят този модел, като извикват модели и софтуерни инструменти многократно, докато изпълняват една задача.

Мащабът също влияе върху планирането на инфраструктурата. Доставчиците изграждат капацитет за растеж и пиков трафик, който може да увеличи търсенето на електроенергия, преди всеки сървър да бъде използван напълно. Общото въздействие зависи както от ефективността на една заявка, така и от скоростта, с която се разширява използването. Ако търсенето расте по-бързо от подобряването на ефективността, общото потребление на електроенергия може да продължи да нараства, дори когато всяко отделно взаимодействие става по-малко енергоемко.

Изводите с изкуствен интелект вероятно ще станат по-енергийно ефективни на ниво сравнима задача. Новите ускорители осигуряват повече изчисления за единица електроенергия, а квантуването, подрязването, спекулативното декодиране и подобрените архитектури на моделите могат да намалят операциите, необходими за полезен резултат. По-доброто планиране и групиране също могат да повишат използването на хардуера, без да променят потребителското преживяване.

Малките специализирани модели предлагат друг път. Една услуга не винаги се нуждае от най-големия си модел за класификация, извличане или рутинни въпроси. Пренасочването на простата работа към компактни модели, ограничаването на ненужния контекст и кеширането на многократно използваеми резултати може да намали както латентността, така и използването на електроенергия. Центровете за данни могат допълнително да подобрят общата ефективност чрез доставка на енергия, охлаждане и разполагане на работното натоварване.

Ефективността не гарантира по-ниско общо потребление. По-бързият и по-евтин изкуствен интелект може да насърчи повече приложения, по-дълги взаимодействия и нови функции, изискващи много изчисления - ефект, който понякога се описва като "отскок на търсенето". Следователно бъдещият отпечатък на заявките за ИИ върху електроенергията ще зависи от две конкуриращи се тенденции: колко бързо всяка единица полезна работа става по-ефективна и колко бързо нараства общият обем и сложност на използването на ИИ.