Сколько электроэнергии потребляет запрос искусственного интеллекта?

Когда вы отправляете запрос в службу искусственного интеллекта, он сначала проходит через интернет в инфраструктуру провайдера. Системы маршрутизации проверяют подлинность запроса, применяют средства контроля безопасности и использования и направляют его к доступному серверу выводов. Балансировщик нагрузки может выбирать между множеством машин, чтобы распределить пользовательский трафик, не перегружая одну часть системы.

Сервер преобразует подсказку в лексемы - числовые единицы, обрабатываемые языковой моделью. Эти лексемы и весь предыдущий контекст разговора загружаются в память ускорителя. Затем GPU или другие чипы искусственного интеллекта выполняют слои матричных вычислений по параметрам модели, чтобы предсказать следующую лексему. Процесс повторяется много раз, пока ответ не будет завершен или не достигнет заданного предела.

Сгенерированный результат декодируется в текст и передается обратно пользователю, часто в то время, как последующие токены все еще вычисляются. Вокруг этого видимого взаимодействия остаются активными устройства хранения данных, сетевого взаимодействия, мониторинга, преобразования энергии и охлаждения. Таким образом, запрос потребляет больше электроэнергии, чем измеряется только на GPU, даже если ускоритель обычно выполняет большую часть интенсивных вычислений.

Выводы ИИ - это активные вычисления, а не простое извлечение информации из базы данных. Большая модель должна оценить множество числовых операций для каждого сгенерированного маркера, используя параметры, которые могут занимать десятки или сотни гигабайт памяти. Перемещение этих параметров и промежуточных значений между памятью с высокой пропускной способностью и процессорными ядрами потребляет электроэнергию наряду с самими вычислениями.

Объем работы растет вместе с моделью, подсказкой и запрашиваемым результатом. Длинные истории разговоров требуют обработки большего контекста, а длинные ответы заставляют ускорители работать на большем количестве шагов генерации. Системы обработки изображений, аудио и видео могут требовать различных конвейеров обработки или повторных операций уточнения, поэтому запрос ИИ не является одной стандартной единицей работы.

Накладные расходы ЦОД также имеют значение. Серверы нуждаются в источниках питания, сетевом оборудовании, системах хранения и охлаждения, и часть электроэнергии теряется при ее преобразовании и распределении. Операторы часто выражают эти накладные расходы через эффективность использования энергии, или PUE. Эффективный центр приближает общую энергию к энергии, используемой вычислительным оборудованием, в то время как менее эффективный центр требует больше вспомогательного электричества для той же рабочей нагрузки, связанной с выводами.

Не существует универсального показателя расхода электроэнергии на запрос ИИ. Публичные оценки для текстовых взаимодействий обычно варьируются от долей ватт-часа до нескольких ватт-часов, но этот диапазон следует рассматривать как порядок величины, а не как фиксированное преобразование. Короткий запрос, обработанный оптимизированной, хорошо используемой моделью, может потреблять гораздо меньше энергии, чем длинный ответ от более крупной модели, работающей на недостаточно используемом оборудовании.

Ватт-час измеряет энергию, а не мгновенную мощность. Например, сервер, потребляющий большую мощность в течение доли секунды, может потреблять меньше общей энергии, чем система с меньшей мощностью, работающая гораздо дольше. Поэтому для достоверной оценки каждого запроса необходимо знать как потребляемую оборудованием мощность, так и продолжительность и долю этого оборудования, приходящуюся на запрос.

Сравнение с веб-поиском, лампочками или зарядкой телефона может сделать шкалу более наглядной, но часто скрывает важные предположения. Главный вопрос не в том, потребляет ли каждый запрос определенное количество энергии. Важно, какая модель обслужила запрос, сколько токенов и модальностей было обработано, насколько эффективно были сгруппированы запросы и сколько энергии инфраструктуры было включено в расчет.

Поставщики ИИ редко публикуют полные измерения, связывающие отдельные запросы с размером модели, загрузкой оборудования, количеством токенов и накладными расходами центра. Поэтому исследователям приходится комбинировать раскрытые спецификации оборудования, результаты бенчмарков, расчетное время обслуживания и предположения об эффективности ЦОД. Различные варианты на любом этапе могут дать существенно отличающиеся ответы.

Пакетирование - один из основных источников вариаций. Сервер выводов может обрабатывать данные нескольких пользователей вместе, разделяя загрузку модели и вычисления на всю партию. Высокий уровень использования может снизить среднюю энергию, выделяемую на каждый запрос, в то время как простаивающие мощности, требования к задержкам или скачки трафика могут привести к тому, что дорогостоящее оборудование будет использоваться частично. Новые ускорители также могут выполнять ту же нагрузку быстрее или с меньшими затратами джоулей.

Границы оценки также меняют результат. В одних расчетах учитывается только энергия ускорителей, в других - процессоров, памяти, сети, охлаждения и потери мощности. Большинство цифр в расчете на один запрос не учитывают энергию, которая ранее использовалась для производства оборудования и обучения модели. Оценки наиболее полезны, когда их системные границы и допущения очевидны, а не когда одно число представляется как универсальное.

Обучение создает или обновляет модель путем многократной обработки больших массивов данных и корректировки ее параметров. Крупный цикл обучения может занимать тысячи ускорителей в течение нескольких дней или недель, что делает его концентрированным и заметным вычислительным событием. По завершении обучения полученная модель может быть развернута на многих серверах вывода для ответа на запросы пользователей.

Выводы обычно намного меньше для одного взаимодействия, но они непрерывны. Производственные системы должны реагировать в любой час, поддерживать достаточную мощность для пиковых нагрузок и обслуживать пользователей в разных регионах. Поэтому энергетический профиль распределяется по многим центрам данных и повторяется каждый раз, когда генерируется текст, изображения, аудио или другие выходные данные.

Ни одна из нагрузок не должна автоматически считаться доминирующей в потреблении электроэнергии моделью в течение всей жизни. Обучение может быть самым большим единовременным событием, особенно для пограничных систем, в то время как вывод может в конечном итоге превысить его, если сервис обрабатывает огромный трафик в течение нескольких месяцев или лет. Баланс зависит от того, как часто модели переобучаются, насколько широко они развернуты и как интенсивно люди их используют.

Экологическая значимость запросов ИИ обусловлена прежде всего их умножением. Один короткий запрос может потреблять небольшое количество энергии, но потребительские помощники, функции поиска, инструменты кодирования и бизнес-приложения могут генерировать огромное количество запросов. При постоянном повторении скромная энергия, затрачиваемая на один запрос, превращается в существенную нагрузку на центры обработки данных.

Спрос не ограничивается видимыми сообщениями чатбота. Приложения могут выполнять несколько вызовов моделей для ответа на одно действие пользователя, использовать отдельные модели для модерации или поиска, повторять неудачные запросы, генерировать фоновые сводки или рекомендации. Агентные системы могут расширить этот шаблон, вызывая модели и программные инструменты многократно во время выполнения одной задачи.

Масштаб также влияет на планирование инфраструктуры. Провайдеры создают мощности с учетом роста и пикового трафика, что может увеличить потребность в электроэнергии еще до того, как все серверы будут полностью задействованы. Общее влияние зависит как от эффективности каждого запроса, так и от скорости расширения использования. Если спрос растет быстрее, чем повышается эффективность, совокупное потребление электроэнергии может продолжать расти, даже если каждое отдельное взаимодействие становится менее энергоемким.

Выводы ИИ, вероятно, станут более энергоэффективными на уровне сопоставимых задач. Новые ускорители обеспечивают больше вычислений на единицу электроэнергии, а квантование, обрезка, спекулятивное декодирование и улучшенные архитектуры моделей позволяют сократить количество операций, необходимых для получения полезного результата. Улучшенное планирование и пакетная обработка также могут повысить эффективность использования оборудования без изменения пользовательского опыта.

Небольшие специализированные модели предлагают другой путь. Сервису не всегда нужна самая большая модель для классификации, извлечения информации или решения рутинных вопросов. Передача простой работы компактным моделям, ограничение ненужного контекста и кэширование многократно используемых результатов может сократить как время ожидания, так и потребление электроэнергии. Дата-центры могут еще больше повысить общую эффективность за счет энергоснабжения, охлаждения и размещения рабочих нагрузок.

Эффективность не гарантирует снижения общего потребления. Более быстрый и дешевый ИИ может способствовать увеличению числа приложений, более длительному взаимодействию и появлению новых функций, требующих больших вычислений, - эффект, который иногда описывают как возвратный спрос. Таким образом, будущий электрический след запросов ИИ будет зависеть от двух конкурирующих тенденций: насколько быстро каждая единица полезной работы становится более эффективной и насколько быстро растет общий объем и сложность использования ИИ.