AI 쿼리는 얼마나 많은 전력을 사용하나요?

AI 서비스에 프롬프트를 제출하면 요청은 먼저 인터넷을 통해 제공업체의 인프라로 이동합니다. 라우팅 시스템은 요청을 인증하고 안전 및 사용 제어를 적용한 후 사용 가능한 추론 서버로 요청을 전달합니다. 로드 밸런서는 시스템의 한 부분에 과부하가 걸리지 않고 사용자 트래픽이 분산되도록 여러 시스템 중에서 선택할 수 있습니다.

서버는 프롬프트를 언어 모델에 의해 처리되는 숫자 단위인 토큰으로 변환합니다. 이러한 토큰과 이전 대화 컨텍스트는 가속기 메모리에 로드됩니다. 그런 다음 GPU 또는 기타 AI 칩이 모델의 매개변수에 대해 여러 계층의 행렬 계산을 수행하여 다음 토큰을 예측합니다. 이 프로세스는 응답이 완료되거나 구성된 한계에 도달할 때까지 여러 번 반복됩니다.

생성된 출력은 텍스트로 디코딩되어 사용자에게 다시 스트리밍되며, 종종 이후 토큰이 계산되는 동안에도 계속됩니다. 이러한 가시적인 상호 작용을 중심으로 스토리지, 네트워킹, 모니터링, 전력 변환 및 냉각 장비가 계속 작동합니다. 따라서 쿼리는 일반적으로 가속기가 대부분의 집약적인 계산을 수행하더라도 GPU에서만 측정된 전력보다 더 많은 전력을 사용합니다.

AI 추론은 데이터베이스에서 단순 검색이 아닌 능동적인 계산입니다. 대규모 모델은 수십 또는 수백 기가바이트의 메모리를 차지할 수 있는 매개변수를 사용하여 생성된 모든 토큰에 대해 많은 수치 연산을 평가해야 합니다. 이러한 매개변수와 중간값을 고대역폭 메모리와 프로세서 코어 사이에서 이동하면 계산 자체와 함께 전기가 소모됩니다.

작업량은 모델, 프롬프트 및 요청된 출력에 따라 증가합니다. 대화 기록이 길면 처리해야 할 컨텍스트가 많아지고, 답변이 길면 가속기가 더 많은 생성 단계 동안 계속 실행됩니다. 이미지, 오디오 및 비디오 시스템은 서로 다른 처리 파이프라인이나 반복적인 정제 작업이 필요할 수 있으므로 AI 쿼리는 하나의 표준화된 작업 단위가 아닙니다.

데이터센터 오버헤드도 중요합니다. 서버에는 전원 공급 장치, 네트워킹, 스토리지 및 냉각이 필요하며 전력 변환 및 분배 중에 일부 전기가 손실됩니다. 운영자는 종종 이러한 오버헤드를 전력 사용 효율성 또는 PUE로 표현합니다. 효율적인 시설은 총 에너지가 컴퓨팅 장비에서 사용하는 에너지에 가까워지는 반면, 효율성이 낮은 시설은 동일한 추론 워크로드에 더 많은 지원 전력이 필요합니다.

AI 쿼리에 대한 보편적인 전력 수치는 없습니다. 텍스트 상호 작용에 대한 공개적인 추정치는 일반적으로 몇 와트시에서 수 와트시까지 다양하지만, 그 범위는 고정된 변환이 아닌 단위로 취급되어야 합니다. 최적화되고 잘 활용되는 모델이 처리하는 짧은 요청은 사용률이 낮은 하드웨어에서 실행되는 큰 모델의 긴 응답보다 훨씬 적은 에너지를 사용할 수 있습니다.

와트시는 순간 전력이 아닌 에너지를 측정합니다. 예를 들어, 단 몇 초 동안 높은 전력을 소비하는 서버는 훨씬 더 오랫동안 실행되는 저전력 시스템보다 총 에너지 사용량이 적을 수 있습니다. 따라서 신뢰할 수 있는 쿼리당 추정치를 위해서는 장비의 전력 소비량과 요청으로 인한 해당 장비의 지속 시간 및 점유율이 모두 필요합니다.

웹 검색, 전구 또는 휴대폰 충전과 비교하면 눈금을 쉽게 시각화할 수 있지만 중요한 가정이 숨겨지는 경우가 많습니다. 중요한 질문은 모든 프롬프트가 특정 양을 소비하는지 여부가 아닙니다. 어떤 모델이 요청을 처리했는지, 얼마나 많은 토큰과 양식이 처리되었는지, 요청이 얼마나 효율적으로 그룹화되었는지, 계산에 얼마나 많은 인프라 에너지가 포함되었는지가 중요합니다.

AI 제공업체는 개별 요청을 모델 크기, 하드웨어 사용률, 토큰 수, 시설 오버헤드에 연결하는 완전한 측정값을 공개하는 경우는 거의 없습니다. 따라서 연구자들은 공개된 하드웨어 사양, 벤치마크 결과, 예상 서비스 시간, 데이터센터 효율성 가정을 결합해야 합니다. 각 단계에서 다른 선택을 하면 상당히 다른 답이 나올 수 있습니다.

일괄 처리는 변동의 주요 원인 중 하나입니다. 추론 서버는 여러 사용자를 함께 처리하여 모델 로딩과 계산을 일괄 처리로 공유할 수 있습니다. 사용률이 높으면 각 요청에 할당되는 평균 에너지가 줄어들 수 있는 반면, 유휴 용량, 지연 시간 요구 사항 또는 트래픽 급증으로 인해 고가의 하드웨어가 부분적으로 사용될 수 있습니다. 또한 최신 가속기는 동일한 워크로드를 더 빨리 또는 더 적은 줄로 완료할 수 있습니다.

추정치의 경계에 따라 결과도 달라집니다. 일부 계산은 가속기 에너지만 계산하고 다른 계산은 CPU, 메모리, 네트워킹, 냉각 및 전력 손실을 포함합니다. 대부분의 쿼리당 수치는 하드웨어를 제조하고 모델을 훈련하는 데 사용되는 초기 에너지를 제외합니다. 추정치는 시스템 경계와 가정이 명확할 때 가장 유용하며, 단일 수치가 보편적인 것으로 제시되지 않을 때 가장 유용합니다.

트레이닝은 대규모 데이터 세트를 반복적으로 처리하고 매개변수를 조정하여 모델을 생성하거나 업데이트합니다. 대규모 훈련 실행은 며칠 또는 몇 주 동안 수천 대의 가속기를 사용할 수 있으므로 집중적이고 눈에 잘 띄는 컴퓨팅 이벤트가 됩니다. 학습이 완료되면 결과 모델을 여러 추론 서버에 배포하여 사용자 요청에 응답할 수 있습니다.

추론은 일반적으로 한 번의 상호 작용에 대해 훨씬 작지만 지속적으로 이루어집니다. 프로덕션 시스템은 언제든지 응답해야 하고, 피크에 대비해 충분한 용량을 유지해야 하며, 여러 지역의 사용자에게 서비스를 제공해야 합니다. 따라서 에너지 프로필은 여러 데이터센터에 분산되어 텍스트, 이미지, 오디오 또는 기타 출력이 생성될 때마다 반복됩니다.

어느 워크로드도 자동으로 모델의 평생 전력 사용량을 지배한다고 가정해서는 안 됩니다. 특히 프론티어 시스템의 경우 훈련이 가장 큰 단일 이벤트일 수 있지만, 서비스가 수개월 또는 수년에 걸쳐 막대한 트래픽을 처리하는 경우 추론이 이를 초과할 수 있습니다. 균형은 모델을 얼마나 자주 재학습하는지, 얼마나 광범위하게 배포하는지, 사람들이 얼마나 집중적으로 사용하는지에 따라 달라집니다.

AI 쿼리의 환경적 중요성은 주로 곱셈에서 비롯됩니다. 하나의 짧은 프롬프트는 적은 양의 에너지를 차지할 수 있지만, 소비자 비서, 검색 기능, 코딩 도구 및 비즈니스 애플리케이션은 엄청난 수의 요청을 생성할 수 있습니다. 요청당 소량의 에너지가 지속적으로 반복되면 상당한 데이터센터 부하가 발생합니다.

수요는 눈에 보이는 챗봇 메시지에만 국한되지 않습니다. 애플리케이션은 하나의 사용자 작업에 응답하기 위해 여러 모델을 호출하고, 중재 또는 검색을 위해 별도의 모델을 사용하고, 실패한 요청을 다시 시도하고, 배경 요약이나 추천을 생성할 수 있습니다. 에이전트 시스템은 단일 작업을 완료하는 동안 모델과 소프트웨어 툴을 반복적으로 호출하여 이 패턴을 확장할 수 있습니다.

규모는 인프라 계획에도 영향을 미칩니다. 서비스 제공업체는 트래픽 증가와 피크 트래픽에 대비하여 용량을 구축하기 때문에 모든 서버가 완전히 활용되기 전에 전력 수요가 증가할 수 있습니다. 총 영향은 쿼리당 효율성과 사용량 증가 속도에 따라 달라집니다. 효율성이 개선되는 속도보다 수요가 더 빠르게 증가하면 각 개별 상호 작용의 에너지 사용량이 줄어드는 동안에도 총 전력 소비량은 계속 증가할 수 있습니다.

AI 추론은 비슷한 작업 수준에서 에너지 효율성이 더욱 높아질 것입니다. 새로운 가속기는 단위 전력당 더 많은 계산을 수행하며, 양자화, 가지치기, 추측 디코딩 및 향상된 모델 아키텍처는 유용한 출력에 필요한 연산을 줄일 수 있습니다. 스케줄링과 일괄 처리를 개선하면 사용자 환경을 변경하지 않고도 하드웨어 활용도를 높일 수 있습니다.

더 작은 전문 모델은 또 다른 경로를 제공합니다. 서비스에 분류, 추출 또는 일상적인 질문에 항상 가장 큰 모델이 필요한 것은 아닙니다. 간단한 작업을 소형 모델로 라우팅하고, 불필요한 컨텍스트를 제한하고, 재사용 가능한 결과를 캐싱하면 지연 시간과 전력 사용량을 모두 줄일 수 있습니다. 데이터센터는 전력 공급, 냉각 및 워크로드 배치를 통해 전체 효율성을 더욱 개선할 수 있습니다.

효율성이 높아진다고 해서 전체 소비량이 줄어드는 것은 아닙니다. 더 빠르고 저렴한 AI는 더 많은 애플리케이션, 더 긴 상호 작용 및 새로운 컴퓨팅 집약적 기능을 장려할 수 있으며, 이러한 효과는 때때로 반동 수요로 설명되기도 합니다. 따라서 향후 AI 쿼리의 전력 사용량은 각 유용한 작업 단위의 효율성이 얼마나 빠르게 향상되는지와 AI 사용의 총량과 복잡성이 얼마나 빠르게 증가하는지의 두 가지 경쟁 추세에 따라 달라질 것입니다.