짧은 답변
ChatGPT는 프롬프트를 처리하고 응답을 생성할 때마다 전력을 사용합니다. 정확한 양은 실시간으로 공개되지 않으므로 모든 공개 추정치는 감사된 측정값이 아닌 근사치로 간주해야 합니다.
대부분의 ChatGPT 사용은 추론입니다
사용자가 프롬프트를 보내면 모델은 입력을 처리하고 출력 가능한 토큰을 예측한 후 응답을 반환하는 추론을 수행합니다. 각 상호 작용에는 컴퓨팅이 필요하며, 이러한 컴퓨팅은 특수 AI 가속기가 장착된 서버에서 실행됩니다.
일상 활동에 따라 증가하는 전기 사용량
단일 요청은 산업 에너지 사용량에 비하면 작은 규모일 수 있지만, ChatGPT는 글로벌 규모로 운영됩니다. 매일 수백만 명의 사용자, 반복되는 프롬프트, 긴 대화, 멀티모달 기능으로 인해 요청당 적은 에너지 비용이 의미 있는 인프라 수요로 전환될 수 있습니다.
데이터 센터로 인한 오버헤드 추가
전력 사용량은 AI 칩 자체에만 국한되지 않습니다. 지원 서버, 메모리, 네트워킹, 스토리지, 전력 공급 및 냉각 시스템도 에너지를 소비합니다. 그렇기 때문에 AI 서비스에서 사용하는 전력을 추정할 때 데이터센터 효율성이 중요합니다.
추정치가 달라지는 이유
모델 아키텍처, 하드웨어 유형, 배치, 응답 길이, 사용률, 데이터 센터 효율성 및 전력 소싱에 대한 가정에 따라 추정치가 달라집니다. TheAIMeters는 정확한 실시간 측정을 주장하기보다는 방향성 있는 추정치를 제시하고 이를 투명한 방법론에 연결합니다. 더 보기 방법론.