TheAImeters Logo

ChatGPT 使用多少电力?

ChatGPT 的用电量取决于模型大小、用户活动、硬件效率以及为每个请求提供服务的数据中心。

人工智能目前的耗电量估算

 kWh

简短回答

ChatGPT 在处理提示和生成回复时都会耗电。确切的用电量不会实时公开,因此任何公开的估计值都应被视为近似值,而不是经过审计的测量值。

大多数 ChatGPT 使用推理

当用户发出提示时,模型会执行推理:处理输入,预测可能的输出标记,并返回响应。每次交互都需要计算,计算在配备了专门人工智能加速器的服务器上运行。

用电量与日俱增

与工业能源使用相比,单次请求可能很小,但 ChatGPT 在全球范围内运行。每天数以百万计的用户、重复的提示、较长的对话和多模式功能可以将每次请求的少量能源成本转化为有意义的基础设施需求。

数据中心增加了管理费用

电力足迹不仅限于人工智能芯片本身。辅助服务器、内存、网络、存储、电力传输和冷却系统也会消耗能源。因此,在估算人工智能服务的用电量时,数据中心的效率非常重要。

估计数为何不同

不同的估算值取决于对模型架构、硬件类型、批处理、响应长度、利用率、数据中心效率和电力来源的假设。TheAIMeters 提出了定向估算值,并将其与透明的方法联系起来,而不是声称可以进行精确的实时测量。参见 方法.

相关聊天GPT 和人工智能能源指标

相关问题

相关文章

分享本页