短い答え
ChatGPTは、プロンプトを処理し、応答を生成するたびに電力を使用します。正確な量はリアルタイムで公開されていないため、公開されている見積もりは監査済みの測定値ではなく、近似値として扱われるべきです。
ChatGPTのほとんどの使い方は推論
ユーザーがプロンプトを送信すると、モデルは推論を実行する：入力を処理し、出力されそうなトークンを予測し、応答を返す。各インタラクションには計算が必要で、その計算は専用のAIアクセラレーターを搭載したサーバー上で実行される。
日々の活動で増える電気使用量
ChatGPTはグローバルな規模で運営されています。毎日何百万人ものユーザーが利用し、繰り返しプロンプトが表示され、会話が長くなり、マルチモーダルな機能を利用することで、リクエストごとの小さなエネルギー・コストを意味のあるインフラ需要に変えることができる。
データセンターはオーバーヘッドを増やす
電力フットプリントはAIチップそのものに限られるわけではない。サポートするサーバー、メモリー、ネットワーキング、ストレージ、電力供給、冷却システムもエネルギーを消費する。このため、AIサービスが使用する電力を見積もる際には、データセンターの効率が重要になる。
見積もりが異なる理由
モデル・アーキテクチャ、ハードウェア・タイプ、バッチ処理、応答長、利用率、データ・センター効率、電力調達に関する仮定によって、見積もりは異なる。TheAIMetersは、正確なリアルタイム測定を主張するのではなく、方向性のある推定値を提示し、透明性のある方法論にリンクしています。詳細は 方法論.