AIが1日に使用するGPU時間は？

AI GPUの使用時間は、トレーニングと推論という2つの主要なワークロード・カテゴリーによって消費される。

大規模なモデルのトレーニングには、多くのGPUで数日から数週間にわたって継続的に実行される、集中的なバースト計算が必要です。推論ワークロードはそれとは異なり、プロンプト、画像リクエスト、APIコールをグローバルスケールで継続的に処理します。

トレーニングの方が注目されることが多いが、AIの採用が世界的に拡大するにつれ、推論が長期的なGPU需要に占める割合が高まる可能性がある。

GPUアワーは、AIインフラの利用規模を見積もる最も簡単な方法の一つである。

電力需要、ハードウェアの使用率、冷却要件、インフラストラクチャの成長などを、AIプロバイダーが独自に開発した内部指標にアクセスすることなく、概算することができる。

GPUアワーは技術的な詳細をすべて把握できるわけではないが、人工知能のワークロードがどれほど急速に拡大しているかを理解する上で有用なプロキシとなる。