Kısa cevap
Tek bir ChatGPT sorgusu, model boyutuna, yanıt uzunluğuna ve altyapı verimliliğine bağlı olarak geleneksel bir web aramasından önemli ölçüde daha fazla elektrik tüketebilir. Kesin rakamların kamuya açık olarak ölçülmesi zor olmaya devam etmektedir.
Yapay zeka çıkarımı GPU hesaplaması gerektirir
Her ChatGPT yanıtı yapay zeka çıkarımı gerektirir: model, gerçek zamanlı olarak metin oluşturmak için büyük GPU kümelerindeki simgeleri işler. Statik veri tabanlarının aksine, modern dil modelleri her etkileşim için milyarlarca matematiksel işlem gerçekleştirir.
Sorgu başına küçük enerji, ölçekte devasa hale gelir
Tek bir sorgu önemsiz görünebilir, ancak günde yüz milyonlarca veya milyarlarca istem, dünya çapındaki veri merkezlerinde önemli miktarda elektrik talebine dönüşür.
Altyapı verimliliği önemlidir
Enerji ayak izi donanım üretimine, GPU kullanımına, soğutma sistemlerine, veri merkezi verimliliğine (PUE) ve niceleme veya gruplama gibi model optimizasyon tekniklerine bağlıdır.
Kamu tahminleri yaklaşık değerlerdir
Şirketler sorgu başına ayrıntılı elektrik tüketimi verilerini nadiren açıkladıkları için kamuya açık rakamların çoğu tahminidir. TheAIMeters, büyük ölçekli yapay zeka faaliyetlerini tahmin etmek için toplu kamu araştırmalarını ve altyapı varsayımlarını kullanır. Metodoloji.