Jawaban singkat
ChatGPT menggunakan listrik setiap kali memproses permintaan dan menghasilkan respons. Jumlah pastinya tidak diungkapkan kepada publik secara real time, sehingga setiap perkiraan publik harus diperlakukan sebagai perkiraan dan bukan pengukuran yang diaudit.
Sebagian besar penggunaan ChatGPT adalah inferensi
Ketika pengguna mengirimkan perintah, model melakukan inferensi: model memproses input, memprediksi kemungkinan token output, dan mengembalikan respons. Setiap interaksi membutuhkan komputasi, dan komputasi tersebut berjalan di server yang dilengkapi dengan akselerator AI khusus.
Penggunaan listrik bertambah seiring dengan aktivitas sehari-hari
Satu permintaan mungkin kecil dibandingkan dengan penggunaan energi industri, tetapi ChatGPT beroperasi pada skala global. Jutaan pengguna harian, permintaan yang berulang-ulang, percakapan yang lebih lama, dan fitur multimodal dapat mengubah biaya energi per permintaan yang kecil menjadi permintaan infrastruktur yang berarti.
Pusat data menambah biaya overhead
Jejak listrik tidak terbatas pada chip AI itu sendiri. Server pendukung, memori, jaringan, penyimpanan, pengiriman daya, dan sistem pendingin juga mengonsumsi energi. Inilah sebabnya mengapa efisiensi pusat data menjadi penting ketika memperkirakan listrik yang digunakan oleh layanan AI.
Mengapa perkiraan bervariasi
Estimasi yang berbeda tergantung pada asumsi tentang arsitektur model, jenis perangkat keras, pengelompokan, panjang respons, pemanfaatan, efisiensi pusat data, dan sumber listrik. TheAIMeters menyajikan estimasi terarah dan menghubungkannya dengan metodologi yang transparan daripada mengklaim pengukuran waktu nyata yang tepat. Lihat Metodologi.