Bir yapay zeka sorgusu ne kadar elektrik kullanır?

Bir yapay zeka hizmetine bir istek gönderdiğinizde, istek önce internet üzerinden sağlayıcının altyapısına gider. Yönlendirme sistemleri isteğin kimliğini doğrular, güvenlik ve kullanım kontrolleri uygular ve kullanılabilir bir çıkarım sunucusuna yönlendirir. Bir yük dengeleyici, kullanıcı trafiğinin sistemin bir bölümüne aşırı yüklenmeden dağıtılması için birçok makine arasından seçim yapabilir.

Sunucu, istemi bir dil modeli tarafından işlenen sayısal birimler olan belirteçlere dönüştürür. Bu belirteçler ve önceki konuşma bağlamı hızlandırıcı belleğine yüklenir. GPU'lar veya diğer yapay zeka çipleri daha sonra bir sonraki belirteci tahmin etmek için modelin parametreleri üzerinde matris hesaplamaları katmanları gerçekleştirir. Süreç, yanıt tamamlanana veya yapılandırılmış bir sınıra ulaşana kadar birçok kez tekrarlanır.

Üretilen çıktı metne dönüştürülür ve genellikle daha sonraki belirteçler hala hesaplanırken kullanıcıya geri aktarılır. Bu görünür etkileşimin etrafında depolama, ağ oluşturma, izleme, güç dönüştürme ve soğutma ekipmanları aktif kalır. Bu nedenle bir sorgu, hızlandırıcı genellikle yoğun hesaplamanın çoğunu gerçekleştirse bile, yalnızca GPU'da ölçülen elektrikten daha fazlasını kullanır.

Yapay zeka çıkarımı, bir veritabanından basit bir geri alma işleminden ziyade aktif bir hesaplamadır. Büyük bir model, onlarca veya yüzlerce gigabayt bellek kaplayabilen parametreler kullanarak, üretilen her belirteç için birçok sayısal işlemi değerlendirmelidir. Bu parametrelerin ve ara değerlerin yüksek bant genişliğine sahip bellek ve işlemci çekirdekleri arasında taşınması, hesaplamaların yanı sıra elektrik de tüketir.

İş miktarı model, istem ve istenen çıktı ile birlikte artar. Uzun konuşma geçmişleri daha fazla bağlamın işlenmesini gerektirirken, uzun yanıtlar hızlandırıcıların daha fazla üretim adımı için çalışmasını sağlar. Görüntü, ses ve video sistemleri farklı işleme hatları veya tekrarlanan iyileştirme işlemleri gerektirebilir, bu nedenle bir yapay zeka sorgusu standartlaştırılmış tek bir iş birimi değildir.

Veri merkezi genel giderleri de önemlidir. Sunucuların güç kaynaklarına, ağa, depolamaya ve soğutmaya ihtiyacı vardır ve güç dönüşümü ve dağıtımı sırasında bir miktar elektrik kaybedilir. Operatörler bu ek yükü genellikle güç kullanım etkinliği veya PUE ile ifade eder. Verimli bir tesis, toplam enerjiyi bilgi işlem ekipmanı tarafından kullanılan enerjiye yaklaştırırken, daha az verimli bir tesis aynı çıkarım iş yükü için daha fazla destekleyici elektrik gerektirir.

Yapay zeka sorgusu için evrensel bir elektrik rakamı yoktur. Metin etkileşimleri için kamuya açık tahminler genellikle bir watt saatin kesirlerinden birkaç watt saate kadar değişir, ancak aralık sabit bir dönüşümden ziyade bir büyüklük sırası olarak ele alınmalıdır. Optimize edilmiş, iyi kullanılan bir model tarafından ele alınan kısa bir istek, az kullanılan donanım üzerinde çalışan daha büyük bir modelden gelen uzun bir yanıttan çok daha az enerji kullanabilir.

Watt-saat enerjiyi ölçer, anlık gücü değil. Örneğin, saniyenin bir bölümünde yüksek güç çeken bir sunucu, çok daha uzun süre çalışan daha düşük güçlü bir sistemden daha az toplam enerji kullanabilir. Bu nedenle, sorgu başına güvenilir bir tahmin için hem ekipmanın güç çekişi hem de bu ekipmanın taleple ilişkilendirilebilecek süresi ve payı gereklidir.

Web aramaları, ampuller veya telefon şarjı ile yapılan karşılaştırmalar ölçeğin görselleştirilmesini kolaylaştırabilir, ancak genellikle önemli varsayımları gizlerler. İlgili soru, her istemin belirli bir miktar tüketip tüketmediği değildir. Hangi modelin talebe hizmet ettiği, kaç jeton ve modalitenin işlendiği, taleplerin ne kadar verimli bir şekilde gruplandırıldığı ve hesaplamaya ne kadar altyapı enerjisinin dahil edildiğidir.

YZ sağlayıcıları, bireysel talepleri model boyutuna, donanım kullanımına, token sayılarına ve tesis ek yüküne bağlayan eksiksiz ölçümleri nadiren yayınlar. Bu nedenle araştırmacılar, açıklanan donanım özelliklerini, kıyaslama sonuçlarını, tahmini hizmet sürelerini ve veri merkezi verimlilik varsayımlarını birleştirmelidir. Herhangi bir adımdaki farklı seçimler önemli ölçüde farklı yanıtlar üretebilir.

Gruplama önemli bir varyasyon kaynağıdır. Bir çıkarım sunucusu, model yüklemesini ve hesaplamayı bir grupta paylaşarak birkaç kullanıcıyı birlikte işleyebilir. Yüksek kullanım, her bir talebe atanan ortalama enerjiyi azaltabilirken, atıl kapasite, gecikme gereksinimleri veya trafik artışları pahalı donanımın kısmen kullanılmasına neden olabilir. Daha yeni hızlandırıcılar da aynı iş yükünü daha hızlı veya daha az joule ile tamamlayabilir.

Tahminin sınırı da sonucu değiştirir. Bazı hesaplamalar sadece hızlandırıcı enerjisini hesaba katarken, diğerleri CPU, bellek, ağ, soğutma ve güç kayıplarını da içermektedir. Çoğu sorgu başına rakam, donanım üretmek ve modeli eğitmek için kullanılan önceki enerjiyi hariç tutar. Tahminler, tek bir sayı evrensel olarak sunulduğunda değil, sistem sınırları ve varsayımları açık olduğunda en kullanışlıdır.

Eğitim, büyük veri kümelerini tekrar tekrar işleyerek ve parametrelerini ayarlayarak bir model oluşturur veya günceller. Büyük bir eğitim çalışması binlerce hızlandırıcıyı günler veya haftalar boyunca meşgul edebilir, bu da onu yoğun ve oldukça görünür bir bilgi işlem olayı haline getirir. Eğitim tamamlandığında, ortaya çıkan model kullanıcı isteklerini yanıtlamak için birçok çıkarım sunucusuna dağıtılabilir.

Çıkarım genellikle tek bir etkileşim için çok daha küçüktür, ancak süreklidir. Üretim sistemleri her saat yanıt vermeli, pik noktalar için yeterli kapasiteyi hazır tutmalı ve birden fazla bölgedeki kullanıcılara hizmet vermelidir. Bu nedenle enerji profili birçok veri merkezine dağıtılır ve metin, görüntü, ses veya diğer çıktılar her üretildiğinde tekrarlanır.

Her iki iş yükünün de otomatik olarak bir modelin ömür boyu elektrik kullanımına hakim olacağı varsayılmamalıdır. Eğitim, özellikle öncü sistemler için en büyük tek olay olabilirken, bir hizmet aylar veya yıllar boyunca muazzam trafiği işlediğinde çıkarım sonunda bunu aşabilir. Denge, modellerin ne sıklıkla yeniden eğitildiğine, ne kadar yaygın olarak kullanıldığına ve insanların onları ne kadar yoğun kullandığına bağlıdır.

Yapay zeka sorgularının çevresel önemi öncelikle çoğalmadan kaynaklanmaktadır. Tek bir kısa istem az miktarda enerjiyi temsil edebilir, ancak tüketici asistanları, arama özellikleri, kodlama araçları ve iş uygulamaları çok sayıda istek oluşturabilir. Sürekli tekrarlandığında, talep başına mütevazı enerji önemli bir veri merkezi yükü haline gelir.

Talep, görünür sohbet robotu mesajlarıyla sınırlı değildir. Uygulamalar, bir kullanıcı eylemini yanıtlamak için birkaç model çağrısı yapabilir, denetleme veya geri alma için ayrı modeller kullanabilir, başarısız istekleri yeniden deneyebilir ve arka plan özetleri veya önerileri oluşturabilir. Agentik sistemler, tek bir görevi tamamlarken modelleri ve yazılım araçlarını tekrar tekrar çağırarak bu modeli genişletebilir.

Ölçek, altyapı planlamasını da etkiler. Sağlayıcılar büyüme ve yoğun trafik için kapasite oluşturur, bu da her sunucu tamamen kullanılmadan önce elektrik talebini artırabilir. Toplam etki hem sorgu başına verimliliğe hem de kullanımın genişleme hızına bağlıdır. Eğer talep verimlilik artışından daha hızlı büyürse, her bir etkileşim daha az enerji yoğun hale gelirken bile toplam elektrik tüketimi artmaya devam edebilir.

Yapay zeka çıkarımının karşılaştırılabilir bir görev düzeyinde daha enerji verimli hale gelmesi muhtemeldir. Yeni hızlandırıcılar birim elektrik başına daha fazla hesaplama sağlarken, niceleme, budama, spekülatif kod çözme ve geliştirilmiş model mimarileri faydalı çıktı için gereken işlemleri azaltabilir. Daha iyi zamanlama ve gruplama da kullanıcı deneyimini değiştirmeden donanım kullanımını artırabilir.

Daha küçük özel modeller başka bir yol sunar. Bir hizmetin sınıflandırma, çıkarma veya rutin sorular için her zaman en büyük modeline ihtiyacı yoktur. Basit işleri kompakt modellere yönlendirmek, gereksiz bağlamı sınırlamak ve yeniden kullanılabilir sonuçları önbelleğe almak hem gecikme süresini hem de elektrik kullanımını azaltabilir. Veri merkezleri güç dağıtımı, soğutma ve iş yükü yerleştirme yoluyla toplam verimliliği daha da artırabilir.

Verimlilik, toplam tüketimin daha düşük olmasını garanti etmez. Daha hızlı ve daha ucuz YZ, daha fazla uygulamayı, daha uzun etkileşimleri ve yeni hesaplama yoğun özellikleri teşvik edebilir, bu da bazen geri tepme talebi olarak tanımlanan bir etkidir. Bu nedenle, YZ sorgularının gelecekteki elektrik ayak izi, birbiriyle rekabet eden iki eğilime bağlı olacaktır: her bir yararlı iş biriminin ne kadar hızlı daha verimli hale geldiği ve YZ kullanımının toplam hacminin ve karmaşıklığının ne kadar hızlı arttığı.