Kısa cevap
Çıkarım, önceden eğitilmiş bir yapay zeka modeli bir sonuç üretmek için bir istem, görüntü, ses dosyası veya başka bir girdiyi işlediğinde gerçekleşir. Her ChatGPT yanıtı, yapay zeka görüntüsü oluşturma veya öneri isteği, çıkarım hesaplaması gerektirir.
Çıkarım, yapay zeka modelinin yürütülmesidir
Çıkarım sırasında, eğitilmiş bir model gelen verileri analiz eder ve tahminler veya oluşturulan içerik üretir. Eğitimden farklı olarak çıkarım, modele yeni bilgiler öğretmez. Bunun yerine, kullanıcılara gerçek zamanlı olarak yanıt vermek için önceden öğrenilmiş parametreleri kullanır.
Eğitim ve çıkarım farklıdır
Eğitim, büyük miktarda hesaplama kullanarak uzun süreler boyunca büyük veri kümelerini işleyerek modeli oluşturur. Çıkarım, kullanıcıların eğitilmiş modelle etkileşime girdiği operasyonel aşamadır. Eğitim genellikle olay başına daha yoğun hesaplama gerektirir, ancak çıkarım küresel ölçekte sürekli olarak gerçekleşir.
Çıkarım için GPU'lar ve özel donanım gerekir
Modern yapay zeka çıkarımı genellikle GPU'lar veya paralel işleme için optimize edilmiş yapay zeka hızlandırıcıları üzerinde çalışır. Büyük dil modelleri, özellikle milyonlarca kullanıcıya aynı anda hizmet verirken önemli ölçüde bellek bant genişliği ve hesaplama gücü gerektirebilir.
Çıkarım elektrik tüketir
Her çıkarım talebi, bilgi işlem donanımı, ağ, depolama ve soğutma altyapısı aracılığıyla elektrik tüketir. Yapay zekanın benimsenmesi dünya çapında arttıkça, çıkarım iş yükleri küresel veri merkezi elektrik talebinin giderek daha önemli bir parçası haline geliyor.
Çıkarım optimize edilebilir
Yapay zeka sağlayıcıları, gruplama, niceleme, model damıtma, önbelleğe alma ve daha verimli donanım yoluyla çıkarımı sürekli olarak optimize etmektedir. Bu teknikler model kalitesini korurken gecikme süresini, elektrik tüketimini ve operasyonel maliyetleri azaltmayı amaçlamaktadır.