Kısa cevap
AI çıkarım, önceden eğitilmiş bir modelin kullanıldığı andır. Bu işlem, bir komut, görüntü, ses dosyası veya başka bir girdiyi işleyerek bir sonuç verir. Her ChatGPT yanıtı, AI görüntü üretimi veya öneri talebi, çıkarım hesaplaması gerektirir.
Çıkarım, yapay zeka modelinin yürütülmesidir
Yapay zekada (AI), çıkarım, eğitilmiş bir modeli yeni verilere uygulamak anlamına gelir. Model, girdiyi analiz eder ve tahminler, yanıtlar veya üretilmiş içerik oluşturur. Eğitimin aksine, çıkarım, modele yeni bilgiler öğretmez. Bunun yerine, daha önce öğrenilmiş parametreleri kullanarak kullanıcılara gerçek zamanlı olarak yanıt verir.
Eğitim ve çıkarım farklıdır
Eğitim, büyük miktarda hesaplama kullanarak uzun süreler boyunca büyük veri kümelerini işleyerek modeli oluşturur. Çıkarım, kullanıcıların eğitilmiş modelle etkileşime girdiği operasyonel aşamadır. Eğitim genellikle olay başına daha yoğun hesaplama gerektirir, ancak çıkarım küresel ölçekte sürekli olarak gerçekleşir.
Çıkarım için GPU'lar ve özel donanım gerekir
Modern yapay zeka çıkarımı genellikle GPU'lar veya paralel işleme için optimize edilmiş yapay zeka hızlandırıcıları üzerinde çalışır. Büyük dil modelleri, özellikle milyonlarca kullanıcıya aynı anda hizmet verirken önemli ölçüde bellek bant genişliği ve hesaplama gücü gerektirebilir.
Çıkarım elektrik tüketir
Her çıkarım talebi, bilgi işlem donanımı, ağ, depolama ve soğutma altyapısı aracılığıyla elektrik tüketir. Yapay zekanın benimsenmesi dünya çapında arttıkça, çıkarım iş yükleri küresel veri merkezi elektrik talebinin giderek daha önemli bir parçası haline geliyor.
Çıkarım optimize edilebilir
Yapay zeka sağlayıcıları, gruplama, niceleme, model damıtma, önbelleğe alma ve daha verimli donanım yoluyla çıkarımı sürekli olarak optimize etmektedir. Bu teknikler model kalitesini korurken gecikme süresini, elektrik tüketimini ve operasyonel maliyetleri azaltmayı amaçlamaktadır.