AI Çıkarım Nedir?

Yapay zeka çıkarım işlemi, modelin eğitimi tamamlandıktan sonra gerçekleşir. Bir kullanıcı, uygulama veya otomatik sistem yeni bir girdi gönderdiğinde, eğitilmiş model, eğitim sırasında öğrendiklerini kullanarak yararlı bir çıktı üretir.

Bu girdi, yazılı bir komut, bir arama sorgusu, bir ürün görseli, bir ses kaydı, bir kod satırı veya bir veritabanındaki bir satır olabilir. Çıktı ise bir cevap, oluşturulan bir görsel, bir sınıflandırma, bir öneri, bir çeviri veya bir tahmin olabilir.

İşte bu nedenle her ChatGPT yanıtı, yapay zeka ile oluşturulan görsel, arama asistanı sonucu, öneri motoru ve içerik denetimi kararı bir çıkarım sürecini içerir. Model her seferinde yeniden oluşturulmuyor; yeni veriler üzerinde çalıştırılıyor.

Eğitim ve çıkarım, aynı yapay zeka sisteminin iki farklı aşamasıdır. Eğitim aşamasında, büyük veri kümeleri işlenir, tahminler örneklerle karşılaştırılır ve birçok tekrarlanan adımda iç parametreler ayarlanarak model oluşturulur veya güncellenir.

Çıkarım işlemi, bu eğitim çalışmasının sonucunda kullanıma hazır bir model elde edildikten sonra başlar. Eğitilmiş model sunuculara kurulur, yeni girdileri alır ve öğrenmiş olduğu kalıpları, eğitim sürecinin tamamını yeniden geçmeden uygular.

Aradaki farkı hatırlamanın basit bir yolu şudur: “eğitim”, modelin nasıl öğrendiğini ifade ederken, “çıkarım” ise modelin nasıl kullanıldığını ifade eder. İlk aşama hakkında daha ayrıntılı bir açıklama için, yapay zeka modellerinin nasıl eğitildiğine dair kılavuza bakabilirsiniz.

Tam adımlar modelin türüne göre değişmekle birlikte, temel akış benzerdir. Bir girdi geldiğinde, sistem bunu modelin beklediği biçimde hazırlar; model, parametreleri üzerinden hesaplamayı gerçekleştirir ve sistem, modelin çıktısını kullanıcının okuyabileceği, görüntüleyebileceği veya kullanabileceği bir biçime dönüştürür.

Bir dil modelinde, komut genellikle tokenlere bölünür. Model bu tokenleri değerlendirir ve her adımda bir sonraki olası tokenleri tahmin eder. Bir görüntü modelinde ise girdi metin, görüntü veya her ikisi birden olabilir ve model, talebe uygun pikselleri veya görsel özellikleri aşamalı olarak üretir.

Diğer sistemler bir belgeyi sınıflandırabilir, arama sonuçlarını sıralayabilir, bir görüntüdeki nesneleri tespit edebilir, konuşmayı metne dönüştürebilir veya bir ürün önerebilir. Her durumda, çıkarım, yeni bir girdiyi model çıktısına dönüştüren gerçek zamanlı yürütme aşamasıdır.

Yapay zeka çıkarım işlemi, bir veritabanında yapılan basit bir arama değildir. Büyük bir model milyarlarca parametre içerebilir ve bu modeli kullanmak, bilginin model içinde aktarılması ve bir sonraki çıktının hesaplanması için birçok matematiksel işlemin gerçekleştirilmesini gerektirir.

Bu hesaplama genellikle hızlı bir şekilde gerçekleştirilmelidir. Bir sohbet robotunun cevabı, arama asistanının yanıtı veya gerçek zamanlı çeviri saniyeler içinde ya da daha kısa sürede gelmelidir; bu nedenle çıkarım sistemleri, gecikme süresi, bellek bant genişliği, toplu işleme, model boyutu ve donanım kullanımına önem verir.

GPU’lar ve diğer yapay zeka hızlandırıcıları, birçok paralel işlemi verimli bir şekilde gerçekleştirebildikleri için kullanışlıdır. Model ne kadar büyükse, bağlam ne kadar uzunsa ve eşzamanlı kullanıcı sayısı ne kadar fazla olursa, çıkarım altyapısı o kadar özenle tasarlanmalıdır.

Bir sohbet robotu bir soruyu yanıtladığında, bir çıkarımda bulunmuş olur. Aynı durum, bir görüntü oluşturucu bir komutdan bir resim ürettiğinde, bir kodlama asistanı bir işlev önerdiğinde veya bir çeviri aracı bir cümleyi başka bir dile çevirdiğinde de geçerlidir.

Çıkarım, daha az göze çarpan sistemlerde de karşımıza çıkar. Videoları sıralayan bir öneri akışı, bir işlemi işaretleyen bir dolandırıcılık tespit sistemi, ilgi çekici bir bölgeyi vurgulayan bir tıbbi görüntüleme modeli ya da kusurları tespit eden bir fabrika görüntüleme sistemi; bunların hepsi yeni veriler üzerinde eğitilmiş modellerden yararlanır.

Bu örnekler kullanıcılara farklı görünse de, aynı temel şemayı paylaşırlar: eğitilmiş bir model bir girdi alır, hesaplama yapar ve bir karar, cevap ya da üretilen sonucu destekleyen bir çıktı verir.

Tek bir çıkarım isteği küçük olabilir, ancak modern yapay zeka sistemleri devasa bir ölçekte çalışır. Milyonlarca ya da milyarlarca komut, görüntü isteği, öneri ve API çağrısı, GPU’lar, ağ, depolama ve soğutma sistemleri üzerinde sürekli bir talep yaratabilir.

İşte bu nedenle çıkarım, yapay zeka altyapısının merkezinde yer almaktadır. Eğitim süreci en göze çarpan hesaplama işlemi olabilir, ancak çıkarım işlemi, kullanıcılar devreye alınmış yapay zeka araçlarını her kullandıklarında tekrarlanır. Küresel ölçekte bu tekrarlanan kullanım, GPU talebinin ve veri merkezlerinin elektrik tüketiminin başlıca itici güçlerinden biri haline gelebilir.

Bir yapay zeka sorgusunun tam enerji maliyeti, modelin büyüklüğüne, donanıma, toplu işleme, kullanım oranına, veri merkezi verimliliğine ve çıktı türüne bağlıdır. Önemli olan nokta, çıkarım işleminin günlük yapay zeka kullanımını fiziksel altyapıyla – yongalar, sunucular, güç, soğutma ve veri merkezleri – ilişkilendirmesidir.

Yapay zeka sağlayıcıları, çıkarım işlemlerini daha hızlı, daha ucuz ve daha verimli hale getirmek için mühendislik açısından büyük çaba sarf ederler. Toplu işleme, birden fazla isteği bir arada işleyebilir; önbellekleme, tekrarlanan işlemleri yeniden kullanabilir; yönlendirme ise daha basit görevleri daha küçük veya özel amaçlı modellere gönderebilir.

Diğer teknikler ise gereken hesaplama miktarını azaltır. Kuantizasyon, model değerlerini daha kompakt bir şekilde temsil edebilir; distilasyon, davranışları daha küçük bir modele aktarabilir; budama veya mimari değişiklikleri ise yararlı kaliteyi korurken gereksiz işlemleri ortadan kaldırabilir.

Özel donanım da önemlidir. GPU’lar, yapay zeka hızlandırıcıları, hızlı ağ bağlantıları ve yüksek bant genişliğine sahip bellekler, devreye alınmış modellerin büyük ölçekte güvenilir bir şekilde yanıt vermesine yardımcı olur. Daha yüksek çıkarım verimliliği, gecikme süresini, maliyeti ve elektrik tüketimini azaltabilir, ancak altyapıyı ortadan kaldırmaz.