Çıkarsama (Inference)
Çıkarsama, eğitilmiş bir yapay zeka modelinin yeni veriler üzerinde tahmin veya çıktı üretmesi işlemidir.
Duz Turkce Aciklama
Eğitim sürecinde model parametrelerini öğrenir; çıkarsama sürecinde ise bu öğrenilmiş parametreler yeni girdilere uygulanarak çıktı üretilir. ChatGPT'e bir soru sorduğunuzda gerçekleşen işlem çıkarsamadır. Çıkarsama, eğitimden çok daha az hesaplama gücü gerektirir; ancak milyonlarca kullanıcıya gerçek zamanlı hizmet verilen sistemlerde gecikme (latency) ve verimlilik kritik önem taşır. Niceleme, distilasyon ve özel donanımlar (AI accelerator) çıkarsama maliyetini düşürmek için kullanılır.
Nerede Kullanilir?
Üretim ortamı AI sistemleri, API hizmetleri ve uç cihaz uygulamalarında çıkarsama optimizasyonu temel bir mühendislik kaygısıdır. Model dağıtım maliyeti ve gecikme tartışmalarında merkezi bir kavramdır.
Ornek
Bir mobil uygulama, bulut sunucusuna bağlanmadan on-device çıkarsama yaparak kullanıcının fotoğrafını çevrimdışı analiz ediyor ve internet bağlantısı olmadan da çalışabiliyor.