Otoregresif Model
Otoregresif model, metin üretirken her yeni token'ı yalnızca önceki token'lara bakarak sıralı biçimde üreten dil modelidir.
Duz Turkce Aciklama
GPT gibi LLM'lerin çalışma mantığı otoregresiftir: model bir token üretir, bu token bağlama eklenir, sonra bir sonraki token üretilir ve bu süreç devam eder. Her adımda model yalnızca soldaki (geçmişteki) token'lara bakabilir; sağındakiler maskelenir. Bu yaklaşım paralel eğitimi mümkün kılarken çıkarsama sırasında sekansiyel üretim zorunluluğu getirir. Bu yüzden uzun yanıtlar üretmek zaman alır.
Nerede Kullanilir?
Dil modeli çalışma prensibi açıklamalarında ve model mimarisi karşılaştırmalarında kullanılır. Metin üretimi odaklı tüm decoder modellerini tanımlar.
Ornek
ChatGPT bir yanıt üretirken otoregresif yapı nedeniyle her kelimeyi sırayla üretir ve ekrana akar biçimde gösterir; tüm yanıtı aynı anda hesaplamaz.