Çok Başlı Dikkat (Multi-head Attention)
Çok başlı dikkat, öz-dikkat mekanizmasını paralel birden fazla alt uzayda çalıştırarak modelin farklı ilişki türlerini aynı anda öğrenmesini sağlayan Transformer bileşenidir.
Duz Turkce Aciklama
Tek başlı dikkat, cümledeki ilişkilere yalnızca bir perspektiften bakar. Çok başlı dikkat ise birden fazla 'kafa' kullanarak aynı metni eş zamanlı farklı perspektiflerden analiz eder: bir kafa sözdizimi ilişkilerine, başka bir kafa anlamsal bağımlılıklara, bir diğeri ise uzun mesafeli atıflara odaklanabilir. Bu sayede model, dil içindeki zengin ilişki örüntülerini çok daha kapsamlı biçimde yakalar.
Nerede Kullanilir?
Transformer mimarisi araştırmalarında temel bileşen olarak ele alınır. Modelin kaç dikkat kafası kullandığı, mimarinin temel tasarım parametrelerinden biridir.
Ornek
GPT-4'ün dikkat katmanları 96 kafa içerir; bu kafaların bir kısmı zamir referanslarına, bir kısmı fiil-nesne ilişkilerine odaklanarak modelin zengin dil anlayışına katkıda bulunur.