Öz-Dikkat (Self-Attention)
Öz-dikkat, bir dizideki her konumun diğer tüm konumlarla ilişkisini hesaplayarak bağlamsal temsiller oluşturan Transformer'ın temel mekanizmasıdır.
Duz Turkce Aciklama
Öz-dikkat, bir cümledeki her kelimenin diğer tüm kelimelerle ne kadar ilişkili olduğunu hesaplar. 'Banka, nehrin kenarında güzel bir koltuktur' cümlesinde 'koltuk' kelimesini değerlendirirken öz-dikkat mekanizması 'banka' ve 'nehir' kelimelerine yüksek ağırlık verir. Bu şekilde her kelimenin bağlama duyarlı bir temsili oluşturulur. Bu mekanizma Transformer'ı RNN'lerden çok daha güçlü kılar.
Nerede Kullanilir?
Transformer mimarisi araştırmaları, NLP model tasarımı ve derin öğrenme teorisi çalışmalarında temel teknik bileşen olarak ele alınır.
Ornek
GPT-4, 128.000 token'lık bağlam penceresinde öz-dikkat mekanizması aracılığıyla metnin başındaki bir faktörün çok daha ilerideki bir çıkarım üzerindeki etkisini hesaplayabilir.