Dikkat Mekanizması
Dikkat mekanizması, bir sinir ağının çıktı üretirken girdi dizisinin hangi bölümlerine ne kadar odaklanacağını dinamik olarak belirlemesini sağlayan tekniktir.
Duz Turkce Aciklama
İnsan okurken bir metindeki tüm kelimelere eşit dikkat vermez; bağlamla ilgili olanlara odaklanır. Dikkat mekanizması da bunu matematiksel olarak taklit eder. Model bir kelime üretirken, girdi cümlesindeki her kelimenin bu çıktıyla ne kadar ilgili olduğuna dair bir ağırlık hesaplar. Çok ilgili kelimeler yüksek ağırlık, az ilgili olanlar düşük ağırlık alır. Transformer mimarisinin kalbi olan öz-dikkat (self-attention) mekanizması, bu hesaplamayı girişteki her konum çifti için aynı anda yapar.
Nerede Kullanilir?
Derin öğrenme araştırmaları, NLP ve bilgisayarlı görü literatüründe temel teknik bileşen olarak geçer. Transformer mimarisini açıklayan her kaynakta dikkat mekanizmasına dair ayrıntılı açıklama bulunur.
Ornek
'Banka nehrin kenarında otururdu' cümlesinde dikkat mekanizması, 'banka' kelimesini yorumlarken 'nehir' kelimesine yüksek ağırlık vererek finansal değil coğrafi anlamı seçer.