Aktivasyon Fonksiyonu
Aktivasyon fonksiyonu, bir sinir ağı nöronunun girdi toplamını doğrusal olmayan bir dönüşümle çıktıya çeviren matematiksel fonksiyondur.
Duz Turkce Aciklama
Aktivasyon fonksiyonu olmadan tüm sinir ağı sadece büyük bir lineer dönüşüm olur ve karmaşık örüntüleri öğrenemez. ReLU (negatif değerleri sıfıra atar), Sigmoid (0-1 arası çıktı verir), Tanh ve modern LLM'lerde tercih edilen GELU ve SwiGLU en yaygın aktivasyon fonksiyonlarıdır. Bu fonksiyonlar, ağın doğrusal olmayan ilişkileri modellemesini sağlar.
Nerede Kullanilir?
Sinir ağı mimarisi tasarımı, derin öğrenme kursları ve model optimizasyonu araştırmalarında temel bir kavramdır.
Ornek
Llama-3 modelinde SwiGLU aktivasyon fonksiyonu kullanılmaktadır; bu, ReLU'ya kıyasla daha pürüzsüz gradyan akışı sağlayarak model performansını artırmaktadır.