Parametre
Parametre, bir sinir ağının eğitim sırasında öğrendiği ve modelin davranışını belirleyen sayısal ağırlık ve önyargı değerlerinin genel adıdır.
Duz Turkce Aciklama
Bir sinir ağını dev bir denkleme benzetebilirsiniz; parametreler bu denklemdeki sayısal değerlerdir. Eğitim öncesinde rastgele başlatılan bu değerler, öğrenme süreciyle giderek veriyi daha iyi açıklayan değerlere dönüştürülür. GPT-3'ün 175 milyar, GPT-4'ün ise tahminen 1 trilyonu aşkın parametresi olduğu bilinmektedir. Parametre sayısı genellikle modelin kapasitesiyle ilişkilendirilir, ancak çok sayıda parametre her zaman daha iyi performans anlamına gelmez.
Nerede Kullanilir?
Model mimarisi tartışmaları, karşılaştırma raporları ve model boyutu tartışmalarında sıklıkla kullanılır. '7B parametre', '70B model' gibi ifadeler açık kaynak model ekosisteminde yaygındır.
Ornek
Bir araştırma ekibi, 7 milyar parametrelik Llama modelini özel veri setiyle ince ayar yaparak kurumsal arama sistemine entegre etti.