Uzman Karışımı (MoE)
Uzman karışımı, her girdi için yalnızca parametrelerin küçük bir alt kümesini (uzmanları) etkinleştiren, seyrek hesaplama sayesinde toplam parametre sayısını artıran verimli sinir ağı mimarisidir.
Duz Turkce Aciklama
Geleneksel yoğun modeller her token için tüm parametreleri kullanır. MoE mimarisinde ise modelin içinde birden fazla 'uzman' alt ağ bulunur ve her token için yalnızca iki ila dört uzman etkinleştirilir. Böylece modelin toplam parametre sayısı büyürken hesaplama maliyeti görece sabit kalır. Mixtral ve GPT-4'ün MoE mimarisini kullandığı düşünülmektedir. Bu yaklaşım, daha az hesaplama ile daha güçlü modeller inşa etmenin anahtarıdır.
Nerede Kullanilir?
Büyük ölçekli model mimarisi araştırmaları ve verimli LLM tasarımı tartışmalarında önemli bir kavramdır.
Ornek
Mixtral 8x7B, sekiz farklı uzman içeren MoE mimarisinde her token için yalnızca iki uzman kullanarak yoğun bir 13B modelle rekabetçi performans gösterirken hesaplama maliyetini düşük tutar.