LoRA
LoRA (Low-Rank Adaptation), mevcut model ağırlıklarını dondurup yalnızca küçük düşük-rank adaptör matrislerini eğiterek verimli ince ayar yapan tekniktir.
Duz Turkce Aciklama
Büyük bir modeli ince ayar yapmak normalde çok pahalı ve zaman alıcıdır çünkü tüm parametreler güncellenmek zorundadır. LoRA bu sorunu zekice çözer: model ağırlıkları sabit kalır, modelin katmanlarına küçük ek matrisler (adaptörler) eklenir ve yalnızca bu adaptörler eğitilir. Bu yöntem GPU belleğini ve eğitim süresini dramatik biçimde azaltırken full fine-tuning ile rekabetçi performans elde edilmesini sağlar. QLoRA ise bunu niceleme ile birleştirerek tek bir tüketici GPU'sunda büyük modelleri eğitmeyi mümkün kılar.
Nerede Kullanilir?
Açık kaynak model topluluklarında, kişisel GPU'da model özelleştirme projelerinde ve araştırma laboratuvarlarında yaygın biçimde kullanılır. Hugging Face PEFT kütüphanesi LoRA'yı uygulamayı kolaylaştırmaktadır.
Ornek
Bir girişim, tek bir A100 GPU üzerinde Llama-3 70B modelini şirket belgelerine LoRA ile ince ayar yaparak kurumsal bilgi asistanı oluşturdu.