Ön Eğitim (Pre-training)
Ön eğitim, bir modelin büyük ve genel veri seti üzerinde, herhangi bir göreve özel ince ayar yapılmadan temel dil ve bilgi örüntülerini öğrendiği ilk eğitim aşamasıdır.
Duz Turkce Aciklama
Modern LLM'lerin geliştirilmesi iki aşamalı bir süreçtir. Birinci aşama olan ön eğitimde model, internet metinleri, kitaplar ve akademik makaleler gibi devasa veri setlerinde bir sonraki kelimeyi tahmin etmeyi öğrenir. Bu süreç dil bilgisini, gerçek dünya bilgisini ve akıl yürütme yeteneklerini modele kazandırır. Milyarlarca dolarlık hesaplama maliyeti olan bu aşamadan sonra model, belirli görevler için küçük veri setleriyle ince ayar yapılır.
Nerede Kullanilir?
AI araştırma literatüründe ve temel model tartışmalarında kullanılır. Modelin neyi bilip bilmediğini anlamak ve ince ayar stratejisi belirlemek için önemli bir kavramdır.
Ornek
GPT-4, ön eğitim sürecinde internet sitelerinden, kitaplardan ve kodlardan oluşan trilyonlarca token'lık bir veri seti üzerinde eğitildi.