Parçalama (Chunking)
Parçalama, RAG sistemlerinde uzun dokümanların embedding ve bağlam penceresine sığacak şekilde anlamlı küçük parçalara bölünmesi işlemidir.
Duz Turkce Aciklama
LLM'lerin bağlam penceresi ve embedding modellerinin maksimum token limiti nedeniyle uzun belgeler doğrudan işlenemez. Parçalama, bir PDF'i veya makaleyi mantıksal bölümlere ayırır: paragraf başına, sabit token sayısına veya semantik bölümlere göre bölme yapılabilir. İdeal parça boyutu, yeterli bağlamı taşıyacak kadar büyük ama arama gürültüsü oluşturmayacak kadar küçük olmalıdır. Örtüşen parçalama (overlapping chunks), bağlam sürekliliğini sağlamak için sıkça kullanılır.
Nerede Kullanilir?
RAG sistemi kurulumu, doküman işleme pipeline tasarımı ve vektör veritabanı yükleme adımlarında kritik bir tasarım kararıdır. LangChain ve LlamaIndex gibi çerçeveler hazır parçalama stratejileri sunar.
Ornek
Bir hukuk firması, 200 sayfalık davayı 512 token'lık örtüşen parçalara bölerek RAG sisteminde hukuki sorulara kaynak destekli yanıt üretmeyi sağladı.