Token
Token, büyük dil modellerinin metni işlemek için kullandığı en küçük metin birimidir; kelime, kelime parçası veya noktalama işareti olabilir.
Duz Turkce Aciklama
LLM'ler metni olduğu gibi okumaz; metni önce token adı verilen küçük parçalara böler. Türkçede bir kelime genellikle birden fazla token'a karşılık gelirken, 'AI' gibi kısa İngilizce kelimeler tek token olabilir. Token sayısı hem işlem maliyetini hem de bağlam penceresinin ne kadar dolu olduğunu belirler. Örneğin GPT-4, bağlamına 128.000 token sığdırabilir; bu yaklaşık 96.000 Türkçe kelimeye denk gelir. Fiyatlandırma API'lerde genellikle 1.000 ya da 1.000.000 token başına belirlenir.
Nerede Kullanilir?
LLM API kullanımı, maliyet hesaplamaları, bağlam penceresi yönetimi ve tokenizer analizi bağlamlarında sıkça kullanılır. Geliştirici belgelerinde ve fiyatlandırma sayfalarında temel ölçüm birimi olarak yer alır.
Ornek
Bir şirketin veri ekibi, GPT-4 API'siyle aylık 50 milyon token harcayacağını hesaplayarak bütçesini ve prompt tasarımını buna göre optimize etti.