Token
Modelin metni işlerken kullandığı en küçük birimdir; genellikle bir kelimenin parçası kadardır.
Model kelimeleri değil, kelime parçalarını okur. "kanibalizasyon" gibi uzun bir kelime birkaç token'a bölünür; "ve" tek token olabilir.
Kaba ölçüt: İngilizce'de ~4 karakter = 1 token. Türkçe'de ekler yüzünden oran daha kötüdür — aynı anlam için genellikle daha fazla token harcanır.
Tokenizasyon, alt-kelime (subword) algoritmalarıyla yapılır; sık geçen diziler tek token, nadir diziler birkaç token olur. Pratik sonuçları:
- Maliyet ve limit token üzerinden hesaplanır, kelime üzerinden değil.
- Dil eşitsizliği: Türkçe, Fince gibi eklemeli diller aynı içerik için İngilizce'den belirgin daha fazla token tüketir.
- Kod ve JSON pahalıdır: noktalama ve girinti token yakar. Uzun JSON çıktısı istemek, aynı bilgiyi tabloyla istemekten pahalıdır.
Skill ve prompt tasarımında "kısa tut" tavsiyesi estetik değil ekonomik bir tavsiyedir. Gereksiz tekrar eden 200 satırlık talimat, her oturumda tekrar tekrar ödenen bir vergidir.
"SEO denetimi yap" ≈ 5-7 token. 40 maddelik kontrol listesi ≈ 800-1.000 token. Bu listeyi ana skill dosyasına gömmek yerine referans dosyasına almak, listenin gerekmediği oturumlarda o bütçeyi tamamen tasarruf ettirir.
"Token = kelime." Değil. Türkçe uzun bileşik kelimeler 4-6 token olabilir; bütçe hesabını kelime sayısıyla yapmak yanıltır.