Bağlam Penceresi
Bir modelin tek bir işlem sırasında aynı anda dikkate alabileceği toplam girdi ve çıktı kapasitesidir; token cinsinden ölçülür.
Modelin çalışma masası gibi düşün. Masaya sığdırabildiğin kadar belge aynı anda önünde durur. Masa dolduğunda yeni belge koymak için eskisini kaldırman gerekir.
Bağlam penceresi, konuşmanın tamamı + yüklediğin dosyalar + araç çıktıları + modelin yazdığı cevap dâhil hepsini kapsar. "Hafıza" değildir: konuşma bitince silinir, kalıcı değildir.
Bağlam penceresi hem girdiyi hem çıktıyı içeren sabit bir token bütçesidir. Üç pratik sonucu vardır:
- Doluluk maliyeti: Bağlam büyüdükçe her yeni istek daha pahalı ve genellikle daha yavaş olur.
- Ortada kaybolma (lost in the middle): Çok uzun bağlamlarda başa ve sona konan bilgi, ortadakinden daha güvenilir hatırlanır. Kritik talimatı ortaya gömme.
- Alaka gürültüsü: İlgisiz içerik bağlamı doldurduğunda model yanlış şeye odaklanabilir. "Her ihtimale karşı hepsini yükle" stratejisi kaliteyi düşürür.
Bu yüzden modern skill tasarımı bağlam mühendisliği yapar: ne yükleneceğini değil, ne yüklenmeyeceğini de tasarlar (bkz. progressive disclosure).
Bir skill'i neden ana dosya + referans dosyaları diye böldüğümüzün cevabı budur. 4.000 satırlık tek dosya skill, her oturumda bütçe yakar ve modelin dikkatini dağıtır. 350 satırlık ana dosya + gerektiğinde açılan referanslar hem ucuz hem isabetlidir.
Bir blog yazma oturumunda bağlamda tipik olarak şunlar bulunur: skill talimatları (~4k token), proje içerik envanteri (~6k), okunan 3 mevcut yazı (~9k), yazılan taslak (~3k). Envanteri özet olarak tutmak yerine tüm yazıları tam metin yüklemek bütçeyi 10 katına çıkarır ve kaliteyi artırmaz.
"Bağlam penceresi hafızadır." Değil. Oturum bittiğinde içerik kaybolur; kalıcı bilgi için dosya, veritabanı ya da bellek sistemi gerekir. "Büyük pencere = daha iyi cevap." Şart değil; alakasız bilgiyle doldurulmuş büyük pencere, iyi seçilmiş küçük pencereden kötü sonuç verir.