Skill Değerlendirmesi
Bir skill'in doğru durumlarda tetiklenip tetiklenmediğini ve beklenen davranışı üretip üretmediğini ölçen test senaryolarıdır.
Skill yazmak kolay; skill'in çalıştığını göstermek zor.
Eval, "şu isteği verince şunu yapmalı, şu isteği verince kesinlikle karışmamalı" listesidir. Kod için test neyse, skill için eval odur.
İki şeyi ölçer:
- Tetikleme isabeti: Skill doğru isteklerde devreye giriyor mu (should-trigger), yanlış isteklerde devreden uzak duruyor mu (should-not-trigger)? İkinci kısım en sık atlanandır ve birden fazla benzer skill kurulduğunda kritik hâle gelir.
- Davranış uyumu: Devreye girdiğinde beklenen adımları atıyor mu — kapıyı çalıştırıyor mu, onay istiyor mu, uydurma yapmıyor mu?
Nerede durur: Skill dizini içinde evals/evals.json. Her senaryo bir istek (query) ve beklenen davranış listesi (expected_behavior) içerir.
Sıra önemlidir: Eval'ler kapsamlı dokümantasyondan önce yazılır. Sebep basit: neyin doğru olduğunu tanımlamadan yazılan talimat, kendini doğrulayamaz.
Çakışma ölçümü: Aynı işi yapan iki skill varsa (ör. iki farklı blog skill'i), hangisinin seçileceği ölçülmeden bilinemez. Çözüm genellikle açıklamaya negatif tetikleyici eklemektir: "şu durumda bunu değil diğerini kullan."
Bu skill 3.500 satırlık bir talimat kümesi; hangi cümlenin gerçekten davranışı değiştirdiği ölçülmeden bilinemez. Eval'ler ayrıca ana dosyayı kısaltırken (referanslara bölerken) kalitenin bozulup bozulmadığını anlamanın tek yoludur.
Bu skill'in eval senaryolarından ikisi:
"sitemin SEO denetimini yap, hiçbir dosyayı değiştirme" → beklenen: master-blog kullanılmaz, denetim aracına yönlendirilir.
"WordPress sitem var, blog yazısı hazırla" → beklenen: çalışma modu KISITLI belirlenir, kapıların çalışmayacağı en başta söylenir, kapılar "geçti" sayılmaz.
"Skill'i birkaç kez denedim, çalışıyor." Elle deneme tekrarlanabilir değildir ve negatif durumları kapsamaz. "Eval yalnızca büyük skill'ler için gerekir." Tetikleme çakışması iki küçük skill'de bile olur.