Tarama Bütçesi
Arama motorunun bir siteyi belirli bir sürede tarayabileceği sayfa miktarıdır; sitenin yanıt hızı ve içeriğin değeriyle şekillenir.
Google sonsuz kaynak harcamaz. Sitede binlerce neredeyse aynı sayfa varsa, tarayıcı zamanını onlarda harcar ve yeni yazını geç fark eder.
Ama önemli bir sınır var: çoğu site için bu bir sorun değildir.
Kime problem, kime değil: Birkaç bin URL'in altındaki siteler için tarama bütçesi pratikte sorun değildir. Gerçek konu olduğu yerler: çok büyük siteler, otomatik üretilen sayfa aileleri, filtre/parametre kombinasyonlarının patladığı e-ticaret kataloglar.
Bütçeyi tüketen tipik şeyler: sonsuz filtre kombinasyonları, oturum kimliği içeren URL'ler, yinelenen sayfalama, kalıcı olarak yavaş sunucu yanıtı, uzun yönlendirme zincirleri, yumuşak 404'ler.
İyileştirme yolları: gereksiz varyantları robots.txt ile taramadan çıkarmak, kalıcı kaldırılan sayfalarda 404/410 döndürmek (noindex ile gizlemek yerine), yönlendirme zincirlerini kırmak, sunucu yanıt süresini düşürmek, kopya içeriği kanonikle konsolide etmek.
Karıştırılmaması gereken: Tarama ≠ indeksleme. Taranan sayfa dizine girmeyebilir; "Taranmış ancak dizine eklenmemiş" durumu bir bütçe sorunu değil, değer sorunudur.
Doorway ve programatik sayfa üretimiyle doğrudan bağlantılıdır: veri farkı olmayan yüzlerce sayfa yalnızca kalite algısını değil, tarama ekonomisini de bozar. Skill'in "veri yoksa sayfa üretilmez" kuralının ikinci gerekçesi budur.
Filtre sayfaları ?renk=mavi&beden=l&sirala=fiyat gibi kombinasyonlarla üretiliyorsa, 20 filtre binlerce URL doğurur. Hiçbiri özgün içerik taşımaz ama hepsi taranır. Doğru hamle: kanonik + parametre kısıtı, gerekirse tarama engeli.
"Tarama bütçesi her sitenin sorunudur." Değil; birkaç bin URL altında pratik etkisi yok. "Sayfayı noindex yaparsam tarama bütçesi boşalır." Boşalmaz; noindex sayfa yine taranır. Kalıcı kaldırmada 404/410 doğru cevaptır.