Fratres

Rehber

Tarama bütçesi nedir, hangi siteleri ilgilendirir?

Tarama bütçesi kapasite ve talepten oluşur. Hangi siteler için gerçek bir sorun olduğu, değersiz URL'lerin bütçeyi nasıl tükettiği ve Tarama İstatistikleri raporunda neye bakılacağı.

Fratres Editör ·

Tarama bütçesi (crawl budget), Google'ın bir sitede tarayabildiği ve taramak istediği URL'lerin toplamıdır. İki şey belirler: sunucunun kaldırabileceği tarama kapasitesi ve Google'ın siteye duyduğu tarama talebi. Google'a göre konu daha çok bir milyonu aşkın sayfası olan ya da 10.000'den fazla sayfası her gün değişen siteleri ilgilendirir. Birkaç bin URL'lik bir site çoğu zaman verimli taranır.

Tarama bütçesi neyden oluşur?

Google'ın tarama bütçesi rehberi, 22 Temmuz 2026'da yeniden düzenlenen hâliyle bütçeyi iki parçaya ayırır.

Tarama kapasitesi sınırı (hostload). Google'ın sunucunuzla aynı anda açık tuttuğu bağlantıların ve harcadığı sürenin üst sınırıdır. Temkinli bir değerle başlar, site sağlıklı kaldıkça ve talep oldukça yükselir. Yanıt süreleri sabit veya iyileşiyorsa sınır artar. Yavaşlama, 5xx hataları ve 429 (çok fazla istek) yanıtları sınırı düşürür. Sınır, Google'ın bütün tarayıcıları için ortaktır.

Tarama talebi. Google'ın siteyi ne kadar taramak istediğidir. Sitenin büyüklüğüne, güncellenme sıklığına, sayfa kalitesine ve ilgililiğine bağlıdır. Popüler sayfalar daha sık taranır, Google eskiyen sayfaları da tazelemek ister. Site taşıma gibi büyük değişiklikler talebi geçici olarak artırır. Kopya ve istenmeyen URL'ler ise talebi boşa harcatır.

İki ayrıntı sık gözden kaçar. Birincisi, sayfayı oluşturmak için çekilen CSS ve JavaScript de bütçeden düşer. Google, bu kaynakların onları sunan alan adının bütçesini kullandığını ve oluşturma hizmetinin bunları 30 güne kadar önbellekte tuttuğunu yazıyor. İkincisi, daha çok taranmak daha iyi sıralama demek değildir. Google 2017 yazısında tarama hızının sıralama sinyali olmadığını açıkça belirtir.

Hangi siteleri ilgilendirir?

Google rehberi üç profil sayar ve bunların kesin eşik değil, kaba tahmin olduğunu not eder:

  • Yaklaşık haftada bir değişen, bir milyondan fazla benzersiz sayfası olan büyük siteler.
  • 10.000'den fazla benzersiz sayfası her gün değişen orta ve büyük siteler.
  • Search Console'da çok sayıda URL'si "Discovered - currently not indexed" (keşfedildi, şu anda dizine eklenmedi) durumunda bekleyen siteler.

Büyük e-ticaret katalogları, ilan siteleri ve haber siteleri bu profillere sık uyar. Kurumsal bir tanıtım sitesi ya da birkaç yüz yazılık bir blog için tarama bütçesi nadiren gerçek darboğazdır. Böyle sitelerde yeni sayfa geç görünüyorsa önce iç bağlantıya, içerik kalitesine ve dizine ekleme nedenlerine bakmak daha verimlidir.

Dikkat edilecek işaret, keşfedilip taranmayan URL sayısının artmasıdır. Sayfa dizine ekleme raporu yardımı, bu durumda Google'ın siteyi aşırı yükleyeceğini öngörüp taramayı ertelemiş olabileceğini yazar.

Bütçe nereye harcanıyor?

Google'ın 2017 yazısı, tarama verimini düşüren URL türlerini önem sırasıyla listeler:

  1. Faset gezinme (filtre kombinasyonları) ve oturum kimlikleri.
  2. Site içi kopya içerik.
  3. Yumuşak hata sayfaları (soft 404).
  4. Ele geçirilmiş (hacklenmiş) sayfalar.
  5. Sonsuz alanlar ve proxy'ler, örneğin her tıklamada yeni URL üreten takvimler.
  6. Düşük kaliteli ve spam içerik.

Listenin başı tesadüf değil. Faset gezinme belgesine göre tarayıcı, yeni bir filtre URL'sinin işe yarayıp yaramadığını açmadan bilemez. Bu yüzden önce çok sayıda faydasız URL'yi ister, yeni ve değerli sayfaların keşfi gecikir. Filtrelerin SEO tarafını ayrı yazıda ele alıyoruz.

Bir de değişmeyen sayfanın her seferinde baştan indirilmesi var. Google'ın Aralık 2024 verisine göre tarama isteklerinin yalnız %0,017'si önbelleğe alınabilir durumda, on yıl önce bu oran yaklaşık %0,026'ydı. Sunucu ETag veya Last-Modified başlığı gönderip içerik değişmediğinde 304 (Not Modified) dönerse gövde aktarılmaz, iki taraf da kaynak kazanır.

Tarama bütçesi adım adım nasıl iyileştirilir?

  1. İki listeyi karşılaştırın. Bir yanda site haritasındaki kanonik URL'ler, öbür yanda sunucu günlüklerinde Googlebot'un istediği URL'ler. İstenen ama haritada olmayan kalıplar israfın yeridir.
  2. Kopyaları birleştirin. Aynı içeriğe giden parametreli ve parametresiz adresleri tek kanonik adreste toplayın.
  3. Değersiz kalıpları kapatın. Site içi arama ve aramada görünmesi gerekmeyen filtre kombinasyonlarını robots.txt ile engelleyin. Yazım kuralları robots.txt rehberinde.
  4. Silineni gerçekten silin. Kalıcı olarak kalkan sayfalar 404 veya 410 dönsün. "Bulunamadı" yazan ama 200 dönen sayfaları düzeltin.
  5. Zincirleri kısaltın. Uzun yönlendirme zincirleri taramayı yavaşlatır. Eski bağlantıları doğrudan son adrese çevirin. Yönlendirme türleri yazısı hangi kodun ne zaman kullanılacağını anlatıyor.
  6. Sunucuyu hızlandırın, 304 destekleyin. Yanıt süresi kapasite sınırını doğrudan etkiler. Google ETag'i önerir, mümkünse iki başlığı birlikte göndermeyi tavsiye eder.
  7. Haritayı güncel tutun. Değişen sayfalar için doğru lastmod kullanın. Ayrıntı XML site haritası rehberinde.
  8. Oluşturma kaynaklarını azaltın. Daha az dosya daha az istek demektir. Google, dosya adlarını içerik değişmeden yenileyen önbellek kırma parametrelerine karşı uyarır. Büyük ve kritik olmayan dosyaları, örneğin videoları, ayrı bir alan adından sunmak bütçe baskısını o alana taşır.

Tarama bütçesi nasıl ölçülür?

Ana araç Search Console'daki Tarama İstatistikleri raporudur. Ayarlar menüsündedir ve yalnız alan adı mülklerinde ya da kök düzeyindeki URL öneki mülklerinde açılır. Üç ana ölçüyü verir: toplam tarama isteği, toplam indirme boyutu ve ortalama yanıt süresi. İstekleri yanıt koduna, dosya türüne, Googlebot türüne ve amaca göre böler. Amaç kırılımı iki değerden oluşur: keşif (daha önce taranmamış URL) ve yenileme (bilinen sayfanın tekrar taranması).

Bu rapordan dört soru çıkarın:

  • Yanıt süresi artıyor mu? Artış kapasite sınırını düşürür.
  • 5xx ve 429 payı ne kadar? Ana makine durumu bölümü robots.txt getirme, DNS ve sunucu bağlantısı sorunlarını son 90 gün için gösterir.
  • Keşif payı yeni içerikle uyumlu mu? Her hafta yüzlerce ürün ekliyorsanız ve keşif payı düşükse yeni sayfalar sırada bekliyor olabilir.
  • İsteklerin ne kadarı değersiz URL'lere gidiyor? Bu sorunun yanıtı raporda yok, sunucu günlüklerinden çıkar.

Tek tek sayfalarda URL Denetleme aracı yardımcı olur. Google rehberi, araçta "Hostload exceeded" uyarısı görüyorsanız sunucu kaynaklarını artırmayı önerir. Sonucu, "Discovered - currently not indexed" sayısının aylık eğilimiyle birlikte okuyun.

Sık yapılan hatalar

  • noindex ile bütçe kurtarmaya çalışmak. Google, noindex taşıyan sayfayı yine istediğini, sonra dizinden düşürdüğünü, bunun tarama zamanını boşa harcadığını yazar.
  • robots.txt ile bütçeyi geçici kaydırmak. Google boşalan bütçeyi ancak site kapasite sınırına zaten dayanıyorsa başka sayfalara aktarır.
  • nofollow'u kalkan sanmak. 2017 yazısına göre aynı URL'ye başka bir yerden nofollow'suz bağlantı varsa adres yine taranabilir.
  • Uzun süre 503 veya 429 dönmek. Google bu yöntemi acil durumda 1-2 günle sınırlamayı önerir. Aynı URL birkaç gün bu kodları dönerse dizinden düşebilir.
  • Tarama sayısını başarı ölçüsü yapmak. Daha çok istek, daha iyi sıralama anlamına gelmez. Önemli olan isteklerin doğru URL'lere gitmesidir.
  • Küçük sitede bütçe aramak. Birkaç bin sayfalık sitede yavaş dizine eklenmenin nedeni çoğunlukla bağlantı yapısı veya içeriktir.

Yarın tarama isteklerinizin yüzde kaçının boşa gittiğini bulun

Sunucu günlüklerinden son 30 günün Googlebot isteklerini alın. İstekleri parametreli URL'ler, yönlendirmeler, 404'ler ve kanonik sayfalar olarak dört gruba ayırın. Kanonik sayfalara giden payı not edin. Bu oran, robots.txt ve kanonik düzeltmelerinden sonra yükselmesi gereken tek sayıdır. Günlük verisine erişim, URL envanteri ve ekipler arası iş bölümü büyük sitelerde ayrı bir koordinasyon ister. Kurumsal SEO çalışması bu işleri tek takvimde toplar.

Kaynaklar

  1. Google Crawling, Crawl budget management for large sites
  2. Google Crawling, Documentation changelog, 2025-2026
  3. Google Search Central Blog, What Crawl Budget Means for Googlebot, Ocak 2017
  4. Google Search Central Blog, Crawling December: The how and why of Googlebot crawling, Aralık 2024
  5. Google Search Central Blog, Crawling December: HTTP caching, Aralık 2024
  6. Google Crawling, Managing crawling of faceted navigation URLs
  7. Google Crawling, Reduce the Google crawl rate
  8. Search Console Yardım, Crawl Stats report
  9. Search Console Yardım, Page indexing report