Rehber

robots.txt rehberi: Neyi engellemeli, neyi engellememeli?

Engellenen sayfa yine de aramada görünebilir. robots.txt'nin gerçekte ne yaptığı, Google ile Yandex'in dosyayı nasıl okuduğu, hangi URL'lerin engellenip hangilerinin açık kalması gerektiği.

Fratres Editör · 11 Kasım 2026

robots.txt, sitenin kök dizininde duran ve tarayıcılara hangi URL'leri isteyebileceklerini söyleyen düz metin dosyasıdır. Taramayı yönetir, dizine eklemeyi yönetmez: Engellenen bir sayfa başka sitelerden bağlantı alırsa arama sonuçlarında açıklamasız görünebilir. Bu dosyayla sunucuyu yoran ve aramada değeri olmayan URL'leri kapatırsınız. Aramadan çıkmasını istediğiniz sayfaya ise noindex koyarsınız.

robots.txt ne işe yarar, ne işe yaramaz?

Google'ın robots.txt girişi dosyanın asıl işini tarayıcı trafiğini yönetmek ve sunucunun aşırı yüklenmesini önlemek olarak tanımlar. Bir sayfayı Google'ın dışında tutmanın yolu olmadığını da ayrıca vurgular. Etkisi dosya türüne göre değişir:

Web sayfaları: Taramayı sınırlar, sayfayı aramadan gizlemez. URL başka bir yerden bağlantı alıyorsa açıklama olmadan listelenebilir.
Görsel, video ve ses: Dosyaların Google arama sonuçlarında görünmesini engelleyebilir. Başka sitelerin bu dosyalara bağlantı vermesini engellemez.
Kaynak dosyalar (CSS, JavaScript): Sayfa onlarsız da doğru anlaşılıyorsa engellenebilir, anlaşılmıyorsa engellenmemeli.

Dosya bir rica niteliğindedir. Google'ın genel tarayıcıları otomatik taramada kurallara her zaman uyar, ama her bot aynı özeni göstermez. Gizli kalması gereken içerik için parola koruması gerekir.

Kural seti Eylül 2022'de RFC 9309 numarasıyla IETF standardı oldu. Sayfayı dizinden çıkarmak için noindex kullanılır ve sayfanın robots.txt ile engellenmemesi şarttır. Engelli sayfada Googlebot noindex kuralını hiç göremez.

Arama motorları dosyayı nasıl okur?

Google'ın robots.txt belirtimi okuma kurallarını ayrıntılı sıralar:

Yer: Dosya yalnız kök dizinde geçerlidir. Her protokol, alan adı ve port ayrı sayılır, alt alan adı kendi dosyasını ister.
Boyut: Google ilk 500 KiB'ı okur, sonrasını yok sayar.
Önbellek: İçerik genellikle 24 saate kadar önbellekte tutulur. Değişiklik bu yüzden anında yansımayabilir.
Desteklenen alanlar: user-agent, allow, disallow ve sitemap. crawl-delay desteklenmez.
Eşleşme: Yolu en uzun olan kural kazanır, eşitlikte en az kısıtlayıcı kural uygulanır. * herhangi bir karakter dizisini, $ URL'nin sonunu ifade eder. Yollar büyük küçük harfe duyarlıdır.
Gruplar: Her tarayıcı yalnız kendisine en özel biçimde hitap eden grubu uygular. Googlebot için ayrı bir grup yazdıysanız Googlebot * grubundaki kuralları artık okumaz.

Durum kodu da sonucu değiştirir. 429 dışındaki 4xx yanıtlarında Google dosya yokmuş gibi davranır ve kısıtlama uygulamaz. 5xx yanıtında ilk 12 saat siteyi taramayı durdurur, sonraki 30 gün son başarılı kopyayı kullanır. Dosyanın ulaşılabilir olması, içeriği kadar önemlidir.

Türkiye'de durum: Yandex ve Türkçe karakterler

StatCounter Ekim 2026'da Türkiye'de Yandex'in arama payını %21,63 ölçtü. Dosyayı yalnız Google'a göre yazmak bu trafiği hesaba katmaz. Yandex dosya için 500 KB sınırı ve 200 OK yanıtı ister. Google'ın tanımadığı Clean-param yönergesini destekler: İçeriği değiştirmeyen parametreleri, örneğin sıralama veya oturum kimliğini bildirirsiniz, Yandex kopya adresleri tek adreste birleştirir. Clean-param belgesine göre kural en çok 500 karakter olabilir. Yandex'e özel bir grup açarsanız robot * grubunu yok sayar, ortak kuralları o gruba da yazın.

Türkçe karakterli yollarda Google, ham UTF-8 ile yüzde kodlanmış yazımı aynı kabul eder ve kuralları kodlanmış biçimde karşılaştırır. Google 23 Ekim 2026'da belirtimini kural yollarında yüzde kodlamayı önerecek biçimde güncelledi. Yandex de Kiril harflerin yüzde kodlanmasını istiyor. Aynı yaklaşımı ü, ş, ğ gibi harflere uygulamak iki motorda da tutarlı bir dosya bırakır.

Neyi engellemeli, neyi engellememeli?

Engellemeye aday URL'ler, aramada değeri olmayan ve tarayıcıyı meşgul eden adreslerdir:

Site içi arama sonuç sayfaları.
Sepet, ödeme ve hesap sayfaları. Google'ın Mart 2025 yazısındaki örnek kurallardan biri tam olarak sepet sayfasını kapatır.
Aramada görünmesi gerekmeyen filtre ve sıralama kombinasyonları. Google'ın faset gezinme belgesi bu durumda robots.txt'yi uzun vadede kanonik etiketinden ve nofollow'dan daha etkili buluyor. Konunun e-ticaret tarafı filtreli gezinme yazısında.

Açık kalması gerekenler:

Sayfanın doğru görüntülenmesi için gereken CSS ve JavaScript. Google, oluşturma için kritik kaynakları engellemenin içeriği anlamayı ve sıralamayı zorlaştırabileceğini yazıyor.
Dizinden çıkarmak istediğiniz sayfalar. noindex'in görülmesi için tarama açık kalmalı.
Google Görseller'de görünmesini istediğiniz görseller.
Başka sayfalara bütçe açmak için konan geçici engeller. Google'ın tarama bütçesi rehberi, boşalan bütçenin ancak site kapasite sınırına zaten dayanıyorsa başka sayfalara aktarıldığını söylüyor. Ayrıntı tarama bütçesi yazısında.
Hazırlık (staging) ortamı da robots.txt ile değil, parola ile korunmalı. Disallow, adresin bağlantılar üzerinden dizine girmesini durdurmaz.

Yapay zekâ tarayıcıları için ne yazmalı?

Google-Extended, Google'ın taradığı içeriğin Gemini modellerini eğitmekte ve yanıtları temellendirmekte (grounding) kullanılıp kullanılmayacağını belirleyen bir robots.txt adıdır. Google'a göre sitenin Arama'da yer almasını etkilemez ve sıralama sinyali değildir. Google 30 Ekim 2026'da, IETF'in AIPREF çalışma grubundan çıkan ortak bir eğitim tercihi sinyalini 2027'de desteklemeyi hedeflediğini duyurdu.

Sitelerin bu konuda harekete geçtiği görülüyor. HTTP Archive'ın Web Almanac 2025 SEO bölümüne göre masaüstü sitelerin %4,5'inin robots.txt dosyasında GPTBot, %3,6'sında ClaudeBot, %3,4'ünde Google-Extended adı geçiyor. Hangi botu neden engelleyeceğiniz ayrı bir yazının konusu.

robots.txt adım adım nasıl düzenlenir?

Hostları listeleyin. Search Console'daki robots.txt raporu, sitenizin en çok taranan 20 hostu için bulunan dosyaları gösterir. Alt alan adlarını unutmayın.
Engellenecek kalıpları veriyle seçin. Tarama İstatistikleri raporunda ve sunucu günlüklerinde en çok istenen parametreli URL'lere bakın.
Kuralları kalıpla yazın. Disallow: /*?siralama= gibi bir satır, tek tek URL listesinden daha az hata üretir.
Grupları kontrol edin. Googlebot veya Yandex için ayrı grup varsa ortak kuralları o gruplara da kopyalayın.
Sitemap satırını ekleyin. Tam URL yazın. Haritanın kendisi için XML site haritası rehberine bakabilirsiniz.
Yayından önce test edin. Google'ın Mart 2025 yazısı, topluluğun geliştirdiği denetleyicileri ve Google'ın açık kaynak robots.txt ayrıştırıcısını öneriyor. Ana sayfa, kategori, ürün, CSS ve JavaScript adreslerini tek tek deneyin.
Yayından sonra yeniden taratın. robots.txt raporunda dosyanın getirildiğini görün. Acil bir düzeltmede aynı rapordan yeniden tarama isteyin.

Etkisi nasıl ölçülür?

Üç rapor yeterli bilgi verir:

robots.txt raporu: Son getirme tarihi, dosya boyutu ve ayrıştırma hataları. Rapor 30 günlük sürüm geçmişi tutar, bir değişikliğin ne zaman yayına girdiğini buradan görürsünüz.
Sayfa dizine ekleme raporu: Yardım sayfasına göre "Blocked by robots.txt" durumu dizinden çıkmayı garanti etmez. "Indexed, though blocked by robots.txt" uyarısı, sayfanın bağlantılar üzerinden dizine girdiğini gösterir. Bu sayfalar aramadan çıkmalıysa engeli kaldırıp noindex ekleyin.
Tarama İstatistikleri: Ana makine durumunda robots.txt getirme hatalarını izleyin. Yardım sayfası 429 ve 5xx yanıtlarını başarısız, 404'ü başarılı getirme sayar.

Hedef basit: Engellediğiniz kalıplara tarama isteği düşmeli, önemli sayfaların taranma sıklığı düşmemeli. Dosyanın hiç olmaması da bir hata değildir. Web Almanac 2025 verisinde masaüstü sitelerin %84,9'u robots.txt için 200, %13,3'ü 404 dönüyor. 404 durumunda Google tüm siteyi taranabilir sayar.

Sık yapılan hatalar

Hazırlık ortamındaki Disallow: / satırını canlıya taşımak. Site yenilemesinden sonra ilk bakılacak satır budur.
robots.txt'ye noindex yazmak. Google bu kuralı 1 Eylül 2019'dan beri desteklemiyor.
Engel ve noindex'i aynı sayfada kullanmak. Tarayıcı sayfayı açamadığı için noindex'i göremez.
crawl-delay ile Googlebot'u yavaşlatmaya çalışmak. Google bu alanı okumaz. Acil durumda Google birkaç saat ile 1-2 gün arası kısa bir süre 500, 503 veya 429 dönmeyi öneriyor.
Taramayı 401 veya 403 ile sınırlamak. Google 4xx yanıtını kısıtlama olarak görmez, dosya yokmuş gibi davranır.
Dosyanın 5xx döndüğünü fark etmemek. İlk 12 saat tarama tamamen durur.
Büyük küçük harfi karıştırmak. /Urun/ kuralı /urun/ adresini kapsamaz.

Yarın dosyanızı üç soruyla okuyun

Tarayıcıda alanadiniz.com/robots.txt adresini açın. Önce Disallow: / ya da CSS ve JavaScript klasörlerini kapatan bir satır var mı, bakın. Sonra aramadan çıkmasını istediğiniz bir bölümün burada engellenip engellenmediğini kontrol edin, çünkü o bölüm noindex taşımalı. Son olarak Googlebot veya Yandex için ayrı grup varsa genel kuralların orada da yazılı olduğunu doğrulayın. Ardından Search Console'da "Indexed, though blocked by robots.txt" uyarısındaki URL'leri listeleyin. Bu kontroller bir teknik SEO denetiminin de ilk adımlarıdır.