Rehber

GPTBot, ClaudeBot, Google-Extended: AI tarayıcılarına izin verilmeli mi?

Yapay zekâ botları üç farklı iş yapar ve robots.txt kuralına aynı ölçüde uymaz. Bot bazında karar vermek için gereken bilgiler, örnek kural ve Yandex'in Yazeka ayarı.

Fratres Editör · 11 Kasım 2026

AI tarayıcısı, bir yapay zekâ şirketi adına web sayfalarını okuyan bottur. Üç işten birini yapar: model eğitimi için veri toplar, şirketin arama dizinini besler ya da kullanıcı sorduğu anda sayfayı getirir. Bu yüzden izin kararı bot bazında verilir. Eğitim botunu kapatmak arama görünürlüğünü çoğu zaman etkilemez. Arama botunu kapatmak ise o platformun yanıtlarından çıkmak demektir.

Hangi bot ne iş yapıyor?

Büyük sağlayıcılar botlarını amaca göre ayırmış durumda. Kendi belgelerine göre tablo şöyle:

Eğitim botları. OpenAI için GPTBot, Anthropic için ClaudeBot, Meta için Meta-ExternalAgent. Bu botlar, içeriğin gelecekteki modellerin eğitiminde kullanılabilmesi için tarar. Common Crawl botu CCBot ise herkese açık bir web arşivi toplar. Arşivi kimin hangi amaçla kullanacağını siz seçemezsiniz.
Arama botları. OpenAI'ın OAI-SearchBot'u, Anthropic'in Claude-SearchBot'u, Perplexity'nin PerplexityBot'u ve Meta'nın Meta-WebIndexer'ı yanıtlarda gösterilecek sayfaları dizine alır. OpenAI, OAI-SearchBot'u engelleyen sitelerin ChatGPT arama yanıtlarında gösterilmeyeceğini yazıyor. Perplexity, PerplexityBot'un model eğitimi için tarama yapmadığını belirtiyor.
Kullanıcı isteği botları. ChatGPT-User, Claude-User, Perplexity-User ve Meta-ExternalFetcher, bir kullanıcı soru sorduğunda tek bir sayfayı anlık getirir. Sürekli tarama yapmazlar.
Denetim adları. Google-Extended ve Applebot-Extended sayfa taramaz. Google'ın ve Apple'ın mevcut botlarla topladığı içeriğin yapay zekâ için kullanımını yönetir. Apple, Applebot-Extended'ı engelleyen sayfaların Spotlight, Siri ve Safari aramalarında yer almayı sürdürdüğünü belirtiyor.

Google-Extended neyi kapsar, neyi kapsamaz?

Google'ın tarayıcı belgesine göre bu ad, içeriğin gelecek Gemini modellerinin eğitiminde ve Gemini uygulamalarındaki temellendirmede (grounding, modele yanıt anında dizinden içerik verilmesi) kullanılmasını denetler. Google Arama'ya girişi ve sıralamayı etkilemez. Google'ın 30 Ekim 2026 duyurusu, Google-Extended'a açıkça izin veren sitelerin Gemini yanıtlarında görünmeye ve buradan tıklama almaya uygun olduğunu ekliyor. Yani bu adı kapatmak Gemini uygulamasındaki görünürlüğe de dokunabilir.

AI Overviews ise ayrı bir konu. Cloudflare'in Ocak 2026 yazısına göre Google, arama için taradığı içeriği AI Overviews ve AI Mode'da da kullanıyor ve bu özetlerden çıkmak için Googlebot'u engellemek gerçekçi değil. Google-Extended bu özetlerden çıkış yolu değildir. Seçenekleri AI Overviews yazısında ayrıca anlattık.

robots.txt kuralına kim uyuyor?

robots.txt bir rica belgesidir. Cloudflare bunu açıkça yazıyor: Uyum gönüllüdür ve erişim denetimi yerine geçmez. Sağlayıcıların kendi beyanları da bot türüne göre değişiyor.

Eğitim ve arama botları kurala uyduklarını belirtiyor. Anthropic üç botunun da robots.txt yönergelerine uyduğunu ve standart dışı Crawl-delay satırını desteklediğini yazıyor. Apple ise Crawl-delay'i desteklemiyor.
Kullanıcı isteği botları farklı. OpenAI, ChatGPT-User için robots.txt kurallarının geçerli olmayabileceğini söylüyor. Perplexity, Perplexity-User'ın kuralları genellikle yok saydığını, Meta da Meta-ExternalFetcher'ın kuralları atlayabileceğini yazıyor. Gerekçe aynı: İsteği bir insan başlatmış.
Gecikme var. OpenAI arama sonuçlarının robots.txt değişikliğine yaklaşık 24 saatte uyduğunu, Perplexity ve Meta da 24 saate kadar sürebileceğini belirtiyor.
Kimlik doğrulanabilir. OpenAI, Anthropic, Perplexity ve Common Crawl botlarının IP aralıklarını JSON dosyası olarak yayımlıyor. Kullanıcı aracısı (user agent) dizesi taklit edilebildiği için kayıt analizinde IP'yi de kontrol edin.

İzin vermeli mi, engellemeli mi?

Önce bu botların siteye ne bıraktığına bakmak gerekiyor. Cloudflare'in 2025 yıl değerlendirmesine göre bir ziyaretçi yönlendirmek için yapılan tarama sayısı Anthropic'te yılın başında 500.000'e kadar çıktı, sonra 25.000 ile 100.000 arasında seyretti. OpenAI'da Mart ayında 3.700'e ulaştı. Perplexity Eylül'den sonra 200'ün altında kaldı. Google'ın arama taramasında oran 3 ile 30 arasında gezindi. Cloudflare'in Ağustos 2025 verisine göre son 12 ayda yapay zekâ taramasının %80'i eğitim, %18'i arama amaçlıydı.

Siteler ne yapıyor?

HasData, Tranco listesinin en büyük 10.000 sitesini ve 1.148 haber sitesini Temmuz 2026'da taradı. GPTBot'u kendi adıyla tamamen engelleyen sitelerin oranı genel listede %7,9, haber sitelerinde %50,5 çıktı. Herhangi bir yapay zekâ botunu engelleyenler genelde %10,3, haber sitelerinde %56,4 idi. Eylül tekrarında oranlar %5,7 ve %46,9'a indi. Cloudflare da Temmuz 2025 ile Ocak 2026 arasında kendi bot denetimini kullanan sitelerin GPTBot ve ClaudeBot gibi botları, Googlebot ve Bingbot'a göre yaklaşık yedi kat daha sık engellediğini raporluyor.

Bu veriler tek bir doğru yanıt vermiyor. İş modeline göre şöyle düşünebilirsiniz:

İçeriği satılan ürün olan yayıncı. Eğitim botlarını kapatmak makul. Arama ve kullanıcı botlarını açık tutmak atıf ve trafik kapısını korur.
B2B hizmet, e-ticaret ve yerel işletme. Görünürlük, içeriği korumaktan daha değerli olabilir. Arama botlarını kesinlikle açık tutun. Eğitim botları için kararı marka stratejisi verir: Model bir soruyu arama yapmadan yanıtladığında, eğitim verisinde markanızın izi olup olmaması fark yaratır. Bu ayrımı GEO ve SEO farkı yazısında açtık.
Üyelik veya ücretli içerik. robots.txt yetmez. Kimlik doğrulama ve sunucu tarafı erişim denetimi gerekir.

Türkiye'de durum: Yandex ve Yazeka

Türkiye'de karar yalnız ABD'li şirketlerle sınırlı değil. StatCounter verisine göre Ekim 2026'da Yandex'in Türkiye arama payı %21,63, Google'ınki %76,85 oldu.

Yandex'in yapay zekâ yanıt özelliği Yazeka, Yandex belgesine göre Yandex'in dizine aldığı sayfaları üretken bir modelle tarayıp kaynaklı tek bir yanıt kuruyor. Bir sayfayı Yazeka yanıtlarının dışında tutmak için robots.txt'te YandexAdditional ya da YandexAdditionalBot adına Disallow satırı yazılıyor. Değişiklik, sayfa yeniden tarandığında devreye giriyor ve bu genellikle 2-14 gün sürüyor. Belge bu ayarın normal Yandex sonuçlarını nasıl etkilediğini yazmıyor, bu yüzden uygularken Yandex Webmaster'da gösterim trendini izleyin.

robots.txt adım adım nasıl yazılır?

Kayıtları okuyun. Son 30 günün sunucu kayıtlarında hangi botların geldiğini, kaç istek attığını ve hangi dizinlere gittiğini çıkarın. IP aralığıyla doğrulayın.
Her bot için amaç yazın. Listeyi eğitim, arama, kullanıcı isteği ve denetim adı olarak dörde ayırın. Kararı bu gruplar üzerinden verin.
Kuralı açık adla yazın. Genel User-agent: * engeli herkesi birden keser. Bot adını tek tek yazın.
Alt alan adlarını unutmayın. Anthropic, kuralın vazgeçilmek istenen her alt alan adının kendi robots.txt dosyasına eklenmesi gerektiğini belirtiyor. Bu diğer botlar için de geçerli bir alışkanlıktır.
CDN ve güvenlik duvarını kontrol edin. Altyapınızdaki bot ayarı robots.txt'ten bağımsız olarak isteği daha sunucuya ulaşmadan durdurabilir. İkisi çelişmesin.
Ortak sinyali takvime alın. Google, IETF AIPREF çalışmasına dayanan ortak bir eğitim tercihi sinyalini 2027'de desteklemeyi hedefliyor. Anthropic de 30 Ekim 2026 itibarıyla makine okunur bir "yapay zekâ eğitimi yok" sinyalini tanımaya başladığını yazıyor.

Eğitim botlarını kapatıp arama botlarını açık tutan bir dosya şöyle görünür:

```
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /
```

Dosyanın genel yapısı ve sözdizimi hataları için robots.txt rehberine bakabilirsiniz.

Etkisini nasıl ölçersiniz?

Bot başına istek sayısı. Değişiklikten önce ve sonra iki haftalık kayıtları karşılaştırın. Engellenen bot istek atmayı sürdürüyorsa ya kural yanlış ya da bot taklit.
Yönlendirme trafiği. Analytics'te chatgpt.com, perplexity.ai ve benzeri kaynaklardan gelen oturumları ayrı izleyin.
Atıf görünürlüğü. Sık sorulan 20 soruyu ChatGPT, Claude ve Perplexity'de ayda bir sorun, sitenizin kaynak olarak geçip geçmediğini not edin.

Sık yapılan hatalar

Bütün yapay zekâ botlarını tek satırla kapatmak. Eğitim kaygısıyla arama botu da gider, platformda görünürlük biter.
Google-Extended'ı AI Overviews anahtarı sanmak. Bu ad Gemini eğitimi ve temellendirmesini denetler, Arama özetlerini değil.
Kullanıcı botlarının kurala uyacağını varsaymak. Bazı sağlayıcılar bunu açıkça garanti etmiyor.
Eski adlara güvenmek. Botların adı ve görevi değişiyor. Dosyayı yılda en az iki kez sağlayıcı belgeleriyle karşılaştırın.
Kuralı yazıp kaydı hiç açmamak. Uyumu yalnız sunucu kaydı gösterir.

Bu ayarlar sitenin genel taranabilirliğiyle birlikte ele alındığında anlam kazanır. Teknik SEO denetimi bu yüzden bot listesini de kapsar.

Yarın sunucu kaydında bir bot sayımı yapın

Barındırma panelinizden son 30 günün erişim kaydını indirin. GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, YandexAdditional ve CCBot adlarını aratıp istek sayılarını bir listeye yazın. Yanına her birinin amacını ve şu anki robots.txt durumunu ekleyin. Bu liste, "Engelleyelim mi?" sorusunu bot bazında konuşabileceğiniz tek sayfalık bir karar belgesi olur.

Kaynaklar

Diğer yayınlar