Yapay zekâ botları sitenize girebiliyor mu?
Alan adınızı yazın. Sitenizin robots.txt dosyası ChatGPT, Perplexity, Claude, Google ve Bing botlarına izin veriyor mu, tek tıkla görün. Engellenen bir arama botu, o motorun cevaplarında sizi göstermez.
Neden önemli?
ChatGPT arama, Perplexity ve Claude gibi motorlar cevaplarını web'den okudukları sayfalarla kurar. Sitenizin robots.txt dosyası bu motorların arama botlarını engelliyorsa içeriğiniz ne kadar iyi olursa olsun o cevaplarda yer almaz.
- Arama botları (OAI-SearchBot, PerplexityBot, Claude-SearchBot, Googlebot, Bingbot) açık olmalı.
- Eğitim botlarını (GPTBot, Google-Extended, ClaudeBot, CCBot) engellemek sizin tercihinizdir; arama görünürlüğünü doğrudan etkilemez.
Erişim ilk adımdır. Markanızın yapay zekâ cevaplarında gerçekten anılıp anılmadığını GEO ölçümü gösterir. Kavramın tamamı için GEO rehberine bakın.
Sık sorulan sorular
Arama botu ile eğitim botu arasındaki fark ne?
Arama botları (ör. OAI-SearchBot, PerplexityBot) sayfanızı yapay zekâ aramasının cevaplarında göstermek için okur; engellerseniz o motorun cevaplarında yer almazsınız. Eğitim botları (ör. GPTBot, Google-Extended) içeriği model eğitimi için toplar; bunları engellemek bir tercihtir ve arama görünürlüğünü doğrudan etkilemez.
robots.txt dosyam yoksa ne olur?
Kural olmadığı için botların hepsi sitenize girebilir. Araç bu durumu "robots.txt bulunamadı" diye gösterir.
Araç sitemde ne yapıyor?
Yalnız sitenizin kökündeki robots.txt dosyasını bir kez okur. Başka sayfaya bakmaz, hiçbir şey değiştirmez. Kötüye kullanımı önlemek için aynı ağdan 15 dakikada en çok 8 kontrol yapılabilir.
Botlar robots.txt kurallarına uymak zorunda mı?
Hayır, robots.txt bir rica standardıdır. Bilinen yapay zekâ şirketlerinin botları belgelerinde bu kurallara uyduklarını belirtir; bu araç kuralların ne söylediğini gösterir, botların fiilen ne yaptığını değil.
Botlar girebiliyor. Peki sizi anıyorlar mı?
GEO markanızın ChatGPT ve Perplexity cevaplarında anılıp anılmadığını ölçer, sayfalarınızın yapay zekâ aramasına hazır olup olmadığını denetler.