Erişim sorunu hangi sırayla araştırılır?
Önce gerçek sayfa adresinin döndürdüğü durumu kaydedin. 301 başka bir adrese gidiyorsa son adresi kontrol edin; 403 veya 429 varsa güvenlik ve hız sınırlarını inceleyin. Ardından robots.txt, robots meta etiketi ve HTTP başlıklarını karşılaştırın. Sayfanın bir ziyaretçide açılması, bir botta da aynı yanıtın alındığı anlamına gelmez.
Hangi düzeltme güvenle yapılabilir?
Bütün güvenlik sistemini kapatmak yerine etkilenen kuralı belirleyin. Yönetim, sepet ve özel hesap sayfalarını arama botlarına açmak gerekmeyebilir. Bir bot adını taklit ederek alınmış başarılı yanıtı doğrulanmış gerçek bot ziyareti saymayın. Gerçek istek gözlemi için sunucu kaydı ve sağlayıcının kimlik doğrulama yöntemi birlikte değerlendirilmelidir.
Amaçları ayırın
OpenAI belgeleri arama için OAI-SearchBot, eğitim için GPTBot ve kullanıcı isteğiyle yapılan erişimler için ChatGPT-User rollerini ayırır. Perplexity de farklı erişim türlerini belgelendirir. Kararları güncel sağlayıcı belgelerine göre verin; bütün botlara tek bir işlev yüklemeyin.
Denetim katmanları
| Katman | Kanıt | Sınırlama |
|---|
| robots.txt | İlgili kullanıcı aracısı ve yol kuralı | Yalnızca politika |
| HTTP | Durum, yönlendirme ve içerik türü | Denetim istemcisinin deneyimi |
| Güvenlik duvarı | Engelleme ve doğrulama kayıtları | Sağlayıcıya göre farklılaşabilir |
| Sunucu kaydı | Zaman, yol ve doğrulanmış istemci | Kullanıcı aracısı tek başına kimlik değildir |
| İçerik | İlk HTML ile işlenmiş görünüm | JavaScript ayrı inceleme gerektirir |
Uygulama planı
Önemli birkaç URL seçin. Denetimin hangi istemciyle yapıldığını kaydedin. Sunucu veya CDN yöneticisiyle hata kayıtlarını karşılaştırın. Bir erişim sorunu bulunursa ilgili kuralı dar kapsamda düzeltin; özel müşteri alanlarını açmayın.
Politika ile gözlemi birlikte okuyun
robots.txt bulunamadığında bunu bot ziyareti olarak kaydetmeyin. Denetim isteği 403 alıyorsa bütün internet kullanıcılarının engellendiği sonucuna atlamayın. Gerçek bot doğrulamasında sağlayıcının yayımladığı doğrulama yöntemlerini kullanın.
Kontrol listesi
- Botun amacı doğru tanımlandı.
- Kural hedef URL’nin yoluna göre yorumlandı.
- CDN ve oturum katmanları incelendi.
- Log kimliği yalnızca User-agent metnine dayanmıyor.
- Değişiklik sonrası aynı URL yeniden kontrol edildi.
Rapor dili
“Politika izin veriyor”, “istek başarısız” ve “gerçek ziyaret doğrulandı” farklı durumlardır. DoctorGeoLab’ın HTML taraması ve robots incelemesi ilk iki alana ilişkin sınırlı kanıt sağlayabilir; sunucu kayıtlarını kendiliğinden okuyamaz.
Uygulama sonunda teslim edilecek kontrol kaydı
- Yanıtlanan soru belli: robots.txt açık olduğunda AI botları siteye kesin erişebilir mi?
- Düzenlenecek sayfanın tam adresi ve önceki durumu kaydedildi.
- Yeni işletme iddialarının bilgi sahibi ve dayanağı doğrulandı.
- Kaynak bağlantısı açıldı; iddia ile kaynağın kapsamı karşılaştırıldı.
- Uygulama yetkisi, önizleme ve gerekli onay kaydı hazır.
- Canlı çıktı, mobil kullanım ve sonraki ölçüm koşulları kontrol edildi.
Kaynaklar ve kapsam
Bağlantılar teknik kuralları ve platformların kendi açıklamalarını incelemek içindir. Uygulama planları DoctorGeoLab’ın editoryal önerileridir. Kaynak incelemesi: 30 Ekim 2026. Menü adları, paket kapsamları ve platform kuralları değişebilir.
Bu yazı, anlatılan tüm özelliklerin DoctorGeoLab’da aktif olduğu anlamına gelmez. Güncel hizmet kapsamını Nasıl çalışır? sayfasından inceleyin.