ChatGPT ve Perplexity Sitenizi Nasıl Tarar? AI Crawler Rehberi

AI crawler'lar Googlebot'tan nasıl farklı?

Google'ın Googlebot'u sayfalarınızı sıralamak için tarar; bağlantıları takip eder, sayfa içeriğini dizine ekler ve PageRank sinyallerini hesaplar. ChatGPT'nin GPTBot'u ise çalışma amacı ve yöntemi itibarıyla tamamen farklı bir hedefe sahip.

AI crawler'lar içeriği okuyup anlayarak kendi bilgi tabanlarına katıyor. Sıralama yerine anlam çıkarma ve kaynak seçimi yapıyorlar. Bu fark, sitenizin bu botlara nasıl davranması gerektiğini kökten değiştiriyor.

Hangi AI botları sitenizi ziyaret ediyor?

Önde gelen AI şirketlerinin web tarama botları şöyle sıralanıyor:

• GPTBot — OpenAI'ın ChatGPT için içerik toplayan botu
• PerplexityBot — Perplexity AI'ın gerçek zamanlı kaynak botu
• ClaudeBot — Anthropic'in Claude modelleri için içerik botu
• Google-Extended — Google Gemini ve AI özellikler için ayrı bot
• Applebot-Extended — Apple Intelligence için içerik toplayan bot
• meta-externalagent — Meta AI ürünleri için içerik botu

Sunucu access loglarınızı düzenli kontrol ederek bu botların sitenizi ne sıklıkla ziyaret ettiğini takip edebilirsiniz.

robots.txt ile AI crawler yapılandırması

robots.txt dosyası, crawler'lara hangi URL'lere erişip erişemeyeceklerini söyleyen basit ama kritik bir metin dosyasıdır. AI botları için doğru yapılandırma hem güvenlik hem de içerik kontrolü açısından önemlidir.

Temel robots.txt yapılandırması

Aşağıdaki yapılandırma, önerilen AI crawler allowlist'ini ve hassas dizinlerin korunmasını bir arada sağlar:

# Tüm botlar için genel kural
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /tmp/
Disallow: /*.json$

# AI Crawler Allowlist
User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: meta-externalagent
Allow: /

# Sitemap
Sitemap: https://siteniz.com/sitemap.xml

Belirli içerikleri AI botlarından gizleme

Premium içerik, üye portalı veya rekabete duyarlı veriler içeren sayfalarınızı AI botlarından gizlemek isteyebilirsiniz. Bunun için belirli botlara özel Disallow kuralları yazabilirsiniz:

# GPTBot'u belirli dizinlerden engelle
User-agent: GPTBot
Disallow: /premium/
Disallow: /members/
Allow: /

AI görünürlüğünü artırma: içerik stratejisi

Botlara erişim vermek yeterli değil. Sitenizin AI yanıtlarında kaynak olarak seçilmesi için içeriğinizin belirli kalite sinyallerini taşıması gerekiyor.

Yapılandırılmış içerik formatları

AI motorları yapılandırılmış, net ve alıntılanabilir içeriği tercih ediyor. Bu formatları kullanın:

• Soru-cevap formatı: H2 başlıklarını soru olarak yazın ("X nedir?", "Y nasıl yapılır?") ve hemen altında net bir tanım cümlesi ile başlayın
• Listeleme: Adım adım süreçleri, özellikleri veya karşılaştırmaları liste formatında sunun
• Tanım blokları: Teknik terimleri kısa ve net şekilde tanımlayın
• İstatistikler ve veriler: Özgün araştırma, anket veya vaka çalışması verilerini paylaşın

E-E-A-T sinyallerini güçlendirme

Google ve AI motorları için güven (trustworthiness) temel bir seçim kriteridir. İçeriklerinize yazar bilgisi, yayın tarihi ve referans kaynaklar ekleyin. Hakkında sayfanızı güncel tutun ve iletişim bilgilerinizi açıkça gösterin.

Sık yapılan hatalar ve çözümleri

Birçok site AI crawler optimizasyonunda aynı hataları yapıyor. Bu hataları erkenden tespit etmek sıralama kaybını önler.

JavaScript bağımlı içerik

AI botlarının önemli bir kısmı JavaScript render etmez ya da sınırlı render yeteneğine sahiptir. İçeriğiniz yalnızca JavaScript çalıştırıldığında görünür hale geliyorsa, bu botlar için içeriğiniz "boş sayfa" anlamına gelir. Çözüm: Server-Side Rendering (SSR) veya statik HTML oluşturma kullanın.

Yapılandırılmış veri eksikliği

JSON-LD ile işaretlenmemiş içerik, AI motorlarının anlaması için daha fazla çıkarım gerektiriyor ve yanılma payı artıyor. Organization, Article, FAQ ve Service şemalarını sayfalarınıza ekleyin.

Çok genel içerik

Geniş konularda yüzeysel bilgi veren sayfalar AI motorları tarafından kaynak olarak seçilmiyor. Spesifik, derinlemesine ve özgün içerik üretin. Rekabetçi niş konularda otorite olmak, genel konularda vasat olmaktan çok daha etkilidir.