AI Bot Tarama Bütçesi Yönetimi: Google ve Yapay Zekâ Crawler’ları İçin Güncel Rehber

AI Bot Tarama Bütçesi Yönetimi, Googlebot ve yapay zekâ crawler’larının web sitenizde hangi URL’leri, hangi yoğunlukta ve hangi kurallarla ziyaret edeceğini veriye dayalı olarak düzenleme sürecidir. Amaç bütün botları engellemek değil; arama görünürlüğünü, AI keşfedilebilirliğini, sunucu kapasitesini ve içerik politikasını dengede tutmaktır. Google’ın güncel yaklaşımına göre AI Overviews ve AI Mode için özel bir AI etiketi gerekmez; temel teknik SEO şartları geçerliliğini korur.

Bu nedenle AI Bot Tarama Bütçesi Yönetimi, klasik SEO’nun yerine geçen bir sıralama hilesi değildir. Doğru yaklaşım; URL envanterini temizlemek, crawler amaçlarını ayırmak, logları incelemek ve her bot için ölçülebilir bir erişim politikası oluşturmaktır.

Önemli Noktalar

• Crawl budget, crawler’ın tarama kapasitesi ile tarama talebinin birleşimidir.
• Arama, eğitim ve kullanıcı eylemi crawler’ları aynı amaçla çalışmaz.
• robots.txt taramayı yönlendirir; noindex indeksleme ve arama görünürlüğünü kontrol eder.
• robots.txt ile engellenen URL’deki noindex bilgisi görülemez.
• llms.txt, Google Search’te görünmek için zorunlu veya doğrulanmış bir sıralama sinyali değildir.
• User-agent adına koşulsuz güvenmek yerine IP, DNS, CDN ve davranış kontrolleri kullanılmalıdır.
• Başarı yalnızca istek sayısıyla değil; indeksleme, trafik, dönüşüm, maliyet ve sunucu sağlığıyla ölçülmelidir.

AI Bot Tarama Bütçesi Yönetimi nedir?

Google, crawl budget kavramını bir sitenin Googlebot tarafından taranabilen ve taranması istenen URL kümesi olarak açıklar. Crawl capacity limit; yanıt süresi, gecikme, 5xx sunucu hataları ve 429 rate-limit yanıtlarından etkilenir. Crawl demand ise sitenin boyutu, güncellenme sıklığı, popülerliği, içerik kalitesi ve Google’ın bildiği URL envanteriyle ilişkilidir.

AI tarafında aynı kavramı tek bir bot varmış gibi kullanmak hatalıdır. Örneğin OpenAI, OAI-SearchBot’u ChatGPT arama sonuçlarında siteleri göstermek için; GPTBot’u ise temel modellerin eğitimi amacıyla kullanılabilecek içerikleri taramak için tanımlar. Bu iki tercih robots.txt içinde birbirinden bağımsız yönetilebilir. ChatGPT-User ise otomatik web taraması değil, kullanıcı tarafından başlatılan bazı eylemler için kullanılan bir user-agent’tır.

Neden AI Bot Tarama Bütçesi Yönetimi önemlidir?

Makine trafiği arttıkça crawler istekleri CPU, bant genişliği, veritabanı sorguları, cache ve CDN kaynaklarını tüketebilir. Özellikle faceted navigation, filtreler, sıralama parametreleri, dahili arama, takvim URL’leri, sonsuz gezinme ve oturum kimlikleri düşük değerli URL sayısını hızla artırır.

Cloudflare’ın 2025 ağına dayanan analizinde, Googlebot dışındaki AI botları HTML isteklerinin ortalama %4,2’sini oluştururken Googlebot tek başına %4,5 seviyesine ulaşmıştır. AI kullanıcı eylemi taraması da yıl içinde 15 kattan fazla artmıştır. Bu oranlar tüm alan adları için genellenemez; kendi sitenizin gerçek maliyeti ve etkisi sunucu loglarından hesaplanmalıdır.

AI crawler türleri nasıl ayrılır?

AI Bot Tarama Bütçesi Yönetimi nasıl analiz edilir?

1. URL envanterini çıkarın

XML sitemap’leri, Search Console verilerini, CMS kayıtlarını, iç bağlantıları ve sunucu loglarını karşılaştırın. Her URL’yi indekslenmesi istenen, birleştirilmesi gereken, kaldırılmış, geçici, parametreli veya erişimi kısıtlanabilir olarak sınıflandırın. Sitemap’e yalnızca arama sonuçlarında veya kullanıcı deneyiminde gerçek değeri olan, canonical ve HTTP durumu doğru URL’leri ekleyin.

Filtre ve parametre kaynaklı çoğalmalar için URL parametreleri dizine eklenme sorunlarını ayrıca inceleyin. E-ticaret sitelerinde ürün, kategori ve filtre öncelikleri için e-ticaret tarama bütçesi yönetimi yaklaşımı uygulanabilir.

2. Logları crawler amacına göre segmentleyin

Her istekte user-agent, IP, zaman damgası, HTTP durumu, yanıt süresi, URL, referer, yanıt boyutu ve cache durumunu kaydedin. Veriyi bot adına göre değil, amaç ve doğrulama seviyesine göre gruplayın. User-agent sahteciliği mümkün olduğundan, önemli kararları yalnızca header bilgisine dayandırmayın.

Google crawler’ları için yayımlanan IP aralıkları ve reverse DNS kontrolleri kullanılabilir. OpenAI de OAI-SearchBot ve GPTBot için yayımlanmış IP listeleriyle birlikte robots.txt ve altyapı kontrollerini önerir. Doğrulanmamış veya olağandışı yüksek hacimli istekleri WAF üzerinde ayrı bir politikaya alın.

3. Tarama ile iş sonucunu karşılaştırın

Bot başına istek sayısı tek başına başarı ölçütü değildir. Her crawler için taranan URL sayısını; indekslenen sayfa oranı, organik gösterim, AI kaynaklı yönlendirme, dönüşüm, yanıt süresi, hata oranı, bant genişliği ve altyapı maliyetiyle karşılaştırın.

AI platformlarından gelen tıklamalar düşük olsa bile marka keşfi veya nitelikli kullanıcı etkisi yaratabilir. Bu faydayı ölçmek için analitik sisteminizde AI kaynaklarını ayrı boyutlarda izleyin; ölçüm yoksa engelleme kararını varsayıma değil, kontrollü teste dayandırın.

Hangi URL’ler önceliklendirilmelidir?

Öncelik, en çok istek alan URL’lere değil; güncel, özgün, erişilebilir ve iş hedefiyle ilişkili sayfalara verilmelidir. Ürün, kategori, hizmet, teknik doküman, karşılaştırma, veri sayfası ve uzmanlık rehberleri çoğunlukla korunması gereken gruplardır. İç bağlantıların merkezinde yer alan konu kümeleri de crawler’ların verimli keşfi için önemlidir.

Filtre, sıralama, sepet, hesap, dahili arama ve parametreli URL’ler kullanım amacına göre ele alınmalıdır. Benzer sayfalar için canonical, kaldırılan içerik için 404 veya 410, taranabilir fakat indekslenmemesi gereken içerik için noindex, kalıcı olarak istenmeyen düşük değerli yollar için robots.txt değerlendirilebilir.

robots.txt, noindex ve canonical farkı nedir?

Google’a göre robots.txt öncelikle crawler trafiğini yönetir; bir sayfayı kesin olarak arama sonuçlarından gizleme yöntemi değildir. robots.txt ile engellenen bir URL dış bağlantılar üzerinden yine bilinebilir veya snippet olmadan sonuçlarda görünebilir.

noindex ise crawler sayfayı gördüğünde içeriğin Search sonuçlarından çıkarılmasını sağlar. Bu nedenle noindex kuralının çalışması için URL robots.txt ile engellenmemeli ve crawler sayfaya erişebilmelidir. Google, crawl budget israfını azaltmak amacıyla tamamen taranması istenmeyen URL’lerde noindex yerine robots.txt kullanımını önerir.

GEO, AEO ve AIO ile nasıl entegre edilir?

Google’ın güncel rehberleri, AI Overviews ve AI Mode için yeni bir teknik gereklilik bulunmadığını belirtir. Destek bağlantısı olabilmek için sayfanın indekslenmiş ve normal Search sonuçlarında snippet göstermeye uygun olması gerekir. İçeriğin taranabilir olması, güçlü iç bağlantılar, iyi sayfa deneyimi, görünür metin ve görünür içerikle eşleşen yapılandırılmış veri temel gerekliliklerdir.

İçeriği insan ve makine okuyucu için anlaşılır kılmak üzere soruyu girişte doğrudan yanıtlayın; tanım, süreç, karar ve sonuç bölümlerini ayırın. 40–80 kelimelik bağımsız cevap blokları, tablolar, açıklayıcı başlıklar, yazar bilgisi, güncelleme tarihi ve metodoloji kullanıcıların bilgiyi doğrulamasını kolaylaştırır. Ancak Google, yapay zekâ için metni gereksiz biçimde küçük parçalara bölmenin veya özel “AI hack”leri uygulamanın zorunlu olmadığını açıklar.

llms.txt dosyası bazı servisler için isteğe bağlı yayın dokümantasyonu olabilir; fakat Google Search bu dosyayı özel bir görünürlük sinyali olarak kullanmaz. AI görünürlüğü için temel SEO, özgün uzmanlık ve güvenilir içerik üretimi öncelikli kalmalıdır. Konunun genel SEO temelleri için arama motoru optimizasyonu tanımını inceleyebilirsiniz.

Uygulanabilir AI Bot Tarama Bütçesi Yönetimi süreci

1. Hedefi yazılı hâle getirin: Sunucu maliyetini düşürme, tarama gecikmesini azaltma, indeksleme verimliliğini artırma veya AI keşfedilebilirliğini ölçme hedeflerinden ana problemi seçin.
2. Ölçüm kurun: Birkaç haftalık log verisini Search Console, analitik, dönüşüm ve altyapı metrikleriyle birleştirin.
3. URL’leri sınıflandırın: Ticari, bilgilendirici, yinelenen, parametreli, geçici, özel ve kaldırılmış URL grupları oluşturun.
4. Kuralları tasarlayın: robots.txt, canonical, noindex, sitemap, WAF ve erişim politikalarının birbiriyle çelişmediğini kontrol edin.
5. Sunucuyu verimli hâle getirin: Önbellekleme, 304 yanıtları, kısa yönlendirme zincirleri, düşük TTFB ve düşük 5xx oranı sağlayın. Google, 304 yanıtlarının değişmeyen içeriğin yeniden indirilmesini azaltabileceğini belirtir.
6. Botları doğrulayın: Gerçek crawler IP’lerini sağlayıcı kayıtları, reverse DNS ve istek davranışıyla karşılaştırın.
7. Kontrol edin: Önemli URL’leri URL Inspection, Page Indexing raporu, Crawl Stats ve loglarla test edin.
8. Tekrar ölçün: İstek hacmi, hata oranı, yanıt süresi, indeksleme, yönlendirme trafiği ve dönüşümleri önceki dönemle karşılaştırın.

Yaygın hatalar nelerdir?

• AI görünürlüğü kazanmak için bütün botları koşulsuz olarak izinli bırakmak.
• Bir crawler’ın user-agent adına tek başına güvenmek.
• noindex’i robots.txt yerine tarama engeli olarak kullanmak.
• Değişmeyen sitemap’i günde birçok kez göndermek.
• Google’ın sayfayı oluşturması için gereken JavaScript ve CSS kaynaklarını yanlışlıkla engellemek.
• Yalnızca istek sayısını ölçüp ticari değer, hata ve altyapı maliyetini görmezden gelmek.
• Özel dosya, işaretleme veya “AI sıralama etiketi”ni temel SEO’dan daha önemli sanmak.
• robots.txt’yi geçici olarak açıp kapatarak bütçeyi başka sayfalara otomatik aktaracağını düşünmek.

Sonuç

AI Bot Tarama Bütçesi Yönetimi, crawler’ları topluca engelleme değil; URL envanterini, içerik önceliklerini, sunucu kapasitesini, erişim politikasını ve crawler amaçlarını birlikte yönetme disiplinidir. Küçük ve yavaş değişen sitelerde güncel sitemap, Search Console ve temel teknik SEO çoğu zaman yeterlidir. Çok büyük, sık güncellenen veya parametrelerle çoğalan sitelerde ise log analizi ve sürekli izleme gerekir.

Uygulamayı derinleştirmek için Büyük Sitelerde Tarama Bütçesi Kontrolü ve robots.txt ile URL parametresi yönetimi içeriklerini birlikte değerlendirin. Sağlıklı bir plan; görünürlük, kullanıcı deneyimi, sunucu dayanıklılığı ve içerik haklarını aynı karar çerçevesinde ele alır.