AI Bot Tarama Bütçesi Yönetimi: Google ve Yapay Zekâ Crawler’ları İçin Güncel Rehber

AI Bot Tarama Bütçesi Yönetimi, Googlebot ve yapay zekâ crawler’larının sitenizde hangi URL’leri, hangi yoğunlukta ve hangi kurallarla ziyaret edeceğini düzenleme sürecidir. En doğru yaklaşım botları topluca engellemek değil; değerli URL’leri erişilebilir tutmak, düşük değerli çoğalmaları azaltmak, logları analiz etmek ve sunucu kapasitesini ölçülebilir politikalarla korumaktır.

Google’ın güncel açıklamasına göre AI Overviews ve AI Mode için ayrı bir teknik etiket veya özel bir optimizasyon yöntemi bulunmaz. Bu deneyimlerde görünürlük için indekslenebilirlik, snippet uygunluğu, erişilebilir içerik, güçlü iç bağlantılar ve faydalı içerik gibi temel SEO koşulları geçerliliğini korur.

Önemli Noktalar

• Crawl budget, crawler’ın tarama kapasitesi ile tarama talebinin birlikte değerlendirilmesidir.
• Arama, AI arama, model eğitimi ve kullanıcı eylemi botlarının amaçları birbirinden farklıdır.
• robots.txt taramayı yönetir; noindex indeksleme kararını etkiler.
• robots.txt ile engellenen bir URL’deki noindex kuralı görülemez.
• OAI-SearchBot ile GPTBot ayrı erişim politikalarıyla yönetilebilir.
• llms.txt, Google Search görünürlüğü için zorunlu veya doğrulanmış bir sıralama sinyali değildir.
• Başarı yalnızca istek sayısıyla değil; indeksleme, trafik, dönüşüm, hata oranı ve altyapı maliyetiyle ölçülmelidir.

AI Bot Tarama Bütçesi Yönetimi nedir?

Google, crawl budget’ı bir sitenin Googlebot tarafından taranabilen ve taranması istenen URL kümesi olarak açıklar. Bu bütçe iki bileşenle şekillenir: crawl capacity limit ve crawl demand. Sunucu yanıt süresi, gecikme, 5xx hataları ve 429 yanıtları kapasiteyi düşürebilir; site boyutu, güncelleme sıklığı, popülerlik, içerik kalitesi ve bilinen URL envanteri talebi etkiler.

AI Bot Tarama Bütçesi Yönetimi bu Google kavramını diğer crawler’lara doğrudan kopyalamaz. Her sağlayıcının kendi tarama amacı, erişim politikası ve teknik doğrulama yöntemi olabilir. Bu nedenle “AI botları” tek bir trafik grubu olarak değil, arama keşfi, eğitim, reklam doğrulaması, kullanıcı eylemi ve şüpheli otomasyon şeklinde ayrıştırılmalıdır.

AI crawler türleri nasıl ayrılır?

OpenAI’nin güncel dokümantasyonunda OAI-SearchBot’un ChatGPT arama sonuçlarında siteleri göstermek için, GPTBot’un ise temel model eğitimi amacıyla kullanılabilecek içerikleri taramak için kullanıldığı belirtilir. ChatGPT-User otomatik web tarayıcısı değildir; bazı kullanıcı tarafından başlatılan eylemlerde devreye girebilir.

AI Bot Tarama Bütçesi Yönetimi neden önemlidir?

Makine trafiği CPU, bant genişliği, veritabanı, cache, CDN ve uygulama katmanında ek yük oluşturabilir. Filtreleme, sıralama, takvim, dahili arama, sonsuz gezinme, oturum kimliği ve izleme parametreleri sınırsız URL varyasyonu üretebilir. Bu URL’lerin çoğu benzersiz kullanıcı değeri taşımıyorsa crawler kaynakları önemli içeriklerden uzaklaşabilir.

Google’ın güncel crawl budget rehberi özellikle büyük ve sık güncellenen siteleri hedefler. Bir milyonun üzerinde benzersiz URL’ye sahip siteler, günlük güncellenen en az on binlerce URL’si bulunan siteler veya Search Console’da “Keşfedildi, şu anda dizine eklenmedi” oranı yüksek mülkler daha ayrıntılı analizden yararlanabilir. Daha küçük sitelerde güncel sitemap ve Page Indexing kontrolü çoğu zaman yeterlidir.

AI Bot Tarama Bütçesi Yönetimi nasıl analiz edilir?

1. URL envanterini çıkarın

XML sitemap’leri, Search Console verileri, CMS kayıtları, iç bağlantılar ve sunucu loglarını karşılaştırın. Her URL’yi indekslenmesi istenen, canonical ile birleştirilecek, kaldırılmış, geçici, parametreli, özel veya erişimi kısıtlanabilir olarak sınıflandırın. Sitemap’e yalnızca gerçek kullanıcı veya arama değeri taşıyan, doğru HTTP durumu ve canonical sinyali bulunan URL’leri ekleyin.

Özellikle e-ticaret ve filtreli kataloglarda parametre kaynaklı çoğalmayı ayrı inceleyin. URL yapısı ve filtre yönetimi için e-ticaret filtre sayfaları SEO rehberini ve URL parametreleri dizine eklenme sorunlarını birlikte değerlendirebilirsiniz.

2. Logları amaç ve doğrulama seviyesine göre segmentleyin

Her istekte user-agent, IP, zaman damgası, URL, HTTP durumu, yanıt süresi, yanıt boyutu, referer, cache durumu ve WAF kararını saklayın. User-agent sahteciliği mümkün olduğu için kritik kararları yalnızca header bilgisine dayandırmayın. Google crawler’larında yayımlanan IP aralıkları ve reverse DNS; OpenAI crawler’larında ise sağlayıcının güncel IP listeleri ve doğrulama yöntemleri kullanılmalıdır.

Gerçek bir botun davranışı tutarlı olmalıdır: robots.txt’ye erişmesi, makul istek aralıkları, geçerli IP alanı ve sağlayıcıyla uyumlu reverse DNS gibi sinyaller aranır. Doğrulanamayan veya olağandışı yüksek hacimli trafik, arama görünürlüğü politikasından ayrı bir güvenlik ve rate-limit sürecine alınmalıdır.

3. Tarama ile iş sonucunu karşılaştırın

Bot başına istek sayısı başarı ölçütü değildir. Her crawler için taranan URL sayısını indekslenen sayfa oranı, organik gösterim, AI kaynaklı yönlendirme, dönüşüm, yanıt süresi, hata oranı, bant genişliği, cache hit oranı ve altyapı maliyetiyle karşılaştırın. ChatGPT yönlendirmeleri için analitik sisteminde utm_source=chatgpt.com gibi kaynak sinyallerini ayrıca izleyin.

AI görünürlüğü düşük tıklama üretse bile marka keşfi veya nitelikli ziyaret sağlayabilir. Bu nedenle engelleme kararını varsayıma göre değil, kontrollü bir erişim testi ve mümkünse URL veya bot grubu bazında önce-sonra karşılaştırmasına göre verin.

Hangi URL’ler önceliklendirilmelidir?

Öncelik, en çok istek alan URL’lere değil; güncel, özgün, erişilebilir ve iş hedefiyle ilişkili sayfalara verilmelidir. Ürün, kategori, hizmet, teknik doküman, karşılaştırma, veri sayfası ve uzmanlık rehberleri genellikle korunması gereken gruplardır. İç bağlantıların merkezindeki konu kümeleri, crawler’ların önemli içerikleri keşfetmesini kolaylaştırır.

Filtre, sıralama, sepet, hesap, dahili arama ve parametreli URL’ler kullanım amacına göre ele alınmalıdır. Benzer sayfalarda canonical, taranabilir fakat arama sonuçlarında bulunmaması gereken sayfalarda noindex, kalıcı olarak kaldırılan içerikte 404 veya 410; hiç taranmaması gereken düşük değerli yollarda robots.txt değerlendirilebilir.

robots.txt, noindex ve canonical farkı nedir?

Google, robots.txt’nin bir sayfayı kesin olarak arama sonuçlarından gizleme yöntemi olmadığını belirtir. Engellenen URL, başka sitelerden bağlantı alırsa içeriği taranmadan sonuçlarda görünebilir. noindex’in etkili olması için crawler sayfaya erişebilmeli ve kuralı görebilmelidir. Bu nedenle robots.txt ile noindex’i aynı URL’de amaçlarını karıştıracak biçimde kullanmayın.

Canonical bir erişim engeli değildir ve robots.txt yerine kullanılmamalıdır. Google’ın güncel canonical rehberine göre canonical, tercih edilen URL’yi belirtmek için kullanılır; noindex ise sayfayı tamamen Search dışına çıkarabilir.

AI Bot Tarama Bütçesi Yönetimi GEO, AEO ve AIO ile nasıl birleşir?

Google’ın 2026 generative AI rehberine göre AI Search görünürlüğünün temeli; faydalı, güvenilir, özgün ve insan odaklı içerik ile açık teknik yapıdır. “Chunking” adıyla metni yapay biçimde küçük parçalara ayırmak, gereksiz AI dosyaları oluşturmak veya yapay mention elde etmeye çalışmak zorunlu değildir.

İçeriği hem insan hem makine okuyucu için anlaşılır kılmak için soruyu girişte doğrudan yanıtlayın; tanım, karar, süreç ve sonuç bölümlerini ayırın. 40–80 kelimelik bağımsız cevap blokları, açıklayıcı soru başlıkları, tablolar, görünür güncelleme tarihi, yazar bilgisi ve metodoloji doğrulamayı kolaylaştırır. Ancak format, gerçek kullanıcı faydasının önüne geçmemelidir.

Google Search’te AI Overviews ve AI Mode için sayfanın indekslenmiş ve snippet göstermeye uygun olması gerekir; ek bir teknik gereklilik yoktur. Search Console’un Web performans raporu ve yayımlanmış generative AI performans raporu, görünürlüğü ölçmek için kullanılabilir.

Uygulanabilir AI Bot Tarama Bütçesi Yönetimi süreci

1. Hedefi yazın: Sunucu maliyetini düşürme, tarama gecikmesini azaltma, indeksleme verimliliğini artırma veya AI keşfedilebilirliğini ölçme hedeflerinden ana problemi seçin.
2. Ölçüm kurun: En az birkaç haftalık log verisini Search Console, analitik, dönüşüm ve altyapı metrikleriyle birleştirin.
3. URL’leri sınıflandırın: Ticari, bilgilendirici, yinelenen, parametreli, geçici, özel ve kaldırılmış gruplar oluşturun.
4. Politikaları tasarlayın: robots.txt, canonical, noindex, sitemap, WAF ve sağlayıcıya özel bot kurallarının çelişmediğini kontrol edin.
5. Sunucuyu verimli hâle getirin: Cache, 304 yanıtları, kısa yönlendirme zincirleri, düşük TTFB ve düşük 5xx oranı sağlayın. 304, değişmeyen içeriğin yeniden indirilmesini azaltabilir.
6. Botları doğrulayın: IP, reverse DNS, sağlayıcı kayıtları ve davranış sinyallerini birlikte inceleyin.
7. Kontrol edin: Önemli URL’leri URL Inspection, Page Indexing, Crawl Stats ve loglarla test edin.
8. Tekrar ölçün: İstek hacmi, hata oranı, yanıt süresi, indeksleme, yönlendirme ve dönüşümleri önceki dönemle karşılaştırın.

Yaygın hatalar nelerdir?

• AI görünürlüğü kazanmak için bütün botları koşulsuz izinli bırakmak.
• User-agent adına tek başına güvenmek.
• noindex’i tarama engeli gibi kullanmak.
• robots.txt’yi geçici olarak açıp kapatarak bütçeyi otomatik biçimde başka URL’lere aktaracağını düşünmek.
• Değişmeyen sitemap’i gün içinde tekrar tekrar göndermek.
• Google’ın oluşturma ve indeksleme için ihtiyaç duyduğu JavaScript veya CSS kaynaklarını yanlışlıkla engellemek.
• Yalnızca istek sayısını ölçüp dönüşüm, hata ve altyapı maliyetini görmezden gelmek.
• llms.txt, özel etiket veya “AI sıralama hack’i”ni temel SEO’dan daha önemli sanmak.

Sonuç

AI Bot Tarama Bütçesi Yönetimi, crawler’ları topluca engelleme değil; URL envanterini, içerik önceliklerini, sunucu kapasitesini, erişim politikasını ve bot amaçlarını birlikte yönetme disiplinidir. Küçük ve yavaş değişen sitelerde güncel sitemap, Search Console ve temel teknik SEO çoğu zaman yeterlidir. Büyük, sık güncellenen veya parametrelerle çoğalan sitelerde log analizi ve sürekli izleme gerekir.

Uluslararası hedef kitleye sahip siteler için karar çerçevesi aynıdır: önemli içerikleri erişilebilir tutun, düşük değerli URL çoğalmasını azaltın, sağlayıcı belgelerini kontrol edin ve etkileri iş metrikleriyle ölçün. Temel arama motoru optimizasyonu açıklamasını incelemek, tarama ve indeksleme kararlarını daha geniş SEO çerçevesine oturtmaya yardımcı olabilir.