Büyük Ölçekli E-ticaret Sitelerinde Crawl Bütçesi Yönetimi Rehberi

Büyük Ölçekli E-ticaret Sitelerinde Crawl Bütçesi Yönetimi, arama motoru botlarının sınırlı tarama kaynaklarını en değerli ürün, kategori ve içerik URL’lerine yönlendirme disiplinidir. Bunun temeli daha fazla sayfa üretmek değil; gereksiz URL’leri azaltmak, sunucuyu sağlıklı tutmak ve Googlebot’a hangi sayfaların önemli olduğunu açıkça göstermektir. Google, crawl bütçesini sitenin crawl kapasitesi ile tarama talebinin birleşimi olarak tanımlar; taranan her sayfanın dizine alınacağı garanti edilmez.

Önemli Noktalar

• Crawl bütçesi öncelikle çok büyük veya çok sık güncellenen sitelerde kritik hale gelir.
• Filtre, sıralama, arama, oturum ve varyasyon URL’leri kontrol edilmezse sonsuz URL alanı oluşturabilir.
• Robots.txt taramayı, noindex ise indekslemeyi kontrol eder; bu iki kural aynı amaçla kullanılmamalıdır.
• Log analizi, Googlebot’un gerçekte ne yaptığını; Search Console ise Google’ın raporladığı tarama ve indeksleme sinyallerini gösterir.
• Hızlı sunucu tek başına düşük değerli sayfaları değerli hale getirmez; benzersiz ve kullanıcıya faydalı içerik de gerekir.

Crawl bütçesi nedir ve nasıl çalışır?

Crawl bütçesi, Googlebot’un bir hostname üzerinde tarayabildiği ve taramak istediği URL kümesidir. Crawl capacity limit, sunucunun aynı anda taşıyabileceği bağlantı ve yanıt süresine göre oluşur. Crawl demand ise sitenin büyüklüğü, güncelleme sıklığı, URL popülerliği, içerik kalitesi ve Google’ın algıladığı tazelik ihtiyacıyla ilgilidir. Sunucu yavaşladığında veya 5xx ve 429 yanıtları arttığında Google tarama hızını düşürebilir.

Bu nedenle crawl bütçesi sabit bir “günlük sayfa kotası” değildir. Google’ın her URL’yi aynı sıklıkta taraması beklenmemelidir. Ayrıca tarama, indeksleme ve sıralama farklı aşamalardır: Google bir URL’yi tarayabilir ancak içeriği indekslemeyebilir; tarama hızındaki artış da tek başına sıralama artışı anlamına gelmez.

Hangi e-ticaret sitelerinde crawl bütçesi önceliklidir?

Google’ın güncel sınıflandırmasına göre yaklaşık 1 milyon veya daha fazla benzersiz sayfası olan siteler ile 10.000’den fazla benzersiz sayfası günlük olarak hızla değişen siteler gelişmiş crawl bütçesi çalışmasından en fazla fayda görür. Çok sayıda “Keşfedildi, şu anda dizine eklenmedi” URL’si bulunan siteler de inceleme kapsamına alınmalıdır. Daha küçük sitelerde ise güncel sitemap, doğru iç bağlantılar ve Search Console takibi çoğu zaman yeterlidir.

Büyük e-ticaret sitelerinde crawl bütçesi neden boşa harcanır?

En yaygın kaynak, aynı ürün listesini farklı kombinasyonlarla gösteren fasetli navigasyondur. Renk, beden, marka, fiyat, sıralama ve kampanya parametreleri yüzlerce veya milyonlarca URL üretebilir. Botlar bu URL’lerin yararlı olup olmadığını çoğu zaman URL’yi istemeden anlayamaz; sonuçta yeni ürün ve kategori sayfalarının keşfi yavaşlayabilir. Google, fasetli navigasyonun aşırı taramaya ve yeni yararlı URL’lerin daha geç keşfedilmesine yol açabileceğini belirtir.

• Parametreli filtre ve sıralama URL’leri
• Site içi arama sonuçları
• Oturum, sepet, giriş ve işlem URL’leri
• Stoktan kalıcı olarak çıkmış ürünler
• Soft 404 sayfaları ve anlamsız kombinasyonlar
• Uzun yönlendirme zincirleri
• Yavaş yanıt veren veya sık 5xx üreten sunucular
• Birbirinin kopyası olan varyasyon ve kategori URL’leri

Crawl bütçesi nasıl ölçülür?

Ölçüm tek bir araçla yapılmamalıdır. Search Console Crawl Stats raporu Google’ın tarama istekleri, yanıt kodları, indirilen veri ve ana makine durumuna ilişkin genel görünüm sağlar. Sunucu logları ise Googlebot’un gerçek isteklerini URL yolu, sorgu parametresi, zaman, durum kodu, yanıt süresi ve kullanıcı aracısı bazında inceler. Search Console URL bazında filtrelenmiş crawl geçmişi sağlamadığından, URL türü düzeyinde ayrıntı için log analizi gereklidir.

Büyük Ölçekli E-ticaret Sitelerinde Crawl Bütçesi Yönetimi nasıl yapılır?

1. URL envanterini sınıflandırın

Önce tüm URL’leri ürün, kategori, marka, içerik, filtre, arama, varyasyon, sepet ve sistem sayfaları olarak gruplayın. Her grup için indekslenebilirlik, güncelleme sıklığı, ticari değer, organik trafik ve Googlebot isteklerini karşılaştırın. Bu çalışma, bütçenin “sayfa sayısına” değil, iş değeri ve güncellik ihtiyacına göre yönetilmesini sağlar.

2. Fasetli navigasyonu kontrollü tasarlayın

İndekslenmesi gerekmeyen filtre ve sıralama URL’lerini kalıcı bir robots.txt kuralıyla engellemek, sunucu kaynaklarını koruyabilir. Ancak robots.txt yalnızca taramayı engeller; URL’nin arama sonuçlarında görünmesini kesin olarak garanti etmez. İndekslenmesini istemediğiniz fakat Google’ın kuralı görmesi gereken sayfalarda URL’yi taramaya açık bırakıp noindex kullanın. Google, noindex yönergesinin görülebilmesi için sayfanın robots.txt ile engellenmemesi gerektiğini açıklar.

Değerli ve arama talebi bulunan filtre kombinasyonları için temiz, tutarlı ve benzersiz URL’ler oluşturun. Sonuç vermeyen kombinasyonlar uygun biçimde 404 döndürmeli; her boş sonuç sayfası ana kategoriye yönlendirilmemelidir. Faset stratejisi için Faceted Navigation SEO Sorunları ve E-ticaret Filtre Sayfaları SEO içeriklerine bakılabilir.

3. Robots.txt, noindex ve canonical kararlarını ayırın

Google, robots.txt içindeki standart dışı crawl-delay kuralını işlemez. Robots.txt kurallarını geçici olarak sürekli değiştirerek bütçeyi başka URL’lere aktarmaya çalışmak da önerilmez; Google bu boş kapasiteyi otomatik olarak başka sayfalara taşımayabilir.

4. Sitemap ve iç bağlantıları sadeleştirin

XML sitemap’lerde yalnızca kanonik, erişilebilir ve arama sonuçlarında görünmesi istenen URL’ler bulunmalıdır. Güncellenen sayfalarda doğru lastmod değeri kullanılabilir; değişmemiş sitemap’i gün içinde tekrar tekrar göndermek taramayı garanti etmez. Sitemap, Googlebot için bir öneridir; listedeki her URL’nin hemen taranacağı veya indeksleneceği anlamına gelmez.

Önemli kategori ve ürünlere anlamlı anchor text içeren HTML bağlantılarıyla ulaşılabilmelidir. Google bağlantıları hem sayfaları keşfetmek hem de alaka sinyallerini değerlendirmek için kullanır. Gereksiz tıklama derinliği, yetim ürünler ve yalnızca JavaScript ile oluşturulan kritik bağlantılar keşfi zorlaştırabilir.

Site haritası sorunları için Site Haritası Okunamadı Hatası Çözümü ve parametre kuralları için Robots.txt ile URL Parametresi Engelleme rehberleri kullanılabilir.

5. Sunucu sağlığını ve render maliyetini iyileştirin

TTFB, toplam yanıt süresi, bağlantı hataları, 5xx ve 429 oranları düzenli izlenmelidir. Önbellekleme, veritabanı optimizasyonu, CDN, gereksiz kaynakların azaltılması ve 304 Not Modified yanıtlarının doğru kullanımı aynı sunucu kapasitesiyle daha verimli taramaya yardımcı olabilir. Ancak düşük kaliteli sayfaları hızlandırmak tek başına daha fazla crawl talebi yaratmaz; Google yüksek kullanıcı değerine sahip içeriği de arar.

JavaScript ile oluşturulan e-ticaret sayfalarında kritik ürün adı, fiyat, stok, açıklama ve bağlantılar mümkün olduğunca erişilebilir HTML içinde bulunmalıdır. Googlebot sayfaları tarar ve daha sonra render kuyruğunda işleyebilir; robots.txt ile engellenen kritik JavaScript veya CSS kaynakları sayfanın anlaşılmasını bozabilir.

Crawl bütçesi GEO, AEO ve yapay zekâ görünürlüğünü nasıl destekler?

Üretken arama özellikleri için ayrı bir “AI crawl bütçesi” veya zorunlu bir AI dosyası bulunmaz. Google’ın güncel rehberleri, generative AI özelliklerinde görünürlük için temel SEO gerekliliklerini; erişilebilir tarama, indekslenebilirlik, faydalı içerik, iç bağlantılar ve doğru yapılandırılmış veriyi vurgular. Özel bir schema.org işaretlemesi veya yapay zekâya özel dosya şart değildir.

Bu nedenle AEO ve GEO çalışmaları crawl bütçesinin yerine geçmez. Önemli kategori ve ürün sayfaları taranabilir olmalı; açıklamalar özgün, açık ve kullanıcı sorularını doğrudan yanıtlayan bölümlere ayrılmalıdır. Ürün sayfalarında görünür içerikle uyumlu Product, ProductGroup, BreadcrumbList ve uygun teklif verileri kullanılabilir. Yapılandırılmış veri, Google’ın içeriği anlamasına yardımcı olur ancak zayıf veya görünmeyen içeriği telafi etmez.

Uluslararası e-ticaret sitelerinde kontrol listesi

1. Her dil ve ülke sürümünün canonical, hreflang, sitemap ve iç bağlantı ilişkilerini doğrulayın.
2. Ülke, para birimi ve stok parametrelerinin gereksiz kopya URL üretmediğini kontrol edin.
3. Her pazar için ürün fiyatı, bulunabilirlik, teslimat ve iade bilgilerinin tutarlı olduğundan emin olun.
4. Merchant Center verileri ile sayfadaki ürün verilerini senkron tutun; Shopping tab için Merchant Center katılımı gereklidir.
5. Loglarda Googlebot, Google-InspectionTool, Google-Extended ve üçüncü taraf botları birbirinden ayırarak raporlayın; tek bir bot davranışını tüm arama sistemlerine genellemeyin.

90 günlük uygulama planı

1. İlk 2 hafta: Log örneklemesi alın; URL sınıflarını, durum kodlarını, parametreleri, sitemap’leri ve önemli sayfaların taranma durumunu çıkarın.
2. 3–4. hafta: Kritik hataları düzeltin; 5xx, soft 404, uzun yönlendirme zincirleri, yanlış canonical ve sitemap tutarsızlıklarını giderin.
3. 2. ay: Fasetli navigasyon, iç arama, işlem URL’leri ve ürün varyasyonları için kalıcı kuralları uygulayın. Değişiklikleri küçük gruplar halinde yayınlayıp loglarla doğrulayın.
4. 3. ay: Crawl Stats, sunucu logları, indekslenen sayfa oranı, yeni ürün keşif süresi, organik görünürlük ve gelir katkısını karşılaştırın. Başarılı kuralları dokümante edip sürekli izleme kurun.

Sonuç

Büyük Ölçekli E-ticaret Sitelerinde Crawl Bütçesi Yönetimi, Googlebot’u zorla daha hızlı taratmak değil; Google’ın taramak istediği değerli URL’leri gereksiz URL’lerden ayırmak ve sunucu kapasitesini sağlıklı tutmaktır. En güvenilir yaklaşım; log analizi, Search Console, sitemap, robots.txt, noindex, canonical, iç bağlantılar ve içerik kalitesini birlikte değerlendirmektir. Tarama ile indekslemeyi ayırın, her değişikliği ölçün ve yalnızca doğrulanabilir veriye dayalı iterasyon yapın.

Kavramsal arka plan için yapay zekâ hakkında genel bilgi açıklamasını inceleyebilirsiniz.