Büyük Ölçekli E-ticaret Sitelerinde Crawl Bütçesi Yönetimi Rehberi
Sorunuzu doğrudan bize iletin
SEO, yapay zekâ görünürlüğü, dijital pazarlama ve otomasyon için hızlı ön görüşme.
Büyük Ölçekli E-ticaret Sitelerinde Crawl Bütçesi Yönetimi, Googlebot’un sınırlı tarama kaynaklarını en değerli ürün, kategori ve içerik URL’lerine yönlendirme sürecidir. Başarılı yaklaşım daha fazla sayfa üretmek değil; gereksiz URL’leri azaltmak, sunucuyu kararlı tutmak ve önemli sayfaları açık sinyallerle erişilebilir kılmaktır. Google, crawl bütçesini tarama kapasitesi ile tarama talebinin birleşimi olarak tanımlar; taranan her URL’nin indeksleneceği garanti edilmez.
Önemli Noktalar
- Crawl bütçesi özellikle çok büyük, sık güncellenen veya yüksek oranda keşfedilmemiş URL’ye sahip sitelerde önemlidir.
- Fasetli navigasyon, site içi arama, sıralama, oturum ve varyasyon parametreleri sınırsız URL alanı oluşturabilir.
- Robots.txt taramayı; noindex indekslemeyi kontrol eder. Canonical ise benzer URL’ler arasındaki tercih sinyalidir.
- Sunucu logları Googlebot’un fiilî davranışını, Search Console ise Google’ın raporladığı tarama ve indeksleme sinyallerini gösterir.
- Hızlı sunucu, düşük değerli veya kopya sayfaları otomatik olarak değerli hale getirmez.
Crawl bütçesi nasıl çalışır?
Crawl bütçesi, Google’ın belirli bir hostname üzerinde tarayabildiği ve taramak istediği URL kümesidir. Google’ın güncel dokümantasyonunda “site” kavramı hostname üzerinden değerlendirilir; örneğin ana alan adı ile alt alan adı ayrı tarama kapsamlarına sahip olabilir. Bütçe sabit bir günlük kota değildir ve her URL’nin aynı sıklıkta taranması beklenmemelidir.
İki temel bileşen vardır. Crawl capacity limit, sunucunun Googlebot bağlantılarını ne kadar sağlıklı taşıyabildiğini ifade eder. Yanıt süresi ve TTFB yükselirse, 5xx hataları veya 429 rate-limit yanıtları artarsa Google tarama hızını düşürebilir. Crawl demand ise sitenin büyüklüğü, güncelleme sıklığı, URL popülerliği, içerik kalitesi ve Google’ın algıladığı tazelik ihtiyacıyla ilişkilidir.
Tarama, indeksleme ve sıralama farklı aşamalardır. Google bir ürünü tarayabilir ancak içeriği indekslemeyebilir; “Taranmış, şu anda dizine eklenmedi” durumu doğrudan crawl bütçesi sorunu anlamına gelmez. Benzer şekilde tarama sayısındaki artış tek başına sıralama veya gelir artışı sağlamaz. Bu ayrım, teknik SEO kararlarının yanlış ölçülmesini önler.
Crawl bütçesi hangi e-ticaret sitelerinde önceliklidir?
Google’ın yaklaşık sınıflandırmasına göre 1 milyon veya daha fazla benzersiz sayfaya sahip siteler, günlük olarak hızlı değişen 10.000’den fazla benzersiz sayfaya sahip siteler ve Search Console’da yüksek miktarda “Keşfedildi, şu anda dizine eklenmedi” URL’si görülen siteler gelişmiş çalışmadan daha fazla yararlanır. Bu rakamlar kesin eşik değil, önceliklendirme rehberidir.
Daha küçük ve yavaş değişen mağazalarda güncel sitemap, güçlü iç bağlantılar, doğru canonical kullanımı ve düzenli Page Indexing takibi çoğu zaman yeterlidir. Ancak katalog büyüdükçe aynı teknik borç; daha fazla sunucu yükü, daha geç ürün keşfi ve raporlaması zor URL kümeleri oluşturabilir.
Büyük sitelerde crawl bütçesi neden boşa harcanır?
En yaygın neden fasetli navigasyondur. Renk, beden, marka, fiyat, stok, kampanya ve sıralama seçenekleri parametrelerle birleştirildiğinde aynı ürün listesini gösteren binlerce hatta milyonlarca URL oluşabilir. Googlebot, URL’yi istemeden önce kombinasyonun yararlı mı yoksa anlamsız mı olduğunu her zaman anlayamaz. Sonuçta tarama kaynakları yeni ürün ve kategori sayfalarından uzaklaşabilir.
- Kontrolsüz filtre ve sıralama URL’leri
- Site içi arama sonuçları
- Oturum, sepet, giriş ve işlem URL’leri
- Kalıcı olarak tükenen ürünler
- Soft 404 sayfaları ve boş filtre kombinasyonları
- Uzun yönlendirme zincirleri
- Yavaş yanıt veren veya sık 5xx üreten sunucular
- Kopya ürün varyasyonları ve kategori URL’leri
Crawl bütçesi nasıl ölçülür?
Ölçüm tek araçla yapılmamalıdır. Search Console Crawl Stats; tarama istekleri, yanıt kodları, indirilen veri ve ana makine durumuna ilişkin genel görünüm sunar. Sunucu logları ise Googlebot’un gerçek isteklerini URL yolu, sorgu parametresi, zaman, durum kodu, yanıt süresi ve kullanıcı aracısı bazında inceler.
| Veri | Ne gösterir? | Karar |
|---|---|---|
| URL sınıfı | Ürün, kategori, filtre, arama ve işlem dağılımı | Değerli ve gereksiz sınıfları ayırın. |
| HTTP durum kodu | 200, 3xx, 4xx, 5xx ve 429 oranı | Hataları ve zincirleri düzeltin. |
| Yanıt süresi | Googlebot’un sunucuyu bekleme süresi | Önbellek, veritabanı ve CDN’i inceleyin. |
| Sitemap kapsamı | Kanonik URL’lerin bildirilip bildirilmediği | Yalnızca hedef URL’leri gönderin. |
| İndeks durumu | Taranan URL’nin dizine alınıp alınmadığı | Tarama ve kalite sorunlarını ayırın. |
Search Console URL bazında ayrıntılı log geçmişi sağlamadığı için URL türü düzeyindeki teşhis log analizi gerektirir. Googlebot doğrulaması, kullanıcı aracısı metnine güvenmek yerine DNS ve ters DNS kontrolleriyle yapılmalıdır. Loglarda Googlebot, Google-InspectionTool, Google-Extended ve üçüncü taraf botları ayrı raporlamak; tek bir bot davranışını tüm arama sistemlerine genellememeyi sağlar.
Büyük Ölçekli E-ticaret Sitelerinde Crawl Bütçesi Yönetimi nasıl yapılır?
1. URL envanterini sınıflandırın
Ürün, kategori, marka, içerik, filtre, arama, varyasyon, sepet ve sistem URL’lerini ayrı kümelere ayırın. Her küme için indekslenebilirlik, güncelleme sıklığı, ticari değer, organik trafik, durum kodu ve Googlebot isteklerini karşılaştırın. Böylece bütçe yalnızca sayfa sayısına göre değil, iş değeri ve güncellik ihtiyacına göre yönetilir.
2. Fasetli navigasyonu kontrollü tasarlayın
İndekslenmesi veya taranması gerekmeyen filtre URL’leri için kalıcı robots.txt kuralları kullanılabilir. Google, taranmasını istemediğiniz kopya veya önemsiz faset URL’lerinin robots.txt ile engellenmesini; noindex’in ise crawl bütçesi tasarrufu amacıyla kullanılmamasını önerir. Çünkü noindex’i görebilmek için Googlebot önce sayfayı istemek zorundadır.
Arama talebi bulunan ve benzersiz değer taşıyan filtre kombinasyonları temiz, tutarlı URL’lerle yayınlanabilir. Sonuç vermeyen, yinelenen veya mantıksız kombinasyonlar uygun biçimde 404 döndürmelidir. Boş bir filtre sayfasını her zaman ana kategoriye yönlendirmek soft 404 ve alaka sorunlarını gizleyebilir. Fasetli yapı için Googlebot tarama bütçesi optimizasyonu rehberine bakabilirsiniz.
3. Robots.txt, noindex ve canonical kararlarını ayırın
| Amaç | Uygun sinyal | Dikkat |
|---|---|---|
| URL hiç taranmasın | robots.txt Disallow | Google noindex etiketini göremez; URL dış bağlantıyla biliniyorsa görünebilir. |
| Sayfa taransın fakat indekslenmesin | meta robots veya X-Robots-Tag noindex | URL robots.txt ile engellenmemelidir. |
| Kopya URL tek adreste birleşsin | rel=”canonical” | Güçlü bir tercihtir, garanti değildir. |
| Kalıcı olarak kaldırılan içerik | 404 veya 410 | Boş içerikle 200 dönen soft 404 üretmeyin. |
Robots.txt bir güvenlik veya indeksleme engeli değildir. Google’ın güncel açıklamasına göre engellenen URL başka sayfalardan bağlantı alıyorsa URL olarak sonuçlarda görünebilir. Noindex’in etkili olması için Googlebot’un sayfayı tarayabilmesi gerekir. Ayrıca robots.txt içindeki standart dışı crawl-delay kuralı Google tarafından desteklenmez.
4. Sitemap ve iç bağlantıları sadeleştirin
XML sitemap’lerde yalnızca kanonik, erişilebilir ve arama sonuçlarında görünmesi istenen URL’ler bulunmalıdır. Doğru lastmod değeri, gerçekten değişen ürün veya kategori sayfalarında yararlı bir güncelleme sinyalidir. Sitemap, taramayı veya indekslemeyi garanti etmez; aynı değişmemiş sitemap’i gün içinde defalarca göndermek de ek öncelik sağlamaz.
Önemli ürün ve kategoriler anlamlı anchor text kullanan HTML bağlantılarıyla erişilebilir olmalıdır. Google, site yapısındaki göreli önemi büyük ölçüde sayfalar arasındaki bağlantılardan çıkarır. Googlebot’un site içi arama kutusuna sorgu göndererek ürün keşfetmesi beklenmemelidir; indekslenmesi istenen ürünleri kategori bağlantıları, sitemap veya Merchant Center feed’iyle erişilebilir kılın.
Sitemap okuma sorunlarında Site Haritası Okunamadı Hatası Çözümü rehberini, tarama raporlarının yorumlanmasında ise Search Console taranabilirlik hataları rehberini kullanabilirsiniz.
5. Sunucu sağlığını ve render maliyetini iyileştirin
TTFB, toplam yanıt süresi, bağlantı hataları, 5xx ve 429 oranlarını düzenli izleyin. Önbellekleme, veritabanı optimizasyonu, CDN, gereksiz kaynakların azaltılması ve değişmeyen içeriklerde 304 Not Modified yanıtı aynı kapasiteyle daha verimli taramaya yardımcı olabilir. Ancak düşük kaliteli sayfaları hızlandırmak tek başına Google’ın daha fazla tarama talebi oluşturacağı anlamına gelmez.
JavaScript ağırlıklı mağazalarda kritik ürün adı, fiyat, stok, açıklama ve bağlantılar mümkün olduğunca ilk HTML içinde erişilebilir olmalıdır. Googlebot sayfayı taradıktan sonra render kuyruğunda işleyebilir. Kritik JavaScript veya CSS kaynaklarını robots.txt ile engellemek, ürün içeriğinin ve bağlantı yapısının anlaşılmasını bozabilir.
Uluslararası e-ticarette crawl bütçesi
Dil ve ülke sürümleri için ayrı, keşfedilebilir URL’ler kullanın. Her sürümde self-referencing canonical, karşılıklı hreflang bağlantıları ve tutarlı sitemap ilişkileri bulunmalıdır. Google, hreflang değerlerinin tüm alternatifleri ve istenen sayfanın kendisini içeren karşılıklı bir yapı olmasını bekler. Çerez veya yalnızca tarayıcı diline göre içerik değiştirmek, Googlebot’un tüm varyasyonları keşfetmesini zorlaştırabilir.
- Ülke, para birimi ve stok parametrelerinin gereksiz kopya üretmediğini kontrol edin.
- Her pazarda fiyat, bulunabilirlik, teslimat ve iade bilgilerinin sayfada tutarlı olmasını sağlayın.
- Merchant Center feed’i ile ürün sayfasındaki fiyat ve stok verilerini senkron tutun.
- Varyantlar için yalnızca gerçekten ayrı değer taşıyan URL’ler oluşturun.
Crawl bütçesi GEO, AEO ve yapay zekâ görünürlüğünü nasıl destekler?
Google’ın 2026 rehberlerine göre AI Overviews ve AI Mode için ayrı bir teknik SEO standardı, zorunlu özel schema veya llms.txt dosyası yoktur. Bir sayfanın bu özelliklerde destekleyici bağlantı olabilmesi için Google Search’te indekslenebilir ve snippet’e uygun olması gerekir. Temel SEO; erişilebilir tarama, net iç bağlantılar, faydalı içerik, iyi sayfa deneyimi ve metinsel bilgi sunumuyla devam eder.
Ürün sayfalarında görünür içerikle uyumlu Product, ProductGroup, BreadcrumbList ve uygun Offer verileri kullanılabilir. Yapılandırılmış veri Google’ın içeriği anlamasına yardımcı olur ancak zayıf, kopya veya görünmeyen içeriği telafi etmez. Merchant Center; ürün verilerinin güncellenme zamanlaması ve Shopping görünürlüğü açısından ayrıca değerlidir.
Yapay zekâ destekli üretim kullanılıyorsa doğruluk, özgünlük ve editoryal kontrol zorunludur. Çok sayıda düşük değerli sayfayı otomatik üretmek, Google’ın scaled content abuse politikalarıyla çelişebilir. İçeriği kullanıcı sorularına doğrudan cevap veren, kaynaklı ve ürün kararını kolaylaştıran bloklara ayırmak AEO ve GEO açısından daha sürdürülebilirdir.
90 günlük uygulama planı
- İlk 2 hafta: Log örneklemesi alın; URL türlerini, parametreleri, durum kodlarını, sitemap kapsamını, Googlebot isteklerini ve önemli sayfaların taranma durumunu çıkarın.
- 3–4. hafta: 5xx, 429, soft 404, uzun yönlendirme zincirleri, yanlış canonical ve sitemap tutarsızlıklarını düzeltin.
- 2. ay: Fasetli navigasyon, site içi arama, işlem URL’leri ve varyasyonlar için kalıcı kuralları küçük gruplar halinde uygulayın.
- 3. ay: Crawl Stats, loglar, indekslenen sayfa oranı, yeni ürün keşif süresi, organik görünürlük ve gelir katkısını önceki dönemle karşılaştırın.
Değişiklikleri bir anda tüm kataloğa uygulamak yerine kontrollü gruplar hâlinde yayınlamak, hatalı bir robots.txt veya canonical kararının etkisini sınırlamayı sağlar. Her uygulama öncesi örnek URL listesi hazırlayın; uygulama sonrası log, URL Inspection ve sitemap raporlarıyla doğrulama yapın.
Sonuç
Büyük Ölçekli E-ticaret Sitelerinde Crawl Bütçesi Yönetimi, Googlebot’u zorla daha hızlı taratmak değil; değerli URL’leri gereksiz URL’lerden ayırmak ve sunucu kapasitesini sağlıklı tutmaktır. En güvenilir yöntem log analizi, Search Console, sitemap, robots.txt, noindex, canonical, iç bağlantılar, yapılandırılmış veri ve içerik kalitesini birlikte değerlendirmektir.
Tarama ile indekslemeyi birbirine karıştırmayın, robots.txt’yi geçici bütçe aktarma aracı olarak kullanmayın ve her değişikliği ölçün. Teknik kararları güncel Google dokümantasyonuyla karşılaştırmak için Google’ın crawl bütçesi yönetimi dokümantasyonunu inceleyin. Arama motorlarının temel çalışma kavramları için web crawler açıklamasına da başvurabilirsiniz.