crawl budget nedir? Kapsamlı SEO Rehberi
Crawl budget nedir? Crawl budget, arama motoru botlarının belirli bir süre içinde bir web sitesinde tarayabildiği ve taramak istediği URL sayısıdır. Google bu kavramı, sitenin teknik kapasitesi ile URL’lere yönelik tarama talebinin birleşimi olarak değerlendirir.
Crawl budget optimizasyonunun amacı Googlebot’u mümkün olduğunca fazla sayfaya yönlendirmek değil, sınırlı tarama kaynaklarının işletme ve kullanıcı açısından değerli URL’lerde kullanılmasını sağlamaktır. Bu konu özellikle büyük web siteleri, e-ticaret platformları, haber siteleri ve sık güncellenen içerik arşivleri için önem taşır.
Önemli Noktalar
- Crawl budget, tarama kapasitesi ve tarama talebi olmak üzere iki ana unsurdan oluşur.
- Sunucu yavaşlığı, hata oranı ve uzun yanıt süreleri tarama kapasitesini sınırlandırabilir.
- Googlebot’un taradığı her URL değerli veya dizine alınabilir olmak zorunda değildir.
- Filtre, arama, oturum ve parametreli URL’ler gereksiz tarama tüketebilir.
- Crawl budget doğrudan bir sıralama faktörü değildir.
- Google Search Console ve sunucu logları birlikte incelenmelidir.
- Öncelik, önemli sayfaların keşfedilebilir, erişilebilir ve teknik olarak anlaşılır olmasını sağlamaktır.
Crawl budget nasıl çalışır?
Crawl budget, tek bir sabit kota gibi düşünülmemelidir. Googlebot’un bir siteyi ne kadar tarayacağı; sunucunun yanıt verme kapasitesi, sitenin popülerliği, içeriklerin güncelliği ve URL’lerin Google açısından taşıdığı değer gibi faktörlere göre değişir.
Tarama kapasitesi nedir?
Tarama kapasitesi, Googlebot’un sunucuyu aşırı yüklemeden gönderebileceği istek hızını ifade eder. Sunucu istikrarlı yanıt veriyor, düşük hata oranına sahip ve sayfaları makul sürede sunuyorsa Googlebot daha rahat tarama yapabilir. Beş yüz hatası, zaman aşımı, bağlantı kopmaları ve performans dalgalanmaları ise botun isteklerini azaltmasına yol açabilir.
Tarama talebi nedir?
Tarama talebi, Google’ın belirli URL’leri yeniden ziyaret etmek veya yeni URL’leri keşfetmek için duyduğu ihtiyaçtır. Popüler, sık güncellenen ve kullanıcıya özgün değer sunan sayfalar daha yüksek tarama talebi oluşturabilir. Buna karşılık kopya içerikler, boş filtre kombinasyonları ve düşük değerli parametreli URL’ler daha düşük öncelik görebilir.
> Kısa cevap: Crawl budget, Googlebot’un sitenizde tarayabildiği URL sayısı ile taramak istediği URL sayısının birlikte oluşturduğu pratik tarama kapasitesidir. Teknik olarak hızlı bir sunucu tek başına daha fazla tarama garantisi vermez; Google’ın sayfalarınıza yönelik talebi de yeterli olmalıdır.
Crawl budget neden önemlidir?
Bir sayfa arama sonuçlarında görünmeden önce genellikle keşfedilmeli, taranmalı ve dizine eklenmeye uygun bulunmalıdır. Çok büyük bir sitede Googlebot kaynaklarını düşük değerli URL’lere harcarsa yeni, güncellenmiş veya ticari açıdan kritik sayfalar daha geç keşfedilebilir.
Bu durum özellikle şu yapılarda görülür:
- Binlerce veya milyonlarca URL’ye sahip siteler
- Ürün filtreleri ve fasetli navigasyon kullanan e-ticaret siteleri
- Sürekli haber veya finans içeriği yayımlayan platformlar
- Çok sayıda kategori, etiket ve arşiv sayfası bulunan yayıncı siteler
- URL parametreleriyle çalışan arama ve sıralama sistemleri
- İçerik taşınması veya büyük teknik değişiklik geçiren web siteleri
Az sayfalı ve sade bir web sitesinde crawl budget genellikle temel SEO sorunu değildir. Google’ın kendi açıklamalarına göre konu, özellikle büyük ve sık güncellenen sitelerde öncelik kazanır.
Crawl budget sorunu nasıl anlaşılır?
Crawl budget problemi yalnızca “Googlebot daha fazla istek atsın” yaklaşımıyla teşhis edilmez. Önce önemli URL’lerin yeterince keşfedilip keşfedilmediği, düşük değerli URL’lerin ne kadar kaynak tükettiği ve sunucunun bot isteklerine nasıl yanıt verdiği incelenmelidir.
1. Google Search Console Tarama İstatistikleri’ni inceleyin
Google Search Console’daki Tarama İstatistikleri raporu şu sinyalleri anlamaya yardımcı olur:
- Günlük toplam tarama istekleri
- Ortalama yanıt süresi
- İndirilen toplam dosya boyutu
- HTTP yanıt kodlarının dağılımı
- Googlebot’un hangi içerik türlerine eriştiği
- Tarama hacmindeki ani düşüş veya artışlar
Tek bir günün verisi yerine dönemsel eğilimler değerlendirilmelidir. Yanıt süresi artarken tarama hacmi düşüyorsa sunucu, uygulama veya veritabanı kaynaklı bir sorun olabilir.
2. Sunucu loglarını analiz edin
Sunucu logları, Googlebot’un gerçekten hangi URL’leri ziyaret ettiğini gösteren en doğrudan veri kaynaklarından biridir. Log analizinde şu sorulara yanıt arayın:
- Googlebot en sık hangi URL kalıplarını tarıyor?
- Önemli sayfalar ne sıklıkla ziyaret ediliyor?
- Parametreli veya filtreli URL’ler gereğinden fazla istek alıyor mu?
- Dört yüz ve beş yüz seviyesindeki hatalar artıyor mu?
- Yönlendirme zincirleri tarama kaynaklarını tüketiyor mu?
- Mobil ve masaüstü Googlebot davranışında belirgin fark var mı?
Search Console genel eğilimleri gösterirken loglar URL düzeyinde daha ayrıntılı bir görünüm sağlar.
3. Dizin kapsamı sinyallerini karşılaştırın
“Keşfedildi – şu anda dizine eklenmedi” veya “Tarandı – şu anda dizine eklenmedi” gibi durumlar tek başına crawl budget sorunu anlamına gelmez. İçerik kalitesi, yinelenen sayfalar, canonical tercihleri ve dizine ekleme politikaları da bu sonuçları etkileyebilir.
Bu nedenle URL’leri yalnızca taranma durumuna göre değil, iş değeri ve arama amacı açısından sınıflandırın.
Crawl budget nasıl optimize edilir?
Crawl budget optimizasyonu, botları zorlamak yerine URL envanterini sadeleştiren ve sunucu erişimini iyileştiren bir süreçtir.
1. URL envanterini sınıflandırın
Önce tüm URL’leri dört gruba ayırın:
- Öncelikli URL’ler: Ürün, hizmet, kategori ve güçlü bilgi içerikleri
- Destekleyici URL’ler: Kullanıcıya yardımcı olan ancak sınırlı arama potansiyeline sahip sayfalar
- Birleştirilecek URL’ler: Benzer veya yinelenen içerik taşıyan sayfalar
- Tarama dışında bırakılacak URL’ler: Oturum, iç arama, boş filtre ve geçici parametre sayfaları
Bu sınıflandırma, optimizasyon kararlarını tahmine değil veriye dayandırır.
2. İç bağlantı mimarisini iyileştirin
Googlebot önemli sayfaları güçlü ve anlaşılır iç bağlantılar üzerinden daha kolay keşfeder. Yetim sayfaları belirleyin; ana kategori, alt kategori ve içerik sayfaları arasında mantıklı bağlantılar kurun.
Bağlantı metinleri, hedef sayfanın konusunu açıklamalıdır. Yalnızca “tıklayın” veya “daha fazla bilgi” gibi genel ifadeler yerine anlamlı çapa metinleri kullanın.
Teknik kontroller için Teknik SEO Kontrol Listesi: 2026 İçin Uygulanabilir Rehber iç bağlantı, taranabilirlik ve indekslenebilirlik kontrollerini birlikte ele alır.
3. Sitemap dosyalarını temiz tutun
XML sitemap yalnızca kanonik, erişilebilir ve dizine eklenmesi istenen URL’leri içermelidir. Dört yüz, beş yüz, yönlendirilmiş, noindex verilmiş veya canonical olarak başka bir URL’yi işaret eden sayfaların sitemap’e eklenmesi sinyal kalitesini düşürür.
Sitemap’in güncellenme sıklığı, içerik üretim süreciyle uyumlu olmalıdır. Sık değişmeyen sayfalarda gereksiz son güncelleme tarihleri kullanmayın.
4. Gereksiz URL parametrelerini yönetin
Sıralama, renk, beden, kampanya, oturum veya takip parametreleri çok sayıda URL varyasyonu oluşturabilir. Her varyasyon özgün bir kullanıcı ihtiyacını karşılamıyorsa tarama kaynaklarını tüketebilir.
Parametre yönetiminde şu seçenekleri değerlendirin:
- Değerli filtre kombinasyonlarını kalıcı ve anlaşılır URL’lere dönüştürmek
- Değersiz varyasyonları canonical veya noindex politikasıyla yönetmek
- İç arama sonuçlarını arama motoru taramasına kapatmak
- Gereksiz parametre bağlantılarını iç linklerden kaldırmak
- Yinelenen URL’leri tek bir ana sürümde birleştirmek
E-ticaret Filtre Sayfaları SEO ve URL Parametreleri Dizine Eklenme Sorunu rehberleri, bu yapıların oluşturduğu teknik riskleri ayrıntılı biçimde açıklar.
5. Robots.txt kurallarını kontrollü kullanın
Robots.txt, tarama erişimini yönetmek için kullanılabilir; fakat dizinden kaldırma aracı değildir. Bir URL robots.txt ile engellendiğinde Google sayfanın içeriğini tam olarak göremeyebilir. Bu nedenle önemli sayfalarda yanlış engelleme yapılmadığından emin olun.
Engelleme kararı vermeden önce:
- URL’nin organik trafik ve dönüşüm değerini kontrol edin.
- URL’nin başka sayfalardan güçlü iç bağlantı alıp almadığını inceleyin.
- Parametre deseninin yalnızca düşük değerli varyasyonları etkilediğini doğrulayın.
- Kuralı üretim ortamına almadan önce test edin.
- Değişiklik sonrasında log ve Search Console verilerini izleyin.
Robots.txt ile URL Parametresi Engelleme bu kararın hangi durumlarda güvenli, hangi durumlarda riskli olabileceğini açıklar.
6. Sunucu performansını ve hata oranını iyileştirin
Tarama kapasitesi yalnızca sayfa açılış hızından ibaret değildir. Googlebot’un istediği HTML yanıtının istikrarlı, erişilebilir ve gereksiz işlemlerden arındırılmış olması gerekir.
Öncelikli teknik kontroller şunlardır:
- Yavaş veritabanı sorgularını azaltmak
- Sunucu kaynaklarını ve eş zamanlı istek kapasitesini izlemek
- Beş yüz hatalarını ve zaman aşımı sorunlarını çözmek
- Yönlendirme zincirlerini kısaltmak
- Gereksiz üçüncü taraf isteklerini azaltmak
- Önbellekleme ve içerik dağıtım yöntemlerini değerlendirmek
- Mobil ve masaüstü yanıtlarını tutarlı hâle getirmek
Sunucu hızını artırmak her zaman Googlebot’un daha fazla URL tarayacağı anlamına gelmez. Ancak istikrarlı erişim, önemli URL’lerin güvenilir biçimde taranmasını destekler.
Canonical, noindex ve robots.txt arasındaki fark nedir?
| Araç | Temel amacı | Crawl budget etkisi | Dikkat edilmesi gereken |
|---|---|---|---|
| Canonical | Tercih edilen URL’yi belirtmek | Yinelenen sürümlerin önceliğini azaltabilir | Google bunu bir sinyal olarak değerlendirir; mutlak talimat değildir |
| Noindex | Sayfanın dizine eklenmemesini istemek | Sayfa erişilebilir kaldığı için tarama devam edebilir | Düşük değerli büyük URL kümelerinde tek başına yeterli olmayabilir |
| Robots.txt | Tarama erişimini engellemek | Belirli URL kalıplarındaki istekleri azaltabilir | Sayfanın dizinden kaldırılmasını garanti etmez |
| 301 yönlendirme | Kullanıcıyı ve botu yeni URL’ye taşımak | Eski URL taramalarını azaltabilir | Zincir ve döngü oluşturulmamalıdır |
Bu araçlar birbirinin alternatifi değildir. URL’nin amacı, arama görünürlüğü ve kullanıcı deneyimi birlikte değerlendirilerek kullanılmalıdır.
E-ticaret sitelerinde crawl budget nasıl yönetilir?
E-ticaret sitelerinde filtreler ve sıralama seçenekleri, teorik olarak sınırsız URL kombinasyonu üretebilir. Renk, marka, beden ve fiyat gibi filtrelerin her kombinasyonu ayrı bir URL oluşturuyorsa Googlebot, ürün ve kategori sayfaları yerine düşük değerli varyasyonları tarayabilir.
Uygulanabilir süreç:
- Trafik, dönüşüm ve arama talebi alan filtreleri belirleyin.
- Özgün ürün kümesi ve anlamlı arama amacı sunan kombinasyonları seçin.
- Boş sonuç, tek ürünlü veya birbirinin kopyası filtreleri birleştirin.
- Filtre bağlantılarını yalnızca kullanıcı ve SEO açısından anlamlı olduğunda üretin.
- Parametreli URL’leri loglarda düzenli olarak kontrol edin.
- Değişikliklerin tarama ve dizine ekleme verisine etkisini izleyin.
Faseted Navigation SEO Sorunları rehberi, filtreleme sistemlerinin kopya içerik, tarama tuzakları ve URL çoğalması gibi etkilerini inceler.
Crawl budget optimizasyonunda sık yapılan hatalar
Her URL’yi robots.txt ile engellemek
Toplu engelleme kısa vadede istek sayısını azaltabilir; ancak Google’ın önemli sayfaları keşfetmesini de zorlaştırabilir. Önce düşük değerli URL kümeleri veriyle belirlenmelidir.
Noindex’i tek çözüm olarak görmek
Noindex, dizine ekleme tercihini bildirir; tarama erişimini otomatik olarak durdurmaz. Çok geniş parametre kümelerinde URL üretimini ve iç bağlantıları da yönetmek gerekir.
Daha fazla taramayı daha iyi sıralama sanmak
Google, daha yüksek tarama hızının otomatik olarak daha iyi sıralama getirmediğini açıkça belirtir. Tarama, arama görünürlüğü için gerekli teknik aşamalardan biridir; tek başına sıralama sinyali değildir.
Sitemap’e bütün URL’leri eklemek
Sitemap bir URL arşivi değil, tercih edilen sayfalar için güçlü bir keşif sinyalidir. Kalitesiz veya dizine eklenmesi istenmeyen URL’lerle doldurulmamalıdır.
Ne sıklıkla kontrol edilmelidir?
Kontrol sıklığı sitenin büyüklüğüne ve değişim hızına göre belirlenmelidir. Büyük e-ticaret veya haber sitelerinde loglar ve hata oranları daha sık izlenebilir. Daha sade sitelerde aylık teknik kontrol ve önemli yayınlar sonrasında inceleme yeterli olabilir.
Her kontrolde şu metrikleri karşılaştırın:
- Googlebot istek hacmi
- Ortalama yanıt süresi
- Beş yüz ve dört yüz hataları
- Yönlendirme oranı
- Parametreli URL tarama payı
- Önemli sayfaların son taranma tarihleri
- Yeni içeriklerin keşfedilme süresi
- Sitemap URL’lerinin taranma durumu
Sonuç
Crawl budget, Googlebot’u daha fazla çalıştırma hedefinden çok, arama motoru kaynaklarını doğru URL’lere yönlendirme disiplinidir. Başarılı bir yaklaşım; temiz URL mimarisi, güçlü iç bağlantılar, doğru sitemap kullanımı, kontrollü parametre yönetimi, güvenilir sunucu performansı ve düzenli log analizini bir araya getirir.
Önceliği site büyüklüğüne göre değil, URL envanterinin karmaşıklığına ve önemli sayfaların taranma ihtiyacına göre belirleyin. Böylece Googlebot’un zamanı düşük değerli varyasyonlarda değil, kullanıcıya ve işletmeye gerçek değer sağlayan içeriklerde kullanılır.