Büyük Sitelerde Tarama Bütçesi Kontrolü: Güncel Teknik SEO Rehberi

Büyük Sitelerde Tarama Bütçesi Kontrolü, arama motoru botlarının çok sayıda URL içeren sitelerde teknik kapasite ve arama talebine göre doğru sayfalara ulaşmasını kolaylaştırır. En etkili yaklaşım, Googlebot’u yapay biçimde daha fazla çalıştırmak değil; gereksiz, yinelenen veya düşük değerli URL’lerin oluşturduğu tarama yükünü azaltarak önemli sayfaların keşfini ve güncellenmesini iyileştirmektir.

Google, tarama bütçesini temel olarak tarama kapasitesi sınırı ve tarama talebi ile açıklar. Sunucu yavaşladığında, zaman aşımı veya 5xx/429 hataları arttığında kapasite düşebilir. Bilinen URL’lerin çoğu kopya, düşük değerli veya gereksiz parametreli ise tarama talebi verimsiz dağılır. Ayrıca taranan her URL’nin dizine alınacağı unutulmamalıdır; tarama, indeksleme ve sıralama birbirinden farklı aşamalardır.

Önemli Noktalar

• Tarama bütçesi, yalnızca çok büyük veya çok hızlı güncellenen sitelerde kritik bir optimizasyon alanıdır.
• Sitemap dosyaları keşfi destekler; Googlebot’un listedeki her URL’yi hemen tarayacağı veya dizine alacağı anlamına gelmez.
• robots.txt taramayı, noindex ise indekslemeyi kontrol eder; bu iki direktif birbirinin alternatifi değildir.
• Fasetsiz veya filtreli URL’lerde strateji, kullanıcı değeri ve indeksleme hedefi temelinde belirlenmelidir.
• Tarama oranı bir sıralama faktörü değildir; kaliteli içerik ve sağlıklı sunucu kapasitesi birlikte değerlendirilir.

Büyük Sitelerde Tarama Bütçesi Kontrolü hangi sitelerde gereklidir?

Google’ın ileri düzey rehberi, yaklaşık bir milyon veya daha fazla benzersiz sayfaya sahip siteleri; günlük olarak çok hızlı değişen 10.000’den fazla sayfalı siteleri ve çok sayıda “Keşfedildi, şu anda dizine eklenmedi” URL’si bulunan projeleri öncelikli kapsam olarak belirtir. Bu eşikler kesin kurallar değildir; teşhis için kullanılan yaklaşık sınıflandırmalardır.

E-ticaret katalogları, haber ve medya arşivleri, ilan platformları, kullanıcı tarafından içerik üretilen yapılar, çok dilli siteler ve yoğun filtreleme kullanan projeler daha fazla URL kombinasyonu oluşturabilir. Daha küçük bir sitede ise yeni sayfalar aynı gün veya makul bir sürede keşfediliyorsa kapsamlı bir tarama bütçesi projesi yerine teknik temel, içerik kalitesi ve iç bağlantı çalışmaları daha yüksek öncelik taşıyabilir.

Tarama bütçesi nasıl ölçülür?

İlk adım, indeksleme sorununu tarama sorunu ile karıştırmamaktır. Bir URL taranmış ancak dizine alınmamış olabilir; bu durumda yalnızca daha sık tarama istemek çözüm değildir. URL Inspection, Page Indexing ve Crawl Stats raporları birlikte incelenmeli; kritik URL’lerin sunucu loglarındaki gerçek bot istekleriyle karşılaştırılması gerekir.

İzlenecek temel veriler

• Googlebot isteklerinin günlük hacmi ve URL türlerine göre dağılımı
• 2xx, 3xx, 4xx, 5xx ve 429 yanıtlarının oranı
• Sunucu yanıt süresi, zaman aşımı ve kapasite uyarıları
• Ürün, kategori, içerik, filtre, arama ve oturum URL’lerinin taranma payı
• Sitemap’te bulunan URL’lerin HTTP durumu ve canonical uyumu
• Yeni veya güncellenen önemli sayfaların keşfedilme ve indekslenme süresi
• Yetim sayfalar ve iç bağlantı almayan URL kümeleri

Search Console’daki Crawl Stats raporu Googlebot’un tarama geçmişi, istekleri ve sunucu kullanılabilirliği hakkında genel görünüm sağlar. URL bazında geçmiş tarama dağılımı için sunucu logları gereklidir; Search Console bu geçmişi her URL veya yol için ayrıntılı biçimde sunmaz.

Tarama bütçesi kontrolü için uygulanabilir süreç

1. URL envanterini çıkarın: XML sitemap, CMS veritabanı, crawler çıktısı, analytics ve sunucu loglarını birleştirin. URL’leri şablon, parametre, dil, durum kodu ve iş değeri bakımından sınıflandırın.
2. Öncelikli URL’leri tanımlayın: Gelir, dönüşüm, güncellik, arama talebi ve stratejik önem açısından kritik ürün, kategori, hizmet ve rehber sayfalarını ayrı bir kümeye alın.
3. Tarama israfını bulun: Parametre patlaması, oturum kimlikleri, dahili arama sonuçları, sıralama URL’leri, boş filtreler, soft 404’ler ve uzun yönlendirme zincirlerini loglarda ölçün.
4. Kontrol sinyallerini eşleştirin: Canonical, robots.txt, noindex, sitemap ve iç bağlantıların birbirine zıt çalışmadığını doğrulayın.
5. Sunucu sağlığını iyileştirin: Yavaş veritabanı sorgularını, yüksek TTFB’yi, zaman aşımlarını, 5xx hatalarını ve gereksiz büyük kaynakları azaltın.
6. Değişiklikleri izleyin: Öncesi ve sonrası log örneklerini, Crawl Stats verisini, indeksleme durumunu ve iş sonuçlarını periyodik olarak karşılaştırın.

Site mimarisi ve iç bağlantılar nasıl düzenlenir?

Önemli sayfaların yalnızca sitemap’te bulunması yeterli değildir. Google, standart <a href> bağlantıları üzerinden sayfaları keşfeder; JavaScript olaylarına bağlı veya gerçek href içermeyen bağlantılar güvenilir keşif sağlamayabilir. Kritik sayfaları kategori, konu hub’ı ve ilgili içeriklerden bağlayın. Böylece kullanıcılar ve botlar bilgi mimarisini daha kolay takip eder.

Siteyi yapay biçimde belirli bir tıklama sayısına zorlamak yerine, önemli URL’lerin mantıklı ve erişilebilir bir hiyerarşide bulunmasına odaklanın. Yetim sayfaları belirleyin, gereksiz kopyaları birleştirin ve kaldırılmış içeriklerde uygun 404 veya 410 yanıtı kullanın. Uzun yönlendirme zincirlerini tek adımlı ve doğrudan hedefe yönlendirmelerle değiştirin.

Teknik SEO denetimi kapsamını genişletmek için Teknik SEO Denetimi: Adım Adım Uygulanabilir Rehber içeriğine bakabilirsiniz.

Fasetli navigasyon ve parametreli URL’ler nasıl yönetilir?

Fasetli navigasyon, filtre seçeneklerinin çok sayıda URL kombinasyonu üretmesine yol açabilir. Google, bu kombinasyonların önemli bölümünün düşük değerli veya yinelenen içerik olduğunu; gereksiz URL’lerin yeni ve yararlı sayfaların keşfini yavaşlatabileceğini belirtir.

İndekslenmesi gerekmeyen filtre URL’leri için kalıcı robots.txt kuralları kullanılabilir. Ancak robots.txt, URL’yi arama sonuçlarından kesin olarak kaldırmaz; yalnızca taramayı sınırlar. Bir sayfanın indekslenmemesi isteniyor ancak sayfa daha önce erişilebilir durumdaysa, robots.txt ile engellemeden noindex uygulanmalıdır. Google’ın noindex yönergesini görebilmesi için URL’nin taranabilir olması gerekir.

İndekslenmesi değer taşıyan faset sayfalarında benzersiz metin, tutarlı parametre sırası, doğru canonical, crawlable iç bağlantılar ve uygun sitemap yaklaşımı kullanılmalıdır. Sonuç üretmeyen, anlamsız veya geçersiz filtre kombinasyonları uygun durumda 404 döndürmelidir. Filtreleme mimarisi için Faceted Navigation SEO Sorunları ve SEO Dostu Filtreleme Nasıl Yapılır rehberlerini inceleyebilirsiniz.

Sitemap ve robots.txt birlikte nasıl kullanılmalı?

Sitemap, arama sonuçlarında görünmesini istediğiniz canonical URL’leri bildirmek için kullanılır. Mutlak URL’ler eklenmeli; kaldırılmış, yönlendiren, noindex’li veya arama sonuçlarında istenmeyen sayfalar sitemap’e konulmamalıdır. lastmod alanı yalnızca anlamlı içerik değişikliklerinde güncellenmelidir. Sitemap bir davettir, garanti değildir; listedeki her URL hemen taranmaz veya indekslenmez.

robots.txt ise tarama erişimini kontrol eder. Kullanılmayan dahili arama, sepet, hesap, sonsuz kombinasyon, durum değiştiren işlemler ve arama açısından gereksiz kaynaklar için dikkatli kurallar uygulanabilir. CSS veya JavaScript gibi sayfanın anlamını ve render edilmesini etkileyen kaynakları yanlışlıkla engellemeyin. Googlebot, standart olmayan crawl-delay kuralını işlemez.

JavaScript ve sunucu performansı neden önemlidir?

Googlebot sayfaları tarar, ardından gerekli olduğunda render kuyruğunda JavaScript’i işler. İçeriğin yalnızca istemci tarafında geç üretilmesi, hatalı durumlarda soft 404 oluşması veya kritik bağlantıların script olaylarına bağlanması keşif ve işleme sürecini zorlaştırabilir. Kritik metin, başlık, bağlantı ve ürün bilgilerini erişilebilir HTML içinde sunun; JavaScript kullanan sayfalarda HTTP durum kodlarını ve render edilmiş çıktıyı test edin.

Sunucu kapasitesi tarama davranışını doğrudan etkileyebilir. Yüksek gecikme, bağlantı zaman aşımı, 5xx ve uzun süreli 429 yanıtları Googlebot’un hızını düşürebilir. Önbellekleme, verimli sorgular, doğru CDN yapılandırması ve 304 Not Modified yanıtları kaynak kullanımını azaltabilir. Acil durum dışında bot isteklerine sürekli 503 veya 429 döndürmekten kaçının.

SEO, AEO ve üretken arama görünürlüğüyle bağlantı

Tarama bütçesi, AEO veya GEO için ayrı bir “hack” değildir. Google’ın güncel açıklamasına göre AI Overviews ve AI Mode’da destekleyici bağlantı olabilmek için sayfanın Google Search’te indekslenebilir ve snippet’e uygun olması gerekir; özel bir yapay zekâ şeması, yapay dosya veya ayrı bir teknik format zorunlu değildir. Temel SEO, erişilebilir metin, iç bağlantı, iyi sayfa deneyimi ve güvenilir içerik önceliklidir.

Bu nedenle önemli rehber, ürün, kategori ve veri sayfalarını taranabilir, anlaşılır ve güncel tutun. Yapılandırılmış veriyi yalnızca sayfada görünen ve doğru bilgiler için kullanın; işaretleme, içeriğin yerini tutmaz ve görünürlük garantisi vermez. AI özelliklerindeki performans da klasik arama trafiği gibi Search Console’un ilgili performans raporları ve iş dönüşümleriyle değerlendirilmelidir.

Tarama bütçesi kontrolünde sık yapılan hatalar

• Her küçük siteyi büyük site problemi varmış gibi ele almak
• Tarama hızını sıralama faktörü veya otomatik trafik artışı sanmak
• Noindex’i, taramayı engelleyen robots.txt kuralı gibi kullanmak
• İstenmeyen URL’leri yalnızca sitemap’ten çıkarmanın yeterli olduğunu düşünmek
• Filtre sayfalarının tamamını aynı kuralla engellemek
• Değişmeyen içerikte yapay biçimde lastmod tarihini değiştirmek
• Yalnızca crawler raporuna bakıp gerçek Googlebot davranışı için log analizi yapmamak
• Sunucu kapasitesi, 5xx hataları ve gecikmeyi SEO’dan bağımsız değerlendirmek

Sonuç

Büyük Sitelerde Tarama Bütçesi Kontrolü; URL envanterini sadeleştirme, kritik sayfalara crawlable iç bağlantılar verme, sitemap’i güncel tutma, faset ve parametreleri amaçlarına göre yönetme, sunucu sağlığını iyileştirme ve log verisiyle ölçüm yapma disiplinidir. Çalışma, daha fazla bot isteği üretmeyi değil, mevcut tarama kaynaklarının iş değeri yüksek ve gerçekten indekslenmesi istenen sayfalara yönelmesini hedeflemelidir.

Konunun genel SEO çerçevesi için SEO Nedir, Nasıl Yapılır? rehberini; URL parametreleri özelindeki sorunlar için URL Parametreleri Dizine Eklenme Sorunu içeriğini inceleyebilirsiniz.

Kavramsal arka plan için yapay zekâ hakkında genel bilgi açıklamasını inceleyebilirsiniz.