Googlebot Tarama Bütçesi Optimizasyonu: Güncel Teknik SEO Rehberi

Googlebot Tarama Bütçesi Optimizasyonu, Googlebot’un sitenizdeki sınırlı tarama kaynaklarını gereksiz URL’ler yerine önemli sayfalarda kullanmasını sağlayan teknik SEO sürecidir. En doğru yaklaşım; URL envanterini temizlemek, sunucu erişilebilirliğini iyileştirmek, güncel sitemap kullanmak ve önemli sayfaları anlaşılır iç bağlantılarla desteklemektir.

Bu çalışma her web sitesi için zorunlu değildir. Google’ın güncel rehberine göre küçük, iyi bağlantılanmış veya yeni içerikleri yayımlandığı gün taranan sitelerde temel sitemap ve indeksleme kontrolleri çoğu zaman yeterlidir. İleri düzey optimizasyon; büyük, sık güncellenen, çok sayıda parametre veya filtre URL’si üreten sitelerde öncelik kazanır.

Önemli Noktalar

• Tarama bütçesi, tarama kapasitesi ve tarama talebinin birleşimidir.
• Tarama ile indeksleme aynı şey değildir; taranan her URL arama sonuçlarına girmeyebilir.
• robots.txt taramayı yönetir; noindex indekslenmeyi engeller.
• Googlebot’un tarama hızını yapay biçimde artırma garantisi yoktur.
• Sitemap bir yönlendirme sinyalidir; bütün URL’lerin hemen taranmasını veya indekslenmesini garanti etmez.

Googlebot tarama bütçesi nasıl çalışır?

Google, webin çok büyük olması nedeniyle her sitedeki her URL’yi sınırsız biçimde tarayamaz. Bir sitenin crawl budget’ı iki temel bileşenle açıklanır: Google’ın sunucunuzu aşırı yüklemeden kullanabileceği tarama kapasitesi limiti ve Google’ın sitenizi ne ölçüde yeniden taramak istediğini belirleyen tarama talebi.

Tarama kapasitesi limiti nedir?

Tarama kapasitesi; eş zamanlı bağlantılar, yanıt süresi, gecikme, sunucu hataları ve host yükü gibi unsurlara göre değişir. Sunucu istikrarlı ve hızlı yanıt veriyorsa Google zaman içinde daha fazla bağlantı kullanabilir. Yanıt süreleri uzar, zaman aşımı veya 5xx ve 429 hataları artarsa Googlebot taramayı yavaşlatabilir.

Tarama talebi neye göre oluşur?

Googlebot’un talebi; sitenin büyüklüğü, güncellenme sıklığı, içerik özgünlüğü, algılanan kullanıcı değeri, URL popülerliği ve Google’ın bildiği URL envanterine göre şekillenir. Çok sayıda kopya, gereksiz filtre, takvim veya oturum URL’si Google’ın algıladığı envanteri büyütür ve tarama verimliliğini düşürebilir.

Bağımsız cevap: Tarama bütçesi bir sitenin Google’dan aldığı sabit günlük URL kotası değildir. Google, sunucu sağlığı ve içerik talebine göre tarama davranışını dinamik biçimde ayarlar. Bu nedenle amaç, bütçeyi yapay biçimde “başka sayfalara taşımak” değil, Google’ın önemli içerikleri daha kolay bulmasını ve gereksiz URL’lerle daha az zaman harcamasını sağlamaktır.

Googlebot Tarama Bütçesi Optimizasyonu kimler için gereklidir?

En güçlü kullanım alanları şunlardır:

• On binlerce veya daha fazla URL’ye sahip e-ticaret siteleri,
• Her gün büyük miktarda içerik, ilan veya ürün güncelleyen platformlar,
• Filtre, sıralama, arama ve takvim fonksiyonları çok sayıda URL üreten siteler,
• Search Console’da çok sayıda “Keşfedildi – şu anda dizine eklenmedi” URL’si görülen yapılar,
• Googlebot’un sunucu kapasitesine sık sık ulaştığı siteler.

Yaklaşık 500 sayfaya kadar olan, önemli URL’leri ana sayfadan erişilebilir ve doğru bağlantılanmış sitelerde ayrı bir tarama bütçesi projesi genellikle ilk öncelik değildir. Böyle durumlarda sitemap, sayfa indeksleme raporu, URL Inspection ve teknik erişilebilirlik kontrolleri daha uygun başlangıç noktalarıdır.

İlk teşhis nasıl yapılır?

1. Search Console Crawl Stats raporunu inceleyin

Crawl Stats raporu; toplam tarama isteklerini, indirme boyutunu, ortalama yanıt süresini, host durumunu, yanıt türlerini, dosya türlerini, tarama amacını ve Googlebot türünü gösterir. Rapor kök seviye mülklerde kullanılabilir ve son 90 günlük tarama geçmişini değerlendirmeye yardımcı olur. Ancak rapordaki örnek URL’ler eksiksiz değildir; bu nedenle tek başına bütün URL envanterinin yerine geçmez.

2. Sunucu loglarını analiz edin

Log dosyaları Googlebot isteklerini URL, zaman, durum kodu ve user-agent gibi alanlarla görmenizi sağlar. Önce Googlebot user-agent’ını filtreleyin; ardından Googlebot doğrulamasını IP ve ters DNS kontrolleriyle destekleyin. URL’leri yol, parametre, durum kodu, dosya türü ve tarama amacı bakımından gruplayın.

Özellikle şu grupları karşılaştırın:

• Yüksek tarama alan ancak arama değeri düşük filtre ve sıralama URL’leri,
• İç arama, sepet, hesap, giriş ve işlem sayfaları,
• Yönlendirme zincirleri ve soft 404 yanıtları,
• Önemli ürün, kategori, hizmet ve rehber sayfalarının taranma sıklığı,
• 5xx, 429, zaman aşımı ve yavaş yanıt üreten URL’ler.

Search Console raporu site düzeyindeki resmi görünümü verirken log analizi gerçek istekleri URL kalıbı düzeyinde incelemeyi sağlar. İki veri kaynağını birlikte değerlendirmek, yanlış robots.txt değişikliklerini önler.

URL envanteri nasıl temizlenir?

robots.txt ne zaman kullanılmalı?

Google’ın erişmesini uzun vadede istemediğiniz URL veya kaynakları tarama açısından sınırlamak için robots.txt kullanılabilir. Faceted navigation, sonsuz takvimler, iç arama sonuçları ve yalnızca işlem gerçekleştiren sayfalar uygun aday olabilir. Ancak robots.txt bir güvenlik aracı değildir; engellenen bir URL dış bağlantılarla keşfedilirse içeriği görülmeden arama sonuçlarında listelenebilir.

noindex ne zaman kullanılmalı?

Bir sayfanın Google tarafından taranmasına izin verip arama sonuçlarında görünmesini istemiyorsanız meta robots veya X-Robots-Tag ile noindex kullanın. Googlebot noindex kuralını okuyabilmek için sayfayı istemek zorundadır; bu nedenle noindex yalnızca tarama bütçesi yönetimi için kullanılmamalıdır. Ayrıca robots.txt ile engellenen sayfada noindex görülemez.

Kalıcı olarak kaldırılan sayfalar için 404 veya 410; başka bir URL’ye taşınan sayfalar için uygun bir 301 yanıtı kullanın. Soft 404 üreten sayfaları gerçek durum kodlarıyla düzeltin. Uzun yönlendirme zincirlerini tek adımlı yönlendirmelere indirin.

Filtreli URL mimarisi için faceted navigation SEO sorunları rehberini, parametre ve URL tasarımı için dinamik URL yönetimi içeriğini inceleyebilirsiniz.

İç linkleme ve site mimarisi nasıl iyileştirilir?

Google, bağlantıları hem sayfaları keşfetmek hem de ilişkilerini anlamak için kullanır. Önemli her sayfa en az bir başka sayfadan standart, taranabilir bir <a href> bağlantısı almalıdır. JavaScript olaylarına bağlı veya href içermeyen sahte bağlantılar keşfi zorlaştırabilir.

• Önemli kategori, hizmet ve ürün sayfalarını ilgili üst kategori ve içeriklerden bağlayın.
• Yetim sayfaları tespit edip anlamlı bağlam içinde iç link ekleyin.
• Bağlantı metnini doğal, açıklayıcı ve kısa tutun.
• Bir sayfaya çok sayıda benzer bağlantı ekleyerek anahtar kelime doldurmayın.
• Gereksiz derinlik, kırık bağlantı ve yönlendirme üzerinden bağlantı vermekten kaçının.

İç linkleme, Googlebot’a bütçeyi doğrudan yeniden dağıtmaz; ancak önemli URL’lerin keşfini, konu ilişkilerinin anlaşılmasını ve kullanıcı navigasyonunu kolaylaştırır.

XML sitemap nasıl kullanılmalı?

Sitemap yalnızca arama sonuçlarında görmek istediğiniz, erişilebilir ve tercih edilen kanonik URL’leri içermelidir. Her sitemap dosyası en fazla 50.000 URL veya sıkıştırılmamış 50 MB olabilir; daha büyük yapılarda sitemap index kullanılır. lastmod değeri yalnızca ana içerik, yapılandırılmış veri veya anlamlı bağlantılar gerçekten güncellendiğinde değiştirilmelidir. Google, tutarlı ve doğrulanabilir lastmod değerlerini kullanabilir; değişmeyen sitemap’i gün içinde tekrar tekrar göndermek fayda sağlamaz.

WordPress sitelerinde sitemap çoğu zaman CMS veya SEO eklentisi tarafından otomatik oluşturulur. Yine de sitemap içindeki URL’leri düzenli olarak kanonik, indekslenebilir ve 200 yanıt veren sayfalarla karşılaştırın.

Sunucu performansı taramayı nasıl etkiler?

TTFB ve toplam yanıt süresi, Googlebot’un aynı zaman aralığında kaç sayfa işleyebileceğini etkileyebilir. HTML’nin yanı sıra indeksleme için gereken CSS, JavaScript ve görsellerin yüklenme ve işlenme süreleri de önemlidir. Önbellekleme, CDN, veritabanı sorgu optimizasyonu, gereksiz eklentilerin azaltılması ve düşük kaliteli kaynakların temizlenmesi yardımcı olabilir.

İçerik değişmemişse uygun koşullarda 304 Not Modified yanıtı sunucu kaynaklarını azaltabilir. Ancak yalnızca düşük değerli sayfaları hızlandırmak Google’ın bunları daha sık tarayacağı anlamına gelmez; hız, özgün ve kullanıcıya değer sağlayan içerikle birlikte değerlendirilmelidir.

Googlebot tarama bütçesi optimizasyonu için adım adım süreç

1. Hedefi belirleyin: Geç keşfedilen yeni sayfalar, düşük refresh oranı, sunucu yükü veya gereksiz URL üretimi gibi sorunu tanımlayın.
2. Veri toplayın: Crawl Stats, Page Indexing, URL Inspection, XML sitemap ve sunucu loglarını bir araya getirin.
3. URL sınıflandırın: Kanonik, yinelenen, düşük değerli, işlem odaklı, hatalı ve yüksek ticari değere sahip URL gruplarını ayırın.
4. Kuralı seçin: Uzun vadede taranmaması gereken URL’lerde robots.txt; indekslenmemesi gereken erişilebilir sayfalarda noindex; kaldırılan içerikte 404/410; taşınan içerikte 301 kullanın.
5. Mimariyi düzeltin: Yetim sayfaları, kırık bağlantıları, gereksiz derinliği ve yönlendirme zincirlerini giderin.
6. Sitemap’i temizleyin: Yalnızca kanonik, erişilebilir ve arama değeri olan URL’leri ekleyin.
7. Sunucuyu stabilize edin: 5xx, 429, timeout ve robots.txt erişim sorunlarını izleyin.
8. Ölçün: Değişiklik öncesi ve sonrası tarama dağılımını, ortalama yanıt süresini, önemli URL’lerin son tarama tarihini ve indeksleme durumunu karşılaştırın.

AEO, GEO ve yapılandırılmış veriyle ilişki

Tarama bütçesi, içeriklerin keşfedilmesi ve güncellenmesi için teknik temel sağlar; ancak AEO veya GEO görünürlüğü garanti etmez. Soru odaklı başlıklar, kısa ve doğrudan cevap blokları, güvenilir kaynaklara dayalı açıklamalar ve açık içerik yapısı kullanıcıların yanı sıra cevap motorlarının içeriği anlamasına yardımcı olabilir.

Yapılandırılmış veri, sayfanın içeriğini Google’a daha açık ifade edebilir; fakat zengin sonuç gösterimini veya sıralamayı garanti etmez. İşaretleme görünür içerikle uyumlu, eksiksiz ve doğru olmalıdır. Genel FAQPage zengin sonuçları güncel kurallara göre ağırlıklı olarak tanınmış, otoriter sağlık ve kamu siteleriyle sınırlıdır. Bu nedenle ticari bir blog yazısında FAQ içeriği kullanıcı deneyimi için yararlı olabilir; ancak FAQ şeması eklemek otomatik olarak zengin sonuç sağlamaz.

Sonuç

Googlebot Tarama Bütçesi Optimizasyonu, “Google’ı daha fazla taramaya zorlamak” değil, sitenin erişilebilir ve anlamlı URL envanterini verimli hale getirmektir. En yüksek etki; gereksiz parametreleri yönetmek, doğru durum kodları kullanmak, güncel sitemap sunmak, önemli sayfaları iç linklerle desteklemek ve sunucu hatalarını azaltmakla elde edilir.

Çalışmayı URL yapısını değiştirmeden de yürütebilirsiniz. Önce log ve Search Console verileriyle sorunu kanıtlayın; ardından küçük, geri alınabilir değişiklikler uygulayın ve birkaç tarama döngüsü boyunca ölçün. Filtreleme ve büyük ölçekli projelerde ayrıca büyük sitelerde tarama bütçesi kontrolü rehberinden yararlanabilirsiniz.

Kavramsal arka plan için SEO hakkında genel bilgi açıklamasını inceleyebilirsiniz.