Googlebot Tarama Bütçesi Optimizasyonu: Güncel Teknik SEO Rehberi

Googlebot Tarama Bütçesi Optimizasyonu, Googlebot’un sınırlı tarama kaynaklarını gereksiz URL’ler yerine önemli ve güncel sayfalarda kullanmasını destekleyen teknik SEO sürecidir. En etkili yaklaşım; URL envanterini temizlemek, sunucu yanıtlarını istikrarlı hâle getirmek, sitemap’i güncel tutmak ve değerli sayfaları taranabilir iç bağlantılarla desteklemektir. Bu çalışma, Google’ı yapay biçimde daha fazla taramaya zorlamaz.

Önemli Noktalar

• Tarama bütçesi, tarama kapasitesi limiti ile tarama talebinin birleşimidir.
• Tarama ve indeksleme farklı aşamalardır; taranan her URL arama sonuçlarına girmeyebilir.
• robots.txt tarama trafiğini yönetir; tek başına bir gizleme veya güvenlik yöntemi değildir.
• noindex, sayfanın taranmasına izin vererek indekslenmemesi gerektiğini bildirir.
• Sitemap, önemli URL’ler için keşif sinyalidir; tarama ve indeksleme garantisi vermez.
• Sunucu hataları, yavaş yanıtlar, 429 ve 5xx durumları tarama kapasitesini olumsuz etkileyebilir.

Googlebot tarama bütçesi nasıl çalışır?

Google, webin çok büyük olması nedeniyle her sitedeki her URL’yi sınırsız biçimde tarayamaz. Google’ın güncel açıklamasına göre bir sitenin tarama bütçesi iki ana bileşenden oluşur: Google’ın sunucuyu aşırı yüklemeden kullanabileceği tarama kapasitesi limiti ve Google’ın içerikleri yeniden taramak için duyduğu tarama talebi. Google bu kavramı sabit günlük kota olarak tanımlamaz.

Tarama kapasitesi limiti nedir?

Tarama kapasitesi; aynı anda kullanılan bağlantıların sayısı, bağlantıların açık kaldığı süre, gecikme ve sunucu yanıtlarının istikrarıyla ilişkilidir. Yanıt süreleri ve Time to First Byte (TTFB) düzenli kaldığında kapasite zaman içinde artabilir. Sunucu yavaşlar, zaman aşımı oluşur veya 5xx ve 429 yanıtları artarsa Googlebot daha az tarama yapabilir.

Tarama talebi neye göre oluşur?

Googlebot’un tarama talebi; sitenin büyüklüğü, içerik güncelleme sıklığı, URL’lerin popülerliği, içerik kalitesi ve Google’ın bildiği URL envanterine göre değişir. Yinelenen sayfalar, filtreler, sıralama parametreleri, takvimler ve oturum URL’leri algılanan envanteri büyütebilir. Bu nedenle Googlebot Tarama Bütçesi Optimizasyonu için en kontrol edilebilir alan, gereksiz URL üretimini ve keşfini azaltmaktır.

Googlebot Tarama Bütçesi Optimizasyonu kimler için önceliklidir?

İleri düzey optimizasyon her web sitesinde ilk öncelik değildir. Google’ın rehberinde özellikle 1 milyonun üzerinde benzersiz sayfaya sahip ve düzenli güncellenen siteler, günlük olarak hızla değişen 10.000’den fazla URL’ye sahip siteler ve Search Console’da çok sayıda “Keşfedildi – şu anda dizine eklenmedi” URL’si bulunan yapılar öne çıkarılır.

Küçük, önemli sayfaları ana sayfadan erişilebilir olan ve yeni içerikleri yayımlandığı gün keşfedilen sitelerde temel sitemap, sayfa indeksleme ve teknik erişilebilirlik kontrolleri çoğu zaman yeterlidir. Google, yaklaşık 500 veya daha az arama odaklı sayfası bulunan ve kapsamlı iç bağlantı yapısına sahip sitelerde sitemap ihtiyacının da sınırlı olabileceğini belirtir.

İlk teşhis nasıl yapılır?

1. Search Console verilerini inceleyin

Search Console; Google’ın siteyi nasıl taradığını, indekslediğini ve arama sonuçlarında nasıl sunduğunu izlemeye yardımcı olur. Sayfa indeksleme raporu hataları, uyarıları ve dışlanan URL’leri gösterir. URL Denetleme aracı ise tekil bir URL’nin mevcut indeks durumunu, canlı test sonucunu ve Google’ın sayfaya erişirken yüklediği kaynakları incelemenizi sağlar.

Tarama istatistikleri; istek sayısı, indirilen veri miktarı, ortalama yanıt süresi, yanıt türleri, tarama amacı ve Googlebot türü hakkında site düzeyinde görünüm sunar. Bu rapordaki örnekler bütün URL envanterini temsil etmeyebilir. Bu yüzden raporu sitemap ve sunucu loglarıyla birlikte değerlendirin.

2. Sunucu loglarını analiz edin

Log analizi, Googlebot’un gerçekte hangi URL’leri istediğini gösterir. İstekleri URL yolu, sorgu parametresi, durum kodu, dosya türü, zaman ve user-agent alanlarına göre gruplayın. Googlebot user-agent bilgisini tek başına yeterli doğrulama kabul etmeyin; gerektiğinde ters DNS ve IP doğrulamasıyla destekleyin.

• Yüksek tarama payına sahip düşük değerli filtre ve sıralama URL’lerini,
• İç arama, sepet, hesap, giriş ve işlem sayfalarını,
• Yönlendirme zincirlerini ve soft 404 yanıtlarını,
• Önemli ürün, kategori, hizmet ve rehber sayfalarının taranma sıklığını,
• 5xx, 429, zaman aşımı ve yavaş yanıt üreten URL’leri karşılaştırın.

URL envanteri nasıl temizlenir?

Önce URL’leri işlevlerine ve arama değerlerine göre sınıflandırın: indekslenebilir kanonik sayfalar, yinelenen URL’ler, düşük değerli filtreler, işlem sayfaları, kaldırılmış içerikler ve yönlendirme kaynakları. Aynı içeriği farklı URL’lerde sunmak yerine mümkün olduğunda yinelenenleri birleştirin. Filtre ve parametre mimarisi için faceted navigation SEO rehberine başvurabilirsiniz.

robots.txt ne zaman kullanılmalı?

robots.txt, Googlebot’un belirli URL’lere erişimini sınırlamak ve gereksiz tarama trafiğini azaltmak için kullanılabilir. İç arama sonuçları, sonsuz takvimler, gereksiz sıralama varyasyonları ve kullanıcı işlemlerine ayrılmış sayfalar uygun aday olabilir. Ancak robots.txt güvenlik yöntemi değildir; engellenen bir URL dış bağlantılarla keşfedilirse adresi arama sonuçlarında görünebilir.

noindex ne zaman kullanılmalı?

Bir sayfanın Google tarafından taranmasına izin verip arama sonuçlarında görünmesini istemiyorsanız meta robots veya X-Robots-Tag ile noindex kullanabilirsiniz. Googlebot kuralı görebilmek için sayfayı istemek zorundadır; bu nedenle noindex, tek başına tarama bütçesi azaltma aracı değildir. robots.txt ile engellenen sayfada noindex okunamayacağı için iki yöntem aynı URL’de amaçsız biçimde birlikte kullanılmamalıdır.

Kalıcı olarak kaldırılan içerikler için 404 veya 410, başka bir URL’ye taşınan içerikler için uygun bir 301 yanıtı kullanın. Soft 404 sayfalarını gerçek durum kodlarıyla düzeltin ve uzun yönlendirme zincirlerini tek adımlı yönlendirmelere indirin. Parametre yönetimi ve URL standardizasyonu için URL parametrelerinin dizine eklenme sorunları rehberini inceleyebilirsiniz.

İç bağlantı ve site mimarisi nasıl iyileştirilir?

Önemli her sayfa, başka bir sayfadan standart ve taranabilir bir <a href> bağlantısı almalıdır. JavaScript olaylarına bağlı, href içermeyen veya yalnızca görsel etkileşime dayanan sahte bağlantılar keşfi zorlaştırabilir. Kategori, hizmet, ürün ve rehber sayfalarını anlamlı üst kategori ve konu bağlantılarıyla destekleyin.

Yetim sayfaları tespit edin, kırık bağlantıları düzeltin ve önemli içeriklerin gereksiz derinlikte kalmasını önleyin. Bağlantı metinleri kısa, açıklayıcı ve doğal olmalıdır. İç bağlantı, Googlebot’un bütçesini doğrudan başka URL’lere aktaran bir komut değildir; ancak sayfa keşfini, konu ilişkilerinin anlaşılmasını ve kullanıcı navigasyonunu kolaylaştırır.

XML sitemap nasıl kullanılmalı?

Sitemap yalnızca arama sonuçlarında görünmesi istenen, erişilebilir, indekslenebilir ve tercih edilen kanonik URL’leri içermelidir. Sitemap; sayfa, görsel, video ve haber içerikleri hakkında ek bilgi sağlayabilir. Büyük veya karmaşık sitelerde yeni sayfaların keşfini kolaylaştırır; ancak tarama, indeksleme ya da sıralama garantisi vermez.

lastmod değerini yalnızca ana içerik, yapılandırılmış veri veya önemli bağlantılar gerçekten değiştiğinde güncelleyin. Sitemap’i, Search Console’daki sitemap raporuyla izleyin ve dosyada yer alan URL’leri düzenli olarak 200 yanıtı veren kanonik sayfalarla karşılaştırın. WordPress sitelerinde sitemap CMS veya SEO eklentisi tarafından üretilebilir; otomatik üretim, içerik doğrulaması ihtiyacını ortadan kaldırmaz.

Sunucu performansı taramayı nasıl etkiler?

Sunucu yanıt süresi, gecikme ve TTFB; Google’ın belirli bir zaman aralığında kaç sayfayı işleyebileceğini etkileyebilir. Önbellekleme, CDN kullanımı, veritabanı sorgularının iyileştirilmesi, gereksiz eklentilerin azaltılması ve uygulama katmanındaki hataların giderilmesi tarama verimliliğine katkı sağlar. Google, değişmeyen içeriklerde HTTP 304 Not Modified yanıtının sunucu bant genişliğini azaltabileceğini belirtir.

Yalnızca düşük değerli sayfaları hızlandırmak Google’ın bunları daha sık tarayacağı anlamına gelmez. Performans iyileştirmesini özgün içerik, güncelleme sıklığı, popülerlik ve kullanıcı değeriyle birlikte değerlendirin. 429 ve 5xx oranlarını, robots.txt erişimini ve ani yanıt süresi artışlarını sürekli izleyin.

Googlebot Tarama Bütçesi Optimizasyonu için 8 adım

1. Sorunu tanımlayın: Geç keşif, sunucu yükü, düşük yenileme sıklığı veya gereksiz URL üretimi gibi hedefi netleştirin.
2. Veri toplayın: Search Console, sitemap, indeksleme raporları ve sunucu loglarını bir araya getirin.
3. URL’leri sınıflandırın: Kanonik, yinelenen, düşük değerli, işlem odaklı, hatalı ve ticari değeri yüksek grupları ayırın.
4. Doğru sinyali seçin: robots.txt, noindex, 404/410 ve 301 kullanım amaçlarını birbirinden ayırın.
5. Mimariyi düzeltin: Yetim sayfaları, kırık bağlantıları, gereksiz derinliği ve yönlendirme zincirlerini giderin.
6. Sitemap’i temizleyin: Yalnızca kanonik, erişilebilir ve arama değeri olan URL’leri gönderin.
7. Sunucuyu stabilize edin: 5xx, 429, timeout, yavaş yanıt ve robots.txt erişim sorunlarını azaltın.
8. Sonuçları ölçün: Değişiklik öncesi ve sonrası tarama dağılımını, yanıt sürelerini, önemli URL’lerin keşif durumunu ve indeksleme sinyallerini karşılaştırın.

AEO, GEO ve yapılandırılmış veriyle ilişkisi

Tarama bütçesi, içeriğin keşfedilmesi ve güncellenmesi için teknik temel sağlar; ancak AEO veya GEO görünürlüğünü garanti etmez. Soru odaklı başlıklar, bağımsız kısa cevap blokları, açık içerik hiyerarşisi ve güvenilir kaynaklara dayalı açıklamalar hem kullanıcıların hem de cevap motorlarının içeriği anlamasına yardımcı olabilir.

Yapılandırılmış veri, sayfanın içeriğini arama motorlarına daha açık ifade edebilir; fakat zengin sonuç, sıralama veya yapay zekâ yanıtlarında görünme garantisi sağlamaz. İşaretleme görünür içerikle uyumlu, doğru ve eksiksiz olmalıdır. SEO’nun amacı ve teknik SEO ile iç bağlantı gibi alt alanları hakkında Arama motoru optimizasyonu açıklamasını inceleyebilirsiniz.

Sonuç

Googlebot Tarama Bütçesi Optimizasyonu, Google’ı daha fazla taramaya zorlamak değil, erişilebilir ve anlamlı URL envanterini verimli hâle getirmektir. En yüksek etki; gereksiz parametreleri yönetmek, doğru durum kodlarını kullanmak, güncel sitemap sunmak, önemli sayfaları iç bağlantılarla desteklemek ve sunucu hatalarını azaltmakla elde edilir.

Bu çalışmayı mevcut URL yapısını bozmadan da yürütebilirsiniz. Önce log ve Search Console verileriyle problemi kanıtlayın; sonra küçük ve geri alınabilir değişiklikler uygulayın. Birkaç tarama döngüsü boyunca URL gruplarını, sunucu sağlığını ve önemli sayfaların keşif durumunu ölçerek hangi değişikliklerin gerçek fayda sağladığını belirleyin. Büyük sitelerde ayrıca büyük ölçekli sitelerde crawl bütçesi yönetimi rehberine başvurabilirsiniz.