tarama bütçesi optimizasyonu: Uygulanabilir Teknik SEO Rehberi

Arama motoru botlarının sitenizde doğru sayfaları daha verimli keşfetmesini sağlamak için tarama bütçesi optimizasyonu uygulanır. Bunun temel yolu; gereksiz, yinelenen ve düşük değerli URL’leri azaltmak, önemli sayfaları güçlü bir site mimarisiyle öne çıkarmak ve sunucu yanıtlarını istikrarlı hâle getirmektir.

Tarama bütçesi, her site için sabit bir günlük kota değildir. Google, tarama kapasitesini sunucunun yanıt verme gücüyle; tarama talebini ise içeriğin güncelliği, popülerliği, kalitesi ve kullanıcı ihtiyacıyla birlikte değerlendirir. Bu nedenle amaç yalnızca daha fazla tarama almak değil, mevcut taramayı iş sonucuna katkı sunan sayfalara yönlendirmektir.

Önemli Noktalar

• Tarama bütçesi, tarama kapasitesi ve tarama talebinin birlikte değerlendirilmesiyle oluşur.
• Küçük ve az sayfalı, düzenli güncellenmeyen sitelerde kapsamlı bütçe çalışması çoğu zaman öncelikli değildir.
• Parametreli, filtreli, yinelenen ve boş URL’ler botların zamanını verimsiz kullanabilir.
• XML sitemap yalnızca indekslenmesi istenen, kanonik ve başarılı yanıt veren URL’leri içermelidir.
• `robots.txt`, `noindex` ve canonical aynı amaca hizmet etmez; her biri farklı bir teknik karardır.
• Sunucu hataları ve yavaş yanıtlar, botların tarama hızını düşürebilir.
• Başarı, yalnızca taranan URL sayısıyla değil, değerli sayfaların keşif ve indeksleme performansıyla ölçülmelidir.

Tarama bütçesi optimizasyonu neden önemlidir?

Tarama bütçesi optimizasyonu, arama motorlarının sınırlı tarama kaynaklarını web sitenizin en önemli bölümlerine ayırmasına yardımcı olur. Özellikle ürün, kategori, filtre, dil, bölge ve içerik varyasyonları nedeniyle binlerce veya milyonlarca URL üreten sitelerde bu konu stratejik hâle gelir.

Google’ın dokümantasyonuna göre büyük ve sık güncellenen sitelerde Googlebot tüm URL’leri istenen sıklıkta taramayabilir. Bu durumda site sahiplerinin önemli sayfaları açıkça işaretlemesi, URL envanterini yönetmesi ve tarama verimliliğini artırması gerekir.

Ancak taranmış olmak indekslenmiş olmak anlamına gelmez. Bir URL taransa bile yeterli özgün değer veya kullanıcı talebi bulunmuyorsa arama sonuçlarında gösterilmeyebilir. Bu nedenle tarama optimizasyonu, içerik kalitesi ve indeksleme stratejisinden ayrı düşünülemez.

Tarama bütçesi nasıl çalışır?

Tarama bütçesi iki temel bileşenle açıklanabilir:

1. Tarama kapasitesi sınırı: Arama motorunun sunucunuza yük bindirmeden gönderebileceği istek yoğunluğudur.
2. Tarama talebi: Botun sitenizdeki belirli URL’leri yeniden ziyaret etmek veya yeni sayfaları keşfetmek için duyduğu ihtiyaçtır.

Güçlü bir sunucu kapasitesi, tek başına yüksek tarama anlamına gelmez. Sitedeki içerikler seyrek güncelleniyor, URL’ler düşük değer taşıyor veya bot yeni sayfalara yeterince güçlü sinyallerle ulaşamıyorsa tarama talebi düşük kalabilir. Tersine, sunucu sık hata veriyor ya da yavaş yanıt veriyorsa Googlebot tarama hızını azaltabilir.

> Kısa cevap: Tarama bütçesini artırmanın sürdürülebilir yolu yalnızca botları daha fazla URL’ye göndermek değildir. Daha değerli içerik üretmek, gereksiz URL’leri temizlemek ve sunucunun istikrarlı yanıt vermesini sağlamak daha etkili bir yaklaşımdır.

Hangi sitelerde önceliklidir?

Tarama bütçesi çalışmasının önceliği sitenin URL sayısına, güncellenme sıklığına ve teknik karmaşıklığına göre belirlenmelidir. Birkaç yüz sayfalık, nadiren güncellenen bir web sitesinde temel sitemap ve indeksleme kontrolleri çoğunlukla yeterlidir. Çok büyük veya sürekli değişen yapılarda ise URL yönetimi doğrudan SEO performansını etkileyebilir.

Tarama bütçesi optimizasyonu nasıl yapılır?

1. URL envanterini çıkarın

İlk adım, sitenin gerçekten ürettiği tüm URL türlerini görünür hâle getirmektir. XML sitemap, Search Console, sunucu günlükleri, CMS verileri ve teknik tarama araçları birlikte kullanılmalıdır.

Şu URL gruplarını ayrı ayrı sınıflandırın:

• İndekslenmesi gereken ana sayfalar
• Yinelenen veya benzer içerikli URL’ler
• Filtre ve sıralama parametreleri
• Site içi arama sonuçları
• Sepet, ödeme ve hesap sayfaları
• Test, staging ve yönetim alanları
• Boş, silinmiş veya düşük değerli içerikler
• Dil ve bölge varyasyonları
• Yönlendirme zincirleri ve hata döndüren URL’ler

Bu envanter çıkarılmadan yapılan robots.txt değişiklikleri kritik sayfaların yanlışlıkla engellenmesine yol açabilir.

2. XML sitemap’i temizleyin

XML sitemap, arama motorlarına hangi URL’lerin keşfedilmeye ve değerlendirmeye değer olduğunu anlatan bir yönlendirme aracıdır. Sitemap’e yalnızca şu özellikleri taşıyan URL’leri ekleyin:

• HTTP 200 yanıtı veren
• İndekslenmesi istenen
• Kanonik URL olan
• Özgün ve erişilebilir içerik taşıyan
• Gerektiğinde güncellenen

Yönlendiren, `noindex` taşıyan, robots.txt ile engellenmiş veya hata döndüren URL’leri sitemap’te tutmak sinyal kalitesini düşürür. Sitemap dosyasının erişilebilirliğini ve Search Console’daki durumunu düzenli olarak kontrol edin. Mimoza Bilişim’in Teknik SEO kontrol listesi bu denetim başlıklarını sistematik biçimde ele alır.

3. Robots.txt kurallarını dikkatle yapılandırın

`robots.txt`, botların belirli URL’lere erişimini yönetir; fakat bir URL’nin arama sonuçlarında görünmesini kesin olarak engelleyen mekanizma değildir. Ayrıca robots.txt ile engellenen bir URL, başka sayfalardan bağlantı alıyorsa arama sonuçlarında URL olarak görünebilir.

Robots.txt için şu yaklaşımı kullanın:

• Yönetim paneli ve özel kullanıcı alanlarını engelleyin.
• Sonsuz filtre kombinasyonlarını gerektiğinde sınırlandırın.
• Test ve staging dizinlerini üretim ortamından ayırın.
• Kritik CSS, JavaScript ve görsel kaynaklarını gereksiz yere engellemeyin.
• Önemli kategori, ürün ve içerik URL’lerinin erişilebilir olduğunu doğrulayın.
• Kuralları yayına almadan önce kritik URL’lerle test edin.

Google, robots.txt kullanımının taramayı önlemek için; `noindex` kullanımının ise erişilebilen bir sayfanın indekslenmesini engellemek için farklı amaçlara sahip olduğunu belirtir. Botun sayfayı ziyaret edip `noindex` direktifini görmesi gerektiğinden, noindex her durumda tarama bütçesi tasarrufu sağlamaz.

4. Parametreli ve filtreli URL’leri yönetin

E-ticaret ve katalog sitelerinde renk, beden, marka, fiyat, sıralama veya kampanya parametreleri çok sayıda URL üretebilir. Her kombinasyonun ayrı bir arama talebi veya ticari değeri yoktur.

Karar verirken şu kriterleri kullanın:

• Kullanıcıların bu kombinasyonu gerçekten arayıp aramadığı
• Sayfada yeterli ve anlamlı ürün bulunup bulunmadığı
• Sayfanın özgün açıklama ve fayda sunup sunmadığı
• Dönüşüm veya gelir katkısının ölçülebilir olup olmadığı
• Ana kategoriyle içerik tekrarının düzeyi
• URL’nin kalıcı ve paylaşılabilir bir arama amacı taşıyıp taşımadığı

Değer üreten filtre sayfaları temiz, kalıcı ve açıklayıcı URL’lerle oluşturulabilir. Değer katmayan kombinasyonlarda canonical, noindex veya robots.txt seçenekleri değerlendirilir. Bu kararlar otomatik olarak tüm filtrelere uygulanmamalı; veri ve içerik analiziyle desteklenmelidir.

5. Canonical, noindex ve yönlendirmeyi doğru seçin

Bu üç teknik çözüm aynı problemi çözmez:

• Canonical: Benzer veya yinelenen sayfalar arasından tercih edilen URL’yi belirtir.
• Noindex: Botun erişebildiği sayfanın arama sonuçlarına alınmamasını ister.
• 301 yönlendirme: Kullanıcıyı ve botu başka bir URL’ye taşır.
• Robots.txt: Botun URL’ye erişmesini kısıtlar.

Bir ürün varyasyonunun ayrı bir arama değeri yoksa tek ürün sayfasında birleştirme veya canonical uygulanabilir. Kalıcı olarak taşınmış bir sayfa için yönlendirme daha doğru olabilir. Arama, sepet ve hesap sayfalarında ise indeksleme politikasına göre erişim ve direktifler birlikte planlanmalıdır.

6. İç bağlantıları güçlendirin

Botların önemli sayfalara ulaşabilmesi için yalnızca sitemap’e güvenmeyin. Site içi bağlantılar, bilgi mimarisini ve sayfa önceliğini anlamaya yardımcı olur.

Önemli sayfalar:

• Ana navigasyondan erişilebilir olmalı
• İlgili kategori ve rehberlerden bağlantı almalı
• Anlamlı ve açıklayıcı çapa metinleriyle desteklenmeli
• Gereksiz tıklama derinliğine gömülmemeli
• Yetim sayfa durumuna düşmemeli

İç bağlantı yapısı aynı zamanda kullanıcıların bilgi yolculuğunu kısaltır. Ticari sayfalar, konuya gerçekten katkı sunan bilgilendirici içeriklerden doğal bağlantılar almalıdır. Çok sayıda bağlantı eklemek yerine bağlamsal ve önceliklendirilmiş bir yapı kurulmalıdır.

7. Sunucu performansını izleyin

Arama motoru botları, sunucunun yanıt kapasitesini göz önünde bulundurur. Sık görülen 5xx hataları, zaman aşımı, bağlantı kopmaları ve aşırı uzun yanıt süreleri tarama verimliliğini olumsuz etkileyebilir.

Kontrol edilmesi gereken başlıklar:

• Sunucu günlüklerinde bot istekleri
• HTTP durum kodları
• Yanıt süresi ve zaman aşımı oranı
• CDN ve önbellekleme davranışı
• Ani trafik artışlarında kapasite
• Botların aynı URL’yi tekrar tekrar istemesi
• Büyük dosyaların ve gereksiz kaynakların yükü

Googlebot sunucunun sorun yaşadığını algıladığında tarama hızını düşürebilir. Sorunlar giderildikten sonra tarama kapasitesi otomatik olarak yeniden artabilir; geçici yük sorunlarında bile kalıcı ve kontrolsüz kısıtlamalardan kaçınmak gerekir.

Denetim süreci hangi sırayla yürütülmeli?

1. Hedefi belirleyin: Yeni içeriklerin daha hızlı keşfi, ürün güncellemelerinin izlenmesi veya gereksiz URL’lerin azaltılması gibi ölçülebilir bir amaç seçin.
2. Veriyi toplayın: Search Console, sitemap, sunucu günlükleri ve tarama aracı verilerini birleştirin.
3. URL’leri sınıflandırın: Değerli, yinelenen, düşük değerli, hatalı ve engellenmesi gereken grupları ayırın.
4. Teknik kararları uygulayın: Canonical, yönlendirme, noindex, robots.txt ve sitemap değişikliklerini URL türüne göre yapın.
5. İç bağlantıları düzenleyin: Öncelikli sayfaları daha kısa ve mantıklı gezinme yollarına taşıyın.
6. Sunucuyu stabilize edin: Hata, zaman aşımı ve performans sorunlarını giderin.
7. Sonuçları karşılaştırın: Değişiklik öncesi ve sonrası tarama, indeksleme, keşif ve organik performans verilerini izleyin.

Bu çalışmayı tek seferlik bir düzeltme olarak değil, site yapısı değiştikçe tekrarlanan bir teknik SEO süreci olarak ele almak gerekir. Ayrıntılı başlangıç çerçevesi için Teknik SEO denetimi rehberine başvurabilirsiniz.

Sık yapılan hatalar nelerdir?

Tüm düşük trafikli sayfaları engellemek

Düşük trafik, bir URL’nin mutlaka düşük değerli olduğu anlamına gelmez. Yeni yayınlanan, mevsimsel veya niş aramalara hizmet eden sayfalar zaman içinde değer kazanabilir. Engelleme kararı trafik yerine içerik amacı, talep, dönüşüm ve tekrar oranı birlikte değerlendirilerek verilmelidir.

Sitemap’e her URL’yi eklemek

Sitemap bir URL arşivi değildir. İndekslenmesi istenmeyen sayfaları sitemap’e eklemek, arama motoruna çelişkili sinyal verir ve tarama kaynaklarının verimsiz kullanılmasına neden olabilir.

Noindex’i robots.txt yerine her durumda kullanmak

Noindex, botun sayfayı ziyaret etmesini gerektirir. Amaç botun URL’ye hiç erişmemesi ise robots.txt veya erişim kontrolü daha uygun olabilir. Her URL türü için aynı direktifi kullanmak yerine teknik amaca göre karar verilmelidir.

Sadece taranan URL sayısını başarı kabul etmek

Daha fazla tarama, daha iyi SEO anlamına gelmez. Önemli sayfaların daha hızlı keşfedilmesi, güncellenen bilgilerin yenilenmesi, hatalı URL’lerin azalması ve indeks kalitesinin yükselmesi daha anlamlı göstergelerdir.

Tarama bütçesi nasıl ölçülür?

Ölçüm için tek bir rapor yeterli değildir. Search Console’daki tarama istatistikleri, sayfa indeksleme raporu, sitemap durumu ve sunucu günlükleri birlikte incelenmelidir. Ayrıca bir tarama aracıyla bulunan URL’ler, Google’ın gerçekten ziyaret ettiği URL’lerle karşılaştırılmalıdır.

Takip edilebilecek göstergeler:

• Günlük toplam bot isteği
• Başarılı ve hatalı yanıt oranı
• Önemli URL’lerin son taranma zamanı
• Gereksiz parametreli URL istekleri
• Sitemap’teki URL’lerin indeks durumu
• Yetim ve derin sayfa sayısı
• Sunucu yanıt süresi
• Yeni veya güncellenen sayfaların keşif süresi

Google Search Console, sitenin nasıl tarandığı, indekslendiği ve arama sonuçlarında sunulduğu konusunda raporlar sağlar; URL Denetleme aracı da sayfa düzeyinde mevcut indeks durumunu incelemek ve yeniden tarama isteği göndermek için kullanılabilir.

Mimoza Bilişim ile sürdürülebilir teknik yaklaşım

Mimoza Bilişim için tarama bütçesi optimizasyonu, tek başına robots.txt düzenlemekten ibaret değildir. URL envanteri, içerik değeri, iç bağlantılar, sunucu davranışı ve indeksleme sinyalleri birlikte değerlendirilir.

Özellikle büyük kataloglarda otomasyon; URL sınıflandırma, benzer sayfaları tespit etme, sitemap üretme ve teknik hataları önceliklendirme süreçlerini hızlandırabilir. Bununla birlikte otomasyonun her URL için aynı SEO kararını vermesi yerine, iş değeri ve arama amacıyla beslenen kurallı bir sistem kurulmalıdır.

Doğru optimizasyonun sonucu, botların daha fazla sayfa gezmesi değil; doğru sayfaları daha az kaynak israfıyla bulmasıdır. Bu yaklaşım, teknik SEO altyapısını güçlendirirken içerik ekiplerinin ve arama deneyimi optimizasyonunun daha etkili çalışmasına da zemin hazırlar.