Robots.txt ile URL Parametresi Engelleme: Güncel Teknik SEO Rehberi

Robots Txt ile URL Parametresi Engelleme, arama motoru botlarının filtre, sıralama, takip ve oturum gibi düşük değerli URL varyasyonlarını taramasını sınırlamak için kullanılır. Ancak robots.txt bir dizinden kaldırma veya güvenlik mekanizması değildir; tarama kontrolü ile indeksleme kontrolü ayrı ele alınmalıdır.

Doğru uygulama için önce parametrelerin hangi sayfaları ürettiğini analiz edin, organik değeri olan URL’leri koruyun ve yalnızca gereksiz tarama alanı oluşturan kalıpları hedefleyin. Google, robots.txt dosyasını tarama tercihlerini belirtmek için kullanır; engellenen URL’ler başka sinyallerle keşfedilirse içerik taranmadan da arama sonuçlarında görünebilir.

Önemli Noktalar

• Robots.txt öncelikle taramayı yönetir; tek başına kesin indeksleme engeli değildir.
• Google için temel kurallar User-agent, Disallow, Allow ve Sitemap’tir.
• Google joker karakter olarak * ve URL sonunu belirtmek için $ destekler.
• Her parametre engellenmemelidir; ürün varyantları, sayfalama ve değerli filtreler korunabilir.
• Canonical, noindex, XML sitemap ve dahili bağlantılar birlikte değerlendirilmelidir.
• Dosya herkese açık olduğundan özel verileri robots.txt ile korumayın.

Bu konu, özellikle büyük kataloglarda ve faceted navigation kullanan e-ticaret sitelerinde önem kazanır. Parametrelerin oluşturduğu URL alanını anlamak için URL parametreleri rehberine ve tarama sorunlarını sınıflandırmak için faceted navigation SEO rehberine başvurabilirsiniz.

Robots.txt nedir ve URL parametreleriyle ilişkisi nasıldır?

Robots.txt, bir web sitesinin belirli bir host ve protokol kökünde bulunan UTF-8 kodlamalı düz metin dosyasıdır. Örneğin https://example.com/robots.txt yalnızca ilgili origin kapsamındaki kurallar için değerlendirilir. Dosya alt dizine yerleştirilerek o dizin için ayrı bir robots.txt oluşturulamaz; farklı subdomain’ler kendi dosyalarını gerektirir.

Dosyada User-agent kuralın hangi botlara uygulanacağını, Disallow belirli URL yollarının taranmasını sınırlamayı, Allow ise daha özel bir istisnayı ifade eder. Sitemap satırı XML sitemap’in mutlak adresini bildirir. Google, robots.txt dosyasının ilk 500 KiB’lik bölümünü işler; bu nedenle binlerce URL’yi tek tek yazmak yerine kontrollü kalıplar tercih edilmelidir.

Robots.txt’nin tarihsel arka planını ve Robots Exclusion Protocol yaklaşımını açıklayan robots exclusion standard açıklamasını ayrıca inceleyebilirsiniz. Wikipedia kaynak olarak tek başına uygulama kararı vermek için yeterli değildir; canlı yapılandırmada arama motorlarının güncel belgeleri esas alınmalıdır.

URL parametreleri hangi SEO sorunlarını oluşturur?

URL parametreleri, soru işaretinden sonra gelen sorgu bileşenleridir. /urun?color=black, /kategori?sort=price ve /arama?s=telefon örneklerinde parametreler kullanıcı deneyimine hizmet eder. Sorun, aynı içeriği küçük değişikliklerle tekrar tekrar sunan veya sınırsız kombinasyonlar üreten parametrelerde ortaya çıkar.

Filtre, sıralama ve arama seçenekleri botların çok geniş bir URL alanını keşfetmesine yol açabilir. Bu durum sunucu kaynaklarını tüketebilir, loglarda düşük değerli istekleri artırabilir ve yeni içeriklerin keşfini geciktirebilir. Yine de her filtre URL’si gereksiz değildir: aranabilir bir ürün kümesi, benzersiz metin, talep ve dönüşüm potansiyeli taşıyan fasetler indekslenebilir.

Hangi parametreler genellikle düşük değerlidir?

Robots.txt ile URL parametresi nasıl engellenir?

Robots Txt ile URL Parametresi Engelleme sırasında parametre adının URL’deki konumunu hesaba katın. İlk parametre soru işaretinden sonra geliyorsa /*?sort=, başka bir parametreden sonra geliyorsa /*&sort= kalıbı gerekebilir. Parametre sırası değişebiliyorsa iki biçimi de test edin.

User-agent: *

# Takip parametreleri
Disallow: /*?utm_
Disallow: /*&utm_

# Sıralama parametreleri
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=

# Dahili arama
Disallow: /*?s=
Disallow: /*&s=

Sitemap: https://example.com/sitemap.xml

* sıfır veya daha fazla karakterle eşleşir; $ ise eşleşmenin URL sonunda bitmesini sağlar. URL yolları büyük-küçük harfe duyarlıdır. Bu nedenle /Shop/ ve /shop/ aynı kabul edilmez. Joker karakterler düzenli ifade değildir; yalnızca desteklenen sınırlı desen mantığını kullanın. Google ve Bing’in yorumlama ayrıntıları farklı olabileceğinden, her iki bot için de temsilî URL’ler test edilmelidir.

Fasetli navigasyon için güvenli örnek

User-agent: *
Disallow: /*?*color=
Disallow: /*?*size=
Disallow: /*?*brand=

Sitemap: https://example.com/sitemap.xml

Bu örnek yalnızca ilgili filtrelerin organik değer üretmediği doğrulanırsa uygulanmalıdır. color, size veya brand parametreleri benzersiz ürün grupları, arama talebi ve ticari amaç taşıyorsa engelleme yanlış olur. Böyle bir durumda tutarlı URL yapısı, canonical, dahili bağlantı ve erişilebilir sitemap birlikte planlanmalıdır.

Robots.txt, noindex ve canonical arasındaki fark nedir?

Google, robots.txt içinde noindex kullanılmasını desteklemez. URL robots.txt ile engellendiğinde bot HTML’yi alamayacağı için meta noindex’i de göremez; bu nedenle aynı URL’de iki talimat birbirini zayıflatabilir. İndekslemeyi kontrol etmek istiyorsanız URL’yi taranabilir bırakın ve noindex kullanın.

Canonical ise yinelenen veya benzer URL’ler arasında tercih sinyali verir; robots.txt yerine geçmez. Parametreli URL’leri canonical ile birleştirmek istiyorsanız botların sayfayı görebilmesi, canonical etiketini okuyabilmesi ve dahili bağlantıların tercih edilen URL’ye yönelmesi gerekir.

Robots Txt ile URL Parametresi Engelleme süreci nasıl yürütülür?

1. URL envanteri çıkarın: Sunucu logları, tarama araçları, Search Console, analitik verileri ve sitemap’leri inceleyin.
2. Parametreleri sınıflandırın: Takip, filtre, sıralama, arama, oturum, sayfalama ve varyant gruplarını ayırın.
3. Değerli URL’leri koruyun: Trafik, dönüşüm, arama talebi veya benzersiz içerik sağlayan varyantları engellemeyin.
4. Kural taslağı hazırlayın: En dar ve anlaşılır desenlerle başlayın; Disallow: / gibi geniş kuralları özel onay olmadan kullanmayın.
5. Sinyalleri hizalayın: Engellenen URL’leri sitemap’e eklemeyin; canonical ve dahili bağlantıları tercih edilen URL’lerle tutarlı hâle getirin.
6. Test edin: Engellenmesi gereken, açık kalması gereken ve Allow istisnası içeren URL’leri kontrol edin.
7. Yayın sonrası izleyin: Loglarda bot isteklerini, Search Console tarama raporlarını, indeks durumunu ve sunucu kaynaklarını karşılaştırın.

Canlıya almadan önce mevcut robots.txt içeriğini, HTTP durumunu, Content-Type başlığını, dosya boyutunu ve CDN önbelleğini kaydedin. Her joker karakter için farklı parametre sıralarını, kodlanmış karakterleri, trailing slash varyasyonlarını ve önemli CSS-JavaScript kaynaklarını kontrol edin.

En yaygın robots.txt hataları nelerdir?

• Tüm siteyi yanlışlıkla engellemek: Disallow: / ana sayfa ve kritik içeriklerin taranmasını durdurabilir.
• Güvenlik amacıyla kullanmak: Dosya herkese açıktır; özel alanlar kimlik doğrulama ve erişim kontrolüyle korunmalıdır.
• CSS ve JavaScript’i engellemek: Sayfanın işlenmesi ve ana içeriğin anlaşılması zorlaşabilir.
• Sayfalamayı topluca engellemek: Yeni ürün ve içeriklerin keşfi bozulabilir.
• Yanlış parametre konumu yazmak: Yalnızca ?sort= kalıbını eklemek, &sort= varyasyonlarını kapsamayabilir.
• Engellenen URL’yi sitemap’e eklemek: Sitemap erişilebilir ve tercih edilen URL’leri içermelidir.
• robots.txt’yi geçici yük dengeleme aracı sanmak: Değişiklikler indeks ve keşif süreçlerini etkileyebileceğinden geri dönüş planı hazırlanmalıdır.

SEO, AEO, GEO ve yapay zekâ görünürlüğüne etkisi

Robots.txt’nin bir siteyi otomatik olarak yapay zekâ yanıtlarında görünür hâle getirdiğine dair genel bir garanti yoktur. Gereksiz parametreleri azaltmak; botların eriştiği içerik kümesini sadeleştirebilir, kanonik mimariyi güçlendirebilir ve teknik kaliteyi destekleyebilir. Bu katkı doğrudan sıralama vaadi değil, erişilebilirlik ve bilgi mimarisi üzerinden dolaylı bir etkidir.

Google-Extended, Google Search için kullanılan Googlebot ile aynı amaçta değildir. Google’ın açıklamalarına göre Google-Extended kontrolü Gemini eğitim ve grounding kullanımlarını etkileyebilir; Google Search’e dahil olma veya sıralama üzerinde etkisi olduğu belirtilmez. Bu nedenle yapay zekâ politikası belirlerken Googlebot, Google-Extended, arama amaçlı AI botları ve eğitim amaçlı botları ayrı değerlendirin.

Arama görünürlüğünü korumak isteyen bir site, Googlebot ve Bingbot’un kritik sayfalara erişimini engellememelidir. AI crawler politikası ise içerik lisansı, marka görünürlüğü, kaynak koruması ve referans trafiği gibi iş hedefleriyle birlikte kararlaştırılmalıdır. Tek bir genel “AI botlarını engelle” kuralı, farklı kullanım amaçlarını birbirine karıştırabilir.

Sonuç

Robots Txt ile URL Parametresi Engelleme, gereksiz filtre, sıralama, takip ve oturum URL’lerinin tarama alanını azaltmak için güçlü fakat sınırlı bir tekniktir. En iyi sonuç, parametre envanteri çıkarıldıktan ve değerli fasetler ayrıştırıldıktan sonra dar kapsamlı kurallarla elde edilir.

URL yapısını değiştirmeden teknik mimariyi geliştirmek için robots.txt kurallarını canonical, noindex, XML sitemap, dahili bağlantılar ve log analiziyle birlikte yönetin. Daha geniş bir uygulama çerçevesi için 2026 teknik SEO kontrol listesini inceleyebilirsiniz.

Bilgi güncelleme tarihi: 20 Ekim 2026.