Robots.txt ile URL Parametresi Engelleme: Güncel Teknik SEO Rehberi

Robots Txt ile URL Parametresi Engelleme, robots.txt dosyasındaki kurallarla arama motoru botlarının gereksiz parametreli URL’leri taramasını sınırlamaktır. En doğru kullanım; filtre, sıralama, takip veya sınırsız URL üreten parametrelerin tarama yükünü azaltmaktır. Bu işlem bir dizinden kaldırma veya güvenlik yöntemi değildir; tarama kontrolü ile indeksleme kontrolü birbirinden ayrılmalıdır.

Google’ın güncel belgelerine göre robots.txt dosyası, botların hangi URL yollarına erişebileceğini yönetir; engellenen URL’ler başka sinyallerle keşfedilirse içerik taranmadan da arama sonuçlarında görünebilir.

Önemli Noktalar

• robots.txt öncelikle taramayı yönetir; tek başına kesin indeksleme engeli değildir.
• Google’ın desteklediği temel kurallar User-agent, Allow, Disallow ve Sitemap’tir.
• Google, Bing ve diğer büyük arama motorları robots.txt içinde sınırlı olarak * ve $ joker karakterlerini destekler.
• Her parametre engellenmemelidir; bazıları ürün varyantı, sayfalama veya benzersiz içerik oluşturabilir.
• Canonical, sitemap ve iç bağlantılar robots.txt stratejisiyle birlikte değerlendirilmelidir.
• Google Search Console URL Parametreleri aracı 2022’de kaldırılmıştır.

Robots.txt nedir?

robots.txt, bir web sitesinin kök dizininde bulunan, botlara tarama tercihlerini bildiren UTF-8 kodlamalı düz metin dosyasıdır. Örneğin https://example.com/robots.txt yalnızca ilgili protokol, host ve port kapsamındaki URL’ler için geçerlidir. Alt dizine yerleştirilen bir robots.txt dosyası ayrı bir kural dosyası olarak kullanılmaz.

Dosyanın temel yapısı şöyledir:

User-agent: *
Disallow: /private/
Sitemap: https://example.com/sitemap.xml

User-agent kuralın hangi botlara uygulanacağını belirtir. Disallow belirli bir yolun taranmasını sınırlar, Allow daha geniş bir engel içindeki istisnayı tanımlar ve Sitemap tercih edilen site haritasının tam adresini bildirir. Google’ın robots.txt dosyası için 500 KiB sınırı vardır; bu nedenle binlerce URL’yi tek tek yazmak yerine anlamlı kalıplar kullanılmalıdır.

URL parametreleri hangi sorunları oluşturur?

URL parametreleri, soru işaretinden sonra gelen ve genellikle anahtar=değer biçiminde yazılan sorgu bileşenleridir. Örneğin /urun?color=black, /kategori?sort=price veya /arama?s=telefon. Parametreler kullanıcı deneyimi için gerekli olabilir; sorun, aynı veya çok benzer içeriği sınırsız kombinasyonlarla üretmeleridir.

Faseted navigation, filtreleri ve sıralamaları URL parametreleriyle oluşturduğunda çok büyük bir URL alanı meydana gelebilir. Google, bu URL’lerin yararlı olup olmadığını anlamak için önce onları taramak zorunda kalabilir. Sonuç olarak sunucu kaynakları tüketilebilir ve yeni, değerli sayfaların keşfi yavaşlayabilir.

Bu nedenle öncelikle URL envanteri çıkarılmalı; parametrenin sayfa içeriğini gerçekten değiştirip değiştirmediği, arama talebi taşıyıp taşımadığı ve dizine girmesinin ticari bir amacı olup olmadığı incelenmelidir. URL parametreleri hakkında kapsamlı rehber ve fasetli navigasyon SEO sorunları rehberi bu analiz için tamamlayıcı kaynaklardır.

Robots.txt ile URL parametresi nasıl engellenir?

Parametre engellemede kural, URL’nin yol bölümünde sorgu işareti ve parametre adını hedeflemelidir. Google’ın güncel sözdiziminde * sıfır veya daha fazla karakteri, $ URL’nin sonunu ifade eder. Eşleşmeler büyük-küçük harfe duyarlıdır.

User-agent: *

# Takip parametreleri
Disallow: /*?utm_
Disallow: /*&utm_

# Sıralama parametreleri
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=

# Site içi arama
Disallow: /*?s=
Disallow: /*&s=

Sitemap: https://example.com/sitemap.xml

İlk parametre URL’de soru işaretinden sonra geliyorsa /*?sort=, daha önce başka bir parametre varsa /*&sort= kalıbı gerekir. Uygulamanız parametre sırasını değiştirebiliyorsa her iki biçimi de test edin. Parametre adlarının sitedeki gerçek yazımıyla aynı olması önemlidir.

Fasetli navigasyon için örnek

User-agent: Googlebot
Disallow: /*?*color=
Disallow: /*?*size=
Disallow: /*?*brand=
Allow: /*?category=all$

Bu örnek yalnızca filtreli URL’leri hedeflemek için kullanılabilir; fakat color, size veya brand parametreleri benzersiz, aranabilir ve ticari açıdan değerli sayfalar oluşturuyorsa kural uygulanmamalıdır. Google, indekslenmesi istenmeyen fasetlerde robots.txt kullanımını; indekslenmesi gereken fasetlerde ise tutarlı URL, canonical ve 404 uygulamalarını ayrı senaryolar olarak ele alır.

Hangi parametreler engellenmeli, hangileri korunmalı?

Google, kalıcı URL’leri tercih eder; oturum kimlikleri, takip kodları ve zamana veya kullanıcıya bağlı geçici parametrelerle dahili bağlantı kurulmamasını önerir. Aynı içerik için birden fazla URL varsa gereksiz alternatifleri azaltmak, sitemap ve canonical adreslerinde aynı tercih edilen URL’yi kullanmak gerekir.

Robots.txt, noindex ve canonical arasındaki fark nedir?

Robots.txt: Botun URL’yi istemesini engeller. Bu, tarama bütçesini ve sunucu yükünü yönetmek için uygundur.

Noindex: Botun sayfayı tarayıp noindex talimatını görmesini gerektirir. Sayfa arama sonuçlarından çıkarılmak isteniyorsa kullanılabilir. Robots.txt ile aynı URL engellenirse bot noindex talimatını göremez; bu nedenle iki kural birlikte yanlış uygulanabilir.

Canonical: Benzer veya yinelenen sayfalar arasından tercih edilen URL’yi belirtir. Canonical, robots.txt yerine geçmez ve tek başına kesin bir indeksleme emri değildir. Google, canonical belirlemek için robots.txt kullanılmasını önermemektedir.

Uygulama süreci nasıl yürütülür?

1. URL envanteri çıkarın: Tarama aracı, sunucu logları, Search Console ve analitik verilerle parametreleri gruplayın.
2. İşlevi sınıflandırın: Her parametrenin filtre, sıralama, takip, oturum, sayfalama veya ürün varyantı olduğunu belirleyin.
3. Değerli URL’leri ayırın: Organik trafik, dönüşüm, arama talebi ve benzersiz içerik taşıyan varyantları engellemeyin.
4. Kural taslağı hazırlayın: Önce belirli kalıpları ve istisnaları değerlendirin; geniş Disallow: / kuralını canlı sitede kullanmadan önce mutlaka kontrol edin.
5. Canonical ve sitemap’i uyumlu hâle getirin: Sitemap’e yalnızca arama sonuçlarında görülmesi istenen tam URL’leri ekleyin.
6. Test edin: robots.txt dosyasının 200 durum koduyla, düz metin ve doğru host üzerinde sunulduğunu; önemli URL’lerin engellenmediğini doğrulayın.
7. İzleyin: Sunucu loglarını, Search Console tarama ve dizin raporlarını, organik trafik ile sunucu yükünü karşılaştırın.

Google, robots.txt dosyası yüklendikten sonra dosyayı otomatik olarak keşfeder. Güncel Search Console araçları ve yerel testler, kuralların hangi URL’lerle eşleştiğini kontrol etmek için kullanılabilir.

Yaygın hatalar nelerdir?

• Tüm siteyi yanlışlıkla engellemek: Disallow: / yalnızca planlı ve geçici olmayan senaryolarda kullanılmalıdır.
• robots.txt’yi güvenlik duvarı sanmak: Dosya herkese açıktır ve özel içeriği gizlemez. Gizli veriler parola koruması veya erişim kontrolüyle korunmalıdır.
• Önemli CSS ve JavaScript kaynaklarını engellemek: Google sayfayı doğru işleyemeyebilir. Kritik kaynaklar erişilebilir bırakılmalıdır.
• Sayfalama URL’lerini topluca engellemek: Ürün veya içerik keşfi bozulabilir. Her sayfa benzersiz ve taranabilir olmalıdır.
• Hatalı joker karakter kullanmak: Parametrenin ilk sırada mı yoksa sonraki sırada mı geldiği test edilmelidir.
• Sitemap’e engellenen URL eklemek: Sitemap, tercih edilen ve erişilebilir URL’leri göstermelidir.
• robots.txt değişikliklerini sürekli açıp kapatmak: Bu dosya geçici bütçe aktarımı için değil, uzun vadeli tarama kontrolü için kullanılmalıdır.

AEO, GEO ve yapay zekâ görünürlüğü açısından etkisi

Robots.txt’nin bir web sitesini otomatik olarak yapay zekâ yanıtlarında görünür hâle getirdiğine dair doğrulanmış bir garanti yoktur. Bununla birlikte, gereksiz parametreli URL’leri azaltmak; botların eriştiği içerik setini daha anlaşılır kılabilir, yinelenen kaynakları azaltabilir ve kanonik bilgi mimarisini destekleyebilir. Bu nedenle etki doğrudan bir sıralama vaadi değil, teknik düzen ve erişilebilirlik üzerinden dolaylı bir katkıdır.

Google’ın botları için belirli kullanıcı ajanlarına ayrı kurallar yazılabilir. Örneğin Google-Extended, Gemini uygulamaları ve Vertex AI API için gelecekteki model eğitimi ile grounding kullanımına ilişkin bir kontrol belirtecidir; Google bunun Google Search’e dahil olmayı veya Search sıralamasını etkilemediğini açıklar.

Sonuç

Robots Txt ile URL Parametresi Engelleme, özellikle büyük kataloglarda, e-ticaret sitelerinde, arama sonuçlarında ve filtreli navigasyonda gereksiz taramayı azaltmak için kullanılabilir. Başarılı bir uygulama; parametre envanteri, iş hedefleri, canonical sinyalleri, dahili bağlantılar, sitemap ve log analizi birlikte değerlendirilerek yapılır.

URL yapısını değiştirmeden teknik mimariyi güçlendirmek için URL parametrelerinin dizine eklenme sorunları ve e-ticarette yinelenen içerik yönetimi rehberlerini de inceleyebilirsiniz.

Bilgi güncelleme tarihi: 5 Ekim 2026.

Kavramsal arka plan için yapay zekâ hakkında genel bilgi açıklamasını inceleyebilirsiniz.