Web Sitesi Log Dosyası Analizi Hizmeti: Teknik SEO ve Crawl Budget Rehberi

Web Sitesi Log Dosyası Analizi Hizmeti, arama motorlarının ve doğrulanabilir yapay zekâ crawler’larının sitenizle gerçek sunucu kayıtları üzerinden nasıl etkileştiğini gösterir. Hangi URL’lerin tarandığını, hangi sayfaların ihmal edildiğini, botların hangi hatalarla karşılaştığını ve crawl kaynaklarının nerede tüketildiğini ölçülebilir hâle getirir.

Google Search Console genel crawl trendlerini ve indeksleme durumunu özetler; ancak her isteğin tam zamanını, URL’sini ve sunucunun verdiği yanıtı eksiksiz biçimde sunmaz. Bu nedenle ham access loglar, teknik SEO teşhisinde tamamlayıcı ve çoğu projede kritik bir veri kaynağıdır. Google’ın güncel açıklamasına göre crawl budget, bir host için Google’ın tarayabildiği ve taramak istediği URL kümesiyle ilişkilidir; küçük ve düzenli sitelerde ayrıca kapsamlı bir optimizasyon projesi gerekmeyebilir. Google’ın crawl budget rehberini inceleyebilirsiniz.

Önemli Noktalar

• Loglar gerçek sunucu isteklerini gösterir; site crawler’ları çoğunlukla simülasyon yapar.
• User-agent, bot doğrulaması için başlangıçtır; tek başına kanıt değildir.
• 4xx, 5xx, 429, gereksiz 3xx ve parametreli URL kümeleri öncelikli incelenmelidir.
• noindex, URL’nin taranmasını engellemez; robots.txt ile aynı amaca hizmet etmez.
• Yapay zekâ crawler’ları arama, eğitim ve kullanıcı talebi amaçları bakımından ayrıştırılmalıdır.
• Hiçbir log bulgusu tek başına sıralama veya trafik artışı garantilemez.

Web Sitesi Log Dosyası Analizi Hizmeti neden stratejiktir?

Bir sitenin erişilebilir olması, önemli tüm sayfaların düzenli tarandığı anlamına gelmez. Botlar filtre, sıralama, oturum, dahili arama, eski URL, yönlendirme ve düşük değerli sayfalar arasında zaman harcayabilir. Log analizi, bu davranışı varsayım yerine gerçek isteklerle inceler ve teknik ekip için önceliklendirilebilir kanıt üretir.

Çalışma; büyük kataloglarda, haber ve içerik portallarında, çok dilli yapılarda, marketplace’lerde, sık migration geçiren sitelerde ve yoğun JavaScript kullanan platformlarda daha değerlidir. Birkaç yüz sayfalık, sağlıklı bir kurumsal sitede önce sitemap, robots.txt, iç bağlantılar, Search Console ve sunucu sağlığı kontrol edilmelidir.

Sunucu log dosyaları hangi bilgileri içerir?

Yapılandırmaya bağlı olarak bir access log satırında istemci IP’si, tarih-saat, HTTP metodu, host, istenen URL, protokol, durum kodu, gönderilen byte miktarı, referer ve user-agent bulunabilir. Yanıt süresi, cache durumu, CDN katmanı ve WAF sonucu ayrıca kaydedilebilir.

Bu alanlar birlikte değerlendirildiğinde yalnızca “bot geldi mi?” sorusu yanıtlanmaz. Botun hangi şablonu, dizini veya parametreyi ne sıklıkta ziyaret ettiği; hangi yanıtı aldığı; ne kadar veri indirdiği ve sunucu kaynaklarını nasıl kullandığı görülebilir. IP adresleri ve diğer kişisel verilerle çalışırken erişim yetkisi, saklama süresi ve anonimleştirme politikası belirlenmelidir.

Hangi teknik SEO sorunları tespit edilir?

• Parametre ve faceted navigation israfı: Filtre, sıralama, izleme ve dahili arama URL’lerinin aşırı taranması.
• Önemli sayfaların az taranması: Ürün, kategori, hizmet veya rehber URL’lerinin sitemap’te bulunmasına rağmen düşük crawl alması.
• 404 ve 410 kümeleri: Silinmiş içeriklerin, eski bağlantıların veya hatalı sitemap kayıtlarının tekrarlı istek üretmesi.
• 5xx ve 429 yanıtları: Sunucu kapasitesi, WAF veya rate-limit kurallarının bot erişimini aksatması.
• Yönlendirme zincirleri: Eski URL’nin nihai sayfaya ulaşmadan birden fazla adresten geçmesi.
• Orphan URL’ler: Aktif iç bağlantısı bulunmayan ancak eski linkler, sitemap veya harici kaynaklarla keşfedilen adresler.
• Statik kaynak yoğunluğu: CSS, JavaScript, görsel veya JSON isteklerinin HTML’e göre olağandışı paya ulaşması.
• Bot taklitleri: Googlebot, Bingbot veya AI crawler gibi görünen fakat doğrulanamayan istekler.

Googlebot ve yapay zekâ crawler’ları nasıl doğrulanır?

Bir user-agent satırında “Googlebot” yazması yeterli değildir. Google, isteğin kaynağı için ters DNS sorgusu yapılmasını ve elde edilen alan adının aynı IP’ye ileri DNS ile çözülmesini veya IP’nin yayımlanmış Google aralıklarıyla eşleşmesini önerir. Bu kontroller otomatikleştirilebilir ve sahte crawler’ların raporu bozması önlenebilir. Google’ın crawler doğrulama adımları referans alınmalıdır.

Bingbot ve diğer botlarda da aynı prensip uygulanır: user-agent yalnızca sınıflandırma sinyalidir; işletmecinin güncel IP listesi veya doğrulama servisiyle desteklenmelidir. Doğrulanmayan istekleri arama motoru botu kabul etmek, crawl budget ve güvenlik kararlarını yanıltabilir.

Web Sitesi Log Dosyası Analizi Hizmeti nasıl yürütülür?

1. Kapsamı belirleyin: Ana domain, alt domainler, CDN, sunucu katmanları, incelenecek botlar ve iş değeri yüksek URL grupları tanımlanır.
2. Ham veriyi alın: Tercihen 30–90 günlük arşivlenmiş access loglar güvenli kanaldan teslim edilir. Apache, Nginx, IIS, load balancer ve CDN kayıtları karşılaştırılır.
3. Veriyi temizleyin: Yinelenen kayıtlar, sağlık kontrolleri, iç sistem istekleri, saat dilimi ve URL kodlama farklılıkları ayrıştırılır.
4. Crawler’ları sınıflandırın: Googlebot, Bingbot, AdsBot, OAI-SearchBot, GPTBot, ClaudeBot ve diğer agent’lar amaçlarına göre gruplanır.
5. URL kümeleri oluşturun: Ürün, kategori, makale, hizmet, filtre, arama, pagination, medya ve statik kaynak şablonları ayrılır.
6. Metrikleri hesaplayın: Benzersiz URL, toplam istek, durum kodu, yanıt süresi, veri boyutu ve dizin bazlı crawl payı çıkarılır.
7. Verileri eşleştirin: Log bulguları sitemap, site crawler, Search Console, Bing Webmaster Tools ve analitik verileriyle karşılaştırılır.
8. Aksiyon planı hazırlayın: Her bulgu için etki, uygulanabilirlik, sorumlu ekip, öncelik ve doğrulama metriği yazılır.
9. Sonucu doğrulayın: Değişikliklerden sonraki 7–30 günlük loglar önceki dönemle karşılaştırılır.

Hangi raporlar hazırlanır?

• Bot ve crawler dağılım raporu
• URL şablonlarına göre crawl budget raporu
• Yanıt kodu, WAF ve sunucu hata raporu
• Az taranan önemli sayfalar listesi
• Parametre, filtre ve dahili arama URL raporu
• Yönlendirme zinciri ve eski URL raporu
• Orphan URL ve sitemap karşılaştırması
• Bot doğrulama ve şüpheli trafik raporu
• Önceliklendirilmiş teknik uygulama planı

Crawl budget nasıl optimize edilir?

Önce sorunun gerçekten crawl budget kaynaklı olduğu kanıtlanmalıdır. Google’ın güncel rehberi, büyük veya çok hızlı değişen siteleri özellikle hedefler; çoğu küçük sitede güncel sitemap ve düzenli Page Indexing kontrolü yeterli olabilir. Ayrıca crawl kapasitesi yalnız Googlebot’a değil, host sağlığına ve toplam crawler yüküne bağlıdır.

• Gereksiz parametre kombinasyonlarını üretmeyin veya kontrollü erişilebilir kılın.
• Sitemap’te yalnızca kanonik ve indekslenmesi istenen URL’leri tutun.
• İç bağlantıları iş değeri yüksek sayfalara yönlendirin.
• Yönlendirmeleri doğrudan nihai URL’ye bağlayın.
• Kalıcı olarak kaldırılan içeriklerde uygun 404 veya 410 yanıtı kullanın.
• 5xx ve 429 sorunlarını sunucu, CDN ve WAF katmanlarında çözün.
• Gerekli CSS ve JavaScript kaynaklarını yanlışlıkla engellemeyin.
• Yanıt süresini, cache politikasını ve veri boyutunu iyileştirin.

Robots.txt ile noindex farklı amaçlara sahiptir. Google, noindex yönergesini okuyabilmek için sayfayı taramak zorundadır; bu nedenle yalnızca indekslemeyi engellemek isteyen projelerde noindex, taramayı engellemek isteyen senaryolarda ise uygun robots.txt kuralı değerlendirilir. noindex uygulamasının teknik koşulları ayrıca kontrol edilmelidir.

Search Console ile log analizi arasındaki fark nedir?

AEO, GEO ve AIO açısından log analizi ne sağlar?

Log analizi, yapay zekâ yanıtlarında markanızın anılacağını veya kaynak gösterileceğini kanıtlamaz. Bununla birlikte doğrulanabilir crawler’ların hangi içeriklere eriştiğini, hangi yanıtları aldığını ve sunucunun bu erişimi nasıl karşıladığını gösterir. Bu veri, erişim politikası ile içerik mimarisini birlikte değerlendirmek için kullanılır.

OpenAI, OAI-SearchBot’u ChatGPT arama sonuçlarında kullanılan crawler olarak; GPTBot’u ise generative AI temel modellerinin geliştirilmesine katkı sağlayabilecek içerikleri tarayan crawler olarak tanımlar. Bu iki ayar robots.txt içinde bağımsız ele alınabilir. OpenAI crawler açıklamalarında OAI-SearchBot, GPTBot ve ChatGPT-User ayrımları yer alır.

Rapor; arama ve retrieval crawler’larının erişebildiği bilgi sayfalarını, eğitim amaçlı crawler politikasını, kullanıcı talebiyle çalışan fetcher’ları ve AI crawler’ların aldığı 200, 3xx, 4xx, 5xx ve 429 yanıtlarını ayırmalıdır. AI görünürlüğü için teknik erişimin yanında açık bilgi mimarisi, özgün içerik, güvenilir kaynaklar, yapılandırılmış veri ve marka tutarlılığı da gerekir. Bu kapsam, GEO Ajansı hizmeti ile birlikte değerlendirilebilir.

Kimler için uygundur?

Hizmet; büyük e-ticaret siteleri, çok dilli platformlar, içerik portalları, marketplace’ler, SaaS ürünleri, haber siteleri, sık migration yaşayan projeler ve çok sayıda URL üreten WordPress yapıları için uygundur. Küçük sitelerde ise ani indeksleme düşüşü, bot hataları, site taşıma, yeniden yapılandırma veya güvenlik şüphesi olduğunda öncelik kazanır.

Başarı hangi KPI’larla ölçülür?

• İş değeri yüksek URL’lerin taranma sıklığı
• Parametreli ve düşük değerli URL’lerin toplam crawl payı
• Googlebot ve Bingbot için 4xx, 5xx ve 429 oranı
• Yönlendirme isteği ve zincir sayısı
• Önemli sayfalara ilk tarama süresi
• Sunucu yanıt süresi ve indirilen veri miktarı
• Sitemap URL’leri ile taranan ve indekslenen URL’ler arasındaki fark
• Doğrulanmış AI crawler erişimi ve bot kaynaklı sunucu yükü

Bu KPI’lar dönemsel karşılaştırılmalıdır. Trafik, sıralama veya yapay zekâ görünürlüğündeki değişimler yalnızca log analizine bağlanamaz; algoritma değişiklikleri, içerik kalitesi, bağlantılar, rekabet, sezonluk talep ve uygulama doğruluğu da sonucu etkiler.

Sonuç

Web Sitesi Log Dosyası Analizi Hizmeti, arama motorlarının sitenizi nasıl taradığını tahmin etmek yerine sunucu kayıtlarından inceler. Doğru bot doğrulaması, URL segmentasyonu, Search Console karşılaştırması ve önceliklendirilmiş uygulama planı sayesinde teknik SEO kararları daha şeffaf ve ölçülebilir olur.

Özellikle migration sonrası trafik ve indeksleme sorunlarında 301 yönlendirmesi sonrası trafik kaybı desteği ile birlikte yönlendirme ve bot davranışı analiz edilebilir. İçeriklerin arama motorları ve yapay zekâ sistemleri tarafından daha anlaşılır işlenmesi için semantik içerik mimarisi rehberi de tamamlayıcı bir kaynaktır.

Mimoza Bilişim, ham log verilerini teknik bulgulara, iş önceliklerine ve uygulanabilir aksiyonlara dönüştürür. Amaç yalnızca daha fazla bot isteği almak değil; doğru crawler’ın doğru içeriklere, doğru yanıtlarla ve sürdürülebilir sunucu performansıyla erişmesini sağlamaktır.

Kaynak notu: Log dosyaları hakkında temel kavramlar için log file açıklaması incelenebilir. Uygulama kararlarında öncelik, ilgili arama motoru ve crawler işletmecilerinin güncel resmî dokümantasyonuna verilmelidir.