Web Sitesi Log Dosyası Analizi Hizmeti: Teknik SEO ve Crawl Budget Rehberi

Web Sitesi Log Dosyası Analizi Hizmeti, sunucu access log kayıtlarını inceleyerek arama motorlarının ve doğrulanabilir yapay zekâ crawler’larının web sitenizle nasıl etkileşime girdiğini ortaya çıkarır. Bu çalışma; hangi URL’lerin tarandığını, hangi sayfaların ihmal edildiğini, botların hangi hatalarla karşılaştığını ve crawl kaynaklarının hangi URL türlerinde tüketildiğini ölçülebilir hâle getirir.

Google Search Console, crawl istatistiklerini ve indeksleme sonuçlarını özetler; ancak URL düzeyindeki her isteği, tam zaman damgasını ve sunucunun verdiği yanıtı göstermez. Ham sunucu logları bu nedenle teşhis sürecinin temel veri kaynağıdır. Google’ın crawl budget açıklamasına göre crawl budget, Google’ın belirli bir host üzerinde tarayabildiği ve taramak istediği URL’lerle ilgilidir; çoğu küçük sitede ayrı bir optimizasyon projesi gerektirmez.

Önemli noktalar

• Loglar gerçek bot isteklerini gösterir; site crawler’ları ise çoğunlukla simülasyon yapar.
• User-agent bilgisi bot doğrulaması için başlangıçtır, kanıt değildir.
• 4xx, 5xx, gereksiz 3xx ve parametreli URL kümeleri öncelikli incelenir.
• noindex, URL’nin taranmasını engellemez; taramayı sınırlamak için uygun robots.txt veya sunucu kuralı değerlendirilmelidir.
• Yapay zekâ botları eğitim, arama ve kullanıcı talebi amaçları bakımından birbirinden ayrılmalıdır.
• Hiçbir log bulgusu tek başına sıralama veya trafik artışı garantisi vermez.

Web Sitesi Log Dosyası Analizi Hizmeti neden stratejiktir?

Bir web sitesinin taranabilir olması, tüm önemli sayfaların düzenli olarak tarandığı anlamına gelmez. Arama motoru botları; filtre, sıralama, oturum, dahili arama, eski URL, yönlendirme ve düşük değerli sayfalar arasında zaman harcayabilir. Log analizi, bu davranışı varsayım yerine gerçek istekler üzerinden inceler.

Çalışma özellikle büyük e-ticaret kataloglarında, haber ve içerik portallarında, çok dilli yapılarda, marketplace’lerde, sık migration geçiren projelerde ve yoğun JavaScript kullanan platformlarda değerlidir. Birkaç yüz sayfalık, düzenli çalışan bir kurumsal sitede ise önce Search Console, sitemap, robots.txt, iç bağlantılar ve sunucu sağlığı kontrol edilmelidir.

Log dosyaları hangi bilgileri içerir?

Yapılandırmaya göre her access log satırında istemci IP’si, tarih ve saat, HTTP metodu, istenen URL, protokol, yanıt kodu, gönderilen byte miktarı, referer ve user-agent yer alabilir. Yanıt süresi, host adı, cache durumu ve CDN bilgileri ayrıca tutulabilir.

Bu alanlar birlikte değerlendirildiğinde yalnızca “bot geldi mi?” sorusu değil; botun hangi şablonu, hangi dizini, hangi parametreyi, hangi sıklıkta ve hangi performansla ziyaret ettiği anlaşılır. Kişisel veri ve IP adresleriyle çalışırken erişim yetkileri, saklama süresi ve anonimleştirme politikaları ayrıca ele alınmalıdır.

Hangi teknik SEO sorunları tespit edilir?

• Parametre ve faceted navigation israfı: Filtre, sıralama, izleme ve dahili arama URL’lerinin gereğinden fazla taranması.
• Önemli sayfaların az taranması: Ürün, kategori, hizmet veya rehber sayfalarının sitemap’te olmasına rağmen düşük tarama alması.
• 404 ve 410 kümeleri: Silinmiş içeriklerin, eski bağlantıların veya sitemap hatalarının tekrarlı istek üretmesi.
• 5xx ve 429 yanıtları: Sunucu kapasitesi, firewall veya rate-limit yapılandırmasının bot erişimini aksatması.
• Yönlendirme zincirleri: Eski URL’nin birden fazla ara adresten geçerek nihai sayfaya ulaşması.
• Orphan URL’ler: Sitede aktif iç bağlantısı bulunmayan ancak geçmiş linkler, sitemap veya harici bağlantılar nedeniyle taranan adresler.
• Statik kaynak yükü: CSS, JavaScript, görsel veya JSON isteklerinin HTML içeriklerine kıyasla olağandışı paya ulaşması.
• Bot taklitleri: Gerçek Googlebot veya Bingbot gibi görünen fakat resmî IP doğrulamasından geçmeyen istekler.

Googlebot ve diğer crawler’lar nasıl doğrulanır?

Bir user-agent satırında “Googlebot” yazması yeterli değildir. Google’ın güncel dokümantasyonu, botun ters DNS ile Google’a ait alan adına çözülmesini ve ardından bu alan adının aynı IP’ye geri çözülmesini veya IP’nin yayımlanmış aralıklarla eşleşmesini önerir.

Benzer kontrol Bingbot ve AI crawler’ları için ilgili işletmecinin resmî IP listeleriyle yapılır. Doğrulanmamış botları “arama motoru botu” kabul ederek rapora dâhil etmek, crawl budget ve güvenlik kararlarını yanıltabilir.

Web Sitesi Log Dosyası Analizi Hizmeti nasıl yürütülür?

1. Hedef ve kapsam belirlenir: Ana domain, alt domainler, CDN, sunucu türü, incelenecek botlar ve iş öncelikli URL grupları tanımlanır.
2. Ham veriler alınır: Mümkünse 30–90 günlük sıkıştırılmamış veya arşivlenmiş access loglar güvenli kanaldan teslim edilir. Apache, Nginx, IIS, load balancer ve CDN kayıtlarının kapsamı karşılaştırılır.
3. Veri temizlenir: Tekrarlı kayıtlar, sağlık kontrolleri, iç sistem istekleri ve bot taklitleri ayrıştırılır. Saat dilimi ve URL kodlama farklılıkları standartlaştırılır.
4. Crawler’lar sınıflandırılır: Googlebot, Bingbot, AdsBot, OAI-SearchBot, GPTBot, ClaudeBot ve diğer tanımlı agent’lar amaçlarına göre gruplanır.
5. URL kümeleri oluşturulur: Ürün, kategori, makale, hizmet, filtre, arama, pagination, medya ve statik kaynak şablonları ayrılır.
6. Metrikler hesaplanır: Benzersiz URL, toplam istek, tarama sıklığı, yanıt kodu, yanıt süresi, veri boyutu ve dizin bazlı crawl payı çıkarılır.
7. İş önceliğiyle eşleştirilir: Log bulguları sitemap, site crawler çıktısı, Search Console, Bing Webmaster Tools ve analitik verilerle karşılaştırılır.
8. Aksiyon planı hazırlanır: Her bulgu için etki, uygulanabilirlik, sorumlu ekip, öncelik ve doğrulama metriği tanımlanır.
9. Sonuç izlenir: Değişiklikten sonraki 7–30 günlük loglar ve Search Console trendleri önceki dönemle karşılaştırılır.

Hangi raporlar hazırlanır?

• Bot ve crawler dağılım raporu
• URL şablonlarına göre crawl budget raporu
• Yanıt kodu ve sunucu hata raporu
• Az taranan önemli sayfalar listesi
• Parametre, filtre ve dahili arama URL’leri raporu
• Yönlendirme zinciri ve eski URL raporu
• Orphan URL ve sitemap karşılaştırması
• Bot doğrulama ve şüpheli trafik raporu
• Önceliklendirilmiş teknik uygulama planı

Crawl budget nasıl optimize edilir?

Önce sorunun gerçekten crawl budget kaynaklı olduğu kanıtlanmalıdır. Google, birkaç bin URL’ye sahip çoğu sitenin verimli tarandığını belirtir; büyük, hızlı değişen veya milyonlarca URL üreten yapılarda konu daha kritik hâle gelir.

Uygulanabilecek düzeltmeler şunlardır:

• Gereksiz parametre kombinasyonlarını üretmemek veya kontrollü biçimde erişilebilir kılmak.
• Sitemap’te yalnızca kanonik ve indekslenmesi istenen URL’leri tutmak.
• İç bağlantıları iş değeri yüksek sayfalara yönlendirmek.
• Yönlendirmeleri doğrudan nihai URL’ye bağlamak.
• Kalıcı olarak kaldırılan içeriklerde 410 veya uygun 404 yanıtı kullanmak.
• 5xx ve 429 hatalarının kaynağını sunucu, CDN ve WAF katmanlarında çözmek.
• Robots.txt ile noindex’in farklı amaçlara hizmet ettiğini dikkate almak.
• Googlebot’un gerekli CSS ve JavaScript kaynaklarına erişimini yanlışlıkla engellememek.
• Sunucu yanıt süresini, cache politikasını ve veri boyutunu iyileştirmek.

Google Search Console ile log analizi arasındaki fark nedir?

AEO, GEO ve AIO açısından log analizi ne sağlar?

Log analizi, yapay zekâ görünürlüğünü doğrudan ölçmez; bir modelin markanızı yanıtında anacağını veya kaynak göstereceğini kanıtlayamaz. Bununla birlikte hangi içeriklerin OpenAI, Anthropic veya diğer doğrulanabilir crawler’lar tarafından erişildiğini ve hangi sunucu yanıtlarının verildiğini gösterir.

OpenAI, OAI-SearchBot’un ChatGPT arama sonuçlarında kullanılabildiğini, GPTBot’un ise generative AI temel modellerinin geliştirilmesine katkı sağlayabilecek içerikleri taradığını belirtir. Bu iki ayar robots.txt içinde birbirinden bağımsız ele alınabilir. Anthropic de ClaudeBot, Claude-SearchBot ve Claude-User gibi farklı amaçlara sahip crawler’ları ayrı tanımlar; güncel bot politikaları düzenli olarak kontrol edilmelidir.

Bu nedenle raporda şu ayrımlar yapılır:

• Arama ve retrieval crawler’larının erişebildiği bilgi sayfaları
• Eğitim amaçlı crawler’lar için kurum politikası
• Kullanıcı talebiyle çalışan fetcher’ların farklı davranışları
• AI crawler’ların aldığı 200, 3xx, 4xx, 5xx ve 429 yanıtları
• Yapay zekâ yanıtlarına kaynak olma potansiyeli taşıyan, açık ve güncel içerik kümeleri

AI görünürlüğü için teknik erişim kadar açık bilgi mimarisi, güvenilir kaynaklar, özgün içerik, yapılandırılmış veri ve marka tutarlılığı da gereklidir. Bu kapsam, GEO Ajansı: Yapay Zekâ Cevaplarında Marka Görünürlüğü hizmetiyle birlikte değerlendirilebilir.

Hangi işletmeler için uygundur?

Hizmet; büyük e-ticaret siteleri, çok dilli platformlar, içerik portalları, marketplace’ler, SaaS ürünleri, haber siteleri, sık migration yaşayan projeler ve çok sayıda URL üreten WordPress yapıları için uygundur. Küçük sitelerde ise log analizi; ani indeksleme düşüşü, bot hataları, site taşıma, yeniden yapılandırma veya güvenlik şüphesi gibi belirgin bir neden olduğunda öncelik kazanır.

Analiz ne kadar sürer?

Süre; log hacmine, sunucu erişimine, URL sayısına, CDN katmanına, bot sayısına ve raporun yalnızca teşhis mi yoksa uygulama desteği mi içerdiğine bağlıdır. Küçük ve orta ölçekli projelerde veri hazırlığı ve raporlama birkaç iş haftasında tamamlanabilir. Büyük ve çok dilli yapılarda veri temizleme, segmentasyon, teknik toplantılar ve doğrulama aşamaları daha uzun sürer. Sabit süre yerine kapsam bazlı planlama daha sağlıklıdır.

Başarı hangi KPI’larla ölçülür?

• İş değeri yüksek URL’lerin taranma sıklığı
• Parametreli ve düşük değerli URL’lerin toplam crawl payı
• Googlebot ve Bingbot için 4xx, 5xx ve 429 oranı
• Yönlendirme isteği ve zincir sayısı
• Önemli sayfalara ilk tarama süresi
• Sunucu yanıt süresi ve indirilen veri miktarı
• Sitemap URL’leri ile taranan ve indekslenen URL’ler arasındaki fark
• Değişiklik sonrası Search Console indeksleme ve crawl trendleri
• Doğrulanmış AI crawler erişimi ve bot kaynaklı sunucu yükü

Bu KPI’lar dönemsel karşılaştırılmalı; trafik, sıralama veya yapay zekâ görünürlüğündeki değişimler yalnızca log analizine bağlanmamalıdır. Algoritma değişiklikleri, içerik kalitesi, bağlantılar, rekabet, sezonluk talep ve teknik uygulamanın doğruluğu sonucu etkileyebilir.

Sonuç

Web Sitesi Log Dosyası Analizi Hizmeti, arama motorlarının sitenizi nasıl taradığını tahmin etmek yerine sunucu kayıtlarından incelemenizi sağlar. Doğru bot doğrulaması, URL segmentasyonu, Search Console karşılaştırması ve önceliklendirilmiş uygulama planı sayesinde teknik SEO kararları daha şeffaf hâle gelir.

Özellikle migration sonrası trafik ve indeksleme sorunlarında, 301 Yönlendirmesi Sonrası Trafik Kaybı Desteği ile birlikte yönlendirme ve bot davranışı analiz edilebilir. AI arama görünürlüğü için de erişim politikasının, içerik mimarisinin ve kaynak niteliğinin birlikte yönetilmesi gerekir.

Mimoza Bilişim, ham log verilerini teknik bulgulara, iş önceliklerine ve uygulanabilir aksiyonlara dönüştürür. Amaç yalnızca botların daha fazla istek göndermesi değil; doğru crawler’ın doğru içeriklere, doğru yanıtlarla ve sürdürülebilir sunucu performansıyla erişmesidir.

Kavramsal arka plan için yapay zekâ hakkında genel bilgi açıklamasını inceleyebilirsiniz.