SEO için Log Analizini Kullanmak

Google tarafında teknik SEO en önemli metriklerden birisi. Özellikle büyük ölçekli sitelerin Google’ın siteyi gezmek için ayırdığı zamanı çok etkili bir şekilde değerlendirmeleri gerekiyor. Bunun için kullanılabilecek birkaç yöntem olmakla beraber bu yöntemlerin en zorlayıcısı Log analizi. Temelde şu şekilde çalışıyor; baktığınızda bir bilgisayar ve bir sunucu var, ikisi birbiri arasında iletişim kuruyor. Sunucunun içerisinde bilgisayarlardan yani kullanıcılardan gelen bütün istekleri SEO amaçlı olmasa da kayıt altına alınıyor.

Kayıt Altına Alınan Verilerden SEO İçin Nasıl Bir Çıkarımda Bulunabiliriz?

Öncelikle bu verinin nasıl oluştuğunu anlamaya çalışmalıyız.

1. Size bu isteği gönderen kişinin hangi IP kullandığını gösterir.
2. Google botun ne zaman sayfaya geldiğini net bir şekilde gösterir.
3. Google bottan gelen isteğin nasıl bir istek olduğunu adlandırıyor. Google bir veri isteğinde mi bulunuyor yoksa veri mi gönderiyor?
4. Request URL yani sunucu IP’si videolar ve log analizi klasöründen http protokolü ile bir veri istiyor.
5. Sunucu IP’sine verilen yanıt. Genellikle görünmek istenen 200 durum kodudur.
6. Kullanıcı kimliğini doğrudan doğruya belirtmek zorunda. Kimlikten kastedilen detaylı bir bilgilendirme değil, burada Google’ın istediği hangi tarayıcıdan ve hangi tür cihazdan girildiği.

Tüm bu işlemler şu anlama geliyor: Ben Google örümceğiyim, 34.121.48.14 numaralı IP’den geldim, senden videolar-log sayfasını GET olarak istiyorum.

Log analizi büyük siteler için milyonlarca sayfa uzunluğunda olabiliyor. Çünkü sitede yapılan her hareket bir satırlık log analizine işlenmiş oluyor. Çok büyük web siteleri ve e-ticaret siteleri için bu işlemlerin log analizinin ne kadar kalabalık dosyalar olduğunu tahmin edebilirsiniz. Genellikle bu dosyaları aylık olarak işlemek tercih ediliyor. Bununla beraber yüklenen byte’ların toplam sayısı, host adı, istek gönderen IP’nin detayları ve ne kadar zaman içerisinde bu isteğe cevap verildiği gibi bilgileri de log dosyasının içerisine kaydedilmesi mümkün. Bu verilerin tamamı datanın nereden sağlandığına göre değişebiliyor. Burada genellikle iki tip data sağlayıcı var. İlki sunucudan gelen doğrudan data, ikincisi sunucuya doğrudan istek geldiğinde arkasındaki birkaç sunucunun müsaitlik durumuna göre yönlendirme yapan cihazlar, donanım ya da yazılımla yöneten uygulayıcılar olabiliyor. Bu durumda bulunan logları alınıp kullanılacak araçlara uygun hale getirilmesi gerekiyor.

Kullanılacak metrikler:

• Hata kodları&Sunucu kodları: Google bot sunucuya geldiği zaman hangi request kodu ile cevaplandığı. 404 sayfa bulunamadı hata kodu, 500 sunucu hatası ya da 200 olumlu vs.
• Botun toplam tarama alanı: Web site içerisinde 1,5 milyondan fazla sayfanız varç Google bot gerçekten tüm sayfaları mı tarıyor yoksa tarama alanı çok daha az mı? Google bot sizin için gerçekten önemli olan sayfaları taramıyor olabilir, bunun log analizini yaptıktan sonra çok daha net görebilirsiniz.
• Botun tarama öncelikleri: Web sitesi için gerçekten önemli sayfalarda Google bot zaman geçiriyor mu? Eğer bir haber sitesiyseniz bir haberi girdikten sonra Google botun o sayfaya gelme süresi ne kadar?
• Crawl bütçesinin yanlış yorumlanması: İstenilmeyen sayfalarda Google botun çok fazla zaman geçirmesi.
• Son crawl tarihleri: Web sitesindeki bazı sayfalar güncel tutulmak isteniyor olabilir ancak Google bot güncelliği görmediği ve ziyaret etmediği sürece bu durum bir anlam ifade etmiyor.

Neleri Sormamız Gerekiyor?

• Benim tarama sıklığım nedir?: Gerçekten bütün sayfalarımı taradıktan sonra hangi sayfa grubu üzerinde Google bot veya diğer arama motorları örümcekleri yoğunlaşıyor. Bunları net bir şekilde tespit edebildikten sonra linkleme yapısındaki problemleri görebilir ve bu problemlere bağlı olarak Google’ın yanlış bölgeleri indekslediğini fark edebilirsiniz. Google botun güncel sayfalara ne sıklıkla geldiği cevaplamanız gereken en önemli sorulardan biri.
• Google’ın her ay taradığı sayfaların oranı: Google sayfanın %30’unu mu tarıyor, %70’ini sık sık taramıyor mu gibi verilere aylık olarak bakıldığı zaman link yapınız ve site dışı temel SEO’nuzda bazı problemler olduğunu fark etmenizde yardımcı olur.
• Google, site yapımının ne kadarına ulaşıyor?
• Hedef kelime önceliği ile crawl tarama alışkanlığı arasında bir benzerlik var mı?
• User agent: Google botun tarama sıklığı ile diğer arama motorlarının örümceklerinin arasında bir tarama sıklığı farkı var mı? Sunucu süreli gelen Google botun isteklerine farklı bir yanıt veriyor olabilir. Google botun ilerleme yolu, log analizine bakarak kolayca çıkarılabilir.

Kullanılabilecek Araçlar:

• Screaming Frog Log Analyzer: Hangi botların hangi sayfaları ne sıklıkta ziyaret ettiğine dair bilgiler verir.
• Oncrawl Log Analyzer: Açık kaynak log analizi aracı sayesinde kendi sisteminize kurduğunuz yapıda nasıl bir log analizi yapılabileceğine dair veriler çıkartılabilir.
• Botify Log Analyzer: Çıkarılan loglar Botify’a yüklenerek siteye gelen botun hareketlerini analiz ederek problem ve performans ölçümlemesi yapılabilir.
• Logz.io: Büyük ölçekli bir e-ticaret sitesi reel time, eş zamanlı log analizi yapmak istediğinde kullanabilir.
• Splunk: Bir yıllık bir log incelenmek isteniyorsa en mantıklı araçlardan biri Splunk’tır.