Google tarafından teknik SEO en önemli metrikler arasında görülmektedir. Büyük ölçekli olan sitelerin Google tarafından daha iyi gezinebilmesi için bu detaya dikkat edilmesi gerekmektedir. Bunun için kullanılabilecek farklı yöntemler arasında ise en zorlayıcısı log analizleri oluyor. Log analizi temelde şu şekilde çalışıyor; bir bilgisayar ve sunucu olduğunu varsayalım. İkisi birbiriyle iletişim kuruyor. Sunucunun içerisinde ise bilgisayarlardan yani kullanıcılardan gelen bütün istekler SEO amaçlı olmasa bile kayıt altına giriyor.
Kayıt Altına Alınan Verilerden SEO için Nasıl Yararlanılır?
- Size istek gönderen kişilerin hangi IP kullandığı net bir şekilde gösterilir.
- Google botlarının ne zaman sayfanıza geldiği belirginleşir.
- Google botlarından gelen isteklerin nasıl bir istek olduğu adlandırılır. Google veri isteğinde mi bulunuyor yoksa veri mi gönderiyor? Bu sorunun cevabı da netleşir.
- Request URL yani sunucu IP adresi videolar ve log analizleri klasöründen http protokolü ile bir veri ister.
- Sunucu IP’lerine verilen yanıt ortaya çıkar.
- Kullanıcı kimliğini doğrudan doğruya belirtmek zorundadır. Kimlikten kasıt, detaylı bilgilendirme değildir. Burada Google’ın istediği hangi tarayıcıdan ve hangi tür cihazlardan girildiğidir.
Bütün bu işlemler aslında kullanıcıların hangi IP numarasından geldiğinin, hangi tarayıcıdan sizi ziyaret ettiğinin ve sizden hangi sayfaları GET olarak istediklerini belirginleştirir.
Log analizleri büyük sayfalar için milyonlarca sayfa uzunluğunda bile olabilir. Çünkü sitedeki her bir hareket bir satırlık log analizine işlenir. Büyük internet siteleri ve e-ticaret siteleri için bu işlemlerin log analizleri son derece kalabalık dosyalara sahiptir. Bu dosyalar genel olarak işletmeler tarafından aylık olarak arşivlenir. Yüklenen byteların toplam sayıları, host isimleri ve istek gönderen IP’nin detaylarına kadar farklı bilgiler raporlarda yer alıyor.
Verilerin tamamı datanın nereden sağlandığına göre de değişkenlik gösterebiliyor. Burada iki tip data sağlayıcısı ortaya çıkıyor. İlki sunucudan direkt olarak gelen data, ikincisi ise sunucuya doğrudan istek geldiği zaman arkadaki birkaç sunucunun müsaitlik durumuna göre yönlendirme yapan cihazlar, donanımlar ya da yazılımı yöneten uygulayıcılar olabiliyor.
Kullanılacak metrikler:
Hata kodu ve sunucu kodları: Google botları sunucuya geldiği zaman hangi request kodu ile cevaplandığıdır. 404 sayfa bulunamadı hata kodu ve 500 sunucu hatası ya da 200 olumlu gibi kodlar bunlara örnektir.
Botların toplam tarama alanı: İnternet sitesi içerisinde 2 milyondan fazla sayfanız olduğunu varsayalım. Google botları gerçekten bütün sayfalarınızı tarıyor mu yoksa tarama alanınız daha mı kısıtlı? Google botları sizler için değerli ve önemli olan sayfaları taramıyor olabilir. Bu durumu log analizi sonrasında net bir şekilde görebilirsiniz.
Botların tarama öncelikleri: İnternet siteniz için önemli olan sayfalarda Google botları yeteri kadar zaman geçiriyor mu? Eğer haber sitesiyseniz bir haberi girdikten sonra Google botlarının o sayfaya gelme süresi nedir?
Crawl bütçesi ve yanlış yorumlanması: İstenmeyen sayfalarda Google botlarının fazla zaman geçirmesidir.
Son Crawl tarihleri: İnternet sitenizde sayfaları güncel tutmak istiyor olabilirsiniz. Ancak Google botları güncelliği görmediği ve sayfanızı ziyaret etmediği zaman bu durum pek bir anlam ifade etmiyor.
Neleri Sorgulamalısınız?
Tarama sıklığınız nedir: Gerçekten bütün sayfalarınız tarandıktan sonra hangi sayfa grupları Google botları veya diğer arama motoru örümcekleriyle yoğun bir ilişki içerisine giriyor? Bu durumu net bir şekilde tespit ettikten sonra linkleme yapınızdaki problemleri görebilir ve bu problemlere bağlı olarak Google’ın yanlış sayfaları indekslediğini fark edebilirsiniz.
Google’ın aylık taradığı sayfaların oranları: Google sayfalarınızın %20’sini mi tarıyor yoksa %70’ini mi tarıyor gibi verilere aylık olarak baktığınız zaman link yapınız ve site dışı temel SEO çalışmalarınızda ne gibi problemler olduğunu da fark edebilirsiniz.
User agent: Google botlarının tarama sıklığı ile diğer arama motorlarının botları arasında bir tarama sıklığı farkı var mı? Sunucular, süreli olarak gelen Google botlarının isteklerine farklı yanıtlar veriyor olabilir. Log analizlerine bakıldığı zaman Google botlarının ilerleme yolu net bir şekilde görülebilmektedir.
Hangi Araçlar Kullanılabilir:
Screaming Frog Log Analyzer: Botların hangi sayfaları hangi sıklıkta ziyaret ettiğine dair bilgileri size sunar.
Oncrawl Log Analyzer: Açık kaynak log analizi aracıdır. Bu araç sayesinde kendi siteminizde nasıl bir yapıda log analizi yapabileceğinize dair verilere ulaşabilirsiniz.
Botify Log Analyzer: Çıkartılan loğlar Botify’a yüklendiği zaman botların hareketleri analiz edilir. Böylelikle problem ve performans ölçümlenmesi yapılabilir.
Logz.io: Büyük ölçekteki bir e-ticaret sitesine eş zamanlı olarak log analizi yapılmak istendiği zaman bu araç kullanılabilmektedir.
Splunk: 1 yıllık bir log incelemek istiyorsanız uzun süreli incelemeler için en ideal araçlar arasındadır.