Crawl Budget (Tarama Bütçesi) Google botlarının mevcut bütün sayfalarınızın günlük olarak kaç tanesinin ziyaret edildiğini ifade eden bir terimdir. Genel olarak ortalama bir rakam vermesine rağmen dinamik bir yapıya sahiptir ve günden günde bazı faktörlerin de etkisiyle değişkenlikler gösterebilmektedir.
Google Örümcekleri Nasıl Çalışıyor?
Google örümcekleri, sitelere giriş yaptıkları zaman ilk iş olarak mevcut ise robots.txt dosyasını ararlar. Robots.txt dosyasını inceleyen ve engellenen alt dizinler hariç bütün linkler Google örümcekleri tarafından taranır. Her bir sayfa tekrar tekrar taranır ve taranan sayfadaki bütün komut dosyaları ve stil dosyaları çalıştırılır. Daha sonra sayfada tespit edilen diğer linkler sıraya alınır ve onlar da sırasıyla taranır.
Botlar, önceden taranan bağlantıları da ziyaret esnasında tekrar tararlar. Bu taramaların pek çok farklı sebebi olabilir. Site haritanızda lastmod parametresi ile içeriğin güncellendiğini algılamaları da sebepler arasında yer alabilir. Ayrıca bir kişi sizin sayfanıza bağlantı vermiş de olabilir. Bu algoritmayı tam anlamıyla anlayabilmek mümkün değildir. Kısacası Google, sayfanıza gelen her şeyi tarar ve tespit ettiği linkleri de sıraya ekler. Sırasıyla o linkleri de tarar.
Tarama Bütçesi Nedir?
Google tarafından sayfaya gösterilen önem ve değere göre ziyaret edilen sayfa sayısı “Tarama Bütçesi” olarak adlandırılır. Belirli bir oranın altına düşüldüğü zaman sitenizin indeksi arama sonuçlarında güncel olmaz ve sitenizin değeri günden güne azalacaktır. Peki bu oran nasıl hesaplanır? Bunu hesaplamak için ilk önce Search Console’a girmeniz ve daha sonra menüden Google Dizini > Dizin Durumu sekmesine gelmelisiniz. Böylelikle karşınıza gelen ekrandan dizine eklenen toplam sayfa sayısını görmeye başlarsınız.
Google örümceklerinin günlük olarak kaç sayfayı taradığını görmek isterseniz Search Console > Tarama > Tarama İstatistikleri menüsüne giriş yapabilirsiniz. Buradan “Günlük Taranan Sayfa Sayısı” bölümünde yer alan “Ortalama” olarak sınıflandırılan rakamlara göz atabilirsiniz.
Tarama Bütçesi Nasıl Hesaplanır?
Örnek olarak hesaplamak gerekirse 871 toplam sayfa / 206 ortalama taranana = 4,22 tarama bütçesi demektir. Peki bu rakam bize neyi ifade etmektedir?
- Tarama bütçeniz 10’un üzerindeyse ciddi anlamda tarama bütçenizi optimize etmeniz gerekmektedir.
- Tarama bütçeniz 3’ün altındaysa fazla endişelenmenize gerek yoktur.
- Eğer iki değerin ortasındaki bir tarama bütçesiyle karşılaştıysanız “Günlük ortalama taranan sayfa sayısı” değerini daha sık kontrol etmeli ve düştüğü durumlarda hızlıca aksiyon almalısınız.
Tarama Bütçesi Neye Göre Belirlenir?
Tarama bütçesi temelde 4 ayrı faktöre göre belirlenmektedir. Faktörler arasında Google indeksine eklenen toplam sayfa sayısı, site boyutu, site hızı ve sitenin aldığı referans bağlantılar (backlink) bulunmaktadır. Gelin bu faktörleri birlikte inceleyelim.
- Google İndeksine Eklenen Toplam Sayfa Sayısı
Google botları sitenizi ziyaret ettikleri zaman site haritanızı ve mevcut indekslenmiş sayfalarınızı incelerler. İnceleme sonrasında yeni bağlantılar tespit edilirse bu bağlantılar taranır ve sınıflandırmaya tabii tutularak arama sonuçlarında gösterilir. Bu taranan her bağlantınızın iyi sıralamalara sahip olacağı anlamına gelmez. Sıralamaları etkileyen 200’ü aşkın detay bulunmaktadır. İndekslenen sayfalarınız belirli aralıklar ile Google botları tarafından tekrar ziyaret edilir ve taranır. İndeks sayısına Search Console vasıtasıyla erişebilirsiniz.
- Site Boyutu
Sitenizde yer alan görseller, HTML dosyaları, CSS veya JavaScript dosyaları Google botları tarafından indirildikten sonra taramadan geçirilir. Dosyaların her biri botların sitenize ayıracağı kaynak ve süreyi de belirlemiş olur. Siteniz büyük boyutlara sahip ise ve yeterince değerli bir site değilse Google botları sitenize daha az uğrar. Bunun sebebi ise ayıracakları kaynakların daha faza olmasıdır.
- Site Hızı
Site açılış hızı, kullanıcılar kadar önemli olduğu gibi aynı zamanda Google botları için de önemlidir. Hızlı açılan ve hızlı bir şekilde taranabilen siteler Google botları tarafından aynı hızda işlenmeye başlar. Böylelikle Google botları, ayrılmış kaynakları daha işlevsel ve verimli şekilde kullanır. Botlar, bu tür siteleri daha sık ziyaret ederek ödüllendirmeye başlarlar. Ayrıca site hızı bir sıralama faktörüdür. Bu sebeple, SEO çalışmalarının da önemli bir kısmında site açılış hızı yer almaktadır.
- Referans Bağlantılar’ın (Backlink) Sayısı
Google botları, bütün interneti tararken her bir sayfayı teker teker indeksler. İndekslenen sayfalarda yer alan linkleri de takip ederler. Google botları girdikleri sayfalarda yer alan site içine veya site dışına verilmiş bütün linkleri takip ederler. Sayfanıza başka bir siteden bağlantı verildiyse o siteye giden Google botları size de uğrarlar. Dolayısıyla referans bağlantı sayınız tarama bütçeniz ile de alakalı olacaktır.
Tarama Bütçesi (Crawl Budget) Nasıl Optimize Edilir?
İlk etapta sitenizde meydana gelen yönlendirme sorunları, kırık linkler ve alakasız sayfalara yönlendirilen bağlantıları ortadan kaldırmalısınız. Google botları bu tür durumlarda ne yapacağını bilemediği için size eksi puan verebilir. Ana sayfadan ve alt sayfalarınızdan çıkan bağlantıların 200 kodu ile yönlendirildiğinden ve alakalı sayfalar olduğundan da emin olmalısınız.
Site içi bir bağlantınız yine site içi başka bir bağlantıya 301 ya da 302 yönlendirmesiyle gittiyse Google botları bu bağlantıları takip etmeme hakkına sahiptir. Böyle bir linke denk gelindiği zaman daha sonra incelenecekler listesine linkler gider. Ancak 200 koduyla doğrudan yönlendirilen sayfalar Google botları tarafından daha sonra değerlendirilecek bağlantılar olarak değil, hemen taranacak bağlantılar arasına girer.
Gereksiz Dizinleri Engelleyin
Sitede yer alan ve Google botları tarafından taranabilecek gereksiz bütün sayfalarınızı engelleyin. E-ticaret sitelerindeki beden hesaplama ve kargo firmalarıyla ilgili bilgilendirme sayfaları bu sayfalara en iyi örnekler arasında yer almaktadır. Gereksiz sayfaları her seferinde Google botları taradığı zaman indekslenmede gereksiz bir iş yükü ortaya çıkacaktır.
Referans Bağlantıları Çoğaltın
Bütün işlemleri tek tek uygulamanıza rağmen Google botlarının sizi sevmediğini düşünüyorsanız çok fazla ve sık güncelleme alan sitelerden referans bağlantıları almaya özen gösterin. O sayfaları sık sık ziyaret eden Google botları bağlantıları takip ederek sizi de ziyaret edecektir.