Crawl Budget (Tarama Bütçesi) Nedir? Nasıl Optimize Edilir?

Home - SEO - Crawl Budget (Tarama Bütçesi) Nedir? Nasıl Optimize Edilir?

Tarama bütçesi, yani crawl budget, en basit tabiriyle; Google botlarının belirli bir zaman içerisinde internet sitenizde tam olarak kaç adet sayfayı tarayacağını ifade eden bir terimdir. Google’ın internet siteniz için ayırdığı tarama bütçesi günden güne değişebilir. Bazı günler yalnızca 10 sayfanız taranırken bazı günler bu sayı 100.000 ve hatta daha fazlasına da erişebilir.

Google’ın internet siteniz için ayırdığı crawl budget, doğrudan internet sitenizin büyüklüğü, sağlığı ve internet sitenizi işaret eden bağlantılar (backlinkler) ile alakalıdır. Tabii ki Google bir blog sitesi ile bir e-ticaret sitesine aynı oranda tarama bütçesi ayırmayacaktır. Halihazırda blog sitesi gibi nispeten daha düşük sayfa sayısına sahip bir internet sitesini yönetiyorsanız, crawl budget belki sizin için pek de elzem bir konu olmayabilir. Ancak on binlerce ürünün listelendiği bir e-ticaret sitesine sahipseniz, crawl budget SEO başarınızı bir hayli etkileyecektir. Çünkü taranmayan ve indexlenmeyen sayfalar, sıralama da almayacaktır. Aşağıdaki başlıkları inceleyerek crawl budget nedir, nasıl optimize edilir gibi sorularınıza yanıt bulabilir ve internet sitenizin sağlığını iyileştirebilirsiniz.

Crawl Budget Nedir? Google Neden Tarama Bütçesine İhtiyaç Duyar?

Crawl budget, giriş paragrafında da aktardığımız gibi Google ve diğer arama motorlarının internet siteniz için ayırmış olduğu tarama bütçesidir. Çoğu SEO çalışmasında gözden kaçan (En azından Türkiye’de) bir nokta olan tarama bütçesi konusu, küçük boyutlu internet siteleri için hayati olmasa da büyük boyutlu internet siteleri için oldukça önemlidir.

Google’ın crawl ve index işlemlerini nasıl gerçekleştirdiğini en basit haliyle aşağıdaki görselde görüntüleyebilirsiniz.

Crawl Budget Nedir?

Google gibi büyük bir markanın neden tarama bütçesine ihtiyaç duyduğunu merak ediyor olabilirsiniz. Google bir dünya devi olsa da kaynakları halen sınırlıdır ve bu kaynakları gelişigüzel kullanamaz. Bu sebepten her internet sitesine özel bir tarama bütçesi belirler. Crawl Budget da tıpkı SEO çalışmaları gibi Google’ın eforunu ve kaynak tüketimini azaltmaya yönelik oluşturulmuş bir yöntemdir.

Crawl Budget Neden Önemlidir?

Crawl budget’ın neden bu kadar önemli olduğunu aslında bir yukarıdaki görselde kolaylıkla görüntüleyebilirsiniz. Ancak özet geçecek olursak;

  • Tarama: Google Bot’lar internet sitenizde mümkün, gerekli ve kendileri açısından verimli olan her bağlantıyı / sayfayı tararlar.
  • Indexleme: Google, Crawl ettiği sayfaları belirli analizlerden geçirerek indexler. Böylece internet sitenizin sayfaları SERP’te görülebilir olur.
  • Sıralama: Indexlenen sayfalarınız Google’ın yönergeleri ve kriterleri doğrultusunda sıralanır ve ilgili konuda arama yapan kullanıcıların karşısına sunulur.

Yukarıdaki listeden de görüntüleyebileceğiniz üzere herhangi bir sorguda (anahtar kelimede) sıralama almanız için öncelikle internet sitenizin sayfalarının taranması gerekir. Crawl Budget optimizasyonu bu sebepten oldukça elzem bir konudur.

Tarama Bütçesi Nasıl Optimize Edilir?

Tarama bütçesini optimize etmeden önce, internet sitenizdeki hangi problemlerin tarama bütçenizi olumsuz bir şekilde etkilediğini belirlemelisiniz. Tarama bütçesini olumsuz olarak etkileyen ve internet sitenizdeki sayfaların indexlenmesini engelleyen sorunlar genellikler şunlardır:

1 – Sitemap’teki Önemsiz Sayfalar ve Hata Kodu Dönen URL’ler

Google internet sitenizi crawl ederken ilk olarak sitemap’inize başvurur. Çünkü sitemap’inizde internet sitenizdeki tüm önemli URL’ler listelenir (En azından sitemap’lerin kullanım amacı budur.).

İnternet sitenizin Sitemap’ini optimize ederek Crawl Budget’ınızı çok daha verimli bir şekilde kullanabilirsiniz. Sitemap optimizasyonu için şu maddeleri takip etmelisiniz:

  • Sitemap’lerinizde kesinlikle hata kodu dönen URL’lere yer vermemelisiniz. Google sitemap’inizde 3xx (3xx bir hata kodu değildir ancak yine de sitemap’te yönlendirme URL’lerine yer verilmemelidir.), 4xx ve 5xx gibi hata kodu dönen URL’ler ile çok sık karşılaşırsa, tarama bütçenizi azaltacaktır.
  • Sitemap’inizde yalnızca başarılı sıralama almasını istediğiniz sayfalara yer vermelisiniz. Sizin için önem seviyesi oldukça düşük olan URL’lere sitemap’inizde yer vermemelisiniz.
  • Eğer mümkünse Sitemap yapınızı kategorize etmelisiniz. Sitemap’inizde kategoriler, sayfalar, ürünler, içerikler, görseller ve videolar olmak üzere farkı kategori yapılarına yer verirseniz, Google internet sitenizi çok daha zahmetsiz ve verimli bir şekilde tarayabilecektir.

2 – Hata Kodu Dönen URL’ler

Hata kodu dönen URL’ler yalnızca tarama bütçesi açısından değil, internet sitenizin sağlığı açısından oldukça önemli bir problemdir. Google internet sitenizi crawl ederken hata kodlarıyla çok sık karşılaşırsa, bu durum Google’ın internet siteniz için ayırmış olduğu tarama bütçesinin gözle görülür bir şekilde azalmasına yol açacaktır. Küçük boyutlu internet sitelerinde 4xx ve 5xx gibi hata kodu dönen URL’lerin takibi kolay olsa da söz konusu yüz binlerce sayfası olan internet siteleri olduğunda, bu oldukça titiz bir şekilde gerçekleştirilmesi gereken bir işlemdir. Hata kodu dönen URL’leri belirledikten sonra;

  • 4xx hata kodu dönen URL’inize benzer bir sayfanız var ise, bu kırık URL’i ilgili sayfaya 301 ile yönlendirmelisiniz.
  • 4xx hata kodu dönen URL’inize benzer bir sayfanız yok ise, bu kırık URL’i 410 ile işaretlemeli ve silmelisiniz.
  • 5xx hata kodu dönen URL’lerdeki sunucu problemini belirlemeli ve bu problemleri gidermelisiniz.

Tüm bu işlemleri gerçekleştirdikten sonra internet sitenizin sağlığı da Google’ın internet siteniz için ayırdığı tarama bütçesi de bir hayli iyileşecektir.

3 – Yönlendirme Zincirleri (Redirect Chain)

4xx hata kodu dönen URL’leri 301 ile benzer sayfalara yönlendirmek oldukça fazla tercih edilen ve sağlıklı olan bir kullanımdır. Ancak büyük boyutlu internet sitelerinde yönlendirilen sayfa sayısı bir hayli fazla olabileceğinden, zaman zaman bazı URL’ler redirect chain olarak adlandırılan 1’den fazla yönlendirmeye maruz kalabilir. Örneğin; A sayfası 301 ile > B sayfası 301 ile > C içeriği.

Google yönlendirme zincirlerinden ve hata kodu dönen URL’lerden pek haz etmez. Bu sebepten internet sitenizde 1’den fazla yönlendirmeye maruz kalan URL’leri belirlemeli ve bu URL’leri doğrudan hedef URL’e yönlendirmelisiniz.

4 – Yetersiz ve Kopya İçerikler – Sayfalar

Kopya içeriklerin SEO süreçlerinize verdiği hasardan muhtemelen haberdarsınızdır. Ancak bu kopya içerikler yalnızca internet sitenizin SERP’teki sıralamalarına etki etmez, Google’ın sizin için ayırmış olduğu tarama bütçesini de oldukça olumsuz bir şekilde etkiler. Kopya içeriklerden kurtulmak, internet sitenizin sıralamalarını ve sağlığını artırmak / iyileştirmek için yapabileceğiniz en efektif şeydir.

Yetersiz içerik ise sık sık karşılaşılan problemlerden birisidir. Özellikle videolar için oluşturulan sayfalar, yetersiz içerik probleminin neredeyse temel kaynağıdır. Yetersiz içerik problemini gidermek için sayfayla ilgili ortalama 300 ile 400 kelime uzunluğunda bir metin hazırlamak, bu problemi çoğu zaman giderecektir. Video sayfalarına ise video transkriptini ekleyerek bu problemden sıyrılabilirsiniz.

5 – Hız Optimizasyonu

İnternet sitenizin hızı, kullanıcı deneyiminden SEO süreçlerine kadar halihazırda pek çok konuda etkili oluyor. Ancak bunların üzerine bir de yenisini eklemelisiniz; çünkü Google Bot’ları hızlı yüklenen sayfaları çok seviyorlar!

Eğer internet sitenizde yoğun olarak görsel kullanıyorsanız, bu görselleri optimize edebilir ve tema tarafında da gerekli iyileştirmeleri yaparak sayfa boyutlarınızı ve sunucu isteklerinizi minimuma indirebilirsiniz. Google Bot’ları sayfalarınızı ne kadar hızlı indirirse, sizin için ayrılan tarama bütçesi de o denli olumlu yönde etkilenecektir.

Google Bot’larının site hızını ve sayfa boyutunu ne denli önemsediğini aşağıdaki search console verisi aracılığıyla görüntüleyebilirsiniz;

Tarama Bütçesi ve Site Hızı

6 – Link Yapısı ve Navigasyon Menüsü

İnternet sitenizin link yapısı da crawl budget’ınız ile bağlantılı olan yapılardandır. Google, bir sayfa içerisindeki tüm linkleri tespit eder ve bu bağlantıları ziyaret eder. İç link yapısını düzenlemek, Google Bot’larının internet sitenizde çok daha rahat bir şekilde gezinebilmesini sağlayacaktır.

Bu senaryoda, internet sitenizde kesinlikle orphan page, yani öksüz sayfa bulunmamalıdır. Özellikle sıralama almasını istediğiniz bir sayfayı işaret eden hiçbir bağlantı bulunmuyorsa, bu sayfa bir şekilde indexlense dahi düşlediğiniz başarıyı size sunmayacaktır.

Önceki paragraflarda sitemap’te yalnızca önemli URL’lere yer verilmesi gerektiğini belirtmiştik. Tıpkı sitemap’lerinizde olduğu gibi, navigasyon menülerinizde de sizin için en önemli olan sayfalara yer vermelisiniz. Ayrıca tıklama derinliğini de göz önünde bulundurmalısınız. Eğer sizin için önemli olan bir sayfaya ulaşmak için interenet sitenizde 3 tıklama yapılması gerekiyorsa, (Örneğin; A sayfası > B sayfası > Sizin için önemli olan sayfa) Google bu sayfanın o kadar da önemli olmadığını düşünecek ve bu sayfayı daha az tarama eğiliminde olacaktır.

7 – Backlinkler

SEO çalışmalarının da en önemli faktörlerinden biri olan backlinkler, Crawl Budget konusunda da internet sitenize bir hayli yardımcı olabilirler. Ancak tarama bütçesi açısından internet sitenize fayda sağlayacak backlinkler, satın alınan ya da yapay olarak inşa edilen (Profil backlink, yorum backlink ya da tanıtım yazısı.) backlinkler değildir. Google çalışanları tarafından yapılan bir açıklamada, popüler sayfaların popüler olmayanlara oranla daha sık tarandığı söylenmiştir. Yani daha fazla trafik alan ve daha fazla backlink’e sahip olan sayfalar, Google tarafından daha sık taranır.

Bu noktada internet sitenizin tarama bütçesine katkı sağlayacak backlinkler, kesinlikle satın alınan ya da yapay olarak inşa edilen değersiz ve trafik getirmeyen backlinkler değildir. Eğer internet siteniz ya da markanız otoriterse ve diğer kişiler tarafından organik bir şekilde işaret ediliyorsa, işte bu backlinkler sayfalarınızın daha sık taranmasını sağlayacaktır.

8 – Robots.txt Optimizasyonu

Yine küçük boyutlu sitelerde çok önemli olmayan ancak büyük boyutlu sitelerin kaderini değiştirebilen bir konu; robots.txt optimizasyonu. Günümüzde e-ticaret sitelerinin büyük bir çoğunluğu hazır sistemler kullandığından, robots.txt dosyaları da otomatik olarak düzenlenir ve SEO’ya mümkün olduğunca uygun hale getirilir. Ancak yine de bu noktada alabileceğiniz bazı önlemler ve yapabileceğiniz bazı iyileştirmeler bulunur.

Sepet sayfası, satın alma sayfası ve benzeri değeri olmayan yapıların kesinlikle robots.txt aracılığıyla taranması engellenmelidir. Bu sayfaların taranması size hiçbir fayda sağlamayacağı gibi taranma bütçenizi de olumsuz bir şekilde etkileyecektir.

Ayrıca doğrudan Robots.txt ile bağlantılı olmasa dahi, eğer internet sitenizde önemsiz olarak nitelendirdiğiniz sayfalar bulunuyorsa ancak bunlar bir noktada işinize yarıyorsa, bu sayfaları noindex olarak işaretleyebilirsiniz. Noindex olarak işaretlenen sayfalar halen Google tarafından taranır ancak diğer sayfalara oranla tarama sıklığı çok daha düşük olacaktır.

 

Eğer WordPress gibi bir sistem kullanıyor ve basit bir blog sitesi yönetiyorsanız, crawl budget sizin için pek de endişe konusu olmayabilir. Çünkü WordPress tarafında kullanılan pluginlerin büyük bir çoğunluğu bu problemleri hızlı ve otomatik bir şekilde giderebilir. Ancak bir e-ticaret sitesi yönetiyorsanız, mutlaka crawl budget’ı göz önünde bulundurmalı ve yapacağınız düzenli iyileştirmeler ile internet sitenizin olabilecek en iyi şekilde tarandığından emin olmalısınız.

 

Leave A Comment