Googlebot Hakkında
Googlebot, Google arama motorunun siteleri gezip tarama işini yapan küçük yazılımıdır. Türkçe karşılığı “örümcek” olarak da adlandırılır. Googlebot, tarama işlemi ile Google veritabanına eklenecek yeni ve güncel sayfaları dolaşarak Google dizinine ekler.
Web’de milyarlarca web sayfası yer alıyor. Bu sayfaları bulmak veya taramak için muazzam sayıda bilgisayardan yararlanılıyor. Googlebot, google tarafından belirlenen algoritmaya göre işlem yapıyor. Yani hangi sitelerin ne sıklıkta taranacağı ve her siteden kaç sayfa alınacağı önceden programlar tarafından belirleniyor.
Googlebot tarafından yapılan tarama işlemi, var olan daha önceki kayıtlı linklerden başlar ve web yöneticileri tarafından sağlanan site haritası verileriyle artar. Googlebot, bu web sitelerini ziyaret ettiğinde, her sayfadaki bağlantıları tespit eder ve bunları taranacak sayfalar listesine ekler.