Robots.txt, arama motoru yazılımlarına sitenizin hangi bölümlerini dizine ekleyebileceğini, hangi dizini taraması gerektiğini, hangi arama motoru yazılımının giriş izni olduğunu veya olmadığını söylemeye yarayan basit bir komut dosyasıdır. Örümcek olarak da adlandırılabilen Arama motoru yazılımları sitenize geldiğinde ilk olarak bu dosyayı tarar ve dosyadaki komutlara göre sitenin izin verilen bölümlerini dizine ekler. 
Sitenizin Search Engine Result Pages (SERP), yani arama motoru sonuç sayfalarında daha yukarılarda yer alabilmesi için, arama motorlarının en önemli sayfaları keşfetmek için kullandığı botların işini kolaylaştırmanız gerekiyor. Düzgün şekilde ayarlanmış bir robots.txt dosyası sayesinde bu botları en çok görünmesini istediğiniz sayfalara yönlendirebilirsiniz.
Robots.txt, bir web sitesinin web tarama botlarına talimatlar vermesini sağlayan bir metin dosyasıdır. Google gibi arama motorları, web robotlarını arşivlemek ve kategorilere ayırmak için bazen web robotları olarak adlandırılan bu web tarayıcılarını kullanır. Mosts botları, web sitesinden başka bir dosyayı okumadan önce sunucuda bir robots.txt dosyasını arayacak şekilde yapılandırılmıştır.
Yorum Ekle