Arama motoru botlarının web sitelerindeki erişim izinlerini içeren metin dosyaları robots.txt olarak adlandırılır. Web sitelerini taramak için gelen arama motoru botları ilk olarak bu dosyaları inceler ve tarama işlemini bu dosyadaki izinler doğrultusunda gerçekleştirir. Web sitelerinin kaynağına yerleştirilen bu metin dosyaları arama motoru botlarının dizine ekleyeceği web sayfaları hakkında bilgiler verir. Bu nedenle web yöneticileri robots.txt dosyalarını oluştururken ya da düzenlerken oldukça dikkatli davranmalıdır.
Skip to Main Content
