Robots.txt dosyasında yer alan ve web sitesini ziyaret eden botlar ile alakalı izinlerin tanımlanmasını sağlayan komut User Agent olarak adlandırılır. Web yöneticileri bu komut sayesinde hangi arama motoru botlarının web sitelerini ziyaret etmelerine izin verdiğini bildirmiş olur. Web sitelerini tüm arama motoru botlarının ziyaretine açmak istediklerinde ise robots.txt dosyasında “ user-agent: * ” komutuna yer verebilirler. Bu komut tüm arama motoru botlarına izin verildiği anlamına gelir.
Skip to Main Content
