Arama motoru botları tarafından taranması ve dizine eklenmesi istenmeyen web sayfalarını bildirmeyi sağlayan komut disallow komutu olarak adlandırılır. Robots.txt dosyasında yer verilen bu komut sayesinde web yöneticileri önemli olmayan ya da taranmasını istemediği web sayfalarını taramaya kapatarak tarama bütçesini de optimize edebilir.
