Arama motoru botları tarafından bir web sayfasının taranması ve dizine eklenmesi işlemi indexing olarak adlandırılır. Daha sonra dizine eklenen bu web sayfaları çeşitli kriterler doğrultusunda değerlendirilerek arama motoru sonuç sayfaları aracılığı ile kullanıcılara sunulur. Bir web sitesini taramak için gelen arama motoru botları ilk olarak ilgili web sitesine ait robots.txt dosyasını inceler. Bu dosyadaki komutları dikkate alarak tarama ve indexleme işlemini gerçekleştirir. Bu nedenle bir web sitesindeki indexleme işlemi konusunda robots.txt dosyaları oldukça önemlidir.
