Google’ın kullanıcılara sunmak amacıyla oluşturduğu web sayfası arşivi dizin olarak adlandırılır. Kısaca bir web sitesini taramak için gelen arama motoru botları ilgili web sayfalarını detaylı şekilde tarayarak dizine ekler. Daha sonra dizine eklenen bu web sayfaları çeşitli kriterler eşliğinde değerlendirilerek arama motoru sonuç sayfaları üzerinden kullanıcılara sunulur. Web yöneticileri, dizine eklenmesini istemediği web sayfalarını robots.txt dosyası yardımıyla arama motorlarına bildirebilir ve noindex etiketi ile dizine eklenmemesi gerektiği konusunda bilgi verebilirler.