Arama motoru botları tarafından bir web sitesinin programlı bir şekilde incelenmesi ve bilgi toplanması işlemi crawling olarak adlandırılır. Bu tarama işlemi bir web sitesinin tümü için olabildiği gibi sınırlı sayıda web sayfası için de olabilir. Tarama işlemi sırasında web sayfalarına ait görseller, içerikler ve bağlantılar dahil olmak üzere tüm öğeler detaylı şekilde taranır. Crawling işlemi arama motoru botları tarafından yapılabildiği gibi tarama araçlarına ait botlar tarafından da gerçekleştirilebilir.
