Arama motoru botlarının bir web sitesi için tarayabileceği URL sayısı ya da ayırdığı süre tarama bütçesi olarak adlandırılır. Tarama bütçesi dizine eklenen toplam sayfa sayısı, site hızı, site boyutu gibi birçok faktöre bağlı olarak değişiklik göstermektedir. Bu faktörler üzerinde yapılan optimizasyon çalışmaları ilgili web sitesinin tarama bütçesinin de optimize edilmesine katkı sağlar. Böylece arama motoru botları ilgili web sitesinin hızlı ve eksiksiz şekilde tarayarak dizine ekleyebilirler.
