Crawl budget is een specifieke SEO term en werd voor het eerst gebruikt in het jaar 2010 door Matt Cutts (Google woordvoerder).
Googlebots hebben maar een beperkte kracht om alle webspagina's op je website te crawlen (en vervolgens te indexeren en ranken). De hoeveelheid kracht wordt bepaald hoe goed je het doet inzake SEO op je website (kort door de bocht neem de Domain Autority (Moz) van je website).
De kunst bestaat er nu in om het crawl budget zo goed als mogelijk te beheren. Stel : we hebben een crawl budget van 1000 pagina's per dag voor onze website. Als we goede SEO optimalisaties uitvoeren en zorgen dat we geen vb. duplicated content hebben dan zal de Google crawler meer energie over hebben voor pagina's die wel belangrijk zijn en naarmate de tijd het crawl budget verhogen naar 2-3000 pagina's omdat hij steeds relevante content vindt.
Via de robots.txt kunnen we de crawlbaarheid bepalen van bepaalde pagina's die we als niet belangrijk aanschouwen.
