Crawl Budget

‚Crawl Budget‘ ist der Begriff für die Anzahl der Seiten und Unterseiten, die Google auf einer URL untersucht. Das hängt vom Pagerank ab und ist nicht bei jeder Seite gleich. Je höher der Pagerank einer Seite, umso mehr Seiten werden gecrawlt. Großen Seiten kann aber auch Traffic entgehen, wenn sie viele Unterseiten haben, die eben nicht gecrawlt werden. Der Fehlercode 404 sowie unwichtiger Inhalt, Duplicate Content o. Ä. belasten das Crawl Budget. Der Betreiber kann sein Crawl Budget aber auch verbessern: Etwa indem er bestimmte Seiten nicht mehr indizieren lässt. Oder er setzt auf ‚nofollow‘ oder forciert eine interne gute Verlinkung von den Seiten, die besonders häufig und gründlich gecrawlt werden sollen.