Definition und Bestandteile
Google beschreibt das Crawl Budget als Zusammenspiel zweier Größen. Die Crawl-Kapazität legt fest, wie viele Abrufe der Server verträgt, ohne überlastet zu werden. Die Crawl-Nachfrage beschreibt, wie interessant die Inhalte für Google sind, etwa durch Beliebtheit und Aktualität. Aus beidem ergibt sich, wie viele Seiten tatsächlich abgerufen werden.
Antwortet ein Server langsam oder mit Fehlern, drosselt der Crawler seine Abrufe. Läuft er stabil und schnell, kann er mehr Seiten holen.
Für wen es relevant ist
Nach Googles eigener Einschätzung betrifft das Thema vor allem sehr große Websites mit vielen tausend oder Millionen URLs sowie Seiten, deren Inhalte sich sehr schnell ändern. Für kleine und mittlere Auftritte ist das Budget in der Regel kein Engpass. Bleiben neue Seiten dort lange unindexiert, liegt die Ursache häufiger bei Qualität, Verlinkung oder technischen Hürden.
Programmatisch erzeugte Verzeichnisse oder Shops mit Filterkombinationen können dennoch schnell in den Bereich kommen, in dem Steuerung nötig wird.
Wie sich das Budget schonen lässt
Sinnvoll ist es, Crawler nicht mit unnötigen URLs zu beschäftigen. Dazu gehören Duplikate durch Parameter, endlose Kalenderseiten oder interne Suchergebnisse. Mit robots.txt, sauberer Canonical-Verwendung und einer gepflegten Sitemap lässt sich der Abruf lenken. Weiterleitungsketten und Fehlerseiten verbrauchen unnötig Abrufe und sollten bereinigt werden.
Ein SEO-Check der Crawl-Effizienz zeigt, wo Crawler Zeit verlieren. Die Berichte zu Crawling-Statistiken in der Search Console liefern zusätzliche Hinweise.
Praktisch lohnt sich der Blick in die Server-Logfiles. Sie zeigen, welche Bereiche der Googlebot tatsächlich häufig abruft und wo er Zeit mit unwichtigen Adressen verbringt. Daraus lassen sich Prioritäten für Bereinigung und interne Verlinkung ableiten.
Praktisch lohnt sich der Blick in die Server-Logfiles. Sie zeigen, welche Bereiche der Googlebot tatsächlich häufig abruft und wo er Zeit mit unwichtigen Adressen verbringt. Daraus lassen sich Prioritäten für Bereinigung und interne Verlinkung ableiten.
Missverständnisse
Oft wird angenommen, Noindex spare Budget. Die Seite wird aber weiter abgerufen, damit die Anweisung erkannt wird. Ebenso wenig erhöht ein bloßes Einreichen einer Sitemap das Budget. Es steigt vor allem, wenn eine Website schnell, gepflegt und für Nutzer wertvoll ist.
Der Begriff hängt eng mit dem Crawler zusammen, der die Abrufe ausführt.