Was ist ein Crawler?

Funktion im Detail

Crawler, auch Spider oder Bots genannt, folgen Links von Seite zu Seite und sammeln Inhalte ein. Der bekannteste ist der Googlebot, der für die Google-Suche arbeitet und nach dem Mobile-First-Prinzip überwiegend als Smartphone-Variante auftritt. Weitere Beispiele sind der Bingbot und eigene Bots von KI-Anbietern.

Der Ablauf: Der Crawler entdeckt URLs über Links oder Sitemaps, ruft sie ab, stellt bei Bedarf JavaScript dar und übergibt die Ergebnisse zur Verarbeitung. Erst danach entscheidet das System über die Aufnahme in den Index.

Steuerung des Verhaltens

Website-Betreiber lenken Crawler vor allem über die robots.txt, interne Verlinkung und die Sitemap. Mit Meta-Robots-Angaben lassen sich Aufnahme in den Index und Link-Auswertung beeinflussen. Gute Erreichbarkeit, schnelle Antworten und saubere Statuscodes erleichtern die Arbeit.

Ist eine Seite nur über JavaScript-Interaktionen oder hinter einem Login erreichbar, können Crawler sie meist nicht abrufen.

Für die Darstellung moderner Seiten rendert Google Inhalte, die per JavaScript nachgeladen werden, in einem zweiten Schritt. Das kann zeitverzögert geschehen. Wichtige Inhalte und Links sollten deshalb möglichst direkt im HTML stehen, damit sie zuverlässig erkannt werden.

Für die Darstellung moderner Seiten rendert Google Inhalte, die per JavaScript nachgeladen werden, in einem zweiten Schritt. Das kann zeitverzögert geschehen. Wichtige Inhalte und Links sollten deshalb möglichst direkt im HTML stehen, damit sie zuverlässig erkannt werden.

Echte Bots erkennen und KI-Crawler

Im Serverprotokoll tauchen viele Zugriffe auf, die sich als Googlebot ausgeben, es aber nicht sind. Google empfiehlt, die Herkunft über eine DNS-Rückwärtsabfrage oder über die veröffentlichten IP-Bereiche zu prüfen. Der Eintrag im User-Agent allein beweist nichts.

Neben klassischen Suchmaschinen sind KI-Crawler hinzugekommen, die Inhalte für Antwortsysteme erfassen. Wer sie zulassen oder ausschließen will, regelt das ebenfalls über die robots.txt. Ob Seiten für Crawler gut erreichbar sind, prüft ein SEO-Check mit Crawl-Analyse.

Abgrenzung

Crawling ist nicht Indexierung: Eine abgerufene Seite wird nicht automatisch aufgenommen. Wie viele Abrufe ein Bot macht, beschreibt das Crawl Budget. Davon zu unterscheiden sind Scraper, die Inhalte kopieren und nichts mit Suchmaschinen zu tun haben.

Auch interne Crawler, die SEO-Tools zur Analyse einsetzen, ahmen das Verhalten nur nach und liefern deshalb Näherungen.