Crawling
Der Vorgang, bei dem Suchmaschinen Seiten aufrufen, um zu sehen, was darauf steht.
Definition
Crawling ist der erste von drei Schritten. Eine Suchmaschine ruft eine Seite ab, folgt den Links darauf und findet so weitere Seiten. Danach kommt die Indexierung, also die Aufnahme in den Datenbestand, und erst dann das Ranking.
Der Googlebot arbeitet mit einer Warteschlange bekannter Adressen. Gefüttert wird sie aus Links, aus deiner XML-Sitemap und aus früheren Besuchen.
Wie viel abgerufen wird, begrenzt das sogenannte Crawl-Budget. Es ergibt sich aus zwei Größen: was dein Server verträgt, und wie viel Google überhaupt für nötig hält. Bei kleinen Websites spielt es keine Rolle, bei Shops mit Hunderttausenden Adressen sehr wohl.
Steuern lässt sich das Verhalten über die robots.txt. Wichtig dabei: Eine dort gesperrte Seite wird nicht abgerufen, kann aber trotzdem im Index landen, wenn andere darauf verlinken. Zum Ausschluss aus dem Index braucht es noindex, und das setzt voraus, dass die Seite abgerufen werden darf.
Warum das für dich zählt
Was nicht abgerufen wird, kann nicht ranken. Das klingt banal, ist aber der Grund für einen großen Teil aller Sichtbarkeitsprobleme nach einem Relaunch.
Teuer wird es dort, wo Systeme unendlich viele Adressen erzeugen. Filter, Sortierungen und Kalender in Shops produzieren Kombinationen ohne Ende. Der Bot beschäftigt sich dann mit Varianten derselben Seite, während neue Produkte tagelang unentdeckt bleiben.
Auch die Serverleistung spielt mit. Antwortet die Seite langsam, drosselt Google die Abrufrate, um nichts kaputtzumachen. Ein langsamer Server bedeutet also weniger abgerufene Seiten.
Wie wir damit arbeiten
Wir sehen uns die Serverprotokolle an, nicht nur den Crawl-Bericht. Erst dort steht, welche Adressen der Bot tatsächlich abruft und wie viel Zeit er in Bereichen verbringt, die für dich keinen Wert haben.
Typische Maßnahmen sind das Sperren von Parameterfassungen, das Aufräumen von Weiterleitungsketten und interne Verlinkung, die wichtige Seiten näher an die Startseite rückt, siehe Interne Verlinkung.
Das gehört zu unserer technischen SEO-Beratung. Du bekommst die wenigen Punkte mit Wirkung und einer Aufwandsschätzung, nicht den kompletten Crawl-Export.
Häufige Fragen
Wie oft crawlt Google meine Seite?
Sehr unterschiedlich. Häufig aktualisierte und stark verlinkte Seiten werden täglich abgerufen, tiefe Unterseiten kleiner Websites teils nur alle paar Wochen.
Was ist Crawl-Budget und wann ist es ein Thema?
Die Menge an Seiten, die Google in einem Zeitraum abruft. Relevant wird es ab etwa zehntausend Adressen oder bei Systemen, die automatisch viele Varianten erzeugen.
Verhindert robots.txt, dass eine Seite bei Google auftaucht?
Nein. Sie verhindert den Abruf. Eine gesperrte Seite kann trotzdem im Index erscheinen, wenn andere Seiten darauf verlinken, dann allerdings ohne Beschreibung.
Wie beschleunige ich das Crawling neuer Seiten?
Über interne Links von häufig abgerufenen Seiten, über die Sitemap und bei Einzelfällen über die URL-Prüfung in der Search Console.
Warum crawlt Google Seiten, die ich gar nicht mehr habe?
Weil sie noch bekannt sind. Solange irgendwo ein Link darauf zeigt oder sie in einer alten Sitemap steht, wird sie gelegentlich erneut angefragt. Ein sauberer 404 oder 410 löst das mit der Zeit.
Wie oft crawlt Google meine Seite?
Sehr unterschiedlich. Häufig aktualisierte und stark verlinkte Seiten werden täglich abgerufen, tiefe Unterseiten kleiner Websites teils nur alle paar Wochen.
Was ist Crawl-Budget und wann ist es ein Thema?
Die Menge an Seiten, die Google in einem Zeitraum abruft. Relevant wird es ab etwa zehntausend Adressen oder bei Systemen, die automatisch viele Varianten erzeugen.
Verhindert robots.txt, dass eine Seite bei Google auftaucht?
Nein. Sie verhindert den Abruf. Eine gesperrte Seite kann trotzdem im Index erscheinen, wenn andere Seiten darauf verlinken, dann allerdings ohne Beschreibung.
Wie beschleunige ich das Crawling neuer Seiten?
Über interne Links von häufig abgerufenen Seiten, über die Sitemap und bei Einzelfällen über die URL-Prüfung in der Search Console.
Warum crawlt Google Seiten, die ich gar nicht mehr habe?
Weil sie noch bekannt sind. Solange irgendwo ein Link darauf zeigt oder sie in einer alten Sitemap steht, wird sie gelegentlich erneut angefragt. Ein sauberer 404 oder 410 löst das mit der Zeit.