Crawl Rate

Die Crawl Rate, auch bekannt als Crawling Rate oder Crawling Frequenz, ist ein Begriff aus dem Bereich der Suchmaschinenoptimierung (SEO) und bezieht sich auf die Geschwindigkeit, mit der Suchmaschinen-Crawler oder -Bots eine Website durchsuchen und indexieren.

Eine Suchmaschine wie Google verwendet Webcrawler, um das Internet systematisch nach neuen oder aktualisierten Inhalten zu durchsuchen. Wenn ein Crawler auf eine Website stößt, liest er die Inhalte und folgt den Links auf der Seite, um andere Seiten zu entdecken und zu indexieren. Dieser Prozess ist entscheidend für die Aufnahme von Inhalten in die Suchergebnisse von Suchmaschinen.

Die Crawl Rate gibt die Anzahl der Anfragen pro Sekunde an, mit der der Bot das Website-Crawling durchführt. Wie schnell dies geschieht, hängt von verschiedenen Faktoren ab, darunter die Größe und Komplexität der Website, die Serverkapazität und -geschwindigkeit, die HTTP-Statuscodes, die Robots.txt-Dateien und die Sitemaps. 

Crawl Rate ändern

Wie oft ein Crawl-Bot die Website scannt und entsprechend neue Inhalte wahrnimmt, lässt sich – zumindest bei Google – nicht beeinflussen. Die Crawl Rate hingegen kann vom Webmaster einer Domain begrenzt werden. Dies kann aus unterschiedlichen Gründen sinnvoll sein, beispielsweise dann, wenn ein zu schneller Crawl-Vorgang den Server so stark belastet, dass die Website für menschliche Besucher*innen nicht mehr richtig angezeigt wird. 

Bei Google kann man die Crawl Rate nur für Websites auf der Stammebene ändern, also URLs, die zum Beispiel so lauten: www.beispielseite.de oder www.subdomain.beispielseite.de. Für Unterseiten lässt sich die Crawl Frequenz dagegen nicht begrenzen. Um die Rate zu ändern, muss man die Seite für Crawling-Frequenz-Einstellungen in der Property der Website öffnen. Hier gibt es nun zwei Möglichkeiten: 

• Falls die Crawling-Frequenz als „berechnete Optimalfrequenz“ markiert ist, ist es nur möglich, die Frequenz zu reduzieren, wenn man eine gesonderte Anfrage stellt. In keinem Fall ist es möglich, die Frequenz zu erhöhen. 
• Alternativ kann man jedoch die entsprechende Option wählen und die Crawling-Frequenz nach Bedarf begrenzen. Die neue Frequenz ist anschließend für 90 Tage gültig.

Crawling-Vorgang aussetzen

In gewissen Fällen kann es notwendig sein, das Crawling von Google Bots auszusetzen, um eine Überlastung des Servers zu vermeiden. Eine Überlastung kann dazu führen, dass die Website nicht mehr erreichbar ist oder dass die Ladezeiten der Seiten stark erhöht werden. In diesem Abschnitt werden wir erläutern, wie man das Crawling von Google Bots aussetzen kann, in welchen Fällen dies sinnvoll ist und welche Risiken dies mit sich bringt.

1. Wann es sinnvoll ist, das Crawling auszusetzen: Es kann sinnvoll sein, das Crawling von Google Bots auszusetzen, wenn die Website aufgrund von hohem Traffic oder anderen Gründen überlastet ist. In solchen Fällen kann das Aussetzen dazu beitragen, die Serverbelastung zu reduzieren und die Website wieder erreichbar zu machen. Es ist jedoch wichtig zu beachten, dass dies auch negative Auswirkungen auf die Suchmaschinenoptimierung haben kann, da Google Bots möglicherweise nicht alle neuen Inhalte crawlen und indexieren werden.
2. Wie man das Crawling ausschaltet: Um das Crawling von Google Bots auszusetzen, kann man die Robots.txt-Datei anpassen. In der Robots.txt-Datei kann man Google Bots anweisen, bestimmte Seiten oder Bereiche der Website nicht zu crawlen. Wenn man das Crawling komplett deaktivieren möchte, kann man die gesamte Website in der Robots.txt-Datei sperren. 
3. Die Risiken bei der Begrenzung des Crawlings: Wenn das Crawling für längere Zeit ausgesetzt wird, kann dies zu einem Rückgang der Sichtbarkeit in den Suchergebnissen führen. Es ist daher wichtig, das Aussetzen des Crawling nur in Notfällen und für einen begrenzten Zeitraum durchzuführen. Es ist auch wichtig zu beachten, dass das Aussetzen des Crawling nicht allein ausreicht, um eine Überlastung des Servers zu vermeiden. Zusätzlich müssen auch andere Maßnahmen ergriffen werden, wie zum Beispiel die Optimierung der Serverkapazität und -Geschwindigkeit. 
4. Wie man das Crawling wieder aktiviert: Um das Crawling von Google Bots wieder zu aktivieren, muss man die Anpassungen in der Robots.txt-Datei rückgängig machen. Wenn die gesamte Website in der Robots.txt-Datei gesperrt wurde, muss man diese Sperre aufheben. Es ist jedoch wichtig zu beachten, dass das Crawling nach dem Aussetzen möglicherweise nicht sofort wieder aufgenommen wird. Es kann einige Zeit dauern, bis Google Bots die Website erneut crawlen und indexieren. Für einzelne Seiten kann man bei Google eine Anfrage für ein erneutes Crawlen stellen.