Website-Crawling ist der Prozess, bei dem ein Computerprogramm (auch als „Crawler“ oder „Spider“ bezeichnet) eine Website besucht und ihren Inhalt analysiert. Der Crawler kann beispielsweise verwendet werden, um die Verknüpfungen zwischen verschiedenen Seiten einer Website zu untersuchen, um den Inhalt der Seiten zu indizieren oder um bestimmte Informationen auf der Website zu extrahieren. Website-Crawling ist eine wichtige Technologie im Bereich der Suchmaschinenoptimierung und wird auch in anderen Bereichen wie dem E-Commerce und der Datenanalyse eingesetzt. Hierfür eignen sich sog. Website Crawling Tools.
