Screaming Frog SEO Spider

Screaming Frog ist sehr schmal gehalten und konzentriert sich auf ein wesentliches Feature - nämlich das Crawling. Da der Mechanismus sehr ausgereift ist, war es uns möglich sehr tiefergehende Informationen zu Errorseiten und zum Seitenaufbau von fremden und der eigenen Seite zu bekommen.

Die UX ist nicht sonderlich ansprechend und manchmal etwas umständlich.

Das Tool hilft mir zur Identifizierung von Fehlerseiten (z.B. 404) und gibt Einblicke zur Seitenstruktur. Insbesondere in der Vor- und Nachbereitung von Website Relauches ist Screaming Frog ein hilfreiches Tool, da die bereitgestellten Informationen der Search Console in der Hinsicht nur sehr oberflächlich sind.

Mit dem Screaming Frog lassen sich nahezu alle technischen SEO-Herausforderungen einer Domain präzise rausarbeiten. Das Tool ist gefühlt seit Ewigkeiten am Markt, wird ständig weiterentwickelt, verfügt über zahlreiche API-Anbindungen und eine große User-Community. Gerade die Möglichkeit, zwei Crawls einer Domain miteinander zu vergleichen, ist aus SEO-Sicht Gold wert. Müsste ich mich auf zwei Tools festlegen, dann wäre der Screaming Frog zusammen mit der Google Search Console die perfekte Kombination. Damit kommt man im SEO schon sehr, sehr weit.

Daten benötigen Speicherplatz, sehr große Datenmengen sehr viel davon. Das ist aus meiner Sicht der größte Nachteil. Irgendwo müssen die ganzen Crawl-Daten auch gespeichert werden. Selbst wenn ich hier Begrenzungen mache, sollte man sich – gerade für größere Websites – ein paar Gedanken über eine Cloud-Lösung machen. Der Screaming Frog bietet hier verschiedene Ansätze, diese produzieren dann aber zusätzliche Kosten neben der eigentlichen Jahreslizenz.

Kein anderes SEO-Tool liefert einen so guten Überblick über die technischen Strukturen und ihre jeweiligen Elemente bei einer Website. Gerade für anstehende Relaunch-Projekte ist der Screaming Frog in Kombination mit verschiedenen APIs ein unverzichtbares Tool. Selbst wenn er nur als Backup-Lösung für bestehende OnPage-Elemente eingesetzt wird.

Die Arbeit eines SEO-Managers ist heutzutage ohne den Screaming Frog kaum noch denkbar, er gehört einfach zur absoluten Grundausstattung. Insofern ist es schon fast schwierig, ihn zu bewerten - ohne den Frog könnte ich viele essenzielle Tasks nicht ausführen. Die Software ist stabil (läuft lokal auf dem eigenen Computer) und bietet beim Crawling eine große Vielfalt an Optionen.

Ich denke, der Screaming Frog hat durch seine Marktstellung einen Riesenvorteil - die meisten nutzen es, ohne sich die (deutlich teureren Produkte der Konkurrenz, etwa Audisto) anzusehen. Im direkten Vergleich fällt aber auf, dass Screaming Frog gerade in Sachen Design/Übersichtlichkeit sowie Nutzerfreundlichkeit einiges aufzuholen hat.

Die Probleme liegen eher in der Bedienung des Screaming Frogs - gerade als Anfänger muss man eventuell etwas länger nach bestimmten Funktionen suchen. Das Tool wurde leider nicht immer übersichtlich und intuitiv aufgebaut. Hat man sich allerdings zurechtgefunden (an der Stelle: auf der Website https://www.screamingfrog.co.uk/seo-spider/tutorials/ sind sehr viele, hilfreiche Tutorials zu finden!), wird man mit einer sehr großen Funktionsvielfalt belohnt. Noch eine Anmerkung: Sollte man nicht weiterkommen, kann man immer den Support anschreiben, der in der Regel schnell antwortet und auch über ein gutes SEO-Wissen verfügt.

Der schnelle technische Überblick. Gleichzeitig auch unglaublich viele tieferliegende exportfunktionen für diverse SEO Faktoren. Immer up to date, nun auch mit CLS

Die Möglichkeit es mit einfachen Worten in Präsentationen einzubinden. Die Ansichten sind generell sehr technisch. Daher nur für high Level SEO nicht für high Level Präsentationen.

Probleme bei internen Linkstrukuren. Der Export kann alle Linkstrukturen aufdecken zur Optimierung. Die externen Verlinkungen. Kein anderes Tool zeigt so schnell und zuverlässig ausgehende Links. So werden böse Überraschungen ausgehender links vermieden. Überwachung und Optimierung der Metadaten.

Es geht nur um das eine: Technische SEO. Schnell lässt sich die gesamte Website crawlen und die gesamte Analyse als Excel-File exportieren, sodass die Daten dort weiter aufbereitet werden können. Das Tool ist relativ einfach zu nutzen und zu konfigurieren.

Das Interface des Tools ist nicht mehr zeitgemäß. Außerdem ist eine gewisse Lernkurve vorhanden, um verschiedene Ansichten und Daten zu finden. In manchen Fällen kommt es leider vor, dass nicht alle Seiten gecrawlt werden.

Das Tool nutze ich zur Generierung von URL-Listen, um Redirects bei einem Relaunch zu planen. Außerdem ist es praktisch für den technischen Teil von SEO Audits, um Probleme und Optimierungspotenziale an verschiedenen Stellen zu erkennen. Die Visualisierung des Seitenbaums ist zudem für Link Audits hilfreich.

Der Screaming Frog SEO-Spider stellt ein umfassendes Werkzeug zum Crawling und die Analyse von Webseiten dar. Das Tool wird laufend uns zügig weiterentwickelt und bringt immer wieder spannende und hilfreiche Neuerungen mit. Auch der Support via Twitter und Email läuft extrem gut! Durch die Anbindung von APIs können Crawls mit wichtigen Daten angereichert und Analysen vorbereitet werden. Das Preis/Leistungs-Verhältnis ist unschlagbar.

Die Optik und die bisweilen etwas fummelige Bedienung und Konfiguration ist für Einsteiger.innen unter Umständen abschreckend. Das ist allerdings im Vergleich zu den gebotenen Features kein Manko.

Mit dem SEO-Spider sind technische Audits von Webseiten sehr einfach und schnell erstellt. Der SERP-Mode macht es extrem leicht Metadaten für Webseiten zu erstellen/vorzubereiten oder zu prüfen. Regelmäßige automatische Crawls sind mittlerweile kein Problem mehr und der automatische Upload der Crawl-Ergebnisse zu Google-Docs sind mittlerweile ohne viel Aufwand erstellbar. Im Vergleich zu SaaS Produkten kann der Frog im lokalen Netzwerk laufen und benötigt kein Whitelisting durch die IT, die Crawleinstellungen sind überragend detailliert und die Konfiguration individueller Suchen und Extraktionen machen ihn zu einem sehr stark individualisierbaren Tool. Bei Bedarf läuft das Tool auch auf einer VM oder in der Cloud. Alle Daten sind schnell und einfach exportierbar für die weitere Verarbeitung, kein kompliziertes Usermanagement mit Taskmanagement etc.pp. notwendig. Das hervorragende Preiss/Leistungs-Verhältnis sei hier noch einmal hervorgehoben!

Das Tool ist perfekt geeignet zum Crawlen von kleinen und sehr großen Webseiten. In den Grundeinstellungen tut das Tool genau das was es soll und ist in der Freeware für kleine Firmen bis 500 Unterseiten bereits gut zu benutzen. In der günstigen Bezahlversion entfaltet es dann seinen vollen Funktionsumfang der im Detail sehr mächtig ist und aus professioneller Sicht fast keine Wünsche offen lässt. Es gibt viele Filter- und Anpassungsmöglichkeiten und natürlich auch einen Export, sobald der Crawl erfolgreich beendet wurde.

Bei sehr großen Seiten muss man viel Geduld mitbringen. (was aber auch der Seitengröße geschuldet ist und nur bedingt dem Tool) Die Oberfläche wirkt sehr technisch aufgeräumt und ist damit weniger etwas für Menschen die grafisch ansprechende Software mögen. Die Einarbeitung in die tiefen des Programms und all seiner Möglichkeiten nimmt Zeit in Anspruch.

Um einen guten Überblick über die Seitenstruktur zu bekommen, die inhaltlichen Themen und generell einen Export “aller” Informationen zur Seite zu haben, ist dieses Tool sehr gut geeignet.

Durch Screaming Frog werden die technischen Herausforderungen beim SEO schnell sichtbar gemacht. Gerade für einheitliche Meta-Tags oder Überschriften-Strukturen ist dieses Tool ein absoluter Zeitsparer. Auch eine umfangreiche URL-Struktur ist innerhalb kürzester Zeit erstellt. Weitehrin kann man Fehler in den Meta-Robots oder durch falsche Redirects sehr schnell aufdecken. Diese Tool erleichtert die Arbeit ungemein.

Die Nutzeroberfläche wirkt auf den ersten Blick noch etwas veraltet und drückt die Tiefe, die man mit diesem Tool erreichen kann, kaum aus. Bei sehr großen Seiten kann der Crawl den PC ausbremsen und je nach Power des PCs kann es auch mal zu einem Absturz des Programms kommen.

Doppelte Meta-Titels und Meta-Descriptions sind oftmals sehr mühselig herauszufinden. Durch dieses Tool kann innerhalb weniger Minuten eine Liste erstellt werden. Auch doppelte Überschriften, zu lange Meta-Titles sind innerhalb kürzester Zeit gefunden. Weiterhin werden auch Bilder gecrawlt, sodass fehlende Alt-Titles bei Bildern zügig gefunden werden können. Das Tool funktioniert auch bei Stage-Seiten (Login-Daten vorrausgesetzt).

Screaming Frog ist super, um auf einen schnellen Weg URLs zu crawlen. Bequem ist für mich hier z.B. dass ich ohne einen weiteren Formatierungsschritt einen Überblick über fehlende Metadaten bekomme. Hinzukommen zahlreichen Möglichkeiten, das Tool so einzustellen, dass es zur jeweiligen Anforderung passt.

Die Nutzung des Zahlenreihen Möglichkeiten empfinde ich nicht als intuitiv. Dadurch ist immer wieder googeln erforderlich, auch für Sachen, die ich schon mal gemacht habe, dann aber nicht wiederfinde. Es fehlt mir hier auch eine gute Einführung ins Tool.

Ich nutze Screaming Frog fast ausschließlich in Kombination mit anderen Tools wie z.B. ryte. Die Exportfunktion für gecrawlte URLs hilft mir, wenn Probleme auf zahlreichen URLs auftreten. Darüberhinaus nutze ich die Funktionen unregelmäßig.

Screaming Frog ist sehr nützlich, wenn Websites nach indexierten URLs durchforstet werden sollen. Denn damit lassen sich auch URLs oder Seiten finden, die man gar nicht mehr auf dem Schirm hatte oder die Existenz überhaupt nicht bewusst ist. Des Weiteren lassen sich zahlreiche Meta Tags auslesen, was für deren Optimierung sehr hilfreich ist. Eine tolle Sache ist auch das herauslesen vom kompletten Quellcode und die Speicherung der gesamten Webseite als Bild. So lassen sich Vorher-Nachher-Vergleiche einfach machen, wenn z.B. Konkurrenz-Artikel analysiert werden müssen.

Die kostenlose Variante ist nicht in jedem Anwendungsfall hilfreich, da nur 500 URLs gecrawlt werden können. Wenn in diesen 500 URLs eher unwichtige URLs zu finden sind, dann macht die Analyse mit der kostenlosen Variante wenig Sinn. Um wirklich alle URLs crawlen zu können, ist schon die kostenpflichtige Variante nötig. Beim Crawling mit Speicherung der einzelnen Webseiten als Bilder gibt es manchmal Probleme, da die Webseiten nicht immer richtig als Bild gespeichert werden. Das kann daran liegen, dass der Compiler nicht korrekt arbeitet.

Ein großer Punkt ist das Finden von ungenutzten URLs, die indexiert werden oder URLs, die auf 404 laufen. Solche Seite können mit dem Tool leicht gefunden werden. Zudem ist das Tool auch bei Relaunches oder Ändeurngen in der Verzeichnisstruktur von Websites sehr nützlich, um die alten URLs zu den neuen URLs korrekt weiterleiten zu können. Meta-Tags lassen sich auch einfach auslesen, so können wir gesammelt die Meta Tags optimieren, ohne alls Meta Tags einzeln in den Quellcodes oder CMS-Backends heraussuchen zu müssen.

Der Screaming Frog ist das wohl beste und gleichzeitig einfachste Third Party Tool für SEO. Du kannst jede Domain crawlen und die Struktur und Probleme erkennen. Außerdem hast du unzählige Einstellungsmöglichkeiten und kannst gleichzeitig Informationen extrahieren. Der Lernprozess dauert ein wenig, wenn du dich aber darauf einlässt, wirst du den Screaming Frog schätzen, weil er dir hilft, ganz ohne Programmierfähigkeiten alle relevanten SEO Aspekte zu analysieren.

Der Screaming Frog ist nicht ganz einfach zu verstehen. Du musst dich ein wenig reinfuchsen. Allerdings gibt es auf deren Homepage und auf YouTube sehr gute Guides, die ich nur empfehlen kann. Ein Nachteil ist, dass dieser Software-basierte Crawler leider bei sehr großen Seiten (über ~100.000 URLs) ein wenig in die Knie geht. Daher ist er für große Seiten nicht wirklich geeignet. Für 90% aller Nutzer reicht diese Begrenzung allerdings völlig aus.

Durch den Screaming Frog kannst du individuell deine Seite crawlen und relevante Informationen herausholen. Du kannst die interne Verlinkung, die Doppelten Page Title oder unnötige 404/301 Fehler entdecken. Ein einziger Crawl verhilft dir zu all diesen Informationen zu einem fairen Preis. Für mich ist es das wichtigste SEO Tool für kleine Seiten.

Das Crawling ist viel ausführlicher, als in den meisten SEO Tools. Vor allem im Bereich SEO-Technik, gibt einem das Tool sehr viel mehr Informationen aus. Preis-Leistung ist unschlagbar.

Die Oberfläche ist für Anfänger ungeeignet. Sie ist nicht selbsterklärend, aber ein "SEO" findet sich wunderbar zurecht. Anders als andere SEO Tools wie z.B. XOVI, Ryte oder Searchmetrics setzt der Screaming frog eher auf Detail-Informationen und weniger auf eine fancy Oberfläche, bei der sich jeder direkt zurechtfindet.

Mit dem Screaming frog findet sich jedes doch so kleine SEO Problem. Man kann den Crawler sehr individuell konfigurieren und genau wählen, was analysiert werden soll und was nicht. Sehr vorteilhaft sind die CSV Exporte der betroffenen Seiten, die kann man danach einfach weiter verarbeiten.

Beste Features des Screaming-Frogs sind die Informationen zur internen Verlinkung, der relevanten OnPage SEO-Faktoren und den Meta-Tags einer Seite.

Klarer Nachteil des Screaming-Frogs ist, dass nur intern verlinkte Seiten analysiert werden. Da es sich um eine Software zum Optimieren von Seiten handelt, werden meist eher suboptimale Seiten gecrawlt. Hier kommt es relativ oft vor, dass Seiten, die eigtl. intern verlinkt sein sollten, im Äther herumschwirren. Um diese ausfindig zu machen benötigt man zusätzliche Tools wie die Google Search Console.

Der Screaming-Frog eignet sich perfekt zum Erheben des aktuellen Standes einer Website bzgl. der Suchmaschinenoptimierung.

Der unmittelbare Zugriff auf gewonnene Daten und die Steuerbarkeit während deren Erhebung unterscheiden den Screaming Frog von nahezu allen SaaS Lösungen. Die erhobenen Informationen direkt als CSV zu exportieren oder diese automatisiert zu exportieren, bietet einen großen Vorteil für die bedarfsgerechte Weiterverarbeitung. Hier können eigentlich nur Frameworks wie Scrapy mithalten, die zwar wesentlich besser auf spezielle Situationen angepasst werden können, dafür allerdings nur mit entsprechendem Mehraufwand eingerichtet und betrieben werden müssen.

Die inzwischen sehr hohe Anzahl an Funktionen schlägt sich inzwischen auf die Ausfürhungsdauer nieder. Es fehlt auch ein direktes Schreiben der gecrawlten Daten in eine Datenbank. Weiterhin fehlt ein vollumfänglicher Export der erfassten strukturierten Daten (JSON-LD), sowie das erkennen von Relationen zwischen den Datentypen.

Im Regelfall ist der Screaming Frog das Werkezug für die Erstanalyse von Webseiten bis zu 1 Mio URLs (Abhängig von der Hardware). Auch in der Adhoc Analyse zur Qualitätssicherung vor einem Deployment ist der Screaming Frog immer wieder hilfreich. Der große Vorteil hierbei liegt letztlich auch darin, dass "out-of-the-box" viele Funktionen bereitstehen, die ich mit einer SaaS Lösung erst kompliziert in einer eigentlich geschlossenen Infrastruktur einsetzen kann.

Die schnelle Ladezeit einer Analyse. Eine Normale Webseite ist bereits in wenigen Sekunden/Minuten Analysiert und man kann direkt mit dem Verarbeiten der Daten beginnen. Durch die ausführliche Informationen, die gegeben werden können nur Lücken in Seiten schnell gefiltert werden und so zielorientiert behoben werden. Die Grafik unten rechts gibt einen immer eine bessere Übersicht.

Es gibt keinen Filter um die Parameter zu entfernen somit muss man dies immer in der exportierten Datei bearbeiten. Zudem kann man beim Exportieren der Daten nicht auswählen welche Spalten man exportieren möchte, es werden einfach immer alle exportiert. Die grafische Anzeige des Programmes ist noch ausbaufähig, ein moderneres Design wäre super.

Eines der größten Probleme sind Analysen der Statuscodes der einzelnen Seiten. Ein weiterer Vorteil ist die Exportierung aller urs um Weiterleitungen zu erstellen für relaunch von Webseiten. Zudem ist das Tool bis auf die 500 URL Begrenzung gut in der Freeversion Nnutzbar.