SEO A/B-Testing: So bewertest du deine SEO-Maßnahmen

In der Suchmaschinenoptimierung ist es manchmal schwierig, die Auswirkung von Maßnahmen messbar zu machen. Mit SEO A/B-Testing schaffen wir genau diese Möglichkeit.

Was ist SEO A/B-Testing?

Bei einem SEO A/B-Test wird die Auswirkung einer Veränderung auf deiner Website auf Basis bestimmter SEO-KPIs analysiert. Im Vergleich zu einem klassischen A/B-Test, bei dem zwei Varianten einer Seite erstellt werden, werden hier mehrere Seiten in zwei Gruppen aufgeteilt. Es handelt sich also um einen Split-Test. Bei einer korrekten Aufteilung haben saisonbedingte Schwankungen und verschiedene Updates Auswirkung auf Test- und Kontrollgruppen und werden dadurch neutralisiert. 

Warum ist A/B-Testing in SEO sinnvoll?

Mit SEO A/B-Testing kannst du deine SEO-Maßnahmen mit Zahlen untermauern. So können Maßnahmen nicht nur besser bewertet werden, sondern auch der interne Stellenwert von SEO-Projekten angehoben werden. Durch Split Testing können wir den Output eines Projekts besser vorherbestimmen, was die Ressourcenplanung erleichtert und dabei hilft, Entscheidungsträger zu überzeugen. Ein weiterer wichtiger Punkt ist es, negative Effekte zu erkennen – egal wie lange eine Person im SEO arbeitet, nicht jede Idee bringt einen positiven Effekt mit sich. Wird eine Maßnahme vor der Umsetzung getestet, können Änderungen rückgängig gemacht werden, wenn der gewünschte Effekt nicht eintritt. 

SEO Testverfahren können sowohl kleine als auch große Änderungen an deiner Website messen. Du wirst schnell merken, dass manchmal kleine Veränderungen schon einen großen Impact haben können. Von technischen Anpassungen bis hin zu Inhaltsänderungen ist alles möglich, solange deine Website die Voraussetzungen erfüllt. 

Für wen lohnt sich SEO A/B-Testing?

Diese Art von Testing richtet sich an größere Websites, welche die folgenden Anforderungen erfüllen: 

• mindestens 1.000 organische Klicks am Tag über Test- & Kontrollgruppe
• die Grundgesamtheit sollte mindestens 300 URLs umfassen
• die Seiten innerhalb des Tests müssen das gleiche Template aufweisen
• du musst in der Lage sein, die gewünschten Änderungen auf deiner Website durchzuführen

Klick- und Seitenanzahl sind Richtwerte. Das bedeutet, du kannst auch Tests durchführen, wenn deine Seite diese Vorgaben nicht vollständig erfüllt. Allerdings sinkt die Wahrscheinlichkeit für ein signifikantes Ergebnis. Wichtig ist außerdem, dass du ein analytisches Verständnis hast, die Zahlen aufbereiten und die Ergebnisse nach Testende interpretieren kannst. 

Welche Arten von SEO A/B-Testing gibt es in der Praxis?

Neben einem Splittest kannst du im SEO auch einen zeitbasierten Test durchführen. Bei einem zeitbasierten SEO-Test nimmst du die Änderungen an einer Gruppe von Seiten vor und wartest einen bestimmten Zeitraum. Anschließend betrachtest du die Veränderung des organischen Traffics zwischen dem Kontrollzeitraum (Zeitraum vor der Veränderung) und dem Testzeitraum. Bei dieser Art von Test gibt es keine Test- & Kontrollgruppe. Diese Testmöglichkeit eignet sich vor allem für kleine Websites, welche nicht alle Voraussetzungen erfüllen. Hier sollte beachtet werden, dass bei einem einfachen Vergleich keine Signifikanzberechnung stattfindet. 

Bei einem statistischen SEO-Split-Test kannst du in der Regel innerhalb von 2 bis 6 Wochen Schlussfolgerungen aus den Daten ziehen. Erfüllt deine Website alle Voraussetzungen, bietet Google hierfür direkt das richtige Konzept: Mit Causal Impact wird die Veränderung einer bestimmten KPI auf Basis deiner Teständerung gegen eine unveränderte Kontrollgruppe getestet.

Welche Details sind für einen SEO A/B-Test wichtig?

Am wichtigsten ist die Datengrundlage. Starten wir mit fehlerhaften oder unvollständigen Daten, können wir kein korrektes Ergebnis erwarten. Nimm dir daher ausreichend Zeit, deine Daten aufzubereiten. 

Wie läuft ein SEO A/B-Test ab?

Zuerst musst du wissen, welche Maßnahmen du als nächstes umsetzen möchtest. Eine SEO-Strategie ist also die Voraussetzung, Tests durchzuführen. Es ist davon abzuraten, einen SEO-Test des Tests wegen durchzuführen. Vielmehr sollen dich Split-Tests bei deiner Arbeit unterstützen.

Der Ablauf kann dann wie folgt aussehen: 

1. Testcase festlegen
2. Hypothesen bilden: Aufstellung der Null- & Alternativhypothese
3. Grundgesamtheit bilden: Alle Seiten, welche du für deinen Test benötigst
4. Sample Size Calculation: Anzahl der URLs in der Testgruppe festlegen
5. Test- & Kontrollgruppe bilden
6. Änderungen durchführen
7. 2-6 Wochen warten
8. Test auswerten

So setzt du deinen SEO A/B-Test auf

Zuerst musst du dir im Klaren sein, was du testen willst und welches Ergebnis du erwartest. Dazu stellst du eine H0 (Nullhypothese) und eine H1 (Alternativhypothese) auf. Diese müssen sich gegenseitig ausschließen:

H0 = Die Integration von Emojis in meinen Snippets hat keine Auswirkungen auf den Nutzer und beeinflusst die Klicks nicht.

H1 = Die Integration von Emojis in meinen Snippets hat eine Auswirkung auf den Nutzer und beeinflusst die Klicks positiv.

Die H0 ist die Ausgangshypothese und gilt so lange, bis das Gegenteil mithilfe von Daten bewiesen ist. Damit du die Test- und Kontrollgruppe erstellen kannst, brauchst du eine Grundgesamtheit an URLs, die für deinen Test infrage kommen. Als Datengrundlage exportierst du die organischen Klicks pro Tag pro URL der letzten 3 Monate und speichere sie in einer Excel. Wobei 3 Monate hier das Minimum sind, du kannst auch auf einen längeren Zeitraum zurückgreifen. 

Bei der Aufteilung der URLs kannst du jederzeit einen 50:50 Split vornehmen. Wenn du die Änderung bei weniger URLs testen willst, kannst du mithilfe einer „Sample Size Calculation“ berechnen, wie viele URLs der Grundgesamtheit in deine Testgruppe gehören. 

Test- & Kontrollgruppe erstellen mit ChatGPT

Zur Aufteilung deiner URLs in Test- und Kontrollgruppe kann dir die Advanced Data Analysis von ChatGPT eine Hilfe sein: Lade hierzu deine vorbereitete Excel in ChatGPT und lass die Daten zuerst analysieren.

Werden die Inhalte richtig interpretiert, kannst du die URLs in zwei Gruppen aufteilen lassen. Dazu kannst du diesen Prompt nutzen: „Kannst du mir helfen, die Daten anders aufzubereiten? Mein Ziel ist es, die URLs in zwei ca. gleich große Gruppen aufzuteilen und die Korrelation der beiden Gruppen zu berechnen. Die Korrelation sollte dabei über 0,9 sein.“ Du solltest eine Korrelation von mindestens 90% anstreben – je höher, desto besser.

Es kann sein, dass ChatGPT nicht direkt eine optimale Lösung findet und dir einen anderen Ansatz vorschlägt. Meine Erfahrung hat gezeigt, dass nach 2-3 Runden ein optimales Ergebnis entsteht. 

Jetzt kannst du dir die Daten mit einem einfachen Prompt in einer Excel ausgeben lassen: „Vielen Dank! Kannst du mir die URLs mit der dazugehörigen Gruppe in einer Excel-Tabelle ausgeben?“

Willst du die Ergebnisse von ChatGPT überprüfen? Mit der Excel-Funktion „KORREL“ kannst du die Korrelation von zwei Bereichen berechnen.

Nachdem du Test- und Kontrollgruppen bestimmt hast, ist es wichtig, dass du deine Änderungen innerhalb einer Woche gesammelt durchführst. Brauchst du länger für deine Änderung, ist zu empfehlen, die Grundgesamtheit um die neuen Traffic-Daten anzureichern und die Korrelation erneut zu prüfen.

Mit Livegang der Maßnahme beginnt der SEO-Test. Wenn du auf Nummer sicher gehen willst, dass Google alle Änderungen sieht, kannst du das Crawling manuell anstoßen.

Du solltest deinen Test jetzt mindestens zwei bis sechs Wochen laufen lassen, um ein aussagekräftiges Ergebnis zu erhalten. Wenn du neugierig bist, kannst du auch schon nach einer Woche einen ersten Blick in die Zahlen werfen. Ich empfehle dir allerdings, ihn für mindestens 2 Wochen laufenzulassen. 

Testauswertung: SEO A/B-Testing mit Causal Impact

Für die Testauswertung ergänzt du die Trafficdaten (Klick pro URL pro Tag) in deiner Excel um die Daten des Testzeitraums. Anschließend summierst du die Trafficdaten pro Gruppe auf und speicherst diese in einer extra CSV. Das sollte wie folgt aussehen: 

Y = Testgruppe (Summe der Klicks)

X = Kontrollgruppe (Summe der Klicks)

Die Testauswertung findet dann in RStudio statt. Das Modell, welches deinen Test auswertet, ist Causal Impact. Keine Sorge, du musst nicht selbst programmieren – du findest den kompletten Code bei Github. 

Nachdem du alle relevanten Packages (Causal Impact: Unbedingt „install dependencies“ auswählen, bsts, BoomSpikeSlab, Boom & readr) heruntergeladen hast, überträgst du den Code in RStudio. Jetzt musst du nur noch den Pfad deiner CSV-Datei angeben und den Vor- sowie Testzeitraum in Form von Zeilennummern einstellen. Im folgenden Beispiel ist der Vorzeitraum von Zeile 1 bis 150 und der Testzeitraum von Zeile 151 bis 180.

Das sollte dann so aussehen: 

Nachdem du alle Informationen angegeben hast, kannst du das Programm ausführen. Du bekommst automatisch einen Report und ein grafisches Ergebnis, ohne selbst etwas berechnen zu müssen.

Auf der linken Seite findest du den Report. Die Auswertung sagt uns, wie sich der Traffic im Vergleich zur Vorhersage verändert hat und ob das Ergebnis statistisch signifikant ist oder nicht. 

Die Grafik, die ausgegeben wird, ist in drei Bereiche aufgeteilt:

• Original: Das erste Feld zeigt durch die blaue Linie eine Vorhersage des Traffic-Verlaufs ohne Änderung. Die schwarze Linie zeigt den tatsächlichen Verlauf der Daten.
• Pointwise: Diese Betrachtung zeigt die Differenz zwischen beobachteten Daten und der Schätzung.
• Cumulative Impact: Hier wird der Effekt kumuliert dargestellt. 

Welche Tools eignen sich für SEO A/B-Tests?Wenn du deine SEO-Maßnahmen mithilfe von SEO A/B-Testing überprüfen willst, kannst du dir eine kostenfreie Testumgebung mithilfe von RStudio aufbauen oder auf eins der folgenden Tools zurückgreifen: 

• Ryte

• Semrush

• SearchPilot

Fazit: Solltest du deine Zeit in SEO-Split-Tests investieren?

SEO-Split-Tests können dir dabei helfen, deinen SEO-Erfolg zu messen. Sie helfen dir (und deinen Stakeholdern) den Wert deiner SEO-Maßnahmen zu verstehen, sodass du fundierte Entscheidungen treffen und deine SEO-Strategie langfristig erfolgreich gestalten kannst. Zudem ist und bleibt SEO unberechenbar: Was bei der einen Website funktioniert, muss nicht zwangsweise bei der anderen Website von Vorteil sein oder könnte morgen nicht mehr relevant sein. Durch Tests kannst du herausfinden, was für deine Website am besten funktioniert und proaktiv auf Änderungen reagieren. Wenn deine Website die Voraussetzungen erfüllt, solltest du ab sofort deine SEO-Maßnahmen mithilfe von SEO A/B-Testing überprüfen.