So setzt Ihr Eure A/B Tests richtig um

Katharina Van Hoeylandt 24.1.2022

Wir erklären Euch, was A/B Tests sind und wie Ihr diese sinnvoll zur Conversion-Optimierung einsetzen könnt.

Bessere Conversions und mehr Umsatz bei gleichbleibendem Traffic auf Eurer Website? Wie soll das denn funktionieren? Die einfache Lösung: A/B Tests. Sie unterstützen Euch dabei schrittweise datenbasierte Änderungen Eurer Website vornehmen zu können und Eure Zielgruppe nicht aus den Augen zu verlieren. So könnt Ihr langfristig Eure Website optimieren und das Beste aus ihr rausholen.

Wofür Ihr A/B Tests einsetzen könnt und wie man solche durchführen kann, lest Ihr in diesem Beitrag. Zusätzlich geben wir Euch noch Vor- und Nachteile von A/B Tests und nützliche Tools mit auf den Weg, die Euch bei der Website-Optimierung unterstützen.

1. Was ist A/B Testing?

Grundsätzlich meint A/B Testing (auch Split-Testing genannt) den Vergleich von mind. zwei Varianten eines Systems (wie z.B. einer Website). Dabei könnt Ihr zwei oder mehr Versionen gegeneinander testen, die leicht voneinander abweichen. Per Zufallsprinzip werden die Versionen, dann Eurer Zielgruppe ausgespielt und ihr Verhalten und Reaktionen in einem A/B Testing-Tool erfasst.

Üblicherweise werden A/B Tests im Online-Marketing vielfältig eingesetzt, um die Performance einer Seite messbar zu ermitteln und in Vergleich zu setzen. So können minimale Veränderungen beobachtet werden und analysiert werden, was die optimale Variante wäre.

Für Euch als Unternehmen kann es ein hilfreiches Mittel zur Conversion-Optimierung Eures Onlineshops oder Eurer Website sein, also der Umwandlung von Besuchern in Kunden, sein. Neben Websites könnt Ihr natürlich A/B Tests auch in nativen mobilen Apps für iPhone oder Android einsetzen oder über serverbasierte APIs Marketing-Kampagnen testen.

Zu unterscheiden sind A/B Tests in drei unterschiedliche Arten:

Klassischer A/B Test: Der klassische A/B Test vergleicht zwei oder mehrere Varianten einer Seite unter derselben URL. Die Nutzer:innen gelangen zufällig auf eine der Varianten. Dabei ist es sehr wichtig nur einzelne Elemente, egal wie klein sie erscheinen, zu testen, da sonst separate Tests ergänzend durchgeführt werden müssen.
Split Test (auch Weiterleitungstest): Bei der Methode des Split Tests wird der Traffic Eurer Seite an eine andere oder mehrere andere URLs weitergeleitet, wie etwa bei unterschiedlichen Landingpages. Eingesetzt werden Split Tests daher auch gerne für neue Seiten.
Multivariater Test (MVT): Diese Art ermöglicht es mehrere Kombinationen eines Elements auf einer bestimmten Seite zu testen. So können beispielsweise verschiedene Farb- und Textvarianten eines Buttons gleichzeitig getestet werden.

Neben den klassischen Tests lässt sich auch ein Änderungsvorhaben als “Patch” überbrücken – eine Variation wird an 100% des Traffics ausgespielt.

2. Wofür kann man A/B Tests einsetzen?

Mit A/B Tests könnt Ihr im Grunde alle Teilaspekte Eurer Website gegeneinander testen. Egal ob die Farbe Eures Call-to-Action Buttons, die Größe Eures Logos oder auch die Darstellung von Rabatten. Hier findet Ihr einen kleinen Überblick über die verschiedenen Anwendungsmöglichkeiten:

Titel, Überschriften und Content
Call-To-Action
Buttons
Bilder
Formulare
Seitenstruktur
Bezeichnungen
Nutzerführung
Produkt- und Preisdarstellungen
Algorithmen für weitere Produktvorschläge
und viele Weitere

Somit reiht sich der A/B-Test in die Maßnahmen von Conversion-Optimierungen ein. Dazu haben wir einen Artikel, mit den sieben besten Conversion-Optimierungstools, falls Ihr mehr zum Thema wissen möchtet.

3. Wie baue ich eine A/B Testing-Strategie auf?

Je nach Website und Unternehmen kann ein A/B Test individuell durchgeführt werden. Bevor Ihr allerdings direkt mit der Durchführung eures ersten A/B Tests loslegt, solltet Ihr die richtigen Vorbereitungen treffen. Grundlage eines optimale A/B Tests ist immer die richtige Strategie. Um eine A/B Testing Strategie aufzubauen, solltet Ihr am besten die folgenden drei Schritte beachten:

Kontinuierliche Analyse und Ideen-Backlog: Zunächst müsst Ihr herausfinden, welche Aspekte getestet werden sollen, um welches Ziel erreichen zu wollen. Dazu könnt Ihr Analysedaten aus Euren Web Analytics Tools oder auch Usability Tests heranziehen. So helfen Euch bspw. wichtige Kennzahlen wie die Click through Rate, die Bounce Rate oder ähnliche Statistiken zu Klickraten bei der Auswahl Eures Untersuchungobjekts. Im besten Fall habt Ihr alle möglichen Stationen des Funnels auf Störfaktoren analysiert und auch andere Teams mit in Eure Ideensammlung einbezogen.
Priorisierung & Roadmap erstellen: Hier ist es wichtig Eure Ideen und Untersuchungsobjekte nach Potential, Wichtigkeit & Machbarkeit zu priorisieren. Dabei könnt Ihr auch besondere Kampagnen oder Aktionen mit einplanen. Seid hier allerdings vorsichtig und macht nicht zu viele Tests gleichzeitig, damit die Auswirkungen zuordenbar bleiben.

Hypothesen formulieren: Sind Eure Untersuchungsziele festgelegt und priorisiert, solltet Ihr passende Hypothesen zur Problemlösung entwickeln.Euer identifiziertes Problem (Untersuchungsaspekt) und die wahrscheinliche Ursache sind dabei ein wichtiger Bestandteil Eurer Hypothesenfindung. In diesem Zuge müsst im Kern Ihr hinterfragen, ob z.B. die Platzierung, Farbe, Größe, etc. Eures Untersuchungaspekts aus Nutzer:innensicht gelungen oder eher hinderlich ist. Abschließend wird die mögliche Lösung und das erreichende Ziel ebenfalls in der Hypothese aufgenommen.
Bekanntheit schaffen: Mit Hilfe von u.A. internen Newsletter, Gewinnspiele und Vieles mehr könnt Ihr für mehr Aufmerksamkeit und Bekanntheit Eurer A/B Testings sorgen. Euer oberstes Ziel sollte es sein die Kultur des Experimentierens im ganzen Unternehmen zu etablieren.

4. Wie setze ich einen A/B Test mit AB Tasty auf?

Habt Ihr Eure A/B Testing Strategie final festgelegt und Hypothesen entwickelt, könnt Ihr mit der Durchführung des A/B Tests beginnen. Diese lässt sich in der Regel in sieben grundlegende Schritte unterteilen:

Implementiert Euer gewähltes A/B Testing Tool, durch das Einbinden von Tags auf allen relevanten Seiten
Erstellt die Variationen Eurer Untersuchungsaspekte in Eurem Tool, z.B. mit dem WYSIWYG Editor von AB Tasty.
Setzt Eure Ziele (primäre und sekundäre KPIs) fest, z.B. Transaktionen, Klicks oder das Erreichen bestimmter Seiten je nach Hypothese.
Findet das richtige Targeting für Euch und Eure Zielgruppe (Wo, Wer, Wann?). Berücksichtigt hierbei auch Eure Targeting-Kriterien wie z.B. Quelle oder Device und nutzt ggf. Templates von AB Tasty.
Bestimmt Eure Traffic Allocation. In der Regel solltet Ihr den Traffic gleichmäßig auf die Variationen verteilen. Es ist allerdings auch möglich eine Dynamic Traffic Allocation vorzunehmen.
Macht einen ersten Probedurchlauf des A/B Tests im QA-Modus.
Abschließend lasst Ihr Euren A/B Test durchlaufen und wertet diesen im Anschluss aus.

Im WYSIWYG-Editor von AB Tasty werdet ihr sicher durch alle wichtigen Schritte geführt, um euren Test zu erstellen.

Welches Tool Ihr am besten für Eure A/B Tests verwenden solltet, hängt unter Anderem von der Größe Eures Unternehmens sowie Eurem benötigten Funktionsumfang ab. Habt Ihr bereits Vorkenntnisse im A/B Testing? Oder eher nicht? So gibt es unterschiedliche A/B Testing Tools, von einfachen Anwendungen für Kleinunternehmer:innen bis hin zu komplexen Enterprise-Lösungen mit Rund-um-Service. Am Ende dieses Beitrags teilen wir mit Euch ein paar der relevantesten A/B Testing Tools auf OMR Reviews.

5. Wie werte ich einen Test richtig aus?

Nach der erfolgreichen Durchführung Eurer A/B Tests könnt Ihr die gesammelten Daten auswerten und die gewonnenen Ergebnisse zur Ableitung von Handlungsmaßnahmen Eurer Marketing-Ziele nutzen. Wann Eurer A/B Test abgeschlossen ist, könnt Ihr meist direkt im A/B Testing Tool erkennen. AB Tasty beispielsweise zeigt Euch an, wann eine Statistische Signifikanz erreicht ist und Ihr valide Ergebnisse erreicht habt. Die Gewinnwahrscheinlichkeit sollte hierbei bei mind. 95% liegen, als Referenzwert nutzt AB Tasty die Bayessche Statistik.

Diese verwendet zum Einen eine Wahrscheinlichkeitsindex, der in direkter Verbindung zum Nutzerverhalten und -denken steht. Zum Anderen stellt die Bayessche Statistik Konfidenzintervalle für fundierte Geschäftsentscheidungen bereit, wodurch Ihr die Relevanz der getesteten Versionen besser bestimmen könnt.

Ein gutes Reporting zeigt euch, wann euer A/B Test statistische Signifikanz erreicht hat.

Unsere Empfehlung für eine optimale Auswertung Eurer Ergebnisse: Lasst mindestens zwei Business Cycle laufen, die in der Regel jeweils 2 Wochen durchgeführt werden. Dabei solltet Ihr mit mindestens 5000 Besucher pro Variation und mind. 300-500 Conversions pro Variation auf Euer primäres Ziel rechnen.

Die Ergebnisse Eures A/B Tests kann Euch nun Aufschlüsse darüber geben, ob Eure Hypothesen bestätigt wurden sowie wie viel besser die andere Variante performt hat. Außerdem könnt Ihr anhand weiterer Insights auch die Performance in bestimmten Zielgruppensegmenten ablesen. Achtet dabei auch auf das Vermeiden von möglichen Fallstricken Eurer Ergebnisauswertung. Das können z.B. das Außer Acht lassen Eurer Mikro-Conversion (die direkt mit dem Test verbunden ist) oder auch das Verwenden von unklaren Hypothesen und primären Zielen sein. Nächste Schritte Eures A/B Tests könnten abschließend dann die Umsetzung im Hard Code, der Start weiterführender Tests oder das Ableiten von Personalisierungen sein.

Reporting bei AB Tasty: Mit Einblick in Daten wie Gewinnwahrscheinlichkeit, Konfidenzintervall und vieles mehr könnt ihr schnelle und sichere Entscheidungen treffen.

6. Fazit zu A/B Testing

Vorteile:

Es sind keine technische Vorkenntnisse notwendig, um den A/B Test durchzuführen. Mit den richtigen Testing Tools ist der Aufwand auch entsprechend gering.
Ihr legt den Fokus auf Eure Zielgruppe und könnt Ihre Perspektive einnehmen. Daraus lässt sich auch direkt ableiten, welche Elemente gut funktionieren und welche eher nicht.
Die erhobenen Daten liefern Euch eindeutige Ergebnisse, wie Ihr die Experience eurer Website für eure Zielgruppe verbessern könnt und haben direkten Einfluss auf euren ROI.

A/B Testing verhilft euch nicht nur zu besseren User Experiences, sondern hilft euch auch direkten Einfluss auf den ROI zu nehmen.

Nachteile:

Bei A/B Tests ist es sehr wichtig, dass Ihr für jede Veränderung einen einzelnen Test durchführt, da Eure Auswertung ansonsten nicht eindeutig ist.
Wenn Ihr zu viele Änderungen auf der Website in zu kurzen Abständen vornehmt, kann es passieren, dass Ihr für Verwirrung und Abschreckungen bei Euren bestehenden Kund:innen sorgt. Plant daher in Eurer Roadmap mit ein, welche User in welche Tests laufen und schließt ggf. bestimmte Segmente aus oder oder lasst etwas Zeit zwischen Tests auf einer bestimmten Seite.

7. Nützliche Tools für A/B Tests auf OMR Reviews

Auf OMR Reviews findet Ihr eine Übersicht der A/B Testing Tools und Conversion Optimierung Software und könnt Euch mithilfe von verifizierten Nutzererfahrungen und -bewertungen für die für Euch am besten geeignete Software entscheiden. Eine kleine Auswahl der beliebtesten Tools haben wir Euch hier schon mal zusammengestellt:

Autor*In

Katharina Van Hoeylandt