So setzt du deine A/B Tests richtig um

1. 1. Was ist A/B Testing?
2. 2. Wofür kann man A/B Tests einsetzen?
3. 3. Wie baue ich eine A/B Testing-Strategie auf?
4. 4. Wie setze ich einen A/B Test mit AB Tasty auf?
5. 5. Wie werte ich einen Test richtig aus?
6. 6. Fazit zu A/B Testing
7. 7. Nützliche Tools für A/B Tests auf OMR Reviews

Bessere Conversions und mehr Umsatz bei gleichbleibendem Traffic auf deine Website? Wie soll das denn funktionieren? Die einfache Lösung: A/B Tests. Sie unterstützen dich dabei schrittweise datenbasierte Änderungen deiner Website vornehmen zu können und deine Zielgruppe nicht aus den Augen zu verlieren. So kannst du langfristig deine Website optimieren und das Beste aus ihr rausholen.

Wofür du A/B Tests einsetzen kannst und wie man solche durchführen kann, erfährst du in diesem Beitrag. Zusätzlich geben wir dir noch Vor- und Nachteile von A/B Tests und nützliche Tools mit auf den Weg, die dich bei der Website-Optimierung unterstützen.

1. Was ist A/B Testing?

Grundsätzlich meint A/B Testing (auch Split-Testing genannt) den Vergleich von mind. zwei Varianten eines Systems (wie z.B. einer Website). Dabei kannst du zwei oder mehr Versionen gegeneinander testen, die leicht voneinander abweichen. Per Zufallsprinzip werden die Versionen, dann deiner Zielgruppe ausgespielt und ihr Verhalten und Reaktionen in einem A/B Testing-Tool erfasst.

Üblicherweise werden A/B Tests im Online-Marketing vielfältig eingesetzt, um die Performance einer Seite messbar zu ermitteln und in Vergleich zu setzen. So können minimale Veränderungen beobachtet werden und analysiert werden, was die optimale Variante wäre.

Für dich als Unternehmen kann es ein hilfreiches Mittel zur Conversion-Optimierung deines Onlineshops oder deiner Website sein, also der Umwandlung von Besuchern in Kunden, sein. Neben Websites kannst du natürlich A/B Tests auch in nativen mobilen Apps für iPhone oder Android einsetzen oder über serverbasierte APIs Marketing-Kampagnen testen.

Zu unterscheiden sind A/B Tests in drei unterschiedliche Arten:

• Klassischer A/B Test: Der klassische A/B Test vergleicht zwei oder mehrere Varianten einer Seite unter derselben URL. Die Nutzer*innen gelangen zufällig auf eine der Varianten. Dabei ist es sehr wichtig nur einzelne Elemente, egal wie klein sie erscheinen, zu testen, da sonst separate Tests ergänzend durchgeführt werden müssen.
• Split Test (auch Weiterleitungstest): Bei der Methode des Split Tests wird der Traffic deiner Seite an eine andere oder mehrere andere URLs weitergeleitet, wie etwa bei unterschiedlichen Landingpages. Eingesetzt werden Split Tests daher auch gerne für neue Seiten.
• Multivariater Test (MVT): Diese Art ermöglicht es mehrere Kombinationen eines Elements auf einer bestimmten Seite zu testen. So können beispielsweise verschiedene Farb- und Textvarianten eines Buttons gleichzeitig getestet werden.

Neben den klassischen Tests lässt sich auch ein Änderungsvorhaben als “Patch” überbrücken – eine Variation wird an 100% des Traffics ausgespielt.

2. Wofür kann man A/B Tests einsetzen?

Mit A/B Tests kannst du im Grunde alle Teilaspekte deiner Website gegeneinander testen. Egal ob die Farbe deines Call-to-Action Buttons, die Größe deines Logos oder auch die Darstellung von Rabatten. Hier findest du einen kleinen Überblick über die verschiedenen Anwendungsmöglichkeiten:

• Titel, Überschriften und Content
• Call-To-Action
• Buttons
• Bilder
• Formulare
• Seitenstruktur
• Bezeichnungen
• Nutzerführung
• Produkt- und Preisdarstellungen
• Algorithmen für weitere Produktvorschläge
• und viele Weitere

Somit reiht sich der A/B-Test in die Maßnahmen von Conversion-Optimierungen ein. Dazu haben wir einen Artikel, mit den sieben besten Conversion-Optimierungstools, falls du mehr zum Thema wissen möchtest.

3. Wie baue ich eine A/B Testing-Strategie auf?

Je nach Website und Unternehmen kann ein A/B Test individuell durchgeführt werden. Bevor du allerdings direkt mit der Durchführung deines ersten A/B Tests loslegst, solltest du die richtigen Vorbereitungen treffen. Grundlage eines optimale A/B Tests ist immer die richtige Strategie. Um eine A/B Testing Strategie aufzubauen, solltest du am besten die folgenden drei Schritte beachten:

• Kontinuierliche Analyse und Ideen-Backlog: Zunächst musst du herausfinden, welche Aspekte getestet werden sollen, um welches Ziel erreichen zu wollen. Dazu kannst du Analysedaten aus deinen Web Analytics Tools oder auch Usability Tests heranziehen. So helfen dir bspw. wichtige Kennzahlen wie die Click through Rate, die Bounce Rate oder ähnliche Statistiken zu Klickraten bei der Auswahl deines Untersuchungobjekts. Im besten Fall hast du alle möglichen Stationen des Funnels auf Störfaktoren analysiert und auch andere Teams mit in deine Ideensammlung einbezogen.
• Priorisierung & Roadmap erstellen: Hier ist es wichtig deine Ideen und Untersuchungsobjekte nach Potential, Wichtigkeit & Machbarkeit zu priorisieren. Dabei kannst du auch besondere Kampagnen oder Aktionen mit einplanen. Seid hier allerdings vorsichtig und macht nicht zu viele Tests gleichzeitig, damit die Auswirkungen zuordenbar bleiben.
  
  Hypothesen formulieren: Sind deine Untersuchungsziele festgelegt und priorisiert, solltest du passende Hypothesen zur Problemlösung entwickeln. Dein identifiziertes Problem (Untersuchungsaspekt) und die wahrscheinliche Ursache sind dabei ein wichtiger Bestandteil deiner Hypothesenfindung. In diesem Zuge musst du im Kern hinterfragen, ob z.B. die Platzierung, Farbe, Größe, etc. deines Untersuchungaspekts aus Nutzersicht gelungen oder eher hinderlich ist. Abschließend wird die mögliche Lösung und das erreichende Ziel ebenfalls in der Hypothese aufgenommen.
• Bekanntheit schaffen: Mit Hilfe von u.A. internen Newsletter, Gewinnspiele und Vieles mehr kannst du für mehr Aufmerksamkeit und Bekanntheit deines A/B Testings sorgen. Dein oberstes Ziel sollte es sein die Kultur des Experimentierens im ganzen Unternehmen zu etablieren.

4. Wie setze ich einen A/B Test mit AB Tasty auf?

Hast du deine A/B Testing Strategie final festgelegt und Hypothesen entwickelt, kannst du mit der Durchführung des A/B Tests beginnen. Diese lässt sich in der Regel in sieben grundlegende Schritte unterteilen:

1. Implementiere dein gewähltes A/B Testing Tool, durch das Einbinden von Tags auf allen relevanten Seiten
2. Erstelle die Variationen deiner Untersuchungsaspekte in deinem Tool, z.B. mit dem WYSIWYG Editor von AB Tasty.
3. Setze deine Ziele (primäre und sekundäre KPIs) fest, z.B. Transaktionen, Klicks oder das Erreichen bestimmter Seiten je nach Hypothese.
4. Finde das richtige Targeting für dich und deine Zielgruppe (Wo, Wer, Wann?). Berücksichtigt hierbei auch deine Targeting-Kriterien wie z.B. Quelle oder Device und nutzt ggf. Templates von AB Tasty.
5. Bestimme deine Traffic Allocation. In der Regel solltest du den Traffic gleichmäßig auf die Variationen verteilen. Es ist allerdings auch möglich eine Dynamic Traffic Allocation vorzunehmen.
6. Macht einen ersten Probedurchlauf des A/B Tests im QA-Modus.
7. Abschließend lässt du deinen A/B Test durchlaufen und wertest diesen im Anschluss aus.

Im WYSIWYG-Editor von AB Tasty wirst du sicher durch alle wichtigen Schritte geführt, um deinen Test zu erstellen.

Welches Tool du am besten für deine A/B Tests verwenden solltest, hängt unter Anderem von der Größe deines Unternehmens sowie deinem benötigten Funktionsumfang ab. Hast du bereits Vorkenntnisse im A/B Testing? Oder eher nicht? So gibt es unterschiedliche A/B Testing Tools, von einfachen Anwendungen für Kleinunternehmer*innen bis hin zu komplexen Enterprise-Lösungen mit Rund-um-Service. Am Ende dieses Beitrags teilen wir mit dir ein paar der relevantesten A/B Testing Tools auf OMR Reviews.

5. Wie werte ich einen Test richtig aus?

Nach der erfolgreichen Durchführung deiner A/B Tests kannst du die gesammelten Daten auswerten und die gewonnenen Ergebnisse zur Ableitung von Handlungsmaßnahmen deiner Marketing-Ziele nutzen. Wann dein A/B Test abgeschlossen ist, kannst du meist direkt im A/B Testing Tool erkennen. AB Tasty beispielsweise zeigt dir an, wann eine Statistische Signifikanz erreicht ist und du valide Ergebnisse erreicht hast. Die Gewinnwahrscheinlichkeit sollte hierbei bei mind. 95% liegen, als Referenzwert nutzt AB Tasty  die Bayessche Statistik.

Diese verwendet zum Einen eine Wahrscheinlichkeitsindex, der in direkter Verbindung zum Nutzerverhalten und -denken steht. Zum Anderen stellt die Bayessche Statistik Konfidenzintervalle für fundierte Geschäftsentscheidungen bereit, wodurch du die Relevanz der getesteten Versionen besser bestimmen kannst.

Ein gutes Reporting zeigt dir, wann dein A/B Test statistische Signifikanz erreicht hat.

Unsere Empfehlung für eine optimale Auswertung deiner Ergebnisse: Lasst mindestens zwei Business Cycle laufen, die in der Regel jeweils 2 Wochen durchgeführt werden. Dabei solltest du mit mindestens 5000 Besucher pro Variation und mind. 300-500 Conversions pro Variation auf dein primäres Ziel rechnen.

Die Ergebnisse deines A/B Tests können dir nun Aufschlüsse darüber geben, ob deine Hypothesen bestätigt wurden sowie wie viel besser die andere Variante performt hat. Außerdem kannst du anhand weiterer Insights auch die Performance in bestimmten Zielgruppensegmenten ablesen. Achtet dabei auch auf das Vermeiden von möglichen Fallstricken deiner Ergebnisauswertung. Das können z.B. das Außer Acht lassen dein Mikro-Conversion (die direkt mit dem Test verbunden ist) oder auch das Verwenden von unklaren Hypothesen und primären Zielen sein. Nächste Schritte deines A/B Tests  könnten abschließend dann die Umsetzung im Hard Code, der Start weiterführender Tests oder das Ableiten von Personalisierungen sein.

Reporting bei AB Tasty: Mit Einblick in Daten wie Gewinnwahrscheinlichkeit, Konfidenzintervall und vieles mehr kannst du schnelle und sichere Entscheidungen treffen.

6. Fazit zu A/B Testing

Vorteile:

• Es sind keine technische Vorkenntnisse notwendig, um den A/B Test durchzuführen. Mit den richtigen Testing Tools ist der Aufwand auch entsprechend gering.
• Du legst den Fokus auf deine Zielgruppe und kannst ihre Perspektive einnehmen. Daraus lässt sich auch direkt ableiten, welche Elemente gut funktionieren und welche eher nicht.
• Die erhobenen Daten liefern dir eindeutige Ergebnisse, wie du die Experience deiner Website für deine Zielgruppe verbessern kannst und haben direkten Einfluss auf deinen ROI.

A/B Testing verhilft dir nicht nur zu besseren User Experiences, sondern hilft dir auch direkten Einfluss auf den ROI zu nehmen.

Nachteile:

• Bei A/B Tests ist es sehr wichtig, dass du für jede Veränderung einen einzelnen Test durchführst, da deine Auswertung ansonsten nicht eindeutig ist.
• Wenn du zu viele Änderungen auf der Website in zu kurzen Abständen vornimmst, kann es passieren, dass du für Verwirrung und Abschreckungen bei deinen bestehenden Kund*innen sorgst. Plane daher in deine Roadmap mit ein, welche User in welche Tests laufen und schließt ggf. bestimmte Segmente aus oder oder lasse etwas Zeit zwischen Tests auf einer bestimmten Seite.

7. Nützliche Tools für A/B Tests auf OMR Reviews

Auf OMR Reviews findest du eine Übersicht der A/B Testing Tools und Conversion Optimierung Software und kannst dir mithilfe von verifizierten Nutzererfahrungen und -bewertungen für die für dich am besten geeignete Software entscheiden. Eine kleine Auswahl der beliebtesten Tools haben wir dir hier schon mal zusammengestellt:

• Varify.io
  (Jetzt kostenfrei testen)
• ABlyft
• Kameleoon
• Trbo
• AB Tasty
• Zoovu
• uptain
• Unbounce
• Neocom
• Dynamic Yield
• ClickFunnels
• Adobe Target