Warum A/B-Testing im E-Commerce so wichtig ist

A/B-Testing ist eine bewährte Methode, um den eigenen Onlineshops langfristig und datengetrieben zu verbessern. Vor allem im E-Commerce ist A/B-Testing unumgänglich und nicht ohne Grund haben Unternehmen wie Amazon das Thema in den Kern ihrer Wachstumsstrategie integriert. Unser Gastautor Marven Hennecker zeigt dir in diesem Artikel, was beim Thema A/B-Testing zu berücksichtigen ist.

Was ist ein A/B-Test (im E-Commerce)?

Grundsätzlich handelt es sich bei einem A/B-Test im E-Commerce um ein reines Zufallsexperiment, bei welchem den Besucher*innen eines Onlineshops mindestens zwei verschiedene Varianten des Onlineshops angezeigt werden. Die Auswahl, welche Variante welchen Besucher*innen schlussendlich angezeigt wird, basiert auf dem Zufallsprinzip. Das Ziel eines A/B-Tests im E-Commerce besteht meistens darin, Annahmen zu überprüfen und Entscheidungen auf datenbasierten Ergebnissen zu treffen. Durchgeführt wird ein solcher A/B-Test immer in einem passenden Testing-Tool, dazu im weiteren Verlauf des Beitrags mehr. Zusätzliche allgemeine Infos gibt es im Beitrag zu den A/B-Testing-Grundlagen.

Wie funktioniert A/B-Testing im E-Commerce?

Aller Anfang ist schwer. So auch der Anfang, wenn du mit deinen ersten A/B-Tests in deinem Onlineshop starten möchtest. Grundsätzlich gilt auch hier, viele Wege führen nach Rom. Aber was wird für diese Reise überhaupt benötigt?

In diesem Abschnitt bekommst du eine beispielhafte Vorgehensweise an die Hand, wie du Schritt für Schritt mit dem A/B-Testing beginnen kannst und die ersten Schritte allein gehst. Bitte sei dir bewusst, dass dieses Vorgehen unser Best-Practice-Modell ist und nicht für jeden Onlineshop gelten muss.

Testideen finden

Als allererstes benötigst du Testideen. Denn jedem A/B-Test liegt am Anfang immer eine gute Testidee zugrunde. Hierbei ist wichtig festzustellen, dass eine Testidee keine hochkomplexe Struktur besitzen muss und du deiner Vorstellung freien Lauf lassen kannst. Du solltest allerdings schauen, dass die Testidee einen Ansatzpunkt für eine mögliche Verbesserung besitzt. Alternativ kannst du Elemente deines Onlineshops objektiv infrage stellen. Denn ganz wichtig: Im gesamten Vorgehen des A/B-Testings sollten persönliche Meinungen und Empfindungen zu jeder Zeit zurückgestellt werden können. Im unten stehenden Bild kannst du relativ gut nachvollziehen, was wir damit meinen. 

Gute Testideen generierst du allerdings meistens anders. Und zwar ganz systematisch durch die Analyse deiner qualitativen und quantitativen Daten. Dein Onlineshop produziert dauerhaft Daten, welche du in deinem Shopsystem oder deinem Analytics Programm wiederfindest. Weiter kann dir ein Bewertungs-Tool, wie REVIEWS.io oder Trusted Shops, weitere Ansatzpunkte liefern. Auch kannst du mit einem Tool wie Hotjar das Nutzerverhalten analysieren und Testideen generieren. Du solltest immer versuchen, so viele Testideen wie möglich zu generieren. Daher gibt es dabei auch keine bestimmte Anzahl, die du mindestens erzielen solltest.

Um dir das Erzeugen von Testideen zu erleichtern, haben wir eine kleine Grafik erstellt, in der du 15 Testideen einer Produktdetailseite finden kannst. Wie viele findest du?

15 Testideen

Hypothesen formulieren und priorisieren 

Wichtig ist es, dass deine Testideen Struktur und Sinnhaftigkeit vermittelt bekommen. Vor allem bei einer großen Anzahl an generierten Testideen ist dieser Punkt extrem hilfreich, um deine Testideen langfristig mit einer Vergleichbarkeit zu versehen. Daher formen wir im nächsten Schritt alle Testideen in konkrete und präzise Hypothesen um. 

Zuerst sollten wir allerdings erst klären, was unter einer Hypothese überhaupt zu verstehen ist. Bei einer Hypothese handelt es sich um eine Vermutung, die für bestimmte Zwecke als wahr angenommen wird, bis sie erhärtet oder widerlegt wird. Es ist also eine begründete Annahme über ein mögliches Ergebnis.

Das Erstellen dieser Hypothesen muss nicht zwingend einem bestimmten Vorgehen nachgehen, allerdings empfiehlt es sich grundsätzlich, einem Framework zu folgen. Wir empfehlen dir an dieser Stelle dem Wenn-Dann-Weil-Framework zu folgen. 

• WENN = spezifische Änderung im Onlineshop
• DANN = Zu erwartendes Ergebnis (KPI)
• WEIL = Detaillierte und fundierte Begründung

Gerne zeigen wir dir dieses Framework an einem ganz praktischen Beispiel:

Du möchtest auf einer Produktdetailseite einen A/B-Test starten, weil du eine Anomalie in der Absprungrate dieser Seite feststellen könntest. Du möchtest daher mit Fokus auf den Social Proof ein neues Element testen und formulierst folgende Hypothese:

• WENN wir auf den Produktseiten in der Nähe vom Preis die durchschnittliche Gesamtbewertung des Produktes einblenden
• DANN steigt die Conversion Rate 
• WEIL das Kundenvertrauen durch den Effekt des Social Proofs steigt und der Preisschmerz sinkt

Nachdem wir nun verstanden haben, wie aus Testideen konkrete Hypothesen entstehen, könnte schnell angenommen werden, dass zum nächsten Schritt gesprungen werden kann. Dem ist leider nicht so, wir müssen die angefertigten Hypothesen noch verfeinern. 

Nehmen wir an, du hast insgesamt 20 Hypothesen formuliert. All diese Hypothesen unterscheiden sich hinsichtlich der Wahrscheinlichkeit, das zu erwartende Ergebnis auch zu erzielen. Schlussendlich sollten nur die erfolgversprechendsten Hypothesen getestet werden.

Daher ist es wichtig, dass du deine Hypothesen vergleichbar machst und anhand dieser Vergleichbarkeit priorisierst. Auch hier hilft dir erneut ein Framework weiter, welches du allerdings auf deine eigenen Dimensionen ausrichten musst. Wir nutzen da zum Beispiel ein System aus elf Kriterien, bei dem wir unter anderem festhalten, ob der Test „Above the Fold“ stattfindet, also in dem Bereich, der, für die Kund*innen ohne Scrollen sichtbar ist. Wenn ja, hat der Test eine höhere Priorität, da er von einer hohen Anzahl an Besucher*innen gesehen wird.

Ein weiteres Kriterium bei uns ist beispielsweise, ob die Idee durch eine quantitative Datenanalyse entstanden ist. Wenn ja, ist die Priorität auch hier höher als ohne Datengrundlage dahinter. Letztlich geht es darum, mit der Priorisierung die für dich erfolgversprechendsten Testideen und Hypothesen herauszuarbeiten. Die elf Kriterien unseres Frameworks helfen uns, genau das zu erreichen.

Für den Einstieg kann aber auch mit dem sogenannten „PIE-Framework“ gestartet werden:

• P steht dabei für Potenzial, also die Erfolgswahrscheinlichkeit des Tests.
• I steht für die Importance und schätzt ein, wie relevant der Test an der Stelle des Funnels etwa sein soll. 
• E für Ease und probiert auszudrücken, wie schnell ein solcher Test gestartet werden kann und wie viel Aufwand damit verbunden ist.

Jeder der drei Buchstaben bekommt in der Regel einen eingeschätzten Wert von 0–10 zugewiesen und zuletzt wird dann noch der Durchschnitt berechnet. 

Angenommen du vergibst P = 7, I = 9, E = 2, kommen wir auf einen Durchschnitt von 6 Scroing-Punkten. Jede Hypothese sollte so bewertet werden und die mit dem höchsten Scoring können, als Erstes den nächsten Schritt gehen.

Test designen und programmieren

Wir sind bisher auf einem sehr guten Weg und kommen deinem ersten A/B-Test immer näher, well done. Nachdem wir nun die Erfolgversprechendsten identifizieren konnten, ist es Zeit die Hypothesen zum Leben erwecken zu lassen und dann anschließend auch zu programmieren.

Im ersten Schritt sollten wir nun anfangen, aus der textlichen Form der Hypothese eine bildliche zu erschaffen. Deine Hypothese setzt lediglich die Rahmenbedingungen für deinen A/B-Test, ist aber keine 1:1-Anleitung zum Umsetzen. Das heißt, auch hier kannst du deiner Kreativität freien Lauf lassen. Behalte bei jedem Design-Fortschritt allerdings deine Hypothese im Hinterkopf und frage dich immer wieder, ob diese Veränderung oder dieses Element in Einklang mit dieser zu bringen ist. Technisch solltest du deine Designs immer über ein Tool wie Figma

Vergleichbarkeit beim Design

Anschließend muss der A/B-Test nach Anleitung des Designs in einem passenden A/B-Tool programmiert werden. Das sollte zwingend von einer fachkundigen Person übernommen werden. Sobald dieser Schritt fertig ist, kann dein erster A/B-Test live gehen. Herzlichen Glückwunsch! 

PS: Keiner mag fehlerhafte Darstellungen beim Onlinekauf. Überprüfe daher immer die Usability und Qualität der Programmierung, bevor der A/B-Test live geht.

Test auswerten und Ergebnisse für neue Ansätze nutzen

Ist der Test dann erst mal live, wird es spannend. Es gilt, die Ziele, die du misst, genau im Blick zu halten. Dazu im späteren Abschnitt noch einmal mehr.

Vorab berechnest du über einen sogenannten Minimal-Detectabel-Effect die Laufzeit des Tests und weißt dann genau, wie lange der Test online sein muss, um ein statistisch signifikantes Ergebnis zu erreichen. Statistik ist im A/B-Testing sehr wichtig, auch wenn das Thema oft nicht so gerne behandelt wird. Daher ist es unabdingbar, sich beim A/B-Testing damit auseinanderzusetzen und sich tiefer in das Thema einzuarbeiten.

Denn nur wenn die Berechnungen hier richtig vorgenommen werden, kann der Test später tatsächlich als Gewinner oder Verlierer gelten. Nach der berechneten Laufzeit wird der Test dann abgeschaltet und das Signifikanzniveau wird bestimmt.

Dabei kann es zu den folgenden drei Situationen kommen:

1. Deine Variante performt signifikant besser als das Original

Herzlichen Glückwunsch. Du hast deinen ersten erfolgreichen Test abgeschlossen und wirst hiermit einen monetären Mehrwert erzielen. Die Variante sollte also anstelle des Originals dauerhaft im Shop sichtbar sein. Halte diesen Test für die Zukunft im Hinterkopf, denn die Hypothese kannst du vermutlich in Zukunft in ähnlicher Form verwenden und an einer anderen Stelle anwenden. 

2. Deine Variante performt signifikant schlechter als das Original

Hier hast du auch ein signifikantes Ergebnis und kannst daraus lernen. Deine Hypothese hat nicht funktioniert. Jetzt gilt es abzuwägen, woran das lag und wie du mit einem Fazit die nächsten Tests besser machen kannst.

Die Variante sollte hier auf keinen Fall anstelle des Originals im Shop weiterlaufen. 

3. Deine Variante zeigt im Gegensatz zu dem Original keine signifikante Änderung

Das ist in der Regel der Worst-Case. Da du nicht weißt, woran es lag, dass die Variante weder besser noch schlechter lief. Bitte vermeide aber den Test als positiv oder negativ zu sehen, nur weil es eine Tendenz in eine der beiden Richtungen gab.

Was genau kannst du mit A/B-Testing im Onlineshop überprüfen?

Theoretisch ist es möglich, fast jeden einzelnen Bestandteil deines Onlineshops in einem A/B-Test zu überprüfen. Grundsätzlich solltest du jedoch nur Sachen A/B-Testen, bei denen du mit hoher Wahrscheinlichkeit davon ausgehen kannst, eine Verbesserung herbeizuführen. 

A/B-Testing-Beispiele

Verschiedene Seiten (PDP, Kategorieseite & Co.)

Vor allem auf Start-, Kategorie- und Produktdetailseiten kannst du extrem viele verschiedene Sachen A/B-testen. Um konkreten Mehrwert zu geben, wollen wir dir folgende Ideen mit an die Hand geben.

Startseite:

• Überprüfe deine Top-Bar auf Sinnhaftigkeit, Inhalt und den Ablauf
• Überprüfe, ob die Seite mit Social Proof oder mit bestimmten Produkten beginnt
• Überprüfe die Darstellung und den Zugang zum Menü (Bspw. ein Piktogramm-Menü)

Kategorieseite:

• Wie intensiv werden Such- und Filterfunktionen benutzt?
• Gibt es sinnvolle Badges, die eingeblendet werden können?
• Ergibt es Sinn, einen Quick-Buy-Button zu implementieren?

Produktdetailseite:

• Kann ich meine Bilder informativer gestalten?
• Überprüfe die Informationsdarstellung, den Inhalt und die Anordnung
• Welche Social Proof Elemente triggern bei deiner Zielgruppe am stärksten?

Check-out 

Der Check-out, der Herz und Motor eines jeden Onlineshops. Jedoch ist besondere Vorsicht geboten. Wir empfehlen es dir unter keinen Umständen, hier verschiedene Layouts, Anordnungen oder Farben zu testen. Die Check-outs der gängigsten Shopsysteme sind weitestgehend verkaufspsychologisch optimiert.

Im Check-out sind es andere Aspekte und Emotionen, die deine A/B-Tests inspirieren sollten. Frage dich immer, wie du die Kund*innen noch zielführender durch den Verkaufsprozess leiten oder du das Kundenvertrauen durch gewisse Elemente verstärken kannst. 

PS: A/B-Testing im Check-out ist kompliziert und erfordert ein sehr sensibles Vorgehen. So sind Anpassungen bei #Shopify im Check-out nur bei #Shopify Plus möglich.

Navigation

Die Navigation ist extrem wichtig für jeden Onlineshop. Die Navigation ist der Kompass deiner Kund*innen, um zielführend durch den Onlineshop zu reisen und zu den gewünschten Produkten zu gelangen. Folgende Kernaspekte einer Navigation kannst du immer als Ansatz für einen A/B-Test im Hinterkopf behalten:

• Struktur: Wo beginnt die Suche? In welche grundlegenden Aspekte ist diese unterteilt? 
• Sinnigkeit: Wie würde eine Person außerhalb der Organisation vorgehen? Benötigt diese mehr oder weniger von gewissen Informationen? 
• Tiefe: Wie viele Stufen sind sinnvoll? Müssen mehr hinzugefügt oder kann auf andere verzichtet werden? Gibt es Punkte, an denen die Komplexität die Tiefe übersteigt?
• Design: Können wir das Menü spielerischer und intuitiver gestalten? Gibt es Elemente oder Bilder, die hier helfen können?
• Copy: Welche Wörter triggern in der Menüführung? 

Suche

In der Vergangenheit konnten wir bei Sitzungen in Onlineshops mit einer Suchanfrage eine 3-7x höhere Conversion Rate als bei Sitzungen ohne feststellen. Daher kann es immer Sinn ergeben, Design, Layout und Platzierung der Suche in einem A/B-Test zu überprüfen. 

Neue Funktionen 

Leider passiert es immer noch regelmäßig, dass Betreiber*innen von Onlineshops neue Funktionen direkt einbauen, ohne die tatsächliche Wirkung vorab überprüft zu haben. Es ist meistens ein Einheitsgedanke, der hier treibt. Viele gehen davon aus, dass Best Practices bei anderen Onlineshops allgemeingültig sind. Das ist nicht der Fall.

Ein A/B-Test gibt dir vorab immer die nötige Entscheidungsgrundlage, ob die Implementierung der neuen Funktion wirklich im Sinne der Zielgruppe ist. 

Was sind die Vorteile von A/B-Testing im E-Commerce? Warum ist es wichtig?

Der größte Vorteil des A/B-Testings besteht darin, Entscheidungen und Verbesserungen auf einer Datengrundlage und nicht der eigenen Präferenz zu treffen. Vor allem in vier Bereichen macht sich das bemerkbar, welche wir dir in diesem Abschnitt vorstellen möchten.

Customer Journey und Kund*innen verstehen

Jede Verbesserung oder Änderung sollte immer im Sinne der Zielgruppe und der Kund*innen sein. Jeder A/B-Test liefert dir Informationen darüber, was für diese wirklich wichtig ist und welche Emotionen am Ende wirken. Du lernst also mit jedem A/B-Test deine Zielgruppe tiefer kennen und fängst an, langfristig ihre Kaufmotive und Intentionen zu verstehen und ihre Customer Journey zu verbessern. Am Ende sollte der Köder immer dem Fisch schmecken und nicht dem Angler.

Mehr Umsatz und Gewinn

Im besten Fall machen sich A/B-Tests auch monetär bezahlt. Jeder A/B-Test überprüft in der Regel mindestens eine KPI. Das Ergebnis spiegelt sich dann in einer Verbesserung oder einer Verschlechterung wider.

So sorgt eine gestiegene Conversion Rate für mehr Bestellungen, welche sich dann in einem höheren Umsatz bemerkbar machen. Sollte es dir gelingen, deinen Average-Order-Value durch gezielte A/B-Test zu steigern, steigt auch zwangsläufig deine Profitabilität und dein Gewinn, weil Paket bezogene Kosten sinken. 

Unabhängigkeit von Werbekosten

In den vergangenen zwei Jahren sind die Werbekosten extrem stark gestiegen. War es 2019 noch vergleichsweise günstig, Neukunden und Impressionen einzukaufen, ist das heute nicht mehr so. Zwangsläufig müssen sich Betreiber*innen von Onlineshops damit auseinandersetzen, wie sie noch mehr aus ihrem Werbebudget und den vorhandenen Besucher*innen herausholen können. Genau an diesem Punkt setzt die Conversion-Rate-Optimierung und das A/B-Testing an. Durch gezielte A/B-Tests werden mehr Besucher*innen zu Kund*innen und spezifische KPI’s wie Umsatz und Gewinn steigen. Komplett losgelöst vom Werbebudget.

Daten verstehen und nutzen

Jede*r Besucher*in deines Onlineshops hinterlässt mit jedem Klick Daten. Und auch du solltest zwingend damit beginnen, diese zu verstehen und für dich zu nutzen. In einer Welt, in der Daten eine Relevanz von Rohstoffen eingenommen haben, ist es unumgänglich, diese zu nutzen. 

Das Ziel sollte es immer sein, deinen Onlineshop langfristig für deine Kund*innen zu verbessern. Jeder Datenpunkt kann dir dabei helfen und dir Indizien für mögliche Verbesserungen geben. So liefern dir etwa die Absprungraten in deinem Analytics-Tools-Anhaltspunkte für grundlegende Probleme oder Heatmaps zeigen die Bewegungen in deinem Onlineshop an. Du solltest immer versuchen, Daten konsequent zu nutzen und sie nicht stiefmütterlich behandeln. 

Wie lässt sich der Erfolg des A/B-Testings im Onlineshop messen?

→ Erfolgsparameter/Metriken, mit denen sich der potenzielle Erfolg des A/B-Testings im E-Commerce messen lässt.

Bei jedem A/B-Test ist es notwendig, eine spezifische KPI zu überprüfen. Nicht ohne Grund wird beim Wenn-Dann-Weil-Framework mit „Dann“ die Auswirkung auf eine dieser benannt. Wichtig zu verstehen ist, dass der Erfolg nur anhand der ausgewählten KPI gemessen werden kann. So kann beispielsweise nicht davon ausgegangen werden, dass ein Test zur Steigerung der Converison Rate auch den Average-Order-Value positiv beeinflusst.

Conversion Rate

Die Conversion Rate ist das Verhältnis aus der gesamten Anzahl an Shopbesucher*innen und der Gesamtheit aller Bestellungen in einer spezifischen Periode (Tag, Woche, Monat …). Ein erfolgreicher A/B-Tests sorgt für eine positive Veränderung der Conversion Rate und resultiert in einer gestiegenen Anzahl an Bestellungen. Das macht sich natürlich auch im Umsatz bemerkbar.

Average-Order-Value (AOV)

Jede*r Betreiber*in eines Onlineshops kennt den Traum eines gestiegenen Average-Order-Values (AOV’s). Also einen höheren durchschnittlichen Warenkorbwert. Diesen Traum in die Realität zu verwandeln, ist mit einer A/B-Testing-Strategie möglich. Daher lässt sich der Erfolg eines A/B-Tests auch hinsichtlich eines gestiegenen Average-Order-Values messen.

PS: Fokussiere dich bei A/B-Tests für ein höheren AOV auf die Themen Cross- und Upselling sowie Bundeling. 

Average-Revenue-per-User (ARPU)

Der Average-Revenue-per-User ist die vermutlich wichtigste Metrik beim A/B-Testing, da sie die beiden Metriken AOV und CR zusammenführt. Steigt der AOV, aber die CR sinkt, bleibt der ARPU gleich. Steigen beide Werte leicht, steigt der ARPU sichtbar an. In der Regel werten wir unsere Tests mit Fokus auf den ARPU aus.

Individuelle Ziele 

Neben diesen klar definierten KPI’s kannst du natürlich auch deine eigenen individuellen Ziele festlegen. Du kannst dich beispielsweise nur auf ein tieferes Zielgruppenverständnis fokussieren und die anderen KPI’s vernachlässigen. Wenn du einen solchen Ansatz wählst, dann solltest du deine A/B-Tests auch zwingend auf dieses Ziel fokussieren und nicht andere Ziele mitverfolgen.

Welche Tools eignen sich für das A/B-Testing im E-Commerce?

Glücklicherweise haben wir keinen Mangel an exzellenten A/B-Testing-Tools und das Angebot an Tools ist breit gefächert. Wie so häufig wird die Frage nach dem richtigen Tool mit den eigenen Anforderungen an ein solches Tool beantwortet. Daher gibt es nicht das eine Tool, das für jeden passt. Wir empfehlen immer, mit so vielen verschiedenen Anbietern wie möglich zu sprechen und sich danach zu entscheiden. Wir konnten in der Vergangenheit gute Erfahrungen mit ABlyft, Kameleoon oder VWO Testing machen. Auch im Content Hub gibt es einen Beitrag, in dem die sieben besten A/B-Testing-Tools vorgestellt werden.

Fazit zum A/B-Testing im E-Commerce

A/B-Testing im E-Commerce bietet extrem viele Möglichkeiten, den aktuell schwierigen Markttrends, wie gestiegene Werbekosten, entgegenzuwirken und deinen Onlineshop für deine Zielgruppe langfristig zu verbessern. Damit deine A/B-Testing-Experimente am Ende gut verlaufen, solltest du immer mit einer klaren Strategie und einer gefestigten Vorgehensweise an das Thema herantreten. Sei dir im Klaren, was du mit deinen A/B-Tests erreichen willst und dir wird der Einstieg sicher gelingen!