A/B Testing Software & Tools im Vergleich

A/B-Testing-Tools-Definition: Was ist ein A/B-Tool und wozu wird A/B-Testing-Software benötigt?

Genau wie physische Waren sind auch digitale Produkte, wie Websites und Apps, nicht unbedingt direkt nach ihrer Herstellung perfekt. Darüber hinaus bleiben sie langfristig nicht ohne Weiteres ideal funktionsfähig. Ganz typische Beispiele für Optimierungsbedarfe sind folgende:

• Einzelne Seiten oder spezielle Features auf den Seiten funktionieren unmittelbar nach dem Launch nicht wie gewünscht bzw. bieten nicht die erwarteten Leistungen.
• Langfristig ergeben sich Defizite bei der Zweckdienlichkeit bestimmter Pages und deren Inhalten oder speziellen Funktionen.

Tritt ein solcher oder ein ähnlicher Fall ein, gilt es zunächst abzuschätzen, woran die Schwierigkeiten liegen könnten. Häufig sind für die jeweilige Zielgruppe ungünstige oder nicht (mehr) zeitgemäße Texte, Schaltflächen und/oder Layouts Gründe dafür, dass manche Bereiche von Websites oder Apps nicht (mehr) so performen, wie es eigentlich angedacht ist.

An diesem Punkt kommen A/B-Testing-Tools ins Spiel. Wie die Bezeichnung schon sagt, unterstützen sie User bei der Durchführung und Auswertung von sogenannten A/B-Tests.

Hierbei handelt es sich um ein Experimentierverfahren, im Zuge dessen Website-Besucher:innen bzw. App-Nutzer:innen zwei oder auch mehrere getrennte Versionen einer Seite präsentiert werden. Diese Varianten weisen in aller Regel nur geringe Abweichungen voneinander auf – normalerweise in einem bestimmten Punkt. Der Unterschied betrifft bestenfalls genau die Stelle, welche höchstwahrscheinlich dafür verantwortlich ist, dass die gewünschte Leistung nicht erzielt wird.

Bei A/B-Tests bezieht sich das „A“ auf die ursprüngliche Version, also die, die es zu prüfen gilt. Das „B“ steht hingegen für die optimierte Variante, also die Ausprägung mit der veränderten Variablen. Wird bei der angepassten B-Version ein Anstieg der Performance gegenüber der A-Version registriert, stellt dies ein klares Indiz dafür dar, dass die B-Variante zweckdienlicher ist.

Ein A/B-Testing-Tool übernimmt in diesem Verfahren in erster Linie die Aufgaben des Trackings von Usern und der Analyse der Performance. Dies basiert insbesondere auf der Interaktion der Nutzer:innen mit dem Digitalprodukt und der Vorgabe spezieller Ziele sowie KPIs innerhalb der jeweiligen Testing-Software. Das A/B-Programm liefert schließlich konkrete Daten, anhand derer der Nutzen einer oder auch mehrerer Anpassungen in Folge belegt werden kann. Website- oder App-Betreiber:innen wie auch Verkäufer:innen entsprechender Produkte sind damit in der Lage, ihre Lösungen datenbasiert zu optimieren.

Übrigens: Da mit A/B-Testing-Tools immer voneinander getrennte Varianten von Seiten untersucht werden, nennt man sie (speziell im englischen Raum) auch Split-Testing-Software.

Wie funktionieren A/B-Testing-Tools?

Mithilfe von A/B-Testing-Tools können ganz unterschiedliche Zielsetzungen und betreffende Leistungen bzw. Bereiche von Websites oder Apps untersucht werden. Typische Ziele sind mehr Conversions (Käufe, Anmeldungen, Kontaktaufnahmen etc.), eine längere Verweildauer und eine geringere Absprungrate.

Das Erreichen dieser Anliegen ist über die A/B-Tests von Button-Layouts, Call-to-Actions, Überschriften, Formularaufbauten, Checkout-Prozessen sowie anderen Elementen von Websites oder Apps zu überprüfen und im Anschluss zu optimieren.

Die strategische Herangehensweise ist von Kontext zu Kontext unterschiedlich. Der reine Software-gestützte A/B-Test auf Websites oder in Apps funktioniert jedoch fast immer nach demselben Muster.

1. Kampagne anlegen: Bevor ein Testing-Tool zum Einsatz kommt, werden normalerweise die Ausgangslage/das Problem festgestellt, die Zielsetzung sowie KPIs definiert und die Verbesserungsmaßnahmen beschlossen. Nun gilt es im A/B-Testing-Tool eine Kampagne anzulegen. Je nach A/B-Test-Anbieter:in müssen Code-Snippets an den richtigen Stellen der Seitenvarianten platziert oder die Änderungen in einem speziellen Editor eingestellt werden. Die Messung erfolgt auf der Grundlage der KPIs, also Kennzahlen, zu den jeweiligen Zielen. Weiterhin wird häufig eine Segmentierung nach mobilem A/B-Test und Desktop-A/B-Test vorgenommen. Auch eine Unterscheidung der Besucher:innen nach Herkunft ist typisch.

2. A/B-Testing-Tool arbeiten lassen: Je nachdem, wie viel Traffic für den Test nötig ist, liegen früher oder später signifikante Ergebnisse vor. Schon nach wenigen Sessions kann eine erste Tendenz zu sehen sein. Anwender:innen haben die Möglichkeit, in den Einstellungen ihres AB-Testing-Tools genau festzulegen, wie viel Traffic für den Test verwendet werden soll. Diese Einstellung ist insofern sehr wichtig, da der Test auch negativ ausgehen kann. Kommt es bei einer sehr geschäftswichtigen Anwendung dazu, wurde so wenigstens nur ein Teil des Traffics für den Test „verschwendet“.

3. Ergebnisse auswerten: Ist der Test beendet, kann auf Basis der vorher gesetzten KPIs eine eindeutige Aussage zur Performance bzw. zum Erreichen des jeweiligen Ziels getroffen werden. Zentral ist hier die Frage, ob die Änderung etwas Positives bewirkt hat oder eher nicht?

4. Nach dem Test ist vor dem Test: Werden positive Effekte durch die Daten nahegelegt, können die Änderung final umgesetzt werden. Manchmal ist die A-Variante aber auch besser als die B-Variante. Dann sollte letztere verworfen werden. In beiden Fällen folgt im Allgemeinen schnell nach einem Test ein weiterer. Es gibt was immer etwas zu optimieren!

Welche Vor- und Nachteile bieten Tools für A/B-Tests?

A/B-Testing-Software ist ein wichtiges Instrument für Optimierungen und Wachstum bei Websites oder Apps. Der beste Weg, die Leistung eines Produkts zu verbessern, ist die kontinuierliche Durchführung neuer Tests, um zu sehen, was funktioniert und was nicht. Im Folgenden werden die zentralen Gründe genannt, warum Website- und App-Anbieter:innen vom Einsatz dieser Tools enorm profitieren können.

• Höheres Engagement und Conversion-Rate: Unternehmen können A/B-Testings vornehmen, um herauszufinden, welche Ausrichtung einer Page die beste Konversionsrate und das optimale Engagement ergibt. Beispielsweise sind Webdesigner im E-Commerce durch aufeinander aufbauende A/B-Tests in der Lage, unter anderem genau zu erkennen, wie schnell die Nutzer:innen ein gesuchtes Produkt auf der betreffenden Website finden. Entsprechende Daten sind schließlich dazu verwendbar, eine Seite so zu optimieren, dass Kund:innen schneller und sicherer kaufen. Das Engagement und die Conversion-Rate können faktisch in weiteren Bereichen (Kontaktaufnahme, Downloads etc.) mithilfe von A/B-Testing verbessert werden. Das führt schließlich zu höheren Einnahmen für das Unternehmen.

• Testen in Echtzeit: Mit A/B-Tests sind Unternehmen in der Lage, viel Zeit zu sparen, da sie Varianten in Echtzeit prüfen können. Anstatt Menschen zur Seite zu nehmen, um Tests durchzuführen, werden rotierende Tests mit echten Nutzer:innen durchgeführt, die sowieso gerade die Website oder die App besuchen.

• Echte Tests: Ein weiterer großer Vorteil von A/B-Tests ist, dass sie authentische Ergebnisse liefern. Die Tests werden mit tatsächlichen Besucher:innen durchgeführt und nicht mit Proband:innen in einem speziellen Experimentkontext. Das bedeutet, dass die Ergebnisse nicht durch eine spezielle Situation verzerrt werden.

• Leichte Analysen: In der Vergangenheit waren die Metriken für A/B-Tests mehr oder weniger rohe Zahlen. Diese musste man selbstständig interpretieren. Heute gibt es dagegen immer intelligentere Split-Test-Tools, welche ihren Usern mit Statistik-Engines und Best-Practices viele manuelle Schritte bzw. Entscheidungen abnehmen können.

• Flexible Nutzung: Mithilfe von A/B-Testing-Software können Anwender:innen alle möglichen Sachverhalte bzw. Ziele von Websites oder Apps untersuchen und daraufhin datenbasierte Optimierungen anstoßen. Die Conversion-Rate und das Engagement sind nur zwei ganz zentrale Beispiele. Darüber hinaus sind die Bounce-Rate, Warenkorbabsprünge, der Content, die Lead-Generierung und viele andere Faktoren in ihren einzelnen Bestandteilen untersuchbar. Jedes Element einer Seite oder App kann getestet werden!

Gibt es überhaupt Nachteile im Zusammenhang mit Tools für A/B-Testing bei Websites oder Apps? Solange ein Programm gewählt wurde, das für die eigenen Anforderungen optimal passt, sollten eigentlich keine Nachteile entstehen. Es können aber durchaus gewisse Herausforderungen bei der Verwendung eines Split-Test-Tools aufkommen. Am häufigsten machen folgende Sachverhalte Schwierigkeiten.

• Testen zu vieler Variablen: Websites und Apps sollen stets möglichst schnell möglichst viel leisten. Für prompte Ergebnisse ist die Versuchung bei Verantwortlichen groß, übertrieben komplexe Tests durchzuführen. Wenn zu viele Variablen geprüft werden, ist es kaum möglich, sicher festzustellen, welche von ihnen das Ergebnis besonders beeinflussen. Dieses Problem lässt sich am besten vermeiden, indem man sich auf kleine Testschritte konzentriert.

• Zu kleine Stichprobengrößen: Häufig werden A/B-Tests mit einer zu kleinen Stichprobe bzw. über einen zu kurzen Zeitraum durchgeführt. Das bedeutet dann, dass es nicht genügend Daten gibt, um mit Sicherheit sagen zu können, dass eine Variante erfolgreicher ist als eine andere. Es haben einfach nicht genügend Personen zugegriffen, um belastbare Facts zu erhalten. Moderne A/B-Testing-Tools können Nutzer:innen Tipps zu sinnvollen Testzeiträumen und –volumen geben.

Wie wählt man die passende A/B-Testing-Plattform aus bzw. worauf sollte man dabei besonders achten?

Es gibt viele unterschiedliche A/B-Testing-Solutions am Markt, die teils ganz verschiedene Anforderungen bedienen. Um das für die eigenen Zwecke beste Testing-Tool herauszufiltern, sollten Interessierte vor allem folgende Faktoren berücksichtigen:

• Das technische Know-how: Wer ein A/B-Tool verwenden möchte, muss dieses erst einmal installieren bzw. innerhalb eines CMS implementieren. Die Frage ist dabei, ob dafür eine IT-Fachkraft erforderlich ist oder entsprechende Schritte selbst durchzuführen sind? Ohne IT-Expert:innen im Team sollte eher auf ein breites Service-Paket zur Einrichtung oder eine generell simpel zu startende Lösung gesetzt werden.

• Die Fähigkeiten für die Nutzung der A/B-Software: Technische Ressourcen sind eine Sache, aber auch die analytischen Fähigkeiten des Teams (sowohl quantitativ als auch qualitativ) sollten bei der Suche nach einem geeigneten A/B-Testing-Tool in die Kalkulation genommen werden. Unerfahrene Nutzer:innen produzieren schnell Fehler. Ist das eigene Team in der Lage, effizient A/B-Tests mit dem angepeilten Tool durchzuführen? Wenn keine kleinteiligen Analysekompetenzen vorliegen, wird eine Software gebraucht, die möglichst viele Aufgaben übernimmt. Die meisten A/B-Testing-Tools verfügen zwar über eine integrierte statistische Analyse, wenden aber oft ganz unterschiedliche statistische Ansätze an. Zu bedenken ist dabei auch, dass die Wahl eines Tools mit einem weniger ausgefeilten statistischen Rechner die Dauer der Tests erheblich verlängern kann.

• Das Maß an Unterstützung: Je weniger Erfahrungen im Zusammenhang mit A/B-Testing im Team vorhanden sind, desto mehr lohnt es sich, auf ein System zu setzen, welches einen guten Support bietet. Interessierte sollten genau schauen, welche Art von Unterstützung mit dem angepeilten Tool angeboten wird. Möglich sind zum Beispiel ein Live-Kundendienst per Telefon oder per Live-Chat, eine automatisierte Unterstützung per Chatbot und/oder FAQ, klassischer E-Mail-Support, Online-Tutorials, Dokumentationen und/oder Community-Support. Man sollte ebenfalls darüber nachdenken, ob das Team Zugang zu CRO-Expert:innen benötigt, um den Prozess zu begleiten. Es ist eher selten, dass kostenloser Support von echten Profis geleistet wird. Manchmal sind sogar spezifische A/B-Test-Kurse möglich.

• Funktionen: A/B-Testing läuft stets nach einem ähnlichen Muster ab. Entsprechende Tools können trotzdem mehr oder weniger Funktionen mitbringen, um diesen Prozess zu stützen. Um die für die eigenen Zwecke vorteilhaftesten Funktionen zu erkennen, sollten sich Interessierte Gedanken machen, mit welchen Mitteln und in welchen Punkten sie ihre Website oder ihre App testen bzw. optimieren möchten. Das passende A/B-Testing-Tool wird daraufhin nach diesen Kriterien ausgewählt. Eine moderne Software für A/B-Testing auf Websites oder in Apps kann vielfältige Automatisierungen und sogar künstliche Intelligenz mitbringen. Diese ermöglichen besonders einfache Prüfungen. Gerade dann, wenn es um die Auswahl der Funktionen geht, ist ein praktischer Tool-Test meistens unumgänglich.

• Zusätzliche Tools: Ein A/B-Testing-Tool ist manchmal nur ein Teil einer umfangreicheren Software-Suite. Tatsächlich müssen für die effiziente Optimierung von Websites oder Apps fast immer zusätzliche Programme neben der Software zum A/B-Testing eingesetzt werden. Das sind insbesondere Heatmap- und Scrollmap-Tools. Um die Besucher:innen noch besser zu verstehen, könnte auch ein Umfrage-Tool sinnvoll sein. Oft wird ein Tool zur Analyse der Customer-Journey benötigt. Ein A/B-Testing-Tool ist keine Analyseplattform, aber eine Analyseplattform kann eine Software für A/B-Tests auf Webseiten oder App-Seiten enthalten.

Was kosten A/B-Testing-Tools?

Ganz an der Basis ist für die Kosten einer Split-Test-Software entscheidend, welche Art von Programm genutzt werden soll und welchen Funktionsumfang dieses mitbringt. Es gibt zum einen proprietäre A/B-Testing-Tools und zum anderen Open-Source-Lösungen.

Proprietäre Programme lassen sich häufig recht komfortabel nutzen. Sie umfassen – je nach Bedarf – zahlreiche Features und manchmal weitere Services, welche die Verwendung angenehmer und effizienter gestalten sollen. Zudem bieten sie spezifischen Support. Mithilfe von proprietärer Test-Software lässt sich idealerweise der gesamte Prozess der Einrichtung, Verfolgung und Analyse von Tests in einer einzigen Anwendung rationalisieren. Das kann aber auch einiges kosten. Je nach Funktionsumfang, User-Anzahl und Testvolumen liegen die Preise zwischen rund 50 und mehr als 1.000 Euro.

Open-Source-A/B-Testing-Software hat üblicherweise einen sehr viel geringen Preis (wenn überhaupt). Es ist in der Tat manchmal möglich, A/B-Tests kostenlos durchzuführen. Ein solches Tool für A/B-Testing bietet oftmals nicht die gleiche Art von Berichten, fein abgestimmten Funktionen oder Zusatzservices wie eine proprietäre Lösung. Dafür sind Anwender:innen hier allerdings flexibel, was die Umgestaltung und Nutzung solcher Programme angeht. Aber: Programmierkenntnisse und anderes tiefergreifendes technisches Know-how sind für einen effizienten Betrieb einer solchen Lösung oftmals erforderlich.