A/B-Testing: Test für Test zu besseren Ergebnissen

Ob bloßes Aushängeschild oder Verkaufskanal: Viele Selbstständige stellen sich selbst, ihre Produkte und/oder Dienstleistungen auf einer Website oder in einer App vor, die meist nach bestem Wissen und Gewissen gestaltet wurden. Trotzdem kann es sein, dass die Angebote nicht so funktionieren, wie eigentlich gedacht: Kund*innen verlassen die Seite direkt nach einem Klick wieder, nutzen das Kundenportal nicht oder brechen Käufe im letzten Moment ab. Um herauszufinden, woran das liegt und was du besser machen kannst, kannst du A/B-Tests durchführen. Das A/B-Testing hilft dir, unterschiedliche Gestaltungsvarianten gegeneinander zu testen und zu schauen, welche am besten funktioniert. Es ist ein ebenso mächtiges wie effizientes Werkzeug, um dein (digitales) Angebot nutzerfreundlicher zu gestalten und die Conversion-Rate, also die Hinleitung der Nutzer*innen zu der gewünschten Aktion, zu erhöhen. 

Der Begriff A/B-Testing stammt aus dem Online-Marketing, wo er für den Test unterschiedlicher Varianten von Websites, Apps oder Newslettern angewendet wird. Für den Test werden zwei verschiedene, aber gleich große Gruppen von Testpersonen bestimmt, denen jeweils eine Variante gezeigt wird. Bei Variante A steht beispielsweise auf dem Button in der E-Mail „Jetzt bestellen“ und bei Variante B „Hier geht’s zu unserem Shop“. Die Testpersonen interagieren dann mit den (digitalen) Angeboten, wobei Nutzerdaten gesammelt werden. Diese Daten kannst du dann nach der Testphase auswerten. Du kannst also einfach zählen, welcher der beiden Buttons häufiger angeklickt wurde. 

Die Personen wissen dabei in der Regel nicht, dass sie gerade an einem Test teilnehmen, und sie werden per Zufallsprinzip ausgewählt. So bekommst du wertvolle Informationen über deine Zielgruppe. Mit den Informationen, die du aus dem Test gewinnst, kannst du langfristig deine Verkäufe, Newsletter-Anmeldungen oder Ähnliches erhöhen. Da du dich an den Kundenwünschen orientierst, kannst du gleichzeitig die Zufriedenheit deiner Kund*innen erhöhen. Das bedeutet auch: weniger Support-Anfragen und weniger negatives Feedback, auf das eingegangen werden muss – also Zeitersparnis! 

A/B-Tests sind überall einsetzbar, wo es möglich ist, zwei unterschiedliche Varianten zu erstellen und Daten zu generieren, die einen Vergleich möglich machen. Du kannst beispielsweise verschiedene Titel und Überschriften, Buttons, Bilder, Farben, Seitenstrukturen, aber auch Navigationsleisten, unterschiedlich programmierte Algorithmen, Preise und Geschäftsmodelle gegeneinander testen. Das ist für dich als Gründer*in sehr wertvoll, da du mit kostengünstigen Mitteln und relativ wenig Aufwand herausfinden kannst, wie du dein Angebot zielgruppengerecht darstellen und platzieren kannst. 

Angenommen, du verkaufst Socken in deinem Onlineshop und bemerkst, dass du zwar viele Besucher*innen auf deiner Seite hast, aber kaum welche davon zu Kund*innen werden. Diese Erkenntnis ist der erste Schritt. Du hast die vorhandenen Daten genutzt, um ein Problem zu erkennen. Was könntest du nun testen? Eine Umfrage würde sich hier zunächst anbieten, um ein paar mögliche Ursachen zu erforschen. So baust du keine Varianten, die komplett ins Leere laufen. Anschließend kannst du auf Basis der Umfrageergebnisse zwei Varianten erstellen. Du könntest die Beschreibung der Socken von „Blaue Socken“ zu „Meer-Vibes an den Füßen“ ändern und schauen, ob dies einen Einfluss auf das Kaufverhalten hat. Ebenso könntest du bei einer Variante zu jeder Socke ähnliche Artikel anzeigen lassen – und bei der anderen nicht. Sei kreativ und hinterfrage dein bisheriges Konzept (welche einzelnen Schritte du beim Testen durchlaufen solltest, erklären wir dir im Kapitel „Step-by-Step: Einen A/B-Test durchführen“ weiter unten). 

Bei einem A/B-Test wird immer nur ein Element verändert, was die Auswertung vereinfacht. Es gibt aber auch Tests, bei denen mehrere Elemente abgewandelt werden. Dann spricht man auch von „Multivariant Testing“ (MVT). Diese Art von Tests sind jedoch wesentlicher komplexer. Sobald mehrere Varianten als nur Variante A und B gegeneinander getestet werden, handelt es sich streng genommen um A/B/n-Tests. Manchmal wirst du auch den Begriff Split-Test in Verbindung mit dem A/B-Testing finden. Der Unterschied ist, dass beim Split-Test ganze Websitedesigns gegeneinander getestet werden können, da sie mit unterschiedlichen URLs (also Internetadressen) ausgespielt werden.

Die technischen Möglichkeiten der Datensammlung sind einer der Gründe, wieso sich das Testverfahren besonders stark im digitalen Bereich durchgesetzt hat. Es muss aber nicht digital sein. Du kannst auch zwei Varianten deines Angebots, verschiedene Preise, Prototypen und Funktionen testen. Interviews oder Umfragen können dann eine Möglichkeit sein, Daten für die Auswertung zu generieren. Eigentlich ist das A/B-Testing sogar ganz analog entstanden und wurde u. a. für klinische Studien in der Medizin genutzt. 

Aber wie genau gehst du nun bei einem A/B-Test vor? Was gibt es zu beachten, damit überhaupt Ergebnisse dabei herauskommen, die nutzbar sind? Wir gehen mit dir die einzelnen Schritte durch. 

Auch wenn dir die folgenden Schritte vielleicht mühsam und langwierig vorkommen, so empfehlen wir dir dennoch, diese zu befolgen. Um aussagekräftige Ergebnisse bei einem A/B-Test zu erhalten, ist Präzision entscheidend – einfach ein Tool einsetzen und mal schauen, was passiert, ist eher verschwendete Zeit (und Geld). Wir gehen hier hauptsächlich auf die Anwendung im digitalen Bereich ein, da A/B-Testing dort überwiegend zum Einsatz kommt.

Bevor du startest, ist es wichtig zu definieren, was du eigentlich herausfinden möchtest und wieso. Teste nur Dinge, die überprüfbar sind und bei denen Optimierungspotenzial besteht. Sammle zuerst Nutzerdaten. Dies kannst du mithilfe von Interviews, Umfragen, Webanalysetools (wie Google Analytics), aber auch mithilfe von Eye-Tracking-Tools oder sogenannten Heatmaps (Tools, die zeigen, bis wohin Nutzer*innen auf einer Seite scrollen und wohin sie mit der Maus navigieren) tun. 

Schaue dir die Daten dann gründlich an und stelle dir folgende Fragen:

1. Welche Elemente sind entscheidend und wieso? Finde heraus, welches deiner Angebote nicht so funktioniert oder genutzt wird, wie du es dir vorstellst. Frage dich, wie groß das Potenzial der Verbesserung ist. So kannst du einschätzen, wie viel Zeit und Energie du auf den Test verwenden solltest. Ein Button ist beispielsweise einfacher zu ändern als ein Formular. Verbesserungen auf einer Seite, die kaum besucht wird, werden weniger relevant sein als solche auf gut besuchten Seiten.
2. Welche Elemente werden wie häufig geklickt – und wo springen Kund*innen plötzlich ab? Häufiges Beispiel: Kund*innen legen einen Artikel zwar in den Warenkorb, klicken dann aber nicht auf „Bestellen“. Wo gibt es auf deiner Website Verbesserungspotenzial?
3. Was kannst du tun, um den Absprung bzw. Abbruch zu verhindern?

Je nach Testziel und Größe der Besucherzahl, kann es sich lohnen, deine Testgruppe einzugrenzen. Willst du etwa die Registrierung für den Newsletter optimieren, ergibt es wenig Sinn, bestehende Newsletter-Abonnent*innen in den Test miteinzubeziehen. Viele Tools erlauben die gezielte Segmentierung.

Für jedes identifizierte Problem formulierst du anschließend eine Hypothese – das heißt, du stellst eine Behauptung auf, nach dem Muster: „Um das Problem A zu beheben, verändere ich Element X und erwarte Ergebnis Y.“

Ein Beispiel: „Um das Problem zu beheben, dass es kaum Anmeldungen zu meinem Newsletter gibt, werde ich die Anmeldebox weiter oben auf der Website platzieren. Dadurch erwarte ich, dass zwei Prozent mehr Newsletter-Anmeldungen im Monat stattfinden.“

Wichtig ist, dass die einzelnen Variablen (Problem, Veränderung und Ergebnis) überprüf- und messbar sind – also beispielsweise durch Zahlen aus deinen Webanalysetools. Formulierst du mehrere Hypothesen, sollten diese sich nicht widersprechen. 

Sofern nicht ohnehin schon geschehen, ist jetzt der Zeitpunkt, an dem du dich für ein Testing-Tool entscheiden solltest. Es gibt kostenlose und kostenpflichtige Programme, aufwändige Software, für die du wahrscheinlich eine Person an deiner Seite brauchst, die sich damit auskennt, und einfache Editoren, über die du A/B-Tests auch ohne umfangreiche Programmierkenntnisse umsetzen kannst. Nimm dir die Zeit, verschiedene Tools auszuprobieren und genau die Lösung zu finden, die zu deinen Fähigkeiten, aber auch zu deinen Testfällen und Anforderungen passt. Viele, auch kostenpflichtige Lösungen bieten kostenfreie Testphasen an.

Hast du dich für ein Tool und einen ersten Testfall entschieden, geht es an die Umsetzung. Grundsätzlich ist wichtig, dass du eine ausreichend große Testgruppe und eine aussagekräftige Laufzeit auswählst. Das Wetter, Weihnachten oder die WM können die Teilnahmezahlen nämlich stark beeinflussen. Viele Tools geben die sogenannte Zuverlässigkeitsrate an. Diese sollte bei mindestens 95 Prozent liegen, sodass Zufälle nahezu ausgeschlossen werden können. Aber: Ist auch nach etwa zwei Wochen noch kein aussagekräftiges Testergebnis vorhanden, brich den Test ab und überdenke dein Vorgehen. 

Tipp: Jeden Tag ein neuer Test – das ist keine gute Idee, denn so werden Ergebnisse verfälscht. 

Schaue dir nach einem A/B-Test die Ergebnisse im Hinblick auf deine Hypothese an. Je nach verwendetem Tool bietet dir die Software unterschiedliche Auswertungs- und Archivierungsfunktionen an. Stelle dir vorrangig die Frage, ob deine Erwartungen bzw. deine Hypothesen erfüllt, übertroffen oder unterboten wurden. In den ersten beiden Fällen kann es an die Umsetzung gehen. Weichen die Ergebnisse massiv von deinen ursprünglichen Erwartungen ab, solltest du die Datenausgangslage sowie deine Annahmen noch einmal genau prüfen und ggf. die Testkriterien abwandeln.

Tipp: Dokumentiere die Ergebnisse jedes Tests – nicht nur die der erfolgreichen, sondern auch die der fehlgeschlagenen. Erfasse sowohl deine Hypothese als auch die getestete Variable, den Testzeitraum, die Anzahl der Testpersonen und die Ergebnisse. So findest du mit der Zeit nicht nur heraus, was wie gut funktioniert, sondern behältst auch den Überblick, was du bereits probiert hast.

Entspricht ein Testergebnis deinen Erwartungen, kannst du die getestete Änderung umsetzen. Wichtig: Nachdem du die Änderung vorgenommen hast, beobachte deine Website und deine Zahlen. Wirkt sich die Veränderung genauso aus, wie innerhalb des Tests? Handelt es sich nur um eine kurzfristige Veränderung des Nutzungsverhaltens oder ist die Veränderung bzw. Verbesserung von Dauer? Verändern sich in diesem Zuge auch andere Zahlen, die eventuell damit im Zusammenhang stehen?

Ist ein Testzyklus abgeschlossen, kannst du mit einer neuen Hypothese einen neuen Test starten. Hast du ein bestimmtes Element getestet und verändert, wähle anschließend einen Test mit einem völlig anderen Element – anderenfalls würdest du Ergebnisse verfälschen.

Kleinigkeiten können Großes bewirken und zu mehr Kundenzufriedenheit führen oder die Conversion-Rate, also die Interaktion mit deinem Angebot, erhöhen. Um herauszufinden, welche Vorlieben und Ansprüche deine Kundschaft hat, kannst du den A/B-Test nutzen. Erstelle zwei unterschiedliche Varianten und erfahre, welche bei der Testgruppe besser ankommt. Die Testgruppe weiß nicht, dass sie Teil eines Tests ist und du erhältst wertvolle Informationen, um dein Produkt, deine Dienstleistung oder deine Idee zu optimieren. Auf geht’s! 

• Online-Marketing
• Geschäftsidee testen
• Minimum Viable Product