A/B-Testing: Test für Test zu besseren Ergebnissen

Ob bloßes Aushängeschild oder Verkaufskanal: Viele Selbstständige stellen sich selbst, ihre Produkte und/oder Dienstleistungen auf einer Website oder in einer App vor, die meist nach bestem Wissen und Gewissen gestaltet wurden. Trotzdem kann es sein, dass die Angebote nicht so funktionieren, wie eigentlich gedacht: Kund*innen verlassen die Seite direkt nach einem Klick wieder, nutzen das Kundenportal nicht oder brechen Käufe im letzten Moment ab.

Um herauszufinden, woran das liegt und was du besser machen kannst, kannst du A/B-Tests durchführen. A/B-Testing ist eine Methode, bei der zwei Varianten einer Website, App, E-Mail oder Anzeige gleichzeitig getestet werden. Ziel ist herauszufinden, welche Variante mehr Klicks, Anmeldungen, Käufe oder andere gewünschte Aktionen erzielt.

Alles, was du dazu wissen musst, liest du im folgenden Artikel.

Der Begriff A/B-Testing stammt aus dem Online-Marketing, wo er für den Test unterschiedlicher Varianten von Websites, Apps oder Newslettern angewendet wird. Für den Test werden zwei verschiedene, aber gleich große Gruppen von Testpersonen bestimmt, denen jeweils eine Variante gezeigt wird. Bei Variante A steht beispielsweise auf dem Button in der E-Mail „Jetzt bestellen“ und bei Variante B „Hier geht’s zu unserem Shop“. Die Testpersonen interagieren dann mit den (digitalen) Angeboten, wobei Nutzerdaten gesammelt werden. Diese Daten kannst du dann nach der Testphase auswerten. Du kannst also einfach zählen, welcher der beiden Buttons häufiger angeklickt wurde. 

Die Personen wissen dabei in der Regel nicht, dass sie gerade an einem Test teilnehmen, und sie werden per Zufallsprinzip ausgewählt. So bekommst du wertvolle Informationen über deine Zielgruppe. Mit den Informationen, die du aus dem Test gewinnst, kannst du langfristig deine Verkäufe, Newsletter-Anmeldungen oder Ähnliches erhöhen. Da du dich an den Kundenwünschen orientierst, kannst du gleichzeitig die Zufriedenheit deiner Kund*innen erhöhen. Das bedeutet auch: weniger Support-Anfragen und weniger negatives Feedback, auf das eingegangen werden muss – also Zeitersparnis! 

A/B-Tests sind überall einsetzbar, wo es möglich ist, zwei unterschiedliche Varianten zu erstellen und Daten zu generieren, die einen Vergleich möglich machen. Du kannst beispielsweise verschiedene Titel und Überschriften, Buttons, Bilder, Farben, Seitenstrukturen, aber auch Navigationsleisten, unterschiedlich programmierte Algorithmen, Preise und Geschäftsmodelle gegeneinander testen. Das ist für dich als Gründer*in sehr wertvoll, da du mit kostengünstigen Mitteln und relativ wenig Aufwand herausfinden kannst, wie du dein Angebot zielgruppengerecht darstellen und platzieren kannst. 

A/B-Testing lohnt sich dann, wenn du bereits genügend Besucher*innen, Nutzer*innen oder Empfänger*innen erreichst, um aus dem Test belastbare Schlüsse ziehen zu können. Denn ein A/B-Test ist nur dann aussagekräftig, wenn ausreichend viele Menschen beide Testvarianten sehen und eine relevante Aktion ausführen – zum Beispiel auf einen Button klicken, ein Formular abschicken, sich für einen Newsletter anmelden oder ein Produkt kaufen.

Gerade für Gründer*innen ist das wichtig: Wenn deine Website erst wenige Besucher*innen pro Woche hat, kann ein A/B-Test zwar technisch möglich sein, liefert aber oft keine verlässlichen Ergebnisse. Nur wenige Klicks oder Abschlüsse können das Ergebnis dann stark verzerren. In dieser Phase sind qualitative Methoden häufig hilfreicher, zum Beispiel Nutzerinterviews, Feedbackgespräche, Usability-Tests, Umfragen oder die Analyse von Supportanfragen.

A/B-Testing ist erst wirklich sinnvoll, wenn:

• du bereits regelmäßig Traffic auf deiner Website, App oder in deinem Newsletter hast,
• du ein klares Ziel messen kannst (zum Beispiel Klicks, Anfragen, Registrierungen oder Verkäufe),
• du eine konkrete Hypothese testen möchtest,
• die getestete Änderung potenziell einen spürbaren Einfluss auf dein Geschäft hat,
• du genug Zeit hast, den Test sauber laufen zu lassen,
• du bereit bist, die Gewinner-Variante anschließend auch wirklich umzusetzen.

Weniger sinnvoll ist A/B-Testing dagegen, wenn du nur sehr wenige Besucher*innen hast, keine klare Kennzahl definieren kannst oder mehrere Dinge gleichzeitig änderst und später nicht mehr weißt, welche Änderung den Effekt verursacht hat. Auch rein geschmackliche Fragen wie „Welche Farbe gefällt mir besser?“ sind kein guter Ausgangspunkt. Besser ist eine Hypothese wie: „Wenn wir den Button-Text von ‚Mehr erfahren‘ zu ‚Kostenlos testen‘ ändern, steigt die Klickrate auf unser Anmeldeformular.“

Angenommen, du verkaufst Socken in deinem Onlineshop und bemerkst, dass du zwar viele Besucher*innen auf deiner Seite hast, aber kaum welche davon zu Kund*innen werden. Diese Erkenntnis ist der erste Schritt. Du hast die vorhandenen Daten genutzt, um ein Problem zu erkennen. Doch was könntest du nun testen?

Die Antwort lautet: eine ganze Menge! Hier ein paar Beispiele:

Eine Umfrage würde sich hier zunächst anbieten, um ein paar mögliche Ursachen zu erforschen. So baust du keine Varianten, die komplett ins Leere laufen. Anschließend kannst du auf Basis der Umfrageergebnisse zwei Varianten erstellen.

So könntest du die Beschreibung der Socken von „Blaue Socken“ zu „Meer-Vibes an den Füßen“ ändern und schauen, ob dies einen Einfluss auf das Kaufverhalten hat. Ebenso könntest du bei einer Variante zu jeder Socke ähnliche Artikel anzeigen lassen – und bei der anderen nicht. Sei kreativ und hinterfrage dein bisheriges Konzept (welche einzelnen Schritte du beim Testen durchlaufen solltest, erklären wir dir im Kapitel „Step-by-Step: Einen A/B-Test durchführen“ weiter unten). 

Bei einem A/B-Test wird immer nur ein Element verändert, was die Auswertung vereinfacht. Es gibt aber auch Tests, bei denen mehrere Elemente abgewandelt werden. Dann spricht man auch von „Multivariant Testing“ (MVT). Diese Art von Tests sind jedoch wesentlicher komplexer. Sobald mehrere Varianten als nur Variante A und B gegeneinander getestet werden, handelt es sich streng genommen um A/B/n-Tests. Manchmal wirst du auch den Begriff Split-Test in Verbindung mit dem A/B-Testing finden. Der Unterschied ist, dass beim Split-Test ganze Websitedesigns gegeneinander getestet werden können, da sie mit unterschiedlichen URLs (also Internetadressen) ausgespielt werden.

Die technischen Möglichkeiten der Datensammlung sind einer der Gründe, wieso sich das Testverfahren besonders stark im digitalen Bereich durchgesetzt hat. Es muss aber nicht digital sein. Du kannst auch zwei Varianten deines Angebots, verschiedene Preise, Prototypen und Funktionen testen. Interviews oder Umfragen können dann eine Möglichkeit sein, Daten für die Auswertung zu generieren. Eigentlich ist das A/B-Testing sogar ganz analog entstanden und wurde u. a. für klinische Studien in der Medizin genutzt. 

Aber wie genau gehst du nun bei einem A/B-Test vor? Was gibt es zu beachten, damit überhaupt Ergebnisse dabei herauskommen, die nutzbar sind? Wir gehen mit dir die einzelnen Schritte durch. 

Auch wenn dir die folgenden Schritte vielleicht mühsam und langwierig vorkommen, so empfehlen wir dir dennoch, diese zu befolgen. Um aussagekräftige Ergebnisse bei einem A/B-Test zu erhalten, ist Präzision entscheidend – einfach ein Tool einsetzen und mal schauen, was passiert, ist eher verschwendete Zeit (und Geld). Wir gehen hier hauptsächlich auf die Anwendung im digitalen Bereich ein, da A/B-Testing dort überwiegend zum Einsatz kommt.

Bevor du startest, ist es wichtig zu definieren, was du eigentlich herausfinden möchtest und wieso. Teste nur Dinge, die überprüfbar sind und bei denen Optimierungspotenzial besteht. Sammle zuerst Nutzerdaten. Dies kannst du mithilfe von Interviews, Umfragen, Webanalysetools (wie Google Analytics), aber auch mithilfe von Eye-Tracking-Tools oder sogenannten Heatmaps (Tools, die zeigen, bis wohin Nutzer*innen auf einer Seite scrollen und wohin sie mit der Maus navigieren) tun. 

Schaue dir die Daten dann gründlich an und stelle dir folgende Fragen:

1. Welche Elemente sind entscheidend und wieso? Finde heraus, welches deiner Angebote nicht so funktioniert oder genutzt wird, wie du es dir vorstellst. Frage dich, wie groß das Potenzial der Verbesserung ist. So kannst du einschätzen, wie viel Zeit und Energie du auf den Test verwenden solltest. Ein Button ist beispielsweise einfacher zu ändern als ein Formular. Verbesserungen auf einer Seite, die kaum besucht wird, werden weniger relevant sein als solche auf gut besuchten Seiten.
2. Welche Elemente werden wie häufig geklickt – und wo springen Kund*innen plötzlich ab? Häufiges Beispiel: Kund*innen legen einen Artikel zwar in den Warenkorb, klicken dann aber nicht auf „Bestellen“. Wo gibt es auf deiner Website Verbesserungspotenzial?
3. Was kannst du tun, um den Absprung bzw. Abbruch zu verhindern?

Je nach Testziel und Größe der Besucherzahl, kann es sich lohnen, deine Testgruppe einzugrenzen. Willst du etwa die Registrierung für den Newsletter optimieren, ergibt es wenig Sinn, bestehende Newsletter-Abonnent*innen in den Test miteinzubeziehen. Viele Tools erlauben die gezielte Segmentierung.

Für jedes identifizierte Problem formulierst du anschließend eine Hypothese – das heißt, du stellst eine Behauptung auf, nach dem Muster: „Um das Problem A zu beheben, verändere ich Element X und erwarte Ergebnis Y.“

Ein Beispiel: „Um das Problem zu beheben, dass es kaum Anmeldungen zu meinem Newsletter gibt, werde ich die Anmeldebox weiter oben auf der Website platzieren. Dadurch erwarte ich, dass zwei Prozent mehr Newsletter-Anmeldungen im Monat stattfinden.“

Wichtig ist, dass die einzelnen Variablen (Problem, Veränderung und Ergebnis) überprüf- und messbar sind – also beispielsweise durch Zahlen aus deinen Webanalysetools. Formulierst du mehrere Hypothesen, sollten diese sich nicht widersprechen. 

Sofern nicht ohnehin schon geschehen, ist jetzt der Zeitpunkt, an dem du dich für ein Testing-Tool entscheiden solltest. Es gibt kostenlose und kostenpflichtige Programme, aufwändige Software, für die du wahrscheinlich eine Person an deiner Seite brauchst, die sich damit auskennt, und einfache Editoren, über die du A/B-Tests auch ohne umfangreiche Programmierkenntnisse umsetzen kannst. Nimm dir die Zeit, verschiedene Tools auszuprobieren und genau die Lösung zu finden, die zu deinen Fähigkeiten, aber auch zu deinen Testfällen und Anforderungen passt. Viele, auch kostenpflichtige Lösungen bieten kostenfreie Testphasen an.

Hast du dich für ein Tool und einen ersten Testfall entschieden, geht es an die Umsetzung. Grundsätzlich ist wichtig, dass du eine ausreichend große Testgruppe und eine aussagekräftige Laufzeit auswählst. Das Wetter, Weihnachten oder die WM können die Teilnahmezahlen nämlich stark beeinflussen. Viele Tools geben die sogenannte Zuverlässigkeitsrate an. Diese sollte bei mindestens 95 Prozent liegen, sodass Zufälle nahezu ausgeschlossen werden können. 

Schaue dir nach einem A/B-Test die Ergebnisse im Hinblick auf deine Hypothese an. Je nach verwendetem Tool bietet dir die Software unterschiedliche Auswertungs- und Archivierungsfunktionen an. Stelle dir vorrangig die Frage, ob deine Erwartungen bzw. deine Hypothesen erfüllt, übertroffen oder unterboten wurden. In den ersten beiden Fällen kann es an die Umsetzung gehen. Weichen die Ergebnisse massiv von deinen ursprünglichen Erwartungen ab, solltest du die Datenausgangslage sowie deine Annahmen noch einmal genau prüfen und ggf. die Testkriterien abwandeln.

Tipp: Dokumentiere die Ergebnisse jedes Tests – nicht nur die der erfolgreichen, sondern auch die der fehlgeschlagenen. Erfasse sowohl deine Hypothese als auch die getestete Variable, den Testzeitraum, die Anzahl der Testpersonen und die Ergebnisse. So findest du mit der Zeit nicht nur heraus, was wie gut funktioniert, sondern behältst auch den Überblick, was du bereits probiert hast.

Entspricht ein Testergebnis deinen Erwartungen, kannst du die getestete Änderung umsetzen. Wichtig: Nachdem du die Änderung vorgenommen hast, beobachte deine Website und deine Zahlen. Wirkt sich die Veränderung genauso aus, wie innerhalb des Tests? Handelt es sich nur um eine kurzfristige Veränderung des Nutzungsverhaltens oder ist die Veränderung bzw. Verbesserung von Dauer? Verändern sich in diesem Zuge auch andere Zahlen, die eventuell damit im Zusammenhang stehen?

Ist ein Testzyklus abgeschlossen, kannst du mit einer neuen Hypothese einen neuen Test starten. Hast du ein bestimmtes Element getestet und verändert, wähle anschließend einen Test mit einem völlig anderen Element – anderenfalls würdest du Ergebnisse verfälschen.

Datenschutz ist bei A/B-Test ein wichtiges Thema. Denn je nach Tool und technischer Umsetzung können dabei Cookies gesetzt, Nutzungsdaten ausgewertet oder personenbezogene Daten verarbeitet werden. Das gilt besonders, wenn du externe A/B-Testing- oder Analytics-Tools nutzt.

Prüfe deshalb vor dem Start eines Tests, welche Daten erhoben werden, ob eine Einwilligung der Nutzer*innen erforderlich ist und ob deine Datenschutzerklärung angepasst werden muss. Wenn Cookies, Tracking oder eine Wiedererkennung von Nutzer*innen eingesetzt werden, solltest du diese Funktionen in deine Datenschutzerklärung einbinden.

Datenschutzfreundlicher wird A/B-Testing, wenn du nur die Daten erhebst, die du für die Auswertung wirklich brauchst und die Testlaufzeit begrenzt. Bei externen Tools solltest du außerdem prüfen, ob ein Vertrag zur Auftragsverarbeitung nötig ist und wo die Daten verarbeitet werden.

So stellst du sicher, dass deine Tests nicht nur aussagekräftig, sondern auch rechtlich sauber vorbereitet sind.

A/B-Testing schadet deiner SEO in der Regel nicht, wenn du die Tests sauber umsetzt. Dazu hat Google ein paar Richtlinien verfasst.

Wichtig ist etwa, dass Suchmaschinen und Nutzer*innen grundsätzlich die gleichen Inhalte sehen. Vermeide deshalb Cloaking. Damit ist gemeint, dass Suchmaschinen gezielt andere Inhalte angezeigt werden als echte Besucher*innen. Problematisch wäre es zum Beispiel, wenn Google eine suchmaschinenoptimierte Textversion bekommt, während Nutzer*innen eine stark abweichende Verkaufsseite sehen. Suchmaschinen können das als Manipulationsversuch werten. Bei einem normalen A/B-Test ist es dagegen unkritisch, wenn Nutzer*innen zufällig unterschiedliche Varianten sehen – solange der Googlebot nicht bewusst anders behandelt wird als andere Besucher*innen.

Wenn du für deinen Test eigene URLs verwendest, solltest du mit Canonical-Tags auf die ursprüngliche Seite verweisen. So reduzierst du das Risiko, dass Suchmaschinen die Testvarianten als Duplicate Content bewerten. Nutzt du Weiterleitungen, sind temporäre Weiterleitungen sinnvoller als dauerhafte Redirects, weil die Testvariante nur vorübergehend eingesetzt wird.

Außerdem solltest du Tests nicht unnötig lange laufen lassen. Sobald ein belastbares Ergebnis vorliegt, setzt du die bessere Variante dauerhaft um und beendest den Test. Achte auch darauf, dass dein Testing-Tool die Ladezeit deiner Website nicht spürbar verschlechtert, denn langsame Seiten können sich negativ auf Nutzererfahrung und Rankings auswirken.

Hast du das nötige Kleingeld, kannst du auch Suchmaschinenwerbung für deine A/B-Tests nutzen. Das kostet zwar Geld, hat aber den Vorteil, dass du bei den Suchergebnissen ganz oben im gesponsorten Bereich stehst. Das ist vor allem dann ein gutes Vorgehen, wenn deine Seite nicht gut rankt und nur wenig Traffic bekommt.

Dann schaltest du Werbung für ein oder mehrere Keywords deiner Wahl – z. B. bei Google. Im nächsten Schritt stellst du ein, dass Google die Besucher*innen nach Anzeigenklick auf zwei (oder mehrere) Zielseiten verteilen soll. Nach einer Weile kannst du dann auch hier sehen, welche der Varianten besser läuft als die andere.

Kleinigkeiten können Großes bewirken und zu mehr Kundenzufriedenheit führen oder die Conversion-Rate, also die Interaktion mit deinem Angebot, erhöhen. Um herauszufinden, welche Vorlieben und Ansprüche deine Kundschaft hat, kannst du den A/B-Test nutzen. Erstelle zwei unterschiedliche Varianten und erfahre, welche bei der Testgruppe besser ankommt. Die Testgruppe weiß nicht, dass sie Teil eines Tests ist und du erhältst wertvolle Informationen, um dein Produkt, deine Dienstleistung oder deine Idee zu optimieren. Auf geht’s! 

• Online-Marketing
• Geschäftsidee testen
• Minimum Viable Product