A/B‑Test
Ein Test, bei dem zwei Varianten gleichzeitig gegen echten Traffic laufen, damit du misst statt zu raten, welche besser funktioniert.
Definition
Beim A/B-Test läuft die bestehende Fassung gegen genau eine geänderte Fassung. Der Traffic wird zufällig auf beide verteilt, beide laufen im selben Zeitraum, und am Ende vergleichst du eine vorher festgelegte Kennzahl.
Die Zufallsverteilung ist der eigentliche Trick. Sie sorgt dafür, dass sich Wochentag, Kampagne, Gerät und Kaufsaison gleichmäßig auf beide Gruppen verteilen. Deshalb ist ein A/B-Test etwas anderes als ein Vorher-Nachher-Vergleich: Dort steckt jede Veränderung im Markt mit im Ergebnis, und du weißt am Ende nicht, was gewirkt hat.
Wird mehr als eine Sache gleichzeitig verändert, ist es kein A/B-Test mehr, sondern multivariates Testing. Das braucht ein Vielfaches an Traffic, weil jede Kombination für sich genug Fälle sammeln muss.
Zwei Begriffe tauchen dabei immer auf. Signifikanz sagt, wie wahrscheinlich es ist, dass ein Unterschied nur Zufall war. Power sagt, wie groß ein Unterschied sein muss, damit du ihn bei deiner Fallzahl überhaupt erkennen kannst.
Warum das für dich zählt
Der häufigste Fehler ist nicht die falsche Idee, sondern der zu frühe Abbruch. Nach drei Tagen führt Variante B mit dreißig Prozent, das Team feiert, der Test wird gestoppt und ausgerollt. Zwei Wochen später ist der Effekt weg. Bei kleinen Fallzahlen schwankt eine Conversion Rate so stark, dass fast jede Variante zwischendurch einmal vorn liegt.
Deshalb gehört die Rechnung vor den Test, nicht dahinter. Wer hundert Conversions im Monat hat und zehn Prozent Verbesserung sucht, läuft Monate, bis das Ergebnis belastbar ist. In dem Fall ist ein A/B-Test das falsche Werkzeug, und du entscheidest über Nutzerfeedback, Session-Aufzeichnungen und Erfahrung.
Ein Test ohne Unterschied ist übrigens kein verlorener Test. Er verhindert einen Rollout, der Geld gekostet hätte, und das ist bares Ergebnis.
Wie wir damit arbeiten
Wir testen dort, wo Volumen liegt, meist auf der Landingpage und in den Anzeigentexten. Vor jedem Test steht die nötige Fallzahl und die Laufzeit, damit vorher klar ist, wann entschieden wird und wann eben nicht.
Getestet wird gegen eine Kennzahl, die im Geschäft ankommt, nicht gegen Klicks. Ein Test, der die Klickrate hebt und die Abschlüsse senkt, ist kein Erfolg. Das setzt saubere Messung voraus, siehe Conversion Tracking.
Diese Arbeitsweise steckt bei uns im Anspruch Better Every Day: Jedes Creative, jedes Targeting und jede Budgetverteilung wird hinterfragt, getestet und schrittweise verfeinert. Was dabei herauskommt, siehst du bei mehr Umsatz. Und du siehst die Rohdaten mit, auch die Tests, die nichts gebracht haben.
Häufige Fragen
Wie lange muss ein A/B‑Test laufen?
Mindestens zwei volle Wochen, damit jeder Wochentag zweimal vorkommt. Die harte Grenze ist aber nicht die Zeit, sondern die Fallzahl: Der Test läuft, bis die vorher berechnete Zahl an Conversions erreicht ist.
Wie viele Varianten kann ich gleichzeitig testen?
Bei einem A/B‑Test eine gegen die Kontrolle. Jede weitere Variante teilt den Traffic zusätzlich auf und verlängert die Laufzeit entsprechend.
Brauche ich dafür ein Testing-Tool?
Für Seitenvarianten ja, sonst wird die zufällige Zuteilung zur Bastelei. Bei Anzeigen übernehmen das die Werbeplattformen selbst. Wichtiger als das Tool ist, dass die Zuteilung wirklich zufällig ist und pro Besucher stabil bleibt.
Was mache ich, wenn kein Unterschied herauskommt?
Das ist ein Ergebnis, kein Fehlschlag. Es heißt, dass die Änderung zu klein war, um zu wirken. Meist lohnt der nächste Test an einer größeren Stellschraube statt an derselben Stelle in kleineren Schritten.
Kann ich einen Test auswerten, bevor er zu Ende ist?
Ansehen ja, entscheiden nein. Wer während der Laufzeit immer wieder prüft und beim ersten signifikanten Zwischenstand abbricht, findet fast immer einen Gewinner, auch wenn keiner da ist.
Wie lange muss ein A/B‑Test laufen?
Mindestens zwei volle Wochen, damit jeder Wochentag zweimal vorkommt. Die harte Grenze ist aber nicht die Zeit, sondern die Fallzahl: Der Test läuft, bis die vorher berechnete Zahl an Conversions erreicht ist.
Wie viele Varianten kann ich gleichzeitig testen?
Bei einem A/B‑Test eine gegen die Kontrolle. Jede weitere Variante teilt den Traffic zusätzlich auf und verlängert die Laufzeit entsprechend.
Brauche ich dafür ein Testing-Tool?
Für Seitenvarianten ja, sonst wird die zufällige Zuteilung zur Bastelei. Bei Anzeigen übernehmen das die Werbeplattformen selbst. Wichtiger als das Tool ist, dass die Zuteilung wirklich zufällig ist und pro Besucher stabil bleibt.
Was mache ich, wenn kein Unterschied herauskommt?
Das ist ein Ergebnis, kein Fehlschlag. Es heißt, dass die Änderung zu klein war, um zu wirken. Meist lohnt der nächste Test an einer größeren Stellschraube statt an derselben Stelle in kleineren Schritten.
Kann ich einen Test auswerten, bevor er zu Ende ist?
Ansehen ja, entscheiden nein. Wer während der Laufzeit immer wieder prüft und beim ersten signifikanten Zwischenstand abbricht, findet fast immer einen Gewinner, auch wenn keiner da ist.