Was ist ein A/B-Test? Einsteigerleitfaden zum 6-Schritte-Ablauf, zur statistischen Signifikanz und zur Stichprobengröße
- ab-testing
- cro
- how-to
- beginners
Zusammenfassung des Artikels
- Ein A/B-Test ist eine Methode, bei der Besucher zufällig aufgeteilt werden, die Originalseite (A) und eine veränderte Seite (B) im selben Zeitraum ausgespielt werden und anhand von Zahlen verglichen wird, welche besser abschneidet
- Ein einfacher Vorher-nachher-Vergleich kann die Wirkung Ihrer Änderung nicht von den Effekten von Jahreszeiten, Werbung, Wochentagen usw. trennen. Beide Versionen gleichzeitig laufen zu lassen, ist der Kern des A/B-Tests
- Der Ablauf besteht aus 6 Schritten: Ziel und Kennzahl → Hypothese → Variante erstellen → durchführen → beurteilen → umsetzen. Legen Sie die nötige Stichprobengröße (Datenmenge) und die Dauer vor dem Start fest
- „Statistische Signifikanz“ ist ein Richtwert dafür, ob sich ein Unterschied nur schwer allein durch Zufallsschwankungen erklären lässt. Ein p-Wert ist nicht „die Wahrscheinlichkeit, dass B gewinnt“
- Die meisten Fehlschläge entstehen durch „ständiges Zwischenprüfen der Ergebnisse und vorzeitiges Beenden“, „zu viele gleichzeitige Änderungen“ und „zu kurze Testlaufzeiten“
- Auch auf Websites mit wenig Traffic können Sie mit einem anderen Ansatz mehr Anhaltspunkte gewinnen, etwa indem Sie größere Änderungen testen oder eine Kennzahl früher im Funnel betrachten
„Vielleicht würden sich mit einer anderen Überschrift mehr Menschen anmelden.“ „Sollte der Button nicht weiter oben auf der Seite stehen?“ Wer eine Website betreibt, hat ständig Verbesserungsideen. Ob eine Änderung die Lage tatsächlich verbessert oder verschlechtert, weiß man aber erst, wenn man es ausprobiert hat. Und selbst wenn Ihre Zahlen nach einer Änderung steigen, lässt sich oft nicht sagen, ob das der Änderung zu verdanken ist oder ob Sie in dieser Woche zufällig mehr Geld für Werbung ausgegeben haben.
Wenn Sie die Wirkung einer Änderung getrennt von anderen Faktoren bestätigen möchten, verwenden Sie einen A/B-Test.
Dieser Artikel erklärt, was ein A/B-Test bedeutet und wie er funktioniert, und behandelt dann die praktischen Schritte, das Formulieren einer Hypothese, wie viele Daten und wie viel Zeit Sie brauchen, was „signifikanter Unterschied“ tatsächlich bedeutet und welche Fehler Einsteiger am häufigsten machen. Etwas Statistik kommt vor, aber ich halte Formeln auf ein Minimum und stelle das Verständnis der Grundgedanken in den Vordergrund. Alle Rechenbeispiele in diesem Artikel verwenden hypothetische Zahlen, die zur Veranschaulichung gewählt wurden.
Was ist ein A/B-Test?
Ein A/B-Test ist eine Methode, bei der Besuchern zufällig eine von zwei Versionen einer Seite gezeigt wird und anhand von Daten aus demselben Zeitraum verglichen wird, welche bessere Ergebnisse liefert. Er wird manchmal auch „Split-Test“ genannt.
- A (Control / die Originalversion): die aktuelle Seite. Sie ist die Vergleichsbasis
- B (Variante / die veränderte Version): eine Seite, bei der ein Teil geändert wurde. Sie ist die Idee, die Sie ausprobieren möchten
Sie zeigen zum Beispiel der Hälfte Ihrer Besucher Version A und der anderen Hälfte Version B und vergleichen dann den Anteil jeder Gruppe, der sich angemeldet hat. Dieser Anteil heißt Conversion-Rate (CVR). Eine Conversion ist eine Handlung, die Besucher auf Ihrer Website ausführen sollen, etwa ein Kauf, eine Anmeldung oder die Anforderung von Unterlagen.
Der Name „A/B-Test“ stammt vom Vergleich zweier Versionen, Sie können aber auch drei oder mehr gleichzeitig vergleichen (das nennt man A/B/n-Test). Der Grundgedanke ist derselbe.
Funktionsweise: zufällig aufteilen und gleichzeitig vergleichen
Drei Mechanismen sorgen dafür, dass ein A/B-Test funktioniert.
1. Besucher werden zufällig zugewiesen. Ob ein Besucher A oder B sieht, entscheidet das Tool mithilfe von Zufallszahlen. Eine Person wählt nicht selbst, und die Aufteilung folgt keiner Regel wie „A am Vormittag, B am Nachmittag“. Durch die zufällige Zuweisung mischen sich Unterschiede zwischen Besuchern, etwa neu oder wiederkehrend, Smartphone oder Desktop, über Werbung oder über die Suche gekommen, in A und B in ungefähr gleichen Anteilen.
2. Beide Versionen laufen im selben Zeitraum. A und B werden gleichzeitig ausgespielt. Äußere Einflüsse wie Sales, Jahreszeiten, eine Erwähnung im Fernsehen oder Wochentagsschwankungen wirken sich daher auf A und B gleichermaßen aus.
3. Dieselbe Person sieht weiterhin dieselbe Version. Wenn jemand, dem B zugewiesen wurde, beim nächsten Besuch A sieht, lässt sich nicht mehr sagen, welche Version seine Anmeldung beeinflusst hat. Aus diesem Grund verwenden die meisten Tools eine im Browser gespeicherte Markierung (etwa ein Cookie), um demselben Besucher stets dieselbe Version zu zeigen.
Wenn diese drei Bedingungen erfüllt sind, besteht der einzige Unterschied zwischen A und B darin, „was Sie auf der Seite geändert haben“. Deshalb lässt sich ein abweichendes Ergebnis leichter auf die Änderung zurückführen. Es ist derselbe Gedanke wie bei den randomisierten kontrollierten Studien, mit denen die Wirkung von Medikamenten geprüft wird, hier auf Websites übertragen.
Warum Sie A/B-Tests brauchen: Was ein Vorher-nachher-Vergleich nicht verrät
Sie fragen sich vielleicht: „Warum ändere ich die Seite nicht einfach und vergleiche die Zahlen vorher und nachher, ohne die Besucher aufzuteilen?“ Das nennt man Vorher-nachher-Vergleich. Er ist einfach, hat aber eine große Schwäche: Sie können die Wirkung Ihrer Änderung nicht von anderen Faktoren trennen.
Die Zahlen Ihrer Website schwanken von Tag zu Tag, auch wenn Sie auf der Seite nichts ändern. Zu den Faktoren, die sie bewegen, gehören:
- Jahreszeiten und Ereignisse: Bonuszeit, Geschäftsjahresende, Feiertage, Wetter usw.
- Werbung und Kampagnen: höhere oder niedrigere Werbeausgaben, geänderte Anzeigenziele, versendete E-Mail-Newsletter
- Wochentag und Tageszeit: Besucher unter der Woche und am Wochenende können sich in Art und Absicht unterscheiden
- Veränderungen bei den Traffic-Quellen: Verschiebungen im Suchranking, ein viraler Erfolg in sozialen Netzwerken, Verweise von anderen Websites
- Wettbewerber und Markt: eine Preissenkung eines Wettbewerbers, Medienberichte
Überschneidet sich einer dieser Faktoren bei einem Vorher-nachher-Vergleich mit dem Zeitraum nach Ihrer Änderung, können Sie nicht erkennen, ob eine Veränderung der Zahlen von Ihrer Änderung oder von etwas anderem stammt. Selbst wenn die Zahlen nach der Änderung gestiegen sind, ist es möglich, dass die Änderung selbst geschadet hat und eine Zunahme der Werbung das verdeckt hat.
Ein A/B-Test spielt A und B im selben Zeitraum aus, sodass diese Faktoren beide gleich beeinflussen. Sie betrachten dann den verbleibenden Unterschied, wodurch sich die Wirkung der Änderung allein leichter isolieren lässt.
Ein weiterer Grund: Die Intuition der Ersteller und die Reaktionen der Besucher stimmen oft nicht überein. Es ist nicht ungewöhnlich, dass eine Idee, bei der sich intern alle einig waren, sie sei „leichter verständlich“, bei echten Besuchern durchfällt. Ein A/B-Test ist auch eine Möglichkeit, auf Grundlage dessen zu entscheiden, was Besucher tatsächlich tun, und nicht danach, wer am lautesten argumentiert oder den höheren Titel hat.
Was ein A/B-Test leisten kann und was nicht
Ein A/B-Test ist leistungsstark, kann aber nicht alles beantworten. Wenn Sie vor dem Start wissen, wofür er gut und wofür er schlecht geeignet ist, vermeiden Sie Fehlinterpretationen der Ergebnisse.
Was er Ihnen sagen kann
- Ob eine Änderung die von Ihnen gewählte Kennzahl (etwa die Anmelderate) erhöht, gesenkt oder kaum verändert hat
- Ob der Unterschied so groß ist, dass sich allein mit Zufallsschwankungen nur schwer erklären lässt
Was er nicht oder nur schlecht beantworten kann
- Warum es einen Unterschied gab: Der Grund ist eine Vermutung. Betrachten Sie ihn zusammen mit anderen Daten
- Langfristige Effekte: Er erfasst nur das Verhalten während des Testzeitraums. Über Kundenbindung oder Kündigungsraten Monate später sagt er oft nichts aus
- Vergleiche mit Ideen, die Sie nicht getestet haben: Sie erfahren, ob A oder B besser ist, aber nicht, ob es eine bessere Option C gibt
- Kleine Verbesserungen auf Seiten mit wenig Traffic: Möglicherweise reichen die Daten nicht aus, um in der einen oder anderen Richtung etwas zu sagen, ob es einen Unterschied gibt oder nicht (der Abschnitt weiter unten dazu zeigt, was Sie tun können)
Außerdem ist ein A/B-Test „ein Werkzeug, um Ideen zu überprüfen“, nicht „ein Werkzeug, um gute Ideen zu finden“. Die Qualität der Ideen, die Sie testen, hängt davon ab, wie Sie Ihre Hypothesen aufbauen.
Arten von A/B-Tests: Unterschiede zu Multivariatentests und Redirect-Tests
Auch innerhalb des „A/B-Testings“ gibt es mehrere verwandte Methoden. Hier sind die, die am häufigsten vorkommen.
| Art | Was verglichen wird | Besonders geeignet für | Worauf zu achten ist |
|---|---|---|---|
| A/B-Test | Versionen unter derselben URL, bei denen ein Teil geändert wurde | Die Wirkung einer einzelnen Änderung prüfen, etwa Überschrift, Button oder Bild | Die Grundform. Beginnen Sie hier |
| A/B/n-Test | Drei oder mehr Versionen | Sie haben mehrere Überschriftenkandidaten und möchten sie gleichzeitig vergleichen | Je mehr Versionen, desto weniger Daten pro Version und desto länger der Test |
| Multivariatentest | Kombinationen mehrerer Elemente (z. B. 2 Überschriften × 2 Bilder = 4 Kombinationen) | Sie möchten wissen, welche Kombination von Elementen am besten funktioniert | Sie brauchen Daten für jede Kombination. Geeignet für Seiten mit viel Traffic |
| Redirect-Test (Split-URL-Test) | Seiten mit unterschiedlichem Design unter getrennten URLs | Sie möchten eine neue Seite mit deutlich anderem Layout mit der aktuellen Seite vergleichen | Die Weiterleitung kann die Anzeige leicht verzögern. Suchmaschinen müssen berücksichtigt werden |
| A/A-Test | Zwei identische Versionen | Sie möchten prüfen, ob die Traffic-Aufteilung und die Messung des Tools korrekt funktionieren | Ein Test zur Kontrolle, nicht zur Verbesserung |
Ein Multivariatentest ändert mehrere Elemente gleichzeitig und vergleicht die Ergebnisse für jede Kombination. Er kann sogar zeigen, wie gut Elemente zusammenwirken, etwa „diese Überschrift zusammen mit diesem Bild funktioniert am besten“. Allerdings ergeben 3 Überschriften, 3 Bilder und 2 Buttons 18 Kombinationen, und jede braucht genügend Daten. Für Websites mit begrenztem Traffic ist es realistischer, A/B-Tests nacheinander durchzuführen.
Ein Redirect-Test leitet einen Teil der Besucher auf eine andere URL um und vergleicht die Ergebnisse; er wird auch Split-URL-Test genannt. Er eignet sich für große Änderungen, etwa wenn die Struktur der Seite selbst neu aufgebaut wird. Ein normaler A/B-Test, der Elemente unter derselben URL umschreibt, eignet sich dazu, kleine Änderungen wie Formulierung oder Farbe schnell auszuprobieren.
Außerhalb des Webs wird es ebenfalls A/B-Test genannt, wenn man zwei Versionen einer E-Mail-Betreffzeile oder eines Anzeigenmotivs versendet und die Reaktionen vergleicht. Dieser Artikel behandelt A/B-Tests von Webseiten.
Was in einem A/B-Test getestet werden kann
Es gibt viele Elemente, die Sie testen können. Hier sind die typischen.
- Überschrift (Haupttext): von der Beschreibung von Funktionen zur Beschreibung des Ergebnisses wechseln, das der Besucher erhält. Ziel ist es, in den ersten Sekunden zu vermitteln: „Das betrifft mich“
- CTA (Call-to-Action-Button): Formulierung, Position, Größe oder Farbe ändern. Ziel ist es, den nächsten Schritt klar zu machen
- Hauptbild oder Video: ein Foto des Produkts allein mit einem Foto des Produkts im Einsatz vergleichen. Ziel ist es, den Nutzen intuitiv zu vermitteln
- Formulare: weniger Felder, Aufteilung in Schritte, Beispieleingaben ergänzen. Ziel ist es, Aufwand und Zögern zu verringern
- Darstellung der Preise: wie Monats- und Jahrespreise angeordnet sind, die Reihenfolge der Tarife, wo Preise inklusive Steuer erscheinen. Ziel ist es, Vergleichen und Entscheiden zu erleichtern
- Vertrauensbildende Informationen: Referenzen von Kunden, Erfahrungsberichte, Platzierung von Garantie- und Support-Informationen. Ziel ist es, Bedenken vor der Anmeldung abzubauen
- Layout und Reihenfolge der Informationen: wichtige Informationen weiter nach oben schieben, eine lange Seite kürzen. Ziel ist es, Besuchern zu helfen, schneller zu den benötigten Informationen zu gelangen
- Navigation: die Anzahl der Menüpunkte oder deren Bezeichnung ändern. Ziel ist es, Verwirrung zu verringern und Besucher zur gewünschten Seite zu führen
CTA steht für „Call To Action“. Gemeint ist ein Button oder Link, der Besucher zu einer Handlung auffordert, etwa „Anmelden“ oder „Unterlagen anfordern“.
Entscheiden Sie als Faustregel anhand der Nähe zum Ergebnis und danach, wie stark etwas gesehen wird, wo Sie beginnen. Stellen, die direkt mit Ergebnissen zusammenhängen, wie Anmelde-Buttons und Formulare, sowie der Seitenanfang, den viele Besucher sehen, sind die Orte, an denen Änderungen am ehesten eine Wirkung zeigen. Dagegen dauert es bei einer kleinen Änderung weit unten auf einer Seite, die die meisten nie erreichen, lange, sie nachzuweisen, selbst wenn sie wirkt.
„Buttonfarbe“ wird oft als Beispiel für A/B-Tests genannt, aber allein eine Farbänderung führt nicht unbedingt zu einem großen Unterschied. Wichtiger als die Farbe selbst ist die Frage, ob das Problem darin besteht, dass der Button mit seiner Umgebung verschmilzt und übersehen wird. Was geändert werden soll, leiten Sie von der Hypothese ab, die als Nächstes behandelt wird.
So führen Sie einen A/B-Test durch [6 Schritte]
Ein A/B-Test läuft in den folgenden 6 Schritten ab. Wichtig ist, die Kennzahl, die benötigte Datenmenge, die Dauer und die Beurteilungskriterien festzulegen, bevor Sie den Test starten.
Ziel und Kennzahl festlegen
Grenzen Sie ein, was Sie verbessern möchten, auf eine einzige Sache, und legen Sie die Kennzahl fest, die es misst. Formulieren Sie es so, dass es sich in Zahlen messen lässt, etwa „die Abschlussrate bei der Anforderung von Unterlagen erhöhen“. Verwenden Sie für die Beurteilung nur eine Kennzahl (die primäre Kennzahl).
Hypothese bilden
Schreiben Sie auf: „Wo liegt das Problem, was ändern Sie und wie, und warum erwarten Sie eine Verbesserung?“ Wenn Sie sich auf Daten wie Webanalyse und Heatmaps stützen, verringert das das Raten.
Die zu testende Variante erstellen
Erstellen Sie auf Grundlage der Hypothese die veränderte Version (B). Damit Sie erkennen können, was gewirkt hat, beschränken Sie die Änderungen auf das, was eine Hypothese abdeckt. Prüfen Sie die Darstellung sowohl auf Smartphones als auch auf Desktop-Geräten.
Benötigte Daten und Dauer festlegen, dann durchführen
Schätzen Sie die nötige Stichprobengröße und die Testdauer, legen Sie die Traffic-Zuteilung fest und starten Sie dann. Prüfen Sie direkt nach dem Start, ob Traffic-Aufteilung und Messung korrekt funktionieren.
Nach Ablauf des Zeitraums beurteilen
Sehen Sie sich die Ergebnisse erst an, wenn Sie die vorab festgelegte Dauer und Datenmenge erreicht haben. Prüfen Sie den Unterschied bei der primären Kennzahl und ob dieser Unterschied im Rahmen dessen liegt, was Zufallsschwankungen erklären könnten.
Ergebnis umsetzen und zur nächsten Hypothese übergehen
Übernehmen Sie die bessere Version offiziell und räumen Sie die Testeinstellungen auf. Auch wenn es keinen Unterschied gab, halten Sie fest, was Sie gelernt haben, und nutzen Sie es für die nächste Hypothese.
Die folgenden Abschnitte erklären die Überlegungen hinter jedem Schritt ausführlicher.
So wählen Sie Ziel und Kennzahlen
Es hilft, Kennzahlen nach ihrer Rolle zu ordnen.
- Primäre Kennzahl: die Kennzahl, die entscheidet, wer den Test gewinnt. Wählen Sie nur eine. Beispiele sind die Kaufabschlussrate, die Abschlussrate bei der Anforderung von Unterlagen und die Rate kostenloser Anmeldungen
- Sekundäre Kennzahlen: Kennzahlen, die Sie betrachten, um zu verstehen, wie sich die primäre Kennzahl bewegt hat. Beispiele sind die Klickrate auf den Button, die Rate begonnener Formulare und die Scrolltiefe
- Guardrail-Kennzahlen: Kennzahlen, die Sie beobachten, um sicherzustellen, dass sich nichts verschlechtert hat. Beispiele sind die Absprungrate, die Ladegeschwindigkeit der Seite, Rücksendungen oder Kündigungen und die Zahl der Anfragen
Der Grund, sich auf eine primäre Kennzahl zu beschränken: Wenn Sie viele Kennzahlen nebeneinanderstellen und es als Erfolg werten, sobald sich eine davon verbessert, greifen Sie leicht eine Kennzahl heraus, die nur zufällig besser aussah. Das ist das Problem der „multiplen Vergleiche“, auf das ein späterer Abschnitt zurückkommt.
Wählen Sie eine primäre Kennzahl, die so nah wie möglich am Geschäftsergebnis liegt. Es kann vorkommen, dass die Klickrate auf den Button steigt, die Anmeldungen aber nicht. Formulierungen, die zum Klicken einladen, bringen mehr Menschen dazu, den Button zu drücken, aber wenn das Folgende nicht ihren Erwartungen entspricht, springen sie ab.
Andererseits dauert es bei Kennzahlen mit wenigen Vorkommnissen, etwa Käufen oder Vertragsabschlüssen, länger, genug Daten zu sammeln. Bei Websites mit begrenztem Traffic kann man eine Kennzahl aus einer früheren Stufe (etwa das Erreichen des Formulars) zur primären Kennzahl machen. Dann ist es wichtig, die Voraussetzung im Kopf zu behalten, dass sich „das Endergebnis nicht unbedingt verbessert, selbst wenn sich die frühere Kennzahl verbessert“.
So formulieren Sie eine Hypothese: Verhaltensdaten in einen Grund für die Änderung verwandeln
Der Erfolg eines A/B-Tests hängt stark von der Qualität der Hypothese ab. Wenn Sie ohne Hypothese immer neue Ideen ausprobieren, erhalten Sie eine Reihe von Tests ohne Unterschied, und selbst wenn es einen gibt, können Sie darauf nicht aufbauen.
Wenn Sie die Hypothese in der folgenden Form formulieren, verringern sich Lücken.
„Aus (einer in den Daten sichtbaren Tatsache) schließen wir (eine Vermutung zum Problem). Wenn wir also (diese Änderung vornehmen), sollte sich (diese Kennzahl) verbessern.“
Nehmen wir als Beispiel die folgende Situation an (hypothetisch).
- Tatsache: Auf der Preisseite scrollen nur wenige Besucher weit genug, um den Anmelde-Button zu erreichen
- Vermutung zum Problem: Der Button ist zu weit unten, sodass selbst Besucher, die sich anmelden möchten, ihn nicht finden
- Änderung: Zusätzlich einen Anmelde-Button direkt unter der Tarifübersicht platzieren
- Kennzahl: Abschlussrate der Anmeldung
Wenn Sie es so aufschreiben, können Sie nach Eingang der Ergebnisse zurückblicken und fragen, ob „die Vermutung falsch war oder die Änderung nicht ausreichte“.
Zu den Daten, die in eine Hypothese einfließen können, gehören die folgenden.
- Webanalyse: welche Seiten viele Abbrüche haben, welche Traffic-Quellen niedrige Ergebnisse liefern. Gut geeignet, um herauszufinden, bei welcher „Seite“ es ein Problem gibt
- Heatmaps: wie weit unten auf der Seite gelesen wird, wo geklickt wird, ob auf Dinge geklickt wird, die keine Links sind. Gut geeignet, um herauszufinden, an welcher „Stelle“ es ein Problem gibt
- Anfragen sowie Vertriebs- oder Support-Aufzeichnungen: wodurch Besucher verwirrt sind und worüber sie sich sorgen
- Umfragen und Interviews mit Nutzern: Hinweise auf Gründe, die in Zahlen nicht auftauchen
Eine Heatmap ist ein Werkzeug, das das Verhalten der Besucher als hellere und dunklere Farbbereiche über die Seite legt (Arten und Lesehilfen finden Sie unter Was ist eine Heatmap?). Sie hilft, Problemstellen innerhalb einer Seite zu finden, etwa „ein wichtiger Button wird nicht angeklickt“ oder „viele hören auf halber Strecke auf zu lesen“. Zur Rollenverteilung, bei der Sie Probleme mit einer Heatmap finden und die Korrektur mit einem A/B-Test überprüfen, siehe Heatmaps vs. A/B-Tests: Unterschiede und wann man was einsetzt.
Wenn Sie mehrere Hypothesen haben, ordnen Sie sie nach drei Punkten: „erwartete Größe der Wirkung“, „Stärke der Belege“ und „Aufwand für die Umsetzung“. Wenn Sie mit denen mit hoher erwarteter Wirkung und geringem Aufwand beginnen, kommen Sie leichter voran.
Die Stichprobengröße verstehen
Die Stichprobengröße ist die für den Test nötige Datenmenge, also die Zahl der Besucher, die jede Version gesehen haben. Bei einem A/B-Test schätzen Sie sie vor der Durchführung. Ist die Datenmenge zu klein, übersehen Sie häufiger einen Unterschied, der tatsächlich besteht, und selbst wenn zufällig ein signifikanter Unterschied auftaucht, wirkt seine Größe tendenziell größer, als sie wirklich ist.
Die nötige Stichprobengröße wird vor allem von diesen vier Dingen bestimmt.
- Aktuelle Conversion-Rate: Je niedriger sie ist, desto mehr Daten brauchen Sie
- Größe des Unterschieds, den Sie nachweisen möchten: Je kleiner der Unterschied, den Sie finden wollen, desto mehr Daten brauchen Sie. Der kleinste Unterschied, den Sie nachweisen können möchten und bei dem Sie nichts Kleineres übersehen wollen, heißt minimal nachweisbarer Effekt (Minimum Detectable Effect, MDE)
- Signifikanzniveau: wie viel vom Fehler, „einen Unterschied festzustellen, obwohl keiner besteht“, Sie hinnehmen. Üblich sind 5 %
- Statistische Power: die Wahrscheinlichkeit, einen Unterschied zu finden, wenn er wirklich besteht. Üblich sind 80 %
Davon hat der zweite Punkt die größte Wirkung. Halbiert sich der Unterschied, den Sie finden möchten, steigt die nötige Datenmenge auf etwa das 4-Fache.
Hier ein Rechenbeispiel für eine grobe Vorstellung. Dies sind ungefähre Besucherzahlen, die pro Variante benötigt werden, bei einer aktuellen Conversion-Rate von 2,0 % (berechnet mit einer Standardformel für den Vergleich zweier Anteile, mit zweiseitigem Test, 5 % Signifikanzniveau und 80 % Power).
| Gewünschte nachweisbare Verbesserung (relativ) | Conversion-Rate nach der Änderung | Benötigte Besucher pro Variante (ca.) |
|---|---|---|
| +10 % | 2,0 % → 2,2 % | etwa 80.700 |
| +20 % | 2,0 % → 2,4 % | etwa 21.100 |
| +30 % | 2,0 % → 2,6 % | etwa 9.800 |
| +50 % | 2,0 % → 3,0 % | etwa 3.800 |
Diese Tabelle zeigt zwei Dinge. Erstens: Eine kleine Verbesserung zu bestätigen, braucht mehr Daten, als man denkt. Um eine Verbesserung von 10 % auf einer Seite mit 2,0 % Conversion-Rate zu bestätigen, bräuchten Sie über 160.000 Besucher für A und B zusammen. Zweitens: Je größer die Verbesserung, die eine Änderung anstrebt, desto weniger Daten brauchen Sie, um sie zu beurteilen.
Für die tatsächliche Schätzung genügt es, mit den in A/B-Test-Tools eingebauten Rechnern oder frei verfügbaren Stichprobenrechnern die vier Werte einzugeben, um die Antwort zu erhalten. Sie müssen die Formel nicht auswendig lernen. Wichtig ist, zuerst zu entscheiden, „wie großen Unterschied ich finden möchte“, und dann zu prüfen, ob der Traffic Ihrer Website Sie in realistischer Zeit dorthin bringt.
Wenn die geschätzte nötige Zahl zu groß ist, gibt es neben dem Verzicht auf Tests weitere Möglichkeiten: sich auf eine Änderung konzentrieren, die wahrscheinlich einen größeren Unterschied bewirkt, den Test auf einer Seite mit viel Traffic durchführen oder eine Kennzahl weiter vorn im Funnel betrachten. Der Abschnitt „Was Sie auf einer Website mit wenig Traffic tun können“ erklärt, wie.
So bestimmen Sie die Testdauer
Schätzen Sie die Testdauer, indem Sie die nötige Stichprobengröße durch die Zahl der Personen teilen, die die getestete Seite pro Tag besuchen.
Ein Beispiel: Angenommen, die Tabelle oben besagt, Sie brauchen „etwa 21.100 pro Variante“. Die Zielseite hat 1.000 Besucher pro Tag, und angenommen, alle werden in den Test einbezogen und je zur Hälfte auf A und B aufgeteilt, sodass jede Variante 500 pro Tag erhält. 21.100 ÷ 500 ergibt etwa 42 Tage, also etwa 6 Wochen.
Berücksichtigen Sie bei der Festlegung der Dauer neben der Datenmenge die folgenden Punkte.
Verwenden Sie ganze Wochen. Das Verhalten der Besucher ändert sich je nach Wochentag. Unter der Woche geht es vielleicht um berufliche Recherche und am Wochenende um private Einkäufe, sodass sich Art und Absicht der Besucher unterscheiden können. Wenn Sie nach nur vier Tagen, Montag bis Donnerstag, aufhören, fehlen die Reaktionen der Wochenendbesucher. Wenn Sie am selben Wochentag beginnen und enden, in Vielfachen von 7 Tagen, vermeiden Sie eine Verzerrung durch den Wochentag.
Vermeiden Sie einen zu kurzen Zeitraum. Selbst bei sehr stark besuchten Websites, die die nötige Zahl in wenigen Tagen erreichen, gilt als Faustregel, mindestens 1 Woche, idealerweise 2 Wochen laufen zu lassen. Neben der Verzerrung durch den Wochentag können die Reaktionen direkt nach einer Änderung allein deshalb besser ausfallen, weil sie neu ist (oder schlechter, weil wiederkehrende Besucher irritiert sind).
Vermeiden Sie auch einen zu langen Zeitraum. Je länger ein Test läuft, desto mehr Störungen schleichen sich ein, etwa gelöschte Cookies, sodass dieselbe Person eine andere Version sieht, oder wechselnde Jahreszeiten und Marktbedingungen. Wenn Ihre Schätzung deutlich über 2 Monate liegt, empfehlen wir, das Design des Tests zu überdenken (die Größe des nachzuweisenden Unterschieds, die Zielseite und die Kennzahl).
Meiden Sie ungewöhnliche Zeiträume. Ergebnisse aus Zeiträumen, in denen sich das Besucherverhalten stark vom üblichen unterscheidet, etwa bei großen Sales oder in den Feiertagen zum Jahresende, lassen sich möglicherweise nicht auf normale Zeiten übertragen. Sofern Sie keine Maßnahme prüfen wollen, die speziell zu dieser Zeit gehört, ist es sicherer, sie zu meiden.
Was ist statistische Signifikanz? p-Werte und Konfidenzniveaus einfach erklärt
Wenn der Test endet, erhalten Sie ein Ergebnis wie „A liegt bei 2,0 %, B bei 2,4 %“. Hier müssen Sie überlegen, ob dieser Unterschied echt oder nur Zufall ist.
Selbst wenn Sie zwei Gruppen genau dieselbe Seite zeigen, stimmen ihre Conversion-Raten fast nie exakt überein. So wie 100-maliges Werfen einer Münze nicht immer genau 50-mal Kopf ergibt, haben Zahlen Zufallsschwankungen. Sie brauchen also ein Verfahren, um zu prüfen, „ob der beobachtete Unterschied im Rahmen dessen liegt, was Zufallsschwankungen allein erklären könnten“. Das ist der statistische Hypothesentest, und der Begriff für sein Ergebnis lautet statistische Signifikanz.
Was ist ein p-Wert?
Bei einem Test nehmen Sie zunächst an, dass „es wirklich keinen Unterschied zwischen A und B gibt“. Dann berechnen Sie die Wahrscheinlichkeit, zufällig einen mindestens so großen Unterschied wie den beobachteten zu sehen, wenn es wirklich keinen Unterschied gäbe. Diese Wahrscheinlichkeit ist der p-Wert.
- Ein kleiner p-Wert → unter der Annahme, dass es keinen Unterschied gibt, würde ein solcher Unterschied selten auftreten → die Annahme „kein Unterschied“ erscheint zweifelhaft
- Ein großer p-Wert → ein Unterschied dieser Größe tritt zufällig oft auf, auch wenn es keinen Unterschied gibt → Sie können nicht sagen, dass es einen Unterschied gibt
Signifikanzniveau und Konfidenzniveau
Die Schwelle dafür, wie klein der p-Wert sein muss, bevor Sie schließen, dass „es einen Unterschied gibt“, heißt Signifikanzniveau. Üblicherweise werden 5 % (0,05) verwendet. Liegt der p-Wert unter dem Signifikanzniveau, spricht man von einem „statistisch signifikanten Unterschied“.
Auf den Oberflächen von A/B-Test-Tools sehen Sie oft Anzeigen wie „95 % Konfidenzniveau“ oder „95 % Konfidenz“. Das bedeutet meist, dass das Tool bei einem Signifikanzniveau von 5 % urteilt (die Bedeutung der Anzeige unterscheidet sich je nach Tool, prüfen Sie daher die Dokumentation Ihres Tools).
Ein Signifikanzniveau von 5 % ist eine Vereinbarung: „Wir nehmen in Kauf, mit bis zu 5 % Wahrscheinlichkeit einen Unterschied festzustellen, obwohl keiner besteht.“ Anders gesagt: Wenn Sie 20 Änderungen testen, die überhaupt keine Wirkung haben, erscheint im Durchschnitt eine davon als „signifikant“. Ein signifikanter Unterschied ist kein Beweis für Gewissheit, sondern ein Richtwert, um die Fehlerwahrscheinlichkeit unter einem festgelegten Niveau zu halten.
Häufige Missverständnisse über p-Werte
Weitere häufige Missverständnisse sind die folgenden.
- „Nicht signifikant“ bedeutet nicht „es gibt keinen Unterschied“: Es schließt die Situation ein, dass die Daten nicht ausreichen, um zu sagen, ob ein Unterschied besteht
- Ein signifikanter Unterschied hat nicht zwingend eine für Ihr Geschäft bedeutsame Größe: Bei sehr großer Datenmenge wird selbst ein winziger Unterschied signifikant. Betrachten Sie auch die Größe des Unterschieds
- Ein kleinerer p-Wert bedeutet keinen größeren Effekt: Der p-Wert hängt auch von der Datenmenge ab
Überprüfung anhand von Rechenbeispielen
Prüfen wir es mit hypothetischen Zahlen. Angenommen, A und B wurden jeweils 10.000 Besucher zugewiesen.
- Beispiel 1: A hat 200 Conversions (2,0 %) und B hat 240 (2,4 %). Der p-Wert beträgt etwa 0,054 und liegt knapp über dem Signifikanzniveau von 5 %. Obwohl ein relativer Unterschied von 20 % zu sehen ist, können Sie ihn mit dieser Datenmenge nicht „signifikant“ nennen
- Beispiel 2: A hat 200 Conversions (2,0 %) und B hat 250 (2,5 %). Der p-Wert beträgt etwa 0,017 und liegt unter dem Signifikanzniveau von 5 %
Bei gleichen Raten ändert sich die Schlussfolgerung, wenn es weniger Daten gibt. Hätten A und B jeweils 1.000 Besucher, mit 20 Conversions (2,0 %) für A und 24 (2,4 %) für B, läge der p-Wert bei etwa 0,54. Das heißt, selbst ohne Unterschied tritt eine Lücke dieser Größe in mehr als der Hälfte der Fälle zufällig auf.
(Alle diese Werte sind Beispiele, berechnet mit einem zweiseitigen Test für die Differenz zweier Anteile. Für tatsächliche Beurteilungen folgen Sie der Methode Ihres Tools.)
Betrachten Sie auch das Konfidenzintervall
Ein p-Wert wird leicht zu einer Ja-Nein-Frage nach „signifikant oder nicht“, doch das Konfidenzintervall vermittelt ein Gefühl für die Größe des Unterschieds. Ein Konfidenzintervall ist ein Bereich, in dem der wahre Unterschied voraussichtlich liegt.
In Beispiel 1 oben beträgt die Differenz der Conversion-Rate (B minus A) 0,4 Prozentpunkte, und das 95-%-Konfidenzintervall liegt grob zwischen −0,01 und +0,81 Prozentpunkten. Da das Intervall die Null nur knapp überschreitet, können Sie es so lesen: „B sieht besser aus, aber wir können nicht ausschließen, dass es keinen Unterschied gibt.“ Ein breites Intervall ist ein Zeichen dafür, dass Sie noch nicht genug Daten haben.
Manche Tools zeigen die „Wahrscheinlichkeit, dass B A schlägt“
Manche Tools zeigen statt eines p-Werts eine Zahl wie „die Wahrscheinlichkeit, dass B A schlägt“. Dieser Wert beruht auf einem anderen Ansatz, der Bayes-Statistik, und seine Annahmen und seine Bedeutung unterscheiden sich von denen eines p-Werts. Keiner von beiden ist einfach richtig oder falsch; es sind unterschiedliche Denkschulen. Wichtig ist zu prüfen, welche Methode die Zahl verwendet, die Sie sich ansehen, und die beiden nicht als dieselbe Art von Zahl zu verwechseln.
So lesen Sie die Ergebnisse und was nach dem Test zu tun ist
Sobald der Zeitraum endet, prüfen Sie die Ergebnisse in dieser Reihenfolge.
- Ob die Traffic-Aufteilung wie geplant verlief: Wenn Sie eine Aufteilung je zur Hälfte eingestellt haben, sind die Besucherzahlen von A und B stark unausgewogen? Ist die Schieflage groß, kann es ein Problem mit der Aufteilung oder der Messung geben, und es ist gefährlich, den Ergebnissen unverändert zu trauen
- Der Unterschied bei der primären Kennzahl und seine Signifikanz: die Richtung des Unterschieds, seine Größe, der p-Wert und das Konfidenzintervall
- Guardrail-Kennzahlen: Haben sich, während sich die primäre Kennzahl verbessert hat, andere wichtige Zahlen verschlechtert?
- Sekundäre Kennzahlen: Hinweise, um darüber nachzudenken, warum Sie dieses Ergebnis erhalten haben
Die Ergebnisse fallen grob in drei Fälle.
B war signifikant besser. Übernehmen Sie B offiziell. Beobachten Sie die Zahlen nach der Umsetzung noch eine Weile, um zu bestätigen, dass sich derselbe Trend wie während des Tests fortsetzt.
B war signifikant schlechter. Bleiben Sie bei A. Das ist kein Misserfolg; das Ergebnis ist, dass Sie eine schlechte Änderung gestoppt haben, bevor Sie sie allen gezeigt haben. Wenn Sie darüber nachdenken, warum sie schlechter war, wird Ihre nächste Hypothese treffsicherer.
Es gab keinen signifikanten Unterschied. Beim A/B-Testing ist dies eines der häufigsten Ergebnisse. Vermeiden Sie es in diesem Fall, den Test nach Ablauf des geplanten Zeitraums so lange zu verlängern, bis er signifikant wird (der nächste Abschnitt erklärt, warum). Wenn es keinen Unterschied gibt, trennen Sie, ob die Hypothese falsch war, die Änderung zu klein war oder die Daten nicht ausreichten. Wenn die Ergebnisse so oder so gleich sind, ist es in Ordnung, die Version zu wählen, die sich leichter betreiben lässt oder besser zu Ihren Markenrichtlinien passt.
Die Ergebnisse nach Gerät oder Traffic-Quelle aufgeschlüsselt zu betrachten (Segmentanalyse), ist ebenfalls nützlich, erfordert aber Vorsicht. Je feiner Sie aufteilen, desto weniger Daten hat jede Gruppe, und desto leichter greifen Sie zufällige Unterschiede auf. Es ist sicherer, durch die Aufteilung gefundene Trends als „Hypothesen, die als Nächstes geprüft werden sollen“ zu behandeln, nicht als „Schlussfolgerungen“.
Dokumentieren Sie schließlich den Test. Wenn Sie Hypothese, Änderungen, Dauer, Datenmenge, Ergebnisse und Erkenntnisse an einem Ort festhalten, vermeiden Sie, denselben Test zu wiederholen, und geben das Gelernte auch dann weiter, wenn die zuständige Person wechselt.
Typische Fehler bei A/B-Tests und wie Sie sie vermeiden
Weil der Mechanismus des A/B-Tests einfach ist, kann ein falsches Vorgehen eine falsche Schlussfolgerung hervorbringen, die mit glaubwürdig aussehenden Zahlen daherkommt. Hier sind die typischen Fehler.
| Typischer Fehler | Worin das Problem besteht | Lösung |
|---|---|---|
| Ergebnisse wiederholt prüfen und aufhören, sobald sie signifikant werden | Der Fehler, einen zufälligen Unterschied „signifikant“ zu nennen, tritt häufiger auf als das von Ihnen festgelegte Signifikanzniveau | Legen Sie die nötigen Daten und die Dauer vorab fest und beurteilen Sie erst, wenn Sie sie erreicht haben |
| Viele Elemente gleichzeitig ändern | Selbst wenn es einen Unterschied gibt, können Sie nicht erkennen, was gewirkt hat | Beschränken Sie Änderungen auf das, was eine Hypothese abdeckt |
| Ein kurzer Testzeitraum | Die Ergebnisse werden durch die Verzerrung durch den Wochentag und vorübergehende Reaktionen direkt nach der Änderung beeinflusst | Wählen Sie eine Laufzeit in Vielfachen von 7 Tagen, mindestens 1 bis 2 Wochen |
| Beurteilung bei wenig Traffic | Zufallsschwankungen sind groß und Schlussfolgerungen instabil | Schätzen Sie die nötige Zahl vorab und überdenken Sie das Design, wenn sie nicht reicht |
| Verzerrung durch Wochentag oder Saison | Ergebnisse nur von Werktagen oder nur aus einer Sale-Phase gelten nicht für normale Zeiten | Beginnen und enden Sie am selben Wochentag und meiden Sie ungewöhnliche Zeiträume |
| Viele Kennzahlen und viele Varianten nebeneinanderstellen und dann nur die gute herauspicken | Je mehr Vergleiche, desto wahrscheinlicher sieht etwas nur zufällig gut aus | Legen Sie sich auf eine primäre Kennzahl fest und begrenzen Sie die Zahl der Varianten |
| Testen ohne Hypothese | Selbst mit Ergebnissen bleibt keine Erkenntnis, auf der sich aufbauen lässt | Schreiben Sie vor Beginn Tatsache, Problem, Änderung und Kennzahl auf |
| Einstellungen oder Varianten mittendrin ändern | Die Art der Daten ändert sich davor und danach, sodass sie nicht vergleichbar sind | Wenn Sie etwas ändern möchten, stoppen Sie und beginnen Sie neu als neuen Test |
Besonders vorsichtig sollten Sie beim ersten Punkt sein, dem „Peeking“-Problem. Den Zwischenstand eines Tests fast täglich zu prüfen, ist an sich notwendig, um Probleme früh zu erkennen. Das Problem ist, den Test zu stoppen und einen Sieg zu erklären, sobald die Zwischenergebnisse einen signifikanten Unterschied zeigen.
Ein p-Wert schwankt auf und ab, während sich Daten ansammeln. Auch wenn es wirklich keinen Unterschied gibt, kann er bei häufigem Prüfen irgendwann zufällig unter das Signifikanzniveau fallen. Wenn Sie in diesem Moment aufhören, tritt der „Fehler, einen Unterschied festzustellen, obwohl keiner besteht“ häufiger auf als die geplanten 5 %. Die Regel, mit der Beurteilung zu warten, bis Sie die vorab festgelegte Datenmenge und Dauer erreicht haben, soll diesen Fehler verhindern.
Manche Tools haben auch ein Beurteilungsverfahren, das so gestaltet ist, dass die Fehler nicht zunehmen, selbst wenn Sie zwischendurch urteilen (etwa das sogenannte sequenzielle Testen). Folgen Sie in diesem Fall dem Verfahren, das Ihnen das Tool vorgibt.
Noch ein Hinweis zu „viele Dinge gleichzeitig ändern“. Selbst wenn ein B gewinnt, das Überschrift, Bild und Button auf einmal ändert, wissen Sie nicht, was gewirkt hat. Es ist möglich, dass die Überschrift gut war, das Bild sie aber heruntergezogen hat. Wenn Ihr Ziel jedoch ist, eine komplett neu aufgebaute Seite mit der aktuellen zu vergleichen, ist es sinnvoll, Dinge gemeinsam zu ändern. Akzeptieren Sie dann, dass Sie nicht wissen werden, welches Element gewirkt hat, und vergleichen Sie sie etwa mit einem Redirect-Test.
Wie Sie über Traffic-Zuteilung und A/B-Verteilung denken sollten
Beim Einrichten eines A/B-Tests erscheinen zwei „Prozent“-Einstellungen. Sie sind leicht zu verwechseln, verstehen Sie sie daher getrennt.
- Traffic-Zuteilung (der Anteil der Besucher, der in das Experiment einbezogen wird): wie viel Prozent aller Besucher in den Test einbezogen werden. Besucher außerhalb des Tests sehen einfach die Originalseite
- A/B-Verteilung: in welchem Verhältnis die in den Test einbezogenen Besucher auf A und B aufgeteilt werden
Wenn Sie zum Beispiel die Traffic-Zuteilung auf 20 % und die A/B-Verteilung auf je die Hälfte einstellen, befinden sich 80 % aller Besucher außerhalb des Tests und sehen die Originalseite, 10 % sind im Test und sehen A, und 10 % sehen B.
Eine A/B-Verteilung je zur Hälfte ist die Standardeinstellung. Bei gleicher Besucherzahl sammelt eine gleichmäßige Aufteilung die nötigen Daten am schnellsten. Sie können B auch einen kleineren Anteil geben, müssen dann aber warten, bis die kleinere Seite genug Daten gesammelt hat, sodass die Dauer länger wird.
Wählen Sie die Traffic-Zuteilung, indem Sie Risiko und Dauer abwägen. Eine niedrigere Traffic-Zuteilung verringert die Zahl der Besucher, die betroffen sind, wenn die Änderung nach hinten losgeht. Im Gegenzug sind weniger Besucher im Test, sodass es länger dauert, die nötigen Daten zu sammeln. Ein gängiger Ansatz ist, eine große Änderung mit unvorhersehbarer Wirkung mit niedriger Traffic-Zuteilung zu starten, zu bestätigen, dass es keine Probleme gibt, und sie auszuweiten, wenn alles gut ist. Bei einer Änderung mit geringer Wirkung, etwa dem Austausch einzelner Formulierungen, ist es sinnvoller, von Anfang an alle einzubeziehen und die Dauer zu verkürzen.
Der Unterschied zwischen den beiden Prozentwerten wird in Traffic-Zuteilung vs. A/B-Verteilung beim A/B-Testing erklärt, und die Designüberlegungen behandelt Warum Traffic-Zuteilung und A/B-Verteilung getrennte Einstellungen sein sollten.
A/B-Tests und SEO: Die Auswirkungen auf die Suche begrenzen
Eine häufige Sorge ist, ob „A/B-Tests meinem Suchranking schaden“. Google veröffentlicht in der Google Search Central-Dokumentation Hinweise dazu, wie Sie Tests durchführen und dabei die Auswirkungen auf die Suche begrenzen. Die wichtigsten Punkte sind folgende.
- Kein Cloaking: Suchmaschinen-Crawlern (Programmen, die Seiten besuchen und lesen) absichtlich andere Inhalte zu zeigen als menschlichen Besuchern, nennt man Cloaking, und es verstößt gegen die Spam-Richtlinien. Das gilt unabhängig davon, ob ein Test läuft. Vermeiden Sie jede Konfiguration, die eine bestimmte Version nur Crawlern zeigt
- Verwenden Sie rel="canonical" bei Tests auf getrennten URLs: Wenn Sie über mehrere URLs hinweg testen, etwa bei einem Redirect-Test, fügen Sie den Test-URLs rel="canonical" (ein Tag, das Suchmaschinen die bevorzugte URL mitteilt) hinzu, um anzugeben, dass die Original-URL die vorrangig zu behandelnde Seite ist. Für diesen Zweck empfiehlt Google rel="canonical" gegenüber noindex
- Verwenden Sie für Weiterleitungen temporäre Weiterleitungen (302): Wenn Sie von der Original-URL auf eine Test-URL weiterleiten, verwenden Sie 302, das eine temporäre Weiterleitung signalisiert, und nicht 301, das eine dauerhafte signalisiert. Auch eine JavaScript-Weiterleitung gilt als in Ordnung
- Führen Sie den Test nur so lange durch, wie nötig: Sobald Sie genug Daten gesammelt haben, beenden Sie den Test und entfernen Sie Test-URLs, Skripte usw. so bald wie möglich. Google erklärt, dass ein Test, der länger läuft als nötig, als Versuch ausgelegt werden kann, Suchmaschinen zu täuschen
Mit anderen Worten: Tests nicht laufen zu lassen, ist nicht nur statistisch, sondern auch für die Suche wichtig. Bringen Sie den gesamten Ablauf zu Ende: Räumen Sie abgeschlossene Tests auf und übernehmen Sie die gewählte Version in die Website selbst.
Beachten Sie, dass das hier Vorgestellte ein Überblick über die von Google veröffentlichten Hinweise ist. Die Auswirkung auf das Suchranking unterscheidet sich je nach Website. Bevor Sie einen Test mit einer großen Änderung durchführen, empfehlen wir daher, auch das Originaldokument und die Dokumentation Ihres Tools zu prüfen.
Was Sie auf einer Website mit wenig Traffic tun können
Wie wir im Abschnitt zur Stichprobengröße gesehen haben, braucht ein A/B-Test eine ordentliche Datenmenge. Ist ein A/B-Test dann für Websites mit einigen tausend Besuchern pro Monat sinnlos? Nicht unbedingt. Ein anderer Ansatz kann Ihnen mehr Anhaltspunkte liefern.
Testen Sie große Änderungen. Je größer der Unterschied, den Sie finden möchten, desto weniger Daten brauchen Sie. Konzentrieren Sie sich statt auf kleine Änderungen wie das Feinjustieren der Button-Formulierung auf Änderungen, die einen großen Unterschied bewirken können: den Kernnutzen ändern, die Struktur der Seite neu ordnen oder Formularfelder drastisch reduzieren.
Führen Sie Tests auf Seiten mit viel Traffic durch. Auch wenn die Website insgesamt wenig Traffic hat, sollte es Seiten geben, auf denen sich Besucher konzentrieren. Wählen Sie die Stellen mit den meisten Besuchern, etwa die Startseite oder Seiten, die Werbe-Traffic erhalten.
Verwenden Sie eine Kennzahl aus einer früheren Stufe. Käufe und Vertragsabschlüsse sind selten, daher dauert es, einen Unterschied nachzuweisen. Wenn Sie eine häufigere frühere Handlung zur primären Kennzahl machen, etwa „das Formular erreichen“ oder „zur Preisseite gehen“, bleibt die nötige Datenmenge gering. Bedenken Sie nur, dass eine Verbesserung einer früheren Kennzahl nicht unbedingt zu einer Verbesserung des Endergebnisses führt.
Beschränken Sie sich auf zwei Varianten. Eine dritte und vierte verringern die Daten pro Variante. Vergleichen Sie, solange der Traffic gering ist, nur A und B.
Stellen Sie die Traffic-Zuteilung auf 100 % und die A/B-Verteilung auf je die Hälfte. Eine Verkleinerung der Zielgruppe oder eine ungleiche Aufteilung verlängert die Dauer.
Planen Sie einen längeren Zeitraum ein und akzeptieren Sie Grenzen, wenn das immer noch nicht reicht. Wenn Sie auch nach etwa 4 bis 8 Wochen die nötige Zahl nicht erreichen, müssen Sie auch entscheiden, nicht darauf zu bestehen, es mit einem A/B-Test zu klären.
Wenn ein A/B-Test nicht gut passt, können andere Methoden helfen.
- Verhalten mit Heatmaps beobachten: Auch bei wenig Traffic bekommen Sie ein Gefühl dafür, „wo nicht gelesen wird“ und „wo nicht geklickt wird“
- Nutzer direkt fragen: Schon wenn einige Personen den Bildschirm benutzen, während Sie beobachten, wo sie hängen bleiben, kommen viele Probleme ans Licht
- Offensichtliche Probleme ohne Test beheben: Defekte Links, schwer lesbarer Text, nicht funktionierende Buttons und Ähnliches, bei denen man sich kaum vorstellen kann, dass die Behebung die Lage verschlechtert, müssen nicht auf eine Überprüfung warten
Arten von A/B-Test-Tools und wie Sie eines auswählen
Um A/B-Tests durchzuführen, brauchen Sie ein Tool, das Traffic-Aufteilung, Umschalten der Anzeige, Messung und Berichte übernimmt. Von der Funktionsweise her gibt es zwei grobe Typen.
Clientseitig
- Funktionsweise: Sie fügen der Seite ein Tag (ein kurzes Code-Snippet zur Messung) hinzu, und ein Teil der Seite wird im Browser des Besuchers umgeschrieben
- Hauptsächlich bedient von: Marketern und Web-Mitarbeitenden. Bei vielen Tools lassen sich Änderungen über Bedienung auf dem Bildschirm erstellen
- Geeignet für: visuelle Änderungen wie Formulierung, Bilder, Farben und Layout
- Zu beachten: Es kann ein „Flackern“ auftreten, bei dem die ursprüngliche Anzeige kurz sichtbar ist, bevor sie umgeschrieben wird
Serverseitig
- Funktionsweise: Code auf dem Server schaltet um, was jedem Besucher gezeigt wird
- Hauptsächlich bedient von: Entwicklern. Code-Änderungen sind erforderlich
- Geeignet für: Änderungen, die Back-End-Verarbeitung betreffen, etwa Preisberechnung, die Funktionsweise von Suche oder Sortierung und App-Funktionen
- Zu beachten: Einrichtung und Betrieb erfordern Entwicklungsaufwand
Für den Einsatz, den dieser Artikel voraussetzt, nämlich Überschriften und Buttons auf Webseiten auszuprobieren, sind clientseitige Tools die ersten Kandidaten.
Prüfen Sie bei der Auswahl eines Tools die folgenden Punkte.
- Ob Sie Änderungen über Bedienung auf dem Bildschirm erstellen können oder Code schreiben müssen
- Welche statistische Methode es für die Beurteilung verwendet und wie es Ergebnisse anzeigt
- Ob Sie Traffic-Zuteilung und A/B-Verteilung getrennt einstellen können
- Ob es Redirect-Tests unterstützt
- Woran sich die Preisgestaltung orientiert (Zahl der Besucher, Zahl der erfassten Ereignisse, Zahl der Nutzer usw.)
- Ob Sie es zusammen mit den Daten betrachten können, mit denen Sie Hypothesen aufbauen, etwa Heatmaps
Das Ende von Google Optimize
Google Optimize, das als kostenloses A/B-Test-Tool weit verbreitet war, wurde im September 2023 eingestellt. Websites, die Google Optimize verwendet hatten, mussten auf andere Tools umsteigen.
Heute gibt es verschiedene Optionen: spezialisierte A/B-Test-Tools wie Optimizely, VWO und AB Tasty; Tools, die Heatmaps und A/B-Tests verbinden, wie die aus Japan stammenden Ptengine und SiTest; sowie Experimentier-Plattformen für Entwickler. Die Funktionen und das Budget, die Sie brauchen, hängen stark von der Größe Ihrer Website ab, daher ist es wichtig, das zu wählen, was zu Ihrem eigenen Einsatz passt. Zu den Unterschieden bei Preisspannen und Ansätzen der wichtigsten Tools siehe Überblick über A/B-Test-Tools 2026.
Mit Heatmaps und On-Site-Engagement kontinuierlich verbessern
Ein A/B-Test bringt mehr, wenn er mit anderen Tools kombiniert wird, als wenn er allein eingesetzt wird.
Der Verbesserungsablauf ist ein sich wiederholender Kreislauf aus „finden → Korrektur erstellen → überprüfen“.
- Finden: Identifizieren Sie mit Webanalyse Seiten mit Problemen und mit Heatmaps die Problemstellen innerhalb der Seite
- Korrektur erstellen: Bilden Sie aus dem gefundenen Problem eine Hypothese und erstellen Sie die Änderung
- Überprüfen: Prüfen Sie mit einem A/B-Test, ob die Änderung die Ergebnisse wirklich verbessert
- Umsetzen und weitergehen: Übernehmen Sie die bessere Version und beobachten Sie die geänderte Seite erneut mit einer Heatmap
Auch ein Blick auf eine Heatmap, nachdem die Ergebnisse des A/B-Tests vorliegen, ist nützlich. Wenn B gewinnt, geben Ihnen die Veränderungen im Besucherverhalten (ob weiter unten gelesen wird, ob sich die Stellen, an denen geklickt wird, verschoben haben) Hinweise darauf, „warum es besser war“, und führen zur nächsten Hypothese.
Der Grundgedanke des A/B-Tests lässt sich unverändert auch auf On-Site-Engagement-Maßnahmen übertragen, bei denen Sie nicht die Seite selbst ändern, sondern Hinweise in einem Popup oder einer festen Leiste einblenden. Ob Sie Anzeigen und Nichtanzeigen, die Formulierung oder den Zeitpunkt der Anzeige vergleichen, das Prinzip ist dasselbe: Besucher zufällig aufteilen und im selben Zeitraum vergleichen. Die Grundlagen des On-Site-Engagements erklärt Was ist Web Engagement?.
Über HeatMapX
HeatMapX ist ein Tool, mit dem Sie Heatmaps messen können, indem Sie Ihrer Website ein Tag hinzufügen, und Sie können mit dem kostenlosen Free-Tarif starten (Details zu den Tarifen finden Sie auf der Preisseite). Die A/B-Test-Funktion wird schrittweise bereitgestellt. Verwenden Sie zuerst Heatmaps, um zu verstehen, wie Ihre eigene Website betrachtet wird; wenn Sie eine Hypothese dazu bereit haben, wo Sie experimentieren möchten, kommen Sie schnell voran, sobald Sie mit A/B-Tests beginnen.
Wenn Sie Heatmap-Tools vor der Auswahl mit anderen Produkten vergleichen möchten, siehe auch den Heatmap-Tool-Vergleich.
FAQ zum A/B-Test
Was ist ein A/B-Test in einfachen Worten?
Es ist eine Methode, bei der Besuchern zufällig im selben Zeitraum zwei Versionen einer Seite gezeigt werden und anhand von Zahlen verglichen wird, welche besser abschneidet. Anders als ein Vergleich vor und nach einer Änderung können Sie damit die Wirkung einer Änderung getrennt von anderen Faktoren wie Jahreszeiten und Werbung prüfen.
Wie lange sollte ein A/B-Test laufen?
Schätzen Sie es, indem Sie die nötige Stichprobengröße durch die Zahl der Besucher pro Tag teilen. Um eine Verzerrung durch den Wochentag zu vermeiden, verwenden Sie Vielfache von 7 Tagen; als Faustregel gilt, mindestens 1 bis 2 Wochen laufen zu lassen. Auch wenn eine Website mit viel Traffic die nötige Zahl in wenigen Tagen erreicht, empfehlen wir, eine Woche weiterzumachen. Liegt die Schätzung dagegen deutlich über 2 Monaten, überdenken Sie das Design.
Wie viel Traffic brauche ich für einen A/B-Test?
Es gibt keinen einheitlichen Maßstab. Es hängt von Ihrer aktuellen Conversion-Rate und der Größe des Unterschieds ab, den Sie nachweisen möchten. Im Rechenbeispiel dieses Artikels erforderte die Bestätigung einer relativen Verbesserung von 20 % auf einer Seite mit 2,0 % Conversion-Rate etwa 21.100 Besucher pro Variante. Ist Ihr Traffic gering, können Sie die nötige Zahl senken, indem Sie sich auf größere Änderungen konzentrieren oder eine Kennzahl aus einer früheren Stufe verwenden.
Was soll ich tun, wenn es keinen signifikanten Unterschied gibt?
Vermeiden Sie es, den Test nach dem geplanten Zeitraum zu verlängern, bis er signifikant wird. Halten Sie fest, dass „diese Änderung keinen Unterschied in der Größe gezeigt hat, die wir nachweisen wollten“, und prüfen Sie rückblickend, ob die Hypothese falsch war oder die Änderung zu klein. Wenn die Ergebnisse so oder so gleich sind, ist es in Ordnung, die Version zu wählen, die sich leichter betreiben lässt. Kein signifikanter Unterschied ist kein Misserfolg, sondern eine Art von Ergebnis.
Kann ich sagen, dass B besser ist, wenn der p-Wert unter 0,05 liegt?
Nein. Ein p-Wert ist „die Wahrscheinlichkeit, zufällig einen mindestens so großen Unterschied wie den beobachteten zu sehen, wenn es wirklich keinen Unterschied gäbe“, nicht „die Wahrscheinlichkeit, dass B besser ist“. Bei einer Beurteilung mit 5 % Signifikanzniveau zeigt etwa 1 von 20 Änderungen ohne jede Wirkung dennoch einen signifikanten Unterschied. Prüfen Sie auch die Größe des Unterschieds, das Konfidenzintervall und die Guardrail-Kennzahlen, und beobachten Sie bei wichtigen Änderungen nach der Umsetzung weiter die Zahlen.
Schadet ein A/B-Test dem SEO?
Google veröffentlicht Hinweise, nach denen sich die Auswirkungen auf die Suche begrenzen lassen, wenn Sie sie befolgen. Die vier wichtigsten Punkte lauten: Crawlern und Menschen nicht unterschiedliche Inhalte zeigen, bei Tests auf getrennten URLs rel="canonical" hinzufügen, für Weiterleitungen 302 verwenden und den Test beenden sowie die Einstellungen aufräumen, sobald der nötige Zeitraum verstrichen ist. Einzelheiten finden Sie im Abschnitt „A/B-Tests und SEO“ oben.
Fazit: Beginnen Sie mit einer Hypothese
Ein A/B-Test ist eine Methode, Besucher zufällig aufzuteilen und im selben Zeitraum zu vergleichen, sodass Sie die Wirkung einer Änderung getrennt von anderen Faktoren bestätigen können. Hier sind die wichtigsten Punkte dieses Artikels.
- Funktionsweise: Besucher zufällig zuweisen, beide Versionen im selben Zeitraum ausspielen und derselben Person weiterhin dieselbe Version zeigen. Das grenzt die Ursache eines Unterschieds auf „das, was Sie geändert haben“ ein
- Vorgehen: 6 Schritte aus Ziel und Kennzahl → Hypothese → Variante erstellen → durchführen → beurteilen → umsetzen. Legen Sie Kennzahl, Datenmenge, Dauer und Beurteilungskriterien fest, bevor Sie starten
- Daten und Dauer: Je kleiner der Unterschied, den Sie bestätigen möchten, desto mehr Daten brauchen Sie. Verwenden Sie Vielfache von 7 Tagen, mindestens 1 bis 2 Wochen
- Signifikanz: ein Richtwert dafür, ob sich ein Unterschied schwer durch Zufall erklären lässt. Ein p-Wert ist nicht „die Wahrscheinlichkeit, dass B gewinnt“, und „nicht signifikant“ bedeutet nicht „es gibt keinen Unterschied“
- Fehler vermeiden: Nicht aufgrund von Zwischenergebnissen stoppen, Änderungen auf das beschränken, was eine Hypothese abdeckt, und eine primäre Kennzahl verwenden
- Bei wenig Traffic: Konzentrieren Sie sich auf große Änderungen, Seiten mit viel Traffic und Kennzahlen aus früheren Stufen, und schließen Sie die Lücken, wenn das nicht reicht, mit Beobachtung und Interviews
Als nächsten Schritt empfehlen wir, eine Seite Ihrer Website auszuwählen, die dem Ergebnis am nächsten liegt und viele Besucher hat, und damit zu beginnen, die Probleme dieser Seite anhand von Daten zu prüfen. Finden Sie mit Heatmaps und Webanalyse heraus, „wo es ein Problem zu geben scheint“, und schreiben Sie dann eine Hypothese, die die vier Punkte Tatsache, Problem, Änderung und Kennzahl ausformuliert. Mit einer Hypothese in der Hand können Sie die nötigen Daten und die Dauer schätzen und Ihren ersten A/B-Test entwerfen.
Ein einzelner Test verändert Ihre Zahlen nicht zwingend dramatisch. Aber Schritt für Schritt überprüfte Fakten aufzubauen, ist die Grundlage dafür, eine Website zu verbessern, ohne sich auf Bauchgefühl zu verlassen.