Was ist der Unterschied zwischen „Traffic-Zuteilung“ und „A/B-Verteilung“ beim A/B-Testing? Die richtige Denkweise für das Design
- ab-testing
- cro
- how-to
Zusammenfassung dieses Artikels
- „Traffic-Zuteilung“ = welcher Prozentsatz aller Besucher überhaupt Teil des Experiments wird
- „A/B-Verteilung“ = in welchem Verhältnis A und B innerhalb der Testteilnehmer angezeigt werden
- Beide sind unterschiedliche Dinge. Wer sie getrennt betrachtet, kann Risiken reduzieren und trotzdem sauber testen
Beim Einrichten eines A/B-Tests gibt es zwei unterschiedliche „Anteil“-Einstellungen, die leicht zu Verwirrung führen: die „Traffic-Zuteilung“ (der Anteil, der ins Experiment einbezogen wird) und die „A/B-Verteilung“. Diese beiden haben eine völlig unterschiedliche Bedeutung. Wer sie getrennt versteht, kann sicher und zuverlässig testen.
Was ist die „Traffic-Zuteilung“: Wie viele Besucher werden überhaupt einbezogen?
Die Traffic-Zuteilung (der Anteil, der ins Experiment einbezogen wird) legt fest, welcher Prozentsatz aller Besucher Teil des Experiments wird.
- Bei 100 % sehen alle Besucher entweder A oder B.
- Bei 20 % werden nur 20 % der Besucher Teil des Experiments, während die restlichen 80 % die normale Seite (im Originalzustand) sehen.
Der Zweck einer reduzierten Traffic-Zuteilung ist das Risikomanagement. Eine Änderung mit ungewisser Wirkung sofort allen Besuchern zu zeigen, ist riskant. Man kann sie also zunächst nur bei einem Teil testen und die Zuteilung erweitern, sobald sich zeigt, dass keine Probleme auftreten.
Was ist die „A/B-Verteilung“: In welchem Verhältnis werden A und B gezeigt?
Die A/B-Verteilung legt fest, in welchem Verhältnis A und B innerhalb der Personen gezeigt werden, die Teil des Experiments sind.
- 50 % zu 50 % ist der Standard. So lässt sich fair vergleichen, und die benötigten Daten werden schneller gesammelt.
- Bei Unsicherheit gegenüber der Änderung kann man A (Original) stärker und B (die Änderung) schwächer gewichten, um vorsichtiger vorzugehen.
Was passiert, wenn man beides kombiniert?
Bei „Traffic-Zuteilung 20 %, A/B-Verteilung 50:50“ ergibt sich zum Beispiel Folgendes:
| Besucher | Anteil |
|---|---|
| Nicht Teil des Experiments (normale Seite = Original) | 80 % |
| Teil des Experiments, sieht A (Control) | 10 % |
| Teil des Experiments, sieht B (Variant B) | 10 % |
Der entscheidende Punkt ist also, dass sich „wie viele einbezogen werden“ (Traffic-Zuteilung) und „wie sie innerhalb des Tests angezeigt werden“ (A/B-Verteilung) unabhängig voneinander festlegen lassen.
Warum ist die Trennung sinnvoll?
Fasst man Traffic-Zuteilung und A/B-Verteilung zu einer einzigen Einstellung zusammen, vermischen sich die unterschiedlichen Ziele „Risiko reduzieren“ und „fair vergleichen“, wodurch die Konfiguration unübersichtlich wird.
Trennt man beide, lässt sich
- über die Traffic-Zuteilung das Ausmaß des Risikos steuern,
- über die A/B-Verteilung die Fairness des Vergleichs sicherstellen,
und jedes Ziel kann unabhängig und unkompliziert eingestellt werden. Dieser Ansatz wird auch von führenden A/B-Testing-Tools verwendet.
Das Design von HeatMapX
Auch beim A/B-Testing von HeatMapX lassen sich der „Anteil, der ins Experiment einbezogen wird (Traffic-Zuteilung)“ und die „A/B-Verteilung“ getrennt konfigurieren. So kann man zunächst mit einer kleinen Traffic-Zuteilung sicher testen und die Zuteilung schrittweise erweitern, sobald sich positive Ergebnisse zeigen.
Fazit
Die „Traffic-Zuteilung“ bestimmt, wie viele Besucher überhaupt Teil des Experiments werden, die „A/B-Verteilung“ bestimmt, wie A und B innerhalb dieser Gruppe angezeigt werden. Beide getrennt zu betrachten, ist der Schlüssel, um Risiken zu minimieren und dennoch korrekt zu testen.