Wie wir das Verteilungsdesign für A/B-Tests am Branchenstandard ausgerichtet haben — Trennung von „Teilnahmequote“ und „A/B-Aufteilung“

Zusammenfassung dieses Artikels

• Bei der Konfiguration des Anteils für A/B-Tests vermischen sich leicht zwei unterschiedliche Anliegen: „Teilnahmequote“ und „A/B-Aufteilung“
• Wir haben die beiden als unabhängige Parameter voneinander getrennt
• Durch die Trennung lassen sich „Risikomanagement“ und „fairer Vergleich“ jeweils sauber behandeln

Bei der Implementierung der A/B-Test-Funktion in HeatMapX gab es eine unauffällige, aber wichtige Designentscheidung: Wie modelliert man den „Anteil“? Das Ergebnis: Wir haben den „Anteil der Besucher, die ins Experiment einbezogen werden (Teilnahmequote)“ und die „A/B-Aufteilung“ als zwei unabhängige Parameter getrennt. In diesem Artikel teilen wir die Gründe dafür.

Zwei Anliegen, die sich leicht vermischen

Hinter dem „Anteil“ bei einem A/B-Test verbergen sich eigentlich zwei Anliegen unterschiedlicher Natur.

• Wie viele Besucher ins Experiment einbezogen werden (= Risikomanagement)
• Wie die einbezogenen Besucher auf A und B aufgeteilt werden (= Fairness des Vergleichs)

In einem naiven Erstentwurf werden diese beiden häufig zu einem einzigen Regler zusammengefasst. Das führt jedoch dazu, dass sich die unterschiedlichen Ziele „sicher im Kleinen testen“ und „A und B fair vergleichen“ vermischen — sowohl für die Nutzer als auch für die Implementierung wird es dadurch schwerer verständlich.

Das getrennte Modell

Deshalb haben wir die beiden Parameter voneinander unabhängig gemacht.

• traffic_allocation (Teilnahmequote): Der Anteil aller Besucher, der ins Experiment einbezogen wird. 0–100 %.
• A/B-Aufteilung: Die Gewichtung von Control und Variant B innerhalb der Experimentteilnehmer.

Vereinfacht dargestellt läuft die Zuordnung so ab:

1. Zunächst wird anhand der Teilnahmequote entschieden, ob ein Besucher überhaupt am Experiment teilnimmt.
2. Nur die Besucher, die teilnehmen, werden gemäß der A/B-Aufteilung auf Control bzw. Variant B verteilt.

Besucher, die nicht teilnehmen, sehen weiterhin die normale Seite (ohne Änderung).

Vorteile der Trennung

• Risiko lässt sich stufenweise ausweiten: Die Teilnahmequote kann von 10 % über 30 % bis 100 % erhöht werden, während die Fairness des Vergleichs (50:50) unverändert bleibt — man justiert allein das Risiko.
• Klarere Bedeutung der Einstellungen: „Umfang der Einbeziehung“ und „Art der Darstellung“ werden zu getrennten UI-Elementen, was Missverständnisse reduziert.
• Übereinstimmung mit dem Branchenstandard: Auch die führenden A/B-Test-Tools behandeln die Traffic-Verteilung und die Zuordnung innerhalb des Experiments getrennt.

Auswirkung auf die Benutzeroberfläche

Diese Designentscheidung spiegelt sich unmittelbar in der Benutzeroberfläche wider. Im Konfigurationsbildschirm des Experiments lassen sich „Teilnahmequote“ und „A/B-Aufteilung“ separat festlegen, und in den Experimentdetails können beide Werte gemeinsam als Übersicht eingesehen werden.

Fazit

Selbst hinter einem scheinbar simplen Element wie dem „Anteil“ verbergen sich unterschiedliche Anliegen: Risikomanagement und Fairness des Vergleichs. Indem wir diese beiden Aspekte getrennt modelliert haben, ist ein A/B-Test entstanden, der für Nutzer verständlicher und im Betrieb einfacher zu handhaben ist. Es ist eine kleine Designentscheidung, aber solche Details bestimmen in Summe die Benutzerfreundlichkeit.