Aligner la conception de la répartition des tests A/B sur les standards du secteur — séparer le « taux d'exposition » et la « répartition A/B »

Résumé de cet article

• Dans les réglages de répartition d'un test A/B, deux préoccupations distinctes — le « taux d'exposition » et la « répartition A/B » — ont tendance à se mélanger
• Nous avons choisi de séparer ces deux notions en paramètres indépendants
• Cette séparation permet de traiter séparément, et plus naturellement, la « gestion du risque » et « l'équité de la comparaison »

Lors de l'implémentation de la fonctionnalité de test A/B dans HeatMapX, nous avons dû prendre une décision de conception discrète mais importante : comment modéliser la notion de « proportion ». Notre conclusion a été de séparer le « taux d'exposition » (la proportion de visiteurs inclus dans l'expérience) et la « répartition A/B » en deux paramètres indépendants. Cet article explique les raisons de ce choix.

Deux préoccupations qui se mélangent facilement

La « proportion » d'un test A/B recouvre en réalité deux préoccupations de nature différente.

• Quelle part des visiteurs inclure dans l'expérience (= gestion du risque)
• Comment répartir A et B parmi les visiteurs inclus (= équité de la comparaison)

Dans une conception initiale naïve, on a tendance à réunir ces deux aspects en un seul curseur. Mais cela mélange deux objectifs distincts — « tester à petite échelle en toute sécurité » et « comparer A et B de façon équitable » — ce qui devient difficile à comprendre, tant pour l'utilisateur que pour l'implémentation.

Le modèle séparé

Nous avons donc rendu ces deux notions indépendantes.

• traffic_allocation (taux d'exposition) : la proportion de l'ensemble des visiteurs qui sont inclus dans l'expérience. De 0 à 100 %.
• Répartition A/B : le poids relatif du Control et du Variant B parmi les visiteurs inclus dans l'expérience.

En pseudo-code, la logique d'attribution se présente ainsi :

1. On détermine d'abord si le visiteur fait partie de l'expérience, selon le taux d'exposition.
2. Seuls les visiteurs inclus sont ensuite répartis entre Control et Variant B, selon la répartition A/B.

Les visiteurs non inclus voient simplement la page habituelle (sans modification).

Les avantages de cette séparation

• Le risque peut être élargi progressivement : on peut faire évoluer le taux d'exposition de 10 % à 30 % puis 100 %, tout en conservant l'équité de la comparaison (50:50), en n'ajustant que le risque.
• Des réglages plus explicites : « la quantité de visiteurs impliqués » et « la façon dont ils sont exposés » deviennent deux interfaces distinctes, ce qui réduit les malentendus.
• Une cohérence avec les standards du secteur : les principaux outils de test A/B traitent eux aussi séparément la répartition du trafic et l'attribution au sein de l'expérience.

Une répercussion sur l'interface

Cette décision de conception se reflète directement dans l'interface. Sur l'écran de configuration de l'expérience, le « taux d'exposition » et la « répartition A/B » peuvent être définis séparément, et le détail de l'expérience permet de consulter les deux valeurs sous forme de synthèse.

Conclusion

Derrière une notion en apparence simple comme la « proportion » se cachent deux préoccupations distinctes : la gestion du risque et l'équité de la comparaison. En les séparant dans la modélisation, nous avons rendu le test A/B plus clair pour l'utilisateur et plus simple à exploiter. C'est une décision de conception modeste, mais ce type de choix, accumulé, façonne l'expérience d'utilisation.