Cómo alineamos el diseño de reparto de nuestro test A/B con el estándar del sector — separar la "tasa de entrega" de la "asignación A/B"

Resumen de este artículo

• En la configuración de porcentajes de un test A/B es fácil mezclar dos aspectos distintos: la "tasa de entrega" y la "asignación A/B"
• Decidimos separarlos como dos parámetros independientes
• Al separarlos, podemos gestionar de forma natural tanto la "gestión de riesgo" como la "comparación justa"

Al implementar la función de test A/B en HeatMapX, tuvimos que tomar una decisión de diseño discreta pero importante: cómo modelar el "porcentaje". La conclusión a la que llegamos fue separar el "porcentaje de visitantes incluidos en el experimento (tasa de entrega)" y la "asignación entre A y B" en dos parámetros independientes. En este artículo compartimos los motivos.

Dos aspectos que tienden a mezclarse

En el "porcentaje" de un test A/B se esconden en realidad dos aspectos de naturaleza distinta.

• Cuántos visitantes se incluyen en el experimento (gestión de riesgo)
• Cómo se reparten entre A y B los visitantes ya incluidos (equidad de la comparación)

En un diseño inicial poco elaborado, es habitual combinar ambos en un único control deslizante. Pero al hacerlo, se entrelazan dos objetivos distintos —"quiero probar de forma segura y a pequeña escala" y "quiero comparar A y B de manera justa"— lo que resulta confuso tanto para el usuario como para la implementación.

El modelo separado

Por eso decidimos independizar ambos conceptos.

• traffic_allocation (tasa de entrega): la proporción del total de visitantes que se incluye en el experimento. De 0 % a 100 %.
• Asignación A/B: el peso de Control y Variant B dentro de los visitantes incluidos en el experimento.

Expresado de forma esquemática, la lógica de asignación queda así:

1. Primero se determina, mediante la tasa de entrega, si el visitante forma parte del experimento.
2. Solo a los visitantes incluidos se les asigna Control o Variant B según la asignación A/B.

Los visitantes no incluidos ven la página normal, sin ningún cambio.

Ventajas de la separación

• Se puede ampliar el riesgo de forma gradual: es posible subir la tasa de entrega del 10 % al 30 % y al 100 %, manteniendo la equidad de la comparación (50:50) e ajustando solo el riesgo.
• El significado de cada ajuste es claro: "cuántos visitantes se incluyen" y "cómo se les muestra" quedan en interfaces distintas, lo que reduce malentendidos.
• Coherencia con el estándar del sector: las principales herramientas de test A/B también tratan por separado la asignación de tráfico y el reparto dentro del experimento.

Reflejado también en la interfaz

Esta decisión de diseño se refleja directamente en la interfaz. En la pantalla de configuración del experimento, se puede especificar por separado el "porcentaje incluido en el experimento" y la "asignación A/B", y en el detalle del experimento ambos valores se pueden consultar como resumen.

Conclusión

Incluso en un elemento aparentemente sencillo como el "porcentaje" se esconden dos aspectos distintos: la gestión de riesgo y la equidad de la comparación. Al separarlos y modelarlos de forma independiente, hemos conseguido un test A/B más claro para el usuario y más fácil de operar. Es una decisión de diseño pequeña, pero este tipo de detalles acumulados es lo que determina la usabilidad final.