Como alinhamos o design de distribuição do teste A/B ao padrão do setor — separando "taxa de veiculação" e "distribuição A/B"

Resumo deste artigo

• Na configuração de proporções de um teste A/B, é fácil misturar duas preocupações distintas: "taxa de veiculação" e "distribuição A/B"
• Nós separamos as duas em parâmetros independentes
• Com essa separação, conseguimos tratar "gestão de risco" e "comparação justa" de forma direta, cada uma por si só

Ao implementar o recurso de teste A/B no HeatMapX, tivemos que tomar uma decisão de design discreta, porém importante: como modelar a "proporção". A conclusão foi separar a "proporção de visitantes incluídos no experimento (taxa de veiculação)" e a "distribuição entre A e B" em dois parâmetros independentes. Neste artigo, compartilhamos os motivos dessa escolha.

Duas preocupações que se misturam facilmente

A "proporção" de um teste A/B na verdade envolve duas preocupações de natureza diferente.

• Quantos visitantes envolver no experimento (= gestão de risco)
• Como distribuir A e B entre os visitantes envolvidos (= imparcialidade da comparação)

Em um design inicial mais simples, é comum reunir essas duas coisas em um único controle deslizante. Mas isso faz com que objetivos distintos — "quero testar em pequena escala com segurança" e "quero comparar A e B de forma justa" — fiquem emaranhados, tornando tudo mais confuso tanto para o usuário quanto para a implementação.

O modelo separado

Por isso, separamos os dois em parâmetros independentes.

• traffic_allocation (proporção incluída no experimento): a fração do total de visitantes que será direcionada ao experimento. De 0% a 100%.
• Distribuição A/B: o peso entre Control e Variant B dentro do grupo direcionado ao experimento.

Em pseudocódigo, a lógica de alocação fica assim:

1. Primeiro, determina-se se o visitante "faz parte do experimento" com base na taxa de veiculação.
2. Somente os visitantes selecionados são então distribuídos entre Control e Variant B, de acordo com a distribuição A/B.

Os visitantes não selecionados continuam vendo a página normal (sem alterações).

Vantagens da separação

• É possível ampliar o risco gradualmente: dá para ajustar a taxa de veiculação de 10% → 30% → 100%, mantendo a imparcialidade da comparação (50:50) o tempo todo.
• O significado de cada configuração fica claro: "quanto envolver" e "como exibir" viram interfaces separadas, o que reduz mal-entendidos.
• Alinhamento com o padrão do setor: as principais ferramentas de teste A/B também tratam a alocação de tráfego e a distribuição interna do experimento como conceitos separados.

Refletido também na interface

Essa decisão de design se reflete diretamente na interface. Na tela de configuração do experimento, é possível especificar separadamente a "proporção incluída no experimento" e a "distribuição A/B", e nos detalhes do experimento ambos podem ser conferidos em um resumo.

Conclusão

Mesmo em um elemento aparentemente simples como a "proporção", escondem-se preocupações distintas: gestão de risco e imparcialidade da comparação. Ao separá-las e modelá-las de forma independente, conseguimos um teste A/B mais fácil de entender e de operar para os usuários. É uma decisão de design pequena, mas esse tipo de cuidado acumulado é o que define a experiência de uso.