Qual a diferença entre "taxa de distribuição" e "divisão A/B" em um teste A/B? Como pensar o design correto
- ab-testing
- cro
- how-to
Resumo deste artigo
- "Taxa de distribuição" = qual porcentagem de todos os visitantes será incluída no experimento
- "Divisão A/B" = em qual proporção A e B serão exibidos entre os que fazem parte do experimento
- Esses dois conceitos são diferentes. Ao separá-los, é possível validar com risco controlado
Ao configurar um teste A/B, é comum se confundir porque aparecem duas configurações de "porcentagem": a "taxa de distribuição (porcentagem incluída no experimento)" e a "divisão A/B". Os significados desses dois conceitos são completamente diferentes. Entendendo-os separadamente, é possível avançar na validação com segurança.
O que é a "taxa de distribuição": quantas pessoas envolver no experimento
A taxa de distribuição (porcentagem incluída no experimento) é a porcentagem de todos os visitantes que será incluída no experimento.
- Com 100%, todos os visitantes verão A ou B.
- Com 20%, apenas 20% dos visitantes farão parte do experimento, enquanto os outros 80% verão a página normal (a original).
O objetivo de limitar a taxa de distribuição é o gerenciamento de risco. É arriscado expor uma mudança de efeito incerto para todos de uma vez. É possível testar primeiro com uma parte pequena e, se tudo estiver bem, ampliar gradualmente.
O que é a "divisão A/B": em qual proporção exibir A e B
A divisão A/B é a proporção em que A e B serão exibidos entre as pessoas incluídas no experimento.
- 50% para 50% é o padrão. Permite uma comparação justa e a coleta mais rápida dos dados necessários.
- Se houver receio em relação à mudança, é possível exibir A (original) com mais frequência e B (versão alterada) com menos frequência, avançando com cautela.
O que acontece ao combinar os dois?
Por exemplo, com "taxa de distribuição de 20% e divisão A/B de 50:50", o resultado seria o seguinte.
| Visitantes | Proporção |
|---|---|
| Fora do experimento (página normal = original) | 80% |
| No experimento, vendo A (Control) | 10% |
| No experimento, vendo B (Variant B) | 10% |
O ponto principal é que é possível decidir de forma independente "quantas pessoas envolver (taxa de distribuição)" e "como exibir dentro do grupo do experimento (divisão A/B)".
Por que é bom separar os dois
Se a taxa de distribuição e a divisão A/B forem tratadas como uma única configuração, os objetivos distintos de "controlar o risco" e "garantir uma comparação justa" se misturam, tornando a configuração confusa.
Ao mantê-los separados, é possível configurar cada um de acordo com seu propósito:
- ajustar o tamanho do risco com a taxa de distribuição, e
- manter a justiça da comparação com a divisão A/B.
Essa é também a abordagem adotada pelas principais ferramentas de teste A/B do mercado.
O design do HeatMapX
No teste A/B do HeatMapX também é possível configurar separadamente "a porcentagem incluída no experimento (taxa de distribuição)" e "a divisão entre A e B". É possível começar com uma taxa de distribuição pequena para testar com segurança e, conforme os resultados forem se mostrando positivos, ampliar gradualmente.
Conclusão
A "taxa de distribuição" determina quantas pessoas serão envolvidas no experimento, enquanto a "divisão A/B" determina como A e B serão exibidos dentro desse grupo. Separar esses dois conceitos é a chave para validar corretamente enquanto se controla o risco.