O que é teste A/B? Guia para iniciantes sobre o processo em 6 etapas, significância estatística e tamanho da amostra

HeatMapX Engineering Team54 min read
  • ab-testing
  • cro
  • how-to
  • beginners

Resumo do artigo

  • O teste A/B é um método em que você divide os visitantes de forma aleatória, exibe a página original (A) e uma página alterada (B) durante o mesmo período e compara com números qual das duas tem o melhor desempenho
  • Uma simples comparação de antes e depois não consegue separar o efeito da sua mudança dos efeitos de estações do ano, anúncios, dias da semana e assim por diante. Rodar as duas versões ao mesmo tempo é o coração do teste A/B
  • O processo tem 6 etapas: objetivo e métrica → hipótese → criar a variação → executar → avaliar → aplicar. Defina o tamanho de amostra necessário (quantidade de dados) e a duração antes de começar
  • "Significância estatística" é uma referência para saber se uma diferença é difícil de explicar apenas pela variação aleatória. O valor-p não é "a probabilidade de B estar ganhando"
  • A maioria das falhas vem de "olhar os resultados o tempo todo e encerrar cedo demais", "mudar coisas demais de uma vez" e "rodar o teste por tempo curto demais"
  • Em sites com pouco tráfego, ainda é possível ter mais base para decidir mudando a abordagem, por exemplo focando em mudanças maiores ou observando uma métrica de uma etapa anterior

"Será que trocar o título faria mais pessoas se cadastrarem?" "O botão não deveria ficar mais acima na página?" Quando você administra um site, as ideias de melhoria não param de aparecer. Mas se uma mudança realmente vai melhorar ou piorar as coisas, você só descobre testando. E, mesmo que seus números subam depois de uma mudança, muitas vezes é impossível dizer se o mérito é da mudança ou se você simplesmente aumentou o investimento em anúncios naquela semana.

Quando você quer confirmar o efeito de uma mudança separadamente de outros fatores, usa-se um teste A/B.

Este artigo explica o que significa o teste A/B e como ele funciona e, em seguida, aborda as etapas práticas, como escrever uma hipótese, quanto de dados e de tempo você precisa, o que realmente significa "diferença significativa" e os erros que os iniciantes mais cometem. Aparecem algumas estatísticas, mas mantenho as fórmulas no mínimo e coloco a compreensão das ideias em primeiro lugar. Todos os exemplos de cálculo deste artigo usam números hipotéticos, escolhidos para ilustrar.

O que é teste A/B?

O teste A/B é um método em que você exibe aleatoriamente aos visitantes uma de duas versões de uma página e compara qual delas gera melhores resultados, usando dados do mesmo período. Também é chamado de "split test" (teste de divisão).

  • A (controle / a versão original): a página atual. É a base de comparação
  • B (variante / a versão alterada): uma página com uma parte modificada. É a ideia que você quer experimentar

Por exemplo, você exibe a versão A para metade dos visitantes e a versão B para a outra metade e depois compara a parcela de cada grupo que concluiu um cadastro. Essa parcela é chamada de taxa de conversão (CVR). Uma conversão é uma ação que você quer que os visitantes realizem no seu site, como uma compra, um cadastro ou um pedido de materiais.

O nome "teste A/B" vem da comparação de duas versões, mas também é possível comparar três ou mais de uma vez (isso se chama teste A/B/n). A ideia é a mesma.

Como funciona: dividir aleatoriamente e comparar ao mesmo tempo

Três mecanismos fazem um teste A/B funcionar.

Como funciona o teste A/B: os visitantes são divididos aleatoriamente entre A e B, as duas versões são exibidas durante o mesmo período e as taxas de conversão são comparadas (os números são exemplos)

1. Os visitantes são atribuídos de forma aleatória. Se um visitante vê A ou B é decidido pela ferramenta usando números aleatórios. Uma pessoa não escolhe, e a divisão não segue uma regra como "A de manhã, B à tarde". A atribuição aleatória faz com que as diferenças entre os visitantes, como novos versus recorrentes, celular versus computador, ou pessoas vindas de anúncios versus pessoas vindas de buscas, acabem misturadas em proporções aproximadamente iguais em A e em B.

2. As duas versões rodam durante o mesmo período. A e B são exibidas ao mesmo tempo. Assim, influências externas como promoções, estações do ano, uma menção na TV ou oscilações por dia da semana afetam A e B da mesma forma.

3. A mesma pessoa continua vendo a mesma versão. Se alguém atribuído a B vê A na visita seguinte, você não consegue mais saber qual versão influenciou o cadastro dessa pessoa. Por isso, a maioria das ferramentas usa um marcador armazenado no navegador (como um cookie) para continuar mostrando a mesma versão ao mesmo visitante.

Quando essas três condições são atendidas, a única diferença entre A e B é "o que você mudou na página". Por isso, quando os resultados diferem, fica mais fácil atribuir a diferença à mudança. É a mesma ideia dos ensaios clínicos randomizados usados para testar os efeitos de medicamentos, aplicada a sites.

Por que você precisa do teste A/B: o que a comparação de antes e depois não consegue mostrar

Você pode se perguntar: "Por que não simplesmente mudar a página e comparar os números de antes e depois, sem dividir os visitantes?" Isso se chama comparação de antes e depois. É fácil, mas tem uma grande fraqueza: você não consegue separar o efeito da sua mudança de outros fatores.

Os números do seu site se movem de um dia para o outro mesmo que você não mude nada na página. Entre os fatores que os movem estão:

  • Estações do ano e eventos: época de bônus, fim do ano fiscal, feriados, clima e assim por diante
  • Anúncios e campanhas: aumento ou redução do investimento em anúncios, mudanças nos destinos dos anúncios, envios de newsletter por e-mail
  • Dia da semana e hora do dia: os visitantes de dias úteis e de fins de semana podem diferir em tipo e em objetivo
  • Mudanças nas fontes de tráfego: variações no ranking de busca, viralização nas redes sociais, indicações de outros sites
  • Concorrentes e mercado: uma redução de preço de um concorrente, a cobertura da imprensa

Em uma comparação de antes e depois, se algum desses fatores coincidir com o período posterior à sua mudança, você não consegue saber se a variação nos números vem da sua mudança ou de outra coisa. Mesmo que os números tenham subido depois da mudança, é possível que a mudança em si tenha prejudicado e que um aumento nos anúncios estivesse escondendo isso.

Um teste A/B exibe A e B no mesmo período, de modo que esses fatores afetam os dois igualmente. Você então olha a diferença que sobra, o que facilita isolar o efeito apenas da mudança.

Ilustração: na comparação de antes e depois, o efeito dos anúncios e de outros fatores se mistura ao efeito da mudança, enquanto no teste A/B as duas versões são comparadas no mesmo período e só a diferença permanece

Outro motivo é que a intuição de quem constrói a página e as reações dos visitantes muitas vezes não coincidem. Não é raro que uma ideia que todos internamente concordaram ser "mais fácil de entender" fracasse com os visitantes reais. O teste A/B também é uma forma de decidir com base no que os visitantes realmente fazem, e não em quem argumenta mais alto ou em quem tem o cargo mais alto.

O que o teste A/B pode e não pode mostrar

O teste A/B é poderoso, mas não consegue dizer tudo. Saber, antes de começar, no que ele é bom e no que é ruim ajuda a evitar interpretar mal os resultados.

O que ele pode mostrar

  • Se uma mudança aumentou, diminuiu ou quase não alterou a métrica que você escolheu (como a taxa de cadastro)
  • Se a diferença é grande o bastante para que a variação aleatória sozinha tenha dificuldade de explicá-la

O que ele não pode mostrar, ou em que não é bom

  • Por que houve uma diferença: o motivo é uma suposição. Considere-o junto com outros dados
  • Efeitos de longo prazo: ele só enxerga o comportamento durante o período do teste. Muitas vezes não consegue informar sobre retenção ou taxas de cancelamento meses depois
  • Comparações com ideias que você não testou: você descobre qual de A e B é melhor, mas não se existe uma opção C ainda melhor
  • Pequenas melhorias em páginas com pouco tráfego: pode não haver dados suficientes para afirmar nada, exista ou não uma diferença (a seção abaixo sobre esse tema explica o que fazer)

Além disso, o teste A/B é "uma ferramenta para verificar ideias", não "uma ferramenta para ter boas ideias". A qualidade das ideias que você testa é determinada pela forma como você constrói suas hipóteses.

Tipos de teste A/B: diferenças em relação aos testes multivariados e de redirecionamento

Mesmo dentro do "teste A/B", existem vários métodos relacionados. Estes são os que aparecem com mais frequência.

Tipo O que compara Mais indicado para Atenção
Teste A/B Versões na mesma URL com uma parte alterada Verificar o efeito de uma única mudança, como um título, um botão ou uma imagem A forma básica. Comece por aqui
Teste A/B/n Três ou mais versões Você tem vários candidatos a título e quer compará-los de uma vez Quanto mais versões, menos dados por versão e mais longo o teste
Teste multivariado Combinações de vários elementos (por exemplo, 2 títulos × 2 imagens = 4 combinações) Você quer saber qual combinação de elementos funciona melhor Exige dados para cada combinação. Indicado para páginas com muito tráfego
Teste de redirecionamento (teste de URL dividida) Páginas com designs diferentes criadas em URLs separadas Você quer comparar uma página nova, com layout bastante diferente, com a página atual O redirecionamento pode atrasar um pouco a exibição. É preciso considerar os mecanismos de busca
Teste A/A Duas versões idênticas Você quer verificar se a divisão de tráfego e a medição da ferramenta funcionam corretamente Um teste de inspeção, não de melhoria

Um teste multivariado altera vários elementos ao mesmo tempo e compara os resultados de cada combinação. Ele pode até mostrar o quanto os elementos funcionam bem juntos, como em "este título combinado com esta imagem funciona melhor". No entanto, 3 títulos, 3 imagens e 2 botões formam 18 combinações, e cada uma precisa de dados suficientes. Para sites com tráfego limitado, rodar testes A/B um após o outro é mais realista.

Um teste de redirecionamento envia parte dos visitantes para outra URL e compara os resultados; também é chamado de teste de URL dividida. Ele é adequado para grandes mudanças, como reconstruir a estrutura da própria página. Um teste A/B comum, que reescreve elementos na mesma URL, é adequado para experimentar rapidamente pequenas mudanças, como texto ou cor.

Fora da web, enviar duas versões do assunto de um e-mail ou de um criativo de anúncio e comparar as respostas também é chamado de teste A/B. Este artigo trata do teste A/B de páginas da web.

O que testar em um teste A/B

Há muitos elementos que você pode testar. Estes são os típicos.

  • Título (texto principal): mudar de descrever recursos para descrever o resultado que o visitante obtém. O objetivo é transmitir "isto é relevante para mim" nos primeiros segundos
  • CTA (botão de chamada para ação): mudar o texto, a posição, o tamanho ou a cor. O objetivo é deixar clara a próxima ação
  • Imagem ou vídeo principal: comparar uma foto só do produto com uma foto dele em uso. O objetivo é transmitir o valor de forma intuitiva
  • Formulários: reduzir o número de campos, dividir em etapas, adicionar exemplos de preenchimento. O objetivo é reduzir o esforço e a hesitação
  • Como os preços são exibidos: como os preços mensais e anuais são dispostos, a ordem dos planos, onde aparece o preço com impostos incluídos. O objetivo é facilitar a comparação e a decisão
  • Informações que geram confiança: histórico de clientes, depoimentos, posicionamento das informações de garantia e suporte. O objetivo é reduzir a ansiedade antes do cadastro
  • Layout e ordem das informações: mover informações importantes para cima, encurtar uma página longa. O objetivo é ajudar os visitantes a chegar mais cedo à informação de que precisam
  • Navegação: mudar o número de itens do menu ou o texto deles. O objetivo é reduzir a confusão e guiar os visitantes até a página que querem

CTA significa "Call To Action" (chamada para ação). Refere-se a um botão ou link que leva os visitantes a agir, como "Cadastre-se" ou "Peça materiais".

Como regra, decida por onde começar pela proximidade do resultado e por quanto o elemento é visto. Os lugares que se conectam diretamente aos resultados, como botões de cadastro e formulários, e o topo da página, que muitos visitantes veem, são onde as mudanças têm mais chance de mostrar efeito. Por outro lado, uma pequena mudança perto do fim de uma página que a maioria das pessoas nunca alcança leva muito tempo para ser detectada, mesmo que funcione.

A "cor do botão" é frequentemente citada como exemplo de teste A/B, mas uma mudança apenas de cor não produz necessariamente uma grande diferença. Mais importante do que a cor em si é saber se o problema é que o botão se mistura ao entorno e passa despercebido. O que mudar deve ser definido a partir da hipótese, assunto da próxima parte.

Como executar um teste A/B [6 etapas]

Um teste A/B segue estas 6 etapas. O importante é definir a métrica, a quantidade de dados necessária, a duração e os critérios de avaliação antes de começar a rodar.

Defina o objetivo e a métrica

Reduza o que você quer melhorar a uma única coisa e defina a métrica que a mede. Formule de um jeito que possa ser medido com números, como "aumentar a taxa de conclusão do pedido de materiais". Use apenas uma métrica para a avaliação (a métrica principal).

Formule uma hipótese

Escreva "onde está o problema, o que você vai mudar e como, e por que acredita que isso vai melhorar as coisas". Basear-se em dados, como análise web e heatmaps, reduz o palpite.

Crie a variação a testar

Com base na hipótese, crie a versão alterada (B). Para conseguir saber o que funcionou, limite as mudanças ao que uma hipótese cobre. Verifique como ela aparece tanto em celulares quanto em computadores.

Defina os dados e a duração necessários e execute

Estime o tamanho de amostra necessário e a duração do teste, decida a taxa de distribuição e só então comece. Logo depois de iniciar, confira se a divisão de tráfego e a medição estão funcionando corretamente.

Avalie depois que o período terminar

Olhe os resultados somente depois de atingir a duração e o volume de dados definidos de antemão. Verifique a diferença na métrica principal e se essa diferença está dentro do que a variação aleatória poderia explicar.

Aplique o resultado e passe para a próxima hipótese

Adote oficialmente a versão que se saiu melhor e limpe as configurações do teste. Mesmo que não tenha havido diferença, registre o que aprendeu e use isso na próxima hipótese.

As seções a seguir explicam com mais detalhe o raciocínio por trás de cada etapa.

Como escolher o objetivo e as métricas

Ajuda organizar as métricas pelo seu papel.

  • Métrica principal: a métrica que decide quem vence o teste. Escolha apenas uma. Exemplos incluem taxa de conclusão de compra, taxa de conclusão do pedido de materiais e taxa de cadastro gratuito
  • Métricas secundárias: métricas que você observa para entender como a métrica principal se moveu. Exemplos são a taxa de cliques no botão, a taxa de início do formulário e a profundidade de rolagem
  • Métricas de proteção (guardrails): métricas que você acompanha para garantir que nada piorou. Exemplos são a taxa de rejeição, a velocidade de carregamento da página, devoluções ou cancelamentos e o número de contatos

O motivo para se limitar a uma métrica principal é que, se você alinhar muitas métricas e considerar um sucesso quando qualquer uma delas melhorar, é provável que acabe escolhendo uma métrica que parecia melhor puramente por acaso. Esse é o problema das "comparações múltiplas", que volta a aparecer em uma seção adiante.

Escolha uma métrica principal que seja o mais próxima possível dos resultados do negócio. Pode acontecer de a taxa de cliques no botão subir e os cadastros não. Um texto que convida ao clique faz mais gente apertar o botão, mas, se o que vem depois não corresponde às expectativas, as pessoas vão embora.

Por outro lado, métricas com poucas ocorrências, como compras ou contratos, levam mais tempo para reunir dados suficientes. Para sites com tráfego limitado, uma opção é tornar uma métrica de etapa anterior (como chegar ao formulário) a métrica principal. Nesse caso, é importante lembrar da premissa de que "mesmo que a métrica anterior melhore, o resultado final não necessariamente vai melhorar".

Como escrever uma hipótese: transforme dados de comportamento em um motivo para mudar

O sucesso de um teste A/B depende muito da qualidade da hipótese. Se você fica testando ideias sem hipótese, acaba com uma sequência de testes sem diferença e, mesmo quando há uma, não consegue construir em cima dela.

Escrever a hipótese no formato a seguir reduz as lacunas.

"A partir de (um fato visto nos dados), achamos que (um palpite sobre o problema). Então, se (fizermos esta mudança), (esta métrica) deve melhorar."

Como exemplo, suponha a seguinte situação (hipotética).

  • Fato: na página de preços, poucos visitantes rolam o suficiente para chegar ao botão de cadastro
  • Palpite sobre o problema: o botão está muito embaixo, então mesmo os visitantes que querem se cadastrar não o encontram
  • Mudança: colocar também um botão de cadastro logo abaixo da tabela de planos
  • Métrica: taxa de conclusão do cadastro

Escrever assim permite olhar para trás depois que os resultados chegarem e perguntar se "o palpite estava errado ou a mudança não foi suficiente".

Os dados que podem alimentar uma hipótese incluem os seguintes.

  • Análise web: quais páginas têm muita desistência, quais fontes de tráfego têm resultados baixos. Bom para descobrir qual "página" tem um problema
  • Heatmaps: até onde as pessoas leem na página, onde clicam, se clicam em coisas que não são links. Bom para descobrir qual "lugar" tem um problema
  • Contatos e registros de vendas ou de suporte: com o que os visitantes se confundem e o que os preocupa
  • Pesquisas e entrevistas com usuários: pistas sobre motivos que não aparecem nos números

Um heatmap é uma ferramenta que sobrepõe o comportamento dos visitantes à página como áreas de cor mais clara e mais escura (veja O que é um heatmap? para os tipos e como interpretá-los). Ele ajuda a encontrar pontos problemáticos dentro de uma página, como "um botão importante não está sendo clicado" ou "muita gente para de ler no meio". Para a divisão de papéis, em que você encontra problemas com um heatmap e confere a correção com um teste A/B, veja Heatmap vs. teste A/B: diferenças e como usar cada um.

Quando você tem várias hipóteses, classifique-as em três pontos: "tamanho esperado do impacto", "força da evidência" e "esforço de implementação". Começar pelas de alto impacto esperado e baixo esforço facilita o andamento.

Entendendo o tamanho da amostra

O tamanho da amostra é a quantidade de dados necessária para o teste, ou seja, o número de visitantes que viram cada versão. Em um teste A/B, você o estima antes de rodar. Se os dados forem poucos, você vai deixar de encontrar com mais frequência uma diferença que realmente existe e, mesmo quando uma diferença significativa aparece por acaso, seu tamanho tende a parecer maior do que realmente é.

O tamanho de amostra necessário é determinado principalmente por estas quatro coisas.

  1. Taxa de conversão atual: quanto mais baixa, mais dados você precisa
  2. Tamanho da diferença que você quer detectar: quanto menor a diferença que você quer encontrar, mais dados você precisa. A menor diferença que você quer ser capaz de detectar, aceitando deixar passar qualquer coisa menor, é chamada de efeito mínimo detectável (MDE)
  3. Nível de significância: quanto do erro de declarar "há uma diferença" quando não há você aceita correr. Costuma-se usar 5%
  4. Poder estatístico: a probabilidade de encontrar uma diferença quando ela realmente existe. Costuma-se usar 80%

Entre esses, o segundo é o que mais pesa. Quando a diferença que você quer encontrar cai pela metade, a quantidade de dados necessária aumenta cerca de 4 vezes.

Aqui vai um exemplo de cálculo para dar uma ideia aproximada. São números aproximados de visitantes necessários por variação, supondo uma taxa de conversão atual de 2,0% (calculados com uma fórmula padrão para comparar duas proporções, usando um teste bilateral, nível de significância de 5% e poder de 80%).

Melhoria que você quer detectar (relativa) Taxa de conversão após a mudança Visitantes necessários por variação (aprox.)
+10% 2,0% → 2,2% cerca de 80.700
+20% 2,0% → 2,4% cerca de 21.100
+30% 2,0% → 2,6% cerca de 9.800
+50% 2,0% → 3,0% cerca de 3.800

Tamanho de amostra necessário conforme o tamanho da melhoria que se quer detectar: cerca de 80.700 para +10%, cerca de 21.100 para +20%, cerca de 9.800 para +30%, cerca de 3.800 para +50%

Esta tabela mostra duas coisas. Primeiro, confirmar uma pequena melhoria exige mais dados do que se imagina. Para confirmar uma melhoria de 10% em uma página com taxa de conversão de 2,0%, você precisaria de mais de 160.000 visitantes somando A e B. Segundo, quanto maior a melhoria que uma mudança busca, menos dados são necessários para avaliá-la.

Na hora de estimar, as calculadoras embutidas nas ferramentas de teste A/B ou as calculadoras de tamanho de amostra disponíveis publicamente dão a resposta bastando inserir os quatro valores. Você não precisa decorar a fórmula. O importante é primeiro decidir "que tamanho de diferença eu quero encontrar" e depois verificar se o tráfego do seu site permite chegar lá em um tempo realista.

Se o número necessário que você estimar for grande demais, há opções além de desistir de testar: concentrar-se em uma mudança com probabilidade de gerar uma diferença maior, rodar o teste em uma página de muito tráfego ou observar uma métrica mais acima no funil. A seção "O que fazer em um site com pouco tráfego" explica como.

Como definir a duração do teste

Estime a duração do teste dividindo o tamanho de amostra necessário pelo número de pessoas que visitam por dia a página testada.

Veja um exemplo. Suponha que a tabela acima indique que você precisa de "cerca de 21.100 por variação". Digamos que a página-alvo receba 1.000 visitantes por dia e suponha que todos sejam incluídos no teste e divididos meio a meio entre A e B, de modo que cada variação receba 500 por dia. 21.100 ÷ 500 dá cerca de 42 dias, ou cerca de 6 semanas.

Ao decidir a duração, considere os pontos a seguir, além da quantidade de dados.

Use semanas completas. O comportamento dos visitantes muda conforme o dia da semana. Nos dias úteis pode haver pesquisa ligada ao trabalho e, nos fins de semana, compras pessoais, de modo que o tipo e o objetivo dos visitantes podem diferir. Se você terminar após apenas quatro dias, de segunda a quinta, faltam as reações dos visitantes de fim de semana. Começar e terminar no mesmo dia da semana, em múltiplos de 7 dias, evita o viés do dia da semana.

Evite um período curto demais. Mesmo em sites de tráfego altíssimo que atingem o número necessário em poucos dias, uma regra prática comum é rodar por pelo menos 1 semana, idealmente 2 semanas. Além do viés do dia da semana, as reações podem ser melhores logo após uma mudança apenas por ela ser nova (ou piores porque os visitantes recorrentes ficam desorientados).

Evite também um período longo demais. Quanto mais um teste dura, mais perturbações aparecem, como cookies apagados, fazendo a mesma pessoa ver outra versão, ou estações e condições de mercado que mudam. Se a sua estimativa der bem mais de 2 meses, recomendamos rever o desenho do teste (o tamanho da diferença que você quer detectar, a página-alvo e a métrica).

Evite períodos incomuns. Resultados de períodos em que o comportamento dos visitantes é muito diferente do normal, como grandes liquidações ou as festas de fim de ano, podem não valer para períodos normais. A menos que você queira verificar uma ação específica daquele período, é mais seguro evitá-los.

O que é significância estatística? Uma explicação simples sobre valor-p e nível de confiança

Quando o teste termina, você recebe um resultado como "A é 2,0%, B é 2,4%". O que você precisa pensar aqui é se essa diferença é real ou apenas acaso.

Mesmo que você mostre exatamente a mesma página a dois grupos, as taxas de conversão deles quase nunca serão exatamente iguais. Assim como lançar uma moeda 100 vezes nem sempre dá exatamente 50 caras, os números têm variação aleatória. Por isso, você precisa de um procedimento para verificar "se a diferença observada está dentro do que a variação aleatória sozinha poderia explicar". Isso é o teste de hipóteses estatístico, e o termo para a sua conclusão é significância estatística.

O que é um valor-p?

Em um teste, você primeiro supõe que "não há de fato nenhuma diferença entre A e B". Depois calcula a probabilidade de, por acaso, ver uma diferença pelo menos tão grande quanto a observada, se realmente não houvesse diferença. Essa probabilidade é o valor-p.

  • Um valor-p pequeno → sob a suposição de nenhuma diferença, uma diferença como essa raramente ocorreria → a suposição de nenhuma diferença parece duvidosa
  • Um valor-p grande → uma diferença desse tamanho aparece com frequência por acaso mesmo quando não há diferença → você não pode dizer que há uma diferença

Nível de significância e nível de confiança

O limite de quão pequeno o valor-p precisa ser para você concluir que "há uma diferença" é chamado de nível de significância. Por convenção, costuma-se usar 5% (0,05). Quando o valor-p fica abaixo do nível de significância, diz-se que "há uma diferença estatisticamente significativa".

Nas telas das ferramentas de teste A/B, é comum ver indicações como "nível de confiança de 95%" ou "95% de confiança". Isso geralmente significa que a ferramenta está avaliando com um nível de significância de 5% (o significado da indicação varia conforme a ferramenta, então consulte a documentação da sua).

Um nível de significância de 5% é um acordo de que "aceitamos até 5% de chance de declarar uma diferença quando na verdade não há". Dito de outra forma, se você testar 20 mudanças que não têm nenhum efeito, em média 1 delas aparecerá como "significativa". Uma diferença significativa não é prova de certeza; é uma referência para manter a chance de erro abaixo de um nível definido.

Equívocos comuns sobre o valor-p

Outros equívocos comuns incluem os seguintes.

  • "Não significativo" não significa "não há diferença": inclui a situação em que não há dados suficientes para dizer se existe uma diferença
  • Uma diferença significativa não tem necessariamente um tamanho relevante para o seu negócio: com uma quantidade de dados muito grande, até uma diferença minúscula se torna significativa. Olhe também o tamanho da diferença
  • Um valor-p menor não significa um efeito maior: o valor-p também depende da quantidade de dados

Conferindo com exemplos de cálculo

Vamos conferir com números hipotéticos. Suponha que 10.000 visitantes sejam atribuídos a cada um, A e B.

  • Exemplo 1: A tem 200 conversões (2,0%) e B tem 240 (2,4%). O valor-p é cerca de 0,054, logo acima do nível de significância de 5%. Embora se veja uma diferença relativa de 20%, não dá para chamá-la de "significativa" com essa quantidade de dados
  • Exemplo 2: A tem 200 conversões (2,0%) e B tem 250 (2,5%). O valor-p é cerca de 0,017, abaixo do nível de significância de 5%

Com as mesmas taxas, a conclusão muda se houver menos dados. Se A e B tivessem 1.000 visitantes cada, com 20 conversões (2,0%) para A e 24 (2,4%) para B, o valor-p seria cerca de 0,54. Isso significa que, mesmo sem diferença, um intervalo desse tamanho aparece por acaso mais da metade das vezes.

(Todos esses são exemplos calculados com um teste bilateral para a diferença entre duas proporções. Para avaliações reais, siga o método usado pela sua ferramenta.)

Olhe também o intervalo de confiança

Um valor-p tende a virar uma pergunta de sim ou não, "significativo ou não", mas olhar o intervalo de confiança dá uma noção do tamanho da diferença. Um intervalo de confiança é uma faixa dentro da qual se considera provável que caia a verdadeira diferença.

No Exemplo 1 acima, a diferença na taxa de conversão (B menos A) é de 0,4 ponto percentual, e o intervalo de confiança de 95% fica em aproximadamente −0,01 a +0,81 ponto percentual. Como o intervalo cruza o zero por muito pouco, você pode interpretar como "B parece melhor, mas não podemos descartar que não haja diferença". Um intervalo largo é sinal de que você ainda não tem dados suficientes.

Diferenças na taxa de conversão e intervalos de confiança de 95% para os três exemplos de cálculo. Um exemplo cujo intervalo cruza o zero não pode ser chamado de significativo

Algumas ferramentas mostram a "probabilidade de B superar A"

Algumas ferramentas mostram um número como "a probabilidade de B superar A" em vez de um valor-p. Esse valor se baseia em uma abordagem diferente, chamada estatística bayesiana, e suas premissas e seu significado diferem dos de um valor-p. Nenhum dos dois é simplesmente certo ou errado; são escolas de pensamento diferentes. O importante é verificar qual método o número que você está vendo usa e não confundir os dois como se fossem o mesmo tipo de número.

Como ler os resultados e o que fazer depois do teste

Quando o período terminar, confira os resultados nesta ordem.

  1. Se a divisão de tráfego saiu como planejado: se você configurou meio a meio, as contagens de visitantes de A e B estão muito desequilibradas? Se o desequilíbrio for grande, pode haver um problema na divisão ou na medição, e é perigoso confiar nos resultados como estão
  2. A diferença na métrica principal e sua significância: a direção da diferença, o tamanho, o valor-p e o intervalo de confiança
  3. Métricas de proteção: enquanto a métrica principal melhorou, outros números importantes pioraram?
  4. Métricas secundárias: pistas para pensar por que você obteve esse resultado

Os resultados se dividem em três grandes casos.

B foi significativamente melhor. Adote B oficialmente. Continue acompanhando os números por um tempo depois de aplicar, para confirmar que a mesma tendência se mantém como durante o teste.

B foi significativamente pior. Fique com A. Isso não é um fracasso; o resultado é que você barrou uma mudança ruim antes de mostrá-la a todos. Pensar no motivo de ter sido pior vai melhorar a precisão da sua próxima hipótese.

Não houve diferença significativa. No teste A/B, este é um dos resultados mais comuns. Nesse caso, evite "estender o teste até que fique significativo" depois que o período planejado terminar (a próxima seção explica o porquê). Quando não há diferença, separe se a hipótese estava errada, se a mudança foi pequena demais ou se os dados foram insuficientes. Se os resultados são iguais de qualquer forma, não há problema em escolher a opção mais fácil de operar ou a que melhor se encaixa nas diretrizes da sua marca.

Olhar os resultados separados por dispositivo ou fonte de tráfego (análise por segmento) também é útil, mas exige cautela. Quanto mais você fatia, menos dados cada grupo tem e mais facilmente você capta diferenças causadas pelo acaso. É mais seguro tratar as tendências encontradas ao fatiar como "hipóteses a verificar em seguida", e não como "conclusões".

Por fim, mantenha um registro do teste. Reunir em um só lugar a hipótese, as mudanças, a duração, a quantidade de dados, os resultados e os aprendizados evita repetir o mesmo teste e transmite o que foi aprendido mesmo quando a pessoa responsável muda.

Erros comuns no teste A/B e como evitá-los

Como o mecanismo do teste A/B é simples, fazê-lo do jeito errado pode produzir uma conclusão errada acompanhada de números com aparência convincente. Estes são os erros típicos.

Erro comum Qual é o problema Correção
Conferir os resultados repetidamente e parar assim que ficam significativos O erro de chamar de "significativa" uma diferença casual passa a ocorrer com mais frequência do que o nível de significância que você definiu Defina antes os dados e a duração necessários e avalie depois de atingi-los
Mudar muitos elementos de uma vez Mesmo que haja uma diferença, você não sabe o que funcionou Limite as mudanças ao que uma hipótese cobre
Período de teste curto Os resultados são influenciados pelo viés do dia da semana e por reações temporárias logo após a mudança Rode em múltiplos de 7 dias, por pelo menos 1 a 2 semanas
Avaliar com pouco tráfego A variação aleatória é grande e as conclusões ficam instáveis Estime antes o número necessário e repense o desenho se ele não for suficiente
Viés de dia da semana ou de sazonalidade Resultados só de dias úteis ou só de um período de promoção não valem para períodos normais Comece e termine no mesmo dia da semana e evite períodos incomuns
Alinhar muitas métricas e muitas variações e escolher só a boa Quanto mais comparações você faz, maior a chance de algo parecer bom por acaso Decida por uma métrica principal e limite o número de variações
Testar sem hipótese Mesmo com resultados, não resta aprendizado em que se apoiar Escreva o fato, o problema, a mudança e a métrica antes de começar
Mudar configurações ou variações no meio do teste A natureza dos dados muda antes e depois, e eles não podem ser comparados Se quiser mudar algo, pare e recomece como um novo teste

O que exige mais cuidado é o primeiro, o problema do "peeking" (espiar os resultados). Conferir o andamento parcial de um teste quase todos os dias é, em si, necessário para detectar problemas cedo. O problema é interromper o teste e declarar vitória no momento em que os resultados parciais mostram uma diferença significativa.

Um valor-p oscila para cima e para baixo à medida que os dados se acumulam. Mesmo quando realmente não há diferença, se você conferir muitas vezes, em algum momento ele pode cair abaixo do nível de significância por acaso. Se você parar nesse momento, o "erro de declarar uma diferença quando não há" passa a ocorrer com mais frequência do que os 5% que você planejou. A regra de esperar para avaliar até atingir o volume de dados e a duração definidos de antemão existe para evitar esse erro.

Algumas ferramentas também têm um método de avaliação projetado para que os erros não aumentem mesmo que você avalie no meio do caminho (como o chamado teste sequencial). Nesse caso, siga o procedimento que a ferramenta indica.

Uma observação sobre "mudar muitas coisas de uma vez" também. Mesmo que um B que altera o título, a imagem e o botão de uma só vez ganhe, você não saberá o que funcionou. É possível que o título tenha sido bom e a imagem o tenha puxado para baixo. No entanto, se o seu objetivo é comparar uma página completamente reconstruída com a atual, mudar tudo junto faz sentido. Nesse caso, aceite que "você não saberá qual elemento funcionou" e compare com algo como um teste de redirecionamento.

Como pensar a taxa de distribuição e a divisão A/B

Duas configurações de "porcentagem" aparecem quando você configura um teste A/B. Elas são fáceis de confundir, então entenda-as separadamente.

  • Taxa de distribuição (a porcentagem de visitantes incluída no experimento): que porcentagem de todos os visitantes é incluída no teste. Os visitantes fora do teste simplesmente veem a página original
  • Divisão A/B: em que proporção os visitantes incluídos no teste são divididos entre A e B

Por exemplo, se você definir a taxa de distribuição em 20% e a divisão A/B meio a meio, 80% de todos os visitantes ficam fora do teste e veem a página original, 10% estão no teste e veem A, e 10% veem B.

Exemplo com taxa de distribuição de 20% e divisão A/B meio a meio: 80% de todos os visitantes ficam fora do teste, 10% veem A e 10% veem B

Uma divisão A/B meio a meio é o padrão. Com o mesmo número de visitantes, dividir igualmente reúne os dados necessários mais rápido. Você também pode dar a B uma fatia menor, mas precisa esperar até que o lado menor reúna dados suficientes, então a duração aumenta.

Escolha a taxa de distribuição equilibrando risco e duração. Reduzir a taxa de distribuição diminui o número de visitantes afetados se a mudança der errado. Em troca, há menos visitantes no teste, então leva mais tempo para reunir os dados de que você precisa. Uma abordagem comum é começar uma grande mudança, de impacto imprevisível, com uma taxa de distribuição baixa, confirmar que não há problemas e ampliar se tudo estiver bem. Para uma mudança de pouco impacto, como trocar algum texto, é mais sensato incluir todos desde o início e encurtar a duração.

A diferença entre as duas porcentagens é explicada em Taxa de distribuição vs. divisão A/B no teste A/B, e o raciocínio de projeto é abordado em Por que a taxa de distribuição e a divisão A/B devem ser configurações separadas.

Teste A/B e SEO: como limitar o impacto na busca

Uma preocupação comum é saber se "o teste A/B vai prejudicar meu ranking nas buscas". O Google publica orientações sobre como rodar testes limitando o impacto na busca, na documentação do Google Search Central. Os pontos principais são os seguintes.

  • Não pratique cloaking: mostrar intencionalmente conteúdos diferentes aos rastreadores dos mecanismos de busca (programas que visitam e leem as páginas) e aos visitantes humanos é chamado de cloaking e viola as políticas de spam. Isso vale haja ou não um teste em andamento. Evite qualquer configuração que mostre uma versão específica apenas aos rastreadores
  • Use rel="canonical" em testes com URLs separadas: ao testar em várias URLs, como em um teste de redirecionamento, adicione rel="canonical" (uma tag que informa aos mecanismos de busca a URL preferida) às URLs do teste para indicar que a URL original é a página a ser priorizada. Para essa finalidade, o Google recomenda rel="canonical" em vez de noindex
  • Use redirecionamentos temporários (302) para redirecionar: ao redirecionar da URL original para uma URL de teste, use 302, que sinaliza um redirecionamento temporário, em vez de 301, que sinaliza um permanente. Um redirecionamento em JavaScript também é considerado aceitável
  • Rode o teste apenas pelo tempo necessário: depois de reunir dados suficientes, encerre o teste e remova as URLs de teste, scripts e afins o quanto antes. O Google explica que rodar um teste por mais tempo do que o necessário pode ser interpretado como uma tentativa de enganar os mecanismos de busca

Em outras palavras, não deixar testes rodando é importante não só para a estatística, mas também para a busca. Conclua todo o fluxo: limpe os testes terminados e aplique no próprio site a versão adotada.

Observe que o que se apresenta aqui é um resumo das orientações que o Google publicou. O efeito no ranking de busca varia de site para site, então, antes de rodar um teste que envolva uma grande mudança, recomendamos consultar também o documento original e a documentação da sua ferramenta.

O que fazer em um site com pouco tráfego

Como vimos na seção sobre tamanho da amostra, o teste A/B precisa de uma boa quantidade de dados. Então o teste A/B não faz sentido para sites com alguns milhares de visitantes por mês? Não necessariamente. Mudar a abordagem pode dar mais base para decidir.

Teste mudanças grandes. Quanto maior a diferença que você quer encontrar, menos dados são necessários. Em vez de pequenas mudanças, como ajustar o texto de um botão, concentre-se em mudanças que possam gerar uma grande diferença: alterar o principal atrativo, reorganizar a estrutura da página ou cortar drasticamente os campos de um formulário.

Rode testes em páginas de muito tráfego. Mesmo que o site como um todo tenha pouco tráfego, deve haver páginas em que os visitantes se concentram. Escolha os lugares com mais visitantes, como a página inicial ou as páginas que recebem tráfego de anúncios.

Use uma métrica de etapa anterior. Compras e contratos são poucos, então detectar uma diferença leva tempo. Tornar a métrica principal uma ação anterior e mais frequente, como "chegar ao formulário" ou "ir para a página de preços", mantém baixa a quantidade de dados necessária. Apenas tenha em mente que uma melhoria em uma métrica anterior não leva necessariamente a uma melhoria no resultado final.

Limite-se a duas variações. Adicionar uma terceira e uma quarta reduz os dados por variação. Enquanto o tráfego for baixo, compare apenas A e B.

Defina a taxa de distribuição em 100% e a divisão A/B meio a meio. Restringir o público ou usar uma divisão desigual alonga a duração.

Admita um período mais longo e aceite os limites se isso ainda não bastar. Se você não consegue atingir o número necessário mesmo reservando cerca de 4 a 8 semanas, também é preciso decidir não insistir em resolver a questão com um teste A/B.

Quando o teste A/B não é uma boa opção, outros métodos podem ajudar.

  • Observar o comportamento com heatmaps: mesmo com pouco tráfego, você consegue ter uma noção de "onde as pessoas não estão lendo" e "onde não estão clicando"
  • Perguntar diretamente aos usuários: simplesmente fazer algumas pessoas usarem a tela enquanto você observa onde elas travam já revela muitos problemas
  • Corrigir problemas óbvios sem testar: links quebrados, textos difíceis de ler, botões que não funcionam e similares, em que é difícil imaginar que corrigir piore as coisas, não precisam esperar por verificação

Tipos de ferramentas de teste A/B e como escolher uma

Para rodar testes A/B, você precisa de uma ferramenta que cuide da divisão de tráfego, da troca do que é exibido, da medição e dos relatórios. Em termos de funcionamento, há dois grandes tipos.

Client-side (no navegador)

  • Como funciona: você adiciona uma tag (um trecho curto de código para medição) à página, e parte da página é reescrita no navegador do visitante
  • Quem costuma cuidar: profissionais de marketing e equipe web. Muitas ferramentas permitem criar as mudanças por operações na tela
  • Indicado para: mudanças visuais, como textos, imagens, cores e layout
  • Atenção: pode ocorrer um "flicker" (piscada), em que a exibição original fica visível por um instante antes da reescrita

Server-side (no servidor)

  • Como funciona: um código no servidor alterna o que é exibido a cada visitante
  • Quem costuma cuidar: engenheiros. São necessárias mudanças no código
  • Indicado para: mudanças que envolvem processamento de back-end, como cálculo de preços, o funcionamento de busca ou de ordenação e recursos de aplicativos
  • Atenção: a configuração e a operação exigem esforço de desenvolvimento

Para o uso que este artigo pressupõe, experimentar títulos e botões em páginas da web, as ferramentas client-side são as primeiras candidatas.

Ao escolher uma ferramenta, verifique os pontos a seguir.

  • Se você pode criar mudanças por operações na tela ou precisa escrever código
  • Qual método estatístico ela usa para avaliar e como exibe os resultados
  • Se você pode configurar a taxa de distribuição e a divisão A/B separadamente
  • Se ela oferece suporte a testes de redirecionamento
  • Em que o preço se baseia (número de visitantes, número de eventos monitorados, número de usuários e assim por diante)
  • Se você pode ver tudo junto com os dados que usa para construir hipóteses, como heatmaps

O fim do Google Optimize

O Google Optimize, que era amplamente usado como ferramenta gratuita de teste A/B, foi descontinuado em setembro de 2023. Os sites que usavam o Google Optimize tiveram de migrar para outras ferramentas.

Hoje há várias opções: ferramentas dedicadas de teste A/B, como Optimizely, VWO e AB Tasty; ferramentas que combinam heatmaps e teste A/B, como as japonesas Ptengine e SiTest; e plataformas de experimentação para desenvolvedores. Os recursos e o orçamento de que você precisa variam muito com o tamanho do seu site, então é importante escolher o que se adapta ao seu próprio uso. Para as diferenças de faixas de preço e de abordagem entre as principais ferramentas, veja Panorama das ferramentas de teste A/B em 2026.

Continue melhorando combinando heatmaps e engajamento no site

O teste A/B entrega mais quando combinado com outras ferramentas do que usado sozinho.

O fluxo de melhoria é um ciclo repetido de "encontrar → criar uma correção → verificar".

O ciclo de melhoria: encontrar, criar uma correção, verificar com um teste A/B e aplicar, repetidamente

  1. Encontrar: use a análise web para identificar páginas com problemas e heatmaps para localizar os pontos problemáticos dentro da página
  2. Criar uma correção: formule uma hipótese a partir do problema encontrado e crie a mudança
  3. Verificar: use um teste A/B para conferir se a mudança realmente melhora os resultados
  4. Aplicar e seguir em frente: aplique a versão que se saiu melhor e observe a página alterada novamente com um heatmap

Olhar um heatmap depois que os resultados do teste A/B chegam também é útil. Quando B vence, verificar como o comportamento dos visitantes mudou (se as pessoas leram mais para baixo, se os lugares em que clicam se deslocaram) dá pistas sobre "por que foi melhor" e leva à próxima hipótese.

A mentalidade do teste A/B também se aplica diretamente a ações de engajamento no site, em que, em vez de mudar a própria página, você exibe orientações em um popup ou em uma barra fixa. Seja comparando exibir ou não exibir, o texto ou o momento da exibição, o princípio é o mesmo: dividir os visitantes aleatoriamente e comparar durante o mesmo período. O básico do engajamento no site é explicado em O que é engajamento web?.

Sobre o HeatMapX

O HeatMapX é uma ferramenta que permite medir heatmaps adicionando uma tag ao seu site, e você pode começar com o plano Free gratuito (veja a página de preços para os detalhes dos planos). O recurso de teste A/B está sendo liberado em etapas. Comece usando heatmaps para entender como seu próprio site é visto; ter uma hipótese sobre onde experimentar já pronta permite agir rápido quando você começar com testes A/B.

Se quiser comparar ferramentas de heatmap com outros produtos antes de escolher, veja também Comparação de ferramentas de heatmap.

Perguntas frequentes sobre teste A/B

O que é teste A/B, em termos simples?

É um método em que você exibe aleatoriamente aos visitantes duas versões de uma página durante o mesmo período e compara com números qual delas tem o melhor desempenho. Diferentemente de comparar antes e depois de uma mudança, ele permite verificar o efeito de uma mudança separadamente de outros fatores, como estações do ano e anúncios.

Quanto tempo um teste A/B deve durar?

Estime dividindo o tamanho de amostra necessário pelo número de visitantes por dia. Para evitar o viés do dia da semana, use múltiplos de 7 dias; uma regra prática comum é rodar por pelo menos 1 a 2 semanas. Mesmo que um site de muito tráfego atinja o número necessário em poucos dias, recomendamos continuar por uma semana. Por outro lado, se a estimativa passar bem de 2 meses, revise o desenho do teste.

De quanto tráfego preciso para rodar um teste A/B?

Não existe um padrão único. Depende da sua taxa de conversão atual e do tamanho da diferença que você quer detectar. No exemplo de cálculo deste artigo, confirmar uma melhoria relativa de 20% em uma página com taxa de conversão de 2,0% exigiu cerca de 21.100 visitantes por variação. Se o seu tráfego é baixo, você pode reduzir o número necessário concentrando-se em mudanças maiores ou usando uma métrica de etapa anterior.

O que devo fazer se não houver diferença significativa?

Evite estender o teste até que fique significativo depois do período planejado. Registre que "esta mudança não mostrou uma diferença do tamanho que queríamos detectar" e reveja se a hipótese estava errada ou se a mudança foi pequena demais. Se os resultados são iguais de qualquer forma, não há problema em escolher a opção mais fácil de operar. Não haver diferença significativa não é um fracasso; é um tipo de resultado.

Se o valor-p for menor que 0,05, posso dizer que B é melhor?

Não. Um valor-p é "a probabilidade de ver, por acaso, uma diferença pelo menos tão grande quanto a observada se realmente não houvesse diferença", e não "a probabilidade de B ser melhor". Ao avaliar com um nível de significância de 5%, cerca de 1 em cada 20 mudanças sem nenhum efeito ainda mostrará uma diferença significativa. Verifique também o tamanho da diferença, o intervalo de confiança e as métricas de proteção e, para mudanças importantes, continue acompanhando os números depois de aplicá-las.

O teste A/B prejudica o SEO?

O Google publica orientações dizendo que o impacto na busca pode ser limitado se você as seguir. Os quatro pontos principais são: não mostrar conteúdos diferentes a rastreadores e a pessoas, adicionar rel="canonical" em testes com URLs separadas, usar 302 nos redirecionamentos e encerrar o teste e limpar as configurações assim que passar o período necessário. Para mais detalhes, veja a seção "Teste A/B e SEO" acima.

Resumo: comece com uma hipótese

O teste A/B é um método de dividir os visitantes aleatoriamente e compará-los durante o mesmo período, para que você possa confirmar o efeito de uma mudança separadamente de outros fatores. Estes são os pontos principais deste artigo.

  • Como funciona: atribuir os visitantes aleatoriamente, exibir as duas versões durante o mesmo período e continuar mostrando à mesma pessoa a mesma versão. Isso restringe a causa de qualquer diferença a "o que você mudou"
  • Como avançar: 6 etapas de objetivo e métrica → hipótese → criar a variação → executar → avaliar → aplicar. Defina a métrica, o volume de dados, a duração e os critérios de avaliação antes de rodar
  • Dados e duração: quanto menor a diferença que você quer confirmar, mais dados são necessários. Use múltiplos de 7 dias, por pelo menos 1 a 2 semanas
  • Significância: uma referência para saber se uma diferença é difícil de explicar pelo acaso. O valor-p não é "a probabilidade de B estar ganhando", e "não significativo" não significa "não há diferença"
  • Evitando erros: não pare com base em resultados parciais, limite as mudanças ao que uma hipótese cobre e use uma métrica principal
  • Quando o tráfego é baixo: concentre-se em mudanças grandes, páginas de muito tráfego e métricas de etapas anteriores e, se isso não bastar, preencha as lacunas com observação e entrevistas

Como próximo passo, recomendamos escolher uma página do seu site que esteja mais próxima dos resultados e receba muitos visitantes e começar verificando os problemas dessa página com dados. Use heatmaps e análise web para encontrar "onde parece haver um problema" e depois escreva uma hipótese que detalhe os quatro pontos: fato, problema, mudança e métrica. Com uma hipótese em mãos, você pode estimar os dados e a duração necessários e desenhar seu primeiro teste A/B.

Um único teste não necessariamente vai mudar seus números de forma dramática. Mas acumular fatos verificados, um por vez, é a base para melhorar um site sem depender de palpites.

Mapas de calor, testes A/B e engajamento web — comece grátis.

Cole uma única tag para começar. Conecte sua IA, como o Claude, e vá da análise às melhorias em uma conversa.