Teste A/B: o que é, como fazer e como ler os resultados

Um teste A/B é um experimento controlado que divide os usuários entre duas versões de uma mesma tela, fluxo ou mensagem: a versão A, chamada de controle, e a versão B, a variante. Cada pessoa vê apenas uma das duas, escolhida de forma aleatória, e o produto mede qual delas gera melhor resultado em uma métrica definida de antemão, como conversão, ativação ou engajamento.

A ideia central é trocar opinião por evidência. Em vez de discutir qual botão, título ou preço parece melhor, você deixa o comportamento real dos usuários decidir. Como os dois grupos são estatisticamente equivalentes, qualquer diferença consistente no resultado pode ser atribuída à mudança testada, e não ao acaso.

Todo teste A/B começa com uma hipótese clara: uma afirmação do tipo "se eu mudar X, então a métrica Y vai melhorar, porque Z". Sem hipótese, o teste vira pesca aleatória e o resultado fica difícil de interpretar.

• Hipótese: defina o que muda, qual métrica você espera mover e por quê.
• Controle e variante: mantenha A como está e altere só uma coisa em B, para isolar o efeito.
• Divisão aleatória: distribua os usuários ao acaso entre A e B, para que os grupos sejam comparáveis.
• Métrica única: escolha a métrica principal de sucesso antes de começar, não depois de ver os dados.

Com essa estrutura, o teste responde a uma pergunta feita de antemão. É isso que separa um experimento de uma simples troca de layout no escuro.

O ponto mais delicado de um teste A/B é não confundir sorte com efeito. Com poucos usuários, uma diferença de resultado pode ser só ruído: ao jogar uma moeda dez vezes, é comum sair sete caras sem que a moeda seja viciada. Por isso, todo teste precisa de um tamanho de amostra calculado antes de começar.

A significância estatística responde a uma pergunta: qual a probabilidade de ver essa diferença se, na verdade, as duas versões fossem iguais? O padrão comum é exigir 95% de confiança, ou seja, aceitar no máximo 5% de chance de um falso positivo. Quanto menor o efeito que você quer detectar, maior a amostra necessária. Rodar o teste com gente de menos é a forma mais rápida de tomar decisões erradas com aparência de dados.

Boa parte dos testes fracassa não pelo conceito, mas pela execução. As armadilhas mais comuns têm a ver com olhar o resultado cedo demais ou medir coisas demais ao mesmo tempo.

• Espiar o placar (peeking): checar o resultado todo dia e parar assim que der "significativo" infla os falsos positivos.
• Parar cedo: encerrar antes de atingir a amostra planejada transforma ruído em conclusão.
• Testes múltiplos: acompanhar dez métricas ao mesmo tempo quase garante que uma pareça vencedora por acaso.
• Amostra contaminada: o mesmo usuário ver as duas versões, ou sazonalidade e campanhas externas, distorcem a comparação.

A combinação mais perigosa é o peeking com a parada antecipada. Quem checa o placar várias vezes e para no primeiro momento favorável está, na prática, escolhendo o ruído que confirma a expectativa. A defesa é simples: fixe amostra e duração antes de começar e só leia o resultado no fim.

Em produtos de autoatendimento, o teste A/B é o motor da otimização contínua. Como o usuário entra, experimenta e assina sem falar com vendas, cada etapa do funil vira um campo de experimentos: o onboarding que move a Taxa de ativação, a página de planos que move a Conversão de trial e os fluxos que sustentam a Taxa de engajamento.

O segredo é manter os testes ancorados no que realmente importa. Otimizar um clique isolado pode subir uma métrica de superfície sem mover nada de fundo. Por isso, os melhores times conectam cada experimento a uma North Star Metric, garantindo que ganhos locais somem valor de verdade. Benchmarks públicos, como os do Benchmarkit, mostram como as taxas de conversão e ativação variam muito entre empresas, o que reforça por que cada produto precisa dos próprios testes em vez de copiar números alheios.

Um bom programa de testes A/B é mais sobre disciplina do que sobre ferramentas. Registre a hipótese por escrito antes de começar, defina uma única métrica de sucesso e calcule o tamanho de amostra necessário. Assim, quando o resultado chegar, ele responde a uma pergunta feita de antemão, e não a uma história montada depois.

• Uma mudança por vez: teste um elemento isolado para saber o que causou o efeito.
• Documente tudo: hipótese, amostra, duração e resultado, inclusive os testes que falharam.
• Respeite a duração: rode o teste por ciclos completos de comportamento, cobrindo dias úteis e fins de semana.

Testes que não deram diferença também são vitórias: evitam mudanças inúteis e livram o time de acreditar em melhorias que não existem. Uma cultura de experimentação madura celebra o aprendizado, não só o resultado positivo.