Calculadora de teste A/B: significância e tamanho de amostra

Como saber se o teste A/B tem vencedor

Um teste A/B compara duas versões de uma página, anúncio ou e-mail para saber qual converte mais. O risco está em declarar vencedor cedo demais: com poucos visitantes, uma diferença de 1 ou 2 pontos pode ser puro acaso. Esta ferramenta responde às duas perguntas que importam: a diferença que você viu é real, e quantos visitantes são necessários para enxergar a diferença que você procura.

Tudo é calculado no seu navegador. Os números que você digita não são enviados para lugar nenhum.

1. Informe visitantes e conversões de A e de B. Use os totais do período inteiro do teste. Conversão é a ação que você mede: compra, cadastro, clique no botão.
2. Escolha o nível de confiança. 95% é o padrão do mercado: aceita 1 chance em 20 de ver uma diferença que na verdade não existe.
3. Escolha bilateral ou unilateral. Bilateral pergunta se há diferença em qualquer direção e é o mais seguro. Unilateral só pergunta se B é melhor e deve ser decidido antes de olhar os dados.
4. Leia o p-valor e o intervalo. Se o p-valor é menor que 1 menos a confiança (0,05 para 95%), a diferença é significativa. O intervalo mostra o tamanho provável do ganho; se ele inclui zero, o resultado é inconclusivo.
5. Planeje o próximo teste na aba de amostra. Informe a taxa atual, o menor ganho que valeria detectar (MDE) e o poder. A ferramenta devolve quantos visitantes cada versão precisa.

Tudo é calculado aqui, no seu navegador. Nenhum dado digitado é enviado a servidor algum e não usamos cookies de terceiros.

Como o cálculo funciona

A significância usa o teste z de duas proporções. Sob a hipótese de que A e B convertem igual, estima-se uma taxa única (agrupada) e mede-se a distância entre as duas taxas em erros-padrão. O p-valor é a probabilidade de ver uma distância ao menos tão grande só por acaso.

O intervalo de confiança da diferença usa o erro-padrão não agrupado, a mesma convenção do comando prtesti do Stata. A normal padrão é calculada com a função de erro, sem tabelas aproximadas.

O tamanho de amostra usa a fórmula clássica de Fleiss para duas proporções, a mesma do Stata (power twoproportions). Conferido contra o manual do Stata: taxas de 0,001 e 0,015 com 80% de poder e 5% bilateral pedem 635 visitantes por grupo.

• TaxaspA = conversões A ÷ visitantes A; pB = conversões B ÷ visitantes B
• Taxa agrupadap = (conversões A + conversões B) ÷ (visitantes A + visitantes B)
• Estatística zz = (pB − pA) ÷ √( p × (1 − p) × (1/nA + 1/nB) )
• p-valor bilateral2 × P(Z ≥ |z|), com Z normal padrão
• Intervalo de confiança(pB − pA) ± zc × √( pA(1−pA)/nA + pB(1−pB)/nB )
• Amostra por grupon = ( zα × √(2 p̄ (1−p̄)) + zβ × √(p1(1−p1) + p2(1−p2)) )² ÷ (p2 − p1)²

Exemplos