Calculadora de prueba A/B: significancia y tamaño de muestra

Cómo saber si tu prueba A/B tiene ganador

Una prueba A/B compara dos versiones de una página, un anuncio o un correo para saber cuál convierte más. El riesgo es declarar un ganador demasiado pronto: con pocos visitantes, una diferencia de uno o dos puntos puede ser puro azar. Esta herramienta responde las dos preguntas que importan: si la diferencia que viste es real y cuántos visitantes necesitas para ver la diferencia que buscas.

Todo se calcula en tu navegador. Los números que escribes no se envían a ningún sitio.

1. Indica visitantes y conversiones de A y de B. Usa los totales de todo el período de la prueba. La conversión es la acción que mides: una compra, un registro, un clic en el botón.
2. Elige el nivel de confianza. 95% es el estándar del mercado: acepta 1 posibilidad en 20 de ver una diferencia que en realidad no existe.
3. Elige bilateral o unilateral. Bilateral pregunta si hay diferencia en cualquier dirección y es lo más seguro. Unilateral solo pregunta si B es mejor y debe decidirse antes de mirar los datos.
4. Lee el valor p y el intervalo. Si el valor p es menor que 1 menos la confianza (0,05 para 95%), la diferencia es significativa. El intervalo muestra el tamaño probable de la mejora; si incluye cero, el resultado no es concluyente.
5. Planifica la próxima prueba en la pestaña de muestra. Indica la tasa actual, la mejora más pequeña que valdría la pena detectar (MDE) y la potencia. La herramienta devuelve cuántos visitantes necesita cada versión.

Todo se calcula aquí, en tu navegador. Nada de lo que escribes se envía a ningún servidor y no usamos cookies de terceros.

Cómo funciona el cálculo

La significancia usa la prueba z de dos proporciones. Suponiendo que A y B convierten igual, se estima una única tasa agrupada y se mide la distancia entre las dos tasas en errores estándar. El valor p es la probabilidad de ver una distancia al menos así de grande solo por azar.

El intervalo de confianza de la diferencia usa el error estándar sin agrupar, la misma convención del comando prtesti de Stata. La normal estándar se calcula con la función de error, sin tablas aproximadas.

El tamaño de muestra usa la fórmula clásica de Fleiss para dos proporciones, la misma de Stata (power twoproportions). Comprobado con el manual de Stata: tasas de 0,001 y 0,015 con 80% de potencia y 5% bilateral piden 635 visitantes por grupo.

• TasaspA = conversiones A ÷ visitantes A; pB = conversiones B ÷ visitantes B
• Tasa agrupadap = (conversiones A + conversiones B) ÷ (visitantes A + visitantes B)
• Estadístico zz = (pB − pA) ÷ √( p × (1 − p) × (1/nA + 1/nB) )
• Valor p bilateral2 × P(Z ≥ |z|), con Z normal estándar
• Intervalo de confianza(pB − pA) ± zc × √( pA(1−pA)/nA + pB(1−pB)/nB )
• Muestra por grupon = ( zα × √(2 p̄ (1−p̄)) + zβ × √(p1(1−p1) + p2(1−p2)) )² ÷ (p2 − p1)²

Ejemplos