Cómo hacer un test A/B bien en ecommerce (sin engañarte)

El test A/B es la mejor herramienta para mejorar la conversión con datos en lugar de opiniones. El problema es que la mayoría se diseñan y se leen mal, y acaban «demostrando» cosas que no son ciertas. Esta guía te ayuda a hacerlos bien y a no engañarte.

Antes de empezar: hipótesis y métrica

Un test no es «a ver qué pasa si cambio el botón». Parte de una hipótesis: «creo que [cambio] mejorará [métrica] porque [razón]». Y define una métrica primaria única (normalmente la conversión o los ingresos por visita). Si mides diez métricas, alguna saldrá «positiva» por puro azar.

¿Tienes tráfico suficiente?

Los tests necesitan volumen. Con pocas visitas o pocas conversiones semanales, un test tardaría meses en ser fiable. Antes de lanzarlo, calcula el tamaño de muestra necesario según tu tasa de conversión actual y la mejora mínima que te interesa detectar. Si no llegas, prioriza cambios de alto impacto sin test o agrúpalos.

Duración: ciclos completos, no días sueltos

• Deja correr el test al menos una o dos semanas completas, cubriendo ciclos de negocio (los fines de semana convierten distinto que los lunes).
• No lo pares en cuanto veas verde: es el error más común y el que más falsos positivos genera.
• Evita periodos anómalos (rebajas, campañas puntuales) que distorsionan el comportamiento.

Significación estadística (sin peeking)

Espera a alcanzar el tamaño de muestra y la duración planificados antes de mirar el resultado como definitivo. Mirar cada día y parar al ver una diferencia favorable —el llamado peeking— dispara los falsos positivos. Fija de antemano un nivel de confianza (habitualmente 95%) y respétalo.

Un cambio cada vez (y qué testear primero)

Si cambias varias cosas a la vez, no sabrás cuál funcionó. Prioriza por impacto potencial y facilidad: titulares y propuesta de valor, la ficha de producto, el checkout y las fricciones de pago suelen dar los mayores retornos.

Errores que invalidan un test

• Pararlo al ver el primer resultado favorable.
• Muestras demasiado pequeñas para concluir nada.
• Medir mal: si el tracking falla, el test miente. Una medición correcta es requisito previo.
• Ignorar la significación y decidir «a ojo».

Qué hacer con el resultado

Si gana la variante, impleméntala y documenta el aprendizaje. Si no hay diferencia, también aprendes (a veces evitas un cambio que habrías hecho por intuición). Guarda cada test en un registro: con el tiempo, ese histórico de aprendizajes vale más que cualquier test individual.

¿Quieres un programa de experimentación con hipótesis priorizadas y lectura estadística rigurosa? Mira nuestro servicio de CRO o solicita una auditoría.