¿Es posible realizar pruebas A/B por página en lugar de por individuo?

Question

Digamos que tengo un sitio de comercio electrónico simple que vende 100 diseños de camisetas diferentes. Quiero hacer algunas pruebas A/B para optimizar mis ventas. Digamos que quiero probar dos botones de "comprar" diferentes. Normalmente, usaría las pruebas AB para asignar aleatoriamente a cada visitante para ver el botón A o el botón B (e intente asegurarse de que la experiencia del usuario sea consistente al almacenar esa tarea en sesión, cookies, etc.).

¿Sería posible adoptar un enfoque diferente y, en cambio, asignar aleatoriamente cada uno de mis 100 diseños para usar el botón A o B, y medir la tasa de conversión como (Número de ventas de diseño n) / (PageViews of Design n)

Este enfoque parece tener algunas ventajas; No tendría que preocuparme por mantener la experiencia del usuario consistente: una página determinada (por ejemplo, www.example.com/viewdesign?id=6) siempre devolvería el mismo HTML. Si tuviera que probar diferentes precios, sería mucho menos angustiante para el usuario ver diferentes precios para diferentes diseños que diferentes precios para el mismo Diseño en diferentes computadoras. También me pregunto si podría ser mejor para SEO: mi sospecha es que Google "preferiría" que siempre ve el mismo HTML al rastrear una página.

Obviamente, este enfoque solo sería adecuado para un número limitado de sitios; Me preguntaba si alguien lo ha probado.

Answer 1

Tu intuición es correcta. En teoría, la aleatoria por página funcionará bien. Ambos grupos de tratamiento tendrán características equilibradas en la expectativa.

Sin embargo, el tamaño de la muestra es bastante pequeño, por lo que debe tener cuidado. La aleatorización simple puede crear desequilibrio por casualidad. La solución estándar es bloquear Sobre las características de pretratamiento de las camisas. La característica más importante es su resultado previo al tratamiento, que supongo que es la tasa de conversión.

Hay muchas formas de crear diseños aleatorios "equilibrados". Por ejemplo, puedes crear pares usando coincidencia óptima, y aleatorizar dentro de pares. Se puede encontrar una coincidencia más difícil clasificando páginas por su tasa de conversión en la semana/mes anterior y luego creando pares de vecinos. O puede combinar la aleatorización bloqueada dentro de la sugerencia de Aaron: aleatorizar dentro de pares y luego voltear el tratamiento cada semana.

Una segunda preocupación, algo no relacionada, es interacción entre tratamientos. Esto puede ser más problemático. Es posible que si un usuario vea un botón en una página y luego un botón diferente en una página diferente, ese nuevo botón tenga un efecto particularmente grande. Es decir, ¿realmente puede ver los tratamientos como independientes? ¿El botón en una página afecta la probabilidad de conversión en otra? Desafortunadamente, probablemente lo haga, particularmente porque si compras una camiseta en una página, probablemente sea muy poco probable que compre una camiseta en la otra página. Me preocuparía esto más que por la aleatorización. El enfoque estándar, aleatorización del usuario único, imita mejor su diseño final.

Siempre puede ejecutar un experimento para ver si obtiene los mismos resultados utilizando estos dos métodos, y luego continúe con el más simple si lo hace.

Answer 2

No puedes.

Permítanos 50 camisetas tienen el botón A y los 50 restantes tienen el botón B. Después de su prueba, se da cuenta de que las camisetas con el botón A tienen una mejor tasa de conversión.

Ahora, ¿fue mejor la conversión debido al botón A, o fue mejor porque los diseños de camisetas eran realmente geniales y a la gente le gustaban?

No puede responder esa pregunta objetivamente, por lo que no puede hacer pruebas A/B de esta manera.

Answer 3

El problema con su enfoque es que está probando dos cosas al mismo tiempo.

Digamos que el diseño X está usando el botón a. El diseño y está usando el botón b. Design Y obtiene más ventas y más conversiones.

¿Es porque el botón B da una mejor tasa de conversión que el botón A, o es porque el diseño Y da una mejor tasa de conversión que el diseño x?

Si su volumen de diseños es muy alto, su volumen de usuarios es muy bajo y sus conversiones se distribuyen de manera uniforme entre sus diseños, podría ver que su enfoque es mejor que la moda normal, porque el riesgo de que los diseños "buenos" se agrupen juntos Y sesgar su resultado sería menor que el riesgo que hacen los "buenos" usuarios. Sin embargo, en ese caso, no tendrá un tamaño de muestra particularmente grande de conversiones para sacar conclusiones de las que necesita un volumen suficientemente alto de usuarios para que las pruebas AB valgan la pena en primer lugar.

Answer 4

En lugar de cambiar el botón de venta para algunas páginas, ejecute todas las páginas con el botón A durante una semana y luego cambie al botón B por otra semana. Eso debería darle suficientes datos para ver si el número de ventas cambia significativamente entre los dos botones.

Una semana debe ser lo suficientemente corta como para que el efecto estacional/climático no debería aplicarse.