Est-il possible de faire des tests A / B par page plutôt que par individu?

Question

Disons que j'ai un simple site de commerce électronique qui vend 100 modèles différents t-shirt. Je veux faire des tests a / b pour optimiser mes ventes. Disons que je veux tester deux différents boutons « acheter ». Normalement, j'utiliser des tests AB pour attribuer au hasard chaque visiteur pour voir le bouton A ou le bouton B (et essayer de faire en sorte que ce que l'expérience utilisateur est cohérente en stockant cette mission en session, les cookies, etc.).

Serait-il possible d'adopter une approche différente et au lieu, assigner au hasard chacun de mes 100 modèles à utiliser le bouton A ou B, et de mesurer le taux de conversion (nombre de ventes de la conception n) / (pages vues de conception n)

Cette approche semble avoir des avantages; Je ne voudrais pas avoir à se soucier de garder l'expérience utilisateur cohérente - une page donnée (par exemple de www.example.com/viewdesign?id=6) serait toujours retourner le même html. Si je devais tester différents prix, il serait beaucoup moins pénible pour l'utilisateur de voir des prix différents pour les différents modèles que différents prix pour même conception sur différents ordinateurs. Je me demande également s'il pourrait être préférable pour le référencement - je soupçonne que Google « préfère » qu'il voit toujours la même html lors de l'exploration d'une page

.

Il est évident que cette approche ne serait approprié pour un nombre limité de sites; Je me demandais si quelqu'un a essayé?

Answer 1

Votre intuition est correcte. En théorie, la page par randomiser fonctionnera très bien. Les deux groupes de traitement auront des caractéristiques équilibrées dans l'attente.

Cependant, la taille de l'échantillon est assez petit donc vous devez être prudent. Simple peut créer randomisation déséquilibre par hasard. La solution standard consiste à sur les caractéristiques de pré-traitement des chemises. La caractéristique la plus importante est votre résultat avant traitement, que je suppose est le taux de conversion.

Il y a plusieurs façons de créer des « équilibrés » modèles aléatoires. Par exemple, vous vous pouvez créer des paires en utilisant correspondance optimale, et randomiser à l'intérieur des paires. Un match plus rude n'a pu être trouvée par le classement des pages par leur taux de conversion dans la semaine / mois précédent et en créant ensuite des paires de voisins. Ou vous pouvez combiner bloqué au sein de la randomisation suggestion d'Aaron. Randomiser dans deux et puis retournez le traitement chaque semaine

Une deuxième préoccupation, un peu sans rapport, est interaction entre les traitements . Cela peut être plus problématique. Il est possible que si un utilisateur voit un bouton sur une page et un autre bouton sur une autre page, ce nouveau bouton aura un effet particulièrement important. Autrement dit, vous pouvez voir vraiment des traitements comme indépendant? Le bouton sur une page affecte la probabilité de conversion sur un autre? Malheureusement, il ne doute, en particulier parce que si vous achetez un t-shirt sur une page, vous êtes probablement très peu susceptibles d'acheter un t-shirt sur l'autre page. Je vous préoccuper de cela plus que le randomisation. L'approche standard - par utilisateur unique randomiser -. Imite mieux votre conception finale

Vous pouvez toujours lancer une expérience pour voir si vous obtenez les mêmes résultats en utilisant ces deux méthodes, puis procéder à la plus simple si vous le faites.

Answer 2

Vous ne pouvez pas.

Permet de 50 t-shirts ont le bouton A et les 50 restants ont le bouton B. Après votre test, vous réalisez des t-shirts avec le bouton A ont un meilleur taux de conversion.

- était la conversion mieux en raison de la touche A ou était mieux parce que les modèles t-shirt étaient vraiment cool et les gens les aimaient

?

Vous ne pouvez pas répondre à cette question objectivement, vous ne pouvez pas faire des tests A / B de cette manière.

Answer 3

Le problème avec votre approche est que vous testez deux choses en même temps.

Say, la conception x utilise le bouton a. Design y utilise le bouton b. Design y obtient plus de ventes et plus de conversions.

Est-ce parce que le bouton b donne un meilleur taux de conversion que la touche a, ou est-ce parce que le design y donne un meilleur taux de conversion que la conception x?

Si votre volume de modèles est très élevé, le volume d'utilisateurs est très faible, et vos conversions sont réparties équitablement entre vos conceptions, je pouvais voir votre approche étant mieux que la mode normale - parce que le risque que le « bon » conceptions agglutiner et l'inclinaison de votre résultat serait plus petit que le risque que les utilisateurs « bons » font. Cependant, dans ce cas, vous n'aurez pas particulièrement grande taille de l'échantillon des conversions pour tirer des conclusions -. Vous avez besoin d'un volume suffisamment élevé d'utilisateurs pour les tests AB pour être utile en premier lieu

Answer 4

Au lieu de changer le bouton de vente pour certaines pages, exécutez toutes les pages avec le bouton A pour une semaine, puis changer à bouton B pour une autre semaine. Cela devrait vous donner suffisamment de données pour voir si le nombre de ventes changer de manière significative entre les deux boutons.

Une semaine devrait être assez court pour effet saisonnier / météo ne devrait pas appliquer.