Ist es möglich, A/B -Tests nach Seite und nicht nach Individuum durchzuführen?

Question

Nehmen wir an, ich habe eine einfache E-Commerce-Website, die 100 verschiedene T-Shirt-Designs verkauft. Ich möchte einige A/B -Tests durchführen, um meinen Umsatz zu optimieren. Nehmen wir an, ich möchte zwei verschiedene "Kauf" -Tasten testen. Normalerweise würde ich AB -Tests verwenden, um jedem Besucher zufällig zuzuweisen, um die Taste A oder die Schaltfläche B zu sehen (und zu versuchen, dass die Benutzererfahrung durch Speichern dieser Zuordnung in Sitzungen, Cookies usw. konsistent ist.

Wäre es möglich, einen anderen Ansatz zu verfolgen und stattdessen zufällig jedem meiner 100 Designs zu einer Taste A oder B zugewiesen und die Conversion -Rate als messen (Anzahl der Verkäufe von Design n) / (Seitenaufrufe von Design n)

Dieser Ansatz scheint einige Vorteile zu haben; Ich müsste mir keine Sorgen machen, die Benutzererfahrung konsistent zu halten - eine bestimmte Seite (z. B. www.example.com/viewdesign?id=6) würde immer dieselbe HTML zurückgeben. Wenn ich unterschiedliche Preise testen würde, wäre es für den Benutzer weitaus weniger beunruhigend, unterschiedliche Preise für verschiedene Designs zu sehen als unterschiedliche Preise für die gleich Design auf verschiedenen Computern. Ich frage mich auch, ob es für SEO besser sein könnte - mein Verdacht ist, dass Google "bevorzugen" würde, dass es beim Krabbeln einer Seite immer das gleiche HTML sieht.

Offensichtlich wäre dieser Ansatz nur für eine begrenzte Anzahl von Standorten geeignet. Ich habe mich nur gefragt, ob jemand es versucht hat?

Answer 1

Ihre Intuition ist korrekt. Theoretisch funktioniert das Randomisieren von Seite gut. Beide Behandlungsgruppen haben ausgewogene Merkmale in der Erwartung.

Die Stichprobengröße ist jedoch recht klein, sodass Sie vorsichtig sein müssen. Eine einfache Randomisierung kann zufällig ein Ungleichgewicht erzeugen. Die Standardlösung ist zu Block Bei Vorbehandlungseigenschaften der Hemden. Das wichtigste Merkmal ist Ihr Vorbehandlungsergebnis, von dem ich annehme, dass es die Konversionsrate ist.

Es gibt viele Möglichkeiten, "ausgewogene" randomisierte Designs zu erstellen. Zum Beispiel können Sie Paare mithilfe von Paaren erstellen optimale Übereinstimmung, und innerhalb von Paaren randomisieren. Ein raueres Match konnte durch Ranking von Seiten in der vergangenen Woche/Monat ein Ranking -Seiten ermittelt werden und dann Paare von Nachbarn erstellen. Oder Sie können die blockierte Randomisierung innerhalb von Aarons Vorschlag kombinieren: Innerhalb der Paare randomisieren und dann die Behandlung jede Woche umdrehen.

Ein zweites Problem, etwas unabhängig, ist Wechselwirkung zwischen Behandlungen. Dies kann problematischer sein. Wenn ein Benutzer eine Schaltfläche auf einer Seite und dann eine andere Schaltfläche auf einer anderen Seite sieht, hat diese neue Schaltfläche einen besonders großen Effekt. Können Sie Behandlungen wirklich als unabhängig ansehen? Beeinflusst die Schaltfläche auf einer Seite die Wahrscheinlichkeit einer Umwandlung auf einer anderen? Leider ist es wahrscheinlich, vor allem, weil Sie auf der anderen Seite ein T-Shirt auf der anderen Seite kaufen, wenn Sie ein T-Shirt auf einer Seite kaufen. Ich würde mir mehr Sorgen machen als die Randomisierung. Der Standardansatz - Randomisierung durch eindeutiger Benutzer - nachahmt Ihr endgültiges Design besser nach.

Sie können immer ein Experiment durchführen, um zu sehen, ob Sie mit diesen beiden Methoden dieselben Ergebnisse erzielen, und dann mit dem einfacheren fortfahren, wenn Sie dies tun.

Answer 2

Du kannst nicht.

Lasst uns 50 T-Shirts haben Taste A und die restlichen 50 haben Taste B. Nach Ihrem Test erkennen Sie T-Shirts mit Taste A eine bessere Konvertierungsrate.

Jetzt - war die Konvertierung aufgrund von Knopf A besser, oder war es besser, weil die T -Shirt -Designs wirklich cool waren und die Leute sie mochten?

Sie können diese Frage nicht objektiv beantworten, sodass Sie auf diese Weise keine A/B -Tests durchführen können.

Answer 3

Das Problem mit Ihrem Ansatz ist, dass Sie zwei Dinge gleichzeitig testen.

Sagen Sie, Design X verwendet Taste a. Design Y verwendet Taste b. Design Y bekommt mehr Verkäufe und mehr Conversions.

Liegt das daran, dass Taste B eine bessere Konvertierungsrate als Taste A bietet, oder ist das, weil das Design y eine bessere Conversion -Rate bietet als Design X?

Wenn Ihr Designvolumen sehr hoch ist, ist Ihr Benutzervolumen sehr niedrig und Ihre Conversions sind gleichmäßig auf Ihre Designs verteilt, ich könnte sehen, dass Ihr Ansatz besser ist als die normale Mode - weil das Risiko, Und Ihr Ergebnis wäre kleiner als das Risiko, das die "guten" Benutzer tun. In diesem Fall haben Sie jedoch keine besonders große Stichprobengröße von Conversions, um Schlussfolgerungen zu ziehen - Sie benötigen ein ausreichend hohes Volumen von Benutzern, damit sich AB -Tests überhaupt lohnen können.

Answer 4

Führen Sie alle Seiten für eine Woche A mit der Schaltfläche A A und wechseln Sie dann für eine weitere Woche auf die Taste B. Dies sollte Ihnen genügend Daten geben, um festzustellen, ob sich die Anzahl der Umsätze zwischen den beiden Schaltflächen erheblich verändert.

Eine Woche sollte so kurz sein, dass der saisonale/Wettereffekt nicht gelten sollte.