È possibile eseguire test A/B per pagina piuttosto che per individuo?

Question

Diciamo che ho un semplice sito di e-commerce che vende 100 diversi design di magliette. Voglio fare alcuni test A/B per ottimizzare le mie vendite. Diciamo che voglio testare due diversi pulsanti "acquista". Normalmente, userei i test AB per assegnare casualmente ogni visitatore per vedere il pulsante A o il pulsante B (e provare a garantire che l'esperienza dell'utente sia coerente memorizzando tale assegnazione in sessione, cookie ecc.).

Sarebbe possibile adottare un approccio diverso e invece, assegnare casualmente ciascuno dei miei 100 progetti di utilizzare il pulsante A o B e misurare il tasso di conversione come (Numero di vendite di design N) / (Pageviews of Design N)

Questo approccio sembrerebbe avere alcuni vantaggi; Non dovrei preoccuparmi di mantenere coerente l'esperienza dell'utente - una determinata pagina (ad esempio www.example.com/viewdesign?id=6) restituirebbe sempre lo stesso HTML. Se dovessi testare prezzi diversi, sarebbe molto meno angosciante per l'utente vedere prezzi diversi per progetti diversi rispetto a prezzi diversi per il stesso Progettazione su computer diversi. Mi chiedo anche se potrebbe essere meglio per SEO - il mio sospetto è che Google "preferirebbe" che veda sempre lo stesso HTML quando striscia una pagina.

Ovviamente questo approccio sarebbe adatto solo a un numero limitato di siti; Mi stavo solo chiedendo se qualcuno l'ha provato?

Answer 1

La tua intuizione è corretta. In teoria, la randomizzazione per pagina funzionerà bene. Entrambi i gruppi di trattamento avranno caratteristiche bilanciate in attesa.

Tuttavia, la dimensione del campione è piuttosto piccola, quindi devi fare attenzione. La semplice randomizzazione può creare uno squilibrio per caso. La soluzione standard è a bloccare Sulle caratteristiche pre-trattamento delle camicie. La caratteristica più importante è il tuo risultato pre-trattamento, che presumo sia il tasso di conversione.

Esistono molti modi per creare progetti randomizzati "bilanciati". Ad esempio, potresti creare coppie usando corrispondenza ottimale, e randomizzare all'interno di coppie. Una corrispondenza più approssimativa è stata trovata mediante pagine di classifica in base al loro tasso di conversione nella settimana precedente/mese e quindi creando coppie di vicini. Oppure è possibile combinare la randomizzazione bloccata all'interno del suggerimento di Aaron: randomizzare all'interno delle coppie e quindi capovolgere il trattamento ogni settimana.

Una seconda preoccupazione, un po 'non correlata, è Interazione tra trattamenti. Questo può essere più problematico. È possibile che se un utente vede un pulsante su una pagina e quindi un pulsante diverso in una pagina diversa, quel nuovo pulsante avrà un effetto particolarmente grande. Cioè, puoi davvero vedere i trattamenti come indipendenti? Il pulsante su una pagina influisce sulla probabilità di conversione su un'altra? Sfortunatamente, probabilmente lo fa, soprattutto perché se acquisti una maglietta su una pagina, probabilmente è molto improbabile che acquisti una maglietta sull'altra pagina. Mi preoccuperei più della randomizzazione. L'approccio standard - randomizzando per utente unico - imita meglio il tuo design finale.

Puoi sempre eseguire un esperimento per vedere se ottieni gli stessi risultati usando questi due metodi, quindi procedere con quello più semplice se lo fai.

Answer 2

Non puoi.

Consente a 50 magliette di avere il pulsante A e i restanti 50 hanno il pulsante B. Dopo il test, realizzi le magliette con il pulsante A hanno un tasso di conversione migliore.

Ora - la conversione è stata migliore a causa del pulsante A, o è stata meglio perché i disegni delle magliette erano davvero fantastici e alla gente piacevano?

Non puoi rispondere a questa domanda obiettivamente, quindi non puoi eseguire test A/B in questo modo.

Answer 3

Il problema con il tuo approccio è che stai testando due cose allo stesso tempo.

Dì, Design X utilizza il pulsante a. Il design y utilizza il pulsante b. Design Y ottiene più vendite e più conversioni.

È perché il pulsante B fornisce un tasso di conversione migliore rispetto al pulsante A, o è perché il design y fornisce un tasso di conversione migliore rispetto al design x?

Se il tuo volume di design è molto elevato, il tuo volume di utenti è molto basso e le tue conversioni sono distribuite in modo uniforme tra i tuoi progetti, potrei vedere il tuo approccio essere migliore del modo normale, perché il rischio che i disegni "buoni" si abbraccano insieme E inclinarsi il tuo risultato sarebbe più piccolo del rischio che fanno gli utenti "buoni". Tuttavia, in tal caso non avrai una dimensione del campione particolarmente elevata di conversioni per trarre conclusioni: in primo luogo hai bisogno di un volume sufficientemente alto di utenti per i test AB.

Answer 4

Invece di modificare il pulsante di vendita per alcune pagine, eseguire tutte le pagine con il pulsante A per una settimana e quindi passare al pulsante B per un'altra settimana. Ciò dovrebbe darti abbastanza dati per vedere se il numero di vendite cambia in modo significativo tra i due pulsanti.

Una settimana dovrebbe essere abbastanza breve da non applicare l'effetto stagionale/meteorologico.