É possível fazer testes A/B por página e não por indivíduo?

Question

Digamos que eu tenha um site de comércio eletrônico simples que venda 100 designs diferentes de camisetas. Quero fazer alguns testes A/B para otimizar minhas vendas. Digamos que eu queira testar dois botões diferentes "comprar". Normalmente, eu usava o teste AB para atribuir aleatoriamente cada visitante para ver o botão A ou o botão B (e tentar garantir que a experiência do usuário seja consistente, armazenando essa tarefa em sessão, cookies etc.).

Seria possível adotar uma abordagem diferente e, em vez disso, atribuir aleatoriamente cada um dos meus 100 projetos para usar o botão A ou B e medir a taxa de conversão como (Número de vendas de design n) / (PageVes do design n)

Essa abordagem parece ter algumas vantagens; Eu não precisaria me preocupar em manter a experiência do usuário consistente - uma determinada página (por exemplo, www.example.com/viewDesign?id=6) sempre retornaria o mesmo HTML. Se eu testasse preços diferentes, seria muito menos angustiante para o usuário ver preços diferentes para projetos diferentes de preços diferentes para o mesmo Design em diferentes computadores. Também me pergunto se pode ser melhor para o SEO - minha suspeita é que o Google "prefira" que sempre vê o mesmo HTML ao rastejar uma página.

Obviamente, essa abordagem seria adequada apenas para um número limitado de sites; Eu só estava me perguntando se alguém já tentou?

Answer 1

Sua intuição está correta. Em teoria, a randomização por página funcionará bem. Ambos os grupos de tratamento terão características equilibradas na expectativa.

No entanto, o tamanho da amostra é bem pequeno, então você precisa ter cuidado. A randomização simples pode criar desequilíbrio por acaso. A solução padrão é para quadra nas características de pré-tratamento das camisas. A característica mais importante é o seu resultado de pré-tratamento, o que presumo ser a taxa de conversão.

Existem muitas maneiras de criar designs randomizados "equilibrados". Por exemplo, você pode criar pares usando correspondência ideal, e randomizar em pares. Uma partida mais difícil pode ser encontrada pela classificação das páginas pela taxa de conversão na semana/mês anterior e depois criando pares de vizinhos. Ou você pode combinar a randomização bloqueada dentro da sugestão de Aaron: randomizar dentro de pares e depois virar o tratamento a cada semana.

Uma segunda preocupação, um tanto não relacionada, é interação entre tratamentos. Isso pode ser mais problemático. É possível que, se um usuário vir um botão em uma página e, em seguida, um botão diferente em uma página diferente, esse novo botão terá um efeito particularmente grande. Ou seja, você pode realmente ver os tratamentos como independentes? O botão em uma página afeta a probabilidade de conversão em outra? Infelizmente, provavelmente acontece, principalmente porque, se você comprar uma camiseta em uma página, provavelmente é muito improvável que compre uma camiseta na outra página. Eu me preocuparia mais com isso do que a randomização. A abordagem padrão - randomizar por usuário exclusivo - imita melhor o seu design final.

Você sempre pode executar um experimento para ver se obtém os mesmos resultados usando esses dois métodos e prosseguir com o mais simples, se o fizer.

Answer 2

Você não pode.

Permite que 50 camisetas tenham o botão A e os 50 restantes tenham o botão B. Após o teste, você percebe camisetas com o botão A tem uma taxa de conversão melhor.

Agora - a conversão foi melhor por causa do botão A, ou foi melhor porque os designs de camiseta eram muito legais e as pessoas gostaram deles?

Você não pode responder a essa pergunta objetivamente, para que não possa fazer testes A/B dessa maneira.

Answer 3

O problema com sua abordagem é que você está testando duas coisas ao mesmo tempo.

Digamos, o design x está usando o botão a. O design y está usando o botão b. O design Y recebe mais vendas e mais conversões.

Isso ocorre porque o botão B fornece uma taxa de conversão melhor que o botão A, ou é porque o design y fornece uma taxa de conversão melhor que o design x?

Se o seu volume de designs for muito alto, seu volume de usuários é muito baixo e suas conversões são distribuídas uniformemente entre seus designs, pude ver sua abordagem sendo melhor do que a moda normal - porque o risco de que o "bom" designa se agrupar e distorcer seu resultado seria menor que o risco que os usuários "bons". No entanto, nesse caso, você não terá um tamanho de amostra particularmente grande das conversões para tirar conclusões - você precisa de um volume suficientemente alto de usuários para que o teste AB valha a pena.

Answer 4

Em vez de alterar o botão de venda para algumas páginas, execute todas as páginas com o botão A por uma semana e depois mude para o botão B por mais uma semana. Isso deve fornecer dados suficientes para ver se o número de vendas muda significativamente entre os dois botões.

Uma semana deve ser curta o suficiente para que o efeito sazonal/meteorológico não se aplique.